
Is éard atá i ndearadh líonra braisle AI ná an próiseas chun NICanna freastalaí GPU a mhéidiú, bandaleithead duilleoige, cóimheas ró-liostála, socruithe RoCE, optaic agus cáblaí ionas go mbeidh trácht oiliúna dáilte fós intuartha mar na scálaí braisle. Faigh aon cheann díobh seo mícheart agus is é an líonra - seachas an GPU - a bheidh mar an tranglam.
Cén fáth a bhfuil Líonrú Braisle AI Éagsúil
I lárionad sonraí fiontraíochta traidisiúnta, láimhseálann an líonra meascán de thrácht úsáideora ó thuaidh, rochtain stórála, fíorúlú agus bainistíocht. Tá trácht thoir-iarthar ann ach is annamh a bhíonn an t-ualach ceannasach. I mbraisle AI, iompaíonn an scéal. Ritheann freastalaithe GPU grádáin mhalartaithe oiliúna dáilte agus déanann siad paraiméadair a shioncrónú le linn gach céim den phost. Is cuid den ríomh í an chumarsáid seo, ní fo-iarmhairt de.
Má chaitheann GPU $30,000 30% dá chuid ama ag fanacht ar an líonra le linn -oibríochta ar fad a laghdú, íocann an bhraisle go héifeachtach as 30% dá chumas ríomh chun suí díomhaoin. Is é sin an chúis eacnamaíoch a fhaigheann líonrú AI an oiread sin aird.
Tiomáineann trí shaintréithe ualaigh oibre an dearadh:
- Trácht bursty soir-thiar.Laghdaíonn oibríochtaí cumarsáide comhchoiteanna ar nós go léir-laghdaítear, bailíonn agus laghdaítear-scaipeann siad táirgeadh pléasctha sioncronaithe thar go leor nóid ag an am céanna.
- Íogaireacht latency-eireaball.Cuireann nód mall amháin moill ar an gcéim oiliúna iomlán. Baineann latency intuartha le níos mó ná an meánfhanachta.
- Scála-an fás.Is minic a fhásann cnuasaigh a thosaíonn ag 32 GPU go 256 nó 1,024 laistigh de 18 mí. Caithfidh an fabraic scála gan athdhearadh.
Cén fáth a n-oireann Spine-Leaf do Chnuasaigh AI
Is í an dhuilleog dhromlaigh an creatlach caighdeánach do lárionaid sonraí hipearscála toisc go dtugann sé an comhaireamh hop céanna agus an bandaleithead teoiriciúil céanna do gach freastalaí do-chonair an fhreastalaí. Maidir le hualaí oibre AI, aistríonn an aonfhoirmeacht seo go díreach go hamanna céimeanna oiliúna níos intuartha.
I-topology duillí an droma, nascann freastalaithe GPU le lasca duillí, agus nascann gach duilleog le gach droma. Trasnaíonn aon chumarsáid GPU-go-GPU{-duilleog amháin, droma amháin agus duilleog amháin eile. Níl aon sraitheanna comhiomlánaithe a thugann isteach latency athraitheach nó chokepoints.

Lagency Intuartha
Sreabhann ródú ilchostais chomhionann (ECMP) trasna lasca droma. Nuair a bhíonn sé cumraithe i gceart le ródú oiriúnaitheach nó le cothromú ualaigh dinimiciúil, cuireann sé seo cosc ar imbhuailtí hash a fhágann go mbíonn roinnt sreafaí i bhfad níos moille ná a chéile - fadhb aitheanta i bhfabraicí ECMP statacha a iompraíonn mórán sreafaí ach líon mór, agus is é sin go díreach a ghineann oiliúint AI.
Bandaleithid Déroinnte Ard
Is é bandaleithead déroinnte an tréchur atá ar fáil idir dhá leath chothroma ar bith den bhraisle. Baineann oiliúint AI tairbhe as dearaí neamh-bhloic nó gar do dhearadh nuair is ionann nó beagnach comhionann leis an acmhainn íosnasc atá roimh na freastalaithe. Sainmhíníonn agus pléann an IETF na coincheapa seo iRFC 7938, a chlúdaíonn fabraicí BGP Clos a úsáidtear go forleathan i-lárionaid sonraí scála mór.
Scála níos éasca-Amach
Cuir duilleoga breise leis chun tuilleadh freastalaithe a chur leis. Cuir níos mó spines leis chun níos mó bandaleithead déroinnte a chur leis. I gcás braislí níos faide ná cúpla míle GPU, leathnaíonn sár-dhroim droma (5{-céim Clos) nó topology optamaithe le hiarnród an prionsabal céanna sraith amháin eile.
Comhpháirteanna Lárnacha de Ghréasán Braisle AI
Freastalaithe GPU agus NICanna
Is é an NIC an áit a mbuaileann an fabraic leis an ósta. I mbraislí AI, tiomáineann roghnú NIC gach rud le sruth - luas calafoirt lasc, rogha optaic, agus dlús cáblaí.
Critéir roghnúcháin le haghaidh ualaí oibre AI:
- Luas an phoirt:200G, 400G nó 800G in aghaidh an chalafoirt. Meaitseáil le giniúint GPU agus bandaleithead PCIe.
- Giniúint PCIe:Teastaíonn PCIe Gen5 x16 ó NIC 400G chun sníomh ón ósta a sheachaint. Teorainneacha PCIe Gen4 x16 ag ~256 Gbps inúsáidte.
- Tacaíonn RDMA agus RoCEv2:Ag teastáil le haghaidh eithne-seachas leabharlanna cumarsáide GPU ar nós NCCL.
- GPUDirect RDMA:Ligeann sé seo do GPU{0}}go-NIC DMA, chun cóipeanna cuimhne an óstaigh a bhaint.
- Cumas il-iarnróid:Úsáideann go leor freastalaithe AI 4 nó 8 NIC in aghaidh an nód, ceann amháin in aghaidh an phéire GPU, le haghaidh -topeolaíochtaí iarnróid.
Úsáideann gnáthfhreastalaí 8-GPU inniu ceachtar 4 × 400G NICs (ceann amháin in aghaidh an dá GPU) nó 8 × 400G NICs (ceann amháin in aghaidh an GPU) ag brath ar ualach oibre agus buiséad. Ailtireacht tagartha óDoiciméadú líonraithe NVIDIAna comhbhabhtálacha dearaidh a chlúdach go mion.
Lasca Duille agus Spine
Tá critéir roghnúcháin lasc le haghaidh fabraicí AI difriúil ó roghnú fiontair. Méid maoláin, iompar rialaithe plódaithe agus ábhar teiliméadrachta níos mó ná leithead gné.
- In aghaidh{0}}luas an phoirt agus radix:Seachadann lasc 51.2 Tbps ASIC 64 × 800G calafoirt nó calafoirt 128 × 400G. Socraíonn Radix cé chomh réidh agus is féidir leis an bhfabraic a bheith.
- Ailtireacht mhaolánach:Ionsúnn maoláin dhomhain pléasctha neamhtheilgthe ach cuireann siad sos leis. Laghdaíonn maoláin éadomhain an fhola ach teastaíonn rialú beacht ar phlódú.
- Sraith gnéithe RoCE:Críochnaíonn marcáil ECN, PFC, DCQCN nó rialú ar phlódú coibhéiseach, agus láimhseáil cheart scuainí tosaíochta.
- teiliméadracht:Teiliméadracht líonra inbhanda (INT), in aghaidh an{0}}tuairiscithe doimhneacht scuaine, agus áiritheoirí réitigh micreasoicindí le haghaidh marcanna ECN agus sosanna PFC.
Optaic, DAC agus AOC Cáblú
Ag 400G agus 800G, is fadhb innealtóireachta fíor é an gléasra cáblaithe. Teastaíonn pleanáil luath ar fhachtóirí foirme, naisc bhuiséid agus cumraíochtaí ar leithligh.
- DAC (Copar Ceangail Díreach):Suas le ~ 3 méadar le haghaidh 400G, an costas is ísle agus an chumhacht is ísle. Trom agus toirtiúil ar scála.
- AOC (Cábla Optúil Gníomhach):Suas le ~30 méadar, níos tanaí ná DAC, ach -fad seasta agus ídíonn sé cumhacht optaic ar an dá cheann.
- Optaic inphlugáilte:Ag teastáil thar achar AOC. QSFP-Fachtóirí foirmeacha LL agus OSFP is mó atá i 400G/800G. Láimhseálann cóimeálacha snáithíní MPO/MTP na naisc snáithíní comhthreomhara.
I gcás naisc idir-raca agus cáblaí struchtúrtha ag 400G/800G, tá optaic chomhthreomhar thar Críochnaíonn MPO anois caighdeánach. Braitheann an rogha idir cáblaí trunc agus cóimeálacha ar leithligh ar do leithdháileadh calafoirt lasc - féach ar árTreoir maidir le cábla briste MPOdon loighic roghnúcháin phraiticiúil, agus an ceann is leithneComparáid stoc MPO vs briseadh amachagus tú ag pleanáil-go-ritheann duille.
RoCE agus Ethernet Gan Loss i Fabraicí AI
Is é RoCEv2 (RDMA thar Ethernet Coinbhéirseach v2) an t-iompar Ethernet ceannasach le haghaidh ualaí oibre AI. Ligeann sé do NICanna sonraí a aistriú go díreach idir réigiúin chuimhne GPU gan baint le heithne ar an dá cheann. Úsáideann NCCL, an leabharlann cumarsáide GPU atá mar bhonn le beagnach gach creat oiliúna dáilte, RoCEv2 nuair nach bhfuil InfiniBand ar fáil.
Oibríonn RoCE go maith nuair a bhíonn sé cumraithe i gceart. Teipeann sé gránna nuair a chumrú go mícheart. Tá anComhlachas Trádála InfiniBandfoilsíonn sé na sonraíochtaí RoCE, agus foilsíonn an chuid is mó de NIC agus díoltóirí lasc treoracha cumraíochta mionsonraithe ar chóir iad a leanúint ó chríoch-go dtí deireadh.

Cén Fáth a bhfuil Iompar Gan Chaillteanas tábhachtach
Dearadh RDMA ag glacadh le hiompar gan chailliúint. Nuair a thiteann paicéid, tá sé costasach aisghabháil RDMA - dul-ar ais-Is féidir le hath-tharchur N stop a chur le céim traenála do na milleasoicindí, rud atá ollmhór i gcoibhneas le buiséad an scála microsecond RDMA.
Chun iompar gan chailliúint ar Ethernet a chomhfhogasú, úsáideann an fabraic dhá mheicníocht ag obair le chéile:
- PFC (Rialú Sreafa Tosaíochta, IEEE 802.1Qbb):Cuireann lasc stad ar thrácht ag teacht isteach ar scuaine tosaíochta ar leith nuair a líonann a maolán. Seo -meicníocht rogha dheireanach.
- ECN (Fógra Plódaithe Sonraithe, RFC 3168):Marcálann lasca paicéid nuair a bhíonn scuainí ag druidim le tairseach. Laghdaíonn an NIC a ráta seolta sula líonann maoláin i ndáiríre, ag seachaint PFC ina iomláine go hidéalach.
Is é an sprioc go ndéanfaidh ECN beagnach gach bainistiú ar phlódú, agus PFC mar líontán sábhála. Má fheiceann tú sosanna PFC go minic i-trácht seasta, tá do thairseacha ECN mícheart nó tá do chuid fabraic ró-bheag.
Teipeanna Coiteanna Imlonnaithe RoCE
| Fadhb | Siomptóim | Conas a Seiceáil | Deisigh |
|---|---|---|---|
| Deireadh-go-deireadh an mhímheaitseála MTU | Ilroinnt, atriallaíonn RDMA, titim tréchur | Déan comparáid idir NIC agus athraigh MTU; rith ping le giotán DF socraithe ag méid MTU | Socraigh jumbo MTU (9000 nó 9216 go hiondúil) go comhsheasmhach trasna NICanna agus gach lasc |
| Mí-ailíniú tosaíochta PFC | Frámaí PFC ginte ach neamhaird; backpressure gan iomadaíodh | Seiceáil an bhfuil tosaíocht PFC cumraithe ar léarscáiliú scuaine iontráil lasc agus NIC | Ailínigh DSCP-le-mapáil tosaíochta ar gach leannlusanna |
| Tairseacha míchearta ECN | Gan aon mharcanna ECN (plódú go dtí go lasann PFC) nó marcanna seasta (tréchur faoi chois) | Monatóir de réir{0}}scuaine ECN-chuntaróirí paicéad marcáilte faoi ualach réalaíoch | Tairseacha Tune Kmin/Kmax; Is annamh a bhíonn luachanna réamhshocraithe oiriúnach do phróifílí tráchta AI |
| Trácht measctha ar an tosaíocht chéanna | Cuireann pléascanna stórála nó bainistíochta isteach ar oiliúint | Seiceáil marcanna DSCP gach aicme tráchta ag NIC agus athraigh | Sann scuainí tosaíochta ar leith le haghaidh ríomh, stórála agus bainistíochta |
| ídiú maolánach ó incast | Titeann paicéad randamach i rith na-laghdaithe ar fad | Teiliméadracht áitíochta maoláin in aghaidh na scuaine le linn oibríochtaí comhchoiteanna | Leithdháileadh maoláin a mhéadú le haghaidh tosaíochta a ríomh; ródú oiriúnaitheach fonn |
Conas Gréasán Braisle AI a Dhearadh: Creat Oibre
Is é seo an chuid is mó alt "líonrú AI" skip. Tugann na seacht gcéim thíos ionchuir agus aschuir nithiúla duit ag gach céim.
Céim 1: Sainmhínigh Ualach Oibre agus Scála
Ionchuir:Cineál ualaigh oibre (réamhoiliúint, mionchoigeartú, tátal, measctha), comhaireamh GPU spriocdhírithe inniu, comhaireamh GPU spriocdhírithe i 18 mí, raon méid na samhla.
Aschur:Próifíl ualaigh oibre a thugann eolas faoi luas NIC agus lamháltas ró-shuiteála. Éilíonn réamhoiliúint mhór ar shamhlacha teorann gan-bac a chur ar fhaibricí 400G+. Má dhéantar mionchoigeartú ar ualaí oibre, féadann sé ró-shuibscríobh 2:1 a fhulaingt. Is minic go mbíonn bandaleithead níos ísle ag teastáil ó bhraislí tátail ach go mbíonn latency eireaball níos ísle ag teastáil.
Céim 2: Roghnaigh NIC Luas agus Comhaireamh in aghaidh an Fhreastalaí
Loighic chinnidh:
- Réamhoiliúint ar mhúnlaí móra, freastalaithe 8-GPU → 4-8 × 400G NICs in aghaidh an fhreastalaí, nó 4 × 800G
- Oiliúint lárscála-, freastalaithe 8-GPU → 2–4×400G NICs in aghaidh an fhreastalaí
- Tátail ag freastal ar → 1–2 × 200G nó 400G NICs in aghaidh an fhreastalaí, ag brath ar chomhthreomhaireacht na samhla
Fíoraigh bandaleithead PCIe ar an ósta. Éilíonn port 400G amháin PCIe Gen5 x16 a rith ag ráta líne; dúbailt go 800G gá Gen6 nó scoilteadh thar dhá sliotán.
Céim 3: Méid an Chiseal Duille
Mar shampla oibrithe - 32-braisle nód, 8 GPU in aghaidh an nód, 4 × 400G NIC in aghaidh an nód:
- Freastalaí iomlán-chun aghaidh a thabhairt ar phoirt ag teastáil: 32 × 4=128 port ag 400G
- bandaleithead downlink in aghaidh an nód: 4 × 400=1.6 Tbps
- Bandaleithid downlink braisle iomlán: 32 × 1.6=51.2 Tbps
Ag baint úsáide as lasc duille 64-port 400G (acmhainn iomlán 25.6 Tbps), is féidir le gach duilleog 32 calafort freastalaí a nascadh agus na 32 calafort atá fágtha a úsáid mar uplinks. Le 4 duilleog, clúdaíonn tú gach ceann de na 128 calafort freastalaí. Cuireann gach duilleog 32 × 400G=12.8 Tbps de uplink i dtreo an droma.

Céim 4: Méid an Chiseal Spine
Maidir le dearadh nach-bhac (1:1), caithfidh an toilleadh iomlán uasnaisc a bheith comhionann leis an acmhainn iomlán íosnaisc. Ó Chéim 3:
- Uplink iomlán duille ag teastáil: 4 duilleog × 12.8 Tbps=51.2 Tbps
- Má tá calafoirt 32 × 400G=12.8 Tbps ag gach spine, beidh 4 spines uait
- Nascann gach duilleog leis na 4 dhrom ar fad ag baint úsáide as 8 n-uasnasc in aghaidh an droma (meaitseálann 8 × 400G × 4=12.8 Tbps an duilleog -)
Má úsáidtear lasca spine 64-port 400G, tá cumas breise ag gach spine chun an braisle a fhás, atá úsáideach don phlean 18-mí ó Chéim 1.
Céim 5: Socraigh an Cóimheas Ró-Lárshuíomh
| Ualach oibre | Cóimheas Molta | Réasúnaíocht |
|---|---|---|
| Réamhoiliúint samhail mhór | 1:1 (gan-bhac) | Gach-laghduithe is mó; aon chomhdhúile brú tráchta thar na mílte céimeanna |
| Oiliúint mhín-tiúnta / lárscála- | 1.5:1 go 2:1 | méideanna comhchoiteanna níos lú; is mó coigilteas costais ná moilliú beag |
| Tátail / RAG ag freastal | 2:1 go 4:1 | Iarratais neamhspleácha den chuid is mó; tá pléasctha bandaleithead níos lú agus níos lú sioncrónaithe |
| Cnuasach taighde measctha | 1.5:1 | Comhréiteach idir costas agus meascán ualach oibre dothuartha |
Céim 6: Ríomh ar Leith, Trácht Stórála agus Bainistíochta
Trí rogha, in ord aonrú méadaithe:
- Fabraic roinnte le ranganna QoS:Ríomh, stóráil agus bainistiú ar thosaíochtaí ar leith den DSCP. Costas is ísle; éilíonn cumraíocht chúramach QoS.
- VLANanna/VRFanna atá deighilte go loighciúil:Crua-earraí céanna, eitleáin rialaithe ar leithligh. Úsáideach le haghaidh -chnuasaigh thionóntaí.
- Fabraicí scartha go fisiciúil:NICs, lasca agus cáblaí tiomnaithe le haghaidh ríomh vs stórála. Costas is airde; coitianta i mbraislí samhlacha teorann nuair nach bhfuil aon argóint inghlactha.
Tá an trácht stórála le haghaidh AI féin trom - scríobhann seicphointe le haghaidh múnla mór is féidir leis na céadta ghigibheart a bhogadh i bpléascanna gearra. Déan plean dó go sainráite. Gléasra cáblaithe struchtúrtha ard-dlúis ag úsáidCáblaí stoc MPO/MTPsimplítear rith fabraicí comhthreomhara sa bhonneagar fisiciúil céanna.
Céim 7: Bailíochtaigh Roimh Táirgeadh
Tagann roinnt fadhbanna i dtrialacha leibhéil líonra. Gabhann tástálacha leibhéil ualaigh oibre leis an gcuid eile.
- bandaleithead:iperf3 nó ib_send_bw idir gach péire nód; Ba cheart go sroichfeadh sé 90%+ de ráta líne NIC.
- Lagacht:ib_read_lat nó a leithéid; seiceáil dáileadh, ní hamháin meán. Tá níos mó i gceist le P99.9 ná an meán.
- Caillteanas paicéad:Rith tástáil sáithithe 24-uair an chloig faoi ualach; is fadhb í aon chaillteanas neamh-nialasach in aicme tráchta RoCE.
- Iompar marcála ECN:Fíoraigh marcanna le feiceáil roimh dhóiteáin PFC; má bhíonn sosanna PFC i riocht seasta go minic, athtune.
- Comhchumarsáid:Rith tástálacha NCCL (all_reduce_perf, all_gather_perf) ag méid iomlán an bhraisle. Déan comparáid le huimhreacha tagartha an díoltóra.
- Tástáil leibhéil poist:Déan post oiliúna ionadaíoch ar feadh 4-6 huaire. Féach ar úsáid GPU - luachanna marthanacha faoi bhun 50% ar mhúnla den mhéid ceart go léiríonn fadhb líonra de ghnáth.
Líonra Lárionad Sonraí Traidisiúnta vs AI Spine-Fabraic Leaf
| Achar | Líonra DC Traidisiúnta | AI Spine-Fabraic Duillí |
|---|---|---|
| Trácht ceannasach | Measctha thuaidh-theas agus thoir-iarthar | GPU trom-go-GPU thoir-siar, pléasctha |
| Caoinfhulaingt latency | Milleasoicindí inghlactha | Ábhar micreasoicindí; latency eireaball ríthábhachtach |
| Róliostáil | 4:1 go 8:1 coitianta | 1:1 go 2:1 le haghaidh fabraicí oiliúna |
| Iompar | TCP/IP ceannasach | RoCEv2 nó InfiniBand |
| Ról NIC | Nascacht chaighdeánach | Feidhmíocht-chriticiúil, go minic il-iarnród |
| Ceanglais mhaoláin | Feidhmchlár-ag brath | Tiúin le haghaidh ionsú pléasctha incast |
| Bailíochtú | Am freagartha iarratais | De réir-teiliméadrachta sreafa + tagarmharcanna comhchoiteanna |
Ethernet RoCE vs InfiniBand: Treoir Thapa Cinnidh
Tagann an cheist aníos i mbeagnach gach tionscadal braisle AI. Oibríonn an dá cheann. Is gnách go dtagann an rogha síos go dtí oiriúnach oibriúcháin, ní feidhmíocht íon.
- Roghnaigh InfiniBand más rud é:Tá fabraicí InfiniBand á n-oibriú ag d’fhoireann cheana féin, tá an cosán is simplí chuig iompar gan chailliúint uait, nó tá ailtireacht tagartha díoltóirí lán-chomhtháite á cheannach agat.
- Roghnaigh Ethernet RoCE más rud é:Tá d’fhoireann oibríochtaí Ethernet-dúchais, tá roghanna lasc díoltóra il- uait, ní mór duit an creatlach AI a chomhtháthú le líonraí lárionad sonraí atá ann cheana féin, nó tá tú ag súil le scála níos faide ná an méid a thacaíonn topologies InfiniBand faoi láthair go glan.
Tá an Cuibhreannas Ultra Ethernet, a bunaíodh in 2023, ag obair go gníomhach ar fheabhsuithe Ethernet a chaighdeánú go sonrach le haghaidh ualaí oibre AI. Don chuid is mó de na braislí nua in 2026, is réamhshocrú inchosanta é Ethernet RoCE mura bhfuil cúis shonrach ann chun a mhalairt a roghnú.
Botúin Choitianta le Seachaint
Lasca a Uasghrádú Gan NICanna a Sheiceáil
Ní dhéanann fabraic lasc 800G rud ar bith duit má ritheann do NICanna ag 400G nó má ritheann d’óstach PCIe as bandaleithead. Dear an taobh óstaigh ar dtús, ansin taobh an lasc. Cuireann PCIe Gen5 x16 teorainn le port amháin go dtí thart ar 504 Gbps fíor--tréchur domhanda - compordach le haghaidh 400G, imeallach do 800G.
Luas an Phoirt a bharrfheabhsú ach Neamhaird a thabhairt ar Dhlús Cáblaithe
Ag 64-duilleoga calafoirt 400G, féadfaidh an cáblaí faoi gach lasc a bheith do-bhainistithe go fisiciúil gan pleanáil. Úsáid cáblaí asscartha nuair is cuí, siúil snáithíní trí chonairí struchtúrtha, agus caighdeánaigh ar chineálacha nascóirí. Cáilíocht cónascaire agus ábhar a fhoirceannadh ag luasanna arda - ártreoir cineálacha cónascaire snáthoptaiceclúdaíonn sé na comhbhabhtálacha idir LC, MPO agus fachtóirí foirmeacha ard-dlúis atá ag teacht chun cinn.
Ag caitheamh le RoCE mar Plug-agus-Seinn
Is é an botún dearaidh is mó i bhfíor-chnuasaigh AI ná an lasc mícheart a phiocadh - tá sé ag déanamh meastachán ró-íseal ar cé mhéid deiridh-chun-deireadh a chur le hobair chumraíochta RoCE. Am buiséid chun tairseacha ECN, tosaíochtaí PFC agus comhsheasmhacht MTU a choigeartú. Céim bhailíochtaithe tiomnaithe a phleanáil sula ritheann aon ualach oibre táirgeachta.
Meascadh Gach Trácht ar Fhabraic Amháin Gan QoS
Féadfaidh macasamhlú stórála, gníomhairí monatóireachta agus trácht bainistíochta amanna na gcéimeanna traenála a scrios má roinneann siad maoláin le trácht ríomh. Déan iad a scaradh go fisiciúil nó ranganna diana QoS a fhorfheidhmiú le tosaíochtaí ar leith agus cumraíocht ECN.
Ag Tógáil do Chnuasach an Lae Inniu amháin
Fásann formhór na mbraislí AI 4-8 × laistigh de dhá bhliain ón imscaradh tosaigh. Roghnaigh radix lasc agus toilleadh dromlaigh a cheadaíonn leathnú nach-cur isteach air. Tá sé costasach cáblaí a tharraingt i lárionad sonraí beo AI; tá acmhainn seoladáin agus paiste pleanála ag am imscartha saor.
Cathain is cóir Céim chun Tosaigh ó 400G go 800G
Tá 800G NICs agus lasca ar fáil ach níos costasaí in aghaidh an chalafoirt. Smaoinigh ar chéim suas nuair:
- In aghaidh{0}}Sáraíonn riachtanais bandaleithead GPU an méid is féidir le 400G - a sholáthar mar shampla, tá H100 agus GPUanna níos nuaí le NVLink 5 ag súil le bandaleithead seachtrach níos airde
- Laghdaíonn NCCL scála na n-amanna go dona le méid an bhraisle, rud a léiríonn sáithiú líonra
- Tá dlús cábla ag 400G ag éirí do-bhainistithe go fisiciúil - is féidir le níos lú calafoirt 800G níos lú calafort 400G a athsholáthar
- Táthar ag súil go mbeidh sé de dhíth ar an gcéad ghlúin GPU eile i do threoir laistigh d’fhuinneog dímheasa an bhraisle
- Tá tú ag tógáil braisle oiliúna samhail teorann-a chosnaíonn aon am díomhaoin a ríomh i bhfad níos mó ná uasghrádú optaic
Don chuid is mó de na braislí táirgeachta in 2026, is é 400G an chothromaíocht cheart ó thaobh costais, aibíochta éiceachórais, agus cumas. 800Tá ciall ag G ag an ardleibhéal agus mar infheistíocht chun cinn do bhraislí atá á dtógáil inniu agus a bhfuiltear ag súil go mairfidh siad ar feadh 4-5 bliana.
CCanna
C: Cad é an ailtireacht líonra is fearr le haghaidh braislí AI?
A: Is é topology duilleoige an spine an rogha chaighdeánach. I gcás braislí os cionn ~1,000 GPU, leathnaigh chuig topology optamaithe de 5 chéim (super-spine) nó iarnróid. Tuigtear go maith an ailtireacht féin; is iad na fadhbanna is deacra ná méid bandaleithead, cumraíocht RoCE agus bailíochtú.
C: Cén cóimheas ró-liostála atá inghlactha le haghaidh oiliúna AI?
A: Le haghaidh réamhoiliúint mhúnla mór, dírigh ar 1:1 (gan-bhac). Maidir le mionchoigeartú agus oiliúint lárscála, tá 1.5:1 go 2:1 inoibrithe. Maidir le freastal tátail, tá 2:1 go 4:1 inghlactha. Sábhálann cóimheasa níos airde airgead ach laghdaítear éifeachtúlacht an scálaithe, agus braitheann an pointe meá ar mheá ar an gcaoi a bhfuil do chuid ualaí oibre faoi cheangal ag cumarsáid.
C: An bhfuil RoCE ag teastáil le haghaidh braislí AI?
A: Tá RoCEv2 nó InfiniBand ag teastáil le haghaidh aon bhraisle a ritheann oiliúint dháilte bunaithe ar NCCL ar scála. Ní féidir le gnáth-TCP/IP an foighne agus an éifeachtúlacht LAP a theastaíonn a sheachadadh. Idir RoCEv2 agus InfiniBand, roghnaigh bunaithe ar oiriúnacht oibriúcháin agus éiceachóras seachas feidhmíocht íon.
C: Cé mhéad NIC a theastaíonn ó fhreastalaí GPU?
A: I gcás freastalaí GPU 8-, is iad na cumraíochtaí coitianta ná 4 × 400G (NIC amháin in aghaidh an dá GPU) nó 8 × 400G (NIC amháin in aghaidh an GPU, iarnród optamaithe). Féadfaidh freastalaithe tátail 1–2 NIC a úsáid. Braitheann an cinneadh ar ualach oibre, giniúint GPU, topology PCIe agus buiséad.
C: An dteastaíonn stóráil ar leithligh agus fabraicí ríomha ó bhraislí AI?
A: Is féidir le braislí beaga fabraic a roinnt le scaradh ceart ranga QoS. Is minic a bhaineann braislí meánmhéide agus móra tairbhe as fabraicí atá scartha go fisiciúil - a ríomhtar ar RoCE Ethernet nó InfiniBand, stóráil ar fhabraic Ethernet tiomnaithe. De ghnáth scarann braislí samhlacha Frontier go fisiciúil toisc go bhfuil aon trasnaíocht tráchta do-ghlactha.
C: An bhfuil Ethernet níos fearr ná InfiniBand le haghaidh ualaí oibre AI?
A: Níl ceachtar den dá cheann níos fearr go huilíoch. Tá cuntas teiste níos faide ag InfiniBand i HPC agus cuireann sé iompar an-aibí gan chailliúint ar fáil. Tá éagsúlacht díoltóirí níos leithne ag Ethernet RoCEv2, comhtháthaíonn sé le líonraí lárionad sonraí atá ann cheana féin, agus baineann sé leas as forbairt ghníomhach i gCuibhreannas Ultra Ethernet. Is minic go mbíonn cur amach na foirne oibriúcháin ina fhachtóir cinniúnach.
C: Cad a chiallaíonn líonra AI neamh-bhlocáil?
A: Ciallaíonn sé duille iomlán-go-go bhfuil toilleadh uplink an spine cothrom le toilleadh iomlán na nduilleog go dtí-an nasc freastalaí, ionas gur féidir leis an bhfabraic aon phatrún cumarsáide a chothú idir aon phéire nóid ag ráta iomlán na líne. Go praiticiúil, tá fíor-neamh-bhlocáil costasach; tá go leor fabraicí táirgthe “beagnach do bhac” ag 1.1:1 nó 1.2:1 agus fós ag feidhmiú go maith.
C: Cén tástáil a thaispeánann fíorfhadhbanna cumraíochta RoCE?
A: Is iad seomraí tagarmhairc an NCCL (all_reduce_perf, all_gather_perf) a reáchtáiltear ar scála iomlán braisle a thabharfaidh aghaidh ar na fíorfhadhbanna. Is féidir le tástáil ib_send_bw íon idir dhá nód pas a fháil agus ní éiríonn go maith le nód 32-laghdaithe go léir mar gheall ar cheisteanna incast nó PFC. Bailíochtaigh i gcónaí ag an scála atá beartaithe agat a rith.
Conclúid
Ní hé an líonra braisle AI is láidre an ceann leis na lasca is tapúla. Is é seo an ceann ina dtacaíonn rogha NIC, méid na nduilleog/dromlaigh, ró-shuibscríobh, cumraíocht RoCE, scaradh tráchta agus cáblaí fisiceacha lena chéile agus an t-ualach oibre ar roghnaíodh iad dó.
Tosaigh leis an ualach oibre agus an plean fáis 18-mí. Ríomh riachtanais bandaleithead ag gach sraith ag baint úsáide as réaduimhreacha, ní hamháin rialacha ordóige. Cumraigh -deireadh RoCE-go-deireadh agus bailíochtaigh iad le fíor-thagarmharcanna cumarsáide. Buiséad don ghléasra cáblaithe - ag 400G agus 800G, níl an ciseal fisiceach fánach a thuilleadh.
Is é an braisle a choinníonn a GPUanna gnóthach ag 95% + úsáid trí gach céim oiliúna an ceann a thug aird ar na sraitheanna seo go léir. Déanfaidh an bhraisle a sheolann le lasc níos tapúla agus fabraic níos moille blianta a chaitheamh ag míniú cén fáth a bhfuil na GPUanna díomhaoin.