I roto i nga tau e rua kua pahure ake nei, tata katoa nga korerorero mo AI kua aro ki te mana rorohiko: he iti rawa nga GPU, he iti te kaha rorohiko, me nga tautau iti.Te ahua nei ka nui ake te mana rorohiko ka whakaoti i nga raru katoa.

Engari ko tenei purongo e whakanui ana i tetahi waahanga nui: Ko te mea e tino whakaroa ana i te AI ko te kore e kaha ki te tatau, engari ko te kore e kaha ki te neke i nga raraunga.

Ma tetahi tatauranga ka marama te raruraru: Ko te panui raraunga mai i te DRAM ka pau nga rau o te kaha ake i te SRAM.I tenei wa, ko te waahi mahi i waenga i nga tukatuka me te mahara kei te whanui tata ki te 50% ia tau.

Ko te nuinga o te mana rorohiko e hangai nei tatou e tatari ana mo nga raraunga. I taua wa, ka mohio ahau ki tetahi mea whakamiharo: I titiro pea matou ki te he o te pounamu mo AI i nga wa katoa.

Mena ko te raruraru ehara i te tatauranga ake, engari ko te wehenga o te rorohiko me te mahara, na ko te whakautu pono kaore pea he GPU kaha ake. Ko te tuku Ko te mahara tonu ka uru ki te rorohiko. Koira te tino korero e whai ana tenei purongo.

Karere Matua o te Ripoata

Ko te tino pounamu o te mana rorohiko AI kei te huri mai i te tatauranga ki te mahara, ko te otinga ko te neke i te rorohiko ki te mahara.

Ko te Tino Raruraru: Ko te Whakaaetanga AI Kua Whakaitihia e te Nekehanga Raraunga

Ko te tatauranga AI e whakawhirinaki nui ana ki nga mahinga MAC (whakarei-whakaemi) me te tino kaha ki te raraunga. Heoi ano, ko te hoahoanga a von Neumann he hapa mate:

• Ko te aputa mahi i waenga i nga kaitukatuka me te DRAM kei te whanui tonu (tata ki te 50% ia tau)
• He nui ake te utu mo te urunga mahara ki te mahi tatau (DRAM panui te kaha ≈ 100x tera o SRAM)

Whakamutunga: Kare a AI e taka ki te tatau—kaore e taea te nuku raraunga ma te utu me te tere.

Taupatupatu Matua: The von Neumann Bottleneck

Ko te wehenga o te rorohiko me te mahara ka kaha te kati i nga raraunga, e rua nga take nui:

• Roopu teitei
• Kohi pūngao pahū

Koia tonu te korero a te purongo ko te von Neumann Bottleneck.

Te Tikanga Matua: Ko te Maharahara te Whare Rorohiko Hou

Kei te puta ake he ahua ahumahi marama: E rua nga ahuatanga e tipu ana nga maramara:

• Kei te roha tonu te mahara ki runga maramara (SRAM).
• Kei te piki haere te bandwidth mahara

I tenei wa, kua puta he huarahi hurihuri: Rorohiko Roto-Mahara (IMC).

Ko tona whakaaro matua: Mahia nga mahi arorau, tatau tatau, me te whakareatanga matrix (te matua o AI) ki roto tonu i te mahara.

Huringa taketake: Mahara = Rokiroki → Mahara = Rorohiko Miihini

Nga Ara Hangarau: Mai i te SRAM ki nga Maharatanga Putanga

E whakaatu ana te ripoata i nga huarahi whakatinana maha:

1. SRAM / eDRAM (ara tuku iho)
Tatau-i-Keteroki, Keteroki Neural
AtAKi: pakeke, tere tiketike
Tepe: te waahi nui, te iti o te tauineine

2. Te Maharahara Putanga (Ahunga Auraki)
Kei roto ko: MRAM, PCM, ReRAM, FeRAM

Whāinga noa: huri i nga huānga mahara ki roto i te matrix multiply-compile engines me te rorohiko i roto i te waahi me te rorohiko tairitenga (hei tauira, te whakahiato o naianei mo te whakarea vector).

Essence: raupapa mahara = AI whakatere

Engari kei te mau tonu nga wero tino: te tika me te haruru, te rerekee o te taputapu, te paheketanga o te taumaha (ina koa ki te ReRAM), me nga take pupuri. He pai te huarahi engari he tino wero i roto i te mahi miihini.

Rongoa Pūnaha: Pūmārō-Algorithm Co-Arotautanga

Ko te purongo e kii ana kaore i te rawaka anake nga taputapu—me tipu ano nga algorithm.

• Tauira kōpeketanga: tapahi, sparsity, iti-rangatira pirau
• Rorohiko iti-tika: ira-mau, whatunga neural rua
• Whakangungu mohio mo nga taputapu: STE, moka-waahi mokamoka

Whakamutunga matua: Ko te arotautanga pai o AI me hoahoa tahi o te hoahoanga, nga taputapu, me nga algorithm.

Whakamutunga Whakamutunga

1. Ko te mahara ki runga maramara kua noho hei rauemi matua mo nga punaha AI
2. Ko nga maharatanga ka puta ake ko te whakaurunga mahara-tatauranga hei huarahi auraki
3. Ko nga maramara AI whakatipuranga e whai ake nei e hiahia ana ki te hoahoa-whakawhitiwhiti mai i nga taputapu ki te algorithms

Whakarāpopototanga

Kei te huri te pounamu a AI mai i te "kaore i te nui te mana rorohiko" ki te "kaore e taea te neke tere nga raraunga." Ko te whakautu mo nga maramara o muri mai ehara i te GPU kaha ake, engari mahara ka taea te tatau i a ia ano.