Mac minik és Mac Studiók összekapcsolásával nagyobb helyi AI-modelleket is futtathatsz, és több munkát végezhetsz párhuzamosan. A beruházás értékét azonban a használható memóriakapacitás, a tényleges válaszidő és a teljes üzemeltetési költség együtt mutatja meg. Négy gép megvásárlásából önmagában nem következik négyszeres sebesség.
Vállalkozóként először azt tisztáznám, melyik feladatot szeretném helyben elvégezni. Dokumentumok feldolgozásához, magyar szövegek ellenőrzéséhez, programozási segítséghez és egy ügyfélszolgálati tudástár kiszolgálásához eltérő rendszer lehet megfelelő. A Mac AI-klaszter kalkulátorban a gépek memóriáját, a modell becsült igényét és a költségeket közös tervben vizsgálhatod. Az alábbi számok szabadon választott, hipotetikus tervezési példák; egyik sem hardvermérés vagy kereskedelmi ajánlat.
Mit jelent a Mac gépek összekapcsolása?
A klaszter több, együttműködő számítógépből áll. Minden Mac saját operációs rendszert futtat és saját memóriát kezel. A gépekre telepített szoftver osztja szét a munkát, továbbítja a szükséges adatokat és állítja össze az eredményt. A kábel csatlakoztatásától a macOS nem mutatja majd egyetlen gép memóriájaként a teljes kapacitást.
Három működést érdemes megkülönböztetni:
- Egy nagy modell részei több gépen helyezkednek el. Ez növelheti a futtatható modellméretet.
- A gépek ugyanannak a modellnek a számításain dolgoznak együtt. Az eredmény a megosztás módjától és a kommunikáció sebességétől függ.
- A gépek önálló modelleket vagy külön feladatokat futtatnak. Ilyenkor több dokumentumot, kérést vagy munkafolyamatot szolgálhatsz ki egyszerre.
Az MLX-LM projekt támogat elosztott modellfuttatást, az Exo pedig eszközfelderítést, modellmegosztást és kezelőfelületet is kínál. Az adott modell architektúrája, formátuma és a telepített szoftververzió együtt határozza meg a lehetőségeket.
Ha egy modell már megfelelően fut az egyik gépen, különösen érdemes kipróbálni az önálló feladatkiosztást. Az egyik Mac készítheti elő a dokumentumokat, a másik válaszolhat a felhasználóknak. Ehhez gyakran egyszerűbb működést lehet kialakítani, mint ugyanannak a modellnek a többgépes futtatásához.
Mire jó a gyakorlatban, és melyik modellel indulj?
Az alábbiak kipróbálható modell–feladat párosok. A felsorolt helyi futtatók támogatását ellenőriztem, saját Mac-benchmarkot nem végeztem. A magyar minőséget, a választott kvantálást és a sebességet a saját anyagaiddal kell megvizsgálni. A többgépes támogatás további feltétel, amelyet a helyi, egygépes működés önmagában nem igazol.
Szövegírás, termékleírás és összefoglaló
A Qwen3-8B kisebb kiinduló jelölt, a Qwen3-32B nagyobb változatként vizsgálható, Apple Silicon gépen MLX-LM-mel. Cikkvázlatot, hírlevelet, több szövegváltozatot vagy egy megadott anyag összefoglalóját kérheted tőlük. A saját termékadatokat add át a modellnek, majd ellenőrizd a tényeket és a magyar megfogalmazást. Egy nagyobb modell hasznát ugyanazzal a tíz–húsz munkafeladattal mérném össze a kisebbével.
Programozási segítség
A Qwen3-Coder-30B-A3B-Instruct kódmagyarázathoz, függvényekhez és hibajavítási javaslatokhoz használható jelölt, helyi MLX-LM-támogatással. A 30,5 milliárd teljes paraméterből egy lépésben körülbelül 3,3 milliárd aktív. A memóriatervezéshez a teljes mennyiségből indulj ki. Önálló fájlszerkesztéshez és tesztfuttatáshoz külön eszközintegráció is szükséges; a modell által írt kódot ellenőrizni kell.
Saját dokumentumok és tudástár
A Qwen3-modellek köré helyi dokumentumkereső is építhető. A RAG működésében a rendszer előkészíti és kereshetővé teszi a forrásokat, majd a kérdéshez releváns részleteket adja a modellnek. Így belső útmutatóból vagy termékdokumentációból készülhet válasz. Szkennelt PDF-hez szövegfelismerés is kell. A modell nem látja magától a számítógép összes fájlját, és a forrásokra építő válaszban is maradhat tévedés.
Interjúk, előadások és videók átírása
A Whisper large-v3-turbo beszédfelismerésre készült; az MLX-Audio Apple Siliconon konkrét helyi változatot dokumentál hozzá. Hanganyagból szerkeszthető szöveg vagy felirat munkaváltozata készülhet. Sok felvételnél a külön fájlokat külön Maceknek adhatod. A neveket, számokat és az esetleges hibás betoldásokat ellenőrizd. A videó hangsávjának átírása nem tartalmazza automatikusan a képernyőn látható események értelmezését.
Illusztrációk és kampányképek
A FLUX.2 [klein] 4B képgenerálása és referenciaképes szerkesztése az MFLUX dokumentációjában szerepel. Kampányötletek, hangulati képek és illusztrációk próbáihoz lehet jelölt. A termék alakját, feliratait és az elvárt arculatot külön ellenőrizni kell. Több géphez elsőként külön képfeladatokat rendelnék; egyetlen kép többgépes gyorsítását az LLM-klaszter létezése nem biztosítja.
Rövid videók és képek megmozgatása
Az LTX Desktop béta alkalmazás LTX 2.5 Fast modellel Apple Siliconon helyi videógenerálást dokumentál. A 2026. október 10-én ellenőrzött követelmény Apple Silicon gépen legalább 32 GiB teljes RAM és macOS 13 vagy újabb rendszer. A dokumentáció itt a gép teljes fizikai memóriáját veszi alapul; a feltétel teljesítése nem sebességígéret. Rövid kreatív klipek és képből indított mozgás próbáihoz vizsgálható. A teljesen helyi működéshez külön Local Text Encoder szükséges; a felhős funkciók használatát a beállítások döntik el. Az alkalmazás és a modellsúlyok licence külön ellenőrizendő.
Videónál a felbontás, a képkockaszám és a generálási lépések is erősen befolyásolják az igényt. Egy 128 GiB-os Studio memória alapján ígéretesebb kiindulás lehet egy kisebb gépnél, de ebből még nem számítható klipenkénti elkészülési idő. A második Mac készíthet külön klipet vagy végezheti a szöveges előkészítést. Az LTX Desktop egyetlen videójának Mac-klaszterre osztását ezek a források nem igazolják.
Hogyan számold a tényleges memóriakeretet?
A beépített RAM-ból a rendszer, a háttérprogramok és az AI-futtatás munkaterülete is foglal. A hosszabb bemenetek és a párhuzamos kérések további helyet igényelhetnek. A modell paramétereinek mérete ezért csak a számítás egyik része.
Az itt bemutatott súly- és KV-gyorsítótár-becslés nyelvi modellek tervezéséhez készült. Kép- és videógenerálásnál más munkaterületek és futtatási lépések számítanak; ezekre a kalkulátor memóriaeredményét ne tekintsd alkalmassági igazolásnak.
A kalkulátor a memóriát GiB egységben kezeli. Egy GiB 1 073 741 824 bájt, egy GB 1 000 000 000 bájt. Ugyanaz a bájtmennyiség eltérő számot ad a két egységben. A példákban szereplő 64 és 128 GiB számítási bemenet; a saját eszközöd adatait az egység ellenőrzése után add meg.
Egy 70 milliárd paraméteres modell súlyainak elméleti mérete 4 bites tárolással 70 milliárd × 4 / 8 = 35 milliárd bájt. Ez 35 GB, vagy körülbelül 32,60 GiB. A tényleges fájl és a betöltött modell mérete eltérhet ettől, például a kvantálási segédadatok és a más pontossággal tárolt részek miatt.
A szemléltetéshez a súlyokra 15% többletet számolunk, így 37,49 GiB-ot kapunk. Ehhez hozzáadunk összesen 8 GiB KV-gyorsítótárat, amely a szövegfeldolgozáshoz használt köztes adatokat tárolja. A modell és a gyorsítótár együtt így 45,49 GiB. A 15% és a 8 GiB saját becslésünk, nem általános modelljellemző.
Egy 64 GiB-os gépnél 8 GiB rendszertartalékot és 4 GiB futtatási munkaterületet különítünk el. A fennmaradó keret 52 GiB. A példabeli 45,49 GiB igény ebbe belefér, 6,51 GiB marad. Ez előzetes kapacitásbecslés: a tényleges szoftver memóriahatára és a terhelés alatti csúcsérték még ellenőrzendő.
Két ugyanilyen gépnél 128 GiB a beépített kapacitás, a két külön fenntartott rendszer- és munkaterület után pedig 104 GiB marad. A 70 milliárdos példamodellhez tehát a becslés alapján egyetlen gép is elég lehet. A második gép hozzáadásának értékét itt már teljesítménnyel vagy párhuzamos feladatokkal kell indokolni.
Egy 120 milliárd paraméteres, ugyanilyen 4 bites példamodell súlyai 55,88 GiB-ot igényelnének. A 15%-os többlettel és 8 GiB gyorsítótárral 72,26 GiB a becslés. Ez az 52 GiB-os egygépes keretet meghaladja, a 104 GiB-os közös keretbe elméletileg belefér. A kompatibilis megosztás és a gépenkénti elhelyezhetőség itt is feltétel.
Két 128 GiB-os géppel, azonos gépenkénti tartalékok mellett 256 − 24 = 232 GiB a számított keret. A nagyobb memória nagyobb modellt vagy hosszabb szövegek feldolgozását teheti lehetővé. A modell válaszainak minőségét továbbra is külön kell értékelned. A helyi AI hardver- és modellkalkulátor az egygépes kiinduló becsléshez használható.
Mi történik egy 64 és egy 128 GiB-os gépnél?
Az eltérő gépek közös használata külön figyelmet igényel. A példabeli levonások után az egyik gép 52, a másik 116 GiB-ot tudna adni a modellnek és a gyorsítótárnak. A kettő összege 168 GiB.
Egyenlő elosztásnál mindkét gép ugyanakkora részt kap. A kisebb gép 52 GiB-os kerete miatt a közös feladat legfeljebb 104 GiB lehet ebben az egyszerűsített modellben. A nagyobb gépen 64 GiB kihasználatlanul maradhat ehhez a feladathoz.
Ideális, kapacitásarányos elosztással elméletileg mind a 168 GiB használható lenne. Ehhez a futtatóprogramnak támogatnia kell az egyenlőtlen megosztást, a modell részeinek pedig megfelelően kell illeszkedniük. Egyes adatokat több gépen is tárolhat a rendszer. A kalkulátor arányos módja ezért felső kapacitásbecslés.
Külön modellek esetén mindkét gépnek a saját keretébe kell beleférnie. A fennmaradó memóriát nem adhatod automatikusan hozzá a másik géphez. A két gép két teljes munkafolyamatot szolgálhat ki, ami rendszeres háttérfeldolgozásnál jó kiinduló megoldás lehet.
A memória mellett a számítási teljesítmény is számít. Ha egy munkalépéshez mindkét gép eredménye szükséges, az erősebb várhat a gyengébbre. Az egyenlőtlen memóriakiosztás önmagában nem egyenlíti ki a GPU-teljesítmény vagy a memóriasávszélesség különbségét.
Milyen kábellel és szoftverrel működik?
Az Apple RDMA-ról szóló technikai dokumentuma szerint a Thunderbolt-alapú RDMA Apple Silicon és Thunderbolt 5 mellett, macOS 26.2-től érhető el. Az RDMA csökkentheti az adatátvitel késleltetését és a kommunikáció többletterhelését. A szolgáltatáshoz megfelelő szoftveres beállítás is kell.
Thunderbolt 4-es gépekhez az MLX elosztott kommunikációs megoldásai közül TCP-alapú hálózati működés is használható. A port alakja alapján nem lehet eldönteni az RDMA-támogatást. Ellenőrizni kell a gép, a kábel, az operációs rendszer és a futtatóprogram követelményeit.
A kábelezés verziófüggő. Az ellenőrzött MLX-dokumentáció JACCL-része teljes összekötést ír elő, azaz minden géppár közé közvetlen kábel kerül. Az Exo leírása ugyanezt kéri az ott bemutatott RDMA-klaszterhez. Négy gépnél ez 6, hat gépnél 15 kábel: a képlet gépszám × (gépszám − 1) / 2. Gépenként ennek megfelelő számú használható port szükséges.
Az Exo dokumentációja a Mac Studio Ethernet-csatlakozó melletti Thunderbolt-portjára külön korlátozást jelez, és egyező macOS-verziókat kér. Az Apple WWDC26-os bemutatója ugyanakkor már JACCL-alapú RDMA-gyűrűt is ismertet. A dokumentációk eltérő fejlesztési állapotot tükrözhetnek: kábelvásárlás előtt a ténylegesen telepítendő verzió támogatását ellenőrizd. Egy TCP-gyűrű leírása önmagában nem igazolja ugyanennek az elrendezésnek az RDMA-kompatibilitását.
Az Intel Thunderbolt-ismertetője 80 Gb/s kétirányú sávszélességet ad meg a Thunderbolt 5-höz. A 80 gigabit másodpercenként 10 gigabájt másodpercenkénti nyers adatsebességnek felel meg; az alkalmazásban elérhető érték alacsonyabb lehet. A 120 Gb/s-os Bandwidth Boost kijelzőforgalomhoz kapcsolódó üzemmód. Ezt ne használd a modell gépek közötti adatátvitelének garantált sebességeként.
Mennyi idő alatt érkezik meg a válasz?
A válaszidőben különválik a modell betöltése, a kérés várakozása, a bemenet feldolgozása és az új szöveg előállítása. A másodpercenként létrehozott tokenek száma az utóbbihoz ad támpontot. Egy token szövegrészlet; a magyar szavak és a tokenek száma között nincs állandó átváltás.
Ha a saját mérésedben 25 token/másodperc a szöveggenerálás, 1000 kimeneti tokenhez körülbelül 40 másodperc szükséges. Ugyanez 40 token/másodpercnél 25 másodperc. A kalkulátor ezt a hányadost számítja. A hardver megnevezéséből és a gépszámból nem jósol token/másodperc értéket, és az eredmény nem tartalmazza a bemenet feldolgozását vagy a várólistát.
Az összehasonlításhoz ugyanazt a modellt, kvantálást, bemenetet és kimenethosszt használd. Mérj egyetlen kérésnél és több párhuzamos kérésnél is. Rögzítsd az első tokenig eltelt időt, a teljes válaszidőt, a memóriahasználatot és az elkészült válaszok minőségét. Egy vállalkozási folyamatnál az is eredmény, ha ugyanannyi idő alatt több használható dokumentum készül el.
Hat egyidejű kérésnél melyik elrendezés végez előbb?
A bővítés értékeléséhez a teljes várólistát is mérd meg. Saját modellünkben hat kérés egyszerre érkezik, mindegyik pontosan 1000 kimeneti tokent igényel. A bemenet már feldolgozott, a modell betöltve vár; egy futtatópéldány egyszerre egy kérést szolgál ki, folyamatos kötegelt feldolgozás nélkül. A következő sebességek feltételezések, azonos minőségű eredményt adó modellváltozatokra.
Egy gép 25 token/másodperces sebességgel kérésenként 40 másodpercig dolgozik. Hat egymás utáni kérésének befejezése 40, 80, 120, 160, 200 és 240 másodperc. Két önálló, ugyanilyen gépre három-három feladatot osztva a befejezések 40, 40, 80, 80, 120 és 120 másodpercre kerülnek.
Most tételezzük fel, hogy a két gép közös modellfuttatása egyetlen kiszolgálóként 40 token/másodpercet ér el. Egy válasz 25 másodperc, a hat sorban váró kérés 25, 50, 75, 100, 125 és 150 másodpercre készül el. Az első ügyfél gyorsabban kap teljes választ, az utolsó a két önálló gépes esethez képest 30 másodperccel később.
| Elrendezés | Első teljes válasz | Utolsó teljes válasz | Hat kérés átlagos teljes válaszideje |
|---|---|---|---|
| Egy önálló gép | 40 s | 240 s | 140 s |
| Két önálló gép, egyenletes kiosztás | 40 s | 120 s | 80 s |
| Két gép közös, soros kiszolgálóként | 25 s | 150 s | 87,5 s |
Az eredmény a megadott kiszolgálási szabályból következik. A valós kötegelés, bemenetfeldolgozás, eltérő kérdéshossz és memóriahasználat megváltoztathatja a sorrendet. Ugyanezt a mérési sort ezért a saját terheléseddel futtasd le. Előre döntsd el, hogy egy ember gyors válasza vagy több párhuzamos munka elkészülése a beruházás fő célja; a puszta token/másodperc érték ezt nem dönti el.
Mennyibe kerül a helyi AI teljes működése?
A teljes költségbe a gépek és kábelek beszerzése, a villamos energia, a karbantartás és a választott időtáv egyaránt beletartozik. Az adminisztrációra fordított saját munkaidőnek is adj értéket. A már meglévő eszköz külön eset: egy bővítési döntésben a valóban új kiadást vizsgáld, a teljes rendszer értékelésében pedig következetesen kezeld a korábbi beruházást is.
Egy hipotetikus rendszer aktív fogyasztása összesen 300 W, üresjárati fogyasztása 50 W. Napi 6 óra aktív és 18 óra üresjárati működéssel a napi energiaigény (300 × 6 + 50 × 18) / 1000 = 2,7 kWh. A kalkulátor 365 napos évvel számol, így ez évi 985,5 kWh, havi átlagban 82,125 kWh. Szabadon választott, 70 Ft/kWh egységárral a havi átlagos költség 5748,75 Ft. A saját tarifádat és konnektornál mért fogyasztásodat add meg; az áramfogyasztás költségkalkulátora részletes ellenőrzéshez is használható.
Ha a gépek és a tartozékok összesen 2 400 000 Ft-ba kerülnek, az időtáv 36 hónap, a havi karbantartás pedig 20 000 Ft, akkor a teljes kiadás 2 400 000 + 36 × (5748,75 + 20 000) = 3 326 955 Ft. Havi átlaga 92 415,42 Ft. A példa maradványérték, finanszírozás és külön hűtési költség nélkül számol. Az összegek feltételezések, az áfát minden összehasonlított tételnél azonos alapon kezeld.
A felhős alternatívához saját feladaton mérd meg a bemeneti és kimeneti tokenmennyiséget, majd az adott szolgáltató ellenőrzött díjaival számolj. Vedd figyelembe a gyorsítótárazás, a kötegelt feldolgozás, a tárolás és az integráció költségét is, ha ezek részei a szolgáltatásnak. Hasonló minőségű eredményeket és azonos havi terhelést vess össze. A helyi rendszer és egy előfizetés eltérő feladatkört fedhet le, ezért előfordulhat, hogy mindkettőre szükséged marad.
Mennyibe kerül egy valóban felhasználható eredmény?
A havi gépköltséget érdemes a munkában elfogadott eredményekhez viszonyítani. A legenerált változatok közül lehet hibás, ismétlődő vagy a feladathoz nem használható szöveg. Az ezekre fordított ellenőrzési idő ugyanúgy a munkafolyamat része. A tokenenkénti sebességből ezt a költséget nem lehet megállapítani.
Használjuk a fenti rendszer teljes pontossággal számolt havi átlagát, 3 326 955 / 36 = 92 415,42 Ft-ot. Egy új, kitalált munkapéldában havonta 1000 szövegváltozat készül, amelyek 80%-a, azaz 800 felel meg az előre rögzített feltételeknek. Minden változat átnézése átlagosan két perc, a munkaidőt pedig 6000 Ft/óra belső költséggel vesszük figyelembe. Ez számítási feltevés, nem piaci munkadíj vagy mért modellminőség.
A kétezer perc ellenőrzés 33 óra 20 perc, belső költsége 200 000 Ft. A havi gépköltséggel együtt 292 415,42 Ft adódik. Nyolcszáz elfogadott eredményre osztva körülbelül 365,52 Ft egy felhasználható változat költsége. Az ellenőrzés itt a szöveg szakmai és szerkesztési átnézése; a korábban megadott havi karbantartás kizárólag a rendszer üzemeltetéséhez tartozik, így ugyanazt a munkát nem számoljuk kétszer.
| Saját munkapélda | Nagyobb havi használat | Kisebb havi használat |
|---|---|---|
| Generált változatok | 1000 | 250 |
| Elfogadott változatok, feltételezett 80%-kal | 800 | 200 |
| Ellenőrzési munka belső költsége | 200 000 Ft | 50 000 Ft |
| Gép és ellenőrzés havi költsége együtt | 292 415,42 Ft | 142 415,42 Ft |
| Egy elfogadott változatra jutó összeg | 365,52 Ft | 712,08 Ft |
A kisebb havi használatnál a rendszer havi költségét és rendelkezésre állását változatlannak feltételezzük, a munkamennyiség a negyedére csökken. A rögzített költség így kevesebb használható eredmény között oszlik el. Ha a valóságban a gépeket kevesebbet kapcsolod be, az energiaigényt is számold újra. Más feladatra használt gépnél a közös költség felosztását külön rögzítsd.
A nevezőben szereplő eredmény egységét is rögzítsd. A táblázat elfogadott szövegváltozatot számol. Ha a vállalkozási cél elkészült cikk, ugyanannak a cikknek több megfelelő változata továbbra is egy befejezett munkát jelenthet. A félretett, fel nem használt változatokat ilyenkor ne számold új elkészült feladatnak. A végső munkadarabra jutó költséghez minden hozzá tartozó generálási és ellenőrzési ráfordítást összegezz, és az átadott munkadarabok számával oszd el.
A próbához előre írd le, mitől elfogadható egy eredmény: megfelel-e a feladatnak, helyesek-e az adatai, ellenőrizhetők-e a forrásai, és használható-e a kért formátumban. A javításra fordított időt a kétperces átlagba vagy külön sorba tedd. Ugyanezekkel a feltételekkel hasonlítsd össze a helyi rendszert más munkamódszerrel. A több elkészített változat önmagában nem bizonyít nagyobb üzleti értéket.
Hogyan érdemes elkezdeni?
Először válassz egy rendszeresen ismétlődő munkát és egy helyben futtatható, megfelelő licencű modellt. A szolgáltatásokéval kompatibilis API a programok összekapcsolását segíti; ettől egy szolgáltató zárt modellje még nem válik letölthetővé. A kipróbált modell magyar nyelvi és szakmai minőségét saját anyagokon ellenőrizd.
A meglévő erősebb gépen mérd meg a kiinduló működést. Ezután próbáld ki a második gépet külön munkával, majd támogatott esetben közös modellfuttatással. A letöltések időigényét a letöltési idő kalkulátorában becsülheted meg a tényleges modellfájl méretéből és a kapcsolatod sebességéből.
Újabb gépet akkor terveznék, ha az eredményekből már látszik, melyik korlátot oldja meg: a memóriát, a párhuzamos kapacitást vagy a mért válaszidőt. A Mac AI-klaszter kalkulátorban készíts egy tervet a meglévő eszközökre és egyet a bővítésre. A különbséghez rendelj konkrét havi feladatmennyiséget. Ebből már érdemi beruházási döntés készíthető.
Két párhuzamos kérés memóriája külön próba
A betölthető modellt és a vállalható egyidejű kérésszámot külön számold. Vegyük a fenti, elméleti 70 milliárd paraméteres, 4 bites példát: a 35 GB nyers súly 15%-os ráhagyással körülbelül 37,49 GiB. A 64 GiB-os gépen a feltételezett 8 GiB rendszer- és 4 GiB munkaterület után 52 GiB áll rendelkezésre.
Tegyük fel, hogy a futtató egyetlen, közösen használt súlypéldánnyal dolgozik, és minden egyidejű aktív kéréshez külön 8 GiB KV-cache kell. Egy kérés becslése 37,49 + 8 = 45,49 GiB. Két kérésé 37,49 + 16 = 53,49 GiB, ami már körülbelül 1,49 GiB-bal túllépi az 52 GiB-os keretet. A számítást a kerekítetlen súlymérettel végeztük; a táblázatos értékek két tizedesre kerekített eredmények.
A 8 GiB kérésenként itt feltételezett bemenet. A valódi cache-igényt a modell felépítése, a kontextushossz, a cache adattípusa és a futtató megoldása határozza meg. A példából az következik, hogy egyetlen sikeresen betöltött modell még nem igazolja két hosszú kérés egyidejű kiszolgálását. A tervezett leghosszabb kontextussal és kérésszámmal mérd meg a csúcsmemóriát.
Az itt megnevezett MLX-futtatási útvonal Apple Silicon gépekre épül. A LTX Desktop helyi MPS módjának dokumentációja is Apple Silicont ír elő; egy Intel-alapú Mac nagy RAM-ja önmagában nem teljesíti ezt a feltételt. Más futtató esetén annak saját hardvertámogatását ellenőrizd. A hivatkozott projektdokumentációt 2026. október 17-én újra ellenőriztük; a fenti memória- és sebességszámok továbbra is tervezési példák, saját hardvermérés nem készült.
Források és ellenőrzés
A technikai állítások alapja az Apple TN3205 dokumentuma és WWDC26-os előadása, az MLX, MLX-LM és Exo dokumentációja, valamint az Intel Thunderbolt-ismertetője. A felhasználási példákhoz az adott modellkártyák és a helyi futtatók dokumentációja kapcsolódik. A közvetlen hivatkozások a cikkben szerepelnek. Ellenőrzés: 2026. október 10. A memóriatartalékok, 70 és 120 milliárdos modellpéldák, fogyasztási értékek és költségek saját szemléltető feltételezések; a szoftveres támogatást telepítés előtt újra ellenőrizd.
Záró tudáspróba
Kérdésenként egy választ jelölj meg, majd a megoldások alapján pontozd magad. Ez a három kérdés a cikkben bemutatott összefüggéseket ellenőrzi.
1. A Qwen3-Coder-30B-A3B modellnél 30,5 milliárd teljes és 3,3 milliárd aktív paraméter szerepel. Melyikből indulj a teljes súlyállomány méretének becslésénél?
- A) A 30,5 milliárd teljes paraméterből, a választott tárolási pontossággal és járulékos memóriával.
- B) Csak a 3,3 milliárd aktív paraméterből.
- C) A gép processzormagjainak számából.
2. 52 GiB használható memória mellett a közös súlypéldány 37,49 GiB, a feltételezett KV-cache kérésenként 8 GiB. Elfér két egyidejű kérés ezzel a becsléssel?
- A) Nem: körülbelül 53,49 GiB kell, így 1,49 GiB hiányzik.
- B) Igen: a gép névleges 64 GiB memóriájából semmit sem kell levonni.
- C) Igen: a KV-cache mindenképpen közös, ezért csak 45,49 GiB kell.
3. Hat egyszerre beérkező, egyenként 1000 tokenes kérésnél két külön 25 token/s-os gép három-három kérést sorban teljesít. Mikor készül el az utolsó válasz a cikk egyszerűsített modelljében?
- A) 40 másodperc múlva.
- B) 120 másodperc múlva.
- C) 150 másodperc múlva.
Megoldások és pontozás
1. A. Az aktív paraméterszám egy token feldolgozásánál használt részre utal. A teljes súlyállomány tervezéséhez a modell összes tárolt súlyát figyelembe kell venni. Ismétléshez: Mire jó a gyakorlatban, és melyik modellel indulj?.
2. A. A példában a súly egyszer szerepel, a két külön cache kétszer: 37,49 + 2 × 8 = 53,49 GiB. Ez a megadott használható keret felett van. Ismétléshez: Két párhuzamos kérés memóriája külön próba.
3. B. Egy kérés 1000/25 = 40 másodperc. Mindkét gépen három kérés fut sorban, így 3 × 40 = 120 másodperc az utolsó elkészülés. A példa a promptfeldolgozást és egyéb késleltetéseket kizárja. Ismétléshez: Hat egyidejű kérésnél melyik elrendezés végez előbb?.
Minden helyes válasz 1 pont; a hibás vagy kihagyott válasz 0 pont. Az összpontszám 0–3 lehet.
- 0 pont: dolgozd végig újra a három megoldásban megjelölt részt, és írd le a példák kiinduló feltételeit.
- 1 pont: a két elhibázott kérdésnél vezesd le a helyes választ; külön írd mellé, melyik feltétel vagy számolási lépés maradt ki.
- 2 pont: térj vissza az egyetlen elhibázott kérdéshez kapcsolt részhez, majd egy bemenet megváltoztatásával ellenőrizd újra az eredményt.
- 3 pont: a három összefüggést ebben a feladatsorban helyesen alkalmaztad. Próbáld ki a cikk egyik ellenőrzését saját adatokkal, a feltételeket és a mértékegységeket is feljegyezve.