coderのドキュメントを読むと １）エキスパートの半分をプルーニング、 ２）1パラメータあたり3.5ビットで量子化 その結果、元のモデル全体のパラメータ数で割ると平均的には1.89 bitsになっているようです。

大規模なAIモデルは、家庭用GPU1枚でどこまで動くのか？ 今回は、モデルの一部をRAMに置きながら動かす「Strata」を使い、Qwen3.8-Flash-Nextの軽量化版IQ2_XSを検証しました。 環境はRTX 5060 Ti 16GB×1、RAM64GB。日本語の要約、JSON形式の出力、コード作成、文書読解などを試し、起動確認を含む15回のリクエストがすべて成功しました。

SpaceXのAI部門が計算資源の貸し出しで大きく稼ぐようになった経緯をThe Informationが報じていました👀 ・当初イーロンは貸し出しに否定的だった ・ガスタービンは「余ったら後で高く売ればいい」という前提で先に大量購入 ・AnthropicのSpaceXAI向けコミットは合計約845億ドル ・11月にMemphisで約42万基のNvidia GPUを稼働予定 あたりがポイントかな。以下簡単なまとめ📝 【貸し出しに否定的だったイーロン】 ・昨年、Colossusの稼働率が40%未満で計算資源が余っていた時期に、幹部が他社への貸し出しを進言。イーロンは「クラウド事業者になったらAIラボとして真剣に扱われない」と却下したとのこと ・今年に入って方針転換し、最初の顧客はAnthropic。4月の全社会議では「Anthropicが計算資源をほぼ懇願してきている」と冗談まじりに話し、Grokの学習には効率の悪い旧世代H100を手放す機会と位置づけていた。この時点では「一時的な措置で、クラウド事業には参入しない」と説明していたらしい ・それが今では外部顧客が多すぎて容量が足りない状態 ・旧xAIの基盤は複数顧客で安全に共有する前提で設計されておらず、顧客間のデータ分離が課題だったが、すでに解決済みとのこと 【顧客と規模】 ・計算資源の販売はAnthropicやGoogleなどから月数十億ドル規模のコミットを集める事業になった ・Anthropicは今年前半に約450億ドルをコミット。さらにIPO目論見書の草案で追加約400億ドルを開示したとReutersが報道 ・12月開始の月11億ドルの契約もCFOが発表済み。夏にはMicrosoftとも貸し出し交渉をしていた (現状は不明) ・11月に約42万GPUを稼働予定 (イーロンのX投稿より)。Memphisの拡張拠点Minihardの分で、社内期限は10/31だったが建設方針の変更で遅れる可能性があるとのこと 【タービンを先に買っておく】 ・昨年、設置場所が決まる前から数億ドル相当のガスタービンを備蓄 ・理屈は「今後タービンは品薄になる。必要以上に持っていても後で高値で売ればいい」というもの ・主タービンに追加ユニットを付けて出力を最大化する方法も検討していた ・立地は自治体の支援と税優遇を優先。Memphisでは低排出タービン15基に制限されたが、隣接するミシシッピ州Southavenでは41基の運用が認められたため、発電所はそちらに建設 【急いで建てたツケ】 ・Colossus (20万GPU) は122日で稼働。ABBのロボットに夜間のケーブル配線を任せたり、モジュール工法で工程を並行させたりして工期を短縮 ・作業員は1日14〜16時間労働で、負傷者も出ている ・Colossus IIでは排水の掘削ミスで浸水し、建物の一部の構造健全性が損なわれた。補強工事で少なくとも2〜3週間遅れる可能性 ・6月にSpaceX側が指揮を引き継いだ後、建設起因の大規模障害が発生。Starship担当シニアディレクターのKevin Hollandがトップに就き、SpaceX全社のエンジニアに6〜8週間のローテーション応援を募集しているとのこと

RTX 5060 Ti 16GBを2枚使う構成の面白さは、単純に処理速度を上げることだけではありません。 VRAMを合計32GBまで確保することで、1枚の16GB GPUでは扱いにくい大型モデルにも手を伸ばせます。 今回試したQwen3.8-Flash-Next UD-Q2_K_XLは、GGUFファイルが約79GB。 もちろん32GBのVRAMだけでは収まりませんが、llama.cppでCPU＋2GPUへモデルを分割して配置することで動作させることができました。 特にllama.cppでは、GPUへ何層載せるか、2枚のGPUへどう分割するかなどを細かく調整できます。 「VRAM 16GBでは足りないから大型LLMは諦める」のではなく、16GB GPUを複数枚使い、さらにRAMも組み合わせることで選択肢はかなり広がります。 コンシューマ向けGPUでも、構成と設定を工夫すれば大型ローカルLLMを試せるのがマルチGPU環境の面白いところです。

検索してもこうなってしまうってことを、検索して確認したうえで、これを織り込んで発言したほうがよかったと思う。肝心なところで情弱になってしまう。