what happens if you actually own the silicon? For work inquiries, please send a direct message. github.com/hikarioyama
Japan,Toyama
- Tweets 6,372
- Following 1,852
- Followers 16,303
- Likes 24,832
Pinned Tweet
私は普段、オープンウェイトのLocalLLMモデルを改造して、無検閲化する等の研究を行っています。
僕が作ったBonzai 2 27Bが@BoldingBuilds が実施してくれた検証で現時点の最高スコアを記録しました！検証ありがとう。
このモデルは12GBのVRAMで動かせる27Bモデルです。
NSFWプロンプト作成、検閲無しのキャラチャット、検閲が邪魔になる研究用途などで使えると思います。
検証では、無検閲化したモデルの中で最も知識の劣化が少ないことが判明しました。
クラウドのAIが拒否する用途にも対応できます。
興味のある人はリプライからDL出来るので是非使って見ていただいて、結果を教えていただけると嬉しいです！
普段は英語で発信していますが、将来的には日本語向けに最適化された無検閲モデルなども作っていきたいと思っているので、今回日本語でPOSTしてみました！
28
370
4,305
771,039
For now, it booted up successfully with three GPUs! Two riser cables are arriving tomorrow, so I'll connect the remaining two Max-Q cards then🔥
6
3
102
3,026
Hikari∣LocalLLM⚡ retweeted
主役が届きました。RTX Pro 6000 Blackwell Max-Q x4
これで今年の冬は暖房が不要になりました。
15
32
379
16,217
You can run Jev locally using the atomic.chat llama.cpp patch! This demo is running on the CPU. Laya has 421M parameters and requires only 1GB of memory at peak usage.
・Decision-making accuracy comparable to Jev
・Faster performance
・No API fees.
Laya plays Plants vs Zombies on CPU 🧟
We patched the llama.cpp engine to run Laya natively so it works on a regular CPU with no GPU and here a fine-tuned Laya makes every move until it beats the Plants vs Zombies pool level
Run decision models locally-> atomic.chat
2
6
87
6,081
Once my setup is complete, I plan to explain the entire setup in detail.
Electrical work—covering everything from UPS units to motherboards and riser cables—in full detail.
1
2
45
2,626
Someone in the local LLM community has a CPU cooler for Threadripper and has agreed to sell it to me! Once it arrives, I'll be able to run it at maximum boost clock speed!
The cooler that came with the workstation when I bought it was just a standard AIO liquid cooler for Ryzen series processors, so the cooling was a bit of a problem. I'm using a Threadripper Pro 9965WX CPU.
10
1
61
3,046
0.8Bの日本語SFTモデル！
ちょうどGPUなしのPCで動かないかね〜って話してたので助かります🙏
予告より早いですが、0.8Bの日本語モデルを公開しました。
Qwen3.5-0.8Bから、日本語の常識問題41.7%→69.4%で、GPUなしのPCでも1回1秒前後で返ってきます。
学習データも全部公開済みです。
ブラウザ推論はこちらから（プライベートモードでは使用できないみたいです。）
project.arils.jp/local
1
60
3,943
If the 64GB DGX Spark is $4999, what will the 128GB DGX Spark be like...😣
I wish it were more affordable for more people.
The only options are for the model to evolve and become smaller, or for the hardware supply to improve. I hope for smaller models and RAM offload inference. There are no signs of improvement in memory prices.
18
6
76
10,745
Have the agent handle tasks that don't require my intervention.
Stroll through the park and look at the roses.
Soak up the sunlight
Perfect.
5
1
31
1,998
My RTX PRO 6000 Max-Q has arrived. It came in a large cardboard box and was left in the parcel locker.
I’ll say it again: it was left in the parcel locker😂
32
19
440
27,528
I'll soon be running a multilingual local LLM livestream by combining STT, a translation model, and a speaker recognition model. Spaces couldn't support multiple languages, but with real-time subtitles, non-Japanese speakers should be able to enjoy it too!
13
7
58
4,680
irodoriTTS使って、自分用ポッドキャスト作ってみるか。現状情報のキャッチアップが追いつかない。
**について知りたいって言うだけで、自分のプロジェクトに絡めながら教えてくれるポッドキャストを生成するシステムが欲しい。やります。
2
1
31
2,583
