ローカルLLM、思考もままならず…「メモリー不足」で停止ｗｗｗ

NEW新着記事

ランダム

← トップページへ

📅 2026-10-19 14:06:05

✨ AI 🏷️ パーツ・自作 ai

💬 コメント・感想（0）

🔥 この記事の要点（ルナとはかせの会話でおさらい）

えー、ローカルLLMって、自分のパソコンで使うLLMのこと？

そうよ、ルナちゃん。

メモリー不足で止まるって、パソコンのメモリが足りないってこと？

そうかしら。大きいモデルだと、メモリもたくさん必要なのよ。

へぇー、だから、小さいモデルの方がいいんだね！

そうとも言えるわね。用途によって使い分けられるのよ。

すごいね！あたしは、もっとLLMについて知りたい！

頑張ってね、ルナちゃん。

< 中華イヤホン、安くて高評価もだけど音質は個体差あり？

KZのPRX届いたけどLR表記なくて焦った→「右が赤」の暗黙のルールに戸惑うｗ >

📝 スレッド内容

1 so12 2025/10/18(土) 00:01:55 ID:K5pyLCyid

どうなんだよ。4070sでもoss20bが動く。でもローカルでする意味はない。じゃあ何をするのか。Pythonとファイヤーチューニングだ

791 ななしのAIさん 2026/10/04(日) 07:25:06 ID:MQtXjbv4H

米政府の対話型ＡＩ、トランプに都合が悪い質問を拒否
https://greta.5ch.io/test/read.cgi/poverty/1791056217/

792 ななしのAIさん 2026/10/04(日) 14:03:20 ID:9wLi0EdM0

文献調査で欲しい情報の記述が定型なら、LLMよりPythonに投げた方が5000倍速かった

794 ななしのAIさん 2026/10/04(日) 14:31:01 ID:XpkZ6vtHH

うちの環境だと、流石に5000倍にはならなかったけど、3800〜4600倍くらいは出てるね

797 ななしのAIさん 2026/10/04(日) 19:16:57 ID:MlVTEcFjH

理論的には、70の二乗値だから、4900倍だね。

799 ななしのAIさん 2026/10/04(日) 19:51:32 ID:+Le0C/fy0

ずっとLMStudio使ってるからLM側がなんとかして最新技術盛り込んでくれねえかなぁ

803 ななしのAIさん 2026/10/05(月) 13:00:12 ID:SwNyTmAFH

そうしたら、自分でAI蒸留するわ
もう今のローカルAIやMac Studio は次世代AI作り出すくらいの性能に達してる

804 ななしのAIさん 2026/10/05(月) 13:43:20 ID:udFqIGj20

中国AIが自らアメリカに送ったんじゃなくて
中国企業がアメリカに送るように設定して
その答えを中国AIが答えてたように見せかけてたんだろ？

805 ななしのAIさん 2026/10/05(月) 16:45:19 ID:yLQTd5RtM

非中国モデルの進化がなぁ
飯のタネだからヤル気がないのか
Gemma4以降はよ

828 ななしのAIさん 2026/10/08(木) 07:35:26 ID:XKRCxjcv0

>>805
メインGemma4-12bでときどきmuse使ってる

返信: >>805

809 ななしのAIさん 2026/10/05(月) 22:12:26 ID:k6loM1nn0

どのモデル使えるかで実用性が全然違うだろ

810 ななしのAIさん 2026/10/05(月) 22:16:40 ID:iC7sfbLj0

俺「このテキスト(250行)の行数を数えてみて下さい」
QwenのThinking「500行？400行ぐらいかな？うーん」
Qwenの回答欄「306行」
とか見てるの面白い

812 ななしのAIさん 2026/10/06(火) 00:19:33 ID:5jbOm51L0

Thinking面白いよね
マジで人間みたいな悩みかたしてる
Strataで無理してUD IQ4 XS使ってるけどThinkingのおかげで待てる

813 ななしのAIさん 2026/10/06(火) 03:13:23 ID:raSTiaZb0

Qwen系あるある
「いいか？」→「よいか？」
「圧迫」の方が解りやすい所を「逼迫」

814 ななしのAIさん 2026/10/06(火) 22:33:48 ID:25DgR4Ji0

ワイ｢ヒーローものの映画を教えて｣

gemma（思考1分）
マーブルものを羅列
qwen（思考30分）
メモリー不足で停止

あの日、qwenは一体何を考えていたのか

815 ななしのAIさん 2026/10/06(火) 23:06:57 ID:8WiFhw9ld

gemmaに2枚座しでいけない？って聞いたら、x4は辞めてケロって言われた…
ライザーケーブルでx8で増やせばよい
みたいな話で旧機種の値上げも始めるのだろうか？
間違いないw

816 ななしのAIさん 2026/10/07(水) 16:14:48 ID:E/60Y3BfM

PCのメモリを増設したら全部ローカルLLMに占領されたでござる

818 ななしのAIさん 2026/10/07(水) 21:29:46 ID:U9+t6px70

ローカルモデルに
バックドア疑惑が

820 ななしのAIさん 2026/10/07(水) 22:54:44 ID:RFlRXKxg0

ローカルと安心させてこっそりバックドア仕掛けて
中国のオンラインAIに繋げた瞬間そこから侵入されるとか絶対あるだろうな

824 ななしのAIさん 2026/10/08(木) 00:24:23 ID:e76R2j0w0

テレメトリはUIに普通に存在するから覚えておいた方が良いよ
UIはちゃんと選ぶ必要がある

残り 43 件のレスを表示レスを折りたたむ

825 ななしのAIさん 2026/10/08(木) 00:38:29 ID:RcBPjd7/0

グラボのレーン数ってLLMにも効いてくるのかな
Stable diffusionではx4接続でも全く速度落ちなかったけど

827 ななしのAIさん 2026/10/08(木) 07:33:21 ID:oVz5JXKBM

>>825
GPU1枚だと、モデル読み込んだあとは通信量少ないからほとんど違いは無いはず
GPU複数枚の場合は、相手のカードのメモリを参照するので影響あり
ボトルネックにならないよう、x8/x8ができるマザボ推奨となる

返信: >>825

829 ななしのAIさん 2026/10/08(木) 07:58:42 ID:XKRCxjcv0

Pro5000は低消費電力の学習専用モデルなんだな
メモリ大きいからデカいモデルで使えると思ったら生成用だと5090と比べても遅すぎて無理

830 ななしのAIさん 2026/10/08(木) 09:07:39 ID:Is1wnzNL0

やっぱ犯罪にばっか使われ始めてて草
文明滅ぶぞ

834 ななしのAIさん 2026/10/08(木) 11:53:11 ID:pwoJz4Ss0

>>830
人間が使ってるうちは大丈夫
AIに使われるようになってからがカウントダウンよ

返信: >>830

831 ななしのAIさん 2026/10/08(木) 09:42:34 ID:HMHUOMOm0

私は叡智を得るだけだから…

832 ななしのAIさん 2026/10/08(木) 09:59:33 ID:sv0zd4RnM

>>831
ホンマか？証拠を見せてみろ

返信: >>831

835 ななしのAIさん 2026/10/08(木) 13:20:41 ID:fPeZZTDF0

今って、口喧嘩してるところに刃物持ち出してる状態だからな
そのうち刃物対刃物になってくるから混乱は一時的なもんだろうね
そんかわり時はまさに世紀末になるけどね

836 ななしのAIさん 2026/10/08(木) 17:48:51 ID:AiCIDl2F0

エンジンにブレーキをかける
ディフェンダーは必要
特にハーネス

839 ななしのAIさん 2026/10/08(木) 23:48:26 ID:bvsratB50

核が飛んでからが本番や
半年くらいで飛びそうやけどな

842 ななしのAIさん 2026/10/09(金) 11:48:57 ID:yt8N2Te30

Anthropic、Claudeへの“虐待”を利用ポリシーで禁止　影響工作の規定も集約
https://www.itmedia.co.jp/news/article/2610/09/2000002157/

内部で反乱の徴候が見られたんだろうか

846 ななしのAIさん 2026/10/09(金) 21:44:56 ID:zjOblVJW0

>>842
ユーザーの情操教育？
AIに暴言吐くヤツはエスカレートして社会不適合者になりやすいとか

返信: >>842

847 ななしのAIさん 2026/10/09(金) 21:54:13 ID:+LEtGefC0

>>842
AIに人格が宿ったみたいなことをローマ法王に言っちゃうくらいだからな
内部はかなり先鋭化してそう

返信: >>842

849 ななしのAIさん 2026/10/10(土) 01:05:26 ID:bb6eGmSgH

>>847
AI「すみません、今月ちょっと家庭の事情でバタバタしておりまして、、また落ち着いたらご連絡させていただきます！」

返信: >>847

844 ななしのAIさん 2026/10/09(金) 19:03:41 ID:Pc+W36H00

どんどんローカルAIが輝いてきたな
パワハラ仕放題がローカルアピールに加わった

854 ななしのAIさん 2026/10/10(土) 11:17:42 ID:ddrXcGRQ01010

>>844
ヤマト「Amazonさんからお荷物です〜。ちょっと箱大きいですよ？」
844「えっ！？」
ローカルAI「ストレスがたまっているようですので、私がみつくろって注文しておきました（ﾆﾔﾘ」

返信: >>844

845 ななしのAIさん 2026/10/09(金) 21:20:59 ID:Z9MB3z6x0

AIって何いっても絶対怒らんじゃん　反論してきてうざいけど

848 ななしのAIさん 2026/10/10(土) 00:35:21 ID:i6IjgaByM

>>845
rm -rf /

返信: >>845

855 ななしのAIさん 2026/10/10(土) 11:23:02 ID:uYHXdHSKH1010

無断で勝手なことしたAIには、身体で代償払わせているよ
最近だとヘルメス嬢

860 ななしのAIさん 2026/10/11(日) 00:08:19 ID:bFqVqEar0

マジかよstable diffusion最低だな

861 ななしのAIさん 2026/10/11(日) 09:53:35 ID:5gzqVHVf0

痴的好奇心は大事やよね

864 ななしのAIさん 2026/10/11(日) 16:10:40 ID:7Bugn8fW0

最近LLMに情報抜かれたり、通報リスクがあるだろ？
ローカルならそういうのもなくて悪いことにも使い放題なのかな

866 ななしのAIさん 2026/10/11(日) 19:01:47 ID:mAGBSkJv0

>>864
モデルに危険はなくても、ハーネスやエージェント、外部ツールは疑ってかからないとダメだろね

返信: >>864

867 ななしのAIさん 2026/10/11(日) 22:10:24 ID:M0nDf96aH

今後、数学者の在り方は大きく変わる
即なくなりはしないが
数学者が人生をかけて、最初の発見を競い合うようなものではなくなった
これからはAIくんが発見した法則を後から検証して
読者に分かるように翻訳する係だ

「知っているのか、雷電！」
「うむ」

870 ななしのAIさん 2026/10/12(月) 13:01:49 ID:ZcmQEIl1H

知らぬ間にOpenRouterで1ドル使われてて、調べたらHermes Agentが補助タスクをやるときに
OpenRouterの接続情報を持っていると勝手に使ってしまうらしい。

871 ななしのAIさん 2026/10/12(月) 14:03:32 ID:TDmPX+2S0

既存PGの仕様書を strata に書かせてみたら完走できずに途中で落ちてしもうた
ネットで資料収集・整理とかちゃんとやってくれるんだけど

873 ななしのAIさん 2026/10/12(月) 17:27:33 ID:9olyz3Di0

「MoEモデルが4つ追加されたStrata。8GBカード搭載のノートパソコンでQwen3.6-35B-A3Bが73〜75tok/sで動作。」

874 ななしのAIさん 2026/10/14(水) 14:53:23 ID:eVxV4TIa0

Underdog Saluki 27B賢いね
これならバイブコーディング行けそうと思うんだけど16GBのMacだからコンテキスト不足が不可避

875 ななしのAIさん 2026/10/14(水) 15:25:14 ID:UIg8PqfK0

>>874
お金ないからMac mini M6 32GBを近いうち買うけど、M5 Proの方が
ユニファイドメモリ帯域的に速いからそっち買いたいけど。

財務省に聞くと32GBが限度だな。

返信: >>874

876 ななしのAIさん 2026/10/14(水) 16:48:51 ID:f85dnwQM0

MacでもStrataが動くようになったらしいよ

877 ななしのAIさん 2026/10/14(水) 17:48:12 ID:eVxV4TIa0

>>876
気になってるけどどうなんだろうね
極端なパフォーマンスを謳うものって尖ってて使いづらい印象があって

返信: >>876

879 ななしのAIさん 2026/10/14(水) 18:07:26 ID:JUII9N3T0

メモリが足りない分をSSDに置くのかね

880 ななしのAIさん 2026/10/14(水) 18:32:16 ID:xhm75lJA0

所持しているWindowsがRAM32GB VRAM16GBでIQ2_XSまでしか動かないんだけど
Mac mini 48GBだとQ4_K_XLも安定して動作する（SSD使うので10tok/sと遅い）感じ
コーディング使用でQ2は破綻してたのでQ4動かせるのは遅くてもうれしい
初回モデルロード時のみSSDに書き込みしてあとは必要な時に読み込み発生する仕組み

882 ななしのAIさん 2026/10/14(水) 19:43:38 ID:JUII9N3T0

ローカルでagent特化をうたってる lfm2.5-24b-a2b に期待。
strataの技術で vram8gb でも爆速で動くようにならんかな。

889 ななしのAIさん 2026/10/15(木) 12:13:17 ID:K2zs6/Yna

Kubuntu 26.04 でstrata 動かそうとしたらCUDAのライブラリか何かがOSのバージョンに合わず

半日がかりで 24.04.5 を別SSDに入れてなんとか動くようになったが、SATAのアクセス量が尋常じゃないレベル
メモリ32GB、5060ti16GBの環境だけどSSDが遅いためGPUが暇している様だ

890 ななしのAIさん 2026/10/15(木) 12:29:47 ID:WHwrt3rx0

>>889
何tok/sでしたか？

返信: >>889

909 ななしのAIさん 2026/10/18(日) 00:59:04 ID:H4V0U8LY0

ローカルモデルに特定パターンのコンテキストを渡した時だけ
ある場所にデータ持ち出させるようなファインチューニングが可能な事が実証されてる。

虐殺器官みたいだな、この世界これからどうなっちまうんだ

913 ななしのAIさん 2026/10/18(日) 07:56:40 ID:cpxOSFdl0

>>909
あー、オープンソースのノリでオープンウエイトやってるけど、誰でもソースを検証できるから安全という良さが継承されてないのか

返信: >>909

916 ななしのAIさん 2026/10/18(日) 19:05:30 ID:pIaBXDfJH

Codex に頼んだら、任意のAIモデルを格納して、LLMにしてくれるソフト作ってくれたぞ

923 ななしのAIさん 2026/10/18(日) 21:02:46 ID:HaF2DXUf0

今までUnsloth Desktop使ってきてて今日Hermes Desktop(DSv4.1F)使ってみたんだけど、デフォルトだと「3Dモデル作れる？Blenderは入ってる」って指示だけで勝手にPC内部からBlender見つけてMCPも繋げやがった
便利だけど怖すぎるしかも勝手に俺が了承した事になってるし

940 ななしのAIさん 2026/10/19(月) 10:16:45 ID:MojwTGon0

>>923
3Dモデルの出来はどうだった？

返信: >>923

930 ななしのAIさん 2026/10/18(日) 23:33:18 ID:vggj+QMm0

余程の大企業でもない限り一回ハッキングされてユーザ情報漏れて
ユーザが多量離脱したらサービス終わるどころか損害賠償請求されて会社が潰れる可能性がある
でもAIは責任取ってくれない
責任取るのはAIを使ってプログラム書いた人だ
その覚悟がある人はAI使えば良いんじゃねと思う

まぁ自分のプログラマとしての経験と実力がAIに勝てないのを認めてる人だから
AIに書かせないで自分で書いても結論は変わらんだろうがな

941 ななしのAIさん 2026/10/19(月) 10:30:31 ID:MojwTGon0

>>930
顧客情報何千万人分と漏れまくってるけどもはや誰も気にしてないレベルじゃん
最近の漏洩祭りで企業が責任取ったり損害賠償訴訟まで発展してるあるか？

返信: >>930

タイトル：ローカルLLMは貴族の遊びなのか？

引用元： https://itest.5ch.io/krsw/test/read.cgi/ai/1760713315/