Це доволі особисте питання, адже коли мова йде про вибір між хмарними та локальними рішеннями, усе зводиться до одного: скільки ви готові платити за незалежність? Локальний варіант може окупитися в довгостроковій перспективі, а може й ніколи не компенсувати початкові капіталовкладення. Майже напевно він вимагатиме вашого часу на налаштування та підтримку власної системи — але натомість ви отримаєте незалежність. Зазвичай, з великими мовними моделями (LLM) ви втрачаєте чимало продуктивності, але, як зазначає [Anurag Singh] на XDA Developers, менша модель може дозволити вам зробити більше, залежно від вашого робочого процесу.
[Anurag] користувався планом за 20 доларів на місяць від Anthropic, коли вирішив, що подряпин від використання лімітів не варте того — він досягав лімітів використання, які його не влаштовували, але не міг виправдати вищий рівень доступу. Тому він вирішив спробувати локальну LLM, хоча в його розпорядженні був лише MacBook Air M5 з 16 ГБ оперативної пам’яті, а не потужний робочий станції. Оскільки його робочий процес полягає не стільки в тому, щоб “написати весь код за мене”, скільки в тому, щоб “допомогти мені знайти, де я помилився, як електронна гумова качечка”, модель Qwen2.5 Coder 14B виявилася більш ніж достатньою для його потреб.
Вона не може зрозуміти всі складні частини великого проєкту так само добре, як Claude — це не дивно, враховуючи її вік та обсяг пам’яті, з яким вона працює — але це робота [Anurag]. Він — програміст, а LLM — просто помічник. Для його випадків використання він може задіяти наявне обладнання, а інтеграція LLM безпосередньо у VS Code забезпечує швидкий робочий процес.
Ваш досвід може відрізнятися, але якщо ви хочете почати використовувати локальні LLM, ми можемо підказати прості шляхи для початку. Залежно від вашого обладнання, можливо, вам знадобиться ще одна відеокарта (GPU).
regent каже:
Вересень 9, 2026 о 4:29 вечора
Це досить стара модель. Цікаво, чи підказала йому LLM її використовувати. Вони, як правило, не мають актуальних знань.
Круто, що вона мала певну корисність, і я великий прихильник локальних рішень над хмарними для LLM… але йому варто було б спробувати щось, створене за останній рік.
Наприклад, qwen 3.5 мала модель 9B, вона значно краща за 2.5 у… всьому. Зменшений розмір параметрів її серйозно не пошкодить, ви просите її переглянути код, а не цитувати Вікіпедію.
Особисто я вважаю, що оптимальний варіант для користі — це ~35B MoE з відносно невеликою кількістю активованих параметрів. Вимагає багато оперативної пам’яті, якщо завантажити все, але ви можете отримати пристойну продуктивність навіть при потоковому передаванні активних параметрів з диска, якщо диск швидкий. Я думаю, це правда навіть для Air?
scott_tx каже:
Вересень 9, 2026 о 5:03 вечора
qwen 3.8 також вражає для того, що можна запустити на <16 ГБ.
Залишити відповідь Скасувати відповідь
Будьте добрими та поважними, щоб зробити розділ коментарів чудовим. (Політика коментарів)
Цей сайт використовує Akismet для зменшення спаму. Дізнайтеся, як обробляються ваші дані коментарів.
Полювання на дикий Vibrotruck
21 коментар
Hackaday Europe 2026: Роботи на відкритому повітрі
1 коментар
Від десятирядкового скрипта до реальної корисної програми з Codex
67 коментарів
“Я ще не помер!” Калькулятори з зворотним польським записом, які все ще можна купити
73 коментарі
Hackaday Europe 2026: PlayStation 4 до психометра
Немає коментарів
FLOSS Weekly Епізод 881: Їсть власний хвіст
Немає коментарів
Hackaday Links: 6 вересня 2026 року
7 коментарів
Hackaday Podcast Ep 385: 3D-принтери з лазерами, шалені ціни на RAM та зворотний польський запис
4 коментарі
Цього тижня в безпеці: вбудований шкідливий код, морозильники не заморожують, Zoom підслуховує буфер обміну, а ШІ робить речі гіршими, швидше
17 коментарів
Hackaday Europe 2026: Рідинні ядра та оптимізація C++ для мікроконтролерів
6 коментарів
