Ты просто невнимательно смотрел. На той страничке, чуть ниже, есть т.н. "дистилляты":
DeepSeek-R1-Distill-Qwen-1.5B
DeepSeek-R1-Distill-Qwen-7B
DeepSeek-R1-Distill-Llama-8B
DeepSeek-R1-Distill-Qwen-14B
DeepSeek-R1-Distill-Qwen-32B
DeepSeek-R1-Distill-Llama-70B
70b (с 16-битным квантованием) можно пускать на 1 маке, а более мелкие (с 8b или 16b, смотря по ресурсам), так и прямо на видюхах. Это не сам R1, конечно, но качество заметно улучшается от такого файн-тьюна.
Ну и, справедливости ради, "локальная" не всегда значит "домашняя", увы и ах ,)
![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
no subject
Date: 2025-01-30 01:54 pm (UTC)no subject
Date: 2025-01-30 02:43 pm (UTC)no subject
Date: 2025-01-30 04:26 pm (UTC)Есть и локальный; называется [дипсик-] R1. тыц.
no subject
Date: 2025-01-30 04:43 pm (UTC)только вот на чем его запускать?
вроде бы народ постил setup - кластер 6 штук маков с 128гб каждый.
такое дома не у каждого.
no subject
Date: 2025-01-30 05:25 pm (UTC)Ты просто невнимательно смотрел. На той страничке, чуть ниже, есть т.н. "дистилляты":
DeepSeek-R1-Distill-Qwen-1.5B
DeepSeek-R1-Distill-Qwen-7B
DeepSeek-R1-Distill-Llama-8B
DeepSeek-R1-Distill-Qwen-14B
DeepSeek-R1-Distill-Qwen-32B
DeepSeek-R1-Distill-Llama-70B
70b (с 16-битным квантованием) можно пускать на 1 маке, а более мелкие (с 8b или 16b, смотря по ресурсам), так и прямо на видюхах. Это не сам R1, конечно, но качество заметно улучшается от такого файн-тьюна.
Ну и, справедливости ради, "локальная" не всегда значит "домашняя", увы и ах ,)
no subject
Date: 2025-01-30 06:41 pm (UTC)но вряд ли оно настолько же "умное" как и полная модель.
no subject
Date: 2025-01-30 10:24 pm (UTC)Некоторые пытаются "сжимать" непосредственно R1, утверждают что это работает (см. https://unsloth.ai/blog/deepseekr1-dynamic). Но тоже будет "глупее", конечно.