Python Ninja | Программирование

Очень рекомендую сохранить осенний курс Стэнфорда MS&E 319 — Efficient Generative Language Models. Курс идёт от предобучения до инференса и постобучения. Материалы и записи лекций обещают выкладывать позже. Мне особенно нравится его исходная идея: модели становятся всё больше, но бюджет всегда ограничен. Если есть конкретная задача и ограниченные вычислительные ресурсы, как выбрать цель обучения, архитектуру модели…

НАШ ОСНОВНОЙ КАНАЛ, БУДЕМ РАДЫ ВАШЕЙ ПОДПИСКЕ Проект « TERMINAL » стал крупнейшей библиотекой бесплатного образования. В одном канале собраны курсы, книги, полезные инструменты и практические тренажёры для всех разработчиков: • Практические курсы и задания • Книги и статьи известных авторов • Полезные инструменты и ресурсы • IT-новости и инсайды Обучение по всем направлениям: SQL, Python, ML, Frontend, PHP, C++, Go,…

Вот один из лучших материалов для начала, если хотите понять, что процессор на самом деле делает. https://youtu.be/GU8MnZI0snA ✈️ Python Ninja

«Принципы механики» — бесплатный учебник с открытым доступом, который даёт всестороннее введение в классическую механику. Книга начинается с математических основ, необходимых для изучения механики, а затем переходит к основным темам: кинематике, законам движения Ньютона, работе и энергии, линейному и угловому моменту, вращательному движению, гравитации, колебаниям и волнам. Теория сочетается с разобранными примерами…

Отличный материал по современному программированию GPU для систем машинного обучения. MLC Community разбирает архитектуру GPU практически с нуля: потоки и варпы, иерархию памяти, CUDA Cores и Tensor Cores, TMA, устройство Blackwell, GEMM и Flash Attention 4. Отдельный упор сделан на то, как писать действительно быстрые ядра и эффективно загружать вычислительные блоки GPU.…

В открытом доступе появился GuppyLM — проект, который позволяет обучить языковую модель на 9 млн параметров с нуля примерно за пять минут. Репозиторий включает весь процесс обучения и рассчитан на быстрые эксперименты с небольшими языковыми моделями без крупной инфраструктуры. ✈️ Python Ninja

Один из создателей ChatGPT представил принципиально новый тип ИИ-моделей. Два года, Диогу Алмейда, втайне разрабатывал Jev — модель, которая не пишет текст и не генерирует токены последовательно. Она получает любые неструктурированные данные и параллельно принимает заданные разработчиком решения. Например, выбирает одну категорию из списка, выставляет оценку или определяет вероятность утверждения. Jev также…

На Stepik запустили мощный курс по «Troubleshooting Docker и Kubernetes: поиск и устранение проблем» В программе только важные аспекты: — troubleshooting Docker и образов — диагностика сетевых проблем — настройка readiness/liveness probes — отладка pod’ов, деплоев и ingress — анализ логов контейнеров и кластера — разбор ошибок CrashLoopBackOff, OOMKilled, ImagePullBackOff и других Собеседования на DevOps/SRE сейчас…

В репозитории LLM Internals собрали цельную дорожную карту от токенизации и BPE до обучения, дообучения, RAG, агентов и оптимизации вывода. Разбираются Q/K/V, RoPE, каузальные маски, GQA, Transformer, MoE, LoRA, нормализация, обратное распространение ошибки, кросс-энтропия, RLHF и рассуждающие модели. Отдельный блок посвящён ускорению вывода: KV Cache, Flash Attention, Paged Attention и спекулятивное декодирование.…

Одно из главных правил GROUP BY в SQL. Если в SELECT есть столбец без агрегатной функции, он должен либо входить в GROUP BY , либо однозначно определяться сгруппированными столбцами. Почему это важно: GROUP BY определяет, что означает одна строка результата. База должна понимать, какое единственное значение поставить в каждую ячейку. Например, если одна строка результата соответствует должности внутри отдела,…