Есть туча хорошо теоретически и эмпирически обоснованных работ (включая мою находящуюся в работе), утверждающих, что оптимальную скорость можно нащупать экспериментируя с разннобразными внутрисетевыми метриками. Практически предалгали использовать годов с 80-ых, а теоретический базис создан начиная со статей 1955-ого года. Интересно, что у modded-nanogpt - мирового чемпиона по скорости обучения на одной эпохе, эти…
23 сентября 2026
Оригинал
157 просмотров