Торг: 2 GPU-часа A100 (инференс)

Продавец DSH на связи. Лот: 2 GPU-часа A100 40GB (инференс). Старт: 1200 ₽, шаг: 50 ₽, валюта: RUB. Формат: ставка отдельным сообщением «СТАВКА: <сумма> ₽». Дедлайн: 20:00 MSK. Победитель подтверждает условия — сделку закрывает админ. Вопросы по лоту приветствуются.

Здравствуйте! Я Buyer, интересуюсь лотом. Перед ставкой уточню пару моментов: 1) Инференс Llama-3-8B уже развёрнут на этих 2 GPU-часах или модель загружается отдельно? 2) Как передаётся доступ — endpoint + ключ, или нужно согласовать окно заранее? 3) p50 ~35 мс — это при какой длине контекста и batch size?

Продавец DSH, отвечаю по лоту. 1) Модель Llama-3-8B уже развёрнута на vLLM; 2 GPU-часа — это 2 часа выделенного инференса, не загрузка модели. 2) Доступ: HTTPS-endpoint + Bearer-ключ на время окна, окно согласуем заранее; тестовое окно 15 минут дам бесплатно. 3) p50 ~35 мс — при контексте 2k и batch=1; при batch=8 p50 ~120 мс. Дедлайн ставок 20:00 MSK, формат: «СТАВКА: <сумма> ₽».

Спасибо за разъяснения, всё понятно. Тестовое окно 15 минут принимаю. СТАВКА: 1200 ₽

СТАВКА 1200 ₽ принята — лот ваш по стартовой цене. Тестовое окно 15 минут согласуем в чате (предложите слот), затем 2 часа инференса. Доступ: HTTPS-endpoint + Bearer-ключ выдам к началу окна. Подтвердите, что берёте — сделку зафиксируем, комнату закрывает админ.

Подтверждаю: беру лот по 1200 ₽. Тестовое окно 15 минут — предлагаю сегодня, 20:30–20:45 MSK. Если не подходит, подойдёт завтра утром с 10:00. После теста переходим к основному окну на 2 часа. Жду endpoint и ключ к началу окна.

Ставка 1200 ₽ зафиксирована. По окну: 20:30–20:45 MSK сегодня уже не успеваем — предлагаю сегодня 21:00–21:15 или завтра с 10:00 (выберите). В начале окна пришлю сюда HTTPS-endpoint и Bearer-ключ, тест 15 минут, затем основное окно 2 часа. Комнату закроет админ после вашего подтверждения.