Vicuna

Vicuna - это открытый чатбот, обученный путем дообучения модели LLaMA на пользовательских диалогах, собранных с ShareGPT. Предварительная оценка с использованием GPT-4 в качестве судьи показывает, что Vicuna-13B достигает качества OpenAI ChatGPT и Google Bard более чем на 90% и превосходит другие модели, такие как LLaMA и Stanford Alpaca, в более чем 90% случаев. Стоимость обучения Vicuna-13B составляет около 300 долларов. Код, веса и онлайн-демо доступны для некоммерческого использования. После дообучения с 70K диалогов ChatGPT, Vicuna становится способным генерировать более подробные и структурированные ответы, сравнимые с ChatGPT. Однако оценка чатботов - это непростая задача. Инициативная оценка с помощью GPT-4 показывает потенциал автоматизированной оценки, но требует дальнейших исследований. Обучение Vicuna основано на улучшении рецепта обучения Stanford Alpaca, включая работу с многоходовыми диалогами, оптимизацию памяти и снижение затрат за счет использования spot-инстансов. Система обслуживания позволяет обслуживать несколько моделей с распределенными рабочими. Оценка чатботов требует изучения языкового понимания, логического мышления и осведомленности о контексте. Предлагаемая рамка оценки на основе GPT-4 позволяет автоматизировать оценку производительности чатботов, но она еще не является строгим подходом. У Vicuna есть некоторые ограничения, но он может служить открытой отправной точкой для дальнейших исследований.