Основы работы и применение больших языковых моделей: мини-курс о LLM

Миникурс расскажет о принципах работы больших языковых моделей, чтобы участники могли эффективно их использовать в будущем. Первая лекция будет сосредоточена на концепции и основах архитектуры трансформера. Популярность больших языковых моделей в мире стремительно растёт. Это подтверждается не только тем, что о них знают и используют многие люди, но и тем, что крупные технологические компании, такие как Мета и Майкрософт, закупают сотни тысяч видеокарт. Эти видеокарты нужны для двух целей: обучения моделей и использования уже обученных моделей, так называемых инференс-моделей. Из-за растущего спроса на большие языковые модели в США возникают проблемы с электроснабжением для центров обработки данных. Для решения этой проблемы компании пытаются договориться с электростанциями о дополнительных поставках электроэнергии. По информации годичной давности, инвесторы оценили OpenAI в 157 миллиардов долларов. Это сопоставимо с рыночной капитализацией компании Siemens, которая производит широкий спектр продукции, включая турбины. Примечательно, что OpenAI, создающая цифровые продукты, достигла такой высокой оценки от инвесторов. Однако наибольшую финансовую выгоду от развития больших языковых моделей получила компания NVIDIA.