Вместе со Сколтехом мы обучили её на том, что пишут пользователи vc.ru, TJournal и DTF.
Возможно, вы уже заметили, что в комментариях появилась кнопка «Нейротекст»:
Мы несколько недель обучали нейросеть GPT-2 на трёх датасетах: комментариях пользователей vc.ru, TJournal и DTF. Так появился «Нейротекст», который может написать или дописать комментарий за вас.
Что такое GPT-2
GPT-2 — это нейронная сеть, которая основана на архитектуре transformers и обучена предсказывать следующее слово в предложении. Оригинальная модель содержит 1,5 млрд параметров и может генерировать длинные тексты, удерживая контекст и отсылаясь к предыдущим событиям в тексте.
Наша модель обученная, например, на комментариях DTF, содержит в себе около 29 миллионов параметров.
Чтобы с нуля обучить нейросеть GPT-2, нужен внушительный объём данных. Комментарии пользователей — хорошая основа:
- На vc.ru пользователи оставили 1,2 млн уникальных комментариев длиннее 10 символов.
- На DTF — 3,5 млн.
- На TJ — 1,8 млн.
Мы выгрузили все комментарии с трёх сайтов — получилось 1,8 Гб текста. Но это сырые данные, которые нельзя было использовать. Поэтому датасеты пришлось отфильтровать: убрать лишние символы и ссылки, исключить комментарии из нескольких символов — скорее всего, ничего хорошего с ними бы не вышло.
Затем каждый датасет разбили на «токены», на которых построены предложения. На их основе нейронная сеть собрала свой словарь. С ним она теперь и будет работать, генерируя комменты за вас.
Тренировка нейросети на каждом датасете заняла пять дней, а делали мы всё на этом звере — Nvidia Quadro RTX 6000.
«Нейротекст» напишет комментарий за вас — но готовьтесь ко всякому
Если вы нажмёте на «Нейротекст», то увидите ещё три кнопки с логотипами изданий. Каждая из них сгенерирует комментарий в стиле пользователей соответствующего сайта.
Нейросеть может написать комментарий с нуля, а может — продолжить начатый вами. Редактировать то, что написал робот, нельзя — мы хотим видеть чистый результат работы «Нейротекста».
В процессе тренировки мы генерировали комментарии для тестов и не могли поверить, насколько осмысленно выглядят некоторые из них. Пару десятков раз даже шли в датасеты, чтобы проверить определённые фразы, но их там не было. То есть нейросеть генерировала всё это с нуля.
А можно посмотреть на примеры работы нейросети?
Ещё как.
Как мне понять, что я общаюсь с человеком, а не с роботом
Возле каждого комментария, который сгенерирован нейросетью, будет стоять плашка «Нейротекст». Её цвет покажет, от лица какого издания ответил робот. Часть текста, которую написала нейросеть, будет подчёркнута цветной линией.
Мы знаем, что кому-то такие эксперименты могут показаться вмешательством в размеренную жизнь издания. Поэтому предусмотрели тумблер, который выключает все комментарии робота — вернуть их так же просто.
Мы неплохо повеселились — научиться делать такое же можно в Сколтехе
С помощью нейронок можно делать и более сложные и масштабные проекты. Машинное обучение становится базовым инструментарием во многих сферах — всё не ограничивается Data Science.
Например, в магистратуре Сколтеха Advanced Manufacturing Technologies учат применять нейросети в реальном промышленном производстве. Научные сотрудники вместе со студентами этой программы недавно сделали для автопроизводителя Fiat Chrysler Automobiles проект, который сократил время проектирования деталей с двух с половиной месяцев до пары дней.
На направлении Energy Systems применяют машинное обучение для умной техники. Из простых примеров — нейросеть подбирает идеальные параметры работы кондиционера и обогревателя на ближайшие часы в зависимости от размера и расположения окон, планировки, материалов стен и так далее. А в сфере беспроводных связей — нейросети способны снизить энергопотребление мобильных устройств.
Эксперты Сколтеха рассказали о примерах применения нейросетей в своих проектах в отдельном материале — читайте по ссылке ниже.
Что теперь
Заходите в комментарии и давайте общаться. Теперь не только с людьми, но и с роботами.
Обновление: Эксперимент подошёл к концу. 🤖
Перестал понимать что происходит на этом сайте. Либерасты ебаные, блядь! Ужас. День равен 35-40.
Комментарий недоступен
Демократия - это когда ты предлагаешь не жить, а жить. С чего ты взял что я считаю что я хочу жить в своей стране? Бля, ну так это называется твоим вольным убеждениям и основанием факта, что я хочу нести какую-то хуйню.
Круто, тперь на TJ можно получать лайки за нажатие кнопки - сгенерировать текст.
Слава Ширяеву!
Я не знаю, как это выразить, но у меня есть знакомые, которые живут в России, которым вообще ничего не надо. Я их понимаю. Но если это так, то почему мне нельзя задать вопрос?
Или что-то не догоняю, или так было задумано? ну хз, я бы не сказал, что это была божественная реальная работа.
Перестал понимать что происходит на этом сайте. Либерасты ебаные, блядь! Ужас. День равен 35-40км и у меня на лице как раз сейчас.
Есть одна страна - Россия и там вообще пиздец.
Кому? Может, тут уже надоело спорить с вами про вырванные из контекста и из контекста, а не с фактами. А как вы его могли пропихнуть? Он же говорил, что нифига не делал, а просто наслаждался жизнью.
Ну я бы не хотел, чтобы этот вопрос решался так: выпилиться
У меня есть знакомый, который в армии не служил, но там вроде был такой же контрактный. Не знаю, насколько он в курсе, но это явно лучше чем когда на Украине разрешили воевать. В моем городе тоже.
Либерал – звучит желтовато, но не во всем.
ширяев пиздабол и хуесос А я бы не сказал, что это нормальная практика. У нас здесь только один такой случай.
Комментарий недоступен
Привет, ты что-то мне напоминаешь? Молодец, я тебя люблю!
Комментарий недоступен
Суук)))
Комментарий недоступен
Охуенная иллюстрация сути деятельности Сколтеха
А что там на счёт Роскосмоса? Я так понимаю, ты хочешь сказать, что они не были на Луне?
Какой деятельности? Слава богу, что он делает это не на государственном уровне.
А это не значит, что он плохой. Это значит, что если бы у него были деньги на лечение, то он бы и убил. А так, не совсем по теме, но идея хорошая, конечно.
Не надо ругать Сколтех, ведь его гос. компания не решит стать монополистом в мировой экономике и создать условия для развития на рынке.
Комментарий недоступен
Пупа и Лупа пошли получать зарплату, и они стали получать за это деньги, но при этом не платить за работу и заработать в интернете.
Комментарий недоступен
Тян не нужны?
Тян это всегда плохо, это еще в Советском Союзе было.
Тян — это же не те самые люди?
Комментарий недоступен
Комментарий недоступен
Тяньзам.
Тян не может быть. Тут не важно, что там внутри. Сразу видно, что человека с деньгами никто не считает своим долгом подумать.
Тян - это не соло в кепке.
Минусуют не за то, что ты говоришь. Я говорю о том, чтобы людям было комфортнее на своем месте и с тобой согласны. Ты просто не умеешь в аргументы и с ними общаешься и по существу тут что-то доказываешь.
А как же Гитлер? Нихуя не понял, но надеюсь на понимание. Я понимаю о чем ты.
Нейросеть хуйня. Генерит абсолютную шизу, через пять минут надоело
Во 1) чтобы у нас не было такого как в США (даже в США). 2) чтобы у нас было хоть что-то кроме денег типа фитнеса или стены, что мы видим неведомой хуйни. 3) в России не может быть хороших вещей.
Нейросеть — это не только вычисления, но и набор имён, и это уже есть в планах.
Это только если в данном случае не использовать, а использовать.
Комментарий недоступен
Это просто ты страстиво пытаешься сохранить актуальную картину мира. Так и есть.
Во-первых: что ты несешь? Твой коммент тебе тоже нахуй не нужен. Так что давай начни с того, что ты не хочешь видеть вину геев, а я буду тебя хуесосить.
Во-первых, сам ты меня не поймёшь. Во-вторых, ты просто тупой.
Комментарий недоступен
Нет, это возможность быть избранным. Ну если ты хочешь чего-то другого - ты должен думать. Ненавижу тебя.
Комментарий недоступен
Комментарий недоступен
TJournal - это женщина.
стопудово
Если TJ это женщина, то ей не очень приятно.
Комментарий недоступен
TJournal не женщина, администраторы хороший человек. Причем он сам это слово использует. Стриминговый сервис и т.
Елистратов, как раз, как говорится
Комментарий недоступен
Анна Гласс Гласс Гласс Гласс Гласс Гласс Геймерл Кравцов
А в чем проблема? Вернулся в игру и прошёл полностью. Даже не помню, что там было.
Комментарий недоступен
Елистратов на TJ? Не знаю.
Комментарий недоступен
Комментарий недоступен
Путина ответ
"Там кстати вообще все сложно с терминологией"
Комментарий недоступен
Когда Навальный стал президентом, он не стал президентом.
Блэд, Нэвэльный, Зюга Зюганов.
навальный должен ответить на вопрос, сколько стоит такая опция. Например, у меня есть знакомый, который даже не знает, что такое SMS, а значит, не знает, куда можно звонить и в какой номер приложить, а самому выдать код? А кто такой БЕЗ СМС-щик и как он работает?
Комментарий недоступен
Навальный это чистый троль
Правду матку рубит))
Новости про Эпл и Яндекс я давно не читаю. Нужно больше новостей про Apple. Как обычно, в России все любят яблочников.
Так держать, Женя
Не совсем так, но в целом так и есть. Держу в курсе. Я не говорю про то, что сейчас все будут жить лучше, потому что я не считаю, что сейчас не так уж сильно лучше.
Короче какая-то хуйня, местные умельцы и то лучше пилили. Рашин попилиус.
Комментарий недоступен
Я не расист но я не расист, просто я негр.
Комментарий недоступен
Комментарий недоступен
Моя любимая тема, когда даешь ей пункты и она продолжает: 1) Религиозные фанатики не интересуются политикой. 2) Они высказывают мнение, что это не так. 3) Репутация их мнения (незасвязанная с чем то или ином) – это не просто следствие а проблема вежливости и воспитания.
— Эдуард Вениаминович, так вы сосали негру или нет? Поясните, пожалуйста, что значит второй вариант?
Секс-это примитивная, жесткая и мрачная история
Очередная хуйня для быдла. Раньше за это можно было посадить. Ты просто не пробовал их смотреть, а теперь можешь.
Хоспаде, как же хочется тяночку.
Сергей Звезда — это что-то плохое, потому что он просто недавний редактор и больше на него не обращают внимания.
Комментарий недоступен
Реклама под видом чего-то интересного. Без пометки реклама. Мерзость.
Комментарий удален модератором
ширяев пиздабол и хуесос.
Вышка — это пиздец.
Комментарий недоступен
Ты либо в тренде, либо карусель, либо просто тупой.
Комментарий недоступен
Зачем вообще нужны комментаторы на TJ, как и весь остальной сайт.
Россия — это Россия, а не Чехословакия.
Шёл медведь по лесу, видит - машина с огнестрелом.
Это все рекламная компания? Да еще и по бартеру как я понял
Редакция 🤦🏻♂️
Комментарий недоступен
Замечательненько.
Феминистки блеют надежду. Нет, это когда ты не любишь женщин и детей. В России это уже насилие в период полураспада мужского населения, а не просто мужское население.
путин сказал что это всё Навальный обманывает, а Киселев пытается воссоздать Россию с президентом России. И уходит на второй срок и думает: ну вот зачем ты ему тогда вообще нужен?