Евгений Курт (CEO uCoz/uKit/"Народ") и Павел Кудинов (CTO uKit AI) рассказывают, почему занялись технологией, которая переделывает сайты за людей, и нескольких вызовах, с которыми столкнулись до запуска публичной версии продукта.

Запуск конструктора сайтов с нейросетью и алгоритмическим дизайном, о котором мы задумались еще в 2014-м, — дело всего пары лет. Это будущее, которое можно пощупать уже сегодня.

Потому что сегодня все сошлось. У нас есть технологии. У клиентов есть спрос. И, наконец, есть массив данных, на котором можно обучить технологию доводить сайт для клиента до состояния “только детали поправить”.

Для кого создается uKit AI?

В 2015 году мы запустили простой конструктор сайтов uKit. Его пользователи — часто те, кому не очень понятно “как”, а иногда и некогда собирать себе страничку даже в простой системе. Они чинят авто, ремонтируют квартиры, делают стрижки, учат детей тхэквондо, кормят людей борщом и выпечкой и так далее.

Многие переезжают на uKit с других платформ, столкнувшись с тем, что "они сложные", "требуют много времени и денег" и так далее.

Ведь не секрет, что оффлайновые бизнесы пришли в интернет не чтобы сделать сайт, наполнять соцсеть, платить за сервис рекламы или любую другую платформу. Им нужно, чтобы их находили и к ним обращались. Они хотят клиентов.

Они хотят попроще. По сути, люди хотят волшебную кнопку: “контекст — настройся”, “сайт — создайся” и так далее.



Причин, чтобы пользователь обратился к сервису “сделать новый сайт из старого”, может быть масса. Например, старый сайт сделан на устаревшей платформе или вообще без оной (а свыше 50% сайтов в интернете живут без CMS), владелец недоволен качеством вёрстки, дизайном, конверсией или отсутствием адаптивности.

Мотивация “чтоб не хуже, чем у конкурента” и “что люди подумают” — очень сильный двигатель прогресса для малого предпринимателя.

Вот вам пример. Человек жил-жил с таким сайтом своих столовых:



А потом, когда о нем написали в СМИ, экстренно заказал переделку в нашем “убере для сайтов” — сервисе, где тот самый фрилансер за 3К и 10 дней собирает человеку сайт, а мы гарантируем срок и результат.



Теперь мы хотим добиться аналогичного превращения силами машины.

Понятно, чем алгоритмический дизайн выгоден обычному интернет-пользователю

Он часто не до конца знает, чего хочет от сайта. Точнее, идея в голове есть. А вот перенести мысленный образ на веб-страницу — при создании или переделке своего сайта — это уже сложнее.

Конечно, эта проблема частично решается руками фрилансеров.

Но те же конструкторы не теряют популярность не потому, что люди хотят все делать сами (это редко) и без навыков программирования (теплее, но не главное). Конструктор выбирают, чтобы сэкономить. И не отдавать свои деньги и нервы тому же фрилансеру.

“Дорого”, “Долго”, “Опять все эти круги ада! За что?”, - примерно такие при мысли возникают у владельца сайта при словах о необходимости редизайна и реновации сайта и походе к исполнителю.

При этом у него с большой вероятностью накопилось достаточное количество информации, на базе которой мы могли бы предложить один или несколько вариантов сайта.

Мы не одни во Вселенной

За последние пару лет были анонсированы как минимум две “первые в мире ИИ-системы, собирающие сайты за вас на основе знаний о вашей профессии (“я повар”) и предпочтениях в цветовых схемах (“красно-синий лучше черно-белого”).

Весной 2016-го свои разработки приоткрыл Wix, еще раньше о себе заявил проект Grid — но пока она едва ли обе технологии отличаются от нашего конвертера Facebook-страниц в сайты, где алгоритм просто откалиброван консилиумом разработчиков.

Это, скорее, smart-технологии: умные визарды, которые не накапливают собственный опыт и действуют полностью детерменированно и прозрачно для программиста.

Для сравнения и терминологической сверки, вот что мы понимаем под ИИ в онлайн-сервисе: тот самый движок, на котором собраны Prisma и другие.



ИИ начинается тогда, когда есть нейросети, либо другой механизм с обучением и синтезом. Из того, что показывают обе команды, пока неочевидно, где и как применяются нейросети или аналогичная технология, которую можно было бы назвать «ИИ».

uKit AI: как это работает и при чем тут нейросети

Пока другие игроки сосредоточились на теме "ваш первый сайт", мы подумали: не менее интересной, а практически даже более полезной задачей будет не “сайт с нуля”, а импорт информации с уже существующего, но устаревшего сайта, — на новый, современный шаблон. Этим мы и занялись в проекте uKit AI.



Технически, нам необходимо перенести информацию из любого возможного представления в формат, наиболее соответствующий структурным элементам (виджетам) нашего конструктора uKit. Проще говоря, если мы видим изображение, мы оформляем его в качестве виджета “картинка”, если мы видим большой блок текста, мы используем виджет “текст” и так далее.

Любой сайт, грубо говоря, можно представить как перечень вложенных и частично пересекающихся в пространстве прямоугольников, содержащих текстовую, графическую и, в некоторых случаях, специализированную (карты, видео и т.п.) информацию.



Далее — нужно смотреть на сайт одновременно и как бы глазами пользователя (браузером), и понимать его структуру (DOM-дерево) с учетом выполняемого кода. То есть, разделять аспекты: “то, как это свёрстано” и “то, как это выглядит”. А главное — “то, какую смысловую нагрузку это несет”.

В итоге мы можем выделить уникальный контент для каждой страницы и перекомпоновать его с учетом современных требований к дизайну. Можем распознать повторяемые элементы — и сформировать меню. Где-то: предложить иное решение по количеству страниц и элементов-виджетов. Например, вместо сквозного виджета новостей сбоку, как на старом сайте, сделать отдельный пункт меню “Новости”. А также подобрать шаблон нужной тематики, комбинацию цветов и шрифтов, вынести на видное место контактную информацию (график работы, адрес организации), сделать телефон кликабельным в угоду мобильным пользователям и т.п.



В более "запущенных" ситуациях — провести “умную” перекомпоновку страниц и отдельных контентных элементов в более презентабельную структуру. Для этого и нужно хотя бы по-минимуму применять те алгоритмы, которые составляют ядро эвристической системы для перекомпоновки контента.

Обеспечение ссылочной целостности

В системе все должно быть подчинено правилу — нужно постараться сделать результат не хуже, чем оригинал даже в отдельных деталях. Иначе это вызвать отторжение у пользователя, который решил поэкспериментировать с системой. Это относится не только к визуальной составляющей.

Когда мы делали свои социальные кнопки, то научились считать число репостов за всю историю сайта — чтобы, меняя одни кнопки на другие, владелец сайта не боялся обнулить счетчики репостов. Сейчас нам предстояло проделать аналогичное с SEO-настройками.

Решение делится на две части. В uKit есть модуль поискового продвижения для каждой страницы, куда мы можем перенести метаданные: title, ключевые слова и так далее.



Вторая часть — вопрос про внутреннюю оптимизацию сайта. Параллельно с распознаванием мы импортируем граф перелинковки страниц друг с другом. В системе прописана ситуация, когда некоторые, но не все страницы импортируемого сайта содержат общую информацию — и на основе релевантности этих блоков она может судить о родстве страниц.

Машинное обучение в uKit AI

Мы создали обучающуюся модель и гибридную систему оценки, а также сформировали базу сайтов для обучения: это были и старые страницы с наших uCoz и «Народа», а также новые — с uKit, выборка из Web.Archive, где можно посмотреть изменения сайта по годам, и других источников.

На этом "добре" нейросеть и учится отличать хороший сайт от неважного, красивый - о того, который посетителю захочется закрыть, и т.д.

Сначала учителем выступает человек - мы сформировали о обучили команду ассесоров. Затем нейросеть пробует выразить «что такое хороший сайт», и мы позволим системе экспериментировать самой с собой — в том числе, на каком-то этапе дадим ей делать A/B-тесты редизайнов, показывая их реальным людям.



Приоткрывая будущее: Data mining

Сайты часто содержат ссылки на социальные сети, видеохостинги и так далее. И это дает нам дополнительном поле для экспериментов — в случае, если контента на старом сайте мало или он плох, можно попытаться добрать недостающую информацию из внешних источников.

Современные возможности data mining, теоретически, дают возможность собирать информацию об объекте из нескольких источников и интеллектуально группировать ее в рамках сайта. То есть, мы можем снабдить сервис системой мульти-импорта контента — из Instagram, папки на жестком диске компьютера, Youtube-канала и так далее.