Недавние тренды рунета

На самом деле, мы — носители воплощенного эусоциального коллективного интеллекта

Многие из нас ошибочно думают, что ключевыми особенностями интеллекта человека являются его биологическая основа и пройденный эволюционный путь, создавший за миллионы лет физическую основу интеллекта: его HW — мозг и SW –нейрохимическую прошивку.

Ошибочно считается, что именно био-основа и пройденный эволюционный путь:

• принципиально отличают наш интеллект от искусственного (ИИ);
• определяют все имманентные преимущества «естественного интеллекта» над ИИ, равно как и все его недостатки, по отношению к ИИ.

К сожалению, такая трактовка сути интеллекта человека — не просто упрощение. Это огромная ошибка, определившая выбор мейнстримного пути развития ИИ, превратив этот путь в кривые глухие окольные тропы.

А как на самом деле

На самом деле, ключевые особенности интеллекта человека — это вовсе не био-основа и пройденный эволюционный путь.

И то, и другое, — лишь следствие океана случайностей в ходе миллионов лет экспериментов «слепого перелицовщика» — эволюции. В итоге, случилось так. А могло быть и совсем иначе.

— Био-основа, да и сама жизнь, — конечно, великое открытие эволюции. Но нет принципиальных препятствий для реализации интеллекта на любой иной основе, позволяющей осуществлять обработку информации. Что уже доказано на практике изобретением кремниевых компьютеров — HWной и SWной основы любого современного ИИ.

— Пройденный эволюционный путь, конечно же, уникален. Будь он иным, наши HW и SW интеллекта были бы иными. Однако, разве можно признать, что итоговые HW и SW интеллекта человека — это некий универсальный оптимум, некий эталон для всех возможных интеллектов?

Наш интеллект — всего лишь предсказательный механизм, приспособленный «слепым перелицовщиком» для оптимального решения задачи выживания и воспроизводства людей в конкретных условиях окружающего его мира. Будь эти условия иными, — интеллект должен был также стать иным.

Да он и стал иным: у дельфина и осьминога, гиены и слона, муравьев и пчел… Так что нет здесь (и быть не может) никакого универсального оптимума. А наши HW и SW интеллекта — лишь результат их приспособления «слепым перелицовщиком» к миллионам лет изменений среды обитания.

Раз так, — то био-основа и пройденный эволюционный путь вовсе не ключевые особенности интеллекта человека. Просто так получилось у «слепого перелицовщика».

Но есть ли тогда у нашего интеллекта какие-то ключевые особенности?

Полагаю, что есть. Это воплощенность, эусоциальность и коллективность.

Воплощеность — наличие у когнитивного агента тела и органов чувств — является обязательной предпосылкой интеллекта человеческого типа. Такой интеллект (воплощенный интеллект) возникает в процессе сенсомоторной координации и строится на информационном взаимодействии мозга, тела и окружающей среды, в которой когнитивный агент должен выживать, адекватно реагируя на её изменения, обучаясь и справляясь с высокой степенью неопределенности окружающего мира.

Второе ключевое свойство человеческого интеллекта — его эусоциальность, т.е. высшая форма социальности, при которой представители вида живут группами, состоящими из нескольких поколений, и члены группы действуют альтруистично по отношению друг к другу в соответствии с регулярным разделением труда.

Третье ключевое свойство — коллективность. Интеллект этого типа, помимо механизма генетического наследования информации, располагает вторым негенетическим механизмом — культурой. Такой тип интеллекта может развиваться исключительно в ходе социального научения — процесса, превращающего биологическую (генную) эволюцию в генно-культурную коэволюцию, увеличивая тем самым объемы передаваемой между поколениями информации на много порядков.

Только находясь в коллективе, пребывая в постоянном процессе социального научения и специализации, человек обретает свойственный ему тип интеллекта, впитывая в себя огромный объем культурной информации, намного превосходящей информацию, передаваемую генетическим путем.

Возможно ли сегодня создание ИИ, обладающего названными ключевыми качествами человеческого интеллекта, и тем самым принципиально отличающегося от современного мейнстримного ИИ?

Вот пример. Один из немногих.

Пока довольно примитивный и тем самым показывающий, насколько далеки еще наши возможности от создания аля-человеческого — воплощенного эусоциального коллективного ИИ.

Исследователи из Федеральной политехнической школы Лозанны (EPFL) разработали крошечных 10-граммовых роботов — триботов:

• поведение которых похоже на поведение муравьев: они могут прыгать и ползать, чтобы исследовать неровные поверхности, а также преодолевать препятствия, перемещать предметы и общаться друг с другом. Кроме того, они могут распределять роли между собой и вместе выполнять довольно непростые задачи;
• конструкция которых похожа на оригами — создание 3х мерных объектов высокой сложности из простой двухмерной конструкции (в оригами — из листа бумаги, в EPFL-роботах — из квазидвумерного метаматериала, представляющего собой сэндвич из легко интегрируемых опорных, механических и электронных слоев.

Принципиальное отличие EPFL-роботов — они не ориентированы на выполнение какой-то конкретной задачи, а способны изучать среду и свое взаимодействие с ней, чтобы коллективно выполнять произвольную задачу.

Хотя и сами роботы, и решаемые ими задачи пока что примитивны, но это один из первых примеров простейшей реализации воплощенного эусоциального коллективного интеллекта.

Мы уже привыкли к мысли, что в недалеком будущем рои дронов будут применяться в воздухе повсюду: от ремонта линий электропередач до уничтожения авианосцев.

Но от потенциала усовершенствованных EPFL-роботов просто дух захватывает: колонии «интеллектуальных муравьев-трансформеров» просто незаменимы для любого строительства, ремонта, работы в тяжелых условиях и т.д.

Но главное, все же, в ином. Пусть это еще не окончательный уход с мейнстримного пути, но все же заявка на некий возможный поворот …

Ну а что он нам несёт, пропасть или взлёт, омут или брод, и не разберёшь, пока не повернёшь за поворот.

__ __ __

О проекте EPFL-роботов:

• популярно;
• на русском;
• для профи;

А это видео представления проекта в ходе прошедшего на прошлой неделе обсуждения технологического будущего мира в EPFL с участием Юваля Харари (кто не поленится посмотреть почти двухчасовое обсуждение целиком, — только выиграет от этого).

________________________________

Если понравился пост:
- нажмите на “палец вверх”;
- подпишитесь на обновления канала на платформе Medium;
- оставьте комментарий.
Еще больше материалов на моем Телеграм канале «Малоизвестное интересное».
Подпишитесь

Оригинал и комментарии

Можно, подобно умудренным экспертам, писать на эту тему толстые отчеты.

А можно привести всего лишь один график: где и как знакомились будущие супруги раньше и теперь.

Бары и вечеринки друзей, с подачи родственников и соседей, на работе и в колледже, в церкви, в школе …

Все это лавинообразно уходит в прошлое.

Ныне знакомятся в онлайне!

Нужны еще аргументы, чтобы понять, насколько изменился мир?

А это отчет.

________________________________

Если понравился пост:
- нажмите на “палец вверх”;
- подпишитесь на обновления канала на платформе Medium;
- оставьте комментарий.
Еще больше материалов на моем Телеграм канале «Малоизвестное интересное».
Подпишитесь

Оригинал и комментарии

Через сто лет, возможно, будут говорить «человек с ИИ»

В новом интервью профессора Томаса Метцингера — члена высшей экспертной группы ЕС по разработке этических принципов ИИ — озвучены два весьма тонких для понимания, но очень важных вопроса.

1) Роботы-убийцы и активная эвтаназия — есть ли отличия?

Смертельное автономное оружие (т.н. роботы-убийцы) — это системы, которые используют ИИ в бою, чтобы решать, какую цель атаковать, уничтожить или даже убить.

Главный вопрос, пока еще, хоть и с трудом, но все же сдерживающий превращение роботов-убийц в главный фактор новой гонки вооружений — можно ли привлечь кого-либо к ответственности, если машина приняла неправильное решение?

Самое опасное в этом вопросе — его универсальность.

Ведь ровно тот же вопрос стоит, например, и по отношению:

• к автономным автомобилям;
• к системам активной эвтаназии.

Про самоуправляемые авто и так всем понятно — пресловутые проблемы, кого задавить, если нет иных вариантов, и чья жизнь дороже — водителя или пешехода …

А про активную эвтаназию поясню. Пассивная — предполагает прекращение введения препаратов, поддерживающих жизнь пациента, а активная — введение препарата от которого пациент умирает. Активная э. бывает добровольной и недобровольной — т.е. без согласия пациента. При этом кто-то должен взять на себя ответственность и решить: «Пусть этот человек умрет».

Но ведь страшно даже рассуждать о таком. И кому хотелось бы, стоя у больничной койки, произносить подобные слова?

Так вот сейчас, по словам Метцингера, в Нидерландах уже стоит вопрос о перекладывании таких решений на ИИ. Просто, удобно, никого не напрягает и никаких душевных мук.

Только чем это отличается от роботов-убийц?

2) Где проходит «красная черта» в применении любого робота-убийцы (военного, медицинского, автомобильного …)?

Проблема вовсе не в том, чтобы дать машинам правильные этические ценности. Проблема в «согласовании ценностей» ИИ и людей. И пока не понятно, как их согласовывать, поскольку люди сами не придерживаются своих собственных этических ценностей.

Иными словами, всегда существует конфликт разных целей у отдельных людей и в разных обществах. Наши общества не являются этически последовательными или связными, наша политика — тем более.

• Вы и ваш коллега.
• Британский и китайский военный.
• Президенты России и США.

Согласуются ли их этические ценности?

В итоге, нам самим сложно прогнозировать, какие решения примет тот или иной человек, и это создает реальный риск.

А если этот человек врач? Или генерал? Или президент страны?

Проще говоря, если вы включаете в цепочку принятия решений очень эффективный, быстрый и продвинутый ИИ, вы, по сути:

• подключаете ИИ к человеческим мозгам, почти не изменившимся со времен каменного века;
• подключаете ИИ к мозгу конкретных людей, — возможно, жадных, ревнивых, эгоистичных и амбициозных.

А раз так, то самим включением ИИ в цепочку принятия решений, вы непрогнозируемо увеличиваете риски.

Поэтому нет никакой проблемы заложить в робота-убийцу (да и в любой ИИ) конкретные этические ценности.

В реальности, мы сами — главная проблема.

И «красная черта» проходит через нас, а не через ИИ.

• Текст и подкаст интервью.
• Контекст военных роботов-убийц.
• Мой пост с видео о том, какая страшная штука — беспилотные летающие убийцы.

________________________________

Если понравился пост:
- нажмите на “палец вверх”;
- подпишитесь на
обновления канала на платформе Medium;
- оставьте комментарий.
Еще больше материалов на моем Телеграм канале «Малоизвестное интересное».
Подпишитесь

Оригинал и комментарии

Делимся лайфхаками по упаковке смыслов

Часто возникает вопрос, как уместить определённый учебный материал в меньший объём? Например, 48 часовой очный тренинг в 2 часовой онлайн курс. Ведь если что-то выбросить, то останутся пробелы в знаниях. Важно всё!

Поскольку любое сокращение — это потери информации, которая может оказаться важна, давайте определимся, какую задачу хотим решить на самом деле. Например:

• Выделить в объёме информации зёрна смысла — идеи, из которых сложен более крупный смысл;
• Описать каждую идею используя минимально достаточный для понимания объём;
• Выстроить логику подачи идей так, чтобы более оптимально привести аудиторию к пониманию целого.

Соответственно, можем сформулировать три вопроса, ответ на которые позволит достигать желаемого эффекта: умещать исходный объём информации в формат, необходимый для передачи смысла:

• Что такое «зерно смысла» и как его распознать в потоке информации?
• Какой минимальный объём сообщения необходим для раскрытия смысла?
• Какой порядок смысловых зёрен является оптимальным для конкретной аудитории?

Далее хочу предложить некоторые размышления о том, как можно подойти к данным вопросам. Не думаю, что в принципе, существует единственно верный ответ на них. Скорее это пространство эксперимента и творческого поиска.

Что такое «зерно смысла» и как его распознать в потоке информации?

Прежде всего, уже сама фокусировка на том, что мы имеем дело не просто с блоком информации, а с «зёрнами смысла», значительно нас продвигает. В информационном блоке таких зёрен может быть некое конечное число. Например, данный текст начинается с того, что я задачу, которую не понятно, как решать, переформулировал на несколько более простых задач. И это первое смысловое зерно. Далее три смысловых зерна — связывание каждой более простой задачи с ключевым вопросом, ответив на который мы сможем решить задачу. И так далее…

Каковы же признаки «смыслового зерна»? Давайте порассуждаем:

• Смысловое зерно порождает новый смысл — задаёт или изменяет интерпретацию для той или иной информации;
• «Смысл» даёт представление о предназначении того или иного феномена / предмета / действия / явления.
• Предназначение раскрывается через рассмотрение отношений система / надсистема — что меняется при появлении или исчезновении данного феномена?
• Также «смысловое зерно» может давать представление о том, как феномен устроен и может быть описан.
• Устройство раскрывается через рассмотрение отношений система / подсистема — задавая структуру, описывая состояния и процесс.

Принципиальный момент состоит в том, что в любом информационном блоке таких смысловых зёрен конечное число. Например, «27». При этом для раскрытия каждого смыслового зерна используется определённое количество слов, а сами зёрна выстроены в какой-то логике. Поняв, как описывать смысловые зёрна, как обойтись минимальным количеством зёрен и как структурировать подачу зёрен, мы ответим на главный вопрос. По крайней мене, у нас будут основания для того, чтобы обосновать предлагаемое решение.

Из опыта смысловое зерно должно быть описано кратко и ёмко.

Кратко — уложиться в 30 слов. Ёмко — создать интерпретацию.

Рабочий приём по выявлению: использовать слово «оказывается» в начале фразы.

Пример первого зерна (26 слов):

Оказывается, сократить информацию без потери смысла можно, если вычленить в информационном блоке смысловые зёрна, определить для каждого зерна минимально достаточный объём и выстроить зёрна оптимальным образом.

Какой минимальный объём необходим для раскрытия смысла?

Из опыта компании Смыслотека есть несколько ключевых принципов упаковки смысловых зёрен:

• Актуальность — первые 30 слов должны связать содержание информационного блока с запросами аудитории на данное смысловое зерно;
• Ограничение по объёму — не более 500 слов текста, что соответствует 5 минутам звучания; Этот объём человек в состоянии переварить за один подход.
• При озвучивании отдельные фразы не должны быть длиннее 9 слов — мозгу сложно собирать их в единый смысл;
• Визуализация (иллюстрации, схематизация, акценты) облегчают смысловую сборку;
• Абстрактная информация легче воспринимается, когда есть конкретные примеры;
• Эмоциональный окрас информации помогает запоминать;
• Актуальность + конкретика + эмоции = сторителлинг;
• Специальный язык позволяет уплотнять информацию, но затрудняет понимание для тех, кто данным языком не владеет;
• Типовые шаблоны для смысловых зёрен облегчают восприятие;

Примерный вариант структуры модуля «смысловое зерно» (460 слов)

• Тизер (30 слов) — включение аудитории через интерес / разрыв шаблона / вопрос / обозначение значимого результата;
• Присоединение (100 слов) — «мы с тобой одной крови», ввести аудиторию в контекст, обозначить элементы, которые будут важны для решения;
• Проблематизация (100 слов) — введение в историю вопроса, что не устраивает сейчас и почему существует необходимость решения;
• Образ решения (50 слов) — прежде чем дать идею решения, важно подготовить аудиторию к его восприятию. Называем критерии, которым решение должно соответствовать. Сами критерии — это резюме проблематизирующего блока;
• Идея решения (30 слов) — «смысловое зерно», которое мы сформулировали через «оказывается». В самом тексте модуля не обязательно использовать «оказывается»;
• Решение (100 слов) — Показываем, как реализация идеи меняет исходную ситуацию;
• Резюме (50 слов) — подводим итоги, коротко резюмируем суть. Часто этот блок отвечает за призыв к действию, или показывает первый шаг на пути использования.

Какой порядок «смысловых зёрен» является оптимальным для аудитории?

Если стоит задача дать человеку новое знание, и это знание можно собрать из известных элементов, то надо просто дать это знание, поскольку оно находится в зоне ближайшего развития. Количество исходных элементов при этом должно быть не больше семи, иначе человек может не собрать всё в единую смысловую конструкцию.

Если же новое знание не может быть собрано из готовых и уже усвоенных элементов, потребуется декомпозировать эти элементы как новое знание на элементы второго порядка и так далее — получится дерево знаний.

Возникает вопрос — как устроен эффективный процесс освоения нового знания?

Классический подход, реализованный в системе образования — это постепенное выстраивание этажей знания, чтобы в последующем, опираясь на них можно было надстраивать новые этажи. Данный подход основателен, но обладает рядом недостатков:

• Он довольно длителен во времени;
• Ученик не мотивирован самим процессом познания — он не знает ни чего хотеть, ни чего ожидать от обучения.

Проблемно-ориентированный подход позволяет сразу перескочить несколько этажей, увидеть образ результата и траекторию движения к нему. В дальнейшем траектория наполняется конкретным знанием. При этом ученик понимает зачем ему нужно то или иное знание, а мотивация позволяет двигаться быстрее.

Логику построения траекторий можно выстраивать подобно тому, как выстраивается продукт в методологии scrum. На начальной стадии продукт имеет минимальный функционал, но он работоспособен. Каждое обновление продукта добавляет новый функционал, расширяя возможности продукта и повышает его ценность для пользователя.

На каждом шаге мы даём актуальную информацию
и актуализируем запрос на получение новой информации.

Приведу пример того, как мы обучаем созданию объясняющего видео:

1. Освоение инструмента визуализации и видео-монтажа. Как правило, учащиеся не осознают сложность создания объясняющего текста, им кажется самым сложным создание видео ряда. Текст берём в готовом виде.
2. Когда инструмент визуализации освоен, актуальным становится вопрос «как уместить объяснение в 300 слов?». На этом шаге обычно даём приёмы работы с композицией. В слепой зоне учащихся остаётся смысл текста, он задан изначально.
3. Когда композиция освоена, актуализируется вопрос смыслов — что мы хотим сказать? Разбираемся с фокусировкой на главной мысли — начинаем видеть аудиторию, внутренние убеждения и слепые зоны. В слепой зоне остаётся бизнес-задача.
4. Разбираемся с бизнес-задачей, которая задаёт контекст для задачи коммуникационной.

Таким образом, если выбрать точку сборки для компетенции, которая позволяет изначально дать минимальный объём, и в последующем наращивать его, постепенно давая новые знания, можно выстроить такую траекторию развития для учащихся на которой они в каждой точке получают актуальные знания, которые могут тут же применить.

Если строить программы обучения в соответствии с концепцией «первых 20 часов», мы будем помогать преодолевать ученикам страх чистого листа, когда им сложно за что-то зацепиться и понять направление. При этом сами программы будут компактными, всегда актуальными и их можно будет достраивать по мере необходимости и возможности.

Как построить проблемно-ориентированную траекторию обучения

1. Опираясь на знания эксперта, описать компетенцию как дерево «смысловых зёрен» (карта знаний).
2. Выбрать на этой карте узлы, которые могут быть точками входа. При определении точек входа опираемся на аудиторию — это наиболее актуальные запросы.
3. Для каждой точки входа определяем последовательность актуализации новых запросов — это позволит выстроить траекторию обучения.
4. В каждом узле решаем ряд задач:

• Связываем запрос учащегося с содержанием модуля;
• Упаковываем содержание модуля таким образом, чтобы легко воспринималось: опираемся только на то знание, которым уже располагает учащийся, используем визуализацию для облегчения смысловой сборки;
• Актуализируем запрос на следующую порцию знаний — встраиваем в карту знаний один или два новых элемента.

Резюме

1. Важна не сама информация, а те смыслы, которые собираются в сознании учащегося в результате взаимодействия с сообщением;
2. Как правило, даже в большом информационном массиве, смыслов не очень много, и это даёт шанс пересобрать информационный массив, чтобы в меньшем объёме содержались всё те же смыслы;
3. Фокусировка на смысловых зёрнах делает работу “упаковщика” более осмысленной;
4. Сами смысловые зёрна могут быть упакованы в вербально-визуальный формат объёмом не более 500 слов;
5. Понимание аудитории позволяет выстраивать оптимальные траектории освоения нового знания.

Как “большое” сделать “маленьким” was originally published in smysloteka on Medium, where people are continuing the conversation by highlighting and responding to this story.

Оригинал и комментарии

В этом году ВКонтакте исполнится 13 лет — солидный возраст по меркам интернет-проектов. За это время платформа сильно изменилась. И продолжит меняться дальше.

Именно нововведения помогают VK оставаться самой популярной контентной и коммуникационной экосистемой России. Но, конечно, у них есть обратная сторона. Кто-то благодаря изменениям раскручивается и становится успешным, а кому-то они всё портят — ломают привычный формат работы, вызывают психологический и даже вполне ощутимый материально дискомфорт.

Стену не вернут. От алгоритмов не откажутся. Дизайн не поменяют на старый. И если пользователи ко всему привыкают быстро (и получают от этого большее удовольствие, как показывают метрики), то с профессиональным сообществом всё сложнее. Многие авторы, создатели и администраторы пабликов критикуют ВКонтакте за то, как она меняется. За то, как нововведения отражаются на их проектах и результатах.

Но, повторимся, пути назад нет. Почему так и как с этим работать? Чтобы вам было проще прогнозировать результаты и планировать будущее — рассказываем, как работает над продуктом Команда ВКонтакте.

Теория о практике

Не меняться, увы, невозможно. Потому что меняется всё вокруг: от технологий и условий жизни до пользовательских привычек и вкусов. Единственный вариант оставаться на гребне волны — соответствовать изменениям, делать шаги, релевантные общему направлению. Это касается как социальной сети, так и всех, кто с ней работает.

У ВКонтакте, как и у любой большой платформы, всё относительно просто.

Первое. Изменения идут постоянно. Поэтому сложно и неправильно говорить о VK как о законченном проекте.

В Команде ВКонтакте примерно 200 разработчиков, которые практически всё время заняты улучшением продукта. Что-то меняется каждый день: до пользователей это долетает раз в две недели с очередным обновлением мобильных клиентов или ещё чаще, если для «выкатки» апдейта обновлять приложение не требуется. Всего за год происходит более 500 ощутимых изменений и запусков, а мелких и экспериментальных — ещё больше.

Второе. В этом бешеном ритме практически нет места микроменеджменту и микрофичам. ВКонтакте — платформа, которой сейчас пользуются 97 миллионов человек в месяц. И слово платформа ключевое: не VK выкладывает в ленту смешные картинки, не VK пишет по ночам «Привет! Не спишь?». Всё делают пользователи, а задача платформы — создать базовые комфортные условия для них. Остальное, включая дополнительные кастомизации и сервисы, отдаётся во власть комьюнити (вот почему мы уделяем много времени и внимания созданию хорошего API, а также сообщества разработчиков и специалистов).

Третье. Ни про один апдейт мы не знаем изначально, что он совершенно точно будет успешен. Сначала выдвигается гипотеза. Если она проходит внутренний фильтр специалистов Команды, то воплощается в код и тестируется на небольшой выборке пользователей. А лучше — на нескольких сразу. И только если результаты тестирования успешны, фича запускается на всех. Если тесты дают спорный или отрицательный результат, то идею дорабатывают по новым вводным или откладывают. Исключения бывают, но в большинстве случаев всё педантично прорабатывается, аккуратно тестируется и, выдержав проверку, доходит до всех пользователей ВКонтакте.

Что такое успешное тестирование? Что такое хорошо? В конечном итоге всё сводится к счастью пользователя, которое находит отражение в его времяпрепровождении на платформе. Если человек активен, вовлечён, проводит у нас больше времени, то мы считаем, что это хорошо.

Так что параллельно существуют как минимум несколько тысяч разных версий ВКонтакте: где-то они отличаются только алгоритмами, где-то — и интерфейсами. При этом самая большая и общая версия (которая почти «на всех») — меняется постоянно.

Логика изменений простая: сделать так, чтобы пользователям нравилось быть ВКонтакте. Чтобы они находили интересные материалы — как в Ленте новостей, так и в других разделах. Чтобы авторы (и профессионалы, и любители) создавали контент и легко развивали проекты. Чтобы с удовольствием пользовались нашими сервисами: от сообщений до внутренних мини-приложений и подкастов.

Любое существенное изменение пользовательских предпочтений, даже изначально не связанное с ВКонтакте (например, истории), — это повод проработать и, возможно, запустить новый формат контента или инструменты его создания. Поводом также являются любые внутрикомандные или привнесённые извне (от партнёров, авторов, иногда даже переданные пользователем через агента поддержки) хорошие идеи.

И, конечно, мы постоянно мониторим рынок. Сегодня все конкурируют со всеми: социальные сети, мессенджеры, видеоплатформы, коллективные блоги, рекомендательные сервисы… Поэтому мы смотрим абсолютно на любые более-менее популярные или только набирающие популярность проекты. Не только в России, разумеется. Рынок платформ очень глобален — по крайней мере, по части идей.

В целом, наблюдая за изменениями рынка и их вектором, можно довольно точно понять, куда двигаются крупные проекты. Например, ВКонтакте.

Хронос породил Хаос

Кстати, да.

Одна из самых частых претензий к нам — умная лента.

На сегодняшний день она включена более чем у 85% пользователей ВКонтакте, а метрики вовлечения, длины сессии и прочих качественных показателей растут. Но часть авторов упорно считает, что это ошибка, нечестно и так далее…

Конечно, переход от ленты хронологической (с сортировкой публикаций по времени) к алгоритмической (выдающей материалы по порядку, который считает правильным «искусственный интеллект») меняет соотношение сил и стратегию поведения авторов и издателей. Это, конечно же, много кому не нравится. Но другого пути у платформы нет.

Чтобы избежать чрезмерных абстракций, поясним на примере чего-то довольно материального и близкого. Допустим, квартиры.

Представим, что вы въезжаете в новую квартиру. Она чудесная. Свежий ремонт, светлая (ведь даже штор нет!), но она слишком стерильна и обезличена. Надо её обжить!

Вы начинаете завозить мебель, покупать подушечки для дивана, рамочки для фотографий на стену, магниты для холодильника. Помогут друзья: они подарят много всякого декоративного на новоселье. В общем, с задачей вы справились — обжили!

Но… проблема. Начав обживать, сложно остановиться. Обычно всё перерастает в банальное захламление.

И так ведёт себя большинство людей. Им тяжело даются генеральные уборки, перебирание шкафов и скарба. Вокруг уже давно строится индустрия клининга, складов для вещей и прочие чудесные сервисы, помогающие сделать жилплощадь удобнее и чище.

Ровно то же и с контентом, с подписками на друзей, авторов, каналы и сообщества. Каждый раз в новой экосистеме пользователи радостно наполняют свои подписки и ленты, потом сталкиваются с пресыщением, но сбавить набранный темп не могут (ох уж эти «Подпишись, чтобы читать далее…»), а отписаться от неактуального не решаются.

Исключения есть, но больше 80% пользователей всё же только увеличивают свой «багаж».

А время, которое они отводят потреблению контента, растёт значительно медленнее.

Если пользователь в любом случае не сможет увидеть всё, то нужно решить, что ему лучше показать в первую очередь.

Хронология кажется справедливой, но лишь на первый взгляд. Принцип «кто последний, того и показывают» стимулирует количественный подход (больше постишь — больше получишь). Однако мало кто может создавать 50 единиц классного контента в сутки. Да и так ли важна эта классность, если на попадание в ленту влияет лишь время публикации?

Алгоритмический подход даёт шанс, что в ленте окажется лучшее для пользователя. Даже если автор опубликовал за день лишь одну запись.

Таким образом, стимулируется не количество, а качество. И это правильно.

Ваша близкая подруга написала пост в 11 утра и позвала всех гулять в выходные. А вы зашли в приложение в обед. В хронологии вы никогда и не увидите её приглашение, потому что над ним уже появилось 50, а то и 500 новостей от разных сообществ и других людей.

Ну и, конечно, есть «вечнозелёный контент» — что-то актуальное не только в моменте. Например, рецепты, советы, лайфхаки, большие аналитические материалы. В хронологии они исчезнут тут же под слоем свежих новостей. А в алгоритмической ленте у них будет долгая и прекрасная жизнь.

Это принцип, который выбирают по мере роста абсолютно все контентные экосистемы.

При этом ВКонтакте остаётся одной из немногих социальных платформ, которая по-прежнему даёт пользователю возможность вернуться к хронологической ленте.

Алгоритм мечты

Алгоритмы, конечно, несовершенны. И поэтому постоянно улучшаются.

Больше всех в их развитии заинтересована именно Команда ВКонтакте. Потому что это её хлеб: чем пользователи счастливее, тем больше проводят времени в VK, и тем больше компания зарабатывает. Логика стопроцентная.

Но в то же время важно понимать, что словосочетание «лучший контент» априори очень субъективное, а для более эффективного ранжирования нужно стремиться к чему-то объективно хорошему.

Как быть? Точно не смотреть исключительно на отметки «Нравится» или комментарии.

Правильная стратегия — игра в долгую. И для неё нужно учитывать огромное количество факторов, большая часть которых скрыта от глаз обычных пользователей и даже создателей контента.

Например, учитывается: время взаимодействия аудитории с записью (вдумчивое чтение или просмотр даже без лайка — это хорошо), поведение пользователя после (поставил лайк, но тут же закрыл приложение и больше не возвращался — плохо), внутренняя виральность (отправил друзьям ссылку, даже если не через ВКонтакте — хорошо). И много что ещё.

Поэтому, когда представители соцсетей говорят про сотни и даже тысячи факторов, которые учитываются при ранжировании контента в алгоритмических лентах, они не лукавят. Так и есть.

Одни факторы менее значимы, другие — более. Но общее стремление всегда едино: сделать пользовательский опыт аудитории максимально приятным, чтобы люди проводили с платформой больше времени и чаще возвращались.

Важно также учесть, что интересность публикации рассчитывается всегда под конкретного пользователя. Абсолютной метрики не существует. Совсем. Нельзя посмотреть на пост и оценить его интересность глобально.

Интересен ли пост про день города в Екатеринбурге? Нет, если живёте во Владивостоке. Да, если живёте в Екатеринбурге. Нет, если уже видели 10 таких записей выше в ленте. Да, если ваши друзья именно под этой публикацией обсуждают что-то в комментариях.

Так что и советы «что постить» не до конца могут быть универсальными.

Да, гифки нравятся подавляющему большинству людей. Но возможно, что именно ваши подписчики чаще и лучше реагируют на длинные тексты (даже не статьи, а именно простыни текста в публикации). Если это так — от перехода на гиф-веселушки вы только проиграете, уронив охваты и вовлечение.

Поэтому самый важный совет в эпоху алгоритмических лент — делайте то, что действительно интересует вашу аудиторию. Банально, но это правда: SMM-шаманизм может дать временные всплески и прорывы, но в долгую работает именно качество контента (качество субъективное — для тех людей, ради кого вы это делаете).

Рекомендации

Универсальный совет — всегда экспериментируйте. С контентом, с формами, с форматами.

Во-первых, потому что меняются паттерны поведения аудитории и потребления ею контента. Чтобы нравиться людям, нужно быть актуальным.

Во-вторых, потому что меняется экосистема ВКонтакте. И каждое нововведение немного меняет расстановку сил. Изменений много — поэтому совокупно сдвиги очень ощутимые.

Конечно, не нужно ради экспериментов жертвовать здравым смыслом. Не стоит делать очевидно неуместные вещи, либо то, что вам концептуально претит (подкаст «Весёлые картинки» — спорная идея, однако зависит от того, как вы воспринимаете свой проект).

Но в остальном очень рекомендуем всегда пробовать новое.

Сила новых (только что запущенных) инструментов часто не в том, что мы как-то особенно их фичерим и продвигаем. Всё чуть проще:

1. Новый формат стартует с нулевой кармой ранжирования. И если он зайдёт хуже, то «рейтинг» скорректируется не сразу. На старте это поможет собрать хорошие охваты.
2. Если формат окажется успешным, то вы здорово опередите других: авторы инертны и очень медленно воспринимают новые инструменты. Сливки собирают те, кто приходит раньше.
3. Людям нравится новое. Хотя бы просто посмотреть. Вы можете пользоваться этим — пусть смотрят именно у вас.

В то же время, новые форматы успешно заходят не всегда. Увы. И может быть так, что вы попробуете и разочаруетесь.

Неправильная стратегия — забыть об инструменте навсегда.

Правильная — попробовать снова через квартал или два.

Ведь разработчики тоже работают и следят: если «не зашло», они, конечно, расстраиваются, но берут полученный фидбек и в большинстве случаев продолжают тюнинг. А квартал — это обычно горизонт детального планирования, поэтому именно раз в три месяца стоит проверять, не стал ли забракованный вами инструмент существенно лучше.

Может случиться, что вы и тут сумеете опередить конкурентов, которые уже вычеркнули для себя этот формат.

Читать далее…

Продолжение текста здесь.

Оригинал и комментарии

Продолжение рассказа о работе социальной сети. Первая часть.

Монетизация

Многие медийные проекты начинаются не как бизнес, а как способ творчески самореализоваться. Однако мы прекрасно понимаем, что в определённый момент развития авторы хотят кушать, потом кушать сытно, затем ещё и хорошо одеваться и красиво жить. В общем, экосистема ВКонтакте должна дать авторам возможность не только быть популярными, но и монетизировать эту популярность.

«Красивые слова! Но вы же всё испортили, отобрали возможность зарабатывать админам!»

Давайте разберёмся.

Исторически в пабликах ВКонтакте сложился очень большой рекламный рынок. И он был хорош для своего времени, но потом не смог эволюционировать. А надо было.

Дело в том, что реклама сама по себе всё-таки чаще раздражает людей. А значит, это относительное «зло». Минимизировать негативный эффект для пользователей можно двумя способами:

• улучшить таргетинг (сократить количество нетематической рекламной нагрузки на человека);
• кастомизировать рекламные сообщения (то, что называют нативной рекламой — создавать рекламный контент, вовлекающий аудиторию, а не раздражающий своей прямолинейной навязчивостью).

Как и всегда, в идеале нужно двигаться сразу по двум этим направлениям.

Но улучшение таргетинга — задача техническая. Это не могут сделать сами авторы, зато может платформа. Поэтому уже очень давно в ленте новостей появилась таргетированная реклама — промопосты. Идея та же, что и у простых объявлений в пабликах, только благодаря таргетингу получается меньше нецелевых показов, меньше раздражения у людей.

А вот второе направление — кастомизация рекламных сообщений, контента — это то, что не может сделать платформа (сегодня и в ближайшие лет пять точно). Это та зона, в которой правят бал авторы. Именно они могут менять рекламное сообщение, делать его интереснее и релевантнее аудитории — то есть повышать вовлечение и конверсию за счёт более тщательной проработки контента, а не таргетинга.

И здесь за последние пять лет у большинства пабликов мало что изменилось. Увы.

Рассчитывать сегодня зарабатывать на рекламных посевах — наивно и нереалистично.

Во-первых, они всё менее эффективны сами по себе (не таргетированные и не адаптированные шаблонные публикации имеют мало шансов на успех у аудитории).

Во-вторых, закупка пабликов сотнями, только по подписчикам или просмотрам, девальвирует ценность канала коммуникации — то есть попросту подрывает ценообразование на рынке. Это всё равно что покупать одежду на вес.

В-третьих, бурно растущий рынок пабликов первой волны породил пузырь: часто рекламу в существующих сообществах покупали ради раскрутки новых, чтобы в них продать рекламу следующим. Всё это ещё больше размыло внимание аудитории (условно — было 10 подписок, стало 100). И когда спрос на раскрутку новых пабликов упал, резко ушло большое количество денег из этого рынка.

Что же делать? Посмотреть на более традиционные рынки контента и взять оттуда главные мысли.

Нужно строить Имя. Для того, чтобы продавать рекламодателю не среднестатистических пользователей «на вес», а своё влияние на них, силу своего бренда и созданного контекста. Проще говоря, нужно развивать направление нативной рекламы.

И речь не только про большие спецпроекты. Нативной может быть даже одиночная рекламная запись.

С точки зрения правил ВКонтакте и их официальных трактовок, нативной считается любая нешаблонная публикация, которая адаптирована к тематике и формату страницы (при этом размещённое уже на многих страницах сообщение, разумеется, превращается в шаблон). Даже внешняя ссылка может быть в нативной публикации — пожалуйста, сколько угодно. И такие посты не попадают ни под какие количественные ограничения рекламы.

Сложность одна — этим нужно заниматься. Не только создавать такие записи, но и переубеждать рекламодателей, что им нужны именно они, а не стандартное объявление, опубликованноев десятке пабликов.

Как всегда, начинать и менять парадигму сложно — наверное, поэтому это не самый распространённый сегодня формат работы. Однако движение в этом направлении приносит самые большие заработки для авторов.

А как же прямые размещения рекламных публикаций? Они будут умирать как неэффективные.

А как же те таргетированные промопосты, которые теперь продаёт сама соцсеть? Забрали деньги у авторов себе?

Авторам предложили присоединиться к РСВК — рекламной сети ВКонтакте — и зарабатывать вместе с платформой.

Но важно помнить два момента:

1. РСВК — это программа, в которую берут не всех. Это не благо по умолчанию, а партнёрский инструмент, призванный поддерживать авторов, полезных для платформы и не создающих рисков рекламодателю.
2. ВКонтакте активно делится с авторами. Но ещё больше денег для каждого — в нативной рекламе. Как и на других медийных рынках, прямые продажи и интеграция в контент в большинстве случаев способны принести гораздо больше заработка.

Будущее монетизации — в умных форматах.
Умный таргетинг и умный контент — вот где есть и будут деньги.
Да, раньше всё было иначе. Но на то и существует прогресс, чтобы менять реальность и помогать меняться всем в ней.

Больше чем пост

На протяжении всей своей истории экосистема ВКонтакте развивалась и усложнялась. Всё время появляются новые формы и форматы контента. А у них — свои любители и настоящие адепты.

Зачем это нужно?

С одной стороны, чтобы люди не заскучали (это правда, значительная часть пользователей хочет регулярно видеть что-то новенькое).

С другой — чтобы пользователи не уходили за новыми интересными форматами на другие площадки. Лучше создать новый формат, которым на твоей платформе воспользуются от силы 20%, чем потерять полностью или даже частично внимание 10% людей.

Эти изменения постоянно расширяют возможности авторов. И, разумеется, бросают им всё новые вызовы.

Представляется, что правильная стратегия — это регулярные разумные эксперименты, о которых мы уже говорили. Важно быть в курсе новых форматов и изменений, по возможности их пробовать, а также — сочетать одно с другим.

Иногда бывает так, что сочетание инструментов рождает отличный пользовательский опыт и хорошие цифры: например, если использовать истории как живые обложки для статей, можно добиться очень хорошей конверсии в открытия и дочитывания.

Важно также помнить, что ни одному медиа или автору в современном мире не стоит замыкаться исключительно на создании контента в классическом смысле (например, текстов или мультимедийных файлов). Существует ещё множество способов донести информацию и взаимодействовать с аудиторией. Сюда можно отнести и чат-боты (ВКонтакте с 10 миллиардами сообщений в сутки, пожалуй, самый большой мессенджер в России), и различные приложения и сервисы сообществ (для рассылки дайджеста, например).

А с недавних пор ВКонтакте появилась возможность реализовать практически всё что угодно — на базе платформы VK Mini Apps. Это платформа для создания сервисов в веб-версии и приложении ВКонтакте: просто, кроссплатформенно, вирально, без необходимости что-то скачивать-устанавливать, а главное — многофункционально.

Практически всё, что вы можете реализовать в отдельном мобильном приложении (от геолокации до биллинга), можно создать на базе VK Mini Apps. Это огромный шаг вперёд.

Конечно, всегда можно встать в позу «я автор, моё дело — контент». Это действительно так. Но гораздо большего можно добиться, если расширить свои компетенции и используемые инструменты. Экосистема даёт возможности — берите максимум!

А смысл?

Что вообще происходит с экосистемой, куда всё движется, к чему готовиться авторам?

Совершенно очевидно, что медиапотребление становится более осмысленным. Конечно, люди по-прежнему много «залипают» на развлекательный фастфуд. Но важно отметить, что год за годом они становятся всё более разборчивыми. 10–15 лет назад контента не хватало, пользователи «голодали», сегодня же — пресыщены им.

Поэтому кажется, что в погоне за новыми форматами нужно отказаться от мысли «пипл хавает». С таким мусорным потреблением борются и сами потребители (чуть менее успешно), и платформы (более успешно, потому что качественное времяпрепровождение ценится выше).

Есть много идей, как можно быстро прокачать активность в масштабе дня. Но проиграть в масштабе месяца или проекта в целом.

Медиа, авторы — это агенты влияния, лидеры мнений. Их задача — помочь аудитории разобраться в современном доверху набитом медиапространстве. Дать точку опоры и авторитет, которому можно верить.

Нужно выстраивать свой бренд, свою концепцию и контентную (редакционную) политику.
Нужно работать на лояльность аудитории.
И нужно хотеть быть действительно полезным людям.

Всё это непросто — особенно на фоне постоянно меняющейся среды. Но другого, более простого и при этом долговечного способа оставаться наверху, нет.

В долгую побеждают вечные ценности, и польза для людей — одна из таких. Поэтому на неё есть смысл ориентироваться.

Спойлерная

Возможно, вы прочитали всё это и подумали: «Отлично! Они считают, что у них всё хорошо, проблем нет».
Нет. Мы так точно не считаем.
Как уже говорилось, платформа постоянно совершенствуется — момент, когда в ней ничего не нужно менять, невозможен.

Мы видим множество способов улучшить нашу инфраструктуру для авторов. И многие нововведения уже в работе, а какие-то — активно планируются.
Расскажем о некоторых из них.

Монетизация инструментами ВКонтакте

Да, повторимся, нативная реклама — это хороший источник и потенциал для заработка. Но не единственный возможный.

Во-первых, сама по себе логика РСВК будет актуализироваться и дорабатываться вместе с платформой и всеми изменениями вокруг. Важно, чтобы этот инструмент помогал авторам создавать хороший контент и стимулировал их.

Во-вторых, в современном мире люди всё чаще готовы платить авторам за эксклюзивный контент или дополнительные возможности. Здесь мы тоже хотим предложить пользователям и создателям удобные инструменты.

Корректное заимствование

В интернете самое естественное — делиться контентом, а потом вместе с другими пользователями его совершенствовать. При этом мы против пиратства и шаг за шагом боремся с ним, создавая при этом удобные возможности для корректного использования и цитирования контента.

Например, уже работает первая версия «Источника» — инструмента, с помощью которого можно легко дать ссылку на автора исходной публикации или творческого объекта. Мы будем и дальше развивать это направление, чтобы авторы могли получать бенефиты, если их работы становятся популярными.

Кастомизация уведомлений

По мере усложнения интересов пользователей — мы понимаем — должна усложняться и структура подписок. Вам могут быть интересны не все, а только некоторые материалы той или иной страницы или сообщества. Но раз уже вы ими увлеклись, то вам важно не пропустить обновления.

Мы работаем над этим.

Актуализация базы подписчиков

Мы всё время говорим, что подписчики не основная, даже ложная метрика. Гораздо важнее — активное ядро и охваты.

Но у сообществ, которые существуют уже много лет, всегда есть большой багаж: подписчики, которые перестали быть активными, но продолжают числиться, портят статистическую картинку и смущают всех — от администраторов до рекламодателей.

Мы готовим несколько решений, которые собираемся протестировать в этом году — сначала с партнёрами, затем — со всеми желающими.

Как говорится, stay tuned!

И будем ВКонтакте.

Оригинал и комментарии

Основанный на глубоком обучении современный мейнстримный ИИ не способен решить задачу создания сильного ИИ (интеллект машины, способный понять или освоить любую интеллектуальную задачу, которую может выполнить человек).

Т.е. избранный человечеством магистральный путь не ведет к созданию искусственного аналога интеллекта людей

(хотя изначальная цель этого научно-технологического направления, как и само его название — «Искусственный интеллект», — были именно таковыми).

Получается очень странная ситуация.

Как будто, желая попасть в Архангельск, мы сели в поезд «Москва — Архангельск». Едем на нем вот уже 12 часов, а поезд тем временем идет в Сыктывкар. Но мы из-за этого не паримся, поскольку нам говорят, что от Сыктывкара до Архангельска чуть ближе чем от Москвы. Да и что поделаешь? Ведь уже едем. Не возвращаться же обратно. Да и за билет деньги не вернут.

Но если ситуация с сильным ИИ столь же идиотична, так почему же мы хотя бы не признаем этого?

Почему, доедая взятые в дорогу бутерброды, мы продолжаем убеждать себя и соседей по купе, что все ОК, и нам осталось ехать то ли 6, то ли 8 часов?

В чем причина идиотизма такой ситуации?

Предыстория вопроса

Опубликовав «The AI Timelines Scam» (Лохотрон прогнозов ИИ), Джесика Тейлор мужественно воткнула палку в муравейник мейнстримного ИИ и провернула ее там аж три раза.

Теперь мейнстрим науки и бизнеса вокруг ИИ может отреагировать двояко.

1. Либо гордо не заметить смелый и умный поступок Джесики, начав ее сторониться, как чумной.
2. Либо объявить позицию Джесики «неконструктивной критикой» непрофессионала, не способного что-либо предложить и потому зарабатывающего очки на охаивании мейнстрима ИИ.

И то, и другое уже бывало в истории ИИ.

Первый тип реакции мейнстрима науки и бизнеса вокруг ИИ наблюдался еще в 1965 году, когда Хьюберт Дрейфус опубликовал под эгидой RAND Corporation свою знаменитую работу «Алхимия и искусственный интеллект». В ней он (более полувека назад!) в деталях объяснил, почему создание сильного ИИ на основе существующей архитектуры компьютеров невозможно.

С тех пор и до конца жизни в 2017 он так и оставался парией в мире мейнстримного ИИ. Его коллеги — преподаватели MIT даже не садились с ним за один стол в университетской столовой. А поскольку Дрейфус упорствовал (в 1972 опубликовал книгу «Чего не могут компьютеры», а в 1992 ее обновление «Чего до сих пор не могут компьютеры»), он так и остался в памяти немногих (большинство же сегодня вообще о нем не помнят) «чокнутым луддитом ИИ».

И это при том, что Дрейфус вовсе не считал создание сильного ИИ невозможным. Он всего лишь, одним из первых, понял, что

для создания интеллекта, схожего с человеческим, необходимо, чтобы устройство (интеллектуальный агент) имело более или менее схожее с человеком тело и социальную адаптацию.

Иными словами (как я писал не далее чем позавчера), такой интеллект должен быть воплощенным и эусоциально-коллективным.

Такая реакция мейнстрима ИИ против раскольников, посмевших пойти против него — изгнать, дискредитировать, наказать — случается и сегодня. Хотя по мере роста политкорректности всюду и во всем, все чаще стал встречаться второй тип реакции на ИИ раскольников.

Наглядный пример второго типа реакции — отношение мейнстрима ИИ к работам Гари Маркуса, сформулировавшего «Глубочайшую проблему глубокого обучения».

• Глубокое обучение — прекрасный инструмент для решения ограниченного круга задач и, особенно для задач перцептивной классификации. Но это не панацея, а всего лишь один из элементов сложного ансамбля разнообразных техник, необходимых для создания сильного ИИ.
• Помимо глубокого обучения, для создания сильного ИИ, как минимум, необходимы:
   — техника представления причинно-следственных связей,
   — техника описания абстрактных идей,
   — техника выполнения логических выводов,
   — техника извлечения абстрактных знаний.

Ответ мейнстрима ИИ на эти соображения Гари Маркуса, наиболее лаконично и хлестко сформулировал профессор Захари Липтон:

1. Прокричать что-то громче всех — не значит, сказать это первым. А то мы не знали, что глубокое обучение не способно рассуждать.
2. Сказать, что X не решает Y, — легко. Но где ваше решение Y?

Первый ответ — по сути, признание того, что Маркус прав.

Второй — получился в стиле «а еще шляпу надел», поскольку и ежу ясно, что справедливость критики способа решения Х никак не зависит от наличия у критикующего альтернативных предложений по решению.

Ну а теперь о том, что же, собственно, написала Джесика Тейлор.

Лохотрон прогнозов ИИ

Подобно мальчику, прокричавшему «а король-то голый!», Джесика, отбросив политкорректность, написала следующее.

A) Мир просто водят за нос, прогнозируя создание сильного ИИ в ближайшие 20 лет.

B) Делается это потому, что более близкие прогнозы создания сильного ИИ:

— генерируют больше финансирования науке и бизнесу;

— позволяют политикам стращать общество возможностью «отстать в ИИ гонке», что рождает новые бюджеты и их новые распилы;

— лучше привлекают внимание читателей во всех медиа.

Большая панама

Ситуация напоминает историю японского проекта «Компьютеров 5го поколения», начатого в 1982 году и обещавшего создание ИИ с помощью массивно-параллельного логического программирования. Через 10 лет, потратив, примерно, $1 млрд. (в сегодняшних деньгах), авторы проекта признали, что погорячились.

Но сегодня очередная панама со скорым появлением сильного ИИ вышла далеко за пределы одной страны, и на кону куда большие суммы. Десятки крупнейших и крутейших компаний мира куют железо, не отходя от кассы, постоянно подпитывая мир все более впечатляющими перспективами выхода на уровень сильного ИИ. Китай и США, ЕС и Россия, ввязываются в ИИ-гонку, в которой создание сильного ИИ видится одним из главных козырей.

Но все эти рассказы про “сильный ИИ вот-вот за углом” — одна большая панама.

И жалко вовсе не то, что это панама. Бизнес и политики, каждый по-своему, заработают на этой панаме будь здоров сколько.

Жалко, что время уходит. Ведь между предыдущей попыткой японцев и нынешними «олимпийскими ИИ играми» без малого 40 лет. А эффект будет тот же.

В заключение хочу поддержать Джесику по следующим пунктам.

Как и она, я считаю:

1. что глубокое обучение является огромным научно-технологическим достижением;
2. что глубокое обучение во многом изменит мир в ближайшие 20 лет (но это будет сделано посредством широкого распространения обычного (узкого — специализированного) ИИ);
3. что в долгосрочной перспективе возможность появления сильного ИИ может стать важнейшим событием в истории человечества;
4. что никто не может категорически утверждать абсолютную невозможность создания сильного ИИ в ближайшие 20 лет;
5. что чисто теоретически, нельзя исключать наличие у некоторых исследователей ИИ некой секретной информации, указывающей, что сильный ИИ может появиться в ближайшие 20 лет (это очень маловероятно, но все же возможно);
6. что пп. 5 и 6 крайне маловероятны, и многие представители мейнстрима ИИ в душе это признают, но помалкивают об этом.

Так что же получается — представители мейнстрима ИИ почти поголовно сознательно лгут?

Они просто мошенники?
(в логике утверждения Нассима Талеба: «Если вы видите мошенничество и не говорите, что это мошенничество, то вы — мошенник»)

Увы, все не так просто. Как тонко подметил Скотт Александр в своем посте «Против инфляции лжи», понятия ложь и мошенничество в научных дискуссиях становятся все менее применимы. И поэтому, возможно, нам следует применять слово «ложь» только к особенно вопиющим предубеждениям и мотивированным рассуждениям.

Может и так. Однако цена интеллектуальной слепоты всего человечества, вследствие мотивированных рассуждений бенефициаров маршрута в Архангельск через Сыктывкар (к сильному ИИ — через глубокое обучение), видится мне чрезмерной.

________________________________

Если понравился пост:
- нажмите на “палец вверх”;
- подпишитесь на обновления канала на платформе Medium;
- оставьте комментарий.
Еще больше материалов на моем Телеграм канале «Малоизвестное интересное».
Подпишитесь

Оригинал и комментарии

Получил замечательный коммент на вчерашний пост о сильном ИИ.

«С такой логикой в восемнадцатом веке, глядя на паровоз, мы бы говорили: «сильное» МП (механическое передвижение) не достигнуть на этом идиотически ложном пути, основанном на использовании круглых колёс».

Приведенная аналогия мне понравилась, и я воспользуюсь ею для объяснения своей позиции (спасибо автору коммента).

Единственное, что нужно для этого сделать — уточнить цель построения «сильного» МП.

Итак, дано:

• мы в 18 веке;
• у нас есть не только колеса, но и подшипники и даже паровой двигатель, позволяющий разогнать повозку (ака паровоз) до приличной (в нашем понимании) скорости;
• мы считаем (не без некоторых оснований), что, набрав большую скорость, повозка взлетит.

Наша цель:

✔️ построить летательный аппарат (т.е. создать машину, позволяющую человеку летать, как птицы или как-то иначе; но летать, а не ездить, — и в этом суть!).

Ситуация:

Приходит некий дядя и говорит следующее.

1. одних колес, подшипников и парового двигателя (ака паровоза) недостаточно, чтобы повозка полетела:

• нужен иной двигатель, поскольку, даже если удастся усовершенствовать паровой двигатель (от себя добавлю — как это сделают через 200+ лет братья Бэсслеры), характеристики у такого летающего паровоза будут никудышные, и только время потратите на его создание зря;
• нужны крылья, аэродинамическая конструкция повозки и т.д. для обеспечения возможностей подъема и планирования.

2. Поэтому, ребята, завязывайте с прогнозами, обещающими построить летальный аппарат на основе паровоза то ли через 10, то ли через 20 лет.

3. Надо изобретать иной двигатель и думать над обеспечением летных качеств.

При этом дядя вовсе не опровергает, что паровоз — отличная штука и изменит жизнь человечества в ближайшие десятилетия.

И что же мы отвечаем дяде?

См. цитату в начале поста 😎

________________________________

Если понравился пост:
- нажмите на “палец вверх”;
- подпишитесь на обновления канала на платформе Medium;
- оставьте комментарий.
Еще больше материалов на моем Телеграм канале «Малоизвестное интересное».
Подпишитесь

Оригинал и комментарии

О нашей поведенческой операционной системе со встроенным “выключателем совести”

Эволюционные психологи расшифровывают зашитые в нас эволюцией «поведенческие программы» (ПП): страх, эгоизм, альтруизм и т.д. Но оказывается, в нас заложены еще и «поведенческие операционные системы» (ПОС), управляющие взаимодействием ПП, как ОС смартфонов управляют приложениями.

Алгоритмы ПОС намного сложнее алгоритмов ПП и пока совершенно не изучены.

Также есть гипотеза, что в отличии от ПП, алгоритмы которых примерно одинаковы у разных народов (страх и эгоизм и в Африке те же, что у нас), алгоритмы ПОС зависят от социального окружения и потому должны отличаться в разных странах.

Это решили проверить экспериментально, чтоб понять алгоритмы одного из важнейших модулей ПОС, координирующего взаимодействие трех ПП: эгоизм, самооценка и альтруизм.

Сложность этого модуля в том, что координируемые им ПП взаимно противоречивы.
Про 1ю и 3ю ПП и так понятно. А вот 2я ПП усугубляет дело, т.к. человеку всегда хочется высокой самооценки, в независимости от того, как он поступает — эгоистично или альтруистично.
Короче, пазл какой-то с разтроением личности.

Разрешить этот пазл крайне важно, т.к. на нем держится любое общество.

И к слову: из продолжения моего поста про «Большого брата — сына Больших богов» (все никак не дойдут руки его дописать) вы узнаете, что интерфейсом взаимодействия Больших богов с нашим сознанием является как раз этот модуль ПОС.

Эксперимент таков.

1) В 355 городах 40 стран были, как бы, разбросаны 17+ тыс. бумажников.

2) Каждый из таких бумажников подставные лица приносили на рецпшн разных гос и частных учреждений и говорили: «Я нашел этот бумажник на улице, но очень тороплюсь. Не могли бы вы вернуть его владельцу?»

3) Содержимое бумажников было разным — с деньгами (2 варианта: $13 или $94) или без. Однако в каждом были: список покупок, ключи от дома и 3 одинаковые визитки.

4) Места передачи бумажников специально выбирали двух типов: с бросающимися в глаза камерами видеонаблюдения и без оных (дабы получающий в руки чужой бумажник знал — увидят это или нет).

Результаты исследования читаются, как триллер. Прочтете сами.

Я же о том, что заинтересовало меня.

• Гипотеза подтвердилась. Алгоритмы модуля ПОС, координирующего ПП эгоизма, самооценки и альтруизма, в разных странах сильно отличаются. Качественные различия еще предстоит уточнять, но количественные налицо (см. рис: желтые точки — бумажники без денег, красные — с деньгами).
  В результате «интегральная честность» (процент возвращенных бумажников) — у швейцарца и китайца или у норвежца и казаха отличаются в разы. Россия посредине между Испанией и Румынией. Причем мы даже почестнее, чем США и Британия (спасибо советскому прошлому!)
• Найден универсальный ключ в работе этого модуля — чем больше денег в бумажнике, тем выше шансы, что его вернут. Т.е. оказалось, что совесть реально мучает пропорционально сумме незаконно присвоенного.

Осталось выяснить, по какому закону растут муки совести при росте суммы незаконно присвоенного до миллионов и миллиардов.

Если найденная закономерность подтвердится, то у жуликов и воров, присвоивших миллиарды:

• либо муки совести просто непереносимые;
• либо эволюция предусмотрела в ПОС некий «выключатель совести», обезболивающий душу жуликов и воров при присвоении особо-крупных сумм.

И тогда получается, что наличие «выключателя совести» — несомненное эволюционное преимущество.

Подробней:

• Исследование
• Его разбор
• На русском про это пишут почему-то не у нас, а в Кишиневе и в Минске 🤔

________________________________

Если понравился пост:
- нажмите на “палец вверх”;
- подпишитесь на обновления канала на платформе Medium;
- оставьте комментарий.
Еще больше материалов на моем Телеграм канале «Малоизвестное интересное».
Подпишитесь

Оригинал и комментарии

Оригинал и комментарии

«Аллергия» на качественный контент, «астма» от факт-чекинга, бото-терроризм

Поворотным моментом в эволюции был переход от биологической (генной) эволюции к генно-культурной коэволюциию. В его процессе у наших предков развился символический язык, позволивший создать символическую культуру, сформировавшую затем наш разум и общество.

В созданном таки образом новом мире развитие людей все меньше зависело от эволюции генов, и все больше — от нарастающего влияния эволюции мемов.

Так продолжалось несколько десятков тысяч лет, сформировав цивилизацию на Земле со всем, что люди знают и умеют. Но несколько лет назад «эпоха цивилизации людей» закончилась, и начался новый переход.

В его основе следующее.

1) Изменение информационной среды генно-культурной коэволюциии: от материальной к электронной — попросту говоря, это Интернет.

2) Вместо одного носителя культуры — человека, новую электронную информационную среду теперь населяют два носителя культуры: люди и боты.

Итогом названных кардинальных изменений стало то, что будущее новой «цивилизации 2х носителей культуры» теперь зависит от результатов их сетевых взаимодействий.

По каким законам будет происходить процесс сетевых взаимодействий 2х носителей культуры, пока никому не известно. Но ясно одно, — влияние на развитие мировой сети идей (знаний, мемов, мифов …) будут оказывать оба носителя культуры. Но это еще не все.

Грандиозным изменением расклада эволюционных сил может стать вот что:

• 1й носитель культуры (человек) пока что воспроизводится по старинке — биологически;
• а 2й носитель культуры вполне рукотворный, и его созданием будут заниматься кто угодно и, в том числе, преступники, тоталитарная власть, сумасшедшие маньяки …

Это значит, что распространение новостей, формирование приоритетов популярности и важности тем, влияние на рейтинги поп-звезд и политиков … и много что еще, будет формироваться в инфосети в процессах взаимодействия людей и ботов. Причем среди обоих будут злонамеренные. Но способы воспроизводства, потенциал влияния и, главное, возможности детектирования и блокировки у людей и ботов несравненно разные. Как это будут работать, и что из всего этого получится, совершенно непонятно.

Немногие проделанный эксперименты, например, показывают следующее:

А) Вирусность распространения высококачественной и низкопробной инфы, распространяемой факт-чекинговыми и отстойными источниками, примерно одинаковая.

Б) Без ботов невозможно достичь одинаковой популярности низко- и высококачественных мемов. Однако, при наличии ботов с низкой инфильтрацией и низким уровнем обмана, вполне возможно обеспечить одинаковую популярность полярных по качеству мемов.

В) Зловредные боты, подобно микробам, становятся более опасны в грязной среде. Чем больше в инфосети грязи, тем большее влияние на людей оказывают боты. Но возможно и обратное. Также как излишнее оберегание детей от грязи и микробов может со временем обернуться для них аллергией и астмой, так и с излишней стерильностью инфосети (например, «суверенной») возможно возникновение «аллергии» на качественный контент и астмы от факт-чекинга.

Г) Инфильтрация ботов является доминирующим фактором подавления качества сетевой инфы. Когда боты оказывают влияние всего лишь на 1% людей в мире, происходит резкий переход к подавлению качества (см. рисунок). И если проникновение не ниже этого критического порога, боты даже не нацеливаются на влиятельных пользователей, а наносят максимальный урона, выбирая среди людей случайные жертвы.

Последнее — жуткий пример «бото-терроризма», действующего по принципу «взорви доверие первого попавшегося, а остальные испугаются и сами поверят».

Жаль, что все исследования идут лишь на моделях и старой статистике. Эксперименты с влиянием ботов на реальных людей сдерживаются по этическим причинам, как и генетические эксперименты.

Но боюсь, что к Китаю это не сильно относится.

Подробней — Information Pollution by Social Bots.

________________________________

Если понравился пост:
- нажмите на “палец вверх”;
- подпишитесь на обновления канала на платформе Medium;
- оставьте комментарий.
Еще больше материалов на моем Телеграм канале «Малоизвестное интересное».
Подпишитесь

Оригинал и комментарии

Человечество погрязло в техно-пропаганде и экономике пузырей

Сегодня снова о том, почему человечество вверглось в эпоху застоя и всеобщего институционального краха. Дело в том, что вчерашний пост про «Анти-Закон Мура» убедил далеко не всех читателей в продолжающейся уже полвека стагнации науки.

Люди возражают. Как же так, — а компьютеры, смартфоны, интернет и голосовые помощники? Да и самоуправляемые авто в недалеком будущем, в конце концов!

Это поразительный пример интеллектуальной слепоты, о которой я уже не раз писал. Люди видят только то, что хотят видеть, мотивированные своими предубеждениями, сформированными техно-пропагандой.

Да посмотрите же на вещи объективно. При чем тут смартфоны и голосовые помощники? Что эти IT прорывы меняют в общей стагнации большинства наук и индустрий.

Вспомните два самых грандиозных открытия современной науки за последние 70 лет:

1. 50е-60е годы: открытие 3х мерной структуры ДНК и прорыв в понимании генетического кода;
2. 60е-70е годы: открытие кварков и прорыв в понимании физического устройства мира.

Спустя 70 лет:

• где прорывные технологии на основе открытия кварков?
• почему «генная терапия», по большому счету, пока так и не появилась?

Физика стала слишком сложной? А биология оказалась еще сложнее физики?

Вспомните 30е годы прошлого века с кризисом и стагнацией в экономике США.

Но в эти годы, за счет научно-технологических прорывов, одна за другой в США возникли целые индустрии, ставшие затем локомотивами мировой экономики:

• автопром (в 1939 в США стало втрое больше автовладельцев чем в 1929),
• авиапром,
• киноиндустрия,
• индустрия пластмасс,
• индустрия вторичной переработки нефти,
• индустрия производства бытовой техники.

А какие индустрии появились за последние десятилетия?

Мобильная связь и интернет?

• Онлайн торговля?
• Смартфоны?

Как-то это слабо сопоставимо с 30ми годами.

Вспомните головокружительные открытия главной мировой науки — физики в 40е и 50е:

• ядерную энергию, поставившую точку во 2й мировой войне,
• полупроводники, позволившие потом создать компьютеры, смартфоны и Интернет,
• открытия теоретических физиков, создавших тогда молекулярную биологию, а потом проведших революцию и в телекоме.

Да вспомните, наконец, что:

• в 1968 первый термоядерный реактор Токамак достиг электронной температуры плазмы в 12 млн °C,
• в 1969 люди высадились на Луну,
• а в 1976 полет на сверхзвуковом пассажирском лайнере Конкорд Лондон — Нью-Йорк занимал всего лишь 3 часа 20 мин. (в 2+ раза быстрее, чем сегодня!).

Спустя полвека:

• где работающий термояд?
• где перелеты на сверхзвуке через Атлантику?
• где полеты на Луну, Марс и Венеру?

Все это оказалось ненужным?

Нет. Слишком сложным. Невероятно сложным. Неподъемно сложным.

✔️ Сложным для освоения уже накопленных научных сведений, без чего невозможно двигаться дальше (отсюда нарастающая специализация и изоляция ученых в своих областях, — дай бог успевать прочесть хотя бы заголовки новых статей из своей узкой специализации).

✔️ Сложным для управления, что привело к тотальному миссменеджменту науки, как на уровне государства, так и бизнеса.

В результате — сороколетняя стагнация в науке и в большинстве индустрий.

В результате — прогресс, лишь колеблющийся вокруг достигнутого уровня (десятилетие чуть вверх, десятилетие чуть вниз), в основном, за счет техно-пропаганды и экономики пузырей.

Это нужно и можно изменить.

Подробней обо всем об этом в 3х часовом интервью великого предпринимателя, визионера и венчурного капиталиста Питера Тиля.

Ну а своими глазами увидеть, каким станет мир в ближайшие годы, если отдаться на волю текущих трендов и не найти в себе силы их радикально изменить, — можно в отличном новом сериале Years & Years.

Смартфоны и голосовые помощники продолжают рулить. И даже кое-где авто без водителя. А у некоторых даже вшитый в ладонь смартфон. Ну а главный техно-прорыв сделан в самом массовом бизнесе — похоронном …

В остальном же все только хуже: работы и денег — все меньше, обмана, мошенничества, жестокости и нетерпимости — все больше. Ну а политики, как обычно, — делают на всем этом себе карьеру и удовлетворяют свои шкурные интересы.

Так что решайте, слушать ли Тиля, смотреть ли Years & Years. Я сделал и то, и другое. И не жалею.

________________________________

Если понравился пост:
- нажмите на “палец вверх”;
- подпишитесь на обновления канала на платформе Medium;
- оставьте комментарий.
Еще больше материалов на моем Телеграм канале «Малоизвестное интересное».
Подпишитесь

Оригинал и комментарии

Сегодняшний взгляд Кай-Фу Ли на будущее ИИ

Кай-Фу Ли и его бестселлер “Сверхдержавы искусственного интеллекта” становится все популярней в России. О нем все чаще упоминают ИИ профессионалы, и все больше цитируют даже популярные медиа.

Но! Ведь книга писалась 2–3 года назад.

А за прошедшее время в области ИИ произошли серьезные изменения. Да и понимание перспектив развития ИИ довольно сильно изменилось. Даже у такого визионера, как Кай-Фу Ли.

Если хотите узнать, что он думает СЕЙЧАС о состоянии и перспективах ИИ (с позиций сегодняшних знаний темы и опыта ее осмысления) — нужно слушать его сегодняшние выступления.

И вот наиболее интеллектуально емкое и структурированное. При этом, самое новое.

Если не сможете выделить 1,5 часов, прослушайте хотя бы 5 мин с 7 по 12 минуту.

Здесь Кай-Фу говорит о самом важном.

Перспективы двух подходов к развитию ИИ.

• 1й подход ставит во главу угла обилие данных (умение обрабатывать все большие и большие их объемы).
• 2й — делает ставку на алгоритмы (усовершенствование существующих и разработка новых методов повышения отдачи при обработке данных).

1й подход можно условно назвать «Китайский». 2й — «Прорывно-инновационный».

Для большинства корпораций, делающих бизнес на ИИ, 1й подход проще и менее рискованней.

Однако сложные задачи, типа автономных авто и медицинской диагностики, существующие алгоритмы, вероятно, не решат. Поэтому «Китайский» подход для таких задач может не сработать, и здесь, скорее всего, нужен «Прорывно-инновационный» подход.

Например, в области автономных авто «Китайский» подход позволит решить проблему езды автономных грузовиков по хайвеям. И это большое дело, в котором Китай, вероятно будет первым.

Но для решения задачи создания полностью автономных авто потребуются «Прорывно-инновационный» подход, чтобы совместно с университетами придумать новые алгоритмы, сейчас пока что неизвестные.

Машинного обучения недостаточно даже для решения не самых сложных задач, решаемых человеческим интеллектом.

Создание полностью автономных авто — крайне сложная комплексная задача, с решением которой пока что справляется лишь интеллект человека.

Но даже такие инновационные компании как Tesla, все еще ориентированы на «Китайский» подход, делая ставку на машинное обучение с использованием все бОльших объемов данных.

К сожалению, оставаясь в рамках этого подхода, можно решить лишь довольно простые задачи, типа распознавания визуальных образов или речи. Решение же более сложных задач, в которых у человека задействованы механизмы понимания и планирования, вряд ли возможно лишь на основе машинного обучения.

И построение полностью автономным авто — лишь один из примеров таких сложных задач. То же самое можно сказать и о создании универсальной разговорной системы, способной на человеческом уровне разговаривать на произвольные темы из произвольной области. Решение этой задачи только на основе машинного обучения, скорее всего, невозможно.

Сказанное Кай-Фу Ли важно для нас вдвойне.

✔️ Во-первых, в вопросе, что может и чего не может сегодняшний мейнстримный ИИ, а также в еще более важном вопросе — куда дальше двигаться в этой области.

✔️ Во-вторых, сказанное Кай-Фу крайне важно для фокусировки российских ИИ-стратегий. Как на уровне отдельных специалистов и их компаний, так и на уровне национальной стратегии, сегодня, больше похожей на «Мы за все хорошее».

Ну а тем, кто не читал этот мой пост о Кай-Фу Ли, рекомендую — «Так говорил Кай-Фу Ли. Пост для всех и ни для кого»

________________________________

Если понравился пост:
- нажмите на “палец вверх”;
- подпишитесь на обновления канала на платформе Medium;
- оставьте комментарий.
Еще больше материалов на моем Телеграм канале «Малоизвестное интересное».
Подпишитесь

Оригинал и комментарии

Прогресс останавливается из-за экстенсивности науки и сингулярности сложности

Закон Мура знают все — число транзисторов на чипе удваивается примерно каждые два года (растет на 35% в год). Обычно это преподносится как удивительный пример торжества прогресса современной науки и технологий. Ведь это позволило перейти от нескольких тысяч транзисторов на чипе в 1971 г. до многих миллионов сегодня при соответствующем увеличении вычислительной мощности.

Но это экстенсивный рост

Про «Анти-Закон Мура» не знает почти никто —

скорость прогресса постоянна на фоне экспоненциально растущего числа исследователей.

В примере с числом транзисторов на чипе это означает следующее. Производительность труда разработчиков транзисторов (transistor scientist) за 50 лет упала примерно в 18 раз.

Т.е. если в 1971 году для увеличения плотности транзисторов на 35% в год требовалось 1000 ученых, то в 2014 году для выполнения той же задачи потребовалось уже 18 000 ученых (а сегодня оценка уже превышает 20 тыс.)

Аналогичный «Анти-Закону Мура» экспоненциальный рост числа специалистов — ученых, исследователей, разработчиков техно-прорывов — наблюдается практически во всех областях.

Сами же прорывы

• либо становятся нанопрорывами (по уровню своей прорывности),
• либо вообще отсутствуют, что прячется за новым дизайном и камуфлируется маркетингом.

Есть такой показатель — общая факторная производительность (Total Factor Productivity — TFP). Он отображает собой всю совокупность факторов, влияющих на выпуск продукции, за исключением затрат труда и капитала, и потому может рассматриваться как мерило долгосрочных технологических изменений или технологической динамики.

В масштабах национальной экономики США, если сопоставить ее общую производительность (US TFP Growth) с ростом общего числа исследователей получается тот же «Анти-Закон Мура».

Этот график значит следующее.

За последние девяносто лет каждый исследователь стал примерно в 25 раз менее продуктивным в создании открытий, которые приводят к экономическому росту.

В чем же причина столь колоссального торможения науки?

Люди тупеют? Собраны уже все низко висящие плоды? Что-то еще?

Скорее всего, — причина в возрастании сложности.

Каждое новое открытие, каждый новый технологический прорыв становятся все сложнее и сложнее. Вследствие этого в научное сотрудничество должно вовлекаться все больше и больше людей.

Вот как в США растут бюджеты, число остепененных исследователей и число научных публикаций.

Скорость нарастает. И возможно, нас ждет столкновение с сингулярностью роста сложности решаемых человечеством задач. И тогда экстенсивная подпитка все большим числом ученых, исследователей и инженеров уже не поможет.

Малоприятный футурологический прогноз

Вот какой интересный сценарий будущего намечается:

• Нарастающий переизбыток «обычных людей», вследствие ИИ-автоматизации
• Нарастающий дефицит «умных людей», вследствие приближения к сингулярности сложности.

В таком сценарии возможны два решения.

Либо человечество найдет способ массовой трансформации «обычных людей» в «умных».

Либо «обычные люди» станут просто не нужны, а нехватка «умных людей» будет преодолеваться с помощью ИИ.

Какой из двух вариантов получится у человечества — неизвестно.

Но точно известно, что в любом из вариантов будет выполняться «Закон Мура для Безумия науки» Элизера Юдковски, — следствие безумного нарастания сложности науки:

Каждые восемнадцать месяцев минимальный IQ, необходимый для уничтожения человечества, снижается на один балл.

Подробней о причинах и следствиях замедления науки:

• в интереснейшем отчете Стэнфорда, MIT, NBER, CEP «Are Ideas Getting Harder to Find?»
• и в двух замечательных статьях, анализирующих и комментирующих этот отчет:

· Is Science Slowing Down?

· Science Is Getting Less Bang for Its Buck

________________________________

Если понравился пост:
- нажмите на “палец вверх”;
- подпишитесь на обновления канала на платформе Medium;
- оставьте комментарий.
Еще больше материалов на моем Телеграм канале «Малоизвестное интересное».
Подпишитесь

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии