Недавние тренды рунета

Соцсети мы от нее уже получили. На очереди Сильный ИИ

B знаменитом рассказе Джейкобса «Обезьянья лапа», мумифицированная лапа обезьяны, на которую наложено заклятье, выполняла любые желания, но с чудовищными последствиями для пожелавших. Для людей подобные последствия были просто невообразимы из-за их чудовищной бесчеловечностии, немыслимой для человека.

Но у прОклятой старым факиром обезьяньей лапы была иная — нечеловеческая структура предпочтений. И потому, выполняя желания людей, она вовсе не со зла, а просто автоматом, преподносила людям страшные сюрпризы, выходящие за пределы воображения имевших несчастье обратиться к ней с просьбой.

Но причем здесь прорывные технологии?

Bедь общеизвестно, что сами по себе новые технологии не являются воплощением добра или зла. И что лишь от людей зависит, во благо или во зло будет использована та или иная технология.

Все так. Но увы, — этот подход устарел. Он не учитывает третьего варианта, становящегося все более частым из-за нарастающего усложнения технологий, особенно, информационных.

Когда результат распространения прорывной технологии — и не зло, и не добро. А просто совсем иной, чем предполагался.

Когда комплекс последствий распространения технологии столь широк и непредсказуем заранее, что главным по силе воздействия на миллионы людей результатом использования технологии становится совсем не то, что задумывалось, а то, чего вовсе не предполагали. Подобно тому, как это получалось у обезьяньей лапы.

Эффект обезьяньей лапы и социальные сети.

Pазработчики алгоритмов социальных сетей имели благую цель объединять людей, находя им новых друзей, помогая им общаться и совместно обсуждать интересующие темы, вопросы и события.

На пути к этой замечательной цели, разработчики решили, что хорошо было бы повысить вовлеченность людей в процесс взаимодействия с сетевым контентом. Для этого алгоритмы выбора контента работали так, чтобы показывать нам материал или рекомендовать его, таким образом, чтобы максимизировать наши клики — нажатия на кнопку мыши (потому что это ровно то, что приносит доход платформам социальных сетей). В результате алгоритмы показывают нам контент, на который мы, скорее всего, кликнем.

Казалось бы, что это относительно безвредно.

Но в результате этого в соцсети возникают пузыри фильтрации и эхо-камеры, где мы видим только то, что нам нравится, и не видим почти ничего за пределами своей зоны комфорта.

Хуже того. Это только нам кажется, что алгоритмы пытаются показать нам то, что нам нравится. На самом деле, они пытаются превратить нас в максимально предсказуемых кликеров. Они как бы понимают, что могут сделать это, постепенно изменяя наши предпочтения. И делают это.

В результате, эти алгоритмы постепенно перемещают каждого из нас по шкале собственных предпочтений, к тому или другому полюсу, чтобы довести нас до одной из двух крайностей: на крайности политического спектра или экологического, или любого другого. Но на самый край.

В итоге, мы становимся максимально предсказуемыми кликерами ценою максимизации раскола между участниками соцсети.

И это всего лишь следствие алгоритмов обучения с подкреплением, которые оптимизируют переход по кликам.

Оглядываясь назад, мы теперь понимаем.

Оптимизация переходов по ссылкам была ошибкой. Это была неправильная цель.

Точнее, цель, сформулированная без учета общей структуры предпочтений тех, кто эту цель ставил. Ведь мы не хотим раскола. Нам не нужен срач между френдами. Нас не устраивает сооружение вокруг нас пузырей и запертых от иных мнений эхо-камер.

Но поздно! Теперь уже слишком поздно это изменить. И потому все продолжается без изменений.

Мы не можем отключить эти системы, потому что они уже тесно связаны с нашей повседневной жизнью и существуют практически непреодолимые экономические стимулы, чтобы ничего здесь не менять.

Хорошо. Допустим с социальными сетями поезд ушел (хотя чего уж тут хорошего!)

Что будет, если с Сильным ИИ снова повторится история обезьяньей лапы?

Скорее всего, цена новой ошибки может оказаться для человечества неподъемной.

Эффект обезьяньей лапы и Сильный ИИ

Tакие пионеры ИИ, как Алан Тьюринг, Джон фон Нейман и Норберт Винер, четко осознавали проблему выравнивания ценностей разных интеллектов: людей и машин. В противоположность им, последующие поколения исследователей ИИ имели тенденцию забывать об этой проблеме, как только появлялись работающие приложения, открывающие возможности для бизнеса.

Аптон Синклер однажды сказал:

«Трудно заставить человека понять что-то, когда его зарплата зависит от того, что он этого не понимает».

И поэтому неудивительно, что сегодняшние эксперты по ИИ в бизнесе менее склонны озадачиваться проблемой выравнивания ценностей разных интеллектов, чем такие ученые, как Тьюринг, фон Нейман, Винер, а теперь и Рассел.

В своей только что вышедшей книге «Human Compatible: Artificial Intelligence and the Problem of Control» Стюарт Рассел бьет тревогу.

Если исследования ИИ преуспеют в своей первоначальной цели построения ИИ общего назначения (AGI), то может повториться страшная ошибка, уже случившаяся с широким распространением технологии социальных сетей. Но теперь цена новой ошибки может оказаться для человечества неподъемной.

Попробуем проследить логику этого страшного прогноза.

Сначала аксиома: одинаковое понимание цели ее постановщиком и исполнителем (которому придется эту цель достигать своими действиями) возможно лишь при условии выравнивания ценностей между ними. Для этого они, как минимум, должны понимать общую структура предпочтений друг друга.

Например, вы просите кого-нибудь принести вам кофе. Но это вовсе не значит, что ваш порученец должны добыть для вас кофе любой ценой. Это значит, что вы хотели бы получить кофе, но выполняя вашу просьбу, не надо для этого никого убивать, да и просто наносить кому-то вред чтобы получить кофе. Не нужно опустошать ваш банковский счет. Не нужно далеко ехать на такси, если рядом кофе почему-то не окажется … и еще 1000 разных «не нужно», которые просто невозможно все перечислить. Их должен сам знать ваш порученец, вследствие того, что он понимает вашу общую структура предпочтений.

А без этого понимания, ваш порученец может запросто выполнить задание примерно так же, как обезьянья лапа из рассказа Джейкобса. Ведь даже в элементарном примере про кофе без понимания вашей общей структуры предпочтений порученцу не обойтись. А что говорить для действительно сложных задач!

И тут мы сталкиваемся с поразительным откровением.

Похоже, мы неправильно определили, что такое Сильный ИИ.

В общепринятом понимании Сильный ИИ способен справиться с любой познавательной задачей по крайней мере не хуже, чем человек. И если мы поставили перед ИИ некую познавательную цель, то будем считать его разумным, если его действия достигают поставленной цели.

А как оценить, например, вариант, когда порученец-ИИ достиг поставленной перед ним цели и принес-таки вам кофе, но ценой нанесения материального ущерба кофейне?

Зададимся вопросом, — почему вообще такое могло бы произойти?

Ответ лежит на поверхности. Мы предполагали, что машина точно знает поставленную нами цель, а оказалось, что она обладает несовершенным или частичным знанием цели (ведь про ущерб кофейне мы ей ничего не говорили).

Описанная ситуация — пример того, что Стюарт Рассел называет «стандартная модель ИИ». Она состоит в том, чтобы поставить системе машинного обучения цель, а затем обучить ее, используя большое количество данных, добиваться как можно большего успеха в достижении этой цели. Такова общепринятая модель большинства сегодняшний разработок.

Риски использования «стандартной модели» невозможно оценить, поскольку системы с неправильной или с частично понятой целью могут порождать произвольно плохие последствия.

Но возможно ли в принципе заложить в машину общую структуру человеческих предпочтений, позволяющую ей избегать при достижении поставленных перед ней целей вариантов, сулящих плохие последствия в общечеловеческом понимании?

Скорее всего, нет.

Причина в том, что, во-первых, — всего не перечислишь.

А во-вторых, — люди и не знают всего о собственной структуре предпочтений, хотя бы, из-за ограниченности своего опыта. Как мы можем точно знать, хорошо для нас нечто или плохо, если мы этого еще не пробовали?

В своей книге Стюарт Рассел приводит пример плода дуриана, который некоторым людям очень нравится, а некоторые находят его отвратительным. Как узнать свое отношение к плоду дуриана, если я никогда его не пробовал? А сколько еще я не знаю, не сталкивался не пробовал. Откуда же взяться полноте в моей структуре предпочтений?

Получается, куда ни кинь — всюду клин. Опять натыкаемся на обезьянью лапу.

Нестандартная модель ИИ

Уникальность новой книги Стюарта Рассела «Human Compatible: Artificial Intelligence and the Problem of Control» в том, что он не просто описывает в деталях вышеизложенную проблему «стандартной модели ИИ».

В книге предлагается конкретное и многообещающее решение этой супер-важной проблемы.

И это не просто общие лозунги об ответственности политиков или призывы что-то запретить, а умное техническое решение, которое переопределяет саму основу машинного обучения. Рассел в деталях объясняет свое решение в книге, и поэтому я лишь сформулирую его суть.

Радикальное решение состоит в том, чтобы полностью отказаться от «стандартной модели» для достаточно мощных ИИ-систем, обучая их достигать не фиксированную цель, которую перед ними поставили, а «вашу истинную цель», которая, возможно, сформулирована в начале работы весьма неполно, а может, и вообще неверно.

Это решение основано на методике, известной под названием «Обратное обучение с подкреплением» (“Inverse Reinforcement Learning” — IRL). ИИ-система, работающая по методике IRL, не имеет никакой функции награды. Т.к. она не может быть уверена, что полностью поняла ваши цели, она будет активно пытаться узнать больше о том, что вы действительно хотите, и при этом всегда будет открыта для вас, позволяя переориентировать себя или даже вообще выключить.

Как написал про эту идею Макс Тегмарк:

«Во многом благодаря Расселу, IRL в настоящее время является цветущей областью исследований ИИ, и если эта книга побудит больше людей использовать ее в критически важных для безопасности системах, то это, несомненно, увеличит вероятность того, что наше высокотехнологичное будущее будет счастливым»

А мне остается лишь присоединиться к сказанному Тегмарком.

Подробней:

• В книге Стюарта Рассела «Human Compatible: Artificial Intelligence and the Problem of Control»
• И в его подкасте на эту тему

________________________________

Если понравился пост:
- нажмите на “палец вверх”;
- подпишитесь на обновления канала на платформе Medium;
- оставьте комментарий.
Еще больше материалов на моем Телеграм канале «Малоизвестное интересное». Подпишитесь

Оригинал и комментарии

Стало общим местом утверждать, будто бы российские ИИ разработчики способны в ближайшие годы войти в число мировых лидеров. Это даже записано главной целью в нашу национальную стратегию развития ИИ.

Реален ли подобный взлет?

Полагаю, что да.

Что для этого нужно?

Да много чего. Но в первую очередь, российским стартапам нужно сменить приоритеты разработок ИИ-технологий:

вместо приоритета на госзаказы от государства на распознавалки лиц, ловилки, давилки и глушилки онлайн контента и 5й колонны в офлайне,

приоритет на прорывные ИИ-платформы, переопределяющие старые и создающие новые сегменты крупнейших мировых рынков и основанные на ИИ-технологичных моделях бизнеса.

Как это может выглядеть?

Вот совсем свежий красивый пример, как можно за счет ИИ-технологий переопределить рынок так:

• чтобы увеличить его на порядок,
• а покупателем решения стал цифровой гигант с миллиардной аудиторией.

Эта идея идеально подходит под новый сюжет «Черного зеркала» —

бесшовно вшиваемый автоматический продукт-плейсмент в кино и сериалы.

Смотрите сами.

1) Самый большой трафик в сети — кино и сериалы.

2) Что, если вместо прерывающих просмотр рекламных вставок встраивать рекламу прямо в существующий видео-контент:

• заменой уже имеющегося там продукт-плейсмента (всевозможная наружка, мимо которой ходят и ездят герои, брендированная атрибутика и т.д.)
• накладыванием рекламы на объекты («брендировать» стаканчик с кофе или стоящий на столе пакет сока) и внедрением виртуальных бигбордов (при этом интегрированная «контекстуалка» выглядит настолько естественно, что кажется, будто она изначально была в кадре).

3) Если все это будет делать автоматом ИИ, то будет быстро и дешево. В итоге же становятся не нужны навязчивые рекламные вставки, которые прерывают видео. Т.е. выигрывают все: рекламодатели, стриминг и зрители.

Тысячи шедевров кино и сериалов предоставят сотни тысяч часов под размещение там рекламы. И никаких ограничений. В «Терминаторе» 1984 г. появится реклама последнего iPhone 2019 г. А в «Игре престолов» 2011 г. — реклама «Терминатор: Темные судьбы» 2019 г.

А через месяц можно поменять весь продукт-плейсмент на другой. И т.д.

Выглядеть это будет так.

Придумал и сделал это английский стартап Mirriad — обладатель 14 патентов и многих международных наград, занимающийся автоматически встраиваемой в видео рекламой (in-video advertising) на основе ИИ-технологий и оригинальной бизнес-модели.

У них хватает конкурентов: Scorch London, Bold Content, Blueprint, YuMe, …

Но секрет Mirriad не в технологии. А в умении создать новый сегмент рынка и соответствующую новую ИИ-технологичную бизнес-модель.

Вот почему в октябре Mirriad объявил об эксклюзивном соглашении с Tencent, одной из крупнейших онлайн-видео платформ Китая (Tencent Video имеет аудиторию в 900 млн.)

Представьте, что этот эксклюзив с Tencent подписала бы не лондонская, а московская компания. Или что-то наподобие …

Чем не путь в лидеры мирового рынка ИИ-технологий?

________________________________

Если понравился пост:
- нажмите на “палец вверх”;
- подпишитесь на обновления канала на платформе Medium;
- оставьте комментарий.
Еще больше материалов на моем Телеграм канале «Малоизвестное интересное». Подпишитесь

Оригинал и комментарии

Это может стать самым страшным наследием Трампа для мира

Признаки тектонических изменений в обществе, в момент их первых проявлений, мало кому заметны. Однако уже через десяток лет, при развитии этих процессов, жизнь человечества кардинально изменится.

Главным таким процессом сегодня является повсеместная передача принятия решений от людей к алгоритмам, — о губительности чего вот уже несколько лет тщетно пытается предупреждать Харари.

Однако, реакция мира на это почти никакая. И все бы ничего. Процесс мог бы еще годы и годы идти медленно и неправильно, подобно попыткам законодательно разрешить проблемы внедрения самоуправляемых авто.

Но миру сильно не повезло. Президентом первой страны мира стал Трамп. Сочетание его ограниченности и недалекости с ковбойской готовностью сначала стрелять, а потом думать, способно теперь изменить будущее не только США, но и всего мира.

Дело в том, что Трамп решил законодательно освободить алгоритмы от ответственности за дискриминацию людей.

Пытаясь остановить США от этого страшного необратимого шага (не ошибки, а, скорее всего, преступления перед человечеством), 18 октября группа из десяти компьютерных ученых, социологов и юристов из «Лиги алгоритмической справедливости», представила официальный ответ на предложение Департамента жилищного строительства и городского развития США.

Последний, выполняя пожелания Трампа, планирует кардинально пересмотреть «Закон о справедливом жилье», освобождая алгоритмы от ответственности за дискриминацию из-за предвзятости.

Что хочет Трамп

Департамент жилищного строительства и городского развития США издает новые правила, которые делают практически невозможным судебное преследование банков, землевладельцев или домовладельцев, когда их алгоритмы непропорционально много отказывают в жилье, например, людям с небелым цветом кожи.

Пересмотр закона отменит 50ти летний прецедент, поддержанный Верховным судом в 2015 году, узаконивавший использование статистического анализа для выявления дискриминации.

В соответствии с предлагаемыми администрацией Трампа правилами, компания, обвиняемая в дискриминации, сможет «победить» это обвинение, если в ее решении будет задействован алгоритм. Например, гипотетический банк, который отклонял каждую заявку на кредит, поданную афроамериканцами, и одобрял каждую, поданную белыми, должен будет доказать лишь то, что зависимость оценки надежности заемщика от расы непосредственно не закладывалась при построении компьютерной модели кредитоспособности.

Правило вводит и другие лазейки для бизнеса, чтобы сбивать требования о дискриминации. Бизнес может «победить» претензию, заявив, что он проверил свой алгоритм у нейтральной третьей стороны. Если алгоритм, который привел к дискриминации, был разработан сторонней фирмой, такой как кредитное бюро или технологическая компания, банк, использующий его, не будет нести ответственность за результат.

Это может стать первым шагом вниз по скользкому склону, — считает Лиза Райс, президент Национального альянса справедливого жилья.

«Как только они сделают это в жилищном секторе, следом дискриминацию алгоритмов узаконят в сфере образования, а затем в сфере транспорта, здравоохранения и так далее, и так далее. И это уже будет не остановить».

Подробней см. здесь.

А тем временем, уже в декабре 2018 года президент Трамп подписал Закон о первом шаге, — новый закон об уголовном правосудии, который поощряет использование алгоритмов по всей стране.

В частности, система будет использовать алгоритмы для первоначального определения того, на кого может распространяться сокращение сроков наказания по завершению образовательных, профессиональных или реабилитационных программ. Отсюда выпадают заключенные, которые считаются более подверженными риску. Существует вероятность того, что алгоритмы будут увековечивать расовые и классовые различия, которые уже включены в систему уголовного правосудия. В результате афроамериканцы и бедные люди в целом с большей вероятностью будут отбывать более длительные сроки тюремного заключения.

И это не смотря на все новые и новые примеры, демонстрирующие, как алгоритмы копируют и потом усиливают предвзятости людей.

Пример предвзятости при найме

Интернет-магазин Amazon, где 60% персонала составляют мужчины и где они занимают 74% управленческих должностей, недавно прекратил использование алгоритма найма после обнаружения гендерных предубеждений. Данные, которые инженеры использовали для обучения алгоритма, были получены из резюме, представленных в Amazon за 10-летний период, — в основном от белых мужчин. Алгоритм научили распознавать шаблоны слов в резюме, а не соответствующие наборы навыков. Эти данные сравнивались с преимущественно мужским инженерным отделом компании, чтобы определить соответствие заявителя. В результате программное обеспечение ИИ снижало рейтинг любых резюме, которые содержали слово «женщины» в тексте, и понижало резюме женщин, которые посещали женские колледжи. В итоге, сложилась явная гендерная предвзятость.

Другие примеры предвзятости алгоритмов, а также конкретные шаги, необходимые для снижения влияния предвзятости на решения, принимаемые алгоритмами, см. в свежем отчете Brookings на эту тему.

Кто этому противостоит

Конкретную критику сверхопасного идиотизма, проталкиваемого администрацией Трампа, читайте в документе «Лиги алгоритмической справедливости» — официальном ответе на предложение Департамента жилищного строительства и городского развития США.

По мнению экспертов, поправки к закону, относящиеся к алгоритмам, основаны на фундаментальной неспособности понять, к каким последствиям может привести перекладка решений на алгоритмы … и насколько тонким может быть процесс проверки предвзятости алгоритмов. Мы плохо понимаем логику работы современных алгоритмов машинного обучения, в работе которых часто проявляются очень сложные корреляции, о которых даже их разработчики могут не знать. Любая комбинация факторов, от данных о местоположении до истории покупок и музыкальных предпочтений, может коррелировать как прокси для расы или другой защищенной характеристики, с разрушительными последствиями для той или иной группы населения.

В своем письме эксперты выдвигают четыре аргумента против предлагаемого законодательства:

1. Чтобы гарантировать, что алгоритм не оказывает предвзятости, недостаточно показать, что отдельные входные факторы не являются «заменой или близким прокси» для защищенных характеристик.

2. Невозможно провести аудит предвзятости алгоритма без адекватного уровня прозрачности или доступа к алгоритму.

3. Предоставление ответчикам возможности отклонить ответственность за предвзятость сторонних алгоритмов в принципе аннулирует ответственность за последствия предвзятости.

4. В предлагаемом регламенте не учитывается совокупное влияние нескольких пользователей алгоритмов (банки, суды и т.д.), которое приводит к разным воздействиям на защищенные классы, где ни один отдельный пользователь не несет ответственности в соответствии с предлагаемым регламентом.

От себя добавлю.

Если весь этот идиотизм пройдет в США, то нет сомнений, у нас мгновенно сделаю то же самое.

Отмазка будет безотбойная.

________________________________

Если понравился пост:
- нажмите на “палец вверх”;
- подпишитесь на обновления канала на платформе Medium;
- оставьте комментарий.
Еще больше материалов на моем Телеграм канале «Малоизвестное интересное». Подпишитесь

Оригинал и комментарии

кусочек портфолио

Помогал ребятам с выступлением, накидал несколько картинок бонусом. DVC делают крутые решения для Machine Learning.

Картинки были использованы в слайдах и публикации.

Principled Machine Learning: Practices and Tools for Efficient Collaboration

Оригинал и комментарии

МЕТОДИКИ КИРИЛЛА АНАСТАСИНА

История в картинках :-)

• Студия Кирилла Анастасина
• Storytelling Tools - инструменты для спикера

Подробнее о целеполагании:

С чего начать готовить презентацию

Мой канал на YouTube

Kirill Innubis

©Кирилл Анастасин

Оригинал и комментарии

Копилка идей

Практика создания User Generated Content

Многие компании задумываются над тем, чтобы стать самообучаемыми. Для этого важно, чтобы новые знания упаковывал в отчуждаемый вид не только учебный центр, но каждый сотрудник, порождающий новые знания и лучшие практики. В этой заметке мы предлагаем подход, основанный на фасилитации.

Фасилитация

Представьте себе: у вас в компании есть крутой специалист. Например, продажник или программист, или маркетолог. И вы размышляете примерно так: “Если бы все были такие как он/она, наша компания давно бы уже порвала рынок! Надо его/её знания передать остальным. Пусть запилит курс на тему, как стать лучшим продажником / программистом / маркетологом”. Скорее всего, у вас ничего не получится. Тому несколько причин:

• “Запиливание” курса отвлекает от основного занятия, которое приносит деньги.
• Не у всех есть мотивация на создание конкурентной среды. Скорее всего, ваш супер-звёздный специалист будет выжигать поляну вокруг себя.
• И даже если он таки решился упаковать свои знания в курс, ему сложно понять, что он такого знает и делает особенного. Скорее всего, курс будет из единственного и очень короткого урока: “будь собой и всё получится”. Так работает когнитивное искажение “проклятие знаний”.
• Также есть большой вопрос верификации знаний. Что из того, что я делаю, действительно даёт результат? Самостоятельно ответить на этот вопрос невозможно - нужно анализировать репрезентативную выборку.
• Кроме того, нужны не только предметные знания, но и понимание, как эти предметные знания распаковать. Для этого важно быть не столько специалистом, сколько методистом. Упс…

Вот мы и вернулись к тому состоянию, от которого собирались уйти. Крутой специалист не может сам описать свою компетенцию? А как же мечты о самообучаемой организации?

Выход есть — фасилитация. Если поместить специалиста в определённую среду и запустить процесс фокусировки внимания и вытаскивания смыслов, то окажется, что создание содержательных курсов силами специалистов вполне возможно!

Мы разработали и за несколько лет провели несколько десятков сессий по упаковке смыслов — Смыслотонов. За счёт групповой динамики и особой технологии вопрошания специалисты выходят на озарения и упаковывают смыслы в формат объясняющего видео: коротко. ёмко, ясно.

Суть того, что происходит на Смыслотоне поясняет схема:

• Хорошее “сообщение” (читай “курс”, “учебный модуль”) должно учитывать не только содержательную сторону, но и специфику аудитории;
• Концепт сообщения — это квинтэссенция смысла, то, что остаётся в сухом остатке в сознании аудитории;
• Сильный концепт рождается как синтез на пересечении глубокого понимания аудитории и глубокого понимания темы;
• Прийти к глубокому пониманию можно через исследование, в том числе кабинетное. Многие знания есть, но не проявлены и могут быть проявлены в диалоге специального типа.

Смыслотон — тимбилдинг со смыслом

Смыслотон позволяет решить классическую дилемму и получить три из трёх дважды:

• С точки зрения процесса: Быстро + Качественно + Недорого
• С точки зрения контента: Коротко + Ёмко + Ясно

Визуализация

Особая роль в том, чтобы сообщения стали ясными, принадлежит визуализации. Тому есть как минимум две причины:

• Если текст воспринимается последовательно и понимающему нужно прилагать усилия к тому, чтобы собрать в своём сознании целостный образ, картинка или схема считывается целостно изначально.
• Для понимания текста самого текста не достаточно. Важен контекст. С помощью визуализации довольно легко управлять контекстом восприятия.

На Смыслотонах мы часто слышим фразу “я не умею рисовать”. Уточняем: “Что вы имеете ввиду?”. Оказывается, люди просто не понимают, что значит рисовать. Мы предлагаем разложить компетенцию “рисование” на отдельные компоненты:

• владение визуальным алфавитом
• владение визуальной грамматикой
• владение визуальной метафорой

Визуальный алфавит

Простейшее владение этим навыком заключается в способности рисовать овалы, прямоугольники, треугольники, линии, стрелки.

На втором уровне желательно уметь изображать простейшие предметы: дерево, солнце, ракета, дом, облако и т.д.

На третьем уровне изображаем качества: забота, скорость, качество, бесперебойность, удовлетворённость и т.д.

Сравните:

“Дерево” слева считывается однозначно. Руки с малышом справа считываются как “забота”. Чтобы изобразить качество, нужно просто немного подумать: какие предметы обладают заданным качеством и изобразить именно эти предметы. Правда, нужно не забывать про аудиторию. Из нескольких вариантов следует выбрать тот, что наилучшим образом подойдёт тем, для кого вы создаёте сообщение.

Визуальная грамматика

Это то, как вы компонуете элементы на плоскости листа — композиция, или визуальная сортировка.

Визуальная метафора

Теперь давайте рассмотрим, как можно визуализировать фразу:

Чтобы увидеть цель, необходимо пройти часть пути

Эта фраза не визуализируется через прямую трансляцию слов в образы. Важно понять, какой смысл мы хотим передать этой фразой — прочувствовать контекст. Для этого на помощь приходит метафора.

После того, как вы освоите визуальный алфавит, визуальную грамматику и работу с метафорами, процесс рисования уже не покажется вам чем-то запредельным.

Сторителлинг

После того, как участники Смыслотона разобрались со смыслами, возникает необходимость упаковать контент в виде короткого текста. Мы обнаружили, что формат истории подходит оптимально в большинстве случаев.

Вот разобранные кейсы: для упаковки учебного модуля и упаковки ценностного предложения.

• Сторителлинг для учебного контента (разбор кейса)
• Упаковка ценностного предложения в историю (разбор кейса)

Мы предлагаем участникам Смыслотона использовать изобретённую в Смыслотеке схему “колесо истории”, которая подробно описана в заметке:

Сторителлинг глазами технаря

Использование историй позволяет получить три эффекта:

• Создать для аудитории узнаваемый контекст
• Обеспечить эмоциональную включённость аудитории
• Обеспечить лучшую запоминаемость

В заключение

• Знания в головах сотрудников принадлежат сотрудникам. Упакованное знание принадлежит компании и является её конкурентным преимуществом;
• Фасилитация процесса упаковки знаний и опыта специалистов существенно экономит время и повышает качество упаковки;
• Компоненты эффективного кодирования знаний и опыта:
  Визуализация + Сторителлинг.

Если заметка понравилась, нажмите на иконку с ладошками. Поаплодируйте :)

Подпишитесь на блог “Смыслотеки” в Медиуме Подписаться

Если удобно получать обновления блога на почту, подпишитесь по ссылке Подписаться

Практика создания User Generated Content (UGC) was originally published in smysloteka on Medium, where people are continuing the conversation by highlighting and responding to this story.

Оригинал и комментарии

НАВЫК СЛЫШАТЬ

Что на самом деле определяет коммуникацию.

Когда-то слушая человека я думал о том, как ему отвечу, что могу добавить к сказанному, как выглядеть умно.

Нынешняя профессия изменила мой навык слушать и слышать кардинально. Когда-то мне пришлось выстроить все презентационное дело Яндекса, а сегодня приходится много консультировать будущих спикеров технологических конференций.

Например, вот разработчик готовится рассказывать что-то на HighLoad++. Его выступление длится 45 минут. И я слушаю все 45 минут не перебивая, записывая все косяки, вникая в суть, ловя противоречия в логике. И не важно, выспался я или нет, сколько кофе влил в себя и на сколько сырой и скучный рассказ — я внимателен и сосредоточен все 45 минут. А потом еще 45 и еще, и еще. Все в один день.

Вчера слушал выступления 6 команд. А потом еще дискутировал 2 часа с теми, у кого наиболее тяжелая задача. За это время отвлекся один раз. Вдруг вспомнил фильм «Полночь а Париже», потому что там у Сальвадора Дали, в исполнении Эдриена Броуди, была офигенная интонация, когда он представлялся. Секунд 30 я был мыслями в фильме.

Однажды меня решили протестировать друзья. На даче под вино Вадим минут 20 рассказывал про свой проект. Я кивал.
 — Кирилл тебя не слушает давно, просто кивает — заметила его жена.
 — Нет. Я слушаю.
 — Ну и о чем он тебе сказал, сможешь повторить?
И я повторил. Если бы я так умел слушать на изложениях в школе, то мне бы ставили двойки за то, что списал с книги.

Вот такая профдефоомация. Чему она меня научила:

За способность слышать платят хорошие деньги, потому что это очень редкая способность.

Лишь правильно и до конца выслушав человека, ты можешь ответить что-то в тему и по делу.

Коммуникация = (количество воспринятой информации / количество упущенной информации) х (все что ты мог бы сказать в тему)

Кирилл Анастасин

Оригинал и комментарии

Это лишь 1й шаг, но за ним идут супер-прорывные открытия

Назвав Альберта-Ласло Барабаши Эйнштейном 21 века, я все же не ошибся. Он открыл безмасштабные сети (scale-free network) и математически обосновал: они — основа мира. Вселенная на всех уровнях как бы энергетически запитывается этой безмасштабностью, главный механизм которой «предпочтительность установления связей» (preferential attachment) — следствие из 2го закона термодинамики, гласящего, что для вселенной в целом энтропия (мера хаоса) возрастает.

Последние несколько лет ушли на проверку — действительно ли сеть, образованная миллиардами нейронов человеческого мозга, работает по тем же информационным законам, что и Интернет.

Это сейчас самый фундаментальный вопрос на пути понимания интеллекта людей и машин.

Ибо если ответ «да»,

• раскрывается тайна того, как мозг, просеивая шум, выборочно запоминает только самое важное и не захлебывается в деталях;

• это сулит переворот в алгоритмике глубокого обучения ИИ, сегодня просто не обладающего механизмом нахождения компромисса между степенью детализации данных и продуктивностью выявления закономерностей в них.

Новое экспериментальное открытие (популярно и детально) позволило вплотную подойти к раскрытию загадки:

• каким образом мозг обрабатывает информацию, отбрасывая большую часть её в пользу более простых нейронных описаний;

• как усовершенствовать алгоритмы глубоко обучения ИИ, дабы они работали не тупо, как сейчас (за счет безумной производительности вычислений), а умно и экономно, как это делает мозг.

В основе эксперимента новая техника записи процесса одновременной работы 10 тыс. нейронов. С ее помощью мышам показывали тысячи изображений, наблюдая за реакциями в зрительной коре и обнаруживая паттерны, соответствующие более высоко-размерной (более детальной) картине нейронной активности.

В результате удалось понять, как работает «балансировочный акт» — тот самый механизм компромисса между объемом данных и вылавливаемым из них «смыслом».

Все объясняется наличием критический («фазовых») переходов при наращивании размерности (детализации) входной информации.

Эти переходы нарушают свойство процесса обработки информации, названное «гладкостью» (непрерывностью), в результате чего небольшие изменения на входе могут генерировать большие изменения на выходе.

По сути, этот механизм позволяет выявлять во входных данных тот «один пиксель», изменение которого приведет к отображению в памяти уже другой ситуации. Извините за не совсем корректный пример, но похожим образом работает развертка на экранах — меняются только определенные пиксели, а не все изображение.

Но как идентифицировать эти «критические пиксели»?

Ответ тоже найден —

нужно найти критический порог размерности (детализации), после которого появится фрактал (функция потеряет гладкость).

Иными словами, представления в памяти должны быть настолько подробными и объемными, насколько это было возможно, чтобы они оставались гладкими.

Итоговый новый закон —

паттерны нейронной активности настолько детализированы (многомерны), насколько это возможно, не становясь фрактальными (негладкими).

В заключение пример.

Изрезанная береговая линия — это фрактал. Если идете вдоль берега, открывающаяся взору картинка все время меняется, т.к. вся кромка берега состоит из зубцов. Избавьтесь от фрактала, не дав «взорваться» степени детализации. Например (условный, но похожий на правду), — сфоткайте этот берег из космоса. И получите компромиссную по точности картину, информационно в миллионы раз меньшего объема, чем миллионы фото, снимаемых на каждом 10ом шаге обхода побережья. А «смысл» (понимание очертания побережья) вы при этом не потеряете.

________________________________

Если понравился пост:
- нажмите на “палец вверх”;
- подпишитесь на обновления канала на платформе Medium;
- оставьте комментарий.
Еще больше материалов на моем Телеграм канале «Малоизвестное интересное». Подпишитесь

Оригинал и комментарии

Они будут в любом физическом или виртуальном пространстве и даже в Инфо-Рае

Hе раз писал о том, как в соцсетях работает механизм поляризации и раскола. Оппоненты на это постоянно возражали, что в соцсетях эти процессы лишь повторяют происходящее в физическом мире, и потому не нужно гнать волну на соцсети.

Прорывные исследования в понимании вышеописанного за последний год шли косяками. И вот теперь — бинго! Теория, модель и эксперимент сошлись. И все, наконец, проясняется.

Суть прорыва в понимании того, что сегрегация и поляризация — самопроизвольные процессы в любой среде, где есть люди.

Социальное поведение возникает в результате обмена информацией между людьми. Оно ограничено и взаимно влияет на структуру инфопотоков. Интернет радикально изменил общение, демократизировав возможности «вещания народу и миру» (от одного очень многим) и позволив легко и без границ заводить новые знакомства. Однако, фактические информационные потоки неоднородны и ограничены самоорганизующимися эхокамерами.

Центральное значение для будущего цифрового общества (формируемого на наших глазах) имеет понимание того, как существующая физическая сегрегация влияет на социальную фрагментацию в онлайне.

В новом прорывном исследовании показано.

— Виртуальное пространство является отражением географического пространства, где физические взаимодействия и социальное обучение на основе близости являются основными источниками идей.

— Авторы показали, что онлайн-взаимодействия разделены по доходам людей так же, как физические взаимодействия.

— И что физическое разделение отражает поляризованное поведение вне культуры или политики.

Это исследование согласуется с теоретическими концепциями, предполагающими, что поляризация связана с социальной коммуникацией, которая усиливает внутригрупповую гомогенизацию и межгрупповую дифференциацию, и вместе они способствуют социальной фрагментации в зеркальных физических и виртуальных пространствах.

Иными словами.

Даже если когда-то люди загрузят сознание в сетевые облака, тем самым лишившись любой материальности, в этом новом нематериальном Инфо-Рае «цифровые души» людей снова разделятся на богатых и бедных, в независимости от того, что тогда будет пониматься под этими понятиями.

________________________________

Если понравился пост:
- нажмите на “палец вверх”;
- подпишитесь на обновления канала на платформе Medium;
- оставьте комментарий.
Еще больше материалов на моем Телеграм канале «Малоизвестное интересное». Подпишитесь

Оригинал и комментарии

В Россию можно только верить?

Oзнакомившись с более чем сорока национальных ИИ-стратегий (включая и официально еще не принятые, например, Норвегии и Аргентины), могу свидетельствовать — все они настолько разные, что сначала даже озадачиваешься — в чем причина столь серьезных отличий?

Ответ на этот вопрос лучше всего проиллюстрировать на примере. Представьте, что речь идет о стратегиях национальных олимпийских комитетов, отвечающих за подготовку национальных сборных к следующей олимпиаде. Комитет должен разработать стратегию подготовки сборной, назначить ответственных, проконтролировать выделение ресурсов под исполнение стратегии и проследить за ходом и результатом ее выполнения.

Спрашивается, от чего зависит, какую стратегию изберет тот или иной национальный комитет?

Полагаю, стратегия будет зависеть, как минимум, от следующих ключевых факторов.

• A. Оценка текущего состояния каждой из команд (по видам спорта) сборной на момент начала подготовки.
• B. Конкретные цели, поставленные на следующей Олимпиаде перед каждой из команд и всей сборной.
• C. Ресурсы, выделяемые каждой из команд на подготовку к следующей Олимпиаде.

А от чего будут зависеть результаты, которые покажет сборная на следующих Олимпийских играх?

Тоже не бином Ньютона.

1. От верности оценки текущего состояния на момент начала подготовки.
2. От уровня поставленных целей.
3. От объема выделенных ресурсов.
4. От качества и точности проработки стратегии.
5. От тщательности контроля за ее исполнением.
6. От уровня исполнительского мастерства при реализации стратегии, а также от тактических решений, принимаемых ответственными исполнителями.
7. Ну и, понятно, от случая и удачи.

Вот, собственно, и все.

Критерии А–С легко объясняют, почему стратегии подготовки к следующим зимним играм у, например, США, Норвегии и Южной Кореи столь непохожи (пример условный):

У США:

• огромная сборная, в которой представлены команды по всем видам спорта,
• с учетом результатов прошлых игр и текущего состояния сборной, есть шансы взять медали лишь в половине видов,
• и потому цель — при относительно скромных ресурсах на подготовку завоевать медали в половине видов.

У Норвегии:

• состав команд сборной почти как у США,
• с учетом результатов прошлых игр и текущего состояния сборной, есть хорошие шансы на медали у всех команд,
• ну а цель — вложиться в подготовку ровно настолько, чтобы получить золотые медали, минимум, в 1/3 видов и серебряные в половине видов.

У Южной Кореи:

• сборная состоит из команд всего по 3 видам спорта,
• опыта прошлых игр нет, а текущая оценка состояния команд не позволяет рассчитывать на медали,
• цель же амбициозная — не пожалеть средств на подготовку, чтобы вырвать медали в двух из трех видов спорта.

Как нетрудно догадаться,

критерии А–С одинаково справедливы, как для стратегии подготовки олимпийской сборной, так и для национальной стратегии развития искусственного интеллекта (ИИ).

А результаты исполнения обеих этих стратегий будут определяться одними и теми же параметрами 1–7.

Так что теперь мы готовы оценить уровень разработанной российской стратегии развития ИИ до 2030 г. Более того, мы можем, в первом приближении, даже прогнозировать результаты ее исполнения, и тем самым попытаться ответить на вопрос, вынесенный в заголовок, — каким будет место России в мире после реализации национальных стратегий развития ИИ.

1. Оценка текущего состояния в сфере ИИ

1.1 Почему такая оценка — нетривиальное дело

Несмотря на обилие всевозможных страновых индексов (перечень 11 из них, проанализированных в работе [1], см. на рис. 1), проведение такой оценки — задача совсем нетривиальная.

Во-первых, почти все индексы методологически ограничены своим типом: исследование (опросы и/или анкетирование), композиция других индексов, анализ количественных данных, качественный экспертный анализ. Каждый из названных типов имеет свои преимущества и недостатки.

Во-вторых, поскольку сами определения ИИ у разных авторов сильно отличаются, это основательно запутывает сравнение.

Например:

• компания Accenture определяет ИИ как спектр технологий, которые «расширяют человеческие возможности восприятия, осмысления, действия и обучения» [2];
• а компания McKinsey видит в ИИ «способность машин проявлять человекоподобный интеллект» [3].

Естественно, что при столь несхожих определениях, характеристики составляющие эти определения элементов, также будут сильно разниться.

В-третьих, индикаторы, используемые внутри индексов, также бывают трех типов, в зависимости от характера их связи с тем, что авторы называют ИИ.

1. Индикаторы, непосредственно характеризующие уровень развития ИИ, — например, число ИИ-стартапов в стране.
2. Индикаторы, прямо влияющие на потенциал развития ИИ в стране, — например, число высокопроизводительных компьютеров из списка ТОР 500.
3. Индикаторы, косвенно влияющие на потенциал развития ИИ в стране, — например, уровень «цифровизации экономики и общества» в стране.

В-четвертых, (по очереди, но не по значимости), для расчета разных индексов используются разные (порой неполные, противоречивые или несравнимые) индикаторы, характеристики и другие индексы из весьма широкого круга источников.

Вышеназванные четыре фактора весьма затрудняют корректный и непротиворечивый сравнительный анализ текущего состояния и потенциала развития ИИ по странам мира.

В качестве иллюстрации приведу пример 2019 Government AI Readiness Index, оценивающего потенциал правительств разных стран в использовании инновационных возможностей ИИ [4].

Одного взгляда на рис. 2 достаточно, чтобы заметить весьма странное 20-е место Китая, пропустившего вперед даже ОАЭ. И это при том, что правительство Китая сделало ставку на ИИ и, по сути, направляет и контролирует все ключевые аспекты развития ИИ, в явном виде определив высший приоритет этого развития — интересы Компартии Китая и его правительства. Авторы Government AI Readiness Index прекрасно понимают нелепость 20-го места Китая в своем индексе. Но ничего поделать с этим пока не могут, поскольку:

• одним из базовых индикаторов Government AI Readiness Index является Индекс открытости данных OKFN Open Data Index, а Китай в нем вообще не представлен;
• найти же замену этому индикатору для Китая авторы Government AI Readiness Index не хотят, по-видимому, не желая поступиться строгостью своей методологии.

Этот пример показывает, насколько сложно (если вообще возможно) провести сравнительный анализ развития ИИ для большого числа стран, если не проявить методологическую гибкость. Понятное дело, что за эту гибкость придется платить обвинениями в недостаточно строгой методологии сравнительного анализа. Ну да, как у нас говорят, каждый должен сам решать, что ему нужно,

— шашечки или ехать.

Пример того, как при сравнении состояния и потенциала развития ИИ, можно не зацикливаться на «шашечках», а все же «ехать», будет приведен в следующем разделе.

1.2 Способы преодоления отсутствия или неоднозначности данных

Давайте рассмотрим самую свежую попытку преодолеть проблему «шашечки или ехать» путем создания нового индекса, названного Cambrian AI Index ©. Этот индекс был специально разработан Cambrian Group по заказу Фонда Конрада Аденауэра (Konrad-Adenauer-Stiftung) для нового трехтомного аналитического исследования фонда «Comparison of National Strategies to Promote Artificial Intelligence», вышедшего в этом году [5, 6, 7].

На сегодняшний день Cambrian AI Index © представляет собой наиболее всеобъемлющий и аккуратно выполненный синтез 26 разных по методологии индексов, индикаторов и характеристик. К плюсам этого нового индекса можно отнести следующее.

1. В его основе наиболее широкое, но одновременно и весьма точное определение ИИ.
   «В самом широком смысле, ИИ — это способность машин учиться, делать выводы, планировать и воспринимать (т. е. обладать качествами, которые мы, в первую очередь, отождествляем с человеческим познанием). Эта способность приобретается цифровыми технологиями или гибридными цифро-материальными технологиями, которые имитируют когнитивные и физические функции людей. Для этой цели ИИ-системы не только обрабатывают данные, но и распознают закономерности, делают выводы и становятся все более умными с течением времени. Их способность адаптировать и улучшать вновь развитые навыки существенно улучшилась с начала века. Это также означает, что понятие, называемое нами ИИ, изменяется с каждым крупным технологическим прорывом, и поэтому определение ИИ должно периодически корректироваться.»
2. Индекс включает в себя широкий спектр индикаторов всех трёх типов: непосредственно характеризующие уровень развития ИИ, прямо влияющие на потенциал развития ИИ и косвенно влияющие на потенциал развития ИИ в стране.
3. Базы фактов, используемых при расчетах различных индикаторов и характеристик, формирующих индекс, отобраны с истинно немецкой тщательностью и приоритетом надежности и сравнимости данных.

Тот факт, что в трехтомном отчете не нашлось места для оценки уровня развития ИИ в России, не должен удивлять. Причин тому, как минимум, две.

• В отчете дан анализ стран — мировых лидеров в области ИИ: текущих (США, Китай, Япония и Великобритании) и потенциальных (Южная Корея, Германия, Канада, Индия, Израиль, Франция, Финляндия, Сингапур, ОАЭ). Россия же, по представлениям авторов отчета, видимо, не относится ни к первым, ни ко вторым.
• Другая причина, скорее всего, в том, что в некоторых первичных индикаторах, составляющих Cambrian AI Index ©, данные по России либо отсутствуют, либо выглядят довольно неоднозначно.

Однако, поскольку для нас первостепенную важность имеет оценка текущего состояния России в области ИИ и ее сравнение с другими странами, я взял на себя труд, использовав авторскую методику, самостоятельно рассчитать показатель Cambrian AI Index © для России, по ходу и по возможности, устраняя лакуны и неоднозначности в первичных индикаторах.

Большинство индикаторов, используемых в Cambrian AI Index © вполне количественные и при этом непротиворечивые.

Например, индикатор «число установленных в стране суперкомпьютеров, входящих в список 500 мощнейших суперкомпьютеров мира» (Number of 500 most powerful supercomputers per country).

Это вполне конкретный показатель, фиксируемый на авторитетном ресурсе www.top500.org.

Исследовав приведенную на сайте таблицу суперкомпьютеров, входящих в список 500 мощнейших суперкомпьютеров мира, легко установить,

• что замыкающий десятку лидеров Сингапур обладает 5 суперкомпьютерами из официального списка ТОР500,
• а Россия обладает лишь 2 суперкомпьютерами в этом списке, что:
   — уравнивает ее с Финляндией,
   — и отделяет пропастью от Германии, имеющей 21 суперкомпьютер в списке ТОР500.

Но, к сожалению, далеко не все индикаторы, составляющие Cambrian AI Index © столь однозначны. И в некоторых из них неоднозначности избежать все же не удалось.

Вот пара типичных примеров.

1. В индикатор квалифицированных университетов, обучающих по специальностям ИИ (Artificial intelligence CSRankings: Computer Science Rankings), ни один из российских университетов, к сожалению, пока не входит. Поэтому при расчете Cambrian AI Index © для России нами использован раздел Computer Science индекса World University Rankings 2019 (куда входят МГУ, МФТИ и МГТУ им Баумана). Такая подмена, конечно, дает некоторое преимущество России, ну да ничего не поделаешь, — нам «ехать» надо, а не «шашечки» считать.
2. В индикаторе научных журналов «Scientific Journal Rankings — SJR по тематике Artificial intelligence» (используемой в Cambrian AI Index ©) Россия занимает лишь 31 место. Тогда как по тематике Computer vision and pattern recognition (в принципе, относящейся к ИИ) у России место повыше — 16. Нам показалось более объективным использовать комбинированный вариант характеристик по обеим тематикам, усреднив их. И эта подмена дает преимущество России. Но так, по мнению автора, корректнее. 31 место по научным публикациям вряд ли является релевантной оценкой вклада российской науки в ИИ. 24 место, правда, тоже не очень справедливо. Но тут уж ничего не поделаешь.

Третий пример выявленной неоднозначности при расчете показателя Cambrian AI Index © для России — это количественный индикатор, непосредственно характеризующий уровень и потенциал развития ИИ. Этот индикатор — «число ИИ стартапов в России», — весьма важен и показателен. И потому давайте разберемся с неоднозначностью этого индикатора подробнее.

1.3 Оценка числа ИИ-стартапов в России

Проблема в том, что этот показатель в исходной базе данных, использованной при расчете Cambrian AI Index ©, просто неточен. Это произошло вовсе не из-за небрежности аналитиков, ведущих эту базу. А из-за «особенностей национального расчета» числа ИИ-стартапов в России.

Используемый при расчете Cambrian AI Index © индекс Global AI компании Asgard & Roland Berger включает в себя 3 465 наиболее значимых ИИ-стартапов мира, отобранных из более 7 тыс. Среди них, согласно Global AI, есть 19 стартапов из России [8].

Если же учитывать все, а не только самые значимые ИИ-стартапы, то в России, согласно отчету Accuracy за 2019 г. [9], их примерно 40.

Вместе с тем, в наиболее свежем списке, опубликованном аналитиками TRACXN в августе 2019 г., указано, что в России уже 153 ИИ-стартапа. Однако, анализ этого списка показывает, что сюда включены и компании, которые весьма сложно (если вообще возможно) отнести к категории стартапов. Например, компания ABBYY, которой в этом году исполнилось 30 лет. Или компания Cognitive Technologies, которой аналитики AI Startups отдают 1 место в списке российских ИИ-стартапов, не намного моложе ABBYY. Не говоря уже о том, что обе компании не замечены в привлечении венчурных инвестиций. Это вовсе не умаляет их достижений в области российских ИИ-разработок. Однако включение в списки российских стартапов компаний, никак не подходящих под это определение, лишь осложняет сравнение России с другими странами.

Каково же истинное число настоящих ИИ-стартапов (быстрорастущих компаний, деятельность которых финансируется бизнес-ангелами и/или венчурными инвесторами в соответствии с их «стратегией выхода») в России?

Экспертная оценка показывает, что число ИИ-стартапов в России где-то посередине между оценками Asgard & Roland Berger и TRACXN. Точно, увы, никто пока не удосужился посчитать. Но ориентировочно понятно, что это число измеряется десятками, а не единицами или сотнями. Такой вывод легко проверяется имеющейся статистикой венчурных сделок в России, публикуемой Фондом развития интернет-инициатив (ФРИИ) и совместным проектом PwC и РВК «MoneyTree™: навигатор венчурного рынка». Согласно этой статистике, число сделок с ИИ-стартапами составляло в 2017–2018 гг. около 10+ в год. В то же время, как показывает статистика сектора ИИ венчурных инвестиций в США, в 2017–2018 там происходило минимум 400–500 сделок в год. При наличии в США 1,4 тыс. только наиболее значимых ИИ-стартапов [8], это означает, что ежегодное число сделок составляло примерно 30–40% от общего числа ИИ–стартапов (иными словами, каждый стартап проводил очередной раунд финансирования, в среднем, раз в 2–3 года). Таким образом из того факта, что в России происходит примерно 10+ сделок с ИИ-стартапами в год, можно предположить, что их общее число составляет от 25 до 50. Что подтверждает правильность оценки числа ИИ-стартапов в России, приведенной в [9].

При сравнении этой оценки числа ИИ-стартапов с общим числом российских компаний, занимающихся разработкой в сфере ИИ (см. рис. 6), напрашивается важный вывод.

Подавляющее число российских компаний, занимающихся разработкой в сфере ИИ, — вовсе не стартапы. Что кардинально отличает Россию от большинства стран мира и говорит о крайне неразвитом в России венчурном финансировании. Столь низкая доля венчурного финансирования в сфере ИИ не может не сказываться на общем уровне и потенциале развития ИИ в России. Ведь венчурное финансирование — это далеко не только деньги. Не менее важно, что настоящий стартап с венчурным финансированием — это совсем иная модель бизнеса, чем у государственных или частных компаний, получающих финансирование в виде займов или грантов. Это модель бизнеса, ориентированная на взрывной рост за счет прорывных инновации и новых способов ведения бизнеса.

Насколько невыгодно в этом смысле положение России по сравнению с другими странами Европы, проиллюстрировано на рис. 7, показывающем соотношение трех параметров для разных стран [10]:

• число ИИ-стартапов (горизонтальная ось),
• «плотность» стартапов — отношение числа ИИ-стартапов к численности населения (вертикальная ось),
• объем венчурного финансирования (площадь круга)

Если включить в список сравниваемых стран двух мировых чемпионов по населению — Китай и Индию, то по сравнению с ними, российские относительные показатели не столь плачевны. Показатель «число ИИ-стартапов на 1 млн населения» оказывается примерно таким же, как у Китая с его 1,4 млрд населения. Это позволяет России занять по этому показателю 15 место в мире, потеснив с него Индию (см. рис. 8), имеющую сейчас примерно такую же численность населения, что и Китай. По показателю «число ИИ-стартапов на 1 тыс. предприятий» Россия теснит уже Китай с его 15-го места в мире [11].

Проведенный анализ показывает, что даже при отсутствии точного значения индикатора в используемом для составления индекса источнике, возможна экспертная оценка индикатора на основании анализа других доступных источников. И все здесь упирается в наличие разнообразных заслуживающих доверие источников и готовность составителей индекса поступиться методологическим единообразием.

Продемонстрировав разнообразные препоны, осложняющие страновое сравнение уровня и потенциала развития ИИ, а также проиллюстрировав способы преодоления таких препон, познакомимся с результатами, полученными при сравнении 13 стран и России по индексу Cambrian AI Index ©.

1.4 Сравнение 14 стран по состоянию и потенциалу развития ИИ

Сравнение 14 стран (США, Китай, Япония, Великобритания, Южная Корея, Германия, Канада, Индия, Израиль, Франция, Финляндия, Сингапур, ОАЭ и Россия) проведено на основе Cambrian AI Index © (см. выше раздел «Способы преодоления отсутствия или неоднозначности данных»).

• Значения индекса первых 13 стран из списка рассчитаны аналитиками Фонда Конрада Аденауэра и приведены в отчете об исследовании фонда «Comparison of National Strategies to Promote Artificial Intelligence» [5, 6, 7].
• Значение индекса для России рассчитано автором согласно методике, разработанной Cambrian Group по заказу Фонда Конрада Аденауэра (Konrad-Adenauer-Stiftung) и опубликованной в вышеназванном аналитическом отчете фонда. При расчете индикаторов и характеристик Cambrian AI Index © автором были, по возможности, устранены неоднозначности в их показателях. Примеры того, как это делалось, были приведены в предыдущих разделах.

Как видно из рис. 9, значение индекса Cambrian AI Index © у России примерно такое же, как у Франции и Финляндии. Среди 14 стран хуже показатели лишь у ОАЭ, по причине почти полного отсутствия там R&D в области ИИ.

Оставляя детальное рассмотрение каждого из 26 индикаторов индекса Cambrian AI Index © России для следующих публикаций, я, тем не менее, считаю важным здесь зафиксировать вот что.

1. Каждый из 26 индикаторов по-своему важен для объективной и всесторонней оценки причин столь плачевного положения ИИ в России и поиска способов и путей его преодоления.
2. Но помня о законе Парето и старом анекдоте:
    — Лейтенант, почему ваш взвод не стрелял?
    — Видите ли, господин полковник, во-первых, не было патронов…
    — Отставить, «во-вторых» не требуется,
   напрашивается следующий вывод.
   Хотя прогресс в любой научно-технологической сфере определяется не только финансированием, но все же финансирование — один из важнейших факторов. И потому Россия вряд ли может претендовать на хорошие мировые позиции в области ИИ при существующем уровне финансирования R&D:
    — в 2 раза меньший процент от ВВП, чем во Франции или Сингапуре;
    — в 3 раза меньший процент от ВВП, чем в Финляндии или Японии;
    — в 4 раза меньший процент от ВВП, чем в Южной Корее или Израиле.

1.5 Оценка состояния и потенциала развития ИИ в национальной стратегии России

Оценка, приведенная в национальной стратегии, мягко говоря, неадекватная. Фраза о том, что

«Российская Федерация обладает существенным потенциалом для того, чтобы стать одним из международных лидеров в развитии и использовании технологий искусственного интеллекта»,

— безосновательна и противоречит реальности.

Используемая аргументация в пользу этого предположения:

• может вызвать лишь горькую улыбку (из-за апелляций к высокому уровню базового физмат образования, сильной естественно-научной школы, наличию компетенций в области моделирования и победам на международных олимпиадах школьников);
• некорректна по сути в контексте тематики ИИ (как утверждение, что Россия входит в десятку лидеров по количеству научных публикаций по физике, математике, химии, которым авторы национальной стратегии тщетно пытаются замаскировать тот факт, что по публикациям в области ИИ Россия лишь на 31 (а в лучшем случае на 24) месте в мире.

Столь же удручающе выглядит и прочая аргументация о современной базовой ИКТ-инфраструктуре для развития ИИ.

Реальное положение базовых ИКТ, оцененное соответствующими индикаторами, формирующими Cambrian AI Index ©, помещает Россию по этому показателю на последнее место среди 14 рассмотренных стран. Если же есть желание посмотреть на этот показатель в более широком страновом контексте, вот как выглядит индикатор IT Maturity, формирующий индекс AI Readiness, разработанный Capgemini Consulting [12]

Согласно этому индексу, по показателю готовности ИКТ инфраструктуры для развития ИИ, Россия и среди 34 стран занимает последнее место.

Последним из аргументов в пользу хороших шансов войти в число мировых лидеров по ИИ, приведенном в национальной стратегии, является следующее.

«Продукты (услуги) отечественных организаций в сфере информационных технологий (например, поисковые и иные сервисы, социальные сети» пользуются высоким спросом и занимают лидирующие позиции на российском рынке и рынке Евразийского экономического союза».

Каким образом из того, что российский продукт или услуга продается в России, следует, что его производитель имеет хорошие шансы стать лидером на мировом рынке, — известно лишь авторам национальной ИИ-стратегии России. Однако они этим сокровенным знанием в тексте стратегии не поделились. Что же до упоминания рынка Евразийского экономического союза, то суммарный ИКТ-рынок 4-х стран, входящих, помимо России в этот союз, меньше российского. А последний составляет порядка 1% мирового. Т.е. ни российский ИКТ-рынок, ни рынок ЕАЭС по объему несопоставимы с мировым рынком. Что же до несопоставимости уровня конкуренции на них, то и она колоссальна.

Резюмировать этот раздел можно так.

✔️ Оценка состояния и потенциала развития ИИ, приведенная в национальной стратегии России, никак не соответствует реальности.

✔️ Реальное состояние и потенциал развития ИИ в России весьма низки, уступая большинству развитых стран мира.

2. Сравнение национальных стратегий развития ИИ

Вернемся к приведенной в начале нашего исследования метафоре, сравнивающей стратегию национального развития ИИ со стратегией подготовки национальной сборной к очередным Олимпийским играм.

Тогда можно зафиксировать, что раздел 1 был посвящен проверке верности оценки текущего состояния на момент начала подготовки.

Теперь же нам предстоит оценить:

1. уровень поставленных целей;
2. объем выделяемых ресурсов;
3. качество и точность проработки стратегии;
4. возможность контроля ее исполнения.

Рассмотрению этих 4-х вопросов и будут посвящены следующие разделы.

2.1 Классификация целей национальных стратегий развития ИИ

Для классификации целей национальных программ развития ИИ существует несколько подходов. Воспользуемся подходом, реализованным национальным исследовательским центром Канады CIFAR в сравнительном исследовании национальных программ развития ИИ «Building an AI World: Report on National and Regional AI Strategies» [13].

В названном исследовании цели национальных стратегий классифицированы по следующим восьми направлениям.

1. Научные исследования: создание новых исследовательских центров, хабов или программ в области фундаментальных и прикладных наук или увеличение существующего финансирования исследований, финансируемых за счёт средств федерального бюджета.

2. «Развитие ИИ-талантов»: финансирование для привлечения, удержания и обучения отечественных или международных специалистов в области ИИ, в том числе финансирование кафедр и стипендий или создание специальных магистерских и докторских программ.

3. «Навыки и будущие специальности»: инициативы по оказанию помощи студентам и вообще всем работающим в развитии навыков для будущих специальностей и, в частности, инвестиции в STEM образование (наука, технология, инженерия и математика), цифровые навыки или обучение на протяжении всей жизни.

4. Индустриализация ИИ-технологий: программы стимулирования внедрения ИИ в частном секторе бизнеса, включая инвестиции в стратегические секторы, финансирование ИИ-стартапов, малых и средних предприятий, реализация стратегий создания ИИ-кластеров ИИ или ИИ-экосистем.

5. Правовое регулирование и стандарты: создание советов, комитетов или целевых групп для разработки стандартов, правил и законов этического и безопасного использования и развития ИИ. Эта область также включает в себя конкретное финансирование исследовательских или пилотных программ, направленных на создание понятного и прозрачного ИИ.

6. Данные и цифровая инфраструктура: финансирование партнерств по открытым данным, платформ и баз данных, а также обязательства по созданию тестовых сред и регуляторно-нормативных тестовых полигонов.

7. «ИИ в правительстве»: пилотные программы, использующие ИИ для повышения эффективности государственного управления, предоставления госуслуг и госуправления.

8. «Инклюзивность и социальное благополучие»: обеспечение использования ИИ для содействия социальному и инклюзивному росту, обеспечивающему развитие предпосылок и перспектив для ИИ-сообщества.

Российская национальная стратегия развития ИИ не укладывается в данную классификацию целей. В российской национальной стратегии:

• присутствуют лишь 4 из 8 целевых направлений вышеприведенной классификации;
• присутствуют два целевых направления, отсутствующие в национальных стратегиях других стран:
   — разработка и развитие программного обеспечения, в котором используются технологии ИИ;
   — повышение доступности аппаратного обеспечения, необходимого для решения задач в области ИИ.

Здесь нужно отметить, что в российской национальной стратегии развития ИИ целевые направления называются «основными задачами развития ИИ». В качестве же цели сформулировано нечто, подобное целям Программы КПСС (1961 г.), основной целью которой было создание плана строительства коммунизма.

В российской национальной стратегии развития ИИ это «построение коммунизма» на основе ИИ сформулировано так.

«Обеспечение роста благосостояния и качества жизни её населения, обеспечение национальной безопасности и правопорядка, обеспечение устойчивой конкурентоспособности российской экономики, в том числе лидирующих позиций в мире в области ИИ.»

2.2 Сопоставление целей национальных стратегий развития ИИ

Сопоставление целевых направлений национальных программ развития ИИ в России и 18 странах мира проиллюстрировано таблицей на рис. 11.

К этой таблице нужно дать 3 пояснения.

• Степень приоритетности каждой из целей показана цветом (чем приоритетней, тем цвет темнее).
• Приоритетность направлений российской стратегии оценивалась по числу пунктов детализации при описании каждого из направлений в тексте стратегии (от 3-х до 5-и пунктов).
• 2 оригинальных целевых направления, присутствующие лишь в российской стратегии, в таблице не отражены. Наличие у России этих двух целевых направлений, отсутствующих в стратегиях других стран, очевидно, вызвано санкционной политикой против России, ограничивающей ей доступ к программному обеспечению и оборудованию, необходимому для развития ИИ. У других стран проблемы санкций нет, и потому им нет необходимости писать что-то подобное. Они либо купят нужные SW и HW, либо (как Китай) сделают сами.

В зависимости от фокусировки национальных стратегий на те или иные из 8-и вышеназванных направлений в качестве приоритетных, национальные стратегии отнесены к трем классам:

A. Стратегии с приоритетом научных исследований и развития ИИ-талантов

B. Стратегии с приоритетом на индустриализацию ИИ-технологий

C. Многоцелевые стратегии

Стратегий класса А придерживаются 2 страны: Канада и Южная Корея. При этом обе страны фокусируют свои национальные стратегии лишь, соответственно, на 3 и 4 целевые направления.

Стратегий класса B придерживаются 4 страны: Австралия, Дания, Сингапур и Тайвань. При этом страны фокусируют свои национальные стратегии на 4–6 целевых направлений.

Стратегий класса С придерживаются 2 страны (Франция и Великобритания) и, в целом, Европейский союз. При этом все они ориентируют свои национальные стратегии практически на все целевые направления.

Российская национальная стратегия развития ИИ не подходит ни к одному из 3-х классов. Но даже если бы Россия не находилась под санкциями (заставляющими включить в стратегию 2 целевых направления, отсутствующие у других стран мира), соотношение остальных 4-х приоритетов отлично от любой из стран мира.

• Важность первых двух приоритетов (научные исследования и «развитие ИИ-талантов») оценивается Россией так же, как и Швецией, Сингапуром и Мексикой.
• А вторая пара уникальна. Важность правового регулирования и стандартов Россия оценивает, как и Швеция или Евросоюз. А значение данных и цифровой инфраструктуры Россией оцениваются выше всех стран мира.

2.3 Взгляд через призму альтернативной классификации

Чтобы получить «стереоскопическую картинку» сходств и различий национальной стратегии России от национальных стратегий других стран, посмотрим на российскую стратегию через призму иной классификации целей. Эта классификация так или иначе используется в нацстратегиях ряда стран. А национальная стратегия развития ИИ Мальты, официально принятая почти одновременно с российской, целиком выстроена по лекалам этой альтернативной классификации целей и, как российская, рассчитана до 2030 года [14].

Эта классификация «двухэтажная».

Верхний второй этаж стратегии держится на трех стратегических столпах:

• Инвестиции, стартапы и инновации: должны быть предприняты инициативы для стимулирования инвестиций, исследований и разработок стартапами, а также для укрепления позиции страны, как центра или полигона практического применения ИИ.
• Внедрение в государственном секторе: цель состоит в том, чтобы связать ИИ с государственным сектором для повышения уровня обслуживания, предоставляемого гражданам и предприятиям страны. Для этого планируются пилотные проекты на основе ИИ в конкретных областях: управлении движением, образовании, здравоохранении, обслуживании клиентов, туризме и коммунальных услугах.
• Внедрение в частном секторе: направлено на повышение осведомленности и расширение возможностей для частных компаний использовать, развивать и интегрировать ИИ в своем бизнесе. Меры поддержки должны предоставляться в форме технологической экспертизы, предоставления инструментария и финансовой помощи.

Каждый столп на первом этаже опирается на три стратегические опоры (инструмента):

— Образование и рабочая сила: все учащиеся высшей школы должны обладать знаниями из области ИИ. Кроме того, в ожидании того воздействия, которое технологические усовершенствования и автоматизация должны оказать на рынок труда, должны быть приняты меры, позволяющие работникам постоянно развивать новые цифровые навыки.

— Этические и правовые рамки: это может включать добровольную национальную программу сертификации ИИ, направленную на то, чтобы гарантировать пользователям сертифицированные решения и приложения ИИ, — что эти решения соответствуют этическим нормам, ответственны и им можно доверять. Юридические эксперты также должны сформировать консультативный комитет по регулированию технологий, который будет иметь право консультировать по вопросам законодательства, регулирующего разработку и использование ИИ. Также должны быть созданы нормативно-регуляторная «песочница» для ИИ и «песочница» в области данных для ИИ, которые позволят тестировать инновационные концепции и приложения ИИ.

— Инфраструктура экосистемы ИИ. Сюда входят, в частности, инвестиции в инструменты для реализации решений ИИ на национальном языке, инициативы по поддержке доступности данных, действия по снижению рисков кибербезопасности и другие меры, направленные на создание базовой инфраструктуры для поддержки процветающей экосистемы ИИ.

Через призму этой классификации целей российская стратегия выглядит еще более самобытной и ассиметричной.

И если на «первом этаже» классификации российская стратегия хотя бы совпадает по целям со стратегиями большинства стран мира, то на «втором этаже» целей совпадений практически нет. Целей (или задач, в терминологии российской нацстратегии) внедрения ИИ-решений в государственном и частном секторах, равно как и цели форсированного развития инвестиций, стартапов и инноваций, у нас, вроде как, совсем нет.

Как отдельное слово — понятие «инвестиции» встречается. Но в тексте российской нацстратегии это вовсе не ее цель, а одно из необходимых условий. И про это условие лишь написано, что оно должен быть. А как быть, если, как сейчас, его практически нет, в нашей нацстратегии ничего не сказано.

Ну а то, что слово «стартап» в тексте нацпрограммы вообще не встречается, можно понять и не читая ее. Достаточно прочесть раздел «Оценка числа ИИ-стартапов в России» выше.

Резюмировать этот раздел можно так.

✔️ Цель развития ИИ, продекларированная в российской национальной стратегии (Обеспечение роста благосостояния и качества жизни её населения… — см. полный текст выше)

• уникальна, будучи абсолютно непохожей на цели нацстратегий других стран.

✔️ Мне эта цель более всего напоминает цель программы КПСС, принятой в 1961 г. — создание плана строительства коммунизма.

✔️ Задачи, выполнение которых необходимо обеспечить для достижения поставленной цели,

• существенно отличаются от целей и задач нацстратегий других стран,
• носят явный антисанкционный оттенок,
• подразумевают ведущую и направляющую роль государства.

✔️ В целом, национальная стратегия России по развитию ИИ пренебрегает важнейшей ролью частных инвестиций и частного бизнеса для успешного развития прорывных технологий, делая ставку на крупные государственные и окологосударственные структуры, как при разработке планов развития ИИ в России, так и при реализации этих планов.

3. Объем выделяемых ресурсов

Сравнивать объемы средств на финансирование ИИ куда проще, чем состояние дел в сфере ИИ и цели стратегий развития этой сферы в разных странах.

9 стран зафиксировали конкретные бюджеты под выполнение своих стратегий развития ИИ.

Как видно из таблицы, объемы выделенных средств существенно отличаются: от 22 млн долл. у Австралии до 2 млрд долл. у Южной Кореи.

У остальных стран подход к финансированию своих национальных стратегий развития ИИ не предусматривает заранее фиксированных бюджетов.

• Некоторые страны планируют лишь финансирование ИИ на текущий год. Например, расходы на развитие в сфере ИИ Японии только в 2018 г. составили, в пересчете на евро, 580 млн.
• Другие страны планируют финансирование своей нацстратегии ИИ в рамках других, уже действующих национальных программ и проектов.
   — Например, совокупное финансирование нацстратегии ИИ Германии, предусмотренное до 2025 г. в рамках других программ и проектов, составляет 3 млрд евро, что превышает официальные объемы финансирования, целевым образом выделенные под программы развития ИИ Францией (1,75 млрд долл.) и Великобританией (1,24 млрд долл.)
   — Еще более впечатляющий пример ОАЭ. Эта страна неспроста включена в перечень 14 стран, сравниваемых в предыдущих разделах по показателю Cambrian AI Index ©. С одной стороны, ОАЭ стартовали в международной ИИ-гонке чуть ли ни с последнего места. С другой, ОАЭ имеет беспрецедентно дерзкий план превратиться в одного из мировых лидеров в области ИИ. Ставка сделана на 3 ключевые фактора: (1) финансирование за счет привлечения венчурных инвестиций в стартапы и их выходы на IPO (ОАЭ таким образом уже получили 2,2 млрд долл. [15]); (2) привлечение ИИ-компетенций от IBM в рамках двустороннего соглашения; (3) привлечение ИИ-талантов из Индии в рамках двустороннего соглашения.
• США, как всегда, действуют по-своему. Централизованного финансирования нацстратегии по ИИ нет. Но зато до 2025 г. планируется профинансировать 2 дюжины проектов и программ в сфере ИИ на сумму 35 млрд долл.
• Китай просто заливает развитие ИИ деньгами. 6 региональных программ с финансированием (все в пересчете в евро) от 1,8 млрд до 12,8 млрд (с выделенным финансированием фундаментальных исследований в области ИИ 3,8 млрд), правительственная программа развития полупроводниковой индустрии (естественно, включающая чипсеты для ИИ) 15 млрд… об этом нужно писать отдельно и в красках.
• Нужно также учитывать, что большинство европейских стран, во-первых, финансирует свои стратегии развития ИИ из двух источников: (1) из собственных бюджетов (например, у Дании это 150 млн долл. до 2025 г.) и (2) из бюджета Евросоюза, составляющего до 2021 г. 1,5 млрд долл. в год).
• Наконец, крайне важный для понимания катастрофического отставания России, пример финансирования развития ИИ в Израиле. Здесь основной источник финансирования — венчурные инвестиции в стартапы и их выходы на IPO. На сегодня таким образом в развитие ИИ Израиля уже вложено 7,5 млрд долл. международного финансирования, что создало в Израиле уникальную по плотности и качеству ИИ-экосистему, включающую 950 ИИ-стартапов.

Ну и сакраментальный вопрос — а что у нас?

В рамках федерального проекта «Цифровые технологии» национальной программы «Цифровая экономика», утверждены семь дорожных карт, в числе которых «Искусственный интеллект и нейротехнологии». Предусмотренное на реализацию этой дорожной карты финансирование составляет 392 млрд рублей, из которых 334,9 млрд — внебюджетные источники. По текущему курсу это финансирование составляет 6,1 млрд долл.

Если не сравнивать это финансирование с Китаем и США, оно может показаться неплохим.

Если же учесть, что только израильские ИИ-стартапы уже получили на развитие ИИ большую сумму (7,5 млрд долл.), а за ближайшие годы, уж точно, меньше не получат, то становится за державу обидно.

5. Перспективы исполнения российской ИИ стратегии

Нам осталось оценить два фактора, определяющие перспективы исполнения российской ИИ-стратегии:

• качество и точность проработки стратегии;
• возможности контроля ее исполнения.

Здесь нам нет необходимости изобретать велосипед. Хорошая работа по оценке указанных двух факторов для нацстратегий стран — лидеров по развитию ИИ уже проведена.

Это, в первую очередь, уже не раз упоминавшийся 3-х томный отчет Фонда Конрада Аденауэра [5, 6, 7]. И конечно же отчет Stiftung Neue Verantwortung — берлинского некоммерческого аналитического центра, специализирующегося на вопросах государственной политики на стыке технологий и общества [1].

Все написанное в этих отчетах об оценке двух ключевых факторов, определяющих перспективы исполнения любой ИИ-нацстратегии, относится и к российской нацстратегии. И если эти соображения применить к анализу российской нацстратегии, получается примерно следующее.

1. Наличие точных, понятных, объективно измеримых KPI является ключевым условием, необходимым (но не достаточным) для успеха любой стратегии.

2. Национальные стратегии развития ИИ требуют наличия в них 4-х типов KPI:

a. Исходные KPI (количественные и качественные), оценивающие статус и потенциал ИИ в стране, и ресурсы, доступные для реализации стратегии развития ИИ.

b. Целевые KPI (количественные и качественные), оценивающие результат, — насколько достигнуты поставленные в стратегии цели.

Примеры KPI:

• Исходный количественный — объем финансирования на исполнение нацстратегии.
• Исходный качественный — гибкость и оперативность управления постатейным финансированием исследований.
• Целевой количественный — число патентов по ИИ, поданных в конкретном году.
• Целевой качественный — полнота и проработанность принятых стандартов в сфере ИИ.

В настоящем документе не ставится цель оценить перспективы исполнения всех нацстратегий развития ИИ в мире. Желающие могут познакомиться с такой оценкой для стран, лидирующих в области ИИ, в рекомендованных выше отчетах.

Нам же остается зафиксировать собственную оценку перспектив исполнения ИИ нацстратегии России по развитию ИИ, воспользовавшись четырьмя вышеназванными типами KPI.

1. К цели, сформулированной в российской нацстратегии:
   «Обеспечение роста благосостояния и качества жизни её населения, обеспечение национальной безопасности и правопорядка, обеспечение устойчивой конкурентоспособности российской экономики, в том числе лидирующих позиций в мире в области ИИ.»
    — ни количественные, ни качественные KPI неприменимы. Это, собственно, и послужило мне поводом сравнить российскую ИИ-стратегию с программой КПСС. Достижение подобным образом сформулированной цели невозможно ни подтвердить, ни опровергнуть. И потому все зависит только от воли оценивающего. А оценивать выполнение российской ИИ-стратегии, как и прочих нацпроектов и нацпрограмм, будет известно кто — высшие чиновники. И, вероятно, — они оценят выполнение и этой нацстратегии на высоком уровне.
2. Исходные KPI для шести т.н. задач российской ИИ-нацстратегии либо отсутствуют, либо не являются реальными KPI для них. Поэтому просто нет смысла даже пытаться оценивать названные в российской ИИ-нацстратегии KPI, типа «сильной естественно-научной школы», «наличия компетенций в области моделирования» или «побед на международных олимпиадах школьников», безотносительно к какой задаче эти KPI приписали разработчики российской ИИ-стратегии. Большинство же остальных KPI сформированы по замечательному шаблону — «увеличение количества Х» или «существенный рост Х» (где Х — «организаций», «результатов», «индекса цитируемости» и т.д.). Причем насколько эти «количества» планируется увеличить, не важно. И если даже они не увеличатся, а уменьшатся, все равно никто этого проверить не сможет, поскольку исходных количественных KPI для этих «количеств» не названо.
3. Целевые KPI названы в стратегии аналогично неконкретным и неизмеримым способом.
    — Так, новые разработанные в ходе исполнения стратегии российские микропроцессоры «должны быть широко представлены» на российском и международном рынках.
    — А российские университеты «должны занимать лидирующие позиции в мире по направлениям в области ИИ».
    — «К 2024 году должны быть созданы необходимые правовые условия для достижения целей, решения задач и реализации мер, предусмотренных настоящей Стратегией».
    — «К 2030 году в Российской Федерации должна функционировать гибкая система нормативно-правового регулирования в области искусственного интеллекта».

Комментировать подобные целевые KPI, полагаю, нет смысла. Все и так ясно.

__ __ __

Резюмируя предыдущий раздел, я написал, что становится «за державу обидно». Резюмировать этот раздел могла бы фраза профессора Н.В. Зубаревич, сказанная ею в ответ на вопрос, каким образом губернаторы могут выполнить свои KPI по долголетию, ожидаемой продолжительности жизни и демографическому росту в своих регионах.

«Как без приличного роста ресурсов все это выполнить, для меня большая человеческая загадка. Правда, я ответ на нее знаю. Нарисуют.»

Вот и российская национальная стратегия развития ИИ написана так, чтобы отчет об ее успешном исполнении можно было бы легко и безнаказанно «нарисовать».

Вместо заключения

Полагаю, заключение для этого текста не требуется. Все довольно очевидно.

Вместо этого лишь вернусь к метафоре стратегии подготовки национальной сборной к следующей Олимпиаде, с которой мы начали рассмотрение вопроса — каким будет место России в мире, после реализации национальных стратегий развития ИИ в 2031 г.

Продолжая эту метафору, мы можем теперь предположить следующее.

1. Текущее состояние на момент начала подготовки нашей сборной крайне переоценено.
2. Спектр поставленных целей весьма широк, а их уровень весьма высок — сборная собирается стать, как минимум, призером по большинству видов спорта олимпийской программы.
3. Объем выделенных на подготовку ресурсов, мягко говоря, не впечатляет.
4. Качество и точность проработки стратегии очень слабые.
5. Реальный контроль за ее исполнением практически невозможен.

Следовательно, у этой стратегии, как это бывало и в прошлом в России, будет «хорошее начало, кипучая серёдка и страшный конец».

И, тем ни менее, я по-прежнему верю, что в сфере ИИ в мире будет-таки три лидера: США, Китай и Россия. Ну а когда это произойдет — в 2031 или позже, а может и раньше, — не знает никто.

Веру не нужно обосновывать. И я не буду. Просто верю.

__________________

Этот пост подготовлен по заказу «Российского совета по международным делам» (РСМД) и опубликован в разделе “Аналитика и комментарии” https://russiancouncil.ru/analytics-and-comments/analytics/kakim-budet-mesto-rossii-v-mire-realizovannykh-ii-strategiy/

__________________

Список упоминаемых источников.

1. Benchmarking National AI Strategies. Stiftung Neue Verantwortung. 2018. (URL)

2. Accenture. Boost your AIQ — Transforming into an AI Business, 2017 (URL)

3. McKinsey Global Institute. Artificial Intelligence — The Next Frontier, 2017 (URL)

4. Oxford Insights. 2019 Government AI Readiness Index, 2019 (URL)

5. Konrad-Adenauer-Stiftung. Comparison of National Strategies to Promote Artificial Intelligence, 2019, Part 1 (URL)

6. Konrad-Adenauer-Stiftung. Comparison of National Strategies to Promote Artifcial Intelligence, 2019, Part 2 (URL)

7. Konrad-Adenauer-Stiftung. Evaluation of the German AI Strategy, 2019 (URL)

8. Asgard & Roland Berger. Artificial Intelligence A strategy for European startups, 2018 (URL)

9. Accuracy. Overview of leading artificial intelligence clusters around the globe, 2019 (URL)

10. Roland Berger, France Digitale. Joining the dots — A map of Europe’s AI ecosystem, 2018 (URL)

11. Institut der deutschen Wirtschaft. Künstliche Intelligenz: Israel und Finnland vor China, 2018 (URL)

12. Capgemini Consulting. Artificial Intelligence Benchmark, 2018 (URL)

13. CIFAR. BUILDING AN AI WORLD: Report on National and Regional AI Strategies, 2018 (URL)

14. Malta: The Ultimate AI Launchpad. A Strategy and Vision for Artificial Intelligence in Malta 2030, 2019 (URL)

15. MICROSOFT. Artificial Intelligence in Middle East and Africa. Outlook for 2019 and Beyond, 2018 (URL)

________________________________

Если понравился пост:
- нажмите на “палец вверх”;
- подпишитесь на обновления канала на платформе Medium;
- оставьте комментарий.
Еще больше материалов на моем Телеграм канале «Малоизвестное интересное». Подпишитесь

Оригинал и комментарии

Оригинал и комментарии

Толя М. принёс когда я ещё лежал в больнице в январе

• Про буддистские подходы в бизнесе выпускника Принстона и пожившего в Тибете на стипендии, а потом в 80ые пошедшего работать в Нью-Йорке в бизнес по огранке и продаже бриллиантов (60% продаж в США ювелирная отрасль на рождественские праздники)
• Ключевая идея: буддизм и бизнес — очень взаимодополняющие — люди в бизнесе должны очень интенсивно духовно развиваться потому что:
• а) «видят очень много жизни», а также
• б) бизнес сурово подчиняется эволюции по Дарвину/эффективности
• Концентрация на активности даёт душевное умиротворение
• Мир меняется, успешные организации культивируют креативность и инновации (помимо внутренней этичности)
• На личном уровне для этого нужна душевная энергия, а чтобы ее было больше, самое главное — не позволять своим негативным импринтингам (см ниже) отжирать внимание мозга
• Он делал $2 млн в год (все равно что сейчас 4–5), а ездил на автобусе из Нью Джерси и утром медитировал в это время в молчании
• Ежедневно утром практиковать медитацию молчания, в одно и то же время, 15–30 минут. Это начнёт снижать напряжение и в бизнесе (будет формироваться отношение что любые бизнес проблемы это не враги и угроза, а просто события),
• и
• в частной жизни аналогично — будет появляться отстранённый взгляд в суть приходящих проблем, видеть вещи как есть, приходить решения
• В итоге подсознательный отказ от цикла негативности в восприятии мира начнёт реально очищать вашу жизнь
• Это связано с тем, что наш мозг за жизнь накопил тысячи импринтингов о ситуациях и наших реактивных реакциях на них, а теперь нам это мешает. Полчаса молчания в тишине каждое утро расчищают мозг и душу от хаоса наших накопленных реакций, мы познаем успокоение блуждающего ума
• Из механики работы импринтингов негативные действия ведут к негативным результатам, позитивные — к позитивным. Когда наши импринтинги ушли в подсознание — они начинают подталкивать нас к преследованию соответствующего опыта в нашей жизни (!). **Ни один импринт не расходуется нагим мозгом даром — они _всегда_ влияют на наше текущее восприятие чего угодно**.
• А
• Медитация расчищает наши фильтры восприятия, и мы начинаем видеть успокоенным умом — а как именно наши импринтинги искажают наше восприятие мира от нейтрального или ненаполненного (empty)
• Money itself is created by maintaining a generous state of mind
• Помимо осознания как все прошлые импринтинги влияют на наши фильтры восприятия, буддизм рассказывает что делать, чтобы не копить новые (!). Нужно отслеживать в себе и отказываться испытывать чувства, нарушающие спокойствие разума:
• 1 неправильным образом like things
• 2 неправильным образом don’t like things
• 3 гордыня
• 4 не понимать как реально все работает
• 5 сомневаться про важные истины
• 6 неправильная картина мира
• Если отслеживать все эти вещи и отказываться поддаваться им и в моменте (первые секунды эмоций), и в течении дня (возвращаться по кругу в прошлое)
• то
• дыхание и сердцебиение не поменяются от стресса, мозг будет в ресурсе, и можно будет решать здесь и сейчас (present moment) проблемы максимально спокойно, и, как следствие, наиболее эффективно
• Душевное спокойствие, кстати, является лучшим путём к здоровью тела.
• Менеджеры являются банально зависимыми от ежедневного адреналина (обычно не понимают это, поэтому на пенсии ещё несколько лет не могут успокоиться).
• Инструмент: один день в неделю уделять, не прерываясь, не работе, а тишине: никаких звонков, встреч, работы. Это позволяет обрести ясность души и ума, и хотя локально на автомате кажется, что что-то упускаешь, но обретённая душевное спокойствие и ясность в мыслях окажутся гораздо эффективнее для бизнеса. А то бизнесмены в сша «work themselves to death». Можно делать какие-то физические активности и индивидуальный спорт
• Он описывает, что можно сделать по сути випассану где угодно: на неделю полторы в абсолютно безлюдном природном месте живешь и гуляешь, попутно можно мысли в дневник записывать. У нас в жизни не было такой возможности, переосмысляешь себя, затихает напряжение души, открываются инсайты про все и меняешь жизнь потом (идёшь на риск).
• Emptiness: Все в мире ничто, негативный или позитивный смысл вещам даём только мы сами
• Медитация смерти — медитировать и представлять что завтра умрешь. Позволяет глубоко пересмотреть импринтинги и автоматизмы и очистить 75% жизни и сделать что-то что давно откладывал. Нужно периодически делать

Оригинал и комментарии

Это теперь вполне практический вопрос

В оригинале этот процесс описан так:

«И создал Господь Бог человека из праха земного, и вдунул в лицо его дыхание жизни, и стал человек душою живою».

Т.е. дыхание Бога — это некая жизненная сила, переданная человеку, чтобы оживить его — вдохнуть в него жизнь.

А что такое жизнь в современном понимании?

Воспользуемся далее определениями М.Тегмарка.

• Жизнь — это самовоспроизводящийся процесс, сохраняющий свою сложность.

• Живые существа в ходе эволюции развили в себе способность достигать сложных целей (мы называем эту способность разум или интеллект).

• Параллельно в ходе эволюции у живых существ развилась еще одна важная способность — испытывать личные переживания (мы называем эту способность сознание).

Современная наука в попытках понять, как устроен разум человека и как построить его искусственный аналог (ИИ) как бы движется галсами, постоянно меняя курс, дабы хоть как-то поймать ветер ускользающих знаний.

— Сначала сфокусировались на интеллекте, пытаясь воспроизвести его в различных вычислительных моделях, сойдясь в итоге, что это все же нейросеть, — только очень сложно иерархически устроенная.

— Затем, когда к алгоритмистам примкнули нейробиологи, стали пытаться обнаруживать и моделировать различные корреляты сознания.

И вот, наконец, на подходе 3й галсовый поворот — самовоспроизведение.

Ведь без него жизни по определению быть не может. Без сознания и тем паче разума жизнь плохо, но, возможно, как-то способна существовать. А вот без самовоспроизведения нет…

Все знают что подавляющее большинство компьютеров построены по архитектуре фон Неймана — гения из гениев всех времен и народов.

А многие ли знают, что «Машина фон Неймана», помимо архитектуры фон Неймана включает в себя «Универсальный конструктор» самовоспроизводящихся машин — класс машин, способных к самовоспроизведению (зонды фон Неймана)?

Этот «Универсальный конструктор» был создан фон Нейманом еще в 1940-х годах. А в завершенном Артуром Бёрксом виде опубликован лишь в 1966 году уже после смерти фон Неймана.

Идею практической реализации самовоспроизводящихся машин никогда не забывали. С 70х годов 20 века за нее довольно плотно взялись в NASA. Тогда тема освоения космоса была в приоритете. А без самовоспроизводящихся машин при серьезном освоении космоса не обойтись.

В 2016 возникла интрига биофизика Алекса Коувалда, который попробовал доказать невозможность существования зондов фон Неймана, которые смогли бы распространиться по Галактике и Вселенной.

А месяц назад физик Заза Османов показал, что зонды фон Неймана вполне реальны, но слишком малы для того, чтобы мы могли их заметить.

В любом случае, на подходе ренессанс исследований самовоспроизводящихся машин. Поэтому так интересно и полезно понимать реальное состояние дел и перспективы в этой области.

Такая работа будет опубликована в мае 2020. Но познакомиться с ее текущей версией можно уже сейчас.

Помимо рассмотрения современного состояния 3х основных теоретических моделей (кинематической, логической и клеточной), проиллюстрированы практические пути их реализации с применением, например, 3-D принтеров (иллюстрации работ NASA и MIT на картинке выше).

Так что вполне возможно, что главной интригой следующего десятилетия станет появление не Сильного ИИ, а самовоспроизводящихся машин.

Считать ли тогда, что люди вдохнули в них дыхание жизни?

________________________________

Если понравился пост:
- нажмите на “палец вверх”;
- подпишитесь на обновления канала на платформе Medium;
- оставьте комментарий.
Еще больше материалов на моем Телеграм канале «Малоизвестное интересное». Подпишитесь

Оригинал и комментарии

Как встраивать этику в алгоритмы машинного обучения

Это самый важный вопрос в симбиозе человека и машины. А такой симбиоз — не в будущем. Он уже вовсю идет. И самый важный и приоритетный среди его вызовов — решение проблемы нечеловеческого поведения алгоритмов, нарушающих права конкретных людей, да и вообще, человеческие принципы.

• Что за реклама вам показывается?
• Что за цена вам предлагается?
• Дадут ли вам ссуду?
• Получите ли вы страховку?
• Возьмут ли вас на эту работу?
• Как вас будут лечить?
• Попадете ли вы под наблюдение спецслужб?

Это и многое другое в жизни каждого из нас все больше решают уже не люди, а алгоритмы. И это не преувеличение, а факт.

Как создавать более совершенные алгоритмы, в которые встроены точные определения справедливости, точности, прозрачности и этики?

Не научившись делать это, все достижения машинного обучения, создаваемые во благо человечества, будут обращены против конкретных людей.

После Второй мировой войны многие ученые Манхэттенского проекта переключили свои усилия, чтобы обуздать использование атомного оружия, которое они изобрели. В случае алгоритмов вред является более рассеянным и труднее обнаруживаемым, чем в случае с ядерными бомбами. Но и то, и другое — примеры необратимых технологий, которые можно контролировать, но нельзя отменить или устранить.

Те, кто разрабатывает алгоритмы машинного обучения, могут сыграть решающую роль в выявлении внутренних ограничений алгоритмов и разработке их новых разновидностей, сбалансированных по предсказательной силе с социальными ценностями, такими как справедливость и конфиденциальность.

Но это нужно делать сейчас, а не завтра. Ибо алгоритмы машинного обучения — это новые виды акторов на Земле, от поведения и действий которых теперь зависят судьбы миллиардов людей.

Станут ли эти новые виды акторов Големом 21 века?

Ведь и Голем, созданный праведным раввином Лёвом из глины, задумывался для исполнения разных чёрных работ и трудных поручений. Но по легенде Голем превысил свои «полномочия», проявив свою волю, противоречащую воле его создателя.

Искусственный человек стал делать то, что по закону «неприлично» или даже преступно для человека …

Это ли ни прообраз истории ИИ, алгоритмы которого могут повторить путь Голема?

Но выход есть.

Существуют иные методы разработки алгоритмов, способные обуздать их нечеловеческое поведение. Алгоритмы могут быть прозрачными. В них может встраиваться справедливость и этика при принятии решений.

Как это может и должно делаться, рассказывает Бестселлер Ближайшего Будущего — только что вышедшая книга профессоров Майкла Кернса и Аарона Рота «Этический алгоритм: наука о разработке социально-ориентированных алгоритмов».

Кто не найдет время на чтение 232 стр. книги, послушайте хотя бы в ускоренном режиме 70-минутный рассказ Майкла Кернса, предваряющий выход книги.

________________________________

Если понравился пост:
- нажмите на “палец вверх”;
- подпишитесь на обновления канала на платформе Medium;
- оставьте комментарий.
Еще больше материалов на моем Телеграм канале «Малоизвестное интересное». Подпишитесь

Оригинал и комментарии

На подходе коммерческий прорыв в «науке об успехе» книг

У «науки об успехе» есть шанс превзойти по влиянию все прежние самые революционные открытия, типа теорий Дарвина, Эйнштейна или Уотсона — Крика.

Причины две.

✔️ Успех — самое важное в жизни для большинства.

✔️ Он легко измерим деньгами.

Конечно, есть люди с иной мотивацией и жизненными KPI. Но речь о большинстве.

А еще я так много пишу о «науке об успехе», поскольку она скоро станет катализатором трансформации большинства наук в их новые сетевые инкарнации. Этот процесс уже пошел, но не хватает решающего толчка. Лучшим таким толчком стала бы перспектива с помощью новых сетевых наук много заработать.

Идеальный полигон для «науки об успехе» — книги. Рынок не мал — $43B и страшно конкурентен. Из более 3 млн. книг, опубликованных в 2015 году в США, только около 4000 были проданы за год числом более 1000 экземпляров, и только около 500 стали бестселлерами NYT.

Так что тот, кто научится предсказывать успех книг, заработает очень много.

Прошлый год стал переломным в «науке об успехе» книг. Была открыта «формула бестселлера» — модель, позволяющая предсказывать успех книг. Но много заработать на этой модели было трудно, поскольку

она предсказывала с высокой точностью лишь долгосрочный успех книги по первым 6 мес. продаж.

А эти 6 мес. — как раз тот период, в течение которого большинство книг уже достигают своего пика продаж и начинают терять темпы. А главное — практически все деньги на продвижение уже потрачены, и поздно пить Боржоми. Следовательно, эта модель полезна лишь для долгосрочного управления запасами, но не эффективна для прогнозирования потенциала продаж новой книги.

Прошел год. И в «науке об успехе» книг новый прорыв, способный уже принести большие деньги.

Новая модель основана лишь на данных, доступных до публикации книги.

Это данные о популярности и «видимости» автора, истории публикаций его предыдущих книг, теме и месяце выхода новой книги и ряде характеристик издателя. Модель также учитывает жанр книги, рецензии, премии и рекламу предыдущих книг. А еще учитываются прежние и текущие характеристики обсуждений в социальных медиа.

Специально под эту новую модель был разработан свой метод машинного обучения Learning to Place (обучение выводу на рынок). Модель по-разному работает с научной литературой и нонфикшен. А ее итоговую точность прогноза продаж художественной и публицистической литературы удалось довести до 88%.

• Для триллеров, ужасов и детективов «видимость» автора и предыдущие продажи его книг оказались важнее, чем в других жанрах худ. литературы.
• В жанрах научной литературы и биографий «видимость» автора гораздо важнее, чем предыдущие продажи; в то время, как для исторической литературы наоборот.

• Приятным для издателей результатом стало то, что для большинства книг с высокими продажами успех примерно в одинаковой степени определяется тремя факторами: автором, книгой и издателем.

Так что если Борис Акунин, решив снова оживить Фандорина в 18м романе легендарного цикла, рискнет из экономии связаться с каким-то нишевым издательством, то ни имя популярнейшего автора, ни его любимый миллионами героя, вовсе не гарантируют прежнего колоссального успеха.

Вот бы Акунин рискнул бросить вызов выводам новой «науки об успехе» книг и доказать, что автор и герой важнее, чем издатель! 😉

Success in books: predicting book sales before publication

В контексте темы, подборка моих постов «Новая наука об успехе и удаче. Как на них влияет сетевое устройство мира»

________________________________

Если понравился пост:
- нажмите на “палец вверх”;
- подпишитесь на обновления канала на платформе Medium;
- оставьте комментарий.
Еще больше материалов на моем Телеграм канале «Малоизвестное интересное». Подпишитесь

Оригинал и комментарии

Техномагия — обмен тел с Фрейдом помогает решать личные проблемы

Как парадокс Соломона разрешается с помощью виртуальной реальности

Обычно мы гораздо лучше в советах другу, попавшему в беду, чем в советах самим себе.

Это называется «парадоксом Соломона», — в честь библейского царя Соломона, который был мудр, давая советы другим, но не блистал умом, когда речь шла о принятии решений, касающихся его самого. И действительно, психологи доказали, что, когда участникам дают указание рассмотреть проблему с точки зрения третьего лица (это называется «дистанцированием»), они более мудры в решении личных проблем, чем при рассмотрении их с позиции первого лица.

А дальше начинается техномагия.

Авторы нового исследования экспериментально доказали, что находясь в виртуальной реальности (VR широкоэкранный стерео-дисплей), можно вести внутренний диалог, поочередно занимая два разных виртуальных тела: одно — ваше собственное, а другое — Зигмунда Фрейда.

Вы можете:

• вести разговор с самим собой, объясняя свою проблему виртуальному Фрейду,
• затем с точки зрения воплощенного Фрейда увидеть и услышать объяснение своего виртуального двойника,
• и наконец, дать своему двойнику пару разумных советов.

Звучит техно-бредом. Но работает.

Первые эксперименты VR Self-Conversation дали на удивление хорошие результаты.

Технически все не просто. Посредством технологии захвата движения в реальном времени виртуальное тело программируется на синхронное движение в соответствии с движениями реального тела. Используемая висомоторная синхронная стимуляция приводит к ощущению иллюзорной принадлежности тела и позволяет играть с подбором тел (белый-афроамериканец, взрослый-ребенок, мужчина-женщина), одежды и т.д.

Главная фишка — обмен тел с Фрейдом. Участники заняты тем, чтобы помочь себе найти решения своих проблем, с точки зрения, отделенной от самих себя, но, тем не менее, воплощенной перспективы с телом человека — наиболее известного в мире психотерапевта.

В результате:

- участники чувствовали себя комфортно,

- у них было чувство, что с ними разговаривал доктор Фрейд,

- качество советов «самостоятельного консультирования» оказалось на высоте.

Оказалось, что многое упирается в нашу низкую самооценку. А вот когда совет вы даете, будучи в теле Фрейда, вес такого совета совсем иной.

И кстати, когда тело Фрейда заменили на Эйнштейна, последний тоже весьма неплохо разруливал личные проблемы.

Как все это делалось, можно посмотреть на 3х минутном видео

А это научный отчет о результатах исследования

________________________________

Если понравился пост:
- нажмите на “палец вверх”;
- подпишитесь на обновления канала на платформе Medium;
- оставьте комментарий.
Еще больше материалов на моем Телеграм канале «Малоизвестное интересное». Подпишитесь

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии

Оригинал и комментарии