персонажи для виртуальной камеры

FaceRig — анимация персонажа в реальном времени

FaceRig — программа, позволяющая управлять эмоциями и голосом анимированного персонажа с веб-камеры, за десять дней собрала заявленные 120.000 долларов в краудфандинговой кампании на Indiegogo. Пока программа находится на раннем этапе разработки, но авторам удалось привлечь почти уже более пяти тысяч фандеров за счет довольно детальной проработки анимации и многообещающими возможностями в полной версии приложения.

Создатели программы заявляют, что их долгосрочная цель — исследование и создание доступной обычным людям системы управления и визуализации для целого персонажа (сейчас это только голова и голос), с использованием разнообразных устройств ввода и двусторонней обратной связью. По их словам, они понимают, что это довольно смелое и революционное заявление, но это — долгосрочная цель, а пока они предлагают небольшое приложение для управления эмоциями персонажа посредством веб-камеры, поскольку таким образом они хотят сделать проект доступным любому.

Вот что получается на данный момент

В своей работе программа использует «state of the art» технологию реалтайм трекинга шведской компании Visage Technologies, которая комбинируется с кроссплатформенным движком анимации и визуализации в реальном времени собственной разработки Holotech Studios из Румынии (сайт этой небольшой инди-студии пока не открыт, но с ними можно связаться по другим каналам).

Полученный в итоге видео-вывод может быть направлен в любые приложения для чата, такие как Skype и подобные, или же можно записать ролик с получившимся результатом. Помимо анимации персонажа программа позволяет изменять голос и фон, но пока и персонажей и бэкграундов всего четыре. Сейчас персонаж управляется веб-камерой, но позже авторы приложения намерены включить в программу поддержку таких интерфейсов, как Neurowear — монитор активности мозга, L.E.A.P. motion — отслеживающий движение рук и пальцев, Kinect 1 и 2 — для обработки движений тела и в качестве датчика удаленности, а ещё Asus Xtion, Carmine PrimeSense, короче говоря, практически все интерфейсы на эту тему. Сами разработчики в ответ на вопрос, собираются ли они сотрудничать с другими компаниями для создания каких-то совместных проектов, говорят следующее:

Мы очарованы работой программы в её текущем состоянии, и нам нравится то, куда направляется наша разработка. Представьте себе онлайн конференцию League Of Legends, которую ведут её герои; или представьте себе датчики движения, установленные на Oculus Rift, которые позволят управлять эмоциями вашего персонажа с очень высоким качеством проработки, но без каких-то особенных технических проблем. В общем, возможностей очень много, и они восхищают нас и подталкивают к дальнейшей работе.

Помимо всего прочего, кампания по сбору средств преследует цель привлечь дизайнеров персонажей и сцен, которые будут включатся в платные пакеты обновлений программы, а в скором времени будет создано сообщество по поддержке самостоятельной разработки с использованием этого фреймворка.

Планируется выпустить несколько версий программы, среди которых будет версия FaceRig Studio, нацеленная на разработчиков игр и моушен-дизайнеров, где будет возможность работы с другими профессиональными приложениями, такими как Maya и 3DSMax, и использовать разнообразные варианты трекинга по технологии motion capture. Также разработчики собираются реализовать мобильную версию под iOS и Android, но сразу заявляют, что десктопная и мобильная версия будут сильно отличаться.

Нужно заметить, что в комментариях на Indiegogo много слов поддержки от участников Furry Fandom, которым, по понятным причинам, эта разработка пришлась очень по душе 🙂

Если вас заинтересовало это приложение, то вот полезные ссылки:
Официальный сайт FaceRig
Сбор средств на Indiegogo, сейчас еще осталось 40 дней
Канал FaceRig на Youtube

Источник

Технология MashMe позволит «превратиться» в анимированного трёхмерного персонажа с помощью веб-камеры Статьи редакции

Хорватская компания MashMe запустила сбор средств на Kickstarter на одноимённую технологию, с помощью которой пользователи могут общаться и записывать видео, заменив себя на цифровых аватаров, в точности повторяющих движения и мимику. Об этом сообщает Mashable.

MashMe не требует специального оборудования: для её функционирования достаточно обычной веб-камеры. Система автоматически распознаёт движения тела и мимику пользователя, а также по голосу определяет его эмоции.

Все эти показатели в реальном времени отражаются на трёхмерном аватаре, который, как предполагает Mashable, можно будет использовать в видеочатах вроде Skype или Google Hangouts, а также при записи роликов. По мнению создателей, продукт придётся по душе видеоблогерам, которые смогут не только изменить свою внешность до неузнаваемости, но и рассказывать целые истории в виртуальных мирах.

Технология находится в разработке уже два с половиной года, однако на её завершение MashMe понадобились дополнительные средства, поэтому компания разместила свой проект Kickstarter. На момент написания заметки он привлёк чуть больше 7 тысяч долларов из требуемых 50 тысяч, однако до завершения кампании остаётся ещё 33 дня.

Журналист Mashable опробовал MashMe в действии и отметил, что система работает хорошо, но всё же время от времени глючит и ошибается. По словам разработчиков, дополнительные средства будут потрачены на полировку технологии, а также консультации с профессионалами в области анимации и создания видео.

Компания намерена выпустить две версии MashMe: бесплатную — для обычных пользователей, и платную — с «профессиональным» набором инструментов. В обоих случаях разработчики надеются достигнуть максимальной простоты в применении.

У технологии MashMe уже есть конкуренты на рынке — например, программа Faceshift. Она работает только с лицом пользователя, тогда как решение хорватского стартапа захватывает также и движения частей тела.

Источник

3D-аватары: как это работает

Разбираем на примере блогера CodeMiko.

О чём речь

Даже если вы не знаете английский, просто посмотрите этот ролик:

Справа — настоящая девушка, слева — её виртуальный аватар Мико. Мико повторяет все движения и мимику девушки в реальном времени. Если девушка встанет и будет ходить по комнате — аватар сделает то же самое.

Как это работает

Чтобы создать такого персонажа, понадобилось четыре составляющих:

Всё это используется, чтобы проводить развлекательные стримы в «Твиче». Персонаж сидит перед экраном, общается с гостями, треплется о жизни, показывает спецэффекты и принимает донаты.

Что за костюм

На Мико специальный костюм Xsens с датчиками, каждый из которых отвечает за свою часть тела:

Такие же костюмы используют в кино, чтобы создать реалистичных персонажей, которые двигаются так же, как люди. Например, так сделали енота из Стражей галактики:

Эмоции на лице

Чтобы оживить лицо аватара, Мико прикрепила телефон напротив лица и использовала приложение Live Link Face. Приложение обрабатывает мимику, следит за положением глаз и даёт на выходе трёхмерную мультяшную картинку.

Как всё это превращается в 3D-графику

Данные с телефона, камер и костюма отправляются в виртуальную среду на движке Unreal Engine. Внутри происходит всяческое колдунство:

Всё это рендерится на движке в реальном времени и отдаётся в стриминговый сервис «Твич», где трансляцию смотрят люди ради увеселения.

По сути, это полноценная виртуальная видеостудия, собранная на базе движка Unreal Engine. Вот до чего техника дошла:

Зачем это нужно?

Люди это смотрят для развлечения.

С прагматической точки зрения это нужно вот зачем:

В чём сила?

Может показаться, что сила в технологиях: мол, очень крутое техническое решение, вот бы нам тоже построить виртуальную студию. Но на самом деле сила в артистизме «оператора» — девушки, которая стоит за Мико. Она классно отыгрывает своего персонажа и вкладывает много сил в то, чтобы людям было интересно смотреть.

Дело не в технологиях — дело в том, кто ими пользуется.

Что будет дальше?

Скорее всего, мы увидим такое развитие:

Расскажите ещё

Вот ролик, в котором собрано почти всё, что известно об этом проекте. Любопытно, что этот ролик выпустил тоже виртуальный блогер (у него, правда, техническое исполнение намного проще):

Источник

Топ-25 приложений дополненной реальности в 2020 году

Больше статей и новостей о дополненной реальности ищите на нашем канале.

Такое футуристичное понятие как «дополненная реальность» (AR) на самом деле существует уже много лет. AR — это наложение компьютерных изображений поверх реальных, которое создает комплексную картинку и тем самым дополняет реальный мир.

Приложения дополненной реальности могут быть самыми разными: от интерактивных наложений на карты и виртуальных демонстрационных залов до массивных многопользовательских шутеров. В то время как ARCore — это будущее Android (после закрытия Project Tango от Google), приложения ARKit завоевывают операционную систему iOS.

Следуя растущей популярности дополненной реальности, мы составили список лучших AR-приложений, доступных на Android и iOS.

Лучшие мобильные AR-приложения

1. Froggipedia

Быть может это приложение не для самых брезгливых, но Froggipedia определенно послужит отличным учебным пособием тем, кто не одобряет препарирование живых лягушек во имя науки. Froggipedia позволяет исследовать интересный и уникальный жизненный цикл земноводного, начиная от одноклеточного яйца и заканчивая превращением в автономный организм. Приложение также позволяет препарировать лягушку (с помощью Apple Pencil или пальцем) или сделать её прозрачной и внимательно рассмотреть внутреннее строение.

Приложение доступно на iOS.

2. BBC Civilisations AR

Дополненная реальность находит отличное применение в сфере образования, а такие приложения как BBC Civilisations AR прокладывают путь к AR-ориентированному будущему. BBC Civilisations AR даёт пользователям возможность полюбоваться различными историческими артефактами, рассмотреть их с разных сторон и изменить масштаб.

При первом запуске приложения доступно удобное руководство, которое ознакомит пользователя с египетской мумией, её историей и даже позволяет заглянуть внутрь с помощью функции рентгеновских лучей. BBC Civilisations AR содержит более 30 исторических реликвий, которые можно осмотреть, исследовать и запечатлеть на фото. Приложение отлично подойдет тем, кто увлекается историей или хочет заглянуть в музеи будущего.

Приложение доступно на iOS и Android.

3. SketchAR

В каждом из нас есть творческая сторона, но не у каждого есть время часами практиковать рисование от руки. Почему бы немного не сжульничать? Приложение SketchAR это по сути AR-трейсинг. Стоит нарисовать пару кругов на листе бумаги, выбрать эскиз — как приложение спроектирует рисунок на бумагу, позволяя обвести его. Технически это нельзя назвать AR-трейсингом, так как не получится точно обводить линии, однако для практики определенных техник рисования приложение подойдет отлично. SketchAR может показаться немного неудобным — держать телефон в одной руке и рисовать другой не является самой традиционной практикой, однако попробовать стоит. SketchAR работает с небольшими листами бумаги на многих телефонах, поддерживающих ARCore.

Приложение доступно на iOS, Android и Microsoft HoloLens.

4. Mondly

Подойдет тем, кто хочет выучить новый язык, но не может выделить на это время. Приложение предлагает 33 языка для изучения и благодаря ежедневным упражнениям пользователи смогут быстро освоить желаемый навык. Существует VR-версия Mondly для Gear VR со встроенной в приложение AR-технологией. В AR-режиме пользователя попросят найти плоскую поверхность, где будет проецирован AR-преподаватель, который проведет урок, предлагая примеры слов для запоминания. Хоть это и не самое привычное приложение на каждый день, оно несомненно внесёт новизну в процесс изучения языков.

Приложение доступно на iOS и Android.

5. Pokémon Go

Этот список не будет полноценным без упоминания Pokémon Go — игры, которая мгновенно привлекла всеобщее внимание, побудив людей выйти на улицы и ловить покемонов. Игра использует GPS для отметки местоположения и передвижения игрового аватара, в то время как камера используется для отображения покемона в реальном мире. При первом запуске предлагается не так много инструкций или информации об игровой механике (например, о цветных кольцах вокруг покемонов), но благодаря информации в Интернете, понять, что делать, не так уж и сложно.

Игроки Ingress, другого творения Niantic, могут заметить много общего между двумя играми, вплоть до локаций и тренажерных залов покемонов. На сегодняшний день игра получила много обновлений, включая обмен, рейды и битвы в стиле «игрок против игрока». И, конечно же, сотни новых покемонов были добавлены в игру. Компания Niantic намерена продолжать обновления игры и добавлять новые функции, так что можно предположить, что Pokémon Go ещё долго не будет терять популярность.

Приложение доступно на iOS и Android.

6. Ink Hunter

Приложение Ink Hunter пригодится тем, кто планирует сделать татуировку и хочет определиться с её местом расположения. Приложение позволяет опробовать готовые татуировки, а также «примерить» собственные разработки, которые можно разместить на любой части тела. Татуировки, сделанные с помощью Ink Hunter выглядят почти так же как настоящие, а благодаря возможности редактировать эскизы и менять цвет татуировок прямо в приложении, можно получить лучшее представление о том, как будет выглядеть эскиз, прежде чем превратить его в перманентный рисунок.

Приложение доступно на iOS и Android.

7. Star Walk 2 ($2.99)

Наблюдать за звездным небом — потрясающее удовольствие. Но зачастую бывает трудно понять, какое именно созвездие расположилось перед глазами. К счастью, чтобы развеять сомнения, достаточно направить приложение дополненной реальности в небо. Star Walk 2 позволяет узнать, какая звезда, планета или созвездие находится в поле обозрения.

Приложение имеет и другие функции, к примеру, астрономический календарь, расписание восхода и рассвета, и т.д. Иными словами, Star Walk 2 это очень интересное приложение для детей и взрослых, которое адаптируется ко всем уровням астрономических знаний.

Приложение доступно на iOS и Android.

8. Google Переводчик

Google Переводчик не является строго AR-приложением, но одна из его AR-функций делает его невероятно удобным для перевода текста. Речь идет о режиме камеры. Просто сделав снимок текста на иностранном языке, пользователь может увидеть его перевод в реальном времени.

При подключении к WiFi приложение поддерживает перевод множества языков, но пользователи также могут загрузить необходимые им языки и использовать Google Переводчик офлайн. Благодаря этой функции Google Переводчик может стать лучшим другом во время путешествий и не дать потеряться в незнакомой стране.

Приложение доступно на iOS и Android.

9. Amikasa

Amikasa поможет оформить комнату и определиться с желаемой планировкой еще до покупки мебели. Используя камеру на iPhone или iPad, можно с легкостью обойти спальню, кухню, рабочий кабинет или любую другую комнату и разместить 3D модели различных предметов, чтобы увидеть, как они выглядят или определиться с их идеальной расстановкой. Amikasa также даёт возможность использовать мебель и предметы интерьера разных брендов, которые можно приобрести прямо в приложении.

Приложение доступно на iOS.

AR-игры и развлечения

10. Knightfall: AR

Приложение доступно на iOS и Android.

11. Just a Line

Just a Line — это экспериментальный проект от Google, который получился довольно забавным и, несмотря на свою простоту, может послужить отправной точкой потенциала AR. Принцип его таков: откалибровав приложение, вы рисуете любое изображение и, отступив на шаг назад, можете полюбоваться своим творением. Но это еще не всё. Обходя свой рисунок по кругу, вы способны рассмотреть его в 3D-пространстве, более того, по мере передвижения вокруг получившегося рисунка, у вас получится растягивать линии и менять конечный результат.

Приложение доступно на iOS и Android.

12. Ingress Prime

Ingress была первой попыткой Google выйти на AR-рынок и сейчас у игроков есть возможность опробовать обновленную версию Ingress Prime. Это ММО игра, которая делит игроков на два лагеря — Просвещенные и Сопротивление и заставляет их сражаться за контроль над виртуальными территориями.

В распоряжении у игроков имеется экзотическая материя (XM), которая используется для захвата виртуальных порталов. Когда одна из команд захватывает три или более портала, она получает контроль над территорией между этими порталами. Ingress Prime — это всеобъемлющая стратегия, основанная на научной фантастике и поддерживаемая непрерывным открытым повествованием.

Приложение доступно на iOS и Android.

13. Genesis Augmented Reality

Genesis Augmented Reality — это настольная AR-игра, являющаяся одним из самых успешных проектов на Kickstarter. Игра повествует о Рифтлорде, наделённого силой Генезиса, способной положить конец злому влиянию Раркона. Хотя разработчики изначально планировали довольно обширную игру, к сожалению, она не обновлялась с 2018 года. Тем не менее Genesis Augmented Reality предлагает крутой игровой опыт, хотя для этого сначала понадобится принтер, чтобы распечатать AR «якорь», на котором активируется игровой персонаж.

Приложение доступно на Android.

14. Zombies Go

С популярностью сериала «Ходячие мертвецы» многие наверняка задумывались над своими шансами выжить в зомби-апокалипсисе. Игра Zombies Go хоть и не даст точных ответов на этот вопрос, но зато позволит бороться с зомби во время прогулок или даже во время похода за покупками. Название Zombie Go напоминает Pokémon Go и это неспроста. Можно заметить сходства между двумя приложениями, такие как принцип использования телефона для поиска существ и дальнейшего взаимодействиями с ними.

Приложение доступно на iOS.

15. Quiver

Учитывая, что смартфоны больше предназначены для взрослых, чем для подростков, нехватка AR-контента для детей и вовсе неудивительна. К счастью, для детей и родителей, приложение Quiver (ранее известное как ColAR Mix) оживляет 2D-раскраски с помощью анимированных изображений, которые появляются прямо со страниц.

Пользователи могут загрузить один из нескольких бесплатных наборов раскраски на веб-сайте Quiver, каждый из которых включает в себя самые разные рисунки — от огнедышащих драконов и плюшевых мишек до высоких динозавров и диких жеребцов. А после того, как рисунок будет раскрашен, пользователям нужно просто посмотреть на него через камеру смартфона и наблюдать за оживающей раскраской.

Приложение доступно на iOS и Android.

16. Wanna kicks

Wanna kicks — это приложение, созданное специально для фанатов кроссовок, которое позволяет «примерить» виртуальную обувь и рассмотреть её с любого ракурса. Благодаря такой функции пользователи могут проверить, подойдут ли им те или иные кроссовки, не выходя из дома, что определённо делает онлайн-покупки еще удобнее. Приложение также позволяет поделиться «примеркой» с друзьями в соцсетях и в случае необходимости получить одобрение на покупку.

Приложение доступно на iOS и Android.

17. Holo

Holo берёт своё начало с AR-стикеров на Google Pixel и работает по схожему принципу. В приложении можно выбрать персонажей, как вымышленных, так и из реального мира, и перетаскивать в свое непосредственное окружение (этот процесс называется «Holo-Mixing»). Каждый из персонажей, от знаменитостей YouTube до вымышленных персонажей при размещении в реальном мире выполняет набор заданных анимаций и звуков, и может быть уменьшен и увеличен в соответствии с желаемым расположением.

Фактическая реализация и AR-функциональность приложения не лишена ошибок, к примеру, персонажи могут передвигаться вместе с пользователем, вместо того, чтобы позволить перемещаться вокруг них, но тем не менее это уже впечатляющее начинание.

Приложение доступно на iOS и Android.

Другие AR-приложения

18. Google Lens

Google Очки уже в прошлом — будущее за Google Lens — приложением, послужившим полноценной заменой приложению Google Очков. Направив фокус на какой-либо предмет или объект, приложение попытается его распознать. Если распознание прошло успешно, Google Lens предложит места, где можно приобрести данный предмет или его альтернативы или же просто выполнит поиск предмета в Google. Помимо этого приложение может распознавать растения, сохранять телефонные номера и даты, а также предоставлять информацию о ближайших достопримечательностях.

Приложение доступно на iOS и Android.

19. AR Ruler

Одна из самых простых идей использовать технологию дополненной реальности — измерения. Используя способность AR определять, где начинаются и заканчиваются трёхмерные объекты, можно измерить расстояние и легко отобразить его. Однако речь идёт не только о простых прямых измерениях — AR Ruler (она же AR-линейка) также измеряет углы, объём и площадь. Более того, в приложении имеется функция создания плана комнаты по измерениям. AR Ruler может быть не самым идеальным, но тем не менее достаточно полезным приложением, чтобы получить примерные измерения, когда они необходимы.

Приложение доступно на Android.

20. Find Your Car with AR

Ситуация знакомая многим: заканчиваешь покупки, возвращаешься на парковку, а вспомнить или найти место парковки автомобиля не можешь. В такой ситуации на помощь придёт Find Your Car with AR — приложение, разработанное специально для поиска припаркованного автомобиля. После определения местоположения автомобиля приложение создает видимый маркер, показывающий автомобиль, расстояние до него и направление, в котором нужно идти. Find Your Car with AR особо полезно для парковок у таких мест как стадионы, конференц-центры, открытые концертные площадки и другие многолюдные места или места с большим количеством парковочных мест. В добавок, пользователи могут использовать приложение, чтобы найти свои места в больших театрах и концертных залах.

Приложение доступно на iOS.

21. Wanna nails

Wanna Nails позволяет примерить лаки для ногтей перед покупкой, наложив цвета на реальные ногти. В приложении доступны такие бренды как ORLY, CND Vinylux и essie — таким образом пользователи примеряют настоящие лаки для ногтей, а не просто абстрактные цвета.

Wanna Nails отлично распознает ногти, а затем точно наносит цвета в нужном месте. После того как подобран подходящий цвет лака, у пользователей есть возможность сразу перейти на Amazon и заказать продукт.

Приложение доступно на iOS и Android.

22. Snapchat

Когда-то таймер самоуничтожения сообщений в Snapchat пользовался большим успехом среди пользователей, сегодня же приложение расширило возможности, добавив функцию дополненной реальности в виде фильтров, преобразований в реальном времени и спецэффектов, называемых «линзами». Линзы могут преображать пользователей в животных, менять местами лица людей и украшать фотографии и видео cамыми разными забавными дополнениями.

Приложение доступно на iOS и Android.

23. Instagram

После добавления фильтров в стиле Snapchat в собственное приложение, Facebook также перенёс их в Instagram. Функции AR работают как через переднюю, так и на заднюю камеры телефона, а также со всеми режимами фото и видео в Instagram. Пользователи могут примерить различные короны, сыграть в викторины, превратиться в коалу или кролика или выбрать математические уравнения, плавающие вокруг их головы. Более того, пользователи могут создавать собственные фильтры и делиться ими с другими, что пополняет библиотеку фильтров самыми разными и креативными AR-эффектами.

Приложение доступно на iOS и Android.

24. Vuforia Chalk

Vuforia Chalk — это весьма полезное AR-приложение, которое превращает смартфон в мощный инструмент визуальной технической поддержки. После того, как приложение связывает пользователя с другом или техническим гуру посредством видеозвонка, пользователь использует заднюю камеру телефона в качестве видоискателя, чтобы показать, с чем именно нужна помощь.

Затем оба участника видеозвонка могут рисовать на экране «маркером» и оставлять пометки дополненной реальности, которые работают как визуальные аннотации. Они позволяют пользователю без путаницы находить нужные кнопки, циферблаты и элементы управления.

Приложение доступно на iOS и Android.

25. Roar

Roar — это приложение, которое приносит пользу и потребителям, и бизнесу, но прежде всего оно полезно покупателям в их повседневной жизни. Для покупателей Roar — это советник по покупкам в дополненной реальности, который позволяет делать снимки тысяч блюд и напитков и узнавать о них всё необходимое: цены, ингредиенты, отзывы других покупателей и даже рекламных акциях. Ещё одной впечатляющей функцией приложения является возможность сканировать плакат фильма, чтобы быстро купить билеты на предстоящий показ. С новыми обновлениями Roar ожидаются и новые возможности, а также приятные дополнения, такие как музыка, анимация и 3D объекты.

Приложение доступно на iOS и Android.

Технология дополненной реальности медленно, но верно становится частью нашей повседневной жизни. Сегодня существует множество AR-приложений для Android и iOS устройств — от программ для совершения покупок до многопользовательских игр, и этот список только пополняется.

Если вспомнить ранние воплощения технологии, такие как Google Очки, можно заметить, что эти приложения уже заменяются более функциональными версиями. Пользователи могут рассчитывать на новые способы совершать покупки, путешествовать, учиться и оставаться в форме.

Источник