Меню Рубрики

Очки смешанной реальности microsoft hololens

Сегодня в широкие массы продвигается идея VR, благодаря чему рынок быстро наполняется большим количеством недорогих моделей шлемов. С очками дополненной виртуальной реальности дело обстоит совсем иначе.

Вряд ли получится обнаружить в магазинах широкий ассортимент подобных гаджетов, а уж о покупке бюджетного устройства и говорить нечего. Основная причина этого – медленное развитие сферы дополненной реальности.

Все усилия мировых компаний направлены на улучшение и реализацию VR проектов. Но многие забывают о том, что расширенная действительность намного увлекательнее, так как она объединяет между собой реальный и цифровой мир, создавая интересный симбиоз, которому сулит великое будущее.

Ниже будет представлен обзор шлема дополненной реальности Microsoft Hololens. Разберёмся в особенностях новой технологии, её плюсах и минусах.

  • Программное обеспечение: Windows 10;
  • Вес: 579 г (1,28 кг.);
  • Оптика / Дисплей: 2,3 Мп широкоэкранный прозрачный, голографические линзы (волноводы); 2 HD 16: 9 световых движков (соотношение сторон экрана);
  • Голографическая плотность: 2.5k;
  • 12,4-мегапиксельная фотографическая видеокамера;
  • Автоматическая калибровка расстояния между зрачками;
  • Датчики: 1 ИДУ (акселерометр, гироскоп и магнитометр), 4 датчика окружающей среды;
  • Угол обзора: 120 °;
  • Процессоры: Intel 32-разрядные (1 ГГц) с поддержкой TPM 2.0;
  • Память: 2 ГБ ОЗУ;
  • Память: 64 ГБ (флеш-память);
  • Срок службы батареи: 2-3 часа активного использования. До 2 недель в режиме ожидания;
  • Шлем;
  • Инструкция;
  • Чехол;
  • Зарядное устройство и кабель;
  • Салфетка из микрофибры;
  • Верхний ремешок;
  • Подушечки для носа.

HoloLens — это технологическая и программная платформа, разработанная Microsoft с целью предложить новое поколение решений дополненной реальности.

В своем обычном значении дополненная реальность (AU) отличается от виртуальной реальности (VR) тем, что она добавляет один или несколько визуальных, слуховых или жестовых слоев с цифровым наложением на физическую реальность вокруг нас.

Вместо этого VR, по крайней мере, в самых экстремальных вариантах, предназначена для полной замены физической реальности согласованной и самодостаточной искусственной воспринимающейся средой.

Важно! Все оборудование, необходимое для работы HoloLens, встроено в гарнитуру, которая содержит «больше вычислительной мощности, чем средний ноутбук», как с гордостью заявляет Microsoft. Гарнитура не требует ни охлаждающих вентиляторов, ни проводных соединений; это, так сказать, полностью автономный.

По форме и размерам очки похожи на защитную маску, громоздкую, с толстым ободом и широким визором. До габаритов VR от Oculus и HTC не дотягивают, а вот по сравнению с изящными Google Glass — настоящий монстр.

HoloLens в основном состоит из двух колец: более толстого пластикового внешнего, которое содержит начинку, и более тонкого, мягкого внутреннего, которое обволакивает вашу голову. Передняя панель — прозрачная маска из крепкого стекла, за которой стоят главные линзы. Над глазами и по центру визора расположены камеры для создания трёхмерной модели окружения.

Подгонка внутреннего кольца регулируется путем перемещения вперед и назад валика, находящегося на задней части крепления.

Я ношу очки, и я использовал HoloLens с ними. Они не давят мне в лицо и не чувствуются, в отличие от большинства виртуальных гарнитур. У меня также не было тошноты, частое явление с Oculus Rift.

Помогает то, что я все еще могу видеть свое окружение с помощью HoloLens, поэтому я не чувствую себя дезориентированным или клаустрофобным. Если бы только прозрачный экран HoloLens не был таким темным.

В Шлеме чувствую себя очень неловко, так как я не могу быстро повернуться, чтобы увидеть, что-то позади меня. Головной убор также препятствует моему верхнему периферическому зрению, поэтому часть моего зрения затуманена.

HoloLens выглядит и чувствует себя как устройство премиум-класса, что отражено в цене.

Гаджет выглядит так, как будто он принадлежит офису, но он также хорошо сочетается с любой гостиной. Шлем выглядит слишком деликатно, чтобы оставаться чистым и невредимым, скажем, на строительной площадке.

Рекомендуем:

  • Samsung Gear VR SM-R325 – очки виртуальной реальности: свежий взгляд
  • Очки Sony — PlayStation VR и HMZ-T3W: сравнение и обзор
  • Sony Playstation VR: подробный обзор

Если вы знаете, как носить шлемы виртуальной реальности, то использование Microsoft HoloLens проблем не вызовет. Благодаря двум рамкам гаджет сидит на голове крепко, можно подогнать под себя охват и расстояние от глаз.

Вес в 580 грамм ощутим и сильнее смещён вперёд, к визору.

Поэтому слишком долго работать в очках не получится. Большой плюс — отсутствие проводов. Привыкаешь меньше, чем за полчаса. Для массовой версии хотелось бы увидеть меньший вес и стильный дизайн, но для работы красота не нужна.

Microsoft серьезно относится к проекту и делает большие успехи.

Хотя голограммы достаточно резкие, я думаю, что их разрешение около 720p, а качество изображения примерно такое же, как у дешевого ЖК-монитора.Несмотря на это, Microsoft, очевидно, гордится тем, что она создала, и имеет полное право на это. Я никогда не использовал ничего подобного раньше, как и вы.

Даже как концепция, она не имеет аналогов. Гарнитуры виртуальной реальности, такие как Oculus Rift, не могут создавать дополненную реальность, подобную этой, и не имеют равной поддержки для беспроводного использования или навигации.

С другой стороны, такие носимые устройства, как Google Glass, гораздо менее мощные, и в результате их возможности ухудшаются.

Изображения HoloLens, спроецированные на реальный мир вокруг меня, яркие, четкие и реалистичные, хотя и немного нервные. Когда я перемещаюсь вокруг них, голографические формы ведут себя как реальные объекты, поэтому я могу видеть их задние стороны — или не видеть их вообще, если им мешают другие голограммы.

Когда бумажные шарики катятся по полу, они вращаются, как настоящие шарики, подпрыгивая вокруг предметов и выглядя достаточно реальными, чтобы их поднять. Когда я вглядываюсь в подземный мир, который раскрылся на полу, я словно заглядываю, как выразился мой «наставник» HoloLens, в мир, который я не знал, но который был там все время.

Но смотреть на голограммы, нанесенные поверх реального мира, — это только половина всего детища. Контролировать голограммы – это новый уровень.

Как только вы освоитесь, это легко.

Средства управления взглядом HoloLens чувствительны, и любой пользователь может легко освоиться практически сразу.

В то время как голосовое управление работает, существует задержка между голограммой и выполнением ваших команд. Я должен был сказать: «Пусть это катится!» чтобы отправить шары вниз по слайдам, и была вторая долгая пауза, прежде чем они упали. Это не главное, но достаточно, чтобы я почувствовал, что должен повториться.

Сложнее всего справиться с контролем жестов, хотя мой опыт ограничивался лишь одним движением пальца вниз. Потребовалось время, чтобы выяснить, какое расстояние лучше считывается HoloLens, и куда мне положить палец для того, чтобы устройство их обнаружило.

HoloLens использует пространственное аудио, которое выводит опыт на совершенно новый уровень. Во время демонстрации звучала эмбиентная музыка, и шары катились под звук мятой бумаги.

Звук становился все громче, когда я приближался к голограмме, и исчезал, когда я уходил. Это ещё сильнее улучшило взаимодействие виртуальных объектов с реальным миром, сделав его гораздо более захватывающим.

Самая большая проблема с голографическим просмотром HoloLens заключается в том, что поле обзора ограничено размером монитора перед вами — эквивалентно 15 дюймам, мы знаем теперь. Вы можете видеть края виртуального пространства, где живет голограмма (которые в основном являются краями внутренних кадров HoloLens).

Microsoft говорит, что это только начало. Вы не сможете понять, пока вы сами не нажмете кнопку и перед вами не появятся объёмные предметы, которые вы даже не сможете потрогать, хотя они перед вами. Как только вы это сделаете, вы поймете, почему виртуальные очки microsoft hololens могут стать будущим компьютеров.

Для старта очки нужно закрепить на голове с помощью двух рамок, в первый раз желательно попросить кого-нибудь помочь. После включения потребуется зайти в Microsoft Account и откалибровать систему. Это занимает несколько минут. К эргономике и углу обзора привыкаешь за полчаса, не больше. Разобраться с управлением помогает умный помощник Microsoft по имени Кортана. Вариантов управления четыре:

Кнопки. Физические элементы на внешней рамке, которые регулируют громкость и яркость голограмм.

Голос. Основной способ взаимодействия с Кортаной плюс управление голограммами.

Жесты. Камеры распознают движение рук и изменяют виртуальные объекты.

Контроллер. Для отдыха рук вместо жестов можно использовать виртуальную мышку с помощью кликера.

Главная проблема — ограниченный угол обзора и действия камер, из-за чего приходится держать руки практически идеально ровно перед визором.

Основных жестов для рук всего два:

  1. Bloom — раскрытие сжатого кулака, вызывает стартовое меню.
  2. Air Tap — касание пальцем по типу клика мышкой.

С контроллером работать немного удобнее, хотя по функционалу это полный аналог Air Tap.

  • Качественный звук;
  • Беспроводная система;
  • Нет ощущений тошноты;
  • Звёздное качество сборки;
  • Отличное разрешение изображений.
  • Маленькое время беспрерывной работы;
  • Поле зрения нуждается в увеличении;
  • ОС требует доработки;
  • Мало контента;
  • Очень высокая стоимость.

«Классный гаджет! Купил себе для работы, я программист, ну и для развлечений. В обоих планах устройство продемонстрировало себя превосходно. На голове сидит очень удобно. С параметрами глаз после настройки проблем тоже не было. Картинка очень качественная, никаких пикслей или торможений нет и в помине. Когда надел первый раз, не заметил, как прошло 3 часа. Девайс стоит потраченных денег, а сума-то не маленькая. Единственное что, батарея слабовата и было неплохо расширить поле зрения».

«Ожидания от очков у меня были очень завышены. Насмотревшись в детстве фантастических фильмов, где герой кончиками пальцев перемещает проэкции 3D-моделей, я был практически уверен, что это будущее наконец настало. Но на данном этапе реальность не такая красивая, как в фильмах. Я бы не сказал, что HoloLens могут заменить монитор или телевизор, как это было показано на презентациях. Игры в дополненной реальности тоже ограничены характеристиками устройства. А с интерактивными окнами приложений не совсем удобно работать, сказывается как низкое разрешение, так и несовершенство управления. Но не будем забывать, что это только первые шаги, а данная модель очков – это отличная демонстрация возможностей подобной технологии».

Где купить Цена microsoft hololens
https://www.fosterland.ru/cat/276/ 349000 р.
https://www.formula-iq.com/product-page/Microsoft-Hololens 349000 р.
https://vrabbit.ru/product/microsoft-hololens/ 330000 р.
http://virtualnyeochki.ru/dopolnennaya-realnost/microsoft-hololens 350000 р.
https://mygadgetshop.ru/products/ochki-virtualnoj-realnosti-microsoft-hololens 349000 р.

Ни программное обеспечение HoloLens, ни оборудование не идеальны. Но если Microsoft сможет решить эти проблемы, устройство станет достойной современной технологией, которая легко поместится в офисе.

Несмотря на свои недостатки, использование HoloLens было восхитительным. С более надежными приложениями, более надежной функциональностью и улучшенными впечатлениями от просмотра, он может стать полноценным представителем мирового AR.

Честно говоря, HoloLens может изменить то, как мы взаимодействуем с миром. Это возвышенные идеи, и устройство, как есть, пока не достигло ни одной из них, но потенциал есть — и довольно сильный.

Вывод: Очки microsoft hololens — самая захватывающая технология, которую я тестировал за долгое время. Шлем, похоже, обладает неограниченным потенциалом, оправдывает ожидания пользователей. И это всё просто фантастично!

Видео: Обзор Microsoft HoloLens: очки дополненной реальности в действии — гаджеты из будущего — Хололенс

источник

В интернет-магазине Virtuality Club вы можете купить Microsoft HoloLens по самой выгодной цене для Москвы и России. HoloLens — очки дополненной реальности (AR), гарнитура, позволяющая накладывать графику и текст на реальный мир, который вы видите его через линзы аппарата. Это не следует путать с виртуальной реальностью (VR), где все, что вы видите, является созданный миром при помощи 3D графики. Microsoft описывает Hololens, как «устройство смешанной реальности».

*Цена указана для физических лиц. Цену при безналичном расчете уточняйте у менеджеров магазина

Вместе с товаром от Virtuality Club

Бесплатная техническая поддержка и консультация Наш магазин специализируется на продаже сложных технических устройств, и мы прекрасно понимаем, как непросто запустить в работу приобретенное устройство без поддержки технического специалиста, получить удовольствие от покупки здесь и сейчас, без длительных попыток исправить какую-либо возникшую проблему. Приобретая товар в Virtuality Club, вы получаете бесплатную техническую поддержку 7 дней в неделю. Инженеры технической поддержки с удовольствием помогут вам по всем вопросам, связанным с работой приобретенного в нашем магазине оборудования*.
График работы отдела технической поддержки: по будням с 10:00 до 19:00, в выходные с 10:00 до 22:00. Приобретая товар у нас, вы можете быть уверены, что не останетесь один на один с техническими проблемами, если таковые возникнут.

* В область бесплатной технической поддержки входят технические консультации по телефону и электронной почте, связанные с работой оборудования, приобретенного в магазине Virtuality Club. Удаленная настройка оборудования клиента или оборудования, приобретенного в нашем магазине, производится в рамках платных услуг по настройке.

Скидки для лояльных клиентов

Автоматическое участие в ежегодной лотерее «Покупатель 2019» с подарками до 50 000р Мы верим в новогоднее волшебство и любим делать подарки всем, кто, так же как и мы, с трепетным чувством провожает старый год и встречает новый. Мы убеждены, что провожать старый год нужно в отличном настроении, преисполненными чувств радости и благодарности за всё хорошее, что произошло в уходящем году, чтобы новый год был ещё более щедрым на удачу и успех. Именно поэтому в последний день уходящего года мы проводим премию-лотерею новогодних подарков, обладателями которых становятся клиенты нашего магазина. Ведь новый год без подарков, словно зима без снега – странное явление для нашей столицы 🙂

Правила проведения: 1. В лотерее будет разыграно 3 подарка 2. В конкурсе участвуют все заказы, которые были созданы и успешно завершены в 2019 году 3. Каждому заказу присваивается номер, и с помощью генератора случайных чисел 31.12.2019 года в 12:00 по полудню мы определим 3-х счастливчиков. 4. Главный подарок достаётся последнему выигрышному номеру заказа 5. Результаты будут опубликованы в 13:00 в наших социальных сетях, а также мы произведём личное оповещение каждого клиента, чей заказ оказался в списке победителей лотереи.

Подарок за ваше мнение о нас Поделитесь своим мнением о нас на Я.Маркете, и в качестве благодарности мы сделаем вам кэшбек 100 рублей за покупку в нашем магазине.

В интернет-магазине Virtuality Club вы можете купить Microsoft HoloLens по самой выгодной цене для Москвы и России. HoloLens — очки дополненной реальности (AR), гарнитура, позволяющая накладывать графику и текст на реальный мир, который вы видите его через линзы аппарата. Это не следует путать с виртуальной реальностью (VR), где все, что вы видите, является созданный миром при помощи 3D графики. Microsoft описывает Hololens, как «устройство смешанной реальности».

Очки Майкрософт HoloLens являются «голографическим компьютером», управляемым с помощью голоса, рук и беспроводного контроллера. Гарнитура включает в себя 4 камеры, которые также отвечают за захват движений рук, так что компьютер знает все что вы смотрите. Разработчики сообщили, что угол обзора будет 120 градусов. Очки дополненной реальности являются частью ОС Windows 10. Как и в других гарнитурах виртуальной реальности, HoloLens включает в себя экран, который находится перед глазами. Прозрачный экран накладывает изображение на объекты, расположенные в реальном пространстве, тем самым создавая трёхмерные голограммы объектов, которые существую в пространстве только для пользователя гарнитуры HoloLens и дополняют реальность новой информацией в соответствии со встроенными программами.

источник

В то время как виртуальная реальность постепенно прокладывает себе дорогу в жизнь (VR-шлемы вроде HTC Vive и Oculus Rift, не говоря уже о сотнях различных вариаций Google Cardboard, продаются достаточно давно и уже успели собрать свою группу энтузиастов), дополненная и смешанная реальности все еще остаются скорее в стадии экспериментов. Google Glass был закрыт 2 года назад, а другие подобные проекты по большей части все еще «варятся в собственном соку» и за пределами своей ниши практически неизвестны — в итоге, например, самым громким проектом, использующим смешанную реальность, стала… игра Pokémon Go.

На этом фоне Microsoft HoloLens – коммерческий продукт, доступный любому покупателю (готовому выложить за него немаленькую сумму) — выглядит особенно необычно. Поэтому, когда мне представилась возможность лично потрогать «голографическую Windows 10», я ей с готовностью воспользовался.

HoloLens существует в двух версиях — более дорогой Commercial Suite, ориентированный на конечных потребителей, и предназначенный для разработчиков Development Edition, который стоит почти вдвое дешевле ($3000 против $5000). В мои руки попала вторая версия (которая, впрочем, ни по характеристикам, ни по внешнему виду от первой ничем не отличается).

Пожалуй, сразу стоит прояснить ситуацию с терминологией, чтобы в дальнейшем не возникало путаницы. «Дополненная реальность» — это технология, в которой поверх изображения реального мира накладывается слой с дополнительной информацией, никак не привязанной к реальным объектам. «Смешанная реальность» — технология, добавляющая в изображение реального мира виртуальные предметы, которые по мере сил и возможностей технологии взаимодействуют с окружающей действительностью. Таким образом, смартфон, снимающий на камеру вашу комнату и добавляющий на стол рядом с монитором виртуального котенка (которого вы можете обойти вокруг и рассмотреть со всех сторон), демонстрирует «смешанную» реальность. А концептуальное лобовое стекло автомобиля, на котором водитель видит текущую скорость, карту и температуру асфальта — показывает реальность «дополненную». И в Microsoft HoloLens используется именно смешанная реальность — этим они отличаются от Google Glass, которые являлись очками дополненной реальности.

Читайте также:  Очки в цветной оправе с диоптрией

В отличие от все тех же Google Glass, которые были максимально тонкими, легкими и действительно выглядели как хайтековские очки, Microsoft HoloLens скорее напоминает компактный VR-шлем. Это такой себе обруч, надевающийся на голову и фиксирующийся на ней сверху небольшим ремешком, а передняя часть с дисплеями и прочей начинкой прикрыта полупрозрачным пластиком, из-за чего она начинает выглядеть как фрагмент какого-нибудь мотоциклетного шлема. Конструкция не очень легкая (почти 600 г), сидит достаточно комфортно благодаря мягким подкладкам на внутренней поверхности, однако настроить HoloLens под свою голову — задача не одной-двух секунд. Для обычных очков внутри места мало — компактные модели поместятся, хотя и с трудом, но более крупные или «размашистые» очки в HoloLens, скорее всего, не влезут. Естественно, такую конструкцию не получится носить на постоянной основе — довольно серьезные, как для носимой электроники, габариты и масса заставляют снимать очки сразу после окончания сеанса работы.

Впрочем, у таких размеров есть одно простое оправдание: Microsoft HoloLens полностью самодостаточны и не требуют подключения к компьютеру. По сути, они сами и являются компьютером, работающим на базе Windows 10 IoT, а внутри, кроме CPU/GPU от Intel, находится также HPU (Holographic Processing Unit) собственной разработки, предназначенный для обработки данных с сенсоров («оцифровывание» окружающего пространства, распознавание жестов и т.д.). Плюс 2 ГБ ОЗУ и 64 ГБ внутренней памяти, на которую устанавливаются приложения из местного Windows Store. Очки полностью беспроводные, от аккумулятора работают, по разным данным, от «три часа под тяжелой нагрузкой» (официальная информация Microsoft) и до «5 часов в обычном режиме» (слова владельца HoloLens). Заряжаются они через micro-USB, при этом остаются полностью работоспособными — разве что превращаются в «проводные».

В отличие от VR-шлемов, где вам показывают изображение на экранах, расположенных прямо перед вашим носом, в Microsoft HoloLens вы смотрите на реальный мир своими глазами сквозь два прозрачных стекла, на которые выводится голографическое изображение. Так что никакой тошноты или головокружения, связанных с недостаточно качественной прорисовкой мира или несоответствием того, что видят глаза, с тем, что ощущает тело (обычное дело для VR), здесь нет и близко. Но есть у такого решения и недостаток — объекты из смешанной реальности видны не во всей области зрения, а только в сравнительно небольшом прямоугольнике посередине (в зависимости от расстояния от глаз до линз он может быть больше или меньше, ощущается примерно как 60-дюймовый экран с расстояния в пару-тройку метров). Поначалу это довольно сильно смущает — когда посреди обычного мира появляется такое себе пятно, выхватывающее из ниоткуда невидимые предметы, однако довольно быстро привыкаешь, и при взаимодействии с виртуальными объектами зрение становится «туннельным» — ты полностью сосредотачиваешься на том, что происходит по центру, не обращая внимания на находящееся на периферии. Еще одно неудобство конструкции — перекрытие обзора сверху, что заставляет довольно сильно задирать голову, если нужно посмотреть наверх. Виртуальные объекты («голограммы») выглядят достаточно материальными — изображение насыщенное, с яркими цветами, непрозрачные предметы действительно непрозрачны, так что ощущения, что ты смотришь на обычный мир сквозь полупрозрачный экран, не возникает.

HoloLens оснащены пятью камерами (две пары обычных над глазами и одна — камера глубины — по центру), сканирующими пространство, и на основании этих данных очки строят трехмерную модель окружающей вас обстановки. В ней можно свободно ходить и расставлять виртуальные объекты на реальные столы, вешать окна приложений на стены и т.д. Таким образом, HoloLens для отслеживания положения в пространстве не использует внешние датчики, а значит, пользователь не ограничен небольшой зоной, в которой эти самые датчики работают. Более того, благодаря привязке к местности по GPS вы можете «обустроить» свое виртуальное место, уехать с очками в другой город, потом вернуться обратно — и найти все предметы на своих местах.

Управлять смешанной реальностью можно рукой (захватывая пальцами объекты), но долго так не «подирижируешь» — через несколько минут рука начинает банально уставать. Поэтому для более простого управления используется миниатюрная гироскопическая мышь с одной-единственной кнопкой («кликер»), подключаемая по Bluetooth (точно так же можно подключить и обычную беспроводную клавиатуру, если не хочется набирать текст, тыкая пальцем в виртуальную). Единственное, что нельзя сделать с помощью кликера — вызвать основное меню; для этого необходимо «внести» в поле зрения камер кулак и раскрыть ладонь (жест, отдаленно напоминающий раскрытие цветка) — после этого по центру появится квадрат, наполненный плитками приложений. Он выводится поверх всего изображения, поэтому, в отличие от остальных объектов, главное меню висит в воздухе и медленно «дрейфует» вслед за поворотом головы. Ну и, поскольку в качестве операционной системы в HoloLens используется Windows 10, очки поддерживают голосовое управление через виртуальную помощницу Кортану.

Управление, честно говоря, не очень напоминает Minority Report, и жесты руками (может, с непривычки) у меня получались через раз — гораздо проще было проделывать все операции с помощью мыши-кликера (в центре взгляда находится точка, которую нужно направить на требуемый элемент и нажать кнопку-подтверждение). У кликера отслеживается изменение положения в пространстве, поэтому для скроллирования страницы в браузере или растягивания окна достаточно зажать его кнопку и переместить его вверх/вниз или в сторону.

Для быстрой демонстрации возможностей HoloLens обычно используются различные игрушки вроде хомяка в колесе или окна приложений (браузер, видеоплеер, диаграммы и т.д.), прикрепляемые к стенам. В очки встроены миниатюрные динамики (находятся в оранжевых полосках в нижней части «дуги»), и издаваемые виртуальными объектами звуки прекрасно позиционируются и меняют свое положение при вашем перемещении в пространстве.

Вместо итогов
При быстром знакомстве Microsoft HoloLens производит впечатление просто интересного и необычного гаджета для игр со смешанной реальностью (стоимостью в несколько тысяч долларов) — кроме самых базовых демо, в Store можно найти различные развлекательные приложения и игры вроде Young Conker (похождения сумасшедшей белки), Galaxy Explorer (трехмерная модель галактики), Holo Measure (инструмент для измерения расстояний, площадей и объемов у предметов в реальном мире) и т.п. Другими словами, как минимум на данный момент для обычного домашнего пользователя покупка Microsoft HoloLens не представляет особого смысла — даже если бы он стоил в несколько раз дешевле. Однако в бизнесе или образовании для него уже сейчас можно найти практическое применение, и здесь уже все ограничено лишь фантазией клиента. Дизайн интерьера нового дома, прогулка по виртуальному автосалону (к слову, Volvo уже сотрудничает с Microsoft в этом плане), изучение студентами строения человеческого тела, прототипирование новых устройств и т.д. — причем со снижением стоимости и улучшением технологии (в первую очередь — уменьшение размеров очков и увеличение угла обзора) сфера применения у HoloLens будет только расширяться.

источник

Директор по инновациям компании Game Insight Андрей Ивашенцев подготовил для рубрики «Рынок игр» описание функций шлема Microsoft HoloLens, рассказал об опыте его использования и разнице между виртуальной и смешанной реальностью.

Microsoft HoloLens — первый шлем смешанной реальности (Mixed Reality) и первый продукт Microsoft, работающий в операционной системе Windows 10 и подсистеме Windows Holographic.

Сейчас устройство доступно по цене в $3000 за Development Edition исключительно для разработчиков в США и Канаде в рамках программы предзаказов, отгрузка по которым началась только в апреле и которые уже распроданы на полгода-год вперед. Нам в Game Insight удалось достать устройство и даже привезти его в Россию одними из первых. Ну а так как HoloLens — самый что ни на есть инновационный продукт, разбираться с ним выпало мне.

Разработка HoloLens предположительно была начата в Microsoft Research и потом была продолжена в ANALOG — команде, изначально сформированной внутри группы Xbox и состоящей преимущественно из инженеров, работавших над Kinect. Разработка ведется уже более семи лет, и ее удалось сохранить в секрете до момента релиза, что в современном мире большая редкость.

В отличие от большинства девайсов на рынке, это автономное устройство на Windows, которое работает от батареи около пяти часов (в зависимости от нагрузки). HoloLens не требует подключения к компьютеру через кабель, а все вычисления производятся на самом устройстве с помощью CPU и GPU.

Работа со всеми сенсорами осуществляется при помощи встроенного чипа HPU (Holographic Processing Unit), который был разработан специально для HoloLens и служит для обработки информации на аппаратном уровне. Это уникальный в своем роде чип, позволяющий обрабатывать гигабайты пространственных данных, по сути, на мобильном устройстве.

К примеру, Kinect 2.0 с помощью двух своих камер и сенсора создает такое количество RAW-данных, что шина USB 3.0 с трудом успевает передавать их на ПК в реальном времени, а их потом еще нужно обработать. А теперь представьте, что HoloLens содержит в три раза больше сенсоров, часть из которых отвечает за позиционирование в пространстве, часть — за контроль положения головы, а часть — за позиционирование голограмм.

Смешанная реальность и голограммы в концепции Microsoft позволяют дополнить пространство вокруг нас трехмерными объектами, которые могут не просто «болтаться в воздухе», как в обычном варианте дополненной реальности, а органично вписываться в интерьер и взаимодействовать с ним. HoloLens имеет очень высокую точность позиционирования и учитывает особенности человеческого восприятия комбинации из реальных объектов и изображения на дисплеях. Именно благодаря этому голограммы выглядят такими стабильными.

Проще говоря, когда перед вами голограмма земного шара, она не просто висит в воздухе, а привязана к какой-либо поверхности, и вы можете спокойно обойти ее, рассмотреть со всех сторон, а также повертеть в разных плоскостях — на то она и голограмма.

Две ключевые технологии, которые позволяют обеспечить максимальную реалистичность взаимодействия с голограммами, — Spatial Audio и Spatial Mapping.

Spatial Audio — интеллектуальное позиционирование источников звука в пространстве для создания эффекта присутствия. Если в одном углу вашей комнаты находится виртуальная собака, то ее лай будет доноситься именно из этого угла, а не просто звучать вокруг пользователя. Открытый формат реализации динамиков позволяет создать этот эффект без ущерба для окружающей реальности: помимо собаки вы спокойно будете слышать человека, который говорит вам что-то из другого угла той же комнаты.

Spatial Mapping — технология пространственного сканирования, аналогичная Surface reconstruction. HoloLens сканирует окружение и преобразует реальные поверхности вокруг себя в совокупность треугольников (мэши), обеспечивая возможность виртуальным объектам взаимодействовать с ними. Происходит своеобразное 3D-сканирование пространства, а виртуальная модель помещения сохраняется в памяти устройства и впоследствии используется в логике работы приложений.

Комплект доставляется в большой коробке, в которую упакованы две коробки поменьше: в одной находится HoloLens в футляре, а в другой — кликер. В переносном защитном футляре, повторяющем форму девайса, находится зарядное устройство, салфетка для протирки стекол, а также несколько сменных элементов.

Само устройство состоит из двух основных деталей — рамки и визора. Рамка имеет механизм регулировки и настраивается под каждого пользователя с помощью специального колесика. У визора есть запас хода относительно рамки, он настраивается на уровне глаз человека.

На боковых частях визора размещены стереодинамики, передающие звук в режиме 3D, обеспечивая достоверную передачу звуков от голограмм, находящихся в пространстве вокруг пользователя. Это называется Spatial Sound, и об этом я рассказал раньше.

В передней части визора находятся оптические и инфракрасные камеры, различные оптические сенсоры и датчики освещенности.

В задней части — кнопка питания и индикатор заряда батареи, порт для подключения зарядного устройства (microUSB), а также разъем для наушников.

Проекционные экраны визора выполнены на базе технологии волноводной оптики — она считается одним из самых современных способов визуализации изображения с сохранением прозрачности поверхности.

Для начала работы с устройством его нужно правильно закрепить на голове, а потом включить кнопкой на торце визора. При первом включении необходимо авторизоваться с помощью Microsoft Account и провести калибровку визора в соответствии с персональными характеристиками.

В течение всего процесса настройки вам помогает виртуальный помощник Cortana, который учит пользоваться жестами и рассказывает о возможностях устройства. Стандартных жеста два: это Air Tap — виртуальное касание пальцем, имитирующее клик, и Bloom — раскрытие ладони, вызывающее Start-меню.

После инициализации перед нами появляется стандартное Start-меню с тайлами, почти такое же, как в обычной Windows. Из меню можно запускать приложения, управлять настройками и выполнять все стандартные базовые действия.

Приложения для устройства скачиваются и ставятся из Microsoft Store, специально адаптированного под HoloLens. Пока приложений под Holo не очень много, большинство из них разработано в Microsoft Studios для демонстрации возможностей устройства.

Несмотря на ограниченный набор нативных приложений, большинство универсальных (UWP) приложений и игр от Windows 10 тоже спокойно запускаются и работает в оконном режиме. Для удобной работы, разумеется, потребуются мышка и клавиатура (или геймпад), но это совершенно не влияет на опыт использования.

На сегодняшний день HoloLens позиционируется в основном как устройство для корпоративной разработки с участием глобальных партнеров типа NASA, Volvo, Disney и Universal. Соответственно, корпоративные клиенты — первая целевая аудитория HoloLens, за которой потенциально последует запуск устройства в розничные каналы.

Из заметных ограничений — достаточно скромный угол обзора: порядка 30−37 градусов. Об этом пункте уже много написано, и он обсуждается как ключевой в списке необходимых доработок HoloLens. Но если провести в шлеме некоторое время, угол обзора перестает создавать дискомфорт: это сравнимо с адаптацией к горнолыжной маске или плавательным очкам.

Во многом это зависит не только от технологических ограничений волноводной оптики, но и от особенностей человеческого глаза, его фокусировки, периферийного зрения и того, как наш мозг воспринимает визуальную информацию. К счастью, прогресс не стоит на месте, поэтому хочется верить, что в следующих версиях устройства угол обзора станет больше.

Многим в игровой индустрии интересно, что же случится с рынком, когда на нем появится HoloLens. Запуск устройства на массовый сегмент рынка запланирован только через несколько лет, поэтому делать прогнозы с текущей динамикой — дело неблагодарное.

Если посмотреть на рынок сегодня, то мы увидим, как VR шагает по планете и как многомиллионные бюджеты тратятся на битву за умы игроков (как на ПК, так и на мобильных платформах). Мы в Game Insight постоянно изучаем новые технологии, пробуем разные девайсы и стараемся оценить перспективность тех или иных подходов.

Мобильная VR старается приблизиться по возможностям и производительности к стационарной VR, что видно, к примеру, из анонса платформы Google DayDream. Стационарная VR, наоборот, пытается добавить себе мобильности и уместить полноценный мощный игровой ПК в форм-фактор рюкзака.

При работе с голограммами, в отличие от работы с VR, требуется держать в голове тот факт, что игрок должен взаимодействовать с окружающим миром и динамически подстраивать игру под среду. Немного легче будет тем, у кого есть опыт процедурной генерации ландшафтов и игровых сценариев. Все это существенно сложнее, чем просто нарисовать сцену в Unity, повесить туда VR-камеру и начать играть.

Несмотря на эти сложности, платформа дает безграничные возможности для полета фантазии. Можно строить огромные миры прямо на своем журнальном столике, прорубать окна в новые неизведанные миры прямо в собственной гостиной, объединять несколько устройств по сети и играть в голографические игры в режиме мультиплеера, да и мало ли что еще.

В поисках ответа на этот вопрос стоит обозначить разницу между VR (Virtual Reality), AR (Augmented Reality) и MX\Holograms (Mixed Reality).

Виртуальная реальность (VR) называется виртуальной именно потому, что она синтезирована и полностью подменяет нашу реальность той сценой, в которую нас хотел поместить автор игры или приложения. Мы надеваем шлем и отключаемся от реальности.

Дополненная реальность (AR) — проекция двухмерных или трехмерных объектов перед глазами пользователя, в большинстве случаев без привязки к окружающему миру или с привязкой через специальные маркеры. Простейшие варианты дополненной реальности мы можем видеть даже при съемке на смартфон, когда умная программа камеры автоматически определяет и обводит квадратиками лица людей. Самым понятный пример очков в данном случае — Google Glass, который не очень «выстрелил» на рынке.

Читайте также:  Средство для очищения линз очков

Смешанная реальность, или голограммы (MR), комбинирует два этих подхода и привязывает виртуальные объекты к реальному пространству. Кто-то называет это дополненной виртуальностью, кто-то — смешанной реальностью, а Microsoft использует термин Holograms. Google идет похожим путем с проектом Google Tango, однако с немного другим списком целевых сценариев и форм-фактором устройств.

Билл Гейтс в рамках своего спецпроекта на Reddit написал на эту тему: VR is the extreme case of AR when nothing from the real world gets mixed in. Это достаточно логично, если представить, что мы подменяем вашу гостиную любой другой виртуальной комнатой, оставляя все виртуальные объекты (голограммы) на тех же самых местах, но запускаем ее на шлеме типа Oculus Rift или Vive.

Следуя этому принципу, буквально неделю или две назад Microsoft анонсировала доступность платформы Microsoft Holographic для всех типов VR-, AR- и MR-устройств, предоставив пользователям самых разных шлемов возможность взаимодействовать друг с другом в виртуальной среде.

Однозначного выбора сделать не получится: правда всегда будет где-то посередине. Через 7−10 лет нас всех ждет безумно интересное и технологичное будущее, которое мы раньше видели в фантастических фильмах. Забавно, насколько это избитая фраза и насколько иначе я стал ее воспринимать, впервые примерив HoloLens.

источник


Источник: Microsoft

Очки смешанной реальности HoloLens 2 поступили в продажу 7 ноября. Microsoft рассказала о старте продаж в корпоративном блоге. Розничная цена очков — $3500 за штуку. Microsoft считает бизнес целевой аудиторией HoloLens 2 с такой ценой.

Microsoft впервые продемонстрировала проект HoloLens в 2010 году, а в 2016 году устройство поступило в продажу по цене 3000 долларов. HoloLens — это обруч, в который вмонтированы тонированные линзы с волнообразной призматической структурой. Линзы преломляют изображения с боковых микродисплеев и проецируют их в глаза пользователю.

У HoloLens 2 нет кардинальных отличий от первой версии. У нового образца больший (52º по сравнению с 34º) диагональный угол обзора с разрешением 47 пикселя на градус на дисплее MEMS. В HoloLens 2 стоит система на кристалле Qualcomm Snapdragon 850 и обновленная версия голографического процессора Holographic Processing Unit (HPU). HPU в первой версии HoloLens состоял из 28 сигнальных процессоров Tensilica и отвечал за обработку данных со всех сенсоров, пространственное сканирование, распознавание жестов и речи. Обновленный HPU быстрее предшественника и обладает большей пропускной способностью DRAM.

HoloLens 2 оснащен четырьмя камерами для сканирования внешней среды, двумя инфракрасными камерами, следящими за движением глаз, встроенным динамиком, микрофоном, 4 ГБ оперативной памяти, накопителем на 64 ГБ, чипом Wi-Fi и Bluetooth. От одного заряда HoloLens 2 работает 2-3 часа. Обновленное устройство получилось легче первых HoloLens — 566 граммов.

Microsoft показала три иллюстрации применения HoloLens 2 на рабочем месте. В первом строительная компания Bentley Systems использует HoloLens 2 как носитель собственной платформы 4D-моделирования Synchro. Показано, как строители стадиона в Роттердаме проецируют готовый вид здания на еще строящийся каркас и оценивают расположение стадиона среди остальных домов на 3D-модели, нарисованной прямо на обычном офисном столе.

Vuforia Studio компании PTC — ещё один продукт для HoloLens 2. С Vuforia инженеры проецируют трехмерные полноразмерные схемы промышленного оборудования прямо в цехах. Третий пример использования HoloLens — применение во время хирургических операций. С помощью платформы Azurion от Phillips врачи в HoloLens 2 могут выводить информацию о пациенте перед своими глазами: рентгенограмму, результаты УЗИ или других исследований.

Среди будущих пользователей HoloLens 2 Microsoft указывает Bosch, Siemens, Pearson и Upskill. Кроме того, свое приложение под HoloLens 2 может написать любой желающий, не покупая очков — Microsoft выпустила для этого среду HoloLens 2 Emulator.

Доступно три варианта приобретения Holo Lens 2. Шлем сам по себе, без дополнительного ПО обойдется покупателю в $3500. Holo Lens 2 с Dynamics 365 Remote Assist будет стоить $125 в месяц за каждого пользователя. Пакет с триал-версией плагина Unity Pro & PiXYZ (утилита для импорта из CAD и BIM) и $500 на счет в облаке Azure будет стоить те же $3500 или $99 в месяц. При этом у последнего варианта, названного Development Edition, нет лицензии для коммерческого использования.

В мае 2019 года второе поколение своего варианта очков дополненной реальности представила Google. Glass Enterprise Edition 2 на треть дешевле свой первой версии ($999), оснащена процессором Qualcomm Snapdragon XR1 с выделенным блоком для аппаратного ускорения нейросетевых алгоритмов и может выводить изображение разрешения 4К с частотой 60 Гц.

источник

Компания Microsoft представила гарнитуру смешанной реальности нового поколения HoloLens 2, которая будет конкурировать с Magic Leap One. Компания заявляет, что устройство станет более качественным, удобным и обеспечит лучшие в отрасли возможности уже из коробки. HoloLens 2 имеет более чем удвоенное поле зрения по сравнению с предшественником, сохраняя при этом ту же плотность — 47 пикселей на градус зрения.

Microsoft не сообщает особых технических подробностей, но говорит, что изменение эквивалентно переходу с телевизора с разрешением 720p на 2K для каждого глаза. Гарнитура сможет отслеживать направление взгляда пользователя, чтобы точнее понимать, куда смотрит человек в виртуальном пространстве. Будет поддерживаться технология идентификации Windows Hello, очевидно, по роговице глаза.

HoloLens 2 получила новый датчик глубины time-of-flight в сочетании с некоторыми алгоритмами на основе машинного обучения для отслеживания жестов рук в трёхмерном пространстве без каких-либо контроллеров. Во время демонстрации в прямом эфире один из сотрудников Microsoft запускал в 3D-пространстве различные приложения, в том числе виртуальное пианино и приложение Microsoft Teams (аналог Slack и Facebook Workplace от программного гиганта). При этом он мог нажимать кнопки и другие элементы интерфейса в воздухе пальцами.

Выпуская HoloLens 2, Microsoft по-прежнему нацелена на корпоративных клиентов. На презентации во время Mobile World Congress компания потратила немало времени на объяснение полезности устройства уже в текущем виде для крупного бизнеса. Корпорация работает с рядом отраслевых партнёров, включая Airbus, Bosch, Honeywell, Pearson, Philips и Saab, над выпуском программного обеспечения для пользователей HoloLens 2. Microsoft также пообещала, что приложение Spatial сделает возможным настоящую удалённую совместную работу. Соучредитель и исполнительный директор Spatial Ананд Агаравала (Anand Agarawala) продемонстрировал виртуальную доску, где несколько человек могли общаться и обмениваться идеями.

Кроме того, Microsoft позволит компаниям вносить в HoloLens 2 некоторые конструктивные изменения в случае выпуска значительного количества специализированных гарнитур. Например, Trimble, владелец пакета 3D-моделирования SketchUp, изменил гарнитуру, чтобы её можно было носить как каску на строительных площадках и в других потенциально опасных местах. Эта версия будет называться Trimble XR10 и выйдет вместе с обычной версией HoloLens 2 в конце года. Microsoft заявила, что будет работать с компаниями и со временем выпустит другие варианты исполнения гарнитур.

Оригинальные очки HoloLens были выпущены в марте 2016 года — устройство обладало уникальными возможности, а ранние демонстрации, включающие настольную версию Minecraft, указывали на широкий потенциал платформы на потребительском рынке. Однако первая гарнитура предназначалась разработчикам и никогда не позиционировалась для широкой аудитории, да и цена в $3000 была слишком высока для большинства. К тому же возможности гарнитуры ограничивались относительно узким полем зрения.

К сожалению, запуск новой версии HoloLens 2, при всех её плюсах, не только не привёл к снижению цены, но и повысил её. Гарнитура выйдет в конце года и будет продаваться за $3500 или за $125 в рамках ежемесячной подписки, включающей Dynamics 365 Remote Assist (ПО, помогающее техническим специалистам диагностировать проблемы удалённо). Microsoft подтвердила, что очки поступят в продажу пока только на рынки США, Японии, Китая, Германии, Канады, Великобритании, Ирландии, Франции, Австралии и Новой Зеландии.

С 2016 года многое изменилось. Microsoft выпустила более массовую платформу Mixed Reality, объединяющую возможности VR и AR (впрочем, пока она всё же касается развития шлемов виртуальной реальности). Стартап Magic Leap тоже выпустил раннее издание Creator Edition собственной гарнитуры One для разработчиков стоимостью $2295.

Как и оригинальная HoloLens, новая гарнитура явно предназначена для узкоспециализированного применения в бизнесе и для разработчиков, чтобы эксперименты и разработка приложений продолжалась. Но на данный момент, естественно, ключевой и самой динамично развивающейся платформой дополненной реальности остаются смартфоны, которые есть в кармане у каждого. Вряд ли ориентированная на корпоративный сектор HoloLens 2 это изменит.

источник

By Дженнифер Лэнгстон 26 February, 2019

Челси Поттс очень хотела проявить себя с наилучшей стороны, когда она в первый раз оказалась в кабине грузовика Kenworth после работы на производственной линии.

«Когда вам поручают работу с Kenworth, ваша зарплата увеличивается примерно в два раза. Как вы понимаете, это заставляет понервничать, – говорит она. – У меня двое детей – одному 5 лет, другому 10 месяцев, и мой самый большой страх в жизни – остаться без работы».

Ее новая работа заключается в отделке интерьера кабин грузовиков со спальными местами, и это предусматривает сложную последовательность действий, которую непросто сразу запомнить. Чтобы прочитать учебное пособие или свериться с экраном, сотрудникам, имеющим дело с различными инструментами на сложном производстве, приходится отвлекаться от работы.

И это не единственный минус бумажных инструкций. Мало кто может быстро сориентироваться в описаниях и соотнести их с реальными объектами. Новички часто боятся задавать вопросы, чтобы не замедлять производство. Даже когда Челси смотрела, как кто-то другой устанавливает в кабине кровать, в которой потом будут спать дальнобойщики, ей было сложно уследить за тем, что именно делают рабочие, или понять, где расположены отверстия для шурупов.

Сегодня Microsoft представляет HoloLens 2, следующее поколение носимых голографических компьютеров со встроенным пакетом новых функций смешанной реальности, готовыми приложениями для бизнеса и сенсорами, которые могут воспринимать и предсказывать окружающий мир.

По словам Челси, именно такое устройство ей хотелось бы иметь, когда она только училась оборудовать кабины грузовиков и потратила на это немало нервов.

«Если бы у меня была такая вещь, когда я училась, я бы меньше переживала, – говорит она. – С ней ты видишь, где нужно применять какие инструменты, как они поворачиваются, а также пространство, которое обычно не видно. Шаг за шагом программа обучает тебя производственному процессу в любой удобной последовательности».

Челси Поттс работает на линии сборки грузовиков Kenworth. Фото: Microsoft.

PACCAR, компания, в которой она работает, является мировым лидером в сфере проектирования и производства грузовых автомобилей. Она стала одной из первых фирм, протестировавших Dynamics 365 Guides, новое приложение с использованием смешанной реальности, которое сегодня стало доступно пользователям Microsoft. Оно позволяет компаниям легко создавать обучающие материалы для работников, при использовании которых им не придется листать книги или постоянно пользоваться поиском для того, чтобы найти нужную информацию.

Кроме того, сегодня Microsoft представляет новое устройство Azure Kinect, с помощью которого разработчики смогут создавать новые решения на базе ИИ. Azure Kinect сочетает ту же камеру с датчиком глубины, что и в HoloLens 2, с кольцевой системой микрофонов и камерой для цветной съемки, поддерживая работу с сервисами ИИ в Microsoft Azure. Оно позволяет разработчикам создавать новые возможности для восприятия реальности – например, понять, что пила работает в опасном положении, по звуку, который она издает, или научить роботов определять расстояние при упаковке грузов, или узнать, какой именно товар был взят с магазинной полки.

Эти новые технологии основаны на интеллектуальных сервисах, которые могут выполнять вычисления там, где это нужно, как внутри самого устройства – чтобы оно могло быстро обнаружить опасность – так и в облаке, где практически неограниченные вычислительные ресурсы помогают решать самые сложные проблемы. По словам представителей Microsoft, это и есть концепция «умных» устройств и «умного» облака в действии, которая теперь стала реальностью.

Кроме того, эти инструменты восприятия окружения и смешанной реальности облегчат внедрение в компаниях совершенно новой волны вычислительной техники, которая служит связующим звеном между цифровым и реальным мирами. Это стало возможным только благодаря недавним достижениям в сфере «умного» облака и «умных» устройств, в результате которых множество все более активно взаимодействующих друг с другом датчиков и устройств появляются повсюду, от бытовой техники и складских помещений до HoloLens 2, позволяя в реальном времени анализировать окружающую обстановку.

«Мы достигли стадии развития, при которой эта технология начала решать реальные проблемы. Сейчас вы действительно можете оценить, что представляет из себя эта новая волна в вычислительной сфере и как именно она способна помочь бизнесу, и я в восторге от этого», – отмечает Джулия Уайт, вице-президент Microsoft по маркетингу Azure.

До сих пор большинство людей взаимодействовали с вычислительными устройствами через плоские дисплеи: ноутбук, монитор компьютера, телефон, планшет, видеоигры на телеэкране. Решения с использованием смешанной реальности, которые предлагает Microsoft, позволяют отказаться от восприятия цифровой информации с прямоугольных экранов и дают людям возможность работать с голограммами в реальном мире. Они могут существовать независимо друг от друга, например, в виде трехмерного изображения человеческого сердца, которое студенты-медики могут захватить, изменить его размер или повернуть в любом направлении, чтобы лучше рассмотреть все детали. Или они могут соотноситься с физическими объектами в реальном мире, например, в виде инструкций по замене фильтра в котле, наложенных непосредственно на этот котел.

По словам представителей Microsoft, новые очки HoloLens 2 обеспечивают более полное погружение, а также более интуитивно понятны и удобны в использовании сотрудниками, руки которых заняты выполнением физического труда. Они помогают им выявить проблему в работе двигателя самолета или посмотреть пошаговую инструкцию по сборке аккумулятора для электробуса. Отмотать инструкцию назад и перепроверить правильность выполнения действия можно простым кивком головы или с помощью голосовой команды. При этом пользователь видит, куда именно завернуть тот или иной шуруп и в каком направлении повернуть рычаг, на реальном оборудовании, с которым он работает.

По сравнению с устройством первого поколения, HoloLens 2 также обладает новыми функциями, например, возможностью захватить и повернуть голограмму, как будто это реальный объект, вместо того, чтобы учить особые жесты. Технология слежения за движением глаз может распознать, когда взгляд пользователя направлен на определенную деталь прибора, и выдать полезную информацию о ней. Текст автоматически пролистывается по мере его прочтения. В конечном счете, вы как будто после просмотра движущихся картинок попадаете в реальный кинотеатр, где полностью погружаетесь в происходящее на экране.

Поле зрения нового устройства увеличилось более чем вдвое по сравнению с устройством первого поколения HoloLens, при этом новые технологии отображения делают голограммы более живыми и реалистичными.

«Впервые вы почувствуете, каково это – потрогать голограмму, взаимодействовать и играть с ней. В какой-то момент вы забываете, что это лишь элемент цифрового контента, а не реальный объект из физического мира», – говорит Алекс Кипман, ведущий технический специалист подразделения облачных вычислений и искусственного интеллекта Microsoft.

Возможности применения HoloLens 2 в бизнесе обеспечиваются растущим потенциалом «умных» технологий. Речь идет об огромном количестве устройств – от радионяней и датчиков в холодильниках до таких сложных приборов, как HoloLens, которые могут быстро и самостоятельно обрабатывать информацию.

Эти устройства могут сообщить самоуправляемому автомобилю, когда ему нужно повернуть, станку на заводе – когда ему нужно выключиться, а работникам магазина – что им нужно вытереть лужу, на которой могут поскользнуться посетители, – в случаях, когда решения необходимо принимать за считанные доли секунды, и даже там, где возможности связи ограничены.

По мере того, как «умные» устройства становятся все умнее, к ним предъявляются повышенные требования в плане безопасности. Приложения, которые ранее использовались для работы в облаке и на локальных серверах, теперь должны работать с самыми разнообразными устройствами, которые постоянно развиваются и разрабатываются для различных производственных процессов. Теперь Azure обеспечивает надежную работу с входными и выходными данными «умных» устройств с помощью таких решений, как Azure Sphere и Azure IoT, и позволяет разработчикам создавать продукты, которые одинаково хорошо работают в самых разнообразных вычислительных средах. А когда такие «умные» устройства соединяются с помощью «умного» облака, они позволяют лучше понимать процессы и в полной мере обеспечивают коллективные вычисления.

Читайте также:  Кто кому засадил в очков

«HoloLens 2 представляет собой «умное» устройство с невероятно разнообразными возможностями в плане применения. Оно способно работать как автономно, так и будучи подключенным к любому облаку, – говорит Алекс Кипман. – Однако оно создавалось с учетом особенностей Azure. В паре с Azure оно становится инструментом для совместной работы, к которому можно получить доступ с любого устройства на любой платформе. Именно когда они работают вместе, тогда и начинается настоящее волшебство».

Эти достижения в области смешанной реальности и восприятия окружения стали возможны благодаря десятилетиям исследований и развития бизнеса в Microsoft: устройства распознавания жестов, изначально разработанные для Xbox, инвестиции в ИИ, уроки, извлеченные из первого поколения HoloLens, приложения, которые работают везде, где нужно, экспертные знания в области безопасности и управления учетными записями пользователей, а также многолетний опыт сотрудничества с клиентами и разработки корпоративных решений.

Однако для того, чтобы обеспечить совместную работу и опыт глубокого погружения, которые способна дать смешанная реальность, эти инструменты должны функционировать в открытой среде и работать с устройствами, которые уже есть у пользователей при себе или дома.

«Потенциал смешанной реальности заключается в том, что все эти устройства являются точками доступа к контенту, который существует в мире, – отметил Алекс Кипман. – Например, я хочу создать голограмму и поместить ее в центр комнаты. Если я выйду из комнаты, а вы войдете в нее со своими очками HoloLens или со своим смартфоном или планшетом, должны ли вы видеть эту голограмму? При условии соблюдения всех требований к безопасности данных и получения разрешения, ответ на этот вопрос – “да”».

Новый облачный сервис Azure Spatial Anchors, также представленный сегодня, позволяет людям создавать голограммы, которые потом сохраняются в определенном физическом пространстве. Доступ к ним могут получить сразу несколько человек, использующих HoloLens, телефоны или планшеты. Таким образом, например, менеджер магазина одежды может «оставить» голографические изображения одежды рядом с каждым манекеном, а на следующий день сотрудник может навести свой iPhone на каждый манекен, посмотреть, как он должен быть одет, и начать одевать его.

Сотрудники, работающие в информационной сфере и делающие большую часть работы на компьютере – пишущие тексты, проектирующие различные вещи, отвечающие на электронные письма, управляющие людьми и принимающие бизнес-решения – в первую очередь воспользовались плодами активного развития технологий, которые позволяют им получить практически любую информацию по клику мыши и общаться в режиме реального времени. Это повлекло за собой невероятный скачок производительности как труда отдельных сотрудников, так и компаний в целом.

«Но большинство людей так не работает. Те, кто вручную занимаются сборкой, эксплуатацией, починкой, устранением дефектов и взаимодействием с физическими вещами, часто оставались на задворках технологической революции. Это дает невероятную возможность предоставить сотрудникам на производстве такие технологии, благодаря которым они смогут достичь сопоставимого скачка производительности», – отмечает Лоррейн Бардин, руководитель программы Dynamics 365 Mixed Reality at Work в Microsoft.

«Персонал, занятый на производстве, во многих компаниях не только жизненно важен в повседневной работе, но и определяет способ производства. Часто они составляют большинство сотрудников, – сказала Лоррейн Бардин. – И тем не менее, они практически не увидели всех преимуществ, которые технологии дали сотрудникам офисов и тем, кто работает в сферах, больше связанных с компьютерными технологиями».

Когда Microsoft начала расспрашивать компании о том, как смешанная реальность может помочь им, выяснилось, что ряд потребностей одинаковы в самых разных отраслях. Компаниям требуется помощь в налаживании связей между сотрудниками, работающими в удаленных местах или в разных офисах, с экспертами для решения проблем; при моделировании того, как оборудование, мебель или физические объекты будут располагаться в трехмерном пространстве; и в том, чтобы обучить новых сотрудников, которым необходимы свободные руки для выполнения работы.

Поэтому Microsoft создала такие готовые решения – аналогично тому, как программы вроде Microsoft Word и Excel помогали людям осознать преимущества новой операционной системы Windows – в виде приложений с использованием смешанной реальности для Microsoft Dynamics 365. Они позволяют компаниям практически сразу приступить к использованию HoloLens 2 для решения рабочих задач, без необходимости привлекать большое количество разработчиков.

Dynamics 365 Guides, а также Dynamics 365 Remote Assist и Dynamics 365 Layout входят в число самых первых приложений с использованием смешанной реальности, которые Microsoft предлагает для бизнеса. Dynamics 365 Guides позволяет компаниям перенести образовательные материалы с бумаги и экранов в трехмерное пространство с эффектом присутствия.

«Все хотят быть успешными, и возможность быстро привлечь новых работников и повысить их производительность труда просто неоценима», – говорит Роб Брэнсон, старший директор по глобальным технологиям и операциям в PACCAR ITD, протестировавшей раннюю версию Dynamics 365 Guides.

«Обучение взрослых будет более эффективным, если процесс визуализировать. Видя пошаговые инструкции, наложенные на реальный физический объект, сотрудник действительно быстрее освоит новую операцию», – сказал он.

Устройство HoloLens 2 было разработано с учетом этих требований – оно легче и намного удобнее, чем HoloLens предыдущего поколения. У него лучше сбалансированный центр тяжести, что позволяет носить его весь день. Новый откидной визор позволяет работникам легко переключаться между физическим и голографическим миром.

Надеть устройство не труднее, чем обычную кепку, зато благодаря ему сотрудники PACCAR могут пользоваться пошаговыми голографическими инструкциями для выполнения новых задач, таких как, к примеру, сборка двери грузовика. В руководствах Dynamics 365 подсвеченные стрелки образуют путь от каждой карточки инструкций прямо до нужного отверстия, куда продевается провод, или до местоположения нужного инструмента в заводском цехе.

Голографические рисунки, наложенные на реальную дверь, показывают, как выполнить задачу. А еще они подсвечивают конструкции за стальной панелью, которые нельзя увидеть, не обладая сверхспособностью видеть сквозь стены как рентген.

В отраслях, где средний возраст специалистов увеличивается, остро встает проблема передачи следующему поколению сотрудников опыт, накопленный за многие годы обучения и стажировки или десятилетия работы.

Например, в компании Alaska Airlines новому механику понадобится около двух лет, чтобы полностью обучиться и войти в курс дела. Технологии смешанной реальности дают надежду на то, что время овладения необходимыми навыками и умениями значительно сократится. Учебная среда с эффектом погружения находит живой отклик у сотрудников, которые выросли на видеоиграх и привыкли практически мгновенно получать доступ к цифровой информации.

«Это возможность оживить скучную бумажную документацию, – сказал Майк Лоренго (Mike Lorengo), директор по архитектуре и стратегическому развитию авиакомпании Alaska Airlines. – Вместо плоского листа бумаги я вижу трехмерное изображение, проецируемое на двигатель».

Смешанная реальность становится еще более эффективной, когда задействует уникальные возможности «умных» устройств и «умного» облака.

Иногда требуется быстро обрабатывать информацию на месте, не отправляя данные в облако. К таким случаям относятся данные с камер наблюдения, информирующих о сиюминутной опасности, или алгоритмы управления тормозными системами. Далеко не все данные от каждого датчика на каждой единице оборудования в заводском цехе релевантны в тот или иной момент времени. Таким образом, запуская менее сложные службы искусственного интеллекта (ИИ) на «умных» устройствах, можно отфильтровать ненужную информацию или выполнить задачи, которые не требуют облачных мощностей. Предположим, вам нужна голограмма, с помощью которой потенциальные клиенты могли бы представить, как будет выглядеть новый автомобиль или различные варианты возможных улучшений. Так вот, всего одно устройство HoloLens 2 со встроенными возможностями, используемое в демонстрационном зале или гостиной, будет обладать вполне достаточной для этого вычислительной мощностью и разрешением.

Но подключив это устройство к новой облачной службе смешанной реальности Azure Remote Rendering, вы сможете оперативно создавать сложные трехмерные цифровые модели, способные конкурировать с гипсовыми или детальными архитектурными моделями, на создание которых сегодня компания может потратить несколько дней или месяцев. Это было бы просто невозможно без облачных мощностей графических процессоров.

«Внезапно смешанная реальность оказывается способной не только улучшить, но и заменить весь бизнес-процесс – например, внедрить полностью цифровое строительство невозможными ранее методами», – сказала Джулия Уайт.

Компания PTC, один из партнеров Microsoft, разработала интегрированные системы, сочетающие в себе решения инфраструктуры Интернета вещей, облако Azure и инструменты смешанной реальности. Это системы, с помощью которых можно осуществить цифровую трансформацию самых разных компаний – от аэрокосмических предприятий до брендов одежды и медико-биологических организаций.

«Представьте себе лаборантку, которая однажды утром приходит на работу и обнаруживает, что важнейший аппарат, который обрабатывает образцы крови, сломался, – сказал Джим Хеппельманн, президент и генеральный директор PTC.

Несколько лет назад единственным способом выяснить, в чем проблема, были мигающий индикатор или неспецифическое сообщение об ошибке. Вероятно, она бы позвонила производителю, который, однако, не всегда может определить причину возникновения проблемы по телефону. Скорее всего, ему пришлось бы направить на объект специалиста по ремонту этого специализированного устройства, который может вообще работать в другом городе. Таким образом, на восстановление работы могло бы уйти несколько часов или даже дней. Между тем, пациенты, с нетерпением ожидающие результатов своих анализов, оставались бы в неведении.

Сегодня, благодаря службе ThingWorx for Azure, она может надеть устройство HoloLens 2 и увидеть голографическую панель мониторинга, где состояние и статус каждого элемента сопоставлено с физическим прибором. Данные, собранные крошечными датчиками Интернета вещей и отправленные в облако Azure, могут выявить проблему с одним из картриджей. Лаборантка может воспользоваться пошаговыми голографическими инструкциями, показывающими, как открыть крышку, какой рычаг откинуть и как вставить новую деталь. Если она не может разобраться, специалист по ремонту, находящийся в офисе производителя в Небраске, посмотрит на экран, увидит в точности то же самое, что она видит через HoloLens 2, и подробно прокомментирует шаги выполнения этой задачи.

«Это замкнутый цикл взаимодействия между людьми и предметами, – сказал Хеппельманн. – Устройства Интернета вещей сообщают мне о конкретной проблеме, а решения смешанной реальности позволяют превратить эту лаборантку в специалиста, способного решить простую проблему, чтобы сэкономить время и деньги на авиаперелеты и аренду автомобилей».

«Для любого конечного специалиста, который может носить гарнитуру смешанной реальности большую часть дня, улучшенный комфорт и увеличенное поле зрения в HoloLens 2 (позволяющее видеть несколько голограмм, читать текст и просматривать сложные детали в 3D) означает качественное улучшение его деятельности, – сказал Джим Хеппельманн.

«Вот почему HoloLens из устройства, с которым интересно играть и создавать прототипы, превращается в устройство, которое сегодня можно широко применять на заводах, в больницах и на стройках. Это большой шаг вперед», – добавил он.

Эти функции также важны для Bentley Systems, еще одного партнера Microsoft, который разрабатывает программное обеспечение для инженеров, архитекторов и строительных фирм, реализующих чрезвычайно сложные инфраструктурные проекты.

По словам Ноа Экхауса, старшего вице-президента Bentley по реализации проектов, при капитальном ремонте городского железнодорожного вокзала или строительстве нового футбольного стадиона из-за множества перемещающихся объектов и тяжелого оборудования создается ряд опасных ситуаций. Вот почему нельзя смотреть вниз, чтобы найти нужную информацию на телефоне или в планшете. Гарнитуры HoloLens позволяют работникам получать доступ к цифровой информации, не забывая о том, где они находятся.

С помощью HoloLens корпоративное ПО SYNCHRO позволяет работникам увеличивать масштаб конкретного места на строительной площадке и получать доступ к важной информации, такой как правила техники безопасности или инструкции по установке, касающиеся определенной области работы. На основе постоянно меняющихся реалий и прогнозов менеджеры могут в трех измерениях следить за тем, как будет выглядеть проект через два дня или три недели и предвидеть любые проблемы с планированием.

«Строительная площадка похожа на гигантский балет – это строго скоординированное действо, в котором в определенном пространстве происходит движение объектов и людей, – добавил он. – И в первый же рабочий день весь план меняется».

«И хотя сохранять и обновлять на одном устройстве планы для бунгало с двумя спальнями вполне возможно, отследить все изменения в масштабном инфраструктурном проекте без облака нельзя в принципе», – сказал Экхаус.

Подключая каждое устройство HoloLens на стройплощадке к основной модели, которая постоянно обновляется в Azure, SYNCHRO гарантирует, что сотрудники будут работать в одной и той же общей реальности и смогут на основе актуальной информации устанавливать порядок заданий, планировать перемещения крана, отслеживать ход реализации проекта и обеспечивать правила техники безопасности.

«Подключение к облаку имеет ключевое значение, потому что в таких крупных проектах поток информации, передаваемой работниками на объекте, инженерами и проектировщиками, никогда не прекращается, – сказал Экхаус. – А последствия реализации инфраструктурных проектов в физическом мире вполне реальны».

Своему эффекту погружения устройство HoloLens 2 обязано двум определяющим достижениям в области компьютерного зрения и искусственного интеллекта. Способность интерпретировать физическое пространство с помощью семантического понимания позволяет ему отличать стены от окон, а диван от журнального столика. Естественное отслеживание движений рук позволяет людям более инстинктивно захватывать, вращать и менять размер голограмм, не изучая жесты, имитирующие движения мыши.

Этими достижениями мы обязаны четвертому поколению Kinect в сочетании с инструментами искусственного интеллекта. Такая технология определения глубины и движения была изначально разработана почти десять лет назад для создания устройства распознавания жестов для Xbox. Но способность точно определять глубину и показывать, как движутся в пространстве человеческие тела, стала применяться гораздо шире – не только в играх.

Ocuvera, например, использует Azure Kinect в системе, цель которой – предотвратить почти 1 млн падений, ежегодно происходящих только в больницах США, не говоря уже об остальном мире. Она определяет, когда пациент, которому нужна поддержка при ходьбе, пытается самостоятельно встать с кровати, заранее оповещая об этом медсестру, чтобы она успела вовремя прийти на помощь.

Используя камеру с датчиком глубины и алгоритмы искусственного интеллекта, система распознает паттерны движений еще до того, как пациент встанет с кровати – например, пока он садится или болтает ногами. Первоначальные результаты пилотных исследований в 11 клиниках показали, что после внедрения технологии число самостоятельных и незамеченных персоналом выходов из постели уменьшилось более чем на 90 процентов.

Генеральный директор Стив Кин отметил, что команда Ocuvera исследовала все существующие в мире камеры с датчиком глубины и даже пыталась создать свою собственную. В случаях, когда нужно было установить, движется ли пациент вперед или просто переворачивается, либо обнаружить первое покачивание ноги, ни одно из устройств не могло сравниться с Azure Kinect по точности.

«Это сродни поиску подсказок при игре в покер, – сказал он. – Только Azure Kinect предоставляет нам данные, позволяющие узнать, что по-настоящему происходит с пациентом в больничной койке, и с достаточной точностью предсказать его намерения. Когда мы проводим эксперимент в больнице, нам часто говорят, что это просто невозможно, но потом, когда они узнают, что это действительно работает, их изумлению нет конца. Это похоже на волшебство».

По словам Кина, ценность новой технологии Azure Kinect заключается в том, что она объединяет сенсорное оборудование с когнитивными сервисами Azure, с помощью которых разработчики могут легко и быстро развертывать решения ИИ. Благодаря этому команде Ocuvera будет легче интегрировать в свою систему службы распознавания голоса или перевода, позволяющие пациентам, к примеру, обращаться к медсестре на различных языках.

Как отметил Кин, сегодня все больше таких служб перемещаются в пограничную инфраструктуру, откуда их можно запускать локально, не отправляя данные в облако и не тратя драгоценные секунды.

«Azure Kinect – это не просто камера, а устройство, которое предоставляет доступ ко всем поистине важным службам, таким как распознавание речи и отслеживание движений тела. Словом, это невероятно ценное комплексное решение», – добавил Стив Кин.

Алекс Кипман, который потратил более десяти лет на то, чтобы сделать HoloLens 2 самым иммерсивным голографическим компьютером и самым интеллектуальным устройством в мире, сказал, что настоящая награда для любого изобретателя – видеть, как его творение помогает людям.

«Чтобы создать эту концепцию и воплотить ее в жизнь, мы вкладываем в наше дело сердца, тела, души и все возможное время, – сказал Кипман. – Сегодня настал момент истины: мы видим, как с помощью этой технологии наши клиенты могут быть конкурентоспособными, проводить цифровую трансформацию и достигать того, чего не могли раньше, а также делать то, чего мы никогда себе даже не представляли. Все это приводит меня в восторг».

Дженнифер Лэнгстон пишет об исследованиях и инновациях Microsoft. Подпишитесь на нее в Twitter.

источник