RU2646360C2 - Устройство и способ отображения изображения, мобильное устройство, система отображения изображения и компьютерная программа - Google Patents

Устройство и способ отображения изображения, мобильное устройство, система отображения изображения и компьютерная программа Download PDF

Info

Publication number
RU2646360C2
RU2646360C2 RU2015116420A RU2015116420A RU2646360C2 RU 2646360 C2 RU2646360 C2 RU 2646360C2 RU 2015116420 A RU2015116420 A RU 2015116420A RU 2015116420 A RU2015116420 A RU 2015116420A RU 2646360 C2 RU2646360 C2 RU 2646360C2
Authority
RU
Russia
Prior art keywords
image
mobile device
display
head
user
Prior art date
Application number
RU2015116420A
Other languages
English (en)
Other versions
RU2015116420A (ru
Inventor
Наомаса ТАКАХАСИ
Тацуя НАРАХАРА
Еитиро САКО
Мотоюки ТАКАИ
Original Assignee
Сони Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Сони Корпорейшн filed Critical Сони Корпорейшн
Publication of RU2015116420A publication Critical patent/RU2015116420A/ru
Application granted granted Critical
Publication of RU2646360C2 publication Critical patent/RU2646360C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/40—Circuit details for pick-up tubes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

Изобретение относится к области вычислительной техники. Технический результат заключается в расширении арсенала технических средств для отображения изображения. Технический результат достигается за счет детектирования положения, на котором детектируют положение головы пользователя и управления отображением, на котором управляют отображением изображения на основе положения головы, причем изображение фиксируют мобильным устройством, при этом этап управления дополнительно содержит этап, на котором при отображении множества изображений точек обзора, фиксированных с множества точек обзора с использованием способа параллельного глубокого фокусирования, регулируют точку схождения между изображениями точек обзора на основе скорости движения движущегося мобильного устройства. 4 н. и 14 з.п. ф-лы, 33 ил.

Description

Область техники, к которой относится изобретение
Технология, раскрытая в данном описании, относится к устройству отображения изображения, которое установлено на голове или на лице пользователя и используется для просмотра изображения, способу отображения изображения, мобильному устройству, которое снимает изображения, просматриваемые во время движения, к системе отображения изображения и компьютерной программе. Более конкретно, технология относится к устройству отображения изображения, способу отображения изображения, мобильному устройству, системе отображения изображения и компьютерной программе, которые используются для просмотра изображения, снятого внешней камерой, такому как изображение "всего неба", изображение типа "рыбий глаз" и панорамное изображение.
Уровень техники
Хорошо известны устройство отображения изображения или дисплей, устанавливаемый на голове, которые устанавливают на голове или лице, и используется для просмотра изображения. В дисплее, устанавливаемом на голове, модуль дисплея предусмотрен для каждого из правого и левого глаза, и увеличенное виртуальное изображение отображаемого изображения формируется оптической системой виртуального изображения таким образом, что пользователь может просматривать изображение с ощущением реальности. Если дисплей, устанавливаемый на голове, разработан так, что он полностью блокирует внешний мир при установке на голове пользователя, ощущение погружения во время просмотра улучшается. Дисплей, устанавливаемый на голове, также может отображать разные изображения для правого и левого глаз, и может представлять 3-D изображение для отображения изображения с параллаксом для правого и левого глаз.
При использовании дисплея, устанавливаемого на голове, можно просматривать широкоугольное изображение. Например, описан дисплей, устанавливаемый на голове, в котором можно наслаждаться изображением пространства шириной 360°, которое следует движению головы пользователя, на которой гиродатчик закреплен на его/ее голове (например, см. Патентный документ 1 и Патентный документ 2). Область отображения перемещается в соответствии со смещением при движении головы, детектируемым гиродатчиком. Таким образом, может быть представлено изображение, которое следует движению головы пользователя.
Кроме того, существует заявка, разработанная для обеспечения для пользователя возможности просмотра прямого изображения, снятого внешней камерой, с использованием дисплея, установленного на голове. Например, существует раскрытие, в котором система дисплея изображения, в которой изображение, фактически снятое устройством формирования изображения, установленным на другом перемещающемся объекте, а не на голове человека, таком как радиоуправляемая модель, отображается на устройстве дисплея, надетом на пользователя (см., например, Патентный документ 3).
Также известна технология FPV (обзор со стороны первого лица), обеспечивающая для пользователя возможность управления радиоуправляемой моделью вертолета и т.п., при просмотре изображения с точки обзора первого лица (точка обзора пилота), снятого беспроводной камерой, установленной на радиоуправляемой модели.
Например, существует раскрытие воздушной системы формирования изображений, в которой всенаправленная камера, которая снимает окружающие изображения, и лазерный измеритель расстояния, который измеряет высоту всенаправленной камеры от земли, устанавливают на вертолете малого размера, высота полета и скорость полета которого управляется устройством управления полетом, и формирование изображений аэрофотосъемки выполняется с использованием всенаправленной камеры на заданной высоте, на основе высоты, измеряемой лазерным измерителем расстояния (см., например, Патентный документ 4). Изображения, снятые всенаправленной камерой, могут быть переданы во внешний компьютер через сеть передачи данных.
Далее, существует раскрытие сетевой системы, в которой радиоуправляемая модель автомобиля, оборудованная трехмерной стереокамерой, работающей на среднем и большом расстоянии, и трехмерная стереокамера, работающая на и малом расстоянии, передают трехмерное комбинированное изображение, и трехмерное комбинированное изображение отображается на стороне контроллера (см., например, Патентный документ 5).
Кроме того, существует раскрытие сетевой системы, которая принимает, на стороне контроллера, изображение, генерируемое устройством модели, снимающим изображения сцены спереди, и информацию о местоположении и ориентации устройства модели и генерирует, и отображает виртуальное изображение, в соответствии с местоположением и ориентацией (см., например, Патентный документ 6).
Список литературы
Патентные документы
Патентный документ 1: JP 9-106322 А
Патентный документ 2: JP 2010-256534 А
Патентный документ 3: JP 2008-147865 А, абзацы [0024]-[0026]
Патентный документ 4: JP 2011-183824 А
Патентный документ 5: JP 2012-151800 А
Патентный документ 6: JP 2012-143447 А
Раскрытие изобретения
Задачи, решаемые изобретением
Технология, раскрытая в данном описании, направлена на предоставление устройства отображения изображения, способ отображения изображения, мобильное устройство, систему отображения изображения и компьютерную программу, которые являются прекрасными и могут использоваться при просмотре изображения, снятого внешней камерой, такой как изображение "всего неба", изображение типа рыбий глаз, или панорамное изображение.
Технология, раскрытая в данном описании, дополнительно направлена на предоставление отличного устройства отображения изображения, выполненного с возможностью соответствующим образом отображать изображения из точки обзора первого лица, снятого камерой, установленной на мобильном устройстве, таком как радиоуправляемая модель, и также предоставлять способ отображения изображения, мобильное устройство, систему отображения изображения и компьютерную программу.
Решение задачи
Данная заявка выполнена с учетом изложенных выше задач, и технология, раскрытая в пункте 1 формулы изобретения, направлена на устройство отображения изображения, которое включает в себя:
модуль дисплея, устанавливаемый на голове пользователя;
модуль детектирования положения, который детектирует положение головы; и
модуль управления отображением, который управляет отображением изображения модуля дисплея на основе положения головы, изображение снимают с помощью мобильного устройства.
В соответствии с технологией, раскрытой в пункте 2 данной заявки, модуль управления отображением устройства отображения изображения по п. 1 вырезает область, соответствующую положению головы, из широкоугольного изображения, снятого мобильным устройством, и отображает вырезанную область в модуле дисплея.
В соответствии с технологией, раскрытой в пункте 3 данной заявки, когда отображают множество изображений точки обзора, снятых из множества точек обзора, используя способ параллельного глубокого фокусирования, модуль управления отображением устройства отображения изображения по п. 1 регулирует точку схождения между изображениями точки обзора на основе скорости движения движущегося объекта.
В соответствии с технологией, раскрытой в пункте 4 данной заявки, модуль управления отображением устройства отображения изображения по п. 1 отображает изображение с расстоянием между точками обзора, которое соответствует операции изменения масштаба изображения в модуле дисплея.
В соответствии с технологией, раскрытой в пункте 5 данной заявки, устройство отображения изображения по п. 1 смещает направление линии обзора модуля камеры мобильного устройства, по меньшей мере, в одном из направлений, таком как направление панорамной съемки, наклон и качание в стороны относительно положения головы.
В соответствии с технологией, раскрытой в пункте 6 данной заявки, устройство отображения изображения по п. 1 дополнительно включает в себя
модуль обратной связи для ощущения операций, который передает по каналу обратной связи ощущение операции пользователю через тактильное ощущение или вибрацию,
в котором обратная связь для пользователя основана на ускорении, которому подвергается мобильное устройство при движении.
В соответствии с технологией, раскрытой в пункте 7 данной заявки, модуль управления отображением устройства отображения изображения по п. 1 накладывает AR изображение на изображение реального мира, снятое мобильным устройством, перед отображением изображения.
В соответствии с технологией, раскрытой в пункте 8 данной заявки, модуль управления отображением устройства отображения изображения по п. 7 отображает AR изображение, соответствующее, по меньшей мере, одному из текущего местоположения мобильного устройства, объекта, включенного в снятое изображении, и состояния мобильного устройства.
В соответствии с технологией, раскрытой в пункте 9 данной заявки, модуль управления отображением устройства отображения изображения по п. 1 отображает информацию о местоположении вокруг мобильного устройства и пользователя.
В соответствии с технологией, раскрытой в пункте 10 данной заявки, модуль управления отображением устройства отображения изображения по п. 1 дополнительно отображает изображение, снятое автоматическим следящим средством, которое снимает изображение при отслеживании мобильного устройства.
В соответствии с технологией, раскрытой в пункте 11 данной заявки, устройство отображения изображения по п. 1 дополнительно включает в себя модуль получения изображения линии собственного обзора, который получает изображение линии собственного обзора, которое можно видеть на линии обзора пользователя. Модуль управления отображением переключает изображение, отображаемое между изображением движущегося объекта на линии собственного обзора, снятым мобильным устройством, и изображением линии собственного обзора.
В соответствии с технологией, раскрытой в пункте 12 данной заявки, модуль управления отображением устройства отображения изображения по п. 1 переключает изображение между изображениями, снятыми из множества положений точек обзора мобильного устройства, в соответствии с положением головы.
В соответствии с технологией, раскрытой в п. 13 данной заявки, модуль управления отображением устройства отображения изображения по п. 1, корректирует сотрясения в движущемся изображении, снятом мобильным устройством, перед отображением движущегося изображения.
Технология, раскрытая в пункте 14 данной заявки, представляет собой способ отображения изображения, который включает в себя:
этап детектирования положения, состоящий в детектировании положения головы пользователя; и
этап управления отображением изображения на основе положения головы, изображение снимают мобильным устройством.
Технология, раскрытая в пункте 15 данной заявки, представляет собой систему отображения изображения, которая включает в себя:
мобильное устройство, которое снимает изображение во время движения; и
устройство отображения изображения, которое отображает изображение, снятое мобильным устройством, в соответствии с положением головы пользователя.
Следует отметить, что термин "система" означает логическую сборку устройств (или функциональных модулей, которые реализуют определенные функции), и соответствующие устройства или функциональные модули не обязательно расположены в одном корпусе.
Технология, раскрытая в пункте 16 данной заявки, направлена на мобильное устройство, которое включает в себя:
модуль камеры;
платформу камеры, которая управляет направлением линии обзора модуля камеры;
модуль движения, который перемещает устройство; и
модуль передачи данных, который передает данные, включающие в себя изображение, снятое модулем камеры,
в котором модуль камеры включает в себя множество камер, которые выполняют формирование изображений, используя способ параллельного глубокого фокусирования камеры, имеющей разные точки обзора.
В соответствии с технологией, раскрытой в пункте 17 данной заявки, мобильное устройство по п. 16 снимает изображение "всего неба", изменяя расстояние между точками обзора между камерами с разными точками обзора.
В соответствии с технологией, раскрытой в пункте 18 данной заявки, мобильное устройство по п. 16 экстраполирует изображения за пределами точек обзора камер из изображений, снятых камерами с разными точками обзора при фиксированном расстоянии между точками обзора.
Технология, раскрытая в пункте 19 данной заявки, направлена на компьютерную программу, записанную в формате, считываемом компьютером,
компьютерная программа, обеспечивающая выполнение компьютером следующих функций:
модуля детектирования положения, который детектирует положение головы пользователя; и
модуля управления отображением, который управляет отображением изображения на основе положения головы, изображение, снимаемое мобильным устройством.
Компьютерная программа по п. 19 данной заявки определяет компьютерную программу, записанную в формате, считываемом компьютером, таким образом, чтобы реализовать заданную обработку в компьютере. Другими словами, при установке компьютерной программы, в соответствии п. 19 данной заявки, в компьютер, реализуются совместные действия в компьютере, и могут быть достигнуты те же эффекты, как и в устройстве отображения изображения по п., 1 данной заявки.
Результаты изобретения
Технология, раскрытая в данном описании, обеспечивает превосходное устройство отображения изображения, которое может представлять изображение с реальными ощущениями при отображении изображения из точки обзора первого лица, снятого камерой, установленной в мобильном устройстве, таком как радиоуправляемая модель, на экране, помещенном перед глазами пользователя, и также обеспечивает способ отображения изображения, систему отображения изображения, мобильное устройство и компьютерную программу.
Другие цели, свойства и преимущества технологии, раскрытой в данном описании, будут понятны из вариантов осуществления, описанных ниже, и подробного описания со ссылкой на приложенные чертежи.
Краткое описание чертежей
На фиг. 1 показана схема, схематично представляющая конфигурацию системы 100 отображения изображения, в соответствии с вариантом осуществления технологии, раскрытой в данном описании.
На фиг. 2 показан вид спереди пользователя, на которого надет дисплей 110, устанавливаемый на голове.
На фиг. 3 показан вид сверху пользователя, на которого надет дисплей 110, устанавливаемый на голове, показанный на фиг. 2.
На фиг. 4 показана схема, представляющая пример внутренней структуры дисплея 110, устанавливаемого на голове.
На фиг. 5 показана схема, представляющая систему координат в положении тела, детектируемом модулем 404 детектирования положения /местоположения.
На фиг. 6 показана схема, представляющая пример внутренней структуры мобильного устройства 120.
На фиг. 7 показана схема, схематично представляющая функциональную структуру модуля 401 управления для отображения изображения, снятого на стороне мобильного устройства 120 с дисплеем 110, устанавливаемым на голове.
На фиг. 8А показана схема, представляющая ситуацию, где модуль камеры 605 установлен так, чтобы платформа камеры 606 могла управлять линией визирования в соответствующих направлениях качания в стороны, наклона и панорамной съемки.
На фиг. 8В показана схема, представляющая ситуацию, где расстояние между камерой для левого глаза и камерой для правого глаза, которые составляют стереокамеру, является переменным.
На фиг. 8С показана схема, представляющая ситуацию, где основная камера 801 установлена на основной раме мобильного устройства 120-2, такого как автомобиль, и вторичная камера 802 установлена позади основной камеры 801.
На фиг. 9 показана схема, представляющая ситуацию, когда местоположение и положение поля отображения, отображенного на панели дисплея 409, перемещаются в соответствии с движением головы пользователя.
На фиг. 10 показана схема, представляющая пример последовательности операций для отображения широкоугольного изображения, такого как изображение всего неба, снятого на стороне мобильного устройства 120, широкоугольное изображение выполнено с возможностью следовать за положением головы пользователя на стороне дисплея 110, устанавливаемого на голове.
На фиг. 11 показана схема, представляющая модификацию последовательности операций для отображения широкоугольного изображения, такого как изображение всего неба, снятого на стороне мобильного устройства 120, широкоугольное изображение выполнено с возможностью следовать за положением головы пользователя на стороне дисплея 110, устанавливаемого на голове.
На фиг. 12А показана схема для пояснения способа управления точкой сходимости, когда трехмерное снятое изображение отображается на стороне дисплея 110, устанавливаемого на голове, на основании информации скорости мобильного устройства 120.
На фиг. 12В показана схема для пояснения способа управления точкой сходимости, когда трехмерное снятое изображение отображается на стороне дисплея 110, устанавливаемого на голове, на основании информации скорости мобильного устройства 120.
На фиг. 12С показана схема для пояснения способа управления точкой сходимости, когда трехмерное снятое изображение отображается на стороне дисплея 110, устанавливаемого на голове, на основании информации скорости мобильного устройства 120.
На фиг. 13А показана схема для пояснения способа съемки трехмерного изображения, с изменением расстояния d между точками обзора, в соответствии с операцией изменения масштаба изображения.
На фиг. 13В показана схема для пояснения способа съемки трехмерного изображения, с изменением расстояния d между точками обзора, в соответствии с операцией изменения масштаба изображения.
На фиг. 14 показана схема, представляющая ситуацию, когда голова наклоняется вверх, и модуль камеры 605 смонтированный на мобильном устройстве 120-2 также наклоняется вверх.
На фиг. 15 показана схема, представляющая ситуацию, когда ось наклона модуля камеры 605, установленного на мобильном устройстве 120-2, фиксируют в положении, которое повернуто вверх на Δθу от оси наклона головы пользователя.
На фиг. 16 показана схема, представляющая ситуацию, когда система координат модуля камеры 605 смещается в соответствующих направлениях панорамной съемки, наклона и качания в стороны относительно системы координат головы пользователя.
На фиг. 17 показана схема, представляющая ситуацию, когда информация о местоположении пользователя отображается, как меньший экран в экране, отображающем изображение, снятое мобильным устройством 120.
На фиг. 18 показана схема, представляющая ситуацию, когда информация о местоположении пользователя отображается на большом экране, и снятое изображение отображается на меньшем экране.
На фиг. 19 показана схема, представляющая пример отображения информации о местоположении пользователя.
На фиг. 20 показана схема, представляющая пример отображения информации о местоположении пользователя.
На фиг. 21 показана схема, представляющая ситуацию, когда автоматическое следящее устройство 2100, оборудованное камерой 2101, отслеживает заднюю часть мобильного устройства 120-1, выполняющего полет в воздухе.
На фиг. 22 показана схема, представляющая пример изображения мобильного устройства 120-1 снятого сзади камерой 2101 автоматического следящего устройства 2100.
На фиг. 23 показана схема, представляющая пример изображения линии обзора автомобиля, снятого мобильным устройством 120-2, таким как автомобиль.
На фиг. 24 показана схема, представляющая пример ситуации, когда пользователь, на которого надет дисплей 110, устанавливаемый на голове, следит за движущимся мобильным устройством 120-3 своими глазами.
На фиг. 25 показана схема, представляющая пример изображения собственной линии обзора пользователя, который следит за мобильным устройством 120-3 своими глазами, изображение собственной линии обзора снимает внешняя камера 413.
На фиг. 26 показана схема, представляющая пример расположения изображений, снятых мобильным устройством 120 в различных положениях точек обзора.
На фиг. 27 показана схема, представляющая ситуацию, когда наблюдаемые изображения имеют трапециевидное искажение в соответствии с наклоном вверх и вниз головы пользователя.
На фиг. 28 показана схема, представляющая ситуацию, когда изображения AR виртуального препятствия 2801 и запрещенной области 2802 отображаются на изображении поля зрения автомобиля (реальный мир), снятого мобильным устройством 120-2.
Осуществление изобретения
Ниже представлено подробное описание вариантов осуществления технологии, раскрытой в данном описании, со ссылкой на чертежи.
А. Конфигурация системы
На фиг. 1 схематично представлена конфигурация системы 100 отображения изображения, в соответствии с вариантом осуществления технологии, раскрытой в данном описании. Система 100 отображения изображения, показанная на чертежах, включает в себя устройство 110 отображения изображения (дисплей, установленный на голове), устанавливаемый на голове или лице пользователя, мобильные устройства 120-1, 120-2, 120-3 и другие, которые представляют собой движущиеся модели самолета (или вертолета или некоторого другого летающего объект), автомобиля, судна и т.п., и контроллер 130, который по беспроводному каналу управляет мобильными устройствами 120. Каждое из мобильных устройств 120-1, 120-2, 120-3 и другие оборудованы беспроводной камерой (не показана), и снимают изображения сцены во время движения. Контроллер 130 может представлять собой многофункциональный информационный терминал, такой как смартфон, и запускает приложение для управления мобильными устройствами 120.
Дисплей 110, устанавливаемый на голове, и мобильные устройства 120, и контроллер 130, и мобильные устройства 120 соединены по беспроводному каналу передачи через беспроводную сеть или инфракрасную систему передачи данных, и т.п.
Каждое из мобильных устройств 120 оборудовано беспроводной камерой (не показана) через платформу камеры, которая может изменять свое положение вокруг соответствующих осей панорамной съемки, наклона и отклонения от направления движения. Такая беспроводная камера может снимать изображения "всего неба" или изображения небесной сферы, или панорамные изображения, такие как изображения "половины неба" и изображения меньшего размера. В качестве альтернативы, беспроводная камера может выполнять широкоугольное формирование изображений, используя объектив типа "рыбий глаз".
Мобильные устройства 120 передают изображения, снятые с помощью беспроводных камер, в контроллер 130, и дисплей 110, устанавливаемый на голове. Однако, в случае, когда снятые изображения могут быть переданы непосредственно между дисплеем 110, устанавливаемым на голове, и мобильными устройствами 120, от мобильных устройств 120 не требуется передавать снятые изображения в контроллер 130, и беспроводное соединение между контроллером 130 и дисплеем 110, устанавливаемым на голове, не является необходимым. В представленном ниже описании, контроллер 130 не будет подробно описан на основе предположения, что передача данных может быть выполнена непосредственно между дисплеем 110, устанавливаемым на голове, и мобильными устройствам 120.
Хотя пользователь, на которого надет дисплей 110, устанавливаемый на голове, управляет мобильными устройствами 120, используя контроллер 130, в примере, показанном на фиг. 1, другой человек, кроме пользователя, который просматривает снятые изображения, переданные из мобильных устройств 120, с помощью дисплея 110, устанавливаемого на голове, может управлять мобильными устройствами 120, используя контроллер 130.
На фиг. 2 показан вид спереди пользователя, на голову которого надет дисплея 110, устанавливаемый на голове. Дисплей 110, устанавливаемый на голове, показанный на чертеже, представляет собой структуру, имеющую форму, аналогичную структуре пары очков, и разработан так, что он непосредственно закрывает правый и левый глаза пользователя, на которого надет дисплей 110, устанавливаемый на голове. В местах положения, на внутренней стороне основной рамы дисплея 110, устанавливаемого на голове, которые обращены к правому и левому глазам, предусмотрены панели дисплея (не показанные на фиг. 2), которые видит пользователь. На панели дисплея сформированы микродисплеи, такие как устройства органической EL или жидкокристаллические дисплеи.
Приблизительно в центре передней поверхности основной рамы дисплея 110, устанавливаемого на голове, имеющей форму очков, предусмотрена внешняя камера 413 для ввода окружающих изображений (видение пользователя). Кроме того, микрофоны 201 и 202 предусмотрены рядом с правым и левым концами элемента держателя, соответственно. Поскольку предусмотрены два микрофона 201 и 202, только голос, локализованный в центре (голос пользователя), распознается и может быть отделен от фонового шума и голосов других людей. Например, можно предотвратить выполнение неправильной операции во время операции голосового ввода.
На фиг. 3 показан вид сверху пользователя, на которого надет дисплей 110, устанавливаемый на голове, представленный на фиг. 2. Дисплей 110, устанавливаемый на голове, показанный на чертеже, имеет панели дисплея для левого глаза и правого глаза на боковых поверхностях, обращенных к лицу пользователя. Панели дисплея сформированы с использованием микродисплеев, таких как устройства органической EL или жидкокристаллических дисплеев. Изображения, отображаемые на правой и левой панелях дисплея, наблюдаются, как увеличенные виртуальные изображения, правым и левым глазами пользователя, после прохода через соответствующее оптические модули виртуального изображения. Поскольку высота глаза и расстояние между зрачками разные у разных людей, необходимо выполнять установку положения между соответствующими правой и левой системами дисплея, и глазами пользователя. В примере, показанном на фиг. 3, предусмотрен механизм регулировки расстояния между зрачками, который предусмотрен между панелью дисплея для правого глаза и панелью дисплея для левого глаза.
На фиг. 4 показан пример внутренней структуры дисплея 110, устанавливаемого на голове. Далее описаны соответствующие компоненты.
Модуль 401 управления включает в себя ROM (постоянное запоминающее устройство) 401А и RAM (оперативное запоминающее устройство) 401В. В ROM 401А содержатся программные коды, которые исполняет модуль 401 управления, и различного рода данные. При выполнении программы, загружаемой в RAM 401В, модуль 401 управления начинает управление отображением изображения, и совместно управляет работой всего дисплея 110, устанавливаемого на голове. Примеры программ и данных, сохраненных в ROM 401А, включают в себя программу управления отображением изображения, программу для обработки обмена данными с внешними устройствами, такими как мобильные устройства 120 и контроллер 130, и идентификационную информацию, уникальную для данного устройства 110. Программа управления отображением изображения предназначена, например, для выполнения управления отображением снятых изображений, принятых из мобильных устройств 120, но будет подробно описана ниже.
Модуль 402 входных операций включает в себя одну или больше частей управления, с помощью которых пользователь выполняет входные операции, такие как клавиши, кнопки или переключатели. Модуль 402 входных операций принимает инструкцию пользователя через части управления и выводит инструкции пользователя в модуль 401 управления. Модуль 402 входных операций также принимает инструкцию пользователя, сформированную из команды управления, принимаемой модулем 403 приема дистанционного управления, и также выводит эту инструкцию пользователя в модуль 401 управления.
Модуль 404 детектирования положения/местоположения представляет собой модуль, который детектирует положение головы пользователя, на которую надет дисплей 110, устанавливаемый на голове. В модуле 404 детектирования положения/местоположения установлен гиродатчик, датчик ускорения, датчик GPS (Система глобальной навигации) или геомагнитный датчик. В качестве альтернативы, модуль 404 детектирования положения/местоположения сформирован с использованием комбинаций двух или больше из таких датчиков, с преимуществами и недостатками учета показаний соответствующих датчиков.
На фиг. 5 показана система координат в положении, детектируемом модулем 404 детектирования положения/местоположения. Направление глубины отображаемого изображения (увеличенное виртуальное изображение) представляет ось Z, горизонтальное направление представляет ось Y, вертикальное направление представляет ось X, и начальное положение x-, у- и z-осей представляет собой положение точки обзора. В соответствии с этим, качание в сторону на угол θz эквивалентно движению головы пользователя вокруг оси Z, наклон θy эквивалентен движению головы пользователя вокруг оси Y, и поворот в направлении панорамной съемки на θx эквивалентен движению головы пользователя вокруг оси X. Модуль 404 детектирования положения/местоположения детектирует движения (θz, θy и θx) в соответствующих направлениях качания в стороны, наклона и панорамной съемки головы пользователя, и параллельное движение головы, и затем выводит движение в модуль 401 управления. Как будет описано ниже, при отображении изображения, снятого мобильным устройством 120 на экране панели 409 дисплея, модуль 401 управления может представлять изображение, которое следует движению головы пользователя, путем перемещения поля отображения, в соответствии со смещением головы при движении, детектируемом модулем 404 детектирования положения/местоположения.
Модуль 411 детектирования состояния получает информацию состояния о состоянии пользователя, на которого надет дисплей 110, устанавливаемый на голове, и выводит информацию состояния в модуль 401 управления. Например, состояние операции пользователя (надет ли на пользователя дисплей 110, устанавливаемый на голове), состояние действия пользователя (состояние движения, такое как состояние покоя, состояние ходьбы или состояние бега, открытое/закрытое состояние век глаз или направление линии обзора), ментальное состояние (уровень волнения), сознание, ощущение или эмоции, например, когда пользователь сосредоточен или концентрируется на наблюдении отображаемого изображения), и психологическое состояние получают, как информацию о состоянии. Для получения информации о состоянии от пользователя, модуль 411 детектирования состояния может включать в себя различного рода датчики состояния (не показаны), такие как датчик закрепления, сформированный в виде механического переключателя и т.п., гиродатчик, датчик ускорения, датчик скорости, датчик давления, датчик температуры тела, датчик потоотделения, датчик миоэлектрического потенциала, датчиком глазного потенциала и датчик электроэнцефалограммы.
Модуль 412 обратной связи (FB) операций включает в себя генератор вибрации и т.п., и обеспечивает обратную связь, представляющую ощущение операций для пользователя, на которого надет дисплей 110, устанавливаемый на голове, используя тактильное ощущение или вибрацию.
Внешняя камера 413 размещена практически в центре передней поверхности основной рамы дисплея 110, устанавливаемого на голове, имеющего форму в виде очков или форму, подобную шляпе (см. фиг. 2), и может снимать окружающие изображения. Кроме того, управление положением при направлениях панорамной съемки, наклона и качания в стороны внешней камеры 413 выполняется в соответствии с направлением линии обзора пользователя, детектируемым модулем 411 детектирования информации о состоянии, таким образом, что изображение уровня линии обзора пользователя может быть снято, используя внешнюю камеру 413. Кроме того, относительная скорость мобильных устройств 120 может быть измерена, используя внешнюю камеру 413.
Модуль 405 передачи данных выполняет обработку обмена данных с внешними устройствами, такими как мобильные устройства 120 и контроллер 130, и также выполняет обработку модуляции/демодуляции и обработку кодирования/декодирования передаваемых сигналов. Например, модуль 405 передачи данных принимает изображения, снятые беспроводными камерами, из мобильных устройств 120. Принятые изображения демодулируют и декодируют, используя модуль 405 передачи данных, или другие принятые данные подают в модуль 401 управления. Модуль 401 управления также передает данные, предназначенные для передачи, во внешние устройства, через модуль 405 передачи данных.
Модуль 405 передачи данных может иметь любую структуру. Например, модуль 405 передачи данных может быть разработан в соответствии со стандартом передачи данных, предназначенным для использования в операциях передачи/приема с внешними устройствами, с которыми требуется выполнить обмен данными. Стандарт передачи данных может быть разработан либо для передачи данных по кабелю или для беспроводной передачи данных. Здесь стандарт передачи данных может представлять собой MHL (мобильное соединение высокой четкости), USB (универсальная последовательная шина), HDMI (зарегистрированный товарный знак) (мультимедийный интерфейс высокой четкости), Wi-Fi (зарегистрированный товарный знак), Bluetooth (зарегистрированный товарный знак) для передачи данных, или например инфракрасную передачу данных.
Модуль 406 сохранения представляет собой накопитель большой емкости, который сформирован с использованием SSD (твердотельный привод) и т.п. Модуль 406 сохранения сохраняет программу приложения, предназначенную для исполнения модулем 701 управления, и данные изображений "всего неба", изображений типа "рыбий глаз", панорамных изображений и т.п., снятых мобильными устройствами 120.
Модуль 407 обработки изображений дополнительно выполняет обработку сигналов, такую как коррекция качества изображения, для сигналов изображения, выводимых из модуля 401 управления, и преобразует разрешение сигналов изображения до разрешения, совместимого с экраном панели 409 дисплея. Модуль 408 управления дисплеем последовательно выбирает пиксели панели 409 дисплея порядно, и выполняет последовательную развертку в строке пикселей для подачи сигналов пикселя на основе сигналов изображения, подвергаемых обработке сигналов.
Панель 409 дисплея сформирована с микродисплеем, таким как устройство органической EL (электролюминесценции) или жидкокристаллический дисплей. Оптический модуль 410 виртуального изображения увеличивает изображение, отображаемое на панели 409 дисплея, и проецирует изображение увеличенного виртуального изображения для просмотра пользователем.
Оптический модуль 410 виртуального изображения увеличивает изображение, отображаемое на панели 409 дисплея, с увеличением 1000 или больше, например, и формирует на сетчатке приблизительно виртуальное изображение размером 750-дюймов на расстоянии 20 метров от глаз пользователя. Это эквивалентно 45,09 градусов горизонтального угла обзора отображаемых пикселей.
На фиг. 6 показан пример внутренней структуры мобильного устройства 120. Как показано на фиг. 1, мобильные устройства 120 представляют собой модели движущегося объекта, такого как самолет, вертолет, автомобиль, судно и т.п., и, в основном, отличаются модулем 603 механизма движения, оставаясь, по существу, идентичными в других функциональных аспектах.
Модуль 602 сохранения реализован на основе запоминающего устройства, такого как RAM или ROM, и накопителя большой емкости, такого как привод жесткого диска или SSD. Модуль 602 сохранения используется для сохранения программы, исполняемой CPU (центральное процессорное устройство) 601, и изображений, снятых камерой. CPU 601 управляет соответствующими компонентами мобильного устройства 120 путем исполнения программы, сохраняемой в модуле 602 сохранения.
Мобильное устройство 120 имеет модуль 603 механизма движения, который может быть разным, в зависимости от типа движущегося объекта, такого как самолет, вертолет, автомобиль или судно, и модуль 603 механизма движения активируется в соответствии с инструкцией движения из CPU 601, и приводит в движение мобильное устройство 120.
Модуль 604 детектирования местоположения/положения/скорости включает в себя гиродатчик, датчик ускорения, датчик GPS, геомагнитный датчик и т.п., и получает информацию о текущем местоположении и положении мобильного устройства 120, и информацию о скорости движения, вызванного модулем 603 механизма движения. В случае мобильного устройства 120-2, которое представляет собой автомобиль, модуль 604 детектирования местоположения/положения/скорости может рассчитывать скорость движения, например, по количеству оборотов электродвигателя, который приводит во вращение колеса, по передаточному числу редуктора и диаметру шин. Если эти цифровые значения будут измерены еще до поставки, и данные будут сохранены в модуле 602 сохранения, скорость может быть просто рассчитана путем измерения количества оборотов электродвигателя во время использования.
Модуль 605 камеры сформирован с использованием, например, стереокамеры и может снимать трехмерные изображения. Модуль 605 камеры установлен на мобильном устройстве 120 через платформу 606 камеры. Модуль 605 камеры в принятом по умолчанию положении обращен вперед относительно мобильного устройства 120 (или обращен в направлении движения, вызванного модулем 603 механизма движения), и, в основном, снимает изображения из точки обзора первого лица (FPV).
Платформа 606 камеры может работать в соответствующих направлениях качания в стороны, наклона и панорамной съемки и изменяет линию обзора модуля 605 камеры в соответствии с инструкцией на изменение поля обзора из CPU 601. В соответствии с этим, модуль 605 камеры может снимать широкоугольные изображения, такие как панорамные изображения, и изображения "всего неба". На фиг. 8А показана ситуация, где модуль 605 камеры установлен так, что платформа 606 камеры может управлять линией обзора в соответствующих направлениях качания в стороны, наклона и панорамной съемки.
Модуль 605 камеры может регулировать расстояние d между точками обзора, для двух камер, формирующих стереокамеру. На фиг. 8В показана ситуация, где расстояние d между точками обзора камеры для левого глаза и камеры для правого глаза, которые составляют стереокамеру, является переменным. В данном варианте осуществления отсутствует схождение между камерой для левого глаза и камерой для правого глаза, и соответствующие линии обзора расположены практически параллельно. Более предпочтительно, в камере для левого глаза и в камере для правого глаза используется глубокое фокусирование, или выполняют съемку изображений, путем увеличивая глубины объекта.
Модуль 605 камеры может быть сформирован с двумя или больше камерами, такими как основная камера, которая снимает изображения из точки обзора от первого лица, и вторичная камера, которая формирует изображения позади основной рамы мобильного устройства 120. На фиг. 8С показана ситуация, где основная камера 801 установлена на основной раме мобильного устройства 120-2, такого как автомобиль, и вторичная камера 802 установлена позади основной камеры 801.
Модуль 607 передачи данных выполняет обработку передачи данных с внешними устройствами, такими как дисплей 110, устанавливаемый на голове, и контроллер 130, и также выполняет обработку модуляции/демодуляции и обработку кодирования/декодирования для передаваемых сигналов. Например, когда модуль 607 передачи данных принимает инструкцию движения из контроллера 130, CPU 601 передает инструкцию в модуль 603 механизма движения начать движение. Модуль 607 передачи данных также передает изображение, снятое модулем 605 камеры, информацию о местоположении и положении основной рамы мобильного устройства 120, детектируемую модулем 604 детектирования местоположения/положения, в дисплей 110, устанавливаемый на голове, и контроллер 130.
В системе 100 отображения изображения, в соответствии с данными вариантами осуществления, изображение, снятое модулем 605 камеры, установленным на мобильном устройстве 120, передают через контроллер 130 или непосредственно в дисплей 110, устанавливаемый на голове. В соответствии с этим, пользователь может наслаждаться снятым изображением, передаваемым из мобильного устройства 120, используя дисплей 110, устанавливаемый на голове.
Кроме того, в системе 100 отображения изображения, в соответствии с данными вариантами осуществления, когда широкоугольное изображение, такое как панорамное изображение или изображение "всего неба", снятое модулем 605 камеры, установленным на мобильном устройстве 120, воспроизводят и отображают, используя дисплей 110, устанавливаемый на голове, CPU 601 перемещает поле отображения таким образом, чтобы оно соответствовало смещению при движении головы пользователя, детектируемым модулем 604 детектирования положения/местоположения. Таким образом, отображают изображение, которое следует движению головы пользователя. На стороне дисплея 110, устанавливаемого на голове, отображают, в соответствии с необходимостью, комбинированное изображение, генерируемое путем наложения AR (дополненная реальность) изображения, как информацию виртуального изображения, для фактического изображения в области отображения.
На фиг. 7 схематично показана функциональная структура модуля 401 управления для отображения изображения, снятого на стороне мобильного устройства 120, с использованием дисплея 110, устанавливаемого на голове. Функциональная структура, показанная на чертеже, реализуется с помощью модуля 401 управления, например, выполняющего заданную программу приложения.
Модуль 701 управления областью отображения, перемещает положение и изменяет положение области отображения (см. фиг. 5), отображаемой на панели 409 дисплея, в соответствии с движением головы пользователя, детектируемым через модуль 404 детектирования положения тела/местоположения, и выводит определенную область отображения в модуль 702 вырезания изображения.
Модуль 702 вырезания изображения вырезает изображение в области отображения, определяемой модулем 701 управления областью отображения, из изображения, снятого мобильным устройством 120, и принятого модулем 405 передачи данных, и выводит вырезанное изображение в модуль 703 комбинирования изображения.
Модуль 703 комбинирования изображения генерирует комбинированное изображение путем наложения изображения AR на фактическое изображение в области отображения, в соответствии с необходимостью, и выводит комбинированное изображение в модуль 407 обработки изображений на следующем этапе. Например, когда текущее местоположение пользователя получают из модуля 404 детектирования положения/местоположения, или когда получают текущее местоположение мобильного устройства 120, генерируют изображение AR, относящееся к направлению движения или препятствию, которому соответствует информация о местоположении (описано ниже). Таким образом, для того, чтобы предоставить пользователю обратную связь, состоящую в ощущении операции, соответствующей AR изображению, такой, как столкновение с препятствием, модуль 703 комбинирования изображения передает инструкцию в модуль 412 обратной связи ощущения операции для вывода обратной связи.
Модуль 703 комбинирования изображения также выполняет обработку коррекции для искажения, которое появляется, когда изображение, вырезанное из области отображения, выводят и отображают на панели 409 дисплея.
На фиг. 9 показана ситуация, где местоположение и положение области дисплея, отображаемой на панели 409 дисплея, перемещают в соответствии с движение головы пользователя.
Когда модуль 404 детектирования положения /местоположения детектирует, что голова или линия обзора пользователя переместились в направлении панорамной съемки вправо, модуль 701 управления областью отображения перемещает область 910 отображения в направлении стрелки, обозначенной номером 901 ссылочной позиции на чертеже. В результате, модуль 702 вырезания изображения вырезает изображение из широкоугольного изображения, и изображение, отображаемое на панели 409 дисплея, также изменяется.
Когда модуль 404 детектирования положения/местоположения детектирует, что голова или линия обзора пользователя переместились в направлении панорамной съемки влево, модуль 701 управления областью отображения перемещает область 910 отображения в направлении стрелки, обозначенной номером 902 ссылочной позиции на чертеже.
Когда модуль 404 детектирования положения/местоположения детектирует, что голова или линия обзора пользователя переместилась в направлении наклона вверх, модуль 701 управления областью отображения перемещает область 910 отображения в направлении стрелки, обозначенной номером 903 ссылочной позиции на чертеже.
Когда модуль 404 детектирования положения/местоположения детектирует, что голова или линия обзора пользователя переместилась в направлении наклона вниз, модуль 701 управления областью отображения перемещает область 910 отображения в направлении стрелки, обозначенной номером 904 ссылочной позиции на чертеже.
Когда модуль 404 детектирования положения/местоположения детектирует, что голова или линия обзора пользователя переместилась в направлении качания вправо, модуль 701 управления областью отображения перемещает область 910 отображения в направлении стрелки, обозначенной номером 905 ссылочной позиции на чертеже.
Когда модуль 404 детектирования положения/местоположения детектирует, что голова или линия обзора пользователя переместилась в направлении качания влево, модуль 701 управления областью отображения перемещает область 910 отображения в направлении стрелки, обозначенной номером 906 ссылочной позиции на чертеже.
На фиг. 10 показан пример последовательности операции, для отображения широкоугольного изображения, такого как изображение "всего неба", снятое на стороне мобильного устройства 120, при этом широкоугольное изображение получают так, чтобы оно следовало положению головы пользователя на стороне дисплея 110, устанавливаемого на голове. В последовательности операции, показанной на чертеже, передачу данных выполняют непосредственно между дисплеем 110, устанавливаемым на голове, и мобильным устройством 120, но некоторое другое устройство, такое как контроллер 130, может быть установлено между дисплеем 110, устанавливаемым на голове, и мобильным устройством 120.
Дисплей 110, устанавливаемый на голове, передает запрос снятого изображения в мобильное устройство 120, которое перемещается с дистанционным управлением контроллером 130 (SEQ1001).
В ответ на запрос снятого изображения, мобильное устройство 120 выполняет обработку съемки изображения, используя модуль 605 камеры, выполняя управление платформой 606 камеры (SEQ1002). После обработки снятого изображения и генерирования широкоугольного изображения, такого как изображение "всего неба", изображение передают в дисплей 110, устанавливаемый на голове (SEQ1003). Однако мобильное устройство 120 может не выполнять формирование изображений в ответ на запрос из дисплея 110, устанавливаемого на голове, но может постоянно выполнять обработку съемки изображений, и передавать широкоугольное изображение, такое как изображение "всего неба", в дисплей 110, устанавливаемый на голове, в заданное время.
Во время передачи изображения или в некоторое другое время, мобильное устройство 120 также может передавать информацию о местоположении, о положении, и о скорости основной рамы мобильного устройства 120, измеряемой модулем 604 детектирования местоположения/положения/скорости.
На стороне дисплея 110, устанавливаемого на голове, модуль 404 детектирования положения/местоположения детектирует движение головы пользователя, или направления линии обзора (SEQ1004). В соответствии с детектируемым направлением линии обзора, управляют положением области отображения, которая должна быть вырезана из принятого снятого изображения, и вырезанное изображение отображают на панели 409 дисплея (SEQ1005).
На фиг. 11 показана модификация последовательности операций для отображения широкоугольного изображения, такого как изображение "всего неба", снятого на стороне мобильного устройства 120, при этом обеспечивается следование широкоугольного изображения положению головы пользователя на стороне дисплея 110, устанавливаемого на голове. В последовательности операций, показанной на чертеже, выполняют передачу данных непосредственно между дисплеем 110, устанавливаемым на голове, и мобильным устройством 120, но некоторое другое устройство, такое как контроллер 130, может быть установлено между дисплеем 110, устанавливаемым на голове, и мобильным устройством 120.
На стороне дисплея 110, устанавливаемого на голове, модуль 404 детектирования положения/местоположения отслеживает движения головы пользователя, или направления линии обзора (SEQ1101).
Дисплей 110, устанавливаемый на голове, передает запрос снятого изображения в мобильное устройство 120, который движется, будучи управляемым дистанционно с помощью контроллера 130 (SEQ1102). При этом, дисплей 110, устанавливаемый на голове, также передает информацию о линии обзора пользователя.
В ответ на запрос снятого изображения мобильное устройство 120 выполняет обработку съемки изображения с помощью модуля 605 камеры, приводя в движение платформу 606 камеры (SEQ1103). После обработки снятого изображения и генерирования широкоугольного изображения, такого как изображение "всего неба", изображение в отображаемой области, в соответствии с линией обзора пользователя, вырезают (SEQ1104) и передают в дисплей 110, устанавливаемый на голове (SEQ1105).
Во время передачи изображения мобильное устройство 120 также может передавать информацию о местоположении, положении и скорости основной рамы мобильного устройства 120, измеряемую модулем 604 детектирования местоположения/положения/скорости. В случае мобильного устройства 120-2, которое представляет собой автомобиль, скорость движения может быть рассчитана, например, по количеству оборотов электродвигателя, по передаточному числу редуктора и диаметру шин. В качестве альтернативы, на стороне дисплея 110, устанавливаемого на голове, относительная скорость мобильного устройства 120 может быть измерена с использованием внешней камеры 413.
Дисплей 110, устанавливаемый на голове, затем отображает принятое изображение на панели 409 дисплея (SEQ1106).
Когда обеспечивается следование широкоугольного изображения, такого как изображение "всего неба", снятое на стороне мобильного устройства 120, положению головы пользователя, и его отображают на стороне дисплея 110, устанавливаемого на голове, становится возможным выполнять либо последовательность операций, показанную на фиг. 10, или последовательность операций на фиг. 11. Для простоты пояснения представленное ниже описание основано на предположении, что будет выполняться последовательность операций, показанная на фиг. 10.
Б. Приложение обработки изображения
Далее представлено подробное описание обработки, выполняемой, когда изображение, снятое на стороне мобильного устройства 120, отображается на дисплее 110, устанавливаемом на голове.
В-1. Способ отображения трехмерного изображения "всего неба"
Модуль 605 камеры сформирован с использованием стереокамеры, как показано на фиг. 8В. При этом отсутствует схождение между камерой левого глаза и камерой правого глаза, соответствующие линии обзора установлены практически параллельно, и выполняется формирование изображения с глубоким фокусом.
В то же время, человек проявляет тенденцию смотреть на объекты, расположенные на расстоянии, при движении с высокой скоростью, но проявляет тенденцию просматривать расположенные рядом объекты при движении с низкой скоростью.
Ввиду этого, когда дисплей 110, устанавливаемый на голове, отображает изображения, снятые мобильным устройством 120, точку схождения регулируют на основе информации о скорости мобильного устройства 120 в процессе, выполняемом, например, модулем 703 комбинирования изображения.
В случае, когда IL и IR представляют изображения, снятые камерой для левого глаза и камерой для правого глаза, используя способ параллельного глубокого фокусирования (см. фиг. 12А), по мере того, как скорость мобильного устройства 120 становится выше, наложение между правым и левым изображениями, IL и IR становится меньшим, для увеличения расстояния до точки схождения или точки, где линии обзора правого и левого глаз пересекаются. Таким образом, пользователь может наблюдать изображение, которое выглядит более ясным на большем расстоянии (см. фиг. 12В). В связи с регулировкой точки схождения, также выполняется регулировка точки фокусирования таким образом, что другие области, кроме фиксированного положения на экране (точка схождения), становятся размытыми. Таким образом, усиливается визуальный эффект, который делает расположенные дальше от пользователя объекты более четкими, и пользователь может ощущать более реалистичное ощущение поездки на объекте, движущемся с высокой скоростью.
По мере того, как скорость мобильного устройства 120 становится ниже, наложение между правым и левым изображениями, IL и IR становится большим, что сокращает расстояние до точки схождения или точки, где пересекаются линии обзора правого и левого глаз. Таким образом, пользователь может наблюдать изображение, которое выглядит более четко на более близком расстоянии (см. фиг. 12С). В связи с регулировкой точки схождения, также выполняется регулировка точки фокусирования таким образом, что другие области, кроме фиксированного положения на экране, становятся размытыми. Таким образом, усиливается визуальный эффект, который делает более четкими расположенные ближе к пользователю объекты, и пользователь может ощущать более реалистичное ощущение езды на объекте, движущемся с малой скоростью.
Вкратце, при учете перемещения, связанного со скоростью точки обзора, включающей в себя точку фокусирования человека, человек может наслаждаться естественным просмотром. Когда скорость мобильного устройства 120 становится выше, пользователь может видеть объекты, расположенные дальше, через дисплей 110, устанавливаемый на голове. Когда скорость мобильного устройства 120 становится ниже, пользователь может видеть расположенные ближе объекты.
В-2. Способ съемки трехмерного изображения "всего неба"
В случае, когда следует снять трехмерное изображение для отображения "всего неба", если выполняется частичное изменение масштаба изображения, наблюдается изображение типа изображения заднего плана, как если бы пользователь использовал телескоп. Это связано с тем, что расстояние между точками обзора является фиксированным. Поэтому, на стороне мобильного устройства 120 выполняют формирование изображений, в то время как стереокамера, в которой изменяется расстояние между точками обзора для правой и левой камер, изменяет расстояние между точками обзора, в соответствии с увеличением при изменении масштаба изображения, для получения естественного трехмерного изображения "всего неба". В качестве альтернативы, в случае, когда расстояние между точками обзора камеры для левого глаза и камеры для правого глаза является фиксированным, мобильное устройство 120 или дисплей 110, устанавливаемый на голове, может выполнять обработку изображений, для расширения точки обзора, такую как экстраполяция за пределами точек обзора камер.
В частности, на стороне мобильного устройства 120, стереокамера выполнена с возможностью перемещения на расстояние 50-100 мм, которое представляет собой расстояние d между точками обзора камеры для левого глаза и камеры для правого глаза (см. фиг. 13А). Расстояние между точками обзора увеличивается во время увеличения масштаба изображения, но уменьшается во время уменьшения масштаба изображения. В случае, когда установлена стереокамера, эта ситуация формируется путем изменения расстояния между точками обзора во время изменения масштаба изображения. На фиг. 13В показана ситуация, где расстояние d между точками обзора, между камерой для левого глаза и камерой для правого глаза сокращается до 50 мм, при уменьшении масштаба изображения. В этой ситуации дисплей 110, устанавливаемый на голове, или контроллер 130 может непосредственно управлять модулем 605 камеры таким образом, что трехмерное изображение можно просматривать в режиме реального времени. В качестве альтернативы, изображения, снятые с разными расстояниями между точки обзора, записывают, и расстояние между точками обзора изображения, предназначенного для воспроизведения, изменяют синхронно с операцией изменения масштаба изображения во время просмотра. Кроме того, во время просмотра изображение с промежуточным расстоянием между точками обзора может быть сгенерировано в ходе обработки изображений, синхронно с выполнением операции изменения масштаба изображения.
В случае, когда расстояние между точками обзора стереокамеры является фиксированным, изображения точки обзора с разными расстояниями между точками обзора комбинируют, используя обработку изображений, и воспроизводимое изображение переключают на комбинированное изображение синхронно с изменением масштаба изображения. Таким образом, можно выполнять изменение масштаба изображения, как естественное перемещение точки обзора.
Когда просматривают трехмерное изображение "всего неба", снятое на стороне мобильного устройства 120, используя дисплей 110, устанавливаемый на голове, может быть достигнут эффект движения точки обзора путем изменения расстояния между точками обзора, между отображаемыми правым и левым изображениями. Однако, эффект параллакса трехмерного движения, используя движение точки обзора, не достигается. Для получения эффекта параллакса трехмерного движения, необходимо генерировать значения параллакса, используя некоторое другое средство, такое как обработка изображений, которая учитывает значения параллакса движения.
В-3. Взаимодействие между положением головы пользователя и снятым изображением
В случае, когда систему координат, представляющую панорамную съемку, наклон и качания в стороны головы пользователя (см. фиг. 5) сопоставляют с системой координат панорамной съемки, наклона и качания в стороны модуля 605 камеры (см. фиг. 8А), в области отображения изображения, которая следует движению головы пользователя, обращенной вперед, видна нижняя сторона, в то время как мобильное устройство 120 движется. Например, в случае мобильного устройства 120-2, которое представляет собой автомобиль, видна только поверхность земли. Поэтому, для получения изображения сцены перед мобильным устройством 120-2, пользователь должен наклонять свою голову в направлении вверх и наклонять модуль 605 камеры, установленный на мобильном устройстве 120-2, также в направлении вверх (см. фиг. 14). Однако если пользователь продолжит смотреть вверх во время движения мобильного устройства 120-2, то шея пользователя устанет.
Для учета этой проблемы, ось наклона модуля 605 камеры, установленная на мобильном устройстве 120-2, может быть закреплена в положении, которое смещено вверх на Δθy от оси наклона головы пользователя.
Например, когда на пользователя надет дисплей 110, устанавливаемый на голове, и он смотрит вверх под определенным углом Δθy, смещение на Δθy, оси наклона модуля 605 камеры может быть запрошено через модуль 403 ввода операции. Как показано на фиг. 15, даже если пользователь снова обратится вперед после запроса смещения Δθy, положение модуля 605 камеры, который взаимодействует с головой пользователя, останется закрепленным в положении, которое смещено в направлении наклона вверх на Δθy.
В качестве альтернативы, инструкция по смещению на Δθy для оси наклона модуля 605 камеры может быть передана из дисплея 110, устанавливаемого на голове, в мобильное устройство 120 непосредственно или через контроллер 130. В этом случае, на стороне мобильного устройства 120 выполняют, например, обработку смещения системы координат на платформе 606 камеры. При смещении оси наклона снятое изображение, которое следует движению головы пользователя, вырезают и отображают.
В качестве альтернативы, вместо передачи инструкции по смещению системы координат в мобильное устройство 120, внутренняя обработка дисплея 110, устанавливаемого на голове, может реализовать ту же обработку, как описана выше. Например, в ответ на инструкцию по смещению на Δθy для оси наклона, поступающую от пользователя, модуль 701 управления областью отображения устанавливает область отображения, которая смещена вверх в направлении наклона на Δθy от оси наклона линии обзора пользователя, детектируемой модулем 404 детектирования положения/местоположения.
Ось наклона модуля 605 камеры, конечно, может быть смещена на Δθy, не только в направлении вверх, но также и в направлении вниз. Аналогично, смещение ±Δθx в направлении панорамной съемки или смещение ±Δθz в направлении качания в стороны (см. фиг. 16) могут быть выполнены так, что снятое изображение, которое следует движению головы пользователя, будет вырезано и будет отображаться.
В случае, когда мобильное устройство 120 становится неспособным управлять контроллером 130, например, когда мобильное устройство 120-2, такое как гоночный автомобиль, движется, теряя управление во время движения, если изображение, снятое модулем 605 камеры, которое также движется, отображается на стороне дисплея 110, устанавливаемого на голове в режиме реального времени, отображаемая сцена быстро меняется, что приводит к тому, что у пользователя кружится голова, хотя пользователь не перемещал свою линию обзора. Поэтому, система координат модуля 605 камеры разработана таким образом, что снятое изображение не меняется быстро, независимо от движения головы пользователя. В качестве альтернативы, изображение, снятое в определенной точке (например, сразу после начала заноса), сохраняется, и обработка переключения отображения, которая следует движению линии обзора пользователя, может быть выполнена в это время на основе системы координат модуля 605 камеры.
В-4. Обратная связь с пользователем
Как описано выше, дисплей 110, устанавливаемый на голове, включает в себя модуль 412 обратной связи, обеспечивающий ощущение операций, который задает обратную связь, обеспечивающую ощущение операции для пользователя, используя тактильное ощущение или вибрацию. Дисплей 110, устанавливаемый на голове, представляет собой устройство, надеваемое на пользователя, и может предоставлять тактильное ощущение или вибрацию, как эффективную обратную связь, непосредственно для пользователя.
В то же время, каждое мобильное устройство 120 оборудовано датчиком ускорения, в качестве модуля 604 детектирования местоположения/положения/скорости, и может детектировать колебание и влияние, воздействующее на устройство во время полета, движения или перемещения по воде.
Учитывая это, при отображении изображения, снятого на стороне мобильного устройства 120, дисплей 110, устанавливаемый на голове, постоянно отслеживает значение, детектируемое датчиком ускорения мобильного устройства 120, и передает инструкции в модуль 412 обратной связи ощущения операции для вывода обратной связи, в соответствии с колебаниями и влиянием, которому подвергается мобильное устройство 120.
Когда мобильное устройство 120 сталкивается с препятствием, которое не существует в реальном мире, но отображается в AR модулем 703 комбинирования изображения, модуль 412 обратной связи для ощущения операции также получает инструкции для вывода обратной связи, в соответствии с виртуальным столкновением.
В-5. Отображение изображения AR
В обычном FPV изображение, снятое камерой, установленной на радиоуправляемой модели, отображается, как оно есть. В данном варианте осуществления, с другой стороны, дисплей 110, устанавливаемый на голове накладывает несуществующее изображение AR на изображение, снятое на стороне мобильного устройства 120, и затем отображает наложенное изображение.
В случае, когда мобильное устройство 120-1 представляет собой летающий объект, такой как самолет или вертолет, изображение AR пилона и т.п. накладывают на снятое изображение, которое предназначено для отображения. В случае мобильного устройства 120-2, предназначенного для движения по земле, такого как автомобиль (гоночный автомобиль), изображение AR курса гонки, такого как область действий, накладывают на снятое изображение, предназначенное для отображения. В случае мобильного устройства 120-3, которое представляет собой судно, такое как яхта, AR изображение бакена накладывают на снятое изображение, предназначенное для отображения.
В случае, когда сайт AR изображения зарегистрирован заранее, дисплей 110, устанавливаемый на голове, постоянно отслеживает текущее местоположение мобильного устройства 120, отображая снятое изображение. Когда мобильное устройство 120 достигает сайта (или сайт будет показан в снятом изображении), начинается обработка отображения AR изображения. Не только указательный столб для движения мобильного устройства 120, такой как столб или бакен, но также и виртуальное препятствие, которое препятствует движению мобильного устройства 120, или запрещенная область, такая как область, опасная для перемещения по ней мобильного устройства 120, или размещения других людей, может быть показана в AR изображении. На фиг. 28 показана ситуация, где AR изображение виртуального препятствия 2801 и запрещенная область 2802 отображаются в изображении линии обзора автомобиля (реальный мир), снятом мобильным устройством 120-2.
В случае, когда объект, предназначенный для отображения в AR изображении, регистрируют заранее, дисплей 110, устанавливаемый на голове, распознает объекты, показанные в снятом изображении, переданном из мобильного устройства 120. Когда зарегистрированный объект будет найден, начинается обработка отображения AR изображения. Зарегистрированный объект может представлять собой продукт, человека, домашнее животное, растение, здание и т.п., которые ищет пользователь.
AR изображение объекта отображается в случае, когда продукт и т.п., который ищет пользователь, выделяют, или когда объект (который должен быть скрыт от пользователя) удаляют с экрана.
В случае, когда состояние отображения AR изображения зарегистрировано заранее, дисплей 110, устанавливаемый на голове, отслеживает текущее состояние мобильного устройства 120. Когда мобильное устройство 120 входит в состояние, зарегистрированное заранее, начинается обработка отображения AR изображения. Пример упомянутого выше состояния представляет собой состояние, в котором радиоволны, принятые от контроллера 130, становятся более слабыми, и управление не может быть выполнено. В таком случае область, где радиоволны не могут быть приняты, устанавливается, как "запрещенная область", и направление, предотвращающее попадание мобильного устройства 120 в запрещенную область, отображается, как AR изображение. При выполнении операции системы 100 отображения изображения, конечно, возможно предоставлять фактическое направление, такое как предупреждающий знак, обозначающее запрещенную область.
Кроме того, если мобильные устройства 120, расположенные в тех же положениях, представляют собой определенные объекты, или находятся в том же состоянии, разные изображения AR могут быть отображаться в соответствии с характеристиками (возраст, национальность, пол, личное свойство и т.п.) соответствующих пользователей или навыками соответствующих пользователей, управляющих мобильными устройствами 120. Например, ожидается, что различные изображения AR требуются для взрослого пользователя и пользователя - ребенка. Кроме того, предпочтительно отображать AR изображение для начинающего, чем для лица, обладающего хорошими навыками.
В-6. Отображение относительного местоположения пользователя
В системе 100 отображения изображения, в соответствии с данными вариантами осуществления, пользователь может наблюдать снятое изображение, используя дисплей 110, устанавливаемый на голове, при движении мобильного устройства 120, управляя контроллером 130. Пользователь может наблюдать сцену удаленного места, в которое движется мобильное устройство 120, хотя пользователь не движется вообще.
При этом, пользователь может распознавать место формирования изображений, путем отслеживания информации о местоположении, которая выводится из модуля 604 детектирования местоположения/положения/скорости мобильного устройства 120. Однако даже если пользователь желает перейти в это место, он или она не может немедленно определить, в каком направлении нужно пойти, просто путем просмотра снятого изображения.
Ввиду этого, дисплей 110, устанавливаемый на голове, может отображать AR изображение, обозначающее взаимосвязь положения между пользователем и мобильным устройством 120 в снятом изображении, переданном из мобильного устройства 120. По мере того, как дисплей 110, устанавливаемый на голове, отображает информацию о местоположении пользователя, пользователь может получать функцию навигации, а также наслаждаться FPV.
Отображаемое изображение взаимосвязи положения может быть сгенерировано в дисплее 110, устанавливаемом на голове, модулем 703 комбинирования изображения, на основе информации о местоположении пользователя, детектируемой модулем 404 детектирования местоположения/положения, и информации о местоположении мобильного устройства 120, детектируемой модулем 604 детектирования местоположения/положения/скорости мобильного устройства 120.
В случае, когда отображается информация о местоположении, относящаяся к пользователю, например, информация о местоположении пользователя может отображаться, как малый экран на экране, отображающем изображение, снятое мобильным устройством 120, как показано на фиг. 17. Малый экран представляет, например, изображение карты, и соответствующие пиктограммы, обозначающие текущее местоположение мобильного устройства 120 и текущее местоположение пользователя, показаны в изображении. В качестве альтернативы, в зависимости от операции пользователя через модуль 402 ввода операций, информация о местоположении пользователя может отображаться на большом экране, и снятое изображение может отображаться на малом экране, как показано на фиг. 18.
В случае, когда отображается информация о местоположении пользователя, север располагается с верхней стороны, как показано в фиг. 17 и 18 (Север), мобильное устройство 120 движется вверх по дисплею, как показано на фиг. 19, или линия обзора пользователя направлена в направлении вверх на дисплее, как показано на фиг. 20. Направление движения мобильного устройства 120 может быть детектировано модулем 604 детектирования местоположения/положения/скорости. Направление линии обзора пользователя может быть детектировано модулем 404 детектирования положения/местоположения или модулем 411 детектирования состояния.
В каждом из примеров, показанных на фиг. 17-20, пользователь и мобильное устройство 120 размещены на экране, представляющем карту, таким образом, что могут отображаться соответствующие абсолютные места положения. Однако экран с картой может не использоваться, и могут отображаться относительные местоположения пользователя и мобильного устройства 120.
В случае, когда мобильное устройство 120 представляет собой подводную лодку и т.п., которая движется под водой, может быть трудно принимать сигналы GPS. Поэтому, информация об абсолютном местоположении может быть получена с помощью вспомогательного средства, такого как подводная акустическая передача данных.
В-7. Автоматическое отслеживание мобильного устройства
В представленных выше описанных вариантах осуществления наблюдают, так называемое, FPV (изображение точки обзора первого лица), снятое мобильным устройством 120, которое отображается на дисплее 110, устанавливаемом на голове. Некоторые пользователи хотят наблюдать сцену, включающую в себя мобильное устройство 120.
Ввиду этого, может быть предусмотрено автоматическое следящее устройство, которое отслеживает заднюю строну (или боковую сторону) мобильного устройства 120, и изображение, снятое автоматическим следящим устройством, может отображаться в дисплее 110, устанавливаемом на голове.
На фиг. 21 показана ситуация, когда автоматическое следящее устройство 2100, оборудованное камерой 2101, отслеживает заднюю часть мобильного устройства 120-1, летящего в воздухе, или мобильного устройства 120-2. На фиг. 22 показан пример изображения мобильного устройства 120-1, снятого сзади камерой 2101 автоматического следящего устройства 2100.
Автоматическое следящее устройство 2100 может не летать, как показано на фиг. 21, и может быть реализовано устройство с меньшими затратами, при использовании вторичной камеры, которая снимает изображения мобильного устройства 120, снимающего изображение с задней части, как показано на фиг. 8С.
В-8. Переключение экрана
В описанных выше вариантах осуществления изображения сцены удаленного места, снятые мобильным устройством 120 (или изображение, снятое автоматическим следящим устройством 2100), отображаются на дисплее 110, устанавливаемом на голове.
В то же время, внешняя камера 413 размещена практически в центре передней поверхности основной рамы дисплея 110, устанавливаемого на голове, имеющего форму, подобную очкам, или форму, подобную шляпе (см. фиг. 2), и может снимать окружающие изображения. Кроме того, выполняется управление положением в направлениях панорамной съемки, наклона и качания в стороны внешней камеры 413, в соответствии с направлением линии обзора пользователя, детектируемой модулем 411 детектирования информации о состоянии, таким образом, что изображение уровня линии обзора пользователя может быть снято, используя внешнюю камеру 413.
Учитывая это, экран панели 409 дисплея может переключаться между изображением, снятым мобильным устройством 120, и изображением, снятым внешней камерой 413, в соответствии с операцией пользователя и т.п. через модуль 402 ввода операций. На фиг. 23 показан пример изображения линии обзора автомобиля, снятого мобильным устройством 120-2, который представляет собой автомобиль. На фиг. 24 показан пример ситуации, где пользователь, на которого надет дисплей 110, устанавливаемый на голове, следует своими глазами движению мобильного устройства 120-3. На фиг. 25 показан пример изображения собственной лини обзора пользователя, глаза которого следуют за мобильным устройством 120-3. Изображение собственной линии обзора снимает внешняя камера 413.
Модуль 605 камеры, установленный на мобильном устройстве 120, представляет собой, по меньшей мере, одну камеру, и, в основном, выполняет формирование изображений с точки обзора первого лица, такого как оператор. Однако модуль 605 камеры может дополнительно включать в себя камеру, которая выполняют формирование изображений из других положений точки обзора.
Например, мобильное устройство 120-2, такое как автомобиль, оборудовано камерами, которые включают в себя камеру, которая снимает изображение на линии обзора автомобиля перед направлением движения, камеру, которая снимает изображения сцены, отражаемой правым и левым зеркалами бокового обзора, камеру, которая снимает изображение сцены, отражаемой зеркалом заднего вида, и камеру, которая снимает изображение сцены, отражаемой, когда пользователь смотрит на измерительные приборы и датчики. В качестве альтернативы, мобильное устройство 120-2 может быть оборудовано одной камерой, но платформа 606 камеры может перемещать положение точки обзора камеры.
В этом случае, изображения, снятые камерами из соответствующих положений точек обзора, располагаются, например, так, как показано на фиг. 26. В примере, показанном на чертеже, снятое изображение на линии обзора автомобиля помещают в центре, снятые изображения на линиях обзора правого и левого зеркал заднего вида, размещают справа и слева от изображения линии обзора автомобиля, изображение линии обзора зеркала заднего вида помещают над изображением линии обзора автомобиля, и изображение, снятое на линии обзора при просмотре измерительных приборов и датчиков, помещают под изображением линии обзора автомобиля. На стороне дисплея 110, устанавливаемого на голое, область отображения не перемещается в соответствии с движением головы пользователя, но изображение, отображаемое на панели 409 дисплея, переключают на изображение линии обзора "левого зеркала бокового обзора", когда голова поворачивается влево, переключают на изображение линии обзора "правого зеркала бокового обзора", когда голова поворачивается вправо, переключают на изображение линии обзора зеркала заднего вида, когда голову поднимают вверх, и переключают на изображение линии обзора измерительных приборов, когда голова наклоняется вниз. Когда голова пользователя снова обращена вперед, изображение, отображаемое на панели 409 дисплея, возвращается к изображению линии обзора автомобиля.
В-9. Коррекция изображения
В случае, когда снятое широкоугольное изображение, такое как изображение "всего неба", просматривают в узкой области отображения, когда пользователь наклоняет свою голову, модуль 701 управления областью отображения перемещает область отображения вверх или вниз, в соответствии с наклоном, и модуль 702 вырезания изображения вырезает отображаемое изображение в области отображения перемещения (см. фиг. 9). Когда пользователь наклоняет свою голову вверх и перемещает вверх область отображения, расстояние от плоскости проецирования будет больше на верхней кромке области отображения. Поэтому, отображаемое изображение имеет трапециевидную форму с более короткой верхней кромкой, чем верхняя кромка отображаемого кадра панели 409 дисплея. Аналогично, когда пользователь наклоняет свою голову вниз, расстояние от плоскости проектирования больше на нижней кромке области отображения. Поэтому, отображаемое изображение имеет трапециевидную форму с более короткой нижней кромкой, чем нижняя кромка отображаемого кадра панели 409 дисплея (см. фиг. 27). Трапециевидное изображение приводит к странному ощущению пользователя, который просматривает изображение.
Учитывая это, модуль 703 комбинирования изображения выполняет коррекцию трапециевидного искажения таким образом, что изображение, просматриваемое пользователем, всегда имеет прямоугольную форму.
В-10. Обработка стабилизации изображения
В случае мобильного устройства 120-2, такого как автомобиль, например, снятое изображение может подвергаться вертикальной или горизонтальной тряске, из-за влияния неровной поверхности дороги, по которой движется мобильное устройство 120-2. В случае мобильного устройства 120-1, такого как летающий объект, такой как самолет или вертолет, снятое изображение может быть подвергнуто горизонтальной тряске из-за влияния потока воздуха и т.п. В случае мобильного устройства 120-3, такого как судно, движущееся по воде, такое как яхта, снятое изображение подвержено тряске из-за влияния потока волн в то время, как судно плывет.
Когда человек просматривает изображение, снятое в условиях тряски, человек ощущает приступы морской болезни. Обычно непредсказуемые сотрясения с медленными волнами и большой амплитудой легко приводят к болезненным ощущениям у человека.
Когда возникают сотрясения в изображении, снятом мобильным устройством 120, это изображение может быть отображено только после устранения сотрясений на стороне дисплея 110, устанавливаемого на голове.
Когда переменные сотрясения с медленными волнами и большой амплитудой детектируется при отслеживании значения, детектируемого датчиком ускорения на стороне мобильного устройства 120, например, начинают обработку коррекции сотрясений на стороне дисплея 110, устанавливаемого на голове.
Например, модуль 701 управления областью отображения вводит значение, детектируемое датчиком ускорения на стороне мобильного устройства 120, добавляет детектированное значение к информации о положении головы пользователя, определяет местоположение и положение области отображения, для того, чтобы устранить сотрясения в мобильном устройстве 120, и выводит местоположение и положение в модуль 702 вырезания изображения.
В качестве альтернативы, модуль 702 вырезания изображения вводит значение, детектируемое датчиком ускорения на стороне мобильного устройства 120, корректирует местоположение и положение области отображения, определяемой модулем 701 управления областью отображения, на основе информации о положении головы пользователя, для того, чтобы устранить сотрясения мобильного устройства 120, и вырезает изображение в области отображения снятого изображения.
Модуль 703 комбинирования изображения и т.п. может выполнять обработку коррекции сотрясений, путем переключения движущегося изображение на изображение замедленной съемки или выполнения утончения кадра. В случае, когда изображение движения переключают на изображение замедленной съемки, только участки с движением в кадрах могут быть переведены в участки изображения замедленной съемки.
При обработке коррекции тряски сотрясения могут быть исключены не путем выполнения описанной выше обработки изображений, а путем уменьшения размера экрана только при детектировании сотрясений в мобильном устройстве 120, при этом уделяется внимание тому факту, что человек может легко ощущать болезненные приступы при большом экране. Оптический модуль 410 виртуального изображения формирует увеличенное виртуальное изображение для изображения, отображаемого на панели дисплея 409, как описано выше. Оптический модуль 410 виртуального изображения может регулировать степень увеличения, или панель 409 дисплея может уменьшить размер отображения.
Оптическая система модуля 605 камеры, конечно, может быть предусмотрена на стороне мобильного устройства 120, или обработка изображений, конечно, может иметь функцию коррекции сотрясений.
С. Выводы
Технология, раскрытая в данном описании, может быть воплощена в структурах, описанных ниже.
(1) Устройство отображения изображения, включающее в себя:
модуль дисплея, устанавливаемый на голове пользователя;
модуль детектирования положения, который детектирует положение головы; и
модуль управления отображением, который управляет отображением изображения модуля дисплея на основе положения головы, изображение снимают с помощью мобильного устройства.
(2) Устройство отображения изображения по (1), в котором модуль управления отображением устройства отображения изображения вырезает область, соответствующую положению головы, из широкоугольного изображения, снятого мобильным устройством, и отображает вырезанную область в модуле дисплея.
(3) Устройство отображения изображения по (1), в котором, когда отображают множество изображений точки обзора, снятых из множества точек обзора, используя способ параллельного глубокого фокусирования, модуль управления отображением устройства отображения изображения регулирует точку схождения между изображениями точки обзора на основе скорости движения движущегося объекта.
(4) Устройство отображения изображения по (1), в котором модуль управления отображением устройства отображения изображения отображает изображение с расстоянием между точками обзора, которое соответствует операции изменения масштаба изображения в модуле дисплея.
(5) Устройство отображения изображения по (1), в котором направление линии обзора модуля камеры мобильного устройства смещается, по меньшей мере, в одном из направлений, таком как направление панорамной съемки, наклон и качание в стороны относительно положения головы.
(6) Устройство отображения изображения по (1), дополнительно включающее в себя
модуль обратной связи для ощущения операций, который передает по каналу обратной связи ощущение операции пользователю через тактильное ощущение или вибрацию,
в котором обратная связь для пользователя основана на ускорении, которому подвергается мобильное устройство при движении.
(7) Устройство отображения изображения по (1), в котором модуль управления отображением устройства отображения изображения накладывает AR изображение на изображение реального мира, снятое мобильным устройством, перед отображением изображения.
(8) Устройство отображения изображения по (7), в котором модуль управления отображением устройства отображения изображения отображает AR изображение, соответствующее, по меньшей мере, одному из текущего местоположения мобильного устройства, объекта, включенного в снятое изображении, и состояния мобильного устройства.
(9) Устройство отображения изображения по (1), в котором модуль управления отображением устройства отображения изображения отображает информацию о местоположении вокруг мобильного устройства и пользователя.
(10) Устройство отображения изображения по (1), в котором модуль управления отображением устройства отображения изображения дополнительно отображает изображение, снятое автоматическим следящим средством, которое снимает изображение при отслеживании мобильного устройства.
(11) Устройство отображения изображения по (1), дополнительно включающее в себя
модуль получения изображения линии собственного обзора, который получает изображение линии собственного обзора, которое можно видеть на линии обзора пользователя.
в котором модуль управления отображением переключает изображение, отображаемое между изображением движущегося объекта на линии собственного обзора, снятым мобильным устройством, и изображением линии собственного обзора.
(12) Устройство отображения изображения по (1), в котором модуль управления отображением устройства отображения изображения переключает изображение между изображениями, снятыми из множества положений точек обзора мобильного устройства, в соответствии с положением головы.
(13) Устройство отображения изображения по (1), в котором модуль управления отображением устройства отображения изображения корректирует сотрясения в движущемся изображении, снятом мобильным устройством, перед отображением движущегося изображения.
(14) Способ отображения изображения, включающий в себя:
этап детектирования положения, состоящий в детектировании положения головы пользователя; и
этап управления отображением изображения на основе положения головы, изображение снимают мобильным устройством.
(15) Система отображения изображения, включающая в себя:
мобильное устройство, которое снимает изображение во время движения; и
устройство отображения изображения, которое отображает изображение, снятое мобильным устройством, в соответствии с положением головы пользователя.
(16) Мобильное устройство, включающее в себя:
модуль камеры;
платформу камеры, которая управляет направлением линии обзора модуля камеры;
модуль движения, который перемещает устройство; и
модуль передачи данных, который передает данные, включающие в себя изображение, снятое модулем камеры,
в котором модуль камеры включает в себя множество камер, которые выполняют формирование изображений, используя способ параллельного глубокого фокусирования камеры, имеющей разные точки обзора.
(17) Мобильное устройство по (16), которое снимает изображение "всего неба", изменяя расстояние между точками обзора между камерами с разными точками обзора.
(18) Мобильное устройство по (16), которое экстраполирует изображения за пределами точек обзора камер из изображений, снятых камерами с разными точками обзора при фиксированном расстоянии между точками обзора.
(19) Компьютерная программа, записанная в формате, считываемом компьютером, компьютерная программа, обеспечивающая выполнение компьютером следующих функций:
модуля детектирования положения, который детектирует положение головы пользователя; и
модуля управления отображением, который управляет отображением изображения на основе положения головы, изображение, снимаемое мобильным устройством.
Промышленная применимость
Технология, раскрытая в данном описании, была подробно описана со ссылкой на конкретные варианты осуществления. Однако, очевидно, что специалисты в данной области техники могут выполнить модификации и замены вариантов осуществления, без выхода за пределы объема технологии, раскрытой в данном описании.
В данном описании были, в основном, описаны варианты осуществления, в которых технология, раскрытая в этом описании, применяется для системы, сформированной с дисплеем, устанавливаемым на голове, который устанавливают на голове или лице пользователя, и радиоуправляемые мобильные устройства. Однако объем технологии, раскрытой в данном описании, не ограничен структурой конкретного устройства отображения изображения.
Например, технология, раскрытая в данном описании, также может применяться в различных типах систем отображения, которые отображают широкоугольные изображения, снятые камерами, установленными на различных типах мобильных устройств с дистанционным управлением или камерами, установленными на живых существах, управляемых дистанционного, таких как птицы, млекопитающие, рептилии, амфибии, рыбы, насекомые, в соответствии с направлением линии обзора пользователя.
Мобильные устройства представляет собой радиоуправляемые модели самолета, вертолета, автомобиля, яхты и т.п., но также могут представлять собой фактические мобильные устройства, такие как самолет, вертолет, автомобиль и яхта. Что касается положений (панорамная съемка, наклон и качания в стороны), установленные камеры могут управляться дистанционно, мобильные устройства могут не быть управляемыми дистанционно или направляемыми дистанционно. Мобильные устройства могут не являться мобильными объектами, которые представляют собой механические устройства, но могут представлять собой жилые движущиеся объекты, такие как люди или животные.
Вкратце, технология, раскрытая в данном описании, была описана на примерах, и данное описание не следует интерпретировать, как ограничение. Формулу изобретения следует рассматривать с учетом понимания предмета технологии, раскрытой в данном описании.
Список номеров ссылочных позиций
100 Система отображения изображения
110 Дисплей, устанавливаемый на голове
120 Мобильное устройство
130 Контроллер
201, 202 Микрофон
401 Модуль управления
401A ROM
401В RAM
402 Модуль ввода операций
403 Модуль приема дистанционного управления
404 Модуль детектирования положения/местоположения
405 Модуль передачи данных
406 Модуль сохранения
407 Модуль обработки изображений
408 Модуль управления дисплеем
409 Панель дисплея
410 Оптический модуль виртуального изображения
411 Модуль детектирования состояния
412 Модуль обратной связи ощущения операции
413 Внешняя камера
601 Модуль управления
602 Модуль сохранения
603 Модуль механизма движения
604 Модуль детектирования местоположения/положения/скорости
605 Модуль камеры
606 Платформа камеры
607 Модуль передачи данных
701 Модуль управления областью отображения
702 Модуль вырезания изображения
703 Модуль комбинирования изображения

Claims (39)

1. Устройство отображения изображения, содержащее:
модуль отображения, устанавливаемый на голове пользователя;
модуль детектирования положения, выполненный с возможностью детектирования положения головы, и
модуль управления отображением, выполненный с возможностью управления отображением изображения на модуле отображения на основе положения головы, причем изображение фиксируется с помощью мобильного устройства,
при этом при отображении множества изображений точек обзора, фиксированных с множества точек обзора с использованием способа параллельного глубокого фокусирования, модуль управления отображением выполнен с возможностью регулировать точку схождения между изображениями точек обзора на основе скорости движения движущегося мобильного устройства.
2. Устройство отображения изображения по п. 1, в котором модуль управления отображением выполнен с возможностью вырезать область, соответствующую положению головы, из широкоугольного изображения, фиксируемого мобильным устройством, и отображать вырезанную область на модуле отображения.
3. Устройство отображения изображения по п. 1, в котором модуль управления отображением выполнен с возможностью отображения изображения так, что расстояние между точками обзора соответствует операции изменения масштаба изображения в модуле отображения.
4. Устройство отображения изображения по п. 1, в котором модуль управления отображением выполнен с возможностью наложения изображения дополненной реальности на изображение реального мира, фиксируемое мобильным устройством, перед отображением изображения.
5. Устройство отображения изображения по п. 4, в котором модуль управления отображением выполнен с возможностью отображения изображения дополненной реальности, соответствующего текущему местоположению мобильного устройства, и/или объекту, включенному в фиксируемое изображение, и/или состоянию мобильного устройства.
6. Устройство отображения изображения по п. 1, в котором модуль управления отображением выполнен с возможностью отображения информации о местоположении вокруг мобильного устройства и пользователя.
7. Устройство отображения изображения по п. 1, в котором модуль управления отображением выполнен с возможностью переключения отображаемого изображения между изображениями, фиксируемыми с множества положений точек обзора мобильного устройства, в соответствии с положением головы.
8. Система отображения изображения, содержащая:
мобильное устройство, выполненное с возможностью фиксации изображения во время движения, и
устройство отображения изображения по любому из пп. 1–7.
9. Система отображения изображения по п. 8, в которой направление линии обзора модуля камеры мобильного устройства смещено по меньшей мере в одном из направлений, таком как направление панорамной съемки, наклон и качание из стороны в сторону относительно положения головы.
10. Система отображения изображения по п. 8, в которой устройство отображения изображения дополнительно содержит
модуль обратной связи для восприятия операции, выполненный с возможностью создания восприятия операции у пользователя через тактильное ощущение или вибрацию,
при этом обратная связь для пользователя основана на ускорении, которому подвергается мобильное устройство при движении.
11. Система отображения изображения по п. 8, в которой модуль управления отображением дополнительно выполнен с возможностью отображения изображения, фиксируемого устройством автоматического слежения, выполненным с возможностью фиксации изображения при отслеживании мобильного устройства.
12. Система отображения изображения по п. 8, в которой устройство отображения изображения дополнительно содержит
модуль получения изображения линии собственного обзора, выполненный с возможностью получения изображения линии собственного обзора, видимого на линии обзора пользователя,
при этом модуль управления отображением выполнен с возможностью переключения отображаемого изображения между изображением на линии обзора движущегося объекта, фиксируемым мобильным устройством, и изображением линии собственного обзора.
13. Система отображения изображения по п. 1, в котором модуль управления отображением выполнен с возможностью коррекции тряски на движущемся изображении, фиксируемом мобильным устройством, перед отображением движущегося изображения.
14. Система отображения изображения по п. 8, в которой мобильное устройство содержит:
модуль камеры;
платформу камеры, выполненную с возможностью управления направлением линии обзора модуля камеры;
модуль движения, выполненный с возможностью перемещения устройства, и
модуль связи, выполненный с возможностью передачи данных, включающих в себя изображение, фиксируемое модулем камеры,
при этом модуль камеры включает в себя множество камер, выполненных с возможностью формирования изображений с использованием способа параллельного глубокого фокусирования, причем камеры имеют разные точки обзора.
15. Система отображения изображения по п. 14, в которой мобильное устройство выполнено с возможностью фиксации изображения "всего неба" посредством изменения расстояния между точками обзора и камер с разными точками обзора.
16. Система отображения изображения по п. 14, в которой мобильное устройство выполнено с возможностью экстраполяции изображения за пределами точек обзора камер на основе изображений, фиксируемых камерами с разными точками обзора при фиксированном расстоянии между точками обзора.
17. Способ отображения изображения, содержащий:
этап детектирования положения, на котором детектируют положение головы пользователя, и
этап управления отображением, на котором управляют отображением изображения на основе положения головы, причем изображение фиксируют мобильным устройством,
при этом этап управления дополнительно содержит этап, на котором при отображении множества изображений точек обзора, фиксированных с множества точек обзора с использованием способа параллельного глубокого фокусирования, регулируют точку схождения между изображениями точек обзора на основе скорости движения движущегося мобильного устройства.
18. Устройство хранения данных, хранящее компьютерную программу, записанную в формате, считываемом компьютером, причем компьютерная программа вызывает выполнение компьютером функций:
модуля детектирования положения, выполненного с возможностью детектирования положения головы пользователя, и
модуля управления отображением, выполненного с возможностью управления отображением изображения на основе положения головы, причем изображение фиксируется мобильным устройством,
при этом при отображении множества изображений точек обзора, фиксированных с множества точек обзора с использованием способа параллельного глубокого фокусирования, модуль управления отображением выполнен с возможностью регулировать точку схождения между изображениями точек обзора на основе скорости движения движущегося мобильного устройства.
RU2015116420A 2012-11-13 2013-10-02 Устройство и способ отображения изображения, мобильное устройство, система отображения изображения и компьютерная программа RU2646360C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012249614 2012-11-13
JP2012-249614 2012-11-13
PCT/JP2013/076830 WO2014077046A1 (ja) 2012-11-13 2013-10-02 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム

Publications (2)

Publication Number Publication Date
RU2015116420A RU2015116420A (ru) 2016-11-20
RU2646360C2 true RU2646360C2 (ru) 2018-03-02

Family

ID=50730967

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2015116420A RU2646360C2 (ru) 2012-11-13 2013-10-02 Устройство и способ отображения изображения, мобильное устройство, система отображения изображения и компьютерная программа

Country Status (7)

Country Link
US (1) US10108018B2 (ru)
EP (1) EP2922049A4 (ru)
JP (1) JPWO2014077046A1 (ru)
CN (1) CN104781873B (ru)
BR (1) BR112015010280B1 (ru)
RU (1) RU2646360C2 (ru)
WO (1) WO2014077046A1 (ru)

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015115848A (ja) * 2013-12-13 2015-06-22 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
EP3149938A1 (en) * 2014-05-27 2017-04-05 Telefonaktiebolaget LM Ericsson (publ) Remote control of a pivotable stereoscopic camera
CN104065952A (zh) * 2014-07-02 2014-09-24 联想(北京)有限公司 穿戴式电子设备和图像处理方法
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US20160011657A1 (en) * 2014-07-14 2016-01-14 Futurewei Technologies, Inc. System and Method for Display Enhancement
US10269132B2 (en) 2014-07-31 2019-04-23 Sony Corporation Displaying images according to head posture and camera posture
JP2016034091A (ja) * 2014-07-31 2016-03-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
CN105981379B (zh) 2014-09-17 2018-09-25 深圳市大疆创新科技有限公司 自动白平衡系统及方法
US10426668B2 (en) 2014-09-18 2019-10-01 Rohm Co., Ltd. Binocular display apparatus
JP6633269B2 (ja) * 2014-10-21 2020-01-22 ローム株式会社 視覚補助システム
CN105607253B (zh) * 2014-11-17 2020-05-12 精工爱普生株式会社 头部佩戴型显示装置以及控制方法、显示系统
JP6612865B2 (ja) * 2014-11-17 2019-11-27 ヤンマー株式会社 作業機の遠隔操作のための表示システム
EP3059658A1 (en) * 2015-02-18 2016-08-24 Nokia Technologies OY Apparatus, methods and computer programs for providing images
US10409464B2 (en) * 2015-03-18 2019-09-10 Microsoft Technology Licensing, Llc Providing a context related view with a wearable apparatus
JP5831893B1 (ja) * 2015-05-07 2015-12-09 立 寺坂 航空機の遠隔操縦システム
CN107615759B (zh) * 2015-06-10 2020-09-01 索尼互动娱乐股份有限公司 头戴式显示器、显示控制方法以及程序
US10192133B2 (en) 2015-06-22 2019-01-29 Seiko Epson Corporation Marker, method of detecting position and pose of marker, and computer program
US10192361B2 (en) 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
JP6605241B2 (ja) * 2015-07-07 2019-11-13 日立建機株式会社 遠隔操縦システム
JP6344723B2 (ja) 2015-07-14 2018-06-20 パナソニックＩｐマネジメント株式会社 映像表示システム、映像表示装置及び映像表示方法
WO2017022296A1 (ja) * 2015-08-03 2017-02-09 ソニー株式会社 情報管理装置及び情報管理方法、並びに映像再生装置及び映像再生方法
WO2017022363A1 (ja) * 2015-08-05 2017-02-09 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP6422584B2 (ja) * 2015-08-06 2018-11-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
JP6352874B2 (ja) * 2015-09-02 2018-07-04 株式会社東芝 ウェアラブル端末、方法及びシステム
JP2017079385A (ja) * 2015-10-20 2017-04-27 株式会社エヌアイデイ 映像及び音声を送信可能な装置を用いた相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラム
JP6930423B2 (ja) * 2015-11-17 2021-09-01 ソニーグループ株式会社 受信装置、受信方法および送受信システム
JP6532393B2 (ja) * 2015-12-02 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
US10347048B2 (en) * 2015-12-02 2019-07-09 Seiko Epson Corporation Controlling a display of a head-mounted display device
JP6411991B2 (ja) * 2015-12-16 2018-10-24 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN105898285A (zh) * 2015-12-21 2016-08-24 乐视致新电子科技（天津）有限公司 虚拟显示设备的影像播放方法和装置
CN111934704B (zh) 2015-12-24 2023-02-24 索尼互动娱乐股份有限公司 频带确定装置、头戴式显示器和频带确定方法
CN105653032B (zh) * 2015-12-29 2019-02-19 小米科技有限责任公司 显示调整方法及装置
CN107250895A (zh) * 2015-12-31 2017-10-13 深圳市柔宇科技有限公司 头戴式显示设备及其摄像头的调节方法
WO2017122299A1 (ja) * 2016-01-13 2017-07-20 フォーブ インコーポレーテッド 表情認識システム、表情認識方法及び表情認識プログラム
JP6668811B2 (ja) * 2016-02-23 2020-03-18 セイコーエプソン株式会社 訓練装置、訓練方法、プログラム
EP3432590A4 (en) * 2016-03-14 2019-02-27 Sony Corporation DISPLAY DEVICE AND TERMINAL INFORMATION PROCESSING DEVICE
JP6540572B2 (ja) 2016-03-29 2019-07-10 ブラザー工業株式会社 表示装置および表示制御方法
EP3446839B1 (en) * 2016-04-20 2023-01-18 Sony Interactive Entertainment Inc. Robot and housing
WO2017185316A1 (zh) * 2016-04-29 2017-11-02 深圳市大疆创新科技有限公司 一种无人机第一视角飞行的控制方法及系统、智能眼镜
CN109219789A (zh) * 2016-05-04 2019-01-15 深圳脑穿越科技有限公司 虚拟现实的显示方法、装置及终端
CN107462989A (zh) * 2016-06-06 2017-12-12 华硕电脑股份有限公司 影像稳定方法与电子装置
EP3460633A4 (en) * 2016-06-22 2019-04-17 Huawei Technologies Co., Ltd. VISIOCASTIC APPARATUS AND PROCESSING METHOD THEREOF
CN109564705B (zh) * 2016-07-29 2023-10-20 索尼公司 图像处理装置及图像处理方法
JP6732617B2 (ja) * 2016-09-21 2020-07-29 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
WO2018058264A1 (zh) * 2016-09-27 2018-04-05 深圳市大疆创新科技有限公司 一种基于影像的控制方法、装置及飞行器
WO2018058693A1 (zh) * 2016-10-01 2018-04-05 北京蚁视科技有限公司 一种防止用户眩晕的视频图像显示方法
KR20180040451A (ko) * 2016-10-12 2018-04-20 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
KR102612988B1 (ko) 2016-10-20 2023-12-12 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법
JP6904684B2 (ja) * 2016-11-04 2021-07-21 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN106780757B (zh) * 2016-12-02 2020-05-12 西北大学 一种增强现实的方法
CN106814735B (zh) * 2016-12-06 2020-08-14 北京臻迪科技股份有限公司 一种无人船的控制系统
CN106598390B (zh) * 2016-12-12 2021-01-15 联想(北京)有限公司 一种显示方法、电子设备及显示装置
KR20180068411A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 무인 비행 전자 장치의 운행 제어 방법 및 이를 지원하는 전자 장치
TWI632395B (zh) * 2016-12-27 2018-08-11 廣達電腦股份有限公司 虛擬實境裝置以及其畫面產生方法
CN106791691B (zh) * 2017-01-04 2021-09-14 北京臻迪科技股份有限公司 一种无人船的控制系统
JP2018112809A (ja) * 2017-01-10 2018-07-19 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP6919206B2 (ja) * 2017-01-27 2021-08-18 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
JP6717423B2 (ja) * 2017-03-23 2020-07-01 東芝三菱電機産業システム株式会社 鉄鋼プラントの分析支援装置
JP6699944B2 (ja) * 2017-03-27 2020-05-27 東芝情報システム株式会社 表示システム
CN107123158B (zh) * 2017-04-06 2020-12-29 北京臻迪科技股份有限公司 一种无人船的成像系统
CN106990848B (zh) * 2017-04-10 2023-06-20 河南中医药大学 一种虚拟现实防眩晕方法和系统
KR101895482B1 (ko) * 2017-04-13 2018-09-05 박대건 증강현실 원격제어 방법, 프로그램 및 시스템
US11202051B2 (en) 2017-05-18 2021-12-14 Pcms Holdings, Inc. System and method for distributing and rendering content as spherical video and 3D asset combination
US10139631B1 (en) * 2017-06-05 2018-11-27 Microsoft Technology Licensing, Llc Apparatus and method of 1:1 matching head mounted display view to head movement that controls articulated camera
CN110709920B (zh) * 2017-06-08 2022-11-08 佳能株式会社 图像处理设备及其控制方法
US10970943B2 (en) * 2017-06-09 2021-04-06 II Timothy Robert Hay Method and apparatus for a vehicle force indicator
CN107368192B (zh) * 2017-07-18 2021-03-02 歌尔光学科技有限公司 Vr眼镜的实景观测方法及vr眼镜
US20190124251A1 (en) * 2017-10-23 2019-04-25 Sony Corporation Remotely controllable camera on eyeglass-type mount for the blind
JP6693656B2 (ja) * 2017-11-14 2020-05-13 株式会社Ｂ．ｂ．ｄｅｓｉｇｎＬａｂ 瞳孔間のキャリブレーションプログラム、前記プログラムを用いたＷｅｂサーバ、及び、瞳孔間のキャリブレーション方法
CN108055523A (zh) * 2017-12-11 2018-05-18 大连高马艺术设计工程有限公司 一种基于图像传输和姿态感应的模拟主视角控制游乐系统
JP7059662B2 (ja) * 2018-02-02 2022-04-26 トヨタ自動車株式会社 遠隔操作システム、及びその通信方法
JP6678313B2 (ja) * 2018-05-10 2020-04-08 パナソニックＩｐマネジメント株式会社 映像表示システム、映像表示装置及び映像表示方法
JP7128409B2 (ja) * 2018-06-27 2022-08-31 学校法人東海大学 遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラム
CN110696712B (zh) * 2018-07-10 2021-02-09 广州汽车集团股份有限公司 汽车后视镜自动调节方法、装置、计算机存储介质与汽车
CN109040555A (zh) * 2018-08-22 2018-12-18 信利光电股份有限公司 一种fpv图像的显示系统及方法
US10823970B2 (en) 2018-08-23 2020-11-03 Apple Inc. Head-mounted electronic display device with lens position sensing
US10762660B2 (en) * 2018-09-28 2020-09-01 Verizon Patent And Licensing, Inc. Methods and systems for detecting and assigning attributes to objects of interest in geospatial imagery
JP2020145612A (ja) * 2019-03-07 2020-09-10 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理システム、画像処理方法、及びプログラム
CN109911140A (zh) * 2019-04-09 2019-06-21 上海萃钛智能科技有限公司 一种水域航行信息增强装置、系统及方法
JP7342409B2 (ja) * 2019-04-16 2023-09-12 凸版印刷株式会社 観察状態表示システム、観察状態表示方法及びプログラム
US11890424B2 (en) 2019-07-15 2024-02-06 International Business Machines Corporation Augmented reality enabled motion sickness reduction
JP2019213207A (ja) * 2019-07-24 2019-12-12 株式会社Ｄａｐリアライズ 無人移動体用端末装置、該無人移動体用端末装置によって制御される無人移動体、及び、無人移動体用端末装置用通信ユニット
JP6655751B1 (ja) * 2019-07-25 2020-02-26 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像表示制御装置、方法およびプログラム
DE102019124386A1 (de) * 2019-09-11 2021-03-11 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille in einem Fahrzeug sowie Virtual-Reality-System mit einer Virtual-Reality-Brille und einem Fahrzeug
JP6857701B2 (ja) * 2019-10-31 2021-04-14 ヤンマーパワーテクノロジー株式会社 作業機、表示装置および作業機の遠隔操作のための表示システム
CN113014871B (zh) * 2021-02-20 2023-11-10 青岛小鸟看看科技有限公司 内窥镜图像显示方法、装置及内窥镜手术辅助系统
WO2023203853A1 (ja) * 2022-04-20 2023-10-26 株式会社サンタ・プレゼンツ 遠隔体験システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5905525A (en) * 1995-07-13 1999-05-18 Minolta Co., Ltd. Image display apparatus having a display controlled by user's head movement
RU2334369C1 (ru) * 2006-11-30 2008-09-20 Борис Иванович Волков Система стереотелевидения
US20080266530A1 (en) * 2004-10-07 2008-10-30 Japan Science And Technology Agency Image Display Unit and Electronic Glasses
WO2009066408A1 (en) * 2007-11-22 2009-05-28 Kabushiki Kaisha Toshiba Display device, display method and head-up display
JP2011075956A (ja) * 2009-09-30 2011-04-14 Brother Industries Ltd ヘッドマウントディスプレイ

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3916094A (en) * 1974-06-21 1975-10-28 Us Navy Submersible visual simulator for remotely piloted systems
JPH07287761A (ja) * 1994-04-19 1995-10-31 Canon Inc 画像処理装置及び画像処理方法
JPH08191419A (ja) * 1995-01-10 1996-07-23 Yamaha Corp 頭部装着型表示システム
JPH08336128A (ja) * 1995-04-05 1996-12-17 Matsushita Electric Ind Co Ltd 映像視聴装置
JPH08307753A (ja) * 1995-05-09 1996-11-22 Minolta Co Ltd カメラと表示装置から成る映像システム及び表示装置
JPH0937137A (ja) * 1995-07-25 1997-02-07 Minolta Co Ltd 移動型立体カメラ装置
JPH09106322A (ja) 1995-10-09 1997-04-22 Data Tec:Kk ヘッドマウントディスプレイにおける姿勢角検出装置
JPH1070740A (ja) * 1996-08-28 1998-03-10 Sony Corp 立体カメラおよびビデオ映像伝送システム
JPH10206789A (ja) * 1997-01-22 1998-08-07 Honda Motor Co Ltd 車両用ヘッドマウントディスプレイ装置
JP2000013818A (ja) * 1998-06-23 2000-01-14 Nec Corp 立体表示装置及び立体表示方法
US7180476B1 (en) * 1999-06-30 2007-02-20 The Boeing Company Exterior aircraft vision system using a helmet-mounted display
JP2001209426A (ja) * 2000-01-26 2001-08-03 Nippon Telegr & Teleph Corp <Ntt> 移動体制御装置
JP2001344597A (ja) * 2000-05-30 2001-12-14 Fuji Heavy Ind Ltd 融合視界装置
JP2005297168A (ja) * 2004-04-16 2005-10-27 Fujinon Corp 遠隔操作ロボット
SE527257C2 (sv) * 2004-06-21 2006-01-31 Totalfoersvarets Forskningsins Anordning och metod för att presentera en omvärldsbild
JP2006197068A (ja) * 2005-01-12 2006-07-27 Yokogawa Electric Corp 画像表示装置および画像表示方法
JP5228307B2 (ja) * 2006-10-16 2013-07-03 ソニー株式会社 表示装置、表示方法
US7671887B2 (en) * 2006-11-20 2010-03-02 General Electric Company System and method of navigating a medical instrument
JP4961984B2 (ja) 2006-12-07 2012-06-27 ソニー株式会社 画像表示システム、表示装置、表示方法
JP2009278234A (ja) * 2008-05-13 2009-11-26 Konica Minolta Holdings Inc 表示システム
US8885039B2 (en) * 2008-07-25 2014-11-11 Lg Electronics Inc. Providing vehicle information
JP4863527B2 (ja) * 2009-12-01 2012-01-25 稔 稲葉 立体映像撮像装置
JP2010256534A (ja) 2009-04-23 2010-11-11 Fujifilm Corp 全方位画像表示用ヘッドマウントディスプレイ装置
JP4679661B1 (ja) * 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
JP2011135247A (ja) * 2009-12-24 2011-07-07 Nikon Corp 撮像装置
JP5595074B2 (ja) 2010-03-04 2014-09-24 中国電力株式会社 空中撮影システム
WO2011116332A2 (en) * 2010-03-18 2011-09-22 SPI Surgical, Inc. Surgical cockpit comprising multisensory and multimodal interfaces for robotic surgery and methods related thereto
JP2011205353A (ja) * 2010-03-25 2011-10-13 Yamaha Corp 視聴状況認識装置および視聴状況認識システム
JP5148652B2 (ja) * 2010-03-31 2013-02-20 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び画像生成システム
CN102270035A (zh) * 2010-06-04 2011-12-07 三星电子株式会社 以非触摸方式来选择和操作对象的设备和方法
US9596453B2 (en) * 2010-06-14 2017-03-14 Lg Electronics Inc. Electronic device and control method thereof
JP5499985B2 (ja) * 2010-08-09 2014-05-21 ソニー株式会社 表示装置組立体
US8487787B2 (en) * 2010-09-30 2013-07-16 Honeywell International Inc. Near-to-eye head tracking ground obstruction system and method
CN102456127B (zh) * 2010-10-21 2018-03-20 三星电子株式会社 头部姿态估计设备和方法
JP2012143447A (ja) 2011-01-13 2012-08-02 Sharp Corp ネットワークシステム、コントロール方法、コントローラ、およびコントロールプログラム
JP2012151800A (ja) 2011-01-21 2012-08-09 Sharp Corp 撮影装置およびネットワークシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5905525A (en) * 1995-07-13 1999-05-18 Minolta Co., Ltd. Image display apparatus having a display controlled by user's head movement
US20080266530A1 (en) * 2004-10-07 2008-10-30 Japan Science And Technology Agency Image Display Unit and Electronic Glasses
RU2334369C1 (ru) * 2006-11-30 2008-09-20 Борис Иванович Волков Система стереотелевидения
WO2009066408A1 (en) * 2007-11-22 2009-05-28 Kabushiki Kaisha Toshiba Display device, display method and head-up display
JP2011075956A (ja) * 2009-09-30 2011-04-14 Brother Industries Ltd ヘッドマウントディスプレイ

Also Published As

Publication number Publication date
JPWO2014077046A1 (ja) 2017-01-05
EP2922049A1 (en) 2015-09-23
BR112015010280B1 (pt) 2022-06-21
BR112015010280A2 (pt) 2017-07-11
RU2015116420A (ru) 2016-11-20
CN104781873A (zh) 2015-07-15
US20150293362A1 (en) 2015-10-15
EP2922049A4 (en) 2016-07-13
CN104781873B (zh) 2017-06-06
WO2014077046A1 (ja) 2014-05-22
US10108018B2 (en) 2018-10-23
BR112015010280A8 (pt) 2019-10-01

Similar Documents

Publication Publication Date Title
RU2646360C2 (ru) Устройство и способ отображения изображения, мобильное устройство, система отображения изображения и компьютерная программа
JP5351311B1 (ja) 立体映像観察デバイスおよび透過率制御方法
RU2735458C2 (ru) Системы и способы генерирования стереоскопических изображений дополненной и виртуальной реальности
EP3410264B1 (en) Image display device and image display method
JP2022530012A (ja) パススルー画像処理によるヘッドマウントディスプレイ
US10310595B2 (en) Information processing apparatus, information processing method, computer program, and image processing system
US20180196508A1 (en) Image processing device and image processing method, display device and display method, computer program, and image display system
US20150355463A1 (en) Image display apparatus, image display method, and image display system
JP6899875B2 (ja) 情報処理装置、映像表示システム、情報処理装置の制御方法、及びプログラム
WO2016013272A1 (ja) 情報処理装置及び情報処理方法、並びに画像表示システム
JP7322713B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20170114458A (ko) 스테레오 카메라를 장착하여 가상현실 3d 영상으로 주변을 탐색하는 드론 및 이와 연동하는 복합 기능의 vr 장치
WO2017064926A1 (ja) 情報処理装置及び情報処理方法
CN205356558U (zh) 遥控观看系统及其摄像端和观看端
CN207939660U (zh) 驾驶仪
JP2014010460A (ja) 映像観察デバイスおよび透過率制御方法
JP2021022075A (ja) 映像表示制御装置、方法およびプログラム
EP4325843A1 (en) Video display system, observation device, information processing method, and program
CN117678235A (zh) 可移动平台的控制方法、头戴式设备、系统和存储介质
JP2023120985A (ja) 画像表示装置及び画像表示方法
CN117234340A (zh) 头戴式xr设备用户界面显示方法及设备
CN108259878A (zh) 驾驶仪