JP6713591B1 - 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 - Google Patents

表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 Download PDF

Info

Publication number
JP6713591B1
JP6713591B1 JP2020506854A JP2020506854A JP6713591B1 JP 6713591 B1 JP6713591 B1 JP 6713591B1 JP 2020506854 A JP2020506854 A JP 2020506854A JP 2020506854 A JP2020506854 A JP 2020506854A JP 6713591 B1 JP6713591 B1 JP 6713591B1
Authority
JP
Japan
Prior art keywords
display control
line
display
control device
sight direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020506854A
Other languages
English (en)
Other versions
JPWO2020213088A1 (ja
Inventor
裕章 岩瀬
裕章 岩瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Application granted granted Critical
Publication of JP6713591B1 publication Critical patent/JP6713591B1/ja
Publication of JPWO2020213088A1 publication Critical patent/JPWO2020213088A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/106—Determination of movement vectors or equivalent parameters within the image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

表示装置(100)が有するセンサ部(105)は、表示装置(100)が有するディスプレイ(104)の現実空間における向きの変化を検知する。制御部(101)により実現される表示制御装置は、複数のオブジェクトが静止もしくは移動する仮想空間における視線方向を、検知された向きの変化に応じて変化させ、仮想空間を視線方向に観察した様子を表す画像を生成する。生成された画像は、ディスプレイ(104)に表示される。ここで、制御部(101)により実現される表示制御装置は、複数のオブジェクトから、注目オブジェクトを特定し、注目オブジェクトを中心に、視線方向が変化した方向と逆方向に観察位置を変化させ、仮想空間を観察位置から視線方向に観察した様子を表す画像を生成する。

Description

本発明は、表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体に関する。
従来から、障害物に隠れてユーザの位置からでは視認が困難な領域やオブジェクトを表示する方法として、例えば特許文献1は、運転者の死角領域をカメラで撮像し、撮像した画像を運転者視点からみた画像に変換するとともに、運転者視点から見た車両の半透明画像を重ね合わせて表示する方法を開示している。
特開2010−114618号公報
一方、仮想現実(Virtual Reality)システムや、拡張現実(Augmented Reality)システム、代替現実システムにおいて、ヘッドマウントディスプレイを装着したユーザの向きを検知し、検知された向きに応じて、3次元空間に対する視線方向を変化させ、3次元空間を視線方向に観察した様子を表す画像を生成してヘッドマウントディスプレイに表示する技術がある。特許文献1の技術では、運転者の死角領域を運転者が注目する領域であると予め想定した上で、死角領域の画像を車両の半透明画像と重ね合わせて表示している。
ここで、表示装置に表示装置の位置を検出する機能があれば、ユーザの頭の移動に応じて、仮想空間における観察位置を移動させる表示制御が可能である。それにより、例えば、ユーザが、他のオブジェクトによって一部が隠されているオブジェクトの隠された部分をのぞき込むように頭を移動させた場合、当該隠された部分を観察することが可能となる。
しかし、表示装置が、現実空間における表示装置の位置を検出する機能を持たない場合、ユーザの頭の移動に応じた表示制御を行うことができず、のぞき込みを実現することができない。また、表示装置が、現実空間における表示装置の位置を検出する機能を持つ場合であっても、その検出精度が低い場合には、適切な位置に観察位置を移動させることができず、適切なのぞき込みを実現することができない恐れがある。
本発明は、上記の課題を解決するためのものであり、仮想空間等を当該仮想空間等内の観察位置から観察した様子を表示装置に表示させる表示制御装置において、表示装置の現実空間における位置を検出しなくとも、当該仮想空間等内の当該観察位置を適切に移動させる表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体を提供することを目的とする。
上記の課題を解決する本発明の一実施形態に係る表示制御装置は、表示装置を制御するものであり、当該表示制御装置は、
複数のオブジェクトが静止もしくは移動する仮想空間における視線方向を、前記表示装置の現実空間における向きの変化に応じて変化させ、
前記仮想空間を前記視線方向に観察した様子を表す画像を生成し、
前記生成された画像を、前記表示装置が有するディスプレイに表示する。
ここで、当該表示制御装置は、
前記複数のオブジェクトから、注目オブジェクトを特定し、
前記注目オブジェクトを中心に、当該視線方向が変化した方向と逆方向に観察位置を変化させ、
前記仮想空間を前記観察位置から前記視線方向に観察した様子を表す画像を生成する。
上記の表示制御装置が実行する表示制御方法は、非一時的なコンピュータ読取可能な情報記録媒体等に記録されたプログラムを、前記表示装置に接続されたコンピュータ、もしくは、前記表示装置と一体に形成されたコンピュータが実行し、前記表示装置を制御する表示制御装置として機能することによって、実現することができる。
また、上記情報記録媒体は、コンピュータとは独立して配布・販売することができる。ここで、非一時的な(non-transitory)情報記録媒体とは、有形な(tangible)情報記録媒体をいう。非一時的な情報記録媒体は、例えば、コンパクトディスク、フレキシブルディスク、ハードディスク、磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリである。また、一時的な(transitory)情報記録媒体とは、伝送媒体(伝搬信号)それ自体を示す。一時的な記録媒体は、例えば、電気信号、光信号、電磁波である。なお、一時的な(temporary)記憶領域とは、データやプログラムを一時的に記憶するための領域であり、例えばRAM(Random Access Memory)といった揮発性メモリである。
本発明によれば、仮想空間等を当該仮想空間等内の観察位置から観察した様子を表示装置に表示させる表示制御装置において、当該表示装置の現実空間における位置を検出しなくとも、当該仮想空間等内の当該観察位置を適切に移動させることができる。
実施形態に係る表示装置のハードウェア構成を示す概略ブロック図である。 現実空間において表示装置とユーザの向きが変化する前の様子を示す上面図である。 現実空間において表示装置とユーザの向きが変化した後の様子を示す上面図である。 現実空間において表示装置とユーザの向きが変化する前の、仮想空間の様子を示す上面図である。 現実空間において表示装置とユーザの向きが変化した後の、仮想空間の様子を示す上面図である。 実施形態に係る表示装置の機能構成を示す概略ブロック図である。 現実空間において表示装置とユーザの向きが変化する前に仮想空間を観察位置から視線方向に観察した様子を表す画像である。 現実空間において表示装置とユーザの向きが変化した後に仮想空間を観察位置から視線方向に観察した様子を表す画像である。 視線方向の変化に起因する速度成分を算出する方法を説明するための図である。 現実空間において表示装置とユーザの向きが変化した後に仮想空間を観察位置から視線方向に観察した様子を表す画像である。 実施形態に係る表示装置の制御部により実行される表示処理の流れを表すフローチャートである。 変形例に係る現実空間において表示装置とユーザの向きが変化した後の、仮想空間の様子を示す上面図である。 別の変形例に係る現実空間において表示装置とユーザの向き及び位置が変化した後の様子を示す上面図である。 別の変形例に係る現実空間において表示装置とユーザの向き及び位置が変化した後の、仮想空間の様子を示す上面図である。
以下に本発明の実施形態を説明する。なお、本実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。従って、当業者であればこれらの各要素若しくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。また、本願発明の実施形態を図面を参照して説明するにあたり、図中同一又は相当する部分には同一符号を付す。
図1は、本実施形態に係る表示装置100のハードウェア構成を示す概略ブロック図である。表示装置100は、例えば、各種のセンサや制御装置を備えたヘッドマウントディスプレイにより構成される。
スマートフォンやタブレットコンピュータ、ファブレット等をアタッチメントに装着することにより、ヘッドマウントディスプレイが構築されてもよい。この場合には、スマートフォン等のコンピュータを上記各部として機能させるためのプログラムを、当該スマートフォン等にて実行させることにより、表示装置100が実現される。
このほか、各種センサと表示画面を備えたヘッドマウントディスプレイと、当該ヘッドマウントディスプレイを制御するために有線通信もしくは無線通信により接続されたコンピュータと、により、表示装置100を実現することもできる。この態様では、コンピュータは、ヘッドマウントディスプレイから各種センサにて検知された測定値を取得し、当該測定値に基いて画像を生成し、当該画像をヘッドマウントディスプレイの表示画面に表示させる。
図1に示すように、表示装置100は、制御部101と、ROM(Read Only Memory)102と、RAM 103と、ディスプレイ104と、センサ部105と、操作部106とから構成され、各部は、バス107により接続されている。
制御部101は、例えばCPU(Central Processing Unit)から構成され、表示装置100全体を制御する。
ROM 102は、制御部101が表示装置100全体を制御するためのプログラムや各種データを格納する不揮発性メモリである。
RAM 103は、制御部101が生成した情報や、その情報の生成に必要なデータを一時的に格納するための揮発性メモリである。
ディスプレイ104は、LCD(Liquid Crystal Display)およびバックライト等を備え、制御部101による制御の下、例えば、制御部101から出力された画像を表示する。
センサ部105は、姿勢センサや加速度センサを備え、表示装置100の向き、すなわち、ディスプレイ104の向きを検知する。なお、センサ部105は、向きそのものを検知するのではなく、向きの変化を検知することとしても良い。
操作部106は、ボタン、キーボード、タッチパネル等の入力装置から構成される。操作部106は、表示装置100のユーザからの操作入力を受け付け、受け付けた操作入力に対応する信号を制御部101に出力する。
上記の例では、ROM 102, RAM 103と協働して表示装置100を制御する制御部101により、本実施形態の表示制御装置が実現され、表示装置100と表示制御装置とは一体に構成され、前者が後者を包含する。
このほか、制御部101, ROM 102, RAM 103を、ヘッドマウントディスプレイと通信可能に接続された外部のコンピュータにより実現し、ディスプレイ104およびセンサ部105は当該コンピュータに接続されたヘッドマウントディスプレイが備えるものを利用し、操作部106として、当該コンピュータに接続された入力装置を利用することとしても良い。この態様では、本実施形態の表示制御装置は、制御部101がROM 102, RAM 103と協働することにより、ヘッドマウントディスプレイの外部に実現され、表示制御装置がヘッドマウントディスプレイのディスプレイ104やセンサ部105を含む表示装置100を制御する。
次に、本実施形態での現実空間201と、表示装置100に表示される仮想空間(3次元空間)301と、における表示装置100及びユーザ202の位置関係について説明する。図2は、現実空間201において表示装置100とユーザ202の向きが変化する前(時刻ta)の様子を示す上面図である。図4は、現実空間201において表示装置100とユーザ202の向きが変化する前(時刻ta)の、仮想空間301の様子を示す上面図である。また、図3は、現実空間201において表示装置100とユーザ202の向きが変化した後(時刻tb)の様子を示す上面図である。図5は、現実空間201において表示装置100とユーザ202の向きが変化した後(時刻tb)の、仮想空間301の様子を示す上面図である。以下、これらの図を参照して説明する。なお、これらの図においては、時刻taから時刻tbまでの時間の経過を表すために、英小文字を適宜付与している。以下の説明では、当該英小文字を適宜省略して説明する。
図2及び3に示すように、現実空間201において、ユーザ202は、表示装置100を眼前に装着している。ユーザ202が表示装置100を装着しているときには、表示装置100の表示方向203は、ユーザ202が表示装置100を見る視線方向と逆向きになる。
図4及び5に示すように、仮想空間301において、静止もしくは移動する複数のオブジェクト401〜404が配置されている。なお、本実施形態においては、オブジェクト402, 403は、静止しており、オブジェクト401は矢印A方向に、オブジェクト404は矢印B方向に、それぞれ仮想空間301内を移動している。オブジェクト401〜404は、コンピュータグラフィックスにより作成されており、仮想空間301内の位置や大きさ、形状、オブジェクト401, 404の移動速度は予め設定されているものとする。一例として、表示装置100がコンピュータグラフィックスにより再現された駅のホームを表示する場合、オブジェクト401, 404は、電車や人等、駅のホームにおいて移動するオブジェクトであり、オブジェクト402, 403は、柱や看板等、駅のホームにおいて静止しているオブジェクトである。
なお、現実空間201における方位211と仮想空間301における方位311とは、ずれてもよいし、一致させてもよい。本実施形態において、両者はずれている。
図6は、本発明の実施形態に係る表示装置100の機能構成を示す概略ブロック図である。図6に示すように、表示装置100は、検知部111と、変化部112と、生成部113と、特定部114と、表示部115と、ディスプレイ104とを備える。
検知部111は、表示装置100の現実空間201における向きの変化を検知する。例えば、検知部111は、センサ部105による測定結果から、現実空間201における基準軸に対する表示装置100の表示方向203の変化を検知する。現実空間201における基準軸としては、現実空間201における重力方向、または表示装置100のディスプレイ104の上下方向を採用するのが典型的である。
本実施形態において、制御部101およびセンサ部105が協働することにより、検知部111として機能する。
変化部112は、検知部111により検知された表示装置100の向きに応じて、仮想空間301に対する視線方向303を変化させる。例えば、まず、変化部112は、時刻taから時刻tbまでの間の検知部111により検知された表示装置100の表示方向203の変化について、現実空間201における基準軸周りの回転量θを取得する。具体的には、図2において、ユーザ202が頭の向きを変える前は、表示方向203aは、表示装置100aからユーザ202aに向かっている。また、図3において、ユーザ202が頭の向きを変えた後は、表示方向203bは、表示装置100bからユーザ202bに向かっている。表示方向203aと表示方向203bとがなす角が基準軸周りの回転量θである。回転量θは、いわゆるヨー角に相当する。図3において、ユーザ202は、頭を左に回転させている。
時刻taから時刻tbまでの時間間隔は、用途に応じて定めることができる。例えば、この時間間隔は、表示装置100のディスプレイ104のリフレッシュ間隔(例えば、垂直同期周期)とすることができる。また、後述するように、処理は繰り返し行われるので、ある繰り返し単位における時刻tbは、次の繰り返し単位における時刻taとして解釈される。
そして、変化部112は、視線方向303aを仮想空間301における観察位置302aの基準軸周りに回転量θだけ回転させることにより、視線方向303aを視線方向303bに変化させる。
本実施形態において、制御部101が、変化部112として機能する。
生成部113は、仮想空間301を観察位置302から視線方向303に観察した様子を表す画像を生成する。例えば、生成部113は、オブジェクト401〜404の仮想空間301内における所定の位置及び形状に基づいて、透視投影等の技術を用いて、観察位置302から視線方向303に見たときの画像を生成する。
特定部114は、複数のオブジェクト401〜404が生成部113により生成された画像内にて描画される位置が移動する画像内速度のうち、仮想空間301内における当該オブジェクトの移動に起因しない速度成分が、所定基準で小さいオブジェクトを、注目オブジェクトに特定する。
以下、画像内速度と、オブジェクトの移動に起因しない速度成分について、図7A及び7Bを用いて説明する。図7Aは、時刻taにおいて仮想空間301を観察位置302から視線方向303に観察した様子を表す画像501aであり、図7Bは、時刻tbにおいて仮想空間301を観察位置302から視線方向303に観察した様子を表す画像501bを示す。複数のオブジェクト401〜404のうち、仮想空間301内において静止しているオブジェクト402, 403では、視線方向303が変化すると、その視線方向303の変化に起因する速度成分を画像内速度として、生成された画像501a, 501b内で描画される位置が移動する。例えば、オブジェクト402では、視線方向303の変化に起因する速度成分S2xを画像内速度V2として、生成された画像501a, 501b内で描画される位置が移動する。また、仮想空間301内において移動しているオブジェクト401, 404では、視線方向303が変化すると、その視線方向303の変化に起因する速度成分と、自身の移動に起因する速度成分との合成速度を画像内速度として、生成された画像内で描画される位置が移動する。例えば、オブジェクト401では、視線方向303の変化に起因する速度成分S1xと、自身の移動に起因する速度成分Axとの合成速度を画像内速度V1として、生成された画像501a, 501b内で描画される位置が移動する。一般的に、ユーザは、移動するオブジェクトに注目している場合、そのオブジェクトを視野、すなわち生成された画像内の中心にとらえた状態でそのオブジェクトの移動に伴って視線方向303を変化させると考えられる。その結果、ユーザが注目しているオブジェクト、すなわち注目オブジェクトにおいては、視線方向303が変化しても、視線方向303の変化に起因する速度成分、すなわち画像内速度のうち、注目オブジェクトの移動に起因しない速度成分は、他のオブジェクトよりも小さいと考えられる。従って、本実施形態では、複数のオブジェクトのうち、オブジェクトの移動に起因しない速度成分が、所定基準で小さいオブジェクトを注目オブジェクトとして特定する。
具体的には、まず、特定部114は、各オブジェクト401〜404について、視線方向303が変化される直前に各オブジェクト401〜404が仮想空間301内において存在していた位置の、視線方向303が変化される直前に生成された画像内における直前位置と、視線方向303が変化される直後に生成されるべき画像内における直後位置とを求める。具体的には、特定部114は、直前位置を、仮想空間301内におけるオブジェクト401〜404の既知の位置や移動速度、観察位置302及び視線方向303から算出する。また、特定部114は、直後位置を、直前位置、変化後の観察位置302、及び変化後の視線方向303から算出する。そして、特定部114は、直後位置と直前位置との差を、視線方向303の変化に起因する速度成分、すなわちオブジェクトの移動に起因しない速度成分として算出する。なお、特定部114は、オブジェクト401〜404の代表点(例えば、中心点や重心点)の位置を、オブジェクト401〜404の位置とする。
以下、オブジェクト401を例として、図8を用いて視線方向303の変化に起因する速度成分を算出する方法について説明する。例えば、図4に示すように時刻taにおいて、オブジェクト401がPaに位置しているとする。このとき、まず特定部114は、Pa、観察位置302及び視線方向303に基づいて、時刻taにおいて生成された画像501a内におけるPaの位置Piaを算出する。そして、特定部114は、Pa、時刻tbにおける観察位置302、及び時刻tbにおける視線方向303に基づいて、時刻tbにおいて生成されるべき画像501b内におけるPaの位置Pibを算出する。そして、特定部114は、PibとPiaとの差を、視線方向303の変化に起因する速度成分S1xとして算出する。すなわち、特定部114は、オブジェクト401が静止していると仮定したときのPibとPiaとの差、すなわち画像内速度を視線方向303の変化に起因する速度成分S1xとして算出する。特定部114は、このようにして仮想空間301内のオブジェクト401〜404それぞれについて、視線方向303の変化に起因する速度成分を算出する。
そして、特定部114は、オブジェクトの移動に起因しない速度成分が、所定基準で小さいか否かを判定する。ここで、オブジェクトの移動に起因しない速度成分が所定基準で小さいか否かを判定する方法の一例として、特定部114は、オブジェクト401〜404それぞれについて求められた視線方向303の変化に起因する速度成分のうち、最小の速度成分が所定基準で小さいと判定する。そして、特定部114は、視線方向303の変化に起因する速度成分が最小であるオブジェクト401〜404を注目オブジェクトに特定する。例えば、特定部114は、オブジェクト401〜404の視線方向303の変化に起因する速度成分のうち、オブジェクト401に係る速度成分S1xが最小であるとき、オブジェクト401を注目オブジェクトとして特定する。なお、他の例として、視線方向303の変化に起因する速度成分が所定閾値以下、または所定閾値未満であるとき、特定部114は、その速度成分は所定基準で小さいと判定してもよい。また、特定部114は、検知された視線方向303の変化に対する速度成分の比が、所定閾値未満であるとき、その速度成分は所定基準で小さいと判定してもよい。具体的には、特定部114は、視線方向303の変化に起因する速度成分を、検知された視線方向303の変化の速度で除した値が、所定閾値未満のとき、その速度成分は所定基準で小さいと判定してもよい。
本実施形態において、制御部101が、特定部114として機能する。
そして、生成部113は、画像を生成する際、オブジェクト401〜404のうち、特定部114により特定された注目オブジェクト以外のオブジェクトであって、仮想空間301を視線方向303に観察すると注目オブジェクトを隠すオブジェクトの透明度を増加させてから、画像を生成する。例えば、生成部113は、背景を所定の背景色(例えば黒)で描画し、観察位置302から遠いオブジェクトから順に描画する。そして、注目オブジェクト以外の他のオブジェクトを描画すべきピクセルが背景色以外の色で描画されていた場合、生成部113は、そのピクセルは、すでに注目オブジェクトの色で描画されている、すなわち当該他のオブジェクトによって隠される注目オブジェクトのピクセルであると判定する。そして、生成部113は、当該他のオブジェクトを注目オブジェクトを隠すオブジェクトであると判定し、当該他のオブジェクトの透明度を増加させてから、画像を生成する。例えば、特定部114によりオブジェクト401が注目オブジェクトとして特定されたとき、生成部113は、オブジェクト402がオブジェクト401を隠すオブジェクトであると判定すると、図9に示すようにオブジェクト402の透明度を増加させてから、画像501bを生成する。生成部113は、オブジェクト402の透明度を増加させることにより、ユーザが注目する、オブジェクト402によって隠されたオブジェクト401の部分を視認しやすい画像を生成することができる。なお、注目オブジェクトが他の注目オブジェクトにより隠される場合、生成部113は、注目オブジェクトを隠す他の注目オブジェクトの透明度を増加させずに画像を生成する。
本実施形態において、制御部101が、生成部113として機能する。
表示部115は、生成部113により生成された画像を、ディスプレイ104に表示する。例えば、表示部115は、時刻taにおいて図7Aに示すような画像501a、時刻tbにおいて図9に示すような画像501b、をそれぞれディスプレイ104に表示する。
本実施形態において、制御部101が、表示部115として機能する。
次に、本発明の実施形態にかかる表示装置100の動作について説明する。図10は、表示装置100の制御部101により実行される表示処理の流れを表すフローチャートである。本処理は、例えば、操作部106を介して本処理の開始指示を受け付けたことを契機として開始する。
まず、表示装置100は、仮想空間301内において、観察位置302及び視線方向303を予め定められた初期状態に設定する(ステップS101)。
次に、表示装置100は、仮想空間301を初期化する(ステップS102)。この初期化の際には、表示装置100は、例えば、仮想空間301内に配置されるオブジェクトの位置、形状、向き、外観を取得、設定したり、仮想空間301の無限遠方に配置されると想定される背景の画像等を取得、設定する。
次に、表示装置100は、表示装置100の向きを検知し、ディスプレイ104の表示方向が、現実空間201において基準軸周りに回転した回転量θを取得する(ステップS103)。ステップS103は、繰り返し実行されるので、ここで取得される回転量θは、センサ等により前回測定された表示方向203と、今回測定された表示方向203と、の差分に相当する。
次に、表示装置100は、取得された回転量θに応じて、視線方向303を更新する(ステップS104)。
そして、表示装置100は、仮想空間301内のオブジェクト401〜404について、視線方向303の変化に起因する速度成分を算出していないオブジェクトを選択する(ステップS105)。
表示装置100は、ステップS105において選択されたオブジェクトの直前位置及び直後位置を算出する(ステップS106)。
そして、表示装置100は、ステップS106において算出された直後位置と直前位置との差を、選択されたオブジェクトの、視線方向303の変化に起因する速度成分として算出する(ステップS107)。そして、表示装置100は、全てのオブジェクト401〜404について視線方向303の変化に起因する速度成分を算出したか否かを判定する(ステップS108)。表示装置100は、全てのオブジェクト401〜404について視線方向303の変化に起因する速度成分を算出していないとき(ステップS108;No)、ステップS105の処理に戻る。
表示装置100は、全てのオブジェクト401〜404について視線方向303の変化に起因する速度成分を算出したとき(ステップS108;Yes)算出された速度成分のうち、最小の速度成分に係るオブジェクトを注目オブジェクトとして特定する(ステップS109)。
表示装置100は、ステップS109において特定された注目オブジェクトを隠すオブジェクトがあるか否かを判定する(ステップS110)。表示装置100は、注目オブジェクトを隠すオブジェクトがないとき(ステップS110;No)、ステップS112の処理に進む。
注目オブジェクトを隠すオブジェクトがあるとき(ステップS110;Yes)、表示装置100は、注目オブジェクトを隠すオブジェクトの透明度を所定の度合だけ増加させる(ステップS111)。
そして、表示装置100は、観察位置302から視線方向303に仮想空間301を観察した様子を表す画像を生成する(ステップS112)。
この後、表示装置100は、ディスプレイ104の垂直同期割込が生じるまで待機してから(ステップS113)、生成された画像をディスプレイ104に転送してユーザに提示する(ステップS114)。
そして、表示装置100は、仮想空間301の状態を更新する(ステップS115)。例えば、仮想空間301が時間の経過に応じて変化するコンピュータグラフィックスにより構成される場合には、オブジェクトの位置や向きを、当該オブジェクトに設定された速度、加速度、角速度、角加速度等により更新する物理シミュレーションを行ったり、予め定められた条件に基づいてオブジェクトを変形させる。
そして、表示装置100は、ステップS103の処理に戻る。表示装置100は、例えば操作部106を介して本処理の終了指示を受け付けるまで、繰り返し上記の処理を実行する。なおステップS113において待機することから、この処理の繰り返し周期は、垂直同期周期となる。
以上説明したように、本発明の実施形態に係る表示装置100は、表示装置100の現実空間201における向きが変化すると、仮想空間301における視線方向303を変化させ、仮想空間301内のオブジェクト401〜404の画像内速度のうち、オブジェクト401〜404の移動に起因しない速度成分が所定基準で小さいオブジェクトを注目オブジェクトに特定する。そのため、ユーザが仮想空間301内の移動するオブジェクトを目で追っているとき、表示装置100は自身の位置を検知できなくても、自身の向きの変化を検知することにより、ユーザが注目するオブジェクトを特定することができる。
また、表示装置100は、特定された注目オブジェクトが他のオブジェクトによって隠されている場合、注目オブジェクトを隠すオブジェクトの透明度を増加させてから、画像を生成する。従って、表示装置100は、他のオブジェクトによって隠されている注目オブジェクトの部分を視認可能にすることができる。
以上に本発明の実施形態について説明したが、上記実施形態は一例であり、本発明の適用範囲はこれに限られない。即ち、本発明の実施形態は種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。
例えば、上記の実施形態において、表示装置100は、視線方向303の変化に応じて観察位置302を変化させることにより、注目オブジェクトののぞき込みを実現してもよい。例えば、図11に示すように、観察位置302aから視線方向303aに注目オブジェクト401aを見ると、注目オブジェクト401aの一部がオブジェクト404aにより隠されるとする。このとき、ユーザは、オブジェクト404aにより隠されている注目オブジェクト401aの部分を覗き込もうとして、現実空間201において頭を回転させるとともに、頭の位置を移動させると想定される。ただし、表示装置100が自身の位置を検知できないときには、ユーザが頭を移動させても、その移動を検知することができない。このような状況において、表示装置100は、頭の回転、すなわち表示装置100の向きの変化を検知し、その向きの変化に応じて仮想空間301における視線方向303aを変化させるとともに、視線方向303aの変化に応じて観察位置302aを変化させてもよい。
具体的には、上記の実施形態において、変化部112は、変化させた視線方向303の変化に応じて、当該視線方向303が変化した方向と逆方向に観察位置302を変化させてもよい。例えば、時刻taから時刻tbまでの間に、図2に示す状態から図3に示すようにユーザが頭を反時計回りにθ回転させたとき、変化部112は、検知部111により検知された表示装置100の表示方向203の変化について、現実空間201における基準軸周りの回転量θを取得する。そして、図11に示すように、変化部112は、視線方向303aを仮想空間301における観察位置302aの基準軸周りに回転量θだけ回転させることにより、視線方向303aを視線方向303bに変化させる。また、変化部112は、特定部114により特定された注目オブジェクト401aの位置Paを中心に、観察位置302aを回転量θだけ視線方向303が変化した方向と逆方向に回転移動させることにより、観察位置302aを観察位置302bに変化させる。図11に示す例では、視線方向303aは、反時計回りに回転することにより、視線方向303bに変化しているため、変化部112は、観察位置302aを時計回りに回転量θだけ回転移動させることにより、観察位置302bに変化させる。これにより、表示装置100が表示装置100の位置を検出する機能を持たない場合であっても、変化させた視線方向303に応じて、視線方向303が変化した方向と逆方向に観察位置302を変化させることにより、ユーザ202の違和感を抑制しつつ観察位置302を注目オブジェクトののぞき込みに適切な位置に変化させることができる。
なお、複数の注目オブジェクトが特定された場合には、変化部112は、複数の注目オブジェクトのうち、自身の移動に起因しない速度成分、すなわち視線方向303の変化に起因する速度成分が最小のオブジェクトを中心に観察位置302を視線方向303が変化した方向と逆方向に変化させればよい。また、変化部112が観察位置302を視線方向303が変化した方向と逆方向に回転させる量は、視線方向303の回転量θと同じ量に限られない。例えば、変化部112は、視線方向303の回転量θに比例する回転量で、観察位置302を視線方向303が変化した方向と逆方向に変化させてもよい。
また、上記の実施形態では、表示装置100が表示装置100の向きの変化を検知し、その変化に基づいて、注目オブジェクトを特定する例について説明した。しかし、表示装置100は、さらに表示装置100の位置を検知する機能を備えてもよい。この場合、変化部112は、検知された表示装置100の位置に応じて、仮想空間301における観察位置302を変化させてもよい。
例えば、図12に示すように、変化部112は、時刻taから時刻tbまでの間の検知部111により検知された表示装置100の位置204の変化について、移動量dを取得する。具体的には、図12において、ユーザ202が頭の向きを変える前は、表示装置100の代表点(例えば、中心点や重心点)は、位置204aに位置する。また、図12において、ユーザ202が頭の向きを変えた後は、表示装置100の代表点は、位置204bに位置する。従って、表示装置100の移動量dは、位置204aと位置204bの差分ベクトルである。そして、変化部112は、図13に示すように、仮想空間301において観察位置302aを移動量dだけ移動させることにより、観察位置302aを観察位置302bに変化させる。そして、生成部113は、仮想空間301を観察位置302bから視線方向303bに観察した様子を表す画像を生成する。そして、特定部114は、上記の実施形態と同様に、生成部113に生成される画像内でオブジェクトが描画される位置が移動する画像内速度のうち、オブジェクトの移動に起因しない速度成分が所定基準で小さいオブジェクトを注目オブジェクトに特定する。
一般的に、表示装置100が自身の向きだけでなく位置も検知できる場合には、ユーザが注目オブジェクトを視野の中心に入れた状態で視線方向を変化させることを想定して、変化前後の視線方向303の交点にあるオブジェクトを注目オブジェクトに特定すると考えられる。しかし、表示装置100の向きや位置の検知精度が低い場合には、その交点を正しく特定できないおそれがある。一方、特定部114は、生成部113に生成される画像内でオブジェクトが描画される位置が移動する画像内速度のうち、オブジェクトの移動に起因しない速度成分が所定基準で小さいオブジェクトを注目オブジェクトに特定するため、表示装置100の向きや位置の検知精度が低い場合であっても、注目オブジェクトを特定することができる。
また、上記の実施形態では、表示装置100の向きの変化を検知したとき、注目オブジェクトを特定する例について説明した。すなわち、上記の実施形態では、表示装置100の向きが変化しない間は、表示装置100は注目オブジェクトを特定しない。しかし、表示装置100は、例えば表示装置100の向きの変化を最後に検知してから所定期間、最後に特定された注目オブジェクトを注目オブジェクトとして特定してもよい。表示装置100の向きの変化が検知されなくなったことは、ユーザがすでに表示装置100を注目オブジェクトを観察しやすい向きに移動させたためと考えられる。そのため、表示装置100は、表示装置100の向きの変化を最後に検知してから所定期間について、表示装置100の向きの変化が検知されていなくても、最後に特定された注目オブジェクトを注目オブジェクトとして特定することができる。
また、上記の実施形態では、特定部114は、生成部113に生成される画像内でオブジェクトが描画される位置が移動する画像内速度のうち、オブジェクトの移動に起因しない速度成分が最小のオブジェクトを注目オブジェクトに特定する例について説明した。このように、特定部114が1つの注目オブジェクトを特定する場合、状況によっては頻繁に注目オブジェクトが入れ替わる可能性がある。このように注目オブジェクトが頻繁に入れ替わることを防ぐため、例えば表示装置100は、注目オブジェクトを特定してから所定期間は、他のオブジェクトを注目オブジェクトとして特定しないこととしてもよい。
また、上記の実施形態において、表示装置100の向きについて、ヨー角の変化を検知する例について説明した。しかし、表示装置100の向きの変化はこれに限られず、例えばロール角やピッチ角の変化を検知してもよい。
なお、表示装置100としては、上記各機能を、各種の電気・電子機器からなるハードウェアによって構成することができる。また、既存のパーソナルコンピュータや情報端末機器等が有する電気・電子回路や制御装置等によって、上記各機能を実現し、表示装置100を実現することもできる。
また、表示装置100のディスプレイ104およびセンサ部105を、ヘッドマウントディスプレイにより実現し、表示装置100の制御部101、ROM 102、RAM 103を有する表示制御装置を、ヘッドマウントディスプレイに接続されたパーソナルコンピュータや情報端末機器等により実現することも可能である。
さらに、上記実施形態で例示した表示装置100による各機能構成を実現させるためのプログラムを、既存のパーソナルコンピュータや情報端末機器を制御するCPU等が実行できるように、既存のパーソナルコンピュータや情報端末機器に適用することで、そのパーソナルコンピュータや情報端末機器を表示装置100として機能させることができる。ここで、CPU等がプログラムを実行することによって、表示装置100を制御する表示制御方法を実現することができる。
また、このようなプログラムは、上記に限られず、任意の方法で適用可能である。プログラムを、例えば、コンピュータが読取可能な記録媒体(CD−ROM(Compact Disc Read-Only Memory)、DVD(Digital Versatile Disc)、MO(Magneto Optical disc)等)に格納して適用できる他、インターネット等のネットワーク上のストレージにプログラムを格納しておき、これをダウンロードさせることにより適用することもできる。
(まとめ)
以上説明したように、本発明の一実施形態に係る表示制御装置は、表示装置を制御し、
複数のオブジェクトが静止もしくは移動する仮想空間における視線方向を、前記表示装置の現実空間における向きの変化に応じて変化させる変化部と、
前記仮想空間を前記視線方向に観察した様子を表す画像を生成する生成部と、
前記生成された画像を、前記表示装置が有するディスプレイに表示する表示部と、
前記複数のオブジェクトから、注目オブジェクトを特定する特定部と、
を備え、
前記変化部は、前記注目オブジェクトを中心に、当該視線方向が変化した方向と逆方向に観察位置を変化させ、
前記生成部は、前記仮想空間を前記観察位置から前記視線方向に観察した様子を表す画像を生成する。
また、本発明の一実施形態に係る表示制御装置において、
前記特定部は、前記複数のオブジェクトが前記画像内にて描画される位置が移動する画像内速度のうち、前記仮想空間内における当該オブジェクトの移動に起因しない速度成分が、所定基準で小さいオブジェクトを、前記注目オブジェクトに特定する、
ように構成することができる。
また、本発明の一実施形態に係る表示制御装置において、
前記変化部は、前記特定部により複数の注目オブジェクトが特定された場合、前記複数の注目オブジェクトのうち前記速度成分が最小のオブジェクトを中心に、前記観察位置を変化させる、
ように構成することができる。
また、本発明の一実施形態に係る表示制御装置において、
前記複数のオブジェクトの各オブジェクトについて、
前記視線方向が変化される直前に当該各オブジェクトが前記仮想空間内において存在していた位置の前記視線方向が変化される直前に生成された前記画像内における直前位置と、
前記視線方向が変化された直後に生成されるべき前記画像内における直後位置と、
を求め、
前記直後位置と前記直前位置との差を、当該各オブジェクトの前記速度成分としてもよい。
また、本発明の一実施形態に係る表示制御装置において、
前記速度成分が最小であるオブジェクトは、前記所定基準で小さくくてもよい。
また、本発明の一実施形態に係る表示制御装置において、
前記速度成分が所定閾値以下であるオブジェクトは、前記所定基準で小さくてもよい。
また、本発明の一実施形態に係る表示制御装置において、
前記向きの変化に対する前記速度成分の比が、所定閾値未満であるオブジェクトは、前記所定基準で小さくてもよい。
また、本発明の一実施形態に係る表示制御装置において、
前記変化部は、前記視線方向の変化に応じて、前記観察位置を変化させてもよい。
また、本発明の一実施形態に係る表示制御装置において、
前記変化部は、前記視線方向の変化量に比例して、前記観察位置を変化させてもよい。
また、本発明の一実施形態に係る表示制御装置において、
前記複数のオブジェクトのうち前記注目オブジェクト以外のオブジェクトであって、前記仮想空間を前記視線方向に観察すると前記注目オブジェクトを隠すオブジェクトの透明度を増加させてから、前記画像を生成してもよい。
本発明の一実施形態に係る表示制御方法は、表示制御装置が表示装置を制御し、
前記表示制御装置が、複数のオブジェクトが静止もしくは移動する仮想空間における視線方向を、前記表示装置の現実空間における向きの変化に応じて変化させる変化ステップと、
前記表示制御装置が、前記仮想空間を前記視線方向に観察した様子を表す画像を生成する生成ステップと、
前記表示制御装置が、前記生成された画像を、前記表示装置が有するディスプレイに表示する表示ステップと、
前記表示制御装置が、前記複数のオブジェクトから、注目オブジェクトを特定する特定ステップと、
を含み、
前記変化ステップでは、前記注目オブジェクトを中心に、当該視線方向が変化した方向と逆方向に観察位置を変化させ、
前記生成ステップでは、前記仮想空間を前記観察位置から前記視線方向に観察した様子を表す画像を生成する。
本発明の一実施形態に係るプログラムは、コンピュータを、
複数のオブジェクトが静止もしくは移動する仮想空間における視線方向を、表示装置の現実空間における向きの変化に応じて変化させる変化部、
前記仮想空間を前記視線方向に観察した様子を表す画像を生成する生成部、
前記生成された画像を、前記表示装置が有するディスプレイに表示する表示部、
前記複数のオブジェクトから、注目オブジェクトを特定する特定部
として機能させ、
前記変化部は、前記注目オブジェクトを中心に、当該視線方向が変化した方向と逆方向に観察位置を変化させ、
前記生成部は、前記仮想空間を前記観察位置から前記視線方向に観察した様子を表す画像を生成する
ように機能させる。
本発明の一実施形態に係るコンピュータ読取可能な非一時的な情報記録媒体は、
コンピュータを、
複数のオブジェクトが静止もしくは移動する仮想空間における視線方向を、表示装置の現実空間における向きの変化に応じて変化させる変化部、
前記仮想空間を前記視線方向に観察した様子を表す画像を生成する生成部、
前記生成された画像を、前記表示装置が有するディスプレイに表示する表示部、
前記複数のオブジェクトから、注目オブジェクトを特定する特定部
として機能させるプログラムを記録し、
前記変化部は、前記注目オブジェクトを中心に、当該視線方向が変化した方向と逆方向に観察位置を変化させ、
前記生成部は、前記仮想空間を前記観察位置から前記視線方向に観察した様子を表す画像を生成する、
ように機能させる。
なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。即ち、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
本発明によれば、仮想空間等を当該仮想空間等内の観察位置から観察した様子を表示装置に表示させる表示制御装置において、当該表示装置の現実空間における位置を検出しなくとも、当該仮想空間等内の当該観察位置を適切に移動させる表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体を提供することができる。
100 (100a, 100b) 表示装置
101 制御部
102 ROM
103 RAM
104 ディスプレイ
105 センサ部
106 操作部
107 バス
111 検知部
112 変化部
113 生成部
114 特定部
115 表示部
201 現実空間
202 (202a, 202b) ユーザ
203 (203a, 203b) 表示方向
204 (204a, 204b) 表示装置の位置
211 現実空間の方位
301 仮想空間
302 (302a, 302b) 観察位置
303 (303a, 303b) 視線方向
311 仮想空間の方位
401〜404 (401a〜404a, 401b〜404b) オブジェクト
501a, 501b 画像

Claims (12)

  1. 表示装置を制御する表示制御装置であって、
    複数のオブジェクトが静止もしくは移動する仮想空間における視線方向を、前記表示装置の現実空間における向きの変化に応じて変化させる変化部と、
    前記仮想空間を前記視線方向に観察した様子を表す画像を生成する生成部と、
    前記生成された画像を、前記表示装置が有するディスプレイに表示する表示部と、
    前記複数のオブジェクトから、注目オブジェクトを特定する特定部と、
    を備え、
    前記変化部は、前記注目オブジェクトを中心に、当該視線方向が変化した方向と逆方向に観察位置を変化させ、
    前記生成部は、前記仮想空間を前記観察位置から前記視線方向に観察した様子を表す画像を生成し、
    前記特定部は、前記複数のオブジェクトが前記画像内にて描画される位置が移動する画像内速度のうち、前記仮想空間内における当該オブジェクトの移動に起因しない速度成分が、所定基準で小さいオブジェクトを、前記注目オブジェクトに特定する、
    ことを特徴とする表示制御装置。
  2. 前記変化部は、前記特定部により複数の注目オブジェクトが特定された場合、前記複数の注目オブジェクトのうち前記速度成分が最小のオブジェクトを中心に、前記観察位置を変化させる、
    ことを特徴とする請求項1に記載の表示制御装置。
  3. 前記複数のオブジェクトの各オブジェクトについて、
    前記視線方向が変化される直前に当該各オブジェクトが前記仮想空間内において存在していた位置の前記視線方向が変化される直前に生成された前記画像内における直前位置と、
    前記視線方向が変化された直後に生成されるべき前記画像内における直後位置と、
    を求め、
    前記直後位置と前記直前位置との差を、当該各オブジェクトの前記速度成分とする、
    ことを特徴とする請求項1または2に記載の表示制御装置。
  4. 前記速度成分が最小であるオブジェクトは、前記所定基準で小さい、
    ことを特徴とする請求項1から3のいずれか一項に記載の表示制御装置。
  5. 前記速度成分が所定閾値以下であるオブジェクトは、前記所定基準で小さい、
    ことを特徴とする請求項1から4のいずれか一項に記載の表示制御装置。
  6. 前記向きの変化に対する前記速度成分の比が、所定閾値未満であるオブジェクトは、前記所定基準で小さい、
    ことを特徴とする請求項1から5のいずれか一項に記載の表示制御装置。
  7. 前記変化部は、前記視線方向の変化に応じて、前記観察位置を変化させる、
    ことを特徴とする請求項1から6のいずれか一項に記載の表示制御装置。
  8. 前記変化部は、前記視線方向の変化量に比例して、前記観察位置を変化させる、
    ことを特徴とする請求項7に記載の表示制御装置。
  9. 前記複数のオブジェクトのうち前記注目オブジェクト以外のオブジェクトであって、前記仮想空間を前記視線方向に観察すると前記注目オブジェクトを隠すオブジェクトの透明度を増加させてから、前記画像を生成する、
    ことを特徴とする請求項1から8のいずれか一項に記載の表示制御装置。
  10. 表示制御装置が表示装置を制御する表示制御方法であって、
    前記表示制御装置が、複数のオブジェクトが静止もしくは移動する仮想空間における視線方向を、前記表示装置の現実空間における向きの変化に応じて変化させる変化ステップと、
    前記表示制御装置が、前記仮想空間を前記視線方向に観察した様子を表す画像を生成する生成ステップと、
    前記表示制御装置が、前記生成された画像を、前記表示装置が有するディスプレイに表示する表示ステップと、
    前記表示制御装置が、前記複数のオブジェクトから、注目オブジェクトを特定する特定ステップと、
    を含み、
    前記変化ステップでは、前記注目オブジェクトを中心に、当該視線方向が変化した方向と逆方向に観察位置を変化させ、
    前記生成ステップでは、前記仮想空間を前記観察位置から前記視線方向に観察した様子を表す画像を生成し、
    前記特定ステップでは、前記複数のオブジェクトが前記画像内にて描画される位置が移動する画像内速度のうち、前記仮想空間内における当該オブジェクトの移動に起因しない速度成分が、所定基準で小さいオブジェクトを、前記注目オブジェクトに特定する、
    ことを特徴とする表示制御方法。
  11. コンピュータを、
    複数のオブジェクトが静止もしくは移動する仮想空間における視線方向を、表示装置の現実空間における向きの変化に応じて変化させる変化部、
    前記仮想空間を前記視線方向に観察した様子を表す画像を生成する生成部、
    前記生成された画像を、前記表示装置が有するディスプレイに表示する表示部、
    前記複数のオブジェクトから、注目オブジェクトを特定する特定部
    として機能させるプログラムであって、
    前記変化部は、前記注目オブジェクトを中心に、当該視線方向が変化した方向と逆方向に観察位置を変化させ、
    前記生成部は、前記仮想空間を前記観察位置から前記視線方向に観察した様子を表す画像を生成し、
    前記特定部は、前記複数のオブジェクトが前記画像内にて描画される位置が移動する画像内速度のうち、前記仮想空間内における当該オブジェクトの移動に起因しない速度成分が、所定基準で小さいオブジェクトを、前記注目オブジェクトに特定する、
    ように機能させることを特徴とするプログラム。
  12. コンピュータを、
    複数のオブジェクトが静止もしくは移動する仮想空間における視線方向を、表示装置の現実空間における向きの変化に応じて変化させる変化部、
    前記仮想空間を前記視線方向に観察した様子を表す画像を生成する生成部、
    前記生成された画像を、前記表示装置が有するディスプレイに表示する表示部、
    前記複数のオブジェクトから、注目オブジェクトを特定する特定部
    として機能させるプログラムであって、
    前記変化部は、前記注目オブジェクトを中心に、当該視線方向が変化した方向と逆方向に観察位置を変化させ、
    前記生成部は、前記仮想空間を前記観察位置から前記視線方向に観察した様子を表す画像を生成し、
    前記特定部は、前記複数のオブジェクトが前記画像内にて描画される位置が移動する画像内速度のうち、前記仮想空間内における当該オブジェクトの移動に起因しない速度成分が、所定基準で小さいオブジェクトを、前記注目オブジェクトに特定する、
    ように機能させることを特徴とするプログラムを記録した非一時的なコンピュータ読取可能な情報記録媒体。
JP2020506854A 2019-04-17 2019-04-17 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 Active JP6713591B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/016458 WO2020213088A1 (ja) 2019-04-17 2019-04-17 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体

Publications (2)

Publication Number Publication Date
JP6713591B1 true JP6713591B1 (ja) 2020-06-24
JPWO2020213088A1 JPWO2020213088A1 (ja) 2021-05-06

Family

ID=71103960

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020506854A Active JP6713591B1 (ja) 2019-04-17 2019-04-17 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体

Country Status (6)

Country Link
US (1) US11756259B2 (ja)
EP (1) EP3901919A4 (ja)
JP (1) JP6713591B1 (ja)
KR (1) KR102149732B1 (ja)
TW (1) TWI736214B (ja)
WO (1) WO2020213088A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024075939A (ja) * 2022-11-24 2024-06-05 キヤノン株式会社 電子機器および電子機器の制御方法
WO2024165955A1 (ja) * 2023-02-09 2024-08-15 株式会社半導体エネルギー研究所 電子機器、およびその動作方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0950541A (ja) * 1995-08-10 1997-02-18 Sega Enterp Ltd 仮想画像生成装置及びその方法
JP2016162426A (ja) * 2015-03-05 2016-09-05 日本電信電話株式会社 映像提示方法及び映像提示装置

Family Cites Families (148)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5742264A (en) * 1995-01-24 1998-04-21 Matsushita Electric Industrial Co., Ltd. Head-mounted display
JPH11155152A (ja) * 1997-11-21 1999-06-08 Canon Inc 三次元形状情報入力方法及び装置及び画像入力装置
US6097927A (en) * 1998-01-27 2000-08-01 Symbix, Incorporated Active symbolic self design method and apparatus
CA2449797A1 (en) * 2002-12-04 2004-06-04 Bombardier Recreational Products Mobile electronic video game
US20080211771A1 (en) * 2007-03-02 2008-09-04 Naturalpoint, Inc. Approach for Merging Scaled Input of Movable Objects to Control Presentation of Aspects of a Shared Virtual Environment
US7936319B2 (en) * 2007-03-08 2011-05-03 Lockheed Martin Corporation Zero-lag image response to pilot head mounted display control
JP5390093B2 (ja) * 2007-12-21 2014-01-15 任天堂株式会社 ゲームプログラムおよびゲーム装置
JP4384697B2 (ja) * 2008-03-26 2009-12-16 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム処理方法、ならびに、プログラム
JP5134504B2 (ja) 2008-11-06 2013-01-30 クラリオン株式会社 車両周辺監視システム
CN102293001B (zh) * 2009-01-21 2014-05-14 株式会社尼康 图像处理装置、图像处理方法及记录方法
US8395529B2 (en) * 2009-04-02 2013-03-12 GM Global Technology Operations LLC Traffic infrastructure indicator on head-up display
JP5182202B2 (ja) * 2009-04-14 2013-04-17 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
US20120215403A1 (en) * 2011-02-20 2012-08-23 General Motors Llc Method of monitoring a vehicle driver
AU2011204946C1 (en) * 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
JP5839220B2 (ja) * 2011-07-28 2016-01-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2013108285A1 (ja) * 2012-01-16 2013-07-25 パナソニック株式会社 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法
US9256961B2 (en) * 2012-06-28 2016-02-09 Here Global B.V. Alternate viewpoint image enhancement
KR102028720B1 (ko) * 2012-07-10 2019-11-08 삼성전자주식회사 위험 요소에 대한 정보를 디스플레이하는 투명 디스플레이 장치 및 그 방법
JP6186689B2 (ja) * 2012-09-26 2017-08-30 セイコーエプソン株式会社 映像表示システム
WO2014057618A1 (ja) * 2012-10-09 2014-04-17 パナソニック株式会社 ３次元表示装置、３次元画像処理装置および３次元表示方法
US9137524B2 (en) * 2012-11-27 2015-09-15 Qualcomm Incorporated System and method for generating 3-D plenoptic video images
US9699433B2 (en) * 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
WO2014130584A1 (en) * 2013-02-19 2014-08-28 Reald Inc. Binocular fixation imaging method and apparatus
US20140236483A1 (en) * 2013-02-19 2014-08-21 Navteq B.V. Method and apparatus for determining travel path geometry based on mapping information
US20160054563A9 (en) * 2013-03-14 2016-02-25 Honda Motor Co., Ltd. 3-dimensional (3-d) navigation
US20140362195A1 (en) * 2013-03-15 2014-12-11 Honda Motor, Co., Ltd. Enhanced 3-dimensional (3-d) navigation
US10215583B2 (en) * 2013-03-15 2019-02-26 Honda Motor Co., Ltd. Multi-level navigation monitoring and control
JP2014235596A (ja) * 2013-06-03 2014-12-15 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置、および情報処理方法
US9736467B2 (en) * 2013-08-05 2017-08-15 Samsung Display Co., Ltd. Apparatus and method for adjusting stereoscopic images in response to head roll
CN105163972B (zh) * 2013-09-13 2017-12-05 日立麦克赛尔株式会社 信息显示系统以及信息显示装置
US10318100B2 (en) * 2013-10-16 2019-06-11 Atheer, Inc. Method and apparatus for addressing obstruction in an interface
US9613459B2 (en) * 2013-12-19 2017-04-04 Honda Motor Co., Ltd. System and method for in-vehicle interaction
GB2523740B (en) * 2014-02-26 2020-10-14 Sony Interactive Entertainment Inc Image encoding and display
GB2523555B (en) * 2014-02-26 2020-03-25 Sony Interactive Entertainment Europe Ltd Image encoding and display
JP6374676B2 (ja) * 2014-03-10 2018-08-15 矢崎総業株式会社 車両用発光表示装置及び車両用表示システム
DE102014009299A1 (de) * 2014-06-26 2015-12-31 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
CN106415447B (zh) * 2014-06-30 2019-08-06 索尼公司 信息处理装置、信息处理方法和图像处理系统
GB2532954A (en) * 2014-12-02 2016-06-08 Ibm Display control system for an augmented reality display system
CN107111749A (zh) * 2014-12-22 2017-08-29 诺瓦赛特有限公司 用于改进的显示的系统和方法
US9753294B2 (en) * 2015-02-09 2017-09-05 Leslie C. Hardison Eyewear system, apparatus and method for stereoscopically viewing motion pictures
US9652035B2 (en) * 2015-02-23 2017-05-16 International Business Machines Corporation Interfacing via heads-up display using eye contact
JP5961892B1 (ja) 2015-04-03 2016-08-03 株式会社ハコスコ 表示端末ならびに情報記録媒体
JP6110893B2 (ja) * 2015-06-12 2017-04-05 株式会社コロプラ 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置
JP6486474B2 (ja) * 2015-08-03 2019-03-20 三菱電機株式会社 表示制御装置、表示装置及び表示制御方法
JP5961736B1 (ja) * 2015-08-17 2016-08-02 株式会社コロプラ ヘッドマウントディスプレイシステムを制御する方法、および、プログラム
KR101971479B1 (ko) * 2015-09-18 2019-04-23 포브, 아이엔씨. 영상 시스템
US10717406B2 (en) * 2015-10-26 2020-07-21 Active Knowledge Ltd. Autonomous vehicle having an external shock-absorbing energy dissipation padding
US11332061B2 (en) * 2015-10-26 2022-05-17 Atnomity Ltd. Unmanned carrier for carrying urban manned vehicles
WO2017090298A1 (ja) * 2015-11-26 2017-06-01 株式会社コロプラ 仮想空間内オブジェクトへの動作指示方法、及びプログラム
CN107533360B (zh) * 2015-12-07 2021-06-15 华为技术有限公司 一种显示、处理的方法及相关装置
US9924238B2 (en) * 2016-03-21 2018-03-20 Screenovate Technologies Ltd. Method and a system for using a computerized source device within the virtual environment of a head mounted device
US9726896B2 (en) * 2016-04-21 2017-08-08 Maximilian Ralph Peter von und zu Liechtenstein Virtual monitor display technique for augmented reality environments
US10539797B2 (en) * 2016-05-06 2020-01-21 Colopl, Inc. Method of providing virtual space, program therefor, and recording medium
JPWO2017213070A1 (ja) * 2016-06-07 2019-04-04 ソニー株式会社 情報処理装置および方法、並びに記録媒体
US10366536B2 (en) * 2016-06-28 2019-07-30 Microsoft Technology Licensing, Llc Infinite far-field depth perception for near-field objects in virtual environments
WO2018005985A1 (en) * 2016-06-30 2018-01-04 Thalmic Labs Inc. Image capture systems, devices, and methods that autofocus based on eye-tracking
JP6714791B2 (ja) * 2016-07-13 2020-07-01 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
US10248196B2 (en) * 2016-08-23 2019-04-02 Toyota Jidosha Kabushiki Kaisha System for occlusion adjustment for in-vehicle augmented reality systems
JP6898430B2 (ja) * 2016-08-26 2021-07-07 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想現実および拡張現実ディスプレイシステムのための連続時間ワーピングおよび両眼時間ワーピングおよび方法
US10976545B2 (en) * 2016-09-01 2021-04-13 Mitsubishi Electric Corporation Display device and adjustment method
JP6620079B2 (ja) * 2016-09-08 2019-12-11 株式会社ソニー・インタラクティブエンタテインメント 画像処理システム、画像処理方法およびコンピュータプログラム
EP3293723A3 (en) * 2016-09-09 2018-08-15 Samsung Electronics Co., Ltd. Method, storage medium, and electronic device for displaying images
JP6373920B2 (ja) * 2016-09-14 2018-08-15 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
US11032535B2 (en) * 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview of a three-dimensional video
US11032536B2 (en) * 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview from a two-dimensional selectable icon of a three-dimensional reality video
US10681341B2 (en) * 2016-09-19 2020-06-09 Verizon Patent And Licensing Inc. Using a sphere to reorient a location of a user in a three-dimensional virtual reality video
GB2558193B (en) * 2016-09-23 2022-07-20 Displaylink Uk Ltd Compositing an image for display
US20180095542A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction
US20180096507A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US20180095636A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US20180095635A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US10536691B2 (en) * 2016-10-04 2020-01-14 Facebook, Inc. Controls and interfaces for user interactions in virtual spaces
US10757400B2 (en) * 2016-11-10 2020-08-25 Manor Financial, Inc. Near eye wavefront emulating display
US11249544B2 (en) * 2016-11-21 2022-02-15 TeleLingo Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
US10107950B2 (en) * 2016-12-06 2018-10-23 Facebook Technologies, Llc Flexible light combiner backlight used in a head mounted display
ES2753131T3 (es) * 2016-12-27 2020-04-07 Volkswagen Ag Sistema de asistencia al conductor, producto de programa informático, secuencia de señales, medio de transporte y procedimiento para la información de un usuario de un medio de transporte
JP6606791B2 (ja) 2017-01-12 2019-11-20 株式会社コナミデジタルエンタテインメント ゲーム装置及びプログラム
WO2018156523A1 (en) * 2017-02-21 2018-08-30 Oculus Vr, Llc Focus adjusting multiplanar head mounted display
US10354153B2 (en) * 2017-03-02 2019-07-16 Ricoh Company, Ltd. Display controller, display control method, and recording medium storing program
JP2018151851A (ja) * 2017-03-13 2018-09-27 セイコーエプソン株式会社 透過型表示装置、表示制御方法、およびコンピュータープログラム
IL251189A0 (en) * 2017-03-15 2017-06-29 Ophir Yoav Gradual transition between two-dimensional and three-dimensional augmented reality simulations
CN118781305A (zh) * 2017-03-17 2024-10-15 麦克赛尔株式会社 Ar显示装置和ar显示方法
US11436811B2 (en) * 2017-04-25 2022-09-06 Microsoft Technology Licensing, Llc Container-based virtual camera rotation
EP3404620A1 (en) * 2017-05-15 2018-11-21 Ecole Nationale de l'Aviation Civile Selective display in an environment defined by a data set
WO2018216355A1 (ja) * 2017-05-24 2018-11-29 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP6298561B1 (ja) * 2017-05-26 2018-03-20 株式会社コロプラ ヘッドマウントデバイスと通信可能なコンピュータによって実行されるプログラム、当該プログラムを実行するための情報処理装置、およびヘッドマウントデバイスと通信可能なコンピュータによって実行される方法
US20180373325A1 (en) * 2017-06-22 2018-12-27 Immersion Corporation Haptic dimensions in a variable gaze orientation virtual environment
US10636193B1 (en) * 2017-06-29 2020-04-28 Facebook Technologies, Llc Generating graphical representation of a user's face and body using a monitoring system included on a head mounted display
EP3422149B1 (en) * 2017-06-30 2023-03-01 Nokia Technologies Oy Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality
WO2019012817A1 (ja) * 2017-07-14 2019-01-17 ソニー株式会社 画像処理装置、画像処理装置の画像処理方法、プログラム
US20210264679A1 (en) * 2017-07-25 2021-08-26 Facebook Technologies, Llc Smart sensor
JP6419916B1 (ja) * 2017-09-04 2018-11-07 株式会社コロプラ ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置
EP3454174B1 (en) * 2017-09-08 2023-11-15 Nokia Technologies Oy Methods, apparatus, systems, computer programs for enabling mediated reality
CN107554430B (zh) * 2017-09-20 2020-01-17 京东方科技集团股份有限公司 车辆盲区可视化方法、装置、终端、系统及车辆
GB2566744B (en) * 2017-09-26 2021-03-03 Sony Interactive Entertainment Inc Head-mountable display system
JP2019066618A (ja) * 2017-09-29 2019-04-25 フォーブ インコーポレーテッド 画像表示システム、画像表示方法及び画像表示プログラム
US10506217B2 (en) * 2017-10-09 2019-12-10 Facebook Technologies, Llc Head-mounted display tracking system
WO2019084325A1 (en) * 2017-10-27 2019-05-02 Magic Leap, Inc. VIRTUAL RETICLE FOR INCREASED REALITY SYSTEMS
US10659685B2 (en) * 2017-10-30 2020-05-19 Visual Supply Company Control of viewing angles for 360-degree video playback
US10612912B1 (en) * 2017-10-31 2020-04-07 Facebook Technologies, Llc Tileable structured light projection system
US11787287B2 (en) * 2017-11-17 2023-10-17 Aisin Corporation Vehicle drive assist system, vehicle drive assist method, and vehicle drive assist program
EP3486749B1 (en) * 2017-11-20 2022-05-11 Nokia Technologies Oy Provision of virtual reality content
US11126848B2 (en) * 2017-11-20 2021-09-21 Rakuten Group, Inc. Information processing device, information processing method, and information processing program
IL255955B (en) * 2017-11-27 2019-06-30 Elbit Systems Ltd System and method for displaying synthetic information on a transparent device
EP3724855A4 (en) * 2017-12-14 2022-01-12 Magic Leap, Inc. CONTEXT-BASED REPRESENTATION OF VIRTUAL AVATARS
GB2569574B (en) * 2017-12-20 2021-10-06 Sony Interactive Entertainment Inc Head-mountable apparatus and methods
EP3502839A1 (en) * 2017-12-22 2019-06-26 Nokia Technologies Oy Methods, apparatus, systems, computer programs for enabling mediated reality
US10696226B2 (en) * 2017-12-27 2020-06-30 Toyota Research Institute, Inc. Vehicles and methods for displaying objects located beyond a headlight illumination line
US10546426B2 (en) * 2018-01-05 2020-01-28 Microsoft Technology Licensing, Llc Real-world portals for virtual reality displays
US10412527B1 (en) * 2018-01-09 2019-09-10 Facebook Technologies, Llc Head-related transfer function determination using base stations
AU2019209950A1 (en) * 2018-01-17 2020-07-09 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
US10380801B1 (en) * 2018-02-07 2019-08-13 Rockwell Collins, Inc. Head wearable device, system, and method for displaying teamed asset information
CN111684336A (zh) * 2018-02-09 2020-09-18 国立大学法人福井大学 使用了视网膜扫描型显示部的图像显示装置及其方法
JP6975309B2 (ja) * 2018-02-21 2021-12-01 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置および画像処理方法
GB2571956B (en) * 2018-03-14 2022-04-27 Sony Interactive Entertainment Inc Head-mountable apparatus and methods
WO2019178409A1 (en) * 2018-03-14 2019-09-19 Magic Leap, Inc. Display systems and methods for clipping content to increase viewing comfort
US11186289B2 (en) * 2018-03-30 2021-11-30 Toyota Jidosha Kabushiki Kaisha Concealment system for improved safe driving
US11010646B2 (en) * 2018-04-10 2021-05-18 Facebook Technologies, Llc Object tracking assisted with hand or eye tracking
CN108499105B (zh) * 2018-04-16 2022-02-25 腾讯科技（深圳）有限公司 在虚拟环境中进行视角调整的方法、装置及存储介质
US20190335166A1 (en) * 2018-04-25 2019-10-31 Imeve Inc. Deriving 3d volumetric level of interest data for 3d scenes from viewer consumption data
JP6878350B2 (ja) * 2018-05-01 2021-05-26 グリー株式会社 ゲーム処理プログラム、ゲーム処理方法、および、ゲーム処理装置
US11595637B2 (en) * 2018-05-14 2023-02-28 Dell Products, L.P. Systems and methods for using peripheral vision in virtual, augmented, and mixed reality (xR) applications
US10901215B1 (en) * 2018-05-16 2021-01-26 Facebook Technologies, Llc Systems and methods for providing a mobile artificial reality user with environmental awareness
US10509467B1 (en) * 2018-06-01 2019-12-17 Facebook Technologies, Llc Determining fixation of a user's eyes from images of portions of the user's face enclosed by a head mounted display
US11394949B2 (en) * 2018-06-12 2022-07-19 Disney Enterprises, Inc. See-through operator awareness tool using synthesized viewpoints
US10915162B2 (en) * 2018-06-15 2021-02-09 Facebook Technologies, Llc Flexure based guidance system for varifocal head-mounted displays
US10535199B1 (en) * 2018-06-18 2020-01-14 Facebook Technologies, Llc Systems and methods for determining a safety boundary for a mobile artificial reality user
EP3591503B1 (en) * 2018-07-04 2021-04-28 Nokia Technologies Oy Rendering of mediated reality content
US20200018976A1 (en) * 2018-07-10 2020-01-16 Ford Global Technologies, Llc Passenger heads-up displays for vehicles
US10746987B2 (en) * 2018-07-12 2020-08-18 Toyota Research Institute, Inc. Vehicle systems and methods for redirecting a driver's gaze towards an object of interest
US10469769B1 (en) * 2018-07-30 2019-11-05 International Business Machines Corporation Augmented reality based driver assistance
US10878781B2 (en) * 2018-08-09 2020-12-29 Chun-Ding HUANG Image processing method and head-mounted display system
US10970899B2 (en) * 2018-10-23 2021-04-06 International Business Machines Corporation Augmented reality display for a vehicle
US11244483B2 (en) * 2018-10-31 2022-02-08 Facebook Technologies, Llc Systems and methods for modifying a safety boundary for virtual reality systems
JP6557843B1 (ja) * 2018-12-05 2019-08-14 パナソニックＩｐマネジメント株式会社 車両の制御装置、制御システム、及び制御プログラム
US11461942B2 (en) * 2018-12-21 2022-10-04 Koninklijke Kpn N.V. Generating and signaling transition between panoramic images
US10798292B1 (en) * 2019-05-31 2020-10-06 Microsoft Technology Licensing, Llc Techniques to set focus in camera in a mixed-reality environment with hand gesture interaction
KR102454167B1 (ko) * 2019-06-27 2022-10-14 한국전자통신연구원 가상 시점 영상 생성 방법 및 장치
JP2022549853A (ja) * 2019-09-27 2022-11-29 マジック リープ， インコーポレイテッド 共有空間内の個々の視認
US11826103B2 (en) * 2019-10-11 2023-11-28 Microsoft Technology Licensing, Llc Multi-laser eye tracking system
US20210122388A1 (en) * 2019-10-23 2021-04-29 Ford Global Technologies, Llc Vehicle display enhancement
JP7558985B2 (ja) * 2020-01-28 2024-10-01 任天堂株式会社 画像処理システム、画像処理プログラム、および画像処理方法
GB2596541B (en) * 2020-06-30 2023-09-13 Sony Interactive Entertainment Inc Video processing
US20220065651A1 (en) * 2020-08-28 2022-03-03 Here Global B.V. Method, apparatus, and system for generating virtual markers for journey activities
US12032803B2 (en) * 2020-09-23 2024-07-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11630509B2 (en) * 2020-12-11 2023-04-18 Microsoft Technology Licensing, Llc Determining user intent based on attention values
US11954242B2 (en) * 2021-01-04 2024-04-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0950541A (ja) * 1995-08-10 1997-02-18 Sega Enterp Ltd 仮想画像生成装置及びその方法
JP2016162426A (ja) * 2015-03-05 2016-09-05 日本電信電話株式会社 映像提示方法及び映像提示装置

Also Published As

Publication number Publication date
EP3901919A1 (en) 2021-10-27
US11756259B2 (en) 2023-09-12
TWI736214B (zh) 2021-08-11
TW202042048A (zh) 2020-11-16
US20210248809A1 (en) 2021-08-12
KR102149732B1 (ko) 2020-08-31
EP3901919A4 (en) 2022-06-08
WO2020213088A1 (ja) 2020-10-22
JPWO2020213088A1 (ja) 2021-05-06

Similar Documents

Publication Publication Date Title
JP7052845B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN109727305B (zh) 虚拟现实系统画面处理方法、装置及存储介质
TW201350912A (zh) 資訊處理裝置，資訊處理系統及資訊處理方法
JP6318470B2 (ja) 表示制御装置、表示制御方法および記録媒体
US10771707B2 (en) Information processing device and information processing method
EP3349095B1 (en) Method, device, and terminal for displaying panoramic visual content
US11527020B2 (en) Information processing apparatus, information processing method, and storage medium
JP6713591B1 (ja) 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
US20190243461A1 (en) Cable movable region display device, cable movable region display method, and cable movable region display program
JP2017182340A (ja) 情報処理装置、情報処理方法、及びプログラム
JP6348191B2 (ja) 電子機器
CN114026603A (zh) 渲染计算机生成现实文本
CN116648683A (zh) 用于选择对象的方法和系统
WO2017169272A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11366318B2 (en) Electronic device and control method thereof
WO2019186622A1 (ja) 表示装置、表示方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
EP3695622B1 (en) Adaptation of presentation speed
US20210281966A1 (en) Information processing apparatus, program, and information processing method
JP7464933B2 (ja) 表示装置及び表示システム
US12057092B2 (en) Information processing device and information processing method for a head-mounted display
US20240185465A1 (en) Methods, systems, and media for determining viewability of a content item in a virtual environment having particles
WO2024106223A1 (ja) 撮影装置、撮影作業支援方法、および撮影作業支援プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200206

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200206

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200206

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200603

R150 Certificate of patent or registration of utility model

Ref document number: 6713591

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250