JP7226332B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP7226332B2
JP7226332B2 JP2019560814A JP2019560814A JP7226332B2 JP 7226332 B2 JP7226332 B2 JP 7226332B2 JP 2019560814 A JP2019560814 A JP 2019560814A JP 2019560814 A JP2019560814 A JP 2019560814A JP 7226332 B2 JP7226332 B2 JP 7226332B2
Authority
JP
Japan
Prior art keywords
display
virtual object
orientation
display device
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019560814A
Other languages
English (en)
Other versions
JPWO2019123770A1 (ja
Inventor
一 若林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019123770A1 publication Critical patent/JPWO2019123770A1/ja
Application granted granted Critical
Publication of JP7226332B2 publication Critical patent/JP7226332B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04804Transparency, e.g. transparent or translucent windows
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。
近年、実空間に付加的な情報を重畳して呈示する拡張現実(AR:Augmented Reality)と称される技術が注目されている。AR技術は、例えば、ユーザの頭部に装着される表示装置であるHMD(Head Mount Display)によって実現される。具体的には、このような表示装置として、実空間におけるユーザの視界内における実空間に仮想オブジェクトを重畳して表示する光学透過型のHMDや、実空間を撮像し撮像により得られる画像上の実空間に仮想オブジェクトを重畳して表示するビデオ透過型のHMDが用いられる(例えば、特許文献1を参照。)。
特開2011-203823号公報
ところで、従来のAR技術では、ユーザによるAR技術の円滑な利用が困難となる場合があった。例えば、HMDを用いたAR技術では、実空間における設定位置と対応付けられた仮想オブジェクトの実空間への重畳表示がHMDの位置及び姿勢を示す位置姿勢情報に応じて制御され得る。それにより、仮想オブジェクトをHMDの位置及び姿勢によらずに設定位置に重畳することが実現され得る。ここで、HMDの位置及び姿勢を検出するために用いられるセンサの検出誤差等に起因して位置姿勢情報の誤差が生じ得る。それにより、仮想オブジェクトの重畳位置と設定位置との間でのズレが生じ得るので、位置姿勢情報を補正する必要がある。位置姿勢情報の補正が行われた場合、位置姿勢情報の補正前後において仮想オブジェクトの重畳位置が急峻に変化し得る。それにより、ユーザへ違和感が与えられること等によりユーザによるAR技術の円滑な利用が困難となる場合があった。
そこで、本開示では、ユーザによるAR技術の利用を円滑化することが可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提案する。
本開示によれば、実空間における設定位置と対応付けられた仮想オブジェクトを移動体の位置及び姿勢を示す位置姿勢情報に基づいて前記実空間に重畳するよう表示装置を制御する制御部と、前記位置姿勢情報を補正する補正部と、を備え、前記制御部は、前記位置姿勢情報が、第1の位置姿勢情報から前記第1の位置姿勢情報に対して非連続的な第2の位置姿勢情報に補正される際に、前記第1の位置姿勢情報に基づいて前記仮想オブジェクトが表示される第1の表示状態から前記第2の位置姿勢情報に基づく第2の表示状態への状態遷移を示す遷移表示を行うよう前記表示装置を制御する、
情報処理装置が提供される。
また、本開示によれば、実空間における設定位置と対応付けられた仮想オブジェクトを移動体の位置及び姿勢を示す位置姿勢情報に基づいて前記実空間に重畳するよう情報処理装置によって表示装置を制御することと、前記位置姿勢情報を補正することと、を含み、前記位置姿勢情報が第1の位置姿勢情報から前記第1の位置姿勢情報に対して非連続的な第2の位置姿勢情報に補正される際に、前記第1の位置姿勢情報に基づいて前記仮想オブジェクトが表示される第1の表示状態から前記第2の位置姿勢情報に基づく第2の表示状態への状態遷移を示す遷移表示を行うよう前記表示装置を制御する、
情報処理方法が提供される。
また、本開示によれば、コンピュータを、実空間における設定位置と対応付けられた仮想オブジェクトを移動体の位置及び姿勢を示す位置姿勢情報に基づいて前記実空間に重畳するよう表示装置を制御する制御部と、前記位置姿勢情報を補正する補正部と、として機能させるためのプログラムであって、前記制御部は、前記位置姿勢情報が、第1の位置姿勢情報から前記第1の位置姿勢情報に対して非連続的な第2の位置姿勢情報に補正される際に、前記第1の位置姿勢情報に基づいて前記仮想オブジェクトが表示される第1の表示状態から前記第2の位置姿勢情報に基づく第2の表示状態への状態遷移を示す遷移表示を行うよう前記表示装置を制御する、プログラムが提供される。
以上説明したように本開示によれば、ユーザによるAR技術の利用を円滑化することが可能である。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果又は本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る表示装置の概略構成の一例を示す模式図である。 同実施形態に係る情報処理装置の機能構成の一例を示すブロック図である。 道案内用のアプリケーションの実行時における表示装置による表示例を示す説明図である。 道案内用のアプリケーションの実行時における表示装置による表示例を示す説明図である。 同実施形態に係る情報処理装置が行う処理の全体的な流れの一例を示すフローチャートである。 同実施形態に係る情報処理装置の制御部が行う遷移表示制御に関する処理の流れの一例を示すフローチャートである。 同実施形態に係る情報処理装置の制御部が行う第1遷移表示制御の第1の例の流れの一例を示すフローチャートである。 仮想オブジェクトの設定位置と補正前後における位置姿勢情報により示される表示装置との間の位置関係の一例を示す模式図である。 表示装置の位置と仮想オブジェクトの重畳位置とを結ぶ直線に沿った方向へ重畳位置を調整する処理について説明するための模式図である。 第1遷移表示制御の第1の例による表示の推移例を示す説明図である。 参考例に係る情報処理装置が行う表示制御による表示の推移例を示す説明図である。 同実施形態に係る情報処理装置の制御部が行う第1遷移表示制御の第2の例の流れの一例を示すフローチャートである。 第1遷移表示制御の第2の例による表示の推移例を示す説明図である。 同実施形態に係る情報処理装置の制御部が行う第2遷移表示制御の第1の例の流れの一例を示すフローチャートである。 第2遷移表示制御の第1の例による表示の推移例を示す説明図である。 参考例に係る情報処理装置が行う表示制御による表示の推移例を示す説明図である。 同実施形態に係る情報処理装置の制御部が行う第2遷移表示制御の第2の例の流れの一例を示すフローチャートである。 第2遷移表示制御の第2の例による表示の推移例を示す説明図である。 同実施形態に係る情報処理装置の制御部が行う第3遷移表示制御の流れの一例を示すフローチャートである。 第3遷移表示制御による表示の推移例を示す説明図である。 参考例に係る情報処理装置が行う表示制御による表示の推移例を示す説明図である。 仮想オブジェクトが遷移表示制御の開始直前及び遷移表示制御の終了直後の双方において表示領域内に表示されないと判定される場合における遷移表示制御による表示の推移例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.表示装置の構成
2.情報処理装置の動作
2-1.処理の全体的な流れ
2-2.遷移表示制御
2-2-1.第1遷移表示制御
2-2-2.第2遷移表示制御
2-2-3.第3遷移表示制御
2-2-4.補足
3.情報処理装置の効果
4.まとめ
<1.表示装置の構成>
まず、図1~図4を参照して、本開示の実施形態に係る表示装置1の構成について説明する。
図1は、本実施形態に係る表示装置1の概略構成の一例を示す模式図である。
表示装置1は、ユーザの頭部に装着されて用いられる表示装置であるヘッドマウントディスプレイである。例えば、表示装置1は、実空間におけるユーザの視界内における実空間に仮想オブジェクトを重畳して表示する光学透過型のHMDである。例えば、表示装置1は、装着時にユーザの目と対向する透過性部材と、透過性部材に画像を投射する機構とを有する。透過性部材へ投射された画像は透過性部材により反射されてユーザの目へ入射され、ユーザへ虚像として視認される。それにより、仮想オブジェクトの実空間への重畳表示が実現され得る。なお、表示装置1は、本開示に係る移動体の一例に相当する。
表示装置1は、例えば、図1に示したように、カメラ20と、位置姿勢センサ30と、情報処理装置100とを備える。
カメラ20は、ユーザの視界内における実空間を撮像する。また、カメラ20は、撮像により得られる実空間が映る撮像画像を情報処理装置100へ出力する。
位置姿勢センサ30は、表示装置1の位置及び姿勢に関する情報を検出するセンサである。位置姿勢センサ30は、複数のセンサを含んでもよく、例えば、地磁気センサ、加速度センサ、ジャイロセンサ及びGNSS(Global Navigation Satellite System)センサ等のモーションセンサを含む。位置姿勢センサ30は、具体的には、これらのセンサを用いることにより、表示装置1の位置及び姿勢に関する情報として、表示装置1の位置、姿勢、加速度及び角速度を検出し得る。位置姿勢センサ30による表示装置1の位置及び姿勢の検出は、例えば、地磁気センサ及びGNSSセンサを用いることによって実現され得る。また、位置姿勢センサ30による表示装置1の加速度及び角速度の検出は、例えば、加速度センサ及びジャイロセンサを用いることによって実現され得る。また、位置姿勢センサ30は、検出結果を情報処理装置100へ出力する。なお、カメラ20による撮像画像に基づいて装置の自己位置を推定するVisual SLAM(Simultaneous Localization and Mapping)技術が採用される場合、位置姿勢センサ30にカメラ20が含まれるものと推定されても良い。
情報処理装置100は、演算処理装置であるCPU(Central Processing Unit)、CPUが使用するプログラムや演算パラメータ等を記憶する記憶素子であるROM(Read Only Memory)及びCPUの実行において適宜変化するパラメータ等を一時記憶する記憶素子であるRAM(Random Access Memory)等を含んで構成される。情報処理装置100は、例えば、表示装置1に内蔵される。
図2は、本実施形態に係る情報処理装置100の機能構成の一例を示すブロック図である。
情報処理装置100は、例えば、図2に示されるように、通信部110と、記憶部120と、更新部130と、補正部140と、制御部150とを備える。
通信部110は、有線又は無線の情報ネットワークを介して情報処理装置100の外部の装置と通信する。
具体的には、通信部110は、位置姿勢センサ30により検出された表示装置1の位置及び姿勢に関する情報を位置姿勢センサ30から受信し、記憶部120及び更新部130へ出力する。また、通信部110は、カメラ20の撮像画像をカメラ20から受信し、補正部140へ出力する。また、通信部110は、制御部150から出力された表示装置1の動作を制御するための動作指令を表示装置1へ送信する。
記憶部120は、情報処理装置100が行う各処理において用いられる情報を記憶する。
具体的には、記憶部120は、制御部150が行う表示制御において用いられる情報として、表示装置1の位置及び姿勢を示す情報である位置姿勢情報や実空間へ重畳表示される仮想オブジェクトに関する情報を記憶する。また、記憶部120は、補正部140が行う補正処理において用いられる情報として、補正処理においてカメラ20の撮像画像との比較対象となるマーカ画像を記憶する。
更新部130は、表示装置1の位置姿勢情報を更新する。具体的には、更新部130は、記憶部120に記憶される位置姿勢情報が最新の状態に維持されるように、繰り返し位置姿勢情報を更新する。なお、表示装置1の位置姿勢情報は、実空間に関連付けられた、いわゆるグローバル座標系上において定義されるものと見做されても良い。この場合、仮想オブジェクトの実空間への重畳表示は、グローバル座標系における表示装置1の位置と、仮想オブジェクトの設定位置との相対的な位置関係に応じて制御され得る。
補正部140は、表示装置1の位置姿勢情報を補正する。具体的には、補正部140は、記憶部120に記憶される位置姿勢情報の誤差がキャンセルされるように、位置姿勢情報を補正する。なお、本明細書では、「補正」と言った場合、表示装置1の位置又は姿勢の瞬間的な変更(換言すると、比較的大きな変更)を伴う情報の変更を意味する。また、補正前の位置姿勢情報は第1の位置姿勢情報と見做されても良く、補正後の位置姿勢情報は第2の位置姿勢情報と見做されても良い。このように、第1の位置姿勢情報と第2の位置姿勢情報とは、互いに非連続的な位置姿勢情報に相当する。
制御部150は、表示装置1の動作を制御するための動作指令を通信部110へ出力することによって、表示装置1の動作を制御する。それにより、表示装置1による仮想オブジェクトの実空間への重畳表示が制御される。このように、制御部150は、仮想オブジェクトを実空間に重畳するよう表示装置1を制御する。なお、本明細書では、表示装置1による仮想オブジェクトの実空間への重畳表示について制御部150が実行する制御を表示制御と称する。
具体的には、制御部150は、実空間における設定位置と対応付けられた仮想オブジェクトを表示装置1の位置姿勢情報に基づいて実空間に重畳するよう表示装置1を制御する。より具体的には、制御部150は、設定位置と対応付けられた仮想オブジェクトを表示装置1の位置姿勢情報と設定位置との関係性に基づいて実空間に重畳するよう表示装置1を制御する。それにより、設定位置と対応付けられた仮想オブジェクトが表示装置1の位置及び姿勢によらずに設定位置に重畳され得る。
情報処理装置100が行う表示制御は、例えば、道案内用のアプリケーションに適用される。
図3及び図4は、道案内用のアプリケーションの実行時における表示装置1による表示例を示す説明図である。具体的には、図3では、表示装置1を装着した状態で駅構内を移動しているユーザの視点から見た様子が示されている。図4では、図3と比較して時間が経過した後において、市街地を移動しているユーザの視点から見た様子が示されている。なお、図3及び図4に示される表示領域50は、表示装置1による情報の表示の対象となる領域であり、ユーザの視界内の領域に相当する。
道案内用のアプリケーションの実行時には、例えば、図3に示されるように、ユーザによる操作に応じて表示領域50内に地図画像61が表示される。ユーザは、地図画像61を用いて所望の目的地を設定することができる。目的地が設定されると、表示装置1は、現在地から設定された目的地への推奨ルートを案内する表示を行う。例えば、表示装置1は、図3及び図4に示されるように、推奨ルートを示す矢印62を表示する。
そして、ユーザが目的地へ近づき、例えば、ユーザの視界内に目的地が入った場合、表示装置1は、図4に示されるように、設定位置としての目的地と対応付けられた仮想オブジェクト70を目的地に重畳して表示する。それにより、ユーザは、目的地の位置を容易に認識することができるので、円滑に目的地へたどり着くことができる。
仮想オブジェクト70の表示は、仮想オブジェクト70を表示装置1の位置及び姿勢によらずに目的地に重畳するために、表示装置1の位置姿勢情報と目的地との関係性に基づいて制御される。ゆえに、位置姿勢情報の補正が行われた場合、位置姿勢情報の補正前後において仮想オブジェクト70の重畳位置は変化し得る。ここで、本実施形態に係る情報処理装置100の制御部150は、位置姿勢情報が、第1の位置姿勢情報から当該第1の位置姿勢情報に対して非連続的な第2の位置姿勢情報に補正される際に、第1の位置姿勢情報に基づいて仮想オブジェクト70が表示される第1の表示状態から第2の位置姿勢情報に基づく第2の表示状態への状態遷移を示す遷移表示を行うよう表示装置1を制御する。それにより、ユーザによるAR技術の利用を円滑化することができる。
なお、本明細書では、制御部150による表示制御が光学透過型のHMDである表示装置1に適用される例を説明するが、制御部150が行う表示制御の適用対象となる移動体はこのような例に限定されない。
例えば、制御部150による表示制御は、ビデオ透過型のHMDに適用されてもよい。その場合、制御部150は、表示制御において、ビデオ透過型のHMDによる仮想オブジェクトの画像上の実空間への重畳表示を制御する。また、制御部150は、実空間における設定位置と対応付けられた仮想オブジェクトを移動体としてのビデオ透過型のHMDの位置姿勢情報に基づいて画像上の実空間に重畳するように当該HMDを制御する。
また、例えば、制御部150による表示制御は、実空間を撮像し撮像により得られる画像上の実空間に仮想オブジェクトを重畳して表示するスマートフォン又はタブレット端末等の情報処理端末に適用されてもよい。その場合、制御部150は、表示制御において、情報処理端末による仮想オブジェクトの画像上の実空間への重畳表示を制御する。また、制御部150は、実空間における設定位置と対応付けられた仮想オブジェクトを移動体としての情報処理端末の位置姿勢情報に基づいて画像上の実空間に重畳するように当該情報処理端末を制御する。
また、例えば、制御部150による表示制御は、車両、航空機又はドローン等の移動体を利用することにより仮想オブジェクトの実空間への重畳表示を実現するシステムの表示装置に適用されてもよい。具体的には、このような表示装置として、車両又は航空機の搭乗者の視界内における実空間に仮想オブジェクトを重畳して表示する表示装置であるHUD(Head-Up Display)や、実空間を撮像するドローンにより得られる画像上の実空間に仮想オブジェクトを重畳して表示する表示装置が挙げられる。その場合、制御部150は、表示制御において、上記システムの表示装置による仮想オブジェクトの実空間への重畳表示を制御する。また、制御部150は、実空間における設定位置と対応付けられた仮想オブジェクトを移動体としての車両、航空機又はドローン等の位置姿勢情報に基づいて実空間に重畳するように上記システムの表示装置を制御する。
<2.情報処理装置の動作>
続いて、図5~図22を参照して、本実施形態に係る情報処理装置100の動作について説明する。
[2-1.処理の全体的な流れ]
まず、図5を参照して、本実施形態に係る情報処理装置100が行う処理の全体的な流れについて説明する。
図5は、本実施形態に係る情報処理装置100が行う処理の全体的な流れの一例を示すフローチャートである。図5に示される処理フローは、例えば、常時繰り返される。なお、図5に示される処理フローは、表示制御が開始されていない状態で開始される。
図5に示される処理フローが開始されると、まず、ステップS501において、情報処理装置100は、表示制御を開始するか否かを判定する。表示制御を開始すると判定された場合(ステップS501/YES)、ステップS503へ進む。一方、表示制御を開始しないと判定された場合(ステップS501/NO)、図5に示される処理フローは終了する。
例えば、情報処理装置100は、上述した道案内用のアプリケーションがユーザによる操作に応じて起動されたことをもって、表示制御を開始すると判定する。なお、表示制御を開始すると判定するトリガは、このような例に限定されない。例えば、情報処理装置100は、道案内用のアプリケーションと異なる他のアプリケーションが起動されたことをもって、表示制御を開始すると判定してもよい。また、例えば、情報処理装置100は、表示装置1の電源がONになったことをもって、表示制御を開始すると判定してもよい。
なお、以下では、上述した道案内用のアプリケーションの実行時における仮想オブジェクト70の重畳表示に関する処理について主に説明するが、情報処理装置100の動作はこのような例に限定されず、情報処理装置100は他の状況(例えば他のアプリケーションの実行時)における仮想オブジェクトの重畳表示についても同様に動作し得る。
ステップS503において、通信部110は、表示装置1の位置姿勢情報を取得する。
例えば、通信部110は、位置姿勢センサ30による表示装置1の位置及び姿勢の検出結果を位置姿勢情報の初期値として受信し、記憶部120へ記憶させる。
次に、ステップS505において、制御部150は、通常表示制御を実行する。
通常表示制御では、制御部150は、表示装置1の位置姿勢情報と仮想オブジェクト70の設定位置との関係性に基づいて仮想オブジェクト70を表示するよう表示装置1を制御する。
例えば、制御部150は、通常表示制御において、実際の表示装置1の位置及び姿勢を基準とした仮想オブジェクト70の重畳位置の相対位置を、位置姿勢情報により示される表示装置1の位置及び姿勢を基準とした仮想オブジェクト70の設定位置の相対位置と一致させるように表示制御を行う。それにより、仮想オブジェクト70の重畳位置を設定位置と一致させることができる。仮想オブジェクト70の重畳位置が表示領域50内である場合、仮想オブジェクト70は表示装置1の表示領域50内に表示される。一方、仮想オブジェクト70の重畳位置が表示領域50外である場合、仮想オブジェクト70は表示装置1の表示領域50内に表示されない。
重畳位置は、具体的には、実空間において仮想オブジェクト70が重畳される位置(換言すると、実空間において仮想オブジェクト70が配置される位置)である。設定位置は、具体的には、仮想オブジェクト70と対応付けられる実空間における位置であり、予め設定される。例えば、道案内用のアプリケーションにおいて、仮想オブジェクト70の設定位置として、仮想オブジェクト70により示される目的地が設定される。設定位置を示す情報は、例えば、記憶部120に記憶される。
位置姿勢情報により示される表示装置1の位置及び姿勢が実際の表示装置1の位置及び姿勢と一致する場合、仮想オブジェクト70の重畳位置は設定位置と一致する。しかしながら、位置姿勢情報には、上述したように、位置姿勢センサ30の検出誤差等に起因して誤差(換言すると、位置姿勢情報により示される表示装置1の位置及び姿勢と、実際の表示装置1の位置及び姿勢との間のズレ)が生じ得る。このように位置姿勢情報の誤差が生じることによって、仮想オブジェクト70の重畳位置と設定位置との間で、位置姿勢情報の誤差に応じたズレが生じる。そこで、仮想オブジェクト70の重畳位置と設定位置との間のズレを抑制するために、後述されるように、位置姿勢情報の補正が行われる。
次に、ステップS507において、情報処理装置100は、表示装置1の位置姿勢情報を補正可能か否かを判定する。位置姿勢情報を補正可能であると判定された場合(ステップS507/YES)、ステップS509へ進む。一方、位置姿勢情報を補正可能でないと判定された場合(ステップS507/NO)、ステップS511へ進む。
表示装置1の位置姿勢情報の補正処理は、後述されるように、例えば、記憶部120に記憶されるマーカ画像に映るマーカと対応する実空間上のマーカが映るカメラ20の撮像画像を用いて行われる。ゆえに、情報処理装置100は、例えば、マーカが映るカメラ20の撮像画像が取得されたことをもって、位置姿勢情報を補正可能であると判定する。
ステップS509において、補正部140は、表示装置1の位置姿勢情報を補正する。この際、具体的には、表示装置1の位置姿勢情報が、第1の位置姿勢情報から当該第1の位置姿勢情報に対して非連続的な第2の位置姿勢情報に補正される。
例えば、補正部140は、マーカが映るカメラ20の撮像画像とマーカ画像とを比較することによって、位置姿勢情報を補正する。ここで、マーカ画像は、表示装置1の位置及び姿勢が特定の位置及び姿勢をとる状態でカメラ20による撮像を行った場合に得られる画像であり、例えば、記憶部120に予め記憶される。このように、マーカ画像は、特定の位置及び姿勢と紐付けられた画像である。具体的には、記憶部120には、複数の位置及び姿勢についてのマーカ画像が予め記憶される。なお、マーカ画像には、マーカと称される実物体が映っていてもよく、映っていなくてもよい。また、マーカ画像と特定の位置及び姿勢との紐付けの関係性として、情報処理装置100により動的に生成されたものが利用されてもよく、予め他の装置により生成されたものが利用されてもよく、それらの双方が利用されてもよい。
補正部140は、具体的には、カメラ20の撮像画像におけるマーカの位置、姿勢及び寸法と、マーカ画像におけるマーカの位置、姿勢及び寸法とを比較することによって、実際の表示装置1の位置及び姿勢を特定する。そして、補正部140は、記憶部120に記憶されている位置姿勢情報を、このように特定された実際の表示装置1の位置及び姿勢を示す情報へ補正する。それにより、位置姿勢センサ30の検出誤差等に起因して生じ得る位置姿勢情報の誤差がキャンセルされる。補正部140は、例えば、位置姿勢センサ30により検出される位置姿勢情報の誤差が閾値以上である場合に、位置姿勢情報を補正してもよい。当該閾値は、例えば、仮想オブジェクト70の重畳位置と設定位置との間のズレを適切に抑制し得るように設定される。なお、位置姿勢情報の補正が行われた際、補正直前の位置姿勢情報が記憶部120に履歴として記憶され得る。
次に、ステップS600において、制御部150は、遷移表示制御に関する処理を実行する。
遷移表示制御では、制御部150は、補正前の位置姿勢情報である第1の位置姿勢情報に基づいて仮想オブジェクト70が表示される第1の表示状態から補正後の位置姿勢情報である第2の位置姿勢情報に基づく第2の表示状態への状態遷移を示す遷移表示を行うように表示装置1を制御する。換言すると、遷移表示制御では、補正前の位置姿勢情報である第1の位置姿勢情報に基づいて通常表示制御が実行される状態から補正後の位置姿勢情報である第2の位置姿勢情報に基づいて通常表示制御が実行される状態への遷移を示す表示を行うように表示装置1が制御される。遷移表示制御に関する処理における具体的な処理の流れについては、後述にて詳細に説明する。
次に、ステップS511において、情報処理装置100は、表示制御を終了するか否かを判定する。表示制御を終了すると判定された場合(ステップS511/YES)、図5に示される処理フローは終了する。一方、表示制御を終了しないと判定された場合(ステップS511/NO)、ステップS513へ進む。
例えば、情報処理装置100は、上述した道案内用のアプリケーションがユーザによる操作に応じて終了したことをもって、表示制御を終了すると判定する。なお、表示制御を終了すると判定するトリガは、このような例に限定されない。例えば、情報処理装置100は、道案内用のアプリケーションと異なる他のアプリケーションが終了したことをもって、表示制御を終了すると判定してもよい。また、例えば、情報処理装置100は、表示装置1の電源がOFFになったことをもって、表示制御を終了すると判定してもよい。
ステップS513において、更新部130は、表示装置1の位置姿勢情報を更新する。
例えば、更新部130は、位置姿勢センサ30による表示装置1の加速度及び角速度の検出結果に基づいて、記憶部120に記憶される位置姿勢情報を更新する。
なお、更新部130は、カメラ20の撮像画像に映る特徴点の位置の変化に基づいて表示装置1の位置姿勢情報を更新してもよい。例えば、SLAM(Simultaneous Localization And Mapping)と称される技術を利用することによって、カメラ20の撮像画像に基づく位置姿勢情報の更新が実現され得る。また、更新部130は、位置姿勢センサ30による表示装置1の位置及び姿勢の検出結果に基づいて、表示装置1の位置姿勢情報を更新してもよい。なお、これらの場合においても、位置姿勢情報には、誤差が生じ得る。
次に、ステップS505へ戻り、更新された位置姿勢情報に基づく通常表示制御が実行される。
[2-2.遷移表示制御]
続いて、図6~図22を参照して、本実施形態に係る情報処理装置100の制御部150が行う遷移表示制御に関する処理について説明する。遷移表示制御に関する処理は、例えば、図5に示される処理フローにおけるステップS600の処理と対応する。
まず、図6を参照して、本実施形態に係る情報処理装置100の制御部150が行う遷移表示制御に関する処理の流れについて説明する。
図6は、本実施形態に係る情報処理装置100の制御部150が行う遷移表示制御に関する処理の流れの一例を示すフローチャートである。
遷移表示制御に関する処理では、例えば、遷移表示の開始直前において仮想オブジェクト70が表示領域50内に表示されるか否かの判定結果と、遷移表示の終了直後において仮想オブジェクト70が表示領域50内に表示されるか否かの判定結果とに応じて異なる遷移表示制御が実行される。
図6に示される処理フローが開始されると、まず、ステップS601において、制御部150は、仮想オブジェクト70が遷移表示の終了直後(換言すると、位置姿勢情報の補正直後における通常表示制御の実行時)において表示領域50内に表示されるか否かを判定する。仮想オブジェクト70が遷移表示の終了直後において表示領域50内に表示されると判定された場合(ステップS601/YES)、ステップS603へ進む。一方、仮想オブジェクト70が遷移表示の終了直後において表示領域50内に表示されないと判定された場合(ステップS601/NO)、ステップS605へ進む。
例えば、制御部150は、補正直後の位置姿勢情報により示される表示装置1の位置及び姿勢を基準とした仮想オブジェクト70の設定位置の相対位置に基づいて、仮想オブジェクト70が遷移表示の終了直後において表示領域50内に表示されるか否かを判定し得る。
ステップS603において、制御部150は、仮想オブジェクト70が遷移表示の開始直前(換言すると、位置姿勢情報の補正直前における通常表示制御の実行時)において表示領域50内に表示されるか否かを判定する。仮想オブジェクト70が遷移表示の開始直前において表示領域50内に表示されると判定された場合(ステップS603/YES)、ステップS610へ進む。一方、仮想オブジェクト70が遷移表示の開始直前において表示領域50内に表示されないと判定された場合(ステップS603/NO)、ステップS620へ進む。
例えば、制御部150は、補正直前の位置姿勢情報により示される表示装置1の位置及び姿勢を基準とした仮想オブジェクト70の設定位置の相対位置に基づいて、仮想オブジェクト70が遷移表示の開始直前において表示領域50内に表示されるか否かを判定し得る。
ステップS610において、制御部150は、第1遷移表示制御を実行する。第1遷移表示制御における具体的な処理の流れについては、後述にて詳細に説明する。
ステップS620において、制御部150は、第2遷移表示制御を実行する。第2遷移表示制御における具体的な処理の流れについては、後述にて詳細に説明する。
ステップS605において、制御部150は、仮想オブジェクト70が遷移表示の開始直前において表示領域50内に表示されるか否かを判定する。仮想オブジェクト70が遷移表示の開始直前において表示領域50内に表示されると判定された場合(ステップS605/YES)、ステップS630へ進む。一方、仮想オブジェクト70が遷移表示の開始直前において表示領域50内に表示されないと判定された場合(ステップS605/NO)、図6に示される処理は終了する。
ステップS630において、制御部150は、第3遷移表示制御を実行する。第3遷移表示制御における具体的な処理の流れについては、後述にて詳細に説明する。
以下では、ステップS601、ステップS603及びステップS605の各判定処理における判定結果に応じて実行される第1遷移表示制御、第2遷移表示制御及び第3遷移表示制御の各々について詳細に説明する。
(2-2-1.第1遷移表示制御)
まず、図7~図13を参照して、本実施形態に係る情報処理装置100の制御部150が行う第1遷移表示制御について説明する。
図7は、本実施形態に係る情報処理装置100の制御部150が行う第1遷移表示制御の第1の例の流れの一例を示すフローチャートである。
図7に示される処理フローが開始されると、まず、ステップS611において、制御部150は、仮想オブジェクト70の重畳位置を位置姿勢情報の補正前の通常表示制御における重畳位置に調整する。
図8は、仮想オブジェクト70の設定位置P72と補正前後における位置姿勢情報により示される表示装置1との間の位置関係の一例を示す模式図である。図8では、補正直前の位置姿勢情報により示される表示装置1の位置が位置P101であり、補正直後の位置姿勢情報により示される表示装置1の位置が位置P102である例が示されている。
具体的には、位置姿勢情報により示される表示装置1の位置が、補正前後において、位置P101から距離Tだけ離れた位置P102へ移動している。また、位置姿勢情報により示される表示装置1の姿勢が、補正前後において、角度Rだけ回転している。
例えば、図8に示される例では、補正直前の通常表示制御において、制御部150は、補正直前の位置姿勢情報により示される表示装置1の位置P101及び姿勢を基準とした設定位置P72の相対位置に基づいて表示制御を行う。ここで、実際の表示装置1の位置及び姿勢は、補正直後の位置姿勢情報により示される表示装置1の位置P102及び姿勢と対応する。ゆえに、補正前の通常表示制御における仮想オブジェクト70の重畳位置は、設定位置P72と異なる位置P71となる。
補正前の通常表示制御における重畳位置である位置P71は、具体的には、設定位置P72を位置P101から位置P102へ向かう方向に距離Tだけ移動させた後、位置姿勢情報により示される表示装置1の姿勢の補正前後での回転方向と同一方向に位置P102を中心に角度Rだけ回転させた位置である。
制御部150は、図8に示される例では、まず、補正前の通常表示制御における仮想オブジェクト70の重畳位置である位置P71を算出する。そして、制御部150は、仮想オブジェクト70の重畳位置を算出された位置P71に調整する。このような重畳位置の調整は、具体的には、実際の表示装置1の位置及び姿勢を基準とした仮想オブジェクト70の重畳位置の相対位置を、補正直後の位置姿勢情報により示される表示装置1の位置P102及び姿勢を基準とした位置P71の相対位置と一致させるように表示制御を行うことによって実現される。
このように、制御部150は、仮想オブジェクト70の設定位置と、位置姿勢情報により示される表示装置1の位置及び姿勢の補正前後における変化とに基づいて、補正前の通常表示制御における重畳位置を特定し得る。なお、制御部150は、以下で説明する遷移表示制御の他の例においても同様に、補正前の通常表示制御における重畳位置を特定し得る。
次に、ステップS612において、制御部150は、仮想オブジェクト70の重畳位置を位置姿勢情報の補正後の通常表示制御における重畳位置へ徐々に(例えば、段階的に)変化させる。
例えば、図8に示される例では、補正後の通常表示制御において、制御部150は、補正後の位置姿勢情報により示される表示装置1の位置及び姿勢を基準とした設定位置P72の相対位置に基づいて表示制御を行う。ゆえに、補正後の通常表示制御における仮想オブジェクト70の重畳位置は、設定位置P72と一致する。
制御部150は、図8に示される例では、仮想オブジェクト70の重畳位置を補正前の通常表示制御における重畳位置である位置P71から補正後の通常表示制御における重畳位置である設定位置P72へ段階的に変化させる。このような重畳位置の段階的な変化は、具体的には、実際の表示装置1の位置及び姿勢を基準とした仮想オブジェクト70の重畳位置の相対位置を、補正後の位置姿勢情報により示される表示装置1の位置及び姿勢を基準とした位置P71と設定位置P72との間の各位置の相対位置と段階的に一致させるように表示制御を行うことによって実現される。
このように、制御部150は、仮想オブジェクト70の設定位置を補正後の通常表示制御における重畳位置として特定し得る。なお、制御部150は、以下で説明する遷移表示制御の他の例においても同様に、仮想オブジェクト70の設定位置を補正後の通常表示制御における重畳位置として特定し得る。
制御部150は、仮想オブジェクト70の重畳位置の変化速度を種々のパラメータに基づいて制御し得る。なお、制御部150は、以下で説明する遷移表示制御の他の例においても同様に、仮想オブジェクト70の重畳位置の変化速度を制御し得る。
例えば、制御部150は、仮想オブジェクト70の重畳位置の変化速度を表示装置1の動きに基づいて制御してもよい。具体的には、制御部150は、表示装置1の位置又は姿勢の変化速度が大きいほど、仮想オブジェクト70の重畳位置の変化速度を大きくしてもよい。すなわち、表示装置1の位置又は姿勢の変化速度が第1の変化速度である場合、表示装置1の位置又は姿勢の変化速度が第1の変化速度よりも小さい第2の変化速度である場合よりも、仮想オブジェクト70の重畳位置の変化速度が大きくなるよう表示装置1が制御されると見做されても良い。なお、ここでいう表示装置1の位置又は姿勢の変化速度には、ユーザ(表示装置1)の移動速度、あるいは回転速度の変化が含まれる。
また、例えば、制御部150は、仮想オブジェクト70の重畳位置の変化速度を仮想オブジェクト70が動的オブジェクト(動画像)であるか否かに基づいて制御してもよい。具体的には、制御部150は、仮想オブジェクト70が動的オブジェクトである場合に、仮想オブジェクト70が非動的オブジェクト(静止画像)である場合と比較して仮想オブジェクト70の重畳位置の変化速度を大きくしてもよい。なお、動的オブジェクトには、いわゆるアニメーション画像が含まれ、所定の条件に基づいて動作を行うオブジェクトであればよい。
また、例えば、制御部150は、表示装置1の位置と仮想オブジェクト70の重畳位置とを結ぶ直線に沿った方向へ重畳位置を優先的に変化させてもよい。図9は、表示装置1の位置と仮想オブジェクト70の重畳位置とを結ぶ直線に沿った方向へ重畳位置を調整する処理について説明するための模式図である。例えば、図9に示されるように、仮想オブジェクト70の重畳位置が位置P73であり位置姿勢情報により示される表示装置1の位置が位置P103である場合において、制御部150は、位置P103と位置P73とを結ぶ直線L1に沿って位置P74まで重畳位置を優先的に変化させてもよい。位置P74は、例えば、位置P103と位置P73とを結ぶ直線L1と、直線L1に対して直交し設定位置P72を通る直線L2との交点と対応する。換言すると、位置P74は、直線L1上において設定位置P72と最も近い点と対応する。なお、制御部150は、直線L1と直線L2のなす角の角度θが所定の角度(例えば、30°)より小さい場合に限り、重畳位置を直線L1に沿って優先的に変化させてもよい。
なお、制御部150は、仮想オブジェクト70の重畳位置の変化速度を一定に維持してもよい。その場合、仮想オブジェクト70の重畳位置は、時間の経過に応じて変化する。
次に、図7に示される処理は終了する。
図10は、第1遷移表示制御の第1の例による表示の推移例を示す説明図である。図10では、補正前の通常表示制御における重畳位置である位置P11及び補正後の通常表示制御における重畳位置である設定位置P12が示されている。
第1遷移表示制御は、上述したように、仮想オブジェクト70が遷移表示の開始直前及び遷移表示の終了直後の双方において表示領域50内に表示されると判定される場合に実行される。ゆえに、補正前の通常表示制御における重畳位置である位置P11及び補正後の通常表示制御における重畳位置である設定位置P12はともに表示領域50内に位置し得る。
例えば、時刻T11において、第1遷移表示制御の第1の例が実行されると、仮想オブジェクト70の重畳位置が位置P11に調整される。それにより、図10に示されるように、遷移表示制御の開始直前と同様に、表示領域50内の位置P11に仮想オブジェクト70が表示される。その後、仮想オブジェクト70の重畳位置が表示領域50内において位置P11から設定位置P12へ段階的に変化する。
具体的には、時刻T11より後の時刻T12における仮想オブジェクト70の重畳位置は、時刻T11と比較して設定位置P12に近づいている。また、時刻T12より後の時刻T13における仮想オブジェクト70の重畳位置は、時刻T12と比較してさらに設定位置P12に近づいている。そして、時刻T14において、仮想オブジェクト70が設定位置P12に表示された状態で、遷移表示制御が通常表示制御へ切り替えられる。
このように、第1遷移表示制御の第1の例が実行されることにより、位置姿勢情報の補正が行われた際に、例えば、位置姿勢情報の補正前において表示領域50内の位置P11に表示されていた仮想オブジェクト70が表示領域50内において位置P11から設定位置P12へ段階的に移動する。
図11は、参考例に係る情報処理装置が行う表示制御による表示の推移例を示す説明図である。参考例に係る情報処理装置は、本実施形態に係る情報処理装置100と異なり、位置姿勢情報の補正が行われた際に遷移表示制御を実行せず、通常表示制御を継続的に実行する。図11では、具体的には、位置姿勢情報の補正直前の通常表示制御及び補正直後の通常表示制御の双方において仮想オブジェクト70が表示領域50内に表示される場合の参考例による表示の推移例が示されている。このような場合、参考例では、例えば、図11に示されるように、位置姿勢情報の補正前の時刻T21において表示領域50内の位置P11に表示されていた仮想オブジェクト70が、位置姿勢情報の補正が行われる時刻T22において急峻に表示領域50内の設定位置P12へ移動する。
このように、参考例では、位置姿勢情報の補正が行われることに伴い、表示領域50内に表示される仮想オブジェクト70が急峻に移動する。それにより、位置姿勢情報の補正前後においてユーザへ違和感が与えられる。一方、本実施形態に係る情報処理装置100によれば、位置姿勢情報の補正が行われた際に第1遷移表示制御の第1の例が行われることによって、表示領域50内に表示される仮想オブジェクト70が急峻に移動することが抑制される。それにより、位置姿勢情報の補正前後においてユーザへ違和感が与えられることを抑制することができる。
図12は、本実施形態に係る情報処理装置100の制御部150が行う第1遷移表示制御の第2の例の流れの一例を示すフローチャートである。
図12に示される処理フローが開始されると、まず、ステップS615において、制御部150は、仮想オブジェクト70の重畳位置を位置姿勢情報の補正前の通常表示制御における重畳位置に調整する。
次に、ステップS616において、制御部150は、仮想オブジェクト70の透明度を100%へ徐々に(例えば、段階的に)上昇させる。
具体的には、透明度が100%である状態は、透明度が最も高い状態に相当する。仮想オブジェクト70の透明度が100%である場合、仮想オブジェクト70の重畳位置が表示領域50内であっても、仮想オブジェクト70は表示されない。
次に、ステップS617において、制御部150は、仮想オブジェクト70の重畳位置を位置姿勢情報の補正後の通常表示制御における重畳位置に調整する。
次に、ステップS618において、制御部150は、仮想オブジェクト70の透明度を徐々に(例えば、段階的に)低下させる。
次に、図12に示される処理は終了する。
図13は、第1遷移表示制御の第2の例による表示の推移例を示す説明図である。図13では、図10と同様に、補正前の通常表示制御における重畳位置である位置P11及び補正後の通常表示制御における重畳位置である設定位置P12が示されている。
例えば、時刻T31において、第1遷移表示制御の第2の例が実行されると、仮想オブジェクト70の重畳位置が位置P11に調整される。それにより、図13に示されるように、遷移表示の開始直前と同様に、表示領域50内の位置P11に仮想オブジェクト70が重畳して表示される。その後、仮想オブジェクト70の透明度が100%へ段階的に上昇する。具体的には、時刻T31より後の時刻T32における仮想オブジェクト70の透明度は、時刻T31と比較して高くなっている。そして、仮想オブジェクト70の透明度がさらに上昇して時刻T33において100%となり、仮想オブジェクト70が非表示の状態になる。
さらに、時刻T33において仮想オブジェクト70の重畳位置が設定位置P12に調整される。その後、仮想オブジェクト70の透明度が段階的に低下する。具体的には、時刻T33より後の時刻T34における仮想オブジェクト70の透明度は、時刻T33と比較して低くなっている。そして、仮想オブジェクト70の透明度がさらに低下して、時刻T35において、仮想オブジェクト70が設定位置P12に表示された状態で、遷移表示制御が通常表示制御へ切り替えられる。
このように、第1遷移表示制御の第2の例が実行されることにより、位置姿勢情報の補正が行われた際に、例えば、位置姿勢情報の補正前において表示領域50内の位置P11に表示されていた仮想オブジェクト70がフェードアウトされた後に、表示領域50内の設定位置P12に仮想オブジェクト70がフェードインされる。
位置姿勢情報の補正が行われた際に第1遷移表示制御の第2の例が実行されることによって、第1遷移表示制御の第1の例が行われる場合と同様に、表示領域50内において仮想オブジェクト70の重畳位置が急峻に移動することに起因してユーザへ違和感が与えられることを抑制することができる。
このように、制御部150は、遷移表示において、仮想オブジェクト70の視認性を徐々に変化させるよう表示装置1を制御してもよい。なお、上記では、制御部150が仮想オブジェクト70の透明度を徐々に変化させることによって仮想オブジェクト70の視認性を徐々に変化させる例を説明したが、制御部150は他の手法によって仮想オブジェクト70の視認性を徐々に変化させてもよい。なお、制御部150は、以下で説明する遷移表示制御の他の例においても同様に、透明度を徐々に変化させる以外の手法によっても、仮想オブジェクト70の視認性を徐々に変化させ得る。
例えば、制御部150は、仮想オブジェクトの色を徐々に変化させることによって仮想オブジェクト70の視認性を徐々に変化させてもよい。また、例えば、制御部150は、仮想オブジェクトを点滅表示し、点滅の間隔を徐々に変化させることによって仮想オブジェクト70の視認性を徐々に変化させてもよい。
制御部150は、仮想オブジェクト70の視認性の変化速度を種々のパラメータに基づいて制御し得る。なお、制御部150は、以下で説明する遷移表示制御の他の例においても同様に、仮想オブジェクト70の視認性の変化速度を制御し得る。
例えば、制御部150は、仮想オブジェクト70の視認性の変化速度を表示装置1の動きに基づいて制御してもよい。具体的には、制御部150は、表示装置1の位置又は姿勢の変化速度が大きいほど、仮想オブジェクト70の視認性の変化速度を大きくしてもよい。すなわち、表示装置1の位置又は姿勢の変化速度が第1の変化速度である場合、表示装置1の位置又は姿勢の変化速度が第1の変化速度よりも小さい第2の変化速度である場合よりも、仮想オブジェクト70の視認性の変化速度が大きくなるよう表示装置1が制御されると見做されても良い。なお、ここでいう表示装置1の位置又は姿勢の変化速度には、ユーザ(表示装置1)の移動速度、あるいは回転速度の変化が含まれる。
(2-2-2.第2遷移表示制御)
続いて、図14~図18を参照して、本実施形態に係る情報処理装置100の制御部150が行う第2遷移表示制御について説明する。
図14は、本実施形態に係る情報処理装置100の制御部150が行う第2遷移表示制御の第1の例の流れの一例を示すフローチャートである。
図14に示される処理フローが開始されると、まず、ステップS621において、制御部150は、仮想オブジェクト70の重畳位置を位置姿勢情報の補正前の通常表示制御における重畳位置に調整する。
次に、ステップS622において、制御部150は、仮想オブジェクト70の重畳位置を位置姿勢情報の補正後の通常表示制御における重畳位置へ徐々に(例えば、段階的に)変化させる。
次に、図14に示される処理は終了する。
図15は、第2遷移表示制御の第1の例による表示の推移例を示す説明図である。図15では、補正前の通常表示制御における重畳位置である位置P21及び補正後の通常表示制御における重畳位置である設定位置P22が示されている。
第2遷移表示制御は、上述したように、仮想オブジェクト70が遷移表示の開始直前において表示領域50内に表示されないと判定され、かつ、遷移表示の終了直後において表示領域50内に表示されると判定される場合に実行される。ゆえに、補正前の通常表示制御における重畳位置である位置P21は表示領域50外に位置し、補正後の通常表示制御における重畳位置である設定位置P22は表示領域50内に位置し得る。
例えば、時刻T41において、第2遷移表示制御の第1の例が実行されると、仮想オブジェクト70の重畳位置が位置P21に調整される。それにより、図15に示されるように、遷移表示の開始直前と同様に、表示領域50内には仮想オブジェクト70が表示されない。その後、仮想オブジェクト70の重畳位置が表示領域50外の位置P21から表示領域50内の設定位置P22へ段階的に変化する。
具体的には、時刻T41より後の時刻T42における仮想オブジェクト70の重畳位置は、時刻T41と比較して設定位置P22に近づいている。なお、時刻T42では、仮想オブジェクト70の重畳位置が表示領域50外であるので、表示領域50内には仮想オブジェクト70が表示されない。また、時刻T42より後の時刻T43における仮想オブジェクト70の重畳位置は、時刻T42と比較してさらに設定位置P22に近づいている。なお、時刻T43では、仮想オブジェクト70の重畳位置が表示領域50内であるので、表示領域50内に仮想オブジェクト70が表示される。そして、時刻T44において、仮想オブジェクト70が設定位置P22に表示された状態で、遷移表示制御が通常表示制御へ切り替えられる。
このように、第2遷移表示制御の第1の例が実行されることにより、位置姿勢情報の補正が行われた際に、例えば、位置姿勢情報の補正前において表示領域50内に表示されていなかった仮想オブジェクト70が表示領域50の端部に表示された後に表示領域50内において端部から設定位置P22へ段階的に移動する。
図16は、参考例に係る情報処理装置が行う表示制御による表示の推移例を示す説明図である。参考例に係る情報処理装置は、上述したように、位置姿勢情報の補正が行われた際に遷移表示制御を実行せず、通常表示制御を継続的に実行する。図16では、具体的には、位置姿勢情報の補正直前の通常表示制御において仮想オブジェクト70が表示領域50内に表示されず、かつ、補正直後の通常表示制御において仮想オブジェクト70が表示領域50内に表示される場合の参考例による表示の推移例が示されている。このような場合、参考例では、例えば、図16に示されるように、位置姿勢情報の補正前の時刻T51において表示領域50内に表示されていなかった仮想オブジェクト70が、位置姿勢情報の補正が行われる時刻T52において表示領域50内の設定位置P22に突然表示される。
このように、参考例では、位置姿勢情報の補正が行われることに伴い、表示領域50内に仮想オブジェクト70が突然表示される。それにより、位置姿勢情報の補正前後においてユーザへ違和感が与えられる。さらに、ユーザの視線上に仮想オブジェクト70が突然表示される場合、ユーザが前方を見づらくなり得る。一方、本実施形態に係る情報処理装置100によれば、位置姿勢情報の補正が行われた際に第2遷移表示制御の第1の例が行われることによって、表示領域50内に仮想オブジェクト70が突然表示されることが抑制される。それにより、位置姿勢情報の補正前後においてユーザへ違和感が与えられること及びユーザが前方を見づらくなることを抑制することができる。
図17は、本実施形態に係る情報処理装置100の制御部150が行う第2遷移表示制御の第2の例の流れの一例を示すフローチャートである。
図17に示される処理フローが開始されると、まず、ステップS625において、制御部150は、仮想オブジェクト70の重畳位置を位置姿勢情報の補正後の通常表示制御における重畳位置に調整し、仮想オブジェクト70の透明度を100%に設定する。
次に、ステップS626において、制御部150は、仮想オブジェクト70の透明度を徐々に(例えば、段階的に)低下させる。
次に、図17に示される処理は終了する。
図18は、第2遷移表示制御の第2の例による表示の推移例を示す説明図である。図18では、図15と同様に、補正前の通常表示制御における重畳位置である位置P21及び補正後の通常表示制御における重畳位置である設定位置P22が示されている。
例えば、時刻T61において、第2遷移表示制御の第2の例が実行されると、仮想オブジェクト70の重畳位置が設定位置P22に調整され、仮想オブジェクト70の透明度が100%に設定される。ゆえに、仮想オブジェクト70の重畳位置は表示領域50内であるものの、仮想オブジェクト70は非表示の状態になっている。その後、仮想オブジェクト70の透明度が段階的に低下する。具体的には、時刻T61より後の時刻T62における仮想オブジェクト70の透明度は、時刻T61と比較して低くなっている。そして、仮想オブジェクト70の透明度がさらに低下して、時刻T63において、仮想オブジェクト70が設定位置P22に表示された状態で、遷移表示制御が通常表示制御へ切り替えられる。
このように、第2遷移表示制御の第2の例が実行されることにより、位置姿勢情報の補正が行われた際に、例えば、位置姿勢情報の補正前において仮想オブジェクト70が表示されていなかった表示領域50内の設定位置P22に仮想オブジェクト70がフェードインされる。
位置姿勢情報の補正が行われた際に第2遷移表示制御の第2の例が実行されることによって、第2遷移表示制御の第1の例が行われる場合と同様に、表示領域50内に仮想オブジェクト70が突然表示されることに起因してユーザへ違和感が与えられること及びユーザが前方を見づらくなることを抑制することができる。
(2-2-3.第3遷移表示制御)
続いて、図19~図21を参照して、本実施形態に係る情報処理装置100の制御部150が行う第3遷移表示制御について説明する。
図19は、本実施形態に係る情報処理装置100の制御部150が行う第3遷移表示制御の流れの一例を示すフローチャートである。
図19に示される処理フローが開始されると、まず、ステップS631において、制御部150は、仮想オブジェクト70の重畳位置を位置姿勢情報の補正後の通常表示制御における重畳位置に調整する。
次に、ステップS632において、制御部150は、位置姿勢情報の補正前の通常表示制御における重畳位置と対応する位置に通知オブジェクトを表示させる。通知オブジェクトは、補正前の位置姿勢情報である第1の位置姿勢情報に基づく第1の表示状態から補正後の位置姿勢情報である第2の位置姿勢情報に基づく第2の表示状態への状態遷移を示す遷移表示の実行を通知する通知オブジェクトである。このように、制御部150は、遷移表示において、仮想オブジェクト70の表示状態を、第1の位置姿勢情報に基づく第1の表示状態から第2の位置姿勢情報に基づく第2の表示状態に瞬間的に変更するとともに通知オブジェクトを表示するよう表示装置1を制御してもよい。なお、遷移表示における仮想オブジェクト70の表示状態は、図20を参照して後述するように、仮想オブジェクト70が表示領域50内に表示されない状態を含む。
例えば、制御部150は、テキストオブジェクトを通知オブジェクトとして表示させてもよい。なお、通知オブジェクトはこのような例に限定されず、例えば、マーク等の他のオブジェクトであってもよい。また、通知オブジェクトはアニメーションであってもよい。
次に、ステップS633において、制御部150は、設定時間が経過したか否かを判定する。設定時間が経過したと判定された場合(ステップS633/YES)、ステップS634へ進む。一方、設定時間が経過していないと判定された場合(ステップS633/NO)、ステップS633の処理が繰り返される。
設定時間は、例えば、ユーザにより通知オブジェクトが視認される可能性が比較的高いと想定される程度の長さを有する時間に設定される。
次に、ステップS634において、制御部150は、通知オブジェクトの表示を停止させる。
次に、図19に示される処理は終了する。
図20は、第3遷移表示制御による表示の推移例を示す説明図である。図20では、補正前の通常表示制御における重畳位置である位置P31及び補正後の通常表示制御における重畳位置である設定位置P32が示されている。
第3遷移表示制御は、上述したように、仮想オブジェクト70が遷移表示の開始直前において表示領域50内に表示されると判定され、かつ、遷移表示の終了直後において表示領域50内に表示されないと判定される場合に実行される。ゆえに、補正前の通常表示制御における重畳位置である位置P31は表示領域50内に位置し、補正後の通常表示制御における重畳位置である設定位置P32は表示領域50外に位置し得る。
例えば、時刻T71において、第3遷移表示制御が実行されると、仮想オブジェクト70の重畳位置が設定位置P32に調整される。それにより、仮想オブジェクト70が表示領域50内に表示されない状態になる。また、位置P31と対応する位置(例えば、位置P31自体又は位置P31の近傍の位置)に通知オブジェクトが表示される。例えば、図20に示されるように、表示領域50内の位置P31と対応する位置に、仮想オブジェクト70の重畳位置が移動した旨を示すテキストオブジェクト81及び矢印82が通知オブジェクトとして表示される。その後、テキストオブジェクト81及び矢印82の表示が開始された後設定時間が経過した時刻T72において、テキストオブジェクト81及び矢印82が非表示状態となり、遷移表示制御が通常表示制御へ切り替えられる。
このように、第3遷移表示制御が実行されることにより、位置姿勢情報の補正が行われた際に、例えば、位置姿勢情報の補正前において表示領域50内に表示されていた仮想オブジェクト70が非表示状態になるとともに通知オブジェクトが設定時間の間表示される。
図21は、参考例に係る情報処理装置が行う表示制御による表示の推移例を示す説明図である。参考例に係る情報処理装置は、上述したように、位置姿勢情報の補正が行われた際に遷移表示制御を実行せず、通常表示制御を継続的に実行する。図21では、具体的には、位置姿勢情報の補正直前の通常表示制御において仮想オブジェクト70が表示領域50内に表示され、かつ、補正直後の通常表示制御において仮想オブジェクト70が表示領域50内に表示されない場合の参考例による表示の推移例が示されている。このような場合、参考例では、例えば、図21に示されるように、位置姿勢情報の補正前の時刻T81において表示領域50内の位置P31に表示されていた仮想オブジェクト70が、位置姿勢情報の補正が行われる時刻T82において突然非表示状態になる。
このように、参考例では、位置姿勢情報の補正が行われることに伴い、表示領域50内に表示されていた仮想オブジェクト70が突然非表示状態になる。それにより、ユーザが仮想オブジェクト70を見失うおそれがある。一方、本実施形態に係る情報処理装置100によれば、位置姿勢情報の補正が行われた際に第3遷移表示制御が行われることによって、通知オブジェクトによって仮想オブジェクト70の重畳位置が変化したことを通知することができる。それにより、仮想オブジェクト70が突然非表示状態になることに起因してユーザが仮想オブジェクト70を見失うことを抑制することができる。
なお、上記では、通知オブジェクトの表示が開始された後において設定時間が経過した場合に、通知オブジェクトの表示が終了する例について説明したが、通知オブジェクトの表示の終了のトリガはこのような例に限定されない。例えば、制御部150は、通知オブジェクトの表示が開始された後において、表示装置1の動きが所定時間停止したと判定された場合に通知オブジェクトの表示を終了してもよい。制御部150は、例えば、位置姿勢情報に基づいて、表示装置1の動きが所定時間停止したか否かを判定し得る。それにより、ユーザが通知オブジェクトを視認する前に通知オブジェクトの表示が終了することを抑制することができる。
(2-2-4.補足)
上記では、図6を参照して、仮想オブジェクト70が遷移表示の開始直前及び遷移表示の終了直後の双方において表示領域50内に表示されないと判定される場合に、遷移表示制御が実行されない例について説明したが、制御部150は、そのような場合に遷移表示制御を実行してもよい。例えば、制御部150は、そのような場合に仮想オブジェクト70の重畳位置を位置姿勢情報の補正前の通常表示制御における重畳位置から補正後の通常表示制御における重畳位置へ徐々に変化させてもよい。
図22は、仮想オブジェクト70が遷移表示の開始直前及び遷移表示の終了直後の双方において表示領域50内に表示されないと判定される場合における遷移表示制御による表示の推移例を示す説明図である。図22では、補正前の通常表示制御における重畳位置である位置P41及び補正後の通常表示制御における重畳位置である設定位置P42が示されている。補正前の通常表示制御における重畳位置である位置P41及び補正後の通常表示制御における重畳位置である設定位置P42はともに表示領域50外に位置し得る。
例えば、時刻T91において、上記の遷移表示制御が実行されると、仮想オブジェクト70の重畳位置が位置P41に調整される。それにより、図22に示されるように、遷移表示の開始直前と同様に、表示領域50内には仮想オブジェクト70が表示されない。その後、仮想オブジェクト70の重畳位置が表示領域50外において位置P41から設定位置P42へ段階的に変化する。
具体的には、時刻T91より後の時刻T92における仮想オブジェクト70の重畳位置は、時刻T91と比較して設定位置P42に近づいている。また、時刻T92より後の時刻T93における仮想オブジェクト70の重畳位置は、時刻T92と比較してさらに設定位置P42に近づいている。そして、時刻T94において、仮想オブジェクト70が設定位置P42に表示された状態で、遷移表示制御が通常表示制御へ切り替えられる。
このような遷移表示制御が実行されることにより、位置姿勢情報の補正が行われた際に、表示領域50内に表示されていない仮想オブジェクト70の重畳位置が表示領域50外において徐々に変化する。例えば、ユーザが一時的に仮想オブジェクト70から視界を外したことにより仮想オブジェクト70の重畳位置が表示領域50外になったタイミングで位置姿勢情報の補正が行われる場合が考えられる。このような場合に、仮想オブジェクト70の重畳位置を表示領域50外において徐々に変化させることによって、位置姿勢情報の補正直後に視線を戻したユーザが仮想オブジェクト70を見失うことを抑制することができる。
また、上記では、ユーザが仮想オブジェクト70を視認しているか否かに基づいた表示制御について言及しなかったが、制御部150は、ユーザが仮想オブジェクト70を視認しているか否かの判定結果に基づいて遷移表示を実行するよう表示装置1を制御してもよい。
例えば、制御部150は、ユーザが仮想オブジェクト70を視認していないと判定された場合に遷移表示を停止し、その後、ユーザが仮想オブジェクト70を視認していると判定された場合に遷移表示を再開するよう表示装置1を制御する。具体的には、制御部150は、遷移表示制御として仮想オブジェクト70の重畳位置又は視認性を徐々に変化させる表示制御を実行する場合において、ユーザが仮想オブジェクト70を視認していると判定されるときに限り、仮想オブジェクト70の重畳位置又は視認性を徐々に変化させてもよい。
また、例えば、制御部150は、ユーザが仮想オブジェクト70を視認していないと判定された場合に、ユーザが仮想オブジェクト70を視認していると判定された場合と比較して、遷移表示における仮想オブジェクト70の重畳位置又は視認性の変化速度を大きくしてもよい。それにより、ユーザが仮想オブジェクト70の重畳位置又は視認性の変化に気づきにくい状態において、重畳位置又は視認性を迅速に変化させることができる。
制御部150は、例えば、ユーザの視線の検出結果に基づいて、ユーザが仮想オブジェクト70を視認しているか否かを判定してもよい。具体的には、ユーザの視線を検出する視線センサを用いることによってユーザの視線の検出が実現される。視線センサは、例えば、表示装置1におけるユーザの顔と対向する部分に設けられ、ユーザの顔を撮像し、撮像により得られる画像に対して画像処理を行うことによってユーザの視線を検出し得る。具体的には、視線センサは、ユーザの顔の向きに基づいてユーザの視線を検出してもよく、角膜反射法を用いてユーザの視線を検出してもよい。
また、制御部150は、例えば、仮想オブジェクト70が表示領域50内に表示されているか否かに基づいて、ユーザが仮想オブジェクト70を視認しているか否かを判定してもよい。具体的には、制御部150は、仮想オブジェクト70が表示領域50内に表示されていることをもって、ユーザが仮想オブジェクト70を視認していると判定し得る。
上述したように、制御部150は、例えば、仮想オブジェクト70が遷移表示の終了直後において表示領域50内に表示されると判定される場合、第1遷移表示制御又は第2遷移表示制御において、仮想オブジェクト70の重畳位置又は視認性を徐々に変化させる。また、上述したように、制御部150は、例えば、仮想オブジェクト70が遷移表示の開始直前において表示領域50内に表示され、かつ、遷移表示の終了直後において表示領域50内に表示されないと判定された場合、第3遷移表示制御において、通知オブジェクトを表示させる。ここで、各遷移表示制御において実行される表示制御は、このような例に限定されない。
例えば、第1遷移表示制御及び第2遷移表示制御において、仮想オブジェクト70の重畳位置又は視認性を徐々に変化させる表示制御に加えて通知オブジェクトを表示させる表示制御が実行されてもよい。
また、例えば、第3遷移表示制御において、仮想オブジェクト70の重畳位置又は視認性を徐々に変化させる表示制御が実行されてもよい。なお、第3遷移表示制御において、通知オブジェクトを表示させる表示制御に加えて仮想オブジェクト70の重畳位置又は視認性を徐々に変化させる表示制御が実行されてもよい。
また、例えば、各遷移表示制御において、仮想オブジェクト70の重畳位置を徐々に変化させる表示制御と、仮想オブジェクト70の視認性を徐々に変化させる表示制御とが並行して実行されてもよい。具体的には、制御部150は、各遷移表示制御において、仮想オブジェクト70の視認性が重畳位置の移動の開始後に減少し重畳位置の移動の終了前に増大するように、仮想オブジェクト70の重畳位置及び視認性を徐々に変化させてもよい。
また、上記では、表示領域50内に設定位置と対応付けられた仮想オブジェクトが複数表示される例について言及していないが、例えば、そのような場合において、制御部150は、複数の仮想オブジェクトのうちの一部の仮想オブジェクトについてのみ遷移表示制御を実行してもよい。例えば、制御部150は、ユーザが視認していると判定される仮想オブジェクトについてのみ遷移表示制御を実行してもよい。具体的には、制御部150は、第3遷移表示制御において、ユーザが視認していると判定される仮想オブジェクトについてのみ通知オブジェクトを表示してもよい。制御部150は、例えば、ユーザの視線の検出結果に基づいて、ユーザがいずれの仮想オブジェクトを視認しているか否かを判定し得る。このように、ユーザが視認していると判定される仮想オブジェクトについてのみ遷移表示制御が実行されることによって、遷移表示制御により過剰な情報がユーザへ呈示されることを抑制することができる。
<3.情報処理装置の効果>
続いて、本実施形態に係る情報処理装置100の効果について説明する。
本実施形態に係る情報処理装置100では、移動体としての表示装置1の位置姿勢情報の補正が第1の位置姿勢情報から当該第1の位置姿勢情報に対して非連続的な第2の位置姿勢情報に補正される際に、第1の位置姿勢情報に基づいて仮想オブジェクト70が表示される第1の表示状態から第2の位置姿勢情報に基づく第2の表示状態への状態遷移を示す遷移表示を行うよう表示装置1が制御される。それにより、位置姿勢情報の補正前後において仮想オブジェクト70の重畳位置が急峻に変化することに起因して、ユーザによるAR技術の円滑な利用が困難となることを抑制することができる。ゆえに、ユーザによるAR技術の利用を円滑化することができる。
また、本実施形態に係る情報処理装置100では、遷移表示において、仮想オブジェクト70の重畳位置を徐々に変化させるよう表示装置1が制御され得る。それにより、位置姿勢情報の補正前後において仮想オブジェクト70の重畳位置が急峻に変化することに起因してユーザへ違和感が与えられること及びユーザが前方を見づらくなることを抑制することができる。ゆえに、ユーザによるAR技術の利用を円滑化することを効果的に実現することができる。
また、本実施形態に係る情報処理装置100では、遷移表示において、移動体としての表示装置1の位置又は姿勢の変化速度が第1の変化速度である場合、表示装置1の位置又は姿勢の変化速度が当該第1の変化速度よりも小さい第2の変化速度である場合よりも、仮想オブジェクト70の重畳位置の変化速度が大きくなるよう表示装置1が制御され得る。ここで、表示装置1の位置又は姿勢の変化速度が大きいほど、ユーザは仮想オブジェクト70の重畳位置の変化に気づきにくいことが期待される。ゆえに、仮想オブジェクト70の重畳位置の変化速度を表示装置1の位置又は姿勢の変化速度に基づいて制御することによって、ユーザへ違和感が与えられることを抑制しつつ、重畳位置を迅速に変化させることができる。
また、本実施形態に係る情報処理装置100では、遷移表示において、仮想オブジェクト70が動的オブジェクトである場合、仮想オブジェクト70が非動的オブジェクトである場合よりも、仮想オブジェクト70の重畳位置の変化速度が大きくなるよう表示装置1が制御され得る。ここで、仮想オブジェクト70が動的オブジェクトである場合には、仮想オブジェクト70が非動的オブジェクトである場合と比較して、ユーザは仮想オブジェクト70の重畳位置の変化に気づきにくいことが期待される。ゆえに、仮想オブジェクト70の重畳位置の変化速度を仮想オブジェクト70が動的オブジェクトであるか否かに基づいて制御することによって、ユーザへ違和感が与えられることを抑制しつつ、重畳位置を迅速に変化させることができる。
また、本実施形態に係る情報処理装置100では、遷移表示において、移動体としての表示装置1の位置と仮想オブジェクト70の重畳位置とを結ぶ直線に沿った方向へ重畳位置を優先的に変化させるよう表示装置1が制御され得る。ここで、表示装置1の位置と仮想オブジェクト70の重畳位置とを結ぶ直線に沿った方向へ重畳位置が移動する場合には、他の方向へ重畳位置が移動する場合と比較して、ユーザは仮想オブジェクト70の重畳位置の変化に気づきにくいことが期待される。ゆえに、表示装置1の位置と仮想オブジェクト70の重畳位置とを結ぶ直線に沿った方向へ重畳位置を優先的に変化させることによって、ユーザへ違和感が与えられることを抑制しつつ、重畳位置を迅速に変化させることができる。
また、本実施形態に係る情報処理装置100では、仮想オブジェクト70が遷移表示の終了直後において表示装置1の表示領域50内に表示されると判定される場合、遷移表示において、仮想オブジェクト70の重畳位置を徐々に変化させるよう表示装置1が制御され得る。このような場合において仮に遷移表示制御が実行されないと、表示領域50内に表示される仮想オブジェクト70が急峻に移動し得るので、ユーザへ違和感が与えられ得る。あるいは、仮想オブジェクト70が表示領域50内に突然表示され得るので、ユーザが前方を見づらくなり得る。ゆえに、このような場合において仮想オブジェクト70の重畳位置を徐々に変化させることによって、位置姿勢情報の補正前後においてユーザへ違和感が与えられること及びユーザが前方を見づらくなることを適切に抑制することができる。
また、本実施形態に係る情報処理装置100では、遷移表示において、仮想オブジェクト70の視認性を徐々に変化させるよう表示装置1が制御され得る。それにより、位置姿勢情報の補正前後において仮想オブジェクト70の重畳位置が急峻に変化することに起因してユーザへ違和感が与えられること及びユーザが前方を見づらくなることを抑制することができる。ゆえに、ユーザによるAR技術の利用を円滑化することを効果的に実現することができる。
また、本実施形態に係る情報処理装置100では、遷移表示において、移動体としての表示装置1の位置又は姿勢の変化速度が第1の変化速度である場合、表示装置1の位置又は姿勢の変化速度が当該第1の変化速度よりも小さい第2の変化速度である場合よりも、仮想オブジェクト70の視認性の変化速度が大きくなるよう表示装置1が制御され得る。ここで、表示装置1の位置又は姿勢の変化速度が大きいほど、ユーザは仮想オブジェクト70の視認性の変化に気づきにくいことが期待される。ゆえに、仮想オブジェクト70の視認性の変化速度を表示装置1の位置又は姿勢の変化速度に基づいて制御することによって、ユーザへ違和感が与えられることを抑制しつつ、視認性を迅速に変化させることができる。
また、本実施形態に係る情報処理装置100では、遷移表示において、仮想オブジェクト70の透明度を徐々に変化させることによって仮想オブジェクト70の視認性を徐々に変化させるよう表示装置1が制御され得る。それにより、仮想オブジェクト70を表示領域50内においてフェードイン又はフェードアウトさせることができるので、仮想オブジェクト70の視認性を効果的に変化させることができる。
また、本実施形態に係る情報処理装置100では、仮想オブジェクト70が遷移表示の終了直後において表示領域50内に表示されると判定される場合、遷移表示において、仮想オブジェクト70の視認性を徐々に変化させるよう表示装置1が制御され得る。このような場合において仮に遷移表示制御が実行されないと、表示領域50内に表示される仮想オブジェクト70が急峻に移動し得るので、ユーザへ違和感が与えられ得る。あるいは、仮想オブジェクト70が表示領域50内に突然表示され得るので、ユーザが前方を見づらくなり得る。ゆえに、このような場合において仮想オブジェクト70の視認性を徐々に変化させることによって、位置姿勢情報の補正前後においてユーザへ違和感が与えられること及びユーザが前方を見づらくなることを適切に抑制することができる。
また、本実施形態に係る情報処理装置100では、遷移表示において、仮想オブジェクト70の表示状態を、第1の位置姿勢情報に基づく第1の表示状態から第2の位置姿勢情報に基づく第2の表示状態に瞬間的に変更するとともに遷移表示の実行を通知する通知オブジェクトを表示するよう表示装置1が制御され得る。それにより、位置姿勢情報の補正前後において仮想オブジェクト70の重畳位置が急峻に変化することに起因してユーザが仮想オブジェクト70を見失うことを抑制することができる。ゆえに、ユーザによるAR技術の利用を円滑化することを効果的に実現することができる。
また、本実施形態に係る情報処理装置100では、遷移表示制おいて、テキストオブジェクトを通知オブジェクトとして表示するよう表示装置1が制御され得る。それにより、仮想オブジェクト70の重畳位置が変化したことを適切にユーザに通知することができる。
また、本実施形態に係る情報処理装置100では、仮想オブジェクト70が遷移表示の開始直前において表示領域50内に表示され、かつ、遷移表示の終了直後において表示領域50内に表示されないと判定された場合、遷移表示において、通知オブジェクトを表示するよう表示装置1が制御され得る。このような場合において仮に遷移表示制御が実行されないと、表示領域50内に表示されていた仮想オブジェクト70が突然非表示状態になり得る。それにより、位置姿勢情報の補正前後においてユーザが仮想オブジェクト70を見失うおそれがある。ゆえに、このような場合において通知オブジェクトを表示させることによって、位置姿勢情報の補正前後においてユーザが仮想オブジェクト70を見失うことを適切に抑制することができる。
また、本実施形態に係る情報処理装置100では、ユーザが仮想オブジェクト70を視認しているか否かの判定結果に基づいて、遷移表示を実行するよう表示装置1が制御され得る。それにより、仮想オブジェクト70の重畳位置又は視認性の変化のユーザによる気づきやすさに基づいて適切に遷移表示制御を実行することができる。
また、本実施形態に係る情報処理装置100では、ユーザの視線の検出結果に基づいて、ユーザが仮想オブジェクト70を視認しているか否かが判定され得る。それにより、ユーザが仮想オブジェクト70を視認しているか否かを適切に判定することができる。
また、本実施形態に係る情報処理装置100では、ユーザが仮想オブジェクト70を視認していないと判定された場合に遷移表示を停止し、その後、ユーザが仮想オブジェクト70を視認していると判定された場合に遷移表示を再開するよう表示装置1が制御され得る。それにより、位置姿勢情報の補正によって状態遷移が生じたことをユーザへより適切に認識させることができる。
また、本実施形態に係る情報処理装置100では、位置姿勢センサ30により検出される位置姿勢情報の誤差が閾値以上である場合に、位置姿勢情報が補正され得る。それにより、仮想オブジェクト70の重畳位置と設定位置との間のズレを適切に抑制することができる。
<4.まとめ>
以上説明したように、本実施形態に係る情報処理装置100では、実空間における設定位置と対応付けられた仮想オブジェクトを移動体の位置姿勢情報に基づいて実空間に重畳するよう表示装置1を制御する制御部150を備える。また、制御部150は、位置姿勢情報が、第1の位置姿勢情報から当該第1の位置姿勢情報に対して非連続的な第2の位置姿勢情報に補正される際に、第1の位置姿勢情報に基づいて仮想オブジェクト70が表示される第1の表示状態から第2の位置姿勢情報に基づく第2の表示状態への状態遷移を示す遷移表示を行うよう表示装置1を制御する。それにより、ユーザによるAR技術の利用を円滑化することができる。
なお、上述では、情報処理装置100が行う各処理において用いられる情報が情報処理装置100の記憶部120に記憶される例を説明したが、そのような情報は、情報処理装置100の外部の装置に記憶されてもよい。その場合、通信部110が当該外部の装置と通信を行うことによって、情報処理装置100はそのような情報を取得し得る。なお、その場合、情報処理装置100の構成から記憶部120が省略されてもよい。
また、上述では、位置姿勢センサ30が表示装置1に設けられる例について説明したが、位置姿勢センサ30は表示装置1の外部に設けられてもよい。換言すると、位置姿勢センサ30は、必ずしも表示装置1と一体として移動しなくてもよい。例えば、位置姿勢センサ30は、車両、路上又は建物等に設けられてもよい。そのような場合であっても、情報処理装置100は、位置姿勢センサ30と通信することによって、位置姿勢センサ30により検出された表示装置1の位置及び姿勢に関する情報を取得し得る。
また、上述では、情報処理装置100が表示装置1に設けられる例について説明したが、情報処理装置100は表示装置1の外部に設けられてもよい。換言すると、情報処理装置100は、必ずしも表示装置1と一体として移動しなくてもよい。そのような場合であっても、情報処理装置100は、表示装置1と通信することによって、表示装置1の動作を制御し得る。
なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体(非一時的な媒体:non-transitory media)に予め格納される。そして、各プログラムは、例えば、実行時にRAMに読み込まれ、CPUなどのプロセッサにより実行される。各プログラムを実行するプロセッサは、単数であっても複数であってもよい。
具体的には、上述のような情報処理装置100の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。情報処理装置100は、コンピュータに相当し得る。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。また、情報処理装置100の各機能は複数のコンピュータにより分割されてもよく、その場合、当該複数のコンピュータが有する各機能は、上記のコンピュータプログラムにより実現され得る。
また、本明細書においてフローチャートを用いて説明した処理は、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲は係る例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
実空間における設定位置と対応付けられた仮想オブジェクトを移動体の位置及び姿勢を示す位置姿勢情報に基づいて前記実空間に重畳するよう表示装置を制御する制御部と、
前記位置姿勢情報を補正する補正部と、
を備え、
前記制御部は、前記位置姿勢情報が、第1の位置姿勢情報から前記第1の位置姿勢情報に対して非連続的な第2の位置姿勢情報に補正される際に、前記第1の位置姿勢情報に基づいて前記仮想オブジェクトが表示される第1の表示状態から前記第2の位置姿勢情報に基づく第2の表示状態への状態遷移を示す遷移表示を行うよう前記表示装置を制御する、
情報処理装置。
(2)
前記制御部は、前記遷移表示において、前記仮想オブジェクトの重畳位置を徐々に変化させるよう前記表示装置を制御する、
前記(1)に記載の情報処理装置。
(3)
前記制御部は、前記遷移表示において、前記移動体の位置又は姿勢の変化速度が第1の変化速度である場合、前記移動体の位置又は姿勢の変化速度が前記第1の変化速度よりも小さい第2の変化速度である場合よりも、前記重畳位置の変化速度が大きくなるよう前記表示装置を制御する、
前記(2)に記載の情報処理装置。
(4)
前記制御部は、前記遷移表示において、前記仮想オブジェクトが動的オブジェクトである場合、前記仮想オブジェクトが非動的オブジェクトである場合よりも、前記重畳位置の変化速度が大きくなるよう前記表示装置を制御する、
前記(2)又は(3)に記載の情報処理装置。
(5)
前記制御部は、前記遷移表示において、前記移動体の位置と前記重畳位置とを結ぶ直線に沿った方向へ前記重畳位置を優先的に変化させるよう前記表示装置を制御する、
前記(2)~(4)のいずれか一項に記載の情報処理装置。
(6)
前記制御部は、前記仮想オブジェクトが前記遷移表示の終了直後において前記表示装置の表示領域内に表示されると判定される場合、前記遷移表示において、前記重畳位置を徐々に変化させるよう前記表示装置を制御する、
前記(2)~(5)のいずれか一項に記載の情報処理装置。
(7)
前記制御部は、前記遷移表示において、前記仮想オブジェクトの視認性を徐々に変化させるよう前記表示装置を制御する、
前記(1)~(6)のいずれか一項に記載の情報処理装置。
(8)
前記制御部は、前記遷移表示において、前記移動体の位置又は姿勢の変化速度が第1の変化速度である場合、前記移動体の位置又は姿勢の変化速度が前記第1の変化速度よりも小さい第2の変化速度である場合よりも、前記視認性の変化速度が大きくなるよう前記表示装置を制御する、
前記(7)に記載の情報処理装置。
(9)
前記制御部は、前記遷移表示において、前記仮想オブジェクトの透明度を徐々に変化させることによって前記視認性を徐々に変化させるよう前記表示装置を制御する、
前記(7)又は(8)に記載の情報処理装置。
(10)
前記制御部は、前記仮想オブジェクトが前記遷移表示の終了直後において表示領域内に表示されると判定される場合、前記遷移表示において、前記視認性を徐々に変化させるよう前記表示装置を制御する、
前記(7)~(9)のいずれか一項に記載の情報処理装置。
(11)
前記制御部は、前記遷移表示において、前記仮想オブジェクトの表示状態を、前記第1の位置姿勢情報に基づく前記第1の表示状態から前記第2の位置姿勢情報に基づく前記第2の表示状態に瞬間的に変更するとともに前記遷移表示の実行を通知する通知オブジェクトを表示するよう前記表示装置を制御する、
前記(1)~(10)のいずれか一項に記載の情報処理装置。
(12)
前記制御部は、前記遷移表示において、テキストオブジェクトを前記通知オブジェクトとして表示するよう前記表示装置を制御する、
前記(11)に記載の情報処理装置。
(13)
前記制御部は、前記仮想オブジェクトが前記遷移表示の開始直前において表示領域内に表示され、かつ、前記遷移表示の終了直後において当該表示領域内に表示されないと判定された場合、前記遷移表示において、前記通知オブジェクトを表示するよう前記表示装置を制御する、
前記(11)又は(12)に記載の情報処理装置。
(14)
前記制御部は、ユーザが前記仮想オブジェクトを視認しているか否かの判定結果に基づいて、前記遷移表示を実行するよう前記表示装置を制御する、
前記(1)~(13)のいずれか一項に記載の情報処理装置。
(15)
前記制御部は、前記ユーザの視線の検出結果に基づいて、前記ユーザが前記仮想オブジェクトを視認しているか否かを判定する、
前記(14)に記載の情報処理装置。
(16)
前記制御部は、前記ユーザが前記仮想オブジェクトを視認していないと判定された場合に前記遷移表示を停止し、その後、前記ユーザが前記仮想オブジェクトを視認していると判定された場合に前記遷移表示を再開するよう前記表示装置を制御する、
前記(14)又は(15)に記載の情報処理装置。
(17)
前記表示装置は、ヘッドマウントディスプレイである、
前記(1)~(16)のいずれか一項に記載の情報処理装置。
(18)
前記位置姿勢情報は、前記移動体の位置及び姿勢を検出する位置姿勢センサによって検出され、
前記補正部は、前記位置姿勢センサにより検出される前記位置姿勢情報の誤差が閾値以上である場合に、前記位置姿勢情報を補正する、
前記(1)~(17)のいずれか一項に記載の情報処理装置。
(19)
実空間における設定位置と対応付けられた仮想オブジェクトを移動体の位置及び姿勢を示す位置姿勢情報に基づいて前記実空間に重畳するよう情報処理装置によって表示装置を制御することと、
前記位置姿勢情報を補正することと、
を含み、
前記位置姿勢情報が第1の位置姿勢情報から前記第1の位置姿勢情報に対して非連続的な第2の位置姿勢情報に補正される際に、前記第1の位置姿勢情報に基づいて前記仮想オブジェクトが表示される第1の表示状態から前記第2の位置姿勢情報に基づく第2の表示状態への状態遷移を示す遷移表示を行うよう前記表示装置を制御する、
情報処理方法。
(20)
コンピュータを、
実空間における設定位置と対応付けられた仮想オブジェクトを移動体の位置及び姿勢を示す位置姿勢情報に基づいて前記実空間に重畳するよう表示装置を制御する制御部と、
前記位置姿勢情報を補正する補正部と、
として機能させるためのプログラムであって、
前記制御部は、前記位置姿勢情報が、第1の位置姿勢情報から前記第1の位置姿勢情報に対して非連続的な第2の位置姿勢情報に補正される際に、前記第1の位置姿勢情報に基づいて前記仮想オブジェクトが表示される第1の表示状態から前記第2の位置姿勢情報に基づく第2の表示状態への状態遷移を示す遷移表示を行うよう前記表示装置を制御する、
プログラム。
1 表示装置
20 カメラ
30 位置姿勢センサ
50 表示領域
70 仮想オブジェクト
100 情報処理装置
110 通信部
120 記憶部
130 更新部
140 補正部
150 制御部

Claims (20)

  1. 実空間における設定位置と対応付けられた仮想オブジェクトを移動体の位置及び姿勢を示す位置姿勢情報に基づいて前記実空間に重畳するよう表示装置を制御する制御部と、
    前記位置姿勢情報を補正する補正部と、
    を備え、
    前記制御部は、前記位置姿勢情報が、第1の位置姿勢情報から前記第1の位置姿勢情報に対して非連続的な第2の位置姿勢情報に補正される際に、前記第1の位置姿勢情報に基づいて前記仮想オブジェクトが表示される第1の表示状態から前記第2の位置姿勢情報に基づく第2の表示状態への状態遷移を示す遷移表示を行うよう前記表示装置を制御し、
    さらに、前記制御部は、前記第1の位置姿勢情報の際、前記第1の位置姿勢情報から前記第2の位置姿勢情報に補正される際、前記第2の位置姿勢情報に補正された際のそれぞれの場合において、前記仮想オブジェクトが前記表示装置の表示領域内に存在するか否かを判定し、判定結果に応じて前記遷移表示の態様を異ならせるよう前記表示装置を制御する、
    情報処理装置。
  2. 前記制御部は、前記遷移表示において、前記仮想オブジェクトの重畳位置を徐々に変化させるよう前記表示装置を制御する、
    請求項1に記載の情報処理装置。
  3. 前記制御部は、前記遷移表示において、前記移動体の位置又は姿勢の変化速度が第1の変化速度である場合、前記移動体の位置又は姿勢の変化速度が前記第1の変化速度よりも小さい第2の変化速度である場合よりも、前記重畳位置の変化速度が大きくなるよう前記表示装置を制御する、
    請求項2に記載の情報処理装置。
  4. 前記制御部は、前記遷移表示において、前記仮想オブジェクトが動的オブジェクトである場合、前記仮想オブジェクトが非動的オブジェクトである場合よりも、前記重畳位置の変化速度が大きくなるよう前記表示装置を制御する、
    請求項2に記載の情報処理装置。
  5. 前記制御部は、前記遷移表示において、前記移動体の位置と前記重畳位置とを結ぶ直線に沿った方向へ前記重畳位置を優先的に変化させるよう前記表示装置を制御する、
    請求項2に記載の情報処理装置。
  6. 前記制御部は、前記仮想オブジェクトが前記遷移表示の終了直後において前記表示装置の表示領域内に表示されると判定される場合、前記遷移表示において、前記重畳位置を徐々に変化させるよう前記表示装置を制御する、
    請求項2に記載の情報処理装置。
  7. 前記制御部は、前記遷移表示において、前記仮想オブジェクトの視認性を徐々に変化させるよう前記表示装置を制御する、
    請求項1に記載の情報処理装置。
  8. 前記制御部は、前記遷移表示において、前記移動体の位置又は姿勢の変化速度が第1の変化速度である場合、前記移動体の位置又は姿勢の変化速度が前記第1の変化速度よりも小さい第2の変化速度である場合よりも、前記視認性の変化速度が大きくなるよう前記表示装置を制御する、
    請求項7に記載の情報処理装置。
  9. 前記制御部は、前記遷移表示において、前記仮想オブジェクトの透明度を徐々に変化させることによって前記視認性を徐々に変化させるよう前記表示装置を制御する、
    請求項7に記載の情報処理装置。
  10. 前記制御部は、前記仮想オブジェクトが前記遷移表示の終了直後において表示領域内に表示されると判定される場合、前記遷移表示において、前記視認性を徐々に変化させるよう前記表示装置を制御する、
    請求項7に記載の情報処理装置。
  11. 前記制御部は、前記遷移表示において、前記仮想オブジェクトの表示状態を、前記第1の位置姿勢情報に基づく前記第1の表示状態から前記第2の位置姿勢情報に基づく前記第2の表示状態に瞬間的に変更するとともに前記遷移表示の実行を通知する通知オブジェクトを表示するよう前記表示装置を制御する、
    請求項1に記載の情報処理装置。
  12. 前記制御部は、前記遷移表示において、テキストオブジェクトを前記通知オブジェクトとして表示するよう前記表示装置を制御する、
    請求項11に記載の情報処理装置。
  13. 前記制御部は、前記仮想オブジェクトが前記遷移表示の開始直前において表示領域内に表示され、かつ、前記遷移表示の終了直後において当該表示領域内に表示されないと判定された場合、前記遷移表示において、前記通知オブジェクトを表示するよう前記表示装置を制御する、
    請求項11に記載の情報処理装置。
  14. 前記制御部は、ユーザが前記仮想オブジェクトを視認しているか否かの判定結果に基づいて、前記遷移表示を実行するよう前記表示装置を制御する、
    請求項1に記載の情報処理装置。
  15. 前記制御部は、前記ユーザの視線の検出結果に基づいて、前記ユーザが前記仮想オブジェクトを視認しているか否かを判定する、
    請求項14に記載の情報処理装置。
  16. 前記制御部は、前記ユーザが前記仮想オブジェクトを視認していないと判定された場合に前記遷移表示を停止し、その後、前記ユーザが前記仮想オブジェクトを視認していると判定された場合に前記遷移表示を再開するよう前記表示装置を制御する、
    請求項14に記載の情報処理装置。
  17. 前記表示装置は、ヘッドマウントディスプレイである、
    請求項1に記載の情報処理装置。
  18. 前記位置姿勢情報は、前記移動体の位置及び姿勢を検出する位置姿勢センサによって検出され、
    前記補正部は、前記位置姿勢センサにより検出される前記位置姿勢情報の誤差が閾値以上である場合に、前記位置姿勢情報を補正する、
    請求項1に記載の情報処理装置。
  19. 実空間における設定位置と対応付けられた仮想オブジェクトを移動体の位置及び姿勢を示す位置姿勢情報に基づいて前記実空間に重畳するよう情報処理装置によって表示装置を制御することと、
    前記位置姿勢情報を補正することと、
    を含み、
    前記位置姿勢情報が第1の位置姿勢情報から前記第1の位置姿勢情報に対して非連続的な第2の位置姿勢情報に補正される際に、前記第1の位置姿勢情報に基づいて前記仮想オブジェクトが表示される第1の表示状態から前記第2の位置姿勢情報に基づく第2の表示状態への状態遷移を示す遷移表示を行うよう前記表示装置を制御し、
    さらに、前記第1の位置姿勢情報の際、前記第1の位置姿勢情報から前記第2の位置姿勢情報に補正される際、前記第2の位置姿勢情報に補正された際のそれぞれの場合において、前記仮想オブジェクトが前記表示装置の表示領域内に存在するか否かを判定し、判定結果に応じて前記遷移表示の態様を異ならせるよう前記表示装置を制御する、
    情報処理方法。
  20. コンピュータを、
    実空間における設定位置と対応付けられた仮想オブジェクトを移動体の位置及び姿勢を示す位置姿勢情報に基づいて前記実空間に重畳するよう表示装置を制御する制御部と、
    前記位置姿勢情報を補正する補正部と、
    として機能させるためのプログラムであって、
    前記制御部は、前記位置姿勢情報が、第1の位置姿勢情報から前記第1の位置姿勢情報に対して非連続的な第2の位置姿勢情報に補正される際に、前記第1の位置姿勢情報に基づいて前記仮想オブジェクトが表示される第1の表示状態から前記第2の位置姿勢情報に基づく第2の表示状態への状態遷移を示す遷移表示を行うよう前記表示装置を制御し、
    さらに、前記制御部は、前記第1の位置姿勢情報の際、前記第1の位置姿勢情報から前記第2の位置姿勢情報に補正される際、前記第2の位置姿勢情報に補正された際のそれぞれの場合において、前記仮想オブジェクトが前記表示装置の表示領域内に存在するか否かを判定し、判定結果に応じて前記遷移表示の態様を異ならせるよう前記表示装置を制御する、
    プログラム。
JP2019560814A 2017-12-20 2018-10-03 情報処理装置、情報処理方法及びプログラム Active JP7226332B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017244026 2017-12-20
JP2017244026 2017-12-20
PCT/JP2018/037084 WO2019123770A1 (ja) 2017-12-20 2018-10-03 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2019123770A1 JPWO2019123770A1 (ja) 2021-03-11
JP7226332B2 true JP7226332B2 (ja) 2023-02-21

Family

ID=66992558

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019560814A Active JP7226332B2 (ja) 2017-12-20 2018-10-03 情報処理装置、情報処理方法及びプログラム

Country Status (6)

Country Link
US (1) US11468868B2 (ja)
EP (1) EP3731066A4 (ja)
JP (1) JP7226332B2 (ja)
KR (1) KR102477842B1 (ja)
CN (1) CN111512272A (ja)
WO (1) WO2019123770A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112702643B (zh) * 2019-10-22 2023-07-21 上海哔哩哔哩科技有限公司 弹幕信息显示方法、装置、移动终端
WO2023026634A1 (ja) * 2021-08-25 2023-03-02 株式会社Nttドコモ 表示制御装置
WO2023189580A1 (ja) * 2022-03-31 2023-10-05 ソニーグループ株式会社 画像処理装置及び画像処理システム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216552A (ja) 2002-01-23 2003-07-31 Equos Research Co Ltd 情報種別表示プログラム
WO2014188512A1 (ja) 2013-05-21 2014-11-27 三菱電機株式会社 音声認識装置、認識結果表示装置および表示方法
WO2014203592A1 (ja) 2013-06-17 2014-12-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP2015090635A (ja) 2013-11-07 2015-05-11 コニカミノルタ株式会社 透過型hmdを有する情報表示システム及び表示制御プログラム
JP2016018213A (ja) 2014-07-10 2016-02-01 セイコーエプソン株式会社 直接幾何学的モデル化によるhmdのキャリブレーション
JP2017015485A (ja) 2015-06-30 2017-01-19 明伸興産株式会社 装着型ナビゲーションシステム
WO2017061388A1 (ja) 2015-10-09 2017-04-13 ソニー株式会社 情報処理装置、位置および/または姿勢の推定方法、およびコンピュータプログラム
JP2017111723A (ja) 2015-12-18 2017-06-22 株式会社ブリリアントサービス バイク用ヘッドマウントディスプレイ、バイク用ヘッドマウントディスプレイの制御方法およびバイク用ヘッドマウントディスプレイの制御プログラム。
JP2017120558A (ja) 2015-12-28 2017-07-06 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2017129904A (ja) 2016-01-18 2017-07-27 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
WO2017134886A1 (ja) 2016-02-02 2017-08-10 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3486536B2 (ja) * 1997-09-01 2004-01-13 キヤノン株式会社 複合現実感提示装置および方法
US6522312B2 (en) 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
US8521411B2 (en) * 2004-06-03 2013-08-27 Making Virtual Solid, L.L.C. En-route navigation display method and apparatus using head-up display
JP2011203823A (ja) 2010-03-24 2011-10-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
US20160216521A1 (en) * 2013-10-22 2016-07-28 Nippon Seiki Co., Ltd. Vehicle information projection system and projection device
EP3109744B1 (en) * 2014-02-17 2020-09-09 Sony Corporation Information processing device, information processing method and program
KR102391860B1 (ko) * 2014-05-09 2022-04-29 소니그룹주식회사 정보 처리 시스템 및 정보 처리 방법
GB2528699B (en) * 2014-07-29 2017-05-03 Sony Computer Entertainment Europe Ltd Image processing
WO2016138178A1 (en) * 2015-02-25 2016-09-01 Brian Mullins Visual gestures for a head mounted device
US9852547B2 (en) * 2015-03-23 2017-12-26 International Business Machines Corporation Path visualization for augmented reality display device based on received data and probabilistic analysis
JP6596883B2 (ja) * 2015-03-31 2019-10-30 ソニー株式会社 ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム
CN106330200B (zh) 2015-07-09 2019-09-10 华邦电子股份有限公司 执行于通量图形处理器的低密度奇偶校验解码方法
US10586464B2 (en) * 2015-07-29 2020-03-10 Warren F. LeBlanc Unmanned aerial vehicles
US10373392B2 (en) * 2015-08-26 2019-08-06 Microsoft Technology Licensing, Llc Transitioning views of a virtual model

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216552A (ja) 2002-01-23 2003-07-31 Equos Research Co Ltd 情報種別表示プログラム
WO2014188512A1 (ja) 2013-05-21 2014-11-27 三菱電機株式会社 音声認識装置、認識結果表示装置および表示方法
WO2014203592A1 (ja) 2013-06-17 2014-12-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP2015090635A (ja) 2013-11-07 2015-05-11 コニカミノルタ株式会社 透過型hmdを有する情報表示システム及び表示制御プログラム
JP2016018213A (ja) 2014-07-10 2016-02-01 セイコーエプソン株式会社 直接幾何学的モデル化によるhmdのキャリブレーション
JP2017015485A (ja) 2015-06-30 2017-01-19 明伸興産株式会社 装着型ナビゲーションシステム
WO2017061388A1 (ja) 2015-10-09 2017-04-13 ソニー株式会社 情報処理装置、位置および/または姿勢の推定方法、およびコンピュータプログラム
JP2017111723A (ja) 2015-12-18 2017-06-22 株式会社ブリリアントサービス バイク用ヘッドマウントディスプレイ、バイク用ヘッドマウントディスプレイの制御方法およびバイク用ヘッドマウントディスプレイの制御プログラム。
JP2017120558A (ja) 2015-12-28 2017-07-06 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2017129904A (ja) 2016-01-18 2017-07-27 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
WO2017134886A1 (ja) 2016-02-02 2017-08-10 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体

Also Published As

Publication number Publication date
JPWO2019123770A1 (ja) 2021-03-11
EP3731066A1 (en) 2020-10-28
KR102477842B1 (ko) 2022-12-16
US20210166661A1 (en) 2021-06-03
WO2019123770A1 (ja) 2019-06-27
EP3731066A4 (en) 2021-01-27
US11468868B2 (en) 2022-10-11
CN111512272A (zh) 2020-08-07
KR20200098509A (ko) 2020-08-20

Similar Documents

Publication Publication Date Title
US9459692B1 (en) Virtual reality headset with relative motion head tracker
US10409365B2 (en) Method of providing a virtual space image subjected to blurring processing based on detected displacement, and system therefor
JP7226332B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20140160170A1 (en) Provision of an Image Element on a Display Worn by a User
JP6002286B1 (ja) ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム
JP6087453B1 (ja) 仮想空間の提供方法、およびプログラム
EP3588447B1 (en) Image processing device, image processing method, and image system
KR20160147735A (ko) 헤드부 위치 검출 장치 및 헤드부 위치 검출 방법, 화상 처리 장치 및 화상 처리 방법, 표시 장치, 및 컴퓨터 프로그램
US11609428B2 (en) Information processing apparatus and information processing method
WO2020003860A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20200404179A1 (en) Motion trajectory determination and time-lapse photography methods, device, and machine-readable storage medium
WO2019142560A1 (ja) 視線を誘導する情報処理装置
JP2021060627A (ja) 情報処理装置、情報処理方法、およびプログラム
JP7320736B2 (ja) 表示システム
US9751607B1 (en) Method and system for controlling rotatable device on marine vessel
JP7450230B2 (ja) 表示システム
US20220244726A1 (en) Information processing apparatus, information processing method, and program
WO2020208883A1 (ja) 表示システム
JPWO2020032189A1 (ja) 表示システム
US20230376109A1 (en) Image processing apparatus, image processing method, and storage device
WO2022004483A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11947119B2 (en) Display control device, display control method, and recording medium
TWI757872B (zh) 整合動作感測器的擴增實境系統與擴增實境顯示方法
WO2024000189A1 (zh) 控制方法、头戴式显示设备、控制系统及存储介质
JP6503407B2 (ja) コンテンツ表示プログラム、コンピュータ装置、コンテンツ表示方法、及びコンテンツ表示システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230123

R151 Written notification of patent or utility model registration

Ref document number: 7226332

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151