JP6806062B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP6806062B2
JP6806062B2 JP2017532406A JP2017532406A JP6806062B2 JP 6806062 B2 JP6806062 B2 JP 6806062B2 JP 2017532406 A JP2017532406 A JP 2017532406A JP 2017532406 A JP2017532406 A JP 2017532406A JP 6806062 B2 JP6806062 B2 JP 6806062B2
Authority
JP
Japan
Prior art keywords
depth
user
stereoscopic object
stereoscopic
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017532406A
Other languages
English (en)
Other versions
JPWO2017022302A1 (ja
Inventor
茜 矢野
茜 矢野
翼 塚原
翼 塚原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017022302A1 publication Critical patent/JPWO2017022302A1/ja
Application granted granted Critical
Publication of JP6806062B2 publication Critical patent/JP6806062B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/40Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images giving the observer of a single two-dimensional [2D] image a perception of depth
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。
近年、ユーザに画像を立体的に知覚させる技術(以下、立体表示技術とも称する。)についての研究開発が行われている。このような立体表示技術としては、左眼用画像および右眼用画像(以下、まとめて立体視用画像とも称する。)の視差を制御することにより、ユーザに画像を立体的に知覚させる技術がある。
しかし、ユーザによる画像の立体的な知覚(以下、立体視とも称する。)はユーザに負担がかかる。そのため、ユーザの負担が軽減される立体表示技術が望まれている。なお、以下では、立体視される画像を立体視画像または立体視オブジェクトとも称する。
これに対し、特許文献1には、自動的に立体視画像の深度を調整する画像処理装置が記載されている。ここで、深度とは、ユーザに知覚される観察対象のスクリーンからの飛び出しまたは引っ込みの程度である。これにより、立体視画像を観察するユーザに適した深度で観察対象が表示され、ユーザの負担が軽減される。
特開2013−90031号公報
しかし、従来の立体表示技術では、画像がユーザに立体視されにくい場合がある。例えば、左眼用画像および右眼用画像の視差すなわち深度がある程度大きくなると、当該左眼用画像と右眼用画像とが融像しにくくなり、ユーザにとって画像を立体視することが困難となる場合がある。
そこで、本開示では、ユーザに立体視オブジェクトを知覚させやすくすることが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提案する。
本開示によれば、目標深度と異なる深度である開始深度から前記目標深度へのユーザに知覚される立体視オブジェクトの移動制御を、前記ユーザの立体視を支援する前記移動制御の態様が特定される態様特定情報に基づいて行う表示制御部、を備える、情報処理装置が提供される。
また、本開示によれば、目標深度と異なる深度である開始深度から前記目標深度へのユーザに知覚される立体視オブジェクトの移動制御を、前記ユーザの立体視を支援する前記移動制御の態様が特定される態様特定情報に基づいて行うこと、を含む、情報処理方法が提供される。
また、本開示によれば、目標深度と異なる深度である開始深度から前記目標深度へのユーザに知覚される立体視オブジェクトの移動制御を、前記ユーザの立体視を支援する前記移動制御の態様が特定される態様特定情報に基づいて行う表示制御機能、をコンピュータに実現させるためのプログラムが提供される。
以上説明したように本開示によれば、ユーザに立体視オブジェクトを知覚させやすくすることが可能な情報処理装置、情報処理方法およびプログラムが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第1の実施形態に係る情報処理装置の概略的な機能構成の例を示すブロック図である。 同実施形態に係る立体視オブジェクトの表示制御の基本処理を例示する図である。 画像を立体視させない場合の眼の作用を説明するための図である。 画像を立体視させる場合の眼の作用を説明するための図である。 同実施形態に係る情報処理装置における立体視オブジェクトの移動制御処理を説明するための図である。 同実施形態に係る情報処理装置の処理を概念的に示すフローチャートである。 同実施形態の第1の変形例に係る情報処理装置における過去の立体視オブジェクトの深度に基づく立体視オブジェクトの移動制御処理の例を説明するための図である。 本開示の第2の実施形態に係る情報処理装置の概略的な機能構成の例を示すブロック図である。 同実施形態に係る情報処理装置の処理を概念的に示すフローチャートである。 本開示の一実施形態に係る情報処理装置のハードウェア構成を示した説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる番号を付して区別する場合もある。例えば、実質的に同一の機能を有する複数の構成を、必要に応じて立体視オブジェクト10Aおよび立体視オブジェクト10Bなどのように区別する。ただし、実質的に同一の機能構成を区別する必要が無い場合、同一符号のみを付する。例えば、立体視オブジェクト10Aおよび立体視オブジェクト10Bを特に区別する必要がない場合には、単に立体視オブジェクト10と称する。
なお、説明は以下の順序で行うものとする。
1.第1の実施形態(ユーザ情報に基づく立体視オブジェクトの移動制御)
1−1.装置の構成
1−2.技術的特徴
1−3.装置の処理
1−4.第1の実施形態のまとめ
1−5.変形例
2.第2の実施形態(環境情報に基づく立体視オブジェクトの移動制御)
2−1.装置の構成
2−2.技術的特徴
2−3.装置の処理
2−4.第1の実施形態のまとめ
3.本開示の一実施形態に係る情報処理装置のハードウェア構成
4.むすび
<1.第1の実施形態(ユーザ情報に基づく立体視オブジェクトの移動制御)>
まず、本開示の第1の実施形態に係る情報処理装置100−1について説明する。
<1−1.装置の構成>
図1を参照して、本開示の第1の実施形態に係る情報処理装置100−1の機能構成について説明する。図1は、本開示の第1の実施形態に係る情報処理装置100−1の概略的な機能構成の例を示すブロック図である。
図1に示したように、情報処理装置100−1は、画像生成部102、表示制御部104、記憶部106、表示部108およびユーザ情報取得部110を備える。
画像生成部102は、表示部108に表示される画像を生成する。具体的には、画像生成部102は、表示制御部104の指示に基づいて、立体視オブジェクトをユーザに知覚せるための画像を生成する。例えば、画像生成部102は、表示制御部104から立体視のための画像の生成が指示されると、記憶部106に記憶される画像に係る情報に基づいて左眼用画像および右眼用画像を生成する。なお、記憶部106にこれらの立体視用画像が記憶されていてもよく、画像生成部102の代わりに通信部等によって外部装置からこれらの画像が取得されてもよい。
表示制御部104は、画像生成部102から得られる画像の表示制御を行う。具体的には、表示制御部104は、画像生成部102によって生成される画像すなわち左眼用画像および右眼用画像の視差を制御することにより、立体視オブジェクトをユーザに知覚させる。例えば、表示制御部104は、左眼用画像および右眼用画像の各々の水平方向の表示位置を制御することにより、立体視オブジェクトの深度を制御する。さらに、図2を参照して、立体視オブジェクトの表示制御処理について詳細に説明する。図2は、本実施形態に係る立体視オブジェクトの表示制御の基本処理を例示する図である。
表示制御部104は、取得される画像についてユーザに立体視させるための処理を行う。具体的には、立体視用画像が図2に示すような仮想スクリーン1に表示されるように設定される場合、表示制御部104は、当該画像すなわち左眼用画像および右眼用画像の各々の表示位置を水平方向すなわち当該仮想スクリーン1の長辺方向にずらすことによって、左眼用画像と右眼用画像との間の視差を制御する。当該視差が生じることにより、立体視オブジェクト10がユーザによって知覚される。ここで、仮想スクリーンとは、虚像が表示される面を意味する。なお、実像が表示される面を画面または実スクリーンとも称し、仮想スクリーンおよび実スクリーンを区別しない場合にはこれらを単にスクリーンとも称する。また、仮想スクリーンは、平面であり得るが、曲面、円筒形または球形等の他の形状であってもよい。また、仮想スクリーンの位置は、光学的に設定され得るが、可変であってもよい。
例えば、表示制御部104は、立体視オブジェクトが仮想スクリーン1よりも手前に位置する、すなわちユーザに向かって飛び出すようにユーザに知覚させる場合、左眼用画像を水平方向右に、右眼用画像を水平方向左にそれぞれシフトする。この場合、ユーザは、図2に示すような仮想スクリーン1からユーザに向かって飛び出す立体視オブジェクト10Aを知覚する。
また、例えば、表示制御部104は、立体視オブジェクトが仮想スクリーン1よりも奥に位置する、すなわちユーザに向かって引っ込むようにユーザに知覚させる場合、左眼用画像を水平方向左に、右眼用画像を水平方向右にそれぞれシフトする。この場合、ユーザは、図2に示すような仮想スクリーン1からユーザに向かって引っ込む立体視オブジェクト10Cを知覚する。
なお、左眼用画像および右眼用画像の視差がない場合または当該視差が人間にとって知覚されない程度に小さい場合には、左眼用画像または右眼用画像のうちの一方が視認される。例えば、ユーザは図2に示したような仮想スクリーン1に立体視用画像が見える。
ここで、立体視オブジェクトは、ユーザに立体視されにくい場合がある。例えば、左眼用画像および右眼用画像の視差すなわち深度がある程度大きくなると、当該左眼用画像と右眼用画像とが融像せず、ユーザは画像を立体視することが困難となる。さらに、図3および図4を参照して、立体視されにくい状況について詳細に説明する。図3は、画像を立体視させない場合の眼の作用を説明するための図であり、図4は、画像を立体視させる場合の眼の作用を説明するための図である。
まず、図3を参照して、画像が立体視されない場合について説明する。画像が立体視されない場合、すなわち深度がゼロまたは人間にとって知覚されない程度に小さい場合、ユーザは、画像が表示される仮想スクリーンに画像が存在すると知覚する。例えば、図3に示したように画像20が仮想スクリーン1に表示される場合、ユーザの眼は仮想スクリーン1に映る画像20に焦点が合うように水晶体の厚みを調節する。また、ユーザの左眼および右眼は、仮想スクリーン1に映る当該画像20について輻輳を調節する。ここで、ユーザの眼から焦点が合わされる位置(物体)までの距離を調節距離と称し、ユーザの眼から輻輳の対象となる位置(物体)までの距離を輻輳距離と称する。図3の例では、ユーザの眼から仮想スクリーン1までの調節距離およびユーザの両眼のなす輻輳角R1についての輻輳距離は、例えばそれぞれD1に相当し、一致する。
次に、図4を参照して、画像が立体視される場合について説明する。画像が立体視される場合、すなわち深度が人間にとって知覚される程度に大きい場合、ユーザは、画像が表示される仮想スクリーンよりも手前または奥に画像が存在すると知覚する。例えば、図4に示したように右眼用画像20Rおよび左眼用画像20Lが視差を有するように仮想スクリーン1に表示される場合、ユーザの眼は仮想スクリーン1に映る画像20Rおよび20Lに焦点が合うように水晶体の厚みを調節する。これに対し、ユーザの左眼および右眼は、仮想スクリーン1からユーザにとって手前に位置する立体視オブジェクト10Dについて輻輳を調節する。このため、ユーザの眼から仮想スクリーン1までの調節距離D1とユーザの両眼のなす輻輳角R2についての輻輳距離D2との間に差が生じる。
調節距離と輻輳距離との差分が生じる場合、ユーザに負担がかかる。また、輻輳が調節される位置に合わせて水晶体の厚みを調節する動きが発生しやすいため、仮想スクリーンに焦点が合わないように調節されると、立体視用画像に焦点が合わなくなり、結果として立体視オブジェクトが融像しにくくなる。これは、調節距離と輻輳距離との差分が大きくなる程、発生しやすくなる。例えば、立体視オブジェクトの深度がユーザに近くなるほど、立体視オブジェクトが融像されにくくなる。
そこで、本開示の各実施形態に係る情報処理装置100は、後述するような技術的特徴を有することにより、ユーザに立体視オブジェクトを知覚させやすくする。
図1を参照して、情報処理装置100−1の機能構成についての説明に戻ると、記憶部106は、表示部108に表示される画像に係る情報および当該画像の表示制御に係る情報を記憶する。
表示部108は、表示制御部104の指示に基づいて画像を表示する。具体的には、表示部108は、表示制御部104から提供される画像を所定の立体視方式で表示する。例えば、当該所定の立体視方式は、ユーザの頭部に装着されるHMD(Head Mount Display)等を用いたスコープ方式であり得るが、その他の立体視方式であってもよい。例えば、立体視方式は、液晶シャッタもしくは偏光フィルタ等の眼鏡方式、またはレンチキュラもしくはパララックスバリア等の裸眼方式等の他の方式であってもよい。
また、表示部108の表示方式は、ハーフミラー等を利用することにより外界像を透過しながら虚像の画像を表示する、いわゆる光学シースルー方式であり得るが、その他の表示方式であってもよい。例えば、表示方式は、撮像装置を用いて外界像を取得し、取得される外界像に画像を重畳させることにより得られる実像の画像を表示する、いわゆるビデオシースルー方式であってもよく、直接的に網膜に画像光を照射することにより画像を結像させる網膜投射方式であってもよい。
ユーザ情報取得部110は、情報処理装置100−1のユーザに係る情報を取得する。具体的には、ユーザに係る情報は、ユーザの属性に係る情報(以下、ユーザ属性情報とも称する。)を含む。例えば、ユーザの属性としては、ユーザの年齢、世代、性別、人種または国籍等がある。また、ユーザの属性情報は、ユーザの性質に係る情報を含む。例えば、ユーザの性質としては、ユーザの左眼と右眼との間の幅(両眼幅)または視力等がある。また、ユーザに係る情報は、ユーザの設定情報を含む。
また、ユーザに係る情報は、ユーザの運動に係る情報(以下、ユーザ運動情報とも称する。)を含む。より具体的には、ユーザの運動に係る情報は、ユーザの運動の態様に係る情報である。例えば、ユーザの運動としては、歩行もしくは走行等の移動に係る運動またはテニスもしくは水泳等のスポーツに係る運動等がある。また、運動の態様としては、運動の有無または移動速度もしくは運動量等の運動の程度等がある。
<1−2.技術的特徴>
次に、本実施形態に係る情報処理装置100−1の技術的特徴について説明する。
(基本的な移動制御)
情報処理装置100−1は、立体視オブジェクトに奥行き方向の動きを付与する。具体的には、表示制御部104は、目標深度と異なる深度である開始深度から目標深度への立体視オブジェクトの移動制御を行う。さらに、図5を参照して、立体視オブジェクトの移動制御について詳細に説明する。図5は、本実施形態に係る情報処理装置100−1における立体視オブジェクトの移動制御処理を説明するための図である。
まず、表示制御部104は、目標深度を決定する。具体的には、表示制御部104は、立体視オブジェクトの移動制御によってユーザに知覚させたい立体視オブジェクトの深度を決定する。例えば、表示制御部104は、図5に示したようなユーザの輻輳角がR2となる深度を目標深度として決定する。
次に、表示制御部104は、開始深度を決定する。具体的には、表示制御部104は、立体視オブジェクトの移動制御が開始される深度を決定する。より具体的には、表示制御部104は、目標深度よりも仮想スクリーンに近い深度を開始深度として決定する。例えば、表示制御部104は、図5に示したようなユーザの輻輳角がR3となる深度を開始深度として決定する。このため、開始深度が目標深度よりも浅く設定されることにより、調節距離と輻輳距離との差分が小さい状態から立体視オブジェクトが表示されることになる。例えば、図5に示したように、目標深度における輻輳距離D2と調節距離D1との差分よりも、開始深度における輻輳距離D3と調節距離D1との差分の方が小さくなる。
次に、表示制御部104は、移動の速さを決定する。具体的には、表示制御部104は、開始深度から目標深度までの立体視オブジェクトの深度の変化の速さを決定する。より具体的には、深度の変化の速さは、立体視オブジェクトの移動時間が所定の時間以下となるような速さに決定される。例えば、所定の時間は、立体視オブジェクトの深度の変化がユーザの負担となりにくい時間の上限である。当然ながら、当該所定の時間には個人差があるため、当該所定の時間はユーザによってある程度の範囲で調整されてもよい。
次に、表示制御部104は、立体視オブジェクトの移動制御を行う。具体的には、表示制御部104は、開始深度から目標深度へ立体視オブジェクトを移動させる。例えば、表示制御部104は、図5に示したように、開始深度にて立体視オブジェクト10Eが知覚されるように視差制御を行い、そこから目標深度に向かって立体視オブジェクトが移動しているように決定された速さで深度を変化させる。そして、表示制御部104は、立体視オブジェクトの深度が目標深度に到達すると、深度の変化を停止させ、立体視オブジェクト10Fがユーザに知覚される。なお、移動に係る立体視オブジェクトの更新は、例えば200ミリ秒以上の間隔で行われ得る。
ここで、水晶体の厚みの調節にかかる時間は、200ミリ秒程度と言われている。そのため、200ミリ秒以上の間隔で深度が変化させられる場合、変化させられる深度への上記調節が完了してから次の深度の変化が行われやすくなる。反対に、200ミリ秒未満の間隔で深度が変化させられる場合、変化させられる深度への上記調節が完了する前に次の深度の変化が行われやすくなる。従って、200ミリ秒以上での間隔で深度の変化すなわち立体視オブジェクトの更新が行われることにより、立体視にかかる負担を軽減し、立体視オブジェクトを知覚しやすくすることが可能となる。
なお、200ミリ秒以上の間隔で深度が変化させられる場合、人間は立体視オブジェクトの深度の変化を連続した変化として知覚しやすくなる。反対に、200ミリ秒未満の間隔で深度が変化させられる場合、人間は立体視オブジェクトの深度の変化を離散した変化として知覚しやすくなる。
また、立体視オブジェクトの表示内容の変化が、連続した変化としてユーザに認識されやすい場合、200ミリ秒未満で深度の変化が行われてもよい。これは、ユーザが深度の変化を予測しやすい場合、上記調節にかかる時間が200ミリ秒程度よりも短縮され得るからである。例えば、立体視オブジェクトの表示の変化がユーザにとって予測しやすい場合に、200ミリ秒未満で深度の変化が行われる。反対に、立体視オブジェクトの表示内容の変化が、離散した変化としてユーザに認識されやすい場合は、深度の変化が予測されにくくなり、上記調節にかかる時間は200ミリ秒程度から変化しないまたは200ミリ秒程度よりも長くなり得る。そのため、この場合には200ミリ秒以上で深度の変化が行われることが望ましい。
このように、目標深度よりも浅い深度から立体視オブジェクトの深度を目標深度に向けて変化させることにより、輻輳に合わせて水晶体の厚みの調節が行われることが抑制され得る。
(立体視を支援する移動制御)
情報処理装置100−1は、さらに、ユーザの立体視を支援する移動制御の態様が特定される情報(以下、態様特定情報とも称する。)に基づいて立体視オブジェクトの移動制御を行う。具体的には、表示制御部104は、態様特定情報に基づいて開始深度を決定する。例えば、表示制御部104は、目標深度との差分が態様特定情報に基づいて特定される差分となる深度を開始深度として決定する。
また、表示制御部104は、態様特定情報に基づいて立体視オブジェクトの移動の態様を決定してもよい。具体的には、立体視オブジェクトの移動の態様は、立体視オブジェクトの移動の速さである。例えば、表示制御部104は、態様特定情報に基づいて特定される速さを立体視オブジェクトの移動の速さとして決定する。
ここで、態様特定情報は、ユーザ属性情報であり得る。具体的には、表示制御部104は、ユーザ情報取得部110によって得られるユーザ属性情報に基づいて特定される開始深度または移動の速さで立体視オブジェクトの移動制御を行う。例えば、表示制御部104は、ユーザの年齢が高くなるほど、開始深度を浅く、すなわち仮想スクリーンに近づける。また、表示制御部104は、ユーザの年齢が高くなるほど、移動の速さすなわち深度の変化の速さを遅くする。概して、人間は高齢になるほど、眼の働きが低下するため、焦点を維持したまま輻輳運動を行うのにかかる時間が増加する傾向にある。そこで、この場合には、立体視オブジェクトの移動を遅くすることにより、目標深度において立体用画像が融像されやすくなる。
また、態様特定情報は、ユーザ運動情報であってもよい。具体的には、表示制御部104は、ユーザ情報取得部110によって得られるユーザ運動情報に基づいて特定される開始深度または移動の速さで立体視オブジェクトの移動制御を行う。例えば、表示制御部104は、ユーザが走行している場合は、ユーザが静止している場合と比べて立体視オブジェクトの移動を例えば初期値よりも速くする。なお、表示制御部104は、ユーザの移動の速さに応じて立体視オブジェクトの移動の速さを決定してもよい。通常、ユーザが移動している場合は、外界を視認するユーザの輻輳がユーザの移動の速さに応じて変化している。そのため、当該輻輳の変化に合った立体視オブジェクトの移動制御が行われない場合には、ユーザが立体視オブジェクトの移動に違和感を覚えるだけでなく、ユーザの負担が増加することになりかねない。そこで、この場合には、立体視オブジェクトの移動を速くすることにより、ユーザの負担が軽減される。
また、態様特定情報は、立体視オブジェクトに係る情報であってもよい。具体的には、表示制御部104は、立体視オブジェクトの種類に係る情報に基づいて特定される開始深度または移動の速さで立体視オブジェクトの移動制御を行う。例えば、表示制御部104は、立体視オブジェクトの種類が結像しやすいコンテンツである場合、開始深度を深く、すなわち初期値よりも目標深度に近い深度に決定する。このようなコンテンツとしては、文字もしくは文章のオブジェクト、輪郭がはっきりしているオブジェクト、解像度の高いオブジェクトまたはユーザが外観を予測しやすいオブジェクト等がある。これは、結像しやすいオブジェクトは概して融像しやすいためである。
また、立体視オブジェクトに係る情報は、立体視オブジェクトの視覚的態様に係る情報であってもよい。具体的には、表示制御部104は、立体視オブジェクトの深度に係る情報に基づいて特定される開始深度または移動の速さで立体視オブジェクトの移動制御を行う。例えば、表示制御部104は、立体視オブジェクトの目標深度が閾値未満である場合、開始深度を初期値よりも目標深度に近づけ、立体視オブジェクトの移動を初期値よりも速くする。ここで、深度が浅い、すなわち立体視オブジェクトがユーザから遠くに知覚される場合には、立体視オブジェクトの移動制御による効果が低くなり得る一方で、当該移動制御によるユーザの負担は多少なりとも発生する。そのため、この場合には、立体視オブジェクトの移動量または移動時間を低減することにより、ユーザの負担が軽減される。
また、立体視オブジェクトの視覚的態様に係る情報は、立体視オブジェクトの数に係る情報であってもよい。具体的には、表示制御部104は、立体視オブジェクトの数に係る情報に基づいて特定される開始深度または移動の速さで立体視オブジェクトの移動制御を行う。例えば、表示制御部104は、立体視オブジェクトが複数存在する場合、開始深度を深く、すなわち目標深度に近い深度に決定する。また、この場合、表示制御部104は、立体視オブジェクトの移動を例えば初期値よりも速くする。概して、立体視オブジェクトが複数存在する場合に、一部の立体視オブジェクトの深度が変化すると、立体視オブジェクトを観察するユーザの負担が増加し、例えばユーザが映像酔いを発症しやすくなる。そこで、この場合には、立体視オブジェクトの移動時間を短くすることにより、ユーザの負担が軽減される。なお、当該立体視オブジェクトの数に係る情報は、当該立体視オブジェクトの数を示す情報である例を説明したが、当該立体視オブジェクトの多寡が判別される情報であってもよい。
<1−3.装置の処理>
次に、図6を参照して、本実施形態に係る情報処理装置100−1の処理について説明する。図6は、本実施形態に係る情報処理装置100−1の処理を概念的に示すフローチャートである。
情報処理装置100−1は、立体視オブジェクトの目標深度が閾値以上であるかを判定する(ステップS202)。具体的には、表示制御部104は、立体視オブジェクトの目標深度を決定し、決定される目標深度が閾値以上であるかを判定する。
立体視オブジェクトの目標深度が閾値以上であると判定されると、情報処理装置100−1は、ユーザの年齢が閾値以上であるかを判定する(ステップS204)。具体的には、表示制御部104は、目標深度が閾値以上である場合、ユーザ情報取得部110により得られるユーザ属性情報に基づいて、立体視オブジェクトを観察するユーザの年齢が閾値以上であるかを判定する。
ユーザの年齢が閾値以上であると判定されると、情報処理装置100−1は、開始深度を初期値よりも目標深度から遠ざける(ステップS206)。具体的には、表示制御部104は、ユーザの年齢が閾値以上である場合、開始深度と目標深度との差分すなわち立体視オブジェクトの移動距離が初期値よりも大きくなるように開始深度を決定する。
次に、情報処理装置100−1は、立体視オブジェクトの移動の速さを初期値よりも遅くする(ステップS208)。具体的には、表示制御部104は、立体視オブジェクトの移動の速さすなわち立体視オブジェクトの深度変化の速さを初期値よりも遅い値に決定する。なお、移動の速さは、開始深度と目標深度との差分すなわち移動距離に応じて調整されてもよい。
また、ステップS204にてユーザの年齢が閾値未満であると判定された場合、情報処理装置100−1は、開始深度を初期値よりも目標深度に近づける(ステップS210)。具体的には、表示制御部104は、ユーザの年齢が閾値未満である場合、開始深度と目標深度との差分すなわち立体視オブジェクトの移動距離が初期値よりも小さくなるように開始深度を決定する。
次に、情報処理装置100−1は、立体視オブジェクトの移動の速さを初期値よりも速くする(ステップS212)。具体的には、表示制御部104は、立体視オブジェクトの移動の速さすなわち立体視オブジェクトの深度変化の速さを初期値よりも速い値に決定する。
また、ステップS202にて立体視オブジェクトの目標深度が閾値未満であると判定された場合、情報処理装置100−1は、立体視オブジェクトの数を判定する(ステップS214)。具体的には、表示制御部104は、目標深度が閾値未満である場合、ユーザに知覚させている立体視オブジェクトの数すなわち立体視制御を行っている画像の数を判定する。
立体視オブジェクトの数が単数であると判定されると、情報処理装置100−1は、開始深度を初期値に決定する(ステップS216)。具体的には、表示制御部104は、立体視制御を行っている画像の数が単数である場合、開始深度を初期値に決定する。なお、当該初期値はユーザによって設定され、または変更され得る。
次に、情報処理装置100−1は、移動の速さを初期値に決定する(ステップS218)。具体的には、表示制御部104は、立体視オブジェクトの移動の速さすなわち立体視オブジェクトの深度変化の速さを初期値に決定する。
なお、ステップS214にて立体視オブジェクトの数が複数であると判定された場合、ステップS210に処理が進められる。
次に、情報処理装置100−1は、決定された開始深度および移動の速さで立体視オブジェクトを移動させる(ステップS220)。具体的には、表示制御部104は、決定された深度変化の速さで開始深度から目標深度へ立体視オブジェクトを移動させる。なお、立体視オブジェクトがまだユーザに知覚されていない、すなわち立体視オブジェクトに係る画像が仮想スクリーンに表示させていない場合、開始深度で立体視オブジェクトがユーザに知覚されるように画像表示および立体視制御が行われる。
なお、上記のフローチャートでは、開始深度および移動の速さの両方が制御される例を説明したが、開始深度または移動の速さのうちの一方のみが制御されてもよい。
<1−4.第1の実施形態のまとめ>
このように、本開示の第1の実施形態によれば、目標深度と異なる深度である開始深度から目標深度へのユーザに知覚される立体視オブジェクトの移動制御を、ユーザの立体視を支援する移動制御の態様が特定される態様特定情報に基づいて行う。このため、立体視オブジェクトの融像を支援するように当該立体視オブジェクトの移動制御が行われることにより、立体視の失敗が抑制されまたは立体視にかかる時間が短縮される、すなわちユーザに立体視オブジェクトを知覚させやすくすることが可能となる。また、立体視オブジェクトの融像が支援されることにより、映像酔いまたは目の疲労等の立体視にかかるユーザの負担を軽減することが可能となる。また、本実施形態によれば、ユーザとのインタラクション用の立体視オブジェクトをユーザの手元に知覚させることが可能となる。そのため、立体視オブジェクトについてユーザにより臨場感を与えることができる。
また、開始深度は、目標深度よりも仮想スクリーンに近い深度を含む。このため、輻輳距離と調節距離との差分が小さい深度から移動制御が開始されることにより、ユーザに仮想スクリーンについての調節状態を維持させながら輻輳運動を行わせることができる。その結果、目標深度においても立体視用画像の融像が維持されやすくなる。
また、移動制御の態様は、開始深度の決定を含む。ここで、開始深度は、輻輳距離と調節距離との差分が移動制御におけるいずれの他の深度よりも小さいため、融像のしやすさを決める主な要素のうちの1つである。そこで、当該開始深度を態様特定情報に基づいて決定することにより、融像のしやすさを制御することが容易となり得る。
また、開始深度は、目標深度との差分が態様特定情報に基づいて特定される差分となる深度を含む。ここで、目標深度と開始深度との差分すなわち立体視オブジェクトの移動距離の長さは、ユーザの負担の大きさおよび立体視用画像の融像のしやすさに関係がある。そこで、本構成のように、当該移動距離が態様特定情報に基づいて制御されることにより、ユーザの負担の大きさと立体視用画像の融像のしやすさとの間のバランスを取ることが可能となる。
また、移動制御の態様は、立体視オブジェクトの移動の態様の決定を含む。ここで、立体視オブジェクトの移動すなわち立体視オブジェクトの深度の変化は、融像の支援となると共にユーザの負担にもなる。そこで、本構成のように、当該移動の態様が態様特定情報に基づいて制御されることにより、ユーザの負担の大きさと立体視用画像の融像のしやすさとのバランスを取ることが可能となる。
また、移動の態様は、立体視オブジェクトの移動の速さを含み、当該移動の速さは、態様特定情報に基づいて特定される速さを含む。ここで、立体視オブジェクトの移動の速さに応じて立体視オブジェクトの移動時間が変動する。概して、当該移動時間が長くなるほど、ユーザの負担が大きくなる。そこで、本構成のように、移動の速さが態様特定情報に基づいて制御されることにより、移動時間が制御され、立体視用画像の融像のしやすさを維持しながらユーザの負担を軽減することが可能となる。
また、態様特定情報は、ユーザの属性に係る情報またはユーザの運動に係る情報を含む。このため、個々のユーザに適した立体視オブジェクトの移動制御が行われることにより、立体視オブジェクトの知覚のしやすさのユーザ毎のばらつきを抑制することが可能となる。例えば、自転車に乗るユーザに対して走行距離または走行時間等のステータスを示す立体視オブジェクトが表示されるアプリケーションに本構成が適用される場合を考える。この場合、ユーザの移動の速さを考慮して当該ステータスを示す立体視オブジェクトについての移動すなわちアニメーションが行われることにより、移動するユーザに立体視オブジェクトを知覚させやすくすることが可能となる。
また、態様特定情報は、立体視オブジェクトの種類に係る情報を含む。このため、立体視オブジェクトの種類に適した立体視オブジェクトの移動制御が行われることにより、立体視オブジェクトの知覚のしやすさの立体視オブジェクトの種類毎のばらつきを抑制することが可能となる。
また、態様特定情報は、立体視オブジェクトの視覚的態様に係る情報を含む。このため、立体視オブジェクトの視覚的態様に適した立体視オブジェクトの移動制御が行われることにより、立体視オブジェクトの知覚のしやすさの立体視オブジェクトの視覚的態様毎のばらつきを抑制することが可能となる。
また、立体視オブジェクトの視覚的態様に係る情報は、立体視オブジェクトの深度に係る情報を含む。このため、例えば上述したように立体視オブジェクトの目標深度に応じて立体視オブジェクトの移動制御が行われる場合には、ユーザの負担の増加を抑制しながら融像のしやすさを向上させることが可能となる。
また、立体視オブジェクトの視覚的態様に係る情報は、立体視オブジェクトの数に係る情報を含む。ここで、立体視オブジェクトの数に応じてユーザの負担が変動する。そのため、上述したように、例えば立体視オブジェクトが複数存在する場合に、移動制御の抑制すなわち移動時間または移動時間の短縮を行うことにより、ユーザの負担の増加を抑制しながら融像のしやすさを向上させることが可能となる。
また、情報処理装置100−1は、ユーザの頭部に装着される。このため、ユーザの頭部の動きによる立体視オブジェクトの知覚のしやすさの変化が発生しにくいことにより、当該立体視オブジェクトに対する臨場感をユーザに与えることが可能となる。
<1−5.変形例>
以上、本開示の第1の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第1〜第3の変形例について説明する。
(第1の変形例)
本実施形態の第1の変形例として、情報処理装置100−1は、過去の立体視オブジェクトの深度に応じて立体視オブジェクトの移動制御を行ってもよい。具体的には、表示制御部104は、目標深度と過去の立体視オブジェクトの深度との差分に応じて立体視オブジェクトの移動制御を行う。さらに、図7を参照して、本変形例の処理について詳細に説明する。図7は、本実施形態の第1の変形例に係る情報処理装置100−1における過去の立体視オブジェクトの深度に基づく立体視オブジェクトの移動制御処理の例を説明するための図である。
まず、表示制御部104は、目標深度が決定されると、過去の立体視オブジェクトの深度を取得する。例えば、表示制御部104は、まず、立体視制御が予定されている立体視オブジェクトの目標深度を、図7に示したような立体視オブジェクト10Hの深度に決定する。次に、表示制御部104は、過去に立体視制御が行われていた、図7に示したような立体視オブジェクト10Gの深度を取得する。なお、当該過去の立体視オブジェクトは、直前までユーザに知覚されていた、すなわち立体視制御が行われていた立体視オブジェクトであり得る。
次に、表示制御部104は、過去の立体視オブジェクトの深度と目標深度との差分を特定する。例えば、表示制御部104は、取得された過去の立体視オブジェクト10Gの深度と立体視制御が予定されている立体視オブジェクトの目標深度すなわち立体視オブジェクト10Hの深度との差分Diffを算出する。
次に、表示制御部104は、当該差分に応じて移動制御の態様を決定する。具体的には、表示制御部104は、算出された差分Diffの大きさに応じて開始深度または移動の速さを決定する。例えば、表示制御部104は、算出された差分Diffが小さいほど、開始深度を浅く、すなわち移動距離を短くし、移動の速さを速く、すなわち移動時間を短くする。
次に、表示制御部104は、決定される移動制御の態様に基づいて立体視オブジェクトの移動制御を行う。例えば、表示制御部104は、決定される開始深度および移動の速さに基づいて立体視オブジェクトの移動制御を行う。
なお、立体視オブジェクトが複数存在している場合および過去に複数存在していた場合には、ユーザに視認されている、または視認されていた立体視オブジェクトの深度を用いて上述の処理を行う。ユーザの視認対象は、ユーザの視線に基づいて検出される。
このように、本実施形態の第1の変形例によれば、立体視オブジェクトの深度に係る情報は、目標深度と過去の立体視オブジェクトの深度との差分に係る情報を含む。このため、過去にユーザが視認していた立体視オブジェクトの深度に応じて立体視オブジェクトの移動制御の態様が制御されることにより、ユーザの負担の増加を抑制しながら融像のしやすさを効率的に向上させることが可能となる。
(第2の変形例)
本実施形態の第2の変形例として、複数の立体視オブジェクトが存在する場合、情報処理装置100−1は、移動制御の対象外である立体視オブジェクトをユーザに知覚されないようにしてもよい。具体的には、表示制御部104は、立体視オブジェクトを移動させる際に、移動させる立体視オブジェクト以外の他の立体視オブジェクトをユーザに知覚させない。
例えば、表示制御部104は、立体視オブジェクトの移動制御の開始前に、移動制御の対象となる立体視オブジェクトと異なる他の立体視オブジェクトが存在するかを判定する。そして、他の立体視オブジェクトが存在すると判定される場合、表示制御部104は、当該他の立体視オブジェクトに係る立体視用画像を仮想スクリーンから削除する。
なお、表示制御部104は、立体視用画像の削除の代わりに、当該他の立体視オブジェクトがユーザに立体視されないようにしてもよい。例えば、表示制御部104は、当該他の立体視オブジェクトに係る立体視制御を停止する。
また、表示制御部104は、当該他の立体視オブジェクトをユーザに視認されにくくしてもよい。例えば、表示制御部104は、当該他の立体視オブジェクトに係る立体視用画像の輝度を低くし、明度を暗くし、または色彩を暗色または背景色に近い色に変更する。
また、表示制御部104は、立体視オブジェクトの移動が終了した後に、上記の処理が行われた他の立体視オブジェクトを元に戻してもよい。
このように、本実施形態の第2の変形例によれば、情報処理装置100−1は、立体視オブジェクトを移動させる際に、移動させる立体視オブジェクト以外の他の立体視オブジェクトをユーザに知覚させない。上述したように、複数の立体視オブジェクトが存在する状態において立体視オブジェクトの移動制御が行われると、ユーザの負担が増大する可能性がある。そこで、本構成のように、移動制御の対象外の立体視オブジェクトをユーザに知覚させなくすることにより、ユーザの負担の増加を抑制することが可能となる。
(第3の変形例)
本実施形態の第3の変形例として、情報処理装置100−1は、移動制御対象の立体視オブジェクトを目立たせてもよい。具体的には、表示制御部104は、立体視オブジェクトの移動中において立体視オブジェクトの存在を強調する。より具体的には、表示制御部104は、立体視オブジェクトの移動の開始時点において、立体視オブジェクトの視覚的な強調を開始する。例えば、視覚的な強調としては、立体視オブジェクトの全体もしくは一部の色彩、輝度もしくは模様を目につきやすいように変更すること、立体視オブジェクトを点滅させること、立体視オブジェクトを目立つ内容に変更すること、または立体視オブジェクトに別の目立つ物体を伴わせること等がある。
なお、立体視オブジェクトの移動の開始から終了まで上記の強調処理が行われてもよく、移動の開始から所定の時間が経過するか、または所定の距離だけ移動するまでの間、強調処理が行われてもよい。また、強調の程度が移動中に変化させられてもよい。例えば、立体視オブジェクトの移動と共に強調の程度が弱められ得る。
このように、本実施形態の第3の変形例によれば、情報処理装置100−1は、立体視オブジェクトの移動中において立体視オブジェクトの存在を強調する。ここで、立体視オブジェクトの移動は、ユーザに視認されなければ効果が十分に発揮されない。特に、当該立体視オブジェクトの移動は、開始時点からユーザに視認されることが望ましい。そこで、本構成のように、立体視オブジェクトの移動対象がユーザに強調されることにより、当該立体視オブジェクトの移動がユーザに視認されやすくなり、立体視用画像の融像をより確実に支援することが可能となる。
<2.第2の実施形態(環境情報に基づく立体視オブジェクトの移動制御)>
以上、本開示の第1の実施形態に係る情報処理装置100−1について説明した。続いて、本開示の第2の実施形態に係る情報処理装置100−2について説明する。
<2−1.装置の構成>
まず、図8を参照して、本開示の第2の実施形態に係る情報処理装置100−2の機能構成について説明する。図8は、本開示の第2の実施形態に係る情報処理装置100−2の概略的な機能構成の例を示すブロック図である。
図8に示したように、情報処理装置100−2は、画像生成部102、表示制御部104、記憶部106および表示部108に加えて、環境情報取得部120を備える。
環境情報取得部120は、ユーザの周辺の環境に係る情報(以下、環境情報とも称する。)を取得する。具体的には、環境情報は、立体視オブジェクトが存在するように知覚される空間(以下、表示空間とも称する。)の視覚的態様に係る情報を含む。例えば、表示空間の視覚的態様としては、物体の有無、数、配置、動きまたはこれらの変化等がある。
<2−2.技術的特徴>
次に、本実施形態に係る情報処理装置100−2の技術的特徴について説明する。
(立体視を支援する移動制御)
情報処理装置100−2は、環境情報に基づいて立体視オブジェクトの移動制御を行う。具体的には、表示制御部104は、環境情報取得部120によって得られる表示空間の視覚的態様に係る情報に基づいて特定される開始深度または移動の速さで立体視オブジェクトの移動制御を行う。例えば、表示制御部104は、表示空間に物体が存在する場合、開始深度を深く、すなわち目標深度に近い深度に決定する。また、この場合、表示制御部104は、立体視オブジェクトの移動を例えば初期値よりも速くする。ここで、現実空間に存在する物体を視認する場合にも輻輳運動が行われるため、立体視オブジェクトと現実空間の物体との視線が往復されると、ユーザの負担が増加する。そこで、この場合には、立体視オブジェクトの移動時間を短くすることにより、ユーザの負担が軽減される。
(移動有無の制御)
情報処理装置100−2は、さらに立体視オブジェクトの移動の有無を制御する。具体的には、表示制御部104は、態様特定情報に基づいて移動の有無を決定する。より具体的には、表示制御部104は、立体視オブジェクトの深度に基づいて移動の有無を決定する。例えば、表示制御部104は、目標深度と過去の立体視オブジェクトの深度との差分が閾値よりも小さい場合、立体視オブジェクトの移動を行わないことを決定する。
また、表示制御部104は、立体視オブジェクトの種類に基づいて移動の有無を決定してもよい。例えば、表示制御部104は、立体視オブジェクトの種類が結像しやすいコンテンツである場合、立体視オブジェクトの移動を行わないことを決定する。
また、表示制御部104は、立体視オブジェクトの数に基づいて移動の有無を決定してもよい。例えば、表示制御部104は、立体視オブジェクトが複数存在する場合、立体視オブジェクトの移動を行わないことを決定する。なお、表示制御部104は、表示空間における物体の有無または数に基づいて移動の有無を決定してもよい。
(移動制御の再実行)
情報処理装置100−2は、立体視オブジェクトの移動がユーザに視認されない場合に、立体視オブジェクトの移動を再度実行する。具体的には、表示制御部104は、立体視オブジェクトの移動中にユーザの立体視オブジェクトの視認が中断された場合、立体視オブジェクトの移動を再度行う。
例えば、表示制御部104は、立体視オブジェクトの移動が開始されると、情報処理装置100−2の別途備える、ユーザの視線に係る情報(以下、視線情報とも称する。)を取得する視線情報取得部から視線情報の取得を開始する。なお、移動制御の有無に関わらず視線情報が定期的に取得されていてもよい。
次に、表示制御部104は、立体視オブジェクトの移動処理を行いながら、視線情報に基づいて立体視オブジェクトにユーザの視線が向いているかを判定する。
立体視オブジェクトにユーザの視線が向いていないと判定されると、表示制御部104は、立体視オブジェクトの移動を中断し、開始深度から立体視オブジェクトの移動を再度開始する。
なお、表示制御部104は、立体視オブジェクトにユーザの視線が向いていないと判定された場合に、立体視オブジェクトの移動を継続させ、目標深度まで移動させた後、開始深度から立体視オブジェクトの移動を再度開始してもよい。
また、表示制御部104は、立体視オブジェクトに対するユーザの注視時間に応じて立体視オブジェクトの移動の再実行の有無を決定してもよい。これは、ユーザの注視時間が長ければ、立体視用画像が融像する可能性が高いからである。
また、上記では、ユーザの視線の変化に基づいて立体視オブジェクトの視認の中断が判定される例を説明したが、ユーザの視線を変化させる物体の出現有無に基づいて当該視認の中断が判定されてもよい。例えば、表示制御部104は、立体視オブジェクトの移動中における表示空間内への物体の出現有無に基づいて立体視オブジェクトの移動の再実行有無を判定する。
<2−3.装置の処理>
次に、図9を参照して、本実施形態に係る情報処理装置100−2の処理について説明する。図9は、本実施形態に係る情報処理装置100−2の処理を概念的に示すフローチャートである。なお、第1の実施形態の処理と実質的に同一である処理については説明を省略する。
情報処理装置100−2は、立体視オブジェクトの目標深度が閾値以上かを判定する(ステップS302)。
立体視オブジェクトの目標深度が閾値以上と判定されると、情報処理装置100−2は、表示空間における物体の有無を判定する(ステップS304)。具体的には、表示制御部104は、目標深度が閾値以上である場合、環境情報取得部120により得られる環境情報に基づいて、表示空間における物体の有無を判定する。
表示空間に物体が存在すると判定されると、情報処理装置100−2は、開始深度を初期値よりも目標深度に近づける(ステップS306)。具体的には、表示制御部104は、表示空間に物体が存在する場合、開始深度と目標深度との差分すなわち立体視オブジェクトの移動距離が初期値よりも小さくなるように開始深度を決定する。
次に、情報処理装置100−2は、立体視オブジェクトの移動の速さを初期値よりも速くする(ステップS308)。具体的には、表示制御部104は、立体視オブジェクトの移動の速さすなわち立体視オブジェクトの深度変化の速さを初期値よりも速い値に決定する。
また、ステップS304にて表示空間に物体が存在しないと判定された場合、情報処理装置100−2は、開始深度を初期値に決定し(ステップS310)、立体視オブジェクトの移動の速さを初期値に決定する(ステップS312)。
また、ステップS302にて立体視オブジェクトの目標深度が閾値未満であると判定された場合、情報処理装置100−2は、立体視オブジェクトの数を判定する(ステップS314)。立体視オブジェクトの数が単数であると判定された場合、ステップS310に処理が進められる。また、ステップS314にて立体視オブジェクトの数が複数であると判定された場合、情報処理装置100−2は、立体視オブジェクトの移動を行わず、処理が終了する。
次に、情報処理装置100−2は、決定された開始深度および移動の速さで立体視オブジェクトを移動させる(ステップS316)。
立体視オブジェクトの移動中、情報処理装置100−2は、立体視オブジェクトに対するユーザの視認が中断されたかを判定する(ステップS318)。具体的には、表示制御部104は、定期的に取得される視線情報に基づいてユーザの視線が立体視オブジェクトに向いているかを判定する。
立体視オブジェクトに対するユーザの視認が中断されたと判定されると、情報処理装置100−2は、立体視オブジェクトの移動を再度実行する。具体的には、表示制御部104は、ユーザの視線が立体視オブジェクトに向いていないと判定されると、処理をステップS316に戻すことにより、立体視オブジェクトの移動を再実行する。
<2−4.第2の実施形態のまとめ>
このように、本開示の第2の実施形態によれば、態様特定情報は、ユーザ周辺の環境に係る環境情報を含み、情報処理装置100−2は、当該環境情報に基づいて立体視オブジェクトの移動制御を行う。このため、ユーザ周辺の環境に適した立体視オブジェクトの移動制御が行われることにより、当該環境によらずに立体視オブジェクトを知覚しやすくすることが可能となる。
また、情報処理装置100−2は、態様特定情報に基づいて立体視オブジェクトの移動の有無を決定する。このため、立体視オブジェクトが知覚されやすい場合に立体視オブジェクトの移動を行わないことにより、いたずらにユーザに負担かかることを防止することが可能となる。
また、情報処理装置100−2は、立体視オブジェクトの移動中にユーザの立体視オブジェクトの視認が中断された場合、立体視オブジェクトの移動を再度行う。このため、立体視の支援を提供する機会が追加されることにより、ユーザが立体視オブジェクトを知覚できる可能性を高めることが可能となる。
<3.本開示の一実施形態に係る情報処理装置のハードウェア構成>
以上、本開示の各実施形態に係る情報処理装置100について説明した。上述した情報処理装置100の処理は、ソフトウェアと、以下に説明する情報処理装置100のハードウェアとの協働により実現される。
図10は、本開示の一実施形態に係る情報処理装置100のハードウェア構成を示した説明図である。図10に示したように、情報処理装置100は、CPU(Central Processing Unit)142と、ROM(Read Only Memory)144と、RAM(Random Access Memory)146と、ブリッジ148と、バス150と、インターフェース152と、入力装置154と、出力装置156と、ストレージ装置158と、ドライブ160と、接続ポート162と、通信装置164とを備える。
CPU142は、演算処理装置として機能し、各種プログラムと協働して情報処理装置100内の画像生成部102および表示制御部104の動作を実現する。また、CPU142は、マイクロプロセッサであってもよい。ROM144は、CPU142が使用するプログラムまたは演算パラメータ等を記憶する。RAM146は、CPU142の実行にいて使用するプログラムまたは実行において適宜変化するパラメータ等を一時記憶する。ROM144およびRAM146により、情報処理装置100内の記憶部106の一部が実現される。CPU142、ROM144およびRAM146は、CPUバスなどから構成される内部バスにより相互に接続されている。
入力装置154は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロホン、スイッチおよびレバーなどユーザが情報を入力するための入力手段、およびユーザによる入力に基づいて入力信号を生成し、CPU142に出力する入力制御回路などから構成されている。情報処理装置100のユーザは、入力装置154を操作することにより、情報処理装置100に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置156は、例えば情報処理装置100内の表示部108の一例として、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置、ランプなどの装置への出力を行う。さらに、出力装置156は、スピーカおよびヘッドフォンなどの音声出力を行ってもよい。
ストレージ装置158は、データ格納用の装置である。ストレージ装置158は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されるデータを削除する削除装置等を含んでもよい。ストレージ装置158は、CPU142が実行するプログラムや各種データを格納する。
ドライブ160は、記憶媒体用リーダライタであり、情報処理装置100に内蔵、あるいは外付けされる。ドライブ160は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM134に出力する。また、ドライブ160は、リムーバブル記憶媒体に情報を書込むこともできる。
接続ポート162は、例えば、情報処理装置100の外部の情報処理装置または周辺機器と接続するためのバスである。また、接続ポート162は、USB(Universal Serial Bus)であってもよい。
通信装置164は、例えば、ネットワークに接続するための通信デバイスで構成される通信インターフェースである。通信装置164は、赤外線通信対応装置であっても、無線LAN(Local Area Network)対応通信装置であっても、LTE(Long Term Evolution)対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
<4.むすび>
以上、本開示の第1の実施形態によれば、立体視オブジェクトの融像を支援するように当該立体視オブジェクトの移動制御が行われることにより、立体視の失敗が抑制されまたは立体視にかかる時間が短縮される、すなわちユーザに立体視オブジェクトを知覚させやすくすることが可能となる。また、立体視オブジェクトの融像が支援されることにより、映像酔いまたは目の疲労等の立体視にかかるユーザの負担を軽減することが可能となる。また、本開示の第2の実施形態によれば、ユーザ周辺の環境に適した立体視オブジェクトの移動制御が行われることにより、当該環境によらずに立体視オブジェクトを知覚しやすくすることが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、情報処理装置100がHMDであるとしたが、本技術はかかる例に限定されない。例えば、情報処理装置100は、据置型もしくは携帯型の3D(three dimensional)ディスプレイまたは3D映画の映写機等の他の装置であってもよい。
また、上記実施形態では、立体視オブジェクトの深度について変化させられる例を説明したが、当該深度の変化に加えて、立体視オブジェクトの表示位置が変化させられてもよい。例えば、立体視オブジェクトの表示位置がユーザから見て上下左右の少なくとも一方に変化させられながら深度が変化させられ得る。この場合、立体視オブジェクトは、例えばカーブを描きながらまたは蛇行しながら移動するようにユーザに知覚される。
また、上記実施形態では、仮想スクリーンに立体視用画像が表示される例を説明したが、実スクリーンに立体視用画像が表示される場合にも各実施形態の構成を適用することは可能である。
また、上記実施形態では、立体視オブジェクトの移動の態様が移動の速さである例を説明したが、立体視オブジェクトの移動の態様は移動の仕方であってもよい。例えば、移動の仕方としては、他の立体視オブジェクトまたは現実空間の物体を避けるような移動がある。なお、当該物体等を回避するために、立体視オブジェクトに係る立体視用画像の表示位置が変更されてもよい。
また、上記実施形態では、立体視オブジェクトの移動の速さについて特に言及しなかったが、当該移動の速さは、移動中は一定であってもよく、移動途中で変化してもよい。
また、上記実施形態では、立体視オブジェクトは移動において変化しない例を説明したが、立体視オブジェクトは移動において変化してもよい。例えば、立体視オブジェクトの移動の前後または移動中に、立体視オブジェクトの見た目、例えば形状、色彩もしくは内容が変化させられてもよい。
また、本開示の各実施形態に係る情報処理装置100は、医療分野、農業分野または自動車分野に適用されてもよい。例えば、医療分野においては、情報処理装置100によって、レントゲン写真またはMRI(Magnetic Resonance Imaging)画像または手術映像もしくは手術室の空間に表示される画像がユーザに立体視されるように表示される。この場合、本開示の各実施形態の構成によれば、ユーザの近傍にある立体視オブジェクトが知覚されるように移動制御が行われることにより、ユーザは医療用画像をより詳細に確認することができ、より正確な医療行為を支援することが可能となる。
また、農業分野においては、例えば、農作業が行われる際に、情報処理装置100によって、作業手順を示す画像がユーザに立体視されるように表示される。この場合、本開示の各実施形態の構成によれば、ユーザの近傍にある立体視オブジェクトが知覚されるように移動制御が行われることにより、ユーザは作業手順をより詳細に確認することができ、農業における作業効率が改善され得る。
また、自動車分野においては、例えば、情報処理装置100によって、建物に隠れた自動車または歩行者等を示す画像がユーザに立体視されるように表示される。この場合、本開示の各実施形態の構成によれば、ユーザの近傍にある立体視オブジェクトが知覚されるように移動制御が行われることにより、通常は目視できない物体を、距離感を維持しながらより確実に確認することができ、自動車の運転における安全性を向上させることが可能となる。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的にまたは個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
目標深度と異なる深度である開始深度から前記目標深度へのユーザに知覚される立体視オブジェクトの移動制御を、前記ユーザの立体視を支援する前記移動制御の態様が特定される態様特定情報に基づいて行う表示制御部、
を備える、情報処理装置。
(2)
前記開始深度は、前記目標深度よりも前記立体視オブジェクトの表示に係る仮想スクリーンに近い深度を含む、前記(1)に記載の情報処理装置。
(3)
前記移動制御の態様は、前記開始深度の決定を含む、前記(1)または(2)に記載の情報処理装置。
(4)
前記開始深度は、前記目標深度との差分が前記態様特定情報に基づいて特定される差分となる深度を含む、前記(3)に記載の情報処理装置。
(5)
前記移動制御の態様は、前記立体視オブジェクトの移動の態様の決定を含む、前記(1)〜(4)のいずれか1項に記載の情報処理装置。
(6)
前記移動の態様は、前記立体視オブジェクトの移動の速さを含み、
前記移動の速さは、前記態様特定情報に基づいて特定される速さを含む、前記(5)に記載の情報処理装置。
(7)
前記態様特定情報は、前記ユーザの属性に係る情報または前記ユーザの運動に係る情報を含む、前記(1)〜(6)のいずれか1項に記載の情報処理装置。
(8)
前記態様特定情報は、前記立体視オブジェクトの種類に係る情報を含む、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(9)
前記態様特定情報は、前記立体視オブジェクトの視覚的態様に係る情報を含む、前記(1)〜(8)のいずれか1項に記載の情報処理装置。
(10)
前記視覚的態様に係る情報は、前記立体視オブジェクトの深度に係る情報を含む、前記(9)に記載の情報処理装置。
(11)
前記深度に係る情報は、前記目標深度と過去の前記立体視オブジェクトの深度との差分に係る情報を含む、前記(10)に記載の情報処理装置。
(12)
前記視覚的態様に係る情報は、前記立体視オブジェクトの数に係る情報を含む、前記(9)〜(11)のいずれか1項に記載の情報処理装置。
(13)
前記態様特定情報は、前記ユーザの周辺の環境に係る情報を含む、前記(1)〜(12)のいずれか1項に記載の情報処理装置。
(14)
前記移動制御の態様は、前記態様特定情報に基づく前記立体視オブジェクトの移動の有無の決定を含む、前記(1)〜(13)のいずれか1項に記載の情報処理装置。
(15)
前記表示制御部は、前記立体視オブジェクトの移動中に前記ユーザの前記立体視オブジェクトの視認が中断された場合、前記立体視オブジェクトの移動を再度行う、前記(1)〜(14)のいずれか1項に記載の情報処理装置。
(16)
前記表示制御部は、前記立体視オブジェクトを移動させる際に、移動させる前記立体視オブジェクト以外の他の前記立体視オブジェクトを前記ユーザに知覚させない、前記(1)〜(15)のいずれか1項に記載の情報処理装置。
(17)
前記表示制御部は、前記立体視オブジェクトの移動中において前記立体視オブジェクトの存在を強調する、前記(1)〜(16)のいずれか1項に記載の情報処理装置。
(18)
前記情報処理装置は、前記ユーザの頭部に装着される、前記(1)〜(17)のいずれか1項に記載の情報処理装置。
(19)
目標深度と異なる深度である開始深度から前記目標深度へのユーザに知覚される立体視オブジェクトの移動制御を、前記ユーザの立体視を支援する前記移動制御の態様が特定される態様特定情報に基づいて行うこと、
を含む、情報処理方法。
(20)
目標深度と異なる深度である開始深度から前記目標深度へのユーザに知覚される立体視オブジェクトの移動制御を、前記ユーザの立体視を支援する前記移動制御の態様が特定される態様特定情報に基づいて行う表示制御機能、
をコンピュータに実現させるためのプログラム。
100 情報処理装置
102 画像生成部
104 表示制御部
106 記憶部
108 表示部
110 ユーザ情報取得部
120 環境情報取得部

Claims (18)

  1. 情報処理装置であって、前記情報処理装置は、
    目標深度と異なる深度である開始深度から前記目標深度へのユーザに知覚される立体視オブジェクトの移動制御を、前記ユーザの立体視を支援する前記移動制御の態様が特定される態様特定情報に基づいて行う表示制御部、
    を備え、前記移動制御の態様は、前記目標深度との差分が前記態様特定情報に基づいて特定される差分となる深度を含む前記開始深度の決定を含む、情報処理装置。
  2. 前記開始深度は、前記目標深度仮想スクリーンとの間の深度を含む、請求項1に記載の情報処理装置。
  3. 前記移動制御の態様は、前記立体視オブジェクトの移動の態様の決定を含む、請求項1に記載の情報処理装置。
  4. 前記移動の態様は、前記立体視オブジェクトの移動の速さを含み、
    前記移動の速さは、前記態様特定情報に基づいて特定される速さを含む、請求項に記載の情報処理装置。
  5. 前記態様特定情報は、前記ユーザの年齢、世代、性別、人種、国籍、両眼幅、および視力の少なくとも1つを含む、前記ユーザの属性に係る情報または、前記ユーザの歩行もしくは走行の移動に係る運動または前記ユーザが行うスポーツに係る運動の少なくとも1つを含む、前記ユーザの運動に係る情報を含む、請求項1に記載の情報処理装置。
  6. 前記態様特定情報は、文字、文章、写真、画像、映像の少なくとも1つを含む、前記立体視オブジェクトの種類に係る情報を含む、請求項1に記載の情報処理装置。
  7. 前記態様特定情報は、前記立体視オブジェクトの視覚的態様に係る情報を含む、請求項1に記載の情報処理装置。
  8. 前記視覚的態様に係る情報は、前記立体視オブジェクトの深度に係る情報を含む、請求項に記載の情報処理装置。
  9. 前記深度に係る情報は、前記目標深度と過去の前記立体視オブジェクトの深度との差分に係る情報を含む、請求項に記載の情報処理装置。
  10. 前記視覚的態様に係る情報は、前記立体視オブジェクトの数に係る情報を含む、請求項に記載の情報処理装置。
  11. 前記態様特定情報は、前記立体視オブジェクトが存在するように前記ユーザに知覚される空間内の物体の有無、数、配置、および動きの少なくとも1つに係る情報を含む、請求項1に記載の情報処理装置。
  12. 前記移動制御の態様は、前記態様特定情報に基づく前記立体視オブジェクトの移動の有無の決定を含む、請求項1に記載の情報処理装置。
  13. 前記表示制御部は、前記立体視オブジェクトの移動中に前記ユーザの前記立体視オブジェクトの視認が中断された場合、前記立体視オブジェクトの移動を再度行う、請求項1に記載の情報処理装置。
  14. 目標深度と異なる深度である開始深度から前記目標深度へのユーザに知覚される立体視オブジェクトの移動制御を、前記ユーザの立体視を支援する前記移動制御の態様が特定される態様特定情報に基づいて行う表示制御部、
    を備え、前記表示制御部は、前記立体視オブジェクトを移動させる際に、移動させる前記立体視オブジェクト以外の他の前記立体視オブジェクトを前記ユーザに知覚させない、情報処理装置。
  15. 目標深度と異なる深度である開始深度から前記目標深度へのユーザに知覚される立体視オブジェクトの移動制御を、前記ユーザの立体視を支援する前記移動制御の態様が特定される態様特定情報に基づいて行う表示制御部、
    を備え、前記表示制御部は、前記立体視オブジェクトの移動中において前記立体視オブジェクトの存在を強調する、情報処理装置。
  16. 前記情報処理装置は、前記ユーザの頭部に装着される、請求項1に記載の情報処理装置。
  17. 情報処理方法であって、前記情報処理方法は、
    目標深度と異なる深度である開始深度から前記目標深度へのユーザに知覚される立体視オブジェクトの移動制御を、前記ユーザの立体視を支援する前記移動制御の態様が特定される態様特定情報に基づいて行うこと、
    を含み、前記移動制御の態様は、前記目標深度との差分が前記態様特定情報に基づいて特定される差分となる深度を含む前記開始深度の決定を含む、情報処理方法。
  18. プログラムであって、前記プログラムは、
    目標深度と異なる深度である開始深度から前記目標深度へのユーザに知覚される立体視オブジェクトの移動制御を、前記ユーザの立体視を支援する前記移動制御の態様が特定される態様特定情報に基づいて行う表示制御機能、
    をコンピュータに実現させ、前記移動制御の態様は、前記目標深度との差分が前記態様特定情報に基づいて特定される差分となる深度を含む前記開始深度の決定を含む、プログラム。
JP2017532406A 2015-08-03 2016-05-24 情報処理装置、情報処理方法およびプログラム Expired - Fee Related JP6806062B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015153314 2015-08-03
JP2015153314 2015-08-03
PCT/JP2016/065367 WO2017022302A1 (ja) 2015-08-03 2016-05-24 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2017022302A1 JPWO2017022302A1 (ja) 2018-05-24
JP6806062B2 true JP6806062B2 (ja) 2021-01-06

Family

ID=57942744

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017532406A Expired - Fee Related JP6806062B2 (ja) 2015-08-03 2016-05-24 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
US (1) US10659755B2 (ja)
JP (1) JP6806062B2 (ja)
WO (1) WO2017022302A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4104436A4 (en) * 2020-02-14 2024-03-13 Magic Leap, Inc. VIRTUAL OBJECT MOVEMENT SPEED CURVE FOR VIRTUAL AND AUGMENTED REALITY DISPLAY SYSTEMS
EP4059581A1 (en) * 2021-03-16 2022-09-21 Deutsche Telekom AG Method and system to reduce vr sickness in a cloud game service

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1040420A (ja) * 1996-07-24 1998-02-13 Sanyo Electric Co Ltd 奥行き感制御方法
JP4532171B2 (ja) * 2004-06-01 2010-08-25 富士重工業株式会社 立体物認識装置
US20100017418A1 (en) * 2004-12-22 2010-01-21 Koninklijke Philips Electronics, N.V. Method of presenting a topology, using a visual object
JP5274359B2 (ja) * 2009-04-27 2013-08-28 三菱電機株式会社 立体映像および音声記録方法、立体映像および音声再生方法、立体映像および音声記録装置、立体映像および音声再生装置、立体映像および音声記録媒体
US9699434B2 (en) * 2009-10-07 2017-07-04 Samsung Electronics Co., Ltd. Apparatus and method for adjusting depth
JP2012090107A (ja) * 2010-10-20 2012-05-10 Canon Inc 立体映像処理装置及びその制御方法
JP5002702B2 (ja) * 2010-12-03 2012-08-15 株式会社東芝 視差画像生成装置、立体映像表示装置及び視差画像生成方法
JP5678643B2 (ja) * 2010-12-21 2015-03-04 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2012138776A (ja) * 2010-12-27 2012-07-19 Sharp Corp コンテンツ表示装置、コンテンツ表示方法、および、コンテンツ表示用プログラム
KR101851630B1 (ko) * 2011-08-29 2018-06-11 엘지전자 주식회사 이동 단말기 및 그의 영상 변환 방법
EP2590417A1 (en) * 2011-11-01 2013-05-08 Acer Incorporated Stereoscopic image display apparatus
JP2013102270A (ja) * 2011-11-07 2013-05-23 Canon Inc 画像処理装置、画像処理方法及びプログラム
CN103135889B (zh) * 2011-12-05 2017-06-23 Lg电子株式会社 移动终端及其3d图像控制方法
JP2013123970A (ja) * 2011-12-14 2013-06-24 Toshiba Corp 表示装置
CN104036226B (zh) * 2013-03-04 2017-06-27 联想(北京)有限公司 一种目标物信息获取方法及电子设备
US10330931B2 (en) * 2013-06-28 2019-06-25 Microsoft Technology Licensing, Llc Space carving based on human physical data

Also Published As

Publication number Publication date
US20180205931A1 (en) 2018-07-19
US10659755B2 (en) 2020-05-19
WO2017022302A1 (ja) 2017-02-09
JPWO2017022302A1 (ja) 2018-05-24

Similar Documents

Publication Publication Date Title
CN114868069B (zh) 用电子显示器的中央凹渲染的预测性眼睛跟踪系统和方法
US10871825B1 (en) Predictive eye tracking systems and methods for variable focus electronic displays
US9191658B2 (en) Head-mounted display and position gap adjustment method
CN106484116B (zh) 媒体文件的处理方法和装置
JP5873982B2 (ja) 3次元表示装置、3次元画像処理装置および3次元表示方法
JP6339239B2 (ja) 頭部装着型表示装置、及び映像表示システム
JP6378781B2 (ja) 頭部装着型表示装置、及び映像表示システム
JP2014219621A (ja) 表示装置、表示制御プログラム
CN108124509B (zh) 图像显示方法、穿戴式智能设备及存储介质
WO2017115505A1 (ja) 表示装置
WO2017115504A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2020137128A (ja) コンピュータ読取可能な非一過性の記憶媒体、Webサーバ、及び、瞳孔間のキャリブレーション方法
JP6806062B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20150070477A1 (en) Image processing device, image processing method, and program
WO2019131160A1 (ja) 情報処理装置、情報処理方法、および記録媒体
JP2018157331A (ja) プログラム、記録媒体、画像生成装置、画像生成方法
US11237413B1 (en) Multi-focal display based on polarization switches and geometric phase lenses
US10602116B2 (en) Information processing apparatus, information processing method, and program for performing display control
US11543655B1 (en) Rendering for multi-focus display systems
US20150237338A1 (en) Flip-up stereo viewing glasses
JP6915368B2 (ja) 多焦点視覚出力方法、多焦点視覚出力装置
KR101834287B1 (ko) 양안 디스플레이 시청 시 사시를 방지하기 위한 방법 및 장치
JP6478201B2 (ja) 表示制御装置、表示システム、表示制御方法、表示制御プログラム、および投影装置
JP6365879B2 (ja) 表示制御装置、表示制御方法、表示制御プログラム、および投影装置
JP7333051B2 (ja) 表示システム、表示方法、コントローラ、及び、コンピュータプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190510

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190510

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201117

R151 Written notification of patent or utility model registration

Ref document number: 6806062

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees