JP7472899B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP7472899B2
JP7472899B2 JP2021507196A JP2021507196A JP7472899B2 JP 7472899 B2 JP7472899 B2 JP 7472899B2 JP 2021507196 A JP2021507196 A JP 2021507196A JP 2021507196 A JP2021507196 A JP 2021507196A JP 7472899 B2 JP7472899 B2 JP 7472899B2
Authority
JP
Japan
Prior art keywords
information processing
viewpoint position
display device
processing device
observer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021507196A
Other languages
English (en)
Other versions
JPWO2020189319A1 (ja
Inventor
優斗 小林
紀晃 高橋
孝明 鈴木
晴香 三森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020189319A1 publication Critical patent/JPWO2020189319A1/ja
Application granted granted Critical
Publication of JP7472899B2 publication Critical patent/JP7472899B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/32Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N2013/40Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
    • H04N2013/405Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being stereoscopic or three dimensional

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。
従来の表示装置には、立体的な画像表示を実現するものがある。特許文献1には、光線再生法により、立体的な画像を表示する画像表示装置を備える画像表示システムが開示されている。
特開2008-146221号公報
上記の従来技術では、光線再生法によって3次元すべての方向について運動視差を実現するために、3次元すべての方向に光線を再生する装置の構成を簡単化することが困難である。また、光線を再生する装置は、3次元すべての方向に光線を再生するために、装置の処理能力によっては不自然な画像を視認させる可能性がある。
そこで、本開示では、光線の出射に関する処理負担を軽減しても、光線による立体的な画像を視認させることができる情報処理装置、情報処理方法及びプログラムを提案する。
上記の課題を解決するために、本開示に係る一形態の情報処理装置は、3次元物体が放つ光線を再現する表示装置の観察者の視点位置を特定する特定部と、前記特定部によって特定された前記視点位置を含む立体視領域と、前記立体視領域の外部の非立体視領域を設定する設定部と、前記設定部によって設定された前記立体視領域前記3次元物体の立体視画像を表す光線群を出射し、前記非立体視領域に前記3次元物体の非立体視画像を表す光線群を前記表示装置に出射させる制御を行う表示制御部と、前記観察者の視点位置の移動を検出する検出部と、を備え、前記設定部は、前記検出部によって前記視点位置の移動を検出すると、移動後の前記視点位置を基準として前記立体視領域および前記非立体視領域を再設定する
また、本開示に係る一形態の情報処理方法は、3次元物体が放つ光線を再現する表示装置を制御する情報処理装置によって実行される情報処理方法であって、前記表示装置の観察者の視点位置を特定するステップと、特定された前記視点位置を含む立体視領域と、前記立体視領域の外部の非立体視領域を設定するステップと、設定された前記立体視領域前記3次元物体の立体視画像を表す光線群を出射し、前記非立体視領域に前記3次元物体の非立体視画像を表す光線群を前記表示装置に出射させる制御を行うステップと、前記観察者の視点位置の移動を検出するステップと、を含み、前記設定するステップは、前記検出するステップによって前記視点位置の移動を検出すると、移動後の前記視点位置を基準として前記立体視領域および前記非立体視領域を再設定する
また、本開示に係る一形態のプログラムは、3次元物体が放つ光線を再現する表示装置を制御する情報処理装置に、前記表示装置の観察者の視点位置を特定するステップと、特定された前記視点位置を含む立体視領域と、前記立体視領域の外部の非立体視領域を設定するステップと、設定された前記立体視領域前記3次元物体の立体視画像を表す光線群を出射し、前記非立体視領域に前記3次元物体の非立体視画像を表す光線群を前記表示装置に出射させる制御を行うステップと、前記観察者の視点位置の移動を検出するステップと、を実行させ、前記設定するステップは、前記検出するステップによって前記視点位置の移動を検出すると、移動後の前記視点位置を基準として前記立体視領域および前記非立体視領域を再設定する
実施形態に係る情報処理装置を備える表示システムの概略構成を示す図である。 実施形態に係る情報処理装置の構成の一例を示す図である。 実施形態に係る情報処理装置における視点位置を説明するための図である。 実施形態に係る情報処理装置が視点位置を基準として設定した領域と光線との関係を示す図である。 実施形態に係る情報処理装置が再現させる光線群を説明するための図である。 実施形態に係る情報処理装置の光線と画像と視点位置との関係の一例を説明するための図である。 実施形態に係る情報処理装置が実行する処理手順の一例を示すフローチャートである。 実施形態に係る情報処理装置による光線と画像と視点位置との関係を説明するための図である。 実施形態の変形例(1)に係る情報処理装置による光線と領域と視点位置との関係を説明するための図である。 実施形態の変形例(2)に係る情報処理装置による光線と領域と視点位置との関係を説明するための図である。 実施形態の変形例(3)に係る情報処理装置の光線と領域と視点位置との関係を説明するための図である。 実施形態の変形例(4)に係る情報処理装置の光線と画像と視点位置との関係を説明するための図である。 情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
(実施形態)
[実施形態に係る表示システムの概要]
図1は、実施形態に係る情報処理装置を備える表示システムの概略構成を示す図である。図1に示す表示システム100は、観察者200に対して、表示装置10から出射させた光線群によって3次元物体を立体的に視認させる。表示システム100は、表示装置10と、計測装置20と、情報処理装置30と、を備える。情報処理装置30は、表示装置10及び計測装置20と通信可能に構成されている。
表示装置10は、3次元物体の放つ光線を再現するライトフィールド(Light Field)ディスプレイである。ライトフィールド方式の表示装置10は、専用メガネを用いずに、裸眼で立体映像等を観察者200に視認させる装置である。例えば、視認される3次元物体は、様々な方向に光線を放っている。光線は、太陽光、照明などを反射した光を意味している。人間等は、3次元物体が放った光線を捉えることで、物体を立体的に認識している。表示装置10は、3次元物体が放った光線を擬似的に再現することで、3次元物体の立体視を可能にしている。表示装置10は、情報処理装置30の制御により、3次元物体が放った光線を再現する方式で、3次元物体の放つ光線を再現する。表示装置10は、例えば、パネル積層方式、プロジェクターアレイ方式、視差バリア/レンズアレイ方式等で光線を再生する周知の装置を用いることができる。
例えば、表示装置10は、信号処理により光線を再現する領域を変更可能な光線再生の方式を用いることができる。本実施形態では、表示装置10は、例えば、パネル積層方式のディスプレイを用いる場合について説明する。表示装置10は、例えば、複数の液晶パネル11の画素値を変更することで、画素から出射する光線を変更することが可能な構成になっている。
計測装置20は、表示装置10を観察する観察者200の眼201の位置等が計測可能なように、表示装置10の上部に設けられている。計測装置20は、例えば、RGBカメラ、IRカメラ、深度カメラ、超音波センサ等を単体、または組み合わせて用いることができる。計測装置20は、常時計測してもよいし、定期的に計測してもよい。計測装置20は、計測した結果を示す計測情報を、無線通信または有線通信によって情報処理装置30に送信する。計測結果は、例えば、液晶パネル11を視認可能な空間における観察者200の頭部、左右の眼201等の位置、距離等を識別可能な情報を含む。計測結果は、例えば、観察者200の左右の眼201等の画像を含む。
[実施形態に係る情報処理装置の構成]
図2は、実施形態に係る情報処理装置30の構成の一例を示す図である。図2に示す情報処理装置30は、例えば、専用または汎用コンピュータである。情報処理装置30は、通信部31と、記憶部32と、制御部33と、を備える。情報処理装置30は、例えば、表示装置10の外部に設けられているが、これに限定されない。例えば、情報処理装置30は、表示装置10に組み込まれてもよい。情報処理装置30の制御部33は、通信部31及び記憶部32と電気的に接続されている。
通信部31は、表示装置10及び計測装置20と直接またはネットワークを介して通信を行う機能を有する。通信部31は、例えば、有線による通信または無線による通信が可能な通信装置である。通信部31は、表示装置10及び計測装置20から受信した情報を制御部33に出力する。通信部31は、制御部33から入力された情報、信号等を表示装置10、計測装置20等に送信する。なお、通信部31は、例えば、ケーブル等が接続されるコネクタを含んでもよい。
記憶部32は、各種データ及びプログラムを記憶する。記憶部32は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部32は、計測装置20の計測結果を時系列的に記憶する。記憶部32は、表示装置10に再生させる画像データ32A、設定データ32B等を記憶する。画像データ32Aは、例えば、3次元物体をあらゆる角度から観察者が観察したときの画像群を示す情報を含む。設定データ32Bは、例えば、観察者200の眼201に対して設定した領域、座標等の情報を含む。設定データ32Bは、例えば、視点位置を基準として領域を設定するための情報を含む。
制御部33は、情報処理装置30の制御を司る。制御部33は、特定部331と、設定部332と、表示制御部333と、検出部334といった各処理部を有する。本実施形態では、特定部331、設定部332、表示制御部333及び検出部334の制御部33の各処理部は、例えば、CPU(Central Processing Unit)やMCU(Micro Control Unit)等によって、情報処理装置30内部に記憶されたプログラムがRAM(Random Access Memory)等を作業領域として実行されることにより実現される。また、各処理部は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)等の集積回路により実現されてもよい。
特定部331は、3次元物体を表示する表示装置10の観察者200の視点位置を特定する。特定部331は、例えば、通信部31を介して取得した計測装置20の計測結果に基づいて視点位置を特定する。特定部331は、種々の既知の手法を用いて、視点位置を特定してもよい。例えば、特定部331は、計測装置20の計測結果から観察者200の眼201の位置及び計測装置20からの距離等の情報を特定し、特定した情報に基づいて観察者200の左眼及び右眼の視点位置を特定する。視点位置は、観察者200に対して設定した視点座標系における位置を示す。また、特定部331は、例えば、撮像した観察者200の右眼の眼球の画像と、右眼との間の位置関係とに基づいて、右眼の視線が向いている方向を特定してもよい。同様に、特定部331は、撮像したユーザの左眼の眼球の画像と、左眼との間の位置関係とに基づいて、左眼の視線が向いている方向を特定してもよい。
特定部331は、観察者200の眼201の位置に基づいて、液晶パネル11のどの位置を視認しているかを特定してもよい。特定部331は、観察者200の視点位置の特定精度を特定結果に含めてもよい。例えば、画像等から観察者200の眼201の位置を把握できずに、観察者200の頭部の位置、形状等から視点位置を推定している場合、特定部331は、特定精度が低いことを示す情報を特定結果に含めてもよい。特定部331は、例えば、計測装置20の精度に不確かさがあり、ある程度の確率分布を持つ場合、当該確率を重みに用いることで、視点がありそうな位置、範囲等を特定してもよい。そして、特定部331は、特定した観察者200の視点位置を、記憶部32に記憶するとともに、設定部332に出力する。
設定部332は、特定部331によって特定された視点位置を基準とし、観察者200による3次元物体の立体視を可能とする領域を設定する。設定部332は、観察者200の視点位置が多少ずれても3次元物体の立体視が可能な視点位置の周辺の領域を設定する。例えば、設定部332は、観察者200の視点位置を基準として、予め設定された大きさの領域を設定してもよい。例えば、設定部332は、観察者200の視点位置を基準として、当該観察者200に応じて異なる領域を設定してもよい。例えば、設定部332は、視点位置を中心とした観察者200の眼201を囲む範囲の領域を設定してもよい。領域は、例えば、平面、立体空間等を含む。例えば、設定部332は、表示装置10の表現能力、情報処理装置30のスペック等に応じて異なる大きさの領域を設定してもよい。例えば、設定部332は、視点の移動が多い傾向の観察者200の場合、広範囲の第1の領域を設定し、視点の移動が少ない傾向の観察者200の場合、第1の領域よりも狭い第2の領域を設定してもよい。そして、設定部332は、設定した領域を示す領域情報を、記憶部32に記憶するとともに、領域情報を表示制御部333に出力する。
本実施形態では、設定部332は、観察者200の左眼と右眼とに対応した2つの領域を設定する場合について説明するが、これに限定されない。例えば、設定部332は、観察者200の左眼と右眼との双方を含む1つの領域を設定してもよい。例えば、観察者200の左眼と右眼とのいずれか一方の光線を再現すればよい場合、設定部332は、一方の眼201の視点位置を基準とした領域を設定してもよい。また、設定部332は、1つの領域当たりの大きさ、広さ等を制限することで、再現させる光線の数を低下させることができる。
表示制御部333は、設定部332によって設定された領域の内部からは3次元物体の立体視を可能とし、領域の外部からは3次元物体の立体視を不可能とする光線群を表示装置10に出射させる制御を行う。すなわち、表示制御部333は、表示装置10が出射した光線群のうち、領域の内部を通過する光線によって3次元物体を観察者200に視認させる。例えば、表示制御部333は、領域の内部へ連続的に異なる光線を出射させるように、表示装置10を制御してもよい。表示制御部333は、信号処理により、光線を再現する領域を変更する方式を採用することができる。例えば、表示制御部333は、表示装置10の各画素がどのような値を出力するべきかを計算し、当該計算結果に合わせて表示装置10を制御する。その結果、表示装置10は、表示制御部333からの画素値を再生することで、当該画素値に応じた光線を出射する。なお、画素値の算出の一例については、後述する。
また、表示制御部333は、表示装置10から領域を通過する光線群と3次元物体を再現したい仮想光線群とを比較し、比較結果を前記表示装置に出射させる光線群に反映させる。表示制御部333は、表示装置10が出射している光線群のうち、領域を通過する光線をシミュレーションし、シミュレーションした前記領域を通過する光線と仮想光線群とを比較し、誤差を小さくする画素値に基づく光線群を表示装置10に出射させる。例えば、表示制御部333は、シミュレーションにより、現状態で領域を通過する光線群と、再現したい仮想光線群とを求めて対比し、対比結果に差分がある場合、当該差分を解消する画素値を決定する。
検出部334は、観察者200の視点の移動を検出する。例えば、検出部334は、特定部331によって特定された視点位置と前回の視点位置とを比較し、視点位置が異なる、あるいは、視点の移動量が閾値以上である場合に、視点が移動したことを検出する。例えば、検出部334は、特定部331によって特定された視点位置と設定部332によって設定された領域とを比較し、視点位置が領域の外部である、あるいは、領域の外部に接近している場合に、視点が移動したことを検出する。
以上、実施形態に係る情報処理装置30の構成例について説明した。なお、図2を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理装置30の構成は係る例に限定されない。本実施形態に係る情報処理装置30の機能構成は、仕様や運用に応じて柔軟に変形可能である。
[実施形態に係る信号処理による光線の再現方法]
図3は、実施形態に係る情報処理装置30における視点位置を説明するための図である。図3に示すxy座標系は、表示装置10の液晶パネル11の面における平面座標を定義する。xy座標系は、ディスプレイ座標系の一例である。xy座標系は、表示装置10の液晶パネル11の長辺に沿った水平方向のx軸と、液晶パネル11の短辺に沿った垂直方向のy軸と、を有する。st座標系は、表示装置10から距離dだけ離れた観察者200の左右の眼201を通り、xy座標系と平行な座標系である。st座標系は、視点座標系の一例である。st座標系は、表示装置10から距離dだけ離れた観察者200の視点の奥行きに定義される平面座標である。st座標系は、水平方向に沿ったs軸と、垂直方向に沿ったt軸と、を有する。
3次元空間において、2つの平面座標(xy座標系、st座標系)を定義したことにより、空間を飛び交うあらゆる光線を記述することが可能となる。例えば、xy座標系において点(x’,y’)、st座標系において点(s,t)を通過する光線を、R(x’,y’,s,t)と記述する。以下の説明では、左右の眼201のそれぞれの座標位置を区別する説明においては、点(s、t)、点(s、t)と称する。
次に、空間を飛び交う光線と、表示装置10の画素との対応関係を定義する。表示装置10は、例えば、パネル積層方式、プロジェクターアレイ方式、視差バリア/レンズアレイ方式等を用いることができる。方式により、光線と表示装置10の画素との対応関係は異なるので、本実施形態では、汎用性のため対応関係の詳細については言及しない。そして、表示装置10の画素の集合をPとし、そのPから光線への変換関数をf(P)と定義して、各光線と表示装置10の画素との対応関係を式(1)とする。式(1)は、R(x’,y’,s,t)ならばf(P)、かつ、f(P)ならばR(x’,y’,s,t)であることを示している。
R(x,y,s,t)⇔f(P) ・・・式(1)
次に、特定光線のみの忠実な再現を最適化問題として定式化する。計測装置20によって計測した視点位置、左眼の位置座標を点(s,t)、右眼の位置座標を点(s、t)とする。貢献を再現する範囲を、左右の各眼201の位置から±rの範囲とすると、最適化問題は、式(2)のように記述される。
Figure 0007472899000001
式(2)において、R(x,y,s,t)は、入力として与える再現されるべき光線の輝度値である。X,Yは、それぞれxy座標系における、液晶パネル11の横幅、縦幅に対応する。つまり、式(2)は、空間を飛び交う全ての光線のうち、液晶パネル11上を(x:[0,X],y:[0,Y])を通過し、なおかつ、左眼の周辺領域(s:[s-r,s+r],t:[t-r,t+r])もしくは右眼の周辺領域(s:[s-r,s+r],t:[t-r,t+r])を通過する光線群において、再生されるべき光線と表示装置10が再現する光線の誤差を最小にする最適化問題である。
最適問題の解は、勾配効果に基づく手法により求める。具体的には、情報処理装置30は、現状態で再現される光線をシミュレーションする(ステップS1)。そして、情報処理装置30は、入力として与える、再現したい光線群と比較して誤差を算出する(ステップS2)。そして、情報処理装置30は、誤差が一定値以下ならば、計算を終了し、誤差が一定値を超えるならば、誤差が小さくなるように画素値を更新し、ステップS1へ戻る。そして、情報処理装置30は、最終的に得られる表示装置10の画素値P’を表示装置10に反映することで、観察者200の視点の周辺領域である領域E、Eのみ忠実に光線を再現することができる。すなわち、領域E、Eは、観察者200の視点位置を基準とし、観察者200による3次元物体の立体視を可能とする領域となる。
図4は、実施形態に係る情報処理装置30が視点位置を基準として設定した領域と光線との関係を示す図である。図4では、stu座標系は、水平方向を示すs軸と、垂直方向を示すt軸と、奥行きを示すu軸と、を有する。奥行きは、表示装置10に向かう方向を意味する。
図4に示す一例では、情報処理装置30は、観察者200の左眼の視点位置EPを基準とし、領域Eを設定している。この場合、情報処理装置30は、液晶パネル11のxy座標系における点(x’,y’)から領域Eに向けて光線群Lを出射させる。光線群Lは、領域Eの内部からは3次元物体の立体視を可能とする光線群である。光線群Lは、領域Eの内部を通過する光線を含む。
また、情報処理装置30は、液晶パネル11の点(x’,y’)から領域Eの外部に向けて、光線を出射させてもよいし、出射させなくてもよい。例えば、情報処理装置30は、3次元物体の立体視が不可能な同一の画像を示す光線群を出射させてもよい。なお、図4に示す一例では、説明を簡単化するため、観察者200の右眼に対応した領域Eと光線については省略しているが、情報処理装置30は、左眼と同様に、領域Eに向けて光線群を表示装置10に出射させる。
図4に示す一例では、情報処理装置30は、領域Eを立方体の空間とした場合について説明したが、これに限定されない。例えば、情報処理装置30は、領域を略球状の空間としたり、平面としたりしてもよい。
図5は、実施形態に係る情報処理装置30が再現させる光線群を説明するための図である。例えば、物体が飛び出したり奥にあったりするように視認させる視差方式に対して、ライトフィールド方式の表示装置10は、表示装置10の中に物体が存在しているかのように視認させる点が相違している。図5の参考例Exでは、ライトフィールド再生装置300は、3次元のリンゴの画像が放つ複数の光線を出射している。ライトフィールド再生装置300は、立体視させる水平方向の視域角を広げるために、再現する光線を広範囲に複数出射させる必要がある。例えば、表示装置10は、100の光線を出射させるには、100枚の画像を同時表示する必要がある。このため、ライトフィールド再生装置300は、3次元すべての方向に光線を再生するには、数百から数千視点の映像を同時に表示できる高い解像度が必要だったり、大規模な装置となったりする。
実施形態に係る情報処理装置30は、図5のモードM1に示すように、表示装置10に再現させる光線群Lを、観察者200の視点位置EPの周辺領域に限定する。これにより、情報処理装置30は、観察者200の移動による視認性の低下を抑制するとともに、再現させる光線群Lの光線の数を減少させることを可能とする。そして、図5のモードM2に示すように、表示装置10は、観察者200の視点位置EPの周辺領域のみに、立体視させるための光線群Lを出射させ、それ以外には立体視が不可能な光線を出射させることを可能とする。
[実施形態に係る表示装置の光線と観察者との関係]
図6は、実施形態に係る情報処理装置30の光線と画像と視点位置との関係の一例を説明するための図である。図6に示す一例では、表示装置10は、画像Gを表示している。画像Gは、例えば、動画、静止画等を含む。画像Gは、奥に位置する車両と当該車両の手前に位置する人間とを含む画像となっている。画像Gは、車両及び人間が放つ光線を再現するための画像である。そして、表示装置10を観察する観察者200は、左眼の視点位置EPがst座標系のs軸の点(2,t)、右眼の視点位置EPがst座標系のs軸の点(6,t)に位置している。なお、図6に示す一例では、説明を簡単化するため、st座標系のt軸における座標を固定している。
情報処理装置30は、計測装置20の計測情報に基づいて、観察者200の視点位置EP,EPを特定部331によって特定する。情報処理装置30は、視点位置EP,EPのそれぞれを基準とし、領域E、Eを設定部332によって設定する。具体的には、情報処理装置30は、左眼の視点位置EPの点(2,t)を中心(基準)として、点(1,t)から点(3,t)の範囲を領域Eと設定する。そして、情報処理装置30は、右眼の視点位置EPの点(6,t)を中心として、点(5,t)から点(7,t)の範囲を領域Eと設定する。この場合、情報処理装置30は、領域E、Eの内部からは画像Gの立体視を可能とし、領域E、Eの外部からは画像Gの立体視を不可能とする光線群Lを表示装置10に出射させる制御を行う。
例えば、表示装置10は、光線L1,L2,L3を含む光線群Lと、光線L5,L6,L7を含む光線群Lとを出射させる。光線L1は、観察者200が点(1,t)から視認した場合の画像G1を示す光線である。光線L2は、観察者200が点(2,t)から視認した場合の画像G2を示す光線である。光線L3は、観察者200が点(3,t)から視認した場合の画像G3を示す光線である。光線L5は、観察者200が点(5,t)から視認した場合の画像G5を示す光線である。光線L6は、観察者200が点(6,t)から視認した場合の画像G6を示す光線である。光線L7は、観察者200が点(7,t)から視認した場合の画像G7を示す光線である。なお、画像G1,G2,G3,G5,G6,G7のそれぞれは、異なる視点から観察した場合の相異なる画像であり、車両及び人間が放つ光線も異なる画像となっている。
図6に示す一例では、観察者200は、左眼で画像G2を視認するとともに、右眼で画像G6を視認することで、車両及び人間を立体視することができる。そして、観察者200は、例えば、左眼の視点位置EPが点(1,t)、右眼の視点位置EPがst座標系のs軸の点(5,t)に移動したとする。この場合、観察者200は、左眼で画像G1を視認するとともに、右眼で画像G5を視認することで、車両及び人間を立体視することができる。そして、観察者200は、例えば、左眼の視点位置EPが点(0,t)、右眼の視点位置EPがst座標系のs軸の点(4,t)に移動したとする。この場合、観察者200は、左眼の視点位置EPが領域Eの外部へ移動したので、画像Gの光線を再現した光線群を視認できない。また、観察者200は、右眼の視点位置EPが領域Eの外部へ移動したので、画像Gの光線を再現した光線群を視認できない。その結果、観察者200は、表示装置10の画像Gを立体視が困難になる。
次に、図7を用いて、実施形態に係る情報処理装置30の処理手順の一例について説明する。図7は、実施形態に係る情報処理装置30が実行する処理手順の一例を示すフローチャートである。図7に示す処理手順は、情報処理装置30の制御部33がプログラムを実行することによって実現される。
図7に示すように、情報処理装置30の制御部33は、計測装置20の計測情報に基づいて、観察者200の視点位置EP,EPを特定する(ステップS101)。例えば、制御部33は、通信部31を介して、計測装置20から計測情報を取得し、当該計測情報から観察者200の視点位置EP,EPを特定する。制御部33は、ステップS101の処理を実行することで、特定部331として機能する。制御部33は、ステップS101の処理が終了すると、処理をステップS102に進める。
制御部33は、視点位置EP,EPを基準として、観察者200の左右の眼201に対応する領域E、Eを設定する(ステップS102)。例えば、制御部33は、種々の既知の手法を用いて、左右の眼201に対応する領域E、Eを特定し、当該領域E、Eを示す領域情報を記憶部32に記憶する。制御部33は、ステップS102の処理を実行することで、設定部332として機能する。制御部33は、ステップS102の処理が終了すると、処理をステップS103に進める。
制御部33は、設定した領域を通過する光線群を表示装置10に出射させる制御を実行する(ステップS103)。例えば、制御部33は、記憶部32の画像データ32Aに基づいて、再現させる光線群を出射させるための表示装置10の画素値を決定し、当該画素値に基づく表示を表示装置10に指示する。その結果、表示装置10は、指示された画素値に基づいて光線群を出射させる。制御部33は、ステップS103の処理が終了すると、処理をステップS104に進める。
制御部33は、計測装置20の計測情報に基づいて、観察者200の視点位置EP,EPを特定する(ステップS104)。そして、制御部33は、特定した視点位置EP,EPと前回の視点位置EP,EPとに基づいて、視点位置の移動を検出する(ステップS105)。例えば、制御部33は、特定した視点位置EP,EPと前回の視点位置EP,EPとの差が閾値以上の視点の移動量であることを検出した場合に、視点位置EP,EPの移動を検出する。例えば、制御部33は、特定した視点位置EP,EPと前回の視点位置EP,EPとが異なる位置であり、かつ特定した視点位置EP,EPが領域E、Eの外部への接近している場合に、視点位置EP,EPの移動を検出する。制御部33は、ステップS105の処理を実行することで、検出部334として機能する。制御部33は、視点位置の移動を検出したか否か、移動を検出した視点位置EP,EP等を含む検出結果を記憶部32に記憶し、処理をステップS106に進める。
制御部33は、ステップS105の検出結果に基づいて、視点位置EP,EPの移動を検出したか否かを判定する(ステップS106)。制御部33は、視点位置EP,EPの移動を検出していないと判定した場合(ステップS106でNo)、観察者200の視点が移動していないので、処理を後述するステップS113に進める。また、制御部33は、視点位置EP,EPの移動を検出したと判定した場合(ステップS106でYes)、処理をステップS107に進める。
制御部33は、移動後の視点位置EP,EPを基準として、観察者200の左右の眼201に対応する領域E、Eを設定する(ステップS107)。制御部33は、ステップS107の処理を実行することで、設定部332として機能する。制御部33は、ステップS107の処理が終了すると、処理をステップS108に進める。
制御部33は、設定した領域を通過する現状の光線群をシミュレーションする(ステップS108)。例えば、制御部33は、表示装置10に表示させている画素値、あるいは更新された画素値の集合Pから光線群への変換し、各光線と表示装置10の画素との対応関係を算出するシミュレーションを実行する。シミュレーションは、例えば、上述した光線の再現方法により、各光線と表示装置10の画素との対応関係を算出する。制御部33は、シミュレーションの結果を記憶部32に記憶すると、処理をステップS109に進める。
制御部33は、現状の光線群と再現したい仮想光線群とを比較して誤差を算出する(ステップS109)。例えば、制御部33は、記憶部32の画像データ32Aに基づいて、領域E、Eを通過させる再現したい仮想光線群を算出する。そして、制御部33は、ステップS108で算出した現状の光線群と仮想光線群とを比較して誤差を算出する。例えば、制御部33は、現状の光線群と仮想光線群との一致度が高いほど小さな誤差を算出し、一緯度が低いほど大きな誤差を算出する。制御部33は、ステップS109の処理が終了すると、処理をステップS110に進める。
制御部33は、誤差が変更条件を満たすか否かを判定する(ステップS110)。変更条件は、例えば、光線群の変更を判定するための閾値、範囲等の条件を含む。制御部33は、誤差が変更条件を満たしていると判定した場合(ステップS110でYes)、処理をステップS111に進める。制御部33は、誤差が小さくなるように、表示装置10の画素値を更新する(ステップS111)。例えば、制御部33は、記憶部32の画像データ32Aに基づいて、再現させる光線群を出射させるための表示装置10の画素値を決定して更新する。制御部33は、ステップS111の処理が終了すると、処理を既に説明したステップS108に戻し、ステップS108以降の処理手順を継続する。
また、制御部33は、誤差が変更条件を満たしていないと判定した場合(ステップS110でNo)、処理をステップS112に進める。制御部33は、領域E、Eに応じた画素値を表示装置10に反映する(ステップS112)。例えば、制御部33は、ステップS111で更新した画素値に基づく表示を表示装置10に指示する。その結果、表示装置10は、指示された画素値に基づいた光線群を移動後の領域E、Eに向けて出射させる。そして、制御部33は、ステップS112の処理が終了すると、処理をステップS113に進める。
制御部33は、終了するか否かを判定する(ステップS113)。例えば、制御部33は、観察者200等から終了の要求を受けている、表示装置10の電源がオフになった場合、終了すると判定する。制御部33は、終了しないと判定した場合(ステップS113でNo)、処理を既に説明したステップS104に戻し、ステップS104以降の処理手順を継続する。また、制御部33は、終了すると判定した場合(ステップS113でYes)、図7に示す処理手順を終了させる。
図7に示す処理手順では、制御部33は、ステップS103、ステップS108からステップS112の処理を実行することで、表示制御部333として機能する。
[実施形態に係る表示システムの動作]
次に、実施形態に係る表示システム100の動作の一例について、図8を参照して説明する。図8は、実施形態に係る情報処理装置30による光線と画像と視点位置との関係を説明するための図である。図8に示す一例では、表示装置10は、図6に示した画像Gを表示している、図8に示す場面SN1では、表示装置10を観察する観察者200は、左眼の視点位置EPがst座標系のs軸の点(2,t)、右眼の視点位置EPがst座標系のs軸の点(6,t)に位置している。なお、図8に示す一例では、説明を簡単化するため、st座標系のt軸における座標を固定している。
場面SN1では、情報処理装置30は、計測装置20の計測情報に基づいて、観察者200の視点位置EP,EPを特定部331によって特定する。情報処理装置30は、視点位置EP,EPのそれぞれを基準とし、領域E、Eを設定部332によって設定する。具体的には、情報処理装置30は、左眼の視点位置EPの点(2,t)を中心(基準)として、点(1,t)から点(3,t)の範囲を領域Eと設定する。そして、情報処理装置30は、右眼の視点位置EPの点(6,t)を中心として、点(5,t)から点(7,t)の範囲を領域Eと設定する。この場合、情報処理装置30は、領域E、Eの内部からは画像Gの立体視を可能とし、領域E、Eの外部からは画像Gの立体視を不可能とする光線群Lを表示装置10に出射させる制御を行う。
場面SN1では、観察者200は、左眼で画像G2を視認するとともに、右眼で画像G6を視認することで、車両及び人間を立体視している。この状態で、観察者200は、左眼の視点位置EPを点(2,t)から点(3,t)、右眼の視点位置EPを点(6,t)から点(7,t)に向かって移動させている。
場面SN2では、観察者200は、左眼の視点位置EPを領域Eの内部である点(3,t)、右眼の視点位置EPを領域Eの内部である点(7,t)にそれぞれ移動させている。この場合、観察者200は、左眼で点(2,t)からずれた画像G3を視認するとともに、右眼で点(6,t)からずれた画像G7を視認することで、車両及び人間を立体視している。
場面SN2では、情報処理装置30は、計測装置20の計測情報に基づいて、観察者200の視点位置EPが点(3,t)、視点位置EPが点(7,t)であることを特定部331によって特定する。情報処理装置30は、左眼の視点位置EPが点(2,t)から点(3,t)、右眼の視点位置EPが点(6,t)から点(7,t)にそれぞれ移動したことを検出部334によって検出する。情報処理装置30は、視点位置EP,EPのそれぞれを基準とし、領域E’、E’を設定部332によって設定する。具体的には、情報処理装置30は、左眼の視点位置EPの点(3,t)を中心(基準)として、点(2,t)から点(4,t)の範囲を領域E’と設定する。そして、情報処理装置30は、右眼の視点位置EPの点(7,t)を中心として、点(6,t)から点(8,t)の範囲を領域E’と設定する。情報処理装置30は、現状の光線群Lと再現したい仮想光線群とを比較して誤差を算出する。情報処理装置30は、誤差が小さくなるように、表示装置10の画素値を更新する。
場面SN3では、情報処理装置30は、更新した画素値を表示装置10に反映させる。すなわち、情報処理装置30は、領域E’、E’の内部からは画像Gの立体視を可能とし、領域E、Eの外部からは画像Gの立体視を不可能とする光線群L’を表示装置10に出射させる制御を行う。その結果、表示装置10は、画像G2,G3,G4の光線L2,L3,L4を含む光線群L’と、画像G6,G7,G8の光線L6,L7,L8を含む光線群L’とを、領域E、Eからずれた領域E’、E’に向けて出射する。
場面SN3では、観察者200は、左眼で画像G3を視認するとともに、右眼で画像G7を視認することで、車両及び人間を立体視している。その結果、観察者200は、視点位置EP,EPが移動しても、表示装置10の光線群L,L’によって画像Gを立体視することができる。
以上のように、実施形態に係る情報処理装置30は、観察者200の視点位置EPを特定部331によって特定すると、当該視点位置EPを基準とし、観察者200による3次元物体の立体視を可能とする領域Eを設定部332によって設定する。情報処理装置30は、設定部332によって設定された領域Eの内部からは3次元物体の立体視を可能とし、領域Eの外部からは3次元物体の立体視を不可能とする光線群を表示装置に出射させる制御を表示制御部333によって行う。これにより、情報処理装置30は、観察者200の視点位置EPに対して設定した領域Eの内部に、3次元物体の立体視を可能とする光線群を表示装置10に出射させればよくなる。その結果、情報処理装置30は、3次元物体の光線を再現する範囲を限定できるので、光線の出射に関する処理負担を軽減しても、表示装置10が出射する光線によって立体的な画像を観察者200に視認させることができる。また、情報処理装置30は、観察者200の視点位置を基準とした領域Eが設定可能となり、観察者200の頭部の移動に応じた領域Eを設定することで、視点位置が若干ずれても、立体的な画像を観察者200に視認させることができる。すなわち、情報処理装置30は、全方位に光線を出射させる場合と同様の奥行き知覚を、限定した領域Eに表示装置10が出射した光線群によって観察者200に提供することができる。また、情報処理装置30は、全方位に光線を出射可能な表示装置を用いなくても、広視域かつ広い奥行き再現範囲を実現させることができる。
また、情報処理装置30は、表示装置10が領域Eの内部を観察者200に向かって通過する光線群Lを出射するための画素値を算出し、当該画素値に基づいて表示装置10を表示制御部333によって制御する。これにより、情報処理装置30は、領域Eに限定された表示装置10の画素値を算出することで、当該画素値に基づいて表示装置10を制御することができる。その結果、情報処理装置30は、表示装置10を制御する処理負担が軽減されるので、表示システムのコストを抑制することができる。
また、情報処理装置30は、検出部334によって観察者200の視点位置EPの移動を検出すると、移動後の視点位置EPを基準とした領域Eを設定部332によって設定する。情報処理装置30は、視点移動に応じた領域Eが設定部332によって設定されると、当該領域Eの内部からの3次元物体の立体視を可能とする光線群Lを表示装置に出射させる制御を表示制御部333によって行う。これにより、情報処理装置30は、観察者200の視点位置EPの移動の検出に応じて領域Eを再設定し、移動後の領域Eに対して光線群Lを表示装置10に出射させることができる。その結果、情報処理装置30は、観察者200の視点位置EPの移動に応じて領域Eを調整することで、観察者200の焦点を調整して立体視を維持できるので、視認性の低下を抑制することができる。
また、情報処理装置30は、検出部334によって領域Eの内部から外部への視点位置EPの移動を検出すると、移動後の視点位置EPを基準として領域Eを設定部332によって設定する。これにより、情報処理装置30は、領域Eの内部に位置する観察者200の視点位置EPが領域Eの外部へ向かって移動すると、移動後の視点位置EPを基準として領域Eを再設定することができる。その結果、情報処理装置30は、視点位置EPが領域Eの外部へ移動しても、領域Eを再設定して観察者200による立体視を維持できるので、視認性の低下を抑制することができる。
また、情報処理装置30は、視点位置EPの移動に応じた領域Eが設定部332によって設定されると、当該領域Eを通過する現状の光線群Lと3次元物体を再現したい仮想光線群とを比較し、比較結果を表示装置10から出射させる光線群Lに反映させる。これにより、情報処理装置30は、領域Eが再設定されると、現状の光線群Lと仮想光線群とを比較した比較結果を、表示装置10から出射させる光線群Lに反映させることができる。その結果、情報処理装置30は、現状の光線群Lと仮想光線群とを比較した比較結果に基づいて表示装置10を制御すればよくなるので、表示装置10から出射させる光線群Lの制御に係る処理負担を軽減させることができる。
また、情報処理装置30は、表示装置10から領域Eを通過する現状の光線群Lを算出し、算出した現状の光線群Lと仮想光線群との誤差が変更条件を満たす場合、当該誤差を小さくするように、表示装置10から出射する光線群Lを変更させる。これにより、情報処理装置30は、現状の光線群Lと仮想光線群との誤差に応じて、表示装置10から出射させる光線群Lを変更させることができる。その結果、情報処理装置30は、現状の光線群Lと仮想光線群との誤差に応じて表示装置10を制御すればよくなるので、表示装置10から出射させる光線群Lの制御に係る処理負担を軽減させることができる。
上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。例えば、実施形態に係る情報処理装置30は、観察者200の視点位置EP,EPの移動状態、観察者200の人数等に基づいて、様々な領域を設定することができる。
[実施形態の変形例(1)]
図9は、実施形態の変形例(1)に係る情報処理装置30による光線と領域と視点位置との関係を説明するための図である。図9に示す一例では、表示装置10は、図6に示した画像Gを表示している、図9に示す一例では、表示装置10を観察する観察者200は、左眼の視点位置EPがst座標系のs軸の点(2,t)、右眼の視点位置EPがst座標系のs軸の点(6,t)に位置している。なお、図9に示す一例では、説明を簡単化するため、st座標系のt軸における座標を固定している。
情報処理装置30は、計測装置20の計測情報に基づいて、観察者200の視点位置EP,EPを特定部331によって特定する。情報処理装置30は、s軸における視点位置EP,EPの中心を基準として、点(1,t)から点(7,t)の範囲を領域Eと設定部332によって設定する。そして、情報処理装置30は、領域Eの内部からは画像Gの立体視を可能とし、領域Eの外部からは画像Gの立体視を不可能とする光線群Lを表示装置10に出射させる制御を表示制御部333によって実行する。これにより、表示装置10は、光線L1,L2,L3,L4,L5,L6,L7を含む光線群Lを領域Eに向かって出射させる。
図9に示す一例では、観察者200は、左眼で画像G2を視認するとともに、右眼で画像G6を視認することで、車両及び人間を立体視することができる。そして、観察者200は、例えば、左眼の視点位置EPが点(1,t)、右眼の視点位置EPがst座標系のs軸の点(5,t)に移動したとする。この場合、観察者200は、左眼で画像G1を視認するとともに、右眼で画像G5を視認することで、車両及び人間を立体視することができる。そして、観察者200は、例えば、左眼の視点位置EPが点(0,t)、右眼の視点位置EPがst座標系のs軸の点(4,t)に移動したとする。この場合、観察者200は、左眼の視点位置EPが領域Eの外部へ移動したので、画像Gの光線を再現した光線群を視認できない。また、観察者200は、右眼の視点位置EPが領域Eの外部へ移動したので、画像Gの光線を再現した光線群を視認できない。その結果、観察者200は、表示装置10の画像Gを立体視が困難になる。
以上のように、実施形態に係る情報処理装置30は、特定部331によって特定された観察者200の両眼の視点位置EP,EPを含む1つの領域Eを設定部332によって設定する。これにより、情報処理装置30は、視点位置EP,EPを基準として1つの領域Eを設定することができる。その結果、情報処理装置30は、光線群Lを再現する領域が1つとなるので、処理負担をより一層軽減させることができる。
[実施形態の変形例(2)]
図10は、実施形態の変形例(2)に係る情報処理装置30による光線と領域と視点位置との関係を説明するための図である。図10に示す一例では、表示装置10は、図6に示した画像Gを表示している、図10に示す一例では、表示装置10を観察する観察者200は、左眼の視点位置EPがst座標系のs軸の点(2,t)、右眼の視点位置EPがst座標系のs軸の点(6,t)に位置している。なお、図10に示す一例では、説明を簡単化するため、st座標系のt軸における座標を固定している。
図10に示す一例では、観察者200は、表示装置10の前方で頭部を右側に向けている。この場合、計測装置20は、観察者200の左眼が計測できており、右眼が計測できていないことを示す計測情報を情報処理装置30に出力している。
情報処理装置30の特定部331は、観察者200の左眼の視点位置EPが点(2,t)と特定し、当該点(2,t)に基づいて右眼の視点位置EPを推定することで、視点位置EPが点(6,t)と特定する。この場合、特定部331は、右眼を特定した精度が低いことを視点位置EPに紐付けて、観察者200の視点位置EP,EPを設定部332に出力する。
情報処理装置30の設定部332は、特定部331によって特定された視点位置EP,EPの精度に基づいて、相異なる大きさの領域E,Eを設定する。例えば、設定部332は、左眼の視点位置EPの点(2,t)を中心(基準)として、点(1,t)から点(3,t)の範囲を領域Eと設定する。そして、設定部332は、右眼の視点位置EPの特定精度が低いため、左眼の領域Eよりも右眼の領域Eを広く設定する。具体的には、設定部332は、右眼の視点位置EPの点(6,t)を中心として、点(4,t)から点(8,t)の範囲を領域Eと設定する。
表示制御部333は、領域E,Eの内部からは画像Gの立体視を可能とし、領域E,Eの外部からは画像Gの立体視を不可能とする光線群Lを表示装置10に出射させる制御を行う。具体的には、表示制御部333は、領域Eに対して光線L1,L2,L3を含む光線群L、領域E,Eに対して光線L4,L5,L6,L7,L8を含む光線群L’を表示装置10にそれぞれ出射させる。その結果、観察者200は、左眼で画像G0から画像G3のいずれかを視認するとともに、右眼で画像G4から画像G8のいずれかを視認することで、車両及び人間を立体視することができる。
以上のように、実施形態に係る情報処理装置30は、特定部331によって特定された視点位置EP,EPの精度に基づいて、相異なる大きさの領域E,Eを設定する。これにより、情報処理装置30は、相異なる大きさの領域E,Eを設定することで、当該領域E,Eに適した光線群L,L’を表示装置10に出射させることができる。その結果、情報処理装置30は、観察者200の頭部の向きが変化したり、移動したりしても、観察者200の焦点を調整して立体視を維持できるので、視認性の低下を抑制することができる。
なお、実施形態の変形例(2)に係る情報処理装置30は、観察者200の両眼の視点位置EP,EPの両方の特定精度が低い場合、領域E,Eの両方を、特定制度が高い場合よりも広く設定してもよい。あるいは、情報処理装置30は、視点位置EP,EPの両方を含む1つの領域を設定してもよい。
[実施形態の変形例(3)]
図11は、実施形態の変形例(3)に係る情報処理装置30の光線と領域と視点位置との関係を説明するための図である。図11に示す一例では、表示装置10は、図6に示した画像Gを表示している、図11に示す場面SN11では、観察者200は、静止した状態で表示装置10を観察している。すなわち、観察者200の視点位置EP,EPは、移動範囲が小さい静止した状態となっている。観察者200は、左眼の視点位置EPがst座標系のs軸の点(2,t)、右眼の視点位置EPがst座標系のs軸の点(6,t)に位置している。なお、図11に示す一例では、説明を簡単化するため、st座標系のt軸における座標を固定している。
場面SN11では、情報処理装置30は、計測装置20の計測情報に基づいて、観察者200の視点位置EP,EPを特定部331によって特定する。情報処理装置30は、視点位置EP,EPのそれぞれを基準とし、観察者200が静止している状態の領域E,Eを設定部332によって設定する。具体的には、情報処理装置30は、左眼の視点位置EPの点(2,t)を中心(基準)として、点(1,t)から点(3,t)の範囲を領域Eと設定する。そして、情報処理装置30は、右眼の視点位置EPの点(6,t)を中心として、点(5,t)から点(7,t)の範囲を領域Eと設定する。この場合、情報処理装置30は、領域E、Eの内部からは画像Gの立体視を可能とし、領域E,Eの外部からは画像Gの立体視を不可能とする光線群Lを表示装置10に出射させる制御を行う。
場面SN12では、観察者200は、移動している状態で表示装置10を観察している。すなわち、観察者200の視点位置EP,EPは、移動範囲が大きな移動状態となっている。観察者200は、左眼の視点位置EPがst座標系のs軸の点(2,t)から右方向へ、右眼の視点位置EPがst座標系のs軸の点(6,t)から右方向へそれぞれ移動している。
場面SN12では、情報処理装置30は、計測装置20の計測情報に基づいて、観察者200の移動状態の視点位置EP,EPを特定部331によって特定する。情報処理装置30は、特定した時点の視点位置EP,EPのそれぞれを基準とし、右方向へ延びる領域E’,E’を設定部332によって設定する。具体的には、情報処理装置30は、視点位置EP,EPの移動方向が右方向であるので、左眼の視点位置EPの点(2,t)を基準として、点(1,t)から点(4,t)の範囲を領域E’と設定する。そして、情報処理装置30は、右眼の視点位置EPの点(6,t)を基準として、点(5,t)から点(8,t)の範囲を領域E’と設定する。すなわち、情報処理装置30は、静止状態の領域E,Eよりも広範囲で移動方向に応じた形状の領域E’,E’を設定する。情報処理装置30は、視点位置EP,EPが移動している場合、移動方向が広く、移動方向とは反対の方向が狭い領域E’,E’を設定する。この場合、情報処理装置30は、領域E’,E’の内部からは画像Gの立体視を可能とし、領域E’、E’の外部からは画像Gの立体視を不可能とする光線群L’を表示装置10に出射させる制御を行う。
その後、観察者200の視点位置EP,EPが静止すると、情報処理装置30は、静止状態の視点位置EP,EPのそれぞれを基準とし、場面SN11と同様に、観察者200が静止している状態の領域E、Eを設定部332によって設定する。
以上のように、実施形態に係る情報処理装置30は、検出部334によって視点位置EP,EPの移動が検出されている場合、視点位置EP,EPが静止している場合よりも大きな領域E’,E’を設定部332によって設定する。これにより、情報処理装置30は、視点位置EP,EPの移動状態に応じた領域E’,E’を設定し、当該領域E’,E’に適した光線群L’を表示装置10に出射させることができる。その結果、情報処理装置30は、視点位置EP,EPの移動時に領域E’,E’から外れて立体視できなくなることを回避できるので、視認性の低下を抑制することができる。
実施形態の変形例(3)に係る情報処理装置30は、視点位置EP,EPの移動の速度に応じて、設定する領域E,Eの大きさを、形状等を変更してもよい。また、情報処理装置30は、視点位置EP,EPの移動速度を推測し、移動速度が早い場合、広い範囲を弱い重みで領域Eを最適化して領域Eを設定してもよい。情報処理装置30は、視点位置EP,EPの移動速度が遅い場合、速い場合よりも狭い範囲を中程度の重みで領域Eを最適化してもよい。情報処理装置30は、視点位置EP,EPが静止している場合、より狭い範囲を強い重みで領域Eを最適化してもよい。
[実施形態の変形例(4)]
実施形態の変形例(4)に係る情報処理装置30は、複数の観察者200に対して光線群を再現させる場合について説明する。
図12は、実施形態の変形例(4)に係る情報処理装置30の光線と画像と視点位置との関係を説明するための図である。図12に示す一例では、表示装置10は、図6に示した画像Gを表示している、図12に示す一例では、表示装置10は、st座標系のs軸方向に並んだ2人の観察者200が観察している。
情報処理装置30の検出部334は、計測装置20の計測情報に基づいて、2人の観察者200A,200Bのそれぞれの視点位置EP,EPを検出する。情報処理装置30の設定部332は、複数の観察者200のそれぞれに対応した4つの領域ES1,ES2,ET1,ET2を設定する。領域ES1,ES2は、観察者200Aの視点位置EP,EPにそれぞれ対応している。領域ET1,ET2は、観察者200Aの視点位置EP,EPにそれぞれ対応している。情報処理装置30の表示制御部333は、設定部332によって設定された4つの領域ES1,ES2,ET1,ET2の内部からは3次元物体の立体視を可能とし、4つの領域ES1,ES2,ET1,ET2の外部からは3次元物体の立体視を不可能とする光線群LS1,LS2,LT1,LT2を表示装置10に出射させる制御を行う。その結果、観察者200Aは、光線群LS1,LS2を視認することで、車両及び人間を立体視することができる。観察者200Bは、光線群LT1,LT2を視認することで、車両及び人間を立体視することができる。
以上のように、実施形態の変形例(4)に係る情報処理装置30は、検出部334によって複数の観察者200A,200Bの視点位置EP,EPを検出すると、複数の観察者200のそれぞれに対応した4つの領域ES1,ES2,ET1,ET2を設定部332によって設定する。情報処理装置30は、4つの領域ES1,ES2,ET1,ET2に対応した光線群LS1,LS2,LT1,LT2を表示装置10に出射させる制御を行う。これにより、情報処理装置30は、複数の観察者200A,200Bが表示装置10を観察していると、観察者200A,200Bの4つの領域ES1,ES2,ET1,ET2に適した光線群LS1,LS2,LT1,LT2を出射させることができる。その結果、情報処理装置30は、3次元物体の光線を再現する範囲を限定できるので、全方位に光線を出射させるよりも、光線の出射に関する処理負担を軽減することができる。また、情報処理装置30は、全方位に光線を出射させる場合と同様の奥行き知覚を、複数の観察者200A,200Bに提供することができる。
なお、実施形態の変形例(4)に係る情報処理装置30は、複数の観察者200A,200Bに対して4つの領域ES1,ES2,ET1,ET2を設定する場合について説明したが、これに限定されない。例えば、情報処理装置30は、複数の観察者200A,200Bごとに1つの領域を設定してもよいし、複数の観察者200A,200Bの双方に対応した1つの領域を設定してもよい。
なお、実施形態の変形例(1)から変形例(4)は、他の変形例の情報処理装置30に適用したり、組み合わせたりしてもよい。
[ハードウェア構成]
上述してきた第1から第4の実施形態に係る情報処理装置30は、例えば図13に示すような構成のコンピュータ1000によって実現してもよい。以下、実施形態に係る情報処理装置30を例に挙げて説明する。図13は、情報処理装置30の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
通信インターフェイス1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインターフェイスである。例えば、CPU1100は、通信インターフェイス1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
入出力インターフェイス1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェイスである。例えば、CPU1100は、入出力インターフェイス1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェイス1600を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ1000が実施形態に係る情報処理装置30として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、特定部331、設定部332、表示制御部333、検出部334等の機能を実現する。また、HDD1400には、本開示に係るプログラムや、記憶部32内のデータが格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
また、コンピュータに内蔵されるCPU、ROMおよびRAMなどのハードウェアに、情報処理装置30が有する構成と同等の機能を発揮させるためのプログラムも作成可能であり、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
また、本明細書の情報処理装置30の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、情報処理装置30の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
また、本実施形態の情報処理装置30は、観察者200が表示装置10の奥行き感を知覚できるようにしているが、これに限定されない。例えば、情報処理装置30は、観察者200の視点周辺のライトフィールドを再現できるので、観察者200の視力補正に利用することもできる。この場合、情報処理装置30は、観察者200の視力に関する視力情報を記憶部32等に記憶しておき、表示制御部333が視力情報に基づいて補正した光線群を上記領域に出射するように表示装置10を制御する。視力の補正対象は、例えば、近視、遠視、乱視等を含む。
また、本実施形態では、情報処理装置30は、表示装置10の外部に設けられる場合について説明したが、これに限定されない。例えば、情報処理装置30は、表示装置10または計測装置20に組み込まれてもよい。例えば、情報処理装置30は、表示装置10と通信可能な情報処理サーバ等で実現されてもよい。
また、本実施形態の情報処理装置30は、例えば、ヘッドマウントディスプレイ(HMD)に用いることができる。例えば、情報処理装置30は、HMDの表示パネルに表示装置10を用い、視線追跡(アイトラッキング)を組み合わせることで、焦点調整可能なHMDを実現することができる。
(効果)
情報処理装置30は、3次元物体が放つ光線を再現する表示装置の観察者の視点位置を特定する特定部331と、特定部331によって特定された視点位置を基準とし、観察者200による3次元物体の立体視を可能とする領域Eを設定する設定部332と、設定部332によって設定された領域Eの内部からは3次元物体の立体視を可能とし、領域の外部からは3次元物体の立体視を不可能とする光線群Lを表示装置10に出射させる制御を行う表示制御部333と、を備える。
これにより、情報処理装置30は、観察者200の視点位置EPに対して設定した領域Eの内部に、3次元物体の立体視を可能とする光線群を表示装置10に出射させればよくなる。その結果、情報処理装置30は、3次元物体の光線を再現する範囲を限定できるので、光線の出射に関する処理負担を軽減しても、表示装置10が出射する光線によって立体的な画像を観察者200に視認させることができる。また、情報処理装置30は、観察者200の視点位置を基準とした領域Eが設定可能となり、観察者200の頭部の移動に応じた領域Eを設定することで、視点位置が若干ずれても、立体的な画像を観察者200に視認させることができる。すなわち、情報処理装置30は、全方位に光線を出射させる場合と同様の奥行き知覚を、限定した領域Eに表示装置10が出射した光線群によって観察者200に提供することができる。また、情報処理装置30は、全方位に光線を出射可能な表示装置を用いなくても、広視域かつ広い奥行き再現範囲を実現させることができる。
情報処理装置30では、表示制御部333は、表示装置10が領域Eの内部を観察者200に向かって通過する光線群Lを出射するための画素値を算出し、当該画素値に基づいて表示装置10を制御する。
これにより、情報処理装置30は、領域Eに限定された表示装置10の画素値を算出することで、当該画素値に基づいて表示装置10を制御することができる。その結果、情報処理装置30は、表示装置10を制御する処理負担が軽減されるので、表示システム100のコストを抑制することができる。
情報処理装置30は、観察者200の視点位置の移動を検出する検出部334をさらに備え、設定部332は、検出部334によって視点位置の移動を検出すると、移動後の視点位置を基準として領域Eを設定し、表示制御部333は、視点移動に応じた領域Eが設定部332によって設定されると、当該領域Eの内部からの3次元物体の立体視を可能とする光線群Lを表示装置10に出射させる制御を行う。
これにより、情報処理装置30は、観察者200の視点位置の移動の検出に応じて領域Eを再設定し、移動後の領域Eに対して光線群Lを表示装置10に出射させることができる。その結果、情報処理装置30は、観察者200の視点位置の移動に応じて領域Eを調整することで、観察者200の焦点を調整して立体視を維持できるので、視認性の低下を抑制することができる。
情報処理装置30では、設定部332は、検出部334によって領域Eの内部から外部への視点位置の移動を検出すると、移動後の視点位置を基準として領域Eを設定する。
これにより、情報処理装置30は、領域Eの内部に位置する観察者200の視点位置が領域Eの外部へ向かって移動すると、移動後の視点位置EPを基準として領域Eを再設定することができる。その結果、情報処理装置30は、視点位置が領域Eの外部へ移動しても、領域Eを再設定して観察者200による立体視を維持できるので、視認性の低下を抑制することができる。
情報処理装置30では、表示制御部333は、視点位置の移動に応じた領域Eが設定部332によって設定されると、当該領域Eを通過する現状の光線群Lと3次元物体を再現したい仮想光線群とを比較し、比較結果を表示装置10から出射させる光線群Lに反映させる。
これにより、情報処理装置30は、領域Eが再設定されると、現状の光線群Lと仮想光線群とを比較した比較結果を、表示装置10から出射させる光線群Lに反映させることができる。その結果、情報処理装置30は、現状の光線群Lと仮想光線群とを比較した比較結果に基づいて表示装置10を制御すればよくなるので、表示装置10から出射させる光線群Lの制御に係る処理負担を軽減させることができる。
情報処理装置30では、表示制御部333は、表示装置10から領域Eを通過する現状の光線群Lを算出し、算出した現状の光線群Lと仮想光線群との誤差が変更条件を満たす場合、当該誤差を小さくするように、表示装置10から出射する光線群Lを変更させる。
これにより、情報処理装置30は、現状の光線群Lと仮想光線群との誤差に応じて、表示装置10から出射させる光線群Lを変更させることができる。その結果、情報処理装置30は、現状の光線群Lと仮想光線群との誤差に応じて表示装置10を制御すればよくなるので、表示装置10から出射させる光線群Lの制御に係る処理負担を軽減させることができる。
情報処理装置30では、設定部332は、特定部331によって特定された観察者200の両眼の視点位置を含む1つの領域Eを設定する。
これにより、情報処理装置30は、観察者200の両名の視点位置を基準として1つの領域Eを設定することができる。その結果、情報処理装置30は、光線群Lを再現する領域が1つとなるので、処理負担をより一層軽減させることができる。
情報処理装置30では、設定部332は、特定部331によって特定された視点位置の精度に基づいて、相異なる大きさの領域Eを設定する。
これにより、情報処理装置30は、相異なる大きさの領域Eを設定することで、当該領域Eに適した光線群Lを表示装置10に出射させることができる。その結果、情報処理装置30は、観察者200の頭部の向きが変化したり、移動したりしても、観察者200の焦点を調整して立体視を維持できるので、視認性の低下を抑制することができる。
情報処理装置30では、設定部332は、検出部334によって視点位置の移動が検出されている場合、視点位置が静止している場合よりも大きな領域Eを設定する。
これにより、情報処理装置30は、観察者200の視点位置の移動状態に応じた領域Eを設定し、当該領域Eに適した光線群Lを表示装置10に出射させることができる。その結果、情報処理装置30は、視点位置の移動時に領域Eから外れて立体視できなくなることを回避できるので、視認性の低下を抑制することができる。
情報処理装置30では、検出部334は、複数の観察者200の視点位置を検出し、設定部332は、複数の観察者200のそれぞれに対応した複数の領域Eを設定し、表示制御部333は、設定部332によって設定された複数の領域Eの内部からは3次元物体の立体視を可能とし、複数の領域Eの外部からは3次元物体の立体視を不可能とする光線群Lを表示装置に出射させる制御を行う。
これにより、情報処理装置30は、複数の観察者200が表示装置10を観察していると、複数の観察者200の複数の領域Eに適した光線群Lを出射させることができる。その結果、情報処理装置30は、3次元物体の光線を再現する範囲を限定できるので、全方位に光線を出射させるよりも、光線の出射に関する処理負担を軽減することができる。また、情報処理装置30は、全方位に光線を出射させる場合と同様の奥行き知覚を、複数の観察者200に提供することができる。
情報処理装置30の情報処理方法は、3次元物体が放つ光線を再現する表示装置10を制御する情報処理装置30によって実行される情報処理方法であって、表示装置10の観察者200の視点位置を特定するステップと、特定された視点位置を基準とし、観察者200による3次元物体の立体視を可能とする領域Eを設定するステップと、設定された領域Eの内部からは3次元物体の立体視を可能とし、領域Eの外部からは3次元物体の立体視を不可能とする光線群Lを表示装置10に出射させる制御を行うステップと、を含む。
これにより、情報処理方法は、観察者200の視点位置EPに対して設定した領域Eの内部に、3次元物体の立体視を可能とする交線群を情報処理装置30によって表示装置10に出射させればよくなる。その結果、情報処理方法は、3次元物体の光線を再現する範囲を限定できるので、光線の出射に関する処理負担を軽減しても、表示装置10が出射する光線によって立体的な画像を観察者200に視認させることができる。また、情報処理方法は、観察者200の視点位置を基準とした領域Eが設定可能となり、観察者200の頭部の移動に応じた領域Eを設定することで、視点位置が若干ずれても、立体的な画像を観察者200に視認させることができる。すなわち、情報処理方法は、全方位に光線を出射させる場合と同様の奥行き知覚を、限定した領域Eに表示装置10が出射した光線群によって観察者200に提供することができる。また、情報処理方法は、全方位に光線を出射可能な表示装置を用いなくても、広視域かつ広い奥行再現範囲を実現させることができる。
プログラムは、3次元物体が放つ光線を再現する表示装置10を制御する情報処理装置30に、表示装置10の観察者200の視点位置を特定するステップと、特定された視点位置を基準とし、観察者200による3次元物体の立体視を可能とする領域Eを設定するステップと、設定された領域Eの内部からは3次元物体の立体視を可能とし、領域Eの外部からは3次元物体の立体視を不可能とする光線群Lを表示装置10に出射させる制御を行うステップと、を実行させる。
これにより、プログラムは、情報処理装置30によって3次元物体の光線を再現する範囲を限定できるので、情報処理装置30による光線の出射に関する処理負担を軽減しても、表示装置10が出射する光線によって立体的な画像を観察者200に視認させることができる。また、プログラムは、情報処理装置30によって観察者200の視点位置を基準とした領域Eが設定可能となり、観察者200の頭部の移動に応じた領域Eを設定することで、視点位置が若干ずれても、立体的な画像を観察者200に視認させることができる。すなわち、プログラムは、全方位に光線を出射させる場合と同様の奥行き知覚を、限定した領域Eに表示装置10が出射した光線群によって観察者200に提供することができる。また、プログラムは、全方位に光線を出射可能な表示装置を用いなくても、広視域かつ広い奥行再現範囲を実現させることができる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
3次元物体が放つ光線を再現する表示装置の観察者の視点位置を特定する特定部と、
前記特定部によって特定された前記視点位置を基準とし、前記観察者による前記3次元物体の立体視を可能とする領域を設定する設定部と、
前記設定部によって設定された前記領域の内部からは前記3次元物体の立体視を可能とし、前記領域の外部からは前記3次元物体の立体視を不可能とする光線群を前記表示装置に出射させる制御を行う表示制御部と、
を備える情報処理装置。
(2)
前記表示制御部は、前記表示装置が前記領域の内部を前記観察者に向かって通過する前記光線群を出射するための画素値を算出し、当該画素値に基づいて前記表示装置を制御する
前記(1)に記載の情報処理装置。
(3)
前記観察者の視点位置の移動を検出する検出部をさらに備え、
前記設定部は、前記検出部によって前記視点位置の移動を検出すると、移動後の前記視点位置を基準として前記領域を設定し、
前記表示制御部は、移動後の前記視点位置に応じた前記領域が前記設定部によって設定されると、当該領域の内部からの前記3次元物体の立体視を可能とする前記光線群を前記表示装置に出射させる制御を行う
前記(1)または(2)に記載の情報処理装置。
(4)
前記設定部は、前記検出部によって前記領域の内部から外部への前記視点位置の移動を検出すると、移動後の前記視点位置を基準として前記領域を設定する
前記(3)に記載の情報処理装置。
(5)
前記表示制御部は、前記視点位置の移動に応じた前記領域が前記設定部によって設定されると、当該領域を通過する現状の前記光線群と前記3次元物体を再現したい仮想光線群とを比較し、比較結果を前記表示装置から出射させる前記光線群に反映させる
前記(3)または(4)に記載の情報処理装置。
(6)
前記表示制御部は、前記表示装置から前記領域を通過する現状の前記光線群を算出し、算出した現状の前記光線群と前記仮想光線群との誤差が変更条件を満たす場合、当該誤差を小さくするように、前記表示装置から出射する前記光線群を変更させる
前記(5)に記載の情報処理装置。
(7)
前記設定部は、前記特定部によって特定された前記観察者の両眼の前記視点位置を含む1つの前記領域を設定する
前記(1)から(6)のいずれかに記載の情報処理装置。
(8)
前記設定部は、前記特定部によって特定された前記視点位置の精度に基づいて、相異なる大きさの前記領域を設定する
前記(1)から(7)のいずれかに記載の情報処理装置。
(9)
前記設定部は、前記検出部によって前記視点位置の移動が検出されている場合、前記視点位置が静止している場合よりも大きな前記領域を設定する
前記(3)に記載の情報処理装置。
(10)
前記検出部は、複数の前記観察者の前記視点位置を検出し、
前記設定部は、複数の前記観察者のそれぞれに対応した複数の前記領域を設定し、
前記表示制御部は、前記設定部によって設定された複数の前記領域の内部からは前記3次元物体の立体視を可能とし、複数の前記領域の外部からは前記3次元物体の立体視を不可能とする光線群を前記表示装置に出射させる制御を行う
前記(3)に記載の情報処理装置。
(11)
3次元物体が放つ光線を再現する表示装置を制御する情報処理装置によって実行される情報処理方法であって、
前記表示装置の観察者の視点位置を特定するステップと、
特定された前記視点位置を基準とし、前記観察者による前記3次元物体の立体視を可能とする領域を設定するステップと、
設定された前記領域の内部からは前記3次元物体の立体視を可能とし、前記領域の外部からは前記3次元物体の立体視を不可能とする光線群を前記表示装置に出射させる制御を行うステップと、
を含む情報処理方法。
(12)
3次元物体が放つ光線を再現する表示装置を制御する情報処理装置に、
前記表示装置の観察者の視点位置を特定するステップと、
特定された前記視点位置を基準とし、前記観察者による前記3次元物体の立体視を可能とする領域を設定するステップと、
設定された前記領域の内部からは前記3次元物体の立体視を可能とし、前記領域の外部からは前記3次元物体の立体視を不可能とする光線群を前記表示装置に出射させる制御を行うステップと、
を実行させるプログラム。
(13)
3次元物体が放つ光線を再現する表示装置と、
前記表示装置を制御する情報処理装置と、
を備える表示システムであって、
前記情報処理装置は、
前記表示装置の観察者の視点位置を特定する特定部と、
前記特定部によって特定された前記視点位置を基準とし、前記観察者による前記3次元物体の立体視を可能とする領域を設定する設定部と、
前記設定部によって設定された前記領域の内部からは前記3次元物体の立体視を可能とし、前記領域の外部からは前記3次元物体の立体視を不可能とする光線群を前記表示装置に出射させる制御を行う表示制御部と、
を備える表示システム。
10 表示装置
11 液晶パネル
20 計測装置
30 情報処理装置
31 通信部
32 記憶部
33 制御部
200 観察者
331 特定部
332 設定部
333 表示制御部
334 検出部
E 領域
EP 視点位置
L 光線群

Claims (11)

  1. 3次元物体が放つ光線を再現する表示装置の観察者の視点位置を特定する特定部と、
    前記特定部によって特定された前記視点位置を含む立体視領域と、前記立体視領域の外部の非立体視領域を設定する設定部と、
    前記設定部によって設定された前記立体視領域前記3次元物体の立体視画像を表す光線群を出射し、前記非立体視領域に前記3次元物体の非立体視画像を表す光線群を前記表示装置に出射させる制御を行う表示制御部と、
    前記観察者の視点位置の移動を検出する検出部と、
    を備え
    前記設定部は、前記検出部によって前記視点位置の移動を検出すると、移動後の前記視点位置を基準として前記立体視領域および前記非立体視領域を再設定する、
    情報処理装置。
  2. 前記表示制御部は、前記表示装置が前記立体視領域の内部を前記観察者に向かって通過する前記光線群を出射するための画素値を算出し、当該画素値に基づいて前記表示装置を制御する
    請求項1に記載の情報処理装置。
  3. 前記設定部は、前記検出部によって前記立体視領域から前記非立体視領域への前記視点位置の移動を検出すると、移動後の前記視点位置を基準として前記立体視領域を設定する
    請求項1に記載の情報処理装置。
  4. 前記表示制御部は、前記視点位置の移動に応じた前記立体視領域が前記設定部によって設定されると、当該立体視領域を通過する現状の前記光線群を出射させる画素値と前記3次元物体を再現したい仮想光線群を出射させる画素値とを比較し、比較結果を前記表示装置から出射させる前記光線群に係る画素値に反映させる
    請求項に記載の情報処理装置。
  5. 前記表示制御部は、前記表示装置から前記立体視領域を通過する現状の前記光線群を出射させる画素値を算出し、算出した現状の前記光線群を出射させる画素値と前記仮想光線群を出射させる画素値との誤差が変更条件を満たす場合、当該誤差を小さくするように、前記表示装置から出射する前記光線群に係る画素値を変更させる
    請求項に記載の情報処理装置。
  6. 前記設定部は、前記特定部によって特定された前記観察者の両眼の前記視点位置を含む1つの前記立体視領域を設定する
    請求項1に記載の情報処理装置。
  7. 前記設定部は、前記特定部によって特定された前記視点位置の精度が低い場合、前記特定部によって特定された前記視点位置の精度が高い場合よりも大きな前記立体視領域を設定する
    請求項1に記載の情報処理装置。
  8. 前記設定部は、前記検出部によって前記視点位置の移動が検出されている場合、前記視点位置が静止している場合よりも大きな前記立体視領域を設定する
    請求項3に記載の情報処理装置。
  9. 前記検出部は、複数の前記観察者の前記視点位置を検出し、
    前記設定部は、複数の前記観察者のそれぞれに対応した複数の前記立体視領域を設定し、
    前記表示制御部は、前記設定部によって設定された複数の前記立体視領域それぞれに前記立体視画像を表す光線群を前記表示装置に出射させる制御を行う
    請求項に記載の情報処理装置。
  10. 3次元物体が放つ光線を再現する表示装置を制御する情報処理装置によって実行される情報処理方法であって、
    前記表示装置の観察者の視点位置を特定するステップと、
    特定された前記視点位置を含む立体視領域と、前記立体視領域の外部の非立体視領域を設定するステップと、
    設定された前記立体視領域前記3次元物体の立体視画像を表す光線群を出射し、前記非立体視領域に前記3次元物体の非立体視画像を表す光線群を前記表示装置に出射させる制御を行うステップと、
    前記観察者の視点位置の移動を検出するステップと、
    を含み、
    前記設定するステップは、前記検出するステップによって前記視点位置の移動を検出すると、移動後の前記視点位置を基準として前記立体視領域および前記非立体視領域を再設定する、
    情報処理方法。
  11. 3次元物体が放つ光線を再現する表示装置を制御する情報処理装置に、
    前記表示装置の観察者の視点位置を特定するステップと、
    特定された前記視点位置を含む立体視領域と、前記立体視領域の外部の非立体視領域を設定するステップと、
    設定された前記立体視領域前記3次元物体の立体視画像を表す光線群を出射し、前記非立体視領域に前記3次元物体の非立体視画像を表す光線群を前記表示装置に出射させる制御を行うステップと、
    前記観察者の視点位置の移動を検出するステップと、
    を実行させ
    前記設定するステップは、前記検出するステップによって前記視点位置の移動を検出すると、移動後の前記視点位置を基準として前記立体視領域および前記非立体視領域を再設定する、
    プログラム。
JP2021507196A 2019-03-19 2020-03-05 情報処理装置、情報処理方法及びプログラム Active JP7472899B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019050622 2019-03-19
JP2019050622 2019-03-19
PCT/JP2020/009537 WO2020189319A1 (ja) 2019-03-19 2020-03-05 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2020189319A1 JPWO2020189319A1 (ja) 2020-09-24
JP7472899B2 true JP7472899B2 (ja) 2024-04-23

Family

ID=72520894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021507196A Active JP7472899B2 (ja) 2019-03-19 2020-03-05 情報処理装置、情報処理方法及びプログラム

Country Status (4)

Country Link
US (1) US11785203B2 (ja)
JP (1) JP7472899B2 (ja)
CN (1) CN113557717A (ja)
WO (1) WO2020189319A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023007233A (ja) * 2021-07-01 2023-01-18 塁 佐藤 画像表示システム及び画像表示方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003107392A (ja) 2001-09-28 2003-04-09 Sanyo Electric Co Ltd 頭部位置追従型立体映像表示装置
JP2006126542A (ja) 2004-10-29 2006-05-18 Nippon Hoso Kyokai <Nhk> 立体画像表示装置
JP2010113160A (ja) 2008-11-06 2010-05-20 Sharp Corp 映像表示装置
JP2015504641A (ja) 2011-11-30 2015-02-12 サムスン エレクトロニクス カンパニー リミテッド サブピクセルをレンダリングする映像処理装置及び方法
JP2015524073A (ja) 2012-04-24 2015-08-20 コーニンクレッカ フィリップス エヌ ヴェ 自動立体視ディスプレイ装置及び駆動方法
JP2018085727A (ja) 2016-11-22 2018-05-31 三星電子株式会社Samsung Electronics Co.,Ltd. 3d映像レンダリング方法及び装置
JP2018133746A (ja) 2017-02-16 2018-08-23 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06148763A (ja) * 1992-11-12 1994-05-27 Hitachi Ltd 多人数観測用レンチキュラ立体表示方式
JPH07287761A (ja) * 1994-04-19 1995-10-31 Canon Inc 画像処理装置及び画像処理方法
JP3141737B2 (ja) * 1995-08-10 2001-03-05 株式会社セガ 仮想画像生成装置及びその方法
JPH10334275A (ja) * 1997-05-29 1998-12-18 Canon Inc 仮想現実方法及び装置並びに記憶媒体
JP2008146221A (ja) 2006-12-07 2008-06-26 Sony Corp 画像表示システム
JP5242762B2 (ja) * 2011-11-30 2013-07-24 株式会社東芝 画像再生装置、画像再生方法及びデータ構造
JP5649558B2 (ja) * 2011-12-13 2015-01-07 株式会社ジャパンディスプレイ 液晶表示装置およびその駆動方法、並びに電子機器
JP6443654B2 (ja) * 2013-09-26 2018-12-26 Tianma Japan株式会社 立体画像表示装置、端末装置、立体画像表示方法、及びそのプログラム
US9712810B2 (en) * 2015-06-03 2017-07-18 Disney Enterprises, Inc. Tracked automultiscopic 3D tabletop display

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003107392A (ja) 2001-09-28 2003-04-09 Sanyo Electric Co Ltd 頭部位置追従型立体映像表示装置
JP2006126542A (ja) 2004-10-29 2006-05-18 Nippon Hoso Kyokai <Nhk> 立体画像表示装置
JP2010113160A (ja) 2008-11-06 2010-05-20 Sharp Corp 映像表示装置
JP2015504641A (ja) 2011-11-30 2015-02-12 サムスン エレクトロニクス カンパニー リミテッド サブピクセルをレンダリングする映像処理装置及び方法
JP2015524073A (ja) 2012-04-24 2015-08-20 コーニンクレッカ フィリップス エヌ ヴェ 自動立体視ディスプレイ装置及び駆動方法
JP2018085727A (ja) 2016-11-22 2018-05-31 三星電子株式会社Samsung Electronics Co.,Ltd. 3d映像レンダリング方法及び装置
JP2018133746A (ja) 2017-02-16 2018-08-23 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US20220217324A1 (en) 2022-07-07
WO2020189319A1 (ja) 2020-09-24
US11785203B2 (en) 2023-10-10
JPWO2020189319A1 (ja) 2020-09-24
CN113557717A (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
EP3000020B1 (en) Hologram anchoring and dynamic positioning
JP6747504B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US10955665B2 (en) Concurrent optimal viewing of virtual objects
US11188149B2 (en) Image display device using retinal scanning display unit and method thereof
US10187635B2 (en) Method and system for displaying three-dimensional objects
JP5396536B2 (ja) マルチプロジェクタシステム及び方法
JP5268271B2 (ja) 画像表示装置および画像表示方法
US11663689B2 (en) Foveated rendering using eye motion
US20130326364A1 (en) Position relative hologram interactions
US20140372957A1 (en) Multi-step virtual object selection
JP2018511098A (ja) 複合現実システム
CN105432078A (zh) 双目注视成像方法和设备
US20210368152A1 (en) Information processing apparatus, information processing method, and program
US20210377515A1 (en) Information processing device, information processing method, and program
US11749141B2 (en) Information processing apparatus, information processing method, and recording medium
US20230367262A1 (en) System and method for holographic image display
JP7472899B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20180158242A1 (en) Information processing method and program for executing the information processing method on computer
JP3325323B2 (ja) 表示装置
WO2021132298A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20210243427A1 (en) Compensation for observer movement in robotic surgical systems having stereoscopic displays
JP2010224207A (ja) 視覚刺激付与装置、及び生体情報計測システム
US10999567B2 (en) Image generating apparatus and image generating method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240325

R150 Certificate of patent or registration of utility model

Ref document number: 7472899

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150