JP2024054137A - 画像表示システム - Google Patents
画像表示システム Download PDFInfo
- Publication number
- JP2024054137A JP2024054137A JP2024005462A JP2024005462A JP2024054137A JP 2024054137 A JP2024054137 A JP 2024054137A JP 2024005462 A JP2024005462 A JP 2024005462A JP 2024005462 A JP2024005462 A JP 2024005462A JP 2024054137 A JP2024054137 A JP 2024054137A
- Authority
- JP
- Japan
- Prior art keywords
- user
- image
- space
- display
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 130
- 238000012545 processing Methods 0.000 claims abstract description 88
- 238000000034 method Methods 0.000 claims description 61
- 230000009466 transformation Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 210000003128 head Anatomy 0.000 description 27
- 238000004364 calculation method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000009434 installation Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 201000009482 yaws Diseases 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
Abstract
【課題】ディスプレイに対するユーザの位置および姿勢を高い精度で特定し、その位置から見える仮想空間の画像を表示する画像表示システムを提供する。【解決手段】画像表示システムにおいて、ユーザ空間撮像部は、ユーザが存在しうる画面より前方のユーザ空間画像を取得する。記憶部は、基準座標空間における画面の位置、姿勢および形状を示す画面配置データと、基準座標空間におけるユーザ空間撮像部の位置および姿勢を示す撮像部配置データと、基準座標空間上の三次元オブジェクトを表す三次元データと、を保持する。処理部は、撮像部配置データとユーザ空間画像とに基づいてユーザ視点位置を特定し、ユーザ視点位置と画面配置データと三次元データに基づいて、ユーザ視点位置から画面を介して仮想空間上の三次元オブジェクトを見たときのような見え方となる三次元オブジェクトの表示画像を生成し、ディスプレイの画面に表示させる。【選択図】図1
Description
本発明は、ユーザの位置から仮想的な三次元空間上の三次元オブジェクトを見たときに見える画像をディスプレイに表示する技術に関する。
特許文献1には、仮想物体が人間の目の位置から見える形状となる画像をフラットパネルディスプレイに表示する技術が開示されている。特許文献1による3次元画像表示装置は、画像を表示するディスプレイと、このディスプレイを見る人間の目の位置を測定する位置計測器と、この位置計測器から与えられる人間の目の位置を示す情報を用いて、前記ディスプレイに表示する画像が前記見る人間の目の位置の方向から見たような形状となる3次元画像を計算により求め、前記ディスプレイ上に表示させる処理手段を備える。
実際には存在しない仮想空間上の三次元オブジェクトをユーザの視点から見たときに、その位置に存在しているかのように見えるように、当該オブジェクトを疑似的に投影した画像をディスプレイに表示すれば、ユーザにディスプレイによる疑似的な窓を通して、ディスプレイの奥に存在する仮想空間上の三次元オブジェクトを見ているように錯覚させることができる。この技術を用いれば、ディスプレイを用いた仮想現実体験装置もしくは拡張現実体験装置として様々な体験をユーザに供することができる。一例として、このディスプレイをホテル、住宅、オフィス等の窓のない壁に自由に設け、疑似的な窓として室内景観を向上させることができる。
仮想現実体験や拡張現実体験ではディスプレイに表示される画像が自然で実際の視界に近いものであることが重要である。ホテル、住宅、あるいはオフィスにおけるインテリアの用途では、疑似的な窓に表示させる画像が不自然であればユーザを錯覚させる度合いが小さくなるために室内景観を向上させることができない可能性がある。例えば、ユーザの視点の位置を正しく検出できなかったり、ユーザの視点の位置から見えるような画像を正しく生成できなかったりすれば、ユーザの視点に合わせた投影画像を表示できなくなり、ディスプレイに表示される画像はユーザにとって不自然なものとなる。
しかしながら、上述した特許文献1では、ディスプレイとユーザとの相対的な位置や姿勢を高い精度で特定することが考慮されていなかった。そのためディスプレイに対するユーザの位置および姿勢を正しく特定できず、ユーザの位置から見える画像を正しくディスプレイに表示されることができない可能性があった。
本発明の目的は、ディスプレイに対するユーザの位置および姿勢を高い精度で特定し、その位置から見える仮想空間の画像をディスプレイに表示する技術を提供することである。
本発明のひとつの態様による画像表示システムは、画像を表示可能な画面を有するディスプレイと、ディスプレイの画面に表示される画像を見るユーザが存在しうる画面より前方のユーザ空間を撮像し、ユーザ空間画像を取得するユーザ空間撮像部と、所定の基準座標空間における画面の位置、姿勢および形状を示す画面配置データと、基準座標空間における前記ユーザ空間撮像部の位置および姿勢を示す撮像部配置データと、前記基準座標空間上の三次元オブジェクトを表す三次元データと、を保持する記憶部と、撮像部配置データとユーザ空間撮像部で取得されるユーザ空間画像とに基づいて、基準座標空間上のユーザ視点位置を特定し、そのユーザ視点位置と画面配置データと三次元データに基づいて、ユーザ視点位置から画面を通して仮想空間上の三次元オブジェクトを見たときのような見え方となる三次元オブジェクトの表示画像を生成し、その表示画像をディスプレイに表示させる、処理部と、を有する。
本発明によれば、ディスプレイの画面配置データと、ユーザ空間撮像部の撮像部配置データと、仮想空間の三次元データとを同一の基準座標空間に設定して演算を行うので、ディスプレイに対するユーザの位置を高い精度で特定し、その位置から見える確からしさの高い仮想空間の画像をディスプレイに表示することができる。
以下、本発明の実施例について図面を参照して説明する。
図1は、実施例1による画像表示システムのブロック図である。図2は、実施例1による画像表示システムの概略外観図である。
図1を参照すると、画像表示システム10は、ディスプレイ11、2つのユーザ空間撮像部12-1、12-2、記憶部13、および処理部14を有している。ユーザ空間撮像部12-1とユーザ空間撮像部12-2は同じものである。以下の説明では、ユーザ空間撮像部12-1、12-2の両方あるいはいずれかを指して単にユーザ空間撮像部12と称する場合がある。
ディスプレイ11は、画像を表示可能な画面111を有する出力表示装置である。表示方式は特に限定されないが、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイ、FED(電界放出ディスプレイ)であってもよい。あるいは、ディスプレイ11は画像をスクリーンに投影する表示装置であってもよい。その場合、スクリーンが画面111となる。
ユーザ空間撮像部12は、ディスプレイ11の画面111に表示される画像を見るユーザ90が存在しうる画面111より前方にあるユーザ空間を撮像し、ユーザ空間画像を取得する。
本画面表示システム10の利用方法は特に限定されないが、ディスプレイ11の面画面111を疑似的な窓として室内景観を向上させる用途に加え、ゲームセンターやテーマパークなどの娯楽施設や家庭における据え置き型娯楽装置においてユーザに仮想現実や拡張現実を体験する装置としての用途、美術品や広告として屋内外に展示される目を引くオブジェクトとしての用途などが想定される。本画像表示システム10によるディスプレイ11は仮想現実や拡張現実の技術における表示装置として使用でき、HMD(ヘッド・マウント・ディスプレイ)と同様にユーザにリアリティのある仮想現実や拡張現実を体験させることができ、かつユーザが頭に機器を装着するという煩わしさがない。
本画像表示システム10の設置場所は特に限定されないが、例えば、ホテル、オフィス、住宅などの室内で用いる場合、ホテルの宿泊客、オフィスで働くオフィスワーカー、住宅の住人などがユーザ90であり、ディスプレイ11が設置される部屋の中がユーザ空間である。娯楽施設などで利用する場合、体験者がユーザ90であり、利用される空間であり体験者が動ける範囲(この場合には着座や仰向け、うつ伏せなど様々な体勢を取る状況も含まれる)がユーザ空間である。
記憶部13は、揮発性メモリと不揮発性メモリのいずれかあるいはそれら両方である。記憶部13は、所定の基準座標空間における画面111の位置、姿勢および形状を示す画面配置データと、基準座標空間におけるユーザ空間撮像部12-1、12-2の位置および姿勢を示す撮像部配置データと、基準座標空間上の仮想的な三次元オブジェクトが表現された三次元データとを保持する。基準座標空間は、本実施形態における演算の基準となる所定の原点Oを有する座標系(基準座標系)で表される空間である。
基準座標空間およびその原点Oはどのように設定してもよい。例えば、基準座標空間を画面111に対して固定してもよいし、ユーザ空間撮像部12に対して固定しても良いし、画面111およびユーザ空間撮像部12の両方に固定してもよいし、どちらにも固定しなくてもよい。
図2の例では、基準座標空間は、xyzの3軸を有する直交座標系の空間である。ユーザ空間撮像部12の位置(xs,ys,zs)および姿勢(Yaws,Pitchs,Rolls)と、画面111の位置(xm,ym,zm)、姿勢(Yawm,Pitchm,Rollm)および形状(Heightm,Widthm)と、はこの基準座標空間上に設定される。なお、ここでは一例として画面111は長方形であり、その形状は高さと幅とで表現されている。
また、本実施例では一例として、基準空間上のユーザ90の頭部の中央の位置(xh,yh,zh)をユーザ視点位置とする。ユーザ視点位置は、ユーザ90の視点の位置あるいはユーザ90の視点とみなすことができる点の位置であればよい。本実施形態の例に限定されない。他の例として、ユーザ90の両目の中央をユーザ視点位置としてもよい。また、顔認識処理や人物認識処理により認識された顔の領域の中央、あるいは認識された両目の中央をユーザ視点位置としてもよい。
また、本実施例では一例として、ユーザ空間撮像部12のレンズ中央をユーザ空間撮像部12の位置(xs,ys,zs)としている。また、ここでは一例として、画面111の中央を画面111の位置(xm,ym,zm)としている。
処理部14は、記憶部13に記録されているデータを用いて所定の処理を実行する装置であり、例えば、ソフトウェアプログラムに従って処理を実行するプロセッサである。処理部14は、撮像部配置データと2つのユーザ空間撮像部12-1、12-2で取得される画像とに基づいて、基準座標空間上のユーザ視点位置を特定する。さらに、処理部14は、ユーザ視点位置と画面配置データと三次元データとに基づき、ユーザ視点位置から画面111を通して仮想空間上の三次元オブジェクトを見たときのような見え方となる三次元オブジェクトの表示画像を生成し、その表示画像をディスプレイ11に表示させる。これにより、ディスプレイ11の表示画像は、ユーザ90からは、仮想空間上に三次元オブジェクトがあたかも存在するかのように見えるようになる。
なお、ユーザ視点位置を特定するとき、処理部14は、例えば、2つのユーザ空間撮像部12-1、12-2で同時刻に取得されるユーザ空間画像のそれぞれから人間(ユーザ90)を特定し、ユーザ空間画像におけるユーザ90の頭部が写っている位置を特定し、撮像部配置データと2つのユーザ空間画像におけるユーザ90に頭部の視差とに基づいて、ユーザ空間撮像部12-1、12-2からユーザ90の頭部までの距離を算出することにしてもよい。三角測量の原理を用いて簡易な構成で正確なユーザ視点位置を特定することができる。
ただし、ユーザ視点位置を特定する構成および方法はここで示したステレオセンサによるものに限定されず、どのような方式のものでも採用できる。他の例として、ユーザ空間撮像部12が多数のドットを有するドットパターンの赤外線レーザを照射し、撮像される画像における各赤外線レーザが当たった部分の画像から、各赤外線レーザが当たった部分のユーザ空間撮像部12からの距離を算出するという方式を用いてもよい。赤外線レーザおよび/またはそのドットパターンは所定の拡がり角度を有しており、赤外線レーザのドットが当たった部分では、ユーザ空間撮像部12から遠いほどドットの大きさおよび/またはドットの間隔が大きくなる。このドットの大きさおよび/またはドットの間隔から、ユーザ空間撮像部12から赤外線レーザが当たっている部分までの距離を算出することができる。
更に他の例として、ユーザ空間撮像部12が変調した赤外線光を照射し、物体で反射して戻ってきた赤外線光をピクセル毎のアレイセンサに投影し、ピクセル毎に照射した赤外線光と受光した赤外線光の位相差から、赤外線レーザを反射した物体のユーザ空間撮像部12からの距離を算出するという方式を用いてもよい。更に他の例として、単眼の撮像装置で撮像された画像から画像内の物体の奥行を算出する技術もあり、その技術をユーザ空間撮像部12に採用してもよい。更に他の例として、ユーザ自身もしくはユーザが把持したり装着している物体に、センサーが検出しやすい所定の形状および/またはサイズを有する物理的なマーカー、あるいは赤外線LEDなど所定の光を発する発光体のマーカーを取り付け、そのマーカーの位置からユーザ視点位置を特定する方法もあり、その技術をユーザ空間撮像部12に採用してもよい。
本実施例によるディスプレイ11とユーザ空間撮像部12は図2に例示したようにそれぞれ別個の筐体を有する装置として構成してもよいし、1つの筐体により一体的に構成しても良い。
ディスプレイ11とユーザ空間撮像部12とを別個の装置として構成する場合には、各装置に処理部を設け、上述した処理部14が持つ機能を各装置の処理部にて分担してもよい。その場合、ディスプレイ11の装置内の処理部と、ユーザ空間撮像部12の装置内の処理部とは、有線または無線で通信を行う。
図3は、実施例1による画像表示システムがユーザ視点位置に応じた画像を表示する様子を説明するための図である。ディスプレイ11の画面111の前方のユーザ空間は実空間である。画面111の後方に定義された仮想空間は、画面111による疑似的な窓(以下「疑似窓」ともいう)を通してユーザ90の頭部のある位置91から見える画像として画面111に表示される。仮想空間上の三次元オブジェクトは三次元データにより定義される。図3の例では、三次元オブジェクトとして6本の木が横に並んで配置されている。なお、ここでは、図3上では説明のために画面111の後方に仮想空間を定義しているが、画面111の前方に仮想空間を定義してもよいし、画面111の前方および後方を含む空間を仮想空間として定義してもよい。これにより、仮想空間の三次元オブジェクトが画面111による仮想的な窓の向こうにあるように見える画像だけでなく、仮想空間の三次元オブジェクトが画面111から手前に突き出して見える画像をも画面111に表示することができる。
ユーザ90が画面111の近傍正面の位置91Aにいるとき、画面111による疑似窓から見える仮想空間の視野92Aは広く、6本の木が全て視野92Aに入っているように画面111に表示される(表示93A)。ユーザ90が位置91Aからz方向に移動し、画面111から離れた位置91Bに来ると、画面111による疑似窓から見える仮想空間の視野92Bは狭くなり、視野92Bには3本の木の全体とその両側の木の一部が入るのみのように表示される(表示93B)。また、ユーザ90が位置91Aから-x(マイナスx)方向に移動し、位置91Cにくると、画面111による疑似窓から見える仮想空間の視野92Cはx方向に変化する。視野92Cには右端の3本の木が入るのみである。加えて視野92Cでは画面111に対して正面ではなく斜め方向から画面を見ているが、疑似窓から見える木の横方向の太さは正面から見たときと同じ太さになっている必要がある(表示93C’)。このために画面111に木を表示させる際にはユーザからは93C’のように見えるように適切に伸縮処理を行った画像を表示させる(表示93C)。このように、ユーザ90にとって仮想空間上の三次元オブジェクトがそこに存在するかのように錯覚させるべく確からしく自然な画像に見えるような処理として、本実施形態では、ディスプレイ11の画面111に表示する画像を生成するとき、三次元データに定義された仮想空間における三次元オブジェクトをディスプレイ11の画面111、すなわち二次元の面に投影させるような処理(射影変換)を行う。他の方法として、基準座標空間において三次元データの各点をその各点とユーザ視点位置とを結ぶ直線が画面111と交わる点に投影してもよい。また、ディスプレイ11の画面111に表示する画像を生成する他の処理方法として、経験則に従った特定の行列や数値の四則演算処理を、画像や画像がもつ三次元パラメータに対して行うことにしてもよい。
ユーザ空間撮像部12の画角は110°以上であることが好ましい。本実施例では一例としてユーザ空間撮像部12の画角が110°であるものとする。以下、ユーザ空間撮像部12の画角が110°以上が好ましいことの意義について説明する。
図4は、実施例1による画像表示システムにおけるユーザ空間撮像部の画角について説明するための図である。図4は、部屋の中の画像表示システム10のディスプレイ11とユーザ90を上から見た図である。説明を容易にするために図4にはユーザ空間撮像部12が1つ示されている。
ここでは、横幅60cmのディスプレイ11による疑似窓のある個室でユーザ90が仕事や勉強などの作業をしているという状況が想定される。ユーザ90は壁の近くで壁と平行な方向を向いている。60cmというディスプレイ11の横幅は仕事や勉強をするための机の奥行や家庭で用いられる一般的な収納家具の幅と馴染みやすいサイズであり、疑似窓の横幅として1つの好適なサイズである。また、据え置き型の仮想体験装置としての用途を想定した際に、ユーザを取り囲むようにディスプレイを配置する状況が想定されるが、このときのユーザとユーザのすぐ隣に配置されるディスプレイとの相対位置関係としても図4のようになることが想定される。例えば、3つのディスプレイをユーザの前方と右側と左側にコの字に並べて配置する状況では、ユーザと右側および左側のディスプレイとの相対関係は図4のようになることが想定される。
ディスプレイ11の正面(ディスプレイ11の前方におけるディスプレイ11の横幅の範囲内)にユーザ90の頭部がある場合、ユーザ90は画面111と平行に向いていてもディスプレイ11による疑似窓を明確に意識するので、ディスプレイ11の画像はユーザ90の視点の位置から見える仮想空間の自然な画像となっていることが好ましい。
図4を参照すると、ディスプレイ11の端部と一致する位置にユーザ90の体があり、ユーザ90はディスプレイ11と平行な方向を向いている。この状態でも画像表示システム10はユーザ90のユーザ視点位置を検出できることが求められる。
人間の肩幅を40cmとし、ユーザ空間撮像部12がディスプレイ11の幅方向の中央に配置したとし、かつユーザがこの位置から座面を後ろずらすなどしてユーザ視点位置が後ろ方向に移動したとしても検出できるようにするためには、図4に示すように、ユーザ空間撮像部12は画角が110°以上であればよいことになる。
以上説明したように、本実施例によれば、110°以上の画角で画面111の前方のユーザ空間を撮像し、得られたユーザ空間画像からユーザ視点位置を算出するので、ユーザ空間の広い範囲でユーザ視点位置を認識し、広い測定範囲のユーザから見える疑似的な窓上の画像を表示することができる。
また、本実施例によれば、画面111の横幅が机の奥行や収納家具の幅と馴染みやすい60cmまでのディスプレイ11を用いた場合、110°以上の画角があれば、人間の一般的な肩幅40cmを考慮した場合にユーザ90の頭が存在しうる範囲内でユーザ視点位置を検出することができる。これにより、ディスプレイ11で60cm程度までの窓を良好に疑似することができる。
また、本実施例によれば、画面111とユーザ空間撮像部12を同一の基準座標空間上に配置してその基準座標空間上でユーザ視点位置と表示画像を算出するので、ユーザ空間撮像部12とディスプレイ11の相対的な位置または姿勢あるいはその両方が異なるシステムに容易に共通設計を適用できる。例えば、ユーザ空間撮像部12とディスプレイ11が別個の装置であり、それぞれを配置する位置を自由に選択できるタイプのシステムだけでなく、ユーザ空間撮像部12とディスプレイ11が一体的に構成され相対的な位置および姿勢が固定されているシステムについても、画面サイズや形状が異なる複数のタイプがあれば、ユーザ空間撮像部12とディスプレイ11の相対的な位置や姿勢はタイプ毎に異なる。それら異なるタイプに共通設計を適用することができる。
また、同じ部屋に複数のディスプレイ11を用いる場合にそれらのディスプレイ11をどのような位置および角度に設置しても、複数のディスプレイ11の画面111を同一の基準座標空間上に配置してその基準座標空間上で画面111への表示画像を共通の演算方法で算出することができる。また、同じ部屋の複数のディスプレイ11の画像を高い精度で連続させることができる。このことは、ホテル、住宅、オフィス等の室内景観の向上において高い視覚効果を発揮する。
本実施例では、ユーザ空間撮像部12の画角が110°以上であり、画面111の幅が60cm以下であり、ユーザ空間撮像部12の撮像方向を画面111に垂直に向けている。しかし、ユーザ空間撮像部12の画角が110°以上あれば、他の条件のシステムでも良好にユーザ視点位置を検知できるようにすることができる。例えば、画角110°以上あれば、画面の幅が100cm程度まで十分に実用可能なものとなる。また、ディスプレイ11に対するユーザ空間撮像部12の相対位置、ディスプレイ11やユーザ空間撮像部12の想定される設置場所などを考慮して、ユーザ空間撮像部12の撮像方向を画面111に対して垂直な方向から上下左右に適切にずらした方向に設定することで、より良い結果を得ることも可能である。つまり、ユーザ空間のより広い範囲でユーザ視点位置を検出可能にできる。
また、本実施例では、処理部14は、時系列のユーザ空間画像からユーザ90が行った所定のジェスチャを検出し、ジェスチャに対応する所定の処理を実行する。ユーザ空間撮像部12が広い画角でユーザ空間画像を取得し、処理部14がユーザ空間画像から所定のジェスチャを検出し、そのジェスチャに対応する所定の処理を実行するので、実用範囲にいるユーザ90によるジェスチャ操作で操作用のリモートコントローラがなくても所望の操作を行うことができる。
以下、画像表示システム10の動作について詳しく説明する。
図5は、実施例1において記憶部に記録されるデータを示す図である。図5を参照すると、記憶部13には、画面位置データ21、画面姿勢データ22、画面形状データ23、撮像位置データ24、撮像姿勢データ25、三次元データ26、ユーザ視点位置データ27、および表示画像データ28が記録されている。上述した画面配置データはここでいう画面位置データ21と画面姿勢データ22と画面形状データ23を含むものである。上述した撮像部配置データはここでいう撮像位置データ24と撮像姿勢データ25を含むものである。
画面位置データ21は、画面111の位置(xm,ym,zm)を表すデータである。画面111の位置(xm,ym,zm)はディスプレイ11の設置時に確定し、設定されてもよいし、ディスプレイ11が設置後に自由に移動し記憶部13に記録される位置情報の数値が移動に応じて常に更新される形にしてもよい。複数のディスプレイ11を用いる場合には、それぞれの位置(xm,ym,zm)が設定される。
画面姿勢データ22は、画面111の姿勢(Yawm,Pitchm,Rollm)を表すデータである。画面111の姿勢(Yawm,Pitchm,Rollm)はディスプレイ11の設置時に確定し、設定してもよいし、ディスプレイ11の設置条件とともに設計時あるいは出荷時に予め固定値として設定しておいてもよい。例えば、ディスプレイ11を水平にして壁面に固定するという設置条件にし、その設置条件に従って設置したときの姿勢(Yawm,Pitchm,Rollm)を予め設定しておいてもよい。また、ディスプレイ11が設置後に自由に回転し記憶部13に記録される姿勢情報の数値が回転に応じて常に更新される形にしてもよい。複数のディスプレイ11を用いる場合にはそれぞれの姿勢(Yawm,Pitchm,Rollm)が設定される。
画面形状データ23は、画面111の形状(Heightm,Widthm)を表すデータである。画面111の形状(Heightm,Widthm)は、設計時あるいは出荷時に予めディスプレイ11の固定値を設定しておいてもよいし、ディスプレイ11が設置後に自由に変形し記憶部13に記録される形状情報の数値が変形に応じて常に更新される形にしてもよい。複数のディスプレイ11を用いる場合には、それぞれの形状(Heightm,Widthm)が設定される。なお、画面111の形状としては長方形を想定し、Heightmは高さ方向の長さ、Widthmは幅方向の長さの数値であるが、画面111の形状は長方形に限定されない。例えば画面111を二等辺三角形として、その形状を下底の長さと高さとで表現してもよい。また、画面111を台形として、その形状を上底と下底と高さで表現してもよい。また、画面111として曲面の画面を用いることも可能である。長方形の平面が特定の曲率で曲がっている形状の画面であれば、その形状を長方形の高さおよび幅と曲率もしくは半径とで表現することができる。同様に、球、長球、扁球、回転体など様々な形状の画面をそれぞれの形状を特徴づけるパラメータで表現してもよい。ここに例示したものを含むどのような画面であってもその形状を基準座標空間上に定義し、表示する画像を算出することができる。
撮像位置データ24は、上述したユーザ空間撮像部12-1、12-2のそれぞれの位置(xs,ys,zs)を表すデータである。撮像位置データ23の位置(xs,ys,zs)はユーザ空間撮像部12の設置時に確定し、設定される。
撮像姿勢データ25は、上述したユーザ空間撮像部12-1、12-2の姿勢(Yaws,Pitchs,Rolls)を表すデータである。撮像姿勢データ24の姿勢(Yaws,Pitchs,Rolls)はユーザ空間撮像部12の設置時に確定し、設定されてもよいし、ユーザ空間撮像部12の設置条件とともに定め予め固定値として設定しておいてもよい。
三次元データ26は、ディスプレイ11に表示する画像を生成する元になる三次元データであり、図3に例示したような仮想空間にある三次元オブジェクトを表現する三次元データである。ここでいう三次元データは、三次元空間上の三次元オブジェクトを表現するデータであればよく、特に具体的手法は限定されない。コンピュータグラフィックにより作成された立体情報を持つデータとしてもよいし、厚みのない平面の三次元オブジェクトに実写の静止画像や動画像が貼り付けられたデータであってもよい。視野が180°もしくはそれに近い広視野角のレンズを用いたカメラまたは360°撮影カメラ等を用いて撮影された静止画像もしくは動画像が厚みの無い球面のオブジェクトの表面に貼り付けられたデータであってもよい。
ユーザ視点位置データ27は、上述したユーザ視点位置を表すデータである。ユーザ視点位置は、処理部14により繰り返し更新されるので、ユーザ視点位置データ27もその度に更新される。例えば、ディスプレイ11のフレームレートを30fpsとし、それと同じ周期でユーザ視点位置を更新することとすれば、ユーザ視点位置データ27は1秒間に30回更新されることになる。ユーザ視点位置データ27には、時系列のユーザ視点位置のデータが蓄積される。
表示画像データ28は、上述した、ユーザ視点位置から画面111による疑似窓の向こうの空間に三次元オブジェクトがあるように見えるように三次元データを投影した画像のデータであり、画面111に表示される画像のデータである。ディスプレイ11が複数ある場合には、それぞれのディスプレイ11の画面111に表示するデータが表示画像データ27として記録される。画面111に表示される画像のデータは、処理部14により繰り返し更新されるので、表示画像データ28もその度に更新される。例えば、ディスプレイ11のフレームレートを30fpsとすれば、表示画像データ28は1秒間に30回更新されることになる。
図6は、実施例1による画像表示システムの全体処理のフローチャートである。図6の各処理は処理部14により実行される。処理部14が図6の処理を周期的に繰り返すことにより、ディスプレイ11に表示される画像が時間経過とともに変化し、ユーザ90に動画として認識される。例えば、ディスプレイ11に表示する画像のフレームレートが30fpsだとすると、処理部14は図6に示す処理を1秒間に30回繰り返すことになる。
図6を参照すると、処理部14は、まず、視点位置算出処理を実行する(ステップS101)。視点位置算出処理は、上述したユーザ視点位置を算出し、ユーザ視点位置データ26として記憶部13に記録する処理である。視点位置算出処理の詳細は図7を用いて後述する。
次に、処理部14は、画像生成処理を実行する(ステップS102)。画像生成処理は、記憶部13に記録されたユーザ視点位置データ26が示すユーザ視点位置から画面111を通して見える三次元オブジェクトの画像を生成し、そのデータを記憶部13に記録する処理である。ディスプレイ11が複数ある場合には、処理部14は、それぞれのディスプレイ11の画面111に表示する画像を生成し、それらのデータを表示画像データ27に記録する。
次に、処理部14は画像表示処理を実行する(ステップS103)。画像表示処理は、記憶部13に記録された表示画像データ27に基づいて、画面111を通して見える三次元オブジェクトの画像をディスプレイ11に表示させる処理である。ディスプレイ11が複数ある場合には、処理部14は、それぞれのディスプレイ11の画面111を通して見える三次元オブジェクトの画像のデータをそれぞれのディスプレイ11に表示させる。
例えば、図2に示したように、ディスプレイ11と、ユーザ空間撮像部12-1、12-2を有するステレオセンサと、を別個の装置として構成する場合、ステップS101はステレオセンサの処理部が分担し、ステップS102、S103はディスプレイ11を構成する装置の処理部が分担してもよい。
本実施例による処理部14は、三次元データ25に射影変換を適用することにより、ユーザ視点位置から画面111を通して見える三次元オブジェクトの表示画像を生成することにしてもよい。射影変換により、三次元データ25の三次元オブジェクトを画面に対してユーザ視点位置を考慮して数学的に投影するので、ユーザ90が画面111を斜め方向から見たときにも三次元オブジェクトが確からしい自然な画像として表示される。
また、処理部14は、ユーザ空間撮像部12により得られた現在までの時系列のユーザ空間画像、もしくは、ユーザ視点位置、もしくはその両方に基づいて、ユーザ視点位置に含まれるノイズを除去する処理を行うことにしてもよい。撮影した最も直近のユーザ空間画像をそのままで画像処理した結果を用いてユーザ視点位置を算出し、そのユーザ視点位置から見える三次元オブジェクトの画像を生成すると、その時点のみに発生した様々なノイズ要素により、ユーザ視点位置が突如大きくずれた位置と算出され、結果としてコマ毎に表示画像がぶれる可能性がある。本構成によれば、過去のユーザ空間画像やユーザ視点位置に基づいてユーザ視点位置のノイズを除去してから、現在のユーザ視点位置を確定するので、表示画像のぶれを抑制することができる。ノイズを除去する方法としては、過去のユーザ空間画像のデータに基づいてノイズ判定を行い、判定結果に基づいて現在の空間画像のノイズ除去を行う方法がある。また、過去のユーザ視点位置のデータと現在のユーザ視点位置のデータに基づいてカルマンフィルタを用いて現在のユーザ視点位置を更新(あるいは修正)するという方法がある。
図7は、実施例1による画像表示システムによる視点位置算出処理のフローチャートである。
図7を参照すると、処理部14はまず画像中の特徴量探索を実行する(ステップS201)。特徴量探索は、ユーザ空間撮像部12-1もしくは12-2のいずれかの画像内から人間(ユーザ90)の頭部を検出する。画像から人間の頭部を検出する処理は例えば顔認識技術を用いることで可能である。このときHaar-like特徴による明暗差をもとにした顔パターンを認識する方法を用いてもよい。また、深層学習や機械学習により訓練された画像からユーザを直接認識する学習器(学習済み人工知能プログラム)を用いて顔位置の認識、もしくは、体骨格から直接頭の中心位置を認識する方法でもよい。
次に、処理部14は画像マッチング処理を実行する(ステップS202)。画像マッチング処理は、ユーザ空間撮像部12-1、12-2による画像同士を比較し、ステップS201にて片方の画像において探索されたユーザ90と認識された特徴部位と同じ物が写っている他方の画像中の箇所を特定する処理である。
次に、処理部14は両画像中の特徴部位のピクセル座標を特定する(ステップ203)。ここでは処理部14は、ユーザ空間撮像部12-1で撮影した画像中の特徴部位と、ユーザ空間撮像部12-2で撮影した画像中の特徴部位それぞれにおいて、画像中のピクセル座標を取得する。
次に、処理部14は、画像マッチング処理の結果に基づいて、各ピクセルと三次元座標とを対応づける(ステップS204)。ステップS203の処理により2つの画像において同じ物が写っている箇所のピクセル座標が特定されれば、三角測量の原理を用いてその箇所の三次元座標を特定することができる。
特定された箇所がユーザ90の頭部であればその三次元座標を、ユーザ視点位置として特定することになる。このとき処理部14は、例えば、頭の中心部の位置を頭部位置(xh,yh,zh)としてもよい。その場合、画像から頭部の半径を推定し、頭部の中央の表面から奥行方向に半径分だけ入った位置の三次元座標が頭部位置となる。具体的には、頭部の中央の表面の三次元座標のz値に対して半径分を加算すればよい。
また、他の例として、処理部14は、画像における頭部の中央の表面の位置を頭部位置(xh,yh,zh)としてもよい。その場合、頭部の中央が表示されたピクセルに対応する三次元座標がそのまま頭部位置となる。
また、ユーザ視点位置を特定する方法の他の例として、処理部14は、画像における人物らしき特徴を有する領域を検出し、ユーザ空間撮像部12-1、12-2からその特徴領域までの距離を得た後、その特徴領域の水平方向における中心位置をXV、垂直方向における特徴領域の頂点から10cmほど下の位置をYVとして、ピクセル座標(XV、YV)と特徴領域までの距離をもとに、ユーザ視点位置を簡易推定するという方法をとってもよい。これは頭頂部の10cm下を視点位置と推定するものである。
なお、必ずしも2つのユーザ空間撮像部12-1、12-2によるユーザ空間画像の両方にユーザ90の頭部が写っているとは限らない。ユーザ空間撮像部12-1とユーザ空間撮像部12-2の位置の違いや、障害物の影響などで、2つのユーザ空間撮像部12-1、12-2によるユーザ空間画像のうち1つにしかユーザ90の頭部が写っていないこともあり得る。その場合にはユーザ視点位置を推定することにしてもよい。これにより、広い範囲でユーザ視点位置を特定し、画像の生成に用いることができる。
例えば、処理部14は、ユーザ空間撮像部12-1、12-2で取得された画像のデータとその画像から算出したユーザ視点位置の情報との少なくとも一方を記録し、複数のユーザ空間撮像部12による画像にユーザ視点位置に関する所定のユーザ部位(ここでは頭部)が写っている場合は複数の画像の視差に基づいてユーザ視点位置を算出し、1つのユーザ空間撮像部12による画像のみにユーザ部位が写っている場合はその1つの画像と過去の画像のデータまたは過去のユーザ視点位置とに基づいてユーザ視点位置を推定することにしてもよい。
また、本実施例では、処理部14はユーザ90が激しく動いた場合や、部屋の明るさ等の影響で特徴量を検出できず、ユーザ空間撮像部12-1、12-2で撮像された画像からユーザ90のユーザ視点位置を一時的に算出できない状態となる場合がありえる。その場合には、処理部14は、記憶部13にユーザ視点位置データ27として蓄積された過去の時系列のユーザ視点位置に基づいて、現在のユーザ視点位置を推定することにしてもよい。具体的には、過去のユーザ視点位置の履歴から、ユーザ90の移動速度および移動加速度とそれらの方向を示す三次元ベクトルのデータを記録し、それらのデータから現在のユーザ視点位置を推定することにしてもよい。例えば、移動方向の前方に障害物がなければ、算出できた最新の移動速度から、算出できた最新の移動加速度で速度変化し、算出できた最新のユーザ視点位置から現在までに移動した位置を現在のユーザ視点位置としてもよい。
また、本実施例では、処理部14は、ユーザ視点位置を補正し、補正後のユーザ視点位置から画面111を通して見える三次元オブジェクトの画像を生成することにしてもよい。ユーザ視点位置の精度を向上させることができる。例えば、ユーザ空間撮像部12-1、12-2を有する複数のステレオセンサを設け、それらのステレオセンサにより取得される複数のユーザ視点位置から最小二乗基準に基づきユーザ視点位置を推定することにしてもよい。また、2つのユーザ空間撮像部12-1、12-2を有するステレオセンサと、他のセンサーとして例示した赤外線を用いたセンサーやマーカーによりユーザ位置を測定するセンサーなどから、2つ以上の任意の組み合わせにより得た2つ以上のユーザ視点位置から最小二乗基準に基づきユーザ視点位置を推定することにしてもよい。
また、本実施例では、ユーザ90はジェスチャによって画像表示システム10を操作することができる。図8は、実施例1による画像表示システムのジェスチャ操作処理のフローチャ-トである。
処理部14は、時系列に更新されるユーザ空間画像に基づき所定の起動ジェスチャが行われるのを監視する(ステップS301)。起動ジェスチャは、画像表示システム10に対して指示を行うための事前のジェスチャである。具体的なジェスチャは特に限定されないが例えば頭に手を当てるといったジェスチャである。起動ジェスチャが検出されない間は、所定の処理を指示する指示ジェスチャが行われても、画像表示システム10はその処理を実行しない。
起動ジェスチャを検知すると、処理部14は次にタイマを起動する(ステップS302)。このタイマは起動ジェスチャにより指示ジェスチャを有効とする時間を計測するタイマである。起動ジェスチャが検知されたときに、処理部14は、ディスプレイ11の画面111に所定の指示受付表示を行うことで、起動ジェスチャが検知されたことをユーザ90に提示してもよい。また、処理部14は、起動ジェスチャが検知されるかタイマがタイムアウトするまで指示受付表示を継続してディスプレイ11に表示させておくことにしてもよい。
次に、処理部14は、時系列に更新されるユーザ空間画像に基づき指示ジェスチャが行われるのを監視する(ステップS303)。指示ジェスチャは上述のように所定の処理を指示するためのジェスチャである。ジェスチャにより指示できる処理は複数種類あってもよい。その場合、処理毎に異なる指示ジェスチャを定めておけばよい。
指示ジェスチャが検知されない間は(ステップS303のNO)、処理部14は、タイマのタイムアウトの有無を監視し(ステップS305)、タイマがタイムアウトするまで指示ジェスチャを監視する。
指示ジェスチャが検知される前にタイマがタイムアウトしたら(ステップS305のYES)、処理部14は、ステップS301に戻って起動ジェスチャを監視する。
タイマがタイムアウトする前に指示ジェスチャが検知されると(ステップS303のYES)、処理部14は、指示ジェスチャに対応する処理を実行する(ステップS304)。
以上のように、処理部14は、時系列のユーザ空間画像から所定の起動ジェスチャを検出した後に所定の指示ジェスチャを検出すると、指示ジェスチャに対応する所定の処理を実行する。2段階のジェスチャがあったときに処理が実行されるようになっているので、ユーザ90の意図しない処理が誤って実行されるのを抑制することができる。
なお、本実施例では2段階のジェスチャを採用する例を示したが、これに限定されるものではない。他の例として1段階のジェスチャにより画像表示システム10を操作できるようにしてもよい。その場合でも普段の動作では行うことの少ないジェスチャを用いれば誤動作を抑制することができる。また、2段階以上の事前のジェスチャが検知された後に所定の指示ジェスチャが検知されたらその指示ジェスチャに対応する処理の処理を実行することにしてもよい。
また、本実施例では画像表示システム10が1つのディスプレイ11を有する例を示したが、これに限定されることはない。他の例として、画像表示システム10は、複数のディスプレイ11を有していてもよい。その場合、例えば、記憶部13は、複数のディスプレイ11のそれぞれの画面111の基準座標空間における位置、姿勢および形状を示す画面配置データを保持する。また、処理部14は、複数のディスプレイ11のそれぞれについて、ディスプレイ11の画面配置データ(画面位置データ21および画面姿勢データ22)と三次元データ25に基づいて三次元オブジェクトの表示画像を生成し、それぞれの表示画像をディスプレイ11の画面111に表示させる。全てのディスプレイ11の画面111の位置および姿勢を同じ基準座標空間に配置して演算を行うので、複数のディスプレイ11をどのような位置および姿勢に設置しても全てのディスプレイ11に表示する画像を共通の演算方法で算出できる。また、全てのディスプレイ11の画面111の位置および姿勢を同じ基準座標空間に配置して演算を行うので、複数のディスプレイ11の画像を高い精度で整合させ、連続させることができる。このことは、例えば、ホテル、住宅、オフィス等の室内景観の向上において高い視覚効果を発揮する。
また、本実施例による画像表示システム10は様々な付加機能を備えていてもよい。
例えば、画像表示システム10は、インタネット等の通信ネットワークと接続する通信装置を備えていてもよい。画像表示システム10は通信装置を介して情報をWebサーバに送信したり、Webサーバから情報を受信したりしてもよい。情報の送信や受信を行う操作を上述したジェスチャによってできるようにしてもよい。
また、画像表示システム10はパーソナルコンピュータと接続し、パーソナルコンオピュータ(PC)の画像を表示するモニタとして利用可能であってもよい。接続インタフェース部は例えばHDMI(High-Definition Multimedia Interface)(HDMIは登録商標)やVGA(Video Graphics Array)である。疑似窓とPC用モニタのモード切替などの操作を上述したジェスチャによってできるようにしてもよい。
実施例1では仮想的な三次元オブジェクトの画像を表示する画像表示システム10を例示したが、これに限定されることはない。他の例として、現実空間の画像をディスプレイ11に表示することも可能である。実施例2では現実空間の画像を表示する画像表示システムを例示する。
図10は、実施例2による画像表示システムのブロック図である。図10を参照すると、画像表示システム30は、画像表示装置31と画像取得装置33を有している。画像表示装置31と画像取得装置33は通信回線を介して接続される。例えば、画像表示装置31が通信ネットワークを介して画像取得装置33が実写画像に基づく三次元データを取得し、表示するものであってもよい。また、画像表示装置31と画像取得装置33が有線または無線による通信により接続し、画像取得装置33で取得される画像に戻づく画像をリアルタイムで画像表示装置31が表示する物であってもよい。
画像表示装置31は、実施例1に示した画像表示システム10と同じものであり、ディスプレイ11、2つのユーザ空間撮像部12-1、12-2、記憶部13、および処理部14を有している。画像取得装置33は、表示空間撮像部34、処理部35、および音声取得部36を有している。
画像表示装置31は、実施例1に示した画像表示システム10と同じものであり、ディスプレイ11、2つのユーザ空間撮像部12-1、12-2、記憶部13、および処理部14を有している。画像取得装置33は、表示空間撮像部34、処理部35、および音声取得部36を有している。
表示空間撮像部34は、ディスプレイ11に表示するための実空間である表示空間の画像を取得する。
音声取得部36は、表示空間の音声を取得する。
処理部35は、表示空間撮像部34が取得した画像のデータを利用して三次元データ25を生成する。そして、処理部35は、生成した三次元データと、音声取得部36が取得した音声のデータとを画像表示装置31に送信する。
処理部35が表示空間撮像部34で取得された実写画像から三次元データ25を生成する方法は特に限定されない。例えば、取得された平面の実写画像をそのまま、もしくは、所定サイズの複数の画像に分割し、画像を平面のままで三次元空間上に配置することにしてもよい。表示空間撮像部34として、視野が180°もしくはそれに近い広視野角のレンズを用いたカメラまたは360°撮影カメラ等を用い、表示空間撮像部34で撮影された画像を三次元空間上の球面物体の内側表面に張り付けた形で三次元空間上に配置してもよい。また、表示空間撮像部34にライトフィールド技術を用いたカメラにより、光の入射方向および強度の情報を取得し、それらの情報を用いて画像処理することで、奥行情報も含めた三次元の空間そのものを撮影したデータが得られる。このデータを三次元空間上に配置してもよい。また、実写画像を三次元化して三次元空間に配置することにしてもよい。複数のステレオカメラで奥行情報を有する実写画像を撮像し、その実写画像と奥行情報に基づいて三次元データを作成してもよい。その場合、表示空間撮像部34は複数の単体撮像部の集合体であり、表示空間を複数の方向から撮像した画像を取得する。
以上のように本実施例では、画像取得装置33にて、表示空間撮像部34が表示対象とする実空間である表示空間を撮像して画像を取得する。処理部35は、表示空間撮像部34が取得した画像のデータを利用して三次元データを生成する。そして、画像表示装置31が、この三次元データを用いて、ユーザ90の位置から画面111を通して、三次元データに表現された三次元空間を見たときの画像をディスプレイ11に表示する。したがって、ユーザ視点位置から見える画像として実空間の画像をディスプレイ11に表示することができる。
また、本実施例では、音声取得部36が表示空間の音声を取得する。そして、音声出力部32がユーザ空間にその音声を出力する。したがって、表示空間の画像だけでなく音声も再現することができるので、ユーザ90は、ディスプレイ11による疑似窓の向こうに、視覚および聴覚で実空間を感じることが可能となる。
本実施例による画面表示システム30の利用方法は特に限定されないが、画像取得装置33をスタジアム等に配置し実際のスポーツの試合を観戦するための観客席からの視界を画像表示装置31で疑似的に再現するための用途、画像表示システム30を通信ネットワークを介して接続し、画像取得装置33で取得した画像および音声を相互に送受信することにより遠隔地間で画像と音声によるリアルタイムのコミュニケーションを行う用途などが想定される。
上述した各実施例は、本発明の説明のための例示であり、本発明の範囲をそれらの実施例に限定する趣旨ではない。当業者は、本発明の範囲を逸脱することなしに、他の様々な態様で本発明を実施することができる。
10…画像表示システム、11…ディスプレイ、12…ユーザ空間撮像部、13…記憶部、14…処理部、21…画面位置データ、22…画面姿勢データ、23…画面形状データ、24…撮像位置データ、25…撮像姿勢データ、26…三次元データ、27…ユーザ視点位置データ、28…表示画像データ、30…画像表示システム、31…画像表示装置、32…音声出力部、33…画像取得装置、34…表示空間撮像部、35…処理部、36…音声取得部、90…ユーザ、111…画面
Claims (14)
- 画像を表示可能な画面を有するディスプレイと、
前記ディスプレイの前記画面に表示される画像を見るユーザが存在しうる前記画面より前方のユーザ空間を撮像し、ユーザ空間画像を取得するユーザ空間撮像部と、
所定の基準座標空間における前記画面の位置、姿勢および形状を示す画面配置データと、前記基準座標空間における前記ユーザ空間撮像部の位置および姿勢を示す撮像部配置データと、前記基準座標空間上の三次元オブジェクトを表す三次元データと、を保持する記憶部と、
前記撮像部配置データと前記ユーザ空間撮像部で取得される前記ユーザ空間画像とに基づいて、前記基準座標空間上のユーザ視点位置を特定し、該ユーザ視点位置と前記画面配置データと前記三次元データに基づいて、前記ユーザ視点位置から前記画面を介して仮想空間上の前記三次元オブジェクトを見たときのような見え方となる前記三次元オブジェクトの表示画像を生成し、該表示画像を前記ディスプレイの前記画面に表示させる処理部と、
を有する画像表示システム。 - 前記処理部は、前記三次元データに射影変換を適用することにより、前記ユーザ視点位置から前記画面を通して見える前記三次元オブジェクトの表示画像を生成する、
請求項1に記載の画像表示システム。 - 前記ユーザ空間撮像部は、前記ユーザ空間を110°以上の画角で撮像する、請求項1に記載の画像表示システム。
- 前記処理部は、前記基準座標空間上で、前記三次元データの各点を該各点と前記ユーザ視点位置とを結ぶ直線が前記画面と交わる点に投影することにより、前記ユーザ視点位置から前記画面を介して見える前記三次元オブジェクトの表示画像を生成する、
請求項1に記載の画像表示システム。 - 複数の前記ディスプレイを有し、
前記記憶部は、前記複数のディスプレイのそれぞれの画面の前記基準座標空間における位置、姿勢および形状を示す画面配置データを保持し、
前記処理部は、前記複数のディスプレイのそれぞれについて、前記ディスプレイの画面配置データと前記三次元データに基づいて前記三次元オブジェクトの表示画像を生成し、該表示画像を前記ディスプレイの前記画面に表示させる、
請求項1に記載の画像表示システム。 - 複数の前記ユーザ空間撮像部を有し、
前記記憶部は、前記複数のユーザ空間撮像部のそれぞれの位置および姿勢を示す撮像部配置データを保持し、
前記処理部は、前記撮像部配置データと前記複数のユーザ空間撮像部による前記複数のユーザ空間画像とに基づいて前記ユーザ視点位置を算出する、
請求項1に記載の画像表示システム。 - 前記処理部は、前記ユーザ空間撮像部で取得された画像のデータと該画像から算出した前記ユーザ視点位置の情報との少なくとも一方を記録し、複数の前記ユーザ空間撮像部による画像に前記ユーザ視点位置に関する所定のユーザ部位が写っている場合は前記複数の画像の視差に基づいて前記ユーザ視点位置を算出し、1つの前記ユーザ空間撮像部による画像のみに前記ユーザ部位が写っている場合は前記1つの画像と過去の画像のデータまたは過去のユーザ視点位置とに基づいて前記ユーザ視点位置を推定する、
請求項1に記載の画像表示システム。 - 前記処理部は、前記ユーザ空間撮像部で取得された画像のデータと該画像から算出した前記ユーザ視点位置との少なくとも一方を前記記憶部に記録し、前記記憶部に記録されている時系列の前記ユーザ視点位置と前記ユーザ空間撮像部による時系列の画像との少なくとも一方に基づいて、前記ユーザ視点位置を更新する処理を行う、
請求項1に記載の画像表示システム。 - 前記処理部は、異なる複数の前記ユーザ空間撮像部または異なる複数の組合せの前記ユーザ空間撮像部で撮像される画像に基づいてユーザ視点位置に相当する位置の座標を複数算出し、前記複数の位置の座標から最小二乗法により前記ユーザ視点位置を算出する、
請求項6に記載の画像表示システム。 - 前記処理部は、前記ユーザ視点位置を前記記憶部に記録し、前記ユーザ空間撮像部で撮像されたユーザ空間画像から現在のユーザ視点位置を特定できないとき、前記記憶部に記録されている時系列の前記ユーザ視点位置に基づき、現在のユーザ視点位置を推定する、請求項1に記載の画像表示システム。
- 前記処理部は、時系列の前記ユーザ空間画像からユーザが行った所定のジェスチャを検出し、前記ジェスチャに対応する所定の処理を実行する、請求項1に記載の画像表示システム。
- 前記処理部は、前記時系列のユーザ空間画像から起動ジェスチャを検出した後に所定の指示ジェスチャを検出すると、前記指示ジェスチャに対応する所定の処理を実行し、前記起動ジェスチャを検出せずに前記指示ジェスチャを検出しても前記処理を実行しない、
請求項11に記載の画像表示システム。 - 表示対象とする実空間である表示空間を撮像して画像を取得する表示空間撮像部を更に有し、
前記処理部は、前記表示空間撮像部が取得した画像のデータを利用して前記三次元データを生成する、
請求項1に記載の画像表示システム。 - 前記表示空間の音声を取得する音声取得部と、
前記ユーザ空間に前記音声を出力する音声出力部と、を更に有する、
請求項13に記載の画像表示システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2024005462A JP2024054137A (ja) | 2018-03-08 | 2024-01-17 | 画像表示システム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/009092 WO2019171557A1 (ja) | 2018-03-08 | 2018-03-08 | 画像表示システム |
JP2020504604A JP7073481B2 (ja) | 2018-03-08 | 2018-03-08 | 画像表示システム |
JP2022078412A JP7423683B2 (ja) | 2018-03-08 | 2022-05-11 | 画像表示システム |
JP2024005462A JP2024054137A (ja) | 2018-03-08 | 2024-01-17 | 画像表示システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022078412A Division JP7423683B2 (ja) | 2018-03-08 | 2022-05-11 | 画像表示システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024054137A true JP2024054137A (ja) | 2024-04-16 |
Family
ID=67846986
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020504604A Active JP7073481B2 (ja) | 2018-03-08 | 2018-03-08 | 画像表示システム |
JP2022078412A Active JP7423683B2 (ja) | 2018-03-08 | 2022-05-11 | 画像表示システム |
JP2024005462A Pending JP2024054137A (ja) | 2018-03-08 | 2024-01-17 | 画像表示システム |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020504604A Active JP7073481B2 (ja) | 2018-03-08 | 2018-03-08 | 画像表示システム |
JP2022078412A Active JP7423683B2 (ja) | 2018-03-08 | 2022-05-11 | 画像表示システム |
Country Status (3)
Country | Link |
---|---|
US (3) | US11425350B2 (ja) |
JP (3) | JP7073481B2 (ja) |
WO (1) | WO2019171557A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11186289B2 (en) * | 2018-03-30 | 2021-11-30 | Toyota Jidosha Kabushiki Kaisha | Concealment system for improved safe driving |
US10997630B2 (en) * | 2018-12-20 | 2021-05-04 | Rovi Guides, Inc. | Systems and methods for inserting contextual advertisements into a virtual environment |
JP7325521B2 (ja) * | 2019-09-30 | 2023-08-14 | 京セラ株式会社 | 3次元表示装置、3次元表示システム、ヘッドアップディスプレイ、および移動体 |
JPWO2021085287A1 (ja) * | 2019-10-31 | 2021-05-06 | ||
US20240087156A1 (en) * | 2021-02-04 | 2024-03-14 | Sony Interactive Entertainment Inc. | Information processing system, information processing device, control method of information processing device, and program |
JP2023007233A (ja) * | 2021-07-01 | 2023-01-18 | 塁 佐藤 | 画像表示システム及び画像表示方法 |
CN115934020B (zh) * | 2023-01-05 | 2023-05-30 | 南方科技大学 | 一种基于弧形屏幕的裸眼3d显示方法及终端 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3292354B2 (ja) | 1994-12-13 | 2002-06-17 | 横河電機株式会社 | 3次元画像表示装置 |
JP2000276613A (ja) | 1999-03-29 | 2000-10-06 | Sony Corp | 情報処理装置および情報処理方法 |
JP2011151676A (ja) * | 2010-01-22 | 2011-08-04 | Panasonic Electric Works Co Ltd | 映像表示システム |
US8913009B2 (en) * | 2010-02-03 | 2014-12-16 | Nintendo Co., Ltd. | Spatially-correlated multi-display human-machine interface |
JP5439281B2 (ja) * | 2010-05-27 | 2014-03-12 | エヌ・ティ・ティ・コムウェア株式会社 | ユーザ視点空間映像提示装置、ユーザ視点空間映像提示方法及びプログラム |
JPWO2012147363A1 (ja) * | 2011-04-28 | 2014-07-28 | パナソニック株式会社 | 画像生成装置 |
JP5818322B2 (ja) * | 2012-06-06 | 2015-11-18 | 日本電信電話株式会社 | 映像生成装置、映像生成方法及びコンピュータプログラム |
JP5833526B2 (ja) | 2012-10-19 | 2015-12-16 | 日本電信電話株式会社 | 映像コミュニケーションシステム及び映像コミュニケーション方法 |
JP6168597B2 (ja) * | 2013-06-25 | 2017-07-26 | Kddi株式会社 | 情報端末装置 |
JP6031016B2 (ja) * | 2013-09-17 | 2016-11-24 | 日本電信電話株式会社 | 映像表示装置及び映像表示プログラム |
CN113050802A (zh) * | 2014-12-18 | 2021-06-29 | 脸谱科技有限责任公司 | 用于在虚拟现实环境中导航的方法、系统及设备 |
-
2018
- 2018-03-08 WO PCT/JP2018/009092 patent/WO2019171557A1/ja active Application Filing
- 2018-03-08 JP JP2020504604A patent/JP7073481B2/ja active Active
- 2018-03-08 US US16/975,605 patent/US11425350B2/en active Active
-
2022
- 2022-05-11 JP JP2022078412A patent/JP7423683B2/ja active Active
- 2022-06-30 US US17/854,405 patent/US11750789B2/en active Active
-
2023
- 2023-06-12 US US18/208,664 patent/US20230328215A1/en active Pending
-
2024
- 2024-01-17 JP JP2024005462A patent/JP2024054137A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JPWO2019171557A1 (ja) | 2021-02-04 |
WO2019171557A1 (ja) | 2019-09-12 |
US11750789B2 (en) | 2023-09-05 |
JP2022122876A (ja) | 2022-08-23 |
US20220337801A1 (en) | 2022-10-20 |
US20200413021A1 (en) | 2020-12-31 |
JP7423683B2 (ja) | 2024-01-29 |
JP7073481B2 (ja) | 2022-05-23 |
US20230328215A1 (en) | 2023-10-12 |
US11425350B2 (en) | 2022-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7423683B2 (ja) | 画像表示システム | |
US11315287B2 (en) | Generating pose information for a person in a physical environment | |
US20180046874A1 (en) | System and method for marker based tracking | |
CN103180893B (zh) | 用于提供三维用户界面的方法和系统 | |
US20160260260A1 (en) | System and method for immersive and interactive multimedia generation | |
WO2017020766A1 (zh) | 场景提取方法、物体定位方法及其系统 | |
WO2018214697A1 (zh) | 图形处理方法、处理器和虚拟现实系统 | |
US20140160162A1 (en) | Surface projection device for augmented reality | |
JP6558839B2 (ja) | 媒介現実 | |
WO2016095057A1 (en) | Peripheral tracking for an augmented reality head mounted device | |
WO2016064435A1 (en) | System and method for immersive and interactive multimedia generation | |
US20190371072A1 (en) | Static occluder | |
JPWO2019123729A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
CN105190703A (zh) | 使用光度立体来进行3d环境建模 | |
Jia et al. | 3D image reconstruction and human body tracking using stereo vision and Kinect technology | |
US11156830B2 (en) | Co-located pose estimation in a shared artificial reality environment | |
CN106980378B (zh) | 虚拟显示方法和系统 | |
WO2022023142A1 (en) | Virtual window | |
CN113168228A (zh) | 用于在大面积透明触摸界面中进行视差校正的系统和/或方法 | |
US20180101226A1 (en) | Information processing apparatus | |
WO2023277020A1 (ja) | 画像表示システム及び画像表示方法 | |
CN113678173A (zh) | 用于虚拟对象的基于图绘的放置的方法和设备 | |
KR20210042476A (ko) | 프로젝션 기술을 이용한 증강현실 제공방법 및 시스템 | |
WO2018173206A1 (ja) | 情報処理装置 | |
WO2024095744A1 (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240118 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240118 |