JP6238532B2

JP6238532B2 - 画像表示装置及び画像表示方法

Info

Publication number: JP6238532B2
Application number: JP2013048490A
Authority: JP
Inventors: 谷岡　宏; 宏谷岡
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-03-11
Filing date: 2013-03-11
Publication date: 2017-11-29
Anticipated expiration: 2033-03-11
Also published as: CN104052987A; CN104052987B; US20140254008A1; JP2014175955A; US9465224B2

Description

本発明は、例えば３次元表示器の向きに応じて３次元画像情報を表示する画像表示装置及び画像表示方法に関する。

２次元表示器を有するタブレットＰＣは、２次元表示器の表示画面がユーザーに向いていれば、９０度回転されたとしても、画面に表示する画像も９０度反対方向に回転するので、ユーザーは回転の前後で同じ向きの画像を見ることができる。すなわち２次元表示器を有するタブレットＰＣは、２次元表示器の表示画面の向き（例えば縦長の向きか横長の向きか）を考慮して画像を表示画面に表示している。このような２次元表示器を有するタブレットＰＣと同様に３次元表示器を有するタブレットＰＣも３次元表示器の表示画面の向きを考慮して３次元表示する事が望まれる。

特許文献１にはパララックスバリア方式の３次元表示可能な携帯端末で、３次元表示器の表示画面が縦長か横長か、その向きに応じてパララックスバリアのバリアストライプの発生方向、すなわちパララックスバリアの位置を動的に切り替えて３次元表示する技術が開示されている。

特許第３４２６８２１号明細書

特許文献１では表示画面が縦長の場合と横長の場合に対してそれぞれ表示素子で表示している視差画像対を既定の目で見る為に、すなわち右画像を右目で、左画像を左目で見せるためにパララックスバリアの位置を電気的に切り替えて３次元画像を表示可能である。しかし、パララックスバリアの位置を切り替える構成を持たない３次元表示器においては、ユーザーが、タブレットＰＣの画面を正立した状態から回転させた場合、正立した３次元画像を見ることはできない。

本発明は上記従来例に鑑みてなされたもので、画面の回転に対応して本来の立体視が可能な３次元画像を表示する画像表示装置及び画像表示方法を提供する。

上記目的を達成するために本発明に係る画像表示装置は、３次元表示器と、装置の向き検出手段と、画像情報変換手段と、複数の視差画像情報を前記３次元表示器の予め決められた位置の表示素子で表示する為の複数組の画像表示手段を有し、装置の向き検出手段で検出した装置の向きに応じて、表示すべき画像情報を、その向きに応じて回転処理すると共に、前記複数の視差画像情報を表示する為の画像表示手段の適用を選択的に制御する３次元表示制御手段を有する。

本発明によれば、装置を１８０度回転させた状態でも正立状態と同様に立体視できる３次元表示が可能になる。

一実施形態に係る画像処理装置の一例を示す概略図である。一実施形態に係る３次元表示装置２をより詳細に説明する図である。一実施形態に係る視点と視差画像対との関係を示す図である。一実施形態に係る画像処理装置の機能ブロックの一例を示す図である。一実施形態に係る向きに応じた３次元画像表示制御部の実施形態を説明する図である。一実施形態に係る向きに応じた３次元表示制御のフローチャートを示す図である。表示器を１８０度回転した場合の表示画像の見え方を説明する図である。一実施形態に係る装置の向き検知センサーを説明する図である。３次元画像表示制御部の別実施形態を説明する図である。３次元画像表示制御の別実施形態のフローチャートを示す図である。向き特定部の別実施形態１を説明する図である。向き特定部の別実施形態２を説明する図である。レンチキュラーレンズ方式の３次元表示器を用いた別実施形態を説明する図である。多視点と多視点画像との関係を示す図である。多視点表示器を１８０度回転した場合の画像の見え方を説明する図である。一実施形態に係る向きに応じた多視点３次元画像表示制御部の別実施形態を説明する図である。一実施形態に係る向きに応じた多視点３次元表示制御のフローチャートを示す図である。

［実施形態１］
＜定義＞
実施形態の説明に先立って、本明細書で用いる用語について簡単に説明する。２次元画像とは、表示器で表示する、例えば人や図形などを表す２次元の画像そのものを示している。３次元画像とは、３次元表示器で立体視可能に表示される、例えば人や図形などを表す画像そのものを示している。本実施形態では、３次元画像は、同一の立体の対象物を異なる角度から見たときの視差を有する複数の２次元画像で構成される。例えば左目用と右目用の視差を有する一対の２次元画像を、既定の、すなわち右目用と左目用それぞれの表示素子で表示し、それらの画像を観察者であるユーザーが左右それぞれの目で見る事で立体視できる画像である。

２次元画像情報および３次元画像情報は、２次元画像および３次元画像をそれぞれ表示するための画像情報を示している。３次元画像情報は、少なくとも左目用および右目用の一対の２次元画像情報から成る。また、３次元画像情報には、ひとつの視点からの左目用および右目用の２次元画像情報を一対の立体視画像情報として、複数の異なる視点からの立体視画像情報を、視点の数の対だけ含むものもある。たとえば前者の３次元画像情報はパララックスバリア方式に、後者の３次元画像情報は多視点レンチキュラーレンズ方式で用いられる。また視差画像とは、上述した左目および右目の視差を反映した一対の２次元画像をいう。

＜３次元表示器の構成＞
次に、簡単に３次元表示器について説明する。本発明実施形態で用いる３次元表示器は、３次元画像情報として、その表示器の画面中に複数の２次元画像情報を同時に表示している。具体的には、３次元表示器に表示される２次元画像は、ひとつの対象物を少なくともユーザーの左目および右目の各視点から見た２枚以上の複数の２次元画像情報に基づいた画像であり、３次元表示器には、左目および右目の各視点からそれぞれの画像をそれぞれの目で見せる為の光学的な工夫が成されている。
以下、本発明を実施するための形態について図面を用いて説明する。本実施形態では、ユーザーが表示器を１８０度回転させて使用しても正常に３次元表示する為の画像処理装置を例に説明するが、これに限定されるものではない。なお表示器を１８０度回転させて使用するとは、表示器の表示画面をユーザーに向けた状態において、その表示画面をユーザーが見る、あるときの表示器の方向を正立方向とした場合に、その反対方向すなわち倒立方向から表示画面を見ることである。すなわち、ユーザーが表示画面を見る際の、表示器の相対的な方向を、正立方向から倒立方向に変えることを意味している。これは以下の説明においても同様である。

図１は、本発明を実施する画像処理装置の一例を示す概略図である。図１に於いて本実施形態の画像処理装置は一般的なパーソナルコンピュータ（以後ＰＣと称する）１を有し、ネットワーク回線１１０等から画像情報等をネットワーク制御部９０を介して取得する。また画像処理装置は、少なくとも、３次元画像情報に基づいた３次元画像を立体表示する為の３次元表示装置２を有する。

ＰＣ１はＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１０で制御される。ＰＣ１は、３次元画像情報や本実施形態に用いられるプログラム等を保持する記憶部８０を有する。またＰＣ１は、各種設定やプログラムを格納するＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）６０及び、一時的な記憶手段として機能するＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）７０を有する。またＬＡＮ等の通信回線１１０に接続したネットワーク部９０を有する。３次元表示装置２は、３次元画像を表示する３次元表示器３０を有する。また、３次元表示装置２は、３次元表示器の表示面にタッチパネル４０を有し、表示した３次元画像を直接タッチして画像や表示された入力キーを選択すると共に、キーやマウスで構成する操作入力部５５と同様にユーザーのＰＣへの各種の入力操作を可能にする。撮像部２０は例えばカメラであり、ユーザーの位置やユーザーの動作を認識する為に３次元表示器３０の近傍に設けられている。撮像部２０は本実施形態ではなくともよい。３次元表示装置２には更に３次元表示器３０の向き（上下方向の傾きともいう）を検知する向き検知部５０が備えられる。検知される画面の向きは、実用上は、重力センサを用いて下の辺を検知したり、３次元表示器３０が台で回動可能に支持されているのであれば、台に対する方向をマイクロスイッチなどを用いて検知する構成などがある。詳しくは後述する。

図２は、図１で示した３次元表示装置２をより詳細に説明する図である。図２に示すパララックスバリア方式の３次元表示器３０の液晶表示器３００は、表示画面の手前に左右の目の視線上に互いに他方の目用の表示素子からの光を遮る為の光学的なパララックスバリア１６０を有する。

従って図２に示す様に右目からは左目用表示画素がパララックスバリア１６０で光路が遮光され、逆に左目からは右目用表示画素がパララックスバリア１６０で光路が遮光される。その結果両目では例えば、両目の視点でそれぞれ撮影された異なる視点の画像を独立に見る事が出来る。即ち、立体表示がなされる。

本実施形態の３次元表示器３０は説明の簡略化の為に、単色表示で、また以後の図において表示画素の並びを１次元的に表現する。なお、以下で単に「視点」と述べる場合、３次元表示器３０の位置に対するユーザーの両目の位置のことを示し、１つの「視点」では、ユーザーの右目には右目用の画像が、左目には左目用の画像が見える。３次元画像を表示するには最低１対の所定の視差を有する右目用の画像と左目用の画像が表示出来れば良い。図３は、上記視点とユーザーが目で見るのと同じ右目用の画像と左目用の画像を撮影する場合の位置関係を示す図である。

＜画像処理装置の機能ブロック＞
図４は、本実施形態の画像処理装置１の画像処理機能のブロックの一例を示す図である。図４に於いて、画像情報入力部４００は、ネットワーク制御部９０等から３次元画像情報を入力し、必要に応じて３次元画像情報記憶部４０４で記憶保持する。一方、向き特定部４０２は、表示装置２に装着された向き検知部５０の（後述する）センサー出力からその向きを特定する処理部である。３次元画像情報変換部４０３は、特定された向きに応じて、３次元画像情報記憶部４０１に記憶保持した３次元画像情報を取り出し、必要な角度分回転処理等を施す。３次元画像表示制御部４０４は、特定された向きに応じて、３次元画像情報変換部４０３で変換した画像情報を３次元表示器３０の既定の表示素子で表示する為の制御を行う。具体的には右目用の表示画像情報を保持する所謂ＶＲＡＭ或いは左目用の表示画像情報を保持するＶＲＡＭに上記３次元画像情報変換部４０３で変換された画像情報を書き込む。尚、ＶＲＡＭの各記憶素子と１対１対応された３次元表示器３０の左右の目用の画像の表示を担う表示素子に接続されたドライバーを、左右の目用にＶＲＡＭに格納された画像情報でそれぞれハードウエアー的に一定の周期で駆動して表示が行われる。尚、３次元画像情報記憶部４０４は記憶部８０の一部や一時的に画像を保持するＲＡＭ７０である。

図５に本実施形態によって、装置が如何なる向きで操作されても確実に３次元表示する為の制御の一実施形態をしめす。また、図６に制御の手順を説明する為のフローチャートを示す。まず装置が正規の横向き（以降、横向正立と記す）の場合を詳説する。なおユーザーが３次元表示装置の画面を観察して立体視するために、左右の目の並びと平行にすべき表示装置の方向を本例では横と呼び、それと直交する方向を縦と呼ぶ。装置の横方向をユーザーの左右方向にそろえた装置の向きが横向きである。また装置の縦方向をユーザーの左右方向にそろえた装置の向きが縦向きである。すなわち装置が横向きであれば立体視が可能となる。装置の縦横は３次元表示の方式により決まる。例えばパララックスバリア方式では、バリアの長手方向に直交する方向が横方向であり、レンチキュラーレンズ方式では、レンチキュラーレンズの長手方向に直交する方向が横方向である。画面の長手方向が横方向となる装置も多いが、必ずしもそうとは限らず、上述した定義による装置の縦横と画面の縦横比とは直接的な関連はない。そして装置の横向きには１８０度方向が異なる２通りがあり、そのうちの一方を正立（横向き正立）、他方を倒立（横向き倒立）と呼ぶ。

以下図６に即して本実施形態の３次元表示の手順を説明する。まず、向き特定部４０２はステップＳ６０２で装置の向きが縦か横かを判定し、横向きの場合は、３次元表示器３０がパララックスバリア方式であるから３次元表示が可能な為、ステップＳ６０３に分岐する。３次元画像表示制御部４０４はステップＳ６０３で３次元画像情報記憶部４０１から其々表示すべき左目用画像情報５０１を読み出し左目用ビデオＲＡＭ（以降ＶＲＡＭと記す）５０４に書き込み、同様に３次元画像情報記憶部４０１から右目用画像情報５０２を読み出し右目用ＶＲＡＭ５０５に書き込む。

ここで３次元表示器３０を構成する液晶表示器３００の各表示素子は左右の目用の画像をパララックスバリア１６０の位置に応じて、其々ストライプ状に、交互に表示しているが、左（右）目用ＶＲＡＭとは、液晶表示器３００の中で上記の様に位置が固定化された左（右）目用の画像表示を担う全ての表示素子を駆動する為の画像情報を記憶保持するＲＡＭである。従ってカラー表示可能な３次元表示器の場合、各液晶表示素子前面に有するカラーフィルタの位置に対応させて更に色毎のＶＲＡＭに分割される。

向き特定部４０２はステップＳ６０４で、更に方向が横向正立と判断するなら、処理を終了する。図５（Ａ）に示す様に、左目用ＶＲＡＭ５０４に書き込まれた画像情報は左目用画像を表示する素子を駆動するドライバー５０６に１対１対応して接続され、同様に右目用ＶＲＡＭ５０５に書き込まれた画像情報は右目用画像を表示する素子を駆動するドライバー５０７に１対１対応して接続されている。このため、右目用の画像は右目用の表示素子により、左目用の画像は左目用の表示素子により、そのまま表示される。

次に装置が横向倒立の場合を詳説する。向き特定部４０２はステップＳ６０４で正規の横向正立から１８０度回転した横向倒立で有ると判定したならステップＳ６０５に分岐する。３次元表示器３０が倒立している状態で正規の画像を表示する為に３次元画画像変換部４０３はステップＳ６０５で左目用、右目用それぞれの画像情報を１８０度回転させる。

ところで、図２で示したパララックスバリア方式の３次元表示器３０を１８０度回転させて、回転した右目用画像を右目用表示素子に、回転した左目用画像を左目用表示素子に表示した場合の画像の見え方を図７に示す。先に説明した様にパララックスバリア方式の３次元表示器３０は左右の目用の画像を分割して表示する為に、液晶表示器３００とその光路を遮光するバリア１６０は機械的にその位置が固定化されている。従って、装置が横向き倒立の場合、ユーザーは横向き正立に対して左右を逆に見ることになるので、各目用の画像を１８０度回転させたとしても、左目用に画像表示している表示画素は右目で見え、右目用に画像表示している表示画素は左目で見える。

３次元表示の際に視差画像を左右逆に見ると、奥行きが逆になって奥が手前に、手前が奥に見えるが、描画順は変わらない為、手前に見える画像オブジェクトが奥の画像オブジェクトの影に隠れ、非常に不思議な表示画像に成る。

即ち、３次元画画像変換部４０３で画像情報を１８０度回転しただけでは正しく３次元表示する事が出来ない。そこで本発明の３次元画像表示制御部４０４は、装置が横向倒立方向の場合、Ｓ６０６において、３次元画像変換部４０３で１８０度回転した左目用画像情報５０８を右目用ＶＲＡＭ５０５に書き込み、同様に３次元画像変換部４０３で１８０度回転した右目用画像情報５０９を左目用ＶＲＡＭ５０４に書き込む。すなわち、画像の方向を表示装置の方向に合わせるのみならず、画像の配列の順序も表示装置の方向に応じて変更する。

この様子を図５（Ｂ）に示す。左右それぞれの目用の画像情報は１８０度回転された上で、左目用回転画像５０８は右目用ＶＲＡＭ５０５に、右目用回転画像５０９は左目用ＶＲＡＭ５０４に、それぞれ書き込まれ、対応するドライバー５０７，５０６によりそれぞれ対応する表示素子で表示される。この結果、図７でいえば、左目で見ている右目用画像表示画素に１８０度回転した左目用画像が、右目で見ている左目用画像表示画素に１８０度回転した右目用画像が表示され、３次元画像本来の立体視が可能となる。

次に装置が縦向きの場合、すなわち立体視のためにユーザーの左右方向となるべき方向が、ユーザーの上下方向に向けられている場合を詳説する。向き特定部４０２はステップＳ６０２で縦向きと判定したならステップＳ６０７に分岐する。本実施形態の３次元表示器３０は縦向きでは３次元表示が出来ない為、本実施形態では装置が縦向きで使用される場合、２次元表示する。従って、３次元画画像変換部４０３はステップＳ６０７で３次元画像情報記憶部４０１から左（右）目用画像情報を読み出し、９０度回転させる。尚、向き特定部４０２がステップＳ６０８で装置が横向きの際の左部が上となる縦向き（縦向左上と記す）と判定されれば、ステップＳ６１０に分岐し、３次元画像情報変換部で９０度回転した左目用画像情報５１０を右目用ＶＲＡＭ５０５に書き込み、同じ左目用画像情報５１０を左目用ＶＲＡＭ５０４に書き込む。また向き特定部４０２がステップＳ６０８で装置が横向きの際の右部が上となる縦向き（縦向右上と記す）と判定されれば、ステップＳ６０９に分岐し、３次元画像情報変換部で２７０度回転した左（右）目用画像情報５１０を右目用ビデオＲＡＭ（以降ＶＲＡＭと記す）５０５と左目用ＶＲＡＭ５０４に書き込む。

この様子を図５（Ｃ）に示す。左右いずれかの目用の画像情報は９０度あるいは２７０度回転された上で、右目用ＶＲＡＭ５０５と左目用ＶＲＡＭ５０４とにそれぞれ書き込まれる。すなわち同じ画像情報が各ＶＲＡＭに書き込まれる。そして対応するドライバー５０７，５０６によりそれぞれ対応する表示素子で表示される。この結果、右目用画像表示画素と左目用画像表示画素とに、左右いずれかの目用の原画像を９０（あるいは２７０）度回転した同じ画像が表示される。表示装置が縦向きに使用されている場合、左右それぞれの目用の画素はそれぞれ縦方向にならび、それが交互に配置されるため、左右方向の解像度は半減するものの、選択した目用の画像が２次元表示される。

以上のように、本実施形態の３次元画像表示制御部４０４は、３次元画像情報記憶部４０１から表示すべき画像情報を読み出し、向きに応じて３次元画像変換部４０３で該画像情報を変換し、左目用のＶＲＡＭ５０４か、或いは右目用のＶＲＡＭ５０５にその変換した画像情報の書き込みを制御する事を特徴とする。

なお図６のＳ６０３を、Ｓ６０４で「正規の方向」と判定された直後に実行するように移動すれば、Ｓ６０３を無駄に実行する必要がなくなり、処理の迅速化に貢献する。

図８は本実施形態の向き検知部５０で用いた向き検知手段の一例である。この検知部は、表示画像の下側を表示部の下側として立てて或いは斜めにして、ユーザーがそれにほぼ正対する姿勢で使用することを前提としている。傾き検知センサー８００は密封された容器の中に例えば水銀等の液状の導電性物質８０２が封入されている。従って、水銀はその向きに応じた重力方向に移動し、１対の電極間を導通させるのでその傾きが検知出来る。電極対はａ，ｂ，ｃ，ｄの４対有り、３次元表示器３０が正規の向きで状態８０１の如く３次元表示している場合、その裏面に図示する様に装着すれば、状態８０３で図示する様に電極対ｃが導通し、横向倒立の場合は、状態８０４で図示する様に電極対ａが導通し、縦向左上の場合は、状態８０５で図示する様に電極対ｄが導通し、縦向右上の場合は、状態８０６で図示する様に電極対ｂが導通する。尚、装置が水平の場合、状態８０７に示す様にどの電極対も導通しない。水平の場合の表示の向きはその直前の状態とするか、或いは横向正立とする。図６のＳ６０２，Ｓ６０４，Ｓ６０８では、電極対の導通からどの状態にあるか判定する。またセンサー８００は、水銀の代わりに重心を外して軸支したことで鉛直方向を維持する錘を用い、装置の方向に対して回動する錘が接したときにオンとなるマイクロスイッチなどを電極対の代わりに用いて構成することもできる。いずれにしてもこの方式は、ユーザーの上下方向が鉛直線の上下方向と一致していることを前提として、ユーザーと装置（画面）との方向の関係を検知する。

あるいは、３次元表示器が台に回動可能に軸支されている場合、その軸周りの回転位相をマイクロスイッチ等で検知し、それを検知部５０による検知結果とすることもできる。この方式では、ユーザーの上下方向が台に対して一定であることを前提として、ユーザーと装置との方向関係を検知している。

あるいは、ユーザーのマニュアル操作により３次元画像表示装置の向きを指定させ、その入力を検知結果とすることもできる。すなわち３次元表示器３０の操作パネルから特定のジェスチャ、たとえばユーザーが対面する側の辺を指定するジェスチャが入力された場合、そのジェスチャに応じて３次元画像表示装置の向きを特定する。いずれにしても、種々の方法により、検知部５０を実現することができる。

以上の構成により、３次元画像表示装置の向きに適した画像表示を実現できる。このため、ユーザーが立体視可能な方向から画面を見ているならば立体視可能に３次元画像を表示できる。またユーザーが立体視可能でない方向から画面を見ているならば、画面上に２次元画像を表示できる。

また、表示対象が動画である場合、図６の手順を各フレームに対して適用すると負荷が大きく、装置の処理能力によっては動画のフレームレートを維持できなくなる恐れもある。そこで、図６の動作を、動画の再生に先行して実行し、図６のＳ６０３，Ｓ６０５，Ｓ６０６，Ｓ６０７，Ｓ６０９，Ｓ６１０では、実施の動作を行わずに、Ｓ６０３，Ｓ６０６，Ｓ６１０では、右目用画像情報および左目用画像情報を格納するＶＲＡＭを記憶し、Ｓ６０５，Ｓ６０７，Ｓ６０９では、画像情報の回転角度を記憶する。なお回転角度の既定値は０とする。そして、動画再生を開始したなら、各フレームを、図６の手順で記憶した回転角度に従って画像情報を回転し、格納先のＶＲＡＭに画像情報を格納する。このようにすることで迅速な動画再生が可能となる。

＜３次元表示制御の変形例＞
図９に３次元表示制御の変形例である別実施形態を、図１０に該制御の手順をフローチャートとして示す。本別実施形態は装置が縦向きの場合、先の実施形態と制御が同じのため説明を省き、図９は横方向の場合についてのみを示す。

３次元画像表示制御部４０４はステップＳ６０６で３次元画像情報記憶部４０１から其々表示すべき左目用画像情報５０１を読み出し左目用ビデオＲＡＭ（以降ＶＲＡＭと記す）５０４に書き込み、同様に３次元画像情報記憶部４０１から右目用画像情報５０２を読み出し右目用ＶＲＡＭ５０５に書き込む。先の実施形態が左（右）目用ＶＲＡＭが左（右）目用画像を表示する素子を駆動するドライバーと１対１に固定的に対応付けられていたのに対して、本別実施形態は左（右）目用ＶＲＡＭの画像情報を左（右）目用画像を表示する素子を駆動するドライバーに接続する正規のモード９０５と、左（右）目用ＶＲＡＭの画像情報を右（左）目用画像を表示する素子を駆動するドライバーに接続する倒立モード９０６を持ち、それぞれ装置の向きに応じて切り替える事を特徴とする。まず、３次元画像表示制御部４０４はステップＳ１００１で両ＶＲＡＭと表示素子駆動ドライバーを正規の接続モード９０５に初期設定する。

向き特定部４０２はステップＳ６０２及びステップＳ６０４で装置の方向が横向正立なら、処理を終了する。一方、向き特定部４０２がステップＳ６０４で横向正立から１８０度回転した横向倒立と判定したならステップＳ６０５に分岐する。表示器が倒立している状態で正規の画像を３次元表示する為に３次元画画像変換部４０３はステップＳ６０５で画像情報を１８０度回転させる。

更に３次元画像表示制御部４０４はステップＳ１００１に於いて両ＶＲＡＭと表示素子駆動ドライバーを倒立接続モード９０６に切り替える。

即ち３次元画像情報は一対の左右の目用の画像情報を共に１８０度回転し、回転処理した後、右目用ＶＲＡＭに書き込まれた画像情報で左目用表示素子を駆動し、左目用ＶＲＡＭに書き込まれた画像情報で右目用表示素子を駆動する。従って、横向倒立状態の表示器３０を用いて正常に画像を３次元表示する事が可能に成る。

この別実施形態では３次元画像変換処理や３次元画像情報記憶部からの左右の目用の画像の読み出し、及び両ＶＲＡＭへの書き込み処理の際に、装置の向きに拘わらず、常に左右の目用に用意された同じ記憶領域を使用出来る利点が有る。

このように本変形例では、左右の目用の画像情報を、左右用のＶＲＡＭに逆に格納するのではなく、画像情報とＶＲＡＭとの対応付けは、右目用と左目用とで変えることなく、ＶＲＡＭとドライバ（すなわち表示用素子）との対応付けを、左右入れ替える。結果は先の実施形態と同様である。ただし本変形例では、特に画像情報の格納先は入れ替えが不要であり、ＶＲＡＭとドライバーとのバスを切り替えるだけであるので、迅速な処理が可能である。

＜向き特定部の変形例１＞
図１１は、３次元画像表示装置の向き特定部４０２の別実施形態を説明する図である。先の実施形態では向き検出部５０に傾きセンサー８００を用いたが、本別実施形態では表示装置２に装着された撮像部２０を用いて、ユーザを撮影し、撮影したユーザの顔を画像認識し、認識の結果で得られる顔の向きから装置の向きを特定する。３次元表示器３０の横上中央部の撮像部２０で得られるユーザは、装置が横向正立の場合は画像１１０１、横向倒立の場合は画像１１０３、縦向右上の場合は画像１１０４、縦向左上の場合は画像１１０２の様に撮影出来る。

一方、人の顔を認識する公知の技術は例えば、人の目と口をパターンマッチング手法で認識すれば、両目を１１０５と１１０６の位置に、又口は１１０７の位置に認識できる。ここで其々の重心をＰ１，Ｐ２，Ｐ０とし、この３点を結べば破線で示す略２等辺三角形が描ける。顔の向きは口の位置、即ちこの２等辺三角形の頂点Ｐ０の向きに従う。即ち頂点Ｐ０が横長の撮影画面において、下側の場合は装置は横向正立、頂点Ｐ０が上側の場合は装置は横向倒立、頂点Ｐ０が左側の場合は装置は縦向右上、頂点Ｐ０が右側の場合は装置は縦向左上と特定出来る。先の実施形態の向き特定部４０２のステップＳ６０２、ステップＳ６０４、及びステップＳ６０８の判定は全て上記特定結果に従う。この方式では、ユーザーと画面との位置関係を、特別な前提なしに直接的に検知することができる。

先の実施形態は装置が水平の場合、特定が不能であるが、本別実施形態では水平時でも略特定する事が出来る利点を有する。

＜向き特定部の変形例２＞
図１２は、装置の向きを特定する別実施形態２を説明する図である。先の実施形態では向き検出部５０に傾きセンサー８００を用いたが、別実施形態２では向き検出部５０に加速度センサーを用いて装置の向きを特定する。本別実施形態２で用いる加速度センサーはＸ、Ｙ、Ｚ各方向の加速度成分が得られる。装置の向きは、加速度センサによって検知された重力の向きによって、横向正立、横向倒立、縦向右上、縦向左上の何れかを判定する。

装置の重力方向は、所定時間範囲に検出された多数のｘ軸、ｙ軸及びｚ軸の加速度データを用いて、これら各軸の加速度の和のベクトルの向きとみなせる。従って、図１２（Ａ）では、サンプリング時刻ｉにおいてステップＳ１２０１で加速度センサーから得られる各軸の加速度を、
ｘ軸の加速度：Ａｘ［ｉ］
ｙ軸の加速度：Ａｙ［ｉ］
ｚ軸の加速度：Ａｚ［ｉ］
と表すと、サンプリング時刻１からＮまでのＮ個の加速度データをステップＳ１２０２で加算した和は、以下のように表される。
ＡＳｘ＝Σ_i=1 ^NＡｘ［ｉ］
ＡＳｙ＝Σ_i=1 ^NＡｙ［ｉ]
ＡＳｚ＝Σ_i=1 ^NＡｚ［ｉ］
重力ベクトルＧは、以下のように表される。
Ｇ＝（ｇｘ，ｇｙ，ｇｚ）＝（ＡＳｘ，ＡＳｙ，ＡＳｚ）
ステップＳ１２０３でＮ回分の測定値を積算したと判定されたなら、Ｓ１２０４において、重力ベクトルＧの各軸成分を所定閾値で２値化すれば、装置におけるいずれの辺に向かっているかに応じて、４方向のいずれかが判定できる。あるいは、各軸方向は３次元画像表示装置に対して固定されているので、例えばｘ，ｙ軸を画面の縦横それぞれの方向として、ｚ軸を画面の奥行き方向とすれば、加速度のｚ成分は画面の向きの決定のためには無視できる（逆に言えば、加速度センサはｚ軸を除く２軸センサでも良い。）そのため、ＡＳｘまたはＡＳｙのうちいずれか大きい値の方の軸が、より鉛直線と成す角が小さい。すなわち、その軸を縦にして３次元画像表示装置が保持されていると判断できる。これにより、３次元画像表示装置が横向き正立か、横向き倒立か、縦向き右上か、縦向き左上かを判定できる。図１２（Ｂ）の表１２１０は得られた重力ベクトルを２値化した結果とこの結果から特定した装置の向きを示す。

先の実施形態同様に、水平と判断された場合は、直前に得られた向きか、横向正立として扱う。又、先の実施形態の向き特定部４０２のステップＳ６０２、ステップＳ６０４、及びステップＳ６０８の判定は全て表１に示す向き特定結果に従う。

本別実施形態は安価な加速度センサーが使え、より少ない演算で装置の向きが特定出来る事と、先の別実施形態で用いた撮像手段をその本来の使用を妨げない利点が有る。

また上記実施形態は、右目用画像と左目用画像とを、１画素列ごとに交互に表示する表示装置を例としている。しかし、右目用画像をユーザーから見て右側に、左目用画像をユーザーから見て左側にまとめて表示し、いわゆるステレオ画像を実施する際にも、その表示の向きに応じて、左右の画像をユーザーから見てそれぞれ左右に配置するよう画像を入れ替えることで、どの方向から見ても立体視を実現できる。

［実施形態２］
＜レンチキュラーレンズ方式の多視点表示器を用いた別実施形態＞
先の実施形態はパララックスバリア方式の３次元表示器を用いた例を詳説したが、本発明はレンチキュラーレンズ方式の多視点表示器を用いた場合にも適用が可能である。まず、図１３を用いてレンチキュラーレンズ方式の多視点表示器に関して説明する。図１３（Ａ）に於いて３次元表示器３０として用いられるレンチキュラー多視点表示器は、液晶表示器３００とその全面に設けたレンチキュラーレンズ１３０１とを有する。更にその全面にタッチパネル４０を有し、画面上中央部に撮像装置２０を有する。なお撮像装置２０は、それを用いて向き検知を行わないならばなくともよい。

図１３（Ｂ）に、多視点の３次元画像を表示する為の、各レンチキュラーレンズ１３０１と相対位置が保証された各表示画素とを示す。図１３（Ｂ）は、３次元表示器３０を横向きにカットした断面図である。図１３（Ｂ）の３次元表示器３０は、ユーザーが６つの視点からこの３次元表示器３０を見た場合の多視点３次元画像の表示を可能にする。即ち、各１つのレンチキュラーレンズは、１つの画素ライン内で、画素３０２から画素３０３までの一組７つの表示画素を覆っている。尚、レンチキュラーレンズは縦向きに延びているため、ライン数をＬとすれば、１つのレンチキュラーレンズは７個×Ｌラインの画素をカバーしている。各ラインはすべて図１３（Ｂ）と同様の構成である。３次元表示器３０は一般的に公知の技術で実現される物で、カラー表示可能であるが、簡略化するため単色表示とし、１次元の表示器として以降説明する。

図１３（Ｃ）と図１３（Ｄ）に、其々異なる視点１と視点４とから人が見た場合に見える画素をそれぞれ示す。即ちレンチキュラーレンズ３０１の光学特性に依って、視点１のユーザーの右目では画素２のみが、視点１のユーザーの左目では画素１のみが見える。また、視点４のユーザーの右目では画素５のみが、視点４のユーザーの左目では画素４のみが見える。１組７個の素子に、それぞれ視点に応じた視差の画像が表示され、１つの３次元画像は、隣接する２画素を用いて表示されることから、本例のように７画素を１組としてレンチキューレンズで覆った場合には、６つの異なる視点からの立体視が可能となる。このようなレンチキュラーレンズによる３次元画像の表示は公知の原理であり、本明細書では更なる詳細な説明を省略する。図１４に被写体と各視点でユーザーの左右の目で見える画像１から画像７との関係を示す。

それぞれの視点で３次元表示する３次元画像を得る為には、ユーザーの左右のそれぞれの眼で見た画像に相当する一対の２次元画像を撮影する。同一被写体を視点１から視点６まで連続的に３次元表示する為に、視点Ｎ（Ｎは１〜６のいずれかの整数）においてユーザーの左目で見る画像Ｎは、視点Ｎ−１におけるユーザーの右目で見る画像と同じである。なお本発明では３次元表示器で表示された画像全体、即ち表示された全ての画像オブジェクトの総称を被写体と呼ぶ。これらの画像を示す２次元画像情報を分割して先のレンチキュラーレンズ３０１と相対位置を保った液晶表示画素で表示すれば、図１４で示す各視点から被写体を見た際と同じ立体像を見る事が出来る。即ち図１３（Ｃ）及び図１３（Ｄ）で示す画素１は視点１の左側で撮影した２次元画像（画像１）を示す２次元画像情報の１部であり、画素２は視点１の右側で撮影した２次元画像（画像２）を示す２次元画像情報の１部である。また、画素４は視点４の左側で撮影した２次元画像（画像４）を示す２次元画像情報の１部であり、画素５は視点４の右側で撮影した２次元画像（画像５）を示す２次元画像情報の１部である。

ところで、レンチキュラーレンズ方式の多視点画像表示器を１８０度回転した場合の画像の見え方を図１５に示す。先の実施形態と同様に、レンチキュラーレンズと各表示画素とは一定の光学位置関係が保たれている為、図１５（Ａ）に於いて視点３の左目では、画像５が、視点３の右目では画像４が見える事になる。図１４で示した各視点とユーザーが見る画像との関係と比較すると、本来、正常な３次元画像は、視点３の左目には画像３が、右目では画像４を表示しなければならないが、視点と左右の画像が逆に異なる為、正常な３次元画像としては見えない。即ち、装置を横向倒立させても正常に多視点の３次元表示をおこなうには、画像情報を１８０度回転すると共に、横向正立時に画像Ｎの表示を担った表示素子で、画像（８−Ｎ）を表示させなければならない。図１５（Ｂ）は同様に視点６において左右それぞれの目で見る画像がそれぞれ画像２，１であることを示す。図１３にあるように、画像１，２はそれぞれ視点１の右目と左目で見る画像のはずで、視点と画像との対応が本来とは違っているのみならず、左右が逆であり、奥行きが反転する。

図１６に、装置の向きに応じた多視点３次元表示制御の本実施形態の例を、図１７にその制御の手順をフローチャートで示す。向き特定部４０２はステップＳ６０２でまず装置の向きが縦か横かを判定し、横向きの場合は３次元表示器３０がレンチキュラーレンズ方式で３次元表示可能な為、ステップＳ１７０１に分岐する。３次元画像表示制御部４０４はステップＳ１７０１で３次元画像情報記憶部４０１から其々表示すべき６視点からの３次元画像を表示する為に、画像１の画像情報１６０１から画像７の７つの画像情報１６０２を読み出し、それぞれ画像１用のＶＲＡＭ１６０３から画像７用のＶＲＡＭ１６０４に書き込む。

向き特定部４０２はステップＳ６０４で更に方向が横向正立と判断するなら、処理を終了する。図１６に示す様に、画像１用のＶＲＡＭ１６０３から画像７用のＶＲＡＭ１６０４に書き込まれた画像情報は、直接画像１を表示する素子１６０７を駆動するドライバー１６０５から画像７を表示する素子１６０８を駆動するドライバー１６０５に１対１対応して接続されている。従って横向正立した状態では、ユーザが６視点から見ても、連続した３次元の画像としての表示が行える。

次に装置が横向倒立の場合を詳説する。向き特定部４０２がステップＳ６０４で横向倒立と判定したなら、ステップＳ１７０２に分岐する。３次元表示器３０が倒立している状態で正しく多視点３次元画像を表示する為には、まず、３次元画画像変換部４０３はステップＳ１７０２で画像１の画像情報１６０１から画像７の画像情報１６０２まで、其々の画像情報を１８０度回転させる。

尚、横向倒立で使用する場合、先に述べた様に、３次元画画像変換部４０３で画像情報をステップ１７０２で１８０度回転しただけでは正しく３次元表示する事が出来ない。そこで３次元画像表示制御部４０４は、ステップ１７０３で３次元画像変換部４０３で１８０度回転した画像１の画像情報１６０１から画像７の画像情報１６０２を其々読み出し、横向正立の場合と逆に画像１の画像情報１６０１を画像７表示用のＶＲＡＭ１６０４に、画像２の画像情報を画像６表示用のＶＲＡＭに書き込み、画像３の画像情報を画像５表示用のＶＲＡＭに書き込み、画像４の画像情報を画像４表示用のＶＲＡＭに書き込み、画像５の画像情報を画像３表示用のＶＲＡＭに書き込み、画像６の画像情報を画像２表示用のＶＲＡＭに書き込み、画像７の画像情報１６０２を画像１用のをＶＲＡＭ１６０３に書き込む。すなわち、画像を１８０度回転するとともに、各視点の画像の順序も逆順に入れ替える。なおこれは実施形態１についても同様であり、３次元画像表示装置の向きと画像情報の加工との関係のみに着目すれば、実施形態１は、視点の数を１とした場合の本実施形態と同じ処理を行うことになる。

尚、本実施形態の３次元表示器は縦方向で３次元表示が出来ないのみならず、レンチキュラーレンズのために２次元表示も困難である。その為、装置は横向正立か横向倒立かを検知して、上記３次元表示の制御を切り替えるのみとする。

＜その他の別実施形態＞
本実施形態では装置が縦向きの場合には３次元表示が出来ない例を開示したが、例えば、装置が縦向きでもパララックスバリアを電気的に切り替えて直交方向に変えられる３次元画像表示器の場合、その光学特性に従えば、縦向右上使用の場合と、縦向左上使用の場合では、先に説明した横向正立と横向倒立と全く同じ１８０度の関係に有る為、先術と同様にして本発明を実施すれば共に正常な３次元表示が可能になる。

本実施形態では各視点の視差画像対単位で３次元表示制御を行う技術を開示したが、例えば、一対の視差画像全体を一つの画像情報として扱い、横向倒立で表示する場合、該画像全体を１８０度回転させ、丁度左右の表示を担当する表示画素が互いに反対の表示画素が担当する様に表示位置が対応出来れば、本発明実施形態と同様に正常に３次元表示する事が出来る。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

左右の目による視差を反映した左目用画像と右目用画像とを一つの画面に表示する画像表示装置であって、
第１および第２の記憶部を有する記憶手段と、
前記左目用画像と前記右目用画像とを表示する表示手段と、
前記表示手段の向きを検知する検知手段と、
前記検知手段により検知した向きに応じて、前記左目用画像と前記右目用画像とを、前記検知手段により検知した向きに対応する配列で表示させる表示制御手段と
を有し、
前記表示手段は、表示素子の配列を有し、前記第１および第２の記憶部の一方の記憶部に記憶された画像を当該配列のうちの第１の表示素子で表示し、他方の記憶部に記憶された画像を当該配列のうちの第２の表示素子で表示し、
前記表示制御手段は、
前記検知した向きが正立方向である場合、前記左目用画像と前記右目用画像とをそれぞれ前記第１の記憶部と前記第２の記憶部とに記憶し、前記第１の記憶部と前記第２の記憶部とをそれぞれ前記一方の記憶部と前記他方の記憶部とすることで、前記左目用画像と前記右目用画像とを所定の配列で表示させ、
前記検知した向きが倒立方向である場合、前記左目用画像と前記右目用画像とをそれぞれ１８０度回転し、回転した前記左目用画像と前記右目用画像とをそれぞれ前記第１の記憶部と前記第２の記憶部とに記憶し、前記第１の記憶部と前記第２の記憶部とをそれぞれ前記他方の記憶部と前記一方の記憶部とすることで、前記左目用画像と前記右目用画像とを前記所定の配列の逆の配列で表示させることを特徴とする画像表示装置。
前記表示手段は、パララックスバリア方式で前記左目用画像と前記右目用画像とを表示し、
前記表示制御手段は、検知した向きが正立方向に対して直交した方向である場合、前記左目用画像と前記右目用画像のいずれか一方を、前記検知した方向に対応する角度だけ回転し、前記左目用画像および前記右目用画像として表示させることを特徴とする請求項１に記載の画像表示装置。
前記表示手段は、レンチキュラーレンズ方式で、前記左目用画像と前記右目用画像として複数の視点に対応したそれぞれの画像を該視点の方向に応じた配列で表示し、
前記表示制御手段は、前記検知手段により検知した向きが正立方向である場合、前記複数の視点に対応したそれぞれの画像を、それぞれ正立方向に、前記複数の視点における前記左目用画像と前記右目用画像とがユーザーの左右の目それぞれで見える所定の配列で表示させ、
検知した向きが倒立方向である場合、前記複数の視点に対応したそれぞれの画像を前記正立方向から１８０度回転し、前記所定の配列の逆の配列で表示させることを特徴とする請求項１に記載の画像表示装置。
前記検知手段は、鉛直方向を検知するセンサーを有し、前記表示手段の所定の側が鉛直方向に沿っている場合に、前記正立方向であることを検知することを特徴とする請求項１乃至３のいずれか一項に記載の画像表示装置。
前記画像表示装置のユーザーの顔を撮像する撮像手段を有し、
前記検知手段は、前記撮像で得られた画像から特定されるユーザーの顔の向きに基づいて前記表示手段の向きを検知することを特徴とする請求項１乃至３のいずれか一項に記載の画像表示装置。
第１および第２の記憶部と、表示素子の配列を有し、かつ、前記第１および第２の記憶部の一方の記憶部に記憶された画像を当該配列のうちの第１の表示素子で表示し、他方の記憶部に記憶された画像を当該配列のうちの第２の表示素子で表示する表示部と、を有する画像表示装置に、左右の目による視差を反映した左目用画像と右目用画像とを前記表示部に表示するための画像表示方法を実行させるためのプログラムであって、前記画像表示方法は、
前記表示部の向きを検知する検知工程と、
前記検知工程により検知した向きに応じて、前記左目用画像と前記右目用画像とを、前記検知工程により検知した向きに対応する配列で前記表示部に表示する表示制御工程と、
を有し、
前記表示制御工程は、
前記検知した向きが正立方向である場合、前記左目用画像と前記右目用画像とをそれぞれ前記第１の記憶部と前記第２の記憶部とに記憶し、前記第１の記憶部と前記第２の記憶部とをそれぞれ前記一方の記憶部と前記他方の記憶部とすることで、前記左目用画像と前記右目用画像とを所定の配列で表示させ、
前記検知した向きが倒立方向である場合、前記左目用画像と前記右目用画像とをそれぞれ１８０度回転し、回転した前記左目用画像と前記右目用画像とをそれぞれ前記第１の記憶部と前記第２の記憶部とに記憶し、前記第１の記憶部と前記第２の記憶部とをそれぞれ前記他方の記憶部と前記一方の記憶部とすることで、前記左目用画像と前記右目用画像とを前記所定の配列の逆の配列で表示させることを特徴とするプログラム。
第１および第２の記憶部と、表示素子の配列を有し、かつ、前記第１および第２の記憶部の一方の記憶部に記憶された画像を当該配列のうちの第１の表示素子で表示し、他方の記憶部に記憶された画像を当該配列のうちの第２の表示素子で表示する表示部と、を有する画像表示装置において、左右の目による視差を反映した左目用画像と右目用画像とを前記表示部に表示する画像表示方法であって、
前記表示部の向きを検知する検知工程と、
前記検知工程により検知した向きに応じて、前記左目用画像と前記右目用画像とを、前記検知工程により検知した向きに対応する配列で前記表示部に表示する表示制御工程と、
を有し、
前記表示制御工程は、
前記検知した向きが正立方向である場合、前記左目用画像と前記右目用画像とをそれぞれ前記第１の記憶部と前記第２の記憶部とに記憶し、前記第１の記憶部と前記第２の記憶部とをそれぞれ前記一方の記憶部と前記他方の記憶部とすることで、前記左目用画像と前記右目用画像とを所定の配列で表示させ、
前記検知した向きが倒立方向である場合、前記左目用画像と前記右目用画像とをそれぞれ１８０度回転し、回転した前記左目用画像と前記右目用画像とをそれぞれ前記第１の記憶部と前記第２の記憶部とに記憶し、前記第１の記憶部と前記第２の記憶部とをそれぞれ前記他方の記憶部と前記一方の記憶部とすることで、前記左目用画像と前記右目用画像とを前記所定の配列の逆の配列で表示させることを特徴とする画像表示方法。