JP6837031B2 - 立体画像表示装置、立体画像表示方法及びプログラム - Google Patents

Description

本発明は、ユーザーが立体画像として認識可能な画像を表示する立体画像表示装置及びプログラムに関する。

ユーザーが立体画像を認識可能な画像を表示する立体画像表示装置が開発されている。例えば、表示装置に右目用画像と左目用画像を独立して表示させ、３Ｄメガネを通して表示装置を見ることで、ユーザーは画像を３Ｄとして認識することができる。

特許文献１には、モニタを実際に観察する観察者が望む立体感を与える奥行き量で３次元観察用画像を表示することができる３次元画像システムが開示されている。

特許第５８６９１８４号公報

ところで、立体画像表示装置とユーザーの距離が変化すると、ユーザーが認識する立体画像の大きさ及びアスペクト比（幅：奥行き）が変化する。しかし、例えば立体画像表示装置を利用して内視鏡手術を実施している場合には、表示対象の見え方が変化することにより、施術に支障をきたすことがあり得る。

本発明はこのような事情に鑑みてなされたものであり、立体画像表示装置とユーザーの距離が変化した場合でも、一定の大きさ及びアスペクト比で表示対象を表示可能な立体画像表示装置及びプログラムを提供するものである。

本発明によれば、表示部、取得部及び調整部を備える立体画像表示装置であって、前記取得部は、前記表示部からユーザーまでの視距離である観測視距離を取得可能に構成され、前記調整部は、基準視距離及び前記観測視距離に基づいて、表示画像の表示態様を調整可能に構成され、前記表示部は、前記調整された表示態様に基づいて立体画像を表示する、立体画像表示装置が提供される。

本発明によれば、調整部は、基準視距離及び観測視距離に基づいて、表示画像の表示態様を調整可能に構成される。そして、表示部は、調整された表示態様に基づいて立体画像を表示する。これにより、基準視距離における表示画像の見え方と、実際の観測視距離における表示画像の見え方を同じにすることが可能になる。

以下、本発明の種々の実施形態を例示する。以下に示す実施形態は互いに組み合わせ可能である。
好ましくは、算出部を備え、前記算出部は、以下の拡縮調整量を算出可能に構成され、（拡縮調整量）＝（観測視距離／基準視距離）前記調整部は、前記算出された拡縮調整量を用いて前記表示画像の表示拡縮を調整する。
好ましくは、前記調整部は、以下の制御式１又は制御式２により前記表示画像の表示拡縮を調整する。＜制御式１＞（Ｒｏ）＝（Ｒｓ×拡縮調整量）
・Ｒｏ：観測視距離における前記表示画像の表示拡縮
・Ｒｓ：基準視距離における前記表示画像の表示拡縮
＜制御式２＞（Ｓｏ）＝（Ｓｓ×拡縮調整量）
・Ｓｏ：観測視距離における前記表示画像のサイズ
・Ｓｓ：基準視距離における前記表示画像のサイズ
好ましくは、前記拡縮調整量は、前記表示画像と前記表示部の相対的な大きさにより、下限及び／又は上限が設定され、通知部をさらに備え、前記通知部は、以下の（１）又は（２）の場合に通知する。
（１）前記観測視距離における前記拡縮調整量が前記下限を下回るか前記上限を上回る場合
（２）前記観測視距離における視認サイズについて、前記基準視距離における視認サイズからの変動量がユーザーにより許容される値の範囲外となる場合
好ましくは、算出部を備え、前記算出部は、以下の視差調整量を算出可能に構成され、（視差調整量）＝｛（基準視距離／観測視距離）−１｝×視差前記調整部は、前記算出された視差調整量を用いて前記表示画像の視差を調整する。
好ましくは、前記表示部は、右目用画像及び左目用画像を独立して表示可能に構成され、前記調整部は、右目用画像及び左目用画像を、（１）「視差調整量」又は（２）「拡縮調整量×視差調整量」に対応する距離まで互いに近づける又は遠ざけるように調整する。
好ましくは、前記視差調整量は、前記立体画像の結像位置が前記表示部の表示面又は表示面より手前に位置するときを下限とする。
好ましくは、前記視差調整量は、前記立体画像の結像位置が無限遠に位置するときを上限とする。
好ましくは、通知部を備え、前記通知部は、以下の（１）、（２）又は（３）の場合に通知する。
（１）前記観測視距離における前記視差調整量が前記下限を下回る場合
（２）前記観測視距離において視認される前記立体画像における幅と奥行きの比率について、前記基準視距離における前記比率からの変動量がユーザーにより許容される値の範囲外となる場合
（３）前記観測視距離における所定の立体画像が結像されなくなる場合
好ましくは、通知部を備え、前記通知部は、以下の（１）、（２）又は（３）の場合に通知する。
（１）前記観測視距離における前記視差調整量が前記上限を上回る場合
（２）前記観測視距離において視認される前記立体画像における幅と奥行きの比率について、前記基準視距離における前記比率からの変動量がユーザーにより許容される値の範囲外となる場合
（３）前記観測視距離における所定の立体画像が結像されなくなる場合
好ましくは、前記視差は、前記表示部における注目領域に含まれる視差のヒストグラムに基づいて決定される。
好ましくは、前記調整部は、前記基準視距離及び前記観測視距離に基づいて、前記観測視距離における前記立体画像の幅及び奥行きが固定されるように、表示画像の表示態様を調整可能に構成される。
他の観点によれば、表示部からユーザーまでの視距離である観測視距離を取得する取得ステップと、基準視距離及び前記観測視距離に基づいて、表示画像の表示態様を調整する調整ステップと、前記調整された表示態様に基づいて立体画像を表示する表示ステップと、を備える立体画像表示方法が提供される。
他の観点によれば、コンピュータを、表示部からユーザーまでの視距離である観測視距離を取得する取得部、基準視距離及び前記観測視距離に基づいて、表示画像の表示態様を調整する調整部、前記調整された表示態様に基づいて立体画像を表示する表示部、として機能させるためのプログラムが提供される。

本発明の一実施形態に係る立体画像表示装置１の機能ブロック図である。 立体画像表示装置１が実行する拡縮調整処理を表すフローチャートである。 図３Ａは、基準視距離から立体画像表示装置１を見ている状態を表す模式図である。図３Ｂは、観測視距離から立体画像表示装置１を見ている状態を表す模式図である。 人が視認する立体画像の大きさＳ（Ｌ）を導出する計算式を表す図である。 Ｓ（Ｌ）を導出する計算式で用いるパラメータを説明するための図である。 立体画像の大きさＲｓｃａｌｅと、立体画像のアスペクト比Ｒａｓｐｅｃｔを用いて、表示画像の表示態様を調整する際に用いる拡縮調整量α及び視差調整量βを導出する計算式を表す図である。 図７Ａは、基準視距離において立体画像表示装置１を見ている状態を表す模式図である。図７Ｂは、観測視距離において立体画像表示装置１を見ている状態を表す模式図である。 図８Ａは、観測視距離において拡縮調整処理を実行した場合の模式図である。図８Ｂは、観測視距離において視差調整処理を実行した場合の模式図である。図８Ｃは、観測視距離において拡縮調整処理及び視差調整処理を実行した場合の模式図である。 図７Ａ〜図７Ｂ及び図８Ａ〜図８Ｃに対応する図であって、ユーザーに視認される立体画像と、立体画像表示装置１に表示される表示画像を表す図である。 図１０Ａは、立体画像表示装置１が制御可能な拡縮範囲を表すグラフである。図１０Ｂは、拡縮補正の上限を説明するための模式図である。 立体画像表示装置１が実行する視差調整処理を表すフローチャートである。 表示対象に起因する視差について説明するための模式図である。 基準視距離の前後においてアスペクト比が変化する様子を表す模式図である。 人が視認する立体画像のアスペクト比Ａ（Ｌ）を導出する計算式を表す図である。 立体画像表示装置１が制御可能な視差範囲を表すグラフである。 本発明の立体画像表示装置１を用いた実際の実験結果である。 本発明の変形例について説明するための模式図である。 変形例における拡縮調整量α及び視差調整量βを導出する計算式を表す図である 変形例について、拡縮調整量α及び視差調整量βの計算について説明するための図である。

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。

以下、図１を用いて、本発明の一実施形態に係る立体画像表示装置１について説明する。

１．立体画像表示装置１の構成
立体画像表示装置１は、操作部２、表示部３、通信部４、記憶部５及び制御部１０を備える。

操作部２は、立体画像表示装置１を操作するものであり、例えば、タッチパネル、キーボード、スイッチ、音声入力部又は動き検出部により構成される。表示部３は、種々の画像（静止画及び動画を含む）を表示するものであり、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、任意のタッチパネルディスプレイやその他のディスプレイで構成される。通信部４は、制御部１０又は他の情報処理装置と種々のデータを送受信するものであり、任意のＩ／Ｏにより構成される。記憶部５は、種々のプログラム及び立体画像表示装置１が実行する表示画像の調整に用いるパラメータ及び計算式を記憶するものであり、例えば、メモリ、ＨＤＤ又はＳＳＤ等により構成される。

制御部１０は、取得部１１、調整部１２、算出部１３及び通知部１４を備える。制御部１０は、プログラムを読み出して種々の演算処理を実行するものであり、例えば、ＣＰＵ等により構成される。取得部１１は、表示部３からユーザーまでの視距離である観測視距離を取得可能に構成される。取得部１１は、例えばカメラやセンサーにより構成することができる。なお、取得部１１は、立体画像表示装置１の内部又は外部にあるカメラやセンサーより観測視距離を取得してもよい。また、ユーザーが操作部２を操作して観測視距離を入力する構成としてもよい。例えば、操作部２によりＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）上で観測視距離が入力される構成としてもよい。

調整部１２は、基準視距離及び観測視距離に基づいて、表示部３に表示される表示画像の表示態様を調整可能に構成される。ここで、基準視距離とは、ユーザーが視認する立体画像の大きさ及び視差の基準となる視距離である。本実施形態では、基準視距離から立体画像表示装置１を観察した場合に、表示対象が最も自然に見えるように調整している。ここで、基準視距離の距離は任意であり、本実施形態では、表示部３の高さＨの３倍の距離を基準視距離としている。なお、基準視距離の決め方はこれに限定されず、表示部３の高さＨを用いずに具体的な数値で規定してもよい。そして、表示部３は、調整部１２により調整された表示態様に基づいて立体画像を表示する。ここで、かかる立体画像は、現実には表示部３に表示される２次元の画像であり、右目用画像及び左目用画像を独立して表示可能に構成される。ここで、右目用画像及び左目用画像は、右目用カメラ及び左目用カメラを用いて同一の撮像対象を撮像した画像であり、視差を含むものである。そして、ユーザーは３Ｄメガネを着用した状態で表示部３を見ることにより、表示画像を立体画像として視認する。具体的には、表示部３は、右目用画像と左目用画像を１ライン毎に交互に表示させるとともに、表示部３上に別方向の偏光フィルタを１ライン毎に備え、３Ｄメガネの左右のレンズに設けられた別方向の偏光フィルタを通して表示部３を見ることにより、立体画像を視認可能ないわゆる「パッシブ方式」を採用することができる。なお、立体画像の表示方式はこれに限定されず、「アクティブシャッター方式」等の公知の手法を採用することができる。

算出部１３は、拡縮調整量を算出可能に構成される。本実施形態では、「拡縮調整量α＝（観測視距離／基準視距離）」で表される数値である。ここで、拡縮とは、表示画像の倍率を変更するものであり、表示画像の倍率を部分的に変更する場合も含まれる。そして、調整部１２は、算出部１３により算出された拡縮調整量を用いて表示画像の表示拡縮を調整する。本実施形態では、かかる処理を拡縮調整処理という。

また、算出部１３は、視差調整量を算出可能に構成される。本実施形態では、「視差調整量β＝「｛（基準視距離／観測視距離）−１｝×視差」で表される数値である。ここで、視差とは、表示部３に表示させる表示画像における、右目用画像と左目用画像で表される表示対象の位置ずれ量を表す。そして、調整部１２は、算出部１３により算出された視差調整量を用いて表示画像の視差を調整する。本実施形態では、かかる処理を視差調整処理という。

上記の各構成要素は、ソフトウェアによって実現してもよく、ハードウェアによって実現してもよい。ソフトウェアによって実現する場合、ＣＰＵがプログラムを実行することによって各種機能を実現することができる。プログラムは、内蔵の記憶部に格納してもよく、コンピュータ読み取り可能な非一時的な記録媒体に格納してもよい。また、外部の記憶部に格納されたプログラムを読み出し、いわゆるクラウドコンピューティングにより実現してもよい。ハードウェアによって実現する場合、ＡＳＩＣ、ＦＰＧＡ、又はＤＲＰなどの種々の回路によって実現することができる。本実施形態においては、様々な情報やこれを包含する概念を取り扱うが、これらは、０又は１で構成される２進数のビット集合体として信号値の高低によって表され、上記のソフトウェア又はハードウェアの態様によって通信や演算が実行され得るものである。

２．拡縮調整処理
次に、図２〜図１０を用いて、拡縮調整処理について説明する。

図２に示すように、Ｓ１において、取得部１１により、観測視距離が取得される。以下、本実施形態では、図３Ａに示される基準視距離（視距離：３Ｈ）に対して、図３Ｂに示される観測視距離（視距離：４Ｈ）の例を用いて説明する。

次に、Ｓ２において、算出部１３により拡縮調整量が算出される。拡縮調整量とは、表示部３に表示される表示画像の拡縮を調整する量であり、観測視距離においても基準視距離と同様の大きさで表示対象を視認できるようにするために、表示画像の拡縮を調整するものである。以下、拡縮調整量について、図４〜図６を用いて説明する。

＜拡縮調整量＞
図４は、ユーザーが立体画像表示装置１を見ている状態を模式的に表す平面図である。図４において、立体画像の上下方向は、ユーザーが視認する立体画像の奥行きを表すものである。図５に示すように、本実施形態では、人が視認する立体画像の大きさＳ（Ｌ）を、「人が視界に入れる範囲（画面距離）に占める物体の大きさ」として定義する。これは、「立体画像の幅ｒ'／人間の画角距離」で表される。ここで、人間の画角距離は、人間の左右方向の視界限界に収まる画像の水平方向の距離「（Ｌ＋Ｌ'）ｔａｎθｈ（θｈ：人の眼の画角）」で表すことができる。したがって、「Ｓ（Ｌ）＝ｒ'／（Ｌ＋Ｌ'）ｔａｎθｈ」となる。

ここで、図５に示すように、Ｌ'及びｒ'はそれぞれ、三角形の相似より、「Ｌ'＝ｄＬ／（２ｅ−ｄ）」、「ｒ'＝２ｅｒ／（２ｅ−ｄ）」と表すことができる。これらを図４の式に代入することにより、「Ｓ（Ｌ）＝ｒ／Ｌｔａｎθｈ」となる。

次に、図６及び図７に示すように、基準視距離（Ｌｂａｓｅ）において幅ｒで表示される表示画像を、観測視距離（Ｌｏｂｓ）から観測すると、表示画像の大きさが変化して見える。例えば、基準視距離よりも立体画像表示装置１に近い観測視距離においては、ユーザーが視認する立体画像は相対的に大きくなり、基準視距離よりも立体画像表示装置１から遠い観測視距離においては、ユーザーが視認する立体画像は相対的に小さくなる。これを解消し、基準視距離（Ｌｂａｓｅ）と異なる観測視距離（Ｌｏｂｓ）から観測した場合でも人が視認する立体画像の大きさＳ（Ｌ）を一定にするために、拡縮調整量αを計算する。本実施形態では、基準視距離（Ｌｂａｓｅ）において表示画像の幅がｒであるとき、実際の観測視距離（Ｌｏｂｓ）における表示画像の幅ｒ'は、「ｒ'＝ｒα」となるように制御する。ここで、表示画像の幅ｒ'と、立体画像の幅ｒ'は異なるものである。

αの求め方は、以下の通りである。すなわち、「観測視距離において人が視認する立体画像の大きさＳｏｂｓ（Ｌｏｂｓ）」を「基準視距離において人が視認する立体画像の大きさＳｂａｓｅ（Ｌｂａｓｅ）」で割った値であるＲｓｃａｌｅが１となるようなαを計算する。これにより、「α＝Ｌｏｂｓ（観測視距離）／Ｌｂａｓｅ（基準視距離）」が導出される。

次に、図２のＳ３において、調整部１２により、拡縮調整処理が実行される。以下、拡縮調整処理について、図７〜図９を用いて説明する。

＜拡縮調整処理＞
図７Ａに示すように、所定の右目用画像及び左目用画像を立体画像表示装置１に独立して表示させることにより、基準視距離（３Ｈ）において、立体画像表示装置１を観測するユーザーは表示画像を立体画像として視認する。そして、図７Ｂに示すように、観測視距離（４Ｈ）から立体画像表示装置１を観測した場合には、ユーザーが視認する立体画像は小さく見える。これは、立体画像表示装置１に実際に表示している右目用画像及び左目用画像は変化していないが、立体画像表示装置１とユーザーの視距離が遠くなったためである。さらに、ユーザーが視認する立体画像の奥行きが伸びる。この状態で拡縮調整処理を実行した状態を表すのが図８Ａである。本実施形態では、図７Ａ及び図７Ｂにおける表示画像の拡縮をα倍することにより、観測視距離（４Ｈ）から立体画像表示装置１を観測した場合でも、基準視距離（３Ｈ）から立体画像表示装置１を観測したときと同様の大きさで表示対象を視認することが可能になる。

図９は、図８Ａにおける拡縮調整処理を説明するための図である。図９に示すように、観測視距離（４Ｈ）のときに視認される立体画像は、基準視距離（３Ｈ）のときと比べて小さくなり、且つ、奥行きが伸びる。そこで、拡縮調整処理を実行するために、αを算出する。図７〜図９の例では、「α＝Ｌｏｂｓ（観測視距離）／Ｌｂａｓｅ（基準視距離）＝４／３」である。そして、拡縮調整処理では、所定の点を基準とし、表示対象の幅ｒをα（＝４／３）倍することにより、ユーザーが視認する立体画像の大きさＳ（Ｌ）が一定となる。

ここで、拡縮調整処理の具体的なやり方はこれに限定されない。例えば、調整部１２は、以下の制御式１又は制御式２により表示画像の表示拡縮を調整することができる。

＜制御式１＞（Ｒｏ）＝（Ｒｓ×拡縮調整量）
・Ｒｏ：観測視距離における表示画像の表示拡縮（表示倍率）
・Ｒｓ：基準視距離における表示画像の表示拡縮（表示倍率）

＜制御式２＞（Ｓｏ）＝（Ｓｓ×拡縮調整量）
・Ｓｏ：観測視距離における表示画像のサイズ
・Ｓｓ：基準視距離における表示画像のサイズ

次に、図２のＳ４において、制御部１０により、拡縮調整処理後の結果が通知対象か否かが判定される。本実施形態では、拡縮調整処理が制御可能な範囲であるか否かに基づいて、通知対象か否かを判定する。これについて、図１０を用いて説明する。

＜制御可能な拡縮調整範囲＞
図１０Ａに示すように、拡縮調整量の上限（αｍａｘ）及び下限（αｍｉｎ）の間で、αは観測視距離Ｌに比例する。そして、αｍａｘに対応するＬｍａｘ以上では、α＝αｍａｘで一定となる。一方、αｍｉｎに対応するＬｍｉｎ以下では、α＝αｍｉｎで一定となる。

図１０Ｂに示すように、表示対象（すなわち、拡縮調整処理の対象領域である注目領域ＲＯＩ：Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）と表示部３の相対的な大きさにより、αの上限（αｍａｘ）が決定される。本実施形態では、αｍａｘは、注目領域ＲＯＩが表示部３内に収まる限界であるときのαをαｍａｘとして規定する。ここで、仮にαをαｍａｘより大きくすると、注目領域ＲＯＩの一部が表示部３内に収まらなくなるので、図１０Ａに示すように、αｍａｘに対応するＬｍａｘ以上では、α＝αｍａｘで一定とすることにより、注目領域ＲＯＩが表示部３内に収まりきらない事態を回避することができる。

一方、αの下限（αｍｉｎ）は、注目領域ＲＯＩが視認可能な限界又はユーザーが視認したい最低限の大きさにより規定される。図１０Ｂに示すように、αｍｉｎの状態では、表示対象が視認可能な限界又はユーザーが視認したい最低限の大きさとなる。ここで、仮にαをαｍｉｎより小さくすると、注目領域ＲＯＩが小さくなりすぎて視認性が低下するので、図１０Ａに示すように、αｍｉｎに対応するＬｍｉｎ以下では、α＝αｍｉｎで一定とすることにより、注目領域ＲＯＩの大きさが最小となる状態を維持することができる。

このように、本実施形態では、拡縮調整量は、表示画像と表示部３の相対的な大きさにより、下限及び／又は上限が設定される。そして、図２のＳ４において、αが制御可能範囲外である場合、通知対象であると判断し、Ｓ５に進む。そして、Ｓ５において、通知部１４は、外部端末（例：ユーザー端末）にαが制御可能範囲外となったことを通知する。すなわち、本実施形態では、観測視距離における拡縮調整量が下限を下回るか上限を上回る場合、通知部１４がその旨通知する。これにより、例えばユーザーが立体画像表示装置１から離れすぎた場合や近づきすぎた場合に、その旨を通知部１４からユーザー端末に通知することにより、ユーザーが不適切な観測視距離に移動することを防止する事が可能になる。

ここで、通知対象の判定手法はこれに限定されない。例えば、観測視距離における視認サイズについて、基準視距離における視認サイズからの変動量がユーザーにより許容される値の範囲外となる場合に、通知部１４が通知するようにしてもよい。ここで、変動量とは、基準視距離における視認サイズを基準とし、観測視距離における視認サイズの拡大又は縮小の割合を表す。例えば、ユーザーにより許容される変動量が２５％である場合には、観測視距離における視認サイズが基準視距離における視認サイズから２５％の範囲外となる場合に、通知部１４が通知するようにしてもよい。例えば、図１０Ａに示されるＬｍａｘから立体画像表示装置１を観測する場合における注目領域ＲＯＩの視認サイズは、基準視距離における注目領域ＲＯＩの視認サイズと同じである。この状態からさらに立体画像表示装置１から遠ざかる、つまり、観測視距離を遠くすると、α＝αｍａｘで一定であるため、ユーザーが視認する注目領域ＲＯＩの大きさは小さくなっていく。しかし、注目領域ＲＯＩの視認サイズが基準視距離における視認サイズから２５％の範囲内であれば視認サイズの変化を許容することにより、上述の例と比べて通知対象となる観測視距離の上限を大きくすることが可能となる。ここで、変動量について、ユーザーにより許容される値の範囲は、１０、１５、２０、２５、３０、３５、４０、４５、５０％としてもよく、ここで例示した数値の何れか２つの間の範囲内であってもよい。

一方、図１０Ａに示されるＬｍｉｎから立体画像表示装置１を観測する場合における注目領域ＲＯＩの視認サイズは、基準視距離における注目領域ＲＯＩの視認サイズと同じである。この状態からさらに立体画像表示装置１に近づく、つまり、観測視距離を近くすると、α＝αｍｉｎで一定であるため、ユーザーが視認する注目領域ＲＯＩの大きさは大きくなっていく。しかし、注目領域ＲＯＩの視認サイズが基準視距離における視認サイズから２５％の範囲内であれば視認サイズの変化を許容することにより、上述の例と比べて通知対象となる観測視距離の下限を大きくすることが可能となる。

すなわち、本実施形態では、通知部１４は、以下の（１）又は（２）の場合に通知するように構成可能である。
（１）観測視距離における拡縮調整量が下限を下回るか上限を上回る場合
（２）観測視距離における視認サイズが基準視距離における視認サイズから２５％の範囲外となる場合

一方、αが制御可能範囲内である場合、通知対象でないと判断し、Ｓ５をスキップする。ここで、説明の便宜上、Ｓ４をＳ３の後に実行するとしているが、実際にはＳ３の前にＳ４を実行してもよく、Ｓ３と同時にＳ４を実行してもよい。

３．視差調整処理

次に、図７〜図９、図１１〜図１５を用いて、視差調整処理について説明する。図１１に示すように、Ｓ１１において、取得部１１により、観測視距離が取得される。次に、Ｓ１２において、算出部１３により視差調整量が算出される。視差調整量とは、表示部３に表示される表示画像の視差を調整する量であり、観測視距離においても基準視距離と同様の奥行き（幅と奥行きの比率：アスペクト比）で表示対象を視認できるようにするために、表示画像の視差を調整するものである。以下、視差調整量について、図１２〜図１５を用いて説明する。

図１２に示すように、表示部３に表示される表示画像は、２つのカメラにより撮影された右目用画像と左目用画像が独立して表示されるものである。ここで、右目用画像と左目用画像の視差は、カメラから被写体までの距離で変化するので、表示部３内の各点によって異なる。具体的には、カメラから遠い点ほど視差が大きく、カメラから近い点ほど視差が小さくなる。

本実施形態では、観測視距離の変化により発生する、表示画像の「奥行き歪み」を補正するために、視差調整処理を実行する。図１３に示すように、基準視距離において視認できる立体画像のアスペクト比（幅：奥行き）が１：１である場合、「観測視距離＜基準視距離」のときには立体画像の奥行きが縮んで見える。一方、「観測視距離＞基準視距離」の場合、立体画像の奥行きが伸びて見える。これは、輻輳角が変化することで、立体画像の結像位置が変化するためである。

＜視差調整量＞
次に、図１４を用いて、視差調整量について説明する。上述の拡縮調整量が表示画像の視認サイズを調整するものであるのに対し、視差調整量は表示画像の奥行き歪みを調整するものである。

図１４に示すように、本実施形態では、奥行き歪みを「人に視認されるアスペクト比Ａ（Ｌ）」として定義する。また、「人に視認されるアスペクト比Ａ（Ｌ）＝立体画像の幅／結像位置（点Ｐまでの奥行き）Ｌ'」として規定する。そして、図５に示されるＬ'及びｒ'を代入すると、「Ａ（Ｌ）＝２ｅｒ／Ｌｄ」と表すことができる。

ここで、図６及び図１４に示すように、基準視距離（Ｌｂａｓｅ）において視差ｄで表示される表示画像を、観測視距離（Ｌｏｂｓ）から観測すると、表示画像のアスペクト比が変化して見える。これを解消し、基準視距離（Ｌｂａｓｅ）と異なる観測視距離（Ｌｏｂｓ）から観測した場合でも、人が視認する立体画像のアスペクト比Ａ（Ｌ）を一定にするために、視差調整量βを計算する。本実施形態では、基準視距離（Ｌｂａｓｅ）において表示画像の視差がｄ＾であるとき、実際の観測視距離（Ｌｏｂｓ）における表示画像の視差ｄ'は、「ｄ'＝（ｄ＋β）α」となるように制御する。ここで、図１２に示すように、表示画像の視差ｄは表示部３内において一定でないので、表示画像に含まれる視差ｄの代表値を視差ｄ＾として利用する。ここで、かかる代表値のとりかたは任意であり、例えば、注目領域ＲＯＩに含まれる視差のヒストグラムに基づいて代表値を決定してもよく、表示画像の注目領域ＲＯＩ内における視差ｄの平均値又は最頻値を代表値としてもよい。以下、種々の計算において、視差ｄとして代表値（視差ｄ＾）を用いる。

βの求め方は、以下の通りである。すなわち、「観測視距離において人が視認する立体画像のアスペクト比Ａｏｂｓ（Ｌｏｂｓ）」を「基準視距離において人が視認する立体画像のアスペクト比Ａｂａｓｅ（Ｌｂａｓｅ）」で割った値であるＲａｓｐｅｃｔが１となるようなβを計算する。これにより、「β＝｛Ｌｂａｓｅ（基準視距離）／Ｌｏｂｓ（観測視距離）−１｝×ｄ＾」が導出される。

ここで、かかるβを用い、観測視距離における視差ｄ'を計算すると、「ｄ'＝（ｄ＾＋β）α＝ｄ＾」となる。すなわち、上述のようにβを定義することにより、観測視距離における視差ｄ'が、基準視距離における視差ｄの代表値である視差ｄ＾と同じになる。これにより、ユーザーと立体画像表示装置１の距離が変化しても、基準視距離におけるアスペクト比と同じアスペクト比で立体画像を視認する事が可能になる。

次に、図１１のＳ１３において、調整部１２により、視差調整処理が実行される。以下、視差調整処理について、図７〜図９を用いて説明する。

＜視差調整処理→拡縮調整処理＞
図７Ｂの状態で視差調整処理を実行した状態を表すのが図８Ｂである。本実施形態では、図７Ａ及び図７Ｂにおける表示画像の視差ｄの代表値である視差ｄ＾にβを用いた計算を実行することにより、観測視距離（４Ｈ）から立体画像表示装置１を観測した場合でも、基準視距離（３Ｈ）から立体画像表示装置１を観測したときと同様の視差ｄ＾で表示対象を視認することが可能になる。

ここで、図９を用いて、図８Ｂにおける視差調整処理を説明する。図９に示すように、観測視距離（４Ｈ）のときに視認される立体画像は、基準視距離（３Ｈ）のときと比べて奥行きが伸びて見える。あわせて、立体画像の大きさが小さくなる。そこで、視差調整処理を実行するために、βを算出する。図８及び図９の例では、視差ｄ＾＝２０［ｍｍ］であったとすると、「β＝−５［ｍｍ］」となる。そして、視差調整処理では、所定の点を基準とし、右目用画像と左目用画像の視差をβに対応する距離まで互いに近づくように調整する。これは、右目用画像と左目用画像が互いに遠ざかる方向を正の方向とすると、「β＝−５［ｍｍ］」は負の値であるので、右目用画像と左目用画像が互いに近づく方向に移動さるものである。具体的には、図９に示すように、右目用画像及び左目用画像をそれぞれβ／２だけ平行移動させる。ここで、右目用画像及び左目用画像をそれぞれβ／２だけ平行移動させる態様以外にも、例えば、右目用画像をβ／４、左目用画像を３β／４だけ互いに近づけることにより、右目用画像と左目用画像の視差がβだけ減少するようにしてもよい。このように、視差を減少させることにより、奥行きの伸びを低減することができ、観測視距離（４Ｈ）においても、基準視距離（３Ｈ）と同じ奥行き（アスペクト比）で立体画像を視認することが可能になる。

その後、拡縮調整処理を実行することにより、立体画像の大きさを拡大すると、観測視距離（４Ｈ）においても、基準視距離（３Ｈ）と同じ奥行き（アスペクト比）及び大きさで立体画像を視認することが可能になる。これは、視差を調整した後に拡縮を調整することに相当し、このとき、「ｄ'＝（ｄ＾＋β）×α」と表すことができる。

なお、上記の例では、観測視距離が基準視距離より遠い場合について説明したが、観測視距離が基準視距離より近い（例：２Ｈ）場合には、視差調整処理では、所定の点を基準とし、右目用画像と左目用画像の視差をβに対応する距離まで互いに遠ざけるように調整する。

＜拡縮調整処理→視差調整処理＞
また、視差調整処理は、倍率を調整した後に視差を調整してもよい。図８Ｃ及び図９に示すように、観測視距離（４Ｈ）のときにおける表示画像に対し、拡縮調整処理の実行後に視差調整処理を実行してもよい。この場合、調整部１２は、右目用画像及び左目用画像を、「拡縮調整量×視差調整量」に対応する距離まで互いに近づける又は遠ざけるように調整する。このとき、「ｄ'＝ｄ＾×α＋β×α」と表すことができる。これは、図９に示すように、右目用画像と左目用画像を互いに（βα／２）だけ近づけることに相当する。

次に、図１１のＳ１４において、制御部１０により、視差調整処理後の結果が通知対象か否かが判定される。本実施形態では、視差調整処理が制御可能な範囲であるか否かに基づいて、通知対象か否かを判定する。これについて、図１５を用いて説明する。

＜制御可能な視差調整範囲＞
図１５に示すように、視差調整量の上限（βｍａｘ）及び下限（βｍｉｎ）の間で、βは観測視距離Ｌに対して単調減少となる。そして、βｍａｘに対応するＬｍｉｎ以下では、β＝βｍａｘで一定となる。一方、βｍｉｎに対応するＬｍａｘ以上では、β＝βｍｉｎで一定となる。ここで、βの上限及び下限は、以下のように定めることができる。

例えば、βは、立体画像の結像位置が表示部３の表示面又は表示部３の表示面より手前に位置するときを下限とすることができる。具体的には、βｍｉｎは、立体画像の結像位置が、ユーザーから見て表示部３の奥から手前に切り替わる点である「β＝−ｄｍｉｎ」を下限としてもよい。一方、βは、「立体画像の結像位置が無限遠に位置するとき」を上限とすることができる。具体的には、βｍａｘは、人の眼は、眼の幅（＝２ｅ（図５参照））を超える視差ｄを結像することができないので、「β＝２ｅ−ｄｍａｘ」を上限としてもよい。この場合、「−ｄｍｉｎ＜β＜２ｅ−ｄｍａｘ」の関係を満たすことになる。

そして、図１１のＳ１４において、βが制御可能範囲外である場合、通知対象であると判断し、Ｓ１５に進む。そして、Ｓ１５において、通知部１４は、外部端末（例：ユーザー端末）にβが制御可能範囲外となったことを通知する。すなわち、本実施形態では、観測視距離における視差調整量が下限を下回るか上限を上回る場合、通知部１４がその旨通知する。これにより、例えばユーザーが立体画像表示装置１から離れすぎた場合や近づきすぎた場合に、通知部１４からユーザー端末に通知することにより、ユーザーが不適切な観測視距離に移動することを防止する事が可能になる。

ここで、通知対象の判定手法はこれに限定されない。例えば、観測視距離において視認される立体画像における幅と奥行きの比率（アスペクト比）について、基準視距離における比率からの変動量がユーザーにより許容される値の範囲外となる場合に、通知部１４が通知するようにしてもよい。ここで、変動量とは、基準視距離におけるアスペクト比を基準とし、観測視距離におけるアスペクト比の変化の割合を表す。例えば、ユーザーにより許容される変動量が２５％である場合には、観測視距離におけるアスペクト比が基準視距離におけるアスペクト比から２５％の範囲外となる場合に、通知部１４が通知するようにしてもよい。例えば、図１５に示されるＬｍａｘから立体画像表示装置１を観測する場合におけるアスペクト比は、基準視距離におけるアスペクト比と同じである。この状態からさらに立体画像表示装置１から遠ざかる、つまり、観測視距離を遠くすると、β＝βｍｉｎで一定であるため、ユーザーが視認する立体画像の奥行きの伸びは大きくなっていく。しかし、観測視距離におけるアスペクト比が基準視距離におけるアスペクト比から２５％の範囲内であればアスペクト比の変化を許容することにより、上述の例と比べて通知対象となる観測視距離の上限を大きくすることが可能となる。ここで、変動量について、ユーザーにより許容される値の範囲は、１０、１５、２０、２５、３０、３５、４０、
４５、５０％としてもよく、ここで例示した数値の何れか２つの間の範囲内であってもよい。また、観測視距離における所定の立体画像が結像されなくなる場合に、通知部１４が通知するようにしてもよい。

一方、図１５に示されるＬｍｉｎから立体画像表示装置１を観測する場合におけるアスペクト比は、基準視距離におけるアスペクト比と同じである。この状態からさらに立体画像表示装置１に近づく、つまり、観測視距離を近くすると、β＝βｍａｘで一定であるため、ユーザーが視認するアスペクト比は小さくなっていく。しかし、観測視距離におけるアスペクト比が基準視距離におけるアスペクト比から２５％の範囲内であれば視認サイズの変化を許容することにより、上述の例と比べて通知対象となる観測視距離の下限を大きくすることが可能となる。

すなわち、本実施形態では、通知部１４は、以下の（１）、（２）又は（３）の場合に通知するように構成可能である。
（１）観測視距離における視差調整量が下限を下回るか上限を上回る場合
（２）観測視距離において視認される表示画像のアスペクト比が、基準視距離において視認される表示画像のアスペクト比から２５％の範囲外となる場合
（３）前記観測視距離における所定の立体画像が結像されなくなる場合（例えば、オクルージョン領域がある場合。ここで、オクルージョン領域とは、右目用画像及び左目用画像をシフトさせた結果、一方の画像の特定画素に対応する他方の画像の画素が無い領域をいう。）

一方、βが制御可能範囲内である場合、通知対象でないと判断し、Ｓ１５をスキップする。ここで、説明の便宜上、Ｓ１４をＳ１３の後に実行するとしているが、実際にはＳ１３の前にＳ１４を実行してもよく、Ｓ１３と同時にＳ１４を実行してもよい。

以上、視差調整処理について説明したが、βが０でないことが重要である。仮に、β＝０とした場合には、「Ａ（４Ｈ）＝２ｅｒα／４Ｈｄ'＝２ｅｒα／４Ｈｄ＾α＝２ｅｒ／４Ｈｄ＾，Ａ（３Ｈ）＝２ｅｒ／３Ｈｄ＾」となり、基準視距離と観測視距離においてアスペクト比Ａが一致しなくなる。

４．実施例
以下、本発明の立体画像表示装置１を用いて拡縮調整処理及び視差調整処理を実行した結果について、図１６を用いて説明する。

図１６は、２６ｉｎｃｈ（基準）（３２３．６×５７４．５［ｍｍ］），３２ｉｎｃｈ（３９８．３×７０７．１［ｍｍ］），５５ｉｎｃｈ（６８４．５×１２１５．４［ｍｍ］）のディスプレイ（表示部３に相当）に対し、観測視距離を３Ｈ（ディスプレイの高さＨに比例）、９７０．８ｍｍ（固定）において拡縮調整処理及び視差調整処理を実行した結果である。ここで、視差調整処理に用いる視差ｄ＾＝１０［ｍｍ］として各種計算を実行した。

ディスプレイサイズに合わせて観測視距離を変更した場合、３つのディスプレイでアスペクト比（Ｒａｓｐｅｃｔ）が変化した。これに対し、視差調整処理を実行することにより、３つのディスプレイにおいていずれもアスペクト比（Ｒａｓｐｅｃｔ）が１となった。すなわち、拡縮調整処理及び視差調整処理により、３つのディスプレイのいずれについても、ユーザーが視認する立体画像の大きさ及びアスペクト比が同じになった。なお、ディスプレイサイズが大きくなったときに拡縮調整処理及び視差調整処理をする例を説明したが、ディスプレイサイズが固定で画面に表示される画像を拡大したときも同様である。

一方、ディスプレイサイズに関わらず観測視距離を固定した場合、３つのディスプレイでアスペクト比（Ｒａｓｐｅｃｔ）を揃えた場合、大きさ比率（Ｒｓｃａｌｅ）が変化した。

これらの調整はユーザーの好みに合わせることができ、例えば立体画像表示装置１の初期設定として活用することができる。

５．変形例
図１７の例の場合、観測視距離が変化するとき、ユーザーが視認する立体画像の幅及び奥行きが固定されるように拡縮調整量及び視差調整量のうち少なくとも一方を制御する。立体画像の幅及び奥行きを固定するとは、観測視距離が変化してもｒ'及びＬ'が一定となるように制御することを意味する。図１７の例においては、ｒ'＝ｒ_２'、Ｌｂａｓｅ'＝Ｌｏｂｓ'となるように制御される。また、図１８は、変形例における拡縮調整量α及び視差調整量βを導出する計算式を表す図である。この計算式により、観測視距離が任意に変化した場合においても、ユーザーが視認する立体画像の幅及び奥行きが固定となるように制御可能となる。図１９においては、基準視距離３Ｈ、観測視距離４Ｈにおける拡縮調整量α及び視差調整量βを例示する。

すなわち、上述の変形例では、調整部１２は、基準視距離及び観測視距離に基づいて、観測視距離における立体画像の幅及び奥行きが固定されるように、表示画像の表示態様を調整可能に構成される。

６．その他
以上、種々の実施形態について説明したが、本発明に係る立体画像表示装置１はこれらに限定されない。本発明に係る立体画像表示装置１は、以下の態様でも実施可能である。
・立体画像を動画にする。
・表示部３の大きさに基づいて、拡縮調整処理及び視差調整処理の少なくとも一方を実施する。
・通知部１４による通知は、観測視距離において視認される表示画像の視認サイズ又はアスペクト比が、基準視距離において視認される表示画像の視認サイズ又はアスペクト比から２５％の範囲外となる場合だけでなく、１〜３０％の範囲外となる場合に通知するようにしてもよい。
・上記実施形態における調整部１２又は算出部１３は立体画像表示装置１の外部にあってもよく、その場合、立体画像表示装置１は、調整され又は算出された画像を受信し表示する。

本発明は、以下の態様でも実現可能である。
表示部からユーザーまでの視距離である観測視距離を取得する取得ステップと、
基準視距離及び前記観測視距離に基づいて、表示画像の表示態様を調整する調整ステップと、
前記調整された表示態様に基づいて立体画像を表示する表示ステップと、
を備える立体画像表示方法。

また、本発明は、以下の態様でも実現可能である。
コンピュータを、
表示部からユーザーまでの視距離である観測視距離を取得する取得部、
基準視距離及び前記観測視距離に基づいて、表示画像の表示態様を調整する調整部、
前記調整された表示態様に基づいて立体画像を表示する表示部、
として機能させるためのプログラム。

また、上述のプログラムを格納する、コンピュータ読み取り可能な非一時的な記録媒体として提供してもよい。

１ ：立体画像表示装置
２ ：操作部
３ ：表示部
４ ：通信部
５ ：記憶部
１０ ：制御部
１１ ：取得部
１２ ：調整部
１３ ：算出部
１４ ：通知部

Claims (12)

1. 表示部、取得部及び調整部を備える立体画像表示装置であって、
   前記取得部は、前記表示部からユーザーまでの視距離である観測視距離を取得可能に構成され、
   前記調整部は、基準視距離及び前記観測視距離に基づいて、前記観測視距離における立体画像の幅及び奥行きが固定されるように、表示画像の表示態様を調整可能に構成され、
   前記表示部は、前記調整された表示態様に基づいて前記立体画像を表示する、
   立体画像表示装置。
2. 前記調整部は、以下の制御式１又は制御式２により前記表示画像の表示拡縮を調整する、
   ＜制御式１＞（Ｒｏ）＝（Ｒｓ×拡縮調整量）
   ・Ｒｏ：観測視距離における前記表示画像の表示拡縮
   ・Ｒｓ：基準視距離における前記表示画像の表示拡縮
   ＜制御式２＞（Ｓｏ）＝（Ｓｓ×拡縮調整量）
   ・Ｓｏ：観測視距離における前記表示画像のサイズ
   ・Ｓｓ：基準視距離における前記表示画像のサイズ
   請求項１に記載の立体画像表示装置。
3. 前記拡縮調整量は、前記表示画像と前記表示部の相対的な大きさにより、下限及び／又は上限が設定され、
   通知部をさらに備え、
   前記通知部は、以下の（１）又は（２）の場合に通知する、請求項２に記載の立体画像表示装置。
   （１）前記観測視距離における前記拡縮調整量が前記下限を下回るか前記上限を上回る場合
   （２）前記観測視距離における視認サイズについて、前記基準視距離における視認サイズからの変動量がユーザーにより許容される値の範囲外となる場合
4. 算出部を備え、
   前記算出部は、以下の視差調整量を算出可能に構成され、
   （視差調整量）＝｛（基準視距離／観測視距離）−１｝×視差
   前記調整部は、前記算出された視差調整量を用いて前記表示画像の視差を調整する、
   請求項１〜請求項３の何れか１つに記載の立体画像表示装置。
5. 前記表示部は、右目用画像及び左目用画像を独立して表示可能に構成され、
   前記調整部は、右目用画像及び左目用画像を、（１）「視差調整量」又は
   （２）「拡縮調整量×視差調整量」に対応する距離まで互いに近づける又は遠ざけるように調整する、
   請求項４に記載の立体画像表示装置。
6. 前記視差調整量は、前記立体画像の結像位置が前記表示部の表示面又は表示面より手前に位置するときを下限とする、
   請求項４又は請求項５に記載の立体画像表示装置。
7. 前記視差調整量は、前記立体画像の結像位置が無限遠に位置するときを上限とする、
   請求項４又は請求項５に記載の立体画像表示装置。
8. 通知部を備え、
   前記通知部は、以下の（１）、（２）又は（３）の場合に通知する、請求項６に記載の立体画像表示装置。
   （１）前記観測視距離における前記視差調整量が前記下限を下回る場合
   （２）前記観測視距離において視認される前記立体画像における幅と奥行きの比率について、前記基準視距離における前記比率からの変動量がユーザーにより許容される値の範囲外となる場合
   （３）前記観測視距離における所定の立体画像が結像されなくなる場合
9. 通知部を備え、
   前記通知部は、以下の（１）、（２）又は（３）の場合に通知する、請求項７に記載の立体画像表示装置。
   （１）前記観測視距離における前記視差調整量が前記上限を上回る場合
   （２）前記観測視距離において視認される前記立体画像における幅と奥行きの比率について、前記基準視距離における前記比率からの変動量がユーザーにより許容される値の範囲外となる場合
   （３）前記観測視距離における所定の立体画像が結像されなくなる場合
10. 前記視差は、前記表示部における注目領域に含まれる視差のヒストグラムに基づいて決定される、
    請求項４〜請求項９の何れか１つに記載の立体画像表示装置。
11. 表示部からユーザーまでの視距離である観測視距離を取得する取得ステップと、
    基準視距離及び前記観測視距離に基づいて、前記観測視距離における立体画像の幅及び奥行きが固定されるように、表示画像の表示態様を調整する調整ステップと、
    前記調整された表示態様に基づいて前記立体画像を表示する表示ステップと、
    を備える立体画像表示方法。
12. コンピュータを、
    表示部からユーザーまでの視距離である観測視距離を取得する取得部、
    基準視距離及び前記観測視距離に基づいて、前記観測視距離における立体画像の幅及び奥行きが固定されるように、表示画像の表示態様を調整する調整部、
    前記調整された表示態様に基づいて前記立体画像を表示する表示部、
    として機能させるためのプログラム。