JP5308523B2 - 立体画像表示装置 - Google Patents

Description

本発明は、立体画像として観察できる画像を表示する立体画像表示装置に関する。

従来の立体画像表示装置としては、左右２台のカメラによって両眼に対応した２つの画像を撮影し、それらを２視点型のディスプレイに表示するものが知られている。このような表示装置は、２台のカメラの間隔が人間の眼の間隔と異なる場合に、立体感に違和感が生じるという問題があった。

このような問題を解決する手段として、特許文献１は、表示装置が表示するときの画像の視差量が、実際に人間が被写体を観察したときの視差量となるように、左右２台のカメラを用いて得られた２つの画像の一方に対して、これら他方の画像を用いて補正を行う方法を開示している。

特許文献１の方法では、左右のカメラで撮影された２つの画像の対応点を抽出して、その対応点の画素位置から距離情報を算出する。このとき、左画像と右画像において対応点が見つからない画素位置が存在する。対応点が見つからない画素位置の画像情報は、左右のカメラで撮影された２つの画像のいずれかに含まれているため、この画像情報を用いて、視差補正後の画像を補正することができる。このような方法により、違和感のない立体画像を生成することができる。

特開平８―１２６０３４号公報（段落番号[０００４]、[００２４]〜[００３３]、図３〜５を参照）

特許文献１では、左右のカメラの間隔（撮像時の光軸間隔）が、実際に人間が被写体を観察した場合の両眼の間隔（観察時の光軸間隔）よりも大きいことを前提としている。この場合には、生成される画像の全ての画素位置の画像情報は、２つのカメラによって撮影された画像のうちのいずれかに含まれている。

これに対し、本願発明は、例えば携帯電話に搭載できるような光軸間隔の非常に狭い２つの撮像光学系により撮影された２つの画像を用いて、違和感のない立体画像を表示しようとした場合の問題点を解決するものである。

このような場合には、違和感の無い立体画像を得るために、２つの撮像光学系の光軸間隔よりも広い間隔の視点からの画像を生成する必要がある。しかし、このような場合には、撮影時には近距離の被写体のかげになって見えなかった部分が、生成しようとする画像では見えるようになる場合が生じる。生成しようとする画像で初めて見えるようになった部分の画像情報は、撮影された２つの画像のいずれにも含まれない。このような画像情報の欠落部が発生すると、観察者の画質感が悪化してしまう。

本発明は、上記課題を解決するためになされたものであり、その主な目的は、光軸間隔の狭い２つの撮像光学系により撮影された２つの画像を用いても、画像情報欠落部による観察者の画質感の悪化を大きく低減し、高画質でかつ違和感のない立体画像を得ることができる立体画像表示装置を提供することにある。

本発明の第１の立体画像表示装置は、第１の光軸間隔で配置された２つの撮像部で撮像された第１の画像および第２の画像を用いて、前記第１の光軸間隔よりも広い間隔で配置される２つの視点からの２つの画像を生成する画像生成部と、前記画像生成部によって生成された２つの画像を、両眼のそれぞれで別々に観察できるように表示する表示部と、を有し、前記画像生成部は、当該画像生成部が生成する２つの画像が有する視差量が、前記２つの視点間の視差量となるように、撮像された前記第１の画像および前記第２の画像のうち少なくとも１つの画像の座標を構成単位ごとに変換する座標変換部と、前記座標の変換によって画像情報が欠落した画素の画像情報を補間によって生成する画像補間部と、を有する。

ある実施形態は、ユーザが操作可能な指示部をさらに有し、前記座標変換部は、前記指示部からの入力信号に基づいて、座標が変換された座標変換画像と、座標が変換されていない座標無変換画像とを表示部に出力する。

ある実施形態において、前記表示部は、前記画像無変換画像をユーザの利き目で観察できるように表示する。

ある実施形態において、前記座標変換部は、前記第１の画像における各構成単位の座標値に、前記２つの視点間の視差量の値を付加することにより生成した画像を前記座標変換画像として出力し、前記第１の画像を前記画像無変換画像として出力する。

ある実施形態において、前記座標変換部は、撮像された前記第１の画像における各構成単位の座標値に、前記２つの視点間の視差量と、前記第１の画像および前記第２の画像が有する視差量との差の値を付加することにより生成した画像を前記座標変換画像として出力し、前記第２の画像を前記座標無変換画像として出力する。

ある実施形態において、前記画像生成部は、前記指示部からの入力信号に基づいて撮像された前記第１の画像および前記第２の画像のいずれに対して各構成単位の座標の変換を行うかを切り替える座標変換切換部をさらに有する。

ある実施形態において、前記座標変換部は、前記画像変換画像を左眼が観察する画像になるように初期設定されている。

ある実施形態において、前記座標変換部は、撮像された前記第１の画像および前記第２の画像の両方の画像の各構成単位の座標値に、前記２つの視点間の視差量と前記第１の画像および前記第２の画像が有する視差量との差の１／２の値を、互いに逆方向に付加する変換を行う。

ある実施形態において、前記画像補間部は、前記画像情報が欠落した画素を有する画像における前記画素以外の部分の情報を用いて、補間のための画像情報を生成する。

ある実施形態において、前記画像補間部は、前記画像情報が欠落した画素の基線方向の両側に隣接する少なくとも１つの画素の強度情報に基づいて、補間のための画像情報を生成する。

ある実施形態において、前記２つの視点の間隔は６０〜７０ｍｍである。

本発明の撮像および表示装置は、本発明の第１の立体画像表示装置と、第１の光軸間隔で配置された２つの撮像部とを備え、前記第１の画像および前記第２の画像は、前記２つの撮像部のそれぞれによって撮像された画像である。

本発明の第２の立体画像表示装置は、撮像部で撮像された１つの画像と、撮像された被写体の距離情報とを用いて、所定の間隔で配置される２つの視点からの２つの画像を生成する画像生成部と、前記画像生成部によって生成された２つの画像を、両眼のそれぞれで別々に観察できるように表示する表示部と、を有し、前記画像生成部は、前記撮像された１つの画像における各構成単位の座標値に、前記２つの視点間の視差量を付加する変換を行う座標変換部と、前記座標の変換によって画像情報が欠落した画素の画像情報を補間によって生成する画像補間部とを有する。

ある実施形態において、前記画像生成部は、撮像された前記１つの画像における各構成単位の座標値に、前記２つの視点間の視差量を付加する方向を切り替える座標変換切換部をさらに有する。

ある実施形態において、前記画像生成部は、座標が変換された画像と座標が変換されていない画像とを表示部に出力する出力部をさらに有し、前記表示部は、座標が変換されていない画像をユーザの利き目で観察できるように表示する。

本発明によると、表示装置によって表示される画像の視差量が、第１の光軸間隔よりも広い間隔で配置された２つの視点間の視差量となるように座標の変換を行うことにより、違和感のない立体画像を得ることができる。また、座標の変換によって生じる画像情報欠落部を補間することにより、画質感が悪化するのを防止することができる。

第１の実施形態の立体画像表示装置を示すブロック図である。 （ａ）は、画像生成部４の具体的な構成を示すブロック図であり、（ｂ）は、画像生成部４の処理フローを示すフローチャートである。 第１の実施形態において、平行に設置された２つのカメラの視差を説明するための図である。 第１の実施形態における視差量抽出アルゴリズムを示すフローチャートである。 第１の実施形態における撮像視差量Δを抽出するステップＳ１０２の検出ブロックを示す図である。 第１の実施形態における視差量評価値と検出ブロックの移動画素数ｋとの関係を示すグラフである。 第１の実施形態における座標変換の原理を説明するための図である。 第１の実施形態において、撮像素子上に形成された画像を示す図である。 第１の実施形態において座標変換を行った結果を示す図である。 （ａ）、（ｂ）は、第１の実施形態における画像情報欠落部の補間を説明するための図である。 第１の実施形態において、画像情報欠落部の補間を行った結果を示す図である。 第１の実施形態における立体ディスプレイの表示方式の一例を示す概略図である。 １つの画像のみから立体画像を生成するステップを示すフローチャートである。 第２の実施形態における座標変換の原理を説明するための図である。 第２の実施形態において撮像素子上に形成された画像を示す図である。 第２の実施形態において座標変換を行った結果を示す図である。 第２の実施形態において画像情報欠落部の補間を行った結果を示す図である。

（第１の実施形態）
以下、本発明による立体画像表示装置（撮像および表示装置）の実施形態を、図面を参照しながら説明する。

図１は、第１の実施形態の立体画像表示装置（撮像および表示装置）の構成を示すブロック図である。図１に示すように、本実施形態の立体画像表示装置は、左カメラ１ａ、右カメラ１ｂと、左カメラ１ａ、右カメラ１ｂに接続される画像入力部２と、画像入力部２に接続される画像メモリ３ａ、３ｂと、画像メモリ３ａ、３ｂに接続される画像生成部４と、画像生成部４に接続される画像メモリ５と、画像メモリ５に接続される画像出力部６と、画像出力部６に接続される立体ディスプレイとを備えている。

左カメラ１ａ、右カメラ１ｂは、それぞれの光学系（レンズ）の光軸が第１の光軸間隔（Ｂ０）だけ離れて平行になるように配置されている。画像入力部２は、左カメラ１ａ、右カメラ１ｂのそれぞれにおいて撮影された画像のビデオ信号を、１フレーム毎にディジタル画像データに変換する。

画像入力部２において変換された画像データは、それぞれ画像メモリ３ａ、３ｂに記憶される。例えば、左カメラ１ａにおいて撮影された画像から生成された画像データは画像メモリ３ａに、右カメラ１ｂにおいて撮影された画像から生成された画像データは画像メモリ３ｂに記憶される。

画像生成部４は、画像メモリ３ａ、３ｂに記憶された画像データを用いて立体ディスプレイ７のフォーマットに変換した画像データを生成する。画像生成部４において生成された画像データは、出力用の画像メモリ５に記憶される。画像出力部６は、画像メモリ５に記憶されたディジタル画像データをビデオ信号に変換して立体ディスプレイ７に出力する。

次に、図２（ａ）、（ｂ）を用いて、第１の実施形態の立体画像表示装置における画像生成部４の処理フローを説明する。

図２（ａ）は、画像生成部４の構成を示すブロック図である。画像生成部４は、キャリブレーション処理部１０１と、キャリブレーション処理部１０１に接続された撮像視差量抽出部１０２と、撮像視差量抽出部１０２に接続された補正視差量計算部１０３と、補正視差量計算部１０３に接続された座標変換処理部１０４と、座標変換処理部に接続された画像補間部１０５と、補正視差量計算部１０３および座標変換部１０４に接続された座標変換切換部１０６とを有する。

図２（ｂ）は、画像生成部４の処理フローを表すフローチャートである。

ステップＳ１０１では、キャリブレーション処理部１０１において、画像メモリ３ａ、３ｂに格納されている２つの画像のキャリブレーション処理を行う。この処理により、２つのカメラの焦点距離の補正（画像倍率の補正）、歪曲の補正、平行化、ベイヤー補間等がなされる。

ステップＳ１０２では、撮像視差量抽出部１０２において、２つの画像の視差量（撮像視差量）を抽出する。２つの画像の撮像視差量抽出処理の一例について、図３、図４、図５、図６を用いて説明する。

図３は、左カメラ１ａ、右カメラ１ｂにより撮影された２つの画像間の視差を説明するための図である。図３において、ｘは水平方向、ｙ（図示せず）は垂直方向、ｚは奥行き方向を表す。

左カメラ１ａは、光学系（レンズ）１１ａおよび撮像素子１０ａを有している。右カメラ１ｂは、光学系（レンズ）１１ｂおよび撮像素子１０ｂを有している。光学系１１ａ、１１ｂの光軸は、ｚ方向と平行な方向に延びている。

左カメラ１ａの光学系１１ａと右カメラ１ｂの光学系１１ｂとは、ｘ方向に沿って配置されている。また、光学系１１ａ、１１ｂの光軸は、ｚ方向に平行であり、光軸間隔はＢ０である。

左カメラの撮像素子１０ａ、右カメラの撮像素子１０ｂは、それぞれの光学系１１ａ、１１ｂから光学系の焦点距離ｆ０の位置に設置されている。

前方の被写体上の物点１２から出た光線は、光学系１１ａ、１１ｂにより集光され、それぞれ撮像素子１０ａ、１０ｂの撮像面に結像する。撮像面に形成された像は、撮像素子の撮像面に設けられているフォトダイオードによって電気信号に変換され、画像信号として出力される。

このとき２つのカメラ１ａ、１ｂは、互いに光学系の光軸が平行になるように離れて設置されているため、それぞれのカメラ１ａ、１ｂで撮影された２つの画像には視差が発生する。図３の構成では、２つのカメラの配置はｘ方向でのみ異なるため、視差もｘ方向にのみ生じ、２つの画像の対応点のｙ座標は同じ値となる。

被写体上の物点１２とカメラ１ａ、１ｂのレンズの中心とのｚ軸方向の距離をＺ、撮影された２つの画像間に発生する視差量をΔ（撮像素子１０ａ、１０ｂのそれぞれの撮像面において、光軸の位置から物点１２が結像する位置までのｘ方向の距離Δ₁、Δ₂の合計）とすると、下記（数１）が成立する。ただし、撮像素子１０ａの撮像面において、光軸の位置よりも物点１２の結像位置が−ｘ側に存在する場合に、距離Δ₁は正の値をとる。また、撮像素子１０ｂの撮像面において、光軸の位置よりも物点１２の結像位置が＋ｘ側に存在する場合に、距離Δ₂は正の値をとる。
（数１）
△＝ｆ０・Ｂ０／Ｚ
この式は、発生する視差量が距離Ｚにより変化することを示している。人間は、この視差量を、被写体までの距離認識のための情報の一つとして利用している。

図４は、撮像視差量抽出アルゴリズムの基本的な流れを示すフローチャートである。図５は、画像メモリ３ａ、画像メモリ３ｂに格納された画像をそれぞれキャリブレーション処理した結果得られる左画像５０ａ、右画像５０ｂ上の検出ブロックを示す図である。

視差量抽出アルゴリズムのステップＳ２０１においては、２つの画像のうち左画像５０ａを複数のブロックに分割する。ブロックサイズは、４×４画素から６４×６４画素程度のサイズであり、被写体の大きさにより任意の大きさに設定される。なお、光学系の倍率を大きくした場合には、検出ブロックのサイズを大きくすることが好ましい。また、ブロックサイズは正方形でなくてもよい。次に、ステップＳ２０２において、左画像５０ａにおける複数のブロックのなかから、第１の検出ブロック５１を選択する。さらに、他方の右画像５０ｂのほぼ同位置にも、第１の検出ブロック５１と同じサイズの第２の検出ブロック５２を選択する。

次に、ステップＳ２０３において、左画像５０ａにおける第１の検出ブロック５１と対応するブロックを右画像５０ｂ上において探索するための視差量評価値計算を行う。

視差量評価値計算の一例について以下に説明する。図５において、右画像５０ｂ上に最初に設定した第２の検出ブロック５２を、ｘ軸方向にｋ画素（ｋは任意の整数）だけ移動させる。そして、第１の検出ブロック５１と第２の検出ブロック５２とについて、各検出ブロック内において対応する画素の輝度検出値の差を計算する。検出ブロック内の全ての画素について、輝度検出値の差を合計した値を、そのｋの値の視差量評価値Ｒ（ｋ）とする。すなわち、第１の検出ブロック５１内の座標（ａ，ｂ）における画素からの輝度検出値をＧＧ１（ａ，ｂ）とし、第２の検出ブロック５３内の座標（ａ＋ｋ，ｂ）における画素からの輝度検出値をＧＧ２（ａ＋ｋ，ｂ）とすると、視差量評価値Ｒ（ｋ）は（数２）により求められる。なお、左画像５０ａおよび右画像５０ｂが、赤（Ｒ）、緑（Ｇ）、青（Ｂ）を３原色とするカラーである場合、輝度検出値は、例えば緑（Ｇ）の輝度を用いて比較すればよい。

この視差量評価値Ｒ（ｋ）は、ｋの値に連動して変化する。１からｎまでの複数の値をｋに代入し、それぞれの値に対して、ステップＳ２０２およびステップＳ２０３を行い、視差量評価値Ｒ（ｋ）を算出する。視差量評価値Ｒ（ｋ）は、ｋ画素だけ移動された第２の検出ブロック５２における画像が、第１の検出ブロック５１における画像とどれだけ相関があるかを示している。視差量評価値Ｒ（ｋ）の値が小さいほど、２つの検出ブロックの画像が類似していることを示している。

次に、ステップＳ２０４において、ステップＳ２０３で求めた各視差量評価値から最小値を抽出する。図６は、視差量評価値と、第２の検出ブロック５２の移動画素数ｋとの関係を示すグラフである。図６における横軸はｘ方向の移動画素数（ｋ）、縦軸は視差量評価値Ｒ（ｋ）を示す。図６において、視差量評価値Ｒ（ｋ）は、ｋ＝ｋ１の時に最小値になっている。この結果から、ｋ＝ｋ１のときに、２つの検出ブロック５１、５２における画像が最も類似していることがわかる。

そして、ステップＳ２０５において、最小値を得た時の移動画素数ｋ、すなわち視差量の抽出を行う。右画像５０ｂ上の第２の検出ブロック５２を初めの位置からｘ方向にｋ１画素だけ移動させたときに、第２の検出ブロック５２の画像は、第１の検出ブロック５１内の画像と一致すると判断される。これにより、移動画素数ｋ１が、第１の検出ブロック５１と第２の検出ブロック５２との間の視差量Δと決定される（Δ＝ｋ１）。

この一連の処理をステップＳ２０１で分割形成した全ての検出ブロックについて行い、視差量を抽出し、ブロック内の画素に対して同じ視差量を割り当てる。以上の処理により右画像５０ｂに対する左画像５０ａの全画素における視差量を算出する。

次に、図２（ａ）、（ｂ）に戻って、ステップＳ１０３において、人間の両眼の間隔で撮像した場合に相当する視差量（補正視差量）を計算する。この計算は、図２（ａ）に示す補正視差量計算部１０３で行われる。ここで、補正視差量をΔ’、人間の目の等価焦点距離をｆ、人間の両眼の間隔（通常、６０〜７０ｍｍ）をＢとすると、（数１）を変形する事により下記（数３）が導かれる。
（数３）
△’＝｛（ｆ・Ｂ）／（ｆ０・Ｂ０）｝Δ
この式は、観察時の基線長に比例して視差量が変化することを示している。ステップＳ１０３では、（数３）を用いて、補正視差量を計算する。

なお、ディスプレイの大きさ、画素サイズ、観察者の眼の焦点距離などによって、表示された画像を観察者が見た場合に感じる立体感は異なる。そのため、これらの値に応じて、さらに補正視差量Δを調整することが好ましい。ディスプレイの大きさや画素サイズは、その表示装置に固有の値であり、これらに起因して必要となる調整（視差量の変換比率）は被写体によらず一定である。そのため、変換比率を製品出荷時に決定し、画像生成部のメモリに書き込むことが適当である。変換比率の決定時には、一連の処理により出来上がった画像を立体ディスプレイに表示し、立体感を吟味することが望ましい。一方、眼の焦点距離の個人差に対応するために、視差量の変換比率を数種類メモリに書き込み、ユーザによって変更可能とすることができる。この方法により、個々のユーザに最適な立体画像を容易に表示することができる。

次に、図２（ａ）に示す座標変換部１０４において、ステップＳ１０４を行う。このステップにおいては、左画像５０ａおよび右画像５０ｂの視差量が、ステップＳ１０３で得られた補正視差量となるように、左画像５０ａと右画像５０ｂのどちらか一方の座標を構成単位ごとに変換し視差量を補正する処理を行う。本明細書において、「構成単位」とは、座標変換の対象となる画像において座標変換を行う１つの単位のことをいい、典型的には、１画素のサイズを有する。ここでは、左画像５０ａにおいて座標変換する場合について説明する。図７を用いて本処理について説明する。

図７では、図３と同じ部材には同じ符号を付与しており、その説明は省略する。

本処理は、撮像素子１０ａで検出した左画像５０ａの各構成単位の座標を変換し視差量を補正する事により、仮想光学系１４ａによって形成され仮想撮像素子１３ａで検出される画像を再現するものである。なお、撮像素子１０ａで検出した画像と、仮想撮像素子１３ａで検出される画像とでは被写体の歪が同等と仮定している。

図８を用いて、撮像素子１０ａ上に形成された左画像５０ａを元に仮想撮像素子１３ａに形成される画像を構築する処理を説明する。

図８は、左画像５０ａの一部である被写体像６０ａ、背景像６１ａと、右画像５０ｂの一部である被写体像６０ｂ、背景像６１ｂを示している。被写体像の結像位置が２つの画像の間で異なり、２つの画像には視差が有ることがわかる。ステップＳ１０３で計算された補正視差量を用いて、ステップＳ１０４では、座標変換を行うことにより、２つの画像が有する視差量を補正する。これにより、光軸間隔がＢだけ離れた仮想撮像素子１３ａ、仮想光学系１４ａよりなる仮想カメラに形成される画像を予測再現する。

ここでは、すでに左画像５０ａには、右画像５０ｂに対して撮影における視差があるため、左画像５０ａの各構成単位の座標値に（補正視差量Δ’−撮像視差量Δ）を付加する処理を行う。具体的な座標変換式は以下の式で表される。

（数４）により全ての構成単位の座標を変換する。但し、変換前の座標は、（ｘ、ｙ）、変換後の座標は（Ｘ、Ｙ）である。また、本実施形態の構成では、視差はｘ方向のみにしか発生しないため、（数４）は、ｘ方向のみを考慮すれば十分である。

図９に、座標変換を行った結果を示す。被写体像６０ａはｘ方向の正の方向に移動されている。

なお、ステップＳ１０２、ステップＳ１０３の処理により、全ての画素は撮像視差量と、補正視差量の値を情報として有する。

このステップＳ１０４の処理により、視差量を、人間の両眼の間隔で撮像した場合に相当する値に補正することができ、立体感に違和感の無い画像を提供することができる。

ステップＳ１０４の視差量補正により、図９に示すように画像情報欠落部６２ａが発生する。これは、本処理において、撮像時の２つの視点よりも外側に位置する視点からの画像を生成していることに起因する。なお、画像情報欠落部６２ａに相当する領域は、補間処理をしない場合、ｌｏｗ信号が出力される領域である。そのため、画像情報欠落部６２ａは、実際は漆黒に見えるが、図面では、説明の便宜上、白色で示している。

ステップＳ１０５では、図２（ａ）に示す画像補間部１０５において、ステップＳ１０４の視差量補正により発生する画像情報欠落部６２ａの補間処理を行う。

図１０（ａ）は、図９の被写体像６０ａに含まれる境界画素（被写体像６０ａのうち背景像６１ａとの境界に位置する画素）、背景像６１ａに含まれる境界画素（背景像６１ａのうち被写体像６０ａとの境界に位置する画素）、画像情報欠落部６２ａを、画素レベルで拡大して示す図である。画素Ａは黒色を示し、画素Ｂはグレー（画素Ａよりも明るい色）を示す。

画素Ａと画素Ｂとの間は、画像情報欠落部６２ａに属する画素群である。そこで、本構成では、図１０（ｂ）に示す様に、視差がｘ方向のみに発生する特徴を考慮し、ｘ方向の両側に位置する画素Ａ、画素Ｂのカラー情報を元に、画像情報欠落部６２ａのカラー情報を１次関数的に生成し、補間処理を行う。なお、ここで、「カラー情報」とは、画像を構成する原色の強度情報のことを言う。例えば、画像が赤（Ｒ）、緑（Ｇ）、青（Ｂ）を三原色とするカラーである場合、三原色のそれぞれについて強度情報を生成する。強度情報は、例えば、それぞれの色の有する階調によって表される情報である。すなわち、画像情報欠落部６２ａにおいて画素Ｂと隣接する画素から、画素Ａと隣接する画素にかけて、カラー強度を１次関数的に増加させる。この処理により、画像情報欠落部に属する画素に、カラー情報を付与する。

補間処理を行った結果を図１１に示す。全画像内に画像情報が欠落した部分が存在しなくなったことがわかる。これにより、観察者の画質感の悪化を大きく低減し、高画質な立体画像を提供することができる。

なお、本実施形態では１次補間を行う例について説明したが、２次関数を初めとする高次関数や指数関数等の関数で補間してもよい。また、画像情報欠落部の基線方向に隣接する複数の画素のカラー強度に基づいて補間しても良い。この場合、例えば、画像情報欠落部におけるそれぞれの境界画素（画像情報欠落部のうち他の部分との境界に位置する画素）に隣接する３行３列の９つの画素のＲ、Ｇ、Ｂ強度それぞれの平均値を用いて補間を行えばよい。また、背景像の画素Ｂのカラー強度を画像情報欠落部の画素のカラー強度とすることも可能である。

以上に述べたように、画像がカラーである場合、カラー強度を用いて画像補間を行うが、画像が白黒である場合、輝度を用いて画像補間を行えばよい。

さらに、無修正の画像を、観察者の利き眼に入射させることにより一層の高解像度を実現することができる。これは、人間が主に利き眼によって得られる情報により対象物の形状を認識しているためである。

この作用は、利き眼をさがす方法に利用されている。この利き眼を探す方法とは、片腕を前方に伸ばし人差し指を立て、その指先を両眼、左右の片眼、それぞれで観察する。この時、両眼で観察した場合と同じ位置に人差し指を観察できた眼が利き眼となる。この方法は、両眼観察時の対象物の形状が主に利き眼により認識され、利き眼でない他方の眼は、補助的な働きをしている事を示すものである。本発明は、この方法を元に発想したものである。つまり、座標変換や画像情報欠落部の補間処理を行っていない高画質の画像を利き眼に入射させる構成を実現する事により、利き眼でない他方の眼が観察する画像に存在する、画質の悪化の原因となる部分が脳内で補間され、観察者が感じる画質の改善を実現することができる。また、他方の眼に座標変換、画像欠落部補間をした画像を入射させることにより、主に観察者に奥行き情報を認識させ、高画質な立体画像を再現することができる。

具体的には、図２（ｂ）のステップＳ１０３において補正視差量Δ’を計算した後、ステップＳ１０６において、左画像５０ａと右画像５０ｂのうちいずれの画像に対して座標の変換を行うかを切り換える処理を行う。この切り換えは、図２（ａ）に示す座標変換切換部１０６において行う。その後、ステップＳ１０４において、座標変換処理を行う。

例えば、座標変換切換部１０６は、図２（ａ）に示す指示部１０９からの入力信号に基づいて、いずれの画像に対して座標変換を行うかを切り換える。指示部１０９は、ユーザが操作可能な物理的構造を指す。具体的な構成は、特定の構成に限定されない。例えば、図１の立体ディスプレイ上に設けられるタッチパネルであってもよいし、表示装置の外部に設けられたボタン、リモートコントローラ等であってもよい。

ユーザが表示装置の使用を開始した時点からステップＳ１０４における座標変換処理を行うまでの任意の時点において、表示装置は、左画像５０ａにおいて座標の変換を行った場合のサンプル画像と、右画像５０ａにおいて座標の変換を行った場合のサンプル画像との２種類をユーザに対して表示する。

ユーザは、これら２種類のサンプル画像のうち高画質であると感じた画像を選択し、指示部１０９を操作する。ユーザが高画質であると感じた画像は、利き目でない他方の眼が観察する画像に対して座標変換を行った画像である。座標変換切換部１０６は、ユーザが操作した指示部１０９からの入力信号に基づいて、どちらの画像の変換を行うか適宜切り換えることができる。具体的には、ユーザが画像を選択し、指示部１０９を操作すると、ユーザが選択したサンプル画像が、左画像５０ａにおいて座標の変換を行ったものと右画像５０ａにおいて座標の変換を行ったもののいずれであるかの情報を示す信号が、座標変換切換部１０６に入力される。選択画像が左画像５０ａにおいて座標の変換を行ったものである場合、座標変換切換部は、左画像５０ａにおいて座標を変換し右画像５０ａは座標を変換しないように切り換える。選択画像が右画像５０ａにおいて座標変換を行ったものである場合、座標変換切換部は、右画像５０ａにおいて座標変換し左画像５０ａにおいて座標を変換しないように切り換える。

なお、図２の説明では、指示部１０９と座標変換切換部１０６とを別構成としていたが、指示部１０９が座標変換切換部１０６の機能を有してもよい。すなわち、指示部１０９が左画像５０ａと右画像５０ｂのうちいずれかの画像に対して座標を変換するかを切り換える処理を行い、切り換える処理の結果を座標変換部１０４へ指示してもよい。指示部１０９が座標変換切換部１０６の機能を有する場合は、座標変換切換部１０６は不要であり、指示部１０９の出力端は補正視差量抽出部１０３と座標変換部１０４との間に接続される。

本実施形態は、このようなユーザの選択を機器の標準値として記憶する構成とすることができる。この構成において、ユーザが指示部１０９の操作を行わない場合には、ステップＳ１０３において補正視差量Δ'を計算した後に、ステップＳ１０４において、標準値を用いて座標変換処理Ｓ１０４が行われる。右眼を利き眼とする人間の比率が多いため、初期設定としては、左眼に対応する画像に対してのみ座標変換を行い、右眼に対応する画像は無修正のまま出力する、右眼利き眼設定とすることが適当である。

また、本実施形態は、撮影毎に、ユーザにサンプル画像を表示して高画質と感じる方を選択させて設定を行う構成とすることもできる。

このように、ユーザが操作できる指示部１０９、および指示部１０９からの入力信号に基づいていずれの画像に対して座標変換を行うかを切り換える座標変換切換部１０６により、利き眼側に高画質な画像を入射させることができ、立体感と高画質の両立を実現することができる。

また、画像生成部は、右眼を利き目とするユーザに見せる画像の組と、左眼を利き目とするユーザに見せる画像の組とを予め作成し、作成した画像の組を記憶部（例えば図１の画像メモリ５）に記憶してもよい。右眼を利き目とするユーザに見せる画像の組は、座標変換部によって座標を変換していない右眼用の画像と、座標変換部によって座標を所定の視差量に変換し、かつ画像の欠落部分を画像補間部によって補間した左目用の画像とから構成される。左眼を利き目とするユーザに見せる画像の組は、座標変換部によって座標を変換していない左眼用の画像と、座標変換部によって座標を所定の視差量に変換し、かつ画像の欠落部分を画像補間部によって補間した右眼用の画像とから構成される。本構成によって、あるユーザが撮影した画像を他のユーザが見る場合にも、他のユーザの利き目に合致する画像の組を記憶部から選択し、選択された画像の組における座標を変換していない画像を他のユーザの利き目に見せるように表示部に表示できる。そのため、他のユーザが高画質であると感じる立体画像を提供できる。なお、他のユーザが利き目に合致する画像の組を選ぶ場合、他のユーザが高画質と感じる画像の組を選択してもよく、公知の顔認識技術等を用いて他のユーザを自動認識し、予め登録されている利き目情報から他のユーザが高画質と感じる画像の組を自動的に選択してもよい。

次に、立体ディスプレイ用の画像作成について図１２を用いて説明する。

図１２は、表示部である立体ディスプレイの方式の一例を示す概略図である。液晶ディスプレイ２２には、左眼用の画像及び右眼用の画像のそれぞれを縦に細かく分割した分割画像ａ、ｂが交互に表示される。分割画像ａ、ｂは、スリットよりなるパララックスバリア２１を介して、観察者の左眼２０ａ及び右眼２０ｂでそれぞれ別々に観察される（図１２では、左画像ａが左眼２０ａに入射し、画像ｂが右眼２０ｂに入射する）。これにより、観察者の左眼２０ａには左眼用の画像のみが観察され、右眼には右眼用の画像のみが観察されることになる。そこで、左眼用の画像及び右眼用の画像として、互いに視差がある画像を表示することにより、観察者に立体感を感じさせることが可能となる。

本実施形態では、左眼用の画像として再構築した図１１（ａ）に示す画像の分割した画像を、図１２における分割画像ａとして表示し、右眼用の画像として再構築した図１１（ｂ）に示す画像の分割画像を、図１２における分割画像ｂとして表示する。このように、本構成の立体ディスプレイを用いる場合は、図１１（ａ）の画像と図１１（ｂ）の画像とが一列ずつ交互に切り変わる画像を作ることより、観察者に立体感を与える立体表示を実現することができる。

なお、本構成は、パララックスバリア方式の立体ディスプレイであったため、本フォーマットに画像を変換したが、他の方式の立体ディスプレイを利用する場合は、そのディスプレイに有ったフォーマットに変換する必要がある。本構成と同様に、裸眼で立体画像を観察できる方式として、レンチキュラー方式や、インテグラルイメージング方式がある。また、着用したメガネを介して立体画像を観察する方式としては、偏向メガネ方式や、液晶シャッター方式がある。

また、図１における左カメラ１ａ及び右カメラ１ｂなどの撮像装置は、本願発明の立体画像表示装置に必須の構成ではない。例えば、外部の撮像装置により撮影された２つの画像データを入力して、立体画像を表示する構成とすることも可能である。また、図１における画像入力部２や画像メモリ３ａ、３ｂも本願発明の立体画像表示装置に必須の構成ではなく、外部のメモリから画像生成部４に直接データを入力してもよい。

（第１の実施形態の変形例）
第１の実施形態は、２つのカメラで撮影されキャリブレーション処理された左画像５０ａと右画像５０ｂのうち、視差量補正（座標変換）を行った一方の画像と他方の無修正画像とを立体ディスプレイのフォーマットに合わせ表示する構成であった。

本変形例では、例えば、左画像５０ａ（座標無変換画像）と、同じ左画像５０ａを座標変換した画像（座標変換画像）とを用いる。本変形例によれば、観察者の右眼に入る画像と左眼に入る画像との元画像（撮影された画像）が同一であるため、観察者は、平面的な被写体が前後関係を有して並んだ立体像（書き割り効果）を認識することが出来る。この立体像では立体感が強調されるため、本変形例は、特に小型表示装置などの用途に有効な構成である。

なお、本変形例において（数４）の座標変換の式は、

と変更される。

（数４）と（数５）を比較しても分かるように、本変形例においては、第１の実施形態と比較して各構成単位の座標値に付加する値が大きい。すなわち画像情報欠落部に相当する領域が大きくなる。そのため、観察時の違和感も大きくなる。そこで、利き目でない他方の眼が観察する画像として、座標変換を行った画像を表示部が表示し、利き目が観察する画像として、座標変換を行っていない画像を表示部が表示する構成とすることにより、画像の違和感を軽減できる効果が第１の実施形態よりも顕著に得られる。具体的には、前述のように、ユーザが操作できる指示部、および指示部からの入力信号に基づいていずれの画像に対して座標変換を行うかを切り換える座標変換切換部を有する構成により、撮影された２つの画像のいずれの画像に対して座標変換を行うかを適宜切り換えることができる。また、前述のように、画像生成部は、撮影された２つの画像双方に対して、座標変換、画像欠落部補間した後、変換前の無修正画像とともに記憶させる構成をさらに有していてもよい。これにより、使用途中にユーザが変わった場合、無修正画像が利き目に入射するように表示する画像を切り換えることによって、個々のユーザが高画質であると感じる立体画像を提供することができる。

なお、本変形例では、１つのカメラによって１つの画像のみを取得し、カメラ以外の手段（例えばセンサなど）より被写体の距離情報を取得する場合に置いても、２つのカメラを用いる場合と同様の処理が可能である。

図１３は、１つの画像のみから立体画像を生成するステップを示すフローチャートである。ステップＳ１０１においては、１つのカメラによって撮影された１つの画像のキャリブレーション処理を行う。ステップＳ１０７においては、カメラ以外の測距手段より被写体までの距離情報を得る。ステップＳ１０３においては、距離情報（被写体までの距離Ｚ）、人間の両眼の間隔Ｂ（第２の光軸間隔）、焦点距離ｆを（数６）に代入することにより、補正視差量Δ'を直接算出することができる。
（数６）
Δ'＝ｆ・Ｂ／Ｚ

その後、ステップＳ１０４において、（数５）に、画像の各構成単位の座標値に、演算した視差量Δ'を付加する。この構成では、１つの画像から、座標変換画像と座標無変換画像とを生成する。その他のステップは図２（ｂ）と同様であるため、詳細な説明は省略する。

これにより、１つの画像のみを撮影する場合においても、本変形例において２つの画像を撮影する場合と同様の効果が得られる。また、画像情報欠落部に相当する領域が大きくなることで生じる違和感も、利き目に座標変換を行っていない画像を観察させることにより軽減することができる。

なお、人間の両眼の間隔Ｂの視差量は、（数６）を用いて演算する構成ではなく、距離と関連がある情報のデータベースを参照することにより取得する構成でもよい。例えば、焦点合わせを行った際のレンズ位置と、焦点が合っている被写体の距離から算出される人間の両眼の間隔Ｂの視差量とを、関連付けてデータベースとして有していればよい。

また、このような１つのカメラより１つの画像を取得する場合には、座標変換切換部は、１つの画像における各構成単位の座標値に視差量を付加する方向を切り換える役割を果たす。

（第２の実施形態）
以下、本発明による立体画像表示装置の第２の実施形態を説明する。第１の実施形態と異なる箇所について図面を参照しながら説明する。

本実施形態では、図２（ｂ）におけるステップＳ１０４の処理が第１の実施形態と異なっている。本実施形態におけるステップＳ１０４では、左画像５０ａと右画像５０ｂとの間の視差量が、ステップＳ１０３で得られた補正視差量となるように、左画像５０ａと右画像５０ｂの両方において、各構成単位の座標を変換し視差量を補正する処理を行う。

図１４を用いて本処理について説明する。図１４において、図３と同じ部材については、同じ符号を付与し、説明を省略する。

本実施形態のステップＳ１０４では、撮像素子１０ａで検出した左画像の各構成単位の座標を変換する事により仮想光学系１４ａにより仮想撮像素子１３ａに形成される画像を再現する。同様に、撮像素子１０ｂで検出した右画像の各構成単位の座標を変換する事により仮想光学系１４ｂにより仮想撮像素子１３ｂに形成される画像を再現する。

図１５を用いて、撮像素子１０ａ、撮像素子１０ｂ上に形成された画像を元に、仮想撮像素子１３ａ、１３ｂ上に形成される画像の構築処理を説明する。図１５は、左画像５０ａの一部である被写体像６０ａ、背景像６１ａと、右画像５０ｂの一部である被写体像６０ｂ、背景像６１ｂを示している。被写体像の結像位置が２つの画像の間で異なり、２つの画像には視差が有ることがわかる。ステップＳ１０３で計算された補正視差量を用いて、ステップＳ１０４において座標変換を行うことにより、２つの画像が有する視差量を補正する。即ち、光軸間隔がＢだけ離れた仮想撮像素子１３ａ、１３ｂ、仮想光学系１４ａ、１４ｂよりなる仮想カメラに形成される画像を予測再現する。

ここでは、すでに、左画像５０ａ、右画像５０ｂには撮影における視差があるため、左画像５０ａと右画像５０ｂの両方の各構成単位の座標値にそれぞれ（補正視差量Δ’−撮像視差量Δ）／２を互いに逆向きに付加する座標変換処理を行う。

具体的な座標変換は以下の式で表される。

この（数７）を用いて全ての構成単位の座標を変換する。但し、変換前の座標は、ｘ，ｙ、変換後の座標はＸ，Ｙである。また、右画像の場合ｉ＝１、左画像の場合ｉ＝２である。また、本発明の構成では、視差はｘ方向のみにしか発生しないため、（数７）では、ｘ方向のみを考慮すれば十分である。

図１６に、座標変換を行った結果を示す。被写体像６０ａはｘ方向の正の方向に、被写体像６０ｂはｘ方向の負の方向に移動されている。

なお、ステップＳ１０２、ステップＳ１０３の処理により、全ての画素は撮像視差量と、補正視差量の値を情報として有する。

このステップＳ１０４の処理により、視差量を、人間の両眼の間隔で撮像した場合に相当する値に補正することができ、立体感に違和感の無い画像を提供することができる。

また、本実施形態では、図１６に示すように、左眼で観察している画像（左画像５０ａ）上の画像情報欠落部６２ａの発生位置は、右眼で観察している画像（右画像５０ｂ）上の画像情報欠落部６２ｂの発生位置と、被写体像に対して反対側となる。つまり、一方の画像上において被写体像に対して欠落部が発生する位置には、他方の画像上においては画像情報が存在する。このような左右２つの画像を両眼で同時に観察することにより、観察者は、脳内で左画像５０ａ，右画像５０ｂにおける画像情報欠落部を互いの画像が有する画像情報により補間し、良好な画質として認識することが出来る。なお、この補間効果は画像情報欠落部が目立たないように画像補間部により処理した上でより一層発揮される。

さらに、本実施形態では、左右の画像の両方において座標を変換し視差量を補正する構成をとることにより、片眼当たりの画像情報欠落部の面積も小さくすることができ、ますます画像情報欠落部が目立ちにくくなるため、より画質の高い画像を提供することができる。

以上の効果により、高画質の立体画像を提供することができる。

さらに、第１の実施形態と同様に、図１７に示すように視差量補正により発生する画像情報欠落部を補間する処理を施すことにより、観察者の画質感の悪化を無くし高画質な立体画像を提供することができる。

本実施形態では、第１の実施形態の変形例と同様に、１つの画像を元にして、逆方向に座標を変換してもよい。また、単眼の撮像装置を用いてもよい。

なお、立体ディスプレイ用の画像を作成するステップは、第１の実施形態と同様である。本実施形態のうち第１の実施形態と同様の構成およびステップについての説明は省略する。

本発明に係る立体画像表示装置は、携帯端末に搭載できるような光軸間距離が人間の両眼の間隔よりも狭い撮像装置により撮影された２つの画像を用いて立体画像を表示する立体画像表示装置として有用である。

１ａ 左カメラ
１ｂ 右カメラ
２ 画像入力部
３ａ、３ｂ、５ 画像メモリ
４ 画像生成部
６ 画像出力部
７ 立体ディスプレイ
１０ａ 左カメラの撮像素子
１０ｂ 右カメラの撮像素子
１１ａ 左カメラの光学系
１１ｂ 右カメラの光学系
１３ａ 左の仮想撮像素子
１３ｂ 右の仮想撮像素子
１４ａ 左の仮想光学系
１４ｂ 右の仮想光学系
２０ａ 観察者の左眼
２０ｂ 観察者の右眼
２１ パララックスバリア
２２ 液晶ディスプレイ
６０ａ 左画像５０ａの被写体像
６１ａ 左画像５０ａの背景像
６０ｂ 右画像５０ｂの被写体像
６１ｂ 右画像５０ｂの背景像
１０１ キャリブレーション処理部
１０２ 撮像視差量抽出部
１０３ 補正視差量計算部
１０４ 座標変換部
１０５ 画像補間部
１０６ 座標変換画像切換部
１０９ 指示部

Claims (12)

1. 第１の光軸間隔で配置された２つの撮像部で撮像された第１の画像および第２の画像を用いて、前記第１の光軸間隔よりも広い間隔で配置される２つの視点からの２つの画像を生成する画像生成部と、
   前記画像生成部によって生成された２つの画像を、両眼のそれぞれで別々に観察できるように表示する表示部と、
   ユーザが操作可能な指示部と、
   を備え、
   前記画像生成部は、
   当該画像生成部が生成する２つの画像が有する視差量が、前記２つの視点間の視差量となるように、撮像された前記第１の画像および前記第２の画像のうち少なくとも１つの画像の座標を構成単位ごとに変換する座標変換部と、
   前記座標の変換によって画像情報が欠落した画素の画像情報を補間によって生成する画像補間部と、
   を有し、
   前記座標変換部は、前記指示部からの入力信号に基づいて、座標が変換された座標変換画像と、座標が変換されていない座標無変換画像とを表示部に出力し、
   前記表示部は、前記画像無変換画像をユーザの利き目で観察できるように表示する、立体画像表示装置。
2. 第１の光軸間隔で配置された２つの撮像部で撮像された第１の画像および第２の画像を用いて、前記第１の光軸間隔よりも広い間隔で配置される２つの視点からの２つの画像を生成する画像生成部と、
   前記画像生成部によって生成された２つの画像を、両眼のそれぞれで別々に観察できるように表示する表示部と、
   ユーザが操作可能な指示部と、
   を備え、
   前記画像生成部は、
   当該画像生成部が生成する２つの画像が有する視差量が、前記２つの視点間の視差量となるように、撮像された前記第１の画像および前記第２の画像のうち少なくとも１つの画像の座標を構成単位ごとに変換する座標変換部と、
   前記座標の変換によって画像情報が欠落した画素の画像情報を補間によって生成する画像補間部と、
   を有し、
   前記座標変換部は、前記指示部からの入力信号に基づいて、座標が変換された座標変換画像と、座標が変換されていない座標無変換画像とを表示部に出力し、
   前記座標変換部は、前記第１の画像における各構成単位の座標値に、前記２つの視点間の視差量の値を付加することにより生成した画像を前記座標変換画像として出力し、前記第１の画像を前記画像無変換画像として出力する、立体画像表示装置。
3. 第１の光軸間隔で配置された２つの撮像部で撮像された第１の画像および第２の画像を用いて、前記第１の光軸間隔よりも広い間隔で配置される２つの視点からの２つの画像を生成する画像生成部と、
   前記画像生成部によって生成された２つの画像を、両眼のそれぞれで別々に観察できるように表示する表示部と、
   ユーザが操作可能な指示部と、
   を備え、
   前記画像生成部は、
   当該画像生成部が生成する２つの画像が有する視差量が、前記２つの視点間の視差量となるように、撮像された前記第１の画像および前記第２の画像のうち少なくとも１つの画像の座標を構成単位ごとに変換する座標変換部と、
   前記座標の変換によって画像情報が欠落した画素の画像情報を補間によって生成する画像補間部と、
   前記指示部からの入力信号に基づいて撮像された前記第１の画像および前記第２の画像のいずれに対して各構成単位の座標の変換を行うかを切り替える座標変換切換部と、
   を有し、
   前記座標変換部は、前記指示部からの入力信号に基づいて、座標が変換された座標変換画像と、座標が変換されていない座標無変換画像とを表示部に出力する、立体画像表示装置。
4. 前記座標変換部は、撮像された前記第１の画像における各構成単位の座標値に、前記２つの視点間の視差量と、前記第１の画像および前記第２の画像が有する視差量との差の値を付加することにより生成した画像を前記座標変換画像として出力し、前記第２の画像を前記座標無変換画像として出力する、請求項１に記載の立体画像表示装置。
5. 前記座標変換部は、前記画像変換画像を左眼が観察する画像になるように初期設定されている、請求項１から４のいずれかに記載の立体画像表示装置。
6. 前記座標変換部は、撮像された前記第１の画像および前記第２の画像の両方の画像の各構成単位の座標値に、前記２つの視点間の視差量と前記第１の画像および前記第２の画像が有する視差量との差の１／２の値を、互いに逆方向に付加する変換を行う、請求項１に記載の立体画像表示装置。
7. 前記画像補間部は、前記画像情報が欠落した画素を有する画像における前記画素以外の部分の情報を用いて、補間のための画像情報を生成する、請求項１から６のいずれかに記載の立体画像表示装置。
8. 前記画像補間部は、前記画像情報が欠落した画素の基線方向の両側に隣接する少なくとも１つの画素の強度情報に基づいて、補間のための画像情報を生成する、請求項１から７のいずれかに記載の立体画像表示装置。
9. 前記２つの視点の間隔は６０〜７０ｍｍである、請求項１から８のいずれかに記載の立体画像表示装置。
10. 請求項１から９のいずれかに記載の立体画像表示装置と、
    第１の光軸間隔で配置された２つの撮像部とを備え、
    前記第１の画像および前記第２の画像は、前記２つの撮像部のそれぞれによって撮像された画像である、撮像および表示装置。
11. 撮像部で撮像された１つの画像と、撮像された被写体の距離情報とを用いて、所定の間隔で配置される２つの視点からの２つの画像を生成する画像生成部と、
    前記画像生成部によって生成された２つの画像を、両眼のそれぞれで別々に観察できるように表示する表示部と、
    を有し、
    前記画像生成部は、
    前記撮像された１つの画像における各構成単位の座標値に、前記２つの視点間の視差量を付加する変換を行う座標変換部と、
    前記座標の変換によって画像情報が欠落した画素の画像情報を補間によって生成する画像補間部と、
    撮像された前記１つの画像における各構成単位の座標値に、前記２つの視点間の視差量を付加する方向を切り替える座標変換切換部と
    を有する、立体画像表示装置。
12. 前記画像生成部は、座標が変換された画像と座標が変換されていない画像とを表示部に出力する出力部をさらに有し、
    前記表示部は、座標が変換されていない画像をユーザの利き目で観察できるように表示する、請求項１１に記載の立体画像表示装置。

Images