JP4424299B2 - 画像処理方法、画像処理装置およびこれを用いた画像表示装置 - Google Patents

Description

本発明は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子を用いた画像処理方法、画像処理装置およびこれを用いた画像表示装置に関し、特に左右両眼の視差に基いた画像を処理し通常のディスプレイに擬似立体画像を表示する画像処理方法、画像処理装置およびこれを用いた画像表示装置に関する。

２機のカメラによる両眼立体視では、その再生において特別なディスプレイが必要となる。即ち、左画像と右画像を、観測者の右目・左目各々に結像させるため光学的工夫が為されたディスプレイが必要であり、その光学的工夫のために、視野角の制限が生じてしまう。そのため、１台のディスプレイを多人数で見ることは困難である。
また視差を抽出して利用する技術もあるが、それも左画像と右画像を観測者の右目・左目各々に結像させるディスプレイが必要とされている。
例えば、眼鏡を用いた例として、左眼用と右眼用の画像データを交互に表示装置に出力し、観測者は画像データの切り替えタイミングに同期させてシャッターを切り替えることができる眼鏡を介して画像データを再生することにより、立体画像を観測できる。
特許文献１には、眼鏡を用いずに立体画像を再生する方法とその装置が開示されている。視差に基く立体画像表示装置が開示されていて、左眼用画像と右眼用画像をドット毎に短冊状に交互に並べて立体画像データを生成し、この２視点の画像データをパララックスバリア方式又はレンチキュラ方式により立体画像を表示する。
このパララックス方式において、表示装置はスリットとディスプレイで構成され、スリットがディスプレイの前に設置されている。観測者はディスプレイに表示された立体画像データをスリットを介して観察する。このとき、観測者の左眼は左眼用の画像データのみを観測し、右眼は右眼用の画像データのみを観測することにより、立体画像データを、立体感を感じた状態で観測することができる。
このように、立体画像を表示するには、表示装置にスリットなどを特別に設ける必要がある。
また特許文献２には、携帯情報端末に３Ｄ（３次元）画像の表示機能を備えた例が開示されている。３Ｄ表示可能な液晶モジュールは、バックライトと偏光角の切り替え可能な切替用液晶素子と、スリット状にパターン化した位相差板とＴＦＴ液晶で構成されている。３Ｄ画像の表示は、切替液晶素子の偏光角を切り替えることによりパターン化位相板との位相関係を変化して、左目用画像に左画素を透過し右目に投影されないように遮断する。また、右目用画像に右画素を透過し左目に投影されないように遮断する。すると、右目には右目用画像のみが映し出され、左目には左目用画像のみが映し出され、観察者の右目と左目には異なる映像が与えられる。その結果、観察者は奥行きのある３次元立体画像を知覚できる。
この場合、表示装置に位相差板と偏光角を切り替え可能とする切替液晶素子などの特別な装置が必要である。
特開２００４−３４３２９０号公報 特開２００４−４０４４５号公報

２機のカメラによる両眼立体視は、再生時特別なディスプレイが必要となり、その構造が複雑となり、また視野角が限定されるので、１台のディスプレイを多人数で見ることができない。

本発明は、上記課題に鑑みてなされたものであり、その目的とするところは、一つのＬＳＩ（大規模集積回路）の中で、水平レジスタ毎に主眼・副眼イメージャから出力された信号の比較などを並列演算し、通常の視差撮像の構成よりも速い画像処理を行うと共に、高精細・高レイトな画像を得ることである。
この様なイメージャと画像処理装置を備えたＬＳＩを搭載して、画像データと共に、視差・距離情報も記録し、擬似立体画像を形成するカムコーダ（ソニーの登録商標）やディジタルスティルカメラを実現することである。

本発明の画像処理方法は、一対のイメージャによる被写体の距離に応じた視差の抽出を、前記一対のイメージャ間で各々対応する画素もしくはそれに準ずる画像ブロックの、前記一対のイメージャ間での位置ズレから求め、当該位置ズレした画像の画像データのそれぞれに前記一対のイメージャから被写体の距離に応じた距離係数を付与し、当該付与された距離係数に対応する前記画素もしくはそれに準ずる画像ブロックの画像データを、前記付与された距離係数に基いて、前記画素が前記イメージャから読み出された方向と同じ方向に交互にシフトして画像処理する。
本発明の画像処理装置は、被写体までの距離に応じた視差の異なる画像データを抽出する一対のイメージャと、前記一対のイメージャ間で各々対応する画素もしくはそれに準ずる画像ブロックの、前記一対のイメージャ間での位置ズレから求め、当該位置ズレした画像の画像データのそれぞれに前記一対のイメージャから被写体の距離に応じた距離係数を付与する演算回路と、視差の異なる画像データを、前記付与された距離係数に基いて、前記画素が前記イメージャから読み出された方向と同じ方向に交互にシフトして画像処理する画像処理回路とを有し、前記一対のイメージャと前記演算回路は同一の集積回路上に形成されたことを特徴とする。
本発明の画像表示装置は、被写体までの距離に応じた視差の異なる画像データを抽出する一対のイメージャと、前記一対のイメージャから導出された視差の異なる画像データが供給され、前記一対のイメージャ間で各々対応する画素もしくはそれに準ずる画像ブロックの、前記一対のイメージャ間での位置ズレに応じて視差を抽出し、当該視差を有するそれぞれの画素データに対して前記一対のイメージャから被写体までの距離に応じた距離係数を付与する演算回路と、前記付与された距離係数に対応する前記画素もしくはそれに準ずる画像ブロックの画像データを、前記付与された距離係数に基いて、前記画素が前記イメージャから読み出された方向と同じ方向に交互にシフトして擬似立体画像を形成する画像処理回路と、前記画像処理回路から出力された擬似立体画像を表示する表示装置とを有する。

本発明における画像処理方法、画像処理装置およびそれを用いた画像表示装置は、一つの（イメージャ）ＬＳＩの中で、水平レジスタ毎に主眼・副眼イメージャの信号比較を並列演算で行うので、通常の視差撮像の構成よりも速い画像処理が可能であり、高精細・高レイトの画像を得ることができる。
この様なイメージャＬＳＩを搭載すれば、画像データと共に、視差・距離情報も記録できるカムコーダ（ソニーの登録商標）やディジタルスティルカメラが実現できる。
また本発明による画像処理方法では、視差に基く距離係数を用いて、単眼でも立体的な擬似効果を得るので、視野角の制限は無くなり、両眼立体視の様な特別なディスプレイを必要としない。
よって、多人数での単一ディスプレイの視聴、両眼の視力が揃っていない視聴者などに対しても、擬似的ではあるが画像表示の立体効果を提供できる。
この様な画像処理方法を用いれば、家庭で撮影したプライベートな映像や映画などの娯楽コンテンツが立体的に強調され、またゲーム画像での立体的臨場感・スピード感が強調される。

図１に実施形態例である一対のイメージャによる視差抽出の撮像システム１０を示す。図１の視差抽出の撮像システム１０は、複数例えば主眼，副眼に対応して２個のイメージャＬＳＩ１２，１４で構成される例を示している。また不図示のイメージャ画像処理装置は、イメージャＬＳＩ１２，１４に接続され、各イメージャから出力された主眼画像データと副眼画像データを用いて演算処理する画像処理回路などで構成されている。
レンズ１１，１３は、レンズ位置から第１の距離にある被写体１５と第２の距離にある被写体１６の画像（光信号）をイメージャ（センサ）ＬＳＩ１２，１４の撮像面上に投写する。
イメージャＬＳＩ１２，１４は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などからなり、多画素で構成され、主眼用レンズ１１、副眼用レンズ１３を透過した画像光信号を電気信号に変換する。
図１（Ｂ）にイメージャ１２，１４が例えばＣＭＯＳで構成された例を示す。垂直方向にＲＧＢ画素が繰り返し配列されて１列を形成し、この列方向の画素列２１は行方向に垂直レジスタ２２と交互に繰り返し、所望数設けられ、いわゆる画素がマトリックス状に配列される。画素に入力された光信号は電気信号に変換され、タイミングジェネレータから送られてくるクロックに同期して垂直レジスタ２２に転送される。
垂直レジスタ２２からの出力信号はＡＤ（アナログ・ディジタル）変換器でディジタル信号に変換され、水平レジスタ２３に供給され、所定のタイミングで出力される。
イメージャＬＳＩ（１２，１４）から夫々出力されたディジタル信号が、主眼画像データと副眼画像データとして不図示の演算回路に供給され、そこで演算処理されて擬似立体画像が生成される。この演算処理方法と装置については後述する。

このように、図１（Ａ）の２機（一対）のイメージャＬＳＩ（１２，１４）による視差抽出撮像系は被写体までの距離を視差より認識するために、レンズとイメージャ（センサ：撮像素子）ＬＳＩが一対（２機）必要である。ここで２機のイメージャＬＳＩ（１２，１４）は各々独立したＬＳＩであり、通常、垂直レジスタ、水平レジスタを経て（垂直・水平の順が逆もある）、撮像した画像データをシリアルな電気信号として出力する。
本発明では、"主眼"イメージャＬＳＩ１２からのシリアルな画像信号と、"副眼"イメージャＬＳＩ１４からの同信号を比較して視差を抽出し、後述の画像処理を行う。
尚、本図では主眼（イメージャ）を左側、副眼（イメージャ）を右側として、以下説明を続けるが、この左右の関係は逆でも構わない。

図２に本発明の実施形態例である１個のＬＳＩで構成された視差抽出の撮像システム５０の概略ブロックとイメージャ５４（５４Ａ，５４Ｂで構成される）を示す。主眼イメージャ５４Ａと副眼イメージャ５４Ｂは前述したように、ＣＣＤあるいはＣＭＯＳなどで構成される。ここでは、主眼イメージャ５４Ａと副眼イメージャ５４Ｂを１個のＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージャＬＳＩで構成された例を示す。
図２（Ａ）に示す視差抽出の撮像システム５０は、レンズ５１，５５の位置に対して前方に第１の被写体５８があり、また後方に第２の被写体５９がある。これらの被写体がレンズ５１，５５を介して撮像される。レンズ５１に入力された被写体５８，５９の画像は反射板（ミラー）５２，５３で反射して一体化されたイメージャＬＳＩ５４内の主眼イメージャ５４Ａに入力される。また、レンズ５５を介して入力された被写体５８，５９の画像は反射板５６，５７で反射し、（イメージャ）ＬＳＩ５４内の副眼イメージャ５４Ｂに入力される。
すなわち、一対のイメージャを１個のＬＳＩ内に構成するために、主眼と副眼イメージャ５４（５４Ａ，５４Ｂ）が離れていても、反射板５２，５３，５６，５７を利用して、チップサイズの小さいＬＳＩ内の受光領域に被写体を投写できるように構成している。

図２（Ｂ）に実施形態例である主眼と副眼イメージャ（５４Ａ，５４Ｂ）と演算装置が一体化された（イメージャ）ＬＳＩ５４を示す。このイメージャは例えばＣＭＯＳで構成され、ここでは説明上簡略化したブロック構成を示す。
主眼、副眼イメージャ（５４Ａ，５４Ｂ）は水平方向に画素行６１Ａ，６１Ａ'，・・・，６１Ｃ，６１Ｃ'が配置され、それぞれの画素行に対応して水平レジスタ６２Ａ，６２Ａ'，・・・，６２Ｃ，６２Ｃ'が備えられている。
主眼用水平レジスタ６２Ａと副眼用水平レジスタ６２Ｂの出力は並列演算回路６３Ａに接続され、主眼用水平レジスタ６２Ｂと副眼用水平レジスタ６２Ｂ'の出力は並列演算回路６３Ｂに接続され、以下同様に主眼用水平レジスタ６２Ｃと副眼用水平レジスタ６２Ｃ'の出力は並列演算回路６３Ｃに接続されている。
並列演算回路６３Ａ〜６３Ｃの出力は垂直レジスタ６４に接続され、並列演算回路からの演算結果を順次出力する。ここでは画素行とそれに対応するする水平レジスタは６個しか示していないが、実際は必要な解像度が得られる個数の行が設けられている。

上述したように、イメージャ（ＬＳＩ）５４は、主眼イメージャ５４Ａと副眼イメージャ５４Ｂで構成されていて、例えばエリアセンサにおいては、水平（ｘ）方向にそれぞれ所定数の画素が配列され、かつ垂直方向には画素行と水平レジスタが交互に配列されている。
画素行は、例えばＲ，Ｇ，Ｂと繰り返し配置され、各Ｒ，Ｇ，Ｂ画素がそれに対応する水平レジスタに接続される。これらの画素は、行選択トランジスタ、リセット用トランジスタ、アンプ用トランジスタ及びフォトダイオードで構成されている。
各画素を駆動し、各画素（の素子）からの出力信号を取り出すため、ノイズキャンセラ、信号読み出し用トランジスタ、水平レジスタ及びＡＤ（アナログ・ディジタル）変換器が配置されている。そして、ＡＤ変換器の出力は水平レジスタに接続される。

Ｒ，Ｇ，Ｂ画素の周辺部には、列選択のための不図示の水平走査回路が水平駆動系として、また行選択には不図示の垂直走査回路が垂直駆動系として設けられている。これらの走査回路は、例えばシフトレジスタによって構成され、不図示のタイミングジェネレータ（ＴＧ）から与えられる駆動パルスに同期してシフト動作（走査）を開始するようになっている。

水平走査回路からは、水平走査（選択）パルスが順次出力され、これら水平走査パルスは、列読出し線や列信号線に供給され、列読出し線と行選択線で選択された特定画素から取り出された画素信号は列信号線を介して出力される。
垂直走査回路からは垂直走査パルスが順次出力され、行選択線に供給されて、垂直方向の画素行が順次選択される。

列信号線から取り出された画素信号は、差分回路としての例えば相関二重サンプリング（ＣＤＳ）回路に供給され、タイミングジェネレータから与えられるサンプリングパルスに基づいて、画素リセット直後のノイズレベルと信号レベルとの差分をとる処理を行う。また、ＣＤＳ回路の後段には、ＡＧＣ(Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ)回路やＡＤＣ(Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ)回路等を設けている。
ＡＤＣ回路から出力されたディジタル画素データ（信号）が水平レジスタ６２Ａ，６２Ａ'〜６２Ｃ，６２Ｃ'へ出力される。この水平レジスタ６２Ａ，６２Ａ'〜６２Ｃ，６２Ｃ'に供給された画素データは順次、並列演算回路６３Ａ〜６３Ｃに出力され、視差による画素ズレの検出、その他の演算処理を行う。

図２に示すモノリシックなイメージャによる視差抽出の撮像システム５０は、主眼と副眼イメージャ５４Ａ，５４Ｂを同一基板にまとめたＬＳＩで構成し、視差・距離を抽出する撮像系となる。この場合、一つの（イメージャ）ＬＳＩ５４の中で、水平レジスタ毎に、主眼・副眼イメージャ５４Ａ，５４Ｂの信号比較を並列演算処理で行う構成とすることができる。
水平方向に視差を抽出し、その後、垂直レジスタでデータをシリアル出力する方式の方が、前述した図１の視差抽出の撮像システム１０の構成よりも速い画像処理が可能であり、高精細・高レイトな動画に適している。
この様な、主眼・副眼イメージャ、並列比較演算回路を一体化したＬＳＩ構成も、以下に述べる画像処理と並んでシステム構成上、また製造上、利点がある。
尚、視差を抽出するためのレンズの間隔は、一体化された主眼・副眼イメージャの(ＬＳＩ内での)間隔よりも通常大きく取らねばならず、その為に、両者の間隔を整合させる光学系が明らかに望まれる。

図３に視差抽出の撮像システム１００を３次元表示した構成図を示す。またこれに対応する平面図（視差抽出の撮像と座標認識のモデル）を図４に示す。以下、主眼・副眼イメージャ（７４，７５）の画像データを水平方向に比較し、視差抽出と距離係数付与をする方法を説明する。
以後、水平レジスタ毎に並列比較する構成で説明するが、撮像系は前記図１の構成でもよく、図２の構成に限定されない。
ここで、寸法設定は図３、図４に示す値に限定されないが、説明の都合上例えば図３（Ａ）の通りに設定する。主眼レンズ５１と副眼レンズ５５との間隔を４ｄ、レンズ対５１及び５５とイメージャ対７４及び７５との距離を５ｄ、主眼レンズ５１に対する第１の被写体７１との距離を１０ｄ、同第２の被写体７２との距離を２０ｄ、同第３の被写体７３との距離を４０ｄとする。
さらに第１の被写体７１は２ｄ四方に「甲乙丙丁」と記載されたプレートである。第２の被写体７２は８ｄ四方に「あ〜た」と平仮名記載されたプレートとし、第３の被写体７３は２４ｄ四方に「ア〜ヤ」と片仮名記載されたプレートとする。ここで、記号「ｄ」の値は任意（の距離）単位であり、特定の数値に限定されない。
各々４ｄ×３ｄのサイズのイメージャ７４，７５に対し、各被写体はレンズ５１，５５を介して反転して結像するので、主眼と副眼イメージャ（７４，７５）の撮像は図３（Ｂ），図３（Ｃ）の様になる。ただし、文字は１８０度回転して見易いように表示している。

図３（Ｂ），図３（Ｃ）において、この撮像にｄ／２四方８×６ブロックの横（１〜８）×縦（Ａ〜Ｆ）の座標を割り振ると、レンズ５１，５５までの距離が近い第１の被写体７１では、主眼・副眼イメージャ（７４，７５）での水平方向への座標ブロックのズレが大きく、距離の遠い第３の被写体７３では、同ズレが逆に小さくなる。
図３（Ｂ）の座標認識図の主眼イメージャ７４では、第３の被写体７３が座標ブロックＡ２〜Ａ７に「ヤ〜マ」と撮像され、以下同様に座標ブロックＦ２〜Ｆ７に「カ〜ア」が撮像されている。またこれと重複して第２の被写体７２が座標ブロックＢ３〜Ｂ６に「た〜す」が、以下同様に座標ブロックＥ３〜Ｅ６に「え〜あ」が撮像されている。さらに第１の被写体７１が座標ブロックＣ４，Ｃ５に「丁丙」、Ｄ４，Ｄ５に「乙甲」と撮像されている。このように、主眼イメージャ７４には、図３（Ａ）のプレートに表示された文字の配列に対して１８０度回転した画像が表示されている。しかし、主眼イメージャ７４は被写体の距離によるズレは生じない。
図３（Ｃ）に副眼イメージャ７５に撮像された文字列を示す。この横座標ブロックは＋１オフセットされている。副眼イメージャ７５から見た第３の被写体７３が座標ブロックＡ３〜Ａ８に「ヤ〜マ」と撮像され、以下同様にＦ３〜Ｆ８に「カ〜ア」と撮像されている。
またこれと重複して第２の被写体７２が座標ブロックＢ５〜Ｂ８に「た〜す」が、Ｅ５〜Ｅ８に「え〜あ」が撮像されている。第１の被写体７１は、座標ブロックＣ８，Ｃ９に「丁丙」、Ｄ８，Ｄ９に「乙甲」と撮像されている。このズレ量と画像データは、主眼イメージャ７４においては、レンズ５１による１８０度の画像回転のみであるが、副眼イメージャ７５においては、さらに横座標ブロックに＋１オフセットされているため、視差による画像ズレが加わり、図３（Ｂ）の各プレートの文字位置に対して更に位置が異なっている（図３（Ｃ））。
尚、上記の座標ブロック単位は極力小さい方が視差認識精度は上がるので、実際には該座標ブロックは画素単位が好ましい。

図４に視差抽出の撮像システム１００の平面図１５０を示す。寸法は、例えば図３に示した例と同じものを用いる。
この平面図において、主眼イメージャ７４について、レンズ５１を介して主眼イメージャ７４に被写体が結像する作像ラインを実線で示し、副眼イメージャ７５については、破線で示す。
主眼イメージャ７４の中心線がレンズ５１のセンターを介して第１の被写体７１の中心、第２の被写体７２、第３の被写体７３の中心に位置するように設定されている。これに対して、副眼イメージャ７５は主眼イメージャ７４から４ｄの距離だけ左右にズレているので、副眼イメージャ７５またはレンズ５５の中心ラインに対して、第１、第２と第３の被写体７１，７２，７３の中心はズレてくる。特に、被写体がレンズ５５の位置に近くなるに伴い中心ラインのズレは大きくなっている。
すなわち、この平面図からも解るように、主眼イメージャ７４に対して、副眼イメージャ７５で観察する第１の被写体７１が大きく左にズレている。また、副眼イメージャ７５またはレンズ５５の中心ラインに対して、第１の被写体７１のズレが第３の被写体７３と比較して大きいことも解り、そのズレが距離に関係することが解る。

図５に実施形態例である視差抽出の撮像と座標認識２００の画像例１を示す。
前記図３の原理的な説明に対し、図５（Ａ）は、ｄ＝１２ｍｍとし、主眼レンズ５１から距離２４０ｍｍのミニカー(前景)７１と、距離４８０ｍｍの本２冊（Ｂｏｏｋ Ａ，Ｂｏｏｋ Ｂ；図では斜線で表示）と衝立(背景)７３を撮影した例である。
横１〜８×縦Ａ〜Ｆの座標ブロックにおいて、ミニカーの撮像は実線枠内、背景は破線枠内となる。
図５（Ｂ）に示す主眼イメージャ７４において、ミニカー７１の画像は座標ブロックＡ３〜Ａ７とＢ５，Ｂ６で表示される領域である。これに対して、副眼イメージャ７５において、ミニカー７１の画像は、Ａ５〜Ａ９とＢ７，Ｂ８の領域であり、主眼イメージャ７４の画像に対して＋１プリオフセットを含めて右側に２シフトしている。このように、ミニカーの主眼・副眼イメージャ（７４，７５）での水平方向への座標ブロックのズレが認められる。またこのとき、本２冊の背景７３は副眼イメージャ７５では１８０度回転した座標で右方向に若干ズレ、プリオフセット＋１を考慮しても約１ブロックで、ミニカー７１のズレに対して小さい。

図６に視差抽出の撮像と座標認識２５０の画像例２を示す。この図６（Ａ）はミニカー７１が若干水平方向に移動した例である。
図６（Ｂ）に示す主眼イメージャ７４Ａにおいて、ミニカー７１の画像は座標ブロックＡ２〜Ａ６とＢ４，Ｂ５で表示される領域である。これに対して、副眼イメージャ７５Ａにおいて、ミニカー７１の画像は、Ａ４〜Ａ８とＢ６，Ｂ７の領域であり、図６（Ｂ）の画像に対して右に２座標ブロックシフトしている。またこのとき、本２冊の背景７３は約１ブロック変化している。

図７に視差抽出の撮像と座標認識３００の画像例３を示す。この図７（Ａ）はミニカー７１が更に移動し、急カーブを描いて主眼レンズ５１からの距離１２０ｍｍまで接近した例である。
図７（Ｂ）に示す主眼イメージャ７４Ｂにおいて、ミニカー７１の画像は座標ブロックＡ１〜Ａ４とＢ２〜Ｂ４で表示される領域である。一方、図７（Ｃ）に示す副眼イメージャ７５Ｂにおいて、ミニカー７１の画像は、Ａ５〜Ａ８とＢ６〜Ｂ８の領域に存在し、主眼イメージャ７４Ｂの座標ブロックＡ１〜Ａ４とＢ２〜Ｂ４に対して右に４ブロックシフトしている。この図７（Ｂ），図７（Ｃ）を図５（Ａ），図５（Ｂ），図６（Ｂ），図６（Ｃ）と比較すると、ミニカー７１（前景）がレンズ５１，５５へ接近するに伴いミニカーの主眼・副眼イメージャ（７４Ａ，７５Ａ，７４Ｂ，７５Ｂ）での水平方向への座標ブロックズレの増大が認められる。

図８に実施形態例である、図２に示した主眼と副眼イメージャ（７４Ｃ，７５Ｃ）と画像処理回路が一体化されたＬＳＩ３５０の具体構成例を示す。このＬＳＩ３５０（５４）は、主眼イメージャ７４Ｃ、副眼イメージャ７５Ｃ、それに対応する水平レジスタ３５１Ａ〜３５１Ｆ、３５２Ａ〜３５２Ｆ、比較回路（視差検出）３５３Ａ〜３５３Ｆ、視差規格計数化回路３５４Ａ〜３５４Ｆ、視差・距離係数付与回路３５５Ａ〜３５５Ｆ、レジスタ３５６Ａ〜３５６Ｆ、垂直レジスタ３５７、レジスタ３６１〜３６６などで構成されている。
主眼イメージャ７４Ｃにおいて、主眼イメージャ７４Ｃの座標ブロックＡ２〜Ａ７の「ヤ，・・・，マ」のデータを水平レジスタ３５１Ａに転送する。Ｂ２〜Ｂ７の「ホ，た，・・・，す，ノ」のデータを水平レジスタ３５１Ｂに転送する。以後同様に、Ｆ２〜Ｆ７の「カ，・・・，ア」のデータを水平レジスタ３５１Ｆに転送する。
また副眼イメージャ７５Ｃにおいても同様に、各座標データをそれぞれ対応する水平レジスタ３５２Ａ〜３５２Ｆに転送する。

比較回路（視差検出）３５３Ａ〜３５３Ｆ、視差規格係数化回路３５４Ａ〜３５４Ｆと視差・距離係数付与回路３５５Ａ〜３５５Ｆは視差の抽出、並列演算と係数付与システムを構成する。
比較回路（視差検出）３５３Ａ〜３５３Ｆは、主眼イメージャ７４Ｃと副眼イメージャ７５Ｃの画像データが、水平レジスタ毎に並列に入力され、ブロック単位で視差が検出される。
例えば、主眼イメージャ７４ＣのＣ２「ネ」は副眼イメージャ７５ＣではＣ３にあり、ブロックズレ「Ｉ」として視差が検出される。主眼イメージャ７４ＣのＣ３「し」は副眼イメージャ７５ＣではＣ５にあり、ブロックズレ「ＩＩ」として視差が検出される。主眼イメージャ７４ＣのＣ４「丁」は副眼イメージャ７５ＣではＣ８にあり、ブロックズレ「ＩＶ」として視差が検出される。主眼イメージャ７４ＣのＣ５「丙」は副眼イメージャ７５ＣではＣ９にあり、ブロックズレ「ＩＶ」として視差が検出される。主眼イメージャ７４ＣのＣ６「け」は副眼イメージャ７５ＣではＣ１０（不図示）にあり、ブロックズレ「ＩＩ」として視差が検出される。主眼イメージャ７４ＣのＣ７「テ」は副眼イメージャ７５ＣではＣ１１（不図示）にあり、ブロックズレ「Ｉ」として視差が検出される。
他の水平レジスタ（Ａ１〜Ａ８，Ｂ１〜Ｂ８，Ｄ１〜Ｄ８，Ｅ１〜Ｅ８，Ｆ１〜Ｆ８）についても同様に、主眼イメージャ７４Ｃとそれに対応する副眼イメージャ７５Ｃの水平方向の画像データを夫々比較し、ブロックズレを検出する。

視差規格係数化回路３５４Ａ〜３５４Ｆにおいては、比較回路（視差検出）３５３Ａ〜３５３Ｆから検出されたデータであるブロックズレを基に規格化する。例えば、主眼（副眼）イメージャ（７４Ｃ，７５Ｃ）から後景までの距離を１と規格化し、（複数の）被写体（前景）の距離を後景の距離で除算して係数を求める。あるいは、その逆にして、後景を基準の０（ゼロ）とし、そこから前景までの距離を１と規格化し、後景からレンズまでの距離で（複数の）被写体の距離を除算して係数を求める。このように、検出された視差に基く被写体までの実際の距離を後景とレンズまでの距離を用いて演算し、その演算結果を改めて規格化して、距離係数として各ブロックに付与している。

視差・距離係数付与回路３５５Ａ〜３５５Ｆは、視差規格係数化回路３５４Ａ〜３５４Ｆから出力された規格化係数に対して改めて計数を付与する。例えば、規格係数が１以下の場合、その値に任意の値を乗算して、四捨五入などの処理を行い整数とし、新たな係数を付与する。これにより、後段でのディジタル処理がし易い様になる。勿論整数以外の数値や記号などであっても良い。
またこれ以外に、比較回路（視差検出）３５３Ａ〜３５３Ｆで検出された「Ｉ」，「ＩＩ」，「ＩＶ」は、被写体の距離に逆比例しており、そのまま視差の係数として主眼イメージャ７４Ｃの各ブロックに付与しても良く、あるいは変換して、距離に正比例した係数に規格化し直して各ブロックに付与しても良い。
図中では、「Ｉ」，「ＩＩ」，「ＩＶ」をそのまま各ブロックに付与し、垂直レジスタを経て、視差・距離係数の付与されたシリアルな画像信号として出力される。
レジスタ３５６Ａ〜３５６Ｆでは、主眼イメージャ７４Ｃの画像データとその画像データに対する副眼イメージャ７５Ｃの画像データとの位置ズレの関係を示す視差・距離係数を各レジスタの下に便宜的に表示している。実際は各レジスタに対応するメモリにこのブロック（位置）ズレの値を記憶している。またこの記憶方法と手段はこれに限定するものではない。

視差・距離係数付与回路３５５Ａ〜３５５Ｆから出力された画像データとこれに付与された係数は次段のレジスタ３５６Ａ〜３５６Ｆに供給される。
レジスタ３５６Ａのレジスタ２に「ヤ」が、３に「モ」が、・・・、７に「マ」が記憶され、夫々の画像データに対応してブロックズレのデータ（係数）が「Ｉ」，「Ｉ」，・・・，「Ｉ」と記憶される。
これを繰り返し、レジスタ３５６Ｃのレジスタ２に「ネ」が、レジスタ３に「し」が、レジスタ４に「丁」が、レジスタ５に「丙」が、レジスタ６に「け」が、そしてレジスタ７に「マ」が記憶され、夫々に対応してブロックズレのデータが「Ｉ」，「ＩＩ」，「ＩＶ」，「ＩＶ」，「ＩＩ」，「Ｉ」と記憶される。これを最後まで繰り返す。
図８においては画素数が少ない例であり、例えば、レジスタ３５６Ｃのレジスタ６，７と３５６Ｄのレジスタ６，７に対応する副眼イメージャ７５ＣのレジスタＣ１０，１１、レジスタＣ１０，１１が存在しないので、Ｃレジスタの画像データ「け」，「テ」と、Ｄレジスタの「お」と「ス」に対応する係数「ＩＩ」と「Ｉ」は補完している。
各レジスタ３５６Ａ〜３５６Ｆのデータは垂直レジスタ３５７に供給され、レジスタ３６１〜３６６にシリアル転送されて、ディスプレイ、記憶装置、ネットワークなどに出力される。

図９〜図１１に視差抽出の並列演算と係数付与の画像例１〜３を示す。図９は、前記図８と同様な原理で、図５の撮像に視差・距離係数を付与する例である。この例では、ミニカー(前景)にはＩＩ、本２冊と衝立(背景)にはＩの係数が付与される。
主眼イメージャ７４Ｄの画像データに関する座標ブロックＡ１〜Ａ８には、本２冊と背景のデータとミニカーのデータが存在し、Ａ１，Ａ２は本（と背景）の画像データ、Ａ３〜Ａ７はミニカーの画像データが、またＡ８は本の一部と衝立の画像データが撮像される。Ｂ１〜Ｂ４は衝立と本の画像データ、Ｂ５，Ｂ６はミニカーの画像データが、またＢ７，Ｂ８は衝立と本の画像データが夫々撮像される。以後、主眼イメージャ（７４Ｄ）用水平レジスタには全て本（と衝立）の画像データが撮像されている。

これに対して、副眼イメージャ７５Ｄにおいて、主眼イメージャ７４Ｄで撮影された画像データの本の位置の移動は少なくオフセット（＋１）を除くと１ブロック以下である。
しかしミニカーの移動はオフセットを除くと１ブロック、オフセットを考慮すると２ブロック移動している。
座標ブロックＡ２〜Ａ４は本（と衝立）の画像データが、Ａ５〜Ａ９はミニカーの画像データが撮像される。Ｂ２〜Ｂ６は衝立と本の画像データが、Ｂ７，Ｂ８はミニカーの画像データが、Ｂ９は衝立と本の画像データが、またＣ２〜Ｃ９，Ｄ２〜Ｄ９，Ｅ２〜Ｅ９とＦ２〜Ｆ９は全て本（と衝立）の画像データがそれぞれ撮像される。
これらの主眼と副眼イメージャ（７４Ｄ，７５Ｄ）のそれぞれに対応する水平レジスタ３５１Ａ，３５２Ａから画像データが比較回路（視差検出）３５３Ａ〜３５３Ｆに入力され、画像データのズレが検出される。このズレに対する視差規格係数化回路３５４Ａ〜３５４Ｆと視差・距離係数付与回路３５５Ａ〜３５５Ｆで規格化した後、その規格化した値に対して係数を付与する。この場合は、本２冊と衝立（背景）の画像データに対して「Ｉ」の係数を、ミニカーの画像データに対しては「ＩＩ」の係数が付与される。レジスタ３５６Ａ〜３５６Ｆには主眼イメージャ７４Ｄの画像データが記憶され、またこれに対応して係数が記憶装置などに記憶される。

その結果、レジスタ３５６Ａのレジスタ１，２，８の画像データに対して係数「Ｉ」が、レジスタ３〜７の画像データに対して係数「ＩＩ」が記憶装置（メモリやレジスタなど）に記憶される。３５６Ｂレジスタのレジスタ１〜４，７，８の画像データに対して係数「Ｉ」が、レジスタ５，６に対して係数「ＩＩ」のデータが記憶装置に記憶される。以下同様に、レジスタ３５６Ｃのレジスタ１〜８，・・・，レジスタ３５６Ｆのレジスタ１〜８の画像データに対して全て「Ｉ」の係数（データ）が記憶装置に記憶される。
そして、これらの画像データと係数（データ）がディスプレイ、記憶装置、ネットワークに出力される。

図１０に視差抽出の並列演算と係数付与の画像例２を示す。この画像例２は、同じく図６の撮像への係数付与に関し、ミニカーが若干水平方向に移動した例である。
ミニカーが移動して、主眼イメージャ７４Ｅでは画像が図９に示すミニカーの位置に対して、横方向に左へ１ブロックシフトしている。副眼イメージャ７５Ｅでは画像が主眼イメージャ７４Ｅの位置に対して右へ１ブロックシフトしている。この場合、ミニカーは水平方向に移動して、レンズからの距離の変化は少ないので、主眼、副眼イメージャ（７４Ｅ，７５Ｅ）の視差による変化も少なく、図９と同様係数を「ＩＩ」とする。また本２冊と衝立（背景）のレンズに対する距離の変化はなく、係数は「Ｉ」としている。
その結果、レジスタ３５６Ａではレジスタ１，７，８の画像データに対して係数「Ｉ」が記憶装置に記憶され、レジスタ２〜６の画像データに対して係数「ＩＩ」が記憶装置に記憶される。レジスタ１〜３，６〜８の画像データに対して係数「ＩＩ」が、さらにそれ以外のレジスタ（３５６Ｃ〜３５６Ｆ）の画像データに対しては全て係数「Ｉ」が記憶装置に記憶される。
これらのレジスタの画像データとそれに対応する係数は次段のレジスタ３６１Ｅ〜３６６Ｅに出力され、その後ディスプレイ、記憶装置やネットワークに出力される。

図１１に視差抽出の並列演算と係数付与の画像例３を示す。この画像例３は、同じく図７の撮像において、ミニカーが更にレンズ方向に移動し接近したため、ミニカー(前景)には係数「ＩＶ」、本２冊と衝立(背景)には係数「Ｉ」が付与される。ここでミニカーに係数ＩＶが付与されるのは、レンズからミニカーまでの距離が大きく変化（接近）し、それに伴い主眼、副眼イメージャ（７４Ｆ，７５Ｆ）で得られる視差データが大きくなったことによる。これらの係数は、例えば上述したようにレンズから被写体までの距離による視差に応じて設定される。
主眼イメージャ７４Ｆの座標ブロックＡ１〜Ａ４にはミニカーの画像データが撮像され、Ａ５〜Ａ８は本（または背景）の画像データが撮像される。座標ブロックＢ１とＢ５〜Ｂ８は本と衝立の画像データが、Ｂ２〜Ｂ４はミニカーの画像データが撮像され、それ以外の座標ブロックは全て本と衝立の画像データが撮像される。
一方、副眼イメージャ７５Ｆの座標ブロックＡ２〜Ａ４、Ａ９は本（または衝立）の画像データが、Ａ５〜Ａ８はミニカーの画像データが撮像される。座標ブロックＢ１〜Ｂ５、Ｂ９は本と衝立の画像データが、Ｂ６〜Ｂ８はミニカーの画像データが撮像され、それ以外の座標ブロックＣ２〜Ｆ９は本と衝立の画像データが撮像される。

これらの主眼と副眼イメージャ（７４Ｆ，７５Ｆ）のそれぞれ対応する水平レジスタからのデータが比較回路（視差検出）３５３Ａ〜３５３Ｆに入力され、画像データのズレが検出される。このズレに対して、視差規格係数化回路３５４Ａ〜３５４Ｆと視差・距離係数付与回路３５５Ａ〜３５５Ｆで規格化された後、その規格化した値に対して係数を付与する。この例ではミニカー（前景）には係数「ＩＶ」を、本２冊と衝立には「Ｉ」の係数を付与する。
その結果レジスタ３５６Ａのレジスタ１〜４の画像データに対して係数「ＩＶ」が、レジスタ５〜８の画像データに対して係数「Ｉ」が記憶装置に記憶される。レジスタ３５６Ｂのレジスタ１，５〜８の画像データに対して係数「Ｉ」が、レジスタ２〜４の画像データに対して係数「ＩＶ」のデータが記憶装置に記憶される。以後レジスタ３５６Ｃのレジスタ１〜８，・・・，レジスタ３５６Ｆのレジスタ１〜８の画像データ全てに対して係数「Ｉ」のデータが記憶装置に記憶される。
そして、これらの画像データと係数（データ）がディスプレイ、記憶装置、ネットワークに出力される。

図１２に付与係数を用いた再生画像の擬似３Ｄ（３次元）エフェクトのモデルを示す。図８で付与された視差・距離係数を用いて、再生画像において両眼立体視など通常の３Ｄ効果を得ることも出来る。さらに、本発明では、同係数を用いて、両眼でなく単眼でも立体的な擬似効果を生む画像処理を提供する。
この場合、両眼立体視の様な特別なディスプレイを必要とせず、通常のディスプレイで当該の擬似効果が得られる。再生画像データに付与されている係数「Ｉ」，「ＩＩ」，「ＩＶ」は、逆に距離比４：２：１を示している。
ここで距離に比して座標ブロックの画像を、同一水平座標のブロック（集団）毎に、交互に左右にシフトさせる画像処理を行う。両眼で前景にフォーカスすると、背景は遠いほど２重に離れて見える効果を、単眼の画像上で再現する。
図１２（Ａ）に再生画像データを示す。この再生画像データには係数を付けている。例えばアＩ，イＩ，・・・，ヤＩと片仮名（データ）に係数「Ｉ」を付け、あＩＩ，いＩＩ，・・・，たＩＩと平仮名（データ）には係数「ＩＩ」を付け、更に、甲ＩＶ，乙ＩＶ，丙ＩＶ，丁ＩＶと甲乙丙丁（データ）の漢字には係数「ＩＶ」を付けている。各データに設けられた係数は視差に基いて得られた値であり、この値を用いて擬似立体画像を形成する。

図１２（Ｂ）に３Ｄエフェクトの画像データの演算方法を示す。
例えば、図１２（Ａ）の第１行で係数「Ｉ」の付与された距離比４の「ア〜カ」画像を、左へ１座標ブロックシフトさせる。第２行で係数「Ｉ」の付与された「キ，シ」を右へ１座標ブロック、係数「ＩＩ」の「あ〜え」を右へ１／２座標ブロックシフトさせる。
第３行で係数「Ｉ」の付与された「ス，ツ」を左へ１座標ブロック、係数「ＩＩ」の「お，く」を左へ１／２座標ブロック、係数「ＩＶ」の「甲，乙」を左へ０座標ブロックシフトさせる。
第４〜６行も同様にして、係数に応じて、行毎に左又は右方向に所定ブロックシフトする。この１連の動作を例えば１フレームで行うことにより、単眼でも立体的な擬似効果を生む画像処理が為される。その結果を図１２（Ｂ）に示す。
この例では、視差の小さい係数「Ｉ」の画像データを大きくシフトし、視差の大きい係数「ＩＶ」の画像データのシフトを小さく設定している。これとは逆に、係数「Ｉ」の画像データのシフトを小さく、係数「ＩＶ」の画像データのシフトを大きくしても良い。
更に図１２（Ｃ）に示すように、図１２（Ｂ）に示すシフトの左右方向を逆にして、上記"正相"に対して"逆相"の処理画像を得られる。この正相・逆相を動画フレーム毎に交互に出力すると、当該擬似効果が一層増す。これらに加えて、視差・距離係数に応じて輝度・コントラストを調整して、更に当該擬似効果を増すこともできる。

図１３（Ａ）〜（Ｃ）に付与係数を用いた再生画像の擬似３Ｄエフェクトの画像例を示す。前記図１２と同様な原理に基き、図９〜１１の視差・距離係数から画像処理した例である。
但し、この３Ｄエフェクトの画像例は図９〜１１に示した８×６の座標ブロック単位よりも更に細かく、係数付与と画像処理が為されている。
例えば、８×６の座標ブロックにて「Ｉ」，「ＩＩ」，「ＩＶ」の視差・距離係数が付与されるという説明に対し、実際に、２０００×１５００＝３Ｍ（メガ）画素のイメージャでは、座標ブロックズレ「Ｉ」，「ＩＩ」，「ＩＶ」は画素ズレ２５０／５００／１０００に対応し、よって画素単位ならば“２５０”，“５００”，“１０００”の係数が付与され、そこから画素単位の画像処理が為される。
その結果を、図１３（Ａ）〜図１３（Ｃ）にエフェクト前とエフェクト後の模式化した画像を示す。このように、画像データに対応する係数によって画像の後景がラインごとに移動すると、前景のミニカーが立体的に見える。この画像は、普通のディスプレイで表示でき、特殊のディスプレイを用いる必要は無い。また、画像データを画像処理回路で演算処理して擬似立体画像データを生成し、その処理結果を普通のディスプレイ上に表示するので、複眼，単眼のいずれでも擬似的に立体画像を観察できる。
尚、図９〜１１の説明では、付与された係数に基き、前景を固定して後景（背景）を左右にシフトして擬似３Ｄエフェクトとしているが、逆に、後景を固定して前景を距離に逆に比して左右にシフトするエフェクトもある。両眼で後景にフォーカスすると、前景は近いほど２重に離れて見える効果を、単眼の画像上で再現する。

図１４に付与係数を用いた再生画像の其の他エフェクトのモデルを示す。
前記の様な効果の他に、近距離の画像をズームイン（Ｚｏｏｍ Ｉｎ）、遠距離の画像をズームアウト（Ｚｏｏｍ Ｏｕｔ）して、近距離の画像を際立たせてズームアップ（Ｚｏｏｍ Ｕｐ）する効果、又、その逆のズームダウン（Ｚｏｏｍ Ｄｏｗｎ）する効果、更に、特定の付与係数の画素（像）、即ち特定の距離に位置する被写体の画像を全体画像から切り出して、クロマキーよりも簡便に画像処理を行うことができる。
図１４（Ａ）の再生画像には、係数が付与されているので、例えば係数「ＩＶ」に対応する画像データを取り出し拡大する。一方、係数「Ｉ」，「ＩＩ」に対応する画像データは処理せず、そのままにしておく。その結果得られた再生画像を図１４（Ｂ）に示す。「甲乙丙丁」の画像は拡大され、それ以外の平仮名と片仮名の画像は元の大きさのままである。このようにしてズームインした画像が得られる。
また図１４（Ｃ）において、図１４（Ａ）に示す再生画像データから例えば係数「ＩＶ」の付与されたデータのみを抜き出し、それ以外の係数「Ｉ」，「ＩＩ」に対応するデータを消去してその結果得られた画像を示す。係数「ＩＶ」の漢字「甲乙丙丁」の画像データのみを抜き出した画像を表示している。このように、被写体の画像データに係数を付与することにより、任意被写体を切り出した画像を得ることもできる。

図１５に付与係数を用いた再生画像の他のエフェクトの画像例を示す。上述した図１４と同様の原理で、図９〜１１の視差・距離係数から画像処理した例である。
図１５（Ａ）〜（Ｃ）は、ミニカーの画像データに対応する係数を用いてズームインし、かつこのズームインした画像を切り出した例である。このように、画像データに視差により得られた係数が付与されていると、その係数を用いて画像処理できるので、従来のクロマキー処理と異なり、撮影後に表示画像の一分領域の画像抜き取りや画像合成などの処理が容易にできる。

以上のべたように、本発明の画像処理方法、画像処理装置およびこれを用いた画像表示装置において、本発明によるイメージャと演算装置が一体化されたＬＳＩ構成では、一つのＬＳＩの中で、水平レジスタ毎に、主眼・副眼イメージャの信号比較を並列演算処理するので、通常の視差撮像の構成よりも速い画像処理が可能であり、高精細・高レイトな動画処理に適している。
この様なイメージャＬＳＩを搭載すれば、画像データと共に、視差・距離情報も記録できる、カムコーダ（ソニーの登録商標）やディジタルスティルカメラが実現できる。
又、本発明による画像処理方法では、視差に基く距離係数を用いて、単眼でも立体的な擬似効果を得るので、両眼立体視の様な特別なディスプレイを必要とせず、その際の視野角の制限が生じない。
よって、多人数での単一ディスプレイの視聴ができ、また両眼の視力が揃っていない場合でも、擬似的な立体画像を見ることができる。
この様な画像処理方法、画像処理装置およびこれを用いた画像表示装置は、家庭で撮影したプライベートな映像や、映画などの娯楽コンテンツの立体感を強調でき、またゲーム画像での立体的臨場感・スピード感を強調することができる。

視差抽出の撮像システムのブロック構成を示した図である。 他の視差抽出の撮像システムのブロック構成を示した図である。 ３次元表示した視差抽出の撮像システムの構成図を示す。 図３に示した視差抽出の撮像システムの平面図を示した図である。 視差抽出の撮像と座標認識の画像例を示す図である。 他の視差抽出の撮像と座標認識の画像例を示す図である。 他の視差抽出の撮像と座標認識の画像例を示す図である。 主眼と副眼のイメージャが一体化されたＬＳＩの具体構成例を示す。 視差抽出の並列演算と係数付与の画像例を示す図である。 他の視差抽出の並列演算と係数付与の画像例を示す図である。 他の視差抽出の並列演算と係数付与の画像例を示す図である。 再生画像の擬似３次元エフェクトのモデルを示す図である。 他の再生画像の擬似３次元エフェクトのモデルを示す図である。 再生画像のズーム機能を説明するための図である。 再生画像の切り出し機能を説明するための図である。

符号の説明

１０，５０，１００，１５０…視差抽出の撮像システム、１１，１３，５１，５５…レンズ、１２，１４，５４，７４，７４Ａ〜７４Ｆ，７５，７５Ａ〜７５Ｆ…イメージャ（センサ）、２１，６１Ａ〜６１Ｃ…画素、２２，６４，３５７…垂直レジスタ、２３，６２Ａ〜６２Ｃ，３５１Ａ〜３５１Ｆ，３５２Ａ〜３５２Ｆ…水平レジスタ、６３Ａ〜６３Ｃ…並列演算回路、３５３Ａ〜３５３Ｆ…比較回路（視差検出）、３５４Ａ〜３５４Ｆ…視差規格係数化回路、３５５Ａ〜３５５Ｆ…視差・距離係数付与回路、３５６Ａ〜３５６Ｆ，３６１〜３６６，３６１Ｄ〜３６６Ｄ，３６１Ｅ〜３６６Ｅ，３６１Ｆ〜３６６Ｆ…レジスタ。

Claims (10)

1. 一対のイメージャによる被写体の距離に応じた視差の抽出を、前記一対のイメージャ間で各々対応する画素もしくはそれに準ずる画像ブロックの、前記一対のイメージャ間での位置ズレから求め、当該位置ズレした画像の画像データのそれぞれに前記一対のイメージャから被写体の距離に応じた距離係数を付与し、当該付与された距離係数に対応する前記画素もしくはそれに準ずる画像ブロックの画像データを、前記付与された距離係数に基いて、前記画素が前記イメージャから読み出された方向と同じ方向に交互にシフトして画像処理する
   画像処理方法。
2. 前記画像処理方法は、付与された距離係数に基づき、距離が遠いと認識される画素もしくはそれに準ずる画像ブロックほど、同一水平座標の画素もしくは画素ブロック毎に、距離に比して交互に左右にシフトさせて、擬似的に立体画像が形成される
   請求項１記載の画像処理方法。
3. 前記画像処理方法は、付与された距離係数に基づき、距離が近いと認識される画素もしくはそれに準ずる画像ブロックほど、同一水平座標の画素もしくは画素ブロック毎に、距離の逆数に応じて交互に左右にシフトさせて、擬似的に立体画像が形成される
   請求項１記載の画像処理方法。
4. 被写体までの距離に応じた視差の異なる画像データを抽出する一対のイメージャと、
   前記一対のイメージャ間で各々対応する画素もしくはそれに準ずる画像ブロックの、前記一対のイメージャ間での位置ズレから求め、当該位置ズレした画像の画像データのそれぞれに前記一対のイメージャから被写体の距離に応じた距離係数を付与する演算回路と、
   視差の異なる画像データを、前記付与された距離係数に基いて、前記画素が前記イメージャから読み出された方向と同じ方向に交互にシフトして画像処理する画像処理回路と
   を有し、
   前記一対のイメージャと前記演算回路は同一の集積回路上に形成された
   画像処理装置。
5. 前記画像処理回路は、付与された距離係数に基づき、距離が遠いと認識される画素もしくはそれに準ずる画像ブロックほど、同一水平座標の画素もしくは画素ブロック毎に、距離に比して交互に左右にシフトさせて、擬似的に立体画像を形成する
   請求項４記載の画像処理装置。
6. 前記画像処理回路は、付与された距離係数に基づき、距離が近いと認識される画素もしくはそれに準ずる画像ブロックほど、同一水平座標の画素もしくは画素ブロック毎に、距離の逆数に応じて交互に左右にシフトさせて、擬似的に立体画像を形成する
   請求項４記載の画像処理装置。
7. 被写体までの距離に応じた視差の異なる画像データを抽出する一対のイメージャと、
   前記一対のイメージャから導出された視差の異なる画像データが供給され、前記一対のイメージャ間で各々対応する画素もしくはそれに準ずる画像ブロックの、前記一対のイメ
   ージャ間での位置ズレに応じて視差を抽出し、当該視差を有するそれぞれの画素データに対して前記一対のイメージャから被写体までの距離に応じた距離係数を付与する演算回路と、
   前記付与された距離係数に対応する前記画素もしくはそれに準ずる画像ブロックの画像データを、前記付与された距離係数に基いて、前記画素が前記イメージャから読み出された方向と同じ方向に交互にシフトして擬似立体画像を形成する画像処理回路と、
   前記画像処理回路から出力された擬似立体画像を表示する表示装置と
   を有する画像表示装置。
8. 前記一対のイメージャと演算回路は同一の集積回路上に形成された
   請求項７記載の画像表示装置。
9. 前記画像処理回路は、付与された前記距離係数に基づき、距離が遠いと認識される画素もしくはそれに準ずる画像ブロックほど、同一水平座標の画素もしくは画素ブロック毎に、距離に比して交互に左右にシフトさせて、ディスプレイで擬似的に立体画像を表示する 請求項７記載の画像表示装置。
10. 前記画像処理回路は、付与された前記距離係数に基づき、距離が近いと認識される画素もしくはそれに準ずる画像ブロックほど、同一水平座標の画素もしくは画素ブロック毎に、距離の逆数に応じて交互に左右にシフトさせて、ディスプレイで擬似的に立体画像を表示する
    請求項７記載の画像表示装置。

Images