JP3580450B2 - 立体視化装置及び立体視化方法 - Google Patents

Description

【０００１】
【目次】
以下の順序で本発明を説明する。
発明の属する技術分野
従来の技術
発明が解決しようとする課題
課題を解決するための手段
発明の実施の形態
（１）第１実施例（図１〜図８）
（２）第２実施例（図９〜図１１）
（３）第３実施例（図１２〜図１４）
（４）第４実施例（図１５及び図１６）
（５）第５実施例（図１７及び図１８）
（６）第６実施例（図１９〜図２２）
（７）第７実施例（図２３〜図２５）
（８）第８実施例（図２６）
（９）他の実施例（図２７）
発明の効果
【０００２】
【発明の属する技術分野】
本発明は立体視化装置及びその方法に関し、特に入力テレビジヨン信号に基づくステレオ画像を表示する立体視化装置に適用して好適なものである。
【０００３】
【従来の技術】
従来、テレビジヨン信号の立体視化を実現する装置として、例えばテレビジヨン学会誌 Ｖｏｌ．４５，Ｎｏ．４，ｐｐ．４４６〜４５２ （１９９１）に記載されているように種々のものが提案されている。
【０００４】
これらの立体視化装置の中で、両眼に対応した視差のある画像をテレビジヨンモニタにフイールド毎に交互に切り換えて表示し、この表示画像を、表示画像の切換えに同期して左目用シヤツタ及び右目用シヤツタが開閉する液晶シヤツタ眼鏡を通して視ることにより、ステレオ視を実現するものがある。
【０００５】
【発明が解決しようとする課題】
ところが、両眼に対応した画像をテレビジヨンモニタに交互に表示することによりステレオ視を実現する方法においては、通常、予め左右の目に対応する２台のテレビジヨンカメラによつて撮影した画像を用意し、これらの画像を記録又は伝送する必要があるために、画像の時間分解能を落とさないようにすると２倍の情報量が必要であり、また情報量を増やさないようにすると時間分解能が落ちるためフリツカが生じ画質が劣化する欠点があつた。
【０００６】
本発明は以上の点を考慮してなされたもので、記録情報量又は伝送情報量を増やさずに良好なステレオ画像を得ることができる立体視化装置及びその方法を提案しようとするものである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、入力テレビジヨン信号を、各注目点毎に当該注目点の周辺画素の分布パターンに基づいてクラス分類するクラス分類手段と、各クラスに対応して用意された予測係数のうち、クラス分類手段による分類結果に応じた予測係数を用いた予測演算処理を行うことにより左目用の画像信号及び右目用の画像信号を生成する予測処理手段とを設けるようにした。
【０００８】
この結果、１つの入力テレビジヨン信号から左目用及び右目用の画像信号が生成されるようになり、表示する画像情報量も入力情報量のほぼ２倍となる。
【０００９】
【発明の実施の形態】
以下図面について、本発明の一実施例を詳述する。
【００１０】
（１）第１実施例
（１−１）全体構成
図１において、１は全体として立体視化装置を示し、１つの入力テレビジヨン信号からそれぞれ視差のある左目用の画像信号及び右目用の画像信号を形成し、これらをテレビジヨンモニタに交互に表示すると共に、この表示画像を液晶シヤツタ付き眼鏡を通して視るようにしたことにより、少ない入力情報から良好なステレオ画像を得ることができるようになされている。
【００１１】
立体視化装置１は、受信した入力テレビジヨン信号Ｓ１をアナログデイジタル変換回路（Ａ／Ｄ）２によつて例えば１３．５〔ＭＨｚ 〕のサンプリングクロツクでアナログ信号からデイジタル信号に変換し、これを直接ブロツク化回路４に供給すると共に遅延回路３を介してブロツク化回路４に供給する。なお上述したサンプリングクロツクでサンプリングした場合、画像のサイズはフレームあたり横 ７２０画素×縦 ４８０ライン程度となる。
【００１２】
ブロツク化回路４は後段のクラス分類回路５によるクラス分類のための画素を集めるためのブロツク化処理を行う。実際上ブロツク化回路４は、注目点の時空間における周辺画素を集めるようなブロツク化処理を、画素クロツク単位で行う。この結果時空間でみた場合に、注目点を中心として例えばダイヤモンド形状の領域内に存在する時空間画素により１ブロツクが形成される。
【００１３】
クラス分類回路５はブロツク内画素に対して例えばＡＤＲＣ（Ａｄａｐｔｉｖｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｄｉｎｇ ）等の圧縮処理を施すことによりレベル分布パターンに基づくクラス分類を行う。そして当該分類結果をクラスの識別番号であるインデツクスデータ（クラスコード）ＣＬＡＳＳ１として出力する。なおこのインデツクスデータＣＬＡＳＳ１は圧縮率に応じたｐビツトのデータとして出力される。
【００１４】
立体視化装置１は、クラス分類回路５によつて分類されたクラスに応じた予測演算処理を行うことにより左目用の画像信号を生成する左目用クラス分類適応処理部６と、分類されたクラスに応じた予測演算処理を行うことにより右目用の画像信号を生成する右目用クラス分類適応処理部７とを有する。立体視化装置１は、アナログデイジタル変換回路２の出力及び遅延回路３の出力を、遅延回路８によつて上述したクラス分類処理に要した時間分だけ遅延させた後、左目用クラス分類適応処理部６の予測ブロツク化回路９及び右目用クラス分類適応処理部７の予測ブロツク化回路１０に供給する。
【００１５】
予測ブロツク化回路９及び１０は注目点の時空間周辺画素を集めることによりブロツクを形成し、当該ブロツク内画素データ（以下、これを予測画素データと呼ぶ）Ｄ１及びＤ２をそれぞれ予測処理回路１１及び１２に供給する。実際上、図２に示すように、予測ブロツク化回路９によるブロツク領域ＡＲ１は予測ブロツク化回路１０によるブロツク領域ＡＲ２に対して数画素分だけ左側にずれたものとなるようになされている。なおこのずれ量は、生成しようとする左目用画像と右目用画像との間にどの程度の視差を設けるかに応じて設定するようにする。
【００１６】
予測処理回路１１及び１２には、それぞれ予測画素データＤ１及びＤ２と共にクラス分類回路５からのインデツクスデータＣＬＡＳＳ１が供給される。予測処理回路１１及び１２は後述する学習により予め獲得されたクラス毎の予測係数が記憶された係数ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を有し、インデツクスデータＣＬＡＳＳ１によつて係数ＲＯＭをアドレツシングすることにより、インデツクスデータＣＬＡＳＳ１で表わされるクラスに対応した予測係数を読み出す。そして予測処理回路１１及び１２は、それぞれ読み出された予測係数と予測画素データＤ１及びＤ２とを用いて予測演算処理を行うことにより、それぞれ左目用画像データＤ３Ａ及び右目用画像データＤ４Ａを生成する。
【００１７】
ここで予測処理回路１１及び１２の出力（すなわち左目用画像データＤ３Ａ及び右目用画像データＤ４Ａ）は、それぞれ１３．５〔ＭＨｚ 〕の画素クロツク単位で出力され、それぞれの画面サイズはフレームあたり横 ７２０画素×縦 ４８０ライン程度となる。従つて、情報量としては入力テレビジヨン信号Ｓ１の２倍に増加されていることにより、時間分解能及び空間分解能の劣化は発生しない。
【００１８】
この左目用画像データＤ３Ａ及び右目用画像データＤ４Ａはそれぞれフレームメモリ（ＦＭ）１３及び１４に蓄えられ、当該フレームメモリ１３及び１４から読み出されたデータがマルチプレクサ（ＭＵＸ）１５を介して表示画像データＤ５Ａとしてデイジタルアナログ変換回路（Ｄ／Ａ）１６に供給される。フレームメモリ１３、１４からのデータの読出し及びマルチプレクサ１５の出力切換はタンミングコントローラ１７によつて制御される。このときフレームメモリ１３、１４の読出しは書込み時に対して倍速となるように行われ、マルチプレクサ１５からは例えばフイールド単位に交互に左目用画像データＤ３Ａ及び右目用画像データＤ４Ａが切り換えられて表示画像データＤ５Ａが出力される。従つてマルチプレクサ１５から出力される表示画像データＤ５Ａのフイールド周波数は入力テレビジヨン信号Ｓ１に対して２倍となる。
【００１９】
表示画像データＤ５Ａはデイジタルアナログ変換回路１６によつてアナログ変換されることにより表示画像信号Ｓ２Ａとされ、当該表示画像信号Ｓ２Ａがテレビジヨンモニタ１８に供給される。かくして、立体視化装置１においては、予め左目用の画像信号及び右目用の画像信号を入力させることなく、通常の放送用テレビジヨン信号と同等の入力テレビジヨン信号Ｓ１だけを使つて、テレビジヨンモニタ１８上にそれぞれ視差のある左目用及び右目用の画像を表示することができる。
【００２０】
タイミングコントローラ１７は、上述したフレームメモリ１３、１４及びマルチプレクサの制御に同期したタイミングで液晶ドライバ１９を制御する。液晶ドライバ１９は液晶シヤツタ付き眼鏡２０に例えば赤外線を送出することにより液晶シヤツタを駆動させる。これにより液晶シヤツタ付き眼鏡２０はテレビジヨンモニタ１８上に表示される左目用画像及び右目用画像の切換えに同期して、例えば左目用の画像が表示されている場合には左目の液晶シヤツタが開いている状態とされ、右目用の画像が表示されている場合には右目の液晶シヤツタが開いている状態とされる。ここでタイミングコントローラ１７は同期抽出回路２１によつて入力テレビジヨン信号Ｓ１から抽出された垂直同期信号Ｖ及び水平同期信号Ｈに基づいて上述したタイミング合せのための制御信号を生成する。
【００２１】
かくして立体視化装置１においては、１つの入力テレビジヨン信号Ｓ１から時間分解能を落とすことなく左目用及び右目用の画像を生成し得ることにより、伝送又は記録する情報量を増やすことなく、良好なステレオ画像を得ることができる。
【００２２】
（１−２）予測処理回路の構成
ここで予測処理回路１１及び予測処理回路１２は共に、図３に示すように構成されている。予測処理回路１１と予測処理回路１２は係数ＲＯＭに格納されている予測係数を除いて同様の構成であるため、以下予測処理回路１１について説明する。
【００２３】
予測処理回路１１は大きく分けて、予め後述する学習により各クラスに対応した予測係数（係数組）が記憶された係数ＲＯＭ３０と、予測係数と予測画素データＤ１とを用いた線形一次結合式に基づく演算を行うことにより左目用画像データＤ３を生成する予測演算部３１とにより構成されている。予測処理回路１１はクラス分類回路５（図１）からのインデツクスデータＣＬＡＳＳ１をインデツクスデコーダ３２によつてデコードし、デコードしたデータを読出しアドレスとして係数ＲＯＭ３０をアドレツシングする。この結果係数ＲＯＭ３０からはインデツクスデータＣＬＡＳＳ１に対応したクラスの予測係数ｗ_１ 〜ｗ_ｎ が出力され、当該予測係数ｗ_１ 〜ｗ_ｎ が予測演算部３１のレジスタ３３Ａ_１ 〜３３Ａ_ｎ を介して乗算器３４Ａ_１ 〜３４Ａ_ｎ に与えられる。
【００２４】
また乗算器３４Ａ_１ 〜３４Ａ_ｎ には、予測ブロツク化回路９から出力された予測画素データＤ１（ｘ_１ 〜ｘ_ｎ ）が与えられる。そして各乗算器３４Ａ_１ 〜３４Ａ_ｎ の出力が加算回路３５によつて加算されることにより、左目用画素データＤ３Ａ（＝ｘ_１ ｗ_１ ＋ｘ_２ ｗ_２ ＋……＋ｘ_ｎ ｗ_ｎ ）が得られる。
【００２５】
（１−３）学習による予測係数の作成
左目用の予測処理回路１１及び右目用の予測処理回路１２の係数ＲＯＭ３０に記憶すべき予測係数は学習により求められる。この学習では、図４に示すように、それぞれ視差のある位置に設けた３台のテレビジヨンカメラ（左目用カメラＣＡＭ_Ｌ 、右目用カメラＣＡＭ_Ｒ 、中央カメラＣＡＭ_Ｃ ）によつて同時に撮影した被写体映像を使用する。そして、中央カメラＣＡＭ_Ｃ で撮影した映像信号を使つて注目点毎のクラス分類を行い、各クラスについて左目用カメラＣＡＭ_Ｌ 及び右目用カメラＣＡＭ_Ｒ で撮影した映像信号を教師データとして、中央カメラＣＡＭ_Ｃ の映像信号と左目用カメラＣＡＭ_Ｌ 及び右目用カメラＣＡＭ_Ｒ の映像信号との相関関係を表わす予測係数を学習により求める。
【００２６】
実際には、３台のカメラＣＡＭ_Ｌ 、ＣＡＭ_Ｒ 、ＣＡＭ_Ｃ によつて撮影した映像を使用し、図５に示すような構成の学習回路４０によつて、左目用予測係数Ｅ３Ａ及び右目用予測係数Ｅ４Ａを求める。なお図５では、図１と対応する部分には図１と同一符号を付してある。学習回路４０は中央カメラＣＡＭ_Ｃ から得られた中央映像信号ＳＣに対して上述した立体視化装置１で行うのと同様のクラス分類処理を施すことによりインデツクスデータＣＬＡＳＳ１′を形成し、これを係数算出回路４１及び４２に送出する。また係数算出回路４１及び４２には、それぞれブロツク化回路９及び１０からブロツク化データＥ１及びＥ２が供給される。
【００２７】
さらに係数算出回路４１には左目用カメラＣＡＭ_Ｌ により得られた左目用映像信号ＳＬがアナログデイジタル変換回路４３及び遅延回路４４を介して供給され、係数算出回路４２には右目用カメラＣＡＭ_Ｒ により得られた右目用映像信号ＳＲがアナログデイジタル変換回路４５及び遅延回路４６を介して供給される。
【００２８】
係数算出回路４１はインデツクスデータＣＬＡＳＳ１′で表わされる各クラス毎に、左目用画像データＤＬを教師データとして、当該教師データを、中央映像信号ＳＣ（ブロツク化データＥ１）と複数の係数との線形一次結合式により表し、この係数を最小二乗法を用いた学習によつて求めることにより左目用予測係数Ｅ３Ａを求める。同様に、係数算出回路４２はインデツクスデータＣＬＡＳＳ１′で表わされる各クラス毎に、右目用画像データＤＲを教師データとして、当該教師データを、中央映像信号ＳＣ（ブロツク化データＥ２）と複数の係数との線形一次結合式により表し、この係数を最小二乗法を用いた学習によつて求めることにより右目用予測係数Ｅ４Ａを求める。そして求められた予測係数Ｅ３及びＥ４を一旦メモリ４３に格納させ、各予測処理回路１１及び１２（図１）に設けられている係数ＲＯＭ３０（図３）に記憶させる。
【００２９】
またタイミングコントローラ４８は、同期抽出回路４７によつて抽出された中心映像信号ＳＣの垂直同期信号Ｖ及び水平同期信号Ｈに基づいて、例えばブロツク化回路４やブロツク化回路９、１０のブロツク化のタイミングを合わせるための制御信号を生成する。
【００３０】
次に係数算出回路４１及び４２の係数算出処理について説明する。ここで係数算出回路４２は係数算出４１と同様の構成でなることにより係数算出回路４１について説明する。係数算出回路４１は、先ずブロツク化データＥ１で表わされる複数の画素値（以下これを中央画素値と呼ぶ）ｘ_１ 、ｘ_２ 、……、ｘ_ｎ にそれぞれ未知の係数ｗ_１ 、ｗ_２ 、……、ｗ_ｎ を掛けることにより、左目用映像データＤＬで表わされる左目用画素値δｙを複数の中央画素値ｘ_１ 〜ｘ_ｎ と係数ｗ_１ 〜ｗ_ｎ との線形一次結合により表わす。
【００３１】
具体的には、係数算出回路４１は同じクラスの左目用画素値δｙ_１ 〜δｙ_ｍ それぞれについて、中央画素値ｘ_{（Ｍ．Ｎ）} （但し、Ｍ＝１、２、……ｍ、Ｎ＝１、２、……、ｎとする）と係数ｗ_１ 〜ｗ_ｎ との線形一次結合式を立てて、この係数ｗ_１ 〜ｗ_ｎ を最小二乗法により求める。
【００３２】
これについて説明すると、先ず左目用画素値δｙ_１ 〜δｙ_ｍ の行列式Ｙは、中央画素値ｘ_{（Ｍ．Ｎ）} の行列式Ｘと係数ｗ_１ 〜ｗ_ｎ の行列式Ｗを用いて、次式
【数１】

でなる観測方程式の形で表わすことができる。
【００３３】
ここで（１）式の連立方程式を解くことにより係数ｗ_１ 〜ｗ_ｎ を求めればよい。これを最小二乗法の演算により解く。すなわち先ず、（１）式を残差行列Ｅを用いて、次式
【数２】

のように残差方程式の形に表現し直す。
【００３４】
ここで（２）式から各係数ｗ_１ 〜ｗ_ｎ の最確値を求めるためには、ｅ_１ ^２＋ｅ_２ ^２＋……＋ｅ_ｍ ^２ を最小にする条件、すなわち次式
【数３】

なるｎ個の条件を入れてこれを満足する各係数ｗ_１ 〜ｗ_ｎ を見つければ良い。ここで（２）式より、次式
【数４】

を得、（３）式の条件をｉ＝１、２、……、ｎについて立てればそれぞれ、次式
【数５】

が得られる。ここで（２）式及び（５）式から次式の正規方程式が得られる。
【数６】

【００３５】
ここで（６）式で表わされる正規方程式は未知数がｎ個だけある連立方程式であるから、これにより最確値である各係数ｗ_１ 〜ｗ_ｎ を求めることができる。正確には（６）式でｗ_ｉ にかかる（Σｘ_ｊｋｘ_ｊｌ）（但しｊ＝１、……、ｍ、ｋ＝１、……、ｎ、ｌ＝１、……、ｎ）のマトリクスが正則であれば解くことができる。実際には、Ｇａｕｓｓ−Ｊｏｒｄａｎの消去法（掃き出し法）を用いて連立方程式を解く。
【００３６】
実際上係数算出回路４１は、図６に示すように構成すれば良い。すなわち係数算出回路４１は中央画素値ｘ_１ 〜ｘ_ｎ 及び左目用画素値δｙを正規方程式生成回路５０に入力し、当該正規方程式生成回路５０によつてクラス毎に（６）式で表わされるような正規方程式を生成し、続くＣＰＵ演算回路５１によつて掃き出し法の演算によりクラス毎の係数組ｗ_１ 〜ｗ_ｎ を求める。
【００３７】
正規方程式生成回路５０は先ず乗算器アレイ５２によつて各画素同士の乗算を行う。乗算器アレイ５２は、図７に示すように構成されており、四角で表わす各セル毎に画素同士の乗算を行い、これにより得た各乗算結果を続く加算器メモリ５３に与える。
【００３８】
加算器メモリ５３は、図８に示すように、乗算器アレイ５２と同様に配列された複数のセルでなる加算器アレイ５４とメモリ（又はレジスタ）アレイ５５Ａ、５５Ｂ、……とにより構成されている。メモリアレイ５５Ａ、５５Ｂ、……はクラス数分だけ設けられており、インデツクスデータＣＬＡＳＳ１′をデコードするインデツクスデコーダ５６の出力（クラス）に応答して一つのメモリアレイ５５Ａ、５５Ｂ、……が選択され、選択されたメモリアレイ５５Ａ、５５Ｂ、……の格納値が加算器アレイ５４に帰還される。このとき加算器アレイ５４により得られる加算結果が再び対応するメモリアレイ５５Ａ、５５Ｂ、……に格納される。
【００３９】
このようにして乗算器アレイ５２、加算器アレイ５４及びメモリアレイ５５によつて積和演算が行われ、インデツクスデータＣＬＡＳＳ１′によつて決定されるクラス毎にメモリアレイ５５Ａ、５５Ｂ、……のいずれかが選択されて、積和演算の結果によつてメモリアレイ５５Ａ、５５Ｂ、……の内容が更新される。
【００４０】
なお、各々のアレイの位置は（６）式で表わされる正規方程式のｗ_ｉ にかかる（Σｘ_ｊｋｘ_ｊｌ）（但しｊ＝１、……、ｍ、ｋ＝１、……、ｎ、ｌ＝１、……、ｎ）の位置に対応する。（６）式の正規方程式を見れば明らかなように右上の項を反転すれば左下と同じものになるため、各アレイは三角形の形状をしている。
【００４１】
このようにして、ある一定期間の間に積和演算が行われて各画素位置毎のさらに各クラス毎の正規方程式が生成される。クラス毎の正規方程式の各項の結果はそれぞれのクラスに対応するメモリアレイ５５Ａ、５５Ｂ、……に記憶されており、次にそれらのクラス毎の正規方程式の各項が掃き出し法演算を実現するＣＰＵ演算回路５１によつて計算される。この結果各クラスの係数組ｗ_１ 〜ｗ_ｎ が求められ、当該係数組ｗ_１ 〜ｗ_ｎ を図５に示すように予測係数Ｅ３Ａとしてメモリ３０の対応するクラスのアドレスに書き込む。
【００４２】
（１−４）動作
以上の構成において、立体視化装置１は放送用信号等でなる通常のテレビジヨン信号Ｓ１を入力すると、当該入力テレビジヨン信号を注目点毎にクラス分類し、この分類結果に応じた左目用の予測係数Ｅ３Ａと右目用の予測係数Ｅ４Ａとを用いて予測演算を行うことにより、左目用画像データＤ３Ａと右目用画像データＤ４Ａを生成する。この結果、左右の目に対応した画像信号を入力しなくとも、すなわち伝送又は記録する情報量を増やさなくても、時間分解能を低下させることなく、それぞれの目に対応した画像データＤ３Ａ及びＤ４Ａを生成できる。
【００４３】
そして立体視化装置１は、これらの画像データＤ３Ａ及びＤ４Ａをフイールド単位で切り換えながらテレビジヨンモニタ１８に送出すると共に、この切換えに同期するように液晶シヤツタ付き眼鏡２０のシヤツタを開閉させる。ここで各々の目に対する表示画像のフイールド周波数は入力したテレビジヨン信号Ｓ１のフイールド周波数と同様となるため、視聴者はフリツカのない良好な画像を視ることができる。
【００４４】
（１−５）効果
以上の構成によれば、入力テレビジヨン信号Ｓ１を、各注目点毎に当該注目点の周辺画素のレベル分布パターンに応じてクラス分類し、各クラスに対応して用意された予測係数のうち、クラス分類結果ＣＬＡＳＳ１に応じた予測係数ｗ_１ 〜ｗ_ｎ を用いた予測演算処理を行うことで左目用画像データＤ３Ａ及び右目用画像データＤ４Ａを生成するようにしたことにより、伝送又は記録情報量を増やすことなく、フリツカのない良好なステレオ画像を得ることができる立体視化装置１を実現できる。
【００４５】
（２）第２実施例
図１との対応部分に同一符号を付して示す図９において、６０は全体として第２実施例による立体視化装置を示す。立体視化装置６０は、上述したようにクラス分類部５によつて注目点の時空間周辺画素のレベル分布パターンに基づいて各注目点をクラス分類することにより第１のインデツクスデータＣＬＡＳＳ１を形成することに加えて、各注目点の画面上での水平方向の位置に基づいて各注目点をクラス分類することにより第２のインデツクスコードＣＬＡＳＳ２を形成し、これら第１及び第２のインデツクスコードＣＬＡＳＳ１及びＣＬＡＳＳ２を合わせたのものをクラス分類結果とする。これにより立体視化装置６０は、予測処理回路６４及び６５において一段と立体感のある表示画像を形成することができるようになされている。
【００４６】
実際上、立体視化装置６０においては、タイミングコントローラ６１において、入力テレビジヨン信号Ｓ１から抽出された水平同期信号Ｈを基に各注目点の画面上での水平位置を検出する。そしてタイミングコントローラ６１において、画面を２のｑ乗で分割した位置に対する指標をｑビツトで表現したものを第２のインデツクスデータＣＬＡＳＳ２として生成する。この第２のインデツクスデータＣＬＡＳＳ２は左目用クラス分類適応処理部６２の予測処理回路６４及び右目用クラス分類適応処理部６３の予測処理回路６５に送出される。
【００４７】
すなわち予測処理回路６４及び６５はクラス分類回路５からｐビツトでなる第１のインデツクスデータＣＬＡＳＳ１を入力すると共にｑビツトでなる第２のインデツクスデータＣＬＡＳＳ２を入力し、これらを組合わせたクラスに応じた予測係数を用いて予測演算処理を行うことにより左目用画像データＤ３Ｂ及び右目用画像データＤ４Ｂを生成する。このため予測処理回路６４及び６５の係数ＲＯＭには、２^{（ｐ＋ｑ）} クラス分の予測係数が記憶されている。
【００４８】
ここで両眼で物体を目視する場合においては、その物体が水平方向のどの位置にあるかに応じて、両眼の視差は異なるものとなる。この実施例ではこれを考慮して、画面の水平方向を複数の領域に分割し、その領域毎に視差の異なる予測係数を予め用意し、当該予測係数を使つて左目用画像データＤ３Ｂと右目用画像データＤ４Ｂとを生成するようにした。この結果水平方向で変化する視差をも反映したステレオ画像を得ることができることにより、一段と立体感のあるステレオ画像を得ることができる。
【００４９】
ここで、予測処理回路６４及び６５の係数ＲＯＭに記憶される２^{（ｐ＋ｑ）} クラス分の予測係数を作成するための学習回路は、例えば図１０に示すように構成すれば良い。図５との対応部分に同一符号を付して示す図１０において、学習回路７０はタイミングコントローラ７１によつて現在処理しようとしている注目点の画面上の水平位置をｑビツトで表現し、これを第２のインデツクスデータＣＬＡＳＳ２′として係数算出回路７２、７３に送出する。従つて係数算出回路７２、７３にはクラスコードとして、クラス分類回路５からの第１のインデツクスデータＣＬＡＳＳ１′（ｐビツト）及びタイミングコントローラ７１からの第２のインデツクスデータＣＬＡＳＳ２′（ｑビツト）が供給される。
【００５０】
係数算出回路７２及び７３は、２^{（ｐ＋ｑ）} 個のクラスそれぞれについて、第１実施例で上述したような最小二乗法を用いた学習を行うことにより、２^{（ｐ＋ｑ）} 種類の予測係数を算出する。具体的には、係数算出回路７２及び７３は、インデツクスデコーダ５６（図６）に第１及び第２のインデツクスデータＣＬＡＳＳ１′及びＣＬＡＳＳ２′を入力し、加算器メモリ５３のメモリアレイ５５Ａ、５５Ｂ……（図８）に２^{（ｐ＋ｑ）} クラスの正規方程式の各項の結果を記憶し、これらを続くＣＰＵ演算回路５１によつて掃き出し法による演算により求めることにより、２^{（ｐ＋ｑ）} クラス分の左目用予測係数Ｅ３Ｂ及び右目用予測係数Ｅ４Ｂを得る。
【００５１】
かくしてこの実施例による学習では、単に注目点周辺のレベル分布パターンが同じであるからといつてそれらを全てまとめて学習するのではなく（このようにすると水平方向で異なるはずの視差が平均化されて相殺されてしまう）、レベル分布パターンが同じであつてもその画素の水平位置でさらにクラス分けし、この結果得られた各クラス毎に予測係数を求めたことにより、物体の水平位置が異なる場合の視差を反映した予測係数Ｅ３Ｂ及びＥ４Ｂを求めることができる。
【００５２】
ここで立体視化装置６０及び学習回路７０のタイミングコントローラ６１及び７１は、例えば図１１（Ａ）に示すような簡易な構成で実現できる。すなわちタイミングコントローラ６１、７１は同期抽出回路２１、４７により抽出された画素クロツク信号Ｓ_ＣＬＫ をカウンタ７４のクロツク端子に入力する。また画素クロツクＳ_ＣＬＫ をＤフリツプフロツプ７５のクロツク端子に入力すると共に水平同期信号Ｓ_{ＨＳＹＮＣ} をＤフリツプフロツプ７５のＤ入力端子に入力する。そしてＤフリツプフロツプ７５の反転出力及び水平同期信号Ｓ_{ＨＳＹＮＣ} を論理積否定回路ＮＡＮＤに入力させる。これによりＤフリツプフロツプ７５及び論理積否定回路ＮＡＮＤによつて水平同期信号Ｓ_{ＨＳＹＮＣ} の立上りが微分される。そしてこの立上り微分信号をカウンタ７４のクリア端子に反転させて入力させる。
【００５３】
この結果カウンタ７４では、注目点の水平方向の位置が画面の左隅をカウント開始点として順次画素クロツクごとにカウントされる。この実施例の場合には、水平方向の画素数が ７２０画素であるため、注目点の水平位置に応じて ０〜 ７２０のカウント値が得られる。そしてカウンタ７４により得られたカウント値が続くエンコーダ７６によつてエンコードされることにより、第２のインデツクスデータＣＬＡＳＳ２（ＣＬＡＳＳ２′）が形成される。なおエンコーダ７６はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等により簡易に構成できる。
【００５４】
ここで例えば第２のインデツクスデータＣＬＡＳＳ２（ＣＬＡＳＳ２′）を３ビツトとする場合には、図１１（Ｂ）に示すように画面を水平方向に８分割することになり、カウント値に基づいて各注目点を領域「０」〜「７」のいずれかに振り分けることになる。すなわちカウント値が「０」〜「７２０／８ 」までの注目点は領域「０」に割り当てられ、カウント値が「７２０／８ 」〜「２ ×７２０／８ 」までの注目点は領域「１」に割り当てられる。この割り当てられた領域が第２のインデツクスデータＣＬＡＳＳ２（ＣＬＡＳＳ２′）によつて示される。なお、図１１（Ｂ）では、画面の水平方向をほぼ等間隔で分割しているが、例えば画面の中央の領域ほど領域を広く設定するようにしても良い。このような設定は、エンコーダ（ＲＯＭ）７６の内容を変更すれば容易に実現できる。
【００５５】
以上の構成によれば、各注目点が画面上のどの水平位置にあるかをクラス分類に反映したことにより、第１実施例の効果に加えて、一段と立体感のあるステレオ画像を得ることができる。
【００５６】
（３）第３実施例
図１との対応部分に同一符号を付して示す図１２において、８０は全体として第３実施例の立体視化装置を示す。立体視化装置８０は入力テレビジヨン信号Ｓ１をそのまま右目用画像表示のための信号として使用する。従つて右目用クラス分類適応処理部７（図１）が省略されている。これによりこの実施例の立体視化装置８０においては、第１実施例や第２実施例の立体視化装置１、６０に比べて構成を簡略化できる。
【００５７】
実際上、立体視化装置８０はクラス分類回路５からのインデツクスデータＣＬＡＳＳ１を左目用クラス分類適応処理部６の予測処理回路８１に送出し、当該予測処理回路８１によつて上述したのと同様の予測演算処理を行うことにより左目用画像データＤ３Ｃを形成し、これをフレームメモリ１３に供給する。また立体視化装置８０は遅延回路８から出力された単にデイジタル変換しただけの画像データを、遅延回路８２によつて左目用クラス分類適応処理部６での処理時間だけ遅延させた後フレームメモリ１４に供給する。そしてフレームメモリ１４に格納した画像データＤ４Ｃを右目用画像データとして使用する。
【００５８】
フレームメモリ１３及び１４に格納された左目用及び右目用画像データＤ３Ｃ、Ｄ４Ｃは、上述したようにタイミングコントローラ１７によつて読出し制御される。最終的には、テレビジヨンモニタ１８に入力テレビジヨン信号Ｓ１に対して２倍のフイールド周波数でなる左目用画像信号及び右目用画像信号がフイールドおきに交互に供給される。
【００５９】
実際上この実施例では、予測処理回路８１に設けられている予測係数を上述した第１及び第２実施例とは若干異なるものとしていることで、一方の目用のクラス分類適応処理部を省略し、入力テレビジヨン信号Ｓ１を一方の目用の信号として用いることができるのである。以下、この実施例の予測係数の学習による求め方について説明する。
【００６０】
この学習では、図１３に示すように、それぞれ両眼の視差に対応する位置に設けられた左目用カメラＣＡＭ_Ｌ 及び右目用カメラＣＡＭ_Ｒ の２台のテレビジヨンカメラによつて同時に撮影した被写体映像を使用する（すなわち中央カメラを用いない点が第１実施例と異なる）。そして右目用カメラＣＡＭ_Ｒ で撮影した映像信号を使つて注目点毎のクラス分類を行い、各クラスについて左目用カメラＣＡＭ_Ｌ で撮影した映像信号を教師データとして、右目用カメラＣＡＭ_Ｒ の映像信号と左目用カメラＣＡＭ_Ｌ の映像信号の相関関係を表わす予測係数を学習により求める。
【００６１】
実際には、２台のカメラによつて撮影した映像映像信号ＳＬ、ＳＲを、図１４に示すような学習回路９０に入力することにより予測係数を算出する。すなわち図５との対応部分に同一符号を付して示す図１４において、学習回路９０は右目用カメラＣＡＭ_Ｒ から得られた右目用映像信号ＳＲを用いてクラス分類回路５によつてクラス分類処理を施すことによりインデツクスデータＣＬＡＳＳ１′を形成し、これを係数算出回路４１に送出する。また係数算出回路４１には、ブロツク化回路９からブロツク化データＥ１が供給される。
【００６２】
さらに係数算出回路４１には左目用カメラＣＡＭ_Ｌ により得られた左目用映像信号ＳＬがアナログデイジタル変換回路４３及び遅延回路４４を介して供給される。そして係数算出回路４１は、第１実施例で説明したように、最小二乗法を用いた学習によつて、各クラス毎に左目用の予測係数Ｅ３Ｃを求めていく。この結果得られたクラス毎の予測係数Ｅ３Ｃがメモリ４３に格納され、最終的には予測処理回路８１（図１２）の係数ＲＯＭに記憶される。
【００６３】
かくして、第３実施例の立体視化装置８０によれば、入力テレビジヨン信号Ｓ１をそのまま一方の目に対応する画像として表示するようにしたことにより、一方の目に対応する画像を生成するためのクラス分類適応適応処理部を省略し得、この結果上述した第１実施例の効果に加えて、構成を簡略化するという効果を得ることができる。
【００６４】
（４）第４実施例
図９及び図１２との対応部分に同一符号を付して示す図１５は、第４実施例の立体視化装置を示す。この実施例の立体視化装置１００は、第３実施例で上述したように片目用の画像のみをクラス分類適応処理部６によつて生成し、もう片目用の画像は入力テレビジヨン信号Ｓ１のそのまま用いると共に、第２実施例で上述したように各注目点が画面上のどの水平位置にあるかを示す第２のインデツクスデータＣＬＡＳＳ２を第１のインデツクスデータＣＬＡＳＳ１に加えてクラス分類の指標として用いるようになされている。すなわち立体視化装置１００は、第２実施例の長所と第３実施例の長所を兼ね備えた構成を有する。
【００６５】
図１０及び図１４との対応部分に同一符号を付して示す図１６は、この実施例の予測係数を作成するための学習回路を示す。学習回路１１０は、クラス分類回路５において、右目用カメラＣＡＭ_Ｒ で撮影した映像信号ＳＲを使つて注目点周辺のレベル分布パターンに応じた第１のインデツクスデータＣＬＡＳＳ１′を形成すると共に、タイミングコントローラ７１において、注目点の画面上の水平位置を表わす第２のインデツクスデータＣＬＡＳＳ２′を形成し、これらを係数算出回路７２に送出する。係数算出回路７１は各クラス（２^{（ｐ＋ｑ）} クラス）について、左目用カメラＣＡＭ_Ｌ で撮影した映像信号ＳＬ（ＤＬ）を教師として、右目用カメラＣＡＭ_Ｒ の映像信号ＳＲ（Ｅ１）と左目用カメラＣＡＭ_Ｌ の映像信号ＳＬ（ＤＬ）の相関関係を表わす予測係数Ｅ３Ｄを学習により求める。
【００６６】
かくして、第４実施例の立体視化装置１１０によれば、入力テレビジヨン信号Ｓ１をそのまま一方の目に対応する画像として表示するようにしたことにより一方の目に対応する画像を生成するためのクラス分類適応適応処理部を省略し得る分構成を簡略化し得ると共に、各注目点が画面上のどの水平位置にあるかをクラス分類に反映したことにより立体感の高いステレオ画像を形成し得る。
【００６７】
（５）第５実施例
図９との対応部分に同一符号を付して示す図１７において、この実施例の立体視化装置１２０は、左目用クラス分類適応処理部１２１及び右目用クラス分類適応処理部１２２において係数ＲＯＭ１２３を共有することを除いて第２実施例の立体視化装置６０と同様の構成を有する。
【００６８】
すなわち立体視化装置１２０では、左目用の予測処理回路と右目用の予測処理回路とにそれぞれ独立に係数ＲＯＭを設けるのではなく、１つの係数ＲＯＭ１２３を右目用と左目用とで共有して用いることにより、使用する係数ＲＯＭ１２３の容量を削減するようになされている。次にこれを実現するための原理構成について説明する。なお、以下の説明では、説明を簡単化するためにレベル分布パターンによるクラス（ＣＬＡＳＳ１）は除外して考える。
【００６９】
図１８に示すように、タイミングコントローラ６１により分類されたクラスのうち、画面上の水平方向の中心位置（図１１（Ｂ）参照）を境として片側のみのクラスに対応した左目用及び右目用の予測係数を係数ＲＯＭ１２３に記憶させておく。そしてタイミングコントローラ６１によつて分類されたクラス（すなわちインデツクスデータＣＬＡＳＳ２）に対応する予測係数が係数ＲＯＭ１２３に存在するときにはそれぞれの目用の予測係数を係数ＲＯＭ１２３から読み出して各予測演算回路３１Ａ、３１Ｂに供給し、分類されたクラスに対応する予測係数が係数ＲＯＭ１２３に存在しないときには当該クラスに対応した他方の目用の予測係数を各予測演算回路３１Ａ、３１Ｂに供給する。これにより予測演算回路３１Ａ及び３１Ｂに対応する予測係数ＲＯＭを独立に２つ設ける場合と比較して、メモリ容量を半分にすることができる。
【００７０】
すなわち図１１（Ｂ）のように画面を水平方向に例えば８個の領域に分割するクラス分けを行つた場合、例えば注目点が領域「７」にある場合を考えると、この水平位置での左目用の予測係数としては右目用の領域「０」に対応する予測係数を用いることができる。同様に注目点が領域「７」にある場合の、右目用の予測係数としては左目用の領域「０」に対応する予測係数を用いることができる。
【００７１】
また例えば注目点が領域「６」にある場合には、左目用の予測係数としては右目用の領域「１」に対応する予測係数を用いることができ、右目用の予測係数としては左目用の領域「１」の予測係数を用いることができる。従つて、用意すべき予測係数は左目用及び右目用共に、４つのクラスのものでだけで良く、図からも明らかなように記憶すべき予測係数の量を半分にすることができる。
【００７２】
かくして、この実施例の立体視化装置１２０によれば、予測係数を共有化するようしたことにより、左目用及び右目用の予測係数を独立に設ける場合と比較してメモリ容量を半減させることができ、この分構成を簡略化し得る。
【００７３】
（６）第６実施例
図１９に第６実施例による立体視化装置の構成を示す。図９との対応部分に同一符号を付して示す図１９において、この実施例の立体視化装置１３０はクラス分類部１３１がエツジ検出部１３２及びレベルパターン分類部１３３により構成されている。エツジ検出部１３２は注目点の時空間周辺の画素がエツジかそうでないかを１ビツトで表現し、この検出結果を第３のインデツクスデータＣＬＡＳＳ３として予測処理回路１３６及び１３７に送出する。なおレベルパターン分類部１３３は、上述した第１〜第５実施例のクラス分類部５と同様に、注目点の時空間周辺画素のレベルパターンに基づく第１のインデツクスコードＣＬＡＳＳ１を形成し、これを予測処理回路１３６及び１３７に送出する。
【００７４】
これにより立体視化装置１３０においては、入力テレビジヨン信号Ｓ１の特性を一段と反映したクラス分けができることにより、最終的な表示画像を一段と実際の物を両目でみた場合の画像に近づけることができる。なお予測処理回路１３６及び１３７の係数ＲＯＭには２^{（ｐ＋ｑ＋１）} クラス分の予測係数が記憶されている。
【００７５】
その予測係数を作成するための学習回路は、図２０に示すように構成すれば良い。図１０及び図１９との対応部分に同一符号を付して示す図２０において、学習回路１４０は係数算出回路１４１、１４２にレベルパターン分類部１３３からの第１のインデツクスデータＣＬＡＳＳ１′、タイミングコントローラ７１からの第２のインデツクスデータＣＬＡＳＳ２′及びエツジ検出部１３２からの第３のインデツクスデータＣＬＡＳＳ３′を供給する。
【００７６】
係数算出回路１４１、１４２は、第１〜第３のインデツクスデータＣＬＡＳＳ１′〜ＣＬＡＳＳ３′で表わされる２^{（ｐ＋ｑ＋１）} 個のクラスそれぞれについて、第１実施例で上述したような最小二乗法を用いた学習を行うことにより、２^{（ｐ＋ｑ＋１）} 種類の予測係数を算出する。具体的には、係数算出回路１４１及び１４２は、インデツクスデコーダ５６（図６）に第１〜第３のインデツクスデータＣＬＡＳＳ１′〜ＣＬＡＳＳ３′を入力し、加算器メモリ５３のメモリアレイ５５Ａ、５５Ｂ……（図８）に２^{（ｐ＋ｑ＋１）} 個のクラス毎の正規方程式の各項の結果を記憶し、これらを続くＣＰＵ演算回路５１によつて掃き出し法による演算により求めることにより、２^{（ｐ＋ｑ＋１）} クラス分の左目用及び右目用の予測係数Ｅ３Ｆ及びＥ４Ｆを得る。
【００７７】
かくしてこの実施例による学習では、注目点の周辺画素のレベル分布パターン及び注目点の水平位置に加えて、注目点周辺にエツジが存在するか否かをも考慮したクラス分けを行い、そのクラス毎に予測係数を求めるようにしたことにより、一段と画像の特徴の似通つたもの同志の学習データを用いて予測係数Ｅ３Ｆ及びＥ４Ｆを求めることができる。従つて、立体視化装置１３０では、この予測係数Ｅ３Ｆ及びＥ４Ｆを用いて左目用及び右目用の画像を生成できるため、一段と実物に近いステレオ画像を生成することができるようになる。
【００７８】
ここで立体視化装置１３０及び学習回路１４０に用いるエツジ検出部１３２は、例えば図２１又は図２２で示すように構成すれば良い。図２１に示すエツジ検出部１３２Ａは、ブロツク内ダイナミツクレンジの大小によつてインデツクスデータＣＬＡＳＳ３（ＣＬＡＳＳ３′）を形成する。すなわちエツジ検出部１３２Ａは、ブロツク化回路４（図１９、図２０）から出力されたブロツク内画素データにおける画素レベルの最大値及び最小値を最大値検出回路１５０及び最小値検出回路１５１によつてそれぞれ検出し、続く差分回路１５２によつてそれらの差分値を算出することによりブロツク内ダイナミツクレンジを算出する。そして比較回路１５３によつてダイナミツクレンジと所定の閾値ＴＨとを比較し、ダイナミツクレンジが閾値よりも大きい場合にはエツジあることを示すインデツクスデータＣＬＡＳＳ３（ＣＬＡＳＳ３′）を出力すると共に、ダイナミツクレンジが閾値ＴＨ以下の場合にはエツジがないことを示すインデツクスデータＣＬＡＳＳ３（ＣＬＡＳＳ３′）を出力する。
【００７９】
図２２に示すエツジ検出部１３２Ｂはラプラシアンフイルタの結果を閾値判定することによつてインデツクスデータＣＬＡＳＳ３（ＣＬＡＳＳ３′）を発生する。すなわちエツジ検出部１３２Ｂ（図２２（Ａ））は、ブロツク化回路４（図１９、図２０）の出力に対してラプラシアンフイルタ１５４によつてフイルタ処理を施し（このフイルタ係数としては、例えば図２２（Ｂ）に示すようになものを用いればよい）、その出力を絶対値化回路１５５を介して比較回路１５６に送出する。比較回路１５６は絶対値化回路１５５の出力と閾値ＴＨとを比較し、絶対値が閾値ＴＨよりも大きい場合にはエツジがあることを示すインデツクスデータＣＬＡＳＳ３（ＣＬＡＳＳ３′）を出力すると共に、絶対値が閾値ＴＨ以下の場合にはエツジがないことを示すインデツクスデータＣＬＡＳＳ３（ＣＬＡＳＳ３′）を出力する。
【００８０】
以上のようにこの実施例の立体視化装置１３０によれば、注目点周辺にエツジがあるか否かによるクラス分けも行うようにしたことにより、一段と良好なステレオ画像を得ることができる。
【００８１】
（７）第７実施例
図２３に第７実施例の立体視化装置の構成を示す。図１９との対応部分に同一符号を付して示す図２３において、この実施例の立体視化装置１６０におけるクラス分類部１６１はレベルパターン分類部１３３、エツジ検出部１３２に加えて動き検出部１６２を有する。これによりクラス分類部１６１は、レベルパターン分類部１３３において注目点の時空間周辺画素のレベル分布パターンに基づくクラス分類、エツジ検出部１３２において注目点周辺のエツジの有無に基づくクラス分類に加えて、注目点の周辺画素の動きに基づくクラス分類を行い、当該動きに基づく分類結果を第４のインデツクスデータＣＬＡＳＳ４として予測処理回路１６５、１６６に送出する。
【００８２】
この結果立体視化装置１６０においては、さらに一段と画像の特徴の似通つたもの同志でクラスを形成し得ることにより、最終的な表示ステレオ画像をさらに一段と実物に近づけることができる。ここで第４のインデツクスデータＣＬＡＳＳ４をｒビツトとすると、立体視化装置１６０は、２^{（ｐ＋ｑ＋１＋ｒ）} 個のクラスを用いた予測処理によつて左目用及び右目用の画像データＤ３Ｇ及びＤ４Ｇを求めることになる。そのため予測処理回路１６３及び１６４の係数ＲＯＭには２^{（ｐ＋ｑ＋１＋ｒ）} クラス分の予測係数が記憶されている。
【００８３】
その予測係数を作成するための学習回路は、図２４に示すように構成すれば良い。図２０及び図２３との対応部分に同一符号を付して示す図２４において、学習回路１７０は係数算出回路１７１、１７２にレベルパターン分類部１３３からの第１のインデツクスデータＣＬＡＳＳ１′、タイミングコントローラ７１からの第２のインデツクスデータＣＬＡＳＳ２′、エツジ検出部１３２からの第３のインデツクスデータＣＬＡＳＳ３′及び動き検出部１６２からの第４のインデツクスデータＣＬＡＳＳ４′を供給する。
【００８４】
係数算出回路１７１、１７２は、第１〜第４のインデツクスデータＣＬＡＳＳ１′〜ＣＬＡＳＳ４′で表わされる２^{（ｐ＋ｑ＋１＋ｒ）} 個のクラスそれぞれについて、第１実施例で上述したような最小二乗法を用いた学習を行うことにより、２^{（ｐ＋ｑ＋１＋ｒ）} 種類の予測係数を算出する。具体的には、係数算出回路１７１及び１７２は、インデツクスデコーダ５６（図６）に第１〜第４のインデツクスデータＣＬＡＳＳ１′〜ＣＬＡＳＳ４′を入力し、加算器メモリ５３のメモリアレイ５５Ａ、５５Ｂ……（図８）に２^{（ｐ＋ｑ＋１＋ｒ）} 個のクラス毎の正規方程式の各項の結果を記憶し、これらを続くＣＰＵ演算回路５１によつて掃き出し法による演算により求めることにより、２^{（ｐ＋ｑ＋１＋ｒ）} クラス分の予測係数Ｅ３Ｇ、Ｅ４Ｇを得る。
【００８５】
かくしてこの実施例による学習では、注目点周辺のレベル分布パターン、注目点の水平位置及び注目点周辺のエツジの有無に加えて、注目点周辺の動きをも考慮したクラス分けを行い、そのクラス毎に予測係数を求めるようにしたことにより、第６実施例よりもさらに一段と画像の特徴の似通つたもの同志の学習データを用いて左目用及び右目用の予測係数Ｅ３Ｇ及びＥ４Ｇを求めることができる。従つて、立体視化装置１６０では、この予測係数Ｅ３Ｇ、Ｅ４Ｇを用いて左目用及び右目用画像を生成できるため、一段と立体感のある近いステレオ表示画像を生成することができるようになる。
【００８６】
ここで立体視化装置１６０及び学習回路１７０に用いる動き検出部１６２は、例えば図２５に示すように構成すれば良い。動き検出部１６２は、ブロツク化回路４（図２３、図２４）の出力の現フレームデータと過去フレームデータを差分回路１８０を介して絶対値和回路１８１に供給することにより、現フレームと過去フレームの差分の絶対値和Ｍを計算し、当該絶対値和ＭをＲＯＭ１８２に送出する。ＲＯＭ１８２には、図２５（Ｂ）に示すような内容のＲＯＭテーブルが設けられており、入力された絶対値和Ｍの値を複数の閾値Ｔｈ１ 〜Ｔｈ７ と比較し、絶対値和Ｍの値に応じたｒビツト（図２５（Ｂ）ではｒ＝３の場合を示す）の第４のインデツクスデータＣＬＡＳＳ４（ＣＬＡＳＳ４′）を出力する。なお図２５（Ｂ）では、上から下の順に順次動きが大きくなる場合を表わす。すなわち０ ≦Ｍ ＜Ｔｈ１ の場合は動きが無いか又は非常に小さい場合あり、Ｔｈ７ ≦Ｍの場合は動きが表示に大きい場合である。
【００８７】
以上のようにこの実施例の立体視化装置１６０によれば、注目点周辺の動きに応じたクラス分けも行うようにしたことにより、一段と良好なステレオ画像を得ることができる。
【００８８】
（８）第８実施例
図２６に第８実施例の立体視化装置を示す。図９との対応部分に同一符号を付して示す図２６において、この実施例の立体視化装置１８０は、シーンチエンジがない場合に、予測処理回路６４及び６５によつて生成された左目用画像データＤ３Ｂ及び右目用画像データＤ４Ｂのどちらか一方を複数フレーム分だけ遅延させて、フレーム１３又は１４に供給するようになされている。
【００８９】
すなわち立体視化装置１８０においては、シーンチエンジがない場合には、左右の目の画像のどちらか一方の画像を遅延させることにより、特に動きのある画像を一段と立体感のあるとして表示し得るようになされている。これに対して、シーンチエンジがある場合には、一方の画像を遅延させてしまうと左右の目には全く異なるシーンの画像が表示されてしまうので、このような場合には遅延させずにそのまま表示するようになされている。
【００９０】
実際上立体視化装置１８０においては、右目用の予測処理回路６５から出力された右目用画像データＤ４Ｂを複数フレーム分の遅延時間を有する遅延回路１８１を介して選択回路１８２に供給すると共に、直接選択回路１８２に供給する。またアナログデイジタル変換回路２の出力をシーンチエンジ検出回路１８３に与える。シーンチエンジ検出回路１８３は、例えばフレーム差分の絶対値の総和等に基づいてシーンチエンジの有無を検出し、当該検出結果を選択回路１８２に送出する。選択回路１８２はシーンチエンジがないことを表わす検出結果信号が与えられた場合には遅延回路１８１の出力をフレームメモリ１４に供給し、シーンチエンジがあることを表わす検出結果信号が与えられた場合には予測処理回路６５から直接供給された出力をフレームメモリ１４に供給する。
【００９１】
かくしてこの実施例の立体視化装置１８０によれば、動きのある画像をより立体感のあるとして表示し得ると共に、シーンチエンジの際に不自然な画像が表示されることを未然に回避できる。
【００９２】
（９）他の実施例
なお上述の実施例においては、液晶シヤツタ付き眼鏡２０を設け、テレビジヨンモニタ１８に表示した左目用画像及び右目用画像を液晶シヤツタ付き眼鏡２０を通して目視するようにした場合について述べたが、本発明はこれに限らず、例えばテレビジヨンモニタ１８にレンチキユラレンズを設け、予測処理手段によつて生成した左目用画像及び右目用画像をテレビジヨンモニタにストライプ状に交互に表示するようにした場合でも上述の実施例と同様の効果を得ることができる。
【００９３】
また上述の実施例においては、注目点の時空間周辺画素のレベル分布パターンに応じてクラス分類するレベルパターンクラス分類手段としてＡＤＲＣによる圧縮手法を用いた場合について述べたが、本発明はこれに限らず、例えば離散コサイン変換（ＤＣＴ）、差分量子化（ＤＰＣＭ）やＢＴＣ（Ｂｌｏｃｋ Ｔｒｕｎｃａｔｉｏｎ Ｃｏｄｉｎｇ ）等の種々の圧縮手法を用いることができる。
【００９４】
また上述の第７実施例においては、注目点の時空間周辺画素の動きに基づいて各注目点をクラス分類する動きクラス分類手段として、注目点を含むブロツクのフレーム差分の絶対値和を所定の閾値と比較することより動きの度合を検出し、当該検出結果をｒビツトのインデツクスデータＣＬＡＳＳ４（ＣＬＡＳＳ４′）として出力する動き検出部１６２を用いた場合について述べたが、本発明はこれに限らず、例えば画素単位のブロツクマツチングを行うことにより動きベクトルを求め、当該動きベクトルに基づいてインデツクスデータＣＬＡＳＳ４（ＣＬＡＳＳ４′）を形成するようにしても良く、または動きの方向のみを検出し、当該動き方向に基づいてインデツクスデータＣＬＡＳＳ４（ＣＬＡＳＳ４′）を形成するようにしても良い。
【００９５】
また上述の第１実施例ではレベル分布パターンに応じたクラス分類を行い、第２実施例ではレベル分布パターン及び水平方向位置を組合わせたクラス分類を行い、第６実施例ではレベル分布パターン、水平方向位置及びエツジの有無を組合わせたクラス分類を行い、第６実施例ではレベル分布パターン、水平方向位置、エツジの有無及び動きを組合わせたクラス分類を行うようにした場合について述べたが、本発明はこれに限らず、例えばレベル分布パターン及び動きを組合わせたクラス分類を行うようにしても良く、種々の組合せを選択することができる。
【００９６】
また上述の第５実施例においては、係数ＲＯＭ１２３を左目用の予測演算回路３１Ａ及び右目用の予測演算回路３１Ｂで共有化することにより、予測係数を記憶するためのメモリ容量を半減させた場合について述べたが、本発明はこれに限らず、タイミングコントローラ６１によつて分類されたクラスのうち、画面上の水平方向の中心位置（図１１（Ｂ）参照）を境として片側のみのクラスに対応した左目用及び右目用の予測係数をそれぞれの係数ＲＯＭに記憶させておき、タイミングコントローラ６１によつて分類されたクラス（すなわちインデツクスデータＣＬＡＳＳ２）に対応する予測係数が係数ＲＯＭに存在するときにはそれぞれの目用の予測係数を係数ＲＯＭから読み出して各予測演算回路に供給し、分類されたクラスに対応する予測係数が係数ＲＯＭに存在しないときには画面上の水平方向の中心位置からみて当該クラスによつて表わされる水平位置と対称な位置のクラスの予測係数の順序を反転したものを各予測演算回路に供給するようにしても係数ＲＯＭに記憶すべき予測係数の量を半減させてメモリ容量を低減することができる。
【００９７】
要するに、各予測処理回路６４、６５（図９）において、画面の水平方向中心を境として右側領域と左側領域とで予測係数を共有することにより、各係数ＲＯＭに記憶すべき予測係数の量を半減させる方法である。すなわち係数ＲＯＭから予測演算部３１の乗算回路３４Ａ_１ 〜３４Ａ_ｎ に供給する予測係数ｗ_１ 〜ｗ_ｎ の順序を水平領域の中心を境として左側領域と右側領域とで反転させれば、各係数ＲＯＭに領域「０」〜領域「３」までの予測係数のみを記憶すれば全領域「０」〜「７」に対応した予測演算ができるようになる（図１１（Ｂ）参照）。
【００９８】
図２７に示すように、例えば注目点が領域「７」にある場合を考えると、この水平位置での予測係数としては領域「０」で用いた予測係数ｗ_１ 〜ｗ_ｎ を、その順序を反転させて各乗算器３４Ａ_１ 〜３４Ａ_ｎ に供給すれば領域「７」に対応した左目用画像データ又は右目用画像データを生成することができる。かくして、各係数ＲＯＭに領域「４」〜領域「７」までの予測係数を記憶する必要がなくなることにより係数ＲＯＭの容量を有効に削減し得る。
【００９９】
また上述の実施例においては、予測係数を記憶させる記憶手段として、ＲＯＭを用いた場合について述べたが、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＳＲＡＭを用いるようにしても良い。
【０１００】
さらに上述の実施例においては、本発明による立体視化装置及び方法を全てハードウエアによつて実現する場合について述べたが、本発明はこれに限らず、デイジタル化されたデータを計算機に取り込むことによりソフトウエアによつて実現するようにしても良い。
【０１０１】
【発明の効果】
上述のように本発明によれば、入力テレビジヨン信号を、各注目点毎に当該注目点の周辺画素の状態に応じてクラス分類するクラス分類手段と、各クラスに対応して用意された予測係数のうち、クラス分類手段による分類結果に応じた予測係数を用いた予測演算処理を行うことにより、左目用の画像信号及び右目用の画像信号を生成する予測処理手段とを設けるようにしたことにより、左右の目に対応したテレビジヨン信号を入力させずとも左右の目に対応した画像信号を生成でき、かくして記録情報量又は伝送情報量を増やさずに良好なステレオ画像を得ることができる。
【図面の簡単な説明】
【図１】第１実施例の立体視化装置の構成を示すブロツク図である。
【図２】予測ブロツク化回路により形成される予測ブロツクの説明に供する略線図である。
【図３】予測処理回路の構成を示すブロツク図である。
【図４】学習に用いる映像の説明に供する略線図である。
【図５】第１実施例の学習回路の構成を示すブロツク図である。
【図６】係数算出回路の構成を示すブロツク図である。
【図７】乗算器アレイの構成を示す略線図である。
【図８】加算器メモリの構成を示す略線図である。
【図９】第２実施例の立体視化装置の構成を示すブロツク図である。
【図１０】第２実施例の学習回路の構成を示すブロツク図である。
【図１１】注目画素の水平方向位置を検出する構成の説明に供する略線図である。
【図１２】第３実施例の立体視化装置の構成を示すブロツク図である。
【図１３】第３実施例の学習に用いる映像の説明に供する略線図である。
【図１４】第３実施例の学習回路の構成を示すブロツク図である。
【図１５】第４実施例の立体視化装置の構成を示すブロツク図である。
【図１６】第４実施例の学習回路の構成を示すブロツク図である。
【図１７】第５実施例の立体視化装置の構成を示すブロツク図である。
【図１８】第５実施例において係数ＲＯＭから予測演算回路に供給する予測係数の説明に供する略線図である。
【図１９】第６実施例の立体視化装置の構成を示すブロツク図である。
【図２０】第６実施例の学習回路の構成を示すブロツク図である。
【図２１】ダイナミツクレンジによりエツジ検出を行う場合のエツジ検出部の構成を示すブロツク図である。
【図２２】ラプラシアンフイルタによるエツジ検出を行う場合のエツジ検出部の構成を示すブロツク図である。
【図２３】第７実施例の立体視化装置の構成を示すブロツク図である。
【図２４】第７実施例の学習回路の構成を示すブロツク図である。
【図２５】動き検出回路の構成例を示す略線図である。
【図２６】第８実施例の立体視化装置の構成を示すブロツク図である。
【図２７】第５実施例に対する変形例の説明に供する略線図である。
【符号の説明】
１、６０、８０、１００、１２０、１３０、１６０、１８０……立体視化装置、５、１３１、１６１……クラス分類回路、６、６２、１２１、１３４、１６３……左目用クラス分類適応処理部、７、６３、１２２、１３５、１６４……右目用クラス分類適応処理部、１１、１２、６４、６５、８１、１０１、１３６、１３７、１６５、１６６……予測処理回路、１３、１４……フレームメモリ、１５……マルチプレクサ、１７、４８、６１、７１……タイミングコントローラ、１８……テレビジヨンモニタ、２０……液晶シヤツタ付き眼鏡、３０、１２３……係数ＲＯＭ、３１、３１Ａ、３１Ｂ……予測演算部、３４Ａ_１ 〜３４Ａ_ｎ ……乗算器、４０、７０、９０、１１０、１４０、１７０……学習回路、４１、４２、７２、７３、１４１、１４２、１７１、１７２……予測係数算出回路、１３２……エツジ検出部、１３３……レベルパターン分類部、１６２……動き検出部、１８１……遅延回路、１８２……選択回路、１８３……シーンチエンジ検出信号生成回路、Ｓ１……入力テレビジヨン信号、Ｓ２Ａ〜Ｓ２Ｈ……表示画像信号、Ｄ１、Ｄ２……予測画素データ、ＣＬＡＳＳ１、ＣＬＡＳＳ１′、ＣＬＡＳＳ２、ＣＬＡＳＳ２′、ＣＬＡＳＳ３、ＣＬＡＳＳ３′、ＣＬＡＳＳ４、ＣＬＡＳＳ４′……インデツクスデータ、Ｄ３Ａ〜Ｄ３Ｇ……左目用画像データ、Ｄ４Ａ〜Ｄ４Ｇ……右目用画像データ、Ｄ５Ａ〜、Ｄ５Ｈ……表示画像データ、ｗ_１ 〜ｗ_ｎ ……予測係数、ＳＣ……中央映像信号、ＳＬ……左目用映像信号、ＳＲ……右目用映像信号、Ｅ３Ａ、Ｅ３Ｂ、Ｅ３Ｃ、Ｅ３Ｄ、Ｅ３Ｆ、Ｅ３Ｇ……左目用予測係数、Ｅ４Ａ、Ｅ４Ｂ、Ｅ４Ｆ、Ｅ４Ｇ……右目用予測係数。

Claims (34)

1. 入力テレビジヨン信号に基づく立体画像を表示させる立体視化装置において、
   上記入力テレビジヨン信号を、各注目点毎に当該注目点の周辺画素の分布状態に基づいてクラス分類するクラス分類手段と、
   各クラスに対応して用意された予測係数のうち、上記クラス分類手段による分類結果に応じた予測係数を用いた予測演算処理を行うことにより、左目用の画像信号及び右目用の画像信号を生成する予測処理手段と、
   上記左目用画像信号及び右目用画像信号を所定周期で交互に切り換えて出力する出力手段と、
   出力された左目用画像信号及び右目用画像信号を表示する表示手段と
   を具えることを特徴とする立体視化装置。
2. 上記出力手段の出力周期に同期して左目用シヤツタ及び右目用シヤツタが開閉される液晶シヤツタ付き眼鏡を具える
   ことを特徴とする請求項１に記載の立体視化装置。
3. 上記予測処理手段は、
   予め学習により求められた各クラスに対応した左目用の予測係数が記憶された左目用予測係数記憶手段と、
   予め学習により求められた各クラスに対応した右目用の予測係数が記憶された右目用予測係数記憶手段と、
   上記クラス分類手段による分類結果に応じて上記左目用予測係数記憶手段から出力された予測係数と上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより上記左目用画像信号を生成する左目用予測演算手段と、上記クラス分類手段による分類結果に応じて上記右目用予測係数記憶手段から出力された予測係数と上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより上記右目用画像信号を生成する右目用予測演算手段と
   を具えることを特徴とする請求項１に記載の立体視化装置。
4. 上記予測係数は、
   互いに視差のある位置に設けられた中央のテレビジヨンカメラ、左目用のテレビジヨンカメラ及び右目用のテレビジヨンカメラによつて得た撮影テレビジヨン信号のうち、中央の撮影テレビジヨン信号を上記クラス分類手段と同様の手法によりクラス分類し、
   分類された各クラス毎に、上記左目用の撮影テレビジヨン信号及び上記右目用の撮影テレビジヨン信号を教師データとして、当該教師データを、上記中央の撮影テレビジヨン信号と複数の係数との線形一次結合式により表し、
   上記係数を最小二乗法を用いた学習によつて求めたものである
   ことを特徴とする請求項１に記載の立体視化装置。
5. 上記クラス分類手段は、上記注目点の時空間における周辺画素のレベル分布パターンに基づいてクラス分類するレベルパターンクラス分類手段を具える
   ことを特徴とする請求項１に記載の立体視化装置。
6. 上記クラス分類手段は、
   上記注目点の時空間周辺画素のレベル分布パターンに基づいてクラス分類するレベルパターンクラス分類手段と、
   上記注目点の画面上での水平方向の位置に基づいてクラス分類する水平位置クラス分類手段と
   を具え、上記レベルパターンクラス分類手段及び水平位置クラス分類手段による分類結果を合わせたものをクラス分類結果とする
   ことを特徴とする請求項１に記載の立体視化装置。
7. 上記クラス分類手段は、上記注目点の時空間周辺画素におけるエツジの有無を検出することにより各注目点をクラス分類するエツジクラス分類手段を具える
   ことを特徴とする請求項１に記載の立体視化装置。
8. 上記エツジクラス分類手段は、
   注目画素を中心とする微小ブロツク内の最大値と最小値の差を所定の閾値と比較することによりエツジの有無を検出し、当該検出結果を１／０の論理値で出力する
   ことを特徴とする請求項７に記載の立体視化装置。
9. 上記エツジクラス分類手段は、
   注目画素の時空間周辺画素に対してエツジ抽出フイルタをかけ、当該エツジ抽出フイルタの出力の絶対値を所定の閾値と比較することによりエツジの有無を検出し、当該検出結果を１／０の論理値で出力する
   ことを特徴とする請求項７に記載の立体視化装置。
10. 上記クラス分類手段は、上記注目点の時空間周辺画素の動きに基づいて各注目点をクラス分類する動きクラス分類手段を具える
    ことを特徴とする請求項１に記載の立体視化装置。
11. 上記動きクラス分類手段は、
    注目点を含むブロツクのフレーム差分の絶対値和を所定の閾値と比較することにより動きの度合を検出し、当該検出結果をｒビツトのコードとして出力する
    ことを特徴とする請求項１０に記載の立体視化装置。
12. 上記クラス分類手段は、
    上記注目点の時空間周辺画素のレベル分布パターンに基づいて各注目点をクラス分類するレベルパターンクラス分類手段、上記注目点の画面上での水平方向の位置に基づいて各注目点をクラス分類する水平位置クラス分類手段、上記注目点の時空間周辺画素にエツジが有る否かを検出することにより各注目点をクラス分類するエツジクラス分類手段、及び又は上記注目点の時空間周辺画素の動きに基づいて各注目点をクラス分類する動きクラス分類手段のうち少なくとも２つを具え、
    上記複数のクラス分類手段による分類結果を合わせたものをクラス分類結果とする
    ことを特徴とする請求項１に記載の立体視化装置。
13. 上記クラス分類手段は、少なくとも上記注目点の画面上での水平方向の位置に基づいてクラス分類する水平位置クラス分類手段を具え、
    上記予測処理手段は、
    上記水平位置クラス分類手段により分類されるクラスのうち、画面上の水平方向の中心位置を境として片側のみのクラスに対応した左目用及び右目用の予測係数が記憶された予測係数記憶手段と、
    上記水平位置クラス分類手段により分類されたクラスに対応する予測係数が上記予測係数記憶手段に存在する場合にはそれぞれの目用の予測係数と上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより左目用及び右目用画像信号を生成し、分類されたクラスに対応する予測係数が上記予測係数記憶手段に存在しない場合には当該クラスに対応した他方の目用の上記予測係数と上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより左目用及び右目用画像信号を生成する予測演算手段と
    を具えることを特徴とする請求項１に記載の立体視化装置。
14. 上記クラス分類手段は、少なくとも上記注目点の画面上での水平方向の位置に基づいてクラス分類する水平位置クラス分類手段を具え、
    上記予測処理手段は、
    上記水平位置クラス分類手段により分類されるクラスのうち、画面上の水平方向の中心位置を境として片側のみのクラスに対応した左目用及び右目用の予測係数が記憶された予測係数記憶手段と、
    上記水平位置クラス分類手段により分類されたクラスに対応する予測係数が上記予測係数記憶手段に存在する場合には当該予測係数と上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより左目用及び右目用画像信号を生成し、分類されたクラスに対応する予測係数が上記予測係数記憶手段に存在しない場合には上記画面上の水平方向の中心位置からみて当該クラスによつて表わされる水平位置と対称な位置のクラスの予測係数の順序を反転したものと上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより左目用及び右目用画像信号を生成する予測演算手段と
    を具えることを特徴とする請求項１に記載の立体視化装置。
15. 上記予測処理手段により生成された左目用画像信号及び右目用画像信号のいづれか一方の画像信号を遅延させる遅延手段と、
    上記入力テレビジヨン信号にシーンチエンジが発生したことを検出するシーンチエンジ検出手段と、
    シーンチエンジがない場合には上記遅延手段によつて一方の目用の画像信号が遅延された左目用及び右目用画像信号を上記表示手段に供給すると共に、シーンチエンジがある場合には遅延されていない左目用及び右目用画像信号を上記表示手段に供給する選択手段と
    を具えることを特徴とする請求項１に記載の立体視化装置。
16. 入力テレビジヨン信号に基づく立体画像を表示させる立体視化装置において、
    上記入力テレビジヨン信号を、各注目点毎に当該注目点の周辺画素の分布状態に基づいてクラス分類するクラス分類手段と、
    各クラスに対応して予め学習により求められた左目用又は右目用のいずれか一方の予測係数が記憶された予測係数記憶手段と、
    上記クラス分類手段による分類結果に応じて当該予測係数記憶手段から出力された予測係数と上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより上記左目用画像信号又は右目用画像信号の何れか一方を生成する予測演算手段と、
    上記予測演算手段により生成された上記左目用画像信号又は右目用画像信号と、上記入力テレビジヨン信号とを所定周期で交互に切り換えて出力する出力手段と、
    上記出力手段から交互に出力された信号に基づく画像を表示する表示手段と
    を具えることを特徴とする立体視化装置。
17. 上記予測係数は、
    互いに視差のある位置に設けられた左目用のテレビジヨンカメラ及び右目用のテレビジヨンカメラによつて得た撮影テレビジヨン信号のうち、上記予測演算手段によつて生成されない方の撮像テレビジヨン信号を上記クラス分類手段と同様の手法によりクラス分類し、
    分類された各クラス毎に、上記予測演算手段によつて生成される方の撮像テレビジヨン信号を教師データとして、当該教師データを、上記予測演算手段によつて生成されない方の撮像テレビジヨン信号と複数の係数との線形一次結合式により表し、
    上記係数を最小二乗法を用いた学習によつて求めたものである
    ことを特徴とする請求項１６に記載の立体視化装置。
18. 入力テレビジヨン信号に基づく立体画像を表示させる立体視化方法において、
    上記入力テレビジヨン信号を、各注目点毎に当該注目点の周辺画素の分布状態に基づいてクラス分類するクラス分類ステツプと、
    各クラスに対応して用意された予測係数のうち、上記クラス分類ステツプによる分類結果に応じた予測係数を用いた予測演算処理を行うことにより、左目用の画像信号及び右目用の画像信号を生成する予測処理ステツプと、
    上記左目用画像信号及び右目用画像信号を所定周期で交互に切り換えて出力する出力ステツプと、
    出力された左目用画像信号及び右目用画像信号を表示する表示ステツプと
    を具えることを特徴とする立体視化方法。
19. 上記出力ステツプの出力周期に同期して液晶シヤツタ付きメガネの左目用シヤツタ及び右目用シヤツタを開閉させるステツプを具える
    ことを特徴とする請求項１８に記載の立体視化方法。
20. 上記予測処理ステツプは、
    予め学習により求められた各クラスに対応した左目用の予測係数が記憶された左目用予測係数記憶手段から上記クラス分類ステツプでの分類結果に応じた予測係数を読み出し、当該予測係数と上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより上記左目用画像信号を生成する左目用予測演算ステツプと、
    予め学習により求められた各クラスに対応した右目用の予測係数が記憶された右目用予測係数記憶手段から上記クラス分類ステツプでの分類結果に応じた予測係数を読み出し、当該予測係数と上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより上記右目用画像信号を生成する右目用予測演算ステツプと
    を具えることを特徴とする請求項１８に記載の立体視化方法。
21. 上記予測係数は、
    互いに視差のある位置に設けられた中央のテレビジヨンカメラ、左目用のテレビジヨンカメラ及び右目用のテレビジヨンカメラによつて得た撮影テレビジヨン信号のうち、中央の撮影テレビジヨン信号を上記クラス分類ステツプと同様の手法によりクラス分類し、
    分類された各クラス毎に、上記左目用の撮影テレビジヨン信号及び上記右目用の撮影テレビジヨン信号を教師データとして、当該教師データを、上記中央の撮影テレビジヨン信号と複数の係数との線形一次結合式により表し、
    上記係数を最小二乗法を用いた学習によつて求めたものである
    ことを特徴とする請求項１８に記載の立体視化方法。
22. 上記クラス分類ステツプでは、上記注目点の時空間における周辺画素のレベル分布パターンに基づいてクラス分類する
    ことを特徴とする請求項１８に記載の立体視化方法。
23. 上記クラス分類ステツプは、
    上記注目点の時空間周辺画素のレベル分布パターンに基づいてクラス分類するレベルパターンクラス分類ステツプと、
    上記注目点の画面上での水平方向の位置に基づいてクラス分類する水平位置クラス分類ステツプと
    を具え、上記レベルパターンクラス分類ステツプ及び水平位置クラス分類ステツプによる分類結果を合わせたものをクラス分類結果とする
    ことを特徴とする請求項１８に記載の立体視化方法。
24. 上記クラス分類ステツプでは、上記注目点の時空間周辺画素におけるエツジの有無を検出することにより各注目点をクラス分類する
    ことを特徴とする請求項１８に記載の立体視化方法。
25. 注目画素を中心とする微小ブロツク内の最大値と最小値の差を所定の閾値と比較することによりエツジの有無を検出し、当該検出結果を１／０の論理値で出力する
    ことを特徴とする請求項２４に記載の立体視化方法。
26. 注目画素の時空間周辺画素に対してエツジ抽出フイルタをかけ、当該エツジ抽出フイルタの出力の絶対値を所定の閾値と比較することによりエツジの有無を検出し、当該検出結果を１／０の論理値で出力する
    ことを特徴とする請求項２４に記載の立体視化方法。
27. 上記クラス分類ステツプでは、上記注目点の時空間周辺画素の動きに基づいて各注目点をクラス分類する
    ことを特徴とする請求項１８に記載の立体視化方法。
28. 上記動きクラス分類ステツプでは、
    注目点を含むブロツクのフレーム差分の絶対値和を所定の閾値と比較することにより動きの度合を検出し、当該検出結果をｒビツトのコードとして出力する
    ことを特徴とする請求項２７に記載の立体視化方法。
29. 上記クラス分類ステツプは、
    上記注目点の時空間周辺画素のレベル分布パターンに基づいて各注目点をクラス分類するレベルパターンクラス分類ステツプ、上記注目点の画面上での水平方向の位置に基づいて各注目点をクラス分類する水平位置クラス分類ステツプ、上記注目点の時空間周辺画素にエツジが有る否かを検出することにより各注目点をクラス分類するエツジクラス分類ステツプ、及び又は上記注目点の時空間周辺画素の動きに基づいて各注目点をクラス分類する動きクラス分類ステツプのうち少なくとも２つを具え、
    上記複数のクラス分類ステツプによる分類結果を合わせたものをクラス分類結果とする
    ことを特徴とする請求項１８に記載の立体視化方法。
30. 上記クラス分類ステツプは、少なくとも上記注目点の画面上での水平方向の位置に基づいてクラス分類する水平位置クラス分類ステツプを具え、
    上記予測処理ステツプでは、
    上記水平位置クラス分類ステツプで分類されるクラスのうち、画面上の水平方向の中心位置を境として片側のみのクラスに対応した左目用及び右目用の予測係数が記憶された予測係数記憶手段を用い、
    上記水平位置クラス分類ステツプにより分類されたクラスに対応する予測係数が上記予測係数記憶手段に存在する場合にはそれぞれの目用の予測係数と上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより左目用及び右目用画像信号を生成し、分類されたクラスに対応する予測係数が上記予測係数記憶手段に存在しない場合には当該クラスに対応した他方の目用の上記予測係数と上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより左目用及び右目用画像信号を生成する
    ことを特徴とする請求項１８に記載の立体視化方法。
31. 上記クラス分類ステツプは、少なくとも上記注目点の画面上での水平方向の位置に基づいてクラス分類する水平位置クラス分類ステツプを具え、
    上記予測処理ステツプでは、
    上記水平位置クラス分類ステツプで分類されるクラスのうち、画面上の水平方向の中心位置を境として片側のみのクラスに対応した左目用及び右目用の予測係数が記憶された予測係数記憶手段を用い、
    上記水平位置クラス分類ステツプにより分類されたクラスに対応する予測係数が上記予測係数記憶手段に存在する場合には当該予測係数と上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより左目用及び右目用画像信号を生成し、分類されたクラスに対応する予測係数が上記予測係数記憶手段に存在しない場合には上記画面上の水平方向の中心位置からみて当該クラスによつて表わされる水平位置と対称な位置のクラスの予測係数の順序を反転したものと上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより左目用及び右目用画像信号を生成する
    ことを特徴とする請求項１８に記載の立体視化方法。
32. 上記予測処理ステツプで生成された左目用画像信号及び右目用画像信号のいづれか一方の画像信号を遅延させる遅延ステツプと、
    上記入力テレビジヨン信号にシーンチエンジが発生したことを検出するシーンチエンジ検出ステツプと、
    シーンチエンジがない場合には上記遅延ステツプによつて一方の目用の画像信号が遅延された左目用及び右目用画像信号を上記表示ステツプに与えると共に、シーンチエンジがある場合には遅延されていない左目用画像信号及び右目用画像信号を上記表示ステツプに与える選択ステツプと
    を具えることを特徴とする請求項１８に記載の立体視化方法。
33. 入力テレビジヨン信号に基づく立体画像を表示させる立体視化方法において、
    上記入力テレビジヨン信号を、各注目点毎に当該注目点の周辺画素の分布状態に基づいてクラス分類するクラス分類ステツプと、
    各クラスに対応して予め学習により求められた左目用又は右目用のいずれか一方の予測係数が記憶された予測係数記憶手段から上記クラス分類ステツプでの分類結果に応じた予測係数を読み出し、当該予測係数と上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより上記左目用画像信号又は右目用画像信号の何れか一方を生成する予測演算ステツプと、
    上記予測演算ステツプにより生成された上記左目用画像信号又は右目用画像信号と、上記入力テレビジヨン信号とを所定周期で交互に切り換えて出力する出力ステツプと、
    出力された信号に基づく画像を表示させる表示ステツプと
    を具えることを特徴とする立体視化方法。
34. 上記予測係数は、
    互いに視差のある位置に設けられた左目用のテレビジヨンカメラ及び右目用のテレビジヨンカメラによつて得た撮影テレビジヨン信号のうち、上記予測演算ステツプによつて生成されない方の撮像テレビジヨン信号を上記クラス分類ステツプと同様の手法によりクラス分類し、
    分類された各クラス毎に、上記予測演算ステツプによつて生成される方の撮像テレビジヨン信号を教師データとして、当該教師データを、上記予測演算ステツプによつて生成されない方の撮像テレビジヨン信号と複数の係数との線形一次結合式により表し、
    上記係数を最小二乗法を用いた学習によつて求めたものである
    ことを特徴とする請求項３３に記載の立体視化方法。

Images