JP3781210B2

JP3781210B2 - 立体視化装置及び立体視化方法

Info

Publication number: JP3781210B2
Application number: JP11031496A
Authority: JP
Inventors: 秀雄中屋; 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-04-05
Filing date: 1996-04-05
Publication date: 2006-05-31
Anticipated expiration: 2016-04-05
Also published as: US6078352A; CN1169641A; JPH09275577A; CN1172538C

Description

【０００１】
【目次】
以下の順序で本発明を説明する。
発明の属する技術分野
従来の技術
発明が解決しようとする課題
課題を解決するための手段
発明の実施の形態
（１）実施例（図１〜図１０）
（２）他の実施例（図１１）
発明の効果
【０００２】
【発明の属する技術分野】
本発明は立体視化装置及び立体視化方法に関し、特に入力テレビジヨン信号に基づく立体画像を表示する立体視化装置に適用して好適なものである。
【０００３】
【従来の技術】
従来、テレビジヨン信号の立体視化を実現する装置としては、例えばテレビジヨン学会誌 Vol.45,No.4,pp.446〜452 (1991)に記載されているように種々のものが提案されている。
【０００４】
これらの立体視化装置の中で、左目及び右目に対応する視差のある２つの画像をテレビジヨンモニタにフイールド毎に交互に切り換えて表示し、この表示画像を、表示画像の切換えに同期して左目用シヤツタ及び右目用シヤツタが開閉する液晶シヤツタ眼鏡を通して視ることにより、立体視を実現するものがある。
【０００５】
【発明が解決しようとする課題】
ところが、左目及び右目に対応する２つの画像をテレビジヨンモニタに交互に表示することにより立体視を実現する方法においては、通常、予め左目及び右目に対応する２台のテレビジヨンカメラによつて撮影した画像を記録又は伝送する必要がある。このため画像の時間分解能を落とさないようにすると２倍の情報量が必要であり、また情報量を増やさないようにすると時間分解能が落ちるためにフリツカが生じて画質が劣化する欠点があつた。
【０００６】
本発明は以上の点を考慮してなされたもので、記録情報量又は伝送情報量を増やさずに良好な立体画像を得ることができる立体視化装置及び立体視化方法を提案しようとするものである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、入力テレビジヨン信号を複数の注目画素を中心とする所定の時空間領域内の複数の画素毎に当該各画素のレベル分布パターンに基づいてそれぞれクラス分類するクラス分類手段と、入力テレビジヨン信号を各注目画素をそれぞれ中心とする所定の時空間領域内の複数の画素毎にブロツク化することにより予測演算用画素データを生成する予測ブロツク化手段と、予め複数のクラスにそれぞれ応じた複数組の予測係数を有し、当該各組の予測係数のうち、クラス分類手段の出力に基づいて得られるクラス分類結果に応じた予測係数を用いて、予測ブロツク化手段の出力に基づいて得られる予測演算用画素データを予測演算処理することにより左目用の画像信号及び右目用の画像信号をそれぞれ生成する予測処理手段と、当該予測処理手段の出力に基づいて得られる左目用の画像信号及び右目用の画像信号に基づいて立体画像を表示する表示手段とを設けるようにする。
【０００８】
また本発明においては、入力テレビジヨン信号を複数の注目画素を中心とする所定の時空間領域内の複数の画素毎に当該各画素のレベル分布パターンに基づいてそれぞれクラス分類する第１のステツプと、入力テレビジヨン信号を各注目画素をそれぞれ中心とする所定の時空間領域内の複数の画素毎にブロツク化することにより予測演算用画素データを生成する第２のステツプと、予め用意された複数のクラスにそれぞれ応じた複数組の予測係数のうちクラス分類結果に応じた予測係数を用いて予測演算用画素データを予測演算処理することにより左目用の画像信号及び右目用の画像信号をそれぞれ生成する第３のステツプと、左目用の画像信号及び右目用の画像信号に基づいて立体画像を表示する第４のステツプとを設けるようにする。
【０００９】
従つて本発明では、入力テレビジヨン信号を複数の注目画素を中心とする所定の時空間領域内の複数の画素毎に当該各画素のレベル分布パターンに基づいてそれぞれクラス分類するクラス分類手段と、入力テレビジヨン信号を各注目画素をそれぞれ中心とする所定の時空間領域内の複数の画素毎にブロツク化することにより予測演算用画素データを生成する予測ブロツク化手段と、予め複数のクラスにそれぞれ応じた複数組の予測係数を有し、当該各組の予測係数のうち、クラス分類手段の出力に基づいて得られるクラス分類結果に応じた予測係数を用いて、予測ブロツク化手段の出力に基づいて得られる予測演算用画素データを予測演算処理することにより左目用の画像信号及び右目用の画像信号をそれぞれ生成する予測処理手段と、当該予測処理手段の出力に基づいて得られる左目用の画像信号及び右目用の画像信号に基づいて立体画像を表示する表示手段とを設けるようにしたことにより、フリツカをなくして画質の劣化を防止するようにして表示手段に立体視化映像を映出することができる。
【００１０】
また本発明では、入力テレビジヨン信号を複数の注目画素を中心とする所定の時空間領域内の複数の画素毎に当該各画素のレベル分布パターンに基づいてそれぞれクラス分類し、次いで入力テレビジヨン信号を各注目画素をそれぞれ中心とする所定の時空間領域内の複数の画素毎にブロツク化することにより予測演算用画素データを生成し、続いて予め用意された複数のクラスにそれぞれ応じた複数組の予測係数のうちクラス分類結果に応じた予測係数を用いて予測演算用画素データを予測演算処理することにより左目用の画像信号及び右目用の画像信号をそれぞれ生成し，次いで左目用の画像信号及び右目用の画像信号に基づいて立体画像を表示するようにしたことにより、フリツカをなくして画質の劣化を防止することができる。
【００１１】
【発明の実施の形態】
以下図面について、本発明の一実施例を詳述する。
【００１２】
（１）実施例
図１において、１は全体として立体視化装置を示し、１つの入力テレビジヨン信号Ｓ１からそれぞれ視差のある左目用の画像信号（以下、これを左目用画像信号と呼ぶ）Ｓ２Ｌ及び右目用の画像信号（以下、これを右目用画像信号と呼ぶ）Ｓ２Ｒを生成し、これら左目用画像信号Ｓ２Ｌ及び右目用画像信号Ｓ２Ｒにそれぞれ基づく画像を表示装置２に表示し得るようになされている。
【００１３】
この場合まず立体視化装置１は、受信した入力テレビジヨン信号Ｓ１をアナログデジタル変換回路（Ａ／Ｄ）３によつて13.5〔ＭHz〕のサンプリング周波数でテレビジヨンデータＤ１に変換し、当該テレビジヨンデータＤ１を直接クラス分類用ブロツク化回路４に供給すると共に遅延回路５を介してクラス分類用ブロツク化回路４に供給する。なお上述したサンプリング周波数でサンプリングされてなるテレビジヨンデータＤ１に基づく画像のサイズは、１フレームあたり横 720画素×縦 480ライン程度となる。
【００１４】
クラス分類用ブロツク化回路４は、所定の画素を注目点として、その周囲の微小領域における画像部分の画像内容の特徴に基づいてクラス分類コードを求めるために、時空間における周辺画素を集めるようなブロツク化処理を画素クロツク単位で実行する。その結果クラス分類用ブロツク化回路４は、時空間でみたとき、注目点の画素を中心とする３次元的な領域（すなわち当該注目点が存在するフレーム及びその前後のフレームに亘る近傍領域）内に存在する画素の画素データでなるブロツク化画素データＤ２を１つのブロツクとして集めて、クラス分類回路６に与える。
【００１５】
ここで図２（Ａ）に示すように、クラス分類用ブロツク化回路４は、第２フレームにおいて所定の注目点Ｆ２Ｘについて、その周辺にある画素として、第１フレームの斜め上及び斜め下の２つの点Ｆ１１及びＦ１２と、第２フレームの走査線上の隣接する２つの点Ｆ２１及びＦ２２と、第３フレームの斜め上及び斜め下の２つの画素Ｆ３１及びＦ３２とを選んでこれら各画素の画素データをブロツク化画素データＤ２としてクラス分類回路６に出力する。
【００１６】
また注目点Ｆ２Ｘ（図２（Ａ））の画素に対して、図２（Ｂ）に示すように、第２フレームの真下に隣接する画素を注目点Ｆ２Ｙとしたとき、クラス分類用ブロツク化回路４は第１フレームの真横の１つの画素Ｆ１０と、第２フレーム上の斜め上方の２つの画素Ｆ２１及びＦ２２並びに斜め下の２つの画素Ｆ２３及びＦ２４と、第３フレームの真横の１つの画素Ｆ３０とを１つのブロツクとして集めて各画素の画素データをブロツク化画素データＤ２としてクラス分類回路６に出力する。
【００１７】
クラス分類用ブロツク化回路４は、このようなブロツク化処理（すなわち、上述した第２フレーム上における注目点Ｆ２Ｘ及びＦ２Ｙについての処理）を、以下同様にして画面全体について実行する。
その後クラス分類用ブロツク化回路４は、図２（Ｃ）に示すように、第３フレーム上の所定の画素を注目点Ｆ３Ｘとして第２フレームの２つの画素Ｆ２１及びＦ２２と、第３フレームの２つの画素Ｆ３１及びＦ３２と、第４フレームの２つの画素Ｆ４１及びＦ４２とを集めて同様のブロツク化処理を実行する。また図２（Ｄ）に示すように、第３フレーム上の所定の画素を注目点Ｆ３Ｙとして第２フレームの１つの画素Ｆ２０と、第３フレームの４つの画素Ｆ３１、Ｆ３２、Ｆ３３及びＦ３４と、第４フレームの１つの画素Ｆ４０とを集めて同様のブロツク化処理を実行する。
【００１８】
クラス分類回路６は、このようにしてクラス分類用ブロツク化回路４から与えられたブロツク化画素データＤ２毎に例えばＡＤＲＣ（Adaptive Dynamic Range Coding ）圧縮処理を施すことにより当該ブロツク化画素データＤ２に対してレベル分布パターンに基づくクラス分類を実行し、当該分類結果をクラス識別番号であるインデツクスデータＩＮＤＥＸとして出力する。なおクラス分類回路６において用いられるＡＤＲＣ圧縮処理は、図２（Ａ）〜（Ｄ）について上述したように、注目点の周囲の画素を含む微小な時空間にブロツクの領域を限定すれば、各画素データは相互に強い相関をもつていることを利用して各ブロツクの最小値及び最大値によつて表されるダイナミツクレンジ内の各画素データの値と最小値との偏差が非常に小さくなるために、圧縮処理をすることにより各画素の画素データのレベルによつて表されるレベル分布パターンが単純な傾向をもつことが明確になる。
【００１９】
このレベル分布パターンの傾向として、例えば明るさの分布がブロツク内において上に凸になる（すなわちブロツク内にピーク値をもつ）傾向になつたり、下に凸になる（すなわち当該ブロツク内に暗い谷がある）ような傾向になつたり、明るさのピークや谷をもたない平坦な傾向になつたりするといつた特徴が把握できるような結果が得られる。
クラス分類回路６はこのようなクラス分類用ブロツク内のレベル分布パターンの特徴に基づいて、当該特徴に分類コードを割り当てることによりインデツクスデータＩＮＤＥＸを生成する。
【００２０】
また立体視化装置１は、アナログデジタル変換回路５から出力されたテレビジヨンデータＤ１を直接遅延回路７に供給すると共に、遅延回路５を介して遅延回路７に供給し、当該遅延回路７によつてテレビジヨンデータＤ１を上述したクラス分回路６においてクラス分類処理に要した時間分だけ遅延させた後、左目用クラス分類適応処理部８の予測ブロツク化回路９及び右目用クラス分類適応処理部１０の予測ブロツク化回路１１に供給する。
【００２１】
予測ブロツク化回路９及び１１は、それぞれクラス分類用ブロツク化回路４において用いられた注目点を中心とする所定の時空間領域内の各画素の画素データを予測演算用画素データＤ３及びＤ４として予測処理回路１２及び１３に供給する。ここで予測ブロツク化回路９及び１１により形成されるブロツクはクラス分類用ブロツク化回路４によるブロツクより格段的に大きい領域に選定され、これにより当該注目点の画素データの予測精度を高めるようになされている。また図３に示すように、予測ブロツク化回路９におけるブロツク領域ＡＲ１は、予測ブロツク化回路１１におけるブロツク領域ＡＲ２に対して数画素分だけ左側にずれるようになされている。なおこのずれ量は、生成しようとする左目用画像と右目用画像との間に設けられる視差に応じて選定されている。
【００２２】
ここで図４に示すように、予測処理回路１２（及び１３）は、クラス分類回路６から与えられたインデツクスデータＩＮＤＥＸをインデツクスデコード回路２０においてデコードして係数組メモリアドレス信号Ｓ３を発生することにより、インデツクスデータＩＮＤＥＸによつて表されている画素ブロツクのレベル分布パターンに対応する複数組の係数ｗ₁、ｗ₂……ｗ_nを記憶している係数組メモリＭ１、Ｍ２……ＭＫの１つをアクセスすることにより当該１組の係数データｗ₁、ｗ₂……ｗ_nをそれぞれ係数レジスタ２１Ａ１、２１Ａ２……２１Ａｎに読み出すようになされている。
【００２３】
係数レジスタ２１Ａ１、２１Ａ２……２１Ａｎに読み出された係数データｗ₁、ｗ₂……ｗ_nは掛算回路２２Ａ１、２２Ａ２……２２Ａｎにおいて予測ブロツク化回路９（及び１１）から供給される予測演算用画素データＤ３（及びＤ４）のデータｘ₁、ｘ₂……ｘ_nと乗算され、当該乗算結果が加算回路２３において加算され、その加算結果が左目用画像データＤ５Ｌ（及び右目用画像データＤ５Ｒ）として予測処理回路１２（及び１３）から出力される。
【００２４】
この場合左目用画像データＤ５Ｌ及び右目用画像データＤ５Ｒは、それぞれ予測処理回路１２及び１３から13.5〔ＭHz〕の画素クロツク単位で出力され、左目用画像データＤ５Ｌ及び右目用画像データＤ５Ｒにそれぞれ基づく画像のサイズは１フレームあたり横 720画素×縦 480ライン程度となる。従つてこれら左目用画像データＤ５Ｌ及び右目用画像データＤ５Ｒの情報量は、入力テレビジヨン信号Ｓ１の情報量の２倍に増加されており、時間分解能及び空間分解能の劣化を防止し得るようになされている。
【００２５】
左目用画像データＤ５Ｌ及び右目用画像データＤ５Ｒは、それぞれフレームメモリ（ＦＭ）３１及び３２に書き込まれる。
ここでこの立体視化装置１は、入力テレビジヨン信号Ｓ１を同期抽出回路３３に供給し、当該同期抽出回路３３は入力テレビジヨン信号Ｓ１から垂直同期信号Ｖ及び水平同期信号Ｈを抽出してタイミングコントローラ３４に送出する。
タイミングコントローラ３４は、入力された垂直同期信号Ｖ及び水平同期信号Ｈに基づいて読み出しクロツク信号Ｓ５を生成し、当該読み出しクロツク信号Ｓ５をフレームメモリ３１及び３２に同時に供給する。
【００２６】
これによりフレームメモリ３１及び３２は、それぞれ読み出しクロツク信号Ｓ５が入力されたタイミングに応じて左目用画像データＤ５Ｌ及び右目用画像データＤ５Ｒをテレビジヨン信号Ｓ１と同期させて読み出す。
かくして左目用画像データＤ５Ｌ及び右目用画像データＤ５Ｒは、それぞれデジタルアナログ変換回路（Ｄ／Ａ）３５及び３６によつて左目用画像信号Ｓ２Ｌ及び右目用画像信号Ｓ２Ｒに変換されて表示装置２に供給される。
この場合表示装置２は、例えばバイザートロンのように、左目及び右目にそれぞれ対応する２台の液晶デイスプレイを組み合わせてヘツドマウントできるように構成されており、かくして表示装置２を人が装着したとき、立体画像を楽しむことができる。
【００２７】
ここで予測処理回路１２（及び１３）において係数組メモリＭ１、Ｍ２……ＭＫにそれぞれ記憶されている各組の係数データｗ₁、ｗ₂……ｗ_nは、予め学習により求められる。
この場合まず図５に示すように、この学習では、人の左目の位置及び右目の位置にそれぞれ相当する位置に配設された左目用テレビジヨンカメラ４０Ｌ及び右目用テレビジヨンカメラ４０Ｒと、これら左目用テレビジヨンカメラ４０Ｌ及び右目用テレビジヨンカメラ４０Ｒの間に配設された通常のテレビジヨンカメラに相当する中央テレビジヨンカメラ４０Ｃとによつて標準被写体４１を同時に撮像することにより得られる左目用画像信号、右目用画像信号及び中央画像信号を使用する。
【００２８】
実際上左目用テレビジヨンカメラ４０Ｌ、右目用テレビジヨンカメラ４０Ｒ及び中央テレビジヨンカメラ４０Ｃから得られる左目用画像信号、右目用画像信号及び中央画像信号は、図１との対応する部分に同一符号を付して示す図６に示すような構成の係数学習回路５０において使用される。
この場合係数学習回路５０は、中央テレビジヨンカメラ４０Ｃから得られた中央映像信号Ｓ１０Ｃをアナログデジタル変換回路３において立体視化装置１（図１）の場合のクロツク周波数と同じクロツク周波数（この実施例の場合13.5〔ＭHz〕）によつて中央映像データＤ１０Ｃに変換して、当該中央映像データＤ１０Ｃを立体視化装置１と同様にしてクラス分類用ブロツク化回路４に供給する。
【００２９】
クラス分類用ブロツク化回路４は、中央映像データＤ１０Ｃの画像データのうち、立体視化装置１の場合と同様にして抽出されるべき画素を取り込んで、当該クラス分類用ブロツク化回路４におけるブロツク化動作と同様に、注目点を中心とする時空間領域内に存在する画素によつて１つのブロツクを形成して当該ブロツク内に存在する各画素の画素データでなるブロツク化画素データＤ１１をクラス分類回路６に供給する。
クラス分類回路６は、ブロツク内画素に対してＡＤＲＣ圧縮処理を施すことによりレベル分布パターンに基づくクラス分類を実行し、当該分類結果のクラスコード番号を表すインデツクスデータＩＮＤＥＸ１を学習回路５１及び５２に出力する。
【００３０】
また係数学習回路５０は、アナログデジタル変換回路３から出力された中央映像データＤ１０Ｃを立体視化装置１と同様に予測ブロツク化回路９及び予測ブロツク化回路１１に供給する。予測ブロツク化回路９及び１１は、それぞれクラス分類用ブロツク化回路４において用いられた注目点を中心とする所定の時空間領域内の各画素の画素データをブロツク化画素データＤ１２として学習回路５１及び５２に供給する。
【００３１】
さらに学習回路５１には、左目用テレビジヨンカメラ４０Ｌにより得られた左目用映像信号Ｓ１０Ｌがアナログデイジタル変換回路５３によつて左目用画像データＤ１３Ｌに変換された後、遅延回路５４を介して供給され、学習回路５２には右目用テレビジヨンカメラ４０Ｒにより得られた右目用映像信号Ｓ１０Ｒがアナログデイジタル変換回路５５によつて右目用画像データＤ１３Ｒに変換された後、遅延回路５６を介して供給される。
【００３２】
学習回路５１は、インデツクスデータＩＮＤＥＸ１によつて表わされる各クラス毎に、左目用画像データＤ１３Ｌを教師データとして、ブロツク化画素データＤ１２として供給される画素データに対して乗算すべき係数データｗ₁、ｗ₂……ｗ_nを最小自乗法演算回路を用いた学習によつて求めることにより、各組の左目用の係数データｗ₁、ｗ₂……ｗ_nを出力してこれら各組毎にそれぞれ対応する係数組メモリＭ１、Ｍ２……ＭＫ（図４）に記憶させる。
同様に、学習回路５２はインデツクスデータＩＮＤＥＸ１によつて表わされる各クラス毎に、右目用画像データＤ１３Ｒを教師データとして、ブロツク化画素データＤ１２として供給される画素データに対して乗算すべき係数データｗ₁、ｗ₂……ｗ_nを最小自乗法演算回路を用いた学習によつて求めることにより、各組の係数データｗ₁、ｗ₂……ｗ_nを出力してこれら各組毎にそれぞれ対応する係数組メモリＭ１、Ｍ２……ＭＫ（図４）に記憶させる。
【００３３】
なおタイミングコントローラ３４は、同期抽出回路３３によつて抽出された中央映像信号Ｓ１０Ｃの垂直同期信号Ｖ１及び水平同期信号Ｈ１に基づいて、例えばクラス分類用ブロツク化回路４や予測ブロツク化回路９及び１１のブロツク化のタイミングを合わせるための制御信号を生成する。
【００３４】
ここで最小自乗法演算回路における各組の係数データｗ_１、ｗ_２……ｗ_ｎの算出方法について説明する。この場合最小自乗法演算回路は、ブロツク化画像データＤ１２で表わされる複数の画素値（以下これを中央画素値と呼ぶ）と、左目用画像データＤ１３Ｌ（及び右目用画像データＤ１３Ｒ）で表される１つの注目画素値（すなわち、左目用画素値及び右目用画素値）との関係を次の理論モデルに従つて最小自乗法を用いて求める。
まず中央画素値ｘ_ｍｎ（ｍ＝１、２、……ｍ、ｎ＝１、２、……ｎとする）と、左目用画素値ｙ_ｍ（ｍ＝１、２、……ｍ）との間に、係数ｗ_ｎ（ｎ＝１、２、……ｎ）と共に、次式（１）
【数１】
ＸＷ＝Ｙ ……（１）
ただし、次式（２）
【数２】

のように線型１次式結合の関係があると仮定する。
【００３５】
このような（１）式による観測方程式を、未知数として係数ｗ_i（ｉ＝１、２、……ｎ）について解くために次式（３）
【数３】

のような残差方程式を考え、次式（４）
【数４】

によつて表される残差ｅ_m（ｍ＝１、２、……ｍ）について、未知数として係数ｗ_i（ｉ＝１、２、……ｎ）を見出すには、次式（５）
【数５】

を最小にする条件、すなわち次式（６）
【数６】

になる係数ｗ_i（ｉ＝１、２、……ｎ）を見出せば良い。
【００３６】
そこで（３）式を未知数としての係数ｗ_ｉ（ｉ＝１、２、……ｎ）によつて偏微分すれば、次式（７）
【数７】

となるから、（７）式を（６）式に代入して（６）式の条件をｉ＝１、２、……、ｎについて立てれば、次式（８）
【数８】

の条件式が得られる。
【００３７】
そこで（３）式及び（８）式から次式（９）
【数９】

の正規方程式が得られる。
ここで（９）式は未知数がｎ個だけある連立方程式であるから、この連立方程式から最確値であるｗ_ｉ（ｉ＝１、２、……ｎ）を求めることができ、正確には（９）式において未知数ｗ_ｉが乗算されるマトリクス、すなわち次式（１０）
【数１０】

が正則であれば、未知数として係数ｗ_ｉを解くことができる。実際には、Ｇａｕｓｓ−Ｊｏｒｄａｎの消去法（掃き出し法）を用いて連立方程式を解く。
【００３８】
ここで図７に示すように、かかる理論モデルに基づいて学習回路５１（及び５２）の最小自乗法演算回路５１Ａ（及び５２Ａ）は、（９）式のうちｘ_ｉｎｘ_ｉｎ（ｊ＝１、２、……ｎ、ｎ＝１、２、……ｎ）の項及びｘ_ｉｎｙ_ｉ（ｊ＝１、２、……ｎ、ｎ＝１、２、……ｎ）の乗算を実行する乗算器アレイ６１を有し、その演算結果ｘ_ｉｎｘ_ｉｎ（ｊ＝１、２、……ｎ、ｎ＝１、２、……ｎ）及びｘ_ｉｎｙ_ｉ（ｊ＝１、２、……ｎ、ｎ＝１、２、……ｎ）の乗算結果を加算メモリ６２に供給することにより、加算メモリ６２に（９）式によつて表される連立方程式の各項が記録され、続く係数演算回路６３によつてＧａｕｓｓ−Ｊｏｒｄａｎの消去法（掃出し法）を用いて、加算メモリ６２から送出された連立方程式を解くことにより係数ｗ_ｉ（ｉ＝１、２、……ｎ）を求めて係数データｗ_１、ｗ_２、……ｗ_ｎを係数演算回路６３から送出する。
【００３９】
この場合図８に示すように、最小自乗法演算５１Ａ（及び５２Ａ）の乗算器アレイ６１は、（９）式の項ｘ_jnｘ_jn（ｊ＝１、２、……ｍ、ｎ＝１、２、……ｎ）のうち、斜め右半部の項に対応し、かつそれぞれ図９に示す構成の乗算器６１Ａだけが用意され、かくして構成を簡略化するようになされている。因に（９）式の正規方程式は、右上の項を反転すれば、左下の項と同じものになるため、乗算器６１Ａとしては右上の項に対応するものだけを用意すれば良い。
【００４０】
また図１０に示すように、加算器メモリ６２は、加算器アレイ６５とクラス数分だけ設けられたメモリ（又はレジスタ）アレイ６６Ａ、６６Ｂ、……６６Ｋとにより構成されている。メモリアレイ６６Ａ、６６Ｂ、……６６Ｋは、クラス分類回路６（図６）から供給されるインデツクスデータＩＮＤＥＸ１が与えられたとき、これをインデツクスデコード回路６７でデコードして得られるアドレス信号Ｓ２０に応答して１つのメモリアレイ６６Ａ、６６Ｂ、……又は６６Ｋが指定され、当該指定されたメモリアレイ６６Ａ、６６Ｂ、……又は６６Ｋの格納値が加算器アレイ６２に帰還される。このとき加算器アレイ６２により得られる加算結果が再び対応するメモリアレイ６６Ａ、６６Ｂ、……又は６６Ｋに格納される。
【００４１】
このようにしてインデツクスデータＩＮＤＥＸ１によつて分類されたクラスが指定されたとき、対応されたメモリエリアから（９）式に基づく正規方程式が読み出され、係数演算回路６３において係数ｗ_i（ｉ＝１、２、……ｎ）を演算により求めて係数データｗ₁、ｗ₂、……ｗ_nを係数演算回路６３から送出し、これを予測処理回路１２（及び１３、図１）のＲＯＭでなる係数組メモリＭ１、Ｍ２、……ＭＫに格納する。
【００４２】
以上の構成において、立体視化装置１は放送用信号等でなる入力テレビジヨン信号Ｓ１が入力されると、当該入力テレビジヨン信号Ｓ１を注目点毎にクラス分類し、当該分類結果に応じた右目用の予測係数データｗ₁、ｗ₂……ｗ_n及び左目用の予測係数データｗ₁、ｗ₂……ｗ_nを用いてそれぞれ当該テレビジヨン信号Ｓ１に基づく予測演算用画素データＤ３及びＤ４を予測演算することことにより、左目用画像データＤ５Ｌ及び右目用画像データＤ５Ｒを生成する。この結果伝送又は記録において情報量を増加させなくとも時間分解能を低下させずに左目用画像データＤ５Ｌ及び右目用画像データＤ５Ｒを生成することがてきる。
【００４３】
またこの立体視化装置１は、左目用画像データＤ５Ｌ及び右目用画像データＤ５Ｒを入力テレビジヨン信号Ｓ１に同期させて表示装置２に表示させる。これにより視聴者はフリツカがなく良好な立体視化素装置を表示装置２において鑑賞することができる。
【００４４】
以上の構成によれば、入力テレビジヨン信号Ｓ１を各注目画素を中心とする時空間領域内の各画素毎にレベル分布パターンに応じてクラス分類し、当該クラス分類結果に基づくインデツクスデータＩＮＤＥＸを生成するクラス分類回路６と、入力テレビジヨン信号Ｓ１を上述した各注目点画素を中心とする所定の時空間領域内の各画素毎にブロツク化することにより予測演算用画像データＤ３及びＤ４を生成する予測ブロツク化回路９及び１１と、予め各クラスに対応する各組の予測係数を有し、これら各組の予測係数のうち、インデツクスデータＩＮＤＥＸに応じた予測係数を用いてそれぞれ予測演算用画素データＤ３及びＤ４を予測演算処理することにより左目用画像データＤ５Ｌ及び右目用画像データＤ５Ｒを生成する予測処理回路１２及び１３と、左目用画像データＤ５Ｌ及び右目用画像データＤ５Ｒに基づいて立体視化映像を映出する表示装置２とを設けるようにしたことにより、フリツカをなくして画質の劣化を防止するようにして表示装置２に立体視化映像を映出することができ、かくして記録情報量又は伝送情報量を増やさずに良好な立体画像を得ることができる立体視化装置を実現することができる。
【００４５】
また以上の構成によれば、入力テレビジヨン信号Ｓ１を各注目画素を中心とする時空間領域内の各画素毎にレベル分布パターンに応じてクラス分類し、当該クラス分類結果に基づくインデツクスデータＩＮＤＥＸを生成し、次いで入力テレビジヨン信号Ｓ１を上述した各注目点画素を中心とする所定の時空間領域内の各画素毎にブロツク化することにより予測演算用画像データＤ３及びＤ４を生成し、続いて予め用意された各クラスに対応する各組の予測係数の予測係数のうち、インデツクスデータＩＮＤＥＸに応じた予測係数を用いてそれぞれ予測演算用画素データＤ３及びＤ４を予測演算処理することにより左目用画像データＤ５Ｌ及び右目用画像データＤ５Ｒを生成し、次いで左目用画像データＤ５Ｌ及び右目用画像データＤ５Ｒに基づいて立体画像を表示するようにしたことにより、フリツカをなくして画質の劣化を防止することができ、かくして記録情報量又は伝送情報量を増やさずに良好な立体画像を得ることができる立体視化方法を実現することができる。
【００４６】
（２）他の実施例
なお上述の実施例においては、注目画素を中心とする時空間領域内の各画素をレベル分布パターンに基づいてクラス分類する手法としてＡＤＲＣによる圧縮手法を用いるようにした場合について述べたが、本発明はこれに限らず、例えば離散コサイン変換（ＤＣＴ）、差分量子化（ＤＰＣＭ）やＢＴＣ（Block Truncation Coding ）等の種々の圧縮手法を用いることができる。
【００４７】
また上述の実施例においては、予測係数を記憶させる記憶手段として、ＲＯＭを用いた場合について述べたが、ＲＡＭ（Random Access Memory）やＳＲＡＭを用いるようにしても良い。
【００４８】
さらに上述の実施例においては、アナログデイジタル変換回路３、５３及び５５の変換動作を13.5〔ＭHz〕のサンプリング周波数で実行するようにした場合について述べたが、本発明はこれに限らず、クロツク周波数を例えば14.3〔ＭHz〕などに必要に応じて変更することができる。
【００４９】
さらに上述の実施例においては、左目用及び右目用クラス分類適応処理回路８及び１０のクラス分類適応処理をハードウエアの構成によつて実現するようにした場合について述べたが、本発明はこれに限らず、デイジタル化されたデータを計算機に取り込むことによりソフトウエアによつて実現するようにしても良い。
【００５０】
さらに上述の実施例においては、入力テレビジヨン信号Ｓ１から生成した左目用画像信号Ｓ２Ｌ及び右目用画像信号Ｓ２Ｒに基づいて表示装置２に立体画像を表示するようにした場合について述べたが、本発明はこれに限らず、入力テレビジヨン信号Ｓ１から生成した左目用画像信号Ｓ２Ｌ及び右目用画像信号Ｓ２Ｒを一旦記録装置に記録した後、当該記録装置から再生して表示装置２に供給するようにしても上述の場合と同様の効果を得ることができる。
【００５１】
さらに上述の実施例においては、クラス分類用ブロツク化回路４においてテレビジヨンデータＤ１を図２（Ａ）〜（Ｄ）に示すようにダイヤモンド形の微小領域についてクラス分類用ブロツク化をするようにした場合について述べたが、本発明はこれに限らず、クラス分類用ブロツク化としては、図１１（Ａ）〜（Ｄ）示すように、方形の微小領域についてクラス分類用ブロツク化をするようにしても良い。
【００５２】
【発明の効果】
上述のように本発明によれば、入力テレビジヨン信号を複数の注目画素を中心とする所定の時空間領域内の複数の画素毎に当該各画素のレベル分布パターンに基づいてそれぞれクラス分類するクラス分類手段と、入力テレビジヨン信号を各注目画素をそれぞれ中心とする所定の時空間領域内の複数の画素毎にブロツク化することにより予測演算用画素データを生成する予測ブロツク化手段と、予め複数のクラスにそれぞれ応じた複数組の予測係数を有し、当該各組の予測係数のうち、クラス分類手段の出力に基づいて得られるクラス分類結果に応じた予測係数を用いて、予測ブロツク化手段の出力に基づいて得られる予測演算用画素データを予測演算処理することにより左目用の画像信号及び右目用の画像信号をそれぞれ生成する予測処理手段と、当該予測処理手段の出力に基づいて得られる左目用の画像信号及び右目用の画像信号に基づいて立体画像を表示する表示手段とを設けるようにしたことにより、フリツカをなくして画質の劣化を防止するようにして表示手段に立体視化映像を映出することができ、かくして記録情報量又は伝送情報量を増やさずに良好な立体画像を得ることができる立体視化装置を実現することができる。
【００５３】
また上述のように本発明によれば、入力テレビジヨン信号を複数の注目画素を中心とする所定の時空間領域内の複数の画素毎に当該各画素のレベル分布パターンに基づいてそれぞれクラス分類し、次いで入力テレビジヨン信号を各注目画素をそれぞれ中心とする所定の時空間領域内の複数の画素毎にブロツク化することにより予測演算用画素データを生成し、続いて予め用意された複数のクラスにそれぞれ応じた複数組の予測係数のうちクラス分類結果に応じた予測係数を用いて予測演算用画素データを予測演算処理することにより左目用の画像信号及び右目用の画像信号をそれぞれ生成し，次いで左目用の画像信号及び右目用の画像信号に基づいて立体画像を表示するようにしたことにより、フリツカをなくして画質の劣化を防止することができ、かくして記録情報量又は伝送情報量を増やさずに良好な立体画像を得ることができる立体視化方法を実現することができる。
【図面の簡単な説明】
【図１】本発明の一実施例による立体視化装置の構成を示すブロツク図である。
【図２】クラス分類用のブロツク化の説明に供する略線図である。
【図３】予測ブロツク化回路により形成される予測ブロツクの説明に供する略線図である。
【図４】予測処理回路の構成を示すブロツク図である。
【図５】学習に用いる映像信号の説明に供する略線図である。
【図６】係数学習回路の構成を示すブロツク図である。
【図７】最小自乗法演算回路の構成を示すブロツク図である。
【図８】乗算器アレイの構成を示す略線図である。
【図９】図８の乗算器アレイの詳細構成を示す略線図である。
【図１０】加算器メモリの構成を示す略線図である。
【図１１】他の実施例によるクラス分類用のブロツク化の説明に供する略線図である。
【符号の説明】
１……立体視化装置、２……表示装置、４……クラス分類用ブロツク化回路、６……クラス分類回路、８……左目用クラス分類適応処理回路、９……予測ブロツク化回路、１０……右目用クラス分類適応処理回路、１１……予測ブロツク化回路、１２……予測処理回路、１３……予測処理回路、５０……係数学習回路、５１、５２……学習回路、Ｍ１、Ｍ２……ＭＫ……係数組メモリ。

Claims

入力テレビジヨン信号に基づく立体画像を表示する立体視化装置において、
上記入力テレビジヨン信号を、複数の注目画素を中心とする所定の時空間領域内の複数の画素毎に当該各画素のレベル分布パターンに基づいてそれぞれクラス分類するクラス分類手段と、
上記入力テレビジヨン信号を各上記注目画素をそれぞれ中心とする所定の時空間領域内の複数の画素毎にブロツク化することにより予測演算用画素データを生成する予測ブロツク化手段と、
予め複数のクラスにそれぞれ応じた複数組の予測係数を有し、当該各組の予測係数のうち、上記クラス分類手段の出力に基づいて得られるクラス分類結果に応じた上記予測係数を用いて、上記予測ブロツク化手段の出力に基づいて得られる上記予測演算用画素データを予測演算処理することにより左目用の画像信号及び右目用の画像信号をそれぞれ生成する予測処理手段と、
上記予測処理手段の出力に基づいて得られる上記左目用の画像信号及び上記右目用の画像信号に基づいて上記立体画像を表示する表示手段と
を具えることを特徴とする立体視化装置。
上記予測処理手段は、
予め学習により求められた各クラスに対応した左目用の予測係数が記憶された左目用予測係数記憶手段と、
予め学習により求められた各クラスに対応した右目用の予測係数が記憶された右目用予測係数記憶手段と、
上記クラス分類手段の出力に基づいて得られる上記クラス分類結果に応じて上記左目用予測係数記憶手段から出力された上記予測係数と、上記予測ブロツク化手段の出力に基づいて得られる上記予測演算用画素データとを用いた線型一次結合式に基づいて演算を行うことにより上記左目用の画像信号を生成する左目用演算手段と、
上記クラス分類手段の出力に基づいて得られる上記クラス分類結果に応じて上記右目用予測係数記憶手段から出力された上記予測係数と、上記予測ブロツク化手段の出力に基づいて得られる上記予測演算用画素データとを用いた線型一次結合式に基づいて演算を行うことにより上記右目用の画像信号を生成する右目用演算手段と
を具えることを特徴とする請求項１に記載の立体視化装置。
上記予測係数は、
互いに視差のある所定位置に配設された中央のテレビジヨンカメラと、左目用のテレビジヨンカメラと、右目用のテレビジヨンカメラとによつてそれぞれ得られる中央、左目用及び右目用テレビジヨン信号のうち、上記中央のテレビジヨンカメラから得られる上記中央テレビジヨン信号を、上記クラス分類手段と同様の手法によつてクラス分類し、
上記分類した各クラス毎に、上記左目用のテレビジヨンカメラから得られた上記左目用テレビジヨン信号及び上記右目用のテレビジヨンカメラから得られた上記右目用テレビジヨン信号を教師データとして、当該教師データを上記中央テレビジヨン信号と複数の係数との線型一次結合式により表すようにして、
各上記係数を最小自乗法を用いた学習によつて求めたものである
ことを特徴とする請求項１に記載の立体視化装置。
上記表示手段は、
上記左目用の映像信号及び上記右目用の映像信号をそれぞれ表示するヘツドマウントタイプの液晶デイスプレイでなる
ことを特徴とする請求項１に記載の立体視化装置。
入力テレビジヨン信号に基づく立体画像を表示する立体視化方法において、
上記入力テレビジヨン信号を複数の注目画素を中心とする所定の時空間領域内の複数の画素毎に当該各画素のレベル分布パターンに基づいてそれぞれクラス分類する第１のステツプと、
上記入力テレビジヨン信号を、各上記注目画素をそれぞれ中心とする所定の時空間領域内の複数の画素毎にブロツク化することにより予測演算用画素データを生成する第２のステツプと、
予め用意された複数のクラスにそれぞれ応じた複数組の予測係数のうち、上記第１のステツプで得られるクラス分類結果に応じた上記予測係数を用いて、上記第２のステツプで得られる上記予測演算用画素データを予測演算処理することにより左目用の画像信号及び右目用の画像信号をそれぞれ生成する第３のステツプと、
上記左目用の画像信号及び上記右目用の画像信号に基づいて上記立体画像を表示する第４のステツプと
を具えることを特徴とする立体視化方法。