JP3580450B2 - 立体視化装置及び立体視化方法 - Google Patents

立体視化装置及び立体視化方法 Download PDF

Info

Publication number
JP3580450B2
JP3580450B2 JP23074595A JP23074595A JP3580450B2 JP 3580450 B2 JP3580450 B2 JP 3580450B2 JP 23074595 A JP23074595 A JP 23074595A JP 23074595 A JP23074595 A JP 23074595A JP 3580450 B2 JP3580450 B2 JP 3580450B2
Authority
JP
Japan
Prior art keywords
eye
prediction
class
point
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP23074595A
Other languages
English (en)
Other versions
JPH0955962A (ja
Inventor
秀雄 中屋
哲二郎 近藤
賢 堀士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP23074595A priority Critical patent/JP3580450B2/ja
Publication of JPH0955962A publication Critical patent/JPH0955962A/ja
Application granted granted Critical
Publication of JP3580450B2 publication Critical patent/JP3580450B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Liquid Crystal (AREA)

Description

【0001】
【目次】
以下の順序で本発明を説明する。
発明の属する技術分野
従来の技術
発明が解決しようとする課題
課題を解決するための手段
発明の実施の形態
(1)第1実施例(図1〜図8)
(2)第2実施例(図9〜図11)
(3)第3実施例(図12〜図14)
(4)第4実施例(図15及び図16)
(5)第5実施例(図17及び図18)
(6)第6実施例(図19〜図22)
(7)第7実施例(図23〜図25)
(8)第8実施例(図26)
(9)他の実施例(図27)
発明の効果
【0002】
【発明の属する技術分野】
本発明は立体視化装置及びその方法に関し、特に入力テレビジヨン信号に基づくステレオ画像を表示する立体視化装置に適用して好適なものである。
【0003】
【従来の技術】
従来、テレビジヨン信号の立体視化を実現する装置として、例えばテレビジヨン学会誌 Vol.45,No.4,pp.446〜452 (1991)に記載されているように種々のものが提案されている。
【0004】
これらの立体視化装置の中で、両眼に対応した視差のある画像をテレビジヨンモニタにフイールド毎に交互に切り換えて表示し、この表示画像を、表示画像の切換えに同期して左目用シヤツタ及び右目用シヤツタが開閉する液晶シヤツタ眼鏡を通して視ることにより、ステレオ視を実現するものがある。
【0005】
【発明が解決しようとする課題】
ところが、両眼に対応した画像をテレビジヨンモニタに交互に表示することによりステレオ視を実現する方法においては、通常、予め左右の目に対応する2台のテレビジヨンカメラによつて撮影した画像を用意し、これらの画像を記録又は伝送する必要があるために、画像の時間分解能を落とさないようにすると2倍の情報量が必要であり、また情報量を増やさないようにすると時間分解能が落ちるためフリツカが生じ画質が劣化する欠点があつた。
【0006】
本発明は以上の点を考慮してなされたもので、記録情報量又は伝送情報量を増やさずに良好なステレオ画像を得ることができる立体視化装置及びその方法を提案しようとするものである。
【0007】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、入力テレビジヨン信号を、各注目点毎に当該注目点の周辺画素の分布パターンに基づいてクラス分類するクラス分類手段と、各クラスに対応して用意された予測係数のうち、クラス分類手段による分類結果に応じた予測係数を用いた予測演算処理を行うことにより左目用の画像信号及び右目用の画像信号を生成する予測処理手段とを設けるようにした。
【0008】
この結果、1つの入力テレビジヨン信号から左目用及び右目用の画像信号が生成されるようになり、表示する画像情報量も入力情報量のほぼ2倍となる。
【0009】
【発明の実施の形態】
以下図面について、本発明の一実施例を詳述する。
【0010】
(1)第1実施例
(1−1)全体構成
図1において、1は全体として立体視化装置を示し、1つの入力テレビジヨン信号からそれぞれ視差のある左目用の画像信号及び右目用の画像信号を形成し、これらをテレビジヨンモニタに交互に表示すると共に、この表示画像を液晶シヤツタ付き眼鏡を通して視るようにしたことにより、少ない入力情報から良好なステレオ画像を得ることができるようになされている。
【0011】
立体視化装置1は、受信した入力テレビジヨン信号S1をアナログデイジタル変換回路(A/D)2によつて例えば13.5〔MHz 〕のサンプリングクロツクでアナログ信号からデイジタル信号に変換し、これを直接ブロツク化回路4に供給すると共に遅延回路3を介してブロツク化回路4に供給する。なお上述したサンプリングクロツクでサンプリングした場合、画像のサイズはフレームあたり横 720画素×縦 480ライン程度となる。
【0012】
ブロツク化回路4は後段のクラス分類回路5によるクラス分類のための画素を集めるためのブロツク化処理を行う。実際上ブロツク化回路4は、注目点の時空間における周辺画素を集めるようなブロツク化処理を、画素クロツク単位で行う。この結果時空間でみた場合に、注目点を中心として例えばダイヤモンド形状の領域内に存在する時空間画素により1ブロツクが形成される。
【0013】
クラス分類回路5はブロツク内画素に対して例えばADRC(Adaptive Dynamic Range Coding )等の圧縮処理を施すことによりレベル分布パターンに基づくクラス分類を行う。そして当該分類結果をクラスの識別番号であるインデツクスデータ(クラスコード)CLASS1として出力する。なおこのインデツクスデータCLASS1は圧縮率に応じたpビツトのデータとして出力される。
【0014】
立体視化装置1は、クラス分類回路5によつて分類されたクラスに応じた予測演算処理を行うことにより左目用の画像信号を生成する左目用クラス分類適応処理部6と、分類されたクラスに応じた予測演算処理を行うことにより右目用の画像信号を生成する右目用クラス分類適応処理部7とを有する。立体視化装置1は、アナログデイジタル変換回路2の出力及び遅延回路3の出力を、遅延回路8によつて上述したクラス分類処理に要した時間分だけ遅延させた後、左目用クラス分類適応処理部6の予測ブロツク化回路9及び右目用クラス分類適応処理部7の予測ブロツク化回路10に供給する。
【0015】
予測ブロツク化回路9及び10は注目点の時空間周辺画素を集めることによりブロツクを形成し、当該ブロツク内画素データ(以下、これを予測画素データと呼ぶ)D1及びD2をそれぞれ予測処理回路11及び12に供給する。実際上、図2に示すように、予測ブロツク化回路9によるブロツク領域AR1は予測ブロツク化回路10によるブロツク領域AR2に対して数画素分だけ左側にずれたものとなるようになされている。なおこのずれ量は、生成しようとする左目用画像と右目用画像との間にどの程度の視差を設けるかに応じて設定するようにする。
【0016】
予測処理回路11及び12には、それぞれ予測画素データD1及びD2と共にクラス分類回路5からのインデツクスデータCLASS1が供給される。予測処理回路11及び12は後述する学習により予め獲得されたクラス毎の予測係数が記憶された係数ROM(Read Only Memory)を有し、インデツクスデータCLASS1によつて係数ROMをアドレツシングすることにより、インデツクスデータCLASS1で表わされるクラスに対応した予測係数を読み出す。そして予測処理回路11及び12は、それぞれ読み出された予測係数と予測画素データD1及びD2とを用いて予測演算処理を行うことにより、それぞれ左目用画像データD3A及び右目用画像データD4Aを生成する。
【0017】
ここで予測処理回路11及び12の出力(すなわち左目用画像データD3A及び右目用画像データD4A)は、それぞれ13.5〔MHz 〕の画素クロツク単位で出力され、それぞれの画面サイズはフレームあたり横 720画素×縦 480ライン程度となる。従つて、情報量としては入力テレビジヨン信号S1の2倍に増加されていることにより、時間分解能及び空間分解能の劣化は発生しない。
【0018】
この左目用画像データD3A及び右目用画像データD4Aはそれぞれフレームメモリ(FM)13及び14に蓄えられ、当該フレームメモリ13及び14から読み出されたデータがマルチプレクサ(MUX)15を介して表示画像データD5Aとしてデイジタルアナログ変換回路(D/A)16に供給される。フレームメモリ13、14からのデータの読出し及びマルチプレクサ15の出力切換はタンミングコントローラ17によつて制御される。このときフレームメモリ13、14の読出しは書込み時に対して倍速となるように行われ、マルチプレクサ15からは例えばフイールド単位に交互に左目用画像データD3A及び右目用画像データD4Aが切り換えられて表示画像データD5Aが出力される。従つてマルチプレクサ15から出力される表示画像データD5Aのフイールド周波数は入力テレビジヨン信号S1に対して2倍となる。
【0019】
表示画像データD5Aはデイジタルアナログ変換回路16によつてアナログ変換されることにより表示画像信号S2Aとされ、当該表示画像信号S2Aがテレビジヨンモニタ18に供給される。かくして、立体視化装置1においては、予め左目用の画像信号及び右目用の画像信号を入力させることなく、通常の放送用テレビジヨン信号と同等の入力テレビジヨン信号S1だけを使つて、テレビジヨンモニタ18上にそれぞれ視差のある左目用及び右目用の画像を表示することができる。
【0020】
タイミングコントローラ17は、上述したフレームメモリ13、14及びマルチプレクサの制御に同期したタイミングで液晶ドライバ19を制御する。液晶ドライバ19は液晶シヤツタ付き眼鏡20に例えば赤外線を送出することにより液晶シヤツタを駆動させる。これにより液晶シヤツタ付き眼鏡20はテレビジヨンモニタ18上に表示される左目用画像及び右目用画像の切換えに同期して、例えば左目用の画像が表示されている場合には左目の液晶シヤツタが開いている状態とされ、右目用の画像が表示されている場合には右目の液晶シヤツタが開いている状態とされる。ここでタイミングコントローラ17は同期抽出回路21によつて入力テレビジヨン信号S1から抽出された垂直同期信号V及び水平同期信号Hに基づいて上述したタイミング合せのための制御信号を生成する。
【0021】
かくして立体視化装置1においては、1つの入力テレビジヨン信号S1から時間分解能を落とすことなく左目用及び右目用の画像を生成し得ることにより、伝送又は記録する情報量を増やすことなく、良好なステレオ画像を得ることができる。
【0022】
(1−2)予測処理回路の構成
ここで予測処理回路11及び予測処理回路12は共に、図3に示すように構成されている。予測処理回路11と予測処理回路12は係数ROMに格納されている予測係数を除いて同様の構成であるため、以下予測処理回路11について説明する。
【0023】
予測処理回路11は大きく分けて、予め後述する学習により各クラスに対応した予測係数(係数組)が記憶された係数ROM30と、予測係数と予測画素データD1とを用いた線形一次結合式に基づく演算を行うことにより左目用画像データD3を生成する予測演算部31とにより構成されている。予測処理回路11はクラス分類回路5(図1)からのインデツクスデータCLASS1をインデツクスデコーダ32によつてデコードし、デコードしたデータを読出しアドレスとして係数ROM30をアドレツシングする。この結果係数ROM30からはインデツクスデータCLASS1に対応したクラスの予測係数w〜wが出力され、当該予測係数w〜wが予測演算部31のレジスタ33A〜33Aを介して乗算器34A〜34Aに与えられる。
【0024】
また乗算器34A〜34Aには、予測ブロツク化回路9から出力された予測画素データD1(x〜x)が与えられる。そして各乗算器34A〜34Aの出力が加算回路35によつて加算されることにより、左目用画素データD3A(=x+x+……+x)が得られる。
【0025】
(1−3)学習による予測係数の作成
左目用の予測処理回路11及び右目用の予測処理回路12の係数ROM30に記憶すべき予測係数は学習により求められる。この学習では、図4に示すように、それぞれ視差のある位置に設けた3台のテレビジヨンカメラ(左目用カメラCAM、右目用カメラCAM、中央カメラCAM)によつて同時に撮影した被写体映像を使用する。そして、中央カメラCAMで撮影した映像信号を使つて注目点毎のクラス分類を行い、各クラスについて左目用カメラCAM及び右目用カメラCAMで撮影した映像信号を教師データとして、中央カメラCAMの映像信号と左目用カメラCAM及び右目用カメラCAMの映像信号との相関関係を表わす予測係数を学習により求める。
【0026】
実際には、3台のカメラCAM、CAM、CAMによつて撮影した映像を使用し、図5に示すような構成の学習回路40によつて、左目用予測係数E3A及び右目用予測係数E4Aを求める。なお図5では、図1と対応する部分には図1と同一符号を付してある。学習回路40は中央カメラCAMから得られた中央映像信号SCに対して上述した立体視化装置1で行うのと同様のクラス分類処理を施すことによりインデツクスデータCLASS1′を形成し、これを係数算出回路41及び42に送出する。また係数算出回路41及び42には、それぞれブロツク化回路9及び10からブロツク化データE1及びE2が供給される。
【0027】
さらに係数算出回路41には左目用カメラCAMにより得られた左目用映像信号SLがアナログデイジタル変換回路43及び遅延回路44を介して供給され、係数算出回路42には右目用カメラCAMにより得られた右目用映像信号SRがアナログデイジタル変換回路45及び遅延回路46を介して供給される。
【0028】
係数算出回路41はインデツクスデータCLASS1′で表わされる各クラス毎に、左目用画像データDLを教師データとして、当該教師データを、中央映像信号SC(ブロツク化データE1)と複数の係数との線形一次結合式により表し、この係数を最小二乗法を用いた学習によつて求めることにより左目用予測係数E3Aを求める。同様に、係数算出回路42はインデツクスデータCLASS1′で表わされる各クラス毎に、右目用画像データDRを教師データとして、当該教師データを、中央映像信号SC(ブロツク化データE2)と複数の係数との線形一次結合式により表し、この係数を最小二乗法を用いた学習によつて求めることにより右目用予測係数E4Aを求める。そして求められた予測係数E3及びE4を一旦メモリ43に格納させ、各予測処理回路11及び12(図1)に設けられている係数ROM30(図3)に記憶させる。
【0029】
またタイミングコントローラ48は、同期抽出回路47によつて抽出された中心映像信号SCの垂直同期信号V及び水平同期信号Hに基づいて、例えばブロツク化回路4やブロツク化回路9、10のブロツク化のタイミングを合わせるための制御信号を生成する。
【0030】
次に係数算出回路41及び42の係数算出処理について説明する。ここで係数算出回路42は係数算出41と同様の構成でなることにより係数算出回路41について説明する。係数算出回路41は、先ずブロツク化データE1で表わされる複数の画素値(以下これを中央画素値と呼ぶ)x、x、……、xにそれぞれ未知の係数w、w、……、wを掛けることにより、左目用映像データDLで表わされる左目用画素値δyを複数の中央画素値x〜xと係数w〜wとの線形一次結合により表わす。
【0031】
具体的には、係数算出回路41は同じクラスの左目用画素値δy〜δyそれぞれについて、中央画素値x(M.N) (但し、M=1、2、……m、N=1、2、……、nとする)と係数w〜wとの線形一次結合式を立てて、この係数w〜wを最小二乗法により求める。
【0032】
これについて説明すると、先ず左目用画素値δy〜δyの行列式Yは、中央画素値x(M.N) の行列式Xと係数w〜wの行列式Wを用いて、次式
【数1】
Figure 0003580450
でなる観測方程式の形で表わすことができる。
【0033】
ここで(1)式の連立方程式を解くことにより係数w〜wを求めればよい。これを最小二乗法の演算により解く。すなわち先ず、(1)式を残差行列Eを用いて、次式
【数2】
Figure 0003580450
のように残差方程式の形に表現し直す。
【0034】
ここで(2)式から各係数w〜wの最確値を求めるためには、e +e +……+e を最小にする条件、すなわち次式
【数3】
Figure 0003580450
なるn個の条件を入れてこれを満足する各係数w〜wを見つければ良い。ここで(2)式より、次式
【数4】
Figure 0003580450
を得、(3)式の条件をi=1、2、……、nについて立てればそれぞれ、次式
【数5】
Figure 0003580450
が得られる。ここで(2)式及び(5)式から次式の正規方程式が得られる。
【数6】
Figure 0003580450
【0035】
ここで(6)式で表わされる正規方程式は未知数がn個だけある連立方程式であるから、これにより最確値である各係数w〜wを求めることができる。正確には(6)式でwにかかる(Σxjkjl)(但しj=1、……、m、k=1、……、n、l=1、……、n)のマトリクスが正則であれば解くことができる。実際には、Gauss−Jordanの消去法(掃き出し法)を用いて連立方程式を解く。
【0036】
実際上係数算出回路41は、図6に示すように構成すれば良い。すなわち係数算出回路41は中央画素値x〜x及び左目用画素値δyを正規方程式生成回路50に入力し、当該正規方程式生成回路50によつてクラス毎に(6)式で表わされるような正規方程式を生成し、続くCPU演算回路51によつて掃き出し法の演算によりクラス毎の係数組w〜wを求める。
【0037】
正規方程式生成回路50は先ず乗算器アレイ52によつて各画素同士の乗算を行う。乗算器アレイ52は、図7に示すように構成されており、四角で表わす各セル毎に画素同士の乗算を行い、これにより得た各乗算結果を続く加算器メモリ53に与える。
【0038】
加算器メモリ53は、図8に示すように、乗算器アレイ52と同様に配列された複数のセルでなる加算器アレイ54とメモリ(又はレジスタ)アレイ55A、55B、……とにより構成されている。メモリアレイ55A、55B、……はクラス数分だけ設けられており、インデツクスデータCLASS1′をデコードするインデツクスデコーダ56の出力(クラス)に応答して一つのメモリアレイ55A、55B、……が選択され、選択されたメモリアレイ55A、55B、……の格納値が加算器アレイ54に帰還される。このとき加算器アレイ54により得られる加算結果が再び対応するメモリアレイ55A、55B、……に格納される。
【0039】
このようにして乗算器アレイ52、加算器アレイ54及びメモリアレイ55によつて積和演算が行われ、インデツクスデータCLASS1′によつて決定されるクラス毎にメモリアレイ55A、55B、……のいずれかが選択されて、積和演算の結果によつてメモリアレイ55A、55B、……の内容が更新される。
【0040】
なお、各々のアレイの位置は(6)式で表わされる正規方程式のwにかかる(Σxjkjl)(但しj=1、……、m、k=1、……、n、l=1、……、n)の位置に対応する。(6)式の正規方程式を見れば明らかなように右上の項を反転すれば左下と同じものになるため、各アレイは三角形の形状をしている。
【0041】
このようにして、ある一定期間の間に積和演算が行われて各画素位置毎のさらに各クラス毎の正規方程式が生成される。クラス毎の正規方程式の各項の結果はそれぞれのクラスに対応するメモリアレイ55A、55B、……に記憶されており、次にそれらのクラス毎の正規方程式の各項が掃き出し法演算を実現するCPU演算回路51によつて計算される。この結果各クラスの係数組w〜wが求められ、当該係数組w〜wを図5に示すように予測係数E3Aとしてメモリ30の対応するクラスのアドレスに書き込む。
【0042】
(1−4)動作
以上の構成において、立体視化装置1は放送用信号等でなる通常のテレビジヨン信号S1を入力すると、当該入力テレビジヨン信号を注目点毎にクラス分類し、この分類結果に応じた左目用の予測係数E3Aと右目用の予測係数E4Aとを用いて予測演算を行うことにより、左目用画像データD3Aと右目用画像データD4Aを生成する。この結果、左右の目に対応した画像信号を入力しなくとも、すなわち伝送又は記録する情報量を増やさなくても、時間分解能を低下させることなく、それぞれの目に対応した画像データD3A及びD4Aを生成できる。
【0043】
そして立体視化装置1は、これらの画像データD3A及びD4Aをフイールド単位で切り換えながらテレビジヨンモニタ18に送出すると共に、この切換えに同期するように液晶シヤツタ付き眼鏡20のシヤツタを開閉させる。ここで各々の目に対する表示画像のフイールド周波数は入力したテレビジヨン信号S1のフイールド周波数と同様となるため、視聴者はフリツカのない良好な画像を視ることができる。
【0044】
(1−5)効果
以上の構成によれば、入力テレビジヨン信号S1を、各注目点毎に当該注目点の周辺画素のレベル分布パターンに応じてクラス分類し、各クラスに対応して用意された予測係数のうち、クラス分類結果CLASS1に応じた予測係数w〜wを用いた予測演算処理を行うことで左目用画像データD3A及び右目用画像データD4Aを生成するようにしたことにより、伝送又は記録情報量を増やすことなく、フリツカのない良好なステレオ画像を得ることができる立体視化装置1を実現できる。
【0045】
(2)第2実施例
図1との対応部分に同一符号を付して示す図9において、60は全体として第2実施例による立体視化装置を示す。立体視化装置60は、上述したようにクラス分類部5によつて注目点の時空間周辺画素のレベル分布パターンに基づいて各注目点をクラス分類することにより第1のインデツクスデータCLASS1を形成することに加えて、各注目点の画面上での水平方向の位置に基づいて各注目点をクラス分類することにより第2のインデツクスコードCLASS2を形成し、これら第1及び第2のインデツクスコードCLASS1及びCLASS2を合わせたのものをクラス分類結果とする。これにより立体視化装置60は、予測処理回路64及び65において一段と立体感のある表示画像を形成することができるようになされている。
【0046】
実際上、立体視化装置60においては、タイミングコントローラ61において、入力テレビジヨン信号S1から抽出された水平同期信号Hを基に各注目点の画面上での水平位置を検出する。そしてタイミングコントローラ61において、画面を2のq乗で分割した位置に対する指標をqビツトで表現したものを第2のインデツクスデータCLASS2として生成する。この第2のインデツクスデータCLASS2は左目用クラス分類適応処理部62の予測処理回路64及び右目用クラス分類適応処理部63の予測処理回路65に送出される。
【0047】
すなわち予測処理回路64及び65はクラス分類回路5からpビツトでなる第1のインデツクスデータCLASS1を入力すると共にqビツトでなる第2のインデツクスデータCLASS2を入力し、これらを組合わせたクラスに応じた予測係数を用いて予測演算処理を行うことにより左目用画像データD3B及び右目用画像データD4Bを生成する。このため予測処理回路64及び65の係数ROMには、2(p+q) クラス分の予測係数が記憶されている。
【0048】
ここで両眼で物体を目視する場合においては、その物体が水平方向のどの位置にあるかに応じて、両眼の視差は異なるものとなる。この実施例ではこれを考慮して、画面の水平方向を複数の領域に分割し、その領域毎に視差の異なる予測係数を予め用意し、当該予測係数を使つて左目用画像データD3Bと右目用画像データD4Bとを生成するようにした。この結果水平方向で変化する視差をも反映したステレオ画像を得ることができることにより、一段と立体感のあるステレオ画像を得ることができる。
【0049】
ここで、予測処理回路64及び65の係数ROMに記憶される2(p+q) クラス分の予測係数を作成するための学習回路は、例えば図10に示すように構成すれば良い。図5との対応部分に同一符号を付して示す図10において、学習回路70はタイミングコントローラ71によつて現在処理しようとしている注目点の画面上の水平位置をqビツトで表現し、これを第2のインデツクスデータCLASS2′として係数算出回路72、73に送出する。従つて係数算出回路72、73にはクラスコードとして、クラス分類回路5からの第1のインデツクスデータCLASS1′(pビツト)及びタイミングコントローラ71からの第2のインデツクスデータCLASS2′(qビツト)が供給される。
【0050】
係数算出回路72及び73は、2(p+q) 個のクラスそれぞれについて、第1実施例で上述したような最小二乗法を用いた学習を行うことにより、2(p+q) 種類の予測係数を算出する。具体的には、係数算出回路72及び73は、インデツクスデコーダ56(図6)に第1及び第2のインデツクスデータCLASS1′及びCLASS2′を入力し、加算器メモリ53のメモリアレイ55A、55B……(図8)に2(p+q) クラスの正規方程式の各項の結果を記憶し、これらを続くCPU演算回路51によつて掃き出し法による演算により求めることにより、2(p+q) クラス分の左目用予測係数E3B及び右目用予測係数E4Bを得る。
【0051】
かくしてこの実施例による学習では、単に注目点周辺のレベル分布パターンが同じであるからといつてそれらを全てまとめて学習するのではなく(このようにすると水平方向で異なるはずの視差が平均化されて相殺されてしまう)、レベル分布パターンが同じであつてもその画素の水平位置でさらにクラス分けし、この結果得られた各クラス毎に予測係数を求めたことにより、物体の水平位置が異なる場合の視差を反映した予測係数E3B及びE4Bを求めることができる。
【0052】
ここで立体視化装置60及び学習回路70のタイミングコントローラ61及び71は、例えば図11(A)に示すような簡易な構成で実現できる。すなわちタイミングコントローラ61、71は同期抽出回路21、47により抽出された画素クロツク信号SCLK をカウンタ74のクロツク端子に入力する。また画素クロツクSCLK をDフリツプフロツプ75のクロツク端子に入力すると共に水平同期信号SHSYNC をDフリツプフロツプ75のD入力端子に入力する。そしてDフリツプフロツプ75の反転出力及び水平同期信号SHSYNC を論理積否定回路NANDに入力させる。これによりDフリツプフロツプ75及び論理積否定回路NANDによつて水平同期信号SHSYNC の立上りが微分される。そしてこの立上り微分信号をカウンタ74のクリア端子に反転させて入力させる。
【0053】
この結果カウンタ74では、注目点の水平方向の位置が画面の左隅をカウント開始点として順次画素クロツクごとにカウントされる。この実施例の場合には、水平方向の画素数が 720画素であるため、注目点の水平位置に応じて 0〜 720のカウント値が得られる。そしてカウンタ74により得られたカウント値が続くエンコーダ76によつてエンコードされることにより、第2のインデツクスデータCLASS2(CLASS2′)が形成される。なおエンコーダ76はROM(Read Only Memory)等により簡易に構成できる。
【0054】
ここで例えば第2のインデツクスデータCLASS2(CLASS2′)を3ビツトとする場合には、図11(B)に示すように画面を水平方向に8分割することになり、カウント値に基づいて各注目点を領域「0」〜「7」のいずれかに振り分けることになる。すなわちカウント値が「0」〜「720/8 」までの注目点は領域「0」に割り当てられ、カウント値が「720/8 」〜「2 ×720/8 」までの注目点は領域「1」に割り当てられる。この割り当てられた領域が第2のインデツクスデータCLASS2(CLASS2′)によつて示される。なお、図11(B)では、画面の水平方向をほぼ等間隔で分割しているが、例えば画面の中央の領域ほど領域を広く設定するようにしても良い。このような設定は、エンコーダ(ROM)76の内容を変更すれば容易に実現できる。
【0055】
以上の構成によれば、各注目点が画面上のどの水平位置にあるかをクラス分類に反映したことにより、第1実施例の効果に加えて、一段と立体感のあるステレオ画像を得ることができる。
【0056】
(3)第3実施例
図1との対応部分に同一符号を付して示す図12において、80は全体として第3実施例の立体視化装置を示す。立体視化装置80は入力テレビジヨン信号S1をそのまま右目用画像表示のための信号として使用する。従つて右目用クラス分類適応処理部7(図1)が省略されている。これによりこの実施例の立体視化装置80においては、第1実施例や第2実施例の立体視化装置1、60に比べて構成を簡略化できる。
【0057】
実際上、立体視化装置80はクラス分類回路5からのインデツクスデータCLASS1を左目用クラス分類適応処理部6の予測処理回路81に送出し、当該予測処理回路81によつて上述したのと同様の予測演算処理を行うことにより左目用画像データD3Cを形成し、これをフレームメモリ13に供給する。また立体視化装置80は遅延回路8から出力された単にデイジタル変換しただけの画像データを、遅延回路82によつて左目用クラス分類適応処理部6での処理時間だけ遅延させた後フレームメモリ14に供給する。そしてフレームメモリ14に格納した画像データD4Cを右目用画像データとして使用する。
【0058】
フレームメモリ13及び14に格納された左目用及び右目用画像データD3C、D4Cは、上述したようにタイミングコントローラ17によつて読出し制御される。最終的には、テレビジヨンモニタ18に入力テレビジヨン信号S1に対して2倍のフイールド周波数でなる左目用画像信号及び右目用画像信号がフイールドおきに交互に供給される。
【0059】
実際上この実施例では、予測処理回路81に設けられている予測係数を上述した第1及び第2実施例とは若干異なるものとしていることで、一方の目用のクラス分類適応処理部を省略し、入力テレビジヨン信号S1を一方の目用の信号として用いることができるのである。以下、この実施例の予測係数の学習による求め方について説明する。
【0060】
この学習では、図13に示すように、それぞれ両眼の視差に対応する位置に設けられた左目用カメラCAM及び右目用カメラCAMの2台のテレビジヨンカメラによつて同時に撮影した被写体映像を使用する(すなわち中央カメラを用いない点が第1実施例と異なる)。そして右目用カメラCAMで撮影した映像信号を使つて注目点毎のクラス分類を行い、各クラスについて左目用カメラCAMで撮影した映像信号を教師データとして、右目用カメラCAMの映像信号と左目用カメラCAMの映像信号の相関関係を表わす予測係数を学習により求める。
【0061】
実際には、2台のカメラによつて撮影した映像映像信号SL、SRを、図14に示すような学習回路90に入力することにより予測係数を算出する。すなわち図5との対応部分に同一符号を付して示す図14において、学習回路90は右目用カメラCAMから得られた右目用映像信号SRを用いてクラス分類回路5によつてクラス分類処理を施すことによりインデツクスデータCLASS1′を形成し、これを係数算出回路41に送出する。また係数算出回路41には、ブロツク化回路9からブロツク化データE1が供給される。
【0062】
さらに係数算出回路41には左目用カメラCAMにより得られた左目用映像信号SLがアナログデイジタル変換回路43及び遅延回路44を介して供給される。そして係数算出回路41は、第1実施例で説明したように、最小二乗法を用いた学習によつて、各クラス毎に左目用の予測係数E3Cを求めていく。この結果得られたクラス毎の予測係数E3Cがメモリ43に格納され、最終的には予測処理回路81(図12)の係数ROMに記憶される。
【0063】
かくして、第3実施例の立体視化装置80によれば、入力テレビジヨン信号S1をそのまま一方の目に対応する画像として表示するようにしたことにより、一方の目に対応する画像を生成するためのクラス分類適応適応処理部を省略し得、この結果上述した第1実施例の効果に加えて、構成を簡略化するという効果を得ることができる。
【0064】
(4)第4実施例
図9及び図12との対応部分に同一符号を付して示す図15は、第4実施例の立体視化装置を示す。この実施例の立体視化装置100は、第3実施例で上述したように片目用の画像のみをクラス分類適応処理部6によつて生成し、もう片目用の画像は入力テレビジヨン信号S1のそのまま用いると共に、第2実施例で上述したように各注目点が画面上のどの水平位置にあるかを示す第2のインデツクスデータCLASS2を第1のインデツクスデータCLASS1に加えてクラス分類の指標として用いるようになされている。すなわち立体視化装置100は、第2実施例の長所と第3実施例の長所を兼ね備えた構成を有する。
【0065】
図10及び図14との対応部分に同一符号を付して示す図16は、この実施例の予測係数を作成するための学習回路を示す。学習回路110は、クラス分類回路5において、右目用カメラCAMで撮影した映像信号SRを使つて注目点周辺のレベル分布パターンに応じた第1のインデツクスデータCLASS1′を形成すると共に、タイミングコントローラ71において、注目点の画面上の水平位置を表わす第2のインデツクスデータCLASS2′を形成し、これらを係数算出回路72に送出する。係数算出回路71は各クラス(2(p+q) クラス)について、左目用カメラCAMで撮影した映像信号SL(DL)を教師として、右目用カメラCAMの映像信号SR(E1)と左目用カメラCAMの映像信号SL(DL)の相関関係を表わす予測係数E3Dを学習により求める。
【0066】
かくして、第4実施例の立体視化装置110によれば、入力テレビジヨン信号S1をそのまま一方の目に対応する画像として表示するようにしたことにより一方の目に対応する画像を生成するためのクラス分類適応適応処理部を省略し得る分構成を簡略化し得ると共に、各注目点が画面上のどの水平位置にあるかをクラス分類に反映したことにより立体感の高いステレオ画像を形成し得る。
【0067】
(5)第5実施例
図9との対応部分に同一符号を付して示す図17において、この実施例の立体視化装置120は、左目用クラス分類適応処理部121及び右目用クラス分類適応処理部122において係数ROM123を共有することを除いて第2実施例の立体視化装置60と同様の構成を有する。
【0068】
すなわち立体視化装置120では、左目用の予測処理回路と右目用の予測処理回路とにそれぞれ独立に係数ROMを設けるのではなく、1つの係数ROM123を右目用と左目用とで共有して用いることにより、使用する係数ROM123の容量を削減するようになされている。次にこれを実現するための原理構成について説明する。なお、以下の説明では、説明を簡単化するためにレベル分布パターンによるクラス(CLASS1)は除外して考える。
【0069】
図18に示すように、タイミングコントローラ61により分類されたクラスのうち、画面上の水平方向の中心位置(図11(B)参照)を境として片側のみのクラスに対応した左目用及び右目用の予測係数を係数ROM123に記憶させておく。そしてタイミングコントローラ61によつて分類されたクラス(すなわちインデツクスデータCLASS2)に対応する予測係数が係数ROM123に存在するときにはそれぞれの目用の予測係数を係数ROM123から読み出して各予測演算回路31A、31Bに供給し、分類されたクラスに対応する予測係数が係数ROM123に存在しないときには当該クラスに対応した他方の目用の予測係数を各予測演算回路31A、31Bに供給する。これにより予測演算回路31A及び31Bに対応する予測係数ROMを独立に2つ設ける場合と比較して、メモリ容量を半分にすることができる。
【0070】
すなわち図11(B)のように画面を水平方向に例えば8個の領域に分割するクラス分けを行つた場合、例えば注目点が領域「7」にある場合を考えると、この水平位置での左目用の予測係数としては右目用の領域「0」に対応する予測係数を用いることができる。同様に注目点が領域「7」にある場合の、右目用の予測係数としては左目用の領域「0」に対応する予測係数を用いることができる。
【0071】
また例えば注目点が領域「6」にある場合には、左目用の予測係数としては右目用の領域「1」に対応する予測係数を用いることができ、右目用の予測係数としては左目用の領域「1」の予測係数を用いることができる。従つて、用意すべき予測係数は左目用及び右目用共に、4つのクラスのものでだけで良く、図からも明らかなように記憶すべき予測係数の量を半分にすることができる。
【0072】
かくして、この実施例の立体視化装置120によれば、予測係数を共有化するようしたことにより、左目用及び右目用の予測係数を独立に設ける場合と比較してメモリ容量を半減させることができ、この分構成を簡略化し得る。
【0073】
(6)第6実施例
図19に第6実施例による立体視化装置の構成を示す。図9との対応部分に同一符号を付して示す図19において、この実施例の立体視化装置130はクラス分類部131がエツジ検出部132及びレベルパターン分類部133により構成されている。エツジ検出部132は注目点の時空間周辺の画素がエツジかそうでないかを1ビツトで表現し、この検出結果を第3のインデツクスデータCLASS3として予測処理回路136及び137に送出する。なおレベルパターン分類部133は、上述した第1〜第5実施例のクラス分類部5と同様に、注目点の時空間周辺画素のレベルパターンに基づく第1のインデツクスコードCLASS1を形成し、これを予測処理回路136及び137に送出する。
【0074】
これにより立体視化装置130においては、入力テレビジヨン信号S1の特性を一段と反映したクラス分けができることにより、最終的な表示画像を一段と実際の物を両目でみた場合の画像に近づけることができる。なお予測処理回路136及び137の係数ROMには2(p+q+1) クラス分の予測係数が記憶されている。
【0075】
その予測係数を作成するための学習回路は、図20に示すように構成すれば良い。図10及び図19との対応部分に同一符号を付して示す図20において、学習回路140は係数算出回路141、142にレベルパターン分類部133からの第1のインデツクスデータCLASS1′、タイミングコントローラ71からの第2のインデツクスデータCLASS2′及びエツジ検出部132からの第3のインデツクスデータCLASS3′を供給する。
【0076】
係数算出回路141、142は、第1〜第3のインデツクスデータCLASS1′〜CLASS3′で表わされる2(p+q+1) 個のクラスそれぞれについて、第1実施例で上述したような最小二乗法を用いた学習を行うことにより、2(p+q+1) 種類の予測係数を算出する。具体的には、係数算出回路141及び142は、インデツクスデコーダ56(図6)に第1〜第3のインデツクスデータCLASS1′〜CLASS3′を入力し、加算器メモリ53のメモリアレイ55A、55B……(図8)に2(p+q+1) 個のクラス毎の正規方程式の各項の結果を記憶し、これらを続くCPU演算回路51によつて掃き出し法による演算により求めることにより、2(p+q+1) クラス分の左目用及び右目用の予測係数E3F及びE4Fを得る。
【0077】
かくしてこの実施例による学習では、注目点の周辺画素のレベル分布パターン及び注目点の水平位置に加えて、注目点周辺にエツジが存在するか否かをも考慮したクラス分けを行い、そのクラス毎に予測係数を求めるようにしたことにより、一段と画像の特徴の似通つたもの同志の学習データを用いて予測係数E3F及びE4Fを求めることができる。従つて、立体視化装置130では、この予測係数E3F及びE4Fを用いて左目用及び右目用の画像を生成できるため、一段と実物に近いステレオ画像を生成することができるようになる。
【0078】
ここで立体視化装置130及び学習回路140に用いるエツジ検出部132は、例えば図21又は図22で示すように構成すれば良い。図21に示すエツジ検出部132Aは、ブロツク内ダイナミツクレンジの大小によつてインデツクスデータCLASS3(CLASS3′)を形成する。すなわちエツジ検出部132Aは、ブロツク化回路4(図19、図20)から出力されたブロツク内画素データにおける画素レベルの最大値及び最小値を最大値検出回路150及び最小値検出回路151によつてそれぞれ検出し、続く差分回路152によつてそれらの差分値を算出することによりブロツク内ダイナミツクレンジを算出する。そして比較回路153によつてダイナミツクレンジと所定の閾値THとを比較し、ダイナミツクレンジが閾値よりも大きい場合にはエツジあることを示すインデツクスデータCLASS3(CLASS3′)を出力すると共に、ダイナミツクレンジが閾値TH以下の場合にはエツジがないことを示すインデツクスデータCLASS3(CLASS3′)を出力する。
【0079】
図22に示すエツジ検出部132Bはラプラシアンフイルタの結果を閾値判定することによつてインデツクスデータCLASS3(CLASS3′)を発生する。すなわちエツジ検出部132B(図22(A))は、ブロツク化回路4(図19、図20)の出力に対してラプラシアンフイルタ154によつてフイルタ処理を施し(このフイルタ係数としては、例えば図22(B)に示すようになものを用いればよい)、その出力を絶対値化回路155を介して比較回路156に送出する。比較回路156は絶対値化回路155の出力と閾値THとを比較し、絶対値が閾値THよりも大きい場合にはエツジがあることを示すインデツクスデータCLASS3(CLASS3′)を出力すると共に、絶対値が閾値TH以下の場合にはエツジがないことを示すインデツクスデータCLASS3(CLASS3′)を出力する。
【0080】
以上のようにこの実施例の立体視化装置130によれば、注目点周辺にエツジがあるか否かによるクラス分けも行うようにしたことにより、一段と良好なステレオ画像を得ることができる。
【0081】
(7)第7実施例
図23に第7実施例の立体視化装置の構成を示す。図19との対応部分に同一符号を付して示す図23において、この実施例の立体視化装置160におけるクラス分類部161はレベルパターン分類部133、エツジ検出部132に加えて動き検出部162を有する。これによりクラス分類部161は、レベルパターン分類部133において注目点の時空間周辺画素のレベル分布パターンに基づくクラス分類、エツジ検出部132において注目点周辺のエツジの有無に基づくクラス分類に加えて、注目点の周辺画素の動きに基づくクラス分類を行い、当該動きに基づく分類結果を第4のインデツクスデータCLASS4として予測処理回路165、166に送出する。
【0082】
この結果立体視化装置160においては、さらに一段と画像の特徴の似通つたもの同志でクラスを形成し得ることにより、最終的な表示ステレオ画像をさらに一段と実物に近づけることができる。ここで第4のインデツクスデータCLASS4をrビツトとすると、立体視化装置160は、2(p+q+1+r) 個のクラスを用いた予測処理によつて左目用及び右目用の画像データD3G及びD4Gを求めることになる。そのため予測処理回路163及び164の係数ROMには2(p+q+1+r) クラス分の予測係数が記憶されている。
【0083】
その予測係数を作成するための学習回路は、図24に示すように構成すれば良い。図20及び図23との対応部分に同一符号を付して示す図24において、学習回路170は係数算出回路171、172にレベルパターン分類部133からの第1のインデツクスデータCLASS1′、タイミングコントローラ71からの第2のインデツクスデータCLASS2′、エツジ検出部132からの第3のインデツクスデータCLASS3′及び動き検出部162からの第4のインデツクスデータCLASS4′を供給する。
【0084】
係数算出回路171、172は、第1〜第4のインデツクスデータCLASS1′〜CLASS4′で表わされる2(p+q+1+r) 個のクラスそれぞれについて、第1実施例で上述したような最小二乗法を用いた学習を行うことにより、2(p+q+1+r) 種類の予測係数を算出する。具体的には、係数算出回路171及び172は、インデツクスデコーダ56(図6)に第1〜第4のインデツクスデータCLASS1′〜CLASS4′を入力し、加算器メモリ53のメモリアレイ55A、55B……(図8)に2(p+q+1+r) 個のクラス毎の正規方程式の各項の結果を記憶し、これらを続くCPU演算回路51によつて掃き出し法による演算により求めることにより、2(p+q+1+r) クラス分の予測係数E3G、E4Gを得る。
【0085】
かくしてこの実施例による学習では、注目点周辺のレベル分布パターン、注目点の水平位置及び注目点周辺のエツジの有無に加えて、注目点周辺の動きをも考慮したクラス分けを行い、そのクラス毎に予測係数を求めるようにしたことにより、第6実施例よりもさらに一段と画像の特徴の似通つたもの同志の学習データを用いて左目用及び右目用の予測係数E3G及びE4Gを求めることができる。従つて、立体視化装置160では、この予測係数E3G、E4Gを用いて左目用及び右目用画像を生成できるため、一段と立体感のある近いステレオ表示画像を生成することができるようになる。
【0086】
ここで立体視化装置160及び学習回路170に用いる動き検出部162は、例えば図25に示すように構成すれば良い。動き検出部162は、ブロツク化回路4(図23、図24)の出力の現フレームデータと過去フレームデータを差分回路180を介して絶対値和回路181に供給することにより、現フレームと過去フレームの差分の絶対値和Mを計算し、当該絶対値和MをROM182に送出する。ROM182には、図25(B)に示すような内容のROMテーブルが設けられており、入力された絶対値和Mの値を複数の閾値Th1 〜Th7 と比較し、絶対値和Mの値に応じたrビツト(図25(B)ではr=3の場合を示す)の第4のインデツクスデータCLASS4(CLASS4′)を出力する。なお図25(B)では、上から下の順に順次動きが大きくなる場合を表わす。すなわち0 ≦M <Th1 の場合は動きが無いか又は非常に小さい場合あり、Th7 ≦Mの場合は動きが表示に大きい場合である。
【0087】
以上のようにこの実施例の立体視化装置160によれば、注目点周辺の動きに応じたクラス分けも行うようにしたことにより、一段と良好なステレオ画像を得ることができる。
【0088】
(8)第8実施例
図26に第8実施例の立体視化装置を示す。図9との対応部分に同一符号を付して示す図26において、この実施例の立体視化装置180は、シーンチエンジがない場合に、予測処理回路64及び65によつて生成された左目用画像データD3B及び右目用画像データD4Bのどちらか一方を複数フレーム分だけ遅延させて、フレーム13又は14に供給するようになされている。
【0089】
すなわち立体視化装置180においては、シーンチエンジがない場合には、左右の目の画像のどちらか一方の画像を遅延させることにより、特に動きのある画像を一段と立体感のあるとして表示し得るようになされている。これに対して、シーンチエンジがある場合には、一方の画像を遅延させてしまうと左右の目には全く異なるシーンの画像が表示されてしまうので、このような場合には遅延させずにそのまま表示するようになされている。
【0090】
実際上立体視化装置180においては、右目用の予測処理回路65から出力された右目用画像データD4Bを複数フレーム分の遅延時間を有する遅延回路181を介して選択回路182に供給すると共に、直接選択回路182に供給する。またアナログデイジタル変換回路2の出力をシーンチエンジ検出回路183に与える。シーンチエンジ検出回路183は、例えばフレーム差分の絶対値の総和等に基づいてシーンチエンジの有無を検出し、当該検出結果を選択回路182に送出する。選択回路182はシーンチエンジがないことを表わす検出結果信号が与えられた場合には遅延回路181の出力をフレームメモリ14に供給し、シーンチエンジがあることを表わす検出結果信号が与えられた場合には予測処理回路65から直接供給された出力をフレームメモリ14に供給する。
【0091】
かくしてこの実施例の立体視化装置180によれば、動きのある画像をより立体感のあるとして表示し得ると共に、シーンチエンジの際に不自然な画像が表示されることを未然に回避できる。
【0092】
(9)他の実施例
なお上述の実施例においては、液晶シヤツタ付き眼鏡20を設け、テレビジヨンモニタ18に表示した左目用画像及び右目用画像を液晶シヤツタ付き眼鏡20を通して目視するようにした場合について述べたが、本発明はこれに限らず、例えばテレビジヨンモニタ18にレンチキユラレンズを設け、予測処理手段によつて生成した左目用画像及び右目用画像をテレビジヨンモニタにストライプ状に交互に表示するようにした場合でも上述の実施例と同様の効果を得ることができる。
【0093】
また上述の実施例においては、注目点の時空間周辺画素のレベル分布パターンに応じてクラス分類するレベルパターンクラス分類手段としてADRCによる圧縮手法を用いた場合について述べたが、本発明はこれに限らず、例えば離散コサイン変換(DCT)、差分量子化(DPCM)やBTC(Block Truncation Coding )等の種々の圧縮手法を用いることができる。
【0094】
また上述の第7実施例においては、注目点の時空間周辺画素の動きに基づいて各注目点をクラス分類する動きクラス分類手段として、注目点を含むブロツクのフレーム差分の絶対値和を所定の閾値と比較することより動きの度合を検出し、当該検出結果をrビツトのインデツクスデータCLASS4(CLASS4′)として出力する動き検出部162を用いた場合について述べたが、本発明はこれに限らず、例えば画素単位のブロツクマツチングを行うことにより動きベクトルを求め、当該動きベクトルに基づいてインデツクスデータCLASS4(CLASS4′)を形成するようにしても良く、または動きの方向のみを検出し、当該動き方向に基づいてインデツクスデータCLASS4(CLASS4′)を形成するようにしても良い。
【0095】
また上述の第1実施例ではレベル分布パターンに応じたクラス分類を行い、第2実施例ではレベル分布パターン及び水平方向位置を組合わせたクラス分類を行い、第6実施例ではレベル分布パターン、水平方向位置及びエツジの有無を組合わせたクラス分類を行い、第6実施例ではレベル分布パターン、水平方向位置、エツジの有無及び動きを組合わせたクラス分類を行うようにした場合について述べたが、本発明はこれに限らず、例えばレベル分布パターン及び動きを組合わせたクラス分類を行うようにしても良く、種々の組合せを選択することができる。
【0096】
また上述の第5実施例においては、係数ROM123を左目用の予測演算回路31A及び右目用の予測演算回路31Bで共有化することにより、予測係数を記憶するためのメモリ容量を半減させた場合について述べたが、本発明はこれに限らず、タイミングコントローラ61によつて分類されたクラスのうち、画面上の水平方向の中心位置(図11(B)参照)を境として片側のみのクラスに対応した左目用及び右目用の予測係数をそれぞれの係数ROMに記憶させておき、タイミングコントローラ61によつて分類されたクラス(すなわちインデツクスデータCLASS2)に対応する予測係数が係数ROMに存在するときにはそれぞれの目用の予測係数を係数ROMから読み出して各予測演算回路に供給し、分類されたクラスに対応する予測係数が係数ROMに存在しないときには画面上の水平方向の中心位置からみて当該クラスによつて表わされる水平位置と対称な位置のクラスの予測係数の順序を反転したものを各予測演算回路に供給するようにしても係数ROMに記憶すべき予測係数の量を半減させてメモリ容量を低減することができる。
【0097】
要するに、各予測処理回路64、65(図9)において、画面の水平方向中心を境として右側領域と左側領域とで予測係数を共有することにより、各係数ROMに記憶すべき予測係数の量を半減させる方法である。すなわち係数ROMから予測演算部31の乗算回路34A〜34Aに供給する予測係数w〜wの順序を水平領域の中心を境として左側領域と右側領域とで反転させれば、各係数ROMに領域「0」〜領域「3」までの予測係数のみを記憶すれば全領域「0」〜「7」に対応した予測演算ができるようになる(図11(B)参照)。
【0098】
図27に示すように、例えば注目点が領域「7」にある場合を考えると、この水平位置での予測係数としては領域「0」で用いた予測係数w〜wを、その順序を反転させて各乗算器34A〜34Aに供給すれば領域「7」に対応した左目用画像データ又は右目用画像データを生成することができる。かくして、各係数ROMに領域「4」〜領域「7」までの予測係数を記憶する必要がなくなることにより係数ROMの容量を有効に削減し得る。
【0099】
また上述の実施例においては、予測係数を記憶させる記憶手段として、ROMを用いた場合について述べたが、RAM(Random Access Memory)やSRAMを用いるようにしても良い。
【0100】
さらに上述の実施例においては、本発明による立体視化装置及び方法を全てハードウエアによつて実現する場合について述べたが、本発明はこれに限らず、デイジタル化されたデータを計算機に取り込むことによりソフトウエアによつて実現するようにしても良い。
【0101】
【発明の効果】
上述のように本発明によれば、入力テレビジヨン信号を、各注目点毎に当該注目点の周辺画素の状態に応じてクラス分類するクラス分類手段と、各クラスに対応して用意された予測係数のうち、クラス分類手段による分類結果に応じた予測係数を用いた予測演算処理を行うことにより、左目用の画像信号及び右目用の画像信号を生成する予測処理手段とを設けるようにしたことにより、左右の目に対応したテレビジヨン信号を入力させずとも左右の目に対応した画像信号を生成でき、かくして記録情報量又は伝送情報量を増やさずに良好なステレオ画像を得ることができる。
【図面の簡単な説明】
【図1】第1実施例の立体視化装置の構成を示すブロツク図である。
【図2】予測ブロツク化回路により形成される予測ブロツクの説明に供する略線図である。
【図3】予測処理回路の構成を示すブロツク図である。
【図4】学習に用いる映像の説明に供する略線図である。
【図5】第1実施例の学習回路の構成を示すブロツク図である。
【図6】係数算出回路の構成を示すブロツク図である。
【図7】乗算器アレイの構成を示す略線図である。
【図8】加算器メモリの構成を示す略線図である。
【図9】第2実施例の立体視化装置の構成を示すブロツク図である。
【図10】第2実施例の学習回路の構成を示すブロツク図である。
【図11】注目画素の水平方向位置を検出する構成の説明に供する略線図である。
【図12】第3実施例の立体視化装置の構成を示すブロツク図である。
【図13】第3実施例の学習に用いる映像の説明に供する略線図である。
【図14】第3実施例の学習回路の構成を示すブロツク図である。
【図15】第4実施例の立体視化装置の構成を示すブロツク図である。
【図16】第4実施例の学習回路の構成を示すブロツク図である。
【図17】第5実施例の立体視化装置の構成を示すブロツク図である。
【図18】第5実施例において係数ROMから予測演算回路に供給する予測係数の説明に供する略線図である。
【図19】第6実施例の立体視化装置の構成を示すブロツク図である。
【図20】第6実施例の学習回路の構成を示すブロツク図である。
【図21】ダイナミツクレンジによりエツジ検出を行う場合のエツジ検出部の構成を示すブロツク図である。
【図22】ラプラシアンフイルタによるエツジ検出を行う場合のエツジ検出部の構成を示すブロツク図である。
【図23】第7実施例の立体視化装置の構成を示すブロツク図である。
【図24】第7実施例の学習回路の構成を示すブロツク図である。
【図25】動き検出回路の構成例を示す略線図である。
【図26】第8実施例の立体視化装置の構成を示すブロツク図である。
【図27】第5実施例に対する変形例の説明に供する略線図である。
【符号の説明】
1、60、80、100、120、130、160、180……立体視化装置、5、131、161……クラス分類回路、6、62、121、134、163……左目用クラス分類適応処理部、7、63、122、135、164……右目用クラス分類適応処理部、11、12、64、65、81、101、136、137、165、166……予測処理回路、13、14……フレームメモリ、15……マルチプレクサ、17、48、61、71……タイミングコントローラ、18……テレビジヨンモニタ、20……液晶シヤツタ付き眼鏡、30、123……係数ROM、31、31A、31B……予測演算部、34A〜34A……乗算器、40、70、90、110、140、170……学習回路、41、42、72、73、141、142、171、172……予測係数算出回路、132……エツジ検出部、133……レベルパターン分類部、162……動き検出部、181……遅延回路、182……選択回路、183……シーンチエンジ検出信号生成回路、S1……入力テレビジヨン信号、S2A〜S2H……表示画像信号、D1、D2……予測画素データ、CLASS1、CLASS1′、CLASS2、CLASS2′、CLASS3、CLASS3′、CLASS4、CLASS4′……インデツクスデータ、D3A〜D3G……左目用画像データ、D4A〜D4G……右目用画像データ、D5A〜、D5H……表示画像データ、w〜w……予測係数、SC……中央映像信号、SL……左目用映像信号、SR……右目用映像信号、E3A、E3B、E3C、E3D、E3F、E3G……左目用予測係数、E4A、E4B、E4F、E4G……右目用予測係数。

Claims (34)

  1. 入力テレビジヨン信号に基づく立体画像を表示させる立体視化装置において、
    上記入力テレビジヨン信号を、各注目点毎に当該注目点の周辺画素の分布状態に基づいてクラス分類するクラス分類手段と、
    各クラスに対応して用意された予測係数のうち、上記クラス分類手段による分類結果に応じた予測係数を用いた予測演算処理を行うことにより、左目用の画像信号及び右目用の画像信号を生成する予測処理手段と、
    上記左目用画像信号及び右目用画像信号を所定周期で交互に切り換えて出力する出力手段と、
    出力された左目用画像信号及び右目用画像信号を表示する表示手段と
    を具えることを特徴とする立体視化装置。
  2. 上記出力手段の出力周期に同期して左目用シヤツタ及び右目用シヤツタが開閉される液晶シヤツタ付き眼鏡を具える
    ことを特徴とする請求項1に記載の立体視化装置。
  3. 上記予測処理手段は、
    予め学習により求められた各クラスに対応した左目用の予測係数が記憶された左目用予測係数記憶手段と、
    予め学習により求められた各クラスに対応した右目用の予測係数が記憶された右目用予測係数記憶手段と、
    上記クラス分類手段による分類結果に応じて上記左目用予測係数記憶手段から出力された予測係数と上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより上記左目用画像信号を生成する左目用予測演算手段と、上記クラス分類手段による分類結果に応じて上記右目用予測係数記憶手段から出力された予測係数と上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより上記右目用画像信号を生成する右目用予測演算手段と
    を具えることを特徴とする請求項1に記載の立体視化装置。
  4. 上記予測係数は、
    互いに視差のある位置に設けられた中央のテレビジヨンカメラ、左目用のテレビジヨンカメラ及び右目用のテレビジヨンカメラによつて得た撮影テレビジヨン信号のうち、中央の撮影テレビジヨン信号を上記クラス分類手段と同様の手法によりクラス分類し、
    分類された各クラス毎に、上記左目用の撮影テレビジヨン信号及び上記右目用の撮影テレビジヨン信号を教師データとして、当該教師データを、上記中央の撮影テレビジヨン信号と複数の係数との線形一次結合式により表し、
    上記係数を最小二乗法を用いた学習によつて求めたものである
    ことを特徴とする請求項1に記載の立体視化装置。
  5. 上記クラス分類手段は、上記注目点の時空間における周辺画素のレベル分布パターンに基づいてクラス分類するレベルパターンクラス分類手段を具える
    ことを特徴とする請求項1に記載の立体視化装置。
  6. 上記クラス分類手段は、
    上記注目点の時空間周辺画素のレベル分布パターンに基づいてクラス分類するレベルパターンクラス分類手段と、
    上記注目点の画面上での水平方向の位置に基づいてクラス分類する水平位置クラス分類手段と
    を具え、上記レベルパターンクラス分類手段及び水平位置クラス分類手段による分類結果を合わせたものをクラス分類結果とする
    ことを特徴とする請求項1に記載の立体視化装置。
  7. 上記クラス分類手段は、上記注目点の時空間周辺画素におけるエツジの有無を検出することにより各注目点をクラス分類するエツジクラス分類手段を具える
    ことを特徴とする請求項1に記載の立体視化装置。
  8. 上記エツジクラス分類手段は、
    注目画素を中心とする微小ブロツク内の最大値と最小値の差を所定の閾値と比較することによりエツジの有無を検出し、当該検出結果を1/0の論理値で出力する
    ことを特徴とする請求項7に記載の立体視化装置。
  9. 上記エツジクラス分類手段は、
    注目画素の時空間周辺画素に対してエツジ抽出フイルタをかけ、当該エツジ抽出フイルタの出力の絶対値を所定の閾値と比較することによりエツジの有無を検出し、当該検出結果を1/0の論理値で出力する
    ことを特徴とする請求項7に記載の立体視化装置。
  10. 上記クラス分類手段は、上記注目点の時空間周辺画素の動きに基づいて各注目点をクラス分類する動きクラス分類手段を具える
    ことを特徴とする請求項1に記載の立体視化装置。
  11. 上記動きクラス分類手段は、
    注目点を含むブロツクのフレーム差分の絶対値和を所定の閾値と比較することにより動きの度合を検出し、当該検出結果をrビツトのコードとして出力する
    ことを特徴とする請求項10に記載の立体視化装置。
  12. 上記クラス分類手段は、
    上記注目点の時空間周辺画素のレベル分布パターンに基づいて各注目点をクラス分類するレベルパターンクラス分類手段、上記注目点の画面上での水平方向の位置に基づいて各注目点をクラス分類する水平位置クラス分類手段、上記注目点の時空間周辺画素にエツジが有る否かを検出することにより各注目点をクラス分類するエツジクラス分類手段、及び又は上記注目点の時空間周辺画素の動きに基づいて各注目点をクラス分類する動きクラス分類手段のうち少なくとも2つを具え、
    上記複数のクラス分類手段による分類結果を合わせたものをクラス分類結果とする
    ことを特徴とする請求項1に記載の立体視化装置。
  13. 上記クラス分類手段は、少なくとも上記注目点の画面上での水平方向の位置に基づいてクラス分類する水平位置クラス分類手段を具え、
    上記予測処理手段は、
    上記水平位置クラス分類手段により分類されるクラスのうち、画面上の水平方向の中心位置を境として片側のみのクラスに対応した左目用及び右目用の予測係数が記憶された予測係数記憶手段と、
    上記水平位置クラス分類手段により分類されたクラスに対応する予測係数が上記予測係数記憶手段に存在する場合にはそれぞれの目用の予測係数と上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより左目用及び右目用画像信号を生成し、分類されたクラスに対応する予測係数が上記予測係数記憶手段に存在しない場合には当該クラスに対応した他方の目用の上記予測係数と上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより左目用及び右目用画像信号を生成する予測演算手段と
    を具えることを特徴とする請求項1に記載の立体視化装置。
  14. 上記クラス分類手段は、少なくとも上記注目点の画面上での水平方向の位置に基づいてクラス分類する水平位置クラス分類手段を具え、
    上記予測処理手段は、
    上記水平位置クラス分類手段により分類されるクラスのうち、画面上の水平方向の中心位置を境として片側のみのクラスに対応した左目用及び右目用の予測係数が記憶された予測係数記憶手段と、
    上記水平位置クラス分類手段により分類されたクラスに対応する予測係数が上記予測係数記憶手段に存在する場合には当該予測係数と上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより左目用及び右目用画像信号を生成し、分類されたクラスに対応する予測係数が上記予測係数記憶手段に存在しない場合には上記画面上の水平方向の中心位置からみて当該クラスによつて表わされる水平位置と対称な位置のクラスの予測係数の順序を反転したものと上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより左目用及び右目用画像信号を生成する予測演算手段と
    を具えることを特徴とする請求項1に記載の立体視化装置。
  15. 上記予測処理手段により生成された左目用画像信号及び右目用画像信号のいづれか一方の画像信号を遅延させる遅延手段と、
    上記入力テレビジヨン信号にシーンチエンジが発生したことを検出するシーンチエンジ検出手段と、
    シーンチエンジがない場合には上記遅延手段によつて一方の目用の画像信号が遅延された左目用及び右目用画像信号を上記表示手段に供給すると共に、シーンチエンジがある場合には遅延されていない左目用及び右目用画像信号を上記表示手段に供給する選択手段と
    を具えることを特徴とする請求項1に記載の立体視化装置。
  16. 入力テレビジヨン信号に基づく立体画像を表示させる立体視化装置において、
    上記入力テレビジヨン信号を、各注目点毎に当該注目点の周辺画素の分布状態に基づいてクラス分類するクラス分類手段と、
    各クラスに対応して予め学習により求められた左目用又は右目用のいずれか一方の予測係数が記憶された予測係数記憶手段と、
    上記クラス分類手段による分類結果に応じて当該予測係数記憶手段から出力された予測係数と上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより上記左目用画像信号又は右目用画像信号の何れか一方を生成する予測演算手段と、
    上記予測演算手段により生成された上記左目用画像信号又は右目用画像信号と、上記入力テレビジヨン信号とを所定周期で交互に切り換えて出力する出力手段と、
    上記出力手段から交互に出力された信号に基づく画像を表示する表示手段と
    を具えることを特徴とする立体視化装置。
  17. 上記予測係数は、
    互いに視差のある位置に設けられた左目用のテレビジヨンカメラ及び右目用のテレビジヨンカメラによつて得た撮影テレビジヨン信号のうち、上記予測演算手段によつて生成されない方の撮像テレビジヨン信号を上記クラス分類手段と同様の手法によりクラス分類し、
    分類された各クラス毎に、上記予測演算手段によつて生成される方の撮像テレビジヨン信号を教師データとして、当該教師データを、上記予測演算手段によつて生成されない方の撮像テレビジヨン信号と複数の係数との線形一次結合式により表し、
    上記係数を最小二乗法を用いた学習によつて求めたものである
    ことを特徴とする請求項16に記載の立体視化装置。
  18. 入力テレビジヨン信号に基づく立体画像を表示させる立体視化方法において、
    上記入力テレビジヨン信号を、各注目点毎に当該注目点の周辺画素の分布状態に基づいてクラス分類するクラス分類ステツプと、
    各クラスに対応して用意された予測係数のうち、上記クラス分類ステツプによる分類結果に応じた予測係数を用いた予測演算処理を行うことにより、左目用の画像信号及び右目用の画像信号を生成する予測処理ステツプと、
    上記左目用画像信号及び右目用画像信号を所定周期で交互に切り換えて出力する出力ステツプと、
    出力された左目用画像信号及び右目用画像信号を表示する表示ステツプと
    を具えることを特徴とする立体視化方法。
  19. 上記出力ステツプの出力周期に同期して液晶シヤツタ付きメガネの左目用シヤツタ及び右目用シヤツタを開閉させるステツプを具える
    ことを特徴とする請求項18に記載の立体視化方法。
  20. 上記予測処理ステツプは、
    予め学習により求められた各クラスに対応した左目用の予測係数が記憶された左目用予測係数記憶手段から上記クラス分類ステツプでの分類結果に応じた予測係数を読み出し、当該予測係数と上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより上記左目用画像信号を生成する左目用予測演算ステツプと、
    予め学習により求められた各クラスに対応した右目用の予測係数が記憶された右目用予測係数記憶手段から上記クラス分類ステツプでの分類結果に応じた予測係数を読み出し、当該予測係数と上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより上記右目用画像信号を生成する右目用予測演算ステツプと
    を具えることを特徴とする請求項18に記載の立体視化方法。
  21. 上記予測係数は、
    互いに視差のある位置に設けられた中央のテレビジヨンカメラ、左目用のテレビジヨンカメラ及び右目用のテレビジヨンカメラによつて得た撮影テレビジヨン信号のうち、中央の撮影テレビジヨン信号を上記クラス分類ステツプと同様の手法によりクラス分類し、
    分類された各クラス毎に、上記左目用の撮影テレビジヨン信号及び上記右目用の撮影テレビジヨン信号を教師データとして、当該教師データを、上記中央の撮影テレビジヨン信号と複数の係数との線形一次結合式により表し、
    上記係数を最小二乗法を用いた学習によつて求めたものである
    ことを特徴とする請求項18に記載の立体視化方法。
  22. 上記クラス分類ステツプでは、上記注目点の時空間における周辺画素のレベル分布パターンに基づいてクラス分類する
    ことを特徴とする請求項18に記載の立体視化方法。
  23. 上記クラス分類ステツプは、
    上記注目点の時空間周辺画素のレベル分布パターンに基づいてクラス分類するレベルパターンクラス分類ステツプと、
    上記注目点の画面上での水平方向の位置に基づいてクラス分類する水平位置クラス分類ステツプと
    を具え、上記レベルパターンクラス分類ステツプ及び水平位置クラス分類ステツプによる分類結果を合わせたものをクラス分類結果とする
    ことを特徴とする請求項18に記載の立体視化方法。
  24. 上記クラス分類ステツプでは、上記注目点の時空間周辺画素におけるエツジの有無を検出することにより各注目点をクラス分類する
    ことを特徴とする請求項18に記載の立体視化方法。
  25. 注目画素を中心とする微小ブロツク内の最大値と最小値の差を所定の閾値と比較することによりエツジの有無を検出し、当該検出結果を1/0の論理値で出力する
    ことを特徴とする請求項24に記載の立体視化方法。
  26. 注目画素の時空間周辺画素に対してエツジ抽出フイルタをかけ、当該エツジ抽出フイルタの出力の絶対値を所定の閾値と比較することによりエツジの有無を検出し、当該検出結果を1/0の論理値で出力する
    ことを特徴とする請求項24に記載の立体視化方法。
  27. 上記クラス分類ステツプでは、上記注目点の時空間周辺画素の動きに基づいて各注目点をクラス分類する
    ことを特徴とする請求項18に記載の立体視化方法。
  28. 上記動きクラス分類ステツプでは、
    注目点を含むブロツクのフレーム差分の絶対値和を所定の閾値と比較することにより動きの度合を検出し、当該検出結果をrビツトのコードとして出力する
    ことを特徴とする請求項27に記載の立体視化方法。
  29. 上記クラス分類ステツプは、
    上記注目点の時空間周辺画素のレベル分布パターンに基づいて各注目点をクラス分類するレベルパターンクラス分類ステツプ、上記注目点の画面上での水平方向の位置に基づいて各注目点をクラス分類する水平位置クラス分類ステツプ、上記注目点の時空間周辺画素にエツジが有る否かを検出することにより各注目点をクラス分類するエツジクラス分類ステツプ、及び又は上記注目点の時空間周辺画素の動きに基づいて各注目点をクラス分類する動きクラス分類ステツプのうち少なくとも2つを具え、
    上記複数のクラス分類ステツプによる分類結果を合わせたものをクラス分類結果とする
    ことを特徴とする請求項18に記載の立体視化方法。
  30. 上記クラス分類ステツプは、少なくとも上記注目点の画面上での水平方向の位置に基づいてクラス分類する水平位置クラス分類ステツプを具え、
    上記予測処理ステツプでは、
    上記水平位置クラス分類ステツプで分類されるクラスのうち、画面上の水平方向の中心位置を境として片側のみのクラスに対応した左目用及び右目用の予測係数が記憶された予測係数記憶手段を用い、
    上記水平位置クラス分類ステツプにより分類されたクラスに対応する予測係数が上記予測係数記憶手段に存在する場合にはそれぞれの目用の予測係数と上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより左目用及び右目用画像信号を生成し、分類されたクラスに対応する予測係数が上記予測係数記憶手段に存在しない場合には当該クラスに対応した他方の目用の上記予測係数と上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより左目用及び右目用画像信号を生成する
    ことを特徴とする請求項18に記載の立体視化方法。
  31. 上記クラス分類ステツプは、少なくとも上記注目点の画面上での水平方向の位置に基づいてクラス分類する水平位置クラス分類ステツプを具え、
    上記予測処理ステツプでは、
    上記水平位置クラス分類ステツプで分類されるクラスのうち、画面上の水平方向の中心位置を境として片側のみのクラスに対応した左目用及び右目用の予測係数が記憶された予測係数記憶手段を用い、
    上記水平位置クラス分類ステツプにより分類されたクラスに対応する予測係数が上記予測係数記憶手段に存在する場合には当該予測係数と上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより左目用及び右目用画像信号を生成し、分類されたクラスに対応する予測係数が上記予測係数記憶手段に存在しない場合には上記画面上の水平方向の中心位置からみて当該クラスによつて表わされる水平位置と対称な位置のクラスの予測係数の順序を反転したものと上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより左目用及び右目用画像信号を生成する
    ことを特徴とする請求項18に記載の立体視化方法。
  32. 上記予測処理ステツプで生成された左目用画像信号及び右目用画像信号のいづれか一方の画像信号を遅延させる遅延ステツプと、
    上記入力テレビジヨン信号にシーンチエンジが発生したことを検出するシーンチエンジ検出ステツプと、
    シーンチエンジがない場合には上記遅延ステツプによつて一方の目用の画像信号が遅延された左目用及び右目用画像信号を上記表示ステツプに与えると共に、シーンチエンジがある場合には遅延されていない左目用画像信号及び右目用画像信号を上記表示ステツプに与える選択ステツプと
    を具えることを特徴とする請求項18に記載の立体視化方法。
  33. 入力テレビジヨン信号に基づく立体画像を表示させる立体視化方法において、
    上記入力テレビジヨン信号を、各注目点毎に当該注目点の周辺画素の分布状態に基づいてクラス分類するクラス分類ステツプと、
    各クラスに対応して予め学習により求められた左目用又は右目用のいずれか一方の予測係数が記憶された予測係数記憶手段から上記クラス分類ステツプでの分類結果に応じた予測係数を読み出し、当該予測係数と上記注目点の周辺画素値とを用いた線形一次結合式に基づく演算を行うことにより上記左目用画像信号又は右目用画像信号の何れか一方を生成する予測演算ステツプと、
    上記予測演算ステツプにより生成された上記左目用画像信号又は右目用画像信号と、上記入力テレビジヨン信号とを所定周期で交互に切り換えて出力する出力ステツプと、
    出力された信号に基づく画像を表示させる表示ステツプと
    を具えることを特徴とする立体視化方法。
  34. 上記予測係数は、
    互いに視差のある位置に設けられた左目用のテレビジヨンカメラ及び右目用のテレビジヨンカメラによつて得た撮影テレビジヨン信号のうち、上記予測演算ステツプによつて生成されない方の撮像テレビジヨン信号を上記クラス分類ステツプと同様の手法によりクラス分類し、
    分類された各クラス毎に、上記予測演算ステツプによつて生成される方の撮像テレビジヨン信号を教師データとして、当該教師データを、上記予測演算ステツプによつて生成されない方の撮像テレビジヨン信号と複数の係数との線形一次結合式により表し、
    上記係数を最小二乗法を用いた学習によつて求めたものである
    ことを特徴とする請求項33に記載の立体視化方法。
JP23074595A 1995-08-15 1995-08-15 立体視化装置及び立体視化方法 Expired - Lifetime JP3580450B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23074595A JP3580450B2 (ja) 1995-08-15 1995-08-15 立体視化装置及び立体視化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23074595A JP3580450B2 (ja) 1995-08-15 1995-08-15 立体視化装置及び立体視化方法

Publications (2)

Publication Number Publication Date
JPH0955962A JPH0955962A (ja) 1997-02-25
JP3580450B2 true JP3580450B2 (ja) 2004-10-20

Family

ID=16912632

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23074595A Expired - Lifetime JP3580450B2 (ja) 1995-08-15 1995-08-15 立体視化装置及び立体視化方法

Country Status (1)

Country Link
JP (1) JP3580450B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001076232A1 (en) * 2000-03-30 2001-10-11 Sony Corporation Information processor
JP5229466B2 (ja) * 2008-09-02 2013-07-03 ソニー株式会社 立体映像表示システム及び立体映像表示方法
JP6330310B2 (ja) * 2013-12-16 2018-05-30 凸版印刷株式会社 画像生成方法および画像生成装置ならびにプログラム

Also Published As

Publication number Publication date
JPH0955962A (ja) 1997-02-25

Similar Documents

Publication Publication Date Title
US11109066B2 (en) Encoding and decoding of volumetric video
US10313660B2 (en) Image processing apparatus, image processing method, and program
AU783045B2 (en) Generation of a sequence of stereoscopic images from a seque nce of 2D images
Lukacs Predictive coding of multi-viewpoint image sets
US8044994B2 (en) Method and system for decoding and displaying 3D light fields
US7916934B2 (en) Method and system for acquiring, encoding, decoding and displaying 3D light fields
US6496598B1 (en) Image processing method and apparatus
KR101291071B1 (ko) 입체 영상 오류 개선 방법 및 장치
JP3781210B2 (ja) 立体視化装置及び立体視化方法
RU2421933C2 (ru) Система и способ формирования и воспроизведения трехмерного видеоизображения
US6327381B1 (en) Image transformation and synthesis methods
EP1807806B1 (en) Disparity map
WO2019034807A1 (en) SEQUENTIAL CODING AND DECODING OF VOLUMETRIC VIDEO
CN100565589C (zh) 用于深度感知的装置和方法
US20140146139A1 (en) Depth or disparity map upscaling
JP4939639B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
KR20090041562A (ko) 프레임 보간 장치 및 그를 포함한 프레임 속도 상향 변환장치
JP7344988B2 (ja) ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品
Mancini et al. Robust quadtree-based disparity estimation for the reconstruction of intermediate stereoscopic images
JP3580450B2 (ja) 立体視化装置及び立体視化方法
JPH09271042A (ja) 立体視化方法及び装置
US10721452B2 (en) 3D system
KR100503276B1 (ko) 2차원 영상신호를 3차원 영상신호로 변환하는 장치
US10242448B2 (en) 3D system including queue management
Dehkordi 3D Video Quality Assessment

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040715

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080730

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090730

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090730

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100730

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100730

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110730

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120730

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120730

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130730

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term