JP3055438B2 - ３次元画像符号化装置 - Google Patents
３次元画像符号化装置Info
- Publication number
- JP3055438B2 JP3055438B2 JP24996195A JP24996195A JP3055438B2 JP 3055438 B2 JP3055438 B2 JP 3055438B2 JP 24996195 A JP24996195 A JP 24996195A JP 24996195 A JP24996195 A JP 24996195A JP 3055438 B2 JP3055438 B2 JP 3055438B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- input
- parallax
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N11/00—Colour television systems
- H04N11/04—Colour television systems using pulse code modulation
- H04N11/042—Codec means
- H04N11/046—DPCM
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0092—Image segmentation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0096—Synchronisation or controlling aspects
Description
【０００１】
【発明の属する技術分野】本発明は３次元画像の高能率
符号化装置に関する。
符号化装置に関する。
【０００２】
【従来の技術】図１４に、ステレオ画像からの視差検出
の様子を示す。ステレオ画像の符号化方式として良く知
られているのが、ブロックマッチングを用いた視差補償
予測符号化方式である。これは、左眼画像と右眼画像が
与えられ、一方の画像から他方の画像を予測する際に、
ブロック単位に類似する領域を探索し、最も誤差の小さ
くなる視差ベクトルを選択し、この視差ベクトルによっ
て指示されるブロックを用いて予測画像を作成し、その
予測誤差信号と視差ベクトルを符号化する方式である。
たとえば、Ｗ．Ａ．Ｓｃｈｕｐｐ，安田：“視差補償お
よび動き補償を用いたステレオ動画像のデータ圧縮”，
１９８８年画像符号化シンポジウム予稿集，５−１（１
９８８）には、左右画像間、時間軸方向それぞれでブロ
ックマッチングを行い、予測誤差を最小にする視差ベク
トル、もしくは動きベクトルを適応的に選択して、予測
画像の作成を行う方式が示されている。また、野垣：
“ＭＰＥＧ−２によるステレオ画像符号化の検討”，１
９９４年画像符号化シンポジウム予稿集，３−１０（１
９９４）では、ブロックマッチングを採用している動画
像符号化の国際標準であるＭＰＥＧ−２を活用したステ
レオ画像符号化方式に関する報告が行われている。これ
らの方式によって、視差方向の予測を行わない場合より
も符号化効率が大幅に改善されると報告されている。
の様子を示す。ステレオ画像の符号化方式として良く知
られているのが、ブロックマッチングを用いた視差補償
予測符号化方式である。これは、左眼画像と右眼画像が
与えられ、一方の画像から他方の画像を予測する際に、
ブロック単位に類似する領域を探索し、最も誤差の小さ
くなる視差ベクトルを選択し、この視差ベクトルによっ
て指示されるブロックを用いて予測画像を作成し、その
予測誤差信号と視差ベクトルを符号化する方式である。
たとえば、Ｗ．Ａ．Ｓｃｈｕｐｐ，安田：“視差補償お
よび動き補償を用いたステレオ動画像のデータ圧縮”，
１９８８年画像符号化シンポジウム予稿集，５−１（１
９８８）には、左右画像間、時間軸方向それぞれでブロ
ックマッチングを行い、予測誤差を最小にする視差ベク
トル、もしくは動きベクトルを適応的に選択して、予測
画像の作成を行う方式が示されている。また、野垣：
“ＭＰＥＧ−２によるステレオ画像符号化の検討”，１
９９４年画像符号化シンポジウム予稿集，３−１０（１
９９４）では、ブロックマッチングを採用している動画
像符号化の国際標準であるＭＰＥＧ−２を活用したステ
レオ画像符号化方式に関する報告が行われている。これ
らの方式によって、視差方向の予測を行わない場合より
も符号化効率が大幅に改善されると報告されている。
【０００３】しかし、ブロックマッチング方式では、予
測画像に不自然なブロック状のひずみが発生する。これ
が、ブロックマッチングによって与えられるベクトルが
予め定められたブロック単位のものであるために、必ず
しも画面中の物体の視差を正しく反映していないためで
ある。これは、立体視した場合には不自然な奥行き間と
なり、臨場感の低下を引き起こす。また、その予測誤差
の低減効果にも問題が残される。
測画像に不自然なブロック状のひずみが発生する。これ
が、ブロックマッチングによって与えられるベクトルが
予め定められたブロック単位のものであるために、必ず
しも画面中の物体の視差を正しく反映していないためで
ある。これは、立体視した場合には不自然な奥行き間と
なり、臨場感の低下を引き起こす。また、その予測誤差
の低減効果にも問題が残される。
【０００４】これに対し、画像を任意の形状の領域に分
割し、その領域単位にベクトルを求めることで、より自
然な予測画像を作成しようとする試みが報告されてい
る。具体的な領域分割手法としては、色輝度のヒストグ
ラムを用いる方式、エッジ検出に基づく方式、クラスタ
リングに基づく方式、などがあるが、特にクラスタリン
グ手法として代表的なのが、泉、森川、原島：“色情報
と位置情報とを併用したセグメンテーション手法の一検
討”，１９９１年電子情報通信学会春季全国大会Ｄ−６
８０（１９９１）に示されている５次元クラスタリング
方式である。これは、特徴量空間としてＲＧＢの３次元
色空間とｘｙの２次元位置空間との５次元空間を考え、
着目画素の色情報を（Ｒ、Ｇ、Ｂ）、位置情報を（ｘ、
ｙ）、インデクスｎのクラスタの色情報の平均を
割し、その領域単位にベクトルを求めることで、より自
然な予測画像を作成しようとする試みが報告されてい
る。具体的な領域分割手法としては、色輝度のヒストグ
ラムを用いる方式、エッジ検出に基づく方式、クラスタ
リングに基づく方式、などがあるが、特にクラスタリン
グ手法として代表的なのが、泉、森川、原島：“色情報
と位置情報とを併用したセグメンテーション手法の一検
討”，１９９１年電子情報通信学会春季全国大会Ｄ−６
８０（１９９１）に示されている５次元クラスタリング
方式である。これは、特徴量空間としてＲＧＢの３次元
色空間とｘｙの２次元位置空間との５次元空間を考え、
着目画素の色情報を（Ｒ、Ｇ、Ｂ）、位置情報を（ｘ、
ｙ）、インデクスｎのクラスタの色情報の平均を
【０００５】
【外１】
【０００６】、位置の重心を
【０００７】
【外２】
【０００８】とした場合に、着目画素とｎ番目のクラス
タの距離ｄn を
タの距離ｄn を
【０００９】
【数１】
【００１０】で定義する。そして、着目画素周辺の複数
のクラスタに対して距離ｄn の計算を行い、その距離ｄ
n が最小となるクラスタｎに着目画素が属する、と判定
する。ただし、ｗ0 、ｗ1 はそれぞれ重み係数である。
これによって、局所的な情報を失わず、かつ雑音にも強
い画像信号の領域分割が実現できる、と報告されてい
る。
のクラスタに対して距離ｄn の計算を行い、その距離ｄ
n が最小となるクラスタｎに着目画素が属する、と判定
する。ただし、ｗ0 、ｗ1 はそれぞれ重み係数である。
これによって、局所的な情報を失わず、かつ雑音にも強
い画像信号の領域分割が実現できる、と報告されてい
る。
【００１１】さらに、横山、宮本：“動き情報を利用し
た動画像符号化用の領域分割方式”，１９９４年電子情
報通信学会秋季全国大会Ｄ−１５０（１９９４）では、
上記のクラスタリングアルゴリズムを動画像符号化に拡
張した報告を行っている。これは、特徴量空間としてＹ
ＣｒＣｂの３次元色輝度空間とｘｙの２次元位置空間に
２次元動きベクトル空間を加えた７次元空間を考え、画
素単位に求められた動きベクトルを（ｖx 、ｖy ）、ク
ラスタｎに対して求められた動きベクトルを（ｖn,x 、
ｖn,y ）とし、着目画素とｎ番目のクラスタの距離ｄn
を
た動画像符号化用の領域分割方式”，１９９４年電子情
報通信学会秋季全国大会Ｄ−１５０（１９９４）では、
上記のクラスタリングアルゴリズムを動画像符号化に拡
張した報告を行っている。これは、特徴量空間としてＹ
ＣｒＣｂの３次元色輝度空間とｘｙの２次元位置空間に
２次元動きベクトル空間を加えた７次元空間を考え、画
素単位に求められた動きベクトルを（ｖx 、ｖy ）、ク
ラスタｎに対して求められた動きベクトルを（ｖn,x 、
ｖn,y ）とし、着目画素とｎ番目のクラスタの距離ｄn
を
【００１２】
【数２】
【００１３】で定義する。そして、着目画素周辺の複数
のクラスタに対して距離ｄn の計算を行い、その距離ｄ
n が最小となるクラスタｎに着目画素が属すると判定す
る。ただし、ｗ0 、ｗ1 、ｗ2 はそれぞれ重み係数であ
り、また前述のＲＧＢ空間をＹＣｒＣｂ空間に変更して
いるが、これは領域分割結果に大きな影響を与える問題
ではない。これによって、動きベクトル情報を用いない
クラスタリング方式に対して、動き補償予測符号化効率
が改善されると報告されている。この方式を視差方向に
応用すれば、そのまま領域分割に基づく視差補償予測が
実現できる。
のクラスタに対して距離ｄn の計算を行い、その距離ｄ
n が最小となるクラスタｎに着目画素が属すると判定す
る。ただし、ｗ0 、ｗ1 、ｗ2 はそれぞれ重み係数であ
り、また前述のＲＧＢ空間をＹＣｒＣｂ空間に変更して
いるが、これは領域分割結果に大きな影響を与える問題
ではない。これによって、動きベクトル情報を用いない
クラスタリング方式に対して、動き補償予測符号化効率
が改善されると報告されている。この方式を視差方向に
応用すれば、そのまま領域分割に基づく視差補償予測が
実現できる。
【００１４】しかし、上記の領域分割方式を用いた場合
には、予測誤差の低減という観点からは、ブロックマッ
チング方式に比しても、十分な予測画像が得られていな
いのが現状である。このために、得られる予測画像は非
常に歪んだものとなる。
には、予測誤差の低減という観点からは、ブロックマッ
チング方式に比しても、十分な予測画像が得られていな
いのが現状である。このために、得られる予測画像は非
常に歪んだものとなる。
【００１５】一方、これまでの２次元画像を対象とする
符号化方式では、一般的に非合焦領域は観察者にとって
重要ではない領域とみなされてきた。非合焦領域の圧縮
は容易であり、圧縮効率の改善という観点からもこの選
択は妥当である。しかし、３次元画像の場合には、観察
者の視点がしばしば奥行き方向に移動する状況が予想さ
れる。この場合の非合焦領域の存在は、観察者にとって
臨場感を損なう一つの要因となる。
符号化方式では、一般的に非合焦領域は観察者にとって
重要ではない領域とみなされてきた。非合焦領域の圧縮
は容易であり、圧縮効率の改善という観点からもこの選
択は妥当である。しかし、３次元画像の場合には、観察
者の視点がしばしば奥行き方向に移動する状況が予想さ
れる。この場合の非合焦領域の存在は、観察者にとって
臨場感を損なう一つの要因となる。
【００１６】ここで、焦点の異なる複数枚の画像を用い
て、対象物体が異なる奥行きを持つ領域で同時に鮮鋭な
画像を再構成する検討が進められている。図１５は、そ
の鮮鋭画像の獲得の問題を、概念的に示したものであ
る。たとえば、児玉、内藤、相澤、羽鳥：“複数の異な
る焦点画像からの全焦点画像の再構成”，１９９５年テ
レビジョン学会年次大会９−２（１９９５）では、ぼけ
の発生のモデルとしての点拡がり関数を与え、これに従
って順次劣化画像を生成し、他画像と比較し、より劣化
している部分を推定することで合焦領域の判定を行って
いる。これによって、エッジに隣接した画素での判定精
度が向上し、細部まで鮮鋭な統合画像を生成できた、と
報告されている。
て、対象物体が異なる奥行きを持つ領域で同時に鮮鋭な
画像を再構成する検討が進められている。図１５は、そ
の鮮鋭画像の獲得の問題を、概念的に示したものであ
る。たとえば、児玉、内藤、相澤、羽鳥：“複数の異な
る焦点画像からの全焦点画像の再構成”，１９９５年テ
レビジョン学会年次大会９−２（１９９５）では、ぼけ
の発生のモデルとしての点拡がり関数を与え、これに従
って順次劣化画像を生成し、他画像と比較し、より劣化
している部分を推定することで合焦領域の判定を行って
いる。これによって、エッジに隣接した画素での判定精
度が向上し、細部まで鮮鋭な統合画像を生成できた、と
報告されている。
【００１７】しかし、上記の手法は画素単位の線形フィ
ルタ処理を施すために雑音に弱く、そのような場合には
十分な鮮鋭画像が得られない、という欠点があった。
ルタ処理を施すために雑音に弱く、そのような場合には
十分な鮮鋭画像が得られない、という欠点があった。
【００１８】また、公開特許公報平３−８０６７６“電
子バンフォーカス装置”には、焦点の異なる画像を入力
とし、各画像をブロックに分割し、ブロック単位に高周
波成分情報を比較し、最も高周波成分情報が大きいブロ
ックを選択することで全体に焦点の合った画像を得る方
式が報告されている。
子バンフォーカス装置”には、焦点の異なる画像を入力
とし、各画像をブロックに分割し、ブロック単位に高周
波成分情報を比較し、最も高周波成分情報が大きいブロ
ックを選択することで全体に焦点の合った画像を得る方
式が報告されている。
【００１９】しかし、上記の手法ではブロック単位の処
理を行っているために、合焦領域と非合焦領域の混在す
る不自然なブロックが発生するという欠点があった。
理を行っているために、合焦領域と非合焦領域の混在す
る不自然なブロックが発生するという欠点があった。
【００２０】
【発明が解決しようとする課題】従来のブロックマッチ
ングを用いた視差検出方式、および領域分割手法を用い
た視差検出方式では、共に予測誤差の低減という観点か
ら、十分な結果が得られていない。従来の異なる焦点画
像の鮮鋭化方式では、従来手法では画素単位のフィルタ
演算の安定性が問題となり、雑音に弱いという欠点があ
る。
ングを用いた視差検出方式、および領域分割手法を用い
た視差検出方式では、共に予測誤差の低減という観点か
ら、十分な結果が得られていない。従来の異なる焦点画
像の鮮鋭化方式では、従来手法では画素単位のフィルタ
演算の安定性が問題となり、雑音に弱いという欠点があ
る。
【００２１】本発明の目的は、視差方向に対しては、予
測誤差が小さく、かつ圧縮の容易な視差情報（視差ベク
トル）の検出を実現し、奥行き方向に対しては、雑音に
強い画像の鮮鋭化を実現し、臨場感の優れた３次元画像
符号化方式を提供することにある。
測誤差が小さく、かつ圧縮の容易な視差情報（視差ベク
トル）の検出を実現し、奥行き方向に対しては、雑音に
強い画像の鮮鋭化を実現し、臨場感の優れた３次元画像
符号化方式を提供することにある。
【００２２】
【課題を解決するための手段】第１の発明の視差情報検
出装置は、視差を有する複数枚の画像を入力とし、前記
複数枚の画像の中の１枚を基準画像とし、前記基準画像
を除く複数枚の画像毎に、その入力画像と、統計情報
と、予測画像を用いて前記入力画像の領域分割を行う領
域分割手段と、前記入力画像と、前記領域分割手段によ
って与えられる領域分割情報を用いて前記領域毎の画素
値平均、画素値分散、重心位置等の前記統計情報を計算
する統計情報計算手段と、前記基準画像と、前記入力画
像と、前記領域分割情報を用いて前記領域単位に視差ベ
クトルを求める視差検出手段と、前記基準画像と、前記
視差ベクトルを用いて、前記入力画像の前記予測画像を
作成する視差補償予測手段とを備えることを特徴とす
る。
出装置は、視差を有する複数枚の画像を入力とし、前記
複数枚の画像の中の１枚を基準画像とし、前記基準画像
を除く複数枚の画像毎に、その入力画像と、統計情報
と、予測画像を用いて前記入力画像の領域分割を行う領
域分割手段と、前記入力画像と、前記領域分割手段によ
って与えられる領域分割情報を用いて前記領域毎の画素
値平均、画素値分散、重心位置等の前記統計情報を計算
する統計情報計算手段と、前記基準画像と、前記入力画
像と、前記領域分割情報を用いて前記領域単位に視差ベ
クトルを求める視差検出手段と、前記基準画像と、前記
視差ベクトルを用いて、前記入力画像の前記予測画像を
作成する視差補償予測手段とを備えることを特徴とす
る。
【００２３】第２の発明の３次元画像符号化装置は、視
差を有する複数枚の画像を入力とし、前記複数枚の画像
の中の１枚を基準画像とし、前記基準画像を除く複数枚
の画像毎に、その入力画像と、統計情報と、予測画像を
用いて前記入力画像の領域分割を行う領域分割手段と、
前記入力画像と、前記領域分割手段によって与えられる
領域分割情報を用いて前記領域毎の画素値平均、画素値
分散、重心位置等の前記統計情報を計算する統計情報計
算手段と、前記基準画像と、前記入力画像と、前記領域
分割情報を用いて前記領域単位に視差ベクトルを求める
視差検出手段と、前記基準画像と、前記視差ベクトルを
用いて、前記入力画像の前記予測画像を作成する視差補
償予測手段と、前記基準画像を圧縮する手段と、前記視
差ベクトルを圧縮する手段とを備えることを特徴とす
る。
差を有する複数枚の画像を入力とし、前記複数枚の画像
の中の１枚を基準画像とし、前記基準画像を除く複数枚
の画像毎に、その入力画像と、統計情報と、予測画像を
用いて前記入力画像の領域分割を行う領域分割手段と、
前記入力画像と、前記領域分割手段によって与えられる
領域分割情報を用いて前記領域毎の画素値平均、画素値
分散、重心位置等の前記統計情報を計算する統計情報計
算手段と、前記基準画像と、前記入力画像と、前記領域
分割情報を用いて前記領域単位に視差ベクトルを求める
視差検出手段と、前記基準画像と、前記視差ベクトルを
用いて、前記入力画像の前記予測画像を作成する視差補
償予測手段と、前記基準画像を圧縮する手段と、前記視
差ベクトルを圧縮する手段とを備えることを特徴とす
る。
【００２４】第３の発明の３次元画像符号化装置は、視
差を有する複数枚の画像を入力とし、前記複数枚の画像
の中の１枚を基準画像とし、前記基準画像を除く複数枚
の画像毎に、その入力画像と、統計情報と、予測画像を
用いて前記入力画像の領域分割を行う領域分割手段と、
前記入力画像と、前記領域分割手段によって与えられる
領域分割情報を用いて前記領域毎の画素値平均、画素値
分散、重心位置等の前記統計情報を計算する統計情報計
算手段と、前記基準画像と、前記入力画像と、前記領域
分割情報を用いて前記領域単位に視差ベクトルを求める
視差検出手段と、前記基準画像と、前記視差ベクトルを
用いて、前記入力画像の前記予測画像を作成する視差補
償予測手段と、前記基準画像を圧縮する手段と、前記視
差ベクトルの検出された画像毎に前記基準画像と前記視
差ベクトルを用いて予測画像を作成する視差補償予測手
段と、前記視差ベクトルの検出された画像と前記予測画
像との差分を取る手段と、前記視差ベクトルを圧縮する
手段と、前記差分情報を圧縮する手段を備えることを特
徴とする。
差を有する複数枚の画像を入力とし、前記複数枚の画像
の中の１枚を基準画像とし、前記基準画像を除く複数枚
の画像毎に、その入力画像と、統計情報と、予測画像を
用いて前記入力画像の領域分割を行う領域分割手段と、
前記入力画像と、前記領域分割手段によって与えられる
領域分割情報を用いて前記領域毎の画素値平均、画素値
分散、重心位置等の前記統計情報を計算する統計情報計
算手段と、前記基準画像と、前記入力画像と、前記領域
分割情報を用いて前記領域単位に視差ベクトルを求める
視差検出手段と、前記基準画像と、前記視差ベクトルを
用いて、前記入力画像の前記予測画像を作成する視差補
償予測手段と、前記基準画像を圧縮する手段と、前記視
差ベクトルの検出された画像毎に前記基準画像と前記視
差ベクトルを用いて予測画像を作成する視差補償予測手
段と、前記視差ベクトルの検出された画像と前記予測画
像との差分を取る手段と、前記視差ベクトルを圧縮する
手段と、前記差分情報を圧縮する手段を備えることを特
徴とする。
【００２５】第４の発明の視差情報検出装置は、第１の
発明において、視差を有する複数枚の画像に対して、前
記複数枚の画像の中の１枚を基準画像として入力し、前
記基準画像を除く複数枚の画像を長方形、もしくはライ
ン単位にグループ化して入力する手段を更に備え、前記
グループを領域分割の最小単位として視差ベクトルを得
ることを特徴とする。
発明において、視差を有する複数枚の画像に対して、前
記複数枚の画像の中の１枚を基準画像として入力し、前
記基準画像を除く複数枚の画像を長方形、もしくはライ
ン単位にグループ化して入力する手段を更に備え、前記
グループを領域分割の最小単位として視差ベクトルを得
ることを特徴とする。
【００２６】第５の発明の３次元画像符号化装置は、第
２の発明において、視差を有する複数枚の画像に対し
て、前記複数枚の画像の中の１枚を基準画像として入力
し、前記基準画像を除く複数枚の画像を長方形、もしく
はライン単位にグループ化して入力する手段を更に備
え、前記グループを領域分割の最小単位として視差ベク
トルを得ることを特徴とする。
２の発明において、視差を有する複数枚の画像に対し
て、前記複数枚の画像の中の１枚を基準画像として入力
し、前記基準画像を除く複数枚の画像を長方形、もしく
はライン単位にグループ化して入力する手段を更に備
え、前記グループを領域分割の最小単位として視差ベク
トルを得ることを特徴とする。
【００２７】第６の発明の３次元画像符号化装置は、第
３の発明において、視差を有する複数枚の画像に対し
て、前記複数枚の画像の中の１枚を基準画像として入力
し、前記基準画像を除く複数枚の画像を長方形、もしく
はライン単位にグループ化して入力する手段を更に備
え、前記グループを領域分割の最小単位として視差ベク
トルを得ることを特徴とする。
３の発明において、視差を有する複数枚の画像に対し
て、前記複数枚の画像の中の１枚を基準画像として入力
し、前記基準画像を除く複数枚の画像を長方形、もしく
はライン単位にグループ化して入力する手段を更に備
え、前記グループを領域分割の最小単位として視差ベク
トルを得ることを特徴とする。
【００２８】第７の発明の画像鮮鋭化装置は、合焦位置
の異なる複数枚の画像を入力とし、前記複数枚の画像の
中の１枚を基準画像とし、前記基準画像と、第１の統計
情報を用いて前記基準画像の領域分割を行う領域分割手
段と、前記基準画像と、前記領域分割手段によって与え
られる領域分割情報を用いて前記領域毎の画素値平均、
画素値分散、重心位置等の前記第１の統計情報を計算す
る第１の統計情報計算手段と、前記基準画像を除く複数
枚の画像毎に、その入力画像と、前記領域分割情報を用
いて、前記入力画像における前記領域毎の画素値平均、
画素値分散等を計算する第２の統計情報計算手段と、前
記領域分割情報と、前記第１の統計情報と、前記第２の
統計情報を用いて前記領域毎に合焦画像を決定する合焦
判定手段と、前記合焦位置の異なる複数枚の画像と、前
記領域分割情報と、前記合焦画像を用いて鮮鋭画像を出
力する画像合成手段とを備えることを特徴とする。
の異なる複数枚の画像を入力とし、前記複数枚の画像の
中の１枚を基準画像とし、前記基準画像と、第１の統計
情報を用いて前記基準画像の領域分割を行う領域分割手
段と、前記基準画像と、前記領域分割手段によって与え
られる領域分割情報を用いて前記領域毎の画素値平均、
画素値分散、重心位置等の前記第１の統計情報を計算す
る第１の統計情報計算手段と、前記基準画像を除く複数
枚の画像毎に、その入力画像と、前記領域分割情報を用
いて、前記入力画像における前記領域毎の画素値平均、
画素値分散等を計算する第２の統計情報計算手段と、前
記領域分割情報と、前記第１の統計情報と、前記第２の
統計情報を用いて前記領域毎に合焦画像を決定する合焦
判定手段と、前記合焦位置の異なる複数枚の画像と、前
記領域分割情報と、前記合焦画像を用いて鮮鋭画像を出
力する画像合成手段とを備えることを特徴とする。
【００２９】第８の発明の３次元画像符号化装置は、第
２の発明において、第７の発明の画像鮮鋭化装置を視差
を有する位置に複数個備え、視差を有する複数枚の鮮鋭
画像を入力とすることを特徴とする。
２の発明において、第７の発明の画像鮮鋭化装置を視差
を有する位置に複数個備え、視差を有する複数枚の鮮鋭
画像を入力とすることを特徴とする。
【００３０】第９の発明の３次元画像符号化装置は、第
３の発明において、第７の発明の画像鮮鋭化装置を視差
を有する位置に複数個備え、視差を有する複数枚の鮮鋭
画像を入力とすることを特徴とする。
３の発明において、第７の発明の画像鮮鋭化装置を視差
を有する位置に複数個備え、視差を有する複数枚の鮮鋭
画像を入力とすることを特徴とする。
【００３１】第１０の発明の３次元画像符号化装置は、
第５の発明において、第７の発明の画像鮮鋭化装置を視
差を有する位置に複数個備え、視差を有する複数枚の鮮
鋭画像を入力とすることを特徴とする。
第５の発明において、第７の発明の画像鮮鋭化装置を視
差を有する位置に複数個備え、視差を有する複数枚の鮮
鋭画像を入力とすることを特徴とする。
【００３２】第１１の発明の３次元画像符号化装置は、
第６の発明において、第７の発明の画像鮮鋭化装置を視
差を有する位置に複数個備え、視差を有する複数枚の鮮
鋭画像を入力とすることを特徴とする。
第６の発明において、第７の発明の画像鮮鋭化装置を視
差を有する位置に複数個備え、視差を有する複数枚の鮮
鋭画像を入力とすることを特徴とする。
【００３３】第１２の発明の３次元画像復号装置は、第
２，５，８又は１０の発明において、圧縮情報から基準
画像と複数枚の視差ベクトルを復号する手段と、前記視
差ベクトルの検出された画像毎に前記基準画像と前記視
差ベクトルを用いて予測画像を作成する視差補償予測手
段を備えることを特徴とする。
２，５，８又は１０の発明において、圧縮情報から基準
画像と複数枚の視差ベクトルを復号する手段と、前記視
差ベクトルの検出された画像毎に前記基準画像と前記視
差ベクトルを用いて予測画像を作成する視差補償予測手
段を備えることを特徴とする。
【００３４】第１３の発明の３次元画像復号装置は、第
３，６，９又は１１の発明において、圧縮情報から基準
画像と複数枚の視差ベクトルと複数枚の差分情報を復号
する手段と、前記視差ベクトルの検出された画像毎に前
記基準画像と前記視差ベクトルを用いて予測画像を作成
する視差補償予測手段と、前記予測画像と前記差分情報
を加算する手段を備えることを特徴とする。
３，６，９又は１１の発明において、圧縮情報から基準
画像と複数枚の視差ベクトルと複数枚の差分情報を復号
する手段と、前記視差ベクトルの検出された画像毎に前
記基準画像と前記視差ベクトルを用いて予測画像を作成
する視差補償予測手段と、前記予測画像と前記差分情報
を加算する手段を備えることを特徴とする。
【００３５】
【発明の実施の形態】本発明に従って構成した実施例を
示す。
示す。
【００３６】ステレオ画像の領域分割に際し、従来の技
術に述べた泉、森川、原島による５次元クラスタリング
方式に視差検出の予測誤差を加えた８次元の空間を考
え、着目画素とｎ番目のクラスタの距離ｄn を
術に述べた泉、森川、原島による５次元クラスタリング
方式に視差検出の予測誤差を加えた８次元の空間を考
え、着目画素とｎ番目のクラスタの距離ｄn を
【００３７】
【数３】
【００３８】で定義する。ただし、（Ｙ，Ｃｒ，Ｃｂ）
は着目画素の色輝度情報、（ｘ，ｙ）は着目画素の位置
情報、
は着目画素の色輝度情報、（ｘ，ｙ）は着目画素の位置
情報、
【００３９】
【外３】
【００４０】はクラスタｎの色輝度の平均値、
【００４１】
【外４】
【００４２】はクラスタｎの重心位置、
【００４３】
【外５】
【００４４】はクラスタｎに対して検出された視差ベク
トル
トル
【００４５】
【外６】
【００４６】によって指し示される参照画像の画素値、
（ｗo,ｗ1,ｗ2 ）は重み係数である。そして、着目画素
周辺の複数のクラスタに対して距離計算を行い、距離が
最小となるクラスタｎに着目画素が属する、と判定す
る。以上の操作を繰り返すことで、最終的な領域分割結
果を得る。
（ｗo,ｗ1,ｗ2 ）は重み係数である。そして、着目画素
周辺の複数のクラスタに対して距離計算を行い、距離が
最小となるクラスタｎに着目画素が属する、と判定す
る。以上の操作を繰り返すことで、最終的な領域分割結
果を得る。
【００４７】従来の技術に述べた横山、宮本の方式で
は、画素単位に求めた動きベクトルと領域単位に求めた
動きベクトルとの差分値を距離の評価式に加えることで
７次元のクラスタリングを行っているが、画素単位に検
出したベクトル値はばらつきが大きく、必ずしも大幅な
予測誤差の低減には寄与せず、また得られたベクトルも
空間的にばらつくことになる。
は、画素単位に求めた動きベクトルと領域単位に求めた
動きベクトルとの差分値を距離の評価式に加えることで
７次元のクラスタリングを行っているが、画素単位に検
出したベクトル値はばらつきが大きく、必ずしも大幅な
予測誤差の低減には寄与せず、また得られたベクトルも
空間的にばらつくことになる。
【００４８】これに対して、本発明では、ベクトル値の
差分ではなく、ベクトルによって指示される予測画素値
と着目画素との差分を距離の評価式に組み込む。これに
よって、まず予測誤差が大幅に低減され、自然な視差再
生も行われ、優れた視差補償予測画像が得られる。ま
た、ベクトルのばらつきも抑えられているため、画素毎
に求まった視差ベクトルを１枚の画像として圧縮を施し
ても、高い圧縮効率が期待される。さらに、動画像の２
次元の動きベクトルの場合とは異なり、視差ベクトルの
場合には通常水平１次元を考えればいいので、画素毎に
求まった視差ベクトルの圧縮に対しても、２次元画像の
圧縮アルゴリズムがそのまま適用できる。また、主観的
かつ客観的にブロックマッチング方式よりも優れた予測
画像が得られるため、ブロックマッチングを用いた従来
の視差補償予測符号化方式とは異なり、視差情報のみで
予測誤差情報を符号化しなくとも、十分高画質な復元画
像が得られる。
差分ではなく、ベクトルによって指示される予測画素値
と着目画素との差分を距離の評価式に組み込む。これに
よって、まず予測誤差が大幅に低減され、自然な視差再
生も行われ、優れた視差補償予測画像が得られる。ま
た、ベクトルのばらつきも抑えられているため、画素毎
に求まった視差ベクトルを１枚の画像として圧縮を施し
ても、高い圧縮効率が期待される。さらに、動画像の２
次元の動きベクトルの場合とは異なり、視差ベクトルの
場合には通常水平１次元を考えればいいので、画素毎に
求まった視差ベクトルの圧縮に対しても、２次元画像の
圧縮アルゴリズムがそのまま適用できる。また、主観的
かつ客観的にブロックマッチング方式よりも優れた予測
画像が得られるため、ブロックマッチングを用いた従来
の視差補償予測符号化方式とは異なり、視差情報のみで
予測誤差情報を符号化しなくとも、十分高画質な復元画
像が得られる。
【００４９】図１は第１の発明の視差情報検出装置の一
実施例を示すブロック図である。ｎ枚の視差を有する画
像を入力とし、その中の１枚を基準画像＃１とし、残り
の画像に対しては以下の視差検出を実行する。領域分割
回路１０１は、画像＃２の画素値と、統計情報計算回路
１０２によって与えられる統計情報と、視差補償予測回
路１０４によって与えられる視差補償予測画像を用い
て、（３）式の距離計算を行い、クラスタリングに基づ
く画像＃２の領域分割を実現する。統計情報計算回路１
０２は、画像＃２の画素値と、領域分割回路１０１によ
って与えられる領域分割情報を用いて、領域毎の画素値
平均、画素値分散、重心位置等の計算を行う。視差検出
回路１０３は、基準画像＃１の画素値と、入力画像の画
素値と、領域分割回路１０１によって与えられる領域分
割情報を用いて、視差補償予測画像の誤差が最小となる
ような水平１次元の領域単位の視差ベクトルを求める。
視差補償予測回路１０４は、基準画像＃１の画素値と、
視差ベクトル検出回路１０３によって与えられる視差ベ
クトルを用いて、画像＃２に対する視差補償予測画像を
作成する。以上の処理を数回繰り返すことで、画像＃２
に対して、視差補償予測誤差を十分に低減し、かつ圧縮
の容易な滑らかな視差情報を得ることができる。領域分
割回路１０５、１０９、統計情報計算回路１０６、１１
０、視差検出回路１０７、１１１、視差補償予測回路１
０８、１１２の動作は、それぞれ領域分割回路１０１、
統計情報計算回路１０２、視差ベクトル検出回路１０
３、視差補償予測回路１０４の動作に等しい。以下、点
線で囲んだ回路１００を、視差情報検出回路と呼ぶ。こ
の視差情報検出回路１００により、ｎ枚の多眼画像から
の効率的な視差検出が実現できる。
実施例を示すブロック図である。ｎ枚の視差を有する画
像を入力とし、その中の１枚を基準画像＃１とし、残り
の画像に対しては以下の視差検出を実行する。領域分割
回路１０１は、画像＃２の画素値と、統計情報計算回路
１０２によって与えられる統計情報と、視差補償予測回
路１０４によって与えられる視差補償予測画像を用い
て、（３）式の距離計算を行い、クラスタリングに基づ
く画像＃２の領域分割を実現する。統計情報計算回路１
０２は、画像＃２の画素値と、領域分割回路１０１によ
って与えられる領域分割情報を用いて、領域毎の画素値
平均、画素値分散、重心位置等の計算を行う。視差検出
回路１０３は、基準画像＃１の画素値と、入力画像の画
素値と、領域分割回路１０１によって与えられる領域分
割情報を用いて、視差補償予測画像の誤差が最小となる
ような水平１次元の領域単位の視差ベクトルを求める。
視差補償予測回路１０４は、基準画像＃１の画素値と、
視差ベクトル検出回路１０３によって与えられる視差ベ
クトルを用いて、画像＃２に対する視差補償予測画像を
作成する。以上の処理を数回繰り返すことで、画像＃２
に対して、視差補償予測誤差を十分に低減し、かつ圧縮
の容易な滑らかな視差情報を得ることができる。領域分
割回路１０５、１０９、統計情報計算回路１０６、１１
０、視差検出回路１０７、１１１、視差補償予測回路１
０８、１１２の動作は、それぞれ領域分割回路１０１、
統計情報計算回路１０２、視差ベクトル検出回路１０
３、視差補償予測回路１０４の動作に等しい。以下、点
線で囲んだ回路１００を、視差情報検出回路と呼ぶ。こ
の視差情報検出回路１００により、ｎ枚の多眼画像から
の効率的な視差検出が実現できる。
【００５０】図１７は、領域分割回路１０１の構成例の
詳細を示している。差分自乗回路１は、画像＃２の輝度
値と、統計情報計算回路１０２によって与えられるクラ
スタ毎の輝度の平均値を入力とし、それらの差分の自乗
を計算する。差分自乗回路２、３は、画像＃２の色差値
と、統計情報計算回路１０２によって与えられるクラス
タ毎の色差の平均値を入力とし、それらの差分の自乗を
計算する。差分自乗回路４、５は、画像＃２の画素の位
置情報と、統計情報計算回路１０２によって与えられる
クラスタ毎の重心位置を入力とし、それらの差分の自乗
を計算する。重み付き加算器９は、（３）式に従って、
差分自乗回路１〜８から与えられる差分自乗値の重み付
き加算を行う。メモリ１０は、重み付き加算器９の出力
結果を保持する。比較器１１は、メモリ１０に保持され
た周辺クラスタ毎の重み付き加算値の比較を行い、この
値を最小にするクラスタのインデクスを領域分割情報と
して出力する。
詳細を示している。差分自乗回路１は、画像＃２の輝度
値と、統計情報計算回路１０２によって与えられるクラ
スタ毎の輝度の平均値を入力とし、それらの差分の自乗
を計算する。差分自乗回路２、３は、画像＃２の色差値
と、統計情報計算回路１０２によって与えられるクラス
タ毎の色差の平均値を入力とし、それらの差分の自乗を
計算する。差分自乗回路４、５は、画像＃２の画素の位
置情報と、統計情報計算回路１０２によって与えられる
クラスタ毎の重心位置を入力とし、それらの差分の自乗
を計算する。重み付き加算器９は、（３）式に従って、
差分自乗回路１〜８から与えられる差分自乗値の重み付
き加算を行う。メモリ１０は、重み付き加算器９の出力
結果を保持する。比較器１１は、メモリ１０に保持され
た周辺クラスタ毎の重み付き加算値の比較を行い、この
値を最小にするクラスタのインデクスを領域分割情報と
して出力する。
【００５１】図１８は、統計情報計算回路１０２の構成
例の詳細を示している。加算器２０は、画像＃２の画素
の輝度値と、メモリ２５から与えられる輝度の累算値の
加算を行う。加算器２１、２２は、画像＃２の画素の色
差値と、メモリ２５から与えられる色差の累算値の加算
を行う。加算器２３、２４は、画像＃２の画素の位置座
標と、メモリ２５から与えられる位置座標の累算値の加
算を行う。メモリ２５は、領域分割回路１０１から与え
られる領域分割情報に従って、領域毎の輝度の累算値を
保持し、また入力画素の含まれるクラスタの輝度の累算
値を加算器２０への入力とする。メモリ２６、２７は、
領域分割回路１０１から与えられる領域分割情報に従っ
て、領域毎の色差の累算値を保持し、また入力画素の含
まれるクラスタの色差の累算値を加算器２１、２２への
入力とする。メモリ２８、２９は、領域分割回路１０１
から与えられる領域分割情報に従って、領域毎の位置座
標の累算値を保持し、また入力画素の含まれるクラスタ
の位置座標の累算値を加算器２３、２４への入力とす
る。カウンタ３０は、領域分割回路１０１から与えられ
る領域分割情報に従って、各クラスタに含まれる画素数
をカウントする。除算器３１は、メモリ２５から与えら
れるクラスタ毎の輝度の累算値の、カウンタ３０から与
えられるクラスタ毎の画素数による除算を実行し、クラ
スタ毎の輝度の平均値を出力する。除算器３２、３３
は、メモリ２６、２７から与えられるクラスタ毎の色差
の累算値の、カウンタ３０から与えられるクラスタ毎の
画素数による除算を実行し、クラスタ毎の色差の平均値
を出力する。除算器３４、３５は、メモリ２８、２９か
ら与えられるクラスタ毎の位置座標の累算値の、カウン
タ３０から与えられるクラスタ毎の画素数による除算を
実行し、クラスタ毎の重心位置を出力する。
例の詳細を示している。加算器２０は、画像＃２の画素
の輝度値と、メモリ２５から与えられる輝度の累算値の
加算を行う。加算器２１、２２は、画像＃２の画素の色
差値と、メモリ２５から与えられる色差の累算値の加算
を行う。加算器２３、２４は、画像＃２の画素の位置座
標と、メモリ２５から与えられる位置座標の累算値の加
算を行う。メモリ２５は、領域分割回路１０１から与え
られる領域分割情報に従って、領域毎の輝度の累算値を
保持し、また入力画素の含まれるクラスタの輝度の累算
値を加算器２０への入力とする。メモリ２６、２７は、
領域分割回路１０１から与えられる領域分割情報に従っ
て、領域毎の色差の累算値を保持し、また入力画素の含
まれるクラスタの色差の累算値を加算器２１、２２への
入力とする。メモリ２８、２９は、領域分割回路１０１
から与えられる領域分割情報に従って、領域毎の位置座
標の累算値を保持し、また入力画素の含まれるクラスタ
の位置座標の累算値を加算器２３、２４への入力とす
る。カウンタ３０は、領域分割回路１０１から与えられ
る領域分割情報に従って、各クラスタに含まれる画素数
をカウントする。除算器３１は、メモリ２５から与えら
れるクラスタ毎の輝度の累算値の、カウンタ３０から与
えられるクラスタ毎の画素数による除算を実行し、クラ
スタ毎の輝度の平均値を出力する。除算器３２、３３
は、メモリ２６、２７から与えられるクラスタ毎の色差
の累算値の、カウンタ３０から与えられるクラスタ毎の
画素数による除算を実行し、クラスタ毎の色差の平均値
を出力する。除算器３４、３５は、メモリ２８、２９か
ら与えられるクラスタ毎の位置座標の累算値の、カウン
タ３０から与えられるクラスタ毎の画素数による除算を
実行し、クラスタ毎の重心位置を出力する。
【００５２】図１９は、視差検出回路１０３の構成例の
詳細を示している。画素シフト回路４０は、画像＃１の
画素の輝度値の水平方向のシフトを実行する。画素シフ
ト回路４１、４２は、画像＃１の画素の色差値の水平方
向のシフトを実行する。差分自乗計算回路４３は、画素
シフト回路４０によって水平方向にシフトされた画像＃
１の画素の輝度値と、画像＃２の画素の輝度値の差分の
自乗を出力する。差分自乗計算回路４４、４５は、画素
シフト回路４１、４２によって水平方向にシフトされた
画像＃１の画素の色差値と、画像＃２の画素の色差値の
差分の自乗を出力する。加算器４６は、差分自乗計算回
路４３、４４、４５の出力と、メモリ４７から与えられ
る累算値の加算を実行する。メモリ４７は、領域分割回
路１０１から与えられる領域分割情報に従って、クラス
タ毎に、水平方向のシフト量に応じた差分自乗値の累算
値を保持し、また画像＃２の入力画素の含まれるクラス
タの累算値を加算器４６への入力とする。比較器４８
は、クラスタ毎に、メモリ４７に保持された水平方向の
シフト量に応じた差分自乗値の累算値の比較を行い、こ
の値を最小にする水平方向のシフト量を視差ベクトルと
して出力する。
詳細を示している。画素シフト回路４０は、画像＃１の
画素の輝度値の水平方向のシフトを実行する。画素シフ
ト回路４１、４２は、画像＃１の画素の色差値の水平方
向のシフトを実行する。差分自乗計算回路４３は、画素
シフト回路４０によって水平方向にシフトされた画像＃
１の画素の輝度値と、画像＃２の画素の輝度値の差分の
自乗を出力する。差分自乗計算回路４４、４５は、画素
シフト回路４１、４２によって水平方向にシフトされた
画像＃１の画素の色差値と、画像＃２の画素の色差値の
差分の自乗を出力する。加算器４６は、差分自乗計算回
路４３、４４、４５の出力と、メモリ４７から与えられ
る累算値の加算を実行する。メモリ４７は、領域分割回
路１０１から与えられる領域分割情報に従って、クラス
タ毎に、水平方向のシフト量に応じた差分自乗値の累算
値を保持し、また画像＃２の入力画素の含まれるクラス
タの累算値を加算器４６への入力とする。比較器４８
は、クラスタ毎に、メモリ４７に保持された水平方向の
シフト量に応じた差分自乗値の累算値の比較を行い、こ
の値を最小にする水平方向のシフト量を視差ベクトルと
して出力する。
【００５３】図２０は、視差補償予測回路１０３の構成
例の詳細を示している。画素シフト回路５０は、視差検
出回路１０３から与えられる視差ベクトルに従って、画
像＃１の画素の輝度値の水平方向のシフトを実行する。
画素シフト回路５１、５２は、視差検出回路１０３から
与えられる視差ベクトルに従って、画像＃１の画素の色
差値の水平方向のシフトを実行する。
例の詳細を示している。画素シフト回路５０は、視差検
出回路１０３から与えられる視差ベクトルに従って、画
像＃１の画素の輝度値の水平方向のシフトを実行する。
画素シフト回路５１、５２は、視差検出回路１０３から
与えられる視差ベクトルに従って、画像＃１の画素の色
差値の水平方向のシフトを実行する。
【００５４】次に、図２は、第２の発明の３次元画像符
号化装置の一実施例を示すブロック図である。図２で
は、基準画像と視差情報を圧縮する。視差情報検出回路
１２０の機能は、前述の視差情報検出回路１００の機能
に等しい。圧縮回路１２１は基準画像の圧縮を実行し、
圧縮回路１２２〜１２４は視差情報の圧縮を実行する。
圧縮アルゴリズムは任意であり、ＭＰＥＧ、Ｈ．２６１
等の既存の国際標準方式を適用してもよい。
号化装置の一実施例を示すブロック図である。図２で
は、基準画像と視差情報を圧縮する。視差情報検出回路
１２０の機能は、前述の視差情報検出回路１００の機能
に等しい。圧縮回路１２１は基準画像の圧縮を実行し、
圧縮回路１２２〜１２４は視差情報の圧縮を実行する。
圧縮アルゴリズムは任意であり、ＭＰＥＧ、Ｈ．２６１
等の既存の国際標準方式を適用してもよい。
【００５５】図３は、第３の発明の３次元画像符号化装
置の一実施例を示すブロック図である。図３では、基準
画像、視差情報、視差補償予測誤差を圧縮する。視差情
報検出回路１３０の機能は、前述の視差情報検出回路１
００の機能に等しい。圧縮回路１３１〜１３４の機能
は、それぞれ前述の圧縮回路１２１〜１２４の機能に等
しい。視差補償予測回路１３５〜１３７は、それぞれ基
準画像と視差情報を用いて、視差補償予測画像を作成す
る。差分器１３８〜１４０は、それぞれ視差検出された
入力画像と対応する視差補償予測画像との差分である視
差補償予測誤差を出力する。圧縮回路１４１〜１４３
は、それぞれ視差補償予測誤差の圧縮を実行する。圧縮
アルゴリズムは任意であり、ＭＰＥＧ、Ｈ．２６１等の
既存の国際標準方式を適用してもよい。以上の構成によ
る３次元画像符号化装置により、ｎ枚の多眼画像の効率
的な圧縮が実現できる。
置の一実施例を示すブロック図である。図３では、基準
画像、視差情報、視差補償予測誤差を圧縮する。視差情
報検出回路１３０の機能は、前述の視差情報検出回路１
００の機能に等しい。圧縮回路１３１〜１３４の機能
は、それぞれ前述の圧縮回路１２１〜１２４の機能に等
しい。視差補償予測回路１３５〜１３７は、それぞれ基
準画像と視差情報を用いて、視差補償予測画像を作成す
る。差分器１３８〜１４０は、それぞれ視差検出された
入力画像と対応する視差補償予測画像との差分である視
差補償予測誤差を出力する。圧縮回路１４１〜１４３
は、それぞれ視差補償予測誤差の圧縮を実行する。圧縮
アルゴリズムは任意であり、ＭＰＥＧ、Ｈ．２６１等の
既存の国際標準方式を適用してもよい。以上の構成によ
る３次元画像符号化装置により、ｎ枚の多眼画像の効率
的な圧縮が実現できる。
【００５６】ただし、前記のような任意形状の領域分割
を行う場合には、領域形状が未知のため、すべての画素
の視差ベクトルを符号化対象としなければならない。こ
れに対して、ブロックマッチングの場合には、ブロック
形状が既知のため、符号化対象となる視差ベクトルはブ
ロック単位に一つでよい。このために、任意形状の領域
分割によって視差検出を行う場合、視差情報の圧縮によ
る発生情報量が非常に大きくなる場合がある。そこで、
発生情報量を削減する目的で、長方形、もしくはライン
を領域分割の最小単位として視差検出を行う方式が考え
られる。すなわち、第１の発明に述べた領域分割手段、
統計情報計算手段、視差検出手段、視差補償予測手段に
おける分割領域の最小単位を、画素ではなく長方形、も
しくはラインとして、領域分割、視差検出を実行する。
これによって、一つの長方形、もしくはラインに含まれ
る画素数分の視差情報を間引くことが可能であり、かつ
ブロックマッチング程の予測誤差の増大は招くことな
く、前述の発生情報量の増加の問題を緩和できる。
を行う場合には、領域形状が未知のため、すべての画素
の視差ベクトルを符号化対象としなければならない。こ
れに対して、ブロックマッチングの場合には、ブロック
形状が既知のため、符号化対象となる視差ベクトルはブ
ロック単位に一つでよい。このために、任意形状の領域
分割によって視差検出を行う場合、視差情報の圧縮によ
る発生情報量が非常に大きくなる場合がある。そこで、
発生情報量を削減する目的で、長方形、もしくはライン
を領域分割の最小単位として視差検出を行う方式が考え
られる。すなわち、第１の発明に述べた領域分割手段、
統計情報計算手段、視差検出手段、視差補償予測手段に
おける分割領域の最小単位を、画素ではなく長方形、も
しくはラインとして、領域分割、視差検出を実行する。
これによって、一つの長方形、もしくはラインに含まれ
る画素数分の視差情報を間引くことが可能であり、かつ
ブロックマッチング程の予測誤差の増大は招くことな
く、前述の発生情報量の増加の問題を緩和できる。
【００５７】図４は、第４の発明の視差情報検出装置の
一実施例を示すブロック図であり、上記の長方形、もし
くはラインを領域分割の最小単位とする視差情報検出方
式の実施例を示している。画素グループ化回路１５０〜
１５２は、入力画像を長方形、もしくはライン単位にグ
ループ化し、視差情報検出回路１５３への入力とする。
視差情報検出回路１５３の機能は、前述の視差情報検出
回路１００の機能に等しい。この回路構成により、ｎ枚
の多眼画像からの効率的な視差検出が実現できる。
一実施例を示すブロック図であり、上記の長方形、もし
くはラインを領域分割の最小単位とする視差情報検出方
式の実施例を示している。画素グループ化回路１５０〜
１５２は、入力画像を長方形、もしくはライン単位にグ
ループ化し、視差情報検出回路１５３への入力とする。
視差情報検出回路１５３の機能は、前述の視差情報検出
回路１００の機能に等しい。この回路構成により、ｎ枚
の多眼画像からの効率的な視差検出が実現できる。
【００５８】図５は、第５の発明の３次元画像符号化装
置の一実施例を示すブロック図である。図５は、基準画
像と視差情報を圧縮する。画素グループ化回路１６０〜
１６２の機能は、それぞれ前述の画素グループ化回路１
５０〜１５２の機能に等しい。視差情報検出回路１６３
の機能は、前述の視差情報検出回路１００の機能に等し
い。圧縮回路１６４〜１６７の機能は、それぞれ前述の
圧縮回路１２１〜１２４の機能に等しい。
置の一実施例を示すブロック図である。図５は、基準画
像と視差情報を圧縮する。画素グループ化回路１６０〜
１６２の機能は、それぞれ前述の画素グループ化回路１
５０〜１５２の機能に等しい。視差情報検出回路１６３
の機能は、前述の視差情報検出回路１００の機能に等し
い。圧縮回路１６４〜１６７の機能は、それぞれ前述の
圧縮回路１２１〜１２４の機能に等しい。
【００５９】図６は、第６の発明の３次元画像符号化装
置の一実施例を示すブロック図である。図６では、基準
画像、視差情報、視差補償予測誤差を圧縮する。画素グ
ループ化回路１７０〜１７２の機能は、それぞれ前述の
画素グループ化回路１５０〜１５２の機能に等しい。視
差情報検出回路１７３の機能は、前述の視差情報検出回
路１００の機能に等しい。圧縮回路１７４〜１７７の機
能は、それぞれ前述の圧縮回路１２１〜１２４の機能に
等しい。視差補償予測回路１７８〜１８０の機能は、そ
れぞれ前述の視差補償予測回路１３５〜１３７の機能に
等しい。差分器１８１〜１８３の機能は、それぞれ前述
の差分器１３８〜１４０の機能に等しい。圧縮回路１８
４〜１８６の機能は、それぞれ前述の圧縮回路１４１〜
１４３の機能に等しい。以上の構成による３次元画像符
号化装置により、ｎ枚の多眼画像の効率的な圧縮が実現
できる。
置の一実施例を示すブロック図である。図６では、基準
画像、視差情報、視差補償予測誤差を圧縮する。画素グ
ループ化回路１７０〜１７２の機能は、それぞれ前述の
画素グループ化回路１５０〜１５２の機能に等しい。視
差情報検出回路１７３の機能は、前述の視差情報検出回
路１００の機能に等しい。圧縮回路１７４〜１７７の機
能は、それぞれ前述の圧縮回路１２１〜１２４の機能に
等しい。視差補償予測回路１７８〜１８０の機能は、そ
れぞれ前述の視差補償予測回路１３５〜１３７の機能に
等しい。差分器１８１〜１８３の機能は、それぞれ前述
の差分器１３８〜１４０の機能に等しい。圧縮回路１８
４〜１８６の機能は、それぞれ前述の圧縮回路１４１〜
１４３の機能に等しい。以上の構成による３次元画像符
号化装置により、ｎ枚の多眼画像の効率的な圧縮が実現
できる。
【００６０】一方、異なる焦点画像の鮮鋭化の問題は、
従来は、ぼけの生成過程を点拡がり関数としてモデル化
する線形フィルタを用いた方式が報告されてきた。しか
し、線形フィルタ方式は、一般的に、雑音の影響を受け
やすい、という欠点がある。これに対して、クラスタリ
ングは雑音にロバストな方式として知られており、上記
画像の鮮鋭化の問題に対しても、クラスタリングに基づ
く領域分割手法の応用を考えることができる。例えば１
枚の基準画像を決め、それに対して従来の技術に述べた
５次元クラスタリング等を用いて領域分割を行い、確定
した領域分割結果をその他の画像に適用し、対応する領
域で色輝度の平均、分散等の統計情報を計算し、それら
の統計情報を利用して合焦領域を確定する方式が考えら
れる。
従来は、ぼけの生成過程を点拡がり関数としてモデル化
する線形フィルタを用いた方式が報告されてきた。しか
し、線形フィルタ方式は、一般的に、雑音の影響を受け
やすい、という欠点がある。これに対して、クラスタリ
ングは雑音にロバストな方式として知られており、上記
画像の鮮鋭化の問題に対しても、クラスタリングに基づ
く領域分割手法の応用を考えることができる。例えば１
枚の基準画像を決め、それに対して従来の技術に述べた
５次元クラスタリング等を用いて領域分割を行い、確定
した領域分割結果をその他の画像に適用し、対応する領
域で色輝度の平均、分散等の統計情報を計算し、それら
の統計情報を利用して合焦領域を確定する方式が考えら
れる。
【００６１】具体的な合焦領域判定アルゴリズムとして
は、例えば、
は、例えば、
【００６２】
【外７】
【００６３】を着目クラスタｎの色輝度の平均値、Ｎを
着目クラスタｎの隣接クラスタの集合とし、焦点の異な
る画像毎に着目クラスタ
着目クラスタｎの隣接クラスタの集合とし、焦点の異な
る画像毎に着目クラスタ
【００６４】
【数４】
【００６５】の値を計算し、この値を最大にするクラス
タを合焦領域と判断する方式が考えられる。これは、ク
ラスタリングによって色輝度の類似した画素が統合され
るため、合焦時にコントラストが最大になると考えれ
ば、隣接クラスタ間の差分も最大になるであろう、とい
う推測を背景にしている。あるいは、着目クラスタｎの
分散値の大小によって合焦判断を行う方式も考えられ
る。これは、従来の技術に述べたブロック単位の方式
を、任意形状であるクラスタ単位に拡張した方式であ
る。いずれにせよ、クラスタリングは線形フィルタ方式
よりも雑音に対する耐性が強く、安定した合焦判断を行
うことができる。
タを合焦領域と判断する方式が考えられる。これは、ク
ラスタリングによって色輝度の類似した画素が統合され
るため、合焦時にコントラストが最大になると考えれ
ば、隣接クラスタ間の差分も最大になるであろう、とい
う推測を背景にしている。あるいは、着目クラスタｎの
分散値の大小によって合焦判断を行う方式も考えられ
る。これは、従来の技術に述べたブロック単位の方式
を、任意形状であるクラスタ単位に拡張した方式であ
る。いずれにせよ、クラスタリングは線形フィルタ方式
よりも雑音に対する耐性が強く、安定した合焦判断を行
うことができる。
【００６６】図７は第７の発明の画像鮮鋭化装置の一実
施例を示すブロック図である。ｍ枚の焦点の異なる画像
を入力とし、その中の１枚を基準画像＃１とする。領域
分割回路１９１は、基準画像＃１の画素値と統計情報計
算回路１９２によって与えられる統計情報を用いて、
（１）式の距離計算を行い、クラスタリングに基づく基
準画像＃１の領域分割を実現する。統計情報計算回路１
９２は、基準画像＃１の画素値と、領域分割回路１９１
によって与えられる領域分割情報を用いて、領域毎の基
準画像＃１の画素値平均、画素値分散、重心位置等の計
算を行う。統計情報計算回路１９３は、画像＃２の画素
値と、領域分割回路１９１によって与えられる基準画像
＃１の領域分割情報を用いて、基準画像＃１に対して求
められた領域毎の画像＃２の画素値平均、画素値分散、
重心位置等の計算を行う。統計情報計算回路１９４、１
９５の機能は、対象画像が画像＃３、画像＃ｍとなるこ
とを除いて、前述の統計情報計算回路１９３の機能と同
じである。合焦判定回路１９６は、統計情報計算回路１
９３〜１９５によって与えられる画像＃１〜＃ｍの統計
情報を用いて、（４）式の計算を行い、クラスタリング
に基づく合焦判定を実現する。画像合成回路１９７は、
領域分割回路１９１によって与えられる基準画像＃１の
領域分割情報と、合焦判定回路１９６によって与えられ
る合焦判定情報に従って、ｍ枚の焦点の異なる画像から
鮮鋭領域を選択するスイッチとして機能する。領域分割
回路１９１と統計情報計算回路１９２による領域分割処
理を繰り返すことで、画像＃１の安定した領域分割を実
現することができる。以下、点線で囲んだ回路１９０
を、画像鮮鋭化回路と呼ぶ。この画像鮮鋭化回路１９０
により、ｍ枚の焦点の異なる画像から効率的な鮮鋭画像
の作成を実現できる。
施例を示すブロック図である。ｍ枚の焦点の異なる画像
を入力とし、その中の１枚を基準画像＃１とする。領域
分割回路１９１は、基準画像＃１の画素値と統計情報計
算回路１９２によって与えられる統計情報を用いて、
（１）式の距離計算を行い、クラスタリングに基づく基
準画像＃１の領域分割を実現する。統計情報計算回路１
９２は、基準画像＃１の画素値と、領域分割回路１９１
によって与えられる領域分割情報を用いて、領域毎の基
準画像＃１の画素値平均、画素値分散、重心位置等の計
算を行う。統計情報計算回路１９３は、画像＃２の画素
値と、領域分割回路１９１によって与えられる基準画像
＃１の領域分割情報を用いて、基準画像＃１に対して求
められた領域毎の画像＃２の画素値平均、画素値分散、
重心位置等の計算を行う。統計情報計算回路１９４、１
９５の機能は、対象画像が画像＃３、画像＃ｍとなるこ
とを除いて、前述の統計情報計算回路１９３の機能と同
じである。合焦判定回路１９６は、統計情報計算回路１
９３〜１９５によって与えられる画像＃１〜＃ｍの統計
情報を用いて、（４）式の計算を行い、クラスタリング
に基づく合焦判定を実現する。画像合成回路１９７は、
領域分割回路１９１によって与えられる基準画像＃１の
領域分割情報と、合焦判定回路１９６によって与えられ
る合焦判定情報に従って、ｍ枚の焦点の異なる画像から
鮮鋭領域を選択するスイッチとして機能する。領域分割
回路１９１と統計情報計算回路１９２による領域分割処
理を繰り返すことで、画像＃１の安定した領域分割を実
現することができる。以下、点線で囲んだ回路１９０
を、画像鮮鋭化回路と呼ぶ。この画像鮮鋭化回路１９０
により、ｍ枚の焦点の異なる画像から効率的な鮮鋭画像
の作成を実現できる。
【００６７】図２１は、領域分割回路１９１の構成性の
詳細を示している。差分自乗回路６０は、画像＃１の輝
度値と、統計情報計算回路１９２によって与えられるク
ラスタ毎の輝度の平均値を入力とし、それらの差分の自
乗を計算する。差分自乗回路６１、６２は、画像＃１の
色差値と、統計情報計算回路によって与えられるクラス
タ毎の色差の平均値を入力とし、それらの差分の自乗を
計算する。差分自乗回路６３、６４は、画像＃１の画素
の位置情報と、統計情報計算回路１９２によって与えら
れるクラスタ毎の重心位置を入力とし、それらの差分の
自乗を計算する。重み付き加算器６５は、（４）式に従
って、差分自乗回路６０〜６４から与えられる差分自乗
値の重み付き加算を行う。メモリ６６は、重み付き加算
器６５の出力結果を保持する。比較器６７は、メモリ６
６に保持された周辺クラスタ毎の重み付き加算値の比較
を行い、この値を最小にするクラスタのインデクスを領
域分割情報として出力する。
詳細を示している。差分自乗回路６０は、画像＃１の輝
度値と、統計情報計算回路１９２によって与えられるク
ラスタ毎の輝度の平均値を入力とし、それらの差分の自
乗を計算する。差分自乗回路６１、６２は、画像＃１の
色差値と、統計情報計算回路によって与えられるクラス
タ毎の色差の平均値を入力とし、それらの差分の自乗を
計算する。差分自乗回路６３、６４は、画像＃１の画素
の位置情報と、統計情報計算回路１９２によって与えら
れるクラスタ毎の重心位置を入力とし、それらの差分の
自乗を計算する。重み付き加算器６５は、（４）式に従
って、差分自乗回路６０〜６４から与えられる差分自乗
値の重み付き加算を行う。メモリ６６は、重み付き加算
器６５の出力結果を保持する。比較器６７は、メモリ６
６に保持された周辺クラスタ毎の重み付き加算値の比較
を行い、この値を最小にするクラスタのインデクスを領
域分割情報として出力する。
【００６８】統計情報計算回路１９２〜１９５の詳細
は、既に述べた統計情報計算回路１０２の詳細に等し
い。
は、既に述べた統計情報計算回路１０２の詳細に等し
い。
【００６９】図２２は、合焦判定回路１９６の構成例の
詳細を示している。平均差分自乗回路７０は、統計情報
計算回路１９２によって与えられる画像＃１の着目クラ
スタの輝度の平均値と周辺クラスタの輝度の平均値の差
分の自乗を計算する。平均差分自乗回路７１、７２は、
統計情報計算回路１９２によって与えられる画像＃１の
着目クラスタの色差の平均値と周辺クラスタの色差の平
均値の差分の自乗を計算する。平均差分自乗回路７３〜
８１の機能は、平均差分自乗回路７０〜７２の機能に等
しい。加算器８２は、平均差分自乗回路７０〜７２によ
って与えられる値と、メモリ８６から与えられるクラス
タ毎の累積値の加算を行う。加算器８３〜８５の機能
は、加算器８２の機能に等しい。メモリ８６は、加算器
８２から与えられる累積値を保持し、またその累積値を
加算器８２への入力とする。メモリ８７〜８９の機能
は、メモリ８６の機能に等しい。比較器９０は、メモリ
８６〜８９に保持された累積値の比較を行い、その累積
値を最大にするクラスタを含む画像のインデクスを合焦
情報として出力する。
詳細を示している。平均差分自乗回路７０は、統計情報
計算回路１９２によって与えられる画像＃１の着目クラ
スタの輝度の平均値と周辺クラスタの輝度の平均値の差
分の自乗を計算する。平均差分自乗回路７１、７２は、
統計情報計算回路１９２によって与えられる画像＃１の
着目クラスタの色差の平均値と周辺クラスタの色差の平
均値の差分の自乗を計算する。平均差分自乗回路７３〜
８１の機能は、平均差分自乗回路７０〜７２の機能に等
しい。加算器８２は、平均差分自乗回路７０〜７２によ
って与えられる値と、メモリ８６から与えられるクラス
タ毎の累積値の加算を行う。加算器８３〜８５の機能
は、加算器８２の機能に等しい。メモリ８６は、加算器
８２から与えられる累積値を保持し、またその累積値を
加算器８２への入力とする。メモリ８７〜８９の機能
は、メモリ８６の機能に等しい。比較器９０は、メモリ
８６〜８９に保持された累積値の比較を行い、その累積
値を最大にするクラスタを含む画像のインデクスを合焦
情報として出力する。
【００７０】さらに、視差検出技術と画像鮮鋭化技術の
組合せとして、図１６に示す方式を考えることもでき
る。焦点の異なる画像に対する画像鮮鋭化手段を視差を
有する位置に複数個備え、視差を有する複数枚の鮮鋭画
像を新たな入力として３次元画像符号化を実行する。こ
れによって、奥行き方向の焦点の異なる画像ｍ枚が、視
差方向にｎ組存在する、総計ｍｎ枚の画像情報が、１枚
の基準鮮鋭画像と（ｎ−１）枚の視差の圧縮情報に集約
される。
組合せとして、図１６に示す方式を考えることもでき
る。焦点の異なる画像に対する画像鮮鋭化手段を視差を
有する位置に複数個備え、視差を有する複数枚の鮮鋭画
像を新たな入力として３次元画像符号化を実行する。こ
れによって、奥行き方向の焦点の異なる画像ｍ枚が、視
差方向にｎ組存在する、総計ｍｎ枚の画像情報が、１枚
の基準鮮鋭画像と（ｎ−１）枚の視差の圧縮情報に集約
される。
【００７１】図８は、第８の発明の３次元画像符号化装
置の一実施例を示すブロック図である。画像鮮鋭化回路
２００〜２０２の機能は、それぞれ前述の画像鮮鋭化回
路１９０の機能に等しい。視差情報検出回路２０３の機
能は、前述の視差情報検出回路１００の機能に等しい。
圧縮回路２０４は基準鮮鋭画像を圧縮し、圧縮回路２０
５、２０６は視差情報を圧縮する。圧縮アルゴリズムは
任意であり、ＭＰＥＧ、Ｈ．２６１等の既存の国際標準
方式を適用してもよい。
置の一実施例を示すブロック図である。画像鮮鋭化回路
２００〜２０２の機能は、それぞれ前述の画像鮮鋭化回
路１９０の機能に等しい。視差情報検出回路２０３の機
能は、前述の視差情報検出回路１００の機能に等しい。
圧縮回路２０４は基準鮮鋭画像を圧縮し、圧縮回路２０
５、２０６は視差情報を圧縮する。圧縮アルゴリズムは
任意であり、ＭＰＥＧ、Ｈ．２６１等の既存の国際標準
方式を適用してもよい。
【００７２】図９は、第９の発明の３次元画像符号化装
置の一実施例を示すブロック図である。画像鮮鋭化回路
２１０〜２１２の機能は、それぞれ前述の画像鮮鋭化回
路１９０の機能に等しい。視差情報検出回路２１３の機
能は、前述の視差情報検出回路１００の機能に等しい。
圧縮回路２１４〜２１６の機能は、それぞれ前述の圧縮
回路２０４〜２０６の機能に等しい。視差補償予測回路
２１７、２１８は、基準鮮鋭画像と視差情報を用いて視
差補償予測画像を作成する。差分器２１９、２２０は、
視差検出された鮮鋭画像と対応する視差補償予測画像と
の差分である視差補償予測誤差を出力する。圧縮回路２
２１、２２２は、視差補償予測誤差の圧縮を実行する。
圧縮アルゴリズムは任意であり、ＭＰＥＧ、Ｈ．２６１
等の既存の国際標準方式を適用してもよい。
置の一実施例を示すブロック図である。画像鮮鋭化回路
２１０〜２１２の機能は、それぞれ前述の画像鮮鋭化回
路１９０の機能に等しい。視差情報検出回路２１３の機
能は、前述の視差情報検出回路１００の機能に等しい。
圧縮回路２１４〜２１６の機能は、それぞれ前述の圧縮
回路２０４〜２０６の機能に等しい。視差補償予測回路
２１７、２１８は、基準鮮鋭画像と視差情報を用いて視
差補償予測画像を作成する。差分器２１９、２２０は、
視差検出された鮮鋭画像と対応する視差補償予測画像と
の差分である視差補償予測誤差を出力する。圧縮回路２
２１、２２２は、視差補償予測誤差の圧縮を実行する。
圧縮アルゴリズムは任意であり、ＭＰＥＧ、Ｈ．２６１
等の既存の国際標準方式を適用してもよい。
【００７３】図１０は、第１０の発明の３次元画像符号
化装置の一実施例を示すブロック図である。画像鮮鋭化
回路２３０〜２３２の機能は、それぞれ前述の画像鮮鋭
化回路１９０の機能に等しい。画素グループ化回路２３
３、２３４の機能は、前述の画素グループ化回路１５０
の機能に等しい。視差情報検出回路２３５の機能は、前
述の視差情報検出回路１００の機能に等しい。圧縮回路
２３６〜２３８の機能は、それぞれ前述の圧縮回路２０
４〜２０６の機能に等しい。
化装置の一実施例を示すブロック図である。画像鮮鋭化
回路２３０〜２３２の機能は、それぞれ前述の画像鮮鋭
化回路１９０の機能に等しい。画素グループ化回路２３
３、２３４の機能は、前述の画素グループ化回路１５０
の機能に等しい。視差情報検出回路２３５の機能は、前
述の視差情報検出回路１００の機能に等しい。圧縮回路
２３６〜２３８の機能は、それぞれ前述の圧縮回路２０
４〜２０６の機能に等しい。
【００７４】図１１は、第１１の発明の３次元画像符号
化装置の一実施例を示すブロック図である。画像鮮鋭化
回路２４０〜２４２の機能は、それぞれ前述の画像鮮鋭
化回路１９０の機能に等しい。画素グループ化回路２４
３、２４４の機能は、前述の画素グループ化回路１５０
の機能に等しい。視差情報検出回路２４５の機能は、前
述の視差情報検出回路１００の機能に等しい。圧縮回路
２４６〜２４８の機能は、それぞれ前述の圧縮回路２０
４〜２０６の機能に等しい。視差補償予測回路２４９、
２５０の機能は、前述の視差補償予測回路２１７、２１
８の機能に等しい。差分器２５１、２５２の機能は、前
述の差分器２１９、２２０の機能に等しい。圧縮回路２
５３、２５４の機能は、前述の圧縮回路２２１、２２２
の機能に等しい。
化装置の一実施例を示すブロック図である。画像鮮鋭化
回路２４０〜２４２の機能は、それぞれ前述の画像鮮鋭
化回路１９０の機能に等しい。画素グループ化回路２４
３、２４４の機能は、前述の画素グループ化回路１５０
の機能に等しい。視差情報検出回路２４５の機能は、前
述の視差情報検出回路１００の機能に等しい。圧縮回路
２４６〜２４８の機能は、それぞれ前述の圧縮回路２０
４〜２０６の機能に等しい。視差補償予測回路２４９、
２５０の機能は、前述の視差補償予測回路２１７、２１
８の機能に等しい。差分器２５１、２５２の機能は、前
述の差分器２１９、２２０の機能に等しい。圧縮回路２
５３、２５４の機能は、前述の圧縮回路２２１、２２２
の機能に等しい。
【００７５】以上、図８〜図１１の構成によって、奥行
き方向ｍ枚、視差方向ｎ組の総計ｍｎ枚の画像情報が、
１枚の基準鮮鋭画像と（ｎ−１）枚の視差情報に効率良
く集約され、さらには効率良く圧縮される。
き方向ｍ枚、視差方向ｎ組の総計ｍｎ枚の画像情報が、
１枚の基準鮮鋭画像と（ｎ−１）枚の視差情報に効率良
く集約され、さらには効率良く圧縮される。
【００７６】図１２は、第１２の発明の３次元画像復号
装置の一実施例を示すブロック図であり、第２の発明、
第５の発明、第８の発明、もしくは第１０の発明によっ
て生成される圧縮情報を復号する実施例を表す。図１２
において、復号回路２６０〜２６３は圧縮情報の復号を
実行する。復号回路２６０によって復号される基準画像
と、復号回路２６１〜２６３によって復号される視差情
報を用いて、視差補償予測回路２６４〜２６６は視差補
償予測画像を復元する。これにより、１枚の基準画像と
複数枚の視差補償予測画像の復号が完了する。
装置の一実施例を示すブロック図であり、第２の発明、
第５の発明、第８の発明、もしくは第１０の発明によっ
て生成される圧縮情報を復号する実施例を表す。図１２
において、復号回路２６０〜２６３は圧縮情報の復号を
実行する。復号回路２６０によって復号される基準画像
と、復号回路２６１〜２６３によって復号される視差情
報を用いて、視差補償予測回路２６４〜２６６は視差補
償予測画像を復元する。これにより、１枚の基準画像と
複数枚の視差補償予測画像の復号が完了する。
【００７７】図１３は、第１３の発明の３次元画像復号
装置の一実施例を示すブロック図であり、第３の発明、
第６の発明、第９の発明、もしくは第１１の発明によっ
て生成される圧縮情報を復号する実施例を表す。図１３
では、復号回路２７０〜２７６は圧縮情報の復号を実行
する。復号回路２７０によって復号される基準画像と、
復号回路２７１〜２７３によって復号される視差情報を
用いて、視差補償予測回路２７７〜２７９は視差補償予
測画像を生成する。復号回路２７４〜２７６によって復
号される差分情報と、視差補償予測回路２７７〜２７９
によって生成される視差補償予測画像を用いて、加算器
２８０〜２８２は基準画像以外の画像を復元する。これ
により、１枚の基準画像とそれを除く複数枚の画像の復
号が完了する。
装置の一実施例を示すブロック図であり、第３の発明、
第６の発明、第９の発明、もしくは第１１の発明によっ
て生成される圧縮情報を復号する実施例を表す。図１３
では、復号回路２７０〜２７６は圧縮情報の復号を実行
する。復号回路２７０によって復号される基準画像と、
復号回路２７１〜２７３によって復号される視差情報を
用いて、視差補償予測回路２７７〜２７９は視差補償予
測画像を生成する。復号回路２７４〜２７６によって復
号される差分情報と、視差補償予測回路２７７〜２７９
によって生成される視差補償予測画像を用いて、加算器
２８０〜２８２は基準画像以外の画像を復元する。これ
により、１枚の基準画像とそれを除く複数枚の画像の復
号が完了する。
【００７８】
【発明の効果】以上説明したように、本発明により、視
差方向については予測誤差を大幅に低減する視差検出を
実現でき、奥行き方向については雑音に強い画像の鮮鋭
化を実現することができる。これによって、臨場感の優
れた３次元画像符号化を提供できる。
差方向については予測誤差を大幅に低減する視差検出を
実現でき、奥行き方向については雑音に強い画像の鮮鋭
化を実現することができる。これによって、臨場感の優
れた３次元画像符号化を提供できる。
【図１】第１の発明の視差情報検出装置の一実施例を示
すブロック図である。
すブロック図である。
【図２】第２の発明の３次元画像符号化装置の一実施例
を示すブロック図である。
を示すブロック図である。
【図３】第３の発明の３次元画像符号化装置の一実施例
を示すブロック図である。
を示すブロック図である。
【図４】第４の発明の視差情報検出装置の一実施例を示
すブロック図である。
すブロック図である。
【図５】第５の発明の３次元画像符号化装置の一実施例
を示すブロック図である。
を示すブロック図である。
【図６】第６の発明の３次元画像符号化装置の一実施例
を示すブロック図である。
を示すブロック図である。
【図７】第７の発明の画像鮮鋭化装置の一実施例を示す
ブロック図である。
ブロック図である。
【図８】第８の発明の３次元画像符号化装置の一実施例
を示すブロック図である。
を示すブロック図である。
【図９】第９の発明の３次元画像符号化装置の一実施例
を示すブロック図である。
を示すブロック図である。
【図１０】第１０の発明の３次元画像符号化装置の一実
施例を示すブロック図である。
施例を示すブロック図である。
【図１１】第１１の発明の３次元画像符号化装置の一実
施例を示すブロック図である。
施例を示すブロック図である。
【図１２】第１２の発明の３次元画像復号装置の一実施
例を示すブロック図である。
例を示すブロック図である。
【図１３】第１３の発明の３次元画像復号装置の一実施
例を示すブロック図である。
例を示すブロック図である。
【図１４】ステレオ画像からの視差検出を示す図であ
る。
る。
【図１５】焦点の異なる複数の画像の鮮鋭化を示す図で
ある。
ある。
【図１６】画像の鮮鋭化と視差検出の組み合わせを示す
図である。
図である。
【図１７】領域分割回路の詳細を示すブロック図であ
る。
る。
【図１８】統計情報計算回路の詳細を示すブロック図で
ある。
ある。
【図１９】視差検出回路の詳細を示すブロック図であ
る。
る。
【図２０】視差補償予測回路の詳細を示すブロック図で
ある。
ある。
【図２１】領域分割回路の詳細を示すブロック図であ
る。
る。
【図２２】合焦判定回路の詳細を示すブロック図であ
る。
る。
１００ 視差情報検出装置 １０１ 領域分割回路 １０２ 統計情報計算回路 １０３ 視差検出回路 １０４ 視差補償予測回路 １０５ 領域分割回路 １０６ 統計情報計算回路 １０７ 視差検出回路 １０８ 視差補償予測回路 １０９ 領域分割回路 １１０ 統計情報計算回路 １１１ 視差検出回路 １１２ 視差補償予測回路 １２０ 視差情報検出回路
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 13/02
Claims (13)
- 【請求項１】視差を有する複数枚の画像を入力とし、前
記複数枚の画像の中の１枚を基準画像とし、前記基準画
像を除く複数枚の画像毎に、その入力画像と、統計情報
と、予測画像を用いて画素ごとに複数のクラスタとの距
離計算を行ってクラスタリング行い前記入力画像の領域
分割を行う領域分割手段と、前記入力画像と、前記領域
分割手段によって与えられる領域分割情報を用いて前記
領域毎の画素値平均、画素値分散、重心位置を含む前記
統計情報を計算する統計情報計算手段と、前記基準画像
と、前記入力画像と、前記領域分割情報を用いて前記領
域単位に視差ベクトルを求める視差検出手段と、前記基
準画像と、前記視差ベクトルを用いて、前記入力画像の
前記予測画像を作成する視差補償予測手段とを備えるこ
とを特徴とする視差情報検出装置。 - 【請求項２】視差を有する複数枚の画像を入力とし、前
記複数枚の画像の中の１枚を基準画像とし、前記基準画
像を除く複数枚の画像毎に、その入力画像と、統計情報
と、予測画像を用いて画素ごとに複数のクラスタとの距
離計算を行ってクラスタリングを行い前記入力画像の領
域分割を行う領域分割手段と、前記入力画像と、前記領
域分割手段によって与えられる領域分割情報を用いて前
記領域毎の画素値平均、画素値分散、重心位置を含む前
記統計情報を計算する統計情報計算手段と、前記基準画
像と、前記入力画像と、前記領域分割情報を用いて前記
領域単位に視差ベクトルを求める視差検出手段と、前記
基準画像と、前記視差ベクトルを用いて、前記入力画像
の前記予測画像を作成する視差補償予測手段と、前記基
準画像を圧縮する手段と、前記視差ベクトルを圧縮する
手段とを備えることを特徴とする３次元画像符号化装
置。 - 【請求項３】視差を有する複数枚の画像を入力とし、前
記複数枚の画像の中の１枚を基準画像とし、前記基準画
像を除く複数枚の画像毎に、その入力画像と、統計情報
と、予測画像を用いて画素ごとに複数のクラスタとの距
離計算を行ってクラスタリングを行い前記入力画像の領
域分割を行う領域分割手段と、前記入力画像と、前記領
域分割手段によって与えられる領域分割情報を用いて前
記領域毎の画素値平均、画素値分散、重心位置を含む前
記統計情報を計算する統計情報計算手段と、前記基準画
像と、前記入力画像と、前記領域分割情報を用いて前記
領域単位に視差ベクトルを求める視差検出手段と、前記
基準画像と、前記視差ベクトルを用いて、前記入力画像
の前記予測画像を作成する視差補償予測手段と、前記基
準画像を圧縮する手段と、前記視差ベクトルの検出され
た画像毎に前記基準画像と前記視差ベクトルを用いて予
測画像を作成する視差補償予測手段と、前記視差ベクト
ルの検出された画像と前記予測画像との差分を取る手段
と、前記視差ベクトルを圧縮する手段と、前記差分情報
を圧縮する手段を備えることを特徴とする３次元画像符
号化装置。 - 【請求項４】視差を有する複数枚の画像に対して、前記
複数枚の画像の中の１枚を基準画像として入力し、前記
基準画像を除く複数枚の画像を長方形、もしくはライン
単位にグループ化して入力する手段を更に備え、前記グ
ループを領域分割の最小単位として視差ベクトルを得る
ことを特徴とする請求項１記載の視差情報検出装置。 - 【請求項５】視差を有する複数枚の画像に対して、前記
複数枚の画像の中の１枚を基準画像として入力し、前記
基準画像を除く複数枚の画像を長方形、もしくはライン
単位にグループ化して入力する手段を更に備え、前記グ
ループを領域分割の最小単位として視差ベクトルを得る
ことを特徴とする請求項２記載の３次元画像符号化装
置。 - 【請求項６】視差を有する複数枚の画像に対して、前記
複数枚の画像の中の１枚を基準画像として入力し、前記
基準画像を除く複数枚の画像を長方形、もしくはライン
単位にグループ化して入力する手段を更に備え、前記グ
ループを領域分割の最小単位として視差ベクトルを得る
ことを特徴とする請求項３記載の３次元画像符号化装
置。 - 【請求項７】合焦位置の異なる複数枚の画像を入力と
し、前記複数枚の画像の中の１枚を基準画像とし、前記
基準画像と、第１の統計情報を用いて画素ごとに複数の
クラスタとの距離計算を行ってクラスタリングを行い前
記基準画像の領域分割を行う領域分割手段と、前記基準
画像と、前記領域分割手段によって与えられる領域分割
情報を用いて前記領域毎の画素値平均、画素値分散、重
心位置を含む前記第１の統計情報を計算する第１の統計
情報計算手段と、前記基準画像を除く複数枚の画像毎
に、その入力画像と、前記領域分割情報を用いて、前記
入力画像における前記領域毎の画素値平均、画素値分散
を計算する第２の統計情報計算手段と、前記領域分割情
報と、前記第１の統計情報と、前記第２の統計情報を用
いて前記領域毎に合焦画像を決定する合焦判定手段と、
前記合焦位置の異なる複数枚の画像と、前記領域分割情
報と、前記合焦画像を用いて鮮鋭画像を出力する画像合
成手段とを備えることを特徴とする画像鮮鋭化装置。 - 【請求項８】請求項７記載の画像鮮鋭化装置を視差を有
する位置に複数個備え、視差を有する複数枚の鮮鋭画像
を入力とする請求項２記載の３次元画像符号化装置。 - 【請求項９】請求項７記載の画像鮮鋭化装置を視差を有
する位置に複数個備え、視差を有する複数枚の鮮鋭画像
を入力とする請求項３記載の３次元画像符号化装置。 - 【請求項１０】請求項７記載の画像鮮鋭化装置を視差を
有する位置に複数個備え、視差を有する複数枚の鮮鋭画
像を入力とする請求項５記載の３次元画像符号化装置。 - 【請求項１１】請求項７記載の画像鮮鋭化装置を視差を
有する位置に複数個備え、視差を有する複数枚の鮮鋭画
像を入力とする請求項６記載の３次元画像符号化装置。 - 【請求項１２】圧縮情報から基準画像と複数枚の視差ベ
クトルを復号する手段と、前記視差ベクトルの検出され
た画像毎に前記基準画像と前記視差ベクトルを用いて予
測画像を作成する視差補償予測手段を備えることを特徴
とする請求項２，５，８又は１０記載の３次元画像復号
装置。 - 【請求項１３】圧縮情報から基準画像と複数枚の視差ベ
クトルと複数枚の差分情報を復号する手段と、前記視差
ベクトルの検出された画像毎に前記基準画像と前記視差
ベクトルを用いて予測画像を作成する視差補償予測手段
と、前記予測画像と前記差分情報を加算する手段を備え
ることを特徴とする請求項３，６，９又は１１記載の３
次元画像復号装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24996195A JP3055438B2 (ja) | 1995-09-27 | 1995-09-27 | ３次元画像符号化装置 |
| US08/720,378 US5696551A (en) | 1995-09-27 | 1996-09-27 | Three-dimension picture coding system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24996195A JP3055438B2 (ja) | 1995-09-27 | 1995-09-27 | ３次元画像符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0993614A JPH0993614A (ja) | 1997-04-04 |
| JP3055438B2 true JP3055438B2 (ja) | 2000-06-26 |
Family
ID=17200771
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24996195A Expired - Fee Related JP3055438B2 (ja) | 1995-09-27 | 1995-09-27 | ３次元画像符号化装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5696551A (ja) |
| JP (1) | JP3055438B2 (ja) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6192145B1 (en) * | 1996-02-12 | 2001-02-20 | Sarnoff Corporation | Method and apparatus for three-dimensional scene processing using parallax geometry of pairs of points |
| JP2001502504A (ja) * | 1996-10-11 | 2001-02-20 | サーノフ コーポレイション | 立体視ビデオを符号化及び複号する装置及び方法 |
| US6414994B1 (en) * | 1996-12-18 | 2002-07-02 | Intel Corporation | Method and apparatus for generating smooth residuals in block motion compensated transform-based video coders |
| JP3931392B2 (ja) * | 1997-08-25 | 2007-06-13 | ソニー株式会社 | 立体画像用ビデオ信号生成装置、立体画像用ビデオ信号送出装置および立体画像用ビデオ信号受信装置 |
| WO2000027132A1 (en) * | 1998-11-02 | 2000-05-11 | Sukuld Enterprise Yuugen Kaisha | Encoding/decoding of video signal |
| US6297844B1 (en) * | 1999-11-24 | 2001-10-02 | Cognex Corporation | Video safety curtain |
| US8711217B2 (en) | 2000-10-24 | 2014-04-29 | Objectvideo, Inc. | Video surveillance system employing video primitives |
| US8564661B2 (en) | 2000-10-24 | 2013-10-22 | Objectvideo, Inc. | Video analytic rule detection system and method |
| US9892606B2 (en) | 2001-11-15 | 2018-02-13 | Avigilon Fortress Corporation | Video surveillance system employing video primitives |
| US6625310B2 (en) * | 2001-03-23 | 2003-09-23 | Diamondback Vision, Inc. | Video segmentation using statistical pixel modeling |
| US7424175B2 (en) | 2001-03-23 | 2008-09-09 | Objectvideo, Inc. | Video segmentation using statistical pixel modeling |
| KR100751422B1 (ko) | 2002-12-27 | 2007-08-23 | 한국전자통신연구원 | 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치 |
| TW200806040A (en) * | 2006-01-05 | 2008-01-16 | Nippon Telegraph & Telephone | Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs |
| JP2009533778A (ja) | 2006-04-17 | 2009-09-17 | オブジェクトビデオ インコーポレイテッド | 統計的画素モデリングを使った映像セグメント化 |
| JP2008106185A (ja) * | 2006-10-27 | 2008-05-08 | Shin Etsu Chem Co Ltd | 熱伝導性シリコーン組成物の接着方法、熱伝導性シリコーン組成物接着用プライマー及び熱伝導性シリコーン組成物の接着複合体の製造方法 |
| WO2009005658A2 (en) * | 2007-06-28 | 2009-01-08 | Thomson Licensing | Single loop decoding of multi-vieuw coded video |
| JP2011124822A (ja) * | 2009-12-11 | 2011-06-23 | Fujitsu Ltd | 半導体集積回路、符号化方法及び撮像装置 |
| EP2550807A1 (en) | 2010-03-22 | 2013-01-30 | Thomson Licensing | Method and apparatus for low bandwidth content preserving compression of stereoscopic three dimensional images |
| US20140044347A1 (en) * | 2011-04-25 | 2014-02-13 | Sharp Kabushiki Kaisha | Mage coding apparatus, image coding method, image coding program, image decoding apparatus, image decoding method, and image decoding program |
| US20130163880A1 (en) * | 2011-12-23 | 2013-06-27 | Chao-Chung Cheng | Disparity search methods and apparatuses for multi-view videos |
| US20150201215A1 (en) * | 2012-07-27 | 2015-07-16 | Mediatek Inc. | Method of constrain disparity vector derivation in 3d video coding |
| JP6074404B2 (ja) * | 2014-12-12 | 2017-02-01 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | 立体的三次元画像の圧縮を維持する低帯域コンテンツのための方法及び装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB8430980D0 (en) * | 1984-12-07 | 1985-01-16 | Robinson M | Generation of apparently three-dimensional images |
| JPS61206395A (ja) * | 1985-03-11 | 1986-09-12 | Nippon Hoso Kyokai <Nhk> | 立体テレビジョン画像信号の伝送方法 |
| US5142642A (en) * | 1988-08-24 | 1992-08-25 | Kabushiki Kaisha Toshiba | Stereoscopic television system |
| JP2664955B2 (ja) * | 1988-10-07 | 1997-10-22 | 日本電信電話株式会社 | ステレオ画像符号化方法 |
| JPH0380676A (ja) * | 1989-08-23 | 1991-04-05 | Ricoh Co Ltd | 電子パンフォーカス装置 |
| FR2659816B1 (fr) * | 1990-03-19 | 1994-01-28 | France Etat | Procede de reglage de la convergence stereoscopique dans un equipement de prise de vue stereoscopique. |
| CA2083203C (en) * | 1991-11-19 | 1996-10-29 | Riichi Nagura | Image data transmission system capable of obtaining a high resolution stereo image with reduced transmission data |
| JP2957800B2 (ja) * | 1992-04-17 | 1999-10-06 | 三菱電機株式会社 | 自動焦点調節装置 |
| JPH0698312A (ja) * | 1992-09-16 | 1994-04-08 | Fujitsu Ltd | 画像高能率符号化方式 |
| JP3194258B2 (ja) * | 1992-11-12 | 2001-07-30 | 日本電気株式会社 | 画像の符号化方式 |
| US5329365A (en) * | 1993-07-07 | 1994-07-12 | Rca Thomson Licensing Corporation | Method and apparatus for providing compressed non-interlaced scanned video signal |
| US5612735A (en) * | 1995-05-26 | 1997-03-18 | Luncent Technologies Inc. | Digital 3D/stereoscopic video compression technique utilizing two disparity estimates |
-
1995
- 1995-09-27 JP JP24996195A patent/JP3055438B2/ja not_active Expired - Fee Related
-
1996
- 1996-09-27 US US08/720,378 patent/US5696551A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0993614A (ja) | 1997-04-04 |
| US5696551A (en) | 1997-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3055438B2 (ja) | ３次元画像符号化装置 | |
| JP2891159B2 (ja) | 多眼画像からの物体検出方式 | |
| CN107430782B (zh) | 用于利用深度信息的全视差压缩光场合成的方法 | |
| Battisti et al. | Objective image quality assessment of 3D synthesized views | |
| JP4644669B2 (ja) | マルチビュー画像の生成 | |
| EP2850835B1 (en) | Estimation, encoding and decoding of motion information in multidimensional signals through motion zones, and of auxiliary information through auxiliary zones | |
| US9159136B2 (en) | Temporal smoothing apparatus and method for synthesizing intermediate image | |
| KR20090071624A (ko) | 이미지 개선 | |
| Stefanoski et al. | Automatic view synthesis by image-domain-warping | |
| Lee et al. | Discontinuity-adaptive depth map filtering for 3D view generation | |
| US9451233B2 (en) | Methods and arrangements for 3D scene representation | |
| Pearson et al. | Plenoptic layer-based modeling for image based rendering | |
| KR20100008677A (ko) | 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법 | |
| Mieloch et al. | Overview and efficiency of decoder-side depth estimation in MPEG immersive video | |
| Wang et al. | An asymmetric edge adaptive filter for depth generation and hole filling in 3DTV | |
| Mancini et al. | Robust quadtree-based disparity estimation for the reconstruction of intermediate stereoscopic images | |
| Muller et al. | Compressing time-varying visual content | |
| da Silva et al. | Fast intra prediction algorithm based on texture analysis for 3D-HEVC encoders | |
| Amado Assuncao et al. | Spatial error concealment for intra-coded depth maps in multiview video-plus-depth | |
| US9787980B2 (en) | Auxiliary information map upsampling | |
| Liu et al. | Stereoscopic view synthesis based on region-wise rendering and sparse representation | |
| Wegner et al. | Novel depth-based blending technique for improved virtual view synthesis | |
| Purica et al. | Using region-of-interest for quality evaluation of DIBR-based view synthesis methods | |
| Lin et al. | Sprite generation for hole filling in depth image-based rendering | |
| Perugia | Objective Image Quality Assessment of 3D Synthesized Views |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080414 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090414 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110414 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120414 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120414 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140414 Year of fee payment: 14 |
|
| LAPS | Cancellation because of no payment of annual fees |