JP3497664B2 - 立体画像符号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、２眼式立体テレビ
ジョンの画像信号を伝送、または記録するために好適な
立体画像符号化装置に関する。

【０００２】［発明の概要］本発明は、主画像は可逆符
号化を施して伝送、または記録すると共に、副画像情報
は主・副画像の視差情報に置き換え、その視差情報と、
復元副画像と原副画像との残差とを伝送（記録）するこ
とにより伝送（記録）ビットの低減を図った２眼式立体
テレビジョン信号の伝送・記録において、従来、データ
圧縮の対象となっていなかった視差情報そのものを予測
符号化によりデータ圧縮し、データ圧縮の弊害を生じさ
せることなくさらなるビットレートの低減を可能とした
ものである。

【０００３】

【従来の技術】周知のように、２眼式立体テレビジョン
においては、２台のカメラにより異なる２方向から撮像
された左眼用画像、右眼用画像を生成し、これを同一画
面上に表示して立体画像を見せるようにしている。この
場合、左眼用画像、および右眼用画像はそれぞれ独立し
た画像として別個に伝送、あるいは記録されていた。し
かし、これでは単一の２次元画像の約２倍の情報量が必
要となってしまう。

【０００４】そこで、従来より、左右いずれか一方の画
像を主画像とし、他方の画像（副画像）情報を一般的な
圧縮符号化方法によって情報圧縮して情報量を抑える手
法が提案されている。例えば、特開昭６２−２７２６９
７号公報に記載された立体テレビ信号の記録方法では、
一方の画像と、左右画像をずらせた場合とのずれ量と、
両画像の差信号を記録するようにしている。また、特開
昭６１−１４４１９１号公報に記載された立体テレビジ
ョン画像伝送方式では小領域ごとに他方の画像での相関
の高い相対位置を求めその位置偏移量と差信号とを伝送
するようにしている。差信号も伝送、記録するのは、主
画像と視差情報であるずれ量や位置偏移量を用いれば副
画像に近い画像が復元できるが、物体の影になる部分な
ど主画像がもたない副画像の情報は復元できないからで
ある。

【０００５】ところで、従来より圧縮符号化方式として
予測符号化（ＤＰＣＭ：Differential Pulse Code Modu
lation）がよく知られている。この予測符号化は、画像
など隣接データの相関が高い場合のデータ圧縮に対して
は有効である。従来この予測符号化は、伝送しようとす
る値を既に伝送した値を基に予測し、予測した値のイン
デックスを伝送すると共に、予測値と伝送しようとする
値との差である予測誤差信号を量子化して伝送する符号
化として用いられてきた。予測アルゴリズムとして種々
の方法が提案されているが、画像伝送では既に伝送した
直前や１ライン前などの画面上で隣接するブロックの値
を予測値とし、インデックスを伝送せずに予測値と伝送
しようとするブロックの値との誤差を量子化データとす
ることが多い。画像信号は低域成分が高域成分に比べて
大きく、信号の変動が少ないことが多いので、予測誤差
信号の分布は零値付近に集中し、予測誤差信号の絶対値
が大きくなるほど度数が少なくなり、伝送情報の削減が
可能となるからである。

【０００６】ここで、従来の２眼式立体テレビジョン伝
送における情報圧縮の構造と、上述した予測符号化の圧
縮構造とを比較してみると、予測値のインデックスを伝
送する点および真値と予測値との差分を伝送する点で非
常に近似していることがわかる。そこで、従来の２眼式
立体テレビジョン伝送における情報圧縮では予測符号化
にならい、ずれ量や位置偏移量は可逆符号化を施して伝
送、記録し、非線形量子化による非可逆符号化を施すの
は専ら差信号に限っていた。

【０００７】次に量子化に注目してみると、データを符
号化するときに人の知覚に大きな影響を及ぼさない範囲
で、比較的幅を広く設定した区間内の入力に対し一つの
値で代表して量子化し、その代表点番号を送る技術も情
報圧縮の一つの技術である。同じ量子化幅の区間毎に一
つの代表値を割り当てる線形量子化を変形し、異なる量
子化幅の設定を許してそれぞれの区間毎に一つの代表値
を割り当てる非線形量子化を行えば、さらに情報圧縮で
きる場合がある。従来より、予測符号化により画像伝送
する場合の予測誤差信号の量子化としては、このような
線形量子化および非線形量子化が行われてきた。特に予
測誤差信号の零値近傍の代表値間の間隔である量子化幅
を細かく、かつ絶対値が大きくなるにつれ量子化幅を大
きくするよう設定した非線形量子化を行うことによっ
て、画質の劣化を抑えながら、高能率なデータ圧縮をす
ることができる。

【０００８】なお、２眼式立体テレビジョン伝送におけ
る視差補償残差、すなわち、予測値から復元した副画像
と原副画像との差分データにＤＣＴ符号化を施し、ＤＣ
Ｔ係数に量子化技術を適用して視差補償予測をおこなっ
ている従来技術として電子情報通信学会研究会資料ＩＥ
−８９−１（ｐｐ．１−７）泉岡、渡辺らの“視差補償
予測を用いたステレオ動画象の符号化”が挙げられる。

【０００９】

【発明が解決しようとする課題】しかしながら、上述し
た従来例によれば、左右一方の画像と、左右画像をずら
せた場合のずれ量と、両画像の差信号とを記録する方法
であったり、小領域毎に他方の画像での相関の高い相対
位置を求めその位置偏移量と差信号とを伝送する方法で
あったり、あるいは、視差情報そのものと非可逆符号化
を施した視差補償残差信号とを伝送するようにしていた
ので、伝送ビットレートの低減が不十分なものであっ
た。

【００１０】本発明は上記の事情に鑑みてなされたもの
であり、その目的は、視差情報そのものの非可逆符号化
による弊害を生じさせることなくさらなるビットレート
の低減を可能とした立体画像符号化装置を提供すること
にある。

【００１１】

【課題を解決するための手段】上記の目的を達成するた
めに請求項１の発明は、２眼式立体テレビジョン画像信
号を伝送または記録するにあたり、いずれか一方の画像
を主画像、他方の画像を副画像としたとき、視差情報生
成手段により生成された入力主・副画像の視差情報を符
号化する視差情報符号化手段と、この視差情報符号化手
段により符号化された視差情報と入力主画像とに基づき
復元した復元副画像と、入力副画像との差分を視差補償
残差として符号化する視差補償残差符号化手段とにより
入力副画像情報の符号化を行う立体画像符号化装置であ
って、前記視差情報生成手段は、予め定められた数の画
素からなる一定の大きさのブロックを単位として、入力
主画像のブロック毎に、対象ブロックと相関が最大とな
る入力副画像のブロックを特定し、入力主・副画像を重
ねた画面内におけるこれら２つのブロック間の偏移量を
視差情報として生成するものであり、前記視差情報符号
化手段は、前記視差情報生成手段により生成した視差情
報を入力信号とし、この入力信号と、前記入力主画像ブ
ロックに時間的に先行しかつ前記入力主画像ブロックに
主画像の画面上で隣接するいずれかの入力主画像ブロッ
クの予測視差情報、もしくは前記入力主画像ブロックに
主画像の画面上で隣接する複数の入力主画像ブロックの
予測視差情報の重み付け加算値との差分データを量子化
器により量子化して出力する予測符号化手段を含むこと
を特徴とするものである。

【００１２】請求項２の発明は、請求項１記載の立体画
像符号化装置において、前記量子化器は、前記差分デー
タを、該差分データのビット数よりも少ないビット数で
表現された代表値に置換する量子化器であって、前記代
表値間の間隔が全て等しい線形量子化器、または、前記
代表値間の間隔が少なくとも入力差分データの中央で最
も狭い非線形量子化器であることを特徴とするものであ
る。

【００１３】請求項３の発明は、請求項１記載の立体画
像符号化装置において、前記視差補償残差符号化手段
は、前記視差情報符号化手段における前記差分データの
生成に用いた入力主画像ブロックに時間的に先行し、か
つ前記入力主画像ブロックに主画像の画面上で隣接する
いずれかの入力主画像ブロックの予測視差情報、もしく
は前記入力主画像ブロックに主画像の画面上で隣接する
複数の入力主画像ブロックの予測視差情報の重み付け加
算値と、入力主画像とに基づき復元した副画像を、入力
副画像から減算して生成した視差補償残差を符号化する
視差補償残差符号化手段であることを特徴とするもので
ある。

【００１４】２眼式立体テレビジョンは左眼用と右眼用
の２つの画像が必要であるが、２つの画像はきわめて相
関が高い。そこで、左眼用画像または右眼用画像のいず
れか一方を可逆符号化すると共に、他方の画像を次のよ
うに圧縮符号化する。すなわち、左眼用画像と右眼用画
像とに基づき、ブロックマッチングなどの手法により視
差情報を求める。隣接するブロックの視差情報を予測値
として予測符号化（ＤＰＣＭ）を行い、視差情報と求め
られた真値との差分データ（視差差分情報）について線
形量子化もしくは差分データが多く分布する零値近傍で
は量子化幅を狭く、差分データの分布が少ない分布の裾
に相当する部分は量子化幅を広く設定する非線形量子化
を行い、視差情報の差分データを非可逆符号化すると共
に、ローカル復号した視差情報予測値から生成した他方
の予測画像データと他方の原画像データの残差（視差補
償残差）を圧縮符号化する。このように残差情報を求め
るのにデータ圧縮後の視差情報を用いれば、視差情報そ
のものの非可逆符号化による欠落情報を残差情報で補う
ことができ、視差情報そのものの非可逆符号化による弊
害を防止することができる。このようにして、従来は量
子化操作によるデータ圧縮をすることなく伝送、記録し
ていた視差情報について線形または非線形量子化を用
い、より少ない情報量で画像劣化の少ない２眼式立体テ
レビジョン信号の伝送、記録を行うことができる。

【００１５】

【発明の実施の形態】図１は本発明に係る立体画像符号
化装置、および立体画像復号化装置の構成を示すブロッ
ク図である。同図に示すように、立体画像符号化装置１
は、主画像信号と副画像信号とを入力して視差情報を検
出する視差情報検出器２と、検出された視差情報と後述
する予測視差情報との差分を演算する減算器３と、求め
られた視差差分情報を量子化する量子化器４と、量子化
された差分情報を一旦逆量子化する逆量子化器５と、蓄
積されている過去の予測視差情報を逆量子化器５から出
力された視差差分情報に加算する加算器６と、加算器６
から出力される予測視差情報を蓄積するメモリ７と、量
子化器４で量子化された視差差分情報を符号化する視差
差分情報符号化器８と、主画像信号と予測視差情報とか
ら副画像の復元画像（ローカル復号出力）を生成する視
差補償器９と、視差補償器９のローカル復号出力と入力
副画像信号との差分を演算する減算器１０と、減算器１
０で求められた視差補償残差を符号化する視差補償残差
符号化器１１と、画像信号符号化器１２とを具備してい
る。

【００１６】ここで、上記視差情報検出器２により請求
項１に記載の視差情報生成手段が構成され、減算器３、
量子化器４、逆量子化器５、加算器６、およびメモリ７
により請求項１に記載の予測符号化手段が構成され、こ
の予測符号化手段と視差差分情報符号化器８により請求
項１に記載の視差情報符号化手段が構成され、さらに、
視差補償器９、減算器１０、および視差補償残差符号化
器１１により請求項１、３に記載の視差補償残差符号化
手段が構成されている。

【００１７】また、立体画像復号化装置２１は、視差差
分情報を逆量子化する逆量子化器２２と、蓄積された過
去の予測視差情報を逆量子化された視差差分情報に加算
して予測視差情報を生成する加算器２３と、加算器２３
から出力される予測視差情報を蓄積するメモリ２４と、
復号された主画像信号を予測視差情報により偏移させて
副画像を復元する視差情報による画像復元回路２５と、
視差補償残差を復号する視差補償残差復号化器２６と、
主画像信号を復号する画像信号復号化器２７と、視差情
報による画像復元回路２５から出力される復元画像に対
して視差補償残差信号を加算してより原副画像に近い復
元副画像を生成する加算器２８とを備えている。

【００１８】上記構成において立体画像符号化装置１で
は、先ず、立体視が行われる左眼用および右眼用の画像
が、主画像および副画像として視差情報検出器２に入力
される。この場合、左眼用および右眼用の画像のいずれ
が主画像であっても良い。視差情報検出器２では、主・
副画像を予め定められた数の画素からなる一定の大きさ
のブロックに分割し（例えば、１６画素×１６ラインな
ど）、主画像の各ブロックについて相関の大きくなるよ
うに副画像ブロックの相対位置をブロック・マッチング
法などを用いて求めることによりブロック間の相対偏移
である視差情報を得る。

【００１９】減算器３では視差情報検出器２の出力であ
る伝送しようとするブロックの視差情報と、メモリ７か
ら出力される直前または１ライン前などに求めた隣接ブ
ロックの予測視差情報との差分、すなわち視差差分情報
が求められ、量子化器４に供給される。量子化器４で
は、この視差差分情報が予め作成されたコードブックに
従って量子化される。視差差分情報符号化器８では、量
子化器４で用いた代表値のインデックスなどが可変長符
号化などの手法により符号化される。

【００２０】さらに、視差補償器９では、主画像信号と
加算器６から出力される予測視差情報とを入力し、予測
視差情報に基づき、主画像のブロックを予測視差情報の
分だけ相対偏移することにより、副画像の復元画像であ
るローカル復号出力が得られる。副画像の原画像と、ロ
ーカル復号出力との差分を求めることにより視差補償残
差が求められる。視差補償残差は視差補償残差符号化器
１１により、例えば離散コサイン変換（ＤＣＴ）が施さ
れ、そのＤＣＴ係数が量子化されるなどの符号化圧縮が
行われる。

【００２１】一方、入力主画像信号は、画像信号符号化
器１２にも供給されており、この画像信号符号化器１２
により公知の符号化法で符号化された後、立体画像復号
化装置２１に供給される。

【００２２】このようにして立体画像符号化装置１で
は、主画像の符号化画像、符号化視差差分情報、符号化
視差補償残差が得られ、これらの各信号は、立体画像復
号化装置２１に供給される。

【００２３】立体画像復号化装置２１では、主画像が画
像信号復号化器２７により、公知の復号化法を用いて復
元される。また、視差補償残差信号は視差補償残差復号
化器２６により逆離散コサイン変換などの視差補償残差
符号化器１１の符号化に対応した復号化法を用いて復号
される。さらに、視差差分情報はコードブックに従い逆
量子化器２２で逆量子化され、立体画像符号化装置１で
使用された視差情報予測の逆予測をするために逆量子化
器２２の出力がメモリ２４の出力と加算器２３により加
算されてメモリ２４の入力とされると共に、視差情報に
よる画像復元回路２５に入力される。すなわち、視差差
分情報はメモリ２４から出力される既に求められた隣接
ブロックの視差情報の値に加算されることにより、求め
ようとするブロックの予測視差情報が得られる。これは
逆ＤＰＣＭ符号化に相当する部分である。主画像の各ブ
ロックの値をこのようにして求めた予測視差情報に従っ
て、視差情報による画像復元回路２５で偏移させると共
に、これに復号された視差補償残差信号を加えることに
より、より原副画像に近い復元副画像が得られる。

【００２４】ここで、予め作成されたコードブックは、
量子化器４が線形量子化器であれば、使用ビット数に相
当する等間隔に並ぶ代表値と、その２等分点であるしき
い値により表現される。量子化器４が非線形量子化であ
れば、視差差分情報の度数分布もしくは視差差分情報の
度数分布を近似した分布を用いて、最小自乗法などの評
価関数を小さくするような代表値と区間しきい値とによ
り表現される。

【００２５】図２は、非線形量子化器のコードブックの
作成方法を示している。先ず、視差差分情報が求められ
（ステップＳ１）、求められた視差差分情報の統計的性
質がヒストグラムなどから調べられる（ステップＳ
２）。相応しいモデルがあれば、視差差分情報の分布を
モデルで近似する（ステップＳ３）。そして、例えば、
近似モデルがある場合には、そのモデルに対応して予め
求められたしきい値を、近似モデルがない場合には、線
形量子化に対応するしきい値を初期値とする（ステップ
Ｓ４）。次に、評価関数（例えば、入力値と代表値との
誤差の自乗和など）を用いて評価関数を小さくするよう
な代表点を初期値のしきい値で区切られた各区間につい
て求める（ステップＳ５）。続いて、求められた代表点
に基づき各区間のしきい値を各代表点の中点として求め
る（ステップＳ６）。評価関数が、充分小さいある値以
下になった場合や、評価関数の値が一様減少とはならな
くなった場合等、評価関数が収束したとみなされる場合
（ステップＳ７YES ）は、その時点での代表点としきい
値でコードブックを確定する（ステップＳ８）。収束し
たとみなされない場合（ステップＳ７NO）には、再びス
テップＳ５に戻り、求められたしきい値に基づき代表点
を決定する。

【００２６】図３は、量子化器４として上述した方法に
より求めた非線形量子化器を用いる場合の水平方向視差
の差成分（視差差分情報）に関する非線形量子化器のコ
ードブックの例を示す。同図は、水平方向視差の差分が
−６４〜６３の７ビットで完全に表される画像に対し
て、量子化後のビット長を例えば１ビットから５ビット
に設定した各々の場合について、代表点で水平方向視差
の差成分を表現した場合の代表値を白丸で、しきい値を
縦棒で示したものである。評価関数を入力値と代表値と
の誤差の自乗和とし、視差差分情報について評価関数を
最小とするような各ビット数分の代表値を決定した。し
きい値は代表値同士の中点を通るものとして求めた値で
ある。視差情報検出器２で検出される水平視差と予測水
平視差との差成分の確率分布は零付近が最も高く、絶対
値が大きくなるにつれて低くなる。発生確率の高い零値
付近の代表値は、隣合う代表値同士の間隔が狭く、量子
化幅は狭くなるが、発生確率の低い絶対値の大きい代表
値は、隣合う代表値同士の間隔が広く、量子化幅は広く
なっている。

【００２７】このように構成されたコードブックを使用
した非線形量子化器４の出力を視差差分情報符号化器８
で符号化すれば、量子化による情報圧縮の効果に加え
て、線形量子化の場合と同一ビット数しか使用しない場
合でもＳＮ比の劣化が少なく、視覚的に劣化が少ない復
元画像を得ることができる。

【００２８】＜変形例＞なお、上述した実施の形態で
は、メモリ７を遅延回路として機能させたが、主画像上
で隣接する複数のブロック、もしくはさらにその外側に
隣接するブロックを加えた複数のブロックの平均値や重
み付け加算値を出力するようメモリ７に演算機能を持た
せるようにしても良い。

【００２９】

【発明の効果】以上説明したように各請求項の発明によ
れば、視差情報に非可逆符号化を施すので、視差情報そ
のものを伝送・記録する場合に比較してビットレートを
低減することが可能となる。また、視差情報の差分デー
タを非線形量子化することにより、情報圧縮を効果的に
行うことができ、視覚的に劣化が少ない復元画像を得る
ことができる。

【図面の簡単な説明】

【図１】本発明に係る立体画像符号化装置の実施の一形
態を立体画像復号化装置と共に示すブロック図である。

【図２】コードブックの作成処理の手順を示すフローチ
ャートである。

【図３】非線形量子化器の量子化代表値としきい値との
実例を示す説明図である。

【符号の説明】

１ 立体画像符号化装置 ２ 視差情報検出器 ３，１０ 減算器 ４ 量子化器 ５，２２ 逆量子化器 ６，２３，２８ 加算器 ７，２４ メモリ ８ 視差差分情報符号化器 ９ 視差補償器 １１ 視差補償残差符号化器 ２１ 立体画像復号化装置 ２５ 視差情報による画像復元回路 ２６ 視差補償残差復号化器 ２７ 画像信号復号化器

フロントページの続き (72)発明者 岩舘 祐一 東京都世田谷区砧一丁目10番11号 日本 放送協会放送技術研究所内 (56)参考文献 特開 平６−153239（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 13/00 H04N 7/32

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 ２眼式立体テレビジョン画像信号を伝送
   または記録するにあたり、いずれか一方の画像を主画
   像、他方の画像を副画像としたとき、視差情報生成手段
   により生成された入力主・副画像の視差情報を符号化す
   る視差情報符号化手段と、 この視差情報符号化手段により符号化された視差情報と
   入力主画像とに基づき復元した復元副画像と、入力副画
   像との差分を視差補償残差として符号化する視差補償残
   差符号化手段とにより入力副画像情報の符号化を行う立
   体画像符号化装置であって、 前記視差情報生成手段は、 予め定められた数の画素からなる一定の大きさのブロッ
   クを単位として、入力主画像のブロック毎に、対象ブロ
   ックと相関が最大となる入力副画像のブロックを特定
   し、入力主・副画像を重ねた画面内におけるこれら２つ
   のブロック間の偏移量を視差情報として生成するもので
   あり、 前記視差情報符号化手段は、 前記視差情報生成手段により生成した視差情報を入力信
   号とし、 この入力信号と、前記入力主画像ブロックに時間的に先
   行しかつ前記入力主画像ブロックに主画像の画面上で隣
   接するいずれかの入力主画像ブロックの予測視差情報、
   もしくは前記入力主画像ブロックに主画像の画面上で隣
   接する複数の入力主画像ブロックの予測視差情報の重み
   付け加算値との差分データを量子化器により量子化して
   出力する予測符号化手段を含むことを特徴とする立体画
   像符号化装置。
2. 【請求項２】 請求項１記載の立体画像符号化装置にお
   いて、 前記量子化器は、 前記差分データを、該差分データのビット数よりも少な
   いビット数で表現された代表値に置換する量子化器であ
   って、 前記代表値間の間隔が全て等しい線形量子化器、また
   は、前記代表値間の間隔が少なくとも入力差分データの
   中央で最も狭い非線形量子化器であることを特徴とする
   立体画像符号化装置。
3. 【請求項３】 請求項１記載の立体画像符号化装置にお
   いて、 前記視差補償残差符号化手段は、 前記視差情報符号化手段における前記差分データの生成
   に用いた入力主画像ブロックに時間的に先行し、かつ前
   記入力主画像ブロックに主画像の画面上で隣接するいず
   れかの入力主画像ブロックの予測視差情報、もしくは前
   記入力主画像ブロックに主画像の画面上で隣接する複数
   の入力主画像ブロックの予測視差情報の重み付け加算値
   と、入力主画像とに基づき復元した副画像を、入力副画
   像から減算して生成した視差補償残差を符号化する視差
   補償残差符号化手段であることを特徴とする立体画像符
   号化装置。