JPH08140090A - 動画像符号化装置 - Google Patents

Abstract

(57)【要約】 【目的】 動画像データを符号化する効率を向上できる
ようにすることを目的とする。 【構成】 時間的な画像データの相関を利用する符号化
を行う時間情報符号化手段１３と、両眼に入る空間的に
異なる画像データ間の相関を利用する空間情報符号化手
段１４と、上記空間情報符号化手段１４および時間情報
符号化手段１３よって符号化された画像データを合成す
る合成器１５とを設け、両眼に入る画像データの間に強
い相関があることを利用して、効率のよい符号化を行う
ことができるようにする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動画像符号化装置に係わ
り、例えば、特に、両眼に異なる画像データを呈示して
立体的な動画像を表示するための動画像データを符号化
する装置に用いて好適なものである。

【０００２】

【従来の技術】近年、動画像の符号化方式の国際標準化
活動が活発に行われている。特に、フレーム間の相関を
用いて動き補償を行いながら符号化する符号化方式が主
流になっている。これらの符号化方式としては、蓄積メ
ディア符号化であるＭＰＥＧ方式、通信用符号化方式で
あるＨ．２６１方式が知られている。また、静止画像の
符号化でもＪＰＥＧ方式が標準化され、これをフレーム
符号化として利用して動画像を符号化する符号化方式も
ある。

【０００３】一方、近未来の新しいメディアとして、３
次元表示の可能な立体表示への期待が高まりつつある。
一例を挙げれば、日本放送協会、放送技術研究所のレン
チキュラレンズを用いた立体テレビや、両眼の前に異な
る色のフィルタ、例えば青と赤のフィルタを置いて、２
色からなる画像データを表示するシステム、両眼の前に
位相をもって開閉する液晶シャッタを利用したシステ
ム、両眼の前に異なるようにディスプレイを設けるシス
テム等がある。

【０００４】これらの表示システムは、両眼の視差を利
用して立体視を得るステレオ表示であり、ステレオ動画
像表示である。一般的に、これらの画像データは通常の
動画像データを符号化によって情報量を削減する場合
に、上述の動画像符号化方式で符合化される。すなわ
ち、片眼に与える動画像を別々に動画像符号化する方式
や、合成されている画像を動画像符号化する方法が考え
られる。

【０００５】図９に、ステレオ画像を符号化するシステ
ムの構成図を示す。図９において、８０１、８０２は動
画像を入力するための第１および第２のカメラであり、
８０３、８０４、８１３は入力された画像信号をフレー
ム周期に同期して２出力の一方を選択するセレクタ、８
０６〜８０９、８１４、８１５は１フレーム分の動画像
を蓄積するフレームメモリである。

【０００６】８１０、８１１は２入力の一方をフレーム
同期に同期して２入力の一方を選択するセレクタであ
る。８１２は２入力を合成する画像合成器であり、８１
３は動画像符号化器である。ここで、レンチキュラレン
ズを用い、画像の主走査方向に一定の感覚で左右の画像
が交互に組み合わせて動画像を生成する場合を例にとっ
て説明する。

【０００７】図１０に、その概念図を示す。図１０のよ
うに領域９００、９０２、９０４、９０６には右目の入
力に相当する画像データを、域９０１、９０３、９０
５、９０７には左目の入力に相当する画像データを書き
込み、１フレームを生成する。動画像符号化方式はＭＰ
ＥＧ方式とする。

【０００８】第１のカメラ８０１から入力された画像デ
ータは、フレーム周期に同期するセレクタ８０３に入力
され、フレームメモリ８０６または８０７に入力され
る。また、セレクタ８１０はセレクタ８０３とは逆位相
で動作し、セレクタ８０３からフレームメモリ８０６に
画像データが入力している間はフレームメモリ８０７を
選択して画像データを読み出し、入力が切り替わると出
力も切り替わるようにしている。

【０００９】第２のカメラ８０２、セレクタ８０４，８
１１、フレームメモリ８０８，８０９も同様に動作す
る。今、フレームメモリ８０６、８０９の画像データが
読み出されているとき、画像合成器８１２は領域９０
０、９０２、９０４、９０６に第１のカメラ８０１の入
力の同位置の画像データを書き込む。また、領域９０
１、９０３、９０５、９０７に第２のカメラ８０２の入
力の同位置の画像データを書き込み、これらを合成す
る。

【００１０】上記画像合成器８１２により合成された画
像データは、セレクタ８１３を介してフレームメモリ８
１４、または８１５に書き込まれる。したがって、フレ
ームメモリ８１４、８１５には符号化するフレームの画
像データと、１フレーム前の画像データがそれぞれ格納
されている。

【００１１】ここで、動画像符号化器８１６は１つのフ
レームの内容を符号化するイントラ符号化、または２つ
のフレームで動き補償を行う予測符号化を適宜切り替え
て符号化し、ＭＰＥＧ方式の符号化データを得る。

【００１２】

【発明が解決しようとする課題】しかしながら、上記従
来例では符号化の単位であるマクロブロックやブロック
内に異なる入力の画像データが混在することになり、符
号長の増加や、画質の劣化が目立つ問題が生じる問題が
あった。

【００１３】また、フレーム間相関のみを用いているの
で、符号化効率を向上させることは困難が多い。本発明
は上述の問題点にかんがみ、両眼に入る画像データの間
に強い相関があることを利用して符号化効率を向上させ
ることを第１の目的とする。

【００１４】また、両眼に入る画像データの間で類似す
る部分を抽出し、その差分を符号化して冗長度を減少さ
せて符号化効率を向上させることを第２の目的とする。

【００１５】また、画像データの間の空間的な特徴を有
効に利用することを第３の目的とする。

【００１６】また、両眼に入力される空間的な特徴が視
差によって歪められているので、この歪みを補正するこ
とで空間的な特徴を有効に利用できるようにすることを
第４の目的とする。

【００１７】

【課題を解決するための手段】本発明の動画象符号化回
路は、空間的に異なる画像データを両眼に呈示して立体
的な動画像を表示するための動画像データを符号化する
装置であって、上記両眼に呈示される空間的に異なる画
像データを参照して符号化する空間情報符号化手段と、
上記両眼のうちの片方の眼に呈示される時間的に異なる
画像データを参照して符号化する時間情報符号化手段
と、上記空間情報符号化手段および時間情報符号化手段
によって符号化された画像符号化データを合成する合成
手段とを具備している。

【００１８】また、本発明の他の特徴によれば、上記両
眼に呈示される空間的に異なる画像データ間で類似する
領域を探索する類似領域探索手段と、上記類似領域探索
手段による探索結果を符号化する探索結果符号化手段
と、上記類似領域探索手段により探索された類似する領
域の差分を符号化する差分符号化手段とを具備してい
る。

【００１９】また、本発明のその他の特徴によれば、空
間的な特徴を抽出する特徴抽出手段と、上記特徴抽出手
段の抽出結果に基いて符号化する領域を決定する符号化
領域設定手段とを具備している。

【００２０】また、本発明のその他の特徴によれば、上
記類似領域探索手段は、探索する領域の画像データを変
形させる画像データ変形手段と、上記画像データ変形手
段が変形させた領域と符号化する領域との画像データを
比較する領域比較手段とを具備している。

【００２１】

【作用】本発明は上記技術手段を有するので、両眼に入
る空間的に異なる画像データ間の相関を利用する符号化
が空間情報符号化手段により行われるとともに、時間的
な画像データの相関を利用する符号化が時間情報符号化
手段によって行われ、さらに、これらの空間情報符号化
手段および時間情報符号化手段によって符号化された画
像データが合成手段によって合成されてから出力される
ようになるので、効率のよい符号化を行うことができ
る。

【００２２】また、本発明の他の特徴によれば、両眼に
呈示される空間的に異なる画像データ間で類似する領域
が上記類似領域探索手段により探索され、上記類似領域
探索手段による探索結果が探索結果符号化手段により符
号化されるとともに、類似する領域の差分が差分符号化
手段により符号化されことにより効率のよい参照ブロッ
クが得られるようになる。

【００２３】また、本発明のその他の特徴によれば、エ
ッジ情報、色情報、濃度情報等の画像中の空間的な特徴
が上記特徴抽出手段により抽出されるとともに、上記抽
出された空間的な特徴から、塊として符号化した方が好
ましい領域が上記符号化領域設定手段により求められ、
効率のよい符号化を行なうことができる。

【００２４】また、本発明のその他の特徴によれば、両
眼視差に基づく入力画像の歪みが上記画像データ変形手
段により変形させられて補正されるとともに、上記補正
された領域の画像データと符号化する領域とが領域比較
手段により比較されて類似度が算出されるので、効率の
よい参照ブロックを得ることができ、符号化効率を向上
することができる。

【００２５】

【実施例】以下、本発明の動画象符号化回路の実施例を
図面を参照して説明する。図１は、図１は本発明の動画
象符号化回路の第１の実施例の特徴を最もよく表すブロ
ック図である。

【００２６】図１において、１、２は動画像を入力する
第１および第２のカメラである。３、４は入力された画
像信号をフレーム周期に同期して出力先を選択するセレ
クタであり、５〜９は１フレーム分の動画像を蓄積する
第１〜第５のフレームメモリである。

【００２７】１０、１２はフレーム周期に同期して入力
先を選択する第１および第２のセレクタである。１３は
時間的な画像データの相関を利用して符号化する時間情
報符号化手段を構成する時間情報符号化器である。

【００２８】１４は空間情報符号化手段を構成する空間
情報符号化器であり、空間的な画像データの相関を利用
して符号化するためのものである。１５は合成手段を構
成する合成器であり、符号化データを合成して１フレー
ム分の符号化データを生成するためのものである。

【００２９】第１および第２のカメラ１、２はステレオ
画像を得るのに最適な位置関係で設置されている。な
お、本実施例においては説明を容易にするためにＭＰＥ
Ｇ方式を例にとって説明する。

【００３０】第１のカメラ１から入力された動画像デー
タは、第１のセレクタ３、第１のフレームメモリ５、第
２のフレームメモリ６を経て第３のセレクタ１０に入力
される。そして、上記第３のセレクタ１０を介して時間
情報符号化器１３に入力される。これらは第１のセレク
タ３および第３の１０によってトグルで動作する。

【００３１】すなわち、第１のフレームメモリ５に第１
のカメラ１からの出力のフレーム画像を書き込んでいる
間、第２のフレームメモリ６を読み出し、次フレーム周
期では逆になる。そして、時間情報符号化器１３に入力
された画像データはＭＰＥＧ方式に従って符号化され
る。

【００３２】次に、時間情報符号化器１３の構成を、図
２に示す。図２において、１１５は第３のセレクタ１０
を介して画像データを入力するデータ線、１０１はＭＰ
ＥＧ方式における符号化単位であるマクロブロックを生
成するマクロブロック生成器である。１０２は入力され
たＲＧＢ信号を、輝度色度を表すＹＣｂＣｒ信号に変換
する色変換器である。

【００３３】１０３はマクロブロックのブロック単位で
差分を求める差分器であり、１０４はＤＣＴ変換を施す
ＤＣＴ器である。１０５は生成されたＤＣＴ係数を所定
の量子化係数で量子化する量子化器である。１０６は差
分符号化手段を構成するハフマン符号化器であり、量子
化結果にハフマン符号を割り当てて符号化するためのも
のである。

【００３４】１０８は逆量子化を行いＤＣＴ係数を得る
逆量子化器であり、１０９は逆ＤＣＴ変換を施す逆ＤＣ
Ｔ器である。１１０は再生された画像データを格納する
フレームメモリであり、１１１は入力マクロブロックと
フレームメモリ１１０の画像データとを比較して参照マ
クロブロックと動きベクトルを算出する動き補償器であ
る。

【００３５】１１２は動きベクトルを符号化する動きベ
クトル符号化器であり、１０７は動きベクトル符号化器
１１２とハフマン符号化器１０６の出力を合成する合成
器である。１１３は再生された画像データをフレームメ
モリ７に送出するためのデータ線であり、１１４は符号
化データを合成器１５に送出するためのデータ線であ
る。

【００３６】このように構成された時間情報符号化器１
３において、データ線１１５から入力された画像データ
は、マクロブロック生成器１０１でマクロブロックに形
成される。このマクロブロックデータは、色変換器１０
２でＹＣｂＣｒ信号のマクロブロックに変換される。

【００３７】そして、ＭＰＥＧ方式のイントラ符号化フ
レームであれば、動き補償器１１１は参照マクロブロッ
クとして０で満たされたマクロブロックデータを出力す
る。また、予測符号化フレームであれば、動き補償の結
果得られた参照マクロブロックと動きベクトルを出力す
る。

【００３８】上記動きベクトルは、動きベクトル符号化
器１１２で符号化され、合成器１０７を介してデータ線
１１４に出力される。差分器１０３は入力マクロブロッ
クと参照マクロブロックの画素毎の差分をとる。

【００３９】ＤＣＴ器１０４は得られた差分についてブ
ロック単位でＤＣＴ変換し、量子化器１０５で各係数を
量子化する。そして、量子化結果はハフマン符号化器１
０６で符号化され、合成器１０７を介してデータ線１１
４に出力される。

【００４０】また、量子化器１０５で行われた量子化結
果は、逆量子化器１０８にも入力されて逆量子化され、
ＤＣＴ係数を再生する。逆量子化器１０８の次段に設け
られている逆ＤＣＴ器１０８は、このＤＣＴ係数から画
素値を生成し、フレームメモリ１１０に書き込むと同時
に、データ線１１３を介して第３のフレームメモリ７に
出力する。

【００４１】一方、第２のカメラ２から入力された動画
像データは、第２のセレクタ４、第４のフレームメモリ
８、第５のフレームメモリ９を経て第４のセレクタ１２
に与えられ、セレクタ１２を介して空間情報符号化器１
４に入力される。

【００４２】なお、これら第２のセレクタ４、第４のセ
レクタ１２、第４のフレームメモリ８、第５のフレーム
メモリ９は、上述した第１のセレクタ３、第３のセレク
タ１０、第１のフレームメモリ５、第２のフレームメモ
リ６と同様に動作する。

【００４３】空間情報符号化器１４には、第３のフレー
ムメモリ７と第４のセレクタ１２とから画像データが入
力される。図３に、空間情報符号化器１４のブロック図
を示す。図３において、２０１は第４のセレクタ１２か
ら画像データを入力するデータ線であり、２０２は第３
のフレームメモリ７から画像データを入力するデータ線
である。

【００４４】２０３は符号化単位であるＭＰＥＧ方式の
マクロブロックを生成するマクロブロック生成器であ
り、２０４は入力されたＲＧＢ信号をＹＣｂＣｒ信号に
変換する色変換器である。

【００４５】２０５はマクロブロックのブロック単位で
差分を求める差分器であり、２０６はＤＣＴ変換を施す
ＤＣＴ器である。２０７は生成されたＤＣＴ係数を所定
の量子化係数で量子化する量子化器であり、２０８は量
子化結果にハフマン符号を割り当てて符号化するハフマ
ン符号化器である。

【００４６】２１０は類似領域探索手段を構成する類似
ブロック探索器であり、色変換器２０４から出力された
マクロブロックと第３のフレームメモリ７の画像データ
を比較して類似度の最も高いマクロブロックの相対位置
データとマクロブロックデータとを出力するためのもの
である。

【００４７】２１１は相対位置データを符号化する位置
情報符号化器である。２１２は位置情報符号化器２１１
およびハフマン符号化器２０８の出力を合成する合成器
であり、２１３は合成器１５に符号化データを送出する
データ線である。

【００４８】このように構成された空間情報符号化器１
４において、データ線２０１から入力された画像データ
はマクロブロック生成器２０３でマクロブロックに形成
される。この形成されたマクロブロックデータは、次の
色変換器２０４でＹＣｂＣｒ信号のマクロブロックに変
換される。

【００４９】そして、変換されたマクロブロックは、第
３のフレームメモリ７から抽出されたマクロブロックデ
ータと差分を取るとともに、絶対値和を求めて、絶対値
和が最小なマクロブロックを選択する。

【００５０】このようにして選択されたマクロブロック
の相対的な位置と、マクロブロックの値を出力する。そ
の位置情報は、位置情報符号化器２１１に入力されて符
号化され、合成器２１２を介してデータ線２１３より出
力される。

【００５１】差分器２０５は、入力マクロブロックと類
似ブロック探索器２１０で得られたマクロブロックとか
ら画素毎の差分を求める。そして、得られた差分はブロ
ック単位でＤＣＴ器２０６でＤＣＴ変換され、その後量
子化器２０７で各係数が量子化される。量子化結果は、
探索結果符号化手段を構成するハフマン符号化器２０８
で符号化され、合成器２１２を介してデータ線２１３よ
り出力される。

【００５２】なお、本実施例では、時間情報の符号化方
式としてＭＰＥＧ方式を例にとったが、これに限定され
ず、Ｈ．２６１方式やそのほかの動画像符号化方式であ
ってももちろん構わない。また、フレームメモリの構
成、およびその他の各部の構成はこれに限定されず、例
えば、フレームメモリではなく、数ライン分のラインバ
ッファ等で構成しても構わないし、機能が同じ物を兼用
しても構わない。

【００５３】次に、図４および図５を参照しながら第２
の実施例を説明する。図４は、第２の実施例の動画象符
号化回路の特徴を最も表しているブロック図である。な
お、この第２の実施例では、青と赤と２色からなる画像
データの符号化について述べる。

【００５４】図４において、３０１は動画像を記憶する
第１の記憶装置である。３０２は入力された画像信号を
２色に分離する色分離器である。３０３、３０４は１色
分の１フレーム分の動画像を蓄積する第１および第２の
フレームメモリである。なお、本実施例においては、第
１のフレームメモリ３０３は青色の画像データを蓄積
し、第２のフレームメモリ３０４は赤色の画像データを
蓄積するようにしている。

【００５５】３０５は青色の画像データに関して、時間
的な画像データの相関を利用して符号化する時間情報符
号化器である。３０６は青色の画像と赤色の画像の空間
的な画像データの相関を利用して符号化する空間情報符
号化器である。３０７は符号化データを合成して１フレ
ーム分の符号化データを生成する合成器であり、３０８
は符号化データを記憶する第２の記憶装置である。

【００５６】この第２の実施例においては、説明を容易
にするためにＭＰＥＧ方式を例にとって説明する。ま
た、時間情報符号化器３０５構成は、第１の実施例で示
した時間情報符号化器１３と同様な構成なので、ここで
は詳細な説明を省略する。

【００５７】第１の記憶装置３０１から入力された動画
像データは、色分離器３０２に入力され、青色と赤色の
画像データが生成される。そして、分離して得られた青
色画像データは、第１のフレームメモリ３０３に格納さ
れるとともに、読みだされて時間情報符号化器３０５に
入力される。

【００５８】時間情報符号化器３０５に入力された画像
データは、動き補償が施された後にＭＰＥＧ方式で符号
化される。このようにして符号化された符号化データ
は、合成器３０７を介して第２の記憶装置３０８の所定
の領域に書き込まれて蓄積される。

【００５９】図５は、本実施例の空間情報符号化器３０
６の構成を示すブロック図である。図５において、４０
１は第１のフレームメモリ３０３から読みだされた青色
の画像データを入力するデータ線であり、４０２は第２
のフレームメモリ３０４から読みだされた赤色の画像デ
ータを入力するデータ線である。

【００６０】４０３、４０４は１フレーム分の画像デー
タのエッジを検出する第１および第２のエッジ検出器で
あり、４０５、４０６はエッジ画像を１フレーム分格納
する第１および第２のフレームメモリである。

【００６１】４０７はエッジ画像から閉領域を抽出して
ラベル付けをするラベリング器であり、４０８はラベリ
ング器４０７によりラベリングされた各領域を示す情報
を符号化するラベル符号化器である。このラベル符号化
器４０８は、ラベル付けされた領域毎にその輪郭を、例
えばチェイン符号等で符号化し、その位置を符号化す
る。

【００６２】４０９は類似領域探索器であり、ラベリン
グ器４０７の結果から各ラベル付けされた領域と第２の
フレームメモリ４０６の赤色のエッジ画像データをパタ
ーンマッチング等で比較して類似度の最も高い領域の相
対位置データを出力するためのものである。

【００６３】４１０は相対位置データを符号化する位置
情報符号化器であり、４１１はラベル付けされた領域単
位で原画像での差分を求める差分器であり、４１２はＤ
ＰＣＭを施すＤＰＣＭ器であり、４１３は生成されたＤ
ＰＣＭの結果の誤差にハフマン符号を割り当てて符号化
する誤差符号化器である。

【００６４】４１４はラベル符号化器４０８、位置情報
符号化器４１０、誤差符号化器４１３の出力を合成する
合成器である。４１５は符号化データを合成器３０７に
送出するためのデータ線である。

【００６５】このように構成された空間情報符号化器３
０６において、データ線４０１から入力された青色画像
データは第１のエッジ検出器４０３でエッジ抽出され
て、第１のフレームメモリ４０５に格納される。同時
に、データ線４０２から入力された赤色画像データは第
２のエッジ検出器４０４でエッジ抽出されて、第２のフ
レームメモリ４０６に格納される。

【００６６】続いて、ラベリング器４０７は、エッジ画
像から既存の方法で閉領域を抽出し、閉領域単位にラベ
ル付けを施し、その形状と位置とを出力する。また、ラ
ベル符号化器４０８はラベリングされた各領域の形状と
位置とを符号化し、合成器４１４を介してデータ線４１
５より出力する。

【００６７】類似領域探索器４０９は、ラベル付けされ
た領域の形状と位置を入力し、青色のエッジ画像を第１
のフレームメモリ４０５から読み出し、最も類似度の高
い領域を抽出するとともに、抽出した領域の相対的な位
置を出力する。その位置情報は、位置情報符号化器４１
０に入力されて符号化され、合成器４１４を介してデー
タ線４１５より出力される。

【００６８】差分器４１１は、赤色画像のラベル付けさ
れた領域の赤色画像データを第２のフレームメモリ３０
４から読み出すとともに、青色画像の類似領域探索器４
０９で得られた領域の青色画像データを第１のフレーム
メモリ３０３から読み出し、画素毎の差分を求める。

【００６９】このようにして得られた画素毎の差分は、
領域単位でＤＰＣＭ器４１２でＤＰＣＭされる。そし
て、生じた誤差は誤差符号化器４１３で符号化され、合
成器４１４を介してデータ線４１５より出力される。

【００７０】なお、本実施例では、時間情報の符号化方
式としてＭＰＥＧ方式を例にとったが、これに限定され
ず、Ｈ．２６１方式やその他の動画像符号化方式であっ
てももちろん構わない。

【００７１】また、第１および第２のフレームメモリ３
０３、３０４の構成、およびその他の各部の構成はこれ
に限定されない。例えば、フレームメモリではなく、数
ライン分のラインバッファ等で構成しても構わないし、
機能が同じ物を兼用するようにしても構わない。

【００７２】また、時間情報符号化器３０５に空間情報
符号化器３０６と同じ構成の符号化器を用い、領域を求
めて相対位置を動きベクトルとして符号化するようにし
ても構わない。

【００７３】次に、図６を参照しながら第３の実施例を
説明する。図６は、本実施例の特徴を最もよく表す動画
象符号化回路のブロック図である。図６において、５０
１、５０２は動画像を入力するための第１および第２の
カメラである。

【００７４】５０３、５０４は入力された画像信号をフ
レーム周期に同期して出力先を選択する第１および第２
のセレクタであり、５０５〜５０８は１フレーム分の動
画像を蓄積する第１〜第４のフレームメモリである。

【００７５】５０９および５１０は、第３および第４の
セレクタであり、フレーム周期に同期して入力先を選択
する２入力１出力セレクタである。５１１、５１２は、
フレーム画像から所定の領域、レンチキュラレンズの幅
に適合して、画像を短冊状に切り出してフレーム画像を
生成するための第１および第２の短冊分割器である。

【００７６】５１３は時間的な画像データの相関を利用
して符号化する時間情報符号化器であり、５１４は空間
的な画像データの相関を利用して符号化する空間情報符
号化器である。また、５１５は符号化データを合成して
１フレーム分の符号化データを生成する合成器である。

【００７７】第１および第２のカメラ５０１、５０２
は、ステレオ画像を得るのに最適な位置関係で設置され
ている。なお、説明を容易にするために、以下の説明で
はＭＰＥＧ方式を例にとって説明する。

【００７８】第１および第２のカメラ５０１から入力さ
れた動画像データは、第１のセレクタ５０３、第１のフ
レームメモリ５０５、第２のフレームメモリ５０６を経
て、第３のセレクタ５０９に与えられ、この第３のセレ
クタ５０９を介して短冊分割器５１１に入力され、短冊
状に分割される。

【００７９】すなわち、短冊分割器５１１において、図
１０の領域９００、９０２、９０４、９０６に相当する
領域を抽出してフレーム画像を生成する。そして、短冊
状に分割された動画像データは時間情報符号化器５１３
に出力される。これらは第１のセレクタ５０３、第３の
セレクタ５０９によってトグルで動作する。

【００８０】すなわち、第１のフレームメモリ５０５に
第１のカメラ５０１からの出力のフレーム画像を書き込
んでいる間、第２のフレームメモリ５０６を読み出し、
次フレーム周期では逆になる。

【００８１】時間情報符号化器５１３に入力された画像
データは、ＭＰＥＧ方式に従って符号化される。なお、
本実施例の時間情報符号化器５１３は、第１の実施例に
おける時間情報符号化器１３と同じ構成で同じ動作をす
るので、詳細な説明を省略する。

【００８２】一方、第２のカメラ５０２から入力された
動画像データは、第２のセレクタ５０４、第３のフレー
ムメモリ５０７、第４のフレームメモリ５０８を経て第
４のセレクタ５１０に入力される。そして、この第４の
セレクタ５１０を介して、第２の短冊分割器５１２に入
力される。

【００８３】これらの第２のセレクタ５０４、第４のセ
レクタ５１０、第３のフレームメモリ５０７、第４のフ
レームメモリ５０８は、第１のセレクタ５０３、第３の
セレクタ５０９、第１のフレームメモリ５０５、第２の
フレームメモリ５０６と同様に動作する。

【００８４】短冊分割器５１１は、入力画像を短冊に分
割する。すなわち、上述したように図１０の領域９０
１、９０３、９０５、９０７に相当する領域を抽出し、
フレーム画像を生成して、空間情報符号化器５１４に出
力する。

【００８５】空間情報符号化器５１４は、時間情報符号
化器５１３と短冊分割器５１２とから画像データが入力
される。本実施例の空間情報符号化器５１４で利用する
両眼に入力される空間的な歪みの補正について、その原
理を図７に示す。図７において、６０１は入力される画
像の中の対象物である。なお、第１のカメラ５０１と第
２のカメラ５０２は、図６に記載のものとする。

【００８６】第１のカメラ５０１には、対象物６０１は
第１の長さａとして入力される。また、第２のカメラ５
０２には、対象物６０１は第２の長さｂとして入力され
る。したがって、第１のカメラ５０１から入力された画
像と第２のカメラ５０２から入力された画像とを比較す
る際に、第１のカメラ５０１から入力された画像をｂ／
ａ倍して比較すれば類似度が高まる。

【００８７】図８に、本実施例の空間情報符号化器５１
４のブロック図を示す。図８において、７０１は短冊分
割器５１２から画像データを入力するためのデータ線で
あり、７０２は時間情報符号化器５１３に設けられてい
るフレームメモリ１１０から画像データを入力するデー
タ線である。

【００８８】７０３はマクロブロック生成器であり、符
号化単位であるＭＰＥＧ方式のマクロブロックを生成す
るためのものである。７０４、７０７は入力されたＲＧ
Ｂ信号を、均等色空間を表すＣＩＥ１９７６のＬ＊ａ＊
ｂ＊信号に変換する第１および第２の色変換器である。

【００８９】７０５はメモリであり、７０８は変倍率を
決定する変倍率決定器である。７０６は変倍率決定器７
０８の変倍率に従ってメモリ７０５から矩形領域を切り
出す矩形生成器である。７０９は変倍率決定器７０８で
決定された変倍率で矩形領域を変倍する変倍器である。

【００９０】７１１は変倍器７０９で変倍して得られた
データとの差分をマクロブロックのブロック単位で求め
る差分器であり、７１２は差分値を比較して最初のもの
を検出し、その時の差分値を出力する最小検出器であ
る。

【００９１】７１３は最小検出器７１２から出力される
差分値を保持するラッチである。７１０はその時の変倍
率と矩形の切り出した位置を符号化する矩形情報符号化
器である。７１４はラッチ７１３の出力にＤＰＣＭを施
すＤＰＣＭ器である。

【００９２】７１５は生成されたＤＰＣＭ誤差を所定の
量子化係数で量子化する量子化器であり、７１６は生成
された誤差の量子化結果にハフマン符号を割り当てて符
号化する誤差符号化器である。７１７は矩形情報符号化
器７１０と誤差符号化器７１６の出力とを合成し、符号
化データを生成する合成器である。また、７１８は合成
器７１７で生成された符号化データを合成器５１５に送
出するデータ線である。

【００９３】このように構成された本実施例の空間情報
符号化器５１４においては、データ線７０１から入力さ
れた画像データは、マクロブロック生成器７０３でマク
ロブロックに形成される。このマクロブロックデータ
は、次段に設けられている第１の色変換器７０４でＬ＊
ａ＊ｂ＊信号のマクロブロックに変換される。

【００９４】また、符号化するマクロブロックの位置の
周辺の領域のデータが、時間情報符号化器５１３に設け
られているフレームメモリ１１０からメモリ７０５に格
納される。この領域の大きさは、類似する領域を探索す
る範囲で規定される。また、変倍率決定器７０９は、１
／１６から１６の間の変倍率Ｐを設定する。

【００９５】矩形形成器７０６は変倍率決定器７０９か
ら変倍率Ｐを入力し、主走査（１６／Ｐ）画素、副走査
１６画素の矩形を切り出し、第２の色変換器７０７でＬ
＊ａ＊ｂ＊信号の矩形データに変換する。そして、上記
変換された画像データは変倍器７０９に入力され、変倍
率Ｐで主走査方向にＰ倍される。

【００９６】このようにしてＰ倍に拡大された矩形デー
タは、差分器７１１において第１の色変換器７０４から
出力されたマクロブロックデータとの差分が取られる。
そして、その差分が最小検出器７１２に与えられる。

【００９７】上記最小検出器７１２は、差分の絶対値和
を求めて、絶対値和が最小な矩形データと倍率を検出す
る。そして、検出した矩形領域の相対的な位置と、変倍
率とマクロブロックの差分値とを出力する。

【００９８】その位置情報と変倍率は、矩形情報符号化
器７１０に入力され符号化されて、合成器７１７を介し
てデータ線７１８より出力される。また、差分値はラッ
チ７１３に格納され、ブロック単位でＤＰＣＭ器７１４
でＤＰＣＭされ、生じた誤差が量子化器７１５で量子化
される。そして、量子化結果は誤差符号化器７１６で符
号化され、合成器７１７を介してデータ線７１８より出
力する。

【００９９】なお、本実施例では時間情報の符号化方式
としてＭＰＥＧ方式を例にとったが、これに限定され
ず、Ｈ．２６１方式、およびその他の動画像符号化方式
であってももちろん構わない。

【０１００】また、フレームメモリの構成、およびその
他の各部の構成はこれに限定されず、例えば、フレーム
メモリではなく、数ライン分のラインバッファ等で構成
しても構わないし、機能が同じ物を兼用しても構わな
い。

【０１０１】さらに、類似度の算出はこれに限定されず
他の類似度、例えば、画像の勾配であるとか、空間周波
数であるとか、統計値であっても構わない。また、フィ
ールド毎に視差のある画像を呈示する動画像方式であっ
ても同様に符号化できることはいうまでもない。

【０１０２】そしてまた、動画像を入力するためのカメ
ラの台数等は、上述した各実施例に限定されず、見る方
向を自由に変えられるように、２台以上のカメラを配設
したり、画像を分割してもちろん構わない。

【０１０３】

【発明の効果】本発明は上述したように、請求項１に記
載の発明によれば、両眼に入る空間的に異なる画像デー
タ間の相関を利用する符号化を行うとともに、時間的な
画像データの相関を利用する符号化を行い、さらに、こ
れらの符号化された画像データを合成してから出力する
ようにしたので、効率のよい符号化を行うことができ
る。

【０１０４】請求項２に記載の発明によれば、両眼に呈
示される空間的に異なる画像データ間で類似する領域を
探索し、上記探索結果を符号化するとともに、類似する
領域の差分を符号化するようにしたので、効率のよい参
照ブロックを得ることができ、符号化効率を向上させる
ことができ。

【０１０５】請求項３に記載の発明によれば、エッジ情
報、色情報、および濃度情報の画像中の空間的な特徴を
抽出するとともに、上記抽出した空間的な特徴から、塊
として符号化した方が好ましい領域を求めるようにした
ので、効率のよい符号化を行なうことができる。

【０１０６】請求項４に記載の発明によれば、両眼視差
に基づく入力画像の歪みを、上記画像データ変形手段に
より変形させて補正するとともに、上記補正した領域の
画像データと符号化する領域とを比較して類似度を算出
するようにしたので、効率のよい参照ブロックを得るこ
とができ、符号化効率を向上することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例に係わる動画像符号化装
置の構成を示すブロック図である。

【図２】第１の実施例に係わる時間情報符号化器の構成
を示すブロック図である。

【図３】第１の実施例に係わる空間情報符号化器の構成
を示すブロック図である。

【図４】本発明の第２の実施例に係わる動画像符号化装
置の構成を示すブロック図である。

【図５】第２の実施例に係わる空間情報符号化器の構成
を示すブロック図である。

【図６】本発明の第３の実施例に係わる動画像符号化装
置の構成を示すブロック図である。

【図７】第３の実施例に係わる画像の補正の概念を示す
図である。

【図８】第３の実施例に係わる空間情報符号化器の構成
を示すブロック図である。

【図９】従来の動画像符号化装置の構成例を示すブロッ
ク図である。

【図１０】レンチキュラレンズを用いた動画像のフレー
ムの概念を示す図である。

【符号の説明】

１ 第１のカメラ ２ 第２のカメラ ３ 第１のセレクタ ４ 第２のセレクタ ５ 第１のフレームメモリ ６ 第２のフレームメモリ ７ 第３のフレームメモリ ８ 第４のフレームメモリ ９ 第５のフレームメモリ １０ 第３のセレクタ １２ 第４のセレクタ １３ 時間情報符号化器 １４ 空間情報符号化器 １５ 合成器

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 // Ｈ０３Ｍ 7/30 Ａ 9382−5Ｋ

Claims (4)

【特許請求の範囲】
1. 【請求項１】 空間的に異なる画像データを両眼に呈示
   して立体的な動画像を表示するための動画像データを符
   号化する装置であって、 上記両眼に呈示される空間的に異なる画像データを参照
   して符号化する空間情報符号化手段と、 上記両眼のうちの片方の眼に呈示される時間的に異なる
   画像データを参照して符号化する時間情報符号化手段
   と、 上記空間情報符号化手段および時間情報符号化手段によ
   って符号化された画像符号化データを合成する合成手段
   とを具備することを特徴とする動画像符号化装置。
2. 【請求項２】 上記両眼に呈示される空間的に異なる画
   像データ間で類似する領域を探索する類似領域探索手段
   と、 上記類似領域探索手段による探索結果を符号化する探索
   結果符号化手段と、 上記類似領域探索手段により探索された類似する領域の
   差分を符号化する差分符号化手段とを具備することを特
   徴とする請求項１に記載の動画像符号化装置。
3. 【請求項３】 空間的な特徴を抽出する特徴抽出手段
   と、 上記特徴抽出手段の抽出結果に基いて符号化する領域を
   決定する符号化領域設定手段とを具備することを特徴と
   する請求項１に記載の動画像符号化装置。
4. 【請求項４】 上記類似領域探索手段は、探索する領域
   の画像データを変形させる画像データ変形手段と、 上記画像データ変形手段が変形させた領域と符号化する
   領域との画像データを比較する領域比較手段とを具備す
   ることを特徴とする請求項２に記載の動画像符号化装
   置。