JP3279354B2 - ３次元ボリュームデータの動き補償予測方式 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は３次元ボリュームデータ
の動き補償予測方式に関し、特に奥行き階層を有する３
次元立体画像表示用ボリュームデータの各階層のデータ
に対して動き補償予測を行う方式に関するものである。

【０００２】３次元ボリュームデータとは、３次元立体
画像表示用データの１種であり、３次元空間内の各点が
値を持つものである。この画像データの現れ方により、
次の３つに分けることができる。

【０００３】被写体の表面のみならず、中身の画像デ
ータをも持つ場合：ＣＴスキャン等で得られた３次元画
像データは、被写体の中身まで透視するため中身の情報
を持っており医療向けの画像データとして扱われること
が多い。 被写体の表面のみの画像データを持つ場合：被写体の
画像データを、違う角度から複数台のカメラを用いて取
り込み、奥行き推定した場合。このため、被写体の中身
の画像データは無い（これはヌル・データ又はＮＵＬＬ
と称される）。 被写体を或る方向から見たときの表面の画像データだ
けを持つ場合：被写体の画像データを、或る角度から１
台又は複数台のカメラを用いて取り込み、奥行き推定し
た場合。このため、被写体をその方向から見たときの表
面の画像データのみが存在し、当然、中身の画像データ
は無く、ヌル・データである。

【０００４】このように、３次元ボリュームデータは奥
行き階層を有するため従来の２次元画像データと比較し
て種々の利用が期待されており、従ってその符号化方式
も最適なものとする必要がある。

【０００５】

【従来の技術】図２４は従来から良く知られている符号
化方式としての平面画像の動き補償予測方式をブロック
図で示したもので、この方式では、メモリ５１に記憶し
た過去の画像（参照画像）と入力画像とを或るブロック
についてブロックマッチング部５２でブロックマッチン
グを行う。最も良く標準化等で採用されているブロック
サイズは１６×１６画素である。

【０００６】このブロックマッチングによりブロックマ
ッチング部５２からは動きベクトルが検出され、この動
きベクトルは受信側に伝送されると共に可変遅延部５３
に送られ、ここで参照画面を該動きベクトル分だけ可変
遅延させて入力画面との差分（予測画面）をとる。

【０００７】この予測画面は符号化部５４で符号化さ
れ、可変長符号化部（ＶＬＣ）５５デ可変長符号化され
て伝送される。また、上記の参照画面を得るため、ロー
カルデコード部（復号化部）５６でローカルデコードを
行う。

【０００８】上記のブロックマッチングの一連の操作の
一例が図２５のフローチャートに示されており、この例
では上記の通り入力画像Ｆ_L と参照画像Ｆ_R とを用いて
動き補償するものである。

【０００９】そして、サーチ範囲をｘ方向に対し±Ｓ
ｘ、ｙ方向に対し±Ｓｙとし、ブロックの大きさをｘ方
向に対しＢｘ、ｙ方向に対しＢｙとし（ステップＳ２０
０）、両画像の差分の絶対値をブロック全体に対して評
価関数を絶対値誤差（二乗誤差でもよい）として積和し
た初期値ＳＵＭ１を求め（ステップＳ２０１）、これを
各ブロック毎に行い（ステップＳ２０２）、更にステッ
プＳ２０３での比較を行って値が最小となるようなベク
トルを上記のサーチ範囲に渡ってサーチすることにより
上記の動きベクトルＶｘ，Ｖｙを求めている（ステップ
Ｓ２０４）。このブロックマッチングは公知の方式であ
る。

【００１０】図２６は図２４に示したブロックマッチン
グ部５２の回路ブロック図を示したもので、入力画像Ｆ
_L と参照画像Ｆ_R との二乗誤差の累積によって算出した
値を最小にするベクトルを選択する事によって求められ
る。図中、図２５のステップＳ２〜Ｓ４及び動きベクト
ル出力ＳＵＭ１が対応して示されており、またカウンタ
は図２５中のパラメータＫx ，Ｋy をインクリメントす
るために用いられている。

【００１１】そして、このような平面画像に対する動き
補償予測を３次元ボリュームデータに適用するときに
は、３次元ボリュームデータのｘｙ面、ｙｚ面、又はｚ
ｘ面に関して奥行き階層毎に行っていた。

【００１２】

【発明が解決しようとする課題】上記のように従来で
は、平面画像における動き補償と同様に、動き補償を行
っていた。つまり、３次元ボリュームデータの特徴であ
る、奥行き方向に対して単に階層毎の平面的な動き補償
を行うだけであり、奥行き階層に対する相関等を利用し
たり、適応的に動き補償を行うことをしなかった。

【００１３】このため、データの量が膨大である３次元
ボリュームデータにおいては、動き補償ベクトルの数も
多くなり、ベクトルの数が多くなっても効率が上がらな
かっただけでなく、３次元データを３次元のままマッチ
ングをとっていたため、マッチングに要する計算量が膨
大なものとなっていた。

【００１４】従って本発明は、入力画面及び参照画面に
おけるそれぞれの３次元立体表示方式の１種である３次
元ボリュームデータの動き補償予測方式において、奥行
き階層に対する相関等を利用したり、適応的な動き補償
を行うことにより演算量を削減することを目的とする。

【００１５】

【課題を解決するための手段及び作用】上記のような問
題点に対しては次の解決策が考えられる。 本発明（その１）：評価関数を用いて適応的に２次元
平面に切断して（切り口の方向を変えて）、動き補償予
測を行う； 本発明（その２）：適応的あるいは非適応的に２次元
平面に切断して、動き補償予測を行い、求められた複数
の動きベクトルを元に３次元の動きベクトルを求める； 本発明（その３）：補間等により、ある一部のベクト
ルから予測画面を形成するか、或いは予測画面形成用の
動きベクトルを求める；

【００１６】本発明（その１）：図１ 本発明に係る３次元ボリュームデータの動き補償予測方
式（その１）では、その解決手段として図１に原理的に
示すように、立方体あるいは直方体に区切られたブロッ
ク内部を、ｘ平面、ｙ平面、ｚ平面の各平面に対して複
数の２次元平面データを得るスキャンコンバータ１，２
と、該スキャンコンバータ１，２にて得たｘ平面、ｙ
平面、ｚ平面の各平面に対する複数の２次元平面データ
の内、最も平坦な性質を有する平面をその種類と共に優
先的に選択出力すると共に該平面の種類に従って参照画
面の平面データを該第２のスキャンコンバータ２より選
択出力させる評価部３と、該評価部３及び該第２のスキ
ャンコンバータ２で選択された平面データ同士を比較し
て動きベクトルを生成するブロックマッチング部４とを
備え、該平面の種類及び動きベクトルを受信側に伝送す
るように構成したものである。

【００１７】この図１の構成の作用を説明すると、ま
ず、入力画面および過去の参照画面（原画あるいは再生
画）の３次元ボリュームデータを立方体あるいは直方体
のブロックに区切った形でそれぞれ第１及び第２のスキ
ャンコンバータ１，２に入力する。第１のスキャンコン
バータ１からはｘｙ平面、ｙｚ平面、ｚｘ平面の３種類
のスキャン結果（奥行き階層ｋを切り口とした平面デー
タ）が出力されて評価部３に入力される。

【００１８】評価部３では、第１のスキャンコンバータ
１からの平面データの内、動き補償を行うのに最適なス
キャン方法（動き補償ベクトルが小さくなるようなスキ
ャン方法）として、例えば平坦な性質を有する切り口に
なるものが最も多い複数の平面を選んでブロックマッチ
ング部４に与えると共に、その結果を受信側に伝送する
と共に第２のスキャンコンバータ２に与えて対応する平
面の参照画面データを選択させ、この参照画面データを
ブロックマッチング部４に与える。

【００１９】ブロックマッチング部４では公知のブロッ
クマッチングを行い、その結果得られる動きベクトルを
出力し伝送する。尚、この動きベクトルと参照画面とを
得て通常の如く予測画面を生成することができる。

【００２０】本発明（その２）：図２ 本発明に係る３次元ボリュームデータの動き補償予測方
式（その２）では、その解決手段として図２に原理的に
示すように、立方体あるいは直方体に区切られたブロッ
ク内部を、ｘ平面、ｙ平面、ｚ平面の各平面に対して複
数の２次元平面データを得るスキャンコンバータ１，２
と、該スキャンコンバータ１，２にて得たｘ平面、ｙ平
面、ｚ平面の各平面に対する複数の２次元平面データの
内、最も平坦な性質を有する平面をその種類と共に優先
的に選択出力すると共に該平面の種類に従って参照画面
の平面データを該第２のスキャンコンバータ２より選択
出力させる評価部３と、該評価部３及び該第２のスキャ
ンコンバータ２で選択された平面データ同士を同じ平面
の種類毎に比較してそれぞれの動きベクトルを生成する
ブロックマッチング部４と、各動きベクトルと該選択さ
れた平面の種類とから３次元動きベクトルを計算して出
力する３次元動きベクトル計算部５とを備え、該３次元
動きベクトルを受信側に伝送するように構成している。

【００２１】この図２の構成の作用を説明すると、ま
ず、入力画面および参照画面（原画あるいは再生画）の
３次元ボリュームデータを立方体あるいは直方体のブロ
ックに区切った形でそれぞれ第１及び第２のスキャンコ
ンバータ１，２に入力する。第１のスキャンコンバータ
１からはｘｙ平面、ｙｚ平面、ｚｘ平面の３種類のスキ
ャン結果（奥行き階層ｋを切り口とした平面データ）が
出力されて評価部３に入力される。

【００２２】評価部３では、第１のスキャンコンバータ
１からの平面データの内、動き補償を行うのに最適なス
キャン方法として、例えば平坦な性質を有する切り口に
なるものが多い「複数の」平面を選んで（図９参照）ブ
ロックマッチング部４に与えると共に、その結果を第２
のスキャンコンバータ２に与えて対応する「複数」の同
じ平面の参照画面データを選択させ、この参照画面デー
タをブロックマッチング部４に与える。

【００２３】ブロックマッチング部４では、選択された
同じ平面同士を比較して公知のブロックマッチングを行
い、その結果得られる複数の動きベクトルを出力する。

【００２４】そして、この複数の動きベクトルと選択さ
れた平面の種類とを３次元動きベクトル計算部５に与え
ることにより、３次元での動きベクトルを計算し受信側
に伝送する。

【００２５】尚、この３次元動きベクトルとスキャンコ
ンバータ２に入力前の立方体又は直方体ブロックの参照
画面とを得て予測画面を生成することができる。

【００２６】本発明（その３）：図３ 本発明に係る３次元ボリュームデータの動き補償予測方
式（その３）では、その解決手段として図３に原理的に
示すように、図１及び図２に示した原理図において、入
力画面及び参照画面のそれぞれの平面データに対して間
引きを行う間引き部６−１〜６−３を設けることによ
り、間引いた平面データより対応する動きベクトルを算
出して、上記の本発明（その１，その２）のように２次
元又は３次元の動きベクトルとすることができ、以て演
算量を削減している。

【００２７】その他の本発明の好ましい態様 本発明（その３）では、ブロックマッチング部４を第１
のブロックマッチング部としたとき、該入力画面に対す
る間引き部６−１，６−３で間引かれずに残った入力画
面と間引かれた入力画面とをブロックマッチングするこ
とにより間引きベクトルを生成して受信側に伝送する第
２のブロックマッチング部４０を設けることができる。

【００２８】また本発明（その３）では、該第１のブロ
ックマッチング部４が、求まった複数の動きベクトルの
平面間の平均値又は距離の加重平均から求まっていない
動きベクトルを求めることができる。

【００２９】更に本発明（その１〜その３）では、最も
平坦な性質を有する平面の代わりに、エッジ部を含む平
面を優先的に選択してもよく、この場合の評価関数とし
て画像の性質を示す分散を用いることができる。

【００３０】更に本発明（その１〜その３）では、評価
部３が、予め優先的に選択する平面を決めていてもよ
い。

【００３１】更に本発明（その１〜その３）では、ブロ
ックマッチング部４が、求まった複数の動きベクトルの
平均値、最大値、最小値、及び中央値のいずれかを３次
元の動き補償ベクトルとしてもよい。

【００３２】更に本発明（その３）では、該入力画面の
一部に対してｘ軸方向、ｙ軸方向、及びｚ軸方向の内の
１つ以上の方向に補間フィルタをかけることにより予測
画面を生成するか、或いは該間引きベクトルと間引きさ
れずに残っている入力画面とにより予測画面を生成する
予測画面生成部８を備えることができる。

【００３３】更に上記の予測画面生成部８が、該入力画
面の空間的に両側に存在する符号化済の予測画面の少な
くとも片方の画面の加重平均をとった結果を予測画面と
し、その予測画面の誤差が最小となる予測画面を選択す
るようにすることができる。

【００３４】

【実施例】本発明（その１）の実施例：図４〜図８ 図４〜図６のフローチャートは、図１に示した本発明に
係る３次元ボリュームデータの動き補償予測方式（その
１）における評価部３の実施例を示したもので、入力画
面の立方体のデータをＯＢ（８，８，８）、参照画面
（例えば原画又はローカルデコード（再生）画面）の立
方体のデータをＲＢ（８，８，８）とする８×８×８の
ブロックである（図４のステップＳ１）。即ち、各ブロ
ックは図１においてｋ＝８であり、奥行き階層が「８」
の立方体ブロックを仮定している。尚、ここでは立方体
を例にとるが、直方体でもよい。

【００３５】このような入力画面及び参照画面の立方体
ブロックはそれぞれスキャンコンバータ１，２（図１）
に与えられ、これにより得られた入力画面の平面データ
を、ＸＹ平面については、ＯＢｘｙ１〜ＯＢｘｙ８（入
力画面）、ＲＢｘｙ１〜ＲＢｘｙ８（参照画面）、ＹＸ
平面については、ＯＢｙｚ１〜ＯＢｙｚ８（入力画
面）、ＲＢｙｚ１〜ＲＢｙｚ８（参照画面）、ＺＸ平面
については、ＯＢｚｘ１〜ＯＢｚｘ８（入力画面）、Ｒ
Ｂｚｘ１〜ＲＢｚｘ８（参照画面）とする（ステップＳ
２）。

【００３６】そして、この実施例による評価部３では、
動き補償を行うブロックの画質が平坦な性質を持つよう
な切り口（平面）を選択する。このようにすると、マッ
チングした結果、大きな動きベクトルが選ばれないこと
が多く、情報量の削減を図ることができる。或いは変形
例として、エッジ部を含む切り口を選択してもよい。こ
のようにすると、ミスマッチの少ない正確な動きベクト
ルを選択することができる。

【００３７】この実施例では、ブロックが平坦な性質を
持つかエッジ部の性質を持つかを、公知の方式である
「分散」を用いる。もちろん、画像の性質を知る公知の
別の評価関数を用いても構わない。図７のステップ３１
〜Ｓ３５には公知の分散の求め方がフローチャートで示
されており、まず、分散を求めようとするブロックをＢ
（８，８）とする。また、ＡＶＥはブロック内平均値
を、ＶＡＲは分散を求めるパラメータである（ステップ
Ｓ３１）。

【００３８】そして、ブロック内の画素値ＡＶＥを累積
し（ステップＳ３２）、画素数（８×８）で除算して平
均値を算出する（ステップＳ３３）。次に、各画素値Ｂ
（ｉ，ｊ）をブロック内平均値ＡＶＥで減算した値を二
乗して累積することにより分散ＶＡＲを求める。

【００３９】このような手順で、入力画面であるＯＢｘ
ｙ１〜ＯＢｘｙ８，ＯＢｙｚ１〜ＯＢｙｚ８，ＯＢｚｘ
１〜ＯＢｚｘ８の分散を計算し、ＶＡＲＯＢｘｙ１〜Ｖ
ＡＲｘｙ８，ＶＡＲＯＢｙｚ１〜ＶＡＲｙｚ８，ＶＡＲ
ＯＢｚｘ１〜ＶＡＲｚｘ８とする（図５のステップＳ
３）。

【００４０】また、各切り口における平坦なブロックと
判定された平面の数をそれぞれＵｘｙ，Ｕｙｚ，Ｕｚｘ
とし、また、平坦部、エッジ部の閾値をＴＨ１，ＴＨ２
とする。

【００４１】まず、ＸＹ平面の分散ＶＡＲＯＢｘｙが、
閾値ＴＨ１より小さくなる数をカウントし、Ｕｘｙとす
る（ステップＳ４〜Ｓ９）。ＹＺ平面、ＺＸ平面につい
ても、同様にカウントし、Ｕｙｚ、Ｕｚｘとする（ステ
ップＳ１０〜Ｓ２１）。

【００４２】そして、Ｕｘｙ，Ｕｙｚ，Ｕｚｘのうち、
最大値をとる平面を選択する（ステップＳ２２〜Ｓ２
６）。

【００４３】一方、上述した変形例として、エッジ部と
判定された平面の数をカウントするためには、上記のス
テップＳ６，Ｓ１２，Ｓ１８においてそれぞれＶＡＲＯ
ＢがＴＨ１以上でＴＨ２以下か否かの判定に変えれば良
い。

【００４４】〔回路例〕図８は上記の実施例の機能を示
す回路ブロック図であり、まず、入力をスキャンコンバ
ータ１，２でｘｙ平面、ｙｚ平面、ｚｘ平面に分離し
て、画素の累積をとり、１／８×８の計算をすることに
より、それぞれ分散計算のためのブロック内平均値計算
を行う。次に、画素値から平均値を減算して二乗するこ
とにより分散ＶＡＲＯＢを求める。求めた分散と閾値Ｔ
Ｈ１（ＴＨ２）とを比較して、比較結果を累積し、各切
り口における平坦なブロックと判定された平面の数を示
す評価関数Ｕを求め、各平面のＵを比較して、どの平面
を用いるかを判定する。

【００４５】尚、上記の実施例により評価部３から出力
された平面データとスキャンコンバータ２から出力され
た平面データとを入力するブロックマッチング部４での
ブロックマッチング動作は図２５に示した従来例と同様
である。

【００４６】本発明（その２）の実施例：図９〜図１
４ 図９〜図１０のフローチャートは、図２に示した本発明
に係る３次元ボリュームデータの動き補償予測方式（そ
の２）における評価部３及びブロックマッチング部４の
実施例を示したもので、ここでは、３種ある平面（ｘ
ｙ，ｙｚ，ｚｘ）の内、２種類を選んで選択し、それぞ
れマッチングを行うものである。

【００４７】即ち、図９(a) に概念的に示すように、ま
ず、上記の実施例で得られた評価関数Ｕｘｙ，Ｕｙｚ，
Ｕｚｘ（図５〜図６参照）を用い（ステップＳ４１）、
Ｕの値の大きい方から２種類の平面を使う（ステップＳ
４２〜Ｓ４６）。このようにして決定された平面の種類
（２種類）を示すフラグが評価部３から３次元動きベク
トル計算部５及びスキャンコンバータ２に与えられると
共にその２種類の平面データがブロックマッチング部４
に与えられる。

【００４８】この図９(a) のフローチャートに対応する
回路ブロック図が同図(b) に示されており、まず、評価
関数Ｕｘｙ，Ｕｙｚ，Ｕｚｘを比較部にて比較した後、
比較部の出力をスイッチとして、入力画面、参照画面共
に同じ切り口の平面を選んで、同じ切り口同士でブロッ
クマッチングをとっている。

【００４９】このブロックマッチング部４には、評価部
３からの２種類の平面データとこれらの種類に対応する
参照画面の平面データとが入力され、公知の方法で２種
類の平面に関してのブロックマッチングを行うことによ
り動きベクトル（ステップＳ５１参照）が計算されるこ
ととなる。従って、２種類の平面データ同士の場合には
２回ブロックマッチングが行われることとなる。

【００５０】図１０に示す３次元動きベクトル計算部５
の実施例では、ＸＹ平面とＹＺ平面が評価部３で選択さ
れた場合の３次元動きベクトルを計算する場合を示して
おり、ＸＹ平面で求められた動きベクトルをそれぞれＶ
Ｂｘｙ１（ＶＸＹｘ１，ＶＸＹｙ１）〜ＶＢｘｙ８（Ｖ
ＸＹｘ８，ＶＸＹｙ８）、ＹＺ平面で求められた動きベ
クトルをそれぞれＶＢｙｚ１（ＶＹＺｘ１，ＶＹＺｙ
１）〜ＶＢｙｚ８（ＶＹＺｘ８，ＶＹＺｙ８）とする
（ステップＳ５１）。

【００５１】そして、Ｘ方向の動きベクトルについて
は、ＶＢｘｙ１〜ＶＢｘｙ８のＸ成分（ＶＸＹｘ１〜Ｖ
ＸＹｘ８）、Ｚ方向の動きベクトルについては、ＶＢｙ
ｚ１〜ＶＢｙｚ８のＺ成分ＶＹＺｘ１〜ＶＹＺｘ８）、
Ｙ方向の動きベクトルについては、ＶＢｘｙ１〜ＶＢｘ
ｙ８及びＶＢｙｚ１〜ＶＢｙｚ８のＹ成分（ＶＸＹｙ１
〜ＶＸＹｙ８，ＶＹＺｙ１〜ＶＹＺｙ８）の平均値を求
めて３次元の動きベクトルＶｘ，Ｖｙ，Ｖｚとする（ス
テップＳ５２〜Ｓ５６，Ｓ５７〜Ｓ６１，Ｓ６２〜Ｓ６
６）。

【００５２】図１１には、図１０に示した３次元の動き
ベクトルを算出するフローチャートに対応する回路ブロ
ック図が示されており、ＶＸＹｘは累算して１／８すれ
ばＶＸとなり（図１１(a) ）、ＶＹＺｚも累算して１／
８すればＶＺとなる（同(c)）。また、ＶＸＹｙとＶＹ
Ｚｙを加算した値を累算して１／１６すると、ＶＹとな
る（同(b) ）。

【００５３】尚、この変形例として、上記の平均値の代
わりに最大値、最小値、又は中央値をとる方式があり、
これらのバリエーションのフローチャートがそれぞれ図
１２〜図１４に続けて示されている。

【００５４】まず、最大値の場合は、図１２(a) のフロ
ーチャートに示す如く、ＶＹＺｚｉ（ｉ＝１〜８）の絶
対値とＶＺ（初期値０）を比較して（ステップＳ７２）
ＶＹＺｚｉの絶対値が大きければＶＺ＝ＶＹＺｚｉの絶
対値として更新処理を続ければ（ステップＳ７３）、最
後には一番大きいＶＹＺｚｉの絶対値が残る（ステップ
Ｓ７４〜Ｓ７６）。

【００５５】図１２(b) には同図(a) に示したフローチ
ャートに対応する回路ブロック図が示されており、比較
器とセレクタから構成され、ＶＹＺｚｉの絶対値とＶＺ
の比較結果はセレクタにより再びＶＺとしてフィードバ
ックされる。

【００５６】最小値の場合も図１３に示すように同様に
行う。ただし、ＶＺの初期値はａ（ａは動きベクトルが
取り得る値よりも大きい値）、ＶＹＺｚｉの絶対値が小
さければ更新を行う（ステップＳ７２ａ〜Ｓ７３）。こ
の図１３の最小値の場合も図１２(b) に示す回路ブロッ
ク図と同様に示すことができる。

【００５７】中央値の場合は、図１４(a) に示すよう
に、奥行き階層が「８」であるため、その中央値（３又
は４）として最大値を３回求める（ステップＳ７７〜Ｓ
７９）が、求める度に、最大値となった値を除外する。
そうして３回目に最大となった値を中央値とする（ステ
ップＳ８０）。

【００５８】この場合の回路ブロック図が同図(b) に示
されており、最大値を得る過程は同様であるが、最大値
をとるｉをフィードバックして、セレクタを通すことに
よって値を出力させない（０を出力する）ようにしてい
る。

【００５９】尚、上記の実施例では、２つの平面を選択
してブロックマッチングを行ったが、３つの平面全てに
対してブロックマッチングを行ってもよい。

【００６０】(1) 本発明（その３）の実施例（その
１）：図１５ 上記の実施例においてはブロックマッチングを行う対象
を適応的に変化させているが、この実施例では、対象と
する平面（間引く平面）を適応的でなく、固定にしてい
る（上記の実施例でも固定的にすることができる）。こ
れは、適応的に行わなければ、判定回路が不要となり、
ハードウェアが簡易なものとなるからである。

【００６１】図１５は本発明に係る３次元ボリュームデ
ータの動き補償予測方式（その３）の実施例（その１）
を示したフローチャートであり、まず、ここでは、スキ
ャンコンバータ１から出力されたｘｙ平面，ｙｚ平面，
ｚｘ平面を間引き部６−１（図３）において、ｘｙ平面
のブロックＯＢｘｙ１〜ＯＢｘｙ８のうち、ＯＢｘｙ
２、ＯＢｘｙ６を用い、また、ｙｚ平面のブロックＯＢ
ｙｚ１〜ＯＢｙｚ８のうち、ＯＢｙｚ２とＯＢｙｚ６を
用い、また、ｚｘ平面のブロックＯＢｚｘ１〜ＯＢｚｘ
８のうち、ＯＢｚｘ２とＯＢｚｘ６を用いるように間引
き（ステップＳ８１）、演算量の削減を図っている。

【００６２】そして、これら６平面についてブロックマ
ッチング部４において上記と同様の公知のブロックマッ
チングを行い、動きベクトルを算出する。この場合、Ｏ
Ｂｘｙ２，ＯＢｘｙ６，ＯＢｙｚ２，ＯＢｙｚ６，ＯＢ
ｚｘ２，ＯＢｚｘ６の動きベクトルをそれぞれＶＢＸＹ
２（ＶＸＹｘ２，ＶＸＹｙ２），ＶＢＸＹ６（ＶＸＹｘ
６，ＶＸＹｙ６），ＶＢＹＺ２（ＶＹＺｙ２，ＶＹＺｚ
２），ＶＢＹＺ６（ＶＹＺｙ６，ＶＹＺｚ６），ＶＢＺ
Ｘ２（ＶＺＸｚ２，ＶＺＸｘ２），ＶＢＺＸ６（ＶＺＸ
ｚ６，ＶＺＸｘ６）とする（ステップＳ８２）。このと
き、ブロックマッチング部４の前においても間引き部６
−２により間引き部６−１と同様の間引き動作が行われ
る。

【００６３】尚、この間引き部６−１はブロックマッチ
ング部の前に設置されればどこでもよく、図３に示すよ
うに間引き部６−３を評価部３とブロックマッチング４
０，４との間に設けてもよい。

【００６４】このように動きベクトルを求めた後、図１
の場合のように２次元動きベクトルのまま出力するか、
あるいは図２の場合のように２次元動きベクトルと評価
部３で選択された平面の種類とにより３次元ベクトル計
算部５において３次元動きベクトルを求めて出力を行う
（ステップＳ８３）。この動きベクトルの求め方は、平
面を間引いている以外、上記の実施例と相違は無い。

【００６５】また、予測画面も予測画面生成部７におい
て上記の２次元又は３次元動きベクトルを用いて生成さ
れることとなる。

【００６６】(2) 本発明（その３）の実施例（その
２）：図１６〜図１８ この実施例は、求めていない動きベクトルを、既に求め
てある動きベクトルから求めるものである。求めてある
動きベクトルとは、図１５に示した動きベクトルＶＢＸ
Ｙ２（ＶＸＹｘ２，ＶＸＹｙ２），ＶＢＸＹ６（ＶＸＹ
ｘ６，ＶＸＹｙ６），ＶＢＹＺ２（ＶＹＺｙ２，ＶＹＺ
ｚ２），ＶＢＹＺ６（ＶＹＺｙ６，ＶＹＺｚ６），ＶＢ
ＺＸ２（ＶＺＸｚ２，ＶＺＸｘ２），ＶＢＺＸ６（ＶＺ
Ｘｚ６，ＶＺＸｘ６）を指している。

【００６７】更に、上下左右端を除いて、隣接したブロ
ック（これらのブロックを集合して入力画面全体の画像
となる）で既に動きベクトルが求めてある場合も用い
る。これら隣接したブロックの動きベクトルを、図１６
(a) に示すように、ＵＢＸＹ２（ＵＸＹｘ２，ＵＸＹｙ
２），ＵＢＸＹ６（ＵＸＹｘ６，ＵＸＹｙ６），また同
図(b) に示すように、ＵＢＹＺ２（ＵＹＺｙ２，ＵＹＺ
ｚ２），ＵＢＹＺ６（ＵＹＺｙ６，ＵＹＺｚ６），更に
同図(c) に示すように、ＵＢＺＸ２（ＵＺＸｚ２，ＵＺ
Ｘｘ２），ＵＢＺＸ６（ＵＺＸｚ６，ＵＺＸｘ６）とす
る。

【００６８】次にブロックマッチング部４において、求
めていない動きベクトルを加重平均により求める（図１
７）。これは一種の補間動作であり、この加重平均によ
り求められた動きベクトルは、送信側と受信側で共通に
持ち得る値である。従って、予測値を算出するために用
いるが、伝送する必要は無い。

【００６９】即ち、図１７は、全ての平面、全ての動き
ベクトルに対して同様の処理をするため、ｘｙ平面のｘ
動きベクトルを求めるフローチャートを示しており、求
めようとする動きベクトルのある平面に一番近い、既に
求めた動きベクトルを有する平面を用いる。

【００７０】従って、ＶＸＹｘ１を求める際にはＶＸＹ
ｘ２，ＵＸＹｘ６を、ＶＸＹｘ３〜ＶＸＹｘ５を求める
際にはＶＸＹｘ２，ＶＸＹｘ６を、ＶＸＹｘ７，ＶＸＹ
ｘ８を求める際にはＶＸＹｘ６，ＵＸＹｘ２を用い（ス
テップＳ９１）、距離の加重平均をとる（ステップＳ９
２）。そして、２次元動きベクトルのまま、或いは３次
元ベクトル計算部５において３次元動きベクトルを求め
る（ステップＳ９３）。

【００７１】このように、近い動きベクトルは、似通っ
た値を取るという動きベクトルの性質を用いている。

【００７２】〔回路例〕図１８は図１７のフローチャー
トに対応する回路ブロック図を示したもので、加算器、
乗算器、除算器（ビットシフト）から構成される簡単な
回路となる。

【００７３】(3) 本発明（その３）の実施例（その
３）：図１９〜図２０ この実施例では上記の実施例（その２）と異なり、求め
ていない動きベクトルを求めて全平面を処理するのでは
なく、動き補償も符号化も間引いた状態で行い、ローカ
ルデコード、或いは受信側で復号化して表示する際に補
間を行って「予測画面」を生成しようとするものであ
る。このような補間を行うために公知の補間フィルタを
用いる。

【００７４】図１９はこの実施例のフローチャートを示
したもので、まず、間引き部６−３で間引かれた後、図
３に点線で示したように予め符号化した入力画面（平面
ブロック）をＯＢｘｙ２（８，８），ＯＢｘｙ６（８，
８），ＯＢｙｚ２（８，８），ＯＢｙｚ６（８，８）と
し、求める立方体をＢ（８，８，８）として図３に点線
で示した予測画面生成部８に入力する（ステップＳ１０
１）。尚、予測画面生成部８が使用されるときには予測
画面生成部７は使用されず、逆も同様である。

【００７５】ここで、考え易くするため、立方体Ｂをｙ
軸と垂直に輪切りにする。この結果、Ｂ１（ｘ，ｚ）＝
Ｂ（ｘ，１，ｚ），…，Ｂ８（ｘ，ｚ）＝Ｂ（ｘ，８，
ｚ）とする。このとき、すでに符号化済のデータは、そ
れぞれ、ＯＢｘｙ２（ｘ，１），ＯＢｘｙ６（ｘ，
１），ＯＢｙｚ２（１，ｚ），ＯＢｙｚ６（１，ｚ），
…，ＯＢｘｙ２（ｘ，８），ＯＢｘｙ６（ｘ，８），Ｏ
Ｂｙｚ２（８，ｚ），ＯＢｙｚ６（８，ｚ）となる（ス
テップＳ１０２）。

【００７６】さて、Ｂ１〜Ｂ８の各平面について補間フ
ィルタをかける。まずｘｙ方向に補間フィルタをかけ、
次にｙｚ方向に補間フィルタをかけ、再びｘｙ方向に補
間フィルタをかける。

【００７７】図２０(a) 〜(d) には図１９に示した補間
フィルタによる補間動作が順次示されており、図１９の
ステップＳ１０３に示す順序で符号化済みの平面ブロッ
クデータに対して補間動作が行われる。また、公知では
あるが、補間フィルタの一例が図２０(e) に示されてい
る。

【００７８】(4) 本発明（その３）の実施例（その
４）：図２１〜図２２ この実施例は上記の実施例（その３）と同様、求めてい
ない動きベクトルを求めて全平面を処理するのではな
く、動き補償も符号化も間引いた状態で行い、ローカル
デコード、あるいは受信側で復号化して表示する際に補
間を行うものである。但し、実施例（その３）と異な
り、補間を行うために、補間フィルタを用いて補間する
のではなく、符号化済の入力画面から片方向あるいは両
方向の間引き動きベクトルをブロックマッチング部４０
で検出し、予測画面生成部８で予測を行おうとするもの
である。

【００７９】図２１はこの実施例による予測画面生成部
８のフローチャートを示したもので、この実施例では、
ｘｙ方向の平面についてのみ述べるが、他の平面でも、
またそれらを組み合わせても同様に行うことができる。

【００８０】既に符号化済の入力ブロックをＯＢｘｙ
２，ＯＢｘｙ６、また、既に符号化済の周囲の入力ブロ
ックをＵＢｘｙ２，ＵＢｘｙ６とする（ステップＳ１１
１）。

【００８１】これらの間のブロックについて予測画面を
生成しなければならないが、それぞれ一番近い符号化済
の入力平面ブロックを使う。このため、間引き部６−３
で間引かれる入力画面ＯＢｘｙ１の予測画面を得る場合
には、評価部３より入力される入力画面ＯＢｘｙ１に対
して間引き部６−３で間引かれずに残った入力画面ＯＢ
ｘｙ２，ＯＢｘｙ６を参照画面として（図２２参照）ブ
ロックマッチング部４０でブロックマッチングし、この
入力画面することにより間引きベクトル（動きベクト
ル）が生成されて受信側に伝送される。

【００８２】同様に、入力画面ＯＢｘｙ３〜ＯＢｘｙ５
の予測画面を得る場合には、間引かれずに残った入力画
面ＯＢｘｙ２，ＯＢｘｙ６を参照画面としてブロックマ
ッチングし、更に入力画面ＯＢｘｙ７，ＯＢｘｙ８の予
測画面を得る場合には、間引かれずに残った入力画面Ｏ
Ｂｘｙ６，ＵＢｘｙ２を参照画面としてブロックマッチ
ングして間引きベクトルを生成する（ステップＳ１１
２）。

【００８３】このようにして生成された間引きベクトル
は間引かれずに残った上記の入力画面と共に予測画面生
成部８に与えられ、これによりそれぞれ例えば入力画面
ＯＢｘｙ１−入力画面ＵＢｘｙ６，入力画面ＯＢｘｙ１
−ＯＢｘｙ２の関係により予測画面ＲＢ１（８，８），
ＲＢ２（８，８）を生成する（ステップＳ１１３〜Ｓ１
２１）。ここでは、片方向の予測画面（２種）と、両方
向の予測画面について、予測誤差を計算し、誤差が最小
となる予測方式を採用している。

【００８４】尚、上記の「符号化」処理は間引きベクト
ルと共に予測画面生成したものに対して行ってもよい。

【００８５】(5) 本発明（その３）の実施例（その
５）：図２３ この実施例では間引く平面を固定でなく適応的とするも
のであり、この実施例のフローチャートが図２３に示さ
れている。

【００８６】このように適応的な間引きを行う際、入力
の画像の性質を調べ、細かい模様などであれば間引く平
面を少なくして補間の際のミスマッチを防ぎ、また、平
坦な部分であれば間引く平面を多くして補間の際のミス
マッチを小さくすることが好ましい。

【００８７】まず、入力画面（立方体）ＯＢ（８，８，
８）の分散ＶＡＲを求め（ステップＳ１３２）、分散Ｖ
ＡＲと閾値ＴＨとの大小比較を行う（ステップＳ１３
３）。

【００８８】この結果、ＶＡＲ＞ＴＨのときは、細かい
模様であるとして、例えば，ｘｙ平面上のＯＢｘｙ２，
ＯＢｘｙ４，ＯＢｘｙ６，ＯＢｘｙ８を間引き、ＯＢｘ
ｙ１，ＯＢｘｙ３，ＯＢｘｙ５，ＯＢｘｙ７は残して処
理する（ステップＳ１３４）。

【００８９】そうでなければ，例えば，ｘｙ平面上のＯ
Ｂｘｙ２〜ＯＢｘｙ４，ＯＢｘｙ６〜ＯＢｘｙ８を間引
き、ＯＢｘｙ１，ＯＢｘｙ５は残して処理する（ステッ
プＳ１３５）。

【００９０】これ以降は、上記の実施例と同様に行うこ
とができる。

【００９１】

【発明の効果】以上のように本発明に係る３次元ボリュ
ームデータの動き補償予測方式によれば、立方体又は直
方体に区切り、適応的に切り口の平面を変えて動き補償
を行うか、或いは２次元の動きベクトルを元に３次元の
動きベクトルを求めるか、或いは一部の入力画面又は動
きベクトルから予測画面を形成するように構成したの
で、より効率的な動き補償動きベクトルの検出、演算量
の削減、情報量の削減が可能となる。

【図面の簡単な説明】

【図１】本発明に係る３次元ボリュームデータの動き補
償予測方式（その１）の原理構成を示すブロック図であ
る。

【図２】本発明に係る３次元ボリュームデータの動き補
償予測方式（その２）の原理構成を示すブロック図であ
る。

【図３】本発明に係る３次元ボリュームデータの動き補
償予測方式（その３）の原理構成を示すブロック図であ
る。

【図４】本発明（その１）の評価部の実施例のフローチ
ャート図（その１）である。

【図５】本発明（その１）の評価部の実施例のフローチ
ャート図（その２）である。

【図６】本発明（その１）の評価部の実施例のフローチ
ャート図（その３）である。

【図７】本発明に用いる分散計算の実施例を示したフロ
ーチャート図である。

【図８】本発明（その１）の評価部の回路ブロック図で
ある。

【図９】本発明（その２）の評価部及びブロックマッチ
ング部の概念図である。

【図１０】本発明（その２）の３次元動きベクトル計算
部の実施例のフローチャート図である。

【図１１】本発明において３次元動きベクトル計算部の
実施例の回路ブロック図である。

【図１２】本発明（その２）の３次元動きベクトル計算
部の変形例（最大値をとる場合）を示したフローチャー
ト図である。

【図１３】本発明（その２）の３次元動きベクトル計算
部の変形例（最小値をとる場合）を示した図である。

【図１４】本発明（その２）の３次元動きベクトル計算
部の変形例（中央値をとる場合）を示した図である。

【図１５】本発明（その３）の実施例（その１）を示し
たフローチャート図である。

【図１６】本発明（その３）の実施例（その２）の説明
図である。

【図１７】本発明（その３）の実施例（その２）を示し
たフローチャート図である。

【図１８】本発明（その３）の実施例（その２）の回路
ブロック図である。

【図１９】本発明（その３）の実施例（その３：予測画
面生成）を示したフローチャート図である。

【図２０】本発明（その３）の実施例（その３）の説明
図である。

【図２１】本発明（その３）の実施例（その４：予測画
面生成）を示したフローチャート図である。

【図２２】本発明（その３）の実施例（その４）の説明
図である。

【図２３】本発明（その３）の実施例（その５）を示し
たフローチャート図である。

【図２４】従来から良く知られた平面データ用の動き補
償予測方式を示したブロック図である。

【図２５】従来から良く知られたブロックマッチングと
動き補償ベクトル検出のフローチャート図である。

【図２６】従来から良く知られたブロックマッチングと
動き補償ベクトル検出の回路ブロック図である。

【符号の説明】

１，２ スキャンコンバータ ３ 評価部 ４，４０ ブロックマッチング部 ５ ３次元動きベクトル計算部 ６−１〜６−３ 間引き部 ７，８ 予測画面生成部 図中、同一符号は同一又は相当部分を示す。

フロントページの続き (72)発明者 松田 喜一 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 G06T 7/20 H04N 13/00

Claims (12)

(57)【特許請求の範囲】
1. 【請求項１】 入力画面及び参照画面におけるそれぞれ
   の３次元立体表示方式の１種である３次元ボリュームデ
   ータの動き補償予測方式において、 立方体あるいは直方体に区切られたブロック内部を、ｘ
   平面、ｙ平面、ｚ平面の各平面に対して複数の２次元平
   面データを得るスキャンコンバータ(1,2) と、 該スキャンコンバータ(1,2)にて得たｘ平面、ｙ平面、
   ｚ平面の各平面に対する複数の２次元平面データの内、
   最も平坦な性質を有する平面をその種類と共に優先的に
   選択出力すると共に該平面の種類に従って参照画面の平
   面データを該第２のスキャンコンバータ(2) より選択出
   力させる評価部(3) と、 該評価部(3) 及び該第２のスキャンコンバータ(2) で選
   択された平面データ同士を比較して動きベクトルを生成
   するブロックマッチング部(4) と、 を備え、該平面の種類及び動きベクトルを受信側に伝送
   することを特徴とした３次元ボリュームデータの動き補
   償予測方式。
2. 【請求項２】 入力画面及び参照画面におけるそれぞれ
   の３次元立体表示方式の１種である３次元ボリュームデ
   ータの動き補償予測方式において、 立方体あるいは直方体に区切られたブロック内部を、ｘ
   平面、ｙ平面、ｚ平面の各平面に対して複数の２次元平
   面データを得るスキャンコンバータ(1,2) と、 該スキャンコンバータ(1,2)にて得たｘ平面、ｙ平面、
   ｚ平面の各平面に対する複数の２次元平面データの内、
   最も平坦な性質を有する平面をその種類と共に優先的に
   選択出力すると共に該平面の種類に従って参照画面の平
   面データを該第２のスキャンコンバータ(2) より選択出
   力させる評価部(3) と、 該評価部(3) 及び該第２のスキャンコンバータ(2) で選
   択された平面データ同士を同じ平面の種類毎に比較して
   それぞれの動きベクトルを生成するブロックマッチング
   部(4) と、 各動きベクトルと該選択された平面の種類とから３次元
   動きベクトルを計算して出力する３次元動きベクトル計
   算部(5) と、 を備え、該３次元動きベクトルを受信側に伝送すること
   を特徴とした３次元ボリュームデータの動き補償予測方
   式。
3. 【請求項３】 該最も平坦な性質を有する平面の代わり
   に、エッジ部を含む平面を優先的に選択することを特徴
   とした請求項１又は２に記載の３次元ボリュームデータ
   の動き補償予測方式。
4. 【請求項４】 該評価部(3) が、その評価関数として画
   像の性質を示す分散を用いることを特徴とした請求項１
   又は２に記載の３次元ボリュームデータの動き補償予測
   方式
5. 【請求項５】 該評価部(3) が、予め優先的に選択する
   平面を決めていることを特徴とした請求項１又は２に記
   載の３次元ボリュームデータの動き補償予測方式。
6. 【請求項６】 該ブロックマッチング部(4) が、求まっ
   た複数の動きベクトルの平均値、最大値、最小値、及び
   中央値のいずれかを３次元の動き補償ベクトルとする請
   求項２に記載の３次元ボリュームデータの動き補償予測
   方式。
7. 【請求項７】 該入力画面及び参照画面のそれぞれの平
   面データに対して間引きを行う間引き部(6-1,6-2,6-3)
   を設けたことを特徴とする請求項１乃至６のいずれかに
   記載の３次元ボリュームデータの動き補償予測方式。
8. 【請求項８】 該ブロックマッチング部(4) を第１のブ
   ロックマッチング部としたとき、該入力画面に対する間
   引き部(6-1,6-3) で間引かれずに残った入力画面と間引
   かれた入力画面とをブロックマッチングすることにより
   間引きベクトルを生成して受信側に伝送する第２のブロ
   ックマッチング部(40)を設けたことを特徴とした請求項
   ７に記載の３次元ボリュームデータの動き補償予測方
   式。
9. 【請求項９】 該第１のブロックマッチング部(4) が、
   求まった複数の動きベクトルの平面間の平均値又は距離
   の加重平均から求まっていない動きベクトルを求めるこ
   とを特徴とした請求項８に記載の３次元ボリュームデー
   タの動き補償予測方式。
10. 【請求項１０】該入力画面の一部に対してｘ軸方向、ｙ
    軸方向、及びｚ軸方向の内の１つ以上の方向に補間フィ
    ルタをかけることにより予測画面を生成する予測画面生
    成部(8) を備えたことを特徴とする請求項８に記載の３
    次元ボリュームデータの動き補償予測方式。
11. 【請求項１１】該間引きベクトルと間引きされずに残っ
    ている入力画面とにより予測画面を生成する予測画面生
    成部(8) を備えたことを特徴とする請求項８に記載の３
    次元ボリュームデータの動き補償予測方式。
12. 【請求項１２】該予測画面生成部(8) が、該入力画面の
    空間的に両側に存在する符号化済の予測画面の少なくと
    も片方の画面の加重平均をとった結果を予測画面とし、
    その予測画面の誤差が最小となる予測画面を選択するこ
    とを特徴とした請求項１１に記載の３次元ボリュームデ
    ータの動き補償予測方式。