JPH0937303A - 符号化画像処理方法、符号化画像処理装置および符号化画像処理回路 - Google Patents

Abstract

(57)【要約】 【課題】 疑似立体表示等画像処理に必要な画像の動き
情報獲得・修正に要する負荷を軽減する。 【解決手段】 符号化の際に付加された動きベクトルか
ら画像の動きを検出し、画像各部の奥行を算出して疑似
立体表示を行う。画像の復号はＭＰＥＧデコーダ２０で
行う。動きベクトル修正回路２８は奥行情報を生成する
ために、前記動きベクトル信号を修正する。動きベクト
ル検出回路４０は修正後の動きベクトル信号から後段の
回路に適した形式で動きベクトル信号を検出、出力す
る。既存の動きベクトル信号を動き情報として使用する
ため、計算負荷が激減する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、符号化された画像
を処理する方法、装置および回路に関する。特に、本発
明は符号化動画像の動き情報の導出、奥行情報の生成、
疑似立体映像信号の作成に関する。

【０００２】

【従来の技術】現在、画像の動き情報をもとに各種画像
処理を行う取り組みがなされている。例えば、基準ピク
チャと動き情報を組にして、動きのない部分のデータを
圧縮する処理がある。画像各部の動きを追跡して被写体
の形状等を検出し、画像認識を行う例もある。ここでは
まず、動き情報を利用して疑似立体表示を行う従来技術
を説明する。

【０００３】従来技術１．図１は特開平７−５９１１９
号公報に開示される疑似立体映像表示装置の概略構成図
である。この装置は、例えばヘッドマウントディスプレ
イの態様をとる。この装置は、いわゆる時間差方式の疑
似立体表示を行う。

【０００４】［立体視の原理］人が物体を両目で見たと
き、物体像は両目の視線の交点に結ばれる。この交点と
人の距離に応じて両眼視差（ここでは交点から人の両目
を見込む角と定義する）が変化し、距離感が生じる。時
間差方式では、両目に与える画像に時間差を設ける。例
えば右に移動する物体があれば、右目用の映像を遅らせ
る。このとき右目は左目に比べて、より左の方向を見る
ため、物体像が人に近い位置に結ばれる。この結果、物
体が手前に飛び出して見え、立体感が現出する。

【０００５】［構成と動作］映像信号１０１がＡ／Ｄコ
ンバータ１でデジタル化された後、動きベクトル検出回
路１１へ投入され、動きベクトルが検出される。検出さ
れた動きベクトルに従い、左遅延回路３と右遅延回路４
で必要な遅延が付加され、映像がＤ／Ａコンバータ５、
６および駆動回路７、８を経て、左右それぞの目に対応
する液晶パネル９、１０に与えられる。反転回路１３は
左目に与える遅延特性を反転し、両目に自然な疑似立体
映像を与える。検出用遅延回路２は動きベクトル検出に
必要なフレーム遅延映像信号を生成する。

【０００６】以上、この装置は動画像の動き情報をもと
に疑似立体表示を行う立体コンバータと考えることがで
きる。

【０００７】従来技術２．図２は特公昭５５−３６２４
０号公報に開示される立体画像表示装置の概略構成図で
ある。この装置は、例えば立体テレビジョン（ＴＶ）受
像機であり、個別に受信したＴＶ信号と奥行情報信号を
組み合わせることで疑似立体表示を行う。

【０００８】［立体視の原理］やはり時間差方式に立脚
する。従来技術１で述べた両眼視差は、人（またはカメ
ラ）と物体の距離（以降「奥行」という）に依存する。
奥行が小さくなるほど両眼視差は大きくなる。そこで奥
行をパラメータとして、時間差すなわち画像の遅延時間
を設定する。

【０００９】［構成と動作］ＴＶ信号は入力端子１から
入力される。これは固定遅延回路２で固定遅延を受け、
出力端子１４へ出力される。奥行情報信号は入力端子５
から入力される。疑似多方向信号形成回路３、３’…は
それぞれ可変遅延回路４を含み、ここにもＴＶ信号が入
力される。可変遅延回路４は、関数回路および電圧周波
数変換回路を含む遅延制御回路１０によって制御され
る。奥行情報信号によってＴＶ信号の遅延時間が制御さ
れ、必要な遅延が与えられた映像が出力端子１５、１
５’…から出力される。これら各出力端子の出力映像に
より、多目用の疑似立体映像を表示することができる。

【００１０】以上、この装置は１つの映像信号と奥行情
報により、あたかも多方向から撮影された立体映像を表
示するものである。この奥行情報も、動き情報から推定
することが可能である。

【００１１】これら２つの従来技術のように、動き情報
を疑似立体表示を含む各種画像処理に利用する場合は多
い。

【００１２】一方、国際符号化標準ＭＰＥＧに代表され
るように、画像の符号化もまた、重要な基礎技術となっ
ている。画像符号化・復号化技術の普及により、圧縮符
号化された圧縮符号化画像が広く用いられ、圧縮符号化
画像を復号して得られる復号画像が前記の各種画像処理
（画像認識処理、画像圧縮符号化処理、疑似立体化処理
等）に入力される場合も多い。

【００１３】

【発明が解決しようとする課題】各種画像処理に動き情
報を用いるとき、最大の課題は負荷の大きさにある。動
き情報の検出には、オプティカルフローなどいくつかの
手法があるが、計算機の負荷は概して非常大きく、必要
なハードウエアも高価かつ大規模になる。このため、情
報通信家電や低コスト通信サービスなど、リアルタイム
に低ビットレートで動画像の送受信する用途には向かな
い。

【００１４】本発明は、動き情報の検出に必要な負荷の
軽減を目的とする。この際、ＭＰＥＧ等、動き補償ピク
チャ間圧縮符号化利用技術の特徴を活用する。すなわ
ち、圧縮符号化画像に、該画像を復号するため必要な情
報（動きベクトル情報、コマンド情報）が予め挿入され
ている点に着目し、この情報を復号に利用するだけでは
なく、後段の各種画像処理段に対して出力する。この結
果、これら画像処理段の負荷の大幅な軽減を図るもので
ある。

【００１５】

【課題を解決するための手段】本発明の符号化画像処理
方法は、符号化動画像データに予め含まれる動き情報を
参照し、復号後の画像（復号画像）が有するべき動き情
報を導出する。すなわち本発明は、符号化の規則が予め
動き情報を含む場合に適用される。この例として動き補
償ピクチャ間圧縮符号化利用技術がある。「符号化動画
像データ」とは、符号化された動画像のデータをいう。
動き情報の例には動きベクトルがあるが、その他、何ら
かの表現形式で画像の動きを表す情報はこれに含まれ
る。「復号画像の動き情報」とは、画像を復号したとき
に、例えば疑似立体表示のために必要となる動き情報を
いう。本発明のこの態様では、導出すべき動き情報を画
像の復号とは異なる用途に用いる点に特徴がある。

【００１６】本発明の符号化画像処理方法は、符号化動
画像データに予め含まれる動きベクトル情報を参照し、
復号画像ピクチャ間の対応点移動量を導出する。すなわ
ち、動きベクトルによって画像各部の動きが判明するた
め、この動きから対応点の移動を計算する。「対応点」
とはピクチャ間で画像上対応しあうピクチャ平面上の
点、「ピクチャ」とは表示単位である画面をいい、フレ
ームやフィールドなどを含む。最も簡単な場合、画像各
部の動きベクトル自体がその部分の移動を示すと考えれ
ばよい。画像を複数の領域に分割する場合は、各領域を
代表する動きベクトルがその領域全体の移動を示すとみ
なしてもよい。導出された移動量は、例えば画像各部の
奥行情報を導く際に有益な情報となる。

【００１７】本発明では、前記動きベクトル情報を前記
対応点の検索範囲を限定するために使用してもよい。す
なわち、ある点または領域の移動先を探すとき、前記動
きベクトルによって移動先をある程度限定し、その後例
えばブロックマッチング等によって正確な探索を行えば
よい。

【００１８】本発明の別の態様は、符号化動画像データ
に予め含まれる動き情報から、疑似立体表示のための奥
行情報を生成する。まず、符号化動画像データの動き情
報から復号画像の動き情報を導き、この情報から幾何計
算によって画像各部の三次元座標が判明する。この座標
で奥行がわかる。奥行情報は疑似立体表示の有益な情報
となる。

【００１９】より具体的には、前記動き情報が動きベク
トル情報であるとき、本発明の符号化画像処理方法は、
この動きベクトル情報を前記符号化動画像データから分
離して抽出する工程、抽出した動きベクトル情報に従っ
て画像各部の相対空間位置を算出する工程、その相対空
間位置に基づいて画像各部の奥行を導出する工程を含
む。

【００２０】前記符号化動画像データは、動画像をＤＣ
Ｔ符号化技術によって符号化したデータであってもよ
い。ＤＣＴとはディスクリートコサイン変換ともいわれ
るもので、領域ベースの符号化を行う。このデータはさ
らに、ＭＰＥＧで符号化したデータであってもよい。Ｍ
ＰＥＧの場合、領域ベースで符号化を行うとともに、各
領域の動きを１つ以上の動きベクトルで表現するため、
この動きベクトル信号が前記動き情報として利用され
る。

【００２１】本発明では、前記奥行情報を画像各部に対
して個別に生成してもよい。画像全体に一様な奥行を与
えてもよいし、例えば動きのある任意の領域のみに与え
てもよい。ここでいう画像各部は領域分割して得られる
所定の領域でもよいし、各画像要素によって形成される
領域でもよい。ここで「画像要素」とは、何らかの意味
をなす画像領域を指し、例えば人の顔、目、背景の山な
どがこれに当たる。奥行情報を画像各部に対して生成す
る場合は、対応する部分の動き情報を参照すればよい。

【００２２】本発明の符号化画像処理方法の別の態様
は、知的符号化技術によって符号化された平面画像デー
タを示すコマンド情報から疑似立体表示のための奥行情
報を生成する。知的符号化とは、一般に符号化側が画像
要素の特徴を示すコマンド情報を送信することをいい、
復号側ではコマンドの内容を見て画像を再生する。知的
符号化の基本概念は周知である。本発明では、コマンド
情報が平面画像データを示していても、このコマンドに
よって示される画像要素間の前後関係等から奥行情報を
生成する。この処理は受信側で行うことができる。

【００２３】本発明では、前記コマンド情報が（１）画
像要素自体、（２）複数画像要素を表示する際の前後関
係、（３）画像要素の動作、（４）画像要素の感情、な
どを示してもよい。これらの情報に従い、例えば、前に
ある物体を近くに表示するよう奥行情報を生成する。

【００２４】なお、これらのうち（３）と（４）につい
ては、平面画像データでない場合（すでに立体表示用の
情報を持ったデータの場合）であっても本発明は有効で
ある。すなわち、復号の際に一旦立体表示された画像要
素の奥行を、その動作、感情に従って変更することによ
り、さらに効果的な画像を得ることができる。

【００２５】一方、本発明の符号化画像処理装置は、動
き補償ピクチャ間圧縮符号化利用技術によって符号化さ
れた符号化データを復号して映像信号を生成する復号手
段と、この符号化データを復号する際に使用される復号
用の動きベクトル信号を該データから分離抽出する動き
ベクトル信号抽出手段と、分離抽出された動きベクトル
信号を参照することにより、疑似立体表示用の奥行情報
を生成する奥行情報生成手段とを備える。すなわち、映
像信号が復号される際、符号化データに含まれる動きベ
クトル信号も抽出される。動き補償ピクチャ間圧縮符号
化利用技術が動きベクトル信号をフォーマットに含む特
徴を利用している。つづいて動きベクトル信号から、例
えば画像各部の奥行が算出される。従って、この態様で
の本装置は、奥行情報生成装置といってよい。

【００２６】さらにこのとき、この装置は前記奥行情報
に基づいて前記映像信号から疑似立体映像信号を作成す
る疑似立体化手段を備えてもよい。このとき、この疑似
立体化手段は遅延量または輝度レベルの異なる２系統の
疑似立体映像信号を作成すればよい。これは時間差方式
の疑似立体表示手法であるが、ここで輝度レベルでもよ
いのは、プルフリッヒの原理による。人の視感覚の性
質、すなわち物が見えたと感じるまでの時間が明るさに
依存する性質を利用するのである。従って、この態様で
の本装置は、疑似立体映像信号作成装置といってもよ
い。

【００２７】また本発明は、動きベクトル信号抽出手段
によって分離抽出された動きベクトル信号に修正を与え
た上で、これを奥行情報生成手段に供給する動きベクト
ル修正手段を備えてもよい。修正とは、奥行情報の生成
に最適な動きベクトルを得るために必要な処理をいう。
修正の例には、後述の動きベクトル信号の推測がある。

【００２８】前記符号化データがインター符号化画像お
よびイントラ符号化画像のデータを含む場合にあって
は、前記動きベクトル信号抽出手段は、インター符号化
画像の動きベクトル信号を分離抽出し、前記動きベクト
ル修正手段は分離抽出された動きベクトル信号から、該
インター符号化画像に時間的または位置的に近いイント
ラ符号化画像の動きベクトル信号を推測する動きベクト
ル信号推測手段を備えることにしてもよい。

【００２９】ここで「インター符号化画像」とは、符号
化の際の属性情報の１つに動きベクトル情報を含むピク
チャまたはその一部領域をいう。ＭＰＥＧの場合、この
ピクチャはＰピクチャ、Ｂピクチャである。Ｐピクチャ
等が後述のイントラマクロブロックを含む場合、それを
除くインターマクロブロックが前記の一部領域に当た
る。「イントラ符号化画像」は逆に、動きベクトル情報
を含まないピクチャかそのような一部領域を指す。ＭＰ
ＥＧのＩピクチャ、またはＰ、Ｂピクチャのイントラマ
クロブロックが該当する。イントラマクロブロックは通
常、ピクチャ内圧縮符号化技術によって生成される。イ
ンター、イントラの区別は符号化側が行う。

【００３０】インター符号化画像は動きベクトル信号を
持つため、まずこの信号が分離抽出される。つづいて、
その信号から該インター符号化画像に時間的または位置
的に近いイントラ符号化画像の動きベクトル信号が推測
される。「時間的に近い」とはピクチャ間の時間間隔が
小さいこと、「位置的に近い」とはピクチャ内において
位置的に近いことを指す。

【００３１】なお、本装置において疑似立体化手段を外
し、動きベクトル修正手段のみを残してもよい。その場
合、本装置は不足している動きベクトル信号を変換して
生成する動きベクトル変換生成装置または回路として機
能する。

【００３２】前記イントラ符号化画像が修整動きベクト
ル信号を持つ場合には、前記動きベクトル信号抽出手段
はさらにイントラ符号化画像の修整動きベクトル信号を
分離抽出し、前記動きベクトル修正手段は、この修整動
きベクトル信号を該イントラ符号化画像の動きベクトル
信号として扱うこともできる。ここで「修整動きベクト
ル信号」とは、本来動き情報を持たないイントラ符号化
画像に疑似的または便宜的に与えられる動き情報で、Ｍ
ＰＥＧではコンシールメント・モーション・ベクトルが
これに当たる。従って、これを動きベクトル信号とみな
して処理を行えばよい。

【００３３】前記動き補償ピクチャ間圧縮符号化利用技
術がピクチャ並びの順方向、逆方向またはこれらの両方
向で動き補償ピクチャ間圧縮を行う場合は、前記動きベ
クトル信号抽出手段は、前記動き補償ピクチャ間圧縮の
方向に従って生じる動きベクトル信号を分離抽出し、前
記動きベクトル修正手段は分離抽出された動きベクトル
信号をいずれか一方向を基準として表現した動きベクト
ル信号に変換する動き方向統一変換手段を備えることに
してもよい。ここで「ピクチャ並びの順方向」とは、時
間的に前のピクチャから後のピクチャを見る方向をい
い、「逆方向」とは後のピクチャから前のピクチャを遡
って見る方向をいう。「動き補償ピクチャ」とは、情報
として動きベクトルが付加されたピクチャをいう。例え
ばＭＰＥＧの場合、動きベクトルが順方向のみならず逆
方向でも定義されるため、後段の処理を配慮して、これ
を例えば順方向のみに揃える。なおこの場合も疑似立体
化手段を外し、動きベクトル修正手段のみを残せば、本
装置は動きベクトル変換生成装置または回路となる。

【００３４】一方、前記動き補償ピクチャ間圧縮符号化
利用技術が、動き補償ピクチャ間圧縮の対象となるピク
チャの間隔を適宜変更しながら該圧縮を行う場合は、前
記動きベクトル信号抽出手段は、前記適宜変更されたピ
クチャ間に生じる動きベクトル信号を分離抽出し、前記
動きベクトル修正手段は分離抽出された動きベクトル信
号をピクチャ間隔を揃えた状態で得られるべき動きベク
トル信号に変換するピクチャ間隔統一変換手段を備える
ことにしてもよい。例えばＭＰＥＧの場合、隣接するピ
クチャ間のみならず、ある程度離れたピクチャ間でも動
きベクトルが定義される。ピクチャの間隔は状況に応じ
て決定されるため、これを一定の間隔で表現した動きベ
クトルに変換し、後段の処理に配慮する。当然ながら、
この場合も本装置を動きベクトル変換生成装置または回
路として構成することができる。

【００３５】これらの装置または回路は、前記動きベク
トル修正手段によって生成または変換された動きベクト
ル信号から、後段の処理内容に適した手法で動きベクト
ルの検出を行う動きベクトル検出手段を含んでもよい。
「後段の処理」には、画像認識、画像圧縮などがある。
「適した手法」とは、それらの処理に好都合な形式また
は内容の動きベクトルが得られる方法をいう。

【００３６】前記動き補償ピクチャ間圧縮符号化利用技
術がＭＰＥＧの場合、前記動きベクトル検出手段はＭＰ
ＥＧのＰピクチャを中心に動きベクトルの検出を行うこ
とにしてもよい。後述のように、Ｐピクチャの動きベク
トル情報の順方向のみで規定されるため、動きベクトル
の検出が容易かつ効率的になる。「Ｐピクチャを中心
に」とは、Ｐピクチャのみから情報を得る場合の他、一
部を例えばＩピクチャから、その他をＰピクチャから得
るような場合を含む。

【００３７】また、前記動きベクトル修正手段は、前記
動きベクトル検出手段からの指示に従って必要な領域ま
たは必要な時点の動きベクトル信号を出力する構成とし
てもよい。動きベクトル修正手段が動きベクトルの検出
を必要とするピクチャは必ずしも全ピクチャではないた
めである。従って、動きベクトル検出手段が指示を送っ
た場合のみ、動きベクトルの修正および出力がなされ
る。

【００３８】なおこの装置または回路は、符号化画像が
イントラ符号化画像を含まない場合も適用可能である。
すなわち、インター符号化画像を含む符号化データを復
号して映像信号を生成する復号手段と、この符号化デー
タを復号する際に使用されるインター符号化画像の復号
用動きベクトル信号を該データから分離抽出する動きベ
クトル信号抽出手段と、前記復号された映像信号を二次
処理するための二次処理用の動きベクトルを検出する動
きベクトル検出手段と、この動きベクトル検出手段から
の指示に従って必要な領域または必要な時点の動き情報
を前記復号用動きベクトル信号より生成する動きベクト
ル修正手段とを備えればよい。ここで「二次処理」とは
後段の各種画像処理等をいう。それぞれの手段の内容に
ついては、既述の通りである。

【００３９】

【発明の実施の形態】実施の形態１． 本発明の好適な実施の形態を説明する。
図３は実施の形態１に係る符号化画像処理装置の概略構
成図である。本装置は、奥行情報生成機能を持つデコー
ダということができる。構成と動作は以下の通りであ
る。

【００４０】１．ＭＰＥＧデコーダ２０ 実施の形態１では、入力される映像信号がＤＣＴ符号化
技術、特にＭＰＥＧによって符号化された動画像である
とする。すなわち、ＭＰＥＧデコーダ２０は入力端子２
２から入力された映像信号をＭＰＥＧの規則に従って復
号し、これを出力端子２４から出力する。この動作は従
来のＭＰＥＧデコーダと同様であるが、このＭＰＥＧデ
コーダ２０の特徴は、符号化データに予め含まれる動き
ベクトル信号およびピクチャ種別信号を分離抽出する回
路を内蔵し、これらの信号を出力する出力端子２６を持
つ点にある。出力信号は動きベクトル修正回路２８へ与
えられる。

【００４１】２．動きベクトル修正回路２８ 動きベクトル信号およびピクチャ種別信号を受け、後段
の奥行情報生成回路３０に必要な動き情報を生成する。
動き情報の生成は、動きベクトル信号に修正を加えて行
われる。この回路は、例えばマイクロコンピュータと動
きベクトル修正プログラムによって構成することができ
る。この回路の動作を理解するために、必要な予備知識
を説明する。

【００４２】（１）ＭＰＥＧの動きベクトル信号 ＭＰＥＧでは各ピクチャを１６×１６画素のマクロブロ
ックという領域に分割して扱う。図４は１つのピクチャ
を構成するマクロブロックの配置図である。同図に示す
ように、マクロブロックはインターマクロブロック、イ
ントラマクロブロックに分類される。インターマクロブ
ロックは動きベクトル情報を持つが、イントラマクロブ
ロックは持たない（すなわち、それ自身は動き情報を持
たない）。図４の各マクロブロック内に記載された
（ｘ，ｙ）がそのブロックの動きベクトル成分を示して
いる。

【００４３】（２）ＭＰＥＧのピクチャ種別 図５はＧＯＰ（グループ・オブ・ピクチャ）と呼ばれる
ＭＰＥＧのランダムアクセス単位のピクチャ構成図であ
る。同図に示す通り、ＭＰＥＧにはＩ、Ｐ、Ｂピクチャ
がある。この例では、１つのＧＯＰは合計１２枚のピク
チャからなる。同図では便宜上、Ｉ、Ｂ、Ｐの種別の他
に、表示順を示す番号を付けている。右向きがピクチャ
並びの順方向である。

【００４４】ここで、Ｉピクチャはキーフレームであ
り、全領域がイントラマクロブロックで構成される。Ｐ
ピクチャは自身より左側（過去側）に存在する最も近い
ＩまたはＰピクチャをもとに構築されるピクチャで、例
えば図５のピクチャＰ５の動きベクトルはＩ２を、Ｐ８
の動きベクトルはＰ５をそれぞれ基準として表現され
る。（以下、動きベクトルを表現する際に基準となるピ
クチャを「参照ピクチャ」、動きベクトルによる表現の
対象を「対象ピクチャ」という）。仮に対象ピクチャを
Ｐ５とすれば、例えば図４の左上端のインターマクロブ
ロックの動きベクトル値（４，５）は、 「参照ピクチャＩ２において、右に＋４、下に＋５移動
した位置」 を意味し、復号の際、ピクチャＩ２のその位置から切り
出したブロックをもってピクチャＰ５の当該インターマ
クロブロックとする。

【００４５】一方、Ｂピクチャは自身を挟み込むＩ、Ｐ
ピクチャ双方を参照ピクチャとして構築される。例えば
ピクチャＢ３、Ｂ４は、マクロブロックごとにＩ２また
はＰ５のうち都合のよいほうを参照ピクチャとし、順方
向、逆方向またはこれらの両方向の動きベクトルによっ
て表現される。参照した方向はマクロブロック毎に設け
られた方向フラグによって判明する。Ｂピクチャがさら
に遠いＩまたはＰピクチャを参照することはない。ま
た、参照関係はＧＯＰ内でのみ発生するため、ピクチャ
Ｂ０、Ｂ１はＩ２のみから逆方向の動きベクトルで表現
される。（後のピクチャが参照できるのは、伝送の順番
が表示の順番とは異なるためで、例えば図５ではピクチ
ャＩ２が最初に伝送される。ただし、以後特に断らない
限り、順方向などの時間概念は表示の順番に基づく。） Ｐ、Ｂピクチャは通常インターマクロブロックからのみ
構成されるが、イントラマクロブロックが含まれること
もある。例えば、ボールが飛んでいくような動画像を考
えたとき、あるマクロブロックが、参照ピクチャでは完
全にボール内に含まれ、対象ピクチャでは完全にボール
外に出る場合、このマクロブロックを動きベクトルで的
確に表現できないこともある。こうした場合、このマク
ロブロックはイントラマクロブロックとして符号化され
る。

【００４６】以上の知識をもとに、動きベクトル修正回
路２８の動作ステップを説明する。

【００４７】［ステップ１］動きベクトル信号の推測 後段の奥行情報生成回路３０のために、動きベクトル情
報はすべてのマクロブロックに必要である。しかしイン
トラマクロブロックにはこの情報がないため、これを推
測する。例えば、図５のピクチャＩ２は全く動きベクト
ル情報を持たなものの、ピクチャＢ１はピクチャＩ２の
みを参照ピクチャとする動きベクトル信号を持つ。そこ
で、このベクトル関係を逆変換し、参照ピクチャをＢ１
とするピクチャＩ２の動きベクトル信号を得る。逆変換
は概略（ｘ，ｙ）→（−ｘ，−ｙ）で表される。こうし
た推測は時間的に近いピクチャ間で行えばよいが、１つ
のＧＯＰ内ではすべてのピクチャに直接または間接のベ
クトル関係があるため、遠いピクチャをもとに動きベク
トル信号を生成してもよい。以降ピクチャ間で行われる
推測を「時間ベースの推測」と呼ぶ。

【００４８】つづいて、ＰまたはＢピクチャに含まれる
イントラマクロブロックの推測を行う。この場合も時間
ベースの推測を行うことは可能であるが、ＰまたはＢピ
クチャは、一般に自ピクチャ内に多数のインターマクロ
ブロックを持つため、ここではイントラマクロブロック
に位置的に近いインターマクロブロックの動きベクトル
信号をもとに推測を行う。すなわち、例えば図４の中央
付近に含まれるイントラマクロブロックについては、周
囲のインターマクロブロックの動きベクトル信号の平均
をとり、ベクトル値を（３，５）と推測する。こうした
推測は位置的に近いインターマクロブロックを基準に行
われるため、以降「位置ベースの推測」と呼ぶ。

【００４９】なお、Ｉピクチャの動きベクトル信号の推
測に当たり、最初は時間ベースの推測によっていくつか
のマクロブロックの動きベクトル信号を得た後、位置ベ
ースの推測に切り換えて残りの動きベクトル信号を得る
構成としてもよい。

【００５０】［ステップ２］動きベクトルの表現方向の
統一 本ステップでは、もともと存在した動きベクトル信号の
方向を問題とする。すなわち、Ｂピクチャのマクロブロ
ックの中には動きベクトル信号が逆方向で表現されたも
のがある。本ステップではこうした逆方向表現の動きベ
クトル信号をすべて順方向に変換する。この意味で、動
きベクトル修正回路２８は動きベクトル変換回路として
機能する。

【００５１】例えば、図５のピクチャＢ４の参照ピクチ
ャが後方のＰ５のみであるとする。このとき、参照ピク
チャをＩ２に変更した場合のピクチャＢ４の動きベクト
ル（γ）を求める。

【００５２】いま、Ｉ２を参照ピクチャとし、対象ピク
チャをＰ５とした場合の動きベクトルをαとする。ま
た、Ｐ５を参照ピクチャとし、対象ピクチャをＢ４とし
た場合の動きベクトルをβとする。この関係を概念的に
示せば、 Ｐ５の画面＝Ｉ２の画面をαだけ動かしたもの Ｂ４の画面＝Ｐ５の画面をβだけ動かしたもの であるから、 Ｂ４の画面＝Ｉ２の画面をα動かし、さらにβ動かした
もの となり、 Ｂ４の画面＝Ｉ２の画面を（α＋β）動かしたもの すなわち、 動きベクトル（γ）＝動きベクトル（α）＋動きベクト
ル（β） である。このようにしてベクトルの変換が実現する。

【００５３】［ステップ３］ピクチャ間隔の統一 前ステップにより、すべての動きベクトル信号が順方向
で表現できた。しかし、奥行情報生成回路３０の動作を
考えたとき、ピクチャの動きベクトル信号はすべて直前
のピクチャを参照ピクチャとして記述されることが望ま
しい。そこでピクチャ間隔を統一する。この方法は前ス
テップ同様ベクトルの加減演算によるベクトル変換によ
り実現可能である。同一ＧＯＰ内では、すべてのピクチ
ャ間にベクトル関係があるためである。なお、本ステッ
プは前ステップと同時に行ってもよい。

【００５４】以上が動きベクトル修正回路２８の動作で
ある。こうして得られた各マクロブロックの動きベクト
ル信号は奥行情報生成回路３０へ与えられる。

【００５５】３．奥行情報生成回路３０ この回路もマイクロコンピュータとプログラムによって
実現できる。従って、マイクロコンピュータは前記動き
ベクトル修正回路２８と本回路で共用することができ
る。

【００５６】本回路は画像各部（被写体各部）の動き情
報から各部の奥行を導出する。ここで、被写体の立体表
示には、基本的に左右２眼以上による映像信号が必要で
ある。図６は人の顔を中、右、下の３眼で撮影して奥行
情報を得る周知の方法を示す。同図（ａ）は３眼それぞ
れによって撮影された顔、（ｂ）はこれら３つの映像信
号から対応点の比較により奥行情報を得る工程、（ｃ）
は得られた顔の奥行を立体的に表現したものである。奥
行情報を得るための計算方法については後述するが、い
ずれにせよ奥行情報の導出には、本来２眼以上からの映
像が必要である。

【００５７】しかしながら、本装置を考えた場合、現実
には単眼映像が入力される。そこで、ここでは単眼の画
像から奥行情報を導出する。単眼の画像の動き情報、輪
郭情報、陰影情報から奥行情報を推定する概念自体は周
知である。導出は以下のステップによる。

【００５８】［ステップ１］ピクチャ間対応点の検出 ピクチャとその直前のピクチャ間で対応点を検出する。
通常、対応点はピクチャ内で特徴のある点、例えば家な
ら屋根の突端などについて検出される。しかし本ステッ
プでは、動きベクトル信号を用いてマクロブロック単位
でその中に含まれる点を均等に扱う。すなわちここで
は、各マクロブロックに含まれる画像各部がそのマクロ
ブロックの動きベクトル信号に従って一様に移動すると
みなす。「動きベクトル＝対応点の移動」と簡略化する
のである。この方法によれば、通常対応点検出の際に行
われるブロックマッチング等の計算が全く不要となる。

【００５９】［ステップ２］三次元的な動きの算出 つづいて、対応点の動き情報（すなわち動きベクトルそ
のもの）から画像各部の三次元空間における動きを算出
する。各ピクチャは被写体の現実の動きを平面に投影し
たものに過ぎず、奥行情報の導出のためには被写体のも
との動きを知る必要がある。

【００６０】一般に被写体の三次元的な動きは、並進運
動と回転運動の合成で記述できる。ここではまず、動き
が並進運動のみで構成される場合の計算を説明し、後に
回転運動を含む場合を説明する。

【００６１】（１）並進運動のみの場合 図７はある点Ｐのピクチャ平面上の移動と三次元空間で
の現実の移動の対応を示す図である。同図ではピクチャ
平面上の二次元座標を大文字Ｘ等で、現実の三次元座標
を小文字ｘ等で表記するものとし、三次元座標のうち
ｘ、ｙ軸をピクチャ平面上に、ｚ軸を奥行方向にとる。
また、視点からピクチャ平面までの距離を１とする。

【００６２】この図に示す通り、Ｐ（Ｘ, Ｙ）はピクチ
ャ平面上をＰ' （Ｘ',Ｙ' ）へ移動するが、この間、こ
の点は三次元空間においてＳ（ｘ, ｙ, ｚ）からＳ
（ｘ',ｙ',ｚ' ）へと移動する。ここで、 （ｘ',ｙ',ｚ' ）＝（ｘ, ｙ, ｚ）＋（ａ, ｂ, ｃ） とすれば、ピクチャ平面までの距離が１なので、 Ｘ ＝ｘ／ｚ， Ｙ ＝ｙ／ｚ Ｘ' ＝ｘ' ／ｚ' ， Ｙ' ＝ｙ' ／ｚ' となる。これを解けば、 Ｘ' ＝（Ｘｚ＋ａ）／（ｚ＋ｃ） Ｙ' ＝（Ｙｚ＋ｂ）／（ｚ＋ｃ） となるため、ｚを消去し、次式が求められる。

【００６３】

【数１】 （ａ−Ｘ' ｃ）（Ｙ' −Ｙ）＝（ｂ−Ｙ' ｃ）（Ｘ' −Ｘ） （式１） 式１はピクチャ平面上の動き情報で表現されているた
め、動きベクトル信号の情報によって未知数ａ, ｂ, ｃ
を決めることができる。その結果、三次元的な動きが判
明する。

【００６４】しかしこのとき注意すべきは、現実にはｋ
倍の大きさの物体がｋ倍離れたところをｋ倍の速さで移
動するケースにおいて、このｋの値（スケールファクタ
ー）を決めることはできないことである。すなわち、
ａ, ｂ, ｃについてはそれらの比のみを求めることが可
能となるため、本ステップではｃ＝１と正規化してａ,
ｂを表すものとする。比のみでも、次ステップによる処
理が可能なためである。

【００６５】並進運動の別の解法として、式１から誤差
ｅを、

【数２】 e ＝｛(a-X'c)(Y'-Y) −(b-Y'c)(X'-X) ｝² ＝｛(Y'-Y)a −（X'-X)b−(XY'-X'Y)c｝² と定義し、全対応点についてｅの総和Σｅをとり、この
値を最小にするａ, ｂ,ｃを次の式から求めてもよい。

【００６６】ｄ（Σｅ）／ｄａ＝０ ｄ（Σｅ）／ｄｂ＝０ ｄ（Σｅ）／ｄｃ＝０ 以上が並進運動に関する計算方法の例である。

【００６７】（２）回転運動を含む場合 回転運動はｘ, ｙ, ｚ方向の３つの変位と各軸を中心と
する３つの回転角、例えばα, β, γによって記述する
ことができる。回転角はオイラー角またはロールピッチ
法などによって表現することができる。

【００６８】ここで上記合計６つの変数を決定すればよ
いが、ここでも上述のごとくスケールファクターが決ま
らないため、ある変数を１として各変数の比を求める。
従って、理論的上対応点を５組とれば運動を記述するこ
とができる。

【００６９】［ステップ３］奥行情報の生成 ステップ２によって画像各部の三次元的な動きがわかっ
た。ステップ３では、この動きから各部の奥行情報を導
出する。ここでは説明のため、被写体は静止しており、
撮影カメラの側が動くものと仮定する。すなわち、画像
のある部分の動きを回転行列Ｒと並進ベクトル（ａ,
ｂ, ｃ）により、 （ｘ',ｙ',ｚ' ）＝Ｒ（ｘ, ｙ, ｚ）＋（ａ, ｂ, ｃ） と表す場合、この逆変換、

【数３】 （ｘ, ｙ, ｚ）＝Ｒ^-1｛（ｘ',ｙ',ｚ' ）−（ａ, ｂ, ｃ）｝ （式２） をカメラの動きと考える。

【００７０】図８はカメラの三次元移動とある点Ｐのピ
クチャ平面上の移動から点Ｐの三次元座標を導く原理を
説明する図である。同図からわかるように、これは一般
に三角測量の原理として知られるもので、位置の異なる
２点から点Ｐの方向を見たとき、点Ｐの現実の位置（図
中の点Ｓ）はそれら２つの視線の交点に存在する事実に
立脚する。

【００７１】同図では、時刻ｔ〜ｔ' の間にカメラが矢
印で示すように式２に従って移動したとする。時刻ｔの
ピクチャでは点Ｓが点Ｐt に、ｔ' では点Ｐt'にそれぞ
れ投影されている。従って点Ｓは図中の２つの直線Ｌ
ｔ、Ｌｔ' の交点にある。

【００７２】ここでカメラの方向とＬｔ、Ｌｔ' のなす
角θｔ、θｔ' は既知であり、一方カメラの移動方向と
距離は判明しているため、点Ｓの三次元座標を求めるこ
とが可能となる。この座標により、画像各部の奥行情報
を生成することができる。生成された奥行情報は、例え
ばマクロブロックの番号と対応させながら本装置の出力
端子３２から出力すればよい。

【００７３】以上が実施の形態１の概要である。本装置
は復号画像と奥行情報を出力するため、後段には、例え
ば従来技術２で説明した立体ＴＶを接続すればよい。

【００７４】本実施の形態の特徴は、従来ＭＰＥＧデコ
ーダ内部で画像復号のためのみに使用された動きベクト
ル信号を抽出して二次利用を図る点にある。この信号を
活用することにより、動き情報の計算に必要な負荷がな
くなり、従来の課題を解消することができる。本実施の
形態から、奥行情報の生成に関する本発明の符号化画像
処理方法の内容も明らかである。

【００７５】なお本実施の形態については、以下の応用
が考えられる。

【００７６】（１）他のＧＯＰに含まれるピクチャの動
きの推測 動きベクトル修正回路２８における時間ベースの推測は
１つのＧＯＰ内で行ったが、必要に応じて他のＧＯＰの
動きベクトル信号を推測してもよい。例えば図５の場
合、ＧＯＰ最後の２つのピクチャＢ１０、Ｐ１１から次
のＧＯＰの最初のＩピクチャの画像を予測することがで
きる。そこで、ピクチャＰ１１を参照ピクチャとして当
該Ｉピクチャの動きベクトル信号を記述してもよい。

【００７７】（２）最適なピクチャ間隔の選定 動きベクトル修正回路２８のステップ３では直前のピク
チャを参照ピクチャとしたが、これは場合により、さら
に前のピクチャであってもよい。例えば動きが極めて緩
慢な動画像の場合、ある程度時間をおいて動き情報を獲
得しなければ誤差が大きくなることもある。選定すべき
ピクチャ間隔は、動きベクトル修正回路２８が動きベク
トル信号を見て判断する構成とすればよい。

【００７８】（３）経験則を加味した奥行情報の生成 奥行情報生成回路３０で経験則を加味した奥行情報を生
成する。例えば、画像の一部分のみが動いていれば、そ
の部分に限って奥行をつける。その他の部分は例えば奥
行を無限大とすればよい。動く被写体のみを効果的に疑
似立体表示するためである。また、画像各部がばらばら
に動いている場合は、正しい奥行計算が不可能であるた
め、奥行を一切つけない。特定ピクチャがそれ以前と全
く違う動きを示す場合も、そのピクチャには奥行をつけ
ない。シーンチェンジの可能性があるためである。

【００７９】（４）ＭＰＥＧ以外の技術への適用 ＭＰＥＧ以外の動き補償ピクチャ間圧縮符号化利用技術
に適用する。本実施の形態は、予め動き情報を持つ符号
化データ全般に適用可能である。ＭＰＥＧでは予測単位
を画一的なマクロブロックとしているが、これは他の基
準によって分割された任意の画像領域でよい。領域の例
として、知的符号化の際に用いられる画像要素（例えば
人物）がある。理想的には画素ごとの動き情報に基づい
て奥行情報を生成すること可能である。本実施の形態で
は計算を殆ど必要としないため、そのような場合でもリ
アルタイムの奥行情報生成が可能である。

【００８０】（５）奥行情報の精度改善 奥行情報生成回路３０のステップ１では、「動きベクト
ル＝対応点の移動」と簡略化した。このとき計算が不要
となるためである。しかし、本装置がマイクロコンピュ
ータ等の演算素子を搭載する場合、処理に時間的な余裕
が生じると考えられる。そのような場合は、動きベクト
ルを対応点探索領域の限定に使用すればよい。すなわ
ち、時間的余裕の範囲で達成可能な精度を考慮した上
で、探索領域内で簡単なブロックマッチングを行えば、
対応点をより正確に求めることができる。この結果、奥
行情報の精度が増す。

【００８１】（６）位置ベースの推測の例外処理 動きベクトル修正回路２８のステップ１では、イントラ
マクロブロックの動きベクトル信号を周囲のインターマ
クロブロックから推測したが、周囲もイントラマクロブ
ロックの場合は動きベクトルを０とする。無理な推測を
避けるためである。

【００８２】（７）疑似立体表示装置化 本実施の形態では奥行情報生成までを目的としたが、当
然ながら立体ＴＶに当たる装置部分を本装置に取り込む
ことにより、疑似立体表示装置を一体的に実現すること
ができる。この場合、奥行情報から疑似立体映像信号を
作成する回路を新設する。この回路は既知の方法によ
り、奥行情報から遅延量または輝度レベルの異なる左右
両目用の映像信号を作成する。これを時分割で表示する
場合はシャッターめがねで観視すればよいし、レンチキ
ュラーレンズを用いて左右画像の分離を行ってもよい。

【００８３】（８）修整動きベクトル信号の利用 本実施の形態では、イントラマクロブロックの動きベク
トルを、時間ベースまたは位置ベースで推測したが、こ
のブロックが修整動きベクトル信号（コンシールメント
・モーション・ベクトル）を持つ場合は、これを動きベ
クトル信号と見なして処理を行ってもよい。

【００８４】実施の形態２．実施の形態１の装置は奥行
情報の生成を行ったが、実施の形態２の符号化画像処理
装置は、その前段階である動きベクトル信号の検出まで
を行う。検出された動きベクトル信号は別装置に与えら
れ、そこで奥行情報生成（および疑似立体表示）、画像
認識処理、画像圧縮処理など所望の処理が行われる。従
って本装置は奥行情報生成以外の用途を視野においた動
き情報検出装置といってよい。

【００８５】図９は実施の形態２に係る符号化画像処理
装置の概略構成図で、同図において図３と異なる構成は
動きベクトル検出回路４０である。動きベクトル検出回
路４０は動きベクトル修正回路２８から出力された動き
ベクトル信号を参照し、後段の処理に適した手法で動き
ベクトル検出を行う。検出の結果は出力端子４２から出
力される。本実施の形態でも入力映像はＭＰＥＧに限る
必要はない。

【００８６】（１）後段が画像認識処理の場合 被写体ごとの輪郭情報の獲得が重要である。ここで動き
ベクトル値の変化する点を結ぶ線が輪郭線であると考え
れば、そうした変化点の位置を精度よく特定する必要が
ある。そこで動きベクトル検出回路４０は、復号画像も
入力し、変化点を含むマクロブロックを細かく分割し、
より多くの点で正確な動きベクトルの検出を行う。

【００８７】（２）後段が画像圧縮処理の場合 例えばテレビ電話を考えた場合、ピクチャの中で相手の
顔が占める領域はある程度特定できる。このような用途
なら、顔の領域について特に多数の点で動きベクトルを
検出すればよい。さらに、顔の中でも通話中に動きの大
きい個所は目と口と考えられるため、それらの領域を細
分化して正確な動きベクトルを検出すればよい。

【００８８】以上が実施の形態２の概要である。動きベ
クトル検出回路４０は上記の例に限らず、後段の処理内
容に合わせて設計すればよい。

【００８９】実施の形態３．実施の形態２では動きベク
トル修正回路２８が、いわば自主的に動きベクトル信号
の修正を行っていたが、実施の形態３では後段の動きベ
クトル検出回路４０の指示に従い、必要かつ十分な修正
を行う。

【００９０】図１０は実施の形態３に係る符号化画像処
理装置の概略構成図である。同図と図９の相違点は、動
きベクトル検出回路４０にもピクチャ種別信号が入力さ
れている点と、動きベクトル検出回路４０が動きベクト
ル修正回路２８に対して指示を行うための指示信号が設
けられている点である。従って本装置では、動きベクト
ル検出回路４０が動きベクトル修正回路２８の制御回路
を兼ねる。その意味で、実施の形態２の動きベクトル修
正回路２８の機能のうち、インテリシェントな部分は動
きベクトル検出回路４０に移管され、動きベクトル修正
回路２８はそのスレーブ回路として機能する。この構成
による動作を説明する。

【００９１】［ステップ１］処理ピクチャの決定 まず、動きベクトル検出回路４０が自己の目的に従って
参照ピクチャおよび対象ピクチャを決定する。ピクチャ
の決定のために、ピクチャ種別信号を参照する。後の動
きベクトルの修正を考慮する場合、予測関係が容易に把
握可能なＩおよびＰピクチャを参照ピクチャ、Ｐピクチ
ャを対象ピクチャとすればよい。

【００９２】［ステップ２］処理ピクチャの指示 動きベクトル検出回路４０が動きベクトルの修正を施す
べきピクチャを動きベクトル修正回路２８に指示する。
指示は回路間の通信によってハードウエア的に行うこと
ができるが、２つの回路がマイクロコンピュータを共用
する場合には、ソフトウエアモジュール間の通信で行う
こともできる。指示の具体的内容は、参照ピクチャ、対
象ピクチャ、動きベクトル信号を抽出または推測すべき
マクロブロックの特定などである。これらの情報はピク
チャ番号等のコードで与えてもよいし、実際にピクチャ
を受信している間にタイミング信号として与えてもよ
い。動きベクトル修正回路２８は指示に従い、動きベク
トルの推測、生成、方向変換、間隔変換等を行う。

【００９３】以上が実施の形態３の概要である。例えば
本装置の後段に疑似立体表示装置が接続される場合、観
視者が疑似立体表示の中止を望む場合もある。このよう
な指令がくれば、動きベクトル検出回路４０は動きベク
トル修正回路２８を待機モード等に変更することによ
り、省電力化等を図ることができる。

【００９４】実施の形態４．本発明の符号化画像処理方
法に係る実施の形態４は、知的符号化された画像の復号
とその奥行情報の生成に関する。

【００９５】周知のように、知的符号化技術では一般
に、送信側（符号化側）と受信側（復号側）が画像要素
の特徴の送受信によって画像を伝送する。通常は送信側
が画像要素の種類とその配置などの情報をコマンドの形
式で送信し、受信側が予め保持しているデータベース等
からコマンド内容に適合する画像要素とその配置を決定
し、画像要素を合成していくことで画像全体を再生す
る。

【００９６】図１１は実施の形態４に係る符号化画像処
理装置の概略構成図である。この装置は主に画像デコー
ダ５０、各種平面画像要素を保持する画像要素データベ
ース５２、奥行情報生成回路５４を持つ。符号化画像デ
ータ（すなわちコマンド）は入力端子５６から入力さ
れ、復号画像は出力端子５８から出力される。画像デコ
ーダ５０は、コマンドおよびそのコマンドに対応する画
像要素の領域情報（以下「コマンド関連情報」という）
を出力端子６０に出力し、奥行情報生成回路５４が入力
端子６２を介してこれを受ける。本装置の後段には、実
施の形態１同様、立体ＴＶなどを接続することになる。
以下、本装置の動作を説明する。

【００９７】１．画像デコーダ５０ 送信側からは、画像が符号化され、コマンドの形で送信
されてくる。コマンドの種類は、画像要素自体を指示す
る要素コマンド、画像要素間の前後関係を指示するレイ
ヤーコマンド、画像要素の動きを指示する動作コマン
ド、画像要素が人の場合にその感情を指示する感情コマ
ンドなどである。感情コマンドは符号量を圧縮するため
のコマンドで、この感情コマンドに基づいて、画像復号
時に目鼻口の形状、それらの位置、顔色、顔のうつむき
加減等を変更する。すなわち、本来は多くの符号量が必
要となる画像の変化を、わずか１つのコマンドの符号量
で伝送できる。その意味でこの感情コマンドは、単に画
像要素に対して説明的な意味を持つだけではなく、符号
化に必須のコマンドといってよい。

【００９８】以上のコマンドにより、例えば、 「背景は山で固定」 という画像を送りたければ、送信側は「背景」をレイヤ
ーコマンド、「山」を要素コマンド、「固定」を動作コ
マンドとして送る。要素コマンドを受信したとき、画像
デコーダ５０は画像要素データベース５２を参照し、対
応する画像要素の読み出しと画像に対する張り付けを行
う。次に、 「この前に人がいる」 としたい場合、「前」をレイヤーコマンド、「人」を要
素コマンドで送る。図１２（ａ）はこの段階で得られた
復号画像を示す図である。さらに、 「人は右に移動して怒る」 としたければ、「右」と「移動」を動作コマンド、「怒
る」を感情コマンドで送る。図１２（ｂ）はこの段階の
復号画像である。

【００９９】２．奥行情報生成回路５４ コマンド関連情報をもとに奥行情報を生成する。奥行は
疑似立体表示を念頭におき、以下の規則に従って生成す
る。

【０１００】（１）要素コマンドに対して 例えば「人」のように、通常重要な場合の多い画像要素
については、小さめの奥行を与える。立体表示の際、手
前に飛び出して見える効果を狙うためである。

【０１０１】このとき、コマンド関連情報に含まれる領
域情報を参照し、「人」の領域を特定する。特定された
領域とその奥行を関連づけて出力すればよい。

【０１０２】（２）レイヤーコマンドに対して 例えば「前」にある物に小さな奥行を与える。前後と奥
行の関係を自然に保つとともに、手前にある物の立体感
を強くするためである。

【０１０３】（３）動作コマンドに対して 例えば「移動」する物に対して、小さい奥行を与える。
移動物体は観視者が注目しやすく、この部分を立体化す
る効果が大きいためである。

【０１０４】（４）感情コマンドに対して 例えば「怒る」という感情の変化、「怒っている」とい
う感情の状態を持つ物に小さな奥行を与える。感情を強
調して表現するためである。

【０１０５】以上の規則で奥行情報を生成すれば、疑似
立体表示の際、図１２（ｂ）の「人」がこちら側にせり
出して見えるため、効果的な画像を得ることができる。
当然ながら、他の種類のコマンドに対しても、経験則等
に従って望ましい奥行情報を生成すればよい。立体視に
適当なコマンドが見つからない場合は、例えば奥行を無
限大にとるなどの方法も有効である。

【０１０６】なお、本実施の形態では、符号化データが
平面画像データであるとしたが、上記コマンドのうち、
特に（３）、（４）については、符号化データが疑似立
体表示可能なデータであってもよい。この場合、復号の
際に一旦立体表示された画像要素の奥行を、その動作、
感情に従って変更することができる。例えば、復号の際
Ｄ０という奥行が与えられた人が、動き出したり怒った
りしたとき、奥行をＤ１（＜Ｄ０）に変更することによ
り、さらに効果的な画像を得ることができる。

【０１０７】

【発明の効果】本発明の符号化画像処理方法によれば、
符号化動画像データに予め含まれる動き情報から復号画
像の動き情報が導出されるため、計算負荷が激減する。
特に、既存の動きベクトル情報から復号ピクチャ間の対
応点移動量を導出する場合、対応点の検出が極めて容易
であり、後の奥行情報生成等に有利である。動きベクト
ル情報を対応点の検索範囲の限定に使用する場合は、対
応点検出の精度が向上する。

【０１０８】本発明の符号化画像処理方法の別の態様に
よれば、符号化動画像データに予め含まれる動き情報か
ら疑似立体表示のための奥行情報が生成できる。このた
めの計算負荷も非常に軽い。符号化動画像データとして
は、ＤＣＴ符号化技術によるもの、特にＭＰＥＧの画像
データを採用できるため、応用範囲が広い。奥行情報も
画像のいろいろな領域に対して生成できるので、後に疑
似立体表示を行う場合、自然な画像が得られる。

【０１０９】本発明が知的符号化技術による符号化画像
を対象とする場合は、符号化データを示すコマンドから
奥行情報が生成できるため、ほとんど計算負荷を発生さ
せることなく、画像の復号と疑似立体表示が可能とな
る。このとき、コマンドの種類と経験則などから、疑似
立体表示の際に効果的な画像を得るための奥行情報を生
成することができる。さらにこの場合、符号化データが
予め疑似立体表示用の情報を含んでいても、例えば動
作、感情に従って奥行を変更することにより、より効果
的な画像を得ることができる。

【０１１０】一方、本発明の符号化画像処理装置によれ
ば、動き補償ピクチャ間圧縮符号化利用技術によって符
号化された画像を復号するとともに、既存の動きベクト
ル情報から疑似立体表示用の奥行情報を生成することが
できる。このときも計算負荷は極めて軽い。この装置が
奥行情報に従って疑似立体映像信号を作成する場合は、
復号画像とこの信号を既存の立体ＴＶに与えることで、
疑似立体表示が可能となる。本発明によれば、例えばＭ
ＰＥＧのように、インターマクロブロック、イントラマ
クロブロックが混在していても、欠如する動きベクトル
信号の推測と生成、後段の便宜を考えた動きベクトル信
号の修正が可能であり、適用の幅が広い。

【０１１１】また本発明の符号化画像処理回路でも、画
像の復号のみならず、欠如する動きベクトル信号の推測
と生成など、動きベクトル信号の修正が可能であり、例
えば立体コンバータ装置に内蔵する等、後段の処理に合
わせて広い用途を実現することができる。ＭＰＥＧのＰ
ピクチャから動きベクトルの検出を行う場合は、特に処
理が容易かつ効率的になる。また、動きベクトルの検出
を必要としないピクチャに対する処理をスキップするこ
とにより、省電力化等が可能となる。

【図面の簡単な説明】

【図１】 特開平７−５９１１９号公報に記載される疑
似立体映像表示装置の概略構成図である。

【図２】 特公昭５５−３６２４０号公報に開示される
立体画像表示装置の概略構成図である。

【図３】 実施の形態１に係る符号化画像処理装置の概
略構成図である。

【図４】 １つのピクチャを構成するマクロブロックの
配置図である。

【図５】 ＧＯＰと呼ばれるＭＰＥＧのランダムアクセ
ス単位のピクチャ構成図である。

【図６】 人の顔を中、右、下の３眼で撮影して奥行情
報を得る周知の方法を示す図である。

【図７】 ある点Ｐのピクチャ平面上の移動と三次元空
間での現実の移動の対応を示す図である。

【図８】 カメラの三次元移動とある点Ｐのピクチャ平
面上の移動から点Ｐの三次元座標を導く原理を説明する
図である。

【図９】 実施の形態２に係る符号化画像処理装置の概
略構成図である。

【図１０】 実施の形態３に係る符号化画像処理装置の
概略構成図である。

【図１１】 実施の形態４に係る符号化画像処理装置の
概略構成図である。

【図１２】 実施の形態４の画像テコーダ５０によって
得られた復号画像を示す図である。

【符号の説明】

２０ ＭＰＥＧデコーダ、２２，５６，６２ 入力端
子、２４，２６，３２，４２，５８，６０ 出力端子、
２８ 動きベクトル修正回路、３０，５４ 奥行情報生
成回路、４０ 動きベクトル検出回路、５０ 画像デコ
ーダ、５２ 画像要素データベース。

Claims (33)

【特許請求の範囲】
1. 【請求項１】 符号化動画像データに予め含まれる動き
   情報を参照し、復号後の画像が有するべき動き情報を導
   出することを特徴とする符号化画像処理方法。
2. 【請求項２】 符号化動画像データに予め含まれる動き
   ベクトル情報を参照し、復号後の画像ピクチャ間の対応
   点移動量を導出することを特徴とする符号化画像処理方
   法。
3. 【請求項３】 前記動きベクトル情報を前記対応点の検
   索範囲を限定するために使用する請求項２に記載の符号
   化画像処理方法。
4. 【請求項４】 符号化動画像データに予め含まれる動き
   情報から、疑似立体表示のための奥行情報を生成するこ
   とを特徴とする符号化画像処理方法。
5. 【請求項５】 前記動き情報は動きベクトル情報であ
   り、該方法は、 前記動きベクトル情報を前記符号化動画像データから分
   離して抽出する工程と、 抽出した動きベクトル情報に従って画像各部の相対空間
   位置を算出する工程と、 その相対空間位置に基づいて画像各部の奥行を導出する
   工程と、 を含む請求項４に記載の符号化画像処理方法。
6. 【請求項６】 前記符号化動画像データは、動画像をＤ
   ＣＴ符号化技術によって符号化したデータである請求項
   ４、５のいずれかに記載の符号化画像処理方法。
7. 【請求項７】 前記符号化動画像データは、動画像をＭ
   ＰＥＧ規格に基づいて符号化したデータである請求項６
   に記載の符号化画像処理方法。
8. 【請求項８】 前記奥行情報を画像各部に対して個別に
   生成する請求項４〜７のいずれかに記載の符号化画像処
   理方法。
9. 【請求項９】 前記画像各部は、領域分割して得られる
   所定の領域である請求項８に記載の符号化画像処理方
   法。
10. 【請求項１０】 前記画像各部は、各画像要素によって
    形成される領域である請求項８に記載の符号化画像処理
    方法。
11. 【請求項１１】 知的符号化技術によって符号化された
    平面画像データを示すコマンド情報から疑似立体表示の
    ための奥行情報を生成することを特徴とする符号化画像
    処理方法。
12. 【請求項１２】 前記コマンド情報は、画像要素自体を
    指示するコマンドである請求項１１に記載の符号化画像
    処理方法。
13. 【請求項１３】 前記コマンド情報は、複数画像要素を
    表示する際、その前後関係を指示するコマンドである請
    求項１１に記載の符号化画像処理方法。
14. 【請求項１４】 前記コマンド情報は、画像要素の動作
    を指示するコマンドである請求項１１に記載の符号化画
    像処理方法。
15. 【請求項１５】 前記コマンド情報は、画像要素の感情
    を指示するコマンドである請求項１１に記載の符号化画
    像処理方法。
16. 【請求項１６】 知的符号化技術によって符号化された
    画像データの画像要素の動作を指示するコマンド情報か
    ら疑似立体表示のための奥行情報を生成することを特徴
    とする符号化画像処理方法。
17. 【請求項１７】 知的符号化技術によって符号化された
    画像データの画像要素の感情を指示するコマンド情報か
    ら疑似立体表示のための奥行情報を生成することを特徴
    とする符号化画像処理方法。
18. 【請求項１８】 動き補償ピクチャ間圧縮符号化利用技
    術によって符号化された符号化データを復号して映像信
    号を生成する復号手段と、 この符号化データを復号する際に使用される動きベクト
    ル信号を該データから分離抽出する動きベクトル信号抽
    出手段と、 分離抽出された動きベクトル信号を参照することによ
    り、疑似立体表示用の奥行情報を生成する奥行情報生成
    手段と、 を備えることを特徴とする符号化画像処理装置。
19. 【請求項１９】 前記奥行情報に基づいて前記映像信号
    から疑似立体映像信号を作成する疑似立体化手段を備え
    る請求項１８に記載の符号化画像処理装置。
20. 【請求項２０】 前記疑似立体化手段は、奥行情報に基
    づいて前記映像信号から遅延量または輝度レベルの異な
    る２系統の疑似立体映像信号を作成する請求項１９に記
    載の符号化画像処理装置。
21. 【請求項２１】 前記分離抽出された動きベクトル信号
    に修正を与えた上でこれを前記奥行情報生成手段に供給
    する動きベクトル修正手段を備える請求項１８〜２０の
    いずれかに記載の符号化画像処理装置。
22. 【請求項２２】 前記符号化データは、インター符号化
    画像およびイントラ符号化画像のデータを含み、 前記動きベクトル信号抽出手段は、インター符号化画像
    の動きベクトル信号を分離抽出し、 前記動きベクトル修正手段は、分離抽出された動きベク
    トル信号から、該インター符号化画像に時間的または位
    置的に近いイントラ符号化画像の動きベクトル信号を推
    測する動きベクトル信号推測手段を備える、 請求項２１に記載の符号化画像処理装置。
23. 【請求項２３】 前記イントラ符号化画像が修整動きベ
    クトル信号を持つとき、 前記動きベクトル信号抽出手段はさらに、イントラ符号
    化画像の修整動きベクトル信号を分離抽出し、 前記動きベクトル修正手段は、この修整動きベクトル信
    号を該イントラ符号化画像の動きベクトル信号として扱
    う、 請求項２２に記載の符号化画像処理装置。
24. 【請求項２４】 前記動き補償ピクチャ間圧縮符号化利
    用技術は、ピクチャ並びの順方向、逆方向またはこれら
    の両方向で動き補償ピクチャ間圧縮を行い、 前記動きベクトル信号抽出手段は、前記動き補償ピクチ
    ャ間圧縮の方向に従って生じる動きベクトル信号を分離
    抽出し、 前記動きベクトル修正手段は、分離抽出された動きベク
    トル信号をいずれか一方向を基準として表現した動きベ
    クトル信号に変換する動き方向統一変換手段を備える、 請求項２１〜２３のいずれかに記載の符号化画像処理装
    置。
25. 【請求項２５】 前記動き補償ピクチャ間圧縮符号化利
    用技術は、動き補償ピクチャ間圧縮の対象となるピクチ
    ャの間隔を適宜変更しながら該圧縮を行い、 前記動きベクトル信号抽出手段は、前記適宜変更された
    ピクチャ間に生じる動きベクトル信号を分離抽出し、 前記動きベクトル修正手段は、分離抽出された動きベク
    トル信号をピクチャ間隔を揃えた状態で得られるべき動
    きベクトル信号に変換するピクチャ間隔統一変換手段を
    備える、 請求項２１〜２４のいずれかに記載の符号化画像処理装
    置。
26. 【請求項２６】 動き補償ピクチャ間圧縮符号化利用技
    術によって符号化されたインター符号化画像と、ピクチ
    ャ内圧縮符号化技術によって符号化されたイントラ符号
    化画像とを含む符号化データを復号して映像信号を生成
    する復号手段と、 この符号化データを復号する際に使用されるインター符
    号化画像の動きベクトル信号を該データから分離抽出す
    る動きベクトル信号抽出手段と、 分離抽出された動きベクトル信号を参照し、該インター
    符号化画像に時間的または位置的に近いイントラ符号化
    画像の動きベクトル信号を推測して生成する動きベクト
    ル修正手段と、 を備えることを特徴とする符号化画像処理回路。
27. 【請求項２７】 前記イントラ符号化画像が修整動きベ
    クトル信号を持つとき、 前記動きベクトル信号抽出手段はさらにイントラ符号化
    画像の修整動きベクトル信号を分離抽出し、 前記動きベクトル修正手段は、この修整動きベクトル信
    号を該イントラ符号化画像の動きベクトル信号として扱
    う、 請求項２６に記載の符号化画像処理回路。
28. 【請求項２８】 前記動き補償ピクチャ間圧縮符号化利
    用技術は、ピクチャ並びの順方向、逆方向またはこれら
    の両方向で動き補償ピクチャ間圧縮を行い、 前記動きベクトル信号抽出手段は、前記動き補償ピクチ
    ャ間圧縮の方向に従って生じる動きベクトル信号を分離
    抽出し、 前記動きベクトル修正手段は、分離抽出された動きベク
    トル信号をいずれか一方向を基準として表現した動きベ
    クトル信号に変換する動き方向統一変換手段を備える、 請求項２６、２７のいずれかに記載の符号化画像処理回
    路。
29. 【請求項２９】 前記動き補償ピクチャ間圧縮符号化利
    用技術は、動き補償ピクチャ間圧縮の対象となるピクチ
    ャの間隔を適宜変更しながら該圧縮を行い、 前記動きベクトル信号抽出手段は、前記適宜変更された
    ピクチャ間に生じる動きベクトル信号を分離抽出し、 前記動きベクトル修正手段は、分離抽出された動きベク
    トル信号をピクチャ間隔を揃えた状態で得られるべき動
    きベクトル信号に変換するピクチャ間隔統一変換手段を
    備える、 請求項２６〜２８のいずれかに記載の符号化画像処理回
    路。
30. 【請求項３０】 前記動きベクトル修正手段によって生
    成または変換された動きベクトル信号から、後段の処理
    内容に適した手法で動きベクトルの検出を行う動きベク
    トル検出手段を含む、 請求項２６〜２９のいずれかに記載の符号化画像処理回
    路。
31. 【請求項３１】 前記動き補償ピクチャ間圧縮符号化利
    用技術はＭＰＥＧであり、前記動きベクトル検出手段は
    ＭＰＥＧのＰピクチャを中心に動きベクトルの検出を行
    う請求項３０に記載の符号化画像処理回路。
32. 【請求項３２】 前記動きベクトル修正手段は、前記動
    きベクトル検出手段からの指示に従って必要な領域また
    は必要な時点の動きベクトル信号を出力する請求項３
    ０、３１のいずれかに記載の符号化画像処理回路。
33. 【請求項３３】 動き補償ピクチャ間圧縮符号化利用技
    術によって符号化されたインター符号化画像を含む符号
    化データを復号して映像信号を生成する復号手段と、 この符号化データを復号する際に使用されるインター符
    号化画像の復号用動きベクトル信号を該データから分離
    抽出する動きベクトル信号抽出手段と、 前記復号された映像信号を二次処理するための二次処理
    用動きベクトルを検出する動きベクトル検出手段と、 この動きベクトル検出手段からの指示に従って必要な領
    域または必要な時点の動き情報を前記復号用動きベクト
    ル信号より生成する動きベクトル修正手段と、 を備えることを特徴とする符号化画像処理回路。