JPH0686270A

JPH0686270A - ３次元画像信号処理装置

Info

Publication number: JPH0686270A
Application number: JP4230762A
Authority: JP
Inventors: Hiroyuki Fukuda; 弘之福田
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 1992-08-31
Filing date: 1992-08-31
Publication date: 1994-03-25

Abstract

(57)【要約】【目的】本発明は、２次元画像に別個に取出し可能な高
さ情報を入れて符号化及び復号化し任意の視点からの３
次元画像を作成し、且つＪＰＥＧ信号用画像信号処理装
置でも再生可能な３次元画像信号処理装置を提供するこ
とを目的とする。【構成】本発明は、ＤＣＴ部５によりＤＣＴ係数化され
た２次元画像データに、高さ情報生成部４により縮小さ
れた高さ画像信号をはめ込み、量子化部７及び符号割り
当て部８により直交変換符号化し、伝送・記録する。ま
た、符号化された２次元画像データから高さ画像信号分
離部１１で高さ画像信号を取出して高さ情報に再生し、
左右画像作成部１４より、所望する視点から見た３次元
画像を作成する３次元画像信号処理装置である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は３次元画像信号をディジ
タル信号として記録する装置に関する。

【０００２】

【従来の技術】一般に、動画像の圧縮方式としては、Ｉ
ＳＯで提案されている方式等（画像電子学会誌第２０巻
第４号参照）、フレーム間相関を利用して高圧縮を達成
する方式がある。この方式について図１０を用いて簡単
に説明する。

【０００３】まず、動き補償フレーム間予測画像を引い
た予測誤差信号がＤＣＴ回路３１でブロック毎にＤＣＴ
された後、量子化回路３２で量子化され、この量子化結
果は、符号化回路３３で可変長符号が割り当てられて記
録される。

【０００４】また前記量子化結果は、逆量子化回路３４
および、逆ＤＣＴ回路３５によって復号され、前記動き
補償フレーム間予測画像とたし合わされて、動き補償用
可変遅延機能を持つ画像メモリを内蔵した動き補償予測
回路３６で、次のフレームの動き補償フレーム間予測画
像を作成するようにしている。

【０００５】またステレオ動画像の符号化方式として
は、特開平２−１３１６９７号公報により、動き補償フ
レーム間差分信号に左右の画像間のずれを表すベクトル
である、視差ベクトル情報を利用することで視差補償予
測を行い、高効率のステレオ動画像符号化を実現してい
る。

【０００６】

【発明が解決しようとする課題】しかし、前述したフレ
ーム間相関を利用した動画像の圧縮方式においては、一
般的に３次元画像が左右の画像間に強い相関を有してい
るため、この方式を３次元画像の左右それぞれの信号に
独立して用いることは、左右の画像間の相関の冗長成分
が除去しきれないため、効率的でない。

【０００７】また、特開平２−１３１６９７号公報によ
るステレオ動画像の符号化方式では左右両方の信号に対
してそれぞれ動き補償フレーム間予測を行ってから視差
補償を行い、動き補償フレーム間予測の段階で、左右画
像間の相関が減少しているため、視差補償ができにくく
なってしまっている上、その効果が少なくなる。また、
処理も複雑になるという欠点があった。さらに、これら
の方式により左右視差から生成された画像は、数値とし
ての情報でないため、計測等には利用できない。

【０００８】そこで本発明は、２次元画像に別個に取出
し可能な高さ情報を入れて符号化及び復号化し任意の視
点からの３次元画像を作成し、且つＪＰＥＧ信号用画像
信号処理装置でも再生可能な３次元画像信号処理装置を
提供することを目的とする。

【０００９】

【課題を解決するための手段】本発明は上記目的を達成
するために、２次元画像信号を得る手段と、この２次元
画像信号に対応した高さ情報を２次元画像信号に重畳す
る手段とで構成される３次元画像信号処理装置を提供す
る。

【００１０】

【作用】以上のような構成の３次元画像信号処理装置で
は、２次元画像データに縮小された高さ画像信号がはめ
込まれた３次元画像信号が符号化及び復号化され、信号
処理の際に、前記２次元画像の輝度信号等のＤＣＴ係数
（画像データ）の再生の際に画質に影響しない箇所に高
さ情報をはめ込むため、画質が劣化されにくい。前記高
さ画像は縮小され、深さ方向の階調が粗く量子化されて
いるため、被写体の髪や服等の細かなディテールは再現
されないが、人の見た目には十分に自然な３次元画像が
作成される。また本実施例の３次元画像信号は、ＪＰＥ
Ｇ信号用画像信号処理装置による２次元画像として再生
しても、ノイズとして画質にほとんど影響しない。

【００１１】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。図１には、本発明による第１実施例として
の３次元画像信号処理装置の概略的な構成を示し、説明
する。

【００１２】この３次元画像信号処理装置は、２次元画
像データの高能率な圧縮方式として公知な直交変換符号
化を用いた符号化方式を利用するものであり、２次元画
像データ（基準画像）に、該基準画像の高さ情報を合わ
せた３次元画像データを生成し、これを直交変換符号化
した後、伝送・記録させ、所望する視点から見た３次元
画像を作成する信号処理装置である。ここで、２次元画
像データの符号化方式について説明する。

【００１３】まず、図２（ａ）に示すように、１フレー
ムの画像データを所定の大きさのブロック（例えば、８
×８の画素より成るブロックＡ，Ｂ，Ｃ，…）に分割
し、この分割されたブロック毎に直交変換として２次元
のＤＣＴを行ない、８×８のマトリックス上に順次格納
する。

【００１４】前記画像データは、２次元平面で眺めてみ
ると、濃淡情報の分布に基づく周波数情報である空間周
波数を有している。従って、前記ＤＣＴを行なうことに
より、画像データは、図２（ｂ）に示すように、直流成
分ＤＣと交流成分ＡＣに変換され、８×８のマトリック
ス上には、原点位置（（０，０）位置）に直流成分ＤＣ
の値を示すデータが、（０，７）位置には、横軸方向の
交流成分ＡＣの最大周波数値を示すデータが、そして、
（７，０）位置には、縦軸方向の交流成分ＡＣの最大周
波数値を示すデータが、さらに、（７，７）位置には、
斜め方向の交流成分ＡＣの最大周波数値を示すデータが
それぞれ格納される。中間位置では、それぞれの座標位
置により関係付けられる方向に於ける周波数データが、
原点側より順次高い周波数のものが出現する形で格納さ
れることになる。

【００１５】次に、このマトリックスおける各座標位置
の格納データを、各周波数成分毎の量子化幅により割る
ことにより、各周波数成分に応じた線形量子化を行な
い、この量子化された値に対して、可変長符号化となる
ハフマン符号化を行なう。この時、直流成分ＤＣに関し
ては、近傍ブロックの直流成分との差分値をハフマン符
号化する。

【００１６】また、交流成分ＡＣに関しては、図３に示
すようなジグザクスキャンと呼ばれる低い周波数成分か
ら高い周波数成分へのスキャンを行ない、無効（値が
「０」）の成分の連続する個数（零のラン数）と、それ
に続く有効な成分の値の２次元のハフマン符号化を行な
い符号化データとする。この方式において、圧縮率は、
前記量子化の量子化幅を変化させることによって制御さ
れるのが一般的で、圧縮率が高くなるほど量子化幅は大
きくなる。図１に示す３次元画像信号処理装置において
は、符号化部Ａと復号化部Ｂに大別される。

【００１７】まず符号化部Ａにおいて、入力部１は光学
系１ａ及び、該光学系１ａから入力した光像（画面）を
光電変換し、画像データを生成する撮像装置１ｂとから
なる。前記撮像装置１ｂから図４（ａ）が示すような画
像データが得られる。前記入力部１はブロック化部２に
接続され、この画像データが所定のブロック数に分割
（例えば、８×８）される。

【００１８】また前記光学系からの光像（画面）を測距
部３により、例えば、赤外線を投射し、その画面の全体
に対して高速にスキャンさせて測距し、前記画面の相対
的な距離或いは凹凸（高さ信号）を検出する。ここで得
られた高さ信号は、高さ画像生成部４により、図４
（ｂ）に示すような高さ画像（高さ情報）を生成し、さ
らに図４（ｃ）に示すような高さ画像信号（高さ情報信
号）に縮小される。

【００１９】前記画像データは、ブロック化部２により
分割されたブロック毎に直交変換として、２次元のＤＣ
Ｔ（離散コサイン変換）を行って値（Ｆ）に変換するＤ
ＣＴ部５を介して、マッピング部６に入力し、後述する
ように前記高さ画像生成部４により生成された高さ画像
信号を２次元画像データの所定位置にはめ込む。

【００２０】次に、高さ信号を含む前記画像データを各
周波数成分に応じた線形量子化を量子化部７により行っ
た後、量子化された値ＦＱが符号割り当て部８により、
例えばハフマン符号化等の可変長符号化され、伝送・記
録される。ここで、線形量子化の量子化幅は、各周波数
に対する視覚特性を考慮にいれた相対的な量子化特性を
表す量子化マトリックスを用意し、この量子化マトリッ
クスを定数倍することで量子化幅を決定している。従っ
て、３次元画像のデータとなる高さ画像信号（高さ情
報）が含まれた圧縮データが、２次元データと同様にし
て伝送・記録されることになる。次に前述した高さ画像
生成部４及びマッピンク部６について説明する。

【００２１】まず入力部１から図４（ａ）に示すような
２次元画像データが得られる。測距部３は、前記２次元
画像データに相当する画面全体の高さ信号を求めて、高
さ画像生成部４に出力する。

【００２２】前記高さ画像生成部４は、図４（ｂ）に示
すような、ある高さ信号を基準として高低もしくは凹凸
の等高線で表す高さ画像が生成される。つまり、カメラ
からの距離に応じた値を持つ画像が生成される。この高
さ画像を図４（ｃ）に示すように、例えば１／６４に縮
小して、輝度信号の８×８のブロックに対して、１つの
値をもつ高さ画像信号を形成して、マッピング部６に出
力する。本実施例において、通常、画像の深さ方向の解
像度は、輝度変化に比べて非常に低くても問題が生じな
いため、高さ画像を縮小して使用している。また、深さ
方向の階調は粗く量子化されており、被写体の髪や服等
の細かなディテールは再現されないが、人の見た目には
十分に自然な３次元画像となる。次にマッピングについ
て説明する。

【００２３】一般に符号化においては、ブロック化部２
により画像データは図５（ａ）のような８×８ブロック
にされる。このブロックは、ＤＣＴ部５により図５
（ｂ）に示すようなＤＣＴ処理された画像データとな
り、左上隅を直流成分として右もしくは下に行くほど、
高い周波数の係数となる。この係数は、低い周波数ほ
ど、強いパワーを持っているため、量子化されると、図
５（ｃ）に示すように、斜線部の係数だけが値を持ち、
他はすべて“０”になるのが一般的である。

【００２４】すなわち、高さ画像信号をブロックのどの
位置にはめ込むかは、後述する画像データの再生の際の
画質になるべく悪影響を与えない箇所にはめ込むことが
重要になる。

【００２５】つまり、本実施例の３次元画像を扱う画像
信号処理装置であれば、どの箇所にはめ込んでも、高さ
画像信号として別個に取り出すように構成すれば、悪影
響が少なく押さえることができるが、通常のＪＰＥＧ信
号のみを扱う画像信号処理装置により、このような３次
元画像を２次元画像として再生すると、ノイズとして画
質に影響を与えることになる。

【００２６】従って、ＪＰＥＧ信号のみを扱う画像信号
処理装置で、この高さ画像信号を含む画像データを再生
させた場合には、非常に高い周波数信号が失われるが、
前述したように、通常の圧縮時でも量子化によって情報
が失われる箇所であれば良いため、図６（ａ）に示す右
下隅に高さ画像信号をはめ込めば良い。この図６（ａ）
に示す右下隅の箇所は、量子化によって情報が失われる
箇所であり、画質には影響を与えない。

【００２７】また前記画像データの量子化においては、
この高さ画像信号が輝度信号として画像データにはめ込
まれているが、図６（ｂ）に示すような右下隅の“１”
を設定する量子化テーブルを用いて行う。また逆量子化
された時には、図６（ｃ）に示すように他の係数と比べ
て非常に小さな値になるため、後述するＩＤＣＴ後の画
像データに重畳されるノイズとしては、図６（ｄ）に示
すような非常に弱い高周波数ノイズとなり、視覚的には
画質にほとんど影響しない。

【００２８】一方、図１に示すように、前述した圧縮デ
ータから３次元画像データを生成する復号化部Ｂにおい
ては、符号化部により符号化された画像データが伝送及
び記録媒体等を介して入力される符号デコード部９は、
可変長符号をデコード（復号）して、変換係数の量子化
値ＦＱを得る。さらに符号デコード部９に接続する逆量
子化部１０により、前記量子化値が逆量子化されて、画
像データＦ′が得られ、高さ画像信号分離部１１に出力
される。

【００２９】この高さ画像信号分離部１１は、画像デー
タＦ′から図４（ｃ）に示した高さ画像信号を分離して
取出し、この高さ画像信号（高さ情報）のみが高さ画像
再生部１２に出力され、残りの画像データはＩＤＣＴ部
１３に出力される。この時高さ画像を信号を取り出され
た係数は、“０”と置き換えるようにしている。

【００３０】前記高さ画像再生部１２は、前述した図４
（ａ）のような高さ画像を再生して左右画像作成部１４
に出力する。また、前記ＩＤＣＴ部１３は、入力された
画像データＦ′に対してＩＤＣＴ（逆離散コサイン変
換）を行い、２次元画像データを左右画像作成部１４に
出力する。

【００３１】前記左右画像作成部１４は、ＩＤＣＴ部１
３から信号を逆ブロック化して得た２次元画像データに
対し、高さ画像再生部１２からの高さ情報に基づき、視
差相当量を左右にずらした画像をそれぞれ左画像、右画
像として出力する。また、画像データが、人間に顔を正
面から見た正面画像の場合に知的合成の概念を用いて、
予め入力されている人間の頭部の形状データから正面画
像を基準にして、視差相当量を左、右に移動した左右画
像を得ることも可能である。

【００３２】本発明において、高さ信号の量子化は任意
であって、その量子化幅を伝達する必要がある場合に
は、画像信号の先頭に付加するようにしてもよいし、第
１ブロックの高さ信号の代わりに量子化幅を伝送し、他
のブロックは第１ブロックとの相対的な距離情報を送る
ようにしても構わない。また、マッピング部６と量子化
部７及び逆量子化部１０と高さ信号分離部１１の位置は
入れ替えても良い。

【００３３】以上、説明した３次元画像信号処理装置
は、２次元画像に高さ情報を入れても高さ情報のみを取
り出すことができ、計測等に利用することができる。３
次元画像データの圧縮等の信号処理の際に、前記２次元
画像の画像データの画質に影響しない箇所に高さ情報を
はめ込むため、従来と比較しても画質に劣化を生じさせ
ない。

【００３４】また、通常のＪＰＥＧ信号のみを扱う画像
信号処理装置に前述した３次元画像データを２次元画像
として再生しても、ノイズとして画質に影響を与えるこ
とがなく、本実施例の３次元画像信号処理装置とＪＰＥ
Ｇ信号用画像信号処理装置との間に互換性がある。

【００３５】また、従来の２方向から得た２次元画像を
用いて作成した視差による立体画像（３次元画像）で
は、撮影したときの視点から移動することはできなかっ
た。例えば斜め右上から見た被写体に基づいて斜め左上
から見た被写体の画像を作成することができるはできな
かった。

【００３６】このような画像を得るものに、コンピュー
タグラフィックが知られているが、このコンピュータグ
ラフィックにより、正確に対象物（被写体）の形状を３
次元で表すためには、その被写体の正面、背面、上下
面、両側面の６方向からみた形状をデータとして入力し
なければならない。

【００３７】しかし、本実施例では観察位置からの距離
を各点毎に記録しているので、左右画像作成部におい
て、視点が被写体正面からの画像のみであれば、その正
面画像と視差によるずれを意識する画像を作成し、凹凸
（高さ情報）とにより、３次元的な立体感を表現でき
る。

【００３８】さらに任意の視点からの３次元画像におい
ては、被写体が例えば人間の頭部であれば、基本的な形
状は決まっているため、ニューラルネットワークを利用
し、多数の頭部形状のデータを用いて勉強させることに
よって、頭部形状の観念を作成し、被写体の正面画像と
凹凸（高さ情報）の情報から、知的合成することによっ
て被写体の側面および背面の形状を推測させて、任意の
視点からの３次元画像を作成することができる。次に第
２実施例として、第１実施例よりも立体的に高解像度を
得るための３次元画像信号処理装置について、図７，図
８を参照して説明する。

【００３９】前述した第１実施例では、高さ画像信号
（高さ情報）を１×１すなわち、１／６４に縮小して用
いたが、さらに高解像度が必要であった場合には、図７
に示すように、前述した高さ画像信号（高さ情報）を２
×２の大きさに縮小して、解像度を高くすることができ
る。

【００４０】つまり、８×８の高さ画像信号を２×２
（１／８）の高さ画像データｎに縮小して、輝度信号の
画像データ（ＤＣＴ係数）ｍの最高周波数の右下隅には
め込んだ画像データを符号化および復号する。

【００４１】図８には第２実施例の３次元画像信号処理
装置の構成を示す。ここで、第２実施例の構成部材で第
１実施例と同等の部材には、同じ参照符号を付して、そ
の説明を省略する。

【００４２】この第２実施例の３次元画像信号処理装置
の符号化部Ａ´において、ブロック化部２により８×８
ブロックに分割された画像データに２次元の８×８ＤＣ
Ｔ部２３により、離散コサイン変換を行う。また、測距
部３からの２次元画像データに相当する画面全体の高さ
信号が高さ画像生成部２１に入力する。

【００４３】前記高さ画像生成部２１では、前述したよ
うに高さ画像信号を生成し、これを２×２ＤＣＴ部２２
により、離散コサイン変換を行った後、マッピング部６
で高さ画像信号を２次元画像データの所定位置にはめ込
む。その後、量子化し、可変長符号化して、３次元画像
のデータとなる高さ画像信号（高さ情報）が含まれた圧
縮データを２次元データと同様にして伝送・記録する。

【００４４】一方、復号化部Ｂ´においては、可変長符
号をデコード（復号）し、逆量子化した後、高さ画像信
号分離部１１により、高さ画像信号（高さ情報）のみが
取り出されて、２×２ＩＤＣＴ部２５により逆離散コサ
イン変換された後、縦横４倍に拡大される。

【００４５】他方、残りの画像データは８×８ＩＤＣＴ
部２４に出力され、ここで逆離散コサイン変換される。
そして、それぞれ２次元画像データと高さ画像信号（高
さ情報）は、左右画像作成部１４により、逆ブロック化
し、第１実施例と同様に３元画像データを得ることがで
きる。次に第３実施例として第２実施例よりも、さらに
高解像度の３次元画像信号処理装置について説明する。

【００４６】前述した第１，第２実施例では、高さ画像
信号を縮小して、輝度信号の画像データ（ＤＣＴ係数）
の最高周波数の右下隅にはめ込んだ画像データを用いて
いたが、さらに高解像度の高さ画像信号を所望する場合
には、輝度信号の画像データ（ＤＣＴ係数）のみに高さ
画像信号をはめ込むと、再生した画像の画質が劣化して
しまう。

【００４７】そのため、図９に示すように、同図（ｄ）
に示す３×３の高さ画像信号のＤＣＴ係数を同図（ａ）
の輝度信号Ｙのほかに、同図（ｂ）の色差信号（Ｃ_R）
と、同図（ｃ）の色差信号（Ｃ_B）の各ＤＣＴ係数に高
さ信号を分散してはめ込むことにより、さらなる高解像
度の高さ情報を入れることができる。また本発明は、前
述した実施例に限定されるものではなく、他にも発明の
要旨を逸脱しない範囲で種々の変形や応用が可能である
ことは勿論である。

【００４８】

【発明の効果】以上詳述したように本発明によれば、２
次元画像に別個に取出し可能な高さ情報を入れて符号化
及び復号化し任意の視点からの３次元画像を作成し、且
つＪＰＥＧ信号用画像信号処理装置でも再生可能な３次
元画像信号処理装置を提供することができる。

【図面の簡単な説明】

【図１】図１は、本発明による第１実施例としての３次
元画像信号処理装置の概略的な構成を示す図である。

【図２】図２は、１フレームの画像データにより２次元
画像データの符号化方式を示す図である。

【図３】図３は、画像データの交流成分ＡＣに関して、
ジグザクスキャンする状態を示す図である。

【図４】図４（ａ）は、図１に示した撮像装置１ｂから
得られる画像データであり、図４（ｂ）は、高さ画像
（高さ情報）を示す図であり、図４（ｃ）は高さ画像
（高さ情報）を任意に縮小した図である。

【図５】図５（ａ）は、８×８の１つのブロックの画像
信号の例を示す図であり、図５（ｂ）は、そのＤＣＴ係
数を示す図であり、図５（ｃ）は、その量子化後の非零
係数を表す図である。

【図６】図６（ａ）〜（ｃ）は、２次元画像の符号化に
おけるＤＣＴ係数及び量子化テーブルを示す図であり、
図６（ｄ）は、２次元画像の符号化におけるＤＣＴ係数
をそのまま画像信号にした場合のノイズの発生のしかた
を示す図である。

【図７】図７は、高さ画像信号（高さ情報）をはめ込ん
だ画像データ（ＤＣＴ係数）を示す図である。

【図８】図８は、本発明による第２実施例としての３次
元画像信号処理装置の概略的な構成を示す図である。

【図９】図９（ａ）〜（ｄ）は、それぞれ輝度信号Ｙ、
色差信号Ｃ_R、色差信号Ｃ_B、高さ画像信号のＤＣＴ係
数を示す図である。

【図１０】図１０は、従来のフレーム間相関を利用して
高圧縮を達成する方式を説明する図である。

【符号の説明】

１…入力部、１ａ…光学系、１ｂ…撮像装置、２…ブロ
ック化部、３…測距部、４…高さ画像生成部、５…ＤＣ
Ｔ部、６…マッピング部、７…量子化部、８…符号割り
当て部、９…符号デコード部、１０…逆量子化部、１１
…高さ画像信号分離部、１２…高さ画像再生部、１３…
ＩＤＣＴ部、１４…左右画像作成部、Ａ…符号化部、Ｂ
…復号化部。

Claims

【特許請求の範囲】

【請求項１】２次元画像信号を得る手段と、この２次元画像信号に対応した高さ情報を２次元画像信
号に重畳する手段とを具備することを特徴とする３次元
画像信号処理装置。