JP2649810B2

JP2649810B2 - 立体画像の冗長度圧縮装置

Info

Publication number: JP2649810B2
Application number: JP27231387A
Authority: JP
Inventors: 博幸山口; 健二秋山
Original assignee: Ei Tei Aaru Tsushin Shisutemu Kenkyusho Kk
Current assignee: Ei Tei Aaru Tsushin Shisutemu Kenkyusho Kk
Priority date: 1987-10-28
Filing date: 1987-10-28
Publication date: 1997-09-03
Anticipated expiration: 2012-09-03
Also published as: JPH01114283A

Description

【発明の詳細な説明】［産業上の利用分野］この発明は立体画像の冗長度圧縮装置に関し、特に、
テレビ電話やテレビ会議などのシステムにおいて、相手
の顔画像を立体画像で表示するために、立体画像を伝送
する際に冗長度を圧縮し、受信側で再生するような立体
画像の冗長度圧縮装置に関する。

［従来の技術］第11図は従来の立体テレビ会議システムの構成を示す
概略ブロック図であり、第12図，第13図および第14図は
立体画像撮影系のモデルを説明するための図である。

第11図において、送信側の会議出席者１の画像は右眼
に相当する右眼カメラ2aと左眼に相当する左眼カメラ2b
とによって同時に２方向から撮影される。これらの右眼
カメラ2a,左眼カメラ2bはそれぞれテレビアメラによっ
て構成される。右眼カメラ2a,左眼カメラ2bの撮影出力
である画像信号はそれぞれ送信制御装置3a,3bに与えら
れ、伝送路4a,4bを介して受信制御装置5a,5bに伝送され
る。受信制御装置5a,5bはそれぞれ左右の眼から見た画
像に相当する画像を立体表示装置８に表示させる。

なお、第11図においては、図示を簡略化するために、
一方向のみの通信について示しているが、もちろん双方
向も可能であり、音声伝達回路についても省略して示し
ている。

立体画像撮影系のモデルについて第12図，第13図およ
び第14図を参照してより詳細に説明する。右眼カメラ2a
は右眼レンズ23aを含み、この右眼レンズ23aを光軸25a
上に右眼カメラ焦点24aが存在する。同様にして、左眼
カメラ2bは左眼カメラ23bを含み、この左眼レンズ23bの
光軸25b上に左眼カメラ焦点24bが存在する。右眼カメラ
2aの視野にある対象物は右眼レンズ23aによりネガ像面2
6aに結像され、左眼カメラ2bの視野にある対象物は左レ
ンズ23bによりネガ像面26bに結像される。

ネガ像面26a,26bでの像はともに左右上下が反対にな
った逆立場であり、第11図に示した送信制御装置3a,3b
により正立像に変換される。この正立像は、幾何学的に
は第12図に示したポジ像面27a,27bの像と等価であり、
ポジ像面27a,27bの像がそれぞれ右眼画像および左眼画
像となり、第11図に示した立体表示装置８に表示されて
立体画像が再生される。

第13図に示すように、右眼カメラ2aおよび左眼カメラ
2bの視野内に、対象物A,B,Cがそれぞれ深度方向に存在
する場合、右眼ポジ像面27aおよび左眼ポジ像面27bに写
った対象物A,B,Cに写る順序は互いに逆になっている。

第13図では、対象物A,B,Cの体積が無限小であるとし
て、模式的に示している。第14図はより実体に近づける
ために、対象物の体積が有限の大きさを有している場合
について示している。第14図に示すように、右眼カメラ
2aおよび左眼カメラ2bの視野内に対象物9,10がそれぞれ
深度方向に存在する場合、右眼ポジ像面27aおよび左眼
ポジ像面27bに写った対象物の像は、右眼カメラ2a,左眼
カメラ2bの位置に応じて、対象物９、10が重なり合った
り離れたりする。これらの像をそれぞれ人間の右眼およ
び左眼に呈示することにより、奥行き方向のしかるべき
位置に対象物が配置しているように知覚できる。

上述の原理に基づくことにより、第11図に示した立体
表示装置８には、送信側の会議出席者１の脹らみを有す
る顔の表情が表示されるばかりでなく、画面上での奥行
き表現により臨場感のある画像が表示される。

しかしながら、第11図に示したテレビ会議システムで
は、左眼および右眼から見たものに相当する２倍の画像
情報を、伝送路4a,4bを介して受信側に伝送する必要が
ある。このため、利用者の回線使用に伴う経済的負担を
圧迫するという問題点がある。さらに、立体表示装置８
としては、たとえばレンティキュラー板方式であるが、
このようなレンティキュラー板方式で自然な立体画像を
表示するためには、５方向程度から見た画像も必要であ
り、莫大な情報量となってしまい、これ伝送することは
非現実的であるという問題点があった。

また、電気通信を目的とせず、立体画像の撮影記録の
保管を考えた際、従来の単眼画像の２倍の記録媒体（メ
モリ）を消費するという欠点がある。このために、保管
場所の確保ならびに記録媒体の費用が高くなってしまう
という問題点もあった。

このような莫大な情報量を圧縮する方法として、DPCM
を時間方向ではなく、左右の画像フレーム間に適用する
方法が知られている。そのような方法は、Lukacs M.Mic
hael;“Predictive Coding of Multi−viewpoint image
sets",Proceding of IEEE,Int.Conf.Acoust.Speech Si
gnal Process.,Vol1986,No.1,P521〜524,1986に記載さ
れている。このLukaceの方法は、単眼画像のそれぞれの
フレームをＸ×Ｙ画素からなるＮ個のブロックに分割
し、水平方向に対となる画像ブロックを空間移動させ、
画像間の差分処理を行なって冗長度を圧縮している。

［発明が解決しようする問題点］しかしながら、Lukacsの方法では、ブロックサイズ
（１ブロック＝Ｘ×Ｙ画素）を、１つの画像内で、画像
の特徴に応じて可変とすることができないために、以下
に述べるような欠点があり、実用に供することができな
かった。

すなわち、第14図に示したような対象物が有限の体積
を有する場合には、像の重なり，離れが生じる。このた
めに、従来の画一的なブロック分割では異なる深度にあ
る対象物を分離できず、差分画像の冗長度が思った程度
低下できず、冗長度および圧縮効率が悪い。

また、従来の方法で異なる対象物を良好に分離するた
めには、ブロックサイズを小さくすることが考えられる
が、ブロックサイズを小さくすると、画像全体でのブロ
ック数が増加し、それぞれのブロックに対して符号を割
当てるために、結果として符号量が増加し、冗長度およ
び圧縮効率が悪い。

さらに、上述のブロックサイズを小さくする方法で
は、ブロック数が増加するので、各ブロックの移動計算
回数が増加し、計算時間を短縮するために、処理回数が
大型化する必要があり、装置が高価となるという問題点
もある。

それゆえに、この発明を主たる目的は、立体画像の冗
長度を良好に圧縮して伝送あるいは蓄積し、それを再生
できるような立体画像の冗長度圧縮装置を提供すること
である。

［問題点を解決するための手段］特許請求の範囲第１項に係る発明は、同一対象物を複
数方向から撮影した画像に基づいて立体画像を伝送する
際に、冗長度を圧縮するような立体画像の冗長度圧縮装
置であって、複数方向から撮影した画像のうち、少なく
とも１つの方向から撮影した画像を水平方向に帯状に分
割する画像水平分割手段、分割された帯状の画像の輪郭
線を検出する輪郭検出手段と、検出された輪郭線に基づ
いて帯状の画像を垂直方向に分割する画像垂直分割手段
と、複数方向から撮影した画像のうちの残りの画像を基
準画像として、垂直方向に分割された各画像を水平方向
に移動させる平行移動手段と、平行移動された各画像と
基準画像との差分画像を求める差分手段と、求められた
各差分画像の情報量を比較し、最小の差分画像を求める
比較手段と、求められた最小の差分画像に応じて平行移
動量とその差分画像ブロックを選択する選択手段とを備
えて構成される。

特許請求の範囲２項に係る発明では、第１項の画像水
平分解手段は、画像の特徴に基づいて画像を水平方向に
分割する。

特許請求の範囲第３項に係る発明では、第１項の平行
移動手段による平行移動処理の前に画像の分解能あるい
は色調・階調数を減少させる手段を備えて構成される。

［作用］この発明に係る立体画像の冗長度圧縮装置は、複数方
向から撮影した画像のうちの少なくとも１つの方向から
撮影した画像を水平方向に帯状に分割して帯状の画像の
輪郭線を検出し、検出された輪郭線に基づいて帯状の画
像を垂直方向に分割し、残りの画像を基準画像として垂
直方向に分割された各画像を水平方向に平行移動させ、
平行移動された各画像と基準画像との差分画像を求め、
各差分画像を情報量を比較し、最小の差分画像に対応す
る平行移動量とその差分画像を選択する。

［発明の実施例］第１実施例第１図はこの発明の一実施例の全体の構成を示す概略
ブロック図であり、第２図は第１図に示した分割処理部
のより具体的なブロック図である。

まず、第１図を参照して、この発明の第１実施例の全
体の構成について説明する。右眼カメラ2aおよび左カメ
ラ2bから出力された画像信号は、A/D変換器28a,28bによ
って画素を単位とするディジタル信号に順次変換され
る。右眼カメラ2aから出力された右眼画像信号は画像水
平方向分解器29により、４つの短冊形の画像に分割され
る。４つの短冊形の画像は入力端子56を介して各分割処
理部42に与えられる。分割処理部42については、後述の
第２図において詳細に説明する。左眼カメラ2bから出力
されかつA/D変換器28bによってディジタル信号に変換さ
れた画像信号は入力端子57を介して分割処理部42に入力
されている。分割処理部42は、入力端子57に入力された
画像信号をもとにして、入力端子56から入力されている
短冊形画像の冗長度を圧縮し、圧縮された画像データを
出力端子58に出力する。出力端子58から出力された圧縮
画像データは変調器39aに与えられる。

変調器39aは圧縮された画像データを、伝送路4aに適
合した信号形式と伝送速度に変換して伝送路4aに送出す
る。一方、左眼カメラ2bから出力された左眼画像信号は
変調器39bに直接与えられ、伝送路4bに適合する信号形
式と伝送速度に変換されて伝送路4bに送出される。

次に、第２図を参照して、分割処理部42の構成につい
て説明する。分割処理部42に入力された短冊形画像信号
はエッジ検出器30に与えられ、画像の輪郭が抽出され
る。抽出された輪郭線画像信号は分割垂直線発生器43に
与えられる。分割垂直発生器43は輪郭線画像信号に基づ
いて、輪郭線と交差するように短冊形画像の垂直方向へ
の分割垂直線を発生して画像垂直方向分割器31に与え
る。画像垂直方向分割器31は分割垂直線発生器43によっ
て発生された垂直線データをもとにして、短冊形画像を
さらに垂直方向に分割する。画像中の輪郭線はそれぞれ
の対象物の境界線とほぼ一致できているので、対象物の
深度別に分離した画像ブロックを得ることができる。こ
れにより、この発明による効果を発揮できる。画像ブロ
ックはメモリ40に蓄積され、たとえば３つの垂直分割処
理部41に入力され、逐次分散処理される。

垂直分割処理部41では、入力された画像ブロックが平
行移動量発生器32から発生された３つの異なる平行移動
量（ベクトル）と同じだけ、平行移動処理器33によって
水平方向に平行移動される。平行移動処理器33によって
それぞれ３つのベクトル量だけ平行移動された画像信号
は、それぞれ差分器341,342および343に与えられる。差
分器341,342および343は、それぞれ左眼カメラ2bから出
力されかつA/D変換器28bによってディジタル信号に変換
された画像信号と、平行移動された右眼画像信号との差
成分を画素ごとに計算する。そして、差分器341,342お
よび343のそれぞれの出力は、後述の第3A図および第3B
図で詳細に説明するが、差分領域抽出器351,352および3
53に与えられ、差分画像のうちの画像ブロックにより差
分された領域のみが抽出され、画像情報量計算器361,36
2および363に与えられる。画像情報量計算器361,362お
よび363では、入力された差分画像ブロックの累積残差
が計算される。

なお、上述の第２図に示した構成では、説明の簡略化
のために、３つの平行移動量に基づく画像の平行移動処
理，差分処理，累積残差計算処理を行なっているが、こ
の発明はもちろん３つの平行移動量に限定されるもので
はなく、これ以上の平行移動量について上述の処理を行
なうことにより、より精密に効果的に画像の冗長度を圧
縮できることは言うまでもない。

上述のごとく画像情報量計算器361,362および363によ
って計算された各残差は、比較器37に与えられて各残差
が比較され、最小の残差が出力されてセレクタ38に与え
られる。セレクタ38には差分領域抽出器351,352および3
53から差分画像ブロックが与えられており、比較器37か
ら与えらた最小の残差に対応する平行移動量および差分
画像ブロックがセレクタ38によって選択され、変調器39
aに与えられる。変調器39aは平行移動量および差分画像
ブロックを伝送路4aに適合した信号形式と伝送速度に変
換して伝送路4aに送出する。

次に、第１図，第２図，第3A図および第3B図を参照し
て、この発明の第１実施例の具体的な動作について説明
する。第3A図に示すステップ１において、右眼カメラ2a
で撮影された右眼画像信号はA/D変換器28aによってディ
ジタル信号に変換される。この右眼画像はIr（x,y）で
表わされる。また、左眼カメラ2bによって撮影された左
眼画像信号はA/D変換器28bによってディジタル信号に変
換され、この左眼画像はIl（x,y）で表わされる。ステ
ップ２において、右眼画像Ir（x,y）は、画像水平方向
分割器29によって水平方向に４つの短冊形画像Ir₁（x,
y）,Ir₂（x,y）,Ir₃（x,y）,Ir₄（x,y）に分解される。

次に、ステップ３において、エッジ検出器30によって
短冊形画像の輪郭線が抽出されて分割垂直線発生器43に
与えられる。分割垂直線発生器43は与えられた輪郭線を
もとにして、さらに垂直方向に分解する垂直線を算出
し、画像垂直方向分割器31に与える。画像垂直方向分割
器31は、垂直線を境界として、たとえば６つの画像ブロ
ックIr₁₁,Ir₁₂,Ir₁₃,Ir₁₄,Ir₁₅,Ir₁₆に分割してメモリ4
0に蓄積させる。他の分割処理部42は同様にして、逐次
並列処理を行なう。

第４図は第２図に示したエッジ検出器30の具体例を示
したものである。第４図に示した例では、入力画像に対
して、各画素について左隣りおよび上隣りの値（すなわ
ちＩ（ｘ−1,y）およびＩ（x,y−１）との差Ｉ′（x,
y）（但し、Ｉ′（ｘ−ｙ）＝|I（x,y）−Ｉ（ｘ−1,
y）｜＋|I（x,y）−Ｉ（x,y−１）｜）を計算すること
によって、入力画像に映っている対象物の境界線を出力
できる。

ここでは、隣接画素との差分によってエッジ検出を行
なっているが、この発明はこれに限定されるものではな
く、対象物の輪郭線を算出することができれば、他の検
出方法を用いても、同等の効果が得られることは言うま
でもない。他に、２階差分を計算するゼロクロス法など
も有効である。

第５図は分割垂直線発生器43の動作を具体的に示した
ものである。分割垂直線発生器43はエッジ検出器30から
の出力画像Ｉ′r₁（x,y）をもとにして、検出エッジの
ｘ座標の平均値を算出し、これを分割垂直線として画像
垂直方向分割器31に与える。画像垂直方向分割器31は、
第５図に示したように、分割垂直線を境界にして、短冊
形画像Ir₁（x,y）を、この例では２つの画像ブロックIr
₁₁（x,y）,Ir₁₂（x,y）に細分割する。

第６図は平行移動処理器33による平行処理動作を説明
するための図である。ステップ４において、平行移動処
理器33によって第６図に示すように、画素単位として分
割画像ブロックの平行移動が行なわれる。たとえば、画
像垂直方向分割器31によって分割された画像ブロックIr
₁₁（x,y）の場合について説明すると、平行移動量発生
器32によって発生された３つの平行移動ベクトルd₁,d₂,
d₃に基づいて、平行移動処理器33によって平行移動さ
れ、Ir₁₁（x₁,y₁）,Ir₁₁（x₂,y₂）,Ir₁₁（x₃,y₃）に変
換される。

第3B図に示すステップ５において、差分器341,342お
よび343によって左眼画像Il（x,y）の差分が対応する画
素ごとに求められる。次に、ステップ６において、差分
領域抽出器351,352および353によって被差分領域のみが
抽出され、差分画像ブロックA₁,B₁,C₁が求められる。さ
らに、ステップ７において、次の演算式に従ってそれぞ
れのブロックの累積残差が求められる。

次に、ステップ８において、比較器37によって各累積
残差が比較され、ステップ９において、セレクタ38によ
り、最小累積残差を与える平行移動量および差分画像ブ
ロックが選択されて変調器39aに与えられる。

上述のごとく、この発明の第１実施例によれば、前述
の第14図に示した左右画像で異なる深度にある対象物同
士が重なり合ったり、離れたりする実際の立体画像であ
っても、それぞれの対象物の左画像を各ブロックに配分
することができ、各ブロックの平行移動処理で左右画像
間の共通部分を差分処理で適確に除去でき、共通部分は
伝送されず、従来技術に比べて情報量を大幅に圧縮する
ことができる。

なお、上述の第１図および第3A図に示したステップ２
の説明では、説明を簡略化するために、A/D変換器28aよ
り入力される右眼画像を水平方向に４つに分割し、それ
ぞれをそれに対応する分割処理部42で処理するようにし
たが、この発明はこれに限定されるものではなく、これ
以上に水平方向に分割し、分割処理部42で処理すること
により、適確に左右画像間の共通部分を除去することが
でき、合像の冗長度を効果的に圧縮できることは言うま
でもない。このためには、水平分割画像数に応じて、第
１図に示した分解処理部42の個数を増やすか、あるいは
分割処理冷42の数を増やさずとも、画像水平方向分割器
29と分割処理部42との間に、分割画素を一旦蓄積するメ
モリを設け、メモリから逐次分割処理部42に分割画像を
入力して処理するようにしても実現することができる。

また、第１図では、説明の簡略化のために、２つのテ
レビカメラから入力された立体画像にいいて、一方を右
眼画像とし、他方を左眼画像として、左眼画像に対して
右眼画像の冗長度を圧縮しているが、この発明はこのよ
うな２眼入力画像のみに限定されるものではなく、２以
上の多眼画像についても、そのうちの少なくとも１つの
画像を基準画像とし、他の画像についてそれぞれ第１図
に示したA/D変換器28a,画像水平方向分割器29,分割処理
部42および変調器39aを備えることにより、冗長度の圧
縮を行なうことができる。

第２実施例第７図はこの発明の第２実施例における垂直分割処理
部41の具体的なブロック図である。この第７図に示した
実施例は、前述の第２図に示した垂直分割処理部41の変
形例である。そして、この第２実施例においては、右眼
および左眼画像信号は、R,G,Bの各色からなるカラー画
像信号であり、このカラー画像信号が第１図に示したA/
D変換器28aによってディジタル信号に変換され、画像水
平方向分割器29および画像垂直方向分割器31を介して複
数の画像ブロック信号が生成され、そのうちの１つの画
像ブロック信号が垂直分割処理部41の入力端子53に与え
られる。同様にして、左眼画像信号もR,G,Bに各色から
なるカラー画像信号であり、第１図に示したA/D変換器2
8bによってディジタル化され、入力端子54に入力され
る。

入力端子53に入力されたR,G,Bの各色からなる画像ブ
ロック信号は情報低減フィルタ441に与えられる。情報
低減フィルタ441は、画像ブロック信号のうち、Ｒ画像
成分のみを選択し、さらに間引き処理を行なって、たと
えば１画面の画素のうち、１ドットおきの画素を除去
し、分解能を1/2に低下し、右眼画像信号の情報量を低
下させる。また、入力端子54に入力された左眼画像信号
は、情報低減フィルタ442に与えられ、Ｒ画像の選択お
よび間引き処理が行なわれる。

このようにして、量子化された左右のＲ画像信号に対
して、第１図の説明と同様にして、平行移動量発生器32
ないし比較器37により、平行移動量処理，差分処理，累
積残差計算処理および比較処理が行なわれ、最小累積残
差を与える平行移動量が出力される。そして、その平行
移動量に基づいて、量子化されていない右眼画像のブロ
ックが画像平行移動処理器331により平行移動され、差
分器344によって左眼画像との差分が計算される。さら
に、差分領域抽出器354によって差分領域を抽出した画
像が出力される。

上述のごとく、この発明の第２実施例によれば、情報
量を低減させた画像について、平行移動処理，累積残差
計算処理および累積残差比較処理を行なうようにしたの
で、これらの処理を行なう回路規模の縮小および計算の
高速化を実現しつつ立体画像の情報量の効果的な圧縮を
達成できる。

なお、上述の第７図に示した実施例では、情報低減フ
ィルタ441の処理として、R,G,Bの画像信号のうち、Ｒ画
像を選択するようにしたが、もちろんこれに限定される
ものではなく、Ｇ成分やＢ成分を選択してもよく、ある
いは階調レベル数を低下させることを併用することによ
っても、処理画像の情報量を低下でき、立体画像の情報
量の効果的な圧縮を達成できる。

第３実施例第８図はこの発明の第３実施例のブロック図であり、
第９図は第３実施例での右眼画像の分割例を説明するた
めの図である。

第８図において、垂直分割処理部41は以下の点を除い
て第２実施例とほぼ同じである。すなわち、情報量低減
フィルタ443は垂直分割処理部41の外部に設けられ、こ
の情報量低減フィルタ443によってD/A変換器28bからの
左眼信号の情報量が低減される。さらに、この第３実施
例では、右眼画像の水平分割時においても、これを画像
の特徴に基づいて分割している。以下、動作について説
明する。

この第３実施例においても、第２実施例と同様にし
て、右眼および左眼画像信号はR,G,Bの各色からなるカ
ラー画像信号であり、このカラー画像信号はA/D変換器2
8aによってディジタル信号に変換され、エッジ検出器30
1によって画像の輪郭が抽出される。輪郭線画像信号は
分割水平線発生器100に与えられ、輪郭線と交差するよ
うに入力画像の水平方向への分割水平線信号が発生され
る。画像水平方向分割器29には、右眼画像信号が入力さ
れており、分割水平線発生器100から分解水平線信号が
与えられると、アダプティブな幅を有する短冊形画像信
号が出力される。

前述の第１実施例では、第3A図のステップ２に示した
ように、同じ幅の短冊形画像信号Ir₁,Ir₂,Ir₃,Ir₄に分
割したが、この実施例では、これが対象物の位置に応じ
て、複数の対象物が配置している場所では細かく、一方
対象物が存在しない箇所では広く入力画像を、たとえば
第９図に示すように、短冊形の画像Ir₁,Ir₂,Ir₃…に分
割される。分割された短冊形画像信号はメモリ401に蓄
積され、たとえば２つの分割画像処理部42に入力され、
逐次並列処理される。

分割画像処理部42においては、エッジ検出器302ない
し前述の第７図に示した差分領域抽出器354によって、
前述の第２実施例で説明したように、輪郭抽出処理、垂
直方向分解処理，情報低減処理，平行移動処理，差分処
理，差分領域抽出処理，累積残差比較処理および画像選
択処理を行ない、差分累積残差を与える差分画像ブロッ
クが変調器39aに入力される。一方、左眼画像はそのま
ま変調器39bに入力される。変調器39a,39bは、それぞれ
差分画像ブロック信号および差眼信号を伝送路4a,4bの
仕様に適合するような信号形式および伝送速度に変換し
て伝送路4a,4bに送出する。

上述のごとく、この発明の第３実施例によれば、左画
像の水平分割の際にも入力画像の特徴に基づいて、たと
えば第９図の示すように、アダプティブに短冊形画像を
生成することができるので、後に続く垂直分割も合わせ
ると、異なる深度にある対象物を前述の第１および第２
実施例よりもさらに良好に分離することができる。

また、対象物が配置されていない画像領域では、画像
ブロックの大きさを大きくとれるので、画像全体のブロ
ック数の増加を防止できる。このように、前述の２点に
より、従来技術に比べて、立体画像の効果的な冗長度の
圧縮を達成できる。

第４実施例第10図はこの発明の第４実施例の概略ブロック図であ
る。

第10図において、送信部は前述の第８図と同様にして
構成されているのでその詳細な説明を省略し、受信部に
ついてのみ説明する。送信部から伝送路4a,4bを介して
平行移動量および差分画像ブロックが受信部に伝送され
る、復調器45aは送信部の変調器39aから伝送されてきた
平行移動量および差分画像ブロックを復調し、復調器45
bは変調器39bから伝送されてきた左眼画像信号を復調す
る。復調された平行移動量および差分画像ブロックは情
報分割器46によって４つに分割されてメモリ403,404に
蓄積され、逐次差分画像処理50に入力され、並列処理さ
れる。

差分画像処理部50では、入力された平行移動量を逆ベ
クトル発生器49に与え、差分画像ブロックを加算器47に
与える。加算器47は差分画像ブロックと復調された左眼
画像信号とを加算して、加算領域抽出器48に与える。加
算領域抽出器48は加算された領域のみを抽出して平行移
動処理器332に与える。

一方、逆ベクトル発生器49は入力された平行移動量に
基づいて、逆方向の平行移動量を出力して平行移動処理
332に与える。平行移動処理器332は逆ベクトル発生器49
から与えられた逆方向平行移動量に基づいて、加算領域
抽出器48によって抽出された加算領域の逆方向平行移動
処理を行なう。そして平行移動処理器332によって平行
移動された画像信号は画像合成器51に与えられ、他の差
分画像処理部50によって処理された画像信号と合成され
る。そして、合成された画像信号はD/A変換器52aによっ
てアナログ信号に変換され、立体表示装置８に与えられ
る。また、復調器45bによって復調された左眼画像信号
はD/A変換器52bによってアナログ信号に変換されて立体
表示装置８に与えられる。

それによって、立体表示装置８には、送信側の立体画
像が忠実に表示される。このように、立体画像の冗長度
を送信側で効果的に圧縮しかつ受信側で圧縮画像から原
画像（左眼画像および右眼画像）を忠実に再現すること
ができるので、臨陽感の溢れる画像を立体表示装置８に
表示することができる。

なお、上述の第３実施例では、説明の簡略化のため
に、左眼画像のそれ自体で有する冗長度に関しては圧縮
せず、そのまま受信部に送信しているが、A/D変換器28b
から出力される左眼画像信号について、その信号が分割
画像処理部42に入力された後でかつ変調器39bに入力さ
れる以前に左眼画像信号を冗長度圧縮部に与えて冗長度
を圧縮し、さらに復調器45bとD/A変換器52bとの間に左
眼画像信号再生部を備え、圧縮した左眼画像信号を再生
することにより、伝送路4bに伝送される画像の情報量を
適確に圧縮し、受信側で忠実に画像信号を再現できるこ
とは言うまでもない。

それによって、既に述べた右眼画像の左眼画像に対す
る冗長度圧縮および再生と合わせて、総合的に立体画像
の冗長度を圧縮再生することができる。

また、前述の左眼画像信号冗長度圧縮部および再生部
としては、従来からテレビジョン信号の圧縮，再生に用
いられる方法、たとえばDPCM（C.C.Cutler,“Different
ial Quantization of Communication Signals",U.S.Pat
ent No.2605361,July29,1952）を用いることで実現でき
る。

なお、上述の実施例では、いずれも一方向に画像を伝
送するものについてのみ説明したが、同一で構成された
ものを追加することにより、受信および送信を同時に行
なうことができ、双方向通信を実現できることは言うま
でもない。

また、上述の実施例は、通信を行なう際についての構
成を示したが、伝送路4a,4bに代えて、記録媒体および
その制御装置を構成要件として付加することにより、立
体画像の効果的な蓄積が可能となる。

［発明の効果］以上のように、この発明によれば、複数方向から見た
画像において、それぞれから見た対象物から重なったり
離れたりしているもののよく似た画像であることに注目
し、複数の画像のうち少なくとも１つの画像を基準画像
とし、他の画像を水平方向に帯状に分割し、分割した帯
状の画像の輪郭線に基づいて帯状の画像を垂直方向に分
割し、それぞれの画像の水平方向に水平移動させた位置
で基準画像との差分処理を行なうことにより、複数画像
間の共通の部分を効果的に除去して冗長度を圧縮するこ
とができる。さらに、冗長度の圧縮された差分画像ブロ
ックと平行移動量と基準画像とに基づいて、差分画像ブ
ロックと基準画像との加算画像を求め、圧縮時における
平行移動とは逆の加算画像を平行移動させて、再生画像
と基準画像とに基づいて立体画像を再生することによっ
て、臨場感に優れた立体画像を再現できる。

【図面の簡単な説明】

第１図はこの発明の第１実施例の全体の構成を示す概略
ブロック図である。第２図は第１図に示した分割処理部
の具体的なブロック図である。第3A図および第3B図はこ
の発明の第１実施例の動作を説明するための図である。
第４図は第２図に示したエッジ検出器の動作を説明する
ための図である。第５図は第２図に示した垂直方向画像
分割器の動作を説明するための図である。第６図は第２
図に示した平行移動処理器の動作を説明するための図で
ある。第７図はこの発明の第２実施例の概略ブロック図
である。第８図はこの発明の第３実施例の概略ブロック
図である。第９図は第３実施例の右眼画像の分割例を説
明するための図である。第10図はこの発明の第４実施例
の概略ブロック図である。第11図は従来の立体テレビ会
議の概略の構成を示すブロック図である。第12図，第13
図および第14図は従来の立体画像撮影系のモデルを説明
するための図である。図において、2aは右眼カメラ、2bは左眼カメラ、4a,4b
は伝送路、８は立体表示装置、28a,28bはA/D変換器、29
は画像水平方向分割器、30はエッジ検出器、31は画像垂
直方向分割器、32は平行移動量発生器、33,331,332は平
行移動処理器、341,342,343,344は差分器、351,352,35
3,354は差分領域抽出器、361,362,363は画像情報量計算
器、37は比較器、38はセレクタ、39a,39bは変調器、40,
401ないし404はメモリ、41は垂直分割処理部、42は分割
処理部、43は分割垂直線発生器、441ないし445は情報低
減フィルタ、45a,45bは復調器、46は情報分割器、47は
加算器、48は加算領域抽出器、49は逆ベクトル発生器、
50は差分画像処理部、51は画像合成器、52a,52bはD/A変
換器、100は分割水平線発生器を示す。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開昭61−206395（ＪＰ，Ａ) 特開昭61−144191（ＪＰ，Ａ)

Claims

(57)【特許請求の範囲】

【請求項１】同一対象物を複数方向から撮影した画像に
基づいて立体画像を伝送する際に、冗長度を圧縮するよ
うな立体画像の冗長度圧縮装置であって、前記複数方向から撮影した画像のうち、少なくとも１つ
の方向から撮影した画像を水平方向に帯状に分割する画
像水平分割手段、前記画像を水平分割手段によって分割された帯状の画像
の輪郭線を検出する輪郭線検出手段、前記輪郭線検出手段によって検出された輪郭線に基づい
て、帯状の画像を垂直方向に分割する画像垂直分割手
段、前記複数方向から撮影した画像のうちの残りの画像を基
準画像として、前記画像垂直分割手段によって垂直方向
に分割された各画像を水平方向に移動させる平行移動手
段、前記平行移動手段によって平行移動された各画像と前記
基準画像との差分画像を求める差分手段、前記差分手段によって求められた各差分画像の情報量を
比較し、最小の差分画像を求める比較手段、および前記比較手段によって求められた最小の差分画像に応じ
て、前記差分手段から出力された対応する平行移動量と
その差分画像ブロックを選択する選択手段を備えた、立
体画像の冗長度圧縮装置。
【請求項２】前記画像水平分割手段は、画像の特徴に基
づいて画像を水平方向に分割することを特徴とする、特
許請求の範囲第１項記載の立体画像の冗長度圧縮装置。
【請求項３】さらに、前記平行移動手段よる平行移動処
理の前に画像の分解能あるいは色調・階調数を減少させ
る手段を備えたことを特徴とする、特許請求の範囲第１
項記載の立体画像の冗長度圧縮装置。