JPS63198498A - 三次元ビデオ信号の送信方法およびその装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、奥行の情報を含むビデオ画像の送出に関し、
特にモノスコープ受信器との両立性を有するシステムに
関する。

〔従来の技術および解決しようとする問題点〕明析度が
比較的高い分野における最近の進歩にも拘らず、テレビ
ジョンは、ある程度の奥行の情報を送信することができ
るまでは、「世界の窓」ではあり得ない。立体的表示を
行なうため赤と緑のアナグリフ（ａｎａｇ１３’１）ｈ
）映像を送出する試みがなされたが、必要な眼鏡を持た
ない視聴者からの苦情をもたす結果となフだ。三次元（
３Ｄ）映像を送出しようとする試みは、明らかに、実施
に際して両立性を有するモノスコープ画像を送信しなけ
ればならない。

３Ｄ映像の再生の最も高品質の方法はホログラムにより
提供される。しかし、少なくとも部分的にコヒーレント
な光による情景の照明を必要とし、あるいはもし画像の
計数化が必要ならば、マイクロ波またはＸ−線（計数化
の方向に従って）を必要とするため、放送業者にとって
は実用性が小さい。もし例え画像の計数化の問題がある
形式の信号処理により克服することができようとも、１
００Ｇビツト／秒程度の「生の」ホログラムの現象的帯
域ｒｉＪは冗長度の除去、チャネル・コーディングおよ
び送信の大きな問題を提起することになろう。それにも
拘らず、表示としてホログラムを凌駕するものはなく、
他の方法により達成し得るものを通かに超えた実在感を
伝達する。

一方、ステレオスコープは、使用可能な光を用いて取扱
いが比較的簡単であり、冗長度の除去の試みが例えなさ
れなくとも、原画の帯域巾の僅かに２倍を要する過ぎな
い。また、帯域巾の低減を免かれない。従フて、ステレ
オスコープはスタジオと送信の双方の最も優れた選択で
ある。ステレオスコープが適さない場合はディスプレイ
においてであり、これはほとんどのシステムが偏光眼鏡
を必要とし、これがないと画像を見ることができないた
めである。

米国特許第３，６７４，９２１号は、モノスコープ信号
および異なる信号を送信することにより、ある縮小され
た帯域巾にわたっであるステレオスコープ信号を送信す
る方法について記載している。この０．５Ｍ１ｌｚの帯
域巾の差の信号は、２つのソース信号間の高い周波数差
から得られる。はとんどのステレオスコープ情報は、差
の信号の高い周波数領域に集中されるが、差の信号のこ
の部分のみを送信することによってさえ、ステレオスコ
ープの受信に必要とされない情報が送信され、これ以上
の帯域巾の縮小は困難である。

（問題点を解決するための手段） 本発明については、次に参照されるべき頭書の特許請求
の範囲において定義されている。

次に、図面に関して本発明の望ましい実施態様を例示と
して記載する。

（実施例） 本実施態様は、ＰＡＬテレビジョン方式に関して記述す
るが、本発明はＮＴＳＣｌＭ、Ａ、Ｃ，、またはディジ
タル手法のＴＶ方式の如き他の方式に対しても等しく適
用し得るものである。

送信器１０は、情景１２を視認するための２つのカメラ
、即ち番号１４を付したカメラ１と番号１６を付したカ
メラ２とを有する。カメラ１の出力は主画像即ちモノス
コープ画像として得られ、ＰＡＬエンコーダ１８および
送信回路りｎ＋、−８１，イｈｎテ＾わ一スーカメラ２
の出力は、回路２２においてカメラ１の出力と比較され
て、２つのカメラ出力間の差に関する情報を含む信号を
生じる。この差の情報は、変調器２４において副搬送波
において変調され、送信回路２０に対して加えられる。

送信器の出力は、このように送信リンク２８に対する入
力を形成する。

１つ以上のステレオスコープ受信器３ｏが受信回路３２
においてこの送信された信号を受取り、この回路が主Ｐ
ＡＬ符号化信号をＰＡＬデコーダ３４に対して加える。

副搬送波信号は復調器３６に対して送られ、この復調器
がこのように変更器３８に対して送信された差の情報を
生じる。変更器はＰＡＬデコーダ３４からのモノスコー
プ・ビデオ出力を受取り、差信号を用いてこれから送信
器側のカメラ２の出力を再生する。かの時得られるこの
２つのビデオ信号はそれぞれ、ステレオスコープ眼鏡を
掛けた視聴者４２により視認されるステレオスコープ・
ディスプレイ４゜の第１と第２のビデオ入力に対して加
えられる。

送信器側の回路２２は、弊英国特許出願第２，１８８，
５１０Ａ号に記載された形式の「運動」の検出器により
構成される。

回路２２のブロック図は第２図に示されている。

この回路は２つの段階において作動する。第１の段階で
は、第１図の左右のカメラ１および２からの入力が２つ
の並列のブロック構造のＦＦＴ（高速フーリエ変換）回
路４４に対して加えられる。これらの回路は、２つの入
力信号の輝度成分の２次元の高速フーリエ変換を計算す
る。

位相差計算回路４６が２つのブロック構造ＦＦ７回路の
出力を受取る。この回路４６の出力は単位長さベクトル
列であり、その位相角度は変換中の各空間周波数成分毎
の２つの画像における位相の差に等しい。

次いで、その結果得られる複合ベクトル列が更に別のブ
ロック構造ＦＦ７回路４８に対して加えられ、この回路
が前記ベクトルについて逆ＦＦＴを有効に行なう。その
結果生じる出力５０は、２つの画像間の相関面と対応す
る実数列である。探索回路５２がこの相関面におけるピ
ーク値を見出して、カメラ１と比較される如きカメラ２
の出力における情景の相対的な運動即ち相対的な奥行に
照して、２つの画像間の差に対応する１組の試行的な「
運動」即ち「奥行」のベクトル値■１乃至■。を生じる
。

第２段階は、各ピクセル（画素）毎のこれらの可能な各
ベクトルの試算、および最良の適合を生じるインペンタ
（１ｎｖａｎＬｏｒ）を割当てる。

左右の画像信号が１対の補償用遅延回路５４を通って、
これら信号を奥行のベクトルと再び同期させる。次いで
、左右の信号は、これもまたそれぞれ奥行のベクトル■
、乃至■。を受取る入力を有する一群の同じ回路に入る
。

これらの回路の各々において、右の画像信号はシフト画
像回路５６に対する入力であり、これが画像を各奥行ベ
クトルｖｉに比例する量だけシフトする。次いで、減算
器５８が、このシフトされた右の画像信号とシフトされ
ない左の画像信号との間の差をシフトされた右の画像信
号から左の画像信号を差引くことにより計算する。

各減算器の出力は変調器６０により変調され、次いで低
域フィルタ６２を通って奥行ベクトル■１乃至■。の結
果に対応する１組の誤差Ｅ、乃至Ｅｎを生じる。次いで
、マイクロプロセッサ６４が各画素毎の最も小さな誤差
を見出し、これが前記画素に対する前記誤差を生じた奥
行のベクトルを割当てる。

これらの演算は、全体的な画像について行なわれる必要
はない。画像をブロックに分割して、各ブロックについ
て個別に演算することが可能であり、各ブロックは典型
的には６４Ｘ　６４ピクセルとなる。

ステレオスコープ送信のための差信号を得るため用いら
れる時の回路２２の機能を更に詳細に説明するため、２
つのカメラの映像の２つの入力信号から得られる二次元
のｆａ牧フーリエ変換値Ｇ１およびＧ２について最初に
考察しなければならない。複合列Ｚは、下式を用いてＧ
１およびＧ２がら空間周波数（ｍ、ｎ）毎に計算される
。即ち、 位相の相関は、実数成分のみを持つことになるＺの逆フ
ーリエ変換によって与えられる。

その結果得られる位相の相関列は、その間の相対的な変
位量が（ｘ、ｙ）である時、ある特定の点（ｘ、ｙ）に
おけるその高さが如何によく２つの画像が相関するかに
比例する面と考えることができる。本例における２つの
平行状態にないカメラ入力の場合のように、２つの画像
間の単純なシフトの場合には、相関面はシフトのベクト
ルに集中するΔ関数となる。

この考えは、情景における主な奥行のベクトル毎にこの
面内にピークが存在するということである。これら奥行
のベクトルの測定は、前記而内の大きなピーク値を探す
ことを含む。ピーク値の相対的な高さは対象の相対的な
奥行を反映することになる。この方法の斬新な主特徴点
は、唯１つではなくいくつかのピーク値を求めることに
より、多くの奥行ベクトルを一回の演算で検出すること
を可能にすることである。

ビクセル以下の積度で奥行ベクトルを測定するためには
、相関面においである補間操作を行なうことが必要であ
る。

１つの情景に存在する奥行をできるだけ多く測定するた
めには、画像全体について相関操作を行なうのではなく
、画像をブロックに分割することが役立つ。これは、正
確に検出することができる個々のピークの数がブロック
毎に約３つのピークにノイズにより制限される故である
。更に、もし奥行のピークがフィールド周期毎に約１ビ
クセル以上に大きなシフト・ベクトルにより分割される
ならば、奥行のピークを解くことができるに過ぎない、
この手法が２つの画像における異なるブロックにある対
象物を相関付けることができない時、ブロックの大きさ
は予期される最も大きなシフトと比較して大きくなろう
。６４Ｘ６４ピクセルの大きさは好都合である。もし一
方において少数の最も顕著な奥行のベクトルを測定する
ことだけが必要ならば、画像全体もしくは少なくとも非
常に大きなブロックを変換することになろう。このブロ
ックへの分割は、奥行のベクトルを測定する目的のため
にのみ行なわわることを想起すべきであり、ベクトルは
依然としてビクセル毎に割当てられる。

この過程の第１段階は、情景に存在する１組の奥行のベ
クトルを生じるが、情景のどの部分が各奥行にあるかに
ついては全く判らない。第２の段階は、各ビクセル毎に
生じる各ベクトルを「試算する」こと、および最も良好
な［適合］を生じるベクトルを割当てることを含む。ブ
ロック毎の奥行の情報が要求される場合（例えば、ブロ
ックに基く帯域巾圧縮方式）には、各ビクセルに対して
ベクトルを割当てる必要はなく、またこの割当てはブロ
ック毎に行なわれることになる。

検出されたベクトル毎に、対象となる奥行のベクトルに
よりシフトを生じる時２つの入力画像間の係数の差を計
算することによフて「誤差の面」が形成される。良く整
合する２つの画像の領域が生じる誤差は小さく、これら
の領域はこの特定の奥行のベクトルを存する対象物と対
応すると考えるのが妥当である。ノイズの効果を減少す
るためには、誤差面に対するある種の空間フィルタ操作
を行なうことが望ましい。

もし奥行のベクトルがピクセル以下の精度まで測定され
るならば、誤差面の計算の際ある種の空間の補間操作を
用いる、ことが必要となろう。

最初の段階において測定された全ての奥行のベクトルが
一旦試算されると、各ビクセルは最も小さな誤差値を与
えた奥行のベクトルが割当てられる。受入れられる最大
誤差レベルを定義する閾値の誤差レベルを設定すること
ができよう。その誤差が各試算ベクトルによりこめレベ
ルを越えるビクセルは、「奥行は未知」として表示する
ことができょう。このようなビクセルは、おそらくは２
つのカメラの一方のみにより見出された辺縁部情報の領
域に対応することになろう。

全体ではなくブロック単位で入力画像を変換することに
より奥行のベクトルが測定されるならば、対象となるビ
クセルの近傍において測定されるベクトルを試算する価
値があるに過ぎない。ビクセルを含むブロックにおいて
測定されるベクトルを単に考察することによりこれらビ
クセルに割当てられる適正なベクトルをほとんどのビク
セルが持つことができる機会がある。理想的には、すぐ
周囲のブロック、特にブロック辺縁部付近のビクセルに
おいて測定されるベクトルが同様に試算されねばならな
い。

これは、ある対象物の小さな部分が２つのカメラの画像
に対して隣接するブロックにある場合において重要とな
る。

このように、主信号がモノスコープ・ビデオ信号として
送信される。差の情報は、奥行および辺縁部の情報から
なっている。ステレオスコープ信号の２つの画像は丁度
述べた詐りの如く関連付けられ、また本方法のベクトル
割当て機能は奥行の割当てとなる。前記弊米国特許出願
の運動検出器における隠れないバックグラウンドである
ところのものは、この時２つのカメラの一方だけにより
見出される辺縁部情報となる。

奥行および辺縁部の形態における差信号は、帯域［１］
の縮小に適している。この差信号は、フィルタおよびサ
ブサンプリングの形態、ならびに奥行と輝度の関数とし
ての非線形量子化の形態を取り得るが、これは奥行が増
加しかつ輝度レベルが低下するに伴って奥行の判断にお
ける人間の目の精度が減退するためである。差信号は、
データ・チャネルとして、あるいは例示したように更に
多くの従来の送信方式における副搬送波として符号化す
ることができる。

理想の状態においては、モノスコープ信号はある和の形
態となって差信号を補完する。

しかし、この試みは、常に左右の信号から補間される信
号を視認するモノスコープの視聴者を置き去りにするこ
とになるため、不適当であろう。この方法は、両立性の
あるモノスコープ信号としての元の左または右の信号の
一方を送信することよりも確かに受入れ難いことであろ
う。

ステレオスコープ信号は表示の目的のためには適当でな
い。しかし、ステレオ信号をモノ信号、奥行および辺縁
８ＩＳ信号として符号化することにより、表示の選択の
自由は残される。表示は、これを見るだめにはおそらく
眼鏡を必要としようが今日の技術を用いて実現し得るス
テレオスコープとなり得よう。ｉ後には、ディスプレイ
におけるコンピュータが実時間におけるホログラムを生
じるため必要な位相および振幅を計算することもできよ
う。このようなホログラムは、更に多くのカメラ、相関
手法および送信帯域巾を用いなければ、ラテラル（１ａ
ｔｅｒａｌ）ステレオスコープとなるに過ぎないが、通
常はこれで充分である筈である。

もしステレオスコープの垂直方向成分が必要であれば、
第３のカメラおよび別の相関操作が必要となろう。

このため、運動の追随のため生じる位相相関アルゴリズ
ムはステレオスコープ送信問題に対しても直接適合し得
ることが判る。従って、運動追従のため設計されたハー
ドウェアが等しく適合することになろう。これらの手法
を用いて、１つのデータ・チャネルもしくは副搬送波に
ステレオ情報を送出することによって、モノスコープ表
示方式と両立性のある信号を送信することができる。ス
テレオ情報は、今日ではステレオスゲラムに復号するこ
とができ、将来はホログラフ表示を選択することになろ
う− 上記の方法はまた、ロボットにおいて使用される遠隔検
出手法としても使用することができよう。危険な環境に
おけるロボットは、その周囲の景観をオペレータに対し
て中継するためしばしばステレオスコープ・テレビジョ
ンを使用している。本文に述べた手法は、ロボットから
対象物までの距離を知り表示するため使用することもで
き、またこのため、別のレーダーまたは超音波距離計の
必要を回避することになろう。システムの帯域巾もまた
減少されることになろう。

【図面の簡単な説明】

第１図は本発明を実体化した送信器および受信器を示す
ブロック図、および第２図は本発明の実施態様において
使用される「運動」の検出回路のブロック図である。 ＩＯ・・・送信器、１２・・・情景、１４・・・カメラ
１．１６・・・カメラ２．１８・・・ＰＡＬエンコーダ
、２０・・・送信回路、２２・・・運動検出回路、２４
・・・変調器、２８・・・送信リンク、３０・・・ステ
レオスコープ受信器、３２・・・受信回路、３４・・−
ＰＡＬデコーダ、３６・・・復調器、３８・・・変更器
、４０・・・ステレオスコープ・ディスプレイ、４２・
・・視聴者、４４・・・ブロック構造ＦＦＴ（高速フー
リエ変換）回路、４６−・・位相差計算回路、４８・・
・ブロック構造ＦＦＴ回路、５０・・・出力、５２−・
・探索回路、５４・・・補償用遅延回路、５６−・・シ
フト画像回路、５８・−減算器、６０−・・変調器、６
２・・・低域フィルタ。 基１図　　　　認信器ｆ０ 一一一一蜜リゾ２８　　　　　　　Ｊ ■ 登像酪と

Claims (1)

1. 【特許請求の範囲】 １、奥行の情報を含むビデオ画像を送信する方法であっ
   て、少なくとも２つのソースからのビデオ信号を提供す
   るステップを含み、該ビデオ信号が同じ情景の異なる表
   示から得られる方法において、第１のソースからのビデ
   オ信号を他の各ソースからのビデオ信号と相関させて奥
   行の情報を表わすベクトルと対応する複数のピーク相関
   値を決定し、複数の画像の基本的領域の各々についてこ
   れらベクトルのどれが画像の１つを他の画像から得る際
   最適の適合を生じるかをテストし、各画像領域を最適の
   適合を 生じる前記ベクトルに割当て、前記第１の ソースからのビデオ信号を送出し、各基本的領域につい
   て得られるベクトルを、前記第１の信号が奥行を含む表
   示を形成するためどの ような変更が必要かを表示する差の情報として送信する
   ステップからなることを特徴とする方法。 ２、前記第１のソースからのビデオ信号の他の各ソース
   からのビデオ信号との相関操作が、２つの信号の輝度成
   分の二次元の高速フーリエ変換を計算し、前記第１の信
   号における各周波数成分と１つの平行な信号における対
   応する周波数成分との間の位相差を計算して単位長さの
   ベクトルの複合配列を生じ、前記複合配列の逆の高速フ
   ーリエ変換を計算して２つの信号に対する位相の相関配
   列を生じるステップからなることを特徴とする特許請求
   の範囲第１項記載の方法。 ３、前記差の情報が副搬送波上で送出されることを特徴
   とする特許請求の範囲第１項または第２項に記載の方法
   。 ４、前記差の情報がディジタル・データ・チャネルで送
   出されることを特徴とする特許請求の範囲第１項または
   第２項に記載の方法。 ５、前記差の情報が、モノスコープ画像が少なくとも１
   つの第２の画像を形成して１つのステレオスコープ対の
   第２の画像を構成するためどのような変更を必要とする
   かを表示することを特徴とする特許請求の範囲第１項乃
   至第４項のいずれかに記載の方法。 ６、前記差の情報が辺縁部の情報を含むことを特徴とす
   る特許請求の範囲第１項乃至第５項のいずれかに記載の
   方法。 ７、前記差の情報が、画像の奥行および（または）輝度
   レベルに従って送出される情報を縮減することによる帯
   域巾の縮小を受けることを特徴とする特許請求の範囲第
   １項乃至第６項のいずれかに記載の方法。 ８、奥行の情報を含むビデオ画像を送出する装置であっ
   て、少なくとも２つのソースからビデオ信号を受取る入
   力装置を含み、該信号が各々同じ情景の異なる表示から
   得られる 装置において、第１のビデオ・ソースからのビデオ信号
   を他の各ソースからのビデオ信号と相関させて奥行の情
   報を表わすベクトルに対応する複数のピーク相関値を決
   定する装置と、画像の複数の基本的領域の各々について
   １つの画像を他の画像から得る際どのベク トルが最適な適合を生じるかをテストする 装置と、最適の適合を生じる前記ベクトル を各画像領域に割当てる装置と、前記第１ のソースからのビデオ信号を送出し、前記 第１の信号が奥行を含む１つの表示を形成 するためどのような変更が必要とされるかを表示する差
   の情報として前記ベクトルを送出する送信装置とを設け
   ることを特徴とする 装置。 ９、前記相関装置が、前記入力信号の輝度 成分の高速フーリエ変換を計算する装置と、前記第１の
   信号における各周波数成分と平行な信号における対応す
   る周波数成分との間の位相差を計算して単位長さのベク
   トルの複合配列を生じる装置と、該複合配列の逆の高速
   フーリエ変換を計算して前記２つの信号に 対する位相相関配列を生じる装置とからなることを特徴
   とする特許請求の範囲第８項記載の装置。 １０、奥行の仮想像を生じることができるディスプレイ
   と、前記の送出された第１のビデオ信号を受取りかつ該
   第１のビデオ信号が奥行を含む１つの表示を形成するた
   めどのよう に変更される必要があるかを示す前記の送 出された差の情報を受取る入力装置と、該 受取られた第１のビデオ信号を前記差の情 報により変更して第２のビデオ信号を形成 する装置と、該第１と第２のビデオ信号を 前記ディスプレイに対して加える装置とを 設けることを特徴とする特許請求の範囲 第１項記載の方法において用いられるビデオ受信器。 １１、前記ディスプレイがステレオスコープ・ディスプ
   レイであることを特徴とする特許請求の範囲第１０項記
   載の受信器。 １２、前記ディスプレイがホログラフ・ディスプレイで
   あることを特徴とする特許請求の範囲第１０項記載の受
   信器。 １３、奥行の情報をその周囲条件について得ることを特
   徴とする特許請求の範囲第１項記載の方法を用いる遠隔
   操作ロボット。