JPS6010564B2 - 立体テレビジヨンの奥行情報信号の形成方法 - Google Patents

Description

【発明の詳細な説明】 本発明は、三次元空間内におかれた物体までの距離を実
時間で計測して計測結果の電気信号を出力する距離測定
方法に関するものである。

従来、三次元空間におかれた物体までの距離情報を得る
には「大別して、（１）２方向からの糠像を行なって、
得られた左右または上下の２画像の視差量、すなわち、
２つの画像間で対応する像のずれ量を計測する方法、｛
２）物体に細い縞像を投写して、そこに生ずるモアレ‘
こより物体までの距離を計測する方法ト等があるがも■
の方法では、物体に縞像を投写しなければならないとい
う面倒があるうえに、物体の画像情報の伝送と併わせて
その物体までの距離の測定をする場合には、受信側で得
られた物体画像が不自然になる欠点があった。

また「‘１｝の方法には、従来から、特定の画像、例え
ば、自動車までの距離の計測に関する野崎武敏署「自動
車の安全走行のためのパターン認識技術」（「計測と制
御」誌、第１窃筆、第６号「第４７１〜４８２頁）の記
載のように、２つのテレビジョンカメラにより物体を撮
像した画像信号相互間のずれ量を計測し、その計測結果
から物体までの距離を求める方法があるが、この方法に
おいては、被写体を侍定して、コントラストが強く「か
つ「空間的に輝度変化が少なく、しかも「 ２撮像出力
画像間における対応点が見出しやすし、物体に限定する
必要があり、例えば、糠像出力信号の輝度レベルの一致
のみによって両画像間の対応点を見出そうとすると、上
述のような限定を行なわない一般の物体画像では「同一
輝度レベルの塚点が多数分布しているので、対応点を見
出すのが極めて困難であった。さらに、物体画像を構成
する各画素点における輝度変化の微分値を検出しトその
微分値によって対応点を見出すことも可能ではあるが、
かかる対応点の検出は一層困難であった。さらに、｛１
｝の方法によって立体テレビジョン画像を得ようとする
場合には、相対応する画像間のずれ量を画面の走査に対
応した極めて短い時間で二次元の画像上を連続的をみな
せる程度に微細に計測して、画像信号の伝送速度と一致
した速度で計測を行なう必要があるのに対して、従来知
られている‘１）の測定方法では、かかる高速の計測は
行なえなかつた。また〜｛１’の方法による距離測定に
関しては「特関昭５４−２５８６１号公報に記載のよう
に「 ２撮像出力画像間の対応点を求めるにあたり、一
方の撮像出力信号に種々の遅延時間を与えながら２撮像
出力信号相互間における相関の最大値を求めるものもあ
るが「その場合には、相関の最大値が求まるまで新たに
発生した撮像出力信号の受け入れを停止して相関の計算
を行なうことになり、したがって「距離測定の実時間処
理が困難となる。

さらに、テレビジョン画像における通常の被写体のよう
に多数の同一輝度レベルが分布している場合には〜各点
ごとの比較が必要となるため、上記公報に記載のような
方法によっては対応点が求め難い。．本発明の目的は、
上述した｛１１の方法に属するものではあるが、前述し
た従来の欠点はすべて除去し、三次元空間内におかれた
物体までの距離を〜その物体の画像情報を得ると同時に
、極めて短かい、例えば０．柵伍ｚ相当以上に短かし「
サンプリング周期にて、もしくは「連続して「実時間に
て計測し得るようにした距離測定方法を提供することに
ある。

本発明は、本願発明者の発明に係り「１個のテレビジョ
ン画像信号と、その画像信号の表わす画像における各画
素点‘こおける画像の奥行を表わす奥行信号とによって
両眼視差式立体画像信号を伝送し、立体画像を再生表示
し得るようにした、侍腰昭５２一９６６５１号明細書（
袴公昭５５−３６２４０号公報）に記載の「立体画像表
示装置」において、その再生画像に立体感を付与するに
必要な奥行をもたせるための上述した奥行信号の新規な
形成方法を提供するものであり、特に、奥行信号の形成
を利用してテレビジョンカメラ等の自動焦点調節をも行
ない得るようにしたものである。

本発明の原理とするところは、距離測定の対象とする物
体を、それぞれの指向方向を相対的に固定した２台のテ
レビジョンカメラにより互いに異なる２方向から撮像し
たときに、それぞれのカメラの撮像出力画面上における
対象物体の位置が、撮像位置から対象物体までの距離に
応じて相違することを利用し、それぞれの撮像出力画面
上における対象物体像の位置の相違を、同期して画面走
査を行なっている２台のテレビジョンカメラにおける走
査時間軸上の時間差に変換し、その時間差をさらに電気
信号に変換して取り出すことにあるが、本発明は、その
変換されるべき時間差が、極めて短かし、周期にて、も
しくは、連続して得られるように適切に構成したもので
ある。

すなわち、本発明距離測定方法は、対象物体を２方向か
らテレビジョン撮像して得られたそれぞれの撮像出力信
号を互いに独立した２個のそれぞれ同一複数段からなり
、テレビジョン走査の１走査線を構成する画素数に比し
て所要の小さい数の画素情報に対応する信号をシフトし
ながら収納することを可能とするタップ付シフト型メモ
リ素子にそれぞれ導き、少なくとも前記撮像出口信号の
うちの一方は前記タップ付シフト型メモリ素子中を継続
してシフトするように構成し、他方のシフト型メモリ素
子の各々タップから並列に取出す撮像出力信号を前記一
方のシフト型メモリ素子の各タップから並列に取出す糠
像出力信号に対して遅延させるとともに、その遅延量を
逐次増大させて更新しながら、前記各タップから取り出
した梅糠像出力信号相互間において信号波形がほぼ一致
するまで遅延量更新の都度信号波形の比較を繰り返し行
ない、信号波形がほぼ一致するに到ったときまでに増大
させた遅延量に基づいて撮像点から前記対象物体までの
距離を導出し、その距離の導出後引き続き、前記それぞ
れの撮像出力信号に基づいて前記糠像点から前記対象物
体までの距離の導出を反覆行うことにより、テレビジョ
ン画面上の−走査線上に位置する順次の離散点ごとに導
出し得られた前記撮像点から前記対象物体までの距離を
もって、テレビジョン画面の各画素点ごとに実時間で得
られる奥行情報信号としたことを特徴とするものである
。

なお、本発明の実施にあたっては、上述した撮像出力信
号を遅延させるための遅延手段としてはタップ付シフト
型メモリ素子列を用い、また「信号波形の比較にはそれ
らの信号波形を量子化したうえで演算回路を用いるのが
好適である。

以下に図面を参照して、実施例につき、本発明を詳細に
説明する。

本発明距離測定方法の実施にあたって使用する装置の基
本的構成としてはｈ空間的に互に平行もしくは垂直に配
置した２個のメモリ素子列の相互間に、それらのメモリ
素子列における順次の各メモリ素子間のメモリ内容の比
較を行なうように適切に構成した演算回路を配置し、対
象物体を２方向から撮像した２台のテレビジョンカメラ
の撮像出力信号の一方を一方のメモリ素子列にその一端
か劫項次に供給するとともに、他方のメモリ素子列には
、上述したのと対応する側の一端から、他方の撮像出力
信号を前記一方の撮像出力信号とは、撮像画面上におい
て空間的に、すなわち、走査時間軸上においては時間的
にずらしながら順次に供Ｖ給し「 それら２個のメモリ
素子列における順次の各メモリ素子のメモリ内容が本質
的に一致したときに、上述した演算回路の演算出力が最
大もしくは最小の特異値を示すような構成とし、その最
大演算出力もしくは最小演算出力を生じたときの緑像出
力信号間における上述した相対的なずれの量を電気信号
に変換して取り出すようにする。

なお、上述したメモリ素子列における各メモリ素子は滋
嫁画面の各画素に対応するものであるから、メモリ素子
列における素子数をある程度大きくすることにより、２
個の撮像出力信号間において対応する画像信号波形の一
致を求める際の信号波形の比較範囲がある程度広くなる
ので、信号波形の比較に誤りが少なくなり、誤りのない
対応像を求め得ることになるが、その反面、素子数が大
き過ぎると１回の距離測定に要する時間が増大し、測定
頻度が低下して、得られる奥行信号の精細度が劣化する
ことになるので、上述したメモリ素子列の素子数は、本
発明距離測定方法の使用目的に応じて適切に設定する必
要がある。すなわち、本発明距離測定方法はし対象物体
を２方向からテレビジョン撮像して得られたそれぞれの
滋綾出力信号を互いに独立した２個のタップ付ッフト型
メモリ素子にそれぞれ導き、一方の撮像出力信号を他方
の撮像出力信号に対して遅延させるとともに、その遅延
量を逐次増大させて更新しながら、両信号相互間におい
て信号の波形がほぼ一致するまで遅延量更新の都度波形
の比較を繰り返し行ない、波形がほぼ一致するに到った
ときまでに増大させた遅延量に基づいて糠像点から前記
対象物体までの距離を導出するようにしたことを特徴と
するものである。また、上述したような各構成要素の空
間的配贋により、メモリ素子列間におけるメモリ内容の
演算を並列に行なって、通常の時系列的演算に比し極め
て高速の演算を行ない得るので「 ２個の撮像出力画面
における対応画像点の検出を極めて短時間に行なうこと
ができ「 したがって、上述した本発明による距離測定
を「テレビジョン画像面の走査に対応して、画面上にお
ける各標本点毎に実時間で行なうことが可能となり、撮
像出力画像信号の時系列的伝送に対応した速度で、各画
素点の奥行信号を伝送し、立体テレビジョン画像信号を
実時間で構成して伝送することが可能となる。

まず、本発明距離測定方法に使用する２台のテレビジョ
ンカメラの配置を第１図に示す。第１図の配置において
は、２台のテレビジョンカメラ亀および５を撮像対象と
する三次元空間における基準点、例えば実質的最遠距離
にある同一点がそれぞれの撮像画面の中央に位置するよ
うにしてそれぞれのカメラの指向方向を設定したうえで
それらのカメラ４，５の相対的指向方向「すなわち〜そ
れらのカメラ４，５の指向方向の挟角を固定し、それら
のカメラ４，５により実際に撮像を行なう際には、何れ
か一方のカメラ、好ましくは被写体画像の水平走査方向
において先行する側のカメラ〜すなわち、第１図におい
ては左側に配置したカメラ４を実際に撮像出力画像信号
を取り出す主力メラとし、右側のカメラ５を奥行信号を
形成するための副カメラとして、上述したように双方の
カメラ４，５の相対対位置を固定したまま、主力メラ４
を軸にしてこれら２台のカメラ４，５の指向方向の回転
すなわち、いわゆるパンおよびチルトの操作を行なうよ
うにする。第１図示の配置において、テレビジョンカメ
ラ４７５の指向方向を、上述したような基準の被写体位
置１に設定して双方のカメラの指向方向の挟角を固定し
た状態で、被写体位置１より近い距離にある他の被写体
２，３を撮像したときには、左側および右側にそれぞれ
配置した２台のカメラ４および５のそれぞれの猿像出力
信号「すなわち、左視線テレビジョン信号１０および右
視線テレビジョン信号１１における同一信号波形の走査
線時間軸上の位置には、双方のカメラ４，５の被写体２
，３に対する視角の相違に対応した時間的ずれが生ずる
が、上述したように、被写体画像の水平走査において先
行する右側副カメラ５の撮像出力信号としての右視線テ
レビジョン信号１！における特定の画像信号波形に対し
て、左側主力メラ４の磯像出力たる左視線テレビジョン
信号１０の同一画像信号波形は、上述した視角の差すな
わち視差に対応した遅れ時間の相違はあるが、つねに時
間遅れを有している。

本発明距離測定方法においては、上述した左右の各視線
テレビジョン信号を、第３図に示すように構成した本発
明方式による距離測定装置における視差検出回路９に供
給する。

この視差検出回路９は、前述したように空間的に互いに
平行にもしくは垂直に配置した２個のメモリ素子列の一
方に「上述の各視線テレビジョン信号中の一方の信号波
形を−定期間空間的配列の信号に変換して記憶させると
ともに〜上述した２個のメモリ素子列の他方に、他方の
信号波形の空間的配列位置を少しずつずらしながらすな
わちシフトしながら記憶させるがｔその際「前述したよ
うに「被写体画像の水平走査において先行する右側副カ
メラ５からの右視線テレビジョン信号貴１に対し、つね
に時間遅れを有する左側主力メラ亀からの左視線テレビ
ジョン信号１０の方の空間的配列位置をずらすようにす
る。上述した２個のメモリ素子列にそれぞれ空間的に配
列した各信号波形相互間の一致・不一致を検出する演算
回路を配置して、それら両信号波形が最もよく一致した
ときに最大もしくは最小の検知出力信号が得られるよう
にするが、本発明測定方法において測定対象の距離に対
応する両視線テレビジョン信号相互間の時間遅れは、主
都両カメラ４，５からの撮像出力画像信号を硯差検出回
路９にそれぞれそのまま実時間で遅れなしに供給し「基
準として先行する副カメラ５からの右視線信号亀 １を
供ｖ給した方のメモリ素子列における各素子に当該右視
線信号１１の特定信号波形の書込みが完了した瞬間から
、同じ特定信号波形が遅れて発生する主力メラ４からの
左視線信号１０を供Ｖ給した方のメモリ素子列中を順次
に転送される当該特定信号波形の空間的配列が右視線信
号１１における特定信号波形の空間的配列と一致して、
上述した最大値もしくは最小値が検出された瞬間までの
時間長をもって計測する。

かかる時間長により計測した両視線信号中の同一画像信
号の時間的ずれがそれぞれの撮像画面における同一特定
画像の位置ずれ、すなわち「特定対象被写体に対する主
動両カメラ４，５の視差に対応する当該被写体までの距
離を表わすことになる。すなわち、主副両カメラ４，５
間の視差が立体画像情報を表わす被写体の奥行き、すな
わち、被写体までの距離に比例するので、上述した特定
画像信号波形相互間にずれ時間に相当する電気信号が撮
像位置から対象物体までの距離を示すことになる。かか
る本発明距離測定方法の根幹をなす視差検出回路９の構
成例を第２図に示す。

第２図示の構成におけるそれぞれＮ個のメモリ素子１６
および１８は、それぞれ上述したように空間的に配置し
た２個のメモリ素子列を構成するものであり、例えば〜
いわゆる電荷結合素子（ＣＣＤ）を用いろを好適とする
電荷転送素子列をもって構成する。

それらのメモリ素子列における各メモリ素子１６および
１８を順次に演算素子Ｉｙをこそれぞれ接続して「順次
に相対応する各メモリ素子１６，１８相互間における記
憶内容信号レベルの比較をする演算を行なわせ、瓶次の
演算素子１７の各演算出力を加算素子１９にそれぞれ供
給してそれら演算出力を積分する。しかして、これら２
個のメモリ素子１６および富８、すなわち、電荷転送素
子列１６，１８には、それぞれ、前述したように、右側
に配置した副カメラ５からの右視線テレビジョン信号１
１および左側に配置した主力メラ４からの左視線テレビ
ジョン信号１０を供給する。

これらの電荷転送素子列１６および１８における電荷転
送を駆動するクロツク信号は、左視線信号１０を転送す
る電荷転送素子列１８については、第３図示の構成にお
いて一定の発振周波数Ｆを有する発振器２２から供野合
する発振出力のクロック信号１３とし、また「右視線信
号１ １を転送する電荷転送素子列１６については、上
述した発振器２２から供給する上述と同一発振周波数Ｆ
を有するクロック信号ではあるが、電荷転送素子列１６
，１８の素子数Ｎを周波数Ｆにより除した値に相当する
時間長、すなわち、周波数Ｆのクロック信号による１素
子分の転送による遅れ時間１／Ｆを素子数のＮ倍した、
鰭荷転送素子列全体の遅れ時間、換言すれば、素子数Ｎ
の電荷転送素子列に信号の書込みを完了するまでの書込
み期間においてはオンとなり、その書込み期間終了の時
点から、前述した硯差検知信号の最大値もしくは最小値
を限界値とする第３図示の閥値回路２０１こ閥値検出出
力信号が現われるまでオフとなるクロツク信号１２とす
る。すなわち、電荷転送素子列１６および１８には、そ
れぞれ右視線信号１１および左視線信号１０を同時に実
時間でそれぞれの一端から順次に供給し始めて、それぞ
れの転送素子列中を同一クロック周波数で順次に転送す
るが、基準とする右視線信号１１中における対象物体を
表わす特定の画像信号波形部分を書き込み終えると、電
荷転送素子列１６に対するクロツク信号１２の因加を停
止して、その素子列中における電荷転送を停止して、当
該画像信号波形を書込み完了の状態に固定し、他方の電
荷転送素子列１８にはクロツク信号１３を継続して印加
することにより、継続して電荷の転送を行なわせ、左視
線信号１■中に基準の右視線信号１１中におけるより硯
差に相当する時間だけ遅れて現われる特定画像信号波形
が、転送素子列１８中に書込まれるまで、その電荷転送
を継続し、双方の電荷転送素子列１６，１８中に書込ま
れた画像信号波形が一致したときに、各演算素子１７の
演算出力を積分した加算素子１９からの一致検出信号が
最大もしくは最小となるまでのクロック信号】３のパル
ス数を計数して、上述した遅れ時間を計測する。すなわ
ち、第３図示の構成における視差検出回路９の信号波形
一致検出出力信号を閥値回路２０１こ供給して所定の限
界値を超えたときに発生する閥値検出出力信号を転送制
御回路２１に印加して、発振器２２からの周波数Ｆのク
ロツク信号を通過させ、前述したクロツク信号１２とし
て転送素子列１６にこれを供給する、闇値回路２０は視
差検出回路９中の加算素子１９の加算出力信号１５が所
定の限界値に達したときに出力信号を発生させる。また
、視差出力回路２３においては、転送素子列１６に対す
るクロック信号１２の印加が停止される時刻、すなわち
、前述した右視線信号１１中の特定画像信号波形書込み
期間の終了時点から、闇値回路２０から波形一致検知出
力信号が印加されるまでの時間長に相当するレベルの電
気信号に変換して本発明方法による測定出力信号を形成
し、視差量測定出力信号とする。この視差出力回路２３
は、例えば鋸歯状波形を用いてクロックパルス列が印加
される時間長を信号レベルに変換するように構成するこ
ともでき、また、その時間長の期間における電荷転送用
クロツク信号１３のパルス数を計数し、その計数結果を
アナログ信号に変換するように構成することもできる。
なお、転送制御信号発生器２５は、各電荷転送素子列１
６，１８の素子数に応じて、上述した画像信号波形の書
込み開始、クロック信号亀２の供給停止時のタイミング
を制御する。視差検出回路９における電荷転送素子列１
６およびｉ８はタップ付電荷結合素子（ＣＣＤ）列とす
る。

また、各演算素子ＩＴは、相対応する左右各視線信号電
荷の電位ｅし（ｔ）とｅＲ（ｔ）との差を自乗するよう
に構成することもでき、またト単にそれらの電位ｅＬ（
ｔ）とｅＲ（ｔ）との積を取出すように構成することも
できるが「前者は加算素子１９により最小自乗誤差の演
算を行なうためのものであり、後者は相関関数の最大値
を求める演算を行なうためのものである。なお、電荷結
合素子（ＣＣＤ）についてはトディジタル信号を取扱う
場合には〜ディジタル型電荷結合素子に対しても同様の
演算素子１７を用いることができ、また、これらの電荷
転送素子亀６，１８および演算素子群亀＾ １９を一体
の集積回路に構成してＣＣＤ演算回路を形成することも
できる。

本発明距離測定方法の実施にあたってはｔ第母図および
第５図に示すようにト左視線テレビジョソ信号１０６Ｌ
（ｔ）および右視線テレビジョン信号１１ｅＲ（ｔ）に
対して、視差検出回路９の検出出力信号１５Ｖ（ヶ）は
、演算素子１７による演算を■により表わすと、Ｖ（７
）＝ｔ＋９，△ｔ ｔ＝ｔ。

ｅしくら）■・ｅＲ（ｔ。十丁）となる。

ここに、↑は時間ｔ＝ｔｏからのずれ時間を表わし、し
‘ま転送制御信号発生器２５からの転送制御信号２４に
より右視線信号１０の転送を駆動するクロック信号１２
をオフとして電荷転送素子列１６中の電荷転送を停止し
た基準の時刻であり〜 Ｎは各電荷転送素子列１６，１
８における素子数であり、△ｔは転送駆動用クロック信
号１２および１３のクロツク周期、すなわち１／Ｆであ
る。そこで〜演算素子ｉ７による演算を上述した自乗誤
差演算とすればへｔ＋Ｎ，△ｔ Ｖ（丁）＝ Ｚ ｔ〒ｔ。

｛ｅＬ（ｔ。）一ｅＲ（し十イ）｝２となり、関値回
路２Ｑ‘こより最小値０もしくは０に近い一定値を閥値
とすると、闇値回路２０の出力は左視線信号ｅＬ（ｔ）
と右視線信号ｅＲ（ｔ）との信号波形が一致もしくはほ
ぼ一致したときの時刻に形成され「その閥値出力信号に
より、視差出力回路２３の出力信号は左視線信号ｅＬ（
ｔ）と右視線信号ｅＲ（ｔ）との平均値ずれ時間〜すな
わち、緑像出力画面における対象物体画像の位置ずれの
量を測定出力信号として取出す作用効果を有する。また
も演算素子１７による演算を上述した相関関数演算とす
れば「ｔ十Ｎ，△ｔ ｙ（７）＝ Ｚ ｔ二ｔ。

８Ｌ（ら）ＸｅＲ（ｔ。

十す）となり、一種の相関関数出力を示すことになる。

なお「 この場合にはｔ最大値が１となるように加算素
子貴９を設定しておきも閥値回路２８１こおける閥値を
１もしくは１に近い値に設定しておけば「硯差出力回路
２３の出力信号は〜左視線信号乱（ｔ）と右視線信号ｅ
Ｒ（ｔ）との相関が最大「すなわち「前述と同様に特定
画像信号波形が一致したときに形成され、視差出力回路
２３の出力信号は、前述と同様に、当該画像信号波形の
ずれ豊を測定出力信号として敬出す作用効果を有する。
なお、上述した各演算においては「取扱う信号に付随す
るノイズは、自乗誤差演算「相関関数演算のいずれにお
いても、演算結果に対しては積分もしくは平均化されて
零として作用し、何らの影響も生じない。

また、硯差検出回路９の構成に関しては、加算素子亀９
に供孫給する加算入力信号に重みづけをすることも可能
であり、例えば、各演算素子１７の初めと終りのものに
は小さく〜中間のものには大きくした重みづけをするこ
とにより、左視線信号角０と右視線信号１１との一致検
出度を向上させることができる。

さらに〜視差に関するつぎのような幾何学的性質から距
離の変化が左右の視線を合致乃至交差させた前述の基準
の距離に比べてあまり大きくない場合には、上述した視
差検出出力信号は対象物体までの距離に比例した値とな
る。

すなわち、硯差検出出力信号：Ｖ（７）左右視線信号相
互間の遅れ時間：△↑ 左右撮像出力画面における対象物体の視差：△ａ対象物
体の基準距離からの距離差：△○ 基準距離三Ｄ 主副両カメラの中心軸の間隔：ａ とすると、 ａ．△Ｄ Ｖ（す）戊△？ Ｋ△８戊△Ｄ戊ｔｆ＋Ｄ．△Ｄなる
比例関係が成立する。

また、対象物体に関する奥行弁別の精度は「左右視線信
号間における特定画像のずれ量の測定精度によって決ま
り、その画像のずれ量の測定精度には画像に対する競像
力等も含まれるが、上述した本発明方法による距離測定
装置においてその測定精度を主として左右するのは各電
荷転送素子の分解館である。

すなわち「まず、対象物体の両視線信号相互間における
画像信号波形の一致検出に誤差を生じないようにするた
めには「電荷転送素子列における素子数を大きくして書
込み期間を長くし「比較対照する信号波形の範囲を広く
する方がよいが「一方、奥行変化の検出に必要なサンプ
ル抽出の頻度を、視覚特性上からして、０．紬位ｚ程度
とし、したがって上述の書込み期間長を狭くして３．３
山ｓｅｃ〆２周期の程度とするのが好適である。したが
って、周波数帯城山ＭＨｚの映像信号を転送するに必要
なクロック信号の周波数Ｆは、サンプル定理からして、
１加ＭＨｚ程度とする必要があり、これに対応して、電
荷転送素子列の素子数Ｎは書込み期間ＸＦであるから１
７素子程度となりｔかかる素子数の転送素子列によって
検出し得る画像信号波形のずれ量は１′１０ＭＨｚ＝０
．１山Ｓｅｃ程度の精度で測定することができ、画像信
号転送のクロツク周波数Ｆをさらに高くすれば、その画
像信号波形のずれ量測定の精度は１′ＦＭＨｚの割合し
・でよくはなるが、転送素子列の素子数はそれだけ増大
する。 なお、上述した第２図示の構成例においては、
２個の画像信号波形の一致する時刻の検出にそれら画像
信号のレベル比較を行なった演算出力信号のレベル検出
を用いたが、各クロックにおける演算出力と１クロック
後の演算出力とのレベルの増減を判断することにより、
相関関数の演算について、例えば１クロツク後に演算出
力レベルが低減したときにはト１クロック前に極大値と
なったと判定し、その時刻を画像信号波形一致の時刻と
して測定出力信号を取出すようにすることもでき、かか
る一致検出によれば、絶対的な閥値しベルを設定する必
要がなくなるので、一層正確な測定結果が得られる。つ
ぎに、上述した実施例においては、左右の各視線テレビ
ジョン信号１０および１１を主劉各カメラ４および５に
より形成したが「その際、撮像対象の三次元空間におけ
る最遠距離にある物体１を２個のカメラが指向すること
にし、例えば風景を撮像する場合には、両カメラの指向
方向、すなわち「視線をほぼ平行にする。

これに対して、最近距離にある物体２による撮像出力画
像の位置ずれ、すなわち、時間のずれを、基準とする副
カメラ撮像出力の右視線信号１１に対する転送駆動用ク
ロツク信号１２の停止期間の最大値とする。しかるとき
は、中間の距離にある物体３による撮像出力画像のずれ
量に関しては、必ず〜主力メラ４による左視線テレビジ
ョン信号１０の方が、副カメラ５による右視線テレビジ
ョン信号１１より、上述の最大値以内のずれ時間で遅れ
た画像信号波形を生ずる。したがって、視差出力回路２
３からの視差出力信号は、最遠距離の物体１に対する値
を０として、それより近い距離の物体ほど大きいレベル
の視差出力信号が得られることになる。上述とは反対に
〜穣像対象の三次元空間における最近距離の物体２に主
畠。両カメラの視線を合わせた場合には、左右各視線テ
レビジョン信号鷲８７ 亀１をト上述した状態とは入れ
換えることになりトこの場合の視差出力信号は「最近距
離の物体２に対する値が０となり、それより遠い距離の
物体ほど大きいレベルの視差出力信号が得られることに
なる。また、書込み期間の長さによってはｔ鰻像画面に
おける一定の範囲の長さの物体に対する画像信号波形が
電荷転送素子列寛Ｓ，亀協こ書込まれることになるが、
その一定の長さの範囲内に遠近２様の距離を有する対象
物体が存在する場合には、視差検出回路９における演算
結果として得られる画像信号波形の相関値には、それら
２個の対象物体のそれぞれに対する位置乃至時間のずれ
量に応じた２個の極値が得られることになるがトその際
、近い物体が遠い物体に重なっているとして考えれば、
近い方の距離情報を優先させて検出すればよいのである
から、主動両カメラ亀，蚤の視線を最近距離の物体に合
わせて「左右両視線信号官凡 貴１を上述した場合とは
入れ換えて視差検出回路９に供給すれば「近い物体まで
の距離に対応する極値を最初に検出することになっても
その近い物体に対する距離情報の方が先に得られる。

以上に述べた撮像対象三次元空間における奥行距離の測
定、すなわち、硯差の検出は、主賓は両カメラ４， 馬
の撮像出力としての左右両視線テレビジョン信号亀Ｑ，
軍曹‘こおける各標本時点で実時間に行なわれるのであ
るから、視差出力信号２覇を平滑化して連続したアナロ
グ信号に変換しも標本時点の間隔や各標本時点において
信号波形の比較を行なう信号浸すなわち画素数によって
相違するが適切な周波数帯域幅を有する立体視用補助信
号として「複合カラーテレビジョン信号における搬送色
信号と全く同様にも主力メラ亀からの渡像出力映像信号
に多重して複合立体テレビジョン信号を構成して伝送す
れば「三次元映像信号を伝送することが容易に可能とな
りも映像信号とこれに付随する奥行信号との対応につい
てはｔ基準とする副カメラ５からの右視線信号軍川こ対
して電荷転送素子列中における転送期間Ｎノ肝だけ遅れ
てはいるが、停止して中断することのない主力メラ亀か
らの左側視線信号１鰭を順次に敬出した映像信号１４と
、前述したようにして形成した視差出力信号としての奥
行信号とを重ね合わせるようにすれば、完全に一致する
こひこなる。なお、撮像対象空間における特定の対象物
体と周囲との輝度が一様であって見掛け上特定対象物体
の距離が不明の場合には、一般に奥行きに変化があると
きには輝度に変化が生ずるのであるからトその直前の標
本点における奥行信号と同一の奥行信号が得られたもの
として補間するようにすることができる。また「上述し
たような複合立体テレビジョン信号を形成するについて
はも主な画像情報を構成する左視線信号を得る主力メラ
４には通常の糠像カメラを使用しｔ本発明方法による硯
差検出を行なう際に時間基準信号を得るための副カメラ
Ｓ‘こは「適切な狭帯域の奥行信号を形成するに足る程
度の小型簡易なテレビジョンカメラを使用し「 こ軟を
所要の視差角度をもつて主力メラに固定して一体に構成
するようにすることをできる。

ここでも以上に述べた本発明距離測定方法におげる視差
検出の過程をも簾＆図および第５図に示す左右各視線信
号の信号波形勺並びにも第１表に示す〜電荷転送素子列
における順次の画素信号の推移の態様について具体的に
説明しておく。

第亀図の上段には、左視線信号員Ｑおよび右視線信号官
富貴こついて〜 Ｘ水平走査期間（ＩＨ）における任意
の簾本点において電荷転送素子列翼鮫および首鰍こ供給
する信号波形ａ？ａ‘；Ｐ，対およびｃ，ｃｒの視差に
基づく相互間の時間差の列を示し信号波形ａ，ａは基準
とした最遠距離にある物体川こ対応する笹のでありも両
信号波形ａ，ａ′間には時間塞がなくトまた、信号波形
ｂ，ｂ′は最近距離にある物体２に対応するものであり
し両信号波形ｂ９り′間には最大の視差に基づく最大の
時間差があり「さらにＬ信号波形ｃ，ｃ’は中間距離に
ある物体３蔓こ対応するものでありも両信号波形ｃ，ｃ
す間には中程度の時間差がある。したがってＬかかる信
号波形相互間の時間差に対応して「電荷転送素子列１６
に印加する電荷転送駆動用タロックパルス首２の供繋合
および停止を行なう転送期間および停止期間の各時間長
は、第４図の中段に示すように「ともに所定の転送期間
と信号波形ａ，ａ‘については休止期間零となり「 ま
た、信号波形ｂ，ｂ’‘こついてはト休止期間最大とな
り「 さらに「信号波形ｃ，ｃ′については休止期間中
程度となる。かかる休止期間の時間長の相違に対応して
「視差検出回路９から得られる相関出力パルスの遅れ時
間幅および視差出力回路３２から得うれる視差出力積分
信号の信号レベルは〜第４図の下段にそれぞれ示すよう
に「信号波形ａ，ａｉｌこついてはともに零となり、ま
た、信号波形ｂｓ ｂ′についてはともに最大となり、
さらに〜信号波形ｃ？ｃ′についてはともに中程度とな
って、いずれも対象物体に対する主副両カメラの視差、
すなわち、それら対象物体までの距離に対応した値とな
る。第４図の上段に示したと同様の左右両視線テレビジ
ョン信号亀０７ 富亀の信号波形ａ？すさめ，財；ｃ，
ｃ′を「それぞれ物体軍，２，３に対応させ、かつ「順
次の画素点に対応するクロック信号の時間鞍上に拡大し
て、第６図に示し「それらの左右両視線信号ｇ蟹および
首亀をそれぞれ供給した電荷転送素子列亀登および１奪
１こおける各画素信号電荷の順次の転送の態様の例を「
順次のクロックパルスの番号つまりこの場合映像信号の
アドレス番号をもって各画素信号電荷の移動を表わして
「第１表に示す。第１表においては、両電荷転送素子列
】８および軍６１こおける転送素子数を５個とし「それ
ぞれの素子列に、アドレス番号１の画素信号電荷から始
めて、順次の画素信号電荷をそれぞれの転送素子列の左
端から順次に転送するものとして「それぞれの電荷転送
素子列亀登および亀６における順次の画素信号電荷の、
クロック信号？２の供給、停止およびクロツク信号亀３
の連続供ｖ給にそれぞれ対応した移動の態様を、それぞ
れの画素信号電荷をアドレス番号で表わして、第１表の
上段から下段に向いも時間の経過とともに示してある。

この表では「アドレス番号３畝）らの分を示しており、
アドレス番号の○印は閥値判定時において第５図に対応
した信号が一定レベル以上の場合を示す。また、〔閥値
判定〕欄の○印はそのタイミングで閥値判定を行なうこ
とを示し、５回の転送後および転送停止期間に電荷転送
素子列１８および１６の各対応素子中の信号電荷の比較
による閥値判定が行なわれて、両素子列中の信号電荷の
配列などが最もよく合致したタイミングで視差の検出が
なされる。。すなわち、第５図には、約１水平走査（Ｉ
Ｈ）期間における約８０クロック分の右視線信号１１お
よび左視線信号亀０の信号波形を示すが、最遠距離にあ
る物体１に対応した信号波形ａ′，ａ間には時間差がな
く「中間距離にある物体３に対応した信号波形ｃ′，ｃ
間には３クロツク分の時間差がありも最近距離にある物
体２に対応した信号波形ｂ′ｂ間には最大４クロック分
の時間差がある。

対象物体までの距離に応じた視差に相当するかかる時間
差を有する左右両視線信号ＩＤ，貴君をそれぞれ電荷転
送素子列蔓８および亀６の左端から順次に転送した状態
を示す第１表においては、電荷転送素子列亀６および亀
８８こは、アドレス３６〜４０で示す５クロック分の画
素信号電荷を瓶次に右に転送し終えた時点の状態を示す
最上段からｔｌクロツク経過する毎に右に転送される画
素アドレスの状態を、縦次に下段に示してあり、連続し
たクロック信号翼３の供給に応じて各段１クロック分ず
つアドレスの配列が右に移動している。しかし〜時間の
基準とする右視線信号竃 １を供給した電荷転送素子列
亀針こついては、アドレス４０〜４４の信号電荷が転送
素子列１蟹，畳軸こ同時に書込まれた時点においてクロ
ック信号１２の供給を停止して転送素子列亀６における
電荷の転送を停止し、右視線信号１畳におけるアドレス
４０〜４４の信号波形と同様波形を有し３クロック分の
時間遅れを有する左視線信号貴む中のアドレス４３〜４
７の信号波形が転送素子列亀８１こ書込まれるまでの３
クロツク期間だけ、転送素子列１６１こおける信号電荷
配列の状態は同一であり〜信号波形の一致を検出してず
れ量３の硯差検出出力信号が得られた時点の１クロツク
後から転送素子列軍６：こおける画素信号電荷の実時間
の供給および転送を再開する。したがって「上述した信
号波形一致の時点のＸクロック後における転送素子列軍
６における画素信号電荷のアドレスの配列は右から順に
４１，４２，４３ ４４，４８となっている。この配列
が１クロツク毎に順次に１クロツク分ずつ右へ移動し「
最初の信号波形一致の時点から５クロック期間の後に、
転送素子列１６に次の対象物体に対応した右視線信号１
１中の信号波形を表わすアドレス４８〜５２の画素信号
電荷が書込まれた時点において〜転送素子列１６に対す
るクロック信号亀２の供給を再び停止し、その電荷転送
を停止させ、左視線信号１０中において３クロツク遅れ
て発生した同一信号波形を表わすアドレス５１〜５５の
画素信号電荷が転送素子列１８に書込まれた時点までの
３クロック期間「かかる電荷転送停止の状態を保持し、
両転送素子列１６，寛８１こおける信号波形一致を検出
してずれ量３の視差検出出力信号を得た後、転送素子列
亀６における電荷転送を再開する。以下に同様の操作を
順次に繰返して順次に視差検出を行なうことになる。第
１表 以上に述べた本発明距離測定方法の実施例においてはト
視差検出回路蔓を１個だけ用いているが、対象物体の奥
行距離検出のための信号波形の標本化はち所要の時間長
を有する信号波形の函橋転送素子列への書込みおよび信
号波形の一致を見るまでの基準信号波形の電荷転送の停
止に要する相当量の時間毎に行なわれることになるので
も距離測定のための標本点の分布が比較的願となる欠点
がある。

したがって「かかる標本点の分布を密にするためには、
２個の視差検出回路鞍を並列に使用しも上述した信号波
形の書込みと波形一数検世のための転送停止とを双方の
視差検出回路間において交互に時間をずらして行なうよ
うにすれば〜標本点の分布密度は倍増することができ「
視差情薮信号の精細度がそれだけ改善されることになる
。立体視覚の特性からすれば、視差角１度につき１回の
標本化を行なうようにしも視差情薮信号の周波数帯城幅
が約０乳Ｍ舷となるようにすると「実用上十分な立体画
像情報を得ることができる。またも フレームメモリを
使用してＸフレーム分のテレビジョン画像を蓄積してお
き〜その蓄積画像信号と実時間の画像信号との間で、上
述したと同様の信号波形一致の検出を行なえば、同一画
面中を一定方向に移動する対象物体の移動速度の測定を
行なうこともできる。

また、前述したようにして縛られた視差検出出力情報を
テレビジョンカメラの焦点調節機構におけるサーボ入力
とすれば、テレビジョンカメラの自動焦点調節を行なう
こともできる。

さらに、上述した２個の電荷転送素子列を、例えば電荷
結合素子自体が光電変換機能を有するようにした、いわ
ゆるイメージセンサ型の電荷結合素子をもって構成し、
かかるイメージセンサ型蟹満転送素子列に前述した信号
波形一致検出のための論理回路を組合わせ、しかも〜か
かる２個のイメージセンサ型電荷転送素子列のうち、一
方には入射光像を直接に投影し、他方には回転可能のミ
ラーもしくはプリズムを介して投影するようにすれば、
前述したように２個の電荷転送素子列における電荷の転
送により信号波形一致までの遅れ時間を計測するほかに
、かかるイメージセンサ内での電荷転送は行なわず電荷
の配列は固定したままで〜上述したミラーもしくはプリ
ズムの回転により２個のイメージセンサに投影される画
像の一致を検出するようにすることもでき、その際に行
なう上述したミラーもしくはプリズムの回転量をテレビ
ジョンカメラのレンズ系に伝達し「両者を連動させるよ
うにれば「テレビジョンカメラの自動焦点調節を機械的
機構により行なうようにすることもできる。

なお、本発明距離測定方法において電荷転送素子列に供
給する画像信号は、画像の輝度信号成分を標本化したア
ナログ信号、もしくは、これを豊子化したものとするほ
か、かかる輝度信号成分の変化量を表わす微分信号とす
ることもできｔかかる微分信号のピーク値を正規化した
ものを用いて上述した信号波形一致検出の論理演算を行
なえば、信号波形一致検出の際における最大値もしくは
最４・値の判別を、輝度信号レベルの絶対値に影響され
ずに正確に行なうことができる。

さらに、第６図に示すように〜 ２個の電荷転送素子列
を互いに直角にして二次元的に配置し、しかも「それら
の電荷転送素子列に組合わせる演算回路を二次元的に構
成すればト前述した視差検出を、一層高密度に分布した
標本点を用いて、ほぼ連続的に行なうようにすることが
できる。

すなわち、２個の電荷転送素子列を二次元の直角座標軸
上にそれぞれ配置し、かかる直角座標面上の各交差点に
おける信号電荷量の比較を、その直角座標における４５
度方向の各斜線毎に行なうようにし、同一斜線上の各座
標点における電荷量比較の演算結果を、複数個の加算素
子を同様に二次元配置して構成した加算回路１９におけ
る各加算素子にそれぞれ導いて加算を行ない、それら複
数個の加算素子から得られる加算結果のいずれが最大も
しくは最小となるかを判別するように構成すれば、双方
の電荷転送素子列に供給する左右視線信号の電荷転送を
停止することなくｔ実時間の各視線信号を連続的に各電
荷転送素子列に順次に供給した状態で「視差検出を連続
的に行なうことができる。すなわち、座標軸の交点、０
「 を通る斜線上の加算結果が最大もしくは最小となっ
たときには左右視差信号間に時間差がなく〜 その座標
０を通る斜線から順次に距たった斜線上の加算結果が最
大もしくは最小となったときには、その距たりに相当し
た量の時間遅れもしくは時間進みが左右両視線信号間に
生じていることになる。しかし、本例においては、２個
の電荷転送素子列に導いた信号自体に遅延を生じている
のではなく、電荷転送素子列の互いにずらしたタップ出
力間の見掛けの遅．延「すなわち、空間的な遅延を利用
した信号相互間の波形の対応点を求めている。したがっ
て、最大値もしくは最小値が得られる斜線の０を通る斜
線からの距たりの情報が視差の大きさを表わすことにな
り〜その距たりのディジタル量をアナログ量に変換して
取出せば〜視差検出を連続的に行なうことができる。な
お〜かかる構成に使用する電荷転送素子列の素子数は、
最大の視差に対応する最大の時間差を有する同一信号波
形が双方の電荷転送素子列上に同時に存在し得るように
するに必要な個数とする。以上の説明から明らかなよう
に、本発明によれば、テレビジョン穣像の対象とする三
次元空間における物体までの距離を極めて短い時間でほ
ぼ連続的に測定することができ、かかる距離に対応した
視差情報を通常の画像情報に多重して伝送することによ
り「通常の画像信号と同一の周波数帯域で立体画像情報
を伝送するようにすることができる。

【図面の簡単な説明】

第１図は本発明距離測定方法におけるテレビジョン力メ
ラ撮像の態様を模式的に示す配置図、第鰹図は本発明方
法に使用する硯差検出回路の構成例を示すブロック線図
、第３図は本発明方法による距離測定回路の構成例を示
すブロック線図〜第鰭図および第５図は同じくその各部
信号波形をそれぞれ示す波形図、第Ｓ図は本発明方法に
使用する視差検出回路の他の構成例を示すブロック線図
である。 包，２？ ３…対象物体〜 ４８ Ｓ・・テレビジョン
カメラｔ ｇ…視差検出回路、竜６，富蟹…電荷転送素
子〜 亀？…演算素子、包９…加算素子トを虹。 〇。閥値回路、認１…転送制御回路「 解２…クロッタ
信号発生回路、２３…視差出力回路「 ２５・・・転送
制御信号発生器。第亀図 弟傘図 第３図 第４図 第５図 第６図

Claims (1)

1. 【特許請求の範囲】 １ 対象物体を２方向からテレビジヨン撮像して得られ
   たそれぞれの撮像出力信号を互いに独立した２個のそれ
   ぞれ同一複数段からなり、テレビジヨン走査の１走査線
   を構成する画素数に比し所要の小さい数の画素情報に対
   応する信号をシフトしながら収納することを可能とする
   タツプ付シフト型メモリ素子にそれぞれ導き、少なくと
   も前記撮像出力信号のうちの一方は前記タツプ付シフト
   型メモリ素子中を継続してシフトするように構成し、他
   方のシフト型メモリ素子の各タツプから並列に取出す撮
   像出力信号を前記一方のシフト型メモリ素子の各タツプ
   から並列に取出す撮像出力信号に対して遅延させるとと
   もに、その遅延量を逐次増大させて更新しながら、前記
   各タツプから取り出した両撮像出力信号相互間において
   信号波形がほぼ一致するまで遅延量更新の都度信号波形
   の比較を繰り返し行ない、信号波形がほぼ一致するに到
   ったときまでに増大させた遅延量に基づいて撮像点から
   前記対象物体までの距離を導出し、その距離の導出後引
   き続き、前記それぞれの撮像出力信号に基づいて前記撮
   像点から前記対象物体までの距離の導出を反覆行うこと
   により、テレビジヨン画面上の一走査線上に位置する順
   次の難散点ごとに導出し得られた前記撮像点から前記対
   象物体までの距離をもって、テレビジヨン画面の各画素
   点ごとに実時間で得られる奥行情報信号としたことを特
   徴とする立体テレビジヨンの奥行情報信号の形成方法。 ２ 前記２個のタツプ付シフト型メモリ素子の一方にの
   みシフト用クロツク信号を継続して供給し、他方への供
   給は一時停止して、前記他方のタツプ付シフト型メモリ
   素子に導いた撮像出力信号を前記一方のタツプ付シフト
   型メモリ素子に導いた撮像出力信号より時間的に遅延さ
   せ、前記一方および前記他方のタツプ付シフト型メモリ
   素子のそれぞれ対応するタツプ出力間における信号波形
   の比較をシフト型メモリ素子の全段に亘り前記クロツク
   信号供給の都度繰り返し行なうようにしたことを特徴と
   する特許請求の範囲第１項記載の立体テレビジヨンの奥
   行情報信号の形成方法。３ 前記２個のタツプ付シフト
   型メモリ素子の双方に継続してシフト用クロツク信号を
   供給し、それら両タツプ付シフト型メモリ素子のそれぞ
   れ対応するタツプ出力間およびそれぞれ対応するタツプ
   からそれぞれ所定数ずつずらしたタツプ出力間における
   信号波形の比較を前記クロツク信号供給の都度繰り返し
   行なうようにしたことを特徴とする特許請求の範囲第１
   項記載の立体テレビジヨンの奥行情報信号の形成方法。 ４ 前記信号波形の比較を前記両信号相互間の自乗誤差
   演算により行なうようにしたことを特徴とする特許請求
   の範囲第１項記載の立体テレビジヨンの奥行情報信号の
   形成方法。 ５ 前記信号波形の比較を前記両信号相互間の相関関数
   演算により行なうようにしたことを特徴とする特許請求
   の範囲第１項記載の立体テレビジヨンの奥行情報信号の
   形成方法。 ６ 前記２個のタツプ付シフト型メモリ素子のそれぞれ
   について、信号入力端子から最終の信号出力端子までの
   間の所定部において信号レベルに関し重みづけを行なっ
   たうえで、波形の比較を行なうようにしたことを特徴と
   する特許請求の範囲第１項記載の立体テレビジヨンの奥
   行情報信号の形成方法。 ７ 前記２個のタツプ付シフト型メモリ素子自体に撮像
   機能をもたせてテレビジヨン撮像のための手段を省略し
   うるようにしたことを特徴とする特許請求の範囲第１項
   記載の立体テレビジヨンの奥行情報信号の形成方法。