JPH07128017A

JPH07128017A - 距離測定装置

Info

Publication number: JPH07128017A
Application number: JP5278505A
Authority: JP
Inventors: Yoshikatsu Kimura; 好克木村; Hiroshi Moribe; 弘森部
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 1993-11-08
Filing date: 1993-11-08
Publication date: 1995-05-19
Anticipated expiration: 2017-03-25
Also published as: JP3269222B2

Abstract

(57)【要約】【目的】左右画像の輪郭エッジの対応問題を解くこと
なく画像中の距離情報を得る。【構成】光路Ｌ１，Ｌ２を選択可能なＣＣＤカメラ１
２からの各フレームの画像信号を順次平滑化後、エッジ
強調のため各フレームの画素毎のエッジ強度及びグラジ
ェント角を演算し出力する平滑・微分手段１８と、エッ
ジ検出の対象となる画素のグラジェント角により定まる
所定領域内のピーク画素を抽出するピーク抽出手段２０
と、抽出されたピーク画素と平滑・微分手段１８の出力
とに基づき各画素毎にサブピクセルレベルのエッジ位置
情報を出力するサブピクセル位置検出手段２２と、エッ
ジ位置情報に基づき前記所定領域内の画素のエッジ直線
を生成する線画生成手段２４と、時間的に隣接するフレ
ーム間のエッジ直線移動距離を算出し、対象物までの距
離を演算する距離演算手段２６と、を有する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、距離測定装置に係り、
特に、工業用部品などの対象物体を３次元形状認識する
画像処理装置に適用して好適な距離測定装置に関する。

【０００２】

【従来技術】従来より、自立走行車の障害物認識やファ
クトリーオートメーション分野における物体の形状認識
等のため、画像中の物体の距離情報を得る方法及び装置
が種々開発されている。即ち、２次元情報である画像情
報から３次元情報を得ようというのである。

【０００３】従来、画像から物体までの距離情報を得る
にはステレオ視が最も一般的に用いられていた。このス
テレオ視は、２つの離れた位置にあるＴＶカメラで撮影
した画像を入力し、その２つの画像中から同じ物体の同
一部分が写っている位置を求め（対応点探索）、その２
点の位置の差と２つのＴＶカメラの位置の関係から、三
角測量の原理により物体までの距離を求めるものであ
る。しかしながら、三角測量の原理で距離を求める方法
は、次のような、相反する問題を内包している。即ち、２つのカメラ位置が離れているほど距離計測精度はよ
くなる反面、２つのカメラが離れていると左右画像での
物体の変形、明るさの違い、また左画像では見えるが右
画像では見えないというオクルージョンの問題などがあ
り、左右画像中で同一部分を見つけだす対応点探索を行
うことは非常に困難であり。２つのカメラ位置が近いと対応点探索は比較的容易な
反面、距離計測精度が悪くなる。

【０００４】左右の濃淡画像中の対応関係を求め、対応
する左右同一部分から視差を検出して奥行き、即ち距離
画像を得るパッシブステレオ方式は種々研究され、例え
ば、Y.C.Kim とJ.K.Aggarwalによる「Positioning Tree
-Dime nsional Object UsingStereo 」IEEE J.Robotics
and Automation,RA3,4,1987,pp.362-373（参考文献
１）、D.MarrとT.Poggioによる「A Computational Theo
ry of Human Stereo Vision 」Rpoc.R.Lond.,B204,pp.3
01-328（参考文献２）、太田、金出による「走査線間の
整合性を考慮した２段の動的計画法によるステレオ対応
探索」（参考文献３）、「ステレオ画像における区間対
応探索処理の高速化について」（参考文献４）などの様
々な研究がなされている。それらの中で用いられる手法
は領域ベース法と特徴ベース法に大別できる。以下に、
これらの従来法についてそれぞれ簡単に説明する。領域ベース法によるものは、画面上のある領域間の濃
淡値の相関をとることにより対応領域を求める方法であ
る。この方法では、相関をとる領域が大きいと分解能の
低下や計算コストの増大をまねき、逆に小さいと複数の
領域と対応する多対応問題を生じる。また、対象面が画
面と並行でない場合には左右の領域内のパターンが正確
には一致しないことなどが挙げられる。特徴ベース法は、画像から特徴を抽出し、特徴同士の
対応付けを行う方法である。抽出する特徴は、ある程度
の長さを持ったエッジセグメントとエッジセグメントよ
り短い点単位の特徴に大別される。エッジセグメントの
場合、左右画像でのセグメントの形状の類似性が対応付
けの大きな問題となるが、対象が複雑になると左右画像
でセグメントの形状が一致するとは限らない。点単位の
特徴は局所的であるのでそのような問題は生じないが、
類似した特徴が複数現われるために多対応問題が生じ
る。動的計画法を利用して照合を行う手法（参考文献
３、４参照）では部分領域の順番が逆転する画像では有
効ではない。また、確率的弛緩法による手法（参考文献
１参照）は、適合性を示す明確な基準がないため計算量
が膨大になり解の範囲を狭めることはできるが解が得ら
れるとは限らない。また、初期値に依存するため最終的
に求められた対応が最適解である保証がないなどの問題
もある。粗密探索法による手法（参考文献２参照）は、
誤対応を減らすために、まず強く平滑化した低解像度の
画像でマッチングが行われ、その結果を用いて高解像度
でのマッチング範囲を制限しながら視差を求めるもので
ある。しかし、画像によっては高分解能から対応をつけ
なければならない場合もある。

【０００５】

【発明が解決しようとする課題】上述した従来技術は、
いずれも左右の画像の対応探索を各種アルゴリズムによ
り解決しようとするものであるが、このような２次元情
報から３次元情報を復元する逆問題、即ち不良設定問題
を完全に解く手法は現在に至るも知られていない。これ
に加えて、自立走行車の障害物認識やファクトリーオー
トメーション分野における物体の形状認識等の分野で
は、実時間性が要求されるため、従来のステレオパッシ
ブ方式では、対応点探索が不可欠であることから十分に
対応することができないという不都合もあった。

【０００６】本発明は、かかる事情の下になされたもの
で、その目的は、上述した不良設定問題、即ち左右画像
の輪郭エッジの対応問題を解かなくても画像中の距離情
報をを得ることができる距離測定装置を提供することに
ある。

【０００７】

【課題を解決するための手段】本発明に係る距離測定装
置は、所定間隔で撮像位置を変更しながら対象物を撮像
し各撮像位置に対応する所定間隔毎のフレームの画像信
号を出力する撮像手段と、前記撮像手段からの各フレー
ムの画像信号を順次平滑化処理した後、エッジ強調処理
により平滑化処理後の各フレームの画素毎のエッジ強度
及びグラジェント角を演算し出力するエッジ強調処理手
段と、前記各フレーム毎のエッジ検出の対象となる画素
の前記グラジェント角により定まる領域内の画素のエッ
ジ強度に基づき当該領域内の画素の内エッジ強度が極大
値を有するピーク画素を抽出するピーク抽出手段と、前
記抽出されたピーク画素と前記エッジ強調処理手段の出
力とに基づき各ピーク画素毎にエッジ位置の画素中心か
らのオフセット量及び前記グラジェント角から成るサブ
ピクセルレベルのエッジ位置情報を各フレーム毎に出力
するサブピクセル位置検出手段と、フレーム毎に前記サ
ブピクセル位置情報に基づき画素毎に前記グラジェント
角と前記画素中心からのオフセット量とにより定まる前
記ピーク画素の領域内のエッジ直線を生成する線画生成
手段と、前記線画生成手段から出力される隣接するフレ
ーム間の前記エッジ直線の移動距離を算出し、このエッ
ジ直線の移動距離より対象物までの距離を演算する距離
演算手段と、を有する。

【０００８】

【作用】本発明によれば、撮像手段により所定間隔で撮
像位置を変更しながら対象物が撮像され各撮像位置に対
応するフレーム毎の画像信号が出力される。エッジ強調
処理手段では，各フレームの画像信号を順次平滑化処理
した後、エッジ強調処理により平滑化処理後の各フレー
ムの画素毎のエッジ強度及びグラジェント角を演算し出
力する。ピーク抽出手段では、エッジ検出処理手段から
出力されるエッジ強度及びグラジェント角を入力し各フ
レーム毎のエッジ検出の対象となる画素のグラジェント
角により定まる領域内の画素のエッジ強度に基づきエッ
ジ強度が極大値を有するピーク画素を抽出する。サブピ
クセル位置検出手段では、ピーク抽出手段により抽出さ
れたピーク画素とエッジ強調処理手段の出力とに基づき
各ピーク画素毎にエッジ位置の画素中心からのオフセッ
ト量及びグラジェント角から成るサブピクセルレベルの
エッジ位置情報を各フレーム毎に出力する。線画生成手
段では、フレーム毎にサブピクセル位置情報に基づき画
素毎にグラジェント角と画素中心からのオフセット量と
により定まるピーク画素の領域内のエッジ直線を生成す
る。距離演算手段では、線画生成手段から出力される隣
接するフレーム間のエッジ直線の移動距離を算出し、こ
のエッジ直線の移動距離より対象物までの距離を演算す
る。

【０００９】従って、本発明によれば、左右画像の輪郭
エッジの対応問題を解かなくても、画素間にもサブピク
セルデータをもつ真のエッジ位置情報を得ることがで
き、真のエッジ位置の差（従来技術では視差に相当す
る）から奥行き情報、即ち距離情報を求めることができ
る。

【００１０】

【実施例】

《第１実施例》以下、本発明の第１実施例を図１ないし
図１６に基づいて説明する。

【００１１】図１には、第１実施例に係る距離測定装置
１０の全体構成が概略的に示されている。

【００１２】この距離測定装置１０は、ＣＣＤカメラ１
２と、光路選択手段１４と、Ａ／Ｄ（アナログ−ディジ
タル）変換手段１６と、エッジ検出処理手段としての平
滑・微分手段１８と、ピーク抽出手段２０と、サブピク
セル位置検出手段２２と、線画生成手段２４と、距離演
算手段２６とを有している。

【００１３】これをさらに詳述すると、ＣＣＤカメラ１
２は、対象物を撮像し画像信号（５１２画素×５１２画
素）を出力する。光路選択手段１４は、所定時間毎、例
えば３３ｍs （ビデオレートとも言われ、通常のテレビ
の１フレームの処理時間に相当する）毎に、微小距離
（撮像画面上の１〜２画素に相当する距離）の間隔を持
った光路Ｌ１、Ｌ２を選択するためのもので、例えば、
図２０に示される如く構成される。即ち、図２０（Ａ）
に示されるように、この光路選択手段１４は、ＣＣＤカ
メラ１２に向かう光路Ｌ２上に当該光路Ｌ２対し４５°
傾斜した面上で回転する回転ミラー９０と、この回転ミ
ラー９０の回転面に略平行に配置された固定ミラー９２
とを含んで構成される。回転ミラー９０は、図２０
（Ａ）の矢印Ａ方向から見ると、図２０（Ｂ）に示され
るように、円形の枠９０Ａと、この円形の枠９０Ａ内に
固着された略半円形のミラー９０Ｂとから成り、モータ
９４によって前記所定時間（３３ｍｓ）に同期して回転
させられる。従って、この光路選択手段１４では、例え
ばミラー９０Ｂが図２０（Ａ）に示される位置にある時
は、光路Ｌ２がミラー９０Ｂによって妨げられるが、光
路Ｌ１が固定ミラー９２とミラー９０ＢとによってＣＣ
Ｄカメラ１２に導かれ、例えばミラー９０Ｂが図２０
（Ａ）に示される位置から１８０°回転した位置にある
場合には、光路Ｌ１，Ｌ２ともに枠９０Ａ内部の空間を
通過し、光路Ｌ２がＣＣＤカメラ１２に導かれる。この
ようにして、ＣＣＤカメラ１２には所定時間毎（３３ｍ
ｓ毎）に光路Ｌ１とＬ２とが交互に導かれる。

【００１４】本実施例では、この光路選択手段１４とＣ
ＣＤカメラ１２とによって撮像位置を３３ｍs 毎に変
更、ここでは光路Ｌ１、Ｌ２を切り換え選択する撮像手
段１１が構成されている。即ち、ＣＣＤカメラ１２と光
路選択手段１４との組合せにより、走査線間の対応がな
されている微小距離間隔（１〜２画素程度、例えば数ｍ
ｍ）を持った２台のカメラから画像を３３ｍs 毎に切替
えながら撮像するのと同等の対象物の撮像が可能とな
り、３３ｍs 毎に当該対象物の濃淡画像が１フレーム得
られる。

【００１５】Ａ／Ｄ変換手段１６は、撮像手段１２から
出力されるアナログ信号である画像信号Ｓ１をディジタ
ル画像信号Ｓ２に変換する変換手段である。

【００１６】平滑・微分手段１８は、フレーム毎の濃淡
画像データであるディジタル画像信号Ｓ２を入力し、当
該ディジタル画像信号Ｓ２を順次平滑化して画像信号の
雑音を除去した後、空間微分して雑音除去後の画素毎の
エッジ強度（これについては後述する）及びグラジェン
ト角（これについては、後述する）を演算する手段であ
る。

【００１７】この平滑・微分手段１８は、具体的には、
図２に示されるように、平滑化手段２８、３×３の画素
から成るウインドウ３０、Ｘ方向微分手段３２、Ｙ方向
微分手段３４、エッジ強度グラジェント演算手段３６、
ルックアップテーブル（以下「ＬＵＴ」という）３８，
４０、及びラッチ回路４２，４４を含んで構成されてい
る。ここで、この平滑・微分手段１８の構成各部につい
て更に詳細に説明する。

【００１８】平滑化手段２８は、Ａ／Ｄ変換手段１６か
らの出力データである画像信号Ｓ２を入力とし、ガウス
の分布関数により得られる８×８のコンボリューション
をＳ２に施して雑音成分を除去した１６ビットの画像デ
ータＳ３（ｆ_s（ｘ, ｙ））を出力する。なお、コンボ
リューションのマスクサイズの大きさは８×８より大き
くても構わない。

【００１９】この画像データ（濃度、輝度等の画素値の
データ）Ｓ３が、３×３のウインドウ３０の中心位置の
画素に入力され、このウインドウ３０では、ｘ方向，ｙ
方向の両隣（即ち、前後左右）のデータＳ４（ｆ_s（ｘ
＋１, ｙ）），データＳ５（ｆ_s（ｘ−１, ｙ）），デ
ータＳ６（ｆ_s（ｘ, ｙ＋１）），データＳ７（ｆ
_s（ｘ, ｙ−１））を求め、これらのデータを図示のよ
うに出力する。

【００２０】Ｘ方向の微分手段３２，Ｙ方向の微分手段
３４では、それぞれＳ４とＳ５，Ｓ６とＳ７をそれぞれ
微分（実際には、差分）して次式（１），（２）で示さ
れるデータＳ８（ｇ_x（ｘ, ｙ）），データＳ９（ｇ_y
（ｘ, ｙ））をそれぞれ出力する。

【００２１】

【数１】

【００２２】エッジ強度グラジェント演算手段３６で
は、データＳ８、Ｓ９が入力されると、各（ｘ，ｙ）に
おけるエッジ強度データＳ１０（cont（ｘ，ｙ））及び
グラジェント角データＳ１１（orient（ｘ，ｙ））をそ
れぞれ次式（３），（４）に従って算出し出力する。

【００２３】

【数２】

【００２４】ここで、エッジ強度データとは、Ｘ方向微
分手段３２，Ｙ方向微分手段３４の出力であるＳ８，Ｓ
９をｘ方向成分，ｙ方向成分とするベクトル，即ち画像
データＳ３の空間一次微分ベクトル（グラジェントベク
トル）の大きさcont（ｘ, ｙ）をいい、グラジェント角
データとは、当該グラジェントベクトルの方向データor
ient（ｘ, ｙ）を意味する。

【００２５】データＳ１０，Ｓ１１は、それぞれ１６ビ
ット，１２ビットのデータとして出力される。

【００２６】ＬＵＴ３８，４０は、これらのデータＳ１
０，Ｓ１１をそれぞれ８ビットデータＳ１２，Ｓ１３に
変換する回路で、当該ＬＵＴ３８，４０には任意の関数
を設定することができる。これによって、データＳ１
０，Ｓ１１のある特定範囲の強調、データ圧縮が可能と
なる。これらのＬＵＴ３８，４０は、後段のピーク抽出
手段２０，サブピクセル位置検出手段２２の大規模化を
防ぐものとして効果がある。

【００２７】ここでは、一例としてＬＵＴ３８，４０
に、以下のような式（５），（６）でそれぞれ定義され
る関数が設定されているものとする。

【００２８】

【数３】

【００２９】ここで、Ｅ（ｘ，ｙ）はエッジ強度データ
cont（ｘ，ｙ）の出力、Ｇ（ｘ，ｙ）はグラジェント角
データorient（ｘ，ｙ）の出力を、それぞれ指す。

【００３０】ラッチ回路４２，４３では、これらのデー
タＳ１２，Ｓ１３を一旦ラッチし、８ビットのエッジ強
度データＥ（ｘ，ｙ），グラジェント角データＧ（ｘ，
ｙ）を出力する。

【００３１】本実施例では、平滑・微分手段１８では、
３３ｍｓ毎に入力されるフレーム毎の画像信号に対し、
上述した一連の処理を行い、８ビットのエッジ強度デー
タＥ（ｘ，ｙ），グラジェント角データＧ（ｘ，ｙ）を
ビデオレートで出力する。

【００３２】前記ピーク抽出手段２０は、各フレーム毎
にエッジ検出の対象となる画素（以下、「対象画素」と
いう）のグラジェント角により定まる領域内の画素のエ
ッジ強度に基づきエッジ強度が極大値を有するピーク画
素を抽出するもので、より詳しくは、対象画素（注目画
素）のエッジ強度を回り８つの最近接画素（「８近傍画
素」ともいう）のエッジ強度に比べてピークになってい
るかどうかを判定し、もしピークならばその対象画素に
エッジが存在すると判定する手段である（図７参照）。

【００３３】このピーク抽出手段２０は、具体的には、
図３に示されるように、最近接画素エッジ強度選択手段
４６と、ピーク比較判定手段４８とを含んで構成されて
いる。ここで、これら構成各部について更に詳細に説明
すると、最近接画素エッジ強度選択手段４６では、平滑
・微分手段１８の最終出力であるエッジ強度データＥ，
グラジェント角データＧを入力とし、図７に示されるよ
うに、全ての画素に対し３×３のウインドウ上のエッジ
強度Ｅ₀〜Ｅ₈を出力する。この際、グラジェント角デ
ータＧは、図７に示されるように、０°≦Ｇ＜３６０°
の範囲では、３３７．５°≦Ｇ＜３６０°及び０°≦Ｇ
＜２２．５°又は１５７．５°≦Ｇ＜２０２．５°の領
域（１）で０、２２．５°≦Ｇ＜６７．５°又は２０
２．５°≦Ｇ＜２４７．５°の領域（２）で１、６７．
５°≦Ｇ＜１１２．５°又は２４７．５°≦Ｇ＜２９
２．５°の領域（３）で２、１１２．５°≦Ｇ＜１５
７．５°又は２９２．５°≦Ｇ＜３３７．５°の領域
（４）で３と設定され、４５゜間隔の４方位を示すよう
にデコードされる。

【００３４】即ち、図３中のデータＳ１４は、エッジ強
度Ｅ₀〜Ｅ₈と、対象画素のデコードされたグランジェ
ント角データｇ_oを含むデータである。

【００３５】ピーク比較判定手段４８では、データＳ１
４中のｇ_oの値に基づき８近傍画素の中からグラジェン
トベクトルの方向、およびその反対方向に存在する２つ
のデータを特定する。そして、対象画素の、回りの８つ
の最近接画素のエッジデータＥ₁〜Ｅ₈のうちからエッ
ジ方向に直交する両側の２つの画素のエッジ強度データ
Ｅ_i，Ｅ_i+4（ｉ＝1,2,3,4 ）を決定し、その後、エッ
ジ強度Ｅ₀とＥ_i、Ｅ ₀とＥ_i+4のそれぞれの大小関係
を比較し、ピーク位置を決定する。ここで、同レベルの
エッジ強度がエッジ方向に垂直な方向で連続する場合で
も、上記の比較のうち一方に等号を含める（例えばＥ_i
≦Ｅ₀＜Ｅ_i+4）ことで、エッジ方向と直交する方向に
必ず一つの画素だけをピークとして選択することが可能
となる。従って、輪郭線の途切れを防ぐことができる。

【００３６】ピーク比較判定手段４８での比較の結果、
ピーク候補画素マーク信号が出力されるが、これは、対
象画素Ｅ₀が隣接画素に対してピークと判定したときに
出力される信号であり、実際には、ノイズにより誤って
ピークが抽出されることがないように一定レベル以下の
データをピーク抽出の対象から除外するため、対象画素
のエッジ強度Ｅが一定の閾値（Ｔh ）以上の時にそれぞ
れピーク候補画素マーク信号Ｐを出力するようにするこ
とが望ましく、本実施例でもそのようにしている。更
に、本実施例では、閾値としてハイレベルのＨ_thとそれ
よりローレベルのＬ_thとを設けてピーク候補画素マーク
信号Ｐとして、エッジ強度の大きなピーク画素マーク信
号「ＨＰＥＡＫ」とエッジ強度の小さなピーク画素マー
ク信号「ＬＰＥＡＫ」の２つの信号を得るようにしてい
る。２つの閾値Ｈ_th，Ｌ_thを設けることにより、より微
細なピーク検出が可能となるからである。また、ピーク
画素マーク信号「ＨＰＥＡＫ」、「ＬＰＥＡＫ」を利用
したピーク延長（ヒステリシス閾値処理）にも応用でき
る。

【００３７】以上に述べた動作を全画素に対し実行する
ことにより、「ＨＰＥＡＫ」、「ＬＰＥＡＫ」により濃
淡画素のエッジピーク、即ち、輪郭を抽出できることに
なる。また、「ＨＰＥＡＫ」、「ＬＰＥＡＫ」は８ビッ
ト構成のピーク画素データの７ビット目、６ビット目に
割り当てられており（他のビットは全て１）、モニター
で表示した場合、一番白い（輝度の高い）部分がエッジ
強度の大きなピーク画素、やや暗く白い（輝度が低い）
部分がエッジ強度の小さなピーク画素として表示され
る。

【００３８】ピーク抽出手段２０では、上記の処理を各
フレーム毎に行い、各フレーム毎のピーク候補画素マー
ク信号Ｐをビデオレートで出力する。

【００３９】前記サブピクセル位置検出手段２２は、抽
出されたピーク画素に基づき平滑・微分手段１８の出力
の各画素間を内挿補間し各画素毎に、エッジ位置の画素
中心からのオフセット量及びグラジェント角から成るサ
ブピクセルレベルのエッジ位置情報を出力する手段、即
ち、ピーク抽出手段２０の出力Ｐよりピーク画素におけ
る輪郭エッジの真のピーク位置までの変位座標ベクトル
ＩＰを求める手段である。このサブピクセル位置検出手
段２２における内挿補間までの上述した一連のエッジ検
出は、J.F.Canny による「”Finding edges and lines
in images ”，M.I.T ．Artificial Intell.Lob.，Camb
ridge,MA,Rep.AI-TR-720,1983.」で発表された公知のCa
nny のエッジファインダーをハードウエア化したもので
ある。

【００４０】このサブピクセル位置検出手段２２は、具
体的には、図４に示されるように、最近接画素のエッジ
データＥ₁〜Ｅ₈の中から内挿補間対象となる４つのエ
ッジ強度データを取り出す最近接内挿エッジ強度データ
選択手段５０と、対象画素におけるグラジェント角デー
タＧより、ｘ方向、ｙ方向でのエッジ強度の補間Ｅ_a，
Ｅ_bを求めるエッジ強度内挿補間手段５２と、対象画素
におけるグラジェント角データＧと前段の出力であるＥ
_a，Ｅ_bと対象画素Ｅ₀より関数の当てはめにより、真
のピーク位置を検出しｘ方向、ｙ方向のオフセット量Δ
ｘ，Δｙを求めるサブピクセルエッジ位置演算手段５４
とを含んで構成されている。このサブピクセル位置検出
手段２２は、本実施例では、対象画素の回りの８つの最
近接画素のエッジ強度からまずｘ、またはｙ方向に一次
関数による内挿補間を行い、その結果とピーク画素とで
放物線近似し、その極大値を真のエッジの位置としてサ
ブピクセルレベル（例えば、ＣＣＤセンサ１２の分解能
１画素の１／１０オーダの分解能をいう）のデータとし
てΔｘ，Δｙを求める。この処理は各フレーム毎の全画
素に対してビデオレートでなされる。

【００４１】これをさらに詳述すると、最近接内挿エッ
ジ強度データ選択手段５０では、図７に示されるよう
に、４５゜間隔の対称性を考慮した４方位を示すグラジ
ェント角データよりピーク方向に垂直な方向の４つの最
近接画素のエッジ強度を選択する。例えば、図８で示さ
れるように、エッジに垂直な方向ｄが（０≦θ₀＜４５
゜）の場合には、それぞれＥ１，Ｅ２，Ｅ５，Ｅ６が選
択されデータＳ１５として出力される。この選択はグラ
ジェントベクトルの方向に応じて行われる。

【００４２】エッジ強度内挿補間手段５２では、一次関
数による内分の補間を行う。即ち、図９に示されるよう
に、エッジに垂直な方向が（０≦θ₀＜４５゜）場合に
は２つの内分の補間点Ｅ_a，Ｅ_bはtan （θ₀）によっ
てＥ_m、Ｅ_nを内分する点のエッジ強度であるから、次
式（７），（８）で表される。

【００４３】

【数４】

【００４４】このエッジ強度内挿補間手段５２の出力Ｓ
１６は上記のＥ_a，Ｅ_bである。サブピクセルエッジ位
置演算手段５４では、図１０に示されるように、曲線ｙ
＝ａｘ²＋ｂｘ＋ｃをＥ_a，Ｅ₀，Ｅ_bにフィッティン
グさせ、その曲線の極大値を求めることにより対象画素
からのオフセット量を求め、さらに対象画素におけるグ
ラジェント角データよりｘ，ｙ方向のオフセット量Δ
ｘ，Δｙを求める。

【００４５】ここで、オフセット量Δｘ，Δｙを求める
ためのアルゴリズムについて説明する。ここでは、一例
として、（０≦θ₀＜４５゜）の場合について説明す
る。

【００４６】３点（−１／cos(θ₀)，Ｅ_b），（０，Ｅ
₀），（１／cos(θ₀)，Ｅ_a）が、曲線ｙ＝ａｘ²＋ｂ
ｘ＋ｃ上にあることからａ，ｂ，ｃは次式（９）で表さ
れる。

【００４７】

【数５】

【００４８】点Ｅ_pでは、

【００４９】

【数６】

【００５０】であるから、Ｅ₀からのＥ_pのオフセット
量Δは、

【００５１】

【数７】

【００５２】で表される。Δを（ｘ，ｙ）からのオフセ
ット量（Δｘ，Δｙ）で表す，即ち成分表示すると、Δ
ｘ＝Δcos(θ₀)，Δｙ＝Δsin(θ₀)であるから、以上を
まとめると、

【００５３】

【数８】

【００５４】同様の方法で他の場合に対しても出力Ｓ１
７（Δｘ，Δｙ）が求められる。この出力Ｓ１７は７ビ
ット符号つき表現のデータ構造である。ピーク抽出手段
２０で抽出された画素マーク信号の存在する位置に、真
のピーク位置との変位座標ベクトルＩＰ（Δｘ，Δｙ）
が求められる（他の角度についても同様に求めることが
できる）。ハードウエアの最小分解能は１／１２８の性
能を持つが、実験の結果、一般のエッジに対しては0.03
〜0.04の分解能であることが確認された。

【００５５】前記線画生成手段２４は、各フレーム毎に
Ｓ１７（サブピクセルエッジ位置情報ＩＰ）に基づき画
素毎にグラジェント角により定まる領域内の画素のエッ
ジ直線を生成する手段で、画素間にもエッジ位置データ
を生成する。

【００５６】この線画生成手段２４は、具体的には、図
５に示されるように、小領域を取り込み１６倍に拡大し
て出力するダブルバッファメモリ５６と、予め線画参照
マップが格納された線画参照テーブルメモリ５８と、線
画パターン生成メモリ６０と、（ｘ，ｙ）指定回路６２
及びカウンター６４とを含んで構成されている。

【００５７】図５において、入力データＳ２０は、サブ
ピクセル位置検出手段２２の出力であるピーク画素にお
ける輪郭エッジの真のピーク位置までの変位座標ベクト
ルＩＰと平滑・微分手段１８の出力であるグラジェント
角データＧから選択された１ワード（１６ビット）で構
成されたデータである。

【００５８】図１１（ａ）に示すように、このデータＳ
２０の下位バイトはサブピクセル位置検出手段２２によ
り求められるｘ，ｙ方向のサブピクセルエッジ位置デー
タΔｘ，Δｙの上位４ビットから構成されるｄｘ，ｄｙ
であり、これらは２の補数表現で表されている。また、
図１１（ｂ）に示すように、このデータＳ２０の上位バ
イトはピーク抽出手段２０により求められるエッジ位置
画素マーカビットと平滑・微分手段１８によるグラジェ
ント角データＧの上位７ビットから構成されている。

【００５９】ダブルバッファメモリ５６は、撮像された
５１２×５１２の画像での１画素のものを１６画素で表
現する仕組みを持っている。即ち、（ｘ，ｙ）指定回路
６２で指定される任意のｘ，ｙの指定とそのｘ，ｙを始
点とし３２×３２の領域を入力データＳ２０から取り出
す機構によりダブルバッファメモリ５６への書き込みが
行われ（図１２参照）、カウンター６４による一方の出
力Ｓ２１が動作中のときにダブルバッファメモリ５６か
らの読み出しが行われる。さらに、本実施例では、図示
しないダブルバッファ機構により３３ｍs ごとに使用す
るメモリを切替えることにより３３ｍs で１６倍に拡大
された出力Ｓ２２が得られるようになっている。

【００６０】カウンター６４は、水平（ｘ）方向と垂直
（ｙ）方向をそれぞれ５１２ずつカウントするもので、
この一方の出力Ｓ２１は、それらのうち上位５ビットの
出力であり、他方の出力Ｓ２３は下位４ビットの出力で
ある。

【００６１】線画参照テーブルメモリ５８は、入力とな
るデータＳ２２が１６ビットであるのに対し、現在市販
のメモリでは作成できる線画テンプレートの数が２¹²で
あることから、できるだけ連続で滑らかに見えるような
データにデータを圧縮するメモリである。

【００６２】ここで、このデータ圧縮について、具体的
にその一例を説明すると、エッジ位置画素マーカビット
が１の時、上位バイトは１２８〜２５５までの値をと
る。上位バイトの値をupbyteとするとマップに利用され
るグラジェントｉｇは次のような式（１２）により４ビ
ットに削減される。

【００６３】

【数９】

【００６４】ただし、ｉｇ＞１５の時はｉｇ＝０とす
る。ｉｇは３６０゜を０から１５までの１６の領域に分
けることを意味する。ｄｘ，ｄｙはそれぞれ４ビットず
つ下位バイトでマップされる。従って、ｄｘ，ｄｙの値
よりマッピングされる関数は

【００６５】

【数１０】

【００６６】として定義できる。このLlabelで示される
ラベル値がデータＳ２４として出力される。なお、ピー
クでない画素には線画パターン生成メモリ６０の線分を
表示しないラベル値Llabelを割り当てておく。これによ
り角度分解能11.25 ゜で線分が表現できるようになる。

【００６７】この点に関し、本実施例では、線画表示パ
ターン生成メモリ６０として１ＭＢ（メガバイト）のも
のを使用しているが、これよりも大容量のメモリが実現
できれば線画参照マップで角度情報を圧縮することなく
割り当てることも可能となる。出力データＳ２４は１２
ビットのデータとなる。

【００６８】線画パターン生成メモリ６０は、データＳ
３により指定されたラベルにより予め作成しておいた線
画のパターンを参照することにより線画を生成する。ま
た、カウンター６４によるｘ，ｙ方向の下位の４ビット
により１６×１６の領域のパターンを描く。

【００６９】線画参照テーブルメモリ５８で割り当てら
れるように作成される方向パターンは、図１３に示され
るように１６パターンである。それらを、ｄｘ，ｄｙ方
向にずらしたパターンを予め用意しておく。例えば、ｉ
ｇ＝４，ｄｘ＝２，ｄｘ＝２つまりLlabel＝１０５８の
時は図１４のように表される。これを実際の部品に適用
して表現したものが第１５図である。同図（ａ）は電子
部品であるコネクタを５１２×５１２の大きさでのピー
ク画素を表したものである。同図（ｂ）はコネクターの
右上の穴部分を線画生成手段２４により表したものであ
る。ピーク画素を１６倍に拡大すると１６×１６の領域
が塗りつぶされガタガタな曲線に表現されるが、１点に
おけるサブピクセルデータから線画を生成することによ
り曲線が滑らかにつながって表現できる。この方法によ
り、従来技術では得ることが不可能であった、画素と画
素の間にもエッジ線画を生成することが可能となった。

【００７０】なお、この線画生成手段２４は、上記の一
連の処理を各フレーム毎に行い、出力であるデータＳ２
６をビデオレート（３３ｍs ）で出力する。

【００７１】前記距離演算手段２６は、入力となるデー
タＳ２６の１フレーム（３３ｍs ）毎の差を求めること
により視差を求め、その視差より三角測量の原理から距
離を演算する手段である。

【００７２】この距離演算手段２６は、具体的には、図
６に示されるように、１フレーム遅延手段６６と、クロ
スバースイッチ６８と、サブピクセルピーク位置抽出手
段７０と、イメージ展開手段７２と、論理積演算手段７
４と、距離演算メモリ７６とを含んで構成されている。

【００７３】ここで、構成各部について説明すると、１
フレーム遅延手段６６は、線画生成手段２４の出力デー
タＳ２６を入力とし、１フレーム（画像１画面分の時間
で３３ｍs ）遅延されたデータＳ２８を出力すると同時
に次のフレームの書き込みができるメモリを用いて構成
されている。時間的位相の調整されたデータＳ２６とＳ
２８とを重ね合わせると最終的に図１６に示されるよう
な２本のサブピクセルエッジ線画を持つ画像がビデオレ
ート（３３ｍs ）で得られる。

【００７４】クロスバースイッチ６８は、これら２本の
サブピクセルエッジ線画の左右関係を一定にするために
設けられ、必ず画像中で左側にあるものを基準エッジ線
画Ｓ３０とし且つ右側にあるものを参照エッジ線画Ｓ３
２とするように、切替えるスイッチである。

【００７５】サブピクセルピーク位置抽出手段７０は、
基準エッジ線画Ｓ３０のサブピクセルピーク位置を抽出
する回路である。

【００７６】イメージ展開手段７２は、ラインメモリと
シフトレジスタとから構成され、シフトレジスタには上
記サブピクセルエッジ点とサブピクセルエッジ点の幅が
ｍの時、ｍの位置に信号Ｓ３４を出力する。例えば、撮
像画像上でピーク画素位置がｎ画素以上離れている場合
には、ラインメモリによりＬ＝１６×ｎ＋ｍに相当する
位置にＳ３４が出力される。

【００７７】論理積演算手段７４は、サブピクセルピー
ク位置抽出手段７０の出力とイメージ展開手段７２の出
力との論理積を取る回路であり、ラインメモリに対応し
て設けられた複数のアンドゲートにより構成される。こ
の論理積演算手段７４では、上記のＬに相当する位置に
出力が得られる。

【００７８】距離演算メモリ７６では、論理積演算手段
７４の出力により、そのＬに対する距離を求めるための
次式（１４）が予め記憶されている。

【００７９】

【数１１】

【００８０】三角測量の原理により光路Ｌ１，Ｌ２の微
小距離間隔δと撮像手段１２の焦点距離ｆ、撮像面上で
の１画素の実寸Ｌ_pおよび、撮像面から対象物体までの
距離をＺとすると実際カメラ撮像面では１／１６画素移
動していることから上式でＺを求めることができる。

【００８１】このようにして検出された距離情報Ｓ３６
が、距離演算メモリ７２から出力される。図１６に示さ
れるようにサブピクセルエッジ線画間の幅をＬとすると
式（１４）で計算される距離Ｚ_Lが基準エッジ線画の画
素に対し距離情報Ｓ３６として出力される。

【００８２】この場合において、エッジ点などの途切れ
を防ぐためにサブピクセルピーク位置抽出手段７０を３
×３のパターンで判定し、イメージ展開手段７２もライ
ンメモリ及びシフトレジスタを３列並べた構成とするこ
とにより、安定に距離情報を得ることができる。これ
は、ビデオレート（３３ｍs ）で実現できる。

【００８３】以上説明したように、本第１実施例による
と、輪郭エッジの真のピーク位置までの変位座標ベクト
ル出力からビデオレート線画生成し、３３ｍs 毎に１〜
２画素に相当する微小距離間隔ずれた対象物の濃淡画像
を撮像できる光路選択手段１４とを設けることにより、
対応点探索をすることなく距離情報をビデオレートで求
めることができる。従って、本実施例によると、多大
な時間と計算コストを要する対応点探索の必要としない
ので、ビデオレートで対象物体の輪郭エッジの３次元座
標情報を抽出する画像処理装置を構築することができ
る。

【００８４】《第２実施例》次に、本発明の第２実施例
について図１７ないし図１９に基づいて説明する。ここ
で、前述した第１実施例と同一又は同等の構成部分につ
いては同一の符号を付すと共にその説明を省略又は簡略
する。

【００８５】図１７には、第２実施例に係る距離測定装
置８０の全体構成が示されている。この距離測定装置８
０では、ＣＣＤカメラ１２が図示しないモータを含んで
構成される撮像位置変更手段により、図１７の矢印Ａで
示されるように移動ガイド８２に沿って移動可能に構成
されている点、及び線画生成手段２４と距離演算手段２
６との間に記憶手段８４が設けられている点に特徴を有
する。

【００８６】即ち、ＣＣＤカメラ１２と撮像位置変更手
段とにより、撮像位置を変更しつつ対象物を撮像し、フ
レーム毎の画像信号を出力する撮像手段８１が構成され
ており、撮像位置変更手段では、ＣＣＤカメラ１２を微
小距離（撮像画像上で１／１６画素に相当する距離）間
隔ずつ一方から他方へ順次移動させ、この微小距離移動
（撮像位置の変更）の度に対象物の撮像が行われ、画像
信号がＣＣＤカメラ１２から出力されるようになってい
る。

【００８７】また、記憶手段８４では、撮像手段１２が
微小距離移動する度に入力データＳ２６を記憶し移動開
始位置から移動終了位置までのデータを重ね合わせて記
憶し、データＳ２６´を出力する。この記憶手段８４の
出力データ２６´は、移動間隔を極めて短くして、複数
回撮像することにより、図１８に示されるようなエッジ
線画の動いた領域が一定値で埋められた画像のデータ、
即ちエッジ線画の軌跡がある幅ｗを持った二値画像のデ
ータとなる。例えば、移動開始位置から移動終了位置ま
で５画素動かすと、５×１６＝８０回の撮像によるデー
タの重ね合わせとして所定幅の二値画像データが得られ
る。

【００８８】距離検出手段２６では、入力データＳ２６
´に基づきまず撮像開始点における線画のエッジ位置に
ついての移動開始から移動終了位置までの距離ｗを算出
する（水平方向にこのｗを計測する）ことにより視差が
もとまる。具体的には、水平方向にスキャンしゼロでな
い画素値を持つアドレスを記憶しておき、画素値ゼロを
持つアドレスまでカウンターをインクリメントし、記憶
しておいたアドレスにそのインクリメント値を書き込
む。このインクリメント値がｗに相当し、視差はｗ／１
６に相当するので、対応点を求めることなく視差が得ら
れることになる。

【００８９】三角測量の原理により、撮像手段１２の微
小移動量をε、撮像手段１２の焦点距離をｆ、撮像面上
での１画素の実寸をＬ_p、撮像面から対象物体までの距
離をＺとすると、次式により移動開始のエッジ線画位置
にＺを求めることができる。

【００９０】

【数１２】

【００９１】距離演算手段２６を構成する距離演算メモ
リ７２には、上式が予め記憶されており、距離Ｚをデー
タＳ３６´として出力する。このＳ３６´は図１９のよ
うになり幅ｗとすると式（１５）で計算される距離Ｚ_w
が移動開始のエッジ線画の画素に対し出力される。幅ｖ
の場合には、距離Ｚ_vが移動開始のエッジ線画の画素に
対し出力される。

【００９２】従って、本第２実施例によれば、微小距離
間隔毎のエッジ線画を重ね合わせることにより、撮像手
段の移動範囲を黒（又は白）の一定値で埋められた二値
画像データで表しているので、移動する撮像手段の視差
（ｗ／１６）が二値画像データにおける移動方向の幅
（ｗ）として表現され、視差を直接的に抽出できる。

【００９３】従って、対象物の形状を表す２次元データ
に容易に距離情報を持たせることができる。

【００９４】

【発明の効果】以上説明したように、本発明によれば、
左右画像の輪郭エッジの対応問題を解かなくても、画素
間にもサブピクセルデータをもつ真のエッジ位置情報を
得ることができ、真のエッジ位置の差（従来技術では視
差に相当する）から奥行き情報、即ち距離情報を求める
ことができるという従来にない優れた効果がある。

【００９５】従って、本発明によれば、ビデオレートで
対象物体の輪郭エッジの３次元座標情報を抽出する画像
処理装置を構築することができる。

【図面の簡単な説明】

【図１】本発明の第１実施例の全体構成を概略的に示す
ブロック図である。

【図２】図１の平滑・微分手段の具体的構成を示すブロ
ック図である。

【図３】図１のピーク抽出手段の具体的構成を示すブロ
ック図である。

【図４】図１のサブピクセル位置検出手段の具体的構成
を示すブロック図である。

【図５】図１の線画生成手段の具体的構成を示すブロッ
ク図である。

【図６】図１の距離演算手段の具体的構成を示すブロッ
ク図である。

【図７】ピーク抽出を行う際の方向領域を示した図であ
る。

【図８】内挿補間を説明するための図である。

【図９】エッジ強度内挿補間手段の作用を説明するため
の図である。

【図１０】サブピクセルエッジ位置演算手段の作用を説
明するための図である。

【図１１】線画生成手段への入力データのフォーマット
を説明するための図である。

【図１２】線画生成手段による小領域抽出を説明するた
めの図である。

【図１３】線画パターンの方向の分解能を説明するため
の図である。

【図１４】１画素に相当する線画パターンの表示例を示
す図である。

【図１５】（ａ）は電子部品であるコネクタを５１２×
５１２の大きさでのピーク画素で表した図、（ｂ）はコ
ネクタの一部を線画生成手段により表した図である。

【図１６】距離演算手段の作用を説明するための図であ
る。

【図１７】本発明の第２実施例の全体構成を概略的に示
すブロック図である。

【図１８】記憶手段の出力データの一例を示す図であ
る。

【図１９】第２実施例の距離演算手段の作用を説明する
ための図である。

【図２０】光路選択手段の一例を示す図である。

【符号の説明】

１０距離測定装置１１撮像手段１８平滑・微分手段（エッジ強調処理手段）２０ピーク抽出手段２２サブピクセル位置検出手段２４線画生成手段２６距離演算手段８０距離測定装置８１撮像手段

Claims

【特許請求の範囲】

【請求項１】所定間隔で撮像位置を変更しながら対象
物を撮像し各撮像位置に対応する所定間隔毎のフレーム
の画像信号を出力する撮像手段と、前記撮像手段からの各フレームの画像信号を順次平滑化
処理した後、エッジ強調のため平滑化処理後の各フレー
ムの画素毎のエッジ強度及びグラジェント角を演算し出
力するエッジ強調処理手段と、前記各フレーム毎のエッジ検出の対象となる画素の前記
グラジェント角により定まる領域内の画素のエッジ強度
に基づき当該領域内の画素の内エッジ強度が極大値を有
するピーク画素を抽出するピーク抽出手段と、前記抽出されたピーク画素と前記エッジ強調処理手段の
出力とに基づき各ピーク画素毎にエッジ位置の画素中心
からのオフセット量及び前記グラジェント角から成るサ
ブピクセルレベルのエッジ位置情報を各フレーム毎に出
力するサブピクセル位置検出手段と、フレーム毎に前記サブピクセル位置情報に基づき画素毎
に前記グラジェント角と前記画素中心からのオフセット
量とにより定まる前記ピーク画素の領域内のエッジ直線
を生成する線画生成手段と、前記線画生成手段から出力される隣接するフレーム間の
前記エッジ直線の移動距離を算出し、このエッジ直線の
移動距離より対象物までの距離を演算する距離演算手段
と、を有する距離測定装置。