JP2940317B2

JP2940317B2 - 画像処理装置

Info

Publication number: JP2940317B2
Application number: JP4246319A
Authority: JP
Inventors: 和彦鷲見; 橋本　　学
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1992-06-24
Filing date: 1992-09-16
Publication date: 1999-08-25
Anticipated expiration: 2014-08-25
Also published as: US5625717A; JPH0676062A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、例えば自動化された
製造ラインなどで用いられる画像処理装置に於いて、２
値化しにくい濃淡画像に対して、良好にテンプレートマ
ッチングを行い、画像の位置合わせや特定パターンの抽
出をおこない得る画像処理装置に関するものである。

【０００２】また、この発明は、例えば自動化された製
造ラインなどで用いられる画像処理装置に於いて、画像
中の物体を構成する領域をセグメント化する際に、２値
化ではセグメント化しにくいような濃淡画像に対して、
良好にかつ安定にセグメント化を行い得る画像処理装置
に関するものである。この発明は、例えば自動化された
製造ラインなどで用いられる画像処理装置に於いて、画
像中の物体の輪郭を構成する画素をセグメント化する際
に、良好にかつ安定にセグメント化を行い得る画像処理
装置に関するものである。

【０００３】また、この発明は、例えば自動化された製
造ラインなどで用いられる画像処理装置に於いて、ベル
トコンベヤー上に置かれて動いている認識対象物体の動
きを計測する際に、物体を高速に、かつ信頼性良く計測
を行い得る画像処理装置に関するものである。この発明
は、例えば自動化された製造ラインなどで用いられる画
像処理装置に於いて、ステレオ視の原理で対象物体の３
次元情報を得る画像処理装置に於いて、視野内に複数の
物体が存在し得るような状況で安定して３次元情報を抽
出する画像処理装置に関するものである。

【０００４】さらに、この発明は、たとえば、自動化さ
れた製造ラインなどで用いられる画像処理装置におい
て、自動的に画像中の対象物の位置、姿勢を計測または
物体の種類を判別する際に、物体の表面状態が若干不均
一であったり、照明条件が不安定であるような場合で
も、良好に、かつ安定に対象物の認識を行い得る画像処
理装置に関するものである。

【０００５】

【従来の技術】本発明に関係する従来技術について、例
えば手塚慶一、北橋忠宏、小川秀夫著、昭和６０年６月
１５日日刊工業新聞社発行の「ディジタル画像処理工
学」（以下、「文献Ａ」という。）の内容をもとに説明
する。従来の技術に関しては第５章２節「テンプレート
マッチング」中の「相互相関によるマッチング」（１０
７頁）に述べられている。本従来技術は、濃淡画像の相
互相関を利用しているため、２値化画像によるテンプレ
ートマッチングと異なり、２値化しにくい画像に対して
も良好にマッチングが可能なことが一つの利点である。
図３１は、本従来例に記述された技術を用いた相互相関
によるテンプレートマッチング装置の構成を示すブロッ
ク図である。装置は参照パターン格納手段８１、目的画
像格納手段８２、類似度計算手段８３、スコアマップ８
４、制御手段８５から構成されている。また図３２は、
前記テンプレートマッチング装置における処理の流れを
フローチャートに表現したものである。以下、この図の
流れに従って、従来の技術を説明する。

【０００６】処理が開始されると（ＳＴ９１）、まず目
的画像がカメラ等から入力され、目的画像格納手段８２
に格納される。参照パターンは予め装置内の参照パター
ン格納手段８１に格納されているとする。参照パターン
は目的画像に重ね合わされるが、その時のずれ量をまず
設定する（ＳＴ９２）。あるずれ量が決まると、参照パ
ターンは目的画像にそのずれ量だけずらされて重ね合わ
され、類似度計算手段８３によって類似度が画像間の相
関値として計算される（ＳＴ９３）。この時の相関計算
は前記従来技術を説明した文献Ａに記載されているが、
次式のようになる。

【０００７】 M(a,b)=｛ΣΣI(i,j)R(i-a,i-b)｝/｛(ΣΣI²(i,j))^1/2(ΣΣR²(i-a,i-b))^1/2｝（式１）

【０００８】ここで、Ｍは類似度、ａ，ｂはそれぞれ
ｉ，ｊ方向の画像の前記ずれ量、Ｉは目的画像、Ｒは参
照パターンである。この類似度がずれ量（ａ，ｂ）にお
けるスコアとしてスコアマップ８４に格納される（ＳＴ
９４）。ずれ量ａ，ｂが予め設定された全範囲にわたっ
て調べられたら（ＳＴ９５）処理を終了（ＳＴ９６）す
るが、未調査のａ，ｂが存在するのならもう一度（ＳＴ
９２）に戻って処理を繰り返す。以上のようにして２次
元のスコアマップ８４が類似度で埋められると、制御手
段８５がスコアマップ８４を探索し、スコアが最大にな
る位置（ａ，ｂ）を見付けると、それが目的画像中の最
も参照パターンとよく一致する位置を示していることに
なる。

【０００９】また、請求項２及び３に関係する従来技術
について、例えば文献Ａの内容をもとに説明する。従来
の技術に関しては第４章３節「領域の分割」中の「モー
ド法」（７９頁）に述べられている。図３３は、本従来
例に記述された技術を用いた画像領域セグメント化装置
の構成を示すブロック図である。装置は原画像格納手段
２１４１、濃度ヒストグラム生成手段２１４２、しきい
値決定手段２１４３、２値化手段２１４４、領域セグメ
ント化手段２１４５より構成されている。

【００１０】図３４は、前記画像領域セグメント化装置
における処理の流れをフローチャートに表現したもので
ある。以下、この図の流れに従って、従来の技術を説明
する。処理対象となる画像は予めメモリに格納されてい
ると仮定する。処理がスタートすると（ＳＴ２１５
１）、まず原画像をもとに濃度ヒストグラム生成手段２
１４２によって画像の濃度ヒストグラムが生成される
（ＳＴ２１５２）。濃度ヒストグラムとは、画像上の画
素値のとる濃度がどのくらいの頻度で出現しているかを
表すもので、図３５に一例を示している。ＳＴ２１５３
では濃度ヒストグラムからしきい値決定手段２１４３に
より、しきい値を決定する。図３５のような双峰性のヒ
ストグラムの場合はその分かれ目となる濃度付近がしき
い値として設定される。次の画像はそのしきい値をもと
に、２値化手段２１４４によって２値化され（ＳＴ２１
５４）、最終的に２値化画像を領域セグメント化手段２
１４５によってセグメント化し（ＳＴ２１５５）、処理
を終了する（ＳＴ２１５６）。

【００１１】請求項４に関係する従来技術について、例
えば文献Ａの内容をもとに説明する。従来の技術に関し
ては第８章３節「線画の解釈」中の「多面体とその線
画」に述べられている（１７６頁）。図３６は、本従来
例に記述された技術を用いた画像輪郭セグメント化装置
の構成を示すブロック図である。装置は原画像格納手段
２１７１、輪郭抽出手段２１７２、直線近似手段２１７
３、輪郭セグメント化手段２１７４、頂点辞書２１７６
から構成されている。

【００１２】図３７は本従来例による装置の動作を表現
したフローチャートであり、以下、これを用いて従来の
技術を説明する。まず最初に原画像がカメラ等から入力
され（ＳＴ２１８１）、原画像格納手段２１７１に格納
される。次いで該原画像は輪郭抽出手段２１７２によっ
て画像中の物体の輪郭部分が抽出される（ＳＴ２１８
２）。ここで輪郭とは、必ずしも部分のアウトラインと
いう意味ではなく、例えば多面体の稜線など面と面との
まじわりとして定義される線や、その他の理由で生じた
画像中の濃度変化の急峻な部分をも表すとする。さて、
抽出された輪郭部分は直線近似手段２１７３により、近
似的に直線に分割され、直線要素の集合として格納され
る（ＳＴ２１８３）。

【００１３】次に、輪郭セグメント化手段２１７４の動
作についてより詳細に記述する。これら直線のうち、ま
ず既知輪郭にマークがつけられる（ＳＴ２１８４）。マ
ークとは一連の番号などのＩＤの意味で、全部の直線要
素にマークをつけることが輪郭セグメント化装置として
の前記装置の役割である。さて、続く処理で画像中から
任意の頂点が選ばれることによってひとつの実形状を仮
定する（ＳＴ２１８５）。ここでは頂点辞書２１７６が
参照される。頂点辞書とは、図３８に示したようなもの
で、頂点とそれから延びる稜線について現実の３次元世
界に存在し得る組み合わせを予めすべての場合について
書き出したものである。図中の稜線についている符号
は、＋なら凸稜線、−なら凹稜線であることを示してい
る。前記輪郭とはこの頂点辞書中の稜線に相当する。さ
て、任意に選ばれた頂点につながる稜の形状を決定す
る。稜の形状は稜の他端にまで保存されるという原則に
基づき、これらの稜の他端にある頂点形状の決定の前提
条件とする。稜の決定とは前記の凹凸符号のことであ
る。このようにして全ての頂点が調べられるまで処理を
繰り返す（ＳＴ２１８６）。もし頂点の選び方に矛盾が
生じていたら矛盾が生じた段階まで戻って頂点の選択を
やり直し（ＳＴ２１８７）、矛盾無く全部の頂点が定義
できるかどうかを試みる。もしできたなら、直線要素に
矛盾無くマークがつけられたことになり、即ち輪郭のセ
グメント化が終了したことになる（ＳＴ２１８８）。本
装置の出力はラベル（マーク）付けされた輪郭（あるい
は直線要素記述）２１７５である。

【００１４】さらに、請求項５及び６に関する従来技術
の一例について、谷内政彦著１９９０年１０月３０日株
式会社昭晃堂発行の「ロボットビジョン」（以下、「文
献Ｂ」という。）の内容をもとに説明する。従来の技術
に関しては、同書中、８．３．「画面間の対応付け」
（２１２頁）に述べられている。図３９は、本従来例に
記述された技術を用いて構成した画像処理装置のブロッ
ク図である。装置は、２つの原画像メモリ３１０１，３
１０２、輪郭抽出手段３１０３，３１０４、セグメント
抽出手段３１０５，３１０６、短線分化手段３１０７，
３１０８、セグメント照合手段３１０９、短線分照合手
段３１０Ａ、及び、動きベクトル計算手段３１０Ｂより
構成されている。

【００１５】図４０は、前記従来の画像処理装置の動作
を示すフローチャートである。以下、このフローチャー
トに沿って処理を説明する。従来の画像処理装置の目的
は２枚の連続した画像から動いている物体の動きを検出
することである。図４１は連続した画像を模式的に表現
した一例であり、画像Ｆ２（３１２２）は画像Ｆ１（３
１２１）の後にカメラで撮像したものである。図４１は
前記文献Ｂから引用した。本従来例では画像中の背景と
しての樹木（３１２３，３１２４，３１２５，３１２
６）は静止しており、中央部の動物体（３１２７，３１
２８）のみが動いている。

【００１６】さて、図４１の画像Ｆ１が原画像メモリ
（Ｆ１）３１０１に、画像Ｆ２が原画像メモリ（Ｆ２）
３１０２に格納されてるとする。従来の装置が起動する
と（ＳＴ３１１１），（ＳＴ３１１２）で最初に２枚の
前記原画像から移動領域が抽出される。これは画像全体
を小領域に分割し、明るさの似ている部分の対応を調べ
る相関法などにより行われる。この例では、図４１中の
河馬様の動物の部分が抽出される。続いて（ＳＴ３１１
３）では、輪郭抽出手段３１０３により原画像Ｆ１の輪
郭部分が抽出されたのちにセグメント抽出手段３１０５
により、セグメンテーションされる。同様に、（ＳＴ３
１１４）では原画像Ｆ２に対応する移動領域の輪郭が、
輪郭抽出手段３１０４により抽出され、さらにセグメン
ト抽出手段３１０６によりセグメンテーションされる。

【００１７】ここで、セグメンテーションについて説明
する。従来技術における輪郭のセグメンテーションと
は、ある領域の境界を、端点、Ｔ接合などでセグメン
ト、すなわちある長さをもった輪郭線の一部分として切
り出し、それらの集合として輪郭を記述することであ
る。（ＳＴ３１１５）では上記セグメント抽出手段３１
０５、３１０６によってセグメント化された移動領域の
照合が、セグメント照合手段３１０９によって行われ
る。図４２は前述の文献Ｂから引用した図であるが、セ
グメント照合を説明するための図である。図中、３１３
１は画像Ｆ１の移動物体の輪郭の一部、３１３２は画像
Ｆ２の移動物体の輪郭の一部であり、ほぼ対応する部分
を並べて描いている。同図で、四角いマーク（□）で両
端に挟まれた輪郭部分がセグメントである。本例ではＦ
１側セグメントＡ_kと、Ｆ２側セグメントＡ’_mが対応
することを示している。

【００１８】次いで（ＳＴ３１１６）および（ＳＴ３１
１７）では、前記セグメント抽出手段の出力を使って輪
郭を短い線分で記述する短線分化処理が、短線分化手段
３１０７，３１０８によって施される。得られたＦ１，
Ｆ２それぞれに対応した短線分データは（ＳＴ３１１
８）において短線分照合手段３１０Ａによって照合さ
れ、短線分レベルでの２画面間の照合が行われたことに
なる。この様子は、図４２においては画像Ｆ１側の短線
分Ｌ₁，Ｌ₂，Ｌ₃がそれぞれ画像Ｆ２側の短線分
Ｌ₁′，Ｌ₂′，Ｌ₃′に対応した例として表現されて
いる。最後に、（ＳＴ３１１９）において動きベクトル
計算手段３１０Ｂによって画像Ｆ１，Ｆ２中の動物体
（３１２７，３１２８）の動きベクトルが計算され、処
理は終了する（ＳＴ３１１Ａ）。

【００１９】次に請求項７に関係する従来例について、
谷内田正彦著，１９９０年１０月３０日株式会社昭光堂
発行の「ロボットビジョン」の内容に基づき説明する。
同書中、４．３．２「領域分割法」（７９頁）、４．
３．３「エッジ検出と領域法」（８２頁）、５．１．１
「いくつかの基本的な特徴」（９１頁１）、６．１．３
「大局的特徴を用いたパターン認識」（１０９頁）、
６．２「領域間の関係も利用した認識」（１１７頁）に
述べられている。

【００２０】まず、最初に上記著書に述べられている従
来の画像認識処理技術の流れの概略について説明し、引
き続いて上記著書で使用される従来の画像領域分割技術
について詳細に説明する。

【００２１】図４３は上記文献に記述された技術を用い
た画像処理装置の一例としての画像認識装置の構成を示
すブロック図である。この図４３の画像処理装置は、対
象物４０７２を撮像するテレビジョン（以下、テレビと
いう）カメラ４０７１、このテレビカメラ４０７１で撮
像された対象物４０７２の画像に対して所定の領域を抽
出する領域抽出手段４０７３、この領域抽出手段４０７
３で抽出された領域の中から特徴量を計算する特徴抽出
手段４０７４、この特徴量を記憶する特徴空間メモリ４
０７５、この特徴空間メモリ４０７５上での対応するク
ラス代表値４０７６と特徴量からクラスの分類をして、
その結果４０７８を決定するクラス分類手段４０７７か
ら構成されている。

【００２２】図４４は図４３の画像処理装置の動作の流
れを示すフローチャートである。以下に、この図４４の
フローチャートに沿って動作について説明する。この図
４３の画像処理装置の目的は画像中の物体が何であるか
を判定し、分類することである。このための動作の流れ
は、図４４のように、大きく、二つの部分、すなわち、
「準備段階」と、「実行段階」とに分けられる。

【００２３】まず、準備段階では、認識したい対象物４
０７２自体あるいは対象物４０７２と同一範ちゅうに分
けられる対象物４０７２をテレビカメラ４０７１で撮像
する（ＳＴ４０８１）。次に、このテレビカメラ４０７
１で撮像して得られた対象物４０７２の画像に対して、
領域抽出手段４０７３が領域の抽出を行うとともに（Ｓ
Ｔ４０８２）、この抽出された領域中の何らかの特徴を
特徴抽出手段４０７４で抽出して、特徴量を計算し、そ
の特徴空間メモリ４０７５上での対応する位置に点をプ
ロットする（ＳＴ４０８３）。

【００２４】図４５はこの特徴空間メモリ４０７５の説
明図である。この従来例では、特徴の種類として、「領
域の面積（Ｘ１）」と、「領域の円らしさ（Ｘ２）」の
２種類を用いている。これらの２種類の特徴量は、とも
にスカラ量で表現されるので、ある領域一つについて、
領域の面積Ｘ１と円らしさＸ２の組が１組計算される。
したがって、図４５のような２次元の特徴空間にプロッ
トすることができる。三つ以上の特徴を用いる場合も同
様であり、特徴の数と同じ次元の特徴空間を使用すれば
よい。図４４の（ＳＴ４０８１）〜（ＳＴ４０８３）の
処理を対象物４０７２の位置を動かしたり、他の対象物
と取り替えたりしながら繰り返すと、特徴空間メモリ４
０７５には、多数の点がプロットされる。

【００２５】次に、（ＳＴ４０８４）では、特徴空間か
らクラスタの抽出が行われる。たとえば、図４５の例で
は、プロットされた多数の点は、特徴空間では、ほぼ三
つの塊を形成している。これらをクラス１（Ｃ１）、ク
ラス２（Ｃ２）、クラス３（Ｃ３）とする。これらのク
ラス１（Ｃ１）〜クラス３（Ｃ３）を代表する点を各ク
ラスごとに一つ決定する。この従来例では、各クラスに
属する点の重心の位置をクラスの代表点として採用して
いる。これがクラス代表値４０７６である（ＳＴ４０８
５）。以上の処理が準備段階の処理である。

【００２６】次に、実行段階の処理について説明する。
実行段階では、テレビカメラ４０７１の前に置かれた未
知の対象物の種類を判定する段階である。まず、（ＳＴ
４０８６）で未知の対象物４０７２をテレビカメラ４０
７１で撮像する。このテレビカメラ４０７１で撮像され
た画像信号は、（ＳＴ４０８７）において、領域抽出手
段４０７３で領域が抽出される。さらに、特徴抽出手段
４０７４でその抽出された領域の特徴が抽出される。特
徴の種類は準備段階における特徴と同様のものが使用さ
れる。すなわち、面積（Ｘ１′とする）、円らしさ（Ｘ
２′とする）である。

【００２７】次に、（ＳＴ４０８８）で、クラス分類手
段４０７７により、この未知の対象物４０７２の特徴点
が特徴空間上のクラスに属するかを判定する。すなわ
ち、準備段階で得られた各クラス代表値｛図４５におけ
るクラス１（Ｃ１）、クラス２（Ｃ２）、クラス３（Ｃ
３）と、面積Ｘ１′、円らしさＸ２′｝の距離を計算し
（図４５におけるｄ₁，ｄ₂，ｄ₃に対応）、次の（Ｓ
Ｔ４０８９）で最も近いクラスを未知の対象物のクラス
であると決定し、処理を終了する（ＳＴ４０８Ａ）。

【００２８】次に、上記の従来の画像処理装置の一例と
しての画像認識装置の動作について説明する。図４６は
グラフマッチング方式と呼ばれている従来の画像処理装
置の処理の流れを示すフローチャートである。この図４
６において、まず、（ＳＴ４１０１）で計算機内部に認
識に用いるモデルをグラフ表現したモデルグラフを生成
しておく。図４７はモデルグラフの一例を示す。対象物
は領域分割され、各領域の相互関係がグラフ表現されて
いる。図４７のノードＡ４１１１、ノードＢ４１１２、
ノードＣ４１１３はある対象物の領域を表しており、相
互に連結する矢印が領域間の関係を表現している。

【００２９】次に、（ＳＴ４１０２）で認識対象物の画
像が入力され、続いて、（ＳＴ４１０３）で画像から適
当な領域抽出手段によって、いくつかの領域が抽出され
る。次の（ＳＴ４１０４）では、それらの領域の相互関
係がグラフ表現される。図４７において、ノードａ４１
１４、ノードｂ４１１５、ノードｃ４１１６が対象物の
複数の領域を表し、また、各ノードを連結する矢印が領
域間の関係を表している。対象物の認識は（ＳＴ４１０
５）でグラフ同士の照合により行われる。すなわち、図
４７の例では、モデルグラフのノードを連結する矢印群
と、認識対象物である入力グラフのノードを連結する矢
印群が照合され、対応を示す矢印４１１７，４１１８，
４１１９のように表わされている。この対応付けの確か
さを何らかの評価指標で評価し、もっと確らしい対応を
もって、対象物を認識して、処理を終了する（ＳＴ４１
０６）。

【００３０】以上で請求項７に関係する２種類の従来の
画像処理装置の動作の概略を説明したが、この説明から
も明らかなように、従来の画像処理装置では、画像の領
域を抽出し、認識過程に供する。したがって、次に、従
来の領域抽出手段の動作について説明する。図４８は従
来の領域抽出手段を説明するためのフローチャートであ
る。まず、（ＳＴ４１２１）では、領域を抽出すべき画
像内のある画素Ｐ_iに注目する。図４９はこの従来例で
画像から領域が抽出される様子を表現した図であり、図
４９（ａ）は領域を抽出すべき画像平面４１３１を示
す。この例では、画像平面４１３１は３種類の画素、す
なわち、図中の「○」印、「△」印、「×」印で表現さ
れた画素から成っている。

【００３１】次いで、（ＳＴ４１２２）では、注目画素
Ｐ_iを、注目画素P1_iのもつ３種類の特徴量（Ｘ_i，Ｙ
_i，Ｚ_i）に応じて３次元の特徴空間にプロットする。
この場合の使用する特徴量は必ずしも３種類である必要
はないが、特徴空間の次元は特徴量の数に一致する。画
像平面４１３１上の全画素に対して、プロットしたか否
かを調べて（ＳＴ４１２３）、全画素に対してプロット
していなければ、（ＳＴ４１２４）で別の注目画素P1_i
を選んで、再び（ＳＴ４１２２）の処理を行うが、上記
（ＳＴ４１２３）において、全画素に対してプロットし
終わって図４９（ｂ）に示すように写像すれば、（ＳＴ
４１２５）の処理を行う。

【００３２】この（ＳＴ４１２５）では、特徴空間内の
多数の点をクラスタ分割する。図４９（ｂ）は図４９
（ａ）で示した画像平面４１３１内のすべての画素が特
徴空間４１３２内にプロットされ、破線で包囲された三
つのクラスタに分割された様子を示している。図４９
（ａ）の画像平面４１３１内の「○」印の画素群は特徴
空間４１３２では、破線で囲まれた部分４１３４にプロ
ットされている。同様に、画像平面４１３１内の「△」
印の画素群は部分４１３５にプロットされ、画像平面４
１３１内の「×」印の画素群は部分４１３６にプロット
されている。

【００３３】この３種類の破線で囲まれた部分４１３
４，４１３５，４１３６を基に、（ＳＴ４１２６）で
は、画素を画像平面に図４９（ｃ）に示すように、逆写
像する。この図４９（ｃ）は逆写像された画像平面４１
３３を示している。すなわち、図４９（ｂ）に示した特
徴空間４１３２上で部分４１３４にプロットされた画素
は値「１」として画像平面４１３３に記録し、部分４１
３５にプロットされた画素は値「２」として画像平面４
１３３に記録し、部分４１３６にプロットされた画素は
値「３」として画像平面４１３３に記録して処理を終了
する（ＳＴ４１２７）。この時点で画像平面４１３３に
は、３種類の異なる値からなる画像が生成されており、
画像が領域に分かれている。従来の技術では、以上のよ
うに、領域抽出が行われる。

【００３４】

【発明が解決しようとする課題】上記従来の画像処理装
置は、画像の類似度を計算するのに、（式１）のような
相互相関を求めることが必要なために、計算が複雑で処
理時間がかかるという問題点があった。また、（式１）
に表されているような演算をハードウェアで実現しよう
としても、回路が複雑で大規模になるという問題点があ
った。

【００３５】また、上記請求項２及び３に関係する従来
の画像処理装置では、濃度ヒストグラムから２値化しき
い値を決定するため、濃度ヒストグラムが双峰性をもつ
ことが必要であり、無峰性、単峰性あるいは３つ以上の
ピークが存在するようなヒストグラムを生成する画像に
対しては良好なしきい値を決定することができず、２値
化によって領域をセグメント化しにくいという問題点が
あった。

【００３６】上記請求項４に関係する従来の画像処理装
置では、頂点辞書をもとに輪郭点あるいは輪郭点から生
成した直線要素セグメント化するため、頂点辞書や、頂
点辞書との整合性を判断する手段が必要であり、通常そ
れらは複雑な手続きによるために処理時間がかかった
り、処理を電子回路で実現する場合には回路規模が大き
くなるという問題点があった。

【００３７】さらに、上記請求項５及び６に関係する従
来の画像処理装置では、動きを抽出する前に移動領域が
抽出されていることが前提になっているが、例えば相関
法による移動領域抽出では、画面間での明るさや形状が
あまり変化しない場合以外は適用が困難であるという問
題点があった。動きベクトルを輪郭情報をもとに計算す
るのには時間がかかり、３枚以上の連続画像から逐次移
動領域の動きを抽出するような目的には不向きであると
いう問題点があった。

【００３８】従来の技術では、輪郭線を使用して動きを
みつけているので、画面内に目的の物体以外の物体が複
数存在する場合には不要な輪郭線が発生し、正確な短線
分照合が困難になるという問題点もあった。

【００３９】また、上記請求項第７項に関係する従来の
画像処理装置では、画像を領域に分割し、領域ごとに得
られた情報（特徴量）を基に認識を行うため、認識対象
物の領域分割が計算機モデルの領域情報と同じでない場
合には、認識の信頼性が著しく低下するという問題点が
あった。前述のグラフマッチングについては、前記文献
１１７頁にも「画像から完全な記述が得られれば、比較
的容易である」と解説されている。すなわち、領域分割
の信頼性が劣化し、結果が不安定な場合には、認識が困
難になるという問題点があった。

【００４０】また、領域分割技術については、従来の技
術では、一つの面上ではよく似た特徴量をもつ画素が多
いという仮定のもとに、明るさ、色などの特徴量を使っ
て画像を領域に分割している。装置規模などの制約から
色情報が使用できない場合には、画素ごとの明るさ情報
が領域分割の重要な特徴量となる。したがって、面内で
明るさが変化する場合や、照明むらなどによって画像全
体に明るさ変化が生じている場合には、領域分割の結果
が不安定になり、結果的に上記従来例において、物体の
認識が困難になるという問題点があった。

【００４１】この発明は上記のような問題点を解消する
ためになされたもので、原画像を空間的バンドパスフィ
ルタリング処理し、この処理値をしきい値処理して得た
データに基づいて画像処理を行う画像処理装置を得るこ
とを目的とする。

【００４２】

【課題を解決するための手段】請求項１に係る発明は、
以上のような課題を解決するためになされたもので、２
つのガウス関数の差を算出する空間的バンドパスフィル
タを参照パターンおよび目的画像のそれぞれに作用させ
る空間的バンドパスフィルタリング手段と、該空間的バ
ンドパスフィルタリング手段の出力を輪郭画素に対応す
る値よりも小さな第１のしきい値及び前記輪郭画素に対
応する値よりも大きな第２のしきい値を用いてしきい値
処理し３値画像を得る３値化処理手段と、該３値化処理
手段の出力をもとに画像の類似度を決定する類似度計算
手段とを設けた。

【００４３】また、請求項２に係る発明は、上記課題を
解決するためになされたもので、２つのガウス関数の差
を算出する空間的バンドパスフィルタを原画像に作用さ
せる空間的バンドパスフィルタリング手段と、前記空間
的バンドパスフィルタリング手段の出力を輪郭画素に対
応する値よりも小さな第１のしきい値および前記輪郭画
素に対応する値よりも大きな第２のしきい値を用いてし
きい値処理する３値化処理手段と、第１のしきい値と第
２のしきい値の間の値を持つ画素のみを用いて画像をセ
グメント化するような領域セグメント化手段を持つよう
にした。

【００４４】また、請求項３に係る発明は、上記課題を
解決するためになされたもので、２つのガウス関数の差
を算出する空間的バンドパスフィルタを原画像に作用さ
せる空間的バンドパスフィルタリング手段と、前記空間
的バンドパスフィルタリング手段の出力を輪郭画素に対
応する値よりも小さな第１のしきい値及び前記輪郭画素
に対応する値よりも大きな第２のしきい値を用いて各画
素が３種類の値のどれかひとつを持つように変換する３
値化処理手段と、前記３値化処理手段の出力から前記３
種類の値ごとに領域をセグメント化する領域セグメント
化手段と、前記領域セグメント化手段の出力を必要に応
じて合成するセグメント合成手段をもつようにした。

【００４５】また、請求項４に係る発明は、上記課題を
解決するためになされたもので、２つのガウス関数の差
を算出する空間的バンドパスフィルタを原画像に作用さ
せる空間的バンドパスフィルタリング手段と、前記空間
的バンドパスフィルタリング手段の出力を輪郭画素に対
応する値よりも小さな第１のしきい値及び前記輪郭画素
に対応する値よりも大きな第２のしきい値を用いてしき
い値処理する３値化処理手段と、第１のしきい値と第２
のしきい値の間の値を持つ画素のみを用いて画像をセグ
メント化するような領域セグメント化手段と、画像から
輪郭画素を抽出する輪郭抽出手段と、前記輪郭抽出手段
の出力である輪郭画素毎に該画素に最も近い領域セグメ
ントを求めることによって該画素のセグメント化を行な
う輪郭セグメント化手段を持つようにした。

【００４６】また、請求項５に係る発明は、上記課題を
解決するためになされたもので、２つのガウス関数の差
を算出する空間的バンドパスフィルタを原画像に作用さ
せる空間的バンドパスフィルタ手段と、前記空間的バン
ドパスフィルタリング手段の出力を輪郭画素に対応する
値よりも小さな第１のしきい値及び前記輪郭画素に対応
する値よりも大きな第２のしきい値を用いてしきい値処
理するしきい値処理手段と、前記しきい値処理手段の出
力をもとに画像中の領域をラベル付けするラベリング手
段と、前記ラベルの画像中の位置を検出するラベル位置
検出手段と、連続画像中の２つの異なった画像に対して
前記空間的バンドパスフィルタ手段、前記しきい値処理
手段、前記ラベリング手段、及び前記ラベル位置検出手
段をそれぞれ作用させて得られた２つのラベル位置の画
像上の位置関係から動いている物体の動きベクトルを抽
出する動きベクトル抽出手段とをもつようにした。

【００４７】また、請求項６に係る発明は、上記課題を
解決するためになされたもので、２つのガウス関数の差
を算出する空間的バンドパスフィルタを原画像に作用さ
せる空間的バンドパスフィルタ手段と、前記空間的バン
ドパスフィルタリング手段の出力を輪郭画素に対応する
値よりも小さな第１のしきい値及び前記輪郭画素に対応
する値よりも大きな第２のしきい値を用いてしきい値処
理するしきい値処理手段と、前記しきい値処理手段の出
力をもとに画像中の領域をラベル付けするラベリング手
段と、前記ラベルの画像中の位置を検出するラベル位置
検出手段と、複数の原画像をもとに得られた複数のラベ
ル位置検出手段から前記複数の原画像上で動く注目物体
のラベルの画面間の対応付けを計算するラベル対応計算
手段と、前記連続画像の最初及び最後の画像から輪郭部
分を抽出する輪郭抽出手段と、前記ラベル対応計算手段
の出力及び前記輪郭抽出手段の出力をもとに前記連続画
像の最初と最後の画像間の注目する物体に関する視差を
計算する視差計算手段とをもつようにした。

【００４８】さらに、請求項７に係る発明は、上記課題
を解決するためになされたもので、認識すべき対象物の
原画像を得る原画像入力手段と、２つのガウス関数の差
を算出する空間的バンドパスフィルタを画像に作用させ
る空間的バンドパスフィルタ手段と、この空間的バンド
パスフィルタ手段の出力を輪郭画素に対応する値よりも
小さな第１のしきい値及び前記輪郭画素に対応する値よ
りも大きな第２のしきい値を用いてしきい値処理するし
きい値処理手段と、このしきい値処理した値から画像領
域を抽出するラベリング手段と、原画像から明るさをも
とにした濃度情報を抽出するための濃度情報抽出手段
と、ラベリング結果と濃度情報を合成して濃度情報付き
領域ラベル情報を生成する濃度情報付きラベル生成手段
と、濃度情報付きラベルをモデルデータと照合するマッ
チング手段をもつようにした。

【００４９】

【作用】請求項１に係る発明は、参照パターンおよび目
的画像に対して、空間的バンドパスフィルタリングが施
され、さらにこの出力が２種類のしきい値によって３値
化され、３値表現された参照パターンと目的画像とをも
とに類似度を計算するように作用する。

【００５０】また、請求項２に係る発明は、原画像に対
して空間的バンドパスフィルタがかけられ、その結果の
うち、予め設定された２つのしきい値にはさまれた値を
もつ画素のみを用いて領域がセグメント化されるように
作用する。

【００５１】また、請求項３に係る発明は、原画像に対
して空間的バンドパスフィルタがかけられ、その結果の
うち、予め設定された２つのしきい値の大きいほうより
大きな値を持つ画素のみを用いて画像をセグメント化し
た結果、小さいほうより小さな値を持つ画素のみを用い
て画像をセグメント化した結果、および２つのしきい値
にはさまれた値をもつ画素のみを用いて画像をセグメン
ト化した結果をそれぞれ格納し、最後にそれらを合成し
て領域のセグメント化を行なうように作用する。

【００５２】また、請求項４に係る発明は、予め画像に
対して空間的バンドパスフィルタがかけられ、その結果
のうち、予め設定された２つのしきい値にはさまれた値
をもつ画素のみを用いて領域がセグメント化され、原画
像から抽出された輪郭の各画素毎に該画素に最も近い前
記領域セグメント番号を調べてそれを該画素の番号とす
ることで、全ての輪郭画素をセグメント化するように作
用する。

【００５３】また、請求項５に係る発明では、まず原画
像に対して空間的バンドパスフィルタがかけられ、その
結果をしきい値処理した後に特定の値をとる部分を使用
してラベリングが行われ、画像中の複数の領域が抽出さ
れ、位置が計算される。動きを抽出したい２枚の画像そ
れぞれに対して以上の処理が行われて最終的に領域の位
置関係から動きベクトルが抽出されるように作用する。

【００５４】また、請求項６に係る発明では、原画像に
対して空間的バンドパスフィルタがかけられ、その結果
をしきい値処理した後に特定の値をとる部分を使用して
ラベリングが行われ、画像中の複数の領域が抽出され、
位置が計算される。さらに、連続した複数の原画像に対
して以上の処理が行われることで得られるラベル位置情
報をもとに、ラベル間の位置的対応が計算される。一
方、前記連続画像の最初と最後の原画像から輪郭部分が
抽出され、前記ラベル対応情報をもとに最終的に前記連
続画像の最初と最後の画像間の視差が計算されるように
作用する。

【００５５】さらに、請求項７に係る発明では、空間的
バンドパスフィルタ手段により原画像に対して空間的バ
ンドパスフィルタをかけ、その結果をしきい値処理手段
によりしきい値処理した後、ラベリング手段により特定
のしきい値をとる部分を利用してラベリングを行って、
画像中の複数の領域を抽出する。また、原画像から前記
複数の領域に相当する部分の明るさ情報が領域ごとに濃
度情報抽出手段により取り出され、平均化されるなどの
加工処理を濃度情報付きラベル生成手段により行って濃
度情報付きラベルとして格納する。この後に、マッチン
グ手段により同様の形式であらかじめ計算機内に格納さ
れているモデルデータと照合されて、対象物を認識する
ように作用する。

【００５６】

【実施例】

実施例１．以下、本発明の実施例１について添付した図
面を用いて説明する。図１は、本発明の実施例１におけ
る画像処理装置の構成を示すブロック図であり、図２は
実施例１の動作の主要部分の流れを示すフローチャート
である。以下このフローチャートにそって画像処理装置
の動作を説明する。

【００５７】画像処理装置は動作を開始すると（ＳＴ２
１）、最初に予め装置内に格納されていた濃淡画像とし
ての参照パターン１４に対してＤＯＧフィルタリング手
段１５によりＤＯＧフィルタを作用させる（ＳＴ２
２）。ＤＯＧフィルタとは、Difference of Gaussianの
フィルタの意味であり、一次元のフィルタは以下のよう
な式で定義される。

【００５８】 DOG(x)=[1/((2π)^1/2Se)]exp(-x²/(2Se²)) -[1/((2π)^1/2Si)]exp(-x²/(2Si²)) （式２）

【００５９】この（式２）の右辺は、２つのガウス関数
の差になっている。Ｓｅ，Ｓｉはそれぞれガウス関数の
標準偏差を決定するパラメータであり、定数である。図
３に示したのは（式２）で表現されたＤＯＧ関数の一例
である。画像処理装置では２次元の画像を扱うので、Ｄ
ＯＧ関数は以下の（式３）のようになる。

【００６０】 DOG(x,y)=[1/((2π)^1/2Se)]exp(-(x+y)²/(2Se²)) -[1/((2π)^1/2Si)]exp(-(x+y)²/(2Si²)) （式３）

【００６１】このようなＤＯＧ関数は、空間的にはバン
ドパスフィルタとしての性質を示している。画像処理装
置では、Ｓｅ＝1.０、Ｓｉ＝1.６とし、ディジタルフィ
ルタとしてのフィルタサイズを７×７画素とした。

【００６２】ＤＯＧフィルタリング手段１５の出力はし
きい値処理手段１６によって、３値化処理される（ＳＴ
２３）。図４はＤＯＧフィルタおよび３値化処理の効果
を説明する図である。簡単のために１次元の場合を説明
する。図４（ａ）は原画像中の輪郭近傍における濃度パ
ターン４１を示している。これに（式２）のようなＤＯ
Ｇフィルタをかけると、図４（ｂ）のような出力４２が
得られる。原画像にフィルタを作用させるには、原画像
と２次元ＤＯＧフィルタ関数の畳み込み演算を行なう。
３値化のために、２種類のしきい値ｔｈ１（４２１）お
よびｔｈ２（４２２）が設定されている。画像処理装置
ではｔｈ１＞０、ｔｈ２＜０、ｔｈ１＝−ｔｈ２となる
ように選んでいる。ここでは輪郭画素に対応する値を
０、輪郭画素に対応する値よりも小さな第１のしきい値
をｔｈ２、輪郭画素に対応する値よりも大きな第２のし
きい値をｔｈ１としたものを用いて説明する。３値化は
これら２つのしきい値により、前記ＤＯＧフィルタリン
グ手段１５の出力を、ｔｈ１より大きい画素は＋１、ｔ
ｈ２とｔｈ１の間の値をもつ画素は０、ｔｈ２以下の値
をもつ画素は−１となるように処理する。図４（ｃ）は
（ｂ）のＤＯＧ出力を３値化信号４３化した様子を示し
ている。３値化された画像はメモリ＃１（１７）に格納
される。

【００６３】（ＳＴ２４）ではカメラである原画像入力
手段１１から画像を取り込み、ＤＯＧフィルタリング手
段１２によってＤＯＧフィルタを作用させる。次いでそ
の出力をしきい値処理手段１３によって３値化する（Ｓ
Ｔ２５）。３値化された画像はメモリ＃２（１８）に格
納される。

【００６４】（ＳＴ２６）では参照パターンと目的画像
の重ね合わせ位置を示す重ね合わせずれ量（ａ，ｂ）が
決定される。（ＳＴ２７）で、前記ずれ量にしたがって
目的画像の上に参照パターンが重ね合わされ、メモリ＃
１（１７）、メモリ＃２（１８）からそれぞれ読み出さ
れた値をもとに、類似度計算手段１９によって類似度が
計算される。類似度Ｍは次式によって計算される。な
お、ｉ＝０〜ｎ、ｊ＝０〜ｍである。

【００６５】 M(a,b)=ΣΣf(R(i,j),I(i+a,j+b)) （式４）

【００６６】ここで、ｍは参照パターンのｊ方向のサイ
ズ、ｎはｉ方向のサイズ、Ｒ（ｉ，ｊ）は参照パター
ン、Ｉ（ｉ，ｊ）は目的画像である。ｆ（α，β）は参
照パターンの値がαで、目的画像の値がβであるときの
評価値を決定する関数で、図５に示したような値をと
る。計算された類似度は（ＳＴ２８）でスコアマップ２
０に格納される。ずれ量（ａ，ｂ）について、予め設定
されている全範囲にわたって調べられていないなら（Ｓ
Ｔ２９）、再び（ＳＴ２６）に戻って新しいずれ量
（ａ，ｂ）を決定して（ＳＴ２７）から（ＳＴ２８）ま
での処理を繰り返す。（ＳＴ２９）で全範囲調べ終わっ
たならば制御手段２１によってスコアマップ２０が探索
され、最も大きい値をとる位置（ａ_z，ｂ_z）が見つけ
られて（ＳＴ２Ａ）、処理が終了する（ＳＴ２Ｂ）。こ
の位置（ａ_z，ｂ_z）は目的画像中で最もよく参照パタ
ーンと一致する重ね合わせの位置を示しており、テンプ
レートマッチングが行われたことになる。制御手段２１
は、スコアマップ処理（ＳＴ２Ａ）の他にも図１におけ
る各手段の動作を制御しているが、本実施例ではとくに
その動作が重要ではないので記述しない。

【００６７】次に、実施例１の類似度計算手段１９の動
作を電子回路で構成した例について説明する。図６は類
似度計算手段１９の電子回路による構成を説明するため
の回路図である。メモリ＃１（１７）には、目的画像に
関して、原画像にＤＯＧフィルタを作用させた後に３値
化を行なった画像（以下、ＢＬＯＢ化された画像と呼
ぶ）が格納されており、メモリ＃２（１８）には参照パ
ターンにおけるＢＬＯＢ化された画像が格納されてい
る。（式４）によれば、参照パターンを目的画像中でず
れ量を与えて重ね合わせる動作は、目的画像の一部分を
参照パターンと同じウィンドウとして使用し、参照パタ
ーンと重ね合わせる動作と等価である。図６は、あるず
れ量にしたがって目的画像上にウィンドウが設定された
ことを表している。メモリ＃１（１７）、メモリ＃２
（１８）にはそれぞれ−１，０，＋１に３値化された画
像が格納されているので、メモリの出力は２ビットであ
る。２ビットそれぞれの信号は、信号Ｉ（またはＲ）の値が＋１のとき、ＭＳＢ＝０、Ｌ
ＳＢ＝１であり、信号Ｉ（またはＲ）の値が±０のとき、ＭＳＢ＝０、Ｌ
ＳＢ＝０であり、信号Ｉ（またはＲ）の値が−１のとき、ＭＳＢ＝１、Ｌ
ＳＢ＝１である。ＭＳＢとは（Most Significant Bit）で最上位ビット、
ＬＳＢとは（Least Significant Bit)で最下位ビットを
示す。図の信号Ｒ（６２）と信号Ｉ（６１）はそれぞれ
上記の２ビットで表現されたメモリ＃１（１７）、メモ
リ＃２（１８）の出力を示している。

【００６８】ここで、（６３）は信号Ｉ（６１）が１の
ときに出力Ｘ０（６７）を１にし、それ以外の時には出
力を０にする論理素子１であり、（６４）は信号Ｉ（６
１）が−１のときに出力Ｘ１（６９）を１にし、それ以
外の時には出力を０にする論理素子２であり、（６５）
は信号Ｒ（６２）が１のときに出力Ｙ０（６８）を１に
し、それ以外の時には出力を０にする論理素子３であ
り、（６６）は信号Ｒ（６２）が−１のときに出力Ｙ１
（７０）を１にし、それ以外の時には出力を０にする論
理素子４である。図７は本回路図で用いている論理素子
の機能を説明するための図であるが、信号Ｉと信号Ｒの
組み合わせが与えられたときの、これら４つの論理素子
の出力Ｘ０，Ｘ１，Ｙ０，Ｙ１を図７（ａ）に示してい
る。

【００６９】論理素子（７１）および（７２）はそれぞ
れ２入力１出力の論理素子５、論理素子６であり、動作
論理は同一で図７（ｂ）に示されている。素子（７５）
は２つの入力の算術和を出力Ｍとする素子である。従っ
て信号Ｉと信号Ｒの組み合わせが与えられたときの、Ｍ
は図７（ｃ）のようになる。このＭをスコアとして、参
照パターンの全ての画素に対してスコアマップ２０に累
積した結果が類似度となる。以上のような電子回路構成
にすれば、簡単な論理素子と算術和を計算する素子だけ
で類似度計算手段１９を構成できる。

【００７０】なお、本実施例１では参照パターンと目的
画像のＤＯＧフィルタリング手段を別々の手段として説
明したが、同じ手段をもって共用させることが可能であ
り、回路規模を小さくできる。

【００７１】また、本実施例１では参照パターンと目的
画像のしきい値処理手段を別々の手段として説明した
が、同じ手段をもって共用させることが可能であり、回
路規模を小さくできる。

【００７２】また、本実施例１では原画像をカメラから
入力した後にそのままＤＯＧフィルタを作用させたが、
ノイズ除去を行なうなどの前処理を通してからＤＯＧフ
ィルタを作用させてもよい。

【００７３】また、本実施例１では原画像をカメラから
入力した後にそのままのサイズでＤＯＧフィルタを作用
させる場合を説明したが、前もって原画像を縮退させて
からＤＯＧフィルタを作用させれば、見かけ上ＤＯＧフ
ィルタのサイズが大きいものを作用させたと同様の効果
がある。

【００７４】また、本実施例１では、Ｓｅ＝1.０、Ｓｉ
＝1.６、フィルタサイズ７×７にしたが、目的に応じて
これらの大きさを変化させて用いてもよい。例えば、フ
ィルタサイズが大きいほど大きな濃度変化が無視され、
画像中の大まかな特徴がセグメントとして抽出されるこ
とになる。

【００７５】また、本実施例１では、画素ごとの一致度
合いを示す評価値を図５のように設定した例を説明した
が、他の値を用いてもよく、目的画像の値Ｉと参照パタ
ーンの値Ｒがよく一致しているときには高い評価値を、
あまりよく一致していないときには低い評価値を与える
ことで評価の目的は達せられる。

【００７６】また、本実施例１では参照パターンを予め
装置内部に格納しておく場合について説明したが、類似
度を求める度にカメラ等から入力してもよいことは言う
までもない。

【００７７】実施例２．以下、本発明の実施例２につい
て添付した図面を用いて説明する。図８は、本発明の実
施例２における画像処理装置の構成を示すブロック図で
あり、図９は、実施例２の動作の流れを示すフローチャ
ートである。以下このフローチャートにそって実施例２
の動作を説明する。

【００７８】画像処理装置は最初に原画像入力手段２０
１１により、カメラから原画像を取り込む（ＳＴ２２１
およびＳＴ２２２）。原画像は続くＤＯＧフィルタリン
グ処理（ＳＴ２２３）でＤＯＧフィルタリング手段２０
１２により、処理される。ＤＯＧフィルタとは、Differ
ence of Gaussianのフィルタの意味であり、一次元のフ
ィルタは前述した式２で定義される。この式２の右辺
は、２つのガウス関数の差になっている。Ｓｅ，Ｓｉは
それぞれガウス関数の標準偏差を決定するパラメータで
あり、定数である。画像処理装置では２次元の画像を扱
うので、ＤＯＧ関数は同じく前述した式３のようにな
る。画像処理装置では、Ｓｅ＝1.０、Ｓｉ＝1.６とし、
ディジタルフィルタとしてのフィルタサイズを７×７画
素とした。

【００７９】ＤＯＧフィルタをかけられた画像はメモリ
＃１（２０１３）に格納される。（ＳＴ２２４）ではメ
モリ＃１（２０１３）の画像に対して３値化処理手段２
０１４が３値化処理を行なう。前述したように、図４は
ＤＯＧフィルタおよび３値化処理の効果を説明する図で
ある。簡単のために１次元の場合を説明する。図４
（ａ）は原画像中の輪郭近傍における濃度パターンを示
している。これに（式２）のようなＤＯＧフィルタをか
けると、図４（ｂ）のような出力が得られる。原画像に
フィルタを作用させるには、原画像と２次元ＤＯＧフィ
ルタ関数の畳み込み演算を行なう。３値化のために、２
種類のしきい値ｔｈ１およびｔｈ２が設定されている。
画像処理装置ではｔｈ１＞０、ｔｈ２＜０、ｔｈ１＝−
ｔｈ２となるように選んでいる。３値化はこれら２つの
しきい値により、メモリ＃１（２０１３）の画像をｔｈ
１より大きい画素は＋１、ｔｈ２とｔｈ１の間の値を持
つ画素は０、ｔｈ２以下の値を持つ画素は−１となるよ
うに処理する。図４（ｃ）は（ｂ）のＤＯＧ出力を３値
化した様子を示している。３値化された結果はメモリ＃
２（２０１５）に格納される。

【００８０】（ＳＴ２２５）では、メモリ＃２（２０１
５）の画像が領域セグメント化手段２０１６によりセグ
メント化され、結果がメモリ＃３（２０１７）に格納さ
れて画像処理装置の動作が終了する（ＳＴ２２６）。図
１０は以上の処理結果を模式的画像で示したもので、図
１０（ａ）は原画像であり、図中の［］内の数値は画像
濃度である。図１０（ｂ）に示したのはメモリ＃３（２
０１７）の内容であり、領域Ａ，Ｂ，Ｃ，Ｄ，Ｅがセグ
メント化されている。以上の一連の動作はすべてＣＰＵ
からなる制御手段２０１８によって制御されている。

【００８１】なお、本実施例２では、原画像やＤＯＧ出
力画像をメモリに格納したが、ＤＯＧフィルタリング処
理や３値化処理はラスター走査で処理可能なので、処理
をパイプライン結合することでメモリを不要とすること
も可能である。

【００８２】また、本実施例２では３値化処理手段２０
１４の出力をメモリ＃２（２０１５）に格納し、領域セ
グメント化手段２０１６に入力したが、ＤＯＧフィルタ
の処理結果を格納したメモリ＃１（２０１３）を直接読
みだして領域セグメント化処理手段２０１６に入力し、
しきい値処理を同時に行ってもよい。

【００８３】また、本実施例２では３値化処理のしきい
値として、ｔｈ１＝−ｔｈ２となるようにしきい値を選
んだが、必ずしもそのように選ぶ必要はなく、例えばｔ
ｈ１＝−（２／３）ｔｈ２のように設定してもよい。

【００８４】また、本実施例２では原画像に直接ＤＯＧ
フィルタを作用させたが、原画像にノイズ除去などのフ
ィルタをかけてからＤＯＧフィルタ処理を行っても同様
の効果がある。

【００８５】また、本実施例２では原画像に直接ＤＯＧ
フィルタを作用させたが、原画像を適当な大きさに縮退
してからＤＯＧフィルタ処理を行なう事で、見かけ上よ
り大きなサイズのＤＯＧフィルタを作用させたようなふ
るまいをさせることもできる。

【００８６】また、本実施例２では、Ｓｅ＝1.０、Ｓｉ
＝1.６、フィルタサイズ７×７にしたが、目的に応じて
これらの大きさを変化させて用いてもよい。例えば、フ
ィルタサイズが大きいほど大きな濃度変化が無視され、
画像中の大まかな特徴がセグメントとして抽出されるこ
とになる。

【００８７】また、本実施例２では制御手段２０１８と
してＣＰＵによる制御の場合を説明したが、ＤＯＧフィ
ルタリング手段２０１２、３値化処理手段２０１４、領
域セグメント化手段２０１６の３つの部分をパイプライ
ンでつなぎ、制御を簡略化してＣＰＵを用いない制御形
式にすることもできることは容易に想像できるとおりで
ある。

【００８８】実施例３．以下、本発明の実施例３につい
て添付した図面を用いて説明する。図１１は、本発明の
実施例３における画像処理装置の構成を示すブロック図
であり、図１２は実施例３の動作の１部の流れを示すフ
ローチャートである。以下このフローチャートにそって
実施例３の動作を説明する。

【００８９】画像処理装置は、まず最初に原画像入力手
段２０１１によってカメラから画像入力され、原画像が
ＤＯＧフィルタリング手段２０１２によってＤＯＧフィ
ルタを施され、その結果がメモリ＃１（２０１３）に格
納される。ＤＯＧフィルタの定義およびその基本的なふ
るまいについては前に説明した内容と同様であるので省
略する。メモリ＃１（２０１３）の内容は３値化処理手
段２０１４により、３値化されメモリ＃２（２０１５）
に格納される。ここまでの画像処理装置の動作は実施例
２における動作の流れと同一であり、図９の（ＳＴ２２
１），（ＳＴ２２２），（ＳＴ２２３），（ＳＴ２２
４）の各ステップに相当する。

【００９０】（ＳＴ２７１）で３値化画像が読み出さ
れ、（ＳＴ２７２）で０領域セグメント化手段２０６１
により、３値化画像の値が０である画素のみがセグメン
ト化され、一時内部画像メモリ格納される。続いて（Ｓ
Ｔ２７３）で＋領域セグメント化手段２０６２により、
３値化画像の値が＋１である画素のみがセグメント化さ
れ、その結果が前記内部画像メモリに格納される。同様
に（ＳＴ２７４）で−領域セグメント化手段２０６３に
より、３値化画像の値が−１である画素のみがセグメン
ト化され、その結果が前記内部画像メモリに格納され
る。図１３はこれら３種類の領域セグメント化手段によ
る処理結果を示した模式的画像である。図１３（ａ）は
原画像を表現しており、図中［］内の数値は画素値（濃
度）である。図１３（ｂ）は前記内部画像メモリの内容
を示しており、Ｒ００，Ｒ１０，Ｒ２０，Ｒ３０，Ｒ４
０，Ｒ５０の各領域は０領域セグメント化手段２０６１
によりセグメント化された領域を示しており、Ｒ１＋，
Ｒ２＋，Ｒ３＋，Ｒ４＋の各領域は＋領域セグメント化
手段２０６２によりセグメント化された領域を示してお
り、Ｒ１−，Ｒ２−，Ｒ３−，Ｒ４−の各領域は−領域
セグメント化手段２０６３によりセグメント化された領
域を示している。図中の点線部分は、参考までに図４
（ｃ）のゼロクロス点を示している。ゼロクロス点は領
域の１つの境界を示していると言える。

【００９１】次に、セグメント合成手段２０６４につい
て説明する。（ＳＴ２７５）では前記内部メモリからセ
グメント化された０領域を一つ選び、それを領域Ａとす
る。（ＳＴ２７６）で領域Ａの面積を予め設定しておい
たしきい値ｔｈと比較し、しきい値より大きければ再び
（ＳＴ２７５）に戻って別の０領域を選ぶ。しきい値よ
り小さければ、（ＳＴ２７７）で領域Ａと隣接するセグ
メントを前記内部画像メモリより選択し、それを領域Ｂ
とする。図１４のように、例えば、周囲より濃度の明る
い領域は、いちばん内側に０領域を有し、その周りを取
り囲むようにして＋領域が存在し、さらに周りに−領域
が存在する。即ち、例えば選んだ０領域（Ａ）が領域Ｒ
１０なら、領域Ｂは領域Ｒ１＋である。（ＳＴ２７８）
で、領域ＡとＢの論理和領域をとり、合成セグメントと
してメモリ＃３（２０１７）に書き込む。（ＳＴ２７
９）で全ての０領域について（ＳＴ２７５）から（ＳＴ
２７８）までの処理を行っていないのなら、再び（ＳＴ
２７５）に戻って処理を繰り返し、全ての０領域につい
て処理を行なったのなら、画像処理装置の動作は全て終
了する（ＳＴ２７Ａ）。図１４は、最終的にメモリ＃３
（２０１７）に格納されている画像の一例であり、図１
３と対応している。図１３（ｂ）における０領域だけを
抽出した結果よりも、ゼロクロス点を輪郭としている点
で正確な領域抽出結果であると言える。

【００９２】なお、本実施例３では、セグメント合成を
行なう際に、一定の面積以上の０領域についてのみそれ
に隣接するセグメントを併合したが、面積だけでなく例
えば領域の平均濃度などの属性を判断基準にし、基準に
適合する０領域だけをセグメント合成処理に供するよう
にしてもよい。

【００９３】なお、本実施例３では、原画像やＤＯＧ出
力画像をメモリに格納したが、ＤＯＧフィルタリング処
理や３値化処理はラスター走査で処理可能なので、処理
をパイプライン結合することでメモリを不要とすること
も可能である。

【００９４】また、本実施例３では３値化処理手段２０
１４の出力をメモリ＃２（２１０５）に格納し、０，
＋，−の各領域セグメント化手段に入力したが、ＤＯＧ
フィルタの処理結果を格納したメモリ＃１（２０１３）
を直接読みだして領域セグメント化処理手段に入力し、
しきい値処理を同時に行ってもよい。

【００９５】また、本実施例３では原画像に直接ＤＯＧ
フィルタを作用させたが、原画像にノイズ除去などのフ
ィルタをかけてからＤＯＧフィルタ処理を行っても同様
の効果がある。

【００９６】また、本実施例３では原画像に直接ＤＯＧ
フィルタを作用させたが、原画像を適当な大きさに縮退
してからＤＯＧフィルタ処理を行なう事で、見かけ上よ
り大きなサイズのＤＯＧフィルタを作用させたようなふ
るまいをさせることもできる。

【００９７】また、本実施例３では図１１の各手段を統
括的に制御する制御手段の存在しない場合について説明
したが、各手段の処理タイミングなどを制御する制御手
段をＣＰＵなどを用いて構成してもよい。

【００９８】また、本実施例３では０領域に隣接する領
域を１つだけ合成した例を示したが、０領域に隣接する
領域にさらに隣接する領域をも合成するようにすれば物
体のゼロクロスを内包する領域がセグメント化され、目
的によってはこのほうが好ましい場合もある。

【００９９】実施例４．以下、本発明の実施例４につい
て添付した図面を用いて説明する。図１５は、本発明の
実施例４における画像処理装置の構成を示すブロック図
であり、図１６は実施例４の動作の流れを示すフローチ
ャートである。以下このフローチャートにそって実施例
４の動作を説明する。

【０１００】画像処理装置は、動作を開始すると（ＳＴ
２１１１）、まず最初に原画像入力手段２０１１によっ
てカメラから画像が入力され（ＳＴ２１１２）、さらに
ＤＯＧフィルタリング手段２０１２によってＤＯＧフィ
ルタリング処理が行われ（ＳＴ２１１３）、その結果が
メモリ＃１（２０１３）に格納される。ＤＯＧフィルタ
の定義およびその基本的なふるまいについては前に説明
した内容と同様であるので省略する。また、ＤＯＧフィ
ルタの諸定数Ｓｅ，Ｓｉ、およびフィルタサイズは実施
例２のものと同様のものを用いた。メモリ＃１（２０１
３）の内容は３値化処理手段２０１４により、３値化さ
れ（ＳＴ２１１４）、メモリ＃２（２０１５）に格納さ
れる。メモリ＃２（２０１５）の内容は領域セグメント
化手段２０１６によって３値化しきい値ｔｈ１，ｔｈ２
の間の値を持つ画素だけがセグメント化され（ＳＴ２１
１５）、その結果はメモリ＃３（２０１７）に格納され
る。

【０１０１】また、メモリ＃１（２０１３）の内容であ
るＤＯＧフィルタ出力は、ゼロクロス検出手段２１０１
によってゼロクロス点が抽出され（ＳＴ２１１６）、そ
の結果はメモリ＃２′（２１０２）に格納される。ここ
で、ゼロクロス点とは、ＤＯＧフィルタ出力が０になる
点（画素）のことであり、図４（ｃ）に図示されている
位置に相当する。図１７は、ある画像例にするメモリ＃
３（２０１７）とメモリ＃２′（２１０２）の内容を重
ねて模式的に表現した画像であり、このようにいくつか
のセグメント化された領域（Ａ，Ｂ，Ｃ，Ｄ）と領域の
境界にも相当する物体の輪郭がいくぶん離れて存在して
いる。

【０１０２】次に、輪郭セグメント処理（ＳＴ２１１
７）について説明する。ここではメモリ＃２′（２１０
２）に格納されたゼロクロス画素ひとつひとつごとに、
その画素をもっとも近い位置にある領域セグメントをメ
モリ＃３（２０１７）から抽出し、そのセグメント番号
をゼロクロス画素のセグメント番号とする。図１８はこ
の処理の様子を説明するための模式図であるが、ゼロク
ロス画素のひとつである点Ｐ（２１３４）に注目してい
るところである。点Ｐを中心として予め設定された大き
さの円形の探索エリア（２１３１）内を探索し、最もＰ
に近い領域を求める。図１８では探索エリア（２１３
１）内に、領域Ａ（２１３２）と領域Ｂ（２１３３）の
一部が存在するが、Ｐ（２１３４）に近いのは領域Ｂ
（２１３３）である。そこで点Ｐ（２１３４）のセグメ
ント番号は領域Ｂ（２１３３）のセグメント番号と同じ
番号が割り当てられることになる。その結果はメモリ＃
４（２１０４）に格納される。このようにして、すべて
のメモリ＃２′（２１０１）内のゼロクロス点について
セグメント番号が割り当てられたら、処理を終了する
（ＳＴ２１１８）。

【０１０３】なお、本実施例４では、原画像やＤＯＧ出
力画像をメモリに格納したが、ＤＯＧフィルタリング処
理や３値化処理はラスター走査で処理可能なので、処理
パイプライン結合することでメモリを不要にすることも
可能である。

【０１０４】また、本実施例４では３値化処理手段の出
力をメモリ＃２に格納したが、ＤＯＧフィルタの処理結
果を格納したメモリ＃１を直接読みだして領域セグメン
ト化処理手段に入力し、しきい値処理を同時に行っても
よい。

【０１０５】また、本実施例４では原画像に直接ＤＯＧ
フィルタを作用させたが、原画像にノイズ除去などのフ
ィルタをかけてからＤＯＧフィルタ処理を行っても同様
の効果がある。

【０１０６】また、本実施例４では原画像に直接ＤＯＧ
フィルタを作用させたが、原画像を適当な大きさに縮退
してからＤＯＧフィルタ処理を行なう事で、みかけ上よ
り大きなサイズのＤＯＧフィルタを作用させたようなふ
るまいをさせることもできる。

【０１０７】また、本実施例４では図１５の各手段を統
括的に制御する制御手段の存在しない場合について説明
したが、各手段の処理タイミングなどを制御する制御手
段をＣＰＵなどに用いて構成してもよい。

【０１０８】また、本実施例４では輪郭抽出手段とし
て、ＤＯＧフィルタ出力からゼロクロス部分を取り出す
ことで実現したが、ＳＯＢＥＬやＬＡＰＩＡＣＩＡＮな
どのエッジ検出フィルタなどを用いて輪郭を抽出しても
よい。

【０１０９】また、本実施例４では輪郭セグメント化処
理として、ゼロクロス上の画素ひとつひとつについてセ
グメント化を行なったが、ゼロクロス点を予め線分要素
に再構成しておき、線分要素ごとに領域セグメントとの
距離を調べてセグメント化することもできる。

【０１１０】また、本実施例４ではゼロクロス点につい
て最も近い領域セグメントのみを選んでそのゼロクロス
点のセグメント番号としたが、最も近い領域セグメント
番号だけでなく、２番目に近い領域セグメント番号をも
調べてそのゼロクロス点のセグメント第２候補として保
存させることにより、該ゼロクロス点がどの２つの領域
の境界であるかを格納する効果があると思われる。

【０１１１】さて、以上３つの実施例２、実施例３及び
実施例４を独立に説明したが、実施例４における領域セ
グメント化手段に実施例２や実施例３を応用することも
可能である。

【０１１２】また、原画像が３次元の物体であるときに
は実施例２を用い、原画像が２次元のパターンであるこ
とが既知の場合には実施例３を用いるというように、場
合によって使い分けることも可能であり、効果が大き
い。

【０１１３】実施例５．以下、本発明の実施例５につい
て、添付した図面を用いて説明する。図１９は、本発明
の実施例５における画像処理装置の構成を示すブロック
図であり、図２０は画像処理装置の動作の流れを示すフ
ローチャートである。以下このフローチャートにそって
画像処理装置の動作を説明する。

【０１１４】画像処理装置は起動（ＳＴ３０２１）後、
（ＳＴ３０２２）で、原画像が外部から入力され、画像
Ｆ１が原画像メモリＦ１（３０１１）に格納される。同
様に（ＳＴ３０２３）では画像Ｆ２が原画像メモリＦ２
（３０１６）に格納される。画像Ｆ２は画像Ｆ１から３
３ミリ秒後の画像である。図２２は連続した画像を模式
的に表現したものである。図２２（ａ）は画像Ｆ１（３
０５１）を、（ｂ）は画像Ｆ２（３０５２）を示してい
る。画像には２つの円柱状の積み木が映っており、両方
ともＦ１からＦ２に至る間に画面上を右側に移動してい
る。（ＳＴ３０２４）では前記原画像に対してＤＯＧフ
ィルタ手段３０１２，３０１７によってＤＯＧフィルタ
がかけられる。ＤＯＧフィルタとは、Difference of Ga
ussianフィルタの意味であり、一次元のフィルタは前述
した（式２）で定義される。

【０１１５】この（式２）の右辺は、２つのガウス関数
の差になっている。Ｓｅ，Ｓｉはそれぞれガウス関数の
標準偏差を決定するパラメータであり、定数である。図
２１に示したのは（式２）で表現されたＤＯＧ関数（３
０３１）の一例である。同時に（式２）の右辺第１項で
表現された関数（３０３２）、および同右辺第２項で表
現された関数（３０３３）も示した。画像処理装置では
２次元の画像を扱うので、ＤＯＧ関数は同様に前述した
（式３）のようになる。画像処理装置では、Ｓｅ＝1.
０、Ｓｉ＝1.６とし、ディジタルフィルタとしてのフィ
ルタサイズを７×７画素とした。

【０１１６】（ＳＴ３０２５）では、前記ＤＯＧフィル
タ手段の出力に対してしきい値処理手段３０１３，３０
１８により、しきい値処理が行われる。図４はＤＯＧフ
ィルタおよびしきい値処理の効果を説明する図である。
簡単のために１次元の場合を説明する。（ａ）は原画像
中の輪郭近傍における濃度パターンを示している。これ
に（式２）のようなＤＯＧフィルタをかけると、図４
（ｂ）のような出力がえられる。原画像にフィルタを作
用させるには、原画像と２次元ＤＯＧフィルタ関数の畳
み込み演算を行なう。本実施例５ではしきい値処理とし
て、２種類のしきい値ｔｈ１およびｔｈ２による画像信
号の３値化を用いている。ｔｈ１，ｔｈ２の例は図４
（ｂ）に示されている。画像処理装置ではｔｈ１＞０、
ｔｈ２＜０、ｔｈ１＝−ｔｈ２となるように選んでい
る。しきい値処理手段はこれら２つのしきい値により、
前記ＤＯＧフィルタ手段の出力を、ｔｈ１より大きい画
素は＋１、ｔｈ２とｔｈ１の間の値を持つ画素０、ｔｈ
２以下の値を持つ画素は−１となるように処理する。図
４（ｃ）は同図（ｂ）のＤＯＧ出力を３値化した様子を
示している。

【０１１７】（ＳＴ３０２６）では、前記しきい値処理
手段による出力画像が、ラベリング手段３０１５，３０
１９により処理され、画像中の複数の領域が抽出され
る。本実施例５では、図４（ｃ）の値０の部分のみをラ
ベリングに使用している。図２３（ａ）および（ｂ）は
本実施例５におけるラベリング結果の例を示している。
図中の斜線を施した部分がラベルであり、図２３（ａ）
は画像Ｆ１（３０５１）に対応しており、（ｂ）は画像
Ｆ２（３０５２）に対応している。同図で、Ａ（３０６
１）、Ｂ（３０６２）、Ｃ（３０６３）、Ｄ（３０６
４）は画像Ｆ１から抽出されたラベルであり、Ａ′（３
０６６）、Ｂ′（３０６７）、Ｃ′（３０６８）、Ｄ′
（３０６９）は画像Ｆ２から抽出されたラベルである。
図４（ｃ）からもわかるように、画像信号の中で濃度変
化の小さい部分が主に取り出されて領域として抽出され
る。

【０１１８】（ＳＴ３０２７）では、前記ラベリング手
段３０１４，３０１９の各出力に対して、ラベル位置検
出手段３０１５，３０１Ａによって各画像中のラベル位
置が検出される。本実施例５ではラベル領域の重心の位
置が検出されている。図２３において、Ｇ_k（３０６
５）およびＧ_k+1（３０６Ａ）はそれぞれラベルＤ（３
０６４）、ラベルＤ′（３０６９）に対応する重心位置
である。

【０１１９】最後に（ＳＴ３０２８）で、動きベクトル
抽出手段３０１Ｂによって前記ラベル位置情報（３０６
４，３０６９）から物体の動きベクトルが抽出される。
動きベクトルは２枚の画像から得られた、対応する領域
重心を結ぶベクトルである。図２３では（ｃ）に抽出さ
れた動きベクトルが表されている。画像Ｆ１中のラベル
Ｄ（３０６４）の位置Ｇ_k（３０６５）の、移動後の位
置が、画像Ｆ２のどのラベル位置に対応するのかについ
ては、画面上のＧ_kの位置に最も近い画像Ｆ２上のラベ
ル位置を選択することで決定される。本実施例５では説
明のために、図２２および図２３において連続する２枚
の画像中の円柱上積み木の移動を誇張して描いたが、実
際には画面寸法の１／１００程度の動きであるから、こ
のような簡単な処理で、対応付けが可能である。

【０１２０】なお、本実施例５では、原画像を一旦メモ
リに格納したが、ＴＶカメラからの信号を直接ＤＯＧフ
ィルタ手段や濃度情報抽出手段に入力してもよい。

【０１２１】また、本実施例５では原画像に直接ＤＯＧ
フィルタを作用させたが、原画像にノイズ除去などのフ
ィルタをかけてからＤＯＧフィルタ処理を行っても同様
の効果がある。

【０１２２】また、本実施例５では原画像に直接ＤＯＧ
フィルタを作用させたが、原画像を適当な大きさに縮退
してからＤＯＧフィルタ処理を行なう事で、見かけ上よ
り大きなサイズのＤＯＧフィルタを作用させたようなふ
るまいをさせることもできる。

【０１２３】また、本実施例５では、ＤＯＧフィルタの
形状を決める係数として、式２におけるＳｅ＝1.０、Ｓ
ｉ＝1.６、サイズ７×７にしたが、この値は自由に決め
ても差し支えなく、本発明の効果に特に影響を与えな
い。

【０１２４】また、本実施例５では、しきい値処理での
２つのしきい値、ｔｈ１とｔｈ２について、ｔｈ１＝−
ｔｈ２であるような値を使用したが、他の値を用いてし
きい値処理してもよく、また３値化処理である必要もな
い。

【０１２５】また、本実施例５では、ラベル位置検出手
段として、ラベル領域の重心を検出する手段を用いた
が、ラベルの位置を定義する他の手法を用いてもよく、
同様の効果を奏する。

【０１２６】また、本実施例５では、３３ミリ秒離れた
２枚の連続画像を処理する場合について説明したが、も
っと近い間隔で入力された画像、あるいはもっと離れた
間隔で入力された画像を扱う場合でも同様の装置構成で
処理が可能である。

【０１２７】また、本実施例５では、原画像メモリ、Ｄ
ＯＧフィルタ手段、しきい値処理手段、ラベリング手
段、ラベル位置検出手段を、それぞれ２つづつ持つ構成
を示したが、処理時間をずらせて同一の手段で処理を行
なうことも可能であり、装置規模が半分になるという利
点がある。

【０１２８】実施例６．以下、本発明の実施例６につい
て、添付した図面を用いて説明する。図２４は、本発明
の実施例６における画像処理装置の構成を示すブロック
図であり、図２５は実施例６の動作の流れを示すフロー
チャートである。以下このフローチャートにそって実施
例６の動作を説明する。

【０１２９】本実施例６では、第１フレームから第ｎフ
レームまでの連続するｎ枚の画像を扱う。ｎは１０〜２
０程度である。画像はそれぞれ３３ミリ秒間隔で入力さ
れたもので、第１フレームと第ｎフレームの画像から視
差を計算してステレオ視の原理により画像中の物体の奥
行きを計算することが処理の目的である。さて、最初
に、画像処理装置が起動すると（ＳＴ３０８１）、内部
カウンタｋの値が１にセットされる（ＳＴ３０８２）。
次いで（ＳＴ３０８３）で画像入力手段から第１フレー
ムの画像が入力され、原画像メモリＦ１（３０７１Ａ）
に格納される。原画像Ｆ１は、（ＳＴ３０８４）でＤＯ
Ｇフィルタ手段３０７２ＡによってＤＯＧフィルタが施
される。ＤＯＧフィルタとは、前述した各実施例でも述
べたように、Difference of Gaussianフィルタの意味で
あり、一次元のフィルタは前述した（式２）で定義され
る。画像処理装置では２次元の画像を扱うので、ＤＯＧ
関数は前述した（式３）のようになる。この画像処理装
置では、Ｓｅ＝1.０、Ｓｉ＝1.６とし、ディジタルフィ
ルタとしてのフィルタサイズを７×７画素とした。

【０１３０】（ＳＴ３０８５）では、前記ＤＯＧフィル
タ手段の出力に対してしきい値処理手段３０７３Ａによ
り、しきい値処理が行われる。ＤＯＧフィルタおよびし
きい値処理の効果については前述したので説明を省略す
る。

【０１３１】（ＳＴ３０８６）では、前記しきい値処理
手段３０７３Ａによる出力画像が、ラベリング手段３０
７４Ａにより処理され、画像中の複数の領域が抽出され
る。本実施例６では、図４（ｃ）の値０の部分のみをラ
ベリングに使用している。図２６は本実施例６の処理画
像の様子を模式的に表した図である。第１フレームの画
像に対応するラベルの例は図２６中で、Ｌ１（３０９
５）で表されている。図４（ｃ）からもわかるように、
画像信号の中で濃度変化の小さい部分が主に取り出され
領域として抽出される。

【０１３２】（ＳＴ３０８７）では、前記ラベリング手
段の出力に対して、ラベル位置検出手段３０７５Ａによ
って各画像中のラベル位置が検出される。本実施例６で
はラベル領域の重心の位置が検出されている。図２６に
おいて、第１フレームの領域ラベルＬ１（３０９５）の
重心はＧ１（３０９９）で表されている。

【０１３３】次に、（ＳＴ３０８８）で、ラベル対応計
算手段３０７７によって、前記ラベル位置検出手段の出
力が、ひとつ前のフレームにおけるラベル位置との位置
関係が計算され、ラベル間の対応が記録される。例え
ば、第２フレームの領域ラベルＬ２（３０９６）の重心
Ｇ２（３０９Ａ）の位置は、ひとつ前のフレームの領域
ラベルＬ１（３０９５）の重心Ｇ１（３０９９）と最も
近いため、これらの間に対応があると認識され、その結
果が記録される。

【０１３４】（ＳＴ３０８９）では、もし現在のカウン
タｋの値が１ならば、輪郭抽出手段３０７６Ａによって
第１フレームのＤＯＧフィルタ手段３０７２Ａの出力を
もとに画像の輪郭部分が抽出され（ＳＴ３０８Ａ）、さ
らにカウンタｋの値が１だけ増やされて（ＳＴ３０８
Ｂ）、その後（ＳＴ３０８３）から（ＳＴ３０８８）ま
での処理を繰り返すことになる。この際、原画像メモ
リ、ＤＯＧフィルタ手段、しきい値処理手段、ラベリン
グ手段、及びラベル位置検出手段は図２４の該当する部
分で行われる。（ＳＴ３０８９）でｋの値が１でないな
ら、処理は次のステップにすすむ。

【０１３５】（ＳＴ３０８Ｃ）では、さらにカウンタｋ
の値がｎであれば、処理（ＳＴ３０８Ｅ）に進むが、ｋ
がｎでなければ、ｋの値が１だけ増やされて（ＳＴ３０
８Ｄ）、その後（ＳＴ３０８３）から（ＳＴ３０８８）
までの処理を繰り返すことになる。この際、原画像メモ
リ、ＤＯＧフィルタ手段、しきい値処理手段、ラベリン
グ手段、及びラベル位置検出手段は図２４の該当する部
分で行われる。

【０１３６】（ＳＴ３０８Ｅ）では、輪郭抽出手段３０
７６Ｄによって、第ｎフレームのＤＯＧフィルタ手段３
０７２Ｄの出力をもとに画像の輪郭が抽出される。最後
に、（ＳＴ３０８Ｆ）において、視差計算手段３０７８
によって、前記第１フレームの輪郭抽出手段３０７６
Ａ、前記第ｎフレームの輪郭抽出手段３０７６Ｄ、およ
び前記ラベル対応計算手段３０７７の各出力をもとにし
て画像中の物体の視差が計算される。図２６では、３０
９４が第ｎフレームの画像である。ラベル対応計算によ
り、領域ラベルＬ１（３０９５）、Ｌ２（３０９６）、
Ｌ３（３０９７）・・・・Ｌｎ（３０９８）それぞれの
重心Ｇ１（３０９９）、Ｇ２（３０９Ａ）、Ｇ３（３０
９Ｂ）・・・・Ｇｎ（３０９Ｃ）が対応づけられ、また
第１フレームと、第ｎフレームの画像については輪郭画
像（３０９Ｄ，３０９Ｅ）が生成される。視差計算手段
３０７８では、前記の輪郭画像をもとに輪郭線分の折れ
曲がり点を検出して、２つの輪郭画像間のそれら折れ曲
がり点のつながりから視差を得る。図２６では、輪郭画
像（３０９Ｄ）中の折れ曲がり点Ｐ１（３０９Ｆ），Ｑ
１，Ｒ１，Ｓ１が、それぞれ輪郭画像（３０９Ｅ）中の
折れ曲がり点Ｐｎ（３０９Ｇ），Ｑｎ，Ｒｎ，Ｓｎに対
応することが計算される。画像（３０９Ｈ）は、以上の
処理で得られた折れ曲がり点の対応を示す視差ベクトル
を画面上に表示したものである。

【０１３７】なお、本実施例６では、原画像を一旦メモ
リに格納したが、ＴＶカメラからの信号を直接ＤＯＧフ
ィルタ手段に入力してもよい。

【０１３８】また、本実施例６では、原画像に直接ＤＯ
Ｇフィルタを作用させたが、原画像にノイズ除去などの
フィルタをかけてからＤＯＧフィルタ処理を行っても同
様の効果がある。

【０１３９】また、本実施例６では、原画像に直接ＤＯ
Ｇフィルタを作用させたが、原画像を適当な大きさに縮
退してからＤＯＧフィルタ処理を行なう事で、見かけ上
より大きなサイズのＤＯＧフィルタを作用させたような
ふるまいをさせることもできる。

【０１４０】また、本実施例６では、ＤＯＧフィルタの
形状を決める係数として、式２におけるＳｅ＝1.０、Ｓ
ｉ＝1.６、サイズ７×７としたが、この値は自由に決め
ても差し支えなく、本実施例６の効果に特に影響を与え
ない。

【０１４１】また、本実施例６では、しきい値処理での
２つのしきい値、ｔｈ１とｔｈ２について、ｔｈ１＝−
ｔｈ２であるような値を使用したが、他の値を用いてし
きい値処理してもよく、また３値化処理である必要もな
い。

【０１４２】また、本実施例６では、輪郭抽出手段とし
て、ＤＯＧフィルタ手段の出力を使用する手段を用いた
が、原画像から直接輪郭を抽出するなどの方法を用いて
もよく、最終的に輪郭が得られさえすればよい。

【０１４３】また、本実施例６では、ｎ枚の画像を処理
するために、原画像メモリ、ＤＯＧフィルタ手段、しき
い値処理手段、ラベリング手段、ラベル位置検出手段を
それぞれｎ個持つ構成を示したが、時間をずらせて処理
するなどして、各々１つづつ持たせるだけでもよく、装
置規模を大幅に小さくすることが可能である。

【０１４４】また、本実施例６では、ラベル位置検出手
段として、ラベル領域の重心を検出する手段を用いた
が、ラベルの位置を定義する他の手法を用いてもよく、
同様の効果を奏する。

【０１４５】また、本実施例６では、３３ミリ秒の撮像
間隔で撮像されたｎ枚の連続画像を処理する場合に付い
て説明したが、もっと近い間隔で入力された画像、ある
いはもっと離れた間隔で入力された画像を扱う場合でも
同様の装置構成で処理が可能である。

【０１４６】実施例７．図２７はこの発明の一実施例を
示すブロック図であり、図２７において、４０１１はテ
レビカメラであり、認識すべき対象物４０１２を撮像
し、この対象物４０１２の画像を画像メモリ４０１３に
格納するようになっている。テレビカメラ４０１１は原
画像入力手段として使用されている。この画像メモリ４
０１３に格納された原画像はＤＯＧフィルタ手段４０１
４に送出されるようになっているとともに、濃度情報抽
出手段４０１７に送出され、この濃度情報抽出手段４０
１７により、原画像から明るさを基にした濃度情報を抽
出するようになっている。

【０１４７】前記ＤＯＧフィルタ手段４０１４は画像メ
モリ４０１３に格納されている原画像のデータのＤＯＧ
フィルタリング処理を行って、しきい値処理手段４０１
５に出力するようになっている。ＤＯＧフィルタ手段４
０１４の詳述は動作の説明の欄で述べることにする。し
きい値処理手段４０１５は、ＤＯＧフィルタ手段４０１
４の出力をしきい値処理して、ラベリング手段４０１６
に出力するようになっている。ラベリング手段４０１６
は、しきい値処理された画像から領域を抽出するもので
あり、その出力は前記濃度情報抽出手段４０１７と濃度
情報付きラベル生成手段４０１８に出力するようになっ
ている。

【０１４８】濃度情報抽出手段４０１７は、ラベリング
手段４０１６によるラベリングを利用して、前述したよ
うに、画像メモリ４０１３に格納されている原画像から
濃度情報を抽出して、前記濃度情報付きラベル生成手段
４０１８に出力するようになっている。この濃度情報付
きラベル生成手段４０１８は、ラベリング手段４０１６
によるラベリング結果と、濃度情報抽出手段４０１７で
抽出された濃度情報とを合成して、濃度情報付き領域ラ
ベル情報を生成して、マッチング手段４０１Ａに出力す
るようになっている。

【０１４９】一方、モデルデータ４０１９は、計算機
（図示せず）の濃度情報付きラベルテーブルがあらかじ
め用意されたデータであり、このモデルデータ４０１９
と濃度情報付きラベル生成手段４０１８で生成された濃
度情報付き領域ラベルとを照合して、対象物４０１２の
認識結果４０１Ｂを出力するようになっている。

【０１５０】前記のように構成された画像処理装置の動
作について、図２８のフローチャートに沿って説明す
る。この図２８のフローチャートは動作の流れを示すも
のであり、処理がスタートすると（ＳＴ４０２１）、ま
ず、（ＳＴ４０２２）で、原画像入力手段であるテレビ
カメラ４０１１で認識すべき対象物４０１２を撮像し
て、対象物４０１２の画像を得て、画像メモリ４０１３
に格納する（ＳＴ４０２２）。

【０１５１】この原画像は（ＳＴ４０２３）でＤＯＧフ
ィルタ手段４０１４によりＤＯＧフィルタリング処理さ
れる。ＤＯＧフィルタとは、Difference of Gaussianフ
ィルタの意味であり、１次元のフィルタは前述の（式
２）のように定義される。図２１に示したのは、（式
２）で表現されたＤＯＧ関数の一例である。この実施例
７の装置は２次元の画像を扱うので、ＤＯＧ関数は前述
の（式３）のようになる。この実施例７の装置では、Ｓ
ｅ＝1.０、Ｓｉ＝1.６とし、ディジタルフィルタとして
のフィルタサイズを７×７画素とした。

【０１５２】次の（ＳＴ４０２４）では、ＤＯＧフィル
タ手段４０１４の出力に対して、しきい値処理手段４０
１５により、しきい値処理が行われる。ＤＯＧフィルタ
およびしきい値処理の効果については図４を用いて前述
したので説明を省略する。しきい値処理手段４０１５
は、これらの二つのしきい値ｔｈ１，ｔｈ２により、Ｄ
ＯＧフィルタ手段４０１４の出力を３値化するように処
理する。

【０１５３】次の（ＳＴ４０２５）では、しきい値処理
手段４０１５によるしきい値処理した出力画像がラベリ
ング手段４０１６により処理され、画像中の複数の領域
が抽出される。この実施例では、図４（ｃ）の値「０」
の部分のみをラベリングに使用している。図２９はこの
実施例におけるラベリング結果の例を示している。図中
の番号はラベルの番号であり、抽出された画像領域の一
部である。図４（ｃ）からもわかるように、画像信号の
中で濃度変化の小さい部分が主に取り出されて、領域と
して抽出されているのがわかる。

【０１５４】次に、濃度情報抽出手段４０１７は、原画
像を格納した画像メモリ４０１３から濃度情報を抽出す
る（ＳＴ４０２６）。この実施例では、ラベリング結果
が利用されている。すなわち、ラベリング手段４０１６
により抽出された複数の領域ラベルそれぞれについて、
その画像領域に対応する部分の原画像の濃度情報を読み
出し、平均値を求める。続いて、（ＳＴ４０２７）で
は、濃度情報付きラベル生成手段４０１８がラベリング
手段４０１６の出力である領域ごとにラベル付けされた
画像と、濃度情報抽出手段４０１７の出力である各領域
ラベルごとの濃度平均値を合成して、濃度情報付きラベ
ルを生成する。次の「表１」は前記ラベルの一例を示
す。

【０１５５】

【表１】

【０１５６】この「表１」は図２９と対応している。濃
度情報付きラベル生成手段４０１８は、このように、領
域ごとの濃度平均値だけでなく、領域ごとに面積モーメ
ント量などの形状特徴量を同時に計算し、濃度情報付き
ラベルテーブルとして、図示しない計算機のメモリに格
納する。次に、（ＳＴ４０２８）において、マッチング
手段４０１Ａによって、前記ラベルテーブルがあらかじ
め用意されたモデルデータ４０１９と照合され、その認
識結果４０１Ｂを得て、一連の処理を終了する（ＳＴ４
０２９）。このマッチング処理について、図３０に詳細
な内容をフローチャートとして示している。

【０１５７】次に、この図３０のフローチャートに沿っ
て説明を行う。マッチング処理では、テレビカメラ４０
１１によって撮像された認識すべき対象物４０１２に関
して、上記「表１」に相当するようなラベルテーブルが
得られていることが前提となる。また、同時に、同じ形
式で認識したい物体に関するデータがモデルデータ４０
１９内に格納されている。濃度情報付きラベルテーブル
には、画像中に存在する領域の番号と、その領域に対応
する面積、モーメントといった形状特徴量、および平均
濃度値が書き込まれている。ここで、（ＳＴ４０６１）
でまず処理がスタートして、（ＳＴ４０６２）では、撮
像した画像中のラベルの一つに注目する。

【０１５８】さらに、（ＳＴ４０６３）で、モデルデー
タから一つの領域が選ばれる。その選び方は、領域番号
順に順次注目していく方式を採る。（ＳＴ４０６４）は
必ずしも必要な処理ではなく、あらかじめモデルデータ
として、認識対象物の領域特徴量が完全に記述されてい
る場合には、不必要である。そうでない場合には、（Ｓ
Ｔ４０６４）において選んだモデルの領域に関する特徴
量を計算しなければならない。（ＳＴ４０６５）では、
あらかじめモデルとして用意されたラベルデータと、新
しくテレビカメラ４０１１から入力された対象物４０１
２に関するラベルデータとの間の類似度を評価する。た
とえば、類似度Ｓは次の（式５）で定義される。

【０１５９】Ｓ＝1-｛(p(A1-A2)/A2)+(q(M1-M2)/M2)+(r(B1-B2)/B2)｝（式５）ここで、Ｓは類似度、Ａ１，Ｍ１，Ｂ１はそれぞれテレ
ビカメラ４０１１から取り込んだ画像中のある領域ラベ
ルに関する面積、モーメント、平均濃度であり、Ａ２，
Ｍ２，Ｂ２はそれぞれ濃度情報付きラベルテーブルから
選ばれたある領域に関する面積，モーメント，平均濃度
である。また、ｐ，ｑ，ｒは定数とする。

【０１６０】前記（式５）で求められた類似度Ｓが一定
の値以下であれば（ＳＴ４０６６のＮＯ）、類似度不十
分としてモデルデータ４０１９から別のラベルが選ば
れ、（ＳＴ４０６６）から（ＳＴ４０６３）の処理に戻
り、再び（ＳＴ４０６３）、（ＳＴ４０６４）、（ＳＴ
４０６５）の処理が実行されるが、類似度Ｓが一定の値
より大きければ（ＳＴ４０６６のＹＥＳ）、類似度十分
として、その注目領域の対応付けが完了したと考え、次
の領域に注目する（ＳＴ４０６７）。（ＳＴ４０６２）
から（ＳＴ４０６７）に至る一連の処理を認識したい画
像中のすべてのラベルについて行うと、マッチング処理
が終了する（ＳＴ４０６８）。以上の処理により、認識
したい画像中のラベルがすべてモデルラベルと対応付け
られ、対象物４０１２が認識されたことになる。認識結
果４０１Ｂはこのラベル間の対応を記述したものであ
る。

【０１６１】なお、本実施例７では、原画像を一旦画像
メモリ４０１３に格納した場合について説明したが、テ
レビカメラ４０１１からの信号を直接ＤＯＧフィルタ手
段４０１４や濃度情報抽出手段４０１７に入力するよう
にしてもよい。

【０１６２】また、本実施例７では、原画像に直接ＤＯ
Ｇフィルタを作用させたが、原画像にノイズ除去などの
フィルタをかけてから、ＤＯＧフィルタ処理を行って
も、同様の効果がある。

【０１６３】さらに、本実施例７では、直接ＤＯＧフィ
ルタを作用させたが、原画像を適当な大きさに縮退して
からＤＯＧフィルタ処理を行うことで、見かけ上より大
きなサイズのＤＯＧフィルタを作用させるような動作を
させることもできる。

【０１６４】また、本実施例７では、ＤＯＧフィルタの
形状を決める係数として、前述の（式２）におけるＳｅ
＝1.０、Ｓｉ＝1.６、サイズを７×７としたが、この値
は自由に決めてもよく、この発明の効果に特に影響を与
えない。

【０１６５】加えて、本実施例７では、しきい値処理手
段４０１５でしきい値処理された二つのしきい値ｔｈ１
とｔｈ２について、ｔｈ１＝−ｔｈ２であるような値を
使用したが、他の値を用いて、しきい値処理してもよ
く、また、３値化処理である必要もない。

【０１６６】さらに、上記実施例では、領域ごとの形状
特徴量として、面積とモーメントを用いた例を示した
が、周囲長，円らしさなどの特徴量を使用してもよく、
同様の効果が得られる。

【０１６７】また、領域ごとの濃度情報として、本実施
例７では、平均濃度値を使用したが、濃度の分散値など
の統計量や領域重心画素の濃度などの濃度情報関連情報
を用いてもよく、同様の効果が得られる。

【０１６８】上記二つのラベルの類似度を計算するの
に、（式５）で示した定義式を用いたが、濃度情報を加
味して、二つのラベル間の類似性を表現した量であれば
よく、この発明にとっては、同様の効果を実現できるこ
とはいうまでもない。

【０１６９】さらに、本実施例７では、マッチング処理
として、認識対象画像中のラベル，モデルラベル一つず
つの類似度を評価して照合を行い、認識を実現する例に
ついて説明したが、近傍のラベル間の相対位置関係を用
いて照合してもよく、同様の効果を奏する。

【０１７０】なお、これまでに説明した実施例１〜７ま
でにおいて、空間的バンドパスフィルタとしてＤＯＧ
（Difference of Gaussian）関数を用いたが、他の同様
の特性を示す関数を用いても同様の効果がある。

【０１７１】

【発明の効果】本発明により、単一のしきい値では２値
化しにくく、２値のテンプレートマッチングが行えない
画像に対しても、相関演算のような複雑かつ処理時間の
かかる処理することなく、良好に画像のテンプレートマ
ッチングができるという効果を奏する。

【０１７２】また、本発明により、単一のしきい値では
２値化しにくい画像に対して良好に領域のセグメント化
を可能とすることができるという効果を奏する。本発明
により、単一のしきい値では２値化しにくい画像に対し
て良好に領域のセグメント化が可能で、特に画像が２次
元のパターンである場合にはゼロクロスを境界とする領
域を生成することができるという効果を奏する。本発明
により、画像上の物体に関する３次元モデル、または頂
点辞書を必要としないで輪郭をセグメント化することが
できるという効果を奏する。

【０１７３】また、本発明により、連続画像間で面の明
るさや形状が変化する場合でも安定して動きが抽出で
き、また、高速に処理することができるという効果を奏
する。本発明により、連続画像間の物体の視差を検出し
てステレオ視の原理で物体の奥行きを求める場合に、高
速に処理が可能で、かつ画面内に目的以外の物体が複数
存在する場合にも不要な輪郭線による誤対応は低減する
ことが可能で、信頼性よく視差を検出することができる
という効果を奏する。

【０１７４】さらに、本発明により、面内の濃度が変化
していたり、画像全体に濃度むらが生じているなど、従
来では領域分割が不安定な結果を生じる場合でも、安定
して領域分割が可能になり、分割された領域ラベルを用
いて信頼性の高い対象物の認識が可能になる効果を奏す
る。

【図面の簡単な説明】

【図１】本発明の実施例１を示すブロック図である。

【図２】本発明の実施例１の動作の流れを示すフローチ
ャートである。

【図３】本発明の実施例１の１次元ＤＯＧフィルタの形
状を示す模式図である。

【図４】本発明の実施例１の１次元の場合のＤＯＧフィ
ルタの効果を説明するための模式図である。

【図５】本発明の実施例１における目的画像の値と参照
パターンの値の画素としての一致度合いを示す評価値を
説明するための図である。

【図６】本発明の実施例１における類似度計算手段を電
子回路で構成した一例を説明するための模式図である。

【図７】本発明の実施例１における類似度計算手段を電
子回路で構成した一例を説明するための模式図におい
て、信号Ｉと信号Ｒの組み合わせから決定される信号Ｘ
０，Ｘ１，Ｙ０，Ｙ１の値、論理素子（７３および７
４）の入力と出力信号の関係、および信号Ｉと信号Ｒの
組み合わせから決定される信号Ｍの値をそれぞれ説明す
る図である。

【図８】本発明の実施例２を示すブロック図である。

【図９】本発明の実施例２の動作の流れを示すフローチ
ャートである。

【図１０】本発明の実施例２の動作の結果の一例を示し
た模式図である。

【図１１】本発明の実施例３を示すブロック図である。

【図１２】本発明の実施例３の動作の流れを示すフロー
チャートである。

【図１３】本発明の実施例３による０，＋，−領域セグ
メント化処理結果を示す模式図である。

【図１４】本発明の実施例３によるセグメント合成処理
の結果を示す模式図である。

【図１５】本発明の実施例４を示すブロック図である。

【図１６】本発明の実施例４の動作の流れを示すフロー
チャートである。

【図１７】本発明の実施例４における領域セグメント化
処理結果および輪郭セグメント化処理結果の例を説明す
る模式図である。

【図１８】本発明の実施例４における輪郭セグメント化
処理を説明するための模式図である。

【図１９】本発明の実施例５を示すブロック図である。

【図２０】本発明の実施例５の動作の流れを示すフロー
チャートである。

【図２１】本発明の実施例５の１次元ＤＯＧフィルタの
形状を示す模式図である。

【図２２】本発明の実施例５で用いる連続画像の例を模
式的に示した図である。

【図２３】本発明の実施例５で用いる連続画像から抽出
した領域ラベルを模式的に表現した図である。

【図２４】本発明の実施例６を示すブロック図である。

【図２５】本発明の実施例６の動作の流れを示すフロー
チャートである。

【図２６】本発明の実施例６の動作を説明するために使
用するｎ枚の連続画像を模式的に表した図である。

【図２７】本発明の実施例７を示すブロック図である。

【図２８】本発明の実施例７の動作の流れを示すフロー
チャートである。

【図２９】本発明の実施例７における画像の領域分割結
果を模式的に示した説明図である。

【図３０】本発明の実施例７におけるマッチング手段の
マッチング処理の流れを示すフローチャートである。

【図３１】本発明の実施例１に関係する従来の画像処理
装置を示すブロック図である。

【図３２】本発明の実施例１に関係する従来の画像処理
装置の動作を示すフローチャートである。

【図３３】本発明の実施例２及び実施例３に関係する従
来の画像処理装置を示すブロック図である。

【図３４】本発明の実施例２及び実施例３に関係する従
来の画像処理装置の動作を示すフローチャートである。

【図３５】本発明の実施例２及び実施例３に関係する従
来の画像処理装置における濃度ヒストグラム生成処理の
処理結果の例を示す模式図である。

【図３６】本発明の実施例４に関係する従来の画像処理
装置を示すブロック図である。

【図３７】本発明の実施例４に関係する従来の画像処理
装置の動作を示すフローチャートである。

【図３８】本発明の実施例４に関係する従来の画像処理
装置における頂点辞書の内容を説明するための図であ
る。

【図３９】本発明の実施例５及び実施例６に関係する従
来の画像処理装置を示すブロック図である。

【図４０】本発明の実施例５及び実施例６に関係する従
来の画像処理装置の動作を説明するためのフローチャー
トである。

【図４１】本発明の実施例５及び実施例６に関係する従
来の画像処理装置の動作を説明するために用いた、連続
画像の例を模式的に表した図である。

【図４２】本発明の実施例５及び実施例６に関係する従
来の画像処理装置で用いられる、輪郭セグメントの照合
を説明するための図である。

【図４３】本発明の実施例７に関係する従来の画像処理
装置のブロック図である。

【図４４】本発明の実施例７に関係する従来の画像処理
装置の動作の流れを示すフローチャートである。

【図４５】本発明の実施例７に関係する従来の画像処理
装置に用いられている特徴空間の模式図である。

【図４６】本発明の実施例７に関係する従来の画像処理
装置の他の例を説明するためのフローチャートである。

【図４７】本発明の実施例７に関係する従来の画像処理
装置で使用されるグラフマッチング処理の様子を模式的
に示した説明図である。

【図４８】本発明の実施例７に関係する従来の画像処理
装置で用いられている画像の領域分割方法を説明するた
めのフローチャートである。

【図４９】本発明の実施例７に関係する従来の画像処理
装置における画像から領域を抽出する様子を示す説明図
である。

【符号の説明】

１１原画像入力手段１２ＤＯＧフィルタリング手段１３しきい値処理手段１４参照パターン１５ＤＯＧフィルタリング手段１６しきい値処理手段１７メモリ＃１１８メモリ＃２１９類似度計算手段２０スコアマップ２１制御手段２０１１原画像入力手段２０１２ＤＯＧフィルタリング手段２０１３メモリ＃１２０１４３値化処理手段２０１５メモリ＃２２０１６領域セグメント化手段２０１７メモリ＃３２０１８ＣＰＵ（制御手段）２０６１０領域セグメント化手段２０６２＋領域セグメント化手段２０６３ −領域セグメント化手段２０６４セグメント合成手段２１０１ゼロクロス検出手段２１０２メモリ＃２′ ２１０３輪郭セグメント化手段２１０４メモリ＃４３０１１原画像メモリ３０１２ＤＯＧフィルタ手段３０１３しきい値処理手段３０１４ラベリング手段３０１５ラベル位置検出手段３０１６原画像メモリ３０１７ＤＯＧフィルタ手段３０１８しきい値処理手段３０１９ラベリング手段３０１Ａラベル位置検出手段３０１Ｂ動きベクトル抽出手段４０１１テレビカメラ４０１２対象物４０１３画像メモリ４０１４ＤＯＧフィルタ手段４０１５しきい値処理手段４０１６ラベリング手段４０１７濃度情報抽出手段４０１８濃度情報付きラベル生成手段４０１９モデルデータ４０１Ａマッチング手段４０１Ｂ認識結果

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開昭61−115175（ＪＰ，Ａ) 特開昭60−217472（ＪＰ，Ａ) 特開昭58−130030（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06T 7/00

Claims

(57)【特許請求の範囲】

【請求項１】２次元の参照パターンを有し、前記参照
パターンを目的の画像の一部分と比較し、画像の類似度
を調べることによって最も類似している部分を決定する
機能を有する画像処理装置において、２つのガウス関数
の差を算出する空間的バンドパスフィルタを前記参照パ
ターン及び前記目的画像のそれぞれに作用させる空間的
バンドパスフィルタリング手段と、前記空間的バンドパ
スフィルタリング手段の出力を輪郭画素に対応する値よ
りも小さな第１のしきい値及び前記輪郭画素に対応する
値よりも大きな第２のしきい値を用いてしきい値処理し
３値画像を得る３値化処理手段と、前記３値化処理手段
の出力をもとに画像の類似度を決定する類似度計算手段
とを備えたことを特徴とする画像処理装置。
【請求項２】画像中の領域をセグメント化する機能を
有する画像処理装置において、２つのガウス関数の差を
算出する空間的バンドパスフィルタを原画像に作用させ
る空間的バンドパスフィルタリング手段と、前記空間的
バンドパスフィルタリング手段の出力を輪郭画素に対応
する値よりも小さな第１のしきい値および前記輪郭画素
に対応する値よりも大きな第２のしきい値を用いてしき
い値処理する３値化処理手段と、前記第１のしきい値と
前記第２のしきい値の間の値を持つ画素のみを用いて画
像をセグメント化する領域セグメント化手段とを備えた
ことを特徴とする画像処理装置。
【請求項３】画像中の領域をセグメント化する機能を
有する画像処理装置において、２つのガウス関数の差を
算出する空間的バンドパスフィルタを原画像に作用させ
る空間的バンドパスフィルタリング手段と、前記空間的
バンドパスフィルタリング手段の出力を輪郭画素に対応
する値よりも小さな第１のしきい値及び前記輪郭画素に
対応する値よりも大きな第２のしきい値を用いて各画素
が３種類の値のどれかひとつを持つように変換する３値
化処理手段と、前記３値化処理手段の出力から前記３種
類の値ごとに領域をセグメント化する領域セグメント化
手段と、前記領域セグメント化手段の出力を必要に応じ
て合成するセグメント合成手段とを備えたことを特徴と
する画像処理装置。
【請求項４】画像中の輪郭画素をセグメント化する機
能を有する画像処理装置において、２つのガウス関数の
差を算出する空間的バンドパスフィルタを原画像に作用
させる空間的バンドパスフィルタリング手段と、前記空
間的バンドパスフィルタリング手段の出力を輪郭画素に
対応する値よりも小さな第１のしきい値及び前記輪郭画
素に対応する値よりも大きな第２のしきい値を用いてし
きい値処理する３値化処理手段と、前記第１のしきい値
と前記第２のしきい値の間の値を持つ画素のみを用いて
画像をセグメント化する領域セグメント化手段と、画像
から輪郭画素を抽出する輪郭抽出手段と、前記輪郭抽出
手段の出力である輪郭画素毎に該画素に最も近い領域セ
グメントを求めることによって該画素のセグメント化を
行なう輪郭セグメント化手段とを備えたことを特徴とす
る画像処理装置。
【請求項５】連続する画像から動いている物体の動き
を抽出する画像処理装置において、２つのガウス関数の
差を算出する空間的バンドパスフィルタを原画像に作用
させる空間的バンドパスフィルタ手段と、前記空間的バ
ンドパスフィルタリング手段の出力を輪郭画素に対応す
る値よりも小さな第１のしきい値及び前記輪郭画素に対
応する値よりも大きな第２のしきい値を用いてしきい値
処理するしきい値処理手段と、前記しきい値処理手段の
出力をもとに画像中の領域をラベル付けするラベリング
手段と、前記ラベルの画像中の位置を検出するラベル位
置検出手段と、連続画像中の２つの異なった画像に対し
て前記空間的バンドパスフィルタ手段、前記しきい値処
理手段、前記ラベリング手段、及び前記ラベル位置検出
手段をそれぞれ作用させて得られた２つのラベル位置の
画像上の位置関係から動いている物体の動きベクトルを
抽出する動きベクトル抽出手段とを備えたことを特徴と
する画像処理装置。
【請求項６】連続する複数の画像から注目する物体の
画像上の動きを順次検出することによって前記連続画像
上での物体の視差を計算する画像処理装置において、２
つのガウス関数の差を算出する空間的バンドパスフィル
タを原画像に作用させる空間的バンドパスフィルタ手段
と、前記空間的バンドパスフィルタリング手段の出力を
輪郭画素に対応する値よりも小さな第１のしきい値及び
前記輪郭画素に対応する値よりも大きな第２のしきい値
を用いてしきい値処理するしきい値処理手段と、前記し
きい値処理手段の出力をもとに画像中の領域をラベル付
けするラベリング手段と、前記ラベルの画像中の位置を
検出するラベル位置検出手段と、複数の原画像をもとに
得られた複数のラベル位置検出手段から前記複数の原画
像上で動く注目物体のラベルの画面間の対応付けを計算
するラベル対応計算手段と、前記連続画像の最初及び最
後の画像から輪郭部分を抽出する輪郭抽出手段と、前記
ラベル対応計算手段の出力及び前記輪郭抽出手段の出力
をもとに前記連続画像の最初と最後の画像間の注目する
物体に関する視差を計算する視差計算手段とを備えたこ
とを特徴とする画像処理装置。
【請求項７】認識すべき対象物の原画像を得る原画像
入力手段と、２つのガウス関数の差を算出する空間的バ
ンドパスフィルタを前記原画像に作用させる空間的バン
ドパスフィルタ手段と、前記空間的バンドパスフィルタ
リング手段の出力を輪郭画素に対応する値よりも小さな
第１のしきい値及び前記輪郭画素に対応する値よりも大
きな第２のしきい値を用いてしきい値処理するしきい値
処理手段と、前記しきい値処理手段でしきい値処理され
た画像から複数の領域を抽出するラベリング手段と、前
記原画像から前記複数の領域のそれぞれに対して明るさ
に関する情報を抽出する濃度情報抽出手段と、前記ラベ
リング手段によりラベリングされたラベリング結果に前
記濃度情報抽出手段で抽出された明るさに関する情報を
付加したラベルを生成する濃度情報付きラベル生成手段
と、前記濃度情報付きラベル生成手段で生成された濃度
情報付きラベルを計算機内部のモデルデータと照合して
前記認識すべき対象物を認識するマッチング手段とを備
えたことを特徴とする画像処理装置。