JPH08167029A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】 対象画像からテンプレート画像と同じ画像を
持つ目標画像を抽出する画像処理装置に関し，抽出をカ
ラー画像で行うことにより精度を良くする。 【構成】 カラーの対象画像の赤成分（Ｒ）および緑成
分（Ｇ）および青成分（Ｂ）を成分毎に保持する対象画
像の成分保持部と，画像抽出装置は，テンプレート画像
の赤成分（Ｒ）および緑成分（Ｇ）および青成分（Ｂ）
を成分毎に保持するテンプレート画像の成分保持部と，
対象画像の各成分とテンプレート画像の各成分について
同じ成分毎に相関値を求める相関演算部と，各成分毎の
相関値に基づいて各成分の相関を総合し総合相関値を求
める総合相関値演算部と，総合相関値を保持する総合相
関値保持部と，総合相関値に基づいて対象画像とテンプ
レート画像の相関が最大である領域を抽出する領域抽出
部と，抽出領域を出力する構成をもつ。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は，カラー画像からテンプ
レート画像と同じ画像を持つ領域を抽出する画像処理装
置に関する。

【０００２】ロボットが目標の対象物に接近したり，対
象物を把持する時に，ロボットに映される画像から目的
となる対象物を認識し，その対象物の位置を計測する必
要がある。この時，ロボットに映される画像から目標と
なる対象物の画像を抽出する必要がある。

【０００３】あるいは，移動する物体を追跡する場合に
は，移動する対象物の画像での位置を判定し，抽出する
必要がある。本発明は，このような目標画像の抽出をカ
ラー画像で行うことにより精度良く目標画像を抽出する
ことのできる画像処理装置に関する。

【０００４】

【従来の技術】従来より用いられている画像抽出は白黒
の濃淡画像に基づいてなされるものであった。その抽出
方法は，白黒の濃淡の輪郭を抽出し，対象画像とのパタ
ーンマッチングをとるようにしていた。あるいは，対象
物のエッジ部分のテンプレート画像を持ち，テンプレー
ト画像と対象濃淡画像との局所相関をとり目標領域を抽
出する方法もあった。

【０００５】図１５は従来の技術であって，対象物のエ
ッジ部分のテンプレート画像を持ち，テンプレート画像
と対象濃淡画像との局所相関をとり目標領域を抽出する
画像処理装置を示す。

【０００６】図１５において，５００は画像抽出装置で
ある。５０１は撮像装置であって，目標画像の領域を抽
出する対象画像を撮影するものである。

【０００７】５０２は，Ａ／Ｄ変換部であって，対象画
像をＡ／Ｄ変換するものである。５０３は対象画像メモ
リであって，対象画像を保持するものである。５０４は
テンプレート画像メモリであって，目標画像の領域を抽
出する基準となるテンプレート画像を保持するものであ
る。

【０００８】５０５は相関演算部であって，対象画像の
部分領域とテンプレート画像を比較し，相関値を演算す
るものである。５０６はアドレス発生部であって，対象
画像メモリ５０３，テンプレート画像メモリ５０４のア
ドレスを発生するものである。

【０００９】５０７は相関値ピーク位置検出部であっ
て，対象画像の中の相関値のピーク位置を検出するもの
である。図１５の構成において，撮像装置５０１により
撮像された画像データは，Ａ／Ｄ変換部５０２によりデ
ジタル画像データに変換され，順次対象画像メモリ５０
３に保持される。テンプレート画像メモリ５０４は抽出
の目標となるテンプレート画像が保持される。相関演算
部５０５は相関演算を行うことにより，対象画像メモリ
５０３の部分領域（比較領域）の画像データとテンプレ
ート画像メモリ５０４のテンプレート画像との相関を求
める。相関値ピーク位置検出部５０７はこの相関値ピー
ク位置検出部５０７からのピーク位置，即ち，最も相関
の高い位置を検出する。相関値ピーク位置検出部５０７
からは，常に相関値のピーク位置が得られ，このピーク
位置に基づいて対象画像から目標画像の領域を実時間で
抽出することができる。

【００１０】従来の画像抽出装置は，対象画像を１フレ
ーム入力した後に画像を探索して目標画像の領域を抽出
し，１フレームの探索をした後に，次のフレームの対象
画像を入力するように，対象画像の入力処理をしている
間は目標画像の探索を行うことができなかった。

【００１１】そこで，本出願人は，画像抽出装置を複数
設けることにより，対象画像の入力と目標画像の探索を
平行して行なえるようにした。その画像処理装置はトラ
ッキングビジョン（商品名）と称し，本出願人により特
願平６−２２５４１９号（出願日平成６年９月２０日）
として特許出願されている。

【００１２】図１２，図１３，図１４より本発明の先行
技術（トラッキングビジョン）について説明する。図１
２はトラッキングビジョンの説明図であって，装置構成
の例を示す。

【００１３】図１２において，２０１は撮像装置（白黒
カメラ）である。２０２は画像入力装置であって，撮像
装置２０１の入力信号をＡ／Ｄ変換するものである。

【００１４】２０３は画像データバスである。２０４−
１，２０４−２，２０４−Ｍは画像抽出装置（前述の特
許出願明細書における相関追跡装置）であって，それぞ
れの画像抽出装置は画像データバス２０３を介して並列
に接続されている。各画像抽出装置は全て同じ構成であ
る。

【００１５】２０４’−１，２０４’−２，２０４’−
Ｍはそれぞれ画像メモリであって，対象画像（前述の特
許出願明細書における探索画像）の保持メモリ，テンプ
レート画像（前述の特許出願明細書における参照画像）
の保持メモリを備えるものである。

【００１６】図１２ (a)の構成において，撮像装置２０
１により撮影された画像の画像データは，画像入力装置
２０２によりデジタル画像データに変換される。そし
て，画像データバス２０３のフレーム同期信号線，画素
クロック信号線および画像データ信号線を介して各画像
抽出装置２０４−１〜２０４−Ｍに供給される。画素ク
ロック信号線上を転送される画素クロックと画像データ
信号線上を転送される画像データとのタイミングは，例
えば，図１２ (b)に示すような関係になっている。各画
像抽出装置２０４−１〜２０４−Ｍは画素クロックの立
ち上がりエッジに応答して各画素をデータラッチして，
対応する画像メモリ２０４’−１〜２０４’−Ｍ（対象
画像の保持メモリ，テンプレート画像の保持メモリ）内
に格納する。

【００１７】画像抽出装置２０４−１〜２０４−Ｍのう
ち，任意の画像抽出装置を選択的に並列動作させ，画像
メモリ２０４’−１〜２０４’−Ｍを選択的に切り換え
て使用することにより，画像メモリ２０４’−１〜２０
４’−Ｍへの書き込みと読み出し及び目標画像の抽出処
理を並列して実行することができる。そのため，画像デ
ータの各フレーム毎に目標画像の抽出を行うことができ
る。

【００１８】図１３はトラッキングビションの説明図で
ある。図１３ (a)は画像抽出装置の構成を示す。図１３
(a)において，２０５は画像入力制御部である。

【００１９】２０６は対象画像メモリであって，対象画
像を保持するものである。２０７はテンプレート画像メ
モリであって，抽出する基準となる目標画像を保持する
ものである。

【００２０】２０８は相関演算部である。図１３ (b)は
テンプレート画像，図１３ (c)は対象画像の例である。
撮像装置２０１により撮像された画像に関するアナログ
画像データは，画像入力装置２０２によりデジタル画像
に変換され，画像抽出装置２０４の画像入力制御部２０
５を介して順次対象画像メモリ２０６に格納される（図
１２参照）。テンプレート画像メモリ２０７には，抽出
の基準となる画像データ（目標画像）が格納されてい
る。相関演算部２０８は，テンプレート画像メモリ２０
７内の画像データと対象画像メモリ２０６内の画像デー
タとの相関を示す相関値を求める。この相関値のピーク
位置，即ち，撮像画面中で相関性の最も高い位置は，相
関値ピーク位置検出器（図示せず）により検出される。
従って，相関値ピーク位置検出器からは常に相関値のピ
ーク位置が得られる。このピーク位置に基づいて目標画
像を実時間で抽出することができる。ピーク位置の検出
でなく，相関があらかじめ定めた基準値より高い画素を
検出して抽出するようにしても良い。

【００２１】相関演算部２０８は対象画像メモリ２０６
内の画像データとテンプレート画像メモリ２０７内の画
像データに対して，次の演算をする。ここでは，便宜的
にテンプレート画像を図１３ (b)に示すように８画素×
８画素とし，対象画像内の画素値をＸ_ijとする。この場
合，相関演算部２０８は，例えば，図１３ (c)に示すよ
うに１６画素×１６画素の対象画像に対して，図１４
(a)に示すように，対象画像内のテンプレート画像と同
じ比較領域（部分領域）と次式の演算を行う。なお，次
式中，Ｙ_ijは対象画像メモリ内の画素値を表し，Ｄ_mnは
２つの画像の相関値を示す。ｍ＝０〜７，ｎ＝０〜７で
ある。

【００２２】 である。

【００２３】上記の式中Ｄ_mnの値は２つの画素の相関が
高い程小さくなる。図１４はトラッキングビジョンの説
明図である。図１４ (a)はテンプレート画像と対象画像
の相関を求める方法を示す。対象画像から比較領域を切
り出し，テンプレート画像と比較して相関をとることを
示す。

【００２４】図１４ (b)はテンプレート画像の例を示
し，図１４ (c)は対象画像の例を示す。また，図１４
(d)は図１４ (b)と図１４ (c)に相関演算を行った比較
結果の例を示す。この例ではｍ＝７，ｎ＝４でＤ_mnが最
小値となり，この比較領域がテンプレート画像と最も似
ていることを表す。あるいはＤ_mnがあらかじめ定めた基
準値より小さい画素を抽出するようにしても良い。

【００２５】このようにして，相関処理を行うことによ
り各フレーム毎に実時間で目標画像を抽出することがで
きる。

【００２６】

【発明が解決しようとする課題】従来の輪郭線を利用
し，パターンマッチングをとって目標領域を抽出する方
法は，処理方法が複雑で，得られる画像中に輪郭が多い
場合には処理時間が長くなり，誤検出の率も高かった。
また，上記先行技術も白黒の濃淡画像に対して局所相関
を使って目標領域を抽出する方法は濃淡画像のみを使っ
ているため，色が違っていても輝度が同じ場合には相関
値が高くなり誤検出する恐れがある。

【００２７】本発明は，誤検出がなく，しかも高速に目
標領域を抽出することのできる画像処理装置を提供する
ことを目的とする。

【００２８】

【課題を解決するための手段】本発明は，画像入力装置
と，対象画像と対象画像から所定の画像領域を抽出する
基準となるテンプレート画像を保持し，対象画像からテ
ンプレート画像と相関の高い領域を抽出する画像抽出装
置と，画像出力装置とを備えた画像処理装置において，
画像抽出装置は，カラーの対象画像の赤成分（Ｒ）およ
び緑成分（Ｇ）および青成分（Ｂ）を成分毎に保持する
対象画像の成分保持部と，画像抽出装置は，テンプレー
ト画像の赤成分（Ｒ）および緑成分（Ｇ）および青成分
（Ｂ）を成分毎に保持するテンプレート画像の成分保持
部と，対象画像の各成分とテンプレート画像の各成分に
ついて同じ成分毎に相関値を求める相関演算部と，各成
分毎の相関値に基づいて各成分の相関を総合し総合相関
値を求める総合相関値算出部と，総合相関値を保持する
総合相関値保持部と，総合相関値に基づいて対象画像と
テンプレート画像の相関が最大である領域を抽出する領
域抽出部と，抽出領域を出力する出力装置とを備えた構
成をもつものである。

【００２９】図１は本発明の基本構成を示す。図１にお
いて，Ｋは画像処理装置である。

【００３０】Ｋ’は画像入力装置であって，カラー画像
を入力するものである。１は対象画像であって，領域を
抽出する対象の画像であり，カラー画像である。

【００３１】２はテンプレート画像（カラー画像）であ
って，対象画像から目標領域を抽出する基準となる画像
であり，カラー画像である。３はＲＧＢ分離部であっ
て，カラー画像から赤成分（Ｒ），緑成分（Ｇ），青成
分（Ｂ）を分離するものである。

【００３２】画像抽出装置Ｌにおいて，Ｔはテンプレー
ト画像の成分保持部である。Ｕは対象画像の成分保持部
である。

【００３３】４はテンプレート画像２のＲ成分保持部で
ある。５はテンプレート画像２のＧ成分保持部である。
６はテンプレート画像２のＢ成分保持部である。

【００３４】７は対象画像１のＲ成分保持部である。８
は対象画像１のＧ成分保持部である。９は対象画像１の
Ｂ成分保持部である。

【００３５】１０は相関演算部であって，対象画像１の
Ｒ成分とテンプレート画像２のＲ成分の相関値を求める
ものである。１１は相関演算部であって，対象画像１の
Ｇ成分とテンプレート画像２のＲ成分の相関値を求める
ものである。

【００３６】１２は相関演算部であって，対象画像１の
Ｂ成分とテンプレート画像２のＲ成分の相関を求めるも
のである。１３は加算部であって，対象画像１とテンプ
レート画像２のＲ成分の相関値，Ｇ成分の相関値，Ｂ成
分の相関値を総合する総合相関値演算部である（例え
ば，各相関値の和をとる）。

【００３７】１４は総合相関値保持部であって，総合相
関値演算部１３の求めた総合相関値を保持するものであ
る。１５は領域抽出部であって，総合相関値保持部１４
に保持される総合相関値に基づいて対象画像１のテンプ
レート画像２との相関の高い領域を抽出するものであ
る。

【００３８】１６は出力装置であって，抽出領域（目標
画像）を出力するものである。

【００３９】

【作用】図２は本発明の動作原理の説明図である（図１
の本発明の基本構成の動作は後述する）。

【００４０】図２において，１は対象画像である。Ｒｆ
は参照画像であって，探索する目標画像である。

【００４１】２はテンプレート画像であって，探索する
目標画像であり参照画像Ｒｆから切り出した局所領域で
ある。２１は参照画像ＲｆのＲ成分である。

【００４２】２２は参照画像ＲｆのＧ成分である。２３
は参照画像ＲｆのＢ成分である。２４は局所領域であっ
て，テンプレート画像とする領域である（図２の局所領
域は４画素の場合を例として示す）。

【００４３】２５はテンプレート画像２のＲ成分であ
る。２６はテンプレート画像２のＧ成分である。２７は
テンプレート画像２のＢ成分である。

【００４４】３１は対象画像１のＲ成分である。３２は
対象画像１のＧ成分である。３３は対象画像１のＢ成分
である。

【００４５】３４は比較領域であって，テンプレード画
像２と比較する領域である。比較領域３４は対象画像１
から順次に切り出されるものである（図２の局所領域は
４画素の場合を例として示す）。

【００４６】３５はＲ成分の相関値であって，テンプレ
ート画像のＲ成分と対象画像のＲ成分の比較領域３４を
画素毎に比較し，各画素毎の比較結果に基づいて（例え
ば，テンプレート画像２と比較領域の成分値の差の絶対
値を画素毎に求め，各画素の絶対値の和をとる等）相関
値を求めるものである。

【００４７】３６はＧ成分の相関値であって，テンプレ
ート画像のＧ成分と対象画像のＧ成分の比較領域３４を
画素毎に比較して相関値を求めるものである。３７はＢ
成分の相関値であって，テンプレート画像のＢ成分と対
象画像のＢ成分の比較領域３４を画素毎に比較して相関
値を求めるものである。

【００４８】３８は総合相関値（Ｓ）であって，Ｒ成分
の相関値３５，Ｇ成分の相関値３６，Ｂ成分の相関値３
７を総合（加算等）したものある。４０は総合相関値マ
ップであって，対象画像１の画素に総合相関値を割り当
てたものである。例えば，比較領域３４（例えば，左上
の画素の位置が１行１列の位置の比較領域の総合相関値
Ｓ₁₁を対象領域の１行１列の位置の画素に割り当てるよ
うに，比較領域の左上の画素の位置（ｍ行ｎ列）の比較
領域の総合相関値Ｓｍｎを対象領域のｍ行ｎ列の位置の
画素に割り当てる）。

【００４９】４１は領域抽出であって，総合相関値マッ
プからテンプレート画像と対象画像の比較領域の相関の
大きい領域を抽出するものである。例えば，テンプレー
ト画像の各成分と比較領域３４の各成分の比較をそれぞ
れの値の差の絶対値で求め，総合相関値Ｓを各成分の相
関値の和で求めた場合には，Ｓがあるεより小さい値と
なる領域を抽出する。

【００５０】４２は対象画像である。４３は目標領域で
あって，領域抽出４１の処理により抽出された最も相関
が高い領域である。

【００５１】図２により本発明の動作原理を説明する。
参照画像Ｒｆから探索の基準とする局所領域２４を切り
出し，テンプレート画像２とする。対象画像１から比較
領域３４を切り出す。

【００５２】テンプレート画像２のＲ成分と比較領域３
４のＲ成分を比較し，Ｒ成分の相関値３５を求める。例
えば，画素毎に両成分の差の絶対値をとり，その算出値
に基づいて（例えば，各画素の差の絶対値の和をとる
等）Ｒ成分の相関値を求める。同様に，テンプレート画
像２のＲ成分と比較領域３４のＧ成分を比較し，Ｇ成分
の相関値３６を求める。テンプレート画像２のＢ成分と
比較領域３４のＢ成分を比較し，Ｂ成分の相関値３７を
求める。各成分の相関値を総合し（例えば，各成分の相
関値を加算する），総合相関値Ｓを求め，対象画像の画
素に対応付けて割り当てる（割り当て方法は，例えば前
述したように，比較領域の左上の画素の位置が（ｍ行ｎ
列）の比較領域の総合相関値をＳｍｎとした時，Ｓｍｎ
を対象画像のｍ行ｎ列の位置に対応付けて割り当て
る）。このように，比較領域３４を対象画像１から順次
切り出し，各比較領域毎に総合相関値を求め，総合相関
値マップ４０を作成する。各総合相関値マップ４０の各
画素の総合相関値Ｓｍｎを基準値εと比較し，前記のよ
うに各成分の相関値，総合相関値を求めた場合にはＳｍ
ｎがεより小さい画素を抽出し，目標領域４３を求め
る。

【００５３】次に，本発明基本構成の動作を説明する
（図２を参照する）。画像入力装置Ｋ’から入力される
対象画像（カラー画像）１をＲＧＢ分離部３でＲ成分
（赤），Ｇ成分（緑），Ｂ成分（青）に分離する。各成
分はそれぞれ対象画像のＲ成分保持部７，対象画像のＧ
成分保持部８，対象画像のＢ成分保持部９に保持される
（図２の対象画像のＲ成分３１，対象画像のＧ成分３
２，対象画像のＢ成分３３に対応する）。

【００５４】参照画像Ｒｆの局所領域２４から切り出し
たテンプレート画像２をＲＧＢ分離部３によりＲ成分，
Ｇ成分，Ｂ成分に分離する。各成分はそれぞれ，テンプ
レート画像のＲ成分保持部４，テンプレート画像のＧ成
分保持部５，テンプレート画像のＢ成分保持部６に保持
する（図２のテンプレート画像のＲ成分２５，Ｇ成分２
６，Ｂ成分２７に対応する）。

【００５５】相関演算部１０は対象画像１のＲ成分３１
とテンプレート画像のＲ成分２５を比較し，Ｒ成分の相
関値３５を求める。相関演算部１１は対象画像のＧ成分
３２とテンプレート画像のＧ成分２６を比較し，Ｇ成分
の相関値３６を求める。相関演算部１２は対象画像のＢ
成分３３とテンプレート画像のＢ成分２７を比較し，Ｂ
成分の相関値を求める。

【００５６】総合相関値演算部１３は各成分の相関値を
もとに総合相関値を求め，総合相関値保持部１４に保持
させ総合相関値マップ４０を作成する。一方，領域抽出
部１５は総合相関値演算部１３の演算結果を所定の基準
値εと比較し，テンプレート画像と相関の高い領域（目
標領域４３）を判定し，出力する。

【００５７】本発明によれば，カラー画像において，濃
淡レベルは同じであっても色相の異なる画像領域を識別
し，テンプレート画像の濃淡と色相が同じ領域を正確に
抽出することができる。

【００５８】

【実施例】図３は本発明の実施例１を示す。図３におい
て，５１はカラーカメラであって，移動するロボット等
の対象画像および参照画像を得るものである。

【００５９】５２はＲＧＢ分離回路である。５６は対象
画像のＲ成分保持メモリである（図１の対象画像のＲ成
分保持部に相当する）。

【００６０】５７は対象画像のＧ成分保持メモリである
（図１の対象画像のＧ成分保持部に相当する）。５８は
対象画像のＢ成分保持メモリである（図１の対象画像の
Ｂ成分保持部に相当する）。

【００６１】６０はテンプレート画像のＲ成分保持メモ
リである（図１のテンプレートのＲ成分保持部に相当す
る）。６１はテンプレート画像のＧ成分保持メモリであ
る（図１のテンプレートのＧ成分保持部に相当する）。

【００６２】６２はテンプレート画像のＢ成分保持メモ
リである（図１のテンプレートのＢ成分保持部に相当す
る）。６５は相関演算回路であって，対象画像のＲ成分
とテンプレート画像のＲ成分の差の絶対値を演算し，相
関値を算出するものである（図１の相関演算部に相当す
る）。

【００６３】６６は相関演算回路であって，対象画像の
Ｇ成分とテンプレート画像のＧ成分の差の絶対値を演算
し，相関値を算出するものである（図１の相関演算部に
相当する）。

【００６４】６７は相関演算回路であって，対象画像の
Ｂ成分とテンプレート画像のＢ成分の差の絶対値を演算
し，相関値を算出するものである（図１の相関演算部に
相当する）。

【００６５】６８は加算回路であり，各相関演算回路６
５，６６，６７の演算結果を加算し，総合相関値を求め
るものである（図１の総合相関値演算部に相当する）。
７０は相関値格納メモリであって，対象画像の画素に対
応して総合相関値を保持し，総合相関値マップを構成す
るものである（図１の総合相関値保持部に相当する）。

【００６６】７１は比較演算回路であって，加算回路の
演算結果を画素毎に基準値εと比較し，εより小さい総
合相関値Ｓｍｎの画素を求めるものである（比較演算回
路は図１の領域抽出部に相当する）。また，比較演算回
路は先行技術のように総合相関値のピーク値のある画素
を求めて出力するものでも良い。

【００６７】７２は画像メモリ制御回路であって，対象
画像の各成分保持メモリ５６，５７，５８のアドレス制
御，読み出し，書き込みの制御をするものである。７３
はテンプレート制御回路であって，テンプレート画像の
各成分保持メモリ６０，６１，６２のアドレス制御，読
み出し，書き込みの制御をするものである。

【００６８】７５はコントロールユニットであって，テ
ンプレート制御回路７３，画像メモリ制御回路７２，比
較演算回路７１，相関値格納メモリ７０の制御を行うも
のである。

【００６９】図３の構成の動作は後述する。図４は本発
明のテンプレート画像と対象画像の例を示す。図４にお
いて，８０はテンプレート画像であって，横ｎ画素，縦
ｎ画素である。例えば，ｎ＝８，１６，３２等である。
テンプレート画像はＲ（赤），Ｇ（緑），Ｂ（青）のそ
れぞれの成分毎にある。

【００７０】８１は画素であって，位置を（Ｋ，Ｌ）で
表す。８５は対象画像であって，横５１２画素，縦５１
２画素である。対象画像はＲ（赤），Ｇ（緑），Ｂ
（青）のそれぞれの成分毎にある。

【００７１】８６は画素であって，位置を（ｉ，ｊ）で
表す。８７は比較領域であって，左上の画素の位置が
（ｉ，ｊ）の比較領域の位置を（ｉ，ｊ）で表す。

【００７２】Ｒ成分のテンプレート画像の位置（Ｋ，
Ｌ）の画素の成分値をＴｒ〔Ｋ〕〔Ｌ〕で表す。Ｇ成分
のテンプレート画像の位置（Ｋ，Ｌ）の画素の成分値を
Ｔｇ〔Ｋ〕〔Ｌ〕で表す。

【００７３】Ｂ成分のテンプレート画像の位置（Ｋ，
Ｌ）の画素の成分値をＴｂ〔Ｋ〕〔Ｌ〕で表す。Ｒ成分
の対象画像の位置（ｉ，ｊ）の画素の成分値をＯｒ
〔ｉ〕〔ｊ〕で表す。

【００７４】Ｇ成分の対象画像の位置（ｉ，ｊ）の画素
の成分値をＯｇ〔ｉ〕〔ｊ〕で表す。Ｂ成分の対象画像
の位置（ｉ，ｊ）の画素の成分値をＯｂ〔ｉ〕〔ｊ〕で
表す。

【００７５】図５は本発明の実施例１のフローチャート
である。図３の実施例１の構成を図５のフローチャート
を使用して説明する。図５における符号は図４に従う。

【００７６】Ｓ１，Ｓ２ ＲＧＢ分離回路は参照画像を
入力し，Ｒ，Ｇ，Ｂに分離する。テンプレート制御回路
７３はテンプレートコントロール信号を発生し，参照画
像からテンプレート画像を切り出す。そして，それぞれ
の成分をテンプレート画像のそれぞれの成分保持メモリ
（６０，６１，６２）に保持する（テンプレート画像入
力）。

【００７７】Ｓ３ ＲＧＢ分離回路は対象画像を入力す
る。そして，対象画像をＲ，Ｇ，Ｂに分離する。画像メ
モリ制御回路７２はそれぞれの成分をそれぞれの成分の
保持メモリ５６，５７，５８に保持させる。

【００７８】Ｓ４，Ｓ５ 画像メモリ制御回路７２は対
象画像の初期位置を（０，０）に定める（ｉ＝０，ｊ＝
０）。 Ｓ６ 位置（ｉ，ｊ）の相関値Ｓ〔ｉ〕〔ｊ〕（前述の
Ｓｍｎ）を初期化する（Ｓ〔ｉ〕〔ｊ〕＝０）。

【００７９】Ｓ７，Ｓ８ テンプレート画像の画素の初
期位置を（０，０）に定める（Ｋ＝０，Ｌ＝０）。 Ｓ９ 各相関演算回路６５，６６，６７は各成分の相関
値を求め，加算回路６８は，Ｓ〔ｉ〕〔ｊ〕＋＝ａｂｓ
（Ｔｒ〔Ｋ〕〔Ｌ〕−Ｏｒ〔ｉ＋Ｋ〕〔ｊ＋Ｌ〕）＋ａ
ｂｓ（Ｔｇ〔Ｋ〕〔Ｌ〕−Ｏｇ〔ｉ＋Ｋ〕〔ｊ＋Ｋ〕）
＋ａｂｓ（Ｔｂ〔Ｋ〕〔Ｌ〕−Ｏｂ〔ｉ＋Ｋ〕〔ｊ＋
Ｌ〕）で画素の相関値を計算し，前回までの画素の相関
値の和に今回求めた相関値を換算し，総合計算値を計算
する（Ｓ〔ｉ〕〔ｊ）＋＝は前回のＳ〔ｉ〕〔ｊ〕に今
回もとめた相関値を加算することを表す）。

【００８０】Ｓ１０ テンプレート制御回路７３は，Ｌ
＝Ｌ＋ｐ（ｐ≧１）で次の画素を定める（求める画素の
位置を横方向に移動する）。ｐ≧２は画素をｐ個だけ飛
び越して相関を求める場合である。

【００８１】Ｓ１１ テンプレート制御回路７３は，Ｌ
＜ｎであるか判定する。Ｌ＜ｎであればＳ８以降の処理
を繰り返す。Ｌ＜ｎでなければＳ１２に進む。 Ｓ１２ テンプレート制御回路７３は，Ｋ＝Ｋ＋ｐで次
の画素を定める（次の求める画素の位置を縦方向に移動
する）。ｐ≧２は画素をｐ個だけ行を飛び越して相関を
求める場合である。

【００８２】Ｓ１３ テンプレート制御回路７３は，Ｋ
＜ｎであるか判定する。Ｋ＜ｎであればＳ８以降の処理
を繰り返す。Ｋ＜ｎでなければＳ１４に進む。 Ｓ１４ 比較演算回路７１は，Ｓ〔ｉ〕〔ｊ〕＜εであ
るか判定する（εはあらかじめ定めた値）。Ｓ〔ｉ〕
〔ｊ〕＜εであればＳ１５に進んで領域を抽出する。Ｓ
〔ｉ〕〔ｊ〕＜εでなければＳ１６に進み，次の比較領
域を求める。

【００８３】Ｓ１５ 比較演算回路７１は，Ｓ〔ｉ〕
〔ｊ〕＜ε（相関が大きいことを表す）なので求めた領
域を抽出する。 Ｓ１６ 画像メモリ制御回路７２は，ｊ＝ｊ＋１として
切り出す比較領域の位置を縦下方向に１だけ移動する。

【００８４】Ｓ１７ 画像メモリ制御回路７２は，ｊ＜
５１２か判定し，ｊ＜５１２であればＳ６以降の処理を
繰り返す。ｊ＜５１２でなければ，Ｓ１８に進む。 Ｓ１８ 画像メモリ制御回路７２は，ｉ＝ｉ＋１とし
て，比較領域を切り出す位置を右横方向に１だけ移動す
る。

【００８５】Ｓ１９ 画像メモリ制御回路７２は，ｉ＜
５１２であるか判定する。ｉ＜５１２であればＳ４以降
の処理を繰り返す。ｉ＜５１２でなければ対象画像の全
ての画素について処理をしたので終了する。

【００８６】なお，図３の構成において，比較演算回路
７１は加算回路６８の比較結果を比較結果が出力される
毎に順次，基準値εと比較し，比較結果を出力するとと
もに相関値格納メモリ７０は加算回路６８の比較結果を
順次格納する。あるいは，比較演算回路７１は加算回路
６８の比較結果を基準値εと比較し，比較結果がεより
小さければその画素の値を１とし，比較結果より大きけ
ればその画素の値を０として出力し，相関値格納メモリ
７０にその二値化した値を格納するようにしても良い。

【００８７】一般的に，Ｒ，Ｇ，Ｂが同じ程度の値をと
るときは，彩度が低い状態，つまり色相がない画像とな
る。そこで，Ｒ，Ｇ，Ｂの値の間の違いが小さい場合に
は，（Ｒ＋Ｇ＋Ｂ）を輝度情報として対象画像とテンプ
レート画像の輝度について相関をとり領域を抽出する。

【００８８】図６，図７は本発明の実施例２である（図
６の符号Ａ，Ｃ，Ｄ，Ｅ，Ｆ，Ｈ，Ｉ，Ｊ，Ｍ，Ｎ，
Ｐ，Ｑはそれぞれ図７の同じ符号に接続される）。図
６，図７において，５１はカラーカメラである。

【００８９】５２はＲＧＢ分離回路である。５６は対象
画像のＲ成分保持メモリである。５７は対象画像のＧ成
分保持メモリである。

【００９０】５８は対象画像のＢ成分保持メモリであ
る。６０はテンプレート画像のＲ成分保持メモリであ
る。６１はテンプレート画像のＧ成分保持メモリであ
る。

【００９１】６２はテンプレート画像のＢ成分保持メモ
リである。６５は相関演算回路であって，テンプレート
画像の彩度が大きい場合には，対象画像のＲ成分とテン
プレート画像のＲ成分の差の絶対値を演算して求め，相
関値を算出するものである。また，テンプレート画像の
彩度が低い場合には，テンプレート画像の輝度と比較領
域の輝度を比較するものである。

【００９２】６６は相関演算回路であって，テンプレー
ト画像の彩度が大きい場合に，対象画像のＧ成分とテン
プレート画像のＧ成分の差の絶対値を演算して求め，相
関値を算出するものである。

【００９３】６７は相関演算回路であって，テンプレー
ト画像の彩度が大きい場合に，対象画像のＢ成分とテン
プレート画像のＢ成分の差の絶対値を演算して求め，相
関値を算出するものである。

【００９４】６８は加算回路であり，テンプレート画像
の彩度が高い場合に，各相関演算回路６５，６６，６７
の演算結果を加算し，総合相関値を求めるものである。
また，テンプレート画像もしくは対象画像の彩度が低い
場合にも各加算回路の値が加算されるが，相関演算回路
６６，６７には値がないので実質的に相関演算回路６５
の演算値が総合相関値となる。

【００９５】７０は相関値格納メモリである。７１は比
較演算回路である。７２は画像メモリ制御回路である。

【００９６】７３はテンプレート制御回路である。７５
はコントロールユニットである。９０は彩度判別回路で
あって，テンプレート画像の彩度および比較領域の彩度
を判定するものである。

【００９７】９１は輝度算出回路であって，彩度判別回
路９０の求めたＲ，Ｇ，Ｂの彩度の和をとり，テンプレ
ート画像の輝度および比較領域の輝度を算出するもので
ある。

【００９８】９２は輝度テンプレートであって，輝度算
出回路９１の算出した輝度を保持するものである。図
８，図９は本発明の実施例２のフローチャートである
（図８の，，，は図９の同じ符号に続く）。図
８，図９のフローチャートはテンプレート画像の左上の
画素（Ｋ＝０，Ｌ＝０）の画素の彩度によりそのテンプ
レート画像の彩度の程度を判定するようにし，比較領域
（ｉ，ｊ）の左上の画素（ｉ＝０，ｊ＝０）の画素の彩
度によりその比較領域の精度の程度と判定する場合を示
す。テンプレート画像の各画素の彩度の程度の総合値，
および比較領域の各画素の彩度の程度の総合値によりテ
ンプレート画像の彩度，比較領域の彩度を判定するよう
にしても良い。

【００９９】Ｓ１ ＲＧＢ分離回路５２は参照画像を入
力し，Ｒ，Ｇ，Ｂ成分に分離する。テンプレートコント
ロール信号により，テンプレート画像となる領域を切り
出し，それぞれの成分を保持メモリ６０，６１，６２に
保持する（テンプレート画像入力）。

【０１００】Ｓ２ 彩度判別回路９０はテンプレート画
像の左上の画素の彩度判別をする。次の条件を満たすと
きはテンプレート画像全体に彩度がないものとしてＳ４
に進む。次の条件を満たさない時は，テンプレート画像
全体に彩度があるものとしてＳ３に進み，図５のフロー
チャートの処理をする。

【０１０１】 ａｂｓ（Ｔｒ

〔０〕

〔０〕−Ｔｇ

〔０〕

〔０〕）＜δ ＆ ａｂｓ（Ｔｒ

〔０〕

〔０〕−Ｔｂ

〔０〕

〔０〕）＜δ ＆ ａｂｓ（Ｔｇ

〔０〕

〔０〕−Ｔｂ

〔０〕

〔０〕）＜δ Ｓ４ 輝度算出回路９１はテンプレート画像の各成分値
に基づいてＲ＋Ｇ＋Ｂを計算し，輝度テンプレートＴｒ
ｇｂ〔Ｋ〕〔Ｌ〕を生成する。

【０１０２】Ｓ５ ＲＧＢ分離回路５２は，対象画像を
入力し，Ｒ，Ｇ，Ｂ成分に分離する。 Ｓ６，Ｓ７ 画像メモリ制御回路７２は比較領域（ｉ，
ｊ）の初期位置を（０，０）とする。

【０１０３】Ｓ８ 画像メモリ制御回路７２は加算回路
６８の相関値を初期化する（Ｓ〔ｉ〕〔ｊ〕）＝０とす
る）。 Ｓ９ 彩度判別回路９０は比較領域の左上の画素の彩度
を次式で判定し，次式を満たしている場合には比較領域
全体の彩度が小さいものとしてＳ１０に進み，次式を満
たしていない場合には比較領域全体の彩度が大きいもの
として抽出処理を行わず，次の比較領域の処理を行うた
めにＳ１９に進む（このステップで比較領域の彩度が大
きいことはテンプレート画像との相関が小さいことを意
味する）。

【０１０４】 ａｂｓ（Ｏｒ

〔０〕

〔０〕−Ｏｇ

〔０〕

〔０〕）＜γ ＆ ａｂｓ（Ｏｒ

〔０〕

〔０〕−Ｏｂ

〔０〕

〔０〕）＜γ ＆ ａｂｓ（Ｏｇ

〔０〕

〔０〕−Ｏｂ

〔０〕

〔０〕）＜γ 但し，γはあらかじめ定めた一定の基準値である。

【０１０５】（本実施例は比較領域の１番目の画素（左
上の画素）の彩度の程度を推定する）。 Ｓ１０，Ｓ１１ 輝度テンプレートの画素の位置（Ｋ，
Ｌ）を（０，０）とする。

【０１０６】Ｓ１２ 輝度算出回路９１は対象画像の各
成分の保持メモリ５６，５７，５８に保持されている成
分値から，比較領域の各成分値の和を求め，比較領域の
輝度を求める（Ｏｒｇｂ〔ｉ〕〔ｊ〕＝Ｏｒ〔ｉ〕
〔ｊ〕＋Ｏｇ〔ｉ〕〔ｊ〕＋Ｏｂ〔ｉ〕〔ｊ〕）。相関
演算回路６５は比較領域の輝度とテンプレート画像の輝
度の相関値（ａｂｓ（Ｔｒｇｂ〔Ｋ〕〔Ｌ〕−Ｏｒｇｂ
〔ｉ＋Ｋ〕〔ｊ＋Ｌ〕）を求める。そして，それまで求
めた各画素の和に今回求めた画素の相関値を換算してＳ
〔ｉ〕〔ｊ〕を求める（Ｓ〔ｉ〕〔ｊ〕＋＝（ａｂｓ
（Ｔｒｇｂ〔Ｋ〕〔Ｌ〕−Ｏｒｇｂ〔ｉ＋Ｋ〕〔ｊ＋
Ｌ〕））。

【０１０７】Ｓ１３ テンプレート制御回路７３は，輝
度テンプレートの選択する画素の位置をＬ＝Ｌ＋ｐとす
る。 Ｓ１４ Ｌ＜ｎであればＳ１２以降の処理を繰り返し，
Ｌ＜ｎでなければＳ１５に進む。

【０１０８】Ｓ１５ テンプレート制御回路７３は，輝
度テンプレートの選択する画素の位置をＫ＝Ｋ＋ｐとし
て，ｐだけ下の行にとる。 Ｓ１６ テンプレート制御回路７３は，Ｋ＜ｎであれば
Ｓ１１以降の処理を繰り返し，Ｋ＜ｎでなければＳ１７
に進む。

【０１０９】Ｓ１７ 比較演算回路７１は，輝度の相関
値Ｓ〔ｉ〕〔ｊ〕とε’（予め定める）を比較する。Ｓ
〔ｉ〕〔ｊ〕＜ε’（輝度の相関が大きい）であれば，
Ｓ１８に進み，Ｓ〔ｉ〕〔ｊ〕＜ε’でなければ，Ｓ１
９に進む。

【０１１０】Ｓ１８ 比較演算回路７１は，輝度の相関
が大きいので領域を抽出する。 Ｓ１９，Ｓ２０ 画像メモリ制御回路７２は，切り出す
比較領域の位置をｊ＝ｊ＋１として縦下に１行移動す
る。

【０１１１】Ｓ２０ 画像メモリ制御回路７２は，ｊ＜
５１２であればＳ８以降の処理を繰り返し，ｊ＜５１２
でなければＳ２１に進む。 Ｓ２１ 画像メモリ制御回路７２は，切り出す比較領域
の位置をｉ＝ｉ＋１として右横に１だけ移動する。

【０１１２】Ｓ２２ ｉ＜５１２であればＳ６以降の処
理を繰り返し，ｉ＜５１２でなければ処理を終了する。
図１０は本発明の実施例３である。

【０１１３】図１０は本発明を前述したトラッキングビ
ジョン（図１３〜図１４参照）を応用して，構成する場
合の実施例を示す。図１０において，１０１は撮像装置
（カラーカメラ）である。

【０１１４】１０２は画像入力装置であって，撮像装置
１０１の入力信号をＡ／Ｄ変換するものである。１０３
は画像データバスである。

【０１１５】１０４−１，１０４−２，１０４−Ｍは画
像抽出装置であって，それぞれの画像抽出装置は画像デ
ータバス１０３を介して並列に接続されている。各画像
抽出装置は本発明のカラーの画像抽出装置であり，全て
同じ構成である。

【０１１６】図１０の構成において，画像抽出装置１０
４−１〜１０４−Ｍのうち，任意の画像抽出装置を選択
的に並列動作させ，画像メモリを選択的に切り換えて使
用することにより，画像メモリ（対象画像保持部，テン
プレート画像保持部を含む）への書き込み，読み出し及
び関連演算とを並列に実行する。そのため，対象画像保
持部への対象画像入力と，目標画像の抽出（領域抽出）
をフレーム毎に連続して行うことができ，目標画像の領
域抽出を高速に行うことができる。

【０１１７】図１１は本発明の実施例４であって，トラ
ッキングビジョンを応用して構成した場合の実施例であ
る。図１１において，１１４は画像抽出装置であって，
本発明のカラーの画像抽出装置を含むものである。

【０１１８】１１１はセレクタであって，画像データバ
スからの信号を入力するものである。１１２−１，１１
２−２，１１２−３は画像メモリであって，それぞれ，
本発明の対象画像の成分保持部Ｕ，テンプレート画像の
成分保持部Ｔを含むものである。

【０１１９】１１５はアドレスセレクタであって，画像
メモリ１１２−１，１１２−２，１１２−３のアドレス
を選択するものである。１１６はアドレスセレクタであ
って，画像メモリ１１２−１，１１２−２，１１２−３
のアドレスを選択するものである。

【０１２０】１１７はセレクタであって画像メモリ１１
２−１，１１２−２，１１２−３を選択するものであ
る。１１８はセレクタであって画像メモリ１１２−１，
１１２−２，１１２−３を選択するものである。

【０１２１】１１９はメモリ選択部であって，画像メモ
リ１１２−１，１１２−２，１１２−３を選択するもの
である。１２０はテンプレート画像アドレス発生部であ
る。

【０１２２】１２１は対象画像アドレス発生部である。
１２２は相関演算部である。１２３は総合相関値演算部
である。

【０１２３】１２４は領域抽出部（比較演算回路）であ
る（領域抽出部は本発明の先行技術のように総合相関値
のピーク位置を検出するものであっても良い）。図１１
の構成において，セレクタ１１１には画像データバスか
らの画像データ信号が供給される。セレクタ１１１はメ
モリ選択部１１９からの入力メモリ選択信号に基づい
て，入力画像データを３つの画像メモリ１１２−１，１
１２−２，１１２−３のうちでテンプレート画像メモリ
として使用する以外の選択された１つの画像メモリに供
給する。また，３つの画像メモリ１１２−１，１１２−
２，１１２−３のうち，セレクタで選択することによ
り，画像メモリの１つをテンプレート画像メモリとする
（テンプレート画像の画像メモリはいずれか一つに固定
する）。そして，それぞれの画像メモリのアドレスはテ
ンプレート画像アドレス発生部１２０，対象画像アドレ
ス発生部１２１の発生するアドレスにより制御される。
アドレスセレクタ１１５，１１６は画像メモリ１１２−
１，１１２−２，１１２−３の選択された画像メモリに
対してそれぞれのアドレスを選択する。相関演算部１２
２は対象画像の比較領域とテンプレート画像の相関をと
り，総合相関値算出部１２３は総合相関値を算出する。
そして，領域抽出部１２４は総合相関値がεより小さい
領域を抽出して出力する。あるいは，領域抽出部１２４
は総合相関値のピーク位置を検出し，ピーク位置に基づ
いて領域を抽出するようにしても良い。

【０１２４】なお，図１１において，総合相関値保持部
は図示を省略されている。図１１の構成によれば，対象
画像を入力する画像メモリを選択的に交互に使用するこ
とにより対象画像の入力と目標画像の抽出を並行して行
うことができ，対象画像入力と目標画像の抽出（領域抽
出）を並行して行うことができる。そのため，領域抽出
を高速に行うことができる。

【０１２５】

【発明の効果】本発明の請求項１の発明によれば，カラ
ー画像において，濃淡レベルは同じであっても色相の異
なる画像領域を識別できるので，テンプレート画像の濃
淡と色相が同じ領域を正確に抽出することができる。ま
た，本発明の請求項２の発明によれば，彩度が低い領域
を抽出する場合には，輝度で抽出するので，領域抽出の
精度を向上させることができる。さらに，本発明の請求
項３，４の発明によれば，対象画像入力ととも目標画像
の抽出処理を並行して行うことができるので，目標画像
の抽出処理を高速に行うことができる。

【図面の簡単な説明】

【図１】本発明の基本構成を示す図である。

【図２】本発明の動作原理の説明図である。

【図３】本発明の実施例１を示す図である。

【図４】本発明のテンプレート画像と対象画像の例を示
す図である。

【図５】本発明の実施例１のフローチャートを示す図で
ある。

【図６】本発明の実施例２を示す図である。

【図７】本発明の実施例２を示す図である。

【図８】本発明の実施例２のフローチャートを示す図で
ある。

【図９】本発明の実施例２のフローチャートを示す図で
ある。

【図１０】本発明の実施例３を示す図である。

【図１１】本発明の実施例４を示す図である。

【図１２】トラッキングビジョンの説明図である。

【図１３】トラッキングビジョンの説明図である。

【図１４】トラッキングビジョンの説明図である。

【図１５】従来の技術を示す図である。

【符号の説明】

Ｋ：画像処理装置 Ｋ’：画像入力装置 Ｌ：画像抽出装置 Ｔ：テンプレート画像の成分保持部 Ｕ：対象画像の成分保持部 １：対象画像（カラー画像） ２：テンプレート画像（カラー画像） ３：ＲＧＢ分離部 ４：テンプレート画像のＲ成分保持部 ５：テンプレート画像のＧ成分保持部 ６：テンプレート画像のＢ成分保持部 ７：対象画像のＲ成分保持部 ８：対象画像のＧ成分保持部 ９：対象画像のＢ成分保持部 １０：相関演算部 １１：相関演算部 １２：相関演算部 １３：総合相関値演算部 １４：総合相関値保持部 １５：領域抽出部 １６：出力装置

Claims (4)

【特許請求の範囲】
1. 【請求項１】 画像入力装置と，対象画像と対象画像か
   ら所定の画像領域を抽出する基準となるテンプレート画
   像を保持し，対象画像からテンプレート画像と相関の高
   い領域を抽出する画像抽出装置と，出力装置とを備えた
   画像処理装置において，画像抽出装置は，カラーの対象
   画像の赤成分（Ｒ）および緑成分（Ｇ）および青成分
   （Ｂ）を成分毎に保持する対象画像の成分保持部と，画
   像抽出装置は，テンプレート画像の赤成分（Ｒ）および
   緑成分（Ｇ）および青成分（Ｂ）を成分毎に保持するテ
   ンプレート画像の成分保持部と，対象画像の各成分とテ
   ンプレート画像の各成分について同じ成分毎に相関値を
   求める相関演算部と，各成分毎の相関値に基づいて各成
   分の相関を総合し総合相関値を求める総合相関値演算部
   と，総合相関値を保持する総合相関値保持部と，総合相
   関値に基づいて対象画像とテンプレート画像の相関が最
   大である領域を抽出する領域抽出部と，抽出領域を出力
   する出力装置とを備えたことを特徴とする画像処理装
   置。
2. 【請求項２】 請求項１において，テンプレート画像の
   彩度が低い場合には，テンプレート画像の輝度と対象画
   像の輝度を比較することを特徴とする画像処理装置。
3. 【請求項３】 請求項１において，画像抽出装置は複数
   備えられ，対象画像入力と画像抽出処理を並行して行う
   ことを特徴とする画像処理装置。
4. 【請求項４】 請求項１において，画像を保持する保持
   部を３つ以上を備え，そのうちから選択した１つをテン
   プレート画像の保持部として使用し，他の２つを対象画
   像の保持に使用し，対象画像入力と画像抽出処理を並行
   して行うことを特徴とする画像処理装置。