JP3047952B2 - 画像処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明はカメラなどの画像入力
手段から得られた画像データを処理する画像処理装置に
関するものであり、特に、画像データの中から特定の対
象物を自動的に検出する自動目標検出システムに利用す
る。

【０００２】

【従来の技術】図１３は、例えば特開平４−１１５１４
４号公報に示された従来の画像処理装置の構成図であ
り、この画像処理装置はプリント基板の欠陥を検出する
光学検査装置に用いられるものである。図において、１
はカメラなどの画像入力手段、２は画像入力手段１から
得られた画像データを記憶する画像記憶手段、３はそれ
ぞれ定められた異なる複数の処理を含む画像処理手段、
２１は画像処理手段３の処理の中から一つまたは複数の
処理を選択し、複数を選んだ場合には接続を決定する制
御手段、２２は制御手段２１が従うべき手順が予め記憶
されている制御記憶手段である。

【０００３】画像処理装置は如何なる画像データに対し
ても適用できるものではなくて、その適用範囲には制限
がある。決まった特定の画像処理しかできない画像処理
装置の場合、適用範囲は狭い。従来の装置は、この問題
点を解決すべきもので、同一の装置で広い適用範囲をも
つように発明された画像処理装置である。

【０００４】次に、画像処理装置の動作について説明す
る。カメラなどの画像入力手段１により対象物を撮像し
た２次元の画像データを取得する。この画像データはこ
こでは図示していないが、Ａ／Ｄ変換器によってディジ
タル信号に変換されて、半導体メモリなどの画像記憶手
段２に記憶される。記憶された画像データは画像処理手
段３に送られる。操作者が対象物から判断して制御記憶
手段２２に収められた手順のうち一つを選択して制御手
段２１に指示すると、それにより画像処理手段３より最
適な処理が一つ選択される。もしくは、複数の処理が選
択され、それらが定められた順に接続される。従って、
同一の画像処理手段３を用いて、多くの異なる処理を実
施することができる。そのため、処理する対象物が異な
った場合でも、制御手段２１に指示を与えて制御記憶手
段２２に収められた手順から最もふさわしい処理を選択
することにより、その対象物に適した画像処理装置が構
築される。このように、様々な異なる対象物に対して同
一の装置で異なる画像処理を行えるので適用範囲を広げ
ることができる。

【０００５】

【発明が解決しようとする課題】従来の画像処理装置は
以上のように構成されているので、異なる対象物に対し
て適用範囲を拡張することができるが、自動的に画像処
理手段３より適切な処理が選択されないため、人間等が
介在して制御手段２１に指示を与える必要があるという
問題点があった。

【０００６】この発明は上記のような問題点を解決する
ためになされたもので、画像処理の対象である画像デー
タ自身の特徴量を抽出して、この特徴量をもとに別途の
指示を与えることなく画像データに最も適した画像処理
を自動的に選択し実行する画像処理装置を得ることを目
的とする。

【０００７】

【課題を解決するための手段】請求項１の画像処理装置
は、画像入力手段で得られた画像データを複数の領域に
分割する領域分割手段と、上記画像データの複数の領域
毎の特徴量を求める特徴量抽出手段と、上記画像データ
の複数の領域毎にそれぞれ異なる画像処理を行う複数の
画像処理手段と、上記特徴量に基づいて上記画像データ
の複数の領域のそれぞれに対して上記画像処理手段の中
から一つまたは複数の画像処理手段を選択して画像処理
を行わせ、さらに、上記特徴量抽出手段あるいは上記画
像処理手段の出力情報を上記領域分割手段にフードバッ
クし、上記領域分割手段で上記画像データを適切な大き
さの複数の領域に再度分割させる制御手段とを備えたも
のである。

【０００８】請求項２の画像処理装置は、上記領域分割
手段で分割された上記画像データの複数の領域の中から
一部分を切り出した部分領域を選出する領域限定手段を
備え、上記制御手段は、上記特徴量抽出手段あるいは上
記画像処理手段の出力情報を上記領域限定手段にフード
バックし、上記領域限定手段で部分領域を再度選出させ
るものである。

【０００９】

【００１０】

【００１１】

【００１２】

【００１３】請求項３の画像処理装置は、画像入力手段
で得られた画像データの画質劣化を補正する前処理手段
を備えたものである。

【００１４】請求項４の画像処理装置は、画像入力手段
の視線方向の変化を検出する視線検出手段を備え、視線
検出手段の出力に基づいて前処理手段での処理方法およ
び頻度を制御することを特徴とするものである。

【００１５】請求項５の画像処理装置は、画像入力手段
の視線方向の変化を検出する視線検出手段を備え、視線
検出手段の出力に基づいて特徴量抽出手段での作業頻度
を制御することを特徴とするものである。

【００１６】

【作用】この発明においては、領域分割手段が画像デー
タを複数の領域に分割し、特徴量抽出手段が分割された
各領域の特徴量を抽出して、制御手段がその特徴量をも
とにして、画像処理手段の複数の処理からそれぞれの領
域に最も適した処理を選択する。さらに、特徴量抽出手
段または画像処理手段の出力に基づいて、領域分割手段
で画像データを適切な大きさの複数の領域に再度分割さ
せる。

【００１７】また、この発明においては、特徴量抽出手
段が、領域分割手段で分割された画像データの複数の領
域の中から一部分を切り出した部分領域を選出し、特徴
量抽出手段が、この部分領域の特徴量を求め、この特徴
量に基いて上記複数の画像処理手段の中から一つまたは
複数を選択して画像処理に当たらせる。さらに、特徴量
抽出手段または画像処理手段の出力に基づいて、領域限
定手段で部分領域を再度選出させる。

【００１８】

【００１９】

【００２０】

【００２１】

【００２２】また、この発明においては、前処理手段が
画像入力手段で得られた画像データの画質劣化を補正す
る。

【００２３】また、この発明においては、視線検出手段
が画像入力手段の視線方向の変化を検出し、視線検出手
段の出力に基づいて前処理手段での処理方法および頻度
を制御する。

【００２４】また、この発明においては、視線検出手段
が画像入力手段の視線方向の変化を検出し、視線検出手
段の出力に基づいて特徴量抽出手段での作業頻度を制御
する。

【００２５】

【実施例】

実施例１．図１はこの発明の一実施例を示す構成図であ
り、１〜３は上記従来装置と同一のものである。４は画
像データの特徴量を求める特徴量抽出手段、５は画像処
理手段３の処理の中から最も適した処理を選択する制御
手段、６は画像データの特徴量と制御手段５で選択され
る画像処理手段３との関係が予め記憶されている特徴量
記憶手段である。

【００２６】次に、この画像処理装置の概要について説
明する。この画像処理装置は、例えば、画像データの中
から特定の対象物（目標）を人間が介在することなく自
動的に検出する自動目標検出システムに用いられる。目
標は必ずしも輝度均一な背景にあるものではなく、ほと
んどの場合が複雑な背景に存在する。自然界を例にとる
と、山、海、空、雲、市街地などが背景として考えられ
る。画像処理装置はこのような背景の中から目標を検出
するため、コントラストフィルタやハイパスフィルタや
２値化などの画像処理手段３を用いて背景を抑圧する。
それぞれの背景は独自の特徴を持つので、同一の画像処
理手段３で対処するよりも、それぞれの背景に対し適し
た画像処理手段３で対処する方が抑圧効果が大きく、高
い検出能力を有することができる。本発明では画像処理
手段３の入力となる画像データから背景の特徴量を抽出
し、その特徴量をもとにその背景の抑圧に適した画像処
理手段３を選択する。

【００２７】次に、画像処理装置の動作について説明す
る。まず、カメラなどの画像入力手段１により背景や検
出対象である目標などを撮像した２次元の画像データを
取得する。この画像データはここでは図示していないが
Ａ／Ｄ変換器によってディジタル信号に変換されて、半
導体メモリなどの画像記憶手段２に記憶される。記憶さ
れた画像データは特徴量抽出手段４に送られるととも
に、画像処理手段３に送られる。特徴量抽出手段４で
は、画像データから背景の特徴量が計算され制御手段５
に送られる。特徴量としては、例えば、画像のテクスチ
ャ特徴量が求められる。テクスチャとは、ある要素が決
められた規則にしたがって配列されて構成される繰り返
しパターンのことである。森健一著「パターン認識」ｐ
ｐ１５９〜１６３や森俊二、坂倉栂子共著「画像認識の
基礎ＩＩ」ｐｐ１９５〜２００に示されるように、テク
スチャ特徴量として均一性、直線性、コントラスト、エ
ントロピー、相関などを表す幾つかのものがある。特徴
量の種類を多く設定すれば、曖昧さが減少し、背景の特
徴が明確になる。

【００２８】ここでは、２つの特徴量を利用した場合を
例にとって説明する。特徴量記憶手段６には予めテクス
チャ特徴量と画像処理手段３の関係が収められている。
図２はテクスチャ特徴量と画像処理の関係を説明するグ
ラフであり、均一性とコントラストとを２次元特徴空間
に表したものである。制御手段５は、特徴量抽出手段４
によって得られた２つの特徴量を参照して、図２で示し
たような関係よりもっとも適した画像処理を選択する。
例えば、均一性が高くコントラストが低い空の場合、画
像処理手段３ｄが選択される。一方、空に比べて均一性
が低くコントラストが高い雲の場合、画像処理手段３ｂ
が選択される。画像処理手段３では、画像記憶手段２か
ら送られた画像データを制御手段５で選択された画像処
理を実施した後、出力される。

【００２９】このように画像処理の対象である画像デー
タ自身の特徴量をとらえ、これをもとにして画像処理を
自動的に選択するので、人間が介在しなくても常に適応
性のある画像処理が実施される。

【００３０】また、以上の説明では、制御手段５が画像
データの特徴量をもとに複数の画像処理手段３から最適
な画像処理を一つ選択したが、複数の画像処理手段３を
選択してその接続を制御し、画像処理に当らせても同様
の効果が得られることは言うまでもない。

【００３１】実施例２．図３はこの発明の他の実施例を
示す構成図であり、１〜６は上記実施例と同一のもので
あり、８は画像データから一つまたは複数の部分画像デ
ータを切り出す領域限定手段である。実施例１では、画
像データの全領域に対してテクスチャ特徴量抽出を行っ
ていたが、図４のように背景（海）の一部を切り出して
その部分画像データに対してのみテクスチャ解析を実施
しても背景全体の特徴量を知ることができる。この特徴
量をもとに画像データに適した画像処理手段３が制御手
段５により選択されて、画像データの全領域に対して画
像処理が行われる。このように画像データの一部分のみ
に対してテクスチャ特徴量を求める計算を行うので、演
算時間を短縮することができる。

【００３２】また、特徴量抽出手段４または画像処理手
段３の出力を領域限定手段８にフィードバックをかけ
て、その出力の情報から目標が存在しそうな場所に対し
て限定すべき領域の位置、大きさ、形状等を決定するこ
とにより目標の検出精度を向上することができる。

【００３３】実施例３．図５はこの発明の他の実施例を
示す構成図であり、１〜６，８は上記実施例と同一のも
のであり、実施例２では画像データの一部分に対して特
徴量抽出を行い、全領域に対して同一の画像処理手段３
を実施していた。この実施例では切り出した部分画像デ
ータに対してのみ特徴量抽出と画像処理を行なう。画像
入力手段１がここでは図示していないがジンバル等によ
り保持および指向されており、図６のように目標（船）
を画面中央にとらえるように追尾するシステムにおいて
は、目標を追尾している際には画面全領域について画像
処理を行なう必要はない。領域限定手段８により画像デ
ータの領域を限定して、その部分画像データのみについ
て画像処理を行えばよい。これによって、テクスチャ特
徴量抽出処理と画像処理の演算量が低減されるので、処
理速度を向上することができる。

【００３４】実施例４．図７はこの発明の他の実施例を
示す構成図であり、１〜６は上記実施例と同一のもので
あり、９は画像データを複数の領域に分割する領域分割
手段である。実施例１では、画像データの全領域が同じ
種類の背景の場合を想定していたが、全領域が同じ背景
でない場合もあり得る。本実施例では図８のように、領
域分割手段９によって画像データは複数の領域に分割さ
れる。分割された画像データは特徴量抽出手段４に送ら
れ、各領域毎にテクスチャ特徴量が計算される。制御手
段５では各領域毎の特徴量をもとに画像処理手段３が選
択される。画像処理手段３では各領域毎にそれぞれ最適
な画像処理が実施される。このように同一画面内に異な
る特徴量の背景が存在する場合でも、それぞれの領域に
適した処理が行われる。

【００３５】なお、画像データを分割する際には、１つ
の領域に複数の種類の背景が存在するのではなく、各領
域が同一の背景になるように分割するのが望ましい。ま
た、特徴量抽出手段４または画像処理手段３の出力を領
域分割手段９にフィードバックをかけて、その出力情報
から分割すべき領域の大きさを決定することにより、各
領域に対してより適した画像処理手段３が選択される。

【００３６】実施例５．図９はこの発明の他の実施例を
示す構成図であり、１〜６，８〜９は上記実施例と同一
のものである。実施例４では、分割された部分画像デー
タの全領域に対して特徴量抽出を実施していたが、部分
画像データの一部を切り出してテクスチャ解析を実施し
ても背景の特徴量を知ることができる。この特徴量をも
とに分割された領域の全域に対して画像処理が行われ
る。このように画像データの一部分のみに対してテクス
チャ特徴量を求める計算を行うので、演算時間を短縮す
ることができる。

【００３７】また、特徴量抽出手段４や画像処理手段３
の出力を領域限定手段８にフィードバックをかけて、そ
の出力の情報から目標が存在しそうな場所に対して限定
すべき領域の位置、大きさ、形状等を決定してもよい。

【００３８】実施例６．図１０はこの発明の他の実施例
を示す構成図であり、１〜６，８〜９は上記実施例と同
一のものであり、１０は画像データの画質劣化を補正す
る前処理手段である。画像入力手段１が移動したり振動
して、対象物と画像入力手段１との相対位置が変化する
と、像流れやボケが発生して画像データの画質が劣化す
る。そのような画像データをそのまま特徴量抽出処理を
行うと、同じ背景であっても画質劣化がない場合と異な
るテクスチャ特徴量が出力される。このために特徴量記
憶手段６に記憶されていない特徴量が抽出されるという
可能性がある。これを防ぐために、画像入力手段１によ
って得られた画像データの画質劣化を前処理手段１０に
よって補正した後に、その画像データを特徴量抽出手段
４と画像処理手段３に送る。その後、上記実施例と同様
の動作が実施される。なお、画質劣化補正は周知であり
様々あるが、例えば、以下のように行われる。まず、あ
るパラメータで逆フィルタのような補正処理を試みて、
補正画像と劣化画像とから補正の効果を表す評価値を求
める。その値が許容範囲に収まっていれば処理を終了
し、外れている場合にはパラメータを変えて補正処理を
行ない、同様にして評価値を求める。評価値が収束する
ようにパラメータを変えて、補正処理を繰り返し、許容
範囲に収まったら処理を終了する。

【００３９】実施例７．図１１はこの発明の他の実施例
を示す構成図であり、１〜６，８〜１０は上記実施例と
同一のものであり、１１は画像入力手段１の視線方向の
変化を検出するジャイロや重力センサなどの視線検出手
段である。実施例６では、劣化画像から劣化関数を推定
しているため、補正画像を求めるために大規模な計算が
必要となる。劣化の原因である物理現象から劣化関数を
求めることにより、小規模な計算での劣化関数の推定が
可能であることが知られている。像流れやボケなどによ
る画像劣化の原因は、上記のように移動や振動による対
象物と画像入力手段１との相対位置の変化である。視線
検出手段１１が検出した対象物と画像入力手段１との相
対位置の変化を入力として、前処理手段１０が劣化関数
を推定して、劣化画像を補正する。また、画像劣化のな
いときには前処理手段１０が動作する必要はないので、
視線検出手段１１により視線方向が変化したとわかった
ときのみ前処理手段１０が動作するようにすれば、前処
理手段１０の演算回数が減少できるので、処理時間が短
縮される。

【００４０】実施例８．図１２はこの発明の他の実施例
を示す構成図であり、１〜６，８，１０は上記実施例と
同一のものである。画像記憶手段２から送られてくる画
像データ毎に特徴量抽出が行われる必要はない。画像入
力手段１の視野に収まっている背景が変化したときに特
徴量抽出を実施すればよい。背景が変化する場合の多く
は画像入力手段１の視線方向が変化して見ている視野が
移動したときである。視線検出手段１１により視線方向
の変化を検出して、視線方向の移動に応じて特徴量抽出
手段の演算頻度を制御する。視線が固定されているとき
には低頻度で特徴量を抽出し、視線が動いているときに
は抽出頻度を高くする。このように、特徴量抽出処理の
回数を低減して、処理時間を短縮する。

【００４１】以上の説明では、画像データの特徴量をテ
キスチャ特徴量として説明したが、濃度の平均、分散な
どの統計量や空間的スペクトル特性など他の特徴量を用
いても同様の効果が得られることは言うまでもない。

【００４２】

【発明の効果】以上のように、請求項１の発明によれ
ば、各領域毎の特徴量をもとに、各領域毎にそれぞれ最
適な画像処理が選択されるので、同一画面内に異なる特
徴量の背景が存在するような場合でも、それぞれの領域
に適した処理が行われるという効果を奏する。また、特
徴量抽出手段または画像処理手段の出力に基づいて領域
分割手段で分割すべき領域の大きさを決定することによ
り、各領域に対してより適した画像処理手段が選択され
るという効果を奏する。

【００４３】請求項２の発明によれば、特徴量を抽出す
る領域および画像処理を施す領域を限定することによ
り、限定した領域に適した画像処理を選択できるととも
に、処理速度を向上できるという効果を奏する。また、
特徴量抽出手段または画像処理手段の出力に基づいて指
定領域を決定するので、目標が存在しそうな場所に対し
て限定すべき領域の位置、大きさ、形状等を決定するこ
とにより目標の検出精度を向上することができるという
効果を奏する。

【００４４】

【００４５】

【００４６】

【００４７】

【００４８】請求項３の発明によれば、特徴量抽出手段
より前段に前処理手段を設けて、画像入力手段で得られ
た画像データの画質劣化を補正するので、特徴量抽出の
誤りが低減され、目標検出精度が向上するという効果を
奏する。

【００４９】請求項４の発明によれば、視線検出手段に
よる視線方向の変化の検出結果に基づき前処理手段の処
理方法および頻度を制御するので、前処理手段の演算回
数を減少でき、処理時間を短縮できるという効果を奏す
る。

【００５０】請求項５の発明によれば、視線検出手段に
よる視線方向の変化の検出結果に基づき特徴量抽出手段
での作業頻度を制御するので、特徴量抽出手段での特徴
量抽出回数を減少でき、処理時間を短縮できるという効
果を奏する。

【図面の簡単な説明】

【図１】この発明の実施例１を示す画像処理装置の構成
図である。

【図２】この発明の実施例１の特徴量記憶手段の内容を
説明する説明図である。

【図３】この発明の実施例２を示す画像処理装置の構成
図である。

【図４】この発明の実施例２の領域限定手段の動作を説
明する説明図である。

【図５】この発明の実施例３を示す画像処理装置の構成
図である。

【図６】この発明の実施例３の領域限定手段の動作を説
明する説明図である。

【図７】この発明の実施例４を示す画像処理装置の構成
図である。

【図８】この発明の実施例４の領域限定手段の動作を説
明する説明図である。

【図９】この発明の実施例５を示す画像処理装置の構成
図である。

【図１０】この発明の実施例６を示す画像処理装置の構
成図である。

【図１１】この発明の実施例７を示す画像処理装置の構
成図である。

【図１２】この発明の実施例８を示す画像処理装置の構
成図である。

【図１３】従来の画像処理装置の構成図である。

【符号の説明】

１ 画像入力手段 ２ 画像記憶手段 ３ 画像処理手段 ４ 特徴量抽出手段 ５ 制御手段 ６ 特徴量記憶手段 ８ 領域限定手段 ９ 領域分割手段 １０ 前処理手段 １１ 視線検出手段

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平２−62260（ＪＰ，Ａ) 特開 平３−44271（ＪＰ，Ａ) 特開 平５−110843（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 画像入力手段で得られた画像データを複
   数の領域に分割する領域分割手段と、上記画像データの
   複数の領域毎の特徴量を求める特徴量抽出手段と、上記
   画像データの複数の領域毎にそれぞれ異なる画像処理を
   行う複数の画像処理手段と、上記特徴量に基づいて上記
   画像データの複数の領域のそれぞれに対して上記画像処
   理手段の中から一つまたは複数の画像処理手段を選択し
   て画像処理を行わせ、さらに、上記特徴量抽出手段ある
   いは上記画像処理手段の出力情報を上記領域分割手段に
   フードバックし、上記領域分割手段で上記画像データを
   適切な大きさの複数の領域に再度分割させる制御手段と
   を備えたことを特徴とする画像処理装置。
2. 【請求項２】 上記領域分割手段で分割された上記画像
   データの複数の領域の中から一部分を切り出した部分領
   域を選出する領域限定手段を備え、上記制御手段は、上
   記特徴量抽出手段あるいは上記画像処理手段の出力情報
   を上記領域限定手段にフードバックし、上記領域限定手
   段で部分領域を再度選出させることを特徴とする請求項
   １記載の画像処理装置。
3. 【請求項３】 画像入力手段で得られた画像データの画
   質劣化を補正する前処理手段を備えたことを特徴とする
   請求項２記載の画像処理装置。
4. 【請求項４】 画像入力手段の視線方向の変化を検出す
   る視線検出手段を備え、視線検出手段の出力に基づいて
   前処理手段での処理方法および頻度を制御することを特
   徴とする請求項３記載の画像処理装置。
5. 【請求項５】 画像入力手段の視線方向の変化を検出す
   る視線検出手段を備え、視線検出手段の出力に基づいて
   特徴量抽出手段での作業頻度を制御することを特徴とす
   る請求項１〜４のいずれかに記載の画像処理装置。