JPS62204393A - 画像処理エキスパ−トシステム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、物体の画像を入力し識別を行う画像処理装置
に係り、特に、識別対象の領域を画像の特徴により抽出
する手順を、ユーザとの簡単な対話により推論して決定
する画像処理エキスパートシステムに関する。

〔従来の技術〕

画像処理装置は、一般的に２次元入力画像からノイズ除
去等を行ない、識別対象の領域を抽出し、識別対象を認
識するという手順がとられる。この２次元の入力画像か
ら識別対象の領域を抽出するためには５通常オフライン
領域で領域抽出（領域分割ともいう、）のプログラムの
開発がなされる。

しかし、この領域抽出のプログラム作成は１画像処理装
置のユーザにとって非常に苦痛であり１時間を要する作
業であった。

特に、２次元の視覚認識における領域抽出（また、は゛
前処理ともいう、）に限れば、研究は種々なされている
ものの、未だシステムの実用化はなされておらず、今後
の中心ａ題は実用システムへの技術の継承である。換言
すれば、これまでの視覚認識に関する研究で生まれた数
々の手順を、ユーザのアプリケーションに適合するよう
に組合せ、チューニングすることが課題として残された
といえる。しかし、この技術の継承は数少ない画像処理
の専門家と莫大な数に及ぶユーザとの直接的な接触によ
ってのみ実現されるものであるため、視覚認識の実用化
は伸び悩んでいるといえる。しかし、かかる状況下にお
いて、最近では画像処理の専門家の知識を用いてユーザ
と簡単な対話を級返すことにより、画像処理の手順が推
論できるような、いわゆる画像処理エキスパートシステ
ムの研究が田村、板上「画像解析エキスパート・システ
ムのための３種の知識」、電子通信学会、ＡＬ８３−４
９　（１９８３）　、及び末田、三亀９片桐「画像処理
エキスパートシステム」、東芝レビュー、第４０巻第５
号、　ｐｐ４０３−４０６　（１９８５）等の文献に記
載されているように、一部の研究者によってなされるよ
うになってきた。これらの文献に記載された画像処理エ
キスパートシステムは、あらかじめ画像処理の専門家が
入力した知識ベースを用いて手順を推論するものである
。この知識ベースには、画像特徴と、その画像特徴を有
する領域と抽出する手順との対応関係が複数組記憶され
ている。一般に、一つの手順に対応する画像特徴は、複
数の単体の画像特徴の積で表されている。

これまで提案されている画像処理エキスパートシステム
（よ、これらの画像特徴各々について、それを表わす言
葉や記号などのメツセージをあらかじめｌｒＡ備してお
き、順次、これをユーザに問合せることにより、識別対
象の画像特徴を推し測り、対応する手順を導き出そうと
いうものであった。

〔発明が解決しようとする問題点〕

上記従来の画像処理エキスパートシステムは、ユーザと
の対話の手段、すなわち１手順の推論に必要な画像特徴
に関する情報を取得するための手段は、言葉や記号など
のメツセージによる問合せだけであるため１画像処理の
専門家の知識が有効に活用できないという問題がある。

以下、その理由について述べる。

画像処理の専門家が手順を推論するために必要な情報、
すなわち専門家がユーザのアプリケーションに対して評
価する内容（または画像特徴）は第２図に示すようなも
のである。

まず、専門家は、ユーザのアプリケーションが何である
かを知る必要がある。これを知ることにより、そのアプ
リケーションで問題にしている識別対象やその環境に関
する一般的な知識が呼び起され、手順の推論に役立てら
れる０例えば、錠剤のキズ検出であると言われれば、錠
剤というものは一般に、丸いものが主で、球状のものや
円板上のものがあり、中には、会社のマークや製品番号
が印刷しであるものがある。そして、キズはおそらく微
少なもので、錠剤のどこに発生するかわからない等のよ
うな知識が呼び起される。

次に、専門家は、識別対象の画像の特徴、すなわち、濃
度分布の特徴と幾何学的な特徴をそれぞれ評価し、アプ
リケーションに関するより詳細な情報を得る。例えば、
濃度分布の特徴に関しては、錠剤の濃度範囲の測定や背
景のむらの状況等の観察を行い、また、用いている照明
の種類や外乱の有無等をユーザに問合せたりする。そし
て、幾何学的な特徴に関しては１錠剤の３次元的な形状
やマークの有無等を＆ｔ！？’Ｊし、錠剤の位置変化の
有無等をユーザに問合せる。

以上述べたように、専門家の画像特徴に関する評価は、
ユーザとの会話、すなおち言葉を通じて行うものと、画
像の目による観察やデータ分析を通じて行うものがある
。また、一方、十人十色の主観を持つ不特定多数のユー
ザが、一様に理解できる言葉や記号等のメツセージのみ
で１画像特徴、特に専門家が目による観察やデータ分析
で評価している画像特徴をそつなく表現することは極め
て回道である。したがって、言葉などのメツセージによ
る問合せだけでは画像処理の専門家の知識を活用した画
像処理エキスパートシステムは実現できない、これは例
えば、画像処理の専門家が電話による会話だけでは手順
を推論できないという経験的事実からも理解できる。

他方、長谷用、久保田、島脇「サンプル図形の提示によ
る画像処理手順の自動構成方法とその線図形抽出手順構
成への適用」、電子通信学会。

ＰＲＬ８５−３８　（１９８５）と題される論文におい
て、抽出したい画像特徴を抽出的な言葉でなく。

直接画像の形（サンプル図形）で入力する点に関して論
じられている。しかし、ここでは図形入力をする点にの
み言及されており、図形入力のみならず言葉や記号など
のメツセージによる問合せも合わせて行なうことに関し
ての開示はない。入力画像に顕在化しないような情報、
例えば光源の照度の変化などは図形入力だけでは表現し
得ず、言葉や記号などによるメツセージの問合せは画像
処理エキスパートシステムにおいては不可欠と言える。

本発明の目的は、従来の画像処理エキスパートシステム
では回道であった画像特徴の評価、特に。

画像の観察や′データの分析を定量化し、ユーザの主観
に左右されない適切な手順の推論を実現することにある
。

〔問題点を解決するための手段〕

上記目的は、入力画像に対応させて識別対象などの図形
領域を入力できる領域例示手段と、その例示した領域内
における識別対象及び背景等の画像特徴を、あらかじめ
４！！備した手順に従って評価・分析する画像特徴評価
手段を設け、これと従来の言葉による問合せを融合させ
ることにより、達成される。

〔作用〕

前記したように、領域抽出のための手順を推論するとい
うことは、ユーザのアプリケーションの画像特徴が、知
識ベースで記憶している複数種類の画像特徴のどれと一
致するかを調べることである。また、これまで専門家の
目によるａｍや、データの分析によって評価されてきた
画像特徴には。

濃度分布の特徴と幾何学的特徴があることを前に述べた
。そこで、領域例示手段が入力される領域図形データか
らは、ｆｌ別対象や背景むら等の画像を構成する各要素
の幾何学的な特徴は容易に計算できることは明らかであ
るし、また上記図形データと入力画像とからは、各要素
の濃度分布の特徴が計算できることは特願昭６０−８０
２０３号などで開示したように当業者であれば理解でき
るであろう。

したがって２画像特徴、特にこれまで専門家の目による
ａ察やデータの分析によって評価されてきたものは、領
域例示手段を設けることにより、計算機で内部的に行え
るようになる。また、これに加えて、これまで専門家が
ユーザとの会話により調べていた画像特徴を、従来通り
の問合せで評価するようにすれば、画像処理の専門家と
同等の推論能力を持つ画像処理エキスパートシステムが
実現できる。

〔実施例〕

以下、本発明の一実施例を第１図、第３図〜第７図を用
いて説明する。

本実施例の全体構成を第１図に示す。本画像処理エキス
パートシステムは１画像特徴及び手順をあらかじめ複数
組記憶する知識ベース２１、識別対象領域を抽出するた
めの手順２２を推論すると同時に１画像特徴評価手順の
群２３から、所定の画像特徴の評価手順２４を選び出し
たり、知識ベース２１から、所定の画像特徴を表現した
メツセージ２５を選び出したりする推論手段２６１画像
特徴の評価手段２４に従って画像特徴を評価し。

その結果を推論手段２６に返す画像特徴評価手段２７、
メツセージ２５の内容に従ってメツセージ形式にてユー
ザ３０に問合せを行い、推論手段２６にその結果を返す
問合せ手段２８．入力画像に対応させて、入力画像を構
成する領域をユーザ３０に例示させる領域例示手段２９
、入力画像や領域抽出の結果の２値画像などを格納する
画像メモリ２１０から構成される。尚、問合せ手段２８
は一般的にはＣＲＴディスプレイとキーボード等のオペ
レータコンソールが用いられ、領域例示手段２９には、
ディジタイザ、マウス、トラックボール、ラインドペン
等の座標入力媒体（ポインティングデバイス）が用いら
れる。しかしこれらの入出力機器に限定されるわけでは
なく、ユーザ３０と対話形式で問い合わせを行なうこと
ができ。

更に入力画像に対して領域例示がなし得れば１問合せ手
段２８．領域例示手段２９等のマンマシンインターフェ
ースには種々変形例が含まれる。

次に、第３図を用いて知識ベースの一構成例を説明し、
その後第４図を用いて全体システムの大まかな動作を説
明する。

第３図は本実施例の１ｉｌｉｉ像処理エキスパートシス
テムで用いる知識ベースの一構成例である。ここでは錠
剤のキズ検出の例で説明する。すなわち、対応するアプ
リケーションで用いる画像処理のモジュールが、概念的
なレベルから具体的なレベルへと階層的に定義されてお
り、これらモジュールの実行順序も可能な限り定義され
ている。

なお、上記実行順序はモジュールからモジュールへの横
方向の矢印で表わしである。さらに、各モジュールには
、いかなる画像特徴の場合にこれを使用すべきかという
、画像特徴を条件とした。

いわゆるプロダクションルールが定義されている。

ここで、このプロダクションルールの条件部となる画像
特徴には１問合せ手段２８を用いてメツセージ形式でユ
ーザ３０に問合せるものと、画像特徴評価手段２７を用
いて内部的に評価するものが定義できるようになってい
る。なお１図中、（）で表した画像特徴の評価は問合せ
手段２８により、そして（）で表した画像特徴の評価は
画像特徴評価手段２７により評価する条件である。ここ
で〈　　〉で表した画像特徴の評価はプロダクションル
ールの条件部ではなく、所定の数値パラメタを画像特徴
から計算する画像特徴の評価がこのモジュールに定義さ
れていることを示している。　　　　　　　ｊ なお、以後プロダクションルールの条件部としての画像
特徴の評価は、″′両画像観察″、そして上記のような
数値パラメタを画像特徴から計算する画像特徴の評価は
、″パラメタ計算″と呼ぶことにする。

また、′例示”の印についたモジュールは、ルールを評
価して使用が決定すれば、このとき領域例示手段２９を
起動し、このモジュールの名称に対応する画像の構成要
素の例示をさせる必要があるという定義である。

ここで、概念的なレベルと具体的なし。ベルの知識ベー
スの間には、明確な境界は存在せず、ただ、概念的であ
ればあるほどその知識は少数のアプリケーションでのみ
共有され、一方具体的であればあるほどその知識は多数
のアプリケーションで共有されるという性格があり、ま
たそれと同時に概念的な知識は具体的な画像処理のファ
ンクションとは無関係で画像特徴にのみ関係し、一方具
体的な知識は具体的な画像処理のファンクション、果て
はハードウェアの機能や構造にまでも関係してくるとい
う性質がある。

次に、第４図及び第５図を用いて推論手段２６と全体シ
ステムの大まかな動作について説明する。

推論手段２６の動作は、第３図に示した知識ベースの各
モジュールを縦型に探索していくことを基本としている
。すなわち第４図に示すステップ４１で、探索するモジ
ュールを最初のものに設定する０次にステップ４２で、
その探索モジュールにプロダクションルールが定義さ九
ているがどうかを調べる。ここで定義されていればステ
ップ４３へ、そして定義されていなければ無条件で使用
するとしてステップ４５へ移行する。ステップ４３では
、そのモジュールで定義されているプロダクションルー
ルを評価し、このモジュールを使用するか否かを調べる
。プロダクションルールの条件部に関しては第３図で説
明した通り、ユーザへのメツセージによる問合せが定義
されていれば、そのメツセージ２５を、問合せ手段２８
に受は渡し、これを起動する。すると問合せ手段２８は
。

そのメツセージをユーザに明示し、そこに記載されてい
る画像特徴とユーザのアプリケーションの画像特徴とが
一致するか否かをユーザに入力させる。するとその結果
が推論手段２６に送り返される。一方、画像のｗ１察が
条件として定義されていれば、その画像の＆１１祭に対
応する画像特徴評価の手順２４を画像特徴評価手順の群
２３から選び出し、これを画像特徴評価手段２７に受は
渡す。すると画像特徴評価手段２７は、領域例示手段２
９で入力された領域図形データと画像メモリ２１０の入
力画像を用いて上記手段２４に従い、画像特徴を評価し
、その結果を推論手段２６に返す、推論手段２６はこの
ような動作を何回か繰返すことによって本モジュールの
プロダクションルールを評価する。

その結果１本モジュールを使用すると判定されれば、ス
テップ４５へ、そうでなければステップ４４へいく。次
にステップ４５では、本モジュールに領域例示が走差さ
れているかどうかを判定し、定義されていればステップ
４６へ、また定義されていなければステップ４７へいく
。ステップ４６では、本モジュールの名称、例えば、そ
のモジュールが第３図の錠剤抽出モジュールであったら
、錠剤の領域例示をするようにユーザに要求し、領域例
示手段２９を起動する。次にステップ４７では、本モジ
ュールに第３図で述べたパラメタ計算の画像特徴評価が
定義されているか否かと判定し、定義されていればステ
ップ４８へ、定義されていなければステップ４９へいく
。ステップ４８では、本モジュールで定義されているパ
ラメタ計算の手順２４を画像特徴評価手順の群２３から
選び出し、これを画像評価手段２７へ受は渡す、すると
画像評価手段２７は該手順２４に従ってパラメタを計算
し、その値を推論手段２６に返す。すると推論手段はそ
の値を本モジュールに対応させて格納・記憶させる。な
お、具体的な画像処理ファンクションに対応するモジュ
ールのすべてのパラメタが決定した時に、推論手段２６
は順次、そのモジュール単体の領域抽出手順２４を編集
して、画像特徴評価手段２７に送り、これを実行させる
（後で述べるが、画像特徴評価手段２７は通常領域抽出
手段としても動作可能である）。

次にステップ４９では１本モジュールに子供のモジュー
ルがあるか否かを判定し、有ればステップ４１０へ、無
ければステップ４４へいく、ステップ４１０では、探索
モジュールをその最初の子供のモジュールに変更し、ス
テップ４２へ戻る。

ステップ４４では、全体の終了の判定と１次に探索すべ
きモジュールの決定を行う。

すなわち、第５図に示すように、まずステップ５１にお
いて、本モジュールに第３図で示したような横への矢印
、すなわち、実行順序を定義した兄弟のモジュールがあ
るか否かを判定し、有ればステップ５２へ、そして無け
れば、ステップ５３へいく、ステップ５２では、探索す
るモジュールをその矢印の先のモジュールに変更し、第
４図へ続く、ステップ５３では１本モジュールの親のモ
ジュールが知識ベースの最初のモジュールか否かを判定
し、Ｉ＆初のモジュールであった場合はこれですべて終
了し、以後は使用が決定されたモジュールをたどること
により、領域抽出の手順が編集できる。一方１本モジュ
ールの親のモジュールが最初のモジュールではなかった
場合はステップ５４で、探索モジュールを族モジュール
に変更してステップ５１へ戻る。

次に、第６図及び第７図を用いて、画像特徴評価手段２
７の動作例を説明する。まず第６図により１本実施例で
用いた画像特徴評価手段２７の構成を説明する。

画像特徴評価手段２７は、領域例示で入力された領域図
形データ６１から、その輪郭の２値画像や輪郭の内部を
塗りつぶした２値画像を２値画像メモリ６３に展開する
例示領域の画像化６２，２値画像メモリ６３あるいは濃
淡画像メモリ６５を用いて、２値画像の膨張・収縮１画
像間の積を行なったり、濃淡画像の各種フィルタリング
等を行う画像の演算６４，２値画像の投影ヒストグラム
や濃淡画像ののヒストグラム、あるいは対象物がラベル
付けされた濃淡画像から、ラベル毎の面積等のバク１−
ル次元の特徴を計算したり、これらのベクトル次元の特
徴の分散や平均値、あるいは２値画像の面積等のスカラ
次元の特徴を計算したり、これらのスカラ次元の特徴を
推論手段２６に受は渡したりする特徴の計算６６、スカ
ラ次元の各種特徴が、所定のしきい値との大／Ｉ亀関係
を満すか否かを判定し、推論手段２６にその真偽を受は
渡したり、ラベル毎の面積などの特徴値が、やはり所定
のしきい値との大小関係を満すかどうかを判定し、複数
ラベルのうち、例えば、識別対象の可能性のあるものが
どれかを決定したりする特徴の判定６７の各機能モジュ
ールから構成される。なお、演算６４．特徴の計算６６
、特徴の判定６７は。

図中の矢印で示したように、通常の画像処理で行ってい
るのと同様の相互のデータの受は渡しがある。したがっ
て、これらの機能モジュールを所定の手順で組合せ、れ
ば１通常行われている領域抽出が実現できる。

次に、第７図に示す画像特徴評価手順の例を用いて、画
像特徴評価手段２７の動作例を説明する。

本実施例では、画像特徴評価手順も知識ベースと同様な
形式で記述することにした。但し、ここではプロダクシ
ョンルールを有さない。例えば。

錠剤抽出のモジュールの使用がすでに決定しており１錠
剤の領域も例示され、現在水平方向平滑化モジュール７
１のプロダクションルールの条件部を評価しようとした
ところ、「背景に水平方向のむらがあるかどうかを調べ
よ」という画像の＆ＩＪ％が定義されていたとすれば、
推論手段２６がそれに対応する手順を画像特徴評価手順
の群２３から選び出し１画像特徴評価手段２７に受は渡
す、そこでその手段２７が、第７図の水平方向平滑化モ
ジュール７１以下に示すようなモジュールの構成及び実
行順序であったとすれば、まず画像化モジュール７３が
解読され１例示領域の画像化機能モジュール６２により
、２値画像メモリ６３に示すような領域の塗りつぶし画
像が得られる。次に反転モジュール７４が解読され、演
算機能モジュール６４により、２値画像６３で示した画
像の反転画像、すなわち背景の２値画像が得られる１次
に垂直微分モジュール７５が解読され、再び演算機能モ
ジュール６４により、入力画像６５に対して垂直方向の
微分が施される０次にマスクヒストモ　゛ジュール７６
が解読され、特徴の計算機能モジュール６６により、上
記で得られた背景の２値画像をマスクとして、上記で得
られた微分画像のヒス１−グラムが計算される。ここで
、背景に水平方向のむらが無ければ、このヒストグラム
は低レベルに集中するはずであるから、低、あるいは高
レベルの頻度の和と背景の全面積の比などを、再び特徴
の計算機能モジュール６６により求める。そして最終的
に判定モジュール７７が解読され、特徴の判定機能モジ
ュール６７により、上記で求めた比が所定のしきい値と
の大小関係が満されるか否かが判定され、推論手段２６
にその真偽が返される。

次に、知識ベースのモジュールに、パラメタ計算の画像
特徴評価が定義されていた場合の動作について説明する
が、第６図の画像特徴評価手段２７の内部構成の動作と
の対応は画像観察の場合と重複が多くなるので、第７図
に示したパラメタ計算の手順の説明を中心に述べる。

−例として、面積モジュールのしきい値指定モジュール
７８のためのパラメタ計算の手順について述べる。まず
、前回と同様に画像側モジュール７１０により、錠剤を
ぬりつぶした２値画像を得る。ここで、ユーザが錠剤を
正確に例示していれば、この画像を直接使用できるので
あるが、若干の誤差があるものと考えて、これまで入力
画像を順次、処理することにより得られた実際の処理結
果の２値画像から、錠剤の正確な２値画像を得る。

すなわち、まず膨張モジュール７１１で画像化７１０に
より得られた錠剤の２値画像を十分膨張させる。次に、
ＡＮＤモジュール７１２によりこの膨張した２値画像と
、これまで得られた処理結果の２値画像との積（Ａ−Ｄ
）を取り１錠剤の実際の２値画像を得る。そこで、面積
モジュール７１３により、この２値画像の面積を計算す
る。

そして最後に士αモジュール７１４により、若干の巾を
持たせ、しきい値とする。

本実施例によれば、画像特徴、特にこれまで専門家の目
によるｗ１亭やデータの分析によって評価されてきたも
のが内部的に行えるようになり、画像特徴の評価を定量
化できるだけでなく、さらに。

これまでユーザとの会話を通じて評価していた画像特徴
は、従来通りの問合せで評価するようにして、図形領域
は領域例示により入力して、評価できるようにしたので
、画像処理の専門家と同等の推論能力を持つ画像処理エ
キスパートシステムが実現できる。

尚、本発明は、領域抽出を好適になし得る画像処理エキ
スパートシステムにかかるものであるが。

実施例で示したように、画像特徴とは濃度分布、幾何学
的特徴等いずれをも含み、濃度分布の特徴に基づく正規
化、領域抽出処理、幾何学的特徴からの領域抽出処理い
ずれにも対応できるものである。

〔発明の効果〕

本発明によれば、領域例示手段と、その例示した領域内
における識別対象及び背景等の画像特徴を評価・分析す
る画像特徴評価手段を設け、更にメツセージによる問合
せとを組合せることによって１画像特徴の評価を定量化
して行なえるようになり、ユーザとの簡単な対話により
領域抽出の手順を容易に決定することができる画像処理
エキスパートシステムを構築することができる。

【図面の簡単な説明】

第１図は本発明にかかる画像処理エキスパートシステム
の全体構成図、第２図は画像処理における専門家の評価
内容の分析結果を示す図、第３図は本発明の実施例にお
ける画像処理の知識ベースの一構成例を示す図、第４図
及び第５図は実施例における推論手段の動作流れ図、第
６図は実施例における画像特徴評価手段の内部機能構成
図、第７図は画像特徴評価手順の一例の説明図を示す。 ２１・・・知識ベース、２２・・・領域抽出手順、２３
・・・画像特徴評価手順の群、２４・・・画像特徴評価
手順。 ２５・・・メツセージ、２６・・・推論手段、２７・・
・画像特徴評価手段、２８・・・問合せ手段、２９・・
・領域例示手段、３０・・・ユーザ、２１０・・・画像
メモリ。 １“

Claims (1)

1. 【特許請求の範囲】 １、識別対象の画像特徴及び該識別対象を抽出するため
   の手順をあらかじめ複数組記憶する知識記憶手段と、外
   部から入力される入力画像の画像特徴と該知識記憶手段
   の画像特徴とを比較、照合して対応する識別対象を抽出
   するための手順を決定する推論手段と、入力画像の画像
   特徴を該推論手段に入力させるために外部との問合せを
   行なう問合せ手段及び識別対象の領域を例示を行なう領
   域例示手段とを備えた画像処理エキスパートシステムに
   おいて、 前記領域例示手段から得られる例示領域情報を用いてあ
   らかじめ準備した手順に従つて画像特徴を評価する画像
   特徴評価手段を設け、前記問合せ手段及び該画像特徴抽
   出手段の結果を前記推論手段に入力して、入力画像から
   の画像特徴より識別対象を抽出するための手段を決定す
   ることを特徴とする画像処理エキスパートシステム。 ２、特許請求の範囲第１項において、前記画像特徴は濃
   度分布の特徴及び幾何学的な特徴を含むことを特徴とす
   る画像処理エキスパートシステム。 ３、特許請求の範囲第１項において、前記問合せ手段は
   知識記憶手段に記憶された画像特徴に従つてメッセージ
   形式にて問合せ、前記推論手段に入力画像からの画像特
   徴を入力することを特徴とする画像処理エキスパートシ
   ステム。 ４、特許請求の範囲第１項において、前記領域例示手段
   を座標入力媒体で構成し、入力画像に対応した該座標入
   力媒体の領域座標を例示することを特徴とする画像処理
   エキスパートシステム。