JP3637927B2 - Image processing device - Google Patents

Description

で表される４ビット成分が算出される。
【００２８】
成分ｄａは、入力画像データｌから抽出された画像方向成分の向き、すなわち入力画像の濃度を等高線表示したときの等高線の方向を、ｄａ＝０からｄａ＝１５までの１６段階で示すもので、等高線の方向は向きを考える必要がないので、その等高線の方向、すなわち入力画像の画像方向は、図５に示すように０からπまでの範囲として示されれば十分なものである。
【００２９】
成分ｄｂは、入力画像データｌから抽出された画像方向成分の大きさ、すなわち入力画像の濃度を等高線表示したときの注目画素における等高線とこれと隣り合う等高線との間の濃度差を、ｄｂ＝０からｄｂ＝１５までの１６段階で示すもので、出力ＣＣの２乗と出力ＬＬの２乗の和に対して１を加えたものの対数値とすることによって、出力ＣＣおよびＬＬが小さいときでも値を持つようにしたものである。
【００３０】
具体的に、図３（Ｂ）に示した画像データ群Ｇｄが図６（Ａ）または（Ｂ）に示すような値であるときには、α＝−π／２またはα＝π／２となり、ｄａ＝０となって、注目画素における画像方向が垂直方向であることが検出される。画像データ群Ｇｄが図６（Ｃ）または（Ｄ）に示すような値であるときには、α＝−π／４となり、ｄａ＝４となって、注目画素における画像方向が左上から右下にかけてのπ／４の方向であることが検出される。
【００３１】
画像データ群Ｇｄが図６（Ｅ）または（Ｆ）に示すような値であるときには、α＝０となり、ｄａ＝８となって、注目画素における画像方向が水平方向であることが検出される。画像データ群Ｇｄが図６（Ｇ）または（Ｈ）に示すような値であるときには、α＝π／４となり、ｄａ＝１２となって、注目画素における画像方向が右上から左下にかけての３π／４の方向であることが検出される。
【００３２】
図２に示した演算回路３４からは、すなわち画像方向検出部３０からは、成分ｄａおよびｄｂが全体として８ビットの画像方向成分ｄ１として出力され、その画像方向成分ｄ１が画像バッファ３５に書き込まれる。
【００３３】
領域分割部４０においては、このように画像方向成分ｄ１が画像バッファ３５に書き込まれた後、入力画像全体が、その色および画像方向に応じて領域の形状が変えられるように、例えばＫ平均アルゴリズムにより領域分割される。
【００３４】
Ｋ平均アルゴリズムは、入力画像に対してＫ個の初期領域中心を設定する初期領域分割を含めて、分割された領域が一定の状態に収束するまで数次にわたって領域分割を繰り返し、初期領域分割後の各次の領域分割後において各分割領域の領域中心を計算することにより、分割された領域が一定の状態に収束したか否かを判定するものである。その領域中心としては、一般には各分割領域の重心および代表色値（代表画素値）が設定または計算されるが、この発明の図１の例においては、これに加えて各分割領域の代表画像方向成分を設定または計算する。
【００３５】
以下においては、初期領域分割を含む各次の領域分割の繰り返し順位をｉ（初期領域分割ではゼロの意味でｉ＝ｏ、その後の各次の領域分割ではｉ＝１，２…）とし、各次の領域分割で分割された領域の番号をｊ（ｊ＝１，２，…Ｋ）として、初期領域分割を含む各次の領域分割による各分割領域の領域中心をＣｉｊ、重心をＸｉｊ，Ｙｉｊ、代表色値をＬｉｊ，Ａｉｊ，Ｂｉｊ、代表画像方向成分をＤｉｊで、それぞれ示す。ただし、重心Ｘｉｊ，Ｙｉｊ、代表色値Ｌｉｊ，Ａｉｊ，Ｂｉｊ、および代表画像方向成分Ｄｉｊの詳細は、後述する。
【００３６】
以下、このような画像方向を考慮したＫ平均アルゴリズムによる、領域分割部４０での領域分割の具体的手順を、図７を用いて示す。ただし、図７は領域分割部４０が実行する領域分割の全体的な手順を示し、以下の例は領域分割数Ｋを１００とした場合である。
【００３７】
まず、ステップＳ１において、入力画像に対して１００個の初期領域中心を設定する。すなわち、画像バッファ２１，２２，２３から読み出された入力画像データｌ，ａ，ｂ、画像バッファ３５から読み出された画像方向成分ｄ１、およびシステム制御部９０から得られた座標値ｘ，ｙから、例えば図８に示すように入力画像１を互いに等しい画素数の縦横１０個ずつの合計１００個の領域に分割し、その各分割領域の領域中心Ｃｏｊとして、すなわち各分割領域の重心Ｘｏｊ，Ｙｏｊ、代表色値Ｌｏｊ，Ａｏｊ，Ｂｏｊ、および代表画像方向成分Ｄｏｊとして、各分割領域の中心画素の座標ｘｏｊ，ｙｏｊ、中心画素についての入力画像データｌｏｊ，ａｏｊ，ｂｏｊ、および中心画素についての画像方向成分ｄ１ｏｊを求める。
【００３８】
ただし、代表画像方向成分Ｄｏｊについては、これを５ビットデータとして、画像方向成分ｄ１中の４ビット成分ｄｂの中心画素についてのそれｄｂｏｊが１以上であれば、その中心画素は画像方向を有するものとして、５ビット中の最上位ビットを０にするとともに、下位４ビットとして画像方向成分ｄ１中の４ビット成分ｄａの中心画素についてのそれｄａｏｊを取り込み、成分ｄｂの中心画素についてのそれｄｂｏｊが０であれば、その中心画素は画像方向を持たないものとして、５ビット中の最上位ビットを１にするとともに、下位４ビットをすべて０にして、全体として１６の値とする。
【００３９】
次に、ステップＳ２において、上記のように求めた各分割領域の領域中心Ｃｏｊ、すなわち各分割領域の重心Ｘｏｊ，Ｙｏｊ（ｘｏｊ，ｙｏｊ）、代表色値Ｌｏｊ，Ａｏｊ，Ｂｏｊ（ｌｏｊ，ａｏｊ，ｂｏｊ）、および代表画像方向成分Ｄｏｊを、初期分割領域テーブルとして分割領域バッファ５０に書き込む。
【００４０】
図９は、この初期分割領域テーブルを含む、各次の領域分割後に作成される分割領域テーブルを示し、初期分割領域テーブルではｉ＝ｏと表現されるものである。
【００４１】
次に、ステップＳ３において、分割領域バッファ５０から初期分割領域テーブル、すなわち初期領域中心Ｃｏｊを読み出し、これと、画像バッファ２１，２２，２３から読み出された入力画像データｌ，ａ，ｂ、画像バッファ３５から読み出された画像方向成分ｄ１、およびシステム制御部９０から得られた座標値ｘ，ｙとから、入力画像のすべての画素を順次、注目画素Ｐｎとして、その注目画素Ｐｎとすべての初期領域中心Ｃｏｊとの距離Ｈｏｊｎを、以下のように計算する。ｎは、入力画像の画素番号である。
【００４２】
ただし、この距離計算と、これによる以下のような入力画像の各画素の領域判定は、後述するように、分割された領域が一定の状態に収束するまで、各次の領域分割後に繰り返し行うものである。すなわち、各次の領域分割後には、入力画像のすべての画素を順次、注目画素Ｐｎとして、その注目画素Ｐｎと、その順位の領域分割による新たなすべての領域中心Ｃｉｊとの距離Ｈｉｊｎを計算する。
【００４３】
そこで以下では、初期領域分割を含む各次の領域分割後に共通の手順としての、距離Ｈｉｊｎの計算、およびこれによる入力画像の各画素の領域判定につき示す。ただし、初期領域分割後の各次の領域分割による各分割領域の重心Ｘｉｊ，Ｙｉｊは、各分割領域内の全画素の座標値ｘ，ｙの平均値とされ、代表色値Ｌｉｊ，Ａｉｊ，Ｂｉｊは、各分割領域内の全画素についての入力画像データｌ，ａ，ｂの平均値とされ、代表画像方向成分Ｄｉｊは、後述するように各分割領域が顕著な画像方向を有するか否かにより０から１５までの値または１６の値とされるものである。
【００４４】
距離Ｈｉｊｎを計算するために、まず、
Δｘｉｊｎ＝ｘｎ−Ｘｉｊ …（１１）
Δｙｉｊｎ＝ｙｎ−Ｙｉｊ …（１２）
Δｌｉｊｎ＝ｌｎ−Ｌｉｊ …（１３）
Δａｉｊｎ＝ａｎ−Ａｉｊ …（１４）
Δｂｉｊｎ＝ｂｎ−Ｂｉｊ …（１５）
で表されるように、各分割領域の重心Ｘｉｊ，Ｙｉｊおよび代表色値Ｌｉｊ，Ａｉｊ，Ｂｉｊと、注目画素Ｐｎの座標ｘｎ，ｙｎおよび注目画素Ｐｎについての入力画像データｌｎ，ａｎ，ｂｎとの差を、個々に求める。
【００４５】
画像方向成分については、図５に示したように画像方向が０からπまでの範囲の角度として１６段階で表されることから、以下の３つの場合に分けて、各分割領域の代表画像方向成分Ｄｉｊと画像方向成分ｄ１中の４ビット成分ｄａの注目画素Ｐｎについてのそれｄａｎとの差Δｄｉｊｎを求める。
【００４６】
第１に、代表画像方向成分Ｄｉｊが１６で、かつ画像方向成分ｄ１中の４ビット成分ｄｂの注目画素Ｐｎについてのそれｄｂｎが０であるときには、領域中心Ｃｉｊも注目画素Ｐｎも画像方向を持たないので、差Δｄｉｊｎはないものとして、
Δｄｉｊｎ＝０ …（１６）
とする。
【００４７】
第２に、代表画像方向成分Ｄｉｊが１５以下で、かつ成分ｄｂｎが１以上であるときには、
Δｄｉｊｎ＝｜ｄａｎ−Ｄｉｊ｜ …（１７）
とする。
【００４８】
ただし、差Δｄｉｊｎは、図１０（Ａ）に示すように領域中心Ｃｉｊにおける代表画像方向成分Ｄｉｊが示す画像方向と注目画素Ｐｎにおける成分ｄａｎが示す画像方向との角度差βに相当し、その角度差βは図１０（Ｂ）に示すようにπ／２より小さく、差Δｄｉｊｎは７以下となるべきであるので、Δｄｉｊｎ＝｜ｄａｎ−Ｄｉｊ｜≧８となるときには、
Δｄｉｊｎ＝１５−｜ｄａｎ−Ｄｉｊ｜ …（１８）
とする。
【００４９】
第３に、代表画像方向成分Ｄｉｊが１６で、かつ成分ｄｂｎが１以上であるとき、または代表画像方向成分Ｄｉｊが１５以下で、かつ成分ｄｂｎが０であるときには、すなわち、領域中心Ｃｉｊと注目画素Ｐｎのいずれか一方のみが画像方向を有し、他方は画像方向を持たないときには、領域中心Ｃｉｊと注目画素Ｐｎの画像方向が同じときよりは差Δｄｉｊｎは大きく、すなわち差Δｄｉｊｎは０ではなく、しかも領域中心Ｃｉｊと注目画素Ｐｎの画像方向がπ／２ずれるときよりは差Δｄｉｊｎは小さい、すなわち差Δｄｉｊｎは８よりは小さいと考えて、０と７の中間をとって、
Δｄｉｊｎ＝３．５ …（１９）
とする。
【００５０】
以上の差Δｘｉｊｎ，Δｙｉｊｎ，Δｌｉｊｎ，Δａｉｊｎ，Δｂｉｊｎ，Δｄｉｊｎの算出に加えて、領域の大きさを制御する関数Ｆ（Δｘｉｊｎ，Δｙｉｊｎ，Ｄｉｊ）を以下のように定義する。
【００５１】
すなわち、図１１に示すように、
γ＝ａｒｃｔａｎ（Δｙｉｊｎ／Δｘｉｊｎ） …（２１）
とし、

とするとき、
｜Ｄｉｊ−ｄｃｎ｜≦７のときには、
Ｆ（Δｘｉｊｎ，Δｙｉｊｎ，Ｄｉｊ）
＝１＋ｋｅ（｜Ｄｉｊ−ｄｃｎ｜／３．５−１） …（２３）
とし、
｜Ｄｉｊ−ｄｃｎ｜≧８のときには、
Ｆ（Δｘｉｊｎ，Δｙｉｊｎ，Ｄｉｊ）
＝１＋ｋｅ｛（１５−｜Ｄｉｊ−ｄｃｎ｜）／３．５−１｝ …（２４）
とする。
【００５２】
ただし、ｄｃｎは、図１１から明らかなように、領域中心Ｃｉｊ（重心Ｘｉｊ，Ｙｉｊ）に対する注目画素Ｐｎの方向を、領域中心Ｃｉｊ（重心Ｘｉｊ，Ｙｉｊ）を中心とするｘｙ座標のｙ軸に対する角（γ＋π／２）として、ｄｃｎ＝０からｄｃｎ＝１５までの１６段階で示すもので、方向のみで向きを考えないことによって、角（γ＋π／２）は、０からπまでの範囲とするものである。ｋｅは、後述するような係数である。
【００５３】
式（２３）の｜Ｄｉｊ−ｄｃｎ｜、および式（２４）の（１５−｜Ｄｉｊ−ｄｃｎ｜）は、それぞれ０以上、７以下となるので、関数Ｆ（Δｘｉｊｎ，Δｙｉｊｎ，Ｄｉｊ）は、１を中心に±ｋｅの広がりを有し、ｋｅ＝０では常に１となり、ｋｅ＝１では０になり得る。そこで、係数ｋｅは、０＜ｋｅ＜１とする。
【００５４】
このように係数ｋｅを定め、領域の大きさを制御する関数Ｆ（Δｘｉｊｎ，Δｙｉｊｎ，Ｄｉｊ）を定義して、図７のステップＳ３においては、入力画像のすべての画素を順次、注目画素Ｐｎとして、その注目画素Ｐｎとすべての領域中心Ｃｉｊとの距離Ｈｉｊｎを、一般的にｚの２乗を「（ｚ）＊＊２」で示すとすると、

で定義して計算する。ただし、ｋｘ，ｋｌ，ｋａ，ｋｂ，ｋｄは、それぞれ任意の係数である。
【００５５】
次に、ステップＳ４に進んで、入力画像の注目画素Ｐｎからみて直前の領域分割による各分割領域の領域中心Ｃｉｊのうち上記の距離Ｈｉｊｎが最も小さい領域中心を有する分割領域に、その注目画素Ｐｎを含めるように、入力画像を新たに領域分割する。
【００５６】
すなわち、直前の領域分割の結果、例えば１番目の分割領域に含められた、ある画素からみて、領域中心Ｃｉｊとの距離Ｈｉｊｎが最も小さいのは２番目の分割領域であるとすれば、その画素は２番目の分割領域に含めるように、また例えば２番目の分割領域に含められた、ある画素からみて、領域中心Ｃｉｊとの距離Ｈｉｊｎが最も小さいのは１番目の分割領域であるとすれば、その画素は１番目の分割領域に含めるように、領域分割を修正する。
【００５７】
ここで、入力画像の注目画素Ｐｎと直前の領域分割による各分割領域の領域中心Ｃｉｊとの相対位置と、その領域中心Ｃｉｊの代表画像方向成分Ｄｉｊとの関係を、図１２に示す。
【００５８】
同図から明らかなように、式（２３）または（２４）で表される関数Ｆ（Δｘｉｊｎ，Δｙｉｊｎ，Ｄｉｊ）は、領域中心Ｃｉｊ（重心Ｘｉｊ，Ｙｉｊ）と注目画素Ｐｎを結ぶ直線の方向、すなわち式（２２）で表される成分ｄｃｎが示す方向が、注目画素Ｐｎが点Ｐｎ（０）にあって成分ｄｃｎがｄｃｎ（０）で表されるときのように代表画像方向成分Ｄｉｊが示す画像方向と一致するとき、最小となり、上記の直線の方向、すなわち、成分ｄｃｎが示す方向が、注目画素Ｐｎが点Ｐｎ（π／２）にあって成分ｄｃｎがｄｃｎ（π／２）で表されるときのように代表画像方向成分Ｄｉｊが示す画像方向に対してπ／２ずれるとき、最大となる。
【００５９】
すなわち、ステップＳ４においては、直前の領域分割による領域中心Ｃｉｊに対して、その代表画像方向成分Ｄｉｊが示す方向にある画素は、その領域中心Ｃｉｊから離れているものも、その領域中心Ｃｉｊの分割領域に含まれやすくなるが、その代表画像方向成分Ｄｉｊが示す方向に対してπ／２ずれた方向にある画素は、その領域中心Ｃｉｊに近いものも、その領域中心Ｃｉｊの分割領域に含まれにくくなるように、入力画像が領域分割される。
【００６０】
そのため、ステップＳ４においては、直前の領域分割による各分割領域の形状が、代表画像方向成分Ｄｉｊが示す方向に沿う形状に変えられる。図１３は、このように領域分割が修正され、各分割領域の形状が変えられた状態を示す。
【００６１】
次に、ステップＳ５において、入力画像の注目画素Ｐｎと新たな領域分割による各分割領域との対応関係、すなわち新たな領域分割により入力画像の注目画素Ｐｎが属するとされた分割領域の番号を、画像バッファ４１に書き込む。
【００６２】
次に、ステップＳ６に進んで、新たな領域中心を計算する。すなわち、画像バッファ２１，２２，２３から読み出された入力画像データｌ，ａ，ｂ、画像バッファ３５から読み出された画像方向成分ｄ１、画像バッファ４１から読み出された分割領域番号、およびシステム制御部９０から得られた座標値ｘ，ｙから、新たに分割された領域ごとに、重心Ｘｉｊ，Ｙｉｊ、代表色値Ｌｉｊ，Ａｉｊ，Ｂｉｊ、および代表画像方向成分Ｄｉｊからなる領域中心Ｃｉｊを計算し直す。
【００６３】
ここで、上述したように、重心Ｘｉｊ，Ｙｉｊは、各分割領域内の全画素の座標値ｘ，ｙの平均値とし、代表色値Ｌｉｊ，Ａｉｊ，Ｂｉｊは、各分割領域内の全画素についての入力画像データｌ，ａ，ｂの平均値とする。代表画像方向成分Ｄｉｊは、図１４に示す算出手順に従って求める。
【００６４】
すなわち、入力画像の画素には複数の画像方向を有するものもあり得るが、はっきり観測できるのは最大でも２方向であり、しかもはっきり観測できる第２の方向があるなら、それは第１の方向に対してほぼπ／２ずれていると考えられることから、まず、ステップＳ１１において、新たに分割された領域ごとに、ｄｂｎ≧１の条件を満たす画素の中で上記の成分ｄａｎがそれぞれ０，１，２…１５の値となる画素の数Ｎ０，Ｎ１，Ｎ２…Ｎ１５を計算するとともに、ｄｂｎ＝０である画素の数Ｎ１６を求める。
【００６５】
次に、ステップＳ１２において、最も画素数の多い成分値Ｄｍａｘと、その最も多い画素数Ｎｍａｘを算出する。ただし、Ｎ１６が一番大きいときには、Ｄｍａｘ＝１６とする。さらにステップＳ１３に進んで、Ｄｍａｘ＝１６であるか否かを判断し、Ｄｍａｘ＝１６と判断したときには、その領域は画像方向を持たないとして、次にステップＳ１４において、その領域の代表画像方向成分Ｄｉｊを１６とする。
【００６６】
ステップＳ１３においてＤｍａｘ≠１６と判断したときには、次にステップＳ１５において、図１５（Ａ）または（Ｂ）に示すように最も画素数の多い成分値Ｄｍａｘが示す方向に対してπ／２ずれた方向を示す、すなわち成分値Ｄｍａｘに対して＋８または−８ずれた成分値Ｄｍｉｄと、その成分値Ｄｍｉｄとなる画素数Ｎｍｉｄを算出し、さらにステップＳ１６に進んで、画素数Ｎｍａｘが画素数Ｎｍｉｄの２倍より多いか否かを判断する。
【００６７】
ステップＳ１６において画素数Ｎｍａｘが画素数Ｎｍｉｄの２倍以下であると判断したときには、その領域は顕著な画像方向を持たないとして、ステップＳ１３においてＤｍａｘ＝１６と判断したときと同様に、次にステップＳ１４において、その領域の代表画像方向成分Ｄｉｊを１６とする。
【００６８】
ステップＳ１６において画素数Ｎｍａｘが画素数Ｎｍｉｄの２倍より多いと判断したときには、その領域は顕著な画像方向を有するが、近接した方向に２つの方向成分が重なり合っているなど、方向成分が広がって存在していることもあり得るとして、さらにステップＳ１７に進んで、その領域につき以下のような加重平均値Ｄａｖｅを算出して、その加重平均値Ｄａｖｅを、その領域の代表画像方向成分Ｄｉｊとする。
【００６９】
すなわち、図１６に示すように、最も画素数の多い成分値Ｄｍａｘに対して±１，±２，±３，±４ずれた成分値Ｄｐ１，Ｄｍ１…Ｄｐ４，Ｄｍ４と、そのそれぞれの成分値Ｄｐ１，Ｄｍ１…Ｄｐ４，Ｄｍ４となる画素数Ｎｐ１，Ｎｍ１…Ｎｐ４，Ｎｍ４を算出し、加重平均値Ｄａｖｅとして、
Ｄａｖｅ＝（Ｎｍ４・Ｄｍ４＋Ｎｍ３・Ｄｍ３＋Ｎｍ２・Ｄｍ２＋Ｎｍ１・Ｄｍ１＋Ｎｍａｘ・Ｄｍａｘ＋Ｎｐ１・Ｄｐ１＋Ｎｐ２・Ｄｐ2 ＋Ｎｐ３・Ｄｐ３＋Ｎｐ４・Ｄｐ４）／（Ｎｍ４＋Ｎｍ３＋Ｎｍ２＋Ｎｍ１＋Ｎｍａｘ＋Ｎｐ１＋Ｎｐ２＋Ｎｐ３＋Ｎｐ４） …（２６）
を計算する。
【００７０】
ステップＳ１４において代表画像方向成分Ｄｉｊを１６とし、またはステップＳ１７において式（２６）の加重平均値Ｄａｖｅを代表画像方向成分Ｄｉｊとしたときは、さらにステップＳ１８に進んで、すべての領域につき代表画像方向成分Ｄｉｊを求めたか否かを判断し、いまだ代表画像方向成分Ｄｉｊを求めていない領域があると判断したときには、ステップＳ１１以下に戻って、次の領域につき上述したように代表画像方向成分Ｄｉｊを求める。
【００７１】
このように、図７のステップＳ６においては、新たに分割された領域ごとに、重心Ｘｉｊ，Ｙｉｊ、代表色値Ｌｉｊ，Ａｉｊ，Ｂｉｊ、および代表画像方向成分Ｄｉｊからなる領域中心Ｃｉｊを計算し直す。
【００７２】
次に、ステップＳ７において、このように求めた各分割領域の領域中心Ｃｉｊ、すなわち重心Ｘｉｊ，Ｙｉｊ、代表色値Ｌｉｊ，Ａｉｊ，Ｂｉｊ、および代表画像方向成分Ｄｉｊを、図９に示したような分割領域テーブルとして、直前の領域分割についての分割領域テーブルを残しておく状態で、分割領域バッファ５０に書き込む。
【００７３】
次に、ステップＳ８に進んで、分割領域バッファ５０から、この新たな分割領域テーブル、すなわち新たな領域中心と、その前の分割領域テーブル、すなわちその前の領域中心を読み出して、分割領域の番号ｊが等しいもの同士の間で、それぞれ、新たな領域中心の、その前の領域中心に対するずれ量を、以下のように計算する。
【００７４】
ただし、ここでは、新たな領域中心をＣｉｊ、その重心をＸｉｊ，Ｙｉｊ、代表色値をＬｉｊ，Ａｉｊ，Ｂｉｊ、代表画像方向成分をＤｉｊで、それぞれ示すとともに、ｓ＝ｉ−１とおいて、その前の領域中心をＣｓｊ、その重心をＸｓｊ，Ｙｓｊ、代表色値をＬｓｊ，Ａｓｊ，Ｂｓｊ、代表画像方向成分をＤｓｊで、それぞれ示し、新たな領域中心Ｃｉｊの、その前の領域中心Ｃｓｊに対するずれ量をＨｓｉｊで示す。
【００７５】
ずれ量Ｈｓｉｊを計算するために、まず、
ΔＸｓｉｊ＝Ｘｉｊ−Ｘｓｊ …（３１）
ΔＹｓｉｊ＝Ｙｉｊ−Ｙｓｊ …（３２）
ΔＬｓｉｊ＝Ｌｉｊ−Ｌｓｊ …（３３）
ΔＡｓｉｊ＝Ａｉｊ−Ａｓｊ …（３４）
ΔＢｓｉｊ＝Ｂｉｊ−Ｂｓｊ …（３５）
で表されるように、新たな領域中心Ｃｉｊの重心Ｘｉｊ，Ｙｉｊおよび代表色値Ｌｉｊ，Ａｉｊ，Ｂｉｊと、その前の領域中心Ｃｓｊの重心Ｘｓｊ，Ｙｓｊおよび代表色値Ｌｓｊ，Ａｓｊ，Ｂｓｊとの差を、個々に求める。
【００７６】
代表画像方向成分については、上述したように領域中心Ｃｉｊ，Ｃｓｊの代表画像方向成分Ｄｉｊ，Ｄｓｊが０から１６までの値をとり得ることから、以下の３つの場合に分けて、代表画像方向成分Ｄｉｊと代表画像方向成分Ｄｓｊとの差ΔＤｓｉｊを求める。
【００７７】
第１に、代表画像方向成分ＤｉｊおよびＤｓｊがともに１６であるときには、
ΔＤｓｉｊ＝０ …（３６）
とする。
【００７８】
第２に、代表画像方向成分ＤｉｊおよびＤｓｊがともに１５以下であるときには、
ΔＤｓｉｊ＝｜Ｄｉｊ−Ｄｓｉ｜ …（３７）
とする。
【００７９】
ただし、差ΔＤｓｉｊは代表画像方向成分Ｄｉｊが示す画像方向と代表画像方向成分Ｄｓｊが示す画像方向との角度差に相当し、その角度差はπ／２より小さく、差ΔＤｓｉｊは７以下となるべきであるので、ΔＤｓｉｊ＝｜Ｄｉｊ−Ｄｓｊ｜≧８となるときには、
ΔＤｓｉｊ＝１５−｜Ｄｉｊ−Ｄｓｊ｜ …（３８）
とする。
【００８０】
第３に、代表画像方向成分ＤｉｊおよびＤｓｊのいすれか一方のみが１６であるときには、代表画像方向成分ＤｉｊおよびＤｓｊがともに１６であるときよりは差ΔＤｓｉｊは大きく、すなわち差ΔＤｓｉｊは０ではなく、しかも代表画像方向成分Ｄｉｊが示す画像方向と代表画像方向成分Ｄｓｊが示す画像方向との角度差がπ／２となるときよりは差ΔＤｓｉｊは小さい、すなわち差ΔＤｓｉｊは８より小さいと考えて、０と７の中間をとって、
ΔＤｓｉｊ＝３．５ …（３９）
とする。
【００８１】
以上の差ΔＸｓｉｊ，ΔＹｓｉｊ，ΔＬｓｉｊ，ΔＡｓｉｊ，ΔＢｓｉｊ，ΔＤｓｉｊを算出して、図７のステップＳ８においては、分割領域の番号ｊが等しいもの同士の間で、それぞれ、新たな領域中心Ｃｉｊの、その前の領域中心Ｃｓｊに対するずれ量Ｈｓｉｊを、一般的にＺの２乗を「（Ｚ）＊＊２」で示すとすると、
Ｈｓｉｊ
＝ｋｘ｛（ΔＸｓｉｊ）＊＊２＋（ΔＹｓｉｊ）＊＊２｝
＋ｋｌ・（ΔＬｓｉｊ）＊＊２
＋ｋａ・（ΔＡｓｉｊ）＊＊２
＋ｋｂ・（ΔＢｓｉｊ）＊＊２
＋ｋｄ・（ΔＤｓｉｊ）＊＊２ …（４０）
で定義して計算する。ただし、ｋｘ，ｋｌ，ｋａ，ｋｂ，ｋｄは、ぞれぞれ任意の係数である。
【００８２】
次に、ステップＳ９に進んで、すべての分割領域についてのずれ量Ｈｓｉｊが１より小さいか否かを判断し、いずれかの分割領域についてのずれ量Ｈｓｉｊが１以上であると判断したときには、各分割領域はいまだ一定の状態に収束していないとして、ステップＳ３以下に戻る。
【００８３】
すなわち、ステップＳ３において、入力画像のすべての画素を順次、注目画素Ｐｎとして、その注目画素Ｐｎと新たなすべての領域中心Ｃｉｊとの距離Ｈｉｊｎを式（２５）に従って計算し、次にステップＳ４に進んで、注目画素Ｐｎからみて新たなすべての領域中心Ｃｉｊのうち距離Ｈｉｊｎが最も小さい領域中心を有する分割領域に、その注目画素Ｐｎを含めるように、入力画像をさらに新たに領域分割し、次にステップＳ５において、入力画像の注目画素Ｐｎとさらに新たな領域分割による各分割領域との対応関係を画像バッファ４１に書き込み、次にステップＳ６に進んで、さらに新たな領域中心Ｃｉｊを計算し、次にステップＳ７において、その求めたさらに新たな領域中心Ｃｉｊを分割領域テーブルとして分割領域バッファ５０に書き込み、次にステップＳ８に進んで、各分割領域ごとに、そのさらに新たな領域中心Ｃｉｊの、その前の領域中心Ｃｓｊに対するずれ量Ｈｓｉｊを式（４０）に従って計算する、という一連の手順を繰り返し実行する。
【００８４】
そして、ステップＳ９において、すべての分割領域についてのずれ量Ｈｓｉｊが１より小さいと判断したときには、各分割領域は一定の状態に収束したとして、領域分割を終了する。
【００８５】
以上のように、領域分割部４０においては、入力画像全体が、その色および画像方向に応じて領域の形状が変えられるように領域分割される。
【００８６】
図１７は、システム制御部９０による、この例の画像処理装置における画像認識の全体的な手順を示す。
【００８７】
まず、ステップＳ３１において、操作部７０におけるオペレータの指示操作にもとづいて、入力画像データｌ，ａ，ｂとして対象画像１ａの画像データを、画像入力部１０からシステム内に取り込んで、画像バッファ２１，２２，２３に書き込む。
【００８８】
次に、ステップＳ３２において、その対象画像１ａの画像データから、画像方向検出部３０により対象画像１ａの画像方向を検出し、画像方向成分ｄ１を抽出して、その画像方向成分ｄ１を画像バッファ３５に書き込む。
【００８９】
次に、ステップＳ３３において、領域分割部４０により対象画像１ａを領域分割し、分割領域バッファ５０に対象画像１ａの最終的な分割結果の分割領域テーブル５１ｘを形成する。
【００９０】
次に、ステップＳ３４において、操作部７０におけるオペレータの指示操作にもとづいて、入力画像データｌ，ａ，ｂとして対象画像１ａが含まれているか否かが判定されるべき入力画像１ｂの画像データを、画像入力部１０からシステム内に取り込んで、画像バッファ２１，２２，２３に書き込む。
【００９１】
次に、ステップＳ３５において、その入力画像１ｂの画像データから、画像方向検出部３０により入力画像１ｂの画像方向を検出し、画像方向成分ｄ１を抽出して、その画像方向成分ｄ１を画像バッファ３５に書き込む。
【００９２】
次に、ステップＳ３６において、領域分割部４０により入力画像１ｄを領域分割し、分割領域バッファ５０に対象画像１ａの最終的な分割結果の分割領域テーブル５１ｘとは別に入力画像１ｂの最終的な分割結果の分割領域テーブル５２ｘを形成する。
【００９３】
次に、ステップＳ３７において、操作部７０におけるオペレータの指示操作にもとづいて、画像認識部６０により、図１８〜図２０に示して後述する具体的手順に従って、分割領域テーブル５１ｘおよび５２ｘから、入力画像１ｂ中に対象画像１ａが含まれているか否かを判定し、その判定結果を表示部８０により表示する。
【００９４】
図２１は、対象画像１ａの最終的な分割結果の例を示し、対象画像１ａが２００×１００画素で、領域分割数Ｋが３とされて、それぞれ領域中心Ｃａ，Ｃｂ，Ｃｃを有する３個の分割領域に領域分割された場合である。
【００９５】
この対象画像１ａの最終的な分割結果の分割領域テーブル５１ｘには、図２３に示すように、分割領域の番号、各分割領域のＸＹ座標値で示された重心、代表色値Ｌ，Ａ，Ｂ、および代表画像方向成分Ｄが記述されるとともに、各分割領域の画素数Ｎが記述される。
【００９６】
図２２は、入力画像１ｂの最終的な分割結果の例を示し、入力画像１ｂが４００×２００画素で、領域分割数Ｋが８とされて、それぞれ領域中心Ｃ１〜Ｃ８を有する８個の分割領域に領域分割された場合である。
【００９７】
この入力画像１ｂの最終的な分割結果の分割領域テーブル５２ｘにも、図２４に示すように、分割領域の番号、各分割領域のＸＹ座標値で示された重心、代表色値Ｌ，Ａ，Ｂ、および代表画像方向成分Ｄが記述されるとともに、各分割領域の画素数Ｎが記述される。
【００９８】
なお、以下では分割領域を、その番号ではなく領域中心で示す。すなわち、例えば、対象画像１ａの領域番号３の分割領域は分割領域Ｃｃと称し、入力画像１ｂの領域番号７の分割領域は分割領域Ｃ７と称する。
【００９９】
このように対象画像１ａおよび入力画像１ｂの最終的な分割結果の分割領域テーブル５１ｘおよび５２ｘが形成された後の、図１７のステップＳ３７における手順として、画像認識部６０は、まず、図１８のステップＳ４１において、対象画像１ａの分割領域テーブル５１ｘから、対象画像１ａの最も特徴的な色の分割領域を選出する。
【０１００】
例えば、図１７のステップＳ３６において入力画像１ｂの分割領域テーブル５２ｘが形成された後、システム制御部９０におけるシステム制御プログラムにより自動的に、または操作部７０におけるオペレータの指示操作により、対象画像１ａの分割領域テーブル５１ｘ上の各分割領域の代表色値Ｌ，Ａ，Ｂが表示部８０に表示される。オペレータが、その表示内容を見て、対象画像１ａの最も特徴的な色として認識する、またはあらかじめ知っている画像データ値から、対象画像１ａの該当する分割領域の番号を操作部７０により指示することによって、画像認識部６０は、その指示された番号の分割領域を選出する。
【０１０１】
または、対象画像１ａの分割領域テーブル５１ｘの記述内容が表示部８０に表示されることなく、オペレータが、対象画像１ａの最も特徴的な色としてあらかじめ知っている画像データ値を操作部７０から入力することによって、画像認識部６０は、対象画像１ａの分割領域テーブル５１ｘ上の分割領域のうち、代表色値Ｌ，Ａ，Ｂが、その入力された画像データ値に最も近い分割領域を選出する。
【０１０２】
図２１および図２３の例においては、分割領域Ｃｃが対象画像１ａの最も特徴的な色の領域として選出されるものとする。
【０１０３】
次に、ステップＳ４２において、このように選出した分割領域の重心を中心とし、画像方向をθ＝０として、分割領域テーブル５１ｘ上の各分割領域の重心を極座標で記述し直し、分割領域テーブル５１ｒを形成する。
【０１０４】
すなわち、図２１および図２３の例においては、分割領域ＣｃのＸＹ座標値で（６０，５５）である重心が極座標におけるｒ＝０の中心とされ、Ｄ＝２である代表画像方向成分が示す図２１の矢印の方向がθ＝０とされて、分割領域テーブル５１ｘ上の各分割領域の重心が極座標値で表現されて、図２５に示すような分割領域テーブル５１ｒが形成される。図２５で、角度θの単位はラジアンである。
【０１０５】
次に、ステップＳ４３において、入力画像１ｂの分割領域テーブル５２ｘから、対象画像１ａのステップＳ４１で選出した分割領域の代表色と類似する色を代表色として有する分割領域を検索し、さらにステップＳ４４に進んで、類似する色の分割領域があるか否かを判断する。
【０１０６】
例えば、入力画像１ｂの分割領域のうち、代表色値Ｌ，Ａ，Ｂが対象画像１ａのステップＳ４１で選出した分割領域の代表色値Ｌ，Ａ，Ｂに対して、それぞれ±１０％の範囲内にある分割領域が、検索され、対象画像１ａのステップＳ４１で選出した分割領域の色と類似する色の分割領域とされる。
【０１０７】
ステップＳ４４で類似する色の分割領域がないと判断したときには、入力画像１ｂ中に対象画像１ａは含まれていないものとして、ステップＳ４５に進んで、入力画像１ｂ中に対象画像１ａが含まれていないことを表示部８０により表示して、画像認識の処理を終了する。
【０１０８】
図２１〜図２５の例においては、入力画像１ｂの分割領域Ｃ７の代表色値Ｌ，Ａ，Ｂのみが対象画像１ａの選出された分割領域Ｃｃの代表色値Ｌ，Ａ，Ｂに対してすべて±１０％の範囲内にあることから、分割領域Ｃ７のみが分割領域Ｃｃの色と類似する色の分割領域とされる。
【０１０９】
ステップＳ４４で類似する色の分割領域があると判断したときには、次に図１９のステップＳ５１において、その類似する色の分割領域を入力画像１ｂの分割領域テーブル５２ｘから１つ選出し、さらにステップＳ５２に進んで、その選出した分割領域についての後述する変数Ｑをゼロにクリアする。
【０１１０】
図２１〜図２５の例においては、入力画像１ｂの分割領域Ｃ７のみが対象画像１ａの分割領域Ｃｃの色と類似する色の分割領域であるので、ステップＳ５１においては分割領域Ｃ７が選出され、ステップＳ５２においては分割領域Ｃ７についての変数Ｑがゼロにクリアされる。
【０１１１】
次に、ステップＳ５３において、その選出した分割領域の重心を中心とし、画像方向をθ＝０として、分割領域テーブル５２ｘ上の各分割領域の重心を極座標で記述し直すとともに、その選出した分割領域の代表画像方向成分と対象画像１ａのステップＳ４１で選出した分割領域の代表画像方向成分との差Ｄｄを求めて、その差Ｄｄを入力画像１ｂの各分割領域の代表画像方向成分から減じるように分割領域テーブル５２ｘ上の各分割領域の代表画像方向成分を記述し直し、分割領域テーブル５２ｒを形成する。ただし、代表画像方向成分Ｄは、０以上、１６以下とされる。
【０１１２】
すなわち、図２１〜図２５の例においては、分割領域Ｃ７のＸＹ座標値で（１５０，１３９）である重心が極座標におけるｒ＝０の中心とされ、Ｄ＝６である代表画像方向成分が示す図２２の矢印の方向がθ＝０とされて、分割領域テーブル５２ｘ上の各分割領域の重心が極座標値で表現されるとともに、分割領域Ｃ７の代表画像方向成分と分割領域Ｃｃの代表画像方向成分との差Ｄｄ＝６−２＝４が入力画像１ｂの各分割領域の代表画像方向成分から減じられるように分割領域テーブル５２ｘ上の各分割領域の代表画像方向成分が書き換えられて、図２６に示すような分割領域テーブル５２ｒが形成される。図２６で、角度θの単位はラジアンである。
【０１１３】
次にステップＳ５４において、その分割領域テーブル５２ｒから、入力画像１ｂの、位置的に対象画像１ａのステップＳ４１で選出した分割領域以外の分割領域に対応する分割領域を検索し、さらにステップＳ５５に進んで、位置的に対象画像１ａのステップＳ４１で選出した分割領域以外の分割領域に対応する分割領域がすべてあるか否かを判断する。
【０１１４】
例えば、分割領域テーブル５２ｒ上で、重心の極座標値ｒ，θが分割領域テーブル５１ｒ上のステップＳ４１で選出した分割領域以外の分割領域の重心の極座標値ｒ，θに対して、それぞれ±１０％の範囲内にある分割領域が、検索され、位置的に対象画像１ａのステップＳ４１で選出した分割領域以外の分割領域に対応する分割領域とされる。
【０１１５】
図２１〜図２６の例においては、入力画像１ｂの分割領域Ｃ５およびＣ６の重心の極座標値ｒ，θが、それぞれ対象画像１ａの分割領域ＣａおよびＣｂの重心の極座標値ｒ，θに対して±１０％の範囲内にあることから、位置的に対象画像１ａのステップＳ４１で選出した分割領域以外の分割領域に対応する分割領域がすべてあると判断される。
【０１１６】
ステップＳ５５で対応する分割領域がすべてあると判断したときには、次にステップＳ５６に進んで、対象画像１ａの各分割領域と、これと位置的に対応する入力画像１ｂの複数の分割領域との、それぞれ位置的に対応するもの同士の間の類似度を計算して、それぞれの計算結果により、ステップＳ５２においてゼロにクリアした変数Ｑを更新する。
【０１１７】
対象画像１ａのある分割領域と、これと位置的に対応する入力画像１ｂの分割領域との間の類似度Ｑｎは、対象画像１ａのある分割領域の代表色値Ｌ，Ａ，ＢをＬａ，Ａａ，Ｂａ、代表画像方向成分ＤをＤａ、画素数ＮをＮａ、これと位置的に対応する入力画像１ｂの分割領域の代表色値Ｌ，Ａ，ＢをＬｂ，Ａｂ，Ｂｂ、代表画像方向成分ＤをＤｂ、画素数ＮをＮｂとして、一般的にｚの２乗を「（ｚ）＊＊２」で示すとすると、
Ｑｎ
＝（Ｌａ−Ｌｂ）＊＊２＋（Ａａ−Ａｂ）＊＊２＋（Ｂａ−Ｂｂ）＊＊２
＋ｋｄ（Ｄａ−Ｄｂ）＊＊２＋ｋｎ（Ｎａ−Ｎｂ）＊＊２ …（４１）
で定義して計算する。ただし、ｋｄ，ｋｎは、それぞれ任意の係数である。
【０１１８】
図２１〜図２６の例においては、対象画像１ａの分割領域Ｃａと入力画像１ｂの分割領域Ｃ５との間の類似度Ｑ１、対象画像１ａの分割領域Ｃｂと入力画像１ｂの分割領域Ｃ６との間の類似度Ｑ２、および対象画像１ａの分割領域Ｃｃと入力画像１ｂの分割領域Ｃ７との間の類似度Ｑ３が、それぞれ計算されて、変数Ｑが、
Ｑ＝Ｑ１＋Ｑ２＋Ｑ３ …（４２）
とされる。
【０１１９】
ステップＳ５５で対応する分割領域がすべてはないと判断したときには、次にステップＳ５７に進んで、入力画像１ｂのステップＳ５１で選出した分割領域についての変数Ｑを、後述する所定値Ｑｏより大きい所定値Ｑｍにする。
【０１２０】
ステップＳ５６で上記のように変数Ｑを更新し、またはステップＳ５７で変数Ｑを所定値Ｑｍにした後は、図２０のステップＳ６１に進んで、入力画像１ｂの分割領域中に、対象画像１ａのステップＳ４１で選出した分割領域の色と類似する色の分割領域がほかにもあるか否かを判断し、ほかにもあると判断したときには、図１９のステップＳ５１以下に戻って、その類似する色のほかの分割領域を入力画像１ｂの分割領域テーブル５２ｘから１つ選出し、さらにその選出した分割領域についての上記の変数Ｑをゼロにクリアするなど、その類似する色のほかの分割領域につき、上記の処理を実行する。
【０１２１】
ただし、図２１〜図２６の例は、上述したように、入力画像１ｂの分割領域Ｃ７のみが対象画像１ａのステップＳ４１で選出した分割領域Ｃｃの色と類似する色の分割領域であるので、ステップＳ５１以下に戻らない。
【０１２２】
ステップＳ６１で類似する色の分割領域はほかにないと判断したときには、次にステップＳ６２に進んで、類似する色の各分割領域についての変数Ｑが、すべて所定値Ｑｏ以上であるか否かを判断し、すべて所定値Ｑｏ以上であると判断したときには、入力画像１ｂのいずれの位置にも対象画像１ａは含まれていないものとして、図１８のステップＳ４５に進んで、入力画像１ｂ中に対象画像１ａが含まれていないことを表示部８０により表示して、画像認識の処理を終了する。
【０１２３】
ステップＳ６２で類似する色の少なくとも１つの分割領域についての変数Ｑが所定値Ｑｏより小さいと判断したときには、入力画像１ｂのいずれかの位置に対象画像１ａが含まれているものとして、ステップＳ６３に進んで、入力画像１ｂ中に対象画像１ａが含まれていることを表示部８０により表示して、画像認識の処理を終了する。
【０１２４】
図２１〜図２６の例においては、入力画像１ｂの分割領域Ｃ７のみが対象画像１ａのステップＳ４１で選出した分割領域Ｃｃの色と類似する色の分割領域であり、かつ上述したように位置的に入力画像１ｂの分割領域Ｃ５，Ｃ６，Ｃ７が対象画像１ａの分割領域Ｃａ，Ｃｂ，Ｃｃに対応するので、式（４２）で表される変数Ｑが所定値Ｑｏより小さいか否かによって、入力画像１ｂ中に対象画像１ａが含まれているか否かの判定が分かれることとなる。
【０１２５】
例えば、所定値Ｑｏは、上記の式（４１）の係数ｋｄ，ｋｎがｋｄ＝１０，ｋｎ＝０．００１とされるとき、Ｑｏ＝１００とされる。したがって、図２１〜図２６の例においては、式（４２）で表される変数Ｑが所定値Ｑｏより小さくなり、入力画像１ｂ中に対象画像１ａが含まれていると判定されることとなる。
【０１２６】
上述した例によれば、入力画像１ｂの多数の分割領域中の、対象画像１ａの複数の分割領域中の指定された分割領域と代表色値Ｌ，Ａ，Ｂが同一の、または近似する分割領域を含む、対象画像１ａの複数の分割領域の相対的位置関係と同一の、または近似する相対的位置関係を有する複数の分割領域のみが、対象画像１ａの候補として抽出される。
【０１２７】
すなわち、図２１〜図２６の例においては、入力画像１ｂの分割領域Ｃ１〜Ｃ８中の、対象画像１ａの分割領域Ｃａ，Ｃｂ，Ｃｃ中の対象画像１ａの最も特徴的な色の領域として指定された分割領域Ｃｃに対して代表色値Ｌ，Ａ，Ｂが一定範囲内にある分割領域Ｃ７を含む、対象画像１ａの分割領域Ｃａ，Ｃｂ，Ｃｃの相対的位置関係に対して一定範囲内の相対的位置関係を有する分割領域Ｃ５〜Ｃ７のみが、対象画像１ａの候補として抽出される。
【０１２８】
したがって、任意の入力画像から対象画像の候補が精度よく抽出され、その限られた少数の対象画像候補の複数の分割領域と対象画像の複数の分割領域とが比較されることにより、任意の入力画像中に対象画像が含まれているか否かが短時間で判定される。
【０１２９】
なお、図示した例は入力画像１ｂ中に対象画像１ａが含まれているか否かが判定されるだけであるが、図２０のステップＳ６２で類似する色の少なくとも１つの分割領域についての変数Ｑが所定値Ｑｏより小さいと判断したときには、さらにその変数Ｑが所定値Ｑｏより小さい分割領域が入力画像１ｂのいずれの分割領域であるかを検出するとともに、その分割領域とともに対象画像１ａの複数の分割領域と対応づけられる他の分割領域を検出することによって、入力画像１ｂ中に対象画像１ａが含まれていると判定する場合に、同時に入力画像１ｂのどこに、どのような向きで対象画像１ａが存在するかを検出することができる。
【０１３０】
また、対象画像１ａが多数の領域に分割されるような場合には、例えば、図１９のステップＳ５６においては、対象画像１ａの一部の複数の分割領域と、これと位置的に対応する入力画像１ｂの複数の分割領域との、それぞれ位置的に対応するもの同士の間の類似度のみを計算して、変数Ｑを更新するようにしてもよい。
【０１３１】
なお、対象画像は、その対象画像が含まれているか否かが判定されるべき入力画像を取り込んで領域分割する画像処理装置とは別の画像処理装置により領域分割して、その分割結果のみを分割領域テーブルとして、入力画像を領域分割する画像処理装置のメモリに書き込むようにしてもよい。
【０１３２】
上述した例は、Ｋ平均アルゴリズムによって入力画像を領域分割する場合であるが、Ｋ平均アルゴリズムでは一般に、入力画像のすべての画素と新たなすべての領域中心との距離を計算するなどのために、入力画像サイズが大きい場合には、作業エリアや分割領域バッファとしてサイズの大きいものが必要になるとともに、領域分割処理に長時間を要することになる。
【０１３３】
そこで、発明者は先に、一般に、大きなサイズの入力画像を、小さいサイズの作業エリアや分割領域バッファにより、高速に領域分割することのできる、分割Ｋ平均アルゴリズムと呼ぶべき方法を発明し、特願平６−９６３２８号によって提案した。
【０１３４】
この分割Ｋ平均アルゴリズムは、入力画像を複数の中領域に分けて、それぞれの中領域をＫ平均アルゴリズムにより領域分割するものであるが、入力画像を単純に複数の中領域に分けて、それぞれの中領域を領域分割したのでは、それぞれの中領域の境界で最終的に分割された領域のつながりが悪くなることから、それぞれの中領域の間に境界領域を設けて、それぞれの中領域の領域分割にあたっては、その中領域と接するすべての境界領域を一緒に領域分割するものである。
【０１３５】
この発明の図１に示した例においても、この分割Ｋ平均アルゴリズムによって入力画像を領域分割することができる。
【０１３６】
なお、画像方向検出部３０の画素サイズは、図２および図３に示したような３×３画素に限る必要はない。また、入力画像データｌのみからではなく、例えば入力画像データｌ，ａ，ｂを加算し、その加算結果の入力画像データから入力画像の画像方向を検出し、画像方向成分ｄ１を抽出することもできる。さらに、この発明は、入力画像がＬａｂ色空間以外の例えばＲＧＢ色空間などで表現されたフルカラー画像の場合にも適用することができるとともに、白黒画像などの単色画像の場合にも適用することができる。
【０１３７】
【発明の効果】
上述したように、この発明によれば、任意の入力画像から対象画像の候補を精度よく抽出することができ、任意の入力画像中に対象画像が含まれているか否かを短時間で判定することができる。
【図面の簡単な説明】
【図１】この発明の画像処理装置の一例を示す機能ブロック図である。
【図２】その画像方向検出部の一例を示す機能ブロック図である。
【図３】画像方向の検出の説明に供する図である。
【図４】画像方向の検出の説明に供する図である。
【図５】画像方向成分の値と画像方向との関係を示す図である。
【図６】入力画像データの値と画像方向との関係を示す図である。
【図７】領域分割部における領域分割の全体的な手順を示すフローチャートである。
【図８】初期領域分割の態様の一例を示す図である。
【図９】領域分割テーブルの一例を示す図である。
【図１０】領域分割における距離計算の説明に供する図である。
【図１１】領域分割における距離計算の説明に供する図である。
【図１２】新たな領域分割の説明に供する図である。
【図１３】新たな領域分割により各分割領域の形状が変えられた状態を示す図である。
【図１４】新たな領域中心の代表画像方向成分の算出手順を示すフローチャートである。
【図１５】代表画像方向成分の算出の説明に供する図である。
【図１６】代表画像方向成分の算出の説明に供する図である。
【図１７】この発明の画像処理装置の一例における全体的な手順を示すフローチャートである。
【図１８】画像認識部における画像認識の手順の一部を示すフローチャートである。
【図１９】画像認識部における画像認識の手順の他の一部を示すフローチャートである。
【図２０】画像認識部における画像認識の手順の残部を示すフローチャートである。
【図２１】対象画像の領域分割の結果の例を示す図である。
【図２２】入力画像の領域分割の結果の例を示す図である。
【図２３】対象画像の領域分割の結果の分割領域テーブルの例を示す図である。
【図２４】入力画像の領域分割の結果の分割領域テーブルの例を示す図である。
【図２５】対象画像の領域分割の結果の極座標に変換後の分割領域テーブルの例を示す図である。
【図２６】入力画像の領域分割の結果の極座標に変換後の分割領域テーブルの例を示す図である。
【符号の説明】
１０ 画像入力部
３０ 画像方向検出部
４０ 領域分割部
５０ 分割領域バッファ
６０ 画像認識部
１ａ 対象画像
１ｂ 入力画像[0001]
[Industrial application fields]
The present invention relates to an image processing apparatus that determines whether or not a certain target image is included in an input image.
[0002]
[Prior art]
In so-called image recognition processing for determining whether or not a target image is included in an input image such as an image read by an image scanner, generally the target image is first and where in the input image. Then, the candidate of the target image and the target image are compared by a method such as pattern matching to determine whether or not the target image is included in the input image.
[0003]
If the target image candidate is not extracted in this way, for example, a pattern in any direction is created from the pattern of the target image held in advance, and the input image is scanned with all the patterns. This is because each pattern and the pattern of the input image must be compared, which causes inconveniences such as a significant increase in the time required for the recognition process.
[0004]
As described above, as a method for examining where and in what direction the target image candidate exists in the input image, a known background as used in character segmentation in general character recognition is used. Create a histogram of the pixel values of the input image for color, for example white, and extract the target image candidates, or detect the color distribution of the target image and extract the target image candidates from the number of pixels belonging to the color distribution range A way to do it is being considered.
[0005]
[Problems to be solved by the invention]
However, since the former method creates a histogram of pixel values of an input image with respect to a known background color and extracts target image candidates, is the target image included in any input image whose background color is undetermined? There is a disadvantage that cannot be applied when determining whether or not.
[0006]
In addition, the latter method is difficult in terms of accuracy because target image candidates are extracted based only on the color distribution state, and many target image candidates are extracted in the case of an input image having many similar color distributions. As a result, there is a possibility that a subsequent recognition process may take time.
[0007]
Therefore, the present invention can accurately extract a candidate for a target image from an arbitrary input image, and can determine in a short time whether or not the target image is included in the arbitrary input image. It is a thing.
[0008]
[Means for Solving the Problems]
In the present invention, when the reference numerals of the embodiments shown in FIG. 1 and FIGS. 18 to 20 described later correspond to each other (however, the superscript of * is omitted below),
An area dividing unit 40 for dividing the input image 1b into a plurality of areas and extracting the image direction of each divided area;
The target image 1a is divided into a plurality of regions, and the division result of the target image 1a obtained by extracting the image direction of each divided region and the input image 1b obtained by the region dividing unit 40 An image recognition unit 60 that determines whether the target image 1a is included in the input image 1b from the division result;
Provided,
The image recognition unit 60 is
Means S41, S42 for detecting the relative positional relationship of the plurality of divided areas of the target image 1a based on the image direction of the designated divided areas in the plurality of divided areas of the target image 1a;
A relative positional relationship between a plurality of divided areas of the target image 1a including a divided area whose pixel value is the same as or approximate to that of the specified divided area of the target image 1a in a large number of divided areas of the input image 1b; Means S43, S44, S51 to S55 for selecting a plurality of divided regions having the same or approximate relative positional relationship;
Means S56, S62 for comparing the plurality of divided regions of the target image 1a with the selected plurality of divided regions of the input image 1b to determine whether the target image 1a exists in the input image 1b;
It shall have.
[0009]
[Action]
In the image processing apparatus of the present invention configured as described above, the pixel value is the same as the designated divided area in the multiple divided areas of the target image 1a in the multiple divided areas of the input image 1b, or Only a plurality of divided regions that have the same or approximate relative positional relationship as the plurality of divided regions of the target image 1a including the approximated divided regions are extracted as candidates for the target image 1a.
[0010]
Therefore, a target image candidate is accurately extracted from an arbitrary input image, and a plurality of divided regions of the limited number of target image candidates are compared with a plurality of divided regions of the target image. Whether or not the target image is included in the image is determined in a short time.
[0011]
【Example】
FIG. 1 shows an example of an image processing apparatus according to the present invention. The image processing apparatus of this example includes an image input unit 10, image buffers 21 to 23, an image direction detection unit 30, an image buffer 35, a region division unit 40, an image buffer 41, a divided region buffer 50, an image recognition unit 60, and an operation unit. 70, a display unit 80, and a system control unit 90.
[0012]
The image input unit 10 is an image scanner unit that reads an image on a document in the system, or a part that generates an image by computer processing, or a part that takes an image generated outside the system into the system. From the image input unit 10, L recommended by the CIE (International Lighting Commission) as an input image. ^* a ^* b ^* A full color image expressed in a color space is obtained.
[0013]
However, for example, 8-bit multi-gradation (multi-value) image data of the lightness component and the two chromaticity components is 1 ^* , A ^* , B ^* In the specification, * is omitted and expressed as l, a, b.
[0014]
In this example, the target image is also taken from the image input unit 10 into the same image processing apparatus, and the image direction is detected and the area is divided as will be described later. Therefore, the “input image” may include the target image.
[0015]
In the image buffers 21, 22, and 23, input image data l, a, and b from the image input unit 10 are written, respectively.
[0016]
The image direction detection unit 30 detects the image direction for each pixel of the input image from the input image data l read from the image buffer 21, and extracts an image direction component d1, and a specific example thereof will be described later. To do. In the image buffer 35, the image direction component d1 from the image direction detection unit 30 is written.
[0017]
Although not shown, the area dividing unit 40 includes a CPU and a ROM in which an area dividing control program to be executed by the CPU is written, and the input image data read from the image buffers 21, 22, and 23. l, a, b, the XY coordinate values x, y of each pixel on the input image obtained from the system control unit 90 as read addresses for the image buffers 21 to 23, and the image direction component read from the image buffer 35 Using d1, the input image is divided into regions as will be described later.
[0018]
In the image buffer 41, the correspondence relationship between each pixel of the input image and each divided region obtained in the region dividing process in the region dividing unit 40 is written.
[0019]
In the divided area buffer 50, the process and result of area division in the area dividing section 40 are written as a divided area table.
[0020]
Although not shown, the image recognition unit 60 includes a CPU and a ROM in which an image recognition control program to be executed by the CPU is written, and the target image described in the divided area table of the divided area buffer 50. To determine whether or not the target image is included in the input image, as will be described later, from the result of the segmentation and the result of segmenting the input image to be determined whether or not the target image is included It is.
[0021]
For example, the operation unit 70 looks at the data of the division result of the target image displayed on the display unit 80, and the operator performs an operation such as designating a specific division region among the plurality of division regions of the division result of the target image. To do.
[0022]
The display unit 80 displays, for example, data of the division result of the target image, a determination result of whether or not the target image is included in the input image, and the like.
[0023]
Although not shown, the system control unit 90 includes a CPU and a ROM in which a system control program to be executed by the CPU is written, and controls each part of the system.
[0024]
FIG. 2 shows an example of the image direction detection unit 30 in the case of using the method described in Electronic Technology Research Institute Research Report No. 835, page 80.
[0025]
That is, the input image data 1 read from the image buffer 21 shown in FIG. 1 is supplied to the blocking circuit 31, and the pixel of interest Pe as shown in FIG. An image data group Gd consisting of nine image data la to li as shown in FIG. 3B is extracted from the pixel group Gp consisting of the pixels Pa to Pi, which are 3 × 3 pixels centered on. The convolution operation circuits 32 and 33 are supplied to the convolution operation circuits 32 and 33 to perform the convolution operation by the coefficient groups Kh and Kv including the coefficient values as illustrated for the pixels Pa to Pi of the pixel group Gp, respectively. ,
CC = la · (−1) + lb · (−1) + …… + li · 1 (1)
LL = la · (−1) + lb · 0 +... + Li · 1 (2)
The output represented by is obtained.
[0026]
The image direction of the input image is the direction of the contour line when the density of the input image is displayed as a contour line. In this example, the value of the input image data 1 is used as the density of the input image. The coefficient group Kh is for detecting the image direction in the horizontal direction, and the coefficient group Kv is for detecting the image direction in the vertical direction.
[0027]
Further, in the image direction detection unit 30, the outputs CC and LL of the convolution arithmetic circuits 32 and 33 are supplied to the arithmetic circuit 34, and as shown in FIG.
α = arctan (LL / CC) (3)
And when

Is calculated.
[0028]
The component da indicates the direction of the image direction component extracted from the input image data l, that is, the direction of the contour line when the density of the input image is displayed in contour lines, in 16 steps from da = 0 to da = 15. Since it is not necessary to consider the direction of the direction of the contour line, it is sufficient if the direction of the contour line, that is, the image direction of the input image is shown as a range from 0 to π as shown in FIG.
[0029]
The component db is the magnitude of the image direction component extracted from the input image data l, that is, the density difference between the contour line of the pixel of interest and the adjacent contour line when the density of the input image is displayed as a contour line. This is shown in 16 stages from 0 to db = 15. By making the logarithmic value of 1 added to the sum of the square of the output CC and the square of the output LL, even when the outputs CC and LL are small, It has a value.
[0030]
Specifically, when the image data group Gd shown in FIG. 3B has a value as shown in FIG. 6A or 6B, α = −π / 2 or α = π / 2, and da = 0 and it is detected that the image direction at the target pixel is the vertical direction. When the image data group Gd has a value as shown in FIG. 6C or FIG. 6D, α = −π / 4 and da = 4, and the image direction at the target pixel is from the upper left to the lower right. It is detected that the direction is π / 4.
[0031]
When the image data group Gd has a value as shown in FIG. 6E or 6F, α = 0 and da = 8, and it is detected that the image direction at the target pixel is the horizontal direction. . When the image data group Gd has values as shown in FIG. 6G or (H), α = π / 4 and da = 12, and the image direction at the target pixel is 3π / from the upper right to the lower left. 4 directions are detected.
[0032]
From the arithmetic circuit 34 shown in FIG. 2, that is, from the image direction detection unit 30, the components da and db are output as an 8-bit image direction component d1 as a whole, and the image direction component d1 is written to the image buffer 35. .
[0033]
In the region dividing unit 40, after the image direction component d1 is written in the image buffer 35 in this way, for example, a K average algorithm is used so that the shape of the region of the entire input image can be changed according to its color and image direction. Is divided into regions.
[0034]
The K-average algorithm repeats region division over several orders until the divided region converges to a certain state, including initial region division for setting K initial region centers for the input image. After each next area division, the area center of each divided area is calculated to determine whether or not the divided area has converged to a certain state. As the center of the area, the center of gravity and the representative color value (representative pixel value) of each divided area are generally set or calculated. In the example of FIG. 1 of the present invention, in addition to this, the representative image of each divided area is set. Set or calculate the directional component.
[0035]
In the following, the repetition order of each next area division including the initial area division is i (i = o in the meaning of zero in the initial area division, i = 1, 2 in each subsequent area division), and The number of the area divided by the next area division is j (j = 1, 2,... K), the area center of each divided area by the next area division including the initial area division is Cij, and the center of gravity is Xij, Yij. The representative color values are denoted by Lij, Aij, Bij, and the representative image direction component is denoted by Dij, respectively. However, details of the centroids Xij, Yij, the representative color values Lij, Aij, Bij, and the representative image direction component Dij will be described later.
[0036]
Hereinafter, a specific procedure of region division in the region dividing unit 40 by the K-average algorithm considering the image direction will be described with reference to FIG. However, FIG. 7 shows an overall procedure of area division executed by the area dividing unit 40, and the following example is a case where the area division number K is 100.
[0037]
First, in step S1, 100 initial region centers are set for the input image. That is, the input image data l, a, b read from the image buffers 21, 22, 23, the image direction component d1 read from the image buffer 35, and the coordinate values x, y obtained from the system control unit 90. For example, as shown in FIG. 8, the input image 1 is divided into a total of 100 regions each having 10 pixels in the vertical and horizontal directions, and the region centers Coj of the divided regions, that is, the centroids Xoj, Yoj, representative color values Loj, Aoj, Boj, and representative image direction component Doj, coordinates xoj, yoj of the center pixel of each divided region, input image data loj, aoj, boj for the center pixel, and image for the center pixel The direction component d1oj is obtained.
[0038]
However, for the representative image direction component Doj, if this is 5-bit data and the dbboj for the center pixel of the 4-bit component db in the image direction component d1 is 1 or more, the center pixel has the image direction. As a result, the most significant bit in 5 bits is set to 0, the daoj for the central pixel of the 4-bit component da in the image direction component d1 is taken in as the lower 4 bits, and the dboj for the central pixel of the component db is 0 If so, the central pixel has no image direction, the most significant bit in 5 bits is set to 1, and all the lower 4 bits are set to 0, resulting in a value of 16 as a whole.
[0039]
Next, in step S2, the area center Coj of each divided area obtained as described above, that is, the center of gravity Xoj, Yoj (xoji, yoj) of each divided area, representative color values Loj, Aoj, Boj (loj, aoj, boj). ) And the representative image direction component Doj are written in the divided area buffer 50 as an initial divided area table.
[0040]
FIG. 9 shows a divided area table created after each next area division including the initial divided area table, and i = o is expressed in the initial divided area table.
[0041]
Next, in step S3, the initial divided area table, that is, the initial area center Coj is read from the divided area buffer 50, and the input image data l, a, b, image read from the image buffers 21, 22, and 23 are read. From the image direction component d1 read from the buffer 35 and the coordinate values x and y obtained from the system control unit 90, all the pixels of the input image are sequentially set as the target pixel Pn, and the target pixel Pn and all the pixels The distance Hojn from the initial region center Coj is calculated as follows. n is the pixel number of the input image.
[0042]
However, this distance calculation and the following area determination of each pixel of the input image are repeatedly performed after each subsequent area division until the divided area converges to a certain state, as will be described later. It is. That is, after each next region division, all pixels of the input image are sequentially set as the target pixel Pn, and distances Hijn between the target pixel Pn and all the new region centers Cij by the region division of the rank are calculated. .
[0043]
Therefore, in the following, calculation of the distance Hijn and determination of the area of each pixel of the input image as a common procedure after each subsequent area division including the initial area division will be described. However, the centroids Xij and Yij of each divided area by the next area division after the initial area division are the average values of the coordinate values x and y of all the pixels in each divided area, and the representative color values Lij, Aij, and Bij Is the average value of the input image data l, a, b for all pixels in each divided area, and the representative image direction component Dij depends on whether each divided area has a noticeable image direction, as will be described later. A value from 0 to 15 or a value of 16 is assumed.
[0044]
To calculate the distance Hijn, first,
Δxijn = xn−Xij (11)
Δyijn = yn−Yij (12)
Δlijn = ln−Lij (13)
Δaiijn = an−Aij (14)
Δbijn = bn−Bij (15)
As shown in the above, the centroids Xij, Yij and representative color values Lij, Aij, Bij of the respective divided areas, the coordinates xn, yn of the target pixel Pn, and the input image data ln, an, bn about the target pixel Pn Find differences individually.
[0045]
As for the image direction component, as shown in FIG. 5, the image direction is expressed in 16 steps as an angle in the range from 0 to π. Therefore, the representative image direction of each divided region is divided into the following three cases. A difference Δdijn between the component Dij and that of the 4-bit component da in the image direction component d1 with respect to the target pixel Pn is obtained.
[0046]
First, when the representative image direction component Dij is 16 and the dbn for the target pixel Pn of the 4-bit component db in the image direction component d1 is 0, both the region center Cij and the target pixel Pn have the image direction. Since there is no difference Δdijn,
Δdijn = 0 (16)
And
[0047]
Second, when the representative image direction component Dij is 15 or less and the component dbn is 1 or more,
Δdijn = | dan−Dij | (17)
And
[0048]
However, the difference Δdijn corresponds to the angle difference β between the image direction indicated by the representative image direction component Dij at the region center Cij and the image direction indicated by the component dan at the target pixel Pn, as shown in FIG. Since the difference β is smaller than π / 2 and the difference Δdijn should be 7 or less as shown in FIG. 10B, when Δdijn = | dan−Dij | ≧ 8,
Δdijn = 15− | dan−Dij | (18)
And
[0049]
Third, when the representative image direction component Dij is 16 and the component dbn is 1 or more, or when the representative image direction component Dij is 15 or less and the component dbn is 0, that is, the region center Cij is noticed. When only one of the pixels Pn has an image direction and the other has no image direction, the difference Δdijn is larger than when the region center Cij and the target pixel Pn have the same image direction, that is, the difference Δdijn is not 0. In addition, the difference Δdijn is smaller than the case where the image direction of the region center Cij and the target pixel Pn is shifted by π / 2, that is, the difference Δdijn is smaller than 8, and takes the middle of 0 and 7,
Δdijn = 3.5 (19)
And
[0050]
In addition to calculating the above differences Δxijn, Δyijn, Δliijn, Δaijn, Δbijn, and Δdijn, a function F (Δxijn, Δyijn, Dij) for controlling the size of the region is defined as follows.
[0051]
That is, as shown in FIG.
γ = arctan (Δyijn / Δxijn) (21)
age,

And when
When | Dij−dcn | ≦ 7,
F (Δxijn, Δyijn, Dij)
= 1 + ke (| Dij−dcn | /3.5−1) (23)
age,
When | Dij−dcn | ≧ 8,
F (Δxijn, Δyijn, Dij)
= 1 + ke {(15- | Dij-dcn |) /3.5-1} (24)
And
[0052]
However, as is apparent from FIG. 11, dcn represents the direction of the target pixel Pn with respect to the region center Cij (center of gravity Xij, Yij) and the angle with respect to the y axis of the xy coordinates centered on the region center Cij (center of gravity Xij, Yij). (Γ + π / 2) is shown in 16 stages from dcn = 0 to dcn = 15, and the angle (γ + π / 2) is in the range from 0 to π by not considering the direction only by the direction. It is. ke is a coefficient as described later.
[0053]
Since | Dij−dcn | in Expression (23) and (15− | Dij−dcn |) in Expression (24) are 0 or more and 7 or less, the function F (Δxijn, Δyijn, Dij) is 1 With a spread of ± ke, and is always 1 when ke = 0, and can be 0 when ke = 1. Therefore, the coefficient ke is set to 0 <ke <1.
[0054]
In this way, by defining the coefficient ke and defining the function F (Δxijn, Δyijn, Dij) for controlling the size of the region, in step S3 of FIG. 7, all the pixels of the input image are sequentially set as the target pixel Pn. When the distance Hijn between the target pixel Pn and all the area centers Cij is generally expressed by the square of z by “(z) ** 2”,

Define and calculate in However, kx, kl, ka, kb, and kd are arbitrary coefficients, respectively.
[0055]
Next, the process proceeds to step S4, and the target pixel Pn is set to the divided region having the region center having the smallest distance Hijn among the region centers Cij of the respective divided regions as viewed from the target pixel Pn of the input image. So that the input image is newly divided into regions.
[0056]
That is, as a result of the immediately preceding region division, for example, if it is the second divided region that has the smallest distance Hijn from the region center Cij when viewed from a certain pixel included in the first divided region, that pixel Is included in the second divided area, and for example, if the first divided area has the smallest distance Hijn to the area center Cij from a certain pixel included in the second divided area. The region division is corrected so that the pixel is included in the first divided region.
[0057]
Here, FIG. 12 shows the relationship between the relative position between the pixel of interest Pn of the input image and the area center Cij of each divided area obtained by the immediately preceding area division, and the representative image direction component Dij of the area center Cij.
[0058]
As is clear from the figure, the function F (Δxijn, Δyijn, Dij) represented by the equation (23) or (24) is the direction of the straight line connecting the region center Cij (center of gravity Xij, Yij) and the target pixel Pn, That is, the direction indicated by the component dcn represented by the expression (22) is indicated by the representative image direction component Dij as when the pixel of interest Pn is at the point Pn (0) and the component dcn is represented by dcn (0). When it coincides with the image direction, it becomes the minimum, and the direction of the straight line, that is, the direction indicated by the component dcn is represented by the pixel of interest Pn at the point Pn (π / 2) and the component dcn as dcn (π / 2). When it is shifted by π / 2 with respect to the image direction indicated by the representative image direction component Dij, as in
[0059]
That is, in step S4, a pixel in the direction indicated by the representative image direction component Dij with respect to the area center Cij obtained by the immediately preceding area division is divided from the area center Cij. Pixels that are likely to be included in the region but are shifted by π / 2 with respect to the direction indicated by the representative image direction component Dij are also included in the divided regions of the region center Cij even if they are close to the region center Cij. The input image is divided into regions so as to be difficult.
[0060]
Therefore, in step S4, the shape of each divided region by the immediately preceding region division is changed to a shape along the direction indicated by the representative image direction component Dij. FIG. 13 shows a state in which the region division is corrected in this way and the shape of each divided region is changed.
[0061]
Next, in step S5, the correspondence between the pixel of interest Pn of the input image and each divided region by the new region division, that is, the number of the divided region to which the pixel of interest Pn of the input image belongs by the new region division, Write to image buffer 41.
[0062]
Next, it progresses to step S6 and a new area | region center is calculated. That is, the input image data l, a, b read from the image buffers 21, 22, 23, the image direction component d1 read from the image buffer 35, the division area number read from the image buffer 41, and the system From the coordinate values x and y obtained from the control unit 90, for each newly divided area, the center of gravity Xij, Yij, representative color values Lij, Aij, Bij, and the area center Cij consisting of the representative image direction component Dij are calculated. Try again.
[0063]
Here, as described above, the centroids Xij and Yij are the average values of the coordinate values x and y of all the pixels in each divided region, and the representative color values Lij, Aij and Bij are the values for all the pixels in each divided region. Are the average values of the input image data l, a, b. The representative image direction component Dij is obtained according to the calculation procedure shown in FIG.
[0064]
That is, some pixels of the input image may have a plurality of image directions. However, if there are at least two directions that can be clearly observed, and there is a second direction that can be clearly observed, it is in the first direction. First, in step S11, for each newly divided region, the above component dan is 0, 1 in the pixels satisfying the condition of dbn ≧ 1. , 2... 15, the number of pixels N 0, N 1, N 2... N 15 is calculated, and the number N 16 of pixels where dbn = 0 is obtained.
[0065]
Next, in step S12, the component value Dmax with the largest number of pixels and the largest number of pixels Nmax are calculated. However, when N16 is the largest, Dmax = 16. In step S13, it is determined whether or not Dmax = 16. If it is determined that Dmax = 16, the region does not have an image direction. Next, in step S14, the representative image direction component of the region is determined. Let Dij be 16.
[0066]
When it is determined in step S13 that Dmax ≠ 16, in step S15, the direction shifted by π / 2 from the direction indicated by the component value Dmax having the largest number of pixels as shown in FIG. 15A or 15B. That is, the component value Dmid deviated by +8 or −8 from the component value Dmax and the number of pixels Nmid that becomes the component value Dmid are calculated, and the process proceeds to step S16, where the number of pixels Nmax is 2 of the number of pixels Nmid. Judge whether it is more than double.
[0067]
If it is determined in step S16 that the number of pixels Nmax is less than or equal to twice the number of pixels Nmid, the region does not have a noticeable image direction, and the same step as in the case where Dmax = 16 is determined in step S13. In S14, the representative image direction component Dij of the area is set to 16.
[0068]
When it is determined in step S16 that the number of pixels Nmax is more than twice the number of pixels Nmid, the area has a remarkable image direction, but the direction component spreads, for example, two direction components overlap each other in the adjacent direction. Since it may exist, the process further proceeds to step S17 to calculate the following weighted average value Dave for the area, and use the weighted average value Dave as the representative image direction component Dij of the area. .
[0069]
That is, as shown in FIG. 16, component values Dp1, Dm1,... Dp4, Dm4 that are shifted by ± 1, ± 2, ± 3, ± 4 with respect to the component value Dmax with the largest number of pixels, and their respective component values Dp1. , Dm1... Dp4, Dm4, the number of pixels Np1, Nm1... Np4, Nm4 is calculated, and the weighted average value Dave is calculated.
Dave = (Nm4 · Dm4 + Nm3 · Dm3 + Nm2 · Dm2 + Nm1 · Dm1 + Nmax · Dm1 + Np1 · Dp1 + Np2 · Dp2 + Np3 · Dp3 + Np4 · Dp4) / (Nm4 + Nm3 + Np2 + Np + Np + Np + Np +
Calculate
[0070]
When the representative image direction component Dij is set to 16 in step S14 or the weighted average value Dave of the equation (26) is set to the representative image direction component Dij in step S17, the process further proceeds to step S18, and the representative image direction direction is determined for all regions. It is determined whether or not the component Dij has been obtained, and if it is determined that there is an area for which the representative image direction component Dij has not yet been obtained, the process returns to step S11 and the subsequent steps to obtain the representative image direction component Dij as described above for the next area. Ask.
[0071]
As described above, in step S6 of FIG. 7, the area center Cij including the centroids Xij, Yij, the representative color values Lij, Aij, Bij, and the representative image direction component Dij is recalculated for each newly divided area. .
[0072]
Next, in step S7, the area centers Cij of the respective divided areas thus obtained, that is, the centroids Xij and Yij, the representative color values Lij, Aij and Bij, and the representative image direction component Dij are as shown in FIG. As the divided area table, the divided area table for the immediately preceding divided area is left and written in the divided area buffer 50.
[0073]
Next, the process proceeds to step S8, and the new divided area table, that is, the new area center and the previous divided area table, that is, the previous area center are read from the divided area buffer 50, and the divided area number is read. A shift amount of a new area center with respect to the previous area center is calculated as follows between those having the same j.
[0074]
However, here, the center of the new area is Cij, the center of gravity is Xij, Yij, the representative color values are Lij, Aij, Bij, the representative image direction component is Dij, and s = i−1. The previous region center is indicated by Csj, the center of gravity is indicated by Xsj, Ysj, the representative color values are indicated by Lsj, Asj, Bsj, the representative image direction component is indicated by Dsj, and the new region center Cij is shifted from the previous region center Csj. The quantity is indicated by Hsij.
[0075]
In order to calculate the shift amount Hsij, first,
ΔXsij = Xij−Xsj (31)
ΔYsij = Yij−Ysj (32)
ΔLsij = Lij−Lsj (33)
ΔAsij = Aij−Asj (34)
ΔBsij = Bij−Bsj (35)
As shown, the centroids Xij, Yij and the representative color values Lij, Aij, Bij of the new area center Cij, and the centroids Xsj, Ysj and the representative color values Lsj, Asj, Bsj of the previous area center Csj Find differences individually.
[0076]
As for the representative image direction component, as described above, since the representative image direction components Dij and Dsj of the region centers Cij and Csj can take values from 0 to 16, the representative image direction component is divided into the following three cases. A difference ΔDsij between Dij and the representative image direction component Dsj is obtained.
[0077]
First, when both the representative image direction components Dij and Dsj are 16,
ΔDsij = 0 (36)
And
[0078]
Second, when the representative image direction components Dij and Dsj are both 15 or less,
ΔDsij = | Dij−Dsi | (37)
And
[0079]
However, the difference ΔDsij corresponds to an angle difference between the image direction indicated by the representative image direction component Dij and the image direction indicated by the representative image direction component Dsj, and the angle difference should be smaller than π / 2, and the difference ΔDsij should be 7 or less. Therefore, when ΔDsij = | Dij−Dsj | ≧ 8,
ΔDsij = 15− | Dij−Dsj | (38)
And
[0080]
Third, when only one of the representative image direction components Dij and Dsj is 16, the difference ΔDsij is larger than when the representative image direction components Dij and Dsj are both 16, that is, the difference ΔDsij is not 0. In addition, the difference ΔDsij is smaller than when the angle difference between the image direction indicated by the representative image direction component Dij and the image direction indicated by the representative image direction component Dsj is π / 2, that is, the difference ΔDsij is smaller than 8. Taking between 0 and 7,
ΔDsij = 3.5 (39)
And
[0081]
The above differences ΔXsij, ΔYsij, ΔLsij, ΔAsij, ΔBsij, ΔDsij are calculated, and in step S8 of FIG. When the displacement amount Hsij with respect to the previous region center Csj is generally represented by the square of Z as “(Z) ** 2”,
Hsij
= Kx {(ΔXsij) ** 2+ (ΔYsij) ** 2}
+ Kl · (ΔLsij) ** 2
+ Ka · (ΔAsij) ** 2
+ Kb · (ΔBsij) ** 2
+ Kd · (ΔDsij) ** 2 (40)
Define and calculate in However, kx, kl, ka, kb, and kd are arbitrary coefficients, respectively.
[0082]
Next, proceeding to step S9, it is determined whether or not the shift amount Hsij for all the divided regions is smaller than 1, and when it is determined that the shift amount Hsij for any of the divided regions is 1 or more, Assuming that the divided areas have not yet converged to a certain state, the process returns to step S3 and subsequent steps.
[0083]
That is, in step S3, all the pixels of the input image are sequentially set as the target pixel Pn, and distances Hijn between the target pixel Pn and all the new region centers Cij are calculated according to the equation (25), and then in step S4. Proceeding, the input image is further divided into regions so that the pixel of interest Pn is included in the divided region having the region center of the smallest distance Hijn among all the new region centers Cij as viewed from the pixel of interest Pn. In step S5, the correspondence relationship between the pixel of interest Pn of the input image and each divided area obtained by further new area division is written in the image buffer 41. Next, in step S6, a new area center Cij is calculated. Next, in step S7, the obtained new area center Cij is used as a divided area table, and the divided area buffer 50 is used. Next, the process proceeds to step S8, and a series of steps of calculating the shift amount Hsij of the new area center Cij with respect to the previous area center Csj according to the equation (40) is repeated for each divided area. Execute.
[0084]
When it is determined in step S9 that the shift amount Hsij for all the divided areas is smaller than 1, the divided areas are determined to have converged to a certain state, and the area division is terminated.
[0085]
As described above, in the region dividing unit 40, the entire input image is divided so that the shape of the region can be changed according to the color and the image direction.
[0086]
FIG. 17 shows an overall procedure of image recognition by the system control unit 90 in the image processing apparatus of this example.
[0087]
First, in step S31, based on the operator's instruction operation in the operation unit 70, the image data of the target image 1a as the input image data l, a, b is taken into the system from the image input unit 10, and the image buffer 21, 22 and 23 are written.
[0088]
Next, in step S32, the image direction detection unit 30 detects the image direction of the target image 1a from the image data of the target image 1a, extracts the image direction component d1, and extracts the image direction component d1 from the image buffer 35. Write to.
[0089]
Next, in step S <b> 33, the target image 1 a is divided into regions by the region dividing unit 40, and the final divided result table 51 x of the target image 1 a is formed in the divided region buffer 50.
[0090]
Next, in step S34, the image data of the input image 1b to be determined as to whether or not the target image 1a is included as the input image data l, a, b based on the instruction operation of the operator in the operation unit 70. The image is input from the image input unit 10 into the system and written in the image buffers 21, 22, and 23.
[0091]
Next, in step S35, the image direction of the input image 1b is detected from the image data of the input image 1b by the image direction detection unit 30, the image direction component d1 is extracted, and the image direction component d1 is extracted from the image buffer 35. Write to.
[0092]
Next, in step S36, the input image 1d is divided into regions by the region dividing unit 40, and the final division of the input image 1b is performed separately from the divided region table 51x of the final division result of the target image 1a in the divided region buffer 50. The resulting divided area table 52x is formed.
[0093]
Next, in step S37, based on the operator's instruction operation in the operation unit 70, the image recognition unit 60 performs the input image from the divided region tables 51x and 52x according to the specific procedure shown in FIGS. It is determined whether or not the target image 1a is included in 1b, and the determination result is displayed on the display unit 80.
[0094]
FIG. 21 shows an example of the final division result of the target image 1a. The target image 1a is 200 × 100 pixels, the area division number K is 3, and each has three area centers Ca, Cb, and Cc. This is a case where the area is divided into the divided areas.
[0095]
As shown in FIG. 23, the division area table 51x as the final division result of the target image 1a includes the division area number, the center of gravity indicated by the XY coordinate values of each division area, the representative color values L, A, B and the representative image direction component D are described, and the number of pixels N of each divided region is described.
[0096]
FIG. 22 shows an example of the final division result of the input image 1b. The input image 1b is 400 × 200 pixels, the area division number K is 8, and each of the 8 divisions having the area centers C1 to C8. This is a case where the area is divided into areas.
[0097]
As shown in FIG. 24, the division area table 52x as the final division result of the input image 1b also includes the division area number, the center of gravity indicated by the XY coordinate values of each division area, the representative color values L, A, B and the representative image direction component D are described, and the number of pixels N of each divided region is described.
[0098]
In the following, the divided areas are indicated not by their numbers but by the area centers. That is, for example, the divided area with area number 3 of the target image 1a is referred to as a divided area Cc, and the divided area with area number 7 of the input image 1b is referred to as a divided area C7.
[0099]
As a procedure in step S37 of FIG. 17 after the division area tables 51x and 52x as the final division results of the target image 1a and the input image 1b are formed in this manner, the image recognition unit 60 first performs the process shown in FIG. In step S41, the most characteristic color divided area of the target image 1a is selected from the divided area table 51x of the target image 1a.
[0100]
For example, after the divided region table 52x of the input image 1b is formed in step S36 in FIG. 17, the target image 1a is automatically recorded by the system control program in the system control unit 90 or by the operator's instruction operation in the operation unit 70. The representative color values L, A, and B of each divided area on the divided area table 51x are displayed on the display unit 80. The operator looks at the displayed contents and recognizes the most characteristic color of the target image 1a or instructs the operation unit 70 of the number of the corresponding divided area of the target image 1a from the image data value known in advance. Thus, the image recognizing unit 60 selects the divided area having the designated number.
[0101]
Alternatively, the description content of the divided area table 51x of the target image 1a is not displayed on the display unit 80, and the operator inputs an image data value known in advance as the most characteristic color of the target image 1a from the operation unit 70. As a result, the image recognition unit 60 selects a divided area in which the representative color values L, A, and B are closest to the input image data value among the divided areas on the divided area table 51x of the target image 1a. .
[0102]
In the example of FIGS. 21 and 23, it is assumed that the divided area Cc is selected as the most characteristic color area of the target image 1a.
[0103]
Next, in step S42, the center of gravity of the divided area selected in this way is set as the center, the image direction is set to θ = 0, and the center of gravity of each divided area on the divided area table 51x is rewritten in polar coordinates, and the divided area table 51r is rewritten. Form.
[0104]
That is, in the examples of FIGS. 21 and 23, the center of gravity of (60, 55) in the XY coordinate values of the divided region Cc is the center of r = 0 in polar coordinates, and the representative image direction component of D = 2 indicates The direction of the arrow in FIG. 21 is θ = 0, and the center of gravity of each divided area on the divided area table 51x is expressed by polar coordinate values, so that a divided area table 51r as shown in FIG. 25 is formed. In FIG. 25, the unit of the angle θ is radians.
[0105]
Next, in step S43, the divided area table 52x of the input image 1b is searched for a divided area having a color similar to the representative color of the divided area selected in step S41 of the target image 1a as a representative color, and further in step S44. Going forward, it is determined whether there is a similar color segmentation area.
[0106]
For example, in the divided areas of the input image 1b, the representative color values L, A, and B are in a range of ± 10% with respect to the representative color values L, A, and B of the divided areas selected in step S41 of the target image 1a. The divided areas inside are searched and set as divided areas having colors similar to the colors of the divided areas selected in step S41 of the target image 1a.
[0107]
If it is determined in step S44 that there is no similar color segmentation area, it is determined that the target image 1a is not included in the input image 1b, and the process proceeds to step S45, where the target image 1a is included in the input image 1b. The fact that there is no image is displayed on the display unit 80, and the image recognition process is terminated.
[0108]
In the examples of FIGS. 21 to 25, only the representative color values L, A, and B of the divided area C7 of the input image 1b are compared with the representative color values L, A, and B of the selected divided area Cc of the target image 1a. Since all are within the range of ± 10%, only the divided area C7 is a divided area having a color similar to the color of the divided area Cc.
[0109]
If it is determined in step S44 that there is a similar color divided area, then in step S51 of FIG. 19, one similar color divided area is selected from the divided area table 52x of the input image 1b, and step S52 is further selected. Then, the variable Q described later for the selected divided area is cleared to zero.
[0110]
In the examples of FIGS. 21 to 25, since only the divided area C7 of the input image 1b is a divided area having a color similar to the color of the divided area Cc of the target image 1a, the divided area C7 is selected in step S51. In step S52, the variable Q for the divided region C7 is cleared to zero.
[0111]
Next, in step S53, the center of gravity of the selected divided region is set as the center, the image direction is θ = 0, the center of gravity of each divided region on the divided region table 52x is rewritten in polar coordinates, and the selected divided region is also displayed. A difference Dd between the representative image direction component of the target image 1a and the representative image direction component of the divided area selected in step S41 of the target image 1a is obtained, and the difference Dd is subtracted from the representative image direction component of each divided area of the input image 1b. The representative image direction component of each divided area on the divided area table 52x is rewritten to form a divided area table 52r. However, the representative image direction component D is 0 or more and 16 or less.
[0112]
That is, in the examples of FIGS. 21 to 25, the center of gravity of (150, 139) in the XY coordinate values of the divided region C7 is the center of r = 0 in polar coordinates, and the representative image direction component of D = 6 indicates The direction of the arrow in FIG. 22 is θ = 0, the center of gravity of each divided area on the divided area table 52x is expressed by polar coordinate values, the representative image direction component of the divided area C7, and the representative image direction of the divided area Cc. The representative image direction component of each divided region on the divided region table 52x is rewritten so that the difference Dd = 6-2 = 4 from the component is subtracted from the representative image direction component of each divided region of the input image 1b. A divided area table 52r as shown in FIG. In FIG. 26, the unit of the angle θ is radians.
[0113]
Next, in step S54, a divided region corresponding to a divided region other than the divided region selected in step S41 of the target image 1a in the input image 1b is searched from the divided region table 52r, and the process proceeds to step S55. Thus, it is determined whether or not there are all divided areas corresponding to the divided areas other than the divided areas selected in step S41 of the target image 1a.
[0114]
For example, the polar coordinates r and θ of the center of gravity on the divided area table 52r are ± 10% with respect to the polar coordinates r and θ of the center of gravity of the divided areas other than the divided areas selected in step S41 on the divided area table 51r. The divided areas within the range are searched and are set as the divided areas corresponding to the divided areas other than the divided areas selected in step S41 of the target image 1a.
[0115]
In the example of FIGS. 21 to 26, polar coordinate values r and θ of the centroids of the divided regions C5 and C6 of the input image 1b are respectively relative to polar coordinate values r and θ of the centroids of the divided regions Ca and Cb of the target image 1a. Since it is within the range of ± 10%, it is determined that there are all divided areas corresponding to the divided areas other than the divided areas selected in step S41 of the target image 1a.
[0116]
When it is determined in step S55 that there are all corresponding divided areas, the process proceeds to step S56, where each divided area of the target image 1a and a plurality of divided areas of the input image 1b corresponding to the divided areas are positioned. The degree of similarity between those corresponding to each other is calculated, and the variable Q that has been cleared to zero in step S52 is updated based on the respective calculation results.
[0117]
The similarity Qn between the divided area of the target image 1a and the divided area of the input image 1b that corresponds to the target image 1a is represented by La, representative color values L, A, and B of the divided area of the target image 1a. Aa, Ba, the representative image direction component D is Da, the number of pixels N is Na, the representative color values L, A, B of the divided area of the input image 1b corresponding to this position are Lb, Ab, Bb, the representative image direction If the component D is Db, the number of pixels N is Nb, and the square of z is generally represented by “(z) ** 2”,
Qn
= (La-Lb) ** 2 + (Aa-Ab) ** 2 + (Ba-Bb) ** 2
+ Kd (Da-Db) ** 2 + kn (Na-Nb) ** 2 (41)
Define and calculate in However, kd and kn are arbitrary coefficients, respectively.
[0118]
In the example of FIGS. 21 to 26, the similarity Q1 between the divided area Ca of the target image 1a and the divided area C5 of the input image 1b, and the divided area Cb of the target image 1a and the divided area C6 of the input image 1b. And the similarity Q3 between the divided area Cc of the target image 1a and the divided area C7 of the input image 1b are respectively calculated, and the variable Q is
Q = Q1 + Q2 + Q3 (42)
It is said.
[0119]
When it is determined in step S55 that there are no corresponding divided areas, the process proceeds to step S57, and the variable Q for the divided area selected in step S51 of the input image 1b is set to a predetermined value larger than a predetermined value Qo described later. Qm.
[0120]
After the variable Q is updated as described above in step S56 or the variable Q is set to the predetermined value Qm in step S57, the process proceeds to step S61 in FIG. 20 to include the target image 1a in the divided area of the input image 1b. It is determined whether or not there are other divided areas having colors similar to the color of the divided area selected in step S41. If it is determined that there are other divided areas, the process returns to step S51 and subsequent steps in FIG. One other divided area of the color is selected from the divided area table 52x of the input image 1b, and the above variable Q for the selected divided area is cleared to zero. The above processing is executed.
[0121]
However, in the example of FIGS. 21 to 26, as described above, only the divided area C7 of the input image 1b is a divided area having a color similar to the color of the divided area Cc selected in step S41 of the target image 1a. It does not return to step S51 and below.
[0122]
When it is determined in step S61 that there are no other similar color divided areas, the process proceeds to step S62, and it is determined whether or not the variables Q for the similar color divided areas are all equal to or greater than a predetermined value Qo. When it is determined that all the values are equal to or greater than the predetermined value Qo, it is assumed that the target image 1a is not included in any position of the input image 1b, and the process proceeds to step S45 in FIG. The fact that the image 1a is not included is displayed on the display unit 80, and the image recognition process is terminated.
[0123]
If it is determined in step S62 that the variable Q for at least one divided region of similar colors is smaller than the predetermined value Qo, it is assumed that the target image 1a is included in any position of the input image 1b, and the process proceeds to step S63. The display unit 80 displays that the target image 1a is included in the input image 1b, and the image recognition process ends.
[0124]
In the example of FIGS. 21 to 26, only the divided area C7 of the input image 1b is a divided area having a color similar to the color of the divided area Cc selected in step S41 of the target image 1a, and as described above, Since the divided areas C5, C6 and C7 of the input image 1b correspond to the divided areas Ca, Cb and Cc of the target image 1a, depending on whether or not the variable Q represented by the equation (42) is smaller than the predetermined value Qo, The determination of whether or not the target image 1a is included in the input image 1b is divided.
[0125]
For example, the predetermined value Qo is set to Qo = 100 when the coefficients kd and kn of the above equation (41) are kd = 10 and kn = 0.001. Therefore, in the example of FIGS. 21 to 26, the variable Q represented by the equation (42) is smaller than the predetermined value Qo, and it is determined that the target image 1a is included in the input image 1b. .
[0126]
According to the above-described example, among the many divided areas of the input image 1b, the divided color areas having the same or approximate representative color values L, A, and B as the designated divided areas in the plurality of divided areas of the target image 1a. Only a plurality of divided regions having a relative positional relationship that is the same as or close to the relative positional relationship of the plurality of divided regions of the target image 1a including the region are extracted as candidates for the target image 1a.
[0127]
That is, in the examples of FIGS. 21 to 26, the region is designated as the most characteristic color region of the target image 1a in the divided regions Ca, Cb, and Cc of the target image 1a in the divided regions C1 to C8 of the input image 1b. Within a certain range with respect to the relative positional relationship of the divided regions Ca, Cb, Cc of the target image 1a, including the divided region C7 in which the representative color values L, A, B are within the certain range with respect to the divided region Cc. Only the divided areas C5 to C7 having the relative positional relationship are extracted as candidates for the target image 1a.
[0128]
Therefore, a target image candidate is accurately extracted from an arbitrary input image, and a plurality of divided regions of the limited number of target image candidates are compared with a plurality of divided regions of the target image. Whether or not the target image is included in the image is determined in a short time.
[0129]
In the illustrated example, it is only determined whether or not the target image 1a is included in the input image 1b. However, in step S62 in FIG. When it is determined that the divided area is smaller than the predetermined value Qo, it further detects which divided area of the input image 1b the divided area whose variable Q is smaller than the predetermined value Qo, and a plurality of divided areas of the target image 1a together with the divided area. When it is determined that the target image 1a is included in the input image 1b by detecting another divided region associated with the region, the target image 1a is located in the input image 1b at any time and in any direction. It can be detected whether it exists.
[0130]
Further, when the target image 1a is divided into a large number of regions, for example, in step S56 of FIG. 19, a plurality of partial regions of the target image 1a and input corresponding to the position. The variable Q may be updated by calculating only the similarity between the plurality of divided regions of the image 1b that correspond to each other in position.
[0131]
The target image is divided into regions by an image processing device different from the image processing device that takes in an input image to be determined whether or not the target image is included and divides the region, and only the division result is obtained. As the divided area table, the input image may be written in a memory of an image processing apparatus that divides the input image.
[0132]
The above-described example is a case where the input image is divided into regions by the K-average algorithm. However, the K-average algorithm generally calculates the distances between all the pixels of the input image and all the new region centers. When the input image size is large, a large work area or divided area buffer is required, and the area dividing process takes a long time.
[0133]
In view of this, the inventor first invented a method to be called a divided K-average algorithm, which can generally divide a large-sized input image at high speed by a small-sized work area or divided-region buffer. This was proposed by No. 6-96328.
[0134]
In this divided K-average algorithm, the input image is divided into a plurality of middle regions, and each middle region is divided into regions by the K-average algorithm. However, the input image is simply divided into a plurality of middle regions, If the middle region is divided into regions, the connection of the regions finally divided at the boundary of each middle region will deteriorate, so a boundary region is provided between each middle region, and each middle region area In the division, all boundary regions in contact with the middle region are divided together.
[0135]
Also in the example shown in FIG. 1 of the present invention, the input image can be divided into regions by this divided K-average algorithm.
[0136]
Note that the pixel size of the image direction detection unit 30 is not necessarily limited to 3 × 3 pixels as illustrated in FIGS. 2 and 3. Further, not only from the input image data l but also, for example, the input image data l, a, and b are added, the image direction of the input image is detected from the input image data of the addition result, and the image direction component d1 is extracted. it can. Furthermore, the present invention can be applied to a case where the input image is a full-color image expressed in an RGB color space other than the Lab color space, for example, and can also be applied to a single-color image such as a monochrome image. it can.
[0137]
【The invention's effect】
As described above, according to the present invention, candidate target images can be accurately extracted from an arbitrary input image, and it is determined in a short time whether the target image is included in the arbitrary input image. be able to.
[Brief description of the drawings]
FIG. 1 is a functional block diagram illustrating an example of an image processing apparatus according to the present invention.
FIG. 2 is a functional block diagram illustrating an example of the image direction detection unit.
FIG. 3 is a diagram for explaining detection of an image direction.
FIG. 4 is a diagram for explaining detection of an image direction.
FIG. 5 is a diagram illustrating a relationship between a value of an image direction component and an image direction.
FIG. 6 is a diagram illustrating a relationship between values of input image data and image directions.
FIG. 7 is a flowchart showing an overall procedure of area division in an area dividing unit;
FIG. 8 is a diagram illustrating an example of an aspect of initial region division.
FIG. 9 is a diagram illustrating an example of an area division table.
FIG. 10 is a diagram for explaining distance calculation in area division.
FIG. 11 is a diagram for explaining distance calculation in area division;
FIG. 12 is a diagram for explaining a new area division.
FIG. 13 is a diagram illustrating a state in which the shape of each divided region is changed by new region division.
FIG. 14 is a flowchart showing a procedure for calculating a representative image direction component at the center of a new region.
FIG. 15 is a diagram for explaining calculation of a representative image direction component.
FIG. 16 is a diagram for explaining calculation of a representative image direction component.
FIG. 17 is a flowchart showing an overall procedure in an example of an image processing apparatus according to the present invention;
FIG. 18 is a flowchart showing a part of the procedure of image recognition in the image recognition unit.
FIG. 19 is a flowchart showing another part of the image recognition procedure in the image recognition unit;
FIG. 20 is a flowchart showing the remainder of the image recognition procedure in the image recognition unit.
FIG. 21 is a diagram illustrating an example of a result of area division of a target image.
FIG. 22 is a diagram illustrating an example of a result of area division of an input image.
FIG. 23 is a diagram illustrating an example of a divided area table as a result of area division of a target image.
FIG. 24 is a diagram illustrating an example of a divided region table as a result of region division of an input image.
FIG. 25 is a diagram illustrating an example of a divided region table after conversion into polar coordinates as a result of region division of a target image.
FIG. 26 is a diagram illustrating an example of a divided area table after conversion into polar coordinates as a result of area division of an input image.
[Explanation of symbols]
10 Image input section
30 Image direction detector
40 area division
50 partitioned area buffer
60 Image recognition unit
1a Target image
1b Input image

Claims (1)

An area dividing unit that divides an input image into a number of areas and extracts the image direction of each divided area;
From the division result of the target image obtained by dividing the target image into a plurality of regions and extracting the image direction of each divided region, and the division result of the input image obtained by the region division unit An image recognition unit that determines whether or not the target image is included in the input image;
With
The image recognition unit
Means for detecting a relative positional relationship between the plurality of divided regions of the target image based on the image direction of the designated divided region among the plurality of divided regions of the target image;
Among the multiple divided areas of the input image, the same as the relative positional relationship of a plurality of divided areas of the target image including the divided areas having the same or approximate pixel values as those of the specified divided area of the target image. Or means for selecting a plurality of divided regions having approximate relative positional relationships;
Means for comparing the plurality of divided regions of the target image with the selected plurality of divided regions of the input image to determine whether the target image exists in the input image;
An image processing apparatus.

Images