JP6948959B2 - 画像処理システム及び画像処理方法 - Google Patents

Description

本発明は、物体検出ＡＩの学習データを生成する画像処理装置及び画像処理方法に関する。

物体検出技術が進歩し、ディープラーニングを用いた物体検出用のＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）によって、画像中に写る複数の物体の種類の識別（犬、猫、車など）と画像中の位置の情報が、高速かつ高精度で取得できるようになった。

Real-Time Object Detection，［平成３０年１月６日検索］、インターネット〈URL：https://pjreddie.com/darknet/yolo/〉 SSD: Single Shot MultiBox Detector，［平成３０年１月６日検索］、インターネット〈URL：https://github.com/weiliu89/caffe/tree/ssd〉

物体検出の精度を向上させるには、多数の画像と、各画像に写っている物体の種類と位置情報が記述されたレコードを学習する必要がある。この学習データは、数万点も必要な場合があり、人手で作成するとコストがかかる問題がある。

物体らしき場所を機械的に抽出する従来技術としてＳｅｌｅｃｔｉｖｅ Ｓｅａｒｃｈがある。Ｓｅｌｅｃｔｉｖｅ Ｓｅａｒｃｈは、ピクセルレベルで類似する領域をグルーピングして候補領域を選出するアルゴリズムである。ＳｅｌｅｃｔｉｖｅＳｅａｒｃｈでは類似する領域を色情報で機械的に候補領域を選出するため、物体を適切に抽出できないことがある。また、候補領域を選出するものであり、候補領域中の画像が何であるかは識別できない。このため、Ｓｅｌｅｃｔｉｖｅ Ｓｅａｒｃｈだけでは物体検出ＡＩの学習データを生成できない。

本発明は、物体検出ＡＩの学習データを人手によらず作成可能とすることを目的とする。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、画像処理システムであって、所定の処理を実行する演算装置と、前記演算装置に接続された記憶装置とを備え、前記演算装置は、入力された画像を所定のグリッドパターンによって分割し、前記分割された各領域に写っているオブジェクト及びその確度を推測し、前記推測されたオブジェクトの確度が所定の閾値より小さいオブジェクトを除外し、前記除外されなかったオブジェクトのうち、同種のオブジェクトが推測されており、隣接する領域を結合して全体グリッドを定め、前記同種のオブジェクトが推測された隣接する領域の中心位置に配置される中心グリッドを定め、前記中心グリッドが定められたオブジェクトの各々について、前記中心グリッドと前記全体グリッドとの間に平均グリッドを定めることを特徴とする。

本発明の一態様によれば、物体検出ＡＩの学習データを人手によらず作成できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。

本発明の実施例に係る物体検出装置の構成を示すブロック図である。 領域検出結果ファイルの構成例を示す図である。 中央処理装置が実行する処理のフローチャートである。 領域検出処理部が実行する物体検出処理の詳細のフローチャートである。 グリッドパターンファイルのフォーマットである。 グリッド探索処理の詳細のフローチャートである。 中心グリッドの計算例を示す図である。 平均グリッドの計算例を示す図である。 グリッド探索処理の詳細のフローチャートである。 マージ処理を説明する図である。 中心グリッド計算処理を説明する図である。

以下、図面を参照して本発明の実施形態を説明する。

まず、本明細書において、一枚の画像に写った一つの物体の種別（犬、猫、車など）を識別するＡＩを画像認識と称する。また、一枚の画像に複数の物体が写り、各物体の種別と位置情報を識別できるＡＩを物体検出と称する。

図１は、本発明の実施例に係る物体検出装置の構成を示すブロック図である。

物体検出装置は、装置に入力された画像に含まれる物体（オブジェクト）の種別と画像中の位置情報を抽出する。物体検出装置は、中央処理装置０１０、データメモリ０２０、プログラムメモリ０３０、表示装置０４０、画像認識ＡＩ訓練済みデータ０５０、グリッドパターンファイル０６０、領域検出前画像０７０、領域検出結果ファイル０８０、キーボード０９０及びポインティングデバイス１００を有する計算機システムによって構成される。中央処理装置０１０は、データメモリ０２０、プログラムメモリ０３０、表示装置０４０、画像認識ＡＩ訓練済みデータ０５０、グリッドパターンファイル０６０、領域検出前画像０７０、領域検出結果ファイル０８０、キーボード０９０及びポインティングデバイス１００と相互に接続されている。

中央処理装置０１０は、画像認識ＡＩ訓練済みデータ読み込み部０１１、領域検出前画像読み込み部０１２、領域検出処理部０１３及び領域検出結果出力部０１４を有する。これらの各部は、中央処理装置０１０が所定のプログラムを実行することによって実現される。なお、物体検出装置がプログラムを実行して行う処理の一部をハードウェア（例えば、ＦＰＧＡ）で行ってもよい。

中央処理装置０１０では、まず、画像認識ＡＩ訓練済みデータ読み込み部０１１が画像認識ＡＩファイルを読み込む。画像認識ＡＩとは、ユーザが認識させたい物体を識別できるように訓練されたＡＩである。例としては、公に配布されている事前学習済みファイル（ＶＧＧ１６やＩｎｃｅｐｔｉｏｎＶ３など）がある。

このＡＩの機能を用いて、領域検出前画像読み込み部０１２が読み込んだ画像から、領域検出処理部０１３が物体を検出する。領域検出結果出力部０１４は、領域検出処理部０１３が特定した物体の種別と画像中の位置情報をファイルに出力する。なお、領域検出処理部０１３で物体の種別と位置情報を特定する方法の詳細は後述する。

データメモリ０２０は、中央処理装置０１０の各処理部が処理に用いるデータを格納する。具体的には、データメモリ０２０は、予測用画像データ０２１及び画像認識ＡＩ訓練済みデータ０２２を格納する。

画像認識ＡＩ訓練済みデータ０５０は、画像認識ＡＩを実現するためのファイルであり、本実施例の物体検出装置を使用するユーザが予め作成しておくとよい。

なお、画像認識ＡＩの学習データは、物体検出データと異なり、ディレクトリごとに犬の画像だけ、猫の画像だけ、人の画像だけ等、識別させたい画像をディレクトリに分けて学習させるため、学習データを低コストで作成できる。本実施例では、ユーザが画像認識ＡＩだけで物体検出用の学習データを作成できる。

グリッドパターンファイル０６０は、領域検出前画像０７０を分割する際のサイズを指定する。グリッドパターンファイル０６０は、本実施例の物体検出装置を使用するユーザが予め作成しておくとよいが、ユーザが変更できる。

中央処理装置０１０が実行するプログラムは、リムーバブルメディア（ＣＤ−ＲＯＭ、フラッシュメモリなど）又はネットワークを介して物体検出装置に提供され、非一時的記憶媒体である不揮発性の補助記憶装置に格納される。このため、物体検出装置は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。

物体検出装置は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。

図２は、領域検出結果ファイル０８０の構成例を示す図であり、物体検出処理装置が出力する領域検出結果ファイル０８０のフォーマットを示す。

領域検出結果ファイル０８０は、画像ファイル名２０１、物体の種類２０２、物体の左上Ｘ座標２０３、左上Ｙ座標２０４、物体の幅２０５及び物体の高さ２０６を含むレコードが格納される（例えば、ＣＳＶ形式の）ファイルである。画像ファイル名２０１は、領域が検出されたファイル名である。物体の種類２０２には、０〜Ｎまでの整数が記録され、各数値が物体の種類（０＝犬、１＝猫、２＝人など）を示す。物体の左上Ｘ座標２０３及び左上Ｙ座標２０４は物体が画像中に含まれる矩形の左上の点の座標である。物体の幅２０５及び高さ２０６は、物体が画像中に含まれる矩形の大きさ（左上点から右下点まので横方向及び縦方向の長さ）である。領域検出結果ファイル０８０は、物体検出の速度を向上させる目的で、ＳＳＤやｙｏｌｏｖ２などの物体検出用の深層学習モデルの学習のために用いてもよい。

＜システム動作について＞
図３は、中央処理装置０１０が実行する処理のフローチャートである。

まず、画像認識ＡＩ訓練済みデータ読み込み部０１１が画像認識ＡＩ訓練済みデータ０５０を読み込む（３０１）。

次に、領域検出前画像読み込み部０１２が、領域検出前画像０７０を読み込み、読み込んだ画像ファイルの枚数をＩｍｇＮｕｍ変数に格納する（３０２）。

次に、領域検出処理部０１３が、読み込んだ画像ごとに物体を検出し（３０３）、領域検出結果出力部０１４が、物体検出結果を領域検出結果ファイル０８０に書き込む（３０４）。

図４は、領域検出処理部０１３が実行する物体検出処理３０３の詳細のフローチャートである。

本実施例におけるグリッドとは、画像を探索する枠である。まず、ステップ４０１では、グリッドパターンファイル０６０を読み込み、探索枠をメモリに格納する。

グリッドパターンファイル０６０は、例えば図５に示すフォーマットのものを用いることができる。グリッドパターンファイル０６０はグリッドの幅（Ｗ）５０１と高さ（Ｈ）５０２が記述された（例えば、ＣＳＶ形式の）ファイルである。記述される各グリッドパターンは、少なくとも幅及び高さの一方が他のグリッドパターンと異なる。グリッドパターンファイル０６０で指定される単位は、画像に対する比率やピクセル単位、センチメートルなどである。領域検出前画像０７０のサイズや検出したい物体の画像中の比率に応じて、本実施例の物体検出装置のユーザがグリッドサイズを変更できる。なお、グリッドパターンファイル０６０に記述したグリッドサイズに対して物体のサイズが約２倍〜４倍程度まで検出できる。

次に、グリッドパターンファイル０６０から読み込んだ複数のグリッドパターンごとにグリッド探索を行い、物体の種別と領域を検出する（４０２）。グリッド探索処理４０２の詳細は図６で説明する。

全てのグリッドパターンを用いたグリッド探索の終了後、グリッドパターンごとにグリッド探索処理４０２で求まった結果を均化してマージして領域の精度を向上する（４０３）。マージ処理４０３の詳細は図１０で説明する。

ステップ４０３で得られた種別と領域を特定したデータを物体検出ＡＩの学習データとして用いると、学習データ作成のコストを削減できる。

図６は、グリッド探索処理４０２の詳細のフローチャートである。図６において、右側は処理のフローチャートであり、左側は処理される画像の例を示す。

まず、３０２の領域検出前画像ファイルの読み込み処理で読み込んだ画像を４０１でグリッドパターンファイル０６０から読み込んだグリッドパターンの幅Ｗ、高さＨのグリッドに分割する。図６に示す例では、領域検出前画像０７０を幅Ｗ、高さＨのグリッド６０１１〜６０１９に９分割する（６０１）。

分割した画像それぞれを画像認識ＡＩへ入力し、グリッド内に写る物体の種別と、その物体である確からしさを予測する（６０２）。ステップ６０２の処理によって、グリッド６０１１、６０１２、６０１４、６０１５は、それぞれ８５％、９０％、９０％、９０％の確率で車が写っていると予測される。同様に、グリッド６０１３には９９％の確率で信号が写っており、グリッド６０１６、６０１９には、それぞれ７５％、８５％の確率で人が写っており、グリッド６０１７、６０１８には、５％の確率で犬が写っていることが予測される。

予測の結果、確率が特定の閾値より低いグリッドは、予測された種別の物体が写っていないグリッドと判定する（６０３）。例えば、閾値を５０％とすると、グリッド６０１７、６０１８の犬の確率は閾値より小さいため、予測された種別の物体（犬）が写っていないと判定し、検出対象から外している。

次に、複数の隣接するグリッドが同じ種別の物体であると判定した場合、グリッドの中心位置を求める（６０４）。例えば、隣接したグリッド６０１１、６０１２、６０１４及び６０１５に同じ種別の物体（車）が写っているため、グリッド６０１１、６０１２、６０１４及び６０１５で一つの中心グリッド６０４１を求める。同様に、隣接したグリッド６０１６及び６０１９には同じ種別の物体（人）が写っているため、グリッド６０１６及び６０１９で一つの中心グリッド６０４２を求める。グリッド６０１３では、一つのグリッドだけで信号が検出されているため、中心グリッド６０４３は検出したグリッドと同じ位置になる。中心グリッドの計算は図７で説明する。

その後、同じ物体で隣接しているグリッドを一つのグリッドとして結合して全体グリッドを求める（６０５）。例えば、グリッド６０１１、６０１２、６０１４及び６０１５を結合して車の全体グリッド６０５１を作成する。同様に、グリッド６０１６及び６０１９を結合して人の全体グリッド６０５２を作成する。グリッド６０１３では、一つのグリッドだけで信号が検出されているため、全体グリッド６０５３と中心グリッド６０４３は一致する。

そして、中心グリッドと全体グリッドとの平均を求める（６０６）。多くのグリッドでは領域の隅には物体が写っていないため、中心グリッドと全体グリッドとの平均を計算することで外枠を縮めている。例えば、図１１に示すように、中心グリッド１１０１と全体グリッド１１０２との平均を計算すると、全体グリッドに含まれる余白が除去された平均グリッド１１０３を生成できる。平均グリッドを求める計算は図８で説明する。

なお、図６では、全体グリッドと中心グリッドとを用いて平均グリッドを求める処理を説明したが、平均グリッドを求めず、グリッドに分割された領域を統合して全体グリッドのみを求めてもよい。この場合、物体が写っている領域の特性精度は低くなるが、物体の有無を確実に検出できる。

図７は、中心グリッドの計算例を示す図である。

グリッドＧ１、Ｇ２、Ｇ３及びＧ４では同じ種別の物体が検出されている。各グリッドは、矩形の上側にｔｏｐ、左側にｌｅｆｔ、下側にｂｏｔｔｏｍ、右側にｒｉｇｈｔの座標を持つ。グリッドＧ１、Ｇ２、Ｇ３及びＧ４の中心となるグリッドＣの矩形の頂点は、各グリッドのｔｏｐ、ｌｅｆｔ、ｒｉｇｈｔ、ｂｏｔｔｏｍ座標の和をグリッド数で除した値である。

図７に計算式を示す。Ｇ１（ｔｏｐ）〜Ｇ４（ｔｏｐ）はグリッド７０１〜７０４の上辺のＹ座標であり、Ｇ１（ｔｏｐ）〜Ｇ４（ｔｏｐ）の平均値が中心グリッドの上辺のＹ座標Ｃ（ｔｏｐ）となる。同様に、Ｇ１（ｌｅｆｔ）〜Ｇ４（ｌｅｆｔ）はグリッド７０１〜７０４の左辺のＸ座標であり、Ｇ１（ｌｅｆｔ）〜Ｇ４（ｌｅｆｔ）の平均値が中心グリッドの左辺のＸ座標Ｃ（ｌｅｆｔ）となる。また、Ｇ１（ｒｉｇｈｔ）〜Ｇ４（ｒｉｇｈｔ）はグリッド７０１〜７０４の右辺のＸ座標であり、Ｇ１（ｒｉｇｈｔ）〜Ｇ４（ｒｉｇｈｔ）の平均値が中心グリッドの右辺のＸ座標Ｃ（ｒｉｇｈｔ）となる。また、Ｇ１（ｂｏｔｔｏｍ）〜Ｇ４（ｂｏｔｔｏｍ）はグリッド７０１〜７０４の下辺のＹ座標であり、Ｇ１（ｂｏｔｔｏｍ）〜Ｇ４（ｂｏｔｔｏｍ）の平均値が中心グリッドの下辺のＹ座標Ｃ（ｂｏｔｔｏｍ）となる。

図８は、平均グリッドの計算例を示す図である。

全体グリッド８０１と中心グリッド８０３との位置を平均したグリッド８０２の矩形の頂点は、全体グリッド８０１と中心グリッド８０３それぞれのｔｏｐ、ｌｅｆｔ、ｒｉｇｈｔ、ｂｏｔｔｏｍ座標の和を２で除した値である。

図８に計算例を示す。Ｇ（ｔｏｐ）は全体グリッドの上辺のＹ座標であり、Ｃ（ｔｏｐ）は中心グリッドの上辺のＹ座標であり、Ｇ（ｔｏｐ）とＣ（ｔｏｐ）の平均値が平均グリッドの上辺のＹ座標Ｍ（ｔｏｐ）となる。同様に、Ｇ（ｌｅｆｔ）は全体グリッドの左辺のＸ座標であり、Ｃ（ｌｅｆｔ）は中心グリッドの左辺のＸ座標であり、Ｇ（ｌｅｆｔ）とＣ（ｌｅｆｔ）の平均値が平均グリッドの左辺の座標Ｍ（ｌｅｆｔ）となる。また、Ｇ（ｒｉｇｈｔ）は全体グリッドの右辺のＸ座標であり、Ｃ（ｒｉｇｈｔ）は中心グリッドの右辺のＸ座標であり、Ｇ（ｒｉｇｈｔ）とＣ（ｒｉｇｈｔ）の平均値が平均グリッドの右辺のＸ座標となる。また、Ｇ（ｂｏｔｔｏｍ）は全体グリッドの下辺のＹ座標であり、Ｃ（ｂｏｔｔｏｍ）は中心グリッドの下辺のＹ座標であり、Ｇ（ｂｏｔｔｏｍ）とＣ（ｂｏｔｔｏｍ）の平均値が平均グリッドの下辺のＹ座標となる。

図９は、図６と同じ処理のフローチャートであるが、グリッドのサイズが小さくなっている。そのため、図６より小さな物体（信号、犬、猫など）を検出しやすいが、大きな物体（車など）は検出しにくい。このため、大きな物体は大きなグリッドで検出し、小さな物体は小さなグリッドで検出するとよい。

図１０は、マージ処理４０３を説明する図である。

図１０に示すように、複数のグリッドパターン１〜Ｎを用いて画像から領域を探索したところ、各画像において検出された物体（車、信号、人）の平均グリッドが求まっている。

次に、グリッド探索で得られた複数の平均グリッドを統合する。例えば、まず、検出された物体ごとに平均グリッドを重ね合わせて、平均グリッドの重なる面積が所定の閾値を超えているかを判定する。そして、重なる面積が所定の閾値を超えていれば、同じ物体を検出していると判定し、各平均グリッドの４隅（ｔｏｐ、ｌｅｆｔ、ｒｉｇｈｔ、ｂｏｔｔｏｍ）の平均値を計算して領域検出結果とする。平均値の計算は、単なる算術平均でも、

その後、計算された領域検出結果（４隅の座標値）を領域検出結果ファイル０８０に出力する。

具体的には、車が検出された平均グリッドの領域は複数重なっているため、車が検出されたの四つの平均グリッドをマージしている。信号が検出された平均グリッドをマージし、人が検出された平均グリッドをマージする。マージによって、物体の周辺の不要な領域を除去し、領域分析性能を向上できる。

なお、重なる領域が所定の閾値より小さいければ、同じ種類の物体が複数検出されていると判定して、各平均グリッドを別領域として扱うとよい。

以上に説明したように、本発明の実施例によると、画像処理システムは、入力された画像を所定のグリッドパターンによって分割し、前記分割された各領域に写っているオブジェクト及びその確度を推測し、前記推測されたオブジェクトの確度が所定の閾値より小さいオブジェクトを除外し、前記除外されなかったオブジェクトのうち、同種のオブジェクトが推測されており、隣接する領域を結合して全体グリッドを定めるので、従来は人手で物体の種類と位置を記述して作成していた学習データをＡＩに作成させることができ、学習データの作成コストの削減と学習データの精度を向上できる。また、また、物体の種別と物体の候補選出にもディープラーニングを用いることでＳｅｌｅｃｔｉｖｅ Ｓｅａｒｃｈでは取りこぼしていた物体検出を可能とする。

また、画像処理システムは、前記同種のオブジェクトが推測された隣接する領域の中心位置に配置される中心グリッドを定め、前記中心グリッドが定められたオブジェクトの各々について、前記中心グリッドと前記全体グリッドとの間に平均グリッドを定めるので、余白を除去でき、背景に写り込んだ他の物体による学習精度の低下を抑制できる。

また、前記画像を分割するために用いられるグリッドパターンは、幅及び高さの少なくとも一つが異なる複数の矩形が準備されており、前記画像処理システムは、入力された画像を複数のグリッドパターンによって分割された各領域について、全体グリッド、中心グリッド及び平均グリッドを定める処理を実行するので、様々な形状（例えば、縦長、横長）の物体を適切に検出できる。

また、前記画像処理システムは、前記複数のグリッドパターンを用いて定められた平均グリッドを統合して、前記オブジェクトが存在する領域を特定するので、様々な形状の物体を適切に検出できる。

また、前記画像処理システムは、前記複数のグリッドパターンを用いて定められた平均グリッドの矩形の各頂点の座標の平均を計算して、前記平均グリッドを統合するので、少ない計算量で、様々な形状の物体を適切に検出できる。

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

０１０ 中央処理装置
０１１ データ読み込み部
０１２ 領域検出前画像読み込み部
０１３ 領域検出処理部
０１４ 領域検出結果出力部
０２０ データメモリ
０２１ 予測用画像データ
０２２ 画像認識ＡＩ訓練済みデータ
０３０ プログラムメモリ
０４０ 表示装置
０５０ 画像認識ＡＩ訓練済みデータ
０６０ グリッドパターンファイル
０７０ 領域検出前画像
０８０ 領域検出結果ファイル
０９０ キーボード
１００ ポインティングデバイス

Claims (8)

1. 画像処理システムであって、
   所定の処理を実行する演算装置と、前記演算装置に接続された記憶装置とを備え、
   前記演算装置は、
   入力された画像を所定のグリッドパターンによって分割し、
   前記分割された各領域に写っているオブジェクト及びその確度を推測し、
   前記推測されたオブジェクトの確度が所定の閾値より小さいオブジェクトを除外し、
   前記除外されなかったオブジェクトのうち、同種のオブジェクトが推測されており、隣接する領域を結合して全体グリッドを定め、
   前記同種のオブジェクトが推測された隣接する領域の中心位置に配置される中心グリッドを定め、
   前記中心グリッドが定められたオブジェクトの各々について、前記中心グリッドと前記全体グリッドとの間に平均グリッドを定めることを特徴とする画像処理システム。
2. 請求項１に記載の画像処理システムであって、
   前記画像を分割するために用いられるグリッドパターンは、幅及び高さの少なくとも一つが異なる複数の矩形が準備されており、
   前記演算装置は、入力された画像を複数のグリッドパターンによって分割された各領域について、全体グリッド、中心グリッド及び平均グリッドを定める処理を実行することを特徴とする画像処理システム。
3. 請求項２に記載の画像処理システムであって、
   前記演算装置は、前記複数のグリッドパターンを用いて定められた平均グリッドを統合して、前記オブジェクトが存在する領域を特定することを特徴とする画像処理システム。
4. 請求項３に記載の画像処理システムであって、
   前記演算装置は、前記複数のグリッドパターンを用いて定められた平均グリッドの矩形の各頂点の座標の平均を計算して、前記平均グリッドを統合することを特徴とする画像処理システム。
5. 画像処理システムが実行する画像処理方法であって、
   前記画像処理システムは、所定の処理を実行する演算装置と、前記演算装置に接続された記憶装置とを有し、
   前記方法は、
   前記演算装置が、入力された画像を所定のグリッドパターンによって分割し、
   前記演算装置が、前記分割された各領域に写っているオブジェクト及びその確度を推測し、
   前記演算装置が、前記推測されたオブジェクトの確度が所定の閾値より小さいオブジェクトを除外し、
   前記演算装置が、前記除外されなかったオブジェクトのうち、同種のオブジェクトが推測されており、隣接する領域を結合して全体グリッドを定め、
   前記演算装置が、前記同種のオブジェクトが推測された隣接する領域の中心位置に配置される中心グリッドを定め、
   前記演算装置が、前記中心グリッドが定められたオブジェクトの各々について、前記中心グリッドと前記全体グリッドとの間に平均グリッドを定めることを特徴とする画像処理方法。
6. 請求項５に記載の画像処理方法であって、
   前記画像を分割するために用いられるグリッドパターンは、幅及び高さの少なくとも一つが異なる複数の矩形が準備されており、
   前記方法は、前記演算装置が、入力された画像を複数のグリッドパターンによって分割された各領域について、全体グリッド、中心グリッド及び平均グリッドを定める処理を実行することを特徴とする画像処理方法。
7. 請求項６に記載の画像処理方法であって、
   前記演算装置が、前記複数のグリッドパターンを用いて定められた平均グリッドを統合して、前記オブジェクトが存在する領域を特定することを特徴とする画像処理方法。
8. 請求項７に記載の画像処理方法であって、
   前記演算装置が、前記複数のグリッドパターンを用いて定められた平均グリッドの矩形の各頂点の座標の平均を計算して、前記平均グリッドを統合することを特徴とする画像処理方法。

Images