JP2024024863A - 画像解析装置、画像解析装置の制御方法、プログラム、及び画像解析システム。 - Google Patents

Abstract

【課題】解析領域に対して効率的に解析を行う画像解析装置を提供する。【解決手段】画像を解析することで対象物を検出する画像解析装置であって、第１の画像を取得する第１の取得手段と、第１の画像上における解析を実施する領域である解析領域毎の位置情報を取得する第２の取得手段と、画像の解析を実施する解析手段と、第２の取得手段によって取得した各解析領域の位置情報に基づき、解析手段により解析が可能な画像サイズを持つ第２の画像上に配置する解析領域毎の配置領域を決定する決定手段と、各解析領域を第２の画像上の配置領域に配置することで、各解析領域を結合した画像である解析画像を生成する解析画像生成手段と、を有し、解析手段は、解析画像から対象物を検出し、検出結果を出力することを特徴とする。【選択図】図２

Description

本発明は、画像を解析する技術に関するものである。

近年、監視カメラによる撮像画像を用いて対象物の検出や追尾、属性の推定等を行う画像解析、そのような画像解析の結果を用いた対象物数の推定が様々なシーンで行われている。

従来、監視カメラの映像をＰＣやサーバ等の高性能な演算装置に転送して画像解析が行われてきた。これに対し、モバイル用演算装置の処理能力の向上に伴い、画像解析をカメラ側で直接行う事が可能となってきている。カメラ側で画像解析を行う場合には、処理負荷を軽減するために撮像画像の特定領域（解析領域）を切り出し固定サイズの小画像とし、小画像を単位として画像解析を行う方法が提案されている。

特開２００６－３５０９６７号公報

Ｊ．Ｒｅｄｍｏｎ、Ａ．Ｆａｒｈａｄｉ、「ＹＯＬＯ９０００：Ｂｅｔｔｅｒ Ｆａｓｔｅｒ Ｓｔｒｏｎｇｅｒ」、Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ） ２０１６

ここで、特許文献１の方法では、入力された解析領域に対して少なくとも一度の解析を行うため、解析したい領域が入力画像サイズよりも小さい場合、本来一度に解析できる領域よりも狭い領域しか解析しないことになり、効率が悪い。加えて、そのような解析領域が複数あった場合、さらに効率が悪くなるという課題があった。

そこで、本発明では、解析領域に対して効率的に解析を行う画像解析装置を提供することを目的としている。

上記目的を達成するために、本発明の一側面としての画像解析装置は、画像を解析することで対象物を検出する画像解析装置であって、第１の画像を取得する第１の取得手段と、第１の画像上における解析を実施する領域である解析領域毎の位置情報を取得する第２の取得手段と、画像の解析を実施する解析手段と、第２の取得手段によって取得した各解析領域の位置情報に基づき、解析手段により解析が可能な画像サイズを持つ第２の画像上に配置する解析領域毎の配置領域を決定する決定手段と、各解析領域を第２の画像上の配置領域に配置することで、各解析領域を結合した画像である解析画像を生成する解析画像生成手段と、を有し、解析手段は、解析画像から対象物を検出し、検出結果を出力することを特徴とする。

本発明によれば、解析領域に対して効率的に解析を行うことができる。

実施形態１に係る画像解析装置の構成例を示すブロック図である。 実施形態１に係る画像解析装置の機能構成例を示すブロック図である。 実施形態１に係る画像解析装置が画像を解析する処理の例を示すフローチャートである。 実施形態１に係る画像解析装置が画像を解析する処理の例を示す図である。 実施形態１に係る画像解析装置が画像を解析する処理の例を示す図である。 実施形態１に係る画像解析装置が配置領域を決定する処理の例を示すフローチャートである。 実施形態１に係る画像解析装置が配置領域を決定する処理の例を示す図である。 実施形態１に係る画像解析装置が配置領域を決定する処理の例を示す図である。 実施形態２に係る画像解析装置が配置領域を決定する処理のフローチャートである。 実施形態２に係る画像解析装置が配置領域を決定する処理例を示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。ただし、本発明の実施の形態は以下の実施の形態に限定されるものではない。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。

＜実施形態１＞
図１は、本実施形態の画像解析装置１００の構成例を示す図である。以下では、一例として、画像解析装置１００は、画像を解析することで対象物（人物の顔）の検出する装置である場合について説明する。ただし、これに限られず、画像を解析して所定の情報出力を行う任意の画像解析装置に、以下の構成を適用することができる。

本実施形態に係る画像解析装置１００は、ＣＰＵ１０１と、メモリ１０２と、通信Ｉ／Ｆ１０３と、入力装置１０４と、表示装置１０５とを含むように構成される。

ＣＰＵ１０１は、メモリ１０２に格納されたプログラムに従って、画像解析装置１００全体の制御を司るプロセッサである。メモリ１０２は、ＣＰＵ１０１が処理に利用するデータ、プログラム等を格納すると共に一時的なデータのワークエリアとして機能する。通信Ｉ／Ｆ１０３は、画像解析装置１００をネットワークに接続するインタフェースである。

入力装置１０４は、マウス、又はボタン等であり、ユーザの操作を画像解析装置１００に入力する。表示装置１０５は、例えば、液晶ディスプレイやＬＥＤ等で構成される表示装置である。表示装置１０５は、ＣＰＵ１０１による処理の結果等やユーザが画像解析装置１００を操作するためのＧＵＩ（グラフィカル・ユーザ・インタフェース）などを画面上に表示する。ＧＵＩは、Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅの、頭字語であり、コンピュータグラフィクスとポインティングデバイスを用いて直感的な操作を提供するユーザーインターフェースである。ここで、ＣＰＵ１０１がメモリ１０２に記憶されたプログラムに基づき各処理を実行することにより、後述する図２の画像解析装置１００の機能構成及び後述する図３、図６、図９のフローチャート等に示す処理が実現される。

図２は、画像解析装置１００の機能構成例を示す図である。画像解析装置１００は、その機能として、例えば、画像取得部２０１、解析設定取得部２０２、配置領域決定部２０３、記憶部２０４、解析画像生成部２０５、解析部２０６、解析結果変換部２０７、解析結果出力部２０８を含むように構成される。

画像取得部２０１は、解析を行う対象となる画像（画像データ）を取得する。以下では、画像取得部２０１が取得した画像を「入力画像（第１の画像）」と呼ぶ。

解析設定取得部２０２は、解析部２０６で画像の解析を行う際に必要となる設定（解析設定）の情報を取得する。本実施形態では、解析設定取得部２０２が取得する解析設定の情報は、入力画像内の解析を実施したい領域の位置と画像取得部２０１で取得できる画像上の顔のサイズとする。

配置領域決定部２０３は、解析設定取得部２０２が解析設定を取得した際に、入力画像から切り出し、解析処理を行う領域と、切り出した領域を解析部２０６により解析可能な画像サイズを持つ画像上に配置する領域を決定する。また、配置領域決定部２０３は、この２つの領域の情報（位置情報）を記憶部２０４に保存する。以下では、配置領域決定部２０３が入力画像から切り出し、解析処理を行う領域を「解析領域」と呼び、解析画像を配置する領域を「配置領域」と呼ぶ。

記憶部２０４は、配置領域決定部２０３が決定した２つの領域である解析領域と配置領域の情報（位置情報）を保存（記憶）する。

解析画像生成部２０５は、解析部２０６が解析可能な画像サイズを持つ画像（第２の画像）を生成する。解析画像生成部２０５は、当該画像生成に際し例えば、黒色の画像を生成する。また、解析画像生成部２０５は、記憶部２０４から解析領域と配置領域の位置情報を取得し、入力画像の解析領域内の各画素を対応する黒色画像上の配置領域内に移すことで解析領域同士を結合した画像（結合画像）を作成する。作成した画像は、解析部２０６へと入力される。以下では、解析画像生成部２０５が解析部２０６へと入力される解析領域同士を結合した画像を「解析入力画像」と呼ぶ。

解析部２０６は、解析画像生成部２０５が生成した解析入力画像に対して解析処理を行い、解析処理結果を出力する。解析処理は、例えば、画像に含まれる対象物を検出できるように学習が行われた機械学習モデルを用いて、解析入力画像中のオブジェクトの位置を出力するように構成された処理でありうる。また、解析処理はパターンマッチングを行って画像中のオブジェクトを検出し、その位置を出力する処理であってもよい。本実施形態では、解析部２０６が解析入力画像から検出する対象物は、人物の顔を対象としている。しかしこれに限らず、例えば、車両や船舶、人物の全身を検出する対象としてもよい。

解析結果変換部２０７は、記憶部２０４から解析領域と配置領域の情報を取得し、解析入力画像に対する解析処理結果を入力画像に対する解析処理結果に変換する。解析結果変換部２０７は、当該変換処理を行うことにより、解析処理結果を入力画像上に表示させる。解析結果出力部２０８は、解析処理の結果を外部の装置等へ出力する。

次に、画像解析装置１００が画像を取得し、解析領域上から人物の顔を検出し検出結果を出力するために行う処理について、図３のフローチャートと図４及び図５を用いて説明する。図３は、本実施形態に係る画像解析装置１００が画像を解析する処理の例を示すフローチャートである。図４及び図５は、本実施形態に係る画像解析装置１００が画像を解析する処理の例を示す図である。

図４（Ａ）は、ステップＳ３０１で取得した入力画像４０１の一例を示す図である。図４（Ａ）の入力画像のサイズは、横１２８０ｐｘ、縦９６０ｐｘとする。図４（Ｂ）は、以下に説明する解析処理における解析部２０６が解析可能な画像サイズを示す図である。また、図４（Ｂ）には、解析部２０６の解析処理で推奨する対象物の推奨サイズを示しており、本実施形態では、人物の顔サイズを解析部２０６の解析処理における推奨サイズとしている。ここで、以下に説明する解析部２０６の解析処理で解析可能な画像サイズは、図４（Ｂ）に示すように、横２００ｐｘ、縦２００ｐｘであり、解析部２０６の解析処理で推奨する顔のサイズは５０ｐｘとする。尚、本実施形態における解析部２０６の解析可能な画像サイズと推奨する顔のサイズは上記に示したものとするが、これに限らず、これらのサイズは解析部２０６の性能等に応じて変更や更新が可能であり、上記数値に限定はされない。以下では、解析部２０６が行う解析処理における解析可能な画像サイズを「解析画像サイズ」、解析部２０６の解析処理で推奨する顔のサイズを「推奨顔サイズ」と呼ぶ。

まず、ステップＳ３０１において、画像取得部２０１は、画像を取得する。尚、本処理では、画像取得部は、図４（Ａ）に示す入力画像４０１を取得する（第１の取得工程）。画像取得部２０１は、ＣＭＯＳセンサやＣＣＤセンサなどの固体撮像素子から画像を取得してもよいし、記憶部２０４またはハードディスクなどの記憶装置（記憶媒体）に保存されている画像を取得してもよい。また、撮像部（撮像手段）を有する撮像装置から取得するようしてもよい。尚、本処理において画像取得部２０１は、画像を取得する第１の取得手段としても機能する。

次に、ステップＳ３０２において、解析画像生成部２０５は、記憶部２０４に保存されている解析領域と配置領域を示す情報を取得する（第２の取得工程）。本実施形態では、解析領域と配置領域は共に矩形とし、領域の位置を左上隅の位置及び右下隅の位置で示す。さらに、解析画像生成部２０５で一度に処理を行う入力画像が複数枚ある場合には、解析領域の情報に入力画像を識別する数値や文字等の識別子を加える。配置先となる解析入力画像が複数ある場合には、解析入力画像を識別する識別子を加える。尚、本処理の際、解析画像生成部２０５は、解析領域毎の情報と配置領域を示す情報を取得する第２の取得手段としても機能する。

図４（Ｃ）は、入力画像４０１上の解析領域の一例を示す図である。図４（Ｃ）に示すように、解析領域４０２は、位置（４０ｐｘ，１５０ｐｘ）及び（５００ｐｘ，３８０ｐｘ）に規定される領域と、位置（７８０ｐｘ，１５０ｐｘ）及び（１２４０ｐｘ，３８０ｐｘ）に規定される領域の２か所である。図４（Ｄ）は、図４（Ｃ）の解析領域の情報（位置情報）とその配置領域の情報（位置情報）の一例を示す図である。図４（Ｄ）に示すように、一度に処理する入力画像と配置先となる解析入力画像は１枚となるため、識別子は持たない。

図４（Ｄ）表中の（ア）は、入力画像４０１上の位置（４０ｐｘ，１５０ｐｘ）及び（５００ｐｘ，３８０ｐｘ）により既定される解析領域４０２が、位置（０ｐｘ，０ｐｘ）及び（２００ｐｘ，１００ｐｘ）に既定される配置領域に移されることを示している。図４（Ｄ）表中の（イ）は、入力画像４０１上の位置（７８０ｐｘ，１５０ｐｘ）及び（１２４０ｐｘ，３８０ｐｘ）により既定される解析領域が、位置（０ｐｘ，１００ｐｘ）及び（２００ｐｘ，２００ｐｘ）に既定される配置領域に移されることを示している。

次に、ステップＳ３０３において、解析画像生成部２０５は、入力画像の解析領域と解析入力画像上の配置領域の間の射影変換行列を求める。入力画像の解析領域上の点に求めた射影変換行列をかけ合わせることで解析入力画像の配置領域上に移し、解析入力画像を生成する（解析画像生成工程）。尚、本処理の際、解析画像生成部２０５は、上記のように各解析領域を解析部２０６が解析可能な画像サイズを持つ画像における配置領域に配置することで、各解析領域を結合した画像である解析画像を生成する解析画像生成手段としても機能する。

図５（Ａ）は、図４（Ｄ）に示す２つの解析領域と配置領域を用いて作成した解析入力画像を示す図である。図４（Ｃ）の解析領域４０２内の各点は、図５（Ａ）の位置（０ｐｘ，０ｐｘ）及び（２００ｐｘ，１００ｐｘ）に既定される配置領域５０１に移されている。
ここで、上記式（１）における３行３列の行列が射影変換行列であり、入力画像の解析領域上の点（ｕ，ｖ）は、解析入力画像上の点（ｘ，ｙ）に変換される。また、上記式（１）は、同次座標を用いることにより、非線形な射影変換を線形演算で表現できるようにしたものである。上記式（１）に例えば領域を構成する矩形の４頂点等の４組の対応点を代入すると８つの方程式、すなわち、８元連立方程式を立てることができ、この連立方程式を解くことにより射影変換行列を求めることができる。

次に、ステップＳ３０４において、解析部２０６は、解析入力画像を解析することで解析入力画像から対象物を検出し、検出結果を出力する（解析工程）。図５（Ｂ）は、図５（Ａ）に示す解析入力画像から人物の顔を検出した結果（対象物検出結果）を示す図である。本実施形態では、人物毎の顔の検出結果（解析結果）は、矩形の枠（外接矩形の領域）で出力され、例えば図５（Ｂ）に示す検出結果は３つある。１つは、位置（１５ｐｘ，６２ｐｘ）及び（７１ｐｘ，１１５ｐｘ）、２つは、位置（１２ｐｘ，１６２ｐｘ）及び（３８ｐｘ，１８８ｐｘ）、３つは、位置（５０ｐｘ，１７４ｐｘ）及び（９１ｐｘ，１９４ｐｘ）によりそれぞれ規定されている。尚、本処理の際、解析部２０６は、解析入力画像を解析することで解析入力画像から対象物として人物の顔を検出し、検出結果を出力する解析手段としても機能する。

次に、ステップＳ３０５において、解析結果変換部２０７は、ステップＳ３０３において用いた射影変換行列の逆行列を使い、解析入力画像における検出結果を入力画像における物体検出結果に変換する。即ち、解析結果変換部２０７は、上記の検出結果を入力画像上に表示可能（配置可能）な状態となるようにそれぞれ変換を実施する。検出結果が複数の配置領域にまたがるような場合には、検出結果の中心の位置が含まれる領域の射影変換行列を用いる。尚、本処理の際、解析結果変換部２０７は、解析入力画像における検出結果（物体検出結果）を入力画像に表示可能となるように変換処理をする変換出段としても機能する。

図５（Ｃ）は、図５（Ｂ）に示す顔検出結果を入力画像上に変換した結果の画像（変換画像）を示す図である。図５（Ｂ）の３つの検出結果は、それぞれ位置（７５ｐｘ，２９３ｐｘ）及び（２０３ｐｘ，４１５ｐｘ）、位置（８０８ｐｘ，２９３ｐｘ）及び（８６７ｐｘ，３５２ｐｘ）、位置（８９５ｐｘ，３２０ｐｘ）及び（９８９ｐｘ，３６６ｐｘ）に変換される。図５（Ｂ）の検出結果５０２は２つの配置領域にまたがっているが、検出結果５０２の中心位置（４３ｐｘ，８９ｐｘ）は、配置領域４０３に位置するため、検出結果５０２は解析領域４０２に移される。

次に、ステップＳ３０６において、解析結果出力部２０８は、ステップＳ３０５にて得られた物体検出結果を外部の装置等へ出力する。尚、解析結果出力部２０８は、図５（Ｃ）に示すような顔検出結果を入力画像上に変換した結果の画像を外部の装置等へ出力してもよいし、表示装置１０５の画面上に表示させるようにしてもよい。検出結果を入力画像上に変換した結果の画像を表示装置１０５の画面上に表示させる際、解析結果出力部２０８は表示制御手段としても機能する。

以上の処理により、本実施形態における画像解析装置１００によれば、複数箇所の解析領域を１回の解析処理で実施できているため、解析領域の数だけ解析を行う必要がない。従って、解析回数つまり解析処理に要する時間を減らすことができるので、解析処理における効率を良くすることができる。

次に、画像解析装置１００が解析設定を取得し、解析領域と配置領域を決定して解析領域と配置領域を保存するために行う処理について、図６のフローチャートと図７及び図８を用いて説明する。図６は、本実施形態に係る画像解析装置１００が配置領域を決定する処理の例を示すフローチャートである。図７及び図８は、本実施形態に係る画像解析装置１００が配置領域を決定する処理の例を示す図である。

まず、ステップＳ６０１において、解析設定取得部２０２は、ユーザが設定した解析設定を取得する。本実施形態では、解析設定取得部２０２は、解析設定として解析を実施したい領域の位置と、画像取得部２０１で取得できる画像上の顔のサイズを取得する。解析を実施したい領域は、入力画像に対しユーザがマウスなどの入力装置１０４を用いて任意のサイズを指定可能とすることができる。その際、例えば、表示装置１０５の画面上に表示されている入力画像に対し、解析を実施したい領域を指定するポインタ（点）等のＧＵＩを表示させ、当該ポインタ等を操作することで、解析を実施したい領域のサイズを指定するようにしてもよい。また、例えば、解析を実施したい領域の位置をそれぞれ入力することで解析を実施したい領域を指定するようにしてもよい。この場合、マウスなどの入力装置１０４やポインタ等のＧＵＩは操作手段として機能する。

画像上の顔のサイズは、例えば、ユーザがマウスなどの入力装置１０４を用いて明示的に与える。例えば、ユーザが、画像上の複数の地点における顔の平均的なサイズを入力することで、画面上の任意の地点における顔の平均的なサイズを補間により推定することが可能となる。そして、ユーザは補間により推定した顔のサイズを解析設定として設定してもよい。

図７（Ａ）は、図４（Ａ）に示す入力画像４０１上で設定された解析を実施したい領域の一例を示す図である。図７（Ａ）に示す例では、３か所の解析を実施したい領域として領域７０１、領域７０２、領域７０３が指定されている。図７（Ｂ）は、取得した解析設定の一例を示す図である。図７（Ｂ）に示す表には、解析を実施したい領域、画像上の顔のサイズ、リサイズ後の解析を実施したい領域のサイズの情報が示されている。

次に、ステップＳ６０２において、配置領域決定部２０３は、解析を実施したい各領域の比率を変更するようにリサイズする。リサイズする比率は画像上の顔のサイズが解析部２０６の推奨顔サイズとなるように決定する。例えば、図７（Ｂ）に示す表中の（ア）では、画像上の顔のサイズは１２０ｐｘ、推奨顔サイズは図４（Ａ）に示す通り５０ｐｘであるため、リサイズする比率は５０／１２０となる。そして、リサイズ後の解析を実施したい領域のサイズは横７５ｐｘ、縦１８８ｐｘとなる。

次に、ステップＳ６０３において、配置領域決定部２０３は、リサイズ後の解析を実施したい領域のサイズが解析部２０６の解析画像サイズを超えるか否かを判定する。判定の結果、解析部２０６の解析画像サイズを超える場合には、ステップＳ６０４に進む。一方、解析部２０６の解析画像サイズを超えない場合には、ステップＳ６０５に進む。例えば、図７（Ｂ）に示す表を例とすると、図７（Ｂ）に示す表中の（ウ）が示すリサイズ後の解析を実施したい領域７０３の横２５０ｐｘが、図４（Ａ）に示す解析可能な画像の横２００ｐｘを超える。このような場合は、ステップＳ６０４に進む。

次に、ステップＳ６０４において、配置領域決定部２０３は、ステップＳ６０３で解析部２０６が解析可能な画像サイズを超えると判定された解析を実施したい領域について、解析部２０６が解析可能な解析画像サイズに収まるサイズとなるように分割する。ステップＳ６０４では、ステップＳ６０３において、横の長さが超えていた図７（Ｂ）に示す表中の（ウ）を例とする。ここで、解析を実施したい領域の横の長さをＬ１、解析画像サイズの横の長さに画像上の顔のサイズをかけ、推奨顔サイズで割った値をＬ２、分割する境界上でオーバーラップさせる横の長さをＬ３とする。そして、横の分割数Ｎとした場合、Ｎ＝［（Ｌ２－Ｌ３）／（Ｌ１－２×Ｌ３）＋１］により計算する。

ここで［Ｘ］は、Ｘを超えない最大の整数を示す。この時、分割対象の領域をＮ等分し、そこからオーバーラップの領域を持たせるためにＬ３／２の長さだけ広げた領域が分割後の領域となる。分割する境界上でオーバーラップさせる横の長さは、画像上の顔のサイズとする。図７（Ｃ）は、解析を実施したい領域７０３を分割した結果を示す一例の図である。図７（Ｃ）では、分割数Ｎは［（２００×８０／５０－８０）／（４００－２×８０）＋１］＝２となり、２分割される。そのため、解析を実施したい領域７０３は、領域７０４と領域７０５へと分割される。図７（Ｄ）は、ステップＳ６０４の処理を行った後の分割された解析を実施したい領域の情報を示す図である。図７（Ｄ）に示す表中の（ウ）と（エ）はそれぞれ、解析を実施したい領域７０３を分割した、領域７０４と領域７０５の情報を示している。このように、ステップＳ６０４では、解析部２０６が解析可能なサイズを超えた領域に対して、解析部２０６が解析可能なサイズの領域となるように分割処理を行う。

次に、ステップＳ６０５において、配置領域決定部２０３は、解析部２０６が解析可能な画像サイズの画像上にリサイズした領域を配置する。配置領域決定部２０３は、解析領域を順に解析入力画像のサイズを持つ箱の中に詰め込み、リサイズした領域を解析部２０６が解析可能な画像サイズの画像上に配置する領域を決定する。ここで、詰め込む方法としては、例えばＦｉｒｓｔ―ｆｉｔ Ｄｅｃｒｅａｓｉｎｇ（ＦＦＤ）アルゴリズムを適用する。ＦＦＤアルゴリズムは、詰め込むアイテムをサイズの大きな順に取り出し、箱の位置ができるだけ小さい値となるように箱に詰めていき、どの箱にも詰められないときにはすぐに新しい箱を追加して詰めるという方法である。

図８（Ａ）は、図７（Ｄ）に示す解析を実施したい各領域に対してＦＦＤアルゴリズムを適用して配置した結果を示す図である。図７（Ｄ）に示す表を例として、サイズの大きい順に並べると、（ウ）、（エ）、（ア）、（イ）となる。ここで、サイズが一番大きい（ウ）は、１つ目の箱の（０，０）の位置の領域８０１に配置される。（ウ）の次にサイズの大きい（エ）は、１つ目の箱（０ｐｘ，１００ｐｘ）の位置の領域８０２に配置される。（エ）の次にサイズの大きい（ア）は、１つ目の箱に入らないため２つ目の箱を用意し、２つ目の箱（０ｐｘ，０ｐｘ）の位置の領域８０３に配置される。最後に、サイズが一番小さい（イ）は１つ目の箱に入らず、２つ目の箱（７５ｐｘ，０ｐｘ）の位置の領域８０４に配置される。

次に、ステップＳ６０６において、配置領域決定部２０３は、リサイズした解析を実施したい各領域について配置していない領域の隙間を当該領域の周囲の画像情報を用いて埋める。その後、配置結果を出力する。図８（Ｂ）は、図８（Ａ）の配置した結果の隙間部分を解析領域の周囲の画像情報で埋める場合の配置の一例を示す図である。ステップＳ６０６における処理は、例えば、図８（Ｂ）に示すように縦方向と横方向に順に領域を広げるようにして隙間を埋める。

次に、ステップＳ６０７において、配置領域決定部２０３は、ステップＳ６０６で決定した配置結果から解析領域と配置領域を算出し、解析領域及び配置領域を決定する（決定工程）。図８（Ｃ）は、算出した解析領域の情報と配置領域の情報を示す図である。図８（Ｃ）に示す配置領域は、図８（Ｂ）に示す各領域の配置結果から位置情報を読み込むことで決定される。図８（Ｃ）に示す例では、解析入力画像２枚を区別するために識別子として数字の「１」、「２」を付属する。尚、解析領域の中心位置は、図７（Ｄ）に示す解析を実施したい領域の中心位置と変わらない。解析領域のサイズは、配置領域のサイズに画像上の顔のサイズをかけ、推奨顔サイズで割ることで計算でき、解析領域の中心位置とサイズが解る場合を利用して解析領域の左上隅の位置及び右下隅の位置を計算し、解析領域のサイズを算出することで決定される。図８（Ｄ）は、図４（Ａ）に示す入力画像４０１上に決定した解析領域を表示した結果を示す図である。本処理の際、配置領域決定部２０３は解析領域と配置領域を決定する決定手段としても機能する。

次に、ステップＳ６０８において、配置領域決定部２０３は、ステップＳ６０７で決定した解析領域と配置領域を記憶部２０４に保存する。

以上の処理により、本実施形態の画像解析装置１００によれば、ユーザは解析を実施したい領域を指定すると、解析部２０６の精度を損なうことなく解析処理を行える解析領域と配置領域をそれぞれ決定することができる。

＜変形例＞
ここで、解析領域と配置領域は、五角形や星形または円形など、領域を示すことができる任意の形状であってもよく、領域の位置を示す表現として領域の各頂点の位置など領域を一意に表現することができる任意の表現であってもよい。

また、ステップＳ３０３及びステップＳ３０５において、射影変換行列の計算は、解析領域または、配置領域が変更された際に一度実施し、射影変換行列の計算結果を記憶部２０４に保存しておきそれ以降は記憶部２０４から読み出して変換に使用してもよい。

また、ステップＳ３０３及びステップＳ３０５における入力画像と解析入力画像間の変換は、入力画像の解析領域内の全ての位置について対応する解析入力画像の位置を記録した変換テーブルを用いてもよい。また、ステップＳ３０５において、配置領域の面積比率を計算し面積比率が最も高い領域と対応づいた解析領域へ解析結果を移してもよい。

また、画像上の顔のサイズは、統計処理により自動で推定してもよい。例えば、画面上の座標（ｘ，ｙ）における顔のサイズをｓとしたとき、ｓは、ｘ，ｙ，および未知の１個以上のパラメータによって表せると仮定する。例えば、ｓ＝ａｘ＋ｂｙ＋ｃと仮定する。この例では、未知のパラメータはａ，ｂ，およびｃである。顔検出結果の集合を用いて、未知のパラメータを、例えば最小二乗法などの統計処理により求めることができる。

＜実施形態２＞
実施形態１では、解析領域と配置領域を決定するために解析設定として解析を実施したい領域の位置と、画像取得部２０１で取得できる画像上の顔のサイズを取得することを前提としていた。本実施形態では、解析領域の位置を入力として解析設定として解析を実施したい領域の位置と解析を実施する回数を受け取り、解析領域と配置領域を決定する場合について説明する。

本実施形態の画像解析装置１００のハードウェア構成及び機能構成については、図１と図２に示した実施形態１の画像解析装置１００のハードウェア構成及び機能構成と同様であるため、本実施形態では説明を省略する。

次に、画像解析装置１００が解析設定を受けとり、解析領域と配置領域を決定し解析領域と配置領域を保存するために行う処理について、図９のフローチャートと図１０を用いて説明する。図９は、実施形態２に係る画像解析装置が配置領域を決定する処理のフローチャートである。図１０は、実施形態２に係る画像解析装置が配置領域を決定する処理例を示す図である。

まず、ステップＳ９０１において、解析設定取得部２０２は、ユーザが設定した解析設定を取得する。本実施形態では、解析設定取得部２０２は、解析設定として解析を実施したい領域の位置と、解析を実施する回数を取得する。解析を実施する回数は、ユーザが直接指定してもよいし、ユーザが解析結果を取得したい頻度を指定しその頻度と解析部２０６の解析にかかる時間から算出してもよい。以降では、解析を実施したい領域として図７（Ａ）と同様に、３か所の解析を実施したい領域である領域７０１、領域７０２、領域７０３を、解析回数として１回を取得した場合について説明する。

次に、ステップＳ９０２において、配置領域決定部２０３は、各解析を実施したい領域を辺の長さが長い順に並べる。例えば、図７（Ｂ）に示す表を例とし、解析を実施したい領域を取得した場合、（ア）、（ウ）、（イ）の順番となる。

次に、ステップＳ９０３において、配置領域決定部２０３は、解析を実施したい各領域を解析部２０６が解析可能な画像サイズを持つ画像における配置領域に配置する。この時、頂点の位置の中で配置後の領域の長い辺の長さが最小となる位置に配置する。例えば、図７（Ｂ）表中の（ア）の解析を実施したい領域は（０ｐｘ，０ｐｘ）の位置に配置される。図７（Ｂ）表中の（ウ）の解析を実施したい領域は、頂点の位置（１８０ｐｘ，０ｐｘ）、（１８０ｐｘ，４５０ｐｘ）、（０ｐｘ，４５０ｐｘ）の中から配置を決める。位置（１８０ｐｘ，０ｐｘ）に配置した場合の長い辺の長さは６１０ｐｘ、位置（１８０ｐｘ，４５０ｐｘ）に配置した場合の長い辺の長さは６１０ｐｘである。位置（０ｐｘ，４５０ｐｘ）に配置した場合の長い辺の長さは５８０ｐｘであるため、位置（０ｐｘ，４５０ｐｘ）に配置する。図７（Ｂ）表中（イ）の解析を実施したい領域は、頂点の位置（５８０ｐｘ，０ｐｘ）、（５８０ｐｘ，１６０ｐｘ）、（１８０ｐｘ，１６０ｐｘ）、（１８０ｐｘ，４５０ｐｘ）、（０ｐｘ，４５０ｐｘ）の中から配置を決める。この際、配置した場合の長い辺の長さが最小となる位置（１８０ｐｘ，１６０ｐｘ）に配置する。図１０（Ａ）は、これらを配置した結果を示す図である。

次に、ステップＳ９０４において、配置領域決定部２０３は、配置後の各辺の中で最長の長さが解析可能な画像の長さとなるようにリサイズする。例えば、図１０（Ａ）に配置した結果では、配置後の各辺の中で最長の長さは５８０ｐｘ、解析可能な画像の長さは２００ｐｘであるため、各領域に２００／５８０を掛け合わせることで、解析可能な画像の長さとする。

次に、ステップＳ９０５において、配置領域決定部２０３は、ステップＳ９０４でリサイズした領域を配置後の画像における隙間を黒色で埋める。その後、配置結果を出力する。図１０（Ｂ）は、図１０（Ａ）に示す各領域をリサイズした領域を配置した結果の隙間部分を黒色で埋める場合の配置の一例を示す図である。

次に、ステップＳ９０６において、配置領域決定部２０３は、ステップＳ９０５で決定した配置結果から解析領域と配置領域を算出し、解析領域及び配置領域を決定する。本処理における算出方法はステップＳ６０７と同様であるため詳細な説明は省略する。図１０（Ｃ）は、決定した解析領域と配置領域を示す図である。図１０（Ｄ）は、図４（Ａ）に示す入力画像４０１の上に決定した各解析領域を表示した結果を示す図である。

次に、ステップＳ９０７において、配置領域決定部２０３は、ステップＳ９０６で決定した解析領域と配置領域を記憶部２０４に保存する。

以上により、本実施形態の画像解析装置１００によれば、ユーザが指定した回数で解析を実施可能な解析領域と配置領域を決定することができる。

＜変形例＞
尚、ステップＳ９０４において、配置後の画像すべてに共通するリサイズ比率を設定してもよいし、配置後の画像ごとにリサイズ比率を変えてもよい。また、ステップＳ９０６において、塗りつぶす色は例えば白色や青色等の任意の色でよい。またこの色の指定は、ユーザの入力により決定してもよいし、システムで任意の色に固定してしまってもよい。この際、例えば、解析画像生成部２０５は、指定された色を持つ画像を作成し、その画像上に解析領域内の各画像を移す。

＜その他の実施形態＞
上記した各実施形態における画像解析装置１００は、クラウド上やオンプレミス上のハードウェアやエッジデバイスを任意に組み合わせて構成し、上述の実施形態の１以上の機能を振り分けてもよい。例えば、上記した各実施形態における画像解析装置１００の全ての機能をカメラ等の撮像装置上で実現、即ち、カメラ等の撮像装置自身が画像解析装置１００の機能を一体的に内蔵していてもよい。また、カメラ等の撮像装置で撮影した画像をパーソナルコンピュータ（ＰＣ）に送り、それ以降の機能をＰＣで実現してもよい。また、カメラ等の撮像装置で撮影した画像をクラウドサーバに送り、それ以降の機能をクラウドサーバで実現してもよい。さらに、カメラ等の撮像装置が画像解機能有していない場合には、カメラ等の撮像装置にＵＳＢインタフェースやＳＤカードインタフェイスを介して画像解析装置１００の処理機能を有する着脱可能デバイスを装着することによりシステムを構成してもよい。このように各実施形態における画像解析装置１００をカメラ等の撮像装置と通信可能に接続することで画像解析システム（情報処理システム）を構成してもよい。この際、例えば、上記デバイスを装着することでカメラ等の撮像装置と画像解析装置１００を相互に通信可能としてもよいし、ネットワーク等を介してカメラ等の撮像装置と画像解析装置１００を相互に通信可能とするようにしてもよい。

本実施形態の開示は、以下の構成、方法、及びプログラムを含む。
（構成１）
画像を解析することで対象物を検出する画像解析装置であって、
第１の画像を取得する第１の取得手段と、
第１の画像上における解析を実施する領域である解析領域毎の位置情報を取得する第２の取得手段と、
画像の解析を実施する解析手段と、
第２の取得手段によって取得した各解析領域の位置情報に基づき、解析手段により解析が可能な画像サイズを持つ第２の画像上に配置する解析領域毎の配置領域を決定する決定手段と、
各解析領域を第２の画像上の配置領域に配置することで、各解析領域を結合した画像である解析画像を生成する解析画像生成手段と、を有し、
解析手段は、解析画像から対象物を検出し、検出結果を出力することを特徴とする画像解析装置。

（構成２）
解析画像に対して解析手段が出力した検出結果を、第１の画像上に表示可能となるように変換する変換手段を有することを特徴とする構成１に記載の画像解析装置。

（構成３）
対象物は、人物の顔であることを特徴とする構成２に記載の画像解析装置。

（構成４）
解析手段は、解析画像から人物の顔を検出し、検出された人物毎の顔の外接矩形の領域を検出結果として出力することを特徴とする構成３に記載の画像解析装置。

（構成５）
変換手段は、外接矩形の領域における中心位置に基づき、第１の画像上への検出結果の表示する位置を決定することを特徴とする構成４に記載の画像解析装置。

（構成６）
決定手段は、第１の画像における対象物のサイズに基づき、解析領域の比率を変更することを特徴とする構成１乃至５のいずれか１項に記載の画像解析装置。

（構成７）
決定手段は、第１の画像における対象物のサイズが解析手段における推奨サイズとなるように、解析画像の比率を変更することを特徴とする構成６に記載の画像解析装置。

（構成８）
決定手段は、解析手段が解析可能なサイズより解析領域のサイズの方が大きかった場合、解析手段が解析可能なサイズに収まるように解析領域を分割することを特徴とする構成１乃至５のいずれか１項に記載の画像解析装置。

（構成９）
決定手段は、比率を変更した各解析領域を第２の画像における配置領域に配置する位置を決定することを特徴とする構成７に記載の画像解析装置。

（構成１０）
変換手段により変換された検出結果が第１の画像上に表示されている変換画像を表示装置の画面上に表示させる表示制御手段を有することを特徴とする構成２または３に記載の画像解析装置。

（構成１１）
決定手段は、設定された解析回数に基づき、第２の画像における配置領域に解析領域を配置する位置を決定することを特徴とする構成１乃至１０のいずれか１項に記載の画像解析装置。

（構成１２）
解析領域を任意のサイズで指定可能とする操作手段を有することを特徴とする構成１乃至１１のいずれか１項に記載の画像解析装置。

（構成１３）
画像解析装置の制御方法であって、
第１の画像を取得する第１の取得工程と、
第１の画像上における解析を実施する領域である解析領域毎の位置情報を取得する第２の取得工程と、
画像の解析を実施する解析工程と、
第２の取得工程で取得した各解析領域の位置情報に基づき、解析工程で解析が可能な画像サイズを有する第２の画像上に配置する解析領域毎の配置領域を決定する決定工程と、
各解析領域を第２の画像上の配置領域に配置することで、各解析領域を結合した画像である解析画像を生成する解析画像生成工程と、を有し、
解析工程おいて、解析画像から対象物を検出し、検出結果を出力することを特徴とする画像解析装置の制御方法。

（構成１４）
画像解析装置の制御方法をコンピュータに実行させるためのプログラムであって、
第１の画像を取得する第１の取得工程と、
第１の画像上における解析を実施する領域である解析領域毎の位置情報を取得する第２の取得工程と、
画像の解析を実施する解析工程と、
第２の取得工程で取得した各解析領域の位置情報に基づき、解析工程で解析が可能な画像サイズを有する第２の画像上に配置する解析領域毎の配置領域を決定する決定工程と、
各解析領域を第２の画像上の配置領域に配置することで、各解析領域を結合した画像である解析画像を生成する解析画像生成工程と、を有し、
解析工程において、解析画像から対象物を検出し、検出結果を出力することを特徴とするプログラム。

（構成１５）
撮像装置と、撮像装置と通信可能に接続され、画像を解析することで対象物を検出する画像解析装置から構成される画像解析システムであって、
撮像装置は、
第１の画像を撮像する撮像手段を有し、
画像解析装置は、
撮像装置から第１の画像を取得する第１の取得手段と、
第１の画像上における解析を実施する領域である解析領域毎の位置情報を取得する第２の取得手段と、
画像の解析を実施する解析手段と、
第２の取得手段によって取得した各解析領域の位置情報に基づき、解析手段により解析が可能な画像サイズを有する第２の画像上に配置する解析領域毎の配置領域を決定する決定手段と、
各解析領域を第２の画像上の配置領域に配置することで、各解析領域を結合した画像である解析画像を生成する解析画像生成手段と、を有し、
解析手段は、解析画像から対象物を検出し、検出結果を出力することを特徴とする画像解析システム。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。その場合、そのプログラム、該プログラムを記憶した記憶媒体は本発明を構成することとなる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像解析装置
２０１ 画像取得部
２０２ 解析設定取得部
２０３ 配置位置決定部
２０４ 記憶部
２０５ 解析画像生成部
２０６ 解析部
２０７ 解析結果変換部
２０８ 解析結果出力部

Claims (15)

1. 画像を解析することで対象物を検出する画像解析装置であって、
   第１の画像を取得する第１の取得手段と、
   前記第１の画像上における解析を実施する領域である解析領域毎の位置情報を取得する第２の取得手段と、
   画像の解析を実施する解析手段と、
   前記第２の取得手段によって取得した各解析領域の位置情報に基づき、前記解析手段により解析が可能な画像サイズを持つ第２の画像上に配置する前記解析領域毎の配置領域を決定する決定手段と、
   前記各解析領域を前記第２の画像上の前記配置領域に配置することで、前記各解析領域を結合した画像である解析画像を生成する解析画像生成手段と、を有し、
   前記解析手段は、前記解析画像から前記対象物を検出し、検出結果を出力することを特徴とする画像解析装置。
2. 前記解析画像に対して前記解析手段が出力した前記検出結果を、前記第１の画像上に表示可能となるように変換する変換手段を有することを特徴とする請求項１に記載の画像解析装置。
3. 前記対象物は、人物の顔であることを特徴とする請求項２に記載の画像解析装置。
4. 前記解析手段は、前記解析画像から前記人物の顔を検出し、検出された人物毎の顔の外接矩形の領域を検出結果として出力することを特徴とする請求項３に記載の画像解析装置。
5. 前記変換手段は、前記外接矩形の領域における中心位置に基づき、前記第１の画像上への前記検出結果の表示する位置を決定することを特徴とする請求項４に記載の画像解析装置。
6. 前記決定手段は、前記第１の画像における前記対象物のサイズに基づき、前記解析領域の比率を変更することを特徴とする請求項１に記載の画像解析装置。
7. 前記決定手段は、前記第１の画像における前記対象物のサイズが前記解析手段における推奨サイズとなるように、前記解析画像の比率を変更することを特徴とする請求項６に記載の画像解析装置。
8. 前記決定手段は、前記解析手段が解析可能なサイズより前記解析領域のサイズの方が大きかった場合、前記解析手段が解析可能なサイズに収まるように前記解析領域を分割することを特徴とする請求項１に記載の画像解析装置。
9. 前記決定手段は、前記比率を変更した各解析領域を前記第２の画像における前記配置領域に配置する位置を決定することを特徴とする請求項７に記載の画像解析装置。
10. 前記変換手段により変換された前記検出結果が前記第１の画像上に表示されている変換画像を表示装置の画面上に表示させる表示制御手段を有することを特徴とする請求項２に記載の画像解析装置。
11. 前記決定手段は、設定された解析回数に基づき、前記第２の画像における前記配置領域に前記解析領域を配置する位置を決定することを特徴とする請求項１に記載の画像解析装置。
12. 前記解析領域を任意のサイズで指定可能とする操作手段を有することを特徴とする請求項１に記載の画像解析装置。
13. 画像解析装置の制御方法であって、
    第１の画像を取得する第１の取得工程と、
    前記第１の画像上における解析を実施する領域である解析領域毎の位置情報を取得する第２の取得工程と、
    画像の解析を実施する解析工程と、
    前記第２の取得工程で取得した各解析領域の位置情報に基づき、前記解析工程で解析が可能な画像サイズを有する第２の画像上に配置する前記解析領域毎の配置領域を決定する決定工程と、
    前記各解析領域を前記第２の画像上の前記配置領域に配置することで、前記各解析領域を結合した画像である解析画像を生成する解析画像生成工程と、を有し、
    前記解析工程おいて、前記解析画像から対象物を検出し、検出結果を出力することを特徴とする画像解析装置の制御方法。
14. 画像解析装置の制御方法をコンピュータに実行させるためのプログラムであって、
    第１の画像を取得する第１の取得工程と、
    前記第１の画像上における解析を実施する領域である解析領域毎の位置情報を取得する第２の取得工程と、
    画像の解析を実施する解析工程と、
    前記第２の取得工程で取得した各解析領域の位置情報に基づき、前記解析工程で解析が可能な画像サイズを有する第２の画像上に配置する前記解析領域毎の配置領域を決定する決定工程と、
    前記各解析領域を前記第２の画像上の前記配置領域に配置することで、前記各解析領域を結合した画像である解析画像を生成する解析画像生成工程と、を有し、
    前記解析工程において、前記解析画像から対象物を検出し、検出結果を出力することを特徴とするプログラム。
15. 撮像装置と、前記撮像装置と通信可能に接続され、画像を解析することで対象物を検出する画像解析装置から構成される画像解析システムであって、
    前記撮像装置は、
    第１の画像を撮像する撮像手段を有し、
    前記画像解析装置は、
    前記撮像装置から前記第１の画像を取得する第１の取得手段と、
    前記第１の画像上における解析を実施する領域である解析領域毎の位置情報を取得する第２の取得手段と、
    画像の解析を実施する解析手段と、
    前記第２の取得手段によって取得した各解析領域の位置情報に基づき、前記解析手段により解析が可能な画像サイズを有する第２の画像上に配置する前記解析領域毎の配置領域を決定する決定手段と、
    前記各解析領域を前記第２の画像上の前記配置領域に配置することで、前記各解析領域を結合した画像である解析画像を生成する解析画像生成手段と、を有し、
    前記解析手段は、前記解析画像から前記対象物を検出し、検出結果を出力することを特徴とする画像解析システム。
    
    

Images