JPWO2012169119A1 - 物体検出枠表示装置及び物体検出枠表示方法 - Google Patents

Abstract

比較的少ない処理量で、ユーザにとって見易い物体検出枠を表示できる、物体枠表示装置１００。物体検出枠算出部１０２は、入力画像に対してパターン認識処理を行うことで、検出対象物体の領域を示す第１の物体検出枠を求め、さらに同一の検出対象物に関する物体検出枠であると類推される第１の物体検出枠同士を統合することで、第２の物体検出枠を求める。内包枠算出部１０３は、第２の物体検出枠ごとに、その基になった第１の物体検出枠を内包する第３の物体検出枠を求める。表示枠形成部１０５は、第３の物体検出枠の大きさに対する第２の物体検出枠の大きさの関係に基づいて、表示する物体検出枠を形成する。

Description

本発明は、物体検出枠表示装置及び物体検出枠表示方法に関し、特に、ディジタルカメラ等の撮像装置において、ディスプレイに顔検出枠等の物体検出枠を表示させる技術に関する。

近年、ディジタルカメラ等の撮像装置においては、撮像画像から人物や顔等の領域を検出し、この領域を枠（以下これを物体検出枠と呼ぶ）によって囲んでディスプレイに表示するようになされたものがある（例えば特許文献１参照）。

物体検出枠を表示することにより、ユーザは、人物や顔等のターゲット（以下、検出対象物体と呼ぶこともある）が被写体像の中のどこにあるかを瞬時に判断できるようになり、ターゲットを撮像画像の中心に配置する等の操作をスムーズに行うことができるようになる。また、物体検出枠で囲まれたターゲットに合わせて、自動焦点制御（ＡＦ）や自動露出制御（ＡＥ）を行う撮像装置においては、ユーザは、物体検出枠に基づいて、焦点や露出が合っている領域を認識できるようになる。

ここで、物体検出枠を表示するためには、当然、物体を検出する技術が必要となる。特許文献２には、撮像画像中の顔を検出する技術が記載されている。特許文献２では、予め学習により求められた顔サンプル画像と、撮像画像との類似性を示す指標値（スコア）を算出し、この指標値が閾値以上の画像領域を顔画像の候補領域として検出する。ここで、実際上、同一の顔画像の周辺には複数の候補領域、すなわち候補領域群が検出されるので、特許文献２では、これら候補領域群をさらに閾値判定することで、同一の顔画像についての候補領域群を統合するようになっている。

特許文献１に記載の物体検出枠と、特許文献２に記載の物体検出とを組み合わせると、次のような物体検出枠表示処理が行われることになる。

すなわち、先ず、物体検出器を用いて入力画像をラスタスキャンすることで、ターゲット物体の周辺に物体検出候補枠が形成される。次に、近傍の物体検出候補枠を統合することで、最終統合枠を形成し、この最終統合枠を表示する。具体的には、検出候補枠のスコア等を利用しながらグルーピングを行い、グルーピングされた近傍の検出候補枠を統合し、これを表示する。この結果、ターゲット物体を囲むような物体検出枠（最終統合枠）が表示される。

特開２００５−２８６９４０号公報 特開２００７−１８８４１９号公報

ところが、撮像画像中で複数の検出対象物体が近接している場合、物体検出候補枠同士の重なりが大きくなり、正しい位置に最終統合枠を形成して表示することが困難となる。

具体的には、撮像画像中で複数の検出対象物体が近接している場合には、最終統合枠が分離されず、最終統合枠が複数の検出対象物体の間に形成され表示されてしまうので、最終統合枠が枠内に検出対象物体を内包できず、見栄えが悪くなる。

図１に、その具体例を示す。図１Ａ、図１Ｂ、図１Ｃ、図１Ｄは、ほぼ同じ位置を図１Ａ→図１Ｂ→図１Ｃ→図１Ｄの順で撮像した時系列画像を示すものである。物体検出枠表示装置は、撮像画像中の二人の人物を検出している。図中の細線で示す矩形枠が物体検出候補枠であり、太線で示す矩形枠が最終統合枠である。実際に表示されるのは、撮像画像と、それに重畳された最終統合枠であり、物体検出候補枠は表示されてもされなくてもよい。

図１Ａ、図１Ｄは、最終統合枠の分離が成功したケースである。この成功ケースでは、各最終統合枠が検出対象である各人物を包含するように表示される。図１Ｂ、図１Ｃは、最終統合枠の分離が失敗したケースであり、二人の人物の間に最終統合枠が表示されている。この失敗ケースでは、最終統合枠が検出対象である人物を包含できていない。よって、図１Ｂ、図１Ｃからも分かるように、検出対象物体との関係で、最終統合枠の見栄えが悪くなる。

かかる課題を解決するための一つの方法として、最終統合枠を形成するときの統合アルゴリズムを工夫することが考えられる。しかしながら、このようにすると、アルゴリズムが複雑化するので、処理量が増加し、構成が複雑化する欠点がある。

本発明は、以上の点を考慮してなされたものであり、比較的少ない処理量で、ユーザにとって見易い物体検出枠を表示できる、物体枠表示装置及び物体枠表示方法を提供することを目的とする。

本発明の物体検出枠表示装置の一つの態様は、入力画像から、検出対象物体の領域を示す第１の物体検出枠を求め、さらに同一の検出対象物に関する物体検出枠であると類推される前記第１の物体検出枠同士を統合することで、第２の物体検出枠を求める、物体検出枠算出部と、前記第２の物体検出枠ごとに、その基になった前記第１の物体検出枠を内包する、第３の物体検出枠を求める、内包枠算出部と、前記第３の物体検出枠の大きさに対する、前記第２の物体検出枠の大きさの関係に基づいて、表示する物体検出枠を形成する、表示枠形成部と、前記表示枠形成部によって形成された前記物体検出枠を表示する表示部と、を具備する。

本実施の形態の物体検出枠表示方法の一つの態様は、入力画像から、検出対象物体の領域を示す第１の物体検出枠を求め、さらに同一の検出対象物に関する物体検出枠であると類推される前記第１の物体検出枠同士を統合することで、第２の物体検出枠を求める、物体検出枠算出ステップと、前記第２の物体検出枠ごとに、その基になった前記第１の物体検出枠を内包する、第３の物体検出枠を求める、内包枠算出ステップと、前記第３の物体検出枠の大きさに対する、前記第２の物体検出枠の大きさの関係に基づいて、表示する物体検出枠を形成する、表示枠形成ステップと、を含む。

本発明によれば、比較的少ない処理量で、ユーザにとって見易い物体検出枠を表示できるようになる。

物体検出枠が分離されずに、見栄えの悪い物体検出枠が表示された例を示す図 実施の形態１の物体検出枠表示装置の構成を示すブロック図 第３の物体検出枠（内包枠）の説明に供する図 複数物体存在推定部及び表示枠形成部による処理の様子を示す図 実施の形態１の物体検出枠表示装置の処理手順を示すフローチャート 実施の形態１による物体検出枠形成処理を分かり易く示した図 実施の形態１による物体検出枠の表示例を示す図 実施の形態２の物体検出枠表示装置の構成を示すブロック図 表示枠統合部によって行われる統合処理の様子を示す図 実施の形態２の物体検出枠表示装置の処理手順を示すフローチャート 実施の形態２による物体検出枠形成処理を分かり易く示した図 実施の形態２による物体検出枠の表示例を示す図 実施の形態３の物体検出枠表示装置の構成を示すブロック図 実施の形態３の表示枠形成部による、物体検出枠形成処理の説明に供する図 実施の形態３の表示枠形成部による、物体検出枠形成処理の説明に供する図であり、特に、決定した物体検出枠の個数と、物体検出枠の候補位置の数とが、一致しない場合における処理の説明に供する図 実施の形態３による物体検出枠形成処理を分かり易く示した図

以下、本発明の実施の形態について図面を参照して詳細に説明する。

［実施の形態１］
図２に、本発明の実施の形態１における物体検出枠表示装置の構成を示す。物体検出枠表示装置１００は、例えばディジタルカメラや、車載用のナビゲーション装置、監視カメラシステム等に設けられる。

物体検出枠表示装置１００は、画像入力部１０１に画像を入力する。入力される画像は、例えば、ディジタルカメラや、車載用のナビゲーション装置、監視カメラシステム等により撮像された画像である。画像入力部１０１は、入力画像を表示部１１０及び物体検出枠算出部１０２に送出する。

物体検出枠算出部１０２は、入力画像に対してパターン認識処理を行うことで検出対象物体の領域を示す第１の物体検出枠（物体検出候補枠）を求め、さらに同一の検出対象物に関する物体検出枠であると類推される第１の物体検出枠同士を統合することで第２の物体検出枠を求める。換言すれば、物体検出枠算出部１０２は、第１の物体検出枠をクラスタにグルーピングすることで、第２の物体検出枠を求める。

第１の物体検出枠は、図１の細線で示される枠である。第２の物体検出枠は、図１の太線で示される枠である。

具体的には、物体検出枠算出部１０２は、例えば、特許文献２に記載されているような処理を採用することで、第１の物体検出枠及び第２の物体検出枠を求める。

第１の物体検出枠は、検出対象物体との類似性を示す指標値が第１の閾値以上である部分画像領域を囲む矩形の枠である。第１の物体検出枠は、いわゆる物体検出候補枠であり、実際上、検出対象物体の周辺に複数個求められる。

次に、物体検出枠算出部１０２は、第１の物体検出枠で囲まれた領域毎（候補領域毎）に、当該領域を注目候補領域として設定し、当該注目候補領域とは異なる他の候補領域のうち、当該注目候補領域からの座標上の距離が所定の距離以下である近傍候補領域があるときに、当該注目候補領域と当該近傍候補領域とを１つの候補群として設定する。次に、物体検出枠算出部１０２は、前記候補群毎に、当該候補群を構成する各候補領域についてそれぞれ算出された複数の指標値に基づいて、当該複数の指標値の大きさが反映された総合的な指標値を算出する。次に、物体検出枠算出部１０２は、前記総合的な指標値が第２の閾値以上であるときに、前記総合的な指標値が算出された前記候補群を含む前記入力画像上の所定領域内の画像を、検出対象物体画像であるとして、この画像を囲む第２の物体検出枠を形成する。

なお、物体検出枠算出部１０２で行う処理は、上述の処理に限らず、要は、検出対象物体画像（例えば人物画像や、顔画像、車両等）と類似性の高い画像領域を候補領域として検出してこの候補画像領域を囲む第１の物体検出枠を形成し、第１の物体検出枠のうち同一物体に関する物体検出枠であると類推される第１の物体検出枠同士を統合することで第２の物体検出枠を求めればよい。本発明は、第１の物体検出枠及び第２の物体検出枠の求め方に限定されるものでない。

物体検出枠算出部１０２は、第１の物体検出枠の位置情報、及び、第２の物体検出枠の位置情報を内包枠算出部１０３に送出する。また、物体検出枠算出部１０２は、第２の物体検出枠の位置情報を複数物体存在推定部１０４に送出する。なお、物体検出枠の位置情報とは、物体検出枠の矩形サイズの情報（矩形の大きさに関する情報）も含まれるものである。つまり、物体検出枠の位置情報とは、物体検出枠全体の位置を示すことができる情報である。以下に記載する物体検出枠の位置情報も同様である。

内包枠算出部１０３は、図３に示すように、第２の物体検出枠１２ごとに、その基になった第１の物体検出枠１１を内包する内包枠を第３の物体検出枠１３として求める。ここで、第３の物体検出枠（内包枠）１３は、その名の通り、第１の物体検出枠１１を内包する枠であればよい。第３の物体検出枠１３は、例えば、複数の第１の物体検出枠１１を内包する最小の矩形である。また、第３の物体検出枠１３は、例えば、複数の第１の物体検出枠１１の和集合である。内包枠算出部１０３は、求めた第３の物体検出枠１３の位置情報を複数物体存在推定部１０４に送出する。

複数物体存在推定部１０４は、第２の物体検出枠１２の位置情報と、第３の物体検出枠１３の位置情報とを入力し、これらの情報を用いて、第３の物体検出枠１３の大きさに対する、第２の物体検出枠１２の大きさの関係を調べる。このようにすることで、複数物体存在推定部１０４は、第２の物体検出枠１２の近傍に複数の検出対象物体が存在するか否かを推定する。複数物体存在推定部１０４は、複数物体が存在するか否かを示す推定結果情報と、第２の物体検出枠１２の位置情報と、第３の物体検出枠１３の位置情報と、を表示枠形成部１０５に送出する。

表示枠形成部１０５は、表示する物体検出枠（以下これを表示物体検出枠と呼ぶ）を形成する。表示枠形成部１０５は、複数物体存在推定部１０４から、第２の物体検出枠１２の近傍に複数の検出対象物体が存在しないことを示す推定結果情報を入力した場合には、表示物体検出枠として、第２の物体検出枠１２を出力する。これに対して、表示枠形成部１０５は、複数物体存在推定部１０４から、第２の物体検出枠１２の近傍に複数の検出対象物体が存在することを示す推定結果情報を入力した場合には、表示物体検出枠として、第２の物体検出枠１２を拡大した表示物体検出枠を形成して出力する。

図４に、複数物体存在推定部１０４及び表示枠形成部１０５による処理の様子を示す。図中の細かい点線は第２の物体検出枠１２を示し、粗い点線は第３の物体検出枠１３を示し、実線は表示物体検出枠１４を示す。

図４Ａ（上段の図）は、複数物体存在推定部１０４に入力される、第２の物体検出枠１２及び第３の物体検出枠１３の例を示す。図では、４つの例が示されている。図４Ｂ（下段の図）は、表示枠形成部１０５によって形成される表示物体検出枠１４の様子を示す。

図で示したように、第３の物体検出枠１３の縦、横の長さをそれぞれ、Ａ_Ｈ、Ａ_Ｗとし、第２の物体検出枠１２の縦、横の長さをそれぞれ、Ｂ_Ｈ、Ｂ_Ｗとする。

複数物体存在推定部１０４は、距離閾値をＴＨ_Ｈ、ＴＨ_Ｗとしたとき、｜Ａ_Ｈ − Ｂ_Ｈ｜＞ＴＨ_Ｈ、又は、｜Ａ_Ｗ − Ｂ_Ｗ｜＞ＴＨ_Ｗ、の条件を満たす場合に、第２の物体検出枠１２の近傍に複数物体が存在しているとみなす。

表示枠形成部１０５は、第２の物体検出枠１２と、第３の物体検出枠１３との関係が上記条件を満たす場合には、第２の物体検出枠１２の中心位置を中心とし、縦の長さが（Ａ_Ｈ ＋ Ｂ_Ｈ）／２、横の長さが（Ａ_Ｗ ＋ Ｂ_Ｗ）／２、の表示物体検出枠１４を形成する。なお、表示物体検出枠１４の大きさはこれに限らず、第２の物体検出枠１２の大きさ以上であり、かつ、第３の物体検出枠１３の大きさ以下であればよい。

図４において、左端の例は、複数物体存在推定部１０４によって、第２の物体検出枠１２の近傍に複数物体が存在していないと推定された場合を示すものである。この場合、図４Ａの左端の例に示すように、第２の物体検出枠１２と第３の物体検出枠１３との大きさの差は閾値以下であり、表示枠形成部１０５は、図４Ｂの左端の例に示すように、第２の物体検出枠１２を表示物体検出枠１４として出力する。

これに対して、図４において、左端以外の３つの例は、複数物体存在推定部１０４によって、第２の物体検出枠１２の近傍に複数物体が存在していると推定された場合を示すものである。この場合、図４Ａの左端以外の例に示すように、第２の物体検出枠１２と第３の物体検出枠１３との大きさの差は閾値より大きく（左から２番目の例は横の長さの差が閾値より大きく、左から３番目の例は縦の長さの差が閾値より大きく、左から４番目の例は横の長さの差及び縦の長さの差が共に閾値より大きい）、表示枠形成部１０５は、図４Ｂの左端以外の例に示すように、第２の物体検出枠１２と第３の物体検出枠１３との間に、表示物体検出枠１４を形成する。さらに詳細に述べると、この表示物体検出枠１４は、第２の物体検出枠１２よりも大きく、第３の物体検出枠１３の大きさ以下である。

表示部１１０は、画像入力部１０１から入力した撮像画像に、表示枠形成部１０５から入力した表示物体検出枠１４を重畳させて表示する。

図５は、物体検出枠表示装置１００の処理手順を示すフローチャートである。物体検出枠表示装置１００は、ステップＳＴ１で画像入力部１０１に画像を入力する。続くステップＳＴ２では、物体検出枠算出部１０２が第１の物体検出枠（物体検出候補枠）１１を算出する。続くステップＳＴ３では、物体検出枠算出部１０２が第１の物体検出枠１１を統合することで第２の物体検出枠１２を算出する。続くステップＳＴ４では、内包枠算出部１０３が第３の物体検出枠（内包枠）１３を算出する。続くステップＳＴ５では、複数物体存在推定部１０４が、第２の物体検出枠（統合枠）１２の大きさと第３の物体検出枠（内包枠）１３の大きさとの関係から、第２の物体検出枠１２の近傍に複数の検出対象物体が存在するか否かを推定する。

物体検出枠表示装置１００は、第２の物体検出枠１２の近傍に複数の検出対象物体が存在する推定結果を得た場合（ステップＳＴ５；ＹＥＳ）、ステップＳＴ６に移って、表示枠形成部１０５によって、第２の物体検出枠１２を拡大した形状の表示物体検出枠１４を形成し、続くステップＳＴ７で、この表示物体検出枠１４を撮像画像と共に表示部１１０に表示させる。

これに対して、物体検出枠表示装置１００は、第２の物体検出枠１２の近傍に複数の検出対象物体が存在しない推定結果を得た場合（ステップＳＴ５；ＮＯ）、ステップＳＴ７に移って、第２の物体検出枠１２を撮像画像と共に表示部１１０に表示させる。

図６は、検出対象物体（図の例では人物）と、各物体検出枠との関係を分かり易く表したものである。図６において、上段の図は、検出対象物体と、第２の物体検出枠（統合枠）１２と、第３の物体検出枠（内包枠）１３と、の関係を示したものである。下段の図は、検出対象物体と、最終的に表示される表示物体検出枠１４と、の関係を示したものである。

図６Ａに示す例は、第２の物体検出枠１２の各々が、各人物を的確に囲んでいる理想的な状態を示し、この場合、下段に示すように、第２の物体検出枠１２がそのまま表示物体検出枠１４として表示される。

図６Ｂに示す例は、第２の物体検出枠１２が不的確なために、第２の物体検出枠１２からはみ出ている人物が存在する状態を示し、この場合、下段に示すように、第２の物体検出枠１２を拡大することで形成された表示物体検出枠１４が表示される。これにより、第２の物体検出枠１２をそのまま表示すると枠からはみ出してしまう人物を、表示物体検出枠１４により囲むことができる。なお、第２の物体検出枠１２が不的確であることは、第３の物体検出枠１３の大きさに対して、第２の物体検出枠１２の大きさが閾値以下であることから判断できる。

図６Ｃに示す例は、左側の第２の物体検出枠１２−１は的確だが、右側の第２の物体検出枠１２−２は不的確な例である。この場合、下段に示すように、左側の第２の物体検出枠１２−１はそのまま表示物体検出枠１４−１として表示され、右側の第２の物体検出枠１２−２は拡大されて表示物体検出枠１４−２として表示される。これにより、右側の第２の物体検出枠１２−２をそのまま表示すると枠からはみ出してしまう人物を、表示物体検出枠１４−２により囲むことができる。なお、右側の第２の物体検出枠１２−２が不的確であることは、右側の第３の物体検出枠１３−２の大きさに対して、右側の第２の物体検出枠１２−２の大きさが閾値以下であることから判断できる。

図７に、本実施の形態の物体検出枠表示装置により表示される画像の例を示す。図７Ａ、図７Ｂ、図７Ｃ、図７Ｄは、ほぼ同じ位置を図７Ａ→図７Ｂ→図７Ｃ→図７Ｄの順で撮像した時系列画像を示すものである。物体検出枠表示装置１００は、撮像画像中の二人の人物を検出している。図中の細線で示す枠は第１の物体検出枠１１であり、太線で示す矩形枠は、本実施の形態で最終的に表示される物体検出枠１４である。

本実施の形態の表示例である図７は、従来の表示例である図１と比較すると、図７Ａ、図７Ｄの時系列画像では、第２の物体検出枠１２の分離が成功しているので、図１Ａ、図１Ｄと同様に、第２の物体検出枠（図１の説明では最終統合枠として説明）がそのまま物体検出枠１４として表示される。

これに対して、図７Ｂ、図７Ｃの時系列画像では、第２の物体検出枠１２の分離が失敗したので（図１Ｂ、図１Ｃ参照）、第２の物体検出枠１２を拡大してなる物体検出枠１４が表示される。この表示物体検出枠１４は、検出対象物体である二人の人物をはみ出すことなく内包しているので、図１Ｂ、図１Ｃで表示されている第２の物体検出枠（最終統合枠）１２と比較して、見栄えが良く、見易い物体検出枠となっている。

以上説明したように、本実施の形態によれば、入力画像に対してパターン認識処理を行うことで、検出対象物体の領域を示す第１の物体検出枠１１を求め、さらに同一の検出対象物に関する物体検出枠であると類推される第１の物体検出枠１１同士を統合することで、第２の物体検出枠１２を求める、物体検出枠算出部１０２と、第２の物体検出枠１２ごとに、その基になった第１の物体検出枠１１を内包する第３の物体検出枠１３を求める内包枠算出部１０３と、第３の物体検出枠１３の大きさに対する第２の物体検出枠１２の大きさの関係に基づいて、表示する物体検出枠１４を形成する表示枠形成部１０５と、を設けた。

これにより、物体検出枠算出部１０２において第２の物体検出枠１２の分離に失敗した場合でも、表示枠形成部１０５によって第２の物体検出枠１２を拡大した物体検出枠１４を形成できるようになるので、見栄えが良く、見易い物体検出枠１４を表示できるようになる。

加えて、本実施の形態の構成を採用すれば、物体検出枠算出部１０２における統合アルゴリズムを複雑化しなくて済み、かつ、新たに追加した、内包枠算出部１０３及び表示枠形成部１０５の処理量も比較的少なくて済むので、処理量の増加は少ない。

［実施の形態２］
図２との対応部分に同一符号を付して示す図８に、本実施の形態の物体検出枠表示装置２００の構成を示す。図８の物体検出枠表示装置２００は、図２の物体検出枠表示装置１００の構成に加えて、表示枠統合部２０１を有する。

表示枠統合部２０１は、表示枠形成部１０５によって形成された物体検出枠の位置情報を入力する。具体例を挙げると、表示枠統合部２０１は、表示枠形成部１０５から第２の物体検出枠（拡大された第２の物体検出枠を含む）の位置情報を入力する。

表示枠統合部２０１は、互いの距離が第１の閾値以下であり、かつ、互いの大きさの比率が第２の閾値以下である、といった条件を満たす第２の物体検出枠を検出し、検出した第２の物体検出枠を統合して、この条件を満たす複数の第２の物体検出枠を内包する表示物体検出枠を形成し、これを表示部１１０に出力する。一方、表示枠統合部２０１は、上記条件を満たさない第２の物体検出枠については、統合せずにそのまま表示部１１０に出力する。ここで、統合の条件に、「互いの大きさの比率が閾値以下」を加えたのは、例えば、画面手前にいる人物の検出枠と、画面奥にいる人物の検出枠とは、統合すべきでない場合があるにも拘わらず、検出枠の距離閾値だけを統合の条件にすると、これらを統合してしまう可能性があるためである。大きさの閾値を加えることにより、画面手前にいる人物の検出枠は大きく、画面奥にいる人物の検出枠と小さいので、その大きさの比率は閾値より大きくなるはずであり、好ましくない統合を防止できる。なお、以下では、説明を簡単にするために、統合の条件として、主に、距離閾値のみを用いた場合について説明する。

なお、表示枠統合部２０１は、例えば、互いに一部の領域が重なっている第２の物体検出枠同士を統合してもよい。これは、上記距離の閾値が０の場合に相当する。但し、閾値は、これに限らず、適宜設定すればよい。

図９に、表示枠統合部２０１によって行われる統合処理の様子を示す。表示枠統合部２０１は、図９Ａに示すように、表示枠形成部１０５から出力される第２の物体検出枠１２の距離が閾値以下の場合、図９Ｂに示すように、距離が閾値以下の第２の物体検出枠１２を統合し、それらを内包する物体検出枠１５を形成する。そして、形成した物体検出枠１５が表示部１１０で表示される。なお、図９Ｂでは、便宜上、表示枠統合部２０１で表示された物体検出枠１５以外の枠も記載しているが、図９Ｂにおいて表示部１１０に表示される物体検出枠は、物体検出枠１５のみである。

図１０は、物体検出枠表示装置２００の処理手順を示すフローチャートである。図１０では、図５と同一の処理手順については図５と同一の符号を付した。以下では、図５とは異なる手順について説明する。

物体検出枠表示装置２００は、ステップＳＴ６で、表示枠形成部２０１によって、第２の物体検出枠１２を拡大した形状の表示物体検出枠１４を形成すると、ステップＳＴ１０に進む。ステップＳＴ１０では、表示枠統合部２０１が第２の物体検出枠１２（拡大された第２の物体検出枠１４を含む）の各々について、上述した距離判定を行うことにより、統合すべき物体検出枠か否かを判定する。

ここで、表示枠統合部２０１は、距離が閾値より大きい第２の物体検出枠１２、１４については、ステップＳＴ１０で否定結果（ステップＳＴ１０；ＮＯ）を得、第２の物体検出枠１２、１４を統合せずにそのまま表示部１１０に出力する。これにより、ステップＳＴ７で第２の物体検出枠１２、１４がそのまま表示される。

これに対して、表示枠統合部２０１は、距離が閾値以下の第２の物体検出枠１２、１４については、ステップＳＴ１０で肯定結果（ステップＳＴ１０；ＹＥＳ）を得、ステップＳＴ１１に移る。ステップＳＴ１１では、表示枠統合部２０１が、距離が閾値以下の第２の物体検出枠１２、１４を統合することで、それらを内包する物体検出枠１５を形成し、その統合した物体検出枠１５を表示部に出力する。これにより、ステップＳＴ７で統合された第２の物体検出枠１５が表示される。

図１１は、本実施の形態で表示される物体検出枠の様子を分かり易く表したものである。なお、実施の形態１で説明した図６と比べると、本実施の形態で表示される物体検出枠の特徴がよく分かるので、以下では、図６との違いについて説明する。

図１１Ａに示す例のように、物体検出枠算出部１０２によって上段に示したような第２の物体検出枠１２が得られた場合、これらの物体検出枠１２の距離は閾値以下なので、表示枠統合部２０１はこれらの物体検出枠１２を統合し、下段に示すような物体検出枠１５を形成し、これを表示させる。

図１１Ｂに示す例のように、物体検出枠算出部１０２によって上段に示したような第２の物体検出枠１２が得られた場合には、実施の形態１で説明したように、表示枠形成部１０５によって第２の物体検出枠１２が拡大され、物体検出枠１４とされる。このとき、物体検出枠１４との距離が閾値以下の物体検出枠は無いので、物体検出枠１４は、統合されずに、下段に示すように表示される。

図１１Ｃに示す例のように、物体検出枠算出部１０２によって上段に示したような第２の物体検出枠１２が得られた場合には、実施の形態１で説明したように、表示枠形成部１０５によって第２の物体検出枠１２が拡大され、物体検出枠１４とされる。このとき、複数の物体検出枠１４の距離が閾値以下なので、これら複数の物体検出枠１４は、下段に示すように、統合された物体検出枠１５とされて表示される。

図１２に、本実施の形態の物体検出枠表示装置２００により表示される画像の例を示す。図１２Ａ、図１２Ｂ、図１２Ｃ、図１２Ｄは、ほぼ同じ位置を図１２Ａ→図１２Ｂ→図１２Ｃ→図１２Ｄの順で撮像した時系列画像を示すものである。図中の細線で示す枠は第１の物体検出枠１１であり、太線で示す矩形枠は、本実施の形態で最終的に表示される物体検出枠１５である。

本実施の形態の表示例である図１２は、実施の形態１の表示例である図７と比較すると、図１２Ａ、図１２Ｄの時系列画像では、距離が閾値以下の物体検出枠が統合されて物体検出枠１５として表示される。なお、図１２Ｂ、図１２Ｃの時系列画像では、物体検出枠１４との距離が閾値以下の物体検出枠は無いので、物体検出枠１４は、統合されずにそのまま物体検出枠１５として表示される。

以上説明したように、本実施の形態によれば、実施の形態１の構成に加えて、近接した第２の物体検出枠１２、１４を統合する表示枠統合部２０１を設けたことにより、実施の形態１の効果に加えて、時系列画像において、表示される物体検出枠１５の数が変動することを抑制できるので、より見易い物体検出枠１５を表示できるようになる。

つまり、実施の形態１の構成を採用すると、確かに、検出物体が極端にはみ出ることのない物体検出枠を形成できるが、時系列画像において、同一の物体領域での物体検出枠の数が２つになったり、１つになったり頻繁に変動する可能性がある。本実施の形態の構成によれば、これを防止して、時系列画像において、同一の検出物体についての物体検出枠の数の変動を抑制できる。

また、大きさが似ていて（つまり互いの大きさの比率が閾値以下であり）、かつ、重なりがある（つまり互いの距離が閾値以下である）、物体検出枠は、ちらつきの原因となる可能性があるが、統合によってこのような物体検出枠は無くなるので、ちらつきを解消できる。

［実施の形態３］
図２との対応部分に同一符号を付して示す図１３に、本実施の形態の物体検出枠表示装置３００の構成を示す。図１３の物体検出枠表示装置３００は、図２の物体検出枠表示装置１００と比較して、表示枠形成部３０１の構成が表示枠形成部１０５の構成と異なる。

表示枠形成部３０１は、複数物体存在推定部１０４から、第２の物体検出枠１２の近傍に複数の検出対象物体が存在しないことを示す推定結果情報を入力した場合には、表示物体検出枠として、第２の物体検出枠１２を出力する。これに対して、表示枠形成部３０１は、複数物体存在推定部１０４から、第２の物体検出枠１２の近傍に複数の検出対象物体が存在することを示す推定結果情報を入力した場合には、表示物体検出枠として、第３の物体検出枠１３の内部に、複数の第２の物体検出枠を形成する。

換言すれば、表示枠形成部３０１は、第２の物体検出枠１２の大きさが、第３の物体検出枠１３の大きさとの関係において、閾値未満の場合、第３の物体検出枠１３の内部に、複数の物体検出枠を形成して、表示させる。

本実施の形態の場合、表示枠形成部３０１は、第３の物体検出枠１３の大きさに対する、第２の物体検出枠１２の大きさの比率に基づいて、第３の物体検出枠１３の内部に形成する表示物体検出枠の個数を決定する。

図１４を用いて、本実施の形態の表示枠形成部３０１による、物体検出枠の形成処理について説明する。図中の細かい点線は第２の物体検出枠１２を示し、粗い点線は第３の物体検出枠１３を示し、実線は表示物体検出枠１６を示す。

１）物体検出枠１６の個数の決定：
第３の物体検出枠１３と第２の物体検出枠１２との面積比を、閾値判定することで、形成する表示物体検出枠１６の個数を決定する。ここで、図１４Ａに示したように、第３の物体検出枠１３の縦、横の長さをそれぞれ、Ａ_Ｈ、Ａ_Ｗとし、第２の物体検出枠１２の縦、横の長さをそれぞれ、Ｂ_Ｈ、Ｂ_Ｗとする。すると、面積比Ｒ ＝ （Ａ_Ｗ × Ａ_Ｈ）／（Ｂ_Ｗ × Ｂ_Ｈ）となる。この面積比を所定の閾値と比較することで、表示物体検出枠１６の個数を決定する。例えば、ＴＨ１＞ＴＨ２＞ＴＨ３＞ＴＨ４の関係の閾値ＴＨ１、ＴＨ２、ＴＨ３、ＴＨ４を設定する。そして、物体検出枠１６の個数は、ＴＨ１＜Ｒの場合には１個、ＴＨ１≧Ｒ＞ＴＨ２の場合には２個、ＴＨ２≧Ｒ＞ＴＨ３の場合には３個、ＴＨ３≧Ｒ＞ＴＨ４の場合には４個、といったように決定すればよい。図１４Ｂは、表示物体検出枠１６の個数が２個の例を示したものである。

２）物体検出枠１６の大きさ：
物体検出枠１６の大きさは、縦横の長さがそれぞれＢ_Ｈ、Ｂ_Ｗである。つまり、各物体検出枠１６の大きさは、第２の物体検出枠１２と同じ大きさである。換言すれば、各物体検出枠１６は、第２の物体検出枠１２をコピーしたものである。

３）物体検出枠１６の位置：
各物体検出枠１６の位置は、Ｘ＝（Ａ_Ｗ）／（Ｂ_Ｗ）とし、Ｙ＝（Ａ_Ｈ）／（Ｂ_Ｈ）としたときに、第３の物体検出枠１３の横Ａ_Ｗ、縦Ａ_Ｈを、それぞれＸ＋１、Ｙ＋１等分した位置を中心位置とする。図１４Ｂの例は、Ｘ＝２、Ｙ＝１の場合の例であり、Ａ_Ｗ、Ａ_Ｈをそれぞれ２＋１＝３、１＋１＝２等分した位置を中心とする物体検出枠１６が形成され表示される。

ところで、決定した物体検出枠１６の個数と、物体検出枠１６の位置の数とが、一致しない場合がある。具体的には、検出物体（人物）が横方向、縦方向に近接している場合は問題ないが、検出物体が縦横に近接している場合には上記数が一致しない場合がある。以下に、その理由及び対策を、図１５を用いて説明する。

図１５Ａは、決定した物体検出枠１６の個数と、物体検出枠１６の位置の数とが、一致している場合であり、このような場合には問題がない。一方で、図１５Ｂに示す例では、物体検出枠１６の個数を３つにするか４つにするかの問題が発生してしまう（実際には３つと決定することが好ましい）。

そこで、その対策として、本実施の形態では、先ず、Ａ_Ｗ、Ａ_ＨをそれぞれＸ＋１、Ｙ＋１等分した位置を、最終的に表示する物体検出枠１６の中心位置の候補点とする。この候補点数と、上記面積比から決定した物体検出枠数とが一致する場合には、その候補点を中心位置とする物体検出枠１６を形成して、そのまま表示する。

これに対して、候補点数よりも、上記面積比から決定した物体検出枠数が少ない場合には、それぞれの候補点位置を中心とした物体検出枠１６の領域と、第３の物体検出枠１３を求める基になった第１の物体検出枠１１の領域と、の重なり領域を求め、重なり領域の大きい候補点から順に採用する。ここで、第３の物体検出枠１３を求める基になった第１の物体検出枠１１の領域とは、図１５Ｃの網掛け領域で示すように、第３の物体検出枠１３を求める基になった、複数の第１の物体検出枠１１の和集合領域のことである。

図１５Ｂ、図１５Ｃの例を考えると、候補点Ｋ２、Ｋ３、Ｋ４を中心として形成される物体検出枠１６−２、１６−３、１６−４と比較して、候補点Ｋ１を中心として形成される物体検出枠１６−１は、図１５Ｃの網掛け領域との重なりが小さいので、候補点Ｋ１を中心として形成される物体検出枠１６−１を、最終的に表示する物体検出枠から除外すればよい。これにより、最終的に表示する枠を面積比から決定した物体検出枠数と一致させることができ、かつ、複数の候補点の中から的確な候補点を残して物体検出枠１６−２、１６−３、１６−４を形成できるようになる（図１５Ｂ参照）。

図１６は、本実施の形態で表示される物体検出枠１６の様子を分かり易く表したものである。なお、実施の形態１で説明した図６と比べると、本実施の形態で表示される物体検出枠１６の特徴がよく分かるので、以下では、図６との違いについて説明する。

図１６Ａに示す例のように、物体検出枠算出部１０２によって上段に示したような第２の物体検出枠１２が得られた場合、第２の物体検出枠１２の大きさが、第３の物体検出枠１３の大きさとの関係において、閾値以上なので、下段に示すように、第２の物体検出枠１２がそのまま表示物体検出枠１６として表示される。

図１６Ｂに示す例のように、物体検出枠算出部１０２によって上段に示したような第２の物体検出枠１２が得られた場合には、第２の物体検出枠１２の大きさが、第３の物体検出枠１３の大きさとの関係において、閾値未満なので、下段に示すように、第３の物体検出枠１３の内部に、複数の物体検出枠１６を形成する。

図１６Ｃに示す例のように、物体検出枠算出部１０２によって上段に示したような第２の物体検出枠１２が得られた場合には、左側の第２の物体検出枠１２−１は第３の物体検出枠１３−１との関係において大きさが閾値以上であり、右側の第２の物体検出枠１２−２は第３の物体検出枠１３−２との関係において大きさが閾値未満である。よって、下段に示すように、左側の第２の物体検出枠１２−１はそのまま表示物体検出枠１６として表示され、右側の第２の物体検出枠１２−２は第３の物体検出枠１３−２の内部に複数の物体検出枠１６が形成されて表示される。

以上説明したように、本実施の形態によれば、実施の形態１の構成に加えて、表示枠形成部３０１によって、第２の物体検出枠１２の大きさが、第３の物体検出枠１３の大きさとの関係において、閾値未満の場合、第３の物体検出枠１３の内部に、複数の物体検出枠１６を形成するようにした。また、第３の物体検出枠１３の大きさに対する、第２の物体検出枠１２の大きさの比率に基づいて、第３の物体検出枠１３の内部に形成する表示物体検出枠１６の個数を決定するようにした。

これにより、実施の形態１の効果に加えて、時系列画像において、表示される物体検出枠１６の数が変動することを抑制できるので、より見易い物体検出枠１６を表示できるようになる。

なお、上述の実施の形態の物体検出枠表示装置１００、２００、３００における画像入力部１０１及び表示部１１０以外の構成要素は、メモリ・ＣＰＵを含むパソコン等のコンピュータによって構成することができる。そして、各構成要素の機能は、メモリ上に記憶されたコンピュータプログラムをＣＰＵが読み出して実行処理することで実現できる。

２０１１年６月１０日出願の特願２０１１−１３０２００の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明は、例えばディジタルカメラや車載カメラ等により得られた撮像画像に対して、画像認識処理を施す場合に好適である。

１１ 第１の物体検出枠
１２ 第２の物体検出枠
１３ 第３の物体検出枠
１４、１５、１６ 表示物体検出枠
１００、２００、３００ 物体検出枠表示装置
１０２ 物体検出枠算出部
１０３ 内包枠算出部
１０４ 複数物体存在推定部
１０５、３０１ 表示枠形成部
１１０ 表示部
２０１ 表示枠統合部

Claims (8)

1. 入力画像から、検出対象物体の領域を示す第１の物体検出枠を求め、さらに同一の検出対象物に関する物体検出枠であると類推される前記第１の物体検出枠同士を統合することで、第２の物体検出枠を求める、物体検出枠算出部と、
   前記第２の物体検出枠ごとに、その基になった前記第１の物体検出枠を内包する、第３の物体検出枠を求める、内包枠算出部と、
   前記第３の物体検出枠の大きさに対する、前記第２の物体検出枠の大きさの関係に基づいて、表示する物体検出枠を形成する、表示枠形成部と、
   前記表示枠形成部によって形成された前記物体検出枠を表示する表示部と、
   を具備する物体検出枠表示装置。
2. 前記表示枠形成部は、前記第２の物体検出枠の大きさが、前記第３の物体検出枠の大きさとの関係において、閾値未満の場合、前記第２の物体検出枠を拡大した物体検出枠を形成する、
   請求項１に記載の物体検出枠表示装置。
3. 前記表示部に表示される前記物体検出枠の大きさは、前記第２の物体検出枠の大きさ以上であり、かつ、前記第３の物体検出枠の大きさ以下である、
   請求項１に記載の物体検出枠表示装置。
4. 互いの距離が第１の閾値以下であり、かつ、互いの大きさの比率が第２の閾値以下である、条件を満たす、前記第２の物体検出枠を検出し、検出した前記第２の物体検出枠を統合して、前記条件を満たす複数の前記第２の物体検出枠を内包する表示物体検出枠を形成する、物体検出枠統合部を、さらに具備し、
   前記表示部は、前記表示枠形成部及び前記物体検出枠統合部によって形成された前記表示物体検出枠を表示する、
   請求項１に記載の物体検出枠表示装置。
5. 前記物体検出枠統合部が統合する前記第２の物体検出枠は、互いに一部の領域が重なっている複数の前記第２の物体検出枠である、
   請求項４に記載の物体検出枠表示装置。
6. 前記表示枠形成部は、前記第２の物体検出枠の大きさが、前記第３の物体検出枠の大きさとの関係において、閾値未満の場合、前記第３の物体検出枠の内部に、複数の物体検出枠を形成する、
   請求項１に記載の物体検出枠表示装置。
7. 前記表示枠形成部は、前記第３の物体検出枠の大きさに対する、前記第２の物体検出枠の大きさの比率に基づいて、前記第３の物体検出枠の内部に形成する前記表示物体検出枠の個数を決定する、
   請求項１に記載の物体検出枠表示装置。
8. 入力画像から、検出対象物体の領域を示す第１の物体検出枠を求め、さらに同一の検出対象物に関する物体検出枠であると類推される前記第１の物体検出枠同士を統合することで、第２の物体検出枠を求める、物体検出枠算出ステップと、
   前記第２の物体検出枠ごとに、その基になった前記第１の物体検出枠を内包する、第３の物体検出枠を求める、内包枠算出ステップと、
   前記第３の物体検出枠の大きさに対する、前記第２の物体検出枠の大きさの関係に基づいて、表示する物体検出枠を形成する、表示枠形成ステップと、
   を含む、物体検出枠表示方法。
   
   

Images