JP6604019B2 - 画像処理装置、画像処理方法、および画像処理システム - Google Patents

Description

本開示は、画像処理装置、画像処理方法、および画像処理システムに関する。

従来、撮影された画像の中から、検出対象の人物などの物体の領域を切り出すための技術が各種開発されている。

例えば、特許文献１には、魚眼レンズカメラにより撮影された画像の中から移動体を検出し、検出した各移動体の外接四角形の領域をそれぞれ切り出す技術が記載されている。また、特許文献２には、直前のフレーム画像で抽出した部分領域の位置情報と、現在のフレーム画像から解析される物理的特徴量とに基づいて、各フレーム画像から部分領域を抽出する技術が記載されている。また、特許文献３には、映像データから抽出される動体のうちサイズ、存在時間、もしくは移動速度が最も大きい動体を検出し、そして、検出した動体を含む領域を切り出す技術が記載されている。

特開２００１−３３３４２２号公報 特開２００４−３３４５８７号公報 特開２０１４−２２２８２５号公報

しかしながら、特許文献１〜特許文献３に記載の技術では、切り出し領域の位置が制約される場合がある。例えば、特許文献３に記載の技術では、一度検出対象に定められた物体が同じ場所に位置し続けると、同じ場所が切り出し領域として長時間設定され続ける。

そこで、本開示では、検出対象の物体が停止している時間の長さに適応的に切り出し領域を決定することが可能な、新規かつ改良された画像処理装置、画像処理方法、および画像処理システムを提案する。

本開示によれば、動画像に含まれる第１のフレーム画像から第１の物体を検出する物体検出部と、前記第１の物体の検出位置が含まれるように前記第１のフレーム画像の切り出し領域を決定する切り出し領域決定部と、を備え、前記切り出し領域決定部は、前記第１のフレーム画像よりも後の第２のフレーム画像において、前記第１の物体が停止していると推測される時間の長さに基づいて、前記第２のフレーム画像の切り出し領域を決定する、画像処理装置が提供される。

また、本開示によれば、動画像に含まれる第１のフレーム画像から第１の物体を検出することと、前記第１の物体が停止していると推測される時間の長さに基づいて、前記第１のフレーム画像よりも後の第２のフレーム画像の切り出し領域を決定することと、を備える、画像処理方法が提供される。

また、本開示によれば、動画像に含まれる第１のフレーム画像から第１の物体を検出する物体検出部と、前記第１の物体の検出位置が含まれるように前記第１のフレーム画像の切り出し領域を決定する切り出し領域決定部と、前記切り出し領域決定部により決定された前記切り出し領域を前記第１のフレーム画像から切り出すことにより切り出し画像を生成する切り出し画像生成部と、生成された前記切り出し画像を記憶する記憶部と、を備え、前記切り出し領域決定部は、前記第１のフレーム画像よりも後の第２のフレーム画像において、前記第１の物体が停止していると推測される時間の長さに基づいて、前記第２のフレーム画像の切り出し領域を決定する、画像処理システムが提供される。

以上説明したように本開示によれば、検出対象の物体が停止している時間の長さに適応的に切り出し領域を決定することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示の実施形態による画像処理システムの構成例を示した説明図である。 カメラ１０により生成された縮小画像３２の一例を示した説明図である。 フレーム画像３０から生成された複数のクロッピング画像５０の一例を示した説明図である。 同実施形態によるカメラ１０の構成を示した機能ブロック図である。 フレーム画像３０とクロッピング領域４０との関係を示した説明図である。 同実施形態による監視端末２２の構成を示した機能ブロック図である。 同実施形態による評価基準設定画面の表示例を示した説明図である。 同実施形態による領域設定部１０４の構成を示した機能ブロック図である。 同実施形態による動作を示したフローチャートである。 同実施形態によるクロッピング画像生成処理の動作の一部を示したフローチャートである。 同実施形態によるクロッピング画像生成処理の動作の一部を示したフローチャートである。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じて映像クロッピング部１０６ａおよび映像クロッピング部１０６ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、映像クロッピング部１０６ａおよび映像クロッピング部１０６ｂを特に区別する必要が無い場合には、単に映像クロッピング部１０６と称する。

また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．画像処理システムの基本構成
２．実施形態の詳細な説明
３．変形例

＜＜１．画像処理システムの基本構成＞＞
本開示は、一例として「２．実施形態の詳細な説明」において詳細に説明するように、多様な形態で実施され得る。最初に、本実施形態による画像処理システムの基本構成について、図１を参照して説明する。

図１に示したように、本実施形態による画像処理システムは、カメラ１０、ストレージ２０、監視端末２２、および、通信網２４を含む。

＜１−１．カメラ１０＞
カメラ１０は、本開示における画像処理装置の一例である。カメラ１０は、外環境の動画像を撮影するための装置である。このカメラ１０は、人や車の交通量が多い場所や、監視対象の場所などに設置され得る。例えば、カメラ１０は、道路、駅、空港、商業用ビルディング、アミューズメントパーク、公園、駐車場、または立ち入り禁止区域などに設置されてもよい。

また、カメラ１０は、撮影したフレーム画像を用いて別の画像を生成することや、生成した別の画像を後述する通信網２４を介して他の装置へ送信することが可能である。ここで、フレーム画像は、例えば、カメラ１０が撮影可能な上限の解像度を有する画像である。一例として、フレーム画像は、４Ｋの画像であってもよい。

例えば、カメラ１０は、フレーム画像に基づいてデータ量の小さい別の画像を生成する。この理由は、フレーム画像はデータ量が大きいので、例えば伝送に時間がかかるなどの理由により、フレーム画像自体を他の装置へ送信することは望ましくないからである。

ここで、カメラ１０が生成する別の画像の例は、フレーム画像の解像度を単純に下げた画像である縮小画像や、注視対象の領域をクロッピング（切り取り）した画像であるクロッピング画像である。なお、縮小画像は、例えばフルＨＤの画像であってもよい。

図２は、縮小画像の一例（縮小画像３２）を示した説明図である。縮小画像３２は、フレーム画像に含まれる全ての領域を含む。一方で、図２に示したように、縮小画像３２では、例えば人の顔などの、注視対象の領域が非常に小さくなり得るので、視認し辛くなり得る。なお、図２に示した領域４０は、後述するクロッピング領域に対応する領域である。通常、クロッピング領域はフレーム画像内に設定されるが、図２では、説明の便宜上、縮小画像３２における、クロッピング領域に対応する領域を領域４０と記載している。

また、図３は、一枚のフレーム画像から生成された複数のクロッピング画像の一例（クロッピング画像５０の集合５２）を示した説明図である。クロッピング画像５０は、フレーム画像と同じ解像度を有するが、図３に示したように、個々のクロッピング画像５０は、フレーム画像のうちの一部の領域だけしか含まない。そこで、本実施形態によるカメラ１０は、基本的には、一枚のフレーム画像から一枚の縮小画像、および、一以上のクロッピング画像を生成する。この生成例によれば、カメラ１０により撮影された全景をユーザが確認でき、かつ、注視対象の領域を高解像度でユーザは確認することができる。そして、フレーム画像と比較して合計のデータ量を抑制することができる。

ここで、図４を参照して、カメラ１０の内部構成について説明する。図４に示したように、カメラ１０は、撮影部１００、映像縮小部１０２、領域設定部１０４、複数の映像クロッピング部１０６、および、通信部１０８を含む。なお、図４では、映像クロッピング部１０６が四個設けられる例を示しているが、かかる例に限定されず、一以上の任意の個数設けられてもよい。

［１−１−１．撮影部１００］
撮影部１００は、外部の映像を、レンズを通して例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子に結像させることにより、フレーム画像を取得する機能を有する。例えば、撮影部１００は、所定のフレームレートごとに外部の映像を撮影することにより、フレーム画像を取得する。

［１−１−２．映像縮小部１０２］
映像縮小部１０２は、撮影部１００により取得されたフレーム画像を所定のサイズに縮小することにより縮小画像を生成する。

［１−１−３．領域設定部１０４］
領域設定部１０４は、撮影部１００により取得されたフレーム画像において、クロッピング画像の生成元となる領域であるクロッピング領域を設定する。例えば、領域設定部１０４は、撮影部１００により取得されたフレーム画像から、カメラ１０に設けられている映像クロッピング部１０６の個数だけクロッピング領域を設定する。

図５は、領域設定部１０４によるクロッピング領域の設定例を示した説明図である。なお、図５では、クロッピング領域４０の横幅の長さを“ｃｒｏｐ＿ｗｉｄｔｈ”、クロッピング領域４０の縦幅の長さを“ｃｒｏｐ＿ｈｅｉｇｈｔ”とそれぞれ記載している。

図５に示したように、領域設定部１０４は、フレーム画像３０の中から人物３００などの検出対象の物体を検出し、そして、物体の検出位置３０２に基づいてクロッピング領域４０を設定する。

［１−１−４．映像クロッピング部１０６］
映像クロッピング部１０６は、本開示における切り出し画像生成部の一例である。映像クロッピング部１０６は、領域設定部１０４により設定されたクロッピング領域を、撮影部１００により取得されたフレーム画像から切り出すことによりクロッピング画像を生成する。

例えば、図３に示した例では、四個の映像クロッピング部１０６の各々により生成された四枚のクロッピング画像５０を示している。図３に示したように、例えば、映像クロッピング部１０６ａは、領域設定部１０４により設定された、図２に示した領域４０ａに対応するクロッピング領域からクロッピング画像５０ａを生成する。また、映像クロッピング部１０６ｂは、領域設定部１０４により設定された、図２に示した領域４０ｂに対応するクロッピング領域からクロッピング画像５０ｂを生成する。

［１−１−５．通信部１０８］
通信部１０８は、本実施形態による取得部の一例である。通信部１０８は、後述する通信網２４を介して、通信網２４に接続された装置との間で各種の情報の送受信を行う。例えば、通信部１０８は、映像縮小部１０２により取得された縮小画像、および、複数の映像クロッピング部１０６により生成された複数のクロッピング画像をストレージ２０へ送信する。また、通信部１０８は、ユーザにより設定された、クロッピング対象を選択するための検出指定情報を監視端末２２から受信する。

なお、検出指定情報は、監視端末２２から受信される代わりに、カメラ１０が最初から記憶していてもよい。以下では、検出指定情報が監視端末２２から受信される例を中心として説明を行う。

＜１−２．ストレージ２０＞
ストレージ２０は、カメラ１０から受信される縮小画像およびクロッピング画像を記憶するための記憶装置である。例えば、ストレージ２０は、カメラ１０の識別情報、撮影日時、受信された縮小画像、および受信された複数のクロッピング画像を対応づけて記憶する。なお、ストレージ２０は、例えばデータセンタや、監視員が勤務する監視センタなどに設置され得る。

＜１−３．監視端末２２＞
監視端末２２は、カメラ１０により生成された縮小画像およびクロッピング画像を表示するための情報処理端末である。この監視端末２２は、例えば監視センタに設置され、そして、監視員に使用され得る。

ここで、監視端末２２の構成について詳細に説明する。図６は、本実施形態による監視端末２２の構成を示した機能ブロック図である。図６に示したように、監視端末２２は、制御部２２０、通信部２２２、表示部２２４、および入力部２２６を有する。

［１−３−１．制御部２２０］
制御部２２０は、監視端末２２に内蔵されるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などのハードウェアを用いて、監視端末２２の動作を全般的に制御する。

［１−３−２．通信部２２２］
通信部２２２は、後述する通信網２４を介して、通信網２４に接続された装置との間で各種の情報の送受信を行う。例えば、通信部２２２は、ストレージ２０に格納されている縮小画像およびクロッピング画像をストレージ２０から受信する。なお、通信部２２２は、カメラ１０により生成された縮小画像、および複数のクロッピング画像をカメラ１０から直接受信することも可能である。

また、通信部２２２は、制御部２２０の制御に従って、後述する評価基準設定画面においてユーザにより入力された、クロッピング対象の物体を選択するための検出指定情報をカメラ１０へ送信する。

［１−３−３．表示部２２４］
表示部２２４は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などのディスプレイにより構成される。この表示部２２４は、例えば、ストレージ２０から受信された縮小画像またはクロッピング画像を含む監視画面などを表示する。

また、表示部２２４は、制御部２２０の制御に従って、評価基準設定画面を表示する。この評価基準設定画面は、カメラ１０により撮影されたフレーム画像の中からクロッピング対象の物体を決定するために用いられる検出指定情報をユーザが設定（または変更）するための画面である。例えば、検出指定情報は、評価基準設定画面において選択された１以上の評価項目、および、当該評価項目の評価基準を含むように設定される。

ここで、図７を参照して、評価基準設定画面（評価基準設定画面６０）の表示例について説明する。図７に示したように、評価基準設定画面６０は、例えば物体のサイズ設定欄６００ａや、物体のスピード設定欄６００ｂなどの複数の評価項目の設定欄６００を含む。図７に示したように、複数の評価項目は、例えば、物体のサイズ、物体のスピード、物体の滞在時間、物体の縦横比、物体が画面外に出るまでの予測時間、物体とホームポジションとの距離、物体の追跡時間、または、物体の停止時間などを含む。ここで、物体の縦横比は、例えば人と自動車とを区別するなど、検出対象の物体の種類を区別するために用いられる評価項目である。なお、縦横比を用いることのメリットとして、少ない計算量で物体の種類を識別できることが挙げられる。

また、物体が画面外に出るまでの予測時間は、例えば過去のフレームにおける位置の変化に基づいて物体の移動速度を算出し、そして、算出された移動速度に基づいて予測される時間である。この「物体が画面外に出るまでの予測時間」は、例えば、高速に移動する物体であっても、少なくとも一回だけは撮影しておきたいような場合に利用される評価項目である。なお、ホームポジションは、本開示における監視対象領域の一例である。このホームポジションは、例えば、物体の検出枠ごとに定められる。一例として、検出枠は、例えば、通り、建物の入り口、立ち入り禁止区域などユーザが監視を希望する場所ごとに決められ得る。また、物体の検出枠は、カメラ１０に含まれる複数の映像クロッピング部１０６の各々に対応づけて設定されてもよい。

例えば、図７に示した例では、物体のスピード、物体の縦横比、ホームポジションまでの距離、および、物体の停止時間がユーザにより評価項目として選択されたことを示している。さらに、図７では、物体のスピードが規定値よりも速い物体、物体の縦横比が規定値よりも小さい物体、ホームポジションまでの距離が規定値よりも長い物体、または、物体の停止時間が規定値よりも短い物体であるほど、評価が高くなるように評価基準が指定されたことを示している。

［１−３−４．入力部２２６］
入力部２２６は、例えばマウス、キーボード、タッチパネル、または、マイクロフォンなどの入力装置を含む。この入力部２２６は、監視端末２２に対するユーザによる各種の入力を受け付ける。例えば、入力部２２６は、表示部２２４に表示された評価基準設定画面に対する検出指定情報の入力を受け付ける。

＜１−４．通信網２４＞
通信網２４は、通信網２４に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網２４は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網２４は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

なお、本実施形態による画像処理システムは、上述した構成に限定されない。例えば、ストレージ２０および監視端末２２は一体的に構成されてもよい。または、本画像処理システムは、ストレージ２０もしくは監視端末２２を含まないことも可能である。

上述した画像処理システムにおいて、本実施形態によるカメラ１０は、ユーザにより指定された検出指定情報に基づいて、最適なクロッピング対象を自動的に選択することが可能である。

＜＜２．実施形態の詳細な説明＞＞
＜２−１．構成＞
以上、本実施形態による画像処理システムの構成について説明した。次に、本実施形態によるカメラ１０の構成について詳細に説明する。

本実施形態によるカメラ１０の構成の特徴は、特に領域設定部１０４の構成に関する。以下では、図８を参照して、領域設定部１０４の構成についてさらに詳細に説明する。

図８に示したように、領域設定部１０４は、物体検出部１２０、クロッピング領域決定部１２２、および、重なり判定部１２４を含む。

［２−１−１．物体検出部１２０］
（２−１−１−１．検出例１）
物体検出部１２０は、例えば監視端末２２から受信された検出指定情報に基づいて、撮影部１００により取得されたフレーム画像（以下、現在のフレーム画像と称する）における検出枠の中からクロッピング対象の物体を検出する。例えば、物体検出部１２０は、検出枠に含まれる複数の物体のうち、受信された検出指定情報に含まれる評価項目の評価基準で評価した値が最も高い物体をクロッピング対象として検出する。

なお、受信された検出指定情報が複数の評価項目を含む場合には、物体検出部１２０は、検出枠に含まれる複数の物体のうち、当該検出指定情報に含まれる複数の評価項目の各々の評価基準による評価値の組み合わせに基づいてクロッピング対象の物体を検出することも可能である。例えば、上記の場合には、物体検出部１２０は、まず、検出枠に含まれる複数の物体の各々について、当該検出指定情報が示す複数の評価項目の各々について評価基準に従って評価し、そして、各評価項目の評価値の合計を算出する。そして、物体検出部１２０は、各評価項目の評価値の合計が最も高い物体をクロッピング対象として検出する。

（２−１−１−２．検出例２）
また、受信された検出指定情報が評価項目「物体の停止時間」を含む場合には、物体検出部１２０は、現在の検出対象の物体が停止していると推測される時間の長さと、当該検出指定情報に含まれる停止上限時間との比較に基づいて、検出対象の物体を切り替えるか否かを判断する。

例えば、現在の検出対象の物体が停止していると推測される時間の長さが停止上限時間より大きい場合には、物体検出部１２０は、検出対象の物体を別の物体に切り替えることを判断する。また、現在の検出対象の物体が停止していると推測される時間の長さが停止上限時間以下である場合には、物体検出部１２０は、検出対象の物体を、前のフレーム画像と同一にすることを判断する。なお、物体検出部１２０は、例えば、連続するフレーム画像間での検出対象の物体の検出位置の変化量が所定の範囲内である場合には、当該物体が停止していると推測することが可能である。

また、受信された検出指定情報が評価項目「物体の追跡時間」を含む場合には、物体検出部１２０は、現在の検出対象の物体の検出の継続時間と、当該検出指定情報に含まれる追跡上限時間との比較に基づいて、検出対象の物体を切り替えるか否かを判断する。なお、追跡上限時間は、クロッピング対象の物体を同一の物体に維持する時間の上限値である。

例えば、現在の検出対象の物体の検出の継続時間が追跡上限時間を超えた場合には、物体検出部１２０は、検出対象の物体を別の物体に切り替えることを判断する。また、現在の検出対象の物体の検出の継続時間が追跡上限時間以下である場合には、物体検出部１２０は、検出対象の物体を、前のフレーム画像と同一にすることを判断する。

また、受信された検出指定情報が評価項目「物体とホームポジションとの間の距離」を含む場合には、物体検出部１２０は、動画像において予め設定されているホームポジションと現在の検出対象の物体との間の距離と、当該検出指定情報に含まれる監視上限距離との比較に基づいて、検出対象の物体を切り替えるか否かを判断する。

例えば、ホームポジションと現在の検出対象の物体との間の距離が監視上限距離を超えた場合には、物体検出部１２０は、検出対象の物体を、例えばホームポジションの最も近くに位置する物体などの、別の物体に切り替えることを判断する。また、ホームポジションと現在の検出対象の物体との間の距離が監視上限距離以内である場合には、物体検出部１２０は、検出対象の物体を、前のフレーム画像と同一にすることを判断する。

（２−１−１−３．検出例３）
また、後述する重なり判定部１２４によりクロッピング領域が重なっていると判定された場合には、物体検出部１２０は、判定されたクロッピング領域のうちいずれかのクロッピング対象の物体を別の物体に切り替えることを判断する。

例えば、物体検出部１２０は、重なり判定部１２４によりクロッピング領域が重なっていると判定されたときから、受信された検出指定情報に含まれる「検出対象の切り替え時間」が経過した場合に、重なっているクロッピング領域のうちいずれかのクロッピング対象の物体を別の物体に切り替えることを判断する。

なお、変形例として、重なり判定部１２４によりクロッピング領域が重なっていると判定されたクロッピング領域のうち、クロッピング対象の物体を別の物体に切り替えるクロッピング領域（以下、クロッピング対象切り替え領域と称する）を、物体検出部１２０は、受信された検出指定情報に従って判断してもよい。例えば、物体検出部１２０は、重なっているクロッピング領域のうち、受信された検出指定情報に含まれる評価項目の値がより低いクロッピング対象を含むクロッピング領域をクロッピング対象切り替え領域に決定してもよい。また、物体検出部１２０は、重なっているクロッピング領域のうち、より早い時刻からクロッピング対象の物体の検出（追跡）を継続しているクロッピング領域をクロッピング対象切り替え領域に決定してもよい。

（２−１−１−４．検出例４）
なお、物体検出部１２０は、現在のフレーム画像の中から、例えば映像クロッピング部１０６の個数以内の数など、所定の数の物体を検出することが可能である。

（２−１−１−５．検出例５）
また、物体検出部１２０は、検出枠の中にクロッピング対象（追跡対象）の物体が存在しない場合には、いずれの物体も検出しないことが可能である。

［２−１−２．クロッピング領域決定部１２２］
（２−１−２−１．決定例１）
クロッピング領域決定部１２２は、本開示における切り出し領域決定部の一例である。クロッピング領域決定部１２２は、物体検出部１２０により検出された物体の検出位置が含まれるように、現在のフレーム画像におけるクロッピング領域を決定する。例えば、クロッピング領域決定部１２２は、物体検出部１２０により検出された物体の検出位置がクロッピング領域の中心になるように、現在のフレーム画像におけるクロッピング領域を決定する。

なお、フレーム画像におけるクロッピング領域の形状およびサイズは、基本的には、全てのフレーム画像において同一に定められる。また、クロッピング領域のサイズは、基本的には、所定の大きさに定められている。

（２−１−２−２．決定例２）
なお、物体検出部１２０によりいずれの物体も検出されなかった場合には、クロッピング領域決定部１２２は、いずれの領域も出力しないことを決定してもよい。または、上記の場合には、クロッピング領域決定部１２２は、ホームポジションを含む領域をクロッピング領域として決定してもよい。

［２−１−３．重なり判定部１２４］
重なり判定部１２４は、クロッピング領域決定部１２２によりクロッピング領域が決定された際に、受信された検出指定情報に含まれる重なり判定条件に基づいて、当該クロッピング領域が他のクロッピング領域と重なっているか否かを判定する。例えば、重なり判定部１２４は、クロッピング領域の面積に対する、重なっている領域の面積の割合が所定の閾値以上である場合には、当該クロッピング領域は他のクロッピング領域と重なっていると判定する。また、重なり判定部１２４は、当該クロッピング領域の中心から他のクロッピング領域までの距離が所定の閾値以下である場合には、当該クロッピング領域は他のクロッピング領域と重なっていると判定する。

＜２−２．動作＞
以上、本実施形態による構成について説明した。続いて、本実施形態による動作について、図９〜図１１を参照して説明する。なお、ここでは、カメラ１０が映像クロッピング部１０６を四個有しており、そして、一枚のフレーム画像から一枚の縮小画像および四枚のクロッピング画像を生成する場面における動作例について説明する。なお、この動作は、所定のフレームレートごとに繰り返し実行される。

［２−２−１．全体の動作］
図９は、本実施形態による動作例を示したフローチャートである。図９に示したように、まず、カメラ１０の撮影部１００は、所定の撮影タイミングが到来したら、外部の映像を撮影することによりフレーム画像を取得する（Ｓ１０１）。

続いて、映像縮小部１０２は、Ｓ１０１で取得されたフレーム画像（以下、現在のフレーム画像と称する）を所定のサイズに縮小することにより縮小画像を生成する（Ｓ１０３）。

その後、カメラ１０は、後述する「クロッピング画像生成処理」を映像クロッピング部１０６の個数、つまり４回繰り返して行う（Ｓ１０５〜Ｓ１１１）。

その後、通信部１０８は、Ｓ１０３で生成された縮小画像、およびＳ１０７で生成された４枚のクロッピング画像をストレージ２０へ送信する（Ｓ１１３）。

［２−２−２．クロッピング画像生成処理］
ここで、図１０〜図１１を参照して、Ｓ１０７における「クロッピング画像生成処理」の動作について詳細に説明する。図１０に示したように、まず、カメラ１０の物体検出部１２０は、Ｉ箇所目のクロッピング対象として設定されている物体、つまり、追跡中の物体を検出する（Ｓ１５１）。

続いて、クロッピング領域決定部１２２は、Ｓ１５１で検出された物体の検出位置がクロッピング領域の中心になるように、現在のフレーム画像におけるクロッピング領域を決定する（Ｓ１５３）。

ここで、図１１を参照して、Ｓ１５３よりも後の動作について説明する。図１１に示したように、Ｓ１５３の後、物体検出部１２０は、Ｓ１５１で検出された物体の（追跡開始からの）追跡時間の合計が追跡上限時間を経過したか否かを判定する（Ｓ１６１）。物体の追跡時間の合計が追跡上限時間を経過した場合には（Ｓ１６１：Ｙｅｓ）、物体検出部１２０は、Ｉ箇所目のクロッピング対象を別の物体に切り替える（Ｓ１６３）。その後、カメラ１０は、再びＳ１５３の動作を行う。

一方、物体の追跡時間が追跡上限時間を経過していない場合には（Ｓ１６１：Ｎｏ）、物体検出部１２０は、次に、Ｓ１５１で検出された物体の（停止が検出されたときからの）停止時間の合計が停止上限時間を経過したか否かを判定する（Ｓ１６５）。物体の停止時間の合計が停止上限時間を経過した場合には（Ｓ１６５：Ｙｅｓ）、物体検出部１２０は、Ｓ１６３の動作を行う。

一方、物体の停止時間の合計が停止上限時間を経過していない場合には（Ｓ１６５：Ｎｏ）、重なり判定部１２４は、Ｓ１５３で決定されたクロッピング領域が、同じフレーム画像内の他のクロッピング領域と重なっているか否かを判定する（Ｓ１６７）。該当のクロッピング領域が、他のクロッピング領域と重なっている場合には（Ｓ１６７：Ｙｅｓ）、物体検出部１２０は、Ｓ１６３の動作を行う。

一方、該当のクロッピング領域が、他のクロッピング領域と重なっていない場合には（Ｓ１６７：Ｎｏ）、映像クロッピング部１０６は、該当のクロッピング領域を現在のフレーム画像から切り出すことにより、クロッピング画像を生成する（Ｓ１６９）。

＜２−３．効果＞
［２−３−１．効果１］
以上、例えば図４、図８〜図１１などを参照して説明したように、本実施形態によるカメラ１０は、複数の評価項目の中からユーザにより選択された評価項目に基づいて物体を検出し、そして、検出された物体の検出位置が含まれるように、現在のフレーム画像におけるクロッピング領域を決定する。このため、フレーム画像に含まれる複数の物体のうち、最適なクロッピング対象を自動的に選択することができる。また、クロッピング対象の物体をクロッピングする時間の長さに関しても同様に最適化することができる。

［２−３−２．効果２］
また、カメラ１０は、クロッピング対象の物体が停止していると推測される時間が停止上限時間を超えた場合には、クロッピング対象の物体を別の物体に切り替え、そして、切り替え後の物体が中心となるようにクロッピング領域を決定する。このため、仮に、一度クロッピング対象に定められた物体が同じ場所に位置し続けたとしても、停止条件時間が経過すれば、クロッピング対象の物体は別の物体に変更される。従って、長時間同じ場所が切り出し領域に設定され続けることを防止できる。

［２−３−３．効果３］
また、クロッピング領域決定部１２２によるクロッピング領域の決定方法は簡易な方法であるので、カメラ１０は、クロッピング画像の生成をリアルタイムに行うことができる。

［２−３−４．効果４］
また、本実施形態によれば、カメラ１０単体で縮小画像およびクロッピング画像を生成することが可能である。このため、縮小画像およびクロッピング画像を生成するための例えばサーバなどの他の装置に、カメラ１０はフレーム画像を送信する必要がないので、通信量を軽減することができる。

＜＜３．変形例＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

＜３−１．変形例１＞
上述した実施形態では、本開示による画像処理装置がカメラ１０である例について説明したが、かかる例に限定されない。例えば、監視端末２２（の制御部２２０）が、カメラ１０の代わりに、上述した映像縮小部１０２、領域設定部１０４、および、複数の映像クロッピング部１０６の全てを有する場合には、本開示による画像処理装置は、監視端末２２であってもよい。

また、別途設けられたサーバ（図示省略）が例えば通信網２４を介してカメラ１０と通信可能であり、かつ、このサーバが、カメラ１０の代わりに、上述した映像縮小部１０２、領域設定部１０４、および、複数の映像クロッピング部１０６の全てを有する場合には、本開示による画像処理装置は、サーバであってもよい。また、このサーバとストレージ２０とは一体的に構成されてもよい。

＜３−２．変形例２＞
また、上記の説明では、物体の追跡上限時間、および、物体の停止上限時間は検出指定情報に含まれる値、つまり固定値である例について説明したが、かかる例に限定されず、カメラ１０は、追跡上限時間、または、停止上限時間を動的に決定してもよい。例えば、カメラ１０は、検出枠ごとに、追跡上限時間、または、停止上限時間を動的に決定してもよい。一例として、カメラ１０は、検出枠ごとに、未追跡の物体の数が少ないほど、追跡上限時間を長くしてもよい。また、カメラ１０は、検出枠に例えば監視対象領域が含まれる場合には、追跡上限時間をより長くしてもよい。

＜３−３．変形例３＞
また、上述した実施形態によれば、例えばＣＰＵ、ＲＯＭ、およびＲＡＭなどのハードウェアを、上述した映像縮小部１０２、領域設定部１０４、および、映像クロッピング部１０６と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
動画像に含まれる第１のフレーム画像から第１の物体を検出する物体検出部と、
前記第１の物体の検出位置が含まれるように前記第１のフレーム画像の切り出し領域を決定する切り出し領域決定部と、
を備え、
前記切り出し領域決定部は、前記第１のフレーム画像よりも後の第２のフレーム画像において、前記第１の物体が停止していると推測される時間の長さに基づいて、前記第２のフレーム画像の切り出し領域を決定する、画像処理装置。
（２）
前記切り出し領域決定部は、前記第１の物体が停止していると推測される時間の長さが停止上限時間より大きいか否かに基づいて、前記第２のフレーム画像の切り出し領域を決定する、前記（１）に記載の画像処理装置。
（３）
前記第２のフレーム画像が、前記第１の物体が停止していると推測される時間が前記停止上限時間を超えた際もしくは後のフレーム画像である場合には、前記物体検出部は、前記第２のフレーム画像から第２の物体を検出し、
前記切り出し領域決定部は、前記第２の物体の検出位置が含まれるように前記第２のフレーム画像の切り出し領域を決定する、前記（２）に記載の画像処理装置。
（４）
前記第２のフレーム画像が、前記第１の物体が停止していると推測される時間が前記停止上限時間以下である際のフレーム画像である場合には、前記切り出し領域決定部は、前記第１の物体の検出位置が含まれるように前記第２のフレーム画像の切り出し領域を決定する、前記（２）または（３）に記載の画像処理装置。
（５）
前記第１の物体が停止していると推測される時間の長さは、連続するフレーム画像間での前記第１の物体の検出位置の変化量が所定の範囲内である間の時間の長さである、前記（２）〜（４）のいずれか一項に記載の画像処理装置。
（６）
前記画像処理装置は、ユーザにより指定された停止上限時間の長さを取得する取得部をさらに備え、
前記切り出し領域決定部は、前記第１の物体が停止していると推測される時間の長さが、前記取得部により取得された停止上限時間以上であるか否かに基づいて、前記第２のフレーム画像の切り出し領域を決定する、前記（５）に記載の画像処理装置。
（７）
前記第２のフレーム画像の切り出し領域の形状およびサイズは、前記第１のフレーム画像の切り出し領域と同一である、前記（２）〜（６）のいずれか一項に記載の画像処理装置。
（８）
前記画像処理装置は、前記動画像からの切り出し領域を決定するための複数の目標情報の中からユーザにより選択された目標情報を取得する取得部をさらに備え、
前記切り出し領域決定部は、さらに、前記取得部により取得された目標情報に基づいて、前記第２のフレーム画像の切り出し領域を決定する、前記（２）〜（５）のいずれか一項に記載の画像処理装置。
（９）
前記複数の目標情報は、切り出し領域に対応する切り出し対象の物体を同一に維持する時間の上限値である追跡上限時間を含み、
前記第２のフレーム画像が、前記物体検出部による前記第１の物体の検出の継続時間が前記取得部により取得された追跡上限時間を超えた際もしくは後のフレーム画像である場合には、前記物体検出部は、前記第２のフレーム画像から第２の物体を検出し、
前記切り出し領域決定部は、前記第２の物体の検出位置が含まれるように前記第２のフレーム画像の切り出し領域を決定する、前記（８）に記載の画像処理装置。
（１０）
前記物体検出部は、さらに、所定の数の物体を前記第２のフレーム画像から検出し、
前記切り出し領域決定部は、前記所定の数の物体の各々の検出位置に基づいて、前記第２のフレーム画像の中から前記所定の数の切り出し領域をそれぞれ決定する、前記（８）に記載の画像処理装置。
（１１）
前記複数の目標情報は、複数の切り出し領域の重なりを判定するための重なり判定条件を含み、
前記取得部により取得された重なり判定条件に基づいて前記所定の数の切り出し領域のうち第１の切り出し領域と第２の切り出し領域とが一部重複すると判定された場合には、前記物体検出部は、前記第２の切り出し領域に対応づけて検出された物体とは異なる第３の物体を前記第２のフレーム画像から検出し、
前記切り出し領域決定部は、前記第３の物体の検出位置が含まれるように前記第２の切り出し領域の位置を変更する、前記（１０）に記載の画像処理装置。
（１２）
前記動画像において監視対象領域が予め設定されており、
前記複数の目標情報は、切り出し領域に対応する切り出し対象の物体と前記監視対象領域との間の距離の上限値である監視上限距離を含み、
前記第２のフレーム画像が、前記第１の物体と前記監視対象領域との間の距離が前記取得部により取得された監視上限距離を超えた際もしくは後のフレーム画像である場合には、前記物体検出部は、前記第２のフレーム画像から第２の物体を検出し、
前記切り出し領域決定部は、前記第２の物体の検出位置が含まれるように前記第２のフレーム画像の切り出し領域を決定する、前記（８）に記載の画像処理装置。
（１３）
前記第２の物体は、前記第２のフレーム画像に含まれる複数の物体のうち前記監視対象領域の最も近くに位置する物体である、前記（１２）に記載の画像処理装置。
（１４）
前記複数の目標情報は、検出対象の物体の領域サイズ、検出対象の物体の移動速度、検出対象の物体の滞在時間、検出対象の物体の縦横比、または、検出対象の物体が前記動画像の領域外に移動するまでの予測時間を含む、前記（９）〜（１３）のいずれか一項に記載の画像処理装置。
（１５）
前記画像処理装置は、前記切り出し領域決定部により決定された前記切り出し領域を前記第２のフレーム画像から切り出すことにより切り出し画像を生成する切り出し画像生成部をさらに備える、前記（１）〜（１４）のいずれか一項に記載の画像処理装置。
（１６）
動画像に含まれる第１のフレーム画像から第１の物体を検出することと、
前記第１の物体の検出位置が含まれるように前記第１のフレーム画像の切り出し領域を決定することと、
前記第１のフレーム画像よりも後の第２のフレーム画像において、前記第１の物体が停止していると推測される時間の長さに基づいて、前記第２のフレーム画像の切り出し領域を決定することと
を備える、画像処理方法。
（１７）
動画像に含まれる第１のフレーム画像から第１の物体を検出する物体検出部と、
前記第１の物体の検出位置が含まれるように前記第１のフレーム画像の切り出し領域を決定する切り出し領域決定部と、
前記切り出し領域決定部により決定された前記切り出し領域を前記第１のフレーム画像から切り出すことにより切り出し画像を生成する切り出し画像生成部と、
生成された前記切り出し画像を記憶する記憶部と、
を備え、
前記切り出し領域決定部は、前記第１のフレーム画像よりも後の第２のフレーム画像において、前記第１の物体が停止していると推測される時間の長さに基づいて、前記第２のフレーム画像の切り出し領域を決定する、画像処理システム。

１０ カメラ
２０ ストレージ
２２ 監視端末
２４ 通信網
１００ 撮影部
１０２ 映像縮小部
１０４ 領域設定部
１０６ 映像クロッピング部
１０８ 通信部
１２０ 物体検出部
１２２ クロッピング領域決定部
１２４ 重なり判定部
２２０ 制御部
２２２ 通信部
２２４ 表示部
２２６ 入力部

Claims (17)

1. 動画像に含まれるフレーム画像のうちの第１のフレーム画像から第１の物体を選択し、前記第１のフレーム画像よりも後の第２のフレーム画像において、前記第１の物体が停止していると推測される時間の長さに基づいて、第２のフレーム画像から第２の物体を選択する物体検出部と、
   前記選択した物体の検出位置が含まれるように前記フレーム画像の切り出し領域を決定する切り出し領域決定部と、
   を備える、
   画像処理装置。
2. 前記物体検出部は、前記第１の物体が停止していると推測される時間の長さが停止上限時間より大きいか否かに基づいて、前記第２のフレーム画像から前記第２の物体を選択する、請求項１に記載の画像処理装置。
3. 前記第２のフレーム画像が、前記第１の物体が停止していると推測される時間が前記停止上限時間を超えた際もしくは後のフレーム画像である場合には、前記物体検出部は、前記第２のフレーム画像から第２の物体を選択する、
   請求項２に記載の画像処理装置。
4. 前記第２のフレーム画像が、前記第１の物体が停止していると推測される時間が前記停止上限時間以下である際のフレーム画像である場合には、前記物体検出部は、前記第２のフレーム画像から前記第１の物体を選択する、請求項２または３に記載の画像処理装置。
5. 前記第１の物体が停止していると推測される時間の長さは、連続するフレーム画像間での前記第１の物体の検出位置の変化量が所定の範囲内である間の時間の長さである、請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記画像処理装置は、ユーザにより指定された停止上限時間の長さを取得する取得部をさらに備え、
   前記物体検出部は、前記第１の物体が停止していると推測される時間の長さが、前記取得部により取得された停止上限時間以上であるか否かに基づいて、前記第２のフレーム画像から前記第２の物体を選択する、請求項５に記載の画像処理装置。
7. 前記第２のフレーム画像の切り出し領域の形状およびサイズは、前記第１のフレーム画像の切り出し領域と同一である、請求項１〜６のいずれか一項に記載の画像処理装置。
8. 前記画像処理装置は、前記フレーム画像から物体を選択するための複数の目標情報の中からユーザにより選択された目標情報を取得する取得部をさらに備え、
   前記物体検出部は、さらに、前記取得部により取得された目標情報に基づいて、前記第２のフレーム画像から第２の物体を選択する、請求項１〜５のいずれか一項に記載の画像処理装置。
9. 前記複数の目標情報は、切り出し領域に対応する切り出し対象の物体を同一に維持する時間の上限値である追跡上限時間を含み、
   前記第２のフレーム画像が、前記物体検出部による前記第１の物体の検出の継続時間が前記取得部により取得された追跡上限時間を超えた際もしくは後のフレーム画像である場合には、前記物体検出部は、前記第２のフレーム画像から第２の物体を選択する、
   請求項８に記載の画像処理装置。
10. 前記物体検出部は、さらに、所定の数の物体を前記第２のフレーム画像から選択し、
    前記切り出し領域決定部は、前記所定の数の物体の各々の検出位置に基づいて、前記第２のフレーム画像の中から前記所定の数の切り出し領域をそれぞれ決定する、請求項１〜９のいずれか一項に記載の画像処理装置。
11. 前記画像処理装置は、前記フレーム画像から物体を選択するための複数の目標情報の中からユーザにより選択された目標情報を取得する取得部をさらに備え、
    前記複数の目標情報は、複数の切り出し領域の重なりを判定するための重なり判定条件を含み、
    前記取得部により取得された重なり判定条件に基づいて前記所定の数の切り出し領域のうち第１の切り出し領域と第２の切り出し領域とが一部重複すると判定された場合には、前記物体検出部は、前記第２の切り出し領域に対応づけて選択された物体とは異なる第３の物体を前記第２のフレーム画像から選択し、
    前記切り出し領域決定部は、前記第３の物体の検出位置が含まれるように前記第２の切り出し領域の位置を変更する、請求項１０に記載の画像処理装置。
12. 前記動画像において監視対象領域が予め設定されており、
    前記複数の目標情報は、切り出し領域に対応する切り出し対象の物体と前記監視対象領域との間の距離の上限値である監視上限距離を含み、
    前記第２のフレーム画像が、前記第１の物体と前記監視対象領域との間の距離が前記取得部により取得された監視上限距離を超えた際もしくは後のフレーム画像である場合には、前記物体検出部は、前記第２のフレーム画像から第２の物体を選択する、
    請求項８に記載の画像処理装置。
13. 前記第２の物体は、前記第２のフレーム画像に含まれる複数の物体のうち前記監視対象領域の最も近くに位置する物体である、請求項１２に記載の画像処理装置。
14. 前記複数の目標情報は、検出対象の物体の領域サイズ、検出対象の物体の移動速度、検出対象の物体の滞在時間、検出対象の物体の縦横比、または、検出対象の物体が前記動画像の領域外に移動するまでの予測時間を含む、請求項８、９または１１のいずれか一項に記載の画像処理装置。
15. 前記画像処理装置は、前記切り出し領域決定部により決定された前記切り出し領域を前記第２のフレーム画像から切り出すことにより切り出し画像を生成する切り出し画像生成部をさらに備える、請求項１〜１４のいずれか一項に記載の画像処理装置。
16. 動画像に含まれるフレーム画像のうちの第１のフレーム画像から第１の物体を選択し、前記第１のフレーム画像よりも後の第２のフレーム画像において、前記第１の物体が停止していると推測される時間の長さに基づいて、第２のフレーム画像から第２の物体を選択することと、
    前記選択した物体の検出位置が含まれるように前記フレーム画像の切り出し領域を決定することと、
    を備える、画像処理方法。
17. 動画像に含まれるフレーム画像のうちの第１のフレーム画像から第１の物体を選択し、前記第１のフレーム画像よりも後の第２のフレーム画像において、前記第１の物体が停止していると推測される時間の長さに基づいて、第２のフレーム画像から第２の物体を選択する物体検出部と、
    前記選択した物体の検出位置が含まれるように前記フレーム画像の切り出し領域を決定する切り出し領域決定部と、
    前記切り出し領域決定部により決定された前記切り出し領域を前記フレーム画像から切り出すことにより切り出し画像を生成する切り出し画像生成部と、
    生成された前記切り出し画像を記憶する記憶部と、
    を備える、
    画像処理システム。

Images