JP6693509B2 - 画像処理装置、画像処理方法、および画像処理システム - Google Patents

Description

本開示は、画像処理装置、画像処理方法、および画像処理システムに関する。

従来、撮影された画像の中から、検出対象の人物などの物体の領域を切り出すための技術が各種開発されている。

例えば、特許文献１には、魚眼レンズカメラにより撮影された画像の中から移動体を検出し、検出した各移動体の外接四角形の領域をそれぞれ切り出す技術が記載されている。また、特許文献２には、撮影画像の中から検出された互いの距離が閾値未満である検出人物同士を一つのグループとし、そして、同じグループを囲む枠に沿って画像を切り出す技術が記載されている。

特開２００１−３３３４２２号公報 特開２０１２−２５３７２３号公報

しかしながら、特許文献１または特許文献２に記載の技術では、切り出し領域の位置が限定される。例えば、特許文献１に記載の技術では、人物の位置が変化する度に、人物の位置の変化の大きさによらずに、常に移動後の人物の位置を中心として切り出し領域が決められる。

そこで、本開示では、撮影時間が異なるフレーム画像間での同一の物体の検出位置の変化に適応的に切り出し領域を決定することが可能な、新規かつ改良された画像処理装置、画像処理方法、および画像処理システムを提案する。

本開示によれば、第１のフレーム画像の切り出し領域において、物体の検出位置を含む第１の領域を設定する第１領域設定部と、前記第１のフレーム画像よりも後の第２のフレーム画像における前記物体の検出位置と前記第１の領域との位置関係に基づいて、前記第２のフレーム画像の切り出し領域を決定する切り出し領域決定部と、を備える、画像処理装置が提供される。

また、本開示によれば、第１のフレーム画像の切り出し領域において、物体の検出位置を含む第１の領域を設定することと、前記第１のフレーム画像よりも後の第２のフレーム画像における前記物体の検出位置と前記第１の領域との位置関係に基づいて、前記第２のフレーム画像の切り出し領域を決定することと、を備える、画像処理方法が提供される。

また、本開示によれば、第１のフレーム画像の切り出し領域において、物体の検出位置を含む第１の領域を設定する第１領域設定部と、前記第１のフレーム画像よりも後の第２のフレーム画像における前記物体の検出位置と前記第１の領域との位置関係に基づいて、前記第２のフレーム画像の切り出し領域を決定する切り出し領域決定部と、前記切り出し領域決定部により決定された前記第２のフレーム画像の切り出し領域を前記第２のフレーム画像から切り出すことにより切り出し画像を生成する切り出し画像生成部と、生成された前記切り出し画像を記憶する記憶部と、を備える、画像処理システムが提供される。

以上説明したように本開示によれば、撮影時間が異なるフレーム画像間での同一の物体の検出位置の変化に適応的に切り出し領域を決定することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示の実施形態による画像処理システムの構成例を示した説明図である。 カメラ１０により生成された縮小画像３２の一例を示した説明図である。 フレーム画像３０から生成された複数のクロッピング画像５０の一例を示した説明図である。 同実施形態によるカメラ１０の構成を示した機能ブロック図である。 フレーム画像３０とクロッピング領域４０との関係を示した説明図である。 同実施形態による監視端末２２の構成を示した機能ブロック図である。 同実施形態による領域設定部１０４の構成を示した機能ブロック図である。 同実施形態による不感帯領域６０の設定例を示した説明図である。 同実施形態による人物の検出位置が変化した場合におけるクロッピング領域の決定例を示した説明図である。 同実施形態による人物の検出位置が変化した場合におけるクロッピング領域の別の決定例を示した説明図である。 同実施形態による動作を示したフローチャートである。 同実施形態によるクロッピング画像生成処理の動作の一部を示したフローチャートである。 同実施形態によるクロッピング画像生成処理の動作の一部を示したフローチャートである。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じて映像クロッピング部１０６ａおよび映像クロッピング部１０６ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、映像クロッピング部１０６ａおよび映像クロッピング部１０６ｂを特に区別する必要が無い場合には、単に映像クロッピング部１０６と称する。

また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．画像処理システムの基本構成
２．実施形態の詳細な説明
３．変形例

＜＜１．画像処理システムの基本構成＞＞
＜１−１．基本構成＞
本開示は、一例として「２．実施形態の詳細な説明」において詳細に説明するように、多様な形態で実施され得る。最初に、本実施形態による画像処理システムの基本構成について、図１を参照して説明する。

図１に示したように、本実施形態による画像処理システムは、カメラ１０、ストレージ２０、監視端末２２、および、通信網２４を含む。

［１−１−１．カメラ１０］
カメラ１０は、本開示における画像処理装置の一例である。カメラ１０は、外環境の動画像を撮影するための装置である。このカメラ１０は、人や車の交通量が多い場所や、監視対象の場所などに設置され得る。例えば、カメラ１０は、道路、駅、空港、商業用ビルディング、アミューズメントパーク、公園、駐車場、または立ち入り禁止区域などに設置されてもよい。

また、カメラ１０は、撮影したフレーム画像を用いて別の画像を生成することや、生成した別の画像を後述する通信網２４を介して他の装置へ送信することが可能である。ここで、フレーム画像は、例えば、カメラ１０が撮影可能な上限の解像度を有する画像である。一例として、フレーム画像は、４Ｋの画像であってもよい。

例えば、カメラ１０は、フレーム画像に基づいてデータ量の小さい別の画像を生成する。この理由は、フレーム画像はデータ量が大きいので、例えば伝送に時間がかかるなどの理由により、フレーム画像自体を他の装置へ送信することは望ましくないからである。

ここで、カメラ１０が生成する別の画像の例は、フレーム画像の解像度を単純に下げた画像である縮小画像や、注視対象の領域をクロッピング（切り取り）した画像であるクロッピング画像である。この縮小画像は、例えばフルＨＤの画像であってもよい。

図２は、縮小画像の一例（縮小画像３２）を示した説明図である。縮小画像３２は、フレーム画像に含まれる全ての領域を含む。一方で、図２に示したように、縮小画像３２では、例えば人の顔などの、注視対象の領域が非常に小さくなり得るので、視認し辛くなり得る。なお、図２に示した領域４０は、後述するクロッピング領域に対応する領域である。通常、クロッピング領域はフレーム画像内に設定されるが、図２では、説明の便宜上、縮小画像３２における、クロッピング領域に対応する領域を領域４０と記載している。

また、図３は、一枚のフレーム画像から生成された複数のクロッピング画像の一例（クロッピング画像５０の集合５２）を示した説明図である。クロッピング画像５０は、フレーム画像と同じ解像度を有するが、図３に示したように、個々のクロッピング画像５０は、フレーム画像のうちの一部の領域だけしか含まない。そこで、本実施形態によるカメラ１０は、基本的には、一枚のフレーム画像から一枚の縮小画像、および、一以上のクロッピング画像を生成する。この生成例によれば、カメラ１０により撮影された全景をユーザが確認でき、かつ、注視対象の領域を高解像度でユーザは確認することができる。そして、フレーム画像と比較して合計のデータ量を抑制することができる。

ここで、図４を参照して、カメラ１０の内部構成について説明する。図４に示したように、カメラ１０は、撮影部１００、映像縮小部１０２、領域設定部１０４、複数の映像クロッピング部１０６、および、通信部１０８を含む。なお、図４では、映像クロッピング部１０６が四個設けられる例を示しているが、かかる例に限定されず、一以上の任意の個数設けられてもよい。

（１−１−１−１．撮影部１００）
撮影部１００は、外部の映像を、レンズを通して例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子に結像させることにより、フレーム画像を取得する機能を有する。例えば、撮影部１００は、所定のフレームレートごとに外部の映像を撮影することにより、フレーム画像を取得する。

（１−１−１−２．映像縮小部１０２）
映像縮小部１０２は、撮影部１００により取得されたフレーム画像を所定のサイズに縮小することにより縮小画像を生成する。

（１−１−１−３．領域設定部１０４）
領域設定部１０４は、撮影部１００により取得されたフレーム画像において、クロッピング画像の生成元となる領域であるクロッピング領域を設定する。例えば、領域設定部１０４は、撮影部１００により取得されたフレーム画像から、カメラ１０に設けられている映像クロッピング部１０６の個数だけクロッピング領域を設定する。

図５は、領域設定部１０４によるクロッピング領域の設定例を示した説明図である。なお、図５では、クロッピング領域の横幅の長さを“ｃｒｏｐ＿ｗｉｄｔｈ”、クロッピング領域の縦幅の長さを“ｃｒｏｐ＿ｈｅｉｇｈｔ”とそれぞれ記載している。

図５に示したように、領域設定部１０４は、フレーム画像３０の中から人物３００などの検出対象の物体を検出し、そして、物体の検出位置３０２に基づいてクロッピング領域４０を設定する。

（１−１−１−４．映像クロッピング部１０６）
映像クロッピング部１０６は、本開示における切り出し画像生成部の一例である。映像クロッピング部１０６は、領域設定部１０４により設定されたクロッピング領域を、撮影部１００により取得されたフレーム画像から切り出すことによりクロッピング画像を生成する。

例えば、図３に示した例では、四個の映像クロッピング部１０６の各々により生成された四枚のクロッピング画像５０を示している。図３に示したように、例えば、映像クロッピング部１０６ａは、領域設定部１０４により設定された、図２に示した領域４０ａに対応するクロッピング領域からクロッピング画像５０ａを生成する。また、映像クロッピング部１０６ｂは、領域設定部１０４により設定された、図２に示した領域４０ｂに対応するクロッピング領域からクロッピング画像５０ｂを生成する。

（１−１−１−５．通信部１０８）
通信部１０８は、後述する通信網２４を介して、通信網２４に接続された装置との間で各種の情報の送受信を行う。例えば、通信部１０８は、映像縮小部１０２により取得された縮小画像、および、複数の映像クロッピング部１０６により生成された複数のクロッピング画像をストレージ２０へ送信する。

［１−１−２．ストレージ２０］
ストレージ２０は、カメラ１０から受信される縮小画像およびクロッピング画像を記憶するための記憶装置である。例えば、ストレージ２０は、カメラ１０の識別情報、撮影日時、受信された縮小画像、および受信された複数のクロッピング画像を対応づけて記憶する。なお、ストレージ２０は、例えばデータセンタや、監視員が勤務する監視センタなどに設置され得る。

［１−１−３．監視端末２２］
監視端末２２は、カメラ１０により生成された縮小画像およびクロッピング画像を表示するための情報処理端末である。この監視端末２２は、例えば監視センタに設置され、そして、監視員に使用され得る。

ここで、監視端末２２の構成について詳細に説明する。図６は、本実施形態による監視端末２２の構成を示した機能ブロック図である。図６に示したように、監視端末２２は、制御部２２０、通信部２２２、表示部２２４、および入力部２２６を有する。

（１−１−３−１．制御部２２０）
制御部２２０は、監視端末２２に内蔵されるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などのハードウェアを用いて、監視端末２２の動作を全般的に制御する。

（１−１−３−２．通信部２２２）
通信部２２２は、後述する通信網２４を介して、通信網２４に接続された装置との間で各種の情報の送受信を行う。例えば、通信部２２２は、ストレージ２０に格納されている縮小画像およびクロッピング画像をストレージ２０から受信する。

なお、通信部２２２は、カメラ１０により生成された縮小画像、および複数のクロッピング画像をカメラ１０から直接受信することも可能である。

（１−１−３−３．表示部２２４）
表示部２２４は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などのディスプレイにより構成される。この表示部２２４は、例えば、ストレージ２０から受信された縮小画像またはクロッピング画像を含む監視画面などを表示する。

（１−１−３−４．入力部２２６）
入力部２２６は、例えばマウス、キーボード、タッチパネル、または、マイクロフォンなどの入力装置を含む。この入力部２２６は、監視端末２２に対するユーザによる各種の入力を受け付ける。

［１−１−４．通信網２４］
通信網２４は、通信網２４に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網２４は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網２４は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

なお、本実施形態による画像処理システムは、上述した構成に限定されない。例えば、ストレージ２０および監視端末２２は一体的に構成されてもよい。または、本画像処理システムは、ストレージ２０もしくは監視端末２２を含まないことも可能である。

＜１−２．課題の整理＞
ところで、上述したように、領域設定部１０４は、フレーム画像の中から検出された物体の検出位置に基づいてクロッピング領域を設定する。

このようなクロッピング領域の設定方法として、例えば、検出対象の物体の検出位置がクロッピング領域の中心となるようにクロッピング領域を設定する方法が考えられる。この設定方法によれば、検出対象の物体がユーザにとって見やすいようにクロッピング画像を生成することができる。

しかしながら、この設定方法では、撮影された動画像において物体の検出位置が微振動すると、クロッピング画像も微振動してしまうという問題がある。

公知の技術では、この課題を解決することを目的として、過去の複数のフレーム画像を用いて物体の検出位置を平滑化する方法が提案されている。しかしながら、この公知技術では、平滑化の時間間隔が短く設定された場合には振動を除去しきれず、依然としてクロッピング画像は細かく振動してしまう。

また、この公知技術では、過去のフレーム画像における物体の検出位置の影響を受けるので、例えば物体が高速に移動している場合には、物体が実際よりも遅れて移動するようなクロッピング画像が作成されてしまう。

そこで、上記事情を一着眼点にして、本実施形態によるカメラ１０を創作するに至った。本実施形態によるカメラ１０は、現在のフレーム画像における物体の検出位置が前のフレーム画像において設定された不感帯領域の内部であるか否かによって、現在のフレーム画像におけるクロッピング領域の位置を適応的に決定することが可能である。

＜＜２．実施形態の詳細な説明＞＞
＜２−１．構成＞
本実施形態によるカメラ１０の構成の特徴は、特に領域設定部１０４の構成に関する。以下では、図７を参照して、本実施形態による領域設定部１０４の構成についてさらに詳細に説明する。

図７に示したように、領域設定部１０４は、物体検出部１２０、不感帯領域設定部１２２、クロッピング領域決定部１２４、および、追跡対象設定部１２６を含む。

［２−１−１．物体検出部１２０］
物体検出部１２０は、撮影部１００により取得されたフレーム画像の中から物体を検出する。例えば、物体検出部１２０は、予め設定されている種類の物体を、フレーム画像の中から検出する。また、物体検出部１２０は、取得されたフレーム画像の中から例えばカメラ１０に含まれる映像クロッピング部１０６の個数以内の数の物体をフレーム画像から検出する。ここで、検出対象の物体の種類は、人または自動車を含み得る。また、検出対象の物体の種類は、船、飛行機、バイク、または、自転車などをさらに含んでもよい。

［２−１−２．不感帯領域設定部１２２］
（２−１−２−１．設定例１）
不感帯領域設定部１２２は、本開示における第１領域設定部の一例である。不感帯領域設定部１２２は、撮影部１００により取得されたフレーム画像（以下、現在のフレーム画像と称する）が最初のフレームのフレーム画像（以下、最初のフレーム画像と称する）であるか否かに基づいて、不感帯領域を設定する。例えば、現在のフレーム画像が最初のフレーム画像である場合には、不感帯領域設定部１２２は、現在のフレーム画像において物体検出部１２０により検出された物体の検出位置が不感帯領域の中心となるように、現在のフレーム画像における不感帯領域を設定する。

ここで、最初のフレーム画像は、クロッピング画像の生成を開始する最初のフレームのフレーム画像であり得る。また、不感帯領域は、本開示における第１の領域の一例である。なお、詳細については後述するが、不感帯領域は、現在のフレーム画像における物体の検出位置との位置関係に基づいて、現在のフレーム画像におけるクロッピング領域の位置を決定するために利用される領域である。

ここで、図８を参照して、上記の不感帯領域設定部１２２の機能についてより詳細に説明する。図８は、現在のフレーム画像が最初のフレーム画像である場合における、不感帯領域６０およびクロッピング領域４０の設定例を示した説明図である。例えば、現在のフレーム画像３０が最初のフレーム画像であり、かつ、図８に示した人物３００が検出対象の物体である場合には、不感帯領域設定部１２２は、物体検出部１２０により検出された人物の検出位置３０２が不感帯領域６０の中心６００と同一になるように、現在のフレーム画像３０において不感帯領域６０を設定する。

なお、詳細については後述するが、以後、クロッピング画像の中心は、物体検出位置３０２ではなく、不感帯領域６０の中心６００と同じ位置になるように設定される。つまり、以後のフレームで物体検出位置３０２が不感帯領域６０の中心６００からずれても、クロッピング領域４０の中心は不感帯領域６０の中心６００と同じ位置に設定される。

（２−１−２−２．設定例２）
‐ケース１
また、現在のフレーム画像が最初のフレームよりも後のフレームのフレーム画像である場合には、不感帯領域設定部１２２は、現在のフレーム画像における物体の検出位置が前のフレーム画像における不感帯領域に含まれるか否かに基づいて、不感帯領域を設定する。一例として、現在のフレーム画像における物体の検出位置が前のフレーム画像における不感帯領域に含まれる場合には、不感帯領域設定部１２２は、現在のフレーム画像における不感帯領域の位置を、前のフレーム画像における不感帯領域と同じ位置に設定する。なお、詳細については後述するが、不感帯領域の位置が同じなので、クロッピング領域の位置に関しても前のフレーム画像と同じになる。

ここで、図９を参照して、上記の機能についてより詳細に説明する。図９は、現在のフレーム画像が最初のフレーム画像以外のフレーム画像である場合における、不感帯領域６０およびクロッピング領域４０の設定例を示した説明図である。図９に示した例において、人物３００が検出対象の物体であるとすると、図９に示したように、人物の検出位置３０２は、前のフレーム画像における不感帯領域６０に含まれている。そこで、不感帯領域設定部１２２は、現在のフレーム画像における不感帯領域の位置を、前のフレーム画像における不感帯領域６０と同じ位置に設定する。

‐ケース２
また、現在のフレーム画像における物体の検出位置が前のフレーム画像における不感帯領域に含まれない場合には、不感帯領域設定部１２２は、不感帯領域の輪郭線が現在のフレーム画像における物体の検出位置を含むように、前のフレーム画像における不感帯領域を移動させることにより、現在のフレーム画像における不感帯領域を設定する。例えば、上記の場合には、不感帯領域設定部１２２は、前のフレーム画像における不感帯領域の輪郭線と、現在のフレーム画像における物体の検出位置との最短距離だけ、前のフレーム画像における不感帯領域を、現在のフレーム画像における物体の検出位置の方向へ移動させることにより、現在のフレーム画像における不感帯領域を設定する。

ここで、図１０を参照して、上記の機能についてより詳細に説明する。図１０は、現在のフレーム画像が最初のフレーム画像以外のフレーム画像である場合における、不感帯領域６０およびクロッピング領域４０の別の設定例を示した説明図である。図１０に示した例において、人物３００が検出対象の物体であるとすると、人物の検出位置３０２は、前のフレーム画像における不感帯領域に含まれていない。そこで、図１０に示したように、不感帯領域設定部１２２は、人物の検出位置３０２が、不感帯領域６０の輪郭線上に位置するように、現在のフレーム画像３０における不感帯領域６０を設定する。この設定例によれば、例えば物体が高速に移動する場合など、前のフレーム画像において設定された不感帯領域から物体がはみ出した場合には、はみ出した距離だけ不感帯領域を物体の検出位置へ近づける。従って、物体の検出位置が不感帯領域の輪郭線からずれないように、現在のフレーム画像における不感帯領域を設定することができる。

なお、不感帯領域設定部１２２は、次のフレーム画像において検出された物体の検出位置が現在のフレーム画像における不感帯領域からはみ出した場合に関しても、物体の検出位置が不感帯領域の輪郭線上からずれないように、次のフレーム画像における不感帯領域を設定することが可能である。つまり、不感帯領域設定部１２２は、物体の位置が不感帯領域から離れる度に、物体が不感帯領域を引きずるような位置関係で不感帯領域を設定する。

なお、不感帯領域の形状は、例えば長方形であってもよいし、円であってもよい。また、不感帯領域のサイズは、所定のサイズである。例えば、不感帯領域の形状が長方形である場合には、不感帯領域の幅は、数画素からクロッピング領域の幅の半分までの範囲内の長さであってもよいし、また、不感帯領域の高さは、数画素からクロッピング領域の高さの半分までの範囲内の長さであってもよい。

なお、不感帯領域のサイズは、基本的には、予め設定されているものとする。但し、例えば管理者が、不感帯領域のサイズを適宜変更可能であってもよい。

（２−１−２−２．設定例２）
なお、現在のフレーム画像が複数の物体を含む場合には、例えば、不感帯領域設定部１２２は、後述する追跡対象設定部１２６により追跡対象に設定された物体の検出位置を基準として、不感帯領域を設定する。

一例として、追跡対象に設定されている物体の（現在のフレーム画像における）検出位置が前のフレーム画像における不感帯領域に含まれる場合には、不感帯領域設定部１２２は、現在のフレーム画像における不感帯領域の位置を、前のフレーム画像における不感帯領域と同じ位置に設定する。また、追跡対象に設定されている物体の（現在のフレーム画像における）物体の検出位置が前のフレーム画像における不感帯領域に含まれない場合には、不感帯領域設定部１２２は、追跡対象に設定された物体の（現在のフレーム画像における）検出位置を不感帯領域の輪郭線が含むように、前のフレーム画像における不感帯領域を移動させることにより、現在のフレーム画像における不感帯領域を設定する。

［２−１−３．クロッピング領域決定部１２４］
（２−１−３−１．決定例１）
クロッピング領域決定部１２４は、本開示における切り出し領域決定部の一例である。クロッピング領域決定部１２４は、現在のフレーム画像が最初のフレーム画像であるか否かによって、現在のフレーム画像におけるクロッピング領域を設定する。例えば、現在のフレーム画像が最初のフレーム画像である場合には、クロッピング領域決定部１２４は、現在のフレーム画像において物体検出部１２０により検出された物体の検出位置がクロッピング領域の中心となるように、現在のフレーム画像におけるクロッピング領域を設定する。

一例として、図８に示した例では、クロッピング領域決定部１２４は、物体検出部１２０により検出された人物の検出位置３０２がクロッピング領域４０の中心となるように、現在のフレーム画像３０におけるクロッピング領域４０を設定する。

（２−１−３−２．決定例２）
‐ケース１
また、現在のフレーム画像が最初のフレーム画像以外のフレーム画像である場合には、クロッピング領域決定部１２４は、物体検出部１２０により検出された物体の検出位置と、前のフレーム画像における不感帯領域との位置関係に基づいて、現在のフレーム画像におけるクロッピング領域を設定する。例えば、物体検出部１２０により検出された物体の検出位置が、前のフレーム画像における不感帯領域に含まれる場合には、クロッピング領域決定部１２４は、現在のフレーム画像におけるクロッピング領域の位置を、前のフレーム画像におけるクロッピング領域と同一の位置にすることを決定する。なお、現在のフレーム画像におけるクロッピング領域の形状およびサイズは、基本的には、前のフレーム画像におけるクロッピング領域と同一に定められる。

図９に示した例では、人物の検出位置３０２が、前のフレーム画像における不感帯領域６０に含まれる。そこで、クロッピング領域決定部１２４は、現在のフレーム画像３０におけるクロッピング領域４０の位置を、前のフレーム画像におけるクロッピング領域と同一の位置にすることを決定する。

この決定例によれば、最初のフレーム画像において設定された不感帯領域の内部に物体の検出位置が含まれる間のフレームに関しては、クロッピング領域の位置は変化しない。つまり、仮に物体が微振動した場合であっても、物体が不感帯領域から出ない限り、クロッピング領域の位置は変化しない。このため、クロッピング画像の視認性を向上させることができる。

‐ケース２
また、物体検出部１２０により検出された物体の検出位置が、前のフレーム画像における不感帯領域に含まれない場合には、クロッピング領域決定部１２４は、不感帯領域設定部１２２により設定された（現在のフレーム画像における）不感帯領域の中心がクロッピング領域の中心になるように、現在のフレーム画像におけるクロッピング領域を決定する。

図１０に示した例では、クロッピング領域決定部１２４は、不感帯領域設定部１２２により設定された、現在のフレーム画像３０における不感帯領域６０の中心６００がクロッピング領域４０の中心になるように、現在のフレーム画像３０におけるクロッピング領域４０を決定する。なお、図１０において破線で示した長方形４４は、前のフレーム画像におけるクロッピング領域である。図１０に示したように、前のフレーム画像におけるクロッピング領域４４の位置と、現在のフレーム画像３０におけるクロッピング領域４０の位置とは異なることになる。

（２−１−３−３．決定例３）
なお、現在のフレーム画像が複数の物体を含む場合には、例えば、クロッピング領域決定部１２４は、後述する追跡対象設定部１２６により追跡対象に設定された物体の検出位置と、追跡対象の物体に関して設定された不感帯領域との位置関係に基づいて、現在のフレーム画像におけるクロッピング領域の位置を決定することが可能である。

一例として、追跡対象設定部１２６により追跡対象に設定された物体の検出位置が、当該物体に関して設定された不感帯領域に含まれる場合には、クロッピング領域決定部１２４は、現在のフレーム画像におけるクロッピング領域の位置を、前のフレーム画像におけるクロッピング領域と同一にすることを決定する。また、追跡対象設定部１２６により追跡対象に設定された物体の検出位置が、当該物体に関して設定された、前のフレーム画像における不感帯領域に含まれない場合には、クロッピング領域決定部１２４は、当該物体に関して設定された、現在のフレーム画像における不感帯領域の中心がクロッピング領域の中心になるように、現在のフレーム画像におけるクロッピング領域を決定する。

［２−１−４．追跡対象設定部１２６］
追跡対象設定部１２６は、物体検出部１２０による物体の検出結果に基づいて、追跡対象の物体を設定する。例えば、追跡対象設定部１２６は、撮影範囲において設定された例えば監視対象位置などの特定の位置と、物体検出部１２０により検出された物体の検出位置との間の距離に基づいて、現在のフレーム画像における追跡対象の物体を設定する。

一例として、追跡対象設定部１２６は、撮影範囲において設定された特定の位置と、物体検出部１２０により検出された物体の検出位置との間の距離が所定の距離内である場合には、現在のフレーム画像における追跡対象の物体を、前のフレーム画像における追跡対象の物体に設定する。また、追跡対象設定部１２６は、撮影範囲において設定された特定の位置と、物体検出部１２０により検出された物体の検出位置との間の距離が所定の距離を超えている場合には、現在のフレーム画像における追跡対象の物体を、例えば当該特定の位置に最も近い物体など、前のフレーム画像における追跡対象の物体とは異なる物体に設定する。

＜２−２．動作＞
以上、本実施形態による構成について説明した。続いて、本実施形態による動作について、図１１〜図１３を参照して説明する。なお、ここでは、カメラ１０が映像クロッピング部１０６を四個有しており、そして、一枚のフレーム画像から一枚の縮小画像および四枚のクロッピング画像を生成する場面における動作例について説明する。なお、この動作は、所定のフレームレートごとに繰り返し実行される。

［２−２−１．全体の動作］
図１１は、本実施形態による動作例を示したフローチャートである。図１１に示したように、まず、カメラ１０の撮影部１００は、所定の撮影タイミングが到来したら、外部の映像を撮影することによりフレーム画像を取得する（Ｓ１０１）。

続いて、映像縮小部１０２は、Ｓ１０１で取得されたフレーム画像（以下、現在のフレーム画像と称する）を所定のサイズに縮小することにより縮小画像を生成する（Ｓ１０３）。

その後、カメラ１０は、後述する「クロッピング画像生成処理」を映像クロッピング部１０６の個数、つまり４回繰り返して行う（Ｓ１０５〜Ｓ１１１）。

その後、通信部１０８は、Ｓ１０３で生成された縮小画像、およびＳ１０７で生成された４枚のクロッピング画像をストレージ２０へ送信する（Ｓ１１３）。

［２−２−２．クロッピング画像生成処理］
ここで、図１２〜図１３を参照して、Ｓ１０７における「クロッピング画像生成処理」の動作について詳細に説明する。図１２に示したように、まず、カメラ１０の物体検出部１２０は、現在のフレーム画像の中から検出対象の物体を検出する（Ｓ１５１）。

そして、現在のフレーム画像が最初のフレーム画像である場合には（Ｓ１５３：Ｙｅｓ）、不感帯領域設定部１２２は、Ｓ１５１で検出された物体の検出位置が不感帯領域の中心となるように、現在のフレーム画像における不感帯領域を設定する（Ｓ１５５）。

続いて、クロッピング領域決定部１２４は、Ｓ１５１で検出された物体の検出位置がクロッピング領域の中心になるように、現在のフレーム画像におけるクロッピング領域を決定する（Ｓ１５７）。その後、カメラ１０は、後述するＳ１６７の動作を行う。

ここで、図１３を参照して、現在のフレーム画像が最初のフレーム画像ではない場合（Ｓ１５３：Ｎｏ）における動作例について説明する。図１３に示したように、まず、不感帯領域設定部１２２は、Ｓ１５１で検出された物体の検出位置が、前のフレーム画像における不感帯領域の内部であるか否かを判定する（Ｓ１６１）。

物体の検出位置が、前のフレーム画像における不感帯領域の内部である場合には（Ｓ１６１：Ｙｅｓ）、不感帯領域設定部１２２は、現在のフレーム画像における不感帯領域の位置を、前のフレーム画像における不感帯領域と同じ位置に設定する。そして、クロッピング領域決定部１２４は、現在のフレーム画像におけるクロッピング領域の位置を、前のフレーム画像におけるクロッピング領域と同じ位置にすることを決定する（Ｓ１６９）。その後、カメラ１０は、後述するＳ１６７の動作を行う。

一方、物体の検出位置が、前のフレーム画像における不感帯領域の外部である場合には（Ｓ１６１：Ｎｏ）、不感帯領域設定部１２２は、不感帯領域の輪郭線が現在のフレーム画像における物体の検出位置を含むように、前のフレーム画像における不感帯領域を移動させることにより、現在のフレーム画像における不感帯領域を設定する（Ｓ１６３）。

続いて、クロッピング領域決定部１２４は、Ｓ１６３で設定された（現在のフレーム画像における）不感帯領域の中心がクロッピング領域の中心になるように、現在のフレーム画像におけるクロッピング領域を決定する（Ｓ１６５）。

その後、映像クロッピング部１０６は、Ｓ１５７、Ｓ１６５、もしくはＳ１６９で決定されたクロッピング領域を、現在のフレーム画像から切り出すことによりクロッピング画像を生成する（Ｓ１６７）。

＜２−３．効果＞
［２−３−１．効果１］
以上、例えば図４、図７、図１１〜図１３などを参照して説明したように、本実施形態によるカメラ１０は、現在のフレーム画像における物体の検出位置と、前のフレーム画像において設定された不感帯領域との位置関係に基づいて、現在のフレーム画像におけるクロッピング領域を決定する。このため、現在のフレーム画像と前のフレーム画像との間での物体の検出位置の変化の大きさに適応的に切り出し領域を決定することができる。

例えば、現在のフレーム画像において検出された物体の検出位置が、前のフレーム画像における不感帯領域に含まれる場合には、カメラ１０は、現在のフレーム画像におけるクロッピング領域の位置を、前のフレーム画像におけるクロッピング領域と同一の位置にすることを決定する。このため、最初のフレーム画像において設定された不感帯領域の内部に物体の検出位置が含まれる間のフレームに関しては、クロッピング領域の位置は変化しない。つまり、仮に物体が微振動した場合であっても、物体が不感帯領域から出ない限り、クロッピング領域の位置は変化しない。このため、クロッピング画像の視認性を向上させることができる。

さらに、公知の技術と比較して、時間方向の平滑化処理を行うことなく、クロッピング画像の微振動を除去することができる。

［２−３−２．効果２］
また、例えば物体が高速に移動する場合など、物体の検出位置が前のフレーム画像において設定された不感帯領域からはみ出した場合には、カメラ１０は、はみ出した距離だけ不感帯領域を物体の検出位置へ近づける。そして、カメラ１０は、移動後の不感帯領域の中心がクロッピング領域の中心になるように、現在のフレーム画像におけるクロッピング領域を決定する。このため、例えば物体が高速に移動している場合であっても、不感帯領域が物体に接する位置に設定されるので、連続するクロッピング画像間で物体が滑らかに移動するようにユーザに知覚され、視認性が高い。

［２−３−３．効果３］
また、クロッピング領域決定部１２４によるクロッピング領域の決定方法は簡易な方法であるので、カメラ１０は、クロッピング画像の生成をリアルタイムに行うことができる。

［２−３−４．効果４］
また、本実施形態によれば、カメラ１０単体で縮小画像およびクロッピング画像を生成することが可能である。このため、縮小画像およびクロッピング画像を生成するための例えばサーバなどの他の装置に、カメラ１０はフレーム画像を送信する必要がないので、通信量を軽減することができる。

＜＜３．変形例＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

＜３−１．変形例１＞
上述した実施形態では、本開示による画像処理装置がカメラ１０である例について説明したが、かかる例に限定されない。例えば、監視端末２２（の制御部２２０）が、カメラ１０の代わりに、上述した映像縮小部１０２、領域設定部１０４、および、複数の映像クロッピング部１０６の全てを有する場合には、本開示による画像処理装置は、監視端末２２であってもよい。

また、別途設けられたサーバ（図示省略）が例えば通信網２４を介してカメラ１０と通信可能であり、かつ、このサーバが、カメラ１０の代わりに、上述した映像縮小部１０２、領域設定部１０４、および、複数の映像クロッピング部１０６の全てを有する場合には、本開示による画像処理装置は、サーバであってもよい。また、このサーバとストレージ２０とは一体的に構成されてもよい。

＜３−２．変形例２＞
また、上述した実施形態によれば、例えばＣＰＵ、ＲＯＭ、およびＲＡＭなどのハードウェアを、上述した映像縮小部１０２、領域設定部１０４、および、映像クロッピング部１０６と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１のフレーム画像の切り出し領域において、物体の検出位置を含む第１の領域を設定する第１領域設定部と、
前記第１のフレーム画像よりも後の第２のフレーム画像における前記物体の検出位置と前記第１の領域との位置関係に基づいて、前記第２のフレーム画像の切り出し領域を決定する切り出し領域決定部と、
を備える、画像処理装置。
（２）
前記切り出し領域決定部は、前記第２のフレーム画像における前記物体の検出位置と前記第１の領域との位置関係に基づいて、前記第２のフレーム画像の切り出し領域の位置を前記第１のフレーム画像の切り出し領域と同一にするか否かを決定する、前記（１）に記載の画像処理装置。
（３）
前記第２のフレーム画像における前記物体の検出位置が前記第１の領域に含まれる場合には、前記切り出し領域決定部は、前記第２のフレーム画像の切り出し領域の位置を前記第１のフレーム画像の切り出し領域と同一にすることを決定する、前記（２）に記載の画像処理装置。
（４）
前記第２のフレーム画像における前記物体の検出位置が前記第１の領域に含まれない場合には、前記第１領域設定部は、前記第２のフレーム画像における前記物体の検出位置が前記第１の領域の輪郭線上に含まれるように前記第１の領域の位置を移動させ、
前記切り出し領域決定部は、移動後の前記第１の領域の中心を前記第２のフレーム画像の切り出し領域の中心に設定することにより、前記第２のフレーム画像の切り出し領域を決定する、前記（２）または（３）に記載の画像処理装置。
（５）
前記第２のフレーム画像の切り出し領域の形状およびサイズは、前記第１のフレーム画像の切り出し領域と同一である、前記（４）に記載の画像処理装置。
（６）
前記第１のフレーム画像の切り出し領域の中心の位置、および前記第１の領域の中心の位置は、前記第１のフレーム画像における前記物体の検出位置と等しい、前記（５）に記載の画像処理装置。
（７）
前記第１領域設定部は、前記第１のフレーム画像の切り出し領域において、複数の物体の各々に関して、当該物体の検出位置を含む第１の領域をそれぞれ設定し、
前記画像処理装置は、前記複数の物体のうちいずれか一つを追跡対象に設定する追跡対象設定部をさらに備え、
前記切り出し領域決定部は、前記追跡対象設定部により設定された追跡対象の物体の検出位置と、前記追跡対象の物体に関して設定された前記第１の領域との位置関係に基づいて、前記第２のフレーム画像の切り出し領域の位置を前記第１のフレーム画像の切り出し領域と同一にするか否かを決定する、前記（２）〜（６）のいずれか一項に記載の画像処理装置。
（８）
前記画像処理装置は、前記切り出し領域決定部により決定された前記第２のフレーム画像の切り出し領域を前記第２のフレーム画像から切り出すことにより切り出し画像を生成する切り出し画像生成部をさらに備える、前記（２）〜（７）のいずれか一項に記載の画像処理装置。
（９）
前記物体は、人もしくは車両である、前記（２）〜（８）のいずれか一項に記載の画像処理装置。
（１０）
第１のフレーム画像の切り出し領域において、物体の検出位置を含む第１の領域を設定することと、
前記第１のフレーム画像よりも後の第２のフレーム画像における前記物体の検出位置と前記第１の領域との位置関係に基づいて、前記第２のフレーム画像の切り出し領域を決定することと、
を備える、画像処理方法。
（１１）
第１のフレーム画像の切り出し領域において、物体の検出位置を含む第１の領域を設定する第１領域設定部と、
前記第１のフレーム画像よりも後の第２のフレーム画像における前記物体の検出位置と前記第１の領域との位置関係に基づいて、前記第２のフレーム画像の切り出し領域を決定する切り出し領域決定部と、
前記切り出し領域決定部により決定された前記第２のフレーム画像の切り出し領域を前記第２のフレーム画像から切り出すことにより切り出し画像を生成する切り出し画像生成部と、
生成された前記切り出し画像を記憶する記憶部と、
を備える、画像処理システム。

１０ カメラ
２０ ストレージ
２２ 監視端末
２４ 通信網
１００ 撮影部
１０２ 映像縮小部
１０４ 領域設定部
１０６ 映像クロッピング部
１０８ 通信部
１２０ 物体検出部
１２２ 不感帯領域設定部
１２４ クロッピング領域決定部
１２６ 追跡対象設定部
２２０ 制御部
２２２ 通信部
２２４ 表示部
２２６ 入力部

Claims (12)

1. 第１のフレーム画像の切り出し領域において、物体の検出位置を含む第１の領域を設定し、前記第１のフレーム画像よりも後の第２のフレーム画像における前記物体の検出位置と前記第１のフレーム画像の前記第１の領域との位置関係が所定の条件を満たす場合に、前記第２のフレーム画像における前記物体の検出位置が前記第１の領域の輪郭線上に含まれるように前記第２のフレーム画像の前記第１の領域の位置を設定する第１領域設定部と、
   前記第２のフレーム画像の前記第１の領域の位置に基づいて、前記第２のフレーム画像の切り出し領域を決定する切り出し領域決定部と、
   を備える、画像処理装置。
2. 前記第１領域設定部は、
   前記第２のフレーム画像における前記物体の検出位置と前記第１の領域との前記位置関係に基づいて、前記第２のフレーム画像の前記第１の領域の位置を前記第１のフレーム画像の前記第１の領域と同一にするか否かを決定する、
   請求項１に記載の画像処理装置。
3. 前記第２のフレーム画像における前記物体の検出位置が前記第１のフレーム画像の前記第１の領域に含まれる前記位置関係の場合には、
   前記第１領域設定部は、前記第２のフレーム画像の前記第１の領域の位置を前記第１のフレーム画像の前記第１の領域と同一にすることを決定する、
   請求項１または２に記載の画像処理装置。
4. 前記第２のフレーム画像における前記物体の検出位置が前記第１のフレーム画像の前記第１の領域に含まれない前記位置関係の場合には、
   前記第１領域設定部は、
   前記第２のフレーム画像における前記物体の検出位置が前記第１の領域の輪郭線上に含まれるように前記第２のフレーム画像の前記第１の領域を設定する、
   請求項１、２または３に記載の画像処理装置。
5. 前記切り出し領域決定部は、
   前記第２のフレーム画像の前記第１の領域の中心を前記第２のフレーム画像の切り出し領域の中心に設定することにより、前記第２のフレーム画像の切り出し領域を決定する、
   請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記第２のフレーム画像の切り出し領域の形状およびサイズは、前記第１のフレーム画像の切り出し領域と同一である、
   請求項１〜５のいずれか一項に記載の画像処理装置。
7. 前記第１のフレーム画像の切り出し領域の中心の位置、および前記第１のフレーム画像の前記第１の領域の中心の位置は、前記第１のフレーム画像における前記物体の検出位置と等しい、
   請求項１〜６のいずれか一項に記載の画像処理装置。
8. 前記第２のフレーム画像に含まれる複数の物体から追跡対象の物体を設定する追跡対象設定部をさらに備え、
   前記第１領域設定部は、
   前記第２のフレーム画像が前記複数の物体を含む場合には、前記追跡対象設定部により設定された追跡対象の物体の検出位置と、前記追跡対象の物体に関して設定された前記第１のフレーム画像の前記第１の領域との前記位置関係に基づいて、前記第２のフレーム画像の前記第１の領域の位置を前記第１のフレーム画像の前記第１の領域と同一にするか否かを決定する、
   請求項１〜７のいずれか一項に記載の画像処理装置。
9. 前記切り出し領域決定部により決定された前記第２のフレーム画像の切り出し領域を前記第２のフレーム画像から切り出すことにより切り出し画像を生成する切り出し画像生成部をさらに備える、
   請求項１〜８のいずれか一項に記載の画像処理装置。
10. 前記物体は、人もしくは車両である、
    請求項１〜９のいずれか一項に記載の画像処理装置。
11. 第１のフレーム画像の切り出し領域において、物体の検出位置を含む第１の領域を設定し、前記第１のフレーム画像よりも後の第２のフレーム画像における前記物体の検出位置と前記第１のフレーム画像の前記第１の領域との位置関係が所定の条件を満たす場合に、前記第２のフレーム画像における前記物体の検出位置が前記第１の領域の輪郭線上に含まれるように前記第２のフレーム画像の前記第１の領域の位置を設定することと、
    前記第２のフレーム画像の前記第１の領域の位置に基づいて、前記第２のフレーム画像の切り出し領域を決定することと、
    を含む、画像処理方法。
12. 第１のフレーム画像の切り出し領域において、物体の検出位置を含む第１の領域を設定し、前記第１のフレーム画像よりも後の第２のフレーム画像における前記物体の検出位置と前記第１のフレーム画像の前記第１の領域との位置関係が所定の条件を満たす場合に、前記第２のフレーム画像における前記物体の検出位置が前記第１の領域の輪郭線上に含まれるように前記第２のフレーム画像の前記第１の領域の位置を設定する第１領域設定部と、
    前記第２のフレーム画像の前記第１の領域の位置に基づいて、前記第２のフレーム画像の切り出し領域を決定する切り出し領域決定部と、
    前記切り出し領域決定部により決定された前記第２のフレーム画像の切り出し領域を前記第２のフレーム画像から切り出すことにより切り出し画像を生成する切り出し画像生成部と、
    生成された前記切り出し画像を記憶する記憶部と、
    を備える、画像処理システム。

Images