JP7844524B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関するものである。

近年、画像に含まれる追尾する対象（以下、追尾対象）を含む部分領域を切り出して（以下、クロップ）、当該部分領域の画像（以下、クロップ画像）を用いて追尾対象を追尾する技術が知られている。

特許文献１には、複数の認識タスクを実行する１枚のクロップ画像を決定するために、主被写体の全身のサイズ情報や主被写体以外の情報を用いる技術が開示されている。特許文献１の技術は、画像に対してクロップを行うことで、画像全体から被写体を含む部分領域を切り出したクロップ画像を生成する。

特開２０２１－１４１４２１号公報

しかしながら、特許文献１の技術は、クロップ画像を決定する際に、追尾対象の姿勢変化の影響を受けやすい追尾対象の全体のサイズを基準にクロップするため、追尾対象の姿勢変化によってクロップされる領域のサイズが変化しやすく、クロップ画像が安定しない。

そこで本発明の目的は、安定したクロップ画像を生成することができる情報処理装置、情報処理方法、および、プログラムを提供する。

この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、
第１のフレームに含まれる被写体を前記第１のフレームにおける追尾対象として特定する追尾対象特定手段と、
前記追尾対象に含まれる検出対象の少なくとも一部を含む局所領域を前記第１のフレーム内で特定する局所領域特定手段と、
前記局所領域のサイズ情報に基づいて、前記第１のフレームよりも後で撮像された第２のフレームから前記追尾対象を含む領域を切り出したクロップ領域のサイズ情報を決定するクロップ領域決定手段と、
前記クロップ領域決定手段においてサイズ情報が決定された前記クロップ領域に基づいて前記第２のフレームからクロップ画像を生成するクロップ手段と、
を備え、
前記追尾対象特定手段は、前記クロップ画像に含まれる被写体から前記第２のフレームにおける追尾対象を特定する。

本発明によれば、安定したクロップ画像を生成することができる。

実施形態における情報処理装置のハードウェア構成図。 第１～第４の実施形態の情報処理装置の機能を説明する機能ブロック図。 第１、第２の実施形態を説明する時系列の画像の図。 第１～第４の実施形態の認識処理のフローチャートを示す図。 第１、第２の実施形態のクロップ領域決定処理のフローチャートを示す図。 第１～第５の実施形態の事前登録情報の図。 第３、第４の実施形態を説明する時系列の画像の図。 第３の実施形態のクロップ領域決定処理のフローチャートを示す図。 第４の実施形態のクロップ領域決定処理のフローチャートを示す図。 第５の実施形態の情報処理装置の構成を説明する図。 第５の実施形態を説明する時系列の画像の図。 第５の実施形態のフローチャートを示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜第１の実施形態 姿勢変化に対するサイズ変動率が低い局所を用いたクロップ方法＞
図１は、情報処理装置２００のハードウェア構成図の例を示す。情報処理装置２００は、いわゆるコンピュータであってよい。情報処理装置２００は、ＣＰＵ１００、ＲＯＭ１１０、ＲＡＭ１２０、ＨＤＤ１３０、入力部１４０、表示部１５０、通信部１６０、バス１７０を有する。ＣＰＵ１００、ＲＯＭ１１０、ＲＡＭ１２０、ＨＤＤ１３０、入力部１４０、表示部１５０、および、通信部１６０は、バス１７０によって情報を送受信可能に接続されている。

ＣＰＵ１００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略であり、中央演算処理装置である。情報処理装置２００は、ＣＰＵ１００に代えて、または、ＣＰＵ１００に加えて、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、及び、ＱＰＵ（Ｑｕａｎｔｕｍ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの他のプロセッサーを有してもよい。ＣＰＵ１００は、各種処理のための演算や論理判定などを行う。例えば、ＣＰＵ１００は、ＲＯＭ１１０またはＨＤＤ１３０に格納されたプログラムを読み出して、ＲＡＭ１２０に展開することで、種々の機能を実現し、各種処理を実行する。また、情報処理装置２００の各機能の一部または全部は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、及び、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの１または複数の回路で実現されてもよい。

ＲＯＭ１１０は、Ｒｅａｄ－Ｏｎｌｙ－Ｍｅｍｏｒｙの略であり、不揮発性メモリである。ＲＯＭ１１０は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）などの制御プログラムを格納する。

ＲＡＭ１２０は、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。ＲＡＭ１２０は、ＣＰＵ１００の主メモリ、および、ワークエリアなどの一時記憶領域として用いられる。

ＨＤＤ１３０は、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略であり、大容量の不揮発性記憶装置である。ＨＤＤ１３０は、本実施形態に係る電子データ、プログラム、および、プログラムの実行に必要なデータを記憶する。情報処理装置２００は、ＨＤＤ１３０に代えて、または、ＨＤＤ１３０に加えて、同様の役割を果たす外部記憶装置を有してもよい。ここで、外部記憶装置は、例えば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、例えば、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリなどが知られている。また、外部記憶装置は、ネットワークで接続されたサーバー装置などであっても良い。

入力部１４０は、ユーザからの入力を受け付けて、ＣＰＵ１００に受け渡す。入力部１４０は、マウス、キーボード、タッチパネルなどを有する。

表示部１５０は、ＣＰＵ１００などから取得した画像データに基づいて、各種データおよび処理結果などの画像をユーザに表示する。表示部１５０は、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示デバイスで構成される。用語“画像”は、静止画、動画、動画の１フレームの画像、映像、および、それらのデータを含む用語として使用される場合がある。

通信部１６０は、他の装置との通信を中継する。これにより、情報処理装置２００は、通信部１６０を介して他の装置とデータを通信する。情報処理装置２００は、他の装置から通信部１６０を介して、ユーザからの指示を受信しても良いし、処理結果などを他装置に出力しても良い。

図２は、本実施形態に係る情報処理装置２００の機能を説明する機能ブロック図である。図２を用いて、本実施形態の構成を説明する。なお、ここでは概要のみを説明し、詳細については後述する。情報処理装置２００は、画像入力部２２０、追尾対象設定部２３０、クロップ領域決定部２４０、クロップ部２５０、マルチタスク部２６０、追尾対象特定部２７０、局所領域特定部２８０、出力部２９０の機能を有する。例えば、ＣＰＵ１００は、ＲＯＭ１１０またはＨＤＤ１３０に格納されたプログラムを読み出して実行することによって、画像入力部２２０、追尾対象設定部２３０、クロップ領域決定部２４０、クロップ部２５０、マルチタスク部２６０、追尾対象特定部２７０、局所領域特定部２８０、出力部２９０の機能を実現する。

入力データ２１０は、撮像された画像または複数の画像を含む画像群のデータを示している。入力データ２１０は、例えば、デジタルカメラおよび監視カメラなどの撮像装置から得られた時系列の複数に画像である。

画像入力部２２０は、入力データ２１０として入力される１または複数の画像を受け付ける。入力データ２１０は、例えば、複数のフレームの画像が時系列で連続する動画である。

追尾対象設定部２３０は、入力データ２１０の初期フレームにおける追尾する対象である追尾対象の種別、画像内での位置、および、画素数などで示されるサイズの少なくともいずれかを設定する。追尾対象の種別は、例えば、人、猫および犬などを含む動物、および、車などのいずれかであってよい。

クロップ領域決定部２４０は、画像入力部２２０から渡された画像から、追尾対象を切り出すためのクロップ領域を決定する。具体的には、クロップ領域決定部２４０は、追尾対象に含まれる検出対象の少なくとも一部を含む局所領域のサイズ情報に基づいて、クロップ領域のサイズ情報を決定する。サイズ情報は、画像内の領域（ここでは局所領域）のサイズに関する情報であって、当該領域内の画素数、および、当該領域の縦横の長さの少なくともいずれかであってよい。検出対象は、追尾対象の一部であって、例えば、動物の場合、頭部、顔などを含む。検出対象は、複数であってもよい。例えば、検出対象が、頭部、顔、足、および、手などを含んでもよい。クロップ領域決定部２４０は、複数の種類の検出対象が検出された場合、後述する優先順位に従って、クロップ領域のサイズ情報を決定するための検出対象を複数の種類の検出対象から選択して良い。この場合、クロップ領域決定部２４０は、選択した当該検出対象の局所領域のサイズ情報に基づいて、クロップ領域のサイズ情報を決定して良い。クロップ領域決定部２４０は、サイズ情報とともにクロップ領域の位置などを決定しても良い。

クロップ部２５０は、クロップ領域決定部２４０で決定されたクロップ領域に基づいて、画像入力部２２０から渡された画像を切り出す（クロップする）。これにより、クロップ部２５０は、マルチタスク部２６０で使用する追尾対象を含むクロップ画像を生成する。

マルチタスク部２６０は、クロップ部２５０によって生成されたクロップ画像に対し、複数の認識タスクを実行する。本実施形態では、複数の認識タスクとして、猫の全身検出器、頭部検出器、および、顔検出器を例に説明する。ここで、実行される認識タスクに使用される認識モデルは、例えば畳み込みニューラルネットワーク（Ｃｏｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）、ＶｉＴ（Ｖｉｓｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒ）、および、特徴抽出器と組み合わせたＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）などを含むさまざまなモデルが考えられる。本実施形態は上記の形式に限定されるものではないが、本実施形態の説明ではマルチタスク部２６０をＣＮＮとして説明する。

追尾対象特定部２７０は、マルチタスク部２６０から得られた検出結果から、画像内に含まれる追尾する対象を追尾対象として特定する。追尾対象特定部２７０は、追尾対象設定部２３０から得られた追尾対象の特徴情報と、マルチタスク部２６０から得られた検出結果の特徴情報と、の類似度から追尾対象を特定する。

局所領域特定部２８０は、クロップ領域のサイズ情報を決定するための局所領域を特定する。具体的には、局所領域特定部２８０は、追尾対象特定部２７０で特定された追尾対象に含まれる検出対象の少なくとも一部を含む局所領域を、画像内に特定する。なお、局所領域が特定される画像は、クロップ画像であってもよい。すなわち、局所領域特定部２８０は、画像およびクロップ画像のいずれかを用いて、局所領域を画像内に特定してよい。例えば、追尾対象が猫であり、検出対象が猫の全身、頭部、および、顔の場合、局所領域特定部２８０は、各検出対象の少なくとも一部を含む局所領域を画像内に検出対象ごとに特定する。局所領域特定部２８０は、特定した１または複数の局所領域の情報をクロップ領域決定部２４０に渡す。局所領域の情報は、次フレームのクロップ領域を決定する際に用いられる。

出力部２９０は、マルチタスク部２６０、追尾対象特定部２７０、局所領域特定部２８０から得られた結果を出力する。このように、情報処理装置２００は、入力されるシーンに対し時系列に処理を行うことによって、追尾対象を精度よく追尾することが可能になる。

図３は、本実施形態における例として、猫を追尾している場合の時系列の画像を示す。また、図４は、本実施形態の認識処理のフローチャートの図である。以下、フローチャートは、ＣＰＵ１００が制御プログラムを実行することにより実現されるものとする。図６（ａ）に本実施形態における事前登録情報を示す。事前登録情報はＨＤＤ１３０に保存されており、本実施形態では情報処理装置２００が必要に応じて情報を参照することが可能である。事前登録情報はＨＤＤ１３０から読み出され、ＲＡＭ１２０に展開されていても良い。

以下に、図４を用いて本実施形態の処理の詳細を説明する。

Ｓ４０１では、画像入力部２２０は、入力データ２１０として入力される１フレーム分の画像を取得する。ここでは、画像入力部２２０は、図３（ａ）に示す画像３０１を取得する。図３（ａ）の画像３０１は、時刻ｔ＝０の初期フレームの画像である。画像３０１では、猫が左方向へ歩行している。

Ｓ４０２では、画像入力部２２０が、取得した入力データ２１０の画像が初期フレームか否かを判定する。画像３０１が時刻ｔ＝０の初期フレームの場合、画像入力部２２０は、画像が初期フレームであると判定して、Ｓ４０３に進む。

Ｓ４０３では、追尾対象設定部２３０が、初期フレームの画像に基づいて、追尾対象を設定する。ここでＳ４０３では、追尾対象設定部２３０が、追尾対象を猫に設定するとともに、追尾対象の位置とサイズを設定する。追尾対象の設定方法は、どのような方法を取ってもよい。例えば、追尾対象設定部２３０は、ユーザによるカメラ画面へのタッチおよび声による操作などを受け付けて追尾対象を設定してもよく、カメラが持つ認識処理部の認識結果などを用いて追尾対象を設定してもよく、様々な方法で設定してよい。本実施形態では、追尾対象設定部２３０は、図３（ａ）に示すように猫の全身を追尾対象領域３０２として設定したものとする。追尾対象設定部２３０が追尾対象の設定を終了したのち、画像入力部２２０は、再度、Ｓ４０１の処理を行う。

Ｓ４０１では、画像入力部２２０は、図３（ｂ）に示す画像３１１を取得する。ここで、画像３１１は、時刻ｔ＝１における猫の画像である。画像３１１では、左方向に歩行していた猫が停止している。

Ｓ４０２では、画像入力部２２０が、画像３１１が初期フレームより後のフレームであるため、初期フレームでないと判定して、Ｓ４０４のクロップ領域決定処理へと移る。

図５（ａ）は、第１の実施形態のクロップ領域決定部２４０が実行するＳ４０４のクロップ領域決定処理の詳細なフローを示す。クロップ領域決定部２４０は、Ｓ４０４の処理、および、Ｓ４０４を詳細化したＳ５０１～Ｓ５０７の処理を実施する。

Ｓ５０１では、クロップ領域決定部２４０が、クロップ領域算出に使用可能な前フレーム（すなわち、前の時刻のフレーム）で検出された局所領域があるか否か判定する。時刻ｔ＝１では、後述するＳ４０８で実施される局所領域の特定処理はまだ実施されていないため、クロップ領域決定部２４０は局所領域がないと判定し、Ｓ５０１の判定はＮｏとなり、Ｓ５０３の処理へと移る。

Ｓ５０３では、クロップ領域決定部２４０が、追尾対象設定部２３０で設定された追尾対象の全身の画素数をクロップ基準に設定する。

ここでクロップ基準とは、画像上における追尾対象領域のサイズ情報であり、クロップ領域のサイズ（ここでは画素数）を算出するための情報を指す。サイズおよび画素数は、サイズ情報の例である。クロップ領域決定部２４０は、後述するクロップ倍率とクロップ基準とを用いることでクロップ領域を決定することができる。本実施形態では、クロップ基準を画素数として説明するが必ずしもその必要は無く、追尾対象のサイズに関する情報であればどのような情報を用いても良い。例えば、クロップ領域決定部２４０は、対象領域を表す矩形枠の長辺の長さ、短辺の長さ、対角線の長さなどのサイズ情報をクロップ基準として用いてもよい。時刻ｔ＝１では、クロップ領域決定部２４０は、クロップ基準となる追尾対象の全身の画素数とクロップ倍率との積を取ることでクロップ領域を決定する。

Ｓ５０４では、クロップ領域決定部２４０が、クロップ基準に対応するクロップ倍率を取得する。クロップ倍率とは、あらかじめ設定されたクロップ基準にかける倍率であり、クロップ基準の種類（例えば、検出対象）ごとに設定することができる。図６（ａ）に、本実施形態においてあらかじめ設定されている事前登録情報６０１を示す。事前登録情報６０１では、認識タスクの種類である検出対象ごとのクロップ倍率が決められている。クロップ基準に全身が選択されたときのクロップ倍率は３．０倍、頭部が選択されたときのクロップ倍率は１５．０倍、顔が選択されたときのクロップ倍率は３０．０倍であることを示している。したがって、クロップ領域決定部２４０は、追尾対象の全身の画素数をクロップ基準としてＳ５０３で設定しているため、Ｓ５０４では、クロップ領域決定部２４０が、クロップ倍率として、全身に関連付けられている３．０倍を図６（ａ）に示す事前登録情報６０１から選択して取得する。また本実施形態では、追尾対象の全身の画素数は追尾対象設定部２３０で設定された追尾対象領域３０２の画素数を用いるが、これに限るものでは無く、マルチタスク部２６０の全身検出器の結果を用いても良い。

Ｓ５０５では、クロップ領域決定部２４０が、クロップ基準とクロップ倍率とからクロップ領域の画素数を算出する。具体的には、クロップ領域決定部２４０が、クロップ基準として設定された追尾対象の全身の画素数と、Ｓ５０４で決定されたクロップ倍率との積を、クロップ領域の画素数として算出する。

Ｓ５０６では、クロップ領域決定部２４０が、クロップ領域のアスペクト比を決定する。本実施形態では、アスペクト比を４：３として説明を行うが、これに限るものでは無い。クロップ領域決定部２４０は、例えば、クロップ領域に応じてアスペクト比を決定してもよく、予め定められたアスペクト比を採用してもよい。

Ｓ５０７では、クロップ領域決定部２４０が、クロップ領域の位置を決定する。本実施形態では、クロップ領域決定部２４０が、追尾対象の中心をクロップ領域の位置として決定する。なお、クロップ領域の位置は、追尾対象の中心である必要は無く、どのような位置決定方法を用いても良い。これにより、クロップ領域決定部２４０は、図３（ｂ）に示すクロップ領域３１２を決定する。Ｓ４０４の詳細フローから抜け、Ｓ４０５に進む。

Ｓ４０５では、クロップ部２５０が、クロップ画像３１３を生成する。例えば、クロップ部２５０は、Ｓ４０４によって決定されたクロップ領域３１２を用いて画像３１１のクロップを行い、画像のリサイズを行う。本実施形態では、リサイズ後の画像サイズはＱＶＧＡ（３２０画素×２４０画素）として説明を行うが、画像サイズはこれに限るものではない。上記の処理によって、クロップ部２５０は、図３（ｃ）に示すクロップ画像３１３を生成する。

Ｓ４０６では、マルチタスク部２６０が、図３（ｃ）のクロップ画像３１３に対してマルチタスク処理を行う。本実施形態では、マルチタスク部２６０で実施されるマルチタスク処理は、猫の全身検出器、頭部検出器、顔検出器を例に説明するが、これに限られるものではない。例えば、マルチタスク部２６０は、上記の検出器に代えてまたは検出器に加えて、瞳検出器および追尾対象を追尾する機能などをマルチタスク処理として実行しても良い。時刻ｔ＝１におけるマルチタスク部２６０の検出結果は、図３（ｃ）に示す全身検出結果３１４、頭部検出結果３１５、および、顔検出結果３１６となる。

Ｓ４０７では、追尾対象特定部２７０が、マルチタスク部２６０の検出結果の中から追尾対象を特定する。本実施形態では、追尾対象特定部２７０が、追尾対象領域３０２とそれぞれの検出結果の特徴量照合を行い、特徴量がより近い検出結果を追尾対象だと判定する。追尾対象の特定は必ずしも特徴量照合である必要は無く、検出結果が追尾対象だと判定できる方法であれば何でも良い。追尾対象特定部２７０は、時刻ｔ＝１では、全身検出結果３１４を追尾対象と特定したとする。

Ｓ４０８では、局所領域特定部２８０が、マルチタスク部２６０の検出結果の中から、追尾対象の局所領域を特定する。本実施形態では、局所領域特定部２８０は、追尾対象特定部２７０で追尾対象だと特定された図３（ｃ）の全身検出結果３１４の中心位置からの距離を用いて局所領域を特定する。局所領域の特定は、必ずしも距離情報を用いる必要は無い。局所領域特定部２８０は、時刻ｔ＝１では、頭部検出結果３１５と顔検出結果３１６とを局所領域として特定したとする。ここで、全身検出結果３１４は、追尾対象として特定されているため、クロップ領域を決めるための局所領域としては採用されない。頭部検出結果３１５および顔検出結果３１６の領域は、追尾対象の複数の異なる種類の検出対象の複数の局所領域の一例である。

Ｓ４０９では、全フレームの処理が終了したかを判定する。時刻ｔ＝１において、全フレームの処理が終了していないため、Ｓ４０１に戻り時刻ｔ＝２の処理を行う。

Ｓ４０１では、画像入力部２２０が、図３（ｄ）の画像３２１を取得する。画像３２１は、時刻ｔ＝２の猫の画像である。画像３２１では、前フレームで停止していた猫が左方向へ移動を再開している。その後、再度、画像入力部２２０がＳ４０２の処理を行った後、クロップ領域決定部２４０がＳ４０４の処理を行う。

Ｓ４０４の詳細フローである図５（ａ）のＳ５０１では、クロップ領域決定部２４０が、クロップ領域算出に使用可能な前フレームで検出された局所領域があるか否か判定する。時刻ｔ＝１では、クロップ領域決定部２４０は、頭部検出結果３１５と顔検出結果３１６とを前フレームで検出している。また、本実施形態では、クロップ領域決定部２４０が、事前登録情報６０１に登録されている情報をすべてクロップ領域算出に使用可能なものとするため、Ｓ５０２の処理へ移る。

Ｓ５０２では、クロップ領域決定部２４０が、事前登録情報６０１の優先順位に従い、局所領域の画素数をクロップ基準に設定する。ここで、複数の種類の局所領域がある場合、優先順位に従って、検出対象を選択して、当該検出対象の局所領域をクロップ基準に設定する。具体的には、２つの局所領域、ここでは頭部検出結果３１５と顔検出結果３１６とがあるが、事前登録情報６０１を参照すると優先順位が高いのは頭である。したがって、Ｓ５０２では、クロップ領域決定部２４０が、頭部検出結果３１５の画素数をクロップ基準に設定する。

ここで、事前登録情報６０１におけるクロップ基準のそれぞれの優先順位は「姿勢変化に対するサイズ変動率」を考慮して事前に決定されている。本実施形態の猫の例では、歩行時と停止時で全身のサイズ変動が大きいが、頭部はサイズ変動が小さいことが分かる。そのため、クロップ領域決定部２４０が、クロップ基準を頭部に設定することで、姿勢変化に対してクロップ領域の変動を少なくすることができる。顔は頭部に比べると姿勢変化に対してサイズ変動が大きいが、全身に比べると小さい。そのため、頭部の優先順位が１位、顔の優先順位が２位、全身の優先順位が３位と設定している。

Ｓ５０４では、クロップ領域決定部２４０が、事前登録情報６０１からクロップ倍率である１５．０倍を取得し、Ｓ５０５でクロップ領域の画素数の算出を行う。その後、クロップ領域決定部２４０は、Ｓ５０６、Ｓ５０７の処理を行い、図３（ｄ）のクロップ領域３２２を決定する。

Ｓ４０５では、クロップ部２５０が、クロップ領域３２２を用いてクロップ画像の生成を行う。その後、Ｓ４０６からＳ４０９の処理が行われて、一連の処理が終了する。

本実施形態は、上記のように「姿勢変化に対するサイズ変動率」を考慮してクロップ基準とクロップ倍率とを決定することができる。もし、姿勢変化によって影響を受けやすい領域をクロップ基準として設定してしまった場合、丸まった猫などではクロップ領域が極端に狭くなってしまう。クロップ領域は前フレームの情報を用いて決定するため、クロップ領域が狭いと現在フレームで猫が急峻な動きをした際などにクロップ領域内から猫の一部もしくは全部がはみ出てしまう可能性がある。そうなってしまった場合、クロップ画像から猫がはみ出てしまい、マルチタスク処理を正しく実行することができない。

本実施形態は、猫の全身は姿勢によりサイズ変動が大きく、頭部はサイズ変動が小さい、といった知見を事前登録情報の優先順位として設定し処理を行うものである。

すなわち、本実施形態は、追尾対象の姿勢変化の影響を受けにくい、頭部などのサイズ情報に基づいてクロップ領域のサイズ情報を決定している。これにより、本実施形態は、クロップ領域のサイズが追尾対象の姿勢変化の影響を受けにくいので、安定したクロップ画像を生成することができる。この結果、本実施形態は、クロップ領域から追尾対象がはみ出すことを低減することができ、複数の認識タスクを処理するマルチタスク処理の性能を安定させることともに、検出対象に対する検出タスクの精度を安定化させることができる。

本実施形態は、複数の検出対象である全身、頭部、および、顔に対して予め定められた優先順位に基づいて、クロップ領域のサイズ情報を決定するために用いる検出対象を選択している。そして、本実施形態は、当該検出対象の局所領域のサイズ情報に基づいてクロップ領域のサイズ情報を決定している。これにより、本実施形態は、より確実にクロップ領域を安定させることができる。また、本実施形態は、優先順位が最も高い検出対象が検出されない場合でも、その次に追尾対象の姿勢変化の影響の少ない、検出対象の局所領域のサイズ情報によってクロップ領域のサイズ情報を決定することができる。

＜第２の実施形態 複数の認識タスクの結果を用いたクロップ領域の算出＞
第２の実施形態では、第１の実施形態と同様に猫が歩行している場合を例として、複数の認識タスクの結果を用いてクロップ領域を決定する方法を説明する。本実施形態は、局所領域特定部２８０が、複数の局所領域を特定する。例えば、局所領域特定部２８０は、頭部および顔などを含む複数の検出対象のそれぞれから局所領域を特定することで、結果的に複数の局所領域を特定する。クロップ領域決定部２４０は、複数の局所領域のサイズ情報に基づいてクロップ領域のサイズ情報を決定する。例えば、クロップ領域決定部２４０は、複数の局所領域のサイズ情報に平均化処理を行った結果に基づいて、クロップ領域を決定してよい。

本実施形態のハードウェア構成例は第１の実施形態の図１と同様であり、構成図も図２と同様である。

図３は、本実施形態における例として、猫を追尾している場合の時系列の画像を示す。図３（ａ）の画像３０１は、時刻ｔ＝０の初期フレームにおいて猫が左方向へ歩行している画像である。また、第２の実施形態では、図４のフローチャートと図５（ｂ）のフローチャートとを用いる。図６（ｂ）は、本実施形態における事前登録情報を示す。

時刻ｔ＝０での画像３０１に対する処理では、第１の実施形態と同様にＳ４０１、Ｓ４０２、Ｓ４０３の順に処理が行われる。Ｓ４０３では、追尾対象設定部２３０が、図３（ａ）に示すように猫の全身を追尾対象領域３０２として設定する。

次に、Ｓ４０１では、画像入力部２２０が、図３（ｂ）の画像３１１を取得する。ここで、画像３１１は時刻ｔ＝１における猫の画像である。画像３１１では、左方向に歩行していた猫が停止している。画像入力部２２０は、画像３１１を、Ｓ４０２で初期フレームより後のフレームであると判定するため、クロップ領域決定部２４０がＳ４０４のクロップ領域決定処理を実行する。

図５（ｂ）は、第２の実施形態のクロップ領域決定部２４０が実行するＳ４０４のクロップ領域決定処理の詳細なフローを示す。なお、図５（ｂ）の処理のうち、図５（ａ）と同様の処理については説明を簡略化する。図６（ｂ）は、第２の実施形態の事前登録情報６０２を示す。

Ｓ５１１では、クロップ領域決定部２４０が、クロップ領域算出に使用可能な前フレームで検出された局所領域があるか否か判定する。時刻ｔ＝１では、後述するＳ４０８で実施される局所領域の特定処理はまだ実施されていないため、Ｓ５１１の判定はＮｏとなり、Ｓ５１４の処理へと移る。Ｓ５１４では、クロップ領域決定部２４０が、追尾対象設定部２３０で設定された追尾対象の全身の画素数をクロップ基準に設定する。

Ｓ５１５では、クロップ領域決定部２４０が、クロップ倍率として、クロップ基準である全身に対応する３．０倍を、図６（ｂ）の事前登録情報６０２から取得する。

Ｓ５１６では、クロップ領域決定部２４０が、クロップ基準として設定された追尾対象の全身の画素数とＳ５１５で決定されたクロップ倍率との積をとり、クロップ領域の画素数を算出する。

クロップ領域決定部２４０が、Ｓ５１７では、クロップ領域のアスペクト比を決定し、Ｓ５１８では、クロップ領域の位置を決定する。これにより、クロップ領域決定部２４０が、図３（ｂ）に示すクロップ領域３１２を決定する。

Ｓ４０５では、クロップ部２５０が、Ｓ４０４で決定されたクロップ領域３１２を用いたクロップ処理と、ＱＶＧＡへの画像のリサイズ処理とを行って、図３（ｃ）のクロップ画像３１３を生成する。Ｓ４０６では、マルチタスク部２６０が、マルチタスク処理を行い、全身検出結果３１４、頭部検出結果３１５、顔検出結果３１６を得た。

Ｓ４０７では、追尾対象特定部２７０が、マルチタスク部２６０の検出結果の中から追尾対象を特定する。時刻ｔ＝１では、追尾対象特定部２７０が、全身検出結果３１４を追尾対象として特定したとする。

Ｓ４０８では、局所領域特定部２８０が、マルチタスク部２６０の検出結果の中から、追尾対象の局所領域を特定する。時刻ｔ＝１では、追尾対象特定部２７０が、頭部検出結果３１５と顔検出結果３１６とを局所領域と特定したとする。ここで、全身検出結果３１４は追尾対象として特定されているため、クロップ領域を決めるための局所領域としては採用されない。

Ｓ４０９では、全フレームの処理が終了したかを判定する。時刻ｔ＝１において、全フレームの処理が終了していないため、Ｓ４０１に戻り時刻ｔ＝２の処理を行う。

Ｓ４０１では、画像入力部２２０が、図３（ｅ）の画像３３１を取得する。画像３３１は、時刻ｔ＝２の猫の画像である。画像３３１では、前フレームで停止していた猫が左方向へ移動を再開している。その後、再度、Ｓ４０２からＳ４０４の処理を行う。

Ｓ５１１では、クロップ領域決定部２４０が、クロップ領域算出に使用可能な前フレームで検出された局所領域があるか否か判定する。時刻ｔ＝１では、頭部検出結果３１５と顔検出結果３１６とが検出されている。また、本実施形態では、事前登録情報６０２に登録されている情報はすべてクロップ基準として設定できるものとするため、Ｓ５１２の処理へ移る。

Ｓ５１２では、クロップ領域決定部２４０が、複数の検出対象から特定された、全ての局所領域のクロップ倍率と重み係数とを事前登録情報６０２から取得する。Ｓ５１３では、クロップ領域決定部２４０が、クロップ基準の画素数と、クロップ倍率と、重み係数とからクロップ領域の画素数を算出する。

ここで、重み係数とは、認識タスクごとの重要度を示しており、重み係数を用いることでより安定したクロップ領域の画素数を算出することができる。本実施形態では、「姿勢変化に対するサイズ変動率」を考慮し、サイズ変動率が少ない検出結果の重み係数が大きくなるように事前登録情報６０２の設定を行った。

下記に本実施形態でのクロップ領域の画素数Ｃの計算方法を示す。

式（１．１）において、Ｗは重み係数、Ｐは局所領域の画素数、Ｒはクロップ倍率を示している。Ｎは特定された局所領域の個数を示しており、本実施形態では頭部検出結果３１５、顔検出結果３１６の計２個となる。また、本実施形態では頭部検出結果３１５の画素数を６０ｐｉｘｅｌ、顔検出結果３１６の画素数を２０ｐｉｘｅｌとして説明する。

上記の式（１．１）は、それぞれの認識タスクごとにクロップ領域の画素数を算出し、その加重平均を求めている。頭部検出結果３１５をクロップ基準としたときのクロップ領域の画素数は、頭部検出結果の６０ｐｉｘｅｌと頭部のクロップ倍率１５．０を掛け合わせた９００ｐｉｘｅｌとなる。顔検出結果３１６をクロップ基準としたときのクロップ領域の画素数は、顔検出結果の画素数２０ｐｉｘｅｌと頭部のクロップ倍率３０．０を掛け合わせた６００ｐｉｘｅｌとなる。それぞれに、頭部の重み係数５．０と顔の重み係数３．０をかけ、加重平均を求めることで、クロップ領域の画素数Ｃは７８７．５ｐｉｘｅｌとなる。クロップ領域決定部２４０は、複数の検出結果を用いてクロップ領域の画素数を算出することで、もし頭部検出結果３１５のサイズを間違えて検出していた場合でも、クロップ領域の画素数が安定することがわかる。

クロップ領域決定部２４０が、Ｓ５１７では、クロップ領域のアスペクト比を決定し、Ｓ５１８では、クロップ領域の位置を決定する。これにより、クロップ領域決定部２４０が、図３（ｅ）に示すクロップ領域３３２を決定する。

その後、Ｓ４０５では、クロップ部２５０が、クロップ領域３３２を用いてクロップ画像を生成する。その後、Ｓ４０６からＳ４０９の処理が行われて、本実施形態の処理が終了する。

上記のように、本実施形態は、複数の認識タスクによって検出された複数の検出対象のサイズ情報に基づいて、クロップ領域のサイズ情報を算出することで、もし一部の検出結果のサイズが間違っていた場合でも、安定したクロップ領域を計算することができる。
例えば、本実施形態は、複数の局所領域のサイズ情報を平均化処理した結果に基づいて、クロップ領域のサイズ情報を算出している。これにより、複数の局所領域のサイズ情報が、外れ値を含む場合でも、クロップ領域を安定化することができる。なお、本実施形態では加重平均を例に説明を行ったが、必ずしもその必要は無く、単純平均や移動平均などの平均化処理を用いてクロップ領域を決定しても良い。

また、クロップ領域決定部２４０は、複数の認識タスクの検出結果を用いてクロップ領域のサイズ情報の上限値および下限値の少なくとも一方を決定しても良い。例えば、事前登録情報に優先順位が設定されている場合、クロップ領域決定部２４０は、優先順位が最も高い認識タスクの検出結果からクロップ領域を算出し、クロップ領域の画素数を２．０倍した値を上限値、０．５倍した値を下限値として設定してよい。その後、クロップ領域決定部２４０は、本実施形態のように加重平均を用いてクロップ領域を算出した際に、クロップ領域の画素数が上限値を越えてしまったり、下限値を下回ってしまったりした場合、設定された上限値や下限値の範囲に収まるようにクロップ領域の画素数を設定する。上記のように上限値や下限値を設定することで、優先順位の高い認識タスクから算出されるクロップ領域の画素数の０．５倍～２．０倍までの範囲でクロップ領域を設定することができる。

以上によって、複数の認識タスクの検出結果を用いてマルチタスク手段の性能を安定させることができる。

＜第３の実施形態 時系列情報を用いて、クロップ領域の算出に使用するクロップ基準を決定＞
本実施形態では、猫が歩行している場合を例として、時系列情報を用いてクロップ基準を決定する方法を説明する。例えば、本実施形態では、局所領域特定部２８０が、時刻の異なる複数の画像から複数の局所領域を特定する。クロップ領域決定部２４０は、複数の局所領域の少なくともいずれかのサイズ情報を用いて、クロップ領域のサイズ情報を決定する。ここで、局所領域特定部２８０は、複数の種類の検出対象、例えば、頭部および顔の複数の局所領域を特定してよい。換言すれば、局所領域特定部２８０は、時刻の異なる複数の画像のそれぞれから、互いに異なる複数の種類の検出対象の局所領域を特定してよい。クロップ領域決定部２４０は、複数の種類の検出対象から選択した検出対象の局所領域のサイズ情報に基づいて、クロップ情報のサイズ情報を決定してよい。例えば、クロップ領域決定部２４０は、局所領域のサイズ情報の変化に基づいて、選択した検出対象の局所領域のサイズ情報に基づいてクロップ領域のサイズ情報を決定してよい。局所領域のサイズ情報の変化は、例えば、時刻の異なる画像から特定した局所領域のサイズの変化率であってよい。ここでいうサイズは、局所領域の画素数、および、局所領域の縦および横の積などのいずれかであってよい。

本実施形態のハードウェア構成例は第１の実施形態の図１と同様であり、構成図も図２と同様である。

図７は、本実施形態における例として、猫を追尾している場合の時系列の画像を示す。図７（ａ）の画像７０１は、時刻ｔ＝０の初期フレームにおいて猫が左方向へ歩行している画像である。また、第３の実施形態では、図４のフローチャートと図８のフローチャートとを用いる。図６（ｃ）は、本実施形態における事前登録情報を示す。

時刻ｔ＝０での画像７０１に対する処理では、第１の実施形態と同様にＳ４０１、Ｓ４０２、Ｓ４０３の順に処理が行われる。Ｓ４０３では、追尾対象設定部２３０が、図７（ａ）に示すように猫の全身を追尾対象領域７０２として設定する。

次に、Ｓ４０１では、画像入力部２２０が、図７（ｂ）の画像７１１を取得する。ここで、画像７１１は時刻ｔ＝１の猫の画像である。画像７１１では、引き続き猫が左方向へ移動している。Ｓ４０２では、画像入力部２２０が、画像７１１を初期フレームより後のフレームであると判定するため、Ｓ４０４のクロップ領域決定処理へと移る。

図８は、第３の実施形態のクロップ領域決定部２４０が実行するＳ４０４のクロップ領域決定処理の詳細なフローを示す。図８の処理のうち、上述の実施形態と同様の処理については説明を簡略化する。

Ｓ８０１では、クロップ領域決定部２４０が、クロップ領域算出に使用可能な前フレームで検出された局所領域があるか否か判定する。時刻ｔ＝１では、後述するＳ４０８で実施される局所領域の特定処理はまだ実施されていないため、局所領域がない。したがって、クロップ領域決定部２４０が、Ｓ８０１の判定をＮｏとして、Ｓ８０７の処理へと移る。

Ｓ８０７では、クロップ領域決定部２４０が、追尾対象設定部２３０で設定された追尾対象の全身の画素数をクロップ基準に設定する。

Ｓ８０８では、クロップ領域決定部２４０が、クロップ倍率として、クロップ基準である全身に対応する３．０倍を図６（ｃ）の事前登録情報６０３から取得する。

Ｓ８０９では、クロップ領域決定部２４０が、クロップ基準として設定された追尾対象の全身の画素数とＳ８０８で決定されたクロップ倍率との積をとり、クロップ領域の画素数を算出する。

クロップ領域決定部２４０は、Ｓ８１０でクロップ領域のアスペクト比を決定し、Ｓ８１１でクロップ領域の位置を決定する。これにより、クロップ領域決定部２４０が、図７（ｂ）に示すクロップ領域７１２を決定する。

Ｓ４０５では、クロップ部２５０が、Ｓ４０４で決定されたクロップ領域７１２を用いたクロップ処理と、ＱＶＧＡへの画像のリサイズ処理とを行い、図３（ｃ）のクロップ画像７１３を生成する。

Ｓ４０６では、マルチタスク部２６０が、マルチタスク処理を行い、全身検出結果７１４、頭部検出結果７１５、顔検出結果７１６を得る。

Ｓ４０７では、追尾対象特定部２７０が、マルチタスク部２６０の検出結果の中から追尾対象の特定が行われる。時刻ｔ＝１では、追尾対象特定部２７０は、全身検出結果７１４を追尾対象と特定する。

Ｓ４０８では、局所領域特定部２８０が、マルチタスク部２６０の検出結果の中から、追尾対象の局所領域を特定する。時刻ｔ＝１では、局所領域特定部２８０は、頭部検出結果７１５と顔検出結果７１６とを局所領域と特定する。

Ｓ４０９では、全フレームの処理が終了したかを判定する。時刻ｔ＝１において、全フレームの処理が終了していないため、Ｓ４０１に戻り時刻ｔ＝２の処理が行われる。

Ｓ４０１では、画像入力部２２０は、図７（ｄ）の画像７２１を取得する。ここで、画像７２１は時刻ｔ＝２の猫の画像である。画像７２１では、引き続き猫が左方向へ移動している。その後、再度、Ｓ４０２からＳ４０４の処理を行う。

Ｓ８０１では、クロップ領域決定部２４０が、クロップ領域の算出に使用可能な前フレームで検出された局所領域があるか否か判定する。時刻ｔ＝１では、頭部検出結果７１５と顔検出結果７１６が前フレームで検出されている。また、本実施形態では、事前登録情報６０３に登録されている情報はすべてクロップ領域算出に使用可能なものとするため、クロップ領域決定部２４０は、前フレームの局所領域があると判定して、Ｓ８０２の処理へ移る。

Ｓ８０２では、クロップ領域決定部２４０が、クロップ領域の算出に使用できる局所領域は複数あるか判定する。時刻ｔ＝１では、頭部検出結果７１５と顔検出結果７１６が検出されているため、クロップ領域決定部２４０は、使用できる複数の局所領域があると判定して、Ｓ８０３の処理へと移る。

Ｓ８０３では、クロップ領域決定部２４０が、局所領域の検出結果の時系列情報が使用できる状態か判定する。時刻ｔ＝２では、時刻ｔ＝１の検出結果のみがある状態であるため、局所領域の時間的変化を判断するための時刻の異なる画像から特定された検出結果または局所領域などの情報が揃っていない状態である。そのため、クロップ領域決定部２４０は、時系列情報が使用できる状態でないと判定して、Ｓ８０６の処理へと移る。

Ｓ８０６では、クロップ領域決定部２４０が、検出された局所領域を優先順位に従いクロップ基準に設定する。事前登録情報６０３から顔検出結果の優先順位が一番高いことが分かるため、クロップ領域決定部２４０は、顔の領域の画素数をクロップ基準として設定する。

Ｓ８０８では、クロップ領域決定部２４０が、クロップ倍率として、顔に関連付けられている３０．０倍を図６（ｃ）の事前登録情報６０３から取得して設定する。

Ｓ８０９では、クロップ領域決定部２４０が、クロップ基準として設定された顔の画素数とＳ８０８で決定されたクロップ倍率との積をとり、クロップ領域の画素数を算出する。クロップ領域決定部２４０が、Ｓ８１０では、クロップ領域のアスペクト比を決定し、Ｓ８１１では、クロップ領域の位置を決定する。これにより、クロップ領域決定部２４０が、図７（ｄ）に示すクロップ領域７２２を決定する。

Ｓ４０５では、クロップ部２５０が、Ｓ４０４で決定されたクロップ領域７２２を用いたクロップ処理と、ＱＶＧＡへの画像のリサイズ処理とを行い、図３（ｅ）のクロップ画像７２３を生成する。

Ｓ４０６では、マルチタスク部２６０が、マルチタスク処理を行い、全身検出結果７２４、頭部検出結果７２５、顔検出結果７２６を得る。

Ｓ４０７では、追尾対象特定部２７０が、マルチタスク部２６０の検出結果の中から追尾対象を特定する。時刻ｔ＝２では、追尾対象特定部２７０は、全身検出結果７２４を追尾対象と特定する。

Ｓ４０８では、局所領域特定部２８０は、マルチタスク部２６０の検出結果の中から、追尾対象の局所領域を特定する。時刻ｔ＝２では、局所領域特定部２８０は、頭部検出結果７２５と顔検出結果７２６とを局所領域と特定する。

Ｓ４０９では、全フレームの処理が終了したかを判定する。時刻ｔ＝２において、全フレームの処理が終了していないため、Ｓ４０１に戻り時刻ｔ＝３の処理を行う。

Ｓ４０１では、画像入力部２２０が、図７（ｇ）の画像７３１を取得する。画像７３１は、時刻ｔ＝３の猫の画像である。画像７３１では、引き続き猫が左方向へ移動している。その後、再度、Ｓ４０２からＳ４０４の処理が行われる。

Ｓ８０１では、クロップ領域決定部２４０が、クロップ領域算出に使用可能な前フレームで検出された局所領域があるか否か判定する。時刻ｔ＝２では、頭部検出結果７２５と顔検出結果７２６が前フレームで検出されている。したがって、クロップ領域決定部２４０は、局所領域があると判定して、Ｓ８０２の処理へ移る。

Ｓ８０２では、クロップ領域決定部２４０が、クロップに使用できる局所領域は複数あるか判定する。時刻ｔ＝２では、頭部検出結果７２５と顔検出結果７２６とが検出されている。したがって、クロップ領域決定部２４０は、複数の局所領域があると判定して、Ｓ８０３の処理へと移る。

Ｓ８０３では、クロップ領域決定部２４０が、局所領域の検出結果の時系列情報が使用できる状態か判定する。時刻ｔ＝３では、時刻ｔ＝１と時刻ｔ＝２の検出結果がある状態であるため、局所領域の時間的変化を判断するための情報が揃っている状態である。そのため、クロップ領域決定部２４０は、時系列情報が使用できる状態であると判定して、Ｓ８０４の処理へと移る。本実施形態では局所領域の過去２フレーム分の検出結果があれば、時系列情報が使用できる状態だと判定されるが、これに限るものでは無い。

Ｓ８０４では、クロップ領域決定部２４０が、それぞれの局所領域の時系列情報からサイズ変化率を算出する。

サイズ変化率とは、過去フレームにおける局所領域の検出結果のサイズ情報からサイズ（ここでは画素数）がどれくらい変化しているかを算出した値である。本実施形態では、クロップ領域決定部２４０が、２フレーム前の検出結果のサイズ情報と１フレーム前の検出結果のサイズ情報とを比較することで、元々の局所領域の検出サイズに対してどの程度サイズが変化したかを算出するが、必ずしもその必要は無い。例えば、クロップ領域決定部２４０は、局所領域の時系列情報のサイズ分散、および、標準偏差などを計算することで、サイズ変化率を算出しても良い。全身検出結果７１４と全身検出結果７２４では、猫の体の向きは変化していないため、全身のサイズ変化率が小さいことが分かる。顔検出結果７１６と顔検出結果７２６では、猫の顔が正面向きから横向きに変化したため、顔のサイズ変化率が大きいことが分かる。頭部検出結果７１５と頭部検出結果７２５では、猫が横を向いた場合でも頭部のサイズ検出結果は変化量が小さいことが分かる。

Ｓ８０５では、クロップ領域決定部２４０が、サイズ変化率が一番小さい局所領域の画素数をクロップ基準に設定する。本実施形態では、クロップ領域決定部２４０が、サイズ変化率が一番小さい領域を頭部と判定して、頭部の画素数をクロップ基準として設定する。ここで、もし第１の実施形態の方式であれば、優先順位に従い顔の画素数をクロップ基準として設定してしまうため、時刻ｔ＝２と比べるとクロップ領域が狭くなってしまうことが考えられる。

Ｓ８０８では、クロップ領域決定部２４０が、クロップ倍率として、頭に関連付けられている１５．０倍を図６（ｃ）の事前登録情報６０３から取得する。

Ｓ８０９では、クロップ領域決定部２４０が、クロップ基準として設定された頭部の画素数とＳ８０８で決定されたクロップ倍率との積をとり、クロップ領域の画素数を算出する。

クロップ領域決定部２４０は、Ｓ８１０では、クロップ領域のアスペクト比を決定し、Ｓ８１１では、クロップ領域の位置を決定する。これにより、クロップ領域決定部２４０は、図７（ｇ）に示すクロップ領域７３２を決定する。

その後、Ｓ４０５では、クロップ部２５０が、クロップ領域７３２を用いてクロップ画像を生成する。その後、Ｓ４０６からＳ４０９の処理が行われて、本実施形態の処理が終了する。

上記のように、第３の実施形態の情報処理装置は、時刻の異なる複数の画像を時系列情報として用いて特定した局所領域のいずれかを用いてクロップ領域を算出することで、安定したクロップ領域を設定することができる。例えば、本実施形態は、局所領域のサイズ情報の変化率によって、クロップ領域を算出するための局所領域を選択している。具体的には、本実施形態は、サイズ情報の変化の小さい局所領域を用いてクロップ領域を決定している。これにより、本実施形態は、安定したクロップ領域に適していない局所領域の優先順位が高かった場合、または、優先順位が設定されていなかった場合などであっても、適切に安定したクロップ領域を算出することができる。

また、本実施形態では顔や頭部などの異なる種類の局所領域の中からクロップ基準を決定する方法を説明したが、これに限るものではない。例えば、瞳や足など、同じ種類の局所領域の候補が複数（例えば、瞳の場合は２つ）あった場合でも、上記の方法によってクロップ領域の算出に適した局所領域を１つ決定しても良い。

＜第４の実施形態 認識タスクが未検出だった場合に時系列情報を用いてクロップ領域を決定＞
本実施形態では、猫が歩行している場合を例として、優先順位の高い認識タスクが未検出だった場合のクロップ領域の決定方法を説明する。具体的には、本実施形態では、局所領域特定部２８０が、時刻の異なる複数のフレームの画像のそれぞれから複数の局所領域を特定する。クロップ領域決定部２４０は、時刻の異なる複数の局所領域の変化に基づいて、前のフレームの画像（すなわち、前の時刻の画像）のクロップ領域に基づいて現在の画像のクロップ領域として設定する。また、クロップ領域決定部２４０は、前の時刻の局所領域がない場合、局所領域の変化に基づいて、前のクロップ領域に基づいて現在のクロップ領域を設定するか否か判定する。

図７は、第４の実施形態における例として、猫を追尾している場合の時系列の画像を示す。図７（ａ）の画像７０１は、時刻ｔ＝０の初期フレームにおいて猫が左方向へ歩行している画像である。また、第４の実施形態では、図４のフローチャートと図９のフローチャートを用いる。図６（ｄ）は、第４の実施形態における事前登録情報を示す。

時刻ｔ＝０での画像７０１に対する処理では、第３の実施形態と同様にＳ４０１、Ｓ４０２、Ｓ４０３の順に処理を行う。Ｓ４０３では、追尾対象設定部２３０が、図７（ａ）に示すように猫の全身を追尾対象領域７０２として設定する。

次に、Ｓ４０１では、図７（ｂ）の画像７１１が取得される。ここで、画像７１１は時刻ｔ＝１の猫の画像である。画像７１１では、引き続き猫が左方向へ移動している。画像入力部２２０は、画像７１１をＳ４０２で初期フレームより後のフレームであると判定するため、Ｓ４０４のクロップ領域決定処理へと移る。

図９は、第４の実施形態のクロップ領域決定部２４０が実行するＳ４０４のクロップ領域決定処理の詳細なフローを示す。

Ｓ９０１では、クロップ領域決定部２４０が、クロップ領域の算出に使用可能な前フレームで検出された局所領域があるか否か判定する。時刻ｔ＝１では、マルチタスク部２６０の処理はまだ行われていないため、クロップ領域決定部２４０は、検出された局所領域はないと判定して、Ｓ９０３の処理へと移る。

Ｓ９０３では、クロップ領域決定部２４０が、前フレームの検出結果があるか判定を行う。時刻ｔ＝１では、マルチタスク部２６０の処理はまだ行われていないため、クロップ領域決定部２４０は、前フレームの検出結果はないと判定して、Ｓ９０４の処理へと移る。

Ｓ９０４では、クロップ領域決定部２４０が、追尾対象設定部２３０で設定された追尾対象の全身の画素数をクロップ基準に設定する。

Ｓ９０７では、クロップ領域決定部２４０が、クロップ倍率として、クロップ基準である全身に対応する３．０倍を図６（ｄ）の事前登録情報６０４から取得する。

Ｓ９０８では、クロップ領域決定部２４０が、クロップ基準として設定された追尾対象の全身の画素数とＳ９０７で決定されたクロップ倍率との積をとり、クロップ領域の画素数を算出する。

クロップ領域決定部２４０が、Ｓ９０９では、クロップ領域のアスペクト比を決定し、Ｓ９１１では、クロップ領域の位置を決定する。これにより、クロップ領域決定部２４０が、図７（ｂ）に示すクロップ領域７１２を決定する。

Ｓ４０５では、クロップ部２５０が、Ｓ４０４で決定されたクロップ領域７１２を用いたクロップ処理と、ＱＶＧＡへの画像のリサイズ処理とを行い、図７（ｃ）のクロップ画像７１３を生成する。

Ｓ４０６では、マルチタスク部２６０が、マルチタスク処理を行い、全身検出結果７１４、頭部検出結果７１５、顔検出結果７１６を得る。

Ｓ４０７では、追尾対象特定部２７０が、マルチタスク部２６０の検出結果の中から追尾対象を特定する。時刻ｔ＝１では、追尾対象特定部２７０は、全身検出結果７１４を追尾対象と特定する。

Ｓ４０８では、局所領域特定部２８０が、マルチタスク部２６０の検出結果の中から、追尾対象の局所領域を特定する。時刻ｔ＝１では、局所領域特定部２８０は、頭部検出結果７１５と顔検出結果７１６とを局所領域と特定する。

Ｓ４０９では、全フレームの処理が終了したかを判定する。時刻ｔ＝１において、全フレームの処理が終了していないため、Ｓ４０１に戻り時刻ｔ＝２の処理を行う。

Ｓ４０１では、画像入力部２２０が、図７（ｄ）の画像７２１を取得する。ここで、画像７２１は時刻ｔ＝２の猫の画像である。画像７２１では、引き続き猫が左方向へ移動している。その後、再度、Ｓ４０２からＳ４０４の処理を行う。

Ｓ９０１では、クロップ領域決定部２４０が、クロップ領域の算出に使用可能な前フレームで検出された局所領域があるか否か判定する。時刻ｔ＝１では、頭部検出結果７１５と顔検出結果７１６とが前フレームで検出されている。また、本実施形態では、事前登録情報６０４に登録されている情報はすべてクロップ基準として設定できるものとするため、Ｓ９０２の処理へ移る。

Ｓ９０２では、クロップ領域決定部２４０が、検出された局所領域を優先順位に従いクロップ基準に設定する。事前登録情報６０４から頭部の優先順位が一番高いことが分かるため、クロップ領域決定部２４０は、頭部の領域の画素数をクロップ基準として設定する。

Ｓ９０７では、クロップ領域決定部２４０が、クロップ倍率として、クロップ基準である頭に対応する１５．０倍を図６（ｄ）の事前登録情報６０４から取得する。

Ｓ９０８では、クロップ領域決定部２４０が、クロップ基準として設定された頭部の画素数とＳ９０７で決定されたクロップ倍率との積をとり、クロップ領域の画素数を算出する。

クロップ領域決定部２４０は、Ｓ９０９でクロップ領域のアスペクト比を決定し、Ｓ９１１では、クロップ領域の位置を決定する。これにより、クロップ領域決定部２４０は、図７（ｄ）に示すクロップ領域７２２を決定する。

Ｓ４０５では、クロップ部２５０が、Ｓ４０４で決定されたクロップ領域７２２を用いたクロップ処理と、ＱＶＧＡへの画像のリサイズ処理とを行い、図７（ｆ）のクロップ画像７２７を生成する。

Ｓ４０６では、マルチタスク部２６０が、マルチタスク処理を行い、全身検出結果７２８のみを得て、頭部と顔は未検出となる。

Ｓ４０７では、追尾対象特定部２７０が、マルチタスク部２６０の検出結果の中から追尾対象を特定する。時刻ｔ＝２では、追尾対象特定部２７０は、全身検出結果７２８を追尾対象と特定する。

Ｓ４０８では、局所領域特定部２８０が、マルチタスク部２６０の検出結果の中から、追尾対象の局所領域を特定する。時刻ｔ＝２では、局所領域特定部２８０は、局所領域を検出しない。

Ｓ４０９では、全フレームの処理が終了したかを判定する。時刻ｔ＝２において、全フレームの処理が終了していないため、Ｓ４０１に戻り時刻ｔ＝３の処理が行われる。

Ｓ４０１では、画像入力部２２０が、図７（ｈ）の画像７３３を取得する。画像７３３は、時刻ｔ＝３の猫の画像である。画像７３３では、引き続き猫が左方向へ移動している。その後、再度、Ｓ４０２からＳ４０４の処理が行われる。

Ｓ９０１では、クロップ領域決定部２４０が、クロップ領域算出に使用可能な前フレームで検出された局所領域があるか否か判定する。時刻ｔ＝２では、頭部と顔が未検出となっているため、検出された局所領域がないと判定して、Ｓ９０３の処理へ移る。

Ｓ９０３では、クロップ領域決定部２４０が、前フレームの検出結果があるか判定を行う。時刻ｔ＝２では、全身検出結果７２８が検出されているため、クロップ領域決定部２４０は、前フレームの検出結果があると判定して、Ｓ９０５の処理へと移る。

Ｓ９０５では、クロップ領域決定部２４０が、検出結果の時系列情報からサイズ変化率を算出する。サイズ変化率とは、第３の実施形態で説明したのと同様、過去フレームにおける検出結果のサイズ情報（ここでは画素数）からサイズがどれくらい変化しているかを算出した値である。例えば、クロップ領域決定部２４０は、ある時刻の局所領域のサイズと、ある時刻の直ぐ後の局所領域のサイズとの変化を当該サイズ変化率として算出してよい。

Ｓ９０６では、クロップ領域決定部２４０が、サイズ変化率が閾値以下か判定する。全身検出結果７１４と全身検出結果７２８のサイズ変化率が低く、クロップ領域決定部２４０は、サイズ変化率が閾値以下であると判定すると、Ｓ９１０の処理へと移る。一方、クロップ領域決定部２４０は、サイズ変化率が閾値より大きいと判定した場合、Ｓ９０４の処理へと移る。

Ｓ９１０では、クロップ領域決定部２４０が、前フレームのクロップ領域を現在フレームのクロップ領域として設定する。換言すれば、クロップ領域決定部２４０は、前の時刻の局所領域が未検出の場合、かつ、サイズ変化率が閾値以下の場合、前の時刻のクロップ領域を現在のクロップ領域として決定する。

ここで、例えば第３の実施形態だと、現在フレームではクロップ領域の算出に使用できる前フレームの局所領域が未検出になってしまっているため、「姿勢変化に対するサイズ変動率」が大きい追尾対象の全身をクロップ基準として設定する可能性がある。本実施形態では、クロップ領域決定部２４０が、「姿勢変化に対するサイズ変化率」が大きい領域の現在フレームでの局所領域のサイズ変化率から、追尾対象の姿勢に大きな変化が無いことを判定する。クロップ領域決定部２４０は、サイズ変化率が小さく、追尾対象の撮影状態に大きな変化が無いと判定した場合、前フレームのクロップ領域を現在フレームのクロップ領域として用いることができる。

その後、Ｓ９１１では、クロップ領域決定部２４０が、クロップ領域の位置を決定する。これにより、クロップ領域決定部２４０は、図７（ｈ）に示すクロップ領域７３４を決定する。

その後、Ｓ４０５では、クロップ部２５０が、クロップ領域７３４を用いてクロップ画像の生成を行う。その後、Ｓ４０６からＳ４０９の処理を行い、本実施形態の処理が終了する。

上記のように、第４の実施形態の情報処理装置は、「姿勢変化に対するサイズ変化率」が大きい領域のサイズ変化率から、追尾対象の撮影状態に大きな変化が無いことを確認することで、前フレームのクロップ領域を現在フレームのクロップ領域として用いてクロップ処理を行うことができる。ただし、クロップ領域の位置に関しては、前フレームの座標を用いる必要は無く、被写体の動作に合わせて変更しても良い。また、本実施形態では、サイズ変化率を用いて追尾対象の撮影状態に大きな変化が無いことを確認したが、追尾対象の認識精度を用いて確認しても良い。ここで認識精度とは、追尾対象が認識されたフレーム数から算出される認識率や、認識対象の尤もらしさを示す認識スコアなどである。

また、本実施形態では、前フレームのクロップ領域を用いてクロップ処理を行うことができるか判定したが、前フレームの局所領域のサイズ情報を現在フレームで用いることができるか判定しても良い。上記の判定を行うことで、前フレームでクロップ領域の算出に使用された局所領域が現在フレームで未検出の場合でも、前フレームの局所領域を用いてクロップ領域を算出することが可能となる。

以上によって、優先順位の高い認識タスクが未検出だった場合でも、安定したクロップ領域の算出を行うことができる。

＜第５の実施形態 異なる大きさの画像に対し実行されるマルチタスク＞
図１０は、第５の実施形態に係る第１の情報処理装置２００と第２の情報処理装置１０００とを説明する図である。図１０の画像入力部２２０、追尾対象設定部２３０、クロップ領域決定部２４０、クロップ部２５０、第１のマルチタスク部２６０、追尾対象特定部２７０、局所領域特定部２８０、出力部２９０は、第１の実施形態の対応する構成と同様の動作を行うため説明を割愛する。

第２の情報処理装置１０００は、画像入力部２２０から入力データ２１０を受け付ける。第２のマルチタスク部１０１０は、入力データ２１０の画像データに対し、複数の認識タスクを実行する。本実施形態では、第２のマルチタスク部１０１０はクロップを行っていない画像に対して処理を行うが、これに限るものではなく、クロップ画像よりも大きい画像に対して認識タスクを実行して良い。第２のマルチタスク部１０１０は、例えば画像のサイズが半分のクロップ画像、および、画像のアスペクト比が１：１になるクロップ画像などに対して認識タスクを実行してよい。したがって、局所領域特定部２８０は、クロップ画像と、クロップ画像よりも大きい画像とから、局所領域を特定することになる。なお、第２のマルチタスク部１０１０は、第１の情報処理装置２００に設けられていてもよい。この場合、第１の情報処理装置２００および第２の情報処理装置１０００は、統合されて１つの情報処理装置となる。

図１１は、第５の実施形態における例として、猫を追尾している場合の時系列の画像を示す。また、図１２に本実施形態の処理のフローチャート図を示す。図１２（ａ）は、フローチャート全体を示す。図１２（ｂ）は、Ｓ１２０４のクロップ領域決定処理の詳細なフローを示す。図６（ａ）は、本実施形態における事前登録情報を示す。

まず、Ｓ１２０１では、画像入力部２２０が、入力データ２１０として入力された１フレーム分の画像を取得する。ここでは、画像入力部２２０が、図１１（ａ）の画像１１０１を取得する。図１１（ａ）の画像１１０１は、時刻ｔ＝０の初期フレームの画像である。画像１１０１では、猫が左方向へ歩行している。

Ｓ１２０２では、画像入力部２２０が、取得したフレームが入力データ２１０の初期フレームか否かを判定する。時刻ｔ＝０の初期フレームの画像を取得している場合、画像入力部２２０は、初期フレームと判定して、Ｓ１２０３に移る。

Ｓ１２０３では、追尾対象設定部２３０が、追尾対象を設定する。ここでＳ１２０３では、追尾対象設定部２３０が、猫を追尾対象であると設定して、追尾対象の位置とサイズを設定する。本実施形態では、追尾対象設定部２３０は、図１１（ａ）に示すように猫の全身を追尾対象領域１１０２として設定する。

Ｓ１２０７では、追尾対象の設定が終了したのち、第２のマルチタスク部１０１０が、第２のマルチタスク処理を行う。図１１（ｂ）は、第２のマルチタスク処理結果を示す。図１１（ｂ）の画像１１０３は第２のマルチタスク処理を行った画像を示しており、本実施形態では画像１１０１と同じものを用いる。第２のマルチタスク部１０１０は、画像１１０３に基づいて、全身検出結果１１０４と頭部検出結果１１０５とを検出する。

Ｓ１２０８では、追尾対象特定部２７０は、第２のマルチタスク部１０１０の検出結果の中から追尾対象を特定する。時刻ｔ＝０では、追尾対象特定部２７０は、全身検出結果１１０４を追尾対象と特定する。

Ｓ１２０９では、局所領域特定部２８０が、第２のマルチタスク部１０１０の検出結果の中から、追尾対象の局所領域を特定する。時刻ｔ＝０では、局所領域特定部２８０が、頭部検出結果１１０５を局所領域と特定する。

Ｓ１２１０では、全フレームの処理が終了したかを判定する。時刻ｔ＝０において、全フレームの処理が終了していないため、Ｓ１２０１に戻り時刻ｔ＝１の処理を行う。

Ｓ１２０１では、画像入力部２２０が、図１１（ｃ）に示す画像１１１１を取得する。ここで、画像１１１１は、時刻ｔ＝１における猫の画像である。画像１１１１では、引き続き猫が左方向へ移動している。

Ｓ１２０２では、画像入力部２２０が、画像１１１１を初期フレームより後のフレームであると判定するため、Ｓ１２０４のクロップ領域決定処理へと移る。

図１２（ｂ）は、Ｓ１２０４のクロップ領域決定処理の詳細なフローを示す。

Ｓ１２１１では、クロップ領域決定部２４０が、クロップ領域の算出に使用可能な前フレームで検出された局所領域があるか否か判定する。時刻ｔ＝１では、第２のマルチタスク部１０１０から得られた頭部検出結果１１０５があるため、クロップ領域決定部２４０は、前フレームで検出された局所領域があると判定して、Ｓ１２１２の処理へと移る。一方、頭部検出結果１１０５などのクロップ領域の算出に使用できる前フレームの局所領域がない場合、クロップ領域決定部２４０は、局所領域が無いと判定して、Ｓ１２１４へ移り、追尾対象設定部２３０で設定された追尾対象の全身の画素数をクロップ基準に設定する。その後、クロップ領域決定部２４０は、後述するＳ１２１５へ移る。

Ｓ１２１２では、クロップ領域決定部２４０が、第１のマルチタスク処理の結果と第２のマルチタスク処理の結果とを統合する。例えば、クロップ領域決定部２４０は、それぞれのマルチタスク処理で頭部が検出されていた場合、頭部の領域を局所領域として画素数の決定を行う。本実施形態のクロップ領域決定部２４０は、２つの処理によって検出された頭部の領域の画素数の平均を用いて、当該領域の画素数を決定している。なお、画素数の決定は、これに限らず、２つの領域の加重平均またはどちらか片方を利用するなどして決定しても良い。また、検出結果が１つしかなかった場合は、クロップ領域決定部２４０は、１つしかない頭部検出結果の画素数を用いても良い。

Ｓ１２１３では、クロップ領域決定部２４０が、図６（ａ）の事前登録情報６０１の優先順位に従い、頭部検出結果１１０５の画素数をクロップ基準に設定する。

Ｓ１２１５では、クロップ領域決定部２４０は、クロップ倍率として、頭に対応する１５．０倍を、図６（ａ）の事前登録情報６０１から取得する。

Ｓ１２１６では、クロップ領域決定部２４０は、クロップ基準として設定された頭部の画素数と、Ｓ１２１５で決定されたクロップ倍率との積をとり、クロップ領域の画素数を算出する。

クロップ領域決定部２４０は、Ｓ１２１７でクロップ領域のアスペクト比を決定し、Ｓ１２１８でクロップ領域の位置を決定する。これにより、クロップ領域決定部２４０は、図１１（ｃ）に示すクロップ領域１１１２を決定する。

Ｓ１２０５では、クロップ部２５０が、クロップ画像１１１６を生成する。例えば、クロップ部２５０は、Ｓ１２０４によって決定されたクロップ領域１１１２を用いて画像１１１１のクロップを行い、画像のリサイズを行う。上記の処理によって、クロップ部２５０は、図１１（ｅ）に示すクロップ画像１１１６を生成する。時刻ｔ＝１では、猫の動きが急峻であったため、クロップ領域から猫の全身の一部および頭部がはみ出てしまっている。

Ｓ１２０６では、第１のマルチタスク部２６０が、図１１（ｅ）のクロップ画像１１１６に対して第１のマルチタスク処理を行う。時刻ｔ＝１における第１のマルチタスク部２６０の結果は、猫の全身がクロップ領域からはみ出てしまっているため、図１１（ｅ）に示すように全身検出結果１１１７のみとなる。

Ｓ１２０７では、第２のマルチタスク部１０１０が、第２のマルチタスク処理を行う。図１１（ｄ）は、第２のマルチタスク処理結果を示す。図１１（ｄ）の画像１１１３は第２のマルチタスク処理を行った画像を示しており、画像１１１１と同じものを用いた処理結果である。第２のマルチタスク部１０１０は、画像１１１１に対して第２のマルチタスク処理を実行して、画像１１１３に示すように全身検出結果１１１４と頭部検出結果１１１５とを検出する。

Ｓ１２０８では、追尾対象特定部２７０が、第１のマルチタスク部２６０と第２のマルチタスク部１０１０との検出結果の中から追尾対象を特定する。時刻ｔ＝１では、追尾対象特定部２７０が、図１１（ｄ）に示すように全身検出結果１１１４を追尾対象と特定する。

Ｓ１２０９では、局所領域特定部２８０は、第１のマルチタスク部２６０と第２のマルチタスク部１０１０との検出結果の中から、追尾対象の局所領域を特定する。時刻ｔ＝１では、局所領域特定部２８０は、図１１（ｄ）に示すように、頭部検出結果１１１５を局所領域と特定する。

Ｓ１２１０では、全フレームの処理が終了したかを判定する。時刻ｔ＝１において、全フレームの処理が終了していないため、Ｓ１２０１に戻り時刻ｔ＝２の処理を行う。

Ｓ１２０１では、画像入力部２２０が、図１１（ｆ）の画像１１２１を取得する。画像１１２１は、時刻ｔ＝２の猫の画像である。画像１１２１では、引き続き猫が左方向へ移動している。その後、再度、Ｓ１２０２とＳ１２０４の処理を行う。

Ｓ１２１１では、クロップ領域決定部２４０が、クロップ領域算出に使用可能な前フレームで検出された局所領域があるか否か判定する。時刻ｔ＝２では、頭部検出結果１１１５が検出されているため、クロップ領域決定部２４０は、局所領域があると判定して、Ｓ１２１２の処理へ移る。

Ｓ１２１２では、クロップ領域決定部２４０が、第１のマルチタスク処理の結果と第２のマルチタスク処理の結果の統合を行う。ここで、頭部は検出結果が１つしかないため、クロップ領域決定部２４０は、頭部に関しては第２のマルチタスク部１０１０の結果をそのまま用いることで処理の結果を統合する。クロップ領域決定部２４０は、全身に関しては全身検出結果１１１４と全身検出結果１１１７との画素数の平均を全身の画素数として、処理の結果を統合する。

Ｓ１２１３では、クロップ領域決定部２４０が、事前登録情報６０１の優先順位に従って、Ｓ１２１２で設定された頭部の画素数をクロップ基準に設定する。

その後、クロップ領域決定部２４０は、時刻ｔ＝１と同様に、Ｓ１２１５からＳ１２１８の処理を行い、図１１（ｆ）に示すクロップ領域１１２２を決定する。

Ｓ１２０５では、クロップ部２５０が、クロップ領域１１２２を用いてクロップ画像を生成する。

その後、Ｓ１２０６からＳ１２１０の処理が行われて、一連の処理が終了する。

上記のように、第５の実施形態は、クロップ画像およびクロップ画像よりも大きい画像を用いて、第１のマルチタスク処理および第２のマルチタスク処理を実行することでクロップ領域の算出をより安定させることができる。本実施形態において、クロップ画像から猫の全身がはみ出てしまった場合でも、クロップ画像より大きい画像に対して実行される第２のマルチタスク処理の検出結果を用いることによって、「姿勢変化に対するサイズ変動率」が小さい局所領域を用いてクロップを行うことができる。また、本実施形態では、クロップを行っていない画像に対して処理を行うが、クロップ部２５０で生成されたクロップ画像と異なる画像であればどのような画像に対して処理を行っても良い。

＜その他の実施形態＞
上記の実施形態では猫が追尾対象である例を挙げて説明したが、人物やバイクなどの他のカテゴリを追尾対象にしても良い。他カテゴリに対し本実施形態を適応する際は、「姿勢変化に対するサイズ変動率」を指標にクロップ基準となる局所領域を新たに設定しても良い。例えば、人物であればサイズ変動率が大きいものは全身領域であり、小さいものは頭部領域である。また、バイクであればサイズ変動率が大きいものは車体全体の領域であり、小さいものはタイヤの長さである。そのため、上記の実施形態では優先順位やサイズ変化率によってクロップ基準を決定したが、追尾対象のカテゴリ分類結果によって、クロップ基準を決定しても良い。例えば、人物を追尾する場合のクロップ基準は頭部、バイクを追尾する場合のクロップ基準はタイヤなど、カテゴリとクロップ基準の組み合わせを事前に決めておいても良い。

上述の実施形態は、複数の局所領域から選択した局所領域に基づいて、クロップ領域を決定する例を挙げて説明したが、クロップ領域の決定はこの方法に限られない。例えば、全身、頭、顔などの部位に優先順位を設定して、検出された部位のうち、優先順位の高い部位にのみ局所領域を設定し、当該局所領域に基づいてクロップ領域を決定してもよい。

上述の実施形態では、マルチタスク処理を前提に説明したが、マルチタスク処理はなくてもよい。この場合、局所領域特定部２８０は、予め定められた部位などに応じて、当該部位を検出して、局所領域を特定すればよい。

上述の実施形態では、入力データ２１０が動画である例を挙げて説明したが、これに限られない。例えば、入力データ２１０は、一定の時間間隔をあけて撮影された複数の静止画、および、タイムラプスの複数の画像などであってもよい。

上述の実施形態は、適宜組み合わせてよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本明細書の開示は、以下の情報処理装置、情報処理方法及びプログラムを含む。
（項目１）
画像に含まれる追尾する対象を追尾対象として特定する追尾対象特定手段と、
前記追尾対象に含まれる検出対象の少なくとも一部を含む局所領域を前記画像内に特定する局所領域特定手段と、
前記局所領域のサイズ情報に基づいて、前記画像から前記追尾対象を切り出すためのクロップ領域のサイズ情報を決定するクロップ領域決定手段と、
前記クロップ領域に基づいて前記画像を切り出してクロップ画像を生成するクロップ手段と、
を備えることを特徴とする情報処理装置。
（項目２）
前記局所領域特定手段は、前記追尾対象に含まれる複数の種類の検出対象の少なくとも一部を含む複数の局所領域を特定し、
前記クロップ領域決定手段は、前記複数の局所領域のいずれかのサイズ情報に基づいて前記クロップ領域のサイズ情報を決定する
ことを特徴とする項目１に記載の情報処理装置。
（項目３）
前記クロップ領域決定手段は、予め定められた前記検出対象の優先順位に基づいて、前記複数の種類の検出対象から選択した検出対象の局所領域のサイズ情報に基づいて前記クロップ領域のサイズ情報を決定する
ことを特徴とする項目２に記載の情報処理装置。
（項目４）
前記局所領域特定手段は、前記追尾対象の前記検出対象の少なくとも一部を含む複数の局所領域を特定し、
前記クロップ領域決定手段は、前記複数の局所領域のサイズ情報に基づいて、前記クロップ領域のサイズ情報を決定する
ことを特徴とする項目１ないし項目３のいずれか１項に記載の情報処理装置。
（項目５）
前記クロップ領域決定手段は、前記複数の局所領域のサイズ情報に平均化処理を行った結果に基づいて、前記クロップ領域のサイズ情報を決定する
ことを特徴とする項目４に記載の情報処理装置。
（項目６）
前記クロップ領域決定手段は、前記クロップ領域のサイズ情報に基づいて設定された上限値および下限値の少なくともいずれか一方に基づいて、前記クロップ領域のサイズ情報を決定する
ことを特徴とする項目４または項目５に記載の情報処理装置。
（項目７）
前記局所領域特定手段は、時刻の異なる複数の画像から複数の局所領域を特定し、
前記クロップ領域決定手段は、前記複数の局所領域の少なくともいずれかのサイズ情報に基づいて、前記クロップ領域のサイズ情報を決定する
ことを特徴とする項目１ないし項目６のいずれか１項に記載の情報処理装置。
（項目８）
前記局所領域特定手段は、前記追尾対象に含まれる複数の種類の検出対象の少なくとも一部を含む複数の局所領域を特定し、
前記クロップ領域決定手段は、前記複数の種類の検出対象から選択した検出対象の局所領域のサイズ情報に基づいて、前記クロップ領域のサイズ情報を決定する
ことを特徴とする項目７に記載の情報処理装置。
（項目９）
前記クロップ領域決定手段は、前記複数の局所領域のサイズ情報の変化に基づいて、前記複数の種類の検出対象から選択された検出対象の局所領域のサイズ情報に基づいて、前記クロップ領域のサイズ情報を決定する
ことを特徴とする項目８に記載の情報処理装置。
（項目１０）
前記局所領域特定手段は、前記追尾対象に含まれる複数の種類の検出対象の少なくとも一部を含む複数の局所領域を特定し、
前記クロップ領域決定手段は、前記検出対象の認識精度に基づいて、前記複数の種類の検出対象から選択した検出対象の局所領域のサイズ情報に基づいて、前記クロップ領域のサイズ情報を決定する
ことを特徴とする項目１ないし項目９のいずれか１項に記載の情報処理装置。
（項目１１）
前記クロップ領域決定手段は、前記検出対象の認識率、および、前記検出対象の認識スコアの少なくともいずれか一方を前記認識精度として用いる
ことを特徴とする項目１０に記載の情報処理装置。
（項目１２）
前記局所領域特定手段は、時刻の異なる複数の画像から複数の局所領域を特定し、
前記クロップ領域決定手段は、前記複数の局所領域のサイズ情報の変化に基づいて、前の時刻のクロップ領域を現在のクロップ領域として設定するか否か判定する
ことを特徴とする項目１ないし項目１１のいずれか１項に記載の情報処理装置。
（項目１３）
前記クロップ領域決定手段は、前の時刻の画像のクロップ領域の決定に使用された前記局所領域が現在の画像で未検出の場合、前記前の時刻のクロップ領域を前記現在の画像のクロップ領域として設定する
ことを特徴とする項目１２に記載の情報処理装置。
（項目１４）
前記局所領域特定手段は、前記クロップ画像と、前記クロップ画像よりも大きい画像とから前記局所領域を特定する
ことを特徴とする項目１ないし項目１３のいずれか１項に記載の情報処理装置。
（項目１５）
前記局所領域特定手段は、前記追尾対象のカテゴリに応じて設定された検出対象に基づいて、局所領域を設定する
ことを特徴とする項目１ないし項目１４のいずれか１項に記載の情報処理装置。
（項目１６）
入力される前記画像を取得する画像入力手段と、
前記追尾対象を設定する追尾対象設定手段と、
前記クロップ画像の前記追尾対象に対して複数の認識タスクを実行するマルチタスク手段と、
を備え、
前記追尾対象特定手段は、前記複数の認識タスクの結果に基づいて、前記画像に含まれる前記追尾対象を特定する
ことを特徴とする項目１ないし項目１５のいずれか１項に記載の情報処理装置。
（項目１７）
画像に含まれる追尾する対象を追尾対象として特定する追尾対象特定工程と、
前記追尾対象に含まれる検出対象の少なくとも一部を含む局所領域を前記画像内に特定する局所領域特定工程と、
前記局所領域のサイズ情報に基づいて、前記画像から前記追尾対象を切り出すためのクロップ領域のサイズ情報を決定するクロップ領域決定工程と、
前記クロップ領域に基づいて前記画像を切り出してクロップ画像を生成するクロップ工程と、
を備える情報処理方法。
（項目１８）
コンピュータを、項目１ないし１６のいずれか１項目に記載の情報処理装置の各手段として機能させるためのプログラム。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

２００・・・情報処理装置、２２０・・・画像入力部、２３０・・・追尾対象設定部、２４０・・・クロップ領域決定部、２５０・・・クロップ部、２６０・・・マルチタスク部、２７０・・・追尾対象特定部、２８０・・・局所領域特定部、１０００・・・第２の情報処理装置、１０１０・・・第２のマルチタスク部。

Claims (18)

1. 第１のフレームに含まれる被写体を前記第１のフレームにおける追尾対象として特定する追尾対象特定手段と、
   前記追尾対象に含まれる検出対象の少なくとも一部を含む局所領域を前記第１のフレーム内で特定する局所領域特定手段と、
   前記局所領域のサイズ情報に基づいて、前記第１のフレームよりも後で撮像された第２のフレームから前記追尾対象を含む領域を切り出すためのクロップ領域のサイズ情報を決定するクロップ領域決定手段と、
   前記クロップ領域決定手段においてサイズ情報が決定された前記クロップ領域に基づいて前記第２のフレームからクロップ画像を生成するクロップ手段と、
   を備え、
   前記追尾対象特定手段は、前記クロップ画像に含まれる被写体から前記第２のフレームにおける追尾対象を特定することを特徴とする情報処理装置。
2. 前記局所領域特定手段は、前記追尾対象に含まれる複数の種類の検出対象の少なくとも一部を含む複数の局所領域を特定し、
   前記クロップ領域決定手段は、前記複数の局所領域のいずれかのサイズ情報に基づいて前記クロップ領域のサイズ情報を決定する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記クロップ領域決定手段は、予め定められた前記検出対象の優先順位に基づいて、前記複数の種類の検出対象から選択した検出対象の局所領域のサイズ情報に基づいて前記クロップ領域のサイズ情報を決定する
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記局所領域特定手段は、前記追尾対象の前記検出対象の少なくとも一部を含む複数の局所領域を特定し、
   前記クロップ領域決定手段は、前記複数の局所領域のサイズ情報に基づいて、前記クロップ領域のサイズ情報を決定する
   ことを特徴とする請求項１に記載の情報処理装置。
5. 前記クロップ領域決定手段は、前記複数の局所領域のサイズ情報に平均化処理を行った結果に基づいて、前記クロップ領域のサイズ情報を決定する
   ことを特徴とする請求項４に記載の情報処理装置。
6. 前記クロップ領域決定手段は、前記局所領域のサイズ情報に基づいて前記クロップ領域のサイズ情報の上限値および下限値の少なくともいずれか一方を決定することを特徴とする請求項４に記載の情報処理装置。
7. 前記局所領域特定手段は、時刻の異なる複数のフレームから複数の局所領域を特定し、
   前記クロップ領域決定手段は、前記複数の局所領域の少なくともいずれかのサイズ情報に基づいて、前記クロップ領域のサイズ情報を決定する
   ことを特徴とする請求項１に記載の情報処理装置。
8. 前記局所領域特定手段は、前記追尾対象に含まれる複数の種類の検出対象の少なくとも一部を含む複数の局所領域を特定し、
   前記クロップ領域決定手段は、前記複数の種類の検出対象から選択した検出対象の局所領域のサイズ情報に基づいて、前記クロップ領域のサイズ情報を決定する
   ことを特徴とする請求項７に記載の情報処理装置。
9. 前記クロップ領域決定手段は、前記複数の局所領域のサイズ情報の変化に基づいて、前記複数の種類の検出対象から選択された検出対象の局所領域のサイズ情報に基づいて、前記クロップ領域のサイズ情報を決定する
   ことを特徴とする請求項８に記載の情報処理装置。
10. 前記局所領域特定手段は、前記追尾対象に含まれる複数の種類の検出対象の少なくとも一部を含む複数の局所領域を特定し、
    前記クロップ領域決定手段は、前記検出対象の認識精度に基づいて、前記複数の種類の検出対象から選択した検出対象の局所領域のサイズ情報に基づいて、前記クロップ領域のサイズ情報を決定する
    ことを特徴とする請求項１に記載の情報処理装置。
11. 前記クロップ領域決定手段は、前記検出対象の認識率、および、前記検出対象の認識スコアの少なくともいずれか一方を前記認識精度として用いる
    ことを特徴とする請求項１０に記載の情報処理装置。
12. 前記局所領域特定手段は、時刻の異なる複数のフレームから複数の局所領域を特定し、
    前記クロップ領域決定手段は、前記複数の局所領域のサイズ情報の変化に基づいて、前の時刻のクロップ領域を現在のクロップ領域として設定するか否か判定する
    ことを特徴とする請求項１に記載の情報処理装置。
13. 前記クロップ領域決定手段は、前の時刻のフレームのクロップ領域の決定に使用された前記局所領域が現在のフレームで未検出の場合、前記前の時刻のクロップ領域を前記現在のフレームのクロップ領域として設定する
    ことを特徴とする請求項１２に記載の情報処理装置。
14. 前記局所領域特定手段は、前記追尾対象のカテゴリに応じて設定された検出対象に基づいて、局所領域を設定する
    ことを特徴とする請求項１に記載の情報処理装置。
15. 前記クロップ画像の前記追尾対象に対して複数の認識タスクを実行するマルチタスク手段と、
    を備え、
    前記追尾対象特定手段は、前記複数の認識タスクの結果に基づいて、前記第２のフレームに含まれる前記追尾対象を特定する
    ことを特徴とする請求項１に記載の情報処理装置。
16. コンピュータを、請求項１ないし１５の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
17. 追尾対象特定手段が、第１のフレームに含まれる被写体を前記第１のフレームにおける追尾対象として特定する追尾対象特定工程と、
    局所領域特定手段が、前記追尾対象に含まれる検出対象の少なくとも一部を含む局所領域を前記第１のフレーム内で特定する局所領域特定工程と、
    クロップ領域決定手段が、前記局所領域のサイズ情報に基づいて、前記第１のフレームよりも後で撮像された第２のフレームから前記追尾対象を含む領域を切り出すためのクロップ領域のサイズ情報を決定するクロップ領域決定工程と、
    クロップ手段が、前記クロップ領域決定工程においてサイズ情報が決定された前記クロップ領域に基づいて前記第２のフレームからクロップ画像を生成するクロップ工程と、
    を備え、
    前記追尾対象特定工程は、前記クロップ画像に含まれる被写体から前記第２のフレームにおける追尾対象を特定することを特徴とする情報処理方法。
18. コンピュータに、請求項１７に記載の情報処理方法が有する各工程を実行させるためのプログラム。