WO2021200199A1

WO2021200199A1 - 情報処理装置、情報処理方法および情報処理プログラム

Info

Publication number: WO2021200199A1
Application number: PCT/JP2021/011009
Authority: WO
Inventors: 佑介日永田; 卓青木; 竜太佐藤
Original assignee: ソニーグループ株式会社
Priority date: 2020-03-30
Filing date: 2021-03-18
Publication date: 2021-10-07

Abstract

撮像画像を用いた認識処理の特性を向上させることが可能な情報処理装置、情報処理方法および情報処理プログラムを提供する。本開示に係る情報処理装置は、画素によって構成される撮像情報が所定のパターンで分割された分割領域毎に設定された画素位置に従い取得されたサンプリング画素により構成されるサンプリング画像を生成する生成部（２１１、２１２）と、サンプリング画像の特徴量を算出する算出部（２２１）と、サンプリング画像の特徴量に基づき認識処理を行い、認識処理結果を出力する認識部（２２０）と、所定のパターンに応じて算出部および認識部のうち少なくとも一方のパラメータを設定する設定部（２１４）と、を備える。

Description

情報処理装置、情報処理方法および情報処理プログラム

　本開示は、情報処理装置、情報処理方法および情報処理プログラムに関する。

　近年、デジタルスチルカメラ、デジタルビデオカメラ、多機能型携帯電話機（スマートフォン）などに搭載される小型カメラなどの撮像装置の高解像度化に伴い、撮像画像に含まれる所定の対象物を認識する画像認識機能を搭載する情報処理装置が開発されている。

特開２０１７－１１２４０９号公報

　画像認識機能において、より高解像度の撮像画像を用いることで、対象物の検出性能を向上させることが可能である。しかしながら、従来の技術では、高解像度の撮像画像を用いた画像認識は、画像認識処理に係る計算量が多くなり、撮像画像に対する認識処理の同時性を向上させることが困難であった。

　本開示は、撮像画像を用いた認識処理の特性を向上させることが可能な情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。

　本開示に係る情報処理装置は、画素によって構成される撮像情報が所定のパターンで分割された分割領域毎に設定された画素位置に従い取得されたサンプリング画素により構成されるサンプリング画像を生成する生成部と、サンプリング画像の特徴量を算出する算出部と、サンプリング画像の特徴量に基づき認識処理を行い、認識処理結果を出力する認識部と、所定のパターンに応じて算出部および認識部のうち少なくとも一方のパラメータを設定する設定部と、を備える。

各実施形態に適用な情報処理装置の基本的な構成例を示すブロック図である。ＤＮＮによる認識処理の例を概略的に示す図である。ＤＮＮによる認識処理の例を概略的に示す図である。時系列の情報を用いた場合の、ＤＮＮによる識別処理の第１の例を概略的に示す図である。時系列の情報を用いた場合の、ＤＮＮによる識別処理の第１の例を概略的に示す図である。時系列の情報を用いた場合の、ＤＮＮによる識別処理の第２の例を概略的に示す図である。時系列の情報を用いた場合の、ＤＮＮによる識別処理の第２の例を概略的に示す図である。各実施形態に適用可能な情報処理装置としての撮像装置のハードウェア構成例を概略的に示すブロック図である。撮像部を２層構造の積層型ＣＩＳにより形成した例を示す図である。撮像部１２００を３層構造の積層型ＣＩＳにより形成した例を示す図である。各実施形態に適用可能な撮像部の一例の構成を示すブロック図である。認識処理に用いる画像の解像度について説明するための図である。認識処理に用いる画像の解像度について説明するための図である。本開示の第１の実施形態に係る情報処理装置の一例の構成を示すブロック図である。第１の実施形態に係る認識器による認識処理を説明するための模式図である。第１の実施形態に係るサンプリング処理を説明するための模式図である。第１の実施形態に係る認識器による認識処理について、より具体的に説明するための図である。第１の実施形態に係る認識器による認識処理について、より具体的に説明するための図である。第１の実施形態に係る認識器による認識処理について、より具体的に説明するための図である。第１の実施形態に係る認識器による認識処理について、より具体的に説明するための図である。第１の実施形態に係る認識器による認識処理について、より具体的に説明するための図である。第１の実施形態に係る認識処理におけるサブサンプリング処理について説明するための模式図である。第１の実施形態に係る認識処理におけるサブサンプリング処理について説明するための模式図である。既存技術に係る認識処理の基本的なアーキテクチャを説明するための模式図である。各実施形態に係る認識処理の基本的なアーキテクチャを説明するための模式図である。各実施形態に係る認識処理の基本的なアーキテクチャにおける読み出しおよび認識処理の第１の例を示す一例のタイムチャートである。各実施形態に係る認識処理の基本的なアーキテクチャにおける読み出しおよび認識処理の第２の例を示す一例のタイムチャートである。イントラフレーム処理と、既存技術による処理とを比較する一例のタイムチャートである。イントラフレーム処理による各認識結果を模式的に示す図である。各実施形態に係る、速報結果および統合結果を出力可能な認識器の一例の構成を概略的に示す図である。第１の実施形態に係る認識器の切り替え処理を説明するための模式図である。画像データを４分割する例を示す模式図である。画像データを１６分割する例を示す模式図である。第１の実施形態に係る前処理部のより詳細な機能を説明するための一例の機能ブロック図である。第１の実施形態に係る認識部のより詳細な機能を説明するための一例の機能ブロック図である。第１の実施形態に係る認識処理を示す一例のフローチャートである。第１の実施形態の第１の応用例による認識処理を示す一例のフローチャートである。第１の実施形態の第２の応用例による認識処理を示す一例のフローチャートである。第１の実施形態の変形例に適用可能な特徴量抽出処理をより詳細に示す模式図である。第１の実施形態の変形例に係る特徴量抽出処理および特徴量の統合処理の例を示す模式図である。第１の実施形態の変形例に係る特徴量抽出処理および特徴量の統合処理の例を示す模式図である。第１の実施形態の変形例による認識処理を示す一例のフローチャートである。第２の実施形態に係る情報処理装置の一例の構成を示すブロック図である。第２の実施形態の変形例に係る情報処理装置の一例の構成を示すブロック図である。第１の実施形態およびその各変形例、ならびに、第２の実施形態およびその変形例に係る情報処理装置を使用する使用例を示す図である。車両制御システムの概略的な構成の一例を示すブロック図である。車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

　以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。

　以下、本開示の実施形態について、下記の順序に従って説明する。
１．各実施形態に適用可能な技術
　１－０．各実施形態に適用可能な認識処理の概略
　１－１．各実施形態に適用可能なハードウェア構成
　　１－１－１．各実施形態に適用可能な撮像部の構成例
　　１－１－２．撮像画像の解像度について
　１－２．各実施形態の前提となる認識処理の概略
　　１－２－１．各実施形態の前提技術に係る構成
　　　１－２－１－１．各実施形態の前提技術に適用可能な構成の概略
　　　１－２－１－２．各実施形態の前提技術に係る認識処理の例
　　　１－２－１－３．各実施形態の前提技術に係るサブサンプリング処理について
　　１－３．各実施形態に係る認識処理の基本的なアーキテクチャ
　　　１－３－１．より具体的な構成
　　　　１－３－１－１．第１の例
　　　　１－３－１－２．第２の例
２．第１の実施形態
　２－１．第１の実施形態の概要
　２－２．第１の実施形態に係るより具体的な構成例
　２－３．第１の実施形態に係る認識処理の応用例
　　２－３－１．第１の応用例
　　２－３－２．第２の応用例
　２－４．第１の実施形態の変形例
　２－５．第１の実施形態の他の変形例
３．第２の実施形態
　３－１．第２の実施形態の変形例
４．第３の実施形態
　４－１．本開示の技術の適用例
　４－２．移動体への適用例

［１．各実施形態に適用可能な技術］
　先ず、理解を容易とするために、各実施形態に適用可能な技術について、概略的に説明する。

（１－０．各実施形態に適用可能な認識処理の概略）
　図１は、各実施形態に適用な情報処理装置の基本的な構成例を示すブロック図である。図１において、情報処理装置１ａは、センサ部１０ａと、認識処理部２０ａと、を含む。図示は省略するが、センサ部１０ａは、撮像手段（カメラ）と、撮像手段を制御する撮像制御部と、を含む。

　センサ部１０ａは、撮像制御部の制御に従い撮像を行い、撮像により取得された撮像画像の画像データを認識処理部２０ａに供給する。認識処理部２０ａは、ＤＮＮ(Deep　Neural　Network)を用いて、画像データに対する認識処理を行う。より具体的には、認識処理部２０ａは、機械学習により所定の教師データを用いて予め学習された認識モデルを含み、センサ部１０ａから供給された画像データに対して、当該認識モデルに基づきＤＮＮを用いた認識処理を施す。認識処理部２０ａは、認識処理による認識結果を、例えば情報処理装置１ａの外部に出力する。

　図２Ａおよび図２Ｂは、ＤＮＮによる認識処理の例を概略的に示す図である。この例では、図２Ａに示されるように、１つの画像をＤＮＮに入力する。ＤＮＮにおいて、入力された画像に対して認識処理が行われ、認識結果が出力される。

　図２Ｂを用いて、図２Ａの処理をより詳細に説明する。図２Ｂに示されるように、ＤＮＮは、特徴抽出処理と、認識処理とを実行する。ＤＮＮにおいて、入力された画像に対して特徴抽出処理により特徴量を抽出する。この特徴抽出処理は、例えばＤＮＮのうちＣＮＮ(Convolutional　Neural　Network)を用いて行われる。また、ＤＮＮにおいて、抽出された特徴量に対して認識処理を実行し、認識結果を得る。

　ＤＮＮにおいて、時系列の情報を用いて認識処理を実行することができる。図３Ａおよび図３Ｂは、時系列の情報を用いた場合の、ＤＮＮによる識別処理の例を概略的に示す図である。この図３Ａおよび図３Ｂの例では、時系列上の、固定数の過去情報を用いて、ＤＮＮによる識別処理を行う。図３Ａの例では、時間Ｔの画像［Ｔ］と、時間Ｔより前の時間Ｔ－１の画像［Ｔ－１］と、時間Ｔ－１より前の時間Ｔ－２の画像［Ｔ－２］と、をＤＮＮに入力する。ＤＮＮにおいて、入力された各画像［Ｔ］、［Ｔ－１］および［Ｔ－２］に対して識別処理を実行し、時間Ｔにおける認識結果［Ｔ］を得る。

　図３Ｂは、図３Ａの処理をより詳細に説明するための図である。図３Ｂに示されるように、ＤＮＮにおいて、入力された画像［Ｔ］、［Ｔ－１］および［Ｔ－２］それぞれに対して、上述の図２Ｂを用いて説明した特徴抽出処理を１対１に実行し、画像［Ｔ］、［Ｔ－１］および［Ｔ－２］にそれぞれ対応する特徴量を抽出する。ＤＮＮでは、これら画像［Ｔ］、［Ｔ－１］および［Ｔ－２］に基づき得られた各特徴量を統合し、統合された特徴量に対して識別処理を実行し、時間Ｔにおける認識結果［Ｔ］を得る。画像［Ｔ］、［Ｔ－１］および［Ｔ－２］に基づき得られた各特徴量は、認識処理に用いる、統合された特徴量を得るための中間データであるといえる。

　図４Ａおよび図４Ｂは、時系列の情報を用いた場合の、ＤＮＮによる識別処理の別の例を概略的に示す図である。図４Ａの例では、内部状態が時間Ｔ－１の状態に更新されたＤＮＮに対して時間Ｔの画像［Ｔ］を入力し、時間Ｔにおける認識結果［Ｔ］を得ている。

　図４Ｂは、図４Ａの処理をより詳細に説明するための図である。図４Ｂに示されるように、ＤＮＮにおいて、入力された時間Ｔの画像［Ｔ］に対して上述の図２Ｂを用いて説明した特徴抽出処理を実行し、画像［Ｔ］に対応する特徴量を抽出する。ＤＮＮにおいて、時間Ｔより前の画像により内部状態が更新され、更新された内部状態に係る特徴量が保存されている。この保存された内部情報に係る特徴量と、画像［Ｔ］における特徴量とを統合し、統合された特徴量に対して識別処理を実行する。この場合、保存された内部情報に係る特徴量、および、画像［Ｔ］における特徴量のそれぞれは、認識処理に用いる、統合された特徴量を得るための中間データであるといえる。

　この図４Ａおよび図４Ｂに示す識別処理は、例えば直前の認識結果を用いて内部状態が更新されたＤＮＮを用いて実行されるもので、再帰的な処理となる。このように、再帰的な処理を行うＤＮＮをＲＮＮ(Recurrent　Neural　Network)と呼ぶ。ＲＮＮによる識別処理は、一般的には動画像認識などに用いられ、例えば時系列で更新されるフレーム画像によりＤＮＮの内部状態を順次に更新することで、識別精度を向上させることが可能である。

（１－１．各実施形態に適用可能なハードウェア構成）
　図５は、各実施形態に適用可能な情報処理装置のハードウェア構成例を概略的に示すブロック図である。図５において、情報処理装置１は、それぞれバス１２１０を介して互いに通信可能に接続された、撮像部１２００と、メモリ１２０２と、ＤＳＰ(Digital　Signal　Processor)１２０３と、インタフェース（Ｉ／Ｆ）１２０４と、ＣＰＵ(Central　Processing　Unit)１２０５と、ＲＯＭ(Read　Only　Memory)１２０６と、ＲＡＭ(Random　Access　Memory)１２０７と、を含む。情報処理装置１は、さらに、ユーザ操作を受け付ける入力デバイスと、ユーザに対して情報を表示するための表示デバイスと、データを不揮発に記憶するストレージ装置と、を含むことができる。

　ＣＰＵ１２０５は、ＲＯＭ１２０６に予め記憶されるプログラムに従い、ＲＡＭ１２０７をワークメモリとして用いて動作し、この情報処理装置１の全体の動作を制御する。インタフェース１２０４は、有線あるいは無線通信により、当該情報処理装置１の外部と通信を行う。例えば、情報処理装置１が車載用途として用いられる場合、情報処理装置１は、当該情報処理装置１が搭載される車両の制動制御系などと、インタフェース１２０４を介して通信を行うことができる。

　撮像部１２００は、所定のフレーム周期で動画像の撮像を行い、フレーム画像を構成するための画素データを出力する。より具体的には、撮像部１２００は、それぞれ受光した光を光電変換により電気信号である画素信号に変換する複数の光電変換素子と、各光電変換素子を駆動する駆動回路とを含む。撮像部１２００において、複数の光電変換素子は、行列状の配列で配置され、画素アレイを構成する。

　例えば図１のセンサ部１０ａは、撮像部１２００を含み、撮像部１２００から１フレーム周期内で出力された画素データを、１フレーム分の画像データとして出力する。

　ここで、光電変換素子のそれぞれは画像データにおける画素に対応し、画素アレイ部は、行×列の画素数として例えば１９２０画素×１０８０画素に対応する数の光電変換素子が行列状の配列で配置される。なお、この１９２０画素×１０８０画素に対応する数の光電変換素子による画素信号により１フレームの画像が形成される。

　光学部１２０１は、レンズやオートフォーカス機構などを含み、レンズに入射された光を撮像部１２００が有する画素アレイ部に照射させる。撮像部１２００は、光学部１２０１を介して画素アレイ部に照射された光に応じて、光電変換素子毎の画素信号を生成する。撮像部１２００は、アナログ信号である画素信号をディジタル信号である画素データに変換して出力する。撮像部１２００から出力された画素データは、メモリ１２０２に格納される。メモリ１２０２は、例えばフレームメモリであって、少なくとも１フレーム分の画素データを格納可能とされている。

　ＤＳＰ１２０３は、メモリ１２０２に格納された画素データに対して所定の画像処理を施す。また、ＤＳＰ１２０３は、予め学習された認識モデルを含み、メモリ１２０２に格納された画像データに対して、当該認識モデルに基づき、上述したＤＮＮを用いた認識処理を行う。ＤＳＰ１２０３による認識処理の結果である認識結果は、例えばＤＳＰ１２０３が備えるメモリや、ＲＡＭ１２０７に一時的に記憶され、インタフェース１２０４から外部に出力される。これに限らず、情報処理装置１がストレージ装置を備える場合、認識結果を当該ストレージ装置に格納してもよい。

　これに限らず、ＤＳＰ１２０３の機能をＣＰＵ１２０５により実現してもよい。また、ＤＳＰ１２０３の代わりにＧＰＵ(Graphics　Processing　Unit)を用いてもよい。

　撮像部１２００は、撮像部１２００に含まれる各部がＣＭＯＳ(Complementary　Metal　Oxide　Semiconductor)を用いて一体的に形成されたＣＭＯＳイメージセンサ（ＣＩＳ）を適用することができる。撮像部１２００は、１つの基板上に形成することができる。これに限らず、撮像部１２００を、複数の半導体チップが積層され一体的に形成された積層型ＣＩＳとしてもよい。なお、撮像部１２００は、この例に限らず、赤外光による撮像を行う赤外光センサなど、他の種類の光センサであってもよい。

　一例として、撮像部１２００を半導体チップを２層に積層した２層構造の積層型ＣＩＳにより形成することができる。図６Ａは、撮像部１２００を２層構造の積層型ＣＩＳにより形成した例を示す図である。図６Ａの構造では、第１層の半導体チップに画素部２０２０ａを形成し、第２層の半導体チップにメモリ＋ロジック部２０２０ｂを形成している。画素部２０２０ａは、少なくとも撮像部１２００における画素アレイ部を含む。メモリ＋ロジック部２０２０ｂは、例えば、画素アレイ部を駆動するための駆動回路を含む。メモリ＋ロジック部２０２０ｂに、さらに、メモリ１２０２を含ませることもできる。

　図６Ａの右側に示されるように、第１層の半導体チップと、第２層の半導体チップとを電気的に接触させつつ貼り合わせることで、撮像部１２００を１つの固体撮像素子として構成する。

　別の例として、撮像部１２００を、半導体チップを３層に積層した３層構造により形成することができる。図６Ｂは、撮像部１２００を３層構造の積層型ＣＩＳにより形成した例を示す図である。図６Ｂの構造では、第１層の半導体チップに画素部２０２０ａを形成し、第２層の半導体チップにメモリ部２０２０ｃを形成し、第３層の半導体チップにロジック部２０２０ｄを形成している。この場合、ロジック部２０２０ｄは、例えば画素アレイ部を駆動するための駆動回路を含む。また、メモリ部２０２０ｃは、フレームメモリやメモリ１２０２を含むことができる。

　図６Ｂの右側に示されるように、第１層の半導体チップと、第２層の半導体チップと、第３層の半導体チップとを電気的に接触させつつ貼り合わせることで、撮像部１２００を１つの固体撮像素子として構成する。

　なお、図６Ａおよび図６Ｂの構成において、メモリ＋ロジック部２０２０ｂに、図５に示したＤＳＰ１２０３、インタフェース１２０４、ＣＰＵ１２０５、ＲＯＭ１２０６およびＲＡＭ１２０７に相当する構成を含ませることも可能である。

（１－１－１．各実施形態に適用可能な撮像部の構成例）
　図７は、各実施形態に適用可能な撮像部１２００の一例の構成を示すブロック図である。図７において、撮像部１２００は、画素アレイ部１００１と、垂直走査部１００２と、ＡＤ(Analog　to　Digital)変換部１００３と、画素信号線１００６と、垂直信号線ＶＳＬと、制御部１１００と、信号処理部１１０１と、を含む。なお、図７において、制御部１１００および信号処理部１１０１は、例えば図５に示したＣＰＵ１２０５およびＤＳＰ１２０３にて実現することもできる。

　画素アレイ部１００１は、それぞれ受光した光に対して光電変換を行う、例えばフォトダイオードによる光電変換素子と、光電変換素子から電荷の読み出しを行う回路と、を含む複数の画素回路１０００を含む。画素アレイ部１００１において、複数の画素回路１０００は、水平方向（行方向）および垂直方向（列方向）に行列状の配列で配置される。画素アレイ部１００１において、画素回路１０００の行方向の並びをラインと呼ぶ。例えば、１９２０画素×１０８０ラインで１フレームの画像が形成される場合、画素アレイ部１００１は、少なくとも１９２０個の画素回路１０００が含まれるラインを、少なくとも１０８０ライン、含む。フレームに含まれる画素回路１０００から読み出された画素信号により、１フレームの画像（画像データ）が形成される。

　また、画素アレイ部１００１には、各画素回路１０００の行および列に対し、行毎に画素信号線１００６が接続され、列毎に垂直信号線ＶＳＬが接続される。画素信号線１００６の画素アレイ部１００１と接続されない端部は、垂直走査部１００２に接続される。垂直走査部１００２は、後述する制御部１１００の制御に従い、画素から画素信号を読み出す際の駆動パルスなどの制御信号を、画素信号線１００６を介して画素アレイ部１００１へ伝送する。垂直信号線ＶＳＬの画素アレイ部１００１と接続されない端部は、ＡＤ変換部１００３に接続される。画素から読み出された画素信号は、垂直信号線ＶＳＬを介してＡＤ変換部１００３に伝送される。

　画素回路１０００からの画素信号の読み出し制御について、概略的に説明する。画素回路１０００からの画素信号の読み出しは、露出により光電変換素子に蓄積された電荷を浮遊拡散層（ＦＤ；Floating　Diffusion）に転送し、浮遊拡散層において転送された電荷を電圧に変換することで行う。浮遊拡散層において電荷が変換された電圧は、画素信号としてアンプを介して垂直信号線ＶＳＬに出力される。

　より具体的には、画素回路１０００において、露出中は、光電変換素子と浮遊拡散層との間をオフ（開）状態として、光電変換素子において、光電変換により入射された光に応じて生成された電荷を蓄積させる。露出終了後、画素信号線１００６を介して供給される選択信号に応じて浮遊拡散層と垂直信号線ＶＳＬとを接続する。さらに、画素信号線１００６を介して供給されるリセットパルスに応じて浮遊拡散層を電源電圧ＶＤＤまたは黒レベル電圧の供給線と短期間において接続し、浮遊拡散層をリセットする。垂直信号線ＶＳＬには、浮遊拡散層のリセットレベルの電圧（電圧Ａとする）が出力される。その後、画素信号線１００６を介して供給される転送パルスにより光電変換素子と浮遊拡散層との間をオン（閉）状態として、光電変換素子に蓄積された電荷を浮遊拡散層に転送する。垂直信号線ＶＳＬに対して、浮遊拡散層の電荷量に応じた電圧（電圧Ｂとする）が出力される。

　ＡＤ変換部１００３は、垂直信号線ＶＳＬ毎に設けられたＡＤ変換器１００７と、参照信号生成部１００４と、水平走査部１００５と、を含む。ＡＤ変換器１００７は、画素アレイ部１００１の各列（カラム）に対してＡＤ変換処理を行うカラムＡＤ変換器である。ＡＤ変換器１００７は、垂直信号線ＶＳＬを介して画素回路１０００から供給された画素信号に対してＡＤ変換処理を施し、ノイズ低減を行う相関二重サンプリング（ＣＤＳ：Correlated　Double　Sampling）処理のための２つのディジタル値（電圧Ａおよび電圧Ｂにそれぞれ対応する値）を生成する。

　ＡＤ変換器１００７は、生成した２つのディジタル値を信号処理部１１０１に供給する。信号処理部１１０１は、ＡＤ変換器１００７から供給される２つのディジタル値に基づきＣＤＳ処理を行い、ディジタル信号による画素信号である画素データを生成する。

　参照信号生成部１００４は、制御部１１００から入力される制御信号に基づき、各ＡＤ変換器１００７が画素信号を２つのディジタル値に変換するために用いるランプ信号を参照信号として生成する。ランプ信号は、レベル（電圧値）が時間に対して一定の傾きで低下する信号、または、レベルが階段状に低下する信号である。参照信号生成部１００４は、生成したランプ信号を、各ＡＤ変換器１００７に供給する。参照信号生成部１００４は、例えばＤＡＣ(Digital　to　Analog　Converter)などを用いて構成される。

　参照信号生成部１００４から、所定の傾斜に従い階段状に電圧が降下するランプ信号が供給されると、カウンタによりクロック信号に従いカウントが開始される。コンパレータは、垂直信号線ＶＳＬから供給される画素信号の電圧と、ランプ信号の電圧とを比較して、ランプ信号の電圧が画素信号の電圧を跨いだタイミングでカウンタによるカウントを停止させる。ＡＤ変換器１００７は、カウントが停止された時間のカウント値に応じた値を出力することで、アナログ信号による画素信号を、ディジタル値に変換する。

　ＡＤ変換器１００７は、生成した２つのディジタル値を信号処理部１１０１に供給する。信号処理部１１０１は、ＡＤ変換器１００７から供給される２つのディジタル値に基づきＣＤＳ処理を行い、ディジタル信号による画素信号（画素データ）を生成する。信号処理部１１０１により生成された画素データは、図示されないフレームメモリに格納され、１フレーム分の画素データが当該フレームメモリに格納されると、１フレームの画像データとして撮像部１２００から出力される。

　水平走査部１００５は、制御部１１００の制御の下、各ＡＤ変換器１００７を所定の順番で選択する選択走査を行うことによって、各ＡＤ変換器１００７が一時的に保持している各ディジタル値を信号処理部１１０１へ順次出力させる。水平走査部１００５は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。

　制御部１１００は、センサ制御部１１から供給される撮像制御信号に従い、垂直走査部１００２、ＡＤ変換部１００３、参照信号生成部１００４および水平走査部１００５などの駆動制御を行う。制御部１１００は、垂直走査部１００２、ＡＤ変換部１００３、参照信号生成部１００４および水平走査部１００５の動作の基準となる各種の駆動信号を生成する。制御部１１００は、例えば、撮像制御信号に含まれる垂直同期信号または外部トリガ信号と、水平同期信号とに基づき、垂直走査部１００２が画素信号線１００６を介して各画素回路１０００に供給するための制御信号を生成する。制御部１１００は、生成した制御信号を垂直走査部１００２に供給する。

　また、制御部１１００は、例えば、ＣＰＵ１２０５から供給される撮像制御信号に含まれる、アナログゲインを示す情報をＡＤ変換部１００３に渡す。ＡＤ変換部１００３は、このアナログゲインを示す情報に応じて、ＡＤ変換部１００３に含まれる各ＡＤ変換器１００７に垂直信号線ＶＳＬを介して入力される画素信号のゲインを制御する。

　垂直走査部１００２は、制御部１１００から供給される制御信号に基づき、画素アレイ部１００１の選択された画素行の画素信号線１００６に駆動パルスを含む各種信号を、ライン毎に各画素回路１０００に供給し、各画素回路１０００から、画素信号を垂直信号線ＶＳＬに出力させる。垂直走査部１００２は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。また、垂直走査部１００２は、制御部１１００から供給される露出を示す情報に応じて、各画素回路１０００における露出を制御する。

　このように構成された撮像部１２００は、ＡＤ変換器１００７が列毎に配置されたカラムＡＤ方式のＣＭＯＳ(Complementary　Metal　Oxide　Semiconductor)イメージセンサである。

（１－１－２．撮像画像の解像度について）
　次に、図８Ａおよび図８Ｂを用いて、認識処理に用いる画像の解像度について説明する。図８Ａおよび図８Ｂは、同一の撮像範囲を、それぞれ低解像度の撮像装置、および、高解像度の撮像装置を用いて撮像した場合の撮像画像３０ａおよび３０ｂの例を模式的に示す図である。図８Ａおよび図８Ｂに示される撮像範囲は、中央部に、撮像装置からある程度離れた位置に「人」が含まれる。認識処理により、この対象物としての「人」を認識する場合について考える。

　図８Ａの低解像度の例では、撮像画像３０ａに含まれる「人」の認識が困難であり、認識処理による「人」の認識性能が極めて低いものとなる。一方、図８Ｂの高解像度の例では、撮像画像３０ｂに含まれる「人」の認識が容易であり、認識された「人」が認識結果４０として得られており、図８Ａの低解像度の例と比較して、認識性能が高いものとなっている。

　一方で、高解像度の画像に対する認識処理は、低解像度の画像に対する認識処理と比較して計算量が多くなり、処理に時間を要する。そのため、認識結果と撮像画像との同時性を高めることが困難となる。これに対して、低解像度の画像に対する認識処理は、計算量が少なくて済むため、短時間で処理が可能であり、撮像画像との同時性を比較的容易に高めることが可能である。

　一例として、車載の撮像装置において撮像された撮像画像に基づき認識処理を行う場合を考える。この場合、遠方の対象物（例えば対向車線を自車の進行方向と逆方向に走行する対向車）を高い同時性で認識する必要があるため、低解像度の画像に対する認識処理を行うとが考えられる。しかしながら、図８Ａを用いて説明したように、低解像度の撮像画像を用いた場合は、遠方の対象物の認識が困難である。また、高解像度の撮像画像を用いた場合は、遠方の対象物の認識は比較的容易となるが、撮像画像に対する同時性を高めることが困難であり、危急の事態に対応できない可能性がある。

　本開示の各実施形態では、遠方の対象物を容易且つ高速に認識可能とするために、高解像度の撮像画像を所定の規則に従ったサブサンプリングにより間引きした画素によるサンプリング画像に対して認識処理を行う。次のフレームで取得された撮像画像に対し、直前の撮像画像に対するサブサンプリングとは異なる画素のサンプリングを行い、サンプリングした画素によるサンプリング画像に対して認識処理を行う。

　この、第１の撮像画像に対して時系列で次に取得される第２の撮像画像において、第１の撮像画像とは異なる画素をサンプリングしたサンプリング画像に対して認識処理を行う動作を、フレーム単位で繰り返し実行する。これにより、高解像度の撮像画像を用いつつ、高速に認識結果を取得することが可能となる。また、認識処理を行う際に抽出した特徴量を、順次、次のサンプリング画像に対する認識処理において抽出される特徴量に対して統合していくことで、より高精度の認識結果を取得できる。

（１－２．各実施形態の前提となる認識処理の概略）
　次に、本開示の各実施形態の前提となる認識処理技術（以下、前提技術）について概略的に説明する。

（１－２－１．各実施形態の前提技術に係る構成）
（１－２－１－１．各実施形態の前提技術に適用可能な構成の概略）
　図９は、本開示の各実施形態の前提技術に係る情報処理装置の一例の構成を示すブロック図である。図９において、情報処理装置１ｂは、センサ部１０ｂと、認識処理部２０ｂと、を含む。図示は省略するが、センサ部１０ｂは、図１を用いて説明したセンサ部１０ａと同様に、撮像手段（カメラ）と、撮像手段を制御する撮像制御部と、を含む。撮像手段は、高解像度（例えば１９２０画素×１０８０画素）で撮像を行うものとする。センサ部１０ｂは、撮像手段により撮像された撮像画像の画像データを認識処理部２０ｂに供給する。

　認識処理部２０ｂは、前処理部２１０と認識部２２０とを含む。センサ部１０ｂから認識処理部２０ｂに供給された画像データは、前処理部２１０に入力される。前処理部２１０は、入力された画像データに対して、所定の規則に従い画素を間引いてサブサンプリングを行う。画像データがサブサンプリングされたサンプリング画像は、認識部２２０に入力される。

　認識部２２０は、図１の認識処理部２０ａと同様に、ＤＮＮを用いて、画像データに対する認識処理を行う。より具体的には、認識処理部２０ａは、機械学習により所定の教師データを用いて予め学習された認識モデルを含み、センサ部１０ａから供給された画像データに対して、当該認識モデルに基づきＤＮＮを用いた認識処理を施す。このとき、教師データとしては、前処理部２１０と同様にしてサブサンプリングされたサンプリング画像を用いる。

　認識部２２０は、認識処理による認識結果を、例えば情報処理装置１ｂの外部に出力する。

（１－２－１－２．各実施形態の前提技術に係る認識処理の例）
　図１０は、各実施形態の前提技術に係る認識器による認識処理を説明するための模式図である。図１０において示される認識器は、例えば認識処理部２０ｂに対応する。画像データ３２は、センサ部１０ｂで撮像された撮像画像による１フレームの画像データを概略的に示している。画像データ３２は、行列状に配列された複数の画素３００を含む。画像データ３２は、認識処理部２０ｂにおいて、前処理部２１０に入力される。前処理部２１０は、画像データ３２に対して、所定の規則に従った間引きによりサブサンプリングを行う（ステップＳ１０）。

　サブサンプリングされたサンプリング画素によるサンプリング画像は、認識部２２０に入力される。認識部２２０は、ＤＮＮにより、入力されたサンプリング画像の特徴量を抽出する（ステップＳ１１）。ここでは、認識部２２０は、ＤＮＮのうちＣＮＮを用いて特徴量の抽出を行う。

　認識部２２０は、ステップＳ１１で抽出された特徴量を、図示されない蓄積部（例えばＲＡＭ１２０７）に格納する。このとき、認識部２２０は、例えば直前のフレームにおいて抽出された特徴量が既に蓄積部に格納されている場合、メモリに格納されいてる特徴量を再帰的に用いて、抽出した特徴量と統合する（ステップＳ１２）。認識部２２０は、直前のフレームまでにおいて抽出された特徴量を蓄積部に格納し、蓄積、統合する。すなわち、このステップＳ１２での処理は、ＤＮＮのうちＲＮＮを用いた処理に相当する。

　認識部２２０は、ステップＳ１２で蓄積、統合された特徴量に基づき認識処理を実行する（ステップＳ１３）。

　ここで、ステップＳ１０における前処理部２１０によるサブサンプリング処理について、より詳細に説明する。図１１は、各実施形態の前提技術に係るサンプリング処理を説明するための模式図である。図１１において、セクション（ａ）は、画像データ３２の例を模式的に示している。上述したように、画像データ３２は、行列状に配列された複数の画素３００を含む。前処理部２１０は、画像データ３２を、２以上の画素３００を含む分割領域３５に分割する。図１１の例では、分割領域３５は、サイズが４画素×４画素の領域とされ、１６個の画素３００を含む。

　前処理部２１０は、この分割領域３５に対して、分割領域３５に含まれる各画素３００からサブサンプリングによるサンプリング画素を選択するための画素位置を設定する。また、前処理部２１０は、フレーム毎に異なる画素位置を、サンプリング画素を選択するための画素位置として設定する。

　図１１のセクション（ｂ）は、あるフレームにおいて、分割領域３５に対して設定される画素位置の例を示している。この例では、分割領域３５において、行および列方向それぞれについて画素３００を１つおきに選択するように画素位置を設定し、設定された各画素位置の画素３００ｓａ₁、３００ｓａ₂、３００ｓａ₃および３００ｓａ₄を、サンプリング画素として選択している。このように、前処理部２１０は、分割領域３５を単位としてサブサンプリングを行う。

　前処理部２１０は、あるフレームにおいてサンプリング画素として選択された各画素３００ｓａ₁～３００ｓａ₄からなる画像を、サンプリング画素からなるサンプリング画像として生成する。図１１のセクション（ｃ）は、図１１のセクション（ｂ）にてサンプリング画素として選択された各画素３００ｓａ₁～３００ｓａ₄から生成されるサンプリング画像３６の例を示している。前処理部２１０は、このサンプリング画像３６を認識部２２０に入力する。認識部２２０は、このサンプリング画像３６に対して認識処理を実行する。

　図１２Ａ～図１２Ｅを用いて、各実施形態の前提技術に係る認識器による認識処理について、より具体的に説明する。上述したように、前処理部２１０は、フレーム毎に異なる画素位置を、サンプリング画素を選択する画素位置として設定する。認識部２２０は、フレーム毎に、設定された各画素位置の各画素３００からなるサンプリング画像に基づき認識処理を行う。図１２Ａ～図１２Ｅは、センサ部１０ｂにより時系列で順次に撮像されたフレーム＃１～＃５それぞれの画像データ３２ａ～３２ｄ、３２ａ’に対する各認識処理を示している。

　なお、図１２Ａ～図１２Ｅそれぞれにおいて、画像データ３２ａ～３２ｄ、３２ａ’による画像には、それぞれ人による対象物４１および４２が含まれている。対象物４１は、センサ部１０ｂに対して比較的近距離（中距離とする）に位置している。一方、対象物４２は、センサ部１０ｂに対して、当該中距離より遠方の距離（遠距離とする）に位置しており、画像中のサイズが対象物４１より小さい。

　図１２Ａのセクション（ａ）において、前処理部２１０は、フレーム＃１の画像データ３２ａの各分割領域３５に対し、例えば左上隅の画素位置を基点としたサブサンプリングを行う。より具体的には、前処理部２１０は、画像データ３２ａの各分割領域３５において、左上隅の画素位置を基点として行および列方向にそれぞれ１つおきに選択した各画素３００を、それぞれサンプリング画素である画素３００ｓａ₁～３００ｓａ₄として選択するサブサンプリングを行う（ステップＳ１０ａ）。

　前処理部２１０は、セクション（ｂ）に示されるように、このサブサンプリングされた各画素３００ｓａ₁～３００ｓａ₄により、第１の位相のサンプリング画像３６φ１を生成する。生成されたサンプリング画像３６φ１は、認識部２２０に入力される。

　認識部２２０は、入力されたサンプリング画像３６φ１の特徴量５０ａを、ＤＮＮを用いて抽出する（ステップＳ１１）。認識部２２０は、ステップＳ１１で抽出された特徴量５０ａを、蓄積部に格納、蓄積する（ステップＳ１２）。認識部２２０は、蓄積部に既に特徴量が蓄積されている場合、特徴量５０ａを蓄積部に蓄積すると共に、既に蓄積されている特徴量と統合することができる。図１２Ａのセクション（ｂ）に、ステップＳ１２の処理として空の蓄積部に対して最初の特徴量５０ａが格納された様子が示されている。

　認識部２２０は、蓄積部に蓄積された特徴量５０ａに基づき認識処理を実行する（ステップＳ１３）。図１２Ａの例では、セクション（ｂ）にステップＳ１３として示されるように、中距離に位置する対象物４１が認識され認識結果６０として得られている。一方、遠距離に位置する対象物４２は、認識されていない。

　図１２Ｂのセクション（ａ）において、前処理部２１０は、フレーム＃２の画像データ３２ｂの各分割領域３５に対し、図１２Ａに示したフレーム＃１の画像データ３２ａの各分割領域３５に対して設定された画素位置に対して１画素分水平方向にずらした各画素位置を、それぞれサンプリング画素の画素位置として設定するサブサンプリングを行う（ステップＳ１０ｂ）。すなわち、このステップＳ１０ｂで選択される各サンプリング画素は、図１２ＡにおいてステップＳ１０ａで選択された各サンプリング画素の画素位置に対し、図中で右にそれぞれ隣接する画素位置における各画素３００である。

　前処理部２１０は、セクション（ｂ）に示されるように、ステップＳ１０ｂでサブサンプリングされた各サンプリング画素により、第２の位相のサンプリング画像３６φ２を生成する。生成されたサンプリング画像３６φ２は、認識部２２０に入力される。

　認識部２２０は、入力されたサンプリング画像３６φ２の特徴量５０ｂを、ＤＮＮを用いて抽出する（ステップＳ１１）。認識部２２０は、ステップＳ１１で抽出された特徴量５０ｂを、蓄積部に格納、蓄積する（ステップＳ１２）。この例では、セクション（ｂ）にステップＳ１２として示されるように、蓄積部に対し、第１の位相のサンプリング画像３６φ１から抽出された特徴量５０ａが既に蓄積されている。そのため、認識部２２０は、特徴量５０ｂを蓄積部に蓄積すると共に、特徴量５０ｂを、蓄積されている特徴量５０ａと統合する。

　認識部２２０は、特徴量５０ａと特徴量５０ｂとが統合された特徴量に基づき認識処理を実行する（ステップＳ１３）。図１２Ｂの例では、セクション（ｂ）にステップＳ１３として示されるように、中距離に位置する対象物４１が認識され認識結果６０として得られているが、遠距離に位置する対象物４２は、この時点では認識されていない。

　図１２Ｃのセクション（ａ）において、前処理部２１０は、フレーム＃３の画像データ３２ｃの各分割領域３５に対し、図１２Ａに示したフレーム＃１の画像データ３２ａの各分割領域３５に対して設定された画素位置に対して位置を１画素分、列方向にずらした画素位置を、各サンプリング画素の画素位置として設定するサブサンプリングを行う（ステップＳ１０ｃ）。すなわち、このステップＳ１０ｃで選択される各サンプリング画素は、図１２ＡにおいてステップＳ１０ａで選択された各サンプリング画像の画素位置に対して、図中で下にそれぞれ隣接する画素位置における各画素３００である。

　前処理部２１０は、セクション（ｂ）に示されるように、ステップＳ１０ｃでサブサンプリングされた各サンプリングにより、第３の位相のサンプリング画像３６φ３を生成する。生成されたサンプリング画像３６φ３は、認識部２２０に入力される。

　認識部２２０は、入力されたサンプリング画像３６φ３の特徴量５０ｃを、ＤＮＮを用いて抽出する（ステップＳ１１）。認識部２２０は、ステップＳ１１で抽出された特徴量５０ｃを、蓄積部に格納、蓄積する（ステップＳ１２）。この例では、セクション（ｂ）にステップＳ１２として示されるように、蓄積部に対し、第１および第２の位相のサンプリング画像３６φ１および３６φ２からそれぞれ抽出された特徴量５０ａおよび５０ｂが既に蓄積されている。そのため、認識部２２０は、特徴量５０ｃを蓄積部に蓄積すると共に、特徴量５０ｃを、蓄積されている特徴量５０ａおよび５０ｂと統合する。

　認識部２２０は、特徴量５０ａおよび５０ｂと、特徴量５０ｃとが統合された特徴量に基づき認識処理を実行する（ステップＳ１３）。図１２Ｃの例では、セクション（ｂ）にステップＳ１３として示されるように、中距離に位置する対象物４１が認識され認識結果６０として得られているが、遠距離に位置する対象物４２は、この時点では認識されていない。

　図１２Ｄのセクション（ａ）において、前処理部２１０は、フレーム＃４の画像データ３２ｄの各分割領域３５に対し、図１２Ｃに示したフレーム＃３の画像データ３２ｃの各分割領域３５に対して設定された画素位置に対して１画素分水平方向にずらした各画素位置を、それぞれサンプリング画素の画素位置として設定するサブサンプリングを行う（ステップＳ１０ｄ）。すなわち、このステップＳ１０ｄで選択される各サンプリング画素は、図１２ＣにおいてステップＳ１０ｃで選択された各サンプリング画像の画素位置に対し、図中で右にそれぞれ隣接する画素位置における各画素３００である。

　前処理部２１０は、セクション（ｂ）に示されるように、ステップＳ１０ｄでサブサンプリングされた各サンプリングにより、第４の位相のサンプリング画像３６φ４を生成する。生成されたサンプリング画像３６φ４は、認識部２２０に入力される。

　認識部２２０は、入力されたサンプリング画像３６φ４の特徴量５０ｄを、ＤＮＮを用いて抽出する（ステップＳ１１）。認識部２２０は、ステップＳ１１で抽出された特徴量５０ｄを、蓄積部に格納、蓄積する（ステップＳ１２）。この例では、セクション（ｂ）にステップＳ１２として示されるように、蓄積部に対し、第１～第３の位相のサンプリング画像３６φ１～３６φ３からそれぞれ抽出された各特徴量５０ａ～５０ｃが既に蓄積されている。そのため、認識部２２０は、特徴量５０ｄを蓄積部に蓄積すると共に、特徴量５０ｄを、蓄積されている特徴量５０ａ～５０ｃと統合する。

　認識部２２０は、特徴量５０ａ～５０ｃと、特徴量５０ｄとが統合された特徴量に基づき認識処理を実行する（ステップＳ１３）。図１２Ｄの例では、セクション（ｂ）にステップＳ１３として示されるように、中距離に位置する対象物４１が認識され認識結果６０として得られ、遠距離に位置する対象物４２がさらに認識され認識結果６１として得られている。

　図１２Ａ～図１２Ｄの処理により、各分割領域３５に含まれる１６個の画素３００の画素位置全てが、サンプリング画素の画素位置として選択されたことになる。したがって、前処理部２１０は、１フレームに含まれる全ての画素３００の画素位置を、サンプリング画素の画素位置として選択する。また、前処理部２１０は、各分割領域３５に含まれる１６個の画素３００の画素位置を、１画素分ずつ位相をずらして選択するといえる。

　この、各分割領域３５あるいは１フレームに対して最初にサンプリング画素の画素位置を選択した時点から、各分割領域３５あるいは１フレームに含まれる全ての画素３００の画素位置がサンプリング画素の画素位置として選択されるまでの期間を、１周期とする。すなわち、前処理部２１０は、各分割領域３５の各画素位置を一定の周期で巡回して、当該分割領域３５内の全ての画素位置を、サンプリング画素を取得するための画素位置として設定する。

　１周期分のサブサンプリングおよび認識処理が終了すると、次の１周期分のサブサンプリングおよび認識処理が開始される。

　すなわち、図１２Ｅのセクション（ａ）において、前処理部２１０は、フレーム＃１’の画像データ３２ａ’の各分割領域３５に対し、図１２Ａの例と同様にして、左上隅の画素位置を基点としたサブサンプリングを行う（ステップＳ１０ａ’）。前処理部２１０は、セクション（ｂ）に示されるように、ステップＳ１０ａ’でサブサンプリングされた各サンプリングにより、第１の位相のサンプリング画像３６φ１’を生成する。生成されたサンプリング画像３６φ１’は、認識部２２０に入力される。

　認識部２２０は、入力されたサンプリング画像３６φ１’の特徴量５０ａ’を、ＤＮＮを用いて抽出する（ステップＳ１１）。認識部２２０は、ステップＳ１１で抽出された特徴量５０ａ’を、蓄積部に格納、蓄積する（ステップＳ１２）。この例では、セクション（ｂ）にステップＳ１２として示されるように、蓄積部に対し、直前の周期において第１～第４の位相のサンプリング画像３６φ１～３６φ４からそれぞれ抽出された各特徴量５０ａ～５０ｄが既に蓄積されている。そのため、認識部２２０は、特徴量５０ａ’を蓄積部に蓄積すると共に、特徴量５０ａ’を、蓄積されている特徴量５０ａ～５０ｄと統合する。

　これに限らず、認識部２２０は、サンプリング画素の画素位置選択の周期毎に蓄積部をリセットするようにしてもよい。蓄積部のリセットは、例えば、蓄積部に蓄積された１周期分の特徴量５０ａ～５０ｄを、蓄積部から削除することで可能である。

　また、認識部２２０は、蓄積部に対して、常に一定量の特徴量を蓄積するようにもできる。例えば、認識部２２０は、蓄積部に対して１周期分の特徴量、すなわち、４フレーム分の特徴量を蓄積する。この場合、認識部２２０は、新たな特徴量５０ａ’が抽出されると、蓄積部に蓄積される特徴量５０ａ～５０ｄのうち、例えば最も古い特徴量５０ｄを削除し、新たな特徴量５０ａ’を蓄積部に格納し、蓄積する。認識部２２０は、特徴量５０ｄを削除されて残った特徴量５０ａ～５０ｃと、新たな特徴量５０ａ’と、を統合した蓄積量に基づき認識処理を実行する。

　認識部２２０は、蓄積部にすでに蓄積されている特徴量５０ａ～５０ｄと、新たに抽出された特徴量５０ａ’とが統合された特徴量に基づき認識処理を実行する（ステップＳ１３）。図１２Ｅの例では、セクション（ｂ）にステップＳ１３として示されるように、中距離に位置する対象物４１が認識され認識結果６０として得られ、遠距離に位置する対象物４２がさらに認識され認識結果６１として得られている。

　ここで、サンプリング画像３６は、元の画像データ３２から画素を間引きした間引き画像である。図１１の例では、サンプリング画像３６は、画像データ３２を行および列方向にそれぞれ１／２に縮小した画像データであって、画素数が元の画像データ３２の１／４の縮小画像である。したがって、認識部２２０は、サンプリング画像３６に対する認識処理を、元の画像データ３２に含まれる画素３００を全て用いた認識処理に対して高速に実行できる。

　また、サンプリング画像３６を生成するためにサンプリング画素として設定する画素３００の画素位置を、分割領域３５内でフレーム毎に１画素分ずつずらして選択している。そのため、フレーム毎に１画素分ずつ位相がずれたサンプリング画像３６を得ることができる。またこのとき、分割領域３５に含まれる全ての画素３００の画素位置が、サンプリング画素として設定する画素３００の画素位置として選択されるようにする。

　このようにサンプリング画像３６を生成する画素３００の画素位置を選択し、各サンプリング画像３６から算出された特徴量を蓄積、統合する。これにより、画像データ３２に含まれる全ての画素位置の画素３００を、認識処理に関与させることができ、例えば遠方の対象物も容易に認識可能にできる。

　なお、上述では、サンプリング画素を選択するための画素位置を、前処理部２１０が所定の規則に従い設定するように説明したが、これはこの例に限定されない。例えば、前処理部２１０は、認識処理部２０ｂの外部、あるいは、当該認識処理部２０ｂが含まれる情報処理装置１ｂの外部からの指示に応じて、サンプリング画素を選択するための画素位置を設定してもよい。

（１－２－１－３．各実施形態の前提技術に係るサブサンプリング処理について）
　次に、各実施形態の前提技術におけるサブサンプリング処理について、より具体的に説明する。図１３Ａおよび図１３Ｂは、各実施形態の前提技術に係る認識処理におけるサブサンプリング処理について説明するための模式図である。ここでは、説明のため、図１３Ａのセクション（ｂ）に示されるように、分割領域３５を２画素×２画素の領域としている。各分割領域３５において、左上の画素位置を原点の座標［０，０］とし、右上、左下および右下の画素位置を、それぞれ座標［１，０］［０，１］および［１，１］とする。また、画素３００のサンプリングは、各分割領域３５において、右下の画素位置［１，１］を基点として、座標［１，１］、［１，０］、［０，１］、［０，０］の順に行うものとする。

　図１３Ａのセクション（ａ）において、図の下から上に向けて、時間の経過を表す。図１３Ａの例では、上述した図１２Ａ～図１２Ｅと対応し、画像データ３２ａが最も新しい時間Ｔの画像［Ｔ］であり、以降、画像データ３２ｂ、画像データ３２ｃ、画像データ３２ｄの順に、時間Ｔ－１、Ｔ－２、Ｔ－３と、１フレームずつ古い画像データ３２による画像［Ｔ－１］、画像［Ｔ－２］、画像［Ｔ－３］となっている。

　前処理部２１０は、時間Ｔ－３において、画像データ３２ａについて、各分割領域３５の座標［１，１］の画素３００をサンプリング画素として選択し（ステップＳ１０ａ）、認識部２２０は、選択されたサンプリング画素によるサンプリング画像３６φ１の特徴量を抽出する（ステップＳ１１）。認識部２２０は、サンプリング画像３６φ１から抽出された特徴量５０ａを、例えばそれ以前の所定期間に抽出された特徴量と統合し（ステップＳ１２）、統合された特徴量に基づき認識処理を行う（ステップＳ１３）。

　ここで、例えば、上述した画像データ３２ａの各分割領域３５におけるサブサンプリング処理（ステップＳ１０ａ）により、画像データ３２ａを均一に間引いたサンプリング画像３６φ１を得ることができる。このサンプリング画像３６φ１からステップＳ１１により抽出された特徴量５０ａを用いて、画像データ３２ａの全体に対する認識処理を実行することができる。この、画像データ３２からサブサンプリングにより選択したサンプリング画素によるサンプリング画像に対する認識処理により、画像データ３２に対する認識処理を完結させることが可能である。

　この、画像データ３２からサンプリング画像を生成し、生成されたサンプリング画像から特徴量を抽出し、抽出された特徴量に基づき認識処理を行う一連の処理を、１単位の処理と呼ぶ。図１３Ａの例では、例えばステップＳ１０ａのサブサンプリング処理と、当該サブサンプリング処理により生成されるサンプリング画像３６φ１に対するステップＳ１１による特徴量抽出処理と、ステップＳ１２による特徴量の統合処理と、ステップＳ１３による認識処理と、が、１単位の処理に含まれる。認識部２２０は、この１単位の処理毎に、間引きされた画像データ３２に対する認識処理を実行できる（ステップＳ１３）。

　以降、同様にして、認識処理部２０ｂは、フレーム周期で順次に更新される各画像データ３２ｂ、３２ｃおよび３２ｄについて、上述した１単位の処理をそれぞれ実行し、認識処理を実行する。このとき、ステップＳ１２の特徴量の統合処理、および、ステップＳ１３の認識処理は、各単位の処理において共通とすることができる。

　上述の、画像データ３２ａ～３２ｄそれぞれに対して１単位の処理が行われることで、各分割領域３５に含まれる各画素位置に対するサンプリング画素の選択が一巡する。図１３Ｂは、この各分割領域３５に含まれる各画素位置に対するサンプリング画素の選択の一巡後の、次の１単位の処理について示している。すなわち、各画像データ３２ａ、３２ｂ、３２ｃおよび３２ｄに対する１単位の処理が一巡すると、認識処理部２０ｂに入力される次のフレームの画像データ３２ａ’に対する１単位分の処理が実行される。

　この例では、最も古い画像データ３２ｄに基づき抽出された特徴量５０ｄを破棄し、新たな画像データ３２ａ’から特徴量５０ａ’を抽出する。すなわち、前処理部２１０は、画像データ３２ａ’の各分割領域３５の座標［１，１］の各画素３００をサンプリング画素として選択し、サンプリング画像３６φ１を生成する。認識部２２０は、この画像データ３２ａ’から選択されたサンプリング画像３６φ１から特徴量５０ａ’を抽出する。認識部２２０は、この特徴量５０ａ’と、直前までに抽出された特徴量５０ａ、５０ｂおよび５０ｃと、を統合し、統合した特徴量に基づき認識処理を行う。この場合、認識部２２０は、新たに取得された画像データ３２ａ’についてのみ、特徴量の抽出処理を行えばよい。

　このように、各実施形態の前提技術に係る認識処理は、認識処理部２０ｂにおいて、同一の処理系において１単位分の処理を実行することで行っている。より具体的には、認識処理部２０ｂは、１単位分の処理として、画像データ３２に対するサブサンプリング処理および特徴量抽出処理による処理系をフレーム毎に繰り返し、この繰り返しにより抽出された特徴量を統合し、認識処理を行っている。

　また、認識処理部２０ｂは、画像データ３２に含まれる全画素３００の画素位置を含むサブサンプリング処理を、サンプリング画素を選択する画素位置を周期的にずらしながら行っている。さらに、認識処理部２０ｂは、ステップＳ１１で各フレームの画像データ３２から選択されたサンプリング画素によるサンプリング画像から抽出した、中間データとしての特徴量を統合して認識処理を行っている。

　このように構成された各実施形態の前提技術に係る認識処理は、１単位分の処理で完結可能な処理系とされているため、認識結果をより迅速に得ることができる。また、１単位で画像データ３２の全体からサンプリング画素を選択するため、１単位の処理で広範囲の認識結果を確認できる。さらに、複数の画像データ３２に基づく中間データ（特徴量）を統合するため、複数の単位に跨ることで取得される、より詳細な認識結果を取得可能である。

　すなわち、各実施形態の前提技術に係る情報処理装置１ｂを用いることで、認識結果の同時性の向上と、撮像画像の解像度を活用した認識結果の取得とを両立させることが可能となり、撮像画像を用いた認識処理の特性を向上させることができる。

（１－３．各実施形態に係る認識処理の基本的なアーキテクチャ）
　次に、本開示の各実施形態に係る認識処理の基本的なアーキテクチャについて説明する。図１４Ａは、既存技術に係る認識処理の基本的なアーキテクチャを説明するための模式図である。既存技術における認識器は、図１４Ａに示すように、１つの入力情報（例えば画像）に対して認識処理を実行し、基本的には、当該入力情報に対して１つの認識結果を出力する。

　図１４Ｂは、各実施形態に係る認識処理の基本的なアーキテクチャを説明するための模式図である。各実施形態に係る認識器は、例えば図９の認識部２２０に対応し、図１４Ｂに示すように、１つの入力情報（例えば画像）に対して時間軸展開により認識処理を実行し、当該認識処理に応じて複数の認識結果を出力することができる。ここで、時間軸展開による認識処理は、図１０、図１１、図１２Ａ～図１２Ｅなどを用いて説明したように、分割領域３５毎に画素間引きによるサブサンプリングを行い、サブサンプリングされたサンプリング画素によるサンプリング画像毎に、認識処理を実行する処理となる。

　図１４Ｂの例では、各実施形態に係る認識器は、１つの入力情報に対して、時間軸展開での認識処理により、応答性の高い速報結果と、精度の高い統合結果と、の２つの認識結果を出力可能としている。これらのうち、速報結果は、例えば、各分割領域３５において最初のサブサンプリングにより取得されたサンプリング画像に対して行った認識処理による認識結果である。一方、統合結果は、例えば、各分割領域３５において、各サブサンプリングによりそれぞれ取得された各サンプリング画像から抽出された特徴量を統合した特徴量に基づき行った認識処理による認識結果である。

　図１４Ｂに示す各実施形態に係る認識器において実行される認識処理の計算量は、図１４Ａに示す既存技術による認識器において実行される認識処理の計算量と略同一である。したがって、各実施形態に係る認識器によれば、より応答性の高い速報結果と、より精度の高い統合結果と、の両方の認識結果を、既存技術による認識器と略同程度の計算量により取得することが可能である。

（１－３－１．より具体的な構成）
　次に、各実施形態に係る認識処理の基本的なアーキテクチャのより具体的な構成について説明する。

（１－３－１－１．第１の例）
　図１５は、各実施形態に係る認識処理の基本的なアーキテクチャにおける読み出しおよび認識処理の、第１の例を示す一例のタイムチャートである。なお、この図１５および後述する図１６では、図１１のセクション（ｂ）にて説明した、４画素×４画素のサイズの分割領域３５において、１画素おきにサンプリング画素を選択するものとしている。この場合、各分割領域３５は、４回のサブサンプリングにより全ての画素位置が選択され、１フレームの画像データ３２が第１～第４の位相の４つのサンプリング画像３６φ１～３６φ４に分割されることになる。

　この第１の例では、サブサンプリングによる第１～第４の位相のサンプリング画像３６φ１～３６φ４を、時系列で連なる複数のフレームの画像データ３２それぞれから抽出する例である。すなわち、この第１の例では、第１～第４の位相のサンプリング画像３６φ１～３６φ４を、時系列で連なる複数のフレームの画像データ３２を跨いで抽出する。この第１の例による認識処理は、複数フレーム間で行われる認識処理であり、適宜、インターフレーム(inter-frame)処理と呼ぶ。

　図１５において、撮像周期はフレーム周期であって、例えば５０［ｍｓ］（２０［ｆｐｓ(frame　per　second)］）である。また、ここでは、画素アレイ部１００１に行列状の配列で配置される画素回路１０００からの読み出しを、ローリングシャッタ方式によりライン順次で行う。ここで、図１５において、右方向に時間の経過を表し、上から下に向けてライン位置を表す。

　例えばフレーム＃１の撮像処理において、各ラインで所定時間の露光が行われ、露光の終了後、各画素回路１０００から画素信号が垂直信号線ＶＳＬを介してＡＤ変換部１００３へ転送され、ＡＤ変換部１００３において、各ＡＤ変換器１００７により、転送されたアナログ方式の画素信号がデジタル信号である画素データに変換される。全てのラインについて、画素信号の画素データへの変換が行われると、フレーム＃１の画素データによる画像データ３２ａが前処理部２１０に入力される。

　前処理部２１０は、入力された画像データ３２ａに対して上述したようなサブサンプリング処理（図中「ＳＳ」として示す）により、第１の位相φ１のサブサンプリングを施す。前処理部２１０は、第１の位相φ１のサブサンプリングにより、分割領域３５毎に選択されたサンプリング画素の画素位置から画素３００を取得し、サンプリング画像３６φ１を生成する（ステップＳ１０ａ）。

　前処理部２１０は、サンプリング画像３６φ１を認識部２２０に渡す。このとき前処理部２１０から認識部２２０に渡されるサンプリング画像３６φ１は、サブサンプリング処理により間引きされ画像データ３２ａに対して画素数が削減された画像である。認識部２２０は、このサンプリング画像３６φ１に対して、認識処理を実行する。ここでは、認識処理として、特徴量抽出処理（ステップＳ１１）、特徴量統合処理（ステップＳ１２）および認識処理（ステップＳ１３）を含んでいるものとして示している。サンプリング画像３６φ１に基づく認識結果φ１は、認識処理部２０ｂの外部に出力される。

　これらステップＳ１１～ステップＳ１３の処理は、１フレームの期間内に行われる。ここで、処理対象となるサンプリング画像３６φ１は、サブサンプリング処理により間引きされ画像データ３２ａに対して画素数が削減された画像である。そのため、画像データ３２ａに対して実行される処理量は、間引きがされない１フレーム分の画像データ３２に対して実行される処理量よりも少なくなる。図１５の例では、画像データ３２ａに基づくサンプリング画像３６φ１に対するステップＳ１１～ステップＳ１３の処理が、１フレーム期間の略１／４の期間で完了している。

　上述のフレーム＃１に対する処理と並行して、次のフレーム＃２に対する処理が実行される。フレーム＃２の画素データからなる画像データ３２ｂが前処理部２１０に入力される。前処理部２１０は、入力された画像データ３２ｂに対して、画像データ３２ａとは異なる第２の位相φ２でサブサンプリング処理を施して、サンプリング画像３６φ２を生成する。

　前処理部２１０は、サブサンプリングにより画像データ３２ｂより画素数が削減されたサンプリング画像３６φ２を認識部２２０に渡す。認識部２２０は、このサンプリング画像３６φ２に対して、１フレームの期間内に認識処理を実行する。この場合においても、上述と同様に、当該認識処理が１フレーム期間の略１／４の期間で完了している。

　このとき、認識部２２０は、サンプリング画像３６φ２から抽出した特徴量５０ｂと、画像データ３２ａに対する特徴量抽出処理により抽出された特徴量５０ａとを、ステップＳ１２で特徴量統合処理により統合する。認識部２２０は、この統合された特徴量を用いて、認識処理を実行する。この認識処理による認識結果φ２は、認識処理部２０ｂの外部に出力される。

　以降、同様にして、前処理部２１０は、次のフレーム＃３の画像データ３２ｃについて、直前のフレーム＃２の画像データ３２ｂに対する処理と並行して、第３の位相φ３によるサブサンプリング処理を実行し、認識部２２０は、サブサンプリング処理により生成されたサンプリング画像３６φ３から特徴量５０ｃを抽出する。認識部２２０は、画像データ３２ａおよび３２ｂそれぞれから抽出された特徴量５０ａおよび５０ｂが統合された特徴量と、抽出した特徴量５０ｃと、をさらに統合し、統合された特徴量に基づき認識処理を実行する。認識部２２０は、この認識処理により得られた認識結果φ３を、外部に出力する。この場合においても、上述と同様に、当該認識処理が１フレーム期間の略１／４の期間で完了している。

　認識処理部２０ｂは、次のフレーム＃４の画像データ３２ｄについても、同様にして、直前のフレーム＃３の画像データ３２ｃに対する処理と並行して、第４の位相φ４によるサブサンプリング処理、特徴量抽出処理を行い、特徴量５０ｄを取得する。認識処理部２０ｂは、認識部２２０により、画像データ３２ａ～３２ｃそれぞれから抽出された特徴量５０ａ～５０ｃが統合された特徴量と、抽出した特徴量５０ｄと、をさらに統合し、統合された特徴量に基づき認識処理を実行する。認識部２２０は、この認識処理により得られた認識結果φ４を、外部に出力する。この場合においても、上述と同様に、当該認識処理が１フレーム期間の略１／４の期間で完了している。

　ここで、図１５において、垂直方向の矢印、すなわち、各画像データ３２ａ～３２ｄ、各ステップＳ１０ａ～ステップＳ１０ｄから各認識処理、および、各認識処理による各認識結果φ１～φ４の出力を示す矢印は、その太さが情報量を概略的に示している。

　より具体的には、図１５の例では、ステップＳ１０ａ～ステップＳ１０ｄの処理のために前処理部２１０に入力される各画像データ３２ａ～３２ｄのデータ量に対して、前処理部２１０からステップＳ１０ａ～ステップＳ１０ｄの処理によりサブサンプリングされて認識部２２０に渡されるサンプリング画像３６φ１～φ４の方がデータ量が少ない。

　一方、各画像データ３２ａ～３２ｄに基づく認識処理による各認識結果φ１～φ４の情報量は、認識処理を重ねる毎に多くなり、得られる認識結果が、認識処理毎により詳細となっていくことを示している。これは、認識処理毎に、直前までにサンプリング画像の位相をずらしつつ取得した特徴量と、直前のサンプリング画像に対してさらに位相をずらして新たに取得された特徴量と、を統合した特徴量を用いているためである。

（１－３－１－２．第２の例）
　図１６は、各実施形態に係る認識処理の基本的なアーキテクチャにおける読み出しおよび認識処理の、第２の例を示す一例のタイムチャートである。この第２の例では、サブサンプリングによる第１～第４の位相のサンプリング画像３６φ１～３６φ４を、１フレームの画像データ３２からそれぞれ抽出する例である。すなわち、この第２の例では、第１～第４の位相のサンプリング画像３６φ１～３６φ４による認識処理が１フレームで完結するもので、以下、適宜、イントラフレーム(intra-frame)処理と呼ぶ。

　図１６における各部の意味は、上述した図１５と同様であるので、ここでの詳細な説明を省略する。

　前処理部２１０は、例えば図１６において最初の１フレームの画像データ３２ａに対して上述したような第１の位相φ１のサブサンプリングを施し、分割領域３５毎に選択されたサンプリング画素の画素位置から画素３００を取得し、第１の位相φ１によるサンプリング画像３６φ１を生成する（ステップＳ１０ａ）。

　前処理部２１０は、当該画像データ３２ａに対する第１の位相φ１のサブサンプリングが終了すると、当該画像データ３２ｂに対する第２の位相φ２のサブサンプリングを実行する。前処理部２１０は、この第２の位相φ２のサブサンプリングにより取得された各サンプリング画素により第２の位相φ２によるサンプリング画像３６φ２を生成する（ステップＳ１０ｂ）。以降、前処理部２１０は、当該画像データ３２ａに対する位相の異なるサブサンプリング（第３の位相φ３のサブサンプリング、第４の位相φ４のサブサンプリング）をそれぞれ実行し、第３の位相φ３によるサンプリング画像３６φ３、および、第４の位相φ４によるサンプリング画像３６φ４をそれぞれ生成する（ステップＳ１０ｃ、ステップＳ１０ｄ）。

　このように、前処理部２１０は、これら第１～第４の位相φ１～φ４によるサブサンプリングを、１フレームの画像データ３２ａに対して、１フレーム期間内にそれぞれ実行する。

　認識部２２０は、前処理部２１０により画像データ３２ａに基づき生成した第１の位相φ１のサンプリング画像３６φ１に対して特徴量抽出処理を実行し（ステップＳ１１ａ）、特徴量を抽出する。認識部２２０は、統合可能な特徴量が蓄積されている場合、ステップＳ１１ａで抽出した特徴量を、蓄積された統合可能な特徴量と統合することができる（ステップＳ１２ａ）。認識部２２０は、例えばステップＳ１２ａで統合された特徴量に基づき認識処理を実行し（ステップＳ１３ａ）、第１の位相による認識結果φ１を出力する。

　認識部２２０は、前処理部２１０により画像データ３２ａに基づき生成した第２の位相φ２のサンプリング画像３６φ２に対して特徴量抽出処理を実行し（ステップＳ１１ｂ）、特徴量を抽出する。認識部２２０は、統合可能な特徴量が蓄積されている場合、ステップＳ１１ｂで抽出した特徴量を、蓄積された統合可能な特徴量と統合することができる（ステップＳ１２ｂ）。この例では、例えば、当該ステップＳ１１ｂで抽出した特徴量と、上述したステップＳ１１ａで抽出した特徴量とを統合することができる、認識部２２０は、統合された特徴量に対して認識処理を行い（ステップＳ１３ｂ）、第２の位相φ２による認識結果φ２を出力する。

　以降、同様にして、認識部２２０は、前処理部２１０により画像データ３２ａに基づき生成した第３および第４の位相φ３およびφ４のサンプリング画像３６φ３および３６φ４に対して特徴量抽出処理を実行し（ステップＳ１１ｃ、ステップＳ１１ｄ）、特徴量を抽出する。認識部２２０は、ステップＳ１１ｃおよびステップＳ１１ｄにより抽出された各特徴量を、それぞれ直前の統合処理までにおいて統合された特徴量と順次に統合する（ステップＳ１２ｃ、ステップＳ１２ｄ）。認識部２２０は、例えば各位相φ３およびφ４において統合された各特徴量に基づき認識処理を実行し、各位相φ３およびφ４の認識結果φ３およびφ４をそれぞれ出力する。

　図１６の例では、上述した各位相φ１～φ４における各特徴量抽出処理（ステップＳ１１ａ～ステップＳ１１ｄ）と、各統合処理（ステップＳ１２ａ～ステップＳ１２ｄ）と、各認識処理（ステップＳ１３ａ～ステップＳ１３ｄ）と、を１フレームの期間内に実行している。すなわち、認識部２２０は、１フレームの画像データ３２ａをサブサンプリング処理により画素を間引いた各サンプリング画像３６φ１～３６φ４に対して認識処理を行う。そのため、認識部２２０におけるそれぞれの認識処理の計算量が少なくて済み、各認識処理を短時間で実行することが可能である。

　図１７は、上述した第２の例による処理（イントラフレーム処理）による効果を説明するための模式図である。図１７Ａは、上述した第２の例による処理と、既存技術による処理とを比較する一例のタイムチャートであり、右方向に向けて時間の経過を表している。図１７Ａにおいて、セクション（ａ）は、既存技術による読み出しおよび認識処理の例を示す。また、セクション（ｂ）は、上述した第２の例による読み出しおよび認識処理の例を示す。

　セクション（ａ）および（ｂ）において、時間ｔ₀～ｔ₁の期間に撮像処理が実行される。撮像処理は、画素アレイ部１００１における所定時間の露光と、露光に応じて光電変換素子により生成された電荷に基づく各画素データの転送処理と、を含む。撮像処理により画素アレイ部１００１から転送された各画素データは、例えば１フレーム分の画像データとしてフレームメモリに記憶される。

　セクション（ａ）および（ｂ）において、例えば時間ｔ₁からフレームメモリに記憶された画像データの読み出しが開始される。ここで、セクション（ａ）の既存技術による処理では、１フレーム分の画像データの読み出しが終了（時間ｔ₄）した後に、当該１フレーム分の画像データに対する認識処理が開始される。ここでは、説明のため、この認識処理は、時間ｔ₄から１フレーム期間が経過した時間ｔ₆で終了するものとする。

　一方、セクション（ｂ）の第２の例による処理では、セクション（ａ）の例と同様に、時間ｔ₁の後にフレームメモリからの画像データの読み出しが開始される。ここで、第２の例では、第１の位相φ１のサブサンプリングによるサンプリング画像３６φ１の読み出しが、例えば１フレーム期間の１／４の時間である時間ｔ₁～ｔ₂の期間に実行され、同様に、当該サンプリング画像３６φ１に対する認識処理が、例えば１フレーム期間の１／４の時間である時間ｔ₂～ｔ₃の期間に実行され、認識結果φ１が出力される。

　第２の例による処理では、以降、同様にして、第２～第４の位相φ２～φ４のサブサンプリングによるサンプリング画像３６φ２～３６φ４の読み出しが、それぞれ例えば１フレーム期間の１／４の時間である時間ｔ₂～ｔ₃、…に実行され、例えば時間ｔ₄において終了される。

　サンプリング画像３６φ２に対する認識処理が時間ｔ₂に開始され、例えば１フレーム期間の１／４の時間を経過した時間ｔ₃に終了され、認識結果φ２が出力される。他のサンプリング画像３６φ３、３６φ４に対する認識処理も、直前のサンプリング画像に対する認識処理に続けて実行され、例えばそれぞれ１フレーム期間の１／４の時間で終了され、それぞれ認識結果φ３およびφ４が出力される。図１７Ａの例では、１フレームの画像データ３２における最後のサブサンプリングによるサンプリング画像３６φ４に対する認識処理が、時間ｔ₅で終了している。

　図１７Ｂは、第２の例による各認識結果を模式的に示す図である。図１７Ｂにおいて、上段、中段および下段は、それぞれ第１の位相φ１、第２の位相φ２および第４の位相φ４に対する認識処理による各認識結果φ１、φ２およびφ４の例を、それぞれ示している。

　また、図１７Ｂの上段、中段および下段の各図において、認識対象が人であって、センサ部１０ｂ（情報処理装置１ｂ）からそれぞれ異なる距離にいる３人の画像が１フレームに含まれている場合を示している。図１７Ｂの上段、中段および下段の各図において、フレーム９５に対して、それぞれ人の画像であって、大きさの異なる３つのオブジェクト９６Ｌ、９６Ｍおよび９６Ｓが含まれている。これらのうち、オブジェクト９６Ｌが最も大きく、フレーム９５に含まれる３人のうち、当該オブジェクト９６Ｌに対応する人が当該センサ部１０ｂの最も近距離にいることになる。また、オブジェクト９６Ｌ、９６Ｍおよび９６Ｓのうち最も小さいオブジェクト９６Ｓは、フレーム９５に含まれる３人のうち、当該オブジェクト９６Ｓに対応する人が当該センサ部１０ｂに対して最も遠距離にいる人を表している。

　図１７Ｂにおいて、認識結果φ１は、上述したサンプリング画像３６φ１に対して認識処理を実行し、最も大きなオブジェクト９６Ｌが認識された例である。認識結果φ２は、認識結果φ１における特徴量に対して、さらにサンプリング画像３６φ２から抽出された特徴量が統合され、次に大きなオブジェクト９６Ｍが認識された例である。また、認識結果φ４は、サンプリング画像３６φ４から抽出された特徴量と、サンプリング画像３６φ２から抽出された特徴量と、次のサンプリング画像３６φから抽出された特徴量と、が統合され、オブジェクト９６Ｌおよび９６Ｍに加え、最も小さなオブジェクト９６Ｓが認識された様子が示されている。

　このように、１フレームの画像データ３２から、各サンプリング画像３６φ１、３６φ２、…の特徴量を抽出し、抽出した特徴量を蓄積および統合していくことで、順次、より遠方にいる人を認識できるようになる。このとき、認識結果φ１として示されるように、最初のサブサンプリングによるサンプリング画像３６φ１に基づく認識処理により、最も大きなオブジェクト９６Ｌが認識されている。

　このように、第２の例では、フレームに対する最初のサブサンプリングによるサンプリング画像３６φ１に基づき、概略的な認識結果φ１を得ることができる。認識結果φ１は、図１７Ａにおいては時間ｔ₃に出力が可能とされ、図中に矢印Ｂにより示されるように、既存技術により認識結果が出力される時間ｔ₆に対して低レイテンシ化が実現できる。

　この第２の例による、フレームに対する最初のサブサンプリングによるサンプリング画像３６φ１に基づく認識結果φ１が、速報結果となる。この速報結果は、上述した第１の例にも適用可能である。

　また、第２の例では、フレームに対する最後のサブサンプリングにおける認識処理は、当該フレームにおける各サンプリング画像３６φ１～３６φ４から抽出された各特徴量を統合した特徴量に基づき行われるため、より高精度の認識結果φ４を得ることができる。この認識結果φ４は、例えば既存技術による認識処理と同等の精度を実現可能である。また、この最後のサブサンプリングは、既存技術により読み出し処理が終了する時間ｔ₄に対して例えば１／４フレーム期間分が経過した時間ｔ₅に終了する。このように、第２の例では、既存技術と同等の精度を、図中に矢印Ａで示されるように既存技術による認識処理に対してより短時間で取得することが可能となり、低レイテンシ化を図ることができる。

　この第２の例による、フレームに対する最後のサブサンプリングによるサンプリング画像３６φ４、および、当該サンプリング画像３６φ４より以前に取得された各サンプリング画像３６φ１～３６φ３からそれぞれ抽出された特徴量を統合した特徴量に基づく認識結果φ４が、統合結果となる。この統合結果は、上述した第１の例にも適用可能である。

　以下では、特に記載の無い場合、画像データ３２からのサブサンプリングによる読み出しおよび認識処理に関して、上述した第１の例および第２の例のうち、第２の例を適用するものとして説明を行う。

［２．第１の実施形態］
（２－１．第１の実施形態の概要）
　次に、本開示の第１の実施形態について説明する。本開示の第１の実施形態では、１フレームの画像データ３２の分割数、あるいは、当該画像データ３２からサンプリング画素を読み出す際の読み出し方法を、所定の条件に応じて切り替える。例えば、第１の実施形態では、所定の条件に応じて、それぞれ画像データ３２の分割数が異なる第１の認識器、第２の認識器および第３の認識機を切り替える。

　第１の認識器は、例えば画像データ３２を分割せず（分割数＝０）に認識処理を行う認識機である。これは、例えば既存技術に係る認識機を適用することができる。第２の認識器は、画像データ３２を第１の分割数（例えば４分割）で分割し、分割された各分割領域３５に基づき認識処理を行う認識機である。また、第３の認識機は、画像データ３２を、第１の分割数とことなる第２の分割数（例えば１６分割）で分割し、分割された各分割領域３５’に基づき認識処理を行う認識器である。

　図１８は、第１の実施形態に係る第２の認識器の一例の構成を概略的に示す図である。図１８において、左端は、１フレームの画像データ３２を、第１の位相φ１～第４の位相φ４の４つの位相の画素３００φ１、３００φ２、３００φ３および３００φ４に従い４分割した様子を示している。第１～第４の位相φ１～φ４によるサブサンプリング処理（ステップＳ１１ａ～ステップＳ１１ｄ）により、各位相のサンプリング画像３６φ１～３６φ４が生成される。

　ここでは、各位相のサンプリング画像３６φ１～３６φ４は、第１の位相φ１、第２の位相φ２、第３の位相φ３、第４の位相φ４の順に生成されるものとする。

　また、画像データ３２の分割方法は、上述した４画素×４画素のサイズを持つ分割領域３５による４分割（＝２×２）に限定されない。例えば、分割領域３５のサイズを８画素×８画素としても良いし（この場合には、４×４の１６分割となる）、分割領域３５をさらに他のサイズとしても良い。さらには、分割領域３５は、正方形でなくてもよく、また、矩形にも限られない。

　さらにまた、画像データ３２の全体、または、所定に設定された分割領域３５の任意の画素位置を選択し、選択された画素位置の画素３００をサンプリング画素としてもよい。ここで、任意に選択した複数の画素位置は、例えば、離散的および非周期的な複数の画素位置を含む。例えば、前処理部２１０は、疑似乱数を用いて、当該複数の画素位置を選択することができる。また、選択される画素位置は、フレーム毎に異ならせることが好ましいが、一部の画素位置がフレーム間で重複してもよい。

　各位相のサンプリング画像３６φ１～３６φ４に対して、それぞれ特徴量抽出処理がなされる（ステップＳ１１ａ～ステップＳ１１ｄ）。ステップＳ１１ａにより最初に抽出されるサンプリング画像３６φ１の特徴量が、ステップＳ１２ａにより、既に蓄積されている特徴量と統合される。図１８の例では、当該サンプリング画像３６φ１から抽出される特徴量に対して、そのまま認識処理を行うように示している（ステップＳ１３ａ）。このステップＳ１３ａによる認識処理の認識結果は、速報結果として出力される。

　次にステップＳ１１ｂにより抽出されたサンプリング画像３６φ２の特徴量が、ステップＳ１２ｂにより、ステップＳ１１ａでサンプリング画像３６φ１から抽出された特徴量と統合される。次にステップＳ１１ｃにより抽出されたサンプリング画像３６φ３の特徴量が、ステップＳ１２ｃにより、ステップＳ１２ｂで統合された特徴量に対してさらに統合される。すなわち、ステップＳ１２ｃでは、サンプリング画像３６φ１、３６φ２および３６φ３からそれぞれ抽出された特徴量が統合される。

　次にステップＳ１１ｄにより抽出されたサンプリング画像３６φ４の特徴量が、ステップＳ１２ｄにより、ステップＳ１２ｃで統合された特徴量に対して更に統合される。すなわち、ステップＳ１２ｄでは、サンプリング画像３６φ１、３６φ２、３６φ３および３６φ４からそれぞれ抽出された特徴量が統合される。この統合された特徴量に対して、ステップＳ１３ｄで認識処理が行われる。このステップＳ１３ｄによる認識処理の認識結果は、統合結果として出力される。

　なお、上述では、サンプリング画像３６φ１に基づく認識処理（ステップＳ１３ａ）の認識結果を速報結果として出力しているが、これはこの例に限定されない。上述した統合結果を除外した認識結果、例えば、サンプリング画像３６φ１および３６φ２からそれぞれ抽出された特徴量が統合された特徴量に基づく認識処理の認識結果や、サンプリング画像３６φ１～３６φ３からそれぞれ抽出された特徴量に基づく認識結果を、速報結果として用いてもよい。

　図１９は、第１の実施形態に係る認識器の切り替え処理を説明するための模式図である。図１９において、左側のセクション（ａ）は、１フレームの画像データ３２を分割せずに特徴量抽出（ステップＳ１１）、認識処理（ステップＳ１３）を実行する第１の認識器の例を示している。この例は、画像データ３２の分割数が０の場合の例となる。

　中央のセクション（ｂ）は、上述した図１８と対応するもので、画像データ３２を４分割する第２の認識器の例を示している。図２０Ａは、画像データ３２を第１～第４の位相φ１～φ４により分割する例を示している。４画素×４画素のサイズを持つ分割領域３５に対し、各第１～第４の位相φ１～φ４において、画素３００φ１、３００φ２、３００φ３および３００φ４をそれぞれ例えば基点として、サブサンプリングにより１画素おきに間引きを行う。これにより、位相をずらした４個のサンプリング画像３６φ１～３６φ４を生成して、画像データ３２を時間軸展開により４分割する。

　図１９のセクション（ｂ）を参照し、第２の認識器は、分割されたそれぞれの分割領域３５に対して第１～第４の位相φ１～φ４毎に、特徴量抽出（ステップＳ１１ａ～ステップＳ１１ｄ）、特徴量統合（ステップＳ１２ａ～ステップＳ１２ｄ）を行う。また、第１の位相φ１のサンプリング画像３６φ１からステップＳ１１ａにより抽出した特徴量に基づき、ステップＳ１３ａで認識処理を行い速報結果を出力する。さらに、第４の位相φ４のサンプリング画像３６φ４からステップＳ１１ｄにより抽出された特徴量と、第１～第３の位相φ１～φ３の各サンプリング画像３６φ１～３６φ３からそれぞれ抽出された特徴量とを統合した（ステップＳ１２ｂ～ステップＳ１２ｄ）特徴量に基づきステップＳ１３ｄで認識処理を行い、統合結果を出力する。

　左側のセクション（ｃ）は、画像データ３２を１６分割する第３の認識器の例を示している。図２０Ｂは、画像データ３２を第１～第１６の位相φ１～φ１６により分割する例を示している。８画素×８画素のサイズを持つ分割領域３５’に対し、各第１～第１６の位相φ１～φ１６において、画素３００φ１、３００φ２、３００φ３、３００φ４、３００φ５、…、３００φ９、…、３００φ１３、…、３００φ１６をそれぞれ例えば基点として、サブサンプリングにより３画素おきに間引きを行う。これにより、位相をずらした１６個のサンプリング画像３６φ０１～３６φ１６を生成して、画像データ３２を時間軸展開により１６分割する。

　図１９のセクション（ｃ）を参照し、第３の認識器は、分割されたそれぞれの分割領域３５’に対して第１～第１６の位相φ１～φ１６毎に、特徴量抽出（ステップＳ１１₀₁～ステップＳ１１₁₆）、特徴量統合（ステップＳ１２として纏めて示す）を行う。また、第１の位相φ１のサンプリング画像３６φ０１からステップＳ１１₀₁により抽出した特徴量に基づき、ステップＳ１３₀₁で認識処理を行い、速報結果を出力する。さらに、第１６の位相φ１６のサンプリング画像３６φ１６からステップＳ１１₁₆により抽出された特徴量と、第１～第１５の位相φ１～φ１５の各サンプリング画像３６φ０１～３６φ１５からそれぞれ抽出された特徴量とをステップＳ１２で統合した特徴量に基づきステップＳ１３₁₆で認識処理を行い、統合結果を出力する。

　ここで、第２の認識器および第３の認識器が出力する統合結果は、第１の認識器による認識結果と略同一のものとなる。この場合、図１７Ａを用いて説明したように、第２の認識器および第３の認識器は、統合結果を、第１の認識器による認識結果に対して低いレイテンシで出力することができる。また、第３の認識器は、第２の認識器よりも間引き間隔が広いため、第２の認識器と比較してより低いレイテンシで速報結果を出力することができる。一方、第２の認識器は、第３の認識器と比較して、より精度が高い速報結果を出力することができる。したがって、第１の認識器、第２の認識器および第３の認識器は、その用途や目的に応じて切り替えて用いることが好ましい。

　より具体的には、１フレームの画像データ３２をサブサンプリングにより複数のサンプリング画像３６φ１、３６φ２、…に分割する場合に、対象物が置かれる環境条件や、優先したい対象物に応じて、効果的な認識処理に適した分割数が異なる。また、効果的な認識処理に適した分割数は、必要とされる認識処理の速報性によっても異なる。そのため、認識処理を実行する際の状況に応じて分割数を変更することが好ましい。

　一方で、画像データ３２に対するサブサンプリングによる分割数を変更した場合、効果的に動作するＤＮＮなどネットワークのパラメータや、特徴量を結合するための結合箇所が異なってくる。

　そこで、本開示の第１の実施形態では、認識器における画像データ３２に対するサブサンプリングによる分割数を、所定の条件に応じて変更する。さらに、当該分割数に応じて、認識器や、認識器に適用するパラメータを変更する。これにより、認識処理を実行する際の状況に応じて最適な認識システムを提供することが可能となる。

　すなわち、分割数を変更した場合に、変更された分割数に応じてネットワークのパラメータを変更する。これにより、認識処理に係る性能の劣化を防いだ上で、分割数の変更を柔軟に行うことが可能となる。柔軟な分割数の変更が可能となると、認識結果を状況に応じた適切なタイミングで取得することが可能となる。

　例えば、図１９のセクション（ｃ）に示した分割数を１６とした認識器３では、例えばセクション（ａ）に示した分割していない（分割数が０の）第１の認識器のパラメータを適用するよりも、１６分割の構造に基づき学習させたパラメータを適用した方が、認識処理の性能を向上させることができる。

（２－２．第１の実施形態に係るより具体的な構成例）
　次に、第１の実施形態に係るより具体的な構成例について説明する。図２１Ａは、第１の実施形態に係る前処理部２１０のより詳細な機能を説明するための一例の機能ブロック図である。図２１Ａにおいて、前処理部２１０は、利用領域取得部２１１と、パターン決定部２１２と、パターン取得部２１３と、設定演算部２１４と、パラメータ記憶部２３０と、を含む。なお、パラメータ記憶部２３０は、メモリと、当該メモリに対する読み書きを制御するためのメモリ制御部と、を含む。

　これら利用領域取得部２１１、パターン決定部２１２、パターン取得部２１３、設定演算部２１４およびパラメータ記憶部２３０（メモリ制御部）は、例えばＣＰＵ１２０５上で動作する情報処理プログラムにより実現される。この情報処理プログラムは、ＲＯＭ１２０６に予め記憶させておくことができる。これに限らず、情報処理プログラムは、インタフェース１２０４を介して外部から供給し、ＲＯＭ１２０６に書き込むこともできる。

　さらに、利用領域取得部２１１、パターン決定部２１２、パターン取得部２１３、設定演算部２１４およびパラメータ記憶部２３０（メモリ制御部）は、情報処理プログラムに従い、ＣＰＵ１２０５およびＤＳＰ１２０３がそれぞれ動作することで実現されてもよい。さらにまた、利用領域取得部２１１、パターン決定部２１２、パターン取得部２１３、設定演算部２１４およびパラメータ記憶部２３０（メモリ制御部）の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。

　前処理部２１０において、利用領域取得部２１１は、センサ部１０ｂから画像データ３２を読み出す読出部を含む。利用領域取得部２１１は、読出部によりセンサ部１０ｂから読み出された画像データ３２に対して、後述するパターン決定部２１２から渡されるパターン情報に従いサブサンプリング処理を施し、サンプリング画素を抽出し、抽出したサンプリング画素により位相φｘのサンプリング画像３６φｘを生成する。すなわち、利用領域取得部２１１とパターン決定部２１２とにより、サンプリング画像を生成する生成部の機能が実現される。

　利用領域取得部２１１は、生成したサンプリング画像３６φｘを認識部２２０に渡す。なお、利用領域取得部２１１は、センサ部１０ｂに対して、読み出しを行うラインなどを指定する読出制御を行うことができる。

　図２１Ｂは、第１の実施形態に係る認識部２２０のより詳細な機能を説明するための一例の機能ブロック図である。図２１Ｂにおいて、認識部２２０は、特徴量算出部２２１と、特徴量蓄積制御部２２２と、特徴量蓄積部２２３と、認識処理実行部２２４と、を含む。

　これら特徴量算出部２２１、特徴量蓄積制御部２２２、特徴量蓄積部２２３および認識処理実行部２２４は、例えばＣＰＵ１２０５上で動作する情報処理プログラムにより実現される。この情報処理プログラムは、ＲＯＭ１２０６に予め記憶させておくことができる。これに限らず、情報処理プログラムは、インタフェース１２０４を介して外部から供給し、ＲＯＭ１２０６に書き込むこともできる。

　さらに、特徴量算出部２２１、特徴量蓄積制御部２２２、特徴量蓄積部２２３および認識処理実行部２２４は、情報処理プログラムに従い、ＣＰＵ１２０５およびＤＳＰ１２０３がそれぞれ動作することで実現されてもよい。さらにまた、特徴量算出部２２１、特徴量蓄積制御部２２２、特徴量蓄積部２２３および認識処理実行部２２４の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。

　認識部２２０において、特徴量算出部２２１、特徴量蓄積制御部２２２、特徴量蓄積部２２３および認識処理実行部２２４は、画像データに基づき認識処理を実行する認識器を構成する。認識部２２０は、後述するパラメータ記憶部２３０から渡される認識器情報に応じて、認識器の構成を変更することができる。一例として、認識部２２０は、当該認識器情報に応じて、図１９を用いて説明した第１の認識器、第２の認識器および第３の認識器の何れかを適用することができる。

　認識部２２０において、利用領域取得部２１１から渡されたサンプリング画像３６φｘは、特徴量算出部２２１に入力される。特徴量算出部２２１は、それぞれ特徴量の演算を行うための１以上の特徴演算部を含み、渡されたサンプリング画像３６φｘに基づき特徴量を算出する。すなわち、特徴量算出部２２１は、サンプリング画素により構成されるサンプリング画像３６φｘの特徴量を算出する算出部として機能する。これに限らず、特徴量算出部２２１は、例えばセンサ部１０ｂから露出やアナログゲインを設定するための情報を取得し、取得したこれらの情報をさらに用いて特徴量を算出してもよい。特徴量算出部２２１は、算出した特徴量を、特徴量蓄積制御部２２２に渡す。

　特徴量蓄積制御部２２２は、特徴量算出部２２１から渡された特徴量を、特徴量蓄積部２２３に蓄積する。このとき、特徴量蓄積制御部２２２は、既に特徴量蓄積部２２３に蓄積された過去の特徴量と、特徴量算出部２２１から渡された特徴量とを統合し、統合された特徴量を生成することができる。すなわち、特徴量蓄積制御部２２２は、特徴量を統合する特徴量統合部として機能する。また、特徴量蓄積制御部２２２は、特徴量蓄積部２２３が例えば初期化され特徴量が存在しない場合、特徴量算出部２２１から渡された特徴量を、最初の特徴量として、特徴量蓄積部２２３に蓄積する。

　また、特徴量蓄積制御部２２２は、特徴量蓄積部２２３に蓄積された特徴量のうち、不要になった特徴量を削除することができる。不要になった特徴量は、例えば前フレームに係る特徴量や、新たな特徴量が算出されたフレーム画像とは異なるシーンのフレーム画像に基づき算出され既に蓄積された特徴量などである。これに限らず、特徴量蓄積制御部２２２は、外部からの指示に応じて削除する特徴量を特定することもできる。また、特徴量蓄積制御部２２２は、特徴量蓄積部２２３に蓄積された全ての特徴量を、必要に応じて削除して初期化することもできる。

　特徴量蓄積制御２２２は、特徴量算出部２２１から特徴量蓄積制御部２２２に渡された特徴量、あるいは、特徴量蓄積部２２３に蓄積された特徴量と、特徴量算出部２２１から渡された特徴量とを統合した特徴量を、認識処理実行部２２４に渡す。

　認識処理実行部２２４は、特徴量蓄積制御部２２２から渡された特徴量に基づき物体検出、人検出、顔検出などを行う認識処理を実行する。例えば、認識処理実行部２２４は、当該特徴量が特徴量算出部２２１から特徴量蓄積制御部２２２に渡された特徴量、すなわち、他の特徴量と統合されていない特徴量である場合、認識処理の結果として速報結果を出力する。また例えば、認識処理実行部２２４は、当該特徴量が１フレームの画像データ３２から生成される全てのサンプリング画像３６φｘに基づく全ての特徴量が統合されたものである場合、認識処理の結果として統合結果を出力する。

　ここで、認識部２２０は、後述するパラメータ記憶部２３０から渡される認識器情報に応じて、適用される認識器が変更される。また、認識部２２０において特徴量算出部２２１、特徴量蓄積制御部２２２および認識処理実行部２２５は、パラメータ記憶部２３０から渡されるパラメータに応じて、内部状態が変更される。

　説明を図２１Ａに戻し、パターン決定部２１２は、指定された設定値、あるいは、動的に設定されたパターンに従い、利用領域取得部２１１がサブサンプリング処理を行うためのパターン情報を生成する。パターン決定部２１２は、生成したパターン情報を利用領域取得部２１１に渡す。パターン情報は、一例として、画像データ３２に対する分割数を適用することができ、図１９の例では、分割数＝０、４および１６の何れかが用いられる。

　より詳細には、パターン決定部２１２は、所定の条件に従いパターン情報を生成する。パターン決定部２１２は、生成したパターン情報を、利用領域取得部２１１と、パターン取得部２１３とに渡す。

　ここで、パターン決定部２１２は、所定の条件として、設計者により予め設定された設定値や、ユーザにより指定された設定値を適用することができる。また、パターン決定部２１２は、所定の条件として、認識器に係る環境を適用することができる。認識器に係る環境は、例えば、認識器が認識を行う対象物が置かれる環境や、認識器自体に係る環境である。認識器に係る環境の例としては、当該認識器を含む情報処理装置１ｂが用いられる国や地域が考えられる。また、当該環境の例として、当該認識器を含む情報処理装置１ｂが設置または搭載される対象や、設置または搭載位置が考えられる。

　一例として、当該情報処理装置１ｂが車載用途で用いられる場合、パターン決定部２１２は、当該情報処理装置１ｂが搭載される車両が運行される国や地域を条件として、パターン情報を生成する。この場合、当該車両あるいは情報処理装置１ｂ自身にＧＮＳＳ(Global　Navigation　Satellite　System)やＳＬＡＭ(Simultaneous　Localization　and　Mapping)といった自己位置取得手段を設け、この自己位置取得手段により取得され当該車両の位置に基づきマップ情報を参照することで、国や地域を特定できる。この場合、地域は、日本の場合、県など広範な地域や、市街地内の特定地域（商店街、スクールゾーンなど）を含む。

　また例えば、パターン決定部２１２は、当該情報処理装置１ｂが搭載される車両の種類（大型車、小型車、自動二輪車など）や、当該車両内において当該情報処理装置１ｂが搭載される位置（車両の前面／側面／後面、車両の内部／外部など）を条件として、パターン情報を生成する。

　さらに例えば、当該情報処理装置１ｂの認識の対象物が存在する場所の環境（明るさ、天候など）をセンサや通信により取得し、パターン決定部２１２は、この取得された環境を条件として、パターン情報を生成することができる。

　パターン取得部２１３は、パターン決定部２１２からパターン情報が渡されると共に、利用領域取得部２１１から、サンプリング画像３６φｘが渡される。パターン取得部２１３は、これらパターン情報とサンプリング画像３６φｘとに基づき、渡されたサンプリング画像３６φｘのパターンに関する情報を取得する。例えば、パターン取得部２１３は、当該サンプリング画像３６φｘがサブサンプリングされた分割数と、その位相φｘを示す情報を、パターンに関する情報として取得する。パターン取得部２１３は、取得したパターンに関する情報を、設定演算部２１４に渡す。

　設定演算部２１４は、パターン取得部２１３から渡されたパターンに関する情報に基づき演算を行い、認識部２２０に適用する、最適な認識器およびパラメータを求める。設定演算部２１４は、求めた認識器およびパラメータを認識部２２０に渡すように、パラメータ記憶部２３０に指示する。

　パラメータ記憶部２３０は、パターンに応じて学習された認識器と、パラメータとが予め記憶される。図１９を参照し、パラメータ記憶部２３０は、例えば、第１の認識器、第２の認識器および第３の認識器それぞれについて、入力画像と正解データとに基づき予め学習がなされた結果の各パラメータが記憶される。このとき、例えば第２の認識器および第３の認識器については、各位相φｘのサンプリング画像３６φｘそれぞれと、当該サンプリング画像３６φｘそれぞれに対応する各正解データとに基づき予め学習がなされた各パラメータが記憶される。

　パラメータ記憶部２３０は、設定演算部２１４の指示に応じて、予め記憶されたパラメータと認識器を示す情報とを認識部２２０に渡す。

　図２２は、第１の実施形態に係る認識処理を示す一例のフローチャートである。ステップＳ１００で、パターン決定部２１２は、サブサンプリングを行うパターンを、予め入力された設定値、あるいは、動的に設定されたパターンに従い決定する。パターン決定部２１２は、決定したパターンを示すパターン情報を利用領域取得部２１１およびパターン取得部２１３に渡す。

　次のステップＳ１０１で、利用領域取得部２１１は、センサ部１０ｂから、パターン決定部２１２から渡されたパターン情報に従いサブサンプリングを行い生成したサンプリング画像３６φｘを取得する。利用領域取得部２１１は、取得されたサンプリング画像３６φｘを認識部２２０およびパターン取得部２１３に渡す。

　次のステップＳ１０２で、パターン取得部２１３は、パターン決定部２１２から渡されたパターン情報と、利用領域取得部２１１から渡されたサンプリング画像３６φｘとに基づき、サブサンプリングを行ったパターンを認識し、取得する。より具体的には、パターン取得部２１４は、サブサンプリングにより画像データ３２がどのように分割されたかを認識し、パターンに関する情報を取得する。パターン取得部２１４は、取得したパターンに関する情報を設定演算部２１４に渡す。

　次のステップＳ１０３で、設定演算部２１４は、取得されたパターンに応じて、適用する認識器およびパラメータを選択する。より具体的には、設定演算部２１４は、パターン取得部２１３から渡されたパターンに関する情報に基づき、パラメータ記憶部２３０に記憶される認識器およびパラメータから、例えば現在実行中の認識処理に対して最適な認識器およびパラメータを選択する。設定演算部２１４は、パラメータ記憶部２３０に対して、選択したパラメータと認識機を示す情報とを認識部２２０に渡す。

　次のステップＳ１０４で、認識部２２０は、ステップＳ１０３で設定演算部２１４により選択され、パラメータ記憶部２３０から渡されたパラメータと認識器を示す情報とに従い、認識器およびパラメータの設定を行う。認識部２２０は、設定された認識器およびパラメータに従い、サンプリング画像３６φｘに対してなされた認識処理により、物体検出処理を実行する。

（２－３．第１の実施形態に係る認識処理の応用例）
　次に、第１の実施形態に係る認識処理の応用例について説明する。なお、ここでは、一例として、第１の実施形態に係る認識処理を実行する情報処理装置１ｂが車載用途とされ、車両のフロントに搭載されて用いられるものとして説明を行う。

（２－３－１．第１の応用例）
　先ず、第１の実施形態に係る認識処理の第１の応用例について説明する。この第１の応用例は、位置情報に基づきサブサンプリングのパターン（分割数）を変更する例である。ここで、第１の実施形態に係る認識処理を実行する情報処理装置１ｂは、現在の位置情報を、例えば外部から取得することができるものとする。これに限らず、当該情報処理装置１ｂは、ＧＮＳＳやＳＬＡＭといった自己位置取得手段を有していてもよい。

　図２３は、第１の実施形態の第１の応用例による認識処理を示す一例のフローチャートである。なお、図２３のフローチャートは、ステップＳ５０からステップＳ１０４までの処理を繰り返すループ処理として示している。

　ステップＳ５０で、情報処理装置１ｂは、現在位置を取得する。次のステップＳ５１で、情報処理装置１ｂは、取得した現在位置のエリア種別を取得する。例えば、情報処理装置１ｂは、現在位置に基づき、予め記憶される、あるいは、外部から通信などにより取得されるマップ情報を参照し、現在位置が属するエリアの情報を取得する。エリア種別は、認識対象を切り替えることが好ましいエリアを区分するもので、例えば市街地、スクールゾーン、高速道路などをそれぞれ異なるエリア種別とすることが考えられる。

　次のステップＳ５２で、情報処理装置１ｂは、ステップＳ５１で取得されたエリア種別が、例えば前回のループにおけるステップＳ５１で取得されたエリア種別から変わったか否かを判定する。情報処理装置１ｂは、エリア種別が変わっていないと判定した場合（ステップＳ５２、「Ｎｏ」）、処理をステップＳ１００ａに移行させる。

　ステップＳ１００ａで、情報処理装置１ｂは、パターン決定部２１２により、サブサンプリングを行うパターンを直前に適用されていたパターンに決定する。パターン決定部２１２は、決定されたパターンのパターン情報を利用領域取得部２１１およびパターン取得部２１３に渡す。情報処理装置１ｂは、パターン決定部２１２によりパターン情報が利用領域取得部２１１およびパターン取得部２１３に渡されると、処理をステップＳ１０１に移行させる。

　一方、ステップＳ５２で、情報処理装置１ｂは、エリア種別が変わったと判定した場合（ステップＳ５２、「Ｙｅｓ」）、処理をステップＳ５３に移行させる。ステップＳ５３で、情報処理装置１ｂは、ステップＳ５１で取得されたエリア種別が、速報結果が必要なエリア種別であるか否かを判定する。情報処理装置１ｂは、当該エリア種別が速報結果が必要なエリア種別であると判定した場合（ステップＳ５３、「Ｙｅｓ」）、処理をステップＳ１００ｂに移行させる。

　ステップＳ１００ｂで、情報処理装置１ｂは、パターン決定部２１２により、サブサンプリングを行うパターンを速報結果出力に適したパターンに決定する。

　例えば、上述した図１９を参照し、直前に適用されていたパターンが第１の認識器によるパターン、すなわち画像データ３２の分割を行わないパターンである場合には、第２の認識器による４分割のパターン、あるいは、第３の認識器による１６分割のパターンに変更することが考えられる。また、直前に適用されていたパターンが第２の認識器による４分割のパターンである場合は、第３の認識器による１６分割のパターンに変更することが考えられる。

　パターン決定部２１２は、決定されたパターンのパターン情報を利用領域取得部２１１およびパターン取得部２１３に渡す。情報処理装置１ｂは、パターン決定部２１２によりパターン情報が利用領域取得部２１１およびパターン取得部２１３に渡されると、処理をステップＳ１０１に移行させる。

　一方、ステップＳ５３で、情報処理装置１ｂは、ステップＳ５１で取得されたエリア種別が、速報結果が必要無いエリア種別であると判定した場合（ステップＳ５３、「Ｎｏ」）、処理をステップＳ１００ｃに移行させる。

　ステップＳ１００ｃで、情報処理装置１ｂは、パターン決定部２１２により、サブサンプリングを行うパターンを統合結果出力に適したパターンに決定する。

　例えば、上述した図１９を参照し、直前に適用されていたパターンが第２の認識器または第３の認識器によるパターン、すなわち画像データ３２の４分割あるいは１６分割を行うパターンである場合には、第１の認識器による分割を行わないパターンに変更することが考えられる。これに限らず、直前に適用されていたパターンが第２の認識器または第３の認識器によるパターンである場合に、パターンを変更せずに統合結果を出力するようにしてもよい。

　以降の処理は、上述した図２２のフローチャートにおけるステップＳ１０１以降の処理と同様である。すなわち、ステップＳ１０１で、利用領域取得部２１１は、センサ部１０ｂから、パターン決定部２１２から渡されたパターン情報に従いサブサンプリングされたサンプリング画像３６φｘを取得し、取得したサンプリング画像３６φｘを認識部２２０およびパターン取得部２１３に渡す。次のステップＳ１０２で、パターン取得部２１４は、パターン決定部２１２から渡されたパターン情報と、利用領域取得部２１１から渡されたサンプリング画像３６φｘとに基づき、サブサンプリングを行ったパターンを認識し、取得する。パターン取得部２１４は、取得したパターンに関する情報を設定演算部２１４に渡す。

　次のステップＳ１０３で、設定演算部２１４は、取得されたパターンに応じて、適用する認識器およびパラメータを選択する。設定演算部２１４は、パラメータ記憶部２３０に対して、選択したパラメータと認識機を示す情報とを認識部２２０に渡す。次のステップＳ１０４で、認識部２２０は、ステップＳ１０３で設定演算部２１４により選択され、パラメータ記憶部２３０から渡されたパラメータと認識器を示す情報とに従い、認識器およびパラメータの設定を行う。認識部２２０は、設定された認識器およびパラメータに従い、サンプリング画像３６φｘに対してなされた認識処理により、物体検出処理を実行する。

　ステップＳ１０４の処理が行われると、処理がステップＳ５０に戻される。

　図２３のフローチャートによる処理を、より具体的な例を用いて説明する。ここでは、第１の実施形態に係る認識処理を実行する情報処理装置１ｂが車載用途とされているものとする。また、当初、認識部２２０において第１の認識器が適用され、画像データ３２を分割しない状態で認識処理を実行しているものとする。

　情報処理装置１ｂは、ＧＮＳＳ，ＳＬＡＭ等の位置推定技術により現在位置を取得し（ステップＳ５０）、現在走行しているエリアのエリア種別が市街地であることを取得する（ステップＳ５１）。エリア種別が前回の処理から変わっているものとし（ステップＳ５２、「Ｙｅｓ」）、情報処理装置１ｂは、速報結果が必要か否かを判定する（ステップＳ５３）。市街地の場合、歩行者が道路を横切るようなシーンが多いと判断し、速報結果が必要であると判定する（ステップＳ５３、「Ｙｅｓ」）。情報処理装置１ｂにおいて、パターン決定部２１２は、パターンを、歩行者向きで且つ歩行者の飛び出しに対する即応性の高いパターンに変更する（ステップＳ１００ｂ）。パターン決定部２１２は、例えば、分割無しのパターンから、４分割を行うパターンに変更する。

　ここで、パターンを変更するだけでは、単純に認識処理の性能が低下してしまう。そのため、設定演算部２１４は、パラメータ記憶部２３０に指示を出し、認識部２２０に適用される認識器およびパラメータを、その変更されたパターン（４分割を行うパターン）に基づき予め学習を行った認識器、パラメータに切り替える（ステップＳ１０１～ステップＳ１０３）。認識部２２０は、切り替えられた認識器およびパラメータに従い認識処理を実行する（ステップＳ１０４）。これにより、市街地での歩行者の急な飛び出しなどにも対応が可能となる。

　その後、当該車両が市街地から高速道路に入ったものとする（ステップＳ５０、ステップＳ５２）。この場合、高速道路では歩行者の飛び出しが無く、且つ、より遠方の車両を検出したい。すなわち、統合結果が必要となる。そのため、上述のステップＳ１００ｂで決定された４分割のパターンを、第１の認識器による分割無しのパターンに切り替える。設定演算部２１４は、直前の設定である、４分割で学習した認識器、パラメータでは性能が出ないため、分割無しで予め学習した認識器、パラメータに切り替える（ステップＳ１０１～ステップＳ１０３）。認識部２２０は、切り替えられた認識器およびパラメータに従い認識処理を実行する（ステップＳ１０４）。これにより、対向車や、比較的遠方で発生した事故などにも対応が可能となる。

（２－３－２．第２の応用例）
　次に、第１の実施形態に係る認識処理の第２の応用例について説明する。この第２の応用例は、サブサンプリングを行うパターンを固定した認識処理を一定時間継続して実行し、この認識処理の結果に応じてパターンを切り替える例である。

　図２４は、第１の実施形態の第２の応用例による認識処理を示す一例のフローチャートである。なお、図２４のフローチャートは、ステップＳ６０からステップＳ１０４までの処理を繰り返すループ処理として示している。また、この図２４のフローチャートでは、当初、第１の認識器により画像データ３２の分割無しで認識処理を実行するものとする。

　ステップＳ６０で、情報処理装置１ｂは、認識部２２０に対して第１の認識器を適用し、画像データ３２に対するサブサンプリングを行わずに、すなわち、１度の認識処理において１フレーム分の画素データを全て用いて、認識処理を実行する。次のステップＳ６１で。情報処理装置１ｂは、認識部２２０による認識結果を蓄積する。次のステップＳ６２で、情報処理装置１ｂは、例えばステップＳ６０の処理から一定時間が経過したか否かを判定する。情報処理装置１ｂは、一定時間が経過していないと判定した場合（ステップＳ６２、「Ｎｏ」）、処理をステップＳ６０に戻す。

　一方、情報処理装置１ｂは、ステップＳ６２で一定時間が経過したと判定した場合（ステップＳ６２、「Ｙｅｓ」）、処理をステップＳ６３に移行させる。ステップＳ６３で、情報処理装置１ｂは、ステップＳ６１で蓄積された認識結果に基づき、単位時間当たりに検出された対象オブジェクト（例えば人）の数を取得する。次のステップＳ６４で、情報処理装置１ｂは、ステップＳ６３で取得した対象オブジェクト数が閾値を超えたか否かを判定する。

　情報処理装置１ｂは、取得した対象オブジェクト数が閾値を超えていないと判定した場合（ステップＳ６４、「Ｎｏ」）、処理をステップＳ１００ｄに移行させる。ステップＳ１００ｄで、情報処理装置１ｂは、パターン決定部２１２により、サブサンプリングを行うパターンを直前に適用されていたパターンに決定する。ステップＳ１００ｄの処理は、図２３におけるステップＳ１００ａの処理と同様であるので、ここでの詳細な説明を省略する。情報処理装置１ｂは、ステップＳ１００ｄの処理の後、処理をステップＳ１０１に移行させる。

　一方、情報処理装置１ｂは、ステップＳ６４で、取得した対象オブジェクト数が閾値を超えたと判定した場合（ステップＳ６４、「Ｙｅｓ」）、処理をステップＳ１００ｅに移行させる。ステップＳ１００ｅで、情報処理装置１ｂは、パターン決定部２１２により、サブサンプリングを行うパターンを速報結果出力に適したパターンに決定する。ステップＳ１００ｅの処理は、図２３におけるステップＳ１００ｂの処理と同様であるので、ここでの詳細な説明を省略する。情報処理装置１ｂは、ステップＳ１００ｄの処理の後、処理をステップＳ１０１に移行させる。

　ステップＳ１０４の処理が行われると、処理がステップＳ６０に戻される。

　図２４のフローチャートによる処理を、より具体的な例を用いて説明する。ここでは、第１の実施形態に係る認識処理を実行する情報処理装置１ｂが車載用途とされているものとする。また、当初、認識部２２０において第１の認識器が適用され、画像データ３２を分割しない状態で、人（歩行者）を対象として認識処理を実行しているものとする。

　情報処理装置１ｂは、車両の走行中、分割無しの第１の認識器で動作する認識システムを用いた認識処理により環境認識を行い、一定時間、認識結果を蓄積する（ステップＳ６０～ステップＳ６２）。情報処理装置１ｂは、一定時間を経過すると、蓄積された認識結果に基づき、単位時間当たりに検出された対象物（歩行者）の数が閾値を超えたと判定された場合（ステップＳ６４、「Ｙｅｓ」）、現在自車が走行している領域には歩行者が多いと判断し、認識器を速報結果が出力される第２の認識器に切り替え、サブサンプリングのパターンを、画像データ３２に対する分割数＝４のパターンに切り替える（ステップＳ１００ｅ）。

　ここで、パターンを変更するだけでは、単純に認識処理の性能が低下してしまう。そのため、設定演算部２１４は、パラメータ記憶部２３０に指示を出し、認識部２２０に適用される認識器およびパラメータを、その変更されたパターン（４分割を行うパターン）に基づき予め学習を行った認識器、パラメータに切り替える（ステップＳ１０１～ステップＳ１０３）。認識部２２０は、切り替えられた認識器およびパラメータに従い認識処理を実行する（ステップＳ１０４）。これにより、歩行者の急な飛び出しなどにも対応が可能となる。

　このように、第１の実施形態によれば、画像データ３２に対するサブサンプリングによるサンプリング画像３６φｘに対する認識処理を実行する認識器および認識器に係るパラメータを、サブサンプリングのパターンに応じて変更するようにしている。そのため、サブサンプリングのパターンに応じた認識処理の最適化が可能となり、認識処理の精度を高めることができる。

　また、第１の実施形態によれば、認識器および認識器に係るパラメータを、サブサンプリングのパターンに応じて変更すると共に、画像データ３２に対するサブサンプリングのパターンを所定の条件に応じて変更するようにしている。そのため、第１の実施形態に係る認識処理を適用することで、状況の変化に応じた認識処理を実行することが可能となる。

（２－４．第１の実施形態の変形例）
　次に、第１の実施形態の変形例について説明する。この第１の実施形態の変形例は、特徴量を統合する統合箇所を変更するようにした例である。図２５は、上述した図１０と対応するもので、第１の実施形態の変形例に適用可能な特徴量抽出処理をより詳細に示す模式図である。

　図２５において、画像データ３２に対してサブサンプリングを行い（ステップＳ１０）、サブサンプリングにより生成されたサンプリング画像３６φｘ（図示しない）に対して特徴量抽出処理が行われる（ステップＳ１１）。特徴量抽出処理によりサンプリング画像３６φｘから抽出された特徴量が、他のサンプリング画像３６φｘにより抽出された特徴量と統合され（ステップＳ１２）、統合された特徴量に基づき認識処理が実行される（ステップＳ１３）。

　これらの処理のうち、特徴量抽出処理は、それぞれ特徴量抽出のための演算を行う複数の特徴演算処理を含むことができる。図２５の例では、特徴量抽出処理は、それぞれ直列に接続される（順次に処理が実行される）、第１特徴演算処理（ステップＳ１１ｐ、第１特徴演算部）、第２特徴演算処理（ステップＳ１１ｑ、第２特徴演算部）および第３特徴演算処理（ステップＳ１１ｒ、第３特徴演算部）の３つの特徴演算処理（特徴量演算部）を含んでいる。これはこの例に限らず、特徴量抽出処理は、２つの特徴演算処理を含むものとしてもよいし、４以上の特徴演算処理を含んでいてもよい。また、各特徴演算処理は、直列のみならず、並列としてもよいし、並列および直列の混在としてもよい。

　図２６Ａおよび図２６Ｂは、第１の実施形態の変形例に係る特徴量抽出処理および特徴量の統合処理の例を示す模式図である。図２６Ａは、上述した図２５と同様に、ステップＳ１１の特徴量抽出処理が直列に接続される第１、第２および第３特徴演算処理（ステップＳ１１ｐ、ステップＳ１１ｑおよびステップＳ１１ｒ）を含み、最後に配置される第３特徴演算処理（ステップＳ１１ｒ）の後に、特徴量統合処理（ステップＳ１２）が実行される例である。

　図２６Ｂは、特徴量を統合する統合化を、図２６Ａに対して変更した例である。すなわち、図２６Ｂでは、特徴統合処理（ステップＳ１２）が、第２特徴演算処理（ステップＳ１１ｑ）と第３特徴演算処理（ステップＳ１１ｒ）との間に挿入されている例である。

　すなわち、図２６Ｂの例では、サブサンプリング（ステップＳ１１）により生成されたサンプリング画像３６φｘに対して第１特徴演算処理および第２特徴演算処理が施される（ステップＳ１１ｐおよびステップＳ１１ｑ）。そして、第２特徴演算処理により算出された特徴量の中間データ（中間特徴量と呼ぶ）が、特徴量統合処理（ステップＳ１２）により、他のサンプリング画像３６φｘに対して第１特徴演算処理および第２特徴演算処理が施された中間特徴量と統合される。この統合された中間特徴量に対して、第３特徴演算処理（ステップＳ１１ｒ）が施され、特徴量が算出される。

　ここで、パラメータ記憶部２３０は、特徴量統合処理による統合箇所が変更された場合についても、入力画像と正解データとに基づき予め学習がなされた結果の各パラメータが記憶される。

　なお、図２６Ｂの例では、特徴量統合処理（ステップＳ１２）が第２特徴演算処理（ステップＳ１１ｑ）と、第３特徴演算処理（ステップＳ１１ｒ）と、間に挿入されているが、これはこの例に限定されない。例えば、特徴量統合処理（ステップＳ１２）を、第１特徴演算処理（ステップＳ１１ｐ）と第２特徴演算処理（ステップＳ１１ｑ）との間に挿入してもよい。

　上述の図２６Ａの、特徴量抽出処理（ステップＳ１１）の後に特徴量統合処理（ステップＳ１２）が挿入される構成と、特徴量抽出処理に含まれる第２特徴演算処理（ステップＳ１１ｑ）と第３特徴演算処理（ステップＳ１１ｒ）との間に特徴量統合処理（ステップＳ１２）が挿入される構成と、のうち何れの構成を採用するかは、サブサンプリングのパターンや、想定される認識対象などに応じて適宜選択することが好ましい。

　図２７は、第１の実施形態の変形例による認識処理を示す一例のフローチャートである。なお、図２７のフローチャートは、ステップＳ７０からステップＳ１０４までの処理を繰り返すループ処理として示している。また、この図２７のフローチャートでは、当初、第２の認識器により画像データ３２をサブサンプリングにより４分割して認識処理を実行するものとする。

　ステップＳ７０で、情報処理装置１ｂは、認識部２２０に対して第２の認識器を適用し、画像データ３２をサブサンプリングにより４分割した各サンプリング画像３６φ１～３６φ４に対してそれぞれ特徴量抽出処理を行い、抽出された各特徴量に基づき認識処理を実行する。次のステップＳ７１で。情報処理装置１ｂは、認識部２２０による認識結果を蓄積する。次のステップＳ７２で、情報処理装置１ｂは、例えばステップＳ７０の処理から一定時間が経過したか否かを判定する。情報処理装置１ｂは、一定時間が経過していないと判定した場合（ステップＳ７２、「Ｎｏ」）、処理をステップＳ７０に戻す。

　一方、情報処理装置１ｂは、ステップＳ７２で一定時間が経過したと判定した場合（ステップＳ７２、「Ｙｅｓ」）、処理をステップＳ７３に移行させる。ステップＳ７３で、情報処理装置１ｂは、ステップＳ７１で蓄積された認識結果に基づき、単位時間当たりに検出された対象オブジェクト（例えば人）の数を取得する。次のステップＳ７４で、情報処理装置１ｂは、ステップＳ７３で取得した対象オブジェクト数が閾値を超えたか否かを判定する。

　情報処理装置１ｂは、取得した対象オブジェクト数が閾値を超えていないと判定した場合（ステップＳ７４、「Ｎｏ」）、処理をステップＳ１００ｄに移行させ、パターン決定部２１２により、サブサンプリングを行うパターンを直前に適用されていたパターンに決定する。情報処理装置１ｂは、ステップＳ１００ｄの処理の後、処理をステップＳ１０１に移行させる。

　一方、情報処理装置１ｂは、ステップＳ７４で、取得した対象オブジェクト数が閾値を超えたと判定した場合（ステップＳ７４、「Ｙｅｓ」）、処理をステップＳ１００ｅに移行させる。ステップＳ１００ｅで、情報処理装置１ｂは、パターン決定部２１２により、サブサンプリングを行うパターンを速報結果出力に適したパターンに決定する。次のステップＳ７５で、情報処理装置１ｂは、ステップＳ１００ｅで決定されたパターンに従い、特徴量を統合する箇所を変更（設定）する。情報処理装置１ｂは、ステップＳ７５の処理の後、処理をステップＳ１０１に移行させる。

　次のステップＳ１０３で、設定演算部２１４は、取得されたパターンに応じて、適用する認識器およびパラメータを選択する。上述したステップＳ７５の特徴量の統合箇所の変更を、このステップＳ１０３において行ってもよい。設定演算部２１４は、パラメータ記憶部２３０に対して、選択したパラメータと認識機を示す情報とを認識部２２０に渡す。次のステップＳ１０４で、認識部２２０は、ステップＳ１０３で設定演算部２１４により選択され、パラメータ記憶部２３０から渡されたパラメータと認識器を示す情報とに従い、認識器およびパラメータの設定を行う。認識部２２０は、設定された特徴量統合箇所、認識器およびパラメータに従い、サンプリング画像３６φｘに対してなされた認識処理により、物体検出処理を実行する。

　ステップＳ１０４の処理が行われると、処理がステップＳ７０に戻される。

　図２７のフローチャートによる処理を、より具体的な例を用いて説明する。ここでは、第１の実施形態に係る認識処理を実行する情報処理装置１ｂが車載用途とされているものとする。また、当初、認識部２２０において第２の認識器が適用され、画像データ３２をサブサンプリングにより４分割し、人（歩行者）を対象として認識処理を実行しているものとする。

　情報処理装置１ｂは、車両の走行中、画像データ３２をサブサンプリングにより４分割する第２の認識器で動作する認識システムを用いた認識処理により環境認識を行い、一定時間、認識結果を蓄積する（ステップＳ７０～ステップＳ７２）。情報処理装置１ｂは、一定時間が経過し、蓄積された認識結果に基づき、単位時間当たりに検出された対象物（歩行者）の数が閾値を超えたと判定された場合（ステップＳ７４、「Ｙｅｓ」）、現在自車が走行している領域には歩行者が多いと判断できる。

　そのため、情報処理装置１ｂは、認識器をより低レイテンシで速報結果を出力可能な第３の認識器に切り替え、サブサンプリングのパターンを、画像データ３２に対する分割数＝１６のパターンに切り替える（ステップＳ１００ｅ）。さらに、情報処理装置１ｂは、特徴量統合箇所を、当該分割数＝１６に適した位置、例えば、直前の特徴量統合箇所よりも前の位置に変更する。一例として、図２６Ｂを用いて説明した、第２特徴演算処理（ステップＳ１１ｑ）と、第３特徴演算処理（ステップＳ１１ｒ）との間に、特徴量統合箇所を挿入する。

　ここで、パターンおよび特徴量統合箇所を変更するだけでは、単純に認識処理の性能が低下してしまう。そのため、設定演算部２１４は、パラメータ記憶部２３０に指示を出し、認識部２２０に適用される認識器およびパラメータを、その変更されたパターン（１６分割を行うパターン）に基づき予め学習を行った認識器、パラメータに切り替える（ステップＳ１０１～ステップＳ１０３）。認識部２２０は、切り替えられた認識器およびパラメータに従い認識処理を実行する（ステップＳ１０４）。これにより、歩行者の急な飛び出しなどにも対応が可能となる。

（２－５．第１の実施形態の他の変形例）
　次に、第１の実施形態の他の変形例について説明する。第１の実施形態の他の変形例は、認識器およびパラメータの変更を行う条件のさらに他の例である。例えば、情報処理装置１ｂは、動作モードがユーザ操作に応じて市街地モードに切り替えられた場合について考える。この場合、歩行者の飛び出しなどに備えるため、情報処理装置１ｂは、サブサンプリングによる分割数を、例えばより速報性の高いパターンに変更（例えば４分割から１６分割に変更）すると共に、認識器および認識器に対するパラメータをパターンに応じて変更する。

　また例えば、情報処理装置１ｂは、動作モードがユーザ操作に応じて高速道路モード（例えば１００［ｋｍ／ｈ］程度の走行速度を想定）から市街地モード（例えば６０［ｋｍ／ｈ］程度の走行速度を想定）に切り替えられた場合について考える。この場合、サブサンプリングによるパターンを、走行速度に応じて、例えば速報性よりも精度を重視したパターンに変更（例えば１６分割から４分割に変更）すると共に、認識器および認識器に対するパラメータをパターンに応じて変更する。

　さらに例えば、情報処理装置１ｂは、見通しの悪い場所では、サブサンプリングによるパターンを速報性の高いパターンに切り替えると共に、認識器および認識器に対するパラメータをパターンに応じて変更する。見通しの悪い場所か否かは、例えばユーザ操作に応じて情報処理装置１ｂに指示してもよいし、センサ部１０ｂにより取得された画像データ３２に基づき判定してもよい。

　さらにまた、例えば、情報処理装置１ｂは、天候を条件としてサブサンプリングによるパターンの切り替えを行うことができる。すなわち、悪天候の場合、遠距離の検知精度が下がるため、例えばサブサンプリングによるパターンを速報性の高いパターンに切り替えると共に、認識器および認識器に対するパラメータをパターンに応じて変更する。天候の情報は、例えばユーザ操作に応じて情報処理装置１ｂに指示してもよいし、センサ部１０ｂにより取得された画像データ３２に基づき判定してもよい。さらに、天候の情報は、外部との通信により取得してもよい。

　また、上述では、本開示に係る技術が物体を検出するための認識処理に適用されるように説明したが、これはこの例に限定されない。例えば、セマンティックセグメンテーションや、その他の類似するタスクに、本開示に係る技術を適用することができる。

　また、上述では、本開示に係る技術がＤＮＮを用いた認識処理に適用されるように説明したが、これはこの例に限定されない。例えば、画像情報を時間軸展開して利用するアーキテクチャであれば、他の技術にも適用可能である。

［３．第２の実施形態］
　次に、本開示の第２の実施形態について説明する。本開示の第２の実施形態は、画素アレイ部１００１を含むセンサ部１０ｂと、認識部２２０と、前処理部２１０に相当する構成と、を層構造のＣＩＳに一体的に組み込んだ例である。

　図２８は、第２の実施形態に係る情報処理装置の一例の構成を示すブロック図である。図２８において、情報処理装置１ｃは、センサ部１０ｃと、認識部２２０と、を含む。また、センサ部１０ｃは、画素アレイ部１００１と、読出制御部２４０と、を含む。読出制御部２４０は、例えば、第１の実施形態で説明した前処理部２１０に対応する機能と、撮像部１２００における制御部１１００の機能と、を含む。

　なお、図２８において、図５を用いて説明した構成のうち、垂直走査部１００２、ＡＤ変換部１００３および信号処理部１１０１は、画素アレイ部１００１に含まれるものとして説明を行う。

　読出制御部２４０は、画素アレイ部１００１に対して、画素信号を読み出す画素回路１０００を指定する制御信号を供給する。例えば、読出制御部２４０は、画素アレイ部１００１に対して、サンプリング画素を含むラインを選択的に読み出すことができる。これに限らず、読出制御部２４０は、画素アレイ部１００１に対して、画素回路１０００単位で、サンプリング画素に対応する画素回路１０００を選択的に指定することもできる。このとき、読出制御部２４０は、画素アレイ部１００１に対して、第１の実施形態で説明した、位相をずらしながら行うサブサンプリングによるサンプリング画素の画素位置に対応する画素回路１０００を指定することができる。

　画素アレイ部１００１は、指定された画素回路１０００から読み出した画素信号をデジタル方式の画素データに変換し、この画素データを読出制御部２４０に渡す。読出制御部２４０は、画素アレイ部１００１から渡された、１フレーム分の画素データを、画像データとして認識部２２０に渡す。この画像データは、位相ずらしサブサンプリングによるサンプリング画像である。認識部２２０は、渡された画像データに対して認識処理を実行する。

　第２の実施形態では、情報処理装置１ｃを、図６Ａを用いて説明した、半導体チップを２層に積層した２層構造の積層型ＣＩＳにより構成することができる。図６Ａを参照し、第１層の半導体チップに画素部２０２０ａを形成し、第２層の半導体チップにメモリ＋ロジック部２０２０ｂを形成している。画素部２０２０ａは、少なくとも情報処理装置１ｃにおけるセンサ部１０ｃを含む。メモリ＋ロジック部２０２０ｂは、例えば、画素アレイ部１００１を駆動するための駆動回路を含むと共に、読出制御部２４０と、認識部２２０と、を含む。メモリ＋ロジック部２０２０ｂに、フレームメモリをさらに含ませることができる。

　別の例として、情報処理装置１ｃを、図６Ｂを用いて説明した、半導体チップを３層に積層した３層構造の積層型ＣＩＳにより構成することができる。この場合、第１層の半導体チップに上述の画素部２０２０ａを形成し、第２層の半導体チップに例えばフレームメモリを含むメモリ部２０２０ｃを形成し、第３層の半導体チップに上述のメモリ＋ロジック部２０２０ｂに対応するロジック部２０２０ｄを形成している。この場合、ロジック部２０２０ｄは、例えば画素アレイ部を駆動するための駆動回路と、読出制御部２４０と、認識部２２０と、を含む。また、メモリ部２０２０ｃは、フレームメモリやメモリ１２０２を含むことができる。

　このように、第２の実施形態では、センサ部１０ｃにおいてサブサンプリング処理を行っている。そのため、画素アレイ部１００１に含まれる全画素回路１０００からの読み出しを行う必要が無い。したがって、認識処理の遅延を、上述した第１の実施形態に対してさらに短縮することが可能である。また、全画素回路１０００からサンプリング画素を含むラインの画素回路１０００を選択的に読み出すため、画素アレイ部１００１からの画素信号の読み出し量を低減でき、バス幅を削減することが可能である。

　また、第２の実施形態では、画素アレイ部１００１において、サンプリング画素を含むラインを選択的に読み出す、ライン間引きによる読み出しを行っている。そのため、ローリングシャッタによる撮像画像の歪みを低減することができる。また、画素アレイ部１００１における撮像時の消費電力を低減させることが可能である。さらに、サブサンプリングにより間引きされたラインにおいて、例えば露出などの撮像条件を、サブサンプリングにより読み出しを行うラインに対して変更して撮像を行うことも可能である。

（３－１．第２の実施形態の変形例）
　次に、第２の実施形態の変形例について説明する。第２の実施形態の変形例は、上述した第２の実施形態に係る情報処理装置１ｃにおける、センサ部１０ｃと認識部２２０とを分離した例である。

　図２９は、第２の実施形態の変形例に係る情報処理装置の一例の構成を示すブロック図である。図２９において、情報処理装置１ｄは、センサ部１０ｄと、認識処理部２０ｄと、を含む、センサ部１０ｄは、画素アレイ部１００１と、読出制御部２４０と、を含む。また、認識処理部２０ｄは、認識部２２０を含む。

　ここで、センサ部１０ｄは、例えば、図６Ａを用いて説明した、半導体チップを２層に積層した２層構造の積層型ＣＩＳにより形成する。図６Ａを参照し、第１層の半導体チップに画素部２０２０ａを形成し、第２層の半導体チップにメモリ＋ロジック部２０２０ｂを形成している。画素部２０２０ａは、少なくともセンサ部１０ｄにおける画素アレイ部１００１を含む。メモリ＋ロジック部２０２０ｂは、例えば、画素アレイ部１００１を駆動するための駆動回路と、読出制御部２４０とを含む。メモリ＋ロジック部２０２０ｂに、フレームメモリをさらに含ませることができる。

　センサ部１０ｄは、サンプリング画像の画像データを読出制御部２４０から出力し、センサ部１０ｄとは異なるハードウェアに含まれる認識処理部２０ｄに供給する。認識処理部２０ｄは、センサ部１０ｄから供給された画像データを認識部２２０に入力する。認識部２２０は、入力された画像データに基づき認識処理を実行し、認識結果を外部に出力する。

　別の例として、センサ部１０ｄを、図６Ｂを用いて説明した、半導体チップを３層に積層した３層構造の積層型ＣＩＳにより形成することができる。この場合、第１層の半導体チップに上述の画素部２０２０ａを形成し、第２層の半導体チップに例えばフレームメモリを含むメモリ部２０２０ｃを形成し、第３層の半導体チップに上述のメモリ＋ロジック部２０２０ｂに対応するロジック部２０２０ｂを形成している。この場合、ロジック部２０２０ｂは、例えば画素アレイ部１００１を駆動するための駆動回路と、読出制御部２４０とを含む。また、メモリ部２０２０ｃは、フレームメモリやメモリ１２０２を含むことができる。

　このように、認識処理部２０ｄ（認識部２２０）をセンサ部１０ｄとは別のハードウェアにより構成することで、認識部２２０の構成、例えば認識モデルなどの変更が容易とすることができる。

　また、センサ部１０ｄにおいて、サブサンプリングされたサンプリング画像に基づき認識処理が行われるため、撮像画像による画像データ３２をそのまま用いて認識処理を行う場合と比較して、認識処理の負荷を軽減することができる。そのため、例えば認識処理部２０ｄにおいて、処理能力の低いＣＰＵ、ＤＳＰ、あるいはＧＰＵを用いることができ、情報処理装置１ｄのコストを削減することが可能となる。

［４．第３の実施形態］
（４－１．本開示の技術の適用例）
　次に、第４の実施形態として、本開示に係る、第１の実施形態およびその各変形例、ならびに、第２の実施形態およびその変形例に係る情報処理装置１ｂ、１ｃおよび１ｄの適用例について説明する。図３０は、第１の実施形態およびその各変形例、ならびに、第２の実施形態およびその変形例に係る情報処理装置１ｂ、１ｃおよび１ｄを使用する使用例を示す図である。なお、以下では、特に区別する必要のない場合、情報処理装置１ｂ、１ｃおよび１ｄを情報処理装置１ｂで代表させて説明を行う。

　上述した情報処理装置１ｂは、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングしセンシング結果に基づき認識処理を行う様々なケースに使用することができる。

・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、ＴＶや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置。
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置。
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置。

（４－２．移動体への適用例）
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

　図３１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３１に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３１の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

　図３２は、撮像部１２０３１の設置位置の例を示す図である。

　図３２では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

　なお、図３２には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１および車外情報検出ユニット１２０３０に適用され得る。具体的には、例えば、情報処理装置１ｂのセンサ部１０ｂを撮像部１２０３１に適用し、認識処理部２０ｂを車外情報検出ユニット１２０３０に適用する。認識処理部２０ｂから出力された認識結果は、例えば通信ネットワーク１２００１を介して統合制御ユニット１２０５０に渡される。

　このように、本開示に係る技術を撮像部１２０３１および車外情報検出ユニット１２０３０に適用することで、サブサンプリングによるパターンを所定の条件に応じて切り替えることが可能であると共に、認識処理に用いる認識器およびパラメータを、切り替えられたパターンに応じて変更することができる。そのため、速報性を重視した認識結果である速報結果をより高精度で得ることができ、より確実な運転支援が可能となる。

　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

　なお、本技術は以下のような構成も取ることができる。
（１）
　画素によって構成される撮像情報が所定のパターンで分割された分割領域毎に設定された画素位置に従い取得されたサンプリング画素により構成されるサンプリング画像を生成する生成部と、
　前記サンプリング画像の特徴量を算出する算出部と、
　前記サンプリング画像の前記特徴量に基づき認識処理を行い、認識処理結果を出力する認識部と、
　前記所定のパターンに応じて前記算出部および前記認識部のうち少なくとも一方のパラメータを設定する設定部と、
を備える情報処理装置。
（２）
　前記生成部は、
　所定の条件に応じて前記所定のパターンを変更する、
前記（１）に記載の情報処理装置。
（３）
　前記所定の条件は、当該情報処理装置の位置を示す位置情報を含む、
前記（２）に記載の情報処理装置。
（４）
　前記所定の条件は、当該情報処理装置の周囲の環境を示す環境情報を含む、
前記（２）または（３）に記載の情報処理装置。
（５）
　前記所定の条件は、当該情報処理装置が搭載される対象に関する情報を含む、
前記（２）乃至（４）の何れかに記載の情報処理装置。
（６）
　前記所定の条件は、当該情報処理装置の移動速度を示す速度情報を含む、
前記（２）乃至（５）の何れかに記載の情報処理装置。
（７）
　前記生成部は、
　前記サンプリング画像として、前記分割領域毎に、該分割領域内のそれぞれ異なる前記画素位置に従い取得された前記サンプリング画素により構成される複数のサンプリング画像を生成する、
前記（１）乃至（６）の何れかに記載の情報処理装置。
（８）
　前記生成部は、
　前記サンプリング画像として、1つの前記撮像情報における前記分割領域毎に設定された前記画素位置に従い取得された前記サンプリング画素により構成される複数のサンプリング画像を生成する、
前記（７）に記載の情報処理装置。
（９）
　前記生成部は、
　前記サンプリング画像として、時系列上で連なる複数の前記撮像情報を跨いで前記分割領域に設定された前記画素位置に従い取得された複数のサンプリング画像を生成する、
前記（７）に記載の情報処理装置。
（１０）
　前記認識部は、
　前記算出部が算出した前記特徴量を蓄積する蓄積部をさらに備え、
　前記認識部は、
　前記蓄積部に蓄積された前記特徴量の少なくとも一部に基づき前記認識処理を行い前記認識処理結果を出力する、
前記（１）乃至（９）の何れかに記載の情報処理装置。
（１１）
　前記認識部は、
　前記蓄積部に蓄積された複数の特徴量を統合した統合特徴量に基づき前記認識処理を行う、
前記（１０）に記載の情報処理装置。
（１２）
　前記認識部は、
　前記撮像情報の取得に応じて前記算出部により算出された前記特徴量を、該取得の直前までに前記蓄積部に蓄積された特徴量の少なくとも一部の特徴量と統合し、統合された特徴量に基づき前記認識処理を行う、
前記（１１）に記載の情報処理装置。
（１３）
　前記認識部は、
　前記蓄積部に蓄積された前記複数の特徴量のうち、少なくとも前記分割領域それぞれにおいて最後に取得した前記サンプリング画素による前記サンプリング画像に基づく特徴量を除外した１以上の前記特徴量に基づき前記認識処理を行う、
前記（１１）または（１２）に記載の情報処理装置。
（１４）
　前記認識部は、
　前記蓄積部に蓄積された前記複数の特徴量のうち、前記分割領域ぞそれぞれから最初に取得した前記サンプリング画素による前記サンプリング画像に基づく特徴量に基づき前記認識処理を行う、
前記（１１）乃至（１３）の何れかに記載の情報処理装置。
（１５）
　前記算出部は、
　それぞれ前記特徴量を算出するための複数の演算部を含み、
　前記認識部は、
　前記複数の演算部のうち前記統合特徴量を出力するための演算部を、前記パラメータに応じて設定する、
前記（１１）乃至（１４）の何れかに記載の情報処理装置。
（１６）
　前記認識部は、
　前記統合特徴量を出力するための演算部の前記パラメータに応じた設定を、前記分割領域それぞれの前記画素位置に対応する前記画素毎の教師データに基づき行う、
前記（１５）に記載の情報処理装置。
（１７）
　前記認識部は、
　前記分割領域それぞれの前記画素位置に対応する前記画素毎の教師データに基づき、前記サンプリング画像の前記特徴量に対する前記認識処理を行う、
前記（１）乃至（１６）の何れかに記載の情報処理装置。
（１８）
　前記認識部は、
　前記撮像情報のうち、第１の撮像情報に設定された前記サンプリング画素と、時系列で該第１の撮像情報の次に取得される第２の撮像情報に設定された前記サンプリング画素と、を用いたＲＮＮ(Recurrent　Neural　Network)により機械学習処理を実行し、該機械学習処理の結果に基づき前記認識処理を行う、
前記（１）乃至（１７）の何れかに記載の情報処理装置。
（１９）
　プロセッサにより実行される、
　画素によって構成される撮像情報が所定のパターンで分割された分割領域毎に設定された画素位置に従い取得されたサンプリング画素により構成されるサンプリング画像を生成する生成ステップと、
　前記サンプリング画像の特徴量を算出する算出ステップと、
　前記サンプリング画像の前記特徴量に基づき認識処理を行い、認識処理結果を出力する認識ステップと、
　前記所定のパターンに応じて前記算出ステップおよび前記認識ステップのうち少なくとも一方のパラメータを設定する設定ステップと、
を有する情報処理方法。
（２０）
　画素によって構成される撮像情報が所定のパターンで分割された分割領域毎に設定された画素位置に従い取得されたサンプリング画素により構成されるサンプリング画像を生成する生成ステップと、
　前記サンプリング画像の特徴量を算出する算出ステップと、
　前記サンプリング画像の前記特徴量に基づき認識処理を行い、認識処理結果を出力する認識ステップと、
　前記所定のパターンに応じて前記算出ステップおよび前記認識ステップのうち少なくとも一方のパラメータを設定する設定ステップと、
をコンピュータに実行させるための情報処理プログラム。

１ａ，１ｂ，１ｃ，１ｄ　情報処理装置
１０ａ，１０ｂ，１０ｃ，１０ｄ　センサ部
２０ａ，２０ｂ，２０ｄ　認識処理部
３０ａ，３０ｂ　撮像画像
３２，３２ａ，３２ａ’，３２ｂ，３２ｃ，３２ｄ　画像データ
３５，３５’　分割領域
３６，３６φ１，３６φ１’，３６φ２，３６φ３，３６φ４，３６φ０１，３６φ１６，３６φｘ　サンプリング画像
５０ａ，５０ａ’，５０ｂ，５０ｃ，５０ｄ　特徴量
２１０　前処理部
２１１　利用領域取得部
２１２　パターン決定部
２１３　パターン取得部
２１４　設定演算部
２２０　認識部
２２１　特徴量算出部
２２２　特徴量蓄積制御部
２２３　特徴量蓄積部
２２４　認識処理実行部
２４０　読出制御部
３００，３００φ１，３００φ２，３００φ３，３００φ４，３００φ５，３００φ９，３００φ１３，３００φ１６　画素

Claims

　画素によって構成される撮像情報が所定のパターンで分割された分割領域毎に設定された画素位置に従い取得されたサンプリング画素により構成されるサンプリング画像を生成する生成部と、
　前記サンプリング画像の特徴量を算出する算出部と、
　前記サンプリング画像の前記特徴量に基づき認識処理を行い、認識処理結果を出力する認識部と、
　前記所定のパターンに応じて前記算出部および前記認識部のうち少なくとも一方のパラメータを設定する設定部と、
を備える情報処理装置。
　前記生成部は、
　所定の条件に応じて前記所定のパターンを変更する、
請求項１に記載の情報処理装置。
　前記所定の条件は、当該情報処理装置の位置を示す位置情報を含む、
請求項２に記載の情報処理装置。
　前記所定の条件は、当該情報処理装置の周囲の環境を示す環境情報を含む、
請求項２に記載の情報処理装置。
　前記所定の条件は、当該情報処理装置が搭載される対象に関する情報を含む、
請求項２に記載の情報処理装置。
　前記所定の条件は、当該情報処理装置の移動速度を示す速度情報を含む、
請求項２に記載の情報処理装置。
　前記生成部は、
　前記サンプリング画像として、前記分割領域毎に、該分割領域内のそれぞれ異なる前記画素位置に従い取得された前記サンプリング画素により構成される複数のサンプリング画像を生成する、
請求項１に記載の情報処理装置。
　前記生成部は、
　前記サンプリング画像として、1つの前記撮像情報における前記分割領域毎に設定された前記画素位置に従い取得された前記サンプリング画素により構成される複数のサンプリング画像を生成する、
請求項７に記載の情報処理装置。
　前記生成部は、
　前記サンプリング画像として、時系列上で連なる複数の前記撮像情報を跨いで前記分割領域に設定された前記画素位置に従い取得された複数のサンプリング画像を生成する、
請求項７に記載の情報処理装置。
　前記認識部は、
　前記算出部が算出した前記特徴量を蓄積する蓄積部をさらに備え、
　前記認識部は、
　前記蓄積部に蓄積された前記特徴量の少なくとも一部に基づき前記認識処理を行い前記認識処理結果を出力する、
請求項１に記載の情報処理装置。
　前記認識部は、
　前記蓄積部に蓄積された複数の特徴量を統合した統合特徴量に基づき前記認識処理を行う、
請求項１０に記載の情報処理装置。
　前記認識部は、
　前記撮像情報の取得に応じて前記算出部により算出された前記特徴量を、該取得の直前までに前記蓄積部に蓄積された特徴量の少なくとも一部の特徴量と統合し、統合された特徴量に基づき前記認識処理を行う、
請求項１１に記載の情報処理装置。
　前記認識部は、
　前記蓄積部に蓄積された前記複数の特徴量のうち、少なくとも前記分割領域それぞれにおいて最後に取得した前記サンプリング画素による前記サンプリング画像に基づく特徴量を除外した１以上の前記特徴量に基づき前記認識処理を行う、
請求項１１に記載の情報処理装置。
　前記認識部は、
　前記蓄積部に蓄積された前記複数の特徴量のうち、前記分割領域ぞそれぞれから最初に取得した前記サンプリング画素による前記サンプリング画像に基づく特徴量に基づき前記認識処理を行う、
請求項１１に記載の情報処理装置。
　前記算出部は、
　それぞれ前記特徴量を算出するための複数の演算部を含み、
　前記認識部は、
　前記複数の演算部のうち前記統合特徴量を出力するための演算部を、前記パラメータに応じて設定する、
請求項１１に記載の情報処理装置。
　前記認識部は、
　前記統合特徴量を出力するための演算部の前記パラメータに応じた設定を、前記分割領域それぞれの前記画素位置に対応する前記画素毎の教師データに基づき行う、
請求項１５に記載の情報処理装置。
　前記認識部は、
　前記分割領域それぞれの前記画素位置に対応する前記画素毎の教師データに基づき、前記サンプリング画像の前記特徴量に対する前記認識処理を行う、
請求項１に記載の情報処理装置。
　前記認識部は、
　前記撮像情報のうち、第１の撮像情報に設定された前記サンプリング画素と、時系列で該第１の撮像情報の次に取得される第２の撮像情報に設定された前記サンプリング画素と、を用いたＲＮＮ(Recurrent　Neural　Network)により機械学習処理を実行し、該機械学習処理の結果に基づき前記認識処理を行う、
請求項１に記載の情報処理装置。
　プロセッサにより実行される、
　画素によって構成される撮像情報が所定のパターンで分割された分割領域毎に設定された画素位置に従い取得されたサンプリング画素により構成されるサンプリング画像を生成する生成ステップと、
　前記サンプリング画像の特徴量を算出する算出ステップと、
　前記サンプリング画像の前記特徴量に基づき認識処理を行い、認識処理結果を出力する認識ステップと、
　前記所定のパターンに応じて前記算出ステップおよび前記認識ステップのうち少なくとも一方のパラメータを設定する設定ステップと、
を有する情報処理方法。
　画素によって構成される撮像情報が所定のパターンで分割された分割領域毎に設定された画素位置に従い取得されたサンプリング画素により構成されるサンプリング画像を生成する生成ステップと、
　前記サンプリング画像の特徴量を算出する算出ステップと、
　前記サンプリング画像の前記特徴量に基づき認識処理を行い、認識処理結果を出力する認識ステップと、
　前記所定のパターンに応じて前記算出ステップおよび前記認識ステップのうち少なくとも一方のパラメータを設定する設定ステップと、
をコンピュータに実行させるための情報処理プログラム。