WO2022019026A1

WO2022019026A1 - 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム

Info

Publication number: WO2022019026A1
Application number: PCT/JP2021/023543
Authority: WO
Inventors: 卓青木; 竜太佐藤; 啓太郎山本
Original assignee: ソニーグループ株式会社
Priority date: 2020-07-20
Filing date: 2021-06-22
Publication date: 2022-01-27
Also published as: DE112021003849T5; US20230269498A1; JPWO2022019026A1

Abstract

［課題］本開示の一態様は、光学系の光束分布に依存した非線形な歪みが画像に生じてしまう場合にも認識処理の認識率の低下を抑制可能な情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラムを提供する。［解決手段］情報処理装置は、複数の画素が２次元アレイ状に配列された画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、前記読み出し単位をレンズの歪パラメータに基づいて補正し、前記画素信号を前記読出部に読み出させる補正部と、を備える。

Description

情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム

　本開示は、情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラムに関する。

　近年、デジタルスチルカメラ、デジタルビデオカメラ、多機能型携帯電話機（スマートフォン）などに搭載される小型カメラなどの撮像装置の高性能化に伴い、撮像画像に含まれる所定のオブジェクトを認識する画像認識機能を搭載する情報処理装置が開発されている。
　ところが、撮像装置の光学系を介して撮像された画像データには光学系の光束分布に依存した非線形な歪みが生じてしまう。このような歪みが生じた画像データによる認識処理は、認識率が低下してしまう恐れがある。

特開２０１７－１１２４０９号公報

　本開示の一態様は、光学系の光束分布に依存した非線形な歪みが画像に生じてしまう場合にも認識処理の認識率の低下を抑制可能な情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラムを提供する。

　上記の課題を解決するために、本開示の一態様は、複数の画素が２次元アレイ状に配列された画素領域の一部として読み出し単位を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、
　前記読み出し単位をレンズの歪パラメータに基づいて補正し、前記画素信号を前記読出部に読み出させる補正部と、
　を備える、情報処理装置が提供される。

　補正部は、レンズの歪パラメータに基づいて、前記読み出し単位に対して歪補正の逆変換をかけて、読み出し単位を補正してもよい。

　歪パラメータに基づいて補正して読み出した前記画素信号に基づき特徴量を計算する特徴量計算部を、
　更に備えてもよい。

　前記特徴量に基づき認識処理を行う認識処理実行部を、更に備えてもよい。

　前記補正部は、直線状の座標列をレンズの歪パラメータに基づいて補正した座標位置を演算し、前記読出部は、補正した座標位置に基づく前記画素信号の読み出しを制御してもよい。

　前記補正部は、サブサンプリングの座標群をレンズの歪パラメータに基づいて補正した座標位置を演算し、前記読出部は、補正した座標位置に基づく前記画素信号の読み出しを制御してもよい。

　上記の課題を解決するために、本開示の一態様は、複数の画素が２次元アレイ状に配列された画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、
　前記画素領域に含まれる画素からの画素信号の座標をレンズの歪パラメータに基づいて補正する第２補正部と、
　を備える、情報処理装置が提供される。

　前記補正した画素信号に基づき認識処理を行う認識処理実行部を更に備えてもよい。

　前記認識処理部は、ポイントネット型の認識器を有してもよい。

　前記第２補正部は、前記読出部が読み出した画素信号の各行に対応する範囲に応じた前記補正した画素信号を前記認識処理実行部に供給してもよい。

　上記の課題を解決するために、本本開示の一態様は、複数の画素が２次元アレイ状に配列された画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、
　複数のレンズに応じて学習した複数の認識器を有し、前記読み出した画素信号に基づき認識処理を行う認識処理実行部を、
　を備え、
　前記認識処理実行部は、前記画素信号の撮像に応じた認識器を用いて認識処理を行う、　情報処理装置が提供される。

　前記認識処理部は、前記画素信号の撮像に用いた光学系に対応する認識器を用いて認識処理を行ってもよい。

　上記の課題を解決するために、本開示の一態様は、複数の画素が２次元アレイ状に配列されたセンサ部と、
　認識処理部と、を備える情報処理システムであって、
　前記認識処理部は、
　前記センサ部の画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、
　前記読み出し単位をレンズの歪パラメータに基づいて補正し、前記画素信号を前記読出部に読み出させる補正部と、
　を有する、情報処理システムが提供される。

　上記の課題を解決するために、本開示の一態様は、複数の画素が２次元アレイ状に配列されたセンサ部と、
　認識処理部と、を備える情報処理システムであって、
　前記認識処理部は、
　複数の画素が２次元アレイ状に配列された画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、
　前記画素領域に含まれる画素からの画素信号の座標をレンズの歪パラメータに基づいて補正する第２補正部と、
　を有する、情報処理システムが提供される。

　上記の課題を解決するために、本開示の一態様は、複数の画素が２次元アレイ状に配列されたセンサ部と、
　認識処理部と、を備える情報処理システムで、
　前記認識処理部は、
　複数の画素が２次元アレイ状に配列された画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、
　複数のレンズに応じて学習した複数の認識器を有し、前記読み出した画素信号に基づき認識処理を行う認識処理実行部を、
　を有し、
　前記認識処理実行部は、前記画素信号の撮像に応じた認識器を用いて認識処理を行う、情報処理システムが提供される。。

　上記の課題を解決するために、本開示の一態様は、複数の画素が２次元アレイ状に配列された画素領域の一部として読み出し単位を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出工程と、
　前記読み出し単位をレンズの歪パラメータに基づいて補正し、前記画素信号を前記読出部に読み出させる補正工程と、
　を備える、情報処理方法が提供される。

　上記の課題を解決するために、本開示の一態様は、複数の画素が２次元アレイ状に配列された画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出工程と、
　前記画素領域に含まれる画素からの画素信号の座標をレンズの歪パラメータに基づいて補正する第２補正工程と、
　を備える、情報処理方法が提供される。

　上記の課題を解決するために、本開示の一態様は、複数の画素が２次元アレイ状に配列された画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出工程と、
　複数のレンズに応じて学習した複数の認識器を有し、前記読み出した画素信号に基づき認識処理を行う認識処理実行工程を、
　を備え、
　前記認識処理実行工程は、前記画素信号の撮像に応じた認識器を用いて認識処理を行う、
　情報処理方法提供される。

　上記の課題を解決するために、本開示の一態様は、複数の画素が２次元アレイ状に配列された画素領域の一部として読み出し単位を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出工程と、
　前記読み出し単位をレンズの歪パラメータに基づいて補正し、前記画素信号を前記読出部に読み出させる補正工程と、
　をコンピュータに実行させるプログラムが提供される。

　上記の課題を解決するために、本開示の一態様は、複数の画素が２次元アレイ状に配列された画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出工程と、
　前記画素領域に含まれる画素からの画素信号の座標をレンズの歪パラメータに基づいて補正する第２補正工程と、
　をコンピュータに実行させるプログラムが提供される。

　上記の課題を解決するために、本開示の一態様は、複数の画素が２次元アレイ状に配列された画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出工程と、
　複数のレンズに応じて学習した複数の認識器を有し、前記読み出した画素信号に基づき認識処理を行う認識処理実行工程を、コンピュータに実行させるプログラムであって、
　前記認識処理実行工程は、前記画素信号の撮像に応じた認識器を用いた認識処理をコンピュータに実行させるプログラムが提供される。

本開示の各実施形態に適用可能な撮像装置の一例の構成を示すブロック図。各実施形態に係る撮像装置のハードウェア構成の例を示す模式図。各実施形態に係る撮像装置のハードウェア構成の例を示す模式図。各実施形態に係る撮像装置を２層構造の積層型ＣＩＳにより形成した例を示す図。各実施形態に係る撮像装置を３層構造の積層型ＣＩＳにより形成した例を示す図。各実施形態に適用可能なセンサ部の一例の構成を示すブロック図。ローリングシャッタ方式を説明するための模式図である。ローリングシャッタ方式を説明するための模式図。ローリングシャッタ方式を説明するための模式図。ローリングシャッタ方式におけるライン間引きを説明するための模式図。ローリングシャッタ方式におけるライン間引きを説明するための模式図。ローリングシャッタ方式におけるライン間引きを説明するための模式図。ローリングシャッタ方式における他の撮像方法の例を模式的に示す図。ローリングシャッタ方式における他の撮像方法の例を模式的に示す図。グローバルシャッタ方式を説明するための模式図。グローバルシャッタ方式を説明するための模式図。グローバルシャッタ方式を説明するための模式図。グローバルシャッタ方式において実現可能なサンプリングのパターンの例を模式的に示す図。グローバルシャッタ方式において実現可能なサンプリングのパターンの例を模式的に示す図。ＣＮＮによる画像認識処理を概略的に説明するための図。認識対象の画像の一部から認識結果を得る画像認識処理を概略的に説明するための図。時系列の情報を用いない場合の、ＤＮＮによる識別処理の例を概略的に示す図。時系列の情報を用いない場合の、ＤＮＮによる識別処理の例を概略的に示す図。時系列の情報を用いた場合の、ＤＮＮによる識別処理の第１の例を概略的に示す図。時系列の情報を用いた場合の、ＤＮＮによる識別処理の第１の例を概略的に示す図。時系列の情報を用いた場合の、ＤＮＮによる識別処理の第２の例を概略的に示す図。時系列の情報を用いた場合の、ＤＮＮによる識別処理の第２の例を概略的に示す図。フレームの駆動速度と画素信号の読み出し量との関係について説明するための図。フレームの駆動速度と画素信号の読み出し量との関係について説明するための図。本開示の各実施形態に係る認識処理を概略的に説明するための模式図。画素信号を出力する場合の認識処理における課題を示す図。センサ制御部、及び認識処理部の機能を説明するための一例の機能ブロック図。本実施形態に係る処理フローを示す図。第１レンズ歪逆補正部の処理例を模式的に説明する図。１ラインデータに対応するデータを読み出す場合の第１レンズ歪逆補正部の処理例を模式的に説明する図。ビニング駆動の読み出しで代用する例を示す図。図９Ｂに示したように、格子状に画素をサブサンプリングする場合の例を示す図。格子状に画素をサブサンプリングする場合の例を示す図。読出部の処理の流れを示すフローチャート。通常の補正処理の課題を概念的に示す図。第２実施形態に係るセンサ制御部、及び認識処理部の機能を説明するための一例の機能ブロック図。ポイントネット型の認識器を模式的に示す図。第２実施形態に係る処理フローを示す図。認識処理部の処理の流れを示すフローチャート。図１９の上段で示した処理フローで処理される従来のデータを示す図。第３実施形態に係る情報処理システムで用いる処理データを示す図。第４実施形態に係る処理フローの一例を示す図。第４実施形態に係る処理フローの別の一例を示す図。第１乃至第４実施形態に係る情報処理装置を使用する使用例を示す図。車両制御システムの概略的な構成の一例を示すブロック図。車外情報検出部及び撮像部の設置位置の一例を示す説明図。

　以下、図面を参照して、情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラムの実施形態について説明する。以下では、情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラムの主要な構成部分を中心に説明するが情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラムには、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。

　［１．本開示の各実施形態に係る構成例］
　各実施形態に係る情報処理システムの全体構成例について、概略的に説明する。図１は、情報処理システム１の一例の構成を示すブロック図である。図１において、情報処理システム１は、センサ部１０と、センサ制御部１１と、認識処理部１２と、メモリ１３と、視認処理部１４と、出力制御部１５とを備える。これら各部は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を用いて一体的に形成されたＣＭＯＳイメージセンサ（ＣＩＳ）である。なお、情報処理システム１は、この例に限らず、赤外光による撮像を行う赤外光センサなど、他の種類の光センサであってもよい。また、センサ制御部１１と、認識処理部１２と、メモリ１３と、視認処理部１４と、出力制御部１５は、情報処理装置２を構成する。

　センサ部１０は、光学部３０の光学系を介して受光面に照射された光に応じた画素信号を出力する。より具体的には、センサ部１０は、少なくとも１つの光電変換素子を含む画素が行列状に配列される画素アレイを有する。画素アレイに行列状に配列される各画素により受光面が形成される。センサ部１０は、さらに、画素アレイに含まれる各画素を駆動するための駆動回路と、各画素から読み出された信号に対して所定の信号処理を施して各画素の画素信号として出力する信号処理回路と、を含む。センサ部１０は、画素領域に含まれる各画素の画素信号を、デジタル形式の画像データとして出力する。

　以下、センサ部１０が有する画素アレイにおいて、画素信号を生成するために有効な画素が配置される領域を、フレームと称する。フレームに含まれる各画素から出力された各画素信号に基づく画素データにより、フレーム画像データが形成される。また、センサ部１０の画素の配列における各行をそれぞれラインと呼び、ラインに含まれる各画素から出力された画素信号に基づく画素データにより、ライン画像データが形成される。さらに、センサ部１０が受光面に照射された光に応じた画素信号を出力する動作を、撮像と呼ぶ。センサ部１０は、後述するセンサ制御部１１から供給される撮像制御信号に従い、撮像の際の露出や、画素信号に対するゲイン（アナログゲイン）を制御される。

　センサ制御部１１は、例えばマイクロプロセッサにより構成され、センサ部１０からの画素データの読み出しを制御し、フレームに含まれる各画素から読み出された各画素信号に基づく画素データを出力する。センサ制御部１１から出力された画素データは、認識処理部１２および視認処理部１４に供給される。

　また、センサ制御部１１は、センサ部１０における撮像を制御するための撮像制御信号を生成する。センサ制御部１１は、例えば、後述する認識処理部１２および視認処理部１４からの指示に従い、撮像制御信号を生成する。撮像制御信号は、上述した、センサ部１０における撮像の際の露出やアナログゲインを示す情報を含む。撮像制御信号は、さらに、センサ部１０が撮像動作を行うために用いる制御信号（垂直同期信号、水平同期信号、など）を含む。センサ制御部１１は、生成した撮像制御信号をセンサ部１０に供給する。

　光学部３０は、被写体からの光をセンサ部１０の受光面に照射させるためのもので、例えばセンサ部１０に対応する位置に配置される。光学部３０は、例えば複数のレンズと、入射光に対する開口部の大きさを調整するための絞り機構と、受光面に照射される光の焦点を調整するためのフォーカス機構と、を含む。光学部３０は、受光面に光が照射される時間を調整するシャッタ機構（メカニカルシャッタ）をさらに含んでもよい。光学部３０が有する絞り機構やフォーカス機構、シャッタ機構は、例えばセンサ制御部１１により制御するようにできる。これに限らず、光学部３０における絞りやフォーカスは、情報処理システム１の外部から制御するようにもできる。また、光学部３０を情報処理システム１と一体的に構成することも可能である。

　認識処理部１２は、センサ制御部１１から供給された画素データに基づき、画素データによる画像に含まれるオブジェクトの認識処理を行う。本開示においては、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）が、教師データにより予め学習されメモリ１３に学習モデルとして記憶されるプログラムを読み出して実行することで、ＤＮＮ（Ｄｅｅｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を用いた認識処理を行う、機械学習部としての認識処理部１２が構成される。認識処理部１２は、認識処理に必要な画素データをセンサ部１０から読み出すように、センサ制御部１１に対して指示することができる。認識処理部１２による認識結果は、出力制御部１５に供給される。

　視認処理部１４は、センサ制御部１１から供給された画素データに対して、人が視認するために適した画像を得るための処理を実行し、例えば一纏まりの画素データからなる画像データを出力する。例えば、ＩＳＰ（Ｉｍａｇｅ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）が図示されないメモリに予め記憶されるプログラムを読み出して実行することで、当該視認処理部１４が構成される。

　例えば、視認処理部１４は、センサ部１０に含まれる各画素にカラーフィルタが設けられ、画素データがＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の各色情報を持っている場合、デモザイク処理、ホワイトバランス処理などを実行することができる。また、視認処理部１４は、視認処理に必要な画素データをセンサ部１０から読み出すように、センサ制御部１１に対して指示することができる。視認処理部１４により画素データが画像処理された画像データは、出力制御部１５に供給される。

　出力制御部１５は、例えばマイクロプロセッサにより構成され、認識処理部１２から供給された認識結果と、視認処理部１４から視認処理結果として供給された画像データと、のうち一方または両方を、情報処理システム１の外部に出力する。出力制御部１５は、画像データを、例えば表示デバイスを有する表示部３１に出力することができる。これにより、ユーザは、表示部３１により表示された画像データを視認することができる。なお、表示部３１は、情報処理システム１に内蔵されるものでもよいし、情報処理システム１の外部の構成であってもよい。

　図２Ａおよび図２Ｂは、各実施形態に係る情報処理システム１のハードウェア構成の例を示す模式図である。図２Ａは、１つのチップ２に対して、図１に示した構成のうちセンサ部１０、センサ制御部１１、認識処理部１２、メモリ１３、視認処理部１４および出力制御部１５が搭載される例である。なお、図２Ａにおいて、メモリ１３および出力制御部１５は、煩雑さを避けるため省略されている。

　図２Ａに示す構成では、認識処理部１２による認識結果は、図示されない出力制御部１５を介してチップ２の外部に出力される。また、図２Ａの構成においては、認識処理部１２は、認識に用いるための画素データを、センサ制御部１１から、チップ２の内部のインタフェースを介して取得できる。

　図２Ｂは、１つのチップ２に対して、図１に示した構成のうちセンサ部１０、センサ制御部１１、視認処理部１４および出力制御部１５が搭載され、認識処理部１２およびメモリ１３（図示しない）がチップ２の外部に置かれた例である。図２Ｂにおいても、上述した図２Ａと同様に、メモリ１３および出力制御部１５は、煩雑さを避けるため省略されている。

　この図２Ｂの構成においては、認識処理部１２は、認識に用いるための画素データを、チップ間の通信を行うためのインタフェースを介して取得することになる。また、図２Ｂでは、認識処理部１２による認識結果が、認識処理部１２から直接的に外部に出力されるように示されているが、これはこの例に限定されない。すなわち、図２Ｂの構成において、認識処理部１２は、認識結果をチップ２に戻し、チップ２に搭載される不図示の出力制御部１５から出力させるようにしてもよい。

　図２Ａに示す構成は、認識処理部１２がセンサ制御部１１と共にチップ２に搭載され、認識処理部１２とセンサ制御部１１との間の通信を、チップ２の内部のインタフェースにより高速に実行できる。その一方で、図２Ａに示す構成では認識処理部１２の差し替えができず、認識処理の変更が難しい。これに対して、図２Ｂに示す構成は、認識処理部１２がチップ２の外部に設けられるため、認識処理部１２とセンサ制御部１１との間の通信を、チップ間のインタフェースを介して行う必要がある。そのため、認識処理部１２とセンサ制御部１１との間の通信は、図２Ａの構成と比較して低速となり、制御に遅延が発生する可能性がある。その一方で、認識処理部１２の差し替えが容易であり、多様な認識処理の実現が可能である。

　以下、特に記載の無い限り、情報処理システム１は、図２Ａの、１つのチップ２にセンサ部１０、センサ制御部１１、認識処理部１２、メモリ１３、視認処理部１４および出力制御部１５が搭載される構成を採用するものとする。

　上述した図２Ａに示す構成において、情報処理システム１は、１つの基板上に形成することができる。これに限らず、情報処理システム１を、複数の半導体チップが積層され一体的に形成された積層型ＣＩＳとしてもよい。

　一例として、情報処理システム１と半導体チップとを２層に積層した２層構造により形成することができる。図３Ａは、各実施形態に係る情報処理システム１を２層構造の積層型ＣＩＳにより形成した例を示す図である。図３Ａの構造では、第１層の半導体チップに画素部２０ａを形成し、第２層の半導体チップにメモリ＋ロジック部２０ｂを形成している。画素部２０ａは、少なくともセンサ部１０における画素アレイを含む。メモリ＋ロジック部２０ｂは、例えば、センサ制御部１１、認識処理部１２、メモリ１３、視認処理部１４および出力制御部１５と、情報処理システム１と外部との通信を行うためのインタフェースと、を含む。メモリ＋ロジック部２０ｂは、さらに、センサ部１０における画素アレイを駆動する駆動回路の一部または全部を含む。また、図示は省略するが、メモリ＋ロジック部２０ｂは、例えば視認処理部１４が画像データの処理のために用いるメモリをさらに含むことができる。

　図３Ａの右側に示されるように、第１層の半導体チップと、第２層の半導体チップとを電気的に接触させつつ貼り合わせることで、情報処理システム１を１つの固体撮像素子として構成する。

　別の例として、情報処理システム１を、半導体チップを３層に積層した３層構造により形成することができる。図３Ｂは、各実施形態に係る情報処理システム１を３層構造の積層型ＣＩＳにより形成した例を示す図である。図３Ｂの構造では、第１層の半導体チップに画素部２０ａを形成し、第２層の半導体チップにメモリ部２０ｃを形成し、第３層の半導体チップにロジック部２０ｂ’を形成している。この場合、ロジック部２０ｂ’は、例えば、センサ制御部１１、認識処理部１２、視認処理部１４および出力制御部１５と、情報処理システム１と外部との通信を行うためのインタフェースと、を含む。また、メモリ部２０ｃは、メモリ１３と、例えば視認処理部１４が画像データの処理のために用いるメモリを含むことができる。メモリ１３は、ロジック部２０ｂ’に含めてもよい。

　図３Ｂの右側に示されるように、第１層の半導体チップと、第２層の半導体チップと、第３層の半導体チップとを電気的に接触させつつ貼り合わせることで、情報処理システム１を１つの固体撮像素子として構成する。

　図４は、各実施形態に適用可能なセンサ部１０の一例の構成を示すブロック図である。図４において、センサ部１０は、画素アレイ部１０１と、垂直走査部１０２と、ＡＤ（Ａｎａｌｏｇ　ｔｏ　Ｄｉｇｉｔａｌ）変換部１０３と、画素信号線１０６と、垂直信号線ＶＳＬと、制御部１１００と、信号処理部１１０１と、を含む。なお、図４において、制御部１１００および信号処理部１１０１は、例えば図１に示したセンサ制御部１１に含まれるものとすることもできる。

　画素アレイ部１０１は、それぞれ受光した光に対して光電変換を行う、例えばフォトダイオードによる光電変換素子と、光電変換素子から電荷の読み出しを行う回路と、を含む複数の画素回路１００を含む。画素アレイ部１０１において、複数の画素回路１００は、水平方向（行方向）および垂直方向（列方向）に行列状の配列で配置される。画素アレイ部１０１において、画素回路１００の行方向の並びをラインと呼ぶ。例えば、１９２０画素×１０８０ラインで１フレームの画像が形成される場合、画素アレイ部１０１は、少なくとも１９２０個の画素回路１００が含まれるラインを、少なくとも１０８０ライン、含む。フレームに含まれる画素回路１００から読み出された画素信号により、１フレームの画像（画像データ）が形成される。

　以下、センサ部１０においてフレームに含まれる各画素回路１００から画素信号を読み出す動作を、適宜、フレームから画素を読み出す、などのように記述する。また、フレームに含まれるラインが有する各画素回路１００から画素信号を読み出す動作を、適宜、ラインを読み出す、などのように記述する。

　また、画素アレイ部１０１には、各画素回路１００の行および列に対し、行毎に画素信号線１０６が接続され、列毎に垂直信号線ＶＳＬが接続される。画素信号線１０６の画素アレイ部１０１と接続されない端部は、垂直走査部１０２に接続される。垂直走査部１０２は、後述する制御部１１００の制御に従い、画素から画素信号を読み出す際の駆動パルスなどの制御信号を、画素信号線１０６を介して画素アレイ部１０１へ伝送する。垂直信号線ＶＳＬの画素アレイ部１０１と接続されない端部は、ＡＤ変換部１０３に接続される。画素から読み出された画素信号は、垂直信号線ＶＳＬを介してＡＤ変換部１０３に伝送される。

　画素回路１００からの画素信号の読み出し制御について、概略的に説明する。画素回路１００からの画素信号の読み出しは、露出により光電変換素子に蓄積された電荷を浮遊拡散層（ＦＤ；Ｆｌｏａｔｉｎｇ　Ｄｉｆｆｕｓｉｏｎ）に転送し、浮遊拡散層において転送された電荷を電圧に変換することで行う。浮遊拡散層において電荷が変換された電圧は、アンプを介して垂直信号線ＶＳＬに出力される。

　より具体的には、画素回路１００において、露出中は、光電変換素子と浮遊拡散層との間をオフ（開）状態として、光電変換素子において、光電変換により入射された光に応じて生成された電荷を蓄積させる。露出終了後、画素信号線１０６を介して供給される選択信号に応じて浮遊拡散層と垂直信号線ＶＳＬとを接続する。さらに、画素信号線１０６を介して供給されるリセットパルスに応じて浮遊拡散層を電源電圧ＶＤＤまたは黒レベル電圧の供給線と短期間において接続し、浮遊拡散層をリセットする。垂直信号線ＶＳＬには、浮遊拡散層のリセットレベルの電圧（電圧Ａとする）が出力される。その後、画素信号線１０６を介して供給される転送パルスにより光電変換素子と浮遊拡散層との間をオン（閉）状態として、光電変換素子に蓄積された電荷を浮遊拡散層に転送する。垂直信号線ＶＳＬに対して、浮遊拡散層の電荷量に応じた電圧（電圧Ｂとする）が出力される。

　ＡＤ変換部１０３は、垂直信号線ＶＳＬ毎に設けられたＡＤ変換器１０７と、参照信号生成部１０４と、水平走査部１０５と、を含む。ＡＤ変換器１０７は、画素アレイ部１０１の各列（カラム）に対してＡＤ変換処理を行うカラムＡＤ変換器である。ＡＤ変換器１０７は、垂直信号線ＶＳＬを介して画素回路１００から供給された画素信号に対してＡＤ変換処理を施し、ノイズ低減を行う相関二重サンプリング（ＣＤＳ：Ｃｏｒｒｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ）処理のための２つのデジタル値（電圧Ａおよび電圧Ｂにそれぞれ対応する値）を生成する。

　ＡＤ変換器１０７は、生成した２つのデジタル値を信号処理部１１０１に供給する。信号処理部１１０１は、ＡＤ変換器１０７から供給される２つのデジタル値に基づきＣＤＳ処理を行い、デジタル信号による画素信号（画素データ）を生成する。信号処理部１１０１により生成された画素データは、センサ部１０の外部に出力される。

　参照信号生成部１０４は、制御部１１００から入力される制御信号に基づき、各ＡＤ変換器１０７が画素信号を２つのデジタル値に変換するために用いるランプ信号を参照信号として生成する。ランプ信号は、レベル（電圧値）が時間に対して一定の傾きで低下する信号、または、レベルが階段状に低下する信号である。参照信号生成部１０４は、生成したランプ信号を、各ＡＤ変換器１０７に供給する。参照信号生成部１０４は、例えばＤＡＣ（Ｄｉｇｉｔａｌ　ｔｏ　Ａｎａｌｏｇ　Ｃｏｎｖｅｒｔｅｒ）などを用いて構成される。

　参照信号生成部１０４から、所定の傾斜に従い階段状に電圧が降下するランプ信号が供給されると、カウンタによりクロック信号に従いカウントが開始される。コンパレータは、垂直信号線ＶＳＬから供給される画素信号の電圧と、ランプ信号の電圧とを比較して、ランプ信号の電圧が画素信号の電圧を跨いだタイミングでカウンタによるカウントを停止させる。ＡＤ変換器１０７は、カウントが停止された時間のカウント値に応じた値を出力することで、アナログ信号による画素信号を、デジタル値に変換する。

　ＡＤ変換器１０７は、生成した２つのデジタル値を信号処理部１１０１に供給する。信号処理部１１０１は、ＡＤ変換器１０７から供給される２つのデジタル値に基づきＣＤＳ処理を行い、デジタル信号による画素信号（画素データ）を生成する。信号処理部１１０１により生成されたデジタル信号による画素信号は、センサ部１０の外部に出力される。

　水平走査部１０５は、制御部１１００の制御の下、各ＡＤ変換器１０７を所定の順番で選択する選択走査を行うことによって、各ＡＤ変換器１０７が一時的に保持している各デジタル値を信号処理部１１０１へ順次出力させる。水平走査部１０５は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。

　制御部１１００は、センサ制御部１１から供給される撮像制御信号に従い、垂直走査部１０２、ＡＤ変換部１０３、参照信号生成部１０４および水平走査部１０５などの駆動制御を行う。制御部１１００は、垂直走査部１０２、ＡＤ変換部１０３、参照信号生成部１０４および水平走査部１０５の動作の基準となる各種の駆動信号を生成する。制御部１１００は、例えば、撮像制御信号に含まれる垂直同期信号または外部トリガ信号と、水平同期信号とに基づき、垂直走査部１０２が画素信号線１０６を介して各画素回路１００に供給するための制御信号を生成する。制御部１１００は、生成した制御信号を垂直走査部１０２に供給する。

　また、制御部１１００は、例えば、センサ制御部１１から供給される撮像制御信号に含まれる、アナログゲインを示す情報をＡＤ変換部１０３に出力する。ＡＤ変換部１０３は、このアナログゲインを示す情報に応じて、ＡＤ変換部１０３に含まれる各ＡＤ変換器１０７に垂直信号線ＶＳＬを介して入力される画素信号のゲインを制御する。

　垂直走査部１０２は、制御部１１００から供給される制御信号に基づき、画素アレイ部１０１の選択された画素行の画素信号線１０６に駆動パルスを含む各種信号を、ライン毎に各画素回路１００に供給し、各画素回路１００から、画素信号を垂直信号線ＶＳＬに出力させる。垂直走査部１０２は、例えばシフトレジスタやアドレスデコーダなどを用いて構成される。また、垂直走査部１０２は、制御部１１００から供給される露出を示す情報に応じて、各画素回路１００における露出を制御する。

　このように構成されたセンサ部１０は、ＡＤ変換器１０７が列毎に配置されたカラムＡＤ方式のＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。

　［２．本開示に適用可能な既存技術の例］
　本開示に係る各実施形態の説明に先んじて、理解を容易とするために、本開示に適用可能な既存技術について、概略的に説明する。

（２－１．ローリングシャッタの概要）
　画素アレイ部１０１による撮像を行う際の撮像方式として、ローリングシャッタ（ＲＳ）方式と、グローバルシャッタ（ＧＳ）方式とが知られている。まず、ローリングシャッタ方式について、概略的に説明する。図５Ａ、図５Ｂおよび図５Ｃは、ローリングシャッタ方式を説明するための模式図である。ローリングシャッタ方式では、図５Ａに示されるように、フレーム２００の例えば上端のライン２０１からライン単位で順に撮像を行う。

　なお、上述では、「撮像」を、センサ部１０が受光面に照射された光に応じた画素信号を出力する動作を指す、と説明した。より詳細には、「撮像」は、画素において露出を行い、画素に含まれる光電変換素子に露出により蓄積された電荷に基づく画素信号をセンサ制御部１１に転送するまでの一連の動作を指すものとする。また、フレームは、上述したように、画素アレイ部１０１において、画素信号を生成するために有効な画素回路１００が配置される領域を指す。

　例えば、図４の構成において、１つのラインに含まれる各画素回路１００において露出を同時に実行する。露出の終了後、露出により蓄積された電荷に基づく画素信号を、当該ラインに含まれる各画素回路１００において一斉に、各画素回路１００に対応する各垂直信号線ＶＳＬを介してそれぞれ転送する。この動作をライン単位で順次に実行することで、ローリングシャッタによる撮像を実現することができる。

　図５Ｂは、ローリングシャッタ方式における撮像と時間との関係の例を模式的に示している。図５Ｂにおいて、縦軸はライン位置、横軸は時間を示す。ローリングシャッタ方式では、各ラインにおける露出がライン順次で行われるため、図５Ｂに示すように、各ラインにおける露出のタイミングがラインの位置に従い順にずれることになる。したがって、例えば情報処理システム１と被写体との水平方向の位置関係が高速に変化する場合、図５Ｃに例示されるように、撮像されたフレーム２００の画像に歪みが生じる。図５Ｃの例では、フレーム２００に対応する画像２０２が、情報処理システム１と被写体との水平方向の位置関係の変化の速度および変化の方向に応じた角度で傾いた画像となっている。

　ローリングシャッタ方式において、ラインを間引きして撮像することも可能である。図６Ａ、図６Ｂおよび図６Ｃは、ローリングシャッタ方式におけるライン間引きを説明するための模式図である。図６Ａに示されるように、上述した図５Ａの例と同様に、フレーム２００の上端のライン２０１からフレーム２００の下端に向けてライン単位で撮像を行う。このとき、所定数毎にラインを読み飛ばしながら撮像を行う。

　ここでは、説明のため、１ライン間引きにより１ラインおきに撮像を行うものとする。すなわち第ｎラインの撮像の次は第（ｎ＋２）ラインの撮像を行う。このとき、第ｎラインの撮像から第（ｎ＋２）ラインの撮像までの時間が、間引きを行わない場合の、第ｎラインの撮像から第（ｎ＋１）ラインの撮像までの時間と等しいものとする。

　図６Ｂは、ローリングシャッタ方式において１ライン間引きを行った場合の撮像と時間との関係の例を模式的に示している。図６Ｂにおいて、縦軸はライン位置、横軸は時間を示す。図６Ｂにおいて、露出Ａは、間引きを行わない図５Ｂの露出と対応し、露出Ｂは、１ライン間引きを行った場合の露出を示している。露出Ｂに示すように、ライン間引きを行うことにより、ライン間引きを行わない場合に比べ、同じライン位置での露出のタイミングのズレを短縮することができる。したがって、図６Ｃに画像２０３として例示されるように、撮像されたフレーム２００の画像に生ずる傾き方向の歪が、図５Ｃに示したライン間引きを行わない場合に比べ小さくなる。一方で、ライン間引きを行う場合には、ライン間引きを行わない場合に比べ、画像の解像度が低くなる。

　上述では、ローリングシャッタ方式においてフレーム２００の上端から下端に向けてライン順次に撮像を行う例について説明したが、これはこの例に限定されない。図７Ａおよび図７Ｂは、ローリングシャッタ方式における他の撮像方法の例を模式的に示す図である。例えば、図７Ａに示されるように、ローリングシャッタ方式において、フレーム２００の下端から上端に向けてライン順次の撮像を行うことができる。この場合は、フレーム２００の上端から下端に向けてライン順次に撮像した場合に比べ、画像２０２の歪の水平方向の向きが逆となる。

　また、例えば画素信号を転送する垂直信号線ＶＳＬの範囲を設定することで、ラインの一部を選択的に読み出すことも可能である。さらに、撮像を行うラインと、画素信号を転送する垂直信号線ＶＳＬと、をそれぞれ設定することで、撮像を開始および終了するラインを、フレーム２００の上端および下端以外とすることも可能である。図７Ｂは、幅および高さがフレーム２００の幅および高さにそれぞれ満たない矩形の領域２０５を撮像範囲とした例を模式的に示している。図７Ｂの例では、領域２０５の上端のライン２０４からライン順次で領域２０５の下端に向けて撮像を行っている。

（２－２．グローバルシャッタの概要）
　次に、画素アレイ部１０１による撮像を行う際の撮像方式として、グローバルシャッタ（ＧＳ）方式について、概略的に説明する。図８Ａ、図８Ｂおよび図８Ｃは、グローバルシャッタ方式を説明するための模式図である。グローバルシャッタ方式では、図８Ａに示されるように、フレーム２００に含まれる全画素回路１００で同時に露出を行う。

　図４の構成においてグローバルシャッタ方式を実現する場合、一例として、各画素回路１００において光電変換素子とＦＤとの間にキャパシタをさらに設けた構成とすることが考えられる。そして、光電変換素子と当該キャパシタとの間に第１のスイッチを、当該キャパシタと浮遊拡散層との間に第２のスイッチをそれぞれ設け、これら第１および第２のスイッチそれぞれの開閉を、画素信号線１０６を介して供給されるパルスにより制御する構成とする。

　このような構成において、露出期間中は、フレーム２００に含まれる全画素回路１００において、第１および第２のスイッチをそれぞれ開、露出終了で第１のスイッチを開から閉として光電変換素子からキャパシタに電荷を転送する。以降、キャパシタを光電変換素子と見做して、ローリングシャッタ方式において説明した読み出し動作と同様のシーケンスにて、キャパシタから電荷を読み出す。これにより、フレーム２００に含まれる全画素回路１００において同時の露出が可能となる。

　図８Ｂは、グローバルシャッタ方式における撮像と時間との関係の例を模式的に示している。図８Ｂにおいて、縦軸はライン位置、横軸は時間を示す。グローバルシャッタ方式では、フレーム２００に含まれる全画素回路１００において同時に露出が行われるため、図８Ｂに示すように、各ラインにおける露出のタイミングを同一にできる。したがって、例えば情報処理システム１と被写体との水平方向の位置関係が高速に変化する場合であっても、図８Ｃに例示されるように、撮像されたフレーム２００の画像２０６には、当該変化に応じた歪が生じない。

　グローバルシャッタ方式では、フレーム２００に含まれる全画素回路１００における露出タイミングの同時性を確保できる。そのため、各ラインの画素信号線１０６により供給する各パルスのタイミングと、各垂直信号線ＶＳＬによる転送のタイミングとを制御することで、様々なパターンでのサンプリング（画素信号の読み出し）を実現できる。

　図９Ａおよび図９Ｂは、グローバルシャッタ方式において実現可能なサンプリングのパターンの例を模式的に示す図である。図９Ａは、フレーム２００に含まれる、行列状に配列された各画素回路１００から、画素信号を読み出すサンプル２０８を市松模様状に抽出する例である。また、図９Ｂは、当該各画素回路１００から、画素信号を読み出すサンプル２０８を格子状に抽出する例である。また、グローバルシャッタ方式においても、上述したローリングシャッタ方式と同様に、ライン順次で撮像を行うことができる。

（２－３．ＤＮＮについて）
　次に、各実施形態に適用可能なＤＮＮ（Ｄｅｅｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を用いた認識処理について、概略的に説明する。各実施形態では、ＤＮＮのうち、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）と、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）とを用いて画像データに対する認識処理を行う。以下、「画像データに対する認識処理」を、適宜、「画像認識処理」などと呼ぶ。

（２－３－１．ＣＮＮの概要）
　先ず、ＣＮＮについて、概略的に説明する。ＣＮＮによる画像認識処理は、一般的には、例えば行列状に配列された画素による画像情報に基づき画像認識処理を行う。図１０は、ＣＮＮによる画像認識処理を概略的に説明するための図である。認識対象のオブジェクトである数字の「８」を描画した画像５０の全体の画素情報５１に対して、所定に学習されたＣＮＮ５２による処理を施す。これにより、認識結果５３として数字の「８」が認識される。

　これに対して、ライン毎の画像に基づきＣＮＮによる処理を施し、認識対象の画像の一部から認識結果を得ることも可能である。図１１は、この認識対象の画像の一部から認識結果を得る画像認識処理を概略的に説明するための図である。図１１において、画像５０’は、認識対象のオブジェクトである数字の「８」を、ライン単位で部分的に取得したものである。この画像５０’の画素情報５１’を形成する例えばライン毎の画素情報５４ａ、５４ｂおよび５４ｃに対して順次、所定に学習されたＣＮＮ５２’による処理を施す。

　例えば、第１ライン目の画素情報５４ａに対するＣＮＮ５２’による認識処理で得られた認識結果５３ａは、有効な認識結果ではなかったものとする。ここで、有効な認識結果とは、例えば、認識された結果に対する信頼度を示すスコアが所定以上の認識結果を指す。
　なお、本実施形態に係る信頼度は、ＤＮＮが出力する認識結果［Ｔ］をどれだけ信頼してよいかを表す評価値を意味する。例えば、信頼度の範囲は、０．０～１．０の範囲であり、数値が１．０に近いほど認識結果［Ｔ］に似たスコアを有する他の競合候補がほとんど無かったことを示す。一方で、０に近づくほど、認識結果［Ｔ］に似たスコアを有する他の競合候補が多く出現していたことを示す。

　ＣＮＮ５２’は、この認識結果５３ａに基づき内部状態の更新５５を行う。次に、第２ライン目の画素情報５４ｂに対して、前回の認識結果５３ａにより内部状態の更新５５が行われたＣＮＮ５２’により認識処理が行われる。図１１では、その結果、認識対象の数字が「８」または「９」の何れかであることを示す認識結果５３ｂが得られている。さらに、この認識結果５３ｂに基づき、ＣＮＮ５２’の内部情報の更新５５を行う。次に、第３ライン目の画素情報５４ｃに対して、前回の認識結果５３ｂにより内部状態の更新５５が行われたＣＮＮ５２’により認識処理が行われる。図１１では、その結果、認識対象の数字が、「８」または「９」のうち「８」に絞り込まれる。

　ここで、この図１１に示した認識処理は、前回の認識処理の結果を用いてＣＮＮの内部状態を更新し、この内部状態が更新されたＣＮＮにより、前回の認識処理を行ったラインに隣接するラインの画素情報を用いて認識処理を行っている。すなわち、この図１１に示した認識処理は、画像に対してライン順次に、ＣＮＮの内部状態を前回の認識結果に基づき更新しながら実行されている。したがって、図１１に示す認識処理は、ライン順次に再帰的に実行される処理であり、ＲＮＮに相当する構造を有していると考えることができる。

（２－３－２．ＲＮＮの概要）
　次に、ＲＮＮについて、概略的に説明する。図１２Ａおよび図１２Ｂは、時系列の情報を用いない場合の、ＤＮＮによる識別処理（認識処理）の例を概略的に示す図である。この場合、図１２Ａに示されるように、１つの画像をＤＮＮに入力する。ＤＮＮにおいて、入力された画像に対して識別処理が行われ、識別結果が出力される。

　図１２Ｂは、図１２Ａの処理をより詳細に説明するための図である。図１２Ｂに示されるように、ＤＮＮは、特徴抽出処理と、識別処理とを実行する。ＤＮＮにおいて、入力された画像に対して特徴抽出処理により特徴量を抽出する。また、ＤＮＮにおいて、抽出された特徴量に対して識別処理を実行し、識別結果を得る。

　図１３Ａおよび図１３Ｂは、時系列の情報を用いた場合の、ＤＮＮによる識別処理の第１の例を概略的に示す図である。この図１３Ａおよび図１３Ｂの例では、時系列上の、固定数の過去情報を用いて、ＤＮＮによる識別処理を行う。図１３Ａの例では、時間Ｔの画像［Ｔ］と、時間Ｔより前の時間Ｔ－１の画像［Ｔ－１］と、時間Ｔ－１より前の時間Ｔ－２の画像［Ｔ－２］と、をＤＮＮに入力する。ＤＮＮにおいて、入力された各画像［Ｔ］、［Ｔ－１］および［Ｔ－２］に対して識別処理を実行し、時間Ｔにおける識別結果［Ｔ］を得る。識別結果［Ｔ］には信頼度が付与される。

　図１３Ｂは、図１３Ａの処理をより詳細に説明するための図である。図１３Ｂに示されるように、ＤＮＮにおいて、入力された画像［Ｔ］、［Ｔ－１］および［Ｔ－２］それぞれに対して、上述の図１２Ｂを用いて説明した特徴抽出処理を１対１に実行し、画像［Ｔ］、［Ｔ－１］および［Ｔ－２］にそれぞれ対応する特徴量を抽出する。ＤＮＮでは、これら画像［Ｔ］、［Ｔ－１］および［Ｔ－２］に基づき得られた各特徴量を統合し、統合された特徴量に対して識別処理を実行し、時間Ｔにおける識別結果［Ｔ］を得る。識別結果［Ｔ］には信頼度が付与される。

　この図１３Ａおよび図１３Ｂの方法では、特徴量抽出を行うための構成が複数必要になると共に、利用できる過去の画像の数に応じて、特徴量抽出を行うための構成が必要になり、ＤＮＮの構成が大規模になってしまうおそれがある。

　図１４Ａおよび図１４Ｂは、時系列の情報を用いた場合の、ＤＮＮによる識別処理の第２の例を概略的に示す図である。図１４Ａの例では、内部状態が時間Ｔ－１の状態に更新されたＤＮＮに対して時間Ｔの画像［Ｔ］を入力し、時間Ｔにおける識別結果［Ｔ］を得ている。識別結果［Ｔ］には信頼度が付与される。

　図１４Ｂは、図１４Ａの処理をより詳細に説明するための図である。図１４Ｂに示されるように、ＤＮＮにおいて、入力された時間Ｔの画像［Ｔ］に対して上述の図１２Ｂを用いて説明した特徴抽出処理を実行し、画像［Ｔ］に対応する特徴量を抽出する。ＤＮＮにおいて、時間Ｔより前の画像により内部状態が更新され、更新された内部状態に係る特徴量が保存されている。この保存された内部情報に係る特徴量と、画像［Ｔ］における特徴量とを統合し、統合された特徴量に対して識別処理を実行する。

　この図１４Ａおよび図１４Ｂに示す識別処理は、例えば直前の識別結果を用いて内部状態が更新されたＤＮＮを用いて実行されるもので、再帰的な処理となる。このように、再帰的な処理を行うＤＮＮをＲＮＮ（Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）と呼ぶ。ＲＮＮによる識別処理は、一般的には動画像認識などに用いられ、例えば時系列で更新されるフレーム画像によりＤＮＮの内部状態を順次に更新することで、識別精度を向上させることが可能である。

　本開示では、ＲＮＮをローリングシャッタ方式の構造に適用する。すなわち、ローリングシャッタ方式では、画素信号の読み出しがライン順次で行われる。そこで、このライン順次で読み出される画素信号を時系列上の情報として、ＲＮＮに適用させる。これにより、ＣＮＮを用いた場合（図１３Ｂ参照）と比較して小規模な構成で、複数のラインに基づく識別処理を実行可能となる。これに限らず、ＲＮＮをグローバルシャッタ方式の構造に適用することもできる。この場合、例えば隣接するラインを時系列上の情報と見做すことが考えられる。

（２－４．駆動速度について）
　次に、フレームの駆動速度と、画素信号の読み出し量との関係について、図１５Ａおよび図１５Ｂを用いて説明する。図１５Ａは、画像内の全ラインを読み出す例を示す図である。ここで、認識処理の対象となる画像の解像度が、水平６４０画素×垂直４８０画素（４８０ライン）であるものとする。この場合、１４４００［ライン／秒］の駆動速度で駆動することで、３０［ｆｐｓ（ｆｒａｍｅ　ｐｅｒ　ｓｅｃｏｎｄ）］での出力が可能となる。

　次に、ラインを間引いて撮像を行うことを考える。例えば、図１５Ｂに示すように、１ラインずつ読み飛ばして撮像を行う、１／２間引き読み出しにて撮像を行うものとする。１／２間引きの第１の例として、上述と同様に１４４００［ライン／秒］の駆動速度で駆動する場合、画像から読み出すライン数が１／２になるため、解像度は低下するが、間引きを行わない場合の倍の速度の６０［ｆｐｓ］での出力が可能となり、フレームレートを向上できる。１／２間引きの第２の例として、駆動速度を第１の例の半分の７２００［ｆｐｓ］として駆動する場合、フレームレートは間引かない場合と同様に３０［ｆｐｓ］となるが、省電力化が可能となる。

　画像のラインを読み出す際に、間引きを行わないか、間引きを行い、駆動速度を上げるか、間引きを行い、駆動速度間引きを行わない場合と同一とするか、は、例えば、読み出した画素信号に基づく認識処理の目的などに応じて選択することができる。

　図１６は、本開示の本実施形態に係る認識処理を概略的に説明するための模式図である。図１６において、ステップＳ１で、本実施形態に係る情報処理システム１（図１参照）により、認識対象となる対象画像の撮像を開始する。

　なお、対象画像は、例えば手書きで数字の「８」を描画した画像であるものとする。また、メモリ１３には、所定の教師データにより数字を識別可能に学習された学習モデルがプログラムとして予め記憶されており、認識処理部１２は、メモリ１３からこのプログラムを読み出して実行することで、画像に含まれる数字の識別を可能とされているものとする。さらに、情報処理システム１は、ローリングシャッタ方式により撮像を行うものとする。なお、情報処理システム１がグローバルシャッタ方式で撮像を行う場合であっても、以下の処理は、ローリングシャッタ方式の場合と同様に適用可能である。

　撮像が開始されると、情報処理システム１は、ステップＳ２で、フレームをライン単位で、フレームの上端側から下端側に向けて順次に読み出す。

　ある位置までラインが読み出されると、認識処理部１２により、読み出されたラインによる画像から、「８」または「９」の数字が識別される（ステップＳ３）。例えば、数字「８」および「９」は、上半分の部分に共通する特徴部分を含むので、上から順にラインを読み出して当該特徴部分が認識された時点で、認識されたオブジェクトが数字「８」および「９」の何れかであると識別できる。

　ここで、ステップＳ４ａに示されるように、フレームの下端のラインまたは下端付近のラインまで読み出すことで認識されたオブジェクトの全貌が現れ、ステップＳ２で数字の「８」または「９」の何れかとして識別されたオブジェクトが数字の「８」であることが確定される。

　一方、ステップＳ４ｂおよびステップＳ４ｃは、本開示に関連する処理となる。

　ステップＳ４ｂに示されるように、ステップＳ３で読み出しを行ったライン位置からさらにラインを読み進め、数字「８」の下端に達する途中でも、認識されたオブジェクトが数字の「８」であると識別することが可能である。例えば、数字「８」の下半分と、数字「９」の下半分とは、それぞれ異なる特徴を有する。この特徴の差異が明確になる部分までラインを読み出すことで、ステップＳ３で認識されたオブジェクトが数字の「８」および「９」の何れであるかが識別可能となる。図１６の例では、ステップＳ４ｂにおいて、当該オブジェクトが数字の「８」であると確定されている。

　また、ステップＳ４ｃに示されるように、ステップＳ３のライン位置から、ステップＳ３の状態においてさらに読み出すことで、ステップＳ３で識別されたオブジェクトが数字の「８」または「９」の何れであるかを見分けられそうなライン位置にジャンプすることも考えられる。このジャンプ先のラインを読み出すことで、ステップＳ３で識別されたオブジェクトが数字の「８」または「９」のうち何れであるかを確定することができる。なお、ジャンプ先のライン位置は、所定の教師データに基づき予め学習された学習モデルに基づき決定することができる。

　ここで、上述したステップＳ４ｂまたはステップＳ４ｃでオブジェクトが確定された場合、情報処理システム１は、認識処理を終了させることができる。これにより、情報処理システム１における認識処理の短時間化および省電力化を実現することが可能となる。

　なお、教師データは、読出単位毎の入力信号と出力信号の組み合わせを複数保持したデータである。一例として、上述した数字を識別するタスクでは、入力信号として読出単位毎のデータ（ラインデータ、サブサンプルされたデータなど）を適用し、出力信号として「正解の数字」を示すデータを適用することができる。他の例として、例えば物体を検出するタスクでは、入力信号として読出単位毎のデータ（ラインデータ、サブサンプルされたデータなど）を適用し、出力信号として物体クラス（人体／車両／非物体）や物体の座標（ｘ、ｙ、ｈ、ｗ）などを適用することができる。また、自己教師学習を用いて入力信号のみから出力信号を生成してもよい。

　（第１実施形態）
　図１７は、光学部３０を介して受光面に照射された光に応じた画素信号を出力する場合の認識処理における課題を示す図である。
　図１７に示すように、左図の画像データを光学部３０のレンズパラメータに従い歪み補正した画像データが右図である。右図の歪み補正後のデータから、図１６で示したようなラインデータＬ１７０、Ｌ１７２を読み出す場合、ラインデータＬ１７０のように、画像周辺部では、歪みがより強くなり、ラインデータＬ１７０上の画素の密度が低下する。これに対して、画素の中心領域では、歪みが周辺部よりも少なく、ラインデータＬ１７２上の画素の密度がラインデータＬ１７０上の画素の密度よりも増加する。このように、ラインデータＬ１７０、Ｌ１７２毎に密度が異なると、認識処理実行部１２４の認識処理の認識率が低下してしまう。一方で、有効画素を抜き出すように非均一のサンプリングを行っても、有効画素が方形とならず、認識処理実行部１２４の認識処理の実行が困難となってしまう。

　図１８は、本実施形態に係るセンサ制御部１１、及び認識処理部１２の機能を説明するための一例の機能ブロック図である。
　図１８において、センサ制御部１１は、読出部１１０と、第１レンズ歪逆補正部１１２とを有する。図１８には、レンズ歪パレメータの情報を記憶する蓄積部１１４が更に図示されている。

　認識処理部１２は、特徴量計算部１２０と、特徴量蓄積制御部１２１と、読出領域決定部１２３と、認識処理実行部１２４と、を有する。

　センサ制御部１１において、読出部１１０は、複数の画素が２次元アレイ状に配列された画素アレイ部１０１（図４を参照）内の読出画素を第１レンズ歪逆補正部１１２の指示する座標に基づき設定する。
　第１レンズ歪逆補正部１１２は、蓄積部１１４に蓄積されるレンズ歪パレメータの情報に基づき、座標変換して読出部１１０に供給する。第１レンズ歪逆補正部１１２は、読出領域決定部１２３から、認識処理部１２において読み出しを行う読出領域を示す読出領域情報を受け取る。読出領域情報は、例えば、１または複数のラインのライン番号である。これに限らず、読出領域情報は、１つのライン内の画素位置を示す情報であってもよい。また、読出領域情報として、１以上のライン番号と、ライン内の１以上の画素の画素位置を示す情報とを組み合わせることで、様々なパターンの読出領域を指定することが可能である。なお、読出領域は、読出単位と同等である。これに限らず、読出領域と読出単位とが異なっていてもよい。

　また、読出部１１０は、認識処理部１、あるいは、視野処理部１４（図１参照）から露出やアナログゲインを示す情報を受け取ることができる。この読出部１１０は、第１レンズ歪逆補正部１１２から入力された読出領域情報に従い、センサ部１０からの画素データの読み出しを行う。例えば、読出部１１０は、読出領域情報に基づき、読み出しを行うラインを示すライン番号と、当該ラインにおいて読み出す画素の位置を示す画素位置情報と、を求め、求めたライン番号と画素位置情報と、をセンサ部１０に出力する。

　また、読出部１１０は、供給された露出やアナログゲイン（ＡＧ）を示す情報に従い、センサ部１０に対して露出やアナログゲインを設定する。さらに、読出部１１０は、垂直同期信号および水平同期信号を生成し、センサ部１０に供給することができる。

　認識処理部１２において、読出領域決定部１２３は、特徴量蓄積制御部１２１から、次に読み出しを行う読出領域を示す読出情報を受け取る。読出領域決定部１２３は、受け取った読出情報に基づき読出領域情報を生成し、読出部１１０に出力する。

　ここで、読出領域決定部１２３は、読出領域情報に示される読出領域として、例えば、所定の読出単位に、当該読出単位の画素データを読み出すための読出位置情報が付加された情報を用いることができる。読出単位は、１つ以上の画素の集合であり、認識処理部１２や視認処理部１４による処理の単位となる。一例として、読出単位がラインであれば、ラインの位置を示すライン番号［Ｌ＃ｘ］が読出位置情報として付加される。また、読出単位が複数の画素を含む矩形領域であれば、矩形領域の画素アレイ部１０１における位置を示す情報、例えば左上隅の画素の位置を示す情報が読出位置情報として付加される。読出領域決定部１２３は、適用される読出単位が予め指定される。また、読出領域決定部１２３は、グローバルシャッタ方式において、サブピクセルを読み出す場合には、サブピクセルの位置情報を読出領域に含めることが可能である。これに限らず、読出領域決定部１２３は、例えば読出領域決定部１２３の外部からの指示に応じて、読出単位を決定することもできる。したがって、読出領域決定部１２３は、読出単位を制御する読出単位制御部として機能する。

　なお、読出領域決定部１２３は、後述する認識処理実行部１２４から供給される認識情報に基づき、次に読み出しを行う読出領域を決定し、決定された読出領域を示す読出領域情報を生成することもできる。

　認識処理部１２において、特徴量計算部１２０は、読出部１１０から供給された画素データおよび読出領域情報に基づき、読出領域情報に示される領域における特徴量を算出する。特徴量計算部１２０は、算出した特徴量を、特徴量蓄積制御部１２１に出力する。

　特徴量計算部１２０は、読出部１１０から供給された画素データと、特徴量蓄積制御部１２１から供給された、過去の特徴量と、に基づき特徴量を算出してもよい。これに限らず、特徴量計算部１２０は、例えば読出部１１０から露出やアナログゲインを設定するための情報を取得し、取得したこれらの情報をさらに用いて特徴量を算出してもよい。

　認識処理部１２において、特徴量蓄積制御部１２１は、特徴量計算部１２０から供給された特徴量を、特徴量蓄積部１２２に蓄積する。また、特徴量蓄積制御部１２１は、特徴量計算部１２０から特徴量が供給されると、次の読み出しを行う読み出し領域を示す読出情報を生成し、読出領域決定部１２３に出力する。

　ここで、特徴量蓄積制御部１２１は、既に蓄積された特徴量と、新たに供給された特徴量とを統合して蓄積することができる。また、特徴量蓄積制御部１２１は、特徴量蓄積部１２２に蓄積された特徴量のうち、不要になった特徴量を削除することができる。不要になった特徴量は、例えば前フレームに係る特徴量や、新たな特徴量が算出されたフレーム画像とは異なるシーンのフレーム画像に基づき算出され、既に蓄積された特徴量などが考えられる。また、特徴量蓄積制御部１２１は、必要に応じて特徴量蓄積部１２２に蓄積された全ての特徴量を削除して初期化することもできる。

　また、特徴量蓄積制御部１２１は、特徴量計算部１２０から供給された特徴量と、特徴量蓄積部１２２に蓄積される特徴量と、に基づき認識処理実行部１２４が認識処理に用いるための特徴量を生成する。特徴量蓄積制御部１２１は、生成した特徴量を認識処理実行部１２４に出力する。

　認識処理実行部１２４は、特徴量蓄積制御部１２１から供給された特徴量に基づき認識処理を実行する。認識処理実行部１２４は、認識処理により物体検出、顔検出などを行う。認識処理実行部１２４は、認識処理により得られた認識結果を出力制御部１５に出力する。認識結果には、検出スコアの情報が含まれる。

　認識処理実行部１２４は、認識処理により生成される認識結果を含む認識情報を読出領域決定部１２３に出力することもできる。なお、認識処理実行部１２４は、例えばトリガ生成部（不図示）により生成されたトリガに基づき、特徴量蓄積制御部１２１から特徴量を受け取って認識処理を実行することができる。

　図１９は、本実施形態に係る処理フローを示す図である。上図が通常の歪補正のフローを示し、中図が、サブサンプル読み出しで通常の歪補正をするフローを示し、下図が本実施形態に係る処理フローを示す。下図に示すように、本実施形態に係る処理フローでは、シーンが光学部３０のレンズを透過する（Ｓ１０）。この際に、シーンがレンズによりセンサ部１０に集光する位置は、シーンの位置により歪みが生じる。

　次に、画像として結像されたシーンは、センサ部１０で画素データに変換される（Ｓ１２）。読出部１１０は、レンズの歪みを考慮し、歪補正後にシーンが均一サンプルされるように画像データを読み出し（Ｓ１２）、特徴量計算部１２０に供給する（Ｓ１４）。

　一方で、通常処理では、画像データを読み出し（Ｓ１４０）、読み出し後に歪補正を行う（Ｓ１４２）。このように処理された画像データが、図１７の上側の右図となる。また、ブサンプル読み出しで通常の歪補正をするフローでは、画像データをサンプル読み出し（Ｓ１４４）し、読み出し後に歪補正を行う（Ｓ１４６）。この場合も図１７の右図と同様に、画像データが不均一となる。

　ここで、図２０乃至図２４を用いて、第１レンズ歪逆補正部１１２の処理例を詳細に説明する。
　図２０は、第１レンズ歪逆補正部１１２の処理例を模式的に説明する図である。ここで（ｘ、ｙ）座標を読出領域決定部１２３から読み出しの指示を受けた座標とする。また、（ｘ１、ｙ１）を（ｘ、ｙ）に対応する座標画像データの座標とする。上述のように、蓄積部１１４には、座標（ｘ１、ｙ１）と座標（ｘ、ｙ）の対応関係を示す歪みパラメータが記憶されている。ここで、この対応関係を示す歪みパラメータを関数ｆで表すと、ｆ（ｘ１、ｙ１）＝（ｘ、ｙ）となる。

　このため、第１レンズ歪逆補正部１１２は、読出領域決定部１２３から指示された画像領域の座標（ｘ、ｙ）を座標（ｘ１、ｙ１）に逆変換する。ここで、この逆変換をｆ^－１（ｘ、ｙ）で示す。この逆変換された座標（ｘ１、ｙ１）に対応する画像データを読出部１１０はセンサ部１０から読み出し座標（ｘ、ｙ）の画像データとして、特徴量計算部１２０に供給する。これにより、特徴量計算部１２０は、ラインデータＬ１７０、Ｌ１７２から特徴量を演算することが可能となる。この場合、図２０に示すように、ラインデータＬ１７０、Ｌ１７２上の画像データはほぼ均一であるので、認識処理実行部１２４での認識率がラインデータＬ１７０、Ｌ１７２の位置による変動を受けずに均一化される。

　図２１は、１ラインデータに対応するデータを読み出す場合の第１レンズ歪逆補正部１１２の処理例を模式的に説明する図である。ここで、ラインＬ１７４ａ上の（ｘ、ｙ）座標を読出領域決定部１２３から読み出しの指示を受けた座標とする。また、（ｘ１、ｙ１）を（ｘ、ｙ）に対応する座標画像データの座標とする。ラインＬ１７４ａ上の（ｘ、ｙ）座標をｆ^－１（ｘ、ｙ）として逆変換する。このラインＬ１７４上ａの（ｘ、ｙ）座標に対応する座標がラインＬ１７４ｃ上の（ｘ１、ｙ１）座標となる。この逆変換されたラインＬ１７４ｃ上の座標（ｘ１、ｙ１）に対応する画像データを読出部１１０はセンサ部１０から読み出し、インＬ１７４ａ上の座標（ｘ、ｙ）の画像データとして、特徴量計算部１２０に供給する。エリアＡ２４は、図２２で後述するエリアＡ２４と同一の領域である。

　図２２は、回路が複雑になるため座標（ｘ、ｙ）に対応する座標（ｘ１、ｙ１）を直接読み出せない場合にビニング駆動の読み出しで代用する例を示す図である。図２２の画素Ｇ２４０を直接読み出せない場合に、代わりに例えばエリアＡ２４の３×３画素範囲を加算で読み出すビニング駆動で読み出して代用してもよい。

　図２３Ａは、図９Ｂに示したように、格子状に画素２０８をサブサンプリングする場合の例を示す図である。図２３Ａに示すように、格子状に画素２０８をサブサンプリングする場合にも、光学部３０のレンズの歪みが補正される。これにより、認識処理実行部１２４の認識処理を光学部３０のレンズ歪みの影響を受けずに行うことが可能となる。

　図２３Ｂは、図２３Ａにおいて、座標変換を行う際に、サブサンプリングも同時行った例を示す図である。このように、ｆ^－１（ｘ、ｙ）を逆変換した座標（ｘ１、ｙ１）から画像データを読み出し、メモリ１３などに記憶してもよい。この場合、認識処理中に歪み補正及びサブサンプリングを行わずに認識処理を実行することも可能となる。

　図２４は読出部１１０の処理の流れを示すフローチャートである。
　まず、読出領域決定部１２３は、読み出しパターンに従い、次の読出領域を決定し（ステップＳ１００）、読出領域情報を第１レンズ歪逆補正部１１２に供給する。この読出領域情報には読み出し領域の座標情報が含まれている。

　次に、第１レンズ歪逆補正部１１２は、蓄積部１１４からレンズ歪みパラメータを取得する（ステップＳ１０２）。そして、第１レンズ歪逆補正部１１２は、レンズ歪みパラメータを用いて、読み出し領域の座標を逆変換する（ステップＳ１０４）。そして、読出部１１０は、センサ部１０から画像データを読み出し（ステップＳ１０６）、特徴量計算部１２０に供給して、処理を終了する。

　以上説明したように、本実施形態によれば、第１レンズ歪逆補正部１１２が、レンズ歪みパラメータを用いて次の読出領域の座標を逆変換して、センサ部１０から画像データを読み出し、特徴量計算部１２０に供給することとした。これにより、レンズ歪みが補正され、均一化された画像データを用いて特徴量を演算できる。このため、認識処理実行部１２４の認識処理の認識精度をより向上させることができる。

（第２実施形態）
　第２実施形態に係る情報処理システム１は、認識処理実行部１２４のＣＮＮの代わりにポイントネット型の認識器を更に用いることが可能である点で、第１実施形態に係る情報処理システム１と相違する。以下では、第１実施形態に係る情報処理システム１と相違する点に関して説明する。

　図２５は、通常の補正処理の課題を概念的に示す図である。図２５の左図は補正前の画像データを示し、中図は歪み補正後の画像示す。そして、右図は、画素の分布を均一化する補間処理を行った画像を示す。右図に示すようにレンズ歪みパラメータによれば、補間処理により生成する画素が増加し、認識率が低下する可能性がある。

　図２６は、第２実施形態に係るセンサ制御部１１、及び認識処理部１２の機能を説明するための一例の機能ブロック図である。図２６に示すように第２実施形態に係る認識処理部１２は第２レンズ歪補正部１２５を更に有する。

　図２７は、ポイントネット型の認識器５２ａを模式的に示す図である。ポイントネット型の認識器５２ａは、画像データが格子状に配置されておらず、画像データの分布に粗密があるデータに対しても認識率が維持される。このため、図２５の中図に示すように点群の画素値に対しても認識が可能である。なお、画像５０、５１は、上述の図１０における画像５０、５１と同等の画像である。

　図２８は、第２実施形態に係る処理フローを示す図である。図２８に示すように、本実施形態に係る処理フローでは、シーンが光学部３０のレンズを透過する（Ｓ１０）。この際に、シーンがレンズによりセンサ部１０に集光する位置は、シーンの位置により歪みが生じる。

　次に、画像として結像されシーンは、センサ部１０で画素データに変換され（Ｓ１２）、読出部１１０によりサンプリング読み出しされる（Ｓ１６）。読出部１１０は、第２レンズ歪補正部１２５にサンプリングした画像データを供給する。第２レンズ歪補正部１２５は、座標（ｘ、ｙ）をｆ^－１（ｘ、ｙ）により座標（ｘ１、ｙ１）に逆変換し、サンプリングした画像データ（ｘ、ｙ）を歪み補正した画像データ（ｘ１、ｙ１）に変換する（Ｓ１８）。第２レンズ歪補正部１２５は、画像データ（ｘ１、ｙ１）を特徴量計算部１２０に供給する。このように、ポイントネット型の認識器５２ａを用いることにより、歪みを補正した画像データ（ｘ１、ｙ１）からそのまま特徴量を演算可能となる。なお、座標（ｘ１、ｙ１）と座標（ｘ、ｙ）との対応関係を予め演算し、座標変換マップとして蓄積部１１４に記憶してもよい。この場合、座標変換マップを用いて座標変換することにより、演算時間を短縮することができる。

　図２９は認識処理部１２の処理の流れを示すフローチャートである。
　まず、読出部１１０は、読出領域情報内の座標情報に基づき、センサ部１０から画像データを読み出し、第２レンズ歪補正部１２５に供給する（ステップＳ２００）。

　次に、第２レンズ歪補正部１２５は、蓄積部１１４からレンズ歪みパラメータを取得する（ステップＳ２０２）。第２レンズ歪補正部１２５は、レンズ歪みパラメータを用いて、読み出した画像データの座標に対して歪み補正を行う（ステップＳ２０４）。そして、特徴量計算部１２０は、歪み補正された座標の画像データから特徴量を演算する（ステップＳ２０６）。

　以上説明したように、本実施形態によれば、第２レンズ歪補正部１２５がレンズ歪みパラメータを用いて、読み出した画像データの座標に対して歪み補正を行う。そして、特徴量計算部１２０は、歪み補正された座標の画像データから特徴量を演算し、認識処理実行部１２４のポイントネット型の認識器５２ａにより認識を行う。これにより、レンズ歪みが補正された画像データから補間処理などを行わずに特徴量を演算できる。これにより、認識処理実行部１２４の認識処理の認識精度をより向上させることができる。

（第３実施形態）
　第３実施形態の変形例に係る情報処理システム１は、読み出し画像に対してレンズ歪を補正し、補正前の一行分のデータに対応する補正後の画像データを認識処理実行部１２４に供給する点で第２実施形態に係る情報処理システム１と相違する。以下では、第２実施形態に係る情報処理システム１と相違する点に関して説明する。

　図３０は、図１９の上段で示した処理フローで処理される従来のデータを示す図である。図３０の(a)図は、読出部１１０が読み出された二次元状の画像データである。(ｂ)図は、第２レンズ歪補正部１２５がレンズ歪みパラメータを用いて、読み出した画像データの座標に対して歪み補正を行った画像データである。(ｂ)図で示す二次元状の画像データが、図２５の中図で示した従来の歪み補正を行った画像データに対応する。このデータを例えばＣＮＮで構成される認識処理実行部１２４に供給すると、図２５で示した処理と同様の課題が生じる。

　すなわち、図３０の(ｂ)図で示した画像データを、従来の様にライン毎に供給画像データとして入力すると、図３０の(a)図の下端部の画像データは、ライン毎に分断され情報量が低下する。一方で、中央部のラインデータは、全データが一行の供給画像データとして構成され、端部領域の供給画像データよりも情報量が増加する。これにより、認識処理実行部１２４の認識精度が、図３０の(ｂ)図で示す補正後画像のラインの位置により認識精度がばらついてしまう。

　図３１は、第３実施形態に係る情報処理システム１で用いる処理データを例示する図である。図３１の(a)図は、読出部１１０（図２６参照）が読み出した二次元状の画像データである。二次元状の画像データの各行のデータはラインデータＬ１３０aに示すように直線状である。この処理は、図１９の上段で示した処理フローのＳ１４０に相当する。

　(ｂ)図は、第２レンズ歪補正部１２５（図２６参照）がレンズ歪みパラメータを用いて、読み出した画像データの座標に対して歪み補正を行った画像データである。(ｂ)図で示すように、ラインデータＬ１３０aは補正後にライン１３０ｂに示すように湾曲する。この処理は、図１９の上段で示した処理フローのＳ１４２に相当する。

　(ｃ)図で示す二次元状の画像データが、本実施形態に係るＣＮＮで構成される認識処理実行部１２４に供給される供給画像データである。ライン１３０ｂに対応するライン状のラインデータ１３０ｃが含まれる。この供給画像データの縦幅は、ラインデータＬ１３０aに応じて変更される。また、データライン１３０ｃ以外の領域の値は、所定値、例えば０に変更される。

　すなわち、第３実施形態に係る特徴量計算部１２０（図２６参照）では、(ｃ)図で示すように、レンズ歪みパラメータ及び、元データであるラインデータＬ１３０aの位置に応じた縦幅を有する二次元状の画像データから特徴量を演算する。すなわち、(ｃ)図で示す供給画像データには、必ずラインデータＬ１３０aに基づくラインデータＬ１３０ｃが含まれる。

　第３実施形態に係る認識処理実行部１２４（図２６参照）は、(ｃ)図で示す供給画像データの形式にそれぞれ対応させて学習させた例えばＣＮＮで構成される。

　以上説明したように、本実施形態では、レンズ歪を補正した画像データから一行分のラインデータＬ１３０aに対応するラインデータＬ１３０ｃ含む範囲の画像データを認識処理実行部１２４に供給する。これにより、認識処理実行部１２４には、必ずラインデータＬ１３０aに基づくラインデータＬ１３０ｃが含まれる画像データが供給され、認識処理実行部１２４の認識精度の低下が抑制される。

（第４実施形態）
　第４実施形態の変形例に係る情報処理システム１は、レンズ歪をキャンセルする替わりに、レンズの歪パラメータに応じて認識処理実行部１２４の認識器を切り替え可能である点で、第２実施形態に係る情報処理システム１と相違する。以下では、第２実施形態に係る情報処理システム１と相違する点に関して説明する。

　図３２は、第４実施形態に係る処理フローの一例を示す図である。図３２に示すように、本変形例に係る処理フローでは、シーンが光学部３０のレンズを透過する（Ｓ１０）。この際に、シーンがレンズによりセンサ部１０に集光する位置は、シーンの位置により歪みが生じる。

　次に、画像として結像されシーンは、センサ部１０で画素データに変換され（Ｓ１２）、読出部１１０により読み出しされる（Ｓ１４０）。読出部１１０は、第２レンズ歪補正部１２５にライン状にサンプリングした画像データを供給する。第２レンズ歪補正部１２５は、歪み補正していない画像データ（ｘ、ｙ）を特徴量計算部１２０に供給する。

　認識処理実行部１２４は、レンズの歪パラメータに応じて学習したＣＮＮの認識器を選択し、認識処理を実行する。複数の認識器のそれぞれは、レンズ歪の異なるレンズごとに学習されている。また、認識処理実行部１２４が有する例えばＣＮＮの認識器は、様々なレンズ歪の異なるレンズに対して学習した第２認識器も有する。この第２認識器は、レンズの歪パラメータが不明である場合にも、所定値以上の認識精度を有するように学習されている。このため、第２認識器は、レンズの歪パラメータが不明である場合や、適合する歪パラメータに対する認識器が存在しない場合に用いられる。このように、歪パラメータに適合する認識器が存在しない場合も第２認識器を用いることにより、認識精度の低下が抑制される。

　図３３は、第４実施形態に係る処理フローの別の一例を示す図である。図３３に示すように、本変形例に係る処理フローでは、シーンが光学部３０のレンズを透過する（Ｓ１０）。この際に、シーンがレンズによりセンサ部１０に集光する位置は、シーンの位置により歪みが生じる。

　次に、画像として結像されシーンは、センサ部１０で画素データに変換され（Ｓ１２）、読出部１１０によりサブサンプリングされ読み出しされる（Ｓ１４４）。読出部１１０は、第２レンズ歪補正部１２５にサブサンプリングした画像データを供給する。第２レンズ歪補正部１２５は、歪み補正していない画像データ（ｘ、ｙ）を特徴量計算部１２０に供給する。

　認識処理実行部１２４は、レンズの歪パラメータに応じて学習したサブサンプリングした画像用のＣＮＮの認識器を選択し、認識処理を実行する。複数の認識器のそれぞれは、レンズ歪の異なるレンズごとに学習されている。また、認識処理実行部１２４が有する例えばＣＮＮの認識器は、様々なレンズ歪の異なるレンズに対して学習したサブサンプリングした画像用の第３認識器も有する。この第３認識器は、レンズの歪パラメータが不明である場合にも、所定値以上の認識精度を有するように学習されている。このため、第３認識器は、レンズの歪パラメータが不明である場合や、適合する歪パラメータに対する認識器が存在しない場合に用いられる。このように、歪パラメータに適合する認識器が存在しない場合も第３認識器を用いることにより、認識精度の低下が抑制される。

　以上説明したように、本実施形態によれば、レンズ歪をキャンセルする替わりに、レンズの歪パラメータに応じて認識処理実行部１２４の認識器を切り替えることとした。これにより、レンズ歪を補正することなく、様々な歪パラメータに対応した認識器を用いることにより認識率の低下を抑制できる。

（第５実施形態）

（３－１．本開示の技術の適用例）
　次に、第２種類の実施形態として、本開示に係る、第１乃至第４実施形態に係る情報処理装置２の適用例について説明する。図３４は、第１乃至第４実施形態に係る情報処理装置２を使用する使用例を示す図である。なお、以下では、特に区別する必要のない場合、情報処理装置２で代表させて説明を行う。

　上述した情報処理装置２は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングしセンシング結果に基づき認識処理を行う様々なケースに使用することができる。

・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置。
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置。
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、ＴＶや、冷蔵庫、エアーコンディショナ等の家電に供される装置。
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置。
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置。
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置。
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置。
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置。

（３－２．移動体への適用例）
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

　図３５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３５に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３５の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

　図３６は、撮像部１２０３１の設置位置の例を示す図である。

　図３６では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。

　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

　なお、図３６には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２、１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２、１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１および車外情報検出ユニット１２０３０に適用され得る。具体的には、例えば、情報処理装置２のセンサ部１０を撮像部１２０３１に適用し、認識処理部１２を車外情報検出ユニット１２０３０に適用する。認識処理部１２から出力された認識結果は、例えば通信ネットワーク１２００１を介して統合制御ユニット１２０５０に渡される。

　このように、本開示に係る技術を撮像部１２０３１および車外情報検出ユニット１２０３０に適用することで、近距離の対象物の認識と、遠距離の対象物の認識とをそれぞれ実行できると共に、近距離の対象物の認識を高い同時性で行うことが可能となるため、より確実な運転支援が可能となる。

　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

　なお、本技術は以下のような構成を取ることができる。

　（１）複数の画素が２次元アレイ状に配列された画素領域の一部として読み出し単位を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、
　前記読み出し単位をレンズの歪パラメータに基づいて補正し、前記画素信号を前記読出部に読み出させる補正部と、
　を備える、情報処理装置。

　（２）前記補正部は、レンズの歪パラメータに基づいて、前記読み出し単位に対して歪補正の逆変換をかけて、読み出し単位を補正する、（１）に記載の情報処理装置。

　（３）歪パラメータに基づいて補正して読み出した前記画素信号に基づき特徴量を計算する特徴量計算部を、
　更に備える、（１）に記載の情報処理装置。

　（４）前記特徴量に基づき認識処理を行う認識処理部を、
　更に備える、（３）に記載の情報処理装置。

　（５）前記補正部は、直線状の座標列をレンズの歪パラメータに基づいて補正した座標位置を演算し、前記読出部は、補正した座標位置に基づく前記画素信号の読み出しを制御する、（１）に情報処理装置。

　（６）前記補正部は、サブサンプリングの座標群をレンズの歪パラメータに基づいて補正した座標位置を演算し、前記読出部は、補正した座標位置に基づく前記画素信号の読み出しを制御する、（１）に記載の情報処理装置。

　（７）複数の画素が２次元アレイ状に配列された画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、
　前記画素領域に含まれる画素からの画素信号の座標をレンズの歪パラメータに基づいて補正する第２補正部と、
　を備える、情報処理装置。

　（８）前記補正した画素信号に基づき認識処理を行う認識処理部を、
　更に備える、（７）に記載の情報処理装置。

　（９）前記認識処理部は、ポイントネット型の認識器を有する、（８）に記載の情報処理装置。

　（１０）前記第２補正部は、前記読出部が読み出した画素信号の各行に対応する範囲に応じた前記補正した画素信号を前記認識処理実行部に供給する、（８）に記載の情報処理装置。

　（１１）複数の画素が２次元アレイ状に配列された画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、
　複数のレンズに応じて学習した複数の認識器を有し、前記読み出した画素信号に基づき認識処理を行う認識処理実行部を、
　を備え、
　前記認識処理実行部は、前記画素信号の撮像に応じた認識器を用いて認識処理を行う、　情報処理装置。

　（１２）前記認識処理実行部は、前記画素信号の撮像に用いた光学系に対応する認識器を用いて認識処理を行う、（１１）に記載の情報処理装置。

　（１３）前記認識処理実行部は、複数の異なる光学系に対して学習した認識器を用いて認識処理を行う、（１１）に記載の情報処理装置。

　（１４）複数の画素が２次元アレイ状に配列されたセンサ部と、
　認識処理部と、を備える情報処理システムであって、
　前記認識処理部は、
　前記センサ部の画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、
　前記読み出し単位をレンズの歪パラメータに基づいて補正し、前記画素信号を前記読出部に読み出させる補正部と、
　を有する、情報処理システム。

　（１５）複数の画素が２次元アレイ状に配列されたセンサ部と、
　認識処理部と、を備える情報処理システムであって、
　前記認識処理部は、
　複数の画素が２次元アレイ状に配列された画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、
　前記画素領域に含まれる画素からの画素信号の座標をレンズの歪パラメータに基づいて補正する第２補正部と、
　を有する、情報処理システム。

　（１６）複数の画素が２次元アレイ状に配列されたセンサ部と、
　認識処理部と、を備える情報処理システムであって、
　前記認識処理部は、
　複数の画素が２次元アレイ状に配列された画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、
　複数のレンズに応じて学習した複数の認識器を有し、前記読み出した画素信号に基づき認識処理を行う認識処理実行部を、
　を有し、
　前記認識処理実行部は、前記画素信号の撮像に応じた認識器を用いて認識処理を行う、情報処理システム。

　（１７）複数の画素が２次元アレイ状に配列された画素領域の一部として読み出し単位を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出工程と、
　前記読み出し単位をレンズの歪パラメータに基づいて補正し、前記画素信号を前記読出部に読み出させる補正工程と、
　を備える、情報処理方法。

　（１８）複数の画素が２次元アレイ状に配列された画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出工程と、
　前記画素領域に含まれる画素からの画素信号の座標をレンズの歪パラメータに基づいて補正する第２補正工程と、
　を備える、情報処理方法。

　（１９）複数の画素が２次元アレイ状に配列された画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出工程と、
　複数のレンズに応じて学習した複数の認識器を用いて、前記読み出した画素信号に基づき認識処理を行う認識処理実行工程を、
　を備え、
　前記認識処理実行工程は、前記画素信号の撮像に応じた認識器を用いて認識処理を行う、
　情報処理方法。

　（２０）複数の画素が２次元アレイ状に配列された画素領域の一部として読み出し単位を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出工程と、
　前記読み出し単位をレンズの歪パラメータに基づいて補正し、前記画素信号を読み出させる補正工程と、
　をコンピュータに実行させるプログラム。

　（２１）複数の画素が２次元アレイ状に配列された画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出工程と、
　前記画素領域に含まれる画素からの画素信号の座標をレンズの歪パラメータに基づいて補正する第２補正工程と、
　　をコンピュータに実行させるプログラム。

　（２２）複数の画素が２次元アレイ状に配列された画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出工程と、
　複数のレンズに応じて学習した複数の認識器を用いて、前記読み出した画素信号に基づき認識処理を行う認識処理実行工程を、コンピュータに実行させるプログラムであって、　前記認識処理実行工程は、前記画素信号の撮像に応じた認識器を用いた認識処理をコンピュータに実行させるプログラム。

　１：情報処理システム、２：情報処理装置２０：センサ部、１２：認識処理部、１１０：読出部、１１２：第１レンズ歪逆補正部（補正部）、１２０：特徴量計算部、１２４：認識処理実行部、１２５：第２レンズ歪補正部（第２補正部）。

Claims

　複数の画素が２次元アレイ状に配列された画素領域の一部として読み出し単位を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、
　前記読み出し単位をレンズの歪パラメータに基づいて補正し、前記画素信号を前記読出部に読み出させる補正部と、
　を備える、情報処理装置。
　前記補正部は、レンズの歪パラメータに基づいて、前記読み出し単位に対して歪補正の逆変換をかけて、前記読み出し単位を補正する、請求項１に記載の情報処理装置。
　歪パラメータに基づいて補正して読み出した前記画素信号に基づき特徴量を計算する特徴量計算部を、
　更に備える、請求項１に記載の情報処理装置。
　前記特徴量に基づき認識処理を行う認識処理実行部を、
　更に備える、請求項３に記載の情報処理装置。
　前記補正部は、直線状の座標列をレンズの歪パラメータに基づいて補正した座標位置を演算し、前記読出部は、補正した座標位置に基づく前記画素信号の読み出しを制御する、請求項１に記載の情報処理装置。
　前記補正部は、サブサンプリングの座標群をレンズの歪パラメータに基づいて補正した座標位置を演算し、前記読出部は、補正した座標位置に基づく前記画素信号の読み出しを制御する、請求項１に記載の情報処理装置。
　複数の画素が２次元アレイ状に配列された画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、
　前記画素領域に含まれる画素からの画素信号の座標をレンズの歪パラメータに基づいて補正する第２補正部と、
　を備える、情報処理装置。
　前記補正した画素信号に基づき認識処理を行う認識処理実行部を、
　更に備える、請求項７に記載の情報処理装置。
　前記認識処理実行部は、ポイントネット型の認識器を有する、請求項８に記載の情報処理装置。
　前記第２補正部は、前記読出部が読み出した画素信号の各行に対応する範囲に応じた前記補正した画素信号を前記認識処理実行部に供給する、請求項８に記載の情報処理装置。
　複数の画素が２次元アレイ状に配列された画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、
　複数のレンズに応じて学習した複数の認識器を有し、前記読み出した画素信号に基づき認識処理を行う認識処理実行部を、
　を備え、
　前記認識処理実行部は、前記画素信号の撮像に応じた認識器を用いて認識処理を行う、　情報処理装置。
　前記認識処理実行部は、前記画素信号の撮像に用いた光学系に対応する認識器を用いて認識処理を行う、請求項１１に記載の情報処理装置。
　前記認識処理実行部は、複数の異なる光学系に対して学習した認識器を用いて認識処理を行う、請求項１１に記載の情報処理装置。
　複数の画素が２次元アレイ状に配列されたセンサ部と、
　認識処理部と、を備える情報処理システムであって、
　前記認識処理部は、
　前記センサ部の画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、
　前記読み出し単位をレンズの歪パラメータに基づいて補正し、前記画素信号を前記読出部に読み出させる補正部と、
　を有する、情報処理システム。
　複数の画素が２次元アレイ状に配列されたセンサ部と、
　認識処理部と、を備える情報処理システムであって、
　前記認識処理部は、
　複数の画素が２次元アレイ状に配列された画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、
　前記画素領域に含まれる画素からの画素信号の座標をレンズの歪パラメータに基づいて補正する第２補正部と、
　を有する、情報処理システム。
　複数の画素が２次元アレイ状に配列されたセンサ部と、
　認識処理部と、を備える情報処理システムであって、
　前記認識処理部は、
　複数の画素が２次元アレイ状に配列された画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出部と、
　複数のレンズに応じて学習した複数の認識器を有し、前記読み出した画素信号に基づき認識処理を行う認識処理実行部を、
　を有し、
　前記認識処理実行部は、前記画素信号の撮像に応じた認識器を用いて認識処理を行う、情報処理システム。
　複数の画素が２次元アレイ状に配列された画素領域の一部として読み出し単位を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出工程と、
　前記読み出し単位をレンズの歪パラメータに基づいて補正し、前記画素信号を読み出させる補正工程と、
　を備える、情報処理方法。
　複数の画素が２次元アレイ状に配列された画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出工程と、
　前記画素領域に含まれる画素からの画素信号の座標をレンズの歪パラメータに基づいて補正する第２補正工程と、
　を備える、情報処理方法。
　複数の画素が２次元アレイ状に配列された画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出工程と、
　複数のレンズに応じて学習した複数の認識器を用いて、前記読み出した画素信号に基づき認識処理を行う認識処理実行工程を、
　を備え、
　前記認識処理実行工程は、前記画素信号の撮像に応じた認識器を用いて認識処理を行う、
　情報処理方法。
　複数の画素が２次元アレイ状に配列された画素領域の一部として読み出し単位を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出工程と、
　前記読み出し単位をレンズの歪パラメータに基づいて補正し、前記画素信号を読み出させる補正工程と、
　をコンピュータに実行させるプログラム。
　複数の画素が２次元アレイ状に配列された画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出工程と、
　前記画素領域に含まれる画素からの画素信号の座標をレンズの歪パラメータに基づいて補正する第２補正工程と、
　　をコンピュータに実行させるプログラム。
　複数の画素が２次元アレイ状に配列された画素領域の一部として読出画素を設定し、前記画素領域に含まれる画素からの画素信号の読み出しを制御する読出工程と、
　複数のレンズに応じて学習した複数の認識器を用いて、前記読み出した画素信号に基づき認識処理を行う認識処理実行工程を、コンピュータに実行させるプログラムであって、　前記認識処理実行工程は、前記画素信号の撮像に応じた認識器を用いた認識処理をコンピュータに実行させるプログラム。