JP6832155B2 - 画像処理装置、画像処理方法、及び画像処理システム - Google Patents

Description

本開示は、画像処理装置、画像処理方法、及び画像処理システムに関する。

画像から、当該画像の一部の領域（特徴領域、注目領域等）を特定する技術が知られている。例えば、下記特許文献１には、入力画像からの特徴領域の特定と、特徴領域が特定されなかった領域を高解像度化して得られた画像からの特徴領域の特定と、を行う技術が開示されている。

特開２０１０−２５２２７６号公報

上記のように画像の一部の領域を特定する技術においては、当該領域の特定に係る処理量を抑制することが望まれていた。

本開示によれば、画素信号を出力する複数の画素を有し、前記画素信号に基づいて得られる画像を出力する画像読出し部から、前記画素の数よりも少ない画素数の低解像度画像を受け取り、前記低解像度画像に基づいて、前記画像読出し部における注目領域を特定し、前記注目領域を指定する領域指定信号を前記画像読出し部へ出力する、第１の信号処理部を備える、画像処理装置が提供される。

また、本開示によれば、プロセッサが、画像読出し部の有する画素数よりも少ない画素数の低解像度画像を前記画像読出し部から受け取り、前記低解像度画像に基づいて前記画像読出し部における注目領域を特定し、前記注目領域を指定する領域指定信号を前記画像読出し部へ出力することを含む、画像処理方法が提供される。

また、本開示によれば、画素信号を出力する複数の画素を有し、前記画素信号に基づいて得られる画像を出力する画像読出し部と、前記画像読出し部が有する画素数よりも少ない画素数の低解像度画像を、前記画像読出し部から受け取り、前記低解像度画像に基づいて、前記画像読出し部における注目領域を特定し、前記注目領域を指定する領域指定信号を前記画像読出し部へ出力する、第１の信号処理部と、前記領域指定信号に基づいて前記画像読出し部が出力する注目領域画像に対して認識処理を行う第２の信号処理部と、を備える、画像処理装置、及び前記画像処理装置から受け取った前記注目領域画像に基づく機械学習により、前記認識処理に用いられる認識器を生成する学習部を備える、サーバ、を含む画像処理システムが提供される。

以上説明したように本開示によれば、注目領域の特定に係る処理量を抑制することが可能である。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態の比較例に係る画像処理装置の構成を示す説明図である。 同実施形態の他の比較例の構成を示す説明図である。 同実施形態の他の比較例の構成を示す説明図である。 本開示の一実施形態に係る画像処理システムの構成を説明するための説明図である。 同実施形態に係る画像読出し部１０の構成例を示す説明図である。 同実施形態に係る低解像度画像について説明するための模式図である。 同実施形態に係る中間解像度画像について説明するための模式図である。 同実施形態に係る中間解像度画像について説明するための模式図である。 同実施形態に係る中間解像度画像について説明するための模式図である。 同実施形態に係る複数の注目領域画像を得るためのＡＤ変換の例を説明するための説明図である。 同実施形態に係る画像処理装置１による認識に係る動作を示すフローチャート図である。 同実施形態に係る画像処理システム１０００による学習に係る動作を示すフローチャート図である。 イメージセンサの構成例を説明するための説明図である。 イメージセンサの構成例を説明するための説明図である。 情報処理装置のハードウェア構成例を示す説明図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、説明は以下の順序で行うものとする。
＜１．背景＞
＜２．構成＞
＜３．動作＞
＜４．変形例＞
＜５．ハードウェア構成例＞
＜６．応用例＞
＜７．むすび＞

＜１．背景＞
本開示の一実施形態に係る画像処理装置についての説明にあたり、まず図面を参照しながら本開示の一実施形態に係る画像処理装置の創作に至った背景を説明する。

近年、画像から、当該画像に写る被写体に関する認識処理（例えば、種別の認識処理や、属性の認識処理等）が行われている。画像からの認識処理は、例えば機械学習により得られる認識器を用いて行われる。

認識処理は、例えば画像を撮像するイメージセンサを備えた画像処理装置においても行われつつある。以下では、本開示の一実施形態に係る比較例として、認識処理を行う画像処理装置の例について図１を参照して説明する。図１は本実施形態の比較例に係る画像処理装置の構成を示す説明図である。

図１に示すように、画像処理装置６１は、画像読出し部６１１、学習・認識部６１２、及び認識器記憶部６１３を備える。画像読出し部６１１は、例えば、画素信号を出力する複数の画素を有し、当該画素信号をデジタル信号に変換した画像を出力する。画像読出し部６１１の機能は、例えばイメージセンサにより実現されてもよい。

学習・認識部６１２は、画像読出し部６１１から出力される画像に基づいて機械学習を行い、機械学習により得られた認識器を認識器記憶部６１３へ提供する。なお、機械学習の際、必要に応じて画像に写る被写体に関するラベルデータが入力されてもよい。ラベルデータは、例えば不図示の操作部を介してユーザにより入力されてもよい。

また、学習・認識部６１２は、認識器記憶部６１３に記憶された認識器を用いて、画像読出し部６１１から出力される画像を入力とした認識処理を行い、例えば画像に写る被写体の種別や属性を認識する。

認識器記憶部６１３は、学習・認識部６１２から提供される認識器を記憶する。

図１に示した画像処理装置において、学習・認識部６１２が画像読出し部６１１から出力される画像をそのまま用いて機械学習、及び認識処理を行うと、画像読出し部６１１が有する画素の数によっては処理量が膨大となってしまう場合がある。そのため、学習・認識部６１２は、例えば画像読出し部６１１から出力された画像を縮小した縮小画像を、縮小に係るパラメータを変更しながら生成（所謂ピラミッド画像生成）し、縮小画像に対して機械学習や認識処理を行うことが考えられる。

しかし、縮小画像を用いた場合であっても、画像処理装置６１の処理性能が低い場合には機械学習や認識処理に膨大な時間がかかる場合がある。そこで、図２に示すように、ネットワークを介して処理性能の高い他の装置で機械学習、及び認識処理を行わせることが考えられる。図２は、本実施形態の他の比較例に係る画像処理装置の構成を示す説明図である。

図２に示す画像処理装置６２は、画像読出し部６２１を備える。また、画像処理装置６２は、不図示の通信部による通信機能を有し、通信網５を介して、サーバ７２と接続される。

画像読出し部６２１は、図１を参照して説明した画像読出し部６１１と同様に、画素信号をデジタル信号に変換した画像を出力する。画像読出し部６２１から出力された画像は、サーバ７２へ送信される。

サーバ７２は、学習・認識部７２１と、認識器記憶部７２２を備える情報処理装置である。学習・認識部７２１は、図１を参照して説明した学習・認識部６１２と同様に、機械学習、及び認識処理を行うが、入力される画像が画像処理装置６２から受信した画像である点において、学習・認識部６１２と異なる。認識器記憶部７２２は、学習・認識部７２１から提供される認識器を記憶する。また、学習・認識部７２１による認識処理の結果は、サーバ７２から画像処理装置６２へ送信されてもよい。

ここで、サーバ７２の処理性能は、画像処理装置６２の処理性能よりも高いことが望ましい。係る構成によれば、画像処理装置６２の処理性能が低い場合であっても、サーバ７２が機械学習、及び認識処理を行うことで、より高速に機械学習、及び認識処理を行うことが可能となる場合がある。

しかし、画像処理装置６２とサーバ７２との間のネットワーク通信に係る遅延が発生するため、例えばリアルタイムに認識処理を行うことは依然として困難であった。そこで、図３に示すように、機械学習を行う機能はサーバに残しつつ、機械学習により得られた認識器を用いた認識処理は画像処理装置で行うことも考えられる。図３は、本実施形態の他の比較例の構成を示す説明図である。

図３に示す画像処理装置６３は、画像読出し部６３１、認識部６３２、及び認識器記憶部６３３を備える。また、画像処理装置６３は、不図示の通信部による通信機能を有し、通信網５を介して、サーバ７３と接続される。

画像読出し部６３１は、図１を参照して説明した画像読出し部６１１と同様に、画素信号をデジタル信号に変換した画像を出力する。画像読出し部６３１から出力される画像は、認識部６３２へ出力されると共に、サーバ７３へ送信される。

認識部６３２は、認識器記憶部６３３に記憶された認識器を用いて、画像読出し部６３１から出力される画像を入力とした認識処理を行う。認識器記憶部６３３は、サーバ７３から受信した認識器を記憶する。

サーバ７３は、学習部７３１を備える。学習部７３１は、画像処理装置６３から受信した画像を入力として、機械学習を行い、機械学習により得られた認識器を画像処理装置６３へ送信する。

上記の構成により、認識処理はネットワーク通信に伴う遅延の影響を受けず、画像処理装置６３はより高速に認識処理を行うことが可能となり得る。ただし、それでもなお、認識処理に係る処理量は大きいため、例えば上述した縮小画像の生成が必要となり得る。しかし、縮小画像を生成するための縮小処理が発生するため、より処理量を削減する余地があった。また、縮小画像に写る被写体の領域は小さい場合があり、被写体に係る認識精度が低下する恐れがあった。

そこで、上記事情を一着眼点にして本実施形態を創作するに至った。本実施形態によれば、画像読出し部から出力される低解像度画像から特定した注目領域の高解像度画像を画像読出し部から取得して認識処理を行うことで、処理量を抑制しつつ、認識精度を向上させることが可能となり得る。以下、このような効果を有する本開示の一実施形態の構成、及び動作について説明する。

＜２．構成＞
（全体構成）
図４は本開示の一実施形態に係る画像処理システムの構成を説明するための説明図である。図４に示すように、本実施形態に係る画像処理システム１０００は、画像処理装置１、通信網５、及びサーバ７を備える。以下では、本実施形態に係る画像処理システム１０００の全体構成を説明した後、画像処理装置１の構成についてより詳細に説明する。

画像処理装置１は、イメージセンサによる撮像機能を有し、例えばデジタルスチルカメラやデジタルビデオカメラ等であってもよいし、スマートフォンやＰＣ（Personal Computer）等であってもよい。画像処理装置１は、例えば撮像により得られる画像に写る被写体に関する認識処理を行う。また、画像処理装置１は、撮像により得られる画像から検出される注目領域（ＲＯＩ、Region of Interest）の画像をサーバ７へ送信する。なお、画像処理装置１の詳細な構成については後述する。

通信網５は、通信網５に接続されている装置、またはシステムから送信される情報の有線、または無線の伝送路である。例えば、通信網５は、インターネット、電話回線網、衛星通信網等の公衆回線網や、Ethernet（登録商標）を含む各種のＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等を含んでもよい。また、通信網５は、ＩＰ−ＶＰＮ（Internet Protocol-Virtual Private Network）等の仮想を含む専用回線網を含んでもよい。図４に示すように、画像処理装置１とサーバ７は、通信網５を介して相互に接続され、情報を通信することが可能である。

サーバ７は、学習部７０１を備える情報処理装置である。学習部７０１は、学習部７３１は、図３を参照して説明した学習部７３１と同様に、画像処理装置１から受信した画像を入力として、機械学習を行い、認識器を生成する。また、サーバ７は、機械学習により生成された（得られた）認識器を画像処理装置１へ送信する。なお、上述のように、本実施形態においてサーバ７が画像処理装置１から受信し、機械学習の入力とする画像は、注目領域に係る画像である。

（画像処理装置の構成）
以上、本実施形態に係る画像処理システム１０００の全体構成について説明した。つづいて、画像処理装置１の詳細な構成について説明する。画像処理装置１は、図４に示すように画像読出し部１０、第１の信号処理部１０１、第２の信号処理部１０２、及び認識器記憶部１０３を備える。

画像読出し部１０は、画素信号を出力する複数の画素を有し、当該画素信号をデジタル信号に変換した画像を出力する。画像読出し部１０の機能は、例えば２層構造のイメージセンサにより実現されてもよい。

図５は、画像読出し部１０の構成例を示す説明図である。図５に示すように例えば、画像読出し部１０は、（半導体）基板である画素基板１１と回路基板１２を含む。なお、本実施形態において、画素基板１１と回路基板１２とは積層されている。

図５に示すように、画素基板１１は、光電変換を行い、画素信号を出力する複数の画素２２が２次元のマトリクス状に配列された画素アレイ２１を有する。また、画素アレイ２１を構成する複数の画素２２は、複数の画素からなる画素ブロック２３に区分されている。図５に示す例では、画素アレイ２１は、８×８画素ごとに１の画素ブロック２３に区分されている。なお、本実施形態においては図５に示すように画素ブロック２３を８×８画素の合計６４画素で構成しているが、画素ブロック２３を構成する画素２２の数や形状は任意であり、８×８画素に限定されるものではない。

また、図５に示すように、回路基板１２は、画素基板１１の画素ブロック２３にそれぞれ対応する複数のＡＤＣ３２（ＡＤ変換部）が２次元のマトリクス状に配列されたＡＤＣアレイ３１と、水平領域制御部３３と、垂直領域制御部３４と、出力部３５とを有する。

ＡＤＣアレイ３１は、画素アレイ２１が有する画素ブロック２３と同一の数のＡＤＣ３２を有する。ＡＤＣ３２は、対応する画素ブロック２３に属する複数の画素２２から出力されるアナログの画素信号をデジタル信号に変換して（ＡＤ変換して）、デジタルの画素値を得る。なお、図５では回路基板１２は、ＡＤＣ３２がアレイ状に配置されたＡＤＣアレイ３１を有する例を示しているが、本技術は係る例に限定されず、画素ブロック２３とＡＤＣ３２が１対１で対応していればＡＤＣ３２の配置はアレイ状でなくてもよい。例えば、ＡＤＣ３２はカラム状（短冊状）であってもよい。

水平領域制御部３３は、水平制御信号を画素ブロック２３とＡＤＣ３２へ入力し、垂直領域制御部３４は、垂直制御信号を画素ブロック２３とＡＤＣ３２へ入力する。例えば、水平制御信号と垂直制御信号はＨ（Ｈｉｇｈ）レベル、及びＬ（Ｌｏｗ）レベルのいずれかであり、水平制御信号と垂直制御信号の組み合わせに応じて、画素ブロック２３内のどの画素を読み出すかの指定ができたり、どのＡＤＣ３２が動作をして画素値を出力するかなどの選択ができる。上記のようにして得られた画素値は出力部３５から出力される。出力部３５からの出力は、画像（画素値の集合）としても扱われ得る。

上述した画像読出し部１０は、ＡＤＣ３２に対応する画素ブロック２３を１単位として、並列にＡＤ変換を行うことが可能であり、高速に画像が出力され得る。

また、画像読出し部１０は、低解像度画像を後述する第１の信号処理部１０１へ出力する。

図６は、低解像度画像について説明するための模式図である。図６に示すように、ＡＤＣ３２が画素ブロック２３ごとに、１の画素２２ａについてのみＡＤ変換を行うことで、低解像度画像Ｇ１１が得られる。なお、低解像度画像Ｇ１１内の解像度（画素密度）を一定にするため、当該画素２２ａは、すべての画素ブロック２３における同じ位置（図６に示す例では左上の位置）であることが望ましい。上述のようにして得られる低解像度画像は、画素アレイ２１に含まれる画素の数よりも少ない画素数の画像であるため画像の出力や、後段の処理に係る時間が短縮され得る。また、上述したように画像読出し部１０が有するＡＤＣ３２は画素ブロック２３と対応付けられ、並列にＡＤ変換を行うことが可能であるため、例えば順次水平に走査が行われる場合と比較してより高速に低解像度画像を得ることが可能である。

また、画像読出し部１０は、後述する第１の信号処理部１０１の要求に応じて、上述した画素２２ａとは異なる画素に基づく画素値をさらに第１の信号処理部１０１へ出力してもよい。係る構成により、第１の信号処理部１０１は、当該画素信号を用いて、低解像度画像を補完して高解像度化した中間解像度画像を生成することが可能になり得る。

図７Ａ〜図７Ｃは、中間解像度画像について説明するための模式図である。図７Ａに示す例では、図６を参照して説明した例と同様に、１の画素ブロック２３ごとに、１の画素２２ａに基づく画素値が得られて、低解像度画像Ｇ２１が第１の信号処理部１０１へ出力される。

図７Ｂに示す例では、画像読出し部１０は、１の画素ブロック２３ごとに、画素２２ａとは異なる３の画素２２ｂに係る画素値を第１の信号処理部１０１へ出力する。なお、図７Ｂに示すように、画素２２ｂは、例えば当該画素ブロック２３の画素２２ａと隣の画素ブロック２３の画素２２ａとの中間の画素であることが望ましい。第１の信号処理部１０１は、受け取った画素２２ｂに係る画素値を用いて、低解像度画像Ｇ２１を補完することで高解像度化し、中間解像度画像Ｇ２２を生成し得る。

図７Ｃに示す例では、画像読出し部１０は、１の画素ブロック２３ごとに、画素２２ａ、及び画素２２ｂとは異なる１２の画素２２ｃに係る画素値を第１の信号処理部１０１へ出力する。なお、図７Ｃに示すように、画素２２ｃは、例えば当該画素ブロック２３の画素２２ａまたは画素２２ｂと画素２２ｂとの中間の画素、または当該画素ブロック２３の画素２２ｂと隣の画素ブロック２３の画素２２ａとの中間の画素であることが望ましい。第１の信号処理部１０１は、受け取った画素２２ｃに係る画素値を用いて、中間解像度画像Ｇ２２を補完することで、中間解像度画像Ｇ２２より高解像度な中間解像度画像Ｇ２３を生成し得る。

上述したように、第１の信号処理部１０１が画像読出し部１０から低解像度画像を受け取り、また補完用の画素値を受け取って中解像度画像を得ることで、比較例として説明したように縮小処理により異なるサイズの縮小画像を生成する場合と比較して、処理量を抑制することが可能である。

なお、上述した例では、画像読出し部１０が補完用の画素値を出力し、第１の信号処理部１０１が補完処理により中間解像度画像を生成する例を説明したが、画像読出し部１０は、既に出力済みの画素値も含め、中間解像度画像として出力してもよい。係る構成によれば、第１の信号処理部１０１による処理量が削減される。ただし、第１の信号処理部１０１による補完処理が高速な場合には、補完用の画素値を受け取って中間解像度画像を生成することにより、画素値の出力の重複を避けることが可能であるため、画像読出し部１０から中間解像度画像を受け取る場合よりも高速に中間解像度画像を得ることが可能となる。

なお、図７Ｂ、図７Ｃに示したのは一例であり、中間解像度画像の生成のための補完に用いられる画素２２ｂ、画素２２ｃの位置は図７Ｂ、図７Ｃの例に限定されない。

また、画像読出し部１０は、後述する第１の信号処理部１０１により特定される注目領域の画像（以下、注目領域画像とも呼称する）を後述する第２の信号処理部１０２へ出力する。また、注目領域画像は、不図示の通信部を介してサーバ７へも送信される。

例えば、画像読出し部１０は、第１の信号処理部１０１から、画像読出し部１０における注目領域を指定する領域指定信号を受け取り、当該領域指定信号に基づいて指定される画素ブロック２３に含まれる画素に係るＡＤ変換を行って注目領域画像を出力してもよい。また、画像読出し部１０は、第１の信号処理部１０１が、複数の注目領域を検出した場合、当該複数の注目領域に対応する複数の注目領域画像を出力し得る。

図８は、複数の注目領域画像を得るためのＡＤ変換の例を説明するための説明図である。図８に示すように、ＡＤＣアレイ３１に含まれるＡＤＣ３２には、水平制御線３７ａ〜３７ｙと、垂直制御線３８ａ〜３８ｘとが接続されている。なお、水平制御線３７ａ〜３７ｙは、図５に示した水平領域制御部３３に接続され、水平領域制御部３３から水平制御線３７ａ〜３７ｙを介してＡＤＣ３２へ水平制御信号が入力される。同様に、垂直制御線３８ａ〜３８ｘは、図５に示した垂直領域制御部３４に接続され、垂直領域制御部３４から垂直制御線３８ａ〜３８ｘを介してＡＤＣ３２へ垂直制御信号が入力される。

図８に示すように、ＡＤＣ３２はラッチ部３６を有し、水平制御信号、及び垂直制御信号に基づいて、ＡＤＣ３２の動作情報（スタンバイまたはアクティブ）が０または１でラッチ部３６に書き込まれる。そして、ラッチ部３６に書き込まれた動作情報がアクティブであるＡＤＣ３２のみが動作してＡＤ変換を行う。例えば、ラッチ部３６は、入力される水平制御信号、及び垂直制御信号の論理積演算により、水平制御信号、及び垂直制御信号の両方がＨレベルである場合に１、それ以外の場合に０が書き込まれてもよい。また、ラッチ部３６は、入力される水平制御信号、及び垂直制御信号の論理和演算により、水平制御信号、及び垂直制御信号のいずれかがＨレベルである場合に１、それ以外の場合に０が書き込まれてもよい。

図８に示す例では、領域指定信号に基づく水平制御信号、及び垂直制御信号の組み合わせにより、矩形領域３９ａと、矩形領域３９ｂがアクティブ状態となり、矩形領域３９ａと、矩形領域３９ｂに含まれるＡＤＣ３２が動作して画素値を出力する。その結果、矩形領域３９ａと、矩形領域３９ｂのそれぞれに対応する画素ブロックに基づく画像が注目領域画像として出力され得る。なお、領域指定信号に基づいて指定されたＡＤＣ３２（図８の例では矩形領域３９ａ、矩形領域３９ｂ）、またはそれに対応する画素ブロック２３のことを、画像読出し部１０における注目領域と呼ぶ場合がある。

なお、図８に示すように、領域指定信号により指定される複数の画像読出し部１０における注目領域は、大きさが異なっていてもよく、また、その結果、注目領域画像のサイズ（画像サイズ）も異なり得る。また、上述のようにＡＤＣ３２の動作情報が制御されることで、複数の注目領域において、ＡＤＣ３２によるＡＤ変換は並列に行われ、複数の注目領域画像が並列に出力され得る。

なお、上述のようにして得られる注目領域画像は、図７Ａ〜図７Ｃに示した低解像度画像Ｇ２１、及び中間解像度画像Ｇ２２，Ｇ２３よりも解像度（画素密度）の高い画像である。したがって、注目領域画像を入力として後述する第２の信号処理部１０２が認識処理を行うことで、縮小画像を入力として認識処理を行う場合よりも、高精度な認識処理が可能となる。

さらに、注目領域画像の画素数は、通常、画像読出し部１０が有する全ての画素の数よりも小さい（すなわち、注目領域画像は、全画素に基づく画像のうち一部の画像である）。したがって、注目領域画像を入力として機械学習、及び認識処理を行うことで、処理量を抑制することが可能である。

以上、画像読出し部１０の構成例について説明した。続いて、図４に戻って説明を続ける。

図４に示す第１の信号処理部１０１は、画像読出し部１０から図５を参照して説明した低解像度画像を受け取り、画像読出し部１０における注目領域の特定（検出）を行う。また、第１の信号処理部１０１は、注目領域を指定する領域指定信号を画像読出し部１０へ出力する。例えば、低解像度画像における注目領域が特定された場合、低解像度画像における注目領域内の画素値に対応する１または複数のＡＤＣ３２が、画像読出し部における注目領域として特定され得る。

第１の信号処理部１０１が出力する領域指定信号は、例えば注目領域における左上のＡＤＣ３２の位置と右下のＡＤＣ３２の位置を指定する信号であってもよいし、左上のＡＤＣ３２の位置と、注目領域のサイズ（縦×横）を指定する信号であってもよい。また、領域指定信号は、係る例に限定されず、注目領域を指定することが可能な信号であれば多様な形式であってよい。

低解像度画像からの第１の信号処理部１０１による注目領域の特定は、多様な方法で行われ得る。例えば、第１の信号処理部１０１は、予め定められた形状パターンとのマッチングを行うパターンマッチングにより、注目領域を特定してもよい。係る構成によれば、予め定められた形状パターンを含む領域が注目領域として特定され得る。

また、第１の信号処理部１０１は、画像から抽出される特徴量に基づいて物体と物体の境界（エッジ）を検出することで注目領域を特定してもよい。係る構成によれば、被写体（前景物体）が写る領域が注目領域として特定され得る。

なお、第１の信号処理部１０１による注目領域の特定方法は上記の例に限定されない。例えば、被写体の形状、または被写体の色の一致度を用いて特定する方法や、複数枚の画像を用いた時系列的な処理により、前フレームで抽出した注目領域の場所の情報を用いても良いし、被写体の動きから特定する方法が採用されてもよい。また、第１の信号処理部１０１は、機械学習に基づく被写体（物体)検出により、注目領域を特定してもよく、例えば被写体検出により検出される所定の種別の被写体（例えば人、顔、車両等）の写る領域を、注目領域として特定してもよい。

注目領域画像は、後述する第２の信号処理部１０２による認識処理の入力となるため、当該認識処理の入力として適切な注目領域画像が得られるような注目領域の特定方法が当該認識処理に応じて適宜選択されることが望ましい。

係る構成により、第２の信号処理部１０２は画像読出し部１０が有する全ての画素に基づく画像ではなく、一部の領域の画像に対してのみ認識処理を行えばよいため、認識処理に係る処理量が削減される。

また、第１の信号処理部１０１は、低解像度画像に基づいて注目領域を特定できなかった場合に、画像読出し部１０へ、低解像度画像を高解像度化するために、当該低解像度画像に含まれない画素値を要求してもよい。そして、第１の信号処理部１０１は、画像読出し部１０から、当該低解像度画像に含まれない画素値を受け取って、中間解像度画像を生成し、当該中間解像度画像に基づいて、注目領域を特定してもよい。ここで生成される中間解像度画像は、図７Ａ〜図７Ｃを参照して説明したように、低解像度画像よりも多い画素数の画像である。また、中間解像度画像の画素数は、画像読出し部１０が有する全ての画素の数よりも少ないことが望ましい。

上記のように、中間解像度画像に基づいて注目領域を特定することにより、低解像度画像では注目領域を特定できなかった場合であっても、注目領域を特定することが可能である。

なお、図７Ｃを参照して説明したように、中間解像度画像を更に高画質化することも可能である。例えば、第１の中間解像度画像に基づいて注目領域が特定できなかった場合、第１の信号処理部１０１は、第１の中間解像度画像をさらに高解像度化するために、第１の中間解像度画像に含まれない画素値を画像読出し部１０へ要求してもよい。そして、第１の信号処理部１０１は、画像読出し部１０から受け取った第１の中間解像度画像に含まれない画素値に基づいて、第１の中間解像度画像よりも画素数の多い第２の中間解像度画像を生成して、第２の中間解像度画像に基づいて注目領域を特定してもよい。

係る構成によれば、注目領域が特定されるまで、繰り返し、中間解像度画像の生成と注目領域の特定が行われ得る。

なお、図７Ａ〜図７Ｃを参照して説明したように、第１の信号処理部１０１は、画像読出し部１０から直接的に中間解像度画像を受け取り、当該中間解像度画像に基づいて注目領域を特定してもよい。

また、第１の信号処理部１０１は、低解像度画像に基づいて、複数の注目領域を特定してもよい。図８を参照して説明したように、複数の注目領域が特定された場合、複数の注目領域において、ＡＤＣ３２によるＡＤ変換が並列に行われ、対応する複数の注目領域画像が並列に出力され得る。

第２の信号処理部１０２は、領域指定信号に基づいて画像読出し部１０が出力する注目領域画像に対して認識処理を行う。第２の信号処理部１０２の認識処理が、画像読出し部１０の有する全ての画素に基づく画像ではなく、注目領域画像に対して行われることにより、処理量が抑えられる。また、注目領域画像は、低解像度画像よりも解像度（画像密度）が高く、例えば、全ての画素に基づく画像と同等の解像度を有するため、縮小画像を用いて認識処理を行う場合よりも高精度に認識処理を行うことが可能となる。

第２の信号処理部１０２が行う認識処理は、特に限定されないが、例えば、第１の信号処理部１０１による注目領域の特定において対象とする情報よりも詳細な情報を得るための認識処理であってもよい。

例えば、第１の信号処理部１０１が被写体の種類を特定せずに被写体の領域を注目領域として特定していた場合、第２の信号処理部１０２による認識処理は、被写体の種別を認識する処理であってもよい。被写体の種別は、例えば、人、動物（犬、猫など）、貨幣、キャッシュカード等のカード、車両、車両のナンバープレート、信号等であってもよい。

また、第１の信号処理部１０１が所定の種別の被写体を検出して、検出された被写体の領域を注目領域として特定していた場合、第２の信号処理部１０２による認識処理は、当該被写体のより詳細な情報や、属性等を認識する処理であってもよい。例えば、第１の信号処理部１０１が人(人物)を検出し、人物領域を注目領域として特定していた場合、第２の信号処理部１０２による認識処理は、人物を識別（例えば名前やＩＤとの対応付け）処理であってもよい。また、第１の信号処理部１０１が人の顔を検出し、顔領域を注目領域として特定していた場合、第２の信号処理部１０２による認識処理は、性別、年齢、表情、感情等の属性を認識する処理であってもよい。

もちろん第２の信号処理部１０２による認識処理は上記の例に限定されず、多様な認識処理が行われてよい。

また、第２の信号処理部１０２は、認識器記憶部１０３に記憶された認識器を用いて、認識処理を行ってもよい。当該認識器は、上述したように、サーバ７が行う注目領域画像に基づく機械学習により得られる。なお、サーバ７が行う機械学習の手法は特に限定されないが、例えばＣＮＮ（Convolutional Neural Network）に基づく手法であってもよく、係る場合、機械学習により得られる認識器はニューラルネットワークであってもよい。

なお、第２の信号処理部１０２が認識処理を行って得られた認識結果は、例えば画像処理装置１が有する表示部（不図示）に表示されてもよいし、不図示の他の装置へ出力されてもよい。

認識器記憶部１０３は、サーバ７から不図示の通信部が受信した認識器を記憶する。認識器記憶部１０３は、サーバ７から認識器が受信された際に既に認識器を記憶していた場合、新たに受信された認識器により更新(上書き)を行ってもよい。

＜３．動作＞
以上、本実施形態の構成例について説明した。続いて、本実施形態に係る動作例について、図９、図１０を参照して説明する。図９は、本実施形態に係る画像処理装置１による認識に係る動作を示すフローチャート図である。

まず、図９に示すように、画像読出し部１０が低解像度画像を第１の信号処理部１０１へ出力する（Ｓ１０２）。続いて、第１の信号処理部１０１が注目領域の特定を行う（Ｓ１０４）。

ステップＳ１０４で注目領域を特定できなかった場合（Ｓ１０６においてＮＯ）、図７Ａ〜図７Ｃを参照して説明したように画像が高解像度化（中間解像度画像の生成）され（Ｓ１０８）、ステップＳ１０４に戻って中間解像度画像に基づいて注目領域が特定される。

一方、ステップＳ１０４で注目領域を特定できた場合（Ｓ１０６においてＹＥＳ）、第１の信号処理部１０１から画像読出し部１０へ出力される領域指定信号に基づき、注目領域画像が第２の信号処理部１０２へ出力される（Ｓ１１２）。

続いて、第２の信号処理部１０２が注目領域画像に対して認識処理を行う（Ｓ１１４）。

以上、画像処理装置１による認識に係る動作を説明したが、図９に示した動作は一例であって本実施形態は係る例に限定されない。また、図９に示したステップＳ１０２〜Ｓ１１４の処理は適宜（例えば撮像が行われる毎に）繰り返し行われてもよい。

続いて、図１０を参照し、画像処理システム１０００による学習に係る動作について説明する。図１０は、画像処理システム１０００による学習に係る動作を示すフローチャート図である。

まず、図１０に示すように、画像処理装置１からサーバ７へ、注目領域画像が送信される（Ｓ２０２）。なお、ステップＳ２０２の処理は、例えば図９のステップＳ１１２の処理に続いて、または同時に行われてもよい。

注目領域画像を受信したサーバ７の学習部７０１は、注目領域画像に基づく機械学習を行う（Ｓ２０４）。ステップＳ２０４において、必要に応じて注目領域画像に写る被写体に関するラベルデータがサーバ７のユーザにより入力され、注目領域画像と共に学習されてもよい。

続いて、サーバ７から画像処理装置１へ、ステップＳ２０４の機械学習により得られた認識器が送信される（Ｓ２０６）。認識器を受信した画像処理装置１は、認識器記憶部１０３に記憶される認識器を新たに受信した認識器で更新する（Ｓ２０８）。

以上、画像処理システム１０００による学習に係る動作について説明したが、図１０に示した動作は一例であって本実施形態は係る例に限定されない。また、図１０に示したステップＳ２０２の注目領域画像の送信処理は注目領域画像が得られる毎に行われてもよいし、複数の注目領域画像が定期的にまとめて送信されてもよい。また、ステップＳ２０４処理も、注目領域画像を受信する毎に行われてもよいし、定期的に行われてもよい。

＜４．変形例＞
以上、本開示の一実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。

（変形例１）
上記実施形態では、画像処理装置１がサーバ７による機械学習に基づいて、認識器を更新する例を説明したが、本技術は係る例に限定されない。例えば、画像処理装置１の認識器記憶部１０３には学習により得られた認識器が予め記憶され、当該認識器は更新されなくてもよい。係る場合には、画像処理装置１は通信機能を有していなくてもよい。

（変形例２）
また、図４に示す例では、画像処理システム１０００が１のサーバ７と、１の画像処理装置１を含む例を説明したが、本技術は係る例に限定されない。例えば、画像処理システム１０００は１のサーバと、複数の画像処理装置を含んでもよい。係る場合、サーバは、複数の画像処理装置から注目領域画像を受け取って機械学習を行うことが出来るため、より高精度な認識器を生成し得る。

（変形例３）
また、上記実施形態では、注目領域画像のサイズ（画像サイズ）は第１の信号処理部１０１の特定処理に応じて異なり得るである例を説明したが、本技術は係る例に限定されない。例えば、第２の信号処理部１０２が受け取る注目領域画像の画像サイズは、第２の信号処理部１０２の行う認識処理に応じた画像サイズであってもよい。係る場合、例えば、画像読出し部１０の注目領域に含まれるＡＤＣ３２は、当該ＡＤＣ３２に対応する画素ブロック２３に含まれる全ての画素に係るＡＤ変換を行わなくてもよく、当該画像サイズに応じた画素に係るＡＤ変換だけを行ってもよい。係る構成により、第２の信号処理部１０２の行う認識処理への入力画像のサイズに制限がある場合に、入力画像のサイズ変更処理（例えば縮小処理）を行う必要がないため、処理量が抑制され得る。なお、上記のように、画像サイズに応じた画素に係るＡＤ変換だけが行われるためには、例えば第１の信号処理部１０１から出力される領域指定信号に、当該画像サイズや、当該画像サイズに応じた画素に係る情報が含まれてもよい。

＜５．ハードウェア構成＞
（イメージセンサの構成例）
上述した画像処理装置の機能のうち少なくとも一部は、イメージセンサにより実現することも可能である。図１１、図１２は、イメージセンサの構成例を説明するための説明図である。

図１１に示すように、イメージセンサ８は、積層される画素基板８１と回路基板８２とを含む。画素基板８１は、例えば図５を参照して説明した画素基板１１と同様の構成であってもよい。また、回路基板８２は、図５を参照して説明した回路基板１２の構成に加えてデジタル信号処理回路を含み、図４を参照して説明した第１の信号処理部１０１、及び第２の信号処理部１０２として機能してもよい。すなわち、イメージセンサ８は、図４に示す画像読出し部１０、第１の信号処理部１０１、及び第２の信号処理部として機能し得る。同一の半導体基板（イメージセンサ８）に画像読出し部１０、第１の信号処理部１０１、及び第２の信号処理部の機能が含まれることで、例えば各部の間の信号やデータの入出力に係る遅延が低減され、例えば上述した処理がより高速に行われ得る。

また、図１２に示すように、ＤＳＰ(Digital Signal Processor)１０５により上述した画像処理装置の一部の機能が実現されてもよい。係る場合、画素基板８１は、例えば図５を参照して説明した画素基板１１と同様の構成であってもよく、回路基板８２は、図５を参照して説明した回路基板１２の構成に加えてデジタル信号処理回路を含み、図４を参照して説明した第１の信号処理部１０１として機能してもよい。係る場合、ＤＳＰ１０５が図４を参照して説明した第２の信号処理部１０２として機能してもよい。

また、回路基板８２は、図５を参照して説明した回路基板１２と同様の構成であってもよい。係る場合、ＤＳＰ１０５が図４を参照して説明した第１の信号処理部１０１、及び第２の信号処理部１０２として機能してもよい。

画像処理装置１は、上述したイメージセンサ８、及びＤＳＰ１０５を備えることで、図４に示した各機能を実現してもよい。なお、画像処理装置１は、ＤＳＰ１０５に代えて、又はこれとともに、ＦＰＧＡ（Field-Programmable Gate Array）やＡＰ(Application Processor）等の処理回路を備えてもよい。

（情報処理装置の構成例）
また、上述した一連の情報処理は、汎用のパーソナルコンピュータ等の情報処理装置により行われてもよい。図１３は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図１３に示す情報処理装置９００は、例えば、図４に示した画像処理装置１、及びサーバ７を実現し得る。本実施形態に係る画像処理装置１、及びサーバ７による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。

図１３に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、第１の信号処理部１０１、第２の信号処理部１０２、または学習部７０１を形成し得る。

ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置９０８は、例えば、認識器記憶部１０３を形成し得る。

ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。

接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。

通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。

センサ９１５は、例えば、イメージセンサ、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。センサ９１５は、例えば、画像読出し部１０を形成し得る。

なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの仮想を含む専用回線網を含んでもよい。

以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

＜６．応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１４に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１４の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図１５は、撮像部１２０３１の設置位置の例を示す図である。

図１５では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。

撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１５には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１、マイクロコンピュータ１２０５１に適用され得る。例えば、図４に示した画像処理装置１は撮像部１２０３１、またはマイクロコンピュータ１２０５１に適用することが可能である。撮像部１２０３１に本開示に係る技術を適用することより、例えば撮像画像からより高速、かつ高精度に歩行者や標識、ナンバープレート等の認識処理を行うことが可能となる。

＜７．むすび＞
以上説明したように、本開示の実施形態によれば、認識処理に先立って注目領域の特定が行われることにより、認識処理に係る処理量を抑制すると共に、認識精度を向上させることが可能である。また、画素ブロックごとに並列に画素値を出力可能な画像読出し部と連携した処理を行うことで、低解像度の画像を高速に取得し、また段階的な解像度調整が可能なことで、注目領域の特定に係る処理量を抑制し、より高速に注目領域の特定を行うことが可能である。

また、認識の対象となる被写体の領域を特定した注目領域画像が機械学習に用いられることで、機械学習により得られる認識器の精度も向上し得る。例えば、画像読出し部の全ての画素に基づく全体の画像を学習して得られる認識器よりも、既に被写体の領域が特定された注目領域画像を学習して得られる認識器の方が高精度であり得る。また、同様に、注目領域画像が機械学習に用いられることで、得られる認識器の小型化（簡易化）にもつながり、更なる処理量の抑制が可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、画像読出し部は一部の画素に係るＡＤ変換を行うことで低解像度画像を出力した例を説明したが、本技術はかかる例に限定されない。例えば、全ての画素に係るＡＤ変換を行った後に、平均化処理等の信号処理を行って低解像度画像を生成し、第１の信号処理部へ出力してもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
画素信号を出力する複数の画素を有し、前記画素信号に基づいて得られる画像を出力する画像読出し部から、前記画素の数よりも少ない画素数の低解像度画像を受け取り、前記低解像度画像に基づいて、前記画像読出し部における注目領域を特定し、前記注目領域を指定する領域指定信号を前記画像読出し部へ出力する、第１の信号処理部を備える、画像処理装置。
（２）
前記第１の信号処理部は、前記低解像度画像に基づいて前記注目領域を特定できない場合に、前記画像読出し部から、前記低解像度画像に含まれない画素値を受け取って前記低解像度画像よりも画素数の多い中間解像度画像を生成し、前記中間解像度画像に基づいて、前記注目領域を特定する、前記（１）に記載の画像処理装置。
（３）
前記第１の信号処理部は、第１の中間解像度画像に基づいて前記注目領域を特定できない場合に、前記画像読出し部から、前記第１の中間解像度画像に含まれない画素値を受け取って前記第１の中間解像度画像よりも画素数の多い第２の中間解像度画像を生成し、前記第２の中間解像度画像に基づいて、前記注目領域を特定する、前記（２）に記載の画像処理装置。
（４）
前記第１の信号処理部は、前記低解像度画像に基づいて前記注目領域を特定できない場合に、前記画像読出し部から、前記低解像度画像よりも多い画素数の中間解像度画像を受け取って、前記中間解像度画像に基づいて、前記注目領域を特定する、前記（１）に記載の画像処理装置。
（５）
前記第１の信号処理部は、前記低解像度画像に基づいて複数の前記注目領域を特定する、前記（１）〜（４）のいずれか一項に記載の画像処理装置。
（６）
前記画像処理装置は、前記画像読出し部をさらに備え、
前記画像読出し部は、複数の画素からなる画素ブロックと対応付けられ、前記画素ブロックの数と同一の数のＡＤ変換部をさらに有し、
前記ＡＤ変換部は、前記領域指定信号に基づいて、前記画素信号のＡＤ変換を行う、前記（１）〜（５）のいずれか一項に記載の画像処理装置。
（７）
前記低解像度画像は、前記ＡＤ変換部が、前記ＡＤ変換部と対応付けられた前記画素ブロックに含まれる画素の数よりも少ない画素から出力される前記画素信号の前記ＡＤ変換を行うことにより得られる、前記（６）に記載の画像処理装置。
（８）
前記画像処理装置は、前記領域指定信号に基づいて前記画像読出し部が出力する注目領域画像に対して認識処理を行う第２の信号処理部をさらに備える、前記（１）〜（７）のいずれか一項に記載の画像処理装置。
（９）
前記第２の信号処理部は、前記第２の信号処理部が行う前記認識処理に応じたサイズの前記注目領域画像を前記画像読出し部から受け取る、前記（８）に記載の画像処理装置。
（１０）
前記第２の信号処理部は、前記注目領域画像に基づく機械学習により得られる認識器を用いて、前記認識処理を行う、前記（８）または（９）に記載の画像処理装置。
（１１）
前記画像処理装置は、前記第１の信号処理部として機能するイメージセンサを備える、前記（１）〜（１０）のいずれか一項に記載の画像処理装置。
（１２）
前記画像処理装置は、前記第１の信号処理部、及び前記第２の信号処理部として機能するイメージセンサを備える、前記（８）〜（１０）のいずれか一項に記載の画像処理装置。
（１３）
プロセッサが、画像読出し部の有する画素数よりも少ない画素数の低解像度画像を前記画像読出し部から受け取り、前記低解像度画像に基づいて前記画像読出し部における注目領域を特定し、前記注目領域を指定する領域指定信号を前記画像読出し部へ出力することを含む、画像処理方法。
（１４）
画素信号を出力する複数の画素を有し、前記画素信号に基づいて得られる画像を出力する画像読出し部と、
前記画像読出し部が有する画素数よりも少ない画素数の低解像度画像を、前記画像読出し部から受け取り、前記低解像度画像に基づいて、前記画像読出し部における注目領域を特定し、前記注目領域を指定する領域指定信号を前記画像読出し部へ出力する、第１の信号処理部と、
前記領域指定信号に基づいて前記画像読出し部が出力する注目領域画像に対して認識処理を行う第２の信号処理部と、
を備える、画像処理装置、及び
前記画像処理装置から受け取った前記注目領域画像に基づく機械学習により、前記認識処理に用いられる認識器を生成する学習部を備える、サーバ、
を含む画像処理システム。

１ 画像処理装置
５ 通信網
７ サーバ
８ イメージセンサ
１０ 画像読出し部
１１ 画素基板
１２ 回路基板
２１ 画素アレイ
２２ 画素
２３ 画素ブロック
３１ ＡＤＣアレイ
３２ ＡＤＣ
３３ 水平領域制御部
３４ 垂直領域制御部
３５ 出力部
３６ ラッチ部
１０１ 第１の信号処理部
１０２ 第２の信号処理部
１０３ 認識器記憶部
１０５ ＤＳＰ
７０１ 学習部

Claims (12)

1. 画素信号を出力する複数の画素を有し、前記画素信号に基づいて得られる画像を出力する画像読出し部から、前記画素の数よりも少ない画素数の低解像度画像を受け取り、前記低解像度画像に基づいて、前記画像読出し部における注目領域を特定し、前記注目領域を指定する領域指定信号を前記画像読出し部へ出力する、第１の信号処理部を備え、
   前記第１の信号処理部は、前記低解像度画像に基づいて前記注目領域を特定できない場合に、前記画像読出し部から、前記低解像度画像に含まれない画素値を受け取って前記低解像度画像よりも画素数の多い中間解像度画像を生成し、前記中間解像度画像に基づいて前記注目領域を特定する、
   画像処理装置。
2. 前記第１の信号処理部は、第１の中間解像度画像に基づいて前記注目領域を特定できない場合に、前記画像読出し部から、前記第１の中間解像度画像に含まれない画素値を受け取って前記第１の中間解像度画像よりも画素数の多い第２の中間解像度画像を生成し、前記第２の中間解像度画像に基づいて、前記注目領域を特定する、請求項１に記載の画像処理装置。
3. 前記第１の信号処理部は、前記低解像度画像に基づいて複数の前記注目領域を特定する、請求項１または２に記載の画像処理装置。
4. 前記画像読出し部は、複数の画素からなる画素ブロックと対応付けられ、前記画素ブロックの数と同一の数のＡＤ変換部をさらに有し、
   前記ＡＤ変換部は、前記領域指定信号に基づいて、前記画素信号のＡＤ変換を行う、請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記低解像度画像は、前記ＡＤ変換部が、前記ＡＤ変換部と対応付けられた前記画素ブロックに含まれる画素の数よりも少ない画素から出力される前記画素信号の前記ＡＤ変換を行うことにより得られる、請求項４に記載の画像処理装置。
6. 前記画像処理装置は、前記領域指定信号に基づいて前記画像読出し部が出力する注目領域画像に対して認識処理を行う第２の信号処理部をさらに備える、請求項１〜５のいずれか一項に記載の画像処理装置。
7. 前記第２の信号処理部は、前記第２の信号処理部が行う前記認識処理に応じたサイズの前記注目領域画像を前記画像読出し部から受け取る、請求項６に記載の画像処理装置。
8. 前記第２の信号処理部は、前記注目領域画像に基づく機械学習により得られる認識器を用いて、前記認識処理を行う、請求項６または７に記載の画像処理装置。
9. 前記画像処理装置は、前記第１の信号処理部として機能するイメージセンサを備える、請求項１〜８のいずれか一項に記載の画像処理装置。
10. 前記画像処理装置は、前記第１の信号処理部、及び前記第２の信号処理部として機能するイメージセンサを備える、請求項６〜８のいずれか一項に記載の画像処理装置。
11. プロセッサが、
    画素信号を出力する複数の画素を有し、前記画素信号に基づいて得られる画像を出力する画像読出し部から、前記画素の数よりも少ない画素数の低解像度画像を受け取り、前記低解像度画像に基づいて、前記画像読出し部における注目領域を特定し、前記注目領域を指定する領域指定信号を前記画像読出し部へ出力することと、
    前記低解像度画像に基づいて前記注目領域を特定できない場合に、前記画像読出し部から、前記低解像度画像に含まれない画素値を受け取って前記低解像度画像よりも画素数の多い中間解像度画像を生成し、前記中間解像度画像に基づいて前記注目領域を特定することと、
    を含む、画像処理方法。
12. 画素信号を出力する複数の画素を有し、前記画素信号に基づいて得られる画像を出力する画像読出し部と、
    前記画像読出し部が有する画素数よりも少ない画素数の低解像度画像を前記画像読出し部から受け取り、前記低解像度画像に基づいて、前記画像読出し部における注目領域を特定し、前記注目領域を指定する領域指定信号を前記画像読出し部へ出力し、前記低解像度画像に基づいて前記注目領域を特定できない場合に、前記画像読出し部から、前記低解像度画像に含まれない画素値を受け取って前記低解像度画像よりも画素数の多い中間解像度画像を生成し、前記中間解像度画像に基づいて前記注目領域を特定する第１の信号処理部と、
    前記領域指定信号に基づいて前記画像読出し部が出力する注目領域画像に対して認識処理を行う第２の信号処理部と、
    を備える、画像処理装置、及び
    前記画像処理装置から受け取った前記注目領域画像に基づく機械学習により、前記認識処理に用いられる認識器を生成する学習部を備える、サーバ、
    を含む画像処理システム。

Images