WO2017086156A1

WO2017086156A1 - 画像処理装置、画像処理方法、及び、プログラム

Info

Publication number: WO2017086156A1
Application number: PCT/JP2016/082533
Authority: WO
Inventors: 勝也篠崎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2015-11-17
Filing date: 2016-11-02
Publication date: 2017-05-26
Anticipated expiration: 2018-05-17
Also published as: US10650268B2; JP2017092899A; US20180307937A1; US20200242393A1

Abstract

本技術は、撮像画像に含まれる対象物の認識結果の精度を向上させることができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。画像処理装置が、撮像に関する出力情報が異なる複数の撮像画像から得られる対象物の認識結果に基づいて、対象物の認識処理を行うことで、撮像画像に対する認識結果の精度を向上させることができるようになる。本技術は、例えば、対象物の認識処理を行う機能を有する電子機器に適用することができる。

Description

画像処理装置、画像処理方法、及び、プログラム

　本技術は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、撮像画像に含まれる対象物の認識結果の精度を向上させることができるようにした画像処理装置、画像処理方法、及び、プログラムに関する。

　従来から、カメラで撮像された撮像画像に含まれる被写体を認識するための技術が提案されている（例えば、特許文献１，２参照）。

特開２０１４－１８００２４号公報特開２００８－１７２５９号公報

　しかしながら、従来の技術であると、撮像画像に含まれる対象物の認識結果として、十分な認識結果が得られないため、撮像画像に含まれる対象物の認識結果の精度を向上させることが求められていた。

　本技術はこのような状況に鑑みてなされたものであり、撮像画像に含まれる対象物の認識結果の精度を向上させることができるようにするものである。

　本技術の一側面の画像処理装置は、撮像に関する出力情報が異なる複数の撮像画像から得られる対象物の認識結果に基づいて、前記対象物の認識処理を行う認識処理部を備える画像処理装置である。

　本技術の一側面の画像処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。また、本技術の一側面の画像処理方法、及び、プログラムは、上述した本技術の一側面の画像処理装置に対応する、画像処理方法、及び、プログラムである。

　本技術の一側面の画像処理装置、画像処理方法、及び、プログラムにおいては、撮像に関する出力情報が異なる複数の撮像画像から得られる対象物の認識結果に基づいて、前記対象物の認識処理が行われる。

　本技術の一側面によれば、撮像画像に含まれる対象物の認識結果の精度を向上させることができる。

　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した画像処理システムの構成例を示す図である。第１の実施の形態の画像処理装置の構成例を示す図である。認識処理結果合成部の詳細な構成を示す図である。第１の実施の形態の認識処理の流れを説明するフローチャートである。認識情報の表示例を示す図である。第２の実施の形態の画像処理装置の構成例を示す図である。第２の実施の形態の認識処理の流れを説明するフローチャートである。第３の実施の形態の画像処理装置の構成例を示す図である。第３の実施の形態の認識処理の流れを説明するフローチャートである。第４の実施の形態の画像処理装置の構成例を示す図である。第４の実施の形態の認識処理の流れを説明するフローチャートである。画像処理装置の他の構成例を示す図である。画像処理装置の他の構成例を示す図である。画像処理システムの他の構成例を示す図である。コンピュータの構成例を示す図である。

　以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。

１．システムの構成
２．画像処理装置の構成
（１）第１の実施の形態：基本構成
（２）第２の実施の形態：他の系列の認識処理結果を用いた認識処理を行う構成
（３）第３の実施の形態：認識処理結果のタイミングを合わせて合成処理を行う構成
（４）第４の実施の形態：遅延情報に応じたタイミングで認識処理を行う構成
３．変形例
４．コンピュータの構成

＜１．システムの構成＞

（画像処理システムの構成例）
　図１は、本技術を適用した画像処理システムの構成例を示す図である。なお、システムとは、複数の装置が論理的に集合したものをいう。

　図１の画像処理システム１は、撮像画像に含まれる対象物（オブジェクト）の認識処理を行い、その認識処理結果に応じた情報を出力するシステムである。

　例えば、画像処理システム１は、監視カメラシステムとして用いられ、監視カメラにより撮像された撮像画像に含まれる対象物の認識処理を行うようにすることができる。また、画像処理システム１は、例えば、携帯電話機やスマートフォン、タブレット端末装置、メガネ型デバイスなどの撮像機能とその撮像画像の認識処理機能を有する電子機器として用いることができる。さらに、画像処理システム１は、車両に搭載される車載機器として用いられるようにしてもよい。

　図１において、画像処理システム１は、画像処理装置１０及び出力装置２０から構成される。

　画像処理装置１０は、複数の撮像部（固体撮像素子）を有し、それらの撮像部の系列ごとに、撮像に関する出力情報（例えば、撮像画像の解像度やフレームレートなど）が異なる撮像画像に対する認識処理を行う。その際に、ある系列（例えば、第１の系列）の認識処理では、他の系列（例えば、第２の系列）の認識処理の認識処理結果が用いられる。ただし、撮像画像は、例えば、時系列で生成（取得）される画像フレームとされる。

　画像処理装置１０の認識処理で得られる認識処理結果は、認識情報として、出力装置２０に供給される。出力装置２０は、画像処理装置１０から供給される認識情報を出力する。例えば、出力装置２０は、画像処理装置１０からの認識情報に応じた映像（対象物の認識処理結果）を表示する。

　以上、画像処理システム１の構成について説明した。以下、画像処理システム１における画像処理装置１０の詳細な構成について説明するが、ここでは、各実施の形態に応じて、画像処理装置１０Ａ乃至１０Ｄの詳細な構成を説明する。

＜２．画像処理装置の構成＞

（１）第１の実施の形態：基本構成

（画像処理装置の構成例）
　図２は、第１の実施の形態の画像処理装置１０Ａの構成例を示す図である。

　図２において、画像処理装置１０Ａは、固体撮像素子１０１－１、ISP１０２－１、認識処理部１０３－１、認識処理結果キュー１０４Ａ－１、及び、認識処理結果キュー１０４Ｂ－１を含む第１の系列と、固体撮像素子１０１－２、ISP１０２－２、認識処理部１０３－２、認識処理結果キュー１０４Ａ－２、及び、認識処理結果キュー１０４Ｂ－２を含む第２の系列と、第１の系列と第２の系列からの出力を処理する認識情報処理部１０５及び出力部１０６とから構成される。

　第１の系列において、固体撮像素子１０１－１は、被写体からの光を、その光量に応じて光電変換し、それにより得られる画像信号（RAWデータ）を、ISP１０２－１に供給する。

　なお、固体撮像素子１０１－１は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサ等のイメージセンサであり、例えばベイヤー配列などのRGBの画素配列を有している。また、固体撮像素子１０１－１が、外部から入力されるクロック又はその内部で生成するクロックに応じて動作することで、撮像画像（画像フレーム）のフレームレートを変更することが可能となる。

　ISP１０２－１は、ISP(Image Signal Processor)であって、固体撮像素子１０１－１から供給される画像信号（RAWデータ）に対して、所定の信号処理を行い、それにより得られる画像信号を、認識処理部１０３－１に供給する。ISP１０２－１は、カメラ信号処理部１１１－１及び解像度変換部１１２－１から構成される。

　カメラ信号処理部１１１－１は、固体撮像素子１０１－１からの画像信号に対して、カメラ信号処理を施すことで、RGB方式の画像信号から、YUV方式の画像信号への変換を行う。YUV方式の画像信号に変換することで、後段の認識処理を行うことが可能となる。YUV方式の画像信号は、解像度変換部１１２－１に供給される。

　解像度変換部１１２－１は、カメラ信号処理部１１１－１から供給される画像信号に対して、解像度変換処理を施すことで、YUV方式の画像信号の解像度の変換を行う。この解像度としては、例えば、SD(Standard Definition：標準画質)，HD(High Definition：高精細画質)，又は、UHD(Ultra High Definition：超高精細画質)などに対応した解像度とされる。解像度変換後のYUV方式の画像信号は、認識処理部１０３－１に供給される。

　なお、固体撮像素子１０１－１から出力される画像信号は、通常、あるいくつかの固定サイズ（の解像度）の画像信号とされるので、例えば、解像度変換部１１２－１は、必要に応じて、その固定サイズの解像度をさらに下げるための解像度変換処理を行う。

　認識処理部１０３－１は、ISP１０２－１から供給される画像信号に対して、所定の画像解析処理を施して、撮像画像から各種の情報を認識することで、認識処理結果（自認識処理結果）を求める処理などを行う。認識処理部１０３－１は、認識処理演算部１２１－１及び認識処理結果合成部１２２－１から構成される。

　認識処理演算部１２１－１は、ISP１０２－１から供給される画像信号に対して、所定の画像解析処理を行い、それにより得られる認識処理結果（自認識処理結果）を、認識処理結果合成部１２２－１に供給する。また、認識処理演算部１２１－１は、認識処理結果（自認識処理結果）を、認識処理結果キュー１０４Ｂ－１に保持させる。

　なお、この画像解析処理としては、例えば、撮像画像（画像フレーム）に含まれる対象物（オブジェクト）を認識するための処理が行われるが、ここでは、例えば、人物の顔や物体などを認識するための公知の技術を用いて様々な認識処理を行うことができる。

　認識処理結果合成部１２２－１は、認識処理演算部１２１－１から供給される認識処理結果（自認識処理結果）と、後述する第２の系列における認識処理部１０３－２（の認識処理演算部１２１－２）により求められた認識処理結果（他認識処理結果）とを合成し、それにより得られる認識処理結果（合成認識処理結果）を、認識処理結果キュー１０４Ａ－１に保持させる。ただし、第２の系列における認識処理部１０３－２（の認識処理演算部１２１－２）により求められた認識処理結果（他認識処理結果）は、認識処理結果キュー１０４Ｂ－２により保持されている。

　すなわち、第１の系列では、認識処理結果合成部１２２－１により合成された認識処理結果（合成認識処理結果）が、認識処理結果キュー１０４Ａ－１により保持され、認識処理演算部１２１－１により求められた認識処理結果（自認識処理結果）が、認識処理結果キュー１０４Ｂ－１により保持される。なお、認識処理結果合成部１２２－１の詳細な構成は、図３を参照して後述する。

　一方、第２の系列においては、第１の系列と同様に、固体撮像素子１０１－２が被写体を撮像することで得られる画像信号が、ISP１０２－２に入力され、カメラ信号処理部１１１－２によりRGB方式の画像信号からYUV方式の画像信号に変換され、解像度変換部１１２－２により解像度が変換される。

　そして、認識処理部１０３－２では、認識処理演算部１２１－２によって、ISP１０２－２からの画像信号に対して所定の画像解析処理が行われ、それにより得られる認識処理結果（自認識処理結果）が、認識処理結果キュー１０４Ｂ－２により保持される。

　また、認識処理結果合成部１２２－２によって、認識処理演算部１２１－２により求められた認識処理結果（自認識処理結果）と、上述した第１の系列における認識処理部１０３－１（の認識処理演算部１２１－１）により求められた認識処理結果（他認識処理結果）とが合成され、それにより得られる認識処理結果（合成認識処理結果）が、認識処理結果キュー１０４Ａ－２により保持される。ただし、第１の系列における認識処理部１０３－１（の認識処理演算部１２１－１）により求められた認識処理結果（他認識処理結果）は、認識処理結果キュー１０４Ｂ－１により保持されている。

　すなわち、第２の系列では、認識処理結果合成部１２２－２により合成された認識処理結果（合成認識処理結果）が、認識処理結果キュー１０４Ａ－２により保持され、認識処理演算部１２１－２により求められた認識処理結果（自認識処理結果）が、認識処理結果キュー１０４Ｂ－２により保持される。

　ここで、画像処理装置１０Ａにおいては、固体撮像素子１０１－１等を含む第１の系列と、固体撮像素子１０１－２等を含む第２の系列の２つの系列で、撮像に関する出力情報が異なる撮像画像（画像フレーム）に対する認識処理が行われ、認識処理結果が得られることになる。

　例えば、撮像に関する出力情報には、撮像画像（画像フレーム）のフレームレート、及び、撮像画像（画像フレーム）の解像度が含まれる。すなわち、第１の系列と、第２の系列で処理される撮像画像（画像フレーム）は、フレームレートと解像度が異なっており、そのような撮像画像に応じた認識結果が得られることになる。

　具体的には、第１の系列で処理される撮像画像（画像フレーム）の出力情報として、例えば、低フレームレート（例えば、1fps(frames per second)など）と、高解像度（例えば、HD（高精細画質）やUHD（超高精細画質）など）が設定されるようにする。これにより、例えば、高解像度な撮像画像に含まれる対象物（オブジェクト）の詳細な情報を認識することができる一方で、低フレームレートであることから、対象物（オブジェクト）の動きは認識し難くなる。したがって、第１の系列においては、例えば、オブジェクトが人物である場合に、その人物の顔や名前などの詳細な情報を認識することができる一方で、その人物の動きまでは認識することができない。

　また、第２の系列で処理される撮像画像（画像フレーム）の出力情報として、例えば、高フレームレート（例えば、60fpsなど）と、低解像度（例えば、SD(標準画質)など）が設定されるようにする。これにより、例えば、低解像度な撮像画像に含まれる対象物（オブジェクト）の詳細な情報を認識することが難しくなる一方で、高フレームレートであることから、対象物（オブジェクト）の動きを認識することができる。したがって、第２の系列においては、例えば、オブジェクトが人物である場合に、その人物の詳細な動きを認識する（トラッキングする）ことができる一方で、その人物の顔や名前などの詳細な情報を認識することはできない。

　なお、第１の系列と第２の系列において、固体撮像素子１０１－１と固体撮像素子１０１－２のフレームレートを決定するクロックを変更することで、各撮像画像（画像フレーム）のフレームレートを変更することができる。また、第１の系列と第２の系列において、解像度変換部１１２－１と解像度変換部１１２－２により変換される解像度を変更することで、各撮像画像（画像フレーム）の解像度を変更することができる。

　そして、画像処理装置１０Ａにおいて、第１の系列と第２の系列では、自系列で認識された自認識処理結果と、他系列で認識された他認識処理結果とを合成して、より精度の高い認識処理結果（合成認識処理結果）が得られるようにする。

　例えば、第１の系列では、低フレームレートで、かつ、高解像度の撮像画像（画像フレーム）に対する処理が行われた場合、自認識処理結果として、対象物（オブジェクト）の詳細な情報を認識できる一方で、低フレームレートであることから、対象物（オブジェクト）の動きを認識することは難しくなる。この場合において、第１の系列の自認識処理結果と、第２の系列の他認識処理結果とを合成することで、第１の系列の自認識処理結果としての、低フレームレートにおけるフレーム間隔のあいている期間を、高フレームレートで、かつ、低解像度の撮像画像（画像フレーム）に対する処理を行う第２の系列からの他認識処理結果を利用して補間するようにする。

　これにより、第１の系列においては、低フレームレート（例えば、1fpsなど）におけるフレーム間隔のあいている期間では、自認識処理結果を得ることができないが、その期間が、第２の系列における高フレームレート（例えば、60fpsなど）における画像フレームの他認識処理結果により補間されるため、例えば、対象物（オブジェクト）の詳細な動きを認識する（トラッキングする）ことができるようになるなど、認識結果の精度を向上させることが可能となる。

　なお、ここでは詳細について述べないが、第２の系列においても同様に、自認識処理結果としての、低解像度の撮像画像（画像フレーム）を、低フレームレートで、かつ、高解像度の撮像画像（画像フレーム）に対する処理を行う第１の系列からの他認識処理結果を利用して補間することができる。

　また、第１の系列においては、認識処理部１０３－１の認識処理演算部１２１－１により求められた認識処理結果が、自認識処理結果となって、認識処理部１０３－２の認識処理演算部１２１－２により求められた認識処理結果が、他認識処理結果となる。一方で、第２の系列においては、認識処理部１０３－２の認識処理演算部１２１－２により求められた認識処理結果が、自認識処理結果となって、認識処理部１０３－１の認識処理演算部１２１－１により求められた認識処理結果が、他認識処理結果となる。さらに、第１の系列に注目すれば、自系列は、第１の系列であり、他系列が、第２の系列となる。一方で、第２の系列に注目すれば、自系列は、第２の系列であり、他系列が、第１の系列となる。

　認識情報処理部１０５には、認識処理結果キュー１０４Ａ－１により保持された認識処理結果（合成認識処理結果）、又は、認識処理結果キュー１０４Ａ－２により保持された認識処理結果（合成認識処理結果）が、認識情報として入力される。認識情報処理部１０５は、認識処理結果キュー１０４Ａ－１又は認識処理結果キュー１０４Ａ－２からの認識情報を処理して、その処理結果を、出力部１０６に供給する。例えば、認識情報処理部１０５は、認識情報を処理して、対象物（オブジェクト）の映像にその詳細な説明と動きに関する情報が重畳された映像を生成する。

　出力部１０６は、認識情報処理部１０５から供給される認識情報の処理結果を、例えば、出力装置２０（図１）に出力する。これにより、出力装置２０には、例えば、対象物（オブジェクト）の映像にその詳細な説明と動きに関する情報が重畳された映像など、認識情報に応じた映像が表示される。

　なお、図２の画像処理装置１０Ａにおいては、撮像部としての、固体撮像素子１０１－１及びISP１０２－１、並びに、固体撮像素子１０１－２及びISP１０２－２を含む構成を示したが、これらの撮像部を外部に設ける構成を採用してもよい。また、固体撮像素子１０１－１及び固体撮像素子１０１－２のみが外部に設けられるようにしてもよい。

　また、図２の画像処理装置１０Ａにおいては、第１の系列に、認識処理結果キュー１０４Ａ－１、及び、認識処理結果キュー１０４Ｂ－１を設けるとともに、第２の系列に、認識処理結果キュー１０４Ａ－２、及び、認識処理結果キュー１０４Ｂ－２を設けて、認識処理結果が保持される構成としたが、それらの認識処理結果キューを設けずに、認識処理結果が、直接、認識情報処理部１０５に供給されるようにしてもよい。

　画像処理装置１０Ａは、以上のように構成される。

（認識処理結果合成部の詳細な構成例）
　図３は、図２の認識処理結果合成部１２２－１又は認識処理結果合成部１２２－２の詳細な構成例を示す図である。

　なお、第１の系列における認識処理結果合成部１２２－１と、第２の系列における認識処理結果合成部１２２－２が同様の構成を有するため、図３では、認識処理結果合成部１２２と記述しているが、ここでは、説明を分かりやすくするために、第１の系列における認識処理結果合成部１２２－１を代表して説明する。

　認識処理結果合成部１２２（１２２－１，１２２－２）は、認識結果取得部１３１（１３１－１，１３１－２）、認識結果調整部１３２（１３２－１，１３２－２）、合成判定部１３３（１３３－１，１３３－２）、認識結果合成部１３４（１３４－１，１３４－２）、及び、処理結果出力部１３５（１３５－１，１３５－２）から構成される。

　認識結果取得部１３１－１は、第１の系列の認識処理演算部１２１－１から供給される自認識処理結果と、第２の系列の認識処理演算部１２１－２により演算された他認識処理結果であって、認識処理結果キュー１０４Ｂ－２により保持されていた他認識処理結果を取得し、認識結果調整部１３２－１に供給する。

　認識結果調整部１３２－１には、認識結果取得部１３１－１から、第１の系列の自認識処理結果と、第２の系列の他認識処理結果が供給される。認識結果調整部１３２－１は、第１の系列の自認識処理結果、及び、第２の系列の他認識処理結果の少なくとも一方の認識処理結果を、合成可能な状態に調整し、調整後の認識処理結果を、合成判定部１３３－１に供給する。

　合成判定部１３３－１には、認識結果調整部１３２－１から、調整後の認識処理結果（第１の系列の自認識処理結果と、第２の系列の他認識処理結果）が供給される。合成判定部１３３－１は、あらかじめ定められる閾値情報に基づいて、第１の系列の自認識処理結果と、第２の系列の他認識処理結果とを合成するかどうかを判定する。

　合成判定部１３３－１は、第１の系列の自認識処理結果と第２の系列の他認識処理結果とを合成すると判定した場合、合成対象となる第１の系列の自認識処理結果と、第２の系列の他認識処理結果を、認識結果合成部１３４－１に供給する。一方で、合成判定部１３３－１は、第１の系列の自認識処理結果と第２の系列の他認識処理結果とを合成しないと判定した場合、第１の系列の自認識処理結果を、処理結果出力部１３５－１に供給する。

　認識結果合成部１３４－１には、合成判定部１３３－１によって、第１の系列の自認識処理結果と第２の系列の他認識処理結果とを合成すると判定された場合、第１の系列の自認識処理結果と第２の系列の他認識処理結果が入力される。この場合、認識結果合成部１３４－１は、合成判定部１３３－１から供給される、第１の系列の自認識処理結果と、第２の系列の他認識処理結果とを合成し、処理結果出力部１３５－１に供給する。

　処理結果出力部１３５－１には、合成判定部１３３－１によって、第１の系列の自認識処理結果と第２の系列の他認識処理結果とを合成すると判定された場合、認識結果合成部１３４－１から、自認識処理結果と他認識処理結果とを合成して得られる認識処理結果（合成認識処理結果）が供給される。処理結果出力部１３５－１は、認識結果合成部１３４－１からの認識処理結果（合成認識処理結果）を、認識処理結果キュー１０４Ａ－１に保持させる。

　一方で、処理結果出力部１３５－１には、合成判定部１３３－１によって、第１の系列の自認識処理結果と第２の系列の他認識処理結果とを合成しないと判定された場合、合成判定部１３３－１から第１の系列の自認識処理結果が供給される。処理結果出力部１３５－１は、合成判定部１３３－１からの第１の系列の自認識処理結果を、認識処理結果キュー１０４Ａ－１に保持させる。

　なお、図３においては、第１の系列における認識処理結果合成部１２２－１を代表して説明したが、第２の系列における認識処理結果合成部１２２－２についても同様に構成される。

（認識処理の流れ）
　次に、図４のフローチャートを参照して、図２の画像処理装置１０Ａにより実行される、第１の実施の形態の認識処理の流れについて説明する。

　なお、図４の認識処理では、第１の系列と、第２の系列での処理が同時に並列して行われるが、説明を分かりやすくするために、第１の系列で行われる処理を主体にした場合を中心に説明する。また、第１の系列で行われる処理（ステップＳxx）には、「－１」を付加する一方で、第２の系列で行われる処理（ステップＳxx）には、「－２」を付加して、各系列で行われる処理を区別するものとする。また、これらの関係は、後述する他のフローチャートの説明でも同様とされる。

　ステップＳ１１－１において、第１の系列の固体撮像素子１０１－１は、被写体を撮像する。また、ステップＳ１１－２において、第２の系列の固体撮像素子１０２－２は、第１の系列の固体撮像素子１０１－１と同時に、被写体を撮像している。

　ただし、第１の系列において、固体撮像素子１０１－１は、低フレームレート（例えば、1fpsなど）に対応した画像信号を出力する。一方で、第２の系列において、固体撮像素子１０２－２は、高フレームレート（例えば、60fpsなど）に対応した画像信号を出力する。

　ステップＳ１２－１において、第１の系列のカメラ信号処理部１１１－１は、固体撮像素子１０１－１からの画像信号に対して、カメラ信号処理を施すことで、RGB方式の画像信号から、YUV方式の画像信号への変換を行う。また、ステップＳ１２－２において、第２の系列のカメラ信号処理部１１１－２は、固体撮像素子１０１－２からの画像信号に対して、カメラ信号処理を施すことで、RGB方式の画像信号から、YUV方式の画像信号への変換を行う。

　ステップＳ１３－１において、第１の系列の解像度変換部１１２－１は、カメラ信号処理部１１１－１から供給される画像信号に対して、解像度変換処理を施すことで、YUV方式の画像信号の解像度の変換を行う。また、ステップＳ１３－２において、第２の系列の解像度変換部１１２－２は、カメラ信号処理部１１１－２から供給される画像信号に対して、解像度変換処理を施すことで、YUV方式の画像信号の解像度の変換を行う。

　ただし、第１の系列において、解像度変換部１１２－１は、高解像度（例えば、HD（高精細画質）やUHD（超高精細画質）など）となるように、YUV方式の画像信号の解像度の変換を行う。一方で、第２の系列において、解像度変換部１１２－２は、低解像度（例えば、SD(標準画質)など）となるように、YUV方式の画像信号の解像度の変換を行う。なお、各系列における解像度変換処理は、必要に応じて行われるものであり、必ずしも実行されるものではない。

　すなわち、第１の系列においては、低フレームレートで、かつ、高解像度の撮像画像（画像フレーム）に対する処理が行われる。一方で、第２の系列においては、高フレームレートで、かつ、低解像度の撮像画像（画像フレーム）に対する処理が行われる。

　ステップＳ１４－１において、第１の系列の認識処理演算部１２１－１は、解像度変換部１１２－１から供給される画像信号に対して、所定の画像解析処理を行い、自認識処理結果を求める。また、ステップＳ１４－２において、第２の系列の認識処理演算部１２１－２は、解像度変換部１１２－２から供給される画像信号に対して、所定の画像解析処理を行い、自認識処理結果を求める。

　ただし、第１の系列の認識処理演算部１２１－１は、自認識処理結果を認識処理結果キュー１０４Ｂ－１に保持させる。また、第２の系列の認識処理演算部１２１－２は、自認識処理結果を認識処理結果キュー１０４Ｂ－２に保持させる。これにより、第１の系列又は第２の系列においては、他の系列で求められた他認識処理結果であって、認識処理結果キュー１０４Ｂ－２又は認識処理結果キュー１０４Ｂ－１に保持された他認識処理結果を取得することが可能となる。

　ステップＳ１５－１において、第１の系列の認識処理結果合成部１２２－１の認識結果取得部１３１－１は、第２の系列の認識処理演算部１２１－２により演算された他認識処理結果であって、認識処理結果キュー１０４Ｂ－２により保持されていた他認識処理結果を取得する。

　ステップＳ１６－１において、第１の系列の認識処理結果合成部１２２－１の認識結果調整部１３２－１は、認識結果取得部１３１－１により取得された他認識処理結果を調整する。

　ここで、自認識処理結果と他認識処理結果には、認識処理結果として、例えば、解析対象の撮像画像の画像全体のサイズ（画サイズ情報）や、解析対象の撮像画像から認識された対象物（オブジェクト）に関する情報（例えば、オブジェクトのサイズ、位置を示す座標、種類、及び、カテゴリ、固体撮像素子の設置位置など）、解析対象の撮像画像に関する時刻情報（例えばタイムスタンプ）が含まれている。

　そして、自認識処理結果と他認識処理結果は、撮像に関する出力情報（例えば、フレームレートや解像度など）が異なる系列で得られた撮像画像（画像フレーム）に対する認識処理の結果得られたものであるため、それらの認識処理結果を同時に取り扱うためには（合成可能な状態とするためには）、例えば、画サイズ情報を用いて、他方の認識処理結果（他認識処理結果）を、一方の認識処理結果（自認識処理結果）のスケール（座標系）に適合させる必要がある。

　すなわち、認識結果調整部１３２－１では、他方の認識処理結果（他認識処理結果）を、一方の認識処理結果（自認識処理結果）のスケール（座標系）に適合させるために、画サイズ情報などのパラメータを用いて、他認識処理結果を調整する。ただし、ここで調整の対象となるのは、他認識処理結果に限らず、例えば、他認識処理結果のスケール（座標系）に適合させるために、自認識処理結果を調整してもよいし、あるいは、自認識処理結果と他認識処理結果の両方を調整してもよい。

　なお、固体撮像素子１０１－１と、固体撮像素子１０１－２が取り付けられている場所の情報（位置情報）を取得することで、固体撮像素子１０１－１と、固体撮像素子１０１－２との間の距離を求めることができるため、より正確な座標を算出することが可能となる。ここでは、例えば、三角測量の原理を用いた手法など、各種の手法を用いて、固体撮像素子１０１－１と固体撮像素子１０１－２が取り付けられている場所の情報（位置情報）を考慮した認識処理結果の座標系を求めることができる。

　ステップＳ１７－１において、合成判定部１３３－１は、あらかじめ定められた閾値情報に基づいて、画サイズ（解像度）の異なる撮像画像（画像フレーム）から認識された対象物（オブジェクト）の認識処理結果（自認識処理結果と他認識処理結果）を比較する。

　ここで、閾値情報としては、例えば、画サイズ（解像度）の異なる撮像画像から得られる認識処理結果（自認識処理結果と他認識処理結果）を合成するかどうかを判定するための情報があらかじめ設定される。ここでは、例えば、画サイズ（解像度）の異なる撮像画像から認識されたオブジェクトの位置を示す座標を合わせたときに、どの程度の範囲の座標のずれを許容するかを示す情報や、当該オブジェクトの種類やカテゴリ（種別）の違いをどの程度まで許容するかを示す情報を、閾値情報として設定することができる。

　具体的には、例えば、第１の系列の自認識処理結果として、自動車であるオブジェクトが認識された場合に、第２の系列の他認識処理結果として、乗り物であるオブジェクトが認識されたとき、これらのオブジェクトが同一であって、第１の系列の自認識処理結果と、第２の系列の他認識処理結果とを合成してもよいかどうかを判定するための情報が、閾値情報としてあらかじめ設定される。なお、異なるオブジェクトが、同一のオブジェクトとして認識されないようにするために、人物や物体にタグ情報を付加するようにしてもよい。

　ステップＳ１８－１において、合成判定部１３３－１は、ステップＳ１７－１の比較処理の結果に基づいて、第１の系列の自認識処理結果と、第２の系列の他認識処理結果との合成が可能であるかどうかを判定する。

　ステップＳ１８－１において、自認識処理結果と他認識処理結果との合成が可能であると判定された場合、処理は、ステップＳ１９－１に進められる。ステップＳ１９－１において、認識結果合成部１３４－１は、第１系列の自認識処理結果と、第２の系列の他認識処理結果とを合成する。また、ステップＳ１９－１において、処理結果出力部１３５－１は、自認識処理結果と他認識処理結果とを合成して得られる認識処理結果（合成認識処理結果）を、認識処理結果キュー１０４Ａ－１に保持させる。

　ステップＳ２０（Ｓ２０－１）において、認識情報処理部１０５は、認識処理結果キュー１０４Ａ－１により保持された認識処理結果（合成認識処理結果）を、認識情報として読み出して処理する。例えば、認識情報処理部１０５は、認識情報を処理して、画像フレームに含まれるオブジェクトの映像に、その詳細な説明と動きに関する情報が重畳された映像を生成する。

　ステップＳ２１（Ｓ２１－１）において、出力部１０６は、ステップＳ２０（Ｓ２０－１）の処理で得られる認識情報の処理結果を、例えば、出力装置２０（図１）に出力する。これにより、出力装置２０の画面には、例えば、図５に示すような映像が表示される。

　すなわち、この例では、画サイズ（解像度）の異なる画像フレームから、オブジェクトとして男性と女性が認識され、合成可能であると判定された場合に、画像フレームに含まれるオブジェクト（男性と女性）に対して、オブジェクトの詳細な情報（男性：「30代の男性」、女性：「20代の女性」）と、オブジェクトの動きに関する情報（男性：「こちら側に近づいています」、女性：「隣の男性と話しています」）が重畳表示（OSD(On Screen Display)表示）されている。

　なお、ここで、オブジェクトの詳細な情報は、第１の系列の低フレームレートで、かつ、高解像度の撮像画像（画像フレーム）から得られる自認識処理結果に応じて表示された情報である。また、オブジェクトの動きに関する情報は、第２の系列の高フレームレートで、かつ、低解像度の撮像画像（画像フレーム）から得られる他認識処理結果に応じて表示された情報である。

　図４の説明に戻り、一方で、ステップＳ１８－１において、自認識処理結果と他認識処理結果との合成が可能ではないと判定された場合、処理は、ステップＳ２２（Ｓ２２－１）に進められる。この場合、認識結果合成部１３４－１による自認識処理結果と他認識処理結果との合成処理は行われずに、自認識処理結果が、処理結果出力部１３５－１に供給される。

　ステップＳ２２（Ｓ２２－１）において、処理結果出力部１３５－１は、認識処理結果（自認識処理結果）を、認識処理結果キュー１０４Ａ－１に保持させる。

　ステップＳ２３（Ｓ２３－１）において、認識情報処理部１０５は、認識処理結果キュー１０４Ａ－１により保持された認識処理結果（自認識処理結果）を、認識情報として読み出して処理する。例えば、認識情報処理部１０５は、認識情報を処理して、画像フレームに含まれるオブジェクトの映像に、その詳細な説明に関する情報のみが重畳された映像を生成する。

　ステップＳ２４（Ｓ２４－１）において、出力部１０６は、ステップＳ２３（Ｓ２３－１）の処理で得られる認識情報の処理結果を、例えば、出力装置２０（図１）に出力する。これにより、例えば、図５において、画像フレームに含まれるオブジェクト（男性と女性）に対して、オブジェクトの詳細な情報（男性：「30代の男性」、女性：「20代の女性」）のみが、重畳表示されることになる。なお、ここで、オブジェクトの詳細な情報は、第１の系列の低フレームレートで、かつ、高解像度の撮像画像（画像フレーム）から得られる自認識処理結果に応じて表示された情報となる。

　ステップＳ２１（Ｓ２１－１）又はステップＳ２４（Ｓ２４－１）の処理が終了すると、処理は、ステップＳ２５（Ｓ２５－１）に進められる。ステップＳ２５（Ｓ２５－１）においては、すべての認識処理結果に対して処理を行ったどうかが判定される。ステップＳ２５（Ｓ２５－１）において、すべての認識処理結果に対して処理を行っていないと判定された場合、処理は、ステップＳ１７（Ｓ１７－１）に戻り、それ以降の処理が繰り返される。

　ここでは、例えば、画像フレームから、複数のオブジェクトが認識された場合に、そのすべてのオブジェクトに対して処理を行ったかどうかや、第１の系列の認識処理（低フレームレートの画像フレームに対する認識処理）で得られる自認識処理結果に対して、第２の系列の認識処理（高フレームレートの画像フレームに対する認識処理）で得られる他認識処理結果のすべてを適用したかどうかなどが判定される。

　そして、ステップＳ２５（Ｓ２５－１）において、すべての認識処理結果に対して処理を行ったと判定された場合、図４の第１の実施の形態の認識処理は、終了される。

　なお、上述した説明では、第１の系列で行われる処理を主体にした場合を説明したが、第２の系列を主体にした場合には、第２の系列の認識処理結果を自認識処理結果とし、第１の系列の認識処理結果を他認識処理結果として同様に処理が行われる。

　以上、第１の実施の形態の認識処理の流れについて説明した。この第１の実施の形態の認識処理では、各系列において、自系列で認識された自認識処理結果だけでなく、他系列で認識された他認識処理結果を合成しているため、撮像画像（画像フレーム）に含まれる対象物（オブジェクト）の認識結果の精度を向上させることができる。

　例えば、自系列が、低フレームレートの撮像画像（画像フレーム）に対する認識処理を行ったとしても、その画像フレームの間隔があいている期間の認識処理結果を、他系列による高フレームレートの撮像画像（画像フレーム）の認識処理結果により補間することができるため、認識結果の精度を向上させることができる。

　また、例えば、上述した特許文献１には、複数のカメラで撮像された撮像画像を信号処理して得られる検知結果を連携させることで、撮像シーンに適応した撮像制御を行う技術が開示されているが、ここに開示されている技術は、検知結果を利用して、撮像画像のフレームレートを上げるなどの制御の内容を変更するものであって、第１の実施の形態の認識処理のように、各系列において、自系列で認識された自認識処理結果だけでなく、他系列で認識された他認識処理結果を合成するものとは異なっている。

　さらに、例えば、上述した特許文献２には、カメラにより撮像された撮像画像に含まれる被写体の認識結果をフィードバックして、その認識率を上げるための画質調整を行う技術が開示されているが、ここに開示されている技術は、画像認識率を向上させるためのものであって、第１の実施の形態の認識処理のように、各系列において、自系列で認識された自認識処理結果だけでなく、他系列で認識された他認識処理結果を合成するものとは異なっている。

　また、解析処理量を落とすために、一般的に用いられている手法の一つとして、いわゆる画像ピラミッド（異なる解像度の画像の集合）を利用して、最適な解像度の画像を解析処理に用いたり、あるいは低解像度の画像から解析を開始して徐々に解像度を上げることで解析の精度を向上させたりすることが行われている。

　しかしながら、この手法であると、カメラ（センサ）からの入力として、ハイフレームレートの撮像画像が必要になるため、省電力化への影響は少なくなる。一方で、画像処理装置１０Ａでは、この手法と比べて、単位時間あたりに、固体撮像素子１０１－１（又は固体撮像素子１０１－２）から出力される撮像画像の総ピクセル数を削減することができるので、結果として消費電力を削減することができる。また、ピラミッドスケーリング（画像ピラミッドを作成するためのスケーリング）を行うと、撮像画像の縮小のための帯域が必要になるが、第１の実施の形態の認識処理では、認識処理の処理対象の撮像画像が既に縮小されているため、そのような帯域を削減することができる。

（２）第２の実施の形態：他の系列の認識処理結果を用いた認識処理を行う構成

（画像処理装置の構成例）
　図６は、第２の実施の形態の画像処理装置１０Ｂの構成例を示す図である。

　図６において、画像処理装置１０Ｂは、固体撮像素子１０１－１、ISP１０２－１、認識処理部１０３－１、認識処理結果キュー１０４Ａ－１、認識処理結果キュー１０４Ｂ－１、及び、認識処理結果入力ポイント選択部１０７－１を含む第１の系列と、固体撮像素子１０１－２、ISP１０２－２、認識処理部１０３－２、認識処理結果キュー１０４Ａ－２、認識処理結果キュー１０４Ｂ－２、及び、認識処理結果入力ポイント選択部１０７－２を含む第２の系列と、第１の系列と第２の系列からの出力を処理する認識情報処理部１０５及び出力部１０６とから構成される。

　なお、図６の画像処理装置１０Ｂにおいて、図２の画像処理装置１０Ａと対応する箇所には同一の符号が付してあり、その説明は繰り返しになるので、適宜省略する。

　すなわち、図６の画像処理装置１０Ｂにおいては、図２の画像処理装置１０Ａと比べて、第１の系列で、認識処理結果入力ポイント選択部１０７－１が新たに設けられ、さらに、認識処理部１０３－１に、第１認識処理演算部１２１－１に加えて、第２認識処理演算部１２３－１が追加されている点が異なっている。ただし、第１認識処理演算部１２１－１は、上述した図２の認識処理演算部１２１－１に対応しており、第２認識処理演算部１２３－１と区別するために、その名称に「第１」を付加している。

　同様に、図６の画像処理装置１０Ｂにおいては、図２の画像処理装置１０Ａと比べて、第２の系列で、認識処理結果入力ポイント選択部１０７－２が新たに設けられ、さらに、認識処理部１０３－２に、第１認識処理演算部１２１－２に加えて、第２認識処理演算部１２３－２が追加されている点が異なっている。ただし、第１認識処理演算部１２１－２は、上述した図２の認識処理演算部１２１－２に対応している。

　なお、第２の実施の形態においても、上述した第１の実施の形態と同様に、例えば、第１の系列では、低フレームレート（例えば、1fpsなど）で、かつ、高解像度（例えば、HD（高精細画質）など）の撮像画像（画像フレーム）に対する処理が行われる一方で、第２の系列では、高フレームレート（例えば、60fpsなど）で、かつ、低解像度（例えば、SD(標準画質)など）の撮像画像（画像フレーム）に対する処理が行われるようにすることができる。

　第１の系列において、認識処理部１０３－１は、第１認識処理演算部１２１－１、認識処理結果合成部１２２－１、及び、第２認識処理演算部１２３－１から構成される。

　第１認識処理演算部１２１－１は、ISP１０２－１から供給される画像信号に対して、所定の画像解析処理を行い、それにより得られる認識処理結果（自認識処理結果）を、認識処理結果合成部１２２－１に供給する。また、第１認識処理演算部１２１－１は、認識処理結果（自認識処理結果）を、認識処理結果キュー１０４Ｂ－１に保持させる。

　ここで、第１の系列の認識処理部１０３－１には、第２の系列の認識処理結果入力ポイント選択部１０７－２からの認識処理結果（他認識処理結果）が入力されるが、この認識処理結果（他認識処理結果）は、認識処理結果合成部１２２－１又は第２認識処理演算部１２３－１に選択的に入力される。

　第１の系列の認識処理部１０３－１において、第２の系列の認識処理結果入力ポイント選択部１０７－２からの認識処理結果（他認識処理結果）が認識処理結果合成部１２２－１に入力される場合、認識処理結果合成部１２２－１は、第１認識処理演算部１２１－１から供給される認識処理結果（自認識処理結果）と、認識処理結果入力ポイント選択部１０７－２からの認識処理結果（他認識処理結果）とを合成し、それにより得られる認識処理結果（合成認識処理結果）を、認識処理結果キュー１０４Ａ－１に保持させる。

　また、第１の系列の認識処理部１０３－１において、第２の系列の認識処理結果入力ポイント選択部１０７－２からの認識処理結果（他認識処理結果）が第２認識処理演算部１２３－１に入力される場合、第２認識処理演算部１２３－１は、認識処理結果入力ポイント選択部１０７－２からの認識処理結果（他認識処理結果）に基づいて、ISP１０２－１から供給される画像信号に対して、所定の画像解析処理を行う。そして、第２認識処理演算部１２３－１は、所定の画像解析処理の結果得られる認識処理結果（合成認識処理結果）を、認識処理結果キュー１０４Ａ－１に保持させる。

　すなわち、第１の系列では、認識処理結果合成部１２２－１により合成された認識処理結果（合成認識処理結果）、又は、第２認識処理演算部１２３－１により求められた認識処理結果（合成認識処理結果）が、認識処理結果キュー１０４Ａ－１に保持され、第１認識処理演算部１２１－１により求められた認識処理結果（自認識処理結果）が、認識処理結果キュー１０４Ｂ－１により保持される。

　また、第１の系列の認識処理結果入力ポイント選択部１０７－１は、認識処理結果キュー１０４Ｂ－１により保持されている認識処理結果（自認識処理結果）を、第２の系列の認識処理部１０３－２における認識処理結果合成部１２２－２又は第２認識処理演算部１２３－２に選択的に供給する。

　一方、第２の系列においては、第１の系列と同様に、認識処理部１０３－２では、第１認識処理演算部１２１－２によって、ISP１０２－２からの画像信号に対して所定の画像解析処理が行われ、それにより得られる認識処理結果（自認識処理結果）が、認識処理結果キュー１０４Ｂ－２により保持される。

　ここで、第２の系列の認識処理部１０３－２には、第１の系列の認識処理結果入力ポイント選択部１０７－１からの認識処理結果（他認識処理結果）が入力されるが、この認識処理結果（他認識処理結果）は、認識処理結果合成部１２２－２又は第２認識処理演算部１２３－２に選択的に入力される。

　第２の系列の認識処理部１０３－２において、第１の系列の認識処理結果入力ポイント選択部１０７－１からの認識処理結果（他認識処理結果）が認識処理結果合成部１２２－２に入力される場合、認識処理結果合成部１２２－２は、第１認識処理演算部１２１－２から供給される認識処理結果（自認識処理結果）と、認識処理結果入力ポイント選択部１０７－１からの認識処理結果（他認識処理結果）とを合成し、それにより得られる認識処理結果（合成認識処理結果）を、認識処理結果キュー１０４Ａ－２に保持させる。

　また、第２の系列の認識処理部１０３－２において、第１の系列の認識処理結果入力ポイント選択部１０７－１からの認識処理結果（他認識処理結果）が第２認識処理演算部１２３－２に入力される場合、第２認識処理演算部１２３－２は、認識処理結果入力ポイント選択部１０７－１からの認識処理結果（他認識処理結果）に基づいて、ISP１０２－２から供給される画像信号に対して、所定の画像解析処理を行う。そして、第２認識処理演算部１２３－２は、所定の画像解析処理の結果得られる認識処理結果（合成認識処理結果）を、認識処理結果キュー１０４Ａ－２に保持させる。

　すなわち、第２の系列では、認識処理結果合成部１２２－２により合成された認識処理結果（合成認識処理結果）、又は、第２認識処理演算部１２３－２により求められた認識処理結果（合成認識処理結果）が、認識処理結果キュー１０４Ａ－２に保持され、第１認識処理演算部１２１－２により求められた認識処理結果（自認識処理結果）が、認識処理結果キュー１０４Ｂ－２により保持される。

　また、第２の系列の認識処理結果入力ポイント選択部１０７－２は、認識処理結果キュー１０４Ｂ－２により保持されている認識処理結果（自認識処理結果）を、第１の系列の認識処理部１０３－１における認識処理結果合成部１２２－１又は第２認識処理演算部１２３－１に選択的に供給する。

　なお、図６の画像処理装置１０Ｂにおいて、上述した構成以外は、図２の画像処理装置１０Ａの構成と同様である。

　画像処理装置１０Ｂは、以上のように構成される。

（認識処理の流れ）
　次に、図７のフローチャートを参照して、図６の画像処理装置１０Ｂにより実行される、第２の実施の形態の認識処理の流れについて説明する。

　ステップＳ５１－１乃至Ｓ５３－１においては、図４のステップＳ１１－１乃至Ｓ１３－１と同様に、第１の系列の固体撮像素子１０１－１により撮像された撮像画像に対して、カメラ信号処理と解像度変換処理が施される。また、ステップＳ５１－２乃至Ｓ５３－２においては、図４のステップＳ１１－２乃至Ｓ１３－２と同様に、第２の系列の固体撮像素子１０１－２により撮像された撮像画像に対して、カメラ信号処理と解像度変換処理が施される。

　ステップＳ５４－１において、第２の系列の認識処理結果入力ポイント選択部１０７－２は、第１の系列の認識処理部１０３－１における認識処理結果合成部１２２－１又は第２認識処理演算部１２３－１のいずれかを、認識処理結果キュー１０４Ｂ－２により保持されている認識処理結果（第１の系列からすると他認識処理結果）の入力ポイントとして選択する。

　ステップＳ５５－１においては、ステップＳ５４－１の選択処理で、他認識処理結果の入力ポイントとして、認識処理結果合成部１２２－１又は第２認識処理演算部１２３－１のいずれが選択されたかどうかが判定される。

　ステップＳ５５－１において、他認識処理結果の入力ポイントが、認識処理結果合成部１２２－１であると判定された場合、処理は、ステップＳ５６－１に進められる。

　ステップＳ５６－１乃至６７－１においては、図４のステップＳ１４－１乃至Ｓ２５－１と同様に、自認識処理結果と他認識処理結果との合成が可能であると判定された場合には、認識処理結果合成部１２２－１によって、第１系列の第１認識処理演算部１２１－１からの自認識処理結果と、第２の系列の認識処理結果入力ポイント選択部１０７－２からの他認識処理結果とが合成され、出力される。

　また、ステップＳ５６－１乃至６７－１においては、図４のステップＳ１４－１乃至Ｓ２５－１と同様に、自認識処理結果と他認識処理結果との合成が可能ではない場合には、認識処理結果合成部１２２－１による自認識処理結果と他認識処理結果との合成処理は行われずに、第１系列の第１認識処理演算部１２１－１からの自認識処理結果が出力される。

　一方、ステップＳ５５－１において、他認識処理結果の入力ポイントが、第２認識処理演算部１２３－１であると判定された場合、処理は、ステップＳ６８－１に進められる。

　ステップＳ６８－１において、第１の系列の認識処理部１０３－１の第２認識処理演算部１２３－１は、第２の系列の第１認識処理演算部１２１－２により演算された他認識処理結果であって、認識処理結果入力ポイント選択部１０７－２から供給される、認識処理結果キュー１０４Ｂ－２により保持されていた他認識処理結果を取得する。

　ステップＳ６９－１において、第１の系列の認識処理部１０３－１の第２認識処理演算部１２３－１は、認識処理結果入力ポイント選択部１０７－２からの認識処理結果（他認識処理結果）に基づいて、ISP１０２－１から供給される画像信号に対して、所定の画像解析処理を行い、認識処理結果（合成認識処理結果）を求める。そして、第２認識処理演算部１２３－１は、認識処理結果（合成認識処理結果）を、認識処理結果キュー１０４Ａ－１に保持させる。

　ステップＳ７０（Ｓ７０－１）において、認識情報処理部１０５は、認識処理結果キュー１０４Ａ－１により保持された認識処理結果（合成認識処理結果）を、認識情報として読み出して処理する。例えば、認識情報処理部１０５は、認識情報を処理して、画像フレームに含まれるオブジェクトの映像に、その詳細な説明と動きに関する情報が重畳された映像を生成する。

　ステップＳ７１（Ｓ７１－１）において、出力部１０６は、ステップＳ７０（Ｓ７０－１）の処理で得られる認識情報の処理結果を、例えば、出力装置２０（図１）に出力する。

　ステップＳ６７又はステップＳ７１の処理が終了すると、図７の第２の実施の形態の認識処理は、終了される。

　以上、第２の実施の形態の認識処理の流れについて説明した。この第２の実施の形態の認識処理では、各系列において、他系列で認識された他認識処理結果に基づいて、自系列で認識された自認識処理結果を求めることができるため、撮像画像（画像フレーム）に含まれる対象物（オブジェクト）の認識結果の精度を向上させることができる。また、第２の実施の形態では、第１の実施の形態と比べて、認識処理結果の合成よりも前の認識処理の段階で、他系列の他認識処理結果を用いていると言える。

（３）第３の実施の形態：認識処理結果のタイミングを合わせて合成処理を行う構成

（画像処理装置の構成例）
　図８は、第３の実施の形態の画像処理装置１０Ｃの構成例を示す図である。

　図８において、画像処理装置１０Ｃは、固体撮像素子１０１－１、ISP１０２－１、認識処理部１０３－１、認識処理結果キュー１０４Ａ－１、及び、認識処理結果キュー１０４Ｂ－１を含む第１の系列と、固体撮像素子１０１－２、ISP１０２－２、認識処理部１０３－２、認識処理結果キュー１０４Ａ－２、及び、認識処理結果キュー１０４Ｂ－２を含む第２の系列と、第１の系列と第２の系列からの出力を処理する認識情報処理部１０５及び出力部１０６とから構成される。

　なお、図８の画像処理装置１０Ｃにおいて、図２の画像処理装置１０Ａと対応する箇所には同一の符号が付してあり、その説明は繰り返しになるので、適宜省略する。

　すなわち、図８の画像処理装置１０Ｃにおいては、図２の画像処理装置１０Ａと比べて、第１の系列の認識処理部１０３－１に、認識処理演算部１２１－１及び認識処理結果合成部１２２－１に加えて、認識処理結果保存部１２４－１が新たに設けられている点が異なっている。

　また、図８の画像処理装置１０Ｃにおいては、図２の画像処理装置１０Ａと比べて、第２の系列の認識処理部１０３－２に、認識処理演算部１２１－２及び認識処理結果合成部１２２－２に加えて、認識処理結果保存部１２４－２が新たに設けられている点が異なっている。

　なお、第３の実施の形態においても、上述した第１の実施の形態と同様に、例えば、第１の系列では、低フレームレート（例えば、1fpsなど）で、かつ、高解像度（例えば、HD（高精細画質）など）の撮像画像（画像フレーム）に対する処理が行われる一方で、第２の系列では、高フレームレート（例えば、60fpsなど）で、かつ、低解像度（例えば、SD(標準画質)など）の撮像画像（画像フレーム）に対する処理が行われるようにすることができる。

　第１の系列において、認識処理部１０３－１は、認識処理演算部１２１－１、認識処理結果合成部１２２－１、及び、認識処理結果保存部１２４－１から構成される。

　認識処理演算部１２１－１は、ISP１０２－１から供給される画像信号に対して、所定の画像解析処理を行い、それにより得られる認識処理結果（自認識処理結果）を、認識処理結果保存部１２４－１に供給する。また、認識処理演算部１２１－１は、認識処理結果（自認識処理結果）を、認識処理結果キュー１０４Ｂ－１に保持させる。

　認識処理結果保存部１２４－１は、認識処理演算部１２１－１から供給される認識処理結果（自認識処理結果）を保存する。認識処理結果保存部１２４－１は、所定のタイミングで、保存していた認識処理結果（自認識処理結果）を、認識処理結果合成部１２２－１に供給する。

　認識処理結果合成部１２２－１には、認識処理結果保存部１２４－１からの認識処理結果（自認識処理結果）と、第２の系列の認識処理結果キュー１０４Ｂ－２に保持される認識処理結果（他認識処理結果）が、処理すべきタイミングで（例えば、同一の画像フレームのタイミングで）同時に入力される。なお、第２の系列の認識処理結果キュー１０４Ｂ－２に保持される認識処理結果（他認識処理結果）は、認識処理部１０３－２（の認識処理演算部１２１－２）により求められたものである。

　認識処理結果合成部１２２－１は、認識処理結果保存部１２４－１から供給される認識処理結果（自認識処理結果）と、認識処理結果キュー１０４Ｂ－２からの認識処理結果（他認識処理結果）とを合成し、それにより得られる認識処理結果（合成認識処理結果）を、認識処理結果キュー１０４Ａ－１に保持させる。

　一方、第２の系列において、認識処理部１０３－２は、認識処理演算部１２１－２、認識処理結果合成部１２２－２、及び、認識処理結果保存部１２４－２から構成される。

　認識処理演算部１２１－２は、ISP１０２－２から供給される画像信号に対して、所定の画像解析処理を行い、それにより得られる認識処理結果（自認識処理結果）を、認識処理結果保存部１２４－２に供給する。また、認識処理演算部１２１－２は、認識処理結果（自認識処理結果）を、認識処理結果キュー１０４Ｂ－２に保持させる。

　認識処理結果保存部１２４－２は、認識処理演算部１２１－２から供給される認識処理結果（自認識処理結果）を保存する。認識処理結果保存部１２４－２は、所定のタイミングで、保存していた認識処理結果（自認識処理結果）を、認識処理結果合成部１２２－２に供給する。

　認識処理結果合成部１２２－２には、認識処理結果保存部１２４－２からの認識処理結果（自認識処理結果）と、第１の系列の認識処理結果キュー１０４Ｂ－１に保持される認識処理結果（他認識処理結果）が、処理すべきタイミングで（例えば、同一の画像フレームのタイミングで）同時に入力される。なお、第１の系列の認識処理結果キュー１０４Ｂ－１に保持される認識処理結果（他認識処理結果）は、認識処理部１０３－１（の認識処理演算部１２１－１）により求められたものである。

　認識処理結果合成部１２２－２は、認識処理結果保存部１２４－２から供給される認識処理結果（自認識処理結果）と、認識処理結果キュー１０４Ｂ－１からの認識処理結果（他認識処理結果）とを合成し、それにより得られる認識処理結果（合成認識処理結果）を、認識処理結果キュー１０４Ａ－２に保持させる。

　なお、図８の画像処理装置１０Ｃにおいて、上述した構成以外は、図２の画像処理装置１０Ａの構成と同様である。

　画像処理装置１０Ｃは、以上のように構成される。

（認識処理の流れ）
　次に、図９のフローチャートを参照して、図８の画像処理装置１０Ｃにより実行される、第３の実施の形態の認識処理の流れについて説明する。

　ステップＳ９１－１乃至Ｓ９４－１においては、図４のステップＳ１１－１乃至Ｓ１４－１と同様に、第１の系列の固体撮像素子１０１－１により撮像された撮像画像に対して、カメラ信号処理と解像度変換処理が施され、第１の系列の自認識処理結果が求められる。また、ステップＳ９１－２乃至Ｓ９４－２においては、図４のステップＳ１１－２乃至Ｓ１４－２と同様に、第２の系列の固体撮像素子１０１－２により撮像された撮像画像に対して、カメラ信号処理と解像度変換処理が施され、第２の系列の自認識処理結果が求められる。

　ステップＳ９５－１において、第１の系列の認識処理結果保存部１２４－１は、認識処理演算部１２１－１から供給される第１の系列の認識処理結果（自認識処理結果）を保存する。

　ステップＳ９６－１においては、第１の系列の認識処理結果保存部１２４－１により保存されている自認識処理結果が、第２の系列の認識処理結果キュー１０４Ｂ－２に保持される他認識処理結果と同一のタイミング（例えば、同一の画像フレームのタイミング）となって、認識処理結果合成部１２２－１により処理されるべきタイミングとなっているかどうかが判定される。すなわち、他系列の他認識処理結果を基準にして、自系列の自認識処理結果のタイミングを合わせることで、自認識処理結果と他認識処理結果の時間的なずれを保証している。

　ステップＳ９６－１において、第１の系列の自認識処理結果が、第２の系列の他認識処理結果と同一のタイミングになっていないと判定された場合、ステップＳ９６－１の判定処理が繰り返される。そして、第１の系列の自認識処理結果と、第２の系列の他認識処理結果とが同一のタイミングと判定された場合、処理は、ステップＳ９７－１に進められる。

　ステップＳ９７－１において、第１の系列の認識処理結果保存部１２４－１は、保存していた自認識処理結果を、認識処理結果合成部１２２－１に供給する。これにより、認識処理結果合成部１２２－１においては、処理すべきタイミングで（例えば、同一の画像フレームのタイミングで）、第１の系列の自認識処理結果と、第２の系列の他認識処理結果とが同時に入力されることになる。

　ステップＳ９７－１の処理が終了すると、処理は、ステップＳ９８－１に進められる。

　ステップＳ９８－１乃至Ｓ１０７－１においては、図４のステップＳ１６－１乃至２５－１と同様に、自認識処理結果と他認識処理結果との合成が可能であると判定された場合には、認識処理結果合成部１２２－１によって、処理すべきタイミングで（例えば、同一の画像フレームのタイミングで）同時に入力される、第１系列の自認識処理結果と、第２の系列の他認識処理結果とが合成され、出力される。

　また、ステップＳ９８－１乃至Ｓ１０７－１においては、図４のステップＳ１６－１乃至２５－１と同様に、自認識処理結果と他認識処理結果との合成が可能ではない場合には、認識処理結果合成部１２２－１による自認識処理結果と他認識処理結果との合成処理は行われずに、第１系列の第１認識処理演算部１２１－１からの自認識処理結果が出力される。

　ステップＳ１０７（Ｓ１０７－１）の処理が終了すると、図９の第３の実施の形態の認識処理は、終了される。

　以上、第３の実施の形態の認識処理の流れについて説明した。この第３の実施の形態の認識処理では、各系列において、自系列で認識された自認識処理結果だけでなく、他系列で認識された他認識処理結果を合成しているため、撮像画像（画像フレーム）に含まれる対象物（オブジェクト）の認識結果の精度を向上させることができる。また、第３の実施の形態では、第１の実施の形態と比べて、認識処理結果のタイミングを合わせて合成処理を行っているため、自系列の自認識処理結果と、他系列の他認識処理結果の時間的なずれを保証することができる。

（４）第４の実施の形態：遅延情報に応じたタイミングで認識処理を行う構成

（画像処理装置の構成例）
　図１０は、第４の実施の形態の画像処理装置１０Ｄの構成例を示す図である。

　図１０において、画像処理装置１０Ｄは、固体撮像素子１０１－１、ISP１０２－１、認識処理部１０３－１、認識処理結果キュー１０４Ａ－１、及び、認識処理結果キュー１０４Ｂ－１を含む第１の系列と、固体撮像素子１０１－２、ISP１０２－２、認識処理部１０３－２、認識処理結果キュー１０４Ａ－２、及び、認識処理結果キュー１０４Ｂ－２を含む第２の系列と、第１の系列と第２の系列からの出力を処理する認識情報処理部１０５及び出力部１０６とから構成される。

　なお、図１０の画像処理装置１０Ｄにおいて、図２の画像処理装置１０Ａと対応する箇所には同一の符号が付してあり、その説明は繰り返しになるので、適宜省略する。

　すなわち、図１０の画像処理装置１０Ｄにおいては、図２の画像処理装置１０Ａと比べて、第１の系列の認識処理部１０３－１に、認識処理演算部１２１－１及び認識処理結果合成部１２２－１に加えて、遅延情報設定部１２５－１が新たに設けられている点が異なっている。

　また、図１０の画像処理装置１０Ｄにおいては、図２の画像処理装置１０Ａと比べて、第２の系列の認識処理部１０３－２に、認識処理演算部１２１－２及び認識処理結果合成部１２２－２に加えて、遅延情報設定部１２５－２が新たに設けられている点が異なっている。

　なお、第４の実施の形態においても、上述した第１の実施の形態と同様に、例えば、第１の系列では、低フレームレート（例えば、1fpsなど）で、かつ、高解像度（例えば、HD（高精細画質）など）の撮像画像（画像フレーム）に対する処理が行われる一方で、第２の系列では、高フレームレート（例えば、60fpsなど）で、かつ、低解像度（例えば、SD(標準画質)など）の撮像画像（画像フレーム）に対する処理が行われるようにすることができる。

　第１の系列において、認識処理部１０３－１は、認識処理演算部１２１－１、認識処理結果合成部１２２－１、及び、遅延情報設定部１２５－１から構成される。

　遅延情報設定部１２５－１は、第２の系列の認識処理部１０３－２の認識処理演算部１２１－２の処理時間に対応する遅延情報を、認識処理演算部１２１－１に設定する。なお、この遅延情報は、例えば、第２の系列の認識処理演算部１２１－２で行われる（他認識処理結果の）認識処理に要する時間を、あらかじめ計測しておくことなどにより求められる。

　ただし、認識処理演算部１２１－１においては、遅延情報設定部１２５－１から設定される遅延情報に応じて、（自認識処理結果の）認識処理の開始タイミングを遅らせており、これにより、第２の系列の認識処理演算部１２１－２で行われる（他認識処理結果の）認識処理が終了してから、（自認識処理結果の）認識処理が行われることになる。

　認識処理結果合成部１２２－１は、認識処理演算部１２１－１から供給される認識処理結果（自認識処理結果）と、認識処理結果キュー１０４Ｂ－２からの認識処理結果（他認識処理結果）とを合成し、それにより得られる認識処理結果（合成認識処理結果）を、認識処理結果キュー１０４Ａ－１に保持させる。なお、第２の系列の認識処理結果キュー１０４Ｂ－２に保持される認識処理結果（他認識処理結果）は、認識処理部１０３－２（の認識処理演算部１２１－２）により求められたものである。

　一方、第２の系列において、認識処理部１０３－２は、認識処理演算部１２１－２、認識処理結果合成部１２２－２、及び、遅延情報設定部１２５－２から構成される。

　遅延情報設定部１２５－２は、第１の系列の認識処理部１０３－１の認識処理演算部１２１－１の処理時間に対応する遅延情報を、認識処理演算部１２１－２に設定する。なお、この遅延情報は、例えば、第１の系列の認識処理演算部１２１－１で行われる（他認識処理結果の）認識処理に要する時間を、あらかじめ計測しておくことなどにより求められる。

　認識処理演算部１２１－２は、ISP１０２－２から供給される画像信号に対して、所定の画像解析処理を行い、それにより得られる認識処理結果（自認識処理結果）を、認識処理結果合成部１２２－２に供給する。また、認識処理演算部１２１－２は、認識処理結果（自認識処理結果）を、認識処理結果キュー１０４Ｂ－２に保持させる。

　ただし、認識処理演算部１２１－２においては、遅延情報設定部１２５－２から設定される遅延情報に応じて、（自認識処理結果の）認識処理の開始タイミングを遅らせており、これにより、第１の系列の認識処理演算部１２１－１で行われる（他認識処理結果の）認識処理が終了してから、（自認識処理結果の）認識処理が行われることになる。

　認識処理結果合成部１２２－２は、認識処理演算部１２１－２から供給される認識処理結果（自認識処理結果）と、認識処理結果キュー１０４Ｂ－１からの認識処理結果（他認識処理結果）とを合成し、それにより得られる認識処理結果（合成認識処理結果）を、認識処理結果キュー１０４Ａ－２に保持させる。なお、第１の系列の認識処理結果キュー１０４Ｂ－１に保持される認識処理結果（他認識処理結果）は、認識処理部１０３－１（の認識処理演算部１２１－１）により求められたものである。

　ここで、遅延情報は、第１の系列の認識処理又は第２の系列の認識処理のいずれか一方を遅延させるための情報であって、遅延情報設定部１２５－１又は遅延情報設定部１２５－２のいずれか一方により設定されるものである。すなわち、遅延情報設定部１２５－１が、遅延情報を、認識処理演算部１２１－１に設定した場合には、遅延情報設定部１２５－２が、遅延情報を、認識処理演算部１２１－２に設定することはない。一方で、遅延情報設定部１２５－２が、遅延情報を、認識処理演算部１２１－２に設定した場合には、遅延情報設定部１２５－１が、遅延情報を、認識処理演算部１２１－１に設定することはない。

　なお、図１０の画像処理装置１０Ｄにおいて、上述した構成以外は、図２の画像処理装置１０Ａの構成と同様である。

　画像処理装置１０Ｄは、以上のように構成される。

（認識処理の流れ）
　次に、図１１のフローチャートを参照して、図１０の画像処理装置１０Ｄにより実行される、第４の実施の形態の認識処理の流れについて説明する。

　ステップＳ１３１－１乃至Ｓ１３３－１においては、図４のステップＳ１１－１乃至Ｓ１３－１と同様に、第１の系列の固体撮像素子１０１－１により撮像された撮像画像に対して、カメラ信号処理と解像度変換処理が施される。また、ステップＳ１３１－２乃至Ｓ１３３－２においては、図４のステップＳ１１－２乃至Ｓ１３－２と同様に、第２の系列の固体撮像素子１０１－２により撮像された撮像画像に対して、カメラ信号処理と解像度変換処理が施される。

　ステップＳ１３４－１において、第１の系列の遅延情報設定部１２５－１は、第２の系列の認識処理部１０３－２の認識処理演算部１２１－２の処理時間に対応する遅延情報を、認識処理演算部１２１－１に設定する。

　ステップＳ１３５－１において、第１の系列の認識処理演算部１２１－１は、遅延情報設定部１２５－１により設定された遅延情報が示す時間を経過したかどうかを判定する。ステップＳ１３５－１において、遅延情報が示す時間を経過していないと判定された場合、ステップＳ１３５－１の判定処理が繰り返される。その後、ステップＳ１３５－１において、遅延情報が示す時間を経過したと判定された場合、処理は、ステップＳ１３６－１に進められる。

　ステップＳ１３６－１において、第１の系列の認識処理演算部１２１－１は、解像度変換部１１２－１から供給される画像信号に対して、所定の画像解析処理を行い、自認識処理結果を求める。

　ただし、第１の系列の認識処理演算部１２１－１においては、遅延情報設定部１２５－１から設定される遅延情報に応じて、（自認識処理結果の）認識処理の開始タイミングを遅らせており、これにより、第２の系列の認識処理演算部１２１－２で行われる（他認識処理結果の）認識処理（Ｓ１３６－２）が終了してから、（自認識処理結果の）認識処理が行われることになる。

　ステップＳ１３６－１の処理が終了すると、処理は、ステップＳ１３７－１に進められる。

　ステップＳ１３７－１乃至Ｓ１４７－１においては、図４のステップＳ１５－１乃至Ｓ２５－１と同様に、自認識処理結果と他認識処理結果との合成が可能であると判定された場合には、認識処理結果合成部１２２－１によって、第１系列の自認識処理結果と、第２の系列の他認識処理結果とが合成され、出力される。

　また、ステップＳ１３７－１乃至Ｓ１４７－１においては、図４のステップＳ１５－１乃至Ｓ２５－１と同様に、自認識処理結果と他認識処理結果との合成が可能ではない場合には、認識処理結果合成部１２２－１による自認識処理結果と他認識処理結果との合成処理は行われずに、第１系列の第１認識処理演算部１２１－１からの自認識処理結果が出力される。

　ステップＳ１４７（Ｓ１４７－１）の処理が終了すると、図１１の第４の実施の形態の認識処理は、終了される。

　以上、第４の実施の形態の認識処理の流れについて説明した。この第４の実施の形態の認識処理では、各系列において、自系列で認識された自認識処理結果だけでなく、他系列で認識された他認識処理結果を合成しているため、撮像画像（画像フレーム）に含まれる対象物（オブジェクト）の認識結果の精度を向上させることができる。また、第４の実施の形態では、第１の実施の形態と比べて、一方の系列で、遅延情報に応じたタイミングで認識処理が行われるようにしているため、一方の系列の認識処理が終わった後に、他方の認識処理を行うことが可能となり、リアルタイム性を向上させることができる。

＜３．変形例＞

（画像処理装置の他の構成例）
　図１２は、画像処理装置１０の他の構成例を示す図である。

　図１２において、画像処理装置１０Ｅは、図２の画像処理装置１０Ａと比べて、第１の系列用の固体撮像素子１０１－１と、第２の系列用の固体撮像素子１０１－２の代わりに、第１の系列と第２の系列で共通となる固体撮像素子１０１が設けられている点が異なる。また、第１の系列と第２の系列で、第１の系列のISP１０２－１のカメラ信号処理部１１１－１が共通に用いられている。さらに、第１の系列のISP１０２－１では、解像度変換部１１２－１の前段に、フレーム間引き処理部１１３－１が設けられ、第２の系列のISP１０２－２では、解像度変換部１１２－２の前段に、フレーム間引き処理部１１３－２が設けられている。

　図１２の固体撮像素子１０１は、外部から入力されるクロック又はその内部で生成するクロックに応じて動作することで、撮像画像（画像フレーム）のフレームレートを変更することができるが、図１２の固体撮像素子１０１では、２種類のクロックに応じて、異なるフレームレートの画像フレームが生成されるようにすることができる。例えば、図１２の固体撮像素子１０１は、低フレームレートの画像フレームと、高フレームレートの画像フレームを生成し、出力するようにする。

　そして、ISP１０２－１のカメラ信号処理部１１１－１によって、低フレームレートの画像フレーム（の画像信号）と、高フレームレートの画像フレーム（の画像信号）に対してカメラ信号処理が施されるが、低フレームレートの画像フレーム（の画像信号）が、第１の系列のISP１０２－１の解像度変換部１１２－１に入力され、高フレームレートの画像フレーム（の画像信号）が、第２の系列のISP１０２－２の解像度変換部１１２－２に入力されるようにする。

　ただし、第１の系列のISP１０２－１のフレーム間引き処理部１１３－１と、第２の系列のISP１０２－２のフレーム間引き処理部１１３－２が、フレーム間引き処理を行うことで、低フレームレートの画像フレーム（の画像信号）が、解像度変換部１１２－１に入力され、高フレームレートの画像フレーム（の画像信号）が、解像度変換部１１２－２に入力されるようにしてもよい。この場合、第１の系列のフレーム間引き処理部１１３－１又は第２の系列のフレーム間引き処理部１１３－２によって、画像フレームのフレームレートが落とされるようにすることで、第１の系列と第２の系列で異なるフレームレートの画像フレームを認識できるので、省電力化に効果がある。

　例えば、固体撮像素子１０１から、一定のフレームレート（例えば、60fpsなど）の画像フレームが出力される場合に、第１の系列のフレーム間引き処理部１１３－１は、カメラ信号処理部１１１－１からの画像フレーム（の画像信号）に対して、フレーム間引き処理を行うことで（例えば、60fpsから1fpsに落とすことで）、低フレームレートの画像フレームとして、解像度変換部１１２－１に入力されるようにする。一方で、例えば、第２の系列のフレーム間引き処理部１１３－２は、カメラ信号処理部１１１－１からの画像フレーム（の画像信号）を、そのままのフレームレートで（例えば、60fpsのままで）、高フレームレートの画像フレームとして、解像度変換部１１２－２に入力されるようにする。

　なお、第１の系列のフレーム間引き処理部１１３－１と、第２の系列のフレーム間引き処理部１１３－２のフレーム間引き処理によって、第１の系列と第２の系列とで、画像フレームのフレームレートが異なるようにする場合、固体撮像素子１０１は、一定のフレームレートの画像フレームを出力してもよいし、異なるフレームレートの画像フレームを出力するようにしてもよい。

　また、固体撮像素子１０１によって、異なるフレームレートの画像フレームが出力される場合には、第１の系列のフレーム間引き処理部１１３－１と、第２の系列のフレーム間引き処理部１１３－２を設けなくてもよい。さらに、第１の系列と第２の系列とで処理される画像フレームのフレームレートによっては、第１の系列のフレーム間引き処理部１１３－１と、第２の系列のフレーム間引き処理部１１３－２のうち、一方のフレーム間引き処理部１１３のみが設けられるようにしてもよい。

　第１の系列の解像度変換部１１２－１は、そこに入力される低フレームレートの画像フレーム（の画像信号）に対して、解像度変換処理を施すことで、高解像度の画像フレームを生成する。一方で、第２の系列の解像度変換部１１２－２は、そこに入力される高フレームレートの画像フレーム（の画像信号）に対して、解像度変換処理を施すことで、低解像度の画像フレームを生成する。

　これにより、第１の系列では、低フレームレート（例えば、1fpsなど）で、かつ、高解像度（例えば、HD（高精細画質）など）の画像フレームに対する処理が行われる一方で、第２の系列では、高フレームレート（例えば、60fpsなど）で、かつ、低解像度（例えば、SD(標準画質)など）の画像フレームに対する処理が行われるようにすることができる。

　以上のように、第１の系列と第２の系列ごとに、固体撮像素子１０１－１と固体撮像素子１０１－２を設けなくても、複数のフレームレートの画像フレームを生成可能な固体撮像素子１０１によって、各系列で処理される出力情報が異なる複数の画像フレームを提供することができる。

（画像処理装置の他の構成例）
　図１３は、画像処理装置１０の他の構成例を示す図である。

　図１３において、画像処理装置１０Ｆは、図２の画像処理装置１０Ａと比べて、第１の系列及び第２の系列に加えて、固体撮像素子１０１－３、ISP１０２－３、認識処理部１０３－３、認識処理結果キュー１０４Ａ－３、及び、認識処理結果キュー１０４Ｂ－３を含む第３の系列を含んでいる点が異なっている。

　図１３の画像処理装置１０Ｆにおいて、第３の系列を構成するブロックは、第１の系列又は第２の系列を構成するブロックと同様の機能を有している。

　例えば、第１の系列では、低フレームレート（例えば、1fpsなど）で、かつ、高解像度（例えば、HD（高精細画質）など）の画像フレームに対する処理が行われ、第２の系列では、高フレームレート（例えば、60fpsなど）で、かつ、低解像度（例えば、SD(標準画質)など）の画像フレームに対する処理が行われる一方で、第３の系列では、中フレームレート（例えば、30fpsなど）で、かつ、中解像度（例えば、SDとHDの間の解像度）の画像フレームに対する処理が行われるようにする。

　これにより、図１３の画像処理装置１０Ｆにおいて、第１の系列、第２の系列、及び、第３の系列では、自系列で認識された自認識処理結果と、２つの他系列で認識された他認識処理結果とを合成して、より精度の高い認識処理結果（合成認識処理結果）が得られるようにすることができる。例えば、第１の系列においては、自系列で認識された自認識処理結果のほかに、第２の系列で認識された他認識処理結果と、第３の系列で認識された他認識処理結果を用いることができる。

　なお、図１３の画像処理装置１０Ｆでは、第１の系列乃至第３の系列の３つの系列を説明したが、４つ以上の系列についても同様である。

　また、図１２に示したように、第１の系列用の固体撮像素子１０１－１、第２の系列用の固体撮像素子１０１－２、及び、第３の系列用の固体撮像素子１０１－３の代わりに、複数のフレームレートの画像フレームを生成可能な固体撮像素子１０１を設けるようにしてもよい。

（画像処理システムの他の構成例）
　図１４は、画像処理システムの他の構成例を示す図である。

　図１４において、画像処理システム２は、撮像装置３０、画像処理サーバ４０、及び、情報端末装置５０から構成される。また、図１４において、撮像装置３０、画像処理サーバ４０、及び、情報端末装置５０は、インターネットや電話網などを含むネットワーク６０を介して相互に接続されている。

　撮像装置３０は、例えば、第１の系列（図２）における固体撮像素子１０１－１、及び、ISP１０２－１と、第２の系列（図２）における固体撮像素子１０１－２、及び、ISP１０２－２を含んで構成されるようにすることができる。また、撮像装置３０は、通信機能を有している。

　撮像装置３０は、第１の系列の撮像画像（画像フレーム）と、第２の系列の撮像画像（画像フレーム）を生成し、ネットワーク６０を介して、画像処理サーバ４０に送信する。

　画像処理サーバ４０は、例えば、第１の系列（図２）における認識処理部１０３－１、認識処理結果キュー１０４Ａ－１、及び、認識処理結果キュー１０４Ｂ－１と、第２の系列（図２）における認識処理部１０３－２、認識処理結果キュー１０４Ａ－２、及び、認識処理結果キュー１０４Ｂ－２と、第１の系列と第２の系列からの出力を処理する認識情報処理部１０５及び出力部１０６とを含んで構成されるようにすることができる。また、画像処理サーバ４０は、通信機能を有している。

　画像処理サーバ４０は、ネットワーク６０を介して撮像装置３０から送信されてくる、第１の系列の撮像画像（画像フレーム）と、第２の系列の撮像画像（画像フレーム）を受信する。画像処理サーバ４０においては、第１の系列で、撮像装置３０からの撮像画像（画像フレーム）に対する認識処理が行われ、認識処理結果（自認識処理結果）が得られる。また、画像処理サーバ４０においては、第２の系列でも、撮像装置３０からの撮像画像（画像フレーム）に対する認識処理が行われ、認識処理結果（自認識処理結果）が得られる。

　そして、画像処理サーバ４０において、第１の系列と第２の系列では、自系列で認識された自認識処理結果と、他系列で認識された他認識処理結果とが合成され、より精度の高い認識処理結果（合成認識処理結果）が得られることになる。画像処理サーバ４０は、このようにして得られた認識処理結果（合成認識処理結果）に応じた認識情報を、情報端末装置５０からの要求に応じて、ネットワーク６０を介して配信する。

　情報端末装置５０は、例えば、携帯電話機やスマートフォン、タブレット端末装置などの通信機能を有する電子機器である。情報端末装置５０は、ネットワーク６０を介して、認識情報を、画像処理サーバ４０に要求する。そして、情報端末装置５０は、認識情報の要求に応じて、画像処理サーバ４０からネットワーク６０を介して送信されてくる認識情報を受信して表示する。

　なお、図１４の画像処理システム２の構成は一例であって、例えば、撮像装置３０と画像処理サーバ４０が同一の装置として構成されるようにするなど、他の構成を採用することができる。

＜４．コンピュータの構成＞

　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

　図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

　コンピュータ２００において、CPU(Central Processing Unit)２０１，ROM(Read Only Memory)２０２，RAM(Random Access Memory)２０３は、バス２０４により相互に接続されている。バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、入力部２０６、出力部２０７、記録部２０８、通信部２０９、及びドライブ２１０が接続されている。

　入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記録部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインターフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

　以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記録部２０８に記憶されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

　コンピュータ２００(CPU２０１)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。

　コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。

　なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　ここで、本明細書において、コンピュータ２００に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。

　また、プログラムは、１のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

　さらに、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

　なお、本技術は、以下のような構成をとることができる。

（１）
　撮像に関する出力情報が異なる複数の撮像画像から得られる対象物の認識結果に基づいて、前記対象物の認識処理を行う認識処理部を備える
　画像処理装置。
（２）
　前記撮像画像は、時系列で生成される画像フレームであり、
　前記出力情報は、前記撮像画像の解像度、及び、前記撮像画像のフレームレートの少なくとも一方を示す情報である
　（１）に記載の画像処理装置。
（３）
　前記認識処理部は、
　　同一の系列の撮像部から出力される前記撮像画像に対する認識処理を行う認識部と、
　　前記認識部による前記対象物の認識結果と、他の系列の撮像部から出力される前記撮像画像に含まれる前記対象物の他の認識結果とを合成する合成部と
　を有する
　（２）に記載の画像処理装置。
（４）
　前記合成部は、前記対象物の認識結果と前記対象物の他の認識結果とを合成するかどうかの判定基準となる閾値情報に基づいて、前記対象物の認識結果と前記対象物の他の認識結果とを合成すると判定された場合に、前記対象物の認識結果と前記対象物の他の認識結果とを合成する
　（３）に記載の画像処理装置。
（５）
　前記閾値情報は、前記対象物の認識結果に含まれる前記対象物の位置と、前記対象物の他の認識結果に含まれる前記対象物の位置とのずれの許容範囲を示す情報、又は、前記対象物の認識結果に含まれる前記対象物の種別と、前記対象物の他の認識結果に含まれる前記対象物の種別との違いの許容範囲を示す情報である
　（４）に記載の画像処理装置。
（６）
　前記合成部は、前記対象物の認識結果及び前記対象物の他の認識結果の少なくとも一方の認識結果を、合成可能な状態に調整してから、前記対象物の認識結果と前記対象物の他の認識結果とを合成する
　（３）乃至（５）のいずれか一項に記載の画像処理装置。
（７）
　前記認識処理部は、
　　他の系列の撮像部から出力される前記撮像画像に含まれる前記対象物の他の認識結果に基づいて、同一の系列の撮像部から出力される前記撮像画像に対する認識処理を行う認識部を有する
　（２）に記載の画像処理装置。
（８）
　前記認識処理部は、
　　前記認識部による前記対象物の認識結果を保存する保存部をさらに有し、
　　前記合成部は、所定のタイミングで、前記保存部に保存されていた前記対象物の認識結果と、前記対象物の他の認識結果とを合成する
　（３）に記載の画像処理装置。
（９）
　前記認識処理部は、
　　他の系列の撮像部から出力される前記撮像画像に対する認識処理に要する時間に応じた遅延情報を設定する設定部をさらに有し、
　　前記認識部は、前記設定部により設定される前記遅延情報に基づいて、同一の系列の撮像部から出力される前記撮像画像に対する認識処理を行う
　（３）に記載の画像処理装置。
（１０）
　前記複数の撮像画像は、複数の撮像部から出力される
　（１）乃至（９）のいずれか一項に記載の画像処理装置。
（１１）
　前記複数の撮像画像は、１つの撮像部から出力される
　（１）乃至（９）のいずれか一項に記載の画像処理装置。
（１２）
　画像処理装置の画像処理方法において、
　前記画像処理装置が、
　撮像に関する出力情報が異なる複数の撮像画像から得られる対象物の認識結果に基づいて、前記対象物の認識処理を行う
　ステップを含む画像処理方法。
（１３）
　コンピュータを、
　撮像に関する出力情報が異なる複数の撮像画像から得られる対象物の認識結果に基づいて、前記対象物の認識処理を行う認識処理部と
　して機能させるためのプログラム。

　１，２　画像処理システム，　１０　画像処理装置，　２０　出力装置，　３０　撮像装置，　４０　画像処理サーバ，　５０　情報端末装置，　６０　ネットワーク，　１０１　固体撮像素子，　１０２　ISP，　１０４Ａ，１０４Ｂ　認識処理結果キュー，　１０５　認識情報処理部，　１０６　出力部，　１１１　カメラ信号処理部，　１１２　解像度変換部，　１１３　フレーム間引き処理部，　１２１　認識処理演算部（第１認識処理演算部），　１２２　認識処理結果合成部，　１２３　第２認識処理演算部，　１２４　認識処理結果保存部，　１２５　遅延情報設定部，　１３１　認識結果取得部，　１３２　認識結果調整部，　１３３　合成判定部，　１３４　認識結果合成部，　１３５　処理結果出力部，　２００　コンピュータ，　２０１　CPU

Claims

　撮像に関する出力情報が異なる複数の撮像画像から得られる対象物の認識結果に基づいて、前記対象物の認識処理を行う認識処理部を備える
　画像処理装置。
　前記撮像画像は、時系列で生成される画像フレームであり、
　前記出力情報は、前記撮像画像の解像度、及び、前記撮像画像のフレームレートの少なくとも一方を示す情報である
　請求項１に記載の画像処理装置。
　前記認識処理部は、
　　同一の系列の撮像部から出力される前記撮像画像に対する認識処理を行う認識部と、
　　前記認識部による前記対象物の認識結果と、他の系列の撮像部から出力される前記撮像画像に含まれる前記対象物の他の認識結果とを合成する合成部と
　を有する
　請求項２に記載の画像処理装置。
　前記合成部は、前記対象物の認識結果と前記対象物の他の認識結果とを合成するかどうかの判定基準となる閾値情報に基づいて、前記対象物の認識結果と前記対象物の他の認識結果とを合成すると判定された場合に、前記対象物の認識結果と前記対象物の他の認識結果とを合成する
　請求項３に記載の画像処理装置。
　前記閾値情報は、前記対象物の認識結果に含まれる前記対象物の位置と、前記対象物の他の認識結果に含まれる前記対象物の位置とのずれの許容範囲を示す情報、又は、前記対象物の認識結果に含まれる前記対象物の種別と、前記対象物の他の認識結果に含まれる前記対象物の種別との違いの許容範囲を示す情報である
　請求項４に記載の画像処理装置。
　前記合成部は、前記対象物の認識結果及び前記対象物の他の認識結果の少なくとも一方の認識結果を、合成可能な状態に調整してから、前記対象物の認識結果と前記対象物の他の認識結果とを合成する
　請求項３に記載の画像処理装置。
　前記認識処理部は、
　　他の系列の撮像部から出力される前記撮像画像に含まれる前記対象物の他の認識結果に基づいて、同一の系列の撮像部から出力される前記撮像画像に対する認識処理を行う認識部を有する
　請求項２に記載の画像処理装置。
　前記認識処理部は、
　　前記認識部による前記対象物の認識結果を保存する保存部をさらに有し、
　　前記合成部は、所定のタイミングで、前記保存部に保存されていた前記対象物の認識結果と、前記対象物の他の認識結果とを合成する
　請求項３に記載の画像処理装置。
　前記認識処理部は、
　　他の系列の撮像部から出力される前記撮像画像に対する認識処理に要する時間に応じた遅延情報を設定する設定部をさらに有し、
　　前記認識部は、前記設定部により設定される前記遅延情報に基づいて、同一の系列の撮像部から出力される前記撮像画像に対する認識処理を行う
　請求項３に記載の画像処理装置。
　前記複数の撮像画像は、複数の撮像部から出力される
　請求項１に記載の画像処理装置。
　前記複数の撮像画像は、１つの撮像部から出力される
　請求項１に記載の画像処理装置。
　画像処理装置の画像処理方法において、
　前記画像処理装置が、
　撮像に関する出力情報が異なる複数の撮像画像から得られる対象物の認識結果に基づいて、前記対象物の認識処理を行う
　ステップを含む画像処理方法。
　コンピュータを、
　撮像に関する出力情報が異なる複数の撮像画像から得られる対象物の認識結果に基づいて、前記対象物の認識処理を行う認識処理部と
　して機能させるためのプログラム。