JP7327911B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、撮像装置にて取得された画像を物体検出に用いる際の画像処理技術に関する。

自動車やロボットなど移動体が撮像装置および測距装置を搭載し、周辺環境を認識して、自律的に移動する技術が知られている。具体的には、移動体に設置された撮像装置から得られる画像を分析し、特定の物体（車、歩行者など）を検出する。次に、検出した物体と移動体に設置された測距装置からの距離情報、および移動体の移動予定経路を総合的に判断し、物体との衝突可能性を判定する。そして、移動体自身を停止あるいは回避等、どのように行動するかの行動計画を作成し、移動体自身の行動制御を行う。これらの技術を自動車に搭載した場合、運転者の運転を支援するため、運転支援、ＡＤＡＳ（高度運転支援システム）、自動運転等と呼ばれている。

この一連の処理の流れにおいて、車や歩行者等の特定の物体を検出する方式は幾つかある。例えば、撮像装置により取得された画像から特徴量を抽出し、その特徴量を基に事前に学習した識別器を用いて判断する特徴点ベースの方式がある。特徴量の例としては、Ｈａｒｒ－Ｌｉｋｅ特徴やＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴などがある。また識別方式としては、ＡｄａＢｏｏｓｔやＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）などがある。この方式の他には、畳み込みニューラルネットワークを用いて、直接、特徴抽出および識別器を深層学習により獲得するニューラルネットワーク方式などがある。いずれの方式も、画像中に写っている検出したい物体の位置・大きさを矩形で指定して、学習に用いている。しかし、画像中に写り込む物体の大きさは、物体と撮像装置との相対距離に応じて変化する。物体と撮像装置との距離が近い場合は、物体は画像中に大きく写り込む。このような場合に対応するため、取得した画像から、段階的に解像度を落とした画像を複数生成し、それぞれの画像で物体検出を行い、その結果を統合する階層処理が一般的に行われている。例えば、特許文献１には、測距装置からの距離情報を用いて、解像度の落とし方を制御することでより効率的に物体検出を行う技術が開示されている。

また特許文献２には、撮像画像と同時に複数の画素位置にて撮像装置から被写体までの距離（被写体距離とする。）を取得できる測距機能を備えた撮像装置が開示されている。特に、測距機能は、位相差方式により被写体距離を検出可能な測距画素を、撮像素子の像面に行毎に複数配置することにより実現されている。

特開２０１４－１４２２０２号公報 特開２０１７－１６３５３９号公報

前述した撮像素子と測距画素とが配置された撮像素子を備えた撮像装置の場合、撮像画素から生成された画像を用いて物体検出が行われる。しかし、撮像素子には測距画素も配置されているため、生成される画像の解像度が下がり、例えば被写体距離が遠いために小さく写る物体を検出できなくなる場合がある。

そこで、本発明は、被写体距離が遠い場合でも物体を検出可能にすることを目的とする。

本発明は、撮像画素と撮像面位相差方式で測距が可能な測距画素とが所定の配置パターンで配された撮像素子からの出力信号を処理する画像処理装置であって、前記撮像画素の出力信号を基に第１の画像を生成する第１の生成手段と、前記測距画素の出力信号を基に距離情報を生成する測距手段と、前記第１の画像について、前記距離情報を基に所定の距離よりも遠方となる領域を設定する設定手段と、前記設定手段により前記設定された領域について、前記撮像画素ならびに前記測距画素の出力信号を基に、前記第１の画像を用いて前記撮像画素の配置パターンに応じた解像度以上の解像度を有する第２の画像を生成する第２の生成手段と、前記第１の画像と前記第２の画像のいずれかの画像から、所定の物体の領域を検出する検出手段と、を有し、前記第２の生成手段は、前記撮像素子の前記測距画素から読み出された複数の信号を加算して輝度信号を生成して、前記撮像画素による前記解像度以上の解像度を有する輝度画像を生成し、前記設定手段により前記設定された領域を拡大した画像を生成し、前記輝度画像を用いて前記拡大した画像を補正して前記第２の画像を生成することを特徴とする。

本発明によれば、被写体距離が遠い場合でも物体を検出可能となる。

画像処理装置を含む撮像装置の構成と撮像素子の説明図である。 結像光学系と測距画素および視差量とデフォーカス量の関係説明図である。 画像処理の流れを示すフローチャートである。 物体検出に用いる画像の生成処理の説明図である。 拡大するべき領域の設定の説明図である。 半画素分ずれた画素配置の説明図である。 運転支援システムへの適用例を示した図である。

以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
本実施形態の画像処理装置は、撮像画素と撮像面位相差方式による測距が可能な測距画素とが所定の配置パターンで配された撮像素子からの出力信号を処理する装置であり、撮像素子の出力信号を基に生成した画像から所定の物体を検出する機能を有する。なお、以下の説明に用いる各図において、図番は異なっていても同じ構成または処理を行う部分にはそれぞれ同じ参照符号を付している。

図１（Ａ）は、本実施形態の画像処理装置（画像処理部１３）を撮像装置１に適用した場合の概略的な構成例を示した図である。撮像装置１は、結像光学系１０、撮像素子１１、制御部１２、画像処理部１３、記憶部１４、入力部１５、表示部１６、通信部１７を有して構成されている。

結像光学系１０は、撮像装置１の撮影レンズであり、被写体の光像を撮像素子１１上に形成する機能を有する。結像光学系１０は、複数のレンズ群（不図示）から構成され、撮像素子１１から所定距離離れた位置に射出瞳１０１を有する。なお本実施形態の各図に描かれているｘ軸、ｙ軸、ｚ軸について、ｚ軸は結像光学系１０の光軸１０２と並行した軸であり、ｘ軸とｙ軸は互いに垂直な軸であり且つ光軸（ｚ軸）と垂直な軸であるとする。

撮像素子１１は、ＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）から構成され、撮像画素の機能に加え、撮像面位相差方式による測距画素の機能をも備えた撮像素子である。すなわち撮像素子１１は、結像光学系１０によって撮像面に結像された被写体像を光電変換し、その被写体像に基づく画像信号ならびに撮像装置１から被写体までの距離情報を生成する。撮像画素と測距画素の詳細については後述する。

制御部１２は、撮像装置１の各部を制御する。例えば、制御部１２は、オートフォーカス（ＡＦ）による自動焦点合わせ、フォーカス位置の変更、Ｆ値（絞り）の変更、画像の取り込み、記憶部１４や入力部１５、表示部１６、通信部１７等を制御する。

画像処理部１３は、画像生成部１３０、メモリ１３１、距離生成部１３２、領域設定部１３３、物体検出部１３４、情報統合部１３５を有して構成されている。
画像生成部１３０は、撮像素子１１から供給された撮像信号に対し、ノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などの各種信号処理を行い、観賞用画像ならびに物体検出に用いる画像を生成する。なお、観賞用画像は、撮像素子１１の撮像画素からの撮像信号を基に生成される。物体検出に用いる画像の生成に関する詳細な説明は後述する。そして、画像生成部１３０から出力された画像データはメモリ１３１に一時的に蓄積される。メモリ１３１に蓄積された画像データのうち、物体検出に用いる画像のデータは後述する物体検出部１３４に送られ、観賞用画像のデータは表示部１６の表示に使用されたり、他の装置へ送信等されたりする。なお、物体検出に用いる画像データについても他の装置等への送信がなされてもよい。

距離生成部１３２は、後述するように、撮像素子１１が有する測距画素により取得された信号（距離情報）を用いて、距離情報の分布を表す距離画像を生成する。
領域設定部１３３は、後述するように、画像生成部１３０で生成された画像、あるいは距離生成部１３２で生成された距離画像を基に、拡大するべき領域を設定する。
物体検出部１３４は、後述するように、画像生成部１３０で生成された物体検出に用いる画像から、特定の物体の領域を検出し、その検出した物体領域の画像内における位置・大きさを特定する。
情報統合部１３５は、後述するように、距離生成部１３２および物体検出部１３４からの情報を統合し、その情報を基に、物体検出部１３４にて検出された物体が撮像装置１からどの距離に存在するかを演算する。情報統合部１３５は、検出された物体と距離情報、移動体の移動予定経路等を総合的に判断し、検出された物体が障害物となるか等を判断してもよい。

なお、画像処理部１３の各部は、論理回路を用いたハードウェアにより構成することができる。また別の形態として、画像処理部１３は、例えば中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成されていてもよい。この場合、メモリ内の演算処理プログラムをＣＰＵが実行するようなソフトウェア構成により、前述した各部の処理が実現される。また、画像処理部１３は、一部がハードウェア構成で残りがソフトウェア構成により実現されてもよい。

記憶部１４は、撮像装置１で取得したデータや中間データ、撮像装置１で利用されるパラメータデータなどが格納される不揮発性の記憶媒体である。記憶部１４としては、高速に読み書きでき、且つ、大容量の記憶媒体であればどのようなものを利用してもよい。記憶部１４としては、一例としてフラッシュメモリなどを用いることができる。
入力部１５は、ユーザーが操作し、撮像装置１に対して、情報入力や設定変更を行うためのインターフェイスである。入力部１５としては、例えば、ダイヤル、ボタン、スイッチ、タッチパネルなどを用いることができる。
表示部１６は、撮影時の構図確認のための画像や、各種設定画面、メッセージ情報、物体検出結果などの表示を行う。表示部１６は、液晶ディスプレイや有機ＥＬなどで構成される表示デバイスである。
通信部１７は、画像処理部１３で生成された撮像画像や距離情報、検出物体の情報、情報統合部１３５で障害物判断が行われた場合の障害物判断情報等を、他の装置に送信したり、他の装置から送信された各情報を受信したりする機能を有している。

次に、本実施形態の撮像装置１が備えている撮像素子１１の構成および機能について、図１（Ｂ）～図１（Ｅ）を参照しながら詳細に説明する。
前述したように、本実施形態の撮像素子１１は、撮像画素と、撮像面位相差方式による測距画素とを備え、結像光学系１０を介して撮像面に結像された被写体像を光電変換し、被写体像に基づく画像信号ならびに距離情報を生成可能な機能を有している。

図１（Ｂ）は、撮像素子１１の概略的なｘ－ｙ断面図である。図１（Ｂ）に示すように、撮像素子１１は、４行×４列の画素群１１０が複数配列されることで構成されている。画素群１１０は、赤（Ｒ）に対応した撮像画素であるＲ画素、同様に緑（Ｇ）と青（Ｂ）に対応した撮像画素のＧ画素とＢ画素、白（Ｗ）に対応した撮像画素のＷ画素、撮像面位相差測距方式による測距画素であるＭ画素とが、行毎に配置されて構成されている。したがって、画素群１１０からは、Ｒ画素，Ｇ画素，Ｂ画素からのＲ，Ｇ，Ｂの３色およびＷ画素からの白の情報を含む画像信号と、Ｍ画素からの距離情報とが出力される。

図１（Ｄ）はＲ画素に配されるＲのカラーフィルタ、Ｇ画素に配されるＧのカラーフィルタ、Ｂ画素に配されるＢのカラーフィルタのそれぞれ通過波長帯域を模式的に示している。図１（Ｄ）の通過帯域１１２１はＲのカラーフィルタ、通過帯域１１２２はＧのカラーフィルタ、通過帯域１１２３はＢのカラーフィルタの、それぞれの通過波長帯域を表している。Ｗ画素に関してはカラーフィルタを使用しなくてもよいし、例えばＲ，Ｇ，Ｂの各通過波長帯域を含んだ図１（Ｅ）に示すような広い通過波長帯域１１２４を有するフィルタを使用してもよい。Ｗ画素からの信号を利用することで、感度が向上しＳ／Ｎの高い画像を得ることが可能となる。

次に、撮像素子１１の測距画素（Ｍ）について説明する。
図１（Ｃ）は、図１（Ｂ）の画素群１１０のなかの測距画素Ｍの１画素分についてＩ－Ｉ'断面を模式的に示した図である。図１（Ｃ）に示すように、一つの測距画素Ｍは、導光層１１３と受光層１１４とで構成されている。導光層１１３には、測距画素へ入射した光束を二つの光電変換部へ効率よく導くためのマイクロレンズ１１１、所定の波長帯域の光を通過させるフィルタ１１２、不図示の画像読み出し用及び画素駆動用の配線などにより構成されている。フィルタ１１２は、例えばＷ画素と同様に広い通過波長帯域を持つフィルタであるが、このフィルタは必ずしも備えられていなくてもよい。受光層１１４は、光電変換部１１５および光電変換部１１６の二つの光電変換部により構成されている。なお、不図示の画像読み出し用及び画素駆動用の配線は受光層１１４に設けられていてもよい。

次に、本実施形態の撮像素子１１の測距画素Ｍが備える光電変換部１１５と光電変換部１１６の動作、および、それら二つの光電変換部が受光する光束について、図２（Ａ）及び図２（Ｂ）を用いて説明する。
図２（Ａ）は、結像光学系１０の射出瞳１０１と、撮像素子１１中の画素の光電変換部１１５により受光される光束（光束は図中点線で示している。）と、を示した概略図である。図２（Ｂ）は同様に光電変換部１１６により受光される光束を示した概略図である。

図２（Ａ）及び図２（Ｂ）に示したマイクロレンズ１１１は、射出瞳１０１と受光層１１４とが光学的に共役関係になるように配置されている。結像光学系１０の射出瞳１０１を通過した光束は、マイクロレンズ１１１により集光されて光電変換部１１５または光電変換部１１６に導かれる。この際、光電変換部１１５と光電変換部１１６は、それぞれ図２（Ａ）及び図２（Ｂ）に示す通り、異なる瞳領域を通過した光束を主に受光する。光電変換部１１５は瞳領域２１０を通過した光束を、光電変換部１１６には瞳領域２２０を通過した光束を受光する。

撮像素子１１が備える複数の光電変換部１１５は瞳領域２１０を通過した光束を主に受光し、これにより、それら複数の光電変換部１１５の出力信号からは、瞳領域２１０を通過した光束に基づく画像信号Ｓ１が得られることになる。同様に、複数の光電変換部１１６は瞳領域２２０を通過した光束を主に受光し、これにより、それら複数の光電変換部１１６の出力信号からは、瞳領域２２０を通過した光束に基づく画像信号Ｓ２が得られることになる。また、画像信号Ｓ１からは、瞳領域２１０を通過した光束により撮像素子１１上に形成された光像の強度分布を得ることができ、同様に、画像信号Ｓ２からは、瞳領域２２０を通過した光束により撮像素子１１上に形成された光像の強度分布を得ることができる。

ここで、これら画像信号Ｓ１と画像信号Ｓ２との間の相対的な位置ズレ量（いわゆる視差量）は、デフォーカス量に応じた値となる。視差量とデフォーカス量との関係について、図２（Ｃ）、図２（Ｄ）、図２（Ｅ）を用いて説明する。図２（Ｃ）、図２（Ｄ）、図２（Ｅ）は本実施形態の撮像素子１１と結像光学系１０とを模式的に表した図である。

これら図２（Ｃ）～図２（Ｄ）において、光束２１１は瞳領域２１０を通過する光束であり、光束２２１は瞳領域２２０を通過する光束であるとする。
図２（Ｃ）は合焦時の状態を示しており、光束２１１および光束２２１が撮像素子１１上で収束している。このとき、光束２１１により形成される画像信号Ｓ１と光束２２１により形成される画像信号Ｓ２との間で視差量は０となる。
図２（Ｄ）は像側でｚ軸の負方向にデフォーカスした状態を示している。この時、光束２１１により形成される画像信号Ｓ１と光束２２１により形成される画像信号Ｓ２との間で視差量は０とはならず、負の値を有する。
図２（Ｅ）は、像側でｚ軸の正方向にデフォーカスした状態を示している。この時、光束２１１により形成される画像信号Ｓ１と光束２２１により形成される画像信号Ｓ２との間で視差量は正の値を有する。
そしてこれら図２（Ｄ）と図２（Ｅ）の比較から、デフォーカス量の正負に応じて、位置ズレの方向が入れ替わることが分かる。また、デフォーカス量に応じて、結像光学系１０の結像関係（幾何関係）に従って位置ズレが生じることが分かる。画像信号Ｓ１と画像信号Ｓ２との間の位置ずれを表す視差量は、後述する照合領域と参照領域を用いた領域ベースで相関を求めるマッチング手法等によって検出することができる。

次に、図３（Ａ）のフローチャートを用いて、本実施形態の画像処理部１３においてデータ取得開始から物体検出に用いる画像の生成、さらにその画像を用いて物体検出を行った結果を出力して情報を統合するまでの処理の流れを説明する。なお、以下の説明では、図３（Ａ）のフローチャートの各処理ステップＳ３０１～Ｓ３０７をＳ３０１～Ｓ３０７と略記し、このことは後述する他のフローチャートでも同様とする。

ここで本実施形態の画像処理部１３において、画像生成部１３０は、物体検出に用いる画像として、第１の物体検出用画像と第２の物体検出用画像とを、生成可能となされている。詳細は後述するが、第１の物体検出画像は、撮像素子１１の撮像画素からの撮像信号を基に生成される画像であり、撮像素子の配置パターンに応じた解像度と同等の解像度を有する画像として生成される。第２の物体検出用画像は、特に撮像装置１からの距離（被写体距離）が遠く物体が小さく写るために、領域設定部１３３が拡大するべきとして設定した領域について、撮像画素の配置パターンに応じた解像度以上の解像度を有する拡大画像として生成される。以下の説明では、第１の物体検出用画像を単に物体検出用画像と呼び、第２の物体検出用画像を特に拡大物体検出用画像と呼ぶことにする。

先ず、図３（Ａ）のＳ３０１において、撮像装置１では、設定された焦点位置、絞り、露光時間などに応じた撮影が行われ、撮像素子１１からの出力信号が画像処理部１３に転送され、同時に、メモリ１３１に記録される。
次にＳ３０２において、画像処理部１３は、物体検出用画像（撮像素子１１の解像度に応じた第１の物体検出用画像）と距離画像とを生成する。

Ｓ３０２における物体検出用画像の生成処理について、図３（Ｂ）のフローチャートおよび図４を用いて説明する。物体検出用画像は、画像生成部１３０において生成される。
前述した図１（Ｂ）に示したように、撮像素子１１の画素の配列は、Ｒ画素とＧ画素とＢ画素とＷ画素からなる各撮像画素が配された行と、画素Ｍの測距画素が配された行とに分かれている。また、図４に示すように、撮像素子１１の画素数は横方向（ｘ軸方向）がＷｓ画素で縦方向（ｙ軸方向）がＨｓ画素からなるＷｓ×Ｈｓ画素であるとする。

画像生成部１３０は、先ずＳ３１１において、撮像素子１１のＲ画素，Ｇ画素，Ｂ画素の各信号を用いて、Ｗｃ×Ｈｃ画素のベイヤー配列画像４１１を生成する。なおこの時の横方向の画素数はＷｃ＝Ｗｓ／２、縦方向の画素数はＨｃの画素数はＨｃ＝Ｗｓ／２となる。さらに、画像生成部１３０は、このベイヤー配列画像４１１をもとに、Ｒ画素，Ｇ画素，Ｂ画素の撮像画素の配置パターンに応じた解像度と同等の解像度の画像、つまり、撮像画素の行数と同等の行数のＲ，Ｇ，Ｂ各色の画像を生成するデモザイキングを行う。

次にＳ３１２において、画像生成部１３０は、Ｓ３１１の処理後のＲ，Ｇ，Ｂ各色の画像を変倍する処理を行うことにより、Ｒ，Ｇ，Ｂ各色それぞれがＷｃ×Ｈｃ画素からなる物体検出用画像４１２を生成する。
このように、本実施形態の画像生成部１３０は、撮像素子１１に配された撮像画素の行数と同等の行数となる画像を生成し、その画像を変倍することにより物体検出用画像４１２を生成している。

なおここでは、Ｗ画素の信号を用いない方法を説明したが、物体検出用画像の生成にＷ画素の信号を用いてもよい。具体的には、Ｗ画素の信号を用いて、Ｗｓ×Ｈｃ画素を有する輝度画像を物体検出用画像として生成する。
また、デモザイキング方法に関しては特に制限は無く、例えばＷ画素の信号を利用してＳＮ比を向上するよう、Ｒ画素，Ｇ画素，Ｂ画素の各画素値を補間するようにしてもよい。

画像生成部１３０は、前述した処理以外に、物体検出用画像についても、ノイズ除去、輝度信号変換、収差補正、ホワイトバランス調整、色補正などの処理を行い、それら処理が行われた後のデータを、メモリ１３１に記録する。

次に、図３（Ａ）のＳ３０２における距離画像の生成処理について説明する。距離画像は、距離生成部１３２において生成される。
図４に示した撮像素子１１の測距画素であるＭ画素から読み出された画像信号４１３は、前述した光電変換部１１５からの画像信号Ｓ１と、光電変換部１１６からの画像信号Ｓ２とを有した信号となっている。距離生成部１３２は、それら画像信号Ｓ１と画像信号Ｓ２を基に、距離画像４１５（距離画像Ｄ）を生成する。

図３（Ｃ）は、距離画像の生成処理の詳細なフローチャートである。
Ｓ３２１において、距離生成部１３２は、画像信号Ｓ１および画像信号Ｓ２について光量補正処理を施す。結像光学系１０の周辺画角では、ヴィネッティング（口径食）によって瞳領域２１０と瞳領域２２０の形状が異なり、それに起因して、画像信号Ｓ１と画像信号Ｓ２との間で光量バランスが崩れることがある。このため、Ｓ３２１において、距離生成部１３２は、メモリ１３１に予め格納されている光量補正値を用いて、画像信号Ｓ１と画像信号Ｓ２について光量補正処理を施す。

次のＳ３２２において、距離生成部１３２は、撮像素子１１に起因するノイズを低減するための処理を行う。具体的には、距離生成部１３２は、画像信号Ｓ１と画像信号Ｓ２に対してフィルタ処理を施すことにより、それら画像信号Ｓ１と画像信号Ｓ２に含まれるノイズを低減する。ここで、一般に、空間周波数が高い高周波領域ほどＳＮ比が低くなり、相対的にノイズ成分が多くなる。したがって、距離生成部１３２は、高周波領域になるほど通過率が低くなるローパスフィルタを用いたフィルタ処理を行う。なお、Ｓ３２１における光量補正は、結像光学系１０の製造誤差などにより設計通りにはならないことが多い。このため、Ｓ３２２でのノイズ低減処理の際には、直流成分を遮断し、且つ、高周波成分の通過率が低いバンドパスフィルタを用いることが望ましい。

次にＳ３２３において、距離生成部１３２は、前述したＳ３２１およびＳ３２２の処理後の画像信号Ｓ１と画像信号Ｓ２を基に視差量を算出する。具体的には、距離生成部１３２は、先ず、画像信号Ｓ１内に、代表画素情報Ｉｓｐに対応した注目点を設定し、その注目点を中心とする照合領域を設定する。照合領域は、例えば、注目点を中心とした一辺が所定の画素数となされた矩形領域とする。また、距離生成部１３２は、画像信号Ｓ２内に、参照点を設定し、その参照点を中心とする参照領域を設定する。参照領域は照合領域と同一の大きさおよび形状である。次に距離生成部１３２は、参照点を順次移動させながら照合領域内に含まれる画像信号Ｓ１と参照領域内に含まれる画像信号Ｓ２との相関度を算出し、最も相関度が高い点を注目点に対応した対応点とする。注目点と対応点の相対的な位置ズレ量が、注目点における視差量である。前述した注目点を代表画素情報Ｉｓｐに従って順次変更しながら視差量を算出することで、複数の画素位置における視差量を算出することができる。相関度の算出方法はＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ）やＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）等を用いることができる。そして、距離生成部１３２は、視差量を計算する位置を、物体検出用画像４１２と同様になるよう設定することで距離画像４１５を得る。

また、距離生成部１３２は、所定の変換係数を用い、下記の式（１）の演算を行うことにより、視差量を撮像素子１１から結像光学系１０の焦点までの距離であるデフォーカス量に変換する。式（１）中のＫは所定の変換係数、ΔＬはデフォーカス量、ｄは視差量である。

ΔＬ＝Ｋ×ｄ 式（１）

さらに、距離生成部１３２は、式（２）に示すように、幾何光学におけるレンズの公式を用いて、デフォーカス量ΔＬを物体距離に変換する。式（２）中のＤａは物体面から結像光学系１０の主点までの距離、Ｄｂは結像光学系１０の主点から像面までの距離、Ｆは結像光学系１０の焦点距離である。

１／Ｄａ＋１／Ｄｂ＝１／Ｆ 式（２）

この式（２）において、距離Ｄｂの値はデフォーカス量ΔＬから算出することができ、焦点距離Ｆは結像光学系１０により得られるため、物体面までの距離Ｄａを算出することができる。

図３（Ａ）のフローチャートに説明を戻す。前述したＳ３０２の後、画像処理部１３は、Ｓ３０３に処理を進める。
Ｓ３０３に進むと、画像処理部１３は、Ｓ３０２で生成した距離画像を利用して、拡大すべき領域を設定する。拡大すべき領域は遠方の領域であり、拡大すべき領域の設定は領域設定部１３３において行われる。
以下、拡大すべき領域の設定について図５を用いて説明する。

図５において、画像５１０は前述したＳ３０２で生成された物体検出用画像４１２の一画像例を示しており、画像５１１は同じくＳ３０２で生成された距離画像４１５の一画像例を示している。物体検出用画像５１０には遠い距離の物体５０２と近い距離の物体５０１が写っているとする。
ここで、物体検出が可能な最小モデルに相当する大きさをＷｍｉｎ画素、検出したい実モデルの大きさをＷｍ、結像光学系１０の焦点距離をＦ、撮像素子１１の画素ピッチをＰで表すとする。この場合、撮像装置１から、最小モデルとして検出可能な物体までの第１の距離Ｄｍｉｎは、式（３）により表すことができる。

Ｄｍｉｎ＝Ｗｍ×Ｆ／（Ｗｍｉｎ×Ｐ） 式（３）

このことを言い換えると、第１の距離Ｄｍｉｎより遠い距離にある物体（例えば物体５０２）は、撮像装置１による撮像画像中では最小モデルＷｍｉｎ画素より小さく写っていることになり、そのままでは検出することができないことを意味する。
また例えば、撮像装置１から物体までの距離のうち、所定の第２の距離以上（Ｄｍａｘ以上）の遠い物体等については、撮像装置１の撮像画像ではそもそも解像することができず、その物体の写った画像領域を例えば拡大したとしても物体を検出できないとする。すなわち言い換えると、撮像装置１から物体までの距離が所定の第２の距離未満（Ｄｍａｘ未満）であれば、例えば撮像画像を拡大すれば物体を検出することが可能になるとする。

以上のことを踏まえ、領域設定部１３３では、距離画像のうち、第１の距離Ｄｍｉｎと第２の距離Ｄｍａｘとに基づく距離範囲Ｄｒｇ（Ｄｒｇ＝Ｄｍｉｎ－Ｄｍａｘ）に入る領域を特定する。そして、領域設定部１３３は、距離画像から距離範囲Ｄｒｇ内として特定された領域を基に、物体検出用画像５１０の中で拡大するべき領域を設定する。図５の例では、距離画像５１１のなかで点線により囲まれた領域５０４が距離範囲Ｄｒｇ内として特定された領域を表し、同様に、物体検出用画像５１０のなかで点線により囲まれた領域５０４が拡大するべきと設定された領域を表している。すなわち、領域設定部１３３は、遠方の空の領域など第２の距離Ｄｍａｘ以上の遠方の領域を除外し、所定の第２の距離Ｄｍａｘ未満で且つ第１の距離Ｄｍｉｎより遠い距離範囲Ｄｒｇに相当する領域を、拡大すべき領域５０４として設定する。これにより、物体検出用画像５１０の中で設定された領域５０４を例えば拡大すれば、後段の物体検出処理において、その拡大画像（５１２）の中に写っている物体を検出することが可能となる。また、本実施形態では、拡大するべき領域を限定していることにより、物体検出用画像５１０の全体を拡大する場合よりも、後段の物体検出処理の負荷を低減でき、また使用メモリ容量を削減することも可能となる。

再び図３（Ａ）のフローチャートに説明を戻す。Ｓ３０３の後、画像処理部１３は、Ｓ３０４に処理を進める。
Ｓ３０４に進むと、画像処理部１３は、拡大すべき遠方の領域が存在するか否か、つまり領域設定部１３３により拡大するべきと設定された領域が存在するか否かの判定を行う。この判定は、例えば画像生成部１３０において行われるとする。画像生成部１３０は、Ｓ３０４において、拡大すべき遠方領域が存在しないと判定した場合にはＳ３０６に処理を進め、一方、拡大すべき遠方領域が存在すると判定した場合にはＳ３０５に処理を進める。

Ｓ３０５に進むと、画像生成部１３０は、Ｓ３０３で拡大するべきとして設定された領域の拡大画像を生成し、その後、Ｓ３０６に処理を進める。図５の例の場合、物体検出用画像５１０の中で、拡大するべきとして設定された領域５０４の拡大画像（５１２）が生成される。本実施形態においては、この拡大画像が、拡大物体検出用画像５１２、つまり撮像素子１１の撮像画素による解像度と同等以上の解像度を有する画像として生成される第２の物体検出用画像である。本実施形態の場合、撮像素子１１は撮像画素と測距画素が行ごとに配置されているため、画像生成部１３０は、撮像素子１１に配された撮像画素の行数と同等以上の行数となる拡大画像を、拡大物体検出用画像として生成する。

前述したように、本実施形態において、Ｓ３０５の拡大画像生成処理は、Ｓ３０２で生成された物体検出用画像のなかで、Ｓ３０３で拡大するべきとして設定された領域５０４を、撮像素子１１の解像度以上に拡大するような処理である。例えば、Ｓ３０３で設定された領域５０４における矩形の左上座標を（ｘｃ，ｙｃ）とし、その矩形の領域の大きさをＷｔ×Ｈｔ画素とする。画像生成部１３０は、この領域５０４の矩形の座標と大きさを基に、撮像素子１１の画素配列上で対応した位置と大きさを算出する。本実施形態の撮像素子１１の画素配列の場合、撮像素子１１の画素配列上における矩形領域の大きさはＷｔ×Ｈｔの値をそれぞれ２倍すればよい。例えば、撮像素子１１の画素配列上における矩形領域の左上座標は（ｘｓ，ｙｓ）とし、大きさをＷｔｓ×Ｈｔｓ画素とする。つまりＷｔｓ＝Ｗｔ×２、Ｈｔｓ＝Ｈｔ×２である。そして、画像生成部１３０は、このようにして求めた矩形領域の情報をもとに、物体検出用画像５１０から拡大物体検出用画像５１２を生成する。

以下、図４を用い、矩形領域を拡大した拡大物体検出用画像を生成する処理について詳細を説明する。
図４において、画像４１６は、撮像素子１１の画素配列において左上座標（ｘｓ，ｙｓ）で大きさがＷｔｓ×Ｈｔｓ画素の矩形領域を切り出した画像に相当する。

また撮像素子１１の測距画素であるＭ画素の信号については、前述した画像信号Ｓ１と画像信号Ｓ２とを加算したＭ＝Ｓ１＋Ｓ２の輝度信号として取り扱うとする。この際、Ｍ画素とＷ画素はいずれもカラーフィルタによる色分離がされていない信号として取得されるため、同様に輝度信号として取り扱うことが可能となる。このため、画像生成部１３０は、Ｗ画素およびＭ画素の信号を用いて輝度画像４１７を生成する。具体的には、画像生成部１３０は、図４の画像４１７のように、Ｒ画素，Ｇ画素，Ｂ画素の各画素位置については、Ｗ画素とＭ画素の画素値により補間した画素（アンダーラインを付けたＷ画素）を用いることで、輝度画像４１７を生成する。

次に、画像生成部１３０は、図４の物体検出用画像４１２から、Ｓ３０３で拡大するべきとして設定された領域（図５の領域５０４）を切り出し、輝度画像４１７と同様のサイズへ拡大する処理を行って、図４の拡大物体検出用画像４１８を生成する。

さらに、画像生成部１３０は、輝度画像４１７を利用して、拡大物体検出用画像４１８の補正を行う。ここで、輝度画像４１７は、撮像素子１１が本来持つ解像度の画像であるため、物体検出用画像４１２と比べて高解像度である。このため、画像生成部１３０は、先ず、輝度画像４１７の画素と同一位置において色の比を算出する。すなわち画像生成部１３０は、本来、Ｒ画素、Ｇ画素、Ｂ画素があった位置の輝度を、輝度画像４１７から取得し、その位置の輝度に対応した色の比を算出する。そして、画像生成部１３０は、その位置において算出した色の比を、Ｒ，Ｇ，Ｂのそれぞれ拡大物体検出用画像４１８に乗じる。これにより、それぞれ解像度が補正された鮮明な拡大物体検出用画像が得られることになる。

なお、遠方の物体を検出するためには、拡大物体検出用画像４１８を元画像として段階的に拡大した画像を生成してもよい。またここでは、拡大物体検出用画像４１８をＲ，Ｇ，Ｂのカラー画像として生成する例を挙げたが、後段の物体検出処理が輝度画像にも対応している場合は、輝度画像のみを生成するだけでもよい。以上のことで、高解像度でＳ／Ｎの高い拡大物体検出用画像を生成することが可能となる。

再び図３（Ａ）のフローチャートに説明を戻す。
Ｓ３０５の後、Ｓ３０６に進むと、画像処理部１３は、物体検出処理を行う。物体検出処理は物体検出部１３４において行われる。
ここで、物体検出部１３４は、Ｓ３０２で生成された物体検出用画像、または、３０４で拡大すべき遠方領域が存在すると判定された場合にＳ３０５で生成された拡大物体検出用画像を用いて、物体検出を行う。物体検出に関しては、例えば前述したように、特徴点ベースの方式やニューラルネットワークを用いた方式など、特に限定は無く、いずれの方式を用いてもよい。そして、物体検出部１３４は、物体検出結果として、画像中のどの位置にどのような大きさの物体が存在するかを示す矩形領域情報を出力する。なお、拡大物体検出用画像から検出された矩形領域については、画像拡大処理の際の拡大率を考慮して、最終的に物体検出用画像の大きさに整合された矩形領域情報として出力される。

次にＳ３０７において、画像処理部１３は、Ｓ３０２で生成した距離画像とＳ３０６で出力した物体検出結果の情報を統合する。情報統合の処理は情報統合部１３５において行われる。情報統合部１３５は、Ｓ３０２で生成した距離画像について、Ｓ３０６で検出された矩形領域情報に基づく矩形領域を設定し、その矩形領域内の距離情報を基に撮像装置１から物体までの距離を設定する。なお、設定する距離は、矩形領域内の中央付近の距離情報の値や、矩形領域内における各距離情報の中央値を用いるなど、その設定方法は特に制限せず、種々の方法を用いることができる。これにより、検出された物体が撮像装置１からどの距離に存在するかを出力することが可能となる。そして、情報統合部１３５は、その情報統合の結果を、通信部１７を介して、他の装置等に送る。この統合情報結果を受け取る他の装置としては、例えば後述する図７の車両７００に搭載されている行動計画装置７１等が想定される。そして行動計画装置７１では、取得した統合情報結果を基に、物体との衝突可能性などが判断され、例えば自車両の行動計画の策定等が行われる。

以上、説明したように、本実施形態において、画像処理部１３は、撮像画素と測距画素が所定のパターンで配置された撮像素子１１の撮像画素の信号に加え、測距画素からの信号をも用いることで、撮像装置１からの距離が遠い物体をも検出可能としている。
なお前述した説明では、距離画像の距離のみを用いて拡大すべき領域を設定したが、それに限らない。例えば、図５の物体検出用画像５１０を解析して例えば走行路を検出し、その走行路上で、且つ遠方の距離となる領域を、拡大すべき領域として設定してもよい。そのように設定することで、拡大物体検出用画像を記憶するメモリ１３１の使用量の削減、および、拡大物体検出用画像による物体検出処理の時間を削減することが可能となる。

また前述した実施形態では、撮像素子１１上の画素配置のパターンが正方配列の例を挙げたが、これには限定されず、例えば撮像画素行と測距画素行が交互に半画素ずれたような配置パターンでもよい。この例を図６に示す。図６の撮像素子６１は、撮像画素の行と測距画素の行のそれぞれ１列を一組として、各組が横方向（ｘ軸方向）に半画素分ずれた配置（いわゆる千鳥配置）とした画素配置のパターンを有している。このような千鳥配置の場合、測距画素としては視差分解能が向上し、正方配置の場合よりも高精度な測距が可能になる。またこの場合、物体検出用画像および拡大物体検出用画像も横方向に分解能が向上する。

図６の撮像素子６１のようなパターンが用いられた場合、図３（Ａ）のフローチャートでは、Ｓ３０２およびＳ３０５の処理の一部が前述した処理とは異なる。以下、異なった処理部分のみ説明する。
撮像素子６１の信号から物体検出用画像を生成する場合、その物体検出用画像の解像度は、撮像素子６１における解像度の半分となる。この場合、画像生成部１３０は、Ｓ３０２において、半画素分のずれ量に基づく補間を行う画素ずらし処理による画像生成を行わず、図４のベイヤー配列画像４１１と同様な画素並びのＲ，Ｇ，Ｂの物体検出用画像４１２を生成する。

拡大物体検出用画像を生成する場合、画像生成部１３０は、Ｓ３０５において、先ず撮像素子６１のＷ画素の信号と、Ｍ画素による画像信号Ｓ１と画像信号Ｓ２を加算した信号とから、図６に示すような輝度画像６１２を生成する。具体的には、画像生成部１３０は、撮像素子６１の横方向の画素数Ｗｓの２倍の解像度の画素として半画素分だけ横方向にずれていることを考慮し、先ず、Ｗ画素及びＭ画素の行を一組として、Ｗ画素およびＭ画素を配置する。そして、図中でアンダーラインを付けたＷ画素とＭ画素の位置の画素信号は存在しないため、画像生成部１３０は、それら存在しない位置の画素を、周辺画素の輝度信号から補間により算出することにより輝度画像６１２を生成する。このように、拡大物体検出用画像については、半画素分のずれ量に基づく補間を行う画素ずらし処理を用いて生成する。

その後、画像生成部１３０は、前述したＳ３０５と同様に、物体検出用画像において拡大すべきとして設定された領域を、輝度画像６１２に合わせるように拡大して拡大物体検出用画像を生成する。また前述同様に、輝度画像６１２を基に、拡大物体検出用画像の色情報を補正することで、撮像素子６１の解像度の２倍を有する拡大物体検出用画像を生成することもできる。なお、物体検出部１３４では、前述同様に、拡大物体検出用画像として、輝度画像６１２を利用しもよいし、拡大物体検出用画像をさらに拡大して物体検出を行ってもよい。以上により、前述した例よりもさらに被写体距離が遠い物体や小さな物体を検出することが可能となる。

図７は、本実施形態の撮像装置１を自動車等の移動体（車両７００）に搭載し、周辺環境を認識して、自律的に移動するような高度運転支援システム等を実現する場合の概略的な構成例を示した図である。
図７に示すように、車両７００は、撮像装置１、行動計画装置７１、警報装置７２、制御装置７３、車両情報取得装置７４を備えている。

図７の車両７００において、撮像装置１は、前述した本実施形態に係る画像処理装置を有した撮像装置であり、前述したように取得した画像を分析して特定の物体（車、歩行者など）を検出する。
車両情報取得装置７４は、車両７００の車速（速度）、ヨーレート、舵角の少なくともいずれかを、車両情報として取得する。
行動計画装置７１は、撮像装置１からの撮像画像、測距画像、検出物体の情報、車両情報取得装置７４からの車両情報等を総合的に判断し、車両７００の移動予定経路、車両７００の周辺環境を認識すると共に、自車の加減速・操舵角等の行動計画を策定する。

制御装置７３は、行動計画装置７１からの行動計画を取得し、その行動計画で決定された加減速・操舵角等となるようハンドル、ブレーキ、アクセル等の制御を行う。
また例えば、前方車との衝突の可能性が高い場合、警報装置７２は、音などの警報を発したり、カーナビゲーションシステムやヘッドアップディスプレイ等の表示装置に警報を表示したりして、運転手に警告を行う。

前述した実施形態では画像処理装置を備えた撮像装置を車両に搭載する例を挙げたが、本実施形態の画像処理装置は、カメラ機能を備えたスマートフォンやタブレット端末等の各種携帯端末、監視カメラ、工業用カメラ等に搭載されてもよい。

本実施形態では、前述した実施形態の機能を実現するソフトウェアのプログラムコードを格納した記憶ないし記録媒体を、画像処理装置に供給することでも実現できる。算出部のコンピュータ（または、ＣＰＵ、ＭＰＵなど）が記憶媒体に格納されたプログラムコードを読み出して前述した機能を実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラム、これを格納した記憶媒体は本発明を構成することになる。本発明のプログラムは、所定の結像光学系と所定の撮像部、コンピュータを備えた撮像装置のコンピュータにインストールすることによって、撮像装置を高精度の距離検出が可能なものとすることができる。本発明のコンピュータは、記憶媒体の他、インターネットを通じて頒布することも可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１：撮像装置、１０：結像光学系、１１：撮像素子、１２：制御部、１３：画像処理部、１３０：画像生成部、１３１：距離生成部、１３２：メモリ、１３３：領域設定部、１３４：物体検出部、１３５：情報統合部、１４：記憶部、１５：入力部、１６：表示部、１７：通信部

Claims (16)

1. 撮像画素と撮像面位相差方式で測距が可能な測距画素とが所定の配置パターンで配された撮像素子からの出力信号を処理する画像処理装置であって、
   前記撮像画素の出力信号を基に第１の画像を生成する第１の生成手段と、
   前記測距画素の出力信号を基に距離情報を生成する測距手段と、
   前記第１の画像について、前記距離情報を基に所定の距離よりも遠方となる領域を設定する設定手段と、
   前記設定手段により前記設定された領域について、前記撮像画素ならびに前記測距画素の出力信号を基に、前記第１の画像を用いて前記撮像画素の配置パターンに応じた解像度以上の解像度を有する第２の画像を生成する第２の生成手段と、
   前記第１の画像と前記第２の画像のいずれかの画像から、所定の物体の領域を検出する検出手段と、
   を有し、
   前記第２の生成手段は、
   前記撮像素子の前記測距画素から読み出された複数の信号を加算して輝度信号を生成して、前記撮像画素による前記解像度以上の解像度を有する輝度画像を生成し、
   前記設定手段により前記設定された領域を拡大した画像を生成し、前記輝度画像を用いて前記拡大した画像を補正して前記第２の画像を生成することを特徴とする画像処理装置。
2. 前記撮像素子の前記配置パターンは、前記撮像画素と前記測距画素がそれぞれ行ごとに配列したパターンであり、
   前記第２の生成手段は、前記設定手段により前記設定された領域について、前記撮像画素の行数と同等以上の行数となる前記第２の画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の生成手段は、前記撮像画素の配置パターンに応じた解像度と同等の解像度の前記第１の画像を生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記撮像素子の前記配置パターンは、前記撮像画素と前記測距画素がそれぞれ行ごとに配列したパターンであり、
   前記第１の生成手段は、前記撮像画素の行数と同等の行数となる画像を生成し、当該画像を変倍して前記第１の画像を生成することを特徴とする請求項３に記載の画像処理装置。
5. 前記撮像素子の前記配置パターンは、前記撮像画素と前記測距画素が前記撮像画素の行と前記測距画素の行とを一組として組ごとに半画素分ずれた配置であり、
   前記第２の生成手段は、前記半画素分のずれに応じた補間を行って拡大した画像を前記第２の画像として生成することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記第１の生成手段は、前記半画素分のずれに応じた補間を行わずに前記第１の画像を生成することを特徴とする請求項５に記載の画像処理装置。
7. 前記第２の生成手段は、前記設定手段により前記設定された領域について、前記輝度画像と同等の画素数となるように拡大した画像を、前記輝度画像を用いて補正して前記第２の画像を生成することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記第２の生成手段は、前記輝度画像の画素ごとの輝度に対応した色の比を算出し、前記画素ごとに算出した色の比を、前記拡大した画像の対応した画素に乗ずることにより前記補正を行うことを特徴とする請求項７に記載の画像処理装置。
9. 前記第２の生成手段は、輝度画像からなる前記第２の画像を生成することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記設定手段は、前記所定の距離よりも遠方となる領域として、第１の距離から前記第１の距離よりも遠方の第２の距離までの距離範囲に入る領域を設定することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記第１の距離は、前記第１の画像から検出可能な物体の最小モデルを基に設定された距離であり、
    前記第２の距離は、前記第２の画像から検出可能な物体の最小モデルを基に設定された距離であることを特徴とする請求項１０に記載の画像処理装置。
12. 前記設定手段は、前記第１の画像に含まれる走行路の領域について、前記距離情報を基に所定の距離よりも遠方となる前記領域を設定することを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
13. 撮像画素と撮像面位相差方式で測距が可能な測距画素とが所定の配置パターンで配された撮像素子と、
    請求項１から１２のいずれか１項に記載の画像処理装置と、
    を有することを特徴とする撮像装置。
14. 請求項１３に記載の撮像装置と、
    前記撮像装置による物体の検出結果を用いて、移動体の行動計画を生成する行動計画装置と、
    前記行動計画に基づいて前記移動体の動作を制御する制御装置と、
    を有することを特徴とする支援装置。
15. 撮像画素と撮像面位相差方式で測距が可能な測距画素とが所定の配置パターンで配された撮像素子からの出力信号を処理する画像処理方法であって、
    前記撮像画素の出力信号を基に第１の画像を生成する第１の生成工程と、
    前記測距画素の出力信号を基に距離情報を生成する測距工程と、
    前記第１の画像について、前記距離情報を基に所定の距離よりも遠方となる領域を設定する設定工程と、
    前記設定工程により前記設定された領域について、前記撮像画素ならびに前記測距画素の出力信号を基に、前記第１の画像を用いて前記撮像画素の配置パターンに応じた解像度以上の解像度を有する第２の画像を生成する第２の生成工程と、
    前記第１の画像と前記第２の画像のいずれかの画像から、所定の物体の領域を検出する検出工程と、
    を有し、
    前記第２の生成工程においては、
    前記撮像素子の前記測距画素から読み出された複数の信号を加算して輝度信号を生成して、前記撮像画素による前記解像度以上の解像度を有する輝度画像を生成し、
    前記設定工程において前記設定された領域を拡大した画像を生成し、前記輝度画像を用いて前記拡大した画像を補正して前記第２の画像を生成することを特徴とする画像処理方法。
16. コンピュータを、請求項１から１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images