JP2024064620A - 撮像装置、撮像方法及びプログラム - Google Patents

Abstract

【課題】どのような測距対象物に対しても安定した測距を可能にする。【解決手段】撮像装置は、画像の撮像とともに像面位相差測距に使用可能な信号を取得する撮像手段と、撮像手段を光軸中心に回転させる回転手段とを有する。そして、撮像装置は、像面位相差測距に使用可能な信号を基に像面位相差測距を行い、その像面位相差測距の結果を基に、像面位相差測距の結果がばらつく測距不安定領域を抽出し、その抽出した測距不安定領域を基に、回転手段が撮像手段を光軸中心に回転させる際の目標角度を設定し、その目標角度を基に、回転手段が撮像手段を光軸中心に回転させる回転角度を制御する。【選択図】図２

Description

本発明は、撮像によって対象物までの距離を計測する技術に関する。

距離を測定する装置の一つとして、いわゆるステレオカメラが知られている。ステレオカメラでは、左右二つの撮像装置によって被写体（以下、測距対象物とする）を撮像した左右二つの画像を基に、その測距対象物までの距離を算出することが行われる。すなわち左右二つの画像からは、測距対象物のコントラストエッジや色エッジが抽出され、それら左右二つの画像におけるエッジ位置から視差が算出される。そして、その視差と、ステレオカメラの左右二つの撮像装置間の間隔（基線長と呼ばれる）とを基に、測距対象物までの距離が算出される。また、特許文献１には、左右二つの撮像装置を用いて測距を行う距離検出装置を車両に搭載する技術が開示されている。

特開平５－３０６９３２号公報

ところで、車両は人口構造物がある地域を走行することも多いが、人口構造物が測距対象物になっている場合、前述したような視差に基づく測距が困難になることがある。すなわちステレオカメラを用いた測距では、測距対象物が左右方向（水平方向）に模様や形状等の特徴が少ない構造物である場合、測距結果が不安定になりやすく、誤った測距結果が取得されてしまうことがある。

そこで本発明は、どのような測距対象物に対しても安定した測距を可能にすることを目的とする。

本発明の撮像装置は、画像の撮像とともに像面位相差測距に使用可能な信号を取得する撮像手段と、前記撮像手段を光軸中心に回転させる回転手段と、前記像面位相差測距に使用可能な信号を基に前記像面位相差測距を行う測距手段と、前記像面位相差測距の結果を基に、前記像面位相差測距の結果がばらつく測距不安定領域を抽出する抽出手段と、前記抽出された前記測距不安定領域を基に、前記回転手段が前記撮像手段を光軸中心に回転させる際の目標角度を設定する設定手段と、前記目標角度を基に、前記回転手段が前記撮像手段を前記光軸中心に回転させる回転角度を制御する制御手段と、を有することを特徴とする。

本発明によれば、どのような測距対象物に対しても安定した測距が可能となる。

実施形態の撮像装置の概略構成を示す図である。 実施形態の撮像装置と車両の機能構成を示すブロック図である。 測距が不安定になりやすい測距対象物の一例の説明に用いる図である。 測距信頼度が低い測距不安定エリアの説明に用いる図である。 測距不安定エリアリストの一例を示す図である。 平均縦横比テーブルの一例を示す図である。 撮像装置における回転角度制御処理のフローチャートである。

以下、本発明に係る実施形態を、図面を参照しながら説明する。以降に挙げる実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。

図１は本実施形態に係る撮像装置の概略構成を示す図であり、図２は本実施形態に係る撮像装置の機能構成例を示すブロック図である。図１および図２の構成について説明する前に、本実施形態に係る撮像装置の概要を説明する。
本実施形態の撮像装置は、いわゆる像面位相差方式により測距対象物までの距離を計測可能な装置となされている。本実施形態の撮像装置は、複数のセンサ画素が２次元配列され、各センサ画素（以下、画素とする）は特定の方向に二つの光電変換素子が隣接配置された構成の撮像素子を有することにより、画像の撮像とともに像面位相差測距に使用可能な信号を取得する。なお本実施形態の場合、一つの画素において二つの光電変換素子が配される特定の方向は、例えば左右方向（水平方向）であるとする。またそれら左右二つの光電変換素子上には、それぞれ入射角の異なるマイクロレンズが配置されている。したがって、一つの画素を構成している隣接した左右二つの光電変換素子には、それぞれ異なる二つの光路を通った光線が入射される。すなわちそれら隣接した二つの光電変換素子では視差が生じ、それら二つの光電変換素子が配される前述した特定の方向は視差が生じる方向であるため、以下の説明では、視差方向と呼ぶことにする。本実施形態の撮像装置では、左右二つの光電変換素子を備えた複数の画素が２次元配列された撮像素子の撮像信号を基に生成した画像からコントラストエッジや色エッジを抽出してそれらを基に測距を行うことができる。

また本実施形態の撮像装置は、レンズ光学系１１０および当該レンズ光学系１１０にて結像された光学像を撮像する撮像素子を含む撮像部を内部に収納した撮像鏡筒１００と、車両取付筐体１１１と、後述する駆動部１０１とを備えている。車両取付筐体１１１は撮像装置を車両に取り付けるための構成であり、本実施形態の撮像装置は、車両取付筐体１１１によって、例えば車両の前方側を撮像可能な位置に取り付けられるとする。なお車両の前方側を撮像可能な位置としては、例えば、車両の先端中央部付近や車両のフロントガラスの室内側面上部の中央近辺の位置などが想定される。もちろんこれらの設置位置は一例であり、上述の例に限定されるものではない。このように本実施形態の撮像装置は、車両の前方側を撮像可能な位置に設置されることにより、車両前方側に存在している被写体（測距対象物）までの距離を取得することができる。なお本実施形態では、車載用の撮像装置を例に挙げているが、車載用に限定されるものではない。

ここで、本実施形態の撮像装置の場合、前述したように撮像素子の各画素を構成している二つの光電変換素子は左右方向（水平方向）に隣接した配置となされている。すなわち撮像素子の画素ごとの二つの光電変換素子による視差方向は、左右方向（水平方向）に固定されている。このため、撮像装置によって撮像された画像を用いた測距を行う場合、測距対象物が左右方向に模様等の特徴を有するものであれば、コントラストエッジや色エッジの抽出結果は概ね安定しており、安定した測距結果を得ることができる。しかしながら、左右方向に模様等の特徴が無い場合や左右方向以外の方向に対するエッジ等の抽出結果は不安定になることがある。一例として、測距対象物が図３に示すガードレール３００などのように左右方向に模様等の特徴の少ないものであり、撮像装置がその測距対象物を正面方向から撮像した場合、エッジ抽出結果は不安定になり、安定した測距結果を得ることが難しくなることがある。なお、左右方向に模様等の特徴の少ない測距対象物の例としては、ガードレールの他に、単管バリケードなども挙げることができる。

そこで本実施形態の撮像装置では、撮像と共に得られる像面位相差測距に使用可能な信号を基に測距不安定な領域を抽出し、その抽出した測距不安定領域を基に回転角度を算出して当該撮像装置自身を光軸中心に回転させて測距時の視差方向を変更可能とする。すなわち本実施形態の撮像装置は、撮像装置自身を光軸中心に回転させて、撮像範囲内における測距時の視差方向を、測距対象物の測距を行うのに適した視差方向に合わせることにより、安定した測距結果を取得可能とする。

本実施形態の撮像装置は、撮像鏡筒１００を、レンズ光学系１１０の光軸中心に回転可能とするための構成を備えている。撮像鏡筒１００を光軸中心に回転可能とする構成の一例として、本実施形態の撮像装置は、撮像鏡筒１００の外周部に設けられる突起部１１２と、モータを含む駆動部１０１と、そのモータによる回転力を突起部１１２へ伝達するケーブル１３０とを有する。駆動部１０１のモータ回転軸には突起部１２０が取り付けられており、ケーブル１３０は、撮像鏡筒１００の外周部に設けられる突起部１１２の先端と、駆動部１０１のモータ回転軸に取り付けられた突起部１２０の先端とを連結している。したがって、モータの回転軸が図中矢印Ｒ１３２の方向に回転すると、その回転力がケーブル１３０を介して突起部１１２に伝達され、これにより撮像鏡筒１００は光軸を中心として図中矢印Ｒ１３１方向に回転することになる。すなわち撮像鏡筒１００が図中矢印Ｒ１３１方向に回転すると、その回転に応じて撮像鏡筒１００内の撮像素子が光軸を中心として図中矢印Ｒ１３１方向に回転する。これは言い換えると、撮像素子の各画素をそれぞれ構成している二つの電変換素子における視差方向が変更されることに相当する。

なお図１では、ケーブル１３０を介して駆動部１０１のモータの回転力を、撮像鏡筒１００を光軸中心に回転させるような駆動方式を例に挙げたが、これに限定されるものではない。例えば、モータの回転力を歯車やプーリーを介して撮像鏡筒１００の光軸中心の回転に変換する駆動方式であってもよいし、撮像鏡筒１００を光軸中心の回転させる回転駆動機構を当該撮像鏡筒１００内に設けるようにしてもよい。撮像鏡筒１００を光軸中心の回転させる回転駆動機構としては、撮像鏡筒１００の径に応じたリング状の超音波モータなどが想定される。

前述したように、本実施形態の撮像装置は、当該撮像装置自身を光軸中心に回転させることで測距時の視差方向を変更し、撮像範囲内で測距対象物の測距を行うのに適した視差方向に合わせることで、安定した測距結果を取得可能とする。
以下、図２を用いて、本実施形態に係る撮像装置の機能構成について説明する。なお、図２には、本実施形態の撮像装置が搭載される車両側の装置（車両装置２２０とする）も示されている。

本実施形態の撮像装置２００のレンズ光学系２０１は、前述した図１のレンズ光学系１１０（撮像レンズ系）であり、被写体等からの光を収束させて、撮像部２０２の撮像素子上に結像させる。また、撮像部２０２は、前述したように視差方向に隣接した二つの光電変換素子とマイクロレンズを備えた複数の画素が２次元配列された撮像素子を有し、撮像素子の撮像面上に結像した光像を撮像して得られた画像データを演算処理部２１０へと送信する。

駆動部２０４は、前述した図１の駆動部１０１であり、後述する演算処理部２１０からの回転制御信号を受けてモータを回転駆動することにより、撮像鏡筒１００（撮像部２０２およびレンズ光学系２０１）を光軸中心に回転させる。
撮像装置２００の回転検出部２０３は、駆動部２０４によって撮像鏡筒１００が光軸中心に回転駆動された際の回転角度を検出し、その回転角度を表す情報（回転角情報とする）を、演算処理部２１０へ送信する。

演算処理部２１０は、例えば不図示のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）含むハードウェア構成により実現される。ＲＯＭには、基本的な設定データや本実施形態に係る一連のプログラム（回転角度制御プログラムとする）等が記憶されている。ＣＰＵは、処理内容に応じたプログラムをＲＯＭから呼び出してＲＡＭへ展開して実行することにより、演算処理部２１０の各機能部に係る動作を実現する。なお、演算処理部２１０の各機能部の一部もしくは全ての機能部は、それぞれが回路等により実現されてもよい。

画像処理部２１１は、撮像部２０２から入力された画像データに対して補正処理や現像処理等の画像処理を行う。そして、画像処理部２１１は、画像処理後の画像データ（以下、単に画像と記す）を、視差検出部２１２および車両装置２２０へ送る。

視差検出部２１２は、入力された画像から、像面位相差の検出方法を用いて視差情報を検出する。本実施形態の場合、前述したように撮像素子の各画素は左右二つの光電変換素子からなるため、視差検出部２１２は、各画素の左右二つの光電変換素子にて光電変換された信号の位相差から視差情報を検出する。そして、視差検出部２１２は、視差情報を測距演算部２１３へ送る。

測距演算部２１３は、入力された視差情報と、予め定められているレンズ光学系２０１諸元情報および撮像部２０２の前述した二つの光電変換素子間隔等を含む諸元情報とを基に、測距対象物までの距離情報を算出する。そして測距演算部２１３は、算出した距離情報を信頼性演算部２１４と車両装置２２０とへ送る。

信頼性演算部２１４は、入力された距離情報を順次蓄積する。そして信頼性演算部２１４は、すでに蓄積している複数の距離情報から時間軸方向のばらつきを観察し、そのばらつきを基に、距離情報の安定性を表す信頼度（以下、測距信頼度と記す）を算出する。ここで例えば、ある画素における距離情報が画像ごと大きく異なる場合、つまり、ある画素における距離情報が時間軸方向で大きくばらついている場合、信頼性演算部２１４は、その画素における測距信頼度を低く算出する。そして、信頼性演算部２１４は、画素ごとに求めた測距信頼度の情報を、エリア演算部２１５へ送る。

エリア演算部２１５は、入力された画素ごとの測距信頼度を基に、画像内から測距結果が安定していない測距不安定領域（本実施形態では測距不安定エリアと呼ぶ）を抽出するような処理を行う。例えば、エリア演算部２１５は、画素ごとの測距信頼度が予め決めた所定の閾値よりも低い各画素からなる集合領域が、予め決められた一定面積以上になる場合、その集合領域を測距不安定エリアとして抽出する。

また、エリア演算部２１５は、レンズ光学系２０１および撮像部２０２により撮像される撮像範囲に対して、当該撮像範囲の中心からの距離に応じた複数の重要度領域を設定している。重要度領域には重み付け値が設定され、重み付け値は測距不安定エリアの重要度を表す値として用いられる。

図４は、レンズ光学系２０１および撮像部２０２における撮像範囲４００を表した図である。撮像範囲４００内のエリア４０１、４０２、４０３、４０４、および４０５は、エリア演算部２１５によって抽出された測距不安定エリアの例を示している。また、図４において、領域４１０、４１１、および４１２は、撮像範囲４００の中心からの距離に応じて設定される重要度領域を表しており、それら重要度領域４１０、４１１、４１２にはそれぞれ重み付け値が設定されている。図４の例では、撮像範囲４００の中心を含む重要度領域４１０の重み付け値が最も高い値に設定され、撮像範囲４００の中心から離れるにしたがって低く（つまり重要度領域４１０、４１１、４１２の順に低く）なる重み付け値が設定されている。本実施形態の場合、撮像範囲４００の中心を含む重要度領域４１０には重み付け値として「４」が設定され、重要度領域４１１には重み付け値として「２」が、重要度領域４１２には重み付け値として「１」が設定されているとする。

また、エリア演算部２１５は、抽出した測距不安定エリア４０１～４０５のそれぞれの重心位置が、重要度領域４１０～４１２のいずれの領域に含まれるかによって、それら測距不安定エリアに対する重要度設定を行う。すなわちエリア演算部２１５は、測距不安定エリアの重心位置が含まれる重要度領域に設定されている重み付け値を、その測距不安定エリアの重要度として割り当てる。

さらにエリア演算部２１５は、測距不安定エリアごとに、横方向および縦方向のサイズと、それら横方向と縦方向のサイズに基づく縦横比と、前述した重要度とからなるリストを生成する。なお、本実施形態の場合、測距不安定エリアの横方向とは、視差方向である。すなわち換言すると、エリア演算部２１５は、測距不安定エリアごとに、視差方向のサイズと視差方向に対して直交する方向のサイズ、それら視差方向のサイズと直交方向のサイズとのサイズ比、および重要度からなるリストを生成する。なお、測距不安定エリアの横方向（視差方向）と縦方向（視差方向に対する直交方向）のサイズは、それぞれ例えばピクセル数で表すとする。

図５は、エリア演算部２１５によって生成された測距不安定エリアリストの一例を示した図である。図５に示した測距不安定エリアリストは、図４に例示した測距不安定エリア４０１～４０５をそれぞれ特定する識別情報（ＩＤ１～ＩＤ５）、測距不安定エリアごとの縦方向と横方向のサイズ、縦横比、および重要度からなるリストである。なお図４の例の場合、測距不安定エリア４０１、４０４、および４０５はそれぞれ重心位置が重要度領域４１０に含まれる。このため、図５に示した測距不安定エリアリストでは、それら測距不安定エリア４０１、４０４、および４０５の重要度は最も高い値である重み付け値の「４」が割り当てられる。一方、測距不安定エリア４０２は重心位置が重要度領域４１１に含まれるため重要度には「２」が割り当てられ、測距不安定エリア４０３は重心位置が重要度領域４１２に含まれるため重要度には「１」が割り当てられる。

さらに、エリア演算部２１５は、下記式（１）に示す重み付平均縦横比計算式によって、測距不安定エリアリスト内の各縦横比×重要度の平均値（重み付平均縦横比と呼ぶ）を算出し、その重み付平均縦横比を目標角演算部２１６へ送る。なお、式（１）の計算結果を表している「６．８６」は、前述した図５の測距不安定エリアリストから式（１）の重み付平均縦横比計算式によって算出される値である。

目標角演算部２１６は、エリア演算部２１５から入力された重み付平均縦横比の値を基に、目標角度を算出する。
ここでは、前述した図５および以下の図６を用いて、目標角演算部２１６における目標角度算出処理について説明する。図６は、目標角演算部２１６に予め設定されている平均縦横比テーブルを示している。平均縦横比テーブルは、重み付平均縦横比ごとに目標角度が設定されているテーブルである。目標角演算部２１６は、エリア演算部２１５から入力された重み付平均縦横比を、平均縦横比テーブルと照らし合わせることにより、入力された重み付平均縦横比に対応した目標角度を取得する。例えば、前述した図５の測距不安定エリアリストから式（１）にて算出される重み付平均縦横比の値は６．８６であるため、図６の平均縦横比テーブルからは、目標角度として３０度が導き出される。そして、目標角演算部２１６は、その導き出した目標角度の情報を制御部２１７へ送る。

なお、本実施形態の場合、目標角演算部２１６は、式（１）による測距不安定エリアごとの縦横比および重要度を考慮した重み付平均縦横比を基に目標角度を設定しているが、縦横比のみを基に目標角度が設定されてもよい。すなわち目標角演算部２１６は、少なくとも測距不安定エリアごとの縦横比の平均値を基に目標角度を設定してもよい。

制御部２１７は、目標角演算部２１６から入力された目標角度を基に、駆動部２０４のモータを当該目標角度に基づいて駆動するための回転制御信号を生成する。このときの制御部２１７は、回転検出部２０３から得られる撮像部２０２の回転角度と、目標角度とを比較し、その比較結果が一致していれば撮像部２０２の現在の回転角度を維持するような回転制御信号を生成する。一方、撮像部２０２の回転角度と目標角度とが一致していない場合には、回転検出部２０３から得られる撮像部２０２の回転角度が目標角度に近づくように駆動部２０４を制御するための回転制御信号を生成する。

この回転制御信号が駆動部２０４へ送られることにより、駆動部２０４のモータは目標角度に相当する回転角度だけ回転駆動されることになる。すなわち、駆動部２０４のモータの回転駆動によって撮像部２０２が光軸中心に回転駆動されることにより、撮像部２０２における視差方向が制御される。これにより、測距時の視差方向が、撮像範囲内で測距対象物の測距を行うのに適した視差方向に合わせられるようになり、安定した測距結果の取得が可能となる。

車両装置２２０の車両制御部２２１は、撮像装置２００の測距演算部２１３から入力された測距情報を基に、車両機器２２２における自動ブレーキ装置等の図示しない運転支援装置の制御を行う。車両機器２２２は、車両の走行に係る機器であり、速度検出部２２３や不図示のエンジン部や制動部、操舵部も含まれる。
速度検出部２２３は、車両の走行速度を検出し、その速度情報を車両制御部２２１へ送信する。速度情報は車両制御部２２１における制御に用いられる。表示部２２４は、撮像装置２００から車両制御部２２１に入力された画像データの表示や、ユーザインタフェース画像等の表示を行う。

図７は、撮像装置２００における回転角度制御処理の流れを示すフローチャートである。なお、本実施形態の場合、図７に示した回転角度制御処理のフローチャートは、本実施形態に係る一連の回転角度制御プログラムを演算処理部２１０のＣＰＵが実行することにより実現されるとする。この図７のフローチャートの処理は、撮像装置２００の電源が起動されている場合に繰り返し実行される。

ステップＳ７０１の処理として、演算処理部２１０の画像処理部２１１は、撮像部２０２から入力された画像データを取得して画像処理を行い、視差検出部２１２はその画像処理後の画像から視差情報を取得する。

次にステップＳ７０２の処理として、測距演算部２１３は、入力された視差情報と、レンズ光学系２０１および撮像部２０２の諸元情報とから、測距対象物までの距離情報を算出する。さらに、信頼性演算部２１４は、蓄積した複数の距離情報から時間軸方向のばらつきを観測し、そのばらつきを基に測距信頼度を算出する。

次にステップＳ７０３の処理として、エリア演算部２１５は、入力された測距信頼度を基に、画像から測距不安定エリアを抽出する。すなわちエリア演算部２１５は、入力された画素ごとの測距信頼度が所定の閾値よりも低い画素の集合領域が、一定面積以上となる領域を、測距不安定エリアとして抽出する。

さらにステップＳ７０４の処理として、エリア演算部２１５は、測距不安定エリアの重心位置と、予め設定されている重要度領域とを基に、測距不安定エリアごとに重要度を設定する。

次にステップＳ７０５の処理として、エリア演算部２１５は、測距不安定エリアごとに縦方向と横方向のサイズ、およびそれらの縦横比を求め、さらに重要度を用いて、前述した測距不安定エリアリストを生成する。さらにエリア演算部２１５は、前述した式（１）の重み付平均縦横比計算式によって重み付平均縦横比を算出する。そして、目標角演算部２１６は、重み付平均縦横比を基に、目標角度を算出する。

次にステップＳ７０６の処理として、制御部２１７は、回転検出部２０３から得られる撮像部２０２の現在の回転角度と、目標角度とを比較する。そして、その比較結果が一致している場合、演算処理部２１０における処理はステップＳ７０１に戻る。一方、比較結果が一致していない場合、制御部２１７は、ステップＳ７０７の処理に進む。

ステップＳ７０７に進むと、制御部２１７は、回転検出部２０３から得られる撮像部２０２の回転角度が目標角度に近づくように駆動部２０４を制御するための回転制御信号を生成し、その回転制御信号によって駆動部２０４のモータを回転駆動させる。これにより、撮像部２０２は光軸中心に回転駆動され、測距時の視差方向が、撮像範囲内で測距対象物の測距を行うのに適した視差方向に合わせられるようになる。そしてステップＳ７０７の処理後、演算処理部２１０における処理はステップＳ７０１に戻る。

以上説明したように、本実施形態に係る撮像装置２００では、像面位相差測距方式による測距結果を評価しつつ、撮像部２０２を光軸中心に回転させる回転角度を制御する。これにより、本実施形態の撮像装置２００によれば、測距対象がガードレールや単管バリケードなどのように左右方向に模様等の特徴が少ない場合や左右方向以外の方向の測距対象の場合でも、安定した像面位相差測距が可能となる。すなわち本実施形態の撮像装置２００によれば、測距対象の形状や模様等の特徴によらず、安定した像面位相差測距が可能となる。

なお、前述した実施形態では、駆動部２０４によってレンズ光学系２０１と共に撮像部２０２を光軸中心に回転させたが、例えばレンズ光学系２０１は回転させずに、撮像部２０２のみ、あるいは撮像素子のみを光軸中心に回転させてもよい。

また前述した実施形態では、画像処理部２１１から車両装置２２０へ画像を出力し、車両装置２２０の表示部２２４にて画像を表示可能としているが、撮像部２０２が回転されている場合には表示部２２４に表示される画像も回転したものとなる。このため画像処理部２１１では、回転検出部２０３で検出された回転角度を打ち消す方向の逆方向の回転角度で、画像に回転処理を施すような画像処理を行ってから車両装置２２０に出力してもよい。これにより、撮像部２０２が回転されている場合であっても、車両装置２２０の表示部２２４に表示される画像は回転していない画像となる。

また前述の実施形態では、測距不安定エリアが見つからずエリア演算部２１５で生成された測距不安定エリアリストの項目数がゼロになる場合、制御部２１７は、回転検出部２０３の回転角度を維持する回転制御信号を生成してもよい。

また図７の回転角度制御処理のフローチャートの処理を実行する際、制御部２１７は、初期値として撮像部２０２の回転角度が任意の回転角度なるような回転制御信号を生成して駆動部２０４に出力してもよい。

また演算処理部２１０は、例えば測距不安定エリアが最小となった時点で図７のフローチャートの回転角度制御処理を停止し、測距不安定エリアが予め決めた所定の値より増えた時点で図７のフローチャートの回転角度制御処理を再開するようにしてもよい。

また演算処理部２１０では、車両装置２２０の速度検出部２２３から速度情報を取得し、その速度情報を基に、制御部２１７が制御する駆動部２０４への回転角度に制限を加えるようにしてもよい。

本発明は、上述の実施形態の一以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、一以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

本実施形態の開示は、以下の構成、方法、およびプログラムを含む。
（構成１）
画像の撮像とともに像面位相差測距に使用可能な信号を取得する撮像手段と、
前記撮像手段を光軸中心に回転させる回転手段と、
前記像面位相差測距に使用可能な信号を基に前記像面位相差測距を行う測距手段と、
前記像面位相差測距の結果を基に、前記像面位相差測距の結果がばらつく測距不安定領域を抽出する抽出手段と、
前記抽出された前記測距不安定領域を基に、前記回転手段が前記撮像手段を光軸中心に回転させる際の目標角度を設定する設定手段と、
前記目標角度を基に、前記回転手段が前記撮像手段を前記光軸中心に回転させる回転角度を制御する制御手段と、
を有することを特徴とする撮像装置。
（構成２）
前記撮像手段は、画素ごとに前記像面位相差測距に使用可能な信号を取得し、
前記抽出手段は、前記画素ごとの前記像面位相差測距の結果のばらつきを基に、前記画素ごとの測距結果の信頼度を算出し、前記画素ごとの測距結果の信頼度が所定の閾値より低い画素よりなる集合領域の面積が一定面積以上となる領域を、前記測距不安定領域として抽出することを特徴とする構成１に記載の撮像装置。
（構成３）
画像内における前記測距不安定領域の位置を基に、前記測距不安定領域に対する重要度を設定する重要度設定手段を有し、
前記設定手段は、前記測距不安定領域の縦横比と前記重要度とを基に、前記目標角度を設定することを特徴とする構成１または２に記載の撮像装置。
（構成４）
前記重要度設定手段は、画像内における複数の前記測距不安定領域ごとの位置を基に、前記測距不安定領域ごとに重要度を設定し、
前記設定手段は、前記複数の測距不安定領域ごとの前記縦横比と前記重要度とを用いた平均値を算出し、前記平均値を基に前記目標角度を設定することを特徴とする構成３に記載の撮像装置。
（構成５）
前記設定手段は、前記測距不安定領域の縦横比を基に、前記目標角度を算出することを特徴とする構成１または２に記載の撮像装置。
（構成６）
前記撮像手段の現在の回転角度を検出する回転検出手段を有し、
前記制御手段は、前記回転検出手段により検出された現在の回転角度が前記目標角度に近づくように、前記回転手段が前記撮像手段を前記光軸中心に回転させる前記回転角度を制御することを特徴とする構成１乃至５のいずれか１構成に記載の撮像装置。
（構成７）
前記撮像手段は、画像の撮像とともに像面位相差測距に使用可能な信号を取得する撮像素子と、前記撮像素子に光学像を結像させるレンズ光学系とを有し、
前記回転手段は、前記撮像素子を前記レンズ光学系の光軸中心に回転させることを特徴とする構成１乃至６のいずれか１構成に記載の撮像装置。
（構成８）
前記回転手段による前記光軸中心の回転角度に対して逆方向の回転角度で前記画像に回転処理を施す画像処理手段を有することを特徴とする構成１乃至７のいずれか１構成に記載の撮像装置。
（構成９）
前記抽出手段によって抽出される前記測距不安定領域がなくなった場合、前記制御手段は、前記回転手段による前記撮像手段の回転角度を維持することを特徴とする構成１乃至８のいずれか１構成に記載の撮像装置。
（構成１０）
前記設定手段は、固定の目標角度を初期値として有することを特徴とする構成１乃至９のいずれか１構成に記載の撮像装置。
（構成１１）
前記設定手段は、前記測距不安定領域が最小となった時点で前記目標角度の設定を停止し、前記測距不安定領域が所定の値より増えた時点で前記目標角度の設定を再開することを特徴とする構成１乃至１０のいずれか１構成に記載の撮像装置。
（構成１２）
前記撮像装置は車両に搭載され、
前記制御手段は、前記回転手段が前記撮像手段を回転させる回転角度を、前記車両の速度を基に制限することを特徴とする構成１乃至１１のいずれか１構成に記載の撮像装置。
（方法１）
画像の撮像とともに像面位相差測距に使用可能な信号を取得する撮像手段によって撮像を行う撮像工程と、
前記像面位相差測距に使用可能な信号を基に前記像面位相差測距を行う測距工程と、
前記像面位相差測距の結果を基に、前記像面位相差測距の結果がばらつく測距不安定領域を抽出する抽出工程と、
前記抽出された前記測距不安定領域を基に、回転手段が前記撮像手段を光軸中心に回転させる際の目標角度を設定する設定工程と、
前記目標角度を基に、前記回転手段が前記撮像手段を前記光軸中心に回転させる回転角度を制御する制御工程と、
を有することを特徴とする撮像方法。
（プログラム１）
画像の撮像とともに像面位相差測距に使用可能な信号を取得する撮像手段と、前記撮像手段を光軸中心に回転させる回転手段とを備えた撮像装置が有するコンピュータを、構成１乃至１２のいずれか１構成に記載の撮像装置として機能させるためのプログラム。

１００：撮像鏡筒、１０１：駆動部、２００：撮像装置、２０２：撮像部、２０３：回転検出部、２０４：駆動部、２１０：演算処理部、２１２：視差検出部、２１３：測距演算部、２１４：信頼性演算部、２１５：エリア演算部、２１６：目標角演算部、２１７：制御部

Claims (14)

1. 画像の撮像とともに像面位相差測距に使用可能な信号を取得する撮像手段と、
   前記撮像手段を光軸中心に回転させる回転手段と、
   前記像面位相差測距に使用可能な信号を基に前記像面位相差測距を行う測距手段と、
   前記像面位相差測距の結果を基に、前記像面位相差測距の結果がばらつく測距不安定領域を抽出する抽出手段と、
   前記抽出された前記測距不安定領域を基に、前記回転手段が前記撮像手段を光軸中心に回転させる際の目標角度を設定する設定手段と、
   前記目標角度を基に、前記回転手段が前記撮像手段を前記光軸中心に回転させる回転角度を制御する制御手段と、
   を有することを特徴とする撮像装置。
2. 前記撮像手段は、画素ごとに前記像面位相差測距に使用可能な信号を取得し、
   前記抽出手段は、前記画素ごとの前記像面位相差測距の結果のばらつきを基に、前記画素ごとの測距結果の信頼度を算出し、前記画素ごとの測距結果の信頼度が所定の閾値より低い画素よりなる集合領域の面積が一定面積以上となる領域を、前記測距不安定領域として抽出することを特徴とする請求項１に記載の撮像装置。
3. 画像内における前記測距不安定領域の位置を基に、前記測距不安定領域に対する重要度を設定する重要度設定手段を有し、
   前記設定手段は、前記測距不安定領域の縦横比と前記重要度とを基に、前記目標角度を設定することを特徴とする請求項１または２に記載の撮像装置。
4. 前記重要度設定手段は、画像内における複数の前記測距不安定領域ごとの位置を基に、前記測距不安定領域ごとに重要度を設定し、
   前記設定手段は、前記複数の測距不安定領域ごとの前記縦横比と前記重要度とを用いた平均値を算出し、前記平均値を基に前記目標角度を設定することを特徴とする請求項３に記載の撮像装置。
5. 前記設定手段は、前記測距不安定領域の縦横比を基に、前記目標角度を算出することを特徴とする請求項１に記載の撮像装置。
6. 前記撮像手段の現在の回転角度を検出する回転検出手段を有し、
   前記制御手段は、前記回転検出手段により検出された現在の回転角度が前記目標角度に近づくように、前記回転手段が前記撮像手段を前記光軸中心に回転させる前記回転角度を制御することを特徴とする請求項１に記載の撮像装置。
7. 前記撮像手段は、画像の撮像とともに像面位相差測距に使用可能な信号を取得する撮像素子と、前記撮像素子に光学像を結像させるレンズ光学系とを有し、
   前記回転手段は、前記撮像素子を前記レンズ光学系の光軸中心に回転させることを特徴とする請求項１に記載の撮像装置。
8. 前記回転手段による前記光軸中心の回転角度に対して逆方向の回転角度で前記画像に回転処理を施す画像処理手段を有することを特徴とする請求項１に記載の撮像装置。
9. 前記抽出手段によって抽出される前記測距不安定領域がなくなった場合、前記制御手段は、前記回転手段による前記撮像手段の回転角度を維持することを特徴とする請求項１に記載の撮像装置。
10. 前記設定手段は、固定の目標角度を初期値として有することを特徴とする請求項１に記載の撮像装置。
11. 前記設定手段は、前記測距不安定領域が最小となった時点で前記目標角度の設定を停止し、前記測距不安定領域が所定の値より増えた時点で前記目標角度の設定を再開することを特徴とする請求項１に記載の撮像装置。
12. 前記撮像装置は車両に搭載され、
    前記制御手段は、前記回転手段が前記撮像手段を回転させる回転角度を、前記車両の速度を基に制限することを特徴とする請求項１に記載の撮像装置。
13. 画像の撮像とともに像面位相差測距に使用可能な信号を取得する撮像手段によって撮像を行う撮像工程と、
    前記像面位相差測距に使用可能な信号を基に前記像面位相差測距を行う測距工程と、
    前記像面位相差測距の結果を基に、前記像面位相差測距の結果がばらつく測距不安定領域を抽出する抽出工程と、
    前記抽出された前記測距不安定領域を基に、回転手段が前記撮像手段を光軸中心に回転させる際の目標角度を設定する設定工程と、
    前記目標角度を基に、前記回転手段が前記撮像手段を前記光軸中心に回転させる回転角度を制御する制御工程と、
    を有することを特徴とする撮像方法。
14. 画像の撮像とともに像面位相差測距に使用可能な信号を取得する撮像手段と、前記撮像手段を光軸中心に回転させる回転手段とを備えた撮像装置が有するコンピュータを、
    前記像面位相差測距に使用可能な信号を基に前記像面位相差測距を行う測距手段と、
    前記像面位相差測距の結果を基に、前記像面位相差測距の結果がばらつく測距不安定領域を抽出する抽出手段と、
    前記抽出された前記測距不安定領域を基に、前記回転手段が前記撮像手段を光軸中心に回転させる際の目標角度を設定する設定手段と、
    前記目標角度を基に、前記回転手段が前記撮像手段を前記光軸中心に回転させる回転角度を制御する制御手段と、
    して機能させるプログラム。

Images