JP7122394B2 - 撮像部制御装置 - Google Patents

Description

本開示は、撮像部制御装置に関する。

従来から撮像素子を用いた撮影装置に係る発明が知られている（下記特許文献１を参照）。特許文献１に記載された移動体撮像装置は、複数の撮像部と、システム制御部と、表示・記録部とを備え、移動体に搭載される。上記撮像部は、撮像素子と、その撮像素子の出力信号から映像信号を生成する信号処理部と、これら撮像素子と信号処理部とを制御する撮像制御部を少なくとも有する。

上記システム制御部は、上記複数の撮像部を制御する。上記表示・記録部は、上記複数の撮像部から出力される映像信号を表示もしくは記録する。この従来の移動体撮像装置は、上記システム制御部が、上記移動体の位置情報や上記移動体が移動している範囲を含む地図情報に基づいて、上記複数の撮像部を互いに時差を持たせて制御を行なうことを特徴とする（同文献、請求項１等を参照）。

この従来の発明によると、移動体の現状の周囲状況に対して、次に生じると予測される周囲状況の変化が複数の撮像部に対して時系列的に及ぼす影響に対応して、それぞれの撮像部を適正に制御することができるので、移動体の操縦者による映像の視認性が向上する（同文献、第００２０段落等を参照）。

特開２００７－０８１６９５号公報

前記従来のような撮像装置では、撮像部によって撮影された移動体の前方の画像の一部に極端に暗い領域や極端に明るい領域が存在し、その領域に基づいて撮像部の露出補正がされるおそれがある。この場合、移動体が方向転換して露出補正に用いられた画像領域とは異なる方向へ移動すると、撮像部によって撮影された画像に、露出オーバーによる白とびや露出アンダーによる黒つぶれなどの不具合が発生するおそれがある。

本開示は、撮像部の露出を従来よりも適切に調節可能な撮像部制御装置を提供する。

本開示の一態様は、移動体に搭載される撮像部を制御する撮像部制御装置であって、前記移動体の移動方向を算出する移動方向演算部と、前記移動方向に応じて前記撮像部によって撮影された画像に露出補正の基準となる画像領域を設定する画像領域設定部と、前記画像領域の画像情報に基づいて前記撮像部の露出補正を行う露出補正部と、を備える、撮像部制御装置である。

本開示の上記一態様によれば、移動体の移動方向に応じて露出補正の基準となる画像領域を設定することで、撮像部の露出を従来よりも適切に調節可能な撮像部制御装置を提供することができる。

本開示の実施形態に係る撮像部制御装置のブロック図。 図１の撮像部制御装置による撮像部の制御方法の一例を示すフロー図。 図１の画像領域設定部によって設定された画像領域の一例を示す図。 図１の露出補正部による露出補正を説明するグラフ。 図１の露出補正部による露出補正を説明するグラフ。 図１の露出補正部による露出補正を説明するグラフ。 図１の画像領域設定部によって設定された画像領域の変形例を示す図。 図１の撮像部制御装置による撮像部の制御方法の変形例を示すフロー図。 図１の画像領域設定部によって設定された画像領域の変形例を示す図。 比較形態の撮像装置で露出補正の基準となる画像領域の一例を示す図。 比較形態の撮像装置で発生した白とびの一例を示す図。

以下、図面を参照して本開示に係る撮像部制御装置の実施形態を説明する。

図１は、本開示の実施形態に係る撮像部制御装置１００のブロック図である。詳細については後述するが、本実施形態の撮像部制御装置１００は次の構成を主な特徴としている。

撮像部制御装置１００は、移動体１０に搭載される撮像部１１を制御する装置である。撮像部制御装置１００は、移動体１０の移動方向を算出する移動方向演算部１１０と、移動体１０の移動方向に応じて撮像部１１によって撮影された画像に露出補正の基準となる画像領域を設定する画像領域設定部１２０と、その画像領域の画像情報に基づいて撮像部１１の露出補正を行う露出補正部１３０と、を備える。

以下、撮像部制御装置１００が搭載される移動体１０の各部の構成と、撮像部制御装置１００の各部の構成について、それぞれ詳細に説明する。

移動体１０は、たとえば自動車などの車両であり、撮像部１１と、ヨーレートセンサ１２と、舵角センサ１３と、車輪速センサ１４と、方向指示器１５と、を備えている。また、図示は省略するが、移動体１０は、たとえば、動力発生装置、伝動装置、電子制御装置（ＥＣＵ）、走行装置、計器類、ヘッドライト、ホーン、などを備えている。動力発生装置は、たとえば、エンジンと電動機の少なくとも一方を含む。走行装置は、たとえば、フレーム、サスペンション、ステアリングシステム、ブレーキシステム、ホイール、タイヤなどを含む。

撮像部１１は、たとえば、右カメラおよび左カメラを備えたステレオカメラ装置または単眼カメラを備えた単眼カメラ装置である。撮像部１１は、たとえば、鏡筒、レンズ、アイリス、シャッター、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device Image Sensor）などの撮像素子、画像データを処理する画像処理装置などを備えている。なお、撮像部１１が右カメラおよび左カメラまたは単眼カメラである場合、撮像部制御装置１００は、撮像部１１を備えたステレオカメラ装置または単眼カメラ装置であってもよい。

ステレオカメラ装置は、たとえば光軸が平行で間に距離（基線長）を有する右カメラと左カメラを備え、これら右カメラと左カメラによって対象物を同時に撮影する。右カメラで撮影された画像に写った対象物の座標と、左カメラで撮影された画像に写った同じ対象物の座標との間には、視差と呼ばれる差が生じる。ステレオカメラ装置は、右カメラと左カメラの画像にテンプレートマッチングを適用して視差を求め、求めた視差から三角測量法を用いて３次元空間における対象物の位置を求めることができる。撮像部１１は、撮影した画像や視差情報を、撮像部制御装置１００へ出力する。

ヨーレートセンサ１２は、たとえば自動車用ジャイロセンサであり、移動体１０のヨーレートを計測して撮像部制御装置１００へ出力する。舵角センサ１３は、たとえば、自動車である移動体１０のステアリングシャフトに取り付けられ、移動体１０の前輪の操舵角を計測して撮像部制御装置１００へ出力する。

車輪速センサ１４は、たとえば、自動車である移動体１０のハブやナックルに取り付けられ、移動体１０の各車輪の回転速度に応じた信号を撮像部制御装置１００へ出力する。方向指示器１５は、たとえば、移動体１０を運転する乗員によって、移動体１０の予定移動方向に応じて操作され、右または左の予定移動方向を撮像部制御装置１００へ出力する。

撮像部制御装置１００の各部は、たとえば、中央演算装置（ＣＰＵ）、集積回路（ＬＳＩ）、記憶装置、プログラム等を含むマイクロコンピュータによって構成されている。前述のように、撮像部１１がステレオカメラ装置または単眼カメラ装置である場合、撮像部制御装置１００は、移動体１０に搭載されたＥＣＵの一部であってもよい。

移動方向演算部１１０は、移動体１０の移動方向を算出する。ここで、移動方向とは、たとえば、直進方向、右方向、および左方向の三方向である。移動方向演算部１１０は、たとえば、位置情報取得部１４０から入力された移動体１０の位置情報と、移動経路演算部１５０から入力された移動体１０の移動経路とに基づいて、移動体１０の移動方向を予測する演算を行うように構成されている。また、移動方向演算部１１０は、挙動情報取得部１６０によって取得された移動体１０の挙動情報に基づいて、移動体１０の実際の移動方向を演算するように構成されている。

画像領域設定部１２０は、移動方向演算部１１０によって算出された移動体１０の移動方向に応じて、撮像部１１によって撮影された画像ＩＭの一部に、露出補正の基準となる画像領域ＩＲを設定する（図３を参照）。より具体的には、画像領域設定部１２０は、たとえば、直進方向Ｓと右方向Ｒと左方向Ｌのいずれかの移動方向に応じて、画像ＩＭの消失点を含む中央領域ＣＲと、中央領域ＣＲの右側の右領域ＲＲと、中央領域ＣＲの左側の左領域ＬＲのいずれかに、画像領域ＩＲを設定する。なお、画像領域設定部１２０は、後述するように、外界情報認識部１７０によって認識された外界情報に基づいて、画像領域ＩＲを設定してもよい。

露出補正部１３０は、画像領域設定部１２０によって設定された画像領域ＩＲの画像情報に基づいて、撮像部１１の露出補正を行う。より具体的には、露出補正部１３０は、画像領域ＩＲの画像情報として、たとえば、各画素の赤、緑、青（ＲＧＢ）の色情報や輝度を求める。また、露出補正部１３０は、たとえば、撮像部１１のアイリス、ゲイン、およびシャッタースピードを制御して、撮像部１１の露光補正を行う。また、露出補正部１３０は、たとえば、撮像部１１によって撮影された画像を電子的に補正することによって、撮像部１１の露出補正を行ってもよい。

位置情報取得部１４０は、移動体１０の位置情報を取得する。より具体的には、位置情報取得部１４０は、たとえば、全地球測位システム（ＧＰＳ）または全地球航法衛星システム（ＧＮＳＳ）を用いて移動体１０の位置情報を取得する。また、位置情報取得部１４０は、たとえば、挙動情報取得部１６０によって取得された移動体１０のヨーレート、操舵角、各車輪の回転速度などに基づいて移動体１０の移動方向と移動量を算出することで、移動体１０の位置情報を取得するようにしてもよい。

移動経路演算部１５０は、位置情報取得部１４０によって取得された移動体１０の位置情報から移動体１０の移動経路を算出する。より具体的には、移動経路演算部１５０は、たとえば、道路地図情報にアクセス可能に設けられ、道路地図情報と、移動体１０の位置情報と、移動体１０の乗員によって入力された目的地の位置情報と、に基づいて、移動体１０の現在位置から目的地までの移動経路を算出する。

挙動情報取得部１６０は、たとえば、移動体１０に搭載されたヨーレートセンサ１２から、移動体１０の挙動情報として、移動体１０のヨーレートを取得し、取得したヨーレートを移動方向演算部１１０へ出力する。また、挙動情報取得部１６０は、たとえば、舵角センサ１３から、移動体１０の挙動情報として、移動体１０の操舵角を取得し、取得した操舵角を移動方向演算部１１０へ出力する。

また、挙動情報取得部１６０は、たとえば、車輪速センサ１４から、移動体１０の挙動情報として、各車輪の回転速度を取得し、取得した各車輪の回転速度を移動方向演算部１１０へ出力する。また、挙動情報取得部１６０は、たとえば、方向指示器１５から、移動体１０の挙動情報として、移動体１０の予定移動方向を取得し、取得した移動体１０の予定移動方向を移動方向演算部１１０へ出力する。

外界情報認識部１７０は、撮像部１１によって撮影された画像から移動体１０の周囲の障害物情報および道路情報を含む外界情報を認識する。より具体的には、外界情報認識部１７０は、撮像部１１によって撮影された画像データを用いて物体検出処理を行って、障害物情報および道路情報を含む外界情報を認識する。障害物情報は、たとえば、車両、歩行者、建造物、ガードレール、中央分離帯、縁石、および電柱などの位置、大きさ、形状などを含む。道路情報は、たとえば、道路形状、白線、道路標示、および道路標識などを含む。

以下、本開示に係る撮像部制御装置と異なる比較形態の撮像装置の問題点を説明し、その比較形態の撮像装置と対比しつつ、本実施形態の撮像部制御装置１００の作用を説明する。比較形態の撮像装置は、たとえば、移動体１０の移動方向に応じて画像領域ＩＲを設定する画像領域設定部１２０を有しない点で、本実施形態の撮像部制御装置１００と異なっている。以下では、比較形態の撮像装置と、本実施形態の撮像部制御装置１００の間で共通する構成については、同一の符号を付して説明を省略する。

図８Ａは、比較形態の撮像装置における撮像部１１の露出補正の基準となる画像領域ＩＲの一例を示す図である。図８Ｂは、比較形態の撮像装置において、撮像部１１の画像ＩＭに発生した白とびＷＯの一例を示す図である。比較形態の撮像装置は、移動体１０の移動方向に応じて画像領域ＩＲを設定する画像領域設定部１２０を有しない。そのため、比較形態の撮像装置において、撮像部１１の露出補正の基準となる画像領域ＩＲは、移動体１０の直進方向Ｓ、右方向Ｒ、および左方向Ｌなどの移動方向に関わらず、たとえば画像ＩＭの消失点を含む中央部に固定される。

ここで、図８Ａに示すように、移動体１０の直進方向Ｓにおいて、撮像部１１の画像ＩＭに、たとえば太陽光が届きにくい建物Ｂの奥まった部分など、極端に暗い領域ＤＲが存在している場合がある。また、その極端に暗い領域ＤＲが、撮像部１１の露出補正の基準となる画像領域ＩＲに含まれる場合がある。すると、比較形態の撮像装置では、極端に暗い領域ＤＲを含む画像領域ＩＲを基準として撮像部１１の露出補正が行われるため、撮像部１１の露出が増加する。

これにより、図８Ｂに示すように、建物Ｂの奥まった部分をより認識しやすくなる。しかし、比較形態の撮像装置の画像ＩＭにおいて、たとえば、撮像部１１の露出補正の基準となる図８Ａに示す画像領域ＩＲの左右の領域では、図８Ｂに示すように、露出オーバーによる白とびＷＯなどの不具合が発生するおそれがある。

図８Ａに示す例とは逆に、移動体１０の直進方向Ｓにおいて、画像ＩＭの中央部の画像領域ＩＲに、極端に明るい領域が含まれる場合がある。すると、比較形態の撮像装置では、極端に明るい領域を含む画像領域ＩＲを基準として撮像部１１の露出補正が行われるため、撮像部１１の露出が減少する。

これにより、図８Ｂに示す例と同様に、画像ＩＭの中央部の極端に明るい領域は認識しやすくなる。しかし、比較形態の撮像装置の画像ＩＭにおいて、たとえば、撮像部１１の露出補正の基準となる図８Ａに示す画像領域ＩＲの左右の領域では、図８Ｂに示す例とは逆に、露出アンダーによる黒つぶれなどの不具合が発生するおそれがある。

たとえば、先進運転支援システム（ＡＤＡＳ）や自動運転では、撮像部１１の画像ＩＭから障害物や道路の情報を認識する技術が用いられている。しかし、撮像部１１の画像ＩＭに白とびや黒つぶれなどの不具合が発生すると、移動体１０の前方の交差点において、移動体１０が右方向Ｒまたは左方向Ｌに移動する右折時または左折時に、交差点内の車両や歩行者などの障害物の認識に支障を来すおそれがある。したがって、撮像部１１の画像ＩＭに発生する上記のような不具合を抑制することが求められている。

図２は、本実施形態の撮像部制御装置１００による撮像部１１の制御方法の一例を示すフロー図である。図３は、本実施形態の撮像部制御装置１００の画像領域設定部１２０によって撮像部１１の画像ＩＭに設定された画像領域ＩＲの一例を示す図である。

まず、ステップＳ１１において、撮像部制御装置１００は、移動体１０の移動経路を算出する。より具体的には、撮像部制御装置１００は、位置情報取得部１４０によって移動体１０の位置情報を取得し、移動経路演算部１５０によってその位置情報から移動体１０の移動経路を算出する。

次に、ステップＳ１２において、撮像部制御装置１００は、移動体１０の移動方向を演算する。より具体的には、撮像部制御装置１００は、ステップＳ１１で得られた移動体１０の位置情報および移動経路に基づいて、移動体１０の移動方向を算出する。これにより、撮像部制御装置１００は、たとえば図３に示すように、移動体１０の前方の交差点における移動体１０の移動方向が、直進方向Ｓ、右方向Ｒ、および左方向Ｌのうち、左方向Ｌであることを予測する。

次に、ステップＳ１３において、撮像部制御装置１００は、移動体１０の挙動情報を取得する。より具体的には、撮像部制御装置１００は、挙動情報取得部１６０によって、移動体１０に搭載されたヨーレートセンサ１２から移動体１０のヨーレートを挙動情報として取得する。また、撮像部制御装置１００は、挙動情報取得部１６０によって、移動体１０に搭載された舵角センサ１３から移動体１０の操舵角を挙動情報として取得する。また、撮像部制御装置１００は、挙動情報取得部１６０によって、移動体１０に搭載された車輪速センサ１４から移動体１０の複数の車輪の回転速度を挙動情報として取得する。さらに、撮像部制御装置１００は、挙動情報取得部１６０によって、移動体１０に搭載された方向指示器１５から移動体１０の予定移動方向を挙動情報として取得する。

次に、ステップＳ１４において、撮像部制御装置１００は、ステップＳ１２で算出した移動体１０の移動方向である左方向Ｌと、ステップＳ１３で取得した移動体１０の挙動情報とが一致しているか否かを判定する。より具体的には、撮像部制御装置１００は、たとえば、移動方向演算部１１０によって、移動体１０のヨーレート、操舵角、左右の車輪の回転速度の差、予定移動方向のうち、少なくとも一つの挙動情報に基づいて、撮像部１１の画像ＩＭに写った交差点での移動体１０の実際の移動方向を算出する。そして、移動方向演算部１１０は、ステップＳ１２で予測した移動体１０の移動方向である左方向Ｌと、移動体１０の挙動情報に基づいて算出した移動体１０の実際の移動方向とが、一致しているか否かを判定する。

ステップＳ１４において、移動体１０の移動方向と挙動情報とが一致している場合（ＹＥＳ）、ステップＳ１５へ進み、移動方向演算部１１０は、ステップＳ１２で算出した移動体１０の移動方向である左方向Ｌを、画像領域設定部１２０へ出力する。

次に、ステップＳ１６において、撮像部制御装置１００は、移動体１０の移動方向に応じて、撮像部１１によって撮影された画像ＩＭに露出補正の基準となる画像領域ＩＲを設定する。より具体的には、撮像部制御装置１００は、たとえば、画像領域設定部１２０によって、画像ＩＭの中央領域ＣＲ、右領域ＲＲ、および左領域ＬＲのうち、移動体１０の移動方向である左方向Ｌに応じた左領域ＬＲに、画像領域ＩＲを設定する。

次に、ステップＳ１７において、撮像部制御装置１００は、移動体１０の移動方向に応じて設定された画像領域ＩＲの画像情報に基づいて、撮像部１１の露出補正を行う。より具体的には、撮像部制御装置１００は、移動体１０の移動方向である左方向Ｌに応じて画像ＩＭの左領域ＬＲに設定された画像領域ＩＲの画像情報に基づいて、露出補正部１３０によって撮像部１１の露出補正を行う。なお、撮像部１１が二つのカメラを含む場合、これら二つのカメラに同時に露出補正を行う。

図４Ａから図４Ｃは、撮像部制御装置１００の露出補正部１３０による露出補正を説明するグラフである。露出補正部１３０は、画像領域ＩＲの画像情報に基づいて撮像部１１の露出補正を行う。より具体的には、露出補正部１３０は、たとえば、画像領域ＩＲの画像情報として輝度情報を用い、輝度情報に基づいて作成したヒストグラムに応じて撮像部１１の露出補正値を決定する。

たとえば、画像領域ＩＲにおいて、図４Ａに示すように輝度の高い画素数が極端に多い場合、露出オーバーであることが予想される。この場合、露出補正部１３０は、露出を減少させるように負の露出補正値を決定する。また、画像領域ＩＲにおいて、図４Ｂに示すように低い輝度から高い輝度まで画素数が比較的均等に偏りなく分布している場合には、適度なコントラストがあり、露出が適切であることが予想される。この場合、露出補正部１３０は、露出を維持するように露出補正値をゼロにする。また、図４Ｃに示すように輝度の低い画素数が極端に多い場合、露出アンダーであることが予想される。この場合、露出補正部１３０は、露出を増加させるように正の露出補正値を決定する。

一方、ステップＳ１４において、移動体１０の移動方向と挙動情報とが一致していない場合（ＮＯ）、ステップＳ１８へ進み、移動方向演算部１１０は、ステップＳ１３で取得した移動体１０の挙動情報に基づく進行方向である直進方向Ｓまたは右方向Ｒを、画像領域設定部１２０へ出力する。これは、たとえば、移動体１０を運転する乗員が、移動経路演算部１５０によって算出された移動体１０の移動経路と異なる経路を選択した場合である。

この場合、ステップＳ１６において、撮像部制御装置１００は、たとえば、画像領域設定部１２０によって、画像ＩＭの中央領域ＣＲ、右領域ＲＲ、および左領域ＬＲのうち、移動体１０の移動方向である直進方向Ｓまたは右方向Ｒに応じた中央領域ＣＲまたは右領域ＲＲに、画像領域ＩＲを設定する。このように、ステップＳ１４で移動体１０の移動方向と挙動情報とを比較することで、移動体１０を運転する乗員が、移動経路を変更した場合などに対応することが可能になる。

次に、ステップＳ１７において、撮像部制御装置１００は、移動体１０の移動方向に応じて画像ＩＭの中央領域ＣＲまたは右領域ＲＲに設定された画像領域ＩＲの画像情報に基づいて、前述のように、露出補正部１３０による撮像部１１の露出補正を行う。

以上のように、本実施形態の撮像部制御装置１００は、移動体１０に搭載される撮像部１１を制御する装置である。撮像部制御装置１００は、移動体１０の移動方向を算出する移動方向演算部１１０と、移動体１０の移動方向に応じて撮像部１１によって撮影された画像に露出補正の基準となる画像領域ＩＲを設定する画像領域設定部１２０と、画像領域ＩＲの画像情報に基づいて撮像部１１の露出補正を行う露出補正部１３０と、を備えている。

この構成により、たとえば、図３に示すように、移動体１０の進行方向である左方向Ｌに応じて画像ＩＭの左領域ＬＲに設定した画像領域ＩＲを基準として、露出補正を行うことができる。そのため、たとえば図８Ａに示すように、移動体１０の移動方向である左方向Ｌとは異なる直進方向Ｓにおいて、撮像部１１の画像ＩＭの中央部に極端に暗い領域ＤＲや極端に明るい領域が存在しても、その領域を含まない左領域ＬＲに設定された画像領域ＩＲを基準として、露出補正を行うことができる。

これにより、前述の比較形態の撮像装置よりも撮像部１１の露出補正を適切に行って、撮像部１１の画像ＩＭに白とびや黒つぶれなどの不具合が発生するのを抑制することができる。したがって、本実施形態によれば、移動体１０の移動方向に応じて露出補正の基準となる画像領域ＩＲを設定することで、撮像部１１の露出を従来よりも適切に調節可能な撮像部制御装置１００を提供することができる。

また、本実施形態の撮像部制御装置１００は、移動体１０の位置情報を取得する位置情報取得部１４０と、移動体１０の位置情報から移動体１０の移動経路を算出する移動経路演算部１５０と、移動体１０の挙動情報を取得する挙動情報取得部１６０と、をさらに備えている。この構成により、撮像部制御装置１００は、移動体１０の位置情報、移動経路、および挙動情報を利用して、撮像部１１を制御することが可能になる。

また、本実施形態の撮像部制御装置１００において、移動方向演算部１１０は、移動体１０の位置情報および移動経路に基づいて移動方向を算出するように構成されている。この構成により、撮像部制御装置１００は、たとえば、移動体１０の前方の交差点における移動体１０の移動方向を予測することが可能になる。

また、本実施形態の撮像部制御装置１００において、挙動情報取得部１６０は、移動体１０に搭載されたヨーレートセンサ１２から移動体１０のヨーレートを挙動情報として取得するように構成されている。また、移動方向演算部１１０は、移動体１０のヨーレートに基づいて移動体１０の移動方向を算出するように構成されている。この構成により、撮像部制御装置１００は、移動体１０のヨーレートに基づく移動体１０の実際の移動方向に応じて、露出補正の基準となる画像領域ＩＲを設定することができる。

また、本実施形態の撮像部制御装置１００において、挙動情報取得部１６０は、移動体１０に搭載された舵角センサ１３から移動体１０の操舵角を挙動情報として取得するように構成されている。また、移動方向演算部１１０は、移動体１０の操舵角に基づいて移動体１０の移動方向を算出するように構成されている。この構成により、撮像部制御装置１００は、移動体１０の操舵角に基づく移動体１０の実際の移動方向に応じて、露出補正の基準となる画像領域ＩＲを設定することができる。

また、本実施形態の撮像部制御装置１００において、挙動情報取得部１６０は、移動体１０に搭載された車輪速センサ１４から移動体１０の複数の車輪の回転速度を挙動情報として取得するように構成されている。また、移動方向演算部１１０は、移動体１０の複数の車輪の回転速度の差に基づいて移動体１０の移動方向を算出するように構成されている。この構成により、撮像部制御装置１００は、移動体１０の車輪の回転速度の差に基づく移動体１０の実際の移動方向に応じて、露出補正の基準となる画像領域ＩＲを設定することができる。

また、本実施形態の撮像部制御装置１００において、挙動情報取得部１６０は、移動体１０に搭載された方向指示器１５から移動体１０の予定移動方向を挙動情報として取得するように構成されている。また、移動方向演算部１１０は、移動体１０の予定移動方向に基づいて移動体１０の移動方向を算出するように構成されている。この構成により、撮像部制御装置１００は、移動体１０の方向指示器１５の操作に基づく移動体１０の予測移動方向に応じて、露出補正の基準となる画像領域ＩＲを設定することができる。

以上説明したように、本実施形態によれば、移動体１０の移動方向に応じて露出補正の基準となる画像領域ＩＲを設定することで、撮像部１１の露出を従来よりも適切に調節可能な撮像部制御装置１００を提供することができる。

なお、本開示に係る撮像部制御装置は、前述の実施形態に係る撮像部制御装置１００の構成に限定されない。以下、図５から図７を参照して、前述の実施形態に係る撮像部制御装置１００のいくつかの変形例について説明する。

図５は、前述の実施形態に係る撮像部制御装置１００の画像領域設定部１２０によって設定された画像領域ＩＲの変形例を示す図である。

撮像部制御装置１００は、前述のように撮像部１１によって撮影された画像から移動体１０の周囲の障害物情報および道路情報を含む外界情報を認識する外界情報認識部１７０を備えている。また、本変形例において、画像領域設定部１２０は、外界情報に基づいて画像領域ＩＲを設定するように構成されている。この構成により、撮像部１１のカメラの取り付け位置のずれが生じたり、移動体１０の車輪の径が変化したりした場合でも、画像ＩＭに適切な画像領域ＩＲを設定することができる。

より詳細には、外界情報認識部１７０は、撮像部１１の画像ＩＭの座標に基づいて、画像ＩＭから認識した車両Ｖや歩行者等の移動体の重心Ｇの位置を求め、その重心Ｇの軌跡を記録する。外界情報認識部１７０は、所定数以上の軌跡を記録した後、画像ＩＭの横方向に移動する重心Ｇを、画像ＩＭにプロットする。これにより、外界情報認識部１７０は、画像ＩＭにおいて、車両や歩行者等の移動体が通過する領域を認識することができる。

さらに、画像領域設定部１２０は、外界情報認識部１７０によって認識された車両や歩行者等の移動体が通過する領域に、画像領域ＩＲを設定する。より具体的には、画像領域設定部１２０は、車両や歩行者等の移動体が通過する領域において、移動体１０の移動方向に応じて画像領域ＩＲを設定する。より詳細には、画像領域設定部１２０は、移動体１０の直進時には、画像ＩＭの中央領域ＣＲに画像領域ＩＲを設定し、移動体１０の右折時には、画像ＩＭの右領域ＲＲに画像領域ＩＲを設定し、移動体１０の左折時には、画像ＩＭの左領域ＬＲに画像領域ＩＲを設定する。

なお、画像領域設定部１２０は、たとえば、移動体１０がまっすぐな道路を直進していることが判定され、かつ、道路に表示された白線の曲率がしきい値以下の場合に、道路の左右両側の白線の消失点を中心とする任意の中央領域ＣＲに画像領域ＩＲを設定してもよい。なお、白線の消失点は、たとえば、外界情報認識部１７０によって認識することができる。また、移動体１０がまっすぐな道路を直進しているか否かの判定は、たとえば、挙動情報取得部１６０によって取得された挙動情報を用いて行うことができる。たとえば、移動体１０の操舵角およびヨーレートの値がともにしきい値以下であれば、移動体１０が直進していると判定することができる。

図６は、前述の実施形態に係る撮像部制御装置１００による撮像部１１の制御方法の変形例を示すフロー図である。図７は、この変形例に係る撮像部制御装置１００の画像領域設定部１２０によって設定された画像領域ＩＲを示す図である。

本変形例において、撮像部制御装置１００は、位置情報取得部１４０、移動経路演算部１５０、および外界情報認識部１７０を有しなくてもよい。

まず、ステップＳ２１において、本変形例に係る撮像部制御装置１００は、図２に示す前述のステップＳ１３と同様に、挙動情報取得部１６０によって移動体１０の挙動情報を取得する。次に、ステップＳ２２において、本変形例に係る撮像部制御装置１００は、移動方向演算部１１０によって、移動体１０の挙動情報に基づいて、移動体１０移動方向を算出する。

たとえば、移動体１０がまっすぐな道路を直進している場合は、挙動情報取得部１６０によって取得された操舵角やヨーレートがしきい値以下となる。この場合、移動方向演算部１１０は、移動体１０の移動方向を直進方向Ｓとして算出する。また、移動体１０が左カーブを走行している場合や、交差点を左折している場合は、操舵角やヨーレートがしきい値以上になる。この場合、移動方向演算部１１０は、移動体１０の移動方向を図７に示す左方向Ｌとして算出する。

次に、ステップＳ２３において、本変形例に係る撮像部制御装置１００は、画像領域設定部１２０によって、移動体１０の移動方向に応じて、画像ＩＭに画像領域ＩＲを設定する。たとえば、移動体１０の移動方向が直進方向Ｓである場合、画像領域設定部１２０は、図７に示す中央領域ＣＲに画像領域ＩＲを設定する。また、移動体１０の移動方向が左方向Ｌである場合、画像領域設定部１２０は、図７に示す左領域ＬＲに画像領域ＩＲを設定する。画像領域設定部１２０による画像領域ＩＲの設定は、たとえば、移動体１０の挙動情報の時間的な変化に応じて動的に行うようにしてもよい。

次に、ステップＳ２４において、本変形例に係る撮像部制御装置１００は、図２に示すステップＳ１７と同様に、移動体１０の移動方向に応じて設定された画像領域ＩＲの画像情報に基づいて、撮像部１１の露出補正を行う。本変形例によっても、前述の実施形態と同様に、移動体１０の移動方向に応じて露出補正の基準となる画像領域ＩＲを設定することで、撮像部１１の露出を従来よりも適切に調節可能な撮像部制御装置１００を提供することができる。

以上、図面を用いて本開示に係る撮像部制御装置の実施形態およびその変形例を詳述してきた。しかし、本開示に係る撮像部制御装置の具体的な構成は、上記実施形態およびその変形例に限定されるものではなく、本開示の要旨を逸脱しない範囲における設計変更等があっても、それらは本開示に含まれる。

１０ 移動体
１１ 撮像部
１２ ヨーレートセンサ
１３ 舵角センサ
１４ 車輪速センサ
１５ 方向指示器
１００ 撮像部制御装置
１１０ 移動方向演算部
１２０ 画像領域設定部
１３０ 露出補正部
１４０ 位置情報取得部
１５０ 移動経路演算部
１６０ 挙動情報取得部
１７０ 外界情報認識部
ＩＭ 画像
ＩＲ 画像領域

Claims (8)

1. 移動体に搭載される撮像部を制御する撮像部制御装置であって、
   前記移動体の前方の交差点における前記移動体の移動方向として、直進方向、右方向、および左方向のいずれかを算出する移動方向演算部と、
   前記移動方向に応じて前記撮像部によって撮影された画像に露出補正の基準となる画像領域を設定する画像領域設定部と、
   前記画像領域の画像情報に基づいて前記撮像部の露出補正を行う露出補正部と、を備え、
   前記画像領域設定部は、前記移動方向が前記直進方向である場合に、前記撮像部によって撮影された画像の消失点を含む中央領域に前記画像領域を設定し、前記移動方向が前記右方向である場合に、該中央領域の右側の右領域に前記画像領域を設定し、前記移動方向が前記左方向である場合に、前記中央領域の左側の左領域に前記画像領域を設定し、
   前記露出補正部は、前記画像領域の前記画像情報である輝度情報に基いて作成したヒストグラムに応じて露出オーバーであることが予想される場合に、前記撮像部の露出を減少させるように負の露出補正値を決定し、前記ヒストグラムに応じて露出が適切であることが予想される場合に、前記撮像部の露出を維持するように前記露出補正値をゼロに設定し、前記ヒストグラムに応じて露出アンダーであることが予想される場合に、前記撮像部の露出を増加させるように正の前記露出補正値を決定する、
   撮像部制御装置。
2. 前記移動体の位置情報を取得する位置情報取得部と、
   前記位置情報から前記移動体の移動経路を算出する移動経路演算部と、
   前記移動体の挙動情報を取得する挙動情報取得部と、をさらに備える、請求項１に記載の撮像部制御装置。
3. 前記移動方向演算部は、前記位置情報および前記移動経路に基づいて前記移動方向を算出する、請求項２に記載の撮像部制御装置。
4. 前記挙動情報取得部は、前記移動体に搭載されたヨーレートセンサから前記移動体のヨーレートを前記挙動情報として取得し、
   前記移動方向演算部は、前記ヨーレートに基づいて前記移動体の移動方向を算出する、請求項２に記載の撮像部制御装置。
5. 前記挙動情報取得部は、前記移動体に搭載された舵角センサから前記移動体の操舵角を前記挙動情報として取得し、
   前記移動方向演算部は、前記操舵角に基づいて前記移動体の移動方向を算出する、請求項２に記載の撮像部制御装置。
6. 前記挙動情報取得部は、前記移動体に搭載された車輪速センサから前記移動体の複数の車輪の回転速度を前記挙動情報として取得し、
   前記移動方向演算部は、前記複数の車輪の回転速度の差に基づいて前記移動体の移動方向を算出する、請求項２に記載の撮像部制御装置。
7. 前記挙動情報取得部は、前記移動体に搭載された方向指示器から前記移動体の予定移動方向を前記挙動情報として取得し、
   前記移動方向演算部は、前記予定移動方向に基づいて前記移動体の移動方向を算出する、請求項２に記載の撮像部制御装置。
8. 前記撮像部によって撮影された画像から前記移動体の周囲の障害物情報および道路情報を含む外界情報を認識する外界情報認識部をさらに備え、
   前記画像領域設定部は、前記外界情報に基づいて前記画像領域を設定する、請求項１に記載の撮像部制御装置。

Images