WO2017203794A1

WO2017203794A1 - 撮像装置、撮像表示方法および撮像表示プログラム

Info

Publication number: WO2017203794A1
Application number: PCT/JP2017/009362
Authority: WO
Inventors: 山田　康夫; 聡隆村田; 啓太林
Original assignee: 株式会社Ｊｖｃケンウッド
Priority date: 2016-05-24
Filing date: 2017-03-09
Publication date: 2017-11-30

Abstract

車両の走行中に周辺確認の重要性が高い対象物や範囲は、車両の動作状況によって異なってくる。しかし、画像の明るさや色味を画角の全体や予め定められた一部の領域で調整すると、周辺確認の重要性が高い対象物や範囲を運転者が確認するときに必ずしも適切な画像にならない。　そこで、車両の周辺を撮像する撮像部と、撮像部を制御する制御部と、画像データを処理する画像処理部と、処理した画像を表示部に出力する出力部と、車両の進路変更に関する情報を検出する検出部とを備え、制御部による撮像制御および画像処理部による画像処理の少なくともいずれかは、検出部が検出した進路変更に関する情報に基づいて進路変更方向に大きくなるように重み付けを施す撮像装置を提供する。このような撮像装置によれば、進路変更時において、運転者が進路変更先の様子を適切に確認できる画像を呈示することができる。

Description

撮像装置、撮像表示方法および撮像表示プログラム

　本発明は、撮像装置、撮像表示方法および撮像表示プログラムに関する。

　例えば進行方向の様子を撮像するように車両に設置されたカメラにおいて、自動露出制御（ＡＥ：Ａｕｔｏｍａｔｉｃ　Ｅｘｐｏｓｕｒｅ）により適切な明るさの画像を得る技術が知られている。特許文献１は、予め設定された露出制御用の複数エリアの輝度を用いて露出制御を行う技術を開示している。特許文献２は、車両の走行速度に応じて露出演算に用いる領域を変更する技術を開示している。

特開２０１０－０４１６６８号公報特開２０１４－１４３５４７号公報

　車両の走行中に周辺確認の重要性が高い対象物や範囲は、車両の動作状況によって異なってくる。しかし、画像の明るさや色味を画角の全体や予め定められた一部の領域で調整すると、周辺確認の重要性が高い対象物や範囲を運転者が確認するときに必ずしも適切な明るさや色味にならない。

　本実施形態は、このような問題を解決するためになされたものであり、運転者が確認する重要性の高い対象物や範囲の明るさや色味を適切に調整して、運転者に当該画像を呈示する技術を提供することを目的とする。

　本実施形態の第１の態様における撮像装置は、車両の周辺を撮像する撮像部と、撮像部を制御する制御部と、撮像部から出力された画像データを処理する画像処理部と、画像処理部が処理した画像を表示部に出力する出力部と、車両の進路変更に関する情報を検出する検出部とを備え、制御部による撮像制御および画像処理部による画像処理の少なくともいずれかは、検出部が検出した進路変更に関する情報に基づいて進路変更方向に大きくなるように重み付けを施す。

　本実施形態の第２の態様における撮像表示方法は、車両の周辺を撮像する撮像部に撮像させる撮像ステップと、撮像部を制御するステップと、撮像ステップにおいて撮像された画像データを処理する画像処理ステップと、画像処理ステップにおいて処理された画像を表示部に表示させる表示ステップと、車両の進路変更に関する情報を検出する検出ステップと、を備え、制御ステップおよび画像処理ステップの少なくともいずれかにおいて、検出ステップにおいて検出された進路変更に関する情報に基づいて進路変更方向に大きくなるように重み付けを施す。

　本実施形態の第３の態様における撮像表示プログラムは、車両の周辺を撮像する撮像部に撮像させる撮像ステップと、撮像部を制御する制御ステップと、撮像ステップにおいて撮像された画像データを処理する画像処理ステップと、画像処理ステップにおいて処理された画像を表示部に表示させる表示ステップと、車両の進路変更に関する情報を検出する検出ステップと、を実行する際に、前記制御ステップおよび前記画像処理ステップの少なくともいずれかにおいて、検出ステップにおいて検出された進路変更に関する情報に基づいて進路変更方向に大きくなるように重み付けを施す処理をコンピュータに実行させる。

　本実施形態により、運転者が進路変更を行う場合に、その進路変更方向の部分領域が適切な明るさや色味になるように調整するので、進路変更時において、運転者が進路変更先の様子を適切に確認できる画像を呈示することができる。　

撮像装置が自車両に設置されている様子を示す概略図である。自車両車室内から進行方向を観察した様子を示す概略図である。撮像装置の構成を示すブロック図である。あるシーンにおける取得画像と表示画像の関係を示す説明図である。通常時の重み付け係数について説明する説明図である。進路変更時におけるウィンドウの設定について説明する説明図である。進路変更時における重み付け係数について説明する説明図である。他のシーンにおけるウィンドウの設定について説明する説明図である。更に他のシーンにおけるウィンドウの設定について説明する説明図である。他車両を考慮してウィンドウを設定する場合について説明する説明図である。他車両を考慮する別の例について説明する説明図である。車線変更中にウィンドウの設定を変更する様子を説明する説明図である。車線変更中にウィンドウの設定を変更する様子を説明する説明図である。車線変更中にウィンドウの設定を変更する様子を説明する説明図である。撮像装置の制御フローを示すフロー図である。撮像装置の他の制御フローを示すフロー図である。重み付けを施して明るさを調整する制御フローを示すフロー図である。重み付けを施してホワイトバランスを調整する制御フローを示すフロー図である。

　以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。

　図１は、本実施形態に係る撮像装置１００が、自車両１０に設置されている様子を示す概略図である。撮像装置１００は、主にカメラユニット１１０と本体ユニット１３０によって構成されている。カメラユニット１１０は、自車両１０の進行方向に対して後方の周辺環境を撮像できるように、車両後部に設置されている。すなわち、カメラユニット１１０は、自車両１０の周辺環境を撮像する撮像部としての機能を担う。カメラユニット１１０で撮像された画像は、本体ユニット１３０で処理され、表示ユニット１６０で表示される。

　表示ユニット１６０は、従来のバックミラーに置き換えられる表示装置であり、運転者は運転中に表示ユニット１６０を観察すれば、従来のバックミラーのように後方の様子を確認することができる。本実施形態においては、表示ユニット１６０としてＬＣＤパネルを採用するが、ＬＣＤパネルに限らず、有機ＥＬディスプレイ、ヘッドアップディスプレイなど、様々な態様の表示装置を採用し得る。また、表示ユニット１６０は、従来のバックミラーと併置しても良く、ハーフミラーを用いてディスプレイによる表示モードとハーフミラーの反射によるミラーモードとを切り替えることができる装置であってもよい。

　自車両１０は、他車両の存在を検知するミリ波レーダー１１を、車両後方に備える。ミリ波レーダー１１は、他車両が存在する場合に検知信号としてのミリ波レーダー信号を出力する。ミリ波レーダー信号は、他車両の方向（右後方、直後方、左後方）や接近速度の情報を含む。本体ユニット１３０は、ミリ波レーダー１１からの信号またはミリ波レーダー１１による他車両の検知結果を取得する。

　自車両１０は、運転者が操舵に用いるハンドル１２を備える。ハンドル１２は、右へ回転されれば右方向の操舵信号を出力し、左へ回転されれば左方向の操舵信号を出力する。操舵信号は操舵向きに加えて操舵角度を示す情報も含まれる。本体ユニット１３０は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを介して操舵信号を取得する。

　図２は、自車両１０の車室内から進行方向を観察した様子を示す概略図である。上述のように、従来の車両においてバックミラーが設置されていた位置に表示ユニット１６０が設置されており、車両後方の様子が画像として表示されている。表示される画像は、例えば６０ｆｐｓのライブビュー画像であり、ほぼリアルタイムに表示されている。表示ユニット１６０の表示は、例えばパワースイッチあるいはイグニッションスイッチの操作に同期して開始され、パワースイッチあるいはイグニッションスイッチの再度の操作に同期して終了する。

　ハンドル１２の側方には、方向指示器としてのウィンカーレバー１３が設けられている。ウィンカーレバー１３は、運転者が押し下げれば右方向を示す、押し上げれば左方向を示すウィンカー信号を出力する。本体ユニット１３０は、ウィンカー信号またはウィンカーが操作されたことを示す信号を、ＣＡＮなどを介して取得する。

　運転席から見て左前方には、ナビゲーションシステム１４が設けられている。ナビゲーションシステム１４は、運転者が目的地を設定するとルートを探索して案内すると共に、地図上に現在の自車両１０の位置を表示する。ナビゲーションシステム１４は、右折、左折を案内する場合に、案内に先立ってその方向を示すナビゲーション信号を出力する。本体ユニット１３０は、ナビゲーション信号などのナビゲーションシステム１４からの信号やデータを取得可能となるように、ナビゲーションシステム１４と有線または無線により接続されている。また、撮像装置１００は、ナビゲーションシステム１４を含むシステムが実現する機能のひとつであってもよい。

　図３は、撮像装置１００の構成を示すブロック図である。上述のように、撮像装置１００は、主にカメラユニット１１０および本体ユニット１３０によって構成される。

　カメラユニット１１０は、主にレンズ１１２、撮像素子１１４およびＡＦＥ（アナログフロントエンド）１１６を備える。レンズ１１２は、入射する被写体光束を撮像素子１１４へ導く。レンズ１１２は、複数の光学レンズ群から構成されていても良い。

　撮像素子１１４は、例えばＣＭＯＳイメージセンサである。撮像素子１１４は、システム制御部１３１から指定される１フレームあたりの露光時間に従って電子シャッタにより電荷蓄積時間を調整し、光電変換を行って画素信号を出力する。撮像素子１１４は、画素信号をＡＦＥ１１６へ引き渡す。ＡＦＥ１１６は、画素信号をシステム制御部１３１から指示される増幅ゲインに応じてレベル調整してデジタルデータへＡ／Ｄ変換し、画素データとして本体ユニット１３０へ送信する。なお、カメラユニット１１０は、メカニカルシャッタや虹彩絞りを備えても良い。メカニカルシャッタや虹彩絞りを備える場合には、システム制御部１３１は、これらも利用して、撮像素子１１４へ入射する光量を調整することができる。

　本体ユニット１３０は、システム制御部１３１、画像入力ＩＦ１３２、ワークメモリ１３３、システムメモリ１３４、画像処理部１３５、表示出力部１３６、入出力ＩＦ１３８、バスライン１３９を主に備える。画像入力ＩＦ１３２は、本体ユニット１３０とケーブルを介して接続されているカメラユニット１１０から画素データ受信して、バスライン１３９へ引き渡す。

　ワークメモリ１３３は、例えば揮発性の高速メモリによって構成される。ワークメモリ１３３は、ＡＦＥ１１６から画像入力ＩＦ１３２を介して画素データを受け取り、１フレームの画像データに纏めて記憶する。ワークメモリ１３３は、フレーム単位で画像処理部１３５へ画像データを引き渡す。また、ワークメモリ１３３は、画像処理部１３５が画像処理する途中段階においても一時的な記憶領域として適宜利用される。

　画像処理部１３５は、受け取った画像データに対して各種の画像処理を施し、予め定められたフォーマットに即した画像データを生成する。例えば、ＭＰＥＧファイル形式の動画像データを生成する場合は、各フレーム画像データに対するホワイトバランス処理、ガンマ処理等を施した後に、フレーム内およびフレーム間の圧縮処理を実行する。画像処理部１３５は、生成された画像データから表示用画像データを逐次生成して、表示出力部１３６へ引き渡す。

　表示出力部１３６は、画像処理部１３５から受け取った表示用画像データを、表示ユニット１６０で表示可能な画像信号に変換して出力する。すなわち、表示出力部１３６は、撮像部としてのカメラユニット１１０が撮像した画像を表示部である表示ユニット１６０に出力する出力部としての機能を担う。本体ユニット１３０と表示ユニット１６０とが、アナログケーブルで接続されている場合には、表示用画像データをＤＡ変換して出力する。また、例えばＨＤＭＩ（登録商標）ケーブルで接続されている場合には、表示用画像データをＨＤＭＩ形式のデジタル信号に変換して出力する。他にも、Ｅｔｈｅｒｎｅｔなどの伝送方式や、画像を圧縮せずにＬＶＤＳなどの形式で送信しても良い。表示ユニット１６０は、表示出力部１３６から受け取った画像信号を逐次表示する。

　認識処理部１３７は、受け取った画像データを分析し、例えば人物や他車両、区画線などを認識する。認識処理は、例えばエッジ検出処理および各種認識辞書との対比など、既存の処理を適用する。

　システムメモリ１３４は、例えばＥＥＰＲＯＭ（登録商標）などの不揮発性記録媒体により構成される。システムメモリ１３４は、撮像装置１００の動作時に必要な定数、変数、設定値、プログラム等を記録、保持する。

　入出力ＩＦ１３８は、外部機器からの信号を受信してシステム制御部１３１へ引き渡したり、外部機器へ信号要求などの制御信号をシステム制御部１３１から受け取って外部機器へ送信したりする、外部機器との接続インタフェースである。上述したウィンカー信号、操舵信号、ミリ波レーダー１１からの信号、ナビゲーションシステム１４からの信号は、入出力ＩＦ１３８を介してシステム制御部１３１へ入力される。すなわち、入出力ＩＦ１３８は、システム制御部１３１と協働して、自車両１０の進路変更に関する情報を取得することで進路変更を行うことを検出する検出部としての機能を担う。

　システム制御部１３１は、撮像装置１００を構成する各要素を直接的または間接的に制御する。システム制御部１３１による制御は、システムメモリ１３４から読みだされたプログラム等によって実現される。

　次に、本実施形態に係る撮像制御について説明する。図４は、あるシーンにおける取得画像と表示画像の関係を示す説明図である。図４において、外枠の範囲として表す撮像画角２１４は、撮像素子１１４が光電変換する光学像の範囲を表す。撮像素子１１４は、結像する光学像を、二次元的に配列された例えば８００万個からなる画素で光電変換して、画素信号を出力する。

　内枠の範囲として表す表示画角２６１は、表示ユニット１６０で表示される画像領域を表す。表示ユニット１６０は、上述のように従来のバックミラーに置き換えられるものである場合に、従来のバックミラーのように横長のアスペクト比を有する表示パネルが採用される。表示ユニット１６０は、撮像素子１１４の出力から生成される画像のうち、表示画角２６１に相当する領域を表示する。本実施形態においては、画像処理部１３５が、撮像画角２１４で生成した画像を表示画角２６１に切り出して表示用画像データを生成する。なお、表示ユニット１６０に表示される画像は、自車両１０の後方へ向けられたカメラユニット１１０で撮像された画像とは鏡像の関係にある。したがって、画像処理部１３５は鏡像反転の画像処理をおこなうが、以下においては理解しやすいよう、表示ユニット１６０で表示される鏡像を基準としてシーンを説明する。

　図示する一例のシーンは、自車両１０が走行する中央車線９００と、後方に他車両２０が走行する右車線９０１と、他車両が走行していない左車線９０２とから成る道路を含む。中央車線９００と右車線９０１とは、路面に描かれた区分線９１１で区分されており、同様に、中央車線９００と左車線９０２とは、区分線９１２で区分されている。さらに右車線９０１は、道路脇に植えられた街路樹９２３などが存在する路側との間に描かれた区分線９１３で区分されており、左車線９０２は、道路脇に植えられた街路樹９２４などが存在する路側との間に描かれた区分線９１４で区分されている。道路との境界９２２よりも上側は空９２０が撮像画角２１４の１／３程度を占め、右上方には太陽９２１が存在する。太陽光が街路樹９２３によって遮られ、右車線９０１の一部と右車線を走行する他車両２０大半は、影９２５に含まれている。

　自車両１０が中央車線９００を直進する通常時においては、運転者が後方環境の全体を観察することを前提として、システム制御部１３１は、取得する画像の全体がバランスのとれた明るさとなるように、カメラユニット１１０を制御する。具体的には、予め定められた撮像制御値により撮像処理を実行して一枚の画像データを生成し、その画像データを用いてＡＥ演算を実行する。

　ＡＥ演算は、例えば、生成した画像の各領域の輝度値から画像全体の平均輝度値を算出し、その平均輝度値と目標輝度値の差が０となるような撮像制御値を決定する演算である。より具体的には、算出された平均輝度値と目標輝度値の差を、例えばシステムメモリ１３４に記憶されたルックアップテーブルを参照して撮像制御値の修正量に変換し、これを予め用いた撮像制御値に加算して、次に撮像処理を実行するための撮像制御値として決定する演算である。なお、撮像制御値は、撮像素子１１４の電荷蓄積時間（シャッタ速度に相当）と、ＡＦＥ１１６の増幅ゲインの少なくともいずれかを含む。虹彩絞りを備える場合は、光彩絞りを駆動して調整され得る光学系のＦ値を含んでも良い。

　ここで、画像全体の平均輝度値を算出するときに、各領域の輝度値に重み付け係数を掛け合わせる。図５は、自車両１０が中央車線９００を直進する通常時の重み付け係数について説明する説明図である。図５は、後の説明に合わせ、図４のシーンの各車線がわかるように表している。

　本実施形態においては、図５中に点線で示すように、撮像画角２１４が格子状に複数の分割領域に分割されている。重み付け係数は分割領域ごとに与えられる。システム制御部１３１は、それぞれの領域に含まれる画素の輝度値に重み付け係数を掛け合わせて、画像全体の平均輝度値を算出する。図示するように、通常時の重み付け係数はすべて１である。つまり、実質的には重み付けを施さない。したがって、全ての領域を偏りなく扱うことにより、全体的にバランスのとれた明るさの画像が生成されるような撮像制御値が決定される。全体的にバランスのとれた明るさの画像であれば、図４において影９２５に含まれる被写体は相対的に暗くなり、空９２０は相対的に明るくなる。なお、撮像画角２１４をいくつの領域に分割するかは、システム制御部１３１の演算能力等によって任意に設定される。

　上述した、通常時の重み付け係数の適用は、自車両１０が中央車線９００をそうこうしているときに限らず、任意の車線を車線変更せずに走行しているときに適用される。また、通常時の重み付け係数は、上述した例のように、重み付け係数をすべて１とする例に限らない。通常時の重み付け係数の他の例としては、撮像画角２１４または表示画角２６１の中央部の重み付けが大きくなるように設定されていてもよい。ここでいう中央部とは、撮像画角２１４または表示画角２６１の縦方向および横方向における中央部、または縦方向または横方向におけるいずれかの中央部としてもよい。

　さらに、通常時の重み付け係数の他の例としては、撮像画角２１４または表示画角２６１の下方の重み付け係数が大きくなるように設定されていてもよい。ここでいう下方とは、撮像画角２１４または表示画角２６１の上下方向中央部より下方、または空９２０と道路との境界９２２より下方などである。以下の説明において、通常時の重み付け係数とは、上記を含む。

　図６Ａおよび図６Ｂは、中央車線９００から右車線９０１へ進路を変更しようとする進路変更時における、ウィンドウの設定と重み付け係数について説明する説明図である。特に、図６Ａは、ウィンドウの設定について説明する説明図であり、図６Ｂは、設定されたウィンドウと割り当てられる重み係数の関係を説明する図である。

　システム制御部１３１は、入出力ＩＦ１３８を介して右方向への進路変更を検出したら、現時点で取得している画像に対してウィンドウの設定を実行する。システム制御部１３１は、認識処理部１３７にエッジ強調や物体認識処理等の画像処理を実行させることにより、区分線９１１、９１２、９１３および境界９２２を抽出させる。そして、抽出したラインの補間処理などを施して、進路変更を行おうとしている右車線９０１の領域を決定し、これを加重ウィンドウ３０１と定める。また、反対の車線である左車線９０２の領域とそれよりさらに左側の領域を決定し、これらを纏めて軽減ウィンドウ３０３と定める。そして、その他の領域を通常ウィンドウ３０２と定める。

　システム制御部１３１は、加重ウィンドウ３０１、通常ウィンドウ３０２および軽減ウィンドウ３０３を定めたら、加重ウィンドウ３０１に含まれる分割領域には、通常時より重みを大きくする重み付け係数を、通常ウィンドウ３０２に含まれる領域には、通常時と同じ重み付け係数を、軽減ウィンドウ３０３には、通常時より重みを小さくする重み付け係数を与える。図６Ｂの例では、加重ウィンドウ３０３に８０％以上の割合で含まれる分割領域には、５を与え、３０％以上８０％未満の割合で含まれる分割領域には、３を与えている。一方で、軽減ウィンドウ３０３に含まれる分割領域には、０を与えている。

　このような重み付けを施すと、加重ウィンドウ３０１が設定された右車線９０１の領域の影響が相対的に大きくなり、軽減ウィンドウ３０３が設定された左車線９０２を含む左側の領域の影響が相対的に小さくなる（図の例では０となる）。図４のシーンの例では、右車線９０１の領域は影９２５に部分的に含まれているので、その輝度値は相対的に小さい（暗い）が、重み付けによってこの領域の輝度値の影響が大きくなると、画像全体として算出される平均輝度値が小さくなり、目標輝度値との差は大きくなる。目標輝度値との差が大きくなると、撮像制御値としての修正量も大きくなり、この場合は、画像全体をより明るくしようとする撮像制御値が決定されることになる。

　このように重み付けが施されたＡＥ演算結果によって撮像制御値が決定されると、その撮像制御値で撮像された画像は、右車線９０１の領域に含まれる被写体の明るさが適正になることが期待できる。すなわち、通常時の画像であれば、影９２５に含まれる被写体は暗くて視認し辛いところ、入出力ＩＦ１３８へ入力される各種信号から運転者がどちらの方向へ車線変更をしたいのかを判断して、その方向の車線の領域に含まれる被写体の明るさを最適化することができる。つまり、運転者が進路変更を行う場合に、その方向の部分領域が適切な明るさになるようにカメラユニット１１０を制御するので、運転者が進路変更先の車線である右車線９０１を適切に確認できる画像を呈示することができる。

　なお、上述の例では、自車両１０の進路変更に関する情報を、ウィンカー信号、操舵信号、ミリ波レーダー１１からの信号、ナビゲーションシステム１４からの信号を用いて検出したが、これらの内の一つを用いるようにしても良いし、いくつかを組み合わせて用いても良い。また、進路変更に関する他の信号を用いても良い。更には、システム制御部１３１は、進路変更に関する情報を入出力ＩＦ１３８に限らず、他の手段を用いて検出しても良い。例えば、カメラユニット１１０によって連続的に撮像されるフレーム画像から区分線の変化を検出すれば、自車両１０の左右方向の動きを検出できるので、これを進路変更に関する情報とすることもできる。

　ここから、ウィンドウの設定についていくつかのバリエーションについて説明する。図７は、他のシーンにおけるウィンドウの設定について説明する説明図である。図６Ａおよび図６Ｂの例では、車線変更の方向に複数の区分線を検出した場合に、自車両１０に隣接する２つの区分線９１１、９１３に基づいて定められる領域を加重ウィンドウ３０１としたが、図７は、車線変更の方向に一つの区分線９１５のみを検出した場合の例である。この場合は、検出した区分線９１５を基準として、区分線９１５から車線変更の方向へ予め定められた幅の領域を加重ウィンドウ３０１と定める。幅は、検出した区分線９１５の傾きに応じて、遠ざかる方向に小さくしても良い。このように加重ウィンドウ３０１を設定すると、移動する車線が正確に検出できなくても、運転者が観察したい領域に対して部分的にでも適切な明るさに調整することができる。なお、車線変更の方向とは反対の方向に区分線９１６を検出した場合には、図６Ａおよび図６Ｂの例と同様に軽減ウィンドウ３０３を設定しても良い。

　図８は、更に他のシーンにおけるウィンドウの設定について説明する説明図である。図８は、車線変更の方向に区分線が検出できなかった場合の例である。この場合は、自車両１０に隣接する直進方向に仮想的なラインを設定して、そのラインより車線変更の側の領域を加重ウィンドウ３０１と定める。このように加重ウィンドウ３０１を設定すると、少なくとも車線変更する側の被写体の視認性を向上させることができる。また、自車両１０が右折や左折をするような場合に、右後方や左後方を走る二輪車なども視認しやすくなる。なお、車線変更の方向とは反対の方向にも、自車両１０に隣接する直進方向に仮想的なラインを設定して同様に軽減ウィンドウ３０３を設定しても良い。

　図９は、他車両２０を考慮してウィンドウを設定する場合について説明する説明図である。図９の場合、認識処理部１３７は、区分線の認識処理に加えて、車両の認識処理も行う。図６Ａから図８の例では、車線や路面を基準にウィンドウの輪郭を定めたが、図９は、車線変更の方向に他の車両等が走行している場合には、その領域も含めて加重ウィンドウ３０１を定める例である。より具体的には、図６Ａの加重ウィンドウ３０１に対して、他車両２０の輪郭を足し合わせて加重ウィンドウ３０１を定めている。このように加重ウィンドウ３０１を定めれば、他車両２０の視認性がより向上する。なお、他車両が複数存在する場合は、それら全てを包含する輪郭を足し合わせても良いし、自車両１０に最も近い車両に限ってその輪郭を足し合わせても良い。画像処理部１３５は、他車両２０の輪郭を、例えば連続する複数のフレーム画像の差から検出される移動ベクトルに基づいて検出する。もしくはミリ波レーダーを使用して他車両２０との距離を測定することで、他車両２０の輪郭を足し合わせるか判断しても良い。また、他車両を検知した場合の加重ウィンドウ３０１の重み付け係数を、検知しない場合の加重ウィンドウ３０１の重み付け係数より、大きくしても良い。

　図１０は、他車両２０を考慮する別の例について説明する説明図である。図９の例では、車線変更する変更先の車線や路面領域を加重ウィンドウ３０１に含めたが、図１０は、路面領域を省いて他車両２０の輪郭に含まれる領域のみを加重ウィンドウ３０１とする例である。このように加重ウィンドウ３０１を定めると、運転者は、車線変更において特に確認したいと考えられる他車両の存在や動きを、より高い視認性をもって観察することができる。なお、図の例では加重ウィンドウ３０１以外の領域を軽減ウィンドウ３０３と定め、他の領域の被写体の影響を排除している。

　図１１Ａ～図１１Ｃは、車線変更中にウィンドウの設定を動的に変更する様子を説明する説明図である。特に、図１１Ａは、車線変更の開始直後の様子を示し、図１１Ｂは、車線を跨ぐ頃の様子を示し、図１１Ｃは、車線変更の完了直前の様子を示す。

　図１１Ａに示すように、車線変更の開始時において、まず自車両１０に隣接する直進方向に仮想的なラインを設定して、そのラインより車線変更の側の領域を加重ウィンドウ３０１と定める。このとき、区分線９１１を抽出できているのであれば、これに沿ってラインを設定しても良い。また、他車両２０が存在する場合は、その領域を加算して加重ウィンドウ３０１とする。

　そして、図１１Ｂに示すように、路面上に設定される加重ウィンドウ３０１の領域を自車両１０に対して相対的に固定しつつも、自車両１０に対して位置関係が変化する他車両２０の領域を加算して加重ウィンドウ３０１とする。このような加重ウィンドウ３０１の更新を、図１１Ｃに示す車線変更の完了直前まで継続し、車線変更が完了したら、通常時の重み付けを施さない処理に復帰する。すなわち、自車両１０が進路変更を開始してから終了するまでの間は、その進路変更の状況に応じて画像内で重み付けを変化させる。

　このように、加重ウィンドウ３０１を動的に更新することにより、運転者は、車線変更を行っている間も継続して、車線変更をする方向の被写体を適切な明るさで観察することができる。なお、上述の例では、路面上に設定される加重ウィンドウ３０１の領域を自車両１０に対して相対的に固定したが、変更先の車線が区分線により認識できているのであれば、車線領域の方を加重ウィンドウ３０１の固定領域としても良い。この場合は、車線変更を行っている間に車線領域は画角内で相対的に移動するので、フレームごとに車線領域を抽出すると良い。

　また、システム制御部１３１は、車線変更の終了を、入出力ＩＦ１３８に入力される信号の変化から判断できる。例えば、ウィンカー信号の場合は、ウィンカー信号の受信停止時点を車線変更の終了と判断できる。ミリ波レーダー信号であれば、他車両２０までの距離が一定の値を示すようになった時点を車両変更の終了と判断できる。また、システム制御部１３１は、カメラユニット１１０によって連続的に撮像されるフレーム画像から区分線の変化を検出する場合には、区分線の左右方向への移動が終了した時点を車両変更の終了と判断できる。

　以上、図６Ａから図１１Ｃを用いてウィンドウ設定のバリエーションについて説明したが、システム制御部１３１は、これらの手法を組み合わせ、自車両１０の走行環境に合わせて適宜選択することもできる。なお、上述の各例では右方向に車線変更をする例を説明したが、左方向に車線変更する場合も、加重ウィンドウ３０１が左側の領域に設定されるように同様に処理される。

　次に、撮像装置１００の制御フローの一例について説明する。図１２は、撮像装置１００の制御フローを示すフロー図である。フローは、例えばパワースイッチが操作された時点で開始される。

　システム制御部１３１は、ステップＳ１０１で、撮像制御値を含む撮像制御信号をカメラユニット１１０へ送り、撮像を実行させて画素データを本体ユニット１３０に送信させる。ステップＳ１０２へ進み、システム制御部１３１は、入出力ＩＦ１３８等を介して、自車両１０が進路変更を開始する情報を取得したか否かを判断する。

　システム制御部１３１は、進路変更を開始する情報を取得していないと判断したら、ステップＳ１２１へ進み、ステップＳ１０１で取得した画素データを画像処理部１３５で処理して表示画像を形成し、通常時の重み付け係数で重み付け処理されたＡＥ演算を行い、撮像制御値を決定する。そして、ステップＳ１２２へ進み、通常時の重み付け係数に基づいて決定された撮像制御値を含む撮像制御鍼法をカメラユニット１１０へ送り、撮像を実行させて画像データを本体ユニット１３０に送信させる。システム制御部１３１は、本体ユニット１３０が画像データを取得すると、ステップＳ１２３へ進み、画像処理部１３５で表示画像を生成し、表示出力部１３６を介して表示ユニット１６０で表示する。ステップＳ１０２で、進路変更を開始する情報を取得していないと判断された場合は、上述した通常時の重み付け係数で重み付け処理されたＡＥ演算を行う処理に代えて、図５を用いて説明した重み付けを施さないＡＥ演算を行うこととしてもよく、以下他の実施形態における通常時の重み付け係数で重み付け処理されたＡＥ演算に対しても同様である。その後、ステップＳ１１３へ進み、表示終了の指示を受け付けてなければステップＳ１０１へ戻り、ステップＳ１０４で決定された撮像制御値を用いて画像の取得が実行され、自車両１０が直進する通常時の処理が繰り返し実行される。

　システム制御部１３１は、ステップＳ１０２で、進路変更を開始する情報を取得したと判断したら、ステップＳ１０５へ進み、ステップＳ１０１で取得した画素データを画像処理部１３５で処理して、加重ウィンドウ等のウィンドウを設定する。このとき、加重ウィンドウは、上述のように、進路が変更される方向の領域に設定される。

　そして、システム制御部１３１は、ステップＳ１０６へ進み、他車両等の移動体が存在するか否かを判断する。システム制御部１３１は、ミリ波レーダー信号を利用して移動体の存在を判断しても良いし、複数フレームの画像を既に取得している場合は、被写体の移動ベクトルから判断しても良い。ミリ波レーダー信号を利用する場合は、システム制御部１３１は、入出力ＩＦと協働して、車両の周辺を移動する移動体を検知する検知部としての機能を担う。同様に、移動ベクトルを利用する場合は、システム制御部１３１は、画像処理部１３５と協働して、検知部としての機能を担う。システム制御部１３１は、移動体が存在すると判断したら、画像から移動体の領域を抽出し、その領域を加重ウィンドウ３０１に加える修正を施す（ステップＳ１０７）。

　ステップＳ１０７で加重ウィンドウに修正を加えたら、あるいはステップＳ１０６で移動体が存在しないと判断したら、システム制御部１３１は、ステップＳ１０８へ進み、重み付けを施してＡＥ演算を行い、撮像制御値を決定する。そして、ステップＳ１０９へ進み、当該撮像制御値を含む撮像制御信号をカメラユニット１１０へ送り、撮像を実行させて画素データを本体ユニット１３０に送信させる。システム制御部１３１は、本体ユニット１３０が画素データを取得すると、ステップＳ１１０へ進み、画像処理部１３５で処理して表示画像を形成し、表示出力部１３６を介して表示ユニット１６０で表示する。

　続いてステップＳ１１１へ進み、システム制御部１３１は、入出力ＩＦ１３８等を介して、自車両１０が進路変更を終了する情報を取得したか否かを判断する。進路変更を終了する情報を取得していないと判断したら、ステップＳ１０５へ戻り、車線変更時の処理を継続する。システム制御部１３１は、ステップＳ１０５からステップＳ１１１を繰り返すことにより、表示画像を予め定められたフレームレートに従ってほぼリアルタイムに更新する。

　システム制御部１３１は、ステップＳ１１１で進路変更を終了する情報を取得したと判断したら、ステップＳ１１２へ進み、設定したウィンドウを解除する。そして、ステップＳ１１３へ進み、表示終了の指示を受け付けたか否かを判断する。表示終了の指示は、例えば再度のパワースイッチの操作である。表示終了の指示を受け付けていないと判断したらステップＳ１０１へ戻り、受け付けたと判断したら一連の処理を終了する。

　なお、上記の処理においては、移動体が存在した場合に（ステップＳ１０６でＹＥＳ）、移動体の領域を加重ウィンドウ３０１に加える修正を施したが（ステップＳ１０７）、これは、図９等を用いて説明した移動体を考慮するウィンドウ設定の例である。移動体を考慮せず、ステップＳ１０６、Ｓ１０７を省略して、加重ウィンドウ３０１を修正しないフローであっても構わない。

　図１３は、撮像装置１００の他の例に係る制御フローを示すフロー図である。図１２と同じ処理については、同じステップ番号を付してその説明を省略する。図１２の制御フローでは、進路変更を開始する情報を取得したら加重ウィンドウを設定して重み付けを施したＡＥ演算を実行したが、本制御フローでは、進路変更を開始する情報を取得しても、移動体を検知しなかった場合には、重み付けを施さない。

　システム制御部１３１は、ステップＳ１０２で進路変更を開始する情報を取得したら、ステップＳ２０５へ進み、他車両等の移動体が存在するか否かを判断する。移動体が存在しないと判断したら、ステップＳ２０８へ進み、ステップＳ１２１からステップＳ１２３の処理と同様に、通常時の重み付け係数で重み付け処理されたＡＥ演算を実行し、撮像制御値を決定する。一方で、移動体が存在すると判断したら、ステップＳ２０６へ進み、画像から移動体の領域を抽出し、当該領域を含むように進路が変更される方向の領域に加重ウィンドウを設定する。そして、ステップＳ２０９へ進み、重み付けを施してＡＥ演算を行い、撮像制御値を決定する。

　システム制御部１３１は、ステップＳ２０７で決定した撮像制御値、あるいはステップＳ２０８で決定した撮像制御値を含む撮像制御信号をカメラユニットに送り、撮像を実行させて画素データを本体ユニット１３０に送信させる（ステップＳ２０９）。システム制御部１３１は、本体ユニット１３０が画素データを取得すると、ステップＳ１１０へ進む。

　このような制御フローを採用すると、運転者は、進路変更時に特に注意すべき移動体が存在する場合に、その移動体を適切な明るさで視認できるとともに、存在しない場合には、全体の明るさのバランスを優先して後方環境を視認できる。

　以上説明した本実施形態おいては、画像処理部１３５が撮像画角２１４で生成した画像の全体を対象に重み付けを施すＡＥ演算を行ったが、システム制御部１３１は、まず表示画角２６１に切り出し、表示画角２６１の画像を対象に演算を行っても良い。表示画角２６１の画像を対象に重み付けを施すＡＥ演算を行えば、切り落とした撮像画角の領域に極端な高輝度や低輝度の被写体が存在する場合であっても、これらの影響を受けることなく、より適切な撮像制御値を決定できる。

　以上説明した実施形態においては、検出部としての機能を担う入出力ＩＦ１３８が検出した進路変更に関する情報に基づいて撮像部としての機能を担うカメラユニット１１０が撮像した画像における進路変更方向に大きくなるように重み付けを施してＡＥ演算を行い、その結果に基づいてカメラユニット１１０を制御する例を説明した。しかし、画像の視認性向上は、ＡＥ演算による撮像制御に限らず、画像処理部１３５による画像処理でも実現できる。

　画像処理による視認性向上の例として、まず、入出力ＩＦ１３８が検出した進路変更に関する情報に基づいてカメラユニット１１０が撮像した画像における進路変更方向に大きくなるように重み付けを施して明るさ調整の画像処理を行う例を説明する。図１４は、重み付けを施して明るさを調整する制御フローを示すフロー図である。図１２を用いて説明した処理と同じ処理については、同じステップ番号を付して、その説明を省略する。

　システム制御部１３１は、ステップＳ１０１でカメラユニット１１０に撮像を実行させて画素データを本体ユニット１３０に送信させたら、ステップＳ２０２で、入出力ＩＦ１３８等を介して、自車両１０が進路変更を開始したか、または、進路変更を継続しているかの情報を取得したかを判断する。

　システム制御部１３１は、いずれの情報も取得していないと判断したら、ステップＳ２０３へ進み、画像処理部１３５は、ステップＳ１０１で取得した画素データに通常の明るさ調整を施す。ここで、通常の明るさ調整とは、通常時の重み付け係数で重み付け処理された明るさ調整を行うことである。また、通常時の重み付け係数で重み付け処理された明るさ調整に代えて、図５を用いて説明したように全ての分割領域を均一に扱い（重み付け係数１を与えることに等しい）、画像全体の平均明度が予め定められた目標明度になるように各画素値を調整することとしてもよい。システム制御部１３１は、このように明るさが調整された表示画像を、ステップＳ２０４で、表示出力部１３６を介して表示ユニット１６０に表示させる。その後、ステップＳ１１３へ進む。

　ステップＳ２０２で自車両１０が進路変更を開始したか、または、進路変更を継続しているかの情報を取得したと判断したら、システム制御部１３１は、ステップＳ１０５で加重ウィンドウ等のウィンドウを設定する。さらに、条件に応じて加重ウィンドウ３０１を修正する（ステップＳ１０６、Ｓ１０７）。移動体を考慮しないのであれば、ステップＳ１０６、Ｓ１０７の処理を省いても良い。

　ステップＳ２０８へ進むと、画像処理部１３５は、ステップＳ１０１で取得した画素データに重み付け有りの明るさ調整を施す。具体的には、図６Ａから図１１Ｃを用いて説明したように分割領域に対して重み付け係数を与えて、画像全体の平均明度を算出する。例えば、重み付け係数０．５が与えられた分割領域に属する画素は、平均明度の計算において０．５画素分として計算され、重み付け係数２．０が与えられた分割領域に属する画素は、平均明度の計算において２画素分として計算される。画像処理部１３５は、このように調整された平均明度が予め定められた目標明度になるように各画素値を調整する。システム制御部１３１は、このように明るさが調整された画像を表示用の表示画像に変換して、ステップＳ２１０で、表示出力部１３６を介して表示ユニット１６０に表示させる。

　続いてステップＳ２１１へ進み、システム制御部１３１は、入出力ＩＦ１３８等を介して、自車両１０が進路変更を終了する情報を取得したか否かを判断する。進路変更を終了する情報を取得していないと判断したら、ステップＳ１０１へ戻る。進路変更を終了する情報を取得したと判断したら、ステップＳ１１２へ進む。

　このように、画像処理によって明るさを調整しても、運転者は、進路変更時において進路変更先の様子を適切に確認できる。

　画像処理による視認性向上の例として、次に、入出力ＩＦ１３８が検出した進路変更に関する情報に基づいてカメラユニット１１０が撮像した画像における進路変更方向に大きくなるように重み付けを施してホワイトバランス調整の画像処理を行う例を説明する。図１５は、重み付けを施してホワイトバランスを調整する制御フローを示すフロー図である。図１２および図１４を用いて説明した処理と同じ処理については、同じステップ番号を付して、その説明を省略する。

　システム制御部１３１は、ステップＳ２０２でいずれの情報も取得していないと判断したら、ステップＳ３０３へ進み、画像処理部１３５は、ステップＳ１０１で取得した画素データに通常のホワイトバランス調整を施す。ここで、通常のホワイトバランス調整とは、通常時の重み付け係数で重み付け処理されたホワイトバランス調整を行うことである。また、通常時の重み付け係数で重み付け処理されたホワイトバランス調整に代えて、図５を用いて説明したように全ての分割領域を均一に扱い（重み付け係数１を与えることに等しい）、ＲＧＢごとのホワイトバランスゲインを算出してホワイトバランス調整を行うこととしてもよい。システム制御部１３１は、このようにホワイトバランスが調整された表示画像を、ステップＳ２０４で、表示出力部１３６を介して表示ユニット１６０に表示させる。その後、ステップＳ１１３へ進む。

　ステップＳ２０８へ進むと、画像処理部１３５は、ステップＳ１０１で取得した画素データに重み付け有りのホワイトバランス調整を施す。具体的には、図６Ａから図１１Ｃを用いて説明したように分割領域に対して重み付け係数を与えて、ＲＧＢごとのホワイトバランスゲインを算出する。例えば、重み付け係数０．５が与えられた分割領域に属するＲ画素の画素値は、Ｒのホワイトバランスゲインの計算において０．５画素分として計算され、重み付け係数２．０が与えられた分割領域に属するＲ画素の画素値は、Ｒのホワイトバランスゲインの計算において２画素分として計算される。画像処理部１３５は、このように算出したＲＧＢの各ホワイトバランスゲインを用いて各画素のＲＧＢ値を調整する。システム制御部１３１は、このようにホワイトバランスが調整された画像を表示用の表示画像に変換して、ステップＳ２１０で、表示出力部１３６を介して表示ユニット１６０に表示させる。

　このように、ホワイトバランスを調整すると、運転者は、進路変更時において進路変更先の対象物の色味を正しく視認することができる。

　以上図１４と図１５を用いて説明した画像処理部１３５による明るさ調整およびホワイトバランス調整は、一連の処理において組み合わせて適用しても良い。また、図１４と図１５の処理フローは、図１２の処理フローをベースとする処理フローであったが、図１３の処理フローをベースとして、重み付け演算の決定を行っても良い。

　更には、図１２や図１３を用いて説明した重み付けを施して行うＡＥ演算結果に基づく撮像制御に、図１４や図１５を用いて説明した重み付けを施して行う画像処理を組み合わせて処理しても良い。例えば、明るさを撮像制御と画像処理の両方で調整すれば、進路変更先の対象物がより適切な明るさとなることが期待できる。

　以上説明した本実施形態における撮像装置１００は、カメラユニット１１０を自車両１０の後方へ向けて設置し、バックミラーに置き換えられる表示ユニット１６０に後方画像を供給する装置として説明した。しかし、カメラユニット１１０を自車両１０の前方へ向けて設置する撮像装置に対しても、本発明を適用し得る。例えば、大型車両において運転席からは死角となる前方領域を撮像するカメラユニットであれば、右折や左折の進路変更も含め、進路変更する方向の被写体が適切な明るさで表示されることは、運転者の利便性を向上させる。

　以上説明した画像は、カメラユニット１１０により周期的に撮像した画像を処理して表示ユニット１６０に連続して表示する画像として説明したが、例えば予め定められたタイミングや発生したイベントのタイミングに応じて撮像される、記録用の静止画像や動画像であっても良い。

　以上説明した実施形態において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現し得る。便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

　この出願は、２０１６年５月２４日に出願された日本出願特願２０１６－１０３３９２、２０１７年１月３１日に出願された日本出願特願２０１７－０１５１５７を基礎とする優先権を主張し、その開示の全てをここに取り込む。

　以上のように本実施形態に係る撮像装置、撮像表示方法および撮像表示プログラムは、例えば乗用車に搭載される撮像装置、乗用車で実施される撮像表示方法、乗用車のコンピュータによって実行される撮像表示プログラムとして利用可能である。

１０　自車両、１１　ミリ波レーダー、１２　ハンドル、１３　ウィンカーレバー、１４　ナビゲーションシステム、２０　他車両、１００　撮像装置、１１０　カメラユニット、１１２　レンズ、１１４　撮像素子、１１６　ＡＦＥ、１３０　本体ユニット、１３１　システム制御部、１３２　画像入力ＩＦ、１３３　ワークメモリ、１３４　システムメモリ、１３５　画像処理部、１３６　表示出力部、１３８　入出力ＩＦ、１３９　バスライン、１６０　表示ユニット、２１４　撮像画角、２６１　表示画角、３０１　加重ウィンドウ、３０２　通常ウィンドウ、３０３　軽減ウィンドウ、９００　中央車線、９０１　右車線、９０２　左車線、９１１～９１６　区分線、９２０　空、９２１　太陽、９２２　境界、９２３、９２４　街路樹、９２５　影

Claims

　車両の周辺を撮像する撮像部と、
　前記撮像部を制御する制御部と、
　前記撮像部から出力された画像データを処理する画像処理部と、
　前記画像処理部が処理した画像を表示部に出力する出力部と、
　前記車両の進路変更に関する情報を検出する検出部と
を備え、
　前記制御部による撮像制御および前記画像処理部による画像処理の少なくともいずれかは、前記検出部が検出した進路変更に関する情報に基づいて進路変更方向に大きくなるように重み付けを施す撮像装置。
　前記制御部は、前記検出部が検出した進路変更に関する情報に基づいて前記撮像部が撮像した画像における進路変更方向に大きくなるように重み付けを施してＡＥ演算を行い、その結果に基づいて前記撮像部を制御する請求項１に記載の撮像装置。
　前記画像処理部は、前記検出部が検出した進路変更に関する情報に基づいて前記撮像部が撮像した画像における進路変更方向に大きくなるように重み付けを施して明るさ調整の画像処理を行う請求項１または２に記載の撮像装置。
　前記画像処理部は、前記検出部が検出した進路変更に関する情報に基づいて前記撮像部が撮像した画像における進路変更方向に大きくなるように重み付けを施してホワイトバランス調整の画像処理を行う請求項１から３のいずれか１項に記載の撮像装置。
　前記制御部または前記画像処理部は、前記検出部が進路変更を開始する情報を検出してから終了する情報を検出するまでの間は、前記車両の進路変更の状況に前記重み付け領域を対応させる請求項１から４のいずれか１項に記載の撮像装置。
　前記撮像部が撮像した画像から対象物を認識する認識処理部をさらに備え、
　前記制御部による撮像制御および前記画像処理部による画像処理の少なくともいずれかは、前記進路変更方向において認識した対象物に基づいて重み付けを大きくする、
　請求項１から５のいずれか１項に記載の撮像装置。
　前記認識処理部は、前記撮像部が撮像した画像から路面を検出し、
　前記制御部および前記画像処理部の少なくともいずれかは、前記車両が進路変更を行う方向の前記路面を含む領域の重みを大きくして前記重み付けを施す請求項６に記載の撮像装置。
　前記認識処理部は、前記撮像部が撮像した画像から前記車両が進路変更を行う方向における移動体を検出し、
　前記制御部および前記画像処理部の少なくともいずれかは、前記車両が進路変更を行う方向の前記移動体を含めた領域の重みを大きくして前記重み付けを施す請求項６または７に記載の撮像装置。
　前記認識処理部は、前記撮像部が撮像した画像から路面上の区分線を検出し、
　前記制御部および前記画像処理部の少なくともいずれかは、前記車両が進路変更を行う方向における前記区分線に基づいて前記重み付けを行う請求項６から８のいずれか１項に記載の撮像装置。
　前記認識処理部が、前記進路変更の方向に複数の区分線を検出した場合は、
　前記制御部および前記画像処理部の少なくともいずれかは、前記車両に隣接する２つの区分線に基づいて定められる領域の重みを大きくして前記重み付けを施す請求項９に記載の撮像装置。
　前記撮像部は、前記車両の進行方向に対して後方を撮像する請求項１から１０のいずれか１項に記載の撮像装置。
　前記検出部は、運転者による方向指示器の操作信号に基づいて前記進路変更に関する情報を検出する請求項１から１１のいずれか１項に記載の撮像装置。
　前記検出部は、運転者によるハンドル操作に基づく操舵信号に基づいて前記進路変更に関する情報を検出する請求項１から１２のいずれか１項に記載の撮像装置。
　前記検出部は、前記認識処理部が検出した区分線の位置の変化に基づいて前記進路変更に関する情報を検出する請求項６に従属する場合の請求項９から１３のいずれか１項に記載の撮像装置。
　前記検出部は、ナビゲーションシステムから取得する予定経路情報に基づいて前記進路変更に関する情報を検出する請求項１から１４のいずれか１項に記載の撮像装置。
　車両の周辺を撮像する撮像部に撮像させる撮像ステップと、
　前記撮像部を制御する制御ステップと、
　前記撮像ステップにおいて撮像された画像データを処理する画像処理ステップと、
　前記画像処理ステップにおいて処理された画像を表示部に表示させる表示ステップと、
　前記車両の進路変更に関する情報を検出する検出ステップと、
を備え、
　前記制御ステップおよび前記画像処理ステップの少なくともいずれかにおいて、前記検出ステップにおいて検出された進路変更に関する情報に基づいて進路変更方向に大きくなるように重み付けを施す、撮像表示方法。
　車両の周辺を撮像する撮像部に撮像させる撮像ステップと、
　前記撮像部を制御する制御ステップと、
　前記撮像ステップにおいて撮像された画像データを処理する画像処理ステップと、
　前記画像処理ステップにおいて処理された画像を表示部に表示させる表示ステップと、　前記車両の進路変更に関する情報を検出する検出ステップと、
を実行する際に、
　前記制御ステップおよび前記画像処理ステップの少なくともいずれかにおいて、前記検出ステップにおいて検出された進路変更に関する情報に基づいて進路変更方向に大きくなるように重み付けを施す処理
をコンピュータに実行させる撮像表示プログラム。