JP7077897B2 - 電子ミラーシステムにおけるキャリブレーション方法 - Google Patents

Description

本発明は、車両後方の映像をディスプレイにて表示する電子ミラーシステムにおけるキャリブレーション方法に関するものである。

従来より、電子ミラーシステムのように、車両周辺の映像を車載カメラで撮像し、その映像をディスプレイにて表示することで、ドライバが視認し難い場所や死角となる場所の様子を確認できるようにする技術がある。このような車載カメラを使ってドライバに対して映像を提供する装置では、車両製造工場において、車載カメラの搭載位置に対するキャリブレーションが行われる。

例えば、特許文献１に、車両の後方の映像を撮影する後方カメラのキャリブレーション方法が開示されている。ここでは、車両の後方における左右位置それぞれに、車両を挟むように２つのマーカを配置し、これらを車載カメラで撮像して、２つのマーカの中心がディスプレイに映し出す画像の中心位置と一致するようにキャリブレーションを行っている。

特許第５０９１９０２号公報

近年、車両におけるサイドミラーを配置していた場所に車載カメラを設置し、その車載カメラで車両の右後方や左後方の映像を撮像して、車室内に配置したディスプレイに表示する電子ミラーシステムが開発されている。この電子ミラーシステムは、電子アウターミラーシステムとも呼ばれるもので、天候などによらず、車室内のディスプレイを通じて車外の様子を視認性良く映し出すことを可能とする。

このような電子ミラーシステムにおいても、車載カメラのキャリブレーションを行う場合、それぞれの車載カメラにて２つのマーカが撮影されるようにマーカを配置しなければならない。

例えば、図６Ａに示したように車両１の後方において左右に並べてマーカ６０１～６０４を配置するようにして、車載カメラによる撮影を行うことが考えられる。しかしながら、この場合、図７Ａに示すように、ディスプレイの左右両端にマーカが離れて配置されるようにでき、良好にキャリブレーションを行えるが、図６Ａに示すようにマーカ６０１～６０４を配置するのに広いスペースが必要になる。キャリブレーションのために広いスペースを確保できれば良いが、車両製造工場において広いスペースを確保することが困難な場合もあり、できるだけ狭いスペースでキャリブレーションができるようにすることが望まれる。

これに対して、図６Ｂに示したように車両の左右それぞれに、車両の前後方向に沿って２つのマーカを並べて配置することで、狭いスペースに２つのマーカ６０１～６０４を配置してキャリブレーションが行えるようにすることが考えられる。しかしながら、この場合、ディスプレイに映し出される映像は図７Ｂのようになり、２つのマーカが画像の同じ端に偏って写し出されることになり、キャリブレーションし難い配置となってしまう。

本発明は上記点に鑑みて、狭いスペースで良好にキャリブレーションを行うことができるキャリブレーション方法を提供することを目的とする。

上記目的を達成するため、請求項１に記載の発明は、車両（１）の左右後方の映像を右側方カメラ（１０）および左側方カメラ（１１）で撮像し、該車載カメラの画像データを用いて右側ディスプレイ（２０１）および左側ディスプレイ（２０１）での表示を行う電子ミラーシステムを備えた車両において、該車両を所定の駐車スペースに駐車した状態で、電子ミラーシステムにおけるキャリブレーションを行うキャリブレーション方法であって、右側方カメラの撮像範囲内において、車両の右側方に右側方マーカ（４０１）を設置すると共に、該車両の右後方に右後方マーカ（４０２）を設置し、右側方カメラで撮像した画像データに基づいて、右側ディスプレイの左右両端それぞれに右側方マーカと右後方マーカが離れるように映し出した状態でキャリブレーションを行うことと、左側方カメラの撮像範囲内において、車両の左側方に左側方マーカ（４０３）を設置すると共に、該車両の左後方に左後方マーカ（４０４）を設置し、左側方カメラで撮像した画像データに基づいて、左側ディスプレイの左右両端それぞれに左側方マーカと左後方マーカが離れるように映し出した状態でキャリブレーションを行うことと、を行う。

このように、右側方カメラと左側方カメラそれぞれの撮像範囲において、車両の後方にマーカを設置すると共に車両の側方にマーカを設置している。これにより、ディスプレイの左右両端それぞれにマーカの映像が映し出されるようにできる。したがって、良好にキャリブレーションを行うことが可能となる。

なお、各構成要素等に付された括弧付きの参照符号は、その構成要素等と後述する実施形態に記載の具体的な構成要素等との対応関係の一例を示すものである。

第１実施形態にかかる電子ミラーシステムのブロック構成を示す図である。 図１に示す電子ミラーシステムの車両への搭載状態でのブロック構成を示した図である。 キャリブレーションのスペースに車両を駐車してキャリブレーションを行うときの様子を示した上視図である。 従来の車載カメラのキャリブレーションを行うときの様子を示した上視図である。 図４に示すキャリブレーション時に車両の前後に設置された車載カメラに対応するディスプレイで表示される画像を示した図である。 図４に示すキャリブレーション時に車両の左右に設置された車載カメラに対応するディスプレイで表示される画像を示した図である。 比較例として示したマーカの設置形態の一例を示した上視図である。 比較例として示したマーカの設置形態の一例を示した上視図である。 図６Ａの比較例において、キャリブレーション時にディスプレイで表示される画像を示した図である。 図６Ｂの比較例において、キャリブレーション時にディスプレイで表示される画像を示した図である。 第１実施形態で説明するマーカを備えた各壁面の様子を示した斜視図である。 右側方カメラで撮像した画像データをディスプレイで表示した様子を示した図である。 キャリブレーションとしてロールずれ補正を行う場合の概要を示した図である。 第２実施形態においてキャリブレーションに使用するマーカなどを示した上視図である。

以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、同一符号を付して説明を行う。

（第１実施形態）
まず、第１実施形態にかかるキャリブレーション方法が適用される電子ミラーシステムについて説明する。電子ミラーシステムは、車両に搭載されるものであり、ディスプレイを通じて車両の右後方や左後方の画像表示などを行うシステムである。以下、図１および図２を参照して、電子ミラーシステムの構成について説明する。

図１および図２に示すように、電子ミラーシステムは、電子ミラー用電子制御装置（以下、電子ミラーＥＣＵという）１００およびディスプレイ２００に加えて、車載カメラ１０、１１、各種スイッチ２０～２３、ドアセンサ３０等を備えた構成とされている。また、電子ミラーシステムでは、外部端末３００を用いてキャリブレーションの実行の指示等が行えるようになっている。

電子ミラーＥＣＵ１００は、ディスプレイ２００での表示を制御し、所定の表示モードでの画像表示を行わせるもので、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏなどを備えた周知のマイクロコンピュータなどを備えた構成とされている。電子ミラーＥＣＵ１００は、図示しないが、車両１におけるバッテリなどの定電圧源を電源として駆動されるもので、図示しないイグニッションスイッチ（以下、ＩＧという）などの発進スイッチがオンさせられると、電源からの電力供給に基づいて駆動される。そして、電子ミラーＥＣＵ１００は、ＲＯＭ、ＲＡＭ等の非遷移的実体的記録媒体に相当するメモリに記憶されたプログラムに従って様々な処理を実行することで、ディスプレイ２００の表示の制御を行う。

電子ミラーＥＣＵ１００は、画像入力インターフェース（以下、ＩＦという）１０１、画像受信部１０２、画像処理部１０３、画像出力部１０４、画像出力ＩＦ１０５、カメラ制御部１０６、車両情報ＩＦ１０７、システム制御部１０８、ディスプレイ制御部１０９を有した構成とされている。なお、後述するように、車載カメラ１０、１１およびディスプレイ２００が左右それぞれに１つずつ備えられている。このため、図１では、電子ミラーＥＣＵ１００の構成要素として、各構成を１つずつ記載したが、一部共通の構成とされているものもあるものの、概ね２セット備えられている。本実施形態の場合、車両情報ＩＦ１０７およびシステム制御部１０８以外の構成については２セット備えてある。

画像入力ＩＦ１０１は、車載カメラ１０、１１からの画像データを受信し、画像受信部１０２に伝える役割を果たす。画像受信部１０２は、画像入力ＩＦ１０１から入力された画像データをバッファに格納する。

画像処理部１０３は、画像受信部１０２がバッファに格納した画像データを用いて、ディスプレイ２００で表示するための画像データに加工したりするなどの画像処理を行う。また、画像処理部１０３は、キャリブレーションの実行を指示する入力信号が入力されるとキャリブレーションを行い、ディスプレイ２００による表示がキャリブレーションを反映した表示となるように画像処理を行う。具体的には、画像処理部１０３は、画像取得部１０３ａ、画像加工部１０３ｂおよび画像描画部１０３ｃを有した構成とされている。

画像取得部１０３ａは、画像受信部１０２がバッファに格納した画像データを取り出す役割を果たす。

画像加工部１０３ｂは、画像取得部１０３ａが取り出した画像に対する加工処理を行う。例えば、画像加工部１０３ｂでは、加工処理として、撮像範囲から所定範囲の画像を切り出す処理を行っている。また、画像加工部１０３ｂでは、キャリブレーションの実行を指示する指示信号が入力されると、後述する手法によってキャリブレーションを行う。画像加工部１０３ｂでは、キャリブレーションし易くなるように、加工処理として、切り出した画像のサイズ調整を行う拡縮処理、画像の歪みを補正する歪み補正処理、さらには白黒画像や二値化画像などへの色補正処理なども行っている。

画像描画部１０３ｃは、画像加工部１０３ｂが加工した画像に対して文字や線もしくは絵などの装飾を加えた描画を行うものである。本実施形態の場合、画像描画部１０３ｃにて、キャリブレーションの状態を示す表示を加えるようにしている。具体的には、「キャリブレーション中」、「キャリブレーションＮＧ」、「キャリブレーション完了」のように、キャリブレーションの途中であること、失敗したこと、完了したことを示す表示を画像描画部１０３ｃで加えている。

画像出力部１０４は、画像処理部１０３にて処理された画像をバッファに格納する役割を果たす。画像出力ＩＦ１０５は、画像出力部１０４がバッファに格納した画像データを取り出して、ディスプレイ２００に送信し、その画像データにて表される画像をディスプレイ２００に表示させる。

ここまで説明した画像入力ＩＦ１０１、画像受信部１０２、画像処理部１０３、画像出力部１０４、画像出力ＩＦ１０５が、車載カメラ１０、１１で撮像した画像データに基づいてディスプレイ２００に画像表示を行わせるのに用いられる基本構成となる。

カメラ制御部１０６は、車載カメラ１０、１１の露光やホワイトバランスなどの撮像に係わる各種パラメータを制御するものである。カメラ制御部１０６は、画像処理部１０３に入力された画像データから車載カメラ１０、１１の各種パラメータの補正量を求め、自動的に補正を行って各種パラメータを制御している。

車両情報ＩＦ１０７は、各種車両情報を入力する部分である。車両情報としては、各種スイッチ２０～２３やドアセンサ３０の操作状態を示す各種信号などを入力する。ここでは、各種信号として、各種スイッチ２０～２３やドアセンサ３０の操作状態を示す信号を例に挙げているが、他の信号、例えば車速やシフト位置、方向指示器に関する信号なども入力されるようになっている。各種スイッチ２０～２３のうちの一部の操作状態を示す信号については電子ミラーＥＣＵ１００に直接入力されている。また、各種スイッチ２０～２３のうちの残りやドアセンサ３０の操作状態を示す信号については、例えばＣＡＮ（Controller Area Networkの略）通信などによる車内ＬＡＮ（Local Area Networkの略）を通じて入力されている。ただし、車両情報ＩＦ１０７への入力の形態はどのようなものであっても良く、車内ＬＡＮを通じて入力されても、直接入力されても良い。

システム制御部１０８は、車両情報ＩＦ１０７に入力された各種車両情報に応じて画像処理部１０３において適切な画像処理が行われるように、各種車両情報に対応する制御信号を画像処理部１０３に出力している。これに基づき、画像処理部１０３では、画像加工部１０３ｂにおいて、画像データを加工する際に、システム制御部１０８から送られてきた制御信号に基づく加工を行うことで、車両状態に応じた加工処理が行われるようになっている。

ディスプレイ制御部１０９は、ディスプレイ２００の輝度やコントラストなど画像表示に係わる各種パラメータを制御するものである。ディスプレイ制御部１０９には、画像処理部１０３での画像処理後の画像データなどが入力されるようになっている。また、図示していないが、ナビゲーションシステムのディスプレイなどを通じて画像表示を調整のための操作を行えるようになっており、ディスプレイ制御部１０９にその操作内容のデータが入力されるようになっている。これらの入力内容に基づいて、補正を行うための各種パラメータの補正値などを自動的にディスプレイ２００に伝え、画像表示に係わる各種パラメータを制御している。

なお、後述するように、各種スイッチ２０～２３の操作に基づいてディスプレイ２００中に画像表示に関する補正ＭＥＮＵが表示されるようにし、その補正ＭＥＮＵを選択することで各種パラメータを補正することもできる。その場合、各種スイッチ２０の操作状態などがディスプレイ制御部１０９に入力されることとなる。

以上のようにして、電子ミラーＥＣＵ１００が構成されている。続いて、車載カメラ１０、１１、各種スイッチ２０～２３、ドアセンサ３０、ディスプレイ２００などについて説明する。

車載カメラ１０、１１は、ディスプレイ２００に映し出す映像を撮像するものであり、車両１の周辺の様子、ここでは車両１の後方の様子を撮像するものとされている。右側方カメラ１０は車両１の右後方における所定角度範囲を撮像し、左側方カメラ１１は車両１の左後方における所定角度範囲を撮像する。例えば、各車載カメラ１０、１１は、フロントドアのうちＡピラーの最下部と隣接する位置、つまり図２に示すように、従来のサイドミラーの取り付け位置に、車両１の後方に向けられて取り付けられる。後述するように、ディスプレイ２００は、車両１の右後方に対応する画像を表示する右側ディスプレイ２０１と、車両１の左後方に対応する画像を表示する左側ディスプレイ２０２とを有した構成とされている。そして、右側方カメラ１０で撮像した映像については、右側ディスプレイ２０１での表示に用いられ、左側方カメラ１１で撮像した映像については、左側ディスプレイ２０２での表示に用いられる。

車載カメラ１０、１１は、例えばＣＣＤ（Charge Coupled Device）カメラなどで構成されるが、撮像可能なものであれば構わないし、車載カメラ１０、１１の撮像範囲についても任意である。ただし、ディスプレイ２００による表示範囲よりも広い範囲を車載カメラ１０、１１で撮像できるものとされる。具体的には、ディスプレイ２００の表示形態として、光学ミラー相当の表示画角で映像を映し出す形態（以下、光学画角表示という）と、それよりも広い表示画角で映像を映し出す形態（以下、広角表示という）などがある。例えば、光学画角表示は、表示画角の角度範囲が２０～３０度であり、広角表示は、表示画角の角度範囲が３０度よりも大きくされる。そして、光学画角表示や広角表示は、車載カメラ１０、１１で撮像した画像データを部分的に切り出すことで行われる。このため、より広い角度範囲とされる広角表示が可能となるように、車載カメラ１０、１１による撮像範囲が設定されている。

各種スイッチ２０～２３は、ディスプレイ２００の操作に用いられる。各種スイッチ２０～２３としては、十字スイッチ２０、ＬＲスイッチ２１、ＯＮ／ＭＥＮＵスイッチ２２および電格スイッチ２３がある。

十字スイッチ２０は、光学ミラーで構成されたサイドミラーの向き調整と同様に、ディスプレイ２００の表示画像の表示中心の位置調整を行うためのスイッチである。図１に示すように、十字スイッチ２０は、上下左右それぞれに向けられた矢印表示を有しており、押下された方向に対応する信号が電子ミラーＥＣＵ１００に入力されるようになっている。

例えば、車載カメラ１０、１１で撮像した映像画面の中心がディスプレイ２００の中心と一致するようにディスプレイ２００での表示が行われる状態が基準状態とされる。十字スイッチ２０が操作されると、ディスプレイ２００による表示中心の位置が基準状態での表示に対して操作方向に沿ってずらされる。例えば、十字スイッチ２０の上矢印位置が押下されると、押下前よりも、ディスプレイ２００での表示画像が上方位置の画像となるように調整される。

また、十字スイッチ２０は、ディスプレイ２００の輝度やコントラストなどの補正を行う際の操作などにも用いられる。例えば、十字スイッチ２０は、ＯＮ／ＭＥＮＵスイッチ２２が押下されてＭＥＮＵ表示が為されたときに、ＭＥＮＵ表示にて表示される複数のＭＥＮＵ内容から任意のＭＥＮＵを選択する操作に使用される。そのＭＥＮＵ表示にディスプレイ２００の輝度やコントラストなどの補正ＭＥＮＵがあり、十字スイッチ２０を操作したのち、ＯＮ／ＭＥＮＵスイッチ２２を押下することで、その補正ＭＥＮＵの補正内容を決定できるようになっている。

ＬＲスイッチ２１は、右側ディスプレイ２０１と左側ディスプレイ２０２のいずれについて、十字スイッチ２０による表示中心の位置調整を行うかを選択するためのスイッチである。ＬＲスイッチ２１は、シーソースイッチによって構成されており、「Ｌ」と「Ｒ」いずれかの選択するためのＬ位置やＲ位置と、いずれも選択しないニュートラル位置とに切り替え可能とされている。そして、ＬＲスイッチ２１の操作状態に対応する信号が電子ミラーＥＣＵ１００に入力されるようになっている。ＬＲスイッチ２１は十字スイッチ２０の操作前に操作され、「Ｌ」と「Ｒ」のうち選択したい方に倒した状態で十字スイッチ２０を操作することで、選択された側のディスプレイ２００について、表示中心の位置調整が行われる。また、ＬＲスイッチ２１は、表示画面の輝度やコントラストなどの画面表示の補正を行う際にも、右側ディスプレイ２０１と左側ディスプレイ２０２のいずれについて補正を行うかの選択のために用いることができる。この場合も、十字スイッチ２０やＯＮ／ＭＥＮＵスイッチ２２を押下する前に、ＬＲスイッチ２１を操作することで、補正対象の選択を行えば良い。

ＯＮ／ＭＥＮＵスイッチ２２は、設定スイッチに相当するもので、ディスプレイ２００による特別表示のオンオフや特別表示を行う際のＭＥＮＵ表示を行わせるためのスイッチである。特別表示とは、ディスプレイ２００による広角表示などの光学画角表示以外のモードでの表示、つまり光学ミラーでは行えないがディスプレイ２００であれば行える表示を意味している。ＯＮ／ＭＥＮＵスイッチ２２が押下されると、ディスプレイ２００にＭＥＮＵ表示が為される。これに基づき、十字スイッチ２０を操作することで、ＭＥＮＵ表示された複数の内容の中から任意の内容を選択し、ディスプレイ２００にて、その選択された内容に沿った表示が行われるようにすることができる。そして、ＭＥＮＵ表示中に、ディスプレイ２００による特別表示を行うか否かを設定するオンオフ設定のＭＥＮＵがあり、それに基づいて特別表示のオンオフについても設定できるようになっている。

電格スイッチ２３は、車載カメラ１０、１１を格納するためのスイッチである。車載カメラ１０、１１は、図示しない電格モータ等の収納機構によって展開状態と格納状態との切り替えが行えるようになっており、電格スイッチ２３は、その駆動を行うためのスイッチとして用いられる。例えば、電格スイッチ２３は、プッシュスイッチによって構成され、押下されていない状態であれば車載カメラ１０、１１を展開状態に、押下された状態であれば車載カメラ１０、１１を格納状態に制御する。

各種スイッチ２０～２３のうちＯＮ／ＭＥＮＵスイッチ２２以外は、光学ミラーで構成されたサイドミラーの調整のために用いられていた既存のスイッチである。ディスプレイ２００によって多彩な表示モードを状況に応じて設定できるようにすることが望まれるが、そのためだけに新たにスイッチを増加することは難しい。このため、概ね既存のスイッチを用いて各種設定を行えるようにしている。

ドアセンサ３０は、車両１のドアの開閉状態を検出し、それに応じた検出信号を出力するものである。このドアセンサ３０の検出信号が電子ミラーＥＣＵ１００に入力されることで、ドアが開かれていて車載カメラ１０、１１の角度が変わっているときにキャリブレーションが行われないようにしている。

なお、ディスプレイ２００では、キャリブレーション時の表示以外にも、リバース走行時や右左折走行時といった車両走行状態などに応じて広角表示が行われるようになっている。それらの表示モードの切替えのために、車両情報として、シフト位置センサや方向指示器の操作状態も入力されるようになっている。

ディスプレイ２００は、電源ＩＣ（Integrated Circuit）や制御部が内蔵されたもので、電子ミラーＥＣＵ１００から入力される画像データに基づいて画像表示を行う。ディスプレイ２００は、上記したように右側ディスプレイ２０１と左側ディスプレイ２０２とを有した構成とされている。各ディスプレイ２００は、車載カメラ１０、１１で撮像した映像の反転映像を映し出すことで、光学ミラーのように車両１の後方の様子を反射させて映し出すようなミラーとして機能する。

ディスプレイ２００における表示部は、液晶やＥＬなどによって構成され、制御部が電子ミラーＥＣＵ１００から取り込んだ画像データに基づいて映像を映し出す。ディスプレイ２００を通じての表示となるため、光学画角表示に加えて広角表示も可能となる。このため、ＯＮ／ＭＥＮＵスイッチ２２の操作等に基づいて特別表示がオンされているときには、状況に応じて、ディスプレイ２００による光学画角表示が行われたり、広角表示が行われたりする。

また、ディスプレイ２００は、光学ミラーと異なり、車両１の外部に備えられる必要はないため、車室内に取り付け可能である。ディスプレイ２００を車室内に取り付ける場合、光学ミラーで構成されるサイドミラーのように、ミラーもしくはフロントドアガラスに雨が付着したときのような視認が困難になることを抑制できる。

ディスプレイ２００の取り付け位置については任意であるが、ドライバにとってサイドミラーを視認しているのと変わらないように、車室内におけるインストルメントパネルの左右端部、もしくは、左右のＡピラーそれぞれに配置されるのが好ましい。

外部端末３００は、ディーラ等の整備工場等において使用されるテスターなどである。本実施形態の場合、この外部端末３００の入力信号が車両情報の１つとして車両情報ＩＦ１０７に入力されるようになっており、この入力信号等に基づいてキャリブレーションが行われる。

以上のようにして、電子ミラーシステムが構成されている。このように構成された電子ミラーシステムでは、車載カメラ１０、１１で撮像した映像をディスプレイ２００に映し出すことで、ドライバに車両１の左右後方の様子を認識させることができる。そして、通常走行時等にはディスプレイ２００を通じて光学画角表示を行うことで、光学ミラーで構成されるサイドミラーと同様の表示をドライバに提供し、車両情報に基づいて、必要時には広角表示等の特別表示をドライバに提供する。例えば、リバース走行時や右左折走行時には広角表示が行われるようになっている。また、キャリブレーションの際には、「キャリブレーション中」、「キャリブレーションＮＧ」、「キャリブレーション完了」のように、キャリブレーションの途中であること、失敗したこと、完了したことを示す表示する。これにより、車両製造工場などにおいて、キャリブレーションの状況をディスプレイ２００で確認しつつ、キャリブレーションを実行することが可能となる。

続いて、本実施形態にかかる電子ミラーシステムにおけるキャリブレーション方法について説明する。

車両製造工場などにおいて、外部端末３００を通じてキャリブレーションの実行を指示する入力信号が電子ミラーＥＣＵ１００に入力されると、それが車両情報ＩＦ１０７、システム制御部１０８を通じて画像処理部１０３に入力される。これに基づいて、画像処理部１０３において、キャリブレーションが実行される。このとき、ドアが開いているとキャリブレーションを良好に行えないことから、車両情報として、ドアセンサ３０の検出信号からドアが開かれていないことが確認されたときにキャリブレーションが実行されるようにしている。キャリブレーションとしては、車載カメラ１０、１１のロールずれの補正やリアガイド線ずれの補正などを行っている。

ロールずれ補正は、車載カメラ１０、１１の撮像中心軸に対する回転方向のずれ、つまりロール方向のずれを補正するものである。リアガイド線ずれは、車載カメラ１０、１１の撮像中心軸のピッチング方向およびヨーイング方向のずれを補正するものである。これらの補正は、車載カメラ１０、１１にて２つのマークを撮像し、その撮像したマークをディスプレイ２００に表示したときにそれぞれのずれ量を確認し、所望の状態となるように調整することで行われる。

具体的には、車両製造工場内にキャリブレーションを実施するための設備が備えられている。例えば、図３に示すように、キャリブレーションは、三方が壁面で囲まれたキャリブレーションスペースで行われる。キャリブレーションスペースの中央に駐車スペースが備えられており、その駐車スペース内に電子ミラーシステムが搭載された車両１が駐車させられることでキャリブレーションが行われる。

ここで、従来は、図４に示すように、車両Ｊ１の前後および左右両側をそれぞれ確認するための周辺監視用の車載カメラＪ１１～Ｊ１４が備えられた車両Ｊ１についてキャリブレーションが行われていた。この場合、各車載カメラＪ１１～Ｊ１４の撮像範囲が広く、画角が広いことから、車両Ｊ１の近辺にマーカＪ２１～Ｊ２４を接地することで、各車載カメラＪ１１～Ｊ１４の撮像範囲にマーカＪ２１～Ｊ２４の２つが含まれる状態となる。このため、図５Ａに示すように、車両Ｊ１の前後の車載カメラＪ１１、Ｊ１２に対応する画像のディスプレイ表示についても、図５Ｂに示すように、車両Ｊ１の左右側方の車載カメラＪ１３、Ｊ１４に対応する画像のディスプレイ表示についても、共に、映し出される映像がディスプレイの左右両端に離れて配置されるようにできる。このため、良好にキャリブレーションを行うことが可能となる。

これに対して、本実施形態のように、車両１の右側後方や左側後方の様子を車載カメラ１０、１１で撮像する場合、上記した問題が発生する。すなわち、図６Ａに示したように車両１の後方において左右に並べてマーカ６０１～６０４を配置すれば、図７Ａに示すように、ディスプレイの左右両端に離れるように２つのマーカを映し出すことが可能になる。しかし、マーカ６０１～６０４を配置するのに広いスペースが必要になる。また、図６Ｂに示したように、車両１の前後方向に沿ってマーカ６０１、６０２やマーカ６０３、６０４を２つずつ並べて配置すると、狭いスペースに２つずつを配置できる。しかし、図７Ｂに示すように、２つのマーカがディスプレイの画像の同じ端に偏って映し出されることになり、キャリブレーションがし難くなる。

このため、本実施形態では、図３に示す各場所にマーカ４０１～４０４を配置している。具体的には、右側方カメラ１０のキャリブレーションに用いるマーカ４０１、４０２については、右側方カメラ１０の撮像範囲内において、車両１の右側方に対向する壁面５０１と車両１の後方に対応する壁面５０２それぞれに備えてある。これらのうちのマーカ４０１は右側方マーカ、マーカ４０２は右後方マーカに相当する。また、左側方カメラ１１のキャリブレーションに用いるマーカ４０３、４０４については、左側方カメラ１１の撮像範囲内において、車両１の左側方に対向する壁面５０３と車両１の後方に対応する壁面５０２それぞれに備えてある。これらのうちのマーカ４０３は左側方マーカ、マーカ４０４は左後方マーカに相当する。

各マーカ４０１～４０４は、各壁面５０１～５０３に描かれたり、マーカ４０１～４０４を構成するボードなどを貼り付けたり、設置することで備えられている。本実施形態の場合、壁面５０２に備えたマーカ４０２、４０４については正方形とされている。また、壁面５０１、５０３に備えたマーカ４０１、４０３については車両１の前後方向が長辺とされた長方形、もしくは、車両１の前後方向が高さ方向となり、車両１の前方側が短辺となる上底、後方側が長辺となる下底で構成される台形で構成されている。図８は、マーカ４０１、４０２を備えた壁面５０１、５０２の斜視図であり、両壁面５０１、５０２の角部を挟んだ両側にマーカ４０１、４０２を配置してある。

壁面５０２に備えたマーカ４０２、４０４については、各車載カメラ１０、１１によってほぼ正面視の状態で撮像され、その形状でディスプレイ２００に表示されることになる。このため、マーカ４０３、４０４の形状については、ディスプレイ２００に映し出したい形状そのものとして、正方形としてある。一方、壁面５０１、５０３に備えたマーカ４０１、４０３については、壁面５０１、５０３が撮像中心軸に対して傾斜した状態となっていることから、マーカ４０１、４０３の形状がディスプレイ２００に映し出される形状と異なったものとなる。すなわち、マーカ４０１、４０３は、撮像中心軸を法線方向とする平面に対してマーカ４０１、４０３を投影した形状でディスプレイ２００に映し出されることになる。このため、ディスプレイ２００に表示されたときに、正方形に近い形状となるように、上下方向よりも水平方向を長くした形状、つまり正方形を横長とした形状である長方形、もしくはそれに更に遠近法を加味した台形としてある。

図９は、右側方カメラ１０でマーカ４０１、４０２を撮像した画像データをディスプレイ２００で表示した場合の様子を示した図である。この図に示されるように、ディスプレイ２００の左右両端それぞれにマーカ４０１、４０２の映像が映し出されている。マーカ４０１とマーカ４０２は、離れて映し出されている。

ここで、上記したように、キャリブレーションとして、車載カメラ１０、１１のロールずれ補正やリアガイド線ずれの補正が行われることになる。

ロールずれ補正については、２つのマーカ４０１、４０２の中心を結んだ線が所望の状態になっているか否かを判定し、所望の状態となるように画像中心に対してロール方向に回転させる処理が画像処理部１０３において自動的に行われる。例えば、図１０に示すように、ロールずれが無い場合に映し出されるマーカ４０１とマーカ４０２の中心位置を結んだ線がディスプレイ２００の左右方向に対して所定角度θ傾斜しているのであれば、その角度θを基準値とする。そして、ロールずれ補正前のマーカ４０１とマーカ４０２の中心を結んだ線とディスプレイ２００の左右方向との成す角度が基準値となるように、画像をロール方向に回転させることでロールずれ補正を行っている。

このようなロールずれ補正を行う場合、マーカ４０１とマーカ４０２の距離が離れている方がより良好な補正を行える。すなわち、両者の距離が長い場合の方が短い場合と比較して、より両者の中心を結ぶ線をずれなく引くことが可能となり、より良好な補正が行えるようになる。したがって、図９に示したように、ディスプレイ２００の左右両端それぞれにマーカ４０１、４０２の映像が映し出されるようにすることで、良好にロールずれ補正を行うことが可能となる。

また、リアガイド線ずれ補正については、２つのマーカ４０１、４０２の位置ずれや形状の歪みもしくは大きさなどに基づいて補正が行われる。リアガイド線ずれが生じた場合、生じていない場合と比較して、マーカ４０１、４０２の位置がずれたり、形状や大きさがずれたりし、マーカ４０１、４０２の映し出される位置がディスプレイ２００の中心から離れる程、ずれが大きくなる。このため、リアガイド線ずれが生じていないマーカ４０１、４０２、つまり所定位置において所定形状、所定寸法のものを基準値として、その基準値となるように画像面をピッチング方向およびヨーイング方向に回転移動させることでリアガイド線ずれ補正を行っている。

このようなリアガイド線ずれを行う場合、基準値からのずれ量が大きく現れるようにすることが好ましい。そして、上記したように、マーカ４０１、４０２の映し出される位置がディスプレイ２００の中心から離れる程、すれが大きくなる大きく現れる。したがって、図９に示したように、ディスプレイ２００の左右両端それぞれにマーカ４０１、４０２の映像が映し出されるようにすることで、良好にリアガイド線ずれ補正を行うことも可能となる。

このように、ディスプレイ２００の左右両端それぞれにマーカ４０１、４０２の映像が映し出されるようにすることで、良好にキャリブレーションを行うことが可能となる。なお、ここでは右側方カメラ１０について例に挙げて説明したが、左側方カメラ１１についても同様のことが言える。

以上説明したように、本実施形態では、車載カメラ１０、１１の撮像範囲において、車両１の後方にマーカ４０２、４０４を設置すると共に車両１の側方にマーカ４０１、４０３を設置している。これにより、ディスプレイ２００の左右両端それぞれにマーカ４０１、４０２の映像が映し出されるようにできる。したがって、良好にキャリブレーションを行うことが可能となる。

また、車両１の後方に位置するマーカ４０２、４０４の形状についてはディスプレイ２００に映し出したい形状のままとしている。そして、車両１の側方に位置するマーカ４０１、４０３については、壁面５０１、５０３が撮像中心軸に対して傾斜した状態となっていることを考慮して、車両１の前後方向に長くしている。つまり、マーカ４０１、４０３については、ディスプレイ２００に映し出されたときに所望の形状となるように、その所望形状を横長とした形状、もしくは更にそれに遠近法を加味した形状としている。

これにより、ディスプレイ２００の左右両端それぞれに好ましい形状でマーカ４０１、４０２の映像が映し出されるようにできる。したがって、より良好にキャリブレーションを行うことが可能となる。

（第２実施形態）
第２実施形態について説明する。本実施形態は、第１実施形態に対してマーカ４０１、４０３を変更したものであり、その他については第１実施形態と同様であるため、第１実施形態と異なる部分についてのみ説明する。

図１１に示すように、本実施形態では、車両１の左右側方に配置されるマーカ４０１、４０３に庇部４０１ａ、４０３ａを備えてある。庇部４０１ａ、４０３ａは、マーカ４０１、４０３のうちのマーカ４０２、４０４側の辺において、マーカ４０１、４０２のうちの車両１の左右側面と対向する一面から立設されている。

このような庇部４０１ａ、４０３ａを備えることにより、車両１の後方からの光の反射を抑制することが可能となる。すなわち、後方の壁面５０２で反射した光がマーカ４０１、４０３で反射すると、その光によって車載カメラ１０、１１でマーカ４０１、４０３を良好に撮像できない可能性がある。このため、庇部４０１ａ、４０３ａを設けてマーカ４０１、４０３による後方からの光の反射を抑制できるようにすることで、マーカ４０１、４０３の画像を良好に撮像できる。これにより、より良好のキャリブレーションを行うことが可能となる。

なお、ここでは第１実施形態のように、マーカ４０１、４０３を長方形や台形とする場合に庇部４０１ａ、４０３ａを備える形態を例に挙げたが、長方形や台形に限らず、庇部４０１ａ、４０３ａを備えることができる。すなわち、マーカ４０１、４０３のうち車両１の左右側面と対向する一面から立設されるように、庇部４０１ａ、４０３ａを備えるようにすれば良い。

（他の実施形態）
本発明は上記した実施形態に限定されるものではなく、特許請求の範囲に記載した範囲内において適宜変更が可能である。

例えば、上記実施形態では、マーカ４０１、４０３を長方形もしくは台形、マーカ４０２、４０４を正方形とする場合を例に挙げて説明したが、これら以外の形状であっても良い。すなわち、ディスプレイ２００の左右両側にマーカ４０１～４０４が表示されるように、車両１の後方と側方それぞれにマーカ４０１～４０４が配置される構造としてあれば良い。また、マーカ４０２、４０４についてはディスプレイ２００で表示される形状そのままの形状とし、マーカ４０１、４０３についてはディスプレイ２００に表示される形状を横長とした形状とすれば、マーカ４０１～４０４の形状を認識し易くでき、より好ましい。さらに、各マーカ４０１～４０４の中心位置を認識しやすい形状とすると好ましく、四角形の他、スコープ図形等であっても良い。

また、マーカ４０１～４０４が壁面５０１～５０３に備えられている場合を例に挙げたが、必ずしも壁面５０１、５０３に備えられている必要はない。例えば、マーカ４０１～４０４の少なくとも一部の設置台に備えられていて、キャリブレーションを実行するスペースの地面に設置されるようなものであっても良い。例えば、壁面以外の障害物などの存在によってキャリブレーションのスペースに制約があることも想定される。そのような場合にも、良好にキャリブレーションができるようにすることが必要である。そのような状況に対して、マーカ４０１～４０４の少なくとも一部の設置台に備えられたようなものを用いると有効である。

また、キャリブレーションだけでなく、他の機能の調整、例えばソナーによる障害物認識も同時に行われるようなスペースにおいて、キャリブレーションが行われる場合もある。そのような場合、キャリブレーション時にのみ、マーカ４０１～４０４が壁面５０１～５０３に立て掛けられたり、壁面５０１～５０３から出てきたりする構造であっても良い。

さらに、上記実施形態では、キャリブレーションのスペースとして壁面５０１、５０３と壁面５０２とが垂直になるようなものを想定しているが、必ずしも垂直である必要は無い。例えば、スペースの入口側よりも壁面５０２側の方が車両１の左右方向の幅が狭くなっていて、壁面５０１、５０３が壁面５０２に対して傾斜させられていても良い。

また、第２実施形態では、庇部４０１ａ、４０３ａによって車両１の後方からの光の反射を抑制したが、マーカ４０１、４０３自体が反射し難いものとされていても良い。例えば、マーカ４０１、４０３の表面を粗面で構成するようにしても良い。

１０、１１ 車載カメラ
１００ 電子ミラーＥＣＵ
１０３ 画像処理部
１０３ａ 画像取得部
１０３ｂ 画像加工部
１０３ｃ 画像描画部
２００ ディスプレイ
３００ 外部端末
４０１～４０４ マーカ
５０１～５０３ 壁面

Claims (4)

1. 車両（１）の左右後方の映像を右側方カメラ（１０）および左側方カメラ（１１）で撮像し、前記右側方カメラおよび前記左側方カメラが撮像した画像データを用いて右側ディスプレイ（２０１）および左側ディスプレイ（２０１）での表示を行う電子ミラーシステムを備えた車両において、該車両を所定の駐車スペースに駐車した状態で、前記電子ミラーシステムにおけるキャリブレーションを行うキャリブレーション方法であって、
   前記右側方カメラの撮像範囲内において、前記車両の右側方に右側方マーカ（４０１）を設置すると共に、該車両の右後方に右後方マーカ（４０２）を設置し、前記右側方カメラで撮像した画像データに基づいて、前記右側ディスプレイの左右両端それぞれに前記右側方マーカと前記右後方マーカが離れるように映し出した状態で前記キャリブレーションを行うことと、
   前記左側方カメラの撮像範囲内において、前記車両の左側方に左側方マーカ（４０３）を設置すると共に、該車両の左後方に左後方マーカ（４０４）を設置し、前記左側方カメラで撮像した画像データに基づいて、前記左側ディスプレイの左右両端それぞれに前記左側方マーカと前記左後方マーカが離れるように映し出した状態で前記キャリブレーションを行うことと、を行うキャリブレーション方法。
2. 前記右側方マーカおよび前記左側方マーカとして、前記車両の前後方向において上下方向よりも長くされた形状とされているものを用いる請求項１に記載のキャリブレーション方法。
3. 前記右側方マーカおよび前記左側方マーカとして、前記車両の前後方向を長辺とする長方形、もしくは、前記車両の前後方向が高さ方向となり、前記車両の前方側が短辺となる上底、前記車両の後方側が長辺となる下底で構成される台形を用いる請求項２に記載のキャリブレーション方法。
4. 前記右側方マーカおよび前記左側方マーカとして、該右側方マーカおよび前記左側方マーカのうち前記車両の左右側面と対向する一面から立設された庇部（４０１ａ、４０３ａ）を有したものを用いる請求項１ないし３のいずれか１つに記載のキャリブレーション方法。

Images