JP5665458B2

JP5665458B2 - 運転支援装置及び運転支援表示の表示方法

Info

Publication number: JP5665458B2
Application number: JP2010216094A
Authority: JP
Inventors: 貴志前川
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2010-09-27
Filing date: 2010-09-27
Publication date: 2015-02-04
Anticipated expiration: 2030-09-27
Also published as: JP2012074777A

Description

本発明は、車両に搭載された撮像手段の撮像画像に所定のグラフィックからなる運転支援表示を重畳表示するように前記撮像手段から出力された画像信号を処理し、前記処理された画像信号に基づいて画像表示を行う運転支援装置及び運転支援表示の表示方法の技術分野に関する。

ディスプレイ上に表示された車載カメラの撮像画像上に、線分や図形などの所定のグラフィックからなる運転支援表示（車両の走行予測路や、路上の障害物などの表示）を重畳表示することによって、ドライバーの運転をサポートする運転支援装置が知られている。このような運転支援表示は、当該運転支援表示を認識したドライバーが走行に関する各種判断を的確に行えるように、車載カメラの撮像画像に対して正確な位置に表示されることが求められる。

ここで、運転支援表示を撮像画像に対して正確な位置に表示するためには、車両に対して車載カメラが正確な角度で取り付けられている必要がある。車両への車載カメラの取り付け作業は、一般的には人手によって行われており、取り付け角度の誤差が規定値に収まるように、車載カメラの撮像画像をモニタしながら取り付け角度を補正する校正作業が行われる。

このような車載カメラの校正について、様々な手法が提案されている。例えば特許文献１では、路上に置かれた校正指標を用い、当該校正指標が車載カメラの撮像エリア内に収まるように調整することで校正を行う運転支援装置が開示されている。特許文献２には、路上に配置された実パターンと表示画面上に表示された表示パターンとの相対定置を調整することにより校正可能な運転支援装置が開示されている。また、特許文献３には、路上に設けられた平行なマーキングから消失点を算出し、車載カメラの取り付け角度の変位に基づいて校正を行う運転支援装置が開示されている。

特開２００１−２４５３２６号公報特開２００５−７７１０７号公報特開２００７−２１５１６９号公報

しかしながら、上述の特許文献１乃至特許文献３では、専用の校正指標等を用いる必要があるため、校正の精度が校正指標の取扱方法や校正実施時の配置方法などのノウハウに影響されやすいという問題点がある。即ち、精度よく校正を実施するためには熟練した作業者が行う必要があり、未熟な一般ユーザ等が取り扱うことは困難である。特に、特許文献３では、校正を行うために平行なマーキングが必要となるが、このようなマーキングが私有地にあることは稀であり、一般ユーザが実施する校正手法としては現実的ではない。

本発明は、上述した問題点に鑑みなされたものであり、車載カメラの取り付け角度について、専用の校正指標を設けることなく容易に校正を実施可能な運転支援装置及び運転支援表示の表示方法を提供することを目的とする。

本発明の運転支援装置は上記課題を解決するために、車両に搭載された撮像手段の撮像画像に所定のグラフィックからなる運転支援表示を重畳表示するように前記撮像手段から出力された画像信号を処理する運転支援装置であって、前記撮像手段によって時系列的に撮像された複数の画像からオプティカルフローの消失点の表示画面における座標を算出し、該算出された消失点の表示画面における座標の前記撮像手段の光軸の表示画面における座標に対するズレ量から前記撮像手段の前記光軸に交差する方向における回転量を算出する算出手段と、前記算出手段によって算出された回転量に応じて、前記撮像手段の撮像画像に対する前記運転支援表示の重畳表示位置を変更する補正手段とを備えたことを特徴とする。

本発明によれば、撮像手段の撮像画像から算出されたオプティカルフローの消失点の光軸に対するズレ量に基づいて、撮像手段の光軸に交差する方向における回転量を算出し、運転支援表示の重畳表示位置を補正することができる。即ち、専用の校正指標を設けることなく、撮像手段によって取得された撮像画像に基づいて運転支援表示の表示位置を校正することができるので、校正作業に未熟な一般ユーザであっても容易に使用することができる。

好ましくは、前記算出手段は、前記算出されたオプティカルフローの消失点が複数存在する場合、当該複数の消失点の重心を真の消失点として前記回転量を算出するとよい。

オプティカルフローに基づいて消失点を算出する際に、ノイズや計算精度などの誤差要因に起因して、複数の消失点が算出される場合がある。この場合、当該複数の消失点の重心を真の消失点と扱うことによって、上記誤差要因が相殺され、撮像手段の回転量を適正に求めることができる。

好ましくは、前記補正手段は、回転行列の乗算を用いた座標変換により、前記撮像手段の撮像画像に対する前記運転支援表示の重畳表示位置を変更するとよい。

この場合、運転支援表示の重畳表示位置を回転行列の乗算を用いた座標変換演算によって求めることができるので、校正作業時における作業者の作業負担を軽減できる。即ち、作業者は撮像手段を用いて画像を取り込むだけで足りるため、校正作業に未熟な一般ユーザであっても容易に使用可能な運転支援装置を実現することができる。

本発明の運転支援表示の表示方法は上記課題を解決するために、車両に搭載された撮像手段の撮像画像に所定のグラフィックからなる運転支援表示を重畳表示するように前記撮像手段から出力された画像信号を処理し、前記処理された画像信号に基づいて画像表示を行う運転支援表示の表示方法において、前記撮像手段によって時系列的に撮像された複数の画像からオプティカルフローの消失点の表示画面における座標を算出し、該算出された消失点の表示画面における座標の前記撮像手段の光軸の表示画面における座標に対するズレ量から前記撮像手段の前記光軸に交差する方向における回転量を算出する算出工程と、前記算出された回転量に応じて、前記撮像手段の撮像画像に対する前記運転支援表示の重畳表示位置を変更する補正工程とを備えたことを特徴とする。

本発明に係る運転支援表示の表示方法によれば、上述の車両の運転支援装置（上記各種態様を含む）を好適に実現可能である。

本発明の運転支援装置の全体構成を示すブロック図である。本発明の運転支援装置の制御内容を示すフローチャート図である。車載カメラの撮像画像から算出されたオプティカルフローの一例を示す模式図である。車載カメラの撮像画像から算出されたオプティカルフローの他の一例を示す模式図である。

図１は、本発明の運転支援装置１０の全体構成を示すブロック図である。運転支援装置１０は、車載カメラ１１と、作業者が各種情報を入力するための入力装置１２と、車載カメラ１１から出力された画像信号に対して各種処理を行う処理系１３と、該処理系１３において処理された画像信号に基づいて画像表示を行うディスプレイ１４とを備えてなる。

車載カメラ１１は、車両に所定の角度で取り付けられており、撮像レンズ１１ａと該撮像レンズ１１ａの透過光を受光して画像信号を出力するイメージセンサ１１ｂとを含んでなる。処理系１３は、車載カメラ１１から出力された画像信号に対して各種処理を行うことによって、車載カメラ１１の撮像画像に運転支援表示が重畳表示されるように画像信号の加工を行う。本実施例では特に、処理系１３は、各種演算処理を行うＣＰＵ１５と、当該演算処理の各過程において必要に応じて各種データを記憶可能なＲＡＭ１６と、削除不能な運転支援装置１０に関する各種データが記憶されたＲＯＭ１７と、ＣＰＵ１５における演算結果に基づいて車載カメラ１１の撮像画像に運転支援表示が重畳表示されるように画像信号の加工を行う重畳回路１８とを含んでなる。

次に図２を参照して、本発明の運転支援装置１０の制御内容について説明する。図２は、本発明の運転支援装置１０の制御内容を示すフローチャート図である。

まずＣＰＵ１５は、車載カメラ１１によって時系列的に撮像された複数の画像を、イメージセンサ１１ｂを介して画像信号として取得する（ステップＳ１０１）。取得された画像信号は、ＲＡＭ１６に記憶される。続いて、ＣＰＵ１５はＲＡＭ１６に記憶された当該画像信号を読み出し、オプティカルフローを算出する（ステップＳ１０２）。

ここで図３は車載カメラ１１の撮像画像から算出されたオプティカルフローの一例を示す模式図である。ここでは、車両の進行方向にある樹木２１と標識２２とを、車載カメラ１１を用いて時系列的に複数撮像した場合を例に説明する。

図３に示すように、第１の撮像タイミング（時刻ｔ１）で撮像された樹木２１及び標識２２は、それぞれ符号２１ａ及び２２ａに示す位置に表示される。一方、第１の撮像タイミング（時刻ｔ１）より遅い撮像タイミング（時刻ｔ２）で撮像された樹木２１及び標識２２は、それぞれ符号２１ｂ及び２２ｂに示す位置に表示される。即ち、車両が樹木２１及び標識２２に向って進行するに従い、樹木２１及び標識２２の画面上の表示位置は、遠近法的に手前側に次第に大きく表示されるように変化する。

ＣＰＵ１５は、このように異なる撮像タイミングで撮像された画像について、樹木２１及び標識２２の特定部位（図３の例ではそれぞれの頂点部）の表示位置をトレースすることによりオプティカルフローを算出する。図３では、樹木２１及び標識２２に対応するオプティカルフローをそれぞれ矢印２３及び２４で示してある。具体的なオプティカルフローの算出方法としては、既存のブロックマッチング法や勾配法を採用するとよい。勾配法は計算量が比較的少なため、後述するブロックマッチング法に比べてオプティカルフローの算出精度は劣るものの、高速処理が可能である。またブロックマッチング法は計算量が多いため前述の勾配法に比べて処理速度が低くなるものの、精度の高いオプティカルフローの算出が可能である。

続いて、ＣＰＵ１５は、このように算出されたオプティカルフローに基づいて、消失点ＶＰを算出する（ステップＳ１０３）。図３を参照して説明すると、オプティカルフローを示す一点鎖線２３及び２４を延在させた場合にそれらが交差する点として、消失点ＶＰが算出される。このように算出された消失点ＶＰの表示画面における座標は、ＲＡＭ１６に記憶される。

続いて、ＣＰＵ１５は、ステップＳ１０３において消失点の算出を行った結果、消失点が複数存在するか否かを判断する（ステップＳ１０４）。消失点が複数存在する場合（ステップＳ１０４：ＹＥＳ）、ＣＰＵ１５は当該複数の消失点の重心座標を算出し、当該重心座標を真の消失点ＶＰとみなす（ステップＳ１０５）。一方、消失点が複数存在しない場合（ステップＳ１０４：ＮＯ）には、ステップＳ１０５を経ることなく処理を進める。

ここで、図４を参照して、消失点ＶＰが複数算出された場合について詳しく説明する。図４は、車載カメラ１１の撮像画像から算出されたオプティカルフローの他の例を示す模式図である。この例では、上述の樹木２１及び標識２２（図４では「第１の標識２２」と称する）に加え、第２の標識２５についてもオプティカルフロー２６の算出を行っている。尚、第２の標識２５ａは第１の撮像タイミング（時刻ｔ１）における表示位置を示しており、第２の標識２５ｂは第２の撮像タイミング（時刻ｔ２）における表示位置を示している。

ここで、図４（ａ）に示すように、オプティカルフロー２３、２４及び２６は複数箇所で交差しているため、複数の消失点ＶＰ１乃至ＶＰ３が算出される。これは、実際のオプティカルフローの算出過程に含まれるノイズや計算精度などの誤差要因に起因したものである。このように複数の消失点が算出された場合には、図４（ｂ）に示すように、当該複数の消失点ＶＰ１乃至ＶＰ３の重心を真の消失点ＶＰと扱う。これにより、上述の誤差要因を相殺して消失点を適切に算出することができる。

再び図２に戻って、ＣＰＵ１５は算出された消失点ＶＰ（複数の消失点が算出された場合には、それらの重心）の光軸中心Ｏからのズレ量を算出する（ステップＳ１０６）。当該ズレ量は、消失点ＶＰの座標と光軸中心Ｏの座標との差分をとることにより求めることができる。ここで、光軸中心Ｏの座標は、ディスプレイ１４における表示画面の中心としてもよいし、予めＲＯＭ１７にデータとして格納されている値を読み込んでもよいし、入力装置１２から作業者の手によって直接入力されてもよい。

ここで、図３及び図４において、撮像レンズ１１ａの光軸に対して垂直であり、且つ、撮像画像の長手方向に平行な方向をＸ軸、撮像レンズ１１ａの光軸及びＸ軸の両方に対して垂直であり、且つ、撮像画像の短手方向に平行な方向をＹ軸とする。ＣＰＵ１５は、ステップＳ１０６において算出されたズレ量から、車載カメラ１１のＸ軸中心の回転量θｘ及びＹ軸中心の回転量θｙを算出する（ステップＳ１０７）。ステップＳ１０６で算出されたＸ軸方向のズレ量をＸｐ（ｍｍ）、カメラの像高特性がピンホールモデルに近似できるとしてその焦点距離をｆ（ｍｍ）とすると、Ｙ軸中心の回転量θｙは、次式
θｙ＝ｔａｎ^−１（Ｘｐ／ｆ）（１）
により算出される。また、ステップＳ１０５で算出されたＹ軸方向のズレ量をＹｐ（ｍｍ）とすると、Ｘ軸中心の回転量θｘは、次式
θｘ＝ｔａｎ^−１（Ｙｐ／ｆ）（２）
により算出される。

尚、車載カメラ１１のＺ軸（光軸方向）まわりの取り付け角度は、作業者がディスプレイ１４の画面上を見ながら容易に修正可能であるため、Ｚ軸中心の回転量θｚはゼロであると仮定して説明を進める。或いは、作業者がＺ軸（光軸方向）まわりの回転量θｚをゼロに修正できない場合には、ディスプレイ１４の表示画面から実測したＺ軸中心の回転量θｚを、作業者が入力装置１２から入力することによって、校正結果に反映させるとよい。

続いてＣＰＵ１５は、ステップＳ１０７において算出した車載カメラ１１のＸ軸中心の回転量θｘ及びＹ軸中心の回転量θｙに基づいて、車載カメラ１１の撮像画像に重畳表示する運転支援表示の表示位置の補正を行う（ステップＳ１０８）。

一般的に、３次元の回転（θｘ、θｙ、θｚ）と平行移動（Ｔｘ、Ｔｙ、Ｔｚ）とを表す回転行列は次式で表される。

ここで、

である。

例えば、運転支援表示が撮像画像中において路上に表示されるガイド線である場合を想定すると、当該運転支援表示は路上に表示されるグラフィックであるためＺ＝０となる。また、上述のように、θｚ＝０であると仮定すると、式（３）は次式のように簡略化される。

上記（Ｘ´、Ｙ´、Ｚ´）は３次元空間における座標表記であるため、これを車載カメラ１１の撮像画像（２次元空間）における座標表記（Ｘｃ、Ｙｃ）に変換する。ここで、車載カメラ１１の像高特性がピンホールモデルに近似できると仮定すると、焦点距離をｆ（ｍｍ）として、像高Ｄ（ｍｍ）は次式により表わされる。
Ｄ＝ｆ×ｔａｎθ （５）
ここで、θは車載カメラ１１の撮像レンズ１１ａへの被写体からの光線の入射角であり、

により表わされる。従って、車載カメラ１１の撮像画像上への運転支援表示の表示座標は次式により算出される。

以上説明したように、運転支援装置１０によれば、車載カメラ１１の撮像画像から算出されたオプティカルフローの消失点ＶＰの光軸に対するズレ量に基づいて、車載カメラ１１の光軸に交差する方向における回転量を算出し、運転支援表示の重畳表示位置を補正することができる。これにより、専用の校正指標を設けることなく、車載カメラ１１によって取得された撮像画像に基づいて、車載カメラの出力画像に重置する運転支援表示の表示位置を校正することができるので、作業者の熟練度に関わらず一般ユーザが容易に使用することができる。

本発明は、車両に搭載され、撮像手段によって撮像された画像に所定のグラフィックからなる運転支援表示を重畳表示する車両の運転支援装置及び運転支援表示の表示方法に利用可能である。

１０運転支援装置
１１車載カメラ
１１ａ撮像レンズ
１１ｂイメージセンサ
１２入力装置
１３処理系
１４ディスプレイ
１５ＣＰＵ
１６ＲＡＭ
１７ＲＯＭ
１８重畳回路
２３，２４，２６オプティカルフロー
ＶＰ消失点

Claims

車両に搭載された撮像手段の撮像画像に所定のグラフィックからなる運転支援表示を重畳表示するように前記撮像手段から出力された画像信号を処理する運転支援装置であって、
前記撮像手段によって時系列的に撮像された複数の画像からオプティカルフローの消失点の表示画面における座標を算出し、該算出された消失点の表示画面における座標の前記撮像手段の光軸の表示画面における座標に対するズレ量から前記撮像手段の前記光軸に交差する方向における回転量を算出する算出手段と、
前記算出手段によって算出された回転量に応じて、前記撮像手段の撮像画像に対する前記運転支援表示の重畳表示位置を変更する補正手段と
を備えたことを特徴とする運転支援装置。
前記算出手段は、前記算出されたオプティカルフローの消失点が複数存在する場合、当該複数の消失点の重心を真の消失点として前記回転量を算出することを特徴とする請求項１に記載の運転支援装置。
前記補正手段は、回転行列の乗算を用いた座標変換により、前記撮像手段の撮像画像に対する前記運転支援表示の重畳表示位置を変更することを特徴とする請求項１又は２に記載の運転支援装置。
車両に搭載された撮像手段の撮像画像に所定のグラフィックからなる運転支援表示を重畳表示するように前記撮像手段から出力された画像信号を処理し、前記処理された画像信号に基づいて画像表示を行う運転支援表示の表示方法において、
前記撮像手段によって時系列的に撮像された複数の画像からオプティカルフローの消失点の表示画面における座標を算出し、該算出された消失点の表示画面における座標の前記撮像手段の光軸の表示画面における座標に対するズレ量から前記撮像手段の前記光軸に交差する方向における回転量を算出する算出工程と、
前記算出された回転量に応じて、前記撮像手段の撮像画像に対する前記運転支援表示の重畳表示位置を変更する補正工程と
を備えたことを特徴とする運転支援表示の表示方法。