JP6765065B2 - 車載カメラ装置 - Google Patents

Description

本発明は、車載カメラに関する。

駐車時の運転支援のために、車両の後方を撮像し、撮像画像を車内の表示装置に表示する車載カメラが知られている。このような車載カメラのキャリブレーション方法として、基準マーカーとなる指標を車載カメラで撮像し、撮像画像内の指標を用いて、車載カメラの設置誤差を吸収する方法が提案されている（例えば、特許文献１参照）。

特開２０１１−１５５６８７号公報

特許文献１における車載カメラを構成する校正装置は、接続された表示装置に対する利用者のタッチ操作を契機に、車載カメラのカメラ校正プログラムを起動させて車載カメラの校正を自動的に行う。校正装置は、車載カメラの校正完了後、表示装置に対する利用者のタッチ操作を契機に、カメラ校正プログラムを終了させて通常モードに戻るように構成される。特許文献１に記載の車載カメラは、表示装置からの指示を受けて校正処理を開始するため、車載カメラに、表示装置からの指示を受け付ける受付部を設ける必要があり、また、表示装置の仕様ごとに異なる受付部を設ける必要がある。このことは、車載カメラのコスト増加の要因になる。

本発明はこうした状況に鑑みてなされたものであり、１つの目的は、車載カメラのコストを低減する技術を提供することにある。

上記課題を解決するために、本発明のある態様の、車載カメラは、車両に設置される車載カメラであって、車両の周辺を示す外界画像を生成する撮像部と、車両の周辺に存在する物体を検出する検出部と、撮像部により生成された外界画像を含む画像情報、あるいは、検出部により検出された物体の検出情報を外部装置へ出力する出力部と、本車載カメラの校正処理を実行する校正部と、を備える。検出部は、予め定められた指示画像であって、校正開始を示す指示画像を記憶しており、撮像部により生成された外界画像の中に、指示画像が含まれる場合、パターンマッチングによりそのことを検出し、校正部は、検出部が指示画像を検出した場合、校正処理を開始する。

なお、以上の構成要素の任意の組合せ、本発明の表現を、方法、コンピュータプログラム、コンピュータプログラムを記録した記録媒体、本装置を搭載した車両などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、車載カメラのコストを低減することができる。

実施例に係る車両を模式的に示す図である。 図１のカメラの機能構成を示すブロック図である。 図１の運転支援装置の機能構成を示すブロック図である。 図１のカメラの動作を示すフローチャートである。

図１は、実施例に係る車両１０を模式的に示す図であり、車両１０を上方から俯瞰した図である。車両１０は、カメラ１２、運転支援装置１４、表示装置１６を備える。これらの装置は、公知のアダプタ、および／または、車載ネットワークを介して接続されてもよい。

カメラ１２は、車両１０に搭載され、車両１０の周辺を繰り返し撮像する車載カメラである。実施例のカメラ１２は、車両１０後部のバックドア等に取り付けられ、車両１０の後方空間の様子を示す外界画像を繰り返し生成する。カメラ１２は、光軸が車両１０の後方斜め下向きに伸びる姿勢で、リアガラスの上端近傍に設置されてもよい。後述するように、カメラ１２は、カメラ１２自身を自動的かつ自律的に校正する機能を備える。

運転支援装置１４は、カメラ１２から出力された画像情報に基づいて、車両１０の運転を支援するための運転支援情報を生成し、実施例では、駐車支援情報を生成する。表示装置１６は、運転者へ各種情報を提示するＨＭＩ（Human Machine Interface）装置である。表示装置１６は、カーナビゲーション装置であってもよく、ＩＶＩ（In-Vehicle Infotainment）装置であってもよい。実施例の表示装置１６は、運転支援装置１４より生成された運転支援情報である駐車支援情報をモニタに表示する。なお、表示装置１６は、車両１０外部の表示装置であってもよく、例えば、ＯＢＤ（On Board Diagnostics）アダプタを介して車両１０と接続されてもよい。

図２は、図１のカメラ１２の機能構成を示すブロック図である。カメラ１２は、撮像部２０、制御部２２、出力部２８、校正部３０を備える。制御部２２は、画像処理部２４と検出部２６を含む。なお、カメラ１２は、動作状態として、外界画像に基づく画像情報を出力する通常モードと、自装置の自動校正処理を実行する校正モードとを備える。

本明細書のブロック図において示される各ブロックは、ハードウェア的には、コンピュータのＣＰＵ・メモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。例えば、図２の各ブロックに対応するモジュールを含むコンピュータプログラムがカメラ１２のメモリに格納されてもよい。カメラ１２のＣＰＵは、そのコンピュータプログラムを適宜読み出して実行することにより、各ブロックの機能を発揮してもよい。また、カメラ１２は、自動校正処理を実行する校正ＥＣＵ（Electronic Control Unit）を備えてもよい。

撮像部２０は、車両の周辺を示す外界画像を生成する。実施例の撮像部２０は、車両１０の後方空間を撮像し、後方空間の様子を示す外界画像を生成する。制御部２２は、撮像部２０により生成された外界画像に基づいて各種データ処理を実行する。

画像処理部２４は、外界画像に基づく画像情報を生成する。実施例では、画像処理部２４は、外界画像に対して歪み補正を行った補正画像を含む画像情報を生成する。画像処理部２４は、生成した画像情報を出力部２８へ出力する。変形例として、画像処理部２４は、撮像部２０から出力された外界画像を加工せずに、そのまま画像情報として出力部２８へ出力してもよい。

検出部２６は、パターンマッチング（言い換えればテンプレートマッチング）、オプティカルフロー等の公知の手法により、外界画像内に含まれる種々の物体を検出し、言い換えれば、撮像対象空間内に存在する物体を検出する。検知対象の物体は、歩行者、障害物、車止め、標識等を含んでもよい。検出部２６は、検出した物体を示す検出情報であり、例えば、パターンマッチングにより特定した物体の名称を示す検出情報を出力部２８および校正部３０へ出力する。

検出部２６は、パターンマッチング用のパターンとして、第１指示画像のパターンと第２指示画像のパターンとを記憶する。第１指示画像は、校正開始の指示を示すものとして予め定められた態様の画像である。第２指示画像は、第１指示画像とは異なる画像であり、校正終了の指示を示すものとして予め定められた態様の画像である。第１指示画像および第２指示画像は、予め定められた形状・模様・色彩の組み合わせであってもよい。また、第１指示画像および第２指示画像は、一次元バーコードまたは二次元バーコードであってもよい。検出部２６は、外界画像の中に第１指示画像が含まれる場合、そのことをパターンマッチングにより検出する。また、検出部２６は、外界画像の中に第２指示画像が含まれる場合、そのことをパターンマッチングにより検出する。

出力部２８は、画像処理部２４から受け付けた画像情報と、検出部２６から受け付けた検出情報を運転支援装置１４へ出力する。さらに、出力部２８は、カメラ１２の動作状態を示す情報であり、例えば、校正状況を示す情報を運転支援装置１４へ出力する。

校正部３０は、検出部２６により第１指示画像が検出された場合、言い換えれば、検出部２６から出力された検出情報が第１指示画像の検出事実を示す場合、カメラ１２をメンテナンスモードに移行させる。メンテナンスモードへの移行に伴い、校正部３０は、予め記憶されたカメラ校正プログラムを起動することにより、カメラ１２（例えば撮像部２０）の自動校正処理を実行させる。カメラ１２の自動校正処理には、公知の技術を採用してよく、例えば、上記特許文献１に記載の技術を適用してもよい。

校正部３０は、カメラ１２の校正処理中に、校正状況を示す情報を定期的に出力部２８に出力し、そして出力部２８から運転支援装置１４へ出力させる。校正状況を示す情報は、校正処理の進行状況を含んでもよい。また、校正状況を示す情報は、校正処理全体の作業項目数に対する完了した作業項目数の割合を含んでもよく、校正処理が終了するまでの予想時間を含んでもよい。

校正部３０は、検出部２６により第２指示画像が検出された場合、言い換えれば、検出部２６から出力された検出情報が第２指示画像の検出事実を示す場合、カメラ１２を通常モードに移行させる。実施例の校正部３０は、カメラ１２の校正処理が終了している状態において、検出部２６により第２指示画像が検出された場合、通常モードに移行させる。通常モードへの移行に伴い、校正部３０は、カメラ校正プログラムを終了させる。それとともに、校正部３０は、通常モードであることを示す情報（またはカメラの校正が終了した旨の情報）を出力部２８に出力し、そして出力部２８から運転支援装置１４へ送信させる。

図３は、図１の運転支援装置１４の機能構成を示すブロック図である。運転支援装置１４は、画像取得部４０、ガイド線生成部４２、画像処理部４４、動作状況取得部４６、出力部４８を備える。画像取得部４０は、カメラ１２から出力された画像情報および検出情報を取得する。

ガイド線生成部４２は、記憶部（不図示）に記憶されたガイド生成基準に基づいて、車幅ガイド線のデータを生成する。例えば、ガイド線生成部４２は、ガイド生成基準が定める範囲・サイズ・形状・色彩を備える車幅ガイド線のデータを生成する。車幅ガイド線は、車両１０の車幅を示す車幅線、および／または、車両１０の走行予定軌跡線を含む。

画像処理部４４は、画像取得部４０により取得された画像情報が示す補正画像と、画像取得部４０により取得された検出情報が示す障害物等の情報と、ガイド線生成部４２により生成された車幅ガイド線とに基づいて、駐車支援情報を生成する。例えば、画像処理部４４は、補正画像と、障害物等を示す画像と、車幅ガイド線とを合成した合成画像であるリアビュー画像もしくはトップビュー画像を駐車支援情報として生成してもよい。画像処理部４４は、生成した駐車支援情報を出力部４８へ出力する。

動作状況取得部４６は、カメラ１２から出力されたカメラ１２の動作状態を示す情報を取得し、出力部４８へ出力する。出力部４８は、画像処理部４４から出力された駐車支援情報と、動作状況取得部４６から出力されたカメラ１２の動作状態を示す情報を表示装置１６へ出力する。表示装置１６は、運転支援装置１４から取得した駐車支援情報（例えばリアビュー画像）と、カメラ１２の動作状態を示す情報とを画面に表示させる。

以上の構成によるカメラ１２の動作を説明する。図４は、カメラ１２の動作を示すフローチャートである。車両１０のギアがリバースに設定されると、カメラ１２は、図４の処理を開始する。撮像部２０は、車両１０の後方空間の様子を示す外界画像を繰り返し生成する（Ｓ１０）。検出部２６は、外界画像に基づいて撮像対象空間内に存在する物体を検出する（Ｓ１２）。

検出された物体の中に、第１指示画像が存在せず（Ｓ１４のＮ）、第２指示画像も存在せず（Ｓ１６のＮ）、カメラ１２が通常モードであれば（Ｓ１８のＹ）、画像処理部２４は、外界画像に基づいて画像情報を生成する（Ｓ２０）。出力部２８は、画像処理部２４により生成された画像情報と、検出部２６により生成された物体検出情報を運転支援装置１４へ出力する（Ｓ２２）。運転支援装置１４は、これらの情報に基づいて駐車支援情報を生成し、駐車支援情報を表示装置１６に表示させる。カメラ１２が通常モードでなければ（カメラ１２がメンテナンスモードであれば）（Ｓ１８のＮ）、Ｓ２０とＳ２２の処理をスキップする。所定の終了条件が満たされた場合、例えば、車両１０のギアがリバース以外に変更された場合、または、車両１０の電源がオフになった場合（Ｓ２４のＹ）、カメラ１２は本図に示す処理を終了する。所定の終了条件が満たされなければ（Ｓ２４のＮ）、Ｓ１０に戻る。

図３には不図示だが、例えば、カーディーラー等におけるカメラ１２のメンテナンス時に、メンテナンス作業者は、カメラ１２の校正処理を開始させるために、第１指示画像を示すカード等をカメラ１２の前にかざす。また、メンテナンス作業者は、カメラ１２の校正処理を終了させる場合、第２指示画像を示すカード等をカメラ１２の前にかざす。

検出部２６により第１指示画像が検出された場合（Ｓ１４のＹ）、校正部３０は、カメラ１２をメンテナンスモードへ移行させ（Ｓ２６）、予め定められたカメラ校正プログラムを起動して、自動校正処理を開始する（Ｓ２８）。校正部３０は、校正処理の進行状況を、出力部２８を介して運転支援装置１４へ出力する（Ｓ３０）。運転支援装置１４は、カメラ１２における校正処理の進行状況を表示装置１６へ出力し、表示装置１６の画面に表示させる。メンテナンス作業者は、表示装置１６を見て校正処理の進行状況を確認できる。校正処理が実行中であれば（Ｓ３２のＮ）、Ｓ３０に戻り、校正処理が終了すると（Ｓ３２のＹ）、Ｓ１０に戻る。

検出部２６により第２指示画像が検出された場合（Ｓ１６のＹ）、校正部３０は、Ｓ２８で起動したカメラ校正プログラムを終了させ（Ｓ３４）、通常モードへ移行させる（Ｓ３６）。校正部３０は、通常モードであることを示す情報、または、カメラ校正処理が終了したことを示す情報を、出力部２８を介して運転支援装置１４へ出力し（Ｓ３８）、Ｓ１０に戻る。運転支援装置１４は、これらの情報を表示装置１６へ出力し、表示装置１６の画面に表示させる。メンテナンス作業者は、表示装置１６を見て校正処理の終了を確認できる。

実施例のカメラ１２によると、校正処理を開始させ、または校正処理を終了させる指示を外部装置から受け付けるための受付部（受付機能）を備える必要がなく、また、外部装置（運転支援装置１４または表示装置１６）の仕様ごとに異なる受付部（受付機能）を備える必要がない。これにより、カメラ１２の開発コストおよび製造コストを低減することができる。また、カメラ１２の製造の汎用性を高めることができる。

また、所定の空間の外界画像を生成する撮像部と、撮像対象空間内に存在する物体を検出する検出部とを備えるカメラであれば、カメラに内蔵される制御ユニットに対してアプリケーションプログラム（制御プログラム）の追加等の対応で本実施例のような自動校正処理を行わせることが可能である。このため、カメラ１２の製造の汎用性を高めることができる。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

変形例として、検出部２６は、オプティカルフローにより、複数枚の外界画像に亘って予め定められた第１の動作を行う物体を検出した場合に、その物体の画像を第１指示画像として検出してもよい。また、検出部２６は、複数枚の外界画像に亘って予め定められた第２の動作を行う物体を検出した場合に、その物体の画像を第２指示画像として検出してもよい。この変形例によると、利用者は、所定のジェスチャー、身振り、手振りにより、カメラ１２の校正処理の開始、終了を指示することができる。

実施例では、校正開始の指示を示す第１指示画像と、校正終了の指示を示す第２指示画像とを検出する構成としたが、これに限られない。例えば、第３指示画像として、カメラ１２の校正処理中に校正処理を中断させる校正中止の指示など別処理の指示画像を設定し、検出するように構成してもよい。これにより、メンテナンス作業者によるメンテナンス性（操作性）が向上する。

実施例では、カメラ１２と運転支援装置１４とを別々の構成としたが、カメラ１２に運転支援装置１４を内蔵させる構成としてもよい。この場合にも同様の効果を享受することができる。

なお、実施例および変形例に記載の技術は、以下の項目によって特定されてもよい。
［項目１］
車両に設置される車載カメラであって、車両の周辺を示す外界画像を生成する撮像部と、車両の周辺に存在する物体を検出する検出部と、撮像部により生成された外界画像を含む画像情報、あるいは、検出部により検出された物体の検出情報を外部装置へ出力する出力部と、本車載カメラの校正処理を実行する校正部と、を備える車載カメラ。検出部は、撮像部により生成された外界画像の中に、校正開始を示す第１の画像が含まれる場合、そのことを検出し、校正部は、検出部が第１の画像を検出した場合、校正処理を開始する。
この車載カメラの構成によると、撮像部による撮像対象の空間内に存在する校正開始の指示を示す情報（物体等）に応じて校正処理を自動的に実行する。これにより、外部機器（ＨＭＩ装置等）から校正開始の指示を受け付ける受付部を車載カメラに設ける必要がなくなり、車載カメラのコストを低減することができる。
［項目２］
検出部は、撮像部により生成された外界画像の中に、校正終了の指示を示す第２の画像が含まれる場合、そのことを検出し、校正部は、検出部により第２の画像が検出された場合、校正処理を終了させてもよい。
この態様によると、上記受付部を設けることなく、校正プログラムを終了させることができる。

上述した実施例および変形例の任意の組み合わせもまた本発明の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。

１０ 車両、 １２ カメラ、 １４ 運転支援装置、 １６ 表示装置、 ２０ 撮像部、 ２４ 画像処理部、 ２６ 検出部、 ２８ 出力部、 ３０ 校正部。

Claims (10)

1. 表示装置を備える車両に搭載可能であり、
   前記車両の周辺の外部画像を取得するように設定された撮像部と、
   少なくとも前記表示装置に接続されるように設定された出力部と、
   を備える車載カメラ装置であって、
   前記車両への設置誤差を校正する校正処理を行う第１モードと、前記校正処理を行わない第２モードと、を少なくとも備え、
   前記外部画像が第１指示画像である場合、前記第１モードに遷移し、前記校正処理を実行し、前記出力部は前記校正処理の校正状況を前記表示装置へ出力し、
   前記第１モードにおいて前記外部画像が第２指示画像である場合、前記第２モードへ遷移する、
   車載カメラ装置。
2. 請求項１に記載の車載カメラ装置であって、
   前記第２モードにおいて、前記出力部は、前記外部画像に対応する画像を前記表示装置へ出力する、
   車載カメラ装置。
3. 請求項１又は請求項２に記載の車載カメラ装置であって、
   前記第２モードにおいて、前記外部画像が前記第１指示画像である場合、前記第１モードに遷移し、前記校正処理を実行し、前記出力部は前記校正状況を前記表示装置へ出力する、
   車載カメラ装置。
4. 請求項１から請求項３のいずれか１項に記載の車載カメラ装置であって、
   更に、制御部を備える、
   車載カメラ装置。
5. 請求項１から請求項４のいずれか１項に記載の車載カメラ装置であって、
   前記外部画像を基に、前記車両の周辺にある物体を検出し、前記出力部は検出された物体の検出情報を出力する、
   車載カメラ装置。
6. 請求項５に記載の車載カメラ装置であって、
   前記車両は、運転支援装置を備え、
   前記出力部は、前記検出情報を前記運転支援装置へ出力する、
   車載カメラ装置。
7. 請求項６に記載の車載カメラ装置であって、
   前記第２モードの場合に前記出力部は、前記検出情報を前記運転支援装置へ出力し、
   前記第１モードの場合に前記出力部は、前記検出情報を前記運転支援装置へ出力しない、
   車載カメラ装置。
8. 請求項１から請求項７のいずれか１項に記載の車載カメラ装置であって、
   前記第１指示画像は、起動指示画像であり、
   前記第２指示画像は、終了指示画像である、
   車載カメラ装置。
9. 請求項１から請求項８のいずれか１項に記載の車載カメラ装置であって、
   前記第１モードは、メンテナンスモードであり、
   前記第２モードは、通常モードである、
   車載カメラ装置。
10. 請求項１から請求項９のいずれか１項に記載の車載カメラ装置であって、
    前記第１モードにおいて前記外部画像が前記第２指示画像である場合、前記第２モードへ遷移し、前記出力部は前記第２モードに遷移した旨を前記表示装置へ出力する、
    車載カメラ装置。

Images