JP6868852B2

JP6868852B2 - カメラ状態監視装置

Info

Publication number: JP6868852B2
Application number: JP2017046571A
Authority: JP
Inventors: 亘森口
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2017-03-10
Filing date: 2017-03-10
Publication date: 2021-05-12
Anticipated expiration: 2037-03-10
Also published as: JP2018152680A

Description

本発明は、車載カメラにおける継時的な撮像領域のずれを検知および補正するカメラ状態監視装置に関する。

近年、車載カメラとディスプレイを組み合わせた電子ミラー装置が実用化され、将来的にバックミラー（ルームミラー等の室内後写鏡及びサイドミラー（ドアミラー）等の車外後写鏡を含む）に代わるものとして期待されている。電子ミラー装置においては、車載カメラによって車両周囲が撮像され、撮像画像がディスプレイに表示される。

一般に、車載カメラは、車両に設置した状態において本体部が可動となっており、取付角度を調整することができる。車載カメラの取付角度は、例えば、ネジ止めにより固定される。そのため、車載カメラの撮像領域は、ネジのゆるみなどにより継時的に変化する。例えば、車載カメラの本体部が上下に可動となっている場合、撮像領域は、次第に下方にずれる。

そこで、車載カメラにおいては、撮像領域の中の一部の領域（以下、「切り出し領域」と称する）が切り出されてディスプレイに表示されるようになっている（図１Ａ参照）。切り出し領域を適宜補正することにより、撮像領域がずれても、ディスプレイ上での見え方を維持することができる（図１Ｂ参照）。図１Ａに示す撮像領域に比較して、図１Ｂに示す撮像領域は下側にずれているが、切り出し領域を上側に補正することにより、ディスプレイ上での見え方は維持される。例えば、無限遠点などの基準点の位置を画像解析により算出し、ディスプレイ上における基準点の座標が同じ位置になるように切り出し領域の補正が行われる。

しかしながら、表示すべき領域が撮像領域に含まれなくなると、もはや補正不能となるので、取付角度を改めて設定しなおす必要がある（図１Ｃ参照）。従来、車載カメラの撮像領域のずれが継時的に大きくなった場合に、ユーザーに通知する技術が知られている（例えば、特許文献１、２）。

特開２００３−３２９４３９号公報特開２０１５−２０２８３５号公報

ところで、特許文献１、２に開示の技術においては、撮像領域のずれが予め設定されたしきい値以上となった場合に、補正不能となる時期（以下、「補正限界時期」と称する）が近づいていることが利用者に通知される。つまり、利用者による車両の利用形態にかかわらず、一定のしきい値を基準にして、補正限界時期が近いことを通知するか否かの判定が行われている。

そのため、車両の利用頻度が高い場合には、実際の補正限界時期まで猶予がない状態で通知が行われる虞があり、一方、車両の利用頻度が低い場合には、補正限界時期まで必要以上に余裕がある状態で通知が行われる虞がある。このように、従来技術では、適切な時期に通知が行われているとはいえず、利便性に欠ける。

本発明の目的は、車両の利用形態に応じて、車載カメラの取付状態（例えば、補正限界時期が近いこと）を適切に報知でき、利便性を向上できるカメラ状態監視装置を提供することである。

本発明に係るカメラ状態監視装置は、
車載カメラからの撮像画像の一部の領域を切り出して、切り出し領域を生成する画像処理部と、
前記車載カメラの撮像領域のずれに応じて前記切り出し領域を補正する補正部と、
前記補正部による補正量の継時的な変化を監視し、前記車載カメラの取付状態を推測するカメラ状態監視部と、
前記カメラ状態監視部による推測結果を報知する報知部と、を備え、
前記カメラ状態監視部は、前記補正量の長期的な変化に基づいて、前記車載カメラの取付状態が前記切り出し領域の補正が不可能な状態となる補正限界時期を予測することを特徴とする。
また、本発明に係るカメラ状態監視装置は、
車載カメラからの撮像画像の一部の領域を切り出して、切り出し領域を生成する画像処理部と、
前記車載カメラの撮像領域のずれに応じて前記切り出し領域を補正する補正部と、
前記補正部による補正量の継時的な変化を監視し、前記車載カメラの取付状態を推測するカメラ状態監視部と、
前記カメラ状態監視部による推測結果を報知する報知部と、を備え、
前記カメラ状態監視部は、前記車載カメラの取付状態が前記切り出し領域の補正が不可能な状態となる補正限界時期を予測し、所定日数以内に前記補正限界時期が到来しないと判定した場合、前記補正量の短期的な変化を示す変化率に基づいて、前記車載カメラの取付異常の発生有無を推測することを特徴とする。

本発明によれば、利用者による車両の利用形態に応じて、車載カメラの取付状態が適切に報知されるので、利便性の向上を図ることができる。

図１Ａ〜図１Ｃは、車載カメラの撮像領域と表示領域の関係を示す図である。実施の形態に係る電子ミラー装置の設置態様を示す図である。実施の形態に係る電子ミラー装置の構成例を示す図である。図４Ａ、図４Ｂは、電子ミラー装置における後方視界の見え方の一例を示す図である。電子ミラー装置における表示処理の一例を示すフローチャートである。図６Ａ、図６Ｂは、補正量の長期的な変化を示す回帰曲線の一例を示す図である。補正量の短期的な変化の一例を示す図である。電子ミラー装置の他の構成例を示す図である。

以下、本発明の実施の形態を、図面を参照して詳細に説明する。本実施の形態では、カメラ状態監視装置を適用した電子ミラー装置について説明する。電子ミラー装置では、車載カメラが撮像した画像を、車内に設置された表示部に表示する。

図２は、実施の形態に係る電子ミラー装置１の設置態様を示す図である。図３は、実施の形態に係る電子ミラー装置１の構成を示す図である。電子ミラー装置１は、車両Ｖの後方確認のために用いられる。

図２、図３に示すように、電子ミラー装置１は、処理部１１、記憶部１２、表示部１３、通信部１５、及び車載カメラ２０等を備える。なお、電子ミラー装置１は、補正限界時期を予測する際のしきい値等を設定可能な入力部（図示略）を備えていてもよい。

車載カメラ２０は、例えば、車両Ｖの後部ドアに設置される（以下、「リアカメラ２０」と称する）。リアカメラ２０は、例えばＣＣＤ（charge-coupled device）型イメージセンサー、ＣＭＯＳ（complementary metal oxide semiconductor）型イメージセンサーなどの撮像素子を有する。撮像素子によって光電変換された後方視界の画像を示す電気信号は、無線通信又は有線通信によって処理部１１に送信される。

リアカメラ２０は、車両に設置した状態において本体部が可動となっており、取付角度を調整することができる。リアカメラ２０の取付角度は、例えば、ネジ止めにより固定される。リアカメラ２０の取付角度を、例えば上下に調整できる場合、リアカメラ２０の撮像領域は、ネジのゆるみなどにより継時的に下方にずれる。

表示部１３は、例えば、表示パネル及びバックライト（図示略）を有する液晶ディスプレイである。表示部１３は、例えば車室内のフロントガラスの上部中央（一般的なルームミラーの取付位置）に取り付けられる（図２参照）。なお、表示部１３には、有機ＥＬディスプレイを適用してもよい。

処理部１１は、演算／制御装置としてのＣＰＵ１１１（Central Processing Unit）、主記憶装置としてのＲＯＭ１１２（Read Only Memory）及びＲＡＭ１１３（Random Access Memory）等を備える。ＲＯＭ１１２には、ＢＩＯＳ（Basic Input Output System）と呼ばれる基本プログラムや基本的な設定データが記憶される。ＣＰＵ１１１は、例えばＲＯＭ１１２から処理内容に応じたプログラムを読み出してＲＡＭ１１３に展開し、展開したプログラムを実行することにより、電子ミラー装置１の各ブロックの動作を集中制御する。

記憶部１２は、例えばＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）等の補助記憶装置である。記憶部１２は、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスク、ＭＯ（（Magneto-Optical disk）等の光磁気ディスクを駆動して情報を読み書きするディスクドライブであってもよい。また例えば、記憶部１２は、ＵＳＢメモリ、ＳＤカード等のメモリカードであってもよい。

通信部１５は、例えばＮＩＣ（Network Interface Card）、ＭＯＤＥＭ（MOdulator-DEModulator）等の通信インターフェースである。処理部１１は、通信部１５を介して、無線ネットワークに接続された端末装置（例えば、車両Ｖのディーラーに設置された通信端末）との間で各種情報の送受信を行う。

処理部１１は、表示処理プログラムを実行することにより、画像処理部１１Ａ、表示制御部１１Ｂ、補正部１１Ｃ、カメラ状態監視部１１Ｄ、及び通信制御部１１Ｅとして機能する。表示処理プログラムは、例えばＲＯＭ１１２に記憶される。表示処理プログラムは、例えば、当該プログラムが格納されたコンピューター読取可能な可搬型記憶媒体（光ディスク、光磁気ディスク、及びメモリカードを含む）を介して提供される。また例えば、表示処理プログラムは、当該プログラムを保有するサーバ装置から、ネットワークを介してダウンロードにより提供されてもよい。

画像処理部１１Ａは、リアカメラ２０から撮像画像を取得し、撮像画像の一部（切り出し領域）を切り出すとともに、色補正等の所定の補正処理を施して、表示画像データを生成する。

表示制御部１１Ｂは、画像処理部１１Ａで生成された表示画像データに基づいて、表示部１３に画像を表示させる。

補正部１１Ｃは、例えば、常に無限遠点が表示画像上の同じ位置（座標）になるように、切り出し領域を適宜補正する。これにより、表示部１３における見え方が維持される。初期状態では、例えば、撮像領域の中央部分が切り出し領域に設定される（補正なし）。切り出し時の補正量は、補正データ１２１として記憶部１２に時系列で蓄積される。

カメラ状態監視部１１Ｄは、画像処理部１１Ａによる切り出し時の補正量に基づいて、リアカメラ２０の取付状態を監視し、リアカメラ２０の取付状態を推測する。具体的には、カメラ状態監視部１１Ｄは、切り出し領域の補正が不可能となる補正限界時期を予測する。また、カメラ状態監視部１１Ｄは、リアカメラ２０の取付異常の発生有無を推測する。

通信制御部１１Ｅは、通信部１５の動作を制御して、カメラ状態監視部１１Ｄによる推測結果等の情報を送信する。

車両Ｖが走行しているとき、電子ミラー装置１では、リアカメラ２０による撮像画像の一部（切り出し領域）が表示部１３に表示される（図４Ａ、図４Ｂ参照）。これにより、運転者は、後方車両の位置とともに、後側方視界を視認することができる。このとき、リアカメラ２０の取付状態が経時的に変化しても、表示部１３における見え方が維持されるように、画像処理部１１Ａによる切り出し領域が補正部１１Ｃによって補正される（図１Ｂ参照）。しかし、表示すべき領域が撮像領域に含まれなくなると、もはや補正不能となるので、リアカメラ２０の取付角度を改めて設定しなおす必要が生じる（図１Ｃ参照）。

本実施の形態では、カメラ状態監視部１１Ｄが、リアカメラ２０の取付状態を適切に推測し、利用者（例えば、車両Ｖの乗員及び／又は車両Ｖのディーラー）に対して報知するので、利便性が向上する。

図５は、電子ミラー装置１における表示処理の一例を示すフローチャートである。この処理は、例えば車両Ｖの動力源（エンジン又はモーター）の始動に伴い電子ミラー装置１が起動され、ＣＰＵ１１１がＲＯＭ１１２に格納されている表示処理プログラムを呼び出して実行することで実現される。

ステップＳ１０１において、処理部１１は、リアカメラ２０から１フレームの撮像画像を取得する（画像処理部１１Ａとしての処理）。

ステップＳ１０２において、処理部１１は、撮像画像の一部を切り出して表示画像データを生成する（画像処理部１１Ａとしての処理）。このとき、処理部１１は、表示部１３における見え方が維持されるように補正量を算出し、切り出し領域を適宜補正する（補正部１１Ｃとしての処理）。

ステップＳ１０３において、処理部１１は、切り出し時の補正量を補正データ１２１として記憶部１２に記憶する（補正部１１Ｃとしての処理）。記憶部１２には、補正データ１２１が時系列で蓄積される。

ステップＳ１０４において、処理部１１は、補正限界時期を予測する所定のタイミングであるか否かを判定する。所定のタイミングは、例えば、電子ミラー装置１の起動時である。この場合、利用者が車両Ｖに乗車するたびに、補正限界時期の予測が行われる。所定のタイミングである場合（ステップＳ１０４で“ＹＥＳ”）、ステップＳ１０５の処理に移行する。所定のタイミングでない場合（ステップＳ１０４で“ＮＯ”）、ステップＳ１０８の処理に移行する。

ステップＳ１０５において、処理部１１は、記憶部１２に蓄積されている補正データ１２１に基づいて、補正限界時期を予測する（カメラ状態監視部１１Ｄとしての処理）。処理部１１は、例えば、補正データ１２１に基づいて、補正量の長期的な変化を示す回帰曲線（回帰直線を含む）を算出し、補正限界として予め設定されているしきい値と回帰曲線を比較することにより、補正限界時期を予測する。

ステップＳ１０６において、処理部１１は、所定日数（例えば、１５日）以内に、予測された補正限界時期が到来するか否かを判定する（カメラ状態監視部１１Ｄとしての処理）。所定日数以内に補正限界時期が到来する場合（ステップＳ１０６で“ＹＥＳ”）、ステップＳ１０７の処理に移行する。所定日数以内に補正限界時期が到来しない場合（ステップＳ１０６で“ＮＯ”）、ステップＳ１０８の処理に移行する。

ステップＳ１０７において、処理部１１は、補正限界時期が近いことを報知する。処理部１１は、例えば、表示部１３を通じて、車両Ｖの乗員に対して報知を行う（表示制御部１１Ｂとしての処理）。また例えば、処理部１１は、通信部１５を通じて、車両Ｖのディーラーに設置された通信端末に対して報知を行う（通信制御部１１Ｅとしての処理）。すなわち、本実施の形態では、表示制御部１１Ｂ及び通信制御部１１Ｅは、カメラ状態監視部１１Ｄによる推測結果を報知する報知部を構成する。

図６Ａ、図６Ｂに、補正量の長期的な変化を示す回帰曲線の一例を示す。車両Ｖの利用頻度が低い場合、補正量の長期的な変化は緩やかになり（図６Ａ参照）、車両Ｖの利用頻度が高い場合、補正量の長期的な変化は急になる（図６Ｂ参照）。

図６Ａに示すような回帰曲線が算出された場合、補正限界時期は３０日後であると予測される。補正限界時期が２０日以内に到来する場合に報知が行われるように設定されている場合、推測結果の報知は行われない。一方、図６Ｂに示すような回帰曲線が算出された場合、補正限界時期は１５日後であると予測される。補正限界時期が２０日以内に到来する場合に報知が行われるように設定されている場合、推測結果の報知が行われる。

このように、補正限界として設定されているしきい値が同じ（図６Ａ、図６Ｂでは「３」）であっても、車両Ｖの利用形態（例えば、利用頻度）によって、補正限界時期の予測結果は異なる。すなわち、車両Ｖの利用形態に応じて、補正限界時期が適切に予測され、報知される。利用者は、切り出し時の補正量に基づいて、補正限界時期が近いことを知得手できるので、電子ミラー装置１の利便性が格段に向上する。

ステップＳ１０８において、処理部１１は、補正量の短期的な変化（変化率）を算出する（カメラ状態監視部１１Ｄとしての処理）。具体的には、補正量の変化率は、過去のフレームの切り出し時の補正量と今回のフレームの切り出し時の補正量を比較することにより算出される。なお、過去のフレームの補正量には、直前のフレームにおける補正量を用いてもよいし、過去の複数フレームにおける移動平均値を用いてもよい。また、今回のフレームの切り出し時の補正量には、今回の１フレームにおける補正量を用いてもよいし、今回のフレームを含む移動平均値を用いてもよい。

ステップＳ１０９において、処理部１１は、補正量の変化率が予め設定されたしきい値以上であるか否かを判定する。補正量の変化率が所定値以上である場合（ステップＳ１０９で“ＹＥＳ”）、すなわち補正量が急激に変化した場合（図７参照）、ステップＳ１１０の処理に移行する。補正量の変化率が所定値未満である場合（ステップＳ１０９で“ＮＯ”）、ステップＳ１１１の処理に移行する。

ステップＳ１１０において、処理部１１は、リアカメラ２０に取付異常（例えば、取付角度の固定状態の緩み）が発生していることを示す取付異常情報を報知する。処理部１１は、例えば、表示部１３を通じて、車両Ｖの乗員に対して報知を行う（表示制御部１１Ｂとしての処理）。また例えば、処理部１１は、通信部１５を通じて、車両Ｖのディーラーに設置された通信端末に対して報知を行う（通信制御部１１Ｅとしての処理）。すなわち、本実施の形態では、表示制御部１１Ｂ及び通信制御部１１Ｅは、カメラ状態監視部１１Ｄによる推測結果を報知する報知部を構成する。

これにより、利用者は、切り出し時の補正量に基づいて、リアカメラ２０の取付異常を知得することができるので、電子ミラー装置１の利便性がさらに向上する。

ステップＳ１１１において、処理部１１は、撮像画像から切り出された領域の表示画像を表示部１３に表示させる（表示制御部１１Ｂとしての処理）。補正限界時期が近い場合（ステップＳ１０６で“ＹＥＳ”）、又は補正量の変化率が大きい場合（ステップＳ１０９で“ＹＥＳ”）は、表示画像に重畳して、情報が表示されることになる。

このように、電子ミラー装置１は、リアカメラ２０（車載カメラ）からの撮像画像の一部の領域を切り出して、切り出し領域を表示部１３に表示させる。電子ミラー装置１は、表示部１３における見え方が同じになるように切り出し領域を補正する補正部１１Ｃと、補正部１１Ｃによる補正量の継時的な変化（長期的な変化又は短期的な変化）を監視し、リアカメラ２０の取付状態を推測するカメラ状態監視部１１Ｄと、カメラ状態監視部１１Ｄによる推測結果を報知する表示制御部１１Ｂ及び通信制御部１１Ｅ（報知部）と、を備える。

電子ミラー装置１によれば、利用者による車両Ｖの利用形態に応じて、リアカメラ２０の取付状態が適切に推測され、報知される。具体的には、補正限界時期が近いこと及び／又は取付異常が発生していることが適切に推測され、報知される。したがって、電子ミラー装置１は、高い利便性を有する。

以上、本発明者によってなされた発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。

例えば、実施の形態では、リアカメラ２０による撮像画像を表示する電子ミラー装置１について説明したが、本発明は、車両の前方視界を撮像するフロントカメラ、又は車両の後側方視界を撮像するサイドカメラによる撮像画像を表示する電子ミラー装置にも適用することができる。

また例えば、実施の形態では、１フレームごとに補正量の変化率を算出して車載カメラ（リアカメラ２０）の取付異常の発生有無を判定しているが、所定間隔（例えば、１秒間隔）で補正量の変化率を算出して車載カメラの取付異常の発生有無を判定してもよい。

また、本発明の電子ミラー装置は、車載カメラ、通信部を備えていなくてもよい。これらの構成要素には、車両に既設の装備を利用することができる。

また、本発明は、図８に示すように、通信ネットワークを介して接続された車載機器１０及びサーバー３０で構成される電子ミラー装置１Ａに適用することもできる。車載機器１０は、処理部１１、表示部１３、通信部１５及び車載カメラ２０を備える。サーバー３０は、処理部３１、記憶部３２及び通信部３５を備える。図８に示す電子ミラー装置１Ａでは、車載機器１０の処理部１１が補正部１１Ｃとして機能し、サーバー３０の処理部３１がカメラ状態監視部３１Ａ及び通信制御部３１Ｂ（報知部）として機能する。車載機器１０からサーバー３０に対して切り出し時の補正量が送信され、補正データ３２１として記憶部３２に時系列で蓄積される。サーバー３０によって補正量の経時的な変化が監視される。

実施の形態では、処理部１１（コンピュータ）が、画像処理部１１Ａ、表示制御部１１Ｂ、カメラ状態監視部１１Ｄとして機能することにより、本発明を実現しているが、これらの機能の一部又は全部は、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）等の電子回路によって構成することもできる。

さらに、車載カメラの撮像領域のずれが、カメラの取付角度の変化によるものか、あるいは車両全体の揺れ（段差を踏んだ、など）によるものかを判別するために、車両に搭載された加速度センサまたはジャイロセンサにより車両の揺れを検知し、当該揺れによる変化を補正部による補正量から差し引いても良い。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明は、車載カメラによって撮像された画像を表示する電子ミラー装置に好適である。

１電子ミラー装置
１１処理部
１１Ａ画像処理部
１１Ｂ表示制御部
１１Ｃ補正部
１１Ｄカメラ状態監視部
１１Ｅ通信制御部
１２記憶部
１３表示部
１５通信部
２０リアカメラ（車載カメラ）

Claims

車載カメラからの撮像画像の一部の領域を切り出して、切り出し領域を生成する画像処理部と、
前記車載カメラの撮像領域のずれに応じて前記切り出し領域を補正する補正部と、
前記補正部による補正量の継時的な変化を監視し、前記車載カメラの取付状態を推測するカメラ状態監視部と、
前記カメラ状態監視部による推測結果を報知する報知部と、を備え、
前記カメラ状態監視部は、前記補正量の長期的な変化に基づいて、前記車載カメラの取付状態が前記切り出し領域の補正が不可能な状態となる補正限界時期を予測することを特徴とするカメラ状態監視装置。
前記カメラ状態監視部は、前記補正量の長期的な変化を示す回帰曲線を算出し、前記回帰曲線を予め設定されたしきい値を比較することにより、前記補正限界時期を予測することを特徴とする請求項１に記載のカメラ状態監視装置。
前記カメラ状態監視部は、前記補正量の短期的な変化を示す変化率に基づいて、前記車載カメラの取付異常の発生有無を推測することを特徴とする請求項１又は２に記載のカメラ状態監視装置。
車載カメラからの撮像画像の一部の領域を切り出して、切り出し領域を生成する画像処理部と、
前記車載カメラの撮像領域のずれに応じて前記切り出し領域を補正する補正部と、
前記補正部による補正量の継時的な変化を監視し、前記車載カメラの取付状態を推測するカメラ状態監視部と、
前記カメラ状態監視部による推測結果を報知する報知部と、を備え、
前記カメラ状態監視部は、前記車載カメラの取付状態が前記切り出し領域の補正が不可能な状態となる補正限界時期を予測し、所定日数以内に前記補正限界時期が到来しないと判定した場合、前記補正量の短期的な変化を示す変化率に基づいて、前記車載カメラの取付異常の発生有無を推測することを特徴とするカメラ状態監視装置。
前記車載カメラは、車両の後方視界を撮像するリアカメラ、車両の前方視界を撮像するフロントカメラ、又は車両の側後方視界を撮像するサイドカメラを含むことを特徴とする請求項１から４のいずれか一項に記載のカメラ状態監視装置。
前記報知部は、通信ネットワークを介して外部端末に前記推測結果を送信する通信制御部を含むことを特徴とする請求項１から５のいずれか一項に記載のカメラ状態監視装置。
ネットワークを介して接続された車載機器及びサーバーを備え、
前記補正部は、前記車載機器に設けられ、
前記カメラ状態監視部及び前記報知部は、前記サーバーに設けられることを特徴とする請求項１から６のいずれか一項に記載のカメラ状態監視装置。