JP7263807B2 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP7263807B2
JP7263807B2 JP2019019622A JP2019019622A JP7263807B2 JP 7263807 B2 JP7263807 B2 JP 7263807B2 JP 2019019622 A JP2019019622 A JP 2019019622A JP 2019019622 A JP2019019622 A JP 2019019622A JP 7263807 B2 JP7263807 B2 JP 7263807B2
Authority
JP
Japan
Prior art keywords
vehicle
calibration
camera
satisfied
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019019622A
Other languages
English (en)
Other versions
JP2020127164A (ja
Inventor
育子 古村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2019019622A priority Critical patent/JP7263807B2/ja
Priority to PCT/JP2020/004366 priority patent/WO2020162498A1/ja
Publication of JP2020127164A publication Critical patent/JP2020127164A/ja
Application granted granted Critical
Publication of JP7263807B2 publication Critical patent/JP7263807B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

本開示は、車両に搭載して用いられる情報処理装置に関する。
車両に搭載される複数のカメラにより取得された複数の撮像画像を合成する場合には、カメラ姿勢の補正(以下、キャリブレーションとも記載する)を行うことで、合成画像の品質を向上させることができる。特許文献1には、キャリブレーションのための特定のマーカを用いずに、走行中にキャリブレーションを行う技術が提案されている。
特開2014-101075号公報
しかしながら、発明者の詳細な検討の結果、特定のマーカを用いない特許文献1のキャリブレーション手法では、車両の置かれる状況によってはキャリブレーションの精度が低くなってしまう場合があるという課題が見出された。また、発明者の詳細な検討の結果、キャリブレーションの実行に伴う処理負荷の増加によって他の制御に影響を及ぼしてしまう場合があるという課題が見出された。
本開示の1つの局面は、適切なタイミングでキャリブレーションを行うことができる技術を提供する。
本開示の一態様は、車両に搭載して用いられる情報処理装置であって、実行部と、判断部と、を備える。実行部は、車両に搭載されて当該車両の周囲を撮影するカメラのキャリブレーションを、カメラの撮影画像に基づいて実行するように構成される。判断部は、所定の条件を満たしているか否かを判断するように構成される。実行部は、判断部が所定の条件を満たしていると判断しているときに、キャリブレーションを実行可能に構成されている。
このような構成によれば、キャリブレーションの実行を、一定の状況に限定することができる。そのため、例えば、キャリブレーションの精度が低い蓋然性の高い状況でキャリブレーションを行わないことで、キャリブレーションの精度の低下を抑制できる。また例えば、キャリブレーションによる処理負荷の増加によって他の制御に影響が出てしまう蓋然性の高い状況にてキャリブレーションを行わないことで、他の制御に悪い影響を与えてしまうことを抑制できる。
第1実施形態の情報処理装置に相当する画像処理部の構成を示すブロック図である。 画像処理部の機能ブロック図である。 キャリブレーションの概要を説明する図である。 第1実施形態の実行判断処理のフローチャートである。 画像処理に基づく複数の制御と走行速度との関係を説明する図である。 第2実施形態の実行判断処理のフローチャートである。 第3実施形態の実行判断処理のフローチャートである。 メモリ使用量と処理速度低下の関係を説明する図である。 その他の実施形態の実行判断処理のフローチャートである。
以下、図面を参照しながら、本開示の実施形態を説明する。
[1.第1実施形態]
[1-1.構成]
図1に示す表示システム1は、車両に搭載して用いられるシステムであって、フロントカメラ(以下、Fカメラ)11a,リアカメラ(以下、Rカメラ)11b,レフトサイドカメラ(以下、LSカメラ)11c,ライトサイドカメラ(以下、RSカメラ)11dの4つのカメラと、ディスプレイ13と、ECU15と、を備える。以下、上述した各カメラ全てを指す場合には、単にカメラ11と記載する場合がある。
カメラ11は、車両に搭載された撮像装置であって、例えば公知のCCDイメージセンサやCMOSイメージセンサなどを用いることができる。カメラ11は所定の時間間隔(一例として1/15s)で車両の周囲を撮影し、撮影した撮影画像をECU15に出力する。Fカメラ11a,Rカメラ11b,LSカメラ11c,RSカメラ11dは、それぞれ、車両の前方、後方、左方、右方を撮影するように配置されている。
ディスプレイ13は、画像を表示する液晶ディスプレイなどの表示装置であって、ECU15から入力される信号に従って、ECU15にて生成された合成画像を表示する。
ECU15は、映像信号入力部21と、通信インターフェース(I/F)22と、画像処理部23と、映像信号出力部24と、電源部25と、を備える。
映像信号入力部21は、カメラ11により撮影された撮影画像を示す映像信号をカメラ11から入力して、画像処理部23に出力する。
通信I/F22は、車両に搭載された図示しない1つ以上の制御装置やセンサ等から車載通信バス17に出力された信号を取得して画像処理部23に出力する。例えば、車両の走行速度(以下、車速)、タイヤの舵角、シフトレンジなどの車両に関する情報を取得する。
画像処理部23は、CPU31と、RAM32a、ROM32b、フラッシュメモリ32c等の半導体メモリ(以下、メモリ32)と、を有するマイクロコンピュータを備える。画像処理部23の各種機能は、CPU31が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ32が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、画像処理部23は、1つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。この画像処理部23が、情報処理装置に相当する。
画像処理部23は、CPU31がプログラムを実行することで実現される機能の構成として、図2に示すように、画像生成部41と、画像認識部42と、描画部43と、実行部44と、判断部45と、を備える。
画像生成部41は、4つのカメラ11のうちの2つ以上のカメラにより撮影された撮影画像に基づいて、1つ以上の合成画像を生成する。合成画像とは、複数の撮影画像を組み合わせた画像であり、少なくとも1つの撮影画像の視点が変更されていてもよい。例えば、カメラ11により実際に撮影された撮影画像とは異なる視点の画像や、1つのカメラの撮影画像よりも広い範囲を含む画像であってもよい。
合成画像を生成するためには、撮影画像それぞれの視点を特定する必要がある。視点を特定するためには、カメラ11それぞれの設置される位置や角度などを含むカメラの姿勢のパラメータが用いられる。メモリ32が構成する記憶領域には、カメラ11それぞれの上述したパラメータが記憶されており、画像生成部41によって必要なときに読み出され、使用される。
画像認識部42は、画像生成部41により生成された合成画像から、所定の対象物を認識する。ここでいう所定の対象物とは、例えば、白線などの区画線、人,自動車,自転車などの移動体、信号や標識などの固定されたものなどが含まれうる。画像から対象物を認識する方法は特に限定されず、公知の様々な方法を用いることができる。例えば、パターンマッチングや、学習モデルを用いた計算処理によって対象物を認識してもよい。検出された対象物は、様々な制御に利用されてもよい。
描画部43は、合成画像の輝度や色を補正し、ディスプレイ13に出力したときに車両の搭乗者が見易い画像を生成する。
実行部44は、車両の走行中に、カメラ11のキャリブレーションを、カメラ11の撮影画像に基づいて実行する。
キャリブレーションとは、上述したカメラ11の位置や角度などのカメラ姿勢のパラメータを補正することである。具体的には、カメラ11の車両に対する設置位置を推定して、メモリ32の記憶領域に記憶されるパラメータと置き換えるか、或いは、従来のパラメータと新たに推定されたパラメータとを用いて新たにパラメータを再計算する。本実施形態では、キャリブレーション専用のマーカを用いることなくキャリブレーションを実行する。キャリブレーション方法の概要を、図3を用いて簡単に説明する。
撮影画像61には、あるタイミングt1にて車両71に固定されたカメラ72により撮影された道路上のターゲット73を示す画像として、第1ターゲット画像62が示される。車両が走行して車両の位置が変化すると、ターゲット73の撮影画像上の位置は変化する。タイミングt1より後のタイミングt2にて撮影されたターゲット73を撮影画像61に模式的に重畳した画像を、第2ターゲット画像63とする。これら第1ターゲット画像62及び第2ターゲット画像63の画像上の位置の変化等と、タイミングt1からタイミングt2までの期間の車両71の移動量と、に基づいて、カメラ姿勢のパラメータを推定することができる。
なお、具体的なキャリブレーションの方法は特に限定されず、例えば、特開2014-101075に開示される手法を用いてもよい。
判断部45は、所定の条件を満たしているか否かを判断する。所定の条件とは、キャリブレーションを実行することに適した条件である。実行部44は、判断部45が所定の条件を満たしていると判断しているときに、キャリブレーションを実行可能に構成されている。
本実施形態において、所定の条件とは、(i)悪環境でないこと、かつ、(ii)白線を認識していること、が該当する。
悪環境とは、撮影画像の品質が低いことにより、キャリブレーションを実行するとその精度が低くなる蓋然性が高いと考えられる環境である。例えば、車両の周囲の環境が暗いこと、車両の走行中の道路が凸凹路であること、及び、カメラ1に汚れがあること、などが例示される。凸凹路の例としては、路面に多数の凹凸が存在する道路や、小石などの小さな障害物が多数存在する道路などが該当する。
悪環境を検出する具体的な手法は特に限定されない。車両の周囲の環境が暗いことは、例えば、カメラ11の撮影画像に基づいて判定したり、車両に搭載される図示しない照度センサの出力に基づいて判定したりすることができる。また、車両の走行中の道路が凸凹路であることは、例えば、撮影画像を画像処理することで石や凹みの存在を検出して判定したり、車両に搭載される図示しない振動センサや加速度センサの出力に基づいて判定したりすることができる。また、カメラ11に汚れがあることは、例えば、カメラ11により取得される撮影画像の経時変化から判断することができる。
白線は、画像認識部42により認識することができる。白線はキャリブレーションを実行するためのターゲットとして好適であるため、白線の検出を良好なキャリブレーションを実行するための要件としてもよい。
説明を図1に戻る。映像信号出力部24は、画像処理部23により生成された合成画像を、ディスプレイ13に出力する。電源部25は、画像処理部23のほか、ECU15を構成する各要素に電力を供給する。
[1-2.処理]
次に、画像処理部23のCPU31が実行する実行判断処理について、図4のフローチャートを用いて説明する。
まず、S1では、CPU31は、車両が走行中であるか否かを判定する。CPU31は、例えば、図示しない車速センサから取得される車速情報に基づき、所定速度(例えば、5km/h)以上のときに、車両が走行中であると判定する。
CPU31は、S1で車両が走行中であると判定した場合には、S2へ移行し、カメラ11から車両の周囲の撮像画像を取得する。一方、CPU31は、S1で車両が走行中でないと判定した場合には、図4の処理を終了する。
続くS3及びS4において、CPU31は、キャリブレーションの実行を許可するための所定の条件が満たされているか否かを判断する。
具体的には、S3では、CPU31は、車両の環境が悪環境であるか否かを判定する。ここでは、車両の周囲の環境が暗いこと、車両の走行中の道路が凸凹路であること、及び、カメラに汚れがあること、のいずれか1つの要件でも満たされていれば、悪環境であると判定される。CPU31は、S3で悪環境であると判定した場合には、S1に戻る。一方、CPU31は、S3で悪環境でないと判定した場合には、S4へ移行する。
続くS4では、CPU31は、白線を検知しているか否かを判定する。白線の検知自体は、画像認識部42の機能として実現される。CPU31は、S4で白線を検知していると判定した場合には、S5へ移行する。一方、CPU31は、S4で白線を検知していないと判定した場合には、S1へ戻る。
このように、CPU31は、上述した判断部45として機能し、所定の条件を満たさない場合には、S1に戻り、所定の条件を満たす場合には、S5へ移行する。
次に、S5では、CPU31は、キャリブレーションを実行する。ここでは、CPU31は上述した実行部44として機能し、上述したキャリブレーションを実行する。
次に、S6では、CPU31は、メモリ32に記憶されるカメラパラメータを、S5のキャリブレーションにより推定されたパラメータに更新する。このS6後、処理がS1に戻る。
[1-3.効果]
以上詳述した第1実施形態によれば、以下の効果を奏する。
(1a)表示システム1の画像処理部23は、キャリブレーションを好適に実行できる蓋然性の高い場合において、キャリブレーションを実行することができる。そのため、キャリブレーションの精度が低い蓋然性の高い状況でキャリブレーションを行わないことで、キャリブレーションの精度が低下してしまうことを抑制できる。
(1b)画像処理部23は、キャリブレーションを行う所定の条件を満たしたか否かを、カメラ11の撮影画像、及び、車両に搭載されたセンサの出力の少なくともいずれか一方に基づいて実行することができる。
(1c)判断部45は、車両の周囲の環境が暗いこと、車両の走行中の道路が凸凹路であること、及び、カメラ11に汚れがあること、のうちの少なくとも1つの要件が満たされたときには、キャリブレーションを実行するための条件を満たしていないと判断する。上記の要件が満たされる場合にはキャリブレーションの精度が低くなり易いが、上記の要件を満たしていないときにはキャリブレーションを許可しないので、低い精度のキャリブレーションを実行してしまうことを抑制できる。
(1d)判断部45は、少なくとも、カメラ11により取得された撮影画像に白線が含まれることを、所定の条件を満たすと判断するための要件とする。よって、白線をキャリブレーションのターゲットとすることができ、キャリブレーションの精度を高めることができる。
[1-4.第1実施形態の変形例]
第1実施形態では、白線をキャリブレーションのターゲットとして用いる構成を例示したが、ターゲットは白線以外の物であってもよい。例えば、白線以外の区画線や、道路標示物、縁石など、道路上の様々な物をターゲットとして用いることができる。ターゲットに白線以外の物を用いる場合は、図4のS4の処理では、白線に代えて、当該対象物が検出されているか否かを判断してもよい。
[2.第2実施形態]
[2-1.第1実施形態との相違点]
第2実施形態は、基本的な構成は第1実施形態と同様であるため、相違点について以下に説明する。なお、第1実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
前述した第1実施形態では、キャリブレーションを行うか否かを判断するための要件として、悪環境であること、及び、白線を認識していることを例示した。これに対し、第2実施形態では、車両の走行速度を所定の条件を満たすか否かの判断の要件とする点で第1実施形態と相違する。また第2実施形態では、図5に示されるように、車速に応じて、撮影画像を画像処理した結果を用いる様々な制御を実行する。本実施形態では、30km/h未満の低速域にて複数の制御を実行するが、30km/h~50km/hの中速域ではそれらの制御を実行せず、50km/h以上の高速域では車線検知を実行する。
[2-2.処理]
第2実施形態の23のCPUが、第1実施形態の実行判断処理(図4)に代えて実行する実行判断処理について、図6のフローチャートを用いて説明する。なお、図6におけるS11,S12,S14,及びS15の処理は、図におけるS1,S2,S5,及びS6の処理と同様であるため、説明を一部簡略化している。
図6の実行判断処理では、CPU31は、S12にて撮影画像61を取得した後、S13へ移行する。
S13では、CPU31は、車速が中速域以上であるか否かを判定する。車速は、例えば、図示しない車速センサの出力信号に基づいて検出することができる。画像処理部23は、低速域では複数の制御を実行しているため、画像処理部23の処理負荷が高い。ここでさらにキャリブレーションを実行すると、他の制御に遅延が生じる可能性が高くなってしまう。よってCPU31は、低速域で走行中はキャリブレーションの実行を許可しない。一方、31は、中速域及び高速域で走行中は、処理負荷が小さいため、キャリブレーションの実行を許可する。
CPU31は、S13で車速が中速域以上でないと判定した場合には、S11に戻る。一方、CPU31は、S13で車速が中速域以上であると判定した場合には、S14へ移行し、キャリブレーションを実行する。
[2-3.効果]
以上詳述した第2実施形態によれば、以下の効果を奏する。
(2a)表示システム1の画像処理部23は、キャリブレーションによる処理負荷が他の制御に影響を及ぼす蓋然性の低い場合にキャリブレーションを実行することができる。そのため、キャリブレーションの実行が他の制御に悪影響を与えてしまうことを抑制できる。
[2-4.第2実施形態の変形例]
第2実施形態では、車速が中速域以上である場合に限りキャリブレーションの実行を許可する構成を例示した。しかしながら、キャリブレーションの実行を許可する速度域は、上記の例に限定されない。例えば、一定の速度範囲においてのみキャリブレーションの実行を許可する構成としてもよい。一例として、低速域、中速域、及び高速域のいずれか1つの場合にのみキャリブレーションの実行を許可してもよい。また、キャリブレーションの実行の可否を判断するための速度の閾値は、第2実施形態にて開示した速度の例に限定されず、様々な値としてもよい。
[3.第3実施形態]
[3-1.第1実施形態との相違点]
第3実施形態は、基本的な構成は第1実施形態及び第2実施形態と同様であるため、相違点について以下に説明する。なお、第1実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
第3実施形態では、画像処理部23の処理負荷が小さいこと、具体的には画像処理部23のメモリ使用量を、所定の条件を満たすか否かの判断の要件とする点で、第1実施形態と相違する。第3実施形態において「メモリ使用量」とは、RAM32aの使用量のことを指す。画像処理部23は、メモリ使用量を計測するソフトウェアを備えている。また第3実施形態では、第2実施形態と同様に、撮影画像を画像処理した結果を用いる様々な制御を実行する。
[3-2.処理]
第3実施形態の23のCPUが、第1実施形態の実行判断処理(図4)に代えて実行する実行判断処理について、図7のフローチャートを用いて説明する。なお、図7におけるS21,S22,S24,及びS25の処理は、図におけるS1,S2,S5,及びS6の処理と同様であるため、説明を一部簡略化している。
図7の実行判断処理では、CPU31は、S22にて撮影画像61を取得した後、S2
3へ移行する。
S23では、CPU31は、キャリブレーション実施前のメモリ使用量が基準値以上であるか否かを判定する。ここでの基準値とは、例えば図8に示されるように、処理速度の低下が生じていると推定される、キャリブレーション実施前のメモリ使用量の値である。図8のパターンAは、処理速度に影響がない範囲のメモリ使用量の例である。よって、この場合には、キャリブレーションの実行が許可される。一方、図8のパターンBは、処理速度の低下が推定されるメモリ使用量の例である。この場合には、キャリブレーションの実行が許可されない。
CPU31は、S23でメモリ使用量が基準値以上であると判定した場合には、S21に戻る。一方、CPU31は、S23でメモリ使用量が基準値以上でないと判定した場合には、S24へ移行し、キャリブレーションを実行する。
[3-3.効果]
以上詳述した第3実施形態によれば、以下の効果を奏する。
(3a)表示システム1の画像処理部23は、メモリ使用量が基準値以上でない場合にキャリブレーションを実行することができる。そのため、キャリブレーションの実行が他の制御に悪影響を与えてしまうことを抑制できる。
[3-4.第3実施形態の変形例]
第3実施形態では、基準値とは、画像処理部23の処理速度の低下が生じていると推定されるメモリ使用量である構成を例示した。しかしながら、基準値は、上記の構成に限定されない。例えば、キャリブレーションを実行することによりメモリ使用量が増加することを考慮して、基準値は、上記増加量を当該基準値に加算すると、処理速度の低下が顕著となるメモリ使用量の閾値を超えることとなるメモリ使用量の値としてもよい。
また、メモリ使用量以外の基準に基づいて、画像処理部23の処理負荷が小さいことを検出してもよい。例えば、処理負荷が大きい特定の制御が実行されていないことや、実行されている制御が所定数以下であるときなどに、画像処理部23の処理負荷が小さいと判断してもよい。
[4.他の実施形態]
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
(4a)上記第1実施形態ではキャリブレーションの精度が低下しないタイミングでキャリブレーションを実行できるように所定の条件が設定されており、また上記第2及び第3実施形態ではキャリブレーションによる他の制御への影響を抑制してキャリブレーションを実行できるように所定の条件が設定されていた。しかしながら、上述した両方の効果を得られるように所定の条件が設定されていてもよい。例えば、図9のフローチャートに示される実行判断処理のように、上述したS3、S4、S13、及びS23の全ての判断を行うように構成されていてもよい。このような構成であれば、キャリブレーションの精度の低下抑制と、他の制御への影響の抑制と、を同時に実現することができる。
(4b)上述した第2実施形態では、車両の走行速度に基づいて、キャリブレーションの実行を許可するための所定の条件を満たすと判断する構成を例示したが、車速以外の車両の走行状態に基づいて、所定の条件を満たすか否かを判断してもよい。例えば、前照灯などのライトが点灯していない状態、車両の外部における少なくとも一定の範囲に移動体を検出していない状態、などが検出されることを、所定の条件を満たすための要件としてもよい。車両の走行速度が所定の範囲であること、ライトを点灯せずに走行すること、及
び、所定範囲に移動体が存在しないことが、車両の状態が所定の状態であることの例に相当する。
(4c)本開示に記載の画像処理部23及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の画像処理部23及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の画像処理部23及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。画像処理部23に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。
(4d)上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。
(4e)上述した画像処理部23の他、当該画像処理部23を構成要素とするシステム、当該画像処理部23としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、キャリブレーション実行方法など、種々の形態で本開示を実現することもできる。
1…表示システム、11,11a,11b,11c,11d…カメラ、23…画像処理部、44…実行部、45…判断部、61…撮影画像

Claims (4)

  1. 車両に搭載して用いられる情報処理装置(23)であって、
    前記車両に搭載されて当該車両の周囲を撮影するカメラ(11a、11b、11c、11d)のキャリブレーションを、前記カメラの撮影画像(61)に基づいて実行するように構成された実行部(44)と、
    所定の条件を満たしているか否かを判断するように構成された判断部(45)と、を備え、
    前記実行部は、前記判断部が前記所定の条件を満たしていると判断しているときに、前記キャリブレーションを実行可能に構成されており、
    前記判断部は、少なくとも、前記カメラにより取得された前記撮影画像に前記キャリブレーションの基準として用いることができるターゲット(62、63)が含まれることを、前記所定の条件を満たすと判断するための要件とし、
    前記ターゲットとは、区画線及び道路標示のうちの少なくともいずれか一方であり、
    更に、前記実行部は、特定の期間における前記ターゲットの前記撮影画像における位置の変化と、前記特定の期間における前記車両の移動量と、に基づいてカメラ姿勢のパラメータを推定することにより前記キャリブレーションを行う、情報処理装置。
  2. 請求項1に記載の情報処理装置であって、
    前記判断部は、前記カメラにより取得された撮影画像、及び、前記車両に搭載されたセンサの出力、のうちの少なくとも一方に基づき、前記車両の周囲の環境が暗いこと、前記車両の走行中の道路が凸凹路であること、及び、前記カメラに汚れがあること、のうちの少なくとも1つの要件が満たされたときには、前記所定の条件を満たしていないと判断する、情報処理装置。
  3. 請求項1又は請求項2に記載の情報処理装置であって、
    前記判断部は、少なくとも前記車両に搭載されたセンサの出力に基づいて取得される前記車両の状態が所定の状態であることを、前記所定の条件を満たすと判断するための要件とする、情報処理装置。
  4. 請求項1から請求項3のいずれか1項に記載の情報処理装置であって、
    前記判断部は、少なくとも当該情報処理装置の処理負荷が小さいことを、前記所定の条件を満たすと判断するための要件とする、情報処理装置。
JP2019019622A 2019-02-06 2019-02-06 情報処理装置 Active JP7263807B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019019622A JP7263807B2 (ja) 2019-02-06 2019-02-06 情報処理装置
PCT/JP2020/004366 WO2020162498A1 (ja) 2019-02-06 2020-02-05 情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019019622A JP7263807B2 (ja) 2019-02-06 2019-02-06 情報処理装置

Publications (2)

Publication Number Publication Date
JP2020127164A JP2020127164A (ja) 2020-08-20
JP7263807B2 true JP7263807B2 (ja) 2023-04-25

Family

ID=71947986

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019019622A Active JP7263807B2 (ja) 2019-02-06 2019-02-06 情報処理装置

Country Status (2)

Country Link
JP (1) JP7263807B2 (ja)
WO (1) WO2020162498A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023199465A1 (ja) * 2022-04-14 2023-10-19 日立Astemo株式会社 車載画像処理装置、および、そのキャリブレーション方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008011174A (ja) 2006-06-29 2008-01-17 Hitachi Ltd 車載カメラのキャリブレーション装置、プログラムおよびカーナビゲーションシステム
WO2011114624A1 (ja) 2010-03-17 2011-09-22 本田技研工業株式会社 車両の周辺監視装置
JP2016082258A (ja) 2014-10-09 2016-05-16 株式会社デンソー 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
JP2017143417A (ja) 2016-02-10 2017-08-17 クラリオン株式会社 キャリブレーションシステム、キャリブレーション装置
JP2017211222A (ja) 2016-05-24 2017-11-30 三菱電機株式会社 車載カメラキャリブレーション補助装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008011174A (ja) 2006-06-29 2008-01-17 Hitachi Ltd 車載カメラのキャリブレーション装置、プログラムおよびカーナビゲーションシステム
WO2011114624A1 (ja) 2010-03-17 2011-09-22 本田技研工業株式会社 車両の周辺監視装置
JP2016082258A (ja) 2014-10-09 2016-05-16 株式会社デンソー 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
JP2017143417A (ja) 2016-02-10 2017-08-17 クラリオン株式会社 キャリブレーションシステム、キャリブレーション装置
JP2017211222A (ja) 2016-05-24 2017-11-30 三菱電機株式会社 車載カメラキャリブレーション補助装置

Also Published As

Publication number Publication date
WO2020162498A1 (ja) 2020-08-13
JP2020127164A (ja) 2020-08-20

Similar Documents

Publication Publication Date Title
US9902323B2 (en) Periphery surveillance apparatus and program
US20200062264A1 (en) Road profile along a predicted path
JP6897258B2 (ja) 傾斜検出装置
JP5680573B2 (ja) 車両の走行環境認識装置
US9619894B2 (en) System and method for estimating vehicle dynamics using feature points in images from multiple cameras
JP6524922B2 (ja) 運転支援装置、運転支援方法
JPWO2015174208A1 (ja) 画像認識装置及びその制御方法
JP6209825B2 (ja) 視差検出装置、視差検出方法
US11017245B2 (en) Parking assist apparatus
JP2017034543A (ja) 車載表示制御装置、車載表示制御方法
JP2011065219A (ja) 道路曲率推定装置
CN111357282A (zh) 图像处理装置、图像处理方法、程序和固态成像装置
JP2007293672A (ja) 車両用撮影装置、車両用撮影装置の汚れ検出方法
CN111937380A (zh) 图像处理装置
JP6350369B2 (ja) 表示装置
JP7263807B2 (ja) 情報処理装置
JP5083254B2 (ja) 駐車結果表示システム
JP2014106739A (ja) 車載画像処理装置
WO2015182148A1 (ja) 物体検出装置および物体検出装置を設置した車両
JP5716944B2 (ja) 車載カメラ装置
JP7169075B2 (ja) 撮像制御装置および撮像制御方法
JP6032141B2 (ja) 走行路面標示検知装置および走行路面標示検知方法
JP3965078B2 (ja) ステレオ式車外監視装置およびその制御方法
JP7122394B2 (ja) 撮像部制御装置
JP2019135620A (ja) 走行支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230327

R151 Written notification of patent or utility model registration

Ref document number: 7263807

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151