JP6354425B2

JP6354425B2 - 車載カメラの取り付け姿勢検出方法およびその装置

Info

Publication number: JP6354425B2
Application number: JP2014154985A
Authority: JP
Inventors: 晴之岩間
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2014-07-30
Filing date: 2014-07-30
Publication date: 2018-07-11
Anticipated expiration: 2034-07-30
Also published as: JP2016030554A; US20160037032A1

Description

本発明は、車載カメラの姿勢が適切であるか否かを判定するのに好適な車載カメラの取り付け姿勢検出方法およびその装置に関する。

特許文献１には、床面に配置されたマーカを用いない簡易な処理によりキャリブレーションを行う方法が記載されている。具体的には、（１）まず、車両に水平方向に対称な車両の特定部分（例えばバンパ）が撮像範囲に含まれる画像において、その特定画像部分を抽出する。（２）次に、処理対象画像を回転させながら、その特定画像部分の水平座標方向の中点を通る垂直線で画像部分を二分し、一方の画像部分のミラー反転画像（反転軸は前記垂直線）ともう一方の画像部分の相関度が最も高くなる、又は所定閾値以上となる回転角度をロール角補正値として算出する。（３）また、処理対象画像上の基準位置のＸ軸成分と、特定画像部分のＸ軸方向の中間位置とのずれ量をヨー角補正値として算出する。（４）また、処理対象画像上の基準位置のＹ軸成分と、特定画像部分のＹ軸方向の中間位置とのずれ量をピッチ角補正値として算出する。

特開２０１３−１２９２６４号公報

しかし、上記技術は、対象の左右対称性を利用したキャリブレーション方法であり、必ず左右対称な特定部位が含まれるように（もしくは撮像範囲内に含まれる対象が必ず左右対称となるように）カメラを設置する必要があり、カメラ設置位置の自由度が少ないという問題があった。一方、高度安全運転支援システム実現のため、近年、低価格センサであるカメラの需要は増しており、カメラが車両の様々な場所に設置されるようになってきているが、そのような応用において、上記技術におけるカメラの設置位置の制約は大きな問題となる。例えば、一般にサイドカメラはサイドミラー部に設置されるが、サイドカメラの撮像画像においては、バンパのような左右対称な車両の特定部分が撮像困難であるため、サイドカメラには適用できない点である。

また、上記技術は、ヨー角、ピッチ角によるカメラの姿勢変化とそれに対する対象の画像の見え方（この場合はバンパ部の見え方）の変化を近似的に扱っているため、高精度なキャリブレーション（角度補正値の算出）は困難であるという問題があった。例えば、この方法はロール角のみがバンパ部の左右対称性に影響を与えるものとして、その左右対称性の程度（ミラー反転画像の相関値）からロール角補正値を決めているが、実際にはヨー角も前記左右対称性に影響を与えており、この方法では、精度良くロール角およびヨー角を計算することはできない。

本発明は、このような課題に鑑みなされたものであり、その目的とするところは、車載カメラを設置する位置に関して自由度を広げるとともに制約を緩和し、且つ高精度なキャリブレーションを行うことが可能な技術を提供することにある。

本発明の車載カメラ（１０）の取り付け姿勢検出方法（Ｓ１〜Ｓ４）は、車両（１００）の特定部位（１０１）が撮像範囲に含まれるように前記車両（１００）に取り付けられた車載カメラ（１０）による撮像画像を受け取り、前記車載カメラ（１０）の取り付け姿勢が適切であるか否かを検出する。

具体的には、画像入力工程（Ｓ１）で前記撮像画像を受け取り、歪み補正工程（Ｓ２）で前記撮像画像の歪み補正を行う。例えば、前記車載カメラ（１０）が備えるレンズに起因する前記撮像画像の歪みを補正するといった具合である。続いて、垂直線検出工程（Ｓ３１，Ｓ３２）で、歪み補正が行われた後の撮像画像から、路面に対する垂直線を検出すし、消失点算出工程（Ｓ３３）で、検出された垂直線群の消失点を算出する。

さらに、ロール角計算工程（Ｓ３４）で、算出された垂直線群の消失点が画像Ｘ方向の中心線上に重なる場合の前記車載カメラ（１０）のＺ軸周りの回転角度を前記車載カメラ（１０）のロール角として計算する。また、ピッチ角計算工程（Ｓ３５）で、ロール角が補正された画像平面において、算出された垂直線群の消失点の画像Ｙ座標が無限遠となる場合の前記車載カメラ（１０）のＸ軸周りの回転角度を前記車載カメラ（１０）のピッチ角として計算する。

また、基準線算出工程（Ｓ４１）で、歪み補正が行われた後の撮像画像から、前記特定部位（１０１）と路面との境界線を検出し、検出した境界線から前記車両（１００）の基準線を算出し、ヨー角計算工程（Ｓ４２）で、ロール角が補正された画像平面において、算出された前記車両（１００）の基準線が画像Ｘ軸と平行になる場合の前記車載カメラ（１０）のＹ軸周りの回転角度を前記車載カメラ（１０）のヨー角として計算する。

そして、前記車載カメラ（１０）のロール角、前記車載カメラ（１０）のピッチ角、および前記車載カメラ（１０）のヨー角を、前記車載カメラ（１０）の取り付け姿勢として出力する。

本発明の車載カメラ（１０）の取り付け姿勢検出方法（２０）によれば、従来技術とは異なり、必ず左右対称な特定部位が含まれるように車載カメラを設置する必要がなく、車載カメラ（１０）を設置する位置に関して自由度を広げるとともに制約を緩和することができる。また、本発明の車載カメラ（１０）の取り付け姿勢検出方法（２０）によれば、従来技術とは異なり、車載カメラの姿勢と画像射影の関係を厳密に考慮した計算を行うので、高精度なキャリブレーションを行うことができる。

なお、本発明は、車両（１００）の特定部位（１０１）が撮像範囲に含まれるように前記車両（１００）に取り付けられた車載カメラ（１０）による撮像画像を受け取り、前記車載カメラ（１０）の取り付け姿勢が適切であるか否かを検出する車載カメラ（１０）の取り付け姿勢検出装置（２０）としても実現可能である。

画像処理システム１の構成を表すブロック図である。車載カメラ１０の車両への取り付け姿勢を表す説明図である。画像処理装置２０の構成を表すブロック図である。画像処理装置２０が実行する車載カメラ取り付け姿勢検出処理を示すフローチャートである。メイン処理のＳ３のサブルーチンを示すフローチャートである。メイン処理のＳ４のサブルーチンを示すフローチャートである。車載カメラ取り付け姿勢検出処理を説明するための説明図（１）である。車載カメラ取り付け姿勢検出処理を説明するための説明図（２）である。

以下に本発明の実施形態を図面とともに説明する。なお、本発明は下記実施形態に限定されるものではなく、様々な態様にて実施することが可能である。
［１．画像処理システム１の構成の説明］
図１に示すように、本実施形態の画像処理システム１は、車載カメラ１０と、画像処理装置２０と、表示装置３０と、を備える。以下順に説明する。

［１．１．車載カメラ１０の構成の説明］
車載カメラ１０は、ＣＣＤやＣＭＯＳ等の撮像素子を有するカメラである。なお、車載カメラ１０には、図２に示すように、車両１００の前部に設置される車載カメラ１０Ｆ、車両１００の左側部に設置される車載カメラ１０Ｌ、車両１００の右側部に設置される車載カメラ１０Ｒ、車両１００の後部に設置される車載カメラ１０Ｂがある。

車載カメラ１０Ｆは、図２に示すように、車両１００の前部に設置されて、車両１００の前方周辺を撮影する。そして、車載カメラ１０Ｆは、車両前方の撮像画像を、所定頻度（例えば、１秒間に６０フレーム。）で画像処理装置２０へ出力する。

また、車載カメラ１０Ｌは、図２に示すように、車両１００の左側部に設置されて、車両１００の左方周辺を撮影する。そして、車載カメラ１０Ｌは、車両左方の撮像画像を、所定頻度で画像処理装置２０へ出力する。

また、車載カメラ１０Ｒは、図２に示すように、車両１００の右側部に設置されて、車両１００の右方周辺を撮影する。そして、車載カメラ１０Ｒは、車両右方の撮像画像を、所定頻度で画像処理装置２０へ出力する。

また、車載カメラ１０Ｂは、図２に示すように、車両１００の後部に設置されて、車両１００の後方周辺を撮影する。そして、車載カメラ１０Ｂは、車両後方の撮像画像を、所定頻度で画像処理装置２０へ出力する。

なお、車載カメラ１０のカメラ座標系においては、車載カメラ１０の撮影方向がＺ軸方向であり、車載カメラ１０の撮影方向を見て右方向がＸ軸方向であり、車載カメラ１０の撮影方向を見て下方向がＹ軸方向である。また、車載カメラ１０のカメラ座標系においては、Ｘ軸周りの傾きがピッチ角、Ｙ軸周りの傾きがヨー角、Ｚ軸周りの傾きがロール角となる。また、車載カメラ１０の撮像画像（画像平面）については、車載カメラ１０のカメラ座標系との間に、画像平面とカメラ座標系のＺ軸方向とが直交するとともに画像平面とカメラ座標系のＸ軸方向およびＹ軸方向とが平行となるよう設定されている。

［１．２．画像処理装置２０の構成の説明］
画像処理装置２０は、本発明の車載カメラの取り付け姿勢検出装置に相当する構成であり、図３に示すように、入力部２２と、前処理部２４と、パラメータ算出部２６と、出力部２８と、を備える。

［１．２．１．入力部２２の構成の説明］
入力部２２は、図３に示すように、画像入力部２２Ａと、歪み補正計算部２２Ｂと、歪み補正情報記憶部２２Ｃと、を備える。画像入力部２２Ａは、車載カメラ１０より逐次出力される撮影画像を受け取る機能を有する。歪み補正計算部２２Ｂは、画像入力部２２Ａが受け取った撮像画像の歪み補正を行う（図７参照）。ここでは、車載カメラ１０が備えるレンズに起因する撮像画像の歪みを補正する。歪み補正情報記憶部２２Ｃは、歪み補正計算部２２Ｂが撮像画像の歪み補正を行う際に用いる情報を記憶して、歪み補正計算部２２Ｂに適宜提供する。

［１．２．２．前処理部２４の構成の説明］
前処理部２４は、図３に示すように、直線検出部２４Ａと、消失点計算部２４Ｂと、車両基準線計算部２４Ｃと、を備える。直線検出部２４Ａは、入力部２２にて歪み補正が行われた後の撮像画像から、路面に対する垂直線を検出する。消失点計算部２４Ｂは、検出された垂直線群の消失点を算出する。車両基準線計算部２４Ｃは、入力部２２にて歪み補正が行われた後の撮像画像から、車両１００の特定部位（本実施形態では車両左側のドア１０１）と路面との境界線を検出し、検出した境界線から車両１００の基準線を算出する。具体的には、図８に例示するように、まず、車両領域に処理対象領域を絞る。例えば、画像の高さの１／４にＲＯＩ（処理対象領域）を設定するといった具合である。なお、所定の露光時間以上で移動しながら撮像した場合の背景部と車両部を分離する方法を用いて処理対象領域を絞ってもよい。次に、処理対象領域に対してエッジ検出処理を施し、エッジ抽出後画像に対して、車両基準線を算出する。例えば、エッジ抽出後の画像に対してノイズ除去を行い、ハフ変換による直線検出を行い、ハフ変換の投票空間上で最も投票数の多い直線を車両基準線として抽出する。なお、例えば、エッジ点に対する最小二乗法による直線フィッティングを行った結果を基準線としてもよい。また、最小二乗法で求めた直線を初期直線とし、その初期直線からの誤差（直線までの距離）が所定の閾値以下のエッジ点のみを使って、ハフ変換による直線検出を行い、その結果を最終的な車両基準線とするなどして、ハフ変換と最小二乗法を組み合わせてロバストに直線を定めてもよい。

ここでは、車両左側のドア１０１の下端が車両１００の基準線に相当する。なお、車両１００の右側部に設置される車載カメラ１０Ｒにおいては、車両右側のドアが特定部位に相当し、車両右側のドアの下端が車両１００の基準線に相当する。また、車両１００の前部に設置される車載カメラ１０Ｆにおいては、車両前部のバンパ部が特定部位に相当し、車両前部のバンパ部の上端が車両１００の基準線に相当する。また、車両１００の後部に設置される車載カメラ１０Ｂにおいては、車両後部のバンパ部が特定部位に相当し、車両後部のバンパ部の上端が車両１００の基準線に相当する。なお、前後タイヤの位置により、ドア１０１の下端の一部を基準線に採用してもよい。また、バンパ部の形状により、バンパ部の中央部のみを基準線に採用してもよい。

［１．２．３．パラメータ算出部２６の構成の説明］
パラメータ算出部２６は、図３に示すように、ロール角計算部２６Ａと、ピッチ角計算部２６Ｂと、ヨー角計算部２６Ｃと、を備える。ロール角計算部２６Ａは、前処理部２４にて算出された垂直線群の消失点が画像Ｘ方向の中心線上に重なる場合の車載カメラ１０のカメラ座標系のＺ軸周りの回転角度を車載カメラ１０のロール角として計算する。ピッチ角計算部２６Ｂは、前処理部２４にて算出された垂直線群の消失点が無限遠となる場合の車載カメラ１０のカメラ座標系のＸ軸周りの回転角度を車載カメラ１０のピッチ角として計算する。ヨー角計算部２６Ｃは、前処理部２４にて算出された車両１００の基準線が画像Ｘ軸と平行になる場合の車載カメラ１０のカメラ座標系のＹ軸周りの回転角度を車載カメラ１０のヨー角として計算する。

［１．２．４．出力部２８の構成の説明］
出力部２８は、パラメータ記憶部２８Ａを備える。パラメータ記憶部２８Ａは、車載カメラ１０のロール角、車載カメラ１０のピッチ角、および車載カメラ１０のヨー角を、車載カメラ１０の取り付け姿勢として記憶する。

以上のような構成を有する画像処理装置２０は、後述する車載カメラ取り付け姿勢検出処理を実行する。
［１．３．表示装置３０の構成の説明］
図１に示す表示装置３０は、液晶ディスプレイや有機ＥＬディスプレイ等にて構成されており、車載カメラ１０による撮像画像に基づいて画像処理装置２０で処理された画像を表示する。

［２．車載カメラ取り付け姿勢検出処理の説明］
次に、画像処理装置２０が実行する車載カメラ取り付け姿勢検出処理を、図４のフローチャートを参照して説明する。

［２．１．メイン処理の説明］
まず、メイン処理の最初のステップＳ１では、画像を取得する。具体的には、入力部２２の画像入力部２２Ａが、車載カメラ１０より逐次出力される撮影画像を受け取る。その後、Ｓ１に移行する。

Ｓ２では、歪み補正を計算する。具体的には、入力部２２の歪み補正計算部２２Ｂが、画像入力部２２Ａが受け取った撮像画像の歪み補正を行う。その後、Ｓ２に移行する。
Ｓ３では、後述するＳ３のサブルーチンを実行して、車載カメラ１０のロール角およびピッチ角を計算する。その後、Ｓ４に移行する。

Ｓ４では、後述するＳ４のサブルーチンを実行して、車載カメラ１０のヨー角を計算する。その後、本処理を終了する。
なお、車載カメラ１０のロール角、車載カメラ１０のピッチ角、および車載カメラ１０のヨー角は、車載カメラ１０の取り付け姿勢として出力される。

［２．２．Ｓ３のサブルーチンの説明］
メイン処理のＳ３のサブルーチンを、図５のフローチャートを参照して説明する。
まず、最初のステップＳ３１では、画像中のエッジを抽出する。その後、Ｓ３２に移行する。

Ｓ３２では、画像中の直線を検出する。その後、Ｓ３３に移行する。
Ｓ３３では、路面に対する垂直線に相当する直線群の消失点を計算する。その後、Ｓ３４に移行する。

Ｓ３４では、画像平面上に射影される前記消失点のＸ座標が画像Ｘ軸方向中心に一致するような車載カメラ１０のロール角を計算する。その後、Ｓ３５に移行する。
Ｓ３５では、前記計算されたロール角を用いて、「ロール角＝０度」となるように補正された仮想画像において、その仮想画像平面上に射影される前記消失点のＹ座標が「−∞」となるような車載カメラ１０のピッチ角を計算する。その後、本サブルーチンを終了する。

［２．３．Ｓ４のサブルーチンの説明］
メイン処理のＳ４のサブルーチンを、図６のフローチャートを参照して説明する。
まず、最初のステップＳ４１では、車両の路面の境界線から車両の基準線を算出する。その後、Ｓ４２に移行する。

Ｓ４２では、前記計算されたロール角を用いて、「ロール角＝０度」となるように補正された仮想画像において、その仮想画像平面上で前記境界線が画像Ｘ軸に平行になるような車載カメラ１０のヨー角を計算する。その後、本サブルーチンを終了する。

［３．実施形態の効果］
このように本実施形態の画像処理システム１によれば、従来技術とは異なり、必ず左右対称な特定部位が含まれるように車載カメラ１０を設置する必要がなく、車載カメラ１０を設置する位置に関して自由度を広げるとともに制約を緩和することができる。

また、本実施形態の画像処理システム１によれば、従来技術とは異なり、車載カメラ１０の姿勢と画像射影の関係を厳密に考慮した計算を行うので、高精度なキャリブレーションを行うことができる。

１…画像処理システム、１０（１０Ｂ、１０Ｆ、１０Ｌ、１０Ｒ）…車載カメラ、２０…画像処理装置、２２…入力部、２２Ａ…画像入力部、２２Ｂ…補正計算部、２２Ｃ…補正情報記憶部、２４…前処理部、２４Ａ…直線検出部、２４Ｂ…消失点計算部、２４Ｃ…車両基準線計算部、２６…パラメータ算出部、２６Ａ…ロール角計算部、２６Ｂ…ピッチ角計算部、２６Ｃ…ヨー角計算部、２８…出力部、２８Ａ…パラメータ記憶部、３０…表示装置、１００…車両、１０１…ドア。

Claims

車両（１００）の特定部位（１０１）が撮像範囲に含まれるように前記車両（１００）に取り付けられた車載カメラ（１０）による撮像画像を受け取り、前記車載カメラ（１０）の取り付け姿勢を検出する車載カメラ（１０）の取り付け姿勢検出方法（Ｓ１〜Ｓ４）であって、
前記撮像画像を受け取る画像入力工程（Ｓ１）と、
受け取った前記撮像画像の歪み補正を行う歪み補正工程（Ｓ２）と、
歪み補正が行われた後の撮像画像から、路面に対する垂直線を検出する垂直線検出工程（Ｓ３１，Ｓ３２）と、
検出された垂直線群の消失点を算出する消失点算出工程（Ｓ３３）と、
算出された垂直線群の消失点が画像Ｘ方向の中心線上に重なる場合の前記車載カメラ（１０）のＺ軸周りの回転角度を前記車載カメラ（１０）のロール角として計算するロール角計算工程（Ｓ３４）と、
算出された垂直線群の消失点が無限遠となる場合の前記車載カメラ（１０）のＸ軸周りの回転角度を前記車載カメラ（１０）のピッチ角として計算するピッチ角計算工程（Ｓ３５）と、
歪み補正が行われた後の撮像画像から、前記特定部位（１０１）と路面との境界線を検出し、検出した境界線から前記車両（１００）の基準線を算出する基準線算出工程（Ｓ４１）と、
算出された前記車両（１００）の基準線が画像Ｘ軸と平行になる場合の前記車載カメラ（１０）のＹ軸周りの回転角度を前記車載カメラ（１０）のヨー角として計算するヨー角計算工程（Ｓ４２）と、
を有し、
前記車載カメラ（１０）のロール角、前記車載カメラ（１０）のピッチ角、および前記車載カメラ（１０）のヨー角を、前記車載カメラ（１０）の取り付け姿勢として出力すること
を特徴とする車載カメラ（１０）の取り付け姿勢検出方法（Ｓ１〜Ｓ４）。
請求項１に記載の車載カメラ（１０）の取り付け姿勢検出方法（Ｓ１〜Ｓ４）において、
前記歪み補正工程（Ｓ２）は、前記車載カメラ（１０）が備えるレンズに起因する前記撮像画像の歪みを補正すること
を特徴とする車載カメラ（１０）の取り付け姿勢検出方法（Ｓ１〜Ｓ４）。
車両（１００）の特定部位（１０１）が撮像範囲に含まれるように前記車両（１００）に取り付けられた車載カメラ（１０）による撮像画像を受け取り、前記車載カメラ（１０）の取り付け姿勢を検出する車載カメラ（１０）の取り付け姿勢検出装置（２０）であって、
前記撮像画像を受け取る画像入力手段（２２）と、
前記画像入力手段（２２）から入力される前記撮像画像の歪み補正を行う歪み補正手段（２２）と、
前記歪み補正手段（２２）により歪み補正が行われた後の撮像画像から、路面に対する垂直線を検出する垂直線検出手段（２４）と、
前記歪み補正手段（２２）により歪み補正が行われた後の撮像画像から、前記特定部位（１０１）と路面との境界線を検出し、検出した境界線から前記車両（１００）の基準線を算出する基準線算出手段（２４）と、
前記垂直線検出手段（２４）により検出された垂直線群の消失点を算出する消失点算出手段（２４）と、
前記消失点算出手段（２４）により算出された垂直線群の消失点が画像Ｘ方向の中心線
上に重なる場合の前記車載カメラ（１０）のＺ軸周りの回転角度を前記車載カメラ（１０）のロール角として計算するロール角計算手段（２６）と、
前記消失点算出手段（２４）により算出された垂直線群の消失点が無限遠となる場合の前記車載カメラ（１０）のＸ軸周りの回転角度を前記車載カメラ（１０）のピッチ角として計算するピッチ角計算手段（２６）と、
前記基準線算出手段（２４）により算出された前記車両（１００）の基準線が画像Ｘ軸と平行になる場合の前記車載カメラ（１０）のＹ軸周りの回転角度を前記車載カメラ（１０）のヨー角として計算するヨー角計算手段（２６）と、
前記ロール角計算手段（２６）により計算された前記車載カメラ（１０）のロール角、前記ピッチ角計算手段（２６）により計算された前記車載カメラ（１０）のピッチ角、および前記ヨー角計算手段（２６）により計算された前記車載カメラ（１０）のヨー角を、前記車載カメラ（１０）の取り付け姿勢として出力する取付姿勢出力手段（２８）と、
を備えることを特徴とする車載カメラ（１０）の取り付け姿勢検出装置（２０）。
請求項３に記載の車載カメラ（１０）の取り付け姿勢検出装置（２０）において、
前記歪み補正手段（２２）は、前記車載カメラ（１０）が備えるレンズに起因する前記撮像画像の歪みを補正すること
を特徴とする車載カメラ（１０）の取り付け姿勢検出装置（２０）。