JP5471038B2 - 校正目標検出装置と、校正目標を検出する校正目標検出方法と、校正目標検出装置のためのプログラム - Google Patents

校正目標検出装置と、校正目標を検出する校正目標検出方法と、校正目標検出装置のためのプログラム Download PDF

Info

Publication number
JP5471038B2
JP5471038B2 JP2009128206A JP2009128206A JP5471038B2 JP 5471038 B2 JP5471038 B2 JP 5471038B2 JP 2009128206 A JP2009128206 A JP 2009128206A JP 2009128206 A JP2009128206 A JP 2009128206A JP 5471038 B2 JP5471038 B2 JP 5471038B2
Authority
JP
Japan
Prior art keywords
calibration target
photometric
profile
area
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009128206A
Other languages
English (en)
Other versions
JP2010276429A (ja
Inventor
聖子 武田
一矢 渡邊
義 浅野
幸紀子 堂西
欣司 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2009128206A priority Critical patent/JP5471038B2/ja
Priority to KR1020117030887A priority patent/KR101419721B1/ko
Priority to CN201080023236.7A priority patent/CN102450005B/zh
Priority to PCT/JP2010/052448 priority patent/WO2010137364A1/ja
Priority to EP10780324.9A priority patent/EP2437495B1/en
Priority to US13/265,103 priority patent/US8605156B2/en
Publication of JP2010276429A publication Critical patent/JP2010276429A/ja
Application granted granted Critical
Publication of JP5471038B2 publication Critical patent/JP5471038B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20068Projection on vertical or horizontal image axis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Description

本発明は、校正目標検出装置と、校正目標を検出する校正目標検出方法と、校正目標検出装置のためのプログラムに関する。
近年、車両の運転者が車両の側方や後方等の情景を車内のモニタを介して視認できるようにカメラが搭載された車両が増加している。更に、このカメラにより取得された撮像画像を利用して画像処理等を行い、駐車等の運転を支援する装置も開発されている。このような装置において車両の位置決め等に利用される情報を演算するためのベースとなる撮像画像を取得するカメラは、特に高い光軸精度が要求される。このような高い光軸精度はその取り付け時に容易に得られるものではなく、カメラを車両に取り付けた後、高い精度で光軸を校正することにより実現される。このような校正を行うには、校正に用いられる校正目標を適切に検出する必要がある。このような校正目標を検出するための技術として、例えば下記に出典を示す特許文献1に記載のものがある。
特許文献1には、車両に搭載された車載カメラの光軸のずれを検出する光軸ずれ検出装置が開示される。当該光軸ずれ検出装置は、光軸ずれを検出する際に用いられる検出基準をテンプレートマッチング処理を用いて検出する。より具体的には、検出基準のテンプレート画像を車載カメラのターゲット画像を含む撮影画像の中心から周辺にずらしながらテンプレートマッチング処理を繰り返し行う。そして、撮影画像上のテンプレート画像にマッチングした画像の位置をターゲット画像の位置として特定する。
特開2007−253699号公報
特許文献1に記載の光軸ずれ検出装置においては、テンプレートマッチング処理に用いられるテンプレート画像を記憶しておく必要がある。また、このテンプレートマッチング処理を精度良く行うためには、テンプレート画像は高解像度で記憶されることが望ましい。このため、テンプレート画像の容量が大きくなるので、当該テンプレート画像を記憶しておく記憶容量が増加してしまう。また、テンプレートマッチング処理に係る演算負荷が大きくなるため、高性能な演算処理装置が必要となりコストアップの要因となってしまう。
本発明の目的は、上記問題に鑑み、記憶容量が増加することがなく、低コストで実現可能な校正目標検出装置と、校正目標を検出する校正目標検出方法と、校正目標検出装置のためのプログラムを提供することにある。
上記目的を達成するための本発明に係る校正目標検出装置の特徴構成は、長尺状の測光領域を設定する測光領域設定部と、前記測光領域の測光情報を車載カメラが備える露出計によって検出する検出部と、所定の一方向を長尺方向とする長尺状の測光領域が、前記一方向に直交する他方向に沿って走査され、前記他方向の測光情報の変化を示す第1プロファイルを生成すると共に、前記他方向を長尺方向とする長尺状の測光領域が、前記一方向に沿って走査され、前記一方向の測光情報の変化を示す第2プロファイルを生成するプロファイル生成部と、前記第1プロファイル及び前記第2プロファイルの特徴点に基づいて前記車載カメラにより取得された撮像画像に含まれる前記車載カメラの校正に用いられる校正目標の位置、または、当該校正目標の所定部位の位置を算定する位置算定部と、を備える点にある。
このような特徴構成とすれば、テンプレートマッチングのようなテンプレート画像を予め記憶しておく必要がないので記憶容量が増加することがない。ここで、一般的な車載カメラには測光領域を設定し、当該設定された測光領域の測光情報を検出する機能を備えている。このため、本特徴構成によれば、新たな機能部を備えなくても第1プロファイル及び第2プロファイルの特徴点に基づいて校正目標の位置、または、当該校正目標の所定部位の位置を特定することが可能となる。したがって、低コストで校正目標検出装置を実現することが可能となる。
また、前記測光領域の測光情報が、測光領域の輝度であると好適である。
このような構成とすれば、検出部が測光領域の輝度を検出するので、第1プロファイル及び第2プロファイルから容易に輝度の変化を検出することが可能となる。したがって、当該輝度に変化に基づき容易に校正目標の位置を特定することが可能となる。
また、前記測光領域の測光情報が、測光領域の色情報であると好適である。
このような構成とすれば、検出部が測光領域の色情報を検出するので、第1プロファイル及び第2プロファイルから容易に色の変化を検出することが可能となる。したがって、当該色の変化に基づき容易に校正目標の位置を特定することが可能となる。
また、前記校正目標が、前記車載カメラの視野の水平面及び当該水平面に垂直な垂直面に対して角度を有し、交点を形成する少なくとも2本の直線により区切られる領域がチェック模様で彩色されてあると好適である。
このような構成とすれば、車載カメラの校正を行う場所においては、同様の形状が少ないため校正目標の誤検出を防止できる。また、チェック模様は、その境界において測光情報が大きく変化するので境界の検出が容易となる。このため、検出に係る演算負荷を軽くすることができるので、高性能な演算処理装置を必要とすることがない。したがって、演算負荷を軽くした上で校正目標の検出精度を高めると共に、校正目標検出装置を低コストで実現することが可能となる。
また、前記検出部が、予め設定された所定の閾値に基づいて露光調整を行うと好適である。
このような構成とすれば、測光情報の差異を明確にすることができる。したがって、校正目標の検出精度を高めることができる。
また、前記特徴点が、前記第1プロファイル及び前記第2プロファイルに含まれるエッジ及び2つのエッジの中点の少なくともいずれか一方であると好適である。
このようなエッジやエッジの中点は第1プロファイル及び第2プロファイルから容易に特定することができるので、高性能な演算処理装置を用いる必要がない。したがって、低コストで実現することができる。
また、本発明に係る校正目標検出方法の特徴構成は、長尺状の測光領域を設定する測光領域設定工程と、前記測光領域の測光情報を車載カメラが備える露出計によって検出する検出工程と、所定の一方向を長尺方向とする長尺状の測光領域が、前記一方向に直交する他方向に沿って走査され、前記他方向の測光情報の変化を示す第1プロファイルを生成すると共に、前記他方向を長尺方向とする長尺状の測光領域が、前記一方向に沿って走査され、前記一方向の測光情報の変化を示す第2プロファイルを生成するプロファイル生成工程と、前記第1プロファイル及び前記第2プロファイルの特徴点に基づいて前記車載カメラにより取得された撮像画像に含まれる前記車載カメラの校正に用いられる校正目標の位置、または、当該校正目標の所定部位の位置を算定する位置算定工程と、を備える点にある。
このような方法によれば、上述の校正目標検出装置と同様に、記憶容量を増加させることなく、確実に校正目標の位置、または、当該校正目標の所定部位の位置を特定することが可能となる。
更に、本発明では、校正目標を検出する校正目標検出装置に好適に用いられるプログラムも権利範囲としており、そのプログラムの特徴構成は、長尺状の測光領域を車載カメラが備える露出計によって設定する測光領域設定機能と、前記測光領域の測光情報を検出する検出機能と、所定の一方向を長尺方向とする長尺状の測光領域が、前記一方向に直交する他方向に沿って走査され、前記他方向の測光情報の変化を示す第1プロファイルを生成すると共に、前記他方向を長尺方向とする長尺状の測光領域が、前記一方向に沿って走査され、前記一方向の測光情報の変化を示す第2プロファイルを生成するプロファイル生成機能と、前記第1プロファイル及び前記第2プロファイルの特徴点に基づいて前記車載カメラにより取得された撮像画像に含まれる前記車載カメラの校正に用いられる校正目標の位置、または、当該校正目標の所定部位の位置を算定する位置算定機能と、をコンピュータに実行させる点にある。
このような校正目標検出装置のためのプログラムも、上述した本発明の対象としての校正目標を検出する校正目標検出方法と同様に上述した作用効果を得ることが可能であり、上述した種々の付加的な特徴構成を備えることができる。
本実施形態に係る校正目標を示す図である。 車両と校正目標との位置関係を示す図である。 本実施形態に係る校正目標検出装置と、当該校正目標検出装置により特定された校正目標を用いて車載カメラの校正を行う車載カメラの校正装置の概略を示すブロック図である。 車載カメラのずれについて示す図である。 校正目標存在領域について示す図である。 校正目標存在領域内での校正目標のばらつきを示す図である。 校正目標存在領域と測光領域と第1輝度プロファイルとの関係について示す図である。 校正目標存在領域と測光領域と第2輝度プロファイルとの関係について示す図である。 校正目標検出装置及び校正装置の処理を示すフローチャートである。 その他の実施形態に係る校正目標と輝度プロファイルとを示す図である。 その他の実施形態に係る校正目標と輝度プロファイルとを示す図である。 その他の実施形態に係る校正目標と輝度プロファイルとを示す図である。 その他の実施形態に係る校正目標と輝度プロファイルとを示す図である。 その他の実施形態に係る校正目標である。
以下、本発明の実施の形態について詳細に説明する。車両100に搭載される車載カメラ20は、例えば後退走行する際や、ユーザの駐車操作を支援する場合等に利用される車両100の後方画像を取得するのに用いられる。このような後方画像は車載カメラ20により撮像画像として取得されるが、画像認識処理を用いて車両100と撮像画像に含まれる障害物との距離を求める演算にも用いられる。しかしながら、車載カメラ20の光軸が予め設定される設定値(例えば設計値)からずれている場合には、車両100から障害物までの距離を演算して求めた結果と実際の距離との間でもずれが発生してしまう。このような状況において、前記演算に基づいて車両100を走行させると障害物に衝突してしまうおそれがある。そこで、車載カメラ20を車両100に取り付けた後、例えば工場において光軸の校正が行われる。
本発明に係る校正目標検出装置200は、そのような工場において車載カメラ20の校正を行う際に用いられる校正目標10の位置を特定するのに利用される。以下、図面を用いて説明する。なお、本実施形態における車載カメラ20の校正とは、車載カメラ20の物理的な位置(実空間上での位置)を変更して校正するものではなく、車載カメラ20が配設された位置や角度と、予め設定された設定値との差分に基づいて車載カメラ20の光軸のずれを演算により校正(補正)するものである。
図1は、本実施形態に係る校正目標10を示す図である。校正目標10は、同一平面状に形成された、少なくとも2本の直線2と外囲図形4とからなる。本実施形態においては、少なくとも2本の直線2は直線2a及び2bの2本であるとして説明する。また、外囲図形4とは、上述の2本の直線2の周囲を囲む図形であり、本実施形態では四角形4aが相当する。このような四角形4a内の2本の直線2a及び2bは、車載カメラ20の視野の水平面及び当該水平面に垂直な垂直面に対して角度を有するように規定される。また、2本の直線2は交点6を形成するように配設される。
また、詳細は後述するが、本校正目標検出装置200は車載カメラ20が有する検出部21により所定の領域毎に測光情報を検出し、当該測光情報の差異に基づいて校正目標10の位置を特定する。校正目標10は、領域毎の測光情報の差異が目立つように、2本の直線2により区切られる領域8がチェック模様で彩色されたものが利用される。図1においては、領域8は4つの領域8a−8dに区切られる。これらの領域8a−8dは、図1に示されるように夫々隣接する領域と異なる色となるようにチェック模様で彩色される。このチェック模様は、特に限定されるものではないが、例えば白と黒との組み合わせや青と赤との組み合わせのように濃淡が明確な色を組み合わせて用いると好適である。もちろん、他の色を組み合わせて彩色することも当然に可能である。このように構成される校正目標10は、上述のように、車載カメラ20により(即ち、車載カメラ20の検出21により)測光情報が検出される。このため、校正目標10は車載カメラ20の検出部21が測光情報を検出可能なように適度な大きさを有して構成される。例えば、外囲図形4を校正する四角形4aの一辺の長さが400mm程度であると好適である。
次に、本実施形態に係る校正目標10を用いた車載カメラ20の校正方法に関して説明する。図2(a)は車両100と校正目標10との位置関係を示す鳥瞰図である。また、図2(b)は車両100と校正目標10との位置関係を示す立面図である。ここで、本実施形態において校正対象となる車載カメラ20は、車両100の後方を撮影するバックカメラである。このような車載カメラ20は、図2に示されるように、車両100の外側後部に備えられるライセンスプレートの近傍、或いは車両100の外側後部に備えられるエンブレムの近傍等に配設される。なお、図2においては、本発明に係る校正目標10をより明確に明示するために、車両100と校正目標10とのサイズの比率は無視して記載している。
校正目標10は車載カメラ20と対向し、夫々が離間して一対で配設される。即ち、図2(a)及び(b)に示されるように、車載カメラ20の視野範囲内に2つ配設される。このような校正目標10は、校正指標10a、10bの一対で車両100の後端面100aからの直交距離が所定距離L1、L2となるように仮想平面上に配設される。例えば、衝立状で配設すると好適である。また、校正指標10a、10bは、夫々が離間して配設される。本実施形態においては、校正指標10a、10bは、その中心が車両100の中心線100bから夫々W1、W2だけ離間して配設される。更に、校正目標10a、10bは、その中心(交点6)が、車両100が駐車される床面100cから夫々H1、H2だけ離間して配設される。
車載カメラ20の校正を行うにあたり、校正目標10a、10bは上述のように配設される。なお、W1及びW2、L1及びL2、H1及びH2は夫々同じ値となるように配設することも可能であるし、夫々異なる値となるように配設することも可能である。このような校正目標10を用いることにより、車載カメラ20の校正を行う場合に誤検出することなく検出することが可能となる。
ここで、本実施形態では、上述の測光情報は輝度が相当する。即ち、測光領域RMの測光情報は、測光領域RMの輝度が相当する。このため、本実施形態では、上述の検出部21は測光部21であるとして説明する。図3は、本発明に係る校正目標検出装置200、及び当該校正目標検出装置200により検出された校正目標10を用いて車載カメラ20の校正を行う校正装置300の構成を模式的に示すブロック図である。校正目標検出装置200は、車載カメラ20と位置算定部30とからなる。車載カメラ20は、測光部21、測光領域設定部22、輝度プロファイル生成部23(本願のプロファイル生成部に相当)の各機能部を備える。また、校正装置300は、校正目標検出装置200、補正カメラ角度演算部40、描画部41、ディスプレイ42を備えて構成される。このように構成される校正目標検出装置200を有する校正装置300は、CPUを中核部材として車載カメラ20の校正を行う種々の処理を行うための上述の機能部がハードウェア又はソフトウェア或いはその両方で構築されている。
上述のように、測光部21、測光領域設定部22、輝度プロファイル生成部23は、車載カメラ20に搭載されている。測光領域設定部22は、長尺状の測光領域RMを設定する。測光領域RMとは、輝度が測光される領域であり、車載カメラ20の視野範囲内において設定される。また、測光領域RMは長尺状で設定され、測光領域設定部22は車載カメラ20の視野範囲内に対応する座標で設定される。本実施形態における視野範囲とは、車載カメラ20がファインダ状態で撮像しているファインダ画像として表示される範囲が相当する。また、対応する座標とは、具体的には測光領域RMの対角線上の2点(例えば第1座標及び第2座標)であり、測光領域設定部22は視野範囲内において第1座標及び第2座標を設定する。このように設定された2つの座標が後述する測光部21に伝達される。なお、測光領域設定部22により設定された測光領域RMは、車載カメラ20の視野範囲内における特定の位置に固定されるものではなく、改めて2つの座標が指定された場合には、他の位置に再設定することが可能である。
このような測光領域設定部22は、車載カメラ22が備えるCPU(Central Processing Unit)やECU(Electronic Control Unit)等により構成することができる。なお、本実施形態では、図2に示されるように2つの校正目標10a、10bが用いられる。したがって、校正目標10a、10bの輝度を測光する場合には、測光領域設定部22は夫々の校正目標10a、10bに応じた測光領域RMを設定する。
検出部21は、測光領域RMの測光情報を検出する。即ち、測光部21は、測光領域RMの輝度を測光する。測光部21の測光対象となる測光領域RMは、上述の測光領域設定部22により設定される。輝度とは明るさ(暗さ)を示す指標である。したがって、測光領域RMの輝度とは、測光領域設定部22により設定された領域の明るさ(暗さ)を示す。なお、このような領域の明るさとして、例えば領域内における明るさを単純平均で求めても良いし、加重平均で求めても良い。また、本実施形態においては、測光部21は車載カメラ20が備える露出計が相当する。したがって、測光機能を有する新たな機能部を備える必要がないので、校正目標検出装置200を低コストで実現できる。
また、測光部21は予め設定された所定の閾値に基づいて露光調整を行うと好適である。このような構成とすれば、測光される場所が暗い場合に特に有効である。即ち、測光される場所が暗い場合には、予め設定された所定の閾値以上の輝度がより明るくなるように露光調整が行われる。また、予め設定された所定の閾値より小さい輝度がより暗くなるように露光調整を行っても良い。このように測光部21により測光された輝度は、後述する輝度プロファイル生成部23に伝達される。
輝度プロファイル生成部23は、第1輝度プロファイル(本願の第1プロファイルに相当)を生成する。第1輝度プロファイルとは、所定の一方向を長尺方向とする長尺状の測光領域RMが、一方向に直交する他方向に沿って走査され、当該他方向の輝度の変化を示すプロファイルである。本実施形態においては、所定の一方向とは鉛直方向である。また、一方向に直交する他方向とは水平方向である。また、長尺方向とは長尺の長手方向である。したがって、本実施形態における第1輝度プロファイルは、鉛直方向を長手方向とする長尺状の測光領域RMが、水平方向に沿って走査されて得られた水平方向の輝度の変化を示すプロファイルが相当する。なお、以下の説明においては特に断りがない限り一方向を鉛直方向とし、他方向を水平方向として説明する。
このように、第1輝度プロファイルを生成する場合には、測光領域RMは水平方向に走査される。したがって、測光領域設定部22は測光領域RMを水平方向に沿って順次、座標をシフトするように設定する。また、上述のように測光領域RMは鉛直方向を長手方向とする長尺状で設定される。この場合、測光領域RMの長手方向の長さは、少なくとも輝度の検出対象となる検出対象領域(本実施形態にあっては、後述する校正目標存在領域F)の鉛直方向の長さより長くなるように設定される。このように設定される測光領域RMの位置が、順次、変更され、当該位置の変更毎に測光して得られた輝度を用いてグラフ化したものが第1輝度プロファイルとなる。
また、輝度プロファイル生成部23は、第2輝度プロファイル(本願の第2プロファイルに相当)も生成する。本実施形態では、上述の第1輝度プロファイルが取得された後、第2輝度プロファイルが生成される。第2輝度プロファイルとは、他方向を長尺方向とする長尺状の測光領域RMが一方向に沿って走査され、当該一方向の輝度の変化を示すプロファイルである。上述のように、本実施形態においては、一方向は鉛直方向であり、他方向は水平方向である。したがって、本実施形態における第2輝度プロファイルは、水平方向を長手方向とする長尺状の測光領域RMが、鉛直方向に沿って走査されて得られた鉛直方向の輝度の変化を示すプロファイルが相当する。
このように、第2輝度プロファイルを生成する場合には、測光領域RMは鉛直方向に走査される。したがって、測光領域設定部22は測光領域RMを鉛直方向に沿って順次、座標をシフトするように設定する。また、上述のように測光領域RMは水平方向を長手方向とする長尺状で設定される。この場合、測光領域RMの長手方向の長さは、少なくとも輝度の検出対象となる検出対象領域(本実施形態にあっては、後述する校正目標存在領域F)の水平方向の長さより長くなるように設定される。このように設定される測光領域RMの位置が、順次、変更され、当該位置の変更毎に測光して得られた輝度を用いてグラフ化したものが第2輝度プロファイルとなる。
このような第1輝度プロファイル及び第2輝度プロファイルを生成する輝度プロファイル生成部23は、車載カメラ22が備えるDSP(Digital Signal Processor)により構成することができる。なお、本実施形態では、図2に示されるように2つの校正目標10a、10bが用いられる。したがって、輝度プロファイル生成部23は、校正目標10a、10b夫々の第1輝度プロファイル及び第2輝度プロファイルを生成する。
輝度プロファイル生成部23は測光部21から測光された輝度が伝達されると、その旨を示す信号を測光領域設定部22に伝達する。測光領域設定部22は、前記信号が伝達されると、改めて測光領域RMを設定する。これにより、測光領域RMの位置を順次変更しながら輝度を測光することが可能となる。
位置算定部30は、第1輝度プロファイル及び第2輝度プロファイルの特徴点に基づいて車載カメラ20により取得された撮像画像に含まれる車載カメラ20の校正に用いられる校正目標10の位置を算定する。第1輝度プロファイル及び第2輝度プロファイルは、上述の輝度プロファイル生成部23により生成され、記憶されている。車載カメラ20により取得された撮像画像とは、本実施形態では、車載カメラ20がファインダ状態で撮像しているファインダ画像である。このため本実施形態では、車載カメラ20の構成に用いられる校正目標10が、当該ファインダ画像に含まれるように撮像画像が取得される。位置算定部30は、輝度プロファイル生成部23により記憶されている第1輝度プロファイル及び第2輝度プロファイルを参照して、夫々のプロファイルの特徴点を抽出し、校正目標10の位置を算定する。
この特徴点は、第1輝度プロファイル及び第2輝度プロファイルに含まれるエッジ及び2つのエッジの中点の少なくともいずれか一方が相当する。校正目標10の特徴は、車載カメラ20を校正する時点で既知である。車載カメラ20の校正を行う場合には、当該校正に用いる校正目標10を予め選択し、図2で示されるような位置に配設するからである。校正目標10の特徴が線と線との境界とするものであれば、位置算定部30は特徴点として第1輝度プロファイル及び第2輝度プロファイルのエッジが用いられる。また、校正目標10の特徴が線と線との中間点とするものであれば、位置算定部30は特徴点として第1輝度プロファイル及び第2輝度プロファイルの2つのエッジの中点が用いられる。もちろん、エッジ及び2つのエッジの中点の双方を用いて特徴点を抽出する形態とすることも可能であるし、第1輝度プロファイル及び第2輝度プロファイルの夫々異なる手法により特徴点を抽出することも当然に可能である。このような校正目標10の特徴は、ユーザにより予め設定され、例えば位置算定部30に記憶される。
位置算定部30は、上述のような校正目標10の特徴点に基づいて校正目標10の位置を算定する。本実施形態では、図2に示されるように2つの校正目標10a、10bが用いられる。したがって、位置算定部30は、双方の校正目標10a、10bの位置を算定する。位置特定部30により算定された校正目標10の位置は、後述する補正カメラ角度演算部40に伝達される。なお、車載カメラ20の校正を行う場合には、図2に示されるような2つの校正目標10a及び10bの位置が特定される。本発明に係る校正目標検出装置200は、このようにして校正目標10を検出し、その位置を特定する。
補正カメラ角度演算部40は、既知である車載カメラ20の搭載位置と車載カメラ20を搭載する搭載角度の設定値と校正目標10a、10bの配設位置とから、仮想画像上での左右の校正目標10a、10bに対応する対応点を演算し、上述の位置算定部30により算定された校正目標10a、10b(特に夫々の交点6)との差分から補正カメラパラメータを演算する。補正カメラパラメータは、カメラパラメータにおいて、設計値と実際の値との差を意味している。したがって、補正カメラパラメータで設計値を補正することで実際の値に補正されることになる。
補正カメラ角度の演算は、一対の校正目標10a、10bから設定された一対の校正点(例えば一対の交点6)に対応し、車載カメラ20の搭載位置に応じて予め設定される一対の設定点と、撮像画像に含まれる一対の校正目標10a、10bとに基づいて車載カメラ20を車両100に搭載した際に含まれる光軸のずれを補正する補正カメラ角度を演算する。一対の校正目標10a、10bから設定された一対の校正点に対応し、車載カメラ20の搭載位置に応じて予め設定される一対の設定点とは、仮想画像上での左右の校正点に対応する一対の対応点が相当する。この一対の対応点と、一対の校正点との差分を演算し、当該差分に基づいて車載カメラ20を車両100に搭載した際に含まれる光軸のずれを補正する補正カメラ角度を演算する。
補正カメラ角度は、車載カメラ20の角度を補正するのに利用される。ここでは、この補正カメラ角度は、車載カメラ20により取得された撮像画像をディスプレイ42に表示し、描画部41が当該撮像画像に所定の描画(例えば、車両100を駐車スペースに駐車させたり、後退走行をさせたりする際に運転者の運転を支援する公知の駐車支援装置や運転支援装置等における車両100の進路を予想した予想進路線等)を重畳する際に好適に利用される。すなわち、車載カメラ20の角度が設計値からずれていた場合に、その車載カメラ20の撮像画像と、前記設計値から描画する描画を重畳させると、撮像画像と描画にずれが生じ、運転者が誤認してしまう。係る場合に、この補正カメラ角度に基づいて実際の撮像画像(設計値からずれていたカメラ角度で設置された車載カメラ20で撮影された撮像画像)に適した描画に補正する。このため、車載カメラ20により取得された撮像画像に、前記所定の描画を正確に重畳することが可能となる。
また、補正カメラ角度は、車載カメラ20の角度を補正する角度を演算して撮像画像を補正するのに利用することも可能である。車載カメラ20の角度とは、車載カメラ20のレンズの鉛直方向に沿った車載カメラ20の角度(回転角)、車載カメラ20の鉛直方向の角度(仰角)、車載カメラ20の水平方向の角度(方位角)が相当する。このような場合、上述の車載カメラ20の角度を補正する角度とは、車載カメラ20のレンズの鉛直方向に沿った車載カメラ20の角度を補正する回転角(Roll角)、車載カメラ20の鉛直方向の角度を補正する仰角(Tilt角)、車載カメラ20の水平方向の角度を補正する方位角(Pan角)とからなり、補正カメラ角度を用いると、車載カメラ20の各角度を補正することが可能である。
ここで、車載カメラ20が、例えば図4に示されるようなX軸、Y軸、Z軸からなる座標系において、車載カメラ20のレンズの鉛直方向がZ軸方向を向いて中心Oに配設されているとする。このような場合にあっては、Roll角は図4のZ軸周りの角度(θR)を補正する回転角が相当する。また、Tilt角は図4のY軸周りの角度(θT)を補正する角度が相当する。また、Pan角は図4のX軸周りの角度(θP)を補正する角度が相当する。
したがって、車載カメラ20により撮像された撮像画像をRoll角に合わせて回転(面回転)し、当該Roll角に合わせて回転された撮像画像をTilt角に合わせて仰角を調整し、当該Tilt角に合わせて水平方向の角度を調整する。このような角度を用いることにより、上述のように撮像画像に前記所定の描画を正確に重畳することも可能であるし、また、製品毎の撮像範囲のばらつきを抑制することも可能となる。このように本校正装置300によれば、本発明に係る校正目標検出装置200により特定された校正目標10の位置を用いることにより、車載カメラ20を車両100に搭載した際に含まれる光軸のずれを好適に校正(補正)することができる。
更に、上記所定の描画の補正を行う以外の利用例として、上記の車載カメラ20の角度を補正する回転角、仰角、方位角を用いて、車載カメラ20により取得された撮像画像そのものを補正してディスプレイ42に表示することも可能である。或いは、車載カメラ20で取得された撮像画像に含まれる表示物(例えば、車線や物体等)の位置を上記のカメラ20の角度を補正する回転角、仰角、方位角を用いて補正することにより、正確な位置の特定に利用することも可能である。
また、車載カメラ20が中心Oに配設されていない場合には、車載カメラ20の角度を補正する回転角、仰角、方位角以外に、図4において黒ベタ矢印X1、Y1、Z1で示されたX軸、Y軸、Z軸の沿った車載カメラ20の位置自体を補正することも当然に可能である。
ここで、上述のように、測光領域設定部22は測光部21が測光する測光領域RMを長尺状の形状で設定する。本実施形態においては、測光領域設定部22は車載カメラ20で撮像可能な全撮像範囲に亘って測光する領域を設定するわけではない。測光領域設定部22は、既知である車載カメラ20の搭載位置と、車載カメラ20の搭載角度の設定値と、校正目標10a及び10bの配設位置と、車載カメラ20の搭載角度のばらつきと、から校正目標10が存在すると予測される校正目標存在領域F内において設定する。以下、具体的に車載カメラ20の校正目標10の検出について説明する。
校正装置300により車載カメラ20の校正が開始されると、車載カメラ20はファインダ画像として図5に示されるような情景を撮像する。図5に示されるように、校正目標10a及び10bは、校正目標存在領域F内に存在する。校正指標存在領域Fは、車載カメラ20の取り付け公差等を考慮して設定されるからである。すなわち、車載カメラ20を搭載する工場等において、予め設定された所定の誤差範囲内で車両100に搭載した場合、基本的に校正目標10a及び10bは、図6の白抜き矢印で示されるように校正目標存在領域F内で位置がばらつくことがあったとしても、校正目標存在領域Fの内部に位置することとなる。
このため、測光部21が測光する測光領域RMは、校正目標存在領域Fの内部だけで良い。したがって、測光領域設定部22は、測光部21が校正目標存在領域Fの内部を走査して測光可能なように測光領域RMの設定を行う。このような構成とすれば、車載カメラ20のファインダ画像として表示される全範囲に亘って測光を行う必要がないので、測光に要する時間を短くすることができると共に、測光に要する演算処理負荷を軽減することが可能となる。したがって、高性能でない測光部21を用いることができるので、低コストで実現することが可能となる。
次に、測光部21が行う測光について説明する。上述のように、測光領域設定部22は測光部21が校正目標存在領域Fの内部を走査して測光するように測光領域RMの設定を行う。測光領域設定部22は、図7に示されるように測光領域RMが校正目標存在領域Fの内部を水平方向に走査するように設定する。測光部21が水平方向に沿って走査する場合には、測光領域RMは鉛直方向を長手方向とする長尺状の測光領域RMが設定される。この場合、測光領域RMの鉛直方向の長さは少なくとも校正目標存在領域Fの鉛直方向の長さ以上に設定される。また、測光領域RMの水平方向の長さは、車載カメラ20の解像度に応じて設定される。より具体的には、数ピクセルで設定される。例えば図7に示される校正目標存在領域Fが100ピクセル×100ピクセルの領域である場合には、鉛直方向の長さは100ピクセル、水平方向の長さは8ピクセルとして設定される。
測光部21は、このように測光領域設定部22により設定された測光領域RMの輝度を測光する。なお、本実施形態においては、測光部21は車載カメラ20により撮像して記憶された撮像画像の輝度を測光するのではなく、車載カメラ20がファインダ状態にある時点での輝度を測光する。したがって、輝度の測光状態にあっては、ファインダ機能で撮像される撮像画像が表示されるのみである。
測光部21が、設定された測光領域RM(例えば図7(a)に示された測光領域RM)の輝度の測光が終了すると、測光領域設定部22は次に測光する測光領域RMの設定を行う。この際、設定される測光領域RMの鉛直方向の長さは図7(a)と同様に校正目標存在領域Fの鉛直方向の長さ以上に設定される。また、測光領域RMの水平方向の位置は、図7(a)で示された位置から1ピクセルずらして設定される。したがって、長尺状の測光領域RMが1ピクセル、水平方向にスライド移動したこととなる。このように測光領域RMを水平方向にスライド移動する場合には、スライド移動の変位量(例えば1ピクセル)を少なくとも水平方向の長さ(例えば8ピクセル)以下にすることで、平均的な輝度の変化を測光することが可能となる。
このような測光領域設定部22による1ピクセルずつのスライド移動による設定と、測光部21による輝度の測光とは繰り返し行われ(図7(b)には途中経過の様子を示している)、最終的には図7(c)に示されるように校正目標存在領域Fの水平方向終端まで行われる。したがって、測光領域RMが水平方向に走査され、水平方向の輝度の変化を取得することが可能となる。このように取得された輝度の変化は、輝度プロファイル生成部23に伝達され、当該輝度プロファイル生成部23では、水平方向の輝度の変化を示す第1輝度プロファイルが生成される。このような第1輝度プロファイルも図7に示されている。
縦軸は輝度の強度を示し、横軸は測光された輝度が取得されたステップ(水平方向の位置に相当)を示している。本実施形態で用いられる校正目標10にあっては、図7(c)に示されるように測光当初は明るい部分(白部分)のみであるため、輝度が一定(P1)となる。その後、測光領域RMが校正目標10に達すると、暗い部分(黒部分)が急激に増加するため輝度はP1から小さくなる。そして、測光領域RMの水平方向の全幅が校正目標10に完全に重複すると輝度は大きくなり始め、ピークPHを有する形状となる。更にその後、測光領域RMが校正目標10から離間し始めるまで輝度は小さくなる。この場合の輝度はP2である。測光領域RMが校正目標10から離間し始めると輝度は大きくなり、測光領域RMが完全に校正目標10から離間した際、輝度が一定値となる。
位置算定部30は、このような第1輝度プロファイルから特徴点であるピークPHに基づき、2本の直線2a及び2bの交点6を特定することが可能である。ここで、本実施形態では、測光領域RMは水平方向に8ピクセル分の幅を有して設定されている。したがって、ピークPHは、測光領域RMが交点6に達した時点に得られるわけではなく、測光領域RMの水平方向中心部が交点6に達した場合に得られることとなる。したがって、位置算定部30は、ピークPHが得られた時点(位置座標)から、測光領域RMの水平方向の幅の半分(本実施形態では4ピクセル)戻った位置が、校正目標10の中心点であると特定する。また、校正目標10は、輝度が一定値(P1)から下がる位置と輝度P2が測光された位置との間に校正目標10が位置していると特定する。
測光領域設定部22は、水平方向の輝度の測光が終了すると、続いて当該水平方向と直交する方向である鉛直方向に測光領域RMが移動するように設定する。図8(a)は、その測光の開始時の状態を示している。測光部21は、これに応じて輝度を測光する。鉛直方向の測光領域RMの長さは少なくとも校正目標存在領域Fの水平方向の長さ以上に設定される。また、測光領域RMの鉛直方向の長さは、上述の水平方向の走査と同様に、数ピクセル(例えば8ピクセル)で設定される。
このように測光領域設定部22による測光領域RMの設定と、測光部21による測光領域RMにおける輝度の測光とが終了すると、上述の水平方向の走査と同様に、測光領域設定部22により測光領域RMが1ピクセルずつ鉛直方向にスライド移動され、測光部21により輝度の測光が行われる。このように測光領域RMを鉛直方向にスライド移動する場合には、スライド移動の変位量(例えば1ピクセル)を少なくとも鉛直方向の長さ(例えば8ピクセル)以下にすることで、平均的な輝度の変化を測光することが可能となる。
このような測光領域RMの設定と、輝度の測光とは、図8(b)に示されるように継続して行われ、最終的には図8(c)に示される鉛直方向終端まで行われる。このように取得された輝度の変化は、輝度プロファイル生成部23に伝達され、当該輝度プロファイル生成部23では、鉛直方向の輝度の変化を示す第2輝度プロファイルが生成される。
図8には、このように生成された第2輝度プロファイルも示されている。縦軸は輝度の強度を示し、横軸は測光された輝度が取得されたステップ(水平方向の位置に相当)を示している。測光当初は明るい部分(白部分)のみであるため、輝度が一定(P3)となる。その後、測光領域RMが校正目標10に達すると、暗い部分(黒部分)が徐々に増加するため輝度はP3から小さくなる。そして、暗い部分の増加と共に輝度が小さくなり、輝度プロファイルはピークPVを有する形状となる。更にその後、輝度が大きくなり、測光領域RMが校正目標10から完全に離間した際に一定値(P4)になる。
位置算定部30は、このような第2輝度プロファイルから特徴点であるピークPVに基づき、2本の直線2a及び2bの交点6を特定することが可能である。ここで、本実施形態では、測光領域RMは鉛直方向に8ピクセル分の幅を有して設定されている。したがって、ピークPVは、測光領域RMが交点6に達した時点に得られるわけではなく、測光領域RMの鉛直方向中心部が交点6に達した場合に得られることとなる。したがって、位置算定部30は、ピークPVが得られた時点(位置座標)から、測光領域RMの鉛直方向の幅の半分(本実施形態では4ピクセル)戻った位置が、校正目標10の中心点であると特定する。また、本実施形態における第2輝度プロファイルでは、測光領域RMが完全に校正目標10の鉛直方向から離間した際に一定値となる。このため、再度一定値となる位置(P4)から8ピクセル分戻った位置が校正目標10の端部に相当する。したがって、位置算定部30は、輝度が一定値(P3)から下がる位置と、再度一定値(P4)となった位置から8ピクセル分戻った位置との間に校正目標10が位置していると特定する。
次に、本発明に係る校正目標検出装置200が校正目標10を検出するフローについてフローチャートを用いて説明する。図9は、校正目標検出装置200による校正目標10の検出に係るフローチャートである。なお、図9においては、校正目標200により検出された校正目標10の位置を用いて車載カメラ20の校正を行う校正装置300に係るフローも示している。
輝度の測定を開始する場合には(ステップ#01:Yes)、校正目標存在領域Fの露光調整が行われる(ステップ#02)。当該露光調整は、校正目標存在領域Fの明るさに応じて行われ、予め設定された所定の閾値以上の明るい部分が目立つように調整される。測光領域設定部22は、水平方向用の測光領域RMの設定を行う(ステップ#03)。このような測光領域RMは、測光部21が測光する領域に相当し、長尺状の測光領域RMとして設定される。このように長尺状の測光領域RMを設定する工程は、測光領域設定工程と称される。
次に、測光部21が、測光領域RM内の輝度を測光する(ステップ#04)。このように測光部21が測光領域RMの輝度(測光情報)を測光(検出)する工程は測光工程(検出工程)と称される。測光部21により測光された輝度は、輝度プロファイル生成部23に伝達され、記憶される(ステップ#05)。ここで、当該測光に係る測光領域RMが校正目標存在領域F内の水平方向の終端に到達していない場合には(ステップ#06:No)、測光領域設定部22は測光領域RMを水平方向に所定量ずらして設定する(ステップ#07)。その後、ステップ#04から処理を継続する。
一方、測光領域RMが校正目標存在領域F内の水平方向の終端に到達した場合には(ステップ#06:Yes)、水平方向の測光を終了し、鉛直方向の測光に係る処理を開始する。まず、測光領域設定部22は鉛直方向用の測光領域RMの設定を行う(ステップ#08)。このような測光領域RMは、測光部21が測光する領域に相当し、長尺状の測光領域として設定される。このように長尺状の測光領域RMを設定する工程は、測光領域設定工程と称される。
次に、測光部21が測光領域RM内の輝度を測光する(ステップ#09)。このように測光部21が測光領域RMの輝度(測光情報)を測光(検出)する工程は測光工程(検出工程)と称される。測光部21により測光された輝度は、輝度プロファイル生成部23に伝達され、記憶される(ステップ#10)。ここで、当該測光に係る測光領域RMが校正目標存在領域F内の鉛直方向の終端に到達していない場合には(ステップ#11:No)、測光領域設定部22は測光領域RMを鉛直方向に所定量ずらして設定する(ステップ#12)。その後、ステップ#09から処理を継続する。
一方、測光領域RMが校正目標存在領域F内の鉛直方向の終端に到達した場合には(ステップ#11:Yes)、鉛直方向の測光を終了する。このような処理を経て、水平方向の輝度の変化を示す第1輝度プロファイル(第1プロファイル)と、鉛直方向の輝度の変化を示す第2輝度プロファイル(第2プロファイル)とが生成される。このような第1輝度プロファイルと第2輝度プロファイルとを生成する工程は、輝度プロファイル生成工程(プロファイル生成工程)と称される。
次に、位置算定部30が第1輝度プロファイル及び第2輝度プロファイルの特徴点に基づいて車載カメラ20により取得された撮像画像に含まれる当該車載カメラ20の校正に用いられる校正目標10及びその交点(中心点)6の位置を算定する(ステップ#13)。このような工程は、位置算定工程と称される。本発明に係る校正目標検出装置200は、このようにして校正目標10の位置を特定する。
上述のように位置が算定された校正目標10の他に校正目標10があれば(ステップ#14:No)、ステップ#03に戻り、他の校正目標10の位置の算定が行われる。一方、他の校正目標10がなければ(ステップ#14:Yes)、車載カメラ20の校正装置300は、校正目標検出装置200により特定された校正目標10の位置に基づいてずれ量を検出する(ステップ#15)。このずれ量はカメラ20の角度を補正する回転角、仰角、方位角に相当し、当該ずれ量は所定の記憶部に記憶される(ステップ#16)。このようなフローに沿って処理が行われる。
〔その他の実施形態〕
上記実施形態では、校正目標10は、車載カメラ20の視野の水平面及び当該水平面に垂直な垂直面に対して角度を有し、交点6を形成する少なくとも2本の直線2により区切られる領域8がチェック模様で彩色されてあるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。例えば、図10に示されるような車載カメラ20の視野の水平面及び当該水平面に垂直な垂直面に対して角度を有していない複数の直線2a−2hにより区切られる領域が、チェック模様で彩色されてある校正目標10を用いることも可能である。
図10には、その他の実施形態に係る校正目標10が示される。また、校正目標10の下部には水平方向の輝度の変化を示す第1輝度プロファイルが示され、校正目標10の左部には鉛直方向の輝度の変化を示す第2輝度プロファイルが示される。図10に示されるような車載カメラ20の視野の水平面及び当該水平面に垂直な垂直面に対して角度を有していない複数の直線2a−2hからなる校正目標10であっても、好適に輝度プロファイルを生成することが可能である。図10に示される第1輝度プロファイルより、校正目標10は輝度が一定値(P1)から下がる位置と最終的に一定値となる前に輝度(P2)が得られた位置との間に位置していると特定することが可能である。また、図10に示される第2輝度プロファイルより、校正目標10は輝度が一定値(P3)から下がる位置と最終的に一定値となる前に輝度(P4)が得られた位置との間に位置していると特定することが可能である。
また、このような校正目標10を用いる場合には、直線2b、2c、2f及び2gの中心を校正目標10の中心点6として特定することが可能である。係る場合には、第1輝度プロファイルにおける2つのエッジP11及びP21の中点を直線2b及び2cの中心と特定される。また、第2輝度プロファイルにおける2つのエッジP31及びP41の中点を直線2f及び2gの中心と特定される。このように本発明に係る校正目標検出装置200は、車載カメラ20の視野の水平面及び当該水平面に垂直な垂直面に対して角度を有していない複数の直線2a−2hからなる校正目標10であっても好適に検出することが可能である。
更に、図11に示されるような車載カメラ20の視野の水平面及び当該水平面に垂直な垂直面に対して角度を有する複数の直線2a及び2bと、四角形3とからなる校正目標10を用いることも可能である。図11には、校正目標10の下部に水平方向の輝度の変化を示す第1輝度プロファイルが示され、校正目標10の左部には鉛直方向の輝度の変化を示す第2輝度プロファイルが示される。上記第1の実施形態と同様に、校正目標10は、第1輝度プロファイルにおいて輝度が一定値(P1)から下がる位置と、最終的に一定値(P2)となる位置から測光領域RMの幅だけ戻った位置との間に位置していると特定することが可能である。また、第2輝度プロファイルより、校正目標10は、輝度が一定値(P3)から下がる位置と最終的に一定値となる前に輝度(P4)が得られた位置との間に位置していると特定することが可能である。
更に、第1輝度プロファイルにおけるピーク値PHが得られた位置から測光領域RMの幅の半分(本実施形態では4ピクセル)戻った位置、及び第2輝度プロファイルにおけるピーク値PVが得られた位置から測光領域RMの幅の半分(本実施形態では4ピクセル)戻った位置に、図11に示される校正目標10の交点(中心点)6があると特定することが可能である。このように、2本の直線2a及び2bと四角形3とからなる校正目標10であっても好適に校正目標10の位置及び交点(中心点)6を特定することが可能である。また、四角形3は、例えば円でも良い。このような校正目標10であっても、好適に校正目標10の位置及び交点(中心点)6(校正目標10の所定部位の位置)を特定することが可能である。
上記実施形態では、測光領域設定部22は校正目標存在領域Fの内部を測光領域RMがスライド移動するように設定するとして説明した。即ち、図12に示される校正指標10にあっては、水平方向の輝度の測光はY1を長尺状の長手方向としてX1の範囲で行われ、鉛直方向の輝度の測光はX1を長尺状の長手方向としてY1の範囲で行われるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。位置算定部30は水平方向の輝度の変化を示す第1輝度プロファイルに基づいて校正目標10の水平方向の位置を特定することが可能である。即ち、図12にあっては、位置算定部30は、第1輝度プロファイルに基づいてX2で示される範囲に校正目標10があると特定することが可能である。このため、水平方向の輝度の測光の後に行われる鉛直方向の輝度の測光にあっては、X2を長尺状の長手方向としてY1の範囲で行うように校正することも可能である。このような手法によれば、先に行われた水平方向の輝度の測光により生成された第1輝度プロファイルに応じて、水平方向におけるX2より外の領域には校正目標10は存在しないと特定することができるので、不要な領域(水平方向におけるX2より外側の領域)の測光を行う必要がなくなる。したがって、演算処理負荷を軽減することができると共に、校正目標10の検出に要する時間を短縮することが可能となる。
図12には、このようにして取得された第1輝度プロファイル(校正目標10の下部に示される輝度プロファイル)及び第2輝度プロファイル(校正目標10の左部に示される輝度プロファイル)が示される。特に図12に示される鉛直方向の輝度の変化を示す第2輝度プロファイルが、長尺状の長手方向をX2として測光した輝度プロファイルである。このような測光であっても、図10に示される輝度プロファイルと同様に、校正目標10は輝度が一定値(P1)から下がる位置と最終的に一定値となる前に輝度(P2)が得られた位置との間に位置していると特定することが可能である。また、図12に示される第2輝度プロファイルより、校正目標10は輝度が最初に得られた位置(P3)と最終的に得られた位置(P4)との間に位置していると特定することが可能である。また、第1輝度プロファイルの2つのエッジP11及びP21の中点、及び第2輝度プロファイルの2つのエッジピーク値P31及びP41の中点を校正目標10の中心と特定することも可能である。
また、校正目標10の単純なものの一つとして、図13に示す校正目標10を用いることも可能である。校正目標10の下部には水平方向の輝度の変化を示す第1輝度プロファイルが示され、校正目標10の左部には鉛直方向の輝度の変化を示す第2輝度プロファイルが示される。図13に示されるような単純な校正目標10であっても、好適に輝度プロファイルを生成することが可能である。図13に示される第1輝度プロファイルより、校正目標10は輝度が一定値(P11)から下がる位置と最終的に一定値となる前に輝度(P21)が得られた位置との間に位置していると特定することが可能である。また、図13に示される第2輝度プロファイルより、校正目標10は輝度が一定値(P31)から下がる位置と最終的に一定値となる前に輝度(P41)が得られた位置との間に位置していると特定することが可能である。
また、このような校正目標10を用いる場合には、校正目標10の中心点6として特定することが可能である。係る場合には、第1輝度プロファイルにおける2つのエッジP11及びP21の中点を水平方向の中心と特定される。また、第2輝度プロファイルにおける2つのエッジP31及びP41の中点を鉛直方向の中心と特定される。このように本発明に係る校正目標検出装置200は、図13に示されるような単純な校正目標10であっても好適に検出することが可能である。また、図13に示される校正目標10にあっては、当該校正目標10の内部にある四角形は円形とすることも可能であるし、他の形状とすることも当然に可能である。このような校正目標10であっても、好適に校正目標10の位置及び中心点6を特定することが可能である。
上記実施形態では、測光部21は車載カメラ20のファインダ画像内に設定された測光領域RMの輝度の測光を行うとして説明した。即ち、車載カメラ20が備えるバッファメモリ等に一次記憶される撮像画像を用いて輝度を測光するとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。車載カメラ20により一旦取得された撮像画像、即ち車載カメラ20が備える保存メモリ等に保存されてある撮像画像に対して測光領域RMを設定し、輝度を測光するような構成とすることも可能である。このような校正の校正目標検出装置200であっても、本願発明の権利範囲であることは当然である。
上記実施形態では、測光領域設定部22は、測光領域RMの短手方向の長さを8ピクセルであるとして説明した。また、スライド移動させるのに設定される移動量は1ピクセルであるとして説明した。これらは、単なる例示である。したがって、他の量で設定することも可能であるし、スライド移動する場合に、先に測光された測光領域RMと後に設定された測光領域RMとが全く重複しないように設定する構成とすることも当然に可能である。
上記実施形形態では、校正目標検出装置200及び校正目標10を検出する方法について説明した。本発明では、これらの発明以外に、校正目標検出装置200に好適に用いられる校正指標目標検出装置200のプログラムも権利範囲としている。そのプログラムの特徴構成は、長尺状の測光領域RMを設定する測光領域設定機能と、測光領域RMの測光情報を検出する検出機能とをコンピュータに実行させ、更に、所定の一方向を長尺方向とする長尺状の測光領域RMが、一方向に直交する他方向に沿って走査され、当該他方向の測光情報の変化を示す第1プロファイルを生成すると共に、他方向を長尺方向とする長尺状の測光領域RMが、一方向に沿って走査され、当該一方向の測光情報の変化を示す第2プロファイルを生成するプロファイル生成機能と、第1プロファイル及び第2プロファイルの特徴点に基づいて車載カメラ20により取得された撮像画像に含まれる車載カメラ20の校正に用いられる校正目標10の位置を算定する位置算定機能と、をコンピュータに実行させる点にある。このような校正目標検出装置200のためのプログラムも、上述した本発明の対象としての校正目標10を検出する校正目標検出方法と同様に、上述した作用効果を得ることが可能であり、上述した種々の付加的な特徴構成を備えることができる。
上記実施形態では、一方向が鉛直方向であり、他方向が水平方向であるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。一方向を水平方向とし、他方向を鉛直方向とすることも当然に可能である。また、一方向及び他方向を水平方向及び鉛直方向以外の方向とすることも当然に可能である。即ち、一方向と他方向とが互いに直交する方向であれば良い。
上記実施形態では、測光領域RMの設定は、測光領域設定部22が校正目標存在領域F内を測光領域RMがスライド移動するように座標で設定されるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。例えばユーザによる外部入力に基づいて測光領域設定部22が測光領域RMを設定する構成とすることも当然に可能である。このような構成とすれば、車載カメラ20の校正を行うユーザが任意に測光領域RMを設定することが可能となる。
上記実施形態では、校正目標10は衝立上に配設されてあるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。例えば床面にペイントされた校正目標10であっても、本校正目標検出装置200により校正目標10を検出することは当然に可能である。
上記実施形態では、第1輝度プロファイル及び第2輝度プロファイルの特徴点に基づいて校正目標10の位置や中心を特定する場合に、測光領域RMの幅を考慮して特定するとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。測光領域RMの幅が小さい場合には、当該幅を無視して校正目標10の位置や中心を特定することも当然に可能である。
即ち、図7に示される第1輝度プロファイルにあっては輝度が一定値(P1)から小さくなる位置と、最終的に輝度が一定値となる位置との間に校正目標10が存在すると特定し、ピークPHが得られた位置が校正目標10の交点6であるとして特定することが可能である。また、図8に示される第2輝度プロファイルにあっては輝度が一定値(P3)から小さくなる位置と、最終的に輝度が一定値となる位置との間に校正目標10が存在すると特定し、ピークPVが得られた位置が校正目標10の交点6であるとして特定することが可能である。このように測光領域RMの幅を無視して校正目標10の位置や中心を特定することも当然に可能である。
上記実施形態では、検出部21が測光部21であり、測光領域RMの測光情報が測光領域RMの輝度であるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。測光領域RMの測光情報を、測光領域RMの色情報とすることも当然に可能である。係る場合には、例えば校正目標10を、装置側で既知の色である青と赤とで色分けし、測光領域RMの平均色情報を検出する構成とすると好適である。このような構成であっても、校正目標10の位置を好適に特定することが可能である。
上記実施形態では、水平方向及び鉛直方向夫々1回の走査で校正目標10を特定したが、本発明の適用範囲はこれに限定されるものではない。水平方向及び鉛直方向の夫々の1回の走査でまずは校正目標10の存在領域をおおよそ特定し、次に特定した領域内を再度水平方向及び鉛直方向夫々に走査しても良い。即ち、走査を繰り返して行うことも可能である。このように繰り返し行うことにより校正目標10をより精度良く特定することが可能となる。
上記実施形態では、1つの校正目標10に対して水平方向及び鉛直方向に走査して当該校正目標10の中心点6を特定するとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。例えば、図14に示されるように水平方向用の校正目標10と鉛直方向用の校正目標10とを上下に並べて配置したものを用いることも可能である。係る場合には、まず、図14に示されるように上側に配置される鉛直方向用の校正目標10を鉛直方向に走査して、鉛直方向に対する基準線(図14において、横方向の破線で示す)を検出する。次に、図14に示されるように下側に配置される水平方向用の校正目標10を水平方向に走査して、水平方向に対する基準線(図14において縦方向の破線で示す)を検出する。そして、上記鉛直方向に対する基準線と水平方向に対する基準線とによって、交差する点を中心点6として特定することが可能である。このような校正目標10を用いる場合であっても、好適に校正目標10の位置を特定することは当然に可能である。
本発明は、記憶容量が増加することなく、低コストで実現可能な校正目標検出装置と、校正目標を検出する校正目標検出方法と、校正目標検出装置のためのプログラムに用いることが可能である。
20:車載カメラ
21:測光部(検出部)
22:測光領域設定部
23:輝度プロファイル生成部(プロファイル生成部)
30:位置算定部
40:補正カメラ角度演算部
41:描画部
42:ディスプレイ
200:校正目標検出装置
300:校正装置

Claims (8)

  1. 長尺状の測光領域を設定する測光領域設定部と、
    前記測光領域の測光情報を車載カメラが備える露出計によって検出する検出部と、
    所定の一方向を長尺方向とする長尺状の測光領域が、前記一方向に直交する他方向に沿って走査され、前記他方向の測光情報の変化を示す第1プロファイルを生成すると共に、前記他方向を長尺方向とする長尺状の測光領域が、前記一方向に沿って走査され、前記一方向の測光情報の変化を示す第2プロファイルを生成するプロファイル生成部と、
    前記第1プロファイル及び前記第2プロファイルの特徴点に基づいて前記車載カメラにより取得された撮像画像に含まれる前記車載カメラの校正に用いられる校正目標の位置、または、当該校正目標の所定部位の位置を算定する位置算定部と、
    を備える校正目標検出装置。
  2. 前記測光領域の測光情報が、測光領域の輝度である請求項1に記載の校正目標検出装置。
  3. 前記測光領域の測光情報が、測光領域の色情報である請求項1に記載の校正目標検出装置。
  4. 前記校正目標が、前記車載カメラの視野の水平面及び当該水平面に垂直な垂直面に対して角度を有し、交点を形成する少なくとも2本の直線により区切られる領域がチェック模様で彩色されてある請求項1から3のいずれか一項に記載の校正目標検出装置。
  5. 前記検出部が、予め設定された所定の閾値に基づいて露光調整を行う請求項1から4のいずれか一項に記載の校正目標検出装置。
  6. 前記特徴点が、前記第1プロファイル及び前記第2プロファイルに含まれるエッジ及び2つのエッジの中点の少なくともいずれか一方である請求項1から5のいずれか一項に記載の校正目標検出装置。
  7. 長尺状の測光領域を設定する測光領域設定工程と、
    前記測光領域の測光情報を車載カメラが備える露出計によって検出する検出工程と、
    所定の一方向を長尺方向とする長尺状の測光領域が、前記一方向に直交する他方向に沿って走査され、前記他方向の測光情報の変化を示す第1プロファイルを生成すると共に、前記他方向を長尺方向とする長尺状の測光領域が、前記一方向に沿って走査され、前記一方向の測光情報の変化を示す第2プロファイルを生成するプロファイル生成工程と、
    前記第1プロファイル及び前記第2プロファイルの特徴点に基づいて前記車載カメラにより取得された撮像画像に含まれる前記車載カメラの校正に用いられる校正目標の位置、または、当該校正目標の所定部位の位置を算定する位置算定工程と、
    を備える校正目標検出方法。
  8. 長尺状の測光領域を設定する測光領域設定機能と、
    前記測光領域の測光情報を車載カメラが備える露出計によって検出する検出機能と、
    所定の一方向を長尺方向とする長尺状の測光領域が、前記一方向に直交する他方向に沿って走査され、前記他方向の測光情報の変化を示す第1プロファイルを生成すると共に、前記他方向を長尺方向とする長尺状の測光領域が、前記一方向に沿って走査され、前記一方向の測光情報の変化を示す第2プロファイルを生成するプロファイル生成機能と、
    前記第1プロファイル及び前記第2プロファイルの特徴点に基づいて前記車載カメラにより取得された撮像画像に含まれる前記車載カメラの校正に用いられる校正目標の位置、または、当該校正目標の所定部位の位置を算定する位置算定機能と、
    をコンピュータに実行させる校正目標検出装置のためのプログラム。
JP2009128206A 2009-05-27 2009-05-27 校正目標検出装置と、校正目標を検出する校正目標検出方法と、校正目標検出装置のためのプログラム Active JP5471038B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2009128206A JP5471038B2 (ja) 2009-05-27 2009-05-27 校正目標検出装置と、校正目標を検出する校正目標検出方法と、校正目標検出装置のためのプログラム
KR1020117030887A KR101419721B1 (ko) 2009-05-27 2010-02-18 교정목표 검출장치와, 교정목표를 검출하는 교정목표 검출방법과, 교정목표 검출장치를 위한 프로그램
CN201080023236.7A CN102450005B (zh) 2009-05-27 2010-02-18 校正目标检测装置、检测校正目标的校正目标检测方法
PCT/JP2010/052448 WO2010137364A1 (ja) 2009-05-27 2010-02-18 校正目標検出装置と、校正目標を検出する校正目標検出方法と、校正目標検出装置のためのプログラム
EP10780324.9A EP2437495B1 (en) 2009-05-27 2010-02-18 Calibration target detection apparatus, calibration target detecting method for detecting calibration target, and program for calibration target detection apparatus
US13/265,103 US8605156B2 (en) 2009-05-27 2010-02-18 Calibration target detection apparatus, calibration target detecting method for detecting calibration target, and program for calibration target detection apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009128206A JP5471038B2 (ja) 2009-05-27 2009-05-27 校正目標検出装置と、校正目標を検出する校正目標検出方法と、校正目標検出装置のためのプログラム

Publications (2)

Publication Number Publication Date
JP2010276429A JP2010276429A (ja) 2010-12-09
JP5471038B2 true JP5471038B2 (ja) 2014-04-16

Family

ID=43222490

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009128206A Active JP5471038B2 (ja) 2009-05-27 2009-05-27 校正目標検出装置と、校正目標を検出する校正目標検出方法と、校正目標検出装置のためのプログラム

Country Status (6)

Country Link
US (1) US8605156B2 (ja)
EP (1) EP2437495B1 (ja)
JP (1) JP5471038B2 (ja)
KR (1) KR101419721B1 (ja)
CN (1) CN102450005B (ja)
WO (1) WO2010137364A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5091902B2 (ja) * 2009-03-31 2012-12-05 アイシン精機株式会社 車載カメラの校正に用いられる校正指標と、当該校正指標を用いた車載カメラの校正方法と、システムと、当該システムのためのプログラム
FR2979989B1 (fr) * 2011-09-13 2016-01-08 Fb Technology Equipement mobile de controle des feux de balisage aeroportuaire
JP5959311B2 (ja) * 2012-05-25 2016-08-02 富士通テン株式会社 データ導出装置、及び、データ導出方法
JP5820787B2 (ja) * 2012-08-30 2015-11-24 株式会社デンソー 画像処理装置、及びプログラム
JP6009894B2 (ja) * 2012-10-02 2016-10-19 株式会社デンソー キャリブレーション方法、及びキャリブレーション装置
US9648249B2 (en) * 2013-11-20 2017-05-09 Canon Kabushiki Kaisha Image capturing apparatus, method of controlling the same, and storage medium
FR3015660B1 (fr) * 2013-12-19 2020-06-05 Continental Automotive France Procede, support et systeme de calibration d'une camera d'un vehicule
CN104019752B (zh) * 2014-05-29 2015-11-25 京东方科技集团股份有限公司 显示屏的厚度均匀性检测方法、装置及系统
KR101594740B1 (ko) 2015-09-08 2016-02-26 김종길 충돌물체 좌표산정용 디스플레이 시스템 및 그 구동방법
EP3174007A1 (en) * 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for calibrating the orientation of a camera mounted to a vehicle
EP3173979A1 (en) 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for identification of characteristic points of a calibration pattern within a set of candidate points in an image of the calibration pattern
JP6319670B2 (ja) * 2016-03-11 2018-05-09 パナソニックIpマネジメント株式会社 監視カメラおよびこれを備えた監視カメラシステム
CN107590877A (zh) * 2016-07-08 2018-01-16 昆山研达电脑科技有限公司 行车记录仪拍摄角度的自动检测系统及方法
JP6211157B1 (ja) 2016-09-01 2017-10-11 三菱電機株式会社 キャリブレーション装置およびキャリブレーション方法
EP3534334B1 (en) 2018-02-28 2022-04-13 Aptiv Technologies Limited Method for identification of characteristic points of a calibration pattern within a set of candidate points derived from an image of the calibration pattern
EP3534333A1 (en) 2018-02-28 2019-09-04 Aptiv Technologies Limited Method for calibrating the position and orientation of a camera relative to a calibration pattern
EP3767944B1 (en) * 2018-03-15 2022-07-06 JVCKenwood Corporation Drive recorder, display control method, and program
JP6956051B2 (ja) * 2018-09-03 2021-10-27 株式会社東芝 画像処理装置、運転支援システム、画像処理方法及びプログラム
KR20200050612A (ko) * 2018-11-02 2020-05-12 현대자동차주식회사 차량용 레이더의 영점 조절 장치 및 그 방법
JP7215231B2 (ja) * 2019-03-04 2023-01-31 トヨタ自動車株式会社 情報処理装置、検知方法及びプログラム
WO2022254629A1 (ja) * 2021-06-02 2022-12-08 三菱電機株式会社 エレベーターのカメラの調整支援システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09153139A (ja) * 1995-11-30 1997-06-10 Sanyo Electric Co Ltd 映像信号処理装置
JPH09189513A (ja) * 1996-01-10 1997-07-22 Kawasaki Heavy Ind Ltd マーカ重心計測方法および装置
US6137893A (en) 1996-10-07 2000-10-24 Cognex Corporation Machine vision calibration targets and methods of determining their location and orientation in an image
JP3565749B2 (ja) * 1999-09-22 2004-09-15 富士重工業株式会社 車載カメラの撮像方向の検査方法およびその検査装置
JP2002288661A (ja) 2001-03-27 2002-10-04 Advantest Corp 画像検出方法、画像検出装置及びウェハ処理装置
JP4015051B2 (ja) * 2002-04-22 2007-11-28 松下電器産業株式会社 カメラ補正装置
CN101014119B (zh) * 2006-02-08 2011-04-13 财团法人工业技术研究院 车辆辅助监视装置与方法
JP4767052B2 (ja) 2006-03-22 2011-09-07 ダイハツ工業株式会社 光軸ずれ検出装置
JP4803449B2 (ja) * 2006-11-17 2011-10-26 アイシン精機株式会社 車載カメラの校正装置、校正方法、並びにこの校正方法を用いた車両の生産方法
US9007478B2 (en) * 2007-01-09 2015-04-14 Capso Vision, Inc. Methods to compensate manufacturing variations and design imperfections in a capsule camera
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP4794510B2 (ja) * 2007-07-04 2011-10-19 ソニー株式会社 カメラシステムおよびカメラの取り付け誤差の補正方法
US20100245590A1 (en) * 2007-11-23 2010-09-30 Cazier Robert P Camera sensor system self-calibration

Also Published As

Publication number Publication date
EP2437495A4 (en) 2013-06-12
US20120033087A1 (en) 2012-02-09
US8605156B2 (en) 2013-12-10
CN102450005B (zh) 2014-08-20
JP2010276429A (ja) 2010-12-09
EP2437495B1 (en) 2016-11-02
KR20120036317A (ko) 2012-04-17
KR101419721B1 (ko) 2014-07-17
CN102450005A (zh) 2012-05-09
EP2437495A1 (en) 2012-04-04
WO2010137364A1 (ja) 2010-12-02

Similar Documents

Publication Publication Date Title
JP5471038B2 (ja) 校正目標検出装置と、校正目標を検出する校正目標検出方法と、校正目標検出装置のためのプログラム
JP5091902B2 (ja) 車載カメラの校正に用いられる校正指標と、当該校正指標を用いた車載カメラの校正方法と、システムと、当該システムのためのプログラム
US8872920B2 (en) Camera calibration apparatus
US8842181B2 (en) Camera calibration apparatus
US10935643B2 (en) Sensor calibration method and sensor calibration apparatus
US20150208041A1 (en) Image processing device and storage medium
JP5588812B2 (ja) 画像処理装置及びそれを用いた撮像装置
CN102982526B (zh) 标定车辆视觉系统的方法和车辆视觉系统
KR101205428B1 (ko) 타겟 위치 특정 장치
CN101416022A (zh) 用于测量反射表面形状的方法和系统
CN103782232A (zh) 投影仪及其控制方法
KR101583663B1 (ko) 차량용 카메라의 교정판 제공 방법
JP5366264B2 (ja) ステレオカメラシステム及び該システムを備える車両
JP5240517B2 (ja) 車載カメラの校正装置
JP3666348B2 (ja) 距離認識装置
KR20140090388A (ko) 가변형 타원 패턴을 갖는 차량용 카메라의 교정 지표 및 이를 이용한 교정방법
JP2016225719A (ja) ステレオカメラ装置、車両、および較正方法
US11403770B2 (en) Road surface area detection device
JP2018066579A (ja) 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法
JP6624383B2 (ja) キャリブレーション装置及び車載カメラシステム
JP3373363B2 (ja) 車両用障害物検出装置
JP5406898B2 (ja) 車載カメラの校正装置と、車載カメラの校正方法と、システムと、プログラム
JP5964093B2 (ja) 車両サイズ測定装置、車両サイズ測定方法、およびプログラム
JP2010148058A (ja) 運転支援装置及び運転支援方法
WO2023007775A1 (ja) 車載カメラおよび車載カメラのキャリブレーション方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140120

R151 Written notification of patent or utility model registration

Ref document number: 5471038

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151