JP6565769B2 - 車載カメラの取付角度検出装置、取付角度較正装置、取付角度検出方法、取付角度較正方法、およびコンピュータープログラム - Google Patents
車載カメラの取付角度検出装置、取付角度較正装置、取付角度検出方法、取付角度較正方法、およびコンピュータープログラムInfo
- Publication number
- JP6565769B2 JP6565769B2 JP2016074817A JP2016074817A JP6565769B2 JP 6565769 B2 JP6565769 B2 JP 6565769B2 JP 2016074817 A JP2016074817 A JP 2016074817A JP 2016074817 A JP2016074817 A JP 2016074817A JP 6565769 B2 JP6565769 B2 JP 6565769B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- straight line
- straight
- bird
- mounting angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 58
- 238000000034 method Methods 0.000 title claims description 55
- 238000004590 computer program Methods 0.000 title claims description 7
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 162
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 143
- 238000006243 chemical reaction Methods 0.000 claims description 79
- 230000008569 process Effects 0.000 claims description 41
- 241000905137 Veronica schmidtiana Species 0.000 claims description 16
- 238000012544 monitoring process Methods 0.000 claims description 9
- 238000009434 installation Methods 0.000 claims 2
- 230000003287 optical effect Effects 0.000 description 16
- 238000011156 evaluation Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000007689 inspection Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 2
- 241001300198 Caperonia palustris Species 0.000 description 1
- 235000000384 Veronica chamaedrys Nutrition 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
また、車両の前後左右に車載カメラを搭載しておき、それらで撮影した画像を変換して、あたかも上方から車両の周囲を見たような画像(すなわち、鳥瞰画像)としてモニター画面に表示することで、運転者が周囲の状況を容易に把握できるようにした技術も実用化されている。
提案の技術はこの点に着目して、各車載カメラの撮影画像を変換して得られた鳥瞰画像間で位置ずれが生じないように、各車載カメラの車両に対する取付角度を決定する。こうして、各車載カメラの取付角度を求めることができれば、取付角度が許容範囲に収まるように調整し、あるいは取付角度を較正することが可能となる。
また、互いに平行で且つ等幅な2本の直線部分を有する図形であれば、ターゲット図形として用いることができる。このため、例えば、互いに平行で且つ等幅な2本の側線を有するが、側線に交差する横線を有さない駐車枠のような図形でも、ターゲット図形として用いて、車載カメラ10の取付角度を検出し、正しい取付角度に較正することが可能となる。
A.第1実施例 :
A−1.装置構成 :
図1には、車載カメラ10を搭載した車両1の大まかな構成が示されている。図示した例では、車載カメラ10は車両1の後部の位置に、斜め下向きに搭載されており、車両1の後方の状況を斜め上方から撮影することができる。そして、車載カメラ10で撮影した撮影画像は、画像生成装置20を介してモニター6に表示される。車両1の運転者は、モニター6に表示された画像から、車両1の後方の状況を確認することができる。
尚、以下では車両1の後部に車載カメラ10が取り付けられているものとして説明するが、車載カメラ10は車両1の前方に取り付けられていてもよい。
また、詳細な理由については後述するが、取付角度較正装置100が取付角度を適切に探索するためには、車両1のハンドル2が操舵されていない直進状態のままで、車両1が適切な距離を移動することが必要となる。そこで、取付角度較正装置100には、車両1のハンドル2の操舵角を検出する操舵角センサー3や、車両1の移動距離を検出する移動距離センサー4が接続されている。そして、車載カメラ10の取付角度を較正する際には、ハンドル2が操舵されていない直進状態になっていることや、車両1の移動距離を監視する。その結果、ハンドル2が直進状態になっていなかったり、車両1が移動していなかったりした場合には、モニター6を用いて警告の画像を表示したり、スピーカー5を用いて警告の音声を出力したりすることによって、較正をやり直すようになっている。
図2には、第1実施例の取付角度較正装置100の大まかな内部構造を示したブロック図が示されている。図示されるように第1実施例の取付角度較正装置100は、撮影画像取得部101と、中心直線検出部102と、境界直線検出部103と、検出直線記憶部104と、平行判断部105と、車両監視部106と、警報出力部107と、設定値取得部108と、鳥瞰変換部109と、取付角度探索部110と、鳥瞰画像評価部111と、設定値変更部112と、取付角度決定部113と、取付角度更新部114とを備えている。また、取付角度較正装置100の中で取付角度更新部114を除いた部分(図中の破線で囲った部分)は、第1実施例の取付角度検出装置120に対応する。
尚、これらの「部」は、車載カメラ10の取付角度を検出して、取付角度を較正するために取付角度較正装置100が備える機能に着目して、取付角度較正装置100の内部を便宜的に分類した抽象的な概念である。従って、取付角度較正装置100がこれらの「部」に物理的に区分されていることを表すものではない。これらの「部」は、CPUで実行されるコンピュータープログラムとして実現することもできるし、LSIやメモリーを含む電子回路として実現することもできるし、更にはこれらを組合せることによって実現することもできる。本実施例では、取付角度較正装置100は、CPUやROMやRAMなどを備えたマイクロコンピューターによって主に形成されており、従って上記の「部」はCPUが実行するコンピュータープログラムによって主に実現されている。
ここで、ターゲット図形とは、互いに平行で且つ等幅な2本の直線部分を有する図形である。例えば、駐車場などで1台分の車両を駐車する範囲を示す駐車枠は、両側の車両との境界を示す側線を有しているから、代表的なターゲット図形として用いることができる。ターゲット図形の具体例については後述する。
また、境界直線検出部103は、撮影画像中のターゲット図形が有する2本の直線部分を検出すると、それぞれの直線部分について、両側の境界線に相当する境界直線を検出する。ターゲット図形には2本の直線部分があるから、それぞれの直線部分について2本ずつ、合計で4本の境界直線を検出する。そして、検出した4本の境界直線は、検出直線記憶部104に記憶する。
尚、ターゲット図形から2本の中心直線と4本の境界直線を検出する具体例については後述する。また、検出直線記憶部104には、複数枚の撮影画像から検出された複数本の中心直線および境界直線が記憶される。
また、平行判断部105で、ターゲット図形の2本の直線部分に対する車両1の向きを正しく判断するためには、車両1が所定距離以上、直進している状態で、複数枚の撮影画像を取得する必要がある。
警報出力部107は、スピーカー5やモニター6に接続されており、撮影画像を取得し直す必要がある旨の判断結果を車両監視部106から受け取ると、スピーカー5やモニター6を用いてその旨の警告を出力する。
また、平行判断部105によって、ターゲット図形の2本の直線部分に対して車両1が平行になっていると判断された場合には、鳥瞰変換部109は、次のようにして撮影画像を鳥瞰変換する。先ず、撮影画像取得部101が取得しておいた撮影画像を読み出す。この時に読み出す撮影画像は、撮影画像取得部101が取得した最新の撮影画像とすることができる。更に、車載カメラ10の取付角度が記憶部21から読み出した取付角度であるものとして、撮影画像を鳥瞰画像に変換する。
すると、鳥瞰変換部109は、変更された取付角度を用いて再び鳥瞰変換を行うことによって、新たな鳥瞰画像を生成する。鳥瞰画像評価部111は、この新たに得られた鳥瞰画像に対して、ターゲット図形の2本の直線部分の平行度、および2本の直線部分の幅の差を評価する。そして、それらが何れも所定の許容範囲内になかった場合には、設定値変更部112が、再び、取付角度の値を変更する。
このように、鳥瞰画像評価部111および設定値変更部112は、鳥瞰変換部109によって得られた鳥瞰画像の評価結果に基づいて取付角度を変更することによって、鳥瞰画像中のターゲット図形の2本の直線部分が所定の基準を満たすような取付角度を探索していることになる。従って、鳥瞰画像評価部111および設定値変更部112をまとめて、取付角度探索部110と把握することができる。
また、取付角度更新部114は、取付角度決定部113が決定した正しい取付角度を取得して、画像生成装置20の記憶部21に書き込むことによって、記憶部21が記憶している取付角度を正しい取付角度に更新する。こうすることによって、画像生成装置20が画像を生成する際に用いる取付角度の較正が終了する。
図3および図4には、第1実施例の取付角度較正装置100が実行する取付角度較正処理のフローチャートが示されている。
図示されるように、取付角度較正処理では先ず始めに駐車枠Tの側線に対して車両1を平行に向けて、更にハンドル2を直進状態にする旨の指示を、スピーカー5およびモニター6から出力する(S100)。
例えば、図5に示したように、同じ幅を有する2本の平行な側線aおよび側線bと、これら側線a,bに直交する横線cとを備える駐車枠Tが地面に描かれていたとする。この場合、車両1の向きが2本の側線a,bに対して平行となるようにして、更にハンドル2を直進状態(すなわち、何れの方向にも操舵されていない状態)にする旨の音声をスピーカー5から出力すると共に、その旨を指示する画像をモニター6に表示する。
尚、本実施例では、駐車枠Tが、本発明の「ターゲット図形」に相当し、2本の側線a,bが、本発明の「ターゲット図形が備える直線部分」に相当する。また、ターゲット図形は、同じ幅を有する2本の平行な直線部分を有する図形であればよく、必ずしも図5に例示した駐車枠Tでなくても構わない。
また、車両1の運転者は、指示に従って、駐車枠Tの側線a.bに対して平行となるように車両1を移動させるが、この時に、厳密に平行とする必要は無く、目分量で平行となるようにしておけばよい。
そして、取得した撮影画像を解析して駐車枠Tの2本の側線a,bの中心直線および境界直線を検出し、中心直線および境界直線の傾きや、中心直線の切片位置、境界直線の境界切片位置を記憶する(S103)。
そこで、左側の側線bの中心線を延長した中心直線を検出する。また、右側の側線aについても、側線aの中心線を延長した中心直線を検出する。図7(b)には、このようにして左側の側線bから検出した中心直線bcと、右側の側線aから検出した中心直線acとが例示されている。
結局、1枚の撮影画像からは、左側の側線bについての中心直線bc、内側の境界直線bi、および外側の境界直線boの3本の直線と、右側の側線aについての中心直線ac、内側の境界直線ai、および外側の境界直線aoの3本の直線、合計で6本の直線が検出されることになる。
また、4本の境界直線bo,bi,ao,aiについては、境界切片位置を検出する。ここで「境界切片位置」とは、撮影画像中に設定した所定の検査用辺DLを、境界直線が横切る座標位置である。図7(c)に示されるように、それぞれの境界直線bo,bi,ao,aiについて、境界切片位置pbo,pbi,pao,paiを検出する。
図3のS103では、このようにして、検出した2本の中心直線のそれぞれについて、直線の傾きや切片位置を検出し、更に4本の境界直線のそれぞれについて、直線の傾きや境界切片位置を検出して、検出した結果を、メモリー(図2の検出直線記憶部104に相当)に記憶する。
そして、S104では「yes」と判断された場合は、所定枚数分(例えば、100枚分)の撮影画像に対して上述した処理(すなわち、撮影画像を解析して、中心直線の傾きおよび切片位置と、境界直線の傾きおよび境界切片位置とを検出し、それらの検出結果を記憶する処理)を行ったか否かを判断する(S107)。当然ながら、初めは1枚の撮影画像を処理しただけなので、S107では「no」と判断される。
その結果、まだ所定距離Lに達していない場合は(S108:no)、再び、駐車枠Tの撮影画像を取得し(S102)、その撮影画像を解析することによって、中心直線の傾きおよび切片位置と、境界直線の傾きおよび境界切片位置とを検出して、検出結果を記憶する(S103)。
このようにすることで、取付角度較正装置100のメモリーには、1枚の撮影画像を取得する度に、2本の中心直線bc,acについての傾きkbc,kacおよび切片位置pbc,pacと、4本の境界直線bo,bi,ao,aiについての傾きkbo,kbi,kao,kaiおよび境界切片位置pbo,pbi,pai,paiとが蓄積されていく。図8には、取付角度較正装置100のメモリーに、中心直線についての傾きおよび切片位置や、境界直線についての傾きおよび境界切片位置が蓄積される様子が、模式的に示されている。
そして、この場合は、取付角度較正装置100のメモリーに蓄積されている中心直線および境界直線の検出結果(図8参照)を破棄した後(S105)、ハンドル2を直進状態に保持しなければならない旨の警告および指示を、スピーカー5およびモニター6を用いて出力する(S106)。
続いて、処理の先頭に戻って、駐車枠Tの側線に対して車両1を平行にして、ハンドル2を直進状態とする旨を再び出力した後(S100)、続く上述した一連の処理(すなわち、S102〜S108)を繰り返す。こうすることによって、図8に示したように、中心直線および境界直線の検出結果が取付角度較正装置100のメモリーに蓄積されていく。
その後、再びS102に戻って、駐車枠Tの撮影画像を取得した後、撮影画像を解析して検出した中心直線および境界直線の蓄積を継続する(S103〜S108)。
このような操作を繰り返しながら、撮影画像から検出した中心直線および境界直線を蓄積していると、やがては、中心直線および境界直線を検出して蓄積した撮影画像の枚数が、所定枚数に達したと判断される(S107:yes)。
図9(a)に示されるように、車両1に対して駐車枠Tが移動しているが、この駐車枠Tの移動方向は、実際には車両1が移動する方向である。また、車両1はハンドル2を直進状態に保ったままで直進するから、車両1が移動する方向は、車両1の向きと同じとなる。そして、車両1の向きは、駐車枠Tの2本の側線a,bに対して平行となっているものとしているから、結局、図9(a)で駐車枠Tが移動する方向は、2本の側線a,bと同じ方向となる。従って、図9(a)に示されるように、車両1に対して駐車枠Tが移動すると、駐車枠Tの側線a,bは、それぞれ側線a,bの延長線上を移動する。
このことから、駐車枠Tの2本の側線a,bに対して、車両1の向きが平行になっている場合には、車両1を直進させながら取得した何れの撮影画像についても、側線aから検出した中心直線acは同じ直線となる筈である。同様に、側線bから検出した中心直線bcも同じ直線となる筈である。また、側線aから検出した外側の境界直線aoも同じ直線となり、内側の境界直線aiも同じ直線となる筈である。全く同様に、側線bから検出した外側の境界直線boも、内側の境界直線biも同じ直線となる筈である。
従って、駐車枠Tの2本の側線a,bに対して、車両1の向きが平行になっていない場合には、車両1を直進させながら撮影画像を取得すると、撮影画像の側線aから検出した中心直線acや、側線bから検出した中心直線bcは、撮影画像毎に異なる直線となる筈である。また、側線aから検出した外側の境界直線aoや、内側の境界直線aiや、側線bから検出した外側の境界直線boや、内側の境界直線biも、撮影画像毎に異なる直線となる筈である。
図3および図4の取付角度較正処理では、このような原理に基づいて、駐車枠Tの2本の側線a,bに対して、車両1の向きが平行になっていると判断する。
この判断は、次のようにして行う。先ず、図8を用いて前述したように、中心直線の傾きおよび切片位置は、中心直線bcおよび中心直線acのそれぞれについて蓄積されている。そこで、中心直線bcについての傾きkbcを読み出して、それらの分散σkbcを算出し、中心直線acについての傾きkacを読み出して、それらの分散σkacを算出する。
同様に、中心直線bcについての切片位置pbcを読み出して、それらの分散σpbcを算出し、中心直線acについての切片位置pacを読み出して、それらの分散σpacを算出する。
そして、求めた分散σkbc,σkac,σpbc,σpacが、それぞれに設定された所定の許容値以下に収まっているか否かを判断する。
更に、境界直線boの境界切片位置pbo、境界直線biの境界切片位置pbi、境界直線aoの境界切片位置pao、境界直線aiの境界切片位置paiを読み出して、それぞれの分散σpbo,σpbi,σpao,σpaiを算出する。
そして、求めた分散σkao,σkai,σpbo,σpbi,σpao,σpaiが、それぞれに設定された所定の許容値以下に収まっているか否かを判断する。
同様に、境界直線bo,bi,ao,aiの傾きkbo,kbi,kao,kaiや、境界切片位置pbo,pbi,pao,paiについての分散σkbo,σkbi,σkao,σkai,σpbo,σpbi,σpao,σpaiが、所定の許容値以内に収まっていない場合(S111:no)も、車両1の向きが、駐車枠Tの2本の側線a,bに対して平行になっていないと判断できる。
そこで、これらの場合(すなわち、S110:noあるいはS111:no)は、駐車枠Tの側線a,bに対して車両1が平行になっていない旨を、スピーカー5およびモニター6を用いて出力する(S112)。そして、蓄積した所定枚数分の撮影画像の中心直線および境界直線の検出結果(図8参照)を破棄した後(S113)、処理の先頭に戻って、上述した一連の処理(すなわち、図3のS100〜図4のS111の処理)を、始めからやり直す。
例えば、中心直線の傾きおよび切片位置の分散が所定の許容値以下であれば、車両1の向きと、駐車枠Tの側線a,bとが平行と判断することができる。そして、この場合は、中心直線の傾きおよび切片位置を蓄積すれば良く、従って、境界直線の傾きおよび境界切片位置は蓄積しなくても構わない。
また逆に、境界直線の傾きおよび境界切片位置の分散が所定の許容値以下であれば、車両1の向きと、駐車枠Tの側線a,bとが平行と判断することもできる。そして、この場合は、境界直線の傾きおよび境界切片位置を蓄積すれば良く、従って、中心直線の傾きおよび切片位置は蓄積しなくても構わない。
そして、得られた鳥瞰画像を解析することにより、鳥瞰画像に写った駐車枠Tの2本の側線a,bの平行度が許容範囲内にあるか否かを判断する(S117)。
例えば、図10(a)に示すような撮影画像が得られており、この撮影画像を鳥瞰変換したところ、図10(b)のような鳥瞰画像が得られたものとする。図10(b)に示されるように、鳥瞰画像中の駐車枠Tは形状が歪んでいる。仮に、鳥瞰変換に用いた車載カメラ10の取付角度が正しいのであれば、得られた鳥瞰画像中の駐車枠Tは、実際の駐車枠Tの形状、すなわち、等幅で互いに平行な2本の側線a,bを有する形状となっている筈である。従って、鳥瞰画像中の駐車枠Tの形状が歪むということは、鳥瞰変換に用いた車載カメラ10の取付角度が、実際の取付角度とは異なっていることを意味している。
そこで、図4のS117では、S116で得られた鳥瞰画像を解析して、駐車枠Tの2本の側線b,aを検出し、更に、側線bの中心直線bcと、側線aの中心直線acとを検出する。そして、側線bの中心直線bcと、側線aの中心直線acとの平行度が、所定の許容範囲内にあるか否かを判断する。
そこで、取付角度の設定値を変更して(S119)、変更した取付角度を用いて再び撮影画像を鳥瞰変換し(S116)、鳥瞰画像中の駐車枠Tの2本の側線の中心直線を検出して、それらの中心直線の平行度が許容範囲内にあるか否かを判断する(S117)。
S117で「no」と判断されて、S119で車載カメラ10の取付角度の設定値を変更する際には、車載カメラ10の取付角度の中でピッチ方向角度θpおよびヨウ方向角度θyを中心に設定値を変更することが望ましい。
その結果、側線b,aの幅の差が許容範囲内になかった場合は(S118:no)、鳥瞰変換に用いた車載カメラ10の取付角度が、依然として正しくないと判断できるので、再び、取付角度の設定値を変更する(S119)。そして、変更した取付角度を用いて再び撮影画像を鳥瞰変換し(S116)、鳥瞰画像中の駐車枠Tの2本の側線を検出して、2本の側線の平行度が許容範囲内にあるか否か、および側線の差が許容範囲内にあるか否かを判断する(S117、S118)。
尚、S118で「no」と判断されて、S119で車載カメラ10の取付角度の設定値を変更する際には、車載カメラ10の取付角度の中でロール方向角度θrを中心に設定値を変更することが望ましい。
そこで、駐車枠Tの側線の平行度が許容範囲内となり、且つ、駐車枠Tの側線の幅の差が許容範囲内となるような鳥瞰画像が得られたら(S117:yes、且つ、S118:yes)、その時の鳥瞰変換に用いた取付角度を、更新するべき正しい取付角度として決定する(S120)。
尚、上述した取付角度較正処理の中で、更新するべき正しい取付角度として決定するまでの処理(すなわち、図3のS100〜図4のS120までの処理)は、車載カメラ10の取付角度を検出する取付角度検出処理として把握することもできる。
実は、このようにして得られる取付角度は、駐車枠Tの2本の側線a,bに対して車載カメラ10の光軸CLがなす角度である。例えば、図11に示すように、車載カメラ10の光軸CLが、駐車枠Tの側線a,bに対してヨウ方向に角度θ、傾いていたものとする。実際には傾いているにも拘わらず、傾いていないものとして鳥瞰変換したのでは、駐車枠Tの形状が歪んでしまう。そこで、歪みのない駐車枠Tが得られるように、ヨウ方向の角度を変更することによって、実際に傾いている角度θを探索する。
しかし、こうして求められた角度θは、車載カメラ10の光軸CLが、駐車枠Tの側線a,bに対して傾いている角度であって、車載カメラ10が車両1に対して取り付けられている角度とは無関係である。すなわち、駐車枠Tの側線a,bに対して車載カメラ10の光軸CLがなす角度が分かっても、駐車枠Tの側線a,bに対して車両1がなす角度が分からなければ、車載カメラ10の車両1に対する取付角度を求めることはできない。図11で、車両1が破線で表示されているのは、車両1の向きが未確定であることを表している。
このような理由から、上述した取付角度較正処理では、車両1が駐車枠Tの2本の側線a,bに対して平行になっていることを確認した上で(図4のS111:yes)、撮影画像を鳥瞰変換して正しい取付角度を探索(S116〜S119)しているのである。
図12には、鳥瞰変換に用いる各種の座標系が示されている。鳥瞰変換では、車両1を基準とする直交座標系と、車載カメラ10を基準とする直交座標系とを考える。また、車両1を基準とする直交座標系は、車両1の前後方向に対して直角かつ水平方向に取った座標軸(以下、Xo軸)と、車両1の前後方向に取った座標軸(以下、Yo軸)と、車両1の前後方向に対して直角かつ鉛直方向に取った座標軸(以下、Zo軸)とによって形成されているものとする。尚、以下では、このような車両1を基準とする直交座標系による座標を「車両基準座標」と称し、車両基準座標による座標値を(xo、yo、zo)と表すものとする。
また、車載カメラ10を基準とする直交座標系については、車載カメラ10の光軸に沿って取った座標軸(以下、CY軸)と、CY軸に直角で且つ水平方向に取った座標軸(以下、CX軸)と、CY軸およびCX軸に対して直角且つ上向きに取った座標軸(以下、CZ軸)とによって形成されているものとする。また、以下では、このような、車載カメラ10を基準とする直交座標系による座標を「カメラ基準座標」と称し、カメラ基準座標による座標値を(cx、cy、cz)と表すものとする。
このような解析用車両基準座標を考えると、車載カメラ10のピッチ方向の回転はX軸周りの回転と考えることができ、車載カメラ10のロール方向の回転はY軸周りの回転と、車載カメラ10のヨウ方向の回転はZ軸周りの回転と考えることができる。
このように、車両基準座標の座標値(xo、yo、zo)と、解析用車両基準座標の座標値(x、y、z)とは相互に変換可能であり、また、解析にはもっぱら解析用車両基準座標の座標値(x、y、z)が用いられる。
地面に描かれた駐車枠Tの解析用車両基準座標による座標値(x、y、z)は、図14に示した式(2)によって、カメラ基準座標の座標値(cx、cy、cz)に変換される。
図15には、カメラ基準座標に変換された駐車枠Tの座標値(cx、cy、cz)を、画像面座標の座標値(u、v)に変換する方法が示されている。図示されるように、カメラ基準座標の原点COから適切な距離SLに、車載カメラ10の光軸(ここでは、座標軸CY)に直交する平面(以下、画像面と称する)を設定する。こうすれば、車載カメラ10の撮影画像は、カメラ基準座標上の撮影対象を、画像面に投影したものと考えることができる。
従って、カメラ基準座標の座標軸CYと画像面との交点を原点として、カメラ基準座標の座標軸CXと平行に座標軸Uを取り、カメラ基準座標の座標軸CZと平行に座標軸Vと取れば、地面に描かれた駐車枠Tの座標値(cx、cy、cz)は、図15(c)に示した式(3)によって、画像面上の座標値(u、v)に変換される。
このように、解析用車両基準座標の座標値(x、y、z)と、画像面座標の座標値(u、v)とは一対一に対応しているから、図16中に破線の矢印で示したように、画像面座標の座標値(u、v)を解析用車両基準座標の座標値(x、y、z)に逆変換することも可能である。そして、鳥瞰画像は、解析用車両基準座標の画像をZ軸方向から見た画像であるから、解析用車両基準座標の座標値(x、y、z)のZ軸成分を削除することによって得られる画像となる。
尚、車両基準座標の座標値(x、y、z)のZ軸成分を削除して得られる座標値(x、y)を、以下では、鳥瞰座標の座標値(x、y)と称することがあるものとする。
そこで、図17に示したように、車載カメラ10のピッチ方向の角度θpと、ロール方向の角度θrと、ヨウ方向の角度θyとを、鳥瞰変換モジュールの外部から設定可能としておく。
図4に示した取付角度調整処理のS116では、このような鳥瞰変換モジュールを用いて、撮影画像を鳥瞰画像に変換している。
すなわち、図18(a)に示すように駐車枠Tが横線cを持たない場合には、図18(b)に例示するような撮影画像が得られる。このような場合でも、2本の側線bおよび側線aを検出すれば、上述した取付角度較正処理を行うことによって、車載カメラ10の取付角度を較正することが可能となる。
上述した第1実施例では、画像生成装置20から取得した撮影画像を鳥瞰変換して、得られた鳥瞰画像の中から駐車枠Tの2本の側線a,bを検出するものとして説明した。
しかし、上述したように、撮影画像を鳥瞰変換するに先立って、複数枚の撮影画像から検出した側線の中心直線および境界直線を蓄積することによって、駐車枠Tの2本の側線a,bに対して、車両1が平行になっていることを確認している。
そこで、画像生成装置20から取得した撮影画像を鳥瞰変換するのではなく、蓄積した中心直線および境界直線を利用して、鳥瞰変換するための画像を生成しても良い。以下では、このような第2実施例について、第1実施例との相違点を中心に説明する。
図19には、第2実施例の取付角度較正装置200の大まかな内部構造を示したブロック図が示されている。第2実施例の取付角度較正装置200は、図2を用いて前述した第1実施例の取付角度較正装置100に対して、代表撮影画像生成部201を備える点や、鳥瞰変換部109が、鳥瞰変換する画像を撮影画像取得部101からではなく、代表撮影画像生成部201から取得する点が大きく異なっている。以下、これらの相違点を中心として、第2実施例の取付角度較正装置200の内部構造について簡単に説明する。
尚、第2実施例の取付角度較正装置200の中で取付角度更新部114を除いた部分(図中の破線で囲った部分)は、第2実施例の取付角度検出装置220に対応する。
第2実施例の鳥瞰変換部109は、設定値取得部108から取付角度を受け取ると、代表撮影画像生成部201で生成した代表撮影画像に対して鳥瞰変換を行う。
すると、鳥瞰変換部109は、変更された取付角度を用いて、再び代表撮影画像を鳥瞰変換することにより、新たな鳥瞰画像を生成する。
このように、第2実施例においても、鳥瞰画像評価部111および設定値変更部112をまとめて、取付角度探索部110と把握することができる。
図20には、第2実施例の取付角度較正処理の後半部分のフローチャートが示されている。尚、第2実施例の取付角度較正処理の前半部分のフローチャートは、図3に示した第1実施例の取付角度較正処理の前半部分のフローチャートと同様であるため、図示を省略している。以下では、処理の前半部分については、前述した図3を流用し、処理の後半部分については図20を参照することによって、第2実施例の取付角度較正処理について簡単に説明する。
そして、求めた分散σkbc,σkac,σpbc,σpacが、それぞれに設定された所定の許容値以下に収まっているか否かを判断する。
そして、求めた分散σkbo,σkbi,σkao,σkai,σpbo,σpbi,σpao,σpaiが、それぞれに設定された所定の許容値以下に収まっているか否かを判断する。
そこで、これらの場合(S150:noあるいはS151:no)は、駐車枠Tの側線a,bに対して車両1が平行になっていない旨を出力し(S152)、更に、蓄積した所定枚数分の撮影画像の中心直線および境界直線の検出結果(図8参照)を破棄する(S153)。その後、処理の先頭(すなわち、図3のS100に相当する処理)に戻って、上述した一連の処理を始めからやり直す。
これに対して第2実施例の取付角度較正処理では、鳥瞰変換するための代表撮影画像を生成する(図20のS154)。ここで、代表撮影画像とは、車両1の向きが駐車枠Tの側線a,bに対して平行になっていることを確認するために用いた所定枚数の撮影画像を代表する画像である。以下、代表撮影画像について詳しく説明する。
従って、所定枚数分の撮影画像から検出した中心直線bcを代表する代表中心直線tbcや、所定枚数分の撮影画像から検出した中心直線acを代表する代表中心直線tacを想定することができる。例えば、代表中心直線tbcについては、所定枚数分の中心直線bcの傾きkbcおよび切片位置pbcの平均値または中央値を、それぞれ傾きおよび切片位置とするような直線を求めて、代表中心直線tbcとすることができる。
同様にして、所定枚数分の境界直線boを代表する代表境界直線tboや、所定枚数分の境界直線biを代表する代表境界直線tbiや、所定枚数分の境界直線aoを代表する代表境界直線taoや、所定枚数分の境界直線aiを代表する代表境界直線taiを決定することができる。
しかし、代表撮影画像は、2本の代表中心直線tbc,tacを除いて、4本の代表境界直線tbo,tbi,tao,taiを備えるものとしても良い。この場合は、境界直線の傾きおよび境界切片位置を蓄積すれば良く、従って、中心直線の傾きおよび切片位置は蓄積しなくても構わない。
そして、得られた鳥瞰画像を解析することにより、鳥瞰変換後の駐車枠Tの2本の側線a,bの平行度が許容範囲内にあるか否かを判断する(S157)。この判断は、図21(b)に示した鳥瞰画像中の2本の代表中心直線tbc,tacの平行度を求めて、得られた平行度が許容範囲内にあるか否かによって判断することができる。
あるいは、代表撮影画像に2本の代表中心直線tbc,tacが含まれておらず、従って、鳥瞰画像にも2本の代表中心直線tbc,tacが含まれていない場合には、鳥瞰画像中の4本の代表境界直線tbo,tbi,tao,taiの平行度が許容範囲内にあるか否かを判断してもよい。
そこで、これらの場合(S157:no、あるいはS158:no)は、取付角度の設定値を変更して(S159)、変更した取付角度を用いて再び代表撮影画像を鳥瞰変換する(S156)。そして、得られた鳥瞰画像中の駐車枠Tの2本の側線の平行度が許容範囲内にあるか否か(S157)、あるいは2本の側線の幅の差が許容範囲内にあるか否か(S158)の判断を繰り返すことにより、正しい取付角度を探索する。
そして、決定した取付角度を、画像生成装置20のメモリーに書き込むことによって、画像生成装置20に記憶されている取付角度の設定値を更新して(S161)、第2実施例の取付角度較正処理を終了する。
尚、上述した第2実施例の取付角度較正処理についても、更新するべき正しい取付角度として決定するまでの処理(すなわち、図3のS100に相当する処理〜図20のS160までの処理)は、車載カメラ10の取付角度を検出する取付角度検出処理として把握することができる。
また、所定枚数の撮影画像を代表する代表撮影画像を鳥瞰変換するので、撮影画像に混入するノイズの影響を受けることなく、車載カメラ10の正しい取付角度を安定して検出することが可能となる。
上述した第1実施例および第2実施例には、以下のような変形例を考えることができる。すなわち、図10を用いて前述したように、2本の側線b,aの幅が等しくない場合は、2本の側線b,aの端点の位置がずれている(図10(c)参照)。これに対して、2本の側線b,aの幅が等しくなると、2本の側線b,aの端点の位置はずれなくなる(図10(d)参照)。
このことから、2本の側線b,aの幅の差の代わりに、2本の側線b,aの端点の位置に着目して、車載カメラ10の取付角度を探索しても良い。
そこで、取付角度の探索を継続したところ、図22(c)に示すような鳥瞰画像が得られたものとする。この場合には、鳥瞰画像中の側線bの中心直線bcと、側線aの中心直線acとは平行であるが、側線bの端点Tpbの位置と、側線aの端点Tpaの位置とがずれているので、鳥瞰変換に用いた取付角度は正しくないと判断することができる。
そこで、更に、取付角度の探索を継続した結果、図22(d)に示すような鳥瞰画像が得られたものとする。この鳥瞰画像では、側線bの中心直線bcと、側線aの中心直線acとが平行で、更に、側線bの端点Tpbの位置と、側線aの端点Tpaの位置とがずれていない。このような場合には、鳥瞰変換に用いた取付角度は正しいと判断することができる。
このことから、駐車枠Tの2本の側線a,bが平行となり、且つ、2本の側線a,bの端点の位置がずれない鳥瞰画像が得られるような取付角度を探索することで、正しい取付角度を決定することができる。
100…取付角度較正装置、 101…撮影画像取得部、
102…中心直線検出部、 103…境界直線検出部、
104…検出直線記憶部、 105…平行判断部、 106…車両監視部、
107…警報出力部、 108…設定値取得部、 109…鳥瞰変換部、
110…取付角度探索部、 111…鳥瞰画像評価部、
112…設定値変更部、 113…取付角度決定部、 114…取付角度更新部、
120…取付角度検出装置、 200…取付角度較正装置、
201…代表撮影画像生成部、 220…取付角度検出装置。
Claims (11)
- 車両の周囲の地面を撮影する車載カメラ(10)が前記車両に対して取り付けられた取付角度を検出する取付角度検出装置(120、220)であって、
互いに平行で且つ等幅な2本の直線部分を有するターゲット図形が形成された前記地面の撮影画像を取得する撮影画像取得部(101)と、
前記車両に対する前記車載カメラの取付角度の設定値を取得して、前記車載カメラが前記設定値で取り付けられているものと仮定することによって、前記撮影画像を、前記撮影画像に写った前記地面をあたかも上方から見下ろした鳥瞰画像に鳥瞰変換する鳥瞰変換部(109)と、
前記鳥瞰変換に用いる前記取付角度の設定値を変更することで、前記鳥瞰画像中の前記ターゲット図形の前記2本の直線部分の平行度および前記2本の直線部分の幅の差が、何れも所定の許容範囲内となる前記取付角度を探索する取付角度探索部(110)と、
探索された前記取付角度を、前記車載カメラの前記車両に対する取付角度として決定する取付角度決定部(113)と
を備える取付角度検出装置。 - 請求項1に記載の取付角度検出装置であって、
前記車載カメラは、前記車両の前方または後方に向けて搭載されており、
前記撮影画像取得部は、前記ターゲット図形の前記2本の直線部分の方向に沿って前記車両を直進させることによって異なる位置から撮影された複数の前記撮影画像を取得しており、
前記撮影画像から前記ターゲット図形中の2本の前記直線部分を検出して、前記直線部分を延長した2本の中心直線について、前記中心直線の傾きと、前記中心直線が前記撮影画像中の所定の一辺を横切る切片位置とを、前記2本の中心直線を識別した状態で検出する中心直線検出部(102)と、
前記複数の撮影画像の各々から検出された前記2本の中心直線についての前記傾きおよび前記切片位置を、前記2本の中心直線が識別された状態で記憶しておき、前記2本の中心直線の各々についての前記傾きおよび前記切片位置の偏差が所定の許容値以下であった場合に、前記ターゲット図形の前記2本の直線部分に対して前記車両が平行と判断する平行判断部(105)と
を備え、
前記取付角度探索部は、前記ターゲット図形の前記2本の直線部分に対して前記車両が平行と判断された場合に、前記取付角度を探索する
ことを特徴とする取付角度検出装置。 - 請求項2に記載の取付角度検出装置であって、
前記撮影画像から前記ターゲット図形中で幅を有する2本の前記直線部分を検出して、前記2本の直線部分の内側および外側の直線を延長した4本の境界直線について、前記境界直線の傾きと、前記境界直線が前記撮影画像中の所定の一辺を横切る境界切片位置とを、前記4本の境界直線を識別した状態で検出する境界直線検出部(103)と、
前記複数の撮影画像の各々から検出された前記4本の境界直線についての前記傾きおよび前記境界切片位置を、前記4本の境界直線が識別された状態で記憶しておき、前記4本の境界直線の各々についての前記傾きおよび前記境界切片位置の偏差が所定の許容値以下であった場合に、前記ターゲット図形の前記2本の直線部分に対して前記車両が平行と判断する平行判断部(105)と
を備え、
前記取付角度探索部は、前記ターゲット図形の前記2本の直線部分に対して前記車両が平行と判断された場合に、前記取付角度を探索する
ことを特徴とする取付角度検出装置。 - 請求項3に記載の取付角度検出装置(220)であって、
前記ターゲット図形の前記2本の直線部分に対して前記車両が平行と判断されると、前記複数の撮影画像の各々から前記4本の境界直線を抽出した結果に基づいて、前記4本の境界直線を代表する4本の代表境界直線を決定し、前記ターゲット図形の前記2本の直線部分を前記4本の代表境界直線で代表させることによって、前記複数の撮影画像を代表する代表撮影画像を生成する代表撮影画像生成部(201)と
を備え、
前記鳥瞰変換部は、前記代表撮影画像を鳥瞰変換することによって前記鳥瞰画像を生成する
ことを特徴とする取付角度検出装置。 - 請求項2ないし請求項4の何れか一項に記載の取付角度検出装置であって、
前記撮影画像の取得中に、前記車両の操舵角を監視する車両監視部(106)と、
前記撮影画像の取得中に、前記車両が直進していない場合には警報を出力する警報出力部(107)と
を備える取付角度検出装置。 - 車両の周囲の地面を撮影する車載カメラの前記車両に対する取付角度を較正する取付角度較正装置(100、200)であって、
互いに平行で且つ等幅な2本の直線部分を有するターゲット図形が形成された前記地面の撮影画像を取得する撮影画像取得部(101)と、
前記車両に対する前記車載カメラの取付角度の設定値を取得して、前記車載カメラが前記設定値で取り付けられているものと仮定することによって、前記撮影画像を、前記撮影画像に写った前記地面をあたかも上方から見下ろした鳥瞰画像に鳥瞰変換する鳥瞰変換部(109)と、
前記鳥瞰変換に用いる前記取付角度の設定値を変更することで、前記鳥瞰画像中の前記ターゲット図形の前記2本の直線部分の平行度および前記2本の直線部分の幅の差が、何れも所定の許容範囲内となる前記取付角度を探索する取付角度探索部(110)と、
探索された前記取付角度によって、前記車載カメラの前記車両に対する取付角度を較正する取付角度較正部(114)と
を備える取付角度較正装置。 - 請求項6に記載の取付角度較正装置であって、
前記車載カメラは、前記車両の前方または後方に向けて搭載されており、
前記撮影画像取得部は、前記ターゲット図形の前記2本の直線部分の方向に沿って前記車両を直進させることによって異なる位置から撮影された複数の前記撮影画像を取得しており、
前記撮影画像から前記ターゲット図形中の2本の前記直線部分を検出して、前記直線部分を延長した2本の中心直線について、前記中心直線の傾きと、前記中心直線が前記撮影画像中の所定の一辺を横切る切片位置とを、前記2本の中心直線を識別した状態で検出する中心直線検出部(102)と、
前記複数の撮影画像の各々から検出された前記2本の中心直線についての前記傾きおよび前記切片位置を、前記2本の中心直線が識別された状態で記憶しておき、前記2本の中心直線の各々についての前記傾きおよび前記切片位置の偏差が所定の許容値以下であった場合に、前記ターゲット図形の前記2本の直線部分に対して前記車両が平行と判断する平行判断部(105)と
を備え、
前記取付角度探索部は、前記ターゲット図形の前記2本の直線部分に対して前記車両が平行と判断された場合に、前記取付角度を探索する
ことを特徴とする取付角度較正装置。 - 車両の周囲の地面を撮影する車載カメラの前記車両に対する取付角度を検出する取付角度検出方法であって、
互いに平行で且つ等幅な2本の直線部分を有するターゲット図形が形成された前記地面の撮影画像を取得する撮影画像取得工程(S102)と、
前記車両に対する前記車載カメラの取付角度の設定値を取得する設定値取得工程(S115、S155)と、
前記設定値を取得すると、前記車載カメラが前記設定値で前記車両に取り付けられているものと仮定して、前記撮影画像を、前記撮影画像に写った前記地面をあたかも上方から見下ろした鳥瞰画像に鳥瞰変換する鳥瞰変換工程(S116、S156)と、
前記鳥瞰画像中の前記ターゲット図形の前記2本の直線部分の平行度、および前記2本の直線部分の幅の差を検出して、検出した前記2本の直線部分の平行度および前記幅の差が所定の許容範囲内にあるか否かを判断する判断工程(S117、S118、S157、S158)と、
検出した前記2本の直線部分の平行度および前記幅の差の何れかが、所定の許容範囲内に無かった場合には、前記車載カメラの取付角度の前記設定値を変更することによって、前記2本の直線部分の平行度および前記幅の差が、何れも前記許容範囲内に入る前記取付角度を探索する取付角度探索工程(S119、S159)と、
探索された前記取付角度を、前記車載カメラの前記車両に対する取付角度として決定する取付角度決定工程(S120、S160)と
を備える取付角度検出方法。 - 前記車両の前方または後方の地面を撮影する前記車載カメラに適用される請求項8に記載の取付角度検出方法であって、
前記撮影画像取得工程は、前記ターゲット図形の前記2本の直線部分の方向に沿って前記車両を直進させることによって異なる位置から撮影された複数の前記撮影画像を取得する工程であり、
前記撮影画像から前記ターゲット図形中の2本の前記直線部分を検出して、前記直線部分を延長した2本の中心直線について、前記中心直線の傾きと、前記中心直線が前記撮影画像中の所定の一辺を横切る切片位置とを、前記2本の中心直線を識別した状態で検出して記憶しておく中心直線記憶工程(S103)と、
前記複数の撮影画像の各々から検出された前記2本の中心直線についての前記傾きおよび前記切片位置の偏差が所定の許容値以下であった場合に、前記ターゲット図形の前記2本の直線部分に対して前記車両が平行と判断する平行判断工程(S110、S150)と
を備え、
前記設定値取得工程は、前記ターゲット図形の前記2本の直線部分に対して前記車両が平行と判断された場合に、前記取付角度の設定値を取得する工程である
取付角度検出方法。 - 車両の周囲の地面を撮影する車載カメラの前記車両に対する取付角度を検出する機能を、コンピューターを用いて実現するためのコンピュータープログラムであって、
互いに平行で且つ等幅な2本の直線部分を有するターゲット図形が形成された前記地面の撮影画像を読み込む撮影画像読込機能(S102)と、
前記車両に対する前記車載カメラの取付角度の設定値を読み込む設定値読込機能(S115、S155)と、
前記設定値を読み込むと、前記車載カメラが前記設定値で前記車両に取り付けられているものと仮定して、前記撮影画像を、前記撮影画像に写った前記地面をあたかも上方から見下ろした鳥瞰画像に鳥瞰変換する鳥瞰変換機能(S116、S156)と、
前記鳥瞰画像中の前記ターゲット図形の前記2本の直線部分の平行度、および前記2本の直線部分の幅の差を検出して、検出した前記2本の直線部分の平行度および前記幅の差の何れかが、所定の許容範囲内にあるか否かを判断する判断機能(S117、S118、S157、S158)と、
検出した前記2本の直線部分の平行度および前記幅の差の何れかが、所定の許容範囲内に無かった場合には、前記車載カメラの取付角度の前記設定値を変更することによって、前記2本の直線部分の平行度および前記幅の差が、何れも前記許容範囲内に入る前記取付角度を探索する取付角度探索機能(S119、S159)と、
探索された前記取付角度を、前記車載カメラの前記車両に対する取付角度として決定する取付角度決定機能(S120、S160)と
を、コンピューターを用いて実現させるコンピュータープログラム。 - 前記車両の前方または後方の地面を撮影する車載カメラの取付角度を検出する機能を、コンピューターを用いて実現するための請求項10にコンピュータープログラムであって、
前記撮影画像読込機能は、前記ターゲット図形の前記2本の直線部分の方向に沿って前記車両を直進させることによって異なる位置から撮影された複数の前記撮影画像を読み込む機能であり、
前記撮影画像から前記ターゲット図形中の2本の前記直線部分を検出して、前記直線部分を延長した2本の中心直線について、前記中心直線の傾きと、前記中心直線が前記撮影画像中の所定の一辺を横切る切片位置とを、前記2本の中心直線を識別した状態で検出して記憶しておく中心直線記憶機能(S103)と、
前記複数の撮影画像の各々から検出された前記2本の中心直線についての前記傾きおよび前記切片位置の偏差が所定の許容値以下であった場合に、前記ターゲット図形の前記2本の直線部分に対して前記車両が平行と判断する平行判断機能(S110、S150)と
を備え、
前記設定値読込機能は、前記ターゲット図形の前記2本の直線部分に対して前記車両が平行と判断された場合に、前記取付角度の設定値を読み込む機能である
コンピュータープログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016074817A JP6565769B2 (ja) | 2016-04-03 | 2016-04-03 | 車載カメラの取付角度検出装置、取付角度較正装置、取付角度検出方法、取付角度較正方法、およびコンピュータープログラム |
PCT/JP2017/013759 WO2017175687A1 (ja) | 2016-04-03 | 2017-03-31 | 車載カメラの取付角度検出装置、取付角度較正装置、および取付角度検出方法 |
CN201780021593.1A CN108886606B (zh) | 2016-04-03 | 2017-03-31 | 车载照相机的安装角度检测装置、安装角度校准装置、以及安装角度检测方法 |
DE112017001841.2T DE112017001841T5 (de) | 2016-04-03 | 2017-03-31 | Vorrichtung zum erfassen eines montagewinkels für eine fahrzeuginterne kamera, vorrichtung zum kalibrieren eines montagewinkels, und verfahren zur erfassung eines montagewinkels |
US16/088,627 US10787126B2 (en) | 2016-04-03 | 2017-03-31 | Mounting angle detection device for in-vehicle camera, mounting angle calibration device, and mounting angle detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016074817A JP6565769B2 (ja) | 2016-04-03 | 2016-04-03 | 車載カメラの取付角度検出装置、取付角度較正装置、取付角度検出方法、取付角度較正方法、およびコンピュータープログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017188738A JP2017188738A (ja) | 2017-10-12 |
JP6565769B2 true JP6565769B2 (ja) | 2019-08-28 |
Family
ID=60001146
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016074817A Active JP6565769B2 (ja) | 2016-04-03 | 2016-04-03 | 車載カメラの取付角度検出装置、取付角度較正装置、取付角度検出方法、取付角度較正方法、およびコンピュータープログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10787126B2 (ja) |
JP (1) | JP6565769B2 (ja) |
CN (1) | CN108886606B (ja) |
DE (1) | DE112017001841T5 (ja) |
WO (1) | WO2017175687A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11025723B2 (en) * | 2016-05-27 | 2021-06-01 | Axon Enterprise, Inc. | Systems and methods for mounts for recording devices |
EP3392801A1 (en) * | 2017-04-21 | 2018-10-24 | Harman International Industries, Incorporated | Systems and methods for driver assistance |
JP6995447B2 (ja) | 2018-11-26 | 2022-01-14 | アルパイン株式会社 | キャリブレーション装置 |
US10930155B2 (en) * | 2018-12-03 | 2021-02-23 | Continental Automotive Systems, Inc. | Infrastructure sensor detection and optimization method |
JP2020135776A (ja) * | 2019-02-26 | 2020-08-31 | プラス株式会社 | 撮影装置 |
KR102297683B1 (ko) * | 2019-07-01 | 2021-09-07 | (주)베이다스 | 복수의 카메라들을 캘리브레이션하는 방법 및 장치 |
US20210262804A1 (en) * | 2020-02-21 | 2021-08-26 | Canon Kabushiki Kaisha | Information processing device, information processing method, and storage medium |
CN111210482B (zh) * | 2020-02-24 | 2024-03-05 | 高新兴科技集团股份有限公司 | 摄像机视频图像实时纠偏方法、计算机存储介质及设备 |
CN112990117B (zh) * | 2021-04-21 | 2021-08-17 | 智道网联科技(北京)有限公司 | 基于智能驾驶系统的安装数据处理方法及装置 |
CN114049404B (zh) * | 2022-01-12 | 2022-04-05 | 深圳佑驾创新科技有限公司 | 一种车内相机外参标定方法及装置 |
CN117541592B (zh) * | 2024-01-10 | 2024-06-21 | 宁德时代新能源科技股份有限公司 | 相机安装偏差的确定方法和视觉检测补偿方法 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4152370B2 (ja) | 2004-09-28 | 2008-09-17 | 三洋電機株式会社 | ダイバーシチ方法および装置 |
US7782374B2 (en) * | 2005-03-03 | 2010-08-24 | Nissan Motor Co., Ltd. | Processor and processing method for generating a panoramic image for a vehicle |
JP4443621B2 (ja) * | 2007-01-18 | 2010-03-31 | 三菱電機株式会社 | カーナビゲーション装置 |
JP2008187564A (ja) * | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | カメラ校正装置及び方法並びに車両 |
WO2008117386A1 (ja) * | 2007-03-23 | 2008-10-02 | Pioneer Corporation | 車両用画像処理装置及び車両用画像処理プログラム |
JP5133783B2 (ja) * | 2008-05-30 | 2013-01-30 | アルパイン株式会社 | 車載装置 |
US8502860B2 (en) * | 2009-09-29 | 2013-08-06 | Toyota Motor Engineering & Manufacturing North America (Tema) | Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent |
JP5491235B2 (ja) | 2010-03-02 | 2014-05-14 | 東芝アルパイン・オートモティブテクノロジー株式会社 | カメラキャリブレーション装置 |
JP5444139B2 (ja) * | 2010-06-29 | 2014-03-19 | クラリオン株式会社 | 画像のキャリブレーション方法および装置 |
JP5898475B2 (ja) * | 2011-11-28 | 2016-04-06 | クラリオン株式会社 | 車載カメラシステム及びその較正方法、及びその較正プログラム |
KR20130065005A (ko) * | 2011-12-09 | 2013-06-19 | 주식회사 만도 | 레이더 장치 및 안테나 장치 |
JP6025365B2 (ja) * | 2012-04-04 | 2016-11-16 | 京セラ株式会社 | 較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法 |
JP5991842B2 (ja) | 2012-04-16 | 2016-09-14 | アルパイン株式会社 | 車載カメラの取付角度補正装置および取付角度補正方法 |
DE102013103952B4 (de) * | 2012-05-02 | 2020-07-09 | GM Global Technology Operations LLC | Spurerkennung bei voller Fahrt mit einem Rundumsichtsystem |
JP6009894B2 (ja) * | 2012-10-02 | 2016-10-19 | 株式会社デンソー | キャリブレーション方法、及びキャリブレーション装置 |
JP2014127834A (ja) * | 2012-12-26 | 2014-07-07 | Clarion Co Ltd | 車載カメラ用キャリブレーションシステム |
JP6364797B2 (ja) * | 2014-02-06 | 2018-08-01 | 株式会社デンソー | 画像解析装置、および画像解析方法 |
CN103863205A (zh) * | 2014-04-03 | 2014-06-18 | 深圳市德赛微电子技术有限公司 | 一种辅助车载全景系统摄像头安装的方法及其辅助系统 |
JP6450530B2 (ja) * | 2014-06-11 | 2019-01-09 | 株式会社Soken | 車載カメラの取付角度調整処理、取付角度検出装置 |
JP6507590B2 (ja) * | 2014-11-26 | 2019-05-08 | 株式会社デンソー | 画像変換装置および画像変換方法 |
JP6538547B2 (ja) * | 2015-12-25 | 2019-07-03 | 株式会社Soken | 道路曲率計測装置 |
US20190078876A1 (en) * | 2016-03-29 | 2019-03-14 | Kyb Corporation | Road surface displacement detection device and suspension control method |
EP3572897A4 (en) * | 2017-01-20 | 2020-11-04 | Kubota Corporation | COMMERCIAL VEHICLE |
KR102314336B1 (ko) * | 2017-09-14 | 2021-10-19 | 주식회사 만도모빌리티솔루션즈 | 차량용 레이더 장치 및 그의 각도 추정 방법 |
KR102505471B1 (ko) * | 2018-10-08 | 2023-03-06 | 주식회사 에이치엘클레무브 | 레이더 장착 각도 검출 장치 및 그 방법 |
-
2016
- 2016-04-03 JP JP2016074817A patent/JP6565769B2/ja active Active
-
2017
- 2017-03-31 WO PCT/JP2017/013759 patent/WO2017175687A1/ja active Application Filing
- 2017-03-31 US US16/088,627 patent/US10787126B2/en active Active
- 2017-03-31 CN CN201780021593.1A patent/CN108886606B/zh active Active
- 2017-03-31 DE DE112017001841.2T patent/DE112017001841T5/de active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2017188738A (ja) | 2017-10-12 |
DE112017001841T5 (de) | 2018-12-27 |
CN108886606B (zh) | 2020-08-28 |
CN108886606A (zh) | 2018-11-23 |
US20190118712A1 (en) | 2019-04-25 |
US10787126B2 (en) | 2020-09-29 |
WO2017175687A1 (ja) | 2017-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6565769B2 (ja) | 車載カメラの取付角度検出装置、取付角度較正装置、取付角度検出方法、取付角度較正方法、およびコンピュータープログラム | |
KR101265012B1 (ko) | 차량 탑재 카메라의 교정 장치, 방법 및 프로그램 | |
JP4690476B2 (ja) | 車載カメラの校正装置 | |
JP4751939B2 (ja) | 車載カメラの校正装置 | |
JP5091902B2 (ja) | 車載カメラの校正に用いられる校正指標と、当該校正指標を用いた車載カメラの校正方法と、システムと、当該システムのためのプログラム | |
JP4803450B2 (ja) | 車載カメラの校正装置及び当該装置を用いた車両の生産方法 | |
US9792683B2 (en) | System, vehicle and method for online calibration of a camera on a vehicle | |
JP5240527B2 (ja) | 車載カメラの校正装置、方法、及びプログラム | |
EP1783687A1 (en) | Movement amount computation system | |
JP5081313B2 (ja) | 車載カメラの校正装置 | |
CN104641394A (zh) | 图像处理装置及存储介质 | |
WO2015029443A1 (ja) | 舵角補正方法、舵角補正装置、撮像装置、および舵角補正システム | |
JP2008131177A (ja) | 車載カメラの校正装置、校正方法、並びにこの校正方法を用いた車両の生産方法 | |
JP2002197469A (ja) | 車線検出装置 | |
JP2002259995A (ja) | 位置検出装置 | |
JP4670528B2 (ja) | 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置 | |
US9892519B2 (en) | Method for detecting an object in an environmental region of a motor vehicle, driver assistance system and motor vehicle | |
WO2018042954A1 (ja) | 車載カメラ、車載カメラの調整方法、車載カメラシステム | |
JP6085212B2 (ja) | 運転支援装置 | |
WO2016129552A1 (ja) | カメラパラメータ調整装置 | |
JP2016053748A (ja) | 運転支援装置および運転支援方法 | |
JP6450530B2 (ja) | 車載カメラの取付角度調整処理、取付角度検出装置 | |
JP2018136739A (ja) | キャリブレーション装置 | |
JP2005173899A (ja) | 周囲状況表示装置 | |
JP7380443B2 (ja) | 部分画像生成装置及び部分画像生成用コンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190328 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190715 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6565769 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |