JP6244926B2 - On-vehicle camera parameter generation device and program - Google Patents

On-vehicle camera parameter generation device and program Download PDF

Info

Publication number
JP6244926B2
JP6244926B2 JP2014005285A JP2014005285A JP6244926B2 JP 6244926 B2 JP6244926 B2 JP 6244926B2 JP 2014005285 A JP2014005285 A JP 2014005285A JP 2014005285 A JP2014005285 A JP 2014005285A JP 6244926 B2 JP6244926 B2 JP 6244926B2
Authority
JP
Japan
Prior art keywords
vehicle
feature point
camera
parameter generation
camera parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014005285A
Other languages
Japanese (ja)
Other versions
JP2015133066A (en
Inventor
一樹 加藤
一樹 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2014005285A priority Critical patent/JP6244926B2/en
Publication of JP2015133066A publication Critical patent/JP2015133066A/en
Application granted granted Critical
Publication of JP6244926B2 publication Critical patent/JP6244926B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、車両の外部を撮像するようにその車両に取り付けられる車載カメラの位置および姿勢に基づくカメラパラメータを生成する車載カメラパラメータ生成装置およびプログラムに関する。   The present invention relates to an in-vehicle camera parameter generation device and a program for generating camera parameters based on the position and orientation of an in-vehicle camera attached to the vehicle so as to capture the outside of the vehicle.

従来、車載カメラのキャリブレーション装置において、車載カメラによる撮像画像から、道路上の路面標示における特徴点を抽出して、抽出した特徴点の画像位置を繋いだ線分から画像上の消失点を求め、この消失点等と路面標示に関する既知の情報とに基づいて、車載カメラの高さおよび姿勢を示すカメラパラメータを算出する技術が知られている(例えば、特許文献1参照)。   Conventionally, in a calibration device for an in-vehicle camera, a feature point in a road marking on a road is extracted from an image captured by the in-vehicle camera, and a vanishing point on the image is obtained from a line segment connecting the image positions of the extracted feature points. A technique for calculating camera parameters indicating the height and posture of an in-vehicle camera based on the vanishing point and the known information on road marking is known (for example, see Patent Document 1).

特開2008−11174号公報JP 2008-11174 A

しかしながら、上記の従来技術では、算出されたカメラパラメータの信頼度が低いのではないかという懸念があった。具体的には、例えば特徴点(ひいては路面標示)の画像位置が横方向にずれている場合に、その原因が、車載カメラの姿勢によるものであるのか、車両の向きによるものであるのかが容易に判別できない。そして、このような状況で、画像位置のずれの原因を車載カメラの姿勢によるものとしてカメラパラメータを一律に算出してしまうと、実際には路面標示に対して車両の向きがずれていたという場合に、キャリブレーションが正しく行われないという問題があった。   However, in the above-described conventional technology, there is a concern that the reliability of the calculated camera parameter may be low. Specifically, for example, when the image position of a feature point (and thus a road marking) is shifted laterally, it is easy to determine whether the cause is due to the posture of the in-vehicle camera or the direction of the vehicle. Cannot be determined. And in such a situation, if the camera parameters are calculated uniformly as the cause of the image position deviation due to the attitude of the in-vehicle camera, the vehicle direction is actually deviated from the road marking However, there is a problem that calibration is not performed correctly.

また、上記の従来技術では、そもそも道路上に所定の路面標示が存在しなければカメラパラメータを算出するための一連の処理を実施できないため、このような制約によりキャリブレーションを行う機会が限定されてしまうという問題があった。   In addition, in the above-described conventional technology, since a series of processes for calculating camera parameters cannot be performed unless a predetermined road marking is present on the road, the opportunity for calibration is limited due to such restrictions. There was a problem that.

本発明は、こうした事情等に鑑みてなされたものであり、車両の向きや路面標示の有無に制限されることなく、車載カメラの位置および姿勢に基づくカメラパラメータを容易に生成することが可能な技術の提供を目的とする。   The present invention has been made in view of such circumstances, and can easily generate camera parameters based on the position and orientation of the in-vehicle camera without being limited by the direction of the vehicle or the presence or absence of road markings. The purpose is to provide technology.

本発明は、車両の外部を撮像するようにその車両に取り付けられた車載カメラの位置および姿勢に基づくカメラパラメータを生成する車載カメラパラメータ生成装置であって、特徴点抽出手段と、パラメータ生成手段と、を備える。   The present invention relates to an in-vehicle camera parameter generation device that generates camera parameters based on the position and orientation of an in-vehicle camera attached to a vehicle so as to image the outside of the vehicle, the feature point extracting unit, the parameter generating unit, .

特徴点抽出手段は、車載カメラによる撮像画像から、車両に設けられている投光装置により路面に投光された投光路面領域の特徴点を抽出する。
パラメータ生成手段は、特徴点抽出手段により抽出された特徴点の画像位置に基づいてカメラパラメータを生成する。
The feature point extraction means extracts a feature point of a light projecting road surface area projected onto the road surface by a light projecting device provided in the vehicle, from an image captured by the in-vehicle camera.
The parameter generation means generates a camera parameter based on the image position of the feature point extracted by the feature point extraction means.

このように構成された車載カメラパラメータ生成装置では、例えば特徴点(ひいては投光路面領域)の画像位置がずれた場合であっても、その原因が車両の向きとは無関係となる。なぜなら、車両と投光装置の位置関係は固定されているため、車両の向きに依存しないからである。そのため、車載カメラの位置及び/又は姿勢によるものとしてカメラパラメータを一律に算出することにより、キャリブレーションを正しく行うことが可能となる。   In the in-vehicle camera parameter generation device configured as described above, for example, even when the image position of the feature point (and thus the light projecting road surface area) is deviated, the cause is irrelevant to the direction of the vehicle. This is because the positional relationship between the vehicle and the projector is fixed and does not depend on the direction of the vehicle. Therefore, it is possible to perform calibration correctly by uniformly calculating camera parameters based on the position and / or orientation of the in-vehicle camera.

また、車両に設けられている投光装置により路面に投光された投光路面領域の特徴点を抽出する構成のため、道路上に路面標示がない場合であっても、特徴点を抽出することができ、カメラパラメータを生成することが可能となる。   In addition, since the feature points of the projected road surface area projected on the road surface by the light projecting device provided in the vehicle are extracted, the feature points are extracted even when there is no road marking on the road. And it is possible to generate camera parameters.

したがって、本発明によれば、車両の向きや路面標示の有無に制限されることなく、車載カメラの位置および姿勢に基づくカメラパラメータを容易に生成することができる。
また、本発明は、プログラムとして市場に流通させることができる。具体的には、コンピュータを、少なくとも、上記の特徴点抽出手段およびパラメータ生成手段として機能させるためのプログラムである。
Therefore, according to the present invention, camera parameters based on the position and orientation of the in-vehicle camera can be easily generated without being limited by the direction of the vehicle or the presence or absence of road markings.
In addition, the present invention can be distributed on the market as a program. Specifically, it is a program for causing a computer to function as at least the above feature point extraction means and parameter generation means.

このプログラムは、1ないし複数のコンピュータに組み込まれることにより、本発明の車載カメラパラメータ生成装置によって奏する効果と同等の効果を得ることができる。なお、本発明のプログラムは、コンピュータに組み込まれるROMやフラッシュメモリ等に記憶され、これらROMやフラッシュメモリ等からコンピュータにロードされて用いられてもよいし、ネットワークを介してコンピュータにロードされて用いられてもよい。   By incorporating this program into one or a plurality of computers, it is possible to obtain the same effect as that achieved by the in-vehicle camera parameter generation device of the present invention. The program of the present invention may be stored in a ROM, flash memory, or the like incorporated in a computer and loaded from the ROM, flash memory, or the like into the computer, or loaded into the computer via a network. May be.

また、上記のプログラムは、コンピュータにて読み取り可能なあらゆる形態の記録媒体に記録されて用いられてもよい。この記録媒体としては、持ち運び可能な半導体メモリ(例えば、USBメモリ)等が含まれる。   Further, the above program may be used by being recorded on a recording medium in any form readable by a computer. Examples of the recording medium include a portable semiconductor memory (for example, a USB memory).

車載カメラパラメータ生成装置1およびその接続機器類の構成を例示するブロック図である。It is a block diagram which illustrates the composition of in-vehicle camera parameter generation device 1 and its connection apparatus. (a)は、車載センサ20を構成する各センサ21〜24の設置例を示す俯瞰図であり、(b)は、車両における各軸方向および角度方向の定義を示す斜視図である。(A) is a bird's-eye view which shows the installation example of each sensor 21-24 which comprises the vehicle-mounted sensor 20, (b) is a perspective view which shows the definition of each axial direction and angular direction in a vehicle. 車載カメラパラメータ生成装置1が実行するキャリブレーション処理の内容を例示するフローチャートである。It is a flowchart which illustrates the content of the calibration process which the vehicle-mounted camera parameter generation apparatus 1 performs. キャリブレーション処理のS110およびS160にて実施される前工程処理の内容を例示するフローチャートである。It is a flowchart which illustrates the content of the pre-process process implemented in S110 and S160 of a calibration process. 車載ライト50の各種投光方法を例示する説明図である。It is explanatory drawing which illustrates the various light projection methods of the vehicle-mounted light. 各種投光方法による投光路面領域の特徴点を例示する説明図である。It is explanatory drawing which illustrates the feature point of the light projection road surface area | region by various light projection methods. 特徴点の画像位置のずれと、車載カメラ10の姿勢のずれと、の相関関係を例示する説明図である。It is explanatory drawing which illustrates the correlation of the shift | offset | difference of the image position of a feature point, and the shift | offset | difference of the attitude | position of the vehicle-mounted camera 10. FIG.

以下に、本発明の実施形態としての車載カメラパラメータ生成装置1を図面と共に説明する。
なお、本発明は、下記の実施形態によって何ら限定して解釈されない。また、下記の実施形態の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、下記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。
Hereinafter, an in-vehicle camera parameter generation device 1 as an embodiment of the present invention will be described with reference to the drawings.
The present invention is not construed as being limited in any way by the following embodiments. Moreover, the aspect which abbreviate | omitted a part of following embodiment as long as the subject could be solved is also embodiment of this invention. Moreover, all the aspects which can be considered in the limit which does not deviate from the essence of the invention specified only by the wording described in the claims are embodiments of the present invention. Further, the reference numerals used in the description of the following embodiments are also used in the claims as appropriate, but they are used for the purpose of facilitating the understanding of the invention according to each claim, and the invention according to each claim. It is not intended to limit the technical scope of

<全体構成>
図1に示すように、車載カメラパラメータ生成装置1は、CPU2,ROM3,RAM4等を有する1ないし複数の周知のマイクロコンピュータによって構成され、CPU2がROM3や外部メモリ(例えば記憶装置40等)に記憶されたプログラムに基づいて、RAM4を作業エリアとして用い、各種処理を実行するものである。
<Overall configuration>
As shown in FIG. 1, the in-vehicle camera parameter generation device 1 is composed of one or more known microcomputers having a CPU 2, a ROM 3, a RAM 4, and the like, and the CPU 2 stores them in the ROM 3 and an external memory (for example, a storage device 40). Based on the programmed program, the RAM 4 is used as a work area to execute various processes.

また、車載カメラパラメータ生成装置1には、車載カメラ10、車載センサ20、操作機器30、記憶装置40、車載ライト50、報知装置60がそれぞれ接続されている。
車載カメラ10は、CCDやCMOS等の撮像素子を有するカメラであり、車両に設置されて、車両の前方周辺を撮像する。そして、車載カメラ10は、車両前方の撮像画像を、所定頻度(例えば、1秒間に60フレーム)で車載カメラパラメータ生成装置1へ出力する。なお、本実施形態では、車載カメラ10は、車両前方の路面が撮像画像中に映り込むように車両に取り付けられている。
The in-vehicle camera parameter generation device 1 is connected to the in-vehicle camera 10, the in-vehicle sensor 20, the operating device 30, the storage device 40, the in-vehicle light 50, and the notification device 60.
The in-vehicle camera 10 is a camera having an image sensor such as a CCD or a CMOS, and is installed in the vehicle to image the front periphery of the vehicle. And the vehicle-mounted camera 10 outputs the captured image ahead of the vehicle to the vehicle-mounted camera parameter generating device 1 at a predetermined frequency (for example, 60 frames per second). In the present embodiment, the in-vehicle camera 10 is attached to the vehicle so that the road surface in front of the vehicle is reflected in the captured image.

車載センサ20は、車両に搭載されている各種センサ類であり、その中には少なくとも路面に対する車両の水平度を判定するための複数のセンサ21〜24が含まれている。これらのセンサ21〜24としては、図2(a)に示すように、車両の前方部、後方部、左側部および右側部の四方各部に設置されており、また各々が車体5に対し同じ高さとなる位置に設けられ、路面に対する車高方向の高さ(路面との距離)を検出する高さセンサが採用され得る。このような高さセンサを採用する場合、センサ21〜24のそれぞれの検出値を比較し、その差分値が誤差を吸収するための所定の閾値以下であれば、車両が路面に対して水平であると判定することができる。   The in-vehicle sensor 20 is a variety of sensors mounted on the vehicle, and includes at least a plurality of sensors 21 to 24 for determining the level of the vehicle with respect to the road surface. As shown in FIG. 2A, these sensors 21 to 24 are installed in the four parts of the front part, the rear part, the left part, and the right part of the vehicle. A height sensor that detects the height in the vehicle height direction relative to the road surface (distance from the road surface) may be employed. When such a height sensor is employed, the detection values of the sensors 21 to 24 are compared, and if the difference value is equal to or smaller than a predetermined threshold for absorbing an error, the vehicle is horizontal with respect to the road surface. It can be determined that there is.

なお、以下では、図2(b)に示すように、車両において、車体5の車幅方向をX軸、車長方向をY軸、車高方向をZ軸、Z軸に対する回転方向をヨー方向、Y軸に対する回転方向をロール方向、X軸に対する回転方向をピッチ方向と称する。   In the following, as shown in FIG. 2B, in the vehicle, the vehicle width direction of the vehicle body 5 is the X axis, the vehicle length direction is the Y axis, the vehicle height direction is the Z axis, and the rotation direction with respect to the Z axis is the yaw direction. The rotation direction with respect to the Y axis is referred to as the roll direction, and the rotation direction with respect to the X axis is referred to as the pitch direction.

操作機器30は、車両の乗員(主に運転者)による入力操作を受け付けるための周辺機器であり、各種スイッチ類やタッチパネル等によって構成される。
記憶装置40は、例えばハードディスクドライブや他の不揮発性メモリ等によって構成され、車載カメラ10から車載カメラパラメータ生成装置1に入力される撮像画像を記憶したり、車載カメラパラメータ生成装置1が実行する各種処理によって生成される各種情報(後述する画像位置情報など)を記憶したりするために用いられる。
The operating device 30 is a peripheral device for receiving an input operation by a vehicle occupant (mainly a driver), and includes various switches and a touch panel.
The storage device 40 is configured by, for example, a hard disk drive or other nonvolatile memory, and stores a captured image input from the in-vehicle camera 10 to the in-vehicle camera parameter generation device 1 or various types executed by the in-vehicle camera parameter generation device 1. It is used to store various information generated by the processing (image position information described later).

また、記憶装置40には、車載カメラパラメータ生成装置1が各種処理を行うために必要な設定情報が予め記憶されている。この設定情報には、詳しくは後述するが、車載ライト50の投光方法毎に異なる特徴点の車体5(車両)に対する相対位置(実空間上における位置)を示す相対位置情報や、例えば撮像画像から実空間への座標変換の際に用いられる設定カメラパラメータ情報が含まれている。なお、特徴点の相対位置は、例えば車両の出荷前までに予め測定され得るものである。   In addition, setting information necessary for the in-vehicle camera parameter generation device 1 to perform various processes is stored in the storage device 40 in advance. Although this setting information will be described in detail later, relative position information indicating the relative position (position in the real space) of the feature point that differs for each light projection method of the in-vehicle light 50 with respect to the vehicle body 5 (vehicle), for example, a captured image The setting camera parameter information used in the coordinate conversion from to real space is included. Note that the relative positions of the feature points can be measured in advance before the vehicle is shipped, for example.

車載ライト50は、車両の前方部に搭載されている周知のヘッドランプやウインカーランプなどである。このうち、ヘッドランプは、ロービームまたはハイビームの切り替え指示に応じた投光方法にて前照灯を照射するようになっている。また、ウインカーランプは、方向指示に応じた左右いずれか一方、またはハザードランプとして左右両方のシグナル灯を照射するようになっている。そして、これらの切り替え指示や方向指示等は、車載カメラパラメータ生成装置1からも入力されるように構成されている。   The in-vehicle light 50 is a known headlamp or turn signal lamp mounted on the front portion of the vehicle. Among these, the headlamp irradiates the headlamp with a light projection method according to a low beam or high beam switching instruction. In addition, the blinker lamp irradiates either the left or right signal lamp as a hazard lamp according to the direction indication. These switching instructions, direction instructions, and the like are also input from the in-vehicle camera parameter generation device 1.

報知装置60は、車室内に設置されたディスプレイやスピーカであり、車載カメラパラメータ生成装置1が実行する各種処理においては、表示画像やメッセージ等によって車両の乗員に通知が必要な場合に使用される。   The notification device 60 is a display or a speaker installed in the vehicle interior, and is used in various processes executed by the in-vehicle camera parameter generation device 1 when notification to a vehicle occupant is required by a display image, a message, or the like. .

<キャリブレーション処理>
次に、車載カメラパラメータ生成装置1のCPU2が実行する各種処理のうち、車載カメラ10のキャリブレーション処理を、図3および図4のフローチャートに沿って説明する。なお、本実施形態でいうキャリブレーション処理とは、画像平面に投影された点の座標(画像位置)と、ワールド座標系の3次元座標(実空間上の位置)と、の相関関係を示すパラメータ行列(少なくとも車載カメラ10の位置および姿勢に基づく外部パラメータ行列を含むカメラパラメータ)を生成し、生成したパラメータ行列によって記憶装置40に記憶されている設定カメラパラメータ情報を更新する処理である。この設定カメラパラメータ情報は、例えば車両前方の障害物の位置を検出する際等に使用され得る。
<Calibration process>
Next, calibration processing of the in-vehicle camera 10 among various processing executed by the CPU 2 of the in-vehicle camera parameter generation device 1 will be described with reference to the flowcharts of FIGS. 3 and 4. The calibration processing referred to in the present embodiment is a parameter indicating the correlation between the coordinates of the point projected on the image plane (image position) and the three-dimensional coordinates (position in real space) of the world coordinate system. This is a process of generating a matrix (camera parameters including at least an external parameter matrix based on the position and orientation of the in-vehicle camera 10) and updating the set camera parameter information stored in the storage device 40 with the generated parameter matrix. This set camera parameter information can be used, for example, when detecting the position of an obstacle ahead of the vehicle.

また、キャリブレーション処理は、車両の走行状態および停止状態のいずれの状態でも行われるものであり、定期的に行うものとしてもよく、また、必要に応じて何度でも行うようにしてもよい。さらに、車載センサ20として照度センサが車両に搭載されている場合には、この照度センサから入力される検出値に基づいて、車両周囲の照度が所定の閾値を下回ると判断した際に行うものでもよい。   Further, the calibration process is performed in either the running state or the stopped state of the vehicle, and may be performed periodically, or may be performed as many times as necessary. Further, when an illuminance sensor is mounted on the vehicle as the in-vehicle sensor 20, even when it is determined that the illuminance around the vehicle is below a predetermined threshold based on the detection value input from the illuminance sensor. Good.

このキャリブレーション処理が開始されると、図3に示すように、CPU2は、S110において、カメラパラメータの生成に必要な前工程処理を開始する。
具体的には、この前工程処理が開始されると、図4に示すように、CPU2は、S310において、車載センサ20から入力される検出値に基づいて、車両が路面に対して水平であるという条件(以下「水平条件」という)を満たしているか否かを判断し、水平条件を満たしていると判断した場合には、S320に移行し、水平条件を満たしていないと判断した場合には、本ステップを再実行する。
When the calibration process is started, as shown in FIG. 3, the CPU 2 starts a pre-process process necessary for generating camera parameters in S110.
Specifically, when this pre-process is started, as shown in FIG. 4, the CPU 2 determines that the vehicle is horizontal with respect to the road surface based on the detection value input from the in-vehicle sensor 20 in S310. If it is determined whether or not the condition (hereinafter referred to as “horizontal condition”) is satisfied and it is determined that the horizontal condition is satisfied, the process proceeds to S320, and if it is determined that the horizontal condition is not satisfied Execute this step again.

次に、CPU2は、S320において、車載カメラ10から入力される撮像画像と、記憶装置40に記憶されている設定カメラパラメータ情報とに基づいて、予め設定された投光距離内に障害物(他車両など)が存在しないという条件(以下「障害物条件」という)を満たしているか否かを判断し、障害物条件を満たしていると判断した場合には、S330に移行し、障害物条件を満たしていないと判断した場合には、S310に戻る。なお、本実施形態において、投光距離は、車載ライト50により各種投光方法にて路面に投光される領域(以下「投光路面領域」という)の最も遠い地点から車両までの距離に所定のマージンを加えた距離として定義することができる。   Next, in S320, the CPU 2 determines an obstacle (others within a preset projection distance based on the captured image input from the in-vehicle camera 10 and the set camera parameter information stored in the storage device 40. Vehicle) or the like (hereinafter referred to as “obstacle condition”) is determined. If it is determined that the obstacle condition is satisfied, the process proceeds to S330 and the obstacle condition is set. If it is determined that the condition is not satisfied, the process returns to S310. In the present embodiment, the light projection distance is determined to be a distance from the farthest point in the area projected on the road surface by the in-vehicle light 50 by various light projection methods (hereinafter referred to as “light projection road surface area”) to the vehicle. Can be defined as the distance plus the margin.

S330では、CPU2は、車載ライト50に対して切り替え指示や方向指示等を出力する。例えば、図5に示すように、ヘッドランプにおける前照灯をロービームおよびハイビームにてそれぞれ照射させ、その後ウインカーランプにおける左右両方のシグナル灯を照射させる投光処理を実行する。   In S330, the CPU 2 outputs a switching instruction, a direction instruction, and the like to the in-vehicle light 50. For example, as shown in FIG. 5, a light projection process is performed in which the headlamp in the headlamp is irradiated with a low beam and a high beam, and then both the left and right signal lamps in the winker lamp are irradiated.

続くS340では、CPUは、S330の投光処理における各種の投光方法のそれぞれについて、車載カメラ10から入力される撮像画像に基づき、投光路面領域の特徴点を抽出する特徴点抽出処理を実行する。この特徴点抽出処理では、車載ライト50により投光する直前の撮像画像と投光した直後の撮像画像との差分から投光路面領域(図5参照)を抽出し、抽出した投光路面領域のそれぞれについて特徴点(図6参照)を抽出する。この特徴点としては、撮像画像における投光路面領域内の各画素の輝度値に基づいて、例えば、各画素の輝度値の加重平均により求められる重心座標や、最大輝度値を示す画素位置などが用いられる。   In subsequent S340, the CPU executes a feature point extraction process for extracting a feature point of the light projecting road surface area based on the captured image input from the in-vehicle camera 10 for each of the various light projecting methods in the light projecting process in S330. To do. In this feature point extraction processing, a light projecting road surface area (see FIG. 5) is extracted from the difference between the captured image immediately before being projected by the in-vehicle light 50 and the captured image immediately after the light is projected, and the extracted light projecting path surface area is extracted. A feature point (see FIG. 6) is extracted for each. The feature points include, for example, barycentric coordinates obtained by a weighted average of the luminance values of each pixel based on the luminance value of each pixel in the light projection path surface area in the captured image, a pixel position indicating the maximum luminance value, and the like. Used.

このようにS310〜S340(S110)の前工程処理が終了すると、図3に示すように、CPU2は、S120において、S340にて抽出した特徴点の画像位置に基づいて、記憶装置40に記憶されている設定カメラパラメータ情報の更新が必要であるか否かを判定するパラメータ更新判定処理を実行する。このパラメータ更新判定処理では、後述するS210において画像位置情報として記憶装置40に前回記憶された特徴点の画像位置と、S340にて今回抽出した特徴点の画像位置と、を比較し、両者の画像位置が同じ又は画像位置のずれ量が所定の誤差範囲内である場合には、設定カメラパラメータ情報の更新の必要がないと判定し、画像位置のずれ量が誤差範囲を超える場合には、設定カメラパラメータ情報の更新の必要があると判定する。   When the pre-process of S310 to S340 (S110) is completed in this way, as shown in FIG. 3, the CPU 2 stores in the storage device 40 in S120 based on the image position of the feature point extracted in S340. A parameter update determination process is performed to determine whether or not the set camera parameter information to be updated is necessary. In this parameter update determination process, the image position of the feature point previously stored in the storage device 40 as image position information in S210 described later is compared with the image position of the feature point extracted this time in S340, and both images are compared. When the position is the same or the image position deviation amount is within the predetermined error range, it is determined that there is no need to update the set camera parameter information, and when the image position deviation amount exceeds the error range, the setting is made. It is determined that the camera parameter information needs to be updated.

続くS130では、CPU2は、S120のパラメータ更新判定処理による判定結果に基づいて、処理を分岐する。すなわち、S120において、設定カメラパラメータ情報の更新の必要がないと判定した場合には、S110に戻り、設定カメラパラメータ情報の更新の必要があると判定した場合には、S140に移行する。   In subsequent S130, the CPU 2 branches the process based on the determination result of the parameter update determination process in S120. That is, in S120, if it is determined that there is no need to update the set camera parameter information, the process returns to S110, and if it is determined that the set camera parameter information needs to be updated, the process proceeds to S140.

S140では、CPU2は、設定カメラパラメータ情報の更新が必要である旨を、報知装置60によって車両の乗員に通知する。この通知には、設定カメラパラメータ情報の更新に必要な運転者に対する具体的な指示内容(例えば、車両を停止させた状態で特定のスイッチを押下する等)が含まれていてもよい。   In S140, the CPU 2 notifies the vehicle occupant by the notification device 60 that the setting camera parameter information needs to be updated. This notification may include specific instruction content for the driver necessary for updating the set camera parameter information (for example, pressing a specific switch while the vehicle is stopped).

続くS150では、CPU2は、操作機器30を介して、設定カメラパラメータ情報を更新するための入力操作(以下「乗員指示」という)を受け付けたか否かを判断し、乗員指示を受け付けたと判断した場合には、S160に移行し、乗員指示を受け付けていないと判断した場合には、本ステップを再実行する。   In subsequent S150, the CPU 2 determines whether or not an input operation for updating the set camera parameter information (hereinafter referred to as “occupant instruction”) has been received via the operation device 30, and when it is determined that an occupant instruction has been received. In step S160, if it is determined that an occupant instruction has not been received, this step is re-executed.

S160では、CPU2は、先のS110と同様、S310〜S340の前工程処理を実行することにより、車載ライト50による各種の投光方法のそれぞれについて投光路面領域の特徴点を抽出する。   In S160, CPU2 extracts the feature point of a light projection road surface area | region about each of the various light projection methods by the vehicle-mounted light 50 by performing the pre-process process of S310-S340 similarly to previous S110.

続くS170では、CPU2は、後述するS210において記憶装置40に画像位置情報として前回記憶された特徴点の画像位置と、S340にて抽出した特徴点の画像位置と、を比較し、両者の画像位置のずれが、車載カメラ10の位置および姿勢のずれのうち、車載カメラ10の姿勢のずれのみに因るものであるか否かを判断し、姿勢のずれのみに因るものであると判断した場合には、S180に移行し、位置および姿勢の両方のずれに因るものであると判断した場合には、S190に移行する。   In subsequent S170, the CPU 2 compares the image position of the feature point previously stored as image position information in the storage device 40 in S210, which will be described later, with the image position of the feature point extracted in S340. It is determined whether or not the deviation of the position is caused by only the deviation of the attitude of the in-vehicle camera 10 among the deviations of the position and attitude of the in-vehicle camera 10, and is judged to be caused only by the deviation of the attitude. In this case, the process proceeds to S180, and if it is determined that it is due to the deviation of both the position and the attitude, the process proceeds to S190.

具体的には、撮像画像から抽出した2つの特徴点の画像位置について画像位置情報と今回の撮像画像とを比較し、特徴点間の距離が等しく、各特徴点の画像位置が、図7(a)に示すように横方向にずれている場合には、車載カメラ10の姿勢がヨー方向にずれており、図7(b)に示すように縦方向にずれている場合には、車載カメラ10の姿勢がピッチ方向にずれていると判断する。また、特徴点間の距離が等しく、各特徴点を結ぶ線分が、図7(c)に示すように交わる場合(角度を有する場合)には、車載カメラ10の姿勢がロール方向にずれていると判断する。   Specifically, the image position information and the current captured image are compared for the image positions of two feature points extracted from the captured image, the distance between the feature points is equal, and the image position of each feature point is shown in FIG. When the vehicle camera 10 is shifted in the lateral direction as shown in a), the vehicle camera 10 is shifted in the yaw direction, and when it is shifted in the vertical direction as shown in FIG. 10 postures are determined to be shifted in the pitch direction. Further, when the distance between the feature points is equal and the line segments connecting the feature points intersect as shown in FIG. 7C (when they have an angle), the posture of the in-vehicle camera 10 is shifted in the roll direction. Judge that

S180では、CPU2は、記憶装置40に記憶されている設定カメラパラメータ情報が示すカメラパラメータを補正するパラメータ補正処理を実行する。このパラメータ補正処理では、撮像画像から抽出した少なくとも2つの特徴点について、それぞれ画像位置と、記憶装置40に記憶されている相対位置情報が示す実空間上における既知の位置と、に基づいて、カメラパラメータのうち車載カメラ10の姿勢に基づくパラメータ行列を算出する。   In S180, the CPU 2 executes a parameter correction process for correcting the camera parameter indicated by the set camera parameter information stored in the storage device 40. In this parameter correction process, for at least two feature points extracted from the captured image, the camera position is determined based on the image position and the known position in the real space indicated by the relative position information stored in the storage device 40, respectively. Of the parameters, a parameter matrix based on the attitude of the in-vehicle camera 10 is calculated.

一方、S190では、CPU2は、撮像画像から抽出した少なくとも4つの特徴点について、それぞれ画像位置と、記憶装置40に記憶されている相対位置情報が示す実空間上における既知の位置と、に基づいて、カメラパラメータのうち車載カメラ10の位置および姿勢に基づくパラメータ行列を算出する。   On the other hand, in S190, the CPU 2 determines each of at least four feature points extracted from the captured image based on the image position and the known position in the real space indicated by the relative position information stored in the storage device 40. Of the camera parameters, a parameter matrix based on the position and orientation of the in-vehicle camera 10 is calculated.

なお、パラメータ行列の算出方法としては、例えば、「Z.Zhang, “A Flexible New Technique for Camera Calibration”, IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol.22, No.11, pp.1330-1334, November 2000.」に開示されている手法を利用することができる。   As a method for calculating the parameter matrix, for example, “Z. Zhang,“ A Flexible New Technique for Camera Calibration ”, IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol. 22, No. 11, pp. 1330-1334, The technique disclosed in “November 2000” can be used.

続いて、CPU2は、S200において、S180またはS190にて算出したパラメータ行列によって、記憶装置40に記憶されている設定カメラパラメータ情報を更新し、S210において、S310〜S340の前工程処理(S160)にて抽出した特徴点の画像位置を示す画像位置情報を記憶装置40に記憶して、S310に戻る。   Subsequently, in S200, the CPU 2 updates the set camera parameter information stored in the storage device 40 with the parameter matrix calculated in S180 or S190. In S210, the CPU 2 performs the pre-process (S160) of S310 to S340. The image position information indicating the image position of the feature point extracted in this manner is stored in the storage device 40, and the process returns to S310.

<効果>
以上説明したように、車載カメラパラメータ生成装置1では、キャリブレーション処理において、車載カメラ10による撮像画像から、車両に設けられている車載ライト50により路面に投光された投光路面領域の特徴点を抽出し(S340)、抽出された特徴点の画像位置に基づいてカメラパラメータを生成する(S170〜S200)。
<Effect>
As described above, in the in-vehicle camera parameter generation device 1, in the calibration process, the feature points of the projected road surface area projected on the road surface by the in-vehicle light 50 provided in the vehicle from the image captured by the in-vehicle camera 10. Is extracted (S340), and camera parameters are generated based on the image positions of the extracted feature points (S170 to S200).

このように構成された車載カメラパラメータ生成装置1では、例えば特徴点(ひいては投光路面領域)の画像位置がずれた場合であっても、その原因が車両の向きとは無関係であるため、車載カメラ10の位置及び/又は姿勢によるものとしてカメラパラメータを一律に算出することにより、キャリブレーションを正しく行うことが可能となる。   In the in-vehicle camera parameter generation device 1 configured as described above, for example, even when the image position of the feature point (and thus the light projecting road surface area) is deviated, the cause is irrelevant to the direction of the vehicle. By uniformly calculating camera parameters based on the position and / or orientation of the camera 10, calibration can be performed correctly.

また、車両に設けられている車載ライト50により路面に投光された投光路面領域の特徴点を抽出する構成のため、道路上に路面標示がない場合であっても、特徴点を抽出することができ、カメラパラメータを生成することが可能となる。   Further, since the feature points of the projected road surface area projected on the road surface by the in-vehicle light 50 provided in the vehicle are extracted, the feature points are extracted even when there is no road marking on the road. And it is possible to generate camera parameters.

したがって、車載カメラパラメータ生成装置1によれば、車両の向きや路面標示の有無に制限されることなく、車載カメラ10の位置および姿勢に基づくカメラパラメータを容易に生成することができる。   Therefore, according to the in-vehicle camera parameter generation device 1, camera parameters based on the position and orientation of the in-vehicle camera 10 can be easily generated without being limited by the direction of the vehicle or the presence or absence of road markings.

また、キャリブレーション処理では、特徴点抽出処理(S340)により抽出された特徴点の画像位置と、車両に対する特徴点の実空間上における既知の位置と、に基づいてパラメータ行列(カメラパラメータ)を算出するパラメータ算出処理を実施する(S190)。   In the calibration process, a parameter matrix (camera parameter) is calculated based on the image position of the feature point extracted by the feature point extraction process (S340) and the known position of the feature point with respect to the vehicle in real space. The parameter calculation process is executed (S190).

つまり、車載ライト50により路面に投光される投光路面領域の特徴点の車両に対する位置は、予め計測しておくことが可能であるため、特徴点の車両に対する既知の位置(実空間上における位置)と画像位置との関係性により、車載カメラ10の位置および姿勢に基づくカメラパラメータを直接的に求めることができる。   That is, since the position of the feature point of the projected road surface area projected onto the road surface by the in-vehicle light 50 can be measured in advance, the known position of the feature point with respect to the vehicle (in real space) The camera parameter based on the position and orientation of the in-vehicle camera 10 can be directly obtained by the relationship between the position) and the image position.

また、キャリブレーション処理では、投光装置として車両に搭載されている車載ライト50の投光方法を切り替え(S330)、各投光方法によって異なる複数の特徴点を抽出する(S340)。   In the calibration process, the light projection method of the in-vehicle light 50 mounted on the vehicle as the light projection device is switched (S330), and a plurality of feature points that are different depending on each light projection method are extracted (S340).

このような構成によれば、カメラパラメータを生成するための専用の投光装置を用意することなく、既存の車載ライト50を用いて特徴点を抽出することが可能となり、また例えば車載ライト50の投光角度を変える等により、複数の特徴点を容易に抽出することが可能となる。このように、複数の特徴点に基づいてカメラパラメータを生成することができるため、簡易な手法によりカメラパラメータの算出精度を向上させることができる。   According to such a configuration, it is possible to extract feature points using the existing in-vehicle light 50 without preparing a dedicated projector for generating camera parameters. A plurality of feature points can be easily extracted by changing the projection angle or the like. Thus, since the camera parameter can be generated based on a plurality of feature points, the calculation accuracy of the camera parameter can be improved by a simple method.

また、キャリブレーション処理では、カメラパラメータの生成時に用いられた特徴点の画像位置を示す画像位置情報を記憶し(S210)、特徴点抽出処理(S340)により抽出された特徴点の画像位置と、画像位置情報が示す特徴点の画像位置と、の比較結果に基づいて、カメラパラメータを補正するパラメータ補正処理を実施する(S180,S190)。   In the calibration process, image position information indicating the image position of the feature point used when generating the camera parameter is stored (S210), and the image position of the feature point extracted by the feature point extraction process (S340); Based on the comparison result with the image position of the feature point indicated by the image position information, parameter correction processing for correcting the camera parameter is performed (S180, S190).

このような構成によれば、特徴点(ひいては投光路面領域)の画像位置のずれに基づいてカメラパラメータを補正することにより、特徴点の実空間上における既知の位置と画像位置との関係性に基づいてカメラパラメータを毎回算出する場合と比べ、装置の処理負担を軽減させることができる。   According to such a configuration, the relationship between the known position of the feature point in the real space and the image position is corrected by correcting the camera parameter based on the deviation of the image position of the feature point (and thus the light projecting road surface area). As compared with the case where the camera parameter is calculated every time based on the above, the processing load of the apparatus can be reduced.

また、キャリブレーション処理では、路面に対して車両が水平であることを水平条件(S310)、投光路面領域に基づく所定距離内に障害物が存在しないことを障害物条件とし(S320)、これら水平条件および障害物条件を満たす場合に、特徴点抽出処理(S340)による特徴点の抽出を許可する。   In the calibration process, the horizontal condition (S310) is that the vehicle is horizontal with respect to the road surface, and the obstacle condition is that there is no obstacle within a predetermined distance based on the projected road surface area (S320). When the horizontal condition and the obstacle condition are satisfied, feature point extraction by the feature point extraction process (S340) is permitted.

このような構成によれば、特徴点の実空間上における既知の位置と画像位置との関係性を確実に担保でき、且つ特徴点を抽出しやすくなるため、カメラパラメータの算出精度をより向上させることができる。   According to such a configuration, the relationship between the known position of the feature point in the real space and the image position can be reliably ensured, and the feature point can be easily extracted, so that the calculation accuracy of the camera parameter is further improved. be able to.

また、キャリブレーション処理では、特徴点抽出処理(S340)により抽出された特徴点の画像位置に基づいて、カメラパラメータの生成(更新)が必要であるか否かを判定するパラメータ更新判定処理(S120)、カメラパラメータの更新が必要であると判定された場合に、車両の乗員に通知する(S140)。   Further, in the calibration process, a parameter update determination process (S120) for determining whether or not camera parameter generation (update) is necessary based on the image position of the feature point extracted by the feature point extraction process (S340). ) When it is determined that the camera parameter needs to be updated, the vehicle occupant is notified (S140).

このような構成によれば、例えば特徴点(ひいては投光路面領域)の画像位置のずれがない若しくは小さい場合に、パラメータ算出処理(S190)やパラメータ補正処理(S180)を行わずに済ませることが可能となるので、装置の処理負担を軽減でき、これらの処理が必要な場合には乗員に通知することにより、例えば乗員の指示による好適なタイミングで車載カメラ10のキャリブレーション処理を再開することができる。   According to such a configuration, for example, when there is no or small shift in the image position of the feature point (and thus the light projection path surface area), the parameter calculation process (S190) and the parameter correction process (S180) can be omitted. Thus, the processing burden on the apparatus can be reduced, and when these processes are necessary, the calibration process of the in-vehicle camera 10 can be restarted at a suitable timing according to the passenger's instruction, for example, by notifying the passenger. it can.

<他の実施形態>
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
<Other embodiments>
As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment, In the range which does not deviate from the summary of this invention, it is possible to implement in various aspects.

例えば、上記実施形態の車載カメラパラメータ生成装置1では、車載カメラ10が、車両の前方を撮像するように車両に取り付けられているが、これに限定されるものではなく、車両の後方や側方などを撮像するように車両に取り付けられていてもよい。   For example, in the in-vehicle camera parameter generation device 1 of the above embodiment, the in-vehicle camera 10 is attached to the vehicle so as to image the front of the vehicle, but the present invention is not limited to this. And so on.

また、上記実施形態の車載カメラパラメータ生成装置1では、車載センサ20を構成する複数のセンサ21〜24として、高さセンサを採用する場合について例示したが、これに限定されるものではなく、例えば車両の姿勢を検出するためのジャイロセンサを採用し、ジャイロセンサの検出値を監視して、この検出値が連続的に変動しない(安定している)場合に、車両が路面に対して水平であると判定してもよい。   Moreover, in the vehicle-mounted camera parameter production | generation apparatus 1 of the said embodiment, although illustrated about the case where a height sensor is employ | adopted as the some sensors 21-24 which comprise the vehicle-mounted sensor 20, it is not limited to this, For example, A gyro sensor for detecting the attitude of the vehicle is adopted, and the detection value of the gyro sensor is monitored. When the detection value does not continuously fluctuate (is stable), the vehicle is level with respect to the road surface. You may determine that there is.

また、上記実施形態の車載カメラパラメータ生成装置1では、投光装置として車両に搭載されている車載ライト50を用いているが、これに限定されるものではなく、例えばレーザ等の他の投光装置を車両に別途設置してもよい。   Moreover, in the vehicle-mounted camera parameter generation device 1 of the above embodiment, the vehicle-mounted light 50 mounted on the vehicle is used as the light projecting device. However, the present invention is not limited to this. The device may be separately installed in the vehicle.

また、上記実施形態のキャリブレーション処理では、S120において、画像位置のずれ量が誤差範囲を超える場合に、設定カメラパラメータ情報の更新が必要であると判定しているが、これに限定されるものではない。例えば、S180またはS190と同様にパラメータ行列を算出し、このパラメータ行列(カメラパラメータ)と、記憶装置40に現在記憶されている設定カメラパラメータ情報が示すカメラパラメータと、を比較して、両者の差分が誤差範囲を超える場合に、設定カメラパラメータ情報の更新が必要であると判定してもよい。   In the calibration process of the above embodiment, it is determined in S120 that the setting camera parameter information needs to be updated when the image position deviation exceeds the error range. However, the present invention is not limited to this. is not. For example, a parameter matrix is calculated in the same manner as in S180 or S190, the parameter matrix (camera parameter) is compared with the camera parameter indicated by the set camera parameter information currently stored in the storage device 40, and the difference between the two is compared. May exceed the error range, it may be determined that the setting camera parameter information needs to be updated.

また、上記実施形態のキャリブレーション処理では、S160において、S110と同様に車載ライト50による各種の投光方法のそれぞれについて投光路面領域の特徴点を抽出しているが、これに限定されるものではなく、少なくとも一つの投光方法(例えばロービーム)についての特徴点を抽出すればよい。この場合、S190にてパラメータ算出処理を実施する場合に、さらに異なる投光方法についての特徴点を抽出する態様でもよい。   Further, in the calibration process of the above embodiment, in S160, the feature points of the light projecting road surface area are extracted for each of the various light projecting methods using the in-vehicle light 50 as in S110. However, the present invention is not limited to this. Instead, it is only necessary to extract feature points for at least one light projection method (for example, low beam). In this case, when the parameter calculation process is performed in S190, a feature point for further different light projection methods may be extracted.

1…車載カメラパラメータ生成装置、2…CPU、3…ROM、4…RAM、5…車体、10…車載カメラ、20(21〜24)…車載センサ、30…操作機器、40…記憶装置、50…車載ライト、60…報知装置。   DESCRIPTION OF SYMBOLS 1 ... Car-mounted camera parameter generation apparatus, 2 ... CPU, 3 ... ROM, 4 ... RAM, 5 ... Vehicle body, 10 ... Car-mounted camera, 20 (21-24) ... Car-mounted sensor, 30 ... Operating equipment, 40 ... Memory | storage device, 50 ... car light, 60 ... notification device.

Claims (8)

車両の外部を撮像するように該車両に取り付けられた車載カメラ(10)の位置および姿勢に基づくカメラパラメータを生成する車載カメラパラメータ生成装置(1)であって、
前記車載カメラによる撮像画像から、前記車両に設けられている投光装置(50)により路面に投光された投光路面領域の特徴点を抽出する特徴点抽出手段(2,S340)と、
前記特徴点抽出手段により抽出された前記特徴点の画像位置に基づいて前記カメラパラメータを生成するパラメータ生成手段(2,S170〜S200)と、
前記パラメータ生成手段による前記カメラパラメータの生成時に用いられた前記特徴点の画像位置を示す画像位置情報を記憶する位置記憶手段(2,S210)と、
を備え、
前記パラメータ生成手段は、前記特徴点抽出手段により抽出された前記特徴点の画像位置と、前記位置記憶手段により記憶された画像位置情報が示す前記特徴点の画像位置と、の比較結果に基づいて、前記カメラパラメータを補正する補正処理(S170〜S180)を実施することを特徴とする車載カメラパラメータ生成装置。
An in-vehicle camera parameter generation device (1) for generating camera parameters based on the position and orientation of an in-vehicle camera (10) attached to the vehicle so as to image the outside of the vehicle,
Feature point extraction means (2, S340) for extracting the feature points of the light projecting road surface area projected onto the road surface by the light projecting device (50) provided in the vehicle from the image taken by the in-vehicle camera;
Parameter generation means (2, S170 to S200) for generating the camera parameter based on the image position of the feature point extracted by the feature point extraction means;
Position storage means (2, S210) for storing image position information indicating an image position of the feature point used when the camera parameter is generated by the parameter generation means;
With
The parameter generation means is based on a comparison result between the image position of the feature point extracted by the feature point extraction means and the image position of the feature point indicated by the image position information stored by the position storage means. An in-vehicle camera parameter generation device that performs correction processing (S170 to S180) for correcting the camera parameter.
車両の外部を撮像するように該車両に取り付けられた車載カメラ(10)の位置および姿勢に基づくカメラパラメータを生成する車載カメラパラメータ生成装置(1)であって、
前記車載カメラによる撮像画像から、前記車両に設けられている投光装置(50)により路面に投光された投光路面領域の特徴点を抽出する特徴点抽出手段(2,S340)と、
前記特徴点抽出手段により抽出された前記特徴点の画像位置に基づいて前記カメラパラメータを生成するパラメータ生成手段(2,S170〜S200)と、
前記路面に対して前記車両が水平であることを水平条件、前記投光路面領域に基づく所定距離内に障害物が存在しないことを障害物条件とし、前記水平条件および前記障害物条件を満たす場合に、前記特徴点抽出手段による前記特徴点の抽出を許可する許可手段(S310〜S320)と、
を備えることを特徴とする車載カメラパラメータ生成装置。
An in-vehicle camera parameter generation device (1) for generating camera parameters based on the position and orientation of an in-vehicle camera (10) attached to the vehicle so as to image the outside of the vehicle,
Feature point extraction means (2, S340) for extracting the feature points of the light projecting road surface area projected onto the road surface by the light projecting device (50) provided in the vehicle from the image taken by the in-vehicle camera;
Parameter generation means (2, S170 to S200) for generating the camera parameter based on the image position of the feature point extracted by the feature point extraction means;
When the horizontal condition is that the vehicle is horizontal with respect to the road surface, the obstacle condition is that there is no obstacle within a predetermined distance based on the projected road surface area, and the horizontal condition and the obstacle condition are satisfied Permission means (S310 to S320) for permitting extraction of the feature points by the feature point extraction means;
An in-vehicle camera parameter generation device comprising:
車両の外部を撮像するように該車両に取り付けられた車載カメラ(10)の位置および姿勢に基づくカメラパラメータを生成する車載カメラパラメータ生成装置(1)であって、
前記車載カメラによる撮像画像から、前記車両に設けられている投光装置(50)により路面に投光された投光路面領域の特徴点を抽出する特徴点抽出手段(2,S340)と、
前記特徴点抽出手段により抽出された前記特徴点の画像位置に基づいて前記カメラパラメータを生成するパラメータ生成手段(2,S170〜S200)と、
前記特徴点抽出手段により抽出された前記特徴点の画像位置に基づいて、前記パラメータ生成手段による前記カメラパラメータの生成が必要であるか否かを判定する判定手段(S120)と、
前記判定手段により前記カメラパラメータの生成が必要であると判定された場合に、前記車両の乗員に通知する通知手段(S140)と、
を備えることを特徴とする車載カメラパラメータ生成装置。
An in-vehicle camera parameter generation device (1) for generating camera parameters based on the position and orientation of an in-vehicle camera (10) attached to the vehicle so as to image the outside of the vehicle,
Feature point extraction means (2, S340) for extracting the feature points of the light projecting road surface area projected onto the road surface by the light projecting device (50) provided in the vehicle from the image taken by the in-vehicle camera;
Parameter generation means (2, S170 to S200) for generating the camera parameter based on the image position of the feature point extracted by the feature point extraction means;
A determination unit (S120) for determining whether or not generation of the camera parameter by the parameter generation unit is necessary based on an image position of the feature point extracted by the feature point extraction unit;
Notification means (S140) for notifying the vehicle occupant when the determination means determines that the generation of the camera parameter is necessary;
An in-vehicle camera parameter generation device comprising:
前記パラメータ生成手段は、前記特徴点抽出手段により抽出された前記特徴点の画像位置と、前記車両に対する前記特徴点の実空間上における既知の位置と、に基づいて前記カメラパラメータを算出する算出処理(S190)を実施することを特徴とする請求項1ないし請求項3のいずれか1項に記載の車載カメラパラメータ生成装置。 The parameter generation unit calculates the camera parameter based on the image position of the feature point extracted by the feature point extraction unit and the known position of the feature point in real space with respect to the vehicle. The in-vehicle camera parameter generation device according to any one of claims 1 to 3, wherein (S190) is performed. 前記特徴点抽出手段は、前記投光装置として前記車両に搭載されている車載ライトの投光方法を切り替え、各投光方法によって異なる複数の前記特徴点を抽出することを特徴とする請求項1ないし請求項4のいずれか1項に記載の車載カメラパラメータ生成装置。 2. The feature point extraction unit switches a light projection method of an in-vehicle light mounted on the vehicle as the light projecting device, and extracts a plurality of the feature points that differ depending on each light projection method. The in-vehicle camera parameter generation device according to any one of claims 4 to 4. コンピュータを、少なくとも請求項1に記載の前記特徴点抽出手段前記パラメータ生成手段および前記位置記憶手段として機能させるためのプログラム。 A program for causing a computer to function as at least the feature point extraction unit , the parameter generation unit, and the position storage unit according to claim 1. コンピュータを、少なくとも請求項に記載の前記特徴点抽出手段前記パラメータ生成手段および前記許可手段として機能させるためのプログラム。 A program for causing a computer to function as at least the feature point extraction means , the parameter generation means, and the permission means according to claim 2 . コンピュータを、少なくとも請求項に記載の前記特徴点抽出手段前記パラメータ生成手段、前記判定手段および前記通知手段として機能させるためのプログラム。 A program for causing a computer to function as at least the feature point extraction unit , the parameter generation unit , the determination unit, and the notification unit according to claim 3 .
JP2014005285A 2014-01-15 2014-01-15 On-vehicle camera parameter generation device and program Active JP6244926B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014005285A JP6244926B2 (en) 2014-01-15 2014-01-15 On-vehicle camera parameter generation device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014005285A JP6244926B2 (en) 2014-01-15 2014-01-15 On-vehicle camera parameter generation device and program

Publications (2)

Publication Number Publication Date
JP2015133066A JP2015133066A (en) 2015-07-23
JP6244926B2 true JP6244926B2 (en) 2017-12-13

Family

ID=53900190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014005285A Active JP6244926B2 (en) 2014-01-15 2014-01-15 On-vehicle camera parameter generation device and program

Country Status (1)

Country Link
JP (1) JP6244926B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6624383B2 (en) * 2016-02-04 2019-12-25 パナソニックIpマネジメント株式会社 Calibration device and in-vehicle camera system
JP7314486B2 (en) * 2018-09-06 2023-07-26 株式会社アイシン camera calibration device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004198212A (en) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd Apparatus for monitoring vicinity of mobile object
JP4861034B2 (en) * 2006-03-29 2012-01-25 クラリオン株式会社 Car camera calibration system
JP4855278B2 (en) * 2007-01-17 2012-01-18 アルパイン株式会社 Camera parameter acquisition device

Also Published As

Publication number Publication date
JP2015133066A (en) 2015-07-23

Similar Documents

Publication Publication Date Title
US10235772B2 (en) Installation error display control apparatus and installation error detection apparatus of onboard camera
JP6237875B2 (en) Self-position calculation device and self-position calculation method
WO2017022452A1 (en) Calibration device, calibration method, and calibration program
JP6458651B2 (en) Road marking detection device and road marking detection method
JP6187671B2 (en) Self-position calculation device and self-position calculation method
JP6187672B2 (en) Self-position calculation device and self-position calculation method
WO2015125299A1 (en) Local location computation device and local location computation method
JP6291866B2 (en) Driving support device and driving support method
JP2008067086A (en) Vehicle detection device and light control device
JP6237874B2 (en) Self-position calculation device and self-position calculation method
CN108376384B (en) Method and device for correcting disparity map and storage medium
JP6377970B2 (en) Parallax image generation apparatus and parallax image generation method
JP6244926B2 (en) On-vehicle camera parameter generation device and program
JP6407596B2 (en) Image processing apparatus and driving support system
JP6645936B2 (en) State estimation device
JP6243319B2 (en) Deviation judgment device
JP5272431B2 (en) Object ranging device and program
JP5098981B2 (en) Face detection device
JP4040620B2 (en) Vehicle periphery monitoring device
JP2017112566A (en) Parameter identification device
JP2018033035A (en) Image processing apparatus, imaging device, program, instrument control system, and instrument
JP6662749B2 (en) Lane marking detector
JP6048384B2 (en) Image determination device
JP6674127B2 (en) Image processing device, photographing device, program, device control system and device
JP5974762B2 (en) Camera mounting error correction apparatus and camera mounting error correction method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171030

R151 Written notification of patent or utility model registration

Ref document number: 6244926

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250