JP7084253B2 - In-vehicle camera setting method and in-vehicle system - Google Patents
In-vehicle camera setting method and in-vehicle system Download PDFInfo
- Publication number
- JP7084253B2 JP7084253B2 JP2018155268A JP2018155268A JP7084253B2 JP 7084253 B2 JP7084253 B2 JP 7084253B2 JP 2018155268 A JP2018155268 A JP 2018155268A JP 2018155268 A JP2018155268 A JP 2018155268A JP 7084253 B2 JP7084253 B2 JP 7084253B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- vehicle
- image
- setting
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
本発明は、車両に搭載され、車両に取り付けられたカメラが接続された車載器において、カメラが出力した画像に対する画像認識を行う技術に関する。 The present invention relates to a technique for performing image recognition on an image output by a camera in an in-vehicle device mounted on a vehicle and connected to a camera attached to the vehicle.
車両に取り付けられたカメラで車両の前方や後方を撮影し、撮影した画像を自動的に記録する車載器として、ドライブレコーダやデジタルタコグラフ(運行記録計)などが知られている。また、この種の車載器において、記録した画像に対して画像処理を行うものもある(例えば、特許文献1および特許文献2参照。)。特許文献1に記載された車載用画像処理装置は、車両前方の映像と車両周辺の映像とを1フレームの画面内に同時に撮像するカメラを備え、車両の速度に応じて、車両前方の映像領域および/又は車両周辺の映像領域に画像処理を行う。また、特許文献2に記載された車両用周辺監視装置は、車両周辺の情景を撮影した広域撮影データを、車両内の表示装置に表示させるための広域表示データに変換する処理と、広域撮影データの中の一部領域を拡大して表示させるための拡大表示データに変換する処理と、を実施可能であり、拡大して表示される一部領域の面積を変化させながら広域表示データと拡大表示データとを切り替えて表示する。
Drive recorders and digital tachographs (operation recorders) are known as in-vehicle devices that take pictures of the front and rear of the vehicle with a camera attached to the vehicle and automatically record the taken images. Further, in this type of in-vehicle device, there is also one that performs image processing on the recorded image (see, for example,
ところで、車両に取り付けられたカメラで撮影した画像を使用した画像認識によって、移動体検出や白線検出等を行い、運転を支援する技術が提案されている。一般的に、カメラから移動体や白線といった認識対象までの距離を計測する場合、画面(画像)上の座標を距離に換算する。この距離の算出に際しては、カメラの「画素数・画角・レンズの歪係数」といった内部パラメータ、および、カメラの「取付位置・取付姿勢」といった外部パラメータを考える必要がある。内部パラメータは、カメラ種類ごとに固有の固定値を持つが、外部パラメータは、カメラを車両に取り付けた後に計測して設定する必要がある。 By the way, there has been proposed a technique for supporting driving by detecting a moving object, detecting a white line, or the like by image recognition using an image taken by a camera attached to a vehicle. Generally, when measuring the distance from a camera to a recognition target such as a moving object or a white line, the coordinates on the screen (image) are converted into the distance. When calculating this distance, it is necessary to consider internal parameters such as the camera's "number of pixels, angle of view, and lens distortion coefficient" and external parameters such as the camera's "mounting position and mounting posture". Internal parameters have fixed values that are unique to each camera type, but external parameters must be measured and set after the camera is mounted on the vehicle.
車載器において、後付けしたカメラの画像を使用した認識機能を実現しようとする場合、カメラの取付設定を行う設定者がカメラ種類の設定を間違うと、外部パラメータの設定も正しく反映されず、正しく認識できない。結果として、認識性能に大きく影響し、不具合の原因となる。 When trying to realize the recognition function using the image of the retrofitted camera in the in-vehicle device, if the setting person who sets the camera mounting is wrong, the setting of the external parameter is not reflected correctly and it is recognized correctly. Can not. As a result, it greatly affects the recognition performance and causes a malfunction.
本発明は、上述した事情に鑑みてなされたものであり、その目的は、カメラの設定ミスによる認識機能の不具合を防止できる車載カメラ設定方法および車載システムを提供することにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an in-vehicle camera setting method and an in-vehicle system capable of preventing a malfunction of a recognition function due to a camera setting error.
前述した目的を達成するために、本発明に係る車載カメラ設定方法および車載システムは、下記(1)~(6)を特徴としている。
(1) 車両に搭載され画像認識機能を有する車載器に、前記車両に取り付けられ前記車載器に接続されたカメラの画像を認識するためのパラメータを設定する設定方法であって、
前記カメラとして、少なくとも第一カメラおよび前記第一カメラよりも広角な第二カメラが含まれ、
前記車載器に前記カメラが接続された場合に、前記カメラから出力される画像の四隅のうち少なくとも二か所について、ケラレの有無を検出し、
少なくとも前記二か所に前記ケラレが存在する場合、前記カメラが前記第二カメラであると判別し、
カメラ種類ごとに定められた複数のパラメータのうち、前記第二カメラに対応するパラメータを選択して、前記カメラの前記パラメータとして前記車載器に設定する、
ことを特徴とする車載カメラ設定方法。
In order to achieve the above-mentioned object, the vehicle-mounted camera setting method and the vehicle-mounted system according to the present invention are characterized by the following (1) to (6).
(1) A setting method for setting parameters for recognizing an image of a camera attached to the vehicle and connected to the vehicle-mounted device in the vehicle-mounted device mounted on the vehicle and having an image recognition function.
The cameras include at least a first camera and a second camera with a wider angle than the first camera.
When the camera is connected to the on-board unit, the presence or absence of vignetting is detected at least two of the four corners of the image output from the camera.
When the vignetting is present at least in the two places, it is determined that the camera is the second camera, and the camera is determined to be the second camera.
A parameter corresponding to the second camera is selected from a plurality of parameters determined for each camera type, and is set in the vehicle-mounted device as the parameter of the camera.
An in-vehicle camera setting method characterized by this.
(2) 前記車載器に設けられた複数の入力端子に複数の前記カメラが接続可能であり、
前記複数の入力端子のいずれに接続されたカメラが前記第二カメラであるか判別する、
ことを特徴とする、上記(1)の構成の車載カメラ設定方法。
(2) The plurality of cameras can be connected to the plurality of input terminals provided on the vehicle-mounted device.
Determining which of the plurality of input terminals the camera is connected to is the second camera.
The in-vehicle camera setting method having the configuration of the above (1), which is characterized by the above.
(3) 前記第二カメラは、180度の画角を有する180度カメラであり、
前記パラメータは、レンズ歪式又はレンズ歪テーブルである、
ことを特徴とする、上記(1)又は(2)の構成の車載カメラ設定方法。
(3) The second camera is a 180-degree camera having an angle of view of 180 degrees.
The parameter is a lens distortion type or a lens distortion table.
The in-vehicle camera setting method having the above configuration (1) or (2), characterized in that.
(4) 車両に搭載され画像認識機能を有する車載器に、前記車両に取り付けられ前記車載器に接続されたカメラの画像を認識するためのパラメータを設定する車載システムであって、
前記車両に取り付けられる、少なくとも第一カメラおよび前記第一カメラよりも広角な第二カメラを含む、複数のカメラと、
前記車載器に設けられ、前記複数のカメラにそれぞれ接続可能な複数の入力端子と、
前記複数の入力端子のいずれかを介して所定のカメラから出力される画像の四隅のうち少なくとも二か所について、ケラレの有無を検出し、少なくとも前記二か所に前記ケラレが存在する場合、前記所定のカメラが前記第二カメラであることおよび前記複数の入力端子のうちいずれに前記第二カメラが接続されているかを判別する、カメラ判別部と、
カメラ種類ごとに定められた複数のパラメータのうち、前記第二カメラに対応するパラメータを選択して、前記所定のカメラの前記パラメータとして前記車載器に設定する、カメラ設定部と、
を備えることを特徴とする車載システム。
(4) An in-vehicle system for setting parameters for recognizing an image of a camera attached to the vehicle and connected to the in-vehicle device in an in-vehicle device mounted on the vehicle and having an image recognition function.
A plurality of cameras mounted on the vehicle, including at least a first camera and a second camera with a wider angle than the first camera.
A plurality of input terminals provided on the in-vehicle device and capable of being connected to the plurality of cameras, respectively.
The presence or absence of vignetting is detected in at least two of the four corners of the image output from the predetermined camera via any of the plurality of input terminals, and if the vignetting is present in at least the two places, the above. A camera discriminating unit that determines whether the predetermined camera is the second camera and which of the plurality of input terminals the second camera is connected to.
A camera setting unit that selects a parameter corresponding to the second camera from a plurality of parameters determined for each camera type and sets the parameter corresponding to the second camera in the in-vehicle device as the parameter of the predetermined camera.
An in-vehicle system characterized by being equipped with.
(5) 前記第二カメラは、180度の画角を有する180度カメラであり、
前記パラメータは、レンズ歪式又はレンズ歪テーブルである、
ことを特徴とする、上記(4)の構成の車載システム。
(5) The second camera is a 180-degree camera having an angle of view of 180 degrees.
The parameter is a lens distortion type or a lens distortion table.
The in-vehicle system having the configuration of (4) above, characterized in that.
(6) 前記所定のカメラから前記所定のカメラが撮影した認識対象までの距離を計測する距離計測部を備える、
ことを特徴とする上記(4)又は(5)の構成の車載システム。
(6) A distance measuring unit for measuring the distance from the predetermined camera to the recognition target taken by the predetermined camera is provided.
An in-vehicle system having the above configuration (4) or (5).
上記(1)の構成の車載カメラ設定方法によれば、画像の四隅のうち少なくとも二か所にケラレがあれば、自動で、180度カメラ等の広角な第二カメラであると判別され、第二カメラ用のパラメータがセットされる。よって、設定者の負担を軽減でき、かつ、カメラ種類の設定ミスによる画像認識機能の不具合を防止できる。 According to the in-vehicle camera setting method of the above configuration (1), if there is vignetting in at least two of the four corners of the image, it is automatically determined to be a wide-angle second camera such as a 180-degree camera. (2) The parameters for the camera are set. Therefore, the burden on the setter can be reduced, and the malfunction of the image recognition function due to a setting error of the camera type can be prevented.
上記(2)の構成の車載カメラ設定方法によれば、複数の入力端子に1又は複数のカメラが接続された場合であっても、180度カメラ等の広角な第二カメラについて、専用のパラメータを設定できる。 According to the in-vehicle camera setting method of the above configuration (2), even when one or more cameras are connected to a plurality of input terminals, a dedicated parameter is used for a wide-angle second camera such as a 180-degree camera. Can be set.
上記(3)の構成の車載カメラ設定方法によれば、180度の画角を有する180度カメラの場合、レンズ歪式又はレンズ歪テーブルが狭角カメラ用の場合と大きく異なるため、この設定を間違うと、外部パラメータの設定も正しく反映されず、正しく認識できない。結果として、認識性能に大きく影響し、不具合の原因となる。しかし、この構成によれば、自動で180度カメラ用のレンズ歪式又はレンズ歪テーブルが設定されるため、カメラ種類の設定ミスによる画像認識機能の不具合を防止できる。 According to the in-vehicle camera setting method of the above configuration (3), in the case of a 180-degree camera having a 180-degree angle of view, the lens distortion type or the lens distortion table is significantly different from the case of a narrow-angle camera. If you make a mistake, the external parameter settings will not be reflected correctly and will not be recognized correctly. As a result, it greatly affects the recognition performance and causes a malfunction. However, according to this configuration, since the lens distortion type or the lens distortion table for the 180-degree camera is automatically set, it is possible to prevent the image recognition function from being defective due to a setting error of the camera type.
上記(4)の構成の車載システムによれば、画像の四隅のうち少なくとも二か所にケラレがあれば、自動で、180度カメラ等の広角な第二カメラであると判別され、第二カメラ用のパラメータがセットされる。よって、設定者の負担を軽減でき、かつ、カメラ種類の設定ミスによる画像認識機能の不具合を防止できる。また、複数の入力端子に1又は複数のカメラが接続された場合であっても、180度カメラ等の広角な第二カメラについて、専用のパラメータを設定できる。尚、車載システムとは、車載器単体がカメラ種類の自動判別設定を行うためのすべての構成を備える場合だけでなく、例えば、一部の構成が車両外部の設定用PCに組み込まれている場合も意味する。 According to the in-vehicle system having the configuration of (4) above, if there is vignetting in at least two of the four corners of the image, it is automatically determined to be a wide-angle second camera such as a 180-degree camera, and the second camera. Parameters are set. Therefore, the burden on the setter can be reduced, and the malfunction of the image recognition function due to a setting error of the camera type can be prevented. Further, even when one or a plurality of cameras are connected to a plurality of input terminals, a dedicated parameter can be set for a wide-angle second camera such as a 180-degree camera. The in-vehicle system is not limited to the case where the in-vehicle device alone has all the configurations for automatically determining the camera type, for example, when a part of the configurations is incorporated in the setting PC outside the vehicle. Also means.
上記(5)の構成の車載システムによれば、自動で180度カメラ用のレンズ歪式又はレンズ歪テーブルが設定されるため、カメラ種類の設定ミスによる画像認識機能の不具合を防止できる。 According to the in-vehicle system having the configuration of (5) above, since the lens distortion type or the lens distortion table for the 180-degree camera is automatically set, it is possible to prevent the image recognition function from being defective due to a setting error of the camera type.
上記(6)の構成の車載システムによれば、カメラ種類の設定ミスによる距離の誤計測を防止できる。 According to the in-vehicle system having the configuration of (6) above, it is possible to prevent erroneous measurement of the distance due to a setting error of the camera type.
本発明によれば、カメラの設定ミスによる認識機能の不具合を防止できる。 According to the present invention, it is possible to prevent a malfunction of the recognition function due to a setting error of the camera.
以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態(以下、「実施形態」という。)を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。 The present invention has been briefly described above. Further, the details of the present invention will be further clarified by reading through the embodiments described below (hereinafter referred to as "embodiments") with reference to the accompanying drawings. ..
本発明に関する具体的な実施形態について、各図を参照しながら以下に説明する。 Specific embodiments of the present invention will be described below with reference to each figure.
図1は、本発明の実施形態におけるドライブレコーダ10の構成を示す図である。図1に示したドライブレコーダ10は、車両に搭載されるものであり、マイクロコンピュータ(CPU)11、画像処理部12、通信モジュール13、インタフェース(I/F)14、16、30、GPS受信機15、時計回路17、信号処理部18、加速度センサ19、メモリ(ROM)20、メモリ(RAM)21、カードインタフェース22、メモリーカード23、音声信号処理部24、スピーカ25、マイク26、ドライバ27、表示部28、および操作部29を備えている。また、画像処理部12の入力には複数の車載カメラ31、32が接続され、通信モジュール13にはアンテナ33が接続され、GPS受信機15にはアンテナ34が接続され、インタフェース30には設定用のPC35が例えばUSBケーブルを介して接続されている。
FIG. 1 is a diagram showing a configuration of a
マイクロコンピュータ11は、予め組み込まれているプログラムに従って動作し、ドライブレコーダ10に必要とされる各種機能を実現するための処理を実行する。
The
車載カメラ31および32は、レンズを通して撮像される撮像面に例えば30万画素、100万画素、200万画素が配置されたイメージセンサ(撮像素子)を有する。イメージセンサは、CMOS(相補性金属酸化膜半導体)センサやCCD(電荷結合素子)センサなど公知のセンサで構成されている。車載カメラ31及び32は、ドライブレコーダ10に設けられた入力端子36(1)~(6)のいずれかに接続される。車載カメラ31は、例えば自車両の進行方向前方に映る路面、先行車両、対向車両、風景等を被写体として撮影できるように車両上に固定されて取り付けられる。また、車載カメラ32は、例えば車室内で自車両を運転する乗務員の様子を撮影できるように車室内に固定するか、あるいは自車両の後方の風景等を撮影できるように車両上に固定されて取り付けられる。車載カメラ31および32の種類は、用途に応じて、数種類のカメラから選択される。数種類のカメラのそれぞれに関する、画素数・カメラ画角・レンズの歪係数といった内部パラメータは、設定用のソフトウェアとともにPC35内の記憶部に格納される。車載カメラ31および32のいずれかに、画角が180度である180度カメラ(第二カメラ)を使用する場合、画角が80~160度等の他のカメラ(第一カメラ)とは内部パラメータが大きく異なるため、後述する画像処理部12によって実行される画像認識機能の設定作業において、カメラ種類を切り替える必要がある。180度カメラ専用の認識機能を使用する際、PC35に格納される設定用のソフトウェアによって180度カメラ用の内部パラメータ(画像を認識するためのパラメータ)を呼び出してドライブレコーダ10に設定する。PC35の設定画面上では、PC35に接続された車載カメラ31または32から出力された映像をリアルタイムで確認できる。また、設定用のソフトウェアはPC35でなされた設定をドライブレコーダ10に送信できる。すなわち、ドライブレコーダ10およびPC35は、車両に搭載されたドライブレコーダ10において、車両に取り付けられドライブレコーダ10に接続された車載カメラ31,32から出力される画像を用いた画像認識を行う車載システムを構成する。なお、ドライブレコーダ10に接続する車載カメラの数は1つでもよいし、3以上に増やしてもよい。また、画像認識機能の設定作業では、カメラ種類を切り替える際、いずれの種類のカメラを、移動体検知、白線検出、前方車両認識、道路標示認識等、どのような画像認識に使用するかを設定できる。
The in-
画像処理部12は、車載カメラ31および32の各々が出力する映像信号を取り込んでデジタル信号に変換し、画像のデータを例えばフレーム単位で生成する。画像処理部12が生成した画像のデータはマイクロコンピュータ11に入力される。
The
また、画像処理部12は各画像フレームの内容を解析し画像認識を行い、車載カメラ31,32から車載カメラ31,32が撮影した認識対象までの距離を計測する。画像処理部12は、例えば、画像中の道路の各白線や、自車両の位置を認識することができる。更に、認識した各白線と自車両との位置関係に基づいて自車両の車線逸脱を表す警報を出力することができる。また、画像処理部12は、道路上の交差点を認識したり、道路の進路上に存在する人物などの移動体を含む障害物を認識することができる。
Further, the
通信モジュール13は、アンテナ33を経由して車両外部のデータセンタ等に配置されたサーバとの間でデータ通信するための無線通信機能を提供する。通信モジュール13は、インタフェース14を経由してマイクロコンピュータ11と接続されている。
The
GPS受信機15は、GPS(Global Positioning System)衛星からの電波をアンテナ34を介して受信し、複数のGPS衛星からの受信信号の時刻に基づいて所定の計算を実施することにより、車両の現在位置を表す緯度/経度の情報を取得できる。GPS受信機15は、インタフェース16を経由してマイクロコンピュータ11と接続されている。
The
時計回路17は、周期が一定のクロックパルス信号を常時計数しており、現在の日付および時刻に関する情報を必要に応じて出力することができる。また、経過時間などを計数するためのタイマー機能も時計回路17に備わっている。マイクロコンピュータ11は、時計回路17を制御することにより、現在の日付および時刻の情報を取得したり、経過時間などの情報を取得できる。
The
信号処理部18は、車両側から出力される車速パルス信号SG1、ブレーキ信号SG2、ウインカー信号SG3、およびバック信号SG4のそれぞれを、マイクロコンピュータ11の処理に適した信号に変換する。
The
車速パルス信号SG1に現れる各パルスは、例えばトランスミッションの出力軸が所定量回動したことを表す。したがって、マイクロコンピュータ11は車速パルス信号SG1のパルス数やパルス周期に基づいて、自車両の走行距離や走行速度を算出できる。
Each pulse appearing in the vehicle speed pulse signal SG1 indicates, for example, that the output shaft of the transmission has rotated by a predetermined amount. Therefore, the
ブレーキ信号SG2は、ストップランプのオンオフを表す二値信号である。ウインカー信号SG3は、左右それぞれの方向指示器(ウインカー)の動作のオンオフを表す二値信号である。バック信号SG4は、自車両のトランスミッションの接続状態が後退する状態であるか否かを表す二値信号である。 The brake signal SG2 is a binary signal indicating on / off of the stop lamp. The winker signal SG3 is a binary signal indicating on / off of the operation of each of the left and right direction indicators (winkers). The back signal SG4 is a binary signal indicating whether or not the connection state of the transmission of the own vehicle is in the backward state.
加速度センサ19は、交通事故などの異常な状況において自車両に加わる前後方向や左右方向の非常に大きな加速度を検出するために利用される。
The
メモリ(ROM)20は、マイクロコンピュータ11によって実行される動作プログラム等を格納する。メモリ20は、EEPROM(登録商標)など書き換え可能なメモリにより構成されると好適である。メモリ(RAM)21は、マイクロコンピュータ11のアクセスにより、データの書き込みおよび読み出しを自在に行うことができる。メモリ(RAM)21上の記憶領域は、様々なデータを一時的に格納するために利用される。
The memory (ROM) 20 stores an operation program or the like executed by the
メモリーカード23は、比較的記憶容量の大きい不揮発性メモリを内蔵している。このメモリーカード23は、カードインタフェース22のスロットに装着することにより、マイクロコンピュータ11と接続することができる。マイクロコンピュータ11は、画像処理部12から入力される画像のデータ(録画映像)や、信号処理部18から入力される車両の運行に関する運行記録のデータや、音声信号処理部24から入力される音声等のデータを、メモリーカード23上に順次に書き込み、記録することができる。
The
本実施形態では、マイクロコンピュータ11が画像のデータをメモリーカード23に書き込む際のフレームレート(画像フレーム数/秒)は、2種類又はそれ以上の中から選択することが可能であり、状況に応じてマイクロコンピュータ11がフレームレートを自動的に切り替える。フレームレートを大きくすれば高品質の画像記録が可能になり、フレームレートを小さくすれば長時間の画像記録が可能になる。
In the present embodiment, the frame rate (number of image frames / sec) when the
音声信号処理部24は、案内や警報などに関する様々なメッセージを表す疑似音声信号を生成してこの信号を増幅し、スピーカ25から音声として出力するための音声出力機能を備えている。また、マイク26から入力される音声などの電気信号をデジタル信号に変換してマイクロコンピュータ11に出力するための音声入力機能も備えている。
The voice
表示部28は、液晶などの表示デバイスにより構成されており、文字や数字などの可視情報を表示する機能を備えている。マイクロコンピュータ11は、ドライバ27を介して表示部28を制御し、表示部28の表示内容を必要に応じて変更できる。
The
操作部29は、運転者が操作可能な複数のボタンのそれぞれの操作状態に応じてオンオフする複数のスイッチを内蔵している。マイクロコンピュータ11は、操作部29内の各スイッチの状態を読み取ることにより、ボタン操作の有無を識別すると共に、操作されたボタンを特定することができる。
The
次に、図2~図5を参照して、車載カメラ31として画角が180度となる180度カメラを使用する場合において、車載カメラ31の設定を行う方法について説明する。
Next, with reference to FIGS. 2 to 5, a method of setting the vehicle-mounted
図2は、車載カメラ31の設定方法の流れを示す図である。車載カメラ31の取付設定を行う設定者が車両に車載カメラ31を取り付けた後、設定作業が開始される(S1)。PC35とドライブレコーダ10(車載器)とが接続されると(S2)、車載カメラ31から出力される映像が、PC35に格納された設定用のソフトウェアへ取り込まれる(S3)。S3で取り込まれた画像は、PC35において、図3に示すカメラ映像のモニタリング画面で確認することができる。カメラ映像のモニタリング画面は、カメラの取付時に、カメラの接続状態や、カメラ映像の見え方を確認するための画面である。ドライブレコーダ10の入力端子36(1)~(6)に1又は複数のカメラが接続されていると、右側の子画面1~6における、入力端子36(1)~(6)のそれぞれ対応した箇所に、接続したカメラから出力された映像(画像)が表示される。また、右側の子画面1~6のいずれかを選択すると、選択された子画面に表示されている映像が、中央の大きな画面に拡大表示される。
FIG. 2 is a diagram showing a flow of a setting method of the vehicle-mounted
ドライブレコーダ10の6つの入力端子36(1)~(6)のいずれかに車載カメラ31が接続された場合、設定用のソフトウェアは、各入力端子36(1)~(6)から入力される画像ごとに、車載カメラ31から出力される画像の四隅について、ケラレの有無を判定(検出)する(S4)。図4は、ケラレ判定処理を説明する図である。図4(a)は、画面の横幅のみ180度撮影するカメラの場合における、撮像素子とレンズのイメージサークルとの位置関係を示し、図4(b)は、画面の横幅・縦幅とも180度撮影するカメラの場合における、撮像素子とレンズのイメージサークルとの位置関係を示し、図4(c)は、画面の横幅のみ180度撮影するカメラによる実際の映像(画像)を示す。図2(a)および図2(b)において、矩形領域は撮像素子が配置されている範囲を示し、円形領域はレンズのイメージサークル(撮影可能な範囲)を示す。180度カメラで撮影された画像には、図2(a)~(c)に示すように、四隅に「ケラレ」という黒い部分がある。カメラ内の撮像素子とレンズとの位置関係等によっては180度カメラ以外のカメラから出力される画像にもケラレが存在しうるが、発明者は、適切に組み付けられた180度カメラであれば、出力画像の四隅のうち少なくとも二か所にケラレが存在することを見出した。したがって、画像の四隅のうち、少なくとも二か所にケラレが存在する場合、180度カメラからの出力画像であると判断できる。図2のステップS4では、設定用のソフトウェアは、画像の四隅それぞれにおいて、一定の範囲R(図4(c)参照)内の輝度値の平均値と最大値を複数回計測する。計測した平均値および最大値がいずれもしきい値以下の場合、一定の範囲R内においてエッジ抽出を行い、エッジとして抽出された画素数がしきい値以下の場合、ケラレが存在すると判定する。
When the in-
続いて、設定用のソフトウェアは、画像の四隅のうち、少なくとも二か所にケラレが存在する場合、接続された車載カメラ31の種類が180度カメラであると判定し、ケラレが画像の四隅のうち1か所のみに存在するかいずれにも存在しない場合、接続された車載カメラ31の種類が狭角カメラであると判定する(S5)。カメラ種類が180度カメラである場合(S6でYES)、設定用のソフトウェアは、車載カメラ31の画像を認識するためのパラメータとして、180度カメラ用のレンズ歪式(レンズ歪テーブル)を適用する(S7)。レンズ歪式(レンズ歪テーブル)は、撮像素子の一ドットがカメラ画角の何度に相当するかを示す式(テーブル)である。カメラ種類が180度カメラである場合は、S7で180度カメラ用のレンズ歪式(レンズ歪テーブル)を適用した後、バック移動体検知設定がされていれば、鏡像設定・常時モニタ出力設定(図5参照)を適用する(S9)。一方、カメラ種類が狭角カメラである場合(S6でNO)、設定用のソフトウェアは、車載カメラ31の画像を認識するためのパラメータとして、狭角カメラ用のレンズ歪式(レンズ歪テーブル)を適用して(S8)、設定作業を終了する。
Subsequently, the setting software determines that the type of the connected in-
図5は、車載カメラ31の設定画面例を示す図である。図5に示すように、PC35の表示部に表示される設定画面では、ドライブレコーダ10のモニタ画面に映すカメラ映像を選択したり、各カメラ1~6について、画質やフレームレートを設定できる。また、図5に示す設定画面において、例えばカメラ6をバックカメラとして使用する場合、鏡像を表示する設定が可能である。尚、認識機能の設定作業では、カメラ種類の切替に加え、いずれの種類のカメラを、移動体検知、白線検出、前方車両認識、道路標示認識等、どのような画像認識に使用するかを設定できる。
FIG. 5 is a diagram showing an example of a setting screen of the vehicle-mounted
以上説明したように、本実施形態によれば、車載カメラ31の設定を行う際、車載カメラ31からの出力画像の四隅のうち二か所以上にケラレが存在する場合には、自動で、カメラ種類が180度カメラであると判別され、180度カメラ用のレンズ歪式(レンズ歪テーブル)が適用される。したがって、設定者の負担を軽減でき、かつ、カメラ種類の設定ミスによる画像認識機能の不具合を防止できる。複数の入力端子36(1)~(6)のいずれに1又は複数のカメラが接続された場合であっても、各入力端子36(1)~(6)から入力される画像ごとにケラレ判定処理をおこなうため、いずれの入力端子に接続されたカメラが180度カメラであるか判別することができ、専用のレンズ歪式(レンズ歪テーブル)を設定できる。また、カメラ種類の設定ミスによる距離の誤計測を防止できる。
As described above, according to the present embodiment, when the in-
ここで、上述した本発明に係る車載カメラ設定方法および車載システムの実施形態の特徴をそれぞれ以下[1]~[6]に簡潔に纏めて列記する。
[1] 車両に搭載され画像認識機能を有する車載器(ドライブレコーダ10)に、前記車両に取り付けられ前記車載器に接続されたカメラの画像を認識するためのパラメータを設定する設定方法であって、
前記カメラとして、少なくとも第一カメラおよび前記第一カメラよりも広角な第二カメラが含まれ、
前記車載器に前記カメラが接続された場合に、前記カメラから出力される画像の四隅のうち少なくとも二か所について、ケラレの有無を検出し(S4)、
少なくとも前記二か所に前記ケラレが存在する場合、前記カメラが前記第二カメラであると判別し(S5)、
カメラ種類ごとに定められた複数のパラメータのうち、前記第二カメラに対応するパラメータを選択して、前記カメラの前記パラメータとして前記車載器に設定する(S7)、
ことを特徴とする車載カメラ設定方法。
[2] 前記車載器に設けられた複数の入力端子(36(1)~(6))に複数の前記カメラが接続可能であり、
前記複数の入力端子のいずれに接続されたカメラが前記第二カメラであるか判別する、
ことを特徴とする、上記[1]の構成の車載カメラ設定方法。
[3] 前記第二カメラは、180度の画角を有する180度カメラであり、
前記パラメータは、レンズ歪式又はレンズ歪テーブルである、
ことを特徴とする、上記[1]又は[2]の構成の車載カメラ設定方法。
[4] 車両に搭載され画像認識機能を有する車載器(ドライブレコーダ10)に、前記車両に取り付けられ前記車載器に接続されたカメラの画像を認識するためのパラメータを設定する車載システムであって、
前記車両に取り付けられる、少なくとも第一カメラおよび前記第一カメラよりも広角な第二カメラを含む、複数のカメラと、
前記車載器に設けられ、前記複数のカメラにそれぞれ接続可能な複数の入力端子(36(1)~(6))と、
前記複数の入力端子のいずれかを介して所定のカメラから出力される画像の四隅のうち少なくとも二か所について、ケラレの有無を検出し、少なくとも前記二か所に前記ケラレが存在する場合、前記所定のカメラが前記第二カメラであることおよび前記複数の入力端子のうちいずれに前記第二カメラが接続されているかを判別する、カメラ判別部と、
カメラ種類ごとに定められた複数のパラメータのうち、前記第二カメラに対応するパラメータを選択して、前記所定のカメラの前記パラメータとして前記車載器に設定する、カメラ設定部と、
を備えることを特徴とする車載システム。
[5] 前記第二カメラは、180度の画角を有する180度カメラであり、
前記パラメータは、レンズ歪式又はレンズ歪テーブルである、
ことを特徴とする、上記[4]の構成の車載システム。
[6] 前記所定のカメラから前記所定のカメラが撮影した認識対象までの距離を計測する距離計測部を備える、
ことを特徴とする上記[4]又は[5]の構成の車載システム。
Here, the features of the in-vehicle camera setting method and the in-vehicle system embodiment described above according to the present invention are briefly summarized and listed below in [1] to [6], respectively.
[1] A setting method for setting parameters for recognizing an image of a camera attached to the vehicle and connected to the vehicle-mounted device (drive recorder 10) mounted on the vehicle and having an image recognition function. ,
The cameras include at least a first camera and a second camera with a wider angle than the first camera.
When the camera is connected to the on-board unit, the presence or absence of vignetting is detected at at least two of the four corners of the image output from the camera (S4).
When the vignetting is present at least in the two places, it is determined that the camera is the second camera (S5).
Among the plurality of parameters determined for each camera type, the parameter corresponding to the second camera is selected and set in the in-vehicle device as the parameter of the camera (S7).
An in-vehicle camera setting method characterized by this.
[2] The plurality of cameras can be connected to the plurality of input terminals (36 (1) to (6)) provided in the vehicle-mounted device.
Determining which of the plurality of input terminals the camera is connected to is the second camera.
The in-vehicle camera setting method having the configuration of the above [1], characterized in that.
[3] The second camera is a 180-degree camera having an angle of view of 180 degrees.
The parameter is a lens distortion type or a lens distortion table.
The in-vehicle camera setting method having the configuration of the above [1] or [2], characterized in that.
[4] An in-vehicle system for setting parameters for recognizing an image of a camera attached to the vehicle and connected to the in-vehicle device in an in-vehicle device (drive recorder 10) mounted on the vehicle and having an image recognition function. ,
A plurality of cameras mounted on the vehicle, including at least a first camera and a second camera with a wider angle than the first camera.
A plurality of input terminals (36 (1) to (6)) provided on the vehicle-mounted device and capable of being connected to the plurality of cameras, respectively.
The presence or absence of vignetting is detected in at least two of the four corners of the image output from the predetermined camera via any of the plurality of input terminals, and if the vignetting is present in at least the two places, the above. A camera discriminating unit that determines whether the predetermined camera is the second camera and which of the plurality of input terminals the second camera is connected to.
A camera setting unit that selects a parameter corresponding to the second camera from a plurality of parameters determined for each camera type and sets the parameter corresponding to the second camera in the in-vehicle device as the parameter of the predetermined camera.
An in-vehicle system characterized by being equipped with.
[5] The second camera is a 180-degree camera having an angle of view of 180 degrees.
The parameter is a lens distortion type or a lens distortion table.
The in-vehicle system having the configuration of the above [4], characterized in that.
[6] A distance measuring unit for measuring the distance from the predetermined camera to the recognition target taken by the predetermined camera is provided.
An in-vehicle system having the configuration of the above [4] or [5].
10 ドライブレコーダ
11 マイクロコンピュータ
12 画像処理部
13 通信モジュール
14,16,30 インタフェース
15 GPS受信機
17 時計回路
18 信号処理部
19 加速度センサ
20 メモリ(ROM)
21 メモリ(RAM)
22 カードインタフェース
23 メモリーカード
24 音声信号処理部
25 スピーカ
26 マイク
27 ドライバ
28 表示部
29 操作部
31,32 車載カメラ
33,34 アンテナ
35 PC
36(1)~(6) 入力端子
R 一定の範囲
SG1 車速パルス信号
SG2 ブレーキ信号
SG3 ウインカー信号
SG4 バック信号
10
21 Memory (RAM)
22
36 (1)-(6) Input terminal R Certain range SG1 Vehicle speed pulse signal SG2 Brake signal SG3 Turn signal signal SG4 Back signal
Claims (6)
前記カメラとして、少なくとも第一カメラおよび前記第一カメラよりも広角な第二カメラが含まれ、
前記車載器に前記カメラが接続された場合に、前記カメラから出力される画像の四隅のうち少なくとも二か所について、ケラレの有無を検出し、
少なくとも前記二か所に前記ケラレが存在する場合、前記カメラが前記第二カメラであると判別し、
カメラ種類ごとに定められた複数のパラメータのうち、前記第二カメラに対応するパラメータを選択して、前記カメラの前記パラメータとして前記車載器に設定する、
ことを特徴とする車載カメラ設定方法。 It is a setting method for setting a parameter for recognizing an image of a camera attached to the vehicle and connected to the vehicle-mounted device in the vehicle-mounted device mounted on the vehicle and having an image recognition function.
The cameras include at least a first camera and a second camera with a wider angle than the first camera.
When the camera is connected to the on-board unit, the presence or absence of vignetting is detected at least two of the four corners of the image output from the camera.
When the vignetting is present at least in the two places, it is determined that the camera is the second camera, and the camera is determined to be the second camera.
A parameter corresponding to the second camera is selected from a plurality of parameters determined for each camera type, and is set in the vehicle-mounted device as the parameter of the camera.
An in-vehicle camera setting method characterized by this.
前記複数の入力端子のいずれに接続されたカメラが前記第二カメラであるか判別する、
ことを特徴とする、請求項1に記載された車載カメラ設定方法。 A plurality of the cameras can be connected to a plurality of input terminals provided on the vehicle-mounted device.
Determining which of the plurality of input terminals the camera is connected to is the second camera.
The vehicle-mounted camera setting method according to claim 1, wherein the vehicle-mounted camera is set.
前記パラメータは、レンズ歪式又はレンズ歪テーブルである、
ことを特徴とする、請求項1又は2に記載された車載カメラ設定方法。 The second camera is a 180 degree camera having an angle of view of 180 degrees.
The parameter is a lens distortion type or a lens distortion table.
The vehicle-mounted camera setting method according to claim 1 or 2, wherein the vehicle-mounted camera is set.
前記車両に取り付けられる、少なくとも第一カメラおよび前記第一カメラよりも広角な第二カメラを含む、複数のカメラと、
前記車載器に設けられ、前記複数のカメラにそれぞれ接続可能な複数の入力端子と、
前記複数の入力端子のいずれかを介して所定のカメラから出力される画像の四隅のうち少なくとも二か所について、ケラレの有無を検出し、少なくとも前記二か所に前記ケラレが存在する場合、前記所定のカメラが前記第二カメラであることおよび前記複数の入力端子のうちいずれに前記第二カメラが接続されているかを判別する、カメラ判別部と、
カメラ種類ごとに定められた複数のパラメータのうち、前記第二カメラに対応するパラメータを選択して、前記所定のカメラの前記パラメータとして前記車載器に設定する、カメラ設定部と、
を備えることを特徴とする車載システム。 It is an in-vehicle system that sets parameters for recognizing an image of a camera attached to the vehicle and connected to the in-vehicle device in an in-vehicle device mounted on the vehicle and having an image recognition function.
A plurality of cameras mounted on the vehicle, including at least a first camera and a second camera with a wider angle than the first camera.
A plurality of input terminals provided on the in-vehicle device and capable of being connected to the plurality of cameras, respectively.
The presence or absence of vignetting is detected in at least two of the four corners of the image output from the predetermined camera via any of the plurality of input terminals, and if the vignetting is present in at least the two places, the above. A camera discriminating unit that determines whether the predetermined camera is the second camera and which of the plurality of input terminals the second camera is connected to.
A camera setting unit that selects a parameter corresponding to the second camera from a plurality of parameters determined for each camera type and sets the parameter corresponding to the second camera in the in-vehicle device as the parameter of the predetermined camera.
An in-vehicle system characterized by being equipped with.
前記パラメータは、レンズ歪式又はレンズ歪テーブルである、
ことを特徴とする、請求項4に記載された車載システム。 The second camera is a 180 degree camera having an angle of view of 180 degrees.
The parameter is a lens distortion type or a lens distortion table.
The vehicle-mounted system according to claim 4, wherein the in-vehicle system is characterized in that.
ことを特徴とする請求項4又は5に記載された車載システム。 A distance measuring unit for measuring the distance from the predetermined camera to the recognition target taken by the predetermined camera is provided.
The vehicle-mounted system according to claim 4 or 5.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018155268A JP7084253B2 (en) | 2018-08-22 | 2018-08-22 | In-vehicle camera setting method and in-vehicle system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018155268A JP7084253B2 (en) | 2018-08-22 | 2018-08-22 | In-vehicle camera setting method and in-vehicle system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020031311A JP2020031311A (en) | 2020-02-27 |
JP7084253B2 true JP7084253B2 (en) | 2022-06-14 |
Family
ID=69622871
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018155268A Active JP7084253B2 (en) | 2018-08-22 | 2018-08-22 | In-vehicle camera setting method and in-vehicle system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7084253B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113238376B (en) * | 2021-05-10 | 2022-10-25 | 苏州中科全象智能科技有限公司 | Distortion analysis method for Samm lens |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010035131A (en) | 2008-06-27 | 2010-02-12 | Ricoh Co Ltd | Imaging apparatus and imaging method |
JP2014010776A (en) | 2012-07-02 | 2014-01-20 | Canon Inc | Image processing apparatus, image processing method, and program |
JP2018037946A (en) | 2016-09-01 | 2018-03-08 | パナソニックIpマネジメント株式会社 | Imaging apparatus |
-
2018
- 2018-08-22 JP JP2018155268A patent/JP7084253B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010035131A (en) | 2008-06-27 | 2010-02-12 | Ricoh Co Ltd | Imaging apparatus and imaging method |
JP2014010776A (en) | 2012-07-02 | 2014-01-20 | Canon Inc | Image processing apparatus, image processing method, and program |
JP2018037946A (en) | 2016-09-01 | 2018-03-08 | パナソニックIpマネジメント株式会社 | Imaging apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2020031311A (en) | 2020-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6633216B2 (en) | Imaging device and electronic equipment | |
JP6669240B1 (en) | Recording control device, recording control system, recording control method, and recording control program | |
WO2017159186A1 (en) | Recording device and recording method | |
JP2005014686A (en) | Drive recorder | |
CN111183458B (en) | Recording/reproducing device, recording/reproducing method, and program | |
JP2010268343A (en) | Photographing device and photographing method | |
JP2007235532A (en) | Vehicle monitoring apparatus | |
JPH08153298A (en) | On-vehicle video recording device | |
JP2023046953A (en) | Image processing system, mobile device, image processing method, and computer program | |
US11120527B2 (en) | Vehicular camera and camera system | |
WO2018150888A1 (en) | Information recording device, information recording method, and information recording program | |
JP7084253B2 (en) | In-vehicle camera setting method and in-vehicle system | |
JP2016139233A (en) | Operation recording device, operation recording system, and operation management system | |
JP6317914B2 (en) | In-vehicle image processing device | |
US20230098424A1 (en) | Image processing system, mobile object, image processing method, and storage medium | |
US20200275022A1 (en) | Automotive driving recorder | |
JP2020022046A (en) | Image recognition correction method and in-vehicle system | |
JP7018561B2 (en) | Display control device, display control system, display control method, and display control program | |
KR101582534B1 (en) | Apparatus and Method of recording event based image data | |
JP2020109572A (en) | Imaging information storage device, imaging information storage method, and program | |
EP4380178A1 (en) | Image processing system, image processing method, and storage medium | |
JP6939944B2 (en) | Playback device, playback method, and program | |
WO2024195167A1 (en) | Recording/reproduction control device, production control method, and program | |
EP4258653A1 (en) | Image processing device that can measure distance to object, movable apparatus, image processing method, and storage medium | |
JP2019008710A (en) | Threshold setting device, threshold setting method, and threshold setting program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210716 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220531 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220602 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7084253 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |