JP5827095B2 - Calibration system, parameter acquisition apparatus, marker, and parameter acquisition method - Google Patents
Calibration system, parameter acquisition apparatus, marker, and parameter acquisition method Download PDFInfo
- Publication number
- JP5827095B2 JP5827095B2 JP2011225555A JP2011225555A JP5827095B2 JP 5827095 B2 JP5827095 B2 JP 5827095B2 JP 2011225555 A JP2011225555 A JP 2011225555A JP 2011225555 A JP2011225555 A JP 2011225555A JP 5827095 B2 JP5827095 B2 JP 5827095B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- mark
- vehicle
- camera
- installation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000003550 marker Substances 0.000 title claims description 55
- 238000000034 method Methods 0.000 title claims description 39
- 238000009434 installation Methods 0.000 claims description 75
- 239000002131 composite material Substances 0.000 claims description 36
- 238000009795 derivation Methods 0.000 claims description 21
- 238000010586 diagram Methods 0.000 description 33
- 239000000203 mixture Substances 0.000 description 23
- 238000012790 confirmation Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本発明は、車両に搭載されたカメラの設置に関する設置パラメータを取得する技術に関する。 The present invention relates to a technique for acquiring installation parameters relating to installation of a camera mounted on a vehicle.
従来より、自動車などの車両に搭載されたカメラで車両の周辺を撮影して得られた画像を、車室内のディスプレイに表示する車載装置が知られている。このような車載装置を利用することにより、ドライバは車両の周辺の様子をほぼリアルタイムに把握することができる。 2. Description of the Related Art Conventionally, an in-vehicle device that displays an image obtained by photographing the periphery of a vehicle with a camera mounted on the vehicle such as an automobile on a display in the vehicle interior is known. By using such an in-vehicle device, the driver can grasp the situation around the vehicle almost in real time.
カメラを車両に設置した場合においては、カメラの光軸に関して設計上の位置に対してわずかに誤差が発生する。このようなカメラの光軸の誤差に起因して、当該カメラで取得された画像に含まれる被写体の像の位置は、理想的な位置からズレることになる。 When the camera is installed in a vehicle, a slight error occurs with respect to the designed position with respect to the optical axis of the camera. Due to such an error in the optical axis of the camera, the position of the subject image included in the image acquired by the camera deviates from the ideal position.
このような問題に対応するため、従来より、カメラの設置に関する設置パラメータ(例えば、ロール角、チルト角、パン角など)を取得するキャリブレーション処理がなされている(例えば、特許文献1参照。)。車載装置は、このようなキャリブレーション処理で取得された設置パラメータを用いることで、画像中の被写体の像の位置を補正することができる。 In order to cope with such a problem, conventionally, calibration processing for acquiring installation parameters (for example, roll angle, tilt angle, pan angle, etc.) related to camera installation has been performed (for example, see Patent Document 1). . The in-vehicle device can correct the position of the image of the subject in the image by using the installation parameter acquired by such calibration processing.
ところで近年、キャリブレーション処理において、設置パラメータを取得する精度を向上することが求められている。例えば、近年、複数のカメラで得られた複数の画像を合成して仮想視点からみた車両の周辺の様子を示す合成画像を生成する技術が普及してきている。このような合成画像の生成において設置パラメータの精度が低い場合には、複数の画像が整合なく合成されてしまい、画像同士の接続部分で被写体の像が分断されるなど不適切な合成画像が生成される可能性がある。このため、適切な合成画像を生成するためには、精度の高い設置パラメータが必要となる。 Incidentally, in recent years, it has been required to improve the accuracy of obtaining installation parameters in calibration processing. For example, in recent years, a technique for synthesizing a plurality of images obtained by a plurality of cameras and generating a synthesized image showing a state around a vehicle as viewed from a virtual viewpoint has become widespread. When the accuracy of the installation parameters is low in the generation of such a composite image, a plurality of images are combined inconsistently, and an inappropriate composite image is generated, for example, the subject image is divided at the connection portion between the images. There is a possibility that. For this reason, in order to generate an appropriate composite image, highly accurate installation parameters are required.
一般に、キャリブレーション処理は、車両の外部に配置された三角形などのマークをカメラで撮影し、得られた画像をディスプレイに表示させ、その画像中に含まれるマークの像の所定部分をユーザ(作業員等)が指定することで行われる(例えば、特許文献1参照。)。 In general, in calibration processing, a mark such as a triangle arranged outside a vehicle is photographed by a camera, the obtained image is displayed on a display, and a predetermined portion of the mark image included in the image is displayed by a user (work (For example, refer to Patent Document 1).
図22は、従来のキャリブレーション処理において、ディスプレイに表示された画像中の三角形のマークの像80の例を示す図である。ユーザは、例えば、このようなマークの像の3つの頂点に、3つのカーソルCをそれぞれ移動させる作業を行うことになる。
FIG. 22 is a diagram illustrating an example of a
しかしながら、図22の領域Aを拡大した図23に示すように、「マークの頂点にカーソルCを移動させる」場合において、ユーザがカーソルCを実際に移動させる位置は、図中の点P1〜点P4の例のように、ユーザによって異なることになる。また、「線の幅方向の中心にカーソルCを移動させる」という条件を加えたとしても、ユーザがカーソルCを実際に移動させる位置は、図中の点P2及び点P3の例のように、ユーザによって異なる。さらに、マークの像80は実際のマークを正面から撮影したものではないため、像80の線の中心と実際のマークの線の中心とは厳密には異なることから、実際のマークの線の中心を特定することは困難である。
However, as shown in FIG. 23 in which the area A of FIG. 22 is enlarged, in the case of “moving the cursor C to the vertex of the mark”, the positions where the user actually moves the cursor C are points P1 to P1 in the figure. As in the example of P4, it differs depending on the user. Even if the condition “move the cursor C to the center in the width direction of the line” is added, the position where the user actually moves the cursor C is as in the example of the points P2 and P3 in the figure. Varies by user. Further, since the
このようなことから、従来のキャリブレーション処理で取得される設置パラメータは作業するユーザによってばらつきが生じ、精度の高い設置パラメータを安定して取得することができなかった。 For this reason, the installation parameters acquired by the conventional calibration process vary depending on the user who works, and it is not possible to stably acquire highly accurate installation parameters.
本発明は、上記課題に鑑みてなされたものであり、設置パラメータを取得する精度を向上する技術を提供することを目的とする。 This invention is made | formed in view of the said subject, and it aims at providing the technique which improves the precision which acquires an installation parameter.
上記課題を解決するため、請求項1の発明は、車両に搭載されたカメラに関するキャリブレーションシステムであって、前記車両の外部に配置される第1標識体と、前記第1標識体を前記カメラで撮影して得られた画像に基づいて、前記カメラの設置に関する設置パラメータを取得するパラメータ取得装置と、を備え、前記第1標識体は、前記画像中において略真円の像として表れる略楕円のマーク、を含み、前記パラメータ取得装置は、前記マークの略真円の像を含む前記画像を表示する表示手段と、前記表示手段が前記画像を表示中にユーザが指定する該画像における前記マークの像の位置に基づいて、前記設置パラメータを導出する導出手段と、を備え、前記マークの像の位置を前記ユーザが指定するために用いるカーソルは、前記マークの像の円周の少なくとも3点と接する形状である。
In order to solve the above-mentioned problem, the invention of
また、請求項2の発明は、請求項1に記載のキャリブレーションシステムにおいて、前記車両は、互いに異なる位置に配置された複数の前記カメラ、を有し、前記導出手段は、前記複数のカメラで得られた複数の画像に基づいて、前記複数のカメラそれぞれの前記設置パラメータを導出する。
Further, the invention of
また、請求項3の発明は、請求項2に記載のキャリブレーションシステムにおいて、前記第1標識体は、前記略楕円のマークとして、第1マークと、前記第1マークを内包する第2マークと、を含み、前記導出手段は、前記複数のカメラのうちの一の第1カメラで得られた前記画像中の前記第1マークの略真円の像の位置に基づいて、前記第1カメラの前記設置パラメータを導出し、前記複数のカメラのうちの他の一の第2カメラで得られた前記画像中の前記第2マークの略真円の像の位置に基づいて、前記第2カメラの前記設置パラメータを導出する。
The invention of claim 3 is the calibration system according to
また、請求項4の発明は、請求項2または3に記載のキャリブレーションシステムにおいて、前記パラメータ取得装置は、前記複数のカメラで得られた複数の画像と前記複数のカメラそれぞれの前記設置パラメータとを用いて、仮想視点からみた前記車両の周辺の様子を示す合成画像を生成する生成手段、をさらに備えている。
The invention of claim 4 is in the calibration system according to
また、請求項5の発明は、請求項4に記載のキャリブレーションシステムにおいて、前記複数の画像を取得する際に前記車両の外部に配置され、所定形状の第3マークを示す第2標識体、をさらに備え、前記パラメータ取得装置は、前記複数の画像を用いて生成した前記合成画像に、前記第3マークの像が含まれるべき位置を示す指標を重畳する重畳手段、をさらに備え、前記表示手段は、前記第3マークの像と前記指標とを含む前記合成画像を表示する。
Further, the invention of
また、請求項6の発明は、車両の外部に配置される標識体を前記車両に搭載されたカメラで撮影して得られた画像に基づいて、前記カメラの設置に関する設置パラメータを取得するパラメータ取得装置であって、前記標識体は、前記画像中において略真円の像として表れる略楕円のマーク、を含み、前記パラメータ取得装置は、前記マークの略真円の像を含む前記画像を表示する表示手段と、前記表示手段が前記画像を表示中にユーザが指定する該画像における前記マークの像の位置に基づいて、前記設置パラメータを導出する導出手段と、を備え、前記マークの像の位置を前記ユーザが指定するために用いるカーソルは、前記マークの像の円周の少なくとも3点と接する形状である。
According to a sixth aspect of the present invention, there is provided parameter acquisition for acquiring installation parameters relating to installation of the camera based on an image obtained by photographing a marker placed outside the vehicle with a camera mounted on the vehicle. The marker includes a substantially elliptic mark that appears as a substantially perfect circle image in the image, and the parameter acquisition device displays the image including a substantially perfect circle image of the mark. Display means; and derivation means for deriving the installation parameter based on the position of the mark image in the image specified by the user while the display means displays the image, and the position of the mark image The cursor used for designating the user has a shape in contact with at least three points on the circumference of the mark image .
また、請求項7の発明は、車両に搭載されたカメラの設置に関する設置パラメータを取得するパラメータ取得方法であって、(a)前記カメラが取得する画像中において略真円の像として表れる略楕円のマークを前記カメラで撮影する工程と、(b)前記工程(a)で得られた前記マークの略真円の像を含む画像を表示する工程と、(c)前記工程(b)において前記画像を表示中にユーザが指定する該画像における前記マークの像の位置に基づいて、前記設置パラメータを導出する工程と、を備え、前記マークの像の位置を前記ユーザが指定するために用いるカーソルは、前記マークの像の円周の少なくとも3点と接する形状である。
Further, the invention of
請求項1ないし7の発明によれば、マークの略真円の像を含む画像が表示されるため、ユーザはマークの像の位置を正確に指定することができる。このため、設置パラメータを取得する精度を向上できる。また、カーソルがマークの像の円周の少なくとも3点と接する形状であるため、ユーザはカーソルをマークの像の位置により正確に合わせることができる。
According to the first to seventh aspects of the present invention, since an image including a substantially perfect circle image of the mark is displayed, the user can accurately specify the position of the mark image. For this reason, the precision which acquires an installation parameter can be improved. In addition, since the cursor has a shape in contact with at least three points on the circumference of the mark image, the user can accurately align the cursor with the position of the mark image.
また、特に請求項2の発明によれば、互いに異なる位置に配置された複数のカメラそれぞれの設置パラメータを導出することができる。
In particular, according to the invention of
また、特に請求項3の発明によれば、第1マークと第2マークとがあるため、異なる位置に配置された2つのカメラで得られた画像それぞれにおいて、マークの像を略真円にすることができる。
In particular, according to the invention of claim 3 , since there are the first mark and the second mark, the image of the mark is made to be a substantially perfect circle in each of the images obtained by the two cameras arranged at different positions. be able to.
また、特に請求項4の発明によれば、設置パラメータを利用して、車両の周囲の全体を正しく示す合成画像を生成することができる。
In particular, according to the invention of claim 4 , it is possible to generate a composite image that correctly shows the entire periphery of the vehicle by using the installation parameter.
また、特に請求項5の発明によれば、合成画像に含まれる第3マークの像と指標との関係により、設置パラメータが正しく取得できたか否かを確認することができる。
In particular, according to the fifth aspect of the present invention, it is possible to confirm whether or not the installation parameter has been correctly acquired based on the relationship between the image of the third mark included in the composite image and the index.
以下、図面を参照しつつ本発明の実施の形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<1.構成>
図1は、本実施の形態に係るキャリブレーションシステム10の概要を示す図である。このキャリブレーションシステム10は、車両(本実施の形態では自動車)9に搭載される複数のカメラ5の設置に関する設置パラメータを取得するキャリブレーション処理に用いられる。キャリブレーションシステム10は、車両9に搭載される複数のカメラ5及び車載装置2、並びに、車両9の外部に配置される複数の第1標識体31〜34及び複数の第2標識体41〜43を備えている。
<1. Configuration>
FIG. 1 is a diagram showing an outline of a
車載装置2は、複数のカメラ5で撮影して得られる複数の画像に基づいて、これら複数のカメラ5それぞれの設置に関する設置パラメータを取得する。この設置パラメータは、カメラの設置誤差(光軸の設計上の位置に対する誤差)を示すものであり、例えば、ロール角、チルト角、及び、パン角などである。
The in-
第1標識体31〜34、及び、複数の第2標識体41〜43はそれぞれ、所定形状のマークが主面に形成された鉄板やプラスチック板などの板状体である。これら複数の第1標識体31〜34、及び、複数の第2標識体41〜43は、車両工場や車両整備場などのキャリブレーション処理を実行する作業場に固定的に配置される。
Each of the
4つの第1標識体31〜34はそれぞれ、設置パラメータの導出に用いる導出用マークCmを含んでいる。4つの第1標識体31〜34は、車両9の左前方、右前方、左後方、右後方にそれぞれ配置される。
Each of the four
また、5つの第2標識体41〜43はそれぞれ、キャリブレーション処理の良否判定に用いる矩形の確認用マークLmを含んでいる。1つの第2標識体41は、確認用マークLmの長手方向が車両9の左右方向に沿うように車両9の前方に配置される。また、2つの第2標識体42は、確認用マークLmの長手方向が車両9の前後方向に沿うように、車両9の左右それぞれのフロントフェンダ付近に配置される。さらに、2つの第2標識体43は、確認用マークLmの長手方向が車両9の前後方向に沿うように、車両9の左右それぞれのリアフェンダ付近に配置される。
Further, each of the five
キャリブレーション処理を実行する場合には、作業場の所定位置に略正確に車両9が正対装置などにより停車される。これにより、第1標識体31〜34、及び、複数の第2標識体41〜43の車両9に対する相対的な位置は略一定となる。この状態で、車両9に搭載された複数のカメラ5が、第1標識体31〜34、及び、複数の第2標識体41〜43を含む車両9の周囲を撮影し、複数の画像を取得する。
When the calibration process is executed, the
そして、車載装置2は、このようにして得られた複数の画像それぞれに含まれる導出用マークCmの像の特定部分の位置に基づいて複数のカメラ5それぞれの設置パラメータを導出する。導出用マークCmの像の特定部分の位置は、ユーザ(作業員等)が指定することになる。車載装置2は、カメラ5の設置に関する設置パラメータを取得するパラメータ取得装置であるともいえる。
Then, the in-
このようなキャリブレーション処理は、原則として一つの車両9に関して一回のみ、車両9に複数のカメラ5を取り付けた際に実行される。キャリブレーション処理で得られた設置パラメータは、車載装置2に記憶される。車載装置2は、複数のカメラ5で得られた複数の画像を合成して仮想視点からみた車両9の周辺の様子を示す合成画像を生成し、この合成画像を表示する機能を備えている。車載装置2は、この合成画像を生成する際に、キャリブレーション処理で得られた設置パラメータを利用する。
Such a calibration process is executed when a plurality of
図2は主に、複数のカメラ5と車載装置2との構成を示す図である。図に示すように、複数のカメラ5と車載装置2とは相互に接続されている。これら複数のカメラ5はそれぞれ、レンズと撮像素子とを備えており、車両9の周辺を示す画像を電子的に取得する。
FIG. 2 is a diagram mainly showing the configuration of the plurality of
複数のカメラ5はそれぞれ、車載装置2とは別に、車両9の適位置に配置され、取得した画像を車載装置2に入力する。複数のカメラ5は、フロントカメラ5F、バックカメラ5B、左サイドカメラ5L、及び、右サイドカメラ5Rを含んでいる。これら4つのカメラ5F,5B,5L,5Rは、互いに異なる位置に配置され、車両9の周辺の異なる方向を撮影する。
Each of the plurality of
図3は、カメラ5F,5B,5L,5Rが撮影する方向を示す図である。フロントカメラ5Fは、車両9の前端の左右中央の近傍に設けられ、その光軸5Faは車両9の前方(直進方向)に向けられる。バックカメラ5Bは、車両9の後端の左右中央の近傍に設けられ、その光軸5Baは車両9の後方(直進方向の逆方向)に向けられる。左サイドカメラ5Lは車両9の左側のサイドミラー93Lに設けられ、その光軸5Laは車両9の左側方(直進方向の直交方向)に向けられる。また、右サイドカメラ5Rは車両9の右側のサイドミラー93Rに設けられ、その光軸5Raは車両9の右側方(直進方向の直交方向)に向けられる。
FIG. 3 is a diagram illustrating the direction in which the
これらのカメラ5F,5B,5L,5Rのレンズには魚眼レンズなどの広角レンズが採用され、各カメラ5F,5B,5L,5Rは180度以上の画角θを有している。このため、4つのカメラ5F,5B,5L,5Rを利用することで、車両9の全周囲を撮影することが可能である。車両9の左前方、右前方、左後方、及び、右後方の各領域A1,A2,A3,A4は、4つのカメラ5のうちの2つのカメラ5によって重複して撮影することが可能となっている。このように2つのカメラ5によって重複して撮影可能な4つの領域A1,A2,A3,A4に、4つの第1標識体31,32,33,34がそれぞれ配置される(図1参照。)。広角レンズを採用する各カメラで取得される画像においては、被写体の像に歪みが生じ、その歪みの程度は画像の周辺ほど大きくなる。
A wide-angle lens such as a fisheye lens is adopted as the lens of these
図2に戻り、車載装置2は、ディスプレイ26と、操作部25と、画像取得部22と、画像合成部23と、記憶部24と、制御部21とを備えている。
Returning to FIG. 2, the in-
ディスプレイ26は、例えば、液晶パネルなどを備えた薄型の表示装置であり、各種の情報や画像を表示する。ディスプレイ26は、その画面がユーザから視認可能なように、車両9の車室内のインストルメントパネルなどに配置される。
The
操作部25は、ユーザの操作を受け付ける部材であり、タッチパネル及び操作ボタンを含んでいる。タッチパネルはディスプレイ26の画面に重ねて設けられ、操作ボタンはディスプレイ26の画面の周囲に設けられる。ユーザが操作部25を操作した場合は、その操作の内容を示す信号が制御部21に入力される。
The
画像取得部22は、4つのカメラ5F,5B,5L,5Rでそれぞれ得られた画像を取得する。画像取得部22は、アナログの画像をデジタルの画像に変換する機能や、画像の明るさを調整する機能など基本的な画像処理機能を有している。画像取得部22は、取得した画像に所定の画像処理を行い、処理後の画像を画像合成部23及び制御部21に入力する。
The
画像合成部23は、例えば、各種の画像処理が可能なハードウェア回路である。画像合成部23は、複数のカメラ5でそれぞれ取得された複数の画像を用いて、任意の仮想視点からみた車両9の周辺の様子を示す合成画像を生成する。画像合成部23が仮想視点からみた合成画像を生成する手法については後述する。
The
記憶部24は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部24は、設置パラメータ24a、及び、プログラム24bを記憶している。設置パラメータ24aは、キャリブレーション処理により取得されたものである。4つのカメラ5F,5B,5L,5Rそれぞれに対応する設置パラメータ24aが、記憶部24に記憶される。このような設置パラメータ24aは、画像合成部23が合成画像を生成する際に利用される。また、プログラム24bは車載装置2のファームウェアである。
The
制御部21は、車載装置2の全体を統括的に制御するマイクロコンピュータである。制御部21は、CPU、RAM及びROMなどを備えている。制御部21の各種の機能は、記憶部24に記憶されたプログラム24bに従ってCPUが演算処理を行うことで実現される。図中に示す表示制御部21a、及び、キャリブレーション部21bは、プログラム24bに従ってCPUが演算処理を行うことで実現される機能の一部である。
The
表示制御部21aは、ディスプレイ26の表示に係る各種の制御を行う。表示制御部21aは、例えば、ユーザの指示に従って、仮想視点からみた車両9の周辺の様子を示す合成画像をディスプレイ26に表示させる。
The
また、キャリブレーション部21bは、4つのカメラ5それぞれの設置パラメータ24aを取得するキャリブレーション処理に係る処理を実行する。このキャリブレーション処理の詳細については後述する。
Further, the
<2.合成画像の生成>
次に、画像合成部23が合成画像を生成する手法について説明する。図4は、画像合成部23が合成画像を生成する手法を説明する図である。
<2. Generation of composite image>
Next, a method in which the
車載装置2のフロントカメラ5F、バックカメラ5B、左サイドカメラ5L、及び、右サイドカメラ5Rのそれぞれで撮影が行われると、車両9の前方、後方、左側方及び右側方をそれぞれ示す4つの画像GF,GB,GL,GRが取得される。これら4つの画像GF,GB,GL,GRには、車両9の全周囲のデータが含まれている。
When images are taken by the
画像合成部23は、まず、これら4つの画像GF,GB,GL,GRに含まれるデータ(各画素の値)を、仮想的な三次元空間における立体曲面である投影面TSに投影する。投影面TSは、例えば略半球状(お椀形状)をしている。この投影面TSの中心部分(お椀の底部分)は、車両9が存在する位置として定められている。一方、投影面TSの他の部分は、画像GF,GB,GL,GRのいずれかと対応付けられており、画像合成部23は投影面TSのこの部分に画像に含まれるデータを投影する。
The
画像合成部23は、投影面TSにおいて車両9の前方に相当する領域に、フロントカメラ5Fの画像GFのデータを投影する。また、画像合成部23は、投影面TSにおいて車両9の後方に相当する領域に、バックカメラ5Bの画像GBのデータを投影する。さらに、画像合成部23は、投影面TSにおいて車両9の左側方に相当する領域に左サイドカメラ5Lの画像GLのデータを投影し、投影面TSにおいて車両9の右側方に相当する領域に右サイドカメラ5Rの画像GRのデータを投影する。
The
4つの画像GF,GB,GL,GRのそれぞれにおいて、投影面TSに投影すべきデータを含む領域は、4つのカメラ5それぞれの設置誤差に応じて変化する。このため、画像合成部23は、記憶部24に記憶された4つのカメラ5それぞれの設置パラメータ24a(ロール角、チルト角、パン角など)を用いて、画像GF,GB,GL,GRそれぞれの投影面TSに投影する領域を修正する。
In each of the four images GF, GB, GL, and GR, the region including the data to be projected on the projection surface TS changes according to the installation error of each of the four
例えば、図5に示すフロントカメラ5Fで取得された画像GFを例に説明する。仮にフロントカメラ5Fに関して設置誤差がない場合は、投影面TSに投影すべきデータを含む領域はデフォルトの領域R1となる。通常はフロントカメラ5Fに関して設置誤差が存在することから、画像合成部23は、フロントカメラ5Fの設置パラメータ24aに基づいて、投影面TSに投影する領域を領域R1から領域R2に修正する。そして、画像合成部23は、この領域R2に含まれるデータを投影面TSに投影することになる。
For example, an image GF acquired by the
図4に戻り、このように投影面TSの各部分のデータを決定すると、画像合成部23は、車両9の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両9のモデルは、投影面TSが設定される三次元空間において、車両9の位置と定められた略半球状の中心部分に配置される。
Returning to FIG. 4, when the data of each part of the projection plane TS is determined in this way, the
次に、画像合成部23は、三次元空間に対して仮想視点VPを設定する。画像合成部23は、三次元空間における任意の視点位置に任意の視野方向に向けて仮想視点VPを設定することができる。そして、画像合成部23は、投影面TSのうち、設定した仮想視点VPからみて所定の視野角に含まれる領域を画像として切り出す。また、画像合成部23は、設定した仮想視点VPに応じてポリゴンのモデルに関してレンダリングを行い、その結果となる二次元の車両像90を、切り出した画像に対して重畳する。これにより、画像合成部23は、仮想視点VPからみた車両9及び車両9の周辺の領域を示す合成画像CPを生成する。
Next, the
例えば図に示すように、視点位置を車両9の直上、視野方向を直下とした仮想視点VPaを設定した場合には、車両9及び車両9の周辺の領域を俯瞰する合成画像CPaが生成される。また、視点位置を車両9の左後方、視野方向を車両9の前方とした仮想視点VPbを設定した場合には、車両9の左後方からその周辺全体を見渡すように、車両9及び車両9の周辺の領域を示す合成画像CPbが生成されることになる。
For example, as shown in the figure, when the virtual viewpoint VPa is set with the viewpoint position directly above the
<3.第1標識体>
次に、第1標識体31〜34について説明する。図1に示したように、これら4つの第1標識体31〜34はそれぞれ、設置パラメータの導出に用いる導出用マークCmを含んでいる。
<3. First marker>
Next, the 1st labeling bodies 31-34 are demonstrated. As shown in FIG. 1, each of the four
図6は、車両9の左前方に配置される第1標識体31を示す図である。この第1標識体31は、フロントカメラ5Fと左サイドカメラ5Lとで重複して撮影可能な領域A1に配置される(図1参照。)。
FIG. 6 is a view showing the
第1標識体31の導出用マークCmは、比較的小さな3つの内側マークMiと、3つの内側マークMiをそれぞれ内包する3つの外側マークMeとを含んでいる。すなわち、導出用マークCmは、内側マークMiとそれを内包する外側マークMeとのセットを3つ含んでいる。これら3つのセットは、その中心が略正三角形を形成するように配置される。そして、導出用マークCmは、3つのセットの中心間を結ぶ線上(正三角形の辺上)に沿って3つの棒状マークMcを含んでいる。
The derivation mark Cm of the
第1標識体31〜34の背景色(素材の色)は比較的暗い色(例えば、黒)である。これに対して、外側マークMeは比較的明るい色(例えば、白)となっている。また、内側マークMiは比較的暗い色(例えば、黒)となっている。図中では、比較的暗い色の部分をハッチングで示している。また、棒状マークMcと外側マークMeとは接触せず離間している。これにより、内側マークMiの外縁、及び、外側マークMeの外縁はそれぞれ明確となっている。なお、内側マークMiの外縁と外側マークMeの外縁とで囲まれた領域のみを明るい色で着色し、内側マークMiの内部色は第1標識体31〜34の背景色を用いてもよい。
The background color (material color) of the
内側マークMi及び外側マークMeの形状は、略楕円となっている。これらの楕円が延びる方向(楕円の長軸の方向)は、内側マークMiと外側マークMeとで異なっている。 The shapes of the inner mark Mi and the outer mark Me are substantially oval. The direction in which these ellipses extend (the direction of the major axis of the ellipse) differs between the inner mark Mi and the outer mark Me.
内側マークMiは、フロントカメラ5Fで取得された画像GF中において、略真円の像として表れるような形状とされている。この内側マークMiの形状は、フロントカメラ5Fからの当該内側マークMiの方向と、フロントカメラ5Fのディストーション(画像中の被写体の像に生じる歪)とを考慮して決定される。したがって、内側マークMiは、フロントカメラ5Fが存在する方向に略沿って延びるような略楕円の形状となっている(図1参照。)。
The inner mark Mi has a shape that appears as a substantially perfect circle image in the image GF acquired by the
また、外側マークMeは、左サイドカメラ5Lで取得された画像GL中において、略真円の像として表れるような形状とされている。この外側マークMeの形状は、左サイドカメラ5Lからの当該外側マークMeの方向と、左サイドカメラ5Lのディストーションとを考慮して決定される。したがって、外側マークMeは、左サイドカメラ5Lが存在する方向に略沿って延びるような略楕円の形状となっている(図1参照。)。
Further, the outer mark Me has a shape that appears as a substantially perfect circle image in the image GL acquired by the
内側マークMiと外側マークMeとの1つのセットに注目すると、画像GF中の略真円の内側マークMiの像の中心に対応する位置と、画像GL中の略真円の外側マークMeの像の中心に対応する位置とは一致するようになっている。 When attention is paid to one set of the inner mark Mi and the outer mark Me, the position corresponding to the center of the image of the substantially perfect inner circle Mi in the image GF and the image of the substantially perfect outer circle mark Me in the image GL. The position corresponding to the center of is coincident.
また、車両9の右前方に配置される第1標識体32は、図6に示す第1標識体31をほぼ左右反転させたものとなる(図1参照。)。この第1標識体32は、フロントカメラ5Fと右サイドカメラ5Rとで重複して撮影可能な領域A2に配置される。第1標識体32に含まれる内側マークMiは、フロントカメラ5Fで取得された画像GF中において、略真円の像として表れるような形状とされている。一方、第1標識体32に含まれる外側マークMeは、右サイドカメラ5Rで取得された画像GR中において、略真円の像として表れるような形状とされている。
Moreover, the
また、図7は、車両9の左後方に配置される第1標識体33を示す図である。この第1標識体33は、バックカメラ5Bと左サイドカメラ5Lとで重複して撮影可能な領域A3に配置される(図1参照。)。
FIG. 7 is a view showing the
図6の第1標識体31と同様に、第1標識体33の導出用マークCmも、比較的小さな3つの内側マークMiと、3つの内側マークMiをそれぞれ内包する3つの外側マークMeと、3つの棒状マークMcとを含んでいる。
Similar to the
内側マークMiは、バックカメラ5Bで取得された画像GB中において、略真円の像として表れるような形状とされている。この内側マークMiの形状は、バックカメラ5Bからの当該内側マークMiの方向と、バックカメラ5Bのディストーションとを考慮して決定される。したがって、内側マークMiは、バックカメラ5Bが存在する方向に略沿って延びるような略楕円の形状となっている(図1参照。)。
The inner mark Mi has a shape that appears as a substantially perfect circle image in the image GB obtained by the
また、外側マークMeは、左サイドカメラ5Lで取得された画像GL中において、略真円の像として表れるような形状とされている。この外側マークMeの形状は、左サイドカメラ5Lからの当該外側マークMeの方向と、左サイドカメラ5Lのディストーションとを考慮して決定される。したがって、外側マークMeは、左サイドカメラ5Lが存在する方向に略沿って延びるような略楕円の形状となっている(図1参照。)。
Further, the outer mark Me has a shape that appears as a substantially perfect circle image in the image GL acquired by the
また、車両9の右後方に配置される第1標識体34は、図7に示す第1標識体33をほぼ左右反転させたものとなる(図1参照。)。この第1標識体34は、バックカメラ5Bと右サイドカメラ5Rとで重複して撮影可能な領域A4に配置される。第1標識体34に含まれる内側マークMiは、バックカメラ5Bで取得された画像GB中において、略真円の像として表れるような形状とされている。一方、第1標識体34に含まれる外側マークMeは、右サイドカメラ5Rで取得された画像GR中において、略真円の像として表れるような形状とされている。
Moreover, the
図1を参照して分かるように、車両9の後方に配置される第1標識体33,34の外側マークMeのサイズは、車両9の前方に配置される第1標識体31,32の外側マークMeよりも大きくなる。これは、サイドカメラ5L,5Rまでの距離が前方の第1標識体31,32よりも後方の第1標識体33,34のほうが長く、画像中における外側マークMeの像のサイズを一致させるためである。
As can be seen with reference to FIG. 1, the size of the outer mark Me of the
<4.キャリブレーション処理>
次に、設置パラメータを取得するキャリブレーション処理について説明する。図8は、キャリブレーション処理の流れを示す図である。この処理は、図1に示すように標識体31〜34,41〜43が予め配置された作業場の所定位置に車両9を停車させた状態で、車載装置2の操作部25にユーザが所定の操作を行った場合に、キャリブレーション部21bの制御により実行される。
<4. Calibration process>
Next, a calibration process for acquiring installation parameters will be described. FIG. 8 is a diagram showing a flow of calibration processing. In this process, as shown in FIG. 1, in a state where the
まず、4つのカメラ5F,5B,5L,5Rのそれぞれが、車両9の周辺を撮影する(ステップS11)。これにより、車両9の前方、後方、左側方及び右側方をそれぞれ示す4つの画像が取得される。取得された4つの画像は、車載装置2の画像取得部22を介して制御部21に入力される。
First, each of the four
次に、キャリブレーション部21bが、4つの画像のうちの1つ(たとえば、フロントカメラ5Fの画像)を注目画像として選択する(ステップS12)。そして、キャリブレーション部21bは、注目画像に含まれる導出用マークCmの像の特定の位置をユーザに指定させる。
Next, the
図9は、この場合に取得された画像G1の例を示す図である。図9では、フロントカメラ5Fで取得された画像を一例として示している。図に示すように画像G1には、左側及び右側にそれぞれ、導出用マークCmの像61が含まれる。また、画像G1には、確認用マークLmの像62も含まれる。ユーザは、このような画像G1中の導出用マークCmの像61における特定部分の位置を指定する。
FIG. 9 is a diagram illustrating an example of the image G1 acquired in this case. In FIG. 9, an image acquired by the
図10に示すように、注目画像がフロントカメラ5Fまたはバックカメラ5Bで取得された画像の場合は、注目画像中の導出用マークCmの像61に含まれる3つの内側マークMiの像(以下、「内側マーク像」という。)71i,72i,73iの形状が略真円となる。ユーザは、ディスプレイ26が注目画像を表示している状態で、このような略真円の内側マーク像71i,72i,73iの位置を指定する。ユーザは、3つの内側マーク像71i,72i,73iに対して、3つのカーソル71c,72c,73cをそれぞれ合わせることで、これらの位置を指定することになる。
As shown in FIG. 10, when the target image is an image acquired by the
一方、図11に示すように、注目画像が左サイドカメラ5Lまたは右サイドカメラ5Rで取得された画像の場合は、注目画像中の導出用マークCmの像61に含まれる3つの外側マークMeの像(以下、「外側マーク像」という。)71e,72e,73eの形状が略真円となる。ユーザは、ディスプレイ26が注目画像を表示している状態で、このような略真円の外側マーク像71e,72e,73eの位置を指定する。ユーザは、3つの外側マーク像71e,72e,73eに対して、3つのカーソル71d,72d,73dをそれぞれ合わせることで、これらの位置を指定することになる。
On the other hand, as shown in FIG. 11, when the target image is an image acquired by the
このようなカーソルを合わせる対象となる内側マーク像あるいは外側マーク像は、それぞれ「ポイント」と称される。ユーザは、ポイントごとにカーソルを合わせる。1つの画像につき6つのポイントが存在し、4つの画像があるため、ユーザは合計24のポイントに関してカーソルを合わせていくことになる。 Each of the inner mark image and the outer mark image to be matched with such a cursor is referred to as a “point”. The user moves the cursor for each point. Since there are 6 points per image and there are 4 images, the user will hover over a total of 24 points.
ユーザがポイントにカーソルを合わせる場合には、図12に示すように、注目画像の1つのポイントの近傍を拡大した画像G2がディスプレイ26の画面に表示される(図8のステップS13)。また、このディスプレイ26の画面には、上下左右の4方向をそれぞれ示す4つの方向ボタンB1と、ネクストボタンB2とが表示される。画像G2のサイズは、例えば縦300×横300ドットである。ユーザは、このようなディスプレイ26の画面を参照して、当該ポイントにカーソルを合わせることになる。
When the user moves the cursor to the point, as shown in FIG. 12, an image G2 in which the vicinity of one point of the image of interest is enlarged is displayed on the screen of the display 26 (step S13 in FIG. 8). In addition, on the screen of the
図12の場合は、注目画像がフロントカメラ5Fの画像であるため、ユーザは内側マーク像71iの位置にカーソル71cを移動させる。ユーザは、ディスプレイ26の画面上の4つの方向ボタンB1に触れることで、カーソル71cを内側マーク像71iの位置に移動させることができる。
In the case of FIG. 12, since the target image is an image of the
カーソル71cは十字形状となっている。内側マーク像71iの直径と、カーソル71cの縦線及び横線の長さとは略一致される。例えば、内側マーク像71iの直径が24ドットとなるように設計した場合であれば、カーソル71cの縦線及び横線の長さは24ドットに設定される。
The
このため、図13に示すように、ユーザは、カーソル71cの縦線及び横線の端部を、略真円の内側マーク像71iの外縁に合わせることで、内側マーク像71iの位置にカーソル71cを容易に合わせることができる。すなわち、ユーザは、カーソル71cの4つの端部を内側マーク像71iの円周に接触させることで、内側マーク像71iの中心位置とカーソル71cの中心位置とを一致させることができる。これにより、ユーザは、ポイントの位置(内側マーク像71iの中心位置)を正確かつ安定的に指定することができる。
Therefore, as shown in FIG. 13, the user aligns the ends of the vertical and horizontal lines of the
また、ユーザがネクストボタンB2に触れた場合は、キャリブレーション部21bは、ポイントの位置の指定を受け付ける(図8のステップS14)。すなわち、キャリブレーション部21bは、ユーザがネクストボタンB2に触れた時点のカーソルの中心位置を、ポイントの位置としてRAMなどに記憶する。
When the user touches the next button B2, the
キャリブレーション部21bは、このようにして1つのポイントの位置の指定を受け付けると、注目画像中の6つのポイントのうち、位置が指定されていないポイントがあるか否かを判定する。そして、位置が指定されていないポイントがある場合は(ステップS15にてNo)処理はステップS13に戻り、キャリブレーション部21bは、上記と同様にして、次のポイントの位置の指定を受け付ける。導出用マークCmの像61には、棒状マークMcの像74が含まれているため、ユーザは、注目画像中のいずれのポイントの位置を指定しているかを直感的に把握することができる。
When the
このような処理を繰り返し、キャリブレーション部21bは、注目画像中の6つのポイントの全ての位置の指定を受け付けると(ステップS15にてYes)、次に、4つの画像のうちの注目画像とされていない画像があるか否かを判定する。注目画像とされていない画像がある場合は(ステップS16にてNo)、処理はステップS12に戻る。そして、キャリブレーション部21bは、注目画像とされていない他の画像を新たな注目画像として選択し、上記と同様の処理を繰り返し、新たな注目画像の6つのポイントの位置の指定を受け付ける。ただし、注目画像が左サイドカメラ5Lまたは右サイドカメラ5Rで取得された画像の場合は、ユーザは、外側マーク像に対してカーソルを合わせることになる。
When such processing is repeated and the
図14は、注目画像が左サイドカメラ5Lの画像の場合におけるポイントの位置を指定するためのディスプレイ26の画面を示す図である。この画面においても、注目画像の1つのポイントの近傍を拡大した画像G3と、4つの方向ボタンB1と、ネクストボタンB2とが表示される。ユーザは、4つの方向ボタンB1に触れることで、外側マーク像71eの位置に対してカーソル71dを移動させる。
FIG. 14 is a diagram illustrating a screen of the
この場合においても、外側マーク像71eの直径と、カーソル71dの縦線及び横線の長さとは一致される。例えば、外側マーク像71eの直径が48ドットとなるように設計した場合であれば、カーソル71dの縦線及び横線の長さは48ドットに設定される。
Also in this case, the diameter of the
このため、ユーザは、カーソル71dの縦線及び横線の端部を、略真円の外側マーク像71eの外縁に合わせることで、外側マーク像71eの位置にカーソル71dを容易に合わせることができる。すなわち、ユーザは、カーソル71dの4つの端部を外側マーク像71eの円周に接触させることで、外側マーク像71eの中心位置とカーソル71dの中心位置とを一致させることができる。これにより、ユーザは、ポイントの位置(外側マーク像71eの中心位置)を正確かつ安定的に指定することができる。
Therefore, the user can easily align the
キャリブレーション部21bは、このような処理により、4つの画像のそれぞれに関して6つのポイントの位置の指定を受け付ける。キャリブレーション部21bは、全てのポイント(4×6=24のポイント)の位置の指定を受け付けると(図8のステップS16にてYes)、次に、これらのポイントの位置に基づいて、4つのカメラそれぞれの設置パラメータを導出する(ステップS17)。
The
キャリブレーション部21bは、まず、フロントカメラ5Fで取得された画像の6つのポイントの位置に基づいてフロントカメラ5Fの設置パラメータを導出する。キャリブレーション部21bは、例えば、画像中の左側のポイントと右側のポイントとの高さの差に基づいてロール角を導出し、画像中のポイントの上下位置に基づいてチルト角を導出し、画像中のポイントの左右位置に基づいてパン角を導出する。
First, the
同様に、キャリブレーション部21bは、バックカメラ5Bで取得された画像の6つのポイントの位置に基づいてバックカメラ5Bの設置パラメータを導出する。さらに、キャリブレーション部21bは、左サイドカメラ5Lで取得された画像の6つのポイントの位置に基づいて左サイドカメラ5Lの設置パラメータを導出し、右サイドカメラ5Rで取得された画像の6つのポイントの位置に基づいて右サイドカメラ5Rの設置パラメータを導出する。
Similarly, the
このようにして全てのカメラ5の設置パラメータが導出されると、次に、画像合成部23が、4つのカメラで得られた画像と、導出された4つのカメラの設置パラメータとを用いて、仮想視点からみた車両9の周辺の様子を示す合成画像を生成する(ステップS18)。この際、仮想視点の視点位置は、車両9における左右及び前後の双方に関して中央となる位置の直上に設定され、視点方向は直下に向けられる。これにより、車両9及び車両9の周辺の領域を俯瞰する合成画像が生成される。
When the installation parameters of all the
図15は、このとき生成された合成画像G4の例を示す図である。この合成画像G4においては、車両像90、及び、導出用マークCmの像61とともに、5つの確認用マークLmの像(以下、「確認マーク像」という。)62が含まれている。
FIG. 15 is a diagram illustrating an example of the composite image G4 generated at this time. The composite image G4 includes five confirmation mark Lm images (hereinafter referred to as “confirmation mark images”) 62, as well as the
キャリブレーション処理が正しくなされた場合には、これらの確認マーク像62は、合成画像G4中の略一定の位置に含まれる。しかしながら、キャリブレーション処理が正しくなされなかった場合には、これらの確認マーク像62は、合成画像G4中において含まれるべき一定の位置から外れることになる。このため、キャリブレーションシステム10では、このような合成画像G4中における確認マーク像62の位置に基づいて、キャリブレーション処理の良否判定が行われるようになっている。
When the calibration process is performed correctly, these
具体的には、まず、図16に示すように、キャリブレーション部21bが、合成画像G4中に、5つの確認マーク像62がそれぞれ含まれるべき位置を示す指標である5つの基準枠Fを重畳する。次に、キャリブレーション部21bは、基準枠Fが重畳された合成画像G4中の2つの領域を画像G5,G6として切り出し、切り出した画像G5,G6をディスプレイ26の画面に表示させる(図8のステップS19)。画像G5は、車両9の前方の領域に相当し、3つの基準枠Fを含む。また、画像G6は、車両9の後方の領域に相当し、2つの基準枠Fを含む。
Specifically, first, as shown in FIG. 16, the
図17及び図18は、画像G5,G6を表示したディスプレイ26の画面の例を示す図である。2つの画像G5,G6には、確認マーク像62と基準枠Fとが含まれている。また、ディスプレイ26の画面には、2つの画像G5,G6とともに、リトライボタンB3と、完了ボタンB4とが表示される。ユーザは、このようなディスプレイ26の画面を参照して、キャリブレーション処理の良否判定を行う。
17 and 18 are diagrams showing examples of the screen of the
図17に示すように、5つの確認マーク像62の全てが基準枠F内に収まっている場合は、キャリブレーション処理が正しくなされた場合である。このような場合は、ユーザは、キャリブレーション処理が正しくなされたと判断して完了ボタンB4に触れる。この場合は(ステップS20にてNo)、キャリブレーション部21bは、ステップS17で導出した設置パラメータを正しい値として確定し、記憶部24に記憶する(ステップS21)。
As shown in FIG. 17, the case where all of the five
一方、図18に示すように、5つの確認マーク像62のいずれかが基準枠Fから外れている場合は、キャリブレーション処理が正しくなされなかった場合である。このような場合は、ユーザは、キャリブレーション処理の再実行が必要と判断して、リトライボタンB3に触れる。この場合は(ステップS20にてYes)、処理はステップS11に戻り、キャリブレーション処理が再び実行されることになる。
On the other hand, as shown in FIG. 18, the case where any of the five
以上のように、キャリブレーションシステム10においては、第1標識体31〜34が、カメラ5で取得された画像中において略真円の像として表れる略楕円のマークMi,Meを含んでいる。車載装置2は、このようなマークMi,Meの略真円の像を含む画像をディスプレイ26に表示させ、ユーザはこの略真円の像の位置を指定する。そして、車載装置2は、指定されたマークMi,Meの像の位置に基づいて設置パラメータを導出する。マークMi,Meの略真円の像を含む画像が表示されるため、ユーザはマークMi,Meの像の位置を正確に指定することができる。このため、設置パラメータを取得する精度を向上できる。
As described above, in the
<5.変形例>
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
<5. Modification>
Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications are possible. Below, such a modification is demonstrated. All the forms including the above-described embodiment and the form described below can be appropriately combined.
上記実施の形態では、マークの像の位置を指定するためのカーソルは十字形状であると説明したが、カーソルはこれに限定されない。カーソルは、マークの略真円の像の円周の少なくとも3点と接する形状であればどのようなものであってもよい。カーソルがマークの像の円周の少なくとも3点と接する形状であれば、ユーザはカーソルをマークの像の位置に正確に合わせることができる。例えば、カーソルは、図19に示すようにマークの像70の円周に3点で内接する三角形のカーソルC1や、図20に示すようにマークの像70の円周に4点で内接する四角形のカーソルC2などであってもよい。また、カーソルは、図21に示すようにマークの像70の円周に外接するカーソルC3であってもよい。
In the above-described embodiment, the cursor for designating the position of the mark image has been described as a cross shape, but the cursor is not limited to this. The cursor may have any shape as long as it is in contact with at least three points on the circumference of the substantially perfect circle image of the mark. If the cursor is in contact with at least three points on the circumference of the mark image, the user can accurately align the cursor with the position of the mark image. For example, the cursor is a triangular cursor C1 that is inscribed at three points around the circumference of the
また、上記実施の形態では、第1標識体及び第2標識体は板状体であるとしていたが、紙や布などであってもよい。また、マークを作業場の床面に形成し、作業場の床面自体が標識体として機能してもよい。 Moreover, in the said embodiment, although the 1st marker and the 2nd marker were plate-shaped bodies, paper, cloth, etc. may be sufficient. Further, a mark may be formed on the floor surface of the work place, and the floor surface of the work place itself may function as a marker.
また、上記実施の形態では、確認用マークLmは棒状であったが、所定の形状であれば棒状でなくてもよい。この場合、確認用マークの形状に合わせて、確認用マークの像が含まれるべき位置を示す指標である基準枠の形状を規定すればよい。 In the above embodiment, the confirmation mark Lm has a rod shape, but may not have a rod shape as long as it has a predetermined shape. In this case, the shape of the reference frame that is an index indicating the position where the image of the confirmation mark should be included may be defined in accordance with the shape of the confirmation mark.
また、上記実施の形態では、プログラムに従ったCPUの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。 Further, in the above-described embodiment, it has been described that various functions are realized in software by the arithmetic processing of the CPU according to the program. However, some of these functions are realized by an electrical hardware circuit. Also good. Conversely, some of the functions realized by the hardware circuit may be realized by software.
2 車載装置
5 カメラ
9 車両
10 キャリブレーションシステム
21b キャリブレーション部
23 画像合成部
24a 設置パラメータ
31〜34 第1標識体
41〜43 第2標識体
2 On-
Claims (7)
前記車両の外部に配置される第1標識体と、
前記第1標識体を前記カメラで撮影して得られた画像に基づいて、前記カメラの設置に関する設置パラメータを取得するパラメータ取得装置と、
を備え、
前記第1標識体は、前記画像中において略真円の像として表れる略楕円のマーク、を含み、
前記パラメータ取得装置は、
前記マークの略真円の像を含む前記画像を表示する表示手段と、
前記表示手段が前記画像を表示中にユーザが指定する該画像における前記マークの像の位置に基づいて、前記設置パラメータを導出する導出手段と、
を備え、
前記マークの像の位置を前記ユーザが指定するために用いるカーソルは、前記マークの像の円周の少なくとも3点と接する形状であることを特徴とするキャリブレーションシステム。 A calibration system for a camera mounted on a vehicle,
A first marker disposed outside the vehicle;
A parameter acquisition device for acquiring an installation parameter related to the installation of the camera based on an image obtained by photographing the first marker with the camera;
With
The first marker includes a substantially elliptical mark that appears as a substantially perfect circle image in the image,
The parameter acquisition device includes:
Display means for displaying the image including an image of a substantially perfect circle of the mark;
Deriving means for deriving the installation parameter based on the position of the image of the mark in the image specified by the user while the display means is displaying the image;
Bei to give a,
A calibration system , wherein a cursor used for designating a position of the mark image by the user has a shape in contact with at least three points on the circumference of the mark image .
前記車両は、互いに異なる位置に配置された複数の前記カメラ、を有し、
前記導出手段は、前記複数のカメラで得られた複数の画像に基づいて、前記複数のカメラそれぞれの前記設置パラメータを導出することを特徴とするキャリブレーションシステム。 The calibration system according to claim 1,
The vehicle has a plurality of the cameras arranged at different positions,
The derivation means derives the installation parameters of each of the plurality of cameras based on a plurality of images obtained by the plurality of cameras .
前記第1標識体は、前記略楕円のマークとして、
第1マークと、
前記第1マークを内包する第2マークと、を含み、
前記導出手段は、
前記複数のカメラのうちの一の第1カメラで得られた前記画像中の前記第1マークの略真円の像の位置に基づいて、前記第1カメラの前記設置パラメータを導出し、
前記複数のカメラのうちの他の一の第2カメラで得られた前記画像中の前記第2マークの略真円の像の位置に基づいて、前記第2カメラの前記設置パラメータを導出することを特徴とするキャリブレーションシステム。 The calibration system according to claim 2 ,
The first marker is the substantially elliptical mark,
The first mark,
A second mark containing the first mark,
The derivation means includes
Deriving the installation parameters of the first camera based on the position of the substantially perfect circle image of the first mark in the image obtained by the first camera of the plurality of cameras;
Deriving the installation parameter of the second camera based on a position of a substantially perfect circle image of the second mark in the image obtained by another second camera of the plurality of cameras. A calibration system characterized by
前記パラメータ取得装置は、
前記複数のカメラで得られた複数の画像と前記複数のカメラそれぞれの前記設置パラメータとを用いて、仮想視点からみた前記車両の周辺の様子を示す合成画像を生成する生成手段、
をさらに備えることを特徴とするキャリブレーションシステム。 The calibration system according to claim 2 or 3 ,
The parameter acquisition device includes:
Generating means for generating a composite image showing a state of the periphery of the vehicle as viewed from a virtual viewpoint, using a plurality of images obtained by the plurality of cameras and the installation parameters of each of the plurality of cameras;
A calibration system , further comprising:
前記複数の画像を取得する際に前記車両の外部に配置され、所定形状の第3マークを示す第2標識体、
をさらに備え、
前記パラメータ取得装置は、
前記複数の画像を用いて生成した前記合成画像に、前記第3マークの像が含まれるべき位置を示す指標を重畳する重畳手段、
をさらに備え、
前記表示手段は、前記第3マークの像と前記指標とを含む前記合成画像を表示することを特徴とするキャリブレーションシステム。 The calibration system according to claim 4 ,
A second marker which is arranged outside the vehicle when acquiring the plurality of images and indicates a third mark having a predetermined shape;
Further comprising
The parameter acquisition device includes:
A superimposing unit that superimposes an index indicating a position where the image of the third mark should be included on the composite image generated using the plurality of images;
Further comprising
The calibration system , wherein the display unit displays the composite image including the image of the third mark and the index .
前記標識体は、前記画像中において略真円の像として表れる略楕円のマーク、を含み、The marker includes a substantially elliptical mark that appears as a substantially perfect circle image in the image,
前記パラメータ取得装置は、The parameter acquisition device includes:
前記マークの略真円の像を含む前記画像を表示する表示手段と、Display means for displaying the image including an image of a substantially perfect circle of the mark;
前記表示手段が前記画像を表示中にユーザが指定する該画像における前記マークの像の位置に基づいて、前記設置パラメータを導出する導出手段と、Deriving means for deriving the installation parameter based on the position of the image of the mark in the image specified by the user while the display means is displaying the image;
を備え、With
前記マークの像の位置を前記ユーザが指定するために用いるカーソルは、前記マークの像の円周の少なくとも3点と接する形状であることを特徴とするパラメータ取得装置。The parameter acquisition apparatus, wherein a cursor used for designating a position of the mark image by the user has a shape in contact with at least three points on the circumference of the mark image.
(a)前記カメラが取得する画像中において略真円の像として表れる略楕円のマークを前記カメラで撮影する工程と、(A) photographing a substantially elliptical mark that appears as a substantially perfect circle image in an image acquired by the camera with the camera;
(b)前記工程(a)で得られた前記マークの略真円の像を含む画像を表示する工程と、(B) displaying an image including an image of a substantially perfect circle of the mark obtained in the step (a);
(c)前記工程(b)において前記画像を表示中にユーザが指定する該画像における前記マークの像の位置に基づいて、前記設置パラメータを導出する工程と、(C) deriving the installation parameter based on the position of the image of the mark in the image specified by the user while displaying the image in the step (b);
を備え、With
前記マークの像の位置を前記ユーザが指定するために用いるカーソルは、前記マークの像の円周の少なくとも3点と接する形状であることを特徴とするパラメータ取得方法。The parameter acquisition method, wherein a cursor used for designating a position of the mark image by the user has a shape in contact with at least three points on the circumference of the mark image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011225555A JP5827095B2 (en) | 2011-10-13 | 2011-10-13 | Calibration system, parameter acquisition apparatus, marker, and parameter acquisition method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011225555A JP5827095B2 (en) | 2011-10-13 | 2011-10-13 | Calibration system, parameter acquisition apparatus, marker, and parameter acquisition method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013089984A JP2013089984A (en) | 2013-05-13 |
JP5827095B2 true JP5827095B2 (en) | 2015-12-02 |
Family
ID=48533526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011225555A Expired - Fee Related JP5827095B2 (en) | 2011-10-13 | 2011-10-13 | Calibration system, parameter acquisition apparatus, marker, and parameter acquisition method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5827095B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6337269B2 (en) * | 2014-04-09 | 2018-06-06 | パナソニックIpマネジメント株式会社 | Vehicle evaluation device |
JP6458439B2 (en) * | 2014-10-09 | 2019-01-30 | 株式会社デンソー | On-vehicle camera calibration device, image generation device, on-vehicle camera calibration method, and image generation method |
JP6211157B1 (en) | 2016-09-01 | 2017-10-11 | 三菱電機株式会社 | Calibration apparatus and calibration method |
WO2019038901A1 (en) * | 2017-08-25 | 2019-02-28 | 株式会社ソシオネクスト | Correction device, correction program, and recording medium |
-
2011
- 2011-10-13 JP JP2011225555A patent/JP5827095B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013089984A (en) | 2013-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8947533B2 (en) | Parameter determining device, parameter determining system, parameter determining method, and recording medium | |
US9931982B2 (en) | Image generating apparatus, image displaying system, parameter acquiring apparatus, image generating method and parameter acquiring method | |
JP5491235B2 (en) | Camera calibration device | |
JP5316805B2 (en) | In-vehicle camera device image adjustment device and in-vehicle camera device | |
JP5353596B2 (en) | Projection display device and keystone correction method | |
KR101265667B1 (en) | Device for 3d image composition for visualizing image of vehicle around and method therefor | |
JP4758481B2 (en) | VEHICLE IMAGE PROCESSING DEVICE AND VEHICLE IMAGE PROCESSING PROGRAM | |
JP4975592B2 (en) | Imaging device | |
JP5077307B2 (en) | Vehicle surrounding image display control device | |
JP2017188744A (en) | Vehicle periphery monitoring device | |
JP6223685B2 (en) | Image processing apparatus and image processing method | |
JP5959311B2 (en) | Data deriving apparatus and data deriving method | |
WO2015045329A1 (en) | Vehicle periphery image display device, and camera adjustment method | |
JP2010103730A (en) | Calibration device and calibration method of car-mounted camera | |
CN112135120B (en) | Virtual image information measuring method and system based on head-up display system | |
JP6151535B2 (en) | Parameter acquisition apparatus, parameter acquisition method and program | |
JP5827095B2 (en) | Calibration system, parameter acquisition apparatus, marker, and parameter acquisition method | |
JP2009267602A (en) | Vehicle periphery monitoring apparatus, and setting correcting method of camera installing position and posture information which is applicable thereto | |
JP2013137698A (en) | Overhead view image presentation device | |
JP2009083744A (en) | Synthetic image adjustment device | |
JP2013207622A (en) | Calibration device and calibration method | |
JP2013062692A (en) | Calibration device and method for on-vehicle camera | |
JP2018113622A (en) | Image processing apparatus, image processing system, and image processing method | |
JP5473742B2 (en) | Calibration method | |
JP2022532867A (en) | A method for generating an image of the peripheral part of the vehicle and a device for generating an image of the peripheral part of the vehicle. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140709 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150424 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150929 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151015 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5827095 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |