JP5844454B2 - Camera calibration method, camera calibration program, and camera calibration apparatus - Google Patents

Camera calibration method, camera calibration program, and camera calibration apparatus Download PDF

Info

Publication number
JP5844454B2
JP5844454B2 JP2014507044A JP2014507044A JP5844454B2 JP 5844454 B2 JP5844454 B2 JP 5844454B2 JP 2014507044 A JP2014507044 A JP 2014507044A JP 2014507044 A JP2014507044 A JP 2014507044A JP 5844454 B2 JP5844454 B2 JP 5844454B2
Authority
JP
Japan
Prior art keywords
camera
image
designated
storage unit
angle value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014507044A
Other languages
Japanese (ja)
Other versions
JPWO2013145072A1 (en
Inventor
吉田　光伸
光伸 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2013145072A1 publication Critical patent/JPWO2013145072A1/en
Application granted granted Critical
Publication of JP5844454B2 publication Critical patent/JP5844454B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Description

本発明は、例えば、モービルマッピングシステム（ＭＭＳ）のカメラの姿勢角値をキャリブレーションするためのカメラキャリブレーション方法、カメラキャリブレーションプログラムおよびカメラキャリブレーション装置に関するものである。   The present invention relates to, for example, a camera calibration method, a camera calibration program, and a camera calibration device for calibrating a posture angle value of a camera of a mobile mapping system (MMS).

レーザスキャナ、カメラ、測位装置などの計測機器を取り付けた計測車両で道路を走行し、計測車両を走行させて取得したデータに基づいて道路および道路周辺を測量し、また三次元地図を生成するモービルマッピングシステム（ＭＭＳ）がある（例えば、特許文献１から３参照）。   A mobile that runs on a road with a measuring vehicle equipped with measuring equipment such as a laser scanner, camera, and positioning device, surveys the road and surroundings based on data acquired by running the measuring vehicle, and generates a three-dimensional map There is a mapping system (MMS) (see, for example, Patent Documents 1 to 3).

モービルマッピングシステムにおいて、道路および道路周辺の測量や三次元地図の生成を高い精度に行うためには、レーザスキャナやカメラを取り付けた位置および姿勢角を高い精度で計測する必要がある。
そこで、レーザスキャナやカメラの取り付け位置および姿勢角を容易に高い精度で算出する方法が提案されている（特許文献４参照）。In a mobile mapping system, in order to perform surveying of roads and surroundings of roads and generation of three-dimensional maps with high accuracy, it is necessary to measure the position and posture angle with a laser scanner and camera attached with high accuracy.
In view of this, a method for easily calculating the mounting position and posture angle of a laser scanner or camera with high accuracy has been proposed (see Patent Document 4).

国際公開２００８／０９９９１５号パンフレットInternational Publication 2008/099915 Pamphlet 国際公開２０１０／０２４２１２号パンフレットInternational Publication No. 2010/024212 Pamphlet 特開２００９−０５３０５９号公報JP 2009-053059 A 特開２０１０−１７５４２３号公報JP 2010-175423 A

本発明は、例えば、カメラの姿勢角値をより高い精度で容易に算出できるようにすることを目的とする。   An object of the present invention is, for example, to be able to easily calculate a posture angle value of a camera with higher accuracy.

本発明のカメラキャリブレーション方法は、
カメラ姿勢角値記憶部と画像記憶部とカメラ座標値記憶部と点群データ記憶部と指定点入力部と指定点算出部と参照画像表示部とカメラ姿勢角値修正部とを備えるカメラキャリブレーション装置を用いて実行する。
前記カメラキャリブレーション方法において、
前記カメラ姿勢角値記憶部は、移動体に取り付けられたカメラの取り付け角度を示すカメラ姿勢角値を記憶する記憶部であり、
前記画像記憶部は、前記移動体に取り付けられた前記カメラによって、直線が記された地面を撮像して得られる第一画像と、前記移動体が前記第一画像の撮像時とは異なる位置にいるときに前記カメラによって前記地面を撮像して得られる第二画像とを記憶する記憶部であり、
前記カメラ座標値記憶部は、前記第一画像の撮像時の前記カメラの座標値を示す第一のカメラ座標値と、前記第二画像の撮像時の前記カメラの座標値を示す第二のカメラ座標値とを記憶する記憶部であり、
前記点群データ記憶部は、前記地面の複数地点を示す複数の座標値を含むデータとして点群データを記憶する記憶部である。
前記カメラキャリブレーション方法において、
前記指定点入力部が、前記第一画像を表示し、表示した前記第一画像内の前記直線に沿って指定される前記第一画像内の複数点を複数の指定点として利用者から入力し、
前記指定点算出部が、前記第一のカメラ座標値と前記カメラ姿勢角値と前記点群データに含まれる前記複数の座標値とに基づいて前記地面の前記複数地点を示す点群を前記第一画像に投影し、前記第一画像に投影した前記点群に基づいて前記複数の指定点それぞれの座標値を算出し、
前記参照画像表示部が、前記指定点算出部によって算出された前記複数の指定点それぞれの座標値と前記第二のカメラ座標値と前記カメラ姿勢角値とに基づいて前記複数の指定点を前記第二画像に投影し、前記複数の指定点を投影した前記第二画像を参照画像として表示し、
前記カメラ姿勢角値修正部が、前記カメラ姿勢角値記憶部に記憶された前記カメラ姿勢角値を修正するために指定される姿勢角値修正情報を利用者から入力し、前記姿勢角値修正情報に基づいて前記カメラ姿勢角値記憶部に記憶された前記カメラ姿勢角値を修正する。 The camera calibration method of the present invention
Camera calibration including a camera attitude angle value storage unit, an image storage unit, a camera coordinate value storage unit, a point cloud data storage unit, a specified point input unit, a specified point calculation unit, a reference image display unit, and a camera attitude angle value correction unit Run using the device.
In the camera calibration method,
The camera posture angle value storage unit is a storage unit that stores a camera posture angle value indicating an attachment angle of a camera attached to a moving body,
The image storage unit has a first image obtained by imaging the ground with a straight line by the camera attached to the moving body, and the moving body is at a position different from that at the time of capturing the first image. A storage unit that stores a second image obtained by imaging the ground with the camera when
The camera coordinate value storage unit includes a first camera coordinate value indicating a coordinate value of the camera at the time of capturing the first image and a second camera indicating a coordinate value of the camera at the time of capturing the second image. A storage unit for storing coordinate values;
The point cloud data storage unit is a storage unit that stores point cloud data as data including a plurality of coordinate values indicating a plurality of points on the ground.
In the camera calibration method,
The designated point input unit displays the first image, and inputs a plurality of points in the first image designated along the straight line in the displayed first image as a plurality of designated points from a user. ,
The designated point calculation unit calculates a point group indicating the plurality of points on the ground based on the first camera coordinate value, the camera attitude angle value, and the plurality of coordinate values included in the point group data. Projecting on one image, calculating the coordinate value of each of the plurality of designated points based on the point group projected on the first image,
The reference image display unit determines the plurality of designated points based on the coordinate values, the second camera coordinate values, and the camera attitude angle values of the plurality of designated points calculated by the designated point calculation unit. Projecting to a second image, displaying the second image projected the plurality of designated points as a reference image,
The camera posture angle value correction unit inputs posture angle value correction information specified to correct the camera posture angle value stored in the camera posture angle value storage unit from the user, and the posture angle value correction Based on the information, the camera posture angle value stored in the camera posture angle value storage unit is corrected.

本発明によれば、例えば、カメラの姿勢角値をより高い精度で容易に算出することができる。   According to the present invention, for example, the posture angle value of a camera can be easily calculated with higher accuracy.

実施の形態１におけるモービルマッピングシステムの計測車両１００を示す外観図。1 is an external view showing a measurement vehicle 100 of a mobile mapping system in Embodiment 1. FIG. 実施の形態１におけるキャリブレーション装置２００を示す機能構成図。FIG. 2 is a functional configuration diagram illustrating a calibration apparatus 200 according to the first embodiment. 実施の形態１におけるキャリブレーション装置２００のキャリブレーション方法の概要を示す図。FIG. 3 is a diagram showing an outline of a calibration method of the calibration apparatus 200 in the first embodiment. 実施の形態１におけるキャリブレーション装置２００のキャリブレーション方法の概要を示す図。FIG. 3 is a diagram showing an outline of a calibration method of the calibration apparatus 200 in the first embodiment. 実施の形態１におけるキャリブレーション装置２００のキャリブレーション方法の概要を示す図。FIG. 3 is a diagram showing an outline of a calibration method of the calibration apparatus 200 in the first embodiment. 実施の形態１におけるキャリブレーション装置２００のキャリブレーション方法を示すフローチャート。5 is a flowchart showing a calibration method of the calibration apparatus 200 in the first embodiment. 実施の形態１における指定線入力処理（Ｓ１１０）の概要図。FIG. 3 is a schematic diagram of a designated line input process (S110) in the first embodiment. 実施の形態１における点群の投影処理を示す概要図。FIG. 3 is a schematic diagram showing point cloud projection processing in the first embodiment. 実施の形態１における第一の路面画像２９１ａに投影した点群を表す図。The figure showing the point group projected on the 1st road surface image 291a in Embodiment 1. FIG. 実施の形態１における参照画像３２１（ロール角のずれ）の一例を示す図。FIG. 6 shows an example of a reference image 321 (roll angle shift) in the first embodiment. 実施の形態１における参照画像３２１（ロール角のずれ）の一例を示す図。FIG. 6 shows an example of a reference image 321 (roll angle shift) in the first embodiment. 実施の形態１における参照画像３２１（ピッチ角のずれ）の一例を示す図。FIG. 6 shows an example of a reference image 321 (pitch angle deviation) in the first embodiment. 実施の形態１における参照画像３２１（ピッチ角のずれ）の一例を示す図。FIG. 6 shows an example of a reference image 321 (pitch angle deviation) in the first embodiment. 実施の形態１における参照画像３２１（ヨー角のずれ）の一例を示す図。FIG. 6 shows an example of a reference image 321 (a yaw angle shift) in the first embodiment. 実施の形態１における参照画像３２１（ヨー角のずれ）の一例を示す図。FIG. 6 shows an example of a reference image 321 (a yaw angle shift) in the first embodiment. 実施の形態１におけるカメラ１１１Ａの姿勢角値の修正条件の一例を示す表。6 is a table showing an example of correction conditions for posture angle values of the camera 111A in the first embodiment. 実施の形態１におけるキャリブレーション装置２００のハードウェア資源の一例を示す図。FIG. 3 is a diagram illustrating an example of hardware resources of the calibration apparatus 200 according to the first embodiment.

実施の形態１．
モービルマッピングシステム（ＭＭＳ）の計測車両に取り付けたカメラの姿勢角値をキャリブレーション（算出、修正または調整）する方法について説明する。
但し、実施の形態１で説明する方法は、モービルマッピングシステムの計測車両以外の車両に取り付けられたカメラの姿勢角値をキャリブレーションするために用いても構わない。Embodiment 1 FIG.
A method for calibrating (calculating, correcting or adjusting) the attitude angle value of a camera attached to a measurement vehicle of a mobile mapping system (MMS) will be described.
However, the method described in the first embodiment may be used to calibrate the attitude angle value of a camera attached to a vehicle other than the measurement vehicle of the mobile mapping system.

モービルマッピングシステムとは、レーザスキャナ、カメラ、測位装置などの計測機器を取り付けた計測車両で道路を走行し、計測車両を走行させて取得したデータに基づいて道路および道路周辺を測量し、また三次元地図を生成するシステムである（例えば、特許文献１から３参照）。   A mobile mapping system is a vehicle that travels on a road with a measuring vehicle equipped with measuring devices such as a laser scanner, camera, and positioning device, and measures the road and surroundings based on data acquired by driving the measuring vehicle. This is a system for generating an original map (see, for example, Patent Documents 1 to 3).

図１は、実施の形態１におけるモービルマッピングシステムの計測車両１００を示す外観図である。
実施の形態１におけるモービルマッピングシステムの計測車両１００について、図１に基づいて説明する。FIG. 1 is an external view showing a measurement vehicle 100 of the mobile mapping system in the first embodiment.
A measurement vehicle 100 of the mobile mapping system in the first embodiment will be described with reference to FIG.

計測車両１００（移動体の一例）は、計測ユニット１１０やオドメータ１２０を装備した車両（台車）である。
計測ユニット１１０は計測車両１００の天板の上に設置され、オドメータ１２０は計測車両１００の車軸に設置されている。The measurement vehicle 100 (an example of a moving body) is a vehicle (cart) equipped with a measurement unit 110 and an odometer 120.
The measurement unit 110 is installed on the top plate of the measurement vehicle 100, and the odometer 120 is installed on the axle of the measurement vehicle 100.

計測ユニット１１０は、６台のカメラ１１１Ａ−Ｆと、４台のレーザスキャナ１１２Ａ−Ｄと、３台のＧＰＳ受信機１１３Ａ−Ｃ（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）と、１台のＩＭＵ１１４（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）とを計測機器として備える。
但し、計測ユニット１１０は、図１と異なる台数の計測機器を異なる配置で備えてもよい。The measurement unit 110 includes six cameras 111A-F, four laser scanners 112A-D, three GPS receivers 113A-C (GPS: Global Positioning System), and one IMU 114 (Internal Measurement Unit). ) As a measuring instrument.
However, the measurement unit 110 may include a different number of measurement devices from those in FIG.

カメラ１１１Ａ−Ｆは、計測車両１００の周囲を撮像する装置である。
カメラ１１１Ａは計測車両１００の右前方を撮像し、カメラ１１１Ｂは計測車両１００の左前方を撮像する。
カメラ１１１Ｃは計測車両１００の右側方を撮像し、カメラ１１１Ｄは計測車両１００の左側方を撮像する。
カメラ１１１Ｅは計測車両１００の右後方を撮像し、カメラ１１１Ｆは計測車両１００の左後方を撮像する。The cameras 111A-F are devices that capture an image of the periphery of the measurement vehicle 100.
The camera 111A images the right front of the measurement vehicle 100, and the camera 111B images the left front of the measurement vehicle 100.
The camera 111C images the right side of the measuring vehicle 100, and the camera 111D images the left side of the measuring vehicle 100.
The camera 111E images the right rear of the measurement vehicle 100, and the camera 111F images the left rear of the measurement vehicle 100.

レーザスキャナ１１２Ａ−Ｄはレーザ光を照射し、レーザ光を照射した地点（計測地点）までの距離および方位を計測する装置である。
レーザスキャナ１１２Ａは計測車両１００の前側下方を計測し、レーザスキャナ１１２Ｂは計測車両１００の後ろ側上方を計測する。
レーザスキャナ１１２Ｃは計測車両１００の前側上方を計測し、レーザスキャナ１１２Ｄは計測車両１００の後ろ側下方を計測する。The laser scanners 112A-D are apparatuses that irradiate laser light and measure the distance and direction to the point (measurement point) where the laser light is irradiated.
The laser scanner 112 </ b> A measures the front lower side of the measurement vehicle 100, and the laser scanner 112 </ b> B measures the rear upper side of the measurement vehicle 100.
The laser scanner 112 </ b> C measures the upper front side of the measurement vehicle 100, and the laser scanner 112 </ b> D measures the lower rear side of the measurement vehicle 100.

ＧＰＳ受信機１１３Ａ−Ｃは、測位衛星から測位信号を受信するアンテナおよび受信結果に基づいて測位する装置である。
但し、ＧＰＳは測位システム（ＧＮＳＳ：Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍｓ）の一例である。ＧＰＳ受信機１１３Ａ−Ｃは、ＧＰＳ以外の測位システム（ＧＬＯＮＡＳＳ：Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ、Ｇａｌｉｌｅｏ、準天頂衛星システムなど）を利用する受信機であっても構わない。The GPS receivers 113A-C are devices that perform positioning based on an antenna that receives a positioning signal from a positioning satellite and a reception result.
However, GPS is an example of a positioning system (GNSS: Global Navigation Satellite Systems). The GPS receivers 113A-C may be receivers that use positioning systems other than GPS (such as GLONASS: Global Navigation Satellite System, Galileo, and Quasi-Zenith Satellite System).

ＩＭＵ１１４は、３軸方向（Ｘ，Ｙ，Ｚ）の角速度を計測する装置（ジャイロセンサおよび加速度センサ）である。   The IMU 114 is a device (gyro sensor and acceleration sensor) that measures angular velocities in three axial directions (X, Y, Z).

オドメータ１２０は、計測車両１００の走行速度を計測する装置である。   The odometer 120 is a device that measures the traveling speed of the measurement vehicle 100.

図１において、Ｘ軸は計測車両１００の進行方向を表し、Ｙ軸は計測車両１００の高さ方向を表し、Ｚ軸は計測車両１００の幅方向を表す。
また、「φ」はＸ軸回りの回転角（ロール角）を表し、「θ」はＹ軸回りの回転角（ヨー角または方位角）を表し、「ψ」はＺ軸周りの回転角（ピッチ角または仰角）を表している。
「Ｏ」は計測車両１００の座標軸の原点を表す。つまり、計測車両１００の座標値は原点Ｏの座標値を意味する。In FIG. 1, the X axis represents the traveling direction of the measurement vehicle 100, the Y axis represents the height direction of the measurement vehicle 100, and the Z axis represents the width direction of the measurement vehicle 100.
Further, “φ” represents a rotation angle (roll angle) around the X axis, “θ” represents a rotation angle (yaw angle or azimuth angle) around the Y axis, and “ψ” represents a rotation angle around the Z axis ( Pitch angle or elevation angle).
“O” represents the origin of the coordinate axis of the measurement vehicle 100. That is, the coordinate value of the measurement vehicle 100 means the coordinate value of the origin O.

カメラ１１１Ａ−Ｆの姿勢角値（ロール角、ヨー角、ピッチ角）は、道路および道路周辺を測量し、また三次元地図を生成するためにマッピング装置に設定される。
マッピング装置に設定するカメラ１１１Ａ−Ｆの姿勢角値をキャリブレーションする場合、直線が記された路面（地面）を計測車両１００で走行し、計測ユニット１１０に備わる各計測機器によってデータを収集する。
以降で説明するキャリブレーション装置は、計測ユニット１１０の各計測機器によって収集されるデータを用いて、カメラ１１１Ａ−Ｆの姿勢角値をキャリブレーションする。The posture angle values (roll angle, yaw angle, pitch angle) of the cameras 111A-F are set in the mapping device in order to survey the road and the road periphery and generate a three-dimensional map.
When calibrating the posture angle values of the cameras 111A-F set in the mapping device, the vehicle 100 travels on the road surface (ground) on which a straight line is written, and data is collected by each measurement device provided in the measurement unit 110.
The calibration apparatus described below calibrates the posture angle value of the cameras 111A-F using data collected by each measurement device of the measurement unit 110.

図２は、実施の形態１におけるキャリブレーション装置２００を示す機能構成図である。
実施の形態１におけるキャリブレーション装置２００の機能構成について、図２に基づいて説明する。FIG. 2 is a functional configuration diagram illustrating the calibration apparatus 200 according to the first embodiment.
A functional configuration of the calibration apparatus 200 according to the first embodiment will be described with reference to FIG.

キャリブレーション装置２００（カメラキャリブレーション装置の一例）は、計測車両１００（図１参照）に搭載しても構わない。   The calibration device 200 (an example of a camera calibration device) may be mounted on the measurement vehicle 100 (see FIG. 1).

キャリブレーション装置２００は、指定線入力部２１０、指定線算出部２２０、参照画像表示部２３０、カメラ姿勢角値修正部２４０およびキャリブレーション記憶部２９０を備える。   The calibration device 200 includes a designated line input unit 210, a designated line calculation unit 220, a reference image display unit 230, a camera posture angle value correction unit 240, and a calibration storage unit 290.

キャリブレーション記憶部２９０（カメラ姿勢角値記憶部、画像記憶部、カメラ座標値記憶部、点群データ記憶部の一例）は、キャリブレーション装置２００で使用するデータを記憶する。
例えば、キャリブレーション記憶部２９０は、複数の路面画像２９１、カメラ座標値データ２９２、三次元点群データ２９３およびカメラ姿勢角値データ２９９を記憶する。The calibration storage unit 290 (an example of a camera posture angle value storage unit, an image storage unit, a camera coordinate value storage unit, and a point cloud data storage unit) stores data used by the calibration device 200.
For example, the calibration storage unit 290 stores a plurality of road surface images 291, camera coordinate value data 292, three-dimensional point group data 293, and camera attitude angle value data 299.

複数の路面画像２９１（第一画像、第二画像の一例）は、計測車両１００が異なる位置にいるときにカメラ１１１Ａ−Ｆによって撮像して得られたデータであり、直線が記された道路（地面）を映している。
カメラ１１１Ａによって得られた複数の路面画像２９１は、撮像時刻と共にキャリブレーション記憶部２９０に記憶する。同様に、カメラ１１１Ｂ−Ｆそれぞれによって得られた複数の路面画像２９１も撮像時刻と共にキャリブレーション記憶部２９０に記憶する。A plurality of road surface images 291 (an example of a first image and a second image) are data obtained by imaging with the cameras 111A-F when the measurement vehicle 100 is at different positions, and roads with straight lines ( The ground).
A plurality of road surface images 291 obtained by the camera 111A are stored in the calibration storage unit 290 together with the imaging time. Similarly, a plurality of road surface images 291 obtained by the respective cameras 111B-F are also stored in the calibration storage unit 290 together with the imaging time.

カメラ座標値データ２９２（第一のカメラ座標値、第二のカメラ座標値の一例）は、複数の路面画像２９１が撮像されたときのカメラ１１１Ａ−Ｆの三次元座標値を含んだデータである。カメラ１１１Ａ−Ｆの三次元座標値は時刻に対応付けてカメラ座標値データ２９２に設定されている。
カメラ１１１Ａ−Ｆの三次元座標値は、計測車両１００の三次元座標値（座標原点の座標値）に座標原点からカメラ１１１Ａ−Ｆの取り付け位置までの三次元ベクトル（距離）を加算して得られる値である。例えば、計測車両１００の三次元座標値は、ＧＰＳ受信機１１３の測位結果およびＩＭＵ１１４またはオドメータ１２０の計測データを用いた慣性航法（ストラップダウン演算、デッドレコニング演算）によって得られる。
カメラ１１１Ａ−Ｆの取り付け位置（ｘｃａｍ，ｙｃａｍ，ｚｃａｍ）は、特許文献４に開示されている方法によって高い精度で容易に算出することができる。
カメラ座標値データ２９２は予め生成されてキャリブレーション記憶部２９０に記憶してあるものとする。The camera coordinate value data 292 (an example of the first camera coordinate value and the second camera coordinate value) is data including the three-dimensional coordinate values of the cameras 111A-F when a plurality of road surface images 291 are captured. . The three-dimensional coordinate values of the cameras 111A-F are set in the camera coordinate value data 292 in association with the time.
The three-dimensional coordinate value of the camera 111A-F is obtained by adding the three-dimensional vector (distance) from the coordinate origin to the mounting position of the camera 111A-F to the three-dimensional coordinate value (coordinate value of the coordinate origin) of the measuring vehicle 100. Value. For example, the three-dimensional coordinate value of the measurement vehicle 100 is obtained by inertial navigation (strap down calculation, dead reckoning calculation) using the positioning result of the GPS receiver 113 and the measurement data of the IMU 114 or the odometer 120.
The attachment position (x cam , y cam , z cam ) of the camera 111A-F can be easily calculated with high accuracy by the method disclosed in Patent Document 4.
Assume that the camera coordinate value data 292 is generated in advance and stored in the calibration storage unit 290.

三次元点群データ２９３（点群データの一例）は、レーザスキャナ１１２Ａ−Ｄが計測した複数の計測地点（例えば、路面の複数地点）それぞれの三次元座標値を含んだデータである。
各計測地点の三次元座標値は、レーザスキャナ１１２Ａ−Ｄの三次元座標値にレーザスキャナ１１２Ａ−Ｄの計測値（距離および方位）が表す三次元ベクトルを加算して得られる値である。レーザスキャナ１１２Ａ−Ｄの三次元座標値は、カメラ１１１Ａ−Ｆの三次元座標値と同様に、計測車両１００の三次元座標値に座標原点からレーザスキャナ１１２Ａ−Ｄの取り付け位置までの三次元ベクトル（距離）を加算して得られる。
レーザスキャナ１１２Ａ−Ｄの取り付け位置（ｘｌｒｆ，ｙｌｒｆ，ｚｌｒｆ）および取り付け角度（φｌｒｆ，θｌｒｆ，ψｌｒｆ）は、特許文献４に開示されている方法によって高い精度で容易に算出することができる。
三次元点群データ２９３は、予め生成されてキャリブレーション記憶部２９０に記憶してあるものとする。The three-dimensional point group data 293 (an example of point group data) is data including three-dimensional coordinate values of a plurality of measurement points (for example, a plurality of points on the road surface) measured by the laser scanner 112A-D.
The three-dimensional coordinate value of each measurement point is a value obtained by adding the three-dimensional vector represented by the measurement value (distance and azimuth) of the laser scanner 112A-D to the three-dimensional coordinate value of the laser scanner 112A-D. The three-dimensional coordinate value of the laser scanner 112A-D is the same as the three-dimensional coordinate value of the camera 111A-F, and the three-dimensional vector from the coordinate origin to the mounting position of the laser scanner 112A-D is the three-dimensional coordinate value of the measuring vehicle 100. It is obtained by adding (distance).
The mounting position (x lrf , y lrf , z lrf ) and the mounting angle (φ lrf , θ lrf , ψ lrf ) of the laser scanner 112A-D are easily calculated with high accuracy by the method disclosed in Patent Document 4. be able to.
It is assumed that the three-dimensional point group data 293 is generated in advance and stored in the calibration storage unit 290.

カメラ姿勢角値データ２９９は、カメラ１１１Ａ−Ｆそれぞれの取り付け角度（ロール角φｃａｍ，ヨー角θｃａｍ，ピッチ角ψｃａｍ）の値を含んだデータである。以下、取り付け角度の値を「姿勢角値」という（カメラ姿勢角値の一例）。
例えば、カメラ姿勢角値データ２９９には、計測ユニット１１０の設計値（カメラ１１１Ａ−Ｆの取り付け角度）をカメラ１１１Ａ−Ｆの姿勢角値として設定する。但し、カメラ１１１Ａ−Ｆを設計値通りに正確に取り付けることは困難であるため、カメラ姿勢角値データ２９９に設定されたカメラ１１１Ａ−Ｆの姿勢角値はカメラ１１１Ａ−Ｆの実際の姿勢角に対して誤差を含む。カメラ姿勢角値データ２９９に設定されたカメラ１１１Ａ−Ｆの姿勢角値は、キャリブレーション装置２００によって調整される。
カメラ姿勢角値データ２９９は、予め生成されてキャリブレーション記憶部２９０に記憶してあるものとする。但し、カメラ姿勢角値データ２９９が示すカメラ１１１Ａ−Ｆの姿勢角値は正確な値ではなく、誤差を含んでいる。The camera attitude angle value data 299 is data including values of the mounting angles (roll angle φ cam , yaw angle θ cam , pitch angle ψ cam ) of each of the cameras 111A-F. Hereinafter, the value of the attachment angle is referred to as “posture angle value” (an example of a camera posture angle value).
For example, in the camera posture angle value data 299, the design value of the measurement unit 110 (the attachment angle of the cameras 111A-F) is set as the posture angle value of the cameras 111A-F. However, since it is difficult to attach the cameras 111A-F exactly as designed, the posture angle values of the cameras 111A-F set in the camera posture angle value data 299 are the actual posture angles of the cameras 111A-F. In contrast, an error is included. The posture angle values of the cameras 111A-F set in the camera posture angle value data 299 are adjusted by the calibration device 200.
Assume that the camera attitude angle value data 299 is generated in advance and stored in the calibration storage unit 290. However, the posture angle value of the camera 111A-F indicated by the camera posture angle value data 299 is not an accurate value and includes an error.

指定線入力部２１０、指定線算出部２２０、参照画像表示部２３０およびカメラ姿勢角値修正部２４０は、キャリブレーション記憶部２９０に記憶されているデータを用いてカメラ１１１Ａの姿勢角値を以下のように調整する。また、各構成要素は、他のカメラ１１１Ｂ−Ｆの姿勢角値も同様に調整する。   The designated line input unit 210, the designated line calculation unit 220, the reference image display unit 230, and the camera posture angle value correction unit 240 use the data stored in the calibration storage unit 290 to calculate the posture angle value of the camera 111A as follows. Adjust as follows. Each component also adjusts the posture angle values of the other cameras 111B-F in the same manner.

指定線入力部２１０（指定点入力部、指定点取得部の一例）は、カメラ１１１Ａによって得られた第一の路面画像２９１ａを表示し、利用者が路面画像２９１内の直線に沿って指定する直線の情報（複数の指定点の一例）を指定線として入力する。
指定線入力部２１０の処理の詳細については後述する。The designated line input unit 210 (an example of a designated point input unit and a designated point acquisition unit) displays the first road surface image 291a obtained by the camera 111A, and the user designates it along a straight line in the road surface image 291. Straight line information (an example of a plurality of designated points) is input as a designated line.
Details of the processing of the designation line input unit 210 will be described later.

指定線算出部２２０は、第一の路面画像２９１ａが撮像されたときのカメラ１１１Ａの三次元座標値と、カメラ姿勢角値データ２９９が示すカメラ１１１Ａの姿勢角値と、三次元点群データ２９３に含まれる三次元座標値とに基づいて、レーザスキャナ１１２Ａ−Ｄが計測した複数の計測地点を示す点群を第一の路面画像２９１ａに投影する。
指定線算出部２２０は、第一の路面画像２９１ａに投影した点群に基づいて指定線の三次元座標値を算出する。
指定線算出部２２０の処理の詳細については後述する。The designated line calculation unit 220 includes a three-dimensional coordinate value of the camera 111A when the first road surface image 291a is captured, a posture angle value of the camera 111A indicated by the camera posture angle value data 299, and three-dimensional point cloud data 293. A point group indicating a plurality of measurement points measured by the laser scanner 112A-D is projected on the first road image 291a based on the three-dimensional coordinate values included in the first road surface image 291a.
The designated line calculation unit 220 calculates the three-dimensional coordinate value of the designated line based on the point group projected on the first road surface image 291a.
Details of the processing of the designated line calculation unit 220 will be described later.

参照画像表示部２３０（参照画像生成部の一例）は、指定線算出部２２０によって算出された指定線の三次元座標値と、カメラ１１１Ａによって得られた第二の路面画像２９１ｂが撮像されたときのカメラ１１１Ａの三次元座標値と、カメラ姿勢角値データ２９９が示すカメラ１１１Ａの姿勢角値とに基づいて、指定線を第二の路面画像２９１ｂに投影する。
参照画像表示部２３０は、指定線を投影した第二の路面画像２９１ｂを参照画像として表示する。
参照画像表示部２３０の処理の詳細については後述する。When the reference image display unit 230 (an example of the reference image generation unit) captures the three-dimensional coordinate value of the designated line calculated by the designated line calculation unit 220 and the second road surface image 291b obtained by the camera 111A. The designated line is projected onto the second road surface image 291b based on the three-dimensional coordinate value of the camera 111A and the posture angle value of the camera 111A indicated by the camera posture angle value data 299.
The reference image display unit 230 displays the second road surface image 291b on which the designated line is projected as a reference image.
Details of the processing of the reference image display unit 230 will be described later.

カメラ姿勢角値修正部２４０は、利用者がカメラ１１１Ａの姿勢角値を修正するために指定する姿勢角値修正情報を入力する。
カメラ姿勢角値修正部２４０は、姿勢角値修正情報に基づいてカメラ１１１Ａの姿勢角値を修正する。
カメラ姿勢角値修正部２４０の処理の詳細については後述する。The camera posture angle value correction unit 240 inputs posture angle value correction information specified by the user to correct the posture angle value of the camera 111A.
The camera posture angle value correcting unit 240 corrects the posture angle value of the camera 111A based on the posture angle value correction information.
Details of the processing of the camera attitude angle value correction unit 240 will be described later.

図３、図４、図５は、実施の形態１におけるキャリブレーション装置２００のキャリブレーション方法の概要を示す図である。
実施の形態１におけるキャリブレーション装置２００のキャリブレーション方法の概要について、図３から図５に基づいて説明する。3, 4, and 5 are diagrams illustrating an outline of the calibration method of the calibration apparatus 200 according to the first embodiment.
An outline of the calibration method of the calibration apparatus 200 according to the first embodiment will be described with reference to FIGS.

図３において、キャリブレーション装置２００は、横線３０１と縦線３０２とが記された路面を撮像して得られた第一の路面画像２９１ａをディスプレイ９１１（表示装置）に表示する。利用者は、入力装置（キーボード、マウスなど）を用いて第一の路面画像２９１ａの横線３０１および縦線３０２に沿って線（横指定線３０３、縦指定線３０４）を引く。
キャリブレーション装置２００は、カメラ１１１の姿勢角値と第一の路面画像２９１ａを撮像時のカメラ１１１の三次元座標値と三次元点群データ２９３とに基づいて横指定線３０３および縦指定線３０４の三次元座標値（点群）を算出する。
図４または図５において、キャリブレーション装置２００は、計測車両１００が横線３０１および縦線３０２に対して前進または後退したときの画像（第二の路面画像２９１ｂ）をディスプレイ９１１に表示する。また、キャリブレーション装置２００は横指定線３０３および縦指定線３０４の三次元座標値（点群）に基づいて横指定線３０３および縦指定線３０４（後述する複数の参照点３１１）を第二の路面画像２９１ｂに記す。横指定線３０３および縦指定線３０４が横線３０１および縦線３０２からずれている場合（図４）、利用者はキャリブレーション装置２００に対してカメラ１１１の姿勢角値の修正を指示し、キャリブレーション装置２００はカメラ１１１の姿勢角値を修正する。横指定線３０３および縦指定線３０４が横線３０１および縦線３０２からずれていない場合（図５）、カメラ１１１の姿勢角値は正しく調整されている。In FIG. 3, the calibration apparatus 200 displays a first road surface image 291 a obtained by capturing an image of a road surface with horizontal lines 301 and vertical lines 302 displayed on a display 911 (display device). The user draws lines (horizontal designation line 303 and vertical designation line 304) along the horizontal line 301 and vertical line 302 of the first road surface image 291a using an input device (keyboard, mouse, etc.).
The calibration apparatus 200 uses the horizontal designation line 303 and the vertical designation line 304 based on the attitude angle value of the camera 111 and the three-dimensional coordinate value of the camera 111 and the three-dimensional point cloud data 293 when the first road surface image 291a is captured. The three-dimensional coordinate value (point group) of is calculated.
4 or 5, the calibration device 200 displays an image (second road surface image 291 b) when the measurement vehicle 100 moves forward or backward with respect to the horizontal line 301 and the vertical line 302 on the display 911. In addition, the calibration apparatus 200 applies the horizontal designation line 303 and the vertical designation line 304 (a plurality of reference points 311 described later) to the second based on the three-dimensional coordinate values (point group) of the horizontal designation line 303 and the vertical designation line 304. It is described in the road surface image 291b. When the horizontal designation line 303 and the vertical designation line 304 are deviated from the horizontal line 301 and the vertical line 302 (FIG. 4), the user instructs the calibration device 200 to correct the posture angle value of the camera 111 and performs calibration. The apparatus 200 corrects the posture angle value of the camera 111. When the horizontal designation line 303 and the vertical designation line 304 are not deviated from the horizontal line 301 and the vertical line 302 (FIG. 5), the posture angle value of the camera 111 is correctly adjusted.

図６は、実施の形態１におけるキャリブレーション装置２００のキャリブレーション方法を示すフローチャートである。
カメラ姿勢角値データ２９９が示すカメラ１１１Ａの姿勢角値をキャリブレーションするキャリブレーション装置２００のキャリブレーション方法について、図６に基づいて説明する。但し、キャリブレーション装置２００は、他のカメラ１１１Ｂ−Ｆの姿勢角値も同様にキャリブレーションする。FIG. 6 is a flowchart illustrating a calibration method of the calibration apparatus 200 according to the first embodiment.
A calibration method of the calibration apparatus 200 that calibrates the attitude angle value of the camera 111A indicated by the camera attitude angle value data 299 will be described with reference to FIG. However, the calibration apparatus 200 similarly calibrates the attitude angle values of the other cameras 111B-F.

指定線入力処理（Ｓ１１０）において、指定線入力部２１０は、カメラ１１１Ａによって得られた一つの路面画像２９１をキャリブレーション記憶部２９０から取得し、取得した路面画像２９１をディスプレイ９１１に表示する。
以下、Ｓ１１０で表示する一つの路面画像２９１を「第一の路面画像２９１ａ」という。但し、第一の路面画像２９１ａは、直線（例えば、白線）が記された路面を映した画像である。In the designated line input process (S110), the designated line input unit 210 acquires one road surface image 291 obtained by the camera 111A from the calibration storage unit 290, and displays the acquired road surface image 291 on the display 911.
Hereinafter, one road surface image 291 displayed in S110 is referred to as a “first road surface image 291a”. However, the first road surface image 291a is an image showing a road surface with a straight line (for example, a white line).

例えば、指定線入力部２１０は、以下のように第一の路面画像２９１ａを表示する。
（１）キャリブレーション装置２００は計測車両１００に搭載され、指定線入力部２１０はキャリブレーションが実行されるときにカメラ１１１Ａによって最初に得られた路面画像２９１を第一の路面画像２９１ａとしてディスプレイに表示する。
（２）指定線入力部２１０は、カメラ１１１Ａによって得られた複数の路面画像２９１をキャリブレーション記憶部２９０から取得し、取得した複数の路面画像２９１をサムネイルでディスプレイ９１１に表示する。そして、利用者は入力装置を用いて一つの路面画像２９１を選択し、指定線入力部２１０は選択された路面画像２９１を第一の路面画像２９１ａとしてディスプレイ９１１に表示する。
（３）指定線入力部２１０は、カメラ１１１Ａによって得られた複数の路面画像２９１からランダムに一つの路面画像２９１を選択し、選択した路面画像２９１を第一の路面画像２９１ａとしてディスプレイに表示する。For example, the designation line input unit 210 displays the first road surface image 291a as follows.
(1) The calibration device 200 is mounted on the measurement vehicle 100, and the designation line input unit 210 displays on the display the road surface image 291 first obtained by the camera 111A as the first road surface image 291a when calibration is executed. indicate.
(2) The designation line input unit 210 acquires a plurality of road surface images 291 obtained by the camera 111A from the calibration storage unit 290, and displays the acquired plurality of road surface images 291 on the display 911 as thumbnails. Then, the user selects one road surface image 291 by using the input device, and the designation line input unit 210 displays the selected road surface image 291 on the display 911 as the first road surface image 291a.
(3) The designation line input unit 210 randomly selects one road surface image 291 from the plurality of road surface images 291 obtained by the camera 111A, and displays the selected road surface image 291 on the display as the first road surface image 291a. .

図７は、実施の形態１における指定線入力処理（Ｓ１１０）の概要図である。
指定線入力処理（Ｓ１１０）の続きを図７に基づいて説明する。FIG. 7 is a schematic diagram of the designated line input process (S110) in the first embodiment.
The continuation of the designated line input process (S110) will be described with reference to FIG.

第一の路面画像２９１ａは向きが異なる２つの白線（横線３０１、縦線３０２）を含んでいる。横線３０１（第一直線の一例）は画像の縦方向よりも横方向に伸びている白線であり、縦線３０２（第二直線の一例）は画像の横方向よりも縦方向に伸びている白線である。但し、横線３０１および縦線３０２は道路に記された白線以外の直線（例えば、キャリブレーションのために地面に引いた線）であっても構わない。   The first road surface image 291a includes two white lines (horizontal line 301 and vertical line 302) having different directions. A horizontal line 301 (an example of the first straight line) is a white line extending in the horizontal direction from the vertical direction of the image, and a vertical line 302 (an example of the second straight line) is a white line extending in the vertical direction from the horizontal direction of the image. is there. However, the horizontal line 301 and the vertical line 302 may be straight lines other than the white lines marked on the road (for example, lines drawn on the ground for calibration).

利用者は、ディスプレイ９１１に表示された第一の路面画像２９１ａを参照し、第一の路面画像２９１ａに映っている横線３０１に沿って横指定線３０３を入力装置を用いて指定し、第一の路面画像２９１ａに映っている縦線３０２に沿って縦指定線３０４を入力装置を用いて指定する。横指定線３０３は横線３０１に沿って指定する複数点の一例であり、縦指定線３０４は縦線３０２に沿って指定する複数点の一例である。
指定線入力部２１０は、指定された横指定線３０３と縦指定線３０４とを入力装置から入力する。例えば、横指定線３０３および縦指定線３０４は指定された画素の座標値として表される。The user refers to the first road surface image 291a displayed on the display 911, specifies the horizontal designation line 303 using the input device along the horizontal line 301 reflected in the first road surface image 291a, and A vertical designation line 304 is designated using the input device along the vertical line 302 shown in the road surface image 291a. The horizontal designation line 303 is an example of a plurality of points designated along the horizontal line 301, and the vertical designation line 304 is an example of a plurality of points designated along the vertical line 302.
The designation line input unit 210 inputs the designated horizontal designation line 303 and vertical designation line 304 from the input device. For example, the horizontal designation line 303 and the vertical designation line 304 are expressed as coordinate values of designated pixels.

図６に戻り、キャリブレーション方法の説明を続ける。
Ｓ１１０の後、処理はＳ１２０に進む。Returning to FIG. 6, the description of the calibration method will be continued.
After S110, the process proceeds to S120.

指定線算出処理（Ｓ１２０）において、指定線算出部２２０は、カメラ姿勢角値データ２９９からカメラ１１１Ａの姿勢角値を取得し、カメラ座標値データ２９２から第一の路面画像２９１ａの撮像時刻と同じ時刻のカメラ１１１Ａの三次元座標値を取得する。また、指定線算出部２２０は、カメラ１１１Ａの焦点距離ｆをキャリブレーション記憶部２９０から取得する。カメラ１１１Ａの焦点距離ｆはキャリブレーション記憶部２９０に予め記憶しておく。
指定線算出部２２０は、キャリブレーション記憶部２９０から三次元点群データ２９３を取得する。
指定線算出部２２０は、取得したカメラ１１１Ａの姿勢角値と三次元座標値と焦点距離ｆと、取得した三次元点群データ２９３に含まれる複数の三次元座標値とを用いて、レーザスキャナ１１２Ａ−Ｄが計測した複数の計測地点を示す点群を第一の路面画像２９１ａに投影する。In the designated line calculation process (S120), the designated line calculation unit 220 acquires the attitude angle value of the camera 111A from the camera attitude angle value data 299, and is the same as the imaging time of the first road surface image 291a from the camera coordinate value data 292. The three-dimensional coordinate value of the camera 111A at the time is acquired. In addition, the designated line calculation unit 220 acquires the focal length f of the camera 111 </ b> A from the calibration storage unit 290. The focal length f of the camera 111A is stored in advance in the calibration storage unit 290.
The designated line calculation unit 220 acquires the 3D point cloud data 293 from the calibration storage unit 290.
The designated line calculation unit 220 uses the acquired attitude angle value, three-dimensional coordinate value, focal length f of the camera 111A, and a plurality of three-dimensional coordinate values included in the acquired three-dimensional point cloud data 293 to perform laser scanner scanning. A point group indicating a plurality of measurement points measured by 112A-D is projected onto the first road surface image 291a.

図８は、実施の形態１における点群の投影処理を示す概要図である。
第一の路面画像２９１ａに点群を投影する処理について、図８に基づいて説明する。FIG. 8 is a schematic diagram showing point cloud projection processing in the first embodiment.
The process of projecting a point cloud on the first road surface image 291a will be described with reference to FIG.

指定線算出部２２０は、カメラ１１１Ａの三次元座標値が示すカメラ中心点Ｏから焦点距離ｆだけ離れてカメラ１１１Ａの姿勢角値が示す姿勢角ベクトルＶＡと直交する画像平面Ｉを算出する。画像平面Ｉは第一の路面画像２９１ａに相当する平面である。
指定線算出部２２０は、カメラ中心点Ｏから三次元点群データ２９３の三次元座標値が示す計測地点Ｍへの視線ベクトルＶＬを算出し、視線ベクトルＶＬと画像平面Ｉとが交差する点Ｍ’を計測地点Ｍの投影点として算出する。The designated line calculation unit 220 calculates an image plane I that is separated from the camera center point O indicated by the three-dimensional coordinate value of the camera 111A by a focal length f and orthogonal to the attitude angle vector V A indicated by the attitude angle value of the camera 111A. The image plane I is a plane corresponding to the first road surface image 291a.
The designated line calculation unit 220 calculates a line-of-sight vector V L from the camera center point O to the measurement point M indicated by the three-dimensional coordinate value of the three-dimensional point cloud data 293, and the line-of-sight vector V L and the image plane I intersect. The point M ′ is calculated as the projection point of the measurement point M.

投影処理は、路面画像２９１の画素と三次元点群データ２９３の三次元座標値が示す計測地点とを対応付けるための処理である。   The projection process is a process for associating the pixel of the road surface image 291 with the measurement point indicated by the three-dimensional coordinate value of the three-dimensional point group data 293.

点群の投影処理の詳細については、特許文献１（図２４参照）や特許文献３（図１０参照）に開示されている。   Details of the point cloud projection processing are disclosed in Patent Document 1 (see FIG. 24) and Patent Document 3 (see FIG. 10).

図９は、実施の形態１における第一の路面画像２９１ａに投影した点群を表す図である。
但し、指定線算出部２２０は、図９のように第一の路面画像２９１ａに投影した点群を表示してもよいし、表示しなくてもよい。
図６に戻り、指定線算出処理（Ｓ１２０）の説明を続ける。FIG. 9 is a diagram illustrating a point group projected on the first road surface image 291a in the first embodiment.
However, the designated line calculation unit 220 may or may not display the point cloud projected on the first road surface image 291a as shown in FIG.
Returning to FIG. 6, the description of the designated line calculation process (S120) will be continued.

指定線算出部２２０は、第一の路面画像２９１ａに投影した点群の三次元座標値に基づいて横指定線３０３の三次元座標値を算出する。
指定線算出部２２０は、縦指定線３０４の三次元座標値を横指定線３０３の三次元座標値と同様に算出する。The designation line calculation unit 220 calculates the three-dimensional coordinate value of the horizontal designation line 303 based on the three-dimensional coordinate value of the point group projected on the first road surface image 291a.
The designated line calculation unit 220 calculates the three-dimensional coordinate value of the vertical designated line 304 in the same manner as the three-dimensional coordinate value of the horizontal designated line 303.

例えば、指定線算出部２２０は、以下のようにして横指定線３０３の三次元座標値を算出する。
指定線算出部２２０は、横指定線３０３から複数点を選択する。
指定線算出部２２０は、第一の路面画像２９１ａに投影した点群から、横指定線３０３の第一の選択点の近傍に投影された複数の近傍点（例えば、第一の選択点を囲む三つの近傍点）を抽出する。
指定線算出部２２０は、抽出した複数の近傍点の中間点の三次元座標値を横指定線３０３の第一の選択点の三次元座標値として算出する。
指定線算出部２２０は、横指定線３０３の他の選択点についても同様に三次元座標値を算出する。これら選択点の三次元座標値は横指定線３０３の三次元座標値を表す。For example, the designated line calculation unit 220 calculates the three-dimensional coordinate value of the horizontal designated line 303 as follows.
The designated line calculation unit 220 selects a plurality of points from the horizontal designated line 303.
The designated line calculation unit 220 surrounds a plurality of neighboring points (for example, surrounding the first selected point) projected in the vicinity of the first selected point of the horizontal designated line 303 from the point group projected on the first road surface image 291a. Three neighboring points) are extracted.
The designated line calculation unit 220 calculates the three-dimensional coordinate value of the intermediate point of the extracted plurality of neighboring points as the three-dimensional coordinate value of the first selected point of the horizontal designated line 303.
The designated line calculation unit 220 similarly calculates three-dimensional coordinate values for other selected points of the horizontal designated line 303. The three-dimensional coordinate values of these selected points represent the three-dimensional coordinate values of the horizontal designation line 303.

カメラ１１１Ａの姿勢角値に誤差が含まれる場合、カメラ１１１Ａの姿勢角値を用いて第一の路面画像２９１ａに投影した点群は第一の路面画像２９１ａに対して正しい位置に投影されていない。
このため、第一の路面画像２９１ａに投影した点群に基づいて算出した横指定線３０３および縦指定線３０４を他の路面画像２９１に投影した場合、横指定線３０３および縦指定線３０４は他の路面画像２９１に映る横線３０１および縦線３０２からずれた部分に投影される。
Ｓ１２０の後、処理はＳ１３０に進む。When the posture angle value of the camera 111A includes an error, the point cloud projected on the first road surface image 291a using the posture angle value of the camera 111A is not projected at the correct position with respect to the first road surface image 291a. .
For this reason, when the horizontal designation line 303 and the vertical designation line 304 calculated based on the point cloud projected on the first road surface image 291a are projected onto another road surface image 291, the horizontal designation line 303 and the vertical designation line 304 are different from each other. Is projected onto a portion deviated from the horizontal line 301 and the vertical line 302 shown in the road surface image 291.
After S120, the process proceeds to S130.

参照画像表示処理（Ｓ１３０）において、参照画像表示部２３０は、カメラ１１１Ａによって得られた一つの路面画像２９１（但し、第一の路面画像２９１ａを除く）をキャリブレーション記憶部２９０から取得する。
以下、Ｓ１３０で取得する一つの路面画像２９１を「第二の路面画像２９１ｂ」という。但し、第二の路面画像２９１ｂは、第一の路面画像２９１ａに映った直線（横線３０１、縦線３０２）と同じ直線を映した画像である。In the reference image display process (S130), the reference image display unit 230 acquires one road surface image 291 (except for the first road surface image 291a) obtained by the camera 111A from the calibration storage unit 290.
Hereinafter, one road surface image 291 acquired in S130 is referred to as a “second road surface image 291b”. However, the second road surface image 291b is an image showing the same straight line as the straight line (horizontal line 301, vertical line 302) shown in the first road surface image 291a.

例えば、参照画像表示部２３０は、以下のように第二の路面画像２９１ｂを取得する。
（１）キャリブレーション装置２００を搭載した計測車両１００を横線３０１および縦線３０２に対して前進（または後退）させる。そして、参照画像表示部２３０は計測車両１００が横線３０１および縦線３０２に対して前進（または後退）したときにカメラ１１１Ａによって得られた路面画像２９１を第二の路面画像２９１ｂとして取得する。
（２）参照画像表示部２３０は、各路面画像２９１の撮像時刻に基づいて第一の路面画像２９１ａの前（例えば、一つ前）に得られた路面画像２９１または第一の路面画像２９１ａの後（例えば、一つ後）に得られた路面画像２９１を第二の路面画像２９１ｂとして取得する。
（３）Ｓ１１０の（２）と同様に、利用者は路面画像２９１を選択し、参照画像表示部２３０は選択された路面画像２９１を第二の路面画像２９１ｂとして取得する。For example, the reference image display unit 230 acquires the second road surface image 291b as follows.
(1) The measurement vehicle 100 equipped with the calibration device 200 is moved forward (or moved backward) with respect to the horizontal line 301 and the vertical line 302. Then, the reference image display unit 230 acquires a road surface image 291 obtained by the camera 111A as the second road surface image 291b when the measurement vehicle 100 moves forward (or moves backward) with respect to the horizontal line 301 and the vertical line 302.
(2) The reference image display unit 230 includes the road surface image 291 or the first road surface image 291a obtained before (eg, immediately before) the first road surface image 291a based on the imaging time of each road surface image 291. The road surface image 291 obtained later (for example, one after) is acquired as the second road surface image 291b.
(3) Similar to (2) of S110, the user selects the road surface image 291 and the reference image display unit 230 acquires the selected road surface image 291 as the second road surface image 291b.

参照画像表示部２３０は、カメラ姿勢角値データ２９９からカメラ１１１Ａの姿勢角値を取得し、カメラ座標値データ２９２から第二の路面画像２９１ｂの撮像時刻と同じ時刻のカメラ１１１Ａの三次元座標値を取得する。また、参照画像表示部２３０は、カメラ１１１Ａの焦点距離ｆをキャリブレーション記憶部２９０から取得する。
参照画像表示部２３０は、取得したカメラ１１１Ａの姿勢角値と三次元座標値と焦点距離ｆと、Ｓ１２０で複数の参照点３１１として投影された各計測地点の三次元座標値とを用いて、横指定線３０３および縦指定線３０４を第二の路面画像２９１ｂに投影する。横指定線３０３および縦指定線３０４の投影方法はＳ１２０と同様である。
参照画像表示部２３０は、横指定線３０３および縦指定線３０４を投影した第二の路面画像２９１ｂをディスプレイ９１１に表示する。以下、横指定線３０３および縦指定線３０４を投影した第二の路面画像２９１ｂを「参照画像３２１」という。The reference image display unit 230 acquires the posture angle value of the camera 111A from the camera posture angle value data 299, and the three-dimensional coordinate value of the camera 111A at the same time as the imaging time of the second road surface image 291b from the camera coordinate value data 292. To get. Further, the reference image display unit 230 acquires the focal length f of the camera 111 </ b> A from the calibration storage unit 290.
The reference image display unit 230 uses the acquired attitude angle value, three-dimensional coordinate value, focal length f of the camera 111A, and the three-dimensional coordinate values of each measurement point projected as a plurality of reference points 311 in S120, The horizontal designation line 303 and the vertical designation line 304 are projected onto the second road surface image 291b. The projection method of the horizontal designation line 303 and the vertical designation line 304 is the same as S120.
The reference image display unit 230 displays the second road surface image 291b on which the horizontal designation line 303 and the vertical designation line 304 are projected on the display 911. Hereinafter, the second road surface image 291b in which the horizontal designation line 303 and the vertical designation line 304 are projected is referred to as a “reference image 321”.

図１０、図１１は、実施の形態１における参照画像３２１（ロール角のずれ）の一例を示す図である。
カメラ姿勢角値データ２９９が示すカメラ１１１Ａのロール角の角度（姿勢角値の一つ）に誤差が含まれている場合、参照画像３２１の横指定線３０３および縦指定線３０４は横線３０１および縦線３０２からロール角の方向にずれた部分に表示される（図１０、図１１参照）。
つまり、横指定線３０３は参照画像３２１の右側部分と左側部分とで横線３０１に対して上下異なる方向にずれる。さらに、縦指定線３０４は縦線３０２に対して左右いずれか一方にずれる。10 and 11 are diagrams illustrating an example of the reference image 321 (roll angle shift) in the first embodiment.
When an error is included in the roll angle angle (one of the posture angle values) of the camera 111A indicated by the camera posture angle value data 299, the horizontal designation line 303 and the vertical designation line 304 of the reference image 321 are the horizontal line 301 and the vertical designation line 304, respectively. It is displayed in a portion shifted from the line 302 in the roll angle direction (see FIGS. 10 and 11).
That is, the horizontal designation line 303 is shifted in a different direction in the vertical direction with respect to the horizontal line 301 between the right side portion and the left side portion of the reference image 321. Further, the vertical designation line 304 is shifted to the left or right with respect to the vertical line 302.

図１２、図１３は、実施の形態１における参照画像３２１（ピッチ角のずれ）の一例を示す図である。
カメラ姿勢角値データ２９９が示すカメラ１１１Ａのピッチ角の角度（姿勢角値の一つ）に誤差が含まれている場合、参照画像３２１の横指定線３０３および縦指定線３０４は横線３０１および縦線３０２からピッチ角の方向にずれた部分に表示される（図１２、図１３参照）。
つまり、横指定線３０３および縦指定線３０４は横線３０１および縦線３０２に対して上下いずれか一方にずれる。12 and 13 are diagrams illustrating an example of the reference image 321 (pitch angle deviation) in the first embodiment.
When an error is included in the angle of the pitch angle of the camera 111A indicated by the camera attitude angle value data 299 (one of the attitude angle values), the horizontal designation line 303 and the vertical designation line 304 of the reference image 321 are the horizontal line 301 and the vertical designation line 304, respectively. It is displayed at a portion shifted from the line 302 in the direction of the pitch angle (see FIGS. 12 and 13).
That is, the horizontal designation line 303 and the vertical designation line 304 are shifted either up or down with respect to the horizontal line 301 or the vertical line 302.

図１４、図１５は、実施の形態１における参照画像３２１（ヨー角のずれ）の一例を示す図である。
カメラ姿勢角値データ２９９が示すカメラ１１１Ａのヨー角の角度（姿勢角値の一つ）に誤差が含まれている場合、参照画像３２１の横指定線３０３は横線３０１に対してずれずに表示され（または横線３０１に対するずれが小さく）、参照画像３２１の縦指定線３０４は縦線３０２に対して左右いずれか一方にずれて表示される。14 and 15 are diagrams illustrating an example of the reference image 321 (yaw angle deviation) in the first embodiment.
When an error is included in the yaw angle of the camera 111A (one of the attitude angle values) indicated by the camera attitude angle value data 299, the horizontal designation line 303 of the reference image 321 is displayed without being shifted from the horizontal line 301. (Or the shift with respect to the horizontal line 301 is small), and the vertical designation line 304 of the reference image 321 is displayed shifted to the left or right with respect to the vertical line 302.

図６に戻り、キャリブレーション方法の説明を続ける。
Ｓ１３０の後、処理はＳ１４０に進む。Returning to FIG. 6, the description of the calibration method will be continued.
After S130, the process proceeds to S140.

修正要否判定処理（Ｓ１４０）において、利用者は、Ｓ１３０（または後述するＳ１６０）で表示された参照画像３２１（図１０から図１５参照）を参照し、横指定線３０３および縦指定線３０４が横線３０１および縦線３０２に対してずれているか否かを判定し、入力装置を用いて判定結果を指定する。カメラ姿勢角値修正部２４０は、指定された判定結果を入力装置から入力する。
横指定線３０３および縦指定線３０４が横線３０１および縦線３０２に対してずれていることを示す判定結果が入力された場合（ＹＥＳ）、処理はＳ１５０に進む。
横指定線３０３および縦指定線３０４が横線３０１および縦線３０２に対してずれていないことを示す判定結果が入力された場合（ＮＯ）、キャリブレーション方法の処理は終了する。In the correction necessity determination process (S140), the user refers to the reference image 321 (see FIGS. 10 to 15) displayed in S130 (or S160 described later), and the horizontal designation line 303 and the vertical designation line 304 are displayed. It is determined whether or not the horizontal line 301 and the vertical line 302 are deviated, and the determination result is designated using the input device. The camera posture angle value correction unit 240 inputs the specified determination result from the input device.
When a determination result indicating that the horizontal designation line 303 and the vertical designation line 304 are shifted from the horizontal line 301 and the vertical line 302 is input (YES), the process proceeds to S150.
When a determination result indicating that the horizontal designation line 303 and the vertical designation line 304 are not shifted from the horizontal line 301 and the vertical line 302 is input (NO), the processing of the calibration method ends.

カメラ姿勢角値修正処理（Ｓ１５０）において、利用者は、カメラ姿勢角値データ２９９に含まれるカメラ１１１Ａの姿勢角値を修正するための姿勢角値修正量（姿勢角値修正情報の一例）を入力装置を用いて指定する。姿勢角値修正量は、カメラ１１１Ａのロール角、ピッチ角およびヨー角のいずれかに加算（または減算）する角度を示す。但し、姿勢角値修正量にロール角、ピッチ角およびヨー角のうち複数の角度に加算（または減算）する複数の角度を含んでもよい。
カメラ姿勢角値修正部２４０は指定された姿勢角値修正量を入力装置から入力し、入力した姿勢角値修正量をカメラ姿勢角値データ２９９に含まれるカメラ１１１Ａの姿勢角値に加算（または減算）する。これにより、カメラ１１１Ａの姿勢角値は修正（更新）される。
但し、利用者は修正後のカメラ１１１Ａの姿勢角値（姿勢角値修正情報の一例）を指定し、カメラ姿勢角値修正部２４０は指定されたカメラ１１１Ａの姿勢角値をカメラ姿勢角値データ２９９に上書きしてもよい。In the camera attitude angle value correction process (S150), the user uses an attitude angle value correction amount (an example of attitude angle value correction information) for correcting the attitude angle value of the camera 111A included in the camera attitude angle value data 299. Specify using the input device. The posture angle value correction amount indicates an angle to be added (or subtracted) to any of the roll angle, pitch angle, and yaw angle of the camera 111A. However, the posture angle value correction amount may include a plurality of angles that are added (or subtracted) to a plurality of angles among the roll angle, the pitch angle, and the yaw angle.
The camera posture angle value correction unit 240 inputs the specified posture angle value correction amount from the input device, and adds the input posture angle value correction amount to the posture angle value of the camera 111A included in the camera posture angle value data 299 (or Subtract). Thereby, the posture angle value of the camera 111A is corrected (updated).
However, the user specifies the corrected posture angle value of the camera 111A (an example of posture angle value correction information), and the camera posture angle value correction unit 240 sets the specified posture angle value of the camera 111A as camera posture angle value data. 299 may be overwritten.

このとき、利用者は、Ｓ１３０（または後述するＳ１６０）で表示された参照画像３２１（図１０から図１５参照）が示す横指定線３０３および縦指定線３０４と横線３０１および縦線３０２とのずれに基づいて姿勢角値修正量（または修正後の姿勢角値）を判断する。   At this time, the user shifts the horizontal designation line 303 and the vertical designation line 304 from the horizontal line 301 and the vertical line 302 indicated by the reference image 321 (see FIGS. 10 to 15) displayed in S130 (or S160 described later). Based on this, the posture angle value correction amount (or the posture angle value after correction) is determined.

図１６は、実施の形態１におけるカメラ１１１Ａの姿勢角値の修正条件の一例を示す表である。
例えば、利用者は、姿勢角値（ロール角、ピッチ角またはヨー角）を修正する向きを図１６に示す表に従って判断する。また、利用者は、ずれ量が大きいほど大きな修正量を指定する。
但し、図１６に示すずれ及び修正の向きは、計測車両１００が横線１０１および縦線３０２に近づいたときに右前向きのカメラ１１１Ａで第一の路面画像２９１ａを撮像し、計測車両１００が横線１０１および縦線３０２から遠ざかったときにカメラ１１１Ａで第二の路面画像２９１ｂ（参照画像３２１）を撮像した場合のずれ及び修正の向きである。
左前向きのカメラ１１１Ｂや後ろ向きのカメラ１１１Ｅ・１１１Ｆで第一の路面画像２９１ａおよび第二の路面画像２９１ｂを撮像した場合、ずれまたは修正の向きが異なる。
また、計測車両１００が横線１０１および縦線３０２から遠ざかったときに撮像した画像を第一の路面画像２９１ａとして用い、計測車両１００が横線１０１および縦線３０２に近づいたときに撮像した画像を第二の路面画像２９２ｂとして用いる場合、ずれまたは修正の向きが異なる。例えば、ずれまたは修正の向きが図１６に示す向きに対して逆向きになる。FIG. 16 is a table illustrating an example of conditions for correcting the posture angle value of the camera 111A according to the first embodiment.
For example, the user determines the orientation for correcting the posture angle value (roll angle, pitch angle or yaw angle) according to the table shown in FIG. Further, the user designates a larger correction amount as the deviation amount is larger.
However, the direction of deviation and correction shown in FIG. 16 is such that when the measurement vehicle 100 approaches the horizontal line 101 and the vertical line 302, the first road surface image 291a is captured by the camera 111A facing forward to the right, and the measurement vehicle 100 captures the horizontal line 101. And the direction of deviation and correction when the second road surface image 291b (reference image 321) is imaged by the camera 111A when moving away from the vertical line 302.
When the first road surface image 291a and the second road surface image 291b are captured by the left front-facing camera 111B and the rear-facing cameras 111E and 111F, the directions of deviation or correction are different.
In addition, an image captured when the measuring vehicle 100 moves away from the horizontal line 101 and the vertical line 302 is used as the first road surface image 291a, and an image captured when the measuring vehicle 100 approaches the horizontal line 101 and the vertical line 302 is When used as the second road surface image 292b, the direction of deviation or correction is different. For example, the direction of deviation or correction is opposite to the direction shown in FIG.

（１）参照画像３２１の右側で横指定線３０３が横線３０１に対して下側にずれ、参照画像３２１の左側で横指定線３０３が横線３０１に対して上側にずれ、縦指定線３０４が縦線３０２に対して右側にずれている場合（図１０参照）、利用者は、カメラ１１１Ａのロール角の角度を右回転の方向に修正するための姿勢角値修正量を指定する。
（２）参照画像３２１の右側で横指定線３０３が横線３０１に対して上側にずれ、参照画像３２１の左側で横指定線３０３が横線３０１に対して下側にずれ、縦指定線３０４が縦線３０２に対して左側にずれている場合（図１１参照）、利用者は、カメラ１１１Ａのロール角の角度を左回転の方向に修正する姿勢角値修正量を指定する。(1) The horizontal designation line 303 is shifted downward with respect to the horizontal line 301 on the right side of the reference image 321, the horizontal designation line 303 is shifted upward with respect to the horizontal line 301 on the left side of the reference image 321, and the vertical designation line 304 is vertical. When it is shifted to the right side with respect to the line 302 (see FIG. 10), the user designates a posture angle value correction amount for correcting the roll angle angle of the camera 111A in the clockwise direction.
(2) The horizontal designation line 303 is shifted upward with respect to the horizontal line 301 on the right side of the reference image 321, the horizontal designation line 303 is shifted downward with respect to the horizontal line 301 on the left side of the reference image 321, and the vertical designation line 304 is vertical. If the line 302 is shifted to the left (see FIG. 11), the user designates a posture angle value correction amount that corrects the roll angle of the camera 111A in the left rotation direction.

（３）参照画像３２１の横指定線３０３および縦指定線３０４が横線３０１および縦線３０２に対して上側にずれている場合（図１２参照）、利用者は、カメラ１１１Ａのピッチ角の角度を上方向に修正するための姿勢角値修正量を指定する。
（４）参照画像３２１の横指定線３０３および縦指定線３０４が横線３０１および縦線３０２に対して下側にずれている場合（図１３参照）、利用者は、カメラ１１１Ａのピッチ角の角度を下方向に修正するための姿勢角値修正量を指定する。(3) When the horizontal designation line 303 and the vertical designation line 304 of the reference image 321 are shifted upward with respect to the horizontal line 301 and the vertical line 302 (see FIG. 12), the user sets the angle of the pitch angle of the camera 111A. Specifies the posture angle value correction amount for correcting upward.
(4) When the horizontal designation line 303 and the vertical designation line 304 of the reference image 321 are shifted downward with respect to the horizontal line 301 and the vertical line 302 (see FIG. 13), the user can change the angle of the pitch angle of the camera 111A. Specifies the amount of posture angle value correction for correcting downward.

（５）参照画像３２１の横指定線３０３が横線３０１に対してずれてなく（またはずれが小さく）、縦指定線３０４が縦線３０２に対して左側にずれている場合（図１４参照）、利用者は、カメラ１１１Ａのヨー角の角度を左方向に修正するための姿勢角値修正量を指定する。
（６）参照画像３２１の横指定線３０３が横線３０１に対してずれてなく（またはずれが小さく）、縦指定線３０４が縦線３０２に対して右側にずれている場合（図１５参照）、利用者は、カメラ１１１Ａのヨー角の角度を右方向に修正するための姿勢角値修正量を指定する。(5) When the horizontal designation line 303 of the reference image 321 is not deviated from the horizontal line 301 (or the deviation is small) and the vertical designation line 304 is deviated to the left with respect to the vertical line 302 (see FIG. 14). The user designates a posture angle value correction amount for correcting the yaw angle of the camera 111A in the left direction.
(6) When the horizontal designation line 303 of the reference image 321 is not deviated from the horizontal line 301 (or the deviation is small) and the vertical designation line 304 is deviated to the right with respect to the vertical line 302 (see FIG. 15). The user designates a posture angle value correction amount for correcting the yaw angle of the camera 111A to the right.

また、利用者は、以下のようにカメラ１１１Ａのロール角とピッチ角とのいずれを修正するか判断して姿勢角値修正量を指定してもよい。
横指定線３０３の横線３０１に対するずれと縦指定線３０４の縦線３０２に対するずれとが同程度の大きさである場合（図１０、図１１参照）、利用者は、カメラ１１１Ａのヨー角の角度ではなくロール角の角度を修正するための姿勢角値修正量を指定する。
参照画像３２１の左右両側で横指定線３０３が横線３０１に対して上下いずれか一方にずれている場合（図１４、図１５参照）、利用者は、カメラ１１１Ａのロール角の角度ではなくヨー角の角度を修正するための姿勢角値修正量を指定する。In addition, the user may determine which of the roll angle and the pitch angle of the camera 111A is to be corrected and specify the posture angle value correction amount as follows.
When the deviation of the horizontal designation line 303 with respect to the horizontal line 301 and the deviation of the vertical designation line 304 with respect to the vertical line 302 are approximately the same size (see FIGS. 10 and 11), the user can determine the angle of the yaw angle of the camera 111A. Instead, specify the posture angle value correction amount to correct the roll angle.
When the horizontal designation line 303 is shifted to either the upper or lower side with respect to the horizontal line 301 on both the left and right sides of the reference image 321 (see FIGS. 14 and 15), the user does not use the roll angle of the camera 111A but the yaw angle. Specifies the amount of posture angle value correction to correct the angle.

図６に戻り、キャリブレーション方法の説明を続ける。
Ｓ１５０の後、処理はＳ１６０に進む。Returning to FIG. 6, the description of the calibration method will be continued.
After S150, the process proceeds to S160.

カメラ姿勢角値確認処理（Ｓ１６０）において、参照画像表示部２３０は、Ｓ１５０で修正されたカメラ１１１Ａの姿勢角値を用いて、第一の路面画像２９１ａ、第二の路面画像２９１ｂまたはカメラ１１１Ａによって得られた第三の路面画像２９１ｃに複数の参照点３１１を投影する。これにより、参照画像３２１が新たに生成される。投影方法はＳ１２０およびＳ１３０と同様である。
参照画像表示部２３０は、新たに生成した参照画像３２１をディスプレイに表示する。
Ｓ１６０の後、処理はＳ１４０に戻る。In the camera attitude angle value confirmation process (S160), the reference image display unit 230 uses the attitude angle value of the camera 111A corrected in S150, by the first road surface image 291a, the second road surface image 291b, or the camera 111A. A plurality of reference points 311 are projected onto the obtained third road surface image 291c. Thereby, a reference image 321 is newly generated. The projection method is the same as S120 and S130.
The reference image display unit 230 displays the newly generated reference image 321 on the display.
After S160, the process returns to S140.

図６に基づいて説明したキャリブレーション方法により、カメラ１１１Ａの姿勢角値を修正し、カメラ１１１Ａの正しい姿勢角値を算出することができる。
キャリブレーション装置２００は、カメラ１１１Ａの姿勢角値と同様にカメラ１１１Ｂ−Ｆそれぞれの姿勢角値を修正し、カメラ１１１Ｂ−Ｆそれぞれの正しい姿勢角値を算出する。With the calibration method described with reference to FIG. 6, the posture angle value of the camera 111A can be corrected and the correct posture angle value of the camera 111A can be calculated.
The calibration device 200 corrects the posture angle values of the cameras 111B-F in the same manner as the posture angle values of the camera 111A, and calculates the correct posture angle values of the cameras 111B-F.

図１７は、実施の形態１におけるキャリブレーション装置２００のハードウェア資源の一例を示す図である。
図１７において、キャリブレーション装置２００（コンピュータの一例）は、ＣＰＵ９０１（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備えている。ＣＰＵ９０１は、バス９０２を介してＲＯＭ９０３、ＲＡＭ９０４、通信ボード９０５（通信装置）、ディスプレイ９１１（表示装置）、キーボード９１２、マウス９１３、ドライブ９１４、磁気ディスク装置９２０などのハードウェアデバイスと接続され、これらのハードウェアデバイスを制御する。ドライブ９１４は、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ Ｄｒｉｖｅ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの記憶媒体を読み書きする装置である。
ＲＯＭ９０３、ＲＡＭ９０４、磁気ディスク装置９２０およびドライブ９１４は記憶装置の一例である。キーボード９１２、マウス９１３および通信ボード９０５は入力装置の一例である。ディスプレイ９１１および通信ボード９０５は出力装置の一例である。FIG. 17 is a diagram illustrating an example of hardware resources of the calibration apparatus 200 according to the first embodiment.
In FIG. 17, a calibration apparatus 200 (an example of a computer) includes a CPU 901 (Central Processing Unit). The CPU 901 is connected to hardware devices such as a ROM 903, a RAM 904, a communication board 905 (communication device), a display 911 (display device), a keyboard 912, a mouse 913, a drive 914, and a magnetic disk device 920 via a bus 902. Control hardware devices. The drive 914 is a device that reads and writes a storage medium such as an FD (Flexible Disk Drive), a CD (Compact Disc), and a DVD (Digital Versatile Disc).
The ROM 903, the RAM 904, the magnetic disk device 920, and the drive 914 are examples of storage devices. A keyboard 912, a mouse 913, and a communication board 905 are examples of input devices. The display 911 and the communication board 905 are examples of output devices.

通信ボード９０５は、有線または無線で、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、電話回線などの通信網に接続している。   The communication board 905 is wired or wirelessly connected to a communication network such as a LAN (Local Area Network), the Internet, or a telephone line.

磁気ディスク装置９２０には、ＯＳ９２１（オペレーティングシステム）、プログラム群９２２、ファイル群９２３が記憶されている。   The magnetic disk device 920 stores an OS 921 (operating system), a program group 922, and a file group 923.

プログラム群９２２には、実施の形態において「〜部」として説明する機能を実行するプログラムが含まれる。プログラム（例えば、カメラキャリブレーションプログラム）は、ＣＰＵ９０１により読み出され実行される。すなわち、プログラムは、「〜部」としてコンピュータを機能させるものであり、また「〜部」の手順や方法をコンピュータに実行させるものである。   The program group 922 includes programs that execute the functions described as “units” in the embodiments. A program (for example, a camera calibration program) is read and executed by the CPU 901. That is, the program causes the computer to function as “to part”, and causes the computer to execute the procedures and methods of “to part”.

ファイル群９２３には、実施の形態において説明する「〜部」で使用される各種データ（入力、出力、判定結果、計算結果、処理結果など）が含まれる。   The file group 923 includes various data (input, output, determination result, calculation result, processing result, etc.) used in “˜part” described in the embodiment.

実施の形態において構成図およびフローチャートに含まれている矢印は主としてデータや信号の入出力を示す。
フローチャートなどに基づいて説明する実施の形態の処理はＣＰＵ９０１、記憶装置、入力装置、出力装置などのハードウェアを用いて実行される。In the embodiment, arrows included in the configuration diagrams and flowcharts mainly indicate input and output of data and signals.
The processing of the embodiment described based on the flowchart and the like is executed using hardware such as the CPU 901, a storage device, an input device, and an output device.

実施の形態において「〜部」として説明するものは「〜回路」、「〜装置」、「〜機器」であってもよく、また「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明するものは、ファームウェア、ソフトウェア、ハードウェアまたはこれらの組み合わせのいずれで実装されても構わない。   In the embodiment, what is described as “to part” may be “to circuit”, “to apparatus”, and “to device”, and “to step”, “to procedure”, and “to processing”. May be. That is, what is described as “to part” may be implemented by any of firmware, software, hardware, or a combination thereof.

実施の形態１により、カメラ１１１の姿勢角値を高い精度で容易にキャリブレーションすることができる。   According to the first embodiment, the posture angle value of the camera 111 can be easily calibrated with high accuracy.

以下に実施の形態１の補足説明を行う。   A supplementary explanation of the first embodiment will be given below.

図３で説明したキャリブレーション方法の処理は以下のように実施してもよい。
指定線入力処理（Ｓ１１０）において、利用者は、横指定線３０３や縦指定線３０４を指定する代わりに、横線３０１と縦線３０２とのそれぞれに沿って複数点を指定してもよい。横線３０１に沿って複数点を指定するとき、利用者は第一の路面画像２９１ａの右側部分と左側部分とのそれぞれに点を指定する。
この場合、指定線入力部２１０は、横線３０１に沿って指定された複数点を含む直線を横指定線３０３として算出し、縦線３０２に沿って指定された複数点を含む直線を縦指定線３０４として算出する。
また、キャリブレーション装置２００は、横指定線３０３と縦指定線３０４とを横線３０１に沿って指定された複数点と縦線３０２に沿って指定された複数点とに置き換えてキャリブレーション方法の処理を実行しても構わない。The processing of the calibration method described with reference to FIG. 3 may be performed as follows.
In the designation line input process (S110), the user may designate a plurality of points along each of the horizontal line 301 and the vertical line 302 instead of designating the horizontal designation line 303 and the vertical designation line 304. When designating a plurality of points along the horizontal line 301, the user designates points for each of the right side portion and the left side portion of the first road surface image 291a.
In this case, the designation line input unit 210 calculates a straight line including a plurality of points designated along the horizontal line 301 as the horizontal designation line 303 and calculates a straight line including the plurality of points designated along the vertical line 302 as the vertical designation line. Calculated as 304.
In addition, the calibration apparatus 200 replaces the horizontal designation line 303 and the vertical designation line 304 with a plurality of points designated along the horizontal line 301 and a plurality of points designated along the vertical line 302 to perform processing of the calibration method. May be executed.

指定線入力処理（Ｓ１１０）において、利用者は横指定線３０３のみを指定してもよい。カメラ姿勢角値修正処理（Ｓ１５０）において横指定線３０３が横線３０１からずれている場合、利用者はカメラ１１１のロール角の値またはピッチ角の値を修正するための姿勢角値修正量を指定する。
指定線入力処理（Ｓ１１０）において、利用者は縦指定線３０４のみを指定してもよい。カメラ姿勢角値修正処理（Ｓ１５０）において縦指定線３０４が縦線３０２からずれている場合、利用者はカメラ１１１のロール角の値、ピッチ角の値またはヨー角の値を修正するための姿勢角値修正量を指定する。In the designation line input process (S110), the user may designate only the horizontal designation line 303. When the horizontal designation line 303 is deviated from the horizontal line 301 in the camera attitude angle value correction processing (S150), the user designates an attitude angle value correction amount for correcting the roll angle value or pitch angle value of the camera 111. To do.
In the designation line input process (S110), the user may designate only the vertical designation line 304. When the vertical designation line 304 is deviated from the vertical line 302 in the camera attitude angle value correction processing (S150), the user corrects the roll angle value, the pitch angle value, or the yaw angle value of the camera 111. Specifies the angle value correction amount.

指定線入力処理（Ｓ１１０）において、利用者が横指定線３０３および縦指定線３０４を指定する代わりに、キャリブレーション装置２００が横指定線３０３および縦指定線３０４を算出してもよい。この場合、指定線入力部２１０は第一の路面画像２９１ａを表示しなくてもよい。
例えば、指定線入力部２１０は、第一の路面画像２９１ａを画像処理し、第一の路面画像２９１ａの画素値に基づいて第一の路面画像２９１ａに映った直線（例えば、白線）のエッジ部分を横指定線３０３および縦指定線３０４として算出する。In the designation line input process (S110), the calibration apparatus 200 may calculate the horizontal designation line 303 and the vertical designation line 304 instead of the user designating the horizontal designation line 303 and the vertical designation line 304. In this case, the designation line input unit 210 may not display the first road surface image 291a.
For example, the designated line input unit 210 performs image processing on the first road surface image 291a, and an edge portion of a straight line (for example, a white line) reflected on the first road surface image 291a based on the pixel value of the first road surface image 291a. Are calculated as a horizontal designation line 303 and a vertical designation line 304.

修正要否判定処理（Ｓ１４０）において、横指定線３０３および縦指定線３０４が横線３０１および縦線３０２に対してずれているか否かを利用者が判断する代わりにキャリブレーション装置２００が判定してもよい。この場合、参照画像表示部２３０は参照画像３２１を表示しなくてもよい。
例えば、カメラ姿勢角値修正部２４０は、参照画像３２１を画像処理し、参照画像３２１の画素値に基づいて直線（例えば、白線）が映った部分を横線３０１および縦線３０２として算出する。カメラ姿勢角値修正部２４０は、参照画像３２１に投影された横指定線３０３および縦指定線３０４と参照画像３２１に映った横線３０１および縦線３０２とを比較する。そして、横指定線３０３および縦指定線３０４が横線３０１および縦線３０２に対して所定のずれ量閾値以上ずれている場合、カメラ姿勢角値修正部２４０は、横指定線３０３および縦指定線３０４が横線３０１および縦線３０２に対してずれていると判定する。In the correction necessity determination process (S140), the calibration apparatus 200 determines whether the horizontal designation line 303 and the vertical designation line 304 are deviated from the horizontal line 301 and the vertical line 302, instead of being judged by the user. Also good. In this case, the reference image display unit 230 may not display the reference image 321.
For example, the camera attitude angle value correction unit 240 performs image processing on the reference image 321 and calculates a portion where a straight line (for example, a white line) appears based on the pixel value of the reference image 321 as a horizontal line 301 and a vertical line 302. The camera posture angle value correction unit 240 compares the horizontal designation line 303 and vertical designation line 304 projected on the reference image 321 with the horizontal line 301 and vertical line 302 projected on the reference image 321. When the horizontal designation line 303 and the vertical designation line 304 are deviated from the horizontal line 301 and the vertical line 302 by a predetermined deviation amount threshold value or more, the camera posture angle value correction unit 240 displays the horizontal designation line 303 and the vertical designation line 304. Is deviated from the horizontal line 301 and the vertical line 302.

カメラ姿勢角値修正処理（Ｓ１５０）において、利用者が姿勢角値修正量を指定する代わりにキャリブレーション装置２００が姿勢角値修正量を算出してもよい。
例えば、カメラ姿勢角値修正部２４０は、上記の修正要否判定処理（Ｓ１４０）と同様に、横指定線３０３および縦指定線３０４と横線３０１および縦線３０２とを比較し、横指定線３０３および縦指定線３０４が横線３０１および縦線３０２に対してずれている方向およびずれ量を算出する。そして、カメラ姿勢角値修正部２４０は、図１６で説明した修正条件に従って姿勢角値修正量を算出する。カメラ姿勢角値修正部２４０は、ずれが大きいか否かをずれ量が所定のずれ量閾値より大きいか否かで判定する。In the camera posture angle value correction process (S150), the calibration device 200 may calculate the posture angle value correction amount instead of the user specifying the posture angle value correction amount.
For example, the camera posture angle value correction unit 240 compares the horizontal designation line 303 and the vertical designation line 304 with the horizontal line 301 and the vertical line 302 as in the above-described correction necessity determination process (S140), and the horizontal designation line 303. The direction and amount of displacement of the vertical designation line 304 with respect to the horizontal line 301 and the vertical line 302 are calculated. Then, the camera posture angle value correction unit 240 calculates the posture angle value correction amount according to the correction conditions described with reference to FIG. The camera attitude angle value correction unit 240 determines whether or not the deviation is large based on whether or not the deviation amount is larger than a predetermined deviation amount threshold value.

１００ 計測車両、１１０ 計測ユニット、１１１ カメラ、１１２ レーザスキャナ、１１３ ＧＰＳ受信機、１１４ ＩＭＵ、１２０ オドメータ、２００ キャリブレーション装置、２１０ 指定線入力部、２２０ 指定線算出部、２３０ 参照画像表示部、２４０ カメラ姿勢角値修正部、２９０ キャリブレーション記憶部、２９１ 路面画像、２９２ カメラ座標値データ、２９３ 三次元点群データ、２９９ カメラ姿勢角値データ、３０１ 横線、３０２ 縦線、３０３ 横指定線、３０４ 縦指定線、３２１ 参照画像、９０１ ＣＰＵ、９０２ バス、９０３ ＲＯＭ、９０４ ＲＡＭ、９０５ 通信ボード、９１１ ディスプレイ、９１２ キーボード、９１３ マウス、９１４ ドライブ、９２０ 磁気ディスク装置、９２１ ＯＳ、９２２ プログラム群、９２３ ファイル群。   DESCRIPTION OF SYMBOLS 100 Measuring vehicle, 110 Measuring unit, 111 Camera, 112 Laser scanner, 113 GPS receiver, 114 IMU, 120 odometer, 200 Calibration apparatus, 210 Specified line input part, 220 Specified line calculation part, 230 Reference image display part, 240 Camera posture angle value correction unit, 290 calibration storage unit, 291 road surface image, 292 camera coordinate value data, 293 three-dimensional point cloud data, 299 camera posture angle value data, 301 horizontal line, 302 vertical line, 303 horizontal designation line, 304 Vertical designation line, 321 reference image, 901 CPU, 902 bus, 903 ROM, 904 RAM, 905 communication board, 911 display, 912 keyboard, 913 mouse, 914 drive, 920 magnetic disk unit, 921 OS, 92 Program group, 923 files.

Claims (13)

カメラ姿勢角値記憶部と画像記憶部とカメラ座標値記憶部と点群データ記憶部と指定点入力部と指定点算出部と参照画像表示部とカメラ姿勢角値修正部とを備えるカメラキャリブレーション装置を用いて実行するカメラキャリブレーション方法において、
前記カメラ姿勢角値記憶部は、移動体に取り付けられたカメラの取り付け角度を示すカメラ姿勢角値を記憶する記憶部であり、
前記画像記憶部は、前記移動体に取り付けられた前記カメラによって、直線が記された地面を撮像して得られる第一画像と、前記移動体が前記第一画像の撮像時とは異なる位置にいるときに前記カメラによって前記地面を撮像して得られる第二画像とを記憶する記憶部であり、
前記カメラ座標値記憶部は、前記第一画像の撮像時の前記カメラの座標値を示す第一のカメラ座標値と、前記第二画像の撮像時の前記カメラの座標値を示す第二のカメラ座標値とを記憶する記憶部であり、
前記点群データ記憶部は、前記地面の複数地点を示す複数の座標値を含むデータとして点群データを記憶する記憶部であり、
前記指定点入力部が、前記第一画像を表示し、表示した前記第一画像内の前記直線に沿って指定される前記第一画像内の複数点を複数の指定点として利用者から入力し、
前記指定点算出部が、前記第一のカメラ座標値と前記カメラ姿勢角値と前記点群データに含まれる前記複数の座標値とに基づいて前記地面の前記複数地点を示す点群を前記第一画像に投影し、前記第一画像に投影した前記点群に基づいて前記複数の指定点それぞれの座標値を算出し、
前記参照画像表示部が、前記指定点算出部によって算出された前記複数の指定点それぞれの座標値と前記第二のカメラ座標値と前記カメラ姿勢角値とに基づいて前記複数の指定点を前記第二画像に投影し、前記複数の指定点を投影した前記第二画像を参照画像として表示し、
前記カメラ姿勢角値修正部が、前記カメラ姿勢角値記憶部に記憶された前記カメラ姿勢角値を修正するために指定される姿勢角値修正情報を利用者から入力し、前記姿勢角値修正情報に基づいて前記カメラ姿勢角値記憶部に記憶された前記カメラ姿勢角値を修正することを特徴とするカメラキャリブレーション方法。 Camera calibration including a camera attitude angle value storage unit, an image storage unit, a camera coordinate value storage unit, a point cloud data storage unit, a specified point input unit, a specified point calculation unit, a reference image display unit, and a camera attitude angle value correction unit In a camera calibration method executed using an apparatus,
The camera posture angle value storage unit is a storage unit that stores a camera posture angle value indicating an attachment angle of a camera attached to a moving body,
The image storage unit has a first image obtained by imaging the ground with a straight line by the camera attached to the moving body, and the moving body is at a position different from that at the time of capturing the first image. A storage unit that stores a second image obtained by imaging the ground with the camera when
The camera coordinate value storage unit includes a first camera coordinate value indicating a coordinate value of the camera at the time of capturing the first image and a second camera indicating a coordinate value of the camera at the time of capturing the second image. A storage unit for storing coordinate values;
The point cloud data storage unit is a storage unit that stores point cloud data as data including a plurality of coordinate values indicating a plurality of points on the ground,
The designated point input unit displays the first image, and inputs a plurality of points in the first image designated along the straight line in the displayed first image as a plurality of designated points from a user. ,
The designated point calculation unit calculates a point group indicating the plurality of points on the ground based on the first camera coordinate value, the camera attitude angle value, and the plurality of coordinate values included in the point group data. Projecting on one image, calculating the coordinate value of each of the plurality of designated points based on the point group projected on the first image,
The reference image display unit determines the plurality of designated points based on the coordinate values, the second camera coordinate values, and the camera attitude angle values of the plurality of designated points calculated by the designated point calculation unit. Projecting to a second image, displaying the second image projected the plurality of designated points as a reference image,
The camera posture angle value correction unit inputs posture angle value correction information specified to correct the camera posture angle value stored in the camera posture angle value storage unit from the user, and the posture angle value correction A camera calibration method comprising correcting the camera posture angle value stored in the camera posture angle value storage unit based on information. 前記第一画像および前記第二画像は、向きが異なる２本の直線として第一直線と第二直線とが映った画像であり、
前記指定点入力部は、前記第一画像を表示し、前記第一画像内の前記第一直線に沿って指定される前記第一画像内の第一の複数点を第一の複数の指定点として利用者から入力すると共に、前記第一画像内の前記第二直線に沿って指定される前記第一画像内の第二の複数点を第二の複数の指定点として利用者から入力し、
前記指定点算出部は、前記第一画像に投影した前記点群に基づいて前記第一の複数の指定点それぞれの座標値と前記第二の複数の指定点それぞれの座標値とを算出し、
前記参照画像表示部は、前記第一の複数の指定点と前記第二の複数の指定点とを前記第二画像に投影し、前記第一の複数の指定点と前記第二の複数の指定点とを投影した前記第二画像を前記参照画像として表示する
ことを特徴とする請求項１記載のカメラキャリブレーション方法。 The first image and the second image are images in which the first straight line and the second straight line are reflected as two straight lines having different directions,
The designated point input unit displays the first image, and uses the first plurality of points in the first image designated along the first straight line in the first image as first designated points. While inputting from the user, the second plurality of points in the first image specified along the second straight line in the first image is input from the user as a second plurality of specified points,
The designated point calculation unit calculates the coordinate values of the first plurality of designated points and the coordinate values of the second plurality of designated points based on the point group projected on the first image,
The reference image display unit projects the first plurality of designated points and the second plurality of designated points onto the second image, and the first plurality of designated points and the second plurality of designated points. The camera calibration method according to claim 1, wherein the second image obtained by projecting a point is displayed as the reference image. 前記第一直線は前記第一画像の横方向に伸びた直線であり、前記第二直線は前記第一画像の縦方向に伸びた直線であり、
前記指定点入力部は、前記第一画像内の前記第一直線に沿って前記第一画像内の右側部分と左側部分とに指定される複数点を前記第一の複数の指定点として利用者から入力し、前記第一画像内の前記第二直線に沿って指定される複数点を前記第二の複数の指定点として利用者から入力する
ことを特徴とする請求項２記載のカメラキャリブレーション方法。 The first straight line is a straight line extending in the horizontal direction of the first image, the second straight line is a straight line extending in the vertical direction of the first image,
The designated point input unit receives from the user a plurality of points designated on the right side portion and the left side portion in the first image along the first straight line in the first image as the first plurality of designated points. 3. The camera calibration method according to claim 2, wherein a plurality of points designated along the second straight line in the first image are inputted from the user as the second designated points. . 前記カメラ姿勢角値はロール角の角度を含み、
前記カメラ姿勢角値修正部は、前記第一の複数の指定点が前記第二画像内の右側部分と左側部分とで前記第一直線の上下異なる方にずれて、前記第二の複数の指定点が前記第二直線の左右いずれか一方にずれている場合、前記カメラ姿勢角値に含まれるロール角の角度を修正するための情報が前記姿勢角値修正情報として利用者から入力される
ことを特徴とする請求項３記載のカメラキャリブレーション方法。 The camera attitude angle value includes a roll angle angle,
The camera posture angle value correcting unit is configured such that the first plurality of designated points are shifted in the upper and lower different directions of the first straight line between a right side portion and a left side portion in the second image. Is shifted to either the left or right side of the second straight line, information for correcting the roll angle included in the camera posture angle value is input from the user as the posture angle value correction information. The camera calibration method according to claim 3, wherein: 前記カメラ姿勢角値はピッチ角の角度を含み、
前記カメラ姿勢角値修正部は、前記第一の複数の指定点が前記第一直線の上下いずれか一方にずれている場合、前記カメラ姿勢角値に含まれるピッチ角の角度を修正するための情報が前記姿勢角値修正情報として利用者から入力される
ことを特徴とする請求項３記載のカメラキャリブレーション方法。 The camera attitude angle value includes a pitch angle angle,
The camera posture angle value correcting unit corrects a pitch angle angle included in the camera posture angle value when the first plurality of designated points are shifted to either the upper or lower side of the first straight line. The camera calibration method according to claim 3, wherein a posture angle value correction information is input from a user. 前記カメラ姿勢角値はヨー角の角度を含み、
前記カメラ姿勢角値修正部は、前記第一の複数の指定点と前記第一直線とのずれが小さく、前記第二の複数の指定点が前記第二直線の左右いずれか一方にずれている場合、前記カメラ姿勢角値に含まれるヨー角の角度を修正するための情報が前記姿勢角値修正情報として利用者から入力される
ことを特徴とする請求項３記載のカメラキャリブレーション方法。 The camera attitude angle value includes a yaw angle angle,
The camera posture angle value correcting unit has a small deviation between the first plurality of designated points and the first straight line, and the second plurality of designated points are displaced to either the left or right of the second straight line. 4. The camera calibration method according to claim 3, wherein information for correcting an angle of a yaw angle included in the camera attitude angle value is input from the user as the attitude angle value correction information. 請求項１から請求項６いずれかに記載のカメラキャリブレーション方法をコンピュータに実行させるためのカメラキャリブレーションプログラム。   A camera calibration program for causing a computer to execute the camera calibration method according to claim 1. 移動体に取り付けられたカメラの取り付け角度を示すカメラ姿勢角値を記憶するカメラ姿勢角値記憶部と、
前記移動体に取り付けられた前記カメラによって、直線が記された地面を撮像して得られる第一画像と、前記移動体が前記第一画像の撮像時とは異なる位置にいるときに前記カメラによって前記地面を撮像して得られる第二画像とを記憶する画像記憶部と、
前記第一画像の撮像時の前記カメラの座標値を示す第一のカメラ座標値と、前記第二画像の撮像時の前記カメラの座標値を示す第二のカメラ座標値とを記憶するカメラ座標値記憶部と、
前記地面の複数地点を示す複数の座標値を含むデータとして点群データを記憶する点群データ記憶部と、
前記第一画像を表示し、表示した前記第一画像内の前記直線に沿って指定される前記第一画像内の複数点を複数の指定点として入力する指定点入力部と、
前記第一のカメラ座標値と前記カメラ姿勢角値と前記点群データに含まれる前記複数の座標値とに基づいて前記地面の前記複数地点を示す点群を前記第一画像に投影し、前記第一画像に投影した前記点群に基づいて前記複数の指定点それぞれの座標値を算出する指定点算出部と、
前記指定点算出部によって算出された前記複数の指定点それぞれの座標値と前記第二のカメラ座標値と前記カメラ姿勢角値とに基づいて前記複数の指定点を前記第二画像に投影し、前記複数の指定点を投影した前記第二画像を参照画像として表示する参照画像表示部と、
前記カメラ姿勢角値を修正するために指定される姿勢角値修正情報を入力し、入力した前記姿勢角値修正情報に基づいて前記カメラ姿勢角値記憶部に記憶された前記カメラ姿勢角値を修正するカメラ姿勢角値修正部と
を備えることを特徴とするカメラキャリブレーション装置。 A camera posture angle value storage unit for storing a camera posture angle value indicating a mounting angle of the camera attached to the moving body;
A first image obtained by imaging the ground with a straight line by the camera attached to the moving body, and the camera when the moving body is at a position different from the time of capturing the first image. An image storage unit for storing a second image obtained by imaging the ground;
Camera coordinates for storing a first camera coordinate value indicating the coordinate value of the camera at the time of capturing the first image and a second camera coordinate value indicating the coordinate value of the camera at the time of capturing the second image A value storage unit;
A point cloud data storage unit for storing point cloud data as data including a plurality of coordinate values indicating a plurality of points on the ground;
A designated point input unit for displaying the first image and inputting a plurality of points in the first image designated along the straight line in the displayed first image as a plurality of designated points;
Projecting a point group indicating the plurality of points on the ground on the first image based on the first camera coordinate value, the camera attitude angle value, and the plurality of coordinate values included in the point group data, A designated point calculation unit that calculates coordinate values of each of the plurality of designated points based on the point group projected on the first image;
Projecting the plurality of designated points on the second image based on the coordinate values of the plurality of designated points calculated by the designated point calculation unit, the second camera coordinate values, and the camera attitude angle values, A reference image display unit that displays the second image obtained by projecting the plurality of designated points as a reference image;
The posture angle value correction information designated for correcting the camera posture angle value is input, and the camera posture angle value stored in the camera posture angle value storage unit is input based on the input posture angle value correction information. A camera calibration apparatus comprising: a camera posture angle value correcting unit for correcting. 移動体に取り付けられたカメラの取り付け角度を示すカメラ姿勢角値を記憶するカメラ姿勢角値記憶部と、
前記移動体に取り付けられた前記カメラによって、直線が記された地面を撮像して得られる第一画像と、前記移動体が前記第一画像の撮像時とは異なる位置にいるときに前記カメラによって前記地面を撮像して得られる第二画像とを記憶する画像記憶部と、
前記第一画像の撮像時の前記カメラの座標値を示す第一のカメラ座標値と、前記第二画像の撮像時の前記カメラの座標値を示す第二のカメラ座標値とを記憶するカメラ座標値記憶部と、
前記地面の複数地点を示す複数の座標値を含むデータとして点群データを記憶する点群データ記憶部と、
前記第一画像内の前記直線に沿って前記第一画像内の複数点を複数の指定点として取得する指定点取得部と、
前記第一のカメラ座標値と前記カメラ姿勢角値と前記点群データに含まれる前記複数の座標値とに基づいて前記地面の前記複数地点を示す点群を前記第一画像に投影し、前記第一画像に投影した前記点群に基づいて前記複数の指定点それぞれの座標値を算出する指定点算出部と、
前記指定点算出部によって算出された前記複数の指定点それぞれの座標値と前記第二のカメラ座標値と前記カメラ姿勢角値とに基づいて前記複数の指定点を前記第二画像に投影し、前記複数の指定点を投影した前記第二画像を参照画像として生成する参照画像生成部と、
前記参照画像内の前記直線と前記複数の指定点とのずれに応じて、前記カメラ姿勢角値記憶部に記憶された前記カメラ姿勢角値を修正するカメラ姿勢角値修正部と
を備えることを特徴とするカメラキャリブレーション装置。 A camera posture angle value storage unit for storing a camera posture angle value indicating a mounting angle of the camera attached to the moving body;
A first image obtained by imaging the ground with a straight line by the camera attached to the moving body, and the camera when the moving body is at a position different from the time of capturing the first image. An image storage unit for storing a second image obtained by imaging the ground;
Camera coordinates for storing a first camera coordinate value indicating the coordinate value of the camera at the time of capturing the first image and a second camera coordinate value indicating the coordinate value of the camera at the time of capturing the second image A value storage unit;
A point cloud data storage unit for storing point cloud data as data including a plurality of coordinate values indicating a plurality of points on the ground;
A designated point acquisition unit that acquires a plurality of points in the first image as a plurality of designated points along the straight line in the first image;
Projecting a point group indicating the plurality of points on the ground on the first image based on the first camera coordinate value, the camera attitude angle value, and the plurality of coordinate values included in the point group data, A designated point calculation unit that calculates coordinate values of each of the plurality of designated points based on the point group projected on the first image;
Projecting the plurality of designated points on the second image based on the coordinate values of the plurality of designated points calculated by the designated point calculation unit, the second camera coordinate values, and the camera attitude angle values, A reference image generation unit that generates the second image obtained by projecting the plurality of designated points as a reference image;
A camera posture angle value correcting unit that corrects the camera posture angle value stored in the camera posture angle value storage unit in accordance with a deviation between the straight line in the reference image and the plurality of designated points. A camera calibration device. カメラ姿勢角値記憶部と画像記憶部とカメラ座標値記憶部と点群データ記憶部と指定点取得部と指定点算出部と参照画像生成部とカメラ姿勢角値修正部とを備えるカメラキャリブレーション装置を用いて実行するカメラキャリブレーション方法において、
前記カメラ姿勢角値記憶部は、移動体に取り付けられたカメラの取り付け角度を示すカメラ姿勢角値を記憶する記憶部であり、
前記画像記憶部は、前記移動体に取り付けられた前記カメラによって、直線が記された地面を撮像して得られる第一画像と、前記移動体が前記第一画像の撮像時とは異なる位置にいるときに前記カメラによって前記地面を撮像して得られる第二画像とを記憶する記憶部であり、
前記カメラ座標値記憶部は、前記第一画像の撮像時の前記カメラの座標値を示す第一のカメラ座標値と、前記第二画像の撮像時の前記カメラの座標値を示す第二のカメラ座標値とを記憶する記憶部であり、
前記点群データ記憶部は、前記地面の複数地点を示す複数の座標値を含むデータとして点群データを記憶する記憶部であり、
前記指定点取得部が、前記第一画像内の前記直線に沿って前記第一画像内の複数点を複数の指定点として取得し、
前記指定点算出部が、前記第一のカメラ座標値と前記カメラ姿勢角値と前記点群データに含まれる前記複数の座標値とに基づいて前記地面の前記複数地点を示す点群を前記第一画像に投影し、前記第一画像に投影した前記点群に基づいて前記複数の指定点それぞれの座標値を算出し、
前記参照画像生成部が、前記指定点算出部によって算出された前記複数の指定点それぞれの座標値と前記第二のカメラ座標値と前記カメラ姿勢角値とに基づいて前記複数の指定点を前記第二画像に投影し、前記複数の指定点を投影した前記第二画像を参照画像として生成し、
前記カメラ姿勢角値修正部が、前記参照画像内の前記直線と前記複数の指定点とのずれに応じて、前記カメラ姿勢角値記憶部に記憶された前記カメラ姿勢角値を修正する
ことを特徴とするカメラキャリブレーション方法。 Camera calibration including a camera attitude angle value storage unit, an image storage unit, a camera coordinate value storage unit, a point cloud data storage unit, a specified point acquisition unit, a specified point calculation unit, a reference image generation unit, and a camera attitude angle value correction unit In a camera calibration method executed using an apparatus,
The camera posture angle value storage unit is a storage unit that stores a camera posture angle value indicating an attachment angle of a camera attached to a moving body,
The image storage unit has a first image obtained by imaging the ground with a straight line by the camera attached to the moving body, and the moving body is at a position different from that at the time of capturing the first image. A storage unit that stores a second image obtained by imaging the ground with the camera when
The camera coordinate value storage unit includes a first camera coordinate value indicating a coordinate value of the camera at the time of capturing the first image and a second camera indicating a coordinate value of the camera at the time of capturing the second image. A storage unit for storing coordinate values;
The point cloud data storage unit is a storage unit that stores point cloud data as data including a plurality of coordinate values indicating a plurality of points on the ground,
The designated point obtaining unit obtains a plurality of points in the first image as a plurality of designated points along the straight line in the first image;
The designated point calculation unit calculates a point group indicating the plurality of points on the ground based on the first camera coordinate value, the camera attitude angle value, and the plurality of coordinate values included in the point group data. Projecting on one image, calculating the coordinate value of each of the plurality of designated points based on the point group projected on the first image,
The reference image generation unit determines the plurality of designated points based on the coordinate values, the second camera coordinate values, and the camera attitude angle values of the plurality of designated points calculated by the designated point calculation unit. Projecting the second image onto the second image and projecting the plurality of designated points as a reference image;
The camera posture angle value correcting unit corrects the camera posture angle value stored in the camera posture angle value storage unit according to a deviation between the straight line in the reference image and the plurality of designated points. A characteristic camera calibration method. 移動体に取り付けられたカメラの取り付け角度を示すカメラ姿勢角値を記憶するカメラ姿勢角値記憶部と、
前記移動体に取り付けられた前記カメラによって、直線が記された地面を撮像して得られる第一画像と、前記移動体が前記第一画像の撮像時とは異なる位置にいるときに前記カメラによって前記地面を撮像して得られる第二画像とを記憶する画像記憶部と、
前記第一画像の撮像時の前記カメラの座標値を示す第一のカメラ座標値と、前記第二画像の撮像時の前記カメラの座標値を示す第二のカメラ座標値とを記憶するカメラ座標値記憶部と、
前記地面の複数地点を示す複数の座標値を含むデータとして点群データを記憶する点群データ記憶部と、
前記第一画像内の前記直線に沿って前記第一画像内の複数点を複数の指定点として取得する指定点取得部と、
前記第一のカメラ座標値と前記カメラ姿勢角値と前記点群データに含まれる前記複数の座標値とに基づいて前記地面の前記複数地点を示す点群を前記第一画像に投影し、前記第一画像に投影した前記点群に基づいて前記複数の指定点それぞれの座標値を算出する指定点算出部と、
前記指定点算出部によって算出された前記複数の指定点それぞれの座標値と前記第二のカメラ座標値と前記カメラ姿勢角値とに基づいて前記複数の指定点を前記第二画像に投影し、前記複数の指定点を投影した前記第二画像を参照画像として生成する参照画像生成部と、
前記参照画像内の前記直線と前記複数の指定点とのずれ量を算出し、算出したずれ量がずれ量閾値より大きい場合、前記カメラ姿勢角値記憶部に記憶された前記カメラ姿勢角値に誤差が含まれると判定するカメラ姿勢角値修正部と
を備えることを特徴とするカメラキャリブレーション装置。 A camera posture angle value storage unit for storing a camera posture angle value indicating a mounting angle of the camera attached to the moving body;
A first image obtained by imaging the ground with a straight line by the camera attached to the moving body, and the camera when the moving body is at a position different from the time of capturing the first image. An image storage unit for storing a second image obtained by imaging the ground;
Camera coordinates for storing a first camera coordinate value indicating the coordinate value of the camera at the time of capturing the first image and a second camera coordinate value indicating the coordinate value of the camera at the time of capturing the second image A value storage unit;
A point cloud data storage unit for storing point cloud data as data including a plurality of coordinate values indicating a plurality of points on the ground;
A designated point acquisition unit that acquires a plurality of points in the first image as a plurality of designated points along the straight line in the first image;
Projecting a point group indicating the plurality of points on the ground on the first image based on the first camera coordinate value, the camera attitude angle value, and the plurality of coordinate values included in the point group data, A designated point calculation unit that calculates coordinate values of each of the plurality of designated points based on the point group projected on the first image;
Projecting the plurality of designated points on the second image based on the coordinate values of the plurality of designated points calculated by the designated point calculation unit, the second camera coordinate values, and the camera attitude angle values, A reference image generation unit that generates the second image obtained by projecting the plurality of designated points as a reference image;
Calculates a shift amount between the straight line and the plurality of specified points in the reference image, is greater than the calculated amount of displacement deviation amount threshold, the camera posture angle values stored in the camera posture angle value storage unit A camera calibration apparatus comprising: a camera posture angle value correction unit that determines that an error is included . カメラ姿勢角値記憶部と画像記憶部とカメラ座標値記憶部と点群データ記憶部と指定点取得部と指定点算出部と参照画像生成部とカメラ姿勢角値修正部とを備えるカメラキャリブレーション装置を用いて実行するカメラキャリブレーション方法において、
前記カメラ姿勢角値記憶部は、移動体に取り付けられたカメラの取り付け角度を示すカメラ姿勢角値を記憶する記憶部であり、
前記画像記憶部は、前記移動体に取り付けられた前記カメラによって、直線が記された地面を撮像して得られる第一画像と、前記移動体が前記第一画像の撮像時とは異なる位置にいるときに前記カメラによって前記地面を撮像して得られる第二画像とを記憶する記憶部であり、
前記カメラ座標値記憶部は、前記第一画像の撮像時の前記カメラの座標値を示す第一のカメラ座標値と、前記第二画像の撮像時の前記カメラの座標値を示す第二のカメラ座標値とを記憶する記憶部であり、
前記点群データ記憶部は、前記地面の複数地点を示す複数の座標値を含むデータとして点群データを記憶する記憶部であり、
前記指定点取得部が、前記第一画像内の前記直線に沿って前記第一画像内の複数点を複数の指定点として取得し、
前記指定点算出部が、前記第一のカメラ座標値と前記カメラ姿勢角値と前記点群データに含まれる前記複数の座標値とに基づいて前記地面の前記複数地点を示す点群を前記第一画像に投影し、前記第一画像に投影した前記点群に基づいて前記複数の指定点それぞれの座標値を算出し、
前記参照画像生成部が、前記指定点算出部によって算出された前記複数の指定点それぞれの座標値と前記第二のカメラ座標値と前記カメラ姿勢角値とに基づいて前記複数の指定点を前記第二画像に投影し、前記複数の指定点を投影した前記第二画像を参照画像として生成し、
前記カメラ姿勢角値修正部が、前記参照画像内の前記直線と前記複数の指定点とのずれ量を算出し、算出したずれ量がずれ量閾値より大きい場合、前記カメラ姿勢角値記憶部に記憶された前記カメラ姿勢角値に誤差が含まれると判定する
ことを特徴とするカメラキャリブレーション方法。 Camera calibration including a camera attitude angle value storage unit, an image storage unit, a camera coordinate value storage unit, a point cloud data storage unit, a specified point acquisition unit, a specified point calculation unit, a reference image generation unit, and a camera attitude angle value correction unit In a camera calibration method executed using an apparatus,
The camera posture angle value storage unit is a storage unit that stores a camera posture angle value indicating an attachment angle of a camera attached to a moving body,
The image storage unit has a first image obtained by imaging the ground with a straight line by the camera attached to the moving body, and the moving body is at a position different from that at the time of capturing the first image. A storage unit that stores a second image obtained by imaging the ground with the camera when
The camera coordinate value storage unit includes a first camera coordinate value indicating a coordinate value of the camera at the time of capturing the first image and a second camera indicating a coordinate value of the camera at the time of capturing the second image. A storage unit for storing coordinate values;
The point cloud data storage unit is a storage unit that stores point cloud data as data including a plurality of coordinate values indicating a plurality of points on the ground,
The designated point obtaining unit obtains a plurality of points in the first image as a plurality of designated points along the straight line in the first image;
The designated point calculation unit calculates a point group indicating the plurality of points on the ground based on the first camera coordinate value, the camera attitude angle value, and the plurality of coordinate values included in the point group data. Projecting on one image, calculating the coordinate value of each of the plurality of designated points based on the point group projected on the first image,
The reference image generation unit determines the plurality of designated points based on the coordinate values, the second camera coordinate values, and the camera attitude angle values of the plurality of designated points calculated by the designated point calculation unit. Projecting the second image onto the second image and projecting the plurality of designated points as a reference image;
The camera posture angle value correction unit calculates a shift amount between the straight line in the reference image and the plurality of designated points, and when the calculated shift amount is larger than a shift amount threshold value , the camera posture angle value storage unit stores It is determined that an error is included in the stored camera posture angle value. 請求項１０または請求項１２に記載のカメラキャリブレーション方法をコンピュータに実行させるためのカメラキャリブレーションプログラム。 A camera calibration program for causing a computer to execute the camera calibration method according to claim 10 or 12 .
JP2014507044A 2012-03-26 2012-03-26 Camera calibration method, camera calibration program, and camera calibration apparatus Active JP5844454B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/057707 WO2013145072A1 (en) 2012-03-26 2012-03-26 Camera calibration method, camera calibration program and camera calibration device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015225450A Division JP6062020B2 (en) 2015-11-18 2015-11-18 Designated point projection method, program and computer

Publications (2)

Publication Number Publication Date
JPWO2013145072A1 JPWO2013145072A1 (en) 2015-08-03
JP5844454B2 true JP5844454B2 (en) 2016-01-20

Family

ID=49258442

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014507044A Active JP5844454B2 (en) 2012-03-26 2012-03-26 Camera calibration method, camera calibration program, and camera calibration apparatus

Country Status (3)

Country Link
JP (1) JP5844454B2 (en)
KR (1) KR101614338B1 (en)
WO (1) WO2013145072A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021014605A1 (en) * 2019-07-24 2021-01-28
CN113489970A (en) * 2021-06-30 2021-10-08 浙江大华技术股份有限公司 Method and device for correcting pan-tilt camera, storage medium and electronic device

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102406491B1 (en) * 2014-12-01 2022-06-10 현대자동차주식회사 Electronic apparatus, control method of electronic apparatus, computer program and computer readable recording medium
KR102406489B1 (en) * 2014-12-01 2022-06-10 현대자동차주식회사 Electronic apparatus, control method of electronic apparatus, computer program and computer readable recording medium
KR102406490B1 (en) * 2014-12-01 2022-06-10 현대자동차주식회사 Electronic apparatus, control method of electronic apparatus, computer program and computer readable recording medium
JP6634842B2 (en) * 2016-01-19 2020-01-22 沖電気工業株式会社 Information processing apparatus, information processing method and program
CN105486289B (en) * 2016-01-31 2018-03-23 山东科技大学 A kind of laser photography measuring system and camera calibration method
JP6698578B2 (en) * 2017-04-19 2020-05-27 三菱電機株式会社 Antenna position measuring device
CN108053375B (en) * 2017-12-06 2020-06-05 智车优行科技（北京）有限公司 Image data correction method and device and automobile
CN110689580B (en) * 2018-07-05 2022-04-15 杭州海康机器人技术有限公司 Multi-camera calibration method and device
CN110081861B (en) * 2019-06-03 2021-06-29 淮南矿业(集团)有限责任公司 Laser rapid mapping system and mapping method based on image recognition
US10841483B1 (en) * 2019-07-11 2020-11-17 Denso International America, Inc. System and method for calibrating at least one camera and a light detection and ranging sensor
CN113420732B (en) * 2021-08-23 2022-02-01 深圳市城市交通规划设计研究中心股份有限公司 Pavement disease detection method and device and storage medium
GB2612663B (en) * 2022-05-17 2023-12-20 Envisics Ltd Head-up display calibration

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2974316B1 (en) 1998-11-25 1999-11-10 有限会社 白沙堂 Method for restoring two-dimensional position information of local coordinates from bird's-eye view photograph, system for restoring the two-dimensional position information, and computer-readable recording medium recording a program of the method
JP4511147B2 (en) * 2003-10-02 2010-07-28 株式会社岩根研究所 3D shape generator
JP2008009916A (en) * 2006-06-30 2008-01-17 Toyota Central Res & Dev Lab Inc Measuring device and measuring method
US20110205365A1 (en) 2008-10-28 2011-08-25 Pasco Corporation Road measurement device and method for measuring road
JP5361421B2 (en) * 2009-01-30 2013-12-04 三菱電機株式会社 Measuring device, laser position / orientation value correction method and laser position / orientation value correction program for measuring device
JP2011217233A (en) * 2010-04-01 2011-10-27 Alpine Electronics Inc On-vehicle camera calibration system, and computer program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021014605A1 (en) * 2019-07-24 2021-01-28
JP7223238B2 (en) 2019-07-24 2023-02-16 日本電信電話株式会社 Measuring device and measuring method
CN113489970A (en) * 2021-06-30 2021-10-08 浙江大华技术股份有限公司 Method and device for correcting pan-tilt camera, storage medium and electronic device

Also Published As

Publication number Publication date
KR20140134331A (en) 2014-11-21
KR101614338B1 (en) 2016-04-21
WO2013145072A1 (en) 2013-10-03
JPWO2013145072A1 (en) 2015-08-03

Similar Documents

Publication Publication Date Title
JP5844454B2 (en) Camera calibration method, camera calibration program, and camera calibration apparatus
JP5762131B2 (en) CALIBRATION DEVICE, CALIBRATION DEVICE CALIBRATION METHOD, AND CALIBRATION PROGRAM
JP5322789B2 (en) Model generation apparatus, model generation method, model generation program, point cloud image generation method, and point cloud image generation program
JP5361421B2 (en) Measuring device, laser position / orientation value correction method and laser position / orientation value correction program for measuring device
JP4619962B2 (en) Road marking measurement system, white line model measurement system, and white line model measurement device
US9001203B2 (en) System and program for generating integrated database of imaged map
CN102338639B (en) Information processing device and information processing method
JP2016048172A (en) Image processor, image processing method, and program
JP2016057108A (en) Arithmetic device, arithmetic system, arithmetic method and program
JP6029794B1 (en) Navigation equipment and surveying system
JP2006252473A (en) Obstacle detector, calibration device, calibration method and calibration program
JPWO2008152740A1 (en) Digital aerial 3D measurement system
JP2016048221A (en) Arithmetic unit, arithmetic method, and program
JP5716273B2 (en) Search target position specifying device, search target position specifying method and program
JP5814620B2 (en) POSITION CORRECTION DATA GENERATION DEVICE, POSITION LOCATION DEVICE, POSITION CORRECTION DATA GENERATION DEVICE POSITION CORRECTION DATA GENERATION METHOD, POSITION POSITION DEVICE POSITION POSITIONING METHOD, POSITION CORRECTION DATA GENERATION PROGRAM, AND POSITION POSITION PROGRAM
JP6305501B2 (en) Calibration method, program, and computer
JP2005091298A (en) Global coordinate acquisition device using image processing
JP2013015429A (en) Movement reference point photogrammetry apparatus and method
JP5355443B2 (en) Position correction system
JP2003083745A (en) Imaging apparatus mounted to aircraft, and aircraft imaging data processing apparatus
JP2019045319A (en) Corresponding point derivation method, and corresponding point calculation device
JPWO2020071117A1 (en) Information processing device
JP6062020B2 (en) Designated point projection method, program and computer
US20190279384A1 (en) Image processing apparatus, image processing method, and driving support system
US8903163B2 (en) Using gravity measurements within a photogrammetric adjustment

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151118

R150 Certificate of patent or registration of utility model

Ref document number: 5844454

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250