WO2006114955A1 - 撮影位置解析方法 - Google Patents

撮影位置解析方法 Download PDF

Info

Publication number
WO2006114955A1
WO2006114955A1 PCT/JP2006/305412 JP2006305412W WO2006114955A1 WO 2006114955 A1 WO2006114955 A1 WO 2006114955A1 JP 2006305412 W JP2006305412 W JP 2006305412W WO 2006114955 A1 WO2006114955 A1 WO 2006114955A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
frame
shooting
analysis
image data
Prior art date
Application number
PCT/JP2006/305412
Other languages
English (en)
French (fr)
Inventor
Kiyonari Kishikawa
Kouhei Tou
Toru Irie
Original Assignee
Geo Technical Laboratory Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Geo Technical Laboratory Co., Ltd. filed Critical Geo Technical Laboratory Co., Ltd.
Priority to US11/918,518 priority Critical patent/US8280105B2/en
Priority to JP2007514494A priority patent/JP5309291B2/ja
Priority to EP06729401A priority patent/EP1876411A4/en
Priority to CN2006800133651A priority patent/CN101163940B/zh
Priority to KR1020077019322A priority patent/KR101235815B1/ko
Publication of WO2006114955A1 publication Critical patent/WO2006114955A1/ja
Priority to HK08111251.3A priority patent/HK1119460A1/xx

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the present invention applies to moving images and other images that have multiple frame powers taken while moving.
  • the present invention relates to a technique for analyzing the shooting position of each frame.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 7-37065 synthesizes the images of each frame taken by a video camera and generates a single wide-area image. The technology used for monitoring the condition of tracks and transmission lines is disclosed.
  • Patent Document 2 Japanese Patent No. 2687645
  • Patent Document 3 Japanese Patent Application Laid-Open No. 7-71973
  • Patent Document 1 Japanese Patent Laid-Open No. 7-37065
  • Patent Document 2 Japanese Patent No. 2687645
  • Patent Document 3 Japanese Patent Laid-Open No. 7-71973
  • the accuracy of the image shooting position is not necessarily sufficient.
  • the shooting location must be specified with at least two-dimensional coordinate values such as latitude and longitude.
  • the techniques described in Patent Documents 2 and 3 have not been sufficiently studied in the direction crossing the force traveling direction that can improve the positional accuracy in the traveling direction of the vehicle.
  • the position detected by GPS since the position detected by GPS includes an error of about several tens of meters, it cannot be said that the accuracy is sufficient for various analyzes using image data. The same applies to the position detected using a gyro.
  • GPS since GPS also includes errors in time, no matter how much the position detection error is improved, it is not possible to achieve perfect synchronization with the captured image. There is a problem that the position cannot be specified with sufficient accuracy. In other words, the location specified for the GPS time may represent a location at a different time. Therefore, if the position is detected by GPS while moving, no matter how much the GPS position detection accuracy is improved, the obtained information does not represent the shooting position with sufficient accuracy.
  • the accuracy of the shooting position is low! With respect to an image, even if the resolution of the image itself is improved, an analysis that makes full use of the resolution of the image data cannot be performed. For example, if the shooting position is inaccurate, it is impossible to accurately specify the shape and position of a road sign, display on the road, building, etc. shown in the image and reflect it in the map data. Further, when images are synthesized as in the technique described in Patent Document 1, if the positional accuracy is insufficient, a shift occurs between a plurality of frame images, and a high-definition synthesized image in which the resolution of the original image is sufficiently activated is obtained. I can't.
  • an object of the present invention is to accurately specify the shooting position of each frame with respect to an image made up of a plurality of frames taken while moving.
  • Means for solving the problem The present invention can be configured as an imaging position analysis apparatus (hereinafter, also simply referred to as an “analysis apparatus”) that analyzes an imaging position of each frame using an image having a force of a plurality of frames. .
  • the imaging position analysis apparatus processes an image taken at a known timing while moving in a state where the posture angle relative to the ground surface is kept substantially constant.
  • Examples of the image that can be obtained include a moving image taken while moving with a vehicle having a photographing device fixed at a fixed posture angle. The image may be taken while walking as long as it can be held at a substantially constant posture angle. Still images taken at a plurality of positions that do not need to be moving images can also be used.
  • Each frame of the image includes a predetermined continuum photographed in common with at least one of the immediately preceding and immediately following frames. This continuum need not be common to all frames to be processed. Examples of continuum include lane markings on the road.
  • the analysis apparatus inputs the image data including the plurality of frames described above.
  • the initial trajectory of movement during shooting is input as the initial value of analysis. Assuming that the image was taken while moving on this initial trajectory, the image of each frame can be placed on the initial trajectory.
  • the analyzer temporarily sets the shooting position of each frame along the moving direction of the initial trajectory based on the shooting timing. Since the initial trajectory includes an error with respect to the shooting position, a continuum image is shifted between frames arranged on the initial trajectory.
  • the analysis device detects a shift between captured images of a continuum captured over a plurality of frames by image processing, and based on this shift, the temporarily set shooting position is moved along the initial trajectory.
  • the shooting position of each frame is analyzed by correcting in the direction. For example, if the position of the continuum is shifted to the right in the next frame relative to the previous frame, the temporarily set shooting position is corrected to the left in accordance with the amount of the shift. On the other hand, if you shift to the left! / Speak, correct the temporarily set shooting position to the right.
  • the imaging position analysis apparatus of the present invention uses the image analysis of the captured continuum to identify the error in the moving crossing direction with respect to the initial trajectory, and reflects this error to move when the actual shooting is performed.
  • actual trajectory a trajectory
  • image analysis is used for specifying the position
  • position accuracy corresponding to the resolution of the image
  • this method even if a position error is included in the actual trajectory, the consistency between images between multiple frames is sufficiently maintained, so a map using images of multiple frames is used. This has the advantage of ensuring the accuracy required for data generation and other analyses.
  • the above-mentioned image it is sufficient for the above-mentioned image to include the front or rear in the moving direction as a part of the image.
  • an image taken with a camera installed obliquely forward or obliquely rearward may be used.
  • the image even if the image is taken with a camera that is directed to the side of the moving direction, it can be used if it is taken at a sufficiently wide angle.
  • the above-mentioned image is a front or back image in the moving direction.
  • a part of the lower part of the image taken in this way may be used for the analysis of the shooting position. Since the lower part of the image is considered to be shooting a point relatively close to the shooting position, it is also suitable for improving the analysis accuracy of the shooting position.
  • Various objects photographed over a plurality of frames can be used as the continuum used for specifying the actual trajectory.
  • Large vehicles such as buses and trucks that move in the vicinity can be used, but it must be ensured that they are not moving in the crossing direction. From the standpoint that it is guaranteed that they are not moving in the crossing direction, continuums are preferred for objects fixed on the road, for example, guardrails on the roadside, building edges, etc. be able to.
  • the continuum is a lane marking of a road lane.
  • various methods can be employed for the arrangement of the frame image with respect to the initial trajectory. For example, it is possible to input movement distance information representing the relationship between the time at the time of shooting and the movement distance along the movement direction, and temporarily set the shooting position of each frame along the movement direction based on this movement distance information. ⁇ . Since the shooting time of each frame is known, the moving position information can be used to accurately identify the shooting position of each frame on the initial trajectory, and the accuracy of the two-dimensional coordinates of the finally obtained shooting position Improvements can be made. [0015] Further, based on the moving distance information, as a frame used for the analysis of the shooting position, a frame shot at every predetermined moving distance may be extracted as the intermediate force of a plurality of frame data.
  • the movement distances between the extracted frames are equal, there is an advantage that image processing such as synthesis between a plurality of frames becomes easy.
  • the required frame rate depends on the moving speed at the time of shooting and the reference moving distance at the time of frame extraction. For example, when shooting with a shooting device mounted on a vehicle that moves at a speed that is about the speed limit of a general road, the above requirements are satisfied if the moving image has a frame rate of about 30 frames Z seconds. be able to.
  • the movement distance information for example, image information obtained by photographing an object with a known interval such as a lane marking drawn intermittently on a road or a guard rail column can be used. Further, when an image is taken by a photographing device mounted on a vehicle, a vehicle speed pulse, that is, a pulse signal that is output every time the vehicle travels a certain distance may be used as the moving distance information.
  • reference position information representing the time point when the vehicle reaches an intersection or other known reference position in association with the image data.
  • the analysis apparatus can handle the imaging position (hereinafter referred to as “reference position”) at the time corresponding to the reference position information as a known one. Therefore, in the process of analysis, it is possible to initialize at least the position along the moving direction based on the reference position information, and it is possible to improve the estimation accuracy of the photographing position.
  • the reference position information can be used in various modes.
  • the frames may be arranged in the order of shooting, starting from the reference position.
  • the frames may be arranged in time series along the direction moved during shooting.
  • the frames may be arranged in the reverse order from the shooting order, starting from the reference position.
  • the frames may be arranged in the reverse order of the time series in the direction opposite to the direction of movement when shooting. V, the placement accuracy of the frame becomes higher as it is closer to the starting point in both placement methods.
  • a captured frame image or a frame image based on the frame image is captured.
  • the latter mode that is, a mode in which the reference position is set as the starting point and arranged in the reverse order of the time series
  • the closer the vehicle is to the reference position the better the position accuracy of the provided image.
  • the intersection is used as a reference position, considering that the vehicle stops before the intersection or turns at the intersection, it is preferable that the position accuracy of the image improves as it approaches the intersection. In this sense, the latter aspect described above is highly useful for generating data for navigation.
  • the imaging position may be initialized by the following method. First, horizontal image data of multiple frames is taken in the moving cross direction. As the horizontal image data, for example, an image captured by a camera installed sideways with respect to the traveling direction of the vehicle can be used. It is assumed that the position coordinates of the subject in the horizontal image data are known by referring to the map data.
  • the imaging position analysis apparatus calculates object coordinates representing the position of the subject from the horizontal image data of a plurality of frames. Since the horizontal image data of a plurality of frames corresponds to image data obtained by shooting the subject from a plurality of shooting positions, if the moving speed and the shooting time of each frame are known, the distance between the plurality of shooting positions is known.
  • the position of the subject can be obtained with reference to the shooting position.
  • the deviation between the object coordinates obtained in this way and the position coordinates recorded in the map data represents an error in the photographing position used when obtaining the object coordinates. Therefore, it is possible to initialize the photographing position, that is, correct the error based on this deviation.
  • the initial trajectory used in the present invention is used as an initial value of the analysis using the photographed image, and may be any as long as it represents an outline of the photographed trajectory.
  • road network data representing roads as nodes and links
  • the initial trajectory may be set using the output of the position detection sensor.
  • the position detection sensor a gyroscope, a distance meter, a GPS, or the like that can detect a movement locus at the time of photographing an image at least two-dimensionally within a predetermined error range can be applied.
  • the allowable error here is desirably within a range in which the error in the direction intersecting the initial trajectory can be corrected by image processing. Therefore, it is preferable that the allowable error is such that the deviation between the initial locus and the actual locus is within the angle of view of the photographing apparatus.
  • the image data may be converted into an image in a state where the continuum is photographed from the front.
  • Various methods such as affine transformation can be used for image transformation.
  • the plurality of regions and the conversion coefficient can be set so that, for example, a front-view image of the network can be obtained from image data obtained by capturing a network of a known shape.
  • the present invention may be configured as an image data acquisition device that generates image data used for the above-described analysis.
  • the image data acquisition device may include, for example, a vehicle that moves on the ground surface, a photographing device, and a moving distance information recording unit.
  • the imaging device is attached to the vehicle with the relative attitude angle kept substantially constant, and takes images, moving images, or still images consisting of a plurality of frame covers at a known timing. Of course, a plurality of imaging devices may be mounted.
  • the movement distance information recording unit records movement distance information indicating that the vehicle has moved a predetermined distance in association with the time at the time of shooting. As this travel distance information, for example, a vehicle speed pulse emitted from a vehicle car can be used. By doing so, it is possible to provide image data and travel distance information suitable for analysis to the analysis device.
  • the present invention may be configured by omitting a part that is not necessarily provided with all the features described above, or by appropriately combining them.
  • the present invention can be configured as an analysis method for analyzing a shooting position using a computer, in addition to the above-described aspects of the shooting position analysis apparatus and the image data acquisition apparatus. In addition, a cost-effective analysis is realized. It may be configured as a computer program, or may be configured as a recording medium on which this computer program is recorded.
  • the recording medium can be a flexible disk, CD-ROM, magneto-optical disk, IC card, ROM cartridge, punch card, printed matter on which a code such as a barcode is printed, an internal storage device of the computer (RAM, ROM, etc.
  • FIG. 1 is an explanatory diagram showing a configuration of an image data processing system as an embodiment.
  • the image data processing system is a system for processing moving images taken while moving around the city.
  • a shooting position analysis process that is obtained by analyzing shooting position coordinates such as latitude and longitude for each frame constituting a moving image.
  • this result is used to generate a composite image for each frame (this process is called “image composite processing”), and the data on the road surface is displayed from the composite image as data for three-dimensional map data generation.
  • roadside signs And the process of identifying the type and position of the mark (this process is called “labeling / label extraction process”).
  • the moving image whose shooting position is analyzed by the first process can also be used to measure the height of the building and the frontage on the road.
  • the image data processing system includes an image data acquisition device 100 for capturing a moving image and an image data processing device 200 for processing the moving image.
  • image data processing device 200 for processing the moving image.
  • both are configured as separate units, but may be configured as a single device.
  • the image data processing 200 may be configured as a distributed processing system having a large number of devices.
  • the image data acquisition apparatus 100 is configured by mounting various apparatuses on a vehicle.
  • the vehicle is equipped with a video camera 120 for taking a front image and a video camera 122 for taking a side image.
  • the video cameras 120 and 122 are fixed in a state where they can hold a certain posture angle with respect to the vehicle!
  • the image of the video camera 120 is used for shooting position analysis processing, as will be described later. From the viewpoint of driving, it is preferable that the video camera 120 is attached at a posture angle that is parallel to the ground surface during traveling along the longitudinal axis of the vehicle. However, a strong posture angle is not essential. For the shooting position analysis process, it is sufficient if there is an image that partially captures the front or rear of the vehicle, so the video camera 120 can be mounted in the rear, diagonally forward, or diagonally rearward direction. It is good, and if it is possible to shoot sufficiently wide angle, it may be mounted facing sideways.
  • the side images are used for applications such as extraction of signs and signs, measurement of building height and frontage. Accordingly, the number of video cameras 122 may be increased or the installation direction of the cameras may be determined according to the type and purpose of the application.
  • the vehicle is provided with a hard disk 114 for storing the acquired data as digital image data and a control unit 110 for controlling the storage and the like.
  • the control unit 110 can be configured, for example, by installing a computer program for acquiring and managing image data and the like on a general-purpose computer.
  • a GPS (Global Positioning System) 102 periodically detects vehicle position information at the time of photographing, that is, latitude and longitude, and outputs them together with the detection time. This data is combined with the image data Recorded on each hard disk 114. However, as will be described later, the output of the GPS 102 is not essential data for the analysis of the shooting position, so the GPS 102 can be omitted.
  • the vehicle speed sensor 104 outputs a signal called a vehicle speed pulse every time the vehicle moves a certain distance. The vehicle speed pulse is also recorded on the hard disk 114 together with the image data.
  • the vehicle in order to improve the analysis accuracy of the shooting position, when the reference position, that is, when the latitude and longitude pass through a known position during shooting, information of the passing time and the reference position is recorded. did.
  • the vehicle is provided with a reference position input unit 112 for performing this recording in accordance with an instruction from the operator. Similar to the control unit 110, the reference position input unit 112 can be configured by installing a computer program for realizing the reference position input function in a general-purpose computer.
  • map 132d displayed on the display
  • Map data required for map display may be recorded in advance on a recording medium such as the hard disk 114 or CD-ROM, or may be obtained from an external sano via a wireless network.
  • the input of the reference position information is not limited to the method described above, and information such as latitude and longitude may be directly input from a keyboard or the like. If the reference position to be recorded is set in advance, A code associated with the reference position may be input. Furthermore, you can omit the reference position information when shooting, and simply enter the passage time.
  • control unit 110 and the reference position input unit 112 are realized by software by installing a computer program, and these can also be configured by hardware by a dedicated circuit. is there.
  • the image data processing apparatus 200 is configured by installing a computer program for image data processing on a general-purpose computer!
  • the transfer of data from the image data acquisition device 100 to the image data processing device 200 uses the removable hard disk 114a. Not limited to this method, DVD or other recording media may be used, or transfer over a network.
  • the image data processing apparatus 200 is configured with various functional blocks shown in the figure. However, at least some of these functional blocks can also be configured in hardware using an ASIC.
  • the data input unit 206 inputs the image data generated by the image data acquisition device 100. As described above, the latitude / longitude detected by the GPS 102, the vehicle speed pulse, and the reference position information are also input together with the image data. This information is transferred to the initial trajectory setting unit 204 and the cut-out image generation unit 208.
  • the initial trajectory setting unit 204 generates an initial trajectory used in imaging position analysis processing described later.
  • the command input unit 202 inputs a command necessary for generating an initial trajectory through an operation of a mouse or a keyboard by an operator. Commands to which operator force is also input are appropriately delivered to function blocks other than the initial trajectory setting unit 204. To avoid complications in the diagram, the command is transferred to the initial trajectory setting unit 204, which is the most relevant in the figure. Only the state was shown.
  • two generation methods can be used for setting the initial trajectory.
  • One is a method of using latitude and longitude detected by GPS102.
  • the other is a method of generating using road network data without using the detection result of GPS102.
  • Road network data is data used for route search.
  • a road is represented by a link that represents the waypoint of the road as a broken line, a node that represents the intersection or end point of the link, and attribute information of the link or node.
  • Data is stored in the image data processing apparatus 200 as the network data base 220.
  • the network database 220 may also provide the power of recording media such as CD-ROMs and external servers connected via a network.
  • the image placement unit 210 identifies a position where each frame in the image data is taken along the set initial trajectory. By using this position, each frame can be placed on the initial trajectory. Therefore, in this specification, the process for determining the shooting position is sometimes referred to as “placement”.
  • the position specified here includes an error and becomes an initial value of the shooting position analysis process. For this process, vehicle speed pulses and reference position information are used. Details of the process will be described later. In this embodiment, only a part of the input image data is used in the photographing position analysis process. In order to realize this process, the cut-out image generation unit 208 executes a process of cutting out a portion used for the shooting position analysis process from each frame of the input image.
  • the cut-out image generation unit 208 may be omitted, or the cut-out image generation unit 208 may store the image. Let's just make the distortion correction.
  • the trajectory correcting unit 212 arranges a plurality of cut images on the initial trajectory, and based on the image processing for these cut images, the initial trajectory is maintained so that the continuity between the cut images is maintained. Correct. Details of this processing will be described later. By correcting the initial trajectory in this way, it is possible to obtain an accurate shooting position of each frame.
  • the image data processing device 200 outputs the shooting position obtained by the locus correction unit 212 and completes the processing of the image data.
  • the image data processing apparatus 200 of the present embodiment can execute the sign 'display extraction process using the above-described processing result.
  • the sign 'display extraction process is a process for generating a composite image obtained by combining images of a plurality of frames and specifying a position of a shape such as a sign on a road or a sign on the road based on the composite image.
  • This processing is realized by the sign'display extraction unit 214.
  • Examples of specific target signs include signs such as pedestrian crossings and arrows indicating the direction of the route, signals, road signs, and roadside trees. These signs are marked with a general shape and color in advance.
  • the sign'marking database 222 stores the general shape and color as a basic pattern.
  • the sign 'sign extraction unit 214 extracts an image corresponding to the basic pattern stored in the sign' sign database 222 from the composite image, deforms the basic pattern, and matches the composite image. Determine the exact sign 'marking shape and identify its location.
  • the image data processing device 200 manages the shape and position set in this way as the sign 'marking position data 224.
  • the sign 'marking position data 224 can be used to generate a highly realistic 3D map.
  • FIG. 2 is an explanatory diagram showing an example of mounting and connection of each device constituting the image data acquisition device 100. is there.
  • Each illustrated apparatus is detachable from the vehicle.
  • a DC power source that is taken out from the vehicle battery via the cigarette lighter socket 110b is AC-converted by a DC-AC car inverter 110c.
  • the functions of the control unit 110 and the removable hard disk 114a shown in FIG. 1 are realized by the notebook PCI 10a.
  • the detection signal of GPS102 is input to the notebook PClOa.
  • the antenna 102a of the GPS 102 is installed at a position where GPS radio waves can be received.
  • three video cameras 120a, 120b, and 120c are provided as the video cameras for photographing the front.
  • the video camera 120b is dedicated to shooting the direction guide plate.
  • the video cameras 120a, 120b, 120c and the notebook PCI 10a are connected via the IEEE interface 200a, and the time code indicating the shooting time of each frame is transmitted from the video cameras 120a, 120b, 12 Oc to the node PCI 10a.
  • the Note PClOa records this time code in association with the vehicle speed pulse and reference position information for analysis of the shooting position.
  • the video cameras 122R and 122L are cameras that capture images in the left-right direction of the vehicle.
  • the audio input of the video cameras 122R and 122L is connected to the audio output of the notebook PCI 10a.
  • the notebook PCl lOa outputs a predetermined audio pulse signal according to the vehicle speed pulse
  • the audio pulse signal is recorded on the audio track of the video cameras 122R and 122L, so that each frame and vehicle speed pulse captured during analysis are recorded.
  • a connection method using audio input / output may be applied to the video cameras 120a, 120b, and 120c.
  • the connection method using the IEEE interface may be applied to the video cameras 122R and 122L.
  • the pulse generator 104a for detecting the vehicle speed pulse is a device that magnetically detects the rotation of the rear wheel of the vehicle and generates a noise synchronized with the rotation.
  • Pioneer ND-PG1 (trademark) can be used.
  • the pulse counter 104b is a device that counts the generated pulses and outputs the count result together with the time.
  • TUSB-S01CN1 (trademark) manufactured by Turtle Industry can be used.
  • the pulse generator 104a and the pulse counter 104b are each installed in the trunk behind the vehicle.
  • the image data acquisition device 100 can be configured by a combination of commercially available devices.
  • the device since it can be attached to and detached from the vehicle, the device can be moved easily It is. For example, if each device shown in the figure is carried to a measurement location using a train, an aircraft, etc. and a vehicle is rented at the measurement location, there is an advantage that measurement can be easily performed.
  • FIG. 3 is an explanatory diagram showing the structure of image data and the like. The relationship between the frame data composing the moving image taken by the video camera 120, the vehicle speed pulse, and the reference position pulse is shown. Data group T in the upper part of the figure shows a state in which these various data are arranged on a time basis.
  • the frame data Frl to FrlO are acquired at regular time intervals. In this example, it is 30 Hz. However, a set of still images taken at an arbitrary time can be used as the frame data. In this case, the time interval may be indefinite.
  • the vehicle speed pulses P1 to P6 are acquired every time the vehicle moves a certain distance. In this embodiment, it is acquired every time it moves about 0.39 m. Since the data group T is arranged on a time basis, the interval between vehicle speed pulses changes according to the moving speed of the vehicle. For example, the reason why the distance between pulses Pl and P2 is narrow is that the moving speed was relatively high. On the other hand, the distance between pulses P2 and P3 is wide, which is the force with slow movement speed.
  • the reference position pulse is acquired when the vehicle passes a predetermined reference position such as a pedestrian crossing. Since the reference position pulse is acquired when the vehicle has moved a certain distance, it is acquired less frequently than the frame data and the vehicle speed pulse. Further, as will be described later, the reference position pulse is used as the initial position in order to improve the accuracy of the imaging position analysis process.
  • the data shown in the data group T are arranged on the basis of the moving distance at the time of photographing. Since it is the movement distance reference, the vehicle speed pulses P1 to P6 are arranged at equal intervals as shown in the figure.
  • the frame data Frl to Fr8 are arranged under the assumption that the vehicle is moving at a constant speed between the respective vehicle speed pulses. As a result, for example, the frame data Fr2 is arranged under the following rules.
  • each frame data can be arranged along the trajectory at the time of shooting, that is, the position in the direction along the trajectory can be specified.
  • the arrangement of the frame data can take various methods without depending on the illustrated method.
  • the frame data synchronized with the vehicle speed pulse may be extracted. By doing so, it is possible to generate a frame data group acquired at equidistant intervals.
  • an error within a predetermined range may be allowed between the two times in consideration of the accuracy required for the analysis of the shooting position.
  • an initial locus representing the movement locus at the time of photographing within a certain error range is set. Then, by correcting the initial trajectory by image analysis processing using frame data called feature point tracking processing, the shooting position of each frame data is obtained.
  • feature point tracking processing the initial trajectory setting method and the feature point tracking process will be described first.
  • FIG. 4 is an explanatory diagram showing a method for setting an initial trajectory.
  • the initial trajectory is set based on the latitude / longitude data acquired by the GPS 102.
  • a trajectory passing through the intersection including the roads Rl and R2 from the arrow Arl to Ar2 is taken.
  • Black in the figure The triangles represent the latitude and longitude data obtained by the GPS 102.
  • the latitude and longitude of the GPS 102 may be supplemented by using a gyro.
  • White circles represent a group of frame data obtained at equidistant intervals.
  • the white double circles CP1 and CP2 represent the points where the reference position pulse was acquired. As described above, in this embodiment, it is assumed that the reference position is lost at the pedestrian crossings CW1 and CW2.
  • the initial trajectory is set by sequentially connecting latitude and longitude obtained by the GPS 102.
  • each frame data is captured as the initial value of the imaging position analysis process as shown in FIG. A position is required.
  • the latitude and longitude obtained by the GPS 102 includes an error, the initial trajectory shown in FIG. Error) (referred to as “cross direction”).
  • the error in the moving direction is considered to be sufficiently small, and the error in the crossing direction is mainly included.
  • FIG. 5 is an explanatory diagram showing a method for setting an initial trajectory as a modification.
  • An example is shown in which the initial trajectory is set without using the latitude and longitude obtained by GPS102.
  • road network data is used instead of latitude and longitude.
  • Broken lines Ll and L2 shown in the figure represent links corresponding to roads Rl and R2, respectively.
  • Black circle N1 is a node.
  • Road network data is data representing roads by links and nodes.
  • the link is shown as a straight line, but it may be a broken line depending on the shape of the road. Links are defined by the latitude and longitude of each waypoint and end point. In addition to latitude and longitude, height information may be included.
  • a road link that has been passed at the time of shooting is used as an initial trajectory.
  • the links Ll and L2 are used as the initial trajectory.
  • Each frame data is arranged at equidistant intervals on this initial trajectory with reference to a point corresponding to the reference position pulse.
  • the initial trajectory may be divided as shown in the vicinity of the node N1, but a continuous trajectory is obtained by correcting the trajectory by the feature point tracking process described later. As if Therefore, there is no hindrance.
  • the initial locus of the modified example also includes an error with respect to the actual shooting position.
  • the error in the moving direction is relatively small, and the error in the crossing direction is mainly included.
  • FIG. 6 is an explanatory diagram showing the principle of the feature point tracking process.
  • Broken circles P tl to Pt 4 shown in the center of the figure indicate positions where frame data is arranged on the initial trajectory. The direction to move from the circle Ptl to Pt4 is the moving direction.
  • images Picl to Pic4 represented by frame data corresponding to each position are illustrated. These images are cut out from the lower part of the captured image.
  • the image Picl is obtained by cutting out the lower region indicated by the broken line in the original image Por shown in the lower part of the figure.
  • the other images Pic2 to Pic4 are cut out in the same manner.
  • an image from which the original image power is also cut out is referred to as a cut out image.
  • the initial locus error is identified and the locus is corrected.
  • the lane markings of the road's vehicle lane are used as feature points.
  • the solid line shown in the lower center of the original image Por represents the lane marking! / Speak.
  • the centers of gravity of the images Picl to Pic4 are arranged according to the initial trajectories Ptl to Pt4, respectively.
  • the feature points are sequentially shifted as indicated by a broken line FP in the figure.
  • the deviation of the feature points represents that the initial trajectory contains an error.
  • the deviation amount OS between the images Picl and Pic2 is the error in the intersecting direction of the position Pt2 when the initial trajectory position Ptl is considered as a reference. Therefore, if the position Pt2 is moved “one OS” in the crossing direction, a correct trajectory can be obtained.
  • the position thus obtained is a circle Pc2 indicated by a solid line in the figure.
  • FIG. 6 shows an example using an image that is simply cut out from the original image.
  • the distortion at the bottom of the image may be corrected by affine transformation or the like.
  • This correction makes it possible to obtain an image corresponding to a state in which the road surface is photographed from directly above the road, so that it is possible to improve the analysis accuracy of the photographing position by the feature point tracking process.
  • the lower part of the original image was cut out and used for the feature point tracking process.
  • the feature point any point where the error of the initial trajectory appears in the position shift in the image can be used.
  • a part of a continuum photographed over multiple frames, such as guardrails and buildings along the road as feature points.
  • the cut-out image used for the feature point tracking process is not limited to the lower part of the original image, and any part including the feature point can be selected. It is also possible to perform feature point tracking processing using the original image itself. However, since the feature points at the bottom of the image include the position closest to the force lens among the various parts captured in the image, the analysis accuracy of the shooting position can be improved by using the bottom of the image. Is possible.
  • distortion correction may be performed on the image by affine transformation or the like. Illustrates the procedure for setting the conversion coefficient for this distortion correction
  • FIG. 7 is a process diagram of the conversion coefficient setting method.
  • a calibration grid is arranged on the road surface ahead of the vehicle as the image data acquisition device 100 (step S100).
  • the road surface on which the dalid is arranged is preferably a flat surface having no inclination or unevenness.
  • the grid is placed in front of the vehicle at an interval d2 that allows photographing of the end line NS on the vehicle side.
  • the width W and length L of the grid can be arbitrarily set, but in order to improve the setting accuracy of the conversion coefficient, it is preferable to set the size to cover the range that can be photographed by the camera. In this example, the width W was 15 m and the length L was 3.5 m.
  • the grid mesh size dl is assigned. Can be set arbitrarily. The finer the mesh size, the better the conversion accuracy, but the memory capacity for storing the conversion coefficient increases. In this example, the mesh size dl was 5 Ocm.
  • a conversion coefficient is calculated for each mesh of the grid (step S102).
  • the figure shows the method for calculating the conversion coefficient.
  • the captured image of the grid arranged in front of the vehicle is distorted in a substantially trapezoidal shape as shown by the solid line in the figure.
  • a conversion coefficient is set for each mesh so that each mesh distorted in this way is converted into an original shape indicated by a broken line in the drawing, that is, an image when the grid is photographed with frontal force.
  • a conversion coefficient for mapping mesh G11 to mesh G21 is set.
  • set the conversion coefficient to map mesh G12 to mesh 22 are both conversion coefficients are different!
  • the conversion coefficient thus set is stored as a table (step S104) and used for distortion correction in the feature point tracking process.
  • An example of the table structure is shown in the figure.
  • a pixel photographed with a grid a pixel having a mesh G13 is represented.
  • the conversion coefficient calculated in association with mesh G13 is set, which enables accurate distortion correction for each pixel of the captured image even in the feature point tracking process.
  • the conversion coefficient is not limited to such a setting, for example, a uniform value may be used in the screen of the captured image, and it is uniform for each mesh arranged in the X direction. Try to use different values.
  • FIG. 8 is an explanatory diagram showing an example of the feature point tracking process.
  • the result of applying the feature point tracking process to the initial trajectory shown in the modified example (see Fig. 5) is shown as an example.
  • the frame data (white circles in the figure) placed on the initial trajectory is corrected for errors in the crossing direction by the feature point tracking process.
  • a locus Tr indicated by a thick line in the figure is obtained.
  • the initial trajectory is in the state of being divided in the vicinity of the node N1, as a result of correcting the position in the crossing direction, the trajectory Tr becomes continuous as shown in the figure.
  • FIG. 8 shows an example in which the reference position (double circle in the figure) itself is corrected in the crossing direction. This is because the reference position is a point where the latitude and longitude are known. For the convenience of setting the initial trajectory using the road network data, the reference position is also the road network data. This is because it is necessary to set temporarily.
  • the locus shown in the figure can be obtained by moving the reference position to a known latitude / longitude position and performing the feature point tracking process.
  • the feature point tracking process specifies the position in the crossing direction when one of the latitude and longitude of the reference position is unknown. It is also applicable when it is not possible.
  • the photographing position in the intersecting direction may be specified from the absolute position of the feature point in the image at the reference position. For example, when the center point of the road width shown in the image coincides with the midpoint of the lower part of the image at the reference position, the shooting position is specified as the center of the road. If the midpoint at the bottom of the image is an internal dividing point that divides the road width by a predetermined ratio, the shooting position is identified as a position that internally divides the road at the same ratio.
  • the reference position in the moving direction may be different from the reference position in the intersecting direction.
  • the reference position in the moving direction may be a point on a pedestrian crossing as shown in FIG. 8
  • the reference position in the intersecting direction may be a point Fra where the trajectory Tr crosses the lane marking.
  • Point Fra is the point where the lane marking is approximately in the center of the image.
  • various methods can be used to select the reference position and use the coordinates in the feature point tracking process. In the feature point tracking process, either one of the methods can be applied, or multiple methods can be used and separated based on various conditions.
  • FIG. 9 is a flowchart of the shooting position analysis process. This is a process realized by the cooperation of each functional block (see FIG. 1) of the image data processing apparatus 200, and in terms of hardware, it is a process executed by the CPU of the computer constituting the image data processing apparatus 200.
  • the CPU inputs image data, reference position information, and a vehicle speed pulse (step S10). As described with reference to FIG. 1, these data are data generated by the image data acquisition device 100, and are input to the image data processing device 200 via the removable hard disk 114a in this embodiment.
  • step S20 the CPU inputs an initial trajectory (step S20).
  • the initial trajectory when using the latitude and longitude detected by GPS102 (see Fig. 4) and the initial trajectory using road network data (see Fig. 5) should be entered. Of course, only one of them may be used.
  • road network data is used, in step S20, designation of nodes and links may be received based on a user command, and an initial trajectory may be generated.
  • the CPU places the frame data on the initial trajectory (step S30). This corresponds to the processing shown in FIG. That is, it is a process of determining the position along the initial trajectory for each input frame data using the vehicle speed pulse. By extracting the frame data corresponding to the vehicle speed pulse, the frame data can be arranged at equidistant intervals.
  • the CPU performs distortion correction by affine transformation on these frame data, cuts out the lower part of the image, and executes feature point tracking processing (steps S40 and S50). Then, the obtained shooting position data is stored in association with each frame data (step S60). These correspond to the processing described in FIG.
  • FIG. 10 is a flowchart of the feature point tracking process. This corresponds to the processing in step S50 in FIG. 9 described above.
  • the CPU inputs a cut-out image to be processed (step S51) and specifies a feature point position (step S52).
  • the feature point position is a coordinate in the X-axis direction taken in the left-right direction, that is, the direction intersecting the moving direction of the vehicle with respect to the cut image.
  • the method for obtaining the feature point position is illustrated in the figure.
  • the feature point position is obtained by analyzing a constant area Ras below the cut image.
  • the lane marking position on the road is used as a feature point, the lane marking is drawn with a white line, so the brightness is higher than other areas. Therefore, the brightness distribution as shown in the X-axis direction is obtained for the region.
  • a range D that exceeds the preset threshold Th within a range where the white line can be identified is obtained, and the median value of the range D is set as the feature point position.
  • the CPU calculates the amount of deviation from the feature point position of the immediately preceding clipped image (step S53).
  • the frame data arranged in time series along the initial trajectory is arranged immediately before the target frame data. Data. For example, when the frame data corresponding to the vehicle speed pulse is extracted from the captured frame data and arranged, it may be different from the previous data in the captured frame data.
  • the CPU repeatedly executes the above processing for all frame data (step S54), and completes the feature point tracking processing.
  • the above method is only an example! /.
  • the feature points can be set based on the edge of the building in addition to the white line.
  • the feature points are obtained based on the lightness distribution, but the feature point positions may be specified in consideration of hue and saturation.
  • an edge in a cut-out image may be extracted by image processing, and a feature point position may be obtained by specifying a line segment that can be regarded as a demarcation line. ,.
  • the shift amount may be obtained using the feature point position based on the upper area of the cut image. That is, the amount of shift between the feature point position at the top of the previous cutout image and the feature point position at the bottom of the cutout image to be processed is obtained. According to this method, there is an advantage that the above-described two cut-out images can be more accurately aligned.
  • FIG. 11 is a flowchart of a feature point tracking process as a modification.
  • the CPU first inputs two cut images [1] and [2] that are sequentially arranged (step S54). Then, the brightness difference evaluation value Ev of the connected portion is calculated while relatively shifting the positions of the cutout images [1] and [2] (step S55).
  • the brightness difference evaluation value Ev changes depending on the relative position of the cut image Pic [1] [2].
  • the change in the brightness difference evaluation value Ev is shown on the right side of the figure.
  • the extracted image Pic [l] [2] In case C, where the images match, the brightness difference evaluation value Ev is minimized.
  • the shift amount of the cut image Pic [l] [2] can be specified (step S56).
  • the CPU repeats the process until all the frame data is completed while replacing the cut image [1] with the cut image [2].
  • the feature point tracking process can also be realized by the modified method.
  • this processing has an advantage that the images can be accurately matched because the shift amount is specified based on the brightness difference between adjacent cut-out images.
  • FIG. 12 is a flowchart of the sign 'sign extraction process. This is an application process that uses the shooting position data obtained by the shooting position analysis process shown in Figs. This corresponds to the process executed by the sign / sign extraction unit 214 shown in FIG. 1, and is a process executed by the CPU of the image data processing device 200 in terms of hardware.
  • the CPU inputs the cut image and the shooting position data (step S70).
  • the cut-out image has been subjected to affine transformation as described above, and is in a state corresponding to a planar image obtained by photographing the road from above.
  • the CPU arranges each cut-out image according to the shooting position data and synthesizes the images.
  • Step S71 This arrangement means that the cut image is pasted on a plane.
  • the cutout image arrangement method is illustrated in the figure.
  • the shooting position of the cut-out image is specified by the X and y coordinates, and the movement locus of the vehicle is specified as a curve Pass.
  • the center of gravity of the clipped image Pic is Ps, and the coordinate axes in the intersecting and moving directions are Lx and Ly.
  • the cut-out image Pic is arranged so that the center of gravity Ps coincides with the above-described shooting position and the coordinate axis Ly of the image is in contact with the movement locus Pass.
  • the cut-out images are arranged two-dimensionally on the XY plane.
  • the cut-out image is arranged while smoothly changing the direction along the movement trajectory, and a flat composite image such as an aerial photograph can be obtained.
  • this composite image is near the road surface. Because the captured images are used, the resolution is several times that of aerial photographs.
  • FIGS. 10 and 9 show images are arranged along a movement trajectory accompanied by a change in the height direction (z direction).
  • a powerful trajectory can be obtained, for example, by applying a feature point tracking process (see FIGS. 10 and 9) to an initial trajectory set using the height information of road network data.
  • a composite image can be obtained even on an uphill such as a ramp to a highway.
  • images taken while traveling on the road surface are used, a two-dimensional composite image can be obtained even for parts that cannot be obtained with aerial photographs, such as roads that pass under an overpass.
  • the CPU reads the sign 'marking pattern data prepared in advance (step S72), and identifies the position that matches these pattern data by image processing of the composite image, thereby determining the position of the sign' marking. Identify (step S73).
  • the sign's sign pattern data includes, for example, a sign drawn on the road such as an arrow indicating a right / left turn restriction, a traffic signal, a road sign, and the like.
  • the CPU extracts the shape corresponding to this sign from the composite image by image processing and specifies its position. Also, if the shape prepared as pattern data is different from the sign included in the composite image, the shape of the sign indicator is enlarged or reduced by any ratio in the horizontal or vertical direction. Is identified. The same applies to road signs.
  • FIG. 13 and 14 are explanatory diagrams showing an example of processing of image data.
  • the image Porg shown in FIG. 13 is an image of the front of the vehicle taken with a video camera.
  • the image Pco is a clipped image cut out from the bottom of this image. This figure shows the state before affine transformation.
  • the image Exl in the lower part of Fig. 14 is an example of a cut-out image.
  • affine transformation is applied to this cut-out image Exl, an image surrounded by a square frame is obtained below the image Ex2.
  • an image Ex2 is obtained by preparing a cut-out image in the same way, performing affine transformation, and arranging it along the initial trajectory. That is, the image Ex2 corresponds to an image in a state where Step S30 of the shooting position analysis process (FIG. 9) is performed.
  • Step S30 of the shooting position analysis process FIG. 9
  • image Ex2 is processed It is shown for convenience to explain the contents, and in actual processing, it is not necessary to generate a composite image obtained by arranging and combining the frame data in this way.
  • Image Ex3 shows a state in which the deviation in the crossing direction is corrected by the feature point tracking process. Since this is a composite image after the shooting position of each frame data has been obtained, this corresponds to the state of step S71 in the sign 'label extraction process (FIG. 12). As can be seen from the figure, the deviation of the road marking has been resolved. By using this image, for example, it is possible to obtain the position of a sign indicating a left turn 'straight forward lane or a pedestrian crossing on the road. Further, in the example shown in the drawing, although the sign of the left turn straight ahead lane is missing depending on the vehicle, the shape of the sign can be reproduced by using the pattern data.
  • the shooting position in the direction intersecting the moving direction can be accurately obtained by the feature point tracking process.
  • the positional accuracy in the moving direction can be improved by using information indicating the moving distance at the time of photographing such as a vehicle speed pulse.
  • the shooting position of each frame data can be specified with high accuracy, and a high-resolution composite image can be obtained as shown in FIG.
  • FIG. 15 is an explanatory view showing a frame data arrangement method as a modification.
  • Shooting position solution This corresponds to a modified example of the process in step S30 of the analysis process (Fig. 9). Similar to the embodiment, an example is shown in which the frame data captured while moving in the direction from the arrow Arl to Ar2 is arranged on the initial locus set by the links Ll and L2.
  • the frame is arranged so as to reverse in time series at the time of shooting, starting from the reference position (the position of the double circle in the figure).
  • the frame data is sequentially arranged starting from the reference position as a starting point and going backward by a distance corresponding to the vehicle speed pulse, that is, at a position moved in the direction of arrow DL in the figure.
  • the position accuracy of the frame image is higher in the region E1 closer to the reference position than in the far region E2. Therefore, if such an arrangement is used to perform shooting position analysis, image synthesis, and sign 'label extraction processing (see Figs. 12-12), the accuracy of the image and the position accuracy of the extracted signs, etc.
  • the data generated in this way can be used, for example, for a guidance image of a navigation system mounted on a vehicle.
  • the data approaches the intersection corresponding to the node N1.
  • frame data may be sequentially arranged in both the moving direction and the reverse direction, starting from the reference position. That is, the arrangement method described in the embodiment (FIG. 5) and the arrangement method described in the modification (FIG. 15) may be applied in combination. By doing this, the position accuracy of the entire frame data can be improved.
  • the frame image etc. are arranged in reverse order of time series starting from the reference position. Is useful for images in which only the traffic zone moved at the time of photographing is photographed. On the other hand, for images in which the traffic zones on both sides are captured, a method of sequentially arranging frame data in both the moving direction and the reverse direction starting from the reference position is useful.
  • FIG. 6 an example in which a pedestrian crossing is used as a reference position is shown (see FIG. 6).
  • various reference positions For example, crossing This is because other reference positions can be used even when the sidewalk is so faint that it cannot be used as a reference position, or when it is not possible to shoot in other cars.
  • a building shown in an image taken by the side video cameras 122R and 122L is used.
  • FIG. 16 is an explanatory diagram showing a method for obtaining a reference position using a side image. A part of the two-dimensional map is enlarged on the top of the figure. Suppose that a side image was taken while moving from point P1 to point P2 on the road in the figure. Assume that buildings BLD1 to BLD3 are built on this road. The position coordinates (latitude and longitude) of buildings BLD1 to BLD3 are known.
  • the angle A2 increases, so the position of the edge EDG1 moves to the right in the figure.
  • This moving distance is MB.
  • the travel distance MA from point P1 to point P2 is known. Therefore, the distance DIST to the corner CNR can be determined geometrically based on the moving distances MA and MB and the angle of view A1.
  • a similar process can be applied to the other edge EDG2 of building BLD1. If the distance DIST is obtained, the actual distance between the edges EDG1 and EDG2, that is, the width of the building BLD1 can be specified based on the angle of view A1.
  • the force described as the building being photographed is the building BLD1
  • the above calculation can be performed without any trouble even if the building is photographed.
  • the image data processing apparatus 200 according to the modified example searches for a building shown in the image PIC1 based on the above calculation result.
  • the positions of the points Pl and P2 are specified within a predetermined error range. Therefore, the position coordinates of the building at the distance DIST with reference to the point P1 can be obtained within a predetermined error range.
  • the edge EDG1 and EDG2 are used in the vicinity of the position coordinates obtained by the above method.
  • a building having a width corresponding to the obtained value, that is, a building photographed in the image PIC1 can be specified, and its coordinates can be specified.
  • the error between the coordinates for which the map database power was obtained and the coordinates obtained by the calculation is the position error of point P1. Therefore, by reflecting this error, the position coordinate of the point P1 can be corrected.
  • the photographing position thus corrected can be used as a reference position.
  • the building edges EDG1 and EDG2 can be automatically specified by image processing.
  • the operator looks at the image. It was specified by drawing the edges EDG1 and EDG2 with a pointing device such as a mouse.
  • FIG. 17 is a flowchart of the reference position calculation process in the modification. This is a process for the image data processing apparatus 200 to obtain the reference position in accordance with the method described in FIG.
  • the image data processing apparatus 200 first inputs a plurality of target frames, a target building to be analyzed, and designation of its edges (step S200). Further, the photographing position of the designated target frame, that is, the position coordinate detected by GPS is input (step S202).
  • the image data processing device 200 calculates the edge moving distance MB between the target frames and the shooting position moving distance MA (see FIG. 16) (step S 204). Then, based on the moving distances MA and MB, the distance DIST between the shooting position and the target building and the width of the target building are calculated (step S206).
  • the image data processing device 200 refers to the network database 220 (see Fig. 1), and identifies a building that matches the shooting position (GPS output), distance DIST, and target building width as the target building (step S). 208).
  • the image data processing device 200 specifies the shooting position based on the distance DIST and the position of the edge in the shot image with the position of the target building as a reference (step S210). This is a process to correct the error of the shooting position by reflecting the error of the position coordinate of the target building obtained by the calculation and the error of the position coordinate obtained from the network database 220 to the shooting position as GPS output. Equivalent to.
  • the image data processing device 200 sets the shooting position thus identified as the reference position (step S211), and ends the reference position calculation process. According to the processing of the modification described above, the pedestrian crossing Even if it cannot be used as a position, since the error of the shooting position can be eliminated based on the building position, the analysis accuracy of the shooting position of each frame can be improved.
  • the shooting of the moving images described in the embodiment and the modification may be performed not only when newly creating 3D map data but also as maintenance of a region where 3D map data has already been generated.
  • the captured moving image can be used to determine whether there is any change over time, such as a new building, demolished or renovated, by comparing it with the 3D map data already prepared. In the following, this change with time will be exemplified.
  • FIG. 18 is a flowchart of the temporal change determination process.
  • the image data processing device 200 first reads a plurality of target frames and shooting positions (step S 150). In this processing, side images are used. For the shooting position, the output result of GPS is used.
  • the image data processing apparatus 200 also uses existing 3D graphics data, that is, 3D data such as a building for generating 3D map data, and the imaging position force.
  • 3D data such as a building for generating 3D map data
  • the imaging position force To generate a 2D image corresponding to the target frame (step S152). Then, it is determined whether or not there is a mismatch between the generated 2D image and the target frame by matching (step S154).
  • a known method such as template matching, DP matching, or eigenspace method may be used.
  • the reference value for judging whether or not there is a mismatch should be set within a range where it is possible to detect whether or not there is a large mismatch corresponding to a new construction or destruction of the building despite the mismatch between the 2D image and the target frame. That's fine.
  • step S156 the image data processing apparatus 200 uses the target frame for the reference position calculation process described above with reference to FIG. 17 (step S200). By using an image of a building that has been judged to have no change over time, this is a force that enables stable and accurate reference position calculation processing. The reference position calculation process is not essential and can be omitted. If there is a mismatch as a result of the matching (step S156), the image data processing device 200 performs 3D based on the target frame image. Processing for updating the graphics data is performed (step S158). When the building is newly constructed or renovated, this process includes cutting out the texture of the newly constructed or reconstructed building from the target frame image, either automatically or by operator operation.
  • the building includes the process of deleting the relevant building data from the existing graphics data.
  • the processing may be performed based on the operator's operation that does not need to be performed fully automatically. According to the time change determination process described above, it is possible to easily determine whether or not existing 3D graphics data is converted over time, and the maintenance load can be reduced.
  • FIG. 19 is a flowchart of the guide plate position coordinate analysis process. This is a process to identify the position coordinates of a guide board installed in the city from the captured image. To identify the position coordinates, the principle explained in FIG. 16, that is, the method of calculating the position coordinates of the building on the basis of the shooting position is used.
  • the image data processing device 200 reads a plurality of target frames used for analysis and the photographing positions of the respective frames (step S300).
  • the target frame a side image obtained by photographing the guide board is used, and the GPS output result or the processing result of the embodiment is used as the photographing position.
  • the image data processing device 200 inputs designation of the column position of the guide plate from the target frame (step S302).
  • a method is used in which the operator uses the pointing device to specify the line PSP by drawing a line PSP. Even if the column position is automatically specified by image analysis,
  • the image data processing device 200 calculates the position coordinates of the column according to the principle described with reference to FIG. 16 based on the column position designated in each frame and the imaging position (step S304). Then, the position coordinates obtained in this way are output (step S306), and the guide plate position coordinate analysis process is terminated.
  • the feature point tracking process is executed based on the lane marking on the road.
  • the feature point tracking process can be performed using various objects photographed in a plurality of frames. For example, guardrails, roadside buildings, and the like may be used.
  • the force specifying the position in the moving direction using the vehicle speed pulse is specified using the vehicle speed pulse.
  • Information other than the vehicle speed pulse can be used for this processing.
  • Various kinds of information can be applied as long as the information gives the relationship between the moving distance of the vehicle and the time. For example, the number of lane markings drawn by broken lines on the road and the number of guardrail posts are used in place of vehicle speed pulses.
  • the present invention can be used to analyze the shooting position of each frame of a moving image and other images that have multiple frame forces taken while moving.
  • FIG. 1 is an explanatory diagram showing a configuration of an image data processing system as an embodiment.
  • FIG. 2 is an explanatory diagram showing an example of mounting and connection of each device constituting the image data acquisition device 100.
  • FIG. 3 is an explanatory diagram showing the structure of image data and the like.
  • FIG. 9 is a flowchart of imaging position analysis processing.
  • FIG. 10 is a flowchart of feature point tracking processing.
  • FIG. 11 is a flowchart of a feature point tracking process as a modified example.
  • FIG. 12 is a flowchart of a sign 'sign extraction process.
  • FIG. 13 is an explanatory diagram showing a first example of image data processing.
  • FIG. 14 is an explanatory diagram of a second example of processing image data.
  • FIG. 16 is an explanatory diagram showing a method of obtaining a reference position using a side image.
  • FIG. 17 is a flowchart of a reference position calculation process in a modification.
  • FIG. 18 is a flowchart of a temporal change determination process.
  • FIG. 19 is a flowchart of guide plate position coordinate analysis processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Instructional Devices (AREA)
  • Navigation (AREA)

Abstract

　本発明は、移動しながら撮影された複数フレームの画像データに対し、各フレームの撮影位置を精度良く求めることを目的とする。 　画像データ取得装置１００は、車両で走行しながら正面画像をビデオカメラ１２０で撮影する。この撮影時には、車速センサ１０４で検出される車速パルスを、フレームデータに対応づけて記録する。画像データ処理装置２００は、画像の各フレームデータを、車速パルスとの対応関係に従い、初期軌跡に沿って、配置する。その後、道路区画線など、画像内に含まれる特徴点について、各フレーム間のずれ量を求める。そして、このずれ量を初期軌跡に反映させ、移動方向に交差する方向の誤差を修正することで移動軌跡を求めるとともに、各フレームの撮影位置を求める。この方法により、各フレームの撮影位置を求める精度を向上させることができる。

Description

撮影位置解析方法
技術分野
[0001] 本発明は、移動しながら撮影された動画その他の複数フレーム力 なる画像に対し
、各フレームの撮影位置を解析する技術に関する。 背景技術
[0002] 車両に搭載したビデオカメラで撮影した画像の利用に関し、種々の提案がなされて いる。例えば、これらの画像力も得られる情報は、街中の様子などをコンピュータダラ フィックスを活用した 3次元画像で再現した 3次元地図を提供するための電子地図デ ータの生成に活用することができる。また、特開平 7— 37065号公報（以下、「特許文 献 1」という）は、ビデオカメラで撮影した各フレームの画像を合成し、 1枚の広領域の 画像を生成することで、鉄道の線路や送電線の状態監視に活用する技術を開示して いる。
[0003] 上述した目的等に対し、ビデオカメラで撮影した画像を活用するためには、各フレ ームの画像を撮影した位置、例えば緯度経度など、を精度良く検出しておく必要が ある。この点に関し、特許第 2687645号公報 (以下、「特許文献 2」という。）、特開平 7— 71973号公報（以下、「特許文献 3」という。）は、通行帯の区画線として設けられ た断続白線の数や、ガードレールの支柱の数など、既知の距離を利用して車両の進 行方向の位置を特定する技術を開示している。また、位置の検出に、 GPS (Global Positioning System)やジャイロ等その他の方向センサを併用する技術も提案されて いる。
[0004] 特許文献 1 :特開平 7— 37065号公報
特許文献 2：特許第 2687645号公報
特許文献 3：特開平 7 - 71973号公報
発明の開示
発明が解決しょうとする課題 [0005] しかし、従来技術では、画像の撮影位置の精度が必ずしも十分とは言えな力つた。 撮影地点は、緯度経度など、少なくとも 2次元の座標値で位置を特定する必要がある 。特許文献 2, 3記載の技術は、車両の進行方向の位置精度の向上を図ることは可 能である力 進行方向に交差する方向にっ 、ては十分な検討がなされては 、なかつ た。また、 GPSで検出された位置は、数十 m程度の誤差が含まれているため、画像 データを用いた種々の解析に用いるのに十分な精度とは言えな 、。ジャイロ等を用 いて検出された位置も同様である。
[0006] 更に、 GPSでは時刻にも誤差が含まれているため、位置検出誤差をどれだけ向上 させたとしても、撮影した画像との完全な同期を取ることができず、結果として撮影時 の位置を十分な精度で特定できないという課題がある。つまり、 GPSである時刻に特 定された位置は、その時刻とは異なる時刻における位置を表している可能性がある のである。従って、移動しながら GPSで位置を検出すると、どれだけ GPSの位置検 出精度が向上したとしても、得られる情報は、撮影位置を十分な精度で表すものとは ならないのである。
[0007] 撮影位置の精度が低!、画像では、画像自体の解像度を向上したとしても、画像デ ータの解像度を十分に活かした解析を行うことができない。例えば、撮影位置が不正 確であれば、画像に写されている道路標識、道路上の表示、建物などの形状、位置 を精度良く特定し、地図データに反映させることができない。また、特許文献 1記載の 技術のように画像を合成する場合、位置精度が不十分では複数のフレーム画像間に ずれが生じ、原画像の解像度を十分に活力ゝした高精細な合成画像を得ることができ ない。
[0008] かかる課題は、車両に搭載して画像を撮影した時に限られるものではなぐ歩行し ながら撮影した画像など、移動しながら撮影した画像一般について同様に生じ得る。 また、動画に限らず、異なる複数地点で撮影された静止画についても同様に生じ得 る。本発明は、こうした課題に鑑み、移動しながら撮影された複数フレームカゝらなる画 像に関し、各フレームの撮影位置を精度良く特定することを目的とする。 課題を解決するための手段 [0009] 本発明は、複数フレーム力 なる画像にっ 、て、各フレームの撮影位置を解析する 撮影位置解析装置 (以下、単に「解析装置」と呼ぶこともある）として構成することがで きる。撮影位置解析装置は、地表面との相対的な姿勢角を略一定に保った状態で移 動しながら既知のタイミングで撮影された画像を処理対象とする。カゝかる画像としては 、例えば、一定の姿勢角で撮影装置を固定した車両で移動しながら撮影した動画像 が挙げられる。ほぼ一定の姿勢角に保持可能であれば歩行しながら撮影したもので あってもよい。また、動画像である必要はなぐ複数の位置で撮影された静止画像を 用いることもできる。画像の各フレームには直前直後の少なくとも一方のフレームと共 通して撮影された所定の連続体が含まれている。この連続体は、処理対象となる全フ レームに共通のものである必要はない。連続体としては、道路上の通行帯の区画線 などが挙げられる。
[0010] 解析装置は、上述した複数フレームからなる画像データを入力する。また、解析の 初期値として撮影時の移動の初期軌跡を入力する。画像がこの初期軌跡上を移動し ながら撮影されたものと仮定すれば、各フレームの画像は初期軌跡上に配置可能と なる。解析装置は、このように、撮影のタイミングに基づいて初期軌跡の移動方向に そって各フレームの撮影位置を仮設定する。初期軌跡には、撮影位置に対する誤差 が含まれているため、初期軌跡上に配置されたフレーム間では連続体の画像にずれ が生じる。
[0011] 解析装置は、複数フレームにわたって撮影されている連続体の撮影画像間のずれ を画像処理によって検出し、このずれに基づ!/、て仮設定された撮影位置を初期軌跡 の移動交差方向に修正することで各フレームの撮影位置を解析する。例えば、連続 体の位置が、前のフレームよりも次のフレームにおいて右にずれている場合には、こ のずれ量に応じて仮設定の撮影位置を左側にずらすよう修正するのである。逆に、 左にずれて!/ヽる場合には、仮設定された撮影位置を右側にずらすよう修正するので ある。本発明の撮影位置解析装置は、撮影された連続体の画像解析を用いて、初期 軌跡に対する移動交差方向の誤差を特定し、この誤差を反映させることによって実 際に撮影を行った際の移動軌跡 (以下、「実軌跡」と称する)を精度良く検出すること 、又は各フレームの撮影位置を精度良く特定することができる。この方法は、実軌跡 の特定に画像解析を利用するため、画像の解像度に見合った位置精度を実現する ことができるという利点がある。また、この方法によれば、仮に実軌跡に位置誤差が含 まれていたとしても、複数フレーム間の画像間の整合性は十分に保たれることになる ため、複数フレームの画像を用いた地図データの生成その他の解析に要求される精 度を確保することができる利点がある。
[0012] 上述の画像は、移動方向の前方または後方が画像の一部に含まれていれば足り、 例えば、斜め前、斜め後方に向けて設置したカメラで撮影した画像を用いても良い。 また、移動方向に対して真横に向けたカメラで撮影した画像であっても、十分広角で 撮影されたものであれば利用可能である。ただし、移動交差方向のずれを最も効率 的かつ精度良く検出するという観点から、上述の画像は、移動方向の正面または背 後の画像とすることが好ましい。また、撮影位置の解析には、こうして撮影された画像 の全体ではなぐ下部の一部を用いるようにしてもよい。画像の下部は、撮影位置に 比較的近い地点を撮影しているものと考えられるため、撮影位置の解析精度向上に 適している力もである。
[0013] 実軌跡の特定に用いる連続体には、複数フレームにわたって撮影される種々の対 象を用いることができる。付近を移動するバス、トラックなどの大型車両なども利用可 能ではあるが、移動交差方向に移動していないことが保証されている必要がある。交 差方向に移動していないことが保証されているという観点からは、連続体は、道路に 固定された対象が好ましぐ例えば、道路脇のガードレール、建築物のエッジなどを 連続体とすることができる。画像認識が比較的容易かつ精度良く実行可能という観点 も考慮すると、連続体は、道路の通行帯の区画線とすることが好ましい。
[0014] 本発明において、初期軌跡に対するフレーム画像の配置には種々の方法を採るこ とができる。例えば、撮影時における時刻と移動方向に沿う移動距離との関係を表す 移動距離情報を入力し、この移動距離情報に基づいて移動方向に沿う各フレームの 撮影位置を仮設定するようにしてもょ ヽ。各フレームの撮影時刻は既知であるから、 移動距離情報を用いることにより、初期軌跡上の各フレームの撮影位置を精度良く 特定することができ、最終的に得られる撮影位置の二次元座標の精度向上を図るこ とがでさる。 [0015] また、移動距離情報に基づいて、撮影位置の解析に用いるフレームとして、複数の フレームデータの中力も所定の移動距離ごとに撮影されたフレームを抽出してもよい
。この態様では、抽出されたフレーム間の移動距離は等しくなるため、複数フレーム 間の合成などの画像処理が容易となる利点がある。この態様では、単位時間当たり に撮影されるフレーム数 (以下、「フレームレート」と呼ぶ）が十分に高ぐ所定の移動 距離ごとにフレームが存在することが保証されて 、ることが望まれる。要求されるべき フレームレートは、撮影時の移動速度、フレーム抽出時の基準となる移動距離によつ て決まってくる。例えば、一般道路の制限速度程度の速さで移動する車両に搭載し た撮影装置で撮影を行う場合には、 30フレーム Z秒程度のフレームレートを有する 動画像であれば、上述の要求を満たすことができる。
[0016] 移動距離情報としては、例えば、道路上に断続的に描かれた区画線や、ガードレ ールの支柱など、間隔が既知の対象物を撮影した画像情報を用いることができる。ま た、車両に搭載した撮影装置によって画像を撮影する場合には、車両の車速パルス 、即ち車両が一定距離進行するたびに出力されるパルス信号を移動距離情報として 用いても良い。
[0017] 撮影時には、更に、画像データに対応づけて、交差点その他の既知の基準位置に 到達した時点を表す基準位置情報を記録しておくことが望ましい。こうすることで、解 析装置は、この基準位置情報に対応する時点での撮影位置 (以下、「基準位置」と称 する）は既知のものとして扱うことが可能となる。従って、解析の過程において、基準 位置情報に基づいて少なくとも移動方向に沿う位置の初期化を行うことが可能となり 、撮影位置の推定精度を向上させることができる。
[0018] 基準位置情報は種々の態様で利用可能である。例えば、基準位置を始点として、 撮影した順にフレームを配置するようにしてもよい。即ち、撮影時に移動した方向に 沿って、時系列的にフレームを配置するようにしてもよい。これに対し、基準位置を始 点として、撮影した順とは逆順にフレームを配置してもよい。即ち、撮影時に移動した 方向と逆方向に時系列に逆行する順序でフレームを配置するようにしてもょ 、。 V、ず れの配置方法でも始点に近いほどフレームの配置精度が高くなる。
[0019] 例えば、ナビゲーシヨンシステムにお 、て、撮影したフレーム画像またはこれに基づ 、て生成されたグラフィックスを車両の位置に応じて表示する状況を考える。後者の 態様、即ち基準位置を始点として時系列と逆順に配置する態様では、車両が基準位 置に近づく程、提供される画像の位置精度が向上することになる。交差点を基準位 置として活用した場合、車両は交差点の手前で止まったり、交差点で曲がったりする ことを考えると、交差点に近づくほど画像の位置精度が向上することが好ましい。この 意味で、先に説明した後者の態様は、ナビゲーシヨン用のデータ生成に有用性が高 い。
[0020] 対向する複数の通行帯が設けられて!/ヽる道路を撮影した画像を処理する場合、基 準位置を始点として時系列と逆順にフレーム画像等を配置する態様は、片側の通行 帯 (通常は、撮影時に移動した通行帯）のみが撮影されている画像に有用である。一 方、両側の通行帯が撮影された画像に対しては、基準位置を始点として、移動方向 および逆方向の双方に順次、フレームデータを配置する方法が有用となる。
[0021] 撮影位置の初期化は、次の方法で行ってもよい。まず、移動交差方向に複数フレー ムの横画像データを撮影する。横画像データとしては、例えば、車両の進行方向に 対して横向きに設置したカメラでの撮影画像を利用することができる。この横画像デ ータの被写体の位置座標は、地図データを参照することにより既知であるとする。撮 影位置解析装置は、複数フレームの横画像データから、被写体の位置を表す被写 体座標を算出する。複数フレームの横画像データは、被写体を複数の撮影位置から 撮影した画像データに相当するため、移動速度および各フレームの撮影時刻が既知 であれば、複数の撮影位置間の距離は既知となるから、三角測量の原理に従って、 撮影位置を基準として被写体の位置を求めることが可能となる。こうして求められた被 写体座標と、地図データに記録された位置座標とのずれは、被写体座標を求める際 に用いられた撮影位置の誤差を表している。従って、このずれに基づいて撮影位置 の初期化、即ち誤差の修正を行うことが可能となる。
[0022] 本発明で用いる初期軌跡は、撮影した画像を用いた解析の初期値として用いるも のであるため、撮影した軌跡の概略を表すものであればよい。例えば、道路をノード 、リンクで表した道路ネットワークデータを参照可能である場合には、撮影時に通った 軌跡をノード、リンクで指定するなどすることにより、道路ネットワークデータに基づい て初期軌跡を設定するようにしてもよ!ヽ。道路ネットワークデータが道路の高さ情報も 有している場合には、初期軌跡を 3次元的に特定することも可能となる。
[0023] 初期軌跡は、位置検出センサの出力を利用して設定してもよい。位置検出センサと しては、ジャイロおよび距離計や GPSなど、画像の撮影時の移動軌跡を所定の誤差 範囲内で少なくとも 2次元的に検出可能なものを適用可能である。ここで許容される 誤差は、画像処理によって初期軌跡に交差する方向の誤差を修正可能な範囲であ ることが望まれる。従って、許容誤差は、初期軌跡と実軌跡とのずれが撮影装置の画 角内に収まる程度であることが好ま 、。
[0024] 本発明は、撮影位置の解析に先だって、連続体を正面から撮影した状態の画像に 、画像データを変換してもよい。画像変換はァフィン変換など種々の方法を利用可能 である。画像データを複数領域に分け、各領域で異なる変換係数を用いることにより 、変換時の精度向上を図ることができる。複数領域および変換係数は、例えば、既知 形状の網状体を撮影した画像データから、当該網状体の正面視画像を得られるよう に設定することができる。
[0025] 本発明は、上述した解析に使用する画像データを生成する画像データ取得装置と して構成してもよい。画像データ取得装置は、例えば、地表面を移動する車両、撮影 装置、移動距離情報記録部を備えるものとすることができる。撮影装置は、相対的な 姿勢角を略一定に保った状態で車両に取り付けられ、既知のタイミングで複数フレー ムカゝらなる画像、動画または静止画を撮影する。もちろん、撮影装置は、この他にも 複数搭載しても構わない。移動距離情報記録部は、車両が所定距離移動したことを 示す移動距離情報を、撮影時における時刻と関連づけて記録する。この移動距離情 報としては、例えば、車両カゝら発せられる車速パルスを利用することができる。こうす ることにより、解析に適した画像データおよび移動距離情報を解析装置に提供するこ とがでさる。
[0026] 本発明は、以上で説明した特徴の全てを備えている必要はなぐ一部を省略したり 、適宜、組み合わせたりして構成してもよい。本発明は、上述した撮影位置解析装置 および画像データ取得装置としての態様の他、コンピュータを利用して撮影位置を 解析する解析方法として構成することもできる。また、カゝかる解析を実現するためのコ ンピュータプログラムとして構成してもよ 、し、このコンピュータプログラムを記録した 記録媒体として構成してもよい。この場合、記録媒体としては、フレキシブルディスク や CD— ROM、光磁気ディスク、 ICカード、 ROMカートリッジ、パンチカード、バーコ ードなどの符号が印刷された印刷物、コンピュータの内部記憶装置 (RAMや ROM などのメモリ）および外部記憶装置等、コンピュータが読取り可能な種々の媒体を利 用できる。 発明を実施するための最良の形態
[0027] 本発明の実施例について以下の順序で説明する。
A.装置構成：
B.データ構造：
C.撮影位置解析原理：
C- 1.初期軌跡：
C- 2.特徴点追跡処理：
D.撮影位置解析処理：
E.標識 ·標示抽出処理：
F.処理例：
G1.変形例〜フレームデータ配置方法：
G2.変形例〜側面画像の活用：
G3.変形例〜経時変化の特定：
G4.変形例〜案内板の位置座標解析：
[0028] A.装置構成：
図 1は実施例としての画像データ処理システムの構成を示す説明図である。画像デ ータ処理システムは、街中等を移動しながら撮影した動画像を処理するシステムであ る。処理内容としては、第 1に動画像を構成する各フレームに対し緯度経度などの撮 影位置座標を解析して求める撮影位置解析処理が挙げられる。第 2にこの結果を用 V、て各フレームの合成画像を生成し (この処理を「画像合成処理」と呼ぶ）、 3次元の 地図データ生成用のデータとして、合成画像から道路面上の標示や道路際の標識 の種別および位置を特定したりする処理 (この処理を「標示 ·標識抽出処理」と呼ぶ） が挙げられる。第 1の処理によって撮影位置が解析された動画像は、道路際の建物 の高さや間口の計測に活用することもできる。
[0029] 画像データ処理システムは、動画像を撮影するための画像データ取得装置 100と 、動画像を処理するための画像データ処理装置 200とから構成される。本実施例で は、両者を別体の構成としたが、単一の装置として構成してもよい。また、画像データ 処理 200を多数の装置力もなる分散処理システムとして構成してもよい。
[0030] 実施例の画像データ取得装置 100は、車両上に種々の装置を搭載して構成され ている。車両には、正面画像を撮影するためのビデオカメラ 120、および側方画像を 撮影するためのビデオカメラ 122が搭載されている。ビデオカメラ 120、 122は、車両 に対して一定の姿勢角を保持可能な状態で固定されて!、る。広範囲 ·高精細の画像 を効率的に取得するため、ビデオカメラ 120、 122は、ハイビジョンの広角カメラを利 用することが好ましい。
[0031] ビデオカメラ 120の画像は、後述する通り、撮影位置解析処理に利用される。カゝか る観点から、ビデオカメラ 120は車両の前後軸に沿って走行中に地表面に平行とな る姿勢角で取り付けることが好ましい。もっとも、力かる姿勢角は必須ではない。撮影 位置解析処理には、車両の前方または後方の様子が一部に撮影された画像があれ ば足りるから、ビデオカメラ 120は後方、斜め前方、斜め後方などの方向で向けて取 り付けても良いし、十分広角撮影が可能であれば真横を向けて取り付けても良い。
[0032] 側方画像は、標識'標示の抽出、建物の高さや間口の計測などのアプリケーション に利用される。従って、ビデオカメラ 122は、アプリケーションの種類および目的に応 じて、台数を増やしたり、カメラの設置方向を決定すればよい。
[0033] 車両には、取得されたデータをディジタルの画像データとして保存するためのハー ドディスク 114およびこの保存等を制御するための制御部 110が用意されて 、る。制 御部 110は、例えば、汎用のコンピュータに、画像データ等を取得 ·管理するための コンピュータプログラムをインストールすることで構成可能である。
[0034] GPS (Global Positioning System) 102は撮影時の車両の位置情報、即ち緯度経度 を周期的に検出し、検出時刻と共に出力する。このデータは、画像データと併せて種 々のハードディスク 114に記録される。もっとも、後述する通り、 GPS102の出力は、 撮影位置の解析に必須のデータではな 、ため、 GPS 102を省略することも可能であ る。車速センサ 104は、車両が一定距離移動する度に車速パルスと呼ばれる信号を 出力する。車速パルスも、画像データと併せてハードディスク 114に記録される。
[0035] 本実施例では、撮影位置の解析精度を向上させるため、撮影中に基準位置、即ち 緯度経度が既知の位置を通過した時点で、通過した時刻および基準位置の情報を 記録するものとした。車両には、オペレータの指示に従って、この記録を行うため、基 準位置入力部 112が設けられている。基準位置入力部 112は、制御部 110と同様、 汎用のコンピュータに、基準位置入力機能を実現するためのコンピュータプログラム をインストールすることで構成可能である。
[0036] 本実施例では、ディスプレイ上に表示された地図 132dにおいて、オペレータが記 録すべき基準位置をマウス等でクリックすると、クリックされた時刻および基準位置の 情報が記録される構成とした。地図表示に必要となる地図データは、ハードディスク 1 14、や CD— ROMなどの記録媒体に予め記録しておくようにしてもよいし、無線のネ ットワークを介して外部サーノから取得するようにしてもょ 、。基準位置情報の入力は 、上述の方法に限らず、緯度経度などの情報をキーボード等から直接入力するように してもよいし、記録すべき基準位置が予め設定されている場合には、それぞれの基 準位置に対応づけられたコードを入力してもよい。更には、撮影時には基準位置情 報の入力を省略し、単に通過時刻のみを入力するようにしてもょ 、。
[0037] 本実施例では、制御部 110および基準位置入力部 112を、コンピュータプログラム のインストールによってソフトウェア的に実現するものとした力、これらは専用の回路 によってハードウェア的に構成することも可能である。
[0038] 次に、画像データ処理装置 200の構成について説明する。画像データ処理装置 2 00は、汎用のコンピュータに、画像データ処理用のコンピュータプログラムをインスト ールして構成されて!、る。画像データ取得装置 100から画像データ処理装置 200へ のデータの転送は、リムーバブルハードディスク 114aを用いるものとした。かかる方 法に限らず、 DVDその他の記録媒体を用いても良いし、ネットワーク経由で転送す るようにしてちょい。 [0039] 上述のコンピュータプログラムのインストールにより、画像データ処理装置 200には 、図示する種々の機能ブロックが構成される。もっとも、これらの機能ブロックの少なく とも一部は、 ASICなどによってハードウェア的に構成することも可能である。
[0040] データ入力部 206は画像データ取得装置 100で生成された画像データを入力する 。先に説明した通り、画像データと併せて GPS102で検出された緯度経度、車速パ ルスおよび基準位置情報も入力する。この情報は、初期軌跡設定部 204および切出 画像生成部 208に受け渡される。
[0041] 初期軌跡設定部 204は、後述する撮影位置解析処理で用いられる初期軌跡を生 成する。コマンド入力部 202は、オペレータによるマウスやキーボードの操作を介して 、初期軌跡の生成のために必要なコマンドを入力する。オペレータ力も入力されるコ マンドは、適宜、初期軌跡設定部 204以外の機能ブロックにも受け渡される力 図の 煩雑ィ匕を避けるため、図中では最も関連の高い初期軌跡設定部 204に受け渡す様 子のみを示した。
[0042] 本実施例では、初期軌跡の設定には、 2通りの生成方法を採ることができる。一つ は、 GPS102で検出された緯度経度を利用する方法である。もう一つは、 GPS102 の検出結果を利用せず、道路ネットワークデータを用いて生成する方法である。道路 ネットワークデータとは、経路探索に用いられるデータであり、道路の経由地点を折 れ線で表したリンク、リンクの交点または端点を表すノード、およびリンクやノードの属 性情報によって、道路を表したデータである。本実施例では、ネットワークデータべ一 ス 220として画像データ処理装置 200内に格納してある。ネットワークデータベース 2 20は、 CD—ROMなどの記録媒体や、ネットワークを介して接続された外部サーバ など力も提供するようにしてもょ 、。
[0043] 画像配置部 210は、設定された初期軌跡に沿って、画像データ中の各フレームが 撮影された位置を特定する。この位置を用いることで各フレームを初期軌跡上に配 置することが可能となることから、本明細書では、撮影位置を決定する処理を「配置」 と呼ぶこともある。ここで特定される位置は、誤差を含むものであり、撮影位置解析処 理の初期値となる。この処理には、車速パルスや基準位置情報が用いられる。処理 の内容については後述する。 [0044] 本実施例では、撮影位置解析処理では、入力された画像データの一部のみを利 用する。この処理を実現するため、切出画像生成部 208は、入力された画像の各フ レームから、撮影位置解析処理に用いる部分を切り出す処理を実行する。この際、広 角で撮影された画像に含まれる種々の歪みを、ァフィン変換などによって補正するこ とが望ましい。画像の切り出しは必須ではなぐ各フレームの画像全体を利用して撮 影位置解析処理を実行する場合には、切出画像生成部 208を省略してもよいし、切 出画像生成部 208に画像の歪み補正のみを行わせるようにしてもょ 、。
[0045] 軌跡修正部 212は、初期軌跡上に複数の切出画像を配置し、これらの切出画像に 対する画像処理に基づいて、切出画像間の連続性が保たれるように初期軌跡を修 正する。この処理内容については後述する。このように初期軌跡を修正することによ つて、各フレームの正確な撮影位置を求めることができる。画像データ処理装置 200 は、軌跡修正部 212で求められた撮影位置を出力して画像データの処理を完了する ことちでさる。
[0046] 本実施例の画像データ処理装置 200は、上述の処理結果を利用して、標識'表示 抽出処理を実行可能である。標識'表示抽出処理とは、複数フレームの画像を合成 した合成画像を生成するとともに、この合成画像に基づいて、道路上の標示や道路 際の標識などの形状'位置を特定する処理である。この処理は、標識'表示抽出部 2 14によって実現される。特定の対象となる標識'標示としては、例えば、横断歩道や 進路方向の規制を表す矢印などの標示、信号や道路標識や街路樹などが挙げられ る。これらの標識'標示は、概略形状および色が予めきまっている。標識'標示データ ベース 222は、この概略形状および色を、基本パターンとして格納している。
[0047] 標識'標示抽出部 214は、標識'標示データベース 222に格納されている基本バタ ーンに相当する画像を合成画像カゝら抽出し、基本パターンを変形して合成画像に適 合する正確な標識'標示形状を決定するとともに、その位置を特定する。画像データ 処理装置 200は、こうして設定された形状および位置を、標識'標示位置データ 224 として管理する。標識'標示位置データ 224は、リアリティの高い 3次元地図の生成な どに利用可能である。
[0048] 図 2は画像データ取得装置 100を構成する各装置の搭載、接続例を示す説明図で ある。図示した各装置は、車両に脱着可能としてある。各装置の電源は、車両のバッ テリからシガーライターソケット 110bを経て取り出される直流電源を、 DC— ACカー インバータ 110cで交流変換して利用する。図 1で示した制御部 110およびリムーバ ブルハードディスク 114aの機能は、ノート PCI 10aで実現する。ノート PCl lOaには 、 GPS102の検出信号が入力される。 GPS102のアンテナ 102aは、 GPSの電波を 受信可能な位置に設置する。
[0049] 図の構成例では、正面を撮影するビデオカメラとして 120a、 120b, 120cの 3台が 設けられている。ビデオカメラ 120bは、方向案内板の撮影専用である。ビデオカメラ 120a, 120b, 120cとノート PCI 10aとは IEEEインタフェース 200aを介して接続さ れており、各フレームの撮影時点を示すタイムコードがビデオカメラ 120a、 120b, 12 Ocからノード PCI 10aに送信される。ノート PCl lOaは、撮影位置の解析用に、この タイムコードを車速パルスや基準位置情報と対応づけて記録しておく。
[0050] ビデオカメラ 122R、 122Lは、車両の左右方向の画像を撮影するカメラである。ビ デォカメラ 122R、 122Lの音声入力は、ノート PCI 10aの音声出力と接続されている 。ノート PCl lOaが、車速パルスに合わせて所定の音声パルス信号を出力すると、音 声パルス信号がビデオカメラ 122R、 122Lの音声トラックに記録されるため、解析時 に撮影された各フレームと車速パルスとの対応づけが可能となる。図示した接続例の 他、音声入出力を利用した接続方法を、ビデオカメラ 120a、 120b, 120cに適用し てもよい。また、 IEEEインタフェースを利用した接続方法を、ビデオカメラ 122R、 12 2Lに適用してもよ ヽ。
[0051] 車速パルスを検出するためのパルス発生器 104aは、車両の後輪の回転を磁気的 に検出し、回転に同期したノ ルスを発生する装置である。例えば、パイオニア社性の ND— PG1 (商標）を用いることができる。パルスカウンタ 104bは、発生されたパルス をカウントし、カウント結果を時刻と共に出力する装置である。例えば、タートル工業 社製の TUSB— S01CN1 (商標）を用いることができる。本実施例では、パルス発生 器 104aおよびパルスカウンタ 104bは、それぞれ車両後方のトランク内に設置した。
[0052] 図示した構成によれば、画像データ取得装置 100を市販の装置の組み合わせで 構成することができる。また、車両に対して脱着可能であるため、装置の移動が容易 である。例えば、図示した各装置を計測地まで電車、航空機などを利用して運び、計 測地で車両を借りれば、容易に計測が可能となる利点がある。
[0053] B.データ構造：
図 3は画像データ等の構造を示す説明図である。ビデオカメラ 120で撮影された動 画像を構成するフレームデータ、および車速パルス、基準位置パルスの関係を示し た。図の上方のデータ群 Tには、これらの各種データを時間基準で配置した状態を 示した。
[0054] データ群 Tに示す通り、フレームデータ Frl〜FrlOは、一定の時間間隔で取得さ れている。本実施例では 30Hzである。もっとも、フレームデータは、任意の時刻に撮 影された静止画の集合を用いることもできる。この場合、時間間隔は不定であっても 良い。
[0055] 車速パルス P1〜P6は、車両が一定距離移動するたびに取得される。本実施例で は、約 0. 39m移動するごとに取得されている。データ群 Tは時間基準で並べたもの であるため、車速パルスの間隔は車両の移動速度に応じて変化する。例えば、パル ス Pl、 P2の間が狭いのは移動速度が比較的高かったからである。逆に、パルス P2、 P3の間が広 、のは移動速度が遅かった力 である。
[0056] 基準位置パルスは、車両が横断歩道などの予め規定された基準位置を通過した時 点で取得される。基準位置パルスは、車両がある程度の距離を移動した時点で取得 されるものであるため、フレームデータおよび車速パルスに比較して、取得の頻度は 低い。また、後述する通り、基準位置パルスは、撮影位置解析処理の精度を向上さ せるために初期位置として用いられるものであるため、このように低 、頻度であっても 支障はない。
[0057] 下方のデータ群 Rには、データ群 Tに示した各データを撮影時の移動距離基準で 並べた状態を示した。移動距離基準であるため、図示する通り、車速パルス P1〜P6 が等間隔で並べられることになる。フレームデータ Frl〜Fr8は、それぞれの車速パ ルス間では車両が等速で移動しているという仮定の下で並べられる。この結果、例え ば、フレームデータ Fr2は、次の規則の下で並べられることになる。
tl :t2=rl :r2 ; tl…データ群 Tにおける車速パルス PIとフレーム Fr2との間の時間 t2…データ群 Tにおける車速パルス P2とフレーム Fr2との間の時間
rl…データ群 Rにおける車速パルス P1とフレーム Fr2との間の距離
r2…データ群 Rにおける車速パルス P2とフレーム Fr2との間の距離
他の各フレームデータおよび基準位置パルスも同様である。こうすることにより、デー タ群 Rに示すように、各フレームデータを撮影時の軌跡に沿って配置すること、即ち 軌跡に沿う方向の位置を特定することが可能となる。
[0058] フレームデータの配置は、図示した方法に依らず、種々の方法を採ることができる。
例えば、車速パルスに比較してフレームデータが十分に高い頻度で取得されている 場合には、これらのフレームデータから、車速パルスと同期しているものを抽出するよ うにしてもよい。こうすることにより、等距離間隔で取得されたフレームデータ群を生成 することが可能となる。車速パルスと同期しているフレームデータを抽出する場合、撮 影位置の解析に要求される精度を考慮し、両者の時刻間に所定範囲内の誤差を許 容してちよい。
[0059] C.撮影位置解析原理：
以下では、フレームデータの抽出により、等距離間隔で取得されたフレームデータ 群を生成した場合を例にとって、撮影位置解析処理の原理を説明する。但し、図 3の データ群 Rのように不定距離間隔でフレームデータが配置される場合でも、同様の処 理を適用可能である。
[0060] 本実施例の撮影位置解析処理では、まず撮影時の移動軌跡を一定の誤差範囲内 で表した初期軌跡を設定する。そして、特徴点追跡処理と称するフレームデータを用 いた画像解析処理によって、この初期軌跡を修正することにより、各フレームデータ の撮影位置を求める。以下では、まず初期軌跡の設定方法、特徴点追跡処理の順 に説明する。
[0061] C 1.初期軌跡：
図 4は初期軌跡の設定方法を示す説明図である。この例では、 GPS102で取得さ れた緯度経度データに基づいて初期軌跡を設定した。撮影時には、道路 Rl、 R2を 含む交差点を矢印 Arlから Ar2に向けて通過する軌跡をとつたものとする。図中の黒 い三角形は、 GPS 102で得られた緯度経度データを表している。 GPS102の緯度経 度は、ジャイロの併用などによって補完してもよい。白丸は等距離間隔で得られたフ レームデータ群を表している。また、白の二重丸 CP1、 CP2は、基準位置パルスが取 得された地点を表している。先に説明した通り、本実施例では、横断歩道 CW1、 CW 2で基準位置ノ《ルスが取得されて ヽるものとする。
[0062] 初期軌跡は、 GPS 102で得られた緯度経度を順次、結ぶことで設定される。基準 位置パルスが取得された地点を基準として、初期軌跡上に、等距離間隔で各フレー ムデータを配置することで、図 4に示すように撮影位置解析処理の初期値として、各 フレームデータの撮影位置が求められる。 GPS 102で得られる緯度経度は誤差を含 んでいるため、図 4に示す初期軌跡も撮影時の移動方向（以下、単に「移動方向」と 称する）の誤差、および移動に交差する方向（以下、「交差方向」と称する）の誤差を それぞれ含んでいることになる。ただし、基準位置パルスが得られた地点力も等距離 間隔で配置する方法を採ることにより、移動方向の誤差は十分に小さいと考えられ、 交差方向の誤差が主として含まれることになる。
[0063] 図 5は変形例としての初期軌跡の設定方法を示す説明図である。 GPS102で得ら れる緯度経度を用いずに初期軌跡を設定する例を示した。変形例では、緯度経度に 代えて、道路ネットワークデータを用いる。図中に示す破線 Ll、 L2がそれぞれ道路 Rl、 R2に対応するリンクを表している。黒丸 N1はノードである。道路ネットワークデ ータとは、このようにリンク、ノードによって道路を表したデータである。図 5では、リン クは直線状で示しているが、道路の形状によっては折れ線状となることもある。リンク はそれぞれの経由点および端点の緯度経度によって規定されている。緯度経度に 加えて高さ情報を含むこともある。
[0064] 変形例では、撮影時に通過した道路のリンクを初期軌跡として用いる。図の例で、 道路 R1から R2に至る経路を撮影に利用した場合には、リンク Ll、 L2が初期軌跡と して用いられることになる。各フレームデータは、この初期軌跡上で、基準位置パル スに対応する地点を基準として、等距離間隔で配置される。変形例の方法によれば、 ノード N1近傍に示すように初期軌跡が分断された状態となる場合があるが、後述す る特徴点追跡処理によって軌跡の修正を行うことにより、連続した軌跡が得られるよう になるため支障はない。
[0065] 変形例の初期軌跡も、実際の撮影位置に対して誤差を含んでいる。ただし、 GPS1 02の出力を利用した例（図 4参照）と同様、移動方向の誤差は比較的小さぐ主とし て交差方向の誤差が含まれて 、ると考えられる。
[0066] C- 2.特徴点追跡処理：
図 6は特徴点追跡処理の原理を示す説明図である。図の中央に示した破線の円 P tl〜Pt4は、初期軌跡上でフレームデータが配置された位置を示している。円 Ptlか ら Pt4に向力う方向が移動方向である。図の右側には、それぞれの位置に対応する フレームデータで表される画像 Picl〜Pic4を例示した。これらの画像は、撮影され た画像の下方一部を切り出したものである。例えば、画像 Piclは、図の下方に示す 原画像 Porのうち破線で示した下部領域を切り出したものである。他の画像 Pic2〜P ic4も同様にして、下部を切り出したものである。以下、このように原画像力も切り出さ れた画像を、切出画像と呼ぶものとする。
[0067] 特徴点追跡処理では、これらの画像中に含まれる特徴点の位置に基づ!/、て、初期 軌跡の誤差を特定し、軌跡を修正する。本実施例では、道路の車両通行帯の区画 線を特徴点として用いるものとした。図中の例において、原画像 Porの中央下部に示 した実線が区画線を表して！/ヽる。
[0068] 画像 Picl〜Pic4の重心を、それぞれ初期軌跡 Ptl〜Pt4に合わせて配置したとす る。この時、図中の破線 FPで示すように、特徴点が順次、ずれていったとする。初期 軌跡 Ptl〜Pt4が撮影時の軌跡を正確に表して ヽるとすれば、各画像間で特徴点の ずれは生じないはずである。つまり、特徴点のずれは、初期軌跡に誤差が含まれて いることを表している。例えば、画像 Piclと Pic2との間のずれ量 OSは、初期軌跡位 置 Ptlを基準として考えた場合に、位置 Pt2の交差方向における誤差が OSとなる。 従って、位置 Pt2を交差方向に「一 OS」移動させれば、正しい軌跡が得られることに なる。こうして得られた位置が図中の実線で示した円 Pc2である。
[0069] 他の位置 Pt3, Pt4についても同様にして、隣接する画像間の特徴点のずれ量を 求め、このずれ量に応じて交差方向の位置を修正することにより、正しい軌跡上の位 置 Pc3、 Pc4が得られる。図の例では、この処理によって、位置 Ptl, Pc2〜Pc4を通 過する実線の軌跡が得られることになる。図の左側に、画像 Picl〜Pic4の重心が実 線の軌跡上に来るように配置した例を示した。図示する通り、画像間で特徴点のずれ 力 S解消されること〖こなる。
[0070] 図 6では、原画像から単純に切り出した画像を用いた例を示した。特徴点追跡処理 に先立って、ァフィン変換などにより、画像下部の歪みを補正してもよい。本実施例 のように広角のカメラで撮影した画像データを用いる場合には、補正を施すことが好 ましい。この補正により、道路の真上から路面を撮影した状態に相当する画像を得る ことができるため、特徴点追跡処理による撮影位置の解析精度を向上させることがで きる。
[0071] 本実施例では、上述の通り、原画像の下部を切り出して特徴点追跡処理に用いた 。特徴点は、初期軌跡の誤差が画像内の位置のずれに現れる任意の点を利用可能 である。例えば、道路上の標示の他、ガードレール、道路際の建物など、複数フレー ムにわたつて撮影されている連続体の一部を特徴点として利用することが可能である 。特徴点追跡処理に用いる切出画像は、原画像の下部に限らず、特徴点を含む任 意の箇所を選択可能である。また、原画像自体を用いて特徴点追跡処理を行うことも 可能である。ただし、画像下部の特徴点は、画像内に写された種々の部位のうち、力 メラに最も近接した位置を含んでいるため、画像下部を用いることにより撮影位置の 解析精度を向上させることが可能である。
[0072] 上述の通り、特徴点追跡処理においては、ァフィン変換などにより、画像に歪み補 正を施しても良い。この歪み補正を施すための変換係数を設定する手順を例示する
[0073] 図 7は変換係数設定方法の工程図である。まず、画像データ取得装置 100としての 車両の前方路面上に、キャリブレーション用グリッドを配置する（ステップ S100)。ダリ ッドを配置する路面は、傾斜や凹凸がない平坦な面であることが好ましい。グリッドは 、車両側の端線 NSが撮影可能な程度の間隔 d2だけあけて前方に配置する。グリツ ドの幅 Wおよび長さ Lは、任意に設定可能であるが、変換係数の設定精度を向上す るためには、カメラで撮影可能な範囲を覆う程度のサイズとすることが好ましい。本実 施例では、幅 Wを 15m、長さ Lを 3. 5mとした。また、グリッドのメッシュサイズ dlも任 意に設定可能である。メッシュサイズが細かいほど、変換精度は向上するが、変換係 数を記憶しておくためのメモリ容量が増大する。本実施例では、メッシュサイズ dlは 5 Ocmとした。
[0074] 次に、グリッドの各メッシュごとに変換係数を算出する (ステップ S102)。図中に変 換係数の算出方法を示した。車両の前方に配置されたグリッドの撮影画像は、図中 に実線で示すように、略台形に歪みを生じる。このように歪んだ各メッシュを、図中に 破線で示した本来の形状、即ちグリッドを正面力 撮影した時の画像に変換するよう 、メッシュごとに変換係数を設定するのである。例えば、メッシュ G 11をメッシュ G21に 写像させる変換係数を設定する。また、メッシュ G12をメッシュ 22に写像させる変換 係数を設定する。両者の変換係数は異なって!/、ても良 、。
[0075] こうして設定された変換係数をテーブルとして格納し (ステップ S104)、特徴点追跡 処理における歪み補正に利用する。図中にテーブルの構成例を示した。本実施例で は、撮影画像 SCRの各ピクセル Pxyに対して、変換係数 Cxyl、 Cxy2"'Cxynを割 り当てるテーブルとする。例えば、グリッドを撮影した画像においてメッシュ G13が写 つているピクセルには、ステップ S102でメッシュ G13に対応づけて算出された変換 係数を設定するのである。こうすることで、特徴点追跡処理においても、撮影画像の 各ピクセルごとに、精度よく歪み補正を施すことが可能となる。変換係数は、このよう な設定に限られるものではなぐ例えば、撮影画像の画面内で統一的な値を用いるよ うにしてもょ 、し、 X方向に並んだメッシュごとに統一的な値を用いるようにしてもょ 、。
[0076] 図 8は特徴点追跡処理の例を示す説明図である。変形例で示した初期軌跡（図 5 参照）に対して特徴点追跡処理を施した結果を例示した。初期軌跡上に配置された フレームデータ（図中の白丸）は、特徴点追跡処理によって、それぞれ交差方向の誤 差が修正される。この結果、図中、太線で示した軌跡 Trが得られる。初期軌跡は、ノ ード N1の近傍で分断されたような状態となっているが、交差方向の位置が修正され る結果、図中に示すように軌跡 Trは連続的な状態となる。
[0077] 図 8では、基準位置（図中の二重丸）自体も交差方向に位置が修正されている例を 示している。これは、基準位置は緯度経度が既知の地点ではある力 道路ネットヮー クデータを利用して初期軌跡を設定する都合上、基準位置も道路ネットワークデータ 上で仮に設定する必要があるためである。基準位置を既知の緯度経度の位置に移 動させた上で、特徴点追跡処理を施すことにより、図示する軌跡を得ることができる。
[0078] 本実施例では、基準位置において緯度経度が既知であることを前提としているが、 特徴点追跡処理は基準位置の緯度経度のいずれか一方が不明の場合、即ち交差 方向の位置が特定できない場合にも適用可能である。力かる場合には、例えば、基 準位置における画像内における特徴点の絶対位置から、交差方向における撮影位 置を特定するようにすればよい。例えば、基準位置において、画像に写っている道路 幅の中央の点が画像下部の中点と一致して 、る場合には、撮影位置は道路の中央 であると特定されることになる。画像下部の中点が、道路幅を所定比で内分する内分 点となっている場合には、撮影位置は道路を同じ比率で内分する位置であると特定 されること〖こなる。
[0079] 以上の説明では、単一の基準位置を、移動方向および交差方向の双方の基準とし て用いる場合を例示した。特徴点追跡処理は、移動方向の基準位置と交差方向の 基準位置とが異なっていても良い。例えば、移動方向の基準位置は、図 8に示すよう に横断歩道上の点としつつ、交差方向の基準位置は、軌跡 Trが区画線を横切る地 点 Fraとしてもよい。地点 Fraは、区画線が画像のほぼ中央に来る地点である。このよ うに特徴点追跡処理における基準位置の選択、その座標の利用は、種々の方法を 採りうる。特徴点追跡処理では、いずれか単一の方法のみを適用するようにしてもよ V、し、種々の条件に基づ 、て複数の方法を使!、分けるようにしてもょ 、。
[0080] D.撮影位置解析処理：
図 9は撮影位置解析処理のフローチャートである。画像データ処理装置 200の各 機能ブロック（図 1参照）が協同して実現する処理であり、ハードウェア的には、画像 データ処理装置 200を構成するコンピュータの CPUが実行する処理である。
[0081] この処理を開始すると、 CPUは、画像データ、基準位置情報、車速パルスを入力 する（ステップ S10)。図 1で説明した通り、これらのデータは、画像データ取得装置 1 00によって生成されたデータであり、本実施例では、リムーバブルハードディスク 11 4aを介して画像データ処理装置 200に入力される。
[0082] 次に、 CPUは初期軌跡を入力する (ステップ S20)。本実施例では、ユーザの選択 に従って、 GPS102によって検出された緯度経度を利用する場合の初期軌跡（図 4 参照）、および道路ネットワークデータを利用した初期軌跡（図 5参照）の ヽずれかを 入力するものとした。もちろん、いずれか一方のみを利用可能としておいてもよい。道 路ネットワークデータを利用する場合には、ステップ S 20において、ユーザによるコマ ンドに基づいてノード、リンクの指定を受け付け、初期軌跡を生成するようにしてもよ い。
[0083] 初期軌跡が入力されると、 CPUは、フレームデータをこの初期軌跡上に配置する（ ステップ S30)。これは、先に図 3で示した処理に相当する。即ち、入力された各フレ ームデータについて、車速パルスを用いて、初期軌跡に沿った位置を決定する処理 である。車速パルスに対応するフレームデータを抽出することで、等距離間隔にフレ ームデータを配置する処理とすることもできる。
[0084] CPUは、これらのフレームデータに対し、ァフィン変換による歪み補正を施した上 で、画像の下部を切り出し、特徴点追跡処理を実行する (ステップ S40、 S50)。そし て、求められた撮影位置のデータを各フレームデータに対応づけて格納する（ステツ プ S60)。これらは、図 6で説明した処理に相当する。
[0085] 図 10は特徴点追跡処理のフローチャートである。上述した図 9のステップ S50の処 理に相当する。この処理では、 CPUは、処理対象となる切出画像を入力し (ステップ S51)、特徴点位置を特定する (ステップ S52)。特徴点位置は、切出画像に対して 左右方向、即ち車両の移動方向に交差する方向に取つた X軸方向の座標となる。
[0086] 図中に特徴点位置を求める方法を例示した。この例では、切出画像の更に下部の 一定領域 Rasを解析して特徴点位置を求める。道路上の区画線位置を特徴点とする 場合、区画線は白線で描かれているため、他の部分よりも明度が高い。従って、領域 に対しては、 X軸方向に図示する通りの明度分布が得られる。この中で、白線を識別 可能な範囲で予め設定された閾値 Thを超える範囲 Dを求め、この範囲 Dの中央値を 特徴点位置とする。
[0087] こうして特徴点位置が求まると、 CPUは、直前の切出画像の特徴点位置からのず れ量を算出する (ステップ S53)。直前とは、初期軌跡に沿って時系列的に配置され た複数のフレームデータのうち、対象となっているフレームデータの直前に配置され るデータを言う。例えば、撮影されたフレームデータから、車速パルスに対応するフレ ームデータを抽出して配置している場合には、撮影されたフレームデータにおける直 前のデータとは異なる場合がある。
[0088] CPUは、以上の処理を全フレームデータについて完了するまで (ステップ S54)、 繰り返し実行し、特徴点追跡処理を完了する。
[0089] 上述の方法は、一例に過ぎな!/、。特徴点は白線以外に建物のエッジなどに基づ!/、 て設定することもできる。上述の例では、明度分布に基づいて特徴点を求めているが 、色相や彩度を考慮して、特徴点位置を特定するようにしてもよい。また、別の方法と して、例えば、画像処理によって、切出画像中のエッジを抽出し、その中から、区画 線と見なせる線分を特定することで特徴点位置を求めるようにしてもょ 、。
[0090] 図 10の処理では、画像の下部の領域 Rasに基づいて特徴点位置のずれ量を求め る例を示した。これに対し、直前のフレームデータについては、切出画像の上部の領 域に基づいて特徴点位置を用いて、ずれ量を求めるようにしてもよい。つまり、直前 の切出画像の上部の特徴点位置と、処理対象となっている切出画像の下部の特徴 点位置の間のずれ量を求めることになる。この方法によれば、上述した 2つの切出画 像をより精度良く整合させることが可能となる利点がある。
[0091] 図 11は変形例としての特徴点追跡処理のフローチャートである。この処理では、 C PUは、まず連続して配置される 2枚の切出画像 [1] [2]を入力する (ステップ S54)。 そして、切出画像 [1] [2]の位置を相対的にずらしながら、接続部分の明度差評価 値 Evを算出する (ステップ S55)。
[0092] 図中に切出画像 Pic[l] [2]を対象とする明度差評価値 Evの算出方法を例示した 。ケース A〜Dは、切出画像 Pic[l]に対して切出画像 Pic[2]の交差方向の相対的 な位置を左から右に 4段階に移動させた状態をそれぞれ示して 、る。ケース Aに示す ように、この配置で切出画像 Pic [1] [2]が接する領域において、 X軸方向の座標が 同一となる画素 Pxl、 Px2の明度差の絶対値または明度差の二乗値を求め、この値 の X軸方向の総和を明度差評価値 Evとする。
[0093] 明度差評価値 Evは、切出画像 Pic [1] [2]の相対的な位置によって変化する。図 の右側に明度差評価値 Evの変化を示した。図示する通り、切出画像 Pic[l] [2]の 画像が整合するケース Cにおいて、明度差評価値 Evは最小となる。逆に、明度差評 価値 Ενが最小となる相対的な位置関係を求めれば、切出画像 Pic[l] [2]のずれ量 を特定することができる (ステップ S56)。
[0094] こうしてずれ量が求まると、 CPUは、切出画像 [1]を切出画像 [2]で置き換えながら 、全フレームデータについて完了するまで処理を繰り返す。変形例の方法によっても 、特徴点追跡処理を実現することが可能である。また、この処理では、隣接する切出 画像間の明度差に基づいてずれ量を特定するため、画像間を精度良く整合させるこ とが可能となる利点がある。
[0095] E.標識 ·標示抽出処理：
図 12は標識'標示抽出処理のフローチャートである。図 10、 9で示した撮影位置解 析処理によって求められた撮影位置データを利用して行うアプリケーションとしての 処理である。図 1に示した標識'標示抽出部 214が実行する処理に相当し、ハードウ エア的には画像データ処理装置 200の CPUが実行する処理である。
[0096] 処理を開始すると、 CPUは切出画像および撮影位置データを入力する (ステップ S 70)。切出画像は、先に説明した通りァフィン変換を施してあり、道路を上方から撮影 した平面画像に相当する状態となっている。
[0097] CPUは撮影位置データに従って、それぞれの切出画像を配置し、画像を合成する
(ステップ S71)。この配置は、切出画像を、平面上に貼り付けていくことを意味する。 図中に切出画像の配置方法を例示した。撮影位置解析処理の結果、切出画像の撮 影位置が X, y座標で特定されているものとし、車両の移動軌跡が曲線 Passのように 特定されているものとする。また、切出画像 Picの重心位置は Ps、交差方向および移 動方向の座標軸は Lx、 Lyであるものとする。この時、切出画像 Picは、重心 Psを上 述の撮影位置に一致させ、画像の座標軸 Lyが移動軌跡 Passに接する向きに配置 する。
[0098] 図の下方には、上述の方法で連続的に画像を配置した例を示した。左側には、 X— y平面において 2次元的に切出画像を配置した状態を示している。切出画像は、この ように、移動軌跡にそって滑らかに向きを変えながら配置され、航空写真のような平 面的な合成画像を得ることができる。この合成画像は、本実施例では、路面近傍で 撮影した画像を用いて 、るため、航空写真の数倍の解像度となって 、る。
[0099] 図の右側には、高さ方向（z方向）の変化を伴う移動軌跡に沿って画像を配置した 例を示した。力かる移動軌跡は、例えば、道路ネットワークデータの高さ情報を用い て設定された初期軌跡に対して特徴点追跡処理（図 10、 9参照）を適用することによ り得ることができる。このように高さ情報を用いることにより、高速道路へのランプなど の上り坂についても合成画像を得ることができる。また、路面を走行しながら撮影した 画像を利用しているため、高架下をくぐる道路のように、航空写真では得られない部 分についても平面的な合成画像を得ることができる。
[0100] CPUは、予め用意された標識'標示パターンデータを読み込み (ステップ S72)、合 成画像の画像処理によって、これらのパターンデータに適合する部位を特定すること で、標識'標示の位置を特定する (ステップ S73)。併せて、標識'標示の形状を特定 することもできる。標識'標示パターンデータには、例えば、右左折規制を表す矢印 など道路上に描かれた標示、信号機や道路標識などが含まれる。 CPUは、画像処 理によって、この標示に対応する形状を合成画像から抽出し、その位置を特定する のである。また、パターンデータとして用意された形状と、合成画像に含まれる標示と が異なる場合には、パターンデータを横方向または縦方向に任意の比で拡大'縮小 するなどして、標示'標識の形状を特定する。道路標識等についての処理も同様で ある。
[0101] F.処理例：
図 13および図 14は画像データの処理例を示す説明図である。図 13に示した画像 Porgは、ビデオカメラで撮影された車両正面の画像である。この画像の下部を切り出 した切出画像が画像 Pcoである。この図は、ァフィン変換を施す前の状態を示してい る。
[0102] 図 14の下部の画像 Exlは、切出画像の例である。この切出画像 Exlにァフィン変 換を施すと、画像 Ex2の下方に四角枠で囲った部分の画像が得られる。他のフレー ムデータについても、同様に切出画像を用意し、ァフィン変換を施した上で、初期軌 跡に沿って配置すると、画像 Ex2が得られる。つまり、画像 Ex2は、撮影位置解析処 理（図 9)のステップ S30を行った状態の画像に相当する。ただし、画像 Ex2は、処理 内容を説明するために便宜上、示したものであり、実際の処理では、このように各フレ ームデータを配置'合成した合成画像を生成する必要はない。
[0103] 画像 Ex2は、移動方向に交差する方向の位置が修正されていないため、路面の標 示が不連続となる不整合箇所が存在する。例えば、直進'左折車線であることを示す 標示 Mkは、フレームデータの境界 SLで図中の左右方向にずれて!/、ることが分かる 。画像 Ex2では、ずれを認識しやすいよう、標示 Mkに縁取りが付してある。
[0104] 画像 Ex3は、特徴点追跡処理によって交差方向のずれを修正した状態を示してい る。各フレームデータの撮影位置が求められた後の合成画像であるから、標識'標示 抽出処理（図 12)のステップ S71の状態に相当する。図から分かる通り、道路標示の ずれが解消されていることが分かる。この画像を利用することにより、例えば、道路上 の左折'直進車線を示す標示や横断歩道などの位置を求めることが可能となる。また 、図の例では、車両によって左折'直進車線の標示の一部が欠落しているものの、パ ターンデータを利用することにより、標示の形状を再現することが可能となる。
[0105] 以上で説明した本実施例の画像データ処理システムによれば、特徴点追跡処理に よって移動方向に交差する方向の撮影位置を精度良く求めることができる。また、車 速パルスのように撮影時の移動距離を表す情報を利用することにより、移動方向の 位置精度も向上させることができる。この結果、各フレームデータの撮影位置を精度 良く特定することが可能となり、図 14に示すように、高解像度の合成画像を得ることが 可能となる。
[0106] このような合成画像を活用することにより、車両で走行しながらビデオカメラで撮影 するだけで、特別な計測を行うまでなぐ路面の道路標示ゃ路側の標識の形状およ び位置を特定することが可能となる。従って、路面の様子を正確に再現した 3次元地 図データの生成に要する負担を大幅に軽減することが可能となる。これは、各フレー ムデータの撮影位置が求まった後のアプリケーションの一例に過ぎず、撮影位置が 付与されたフレームデータは、建築物の高さ推定など種々の用途に活用可能である
[0107] G1.変形例〜フレームデータ配置方法：
図 15は変形例としてのフレームデータ配置方法を示す説明図である。撮影位置解 析処理（図 9)のステップ S30の処理の変形例に相当する。実施例と同様、矢印 Arl から Ar2の方向に移動しながら撮影したフレームデータを、リンク Ll、 L2で設定され た初期軌跡上に配置する例を示した。
[0108] 変形例では、基準位置（図中の二重丸の位置)を始点として、撮影時に時系列に逆 行するようにフレームを配置する。例えば、リンク L1上では、基準位置を始点として、 車速パルスに対応した距離だけ逆行、即ち図中の矢印 DL方向に移動した位置に、 順次フレームデータを配置していく。この結果、リンク L1上では、基準位置に近い領 域 E1の方が、遠い領域 E2よりも、フレーム画像の位置精度が高くなる。従って、かか る配置を利用して、撮影位置の解析および画像の合成、標識'標示抽出処理 (図 12 〜12参照)を実行すれば、画像の精度、抽出される標識等の位置精度は基準位置 に近い程高くなる。こうして生成されたデータは、例えば、車両に搭載されたナビゲー シヨンシステムの案内画像に利用することができ、図 15中の矢印 Arlから Ar2に移動 する際には、ノード N1に対応する交差点に近づく程、高い位置精度で車両を正確か つ円滑に案内することが可能となる。ひいては車両の自動運転制御を実現することも 可能となる。
[0109] 上述の態様の更に変形例として、基準位置を始点として、移動方向および逆方向 の双方に順次、フレームデータを配置するようにしてもよい。つまり、実施例（図 5)で 説明した配置方法と、変形例（図 15)で説明した配置方法を組み合わせて適用して もよい。こうすることにより、フレームデータ全体の位置精度を向上させることができる 禾 IJ点がある。
[0110] 対向する複数の通行帯が設けられている道路を撮影した画像を処理する場合、基 準位置を始点として時系列と逆順にフレーム画像等を配置する態様は、片側の通行 帯 (通常は、撮影時に移動した通行帯）のみが撮影されている画像に有用である。一 方、両側の通行帯が撮影された画像に対しては、基準位置を始点として、移動方向 および逆方向の双方に順次、フレームデータを配置する方法が有用となる。
[0111] G2ノ変形例〜側面画像の活用：
実施例では、横断歩道を基準位置として用いる例を示した（図 6参照)。解析精度を 向上させるためには、多種多様な基準位置を併用することが好ましい。例えば、横断 歩道が基準位置として利用できない程度にかすれている場合や、他の車などに隠れ て撮影できない場合にも、他の基準位置が活用可能となるからである。変形例では、 このような基準位置の一例として、側面用のビデオカメラ 122R、 122L (図 2参照）で 撮影した画像に写されている建物を利用する例を示す。
[0112] 図 16は側面画像を活用して、基準位置を求める方法を示す説明図である。図の上 方には二次元地図の一部を拡大して示した。図中の道路上を点 P1から点 P2に移動 しながら側面画像を撮影したとする。この道路には、ビル BLD1〜BLD3が建ってい るとする。ビル BLD1〜BLD3の位置座標 (緯度、経度）は既知である。
[0113] 点 P1において実線で示す画角 A1でビルを撮影した場合を考える。図の下方に示 す通り、この時点での画像 PIC1には、ビル BLD1、 BLD2が撮影される。点 P2に移 動すると、破線で示す画角でビルが撮影される。点 Pl、 P2でそれぞれ撮影された画 像を比較すると、ビル BLD1のコーナー CNRの位置が相対的に移動する。点 P1とコ ーナー CNRを結ぶ線と画角の端線とのなす角度を角度 A2とすると、点 P1の時点で は、コーナー CNRに対応するエッジ EDG1は画面 PIC1の幅 SCを A2ZA1で内分 した点に写る。点 P2の時点では、角度 A2が大きくなるため、エッジ EDG1の位置は 図中の右方向に移動する。この移動距離を MBとする。点 P1から点 P2までの移動距 離 MAは既知である。従って、移動距離 MA、 MBおよび画角 A1に基づき、幾何学 的に撮影位置力もコーナー CNRまでの距離 DISTを決定することができる。同様の 処理はビル BLD1の他方のエッジ EDG2に対しても行うことができる。また、距離 DIS Tが求まれば、画角 A1に基づき、エッジ EDG1、 EDG2間の実際の距離、即ちビル BLD1の幅を特定することができる。
[0114] 撮影されている建物がビル BLD1であるものとして説明した力 上述の演算は、との 建物が撮影されて 、るか特定できて 、な 、状態でも支障なく行うことができる。変形 例の画像データ処理装置 200は、上述の演算結果に基づいて画像 PIC1に写され ている建物を検索する。変形例においても、点 Pl、 P2の位置は所定の誤差範囲内 で特定されている。従って、点 P1を基準として距離 DISTの位置にある建物の位置 座標を所定の誤差範囲内で求めることができる。また、地図データベースを参照する ことにより、上述の方法で求められた位置座標の近傍で、エッジ EDG1、 EDG2から 求められた値に相当する幅を有する建物、即ち画像 PIC1に撮影された建物を特定 することができ、その座標を特定することができる。地図データベース力も得られた座 標と、演算で求められた座標との誤差は、点 P1の位置誤差である。従って、この誤差 を反映することにより、点 P1の位置座標を修正することができる。こうして修正された 撮影位置は、基準位置として用いることができる。
[0115] 上述の処理において、建物のエッジ EDG1、 EDG2は、画像処理によって自動的 に特定することも可能ではあるが、変形例では、精度良く特定可能とするため、オペ レータが画像を見ながらマウス等のポインティングデバイスによってエッジ EDG1、E DG2を引くことで指定するものとした。
[0116] 図 17は変形例における基準位置算出処理のフローチャートである。図 16で説明し た方法に従って、画像データ処理装置 200が基準位置を求めるための処理である。 画像データ処理装置 200は、まず複数の対象フレーム、解析の対象となる対象ビル 、およびそのエッジの指定を入力する (ステップ S 200)。また、指定された対象フレー ムの撮影位置、即ち GPSで検出された位置座標を入力する (ステップ S202)。
[0117] 次に、画像データ処理装置 200は、対象フレーム間でのエッジの移動距離 MB、お よび撮影位置の移動距離 MA (図 16参照)を算出する (ステップ S204)。そして、移 動距離 MA、 MBに基づき、撮影位置と対象ビルとの距離 DIST、および対象ビルの 幅を算出する（ステップ S206)。画像データ処理装置 200は、ネットワークデータべ ース 220 (図 1参照)を参照して、撮影位置 (GPS出力）、距離 DIST、対象ビルの幅 に適合するビルを対象ビルとして特定する (ステップ S 208)。
[0118] こうして対象ビルが特定されると、ネットワークデータベース 220から、対象ビルの座 標を得ることができる。従って、画像データ処理装置 200は、対象ビルの位置を基準 として、距離 DISTおよび撮影画像内のエッジの位置に基づいて、撮影位置を特定 する (ステップ S210)。これは、演算で得られた対象ビルの位置座標と、ネットワーク データベース 220から得られた位置座標の誤差を、 GPS出力としての撮影位置に反 映することで、撮影位置の誤差を修正する処理に相当する。画像データ処理装置 20 0は、こうして特定された撮影位置を基準位置として設定し (ステップ S211)、基準位 置算出処理を終了する。以上で説明した変形例の処理によれば、横断歩道を基準 位置として利用できな 、場合でも、建物位置に基づ 、て撮影位置の誤差を解消する ことができるため、各フレームの撮影位置の解析精度を向上することが可能となる。
[0119] G3.変形例〜経時変化の特定：
実施例および変形例で説明してきた動画の撮影は、必ずしも新規に 3次元地図デ ータを作成する時だけでなぐ既に 3次元地図データが生成された地域のメンテナン スとして行う場合もある。この場合には、撮影された動画像は、既に用意された 3次元 地図データとの比較によって、建物の新築や取り壊し、改築などの経時変化の有無 を判定するために活用することができる。以下では、この経時変化判定について例示 する。
[0120] 図 18は経時変化判定処理のフローチャートである。この処理では、画像データ処 理装置 200は、まず複数の対象フレームおよび撮影位置を読み込む (ステップ S 150 )。この処理では、側面画像を活用するものとした。撮影位置は、 GPSの出力結果を 用いる。
[0121] 画像データ処理装置 200は、また、既存の 3Dグラフィックスデータ、即ち 3次元地 図データを生成するための建物等の 3次元データを用いて、撮影位置力 これらの 建物を見た画像を生成することで、対象フレームに対応する 2D画像を生成する (ス テツプ S152)。そして、こうして生成された 2D画像と、対象フレームとのマッチングに よって両者の不整合の有無を判断する（ステップ S 154)。画像間のマッチングには、 テンプレートマッチング、 DPマッチング、固有空間法など周知の方法を用いればよい 。不整合の有無を判断する基準値は、 2D画像と対象フレームとの間の不整合のに、 建物の新築、取り壊し等に相当する大きな不整合がある力否かを検出可能な範囲で 設定すればよい。
[0122] 画像データ処理装置 200は、マッチングの結果、不整合がない場合には (ステップ S156)、対象フレームを先に図 17で説明した基準位置算出処理に活用する (ステツ プ S200)。経時変化がないと判断される建物が撮影された画像を用いることにより、 基準位置算出処理を精度良く安定して行うことができる力 である。基準位置算出処 理は必須ではなぐ省略しても差し支えない。マッチングの結果、不整合がある場合 には (ステップ S156)、画像データ処理装置 200は、対象フレーム画像に基づき 3D グラフィックスデータを更新する処理を行う（ステップ S158)。建物が新築または改築 されている場合、この処理には、対象フレーム画像から、自動またはオペレータの操 作によって、新築または改築された建物のテクスチャを切り出す処理が含まれる。建 物が取り壊されている場合には、既存のグラフィックスデータから、該当する建物のデ ータを削除する処理が含まれる。いずれの場合においても、全自動で処理する必要 はなぐオペレータの操作に基づいて処理するようにしてもよい。以上で説明した経 時変化判定処理によれば、既存の 3Dグラフィックスデータの経時変換の有無を容易 に判断することができ、メンテナンスの負荷を軽減することができる。
[0123] G4.変形例〜案内板の位置座標解析： 図 19は案内板位置座標解析処理のフロ 一チャートである。街中に設置されている案内板の位置座標を、撮影された画像から 特定するための処理である。位置座標の特定には、図 16で説明した原理、即ち撮影 位置を基準として建物の位置座標を算出する方法を用いる。
[0124] 画像データ処理装置 200は、解析に用いる複数の対象フレームおよび各フレーム の撮影位置を読み込む (ステップ S300)。対象フレームとしては、案内板を撮影した 、側面画像を用い、撮影位置は GPSの出力結果、または実施例の処理結果を用い る。
[0125] 次に、画像データ処理装置 200は、対象フレーム中から案内板の支柱位置の指定 を入力する (ステップ S302)。ここでは、図示するように案内板 SPを写した画像中で 、ポインティングデバイスを用いてオペレータが支柱位置に線 PSPを引くことで指定 する方法を採った。画像解析によって自動的に支柱位置を特定するようにしてもょ 、
[0126] 画像データ処理装置 200は、各フレームで指定された支柱位置、および撮影位置 に基づき、図 16で説明した原理に従って支柱の位置座標を算出する (ステップ S30 4)。そして、こうして得られた位置座標を出力して (ステップ S306)、案内板位置座標 解析処理を終了する。ネットワークデータベースを参照して、算出された位置座標が 異常な値となっていないことを確認してもよい。例えば、算出された位置座標が道路 や歩道の中央となっている場合には、異常な結果と判断することができる。
[0127] 以上の処理によれば、比較的容易に、案内板を適切な位置に設置した状態で 3D 地図データを作成することができる。案内板はネットワークデータベースなど既存の データからは位置座標が得られないのが通常である。案内板は、交差点付近に設置 されて 、るのが通常であるとは 、え、現実の位置とあまりに異なる場所に設置した状 態で作成された 3D地図データでは、力えって利用者を混乱させるおそれもある。上 述の処理によれば、案内板の動画を撮影すれば位置を解析することができるため、 案内板の位置座標を測量するほどの負荷をかけるまでなぐ上述の課題を回避し、 現実の状態に即した 3D地図データを提供することが可能となる利点がある。
[0128] 以上、本発明の種々の実施例について説明した力 本発明はこれらの実施例に限 定されず、その趣旨を逸脱しない範囲で種々の構成を採ることができることはいうま でもない。例えば、実施例では、道路上の区画線に基づいて特徴点追跡処理を実行 した。特徴点追跡処理は、複数フレームに撮影されている種々の対象を用いて行うこ とが可能である。例えば、ガードレール、路側の建築物などを利用してもよい。
[0129] 実施例では、車速パルスを用いて移動方向の位置を特定した力 この処理には、 車速パルス以外の情報を用いることも可能である。車両の移動距離と時刻との関係 を与える情報であれば、種々の情報を適用可能である。例えば、道路上の破線で描 かれた区画線の通過本数、ガードレールの支柱の本数などを車速パルスに代えて用 いることちでさる。 産業上の利用の可能性
[0130] 本発明は、移動しながら撮影された動画その他の複数フレーム力もなる画像につ いて、各フレームの撮影位置を解析するために利用可能である。 図面の簡単な説明
[0131] [図 1]実施例としての画像データ処理システムの構成を示す説明図である。
[図 2]画像データ取得装置 100を構成する各装置の搭載、接続例を示す説明図であ る。
[図 3]画像データ等の構造を示す説明図である。
圆 4]初期軌跡の設定方法を示す説明図である。 圆 5]変形例としての初期軌跡の設定方法を示す説明図である。
圆 6]特徴点追跡処理の原理を示す説明図である。
圆 7]変換係数設定方法の工程図である。
圆 8]特徴点追跡処理の例を示す説明図である。
[図 9]撮影位置解析処理のフローチャートである。
[図 10]特徴点追跡処理のフローチャートである。
[図 11]変形例としての特徴点追跡処理のフローチャートである。
[図 12]標識'標示抽出処理のフローチャートである。
[図 13]画像データの処理例 (その 1)を示す説明図である。
[図 14]画像データの処理例 (その 2)を示す説明図である。
圆 15]変形例としてのフレームデータ配置方法を示す説明図である。 圆 16]側面画像を活用して、基準位置を求める方法を示す説明図である。
[図 17]変形例における基準位置算出処理のフローチャートである。
[図 18]経時変化判定処理のフローチャートである。
[図 19]案内板位置座標解析処理のフローチャートである。

Claims

請求の範囲
[1] 地表面との相対的な姿勢角を略一定に保った状態で移動しながら既知のタイミン グで撮影された複数フレーム力 構成され、前記各フレームには直前直後の少なくと も一方のフレームと共通して撮影された所定の連続体が含まれている画像に関し、 各フレームの撮影位置を解析する撮影位置解析装置であって、
前記複数フレームからなる画像データを入力する入力部と、
前記解析の初期値として前記移動の初期軌跡を入力する初期軌跡入力部と、 前記撮影のタイミングに基づいて前記初期軌跡の移動方向にそって前記各フレー ムの撮影位置を仮設定するとともに、前記所定の連続体について、前記複数フレー ムにわたつて撮影された画像間のずれに基づき、前記仮設定された撮影位置を前記 初期軌跡の移動交差方向に修正することで前記各フレームの撮影位置を解析する 撮影位置解析部とを備える撮影位置解析装置。
[2] 請求項 1記載の撮影位置解析装置であって、
前記画像は、前記移動方向の正面または背後の画像であり、
前記入力部は、前記画像の下部の一部を入力する撮影位置解析装置。
[3] 請求項 1記載の撮影位置解析装置であって、
前記画像は、道路上を移動しながら撮影された画像であり、
前記連続体は、道路の通行帯の区画線である撮影位置解析装置。
[4] 請求項 1記載の撮影位置解析装置であって、
前記入力部は、前記移動方向に沿って、前記撮影時における時刻と移動距離との 関係を表す移動距離情報を入力し、
前記撮影位置解析部は、前記移動距離情報に基づいて、前記移動方向に沿う前 記各フレームの撮影位置を仮設定する撮影位置解析装置。
[5] 請求項 1記載の撮影位置解析装置であって、
前記入力部は、前記移動方向に沿って、前記撮影時における時刻と移動距離との 関係を表す移動距離情報を入力し、
前記撮影位置解析部は、前記移動距離情報に基づいて、所定の移動距離ごと〖こ 撮影されたフレームを抽出して、前記解析を行う撮影位置解析装置。
[6] 請求項 4記載の撮影位置解析装置であって、
前記画像は、車両に搭載した撮影装置によって撮影された画像であり、 前記移動距離情報は、前記車両の車速パルスである撮影位置解析装置。
[7] 請求項 1記載の撮影位置解析装置であって、
前記入力部は、更に、前記画像データに対応づけて、前記撮影時に既知の基準 位置に到達した時点を表す基準位置情報を入力し、
前記撮影位置解析部は、前記解析の過程において、少なくとも前記移動方向に沿 う位置につ 、て、前記基準位置情報に基づく初期化を行う撮影位置解析装置。
[8] 請求項 1記載の撮影位置解析装置であって、
前記画像データは、更に、前記移動交差方向に撮影した複数フレームの横画像デ ータを含み、
前記横画像データの被写体の位置座標を記録した地図データを参照する地図デ ータ参照部と、
前記複数フレームの横画像データから、前記被写体の位置を表す被写体座標を 算出する座標算出部とを有し、
前記撮影位置解析部は、解析の過程において、少なくとも前記移動方向に沿う位 置につ 1ヽて、前記地図データに記録された位置座標と前記被写体座標とに基づく初 期化を行う撮影位置解析装置。
[9] 請求項 1記載の撮影位置解析装置であって、
道路をノード、リンクで表した道路ネットワークデータを参照するネットワークデータ 参照部を有し、
前記初期軌跡入力部は、前記道路ネットワークデータに基づいて前記初期軌跡を 設定する撮影位置解析装置。
[10] 請求項 1記載の撮影位置解析装置であって、
前記初期軌跡入力部は、前記画像の撮影時の移動軌跡を所定の誤差範囲内で少 なくとも 2次元的に検出する位置検出センサの出力を入力し、前記初期軌跡を設定 する撮影位置解析装置。
[11] 請求項 1記載の撮影位置解析装置であって、 前記撮影位置の解析に先だって、前記連続体を正面から撮影した状態の画像に 前記画像データを変換する画像変換処理部を有し、
前記画像変換処理部は、前記画像データを複数領域に分け、各領域で異なる変 換係数を用いて前記変換を行 ヽ、
前記複数領域および前記変換係数は、既知形状の網状体を撮影した画像データ から該網状体の正面視画像を得られるよう設定されている撮影位置解析装置。
[12] 地表面との相対的な姿勢角を略一定に保った状態で移動しながら既知のタイミン グで撮影された複数フレーム力 構成され、前記各フレームには直前直後の少なくと も一方のフレームと共通して撮影された所定の連続体が含まれている画像に関し、 各フレームの撮影位置を解析する撮影位置解析方法であって、
コンピュータが実行する工程として、
前記複数フレームからなる画像データを入力する入力工程と、
前記解析の初期値として前記移動の初期軌跡を入力する初期軌跡入力工程と、 前記撮影のタイミングに基づいて前記初期軌跡の移動方向にそって前記各フレー ムの撮影位置を仮設定するとともに、前記所定の連続体について、前記複数フレー ムにわたつて撮影された画像間のずれに基づき、前記仮設定された撮影位置を前記 初期軌跡の移動交差方向に修正することで前記各フレームの撮影位置を解析する 撮影位置解析工程とを備える撮影位置解析方法。
[13] 地表面との相対的な姿勢角を略一定に保った状態で移動しながら既知のタイミン グで撮影された複数フレーム力 構成され、前記各フレームには直前直後の少なくと も一方のフレームと共通して撮影された所定の連続体が含まれている画像に関し、 各フレームの撮影位置を解析するためのコンピュータプログラムを記録した記録媒体 であって、
前記複数フレーム力 なる画像データを入力する入力プログラムコードと、 前記解析の初期値として前記移動の初期軌跡を入力する初期軌跡入力プログラム コード、と、
前記撮影のタイミングに基づいて前記初期軌跡の移動方向にそって前記各フレー ムの撮影位置を仮設定するとともに、前記所定の連続体について、前記複数フレー ムにわたつて撮影された画像間のずれに基づき、前記仮設定された撮影位置を前記 初期軌跡の移動交差方向に修正することで前記各フレームの撮影位置を解析する 撮影位置解析プログラムコードとを記録した記録媒体。
複数フレームからなる画像データに基づ ヽて、各フレームの撮影位置を解析する 撮影位置解析装置に入力すべき画像データを生成する画像データ取得装置であつ て、
地表面を移動する車両と、
前記車両に相対的な姿勢角を略一定に保った状態で取り付けられ、既知のタイミ ングで複数フレーム力 なる画像を撮影する撮影装置と、
前記車両が所定距離移動したことを示す移動距離情報を、前記撮影時における時 刻と関連づけて記録する移動距離情報記録部とを有する画像データ取得装置。
PCT/JP2006/305412 2005-04-25 2006-03-17 撮影位置解析方法 WO2006114955A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US11/918,518 US8280105B2 (en) 2005-04-25 2006-03-17 Imaging position analyzing method
JP2007514494A JP5309291B2 (ja) 2005-04-25 2006-03-17 撮影位置解析方法
EP06729401A EP1876411A4 (en) 2005-04-25 2006-03-17 METHOD FOR ANALYZING THE PICTURE POSITION
CN2006800133651A CN101163940B (zh) 2005-04-25 2006-03-17 摄影位置分析方法
KR1020077019322A KR101235815B1 (ko) 2005-04-25 2006-03-17 촬영 위치 해석 장치, 촬영 위치 해석 방법, 기록 매체 및 화상 데이터 취득 장치
HK08111251.3A HK1119460A1 (en) 2005-04-25 2008-10-10 Imaging position analyzing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-126401 2005-04-25
JP2005126401 2005-04-25

Publications (1)

Publication Number Publication Date
WO2006114955A1 true WO2006114955A1 (ja) 2006-11-02

Family

ID=37214586

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/305412 WO2006114955A1 (ja) 2005-04-25 2006-03-17 撮影位置解析方法

Country Status (8)

Country Link
US (1) US8280105B2 (ja)
EP (1) EP1876411A4 (ja)
JP (1) JP5309291B2 (ja)
KR (1) KR101235815B1 (ja)
CN (1) CN101163940B (ja)
HK (1) HK1119460A1 (ja)
TW (1) TWI386625B (ja)
WO (1) WO2006114955A1 (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008026510A1 (fr) * 2006-08-30 2008-03-06 Toyota Mapmaster Incorporated Système de création d'image de route
JP2009223221A (ja) * 2008-03-18 2009-10-01 Zenrin Co Ltd 路面標示地図生成方法
JP2009223817A (ja) * 2008-03-18 2009-10-01 Zenrin Co Ltd 路面標示地図生成方法
JP2009223220A (ja) * 2008-03-18 2009-10-01 Zenrin Co Ltd 路面標示地図生成方法
JP2009237901A (ja) * 2008-03-27 2009-10-15 Zenrin Co Ltd 路面標示地図生成方法
JP2009265400A (ja) * 2008-04-25 2009-11-12 Toyota Motor Corp 物体情報取得装置
JP2009271650A (ja) * 2008-05-02 2009-11-19 Geo Technical Laboratory Co Ltd 地物特定方法
US20100040289A1 (en) * 2008-02-27 2010-02-18 Hitachi, Ltd. Load Sign Recognition Apparatus and Load Sign Recognition Method
JP2010175756A (ja) * 2009-01-29 2010-08-12 Zenrin Co Ltd 路面標示地図生成方法及び路面標示地図生成装置
JP2010237100A (ja) * 2009-03-31 2010-10-21 Pasuko:Kk 空間情報統合データベース生成装置及び空間情報統合データベース生成プログラム
JP2011030021A (ja) * 2009-07-27 2011-02-10 Canon Inc 撮像装置及び画像記録再生装置
JP2011100409A (ja) * 2009-11-09 2011-05-19 Yupiteru Corp 車載用電子機器及びプログラム
CN102721409A (zh) * 2012-05-29 2012-10-10 东南大学 一种基于车身控制点的移动车辆三维运动轨迹的测定方法
WO2014118877A1 (ja) * 2013-01-29 2014-08-07 Kajiyama Toshio 現地画像・地図情報収集提供システム
JP2017182612A (ja) * 2016-03-31 2017-10-05 倉敷紡績株式会社 画像配置方法及び画像配置用コンピュータプログラム
JP2018010630A (ja) * 2016-06-30 2018-01-18 株式会社日立システムズ 被写体異常有無調査システム
JP2019052904A (ja) * 2017-09-14 2019-04-04 日産自動車株式会社 ランドマーク検出方法及びランドマーク検出装置
JP2019109592A (ja) * 2017-12-15 2019-07-04 株式会社デンソー 道路地図生成システム及び道路地図生成方法
WO2020045210A1 (ja) * 2018-08-28 2020-03-05 パイオニア株式会社 地図データ構造
JP2020137016A (ja) * 2019-02-22 2020-08-31 日立オートモティブシステムズ株式会社 データ同期装置、車載システム
JP2020153956A (ja) * 2019-03-22 2020-09-24 富士通株式会社 移動体位置推定システムおよび移動体位置推定方法

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4531077B2 (ja) * 2007-05-31 2010-08-25 富士通テン株式会社 車両の走行状態表示装置
JP4994256B2 (ja) * 2008-01-28 2012-08-08 株式会社ジオ技術研究所 経路案内データベースのデータ構造
KR100862061B1 (ko) * 2008-06-02 2008-10-09 (주)원지리정보 지표에 설치된 기준좌표점의 측지정보를 확인한도로시설물의 측량시스템
TWI386626B (zh) * 2008-07-07 2013-02-21 Wistron Corp 用於一導航系統中的圖資更新裝置及相關導航系統
TWI387775B (zh) * 2008-12-18 2013-03-01 Ind Tech Res Inst 定位系統與定位方法
TW201028648A (en) * 2009-01-23 2010-08-01 Geoinfor Scientek Consultant Inc Method for investigating traffic road network information and apparatus thereof
US8744131B2 (en) * 2009-09-29 2014-06-03 Panasonic Corporation Pedestrian-crossing marking detecting method and pedestrian-crossing marking detecting device
TWI416073B (zh) 2009-11-16 2013-11-21 Ind Tech Res Inst 移動攝影機對路景影像的處理方法及系統
US8866901B2 (en) * 2010-01-15 2014-10-21 Honda Elesys Co., Ltd. Motion calculation device and motion calculation method
US8437939B2 (en) * 2010-01-29 2013-05-07 Toyota Jidosha Kabushiki Kaisha Road information detecting device and vehicle cruise control device
DE102010042248A1 (de) * 2010-10-11 2012-04-12 Robert Bosch Gmbh Verfahren und Vorrichtung zur optischen Darstellung einer Umgebung eines Fahrzeugs
DE102010042276A1 (de) 2010-10-11 2012-04-12 Robert Bosch Gmbh Sensor, Justageverfahren und Vermessungsverfahren für einen Sensor
KR101739996B1 (ko) * 2010-11-03 2017-05-25 삼성전자주식회사 이동 로봇 및 이동 로봇의 위치 인식 및 지도 작성 방법
US8565528B2 (en) 2010-12-17 2013-10-22 Qualcomm Incorporated Magnetic deviation determination using mobile devices
US8929658B2 (en) 2010-12-17 2015-01-06 Qualcomm Incorporated Providing magnetic deviation to mobile devices
US8494553B2 (en) * 2011-01-11 2013-07-23 Qualcomm Incorporated Position determination using horizontal angles
TWI425442B (zh) * 2011-04-14 2014-02-01 Univ Nat Central Method of Reconstructing Three - dimensional Housing Model on Aeronautical Mapping System
JP2012244245A (ja) * 2011-05-16 2012-12-10 Olympus Imaging Corp 撮影装置、撮影装置の制御方法、画像表示装置、画像表示方法、およびプログラム
JP5892360B2 (ja) * 2011-08-02 2016-03-23 ソニー株式会社 ロボット指示装置、ロボット指示方法、プログラム、及び通信システム
US8798926B2 (en) * 2012-11-14 2014-08-05 Navteq B.V. Automatic image capture
US9091628B2 (en) 2012-12-21 2015-07-28 L-3 Communications Security And Detection Systems, Inc. 3D mapping with two orthogonal imaging views
US9129157B2 (en) 2013-04-30 2015-09-08 Qualcomm Incorporated Method for image-based status determination
US9488483B2 (en) * 2013-05-17 2016-11-08 Honda Motor Co., Ltd. Localization using road markings
CN106062849B (zh) * 2014-02-24 2017-07-04 日产自动车株式会社 自己位置计算装置及自己位置计算方法
US9483879B2 (en) * 2014-09-18 2016-11-01 Microsoft Technology Licensing, Llc Using free-form deformations in surface reconstruction
CN104680916B (zh) * 2015-03-03 2018-04-27 郁剑 一种摄影教学系统及方法
US20170155572A1 (en) 2015-11-30 2017-06-01 International Business Machines Corporation Relative positioning of a mobile computing device in a network
US20170330043A1 (en) * 2016-05-11 2017-11-16 Icatch Technology, Inc. Method and System for Synthesizing a Lane Image
JP2019531560A (ja) 2016-07-05 2019-10-31 ナウト, インコーポレイテッドNauto, Inc. 自動運転者識別システムおよび方法
US10365658B2 (en) * 2016-07-21 2019-07-30 Mobileye Vision Technologies Ltd. Systems and methods for aligning crowdsourced sparse map data
US10209081B2 (en) 2016-08-09 2019-02-19 Nauto, Inc. System and method for precision localization and mapping
US10690493B2 (en) * 2016-08-18 2020-06-23 Myriad Sensors, Inc. Wireless sensor device and software system for measuring linear position of a rotating object
US10733460B2 (en) 2016-09-14 2020-08-04 Nauto, Inc. Systems and methods for safe route determination
JP6940612B2 (ja) 2016-09-14 2021-09-29 ナウト, インコーポレイテッドNauto, Inc. ニアクラッシュ判定システムおよび方法
CN109791037B (zh) * 2016-10-02 2021-01-08 笠原一 位置信息确定方法、位置信息确定装置、以及，记忆媒体
US10584971B1 (en) * 2016-10-28 2020-03-10 Zoox, Inc. Verification and updating of map data
CN110178104A (zh) 2016-11-07 2019-08-27 新自动公司 用于确定驾驶员分心的系统和方法
JP6844235B2 (ja) * 2016-12-08 2021-03-17 富士通株式会社 距離測定装置および距離測定方法
JP6678605B2 (ja) * 2017-01-11 2020-04-08 株式会社東芝 情報処理装置、情報処理方法、および情報処理プログラム
US10497110B2 (en) * 2017-02-23 2019-12-03 The Boeing Company Identifying a pathway for condition of assembly validation
DE102017207544A1 (de) * 2017-05-04 2018-11-08 Volkswagen Aktiengesellschaft Verfahren, vorrichtungen und computerlesbares speichermedium mit instruktionen zur ortsbestimmung eines durch ein kraftfahrzeug erfassten datums
US10282860B2 (en) 2017-05-22 2019-05-07 Honda Motor Co., Ltd. Monocular localization in urban environments using road markings
WO2018229550A1 (en) 2017-06-16 2018-12-20 Nauto Global Limited System and method for adverse vehicle event determination
WO2018229549A2 (en) 2017-06-16 2018-12-20 Nauto Global Limited System and method for digital environment reconstruction
EP3638542B1 (en) 2017-06-16 2022-01-26 Nauto, Inc. System and method for contextualized vehicle operation determination
US10551509B2 (en) * 2017-06-30 2020-02-04 GM Global Technology Operations LLC Methods and systems for vehicle localization
US10788830B2 (en) * 2017-07-28 2020-09-29 Qualcomm Incorporated Systems and methods for determining a vehicle position
WO2019043878A1 (ja) * 2017-08-31 2019-03-07 株式会社オプティム 画像解析距離情報提供システム、方法及びプログラム
WO2019083068A1 (ko) * 2017-10-27 2019-05-02 한양대학교 산학협력단 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법
CN108151729B (zh) * 2017-12-12 2020-03-17 财团法人车辆研究测试中心 影像定位方法及其影像定位装置
JP7156844B2 (ja) * 2017-12-14 2022-10-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理装置およびプログラム
EP3499419A1 (en) * 2017-12-14 2019-06-19 Panasonic Intellectual Property Corporation of America Information processing method, information processing apparatus, and program
US11392131B2 (en) 2018-02-27 2022-07-19 Nauto, Inc. Method for determining driving policy
FR3080448A1 (fr) * 2018-04-20 2019-10-25 Psa Automobiles Sa Dispositif et procede d’analyse de la position d’un vehicule par comparaison d’informations d’environnement determinees et connues
EP3579161A1 (en) * 2018-06-08 2019-12-11 Hexagon Technology Center GmbH Workflow deployment
CN109491384B (zh) * 2018-11-14 2022-04-19 哈工大机器人（合肥）国际创新研究院 一种道路划线数据的获取方法及装置
WO2020107487A1 (zh) * 2018-11-30 2020-06-04 深圳市大疆创新科技有限公司 图像处理方法和无人机
CN109747681A (zh) * 2019-01-14 2019-05-14 卡斯柯信号有限公司 一种列车定位装置及方法
US10943132B2 (en) * 2019-04-10 2021-03-09 Black Sesame International Holding Limited Distant on-road object detection
CN110276244B (zh) * 2019-05-07 2024-04-09 平安科技（深圳）有限公司 形成移动轨迹的方法、装置、计算机设备及存储介质
JP2022539420A (ja) * 2019-07-04 2022-09-08 アニペン インコーポレイテッド 使用者間の経験共有を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体
US11288522B2 (en) 2019-12-31 2022-03-29 Woven Planet North America, Inc. Generating training data from overhead view images
US11244500B2 (en) 2019-12-31 2022-02-08 Woven Planet North America, Inc. Map feature extraction using overhead view images
US11037328B1 (en) * 2019-12-31 2021-06-15 Lyft, Inc. Overhead view image generation
JP7453883B2 (ja) * 2020-08-28 2024-03-21 株式会社日立製作所 計測装置及び計測システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0771973A (ja) * 1993-09-06 1995-03-17 Sumitomo Electric Ind Ltd 位置検出装置
JP2000276697A (ja) * 1999-01-18 2000-10-06 Yazaki Corp 車両用周辺監視装置
JP2002148064A (ja) * 2000-11-09 2002-05-22 Nissan Motor Co Ltd 現在位置修正装置および方法
JP2004045227A (ja) * 2002-07-12 2004-02-12 Alpine Electronics Inc 車両位置測定装置および方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2687645B2 (ja) 1990-01-24 1997-12-08 トヨタ自動車株式会社 車両用位置標定装置
JPH0737065A (ja) 1993-07-23 1995-02-07 Asahi Koyo Kk 展開画作成方法及び装置
US5638116A (en) * 1993-09-08 1997-06-10 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
JP3480242B2 (ja) * 1996-11-29 2003-12-15 トヨタ自動車株式会社 動的経路案内装置
JP3725982B2 (ja) * 1998-12-03 2005-12-14 アジア航測株式会社 位置取得装置
WO2000043953A1 (fr) * 1999-01-25 2000-07-27 Kabushiki Kaisya Zenrin Dispositif et procede de creation et d'utilisation de donnees sur une carte routiere exprimees par des polygones
JP3908419B2 (ja) * 1999-09-14 2007-04-25 アルパイン株式会社 ナビゲーション装置
JP2001213254A (ja) * 2000-01-31 2001-08-07 Yazaki Corp 車両用側方監視装置
JP4469471B2 (ja) * 2000-07-13 2010-05-26 亮介 柴崎 移動体用広視野角多方向画像取得装置及び移動体用広視野角多方向画像取得システム
JP2003006680A (ja) * 2001-06-20 2003-01-10 Zenrin Co Ltd ３次元電子地図データの生成方法
EP1332910B1 (en) * 2002-02-01 2009-11-04 Nissan Motor Co., Ltd. Method and system for vehicle operator assistance improvement
AU2003278839A1 (en) * 2002-09-17 2004-04-08 Inductive Signature Technologies, Inc Vehicle speed estimation using inductive vehicle detection systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0771973A (ja) * 1993-09-06 1995-03-17 Sumitomo Electric Ind Ltd 位置検出装置
JP2000276697A (ja) * 1999-01-18 2000-10-06 Yazaki Corp 車両用周辺監視装置
JP2002148064A (ja) * 2000-11-09 2002-05-22 Nissan Motor Co Ltd 現在位置修正装置および方法
JP2004045227A (ja) * 2002-07-12 2004-02-12 Alpine Electronics Inc 車両位置測定装置および方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
J. LANEURIT ET AL.: "Accurate Vehicle Positioning on a Numerical Map", INTERNATIONAL JOURNAL OF CONTROL, AUTOMATION AND SYSTEMS, vol. 3, March 2005 (2005-03-01), pages 15 - 31, XP002638096
See also references of EP1876411A4

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008026510A1 (fr) * 2006-08-30 2008-03-06 Toyota Mapmaster Incorporated Système de création d'image de route
US20100040289A1 (en) * 2008-02-27 2010-02-18 Hitachi, Ltd. Load Sign Recognition Apparatus and Load Sign Recognition Method
JP2009223221A (ja) * 2008-03-18 2009-10-01 Zenrin Co Ltd 路面標示地図生成方法
JP2009223817A (ja) * 2008-03-18 2009-10-01 Zenrin Co Ltd 路面標示地図生成方法
JP2009223220A (ja) * 2008-03-18 2009-10-01 Zenrin Co Ltd 路面標示地図生成方法
JP2009237901A (ja) * 2008-03-27 2009-10-15 Zenrin Co Ltd 路面標示地図生成方法
JP2009265400A (ja) * 2008-04-25 2009-11-12 Toyota Motor Corp 物体情報取得装置
JP2009271650A (ja) * 2008-05-02 2009-11-19 Geo Technical Laboratory Co Ltd 地物特定方法
JP2010175756A (ja) * 2009-01-29 2010-08-12 Zenrin Co Ltd 路面標示地図生成方法及び路面標示地図生成装置
JP2010237100A (ja) * 2009-03-31 2010-10-21 Pasuko:Kk 空間情報統合データベース生成装置及び空間情報統合データベース生成プログラム
JP2011030021A (ja) * 2009-07-27 2011-02-10 Canon Inc 撮像装置及び画像記録再生装置
JP2011100409A (ja) * 2009-11-09 2011-05-19 Yupiteru Corp 車載用電子機器及びプログラム
CN102721409A (zh) * 2012-05-29 2012-10-10 东南大学 一种基于车身控制点的移动车辆三维运动轨迹的测定方法
CN102721409B (zh) * 2012-05-29 2014-12-17 东南大学 一种基于车身控制点的移动车辆三维运动轨迹的测定方法
WO2014118877A1 (ja) * 2013-01-29 2014-08-07 Kajiyama Toshio 現地画像・地図情報収集提供システム
JP2017182612A (ja) * 2016-03-31 2017-10-05 倉敷紡績株式会社 画像配置方法及び画像配置用コンピュータプログラム
JP2018010630A (ja) * 2016-06-30 2018-01-18 株式会社日立システムズ 被写体異常有無調査システム
JP2019052904A (ja) * 2017-09-14 2019-04-04 日産自動車株式会社 ランドマーク検出方法及びランドマーク検出装置
JP7027749B2 (ja) 2017-09-14 2022-03-02 日産自動車株式会社 ランドマーク検出方法及びランドマーク検出装置
JP2019109592A (ja) * 2017-12-15 2019-07-04 株式会社デンソー 道路地図生成システム及び道路地図生成方法
WO2020045210A1 (ja) * 2018-08-28 2020-03-05 パイオニア株式会社 地図データ構造
JP2020137016A (ja) * 2019-02-22 2020-08-31 日立オートモティブシステムズ株式会社 データ同期装置、車載システム
JP7122984B2 (ja) 2019-02-22 2022-08-22 日立Astemo株式会社 データ同期装置、車載システム
JP2020153956A (ja) * 2019-03-22 2020-09-24 富士通株式会社 移動体位置推定システムおよび移動体位置推定方法
JP7259454B2 (ja) 2019-03-22 2023-04-18 富士通株式会社 移動体位置推定システムおよび移動体位置推定方法

Also Published As

Publication number Publication date
CN101163940A (zh) 2008-04-16
JPWO2006114955A1 (ja) 2008-12-18
US8280105B2 (en) 2012-10-02
US20090080697A1 (en) 2009-03-26
JP5309291B2 (ja) 2013-10-09
EP1876411A4 (en) 2011-06-29
KR20080002750A (ko) 2008-01-04
EP1876411A1 (en) 2008-01-09
TWI386625B (zh) 2013-02-21
TW200702633A (en) 2007-01-16
HK1119460A1 (en) 2009-03-06
CN101163940B (zh) 2013-07-24
KR101235815B1 (ko) 2013-02-21

Similar Documents

Publication Publication Date Title
JP5309291B2 (ja) 撮影位置解析方法
US8625851B2 (en) Measurement apparatus, measurement method, and feature identification apparatus
JP5714940B2 (ja) 移動体位置測定装置
JP4406381B2 (ja) 障害物検出装置及び方法
JP4767578B2 (ja) 高精度ｃｖ演算装置と、この高精度ｃｖ演算装置を備えたｃｖ方式三次元地図生成装置及びｃｖ方式航法装置
JP5168601B2 (ja) 自車位置認識システム
JP5389964B2 (ja) 地図情報生成装置
KR102305328B1 (ko) 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법
KR101180415B1 (ko) 모바일 매핑 시스템을 이용한 도로대장 구축 시스템
CN110033489A (zh) 一种车辆定位准确性的评估方法、装置及设备
CA2684416A1 (en) Method of and apparatus for producing road information
JP2012127896A (ja) 移動体位置測定装置
JP2001331787A (ja) 道路形状推定装置
JP4596566B2 (ja) 自車情報認識装置及び自車情報認識方法
JP2011080845A (ja) ３次元データ作成方法及び３次元データ作成装置
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP5396585B2 (ja) 地物特定方法
Ravi et al. Lane width estimation in work zones using LiDAR-based mobile mapping systems
JP5544595B2 (ja) 地図画像処理装置、地図画像処理方法、および、コンピュータプログラム
JP2019120629A (ja) 位置計算装置、位置計算プログラム及び座標マーカ
NL2016718B1 (en) A method for improving position information associated with a collection of images.
CN115668333A (zh) 电子地图生成方法、装置、计算机设备和存储介质
JP7293931B2 (ja) 位置計測用データ生成装置、位置計測用データ生成方法、及び位置計測用データ生成プログラム
JP2003075152A (ja) 航空機搭載撮像装置および航空撮像データ処理装置
Sikirić et al. Recovering a comprehensive road appearance mosaic from video

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680013365.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007514494

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 1020077019322

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2006729401

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: RU

WWP Wipo information: published in national office

Ref document number: 2006729401

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11918518

Country of ref document: US