WO2011135778A1 - 画像処理装置、カーナビゲーションシステム、及び路上カメラシステム - Google Patents

画像処理装置、カーナビゲーションシステム、及び路上カメラシステム Download PDF

Info

Publication number
WO2011135778A1
WO2011135778A1 PCT/JP2011/002026 JP2011002026W WO2011135778A1 WO 2011135778 A1 WO2011135778 A1 WO 2011135778A1 JP 2011002026 W JP2011002026 W JP 2011002026W WO 2011135778 A1 WO2011135778 A1 WO 2011135778A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
vehicle
unit
road camera
Prior art date
Application number
PCT/JP2011/002026
Other languages
English (en)
French (fr)
Inventor
高橋顕士
中村研史
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2011135778A1 publication Critical patent/WO2011135778A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Definitions

  • the present invention relates to an image processing apparatus that generates display image information indicating a display image displayed by an image display unit provided in a vehicle, and a car navigation system and a road camera system including the image processing apparatus.
  • an approaching moving body that moves on the road and tries to enter an intersection or the like is recognized based on the difference between the actual captured image and the captured image when there is no moving body, and a virtual display of the recognized approaching moving body
  • a device that calculates a position and displays the calculated virtual display position on a screen in the host vehicle see Patent Document 4.
  • the driver of the host vehicle can grasp the traveling state of the moving object at a blind spot such as an approach road at an intersection.
  • Patent Document 1 the driver of the vehicle approaching the intersection can recognize that some vehicle is approaching from the priority road by the warning on the warning display board, but what position the vehicle is now and how I can't know detailed information such as how fast I am approaching. Therefore, accidents cannot be sufficiently prevented.
  • Patent Document 3 it is possible to visually recognize a blind spot area caused by the presence of a preceding vehicle, but it is not possible to visually recognize a blind spot area that cannot be viewed from the preceding vehicle, such as an approach road to an intersection.
  • the approaching moving body is recognized based on the difference between the captured image and the captured image when there is no moving body, and therefore the virtual display position of the moving body may not be displayed due to a recognition failure of the moving body.
  • the position coordinates of each moving body are calculated individually, so that it is necessary to increase the scale of processing in order to obtain sufficient display position accuracy.
  • An object of the present invention is to prevent an accident by allowing an occupant to accurately recognize a moving object in a blind spot area with a sense of distance and speed while suppressing an increase in the scale of processing in view of the above points.
  • an aspect of the present invention is an image processing device that generates display image information indicating a display image displayed by an image display unit provided in a vehicle, and is obtained on a road obtained by a road camera. Based on the position information and optical axis information of the road camera and the position information and direction information of the vehicle, image conversion is performed on the camera image to convert the viewpoint from the road camera to the vehicle, and the converted image is shown.
  • the image conversion for converting the viewpoint of the road camera image obtained by the road camera from the road camera to the vehicle is performed, and the converted image obtained by this image conversion is displayed on the image display unit in the vehicle.
  • the shooting range of the road camera is the blind spot area of the vehicle occupant
  • the road camera image is displayed with the viewpoint converted to the vehicle, so the vehicle occupant can accurately detect the blind spot with a sense of distance and speed.
  • the moving objects in the area can be recognized without omission and accidents can be prevented. Further, even when there are a plurality of moving objects, it is not necessary to individually recognize the moving objects, so the scale of processing does not increase.
  • an increase in the scale of processing is suppressed, and an occupant can accurately recognize a moving object in the blind spot area with a sense of distance and speed, thereby preventing an accident.
  • FIG. 1 is a block diagram showing a configuration of a car navigation system according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of the image processing unit according to the first embodiment of the present invention.
  • FIG. 3 is a flowchart showing the operation of the image processing unit according to the first embodiment of the present invention.
  • FIG. 4 is an explanatory diagram illustrating an example of an intersection approached by the host vehicle according to the first embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a road camera image taken by the road camera according to the first embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a road camera image taken by the road camera according to the first embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a converted image corresponding to FIG.
  • FIG. 8 is a diagram showing a converted image corresponding to FIG. 6 according to the first embodiment of the present invention.
  • FIG. 9 is a diagram showing an image obtained by moving the image of FIG. 7 according to the first embodiment of the present invention by the image composition unit.
  • FIG. 10 is a diagram illustrating an image obtained by moving the image of FIG. 8 according to the first embodiment of the present invention by the image composition unit.
  • FIG. 11 is a diagram illustrating a map image according to the first embodiment of the invention.
  • 12 is a view showing a composite image obtained by superimposing the image of FIG. 9 and the image of FIG. 10 according to the first embodiment of the present invention.
  • FIG. 9 is a diagram showing a converted image corresponding to FIG. 6 according to the first embodiment of the present invention.
  • FIG. 9 is a diagram showing an image obtained by moving the image of FIG. 7 according to the first embodiment of the present invention by the image composition unit.
  • FIG. 10 is a diagram illustrating an image obtained by moving the image of FIG. 8 according to
  • FIG. 13 is an explanatory diagram showing another example of an intersection approached by the host vehicle according to the first embodiment of the present invention.
  • FIG. 14 is a diagram illustrating a road camera image taken by the road camera according to the first embodiment of the present invention.
  • FIG. 15 is a diagram illustrating a road camera image taken by the road camera according to the first embodiment of the present invention.
  • FIG. 16 is a diagram illustrating a converted image corresponding to FIG. 14 according to the first embodiment of the present invention.
  • FIG. 17 is a diagram illustrating a converted image corresponding to FIG. 15 according to the first embodiment of the present invention.
  • FIG. 18 is a diagram illustrating an image obtained by moving the image of FIG. 16 according to the first embodiment of the present invention by the image composition unit.
  • FIG. 14 is a diagram illustrating a road camera image taken by the road camera according to the first embodiment of the present invention.
  • FIG. 15 is a diagram illustrating a road camera image taken by the road camera according to the first embodiment of the present invention.
  • FIG. 19 is a diagram illustrating an image obtained by moving the image of FIG. 17 according to the first embodiment of the present invention by the image composition unit.
  • FIG. 20 is a diagram illustrating a composite image obtained by superimposing the image of FIG. 18 and the image of FIG. 19 according to the first embodiment of the present invention.
  • FIG. 21 is a block diagram showing a configuration of a road camera system 2100 according to the second embodiment of the present invention.
  • FIG. 22 is a block diagram illustrating a configuration of an image processing unit according to the second embodiment of the present invention.
  • FIG. 23 is a flowchart showing the operation of the image processing unit according to the second embodiment of the present invention.
  • FIG. 1 shows a car navigation system 100 according to Embodiment 1 of the present invention.
  • the car navigation system 100 includes a communication control unit 101, a self-contained navigation control unit 102, a GPS control unit 103, a VICS information receiver 104, an audio output unit 105, a navigation control unit 106, a map information storage memory 107, an update data storage memory 108, An imaging unit 109, an image processing unit 110, a road camera information receiving unit 111, an image display unit 112, and a vehicle information transmitting unit 113 are provided.
  • the communication control unit 101 performs data communication wirelessly or by wire. A user can access an external server via the communication control unit 101.
  • the communication function by the communication control unit 101 may be built in the navigation device, or may be realized by a mobile communication terminal such as a mobile phone connected to the navigation device from the outside.
  • the self-contained navigation control unit 102 detects the rotation angle of the host vehicle and detects the moving speed of the host vehicle using a vehicle speed sensor.
  • the GPS control unit 103 receives GPS radio waves transmitted from a plurality of artificial satellites (GPS satellites) arranged in a predetermined orbit at an altitude of about 20,000 km on the earth by a GPS receiver, and information included in the GPS signal Is used to measure the current position and traveling direction (direction information) of the vehicle on the earth.
  • GPS satellites artificial satellites
  • the VICS information receiver 104 sequentially receives current road traffic information from the outside of the host vehicle via an external antenna.
  • the voice output unit 105 includes a speaker, and outputs a voice such as an intersection guide during route guidance, for example.
  • the navigation control unit 106 is a control circuit that controls car navigation, and controls the entire car navigation system 100.
  • the navigation control unit 106 receives position information of the host vehicle from the GPS control unit 103 and outputs it.
  • the position / direction information of the host vehicle includes position information indicating the current position of the host vehicle measured by the GPS control unit 103 using a global coordinate system, and direction information indicating the traveling direction of the host vehicle measured by the GPS control unit 103. Including.
  • the position information of the global coordinate system is obtained from a road camera or obtained based on GPS information.
  • the map information storage memory 107 holds map information including various data such as stationary objects such as landmarks and facility data, and the map information is read by the navigation control unit 106.
  • the map information storage memory 107 is a CD / DVD-ROM, a hard disk drive (HDD), or the like.
  • the update data storage memory 108 is a memory in which the navigation control unit 106 stores the difference data of the map information updated in the map information storage memory 107.
  • the imaging unit 109 is a camera including an imaging element such as a CCD sensor or a CMOS sensor, and is installed in front of the host vehicle, and outputs captured image information (electric signal) indicating the captured image by shooting in front of the host vehicle. To do.
  • the image processing unit 110 generates display image information indicating a display image to be displayed on the image display unit 112 based on the electrical signal output by the imaging unit 109 and the map information read by the navigation control unit 106. .
  • the detailed configuration of the image processing unit 110 will be described later.
  • the road camera information receiving unit 111 receives road camera image information and road camera position and orientation information from the road camera.
  • the road camera image information indicates a road camera image obtained by a road camera that captures road conditions.
  • the position orientation information of the road camera includes position information indicating the installation position of the road camera in a global coordinate system and optical axis information indicating the optical axis direction of the lens of the road camera.
  • the image display unit 112 displays an image based on the display image information generated by the image processing unit 110 on a display or the like of the car navigation system 100.
  • the vehicle information transmission unit 113 includes map information indicating the position of the vehicle or image information indicating an image obtained by performing processing by the image processing unit 110 on a captured image obtained by imaging of the imaging unit 109, and position / direction information of the host vehicle. Are received from the image processing unit 110 and transmitted. Note that the transmission of the map information or image information and the position / direction information of the host vehicle may be performed by the communication control unit 101 instead of the vehicle information transmission unit 113.
  • reception of road camera image information and road camera position / orientation information may be performed by the communication control unit 101 instead of the road camera information reception unit 111.
  • FIG. 2 shows the configuration of the image processing unit 110.
  • the image processing unit 110 includes a road camera information input unit 201, a position / orientation information input unit 202, a captured image input unit 203, a moving body detection unit 204, an image conversion unit 205, a selector 206, and an image composition unit 207. And a vehicle information output unit 208.
  • the road camera information input unit 201 separates the information received by the road camera information reception unit 111 into road camera image information and road camera position and orientation information, and outputs them.
  • the position / direction information input unit 202 receives and outputs the position / direction information of the road camera output from the road camera information input unit 201 and the position / direction information of the host vehicle output from the navigation control unit 106.
  • the captured image input unit 203 receives captured image information from the imaging unit 109 and outputs it.
  • the moving body detection unit 204 performs a road camera image indicated by the road camera image information output by the road camera information input unit 201 and a captured image indicated by the captured image information output by the captured image input unit 203. Attempts to detect moving objects (moving objects).
  • the image conversion unit 205 outputs the position and orientation information of the road camera output by the position and orientation information input unit 202 and the position of the host vehicle with respect to the road camera image indicated by the road camera image information output by the road camera information input unit 201. Based on the azimuth information, image conversion for converting the viewpoint from the road camera to the vehicle is performed, and converted image information indicating the converted image is output. For this image conversion, any viewpoint conversion method may be used as long as it is applicable, such as a bilinear method (linear interpolation), a bicubic method, or an original three-dimensional conversion method used for image enlargement / reduction. . However, when the moving object detection unit 204 detects a moving object from the road camera image, the image conversion unit 205 performs image conversion processing only on the area where the moving object is detected.
  • the selector 206 selects and outputs either the map information read by the navigation control unit 106 or the captured image information output by the captured image input unit 203.
  • the image composition unit 207 corresponds to the converted image output from the image conversion unit 205 in the map image indicating the position of the host vehicle based on the map information. Is calculated, and image information indicating a composite image in which the converted image is superimposed on the calculated corresponding region is output as the display image information.
  • the picked-up image information is selected by the selector 206, based on the picked-up image information, the corresponding region of the converted image output by the image conversion unit 205 in the picked-up image is calculated, and the calculated corresponding region Image information indicating a composite image obtained by superimposing the converted images is output as the display image information.
  • the image composition unit 207 calculates coordinates indicating the corresponding area of the converted image, and performs image conversion for moving the converted image to the corresponding area on the converted image based on the calculated coordinates. And display image information indicating a composite image is generated by superimposing a map image or a captured image on the image after the image conversion.
  • region is from a synthesized image. Be omitted. That is, the composition by the image composition unit 207 is to superimpose the converted image of the area of the road camera image corresponding to the area where the moving object is not detected in the captured image and the map image or the captured image.
  • the vehicle information output unit 208 In response to the output of the selector 206, the vehicle information output unit 208 outputs map information indicating the position of the vehicle or captured image information indicating a captured image obtained by imaging of the imaging unit 109, and the position and orientation information of the host vehicle. Output. Information output by the vehicle information output unit 208 is transmitted to the outside via the vehicle information transmission unit 113 or the navigation control unit 106 and is received by another vehicle, an intersection camera system, or the like.
  • the road camera information input unit 201 attempts to receive road camera image information and road camera position and orientation information from the road camera information reception unit 111.
  • the road camera image information and the road camera position / orientation information are separated and output, and the process proceeds to (S302).
  • the process proceeds to (S308).
  • the position / orientation information input unit 202 uses the road camera's position / orientation information output from the road camera information input unit 201 and the vehicle's position / orientation information output from the navigation control unit 106. get.
  • the moving body detection unit 204 indicates the road camera image indicated by the road camera image information output by the road camera information input unit 201 and the captured image information output by the captured image input unit 203. Attempts to detect moving objects against captured images. If a moving object is detected from the road camera image, the process proceeds to (S304), whereas if a moving object is not detected, the process proceeds to (S305).
  • the moving body detection unit 204 shows an image obtained by deleting an area other than the area where the moving body is detected from the road camera image indicated by the road camera image information output by the road camera information input unit 201. Output camera image information.
  • the image conversion unit 205 detects the road camera position / direction information output by the position / direction information input unit 202 and the position / direction of the host vehicle with respect to the road camera image information output by the road camera information input unit 201. Based on the information, image conversion is performed to convert the viewpoint from the road camera to the vehicle, and converted image information indicating the converted image is output. However, when a moving body is detected from the road camera image in (S303), image conversion processing is performed on the road camera image information output by the moving body detection unit 204 in (S304).
  • the image composition unit 207 calculates the corresponding area of the converted image in the map image indicating the position of the host vehicle, and converts it to the calculated corresponding area. Image information indicating a composite image obtained by superimposing the subsequent images is output as the display image information.
  • the image composition unit 207 calculates a corresponding area of the converted image in the captured image, and displays a composite image in which the converted image is superimposed on the calculated corresponding area. The displayed image information is output as the display image information.
  • the image display unit 112 displays an image based on the display image information output by the image composition unit 207 of the image processing unit 110 on a display or the like of the car navigation system 100.
  • the image display unit 112 displays a map image indicating the position of the host vehicle or a captured image obtained by photographing of the imaging unit 109 on a display or the like of the car navigation system 100.
  • the selector 206 selects the map information read by the navigation control unit 106.
  • 401 indicates the host vehicle
  • 402 and 403 indicate road cameras installed in traffic lights or the like.
  • the road camera 402 is shooting the shooting range 404
  • the road camera 403 is shooting the shooting range 405.
  • FIG. 5 shows a road camera image 501 of the shooting range 404 taken by the road camera 402
  • FIG. 6 shows a road camera image 601 of the shooting range 405 shot by the road camera 403.
  • the road vehicle image information indicating the road camera image 501 and the road camera image information indicating the road camera image 601 are received by the own vehicle 401.
  • the image conversion unit 205 performs image conversion (viewpoint conversion) on the road camera image information indicating the road camera image 501 to obtain post-conversion image information indicating the converted image 701 as shown in FIG. . Further, image conversion is performed on the road camera image information indicating the road camera image 601, and post-conversion image information indicating the converted image 801 as illustrated in FIG. 8 is obtained.
  • the image composition unit 207 performs image conversion for moving the image 701 to the coordinate area 901 as shown in FIG. 9 based on the calculated coordinates, and also converts the image 801 into the coordinate area 1001 as shown in FIG. Perform image conversion to move.
  • the image composition unit 207 superimposes the map image 1101 (see FIG. 11) based on the map information from the navigation control unit 106, the image shown in FIG. 9, and the image shown in FIG. Thereby, the composite image indicated by the display image information is as shown in FIG.
  • FIG. 14 shows a road camera image 1401 of the shooting range 1301 shot by the road camera 402
  • FIG. 15 shows a road camera image 1501 of the shooting range 1302 shot by the road camera 403.
  • road camera image information indicating the road camera image 501 and road camera image information indicating the road camera image 601 road camera image information indicating the road camera image 1401 and road camera image indicating the road camera image 1501.
  • Information is received by the host vehicle 401.
  • map information is selected by the selector 206.
  • the image conversion unit 205 performs image conversion (viewpoint conversion) on the road camera image information indicating the road camera image 1401 to obtain post-conversion image information indicating the converted image 1601 as shown in FIG. . Further, image conversion is performed on the road camera image information indicating the road camera image 1501, and post-conversion image information indicating the converted image 1701 as shown in FIG. 17 is obtained.
  • the image composition unit 207 performs image conversion for moving the image 1601 to the coordinate area 1801 as shown in FIG. 18 based on the calculated coordinates, and at the same time, converts the image 1701 to the coordinate area 1901 as shown in FIG. Perform image conversion to move.
  • the area corresponding to the automobile in the image 1601 is excluded from synthesis as an area where a moving body has been detected in the camera image of the host vehicle.
  • the image composition unit 207 superimposes the map image 1101 (see FIG. 11) based on the map information from the navigation control unit 106 and the image shown in FIG. 18 and the image shown in FIG. It becomes a composite image.
  • the moving object detection unit 204 detects a moving object in an area corresponding to the coordinate area 1801 and the coordinate area 1901 in the camera image of the host vehicle.
  • the image conversion unit 205 identifies an area in which the moving body is detected by the moving body detection unit 204 in the camera image of the host vehicle, and the image composition unit 207 does not detect the moving body in the camera image of the host vehicle.
  • the road camera image area corresponding to the area is overlaid with the map image.
  • the coordinate area 1801 and the coordinate area 1901 are areas in which the moving body is detected in the camera image of the host vehicle in FIG. Are superimposed. Thereby, the image shown in FIG. 12 is obtained.
  • the shooting range of the road camera is the blind spot area of the occupant of the host vehicle
  • the road camera image is continuously displayed from moment to moment with the viewpoint converted to the vehicle.
  • a moving object in the blind spot area can be recognized without omission with an accurate sense of distance and speed, and a head-on collision accident can be prevented. Further, even when there are a plurality of moving objects, it is not necessary to perform a process for recognizing the moving objects individually, so that the scale of processing does not increase.
  • the converted image of the area of the road camera image corresponding to the area where the moving object has been detected in the camera image of the host vehicle is excluded from the synthesis and is not included in the display image. It is possible to display only a blind spot area without displaying an area that can be visually confirmed with good view, such as an advancing direction of a vehicle, an intersection where there is no shielding such as a building or a wall.
  • the road camera image information indicating an image obtained by deleting an area other than the area where the moving object is detected from the road camera image is obtained. Therefore, an image excluding stationary objects such as buildings and signboards that are not dangerous objects can be displayed among objects in the blind spot.
  • FIG. 21 shows a road camera system 2100 according to Embodiment 2 of the present invention.
  • the road camera system 2100 exchanges information with the car navigation system 100 according to the first embodiment.
  • the road camera system 2100 includes a communication control unit 2101, a road camera control unit 2102, an imaging unit (road camera) 2103, a vehicle camera information reception unit 2104, a road camera information transmission unit 2105, and an image processing unit 2106.
  • the communication control unit 2101 performs data communication by radio or wire.
  • the control manager can access the external server via the communication control unit 2101.
  • the communication function of the communication control unit 2101 may be built in the road camera control unit 2102.
  • the road camera control unit 2102 is a control circuit that controls the entire road camera system 2100.
  • the road camera control unit 2102 outputs road camera position / orientation information.
  • the road direction information of the road camera includes position information indicating a known installation position of the road camera and optical axis information of the road camera.
  • the imaging unit 2103 is a camera provided with an imaging element such as a CCD sensor or a CMOS sensor, and outputs road camera image information (electrical signal) indicating the taken road camera image.
  • an imaging element such as a CCD sensor or a CMOS sensor
  • the vehicle camera information receiving unit 2104 receives vehicle map information, vehicle camera image information, and vehicle camera position and direction information from the vehicle camera.
  • the vehicle camera image information indicates a captured image obtained by forward imaging by the imaging unit 109 installed in the vehicle.
  • the position / orientation information of the vehicle camera includes position information indicating the current position of the host vehicle measured by GPS or the like using a global coordinate system, and direction information indicating the traveling direction of the host vehicle measured using GPS or the like.
  • the road camera information transmission unit 2105 includes a map image from the vehicle and an image after the image processing unit 2106 performs processing on the road camera image indicated by the road camera image information obtained by the imaging unit 2103. Image information indicating any one of the above and the position and orientation information of the on-road camera are transmitted.
  • the reception function by the vehicle camera information reception unit 2104 and the transmission function by the road camera information transmission unit 2105 may be realized by the communication control unit 2101.
  • the image processing unit 2106 performs image processing (conversion) on the road camera image information (image data) output by the imaging unit 2103. Data obtained by the image processing is output to the road camera control unit 2102.
  • FIG. 22 shows the configuration of the image processing unit 2106.
  • the image processing unit 2106 includes a vehicle camera information input unit 2107, a position / orientation information input unit 2108, a captured image input unit 2109, a moving object detection unit 2110, an image conversion unit 2111, an image composition unit 2112, and a selector 2113. And a roadside camera information output unit 2114.
  • the vehicle camera information input unit 2107 outputs the information received by the vehicle camera information reception unit 2104 and separates and outputs the vehicle camera image information and the vehicle camera position and orientation information among the information.
  • the position / direction information input unit 2108 receives and outputs the position / direction information of the vehicle camera output from the vehicle camera information input unit 2107 and the position / direction information of the road camera output from the road camera control unit 2102.
  • the captured image input unit 2109 receives road camera image information from the imaging unit 2103 and outputs it.
  • the moving body detection unit 2110 performs the captured image indicated by the vehicle camera image information output by the vehicle camera information input unit 2107 and the road camera image indicated by the road camera image information output by the captured image input unit 2109. Attempts to detect moving objects (moving objects).
  • the image conversion unit 2111 outputs the road direction camera position and direction information output by the position and direction information input unit 2108 and the position and direction of the host vehicle with respect to the road camera image indicated by the road camera image information output by the captured image input unit 2109. Based on the information, image conversion is performed to convert the viewpoint from the road camera to the vehicle, and converted image information indicating the converted image is output.
  • any viewpoint conversion method may be used as long as it is applicable, such as a bilinear method (linear interpolation), a bicubic method, or an original three-dimensional conversion method used for image enlargement / reduction.
  • the image conversion unit 2111 performs image conversion processing only on the area where the moving body detection unit 2110 detects the moving body. .
  • the image composition unit 2112 converts the map image based on the map information output from the vehicle camera information input unit 2107 or the converted image information based on the converted image information output from the image conversion unit 2111 in the captured image based on the vehicle camera image information. A corresponding area of the image is calculated, and image information indicating a combined image in which the converted image is superimposed on the calculated corresponding area is output as combined image information (display image information).
  • display image information As in the first embodiment, since the area where the moving body is detected in the camera image of the host vehicle is an area that can be visually recognized by the occupant, the converted image of the area of the road camera image corresponding to this area is Omitted from the composite image. That is, the composition by the image composition unit 2112 superimposes the converted image of the area of the road camera image corresponding to the area where the moving object is not detected in the camera image of the host vehicle and the map image or the captured image. .
  • the selector 2113 selects and outputs either the road camera image information output by the captured image input unit 2109 or the composite image information output by the image composition unit 2112.
  • the road camera information output unit 2114 outputs the image information output by the selector 2113.
  • the image information output by the road camera information output unit 2114 is sent to the car navigation system 100 via the road camera information transmission unit 2105 and displayed by the image display unit 112 of the car navigation system 100.
  • the vehicle camera information input unit 2107 attempts to receive vehicle camera image information from the vehicle camera information reception unit 2104. If the vehicle camera image information is received, the process proceeds to (S2302). On the other hand, if it has not been received, the process ends.
  • the image conversion unit 2111 receives the position and orientation information of the vehicle camera from the vehicle camera information input unit 2107, and acquires the position information by the position and direction information input unit 2108.
  • the moving object detection unit 2110 detects the moving object for the road camera image indicated by the road camera image information output by the picked-up image input unit 2109 and the picked-up image indicated by the vehicle camera image information. Try. If a moving body is detected from the road camera image, the process proceeds to (S2304). If no moving body is detected, the process proceeds to (S2305).
  • the moving body detection unit 2110 outputs road camera image information indicating an image obtained by deleting an area other than the area in which the moving body is detected in (S2302) from the road camera image.
  • the image conversion unit 2111 outputs the vehicle camera position and orientation information output by the position and orientation information input unit 2108 with respect to the road camera image indicated by the road camera image information output by the captured image input unit 2109. And image information for converting the viewpoint from the road camera to the vehicle, and output converted image information indicating the converted image.
  • image conversion processing is performed on the road camera image information output by the moving body detection unit 2110 in (S2304).
  • the image composition unit 2112 calculates the corresponding area of the converted image in the map image indicating the position of the host vehicle, and calculates the converted image of the calculated area and the map image or the image of the vehicle camera. Image information indicating the superimposed composite image is output as the composite image information.
  • the composite image information is sent to the car navigation system 100 via the road camera information output unit 2114 and the road camera information transmission unit 2105, and is displayed by the image display unit 112 of the car navigation system 100.
  • FIG. 5 shows a road camera image 501 of the shooting range 404 taken by the road camera 402
  • FIG. 6 shows a road camera image 601 of the shooting range 405 shot by the road camera 403.
  • the road cameras 402 and 403 are provided with road camera systems 2100, respectively.
  • each road camera system 2100 provided in the road cameras 402 and 403 receives vehicle position and direction information from the vehicle 401.
  • image conversion viewpoint conversion
  • image conversion is performed on the road camera image 501 to obtain post-conversion image information indicating the post-conversion image 701 as shown in FIG.
  • image conversion is performed on the road camera image 601 to obtain post-conversion image information indicating the post-conversion image 801 as shown in FIG.
  • image conversion is performed to move the image 701 to the coordinate area 901 as shown in FIG. 9, and image conversion to move the image 801 to the coordinate area 1001 as shown in FIG. Done.
  • composite image information indicating the composite image obtained by superimposing the image illustrated in FIG. 9 and the image illustrated in FIG. 10 is transmitted to the vehicle.
  • the road camera is installed on the traffic signal.
  • a camera for monitoring use installed other than the traffic signal or a camera mounted on another vehicle may be used as the road camera.
  • one road camera was assigned to each direction, but in order to improve the accuracy of the converted image, multiple road cameras were assigned to each direction, and viewpoint conversion was performed on the images of the multiple road cameras. May be.
  • the case where the own vehicle enters the intersection of the crossroad is illustrated, but when the own vehicle enters another type of branched intersection such as a T-shaped road or a three-way intersection other than the crossroad.
  • the present invention can also be applied.
  • the navigation device displays a three-dimensional map image such as a bird's-eye view.
  • a three-dimensional map image such as a bird's-eye view.
  • the present invention can also be applied when a two-dimensional map image is used. is there.
  • the communication control units 101 and 2101 transmit and receive data between the road camera and the vehicle.
  • the communication control units 101 and 2101 are configured with dedicated wireless communication devices.
  • the data transmission / reception function may be performed by wireless communication.
  • the communication control units 101 and 2101 may be configured by a device that can be connected to the Internet, such as a general mobile phone, a portable terminal device, or a server, and may perform a data transmission / reception function by Internet communication.
  • the imaging unit 109, the image processing unit 110, and the navigation control unit 106 can each be configured by a one-chip LSI. Further, other blocks and combinations thereof can be configured by a one-chip LSI.
  • the technology according to the present invention is useful for an image processing apparatus that generates display image information indicating a display image displayed by an image display unit provided in a vehicle, a car navigation system including the image processing apparatus, and a road camera system. is there.
  • Imaging unit 110 Image processing unit (image processing apparatus) 111 Road camera information receiver 112 Image display 204 Moving object detection unit 205 Image converter 207 Image composition unit 208 Vehicle information output unit 401 Own vehicle 402,403 Road camera 501, 601, 1401, 1501 Roadside camera image 701, 801, 1601, 1701 Converted image 1101 Map image 2100 Road camera system 2103 Imaging unit (street camera) 2104 Vehicle camera information receiver 2106 Image processing unit (image processing apparatus) 2110 Moving object detection unit 2111 Image converter 2112 Image composition unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

　画像処理部（１１０）は、路上カメラにより得られた路上カメラ画像に対し、路上カメラの位置情報及び光軸情報と、車両の位置情報及び向き情報とに基づいて、路上カメラから車両に視点を変換する画像変換を行い、変換後画像を示す変換後画像情報を出力する画像変換部（２０５）を備え、画像変換部（２０５）により出力された変換後画像情報に基づいて、変換後画像を少なくとも一部に含む表示画像を示す表示画像情報を生成する。

Description

画像処理装置、カーナビゲーションシステム、及び路上カメラシステム
　本発明は、車両内に設けた画像表示部により表示する表示画像を示す表示画像情報を生成する画像処理装置と、当該画像処理装置を備えたカーナビゲーションシステム及び路上カメラシステムとに関するものである。
　従来、車両の出合い頭衝突の防止のために、優先道路に車両感知器を設置するとともに当該優先道路の交差点に警告表示板を設置し、優先道路を走行する車両を前記車両感知器で検知したときに、前記警告表示板に警報を表示する技術がある（特許文献１参照）。これにより、交差点における出合い頭事故の可能性をドライバに予告することができる。
　また、交差点に設置したカメラにより、自車両にとって死角となる道路から交差点に接近してくる他車両の画像を撮影し、この画像を自車両により受信して表示する技術もある（特許文献２参照）。この技術により、ドライバは、カメラにより撮影された実際の他車両の画像を自車両内で観察することができる。
　また、前方車両のカメラで撮影された画像を受信し、カメラの設定位置を視点位置とする受信画像を、運転者の視点位置を視点位置とする画像に変換し、変換後の画像をヘッドアップディスプレイによってフロントガラスに表示する装置がある（特許文献３参照）。この装置により、運転者は前方車両の存在によって生じる死角領域を自車両内で視認することができる。
　また、道路上を移動して交差点等に進入しようとする接近移動体を、実際の撮像画像と移動体のないときの撮像画像との差分に基づいて認識し、認識した接近移動体の仮想表示位置を算出し、算出された仮想表示位置を自車両内の画面上に表示する装置もある（特許文献４参照）。この装置により、自車両のドライバは、交差点の進入道路等、死角となる場所における移動体の走行状況を把握することができる。
特開平５－２８４００号公報 特開２００３－１０９１９９号公報 特開２００８－４４６１２号公報 特開２００８－４６７４４号公報
　しかし、前記特許文献１では、交差点に近づいた車両のドライバは、警告表示板の警報により、優先道路から何らかの車両が近づいてくることは認識できるものの、その車両が今どの位置にいて、どのような速度で近づいてくるのか等の詳しい情報を知ることができない。したがって、事故を十分防止できない。
　また、前記特許文献２では、交差点に近づいた自車両の乗員は、道路から近づいてくる他車両の画像を認識することはできるが、画像の視点位置がカメラの設置位置であるため、乗員は正確な距離感や速度感を感じることができない。このため、自車両と他車両との正確な位置関係や、何が危険であるかを乗員が瞬時に判断しにくく、誤認識、錯覚が事故を招くおそれがある。
　また、前記特許文献３では、前方車両の存在により生じる死角領域を視認することは可能になるが、交差点への進入道路等、前方車両から視認できない死角領域を視認することはできない。
　また、前記特許文献４では、撮像画像と移動体のないときの撮像画像との差分に基づいて接近移動体を認識するので、移動体の認識漏れにより移動体の仮想表示位置を表示できなくなるおそれがある。また、移動体が複数ある場合、各移動体の位置座標を個別に算出するため、表示位置の精度を十分に得るために、処理の規模を大きくする必要がある。
　本発明は、上記の点に鑑み、処理の規模の増大を抑制しつつ、乗員が正確な距離感及び速度感で死角領域の移動体を漏れなく認識できるようにして事故を防止することを目的とする。
　上記の課題を解決するため、本発明の一態様は、車両内に設けた画像表示部により表示する表示画像を示す表示画像情報を生成する画像処理装置であって、路上カメラにより得られた路上カメラ画像に対し、前記路上カメラの位置情報及び光軸情報と、車両の位置情報及び向き情報とに基づいて、視点を前記路上カメラから前記車両に変換する画像変換を行い、変換後画像を示す変換後画像情報を出力する画像変換部を備え、前記画像変換部により出力された変換後画像情報に基づいて、前記変換後画像を少なくとも一部に含む表示画像を示す前記表示画像情報を生成することを特徴とする。
　この態様によると、路上カメラにより得られた路上カメラ画像の視点を路上カメラから車両に変換する画像変換が行われ、この画像変換により得られた変換後画像が車両内の画像表示部に表示される。したがって、例えば、路上カメラの撮影範囲が車両の乗員の死角領域である場合、路上カメラ画像が視点を車両に変換した状態で表示されるので、車両の乗員は正確な距離感及び速度感で死角領域の移動体を漏れなく認識でき、事故を防止できる。また、移動体が複数ある場合でも、移動体を個々に認識する必要がないので、処理の規模が増大しない。
　本発明により、処理の規模の増大が抑制されるとともに、乗員が正確な距離感及び速度感で死角領域の移動体を漏れなく認識できるようになり、事故が防止される。
図１は、本発明の実施形態１に係るカーナビゲーションシステムの構成を示すブロック図である。 図２は、本発明の実施形態１に係る画像処理部の構成を示すブロック図である。 図３は、本発明の実施形態１に係る画像処理部の動作を示すフローチャートである。 図４は、本発明の実施形態１に係る自車両が接近する交差点の例を示す説明図である。 図５は、本発明の実施形態１に係る路上カメラに撮影された路上カメラ画像を例示する図である。 図６は、本発明の実施形態１に係る路上カメラに撮影された路上カメラ画像を例示する図である。 図７は、本発明の実施形態１に係る図５に対応する変換後画像を示す図である。 図８は、本発明の実施形態１に係る図６に対応する変換後画像を示す図である。 図９は、本発明の実施形態１に係る図７の画像を画像合成部により移動させた画像を示す図である。 図１０は、本発明の実施形態１に係る図８の画像を画像合成部により移動させた画像を示す図である。 図１１は、本発明の実施形態１に係る地図画像を例示する図である。 図１２は、本発明の実施形態１に係る図９の画像と図１０の画像とを重ね合わせた合成画像を示す図である。 図１３は、本発明の実施形態１に係る自車両が接近する交差点のもう一つの例を示す説明図である。 図１４は、本発明の実施形態１に係る路上カメラに撮影された路上カメラ画像を例示する図である。 図１５は、本発明の実施形態１に係る路上カメラに撮影された路上カメラ画像を例示する図である。 図１６は、本発明の実施形態１に係る図１４に対応する変換後画像を示す図である。 図１７は、本発明の実施形態１に係る図１５に対応する変換後画像を示す図である。 図１８は、本発明の実施形態１に係る図１６の画像を画像合成部により移動させた画像を示す図である。 図１９は、本発明の実施形態１に係る図１７の画像を画像合成部により移動させた画像を示す図である。 図２０は、本発明の実施形態１に係る図１８の画像と図１９の画像とを重ね合わせた合成画像を示す図である。 図２１は、本発明の実施形態２に係る路上カメラシステム２１００の構成を示すブロック図である。 図２２は、本発明の実施形態２に係る画像処理部の構成を示すブロック図である。 図２３は、本発明の実施形態２に係る画像処理部の動作を示すフローチャートである。
　以下、本発明の実施形態について、図面を参照して説明する。
　《実施形態１》
　図１は、本発明の実施形態１に係るカーナビゲーションシステム１００を示す。
　カーナビゲーションシステム１００は、通信制御部１０１、自立航法制御部１０２、ＧＰＳ制御部１０３、ＶＩＣＳ情報受信機１０４、音声出力部１０５、ナビゲーション制御部１０６、地図情報格納メモリ１０７、更新データ格納メモリ１０８、撮像部１０９、画像処理部１１０、路上カメラ情報受信部１１１、画像表示部１１２、及び車両情報発信部１１３を備えている。
　通信制御部１０１は、無線又は有線によりデータ通信を行う。ユーザは、通信制御部１０１を介して外部サーバへアクセスすることが可能である。なお、通信制御部１０１による通信機能は、ナビゲーション装置に内蔵してもよいし、携帯電話等、ナビゲーション装置に外部から接続された移動体通信端末により実現してもよい。
　自立航法制御部１０２は、自車両の回転角度を検出するとともに、車速度センサにより自車両の移動速度を検出する。
　ＧＰＳ制御部１０３は、地球の高度約２万ｋｍにおける所定の軌道に複数個配置された人工衛星（ＧＰＳ衛星）から伝送されるＧＰＳ電波をＧＰＳ受信機によって受信し、ＧＰＳ信号に含まれた情報を利用して地球上における自車両の現在位置と進行方位（向き情報）とを測定する。
　ＶＩＣＳ情報受信機１０４は、外部アンテナを介して自車両外部から現在の道路交通情報を逐次受信する。
　音声出力部１０５は、スピーカを含み、例えば、経路誘導時に交差点案内などの音声を出力する。
　ナビゲーション制御部１０６は、カーナビゲーションを制御する制御回路であり、カーナビゲーションシステム１００全体を制御する。ナビゲーション制御部１０６は、自車両の位置方位情報をＧＰＳ制御部１０３から受信して出力する。自車両の位置方位情報は、ＧＰＳ制御部１０３により測定された自車両の現在位置をグローバル座標系により示す位置情報と、ＧＰＳ制御部１０３により測定された自車両の進行方位を示す方位情報とを含む。グローバル座標系の位置情報は、路上カメラから得られるか、又はＧＰＳ情報に基づいて得られる。
　地図情報格納メモリ１０７は、ランドマーク等の静止対象物や施設のデータ等、各種データを含む地図情報を保持し、この地図情報は、ナビゲーション制御部１０６により読み出される。地図情報格納メモリ１０７は、ＣＤ／ＤＶＤ－ＲＯＭ、ハードディスクドライブ（ＨＤＤ）等である。
　更新データ格納メモリ１０８は、地図情報格納メモリ１０７において更新される地図情報の差分データをナビゲーション制御部１０６により記憶させるメモリである。
　撮像部１０９は、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子を備えたカメラであり、自車両の前方に設置され、自車両の前方の撮影により、撮像画像を示す撮像画像情報（電気信号）を出力する。
　画像処理部１１０は、撮像部１０９により出力された電気信号と、ナビゲーション制御部１０６により読み出された地図情報とに基づいて、画像表示部１１２に表示する表示画像を示す表示画像情報を生成する。画像処理部１１０の詳細な構成については後述する。
　路上カメラ情報受信部１１１は、路上カメラ画像情報と路上カメラの位置方位情報とを路上カメラから受信する。路上カメラ画像情報は、道路状況を撮影する路上カメラにより得られた路上カメラ画像を示す。上記路上カメラの位置方位情報は、路上カメラの設置位置をグローバル座標系により示す位置情報と路上カメラのレンズの光軸方向を示す光軸情報とを含む。
　画像表示部１１２は、画像処理部１１０により生成された表示画像情報に基づく画像をカーナビゲーションシステム１００のディスプレイ等に表示する。
　車両情報発信部１１３は、車両の位置を示す地図情報又は撮像部１０９の撮影により得られる撮像画像に対して画像処理部１１０による処理を施した画像を示す画像情報と、自車両の位置方位情報とを画像処理部１１０から受信して発信する。なお、上記地図情報又は画像情報と自車両の位置方位情報との発信が、車両情報発信部１１３の代わりに通信制御部１０１によって行われるようにしてもよい。
　また、路上カメラ画像情報、及び路上カメラの位置方位情報の受信が、路上カメラ情報受信部１１１の代わりに通信制御部１０１によって行われるようにしてもよい。
　図２は、画像処理部１１０の構成を示す。
　画像処理部１１０は、路上カメラ情報入力部２０１と、位置方位情報入力部２０２と、撮像画像入力部２０３と、移動体検出部２０４と、画像変換部２０５と、セレクタ２０６と、画像合成部２０７と、車両情報出力部２０８とを備えている。
　路上カメラ情報入力部２０１は、路上カメラ情報受信部１１１により受信された情報を、路上カメラ画像情報と路上カメラの位置方位情報とに分離して出力する。
　位置方位情報入力部２０２は、路上カメラ情報入力部２０１により出力された路上カメラの位置方位情報と、ナビゲーション制御部１０６により出力された自車両の位置方位情報とを受けて出力する。
　撮像画像入力部２０３は、撮像画像情報を撮像部１０９から受けて出力する。
　移動体検出部２０４は、路上カメラ情報入力部２０１により出力された路上カメラ画像情報により示される路上カメラ画像と、撮像画像入力部２０３により出力された撮像画像情報により示される撮像画像とに対し、移動体（移動する物体）の検出を試みる。
　画像変換部２０５は、路上カメラ情報入力部２０１により出力された路上カメラ画像情報により示される路上カメラ画像に対し、位置方位情報入力部２０２により出力された路上カメラの位置方位情報と自車両の位置方位情報とに基づいて、視点を前記路上カメラから前記車両に変換する画像変換を行い、変換後画像を示す変換後画像情報を出力する。この画像変換には、画像の拡大縮小に用いられるバイリニア法（線形補間）、バイキュービック法、独自の３次元変換法等、適用可能であれば、どのような視点変換の手法を用いてもよい。ただし、画像変換部２０５は、移動体検出部２０４が路上カメラ画像から移動体を検出した場合には、移動体を検出した領域に対してのみ、画像変換の処理を行う。
　セレクタ２０６は、ナビゲーション制御部１０６により読み出された地図情報と、撮像画像入力部２０３により出力された撮像画像情報とのいずれか一方を選択して出力する。
　画像合成部２０７は、セレクタ２０６により地図情報が選択されている場合には、当該地図情報に基づいて、自車両の位置を示す地図画像における画像変換部２０５により出力された変換後画像の対応領域を算定し、算定した対応領域に変換後画像を重ねた合成画像を示す画像情報を前記表示画像情報として出力する。一方、セレクタ２０６により撮像画像情報が選択されている場合には、当該撮像画像情報に基づいて、撮像画像における画像変換部２０５により出力された変換後画像の対応領域を算定し、算定した対応領域に変換後画像を重ねた合成画像を示す画像情報を前記表示画像情報として出力する。具体的には、画像合成部２０７は、変換後画像の対応領域を示す座標を算出し、算出した座標に基づいて、変換後画像に対し、対応領域に当該変換後画像を移動させる画像変換を行い、当該画像変換後の画像に地図画像又は撮像画像を重ねることにより、合成画像を示す表示画像情報を生成する。なお、撮像画像（自車両のカメラ画像）において移動体が検出されている領域は、乗員が視認できる領域であるので、この領域に対応する路上カメラ画像の領域の変換後画像は、合成画像から省かれる。つまり、画像合成部２０７による合成は、撮像画像において移動体が検出されていない領域に対応する路上カメラ画像の領域の変換後画像と、地図画像又は撮像画像とを重ね合わせるものである。
　車両情報出力部２０８は、セレクタ２０６の出力に応じて、車両の位置を示す地図情報又は撮像部１０９の撮影により得られる撮像画像を示す撮像画像情報を出力するとともに、自車両の位置方位情報を出力する。車両情報出力部２０８により出力された情報は、車両情報発信部１１３又はナビゲーション制御部１０６を介して外部に発信され、他の車両や交差点カメラシステム等によって受信される。
　次に、上記のように構成された画像処理部１１０の動作について、図３のフローチャートを参照して説明する。
　まず、（Ｓ３０１）において、路上カメラ情報入力部２０１が、路上カメラ情報受信部１１１から路上カメラ画像情報、及び路上カメラの位置方位情報の受信を試みる。これら路上カメラの情報を受信した場合には、路上カメラ画像情報と路上カメラの位置方位情報とを分離して出力し、処理が（Ｓ３０２）に進む。一方、受信しなかった場合には、処理が（Ｓ３０８）に進む。
　次に、（Ｓ３０２）において、位置方位情報入力部２０２が、路上カメラ情報入力部２０１により出力された路上カメラの位置方位情報と、ナビゲーション制御部１０６により出力された自車両の位置方位情報とを取得する。
　そして、（Ｓ３０３）において、移動体検出部２０４が、路上カメラ情報入力部２０１により出力された路上カメラ画像情報により示される路上カメラ画像と、撮像画像入力部２０３により出力された撮像画像情報により示される撮像画像とに対し、移動体の検出を試みる。路上カメラ画像から移動体を検出した場合には処理が（Ｓ３０４）に進む一方、移動体を検出しなかった場合には処理が（Ｓ３０５）に進む。
　（Ｓ３０４）においては、移動体検出部２０４が、路上カメラ情報入力部２０１により出力された路上カメラ画像情報により示される路上カメラ画像から移動体を検出した領域以外の領域を削除した画像を示す路上カメラ画像情報を出力する。
　（Ｓ３０５）では、画像変換部２０５が、路上カメラ情報入力部２０１により出力された路上カメラ画像情報に対し、位置方位情報入力部２０２により出力された路上カメラの位置方位情報と自車両の位置方位情報とに基づいて、視点を前記路上カメラから前記車両に変換する画像変換を行い、変換後画像を示す変換後画像情報を出力する。ただし、（Ｓ３０３）において路上カメラ画像から移動体が検出された場合には、（Ｓ３０４）において移動体検出部２０４により出力された路上カメラ画像情報に対し、画像変換の処理を行う。
　（Ｓ３０６）では、画像合成部２０７が、セレクタ２０６により地図情報が選択されている場合には、自車両の位置を示す地図画像における変換後画像の対応領域を算定し、算定した対応領域に変換後画像を重ねた合成画像を示す画像情報を前記表示画像情報として出力する。一方、画像合成部２０７は、セレクタ２０６により撮像画像情報が選択されている場合には、撮像画像における変換後画像の対応領域を算定し、算定した対応領域に変換後画像を重ねた合成画像を示す画像情報を前記表示画像情報として出力する。
　（Ｓ３０７）では、画像表示部１１２が、画像処理部１１０の画像合成部２０７により出力された表示画像情報に基づく画像をカーナビゲーションシステム１００のディスプレイ等に表示する。
　（Ｓ３０８）では、画像表示部１１２が、自車両の位置を示す地図画像、又は撮像部１０９の撮影により得られる撮像画像をカーナビゲーションシステム１００のディスプレイ等に表示する。
　（Ｓ３０１）～（Ｓ３０８）の処理が繰り返して行われ、表示が更新される。
　以下、図４に示すような交差点に自車両が接近している場合におけるカーナビゲーションシステム１００の動作の例について説明する。この例では、セレクタ２０６は、ナビゲーション制御部１０６により読み出された地図情報を選択している。
　図４において、４０１は自車両を示し、４０２及び４０３は、信号機等に設置された路上カメラを示す。路上カメラ４０２は、撮影範囲４０４を撮影し、路上カメラ４０３は撮影範囲４０５を撮影している。
　図５は、路上カメラ４０２に撮影された撮影範囲４０４の路上カメラ画像５０１を示し、図６は路上カメラ４０３に撮影された撮影範囲４０５の路上カメラ画像６０１を示す。
　この場合、路上カメラ画像５０１を示す路上カメラ画像情報、及び路上カメラ画像６０１を示す路上カメラ画像情報が自車両４０１によって受信される。
　そして、画像変換部２０５により、路上カメラ画像５０１を示す路上カメラ画像情報に対して画像変換（視点変換）が行われ、図７に示すような変換後画像７０１を示す変換後画像情報が得られる。また、路上カメラ画像６０１を示す路上カメラ画像情報に対して画像変換が行われ、図８に示すような変換後画像８０１を示す変換後画像情報が得られる。
　次に、画像合成部２０７が、算出した座標に基づいて、図９に示すように画像７０１を座標領域９０１に移動させる画像変換を行うとともに、図１０に示すように画像８０１を座標領域１００１に移動させる画像変換を行う。
　次に、画像合成部２０７が、ナビゲーション制御部１０６からの地図情報に基づく地図画像１１０１（図１１参照。）と図９に示す画像と図１０に示す画像とを重ね合わせる。これにより、表示画像情報により示される合成画像は、図１２に示すようになる。
　次に、図１３に示すような交差点に自車両が接近している場合におけるカーナビゲーションシステム１００の動作の例について説明する。この例は、路上カメラ４０２が撮影範囲４０４に加えて撮影範囲１３０１を撮影し、路上カメラ４０３が撮影範囲４０５に加えて撮影範囲１３０２を撮影している点で、図４の例と異なっている。
　図１４は、路上カメラ４０２に撮影された撮影範囲１３０１の路上カメラ画像１４０１を示し、図１５は路上カメラ４０３に撮影された撮影範囲１３０２の路上カメラ画像１５０１を示す。
　この例では、路上カメラ画像５０１を示す路上カメラ画像情報、及び路上カメラ画像６０１を示す路上カメラ画像情報に加え、路上カメラ画像１４０１を示す路上カメラ画像情報、及び路上カメラ画像１５０１を示す路上カメラ画像情報が自車両４０１によって受信される。また、セレクタ２０６により地図情報が選択されている。
　そして、画像変換部２０５により、路上カメラ画像１４０１を示す路上カメラ画像情報に対して画像変換（視点変換）が行われ、図１６に示すような変換後画像１６０１を示す変換後画像情報が得られる。また、路上カメラ画像１５０１を示す路上カメラ画像情報に対して画像変換が行われ、図１７に示すような変換後画像１７０１を示す変換後画像情報が得られる。
　次に、画像合成部２０７が、算出した座標に基づいて、図１８に示すように画像１６０１を座標領域１８０１に移動させる画像変換を行うとともに、図１９に示すように画像１７０１を座標領域１９０１に移動させる画像変換を行う。なお、図１８の座標領域１８０１において、画像１６０１の自動車に対応する領域は、自車両のカメラ画像において移動体が検出されたことのある領域として、合成の対象外とされている。
　次に、画像合成部２０７が、ナビゲーション制御部１０６からの地図情報に基づく地図画像１１０１（図１１参照。）と図１８に示す画像と図１９に示す画像とを重ね合わせると、図２０に示す合成画像となる。
　移動体検出部２０４は、自車両のカメラ画像において、座標領域１８０１及び座標領域１９０１に対応する領域で移動体を検出する。
　また、画像変換部２０５は、自車両のカメラ画像における移動体検出部２０４により移動体が検出された領域を特定し、画像合成部２０７は、自車両のカメラ画像において移動体が検出されていない領域に対応する路上カメラ画像の領域と、地図画像とを重ね合わせる。座標領域１８０１及び座標領域１９０１は、移動体検出部２０４により図１１における自車両のカメラ画像において移動体が検出された領域であるため、合成の対象外とされ、座標領域９０１と座標領域１００１とが重ね合わせられる。これにより、図１２に示す画像が得られる。
　本実施形態によると、路上カメラの撮影範囲が自車両の乗員の死角領域である場合、路上カメラ画像が視点を車両に変換した状態で時々刻々と連続的に表示されるので、車両の乗員は正確な距離感及び速度感で死角領域の移動体を漏れなく認識でき、出合い頭の衝突事故を未然に防止できる。また、移動体が複数ある場合でも、移動体を個々に認識する処理を行う必要がないので、処理の規模が増大しない。
　このように、自車両のカメラ画像において移動体が検出されたことがある領域に対応する路上カメラ画像の領域の変換後画像は、合成の対象外とされ、表示画像に含まれないので、自車両の進行方向、建物や壁等、遮蔽物が存在しない交差点等、見晴らしが良く目視確認することができる領域を表示せず、死角領域のみを表示できる。
　また、本実施形態によると、路上カメラ画像から移動体が検出された場合には、路上カメラ画像から移動体を検出した領域以外の領域を削除して得た画像を示す路上カメラ画像情報に対してのみ、画像変換を行うので、死角内にある物体のうち、危険の対象ではない建物や看板等、静止する物体を除外した画像を表示できる。
　《実施形態２》
　図２１は、本発明の実施形態２に係る路上カメラシステム２１００を示す。路上カメラシステム２１００は、実施形態１に係るカーナビゲーションシステム１００と情報のやりとりを行う。
　路上カメラシステム２１００は、通信制御部２１０１、路上カメラ制御部２１０２、撮像部（路上カメラ）２１０３、車両カメラ情報受信部２１０４、路上カメラ情報発信部２１０５、及び画像処理部２１０６を備えている。
　通信制御部２１０１は、無線又は有線によりデータ通信を行う。制御管理者は、通信制御部２１０１を介して外部サーバへアクセスすることが可能である。なお、通信制御部２１０１による通信機能は、路上カメラ制御部２１０２に内蔵してもよい。
　路上カメラ制御部２１０２は、路上カメラシステム２１００全体を制御する制御回路である。路上カメラ制御部２１０２は、路上カメラの位置方位情報を出力する。路上カメラの位置方位情報は、路上カメラの既知の設置位置を示す位置情報と路上カメラの光軸情報とを含む。
　撮像部２１０３は、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子を備えたカメラであり、撮影した路上カメラ画像を示す路上カメラ画像情報（電気信号）を出力する。
　車両カメラ情報受信部２１０４は、車両の地図情報、車両カメラ画像情報、及び車両カメラの位置方位情報を車両カメラから受信する。車両カメラ画像情報は、車両内に設置された撮像部１０９による前方の撮影により得られた撮像画像を示す。また、車両カメラの位置方位情報は、ＧＰＳ等により測定された自車両の現在位置をグローバル座標系により示す位置情報と、ＧＰＳ等により測定された自車両の進行方位を示す方位情報とを含む。
　路上カメラ情報発信部２１０５は、車両からの地図画像と、撮像部２１０３により得られた路上カメラ画像情報により示される路上カメラ画像に対して画像処理部２１０６により処理を施した後の画像とのうちのいずれか一方を示す画像情報、及び路上カメラの位置方位情報を発信する。なお、車両カメラ情報受信部２１０４による受信機能、及び路上カメラ情報発信部２１０５による発信機能は、通信制御部２１０１により実現されてもよい。
　画像処理部２１０６は、撮像部２１０３により出力された路上カメラ画像情報（画像データ）に対して画像処理（変換）を行う。画像処理により得られたデータは、路上カメラ制御部２１０２へ出力される。
　図２２は、画像処理部２１０６の構成を示す。
　画像処理部２１０６は、車両カメラ情報入力部２１０７と、位置方位情報入力部２１０８と、撮像画像入力部２１０９と、移動体検出部２１１０と、画像変換部２１１１と、画像合成部２１１２と、セレクタ２１１３と、路上カメラ情報出力部２１１４とを備えている。
　車両カメラ情報入力部２１０７は、車両カメラ情報受信部２１０４により受信された情報を出力し、その情報のうち、車両カメラ画像情報と車両カメラの位置方位情報とを分離して出力する。
　位置方位情報入力部２１０８は、車両カメラ情報入力部２１０７により出力された車両カメラの位置方位情報と、路上カメラ制御部２１０２により出力された路上カメラの位置方位情報とを受けて出力する。
　撮像画像入力部２１０９は、路上カメラ画像情報を撮像部２１０３から受けて出力する。
　移動体検出部２１１０は、車両カメラ情報入力部２１０７により出力された車両カメラ画像情報により示される撮像画像と、撮像画像入力部２１０９により出力された路上カメラ画像情報により示される路上カメラ画像とに対し、移動体（移動する物体）の検出を試みる。
　画像変換部２１１１は、撮像画像入力部２１０９により出力された路上カメラ画像情報により示される路上カメラ画像に対し、位置方位情報入力部２１０８により出力された路上カメラの位置方位情報と自車両の位置方位情報とに基づいて、視点を前記路上カメラから前記車両に変換する画像変換を行い、変換後画像を示す変換後画像情報を出力する。この画像変換には、画像の拡大縮小に用いられるバイリニア法（線形補間）、バイキュービック法、独自の３次元変換法等、適用可能であれば、どのような視点変換の手法を用いてもよい。ただし、画像変換部２１１１は、移動体検出部２１１０が路上カメラ画像から移動体を検出した場合には、移動体検出部２１１０により移動体を検出した領域に対してのみ、画像変換の処理を行う。
　画像合成部２１１２は、車両カメラ情報入力部２１０７により出力された地図情報に基づく地図画像又は上記車両カメラ画像情報に基づく撮像画像における，画像変換部２１１１により出力された変換後画像情報に基づく変換後画像の対応領域を算定し、算定した対応領域に変換後画像を重ねた合成画像を示す画像情報を合成画像情報（表示画像情報）として出力する。なお、実施形態１と同様に、自車両のカメラ画像において移動体が検出されている領域は、乗員が視認できる領域であるので、この領域に対応する路上カメラ画像の領域の変換後画像は、合成画像から省かれる。つまり、画像合成部２１１２による合成は、自車両のカメラ画像において移動体が検出されていない領域に対応する路上カメラ画像の領域の変換後画像と、地図画像又は撮像画像とを重ね合わせるものである。
　セレクタ２１１３は、撮像画像入力部２１０９により出力された路上カメラ画像情報と、画像合成部２１１２により出力された合成画像情報とのうちのいずれか一方を選択して出力する。
　路上カメラ情報出力部２１１４は、セレクタ２１１３により出力された画像情報を出力する。路上カメラ情報出力部２１１４により出力された画像情報は、路上カメラ情報発信部２１０５を介してカーナビゲーションシステム１００に送られ、カーナビゲーションシステム１００の画像表示部１１２により表示される。
　次に、上記のように構成された画像処理部２１０６の動作について、図２３のフローチャートを参照して説明する。なお、ここでは、セレクタ２１１３が画像合成部２１１２により出力された合成画像情報を選択する場合の動作について説明する。
　まず、（Ｓ２３０１）において、車両カメラ情報入力部２１０７が、車両カメラ情報受信部２１０４から車両カメラ画像情報の受信を試みる。この車両カメラ画像情報を受信した場合には、処理が（Ｓ２３０２）に進む。一方、受信しなかった場合には、処理が終了する。
　（Ｓ２３０２）では、画像変換部２１１１が、車両カメラの位置方位情報を車両カメラ情報入力部２１０７から受信し、位置方位情報入力部２１０８により位置情報を取得する。
　（Ｓ２３０３）では、移動体検出部２１１０が、撮像画像入力部２１０９により出力された路上カメラ画像情報により示される路上カメラ画像と、車両カメラ画像情報により示される撮像画像とに対し、移動体の検出を試みる。路上カメラ画像から移動体を検出した場合には処理が（Ｓ２３０４）に進む一方、移動体を検出しなかった場合には処理が（Ｓ２３０５）に進む。
　（Ｓ２３０４）においては、移動体検出部２１１０が、路上カメラ画像から（Ｓ２３０２）において移動体を検出した領域以外の領域を削除した画像を示す路上カメラ画像情報を出力する。
　（Ｓ２３０５）においては、画像変換部２１１１が、撮像画像入力部２１０９により出力された路上カメラ画像情報により示される路上カメラ画像に対し、位置方位情報入力部２１０８により出力された車両カメラの位置方位情報と路上カメラの位置方位情報とに基づいて、視点を前記路上カメラから前記車両に変換する画像変換を行い、変換後画像を示す変換後画像情報を出力する。ただし、（Ｓ２３０３）において路上カメラ画像から移動体が検出された場合には、（Ｓ２３０４）において移動体検出部２１１０により出力された路上カメラ画像情報に対し、画像変換の処理を行う。
　（Ｓ２３０６）においては、画像合成部２１１２が、自車両の位置を示す地図画像における変換後画像の対応領域を算定し、算定した領域の変換後画像と、地図画像、又は車両カメラの画像とを重ねた合成画像を示す画像情報を前記合成画像情報として出力する。
　（Ｓ２３０７）においては、路上カメラ情報出力部２１１４及び路上カメラ情報発信部２１０５を介して合成画像情報がカーナビゲーションシステム１００に送られ、カーナビゲーションシステム１００の画像表示部１１２により表示される。
　以下、図４に示すような交差点に自車両が接近している場合における路上カメラシステム２１００の動作の例について説明する。
　図５は、路上カメラ４０２に撮影された撮影範囲４０４の路上カメラ画像５０１を示し、図６は路上カメラ４０３に撮影された撮影範囲４０５の路上カメラ画像６０１を示す。路上カメラ４０２，４０３には、それぞれ路上カメラシステム２１００が設けられているものとする。
　この場合、路上カメラ４０２，４０３が設置された交差点に自車両４０１が接近すると、路上カメラ４０２，４０３に設けられた各路上カメラシステム２１００は、車両４０１から車両の位置方位情報を受信する。
　そして路上カメラ画像５０１に対して画像変換（視点変換）が行われ、図７に示すような変換後画像７０１を示す変換後画像情報が得られる。また、路上カメラ画像６０１に対して画像変換が行われ、図８に示すような変換後画像８０１を示す変換後画像情報が得られる。次に、算出した座標に基づいて、図９に示すように画像７０１を座標領域９０１に移動させる画像変換が行われるとともに、図１０に示すように画像８０１を座標領域１００１に移動させる画像変換が行われる。そして、図９に示す画像、及び図１０に示す画像を重ねた合成画像を示す合成画像情報が車両へ送信される。
　本実施形態においても、実施形態１と同様の作用効果が得られる。
　なお、本発明の好ましい実施形態について詳述したが、本発明はこれに限定されるものではなく、種々、変形可能である。
　例えば、上記実施形態１，２では、路上カメラを信号機に設置したが、信号機以外に設置された監視用途等のカメラや、他の車両に搭載されたカメラを路上カメラとして用いてもよい。さらに一方向あたり一台の路上カメラを割り当てたが、変換画像の精度を向上させるために、一方向あたりに複数個の路上カメラを割り当て、複数個の路上カメラの画像に対して視点変換を行ってもよい。
　さらに、上記実施形態１，２では、十字路の交差点に自車両が進入する場合を例示したが、十字路以外のＴ字路や三叉路等、他の種類の分岐した交差点に自車両が進入する場合にも本発明を適用できる。
　さらに、上記実施形態１，２では、ナビゲーション装置が、鳥瞰図のような三次元の地図画像を表示するようになっていたが、二次元の地図画像を用いた場合にも本発明は適用可能である。
　さらに、上記実施形態１，２では、通信制御部１０１，２１０１により路上カメラと車両との間でデータの送受信を行っているが、通信制御部１０１，２１０１を、専用の無線通信機で構成し、無線通信によりデータの送受信機能が果たされるようにしてもよい。また、通信制御部１０１，２１０１を、一般的な携帯電話、携帯型端末機器又はサーバ等、インターネットに接続可能な機器で構成し、インターネット通信によりデータの送受信機能が果たされるようにしてもよい。
　また、撮像部１０９、画像処理部１１０、及びナビゲーション制御部１０６は、それぞれ１チップのＬＳＩで構成できる。さらに他のブロックや、それらの組み合わせも１チップのＬＳＩで構成できる。
　以上、本発明を実施形態１，２を用いて説明したが、本発明の技術的範囲は前記実施形態１，２に記載した範囲には限定されない。前記実施形態に、多様な変更又は改良を加えることが可能であることは、当業者にとって明らかであり、その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれることが、請求の範囲の記載から明らかである。
　本発明に係る技術は、車両内に設けた画像表示部により表示する表示画像を示す表示画像情報を生成する画像処理装置と、当該画像処理装置を備えたカーナビゲーションシステム及び路上カメラシステムに有用である。
１００　　　カーナビゲーションシステム 
１０６　　　ナビゲーション制御部 
１０９　　　撮像部 
１１０　　　画像処理部（画像処理装置） 
１１１　　　路上カメラ情報受信部 
１１２　　　画像表示部 
２０４　　　移動体検出部 
２０５　　　画像変換部 
２０７　　　画像合成部 
２０８　　　車両情報出力部 
４０１　　　自車両 
４０２，４０３　　　路上カメラ 
５０１，６０１，１４０１，１５０１　　　路上カメラ画像 
７０１，８０１，１６０１，１７０１　　　変換後画像　
１１０１　　　地図画像 
２１００　　　路上カメラシステム 
２１０３　　　撮像部（路上カメラ） 
２１０４　　　車両カメラ情報受信部 
２１０６　　　画像処理部（画像処理装置） 
２１１０　　　移動体検出部 
２１１１　　　画像変換部 
２１１２　　　画像合成部 

Claims (10)

  1. 　車両内に設けた画像表示部により表示される表示画像を示す表示画像情報を生成する画像処理装置であって、
    　路上カメラにより得られた路上カメラ画像に対し、前記路上カメラの位置情報及び光軸情報と、前記車両の位置情報及び向き情報とに基づいて、前記路上カメラから前記車両に視点を変換する画像変換を行い、変換後画像を示す変換後画像情報を出力する画像変換部を備え、
    　前記画像変換部により出力された変換後画像情報に基づいて、前記変換後画像を少なくとも一部に含む表示画像を示す前記表示画像情報を生成することを特徴とする画像処理装置。
  2. 　請求項１の画像処理装置において、
    　前記車両の位置を示す地図画像における前記変換後画像の対応領域を算定し、算定した対応領域に前記変換後画像を重ねた合成画像を示す画像情報を前記表示画像情報として出力する画像合成部をさらに備えていることを特徴とする画像処理装置。
  3. 　請求項１の画像処理装置において、
    　前記車両内に設置された撮像部による前方の撮影により得られた撮像画像における前記変換後画像の対応領域を算定し、算定した対応領域に前記変換後画像を重ねた合成画像を示す画像情報を前記表示画像情報として出力する画像合成部をさらに備えていることを特徴とする画像処理装置。
  4. 　請求項１の画像処理装置において、
    　前記路上カメラ画像から移動体を検出する移動体検出部をさらに備え、
    　前記画像変換部は、前記路上カメラ画像から、前記移動体検出部によって移動体を検出した領域以外の領域を削除した画像に対し、前記画像変換を行うことを特徴とする画像処理装置。
  5. 　請求項１の画像処理装置において、
    　前記車両内に設置された撮像部による前方の撮影により得られた撮像画像から移動体を検出する移動体検出部をさらに備え、
    　前記表示画像は、前記撮像画像において移動体を検出した領域に対応する前記路上カメラ画像の領域の変換後画像を含まないことを特徴とする画像処理装置。
  6. 　請求項１の画像処理装置において、
    　前記車両内に設置された撮像部による前方の撮影により得られた撮像画像を示す撮像画像情報と、前記車両の位置情報及び向き情報とを出力する車両情報出力部をさらに備えていることを特徴とする画像処理装置。
  7. 　請求項１～６のいずれか１項に記載の画像処理装置において、
    　前記車両内に設けられていることを特徴とする画像処理装置。
  8. 　請求項１～５のいずれか１項に記載の画像処理装置において、
    　前記路上カメラに設けられていることを特徴とする画像処理装置。
  9. 　請求項７に記載の画像処理装置と、
    　前記画像表示部と、
    　前記路上カメラ画像を示す路上カメラ画像情報と、前記路上カメラの位置情報及び光軸情報とを受信する路上カメラ情報受信部と、
    　前記車両内に前方を撮影するように設置された撮像部と、
    　カーナビゲーションを制御するナビゲーション制御部とを備えていることを特徴とするカーナビゲーションシステム。
  10. 　請求項８に記載の画像処理装置と、
    　前記車両の位置情報及び向き情報を受信する車両カメラ情報受信部と、
    　前記路上カメラとを備えていることを特徴とする路上カメラシステム。
PCT/JP2011/002026 2010-04-26 2011-04-05 画像処理装置、カーナビゲーションシステム、及び路上カメラシステム WO2011135778A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010100862 2010-04-26
JP2010-100862 2010-04-26

Publications (1)

Publication Number Publication Date
WO2011135778A1 true WO2011135778A1 (ja) 2011-11-03

Family

ID=44861107

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/002026 WO2011135778A1 (ja) 2010-04-26 2011-04-05 画像処理装置、カーナビゲーションシステム、及び路上カメラシステム

Country Status (1)

Country Link
WO (1) WO2011135778A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102897091A (zh) * 2012-09-22 2013-01-30 浙江中呼科技有限公司 车载图像显示器、手机车载显示装置及监测装置
EP2911041A1 (en) * 2014-02-18 2015-08-26 Harman International Industries, Inc. Generating an augmented view of a location of interest
WO2017179174A1 (ja) * 2016-04-14 2017-10-19 日産自動車株式会社 移動体周囲表示方法及び移動体周囲表示装置
EP3282228A1 (en) * 2016-08-10 2018-02-14 Panasonic Intellectual Property Corporation of America Dynamic-map constructing method, dynamic-map constructing system, and moving terminal
US11351932B1 (en) 2021-01-22 2022-06-07 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicles and methods for generating and displaying composite images

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002222488A (ja) * 2001-01-29 2002-08-09 Matsushita Electric Ind Co Ltd 交通監視装置
JP2006215911A (ja) * 2005-02-04 2006-08-17 Sumitomo Electric Ind Ltd 接近移動体表示装置、システム及び方法
JP2008033439A (ja) * 2006-07-26 2008-02-14 Toyota Motor Corp 車両用表示システム、ナビゲーションシステム
JP2008044612A (ja) * 2007-10-09 2008-02-28 Equos Research Co Ltd 車載画像表示装置
JP2009070243A (ja) * 2007-09-14 2009-04-02 Denso Corp 車両用視界支援システム、及び、情報配信装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002222488A (ja) * 2001-01-29 2002-08-09 Matsushita Electric Ind Co Ltd 交通監視装置
JP2006215911A (ja) * 2005-02-04 2006-08-17 Sumitomo Electric Ind Ltd 接近移動体表示装置、システム及び方法
JP2008033439A (ja) * 2006-07-26 2008-02-14 Toyota Motor Corp 車両用表示システム、ナビゲーションシステム
JP2009070243A (ja) * 2007-09-14 2009-04-02 Denso Corp 車両用視界支援システム、及び、情報配信装置
JP2008044612A (ja) * 2007-10-09 2008-02-28 Equos Research Co Ltd 車載画像表示装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102897091A (zh) * 2012-09-22 2013-01-30 浙江中呼科技有限公司 车载图像显示器、手机车载显示装置及监测装置
EP2911041A1 (en) * 2014-02-18 2015-08-26 Harman International Industries, Inc. Generating an augmented view of a location of interest
US9639968B2 (en) 2014-02-18 2017-05-02 Harman International Industries, Inc. Generating an augmented view of a location of interest
WO2017179174A1 (ja) * 2016-04-14 2017-10-19 日産自動車株式会社 移動体周囲表示方法及び移動体周囲表示装置
CN109070799A (zh) * 2016-04-14 2018-12-21 日产自动车株式会社 移动体周围显示方法及移动体周围显示装置
RU2715876C1 (ru) * 2016-04-14 2020-03-03 Ниссан Мотор Ко., Лтд. Способ и оборудование отображения окрестностей мобильного тела
US10864856B2 (en) 2016-04-14 2020-12-15 Nissan Motor Co., Ltd. Mobile body surroundings display method and mobile body surroundings display apparatus
CN109070799B (zh) * 2016-04-14 2021-02-26 日产自动车株式会社 移动体周围显示方法及移动体周围显示装置
EP3282228A1 (en) * 2016-08-10 2018-02-14 Panasonic Intellectual Property Corporation of America Dynamic-map constructing method, dynamic-map constructing system, and moving terminal
US11351932B1 (en) 2021-01-22 2022-06-07 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicles and methods for generating and displaying composite images
EP4032752A1 (en) * 2021-01-22 2022-07-27 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle and method for generating and displaying composite images
JP7497380B2 (ja) 2021-01-22 2024-06-10 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド 複合画像を生成および表示するための車両と方法

Similar Documents

Publication Publication Date Title
JP4752486B2 (ja) 撮像装置、映像信号の選択装置、運転支援装置、自動車
JP4434224B2 (ja) 走行支援用車載装置
JP6451840B2 (ja) 情報提示システム
JP6257989B2 (ja) 運転支援装置
CN102081861B (zh) 车载装置及认知支援系统
CN100492436C (zh) 用于显示车辆外部图像的设备
JP4293917B2 (ja) ナビゲーション装置及び交差点案内方法
US11076141B2 (en) Image processing device, image processing method, and vehicle
JP6639379B2 (ja) 車両周辺監視装置
JP2013535753A (ja) 表示装置に画像を表示する方法、および運転者支援システム
JP4601505B2 (ja) トップビュー画像生成装置及びトップビュー画像表示方法
WO2011135778A1 (ja) 画像処理装置、カーナビゲーションシステム、及び路上カメラシステム
JP7024737B2 (ja) 情報処理装置と情報処理方法とプログラムおよび撮像装置
JP2007102691A (ja) 車両用視界支援装置
JP2004351977A (ja) 車外映像表示装置
JP2017068640A (ja) 車両間データ通信装置
US11697425B1 (en) Method and system for assisting drivers in locating objects that may move into their vehicle path
JP4797849B2 (ja) 運転支援画像表示システム及び車載装置
US11443520B2 (en) Image processing apparatus, image processing method, and image processing system
JP2016212501A (ja) 移動体用画像生成装置及びナビゲーション装置
JP6922169B2 (ja) 情報処理装置および方法、車両、並びに情報処理システム
JP2006236094A (ja) 障害物認識システム
CN114902309A (zh) 驾驶辅助装置、驾驶辅助方法以及程序
WO2020085101A1 (ja) 画像処理装置と画像処理方法およびプログラム
JP6221562B2 (ja) 車両用情報提示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11774569

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11774569

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP