WO2011016368A1 - 車両周辺画像生成装置 - Google Patents

車両周辺画像生成装置 Download PDF

Info

Publication number
WO2011016368A1
WO2011016368A1 PCT/JP2010/062658 JP2010062658W WO2011016368A1 WO 2011016368 A1 WO2011016368 A1 WO 2011016368A1 JP 2010062658 W JP2010062658 W JP 2010062658W WO 2011016368 A1 WO2011016368 A1 WO 2011016368A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
viewpoint
image generation
fish
Prior art date
Application number
PCT/JP2010/062658
Other languages
English (en)
French (fr)
Inventor
長嶺昇
渡邊一矢
松葉智幸
門脇淳
森俊宏
大下裕一
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to CN201080034684.7A priority Critical patent/CN102474597B/zh
Priority to EP10806367.8A priority patent/EP2464113B1/en
Priority to US13/388,619 priority patent/US9156402B2/en
Priority to KR1020127003991A priority patent/KR101354068B1/ko
Publication of WO2011016368A1 publication Critical patent/WO2011016368A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring

Definitions

  • the present invention relates to a vehicle periphery image generation device that generates a vehicle periphery image that indicates a situation around a vehicle using a vehicle periphery image captured by an in-vehicle camera.
  • the vehicle is equipped with side mirrors and room mirrors to check the surrounding conditions, but even with these mirrors, the blind spots where the outside of the vehicle cannot be confirmed from the driver's seat due to the structure of the vehicle.
  • Exists In order to reduce such blind spots as much as possible, there are vehicles having a mirror in the vehicle body (for example, near the hood or near the rear gate). However, even if this type of mirror is used, it is not easy to completely eliminate the blind spot, and if such a mirror is provided, the design of the vehicle is impaired.
  • a technique for confirming a situation around a vehicle using a surrounding image (captured image) of the vehicle acquired by a camera disposed in each part of the vehicle is used.
  • Patent Documents 1-4 and the like for example, Patent Documents 1-4 and the like).
  • an icon indicating the own vehicle drawn in a graphic is arranged at the center of the display image, and a captured image taken by a camera mounted on the own vehicle around the icon is displayed.
  • the surroundings of the vehicle to be displayed after being transformed into an image whose viewpoint is viewed from vertically above are monitored.
  • the vehicle image display device described in Patent Document 4 is configured by including a plurality of cameras in the vehicle.
  • the video display device for a vehicle generates a projection video in which a vehicle is projected from a predetermined viewpoint over the vehicle based on captured images acquired by a plurality of cameras, and the generated projection video is viewed from a viewpoint over the vehicle.
  • the graphic data of the vehicle is superimposed and displayed.
  • top view image A form of displaying an image viewed from the vertical direction as in the technique described in Patent Documents 1-3 is referred to as a so-called “top view image”.
  • the display form such as the top view image
  • the top view image only the vicinity of the vehicle will be displayed on the display device, and it cannot be recognized until an obstacle such as a pedestrian approaching the direction of the road when reversing approaches the extreme vehicle, May overlook the existence of. For this reason, in the product currently commercialized, the video behind the vehicle is simultaneously displayed on the display device together with the top view image.
  • Patent Document 4 discloses a method of projecting onto a projection surface that is looked down obliquely from a predetermined position above the vehicle. Compared with the method of looking down from the vertical and projecting onto the projection surface, this method can display the point of gaze when looking down obliquely in three dimensions, so that the presence of an approaching object can be captured intuitively, and the field of view It becomes wider by that amount.
  • the angle is oblique, the entire area around the vehicle cannot be looked over at the same time because the right side of the vehicle opposite to the viewpoint cannot be seen.
  • an object of the present invention is to provide a vehicle periphery image generation device that generates a vehicle periphery image that allows a wide view of the periphery of the vehicle at the same time.
  • the vehicle peripheral image generation device includes a feature configuration of an image acquisition unit that acquires peripheral images of the vehicle photographed by a plurality of photographing cameras provided in the vehicle, A display device provided in a vehicle interior for displaying an image; a viewpoint position setting unit for setting a position as a viewpoint of an image displayed on the display device as a viewpoint from a vertically upward direction; and the viewpoint using the peripheral image.
  • a fish-eye image generating unit that generates a fish-eye image with the position set by the position setting unit as a viewpoint; a host vehicle image generating unit that generates a host vehicle image indicating the host vehicle; the fish-eye image and the host vehicle
  • a display image generation unit that generates a display image to be displayed on the display device using an image, and the viewpoint position of the fisheye image can be changed.
  • the vehicle shows the vehicle according to the distortion of the angle of view. Since the image is also displayed distorted, you can intuitively grasp the sense of distance and size. Therefore, according to this feature configuration, the periphery of the vehicle is displayed on the display device as a fish-eye image, so that the periphery of the vehicle can be overlooked widely at the same time. Further, since the viewpoint of the fisheye image is vertically upward, it becomes easy to intuitively grasp the position, size, etc. of the object included in the fisheye image.
  • the viewpoint position of the fisheye image can be changed according to the vehicle state based on the detection result of the sensor device, and the viewpoint position of the fisheye image can be arbitrarily changed by the user, so that the position to be noticed changes depending on the situation Even so, it is possible to display a fisheye image from an appropriate viewpoint. It is also applicable to obstacles, pedestrians, parking assistance guide displays, etc. that are virtually drawn on images taken with a wide-angle camera including a fisheye camera, not limited to the own vehicle. It also has the effect of reducing the problem that it is difficult to intuitively grasp the sense of distance, which is a disadvantage of the fisheye camera.
  • the own vehicle image is generated as a fish-eye image having a viewpoint set at the position set by the viewpoint position setting unit.
  • the change of the viewpoint position is performed in a horizontal plane perpendicular to the vertical direction.
  • the vehicle image generation unit generates the vehicle image by shortening the length of the vehicle image.
  • Such a configuration makes it possible to display the front and rear of the vehicle over a wide range.
  • the viewpoint position of the fisheye image can be changed according to the user's operation.
  • the user can arbitrarily change the viewpoint position of the fisheye image in accordance with the driving situation or the situation around the vehicle. Therefore, it is possible to display a fisheye image from an appropriate viewpoint according to the driving situation and the situation around the vehicle.
  • the viewpoint position of the fisheye image can be changed according to the detection result of the sensor device provided in the vehicle.
  • the viewpoint position of the fisheye image can be automatically changed according to the vehicle state based on the detection result of the sensor device. Therefore, it is possible to display a fisheye image from an appropriate viewpoint according to the state of the vehicle.
  • FIG. 1 is a bird's-eye view showing an outline of a vehicle 100 including a vehicle peripheral image generation device 50 according to the present invention.
  • the vehicle 100 includes a front camera 11, a side camera 12, and a rear camera 13 as the camera device 1.
  • the front camera 11 acquires a captured image obtained by capturing a scene in front of the vehicle 100.
  • the front camera 11 is constituted by a CCD camera, for example.
  • Such a front camera 11 is provided in the front part (for example, front grill etc.) of the vehicle 100, as FIG. 1 shows.
  • the front camera 11 is preferably configured using, for example, a fisheye lens. In such a case, a photographed image including at least a scene in the area indicated by A in FIG. 1 is acquired.
  • the side camera 12 is provided in a side mirror 60 included in the vehicle 100. Further, the side camera 12 has a pair of side cameras 12a and 12b (a left side camera 12a and a right side) that acquire captured images of the left side scene and the right side scene of the vehicle 100 including the vertical lower side of the side mirror 60. It is composed of a side camera 12b).
  • the left side camera 12a is provided on the left side mirror 60a with respect to the traveling direction of the vehicle 100
  • the right side mirror 60b is disposed on the right side with respect to the traveling direction. What is provided will be described as the right side camera 12b.
  • the side camera 12 is described.
  • the left side camera 12a captures a scene on the left side of the vehicle 100 including the vertical lower side of the left side mirror 60a, and acquires a captured image. Similar to the front camera 11 described above, the side camera 12 is preferably configured using a fisheye lens. In such a case, a photographed image obtained by photographing the scene of at least the area indicated by B in FIG. 1 is acquired by the left side camera 12a.
  • the right side camera 12b captures a scene on the right side of the vehicle 100 including the vertically lower side of the right side mirror 60b, and acquires a captured image. A photographed image obtained by photographing the scene of at least the area indicated by C in FIG. 1 is acquired by the right side camera 12b.
  • the rear camera 13 acquires a photographed image obtained by photographing a scene behind the vehicle 100.
  • the rear camera 13 is provided in a rear portion of the vehicle 100 (for example, a rear bumper or a mall provided in the rear portion).
  • the rear camera 13 is also preferably configured using, for example, a fisheye lens.
  • a photographed image obtained by photographing at least the area indicated by D in FIG. 1 is acquired.
  • the areas photographed by the respective cameras can be configured to overlap each other at the boundary portion.
  • the above-described areas AD can be configured not to have overlapping areas.
  • the vehicle surrounding image generation device 50 is suitable for the user using the vehicle surrounding images (captured images) acquired by the front camera 11, the side camera 12, and the rear camera 13 provided in the vehicle 100. 2 is provided with a function of generating a vehicle peripheral image indicating the situation around the vehicle 100.
  • FIG. 2 is a block diagram schematically showing a schematic configuration of the vehicle periphery image generation device 50.
  • the vehicle periphery image generation device 50 includes a camera device 1, a sensor device 2, an ECU (electronic control unit) 3, a display device 41, and a viewpoint changeover switch.
  • the camera device 1 includes the front camera 11, the left side camera 12a, the right side camera 12b, and the rear camera 13.
  • the sensor device 2 includes a steering sensor 21, a wheel speed sensor 22, and a shift position sensor 23.
  • the ECU 3 includes functional units such as an image acquisition unit 31, a viewpoint position setting unit 32, a fisheye image generation unit 33, a display image generation unit 34, and a host vehicle image generation unit 35.
  • the above-described functional unit for generating various types of processing for generating a vehicle periphery image that indicates the state of the periphery of the vehicle 100 using the CPU as a core member is hardware or software. Or both.
  • the front camera 11, the left side camera 12a, the right side camera 12b, and the rear camera 13 each acquire a photographed image obtained by photographing a scene including at least the area AD (see FIG. 1).
  • the captured image acquired in this way is transmitted to an image acquisition unit 31 described later.
  • the steering sensor 21 detects the steering angle of the steering 61 (see FIG. 1) that the vehicle 100 has.
  • the rudder angle corresponds to a rotation angle when the steering 61 is rotated clockwise or counterclockwise from the neutral state.
  • the neutral state is a state where the direction of the steering wheel of a wheel (not shown) provided in the vehicle 100 is parallel to the vehicle width, that is, a state where the vehicle 100 can go straight.
  • Such a steering sensor 21 that detects the rotation angle of the steering 61 can be configured using a Hall element.
  • the Hall element is an element that detects magnetic flux using the Hall effect that generates an electromotive force according to the force received so that the charge inside the conductor is moved laterally when a magnetic field is applied to the conductor through which current flows. is there.
  • the steering sensor 21 calculates the steering angle of the steering 61 based on the detection result.
  • the steering angle calculated by the steering sensor 21 is transmitted to the viewpoint position setting unit 32 described later as steering angle information.
  • the wheel speed sensor 22 detects the rotational speed of the wheels of the vehicle 100.
  • the wheel speed sensor 22 can also be configured using a hall element in the same manner as the steering sensor 21 described above, and can appropriately detect the rotational speed of the wheel.
  • the wheel speed sensor 22 is preferably provided on each of the rotation shaft of the left front wheel and the rotation shaft of the right front wheel. As described above, by providing the rotating shafts of the left and right wheels, it is possible to detect whether the vehicle travels straight or turns. That is, if the left and right wheels have the same rotational speed, it can be determined that the vehicle is traveling straight, and if the left and right wheels have different rotational speeds, it can be determined that the vehicle is turning toward the slower rotational speed.
  • the wheel speed sensor 22 may be provided on at least one of the front wheel rotation shaft and the rear wheel rotation shaft provided in the vehicle 100. The detection result of the wheel speed detected by the wheel speed sensor 22 is transmitted to the viewpoint position setting unit 32 described later.
  • the shift position sensor 23 detects the shift position of a shift lever (not shown) that the vehicle 100 has.
  • the shift lever is a lever that switches gears included in an AT (Automatic Transmission) mechanism.
  • Such an AT mechanism has a drive system fixed inside the transmission, and mainly uses the [P] range used when parking, the [R] range used when reversing, and the inside of the transmission is free to drive power from the engine.
  • [N] range to prevent transmission to the system
  • [D] range used during normal driving, and when using engine brakes such as downhills, and to fix the upper limit of shift up to 2nd gear [2] range, Used when using strong engine brakes such as steep downhills, it has a [1] range where the gear is fixed at the first speed.
  • the AT mechanism is set so that an output voltage can be output for each shift position corresponding to such a shift range, and the shift position sensor 23 can detect the current shift position by detecting the output voltage.
  • the detection result of the shift position detected by the shift position sensor 23 is transmitted to the viewpoint position setting unit 32 described later.
  • the image acquisition unit 31 acquires a peripheral image of the vehicle 100 captured by a plurality of imaging cameras 11-13 provided in the vehicle 100.
  • the captured image (peripheral image) acquired by the image acquisition unit 31 is stored in a storage area included in the image acquisition unit 31, and is read (extracted) by a fish-eye image generation unit 33 described later as necessary. used.
  • the captured image stored in the image acquisition unit 31 can be deleted every time a predetermined time has elapsed since it was stored, or can be deleted by a user switch operation or the like. Is possible.
  • the capacity of the storage area may be set at a predetermined fixed value, and the storage and deletion may be performed using a so-called first-in first-out method.
  • the viewpoint position setting unit 32 sets a position that is a viewpoint of an image displayed on the display device 41 that is provided in the vehicle interior of the vehicle 100 and displays an image.
  • the setting of this viewpoint is based on the detection result of the position of the steering 61 transmitted from the steering sensor 21, the detection result of the wheel speed transmitted from the wheel speed sensor 22, and the shift position of the shift lever transmitted from the shift position sensor 23. Is set according to the detection result of the user and the operation of the viewpoint changeover switch 42 by the user.
  • the viewpoint when the viewpoint is set based on the detection result of the steering sensor 21, the front side of the vehicle 100 on the steering side with respect to the steering 61 (the left front side of the vehicle 100 when the steering wheel 61 is rotated clockwise). It is preferable to set the viewpoint to the right front of the vehicle 100 when the steering 61 is rotated counterclockwise. When the viewpoint is set in this way, it is possible to make it easier to visually recognize an object existing in the blind spot.
  • the viewpoint based on the detection result of the wheel speed sensor 23 it is preferable to set the viewpoint in which the vicinity of the traveling direction of the vehicle 100 is visible as the wheel speed of the vehicle 100 is slower.
  • the vehicle 100 travels at a slower moving speed. Therefore, setting the viewpoint in this way makes it easier to watch the blind spot.
  • the shift lever 11 when the shift lever 11 is at least in the forward traveling position, that is, in the range [D], [2], or [1] of the range of the AT mechanism described above, the vehicle moves forward. If the shift lever 11 is at least in the reverse travel position, that is, in the range [R] of the range of the AT mechanism, it is set as the reverse travel viewpoint. . By setting the viewpoint in this way, it is possible to make it easier to visually recognize an object that may exist in a blind spot corresponding to the traveling direction.
  • the vehicle surrounding image generation device 50 can display a scene around the vehicle 100 as a viewpoint from the vertically upper side of the vehicle 100 on the display device 41 as a fisheye image, as will be described in detail later. is there.
  • the vertically upward direction of the vehicle 100 can be switched to a vertically upward position at the center of the vehicle 100, a vertically upward position at the front portion, and a vertically upward position at the rear portion. It is also possible to switch to a vertically upward position at a position away from the side portion of the vehicle 100 by a predetermined distance.
  • This viewpoint switching can be performed when the user presses the viewpoint switching switch 42.
  • a description will be given assuming that the viewpoint from the vertically upper part of the central portion of the vehicle 100 is set as a default.
  • the fish-eye image generation unit 33 generates a fish-eye image with the viewpoint set at the position set by the viewpoint position setting unit 32 using the peripheral image.
  • the peripheral image is a captured image obtained by capturing the periphery of the vehicle 100. As described above, the captured image is stored in the image acquisition unit 31.
  • the position set by the viewpoint position setting unit 32 is vertically above the center of the vehicle 100.
  • a fish-eye image is an image that is obtained when a so-called fish-eye lens is used for photographing, and an image that becomes more distorted as it moves away from the image center (viewpoint) to the periphery of the image.
  • the fish-eye image generation unit 33 generates a fish-eye image using the peripheral image stored in the image acquisition unit 31 as a viewpoint in the vertical upper part of the center of the vehicle 100.
  • the fisheye image generated by the fisheye image generator 33 is transmitted to the display image generator 34 described later.
  • the own vehicle image generation unit 35 generates an own vehicle image indicating the own vehicle.
  • the own vehicle is a vehicle 100 on which the vehicle periphery image generation device 50 is mounted.
  • the own vehicle image is an image image that is displayed in the image displayed on the display device 41 so that the user can easily identify the own vehicle.
  • the own vehicle image may be an image obtained by reducing the vehicle 100 or may be points indicating the four corners of the vehicle 100. Of course, other shapes (for example, a quadrangle) can also be used. In the present embodiment, the vehicle 100 will be described as a reduced image.
  • the own vehicle image generation unit 35 generates such an own vehicle image and transmits it to the display image generation unit 34 described later.
  • the display image generation unit 34 generates a display image to be displayed on the display device 41 using the fisheye image and the vehicle image.
  • the fisheye image is transmitted from the fisheye image generation unit 33 described above.
  • the vehicle image is transmitted from the vehicle image generation unit 35 described above.
  • the display image generation unit 34 generates a display image by superimposing the own vehicle image on the fisheye image. The display image generated in this way is displayed on the display device 41.
  • FIG. 3 is a diagram schematically illustrating the current position of the vehicle 100. This figure is not displayed on the display device 41, but is a diagram shown for easy understanding of the image displayed on the display device 41.
  • the vehicle 200 is parked on the left front side of the vehicle 100, and the vehicle 201 is parked on the left rear side of the vehicle 100. Further, a vehicle 202 is parked further behind the vehicle 201. In such a situation, a captured image acquired by each camera 11-13 provided in the vehicle 100 is shown in FIG.
  • FIG. 4A is a photographed image acquired by the front camera 11 provided in the vehicle 100.
  • the captured image acquired by the front camera 11 includes the vehicle 200.
  • FIG. 4B is a captured image acquired by the left side camera 12a included in the vehicle 100.
  • the captured image acquired by the left side camera 12 a includes a part of the tire on the left side of the vehicle 100 and a part of the vehicle 200.
  • FIG. 4C is a photographed image acquired by the right side camera 12b included in the vehicle 100.
  • the photographed image acquired by the right side camera 12 b includes a part of the right tire of the vehicle 100.
  • FIG. 4D is a captured image acquired by the rear camera 13 included in the vehicle 100.
  • the captured images acquired by the rear camera 13 include vehicles 201 and 202. Such a captured image is acquired by each camera 11-13 and stored in the image acquisition unit 31.
  • the vehicle 100 using the photographed image becomes a blind spot in the vicinity of the vehicle 100.
  • Safety confirmation around is not perfect. That is, there is a possibility that an obstacle such as a person or an object existing around the vehicle 100 may be overlooked.
  • an image from the vertically upper side of the vehicle 100 is simply displayed based on the captured image acquired by each camera 11-13, it becomes impossible to confirm the distance of the vehicle 100.
  • the vehicle periphery image generation device 50 displays an extremely close vicinity of the vehicle 100 and also displays an image capable of displaying a position away from the vehicle 100 on the display device 41. Such an image is shown in FIG.
  • FIG. 5 is an image having a viewpoint position from above in the vertical direction of the vehicle 100, and includes a fish-eye image.
  • the fisheye image is formed so that the viewpoint from the vertically upward direction becomes the viewpoint.
  • Such a fisheye image is generated by the fisheye image generation unit 33 based on the captured images acquired by the cameras 11-13 stored in the image acquisition unit 31.
  • the fisheye image shown in FIG. 5 includes vehicles 200 and 201. Further, the vicinity of the vehicle 100 is also included so as to be visible. Furthermore, since it is a fish-eye image, a position away from the vehicle 100 to some extent is also included. Therefore, the user can check the position in the vicinity of the vehicle 100 and the distant position with one image.
  • the line-of-sight position of the fisheye image can be changed.
  • the fisheye image generation unit 33 when the vehicle 100 is parked in the space between the vehicle 201 and the vehicle 202, the fisheye image generation unit 33 generates a fisheye image as shown on the right side of FIG. It is also possible to display on the display device 41.
  • the user can gaze between the vehicle 100 and the vehicle 201 by appropriately changing the line-of-sight position.
  • the own vehicle image indicating the vehicle 100 is generated as a fish-eye image with the position set by the viewpoint position setting unit 32 as the viewpoint. Therefore, it becomes possible to visually recognize the periphery of the vehicle 100 appropriately.
  • a fisheye image is generated based on a captured image acquired by each camera 11-13.
  • the fisheye image according to the present invention may be generated by combining the captured images acquired by the cameras 11-13. It is also possible to adopt a configuration in which a planar top view image is generated and then converted into a fish-eye image regardless of whether the lens of each camera 11-13 is a fish-eye lens.
  • the viewpoint position of the fisheye image can be changed by the user operating the viewpoint switching switch 42.
  • a viewpoint changeover switch may be configured to flexibly change the viewpoint by operating an input device such as a so-called “cross key”.
  • an input device such as a so-called “cross key”.
  • FIG. 7A when the user operates the “cross key”, as shown in FIG. 7A, the center upper portion of the vehicle 100 (vertically above O in FIG. 7A) is positioned at the viewpoint position.
  • the fish-eye image can be displayed, and as shown in FIG. 7 (b), the fish-eye with the front upper portion of the vehicle 100 (vertically above O in FIG. 7 (b)) as the viewpoint position.
  • An image can be displayed. Further, as shown in FIG.
  • the viewpoint position is described as being changeable in a horizontal plane perpendicular to the vertical direction, but may be changed in the vertical direction (height direction).
  • the vehicle image generation unit 35 can generate the vehicle image by shortening the length of the vehicle image. By generating the vehicle image in this way, it is possible to obtain a fish-eye image that makes it easier to gaze at the front and rear of the vehicle 100.
  • the viewpoint of the fisheye image is described as being the viewpoint from the vertically upward direction.
  • the scope of application of the present invention is not limited to this.
  • the fisheye image is generated by the fisheye image generator 33.
  • the fish-eye image is an image obtained when photographing using a so-called fish-eye lens, that is, a convex image.
  • a fisheye image it is also possible to generate by projecting and directly converting the peripheral image of the vehicle 100 photographed by the plurality of photographing cameras 11-13 onto a convex surface.
  • a peripheral image of the vehicle 100 photographed by the plurality of photographing cameras 11-13 is projected and converted onto a plane, and a composite image (for example, a so-called “top view image”) is generated by joining together to create a composite image. It is also possible to generate by projecting and transforming to a convex surface.
  • the present invention can be used in a vehicle periphery image generation device that generates a vehicle periphery image that can broadly look around the periphery of the vehicle at the same time.
  • Camera device 2 Sensor device 3: ECU (electronic control unit) 11: Front camera 12: Side camera 12a: Left side camera 12b: Right side camera 13: Rear camera 21: Steering sensor 22: Wheel speed sensor 23: Shift position sensor 31: Image acquisition unit 32: Viewpoint position setting unit 33: Fish Eye image generation unit 34: display image generation unit 35: own vehicle image generation unit 41: display device 42: viewpoint changeover switch 50: vehicle peripheral image generation device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

　車両の周辺を同時に広く見渡すことが可能な車両周辺画像を生成する車両周辺画像生成装置を提供する。このような車両周辺画像生成装置は、車両に設けられた複数の撮影カメラにより撮影された車両の周辺画像を取得する画像取得部と、車両の車室内に設けられ画像を表示する表示装置と、当該表示装置に表示される画像の視点となる位置を鉛直上方向からの視点に設定する視点位置設定部と、周辺画像を用いて視点位置設定部により設定された位置を視点とする魚眼画像を生成する魚眼画像生成部と、自車を示す自車イメージを生成する自車イメージ生成部と、魚眼画像と自車イメージとを用いて表示装置に表示する画像を生成する表示画像生成部と、を備え、魚眼画像の視点位置が変更可能である。

Description

車両周辺画像生成装置
　本発明は、車載カメラにより撮影された車両の周辺画像を用いて車両の周囲の状況を示す車両周辺画像を生成する車両周辺画像生成装置に関する。
　車両には、周囲の状況を確認するためにサイドミラーやルームミラーが備えられているが、これらのミラーを用いても車両の構造上、運転席から車両外側の情景を確認することができない死角が存在する。このような死角を極力少なくするために、車体（例えばボンネット近傍やリアゲート近傍）にミラーを備えている車両がある。しかしながら、この種のミラーを用いても死角を完全になくすことは容易ではなく、また、このようなミラーを配設した場合には車両のデザインを損なわせることになる。このような問題を鑑みて、近年においては、車両の各部に配設されたカメラにより取得された車両の周辺画像（撮影画像）を用いて車両の周囲の状況を確認する技術が利用されている（例えば特許文献１－４等）。
　特許文献１－３に記載の技術は、グラフィックで描かれた自車両を示すアイコンを表示画像の中央に配置し、当該アイコンの周辺に自車両に搭載されたカメラで撮影した撮影画像を車両の鉛直上方向からを視点とする画像に座標変換して表示する車両の周辺を監視する。
　また、特許文献４に記載の車両用映像表示装置は、車両に複数のカメラを備えて構成される。この車両用映像表示装置は、複数のカメラにより取得された撮影画像に基づいて車両上空の所定の視点から車両を投射した投射映像を生成し、当該作成された投射映像に車両上空の視点からの車両のグラフィックデータを重畳させて表示する。
特許第３８４７５４７号明細書 特許第３４７５５０７号明細書 特開２００３－３０６２７号公報 特開２００３－３４６１８９号公報
　特許文献１－３に記載の技術のように鉛直上方向からを視点とする画像を表示する形態は、所謂「トップビュー画像」と称される。当該トップビュー画像のような表示形態では車両の周辺を遠方に亘って広く見渡すことができないという問題がある。トップビュー画像においては車両の近傍のみが表示装置に表示されることになり、後退時の進路方向に近づく歩行者等の障害物が至極車両に接近するまで認識することができなかったり、障害物の存在を見落としたりしてしまう可能性がある。このため、現在商品化されている製品においては、トップビュー画像と共に車両後方の映像が同時に表示装置に表示されている。
　また、特許文献４に記載の技術では、車両上空の所定の位置から斜めに見下ろす投射面に投射する方法が開示されている。この方法は、垂直から見下ろして投射面に投影する方法に比べれば、斜めに見下ろした場合の注視点側を立体的に表示できるので直感的に接近物の存在を捕らえることができ、更に視野もその分広くなる。しかしながら、斜めのアングルであるために、視点とは逆の車両の真下側が逆に見えなくなってしまうため車両周辺全体を同時に広く見渡すことができない。
　本発明の目的は、上記問題に鑑み、車両の周辺を同時に広く見渡すことが可能な車両周辺画像を生成する車両周辺画像生成装置を提供することにある。
　上記目的を達成するための本発明に係る車両周辺画像生成装置の特徴構成は、車両に設けられた複数の撮影カメラにより撮影された前記車両の周辺画像を取得する画像取得部と、前記車両の車室内に設けられ画像を表示する表示装置と、前記表示装置に表示される画像の視点となる位置を鉛直上方向からの視点に設定する視点位置設定部と、前記周辺画像を用いて前記視点位置設定部により設定された位置を視点とする魚眼画像を生成する魚眼画像生成部と、自車を示す自車イメージを生成する自車イメージ生成部と、前記魚眼画像と前記自車イメージとを用いて前記表示装置に表示する表示画像を生成する表示画像生成部と、を備え、前記魚眼画像の視点位置が変更可能である点にある。
　ここで、撮影画面に歪みのある広画角カメラにより取得された撮影画像のみを表示する場合には距離感や大きさ感が分かり難いが、画角の歪みに合わせて自車を示す自車イメージも歪んで表示されるので、直感的に距離感や大きさ感を把握する事ができる。したがって本特徴構成によれば、表示装置に車両の周辺を魚眼画像で表示するので車両の周辺を同時に広く見渡すことが可能となる。また、魚眼画像の視点が鉛直上方向であるので、魚眼画像に含まれる物体の位置や大きさ等を直感的に把握し易くなる。更に、センサデバイスの検出結果に基づく車両の状態により魚眼画像の視点位置を変更できると共に、ユーザにより任意に魚眼画像の視点位置を変更できるので、状況に応じて着目したい位置が変わった場合であっても、適切な視点からの魚眼画像を表示させることが可能となる。また、自車に限らず、魚眼カメラを含む広画角カメラを使って撮影した画像上に、仮想的にグラフィックで描かれた障害物や歩行者、駐車支援ガイド表示等においても適用が可能であり、魚眼カメラのデメリットである「直感的に距離感が把握し難い」という課題を軽減する効果も備える。
　また、前記自車イメージが、前記視点位置設定部により設定された位置を視点とする魚眼画像で生成されていると好適である。
　このような構成とすれば、車両の状況に応じた視点とする魚眼画像を表示することが可能となる。
　また、前記視点位置の変更が鉛直方向に垂直な水平面内において行われると好適である。
　このような構成とすれば、状況に応じて着目したい位置が変わった場合であっても、適切な視点からの魚眼画像を表示させることが可能となる。
　また、前記自車イメージ生成部は、前記自車イメージの長さを短くして生成すると好適である。
　このような構成とすれば、車両の前後を広範囲に亘って表示することが可能となる。
　また、前記魚眼画像の視点位置が、ユーザの操作に応じて変更可能とすると好適である。
　このような構成とすれば、運転の状況や車両の周囲の状況に応じて、ユーザが任意に魚眼画像の視点位置を変更することができる。したがって、運転の状況や車両の周囲の状況に応じた適切な視点からの魚眼画像を表示させることが可能となる。
　また、前記魚眼画像の視点位置が、前記車両に備えられるセンサデバイスの検出結果に応じて変更可能とすることもできる。
　このような構成とすれば、センサデバイスの検出結果に基づく車両の状態により自動的に魚眼画像の視点位置を変更できる。したがって、車両の状態に応じた適切な視点からの魚眼画像を表示させることが可能となる。
車両周辺画像生成装置を備えた車両の概略を示す図である。 車両周辺画像生成装置の概略を示すブロック図である。 車両の現在位置を模式的に示す図である。 各カメラにより取得される撮影画像の一例を示す図である。 車両周辺画像生成装置により生成された魚眼画像の一例を示す図である。 視点を変更した場合の魚眼画像の例を示す図である。 視点を変更した場合の魚眼画像の例を示す図である。
　以下、本発明の実施の形態について、詳細に説明する。図１は、本発明に係る車両周辺画像生成装置５０を備える車両１００の概略を示す鳥瞰図である。車両１００には、カメラデバイス１としてフロントカメラ１１、サイドカメラ１２、リアカメラ１３が備えられる。フロントカメラ１１は、車両１００の前方の情景を撮影した撮影画像を取得する。フロントカメラ１１は例えばＣＣＤカメラ等により構成される。このようなフロントカメラ１１は、図１に示されるように、車両１００のフロント部分（例えばフロントグリル等）に備えられる。フロントカメラ１１は、例えば魚眼レンズを用いて構成すると好適であり、係る場合には少なくとも図１のＡで示される領域の情景を含む撮影画像が取得される。
　サイドカメラ１２は、車両１００が有するサイドミラー６０に備えられる。また、当該サイドカメラ１２は、サイドミラー６０の鉛直下方を含む車両１００の左側方の情景及び右側方の情景を撮影した撮影画像を取得する一対のサイドカメラ１２ａ、１２ｂ（左サイドカメラ１２ａ及び右サイドカメラ１２ｂ）から構成される。本実施形態では、図１に示されるように、車両１００の進行方向に対して左側方のサイドミラー６０ａに備えられるものを左サイドカメラ１２ａとし、進行方向に対して右側方のサイドミラー６０ｂに備えられるものを右サイドカメラ１２ｂとして説明する。また、特に左サイドカメラ１２ａ及び右サイドカメラ１２ｂのいずれかを限定する必要がない場合には、サイドカメラ１２として記載する。
　左サイドカメラ１２ａは、左側方のサイドミラー６０ａの鉛直下方を含む車両１００の左側方の情景を撮影し、撮影画像を取得する。上述のフロントカメラ１１と同様に、サイドカメラ１２も魚眼レンズを用いて構成すると好適である。係る場合には、左サイドカメラ１２ａにより少なくとも図１のＢで示される領域の情景を撮影した撮影画像が取得される。右サイドカメラ１２ｂは、右側方のサイドミラー６０ｂの鉛直下方を含む車両１００の右側方の情景を撮影し、撮影画像を取得する。右サイドカメラ１２ｂにより少なくとも図１のＣで示される領域の情景を撮影した撮影画像が取得される。
　リアカメラ１３は、車両１００の後方の情景を撮影した撮影画像を取得する。リアカメラ１３は、図１に示されるように、車両１００のリア部分（例えばリアバンパーやリア部分に備えられるモール等）に備えられる。リアカメラ１３も、例えば魚眼レンズを用いて構成すると好適であり、係る場合には少なくとも図１のＤで示される領域の情景を撮影した撮影画像が取得される。このように、各カメラで撮影される領域は、互いの境界部分において重複するように構成することが可能である。また、図示はしないが、上述の領域Ａ－Ｄは、夫々重複する領域を有さないように構成することも可能である。
　本発明に係る車両周辺画像生成装置５０は、このような車両１００に備えられるフロントカメラ１１、サイドカメラ１２、リアカメラ１３により取得された車両の周辺画像（撮影画像）を用いて、ユーザが好適に車両１００の周囲の状況を示す車両周辺画像を生成する機能を備えている。図２は、本車両周辺画像生成装置５０の概略構成を模式的に示すブロック図である。
　車両周辺画像生成装置５０は、カメラデバイス１、センサデバイス２、ＥＣＵ（電子制御ユニット）３、表示装置４１、視点切替スイッチ４２を備えて構成される。カメラデバイス１は、上述のようにフロントカメラ１１、左サイドカメラ１２ａ、右サイドカメラ１２ｂ、リアカメラ１３を備えて構成される。センサデバイス２は、ステアリングセンサ２１、車輪速センサ２２、シフト位置センサ２３を備えて構成される。ＥＣＵ３は、画像取得部３１、視点位置設定部３２、魚眼画像生成部３３、表示画像生成部３４、自車イメージ生成部３５の各機能部を備えて構成される。このように構成される本車両周辺画像生成装置５０は、ＣＰＵを中核部材として車両１００の周辺の状況を示す車両周辺画像を生成する種々の処理を行うための上述の機能部がハードウェア又はソフトウェア或いはその両方で構築されている。
　フロントカメラ１１、左サイドカメラ１２ａ、右サイドカメラ１２ｂ、リアカメラ１３は、夫々が少なくとも領域Ａ－Ｄ（図１参照）を含む情景を撮影した撮影画像を取得する。このように取得された撮影画像は、後述の画像取得部３１に伝達される。
　ステアリングセンサ２１は、車両１００が有するステアリング６１（図１参照）の舵角を検出する。舵角とは、中立状態からステアリング６１を時計方向又は反時計方向に回転させた際の回転角に相当するものである。中立状態とは、車両１００が備える車輪（図示せず）の操舵輪の方向が車幅と平行となる状態、すなわち車両１００が直進可能となる状態である。このようなステアリング６１の回転角を検出するステアリングセンサ２１は、ホール素子を用いて構成することが可能である。ホール素子は電流が流れている導体に磁界を加えた場合に、導体内部の電荷が横方向に動かされるように受ける力に応じて起電力を生じるホール効果を利用して磁束を検出する素子である。
　このようなホール素子を用いる場合には、ステアリング６１の回転軸の周囲に永久磁石を配設し、ステアリング６１の回転に応じて変化する磁界をホール素子により検出すると好適である。また、ホール素子から出力される検出結果は電気信号であるので、ステアリングセンサ２１は当該検出結果に基づいてステアリング６１の舵角を演算する。ステアリングセンサ２１により演算された舵角は舵角情報として、後述の視点位置設定部３２に伝達される。
　車輪速センサ２２は、車両１００が有する車輪の回転速度の検出を行う。車輪速センサ２２も上述のステアリングセンサ２１と同様にホール素子を用いて構成することが可能であり、適切に車輪の回転速度を検出することができる。車輪速センサ２２は、例えば左前輪の回転軸及び右前輪の回転軸に夫々備えると好適である。このように左右両輪の回転軸に備えることにより、直進及び旋回の別を検出することが可能となる。即ち、左右両輪の回転速度が同じであれば直進であると判定することができ、左右両輪の回転速度が異なっていれば回転速度の遅い方に旋回をしていると判定することができる。なお、車輪速センサ２２は車両１００が備える前輪の回転軸及び後輪の回転軸の少なくともいずれか一方に備えていれば良い。車輪速センサ２２により検出された車輪速度の検出結果は、後述する視点位置設定部３２に伝達される。
　シフト位置センサ２３は、車両１００が有するシフトレバー（図示せず）のシフト位置の検出を行う。シフトレバーは、本実施形態においては、ＡＴ（Automatic Transmission）機構が備えるギヤの切り替えを行うレバーである。このようなＡＴ機構は変速機内部で駆動系が固定され、主に駐車時に使用する〔Ｐ〕レンジ、後退時に使用する〔Ｒ〕レンジ、変速機内部がフリー状態となり、エンジンからの動力を駆動系に伝達しないようにする〔Ｎ〕レンジ、通常走行時に使用する〔Ｄ〕レンジ、下り坂等エンジンブレーキを使用する際に使用し、シフトアップの上限を２速に固定する〔２〕レンジ、急な下り坂等、強力なエンジンブレーキを使用する際に使用し、ギヤが１速に固定される〔１〕レンジを有している。ＡＴ機構は、このようなシフトレンジに対応するシフト位置毎に出力電圧が出力可能に設定され、シフト位置センサ２３は当該出力電圧を検出することにより現在のシフト位置の検出が可能となる。シフト位置センサ２３により検出されたシフト位置の検出結果は、後述する視点位置設定部３２に伝達される。
　画像取得部３１は、車両１００に設けられた複数の撮影カメラ１１－１３により撮影された車両１００の周辺画像を取得する。画像取得部３１により取得される撮影画像（周辺画像）は、画像取得部３１が備える記憶領域に記憶され、必要に応じて後述する魚眼画像生成部３３により読み出されて（抽出されて）使用される。なお、画像取得部３１に記憶された撮影画像は、記憶されてから所定時間が経過する毎に消去する構成とすることも可能であるし、ユーザのスイッチ操作等により消去する構成とすることも可能である。或いは、記憶領域の容量を所定の固定値で設定し、所謂先入れ先出し方式で記憶と消去とを行う構成とすることも可能である。
　視点位置設定部３２は、詳細は後述するが、車両１００の車室内に設けられ画像を表示する表示装置４１に表示される画像の視点となる位置を設定する。この視点の設定は、ステアリングセンサ２１から伝達されるステアリング６１の位置の検出結果や、車輪速センサ２２から伝達される車輪速の検出結果や、シフト位置センサ２３から伝達されるシフトレバーのシフト位置の検出結果や、ユーザによる視点切替スイッチ４２の操作に応じて設定される。
　例えば、ステアリングセンサ２１の検出結果に基づいて視点の設定を行う場合には、ステアリング６１に操舵に係る上手側の車両１００の前方（ステアリング６１を時計方向に回転する場合には車両１００の左前方が相当し、ステアリング６１を反時計方向に回転する場合には車両１００の右前方が相当する）に視点を設定すると好適である。このように視点を設定すると、死角に存在する物体を視認し易くすることができる。
　また、車輪速センサ２３の検出結果に基づいて視点の設定を行う場合には、車両１００の車輪速が遅いほど車両１００の進行方向の近傍を視認可能な視点に設定すると好適である。一般的に車両１００の近傍に障害物等が存在する場合には車両１００の移動速度を遅くして走行することから、このように視点を設定すると、死角をより注視し易くすることができる。
　更に、シフトレバー１１の位置が少なくとも前進走行用の位置、即ち、上述のＡＴ機構が有するレンジの〔Ｄ〕レンジ、〔２〕レンジ、〔１〕レンジのいずれかの位置にある場合には前進走行用の視点に設定し、シフトレバー１１の位置が少なくとも後退走行用の位置、即ち、上述のＡＴ機構が有するレンジの〔Ｒ〕レンジの位置にある場合には後退走行用の視点に設定する。このように視点を設定すると、進行方向に応じた死角に存在する可能性がある物体を視認し易くすることができる。
　ここで、本車両周辺画像生成装置５０は、詳細は後述するが、車両１００の鉛直上方からを視点とする当該車両１００の周囲の情景を魚眼画像として表示装置４１に表示することが可能である。車両１００の鉛直上方は、車両１００の中央部の鉛直上方、フロント部の鉛直上方、リア部の鉛直上方に切り換えることが可能である。また、車両１００のサイド部から所定所離離れた位置の鉛直上方等に切り換えることも可能である。この視点の切り替えは、ユーザが視点切替スイッチ４２を押下することにより行うことが可能である。本実施形態では、車両１００の中央部の鉛直上方からの視点がデフォルトとして設定されているとして説明する。
　魚眼画像生成部３３は、周辺画像を用いて視点位置設定部３２により設定された位置を視点とする魚眼画像を生成する。周辺画像とは、車両１００の周辺を撮影して得られた撮影画像である。上述のように、撮影画像は画像取得部３１に記憶されている。視点位置設定部３２により設定された位置とは、本実施形態では車両１００の中央部の鉛直上方である。魚眼画像とは、所謂魚眼レンズを用いて撮影した際に得られるような画像であり、画像中心（視点）から画像の周囲に離れる程、画像歪が大きくなる画像である。したがって、魚眼画像生成部３３は、画像取得部３１に記憶されている周辺画像を用いて、車両１００の中央部の鉛直上方を視点とする魚眼画像を生成する。魚眼画像生成部３３により生成された魚眼画像は、後述の表示画像生成部３４に伝達される。
　自車イメージ生成部３５は、自車を示す自車イメージを生成する。自車とは、本車両周辺画像生成装置５０を搭載する車両１００である。自車イメージは、表示装置４１に表示される画像内において、ユーザが自車を特定し易くするために表示されるイメージ画像である。この自車イメージは、車両１００を縮小した画像であっても良いし、車両１００の四隅を示す点であっても良い。もちろん、その他の形状（例えば四角形等）で示すことも可能である。本実施形態では、車両１００を縮小した画像として説明する。自車イメージ生成部３５は、このような自車イメージを生成し、後述する表示画像生成部３４に伝達する。
　表示画像生成部３４は、魚眼画像と自車イメージとを用いて表示装置４１に表示する表示画像を生成する。魚眼画像は、上述の魚眼画像生成部３３から伝達される。自車イメージは、上述の自車イメージ生成部３５から伝達される。表示画像生成部３４は、魚眼画像に自車イメージを重畳して表示画像を生成する。このように生成された表示画像は、表示装置４１において表示される。
　次に、表示装置４１に表示される画像に関して図を用いて説明する。図３は、車両１００の現在位置を模式的に示す図である。なお、この図は表示装置４１に表示されるものではなく、表示装置４１に表示される画像について理解を容易にするために示した図である。図３に示されるように、車両１００の左前方には車両２００が駐車されており、車両１００の左後方には車両２０１が駐車されている。また、車両２０１の更に後方には、車両２０２が駐車されている。このような状況において、車両１００が備える各カメラ１１－１３により取得される撮影画像を図４に示す。
　図４（ａ）は車両１００が備えるフロントカメラ１１により取得された撮影画像である。図４（ａ）に示されるように、フロントカメラ１１により取得された撮影画像には車両２００が含まれる。また、図４（ｂ）は車両１００が備える左サイドカメラ１２ａにより取得された撮影画像である。図４（ｂ）に示されるように、左サイドカメラ１２ａにより取得された撮影画像には、車両１００の左側のタイヤの一部と車両２００の一部とが含まれる。図４（ｃ）は車両１００が備える右サイドカメラ１２ｂにより取得された撮影画像である。図４（ｃ）に示されるように、右サイドカメラ１２ｂにより取得された撮影画像には、車両１００の右側のタイヤの一部が含まれる。図４（ｄ）は車両１００が備えるリアカメラ１３により取得された撮影画像である。図４（ｄ）に示されるように、リアカメラ１３により取得された撮影画像には車両２０１及び２０２が含まれる。このような撮影画像が各カメラ１１－１３により取得され、画像取得部３１に記憶される。
　上述のような撮影画像（特にフロントカメラ１１により取得された撮影画像及びリアカメラ１３により取得された撮影画像）においては、車両１００の極近傍が死角となるので、当該撮影画像を用いた車両１００の周囲の安全確認は万全とはいい難い。即ち、場合によっては車両１００の周囲に存在する人や物などの障害物を見落としてしまう可能性がある。一方、単に各カメラ１１－１３で取得された撮影画像を基に、車両１００の鉛直上方からの画像を表示したのでは車両１００の遠方の確認ができなくなってしまう。本車両周辺画像生成装置５０は、車両１００の極近傍を表示すると共に、車両１００から離れた位置をも表示可能な画像を表示装置４１に表示する。このような画像を図５に示す。
　図５は、車両１００の鉛直上方からを視点位置とする画像であり、魚眼画像からなる。即ち、魚眼画像の視点が鉛直上方向からの視点となるように形成される。このような魚眼画像は、魚眼画像生成部３３が、画像取得部３１に記憶されている各カメラ１１－１３により取得された撮影画像を基に生成される。図５に示される魚眼画像には、車両２００及び２０１が含まれる。また、車両１００の極近傍も視認可能に含まれる。更に、魚眼画像であるため、車両１００からある程度離れた位置も含まれる。したがって、ユーザは車両１００の極近傍と離れた位置とを一つの画像で確認することが可能となる。
　本車両周辺画像生成装置５０によれば、魚眼画像の視線位置が変更可能である。例えば、図６左側に示される図において、車両２０１と車両２０２との間のスペースに車両１００を駐車させる際、魚眼画像生成部３３が図６右側に示されるような魚眼画像を生成し、表示装置４１に表示することも可能である。このように視線位置を適宜変更することにより、ユーザは車両１００と車両２０１との間を注視することが可能となる。また、視線位置が設定された場合には、車両１００を示す自車イメージが視点位置設定部３２により設定された位置を視点とする魚眼画像で生成される。したがって、適切に車両１００の周囲を視認することが可能となる。
〔その他の実施形態〕
　上記実施形態では、各カメラ１１－１３により取得された撮影画像を基に魚眼画像を生成するとして説明した。各カメラ１１－１３が魚眼レンズを備えている場合には、各カメラ１１－１３により取得された撮影画像を合成して本発明に係る魚眼画像を生成しても良い。また、各カメラ１１－１３のレンズが魚眼レンズか否かに拘らず、平面的なトップビュー画像を生成し、その後魚眼画像化するような構成とすることも当然に可能である。
　上記実施形態では、視点切替スイッチ４２をユーザが操作することにより魚眼画像の視点位置を変更することができるとして説明した。このような視点切替スイッチは、所謂「十字キー」のような入力デバイスを操作して視点をフレキシブルに変更するような構成とすることも可能である。このような構成とすると、「十字キー」をユーザが操作することにより、図７（ａ）に示されるように車両１００の中央上部（図７（ａ）中のＯの鉛直上方）を視点位置とする魚眼画像を表示することが可能であるし、図７（ｂ）に示されるように車両１００の前方上部（図７（ｂ）中のＯの鉛直上方）を視点位置とする魚眼画像を表示することが可能である。更には、図７（ｃ）に示されるように車両１００の後方上部（図７（ｃ）中のＯの鉛直上方）を視点位置とする魚眼画像を表示することが可能である。また、モード選択スイッチ等を設けて、適宜視点位置を選択して表示する構成とすることも当然に可能である。この図７では、視点位置を鉛直方向に垂直な水平面内で変更可能として説明したが鉛直方向（高さ方向）にも変更しても良い。
　また、自車イメージ生成部３５は、自車イメージの長さを短くして生成することも可能である。このように自車イメージを生成することにより、車両１００の前方及び後方を更に注視し易い魚眼画像とすることが可能となる。
　上記実施形態では、魚眼画像の視点が鉛直上方向からの視点であるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。例えば、魚眼画像の視点を斜め上方からの視点とすることも当然に可能である。
　上記実施形態では、魚眼画像生成部３３により魚眼画像が生成されるとして説明した。上述したように魚眼画像とは所謂魚眼レンズを用いて撮影した際に得られる画像、つまり凸型の画像である。このような魚眼画像を生成するに当たり、複数の撮影カメラ１１－１３により撮影された車両１００の周辺画像を凸型の面に直接投影変換して生成することも可能である。また、複数の撮影カメラ１１－１３により撮影された車両１００の周辺画像を平面に投影変換して、つなぎ合わせて合成した合成画像（例えば、所謂「トップビュー画像」）を作成し、その合成画像を凸型の面に投影変換して生成することも可能である。
　本発明は、車両の周辺を同時に広く見渡すことが可能な車両周辺画像を生成する車両周辺画像生成装置に用いることが可能である。
　１：カメラデバイス
　２：センサデバイス
　３：ＥＣＵ（電子制御ユニット）
　１１：フロントカメラ
　１２：サイドカメラ
　１２ａ：左サイドカメラ
　１２ｂ：右サイドカメラ
　１３：リアカメラ
　２１：ステアリングセンサ
　２２：車輪速センサ
　２３：シフト位置センサ
　３１：画像取得部
　３２：視点位置設定部
　３３：魚眼画像生成部
　３４：表示画像生成部
　３５：自車イメージ生成部
　４１：表示装置
　４２：視点切替スイッチ
　５０：車両周辺画像生成装置

Claims (6)

  1. 　車両に設けられた複数の撮影カメラにより撮影された前記車両の周辺画像を取得する画像取得部と、
    　前記車両の車室内に設けられ画像を表示する表示装置と、
    　前記表示装置に表示される画像の視点となる位置を鉛直上方向からの視点に設定する視点位置設定部と、
    　前記周辺画像を用いて前記視点位置設定部により設定された位置を視点とする魚眼画像を生成する魚眼画像生成部と、
    　自車を示す自車イメージを生成する自車イメージ生成部と、
    　前記魚眼画像と前記自車イメージとを用いて前記表示装置に表示する表示画像を生成する表示画像生成部と、
    を備え、
    　前記魚眼画像の視点位置が変更可能である車両周辺画像生成装置。
  2. 　前記自車イメージが、前記視点位置設定部により設定された位置を視点とする魚眼画像で生成されている請求項１に記載の車両周辺画像生成装置。
  3. 　前記視点位置の変更が鉛直方向に垂直な水平面内において行われる請求項１又は２に記載の車両周辺画像生成装置。
  4. 　前記自車イメージ生成部は、前記自車イメージの長さを短くして生成する請求項１から３のいずれか一項に記載の車両周辺画像生成装置。
  5. 　前記魚眼画像の視点位置が、ユーザの操作に応じて変更可能である請求項１から４のいずれか一項に記載の車両周辺画像生成装置。
  6. 　前記魚眼画像の視点位置が、前記車両に備えられるセンサデバイスの検出結果に応じて変更可能である請求項１から４のいずれか一項に記載の車両周辺画像生成装置。
PCT/JP2010/062658 2009-08-03 2010-07-28 車両周辺画像生成装置 WO2011016368A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201080034684.7A CN102474597B (zh) 2009-08-03 2010-07-28 车辆周围图像生成装置
EP10806367.8A EP2464113B1 (en) 2009-08-03 2010-07-28 Vehicle peripheral image generation device
US13/388,619 US9156402B2 (en) 2009-08-03 2010-07-28 Wide view vehicle periphery image generation apparatus
KR1020127003991A KR101354068B1 (ko) 2009-08-03 2010-07-28 차량주변화상생성장치

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009180561 2009-08-03
JP2009-180561 2009-08-03
JP2010163229A JP5500369B2 (ja) 2009-08-03 2010-07-20 車両周辺画像生成装置
JP2010-163229 2010-07-20

Publications (1)

Publication Number Publication Date
WO2011016368A1 true WO2011016368A1 (ja) 2011-02-10

Family

ID=43544264

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/062658 WO2011016368A1 (ja) 2009-08-03 2010-07-28 車両周辺画像生成装置

Country Status (6)

Country Link
US (1) US9156402B2 (ja)
EP (1) EP2464113B1 (ja)
JP (1) JP5500369B2 (ja)
KR (1) KR101354068B1 (ja)
CN (1) CN102474597B (ja)
WO (1) WO2011016368A1 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5935435B2 (ja) * 2012-03-26 2016-06-15 富士通株式会社 画像処理装置、画像処理方法
FR2994921B1 (fr) * 2012-09-05 2015-08-07 Peugeot Citroen Automobiles Sa Dispositif de traitement pour generer un fichier d'image d'un environnement de vehicule selon une vue dont le type est fonction de la situation de vie, et systeme d'aide associe
JP5629740B2 (ja) * 2012-09-21 2014-11-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP6014442B2 (ja) * 2012-09-27 2016-10-25 富士通テン株式会社 画像生成装置、画像表示システム、および、画像生成方法
TWI578271B (zh) 2012-10-23 2017-04-11 義晶科技股份有限公司 動態影像處理方法以及動態影像處理系統
KR101382798B1 (ko) * 2012-11-09 2014-04-08 현대자동차주식회사 차량의 카메라를 이용한 지도 생성 장치 및 방법
CN104823218A (zh) * 2012-12-03 2015-08-05 哈曼国际工业有限公司 使用单一普通摄像机来检测行人的系统和方法
US9674490B2 (en) 2013-04-18 2017-06-06 Magna Electronics Inc. Vision system for vehicle with adjustable cameras
CN103192785A (zh) * 2013-04-25 2013-07-10 夏春蕾 车辆四周立体空间全监控系统
JP6347934B2 (ja) * 2013-10-11 2018-06-27 株式会社デンソーテン 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
CN103600707B (zh) * 2013-11-06 2016-08-17 同济大学 一种智能泊车系统的泊车位检测装置及方法
JP6307859B2 (ja) * 2013-12-02 2018-04-11 日産自動車株式会社 情報表示装置
US9598012B2 (en) * 2014-03-11 2017-03-21 Toyota Motor Engineering & Manufacturing North America, Inc. Surroundings monitoring system for a vehicle
JP6474396B2 (ja) * 2014-06-03 2019-02-27 住友重機械工業株式会社 人検知システム及びショベル
CN104290661A (zh) * 2014-09-18 2015-01-21 昆明理工大学 一种空中障碍物示警装置及其控制方法
JP6361415B2 (ja) * 2014-09-24 2018-07-25 株式会社デンソー 車両用画像処理装置
JP6316161B2 (ja) * 2014-09-29 2018-04-25 クラリオン株式会社 車載用画像処理装置
JP6327115B2 (ja) * 2014-11-04 2018-05-23 株式会社デンソー 車両周辺画像表示装置、車両周辺画像表示方法
US10040394B2 (en) 2015-06-17 2018-08-07 Geo Semiconductor Inc. Vehicle vision system
JP6555056B2 (ja) * 2015-09-30 2019-08-07 アイシン精機株式会社 周辺監視装置
US9787951B2 (en) * 2015-12-18 2017-10-10 Serge Kannon Vehicle proximity warning system
WO2017154317A1 (ja) * 2016-03-09 2017-09-14 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6477562B2 (ja) * 2016-03-18 2019-03-06 株式会社デンソー 情報処理装置
JP6699370B2 (ja) * 2016-06-06 2020-05-27 アイシン精機株式会社 車両用画像処理装置
JP6626817B2 (ja) * 2016-11-30 2019-12-25 京セラ株式会社 カメラモニタシステム、画像処理装置、車両及び画像処理方法
JP6639379B2 (ja) 2016-12-21 2020-02-05 トヨタ自動車株式会社 車両周辺監視装置
JP6730612B2 (ja) * 2017-02-27 2020-07-29 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示制御システム、車両用表示制御方法およびプログラム
CN109455140B (zh) * 2017-09-06 2022-03-01 丰田自动车株式会社 图像显示装置
US11225193B2 (en) 2017-10-26 2022-01-18 Harman International Industries, Incorporated Surround view system and method thereof
JP7069692B2 (ja) * 2017-12-20 2022-05-18 トヨタ自動車株式会社 画像表示装置
US10482626B2 (en) * 2018-01-08 2019-11-19 Mediatek Inc. Around view monitoring systems for vehicle and calibration methods for calibrating image capture devices of an around view monitoring system using the same
US20200282909A1 (en) * 2019-03-07 2020-09-10 GM Global Technology Operations LLC Vehicle imaging system and method for a parking solution
KR102140526B1 (ko) * 2019-04-26 2020-08-04 주식회사 켐트로닉스 어라운드 뷰 장치
JP7065068B2 (ja) * 2019-12-13 2022-05-11 本田技研工業株式会社 車両周囲監視装置、車両、車両周囲監視方法およびプログラム
CN111445534B (zh) * 2020-04-03 2023-04-21 北京四维智联科技有限公司 一种用于全自动泊车的相机高精度自动标定方法及装置
US20230087119A1 (en) * 2021-09-22 2023-03-23 Motional Ad Llc Switchable wheel view mirrors
KR102524355B1 (ko) 2022-10-14 2023-04-21 주식회사 옵티멀이노베이션 Led 갈매기 표지판

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064175A1 (fr) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'images et systeme de surveillance
JP2002109697A (ja) * 2000-10-02 2002-04-12 Matsushita Electric Ind Co Ltd 運転支援装置
JP2002334322A (ja) * 2001-05-10 2002-11-22 Sharp Corp 透視投影画像生成システム、透視投影画像生成方法、透視投影画像生成プログラムおよび透視投影画像生成プログラムを記憶した記憶媒体
JP2003030627A (ja) 2001-07-16 2003-01-31 Denso Corp 車両周辺画像処理装置及び記録媒体
JP2003346189A (ja) 2002-05-24 2003-12-05 Nissan Motor Co Ltd 車両用映像表示装置
JP3475507B2 (ja) 1994-08-08 2003-12-08 日産自動車株式会社 車両用周囲モニタ装置
JP2005167309A (ja) * 2003-11-28 2005-06-23 Nippon Soken Inc 運転支援装置
JP3847547B2 (ja) 2000-10-17 2006-11-22 三菱電機株式会社 車両周辺監視支援装置
JP2007265202A (ja) * 2006-03-29 2007-10-11 Denso Corp 画像処理装置及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7307655B1 (en) * 1998-07-31 2007-12-11 Matsushita Electric Industrial Co., Ltd. Method and apparatus for displaying a synthesized image viewed from a virtual point of view
US7212653B2 (en) * 2001-12-12 2007-05-01 Kabushikikaisha Equos Research Image processing system for vehicle
JP4134939B2 (ja) * 2004-04-22 2008-08-20 株式会社デンソー 車両周辺表示制御装置
JP4744823B2 (ja) * 2004-08-05 2011-08-10 株式会社東芝 周辺監視装置および俯瞰画像表示方法
JP4600760B2 (ja) * 2005-06-27 2010-12-15 アイシン精機株式会社 障害物検出装置
JP5045172B2 (ja) * 2007-03-20 2012-10-10 マツダ株式会社 車両用運転支援装置
JP4458138B2 (ja) * 2007-09-18 2010-04-28 株式会社デンソー 車両周辺監視装置
JP5120880B2 (ja) * 2007-10-15 2013-01-16 アルパイン株式会社 画像処理装置及び画像処理方法
JP2009100261A (ja) * 2007-10-17 2009-05-07 Alpine Electronics Inc 車両周囲画像提供装置及び広角画像の補正方法
JP5292874B2 (ja) 2007-12-17 2013-09-18 富士通株式会社 車両用画像処理装置、車両用画像処理プログラム、車両用画像処理方法
DE102008046544A1 (de) * 2008-09-10 2009-05-20 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3475507B2 (ja) 1994-08-08 2003-12-08 日産自動車株式会社 車両用周囲モニタ装置
WO2000064175A1 (fr) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'images et systeme de surveillance
JP2002109697A (ja) * 2000-10-02 2002-04-12 Matsushita Electric Ind Co Ltd 運転支援装置
JP3847547B2 (ja) 2000-10-17 2006-11-22 三菱電機株式会社 車両周辺監視支援装置
JP2002334322A (ja) * 2001-05-10 2002-11-22 Sharp Corp 透視投影画像生成システム、透視投影画像生成方法、透視投影画像生成プログラムおよび透視投影画像生成プログラムを記憶した記憶媒体
JP2003030627A (ja) 2001-07-16 2003-01-31 Denso Corp 車両周辺画像処理装置及び記録媒体
JP2003346189A (ja) 2002-05-24 2003-12-05 Nissan Motor Co Ltd 車両用映像表示装置
JP2005167309A (ja) * 2003-11-28 2005-06-23 Nippon Soken Inc 運転支援装置
JP2007265202A (ja) * 2006-03-29 2007-10-11 Denso Corp 画像処理装置及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2464113A4

Also Published As

Publication number Publication date
EP2464113A4 (en) 2016-11-16
US20120127312A1 (en) 2012-05-24
KR20120030162A (ko) 2012-03-27
JP5500369B2 (ja) 2014-05-21
EP2464113B1 (en) 2019-12-04
KR101354068B1 (ko) 2014-01-22
CN102474597B (zh) 2015-01-21
JP2011055480A (ja) 2011-03-17
EP2464113A1 (en) 2012-06-13
CN102474597A (zh) 2012-05-23
US9156402B2 (en) 2015-10-13

Similar Documents

Publication Publication Date Title
JP5500369B2 (ja) 車両周辺画像生成装置
JP5344227B2 (ja) 車両用周辺監視装置
JP5376223B2 (ja) 運転支援装置
US8803707B2 (en) Parking assistance system and parking assistance method
CN110027552B (zh) 图像显示装置
WO2002007443A1 (fr) Systeme de controle
JP2005110207A (ja) カメラ装置及び車両周辺監視装置
JP5251804B2 (ja) 運転支援装置
JP2010130646A (ja) 車両周辺確認装置
WO2017159863A1 (ja) 情報処理装置
JP2008100596A (ja) 後方視認装置
JP2011193485A (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
JP4457690B2 (ja) 運転支援装置
JP2004182121A (ja) 運転支援装置
JP5584561B2 (ja) 画像処理装置、画像表示システム及び画像表示方法
JP3928660B2 (ja) 車両周辺監視装置
JP2007096496A (ja) 車両周囲表示システム
JP5821622B2 (ja) 障害物警報装置
JP4924770B2 (ja) 駐車支援装置及び駐車支援方法
JP2007096497A (ja) 車両周囲表示システム
JP2015227115A (ja) 車載カメラ制御装置
JP2013255237A (ja) 画像表示装置及び画像表示方法
JP2010016571A (ja) 運転支援装置
JP5765575B2 (ja) 撮影領域明示装置
JP5825091B2 (ja) 撮影領域明示装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080034684.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10806367

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010806367

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13388619

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20127003991

Country of ref document: KR

Kind code of ref document: A