WO2015152691A2 - 차량 주변 이미지 생성 장치 및 방법 - Google Patents

차량 주변 이미지 생성 장치 및 방법 Download PDF

Info

Publication number
WO2015152691A2
WO2015152691A2 PCT/KR2015/003394 KR2015003394W WO2015152691A2 WO 2015152691 A2 WO2015152691 A2 WO 2015152691A2 KR 2015003394 W KR2015003394 W KR 2015003394W WO 2015152691 A2 WO2015152691 A2 WO 2015152691A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
bird
eye view
view image
Prior art date
Application number
PCT/KR2015/003394
Other languages
English (en)
French (fr)
Other versions
WO2015152691A3 (ko
Inventor
이정표
류춘우
김상구
박재홍
권석근
Original Assignee
주식회사 와이즈오토모티브
에스엘 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이즈오토모티브, 에스엘 주식회사 filed Critical 주식회사 와이즈오토모티브
Priority to US15/277,050 priority Critical patent/US20170144599A1/en
Priority to MX2016012999A priority patent/MX2016012999A/es
Priority to JP2016560769A priority patent/JP2017520133A/ja
Priority to EP15772355.2A priority patent/EP3128738A4/en
Priority to CN201580025702.8A priority patent/CN107079081A/zh
Priority to BR112016023013A priority patent/BR112016023013A2/pt
Publication of WO2015152691A2 publication Critical patent/WO2015152691A2/ko
Publication of WO2015152691A3 publication Critical patent/WO2015152691A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Definitions

  • the present invention relates to an apparatus and a method for generating vehicle surrounding image (APPARATUS AND METHOD FOR PERIPHERAL IMAGE GENERATION OF VEHICLE).
  • the present invention relates to a vehicle surrounding image generating apparatus and method for distinguishing a past image from a current image in acquiring and displaying an image of a rear of a vehicle.
  • a vehicle is a device for driving a road or the like and performing various tasks by driving a road, etc. using a prime mover such as an engine mounted on a vehicle body, and the driver of the vehicle drives the vehicle safely while watching the driving direction. .
  • a display apparatus which outputs an image from a camera installed behind a vehicle to a monitor as it is.
  • Korean Patent Laid-Open Publication No. 2008-0024772 discloses a technique for more clearly identifying a relative position between a vehicle and a parking compartment in an image displayed on a monitor through a technology for converting an input image received from a camera into a bird's eye view. .
  • An object of the present invention is to match the bird's-eye view of images around the vehicle taken at different times through the camera to display an object outside the current field of view of the camera, and to distinguish the current image from the past image in the matched bird's-eye view image. To make it appear.
  • the ultrasonic sensor located in the vehicle it is possible to display the danger area around the vehicle, the area where the vehicle is in danger of collision with the surrounding object on the matched bird's eye view image.
  • an object of the present invention is to extract the rotation angle of the vehicle through a steering wheel sensor located in the vehicle, and in response to the rotation angle of the vehicle, the vehicle is in an area where there is a risk of collision with the surrounding objects. It is possible to mark the danger zone in a matched bird's eye view image.
  • an apparatus for generating a surrounding image of a vehicle by converting a photographed image generated from a camera unit positioned in a vehicle to photograph the surroundings, into data of a ground coordinate system projected by the camera unit as a visual point.
  • An area aerial image generation unit a composite aerial image generation unit for generating a composite aerial image by synthesizing a later aerial image, which is a current image photographed after the previous aerial image is generated, with a moving region aerial image, which is a past image; Bird's eye view image, current image And comprising a composite bird's eye view image correction for generating a synthesized bird's-eye view images corrected by correcting the image to distinguish the past image of the moving area bird's eye view image.
  • the moving region aerial view image generating unit may extract a region in which the vehicle moves based on wheel pulses for the left and right wheels of the vehicle, which are generated through a wheel speed sensor located in the vehicle.
  • the composite bird's eye view image correction unit may include a past image image processor for image processing the moving region bird's eye view image that is the past image.
  • the past image image processor may perform at least one of color adjustment, black and white, Blur, sketch, sepia, negative, emboss, and mosaic for the moving region aerial view image which is the past image.
  • the past image image processing unit may perform image processing on the moving area bird's eye view image that is the past image in a stepwise manner based on a past viewpoint.
  • the past image image processor may image the parking line by detecting a parking line from the moving area aerial view image that is the past image in the composite aerial view image.
  • the past image image processing unit may detect a parking line in the moving area aerial view image which is the past image from the synthesized aerial view image, and image the remaining portions other than the parking line to highlight the parking line.
  • the composite bird's eye view image correction unit may include a danger zone image processor that displays a danger zone in the composite bird's eye view image in response to a possibility of collision of the vehicle.
  • the danger zone image processor through at least one ultrasonic sensor located in the vehicle, in response to the distance between the detected object and the vehicle, by correcting the synthesized bird's eye view image side direction at the front edge of the vehicle Accordingly, the danger zone may be displayed by displaying a virtual rotation area of the front corner of the vehicle.
  • the danger zone image processor extracts a rotation angle of the vehicle through a steering wheel sensor located in the vehicle, and corrects the synthesized bird's eye image corresponding to the rotation angle of the vehicle to the side surface at the front edge of the vehicle.
  • the danger zone may be displayed by displaying a virtual rotation area of the front edge of the vehicle along the direction.
  • the camera unit is located in the vehicle by a bird's eye view image generating unit to shoot the image generated from the camera to photograph the surroundings to the visual point Generating a bird's eye view image by converting to a data of a ground coordinate system, and generating a bird's eye view image by a moving area bird's-eye view image generating unit, and then extracting an area in which the vehicle has moved after the previous bird's-eye view image is generated.
  • a moving area aerial view image which is a bird's eye view for a region
  • a subsequent bird's-eye view image which is a current image generated after the previous bird's-eye view image is generated by a composite bird's-eye view image generating unit
  • bird's-eye view synthesis image correction includes generating a synthesized bird's-eye view images corrected by correcting the image to distinguish the current image after the bird's eye view image and the past image in the moving area bird's eye view image.
  • the generating of the moving area aerial view image may extract an area in which the vehicle moves based on wheel pulses for the left and right wheels of the vehicle, which are generated through a wheel speed sensor located in the vehicle. have.
  • the generating of the corrected synthesized bird's-eye view may include image processing a moving region bird's-eye view image that is the past image in the synthesized bird's-eye view image.
  • the image processing of the moving area aerial view image, which is the past image may include processing at least one of color adjustment, black and white, Blur, sketch, sepia, negative, emboss, and mosaic for the moving area aerial view image, which is the past image. Can be performed.
  • the image processing of the moving area bird's-eye view image which is the past image, may be performed by image processing differently in stages based on the past viewpoint.
  • the image processing of the moving area aerial view image which is the past image may include image processing of the parking line by detecting a parking line of the moving area aerial view image which is the past image.
  • the image processing of the moving area bird's eye view image may include detecting a parking line from the moving area bird's-eye view image, which is the past image, and processing the remaining image except for the parking line. You can highlight the line.
  • the generating of the corrected composite bird's eye view image may include displaying a dangerous area on the composite bird's-eye view image in response to a possibility of collision of the vehicle.
  • the displaying of the dangerous area may include generating the corrected composite bird's eye image in front of the vehicle, in response to a distance between the detected object and the vehicle, through at least one ultrasonic sensor located in the vehicle.
  • the danger zone may be displayed by displaying a virtual rotation area of the front edge of the vehicle along the lateral direction from the corner.
  • the displaying of the dangerous area may include extracting a rotation angle of the vehicle through a steering wheel sensor located in the vehicle and generating the corrected composite bird's eye image corresponding to the rotation angle of the vehicle.
  • the danger zone may be displayed by displaying a virtual rotation area of the front edge of the vehicle along the lateral direction from the front edge.
  • the present invention while displaying the object outside the current field of view of the camera by matching the bird's-eye view of the image around the vehicle taken at different times through the camera, by separating the current image and the past image from the matched bird's-eye view image I can display it.
  • the dangerous area around the vehicle which is the area where the vehicle is in danger of colliding with the surrounding object, can be displayed on the matched aerial view image.
  • the steering wheel sensor located in the vehicle extract the rotation angle of the vehicle, the risk around the vehicle that is the area where the vehicle is in danger of collision with the surrounding objects corresponding to the rotation angle of the vehicle Regions can be displayed in the matched bird's eye image.
  • FIG. 1 is a schematic diagram showing a main part of a vehicle surrounding image generating apparatus according to the present invention.
  • FIG. 2 is a block diagram of a vehicle surroundings image generating apparatus according to the present invention.
  • FIG. 3 is a diagram illustrating a positional relationship in coordinate transformation performed by the apparatus for generating a vehicle surrounding image according to the present invention.
  • FIG. 4 is a view for explaining the concept of the vehicle surrounding image generating apparatus according to the present invention.
  • FIG. 5 is a diagram illustrating wheel pulses of a left rear wheel of a vehicle generated by an embodiment of the apparatus for generating a vehicle surrounding image according to the present invention.
  • FIG. 6 is a diagram illustrating wheel pulses of a right rear wheel of a vehicle generated by an embodiment of the apparatus for generating a vehicle surrounding image according to the present invention.
  • FIG. 7 is a diagram for describing a method of extracting a region in which a vehicle moves according to an embodiment of the apparatus for generating a vehicle surrounding image according to the present invention.
  • FIG 8 and 9 are views for explaining a state before correcting a composite bird's eye view image in the vehicle surrounding image generating apparatus according to the present invention.
  • FIG. 10 is an embodiment of a composite bird's eye view image correction unit of a vehicle surrounding image generating apparatus according to the present invention.
  • 11 to 13 are output screens of the display unit according to an exemplary embodiment of the apparatus for generating a vehicle surrounding image according to the present invention.
  • FIG. 14 is a diagram for describing a concept of a danger zone image processor of a synthesized bird's eye view image correction unit according to the present invention.
  • 15 to 16 are diagrams for describing an operation principle of the dangerous region image processor of the composite bird's eye view image correction unit according to the present invention.
  • 17 is a flowchart illustrating a method of generating a vehicle surrounding image according to the present invention.
  • FIGS. 1 and 2 A basic system configuration of the apparatus for generating a vehicle surrounding image according to the present invention will be described with reference to FIGS. 1 and 2.
  • FIG. 1 is a schematic diagram showing a main part of a vehicle surrounding image generating apparatus according to the present invention.
  • 2 is a block diagram of a vehicle surroundings image generating apparatus according to the present invention.
  • the apparatus for generating a surrounding image of a vehicle 100 may include a photographed image generated from a camera unit 110 positioned in the vehicle 1 and photographing the surrounding 5.
  • the vehicle ( 1) a moving area aerial image generator 130 extracting a moved area and generating a moving area aerial view image, which is a bird's eye view of the moved area, and a current image photographed after the previous bird's-eye view image is generated;
  • a bird's-eye view synthesis image correcting unit 150 to generate a synthesized bird's-eye view images corrected by correcting the image to distinguish the past image of the moving area bird's eye view image.
  • the display device 160 may further include a display unit 160 located in the vehicle 1 and displaying the corrected composite bird's eye view image.
  • the vehicle 1 may include at least one ultrasonic sensor 170 to detect an object around the vehicle.
  • the steering wheel sensor 180 may be included in the vehicle 1 to extract a rotation angle of the vehicle 1.
  • the bird's eye view image generator 120, the moving region bird's eye view image generator 130, the synthesized bird's eye view image generator 140, and the synthesized bird's eye view image correction unit 150 may include a vehicle surrounding image generator (A) An electronic device for processing image data, including a microcomputer, as a main part of 100, may be integrally formed with the camera unit 1.
  • the camera unit 110 is located in the vehicle 1 and performs a function of generating a photographed image by photographing the periphery 5.
  • the camera unit 110 is installed at the rear of the vehicle 1 and includes at least one camera (eg, a CCD camera).
  • the bird's eye view image generator 120 generates a bird's eye view image by converting the photographed image generated by the camera unit 110 into data of a ground coordinate system projected by the visual point. Perform.
  • a related technique may be used as described below.
  • the position of the image on the ground eg parking space indication
  • the position of the image on the ground is obtained as a bird's eye view image.
  • FIG. 3 is a diagram illustrating a positional relationship in coordinate transformation performed by the apparatus for generating a vehicle surrounding image according to the present invention.
  • the perspective transformation is performed in such a manner that the positional data of the image on the ground is projected onto the screen plane T having the focal length f from the position R of the camera unit 110. Is executed.
  • the camera unit 110 is located at the point R on the Z-axis (0, 0, H), and the angle of looking down ( Suppose you want to monitor an image on the ground (xy coordinate plane). Accordingly, as shown in Equation 1 below, the two-dimensional coordinates ⁇ and ⁇ on the screen plane T may be converted (back-perspective transformation) to coordinates (bird's eye view coordinates) on the ground plane.
  • the projected image (showing the bird's eye view image) may be converted into an image of the screen of the display unit 160 and displayed on the display unit 160.
  • the vehicle 200 at the time T and the vehicle 200 ′ at the time T + 1 which is after a predetermined time has elapsed from the time T are shown.
  • the bird's-eye view image generated by the vehicle 200 at the point-in-time T is called the previous bird's-eye view image 10, and the bird's-eye view image generated by the vehicle 200 ′ at the point T + 1 is referred to as the bird's-eye view image 20. .
  • the bird's-eye view image 10 and the bird's-eye view image 20 have a bird's-eye view image 30 for a common area. That is, it is a bird's eye view image which is taken and generated in common at the time T and the time T + 1.
  • the past bird's eye view image 40 is an object outside the field of view of the camera unit 110 located behind the vehicle 200 'at the time T + 1. That is, it means a target that is not photographed at the time T + 1.
  • the vehicle surrounding image generating apparatus 100 includes the past bird's eye view image 40 in the image displayed by the display unit 160 inside the vehicle 200 'at the time T + 1.
  • the synthesized image is called a composite bird's eye image.
  • the driver should be able to distinguish between the image of the past and the image of the present.
  • an area in which the vehicle has moved must be extracted. Since the past bird's eye view image 40 is calculated by extracting an area where the vehicle has moved, it is called a moving area bird's-eye view image.
  • the synthesized bird's-eye view image is synthesized from the bird's-eye view image 20 and the moving region bird's-eye view image after the previous bird's-eye view image 10 is generated at the time T and after the image is generated at the T + 1 point.
  • the moving area aerial view image generating unit 130 extracts an area in which the vehicle is moved after the previous aerial view image is generated by the bird's eye view image generating unit 120, and then the moving area aerial view image which is a bird's eye view of the moved area. Performs the function of generating it.
  • the previous bird's eye view image 10 is displayed on the display unit 160 of the vehicle 200 at the time T, and the display unit 160 of the vehicle 200 ′ at the time T + 1.
  • the past bird's eye view image vehicle 200 ' exists
  • the past bird's-eye view image 40 and the following bird's-eye view image 20 are displayed together on the display unit 160 of the vehicle 200'. This is referred to as a composite bird's eye image.
  • the bird's-eye view image 20 is a bird's-eye view of an image photographed by the camera unit 110 located in the vehicle 200 'at a point in time T + 1.
  • the past aerial image 40 in order to generate the composite image, the past aerial image 40 must be extracted, which is extracted from the previous aerial image. Specifically, the area 200 is moved until the vehicle 200 at the time T reaches the time T + 1. In order to extract the moved region, the previous aerial image 10 and the subsequent aerial image 20 may be contrasted, and the region obtained by subtracting a common region corresponding to the second aerial view from the previous aerial view image 10 ( 40) is calculated as the area where the vehicle has moved.
  • Another method of estimating the area in which the vehicle has moved is a method of extracting the area in which the vehicle has moved based on driving information of the vehicle including the speed and the moving direction of the vehicle provided from the vehicle.
  • the predetermined number of unit pixels is calculated according to the speed information and the steering wheel information.
  • the pixel is moved by a predetermined unit pixel (for example, 20 pixels) in the driving direction, and left or right direction depending on the direction of the steering wheel.
  • the moved area is calculated by moving the predetermined unit pixel (for example, 10 pixels).
  • the area in which the vehicle is moved is extracted based on wheel pulses for the left and right wheels of the vehicle, which are generated through a wheel speed sensor located in the vehicle. There is a method, which will be described with reference to FIGS. 5 to 7.
  • FIG. 5 is a diagram illustrating wheel pulses of a left rear wheel of a vehicle generated by an embodiment of the apparatus for generating a vehicle surrounding image according to the present invention.
  • FIG. 6 is a diagram illustrating wheel pulses of a right rear wheel of a vehicle generated by an embodiment of the apparatus for generating a vehicle surrounding image according to the present invention.
  • FIG. 7 is a diagram for describing a method of extracting a region in which a vehicle moves according to an embodiment of the apparatus for generating a vehicle surrounding image according to the present invention.
  • the wheel speed sensor is positioned in the vehicle to generate a wheel pulse signal according to the movement of the left and right wheels of the vehicle.
  • the front wheel of the vehicle is configured to rotate, unlike the rear wheel of the vehicle, it is more effective to utilize the rear wheel of the vehicle in accurately extracting the traveled distance of the vehicle.
  • the wheel speed sensor will be described with reference to the rear wheel. However, this description does not limit only the rear wheel to the right range in the wheel speed sensor.
  • the wheel pulse signal for the left rear wheel of the vehicle may be checked according to a change in time. At this time, the wheel pulse signal is counted by 1 for each cycle, and the distance moved every cycle is 0.0217m.
  • the wheel pulse signal for the right rear wheel of the vehicle may be checked according to a change in time. At this time, the wheel pulse signal is counted by 1 for each cycle, and the distance moved every cycle is 0.0217m.
  • the wheel pulse signal for the left rear wheel at the time point T has a value of 3 when three cycles are counted, but the wheel pulse signal for the right rear wheel at the time point T has five times. The period is counted and has a value of count five.
  • the distance moved during the same time can confirm that the right rear wheel is more. This may be determined that the vehicle is moving backward with the steering wheel rotated in the clockwise direction on the premise that the vehicle reverses.
  • a moving distance of the vehicle may be extracted using Equations 2 to 4 below.
  • K1 means a moving distance of the inner rear wheel. For example, when the vehicle 1 reverses with the steering wheel rotated clockwise, the right rear wheel becomes the inner rear wheel, and the vehicle 1 reverses with the steering wheel rotated counterclockwise. The left rear wheel becomes the inner rear wheel.
  • WP out means the wheel pulse count value of the outer rear wheel
  • WP res is the resolution of the wheel pulse signal and means the distance (0.0217m) per one cycle signal. That is, the WP res is a constant (0.0217) and is a value that can vary depending on the type and setting of the wheel speed sensor.
  • t means time, but before the vehicle moves, Means the time taken while the vehicle is moving.
  • K2 means a moving distance of the outer rear wheel.
  • the left rear wheel becomes the outer rear wheel
  • the vehicle 1 reverses with the steering wheel rotated counterclockwise.
  • the right rear wheel is the outer rear wheel.
  • WP out means the wheel pulse count value of the outer rear wheel
  • WP res is the resolution of the wheel pulse signal and means the distance (0.0217m) per one cycle signal. That is, the WP res is a constant (0.0217) and is a value that can vary depending on the type and setting of the wheel speed sensor.
  • t means time, but before the vehicle moves, Means the time taken while the vehicle is moving.
  • Equation 4 K means the moving distance of the axle.
  • the moving distance of the axle means the same as the moving distance of the vehicle.
  • K1 means the moving distance of the inner rear wheel
  • K2 means the moving distance of the outer rear wheel. That is, the moving distance of the axle, which is the moving distance of the vehicle, is an average value of the moving distance of the rear wheel of the vehicle and the moving distance of the rear wheel of the vehicle.
  • the moving distance extracting unit 131 may extract the moving distance of the vehicle 1 through Equations 2 to 4.
  • FIG. 7 is a diagram for describing a method of extracting a region in which a vehicle moves according to an embodiment of the apparatus for generating a vehicle surrounding image according to the present invention.
  • the current position 6 of the vehicle 1 is halfway between the left rear wheel and the right rear wheel, which is equivalent to the current center position of the axle.
  • the position 7 after the vehicle 1 has moved is halfway between the left rear wheel and the right rear wheel of the vehicle at the moved position.
  • K1 means the moving distance of the inner rear wheel
  • R means the rotation radius of the vehicle. Specifically, it means the radius of rotation of the axle.
  • W means vehicle width. Specifically, it means the distance between the left rear wheel and the right rear wheel. Also, Denotes the amount of change in the vehicle angle during t time.
  • K2 means the moving distance of the outer rear wheel
  • R is the rotation radius of the vehicle. Specifically, it means the radius of rotation of the axle.
  • W means vehicle width
  • K2 means the moving distance of the outer rear wheel
  • K1 means the moving distance of the inner rear wheel
  • W means vehicle width
  • Equation 8 is expressed by Equation 7 as the amount of change in the vehicle angle during t time. It is a mathematical expression about. That is, if K2 obtained from Equation 5 is obtained by subtracting K1 obtained from Equation 6 by W, which is a predetermined width of the vehicle, it is an amount of change in vehicle angle during t time. Will be available.
  • Equation 5 K1, K2, And since both W values can be known, by substituting Equation 5 or Equation 6, it is possible to obtain an R value which is a turning radius of the vehicle.
  • x c (t) means the position of the x coordinate of the rotation center
  • x (t) means the position of the x coordinate of the current center position of the axle axis that is the current position of the vehicle. It has been described above that the current center position of the axle is halfway between the left rear wheel and the right rear wheel. Also, Means the angle of the current vehicle.
  • Equation 10 y c (t) means the position of the y coordinate of the rotation center, y (t) means the position of the x coordinate of the current center position of the axle axis that is the current position of the vehicle. Also, Means the angle of the current vehicle.
  • Equation 11 Denotes the position of the x coordinate among the current center positions of the axle when the rotation center is the origin, and x (t) denotes the position of the x coordinate among the current center positions of the axle which is the current position of the vehicle. Also, Means the angle of the current vehicle.
  • Equation 12 Denotes the position of the y coordinate among the current center positions of the axle when the rotation center is the origin, and y (t) denotes the position of the y coordinate among the current center positions of the axles that are the current positions of the vehicle. Also, Means the angle of the current vehicle.
  • Equation 13 Denotes the position of the X coordinate among the center positions after the axle movement when the rotation center is the origin, Means the position of the y coordinate among the center positions after the movement of the axle when the rotation center is the origin.
  • Equation 13 is It is a rotation conversion formula that calculates the center position of the moved axle when the axle moves as time passes and the rotation center is the origin.
  • Equation 14 Denotes the position of the X coordinate among the center positions after the movement of the axle. That is, it means the value of the absolute position, the position of the state not considering the rotation center as the origin. Also, Means the position of the X coordinate among the center positions after the movement of the axle when the rotation center is the origin, and x c (t) means the position of the x coordinate of the rotation center.
  • Equation 15 Denotes the position of the y coordinate among the center positions after the axle movement. That is, it means the value of the absolute position, the position of the state not considering the rotation center as the origin. Also, Means the position of the y coordinate among the center positions after the axle movement when the rotation center is the origin, and y c (t) means the position of the y coordinate of the rotation center.
  • Equation (16) is obtained by substituting Equations (9) to (13) for Equation (14), which is the position of the X coordinate among the center positions after the movement of the axle. Is the final equation for.
  • Equation (17) is obtained by substituting Equations (9) to (13) for Equation (15), which is the position of the y coordinate among the center positions after the axle movement. Is the final equation for. Therefore, it is possible to extract the area in which the vehicle moved.
  • the composite bird's eye view image generation unit 140 may include a bird's-eye view image 20 that is photographed and generated after the previous bird's-eye view image 10 shown in FIG. 4 is generated. 40) to synthesize.
  • the driver can view the bird's eye view image 40 of the portion not captured by the camera unit 110.
  • the composite bird's eye view image correction unit 150 performs a function of generating a corrected bird's-eye view image by correcting an image to distinguish a bird's-eye view image that is a current image and a moving area bird's-eye image that is a past image.
  • the moving area aerial view image generated by the moving area aerial view image generating unit 130 may be corrected.
  • the composite bird's eye view image generator 140 corrects the moving region bird's-eye view image that is the past image before generating the composite bird's-eye view image, thereby distinguishing the after bird's-eye view image that is the current image from the moving area bird's-eye view image that is the past image. That's how. Accordingly, the composite bird's eye view image is generated by the composite bird's eye view image generator 140 in a state where the current image and the past image are separated.
  • a method of correcting the synthesized bird's-eye view image generated by the synthesized bird's-eye view image generator 140 may be exemplified.
  • the composite bird's-eye view image is corrected to distinguish the bird's-eye view image that is the current image from the moving region bird's-eye view image that is the past image. That's how. Therefore, when the composite bird's eye view image is generated by the composite bird's eye view image generation unit 140 in a state where the current image and the past image are not distinguished, the composite bird's eye view image correction unit 150 corrects the composite bird's eye view image. The image can be distinguished from the past image.
  • the display 110 outputs a photographed image generated by the camera unit 110 located in the vehicle.
  • 9 is a composite bird's eye view image, which is a state before being corrected by the composite bird's-eye view image correction unit 150.
  • the composite bird's eye view image includes a current bird's-eye view image 20 existing in the field of view of the camera unit 110 located in the vehicle 200 ′, and a past bird's-eye view existing outside the field of view of the camera unit 110.
  • Image 40 is present.
  • composition of the bird's-eye view image correction unit 150 distinguishes the past bird's-eye view image 40 from the current image 20.
  • 10 is an embodiment of a composite bird's eye view image correction unit of a vehicle surrounding image generating apparatus according to the present invention.
  • 11 to 13 are output screens of the display unit according to an exemplary embodiment of the apparatus for generating a vehicle surrounding image according to the present invention.
  • the composite bird's eye view image corrector 150 includes a past image processor 151 and a danger zone image processor 152.
  • the past image image processing unit 151 performs a function of detecting a moving area aerial view image, which is the past image, from the synthesized aerial view image, and performing image processing on the moving area aerial view image, which is the past image.
  • the composite aerial view image includes a moving area aerial view image that is a past image
  • detecting the moving area aerial view image that is the past image is preceded by the composite aerial view image.
  • the past image image processor 151 may perform at least one of black and white, Blur, sketch, sepia, negative, emboss, and mosaic on the detected moving region aerial view image. .
  • the moving region bird's eye view image which is a past image, is processed in black and white.
  • the driver may easily distinguish between the past image and the present image, thereby preventing a vehicle accident in advance.
  • the past image image processing unit 151 at least one of black and white, Blur, sketch, sepia, negative, emboss, mosaic in a moving image of the moving area bird's eye view image that is the past image step by step based on the past viewpoint. Processing can be performed.
  • the past image image processing unit 151 may image the parking line by detecting a parking line among the moving area bird's-eye view images that are the past image in the synthesized aerial view image.
  • past image image processor 151 may highlight the parking line by noise-processing the rest of the moving area bird's eye view image that is the past image.
  • the area aerial view image 40 can be unreliably induced.
  • FIG. 13 there is a method of adding a warning display 41 to the moving area aerial view image 40, which is the past image. That is, it is possible to clearly inform the driver that the image of the past.
  • it may be designed to distinguish the past bird's-eye view image 40 from the present image 20 by depicting a V-shaped line showing the vehicle and viewing angle in the composite bird's-eye view image.
  • the dangerous area image processor 152 performs a function of displaying a dangerous area on the synthesized bird's eye image by correcting the synthesized bird's eye image in response to a possibility of collision of the vehicle.
  • the dangerous area 42 may be displayed in the moving area aerial view image 40, which is a past image.
  • a method of determining whether the vehicle may collide with another object includes a method using an ultrasonic sensor located in the vehicle and a method using a steering wheel sensor located in the vehicle. To be described later.
  • the dangerous area image processor 152 corrects the synthesized bird's-eye view image in response to a distance between the detected object 21 and the vehicle through at least one ultrasonic sensor 170 located in the vehicle.
  • the danger zone 42 may be displayed on the front or side of the vehicle present in the bird's eye view image.
  • the at least one ultrasonic sensor positioned in the vehicle generates the corrected composite bird's eye image in response to the distance between the detected object and the vehicle, so that the vehicle is positioned along the lateral direction at the front edge of the vehicle.
  • the danger zone can be marked by displaying the virtual rotation area of the front edge.
  • the dangerous area 42 may be displayed to be connected from the front of the vehicle to the right side, and the dangerous area is displayed to be connected to the left side from the front of the vehicle. can do.
  • the driver may easily use a larger image or display a darker color when displaying the danger area. Can be perceived.
  • the display of the dangerous area 42 may be designed to be changed in real time.
  • the indication of the dangerous area 42 may be changed in real time corresponding to the distance between the vehicle and the sensed object 21. .
  • the dangerous area image processor 152 extracts the rotation angle of the vehicle through the steering wheel sensor 180 located in the vehicle, and corrects the synthesized bird's-eye image corresponding to the rotation angle of the vehicle.
  • the dangerous area 42 may be displayed on the front or side of the vehicle in the bird's eye view image.
  • the danger zone can be indicated by displaying the virtual rotation area of the front edge of the vehicle.
  • the dangerous area is displayed only on the image (for example, the rear of the vehicle) existing in the field of view of the camera unit 110, but according to the embodiment of the present invention, the dangerous area is present outside the field of view of the camera unit 110.
  • the driver can be notified of danger.
  • the risk of collision of the vehicle is determined.
  • the risk of collision of the vehicle is determined in consideration of the rotation angle of the vehicle.
  • the danger area may be displayed on the left side of the vehicle by extracting the rotation angle of the vehicle through the steering wheel sensor 180.
  • the driver when the driver changes the direction of the steering wheel 4 or changes the angle of the steering wheel 4, the driver may design the dangerous area 42 to be displayed in real time.
  • the indicated danger zone 42 may be changed according to the traveling direction of the vehicle.
  • the danger zone 42 is displayed on the front or right side of the vehicle, but at this time, the vehicle In the case of advancing by changing the direction of travel, the above indicated dangerous area 42 can be removed.
  • the dangerous area 42 may be displayed to be connected from the front of the vehicle to the right side, and the dangerous area is displayed to be connected to the left side from the front of the vehicle. can do.
  • FIGS. 15 to 16 An operation principle of extracting a rotation angle of the vehicle through the steering wheel sensor will be described with reference to FIGS. 15 to 16.
  • 15 is a diagram for describing a steering wheel sensor of a vehicle.
  • FIG. 16 is a view for explaining rotation angles of the left front wheel and the right front wheel of the vehicle.
  • the maximum angle of the steering wheel 4 of the vehicle 1 may be checked. Specifically, it is possible to rotate up to 535 degrees in the counterclockwise direction (ie, -535 degrees) and 535 degrees in the clockwise direction. In order to detect the angle of the steering wheel 4, a steering wheel sensor located in the vehicle 1 is utilized.
  • the angles of the left front wheel 2 and the right front wheel 2 ′ of the vehicle may be checked.
  • the outer maximum angle ( ) Is 33 degrees and the maximum internal angle ( ) Is 39 degrees.
  • the outer maximum angle and the inner maximum angle may vary according to the type of vehicle 1 and technology development.
  • the steering wheel sensor 180 detects the rotation angle of the steering wheel 4 of the vehicle, and based on the rotation angle of the steering wheel 4, the left front wheel (2) and the right of the vehicle The rotation angle of each of the front wheels 2 'can be calculated.
  • the angle of the front wheels 2, 2 ′ of the vehicle 1 may be calculated based on the detected angle of the steering wheel 4.
  • a specific method for calculating the angle of the front wheels 2, 2 'of the vehicle 1 uses the following equation.
  • Equations 18 and 19 (out) is an angle outside the front wheel of the rotating vehicle 1, (in) is an angle inside the front wheel of the rotating vehicle 1. Also, Is the maximum outer angle of 33 degrees, Is the inner maximum angle of 39 degrees.
  • the angle of the inner side is calculated at the left front wheel 2, and the outer angle is calculated at the right front wheel 2 ′.
  • the inside angle is calculated at the right front wheel 2 ′, and the outside angle is calculated at the left front wheel 2.
  • the value obtained from the steering wheel sensor 180 has a range of -535 degrees to 535 degrees.
  • the steering wheel sensor 180 can calculate the rotation angle of the vehicle.
  • 17 is a flowchart illustrating a method of generating a vehicle surrounding image according to the present invention.
  • generating a photographed image by photographing a surrounding through a camera unit located in a vehicle (S100), and the photographed image is projected onto the camera unit as a visual point.
  • Generating a bird's eye view image by converting the data into coordinate data (S110), and after generating a bird's eye view image in the step of generating the bird's eye view image, extracting an area in which the vehicle has moved, and moving the bird's eye view to the moved area.
  • Generating a bird's eye view image (S120), generating a synthetic bird's eye image by combining a bird's-eye view image, which is a current image photographed after the previous bird's-eye view image is generated, with a moving area bird's-eye image, which is a past image ( S130) and after the bird's eye view image and the past image, And correcting the synthesized bird's-eye image to generate a corrected bird's-eye view image in order to distinguish a moving area bird's-eye view image (S140).
  • the method may further include displaying the corrected composite bird's-eye image (S150) through a display unit located in the vehicle.
  • the apparatus and method for generating a vehicle surrounding image according to the present invention may not be limitedly applied to the configuration and method of the embodiments described as described above, but the embodiments may be modified in various ways. All or some of these may optionally be combined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량 주변 이미지 생성 장치 및 방법이 개시된다. 본 발명에 따른 차량 주변이미지 생성 장치는 차량에 위치하여 주변을 촬영하는 카메라부로부터 생성된 촬영 이미지를, 상기 카메라부를 시각점으로 투영된 지면 좌표계의 데이터로 변환함으로써 조감도 이미지를 생성하는 조감도 이미지 생성부, 상기 조감도 이미지 생성부에 의해 이전 조감도 이미지가 생성된 후, 상기 차량이 이동한 영역을 추출하여 상기 이동한 영역에 대한 조감도인 이동 영역 조감도 이미지를 생성하는 이동 영역 조감도 이미지 생성부, 상기 이전 조감도 이미지가 생성된 이후에 촬영되어 생성된 현재 이미지인 이후 조감도 이미지를 과거 이미지인 이동 영역 조감도 이미지와 합성함으로써, 합성 조감도 이미지를 생성하는 합성 조감도 이미지 생성부 및 상기 현재 이미지인 이후 조감도 이미지와, 상기 과거 이미지인 이동 영역 조감도 이미지를 구분하기 위하여 이미지를 보정하여 보정된 합성 조감도 이미지를 생성하는 합성 조감도 이미지 보정부를 포함한다.

Description

차량 주변 이미지 생성 장치 및 방법
본 발명은 차량 주변 이미지 생성 장치 및 방법(APPARATUS AND METHOD FOR PERIPHERAL IMAGE GENERATION OF VEHICLE)에 관한 것이다. 특히 차량 후방의 이미지를 획득하여 모니터상에 디스플레이함에 있어서, 과거 이미지와 현재 이미지를 구분하기 위한 차량 주변 이미지 생성 장치 및 방법에 관한 것이다.
일반적으로, 차량은 차체에 장비한 엔진 등의 원동기를 동력원으로 하여 도로 등을 주행하며 사람이나 화물을 운반하거나 각종 작업을 수행하는 장치이고, 차량의 운전자는 주행 방향을 주시하면서 차량을 안전하게 운전한다.
하지만, 차량이 주차를 하는 등 후진하는 경우에 있어서는, 차량의 운전자는 차량의 후방인 주행 방향을 주시하기가 어렵다. 따라서, 차량의 후방을 디스플레이하기 위한 장치로서, 차량의 뒤에 설치된 카메라로부터의 이미지를 모니터에 그대로 출력하는 디스플레이 장치가 알려져 있다.
특히, 한국공개특허 2008-0024772호에서는 카메라로부터 전달받은 입력 영상을 조감도로 변환하는 기술을 통하여, 모니터 상에 디스플레이된 이미지에서 차량과 주차구획 간의 상대적인 위치를 보다 명확히 파악할 수 있는 기술을 개시하고 있다.
다만, 상기한 기술로는 카메라의 현재 시야에 존재하지 않는 대상을 디스플레이할 수 없는 한계가 있다. 예를 들어, 차량의 주차를 위하여 후진할 때, 이미 차량이 지나간 공간에 존재하는 주차선(현재 시야 밖)은 디스플레이할 수 없다는 문제점이 있다.
따라서, 카메라의 현재 시야 밖의 대상을 디스플레이 하기 위한 이미지를 생성할 수 있는 기술이 필요하다. 따라서, 카메라의 현재 시야 밖의 대상을 디스플레이하기 위하여 과거에 차량에서 촬영한 이미지를 현재의 이미지와 합성하는 기술이 공개된바 있다. 다만, 이 경우 과거의 이미지와 현재의 이미지를 구분하지 않아, 운전자가 과거의 이미지를 맹목적으로 신뢰하게 되어 차량의 사고가 발생하는 경우가 비일비재하다.
따라서, 현재의 카메라에 촬영되는 현재 이미지와, 현재의 카메라에 촬영되지 않는 과거의 이미지를 구분할 수 있는 기술이 필요하다. 아울러, 차량의 현재 상태에서 위험 물체를 감지하는 기술을 넘어서, 차량의 현재 회전 각도를 추출하여, 현재의 회전 각도로 계속하여 진행하게 될 때, 장래에 충돌의 위험이 있는지를 판단하여 모니터에 위험 표시를 제공해줄 수 있는 기술이 필요한 실정이다.
본 발명의 목적은, 카메라를 통하여 서로 다른 시간에 촬영한 차량 주변의 이미지들에 대한 조감도를 정합하여 카메라의 현재 시야 밖의 대상을 디스플레이하되, 정합된 조감도 이미지에서 현재의 이미지와 과거의 이미지를 구분하여 표시하는 것을 가능케 하는 것이다.
또한, 본 발명의 목적은, 차량에 위치한 초음파 센서를 통하여, 상기 차량이주변의 물체와 충돌 위험이 있는 영역인 차량 주변의 위험 영역을 정합된 조감도 이미지에 표시하는 것을 가능케 하는 것이다.
또한, 본 발명의 목적은, 차량에 위치한 스티어링 휠 센서를 통하여, 상기 차량의 회전 각도를 추출하고, 상기 차량의 회전 각도에 대응하여 상기 차량이 주변의 물체와 충돌 위험이 있는 영역인 차량 주변의 위험 영역을 정합된 조감도 이미지에 표시하는 것을 가능케 하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 차량 주변 이미지 생성 장치는, 차량에 위치하여 주변을 촬영하는 카메라부로부터 생성된 촬영 이미지를 상기 카메라부를 시각점으로 투영된 지면 좌표계의 데이터로 변환함으로써, 조감도 이미지를 생성하는 조감도 이미지 생성부, 상기 조감도 이미지 생성부에 의해 이전 조감도 이미지가 생성된 후, 상기 차량이 이동한 영역을 추출하여 상기 이동한 영역에 대한 조감도인 이동 영역 조감도 이미지를 생성하는 이동 영역 조감도 이미지 생성부, 상기 이전 조감도 이미지가 생성된 이후에 촬영되어 생성된 현재 이미지인 이후 조감도 이미지를 과거 이미지인 이동 영역 조감도 이미지와 합성함으로써, 합성 조감도 이미지를 생성하는 합성 조감도 이미지 생성부 및 상기 현재 이미지인 이후 조감도 이미지와, 상기 과거 이미지인 이동 영역 조감도 이미지를 구분하기 위하여 이미지를 보정하여 보정된 합성 조감도 이미지를 생성하는 합성 조감도 이미지 보정부를 포함한다.
이 때, 상기 이동 영역 조감도 이미지 생성부는, 상기 차량에 위치한 휠 스피드 센서를 통하여 생성된, 상기 차량의 좌측 바퀴 및 우측 바퀴에 대한 휠 펄스를 기반으로 차량이 이동한 영역을 추출할 수 있다.
이 때, 상기 합성 조감도 이미지 보정부는, 상기 과거 이미지인 이동 영역 조감도 이미지를 영상 처리하는 과거 이미지 영상 처리부를 포함할 수 있다.
이 때, 상기 과거 이미지 영상 처리부는, 상기 과거 이미지인 이동 영역 조감도 이미지에 대하여 색상 조정, 흑백, Blur, 스케치, 세피아, 네거티브, 엠보스, 모자이크 중 적어도 하나의 처리를 수행할 수 있다.
이 때, 상기 과거 이미지 영상 처리부는, 상기 과거 이미지인 이동 영역 조감도 이미지를, 과거 시점을 기반으로 단계별로 상이하게 영상 처리를 수행할 수 있다.
이 때, 상기 과거 이미지 영상 처리부는, 상기 합성 조감도 이미지에서, 상기 과거 이미지인 이동 영역 조감도 이미지 중 주차선을 검출하여 상기 주차선을 영상 처리할 수 있다.
이 때, 상기 과거 이미지 영상 처리부는, 상기 합성 조감도 이미지에서, 상기 과거 이미지인 이동 영역 조감도 이미지중 주차선을 검출하여 상기 주차선 이외의 나머지를 영상 처리하여 상기 주차선을 부각시킬 수 있다.
이 때, 상기 합성 조감도 이미지 보정부는, 상기 차량의 충돌 가능성에 대응하여, 상기 합성 조감도 이미지에 위험 영역을 표시하는 위험 영역 영상 처리부를 포함할 수 있다.
이 때, 상기 위험 영역 영상 처리부는, 상기 차량에 위치한 적어도 하나의 초음파 센서를 통하여, 감지된 물체와 상기 차량과의 거리에 대응하여, 상기 합성 조감도 이미지를 보정함으로써 상기 차량의 전방 모서리에서 측면 방향을 따라 상기 차량의 전방 모서리의 가상 회전 영역을 표시하여 위험 영역을 표시할 수 있다.
이 때, 상기 위험 영역 영상 처리부는, 상기 차량에 위치한 스티어링 휠 센서를 통하여 상기 차량의 회전 각도를 추출하고, 상기 차량의 회전 각도에 대응하여 상기 합성 조감도 이미지를 보정함으로써 상기 차량의 전방 모서리에서 측면 방향을 따라 상기 차량의 전방 모서리의 가상 회전 영역을 표시하여 위험 영역을 표시할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명에 따른 차량 주변 이미지 생성 방법은, 조감도 이미지 생성부에 의하여 차량에 위치하여 주변을 촬영하는 카메라부로부터 생성된 촬영 이미지를 상기 카메라부를 시각점으로 투영된 지면 좌표계의 데이터로 변환함으로써, 조감도 이미지를 생성하는 단계, 이동 영역 조감도 이미지 생성부에 의하여 상기 조감도 이미지를 생성하는 단계에서 이전 조감도 이미지가 생성된 후, 상기 차량이 이동한 영역을 추출하여 상기 이동한 영역에 대한 조감도인 이동 영역 조감도 이미지를 생성하는 단계, 합성 조감도 이미지 생성부에 의하여 상기 이전 조감도 이미지가 생성된 이후에 촬영되어 생성된 현재 이미지인 이후 조감도 이미지를, 과거 이미지인 이동 영역 조감도 이미지와 합성함으로써 합성 조감도 이미지를 생성하는 단계 및 합성 조감도 이미지 보정부에 의하여 상기 현재 이미지인 이후 조감도 이미지와, 상기 과거 이미지인 이동 영역 조감도 이미지를 구분하기 위하여 이미지를 보정하여 보정된 합성 조감도 이미지를 생성하는 단계를 포함한다.
이 때, 상기 이동 영역 조감도 이미지를 생성하는 단계는, 상기 차량에 위치한 휠 스피드 센서를 통하여 생성된, 상기 차량의 좌측 바퀴 및 우측 바퀴에 대한 휠 펄스를 기반으로 차량이 이동한 영역을 추출할 수 있다.
이 때, 상기 보정된 합성 조감도 이미지를 생성하는 단계는, 상기 합성 조감도 이미지에서, 상기 과거 이미지인 이동 영역 조감도 이미지를 영상 처리하는 단계를 포함할 수 있다.
이 때, 상기 과거 이미지인 이동 영역 조감도 이미지를 영상 처리하는 단계는, 상기 과거 이미지인 이동 영역 조감도 이미지에 대하여 색상 조정, 흑백, Blur, 스케치, 세피아, 네거티브, 엠보스, 모자이크 중 적어도 하나의 처리를 수행할 수 있다.
이 때, 상기 과거 이미지인 이동 영역 조감도 이미지를 영상 처리하는 단계는, 상기 과거 이미지인 이동 영역 조감도 이미지를, 과거 시점을 기반으로 단계별로 상이하게 영상 처리를 수행할 수 있다.
이 때, 상기 과거 이미지인 이동 영역 조감도 이미지를 영상 처리하는 단계는, 상기 합성 조감도 이미지에서, 상기 과거 이미지인 이동 영역 조감도 이미지 중 주차선을 검출하여 상기 주차선을 영상 처리할 수 있다.
이 때, 상기 과거 이미지인 이동 영역 조감도 이미지를 영상 처리하는 단계는, 상기 합성 조감도 이미지에서, 상기 과거 이미지인 이동 영역 조감도 이미지중 주차선을 검출하여 상기 주차선 이외의 나머지를 영상 처리하여 상기 주차선을 부각시킬 수 있다.
이 때, 상기 보정된 합성 조감도 이미지를 생성하는 단계는, 상기 차량의 충돌 가능성에 대응하여, 상기 합성 조감도 이미지에 위험 영역을 표시하는 단계를 포함할 수 있다.
이 때, 상기 위험 영역을 표시하는 단계는, 상기 차량에 위치한 적어도 하나 이상의 초음파 센서를 통하여, 감지된 물체와 상기 차량과의 거리에 대응하여, 상기 보정된 합성 조감도 이미지를 생성함으로써 상기 차량의 전방 모서리에서 측면 방향을 따라 상기 차량의 전방 모서리의 가상 회전 영역을 표시하여 위험 영역을 표시할 수 있다.
이 때, 상기 위험 영역을 표시하는 단계는, 상기 차량에 위치한 스티어링 휠 센서를 통하여 상기 차량의 회전 각도를 추출하고, 상기 차량의 회전 각도에 대응하여 상기 보정된 합성 조감도 이미지를 생성함으로써 상기 차량의 전방 모서리에서 측면 방향을 따라 상기 차량의 전방 모서리의 가상 회전 영역을 표시하여 위험 영역을 표시할 수 있다.
본 발명에 따르면, 카메라를 통하여 서로 다른 시간에 촬영한 차량 주변의 이미지들에 대한 조감도를 정합하여 카메라의 현재 시야 밖의 대상을 디스플레이하되, 정합된 조감도 이미지에서 현재의 이미지와 과거의 이미지를 구분하여 표시할 수 있다.
또한, 본 발명에 따르면, 차량에 위치한 초음파 센서를 통하여, 상기 차량이주변의 물체와 충돌 위험이 있는 영역인 차량 주변의 위험 영역을 정합된 조감도 이미지에 표시할 수 있다.
또한, 본 발명에 따르면, 차량에 위치한 스티어링 휠 센서를 통하여, 상기 차량의 회전 각도를 추출하고, 상기 차량의 회전 각도에 대응하여 상기 차량이 주변의 물체와 충돌 위험이 있는 영역인 차량 주변의 위험 영역을 정합된 조감도 이미지에 표시할 수 있다.
도 1은 본 발명에 따른 차량 주변 이미지 생성 장치의 주요 부분을 도시한 개략도이다.
도 2는 본 발명에 따른 차량 주변 이미지 생성 장치의 블록도이다.
도 3은 본 발명에 따른 차량 주변 이미지 생성 장치에 의해 수행되는 좌표 변환에서의 위치 관계를 도시한 도면이다.
도 4는 본 발명에 따른 차량 주변 이미지 생성 장치의 개념을 설명하기 위한 도면이다.
도 5는 본 발명에 따른 차량 주변 이미지 생성 장치의 일실시예에 의해 생성된 차량의 좌측 후륜에 대한 휠 펄스를 나타낸 도면이다.
도 6은 본 발명에 따른 차량 주변 이미지 생성 장치의 일실시예에 의해 생성된 차량의 우측 후륜에 대한 휠 펄스를 나타낸 도면이다.
도 7은 본 발명에 따른 차량 주변 이미지 생성 장치의 일실시예에 의해 차량이 이동한 영역을 추출하는 방법을 설명하기 위한 도면이다.
도 8 및 도 9는 본 발명에 따른 차량 주변 이미지 생성 장치에서 합성 조감도 이미지를 보정하기 전의 모습을 설명하기 위한 도면이다.
도 10은 본 발명에 따른 차량 주변 이미지 생성 장치의 합성 조감도 이미지 보정부의 일실시예이다.
도 11 내지 도 13은 본 발명에 따른 차량 주변 이미지 생성 장치의 일실시예에 따른 디스플레이부의 출력 화면이다.
도 14는 본 발명에 따른 합성 조감도 이미지 보정부의 위험 영역 영상 처리부의 개념을 설명하기 위한 도면이다.
도 15 내지 도 16은 본 발명에 따른 합성 조감도 이미지 보정부의 위험 영역 영상 처리부의 동작 원리를 설명하기 위한 도면이다.
도 17은 본 발명에 따른 차량 주변 이미지 생성 방법의 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다.
본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다.
따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
본 발명에 따른 차량 주변 이미지 생성 장치의 기본 시스템 구성에 대하여 도 1 및 도 2를 참조하여 설명하도록 한다.
도 1은 본 발명에 따른 차량 주변 이미지 생성 장치의 주요 부분을 도시한 개략도이다. 도 2는 본 발명에 따른 차량 주변 이미지 생성 장치의 블록도이다.
도 1을 참조하여 설명하면, 본 발명에 따른 차량 주변 이미지 생성 장치(100)는 차량(1)에 위치하여 주변(5)을 촬영하는 카메라부(110)로부터 생성된 촬영 이미지를, 상기 카메라부(110)를 시각점으로 투영된 지면 좌표계의 데이터로 변환함으로써 조감도 이미지를 생성하는 조감도 이미지 생성부(120), 상기 조감도 이미지 생성부(120)에 의해 이전 조감도 이미지가 생성된 후, 상기 차량(1)이 이동한 영역을 추출하여 상기 이동한 영역에 대한 조감도인 이동 영역 조감도 이미지를 생성하는 이동 영역 조감도 이미지 생성부(130), 상기 이전 조감도 이미지가 생성된 이후에 촬영되어 생성된 현재 이미지인 이후 조감도 이미지를, 과거 이미지인 이동 영역 조감도 이미지와 합성함으로써 합성 조감도 이미지를 생성하는 합성 조감도 이미지 생성부(140) 및 상기 현재 이미지인 이후 조감도 이미지와, 상기 과거 이미지인 이동 영역 조감도 이미지를 구분하기 위하여 이미지를 보정하여 보정된 합성 조감도 이미지를 생성하는 합성 조감도 이미지 보정부(150)를 포함한다.
또한, 상기 차량(1)에 위치하며, 상기 보정된 합성 조감도 이미지를 디스플레이하는 디스플레이부(160)를 더 포함할 수 있다.
또한, 상기 차량(1)에 적어도 하나 이상의 초음파 센서(170)를 포함하여, 상기 차량 주변의 물체를 감지할 수 있다.
또한, 상기 차량(1)에 스티어링 휠 센서(180)를 포함하여, 상기 차량(1)의 회전 각도를 추출할 수 있다.
이 때, 상기 조감도 이미지 생성부(120), 이동 영역 조감도 이미지 생성부 (130), 합성 조감도 이미지 생성부(140) 및 합성 조감도 이미지 보정부(150)는 본 발명에 따른 차량 주변 이미지 생성 장치(100)의 주요 부분으로서 마이크로 컴퓨터를 포함한, 이미지 데이터의 처리를 수행하기 위한 전자 장치이고, 카메라부(1)와 일체로 구성될 수 있다.
상기 카메라부(110)는 차량(1)에 위치하여 주변(5)을 촬영함으로써 촬영 이미지를 생성하는 기능을 수행한다.
도 1에 도시된 바와 같이, 상기 카메라부(110)는 차량(1)의 후방에 설치되며, 적어도 하나 이상의 카메라(예로, CCD 카메라)를 포함한다.
상기 조감도 이미지 생성부(120)는 상기 카메라부(110)로부터 촬영되어 생성된 촬영 이미지를, 상기 카메라부(110)를 시각점으로 투영된 지면 좌표계의 데이터로 변환함으로써 조감도 이미지를 생성하는 기능을 수행한다.
상기 카메라부(110)에 의해 촬영되어 생성된 촬영 이미지를 조감도 이미지로 변환하는 방법은 후술되는 바와 같이 관련된 기술이 사용될 수 있다. 여기서, 통상의 투시 변환(Perspective conversion)의 역처리를 수행함으로써, 지면상의 이미지(예로 주차 공간 표시)의 위치가 조감도 이미지로 획득된다.
도 3은 본 발명에 따른 차량 주변 이미지 생성 장치에 의해 수행되는 좌표 변환에서의 위치 관계를 도시한 도면이다.
구체적으로, 도 3에 도시된 바와 같이, 지면상의 이미지의 위치 데이터가 카메라부(110)의 위치(R)로부터 초점 거리(f)를 갖는 스크린 평면(T)상으로 투영되는 방식으로 투시 변환이 실행된다.
보다 상세하게 설명하면, 카메라부(110)가 Z-축상의 포인트(R)(0,0,H)에 위치되어, 내려다보는 각도(
Figure PCTKR2015003394-appb-I000001
)로 지면(x-y 좌표 평면)상에 이미지를 모니터링한다고 가정하자. 따라서 여기서는 아래의 수학식 1에 나타난 바와 같이, 스크린 평면(T)상에 2-차원 좌표(α,β)가 지면 평면상의 좌표(조감도 좌표)로 변환(역투시 변환)될 수 있다.
수학식 1
Figure PCTKR2015003394-appb-M000001
즉, 상기 수학식 1을 이용함으로써, 투영된 영상을(조감도 이미지를 보여주는) 상기 디스플레이부(160)의 스크린에 대한 이미지로 변환하여, 이를 디스플레이부(160)상에 디스플레이할 수 있다.
이하, 도 4를 참조하여 본 발명에 따른 차량 주변 이미지 생성 장치의 개념을 설명하도록 한다.
도 4를 참조하여 설명하면, T 시점에서의 차량(200)과, 상기 T 시점에서 일정시간이 지난 후인 T+1 시점에서의 차량(200')이 나타나 있다.
상기 T 시점에서의 차량(200)에서 생성된 조감도 이미지를 이전 조감도 이미지(10)라 하고, 상기 T+1 시점에서의 차량(200')에서 생성된 조감도 이미지를 이후 조감도 이미지(20)라 한다.
이 때, 상기 이전 조감도 이미지(10)와 상기 이후 조감도 이미지(20)는 공통된 영역에 대한 조감도 이미지(30)가 존재한다. 즉, T 시점과, T+1 시점에서 공통적으로 촬영되어 생성된 조감도 이미지이다.
또한, 상기 T+1 시점에서의 차량(200')의 측면에서 바라보면, 상기 이전 조감도 이미지(10) 중, 상기 공통된 영역에 대한 조감도 이미지(30)를 제외한 부분은 과거의 조감도 이미지(40)가 된다.
상기 과거의 조감도 이미지(40)란, T+1 시점에서의 차량(200')의 후방에 있는 카메라부(110) 시야 밖의 대상이다. 즉, 현재 시점인 T+1 시점에서는 촬영되지 않는 대상을 의미한다.
본 발명에 따른 차량 주변 이미지 생성 장치(100)는 상기 T+1 시점에서의 차량(200') 내부의 디스플레이부(160)에 의하여 디스플레이되는 이미지에 상기 과거의 조감도 이미지(40)를 포함하는 것을 전제로 한다. 즉, 카메라부(110)의 현재 시야에 존재하는 이후 조감도 이미지(20)와 상기 과거의 조감도 이미지(40)를 합성하여 디스플레이하는 것이다. 이렇게 합성된 이미지를 합성 조감도 이미지라 한다.
이처럼 합성 조감도 이미지를 디스플레이하는 경우에 있어서, 과거의 조감도이미지(40)와 카메라부(110)의 현재 시야에 존재하는 이후 조감도 이미지(20)인 현재의 이미지를 구분하는 것이 필요하다. 즉, 과거의 이미지는 T 시점에서의 차량(200)의 위치를 기준으로 생성된 이미지이므로, T+1의 시점에서는 신뢰도가 다소 떨어질 수 있기 때문이다.
예를 들어, T 시점에서 출현하지 않은 이동 물체가 T+1 시점에서 출현하였더라도, 디스플레이부(160)상에는 상기 이동 물체가 디스플레이되지 않기 때문에 사고의 위험이 존재한다.
따라서, 운전자가 디스플레이부(160)를 응시함에 있어서, 과거의 이미지와 현재의 이미지를 구분할 수 있어야 하는 것이다.
또한, 상기 과거의 조감도 이미지(40)를 정확하게 추출하기 위해서는 상기 차량이 이동한 영역을 추출하여야 한다. 상기 과거의 조감도 이미지(40)는 상기 차량이 이동한 영역을 추출함으로써 산출되므로 이동 영역 조감도 이미지라 한다.
따라서, 상기 합성 조감도 이미지란, 상기 T 시점에서 촬영되어 이전 조감도 이미지(10)가 생성된 이 후, T+1 시점에서 촬영되어 생성된 이후 조감도 이미지(20)와, 상기 이동 영역 조감도 이미지를 합성한 이미지이다.
이하, 상기 차량이 이동한 영역을 추출하는 방법에 대하여 구체적으로 설명하도록 한다.
상기 이동 영역 조감도 이미지 생성부(130)는 상기 조감도 이미지 생성부(120)에 의해 이전 조감도 이미지가 생성된 후, 상기 차량이 이동한 영역을 추출하여 상기 이동한 영역에 대한 조감도인 이동 영역 조감도 이미지를 생성하는 기능을 수행한다.
구체적으로, 도 4를 참조하면, T 시점에서의 차량(200)의 디스플레이부(160)에는 이전 조감도 이미지(10)가 디스플레이되며, T+1 시점에서의 차량(200')의 디스플레이부(160)에는 과거의 조감도 이미지 차량(200')이 존재하는 경우, 상기 차량(200')의 디스플레이부(160)에는 과거의 조감도 이미지(40)와 이후 조감도 이미지(20)가 함께 디스플레이 된다. 이를 합성 조감도 이미지라 함은 전술한바 있다.
상기 이후 조감도 이미지(20)는 현재의 시점인 T+1 시점에서의 차량(200')에 위치한 카메라부(110)에 의해 촬영된 이미지의 조감도이다.
이처럼, 상기 합성 이미지를 생성하기 위해서는, 과거의 조감도 이미지(40)를 추출하여야 하는데, 이는 상기 이전 조감도 이미지에서 추출된다. 구체적으로, T 시점에서의 차량(200)이 T+1 시점이 되었을 때까지 이동한 영역을 추출하는 것이다. 상기 이동한 영역을 추출하기 위해서는, 상기 이전 조감도 이미지(10)와 상기 이후 조감도 이미지(20)를 대비하여, 상기 이전 조감도 이미지(10)에서, 상기 제 2 조감도와 일치하는 공통 영역을 뺀 영역(40)을 상기 차량이 이동한 영역으로 산정하는 방법이다.
상기 차량이 이동한 영역으로 추정하는 다른 방법으로는, 상기 차량으로부터 제공되는 차량의 속도 및 이동 방향을 포함한 차량의 운행 정보를 기반으로 차량이 이동한 이동한 영역을 추출하는 방법이 있다.
구체적으로, 차량으로부터 제공되는 차량의 속도 및 이동 방향을 포함한 차량의 운행 정보에 기초하여 속도 정보 및 스티어링 휠 정보에 따라 미리 설정된 단위 픽셀수 만큼을 이동한 영역으로 산정하는 것이다.
예를 들어, 차량의 속도가 10Km이고, 스티어링 휠의 각도가 10도인 경우, 픽셀을 주행 방향으로 미리 설정된 단위 픽셀(예를 들면 20픽셀)만큼 이동시키고, 스티어링 휠의 방향에 따라 좌측 또는 우측방향으로 미리 설정된 단위 픽셀(예를 들면, 10픽셀)만큼 이동시키는 방법을 통하여 이동한 영역을 산정하는 것이다.
또한, 상기 차량이 이동한 영역으로 추정하는 다른 방법으로는, 상기 차량에 위치한 휠 스피드 센서를 통하여 생성된, 상기 차량의 좌측 바퀴 및 우측 바퀴에 대한 휠 펄스를 기반으로 차량이 이동한 영역을 추출하는 방법이 있으며, 도 5 내지 도 7을 참조하여 설명하도록 한다.
도 5는 본 발명에 따른 차량 주변 이미지 생성 장치의 일실시예에 의해 생성된 차량의 좌측 후륜에 대한 휠 펄스를 나타낸 도면이다. 도 6은 본 발명에 따른 차량 주변 이미지 생성 장치의 일실시예에 의해 생성된 차량의 우측 후륜에 대한 휠 펄스를 나타낸 도면이다. 도 7은 본 발명에 따른 차량 주변 이미지 생성 장치의 일실시예에 의해 차량이 이동한 영역을 추출하는 방법을 설명하기 위한 도면이다.
상기 휠 스피드 센서는, 차량에 위치하여 상기 차량의 좌측 바퀴 및 우측 바퀴의 움직임에 따라 휠 펄스 신호를 생성하게 된다.
상기 차량의 전륜은, 상기 차량의 후륜과 달리, 회전하도록 구성되어 있으므로, 상기 차량의 이동한 거리를 정확하게 추출함에 있어서는 상기 차량의 후륜을 활용하는 것이 더욱 효과적이다.
따라서, 상기 휠 스피드 센서를 설명함에 있어서 후륜을 중심으로 설명하도록 한다. 다만, 이러한 설명이 상기 휠 스피드 센서에서 후륜 만을 권리범위로 한정하는 것은 아니다.
도 5를 참조하여 설명하면, 상기 차량의 좌측 후륜에 대한 휠 펄스 신호를 시간의 변화에 따라 확인할 수 있다. 이 때, 상기 휠 펄스 신호의 주기마다 1씩 카운트를 하게 되며, 한 주기마다 움직인 거리는 0.0217m이다.
마찬 가지로, 도 6을 참조하여 설명하면, 상기 차량의 우측 후륜에 대한 휠 펄스 신호를 시간의 변화에 따라 확인할 수 있다. 이 때, 상기 휠 펄스 신호의 주기마다 1씩 카운트를 하게 되며, 한 주기마다 움직인 거리는 0.0217m이다.
구체적으로, 도 5 및 도 6을 함께 참조하면, T 시점에서 좌측 후륜에 대한 휠 펄스 신호는 세 번의 주기가 카운트되어 카운트 3의 값을 갖지만, T 시점에서 우측 후륜에 대한 휠 펄스 신호는 다섯 번의 주기가 카운트되어 카운트 5의 값을 갖는다.
즉, 동일 시간 동안 이동한 거리는 우측 후륜이 더 많은 것을 확인할 수 있다. 이는 차량이 후진하는 것을 전제로, 스티어링 휠을 시계 방향으로 회전한 상태로 하여 후진하고 있다는 것으로 판단할 수 있다.
도 5 및 도 6에서 나타난 좌측 후륜 및 우측 후륜에 대한 휠 펄스를 기반으로 차량의 이동 거리를 아래의 수학식 2 내지 4를 이용하여 추출할 수 있다.
수학식 2
Figure PCTKR2015003394-appb-M000002
상기 수학식 2에서 K1은, 내측 후륜의 이동 거리를 의미한다. 예를 들어 차량(1)이 스티어링 휠을 시계 방향으로 회전한 상태로 후진하는 경우에는 우측 후륜이 내측 후륜이 되는 것이고, 차량(1)이 스티어링 휠을 반시계 방향으로 회전한 상태로 후진하는 경우에는 좌측 후륜이 내측 후륜이 되는 것이다.
또한, WPout은, 외측 후륜의 휠 펄스 카운트 값을 의미하고, WPres은, 휠 펄스 신호의 Resolution으로서, 한 주기 신호 당 움직인 거리(0.0217m)를 의미한다. 즉, 상기 WPres은, 상수(0.0217)이며, 상기 휠 스피드 센서의 종류 및 설정에 따라 변할 수 있는 값이다.
또한, t는, 시간을 의미하는데 차량이 이동하기 전을 의미하고,
Figure PCTKR2015003394-appb-I000002
는, 차량이 이동하는 동안 소요되는 시간을 의미한다.
수학식 3
Figure PCTKR2015003394-appb-M000003
상기 수학식 3에서 K2는 외측 후륜의 이동 거리를 의미한다. 예를 들어 차량(1)이 스티어링 휠을 시계 방향으로 회전한 상태로 후진하는 경우에는 좌측 후륜이 외측 후륜이 되는 것이고, 차량(1)이 스티어링 휠을 반시계 방향으로 회전한 상태로 후진하는 경우에는 우측 후륜이 외측 후륜이 되는 것이다.
또한, WPout은, 외측 후륜의 휠 펄스 카운트 값을 의미하고, WPres은, 휠 펄스 신호의 Resolution으로서, 한 주기 신호 당 움직인 거리(0.0217m)를 의미한다. 즉, 상기 WPres은, 상수(0.0217)이며, 상기 휠 스피드 센서의 종류 및 설정에 따라 변할 수 있는 값이다.
또한, t는, 시간을 의미하는데 차량이 이동하기 전을 의미하고,
Figure PCTKR2015003394-appb-I000003
는, 차량이 이동하는 동안 소요되는 시간을 의미한다.
수학식 4
Figure PCTKR2015003394-appb-M000004
상기 수학식 4에서 K는, 차축의 이동거리를 의미한다. 여기서 상기 차축의 이동거리라 함은 차량의 이동 거리와 동일한 의미이다.
또한, K1는 내측 후륜의 이동 거리를 의미하고, K2는 외측 후륜의 이동 거리를 의미한다. 즉, 차량의 이동거리인 차축의 이동거리는, 차량 내측 후륜의 이동거리와, 차량 외측 후륜의 이동거리의 평균 값이 된다.
따라서, 상기 이동 거리 추출부(131)는 상기 수학식 2 내지 4를 통하여 상기 차량(1)의 이동 거리를 추출할 수 있게 된다.
상기 추출된 이동 거리를 활용하여 상기 차량(1)의 화전 반경 및 이동된 위치 좌표를 추출하는 방법에 대하여 설명하도록 한다.
도 7은 본 발명에 따른 차량 주변 이미지 생성 장치의 일실시예에 의해 차량이 이동한 영역을 추출하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 차량(1)의 현재 위치(6)는 좌측 후륜과 우측 후륜의 중간이 되며 이는 차축의 현재 중심 위치와 같은 의미이다. 또한 상기 차량이(1)이 이동한 후의 위치(7)는 이동된 위치에서 차량의 좌측 후륜과 우측 후륜의 중간이 됨을 확인할 수 있다.
상기 좌측 후륜 및 우측 후륜 상호 간의 휠 펄스의 차이를 기반으로, 상기 차량의 회전 반경을 추출하는 방법에 대하여 아래의 수학식 5 내지 8을 이용한다.
수학식 5
Figure PCTKR2015003394-appb-M000005
상기 수학식 5에서, K1는 내측 후륜의 이동 거리를 의미하고, R은 차량의 회전 반경을 의미한다. 구체적으로 차축의 회전 반경을 의미한다.
W는 차폭을 의미한다. 구체적으로 좌측 후륜과 우측 후륜 사이의 거리를 의미한다. 또한,
Figure PCTKR2015003394-appb-I000004
는, t 시간 동안의 차량 각도의 변화량을 의미한다.
수학식 6
Figure PCTKR2015003394-appb-M000006
상기 수학식 6에서, K2는 외측 후륜의 이동 거리를 의미하고, R은 차량의 회전 반경을 의미한다. 구체적으로 차축의 회전 반경을 의미한다.
또한, W는 차폭을 의미하며,
Figure PCTKR2015003394-appb-I000005
는, t 시간 동안의 차량 각도의 변화량을 의미한다.
수학식 7
Figure PCTKR2015003394-appb-M000007
상기 수학식 7에서, K2는 외측 후륜의 이동 거리를 의미하고, K1는 내측 후륜의 이동 거리를 의미한다. 또한, W는 차폭을 의미하며,
Figure PCTKR2015003394-appb-I000006
는, t 시간 동안의 차량 각도의 변화량을 의미한다.
수학식 8
Figure PCTKR2015003394-appb-M000008
상기 수학식 8은 상기 수학식 7을, t 시간 동안의 차량 각도의 변화량인
Figure PCTKR2015003394-appb-I000007
에 관하여 정리한 수학식이다. 즉, 상기 수학식 5에서 구한 K2에서, 상기 수학식 6에서 구한 K1을 뺀 값을, 기정해진 차량의 폭인 W로 나누게 되면 t 시간 동안의 차량 각도의 변화량인
Figure PCTKR2015003394-appb-I000008
를 구할 수 있게 된다.
따라서, K1, K2,
Figure PCTKR2015003394-appb-I000009
및 W 값을 모두 알 수 있게 되었으므로, 상기 수학식 5 또는 수학식 6에 대입하게 되면 차량의 회전 반경인 R 값을 구할 수 있게 된다.
상기 추출된 회전 반경 및 추출된 이동 거리를 기반으로, 상기 차량이 이동한 위치를 추출하는 방법에 대하여는 아래의 수학식 9 내지 17을 이용한다.
수학식 9
Figure PCTKR2015003394-appb-M000009
상기 수학식 9에서 xc(t)는, 회전 중심의 x 좌표의 위치를 의미하고, x(t)는, 차량의 현재 위치인 차축의 현재 중심 위치 중 x 좌표의 위치를 의미한다. 상기 차축의 현재 중심 위치란 좌측 후륜과 우측 후륜의 중간이 됨을 상기 설명한바 있다. 또한,
Figure PCTKR2015003394-appb-I000010
는, 현재 차량의 각도를 의미한다.
수학식 10
Figure PCTKR2015003394-appb-M000010
상기 수학식 10에서 yc(t)는, 회전 중심의 y 좌표의 위치를 의미하고, y(t)는, 차량의 현재 위치인 차축의 현재 중심 위치 중 x 좌표의 위치를 의미한다. 또한,
Figure PCTKR2015003394-appb-I000011
는, 현재 차량의 각도를 의미한다.
수학식 11
Figure PCTKR2015003394-appb-M000011
상기 수학식 11에서
Figure PCTKR2015003394-appb-I000012
는, 회전 중심을 원점으로 하였을 때의 차축의 현재 중심 위치 중 x 좌표의 위치를 의미하고, x(t)는, 차량의 현재 위치인 차축의 현재 중심 위치 중 x 좌표의 위치를 의미한다. 또한,
Figure PCTKR2015003394-appb-I000013
는, 현재 차량의 각도를 의미한다.
수학식 12
Figure PCTKR2015003394-appb-M000012
상기 수학식 12에서
Figure PCTKR2015003394-appb-I000014
는, 회전 중심을 원점으로 하였을 때의 차축의 현재 중심 위치 중 y 좌표의 위치를 의미하고, y(t)는, 차량의 현재 위치인 차축의 현재 중심 위치 중 y 좌표의 위치를 의미한다. 또한,
Figure PCTKR2015003394-appb-I000015
는, 현재 차량의 각도를 의미한다.
수학식 13
Figure PCTKR2015003394-appb-M000013
상기 수학식 13에서
Figure PCTKR2015003394-appb-I000016
는, 회전 중심을 원점으로 하였을 때의 차축의 이동 후의 중심 위치 중 X 좌표의 위치를 의미하고,
Figure PCTKR2015003394-appb-I000017
는, 회전 중심을 원점으로 하였을 때의 차축의 이동 후의 중심 위치 중 y 좌표의 위치를 의미한다.
또한,
Figure PCTKR2015003394-appb-I000018
는, t 시간 동안의 차량 각도의 변화량을 의미하며,
Figure PCTKR2015003394-appb-I000019
는, 회전 중심을 원점으로 하였을 때의 차축의 현재 중심 위치 중 x 좌표의 위치를 의미하고,
Figure PCTKR2015003394-appb-I000020
는, 회전 중심을 원점으로 하였을 때의 차축의 현재 중심 위치 중 y 좌표의 위치를 의미한다. 즉, 상기 수학식 13은
Figure PCTKR2015003394-appb-I000021
만큼 시간이 흐르는 동안 차축이 이동하여, 회전 중심을 원점으로 하였을 때의 이동된 차축의 중심 위치를 산출하는 회전 변환식이다.
수학식 14
Figure PCTKR2015003394-appb-M000014
상기 수학식 14에서,
Figure PCTKR2015003394-appb-I000022
는, 차축의 이동 후의 중심 위치 중 X 좌표의 위치를 의미한다. 즉, 절대적인 위치의 값을 의미하는 것이고, 회전 중심을 원점으로 고려하지 않은 상태의 위치이다. 또한,
Figure PCTKR2015003394-appb-I000023
는, 회전 중심을 원점으로 하였을 때의 차축의 이동 후의 중심 위치 중 X 좌표의 위치를 의미하고, xc(t)는, 회전 중심의 x 좌표의 위치를 의미한다.
수학식 15
Figure PCTKR2015003394-appb-M000015
상기 수학식 15에서,
Figure PCTKR2015003394-appb-I000024
는, 차축의 이동 후의 중심 위치 중 y 좌표의 위치를 의미한다. 즉, 절대적인 위치의 값을 의미하는 것이고, 회전 중심을 원점으로 고려하지 않은 상태의 위치이다. 또한,
Figure PCTKR2015003394-appb-I000025
는, 회전 중심을 원점으로 하였을 때의 차축의 이동 후의 중심 위치 중 y 좌표의 위치를 의미하고, yc(t)는, 회전 중심의 y 좌표의 위치를 의미한다.
수학식 16
Figure PCTKR2015003394-appb-M000016
상기 수학식 16은, 상기 수학식 14에 대하여, 상기 수학식 9 내지 13을 대입하여 정리한 것으로서, 차축의 이동 후의 중심 위치 중 X 좌표의 위치인
Figure PCTKR2015003394-appb-I000026
를 구할 수 있는 최종식이 된다.
수학식 17
Figure PCTKR2015003394-appb-M000017
상기 수학식 17은, 상기 수학식 15에 대하여, 상기 수학식 9 내지 13을 대입하여 정리한 것으로서, 차축의 이동 후의 중심 위치 중 y 좌표의 위치인
Figure PCTKR2015003394-appb-I000027
를 구할 수 있는 최종식이 된다. 따라서 상기 차량이 이동한 영역을 추출할 수 있게 되는 것이다.
상기 합성 조감도 이미지 생성부(140)는, 도 4에 도시된 이전 조감도 이미지(10)가 생성된 이후에 촬영되어 생성된 이후 조감도 이미지(20)를, 상기 이동 영역 조감도 이미지인 과거의 조감도 이미지(40)와 합성하는 기능을 수행한다.
따라서, 운전자는 차량이 후진하여 차량이 T+1 시점(200')에 존재할 때에도, 카메라부(110)에 촬영되지 않는 부분에 대한 조감도 이미지(40)를 볼 수 있게 되는 것이다.
상기 합성 조감도 이미지 보정부(150)는, 현재 이미지인 이후 조감도 이미지와, 과거 이미지인 이동 영역 조감도 이미지를 구분하기 위하여 이미지를 보정하여 보정된 합성 조감도 이미지를 생성하는 기능을 수행한다.
구체적으로, 상기 이동 영역 조감도 이미지 생성부(130)로부터 생성된 이동 영역 조감도 이미지를 보정할 수 있다.
즉, 상기 합성 조감도 이미지 생성부(140)에서 합성 조감도 이미지를 생성하기 전에 상기 과거 이미지인 이동 영역 조감도 이미지를 보정함으로써, 상기 현재 이미지인 이후 조감도 이미지와, 상기 과거 이미지인 이동 영역 조감도 이미지를 구분하는 방법이다. 따라서, 현재 이미지와 과거 이미지가 구분된 상태에서 합성 조감도 이미지 생성부(140)에 의하여 합성 조감도 이미지가 생성된다.
또 다른 방법으로는, 상기 합성 조감도 이미지 생성부(140)로부터 생성된 합성 조감도 이미지를 보정하는 방법을 예로 들 수 있다.
이 경우에는, 상기 합성 조감도 이미지 생성부(140)에 의하여 합성 조감도 이미지가 생성된 이후에, 상기 현재 이미지인 이후 조감도 이미지와, 상기 과거 이미지인 이동 영역 조감도 이미지를 구분하도록 상기 합성 조감도 이미지를 보정하는 방법이다. 따라서, 현재 이미지와 과거 이미지가 구분되지 않은 상태에서 합성 조감도 이미지 생성부(140)에 의하여 합성 조감도 이미지가 생성되면, 상기 합성 조감도 이미지 보정부(150)에 의하여 상기 합성 조감도 이미지를 보정함으로써 상기 현재 이미지와 과거 이미지를 구분할 수 있게 되는 것이다.
도 8은 차량에 위치한 카메라부(110)를 통하여 촬영되어 생성된 촬영 이미지를 디스플레이부(110)가 출력한 화면이다.
도 9는 합성 조감도 이미지로서, 상기 합성 조감도 이미지 보정부(150)에 의하여 보정되기 전의 상태이다.
구체적으로 상기 합성 조감도 이미지에는 상기 차량(200')에 위치한 카메라부(110)의 시야에 존재하는 현재의 조감도 이미지(20)가 존재하고, 상기 카메라부(110)의 시야 밖에 존재하는 과거의 조감도 이미지(40)가 존재한다.
이 경우, 상기 과거의 조감도 이미지(40)는 가상의 이미지이기 때문에, 신뢰도가 다소 떨어진다. 따라서, 과거의 시점에 존재하지 않았던 물체가, 현재 존재하더라도 디스플레이부(160)에서는 디스플레이되지 않는다.
따라서, 상기 과거의 조감도 이미지(40)와 상기 현재의 이미지(20)를 구분하는 것이 상기 합성 조감도 이미지 보정부(150)에서 이루어진다.
도 10은 본 발명에 따른 차량 주변 이미지 생성 장치의 합성 조감도 이미지 보정부의 일실시예이다. 도 11 내지 도 13은 본 발명에 따른 차량 주변 이미지 생성 장치의 일실시예에 따른 디스플레이부의 출력 화면이다.
도 10을 참조하면, 상기 합성 조감도 이미지 보정부(150)는 과거 이미지 영상 처리부(151)와 위험 영역 영상 처리부(152)를 포함한다.
이하, 상기 과거 이미지 영상 처리부(151)에 대하여 구체적으로 설명하도록 한다.
상기 과거 이미지 영상 처리부(151)는, 상기 합성 조감도 이미지에서, 상기 과거 이미지인 이동 영역 조감도 이미지를 검출하여, 상기 과거 이미지인 이동 영역 조감도 이미지를 영상 처리하는 기능을 수행한다.
즉, 상기 합성 조감도 이미지에는, 과거 이미지인 이동 영역 조감도 이미지가 포함되어 있기 때문에, 상기 합성 조감도 이미지에서 상기 과거 이미지인 이동 영역 조감도 이미지를 검출하는 것이 선행된다.
이 때, 상기 과거 이미지 영상 처리부(151)는, 검출된 상기 과거 이미지인 이동 영역 조감도 이미지에 대하여 흑백, Blur, 스케치, 세피아, 네거티브, 엠보스, 모자이크 중 적어도 어느 하나의 처리를 수행할 수 있다.
구체적으로 도 11을 참조하면, 과거의 이미지인 이동 영역 조감도 이미지를 흑백 처리 한 것을 확인할 수 있다.
이처럼, 과거 이미지에 특수 효과를 처리하면, 운전자는 과거 이미지와 현재의 이미지를 구분하는 것이 용이하게 되어 차량 사고를 미연에 방지할 수 있는 장점이 있는 것이다.
또한, 상기 과거 이미지 영상 처리부(151)는, 상기 과거 이미지인 이동 영역 조감도 이미지를, 과거 시점을 기반으로 단계별로 상이하게 흑백, Blur, 스케치, 세피아, 네거티브, 엠보스, 모자이크 중 적어도 어느 하나의 처리를 수행할 수 있다.
예를 들어, 상기 과거 이미지인 이동 영역 조감도 이미지를 과거 시점에 따라서 단계별로 구분한 뒤, 오래 전의 과거에 해당할수록 뿌옇게 처리하거나, 모자이크 처리를 강하게 하는 방법이 있다. 이로써, 운전자는 현재의 이미지와 과거의 이미지를 구분하는 것 이외에도 상기 과거의 이미지를 과거 정도에 따라 단계별로 인지할 수 있게 되는 것이다.
또한, 상기 과거 이미지 영상 처리부(151)는, 상기 합성 조감도 이미지에서, 상기 과거 이미지인 이동 영역 조감도 이미지 중 주차선을 검출하여 상기 주차선을 영상 처리할 수 있다.
구체적으로, 상기 주차선에 대하여 흑백, Blur, 스케치, 세피아, 네거티브, 엠보스, 모자이크 중 적어도 어느 하나의 처리를 수행하는 방법이 있다.
또한, 상기 과거 이미지 영상 처리부(151)는, 상기 과거 이미지인 이동 영역 조감도 이미지 중 상기 주차선 이외의 나머지를 노이즈 처리하여 상기 주차선을 부각시킬 수도 있다.
도 12를 참조하면, 상기 과거 이미지인 이동 영역 조감도 이미지 중에 주차선만을 디스플레이하여 운전자가 주차선을 명확히 인지할 수 있도록 하였으며, 상기 주차선 이외에는 다른 정보가 없다는 것을 알 수 있으므로, 상기 과거 이미지인 이동 영역 조감도 이미지(40)를 신뢰하지 않게 유도할 수 있다.
또 다른 실시예로, 도 13을 참조하면, 상기 과거 이미지인 이동 영역 조감도 이미지(40)에 경고 표시(41)를 추가하는 방법이 있다. 즉, 운전자에게 과거의 이미지임을 명확히 알려줄 수 있게 된다.
또 다른 실시예로, 상기 합성 조감도 이미지에 상기 차량과 시야 각도를 보여주는 V-형 라인을 묘사함으로써, 상기 과거의 조감도 이미지(40)와 상기 현재의 이미지(20)를 구분 하도록 설계할 수 있다.
이하, 상기 위험 영역 영상 처리부(152)에 대하여 구체적으로 설명하도록 한다.
상기 위험 영역 영상 처리부(152)는, 상기 차량의 충돌 가능성에 대응하여, 상기 합성 조감도 이미지를 보정함으로써 상기 합성 조감도 이미지에 위험 영역을 표시하는 기능을 수행한다.
즉, 상기 차량이 다른 물체와 충돌할 우려가 있는지 위험성을 판단하고, 충돌할 위험이 있는 것으로 판단되는 경우에는 상기 합성 조감도 이미지에 별도의 위험 영역을 표시하여 운전자에게 디스플레이함으로써 차량 사고를 미연에 방지할 수 있는 것이다.
도 14를 참조하면, 과거 이미지인 이동 영역 조감도 이미지(40)에는 위험 영역(42)이 표시될 수 있다.
이 때, 상기 차량이 다른 물체와 충돌할 우려가 있는지 판단하는 방법으로는 차량에 위치한 초음파 센서를 이용하는 방법과, 차량에 위치한 스티어링 휠 센서를 이용하는 방법이 있으며, 구체적인 적용 방법은 도 14를 계속 참조하여 후술하도록 한다.
상기 위험 영역 영상 처리부(152)는, 상기 차량에 위치한 적어도 하나 이상의 초음파 센서(170)를 통하여, 감지된 물체(21)와 상기 차량과의 거리에 대응하여, 상기 합성 조감도 이미지를 보정함으로써 상기 합성 조감도 이미지에 존재하는 차량의 전방 또는 측면에 위험 영역(42)을 표시할 수 있다.
구체적으로, 상기 차량에 위치한 적어도 하나 이상의 초음파 센서를 통하여, 감지된 물체와 상기 차량과의 거리에 대응하여, 상기 보정된 합성 조감도 이미지를 생성함으로써 상기 차량의 전방 모서리에서 측면 방향을 따라 상기 차량의 전방 모서리의 가상 회전 영역을 표시하여 위험 영역을 표시할 수 있다.
즉, 상기 차량에 위치한 적어도 하나 이상의 초음파 센서(170)가 상기 차량의 주변에 존재하는 물체(21)를 감지하게 되면, 상기 차량이 상기 물체(21)와 충돌될 가능성이 있는 것으로 판단한다. 물론, 상기 차량과 상기 물체(21)와의 거리가 가까울수록 충돌 가능성은 높아진다.
이 때, 상기 합성 조감도 이미지를 보정하여, 상기 합성 조감도 이미지의 차량 전방 또는 측면에 위험 영역(42)을 표시함으로써, 운전자에게 위험성을 알려주는 기능을 하는 것이다.
즉, 종래 기술로는 카메라부(110)의 시야에 존재하는 이미지(예로, 차량 후방)에만, 위험 영역을 표시하였으나, 본 발명의 실시예에 의하면, 상기 카메라부(110)의 시야 밖에 존재하는 합성 조감도 이미지의 차량 전방 또는 측면에 위험 영역을 표시함으로써 운전자에게 위험성을 알려줄 수 있게 되는 것이다.
상기 위험 영역(42)을 표시하는 또 다른 실시예로, 상기 차량의 전방에서부터 우측편으로 연계되도록 위험 영역(42)을 표시할 수도 있으며, 상기 차량의 전방에서부터 좌측편으로 연계되도록 위험 영역을 표시할 수 있다.
구체적으로, 상기 초음파 센서(170)를 통하여 감지된 물체(21)와 상기 차량이 가까이 있다면, 상기 위험 영역을 표시할 때 더 큰 이미지를 사용한다거나, 더욱 진한 칼라의 이미지를 활용함으로써 운전자가 더 쉽게 인지할 수 있도록 유도할 수 있다.
반대로, 상기 초음파 센서(170)를 통하여 감지된 물체(21)와 상기 차량이 일정 거리 이상 떨어져 있어서, 상기 차량의 충돌 가능성이 낮아진 경우에는 상기 위험 영역을 표시할 때, 더 작은 이미지를 사용한다거나, 더욱 옅은 칼라의 이미지를 활용할 수 있다.
상기 초음파 센서(170)에서 감지된 물체(21)와 상기 차량의 거리는 상기 차량이 이동됨에 따라 변경되기 때문에, 상기 위험 영역(42)의 표시는 실시간으로 변경될 수 있도록 설계할 수 있다.
예를 들어, 상기 차량이 상기 감지된 물체(21)를 향하여 접근 중인 경우 상기 위험 영역(42)의 표시는 상기 차량과 상기 감지된 물체(21)의 거리에 대응하여 실시간 변경될 수 있도록 하는 것이다.
또한, 상기 위험 영역 영상 처리부(152)는, 상기 차량에 위치한 스티어링 휠 센서(180)를 통하여 상기 차량의 회전 각도를 추출하고, 상기 차량의 회전 각도에 대응하여 상기 합성 조감도 이미지를 보정함으로써 상기 합성 조감도 이미지의 차량 전방 또는 측면에 위험 영역(42)을 표시할 수 있다.
보다 구체적으로, 상기 차량에 위치한 스티어링 휠 센서를 통하여 상기 차량의 회전 각도를 추출하고, 상기 차량의 회전 각도에 대응하여 상기 보정된 합성 조감도 이미지를 생성함으로써 상기 차량의 전방 모서리에서 측면 방향을 따라 상기 차량의 전방 모서리의 가상 회전 영역을 표시하여 위험 영역을 표시할 수 있다.
즉, 종래 기술로는 카메라부(110)의 시야에 존재하는 이미지(예로, 차량 후방)에만, 위험 영역을 표시하였으나, 본 발명의 실시예에 의하면, 상기 카메라부(110)의 시야 밖에 존재하는 합성 조감도 이미지의 차량 전방 또는 측면에 위험 영역을 표시함으로써 운전자에게 위험성을 알려줄 수 있게 되는 것이다.
구체적으로, 상기 차량에 위치한 스티어링 휠 센서(180)를 통하여 상기 차량의 스티어링 휠이 회전하는 각도를 추출하고, 상기 스티어링 휠(4)이 회전하는 각도에 따라 상기 차량의 회전 각도를 추출한 후, 상기 차량의 회전 각도를 고려하여, 상기 차량의 충돌 위험성을 판단하게 된다.
상기 차량의 충돌 위험성이란, 상기 차량의 회전 각도를 고려하여 판단하게 되는 것이다.
도 14를 계속하여 참조하면, 차량에 탑승한 운전자가 스티어링 휠(4)을 반시계 방향으로 회전하여 후진하는 경우, 상기 스티어링 휠 센서(180)를 통하여 차량의 회전 각도를 추출함으로써, 차량의 우측 편에 위험 영역(42)을 표시하게 되는 것이다.
반대로, 차량에 탑승한 운전자가 스티어링 휠(4)을 시계 방향으로 회전하여 후진하는 경우, 상기 스티어링 휠 센서(180)를 통하여 차량의 회전 각도를 추출함으로써, 차량의 좌측 편에 위험 영역을 표시할 것이다.
또한, 상기 운전자가, 스티어링 휠(4)의 방향을 바꾸거나, 상기 스티어링 휠(4)의 각도를 변경하는 경우에는, 실시간으로 표시된 위험 영역(42)이 변경되도록 설계할 수 있다. 아울러, 차량의 진행 방향에 따라서 표시된 위험 영역(42)이 변경될 수도 있다.
예를 들어, 차량이 차량에 탑승한 운전자가 스티어링 휠(4)을 반시계 방향으로 회전하여 후진하는 경우, 차량의 전방 또는 우측 편에 위험 영역(42)을 표시하게 되지만, 이 때, 상기 차량이 진행 방향을 바꾸어 전진하는 경우에는 상기 표시된 위험 영역(42)을 제거할 수 있는 것이다.
상기 위험 영역(42)을 표시하는 또 다른 실시예로, 상기 차량의 전방에서부터 우측편으로 연계되도록 위험 영역(42)을 표시할 수도 있으며, 상기 차량의 전방에서부터 좌측편으로 연계되도록 위험 영역을 표시할 수 있다.
도 15 내지 도 16을 참조하여 상기 스티어링 휠 센서를 통하여 차량의 회전각도를 추출하는 동작 원리에 대하여 설명하도록 한다. 도 15는 차량의 스티어링 휠 센서를 설명하기 위한 도면이다. 도 16은 차량의 좌측 전륜 및 우측 전륜 각각의 회전 각도를 설명하기 위한 도면이다.
도 15를 참조하면, 차량(1)의 스티어링 휠(4)의 최대 각도를 확인할 수 있다. 구체적으로, 반시계 방향으로 535도(즉, -535도), 시계 방향으로 535도까지 회전이 가능하다. 상기 스티어링 휠(4)의 각도를 감지하기 위해서는, 상기 차량(1)에 위치한 스티어링 휠 센서가 활용된다.
도 16을 참조하면, 차량의 좌측 전륜(2) 및 우측 전륜(2')의 각도를 확인할 수 있다. 이 때, 외측 최대 각도(
Figure PCTKR2015003394-appb-I000028
)는 33도이며, 내측 최대 각도(
Figure PCTKR2015003394-appb-I000029
)는 39도이다. 다만, 차량(1)의 종류 및 기술 발전에 따라 상기 외측 최대 각도 및 내측 최대 각도는 변할 수 있다.
구체적으로, 상기 스티어링 휠 센서(180)를 통하여 상기 차량의 스티어링 휠(4)의 회전 각도를 감지하고, 상기 스티어링 휠(4)의 회전 각도를 기반으로, 상기 차량의 좌측 전륜(2) 및 우측 전륜(2') 각각의 회전 각도를 산출할 수 있다.
즉, 상기 스티어링 휠(4)의 각도를 감지한 후에, 감지된 스티어링 휠(4)의 각도를 기초로 하여 상기 차량(1)의 전륜(2,2')의 각도를 산출할 수 있다.
상기 차량(1)의 전륜(2,2')의 각도를 산출하는 구체적인 방법은 아래의 수학식을 이용한다.
수학식 18
Figure PCTKR2015003394-appb-M000018
수학식 19
Figure PCTKR2015003394-appb-M000019
상기 수학식 18 및 19에서
Figure PCTKR2015003394-appb-I000030
(out)는, 회전하는 차량(1)의 전륜 외측의 각도이며,
Figure PCTKR2015003394-appb-I000031
(in)는, 회전하는 차량(1)의 전륜 내측의 각도이다. 또한,
Figure PCTKR2015003394-appb-I000032
는, 외측 최대 각도로서 33도이며,
Figure PCTKR2015003394-appb-I000033
는 내측 최대 각도로서 39도이다.
구체적으로, 상기 차량(1)이 상기 스티어링 휠을(4) 시계 방향으로 회전하여 후진하는 경우에는 좌측 전륜(2)에서 내측의 각도를 산출하고, 우측 전륜(2')에서 외측 각도를 산출하게 되며, 상기 차량(1)이 상기 스티어링 휠(4)을 반시계 방향으로 회전하여 후진하는 경우에는 우측 전륜(2')에서 내측의 각도를 산출하고, 좌측 전륜(2)에서 외측 각도를 산출하게 되는 것이다.
또한,
Figure PCTKR2015003394-appb-I000034
는, 상기 스티어링 휠 센서(180)로부터 획득한 값을 의미하므로 -535도 ~ 535도의 범위를 갖는다.
따라서, 상기 스티어링 휠 센서(180)는 상기 차량의 회전 각도를 산출할 수 있게 된다.
이하, 본 발명에 따른 차량 주변 이미지 생성 방법에 대하여 설명하도록 한다. 상기 본 발명에 따른 차량 주변 이미지 생성 장치와 중복되는 설명은 생략하도록 한다.
도 17은 본 발명에 따른 차량 주변 이미지 생성 방법의 흐름도이다.
도 17을 참조하면, 본 발명에 따른 차량 주변 이미지 생성 방법은 차량에 위치한 카메라부를 통하여 주변을 촬영함으로써 촬영 이미지를 생성하는 단계(S100), 상기 촬영 이미지를, 상기 카메라부를 시각점으로 투영된 지면 좌표계의 데이터로 변환함으로써 조감도 이미지를 생성하는 단계(S110), 상기 조감도 이미지를 생성하는 단계에서 이전 조감도 이미지가 생성된 후, 상기 차량이 이동한 영역을 추출하여 상기 이동한 영역에 대한 조감도인 이동 영역 조감도 이미지를 생성하는 단계(S120), 상기 이전 조감도 이미지가 생성된 이후에 촬영되어 생성된 현재 이미지인 이후 조감도 이미지를, 과거 이미지인 이동 영역 조감도 이미지와 합성함으로써 합성 조감도 이미지를 생성하는 단계(S130) 및 상기 현재 이미지인 이후 조감도 이미지와, 상기 과거 이미지인 이동 영역 조감도 이미지를 구분하기 위하여 상기 합성 조감도 이미지를 보정하여 보정된 합성 조감도 이미지를 생성하는 단계(S140)를 포함한다.
이 때, 상기 보정된 합성 조감도 이미지를 생성하는 단계(S140) 이후에, 상기 차량에 위치한 디스플레이부를 통하여, 상기 보정된 합성 조감도 이미지를 디스플레이하는 단계(S150)를 더 포함할 수 있다.
이상에서와 같이 본 발명에 따른 차량 주변 이미지 생성 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (20)

  1. 차량에 위치하여 주변을 촬영하는 카메라부로부터 생성된 촬영 이미지를 상기 카메라부를 시각점으로 투영된 지면 좌표계의 데이터로 변환함으로써, 조감도 이미지를 생성하는 조감도 이미지 생성부;
    상기 조감도 이미지 생성부에 의해 이전 조감도 이미지가 생성된 후, 상기 차량이 이동한 영역을 추출하여 상기 이동한 영역에 대한 조감도인 이동 영역 조감도 이미지를 생성하는 이동 영역 조감도 이미지 생성부;
    상기 이전 조감도 이미지가 생성된 이후에 촬영되어 생성된 현재 이미지인 이후 조감도 이미지를 과거 이미지인 이동 영역 조감도 이미지와 합성함으로써, 합성 조감도 이미지를 생성하는 합성 조감도 이미지 생성부; 및
    상기 현재 이미지인 이후 조감도 이미지와, 상기 과거 이미지인 이동 영역 조감도 이미지를 구분하기 위하여 이미지를 보정하여 보정된 합성 조감도 이미지를 생성하는 합성 조감도 이미지 보정부를 포함하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  2. 청구항 1에 있어서,
    상기 이동 영역 조감도 이미지 생성부는,
    상기 차량에 위치한 휠 스피드 센서를 통하여 생성된, 상기 차량의 좌측 바퀴 및 우측 바퀴에 대한 휠 펄스를 기반으로 차량이 이동한 영역을 추출하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  3. 청구항 1에 있어서,
    상기 합성 조감도 이미지 보정부는,
    상기 과거 이미지인 이동 영역 조감도 이미지를 영상 처리하는 과거 이미지 영상 처리부를 포함하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  4. 청구항 3에 있어서,
    상기 과거 이미지 영상 처리부는,
    상기 과거 이미지인 이동 영역 조감도 이미지에 대하여 색상 조정, 흑백, Blur, 스케치, 세피아, 네거티브, 엠보스, 모자이크 중 적어도 하나의 처리를 수행하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  5. 청구항 3에 있어서,
    상기 과거 이미지 영상 처리부는,
    상기 과거 이미지인 이동 영역 조감도 이미지를, 과거 시점을 기반으로 단계별로 상이하게 영상 처리를 수행하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  6. 청구항 3에 있어서,
    상기 과거 이미지 영상 처리부는,
    상기 합성 조감도 이미지에서, 상기 과거 이미지인 이동 영역 조감도 이미지 중 주차선을 검출하여 상기 주차선을 영상 처리하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  7. 청구항 3에 있어서,
    상기 과거 이미지 영상 처리부는,
    상기 합성 조감도 이미지에서, 상기 과거 이미지인 이동 영역 조감도 이미지중 주차선을 검출하여 상기 주차선 이외의 나머지를 영상 처리하여 상기 주차선을 부각시키는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  8. 청구항 1에 있어서,
    상기 합성 조감도 이미지 보정부는,
    상기 차량의 충돌 가능성에 대응하여, 상기 합성 조감도 이미지에 위험 영역을 표시하는 위험 영역 영상 처리부를 포함하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  9. 청구항 8에 있어서,
    상기 위험 영역 영상 처리부는,
    상기 차량에 위치한 적어도 하나의 초음파 센서를 통하여, 감지된 물체와 상기 차량과의 거리에 대응하여, 상기 합성 조감도 이미지를 보정함으로써 상기 차량의 전방 모서리에서 측면 방향을 따라 상기 차량의 전방 모서리의 가상 회전 영역을 표시하여 위험 영역을 표시하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  10. 청구항 8에 있어서,
    상기 위험 영역 영상 처리부는,
    상기 차량에 위치한 스티어링 휠 센서를 통하여 상기 차량의 회전 각도를 추출하고, 상기 차량의 회전 각도에 대응하여 상기 합성 조감도 이미지를 보정함으로써 상기 차량의 전방 모서리에서 측면 방향을 따라 상기 차량의 전방 모서리의 가상 회전 영역을 표시하여 위험 영역을 표시하는 것을 특징으로 하는 차량 주변 이미지 생성 장치.
  11. 조감도 이미지 생성부에 의하여 차량에 위치하여 주변을 촬영하는 카메라부로부터 생성된 촬영 이미지를 상기 카메라부를 시각점으로 투영된 지면 좌표계의 데이터로 변환함으로써, 조감도 이미지를 생성하는 단계;
    이동 영역 조감도 이미지 생성부에 의하여 상기 조감도 이미지를 생성하는 단계에서 이전 조감도 이미지가 생성된 후, 상기 차량이 이동한 영역을 추출하여 상기 이동한 영역에 대한 조감도인 이동 영역 조감도 이미지를 생성하는 단계;
    합성 조감도 이미지 생성부에 의하여 상기 이전 조감도 이미지가 생성된 이후에 촬영되어 생성된 현재 이미지인 이후 조감도 이미지를, 과거 이미지인 이동 영역 조감도 이미지와 합성함으로써 합성 조감도 이미지를 생성하는 단계; 및
    합성 조감도 이미지 보정부에 의하여 상기 현재 이미지인 이후 조감도 이미지와, 상기 과거 이미지인 이동 영역 조감도 이미지를 구분하기 위하여 이미지를 보정하여 보정된 합성 조감도 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
  12. 청구항 11에 있어서,
    상기 이동 영역 조감도 이미지를 생성하는 단계는,
    상기 차량에 위치한 휠 스피드 센서를 통하여 생성된, 상기 차량의 좌측 바퀴 및 우측 바퀴에 대한 휠 펄스를 기반으로 차량이 이동한 영역을 추출하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
  13. 청구항 11에 있어서,
    상기 보정된 합성 조감도 이미지를 생성하는 단계는,
    상기 합성 조감도 이미지에서, 상기 과거 이미지인 이동 영역 조감도 이미지를 영상 처리하는 단계를 포함하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
  14. 청구항 13에 있어서,
    상기 과거 이미지인 이동 영역 조감도 이미지를 영상 처리하는 단계는,
    상기 과거 이미지인 이동 영역 조감도 이미지에 대하여 색상 조정, 흑백, Blur, 스케치, 세피아, 네거티브, 엠보스, 모자이크 중 적어도 하나의 처리를 수행하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
  15. 청구항 13에 있어서,
    상기 과거 이미지인 이동 영역 조감도 이미지를 영상 처리하는 단계는,
    상기 과거 이미지인 이동 영역 조감도 이미지를, 과거 시점을 기반으로 단계별로 상이하게 영상 처리를 수행하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
  16. 청구항 13에 있어서,
    상기 과거 이미지인 이동 영역 조감도 이미지를 영상 처리하는 단계는,
    상기 합성 조감도 이미지에서, 상기 과거 이미지인 이동 영역 조감도 이미지 중 주차선을 검출하여 상기 주차선을 영상 처리하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
  17. 청구항 13에 있어서,
    상기 과거 이미지인 이동 영역 조감도 이미지를 영상 처리하는 단계는,
    상기 합성 조감도 이미지에서, 상기 과거 이미지인 이동 영역 조감도 이미지중 주차선을 검출하여 상기 주차선 이외의 나머지를 영상 처리하여 상기 주차선을 부각시키는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
  18. 청구항 11에 있어서,
    상기 보정된 합성 조감도 이미지를 생성하는 단계는,
    상기 차량의 충돌 가능성에 대응하여, 상기 합성 조감도 이미지에 위험 영역을 표시하는 단계를 포함하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
  19. 청구항 18에 있어서,
    상기 위험 영역을 표시하는 단계는,
    상기 차량에 위치한 적어도 하나 이상의 초음파 센서를 통하여, 감지된 물체와 상기 차량과의 거리에 대응하여, 상기 보정된 합성 조감도 이미지를 생성함으로써 상기 차량의 전방 모서리에서 측면 방향을 따라 상기 차량의 전방 모서리의 가상 회전 영역을 표시하여 위험 영역을 표시하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
  20. 청구항 18에 있어서,
    상기 위험 영역을 표시하는 단계는,
    상기 차량에 위치한 스티어링 휠 센서를 통하여 상기 차량의 회전 각도를 추출하고, 상기 차량의 회전 각도에 대응하여 상기 보정된 합성 조감도 이미지를 생성함으로써 상기 차량의 전방 모서리에서 측면 방향을 따라 상기 차량의 전방 모서리의 가상 회전 영역을 표시하여 위험 영역을 표시하는 것을 특징으로 하는 차량 주변 이미지 생성 방법.
PCT/KR2015/003394 2014-04-04 2015-04-03 차량 주변 이미지 생성 장치 및 방법 WO2015152691A2 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US15/277,050 US20170144599A1 (en) 2014-04-04 2015-04-03 Apparatus and method for generating image around vehicle
MX2016012999A MX2016012999A (es) 2014-04-04 2015-04-03 Aparato y metodo para la generacion de una imagen periferica de un vehiculo.
JP2016560769A JP2017520133A (ja) 2014-04-04 2015-04-03 車両周辺イメージ生成装置および方法
EP15772355.2A EP3128738A4 (en) 2014-04-04 2015-04-03 Apparatus and method for generating image around vehicle
CN201580025702.8A CN107079081A (zh) 2014-04-04 2015-04-03 车辆周边图像生成装置及方法
BR112016023013A BR112016023013A2 (pt) 2014-04-04 2015-04-03 aparelho e método para geração de imagem periférica de veículo

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0040633 2014-04-04
KR1020140040633A KR101611194B1 (ko) 2014-04-04 2014-04-04 차량 주변 이미지 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
WO2015152691A2 true WO2015152691A2 (ko) 2015-10-08
WO2015152691A3 WO2015152691A3 (ko) 2017-02-02

Family

ID=54241408

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/003394 WO2015152691A2 (ko) 2014-04-04 2015-04-03 차량 주변 이미지 생성 장치 및 방법

Country Status (8)

Country Link
US (1) US20170144599A1 (ko)
EP (1) EP3128738A4 (ko)
JP (1) JP2017520133A (ko)
KR (1) KR101611194B1 (ko)
CN (1) CN107079081A (ko)
BR (1) BR112016023013A2 (ko)
MX (1) MX2016012999A (ko)
WO (1) WO2015152691A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2550265A (en) * 2016-03-24 2017-11-15 Ford Global Tech Llc System and method for generating a hybrid camera view in a vehicle

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10026450B2 (en) * 2015-03-31 2018-07-17 Jaguar Land Rover Limited Content processing and distribution system and method
CN106080390A (zh) * 2016-06-07 2016-11-09 深圳市灵动飞扬科技有限公司 车辆行进全景系统及其方法
JP6642306B2 (ja) * 2016-06-29 2020-02-05 アイシン精機株式会社 周辺監視装置
US10150414B2 (en) * 2016-07-08 2018-12-11 Ford Global Technologies, Llc Pedestrian detection when a vehicle is reversing
KR101949961B1 (ko) * 2016-11-15 2019-02-21 주식회사 와이즈오토모티브 운전 보조 장치 및 방법
KR20180062820A (ko) * 2016-12-01 2018-06-11 주식회사 와이즈오토모티브 차량의 운전 보조 장치 및 방법
JP6743732B2 (ja) * 2017-03-14 2020-08-19 トヨタ自動車株式会社 画像記録システム、画像記録方法、画像記録プログラム
US10654570B2 (en) 2017-06-05 2020-05-19 International Business Machines Corporation Vehicular alert system
KR102057216B1 (ko) 2017-10-30 2019-12-18 주식회사 케이티앤지 에어로졸 생성 장치 및 에어로졸 생성 장치용 히터 조립체
CN107945575A (zh) * 2017-11-20 2018-04-20 深圳市中通视际实业有限公司 一种车辆监控装置及其方法
CN108961838B (zh) * 2018-08-16 2020-09-22 大连民族大学 道路行人分类系统
CN108985271B (zh) * 2018-08-16 2021-10-08 大连民族大学 磁力模型的感兴趣行人判定方法
CN109375620B (zh) * 2018-10-12 2020-06-02 深圳市今天国际智能机器人有限公司 利用单个光电传感器控制舵轮返回原点的方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080024772A (ko) 2006-09-14 2008-03-19 주식회사 만도 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3275668B2 (ja) * 1995-11-21 2002-04-15 三菱電機株式会社 映像監視システム
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
US6476730B2 (en) * 2000-02-29 2002-11-05 Aisin Seiki Kabushiki Kaisha Assistant apparatus and method for a vehicle in reverse motion
JP3882517B2 (ja) * 2001-03-21 2007-02-21 日産自動車株式会社 駐車位置設定装置
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP3886376B2 (ja) * 2001-12-26 2007-02-28 株式会社デンソー 車両周辺監視システム
JP4020071B2 (ja) * 2003-12-10 2007-12-12 日産自動車株式会社 周囲状況表示装置
JP2007088577A (ja) * 2005-09-20 2007-04-05 Denso Corp 車両周辺画像処理システム
JP4321543B2 (ja) * 2006-04-12 2009-08-26 トヨタ自動車株式会社 車両周辺監視装置
JP2007102798A (ja) * 2006-10-11 2007-04-19 Denso Corp 車両周辺監視システム
KR101393918B1 (ko) * 2008-07-08 2014-05-13 현대자동차주식회사 차량 전방위 감시 시스템
JP4914458B2 (ja) * 2009-02-12 2012-04-11 株式会社日本自動車部品総合研究所 車両周辺表示装置
US20100259371A1 (en) * 2009-04-10 2010-10-14 Jui-Hung Wu Bird-View Parking Aid Apparatus with Ultrasonic Obstacle Marking and Method of Maneuvering the same
JP5284206B2 (ja) * 2009-07-10 2013-09-11 三菱電機株式会社 運転支援装置およびナビゲーション装置
KR101071666B1 (ko) * 2010-03-02 2011-10-11 (주) 엔네비솔루션 회전각 센서를 이용한 주차 유도 시스템 및 방법
JP5691339B2 (ja) * 2010-09-21 2015-04-01 アイシン精機株式会社 運転支援装置
KR101295618B1 (ko) * 2011-12-09 2013-08-12 주식회사 와이즈오토모티브 사각 지대 표시 장치 및 방법
JP5853457B2 (ja) * 2011-07-20 2016-02-09 アイシン精機株式会社 車両周辺監視システム
JP5790335B2 (ja) * 2011-09-01 2015-10-07 株式会社デンソー 車両周辺画像表示制御装置
JP2014036326A (ja) * 2012-08-08 2014-02-24 Honda Motor Co Ltd 俯瞰画像表示装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080024772A (ko) 2006-09-14 2008-03-19 주식회사 만도 조감도를 이용한 주차구획 인식 방법, 장치 및 그를 이용한주차 보조 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2550265A (en) * 2016-03-24 2017-11-15 Ford Global Tech Llc System and method for generating a hybrid camera view in a vehicle
US10576892B2 (en) 2016-03-24 2020-03-03 Ford Global Technologies, Llc System and method for generating a hybrid camera view in a vehicle

Also Published As

Publication number Publication date
KR20150115488A (ko) 2015-10-14
CN107079081A (zh) 2017-08-18
WO2015152691A3 (ko) 2017-02-02
MX2016012999A (es) 2017-10-12
JP2017520133A (ja) 2017-07-20
EP3128738A2 (en) 2017-02-08
US20170144599A1 (en) 2017-05-25
BR112016023013A2 (pt) 2017-10-10
EP3128738A4 (en) 2017-06-28
KR101611194B1 (ko) 2016-04-11

Similar Documents

Publication Publication Date Title
WO2015152691A2 (ko) 차량 주변 이미지 생성 장치 및 방법
WO2015152692A1 (ko) 차량 주변 이미지 생성 장치 및 방법
WO2020071839A1 (ko) 선박 및 항만 모니터링 장치 및 방법
WO2019172725A1 (en) Method and apparatus for performing depth estimation of object
WO2019054636A1 (ko) 차량용 카메라 캘리브레이션 장치 및 그 방법
WO2018012674A1 (en) Driver assistance apparatus and vehicle having the same
WO2012064106A2 (en) Method and apparatus for video stabilization by compensating for view direction of camera
WO2015099465A1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
WO2015088289A1 (ko) 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
WO2016145602A1 (en) Apparatus and method for focal length adjustment and depth map determination
WO2015093828A1 (ko) 스테레오 카메라 및 이를 구비한 차량
WO2020101420A1 (ko) 증강현실 기기의 광학 특성 측정 방법 및 장치
WO2018103187A1 (zh) 监控装置的监控画面形成方法和系统
WO2021141338A1 (ko) 선박 및 항만 모니터링 장치 및 방법
WO2015093823A1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
WO2017090833A1 (en) Photographing device and method of controlling the same
WO2015099463A1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
WO2019004530A1 (ko) 영상에서 처리 대상 객체를 제거하는 방법 및 이러한 방법을 수행하는 장치
WO2015093905A1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
WO2021246758A1 (ko) 전자 장치 및 그 동작 방법
WO2020145744A1 (ko) 카메라 장치 및 이를 구비하는 전자 장치
WO2021230559A1 (ko) 전자 장치 및 그 동작 방법
WO2017146314A1 (ko) 디스플레이 패널과 무안경 다시점 렌티큘러시트를 통한 홀로그램 출력방법과 렌티큘러시트가 부착된 두 개의 디스플레이 패널을 통한 3차원 영상 생성방법 및 출력방법
WO2022103121A1 (en) Electronic device for estimating camera illuminant and method of the same
WO2017155365A1 (en) Electronic apparatus for providing panorama image and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15772355

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 15277050

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2016560769

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015772355

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015772355

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: MX/A/2016/012999

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112016023013

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112016023013

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20161003