WO2017217788A2 - 차량 운전 보조 장치 및 방법 - Google Patents

차량 운전 보조 장치 및 방법 Download PDF

Info

Publication number
WO2017217788A2
WO2017217788A2 PCT/KR2017/006258 KR2017006258W WO2017217788A2 WO 2017217788 A2 WO2017217788 A2 WO 2017217788A2 KR 2017006258 W KR2017006258 W KR 2017006258W WO 2017217788 A2 WO2017217788 A2 WO 2017217788A2
Authority
WO
WIPO (PCT)
Prior art keywords
bird
eye view
view image
vehicle
image
Prior art date
Application number
PCT/KR2017/006258
Other languages
English (en)
French (fr)
Other versions
WO2017217788A3 (ko
Inventor
류춘우
박재홍
Original Assignee
주식회사 와이즈오토모티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이즈오토모티브 filed Critical 주식회사 와이즈오토모티브
Publication of WO2017217788A2 publication Critical patent/WO2017217788A2/ko
Publication of WO2017217788A3 publication Critical patent/WO2017217788A3/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Definitions

  • the present invention relates to an apparatus and method for driving a vehicle, and more particularly, to an apparatus and a method capable of supporting driving of a vehicle by providing a camera image and a bird's eye view image.
  • a vehicle is a device for driving a road or the like and performing various tasks by driving a road, etc. using a prime mover such as an engine mounted on a vehicle body, and the driver of the vehicle drives the vehicle safely while watching the driving direction. .
  • a display apparatus for outputting an image from a camera installed at the rear or front of the vehicle as it is on a monitor or converting the image to output a bird's eye view image of the periphery of the vehicle is known.
  • this method requires at least four cameras for generating a bird's eye view image, and a relatively expensive camera such as a wide-angle camera is required to reduce the number of cameras.
  • a technology for generating a bird's eye view exists by attaching one camera to a vehicle and synthesizing images captured by a single camera.
  • this technology not only the load is high but also distortion occurs in the parking line during the image synthesis process due to the image synthesis process and the bird's eye image conversion process.
  • Vehicle driving assistance apparatus for solving the above problems is applied to a vehicle equipped with a camera and a display, a vehicle driving assistance device for assisting the driving of the vehicle, the camera photographed through the camera
  • a vehicle driving assistance device for assisting the driving of the vehicle, the camera photographed through the camera
  • the bird's eye view image generation unit generates a bird's eye view image of the camera image using the image
  • a screen generation unit that generates an output screen including a bird's eye view image area including at least a portion of the bird's eye view image, and a bird's eye view image replacement condition
  • An image selector for selecting a new bird's-eye view image of one of a plurality of bird's-eye view images generated by the bird's-eye view image generator after generating a bird's-eye view image included in the bird's-eye view image area
  • the screen generation unit selects the bird's-eye view image by the image selector Bridge with new bird's eye image To generate an output screen.
  • the image selector selects a new bird's eye view image of one of a plurality of bird's eye view images generated before the time of generation of the bird's eye view image included in the bird's eye view image area. Can be.
  • the image selector may include a plurality of images generated before the time of generation of the bird's eye view image included in the bird's eye view image area when the vehicle's traveling direction is changed from the forward direction to the reverse direction or the reverse direction to the forward direction, when the bird's eye view image replacement condition is satisfied.
  • One of the bird's eye images may select a new bird's eye image.
  • the image selector may determine that the bird's eye view image replacement condition is satisfied when the moving distance of the vehicle is greater than or equal to the threshold replacement moving distance.
  • the screen generating unit may generate another part of the bird's eye view image as the bird's eye view image area corresponding to the moving distance of the vehicle.
  • the image selector may select the bird's-eye view image generated when the moving distance of the vehicle is less than the threshold replacement moving distance as the new bird's-eye view image.
  • the vehicle driving assistance apparatus may further include a motion calculator configured to calculate a moving distance of the vehicle based on a detection signal through a sensor mounted in the vehicle.
  • the output screen may further include a real-time image area, and the screen generator may display the camera image photographed through the camera in the real-time image area in real time.
  • the bird's eye view image area and the real-time image area may be separately disposed on the output screen.
  • the output screen includes a first bird's eye view image area and a second bird's eye view image area, wherein the first bird's eye view image area includes at least a portion of the bird's eye view image selected through the image selection unit, and the second bird's eye view image area includes a bird's eye view image generator. At least a portion of a recently generated bird's eye view image may be included.
  • the peripheral area of the vehicle is represented in the output screen through the first aerial view image area and the second aerial view image area, and the first aerial view image area and the second aerial view image area are disposed separately in the output screen, and different parts of the peripheral area You can output
  • Vehicle driving assistance method for solving the above problems is applied to a vehicle equipped with a camera and a display unit, a vehicle driving assistance method for supporting the parking of the vehicle, the camera photographed through the camera Generating a bird's eye view image of the camera image using the image, generating an output screen including a bird's eye view image area displaying at least a portion of the bird's eye view image, determining whether the bird's eye view image replacement condition is satisfied, and the bird's eye view image If the replacement condition is satisfied, selecting a new bird's-eye view image of one of the plurality of bird's-eye view images generated by the bird's-eye view image generating unit after the generation of the bird's-eye view image included in the bird's-eye view image area, and generating an output screen Steps to Selecting an Aerial Image Image That is to replace it with a new bird's eye view image can be selected includes generating an output screen.
  • Selecting a new bird's eye view image may include selecting a new bird's eye view image from among a plurality of bird's eye view images generated before a time point of generating the bird's eye view image included in the bird's eye view image area when the vehicle is changed from the reverse state to the forward state or the reverse state.
  • One new bird's eye view image can be selected.
  • the step of selecting one new bird's eye view image is generated after the vehicle is changed from the reverse state to the forward state or from the forward state to the reverse state, and before generation of the bird's eye view image included in the bird's eye view image area when the bird's eye view image replacement condition is satisfied.
  • One new bird's-eye view image of the plurality of bird's-eye view images can be selected.
  • the determining of whether the bird's eye view image replacement condition is satisfied may determine that the bird's eye view image replacement condition is satisfied when the moving distance of the vehicle is greater than or equal to the threshold replacement moving distance.
  • another portion of the bird's eye view image may be generated as the bird's eye view image area corresponding to the moving distance of the vehicle.
  • Selecting one new bird's eye view image may select the bird's-eye view image generated when the vehicle's moving distance is less than the threshold replacement moving distance as the new bird's-eye view image when the bird's-eye view image replacement condition is satisfied.
  • the vehicle driving assistance method may further include calculating a moving distance of the vehicle based on a detection signal through a sensor unit mounted in the vehicle.
  • the output screen may further include a real-time image area, and in the generating of the output screen, the camera image captured by the camera may be displayed on the real-time image area in real time.
  • the output screen includes a first bird's eye view image area and a second bird's eye view image area, wherein the first bird's eye view image area includes at least a portion of the bird's eye view image selected through the image selection unit, and the second bird's eye view image area includes a bird's eye view image generator. At least a portion of a recently generated bird's eye view image may be included.
  • a parking line or the like when generating a bird's eye view image through a single camera, a parking line or the like may be represented without distortion.
  • 1 to 4 is a conceptual diagram for a conventional bird's eye view image generation method.
  • FIG. 5 is a conceptual diagram of a vehicle driving assistance apparatus according to an embodiment of the present invention.
  • 6 and 7 are conceptual views for explaining a method of generating a bird's eye view image through the vehicle driving assistance apparatus according to an embodiment of the present invention.
  • FIG. 8 is a block diagram of a vehicle driving assistance apparatus according to an embodiment of the present invention.
  • 9 to 11 are conceptual views illustrating a method of generating a bird's eye view image provided to a driver by a vehicle driving assistance apparatus according to an embodiment of the present invention.
  • FIGS. 12 and 13 are conceptual views for explaining a method of generating a bird's eye view image through the vehicle driving assistance apparatus according to an embodiment of the present invention.
  • 14 to 17 are conceptual views illustrating examples of an output screen generated by an output screen generator according to an exemplary embodiment of the present invention.
  • FIG. 18 is a flowchart illustrating a vehicle driving assistance method according to an embodiment of the present invention.
  • FIGS. 1 to 3 is a conceptual diagram for a bird's eye view image generation method according to the prior art. Specifically, the left figure in FIGS. 1 to 3 shows a rear camera image at time points t 1 , t 2, and t 3 when the vehicle is parked, and the right figure in FIGS. 1 to 3 shows t 1 , t The bird's-eye view image is generated based on the rear camera image captured at 2 and t 3 time points.
  • the first the process of converting to the the rear camera image (ci 11) a bird's eye view image (bi 11) up to t 1 time, as shown in Figure 1 Is performed.
  • the bird's eye view image bi 11 includes an area ca 11 represented by the camera and an area not represented ( nsa 11 ) is present. This is because the bird's eye view image bi 11 is an image generated by transforming the rear camera image ci 11 .
  • the vehicle driving assistance apparatus performs a process of converting the rear camera image ci 12 photographed at a time t 2 into a bird's eye view image bi 12 , as shown in FIG. 2.
  • the bird's-eye view image generated basically may have a portion corresponding to the area ca 12 in the right figure of FIG. 2. This is because, in the case of the rear camera image ci 12 of FIG. 2, only some but not all of the entire parking line pl 11 appears due to the position of the vehicle 1 in progress. Therefore, in the prior art, a process of additionally synthesizing the bird's eye view image bi 11 of FIG. 1 in which the entire parking line pl 11 is represented, and thus cannot be represented by the original rear camera image ci 12 alone. A representation of the area nsa 12 , that is, a representation of the entire parking line ppl 11 , becomes possible.
  • the vehicle driving assistance apparatus further performs a process of converting the rear camera image ci 13 photographed at the time t 3 into the bird's eye view image bi 13 , as shown in FIG. 3.
  • the bird's-eye view image generated by default may only show a portion corresponding to the area ca 13 in the right figure of FIG. 3. This is because, in the case of the rear camera image ci 13 of FIG. 3, only some but not all of the parking lines appear due to the position of the parked vehicle 1.
  • the vehicle driving assistance apparatus is a representation of the area nsa 11 and the area nsa 12 that cannot be represented only by the original rear camera image ci 13 , that is, the parking line ppl 11 , ppl 12. ) Can be expressed.
  • a bird's eye view image of a t 2 time is the synthesis of a bird's eye view image converted to t 1 based on the rear camera image at the time, and t 2 the time is demanded, t 3 time as shown in Figure 4
  • the bird's-eye view image requires a process of synthesizing the bird's-eye view images based on a rear camera image of a time t 1, a time t 2 , and a time t 3 .
  • the prior art compares the bird's-eye view images generated at each stage, and analyzes the overlapping and non-overlapping areas of the parking lines included in each bird's-eye view image.
  • a large amount of computation is performed by repeatedly performing a comparison process and a matching process of a past bird's-eye view image and a current bird's-eye view image at every time point, and thus, a processing device also requires a high specification device. .
  • an object of the present invention is to provide a new vehicle driving assistance apparatus that can solve the above problems.
  • FIG. 5 is a conceptual diagram of a vehicle driving assistance apparatus 100 according to an embodiment of the present invention.
  • the vehicle driving assistance apparatus 100 is an apparatus for assisting the driving of a vehicle, and is photographed from the rear of the camera 11 mounted on the vehicle 10. Based on the image, the bird's eye view image and the rear photographing image may be simultaneously provided to the driver through the display unit 12.
  • the bird's-eye view image is an image of the surrounding area of the vehicle as viewed from above, and does not necessarily represent an image generated from a point perpendicular to the center of the vehicle as a reference point. That is, the bird's-eye view image represents an image converted from a viewpoint so that the surrounding area including the vehicle appears in one image.
  • the bird's-eye view image described below may represent a top view image in which the vehicle is expressed at the center of the bird's-eye view image when the reference point is set perpendicular to the vehicle.
  • the present invention may be set at various points on the upper portion of the vehicle to generate a bird's eye view image at various points in time.
  • the vehicle driving assistance apparatus 100 may generate an output screen to be displayed through the display unit 12, and the output screen may include a bird's eye image area and a real-time image area.
  • the output screen may include a bird's eye image area and a real-time image area.
  • some of the bird's-eye view images generated by the vehicle driving assistance apparatus 100 and the vehicle icon may be displayed in the bird's-eye view image area.
  • the vehicle driving assistance apparatus 100 is to prevent distortion of parking lines and the like in the bird's eye view image and to reduce the amount of computation required to generate the bird's eye view image.
  • the vehicle driving assistance apparatus 100 according to an embodiment of the present invention may adopt a method of selectively displaying a plurality of bird's eye view images generated based on a rear view camera image according to a preset bird's-eye view image replacement condition.
  • the vehicle driving assistance apparatus 100 according to an embodiment of the present invention selectively selects a plurality of bird's eye view images generated based on the front camera image according to a preset bird's-eye view image replacement condition. The way of displaying can be adopted. Description of this will be described again with reference to FIG. 8 below.
  • the rear camera image or the front camera image captured by the camera 11 may be displayed in the real time image area in real time.
  • a steering guideline for assisting a driver in driving a vehicle may be output on the camera image.
  • the vehicle driving assistance apparatus 100 may display a rear view camera image or a front camera image in real time as well as an aerial view image of the surroundings of the vehicle 10 through an output screen. It can support driving of the vehicle.
  • a concept of a method of generating a bird's eye view image according to an embodiment of the present invention will be described first.
  • FIG. 6 and 7 are conceptual views for explaining a method of generating a bird's eye view image through the vehicle driving assistance apparatus according to an embodiment of the present invention.
  • the method of generating a bird's eye view according to an embodiment of the present invention may be performed using a perspective transformation (see FIG. 6).
  • the method of generating a bird's eye view image according to an embodiment of the present invention is such that the position data of the image on the ground is projected onto the screen plane T having the focal length f from the position R of the camera.
  • Perspective transformation can be performed.
  • the camera 11 is located at point R on the Z-axis (0,0, H) and monitors the image on the ground (xy coordinate plane) at a viewing angle ⁇ . lets do it.
  • the two-dimensional coordinates ⁇ and ⁇ on the screen plane T may be converted (back-perspective transformation) to coordinates (bird's eye view coordinates) on the ground plane.
  • the bird's-eye view image can be generated based on the projected image (showing the bird's-eye view image).
  • the method of generating the bird's eye view image may be implemented by various methods other than the above-described method, and the method of generating the bird's eye view image according to an embodiment of the present invention is not limited to the above method. That is, the method of generating a bird's eye view image according to an embodiment of the present invention does not generate a bird's eye view image by synthesizing a plurality of images, but uses a single frame (a camera image selected through the image selector 120). If the image is replaced, it can be implemented in other ways.
  • FIG. 7 the vehicle 10 at time t and the vehicle 10a at time t + 1, which is after a certain time has elapsed at time t, are shown.
  • the aerial view image generator 110 may convert the rear camera image corresponding to the area r1 into the aerial view image. That is, when the vehicle reaches r1 at the time t + 1, the surrounding image of the vehicle may be grasped in the form of a bird's eye view image, and thus the surrounding area of the vehicle may be grasped in the form of an around view.
  • the vehicle driving assistance apparatus 100 may be applied to a vehicle in which the camera 11 and the display unit 12 are mounted.
  • the vehicle driving assistance apparatus 100 according to an embodiment of the present invention may be implemented in a configuration including a camera 11 and a display unit 12.
  • the camera 11 is mounted and installed in a vehicle and functions to photograph a rear camera image.
  • the rear camera image captured by the camera 11 may be stored in the storage unit 14.
  • the installation position or type of the camera 11 can be variously changed, the present invention is not limited thereto.
  • the vehicle driving assistance apparatus 100 may generate a bird's eye view image by using the rear camera images photographed at the previous viewpoints, and simultaneously output the bird's eye view image and the photographing rear image on the output screen.
  • the vehicle driving assistance apparatus 100 includes a bird's eye view image generator 110, an image selector 120, a screen generator 130, a motion calculator 140, and an output screen. It may be configured to include a request unit 150.
  • each component included in the vehicle driving assistance apparatus 100 according to an embodiment of the present invention is divided into functional units for the purpose of understanding the present invention, and in reality, one component such as a CPU, an MPU, or a GPU is used. It may also be implemented via a processing device. Now, a description will be given of the vehicle driving assistance apparatus 100 according to an embodiment of the present invention with reference to FIG. 8.
  • the rear camera is mounted on the vehicle, and the description will be made based on a technology of generating a bird's eye view image based on the rear camera image photographed from the rear camera when the vehicle moves in the reverse state.
  • this is only an example, and the same technical idea may be applied to a technology of generating a bird's eye view image based on a front camera image photographed through the front camera when the front camera is mounted on the vehicle and the vehicle moves in the front direction.
  • the scope of the present invention may include not only the technology using the rear camera, but also the technology using the front camera.
  • the output screen request unit 150 determines the driver's intention to park or reverse or recognizes the driver's screen output request. When the driver determines that the driver wants to park or reverse or output the screen, the output screen request unit 150 generates and outputs an output screen request signal. Function For example, the output screen request signal may be output when the driver sets the shift lever to reverse, or when the driver requests the output screen through an input unit (not shown).
  • the bird's-eye view image generator 110 generates a bird's-eye view image by using the rear camera image photographed by the camera 11.
  • the description of the method of generating the bird's eye view image through the bird's eye view image generation unit 110 has been made in detail with reference to FIGS. 6 and 7 from above, further description thereof will be omitted.
  • the bird's eye view image generated through the bird's eye view image generator 110 may be stored in the storage unit 14.
  • the bird's eye view image generating unit 110 may generate a bird's eye view image based on the rear camera image at each viewpoint. However, this is only an example, and the bird's-eye view image generating unit 110 may generate a bird's-eye view image for each preset period or according to a preset moving distance of the vehicle.
  • the image selector 120 selects a bird's eye view image generated by the bird's eye view image generator 110, and transmits the selected bird's eye view image to the screen generator 130.
  • the image selector 120 may select one bird's eye view image from among the bird's eye view images generated by the bird's eye view image generator 110, and transmit the selected bird's eye view image to the screen generator 130.
  • the vehicle driving assistance apparatus 100 does not generate a bird's eye view image by continuously synthesizing a plurality of frames included in the rear camera image, but a plurality of bird's eye view images generated at predetermined periods. Among them, one of the bird's eye view images selected through the image selection unit 120 may be provided to the driver.
  • the vehicle driving assistance apparatus 100 selects a new bird's eye view image according to the set bird's-eye view image replacement condition, and replaces the existing bird's-eye view image with a newly selected bird's-eye view image, as will be described below again. As a result, a bird's eye view image is provided to the driver.
  • the image selecting unit 120 selects one bird's eye view image and provides it to the driver, and replaces the existing bird's eye view image with a new bird's eye view image whenever the set bird's eye view image replacement condition is satisfied. Provide a method.
  • the screen generating unit 130 functions to generate an output screen for displaying a portion of the bird's eye view image selected by the image selecting unit 120 and the rear camera image photographed by the camera 11.
  • the output screen represents a screen provided to the driver through the display unit 12 mounted on the vehicle.
  • the output screen may include a bird's eye view image area and a real time image area.
  • the front camera image may be displayed in real time on the real-time image area of the output screen.
  • the bird's-eye view image area of the output screen may be generated by the bird's-eye view image generator 110, and a part of the bird's-eye view selected by the image selector 120 may be displayed.
  • the vehicle icon may be further displayed on the bird's-eye view image in the bird's-eye view image area. Accordingly, when the driver views the display unit 12, the driver may refer to the bird's-eye view image area included in the output screen to easily identify information about the surroundings of the vehicle and whether the vehicle is currently in the background.
  • a part of the bird's eye view image is displayed in the bird's eye view image area to display a region of interest within a predetermined distance based on the current position of the vehicle to assist the driver in parking or to more clearly display obstacles around the vehicle. To do this.
  • the image selector 120 may determine whether the set bird's eye view image replacement condition is satisfied, and when the bird's eye view image replacement condition is satisfied, the image selector 120 may select a new bird's eye view image from among the plurality of bird's eye images. This is to provide the driver with a more accurate image of the bird's eye view based on the current position of the vehicle because the position of the vehicle is constantly changing due to the movement of the vehicle.
  • the newly selected bird's eye view image is transferred to the screen generation unit 130.
  • the screen generating unit 130 undergoes a process of replacing the previous bird's-eye view image with a newly selected bird's-eye view image.
  • the output screen output through the display unit 12 may be displayed by replacing a new bird's eye view image every time the set bird's eye view image replacement condition is satisfied.
  • the bird's eye view image replacement time may be determined based on the moving distance of the vehicle.
  • the vehicle driving assistance apparatus 100 may calculate whether the vehicle moves and the moving distance of the vehicle through the motion calculator 140.
  • the condition of determining the bird's eye view image replacement time is described as being based on a moving distance of the vehicle. However, in order to consider the position of the vehicle, it is most preferable to determine the bird's eye view image replacement time based on the moving distance of the vehicle.
  • the motion calculating unit 140 calculates whether the vehicle moves and the moving distance of the vehicle.
  • the motion calculating unit 140 may receive a detection signal from the sensor unit 13 mounted on the vehicle, and determine whether the vehicle moves based on the detection signal.
  • the sensor unit 13 may detect movement and rotation of the vehicle and output a motion detection signal and a rotation detection signal according to the movement and the rotation.
  • the sensor unit 13 may include a wheel pulse sensor and a steering wheel sensor.
  • the motion calculator 140 may analyze the detection signal through the sensor 13 and determine whether the vehicle moves. As a result of the determination, the motion calculator 140 may calculate the moving distance of the vehicle when it is determined that the movement of the vehicle occurs. The calculated movement distance of the vehicle may be transmitted to the image selector 120.
  • the determination of the movement of the vehicle and the method of calculating the movement distance of the vehicle made through the motion calculating unit 140 are performed based on the detection signal output from the sensor unit 13, but this is only an example and a camera image is provided. It is also possible through analysis. In the case of such an image analysis technique, various methods are already well known, and the present invention is not limited to only a specific image analysis scheme, and thus further description thereof will be omitted.
  • the image selector 120 may compare the moving distance of the vehicle with a preset threshold replacement moving distance. As a result of the determination by the image selector 120, when the moving distance of the vehicle is greater than or equal to a preset threshold replacement movement distance, the image selector 120 may select a new bird's eye view image from among the plurality of bird's eye view images.
  • the new bird's-eye view image is preferably selected from among bird's-eye view images since the previous bird's-eye view image generation time. This is because according to the movement of the vehicle, the image of the past is too far from the current position of the vehicle, or it is likely to be a completely different point. Therefore, when the set bird's eye view image replacement condition is satisfied, the image selector 120 may select one new bird's eye view image among the bird's-eye view images generated after the generation of the bird's-eye view image included in the bird's-eye view image area.
  • the image selector 120 may be configured to generate a vehicle at a time when the moving distance of the vehicle among the bird's eye view images generated after the generation of the bird's eye view image included in the bird's eye view image area is less than the threshold replacement distance. It is also possible to select the generated aerial image as a new aerial image.
  • the image selector 120 may select a bird's eye view image generated at a point nearest to the current position in consideration of the current position of the vehicle.
  • the image selector 120 may select a bird's-eye view image generated in the past more than a time point of generating the bird's-eye view image provided to the driver. This may be the case, for example, if the vehicle is reversing in the direction of the parking line and then moving forward with a change of gear. In other words, the image selector 120 generally replaces the bird's-eye view image by newly selecting a bird's-eye view image that has been recently generated, but is more than the past when the bird's-eye view image is provided to the driver when the vehicle moves forward through the gear change. You can select the bird's eye view image created in.
  • the image selector 120 may maintain the current image of the bird's eye without selecting an additional bird's eye image when the gear is changed, and may select a new bird's eye image every time the set bird's-eye image replacement condition is satisfied.
  • the vehicle driving assistance apparatus 100 may be applied to a vehicle to which a front camera is applied as well as a vehicle to which a rear camera is applied. That is, even when the front camera is applied to the vehicle and not the rear camera, and the vehicle is changed from the forward direction to the backward direction, the bird's-eye view image generated in the past may be selected more than the time point of generating the bird's-eye view image provided to the driver.
  • the image selector 120 may repeatedly determine whether to replace the bird's eye view image, select a bird's eye view image based on the determination result, and transmit the selected bird's eye view image to the screen generation unit 130. Accordingly, the driver may view the bird's-eye view image replaced according to the moving distance of the vehicle through the display unit 12.
  • the image selector 120 may perform a waiting process when the moving distance of the vehicle is less than the preset threshold replacement moving distance.
  • the screen generating unit 130 may change a part of the bird's eye view image displayed in the bird's eye view image area according to the moving distance of the vehicle to another portion to provide an output screen to the driver. That is, the screen generation unit 130 may provide an output screen to the driver by changing the background of the vehicle image to reflect the moving distance of the vehicle.
  • the vehicle driving assistance apparatus 100 may simultaneously display the bird's eye view image and the rear camera images around the vehicle through the display unit 12.
  • the vehicle driving assistance apparatus 100 may display a bird's-eye view image by replacing it with a new bird's-eye view image every time the set bird's-eye view image replacement condition is satisfied through the bird's-eye view image area of the output screen. .
  • the motion calculator 140 calculates the moving distance of the vehicle.
  • the motion calculating unit 140 in addition to the above-described function, whether the vehicle rotates (specifically, whether the vehicle moves in a state in which the longitudinal axis direction of the vehicle does not match) and the rotation radius and the wheel of the vehicle when the rotation occurs The angle (or rotation angle) can be further calculated.
  • the calculation of the radius of rotation of the vehicle through the motion calculator 140 may be performed based on the angle of the steering wheel of the vehicle or the angle of the front wheel or the rear wheel of the vehicle detected by the sensor unit 13. Since the method of calculating the moving distance, the turning radius and the wheel angle of the vehicle is well known, a further description thereof will be omitted.
  • the screen generator 130 may rotate and display the bird's-eye image included in the bird's-eye image area according to the wheel angle calculated by the motion calculator 140. Can be.
  • the screen generation unit 130 may include a bird's-eye view included in the bird's-eye view image area to correspond to the wheel angle and the moving distance of the vehicle in consideration of the wheel angle and the moving distance of the vehicle calculated by the motion calculating unit 140. You can rotate the image.
  • the vehicle driving assistance apparatus 100 generates and displays a bird's eye view image based on a rear camera image of previous viewpoints, but displays the display unit 12 according to the set bird's eye view image replacement condition.
  • the bird's eye view image displayed can be replaced.
  • the bird's eye view image included in the bird's eye view image area on the output screen may be rotated and displayed according to the rotation radius of the vehicle.
  • the vehicle driving assistance apparatus 100 of the present invention may provide a bird's-eye view image to the driver without the process of synthesizing the image, and does not synthesize the past image and the current image as in the prior art, and thus is caused by the image matching process.
  • the distortion of the parking line is not generated at all.
  • the method of generating a bird's eye view image through the vehicle driving assistance apparatus according to an embodiment of the present invention will become more apparent with reference to FIGS. 9, 10, and 11.
  • 9, 10, and 11 are conceptual views illustrating a process of generating a bird's eye view image provided to a driver through the vehicle driving assistance apparatus 100 according to an embodiment of the present invention.
  • 9, 10 and 11 the left figure, that is, part (a) of each figure shows a rear camera image photographed at time points t 1 , t 2, and t 3 , and the right figure in FIGS. 9, 10, and 11. That is, part (b) of each drawing represents a bird's eye view image displayed to the driver at each viewpoint.
  • the bird's-eye view image shown in FIGS. 9B and 10B is assumed to be a bird's-eye view image generated based on the rear camera image of the time t 1 shown in FIG. 9A.
  • the positions of the vehicle icons are different from each other in FIGS. 9B, 10B, and 11B, this is merely an example, and the bird's eye view may be fixedly disposed in the image area.
  • the bird's eye view image displayed to the driver is generated based on one rear camera image of the rear camera images photographed at previous viewpoints based on the current viewpoint.
  • the bird's-eye view image may be displayed based on the rear camera image at the present time, but in this case, it is difficult to express the area where the vehicle has already passed. Therefore, the bird's eye view image displayed to the driver is preferably generated based on the rear camera image of the past viewpoint.
  • the same bird's eye view image may be displayed through the display unit at a time t 1 and a time t 2 .
  • the driver cannot determine the driver's current position, and thus, by changing a part of the bird's eye view image displayed through the bird's eye view image area based on the moving distance of the vehicle, A manner of displaying to the driver by moving the bird's eye view image may be performed (see FIG. 10B).
  • the vehicle driving assistance apparatus 100 may further select one bird's eye view image from among the plurality of bird's eye view images.
  • the bird's eye view image generated at the time t 1 is already displayed to the driver, the bird's eye view image generated at the time t 2 may be selected and provided to the driver. It is assumed that the bird's-eye view image provided to the driver shown in FIG. 11B is a bird's-eye view image generated at the time t 2 shown in FIG. 10A.
  • the vehicle when looking at the rear camera image at time t 3 , the vehicle is almost close to the horizontal line of the parking line and the longitudinal line is not included in the rear camera image, but the bird's-eye view based on the rear camera image of FIG. Since the image is generated, it can be seen that some of the longitudinal lines of the parking line also appear. However, since the entire parking line is not included in the rear camera image of FIG. 10A, the unexpressed parking line nsl 2 may occur compared to the entire parking line.
  • FIG. 12 is a conceptual view illustrating a method of generating a bird's eye view image through the bird's eye view image generator 110 according to an embodiment of the present invention
  • FIG. 13 is a diagram illustrating a movement of a vehicle according to an embodiment of the present invention.
  • a bird's eye view image for t 1 time point is generated using the photographed images of the t 1 point, the bird's eye view image of the t 2 point t 1 and t 2 time It can be seen that the image is generated using the photographed image of, and the bird's-eye view image of the time t 3 is generated using the photographed image of the t 1 , t 2 and t 3 time point.
  • the prior art is t 2 point, it is possible to display the bird's eye view image synthesized by synthesizing the bird's eye view image and the t bird's eye view image of a second point of t 1 point, the operator, in the case of t 3 time, t 1, t 2, and t 3 by synthesizing the bird's eye view image or bird's eye view image of t 2 and t 3 the point of time, it is possible to display a synthesized bird's-eye view image to the driver.
  • the parking line is extracted from the past image and is matched with the current bird's eye view image.
  • the driver can determine the appearance of the entire parking line through the display.
  • the bird's eye view image generation method does not continuously synthesize the bird's eye view images unlike the prior art, but provides one bird's-eye view image to the driver, or according to the set bird's-eye view image replacement condition, The new bird's eye view image is replaced with the new one.
  • the bird's-eye view image generating apparatus first undergoes a process of generating a bird's-eye view image based on the rear camera image through the bird's-eye view image generating unit as shown in FIG. 12.
  • the three pictures at the top of FIG. 12 represent frames of the rear camera image photographed at time points t 1 , t 2, and t 3 , respectively, and the three pictures at the bottom of FIG. 12 are t 1 , t 2.
  • a transformed bird's-eye view image of each view generated by transforming the rear camera image of each view at time t 3 .
  • a bird's eye view image is generated for each point of view in order to help the understanding of the present invention.
  • the bird's eye view is according to a predetermined period or the moving distance of the vehicle 10 instead of each point. It is also possible to create an image.
  • the parking line diagram in the transformed aerial view image cbi 21 is due to the fact that the entire parking line is expressed in the rear camera image ci 21 at time t 1. All can be expressed.
  • t converted bird's-eye view image of a second viewpoint (cbi 22) to look at due to the only part of the total parking line expressing points on the rear camera image (ci 22) of the t 2 time, converted bird's-eye view image (cbi 22) parked in the The line is not represented in its entirety, but an unexpressed parking line nsl 22 is generated.
  • converted bird's-eye view image (cbi 23) parked in the The line is not represented in its entirety, but an unexpressed parking line nsl 23 is generated.
  • FIG. 13 an example of a method of selecting a bird's eye view image at each viewpoint according to an embodiment of the present invention is shown.
  • the upper figure of FIG. 13 shows a transformed bird's eye view image of each viewpoint generated by transforming viewpoints at time points t 1 , t 2, and t 3
  • the lower view of FIG. 13 shows a display of the vehicle at time points t 1 , t 2, and t 3 Represents a bird's eye view image displayed through the unit.
  • the converted bird's eye view image cbi 21 generated at the time t 1 may be displayed on the display unit of the vehicle. Thereafter, a process of determining whether the bird's eye view image replacement condition is satisfied at the time t 2 may be performed.
  • the bird's eye view image can be replaced when the vehicle's travel distance is greater than or equal to the threshold replacement travel distance. In this example, it is assumed that the moving distance d 1 of the vehicle at a time t 2 is less than the threshold replacement moving distance. In this case, the converted bird's eye view image cbi 21 generated at the time t 1 may be displayed on the display unit of the vehicle at the time t 2 .
  • the screen generation unit may display by displaying another part of the bird's eye view image according to the moving distance of the vehicle.
  • the screen generation unit according to an embodiment of the present invention may change the position of the vehicle icon according to the moving distance of the vehicle.
  • a process of determining whether the bird's eye view image replacement condition is satisfied at the time t 3 may be further performed.
  • the aerial image bi 23 provided to the driver at time t 3 is based on the converted aerial image cbi 22 at time t 2 . Can be output.
  • the bird's eye view image bi 23 displayed to the driver at time t 3 may be displayed by displaying a different portion of the bird's eye view image according to the moving distance of the vehicle.
  • the screen generation unit may change the position of the vehicle icon according to the moving distance of the vehicle.
  • the method of generating a bird's eye view image does not perform a matching or synthesis process using past bird's-eye view images, and replaces the bird's-eye view image among a plurality of bird's-eye view images.
  • a new bird's eye view image is selected at each time point, and a method of replacing a previous bird's eye view image with a selected bird's eye view image is adopted.
  • a bird's eye view image of the t 2 point having been expressed both the parking line in the past, the rear camera image of t 1 the time, any parking line without missing parking line It can be expressed to the driver through the display unit.
  • the bird's eye view image replacement conditions and t 3 time is satisfied, perform the display based on the bird's eye image created in the t 2 time, because it is not in the past, rear camera images of the t 2 point includes the entire parking line, t 3
  • the unexpressed parking line nsl 2 may occur instead of the entire parking line.
  • t rear camera images of the three-point (ci 23) has a driver on, t 3 the time it appeared that some of, the vertical line parking of the line does not receive a full vertical line of the parking line, t 2 the rear camera image (ci 22) at the time Some lines sl 2 of the parking line may appear in the displayed bird's eye view image.
  • the prior art has the advantage that the entire parking line can be represented at any time by continuously synthesizing the past images.
  • the parking line is not completely matched in the matching process, the distortion is likely to occur in the parking line.
  • the vehicle driving assistance apparatus 100 according to an embodiment of the present invention, there is a disadvantage in that the entire parking line may not be expressed depending on a viewpoint.
  • the vehicle driving assistance apparatus 100 according to an embodiment of the present invention has an advantage that distortion does not occur in a parking line or the like because a bird's eye view image is generated based on one single image.
  • the output screen generated by the vehicle driving assistance apparatus according to an embodiment of the present invention may have the arrangement shown in FIGS. 14 and 15. That is, the screen generator 130 may arrange the bird's eye view image area da 1 in the form of a thumbnail in the real time image area da 2 , as shown in FIG. 14, or as shown in FIG. 15. The output screen may be generated by separating the image area da 1 and the real-time video area da 2 .
  • the bird's eye view image area da 1 is preferably arranged in the form of a thumbnail, and the performance of the camera is high.
  • the aerial image area da 1 and the real-time video area da 2 may be displayed separately from each other. This is merely an example and may be variously changed according to a setting of an administrator or a driver.
  • the vehicle driving assistance apparatus 100 may include two bird's eye view image areas da 1 and da 3 and one real-time image area da. 2 ) can generate an output screen including.
  • the first bird's-eye view image area da 1 may display a bird's-eye view image selected through the image selection unit, and a real-time image area da 2 displays a rear image of the vehicle captured by the camera in real time. Can be.
  • the bird's-eye view image generated at the present time may be displayed in the second bird's-eye view image area da 3 .
  • the output image is provided to the driver as a bird's eye view image generated at a past point in time.
  • the bird's eye view image is used in the past, it is difficult to know exactly when an object suddenly appears around a vehicle.
  • a current view point is t 2
  • a generation point of the bird's-eye view image displayed through the first bird's-eye view image area da 1 is t 1 .
  • the can 1 a bird's eye view image area may have to be displayed is a bird's eye view image generated for t 1 time as (da 1), the second bird's-eye view image areas (da 2), there may be displayed a bird's eye view image created in the t 2 time .
  • the vehicle driving assistance apparatus may check not only the bird's-eye view image of the past view point but also the bird's-eye view image through the second bird's-eye view image area da 3 , so that the suddenly moving object Can be detected correctly.
  • the two bird's eye view image areas da 1 and da 2 may include a second bird's eye view image area da 2 to which the bird's-eye view image is output and a bird's-eye view image of the past view as shown in FIG. 12. Different output areas may be output in the first bird's eye view image area da 1 .
  • a current viewpoint is t 3 and a generation timing of the bird's-eye view image displayed through the first bird's-eye view image area da 1 is t 1 .
  • the can 1 a bird's eye view image area may have to be displayed is a bird's eye view image generated for t 1 time as (da 1), the second bird's-eye view image areas (da 2), there may be displayed a bird's eye view image created in the t 3 time .
  • the bird's-eye view image of the current view is divided into regions for confirmation of the rear of the vehicle, and the bird's-eye view image of the past view is divided into regions for checking the side and the front of the vehicle. The included example is shown.
  • the driver has a higher interest in the rear region in which the vehicle is to travel than the region in which the vehicle has already passed, and as mentioned above, an accident occurs due to the sudden appearance of an object behind the vehicle.
  • the rear of the vehicle checks the bird's-eye view image of the current view through the second bird's-eye view image area da 2 , and the side and front of the vehicle. May use a bird's-eye view image of a past viewpoint included in the first bird's-eye view image area da 1 .
  • the vehicle driving assistance apparatus may be applied to a vehicle to which a front camera is applied as well as a vehicle to which a rear camera is applied.
  • real-time image area (da 2) there may be a vehicle front image taken by the camera displayed in real-time
  • the second bird's-eye view image areas (da 3) has a bird's eye view image on the front of the vehicle images to be generated in the current point in time Some may be displayed.
  • the first bird's-eye view image area da 1 may display a bird's-eye view image generated at a previous time, for example, a bird's-eye view image of an area already passed by the vehicle.
  • the vehicle driving assistance apparatus when the vehicle driving assistance apparatus according to an embodiment of the present invention is applied to a vehicle to which the front camera is applied, obstacles existing in front and sides of the vehicle while the driver is driving can be grasped through the output screen in real time. As a result, the vehicle may be prevented from coming into contact with an obstacle and a vehicle.
  • the vehicle driving assistance apparatus as shown in FIG. 17, not only a real-time image area da 2 but also two bird-eye image areas da 1 and da arranged separately from each other. 3 ), you can intuitively identify the area around the vehicle.
  • the vehicle driving assistance apparatus since the region according to the traveling direction of the vehicle is replaced in real time through the second bird's eye view image region da 3 , the vehicle is displayed on an obstacle. It can help you drive out of reach.
  • the vehicle driving assistance apparatus may be applied to a vehicle including both the front camera and the rear camera to perform the above function.
  • the vehicle driving assistance method according to an embodiment of the present invention is characterized by providing the driver in a manner of selectively replacing the bird's eye view image, rather than combining a plurality of bird's eye view images.
  • the vehicle driving assistance method according to an embodiment of the present invention may simultaneously output the bird's eye view image and the photographing rear image on the output screen.
  • a step (S110) of storing a rear camera image photographed by a camera is performed.
  • the camera may be mounted in real time through a camera mounted on a vehicle, and the rear camera image obtained through real time shooting may be stored in a storage unit.
  • the bird's-eye view image generating unit generates a bird's-eye view image around the vehicle by using the rear images stored in operation S110 (S120).
  • the process of generating a bird's eye view image around the vehicle through the step S120 may be repeatedly performed irrespective of the flow described below.
  • the generation of the bird's eye view image through the step S120 may be generated according to various conditions, such as every time, according to a predetermined period, and according to the moving distance of the vehicle.
  • a step (S130) of generating and displaying an output screen including the rear camera image acquired through step S110 and a part of the bird's eye view image generated in step S120 may be performed.
  • the output screen may include a bird's eye view image area and a real-time image area, and a part of the bird's eye view image generated in step S120 (that is, the ROI) is displayed in the bird's eye view image area, and is acquired through step S110 in the real-time image area.
  • the rear camera image may be displayed in real time.
  • the vehicle driving assistance method according to an embodiment of the present invention may be applied to a vehicle to which a front camera is applied.
  • step S120 may generate an output screen including the bird's eye view image generated on the basis of the front camera image and the front camera image. That is, the following description will be made based on the rear camera image, but this is only an example and the same technical concept may be applied even when the front camera image is used.
  • the bird's eye view image area may be arranged in the form of a thumbnail in the real time image area, or the bird's eye view image area and the real time image area may be disposed separately.
  • the arrangement of the two areas in the output screen may be variously changed according to the setting of the manager or the driver.
  • the detection signal may include a motion detection signal of the vehicle.
  • a step (S150) of calculating a moving distance of the vehicle is performed based on the motion detection signal of the vehicle collected through the step S140.
  • the step S150 has been described as calculating the moving distance of the vehicle based on the motion detection signal of the vehicle through the sensor, but this is only an example and may be performed through an image analysis technique.
  • the moving distance of the vehicle may be calculated by using an image analysis technique.
  • the image analysis technique is well known in various ways, the vehicle driving assistance method according to an embodiment of the present invention does not limit the technique to a specific technique only.
  • step S160 represents a step of determining whether the set bird's eye view image replacement condition is satisfied.
  • step S160 represents a step of determining whether the calculated moving distance of the vehicle is greater than or equal to the threshold replacement moving distance in the step S150.
  • control is transferred to step S170, and a process of selecting a new bird's eye view image is performed. Otherwise, control may pass to step S180.
  • the bird's eye view image replacement condition may be considered to use a viewpoint or other conditions depending on the driver or manager's setting. However, in actual application, since the actual application efficiency is high based on the moving distance of the vehicle, it is most preferable to determine the replacement timing of the bird's eye view image based on the moving distance of the vehicle.
  • Operation S170 may be performed by the image selector, and the operation may be performed by selecting one bird's eye view image from among bird's eye view images generated through the operation S120.
  • the vehicle driving assistance method according to an exemplary embodiment of the present invention does not generate a new bird's eye view image by continuously synthesizing a plurality of bird's eye view images, but a plurality of images generated based on one rear camera image without a synthesis process.
  • a bird's-eye view of the selected one of the bird's-eye view of the image is characterized by displaying through the display. Accordingly, the bird's eye view image selection process through step S170 may be performed.
  • a new bird's-eye view image of one of the bird's-eye view images generated after the generation of the bird's-eye view image included in the bird's-eye view image area may be selected. For example, assuming that the bird's eye view image generation point included in the bird's eye view image area is t 1 and the current view point is t 4 , step S170 selects the bird's-eye view image of one of the bird's-eye view images converted at time t 2 and t 3. Can be. In addition, step S170 may be performed by selecting the bird's-eye view image generated when the moving distance of the vehicle is less than the threshold replacement moving distance as a new bird's-eye view image. When one new bird's eye view image is selected through the step S170, a process of replacing the existing bird's-eye view image with a new bird's-eye view image may be performed.
  • step S170 may be a process of selecting a bird's eye view image generated at a relatively close time point, rather than relatively old frames, to reflect the current position of the vehicle as much as possible.
  • control is passed to step S130.
  • operation S130 a process of generating a bird's eye view image area including a portion of the new bird's eye view image is performed.
  • the step S180 is performed when the moving distance of the vehicle is less than or equal to the threshold moving distance, and generates another part of the bird's eye view image as the bird's eye view image area corresponding to the moving distance of the vehicle.
  • the bird's-eye view image is moved by changing a part of the bird's-eye view image displayed through the bird's-eye view image area based on the moving distance of the vehicle. Accordingly, the driver may check the image of the bird's eye view that changes according to the current position of the vehicle, and may park the vehicle based on the bird's-eye view image considering the current position of the vehicle.
  • the bird's-eye view image generated based on one frame of the rear camera image may be displayed on the output screen displayed to the driver without a synthesis process.
  • the bird's eye view image may be displayed in a manner that is replaced according to the set bird's eye view image replacement condition.
  • the vehicle driving assistance method further performs a process of calculating a rotation radius and a wheel angle (or rotation angle) of the vehicle based on the detection signal of the sensor unit as described above. can do. It is also possible to rotate and move the bird's eye view image according to the rotation radius and the wheel angle of the vehicle calculated through the step S140, and display it to the driver.
  • the vehicle driving assistance method has been described as determining whether to replace the bird's eye view image based on the moving distance of the vehicle, and selecting the latest bird's eye view image when the bird's eye view image replacement condition is satisfied.
  • the method of selecting the new bird's eye view image described above may be performed when the rear camera is mounted on the vehicle, and the vehicle is in reverse, and when the gear change of the vehicle occurs, the new bird's eye view image may be selected as follows.
  • a process of determining whether to replace the bird's eye image through the step S160 is performed.
  • the bird's eye view image output through the display unit may be maintained.
  • the present invention is not limited to the specific bird's-eye image selected in the situation.
  • step S170 selects the bird's-eye view image from among the bird's-eye view images generated before the creation of the bird's-eye view image included in the bird's-eye view image area, and the bird's-eye view image area. The process of replacing the bird's-eye view image included in the selected bird's-eye view image may be performed.
  • step S170 selects one of the bird's-eye view images generated after the generation of the bird's-eye view image included in the bird's-eye view image area, and when the vehicle moves forward, the S170 step includes the bird's-eye view image included in the bird's-eye view image area.
  • One of the bird's-eye view images generated before the generation time of may be selected.
  • the vehicle driving assistance method according to an exemplary embodiment of the present invention the same technique may be applied to the case where the front camera is mounted on the vehicle and the vehicle moves forward.
  • the vehicle driving assistance method according to an exemplary embodiment of the present invention even if the front camera is mounted on the vehicle and the vehicle changes in the rear direction while moving in the front direction, the same technical idea as the above-described technology may be applied.
  • the scope of the present invention may include not only the technology using the rear camera, but also the technology using the front camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 후방 카메라 영상과 조감도 이미지를 제공함으로써, 운전자의 주차를 지원할 수 있는 장치 및 방법에 관한 것으로, 카메라를 통해 촬영된 카메라 영상을 이용하여 카메라 영상에 대한 조감도 이미지를 생성하고, 생성한 조감도 이미지 중 적어도 일부분이 포함되는 조감도 이미지 영역을 포함하는 출력 화면을 생성하고, 조감도 이미지 교체 조건에 충족될 경우 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이후에 생성된 복수의 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택하여 조감도 이미지를 새로운 조감도 이미지로 교체해서 출력하는 것을 특징으로 한다.

Description

차량 운전 보조 장치 및 방법
본 발명은 차량 운전 보조 장치 및 방법(APPARATUS AND METHOD FOR SUPPORTING DRIVING OF VEHICLE)에 관한 것이고, 보다 상세하게 카메라 영상과 조감도 이미지를 제공함으로써, 차량의 운전을 지원할 수 있는 장치 및 방법에 관한 것이다.
일반적으로, 차량은 차체에 장비한 엔진 등의 원동기를 동력원으로 하여 도로 등을 주행하며 사람이나 화물을 운반하거나 각종 작업을 수행하는 장치이고, 차량의 운전자는 주행 방향을 주시하면서 차량을 안전하게 운전한다.
하지만, 차량이 주차를 하는 등 후진하는 경우에 있어서는, 차량의 운전자는 차량의 후방인 주행 방향을 주시하기가 어렵다. 또한, 운전자가 전방 방향으로 운전하는 상황에서도 주변에 장애물이 많은 경우, 장애물과 차량 간의 거리를 직관적으로 판단하기 어려워 사고가 발생할 수 있는 가능성이 높다. 따라서, 차량의 주변을 디스플레이하기 위한 장치로서, 차량의 후방 또는 전방에 설치된 카메라로부터의 이미지를 모니터에 그대로 출력하거나, 상기 이미지를 변환하여 차량 주변에 대한 조감도 영상을 출력하는 디스플레이 장치가 알려져 있다.
여기서, 조감도 영상을 출력하는 기술로서, 차량에 복수의 카메라를 장착하고, 복수의 카메라에서 촬영된 영상을 하나의 영상으로 합성함으로써 차량 주변 영역을 디스플레이하는 방법이 존재한다. 다만, 이 방법의 경우 조감도 영상의 생성을 위해 적어도 4개의 카메라가 요구되며, 카메라의 개수를 줄이기 위해서는 광각 카메라 등 상대적으로 비용이 많이 드는 카메라를 요구하는 단점이 존재한다.
또한, 종래에는 조감도 영상을 출력하는 기술로서, 차량에 하나의 카메라를 장착하고, 단일 카메라에서 촬영된 영상들을 합성함으로써, 조감도를 생성하는 기술이 존재한다. 다만, 이 기술의 경우 영상들의 합성 및 조감도 이미지 변환 과정에 의해, 부하가 높을 뿐만 아니라, 영상 합성 과정에서 주차선 등에 왜곡이 발생하는 문제점이 존재한다.
따라서, 조감도 이미지 생성 시 다수의 카메라를 요구하지 않으면서, 주차선 등에 왜곡을 야기하지 않는 새로운 차량 운전 보조 장치 및 방법에 대한 요구가 존재한다.
본 발명은 단일 카메라를 통한 조감도 이미지 생성 시에도 주차선 등에 왜곡을 발생시키지 않는 차량 운전 보조 장치 및 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 저사양의 처리 장치로도 조감도 이미지를 제공할 수 있는 차량 운전 보조 장치 및 방법을 제공하는데 목적이 있다.
상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 차량 운전 보조 장치는 카메라 및 디스플레이부가 장착된 차량에 적용되어, 차량의 운전을 보조하기 위한 차량 운전 보조 장치로, 카메라를 통해 촬영된 카메라 영상을 이용하여 카메라 영상에 대한 조감도 이미지를 생성하는 조감도 이미지 생성부, 조감도 이미지 중 적어도 일부분이 포함되는 조감도 이미지 영역을 포함하는 출력 화면을 생성하는 화면 생성부 및 조감도 이미지 교체 조건에 충족될 경우, 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이후에 조감도 이미지 생성부를 통해 생성된 복수의 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택하는 이미지 선택부를 포함하고, 화면 생성부는 조감도 이미지를 이미지 선택부가 선택한 새로운 조감도 이미지로 교체해서 출력 화면을 생성한다.
이미지 선택부는 차량이 후진 상태로부터 전진 상태로 또는 전진 상태로부터 후진 상태로 변경될 때, 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이전에 생성된 복수의 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택할 수 있다.
이미지 선택부는 차량의 진행 방향이 전진 방향으로부터 후진 방향으로 또는 후진 방향으로부터 전진 방향으로 변경된 이후, 조감도 이미지 교체 조건에 충족될 때, 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이전에 생성된 복수의 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택할 수 있다.
이미지 선택부는 차량의 이동 거리가 임계 교체 이동 거리 이상인 경우, 조감도 이미지 교체 조건에 충족된 것으로 판단할 수 있다.
화면 생성부는 차량의 이동 거리가 임계 교체 이동 거리 미만인 경우, 차량의 이동 거리에 대응하여 조감도 이미지의 다른 부분을 조감도 이미지 영역으로 생성할 수 있다.
이미지 선택부는 조감도 이미지 교체 조건에 충족될 경우, 차량의 이동 거리가 임계 교체 이동 거리 미만인 시점에 생성된 조감도 이미지를 새로운 조감도 이미지로 선택할 수 있다.
본 발명의 실시 예에 따른 차량 운전 보조 장치는 차량에 장착된 센서부를 통한 감지 신호를 근거로 차량의 이동 거리를 산출하는 움직임 산출부를 더 포함할 수 있다.
출력 화면은 실시간 영상 영역을 더 포함하고, 화면 생성부는 카메라를 통해 촬영된 카메라 영상을 실시간 영상 영역에 실시간으로 표시할 수 있다.
조감도 이미지 영역과 실시간 영상 영역은 분리되어 출력 화면 상에 배치될 수 있다.
출력 화면은 제1 조감도 이미지 영역과 제2 조감도 이미지 영역을 포함하고, 제1 조감도 이미지 영역에는 이미지 선택부를 통해 선택된 조감도 이미지 중 적어도 일부분이 포함되고, 제2 조감도 이미지 영역에는 조감도 이미지 생성부를 통해 가장 최근에 생성된 조감도 이미지의 적어도 일부분이 포함될 수 있다.
차량의 주변 영역은 제1 조감도 이미지 영역과 제2 조감도 이미지 영역을 통해 출력 화면 내에 표현되고, 제1 조감도 이미지 영역과 제2 조감도 이미지 영역은 출력 화면 내에 분리되어 배치되며, 주변 영역의 서로 다른 부분을 출력할 수 있다.
상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 차량 운전 보조 방법은 카메라 및 디스플레이부가 장착된 차량에 적용되어, 차량의 주차를 지원하기 위한 차량 운전 보조 방법으로, 카메라를 통해 촬영된 카메라 영상을 이용하여 카메라 영상에 대한 조감도 이미지를 생성하는 단계, 조감도 이미지 중 적어도 일부분이 표시되는 조감도 이미지 영역을 포함하는 출력 화면을 생성하는 단계, 조감도 이미지 교체 조건의 충족 여부를 판단하는 단계 및 조감도 이미지 교체 조건에 충족될 경우, 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이후에 조감도 이미지 생성부를 통해 생성된 복수의 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택하는 단계를 포함하고, 출력 화면을 생성하는 단계는 조감도 이미지를 이미지 선택부가 선택한 새로운 조감도 이미지로 교체해서 출력 화면을 생성하는 단계를 포함할 수 있다.
하나의 새로운 조감도 이미지를 선택하는 단계는 차량이 후진 상태로부터 전진 상태로 또는 전진 상태로부터 후진 상태로 변경될 때, 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이전에 생성된 복수의 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택할 수 있다.
하나의 새로운 조감도 이미지를 선택하는 단계는 차량이 후진 상태로부터 전진 상태로 또는 전진 상태로부터 후진 상태로 변경된 이후, 조감도 이미지 교체 조건에 충족될 때 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이전에 생성된 복수의 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택할 수 있다.
조감도 이미지 교체 조건의 충족 여부를 판단하는 단계는 차량의 이동 거리가 임계 교체 이동 거리 이상인 경우, 조감도 이미지 교체 조건에 충족된 것으로 판단할 수 있다.
출력 화면을 생성하는 단계는 차량의 이동 거리가 임계 교체 이동 거리 미만인 경우, 차량의 이동 거리에 대응하여 조감도 이미지의 다른 부분을 조감도 이미지 영역으로 생성할 수 있다.
하나의 새로운 조감도 이미지를 선택하는 단계는 조감도 이미지 교체 조건에 충족될 경우, 차량의 이동 거리가 임계 교체 이동 거리 미만인 시점에 생성된 조감도 이미지를 새로운 조감도 이미지로 선택할 수 있다.
본 발명의 실시 예에 따른 차량 운전 보조 방법은 차량에 장착된 센서부를 통한 감지 신호를 근거로 차량의 이동 거리를 산출하는 단계를 더 포함할 수 있다.
출력 화면은 실시간 영상 영역을 더 포함하고 출력 화면을 생성하는 단계는 카메라를 통해 촬영된 카메라 영상을 실시간 영상 영역에 실시간으로 표시할 수 있다.
출력 화면은 제1 조감도 이미지 영역과 제2 조감도 이미지 영역을 포함하고, 제1 조감도 이미지 영역에는 이미지 선택부를 통해 선택된 조감도 이미지 중 적어도 일부분이 포함되고, 제2 조감도 이미지 영역에는 조감도 이미지 생성부를 통해 가장 최근에 생성된 조감도 이미지의 적어도 일부분이 포함될 수 있다.
본 발명의 일 실시예에 따른 차량 운전 보조 장치 및 방법에 따르면 단일 카메라를 통해 조감도 이미지를 생성할 때, 왜곡 없이 주차선 등을 표현할 수 있다.
또한, 본 발명의 일 실시예에 따른 차량 운전 보조 장치 및 방법에 따르면 조감도 이미지 생성에 있어서, 연산량이 적어 저사양의 처리 장치로도 구현될 수 있는 장점이 있다.
도 1 내지 도 4는 종래의 조감도 이미지 생성 방법에 대한 개념도.
도 5는 본 발명의 실시예에 따른 차량 운전 보조 장치에 대한 개념도.
도 6 및 도 7은 본 발명의 실시예에 따른 차량 운전 보조 장치를 통한 조감도 이미지의 생성 방법을 설명하기 위한 개념도.
도 8은 본 발명의 실시예에 따른 차량 운전 보조 장치에 대한 블록도.
도 9 내지 도 11은 본 발명의 실시예에 따른 차량 운전 보조 장치에 의해 운전자에게 제공되는 조감도 이미지를 생성하는 방법에 대한 개념도.
도 12 및 도 13은 본 발명의 실시예에 따른 차량 운전 보조 장치를 통한 조감도 이미지 생성 방법을 설명하기 위한 개념도.
도 14 내지 도 17은 본 발명의 실시예에 따른 출력 화면 생성부를 통해 생성된 출력 화면의 예시들을 설명하기 위한 개념도.
도 18은 본 발명의 실시예에 따른 차량 운전 보조 방법에 대한 흐름도.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
본 발명의 일 실시예에 따른 차량 운전 보조 장치를 설명하기 앞서, 종래 기술에 따른 차량 운전 보조 장치에 적용된 조감도 이미지 생성 방법에 대한 설명이 이루어진다. 도 1 내지 도 3은 종래 기술에 따른 조감도 이미지 생성 방법에 대한 개념도이다. 구체적으로, 도 1 내지 도 3에서 좌측의 그림은 차량이 주차 중일 때, 각각 t1, t2 및 t3 시점에서의 후방 카메라 이미지를 나타내고, 도 1 내지 도 3에서 우측 그림은 t1, t2 및 t3 시점에서 촬영된 후방 카메라 이미지를 근거로 생성된 조감도 이미지를 나타낸다.
종래 기술의 차량 운전 보조 장치에 따른 조감도 이미지의 생성 방법을 살펴보면, 먼저, 도 1에 도시된 것처럼 t1 시점에 촬영된 후방 카메라 이미지(ci11)를 조감도 이미지(bi11)로 변환하는 과정이 수행된다. 이때, 도 1의 우측 그림에 도시된 것처럼, 차량(1)에 장착된 카메라의 광각 성능에 따라, 조감도 이미지(bi11)에는 카메라를 통해 표현되는 영역(ca11)과, 표현되지 않는 영역(nsa11)이 존재하게 된다. 이는 조감도 이미지(bi11)가 후방 카메라 이미지(ci11)를 시점 변환함으로써 생성된 이미지이기 때문이다.
그 후, 종래 기술에 따른 차량 운전 보조 장치는 도 2에 도시된 것처럼, t2 시점에 촬영된 후방 카메라 이미지(ci12)를 조감도 이미지(bi12)로 변환하는 과정을 수행한다. 이 경우, 도 1을 참조로 설명된 것과 마찬가지로, 기본적으로 생성되는 조감도 이미지는 도 2의 우측 그림에서 영역(ca12)에 해당하는 부분이 나타날 수 있다. 이는, 도 2의 후방 카메라 이미지(ci12)의 경우, 진행 중인 차량(1)의 위치에 기인하여 전체 주차선(pl11) 중 전체가 아닌 일부만이 나타나기 때문이다. 따라서, 종래 기술의 경우, 전체 주차선(pl11)이 표현된 도 1의 조감도 이미지(bi11)를 추가적으로 합성하는 과정을 거치고, 이에 따라 원래의 후방 카메라 이미지(ci12)만으로는 표현될 수 없었던 영역(nsa12)에 대한 표현 즉, 전체 주차선(ppl11)에 대한 표현이 가능해진다.
마찬가지로, 종래 기술에 따른 차량 운전 보조 장치는 도 3에 도시된 것처럼, t3 시점에 촬영된 후방 카메라 이미지(ci13)를 조감도 이미지(bi13)로 변환하는 과정을 더 수행한다. 이 경우, 도 1 및 도 2를 참조로 설명된 것과 마찬가지로, 기본적으로 생성되는 조감도 이미지는 도 3의 우측 그림에서 영역(ca13)에 해당하는 부분만이 나타날 수 있다. 이는 도 3의 후방 카메라 이미지(ci13)의 경우, 주차가 완료된 차량(1)의 위치에 기인하여 주차선들 중 전체가 아닌 일부만이 나타나기 때문이다. 따라서, 종래 기술의 경우, 앞서 언급된 것과 마찬가지로 전체 주차선(pl11)이 표현된 도 1과, 도 3에 비해 많은 주차선이 표현된 도 2의 조감도 이미지(bi11 및 bi12)를 추가적으로 합성하는 과정을 수행한다. 이에 따라, 종래 기술에 따른 차량 운전 보조 장치는 원래의 후방 카메라 이미지(ci13)만으로는 표현될 수 없었던 영역 (nsa11) 및 영역(nsa12)에 대한 표현 즉, 주차선(ppl11, ppl12)에 대한 표현이 가능해진다.
이러한 종래 기술의 경우, 하나의 카메라로 촬영된 촬영 이미지만으로도 차량 주변에 대한 어라운드 뷰를 구현할 수 있는 장점이 존재한다. 반면, 종래 기술의 경우, 지속적으로 조감도 이미지 간 합성 과정을 수행하므로, 합성되는 주차선(ppl11, ppl12)에 있어서 왜곡이 발생할 가능성이 높다. 다시 말해, 종래 기술은 도 4에 도시된 바와 같이, t2 시점의 조감도 이미지는 t1 시점 및 t2 시점의 후방 카메라 영상을 근거로 변환된 조감도 이미지의 합성 과정이 요구되고, t3 시점의 조감도 이미지는 t1 시점, t2 시점 및 t3 시점의 후방 카메라 영상을 근거로 조감도 이미지들의 합성 과정이 요구된다. 이러한 이미지 합성 과정에서 종래 기술의 경우, 각 단계별로 생성된 조감도 이미지 간의 비교를 수행하고, 각 조감도 이미지에 포함된 주차선들 중 겹치는 영역과 겹치지 않는 영역을 분석한다. 이때, 종래 기술의 경우, 겹치지 않는 영역에 있어서 과거의 조감도 이미지를 현재 조감도 이미지에 합성하는 과정을 거치게 되는데, 이미지 정합의 정확도 문제에 기인하여, 이미지 정합이 올바르게 이루어지지 않거나, 또는 왜곡 등이 발생하는 문제점이 존재한다.
또한, 종래 기술의 경우, 매 시점마다 과거의 조감도 이미지와 현재 조감도 이미지의 비교 과정 및 정합 과정을 반복적으로 수행하여 연산량이 매우 많고, 이에 따라, 처리 장치도 고사양의 장치를 요구하는 문제점이 존재한다.
따라서, 본 발명은 상술한 문제점들을 해소할 수 있는 새로운 차량 운전 보조 장치를 제공하는데 그 목적이 있다.
이하, 본 발명의 실시예에 따른 차량 운전 보조 장치에 대하여 설명하도록 한다. 도 5는 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)에 대한 개념도이다. 도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 차량의 운전을 보조하기 위한 장치로서, 차량(10)에 장착된 카메라(11)로부터 촬영된 후방 촬영 영상을 근거로, 디스플레이부(12)를 통해 운전자에게 조감도 이미지 및 후방 촬영 영상을 동시에 제공할 수 있다.
여기서, 조감도 이미지란 차량의 주변 영역을 위에서 바라본 것 같이 나타낸 이미지로서, 반드시 차량의 중심을 기준으로 수직한 지점을 기준점으로 생성된 이미지를 나타내는 것은 아니다. 즉, 조감도 이미지는 차량을 포함한 주변 영역이 하나의 이미지에 나타나도록 시점 변환된 이미지를 나타낸다. 바람직하게, 이하에서 설명되는 조감도 이미지는 기준점이 차량과 수직하게 설정될 때, 조감도 이미지의 중심에 차량이 표현되는 탑뷰 이미지를 나타낼 수 있다. 다만, 이는 예시일 뿐이고 본 발명은 기준점이 차량 상부의 다양한 지점에 설정되어 다양한 시점에서 조감도 이미지를 생성하는 것도 가능하다.
본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 디스플레이부(12)를 통해 표시될 출력 화면을 생성할 수 있고, 출력 화면은 조감도 이미지 영역 및 실시간 영상 영역을 포함할 수 있다. 여기서, 조감도 이미지 영역에는 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)를 통해 생성된 조감도 이미지 중 일부와 차량 아이콘이 표시될 수 있다.
또한, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 조감도 이미지에서 주차선 등의 왜곡을 방지하고 조감도 이미지의 생성에 요구되는 연산량을 줄이는 것을 그 목적으로 한다. 이를 위해, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 후방 카메라 영상을 근거로 생성된 복수의 조감도 이미지를 기설정된 조감도 이미지 교체 조건에 따라 선택적으로 표시하는 방식을 채택할 수 있다. 물론, 전방 카메라가 포함된 차량의 경우, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 전방 카메라 영상을 근거로 생성된 복수의 조감도 이미지를 기설정된 조감도 이미지 교체 조건에 따라 선택적으로 표시하는 방식을 채택할 수 있다. 이에 대한 설명은 아래에서 도 8을 참조로 다시 설명된다.
실시간 영상 영역에는 카메라(11)를 통해 촬영된 후방 카메라 영상 또는 전방 카메라 영상이 실시간으로 표시될 수 있다. 또한, 카메라 영상에는 운전자의 차량 운전 보조를 위한 조향 가이드 라인이 함께 출력될 수 있다.
위에서 설명된 바와 같이, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 출력 화면을 통해 차량(10) 주변에 대한 조감도 이미지뿐만 아니라, 후방 카메라 영상 또는 전방 카메라 영상을 실시간으로 표시할 수 있어서, 차량의 운전을 지원할 수 있다. 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)에 대한 설명에 앞서, 본 발명의 일 실시예에 따른 조감도 이미지를 생성하는 방법에 대한 개념이 먼저 설명된다.
도 6 및 도 7는 본 발명의 일 실시예에 따른 차량 운전 보조 장치를 통한 조감도 이미지의 생성 방법을 설명하기 위한 개념도이다. 본 발명의 일 실시예에 따른 조감도 생성 방법은 투시 변환을 이용하여 이루어질 수 있다(도 6 참조). 예를 들어, 본 발명의 일 실시예에 따른 조감도 이미지의 생성 방법은 지면상의 이미지의 위치 데이터가 카메라의 위치(R)로부터 초점 거리(f)를 갖는 스크린 평면(T)상으로 투영되는 방식으로 투시 변환을 실행할 수 있다.
보다 상세하게 설명하면, 카메라(11)가 Z-축상의 포인트(R)(0,0,H)에 위치되어, 내려다보는 각도(τ)로 지면(x-y 좌표 평면)상에 이미지를 모니터링한다고 가정하자. 여기서, 아래의 수학식 1에 나타난 바와 같이, 스크린 평면(T)상에 2-차원 좌표(α, β)가 지면 평면상의 좌표(조감도 좌표)로 변환(역투시 변환)될 수 있다.
Figure PCTKR2017006258-appb-M000001
즉, 상기 수학식 1을 이용함으로써, 투영된 영상을(조감도 이미지를 보여주는) 근거로 조감도 이미지를 생성할 수 있다. 다만, 조감도 이미지를 생성하는 방법은 상기 방식 외에 다른 다양한 방법으로 구현될 수 있고, 본 발명의 일 실시예에 따른 조감도 이미지 생성 방법은 상기 방식으로 제한되지 않는다. 즉, 본 발명의 일 실시예에 따른 조감도 이미지 생성 방법은 복수의 이미지를 합성함으로써 조감도 이미지를 생성하는 것이 아닌, 하나의 단일 프레임(이미지 선택부(120)를 통해 선택된 카메라 이미지)을 이용하여 조감도 이미지를 교체하는 방식이라면, 다른 방법으로도 구현될 수 있다.
또한, 본 발명의 일 실시예에 따른 조감도 이미지 생성 방법은 도 7을 참조하면 더 분명해진다. 도 7에서, t 시점에서의 차량(10)과, t 시점에서 일정 시간이 지난 후인 t+1 시점에서의 차량(10a)이 나타난다.
또한, t 시점에 차량(10)의 카메라를 통해 촬영된 후방 카메라 영상이 영역(r1)이라고 가정한다. 이때, 조감도 이미지 생성부(110)는 영역(r1)에 해당하는 후방 카메라 영상을 조감도 이미지로 변환할 수 있다. 즉, t+1 시점에 차량이 r1에 도달할 경우, 차량 주변 영상을 조감도 이미지의 형태로 파악할 수 있으며, 이에 따라 어라운드 뷰의 형태로 차량 주변을 파악할 수 있다.
도 8은 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)에 대한 블록도이다. 상술한 바와 같이, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 카메라(11)와 디스플레이부(12)가 장착된 차량에 적용될 수 있다. 물론, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 카메라(11)와 디스플레이부(12)를 포함한 구성으로 구현되는 것도 가능하다. 여기서, 카메라(11)는 차량에 장착되어 설치되고, 후방 카메라 영상을 촬영하는 기능을 한다. 카메라(11)를 통해 촬영된 후방 카메라 영상은 저장부(14)에 저장될 수 있다. 여기서, 카메라(11)의 설치 위치 또는 종류는 다양하게 변경될 수 있으므로, 본 발명에서는 이를 특정한 것으로 한정하지 않는다.
또한, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 이전 시점들에 촬영된 후방 카메라 영상을 이용하여 조감도 이미지를 생성하고, 출력 화면에 조감도 이미지와 촬영 후방 영상을 동시에 출력할 수 있다. 이를 위해, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 조감도 이미지 생성부(110), 이미지 선택부(120), 화면 생성부(130), 움직임 산출부(140) 및 출력 화면 요청부(150)를 포함하여 구성될 수 있다. 여기서, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)에 포함된 각 구성들은 본 발명의 이해를 돕기 위해 기능별로 그 구성을 구분한 것이고, 실제로는 CPU, MPU 또는 GPU와 같은 하나의 처리 장치를 통해 구현되는 것도 가능하다. 이제, 도 8을 참조로 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)에 대한 설명이 이루어진다.
아래에서는 차량에 후방 카메라가 장착되고, 차량이 후진 상태로 움직일 때, 후방 카메라로부터 촬영된 후방 카메라 영상을 근거로 조감도 이미지를 생성하는 기술 위주로 설명이 이루어진다. 다만, 이는 예시일 뿐이고, 차량에 전방 카메라가 장착되고, 차량이 전방 방향으로 움직일 때 전방 카메라를 통해 촬영된 전방 카메라 영상을 근거로 조감도 이미지를 생성하는 기술도 동일한 기술 사상이 적용될 수 있다. 따라서, 본 발명의 권리 범위는 후방 카메라를 이용한 기술뿐만 아니라, 전방 카메라를 이용한 기술도 포함할 수 있다.
출력 화면 요청부(150)는 운전자의 주차 또는 후진 의도를 판단 또는 운전자의 화면 출력 요청을 인지하고, 운전자가 주차 또는 후진 또는 화면 출력을 원하는 것으로 판단될 때, 출력 화면 요청 신호를 생성 및 출력하는 기능을 한다. 예를 들어, 출력 화면 요청 신호는 운전자가 변속 레버를 후진으로 설정할 때, 또는 입력부(미도시)를 통해 출력 화면을 요청할 때 출력될 수 있다.
조감도 이미지 생성부(110)는 카메라(11)를 통해 촬영된 후방 카메라 영상을 이용하여 조감도 이미지를 생성하는 기능을 한다. 여기서, 조감도 이미지 생성부(110)를 통해 조감도 이미지를 생성하는 방법에 대한 설명은 위에서 도 6 및 도 7을 참조로 상세히 이루어졌으므로, 추가적인 설명은 생략한다. 또한, 조감도 이미지 생성부(110)를 통해 생성된 조감도 이미지는 저장부(14)에 저장될 수 있다.
또한, 조감도 이미지 생성부(110)는 매 시점마다 후방 카메라 영상을 근거로 조감도 이미지를 생성할 수 있다. 다만, 이는 예시일 뿐이고, 조감도 이미지 생성부(110)는 기설정된 주기마다 또는, 기설정된 차량의 이동 거리에 따라 조감도 이미지를 생성할 수 있다.
이미지 선택부(120)는 조감도 이미지 생성부(110)를 통해 생성된 조감도 이미지를 선택하고, 선택된 조감도 이미지를 화면 생성부(130)로 전달하는 기능을 한다. 구체적으로, 이미지 선택부(120)는 조감도 이미지 생성부(110)를 통해 생성된 조감도 이미지들 중 하나의 조감도 이미지를 선택하고, 선택된 조감도 이미지를 화면 생성부(130)로 전달할 수 있다.
즉, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 후방 카메라 영상에 포함된 복수의 프레임들을 연속적으로 합성함으로써 조감도 이미지를 생성하는 것이 아닌, 기설정된 주기마다 생성된 복수의 조감도 이미지들 중 이미지 선택부(120)를 통해 선택된 하나의 조감도 이미지를 운전자에게 제공하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 아래에서 다시 언급되는 바와 같이, 설정된 조감도 이미지 교체 조건에 따라 새로운 조감도 이미지를 선택하고, 기존 조감도 이미지를 새롭게 선택된 조감도 이미지로 교체함으로써, 운전자에게 조감도 이미지를 제공하는 것을 특징으로 한다.
만일, 종래 기술과 같이 복수의 후방 카메라 영상의 프레임들을 합성하면서 조감도 이미지를 생성하게 되면, 복수의 조감도 이미지들간 합성 과정에서, 그리고 다양한 다른 원인들에 의해 주차선에 왜곡이 발생할 가능성이 높다. 이는 매 시점마다 촬영되는 후방 카메라 영상 내에서 주차선의 위치, 길이 및 방향 등이 상이할 수 있어서, 정확한 정합이 어렵기 때문이다. 뿐만 아니라, 종래 기술의 경우 지속적으로 조감도 이미지를 생성하고 디스플레이하는 과정을 거치기에 연산량이 높고, 이에 따라 저사양의 처리 장치로는 원하는 성능을 구현하기 어려운 문제점이 존재한다. 이에 따라, 본 발명의 일 실시예에 따른 이미지 선택부(120)는 하나의 조감도 이미지를 선택하여 운전자에게 제공하되, 설정된 조감도 이미지 교체 조건을 충족할 때마다 새로운 조감도 이미지로 기존 조감도 이미지를 교체하는 방법을 제공한다.
화면 생성부(130)는 이미지 선택부(120)를 통해 선택된 조감도 이미지의 일부분과, 카메라(11)를 통해 촬영된 후방 카메라 영상을 표시하기 위한 출력 화면을 생성하는 기능을 한다. 여기서, 출력 화면은 차량에 장착된 디스플레이부(12)를 통해 운전자에게 제공되는 화면을 나타낸다. 또한, 출력 화면은 조감도 이미지 영역 및 실시간 영상 영역을 포함할 수 있다. 물론, 다른 예시로서 차량에 장착된 카메라가 차량의 전방을 촬영하는 경우, 출력 화면의 실시간 영상 영역에는 전방 카메라 영상이 실시간으로 표시될 수 있다.
출력 화면 중 조감도 이미지 영역에는 조감도 이미지 생성부(110)를 통해 생성되고, 이미지 선택부(120)를 통해 선택된 조감도 이미지 중 일부가 표시될 수 있다. 뿐만 아니라, 조감도 이미지 영역에는 조감도 이미지에 차량 아이콘을 더 표시할 수 있다. 이에 따라, 운전자가 디스플레이부(12)를 볼 때, 출력 화면에 포함된 조감도 이미지 영역을 참조함으로써, 차량 주변에 대한 정보와 현재 차량이 배경 중 어디에 있는지 쉽게 파악할 수 있다. 또한, 조감도 이미지 영역에 조감도 이미지 중 전체가 아닌 일부가 표시되는 이유는 운전자의 주차를 돕거나, 또는 차량 주변의 장애물이 보다 명확히 나타나도록 현재 차량의 위치를 기준으로 기설정된 거리 내의 관심 영역을 표시하기 위함이다.
또한, 이미지 선택부(120)는 설정된 조감도 이미지 교체 조건의 충족 여부를 판단하고, 조감도 이미지 교체 조건에 충족될 시, 복수의 조감도 이미지들 중 새로운 조감도 이미지를 선택할 수 있다. 이는 차량의 움직임 등으로 인해, 차량의 위치가 지속적으로 변하게 되므로, 차량의 현재 위치를 기준으로 보다 정확한 조감도 이미지를 운전자에게 제공하기 위함이다.
이렇게 이미지 선택부(120)로부터의 판단 결과, 설정된 조감도 이미지 교체 조건에 충족되어 새로운 조감도 이미지가 선택되면, 새롭게 선택된 조감도 이미지는 화면 생성부(130)로 전달된다. 이때, 화면 생성부(130)는 이전 조감도 이미지를 새롭게 선택된 조감도 이미지로 교체하는 과정을 거친다. 상기 과정을 통해, 디스플레이부(12)를 통해 출력되는 출력 화면은 설정된 조감도 이미지 교체 조건에 충족되는 시점마다 새로운 조감도 이미지가 교체되어 디스플레이될 수 있다.
여기서, 조감도 이미지 교체 시점은 차량의 이동 거리를 근거로 판단될 수 있다. 이를 위해, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 움직임 산출부(140)를 통해 차량의 움직임 여부와, 차량의 이동 거리를 산출할 수 있다. 이하의 설명에서 조감도 이미지 교체 시점을 판단하는 조건은 차량의 이동 거리를 근거로 이루어지는 것으로 설명되나 이는 예시일 뿐이고 시점 등과 같은 다양한 조건들을 이용하여 조감도 이미지 교체 시점을 결정하는 것도 생각해볼 수 있다. 다만, 차량의 위치를 고려하기 위해 차량의 이동 거리를 근거로 조감도 이미지 교체 시점을 판단하는 것이 가장 바람직하다.
움직임 산출부(140)는 차량의 움직임 여부와 차량의 이동 거리를 산출하는 기능을 한다. 구체적으로, 움직임 산출부(140)는 차량에 장착된 센서부(13)로부터 감지 신호를 수신하고, 감지 신호를 근거로 차량의 움직임 여부를 판단할 수 있다. 여기서, 센서부(13)는 차량의 움직임과 회전을 감지하고, 움직임 및 회전에 따른 움직임 감지 신호 및 회전 감지 신호를 출력할 수 있다. 이를 위해, 센서부(13)는 휠 펄스 센서 및 스티어링 휠 센서를 포함할 수 있다.
움직임 산출부(140)는 센서부(13)를 통한 감지 신호를 분석하고, 차량의 움직임 여부를 판단할 수 있다. 움직임 산출부(140)는 판단 결과, 차량의 움직임이 발생한 것으로 판단된 경우 차량의 이동 거리를 산출할 수 있다. 이렇게 산출된 차량의 이동 거리는 이미지 선택부(120)로 전달될 수 있다.
여기서, 움직임 산출부(140)를 통해 이루어지는 차량의 움직임 여부 판단과 차량의 이동 거리를 산출하는 방법이 센서부(13)에서 출력된 감지 신호를 근거로 이루어지는 것으로 설명되었으나, 이는 예시일 뿐이고 카메라 영상의 분석을 통해 이루어지는 것도 가능하다. 이러한 영상 분석 기법의 경우 다양한 방법들이 이미 잘 알려져 있고, 본 발명은 특정 영상 분석 방식만으로 제한되지 않으므로 이에 대한 추가적인 설명은 생략한다.
움직임 산출부(140)로부터 차량의 이동 거리가 산출되면, 이미지 선택부(120)는 차량의 이동 거리와 기설정된 임계 교체 이동 거리를 비교할 수 있다. 이미지 선택부(120)로부터의 판단 결과, 차량의 이동 거리가 기설정된 임계 교체 이동 거리 이상인 경우, 이미지 선택부(120)는 복수의 조감도 이미지들 중 새로운 조감도 이미지를 선택할 수 있다.
여기서, 새로운 조감도 이미지는 이전 조감도 이미지 생성 시점 이후의 조감도 이미지들 중에서 선택되는 것이 바람직하다. 이는 차량의 움직임에 따라 너무 과거의 이미지는 차량의 현재 위치를 기준으로 너무 먼 곳의 위치이거나, 전혀 다른 지점일 확률이 높기 때문이다. 따라서, 이미지 선택부(120)는 설정된 조감도 이미지 교체 조건에 충족될 경우, 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이후에 생성된 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택할 수 있다. 또한, 이미지 선택부(120)는 설정된 조감도 이미지 교체 조건에 충족될 경우, 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이후에 생성된 조감도 이미지들 중 차량의 이동 거리가 임계 교체 이동 거리 미만인 시점에 생성된 조감도 이미지를 새로운 조감도 이미지로 선택하는 것도 가능하다. 바람직하게는, 이미지 선택부(120)는 설정된 조감도 이미지 교체 조건에 충족될 때, 차량의 현재 위치를 고려하여 현재 위치에 가장 인접한 지점에서 생성된 조감도 이미지를 선택할 수 있다.
또한, 이미지 선택부(120)는 새로운 조감도 이미지의 선택 시, 최근의 조감도 이미지가 아닌, 운전자에게 제공되는 조감도 이미지의 생성 시점보다 더 과거에 생성된 조감도 이미지를 선택하는 경우도 존재한다. 이는 예를 들어, 차량이 주차선 방향으로 후진을 하다가, 기어를 변경하여 전진하는 경우 그러할 수 있다. 다시 말해, 이미지 선택부(120)는 일반적으로는 최근에 생성된 조감도 이미지를 새롭게 선택함으로써 조감도 이미지를 교체하되, 기어 변경을 통해 차량이 전진하는 경우 운전자에게 제공되는 조감도 이미지의 생성 시점보다 더 과거에 생성된 조감도 이미지를 선택할 수 있다.
물론, 이미지 선택부(120)는 기어 변경 시에는 추가적인 조감도 이미지를 선택하지 않고 현재의 조감도 이미지를 유지하다가, 설정된 조감도 이미지 교체 조건에 충족시마다 새로운 조감도 이미지를 선택하는 것도 가능하다.
또한, 앞서 언급한 것처럼 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 후방 카메라가 적용된 차량뿐만 아니라, 전방 카메라가 적용된 차량에도 적용될 수 있다. 즉, 차량에 후방 카메라가 아닌 전방 카메라가 적용되어 있고, 차량이 전진 방향에서 후진 방향으로 변경될 때에도, 운전자에게 제공되는 조감도 이미지의 생성 시점보다 더 과거에 생성된 조감도 이미지를 선택할 수 있다.
이미지 선택부(120)는 반복적으로 조감도 이미지의 교체 여부를 판단하고, 판단 결과를 근거로 조감도 이미지를 선택하며, 선택된 조감도 이미지를 화면 생성부(130)로 전달할 수 있다. 이에 따라, 운전자는 디스플레이부(12)를 통해 차량의 이동 거리에 따라 교체된 조감도 이미지를 볼 수 있다.
또한, 이미지 선택부(120)는 차량의 이동 거리가 기설정된 임계 교체 이동 거리 미만인 경우 대기 과정을 수행할 수 있다. 이때, 화면 생성부(130)는 차량의 이동 거리에 따라 조감도 이미지 영역에 표시되는 조감도 이미지의 일부분을 다른 부분으로 변경하여, 운전자에게 출력 화면을 제공할 수 있다. 즉, 화면 생성부(130)는 차량의 이동 거리를 반영하여 차량 이미지의 배경을 변경함으로써, 운전자에게 출력 화면을 제공할 수 있다.
상술한 구성들에 따라, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 디스플레이부(12)를 통해 차량 주변의 조감도 이미지와 후방 카메라 영상들을 동시에 디스플레이할 수 있다. 또한, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 출력 화면의 조감도 이미지 영역을 통해, 설정된 조감도 이미지 교체 조건의 충족 시점마다 새로운 조감도 이미지로 교체하여, 조감도 이미지를 디스플레이할 수 있다.
그리고, 앞선 설명에서 움직임 산출부(140)는 차량의 이동 거리를 산출하는 것으로 설명되었다. 여기서, 움직임 산출부(140)는 상술한 기능 외에, 차량의 회전 여부(구체적으로, 차량의 세로축 방향과 바퀴 방향이 일치하지 않은 상태로 움직이는 지의 여부)와, 회전 발생 시 차량의 회전 반경 및 바퀴 각도(또는 회전 각도)를 더 산출할 수 있다. 여기서, 움직임 산출부(140)를 통해 이루어지는 차량의 회전 반경의 산출은 센서부(13)를 통해 감지된 차량의 스티어링 휠의 각도 또는 차량의 전륜 또는 후륜의 각도를 근거로 이루어질 수 있다. 차량의 이동 거리, 회전 반경 및 바퀴 각도를 산출하는 방식은 다양한 방식이 잘 알려져 있기에, 이에 대한 추가적인 설명은 생략한다.
화면 생성부(130)는 움직임 산출부(140)에서 차량이 회전된 것으로 판단된 경우, 움직임 산출부(140)를 통해 산출된 바퀴 각도에 따라 조감도 이미지 영역에 포함된 조감도 이미지를 회전시켜 디스플레이할 수 있다. 구체적으로, 화면 생성부(130)는 움직임 산출부(140)를 통해 산출된 차량의 바퀴 각도와 차량의 이동 거리를 고려하여, 차량의 바퀴 각도 및 이동 거리에 대응하도록 조감도 이미지 영역에 포함된 조감도 이미지를 회전 이동시킬 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 이전 시점들의 후방 카메라 영상을 근거로 조감도 이미지를 생성하고 디스플레이하되, 설정된 조감도 이미지 교체 조건에 따라 디스플레이부(12)를 통해 디스플레이되는 조감도 이미지를 교체할 수 있다. 뿐만 아니라, 출력 화면에서 조감도 이미지 영역에 포함된 조감도 이미지는 차량의 회전 반경에 따라 회전되어 표시될 수 있는 것을 특징으로 한다.
이에 따라, 본 발명의 차량 운전 보조 장치(100)는 이미지의 합성 과정 없이도 운전자에게 조감도 이미지를 제공할 수 있고, 종래 기술과 같이 과거 이미지와 현재 이미지를 합성하지 않기에, 이미지 정합 과정에 의해 야기되는 주차선의 왜곡 등이 전혀 발생하지 않는 장점이 있다. 여기서, 본 발명의 일 실시예에 따른 차량 운전 보조 장치를 통해 조감도 이미지를 생성하는 방법은 다음의 도 9, 도 10 및 도 11를 참조하면 보다 분명해진다.
도 9, 도 10 및 도 11는 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)를 통해, 운전자에게 제공되는 조감도 이미지를 생성하는 과정을 나타내는 개념도이다. 도 9, 도 10 및 도 11에서 좌측 그림 즉, 각 도면의 (a) 부분은 t1, t2 및 t3 시점에 촬영된 후방 카메라 영상을 나타내고, 도 9, 도 10 및 도 11에서 우측 그림 즉, 각 도면의 (b) 부분은 각 시점에 운전자에게 표시되는 조감도 이미지를 나타낸다. 여기서, 도 9의 (b) 및 도 10의 (b)에 도시된 조감도 이미지는 도 9의 (a)에 도시된 t1 시점의 후방 카메라 영상을 근거로 생성된 조감도 이미지로 가정된다. 그리고, 도 9의 (b), 도 10의 (b) 및 도 11의 (b)에서 차량 아이콘의 위치는 서로 상이하게 도시되었으나, 이는 예시일 뿐이고 조감도 이미지 영역에 고정되어 배치되는 것도 가능하다.
상술한 바와 같이, 본 발명의 일 실시예에 따라 운전자에게 디스플레이되는 조감도 이미지는 현재 시점을 기준으로 이전 시점들에 촬영된 후방 카메라 영상들 중 하나의 후방 카메라 이미지를 근거로 생성된 것을 특징으로 한다, 물론, 현재 시점의 후방 카메라 이미지를 근거로 조감도 이미지가 디스플레이되는 것도 가능하나, 이 경우 이미 차량이 지나간 영역에 대해서는 표현이 어렵다. 따라서, 운전자에게 디스플레이되는 조감도 이미지는 가급적 과거 시점의 후방 카메라 이미지를 근거로 생성된 것이 바람직하다. 이에 따라, t1 및 t2 시점에 운전자에게 표시되는 조감도 이미지는 t2 시점을 기준으로 t1 시점만이 이전 시점에 해당되기에, t1 시점의 후방 카메라 영상을 근거로 생성된 조감도 이미지가 디스플레이될 수 있다.
이에 따라, t1 시점 및 t2 시점에는 동일한 조감도 이미지가 디스플레이부를 통해 표시될 수 있다. 다만, 각 시점마다 모두 동일한 조감도 이미지가 출력 화면 상에 나타나면, 운전자는 운전자의 현재 위치를 파악할 수 없기에, 차량의 이동 거리를 근거로 조감도 이미지 영역을 통해 표시되는 조감도 이미지의 부분을 변경함으로써 즉, 조감도 이미지를 이동시킴으로써 운전자에게 디스플레이하는 방식이 이루어질 수 있다(도 10의 (b) 참조).
이제, t3 시점에서 설정된 조감도 이미지 교체 조건이 충족되었다고 가정한다. 즉, t1 시점과 t2 시점 사이의 차량의 이동 거리(d1)와 t2 시점과 t3 시점 사이의 차량의 이동 거리(d2)를 합친 차량의 총 이동 거리가 기설정된 임계 교체 이동 거리 이상인 상황을 가정한다.
이 경우, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 복수의 조감도 이미지들 중 하나의 조감도 이미지를 더 선택할 수 있다. 다만, 본 예시에서 t1 시점 생성된 조감도 이미지는 이미 운전자에게 디스플레이되고 있으므로, t2 시점에 생성된 조감도 이미지를 선택하여 운전자에게 제공할 수 있다. 도 11의 (b)로 도시된 운전자에게 제공되는 조감도 이미지는 도 10의 (a)에 도시된 t2 시점에 생성된 조감도 이미지인 것으로 가정된다.
즉, t3 시점의 후방 카메라 영상을 보면, 차량이 주차선의 횡방향 선에 거의 근접하여 종방향 선이 후방 카메라 영상에 포함되어 있지 않지만, 도 10의 (a)의 후방 카메라 영상을 근거로 조감도 이미지가 생성되었기에, 주차선 중 종방향 선들도 그 일부가 나타남을 알 수 있다. 다만, 도 10의 (a)의 후방 카메라 영상에도 주차선 전체가 포함된 것은 아니기에, 전체 주차선 대비 미표현 주차선(nsl2)이 발생할 수 있다.
이제, 도 12 및 도 13을 참조로, 본 발명의 일 실시예에 따른 조감도 이미지 생성 방법에 대한 설명이 이루어진다. 구체적으로, 도 12는 본 발명의 일 실시예에 따른 조감도 이미지 생성부(110)를 통해 조감도 이미지를 생성하는 방법을 설명하기 위한 개념도이고, 도 13은 본 발명의 일 실시예에 따라 차량의 이동 거리에 따라 조감도 이미지를 선택하는 방법을 설명하기 위한 개념도이다.
앞서 도 1 내지 도 4를 참조로 설명한 바와 같이, 종래 기술의 경우, t1 시점의 조감도 이미지는 t1 시점의 촬영 이미지를 이용하여 생성되고, t2 시점의 조감도 이미지는 t1 및 t2 시점의 촬영 이미지를 이용하여 생성되며, t3 시점의 조감도 이미지는 t1, t2 및 t3 시점의 촬영 이미지를 이용하여 생성됨을 알 수 있다. 구체적으로, 종래 기술은 t2 시점에는 t1 시점의 조감도 이미지와 t2 시점의 조감도 이미지를 합성하여 합성된 조감도 이미지를 운전자에게 디스플레이할 수 있고, t3 시점의 경우, t1, t2 및 t3 시점의 조감도 이미지 또는 t2 및 t3 시점의 조감도 이미지를 합성함으로써, 합성된 조감도 이미지를 운전자에게 디스플레이할 수 있다.
이에 따라, 종래 기술에 따른 조감도 이미지 생성 방법의 경우, 현재 시점의 촬영 이미지에 주차선 전체가 포함되지 않더라도, 과거의 이미지에서 주차선을 추출하고, 이를 현재 조감도 이미지에 정합하는 과정을 거치므로, 운전자는 디스플레이부를 통해 전체 주차선의 모습을 파악할 수 있다.
반면, 본 발명의 일 실시예에 따른 조감도 이미지 생성 방법은 종래 기술과는 달리 조감도 이미지들을 지속적으로 합성하는 것이 아닌, 하나의 조감도 이미지를 운전자에게 제공하거나, 또는 설정된 조감도 이미지 교체 조건에 따라, 기존의 조감도 이미지를 새로운 조감도 이미지로 교체하여 디스플레이하는 방식을 채택한다.
구체적으로, 본 발명의 일 실시예에 따른 조감도 이미지 생성 장치는 먼저, 도 12에 도시된 것처럼 조감도 이미지 생성부를 통해 후방 카메라 영상을 근거로 조감도 이미지를 생성하는 과정을 거친다. 도 12에서, 도 12의 상부에 있는 3개의 그림은 각각 t1, t2 및 t3 시점에 촬영된 후방 카메라 영상의 프레임을 나타내고, 도 12의 하부에 있는 3개의 그림은 t1, t2 및 t3 시점에서 각 시점의 후방 카메라 영상을 시점 변환함으로써 생성된 각 시점의 변환 조감도 이미지를 나타낸다. 앞서 설명한 것처럼, 본 예시에서는 본 발명의 이해를 돕기 위해 각 시점마다 조감도 이미지가 생성되는 것으로 설명되었으나, 이는 예시일 뿐이고 각 시점이 아닌 기설정된 주기에 따라 또는 차량(10)의 이동 거리에 따라 조감도 이미지의 생성이 이루어지는 것도 가능하다.
도 12에서 t1 시점의 변환 조감도 이미지(cbi21)를 살펴보면, t1 시점의 후방 카메라 영상(ci21)에 전체 주차선이 표현된 점에 기인하여, 변환 조감도 이미지(cbi21) 내의 주차선도 모두 표현될 수 있다. 반면, t2 시점의 변환 조감도 이미지(cbi22)를 살펴보면, t2 시점의 후방 카메라 영상(ci22)에 전체 주차선 중 일부만이 표현된 점에 기인하여, 변환 조감도 이미지(cbi22) 내의 주차선은 그 전체가 표현되는 것이 아닌 미표현 주차선(nsl22)이 발생한다. 마찬가지로, t3 시점의 변환 조감도 이미지(cbi23)를 살펴보면, t3 시점의 후방 카메라 영상(ci23)에 전체 주차선 중 일부만이 표현된 점에 기인하여, 변환 조감도 이미지(cbi23) 내의 주차선은 그 전체가 표현되는 것이 아닌 미표현 주차선(nsl23)이 발생한다.
도 13을 참조하면, 본 발명의 일 실시예에 따른 각 시점에서 조감도 이미지를 선택하는 방법에 대한 예시가 도시된다. 도 13의 상부 그림은 t1, t2 및 t3 시점에 시점 변환되어 생성된 각 시점의 변환 조감도 이미지를 나타내고, 도 13의 하부 그림은 t1, t2 및 t3 시점에 실제로 차량의 디스플레이부를 통해 디스플레이되는 조감도 이미지를 나타낸다.
상술한 것처럼, t1 시점의 경우, 차량의 디스플레이부에는 t1 시점에 생성된 변환 조감도 이미지(cbi21)가 표시될 수 있다. 그 후, t2 시점이 될 때 조감도 이미지 교체 조건이 충족되었는지 판단하는 과정이 수행될 수 있다. 앞서 언급된 것처럼, 조감도 이미지는 차량의 이동 거리가 임계 교체 이동 거리 이상인 경우, 교체될 수 있다. 본 예시에서는 t2 시점에서 차량의 이동 거리(d1)가 임계 교체 이동 거리 미만인 상황을 가정한다. 이 경우, t2 시점에 차량의 디스플레이부에는 t1 시점에 생성된 변환 조감도 이미지(cbi21)가 표시될 수 있다. 다만, 앞서 언급한 것처럼, 시점이 변경되었으나 조감도 이미지의 동일한 영역이 계속 디스플레이되면, 조감도 이미지에서 차량의 현재 위치를 파악하기 어렵다. 이에 따라 본 발명의 일 실시예에 따른 화면 생성부는 차량의 이동 거리에 따라 조감도 이미지 중 다른 부분을 표시함으로써 디스플레이를 수행할 수 있다. 물론, 본 발명의 일 실시예에 따른 화면 생성부는 차량의 이동 거리에 따라 차량 아이콘의 위치를 변경하는 것도 가능하다.
그 후, t3 시점이 될 때 조감도 이미지 교체 조건이 충족되었는지 판단하는 과정이 더 수행될 수 있다. 만일, t3 시점에 조감도 이미지 교체 조건이 충족된 경우, t3 시점에 운전자에게 디스플레이되는 조감도 이미지(bi23)는 과거 조감도 이미지 생성 시점인 t1 시점 이후에 해당하는 조감도 이미지들 중 하나가 선택될 수 있다. 본 예시에서는 t2 시점의 변환 조감도 이미지(cbi22)가 상기 조건에 해당하므로, t3 시점에 운전자에게 제공되는 조감도 이미지(bi23)는 t2 시점의 변환 조감도 이미지(cbi22)를 기반으로 출력될 수 있다. t2 시점의 조감도 이미지(bi22)와 마찬가지로, t3 시점에 운전자에게 디스플레이되는 조감도 이미지(bi23)는 차량의 이동 거리에 따라 조감도 이미지 중 다른 부분이 표시되어 디스플레이될 수 있다. 물론, 본 발명의 일 실시예에 따른 화면 생성부는 차량의 이동 거리에 따라 차량 아이콘의 위치를 변경하는 것도 가능하다.
도 12 및 도 13을 참조로 설명한 바와 같이, 본 발명의 일 실시예에 따른 조감도 이미지 생성 방법은 과거의 조감도 이미지들을 통한 정합 또는 합성 과정을 수행하는 것이 아닌, 복수의 조감도 이미지들 중 조감도 이미지 교체 시점마다 새롭게 조감도 이미지를 선택하고, 이전의 조감도 이미지를 선택된 조감도 이미지로 교체하는 방식을 채택한다.
이에 따라, 본 발명의 일 실시예에 따른 조감도 이미지 생성 방법에 따르면, t2 시점의 조감도 이미지에는 t1 시점의 과거 후방 카메라 이미지에 주차선 모두가 표현되었기에, 누락된 주차선 없이 모든 주차선이 디스플레이부를 통해 운전자에게 표현될 수 있다. 반면, t3 시점에 조감도 이미지 교체 조건이 충족되어 t2 시점에 생성된 조감도 이미지를 근거로 디스플레이를 수행하는 경우, t2 시점의 과거 후방 카메라 이미지에 주차선 전체가 포함되어 있지 않으므로, t3 시점에 운전자에게 제공되는 조감도 이미지(cb23)에는 주차선 전체가 나타나는 것이 아닌, 미표현 주차선(nsl2)이 발생할 수 있다. 물론, t3 시점의 후방 카메라 영상(ci23)에는 주차선 중 세로선 전체가 나타나지 않으나, t2 시점의 후방 카메라 영상(ci22)에는 주차선의 세로선 중 일부가 나타나 있어, t3 시점에 운전자에게 디스플레이되는 조감도 이미지에는 주차선 중 일부 선(sl2)이 나타날 수 있다.
상술한 바와 같이, 종래 기술의 경우 과거 이미지들을 지속적으로 합성함으로써 전체 어느 시점에도 전체 주차선이 표현될 수 있는 장점이 있다. 반면, 종래 기술의 경우, 정합 과정에서 주차선의 정합이 완벽히 이루어지지 않아 주차선에 왜곡이 발생할 가능성이 높다.
반대로, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)에 따르면, 시점에 따라 주차선 전체가 표현되지 않을 수도 있는 단점이 있다. 반면, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 하나의 단일 이미지를 근거로 조감도 이미지가 생성되기에 주차선 등에 왜곡 등이 발생하지 않는 장점이 있다.
도 14, 도 15, 도 16 및 도 17는 본 발명의 일 실시예에 따른 차량 운전 보조 장치로부터 생성되어, 디스플레이부를 통해 디스플레이되는 출력 화면들에 대한 예시를 도시한다. 본 발명의 일 실시예에 따른 차량 운전 보조 장치를 통해 생성된 출력 화면은 도 14 및 도 15에 도시된 배치를 가질 수 있다. 즉, 화면 생성부(130)는 도 14에 도시된 것처럼 조감도 이미지 영역(da1)이 실시간 영상 영역(da2) 내에서 섬네일(thumbnail) 형태로 배치되게 하거나, 또는 도 15에 도시된 것처럼 조감도 이미지 영역(da1)과 실시간 영상 영역(da2)을 분리함으로써 출력 화면을 생성할 수 있다. 예를 들어, 차량에 장착된 카메라의 성능이 저사양일 때(예를 들어, SD 급 카메라일 때), 조감도 이미지 영역(da1)은 섬네일 형태로 배치되는 것이 바람직하고, 카메라의 성능이 고사양일 때(예를 들어, HD 급 이상의 카메라일 때), 조감도 이미지 영역(da1)과 실시간 영상 영역(da2)은 서로 분리되어 표시되는 것이 바람직할 수 있다. 이는 단지 예시일 뿐이고, 관리자 또는 운전자의 설정에 따라 다양하게 변경될 수 있다.
또한, 본 발명의 일 실시예에 따른 차량 운전 보조 장치(100)는 도 16 및 도 17에 도시된 바와 같이, 2개의 조감도 이미지 영역(da1, da3)과, 하나의 실시간 영상 영역(da2)을 포함하는 출력 화면을 생성할 수 있다. 앞선 예시들과 동일하게, 제1 조감도 이미지 영역(da1)에는 이미지 선택부를 통해 선택된 조감도 이미지가 표시될 수 있고, 실시간 영상 영역(da2)에는 카메라를 통해 촬영된 차량 후방 영상이 실시간으로 표시될 수 있다. 반면, 제2 조감도 이미지 영역(da3)에는 현재 시점에 생성된 조감도 이미지가 표시될 수 있다. 즉, 앞선 설명에서 출력 화면에는 과거 시점에 생성된 조감도 이미지가 운전자에게 제공되는 것으로 설명되었으나, 과거 시점의 조감도 이미지만을 사용하게 되면, 차량 주변에 갑작스럽게 움직이는 물체가 나타날 경우 이를 정확히 알기 어렵다.
예를 들어, 현재 시점을 t2라고 하고, 제1 조감도 이미지 영역(da1)을 통해 표시되는 조감도 이미지의 생성 시점이 t1이라고 가정한다. 이때, 제1 조감도 이미지 영역(da1)에는 t1 시점에 생성된 조감도 이미지가 그대로 표시될 수 있고, 제2 조감도 이미지 영역(da2)에는 t2 시점에 생성된 조감도 이미지가 표시될 수 있다. 다시 말해, 본 발명의 일 실시예에 따른 차량 운전 보조 장치는 제2 조감도 이미지 영역(da3)을 통해 과거 시점의 조감도 이미지뿐만 아니라, 현재 시점의 조감도 이미지도 함께 확인할 수 있어서, 갑작스럽게 움직이는 물체가 나타나더라도 이를 정확히 파악할 수 있다.
또한, 2개의 조감도 이미지 영역(da1 및 da2)의 경우, 도 16과 같이 과거 시점의 조감도 이미지와 현재 시점의 조감도 이미지의 동일한 영역을 표시할 수 있다. 또한, 다른 방법으로서, 2개의 조감도 이미지 영역(da1 및 da2)은 도 12에 도시된 것처럼, 현재 시점의 조감도 이미지가 출력되는 제2 조감도 이미지 영역(da2)과 과거 시점의 조감도 이미지가 출력되는 제1 조감도 이미지 영역(da1)은 서로 다른 영역이 출력될 수 있다.
구체적으로, 도 12에 도시된 예시의 경우, 현재 시점을 t3라고 하고, 제1 조감도 이미지 영역(da1)을 통해 표시되는 조감도 이미지의 생성 시점이 t1이라고 가정한다. 이때, 제1 조감도 이미지 영역(da1)에는 t1 시점에 생성된 조감도 이미지가 그대로 표시될 수 있고, 제2 조감도 이미지 영역(da2)에는 t3 시점에 생성된 조감도 이미지가 표시될 수 있다. 여기서, 도 17에 도시된 예시는 현재 시점의 조감도 이미지는 차량 후방의 확인을 위해, 그리고 과거 시점의 조감도 이미지는 차량의 측방 및 전방의 확인을 위해 각각 영역을 구분하고, 각 영역에 조감도 이미지가 포함된 예시를 나타낸다.
즉, 운전자의 경우, 차량이 이미 지나간 영역에 비해 차량이 진행되어야 하는 후방 영역에 대한 관심도가 더 높고, 앞서 언급한 바와 같이 차량 후방에 갑작스럽게 물체가 나타나서 사고가 발생하는 상황을 방지해야 한다. 이에 따라, 본 발명의 일 실시예에 따른 차량 운전 보조 장치는 도 17에 도시된 것처럼 차량 후방은 제2 조감도 이미지 영역(da2)을 통해 현재 시점의 조감도 이미지를 확인하고, 차량의 측방 및 전방은 제1 조감도 이미지 영역(da1)에 포함된 과거 시점의 조감도 이미지를 이용할 수 있다.
앞서 언급한 것처럼, 본 발명의 일 실시예에 따른 차량 운전 보조 장치는 후방 카메라가 적용된 차량뿐만 아니라, 전방 카메라가 적용된 차량에도 적용될 수 있다. 이 경우, 실시간 영상 영역(da2)에는 카메라를 통해 촬영된 차량 전방 영상이 실시간으로 표시될 수 있고, 제2 조감도 이미지 영역(da3)에는 현재 시점에 생성되는 차량 전방 영상에 대한 조감도 이미지의 일부가 표시될 수 있다. 물론, 제1 조감도 이미지 영역(da1)에는 이전 시점에 생성된 조감도 이미지 예를 들어, 차량을 통해 이미 지나간 영역에 대한 조감도 이미지가 표시될 수 있다.
이에 따라, 전방 카메라가 적용된 차량에 본 발명의 일 실시예에 따른 차량 운전 보조 장치가 적용될 경우, 운전자가 운전을 할 동안 차량 전방 및 측방에 존재하는 장애물들을 실시간으로 출력 화면을 통해 파악할 수 있게 되고, 이에 따라 장애물과 차량이 접촉하게 되는 상황을 방지하는데 도움을 줄 수 있다.
다시 말해, 본 발명의 일 실시예에 따른 차량 운전 보조 장치는 도 17에 도시된 예시와 같이, 실시간 영상 영역(da2)뿐만 아니라, 서로 분리되어 배치된 2개의 조감도 이미지 영역(da1, da3)을 통해 차량 주변 영역을 직관적으로 파악할 수 있다. 뿐만 아니라, 본 발명의 일 실시예에 따른 차량 운전 보조 장치는 차량의 진행 방향에 따른 영역이 제2 조감도 이미지 영역(da3)을 통해 실시간으로 교체되어 출력 화면 상에 나타나므로, 차량이 장애물에 닿지 않도록 운전하는데 도움을 줄 수 있다.
물론, 본 발명의 일 실시예에 따른 차량 운전 보조 장치는 전방 카메라와 후방 카메라 모두를 포함하는 차량에 적용되어 상기 기능을 수행하는 것도 가능하다.
도 18은 본 발명의 일 실시예에 따른 차량 운전 보조 방법에 대한 흐름도이다. 상술한 바와 같이, 본 발명의 일 실시예에 따른 차량 운전 보조 방법은 복수의 조감도 이미지들을 합성하는 것이 아닌, 조감도 이미지를 선택적으로 교체하는 방식으로 운전자에게 제공하는 것을 특징으로 한다. 또한, 본 발명의 일 실시예에 따른 차량 운전 보조 방법은 출력 화면에 조감도 이미지와 촬영 후방 영상을 동시에 출력할 수 있다. 이제, 도 18을 참조로 본 발명의 일 실시예에 따른 차량 운전 보조 방법에 대한 설명이 이루어진다.
먼저, 카메라에 의해 촬영된 후방 카메라 영상을 저장하는 단계(S110)가 수행된다. 앞서 언급한 것처럼, 차량에 장착된 카메라를 통해 이루어지는 실시간으로 이루어질 수 있고, 실시간 촬영을 통해 획득된 후방 카메라 영상은 저장부에 저장될 수 있다.
그 후, 조감도 이미지 생성부에 의해, S110 단계를 통해 저장된 후방 영상들을 이용하여 차량 주변의 조감도 이미지를 생성하는 단계(S120)가 수행된다. 여기서, S120 단계를 통해 이루어지는 차량 주변의 조감도 이미지를 생성하는 과정은 아래에서 설명되는 흐름에 관계없이 반복적으로 이루어질 수 있다. 또한, S120 단계를 통한 조감도 이미지의 생성은 매 시점마다, 기설정된 주기에 따라, 그리고 차량의 이동 거리에 따라 등 다양한 조건에 따라 생성될 수 있다.
그 후, S110 단계를 통해 획득된 후방 카메라 영상과, S120 단계에서 생성된 조감도 이미지 중 일부를 포함하는 출력 화면을 생성하고 디스플레이하는 단계(S130)가 이루어질 수 있다. 여기서, 출력 화면은 조감도 이미지 영역과 실시간 영상 영역을 포함할 수 있고, 조감도 이미지 영역에는 S120 단계에서 생성된 조감도 이미지 중 일부분(즉, 관심 영역)이 표시되며, 실시간 영상 영역에는 S110 단계를 통해 획득된 후방 카메라 영상이 실시간으로 표시될 수 있다. 앞서 설명된 바와 같이, 본 발명의 일 실시예에 따른 차량 운전 보조 방법은 전방 카메라가 적용된 차량에 적용되는 것도 가능하다. 이 경우, S120 단계는 전방 카메라 영상을 근거로 생성된 조감도 이미지와, 전방 카메라 영상을 포함하는 출력 화면을 생성할 수 있다. 즉, 이하에서는 후방 카메라 영상을 기준으로 설명이 이루어지나, 이는 예시일 뿐이고 전방 카메라 영상을 이용하더라도 동일한 기술적 사상이 적용될 수 있다.
위에서 도 14 및 도 15를 참조로 설명한 바와 같이, 출력 화면 내에서 조감도 이미지 영역은 실시간 영상 영역 내에서 섬네일 형태로 배치되거나, 또는 조감도 이미지 영역과 실시간 영상 영역은 분리되어 배치되는 것도 가능하다. 출력 화면 내에서 상기 2개의 영역에 대한 배치는 관리자 또는 운전자의 설정에 따라 다양하게 변경될 수 있다.
그 후, 센서부로부터 출력된 감지 신호를 수집하는 단계(S140)가 수행된다. 여기서, 감지 신호는 차량의 움직임 감지 신호를 포함할 수 있다.
그 후, S140 단계를 통해 수집된 차량의 움직임 감지 신호를 근거로 차량의 이동 거리를 산출하는 단계(S150)가 수행된다. 여기서, S150 단계는 감지부를 통한 차량의 움직임 감지 신호를 근거로 차량의 이동 거리를 산출하는 것으로 설명되었으나, 이는 예시일 뿐이고, 영상 분석 기법을 통해 이루어지는 것도 가능하다. 예를 들어, 차량에 장착된 센서부가 작동되지 않거나, 또는 차량에 별도의 센서부가 장착되지 않은 경우, 영상 분석 기법을 이용함으로써 차량의 이동 거리를 산출할 수 있다. 여기서, 영상 분석 기법은 다양한 방식들이 잘 알려져 있으므로, 본 발명의 일 실시예에 따른 차량 운전 보조 방법은 상기 기법을 특정 기법만으로 제한하지 않는다.
그 후, 설정된 조감도 이미지 교체 조건의 충족 여부를 판단하는 단계(S160)가 수행된다. 구체적으로, S160 단계는 S150 단계를 산출된 차량의 이동 거리가 임계 교체 이동 거리 이상인지 판단하는 단계를 나타낸다. S160 단계에서의 판단 결과, 차량의 이동 거리가 임계 교체 이동 거리 이상인 것으로 판단된 경우, 제어는 S170 단계로 전달되어, 새로운 조감도 이미지를 선택하는 과정이 수행된다. 그렇지 않은 경우, 제어는 S180 단계로 전달될 수 있다. 위에서 설명한 바와 같이, 조감도 이미지 교체 조건은 운전자 또는 관리자의 설정에 따라 시점이나 다른 조건들을 이용하는 방식도 생각해볼 수 있다. 다만, 실제 적용에 있어서는 차량의 이동 거리를 조건으로 하는 것이 실제 적용 효율이 높기에, 차량의 이동 거리를 근거로 조감도 이미지의 교체 시점을 정하는 것이 가장 바람직하다.
S170 단계는 이미지 선택부에 의해 수행될 수 있고, S120 단계를 통해 생성된 차량 주변의 조감도 이미지들 중 하나의 조감도 이미지를 선택하는 단계이다. 상술한 바와 같이, 본 발명의 일 실시예에 따른 차량 운전 보조 방법은 복수의 조감도 이미지들을 연속적으로 합성함으로써 새로운 조감도 이미지를 생성하는 것이 아닌, 합성 과정 없이 하나의 후방 카메라 이미지를 근거로 생성된 복수의 조감도 이미지들 중 선택된 하나의 조감도 이미지를 디스플레이부를 통해 디스플레이하는 것을 특징으로 한다. 이에 따라, S170 단계를 통한 조감도 이미지 선택 과정이 수행될 수 있다.
예를 들어, S170 단계는 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이후에 생성된 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택할 수 있다. 예를 들어, 조감도 이미지 영역에 포함된 조감도 이미지 생성 시점이 t1 이고, 현재 시점이 t4라고 가정할 때, S170 단계는 t2 및 t3 시점에 변환된 조감도 이미지 중 하나의 조감도 이미지를 선택할 수 있다. 또한, S170 단계는 차량의 이동 거리가 임계 교체 이동 거리 미만인 시점에 생성된 조감도 이미지를 새로운 조감도 이미지로 선택함으로써 이루어지는 것도 가능하다. 이렇게 S170 단계를 통해 하나의 새로운 조감도 이미지가 선택되면, 기존의 조감도 이미지를 새로운 조감도 이미지로 교체하는 과정이 수행될 수 있다.
다시 말해, S170 단계는 차량의 현재 위치를 최대한 반영하기 위해 비교적 상당히 오래된 프레임들이 아닌, 비교적 가까운 시점에 생성된 조감도 이미지를 선택하는 과정이 이루어질 수 있다. S170 단계를 통해 선택 및 교체 작업이 완료되면, 제어는 S130 단계로 전달된다. S130 단계에서는 새로운 조감도 이미지의 일부분을 포함하는 조감도 이미지 영역을 생성하는 과정을 수행한다.
S180 단계는 차량의 이동 거리가 임계 이동 거리 이하인 경우 수행되는 단계로서, 차량의 이동 거리에 대응하여 조감도 이미지의 다른 부분을 조감도 이미지 영역으로 생성하는 단계이다. 구체적으로, S180 단계는 차량의 이동 거리가 임계 이동 거리 이하인 경우, 차량의 이동 거리를 근거로 조감도 이미지 영역을 통해 표시되는 조감도 이미지의 부분을 변경함으로써 즉, 조감도 이미지를 이동시키는 단계이다. 이에 따라, 운전자는 차량의 현재 위치에 따라 변경되는 조감도 이미지를 확인할 수 있고, 주차시에도 차량의 현재 위치가 고려된 조감도 이미지를 근거로 주차를 수행할 수 있다.
흐름에 따라, 본 발명의 일 실시예에 따른 차량 운전 보조 방법에 따르면, 운전자에게 디스플레이되는 출력 화면에는 합성 과정 없이 후방 카메라 영상 중 하나의 프레임을 근거로 생성된 조감도 이미지가 디스플레이될 수 있다. 또한, 상기 흐름에 따라, 본 발명의 일 실시예에 따른 차량 운전 보조 방법에 따르면, 조감도 이미지는 설정된 조감도 이미지 교체 조건에 따라 교체되는 방식으로 디스플레이가 이루어질 수 있다.
또한, 본 발명의 일 실시예에 따른 차량 운전 보조 방법은 위에서 설명한 바와 같이, S140 단계를 통해 센서부의 감지 신호를 근거로 차량의 회전 반경 및 바퀴 각도(또는 회전 각도)를 산출하는 과정을 더 수행할 수 있다. S140 단계를 통해 산출된 차량의 회전 반경 및 바퀴 각도와, 차량의 이동 거리에 따라 조감도 이미지를 회전 이동시켜 운전자에게 디스플레이 하는 방식도 가능하다.
앞선 설명에서 본 발명의 일 실시예에 따른 차량 운전 보조 방법은 차량의 이동 거리를 기반으로 조감도 이미지의 교체 여부를 판단하고, 조감도 이미지 교체 조건에 충족할 시, 최근 조감도 이미지를 선택하는 것으로 설명되었다. 다만, 상술한 새로운 조감도 이미지의 선택 방법은 차량에 후방 카메라가 장착되어 있고, 차량이 후진일 때 그러하고, 차량의 기어 변경이 발생할 경우, 다음과 같이 새로운 조감도 이미지를 선택할 수 있다.
즉, 차량의 기어가 후진 상태에서 전진 상태로 변경된 경우, S160 단계를 통해 조감도 이미지의 교체 여부를 판단하는 과정이 수행된다. 여기서, 차량의 기어가 후진 상태에서 전진 상태로 변경된 경우, 디스플레이부를 통해 출력되는 조감도 이미지는 그대로 유지될 수 있다. 물론, 상황에 따라 과거 시점의 조감도 이미지로 교체되어 출력되는 것도 가능하며, 본 발명은 상기 상황에서 특정 조감도 이미지가 선택되는 것으로 제한하지 않는다.
S160 단계를 통해 조감도 이미지의 교체 조건이 충족된 것으로 판단된 경우, S170 단계는 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이전에 생성된 조감도 이미지들 중 하나의 조감도 이미지를 선택하고, 조감도 이미지 영역에 포함된 조감도 이미지를 선택된 조감도 이미지로 교체하는 과정을 수행할 수 있다.
즉, 차량이 후진할 때 S170 단계는 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이후에 생성된 조감도 이미지들 중 하나를 선택하되, 차량이 전진할 때 S170 단계는 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이전에 생성된 조감도 이미지들 중 하나를 선택할 수 있다.
위의 설명의 경우, 차량에 후방 카메라가 장착되어 있고, 차량이 후진 방향으로 진행하는 경우 위주로 서술되었다. 다만, 본 발명의 일 실시예에 따른 차량 운전 보조 방법은 차량에 전방 카메라가 장착되고, 차량이 전방 방향으로 움직일 경우에도 동일한 기술이 적용될 수 있다. 마찬가지로, 본 발명의 일 실시예에 따른 차량 운전 보조 방법은 차량에 전방 카메라가 장착되고, 차량이 전방 방향으로 진행하다가 후방 방향으로 변경되더라도 상기 언급한 기술과 동일한 기술 사상이 적용될 수 있다. 따라서, 본 발명의 권리 범위는 후방 카메라를 이용한 기술뿐만 아니라, 전방 카메라를 이용한 기술도 포함할 수 있다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (20)

  1. 카메라 및 디스플레이부가 장착된 차량에 적용되어, 차량의 운전을 보조하기 위한 차량 운전 보조 장치로서,
    상기 카메라를 통해 촬영된 카메라 영상을 이용하여 상기 카메라 영상에 대한 조감도 이미지를 생성하는 조감도 이미지 생성부;
    상기 조감도 이미지 중 적어도 일부분이 포함되는 조감도 이미지 영역을 포함하는 출력 화면을 생성하는 화면 생성부; 및
    조감도 이미지 교체 조건에 충족될 경우, 상기 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이후에 상기 조감도 이미지 생성부를 통해 생성된 복수의 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택하는 이미지 선택부를 포함하고,
    상기 화면 생성부는 상기 조감도 이미지를 상기 이미지 선택부가 선택한 새로운 조감도 이미지로 교체해서 출력 화면을 생성하는 것을 특징으로 하는 차량 운전 보조 장치.
  2. 제1항에 있어서,
    상기 이미지 선택부는,
    상기 차량이 후진 상태로부터 전진 상태로 또는 전진 상태로부터 후진 상태로 변경될 때, 상기 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이전에 생성된 복수의 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택하는 것을 특징으로 하는 차량 운전 보조 장치.
  3. 제1항에 있어서,
    상기 이미지 선택부는 상기 차량의 진행 방향이 전진 방향으로부터 후진 방향으로 또는 후진 방향으로부터 전진 방향으로 변경된 이후, 조감도 이미지 교체 조건에 충족될 때, 상기 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이전에 생성된 복수의 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택하는 것을 특징으로 하는 차량 운전 보조 장치.
  4. 제1항에 있어서,
    상기 이미지 선택부는 차량의 이동 거리가 임계 교체 이동 거리 이상인 경우, 상기 조감도 이미지 교체 조건에 충족된 것으로 판단하는 것을 특징으로 하는 차량 운전 보조 장치.
  5. 제1항에 있어서,
    상기 화면 생성부는 차량의 이동 거리가 임계 교체 이동 거리 미만인 경우, 차량의 이동 거리에 대응하여 상기 조감도 이미지의 다른 부분을 상기 조감도 이미지 영역으로 생성하는 것을 특징으로 하는 차량 운전 보조 장치.
  6. 제1항에 있어서,
    상기 이미지 선택부는,
    조감도 이미지 교체 조건에 충족될 경우, 차량의 이동 거리가 임계 교체 이동 거리 미만인 시점에 생성된 조감도 이미지를 새로운 조감도 이미지로 선택하는 것을 특징으로 하는 차량 운전 보조 장치.
  7. 제1항에 있어서,
    차량에 장착된 센서부를 통한 감지 신호를 근거로 차량의 이동 거리를 산출하는 움직임 산출부를 더 포함하는 것을 특징으로 하는 차량 운전 보조 장치.
  8. 제1항에 있어서,
    상기 출력 화면은 실시간 영상 영역을 더 포함하고, 상기 화면 생성부는 상기 카메라를 통해 촬영된 카메라 영상을 상기 실시간 영상 영역에 실시간으로 표시하는 것을 특징으로 하는 차량 운전 보조 장치.
  9. 제8항에 있어서,
    상기 조감도 이미지 영역과 상기 실시간 영상 영역은 분리되어 상기 출력 화면 상에 배치되는 것을 특징으로 하는 차량 운전 보조 장치.
  10. 제1항에 있어서,
    상기 출력 화면은 제1 조감도 이미지 영역과 제2 조감도 이미지 영역을 포함하고, 상기 제1 조감도 이미지 영역에는 상기 이미지 선택부를 통해 선택된 조감도 이미지 중 적어도 일부분이 포함되고, 상기 제2 조감도 이미지 영역에는 상기 조감도 이미지 생성부를 통해 가장 최근에 생성된 조감도 이미지의 적어도 일부분이 포함되는 것을 특징으로 하는 차량 운전 보조 장치.
  11. 제10항에 있어서,
    상기 차량의 주변 영역은 상기 제1 조감도 이미지 영역과 상기 제2 조감도 이미지 영역을 통해 상기 출력 화면 내에 표현되고, 상기 제1 조감도 이미지 영역과 상기 제2 조감도 이미지 영역은 상기 출력 화면 내에 분리되어 배치되며, 상기 주변 영역의 서로 다른 부분을 출력하는 차량 운전 보조 장치.
  12. 카메라 및 디스플레이부가 장착된 차량에 적용되어, 차량의 주차를 지원하기 위한 차량 운전 보조 방법으로서,
    상기 카메라를 통해 촬영된 카메라 영상을 이용하여 상기 카메라 영상에 대한 조감도 이미지를 생성하는 단계;
    상기 조감도 이미지 중 적어도 일부분이 표시되는 조감도 이미지 영역을 포함하는 출력 화면을 생성하는 단계;
    조감도 이미지 교체 조건의 충족 여부를 판단하는 단계; 및
    조감도 이미지 교체 조건에 충족될 경우, 상기 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이후에 상기 조감도 이미지 생성부를 통해 생성된 복수의 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택하는 단계를 포함하고,
    상기 출력 화면을 생성하는 단계는,
    상기 조감도 이미지를 상기 이미지 선택부가 선택한 새로운 조감도 이미지로 교체해서 출력 화면을 생성하는 단계를 포함하는 것을 특징으로 하는 차량 운전 보조 방법.
  13. 제12항에 있어서,
    상기 하나의 새로운 조감도 이미지를 선택하는 단계는,
    상기 차량이 후진 상태로부터 전진 상태로 또는 전진 상태로부터 후진 상태로 변경될 때, 상기 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이전에 생성된 복수의 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택하는 것을 특징으로 하는 차량 운전 보조 방법.
  14. 제12항에 있어서,
    상기 하나의 새로운 조감도 이미지를 선택하는 단계는,
    상기 차량이 후진 상태로부터 전진 상태로 또는 전진 상태로부터 후진 상태로 변경된 이후, 조감도 이미지 교체 조건에 충족될 때 상기 조감도 이미지 영역에 포함된 조감도 이미지의 생성 시점 이전에 생성된 복수의 조감도 이미지들 중 하나의 새로운 조감도 이미지를 선택하는 것을 특징으로 하는 차량 운전 보조 방법.
  15. 제12항에 있어서,
    상기 조감도 이미지 교체 조건의 충족 여부를 판단하는 단계는 차량의 이동 거리가 임계 교체 이동 거리 이상인 경우, 상기 조감도 이미지 교체 조건에 충족된 것으로 판단하는 것을 특징으로 하는 차량 운전 보조 방법.
  16. 제12항에 있어서,
    상기 출력 화면을 생성하는 단계는 차량의 이동 거리가 임계 교체 이동 거리 미만인 경우, 차량의 이동 거리에 대응하여 상기 조감도 이미지의 다른 부분을 상기 조감도 이미지 영역으로 생성하는 것을 특징으로 하는 차량 운전 보조 방법.
  17. 제16항에 있어서,
    상기 하나의 새로운 조감도 이미지를 선택하는 단계는,
    조감도 이미지 교체 조건에 충족될 경우, 차량의 이동 거리가 임계 교체 이동 거리 미만인 시점에 생성된 조감도 이미지를 새로운 조감도 이미지로 선택하는 것을 특징으로 하는 차량 운전 보조 방법.
  18. 제12항에 있어서,
    차량에 장착된 센서부를 통한 감지 신호를 근거로 차량의 이동 거리를 산출하는 단계를 더 포함하는 것을 특징으로 하는 차량 운전 보조 방법.
  19. 제12항에 있어서,
    상기 출력 화면은 실시간 영상 영역을 더 포함하고,
    상기 출력 화면을 생성하는 단계는 상기 카메라를 통해 촬영된 카메라 영상을 상기 실시간 영상 영역에 실시간으로 표시하는 것을 특징으로 하는 차량 운전 보조 방법.
  20. 제12항에 있어서,
    상기 출력 화면은 제1 조감도 이미지 영역과 제2 조감도 이미지 영역을 포함하고, 상기 제1 조감도 이미지 영역에는 상기 이미지 선택부를 통해 선택된 조감도 이미지 중 적어도 일부분이 포함되고, 상기 제2 조감도 이미지 영역에는 상기 조감도 이미지 생성부를 통해 가장 최근에 생성된 조감도 이미지의 적어도 일부분이 포함되는 것을 특징으로 하는 차량 운전 보조 방법.
PCT/KR2017/006258 2016-06-17 2017-06-15 차량 운전 보조 장치 및 방법 WO2017217788A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160075690A KR101861523B1 (ko) 2016-06-17 2016-06-17 차량 운전 보조 장치 및 방법
KR10-2016-0075690 2016-06-17

Publications (2)

Publication Number Publication Date
WO2017217788A2 true WO2017217788A2 (ko) 2017-12-21
WO2017217788A3 WO2017217788A3 (ko) 2018-02-08

Family

ID=60664296

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/006258 WO2017217788A2 (ko) 2016-06-17 2017-06-15 차량 운전 보조 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101861523B1 (ko)
WO (1) WO2017217788A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109131334A (zh) * 2018-08-30 2019-01-04 天津布尔科技有限公司 通过视频拼接技术分析车辆前向路况的辅助驾驶预警装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102626499B1 (ko) * 2023-05-27 2024-01-18 임철수 주차지원시스템이 형성된 자동차 및 그 작동방법
KR102673098B1 (ko) * 2024-01-01 2024-06-07 임철수 주차지원시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003104149A (ja) * 2001-09-27 2003-04-09 Equos Research Co Ltd 駐車支援装置
JP2006252577A (ja) * 2006-05-11 2006-09-21 Nippon Soken Inc 地図データ生成装置
JP4945177B2 (ja) * 2006-07-05 2012-06-06 三洋電機株式会社 車両の運転支援装置
JP6326869B2 (ja) * 2014-03-05 2018-05-23 株式会社デンソー 車両周辺画像表示装置、車両周辺画像表示方法
JP6340969B2 (ja) * 2014-07-14 2018-06-13 アイシン精機株式会社 周辺監視装置、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109131334A (zh) * 2018-08-30 2019-01-04 天津布尔科技有限公司 通过视频拼接技术分析车辆前向路况的辅助驾驶预警装置

Also Published As

Publication number Publication date
KR101861523B1 (ko) 2018-07-05
WO2017217788A3 (ko) 2018-02-08
KR20170142363A (ko) 2017-12-28

Similar Documents

Publication Publication Date Title
JP4639753B2 (ja) 運転支援装置
WO2016172960A1 (en) System and method for enhancing image resolution
WO2010079912A1 (ko) 주변 영상 생성 방법 및 장치
WO2017217788A2 (ko) 차량 운전 보조 장치 및 방법
WO2012153978A2 (en) Parking camera system and method of driving the same
CN1969313A (zh) 图像显示系统、图像显示方法以及图像显示程序
JP3847547B2 (ja) 車両周辺監視支援装置
KR101487161B1 (ko) 드래그 앤드 드롭을 통한 차량의 주차지원 방법
JP2009093332A (ja) 車両周辺画像処理装置及び車両周辺状況提示方法
CN110087032A (zh) 一种全景式隧道视频监视装置及方法
JP2003104145A (ja) 運転支援表示装置
JP2008085710A (ja) 運転支援システム
WO2018155742A1 (ko) 다중 카메라 입력의 합성을 통한 실시간 모니터링 시스템
WO2015056826A1 (ko) 카메라의 영상 처리 장치 및 방법
JP5168186B2 (ja) 画像処理装置
US7936385B2 (en) Image pickup apparatus and imaging method for automatic monitoring of an image
JP2009227076A (ja) 作業車両
TW201221390A (en) Real-time imaging system and method for vehicle rear viewing
WO2015009112A9 (en) Method and apparatus for displaying images in portable terminal
JP6274936B2 (ja) 運転支援装置
JPH08315116A (ja) 画像処理装置
JP2009214790A (ja) 撮像装置および方法、並びに、画像処理装置および方法
JP2007104537A (ja) 車両用死角映像表示装置
JP2002152722A (ja) 画像投影装置及びその方法
WO2023214766A1 (ko) 거리정보 생성 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17813611

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17813611

Country of ref document: EP

Kind code of ref document: A2