WO2014051335A1 - 차량용 사이드미러 시스템 및 이의 차량 측후방 영상 표시 방법 - Google Patents

차량용 사이드미러 시스템 및 이의 차량 측후방 영상 표시 방법 Download PDF

Info

Publication number
WO2014051335A1
WO2014051335A1 PCT/KR2013/008587 KR2013008587W WO2014051335A1 WO 2014051335 A1 WO2014051335 A1 WO 2014051335A1 KR 2013008587 W KR2013008587 W KR 2013008587W WO 2014051335 A1 WO2014051335 A1 WO 2014051335A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
noise
mirror
stereo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2013/008587
Other languages
English (en)
French (fr)
Inventor
박종일
송중석
서병국
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry University Cooperation Foundation IUCF HYU
Original Assignee
Industry University Cooperation Foundation IUCF HYU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry University Cooperation Foundation IUCF HYU filed Critical Industry University Cooperation Foundation IUCF HYU
Publication of WO2014051335A1 publication Critical patent/WO2014051335A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/06—Rear-view mirror arrangements mounted on vehicle exterior
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system

Definitions

  • Embodiments of the present invention relate to a vehicle side mirror system and a method of displaying a vehicle side rear image thereof, and more particularly, a vehicle side that can provide a user with a clear view without rainwater on the side rear of the vehicle even in rainy weather.
  • the present invention relates to a mirror system and a method of displaying a vehicle side rear image.
  • the side mirror is a means of securing a view of the rear and rear of the vehicle without shifting much of the eyes, and the driver mostly acquires the traffic situation in the rear and rear.
  • the most disturbing factor in the acquisition of side and rear traffic conditions through the side mirror is rainwater formed on the side mirror surface in the rain.
  • the rainwater attached to the surface of the side mirror from the sunset is obstructing the driver's view so that the traffic situation to the rear and rear can hardly be recognized.
  • the method of installing the heating wire can exhibit relatively good performance in removing dew or frost formed on the side mirror, but due to the limitation of the amount of heat generated, no further effect can be expected for snow or rain.
  • the rainwater is formed not only in the side mirror but also in the side glass of the vehicle during rain, so the driver who views the side mirror through the side glass Still has a problem that can not properly recognize the traffic situation on the rear and rear of the vehicle.
  • the present invention provides a vehicle side mirror system and a vehicle side rear image display method thereof that can provide a user with a clear view in which rainwater is removed from the side rear of the vehicle even in rainy weather. I would like to propose.
  • a side mirror consisting of a half mirror;
  • a stereo camera mounted inside the housing of the side mirror and configured to capture an image of the rear and rear sides of the vehicle from light incident through the half mirror;
  • An image processor which removes noise caused by rainwater attached to a surface of the half mirror in the captured stereo image;
  • a display unit positioned inside the vehicle and displaying the image from which the noise has been removed.
  • the stereo camera is installed spaced apart from the half mirror by a predetermined first interval, and the first camera and the second camera constituting the stereo camera are installed spaced apart from each other by a predetermined second interval, and the predetermined first interval
  • the second distance is a distance from the subject to the rear and rear of the vehicle, the size of the rain water attached to the surface of the half mirror, the image distance of the stereo camera, the image plane size, the common field of view. It may be set based on at least one of information about a ratio of a field of view (FOV).
  • FOV field of view
  • the side mirror includes a first side mirror positioned at the left side of the vehicle and a second side mirror positioned at the right side of the vehicle, wherein the display unit is disposed adjacent to the first side mirror, A first display unit configured to display the noise-removed image of the side rear of the vehicle picked up inside; And a second display unit disposed adjacent to the second side mirror and configured to display an image from which the noise of the side rear of the vehicle photographed inside the second side mirror is removed.
  • the image processor may remove the noise by using variation information of the captured stereo image.
  • the image processor is further configured to reduce the noise in the first and second images constituting the stereo image based on the predetermined first interval, the predetermined second interval, and the image distance of the stereo camera. Search for a location, replace noise in the first image with pixel information of the second image according to the disparity information, and replace noise in the second image with pixel information of the first image according to the disparity information. Alternatively, the noise can be removed.
  • the image processor may estimate a distance from the side mirror to a subject photographed by the stereo camera using the disparity information.
  • Information about the estimated distance may be displayed on the display unit together with the image from which the noise is removed.
  • the image information is mounted from a stereo camera mounted inside the housing of the side mirror made of a half mirror and imaging the image of the side rear of the vehicle from the light incident through the half mirror. Obtaining; Removing noise caused by rainwater on the surface of the half mirror in the obtained stereo image; And displaying the image from which the noise has been removed through a display unit located inside the vehicle.
  • FIG. 1 is a diagram showing a schematic diagram of a configuration of a side mirror system for a vehicle according to an embodiment of the present invention.
  • FIG. 2 is a diagram schematically illustrating a path through which a user acquires traffic state information about the rear and rear sides of a vehicle through a side mirror system according to an exemplary embodiment of the present invention.
  • 3 and 4 illustrate a geometrical configuration of a side mirror and a stereo camera for applying a stereo vision based rainwater elimination algorithm according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an image of a rear and rear images of a stereo camera mounted in a side mirror, taken through a mirror unit, together with rainwater attached to a surface of the mirror unit, according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a state in which a display according to an embodiment of the present invention displays an image from which noise caused by rainwater is removed from inside a vehicle.
  • FIG. 7 is a flowchart illustrating a method of displaying a vehicle rearview image according to an embodiment of the present invention over time.
  • mirror portion 114 housing
  • FIG. 1 is a diagram showing a schematic diagram of a configuration of a vehicle side mirror system 100 according to an embodiment of the present invention.
  • FIG. 2 is a diagram schematically illustrating a path through which the user acquires traffic state information on the side rear of the vehicle through the side mirror system 100 according to an exemplary embodiment of the present invention.
  • 3 and 4 are diagrams illustrating geometrical configurations of the side mirror 110 and the stereo camera 120 for applying the stereo vision based rainwater elimination algorithm according to an embodiment of the present invention.
  • the vehicle side mirror system 100 includes a side mirror 110, a stereo camera 120, an image processor (not shown), and a display unit 130.
  • the side mirror 110 includes a mirror portion 112 and a housing 114.
  • This part 112 may be formed as a half mirror unlike an existing general side mirror in one embodiment.
  • Half-mirror means a plate glass that has a mirror surface effect by attaching a metal oxide to the glass surface, and reflects part of the incident light and transmits part thereof.
  • the light reflected by the half mirror reaches the driver directly and provides traffic information on the rear and rear of the vehicle, which is the same as the conventional side mirror function of mirroring the rear and rear of the vehicle through a mirror. .
  • the light passing through the half mirror is incident to the stereo camera 120 mounted inside the housing 114 of the side mirror 110, and the stereo camera 120 receives an image of the side rear of the vehicle from the incident light.
  • the image is captured and the captured image is displayed through a separate display unit 130.
  • the image processing unit (not shown) according to an embodiment of the present invention removes the noise generated by the rain water attached to the surface of the mirror unit 112 of the side mirror 110 in the captured image, the display unit 130 The image from which the noise is removed is displayed.
  • the user can view the rear and rear sides of the vehicle through the mirror unit 112 as in the conventional side mirror, and the vehicle through the display unit 130 displaying an image from which noise generated by rainwater is removed. You can see a clear image of the side and back of the camera.
  • an image processor may use a stereo vision-based rainwater removal algorithm.
  • the side mirror system 100 for a vehicle will be described based on an example to which a rain vision removal algorithm based on a stereo vision is applied, but the present invention is not limited thereto.
  • Various algorithms can be applied to remove the generated noise.
  • the stereo camera 120 mounted in the side mirror 110 is a camera for capturing stereo images, and generally means that a single camera is dually configured.
  • the stereo camera 120 may capture a stereo image even though the lens is dual in a single camera, but in the present invention, it is assumed that the first camera 120a and the second camera 120b are dual in a single camera. .
  • the stereo camera 120 is mounted in the housing 114 of the side mirror and captures the image of the side and rear of the vehicle from the light incident through the mirror 112, the mirror 112 and the It is preferably formed to a size that can be inserted into the entire space consisting of the housing 114.
  • the two cameras 120a and 120b constituting the stereo camera 120 are each provided with a predetermined distance from each other so that a stereo vision-based rainwater removal algorithm by an image processor (not shown) may be applied. It is preferably spaced apart from each other, and is also provided at a certain distance from the mirror portion 112 of the side mirror.
  • the side mirror 110 and the stereo camera 120 installed therein are disposed on the surface of the mirror part 112 and the distance z of the subject in the rear and rear of the vehicle. It is preferable that it is composed of a predetermined geometric shape that reflects the size of the rainwater to be attached ( r ), the field of view (FOV) of each camera and the common FOV ratio thereof.
  • the separation distance b between the centerlines of the two cameras 120a and 120b is determined by at least one of the two cameras 120a and 120b. It may be set to a value satisfying the following equation so that it can be observed.
  • b is the distance between the centerline of the camera (120a, 120b)
  • z is the distance between the camera 120 and the closest subject
  • r is the size of the rain water attached to the surface of the mirror 112
  • l is the camera Mean a distance between the 120 and the mirror 112, respectively.
  • the common field of view of each camera's field of view (original FOV) should be set to be larger than a predetermined threshold value E , and thus, between the centerlines of the cameras 120a and 120b.
  • the separation distance b may also be set to satisfy the following equation.
  • E denotes a predetermined threshold
  • W denotes a field of view (original FOV) of each camera
  • W lw / f is satisfied.
  • f is the image distance and w is the image plane size.
  • the side mirror 110 and the stereo camera 120 installed therein are configured to satisfy the predetermined geometric shapes so that the rain vision removal algorithm based on the stereo vision by the image processor (not shown) can be applied. Can be.
  • the image processing unit removes noise due to rainwater attached to the surface of the mirror unit 112 in the stereo image captured by the stereo camera 120 according to the rain vision removal algorithm based on the stereo vision.
  • the rain vision removal algorithm based on stereo vision corrects the rainwater region by using the variation information of the stereo image, and effectively removes the noise caused by the rainwater attached to the glass plate located at a predetermined distance from the stereo camera lens from the captured image. to be.
  • the stereo camera 120 according to an embodiment of the present invention, as described above, is mounted inside the side mirror 110, the side rear of the vehicle from the light incident through the mirror 112 Image of the image is taken.
  • the stereo camera 120 captures the rainwater attached to the surface of the mirror 112 located at a predetermined distance l from the lens together with the side and rear traffic conditions of the vehicle to describe the image processing unit (not shown).
  • the image processing unit (not shown) allows the noise generated by the rainwater to be removed through the variation information.
  • the noise removal process generated by the rainwater may be largely comprised of (a) searching for a rainwater region, that is, a location of noise, in the image, and (b) correcting the image.
  • an image processor (not shown) performs template matching on a stereo image captured by the stereo camera 120, and outputs a template matching result to the side mirror 110. And the location of the noise may be used together with information about a predetermined geometric shape of the stereo camera 120.
  • the template matching process according to an embodiment of the present invention may be performed by NCC (Normalized Cross Correlation) for the stereo image, and the Correlation value R of the NCC used at this time may be defined as follows.
  • NCC Normalized Cross Correlation
  • I r, l ( i , j ) denotes pixel values of the left and right gray-scale images, respectively, in pixel ( i , j ), and ⁇ l, r and ⁇ l, r are the average of the pixel values of the templates.
  • standard deviation, M ⁇ N means template size, respectively.
  • the template matching process may include errors due to little change in intensity in the template or absence of a matching point due to occlusion, a process of reflecting the reliability of the template matching results may be involved. Can be.
  • the boundary of the correlation value R is a method of processing R smaller than the threshold C as having low reliability
  • the one-to-one correspondence of the template matching result is the first pixel ( u) set as the template center of the left image.
  • the image processor may perform an error elimination process according to the following equation on the template matching result.
  • ⁇ is a judgment value for pixel ( u , v )
  • R is a correlation value
  • C is a threshold value for R
  • ( u '' , v '' ) is a third pixel in a one-to-one correspondence process
  • ⁇ is a tolerance
  • Each threshold means a range.
  • Equation 4 when the determination value ⁇ ( u , v ) for the pixels (u, v) is 1, the similarity of the matching results is high and the result values are uniquely corresponding.
  • the image processing unit may use the rainwater region using information about a predetermined geometric shape of the side mirror 110 and the stereo camera 120 according to the following equation. it is possible to calculate the variation of ⁇ .
  • the threshold ⁇ for discriminating noise is set as shown in the following Equation, and the variation S ( u , v ) is calculated from the matching result and calculated.
  • the noise pixel can be discriminated by comparing the shift S ( u , v ) with the threshold ⁇ .
  • ⁇ means the result of the noise search for the pixel ( u , v ). That is, if ⁇ ( u , v ) of any pixel is 1, the pixel may be treated as noise.
  • the image processing unit estimates the variation in the noise position to correct the image, and uses the variation information to determine the intensity of the pixel in the other image.
  • the image can be corrected by substituting the intensity of the pixel.
  • an image inpainting algorithm may be used to estimate the variation in the noise location.
  • This image inpainting algorithm has an advantage of excellent reproducibility in the edge region.
  • the pixel intensity of may be replaced with the pixel intensity in another image.
  • the image processor may remove noise generated by rainwater from the stereo image.
  • the present invention is not limited thereto, and various algorithms capable of removing noise generated by rainwater in the image may be applied as described above.
  • the stereo camera 120 may be positioned in consideration of a specific pattern of rain water formed on the mirror unit 112. For example, by surface-treating the mirror unit 112 so that rain water may form on the mirror unit 112 in a specific pattern, the position of the stereo camera 120 may be determined so that noise caused by rain water can be effectively removed. .
  • FIG. 5 illustrates an image of a lateral rear from which a stereo camera 120 mounted in the side mirror 110 passes through the mirror unit 112 and is incident on the surface of the mirror unit 112 according to an embodiment of the present invention. It is a figure which shows the image image
  • the rainwater regions may be corrected from their variation information.
  • the image processing unit (not shown) according to an embodiment of the present invention, in processing the image obtained from the stereo camera 120, further calculates the distance information for the subject located in the rear and rear of the vehicle, and will be described below The distance information may be displayed on the display unit 130.
  • An algorithm using a depth map of a stereo image may be applied to estimating the distance from the side mirror 110 to a subject, which finds a matching pixel in a left image and a right image, and uses a parallax between pixels to compare with a subject. Estimate the distance.
  • the present invention is not limited thereto, and it is apparent to those skilled in the art that various algorithms for estimating the distance from the subject in the stereo image may be applied.
  • a stereo image using a stereo camera is described as an embodiment in FIGS. 1 to 5, it will be apparent to those skilled in the art that two or more cameras may be used to correct a rainwater image.
  • an image processor (not shown) An image in which the rainwater region is corrected needs to be displayed to the driver directly inside the vehicle.
  • the image in which the rainwater region is corrected by the image processor (not shown) is displayed on a separate display unit 130 located inside the vehicle.
  • the stereo camera 120 is mounted inside the side mirror 110, which is the outside of the vehicle, and captures an image of the side rear of the vehicle incident through the mirror 112 having rainwater formed on the surface thereof. An image from which noise caused by rainwater is removed is displayed to the user in the interior of the vehicle.
  • the display unit 130 may be various display devices capable of displaying an image by receiving image information from an image processor (not shown), for example, an LCD (Liquid Crystal Display) device.
  • an LCD Liquid Crystal Display
  • the display unit 130 may be mounted on a dashboard or be detachable or replaceable by a user.
  • FIG. 6 is a schematic diagram of a state in which the display unit 130 according to an embodiment of the present invention displays an image from which noise caused by rainwater is removed from the inside of the vehicle.
  • the display unit 130 is provided inside the vehicle to provide a user with a clear image in which the rainwater region is corrected.
  • the display unit 130 may be installed adjacent to the side mirror 110 and located in front of the vehicle than the side mirror 110, so that even if the driver shifts the line of sight less to the left and right, the visibility of the rear and rear of the vehicle is sufficient. It can be secured and can have the advantage of reducing the feeling of watching the passenger of the passenger seat.
  • the display unit 130 is disposed adjacent to the left side mirror, the left display unit displaying an image from which noise is removed from the side rear of the vehicle captured inside the left side mirror, and symmetrically, adjacent to the right side mirror.
  • the display apparatus may include a right display unit which is disposed and displays an image from which noise on the rear and rear sides of the vehicle captured in the right side mirror is removed.
  • the vehicle side mirror system 100 may provide a user with a clear view of the side rear of the vehicle even in rainy weather.
  • the driver's perception and driving ability on the rear and rear of the vehicle can be improved.
  • FIG. 7 is a flowchart illustrating a method of displaying a vehicle rearview image according to an embodiment of the present invention over time.
  • the vehicle rear-view image display method may include obtaining image information (S710), removing noise (S720), and displaying (S730).
  • step 710 the image information is acquired from a stereo camera mounted inside the housing of the side mirror made of the half mirror and imaging the image of the side rear of the vehicle from the light incident through the half mirror.
  • the stereo camera is mounted in the housing of the side mirror and captures the image of the rear and rear of the vehicle from the light incident through the mirror, so that the stereo camera can be inserted into the entire space including the mirror and the housing. Can be formed.
  • the two cameras constituting the stereo camera are installed to be spaced apart from each other by a predetermined distance so that the rain vision removal algorithm based on the stereo vision can be applied to the image obtained by the stereo camera, and also a certain distance from the mirror of the side mirror. It is preferred to be installed with.
  • the side mirror and the stereo camera installed therein are the distance ( z ) to the subject of the rear and rear of the vehicle, the size of the rainwater ( r ) attached to the surface of the mirror, the field of view (FOV) of each camera, It is preferable to be configured in a predetermined geometric shape reflecting a common FOV ratio for them.
  • a stereo vision-based rainwater removal algorithm may be applied, and the stereovision-based rainwater removal algorithm corrects the rainwater region using the variation information of the stereo image.
  • step S720 template matching is performed on the obtained stereo image, and the position of the noise is searched by using the template matching result along with information about a predetermined geometry of the side mirror and the stereo camera.
  • the image is corrected by estimating the variation in the noise position and using the variation information to replace the intensity of the pixel with the intensity of the pixel in another image.
  • the method may further include estimating a distance from the side mirror to a subject photographed by the stereo camera using the acquired variation information of the stereo image (not shown).
  • An algorithm using a depth map of a stereo image may be applied to the estimation of the distance from the side mirror (from the subject), and the information about the estimated distance may be provided to be displayed on the display unit along with the image from which the noise is removed. .
  • image information is obtained from a stereo camera mounted inside a side mirror that is outside of the vehicle and penetrates a mirror part having rain water on the surface to capture an image of the side rear of the vehicle.
  • the driver can be provided with a clear side rear image without rain water.
  • Embodiments of the vehicle side rear image display method according to the present invention have been described so far, and the configuration of the vehicle side mirror system 100 described above with reference to FIGS. 1 to 6 may be applied to the present embodiment as it is. Therefore, more detailed description will be omitted.
  • Embodiments of the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions such as magneto-optical, ROM, RAM, flash memory, etc.
  • the hardware device described above may be configured to operate as at least one software module to perform the operations of one embodiment of the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Description

차량용 사이드미러 시스템 및 이의 차량 측후방 영상 표시 방법
본 발명의 실시예들은 차량용 사이드미러 시스템 및 이의 차량 측후방 영상 표시 방법에 관한 것으로서, 더욱 상세하게는 우천 시에도 차량의 측후방에 대한 빗물이 제거된 깨끗한 시야를 사용자에게 제공할 수 있는 차량용 사이드미러 시스템 및 이의 차량 측후방 영상 표시 방법에 관한 것이다.
사이드미러는 차량의 운전석과 조수석 도어의 외측 전면부에 장착되어 차량의 측후방에 대한 교통상황을 사용자에게 제공한다.
전방을 주시하는 운전자에게 사이드미러는 시선을 많이 옮기지 않고도 차량의 측후방에 대한 시야를 확보할 수 있게 하는 수단으로서, 운전자는 측후방에 대한 교통상황을 대부분 사이드미러를 통하여 획득하고 있다.
이러한 사이드미러를 통한 측후방 교통상황의 획득에 있어서 가장 방해가 되는 요소는 우천 시 사이드미러 표면에 형성되는 빗물이다. 특히, 해가 저물어 가는 시점부터 사이드미러 표면에 부착되는 빗물은 측후방에 대한 교통상황을 거의 분간할 수 없을 정도로 운전자의 시야를 방해한다.
이에, 사이드미러 표면에 부착된 빗물을 제거하기 위한 다양한 연구가 수행되고 있으며, 사이드미러에 열선을 설치하여 빗물을 증발시키거나, 직접 공기를 분사하여 빗물을 날려보내는 방식이 주류를 이루고 있다.
그러나, 열선을 설치하는 방식은 사이드미러에 맺힌 이슬이나 서리의 제거에는 비교적 우수한 성능을 발휘할 수 있으나, 발열량의 한계로 인하여 눈이나 비에는 더 이상의 효과를 기대할 수 없다.
그리고, 직접 공기를 분사하는 방식은 차량의 외관에 영향을 줄 수 있으므로, 자동차의 성능뿐만 아니라 미관을 중요시하는 최근 자동차 설계 추세에 부합하지 않는 문제점을 갖고 있다.
또한, 발열량이 큰 열선을 설치하거나 차량의 내부를 통하여 사이드미러로 공기를 분사한다고 하더라도, 우천 시에 빗물은 사이드미러 뿐만 아니라 차량의 측면 유리에도 형성되게 되므로, 측면 유리를 통해 사이드미러를 보는 운전자는 여전히 차량의 측후방에 대한 교통상황을 제대로 인지할 수 없는 문제점을 갖고 있다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 우천 시에도 차량의 측후방에 대한 빗물이 제거된 깨끗한 시야를 사용자에게 제공할 수 있는 차량용 사이드미러 시스템 및 이의 차량 측후방 영상 표시 방법을 제안하고자 한다.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 하프미러로 이루어지는 사이드미러; 상기 사이드미러의 하우징 내부에 장착되고, 상기 하프미러를 투과하여 입사하는 빛으로부터 차량의 측후방에 대한 영상을 촬상하는 스테레오 카메라; 상기 촬상된 스테레오 영상에서 상기 하프미러의 표면에 부착된 빗물에 의한 노이즈를 제거하는 영상 처리부; 및 차량의 내부에 위치하고 상기 노이즈가 제거된 영상을 디스플레이하는 표시부;를 포함하는 차량용 사이드미러 시스템이 제공된다.
상기 스테레오 카메라는 상기 하프미러로부터 소정의 제1 간격 이격되어 설치되고, 상기 스테레오 카메라를 구성하는 제1 카메라 및 제2 카메라는 서로 소정의 제2 간격으로 이격되어 설치되며, 상기 소정의 제1 간격 및 제2 간격은 차량의 측후방에 대한 피사체와의 거리, 상기 하프미러의 표면에 부착되는 빗물의 크기, 상기 스테레오 카메라의 영상 거리(image distance), 영상 평면 크기(image plane size), 공통 시야(FOV, field of view)의 비율에 관한 정보 중 적어도 하나에 기초하여 설정될 수 있다.
상기 사이드미러는 차량의 좌측에 위치하는 제1 사이드미러 및 차량의 우측에 위치하는 제2 사이드미러를 포함하되, 상기 표시부는, 상기 제1 사이드미러에 인접하여 배치되고, 상기 제1 사이드미러의 내부에서 촬상된 차량의 측후방에 대한 상기 노이즈가 제거된 영상을 디스플레이하는 제1 표시부; 및 상기 제2 사이드미러에 인접하여 배치되고, 상기 제2 사이드미러의 내부에서 촬상된 차량의 측후방에 대한 상기 노이즈가 제거된 영상을 디스플레이하는 제2 표시부;를 포함할 수 있다.
상기 영상 처리부는 상기 촬상된 스테레오 영상의 변이 정보를 이용하여 상기 노이즈를 제거할 수 있다.
상기 영상 처리부는, 상기 소정의 제1 간격, 상기 소정의 제2 간격 및 상기 스테레오 카메라의 영상 거리(image distance)에 기초하여 상기 스테레오 영상을 구성하는 제1 영상 및 제2 영상에서 각각 상기 노이즈의 위치를 탐색하고, 상기 제1 영상에서의 노이즈를 상기 변이 정보에 따라 상기 제2 영상의 픽셀 정보로 대체하고, 상기 제2 영상에서의 노이즈를 상기 변이 정보에 따라 상기 제1 영상의 픽셀 정보로 대체하여 상기 노이즈를 제거할 수 있다.
상기 영상 처리부는 상기 변이 정보를 이용하여 상기 사이드미러로부터 상기 스테레오 카메라에 의해 촬상되는 피사체까지의 거리를 추정할 수 있다.
상기 추정된 거리에 관한 정보는 상기 노이즈가 제거된 영상과 함께 상기 표시부에 디스플레이될 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 하프미러로 이루어지는 사이드미러의 하우징 내부에 장착되고 상기 하프미러를 투과하여 입사하는 빛으로부터 차량의 측후방에 대한 영상을 촬상하는 스테레오 카메라로부터 상기 영상 정보를 획득하는 단계; 상기 획득된 스테레오 영상에서 상기 하프미러의 표면에 부착된 빗물에 의한 노이즈를 제거하는 단계; 및 상기 노이즈가 제거된 영상을 차량의 내부에 위치하는 표시부를 통하여 디스플레이하는 단계;를 포함하는 차량 측후방 영상 표시 방법이 제공된다.
본 발명에 따르면, 우천 시에도 차량의 측후방에 대한 빗물이 제거된 깨끗한 시야를 사용자에게 제공할 수 있는 장점이 있다.
또한, 본 발명에 따르면, 운전자의 차량 측후방에 대한 인지력과 주행능력을 향상시킬 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 차량용 사이드미러 시스템의 구성에 관한 개략도를 도시하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 사이드미러 시스템을 통하여 사용자가 차량의 측후방에 관한 교통상황 정보를 획득하는 경로를 개략적으로 도시하는 도면이다.
도 3 및 도 4는 본 발명의 일 실시예에 따라, 스테레오 비전 기반의 빗물 제거 알고리즘 적용을 위한 사이드미러와 스테레오 카메라의 기하학적인 구성을 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따라, 사이드미러 내에 장착된 스테레오 카메라가 미러부를 투과하여 입사하는 측후방에 대한 영상을 미러부의 표면에 부착된 빗물과 함께 촬상한 영상을 도시하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 표시부가 차량의 내부에서 빗물에 의한 노이즈가 제거된 영상을 디스플레이하는 상태에 관한 모식도를 도시하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 차량 측후방 영상 표시 방법을 시간의 흐름에 따라 도시한 순서도이다.
[부호의 설명]
100 : 차량용 사이드미러 시스템 110 : 사이드미러
112 : 미러부 114 : 하우징
120 : 스테레오 카메라 130 : 표시부
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 차량용 사이드미러 시스템(100)의 구성에 관한 개략도를 도시하는 도면이다.
그리고, 도 2는 본 발명의 일 실시예에 따른 사이드미러 시스템(100)을 통하여 사용자가 차량의 측후방에 관한 교통상황 정보를 획득하는 경로를 개략적으로 도시하는 도면이다.
도 3 및 도 4는 본 발명의 일 실시예에 따라, 스테레오 비전 기반의 빗물 제거 알고리즘 적용을 위한 사이드미러(110)와 스테레오 카메라(120)의 기하학적인 구성을 도시하는 도면이다.
먼저, 도 1 및 도 2에 도시된 바와 같이, 차량용 사이드미러 시스템(100)은 사이드미러(110), 스테레오 카메라(120), 영상 처리부(미도시) 및 표시부(130)를 포함한다.
사이드미러(110)는 미러부(112) 및 하우징(114)을 포함한다. 이러부(112)는 일 실시예로서 기존의 일반적인 사이드미러와는 달리 하프미러로 이루어질 수 있다.
하프미러는 유리 표면에 금속 산화물을 붙여 거울면 효과를 갖게 한 판유리를 의미하며, 입사되는 빛의 일부는 반사시키고 일부는 투과시킨다.
보다 상세하게, 하프미러에 의해 반사되는 빛은 직접 운전자에 도달하여 차량의 측후방에 대한 교통상황 정보를 제공하게 되며, 이는 차량의 측후방을 미러를 통해 비추어 보는 기존의 사이드미러 기능과 동일하다.
그리고, 하프미러를 투과하는 빛은 사이드미러(110)의 하우징(114) 내부에 장착된 스테레오 카메라(120)로 입사되며, 스테레오 카메라(120)는 입사하는 빛으로부터 차량의 측후방에 대한 영상을 촬상하고, 촬상된 영상은 별도의 표시부(130)를 통해 디스플레이되게 된다.
이때, 본 발명의 일 실시예에 따른 영상 처리부(미도시)는 촬상된 영상에서 사이드미러(110)의 미러부(112) 표면에 부착된 빗물에 의해 발생된 노이즈를 제거하며, 표시부(130)에는 노이즈가 제거된 영상이 디스플레이된다.
이에 따라, 사용자는 기존의 사이드미러와 같이 미러부(112)를 통해 차량의 측후방을 비추어 볼 수 있음과 동시에, 빗물에 의해 발생된 노이즈가 제거된 영상을 디스플레이하는 표시부(130)를 통해 차량의 측후방에 대한 선명한 영상을 볼 수 있다.
빗물에 의한 노이즈의 제거를 위해, 영상 처리부(미도시)는 스테레오 비전 기반의 빗물 제거 알고리즘을 이용할 수 있다.
본 발명에서는 설명의 편의를 위해, 스테레오 비전 기반의 빗물 제거 알고리즘이 적용된 일례를 중심으로 차량용 사이드미러 시스템(100)을 설명하기로 하나, 본 발명이 이에 한정되는 것은 아니며, 영상 내에서 빗물에 의해 발생된 노이즈를 제거할 수 있는 다양한 알고리즘이 적용될 수 있다.
계속하여, 본 발명의 일 실시예에 따른 사이드미러(110) 내에 장착되는 스테레오 카메라(120)는 스테레오 영상을 촬상하는 카메라로서 일반적으로, 단일 카메라 두 대를 듀얼로 구성한 것을 의미한다.
스테레오 카메라(120)는 단일 카메라에 렌즈를 듀얼로 구성한 것으로도 스테레오 영상을 촬상할 수 있으나, 본 발명에서는 단일 카메라인 제1 카메라(120a)와 제2 카메라(120b)를 듀얼로 구성한 것으로 가정한다.
그리고, 앞서 설명한 바와 같이, 스테레오 카메라(120)는 사이드미러의 하우징(114) 내에 장착되고 미러부(112)를 투과하여 입사하는 빛으로부터 차량의 측후방 영상을 촬상하므로, 미러부(112)와 하우징(114)으로 이루어지는 전체 공간 내부에 삽입될 수 있는 크기로 형성되는 것이 바람직하다.
이때, 스테레오 카메라(120)를 구성하는 두 개의 카메라(120a, 120b)는 이하 설명하는 바와 같이, 영상 처리부(미도시)에 의한 스테레오 비전 기반의 빗물 제거 알고리즘이 적용될 수 있도록, 각각 서로 소정의 거리로 이격되어 설치되고, 사이드미러의 미러부(112)와도 일정 거리를 두고 설치되는 것이 바람직하다.
즉, 도 3 및 도 4에 도시된 바와 같이, 사이드미러(110)와 그 내부에 설치되는 스테레오 카메라(120)는 차량 측후방의 피사체와의 거리(z),미러부(112)의 표면에 부착되는 빗물의 크기(r),각 카메라의 시야(FOV, field of view)와 이들에 대한 공통 시야(common FOV) 비율 등을 반영하고 있는 소정의 기하학적인 형태로 구성되는 것이 바람직하다.
이에 따라, 본 발명의 일 실시예에 따르면, 두 개의 카메라(120a, 120b)의 중심선 사이의 이격 거리(b)는 차량 측후방의 피사체가 두 개의 카메라(120a, 120b) 중 적어도 하나의 카메라에서 관측될 수 있도록 하기의 수학식을 만족하는 값으로 설정될 수 있다.
수학식 1
Figure PCTKR2013008587-appb-M000001
여기서, b는 카메라(120a, 120b)의 중심선 사이의 거리, z는 카메라(120)와 그에 가장 가까운 피사체와의 거리, r은 미러부(112)의 표면에 부착되는 빗물의 크기, l은 카메라(120)와 미러부(112) 사이의 이격 거리를 각각 의미한다.
그리고, 도 4에 도시된 바와 같이, 각 카메라의 시야(original FOV)에 대한 공통 시야(common FOV)는 소정의 문턱값(E)보다 크게 설정되어야 하므로, 카메라(120a, 120b)의 중심선 사이의 이격 거리(b)는 또한 하기의 수학식을 만족하도록 설정될 수 있다.
수학식 2
Figure PCTKR2013008587-appb-M000002
여기서, E는 소정의 문턱값, W는 각 카메라의 시야(original FOV)를 각각 의미하며, W=lw/f를 만족한다. f는 영상 거리(image distance), w는 영상 평면 사이즈(image plane size).
이와 같이, 사이드미러(110)와 그 내부에 설치되는 스테레오 카메라(120)는 영상 처리부(미도시)에 의한 스테레오 비전 기반의 빗물 제거 알고리즘이 적용될 수 있도록 상기의 소정의 기하학적인 형태를 만족하도록 구성될 수 있다.
다음으로, 영상 처리부(미도시)는 스테레오 비전 기반의 빗물 제거 알고리즘에 따라, 스테레오 카메라(120)에 의해 촬상된 스테레오 영상에서 미러부(112)의 표면에 부착된 빗물에 의한 노이즈를 제거한다.
스테레오 비전 기반의 빗물 제거 알고리즘은 스테레오 영상의 변이 정보를 이용하여 빗물 영역을 보정하는 것으로서, 스테레오 카메라 렌즈로부터 소정의 거리에 위치하는 유리판에 부착된 빗물에 의한 노이즈를 촬상된 영상에서 효과적으로 제거하는 알고리즘이다.
이를 위해, 본 발명의 일 실시예에 따른 스테레오 카메라(120)는 앞서 설명한 바와 같이, 사이드미러(110)의 내부에 장착되게 되며, 미러부(112)를 투과하여 입사하는 빛으로부터 차량의 측후방에 대한 영상을 촬상하게 된다.
즉, 스테레오 카메라(120)는 렌즈로부터 소정의 거리(l)에 위치하는 미러부(112)의 표면에 부착된 빗물을 차량의 측후방 교통상황과 함께 촬상하여 이하 설명하는 영상 처리부(미도시)에 제공함으로써, 영상 처리부(미도시)가 변이 정보를 통하여 빗물에 의해 발생된 노이즈를 제거할 수 있도록 한다.
빗물에 의해 발생된 노이즈 제거 과정은 크게 (a) 영상 내 빗물 영역, 즉, 노이즈의 위치를 탐색하는 단계 (b) 영상을 보정하는 단계로 이루어질 수 있으며, 보다 상세히 설명하면 다음과 같다.
먼저, 영상 내 노이즈의 위치 탐색을 위하여, 영상 처리부(미도시)는 스테레오 카메라(120)에 의해 촬상된 스테레오 영상에 템플릿 매칭(Template Matching)을 수행하고, 템플릿 매칭 수행 결과를 사이드미러(110)와 스테레오 카메라(120)의 소정의 기하학적 형태에 관한 정보와 함께 활용하여 노이즈의 위치를 탐색할 수 있다.
이를 위해, 본 발명의 일 실시예에 따른 템플릿 매칭 과정은 스테레오 영상에 대한 NCC(Normalized Cross Correlation)에 의해 수행될 수 있으며, 이때 사용되는 NCC의 Correlation 값 R은 다음과 같이 정의될 수 있다.
수학식 3
Figure PCTKR2013008587-appb-M000003
여기서, I r,l (i,j)는 픽셀 (i,j)에서 각각 좌측 및 우측 그레이-스케일 영상의 픽셀 값을 의미하고, μ l,r 및 σ l,r 은 템플릿들의 픽셀 값의 평균 및 표준 편차를, M×N은 템플릿 사이즈를 각각 의미한다.
이러한 템플릿 매칭 수행 과정에는 템플릿 내의 인텐시티(intensity) 변화가 거의 없거나 오클루젼(occlusion)에 의한 매칭점의 부재로 인하여, 에러가 포함될 수 있으므로, 템플릿 매칭 결과값들의 신뢰도를 반영하는 과정이 수반될 수 있다.
신뢰도의 조사를 위한 표준으로서, Correlation 값 R의 경계화는 문턱값 C보다 작은 R을 신뢰도가 낮은 것으로 처리하는 방법이며, 템플릿 매칭 결과의 일대일 대응은 좌영상의 템플릿 중심으로 설정된 제1 픽셀 (u,v)가 우영상의 제2 픽셀 (u',v')와 매칭되고, 우영상의 템플릿 중심으로 설정되는 제2 픽셀 (u',v')가 좌영상의 제3 픽셀 (u'',v'')와 매칭될 때, (u,v)=(u'',v'')여부로부터 신뢰도를 판단하는 방법이다.
이러한 신뢰도 조사의 표준에 따라, 영상 처리부(미도시)는 템플릿 매칭 수행 결과값에 하기의 수학식에 따른 에러 제거 과정을 수행할 수 있다.
수학식 4
Figure PCTKR2013008587-appb-M000004
여기서, γ는 픽셀 (u,v)에 대한 판단 값, R은 correlation 값, C는 R에 대한 문턱값, (u'',v'')는 일대일 대응 과정에서의 제3 픽셀, ξ는 공차범위 설정을 위한 문턱값을 각각 의미한다.
수학식 4에 따르면, 픽셀 (u, v)에 대한 판단 값 γ(u,v)가 1일 때, 매칭 결과의 유사도가 높고 결과 값은 유일하게 상응하게 된다.
다음으로, 영상 내 노이즈의 위치 탐색을 위하여, 영상 처리부(미도시)는 하기의 수학식에 따라, 사이드미러(110) 및 스테레오 카메라(120)의 소정의 기하학적 형태에 관한 정보를 이용하여 빗물 영역의 변이 η를 산출할 수 있다.
수학식 5
Figure PCTKR2013008587-appb-M000005
그리고, 상기의 수학식 5에 따라 빗물 영역의 변이가 산출되면, 하기의 수학식과 같이, 노이즈의 판별을 위한 문턱값 δ을 설정하고, 매칭 결과로부터 변이 S(u,v)를 산출하며, 산출된 변이 S(u,v)를 문턱값 δ와 비교함으로써 노이즈 픽셀을 판별할 수 있다.
수학식 6
Figure PCTKR2013008587-appb-M000006
여기서, α는 픽셀 (u,v)에 대한 노이즈 탐색의 결과를 의미한다. 즉, 어느 픽셀의 α(u,v)가 1이면 해당 픽셀은 노이즈로 처리될 수 있다.
계속하여, 상기한 바와 같이 영상 내 노이즈의 위치가 탐색되면, 영상 처리부(미도시)는 영상을 보정하기 위하여, 노이즈 위치 내에서 변이를 추정하고, 변이 정보를 이용하여 픽셀의 인텐시티를 다른 영상에서의 픽셀의 인텐시티로 대체함으로써 영상을 보정할 수 있다.
본 발명의 일 실시예에 따르면, 노이즈 위치 내 변이의 추정을 위하여 영상 인페인팅(inpainting) 알고리즘이 사용될 수 있다. 이러한 영상 인페인팅 알고리즘은 에지 영역에서의 재생력(reproducibility)이 우수한 장점을 갖는다.
영상 처리부(미도시)는 앞서 산출된 변이 S(u,v)를 픽셀 인텐시티로 취급하고, α(u,v)=1을 만족하는 픽셀의 변이를 추정하여 하기의 수학식과 같이, 노이즈 위치에서의 픽셀 인텐시티를 다른 영상에서의 픽셀 인텐시티로 대체할 수 있다.
수학식 7
Figure PCTKR2013008587-appb-M000007
상기한 방식에 따라 영상 처리부(미도시)는 빗물에 의해 발생된 노이즈를 스테레오 영상에서 제거할 수 있다. 한편, 본 발명이 이에 한정되지 않고, 영상 내에서 빗물에 의해 발생된 노이즈를 제거할 수 있는 다양한 알고리즘이 적용될 수 있음은 앞서 설명한 바와 같다.
한편, 본 발명의 다른 실시예에 따르면, 미러부(112)에 맺히는 빗물의 특정 패턴을 고려하여 스테레오 카메라(120)를 위치시킬 수도 있다. 예를 들어, 빗물이 특정 패턴으로 미러부(112)에 맺힐 수 있도록 미러부(112)를 표면처리함으로써, 빗물에 의한 노이즈가 효과적으로 제거될 수 있도록 스테레오 카메라(120)의 위치가 정해질 수 있다.
도 5는 본 발명의 일 실시예에 따라, 사이드미러(110) 내에 장착된 스테레오 카메라(120)가 미러부(112)를 투과하여 입사하는 측후방에 대한 영상을 미러부(112)의 표면에 부착된 빗물과 함께 촬상한 영상을 도시하는 도면이다.
도 5에 도시된 바와 같이, 스테레오 카메라(120)에 의해 촬상된 좌영상 및 우영상에는 빗물 영역이 서로 다른 위치에 형성되게 되므로, 이들의 변이 정보로부터 빗물 영역을 보정할 수 있게 된다.
한편, 본 발명의 일 실시예에 따른 영상 처리부(미도시)는 스테레오 카메라(120)로부터 획득된 영상을 처리함에 있어서, 차량의 측후방에 위치하는 피사체에 대한 거리 정보를 추가적으로 연산하고, 이하 설명하는 표시부(130)에 거리 정보가 표시되도록 제공할 수 있다.
사이드미러(110)로부터 피사체에 이르는 거리의 추정에는 스테레오 영상의 깊이 맵(depth map)을 이용하는 알고리즘이 적용될 수 있으며, 이는 좌영상 및 우영상에서 정합화소를 찾고, 화소간의 시차를 이용하여 피사체와의 거리를 추정한다.
또한, 본 발명이 이에 한정되지 않고, 스테레오 영상에서 피사체와의 거리 추정을 위한 다양한 알고리즘이 적용될 수 있음은 당업자에게 자명하다. 또한 도 1 내지 도 5에서는 스테레오 카메라를 이용한 스테레오 영상이 일실시예로서 설명되었으나 빗물 영상을 보정하기 위해 2 이상의 카메라가 이용될 수 있음은 당업자에게 자명하다 할 것이다.
우천 시 빗물의 유입을 방지하기 위해, 차량 운전자는 차량의 도어 유리를 모두 폐쇄한 상태로 운전하게 되므로, 빗물이 제거된 선명한 측후방 영상을 운전자에게 제공하기 위해서는, 영상 처리부(미도시)에 의해 빗물 영역이 보정된 영상이 차량의 내부에서 직접 운전자에게 디스플레이될 필요가 있다.
이에 따라, 영상 처리부(미도시)에 의해 빗물 영역이 보정된 영상은 차량의 내부에 위치하는 별도의 표시부(130)에 디스플레이되게 된다.
즉, 스테레오 카메라(120)는 차량의 외부인 사이드미러(110) 내부에 장착되어 표면에 빗물이 형성된 미러부(112)를 투과하여 입사하는 차량의 측후방에 관한 영상을 촬상하며, 촬상된 영상에서 빗물에 의한 노이즈가 제거된 영상은 차량의 내부에서 사용자에게 디스플레이되게 된다.
본 발명의 일 실시예에 따른 표시부(130)는 영상 처리부(미도시)로부터 영상 정보를 입력받아 영상을 디스플레이할 수 있는 다양한 디스플레이 장치, 일례로, LCD(Liquid Crystal Display) 장치일 수 있다. 또한 표시부(130)는 대시보드(dashboard)에 실장되거나 사용자에 의해 탈부착 또는 교체가 가능할 수 있다.
도 6은 본 발명의 일 실시예에 따른 표시부(130)가 차량의 내부에서 빗물에 의한 노이즈가 제거된 영상을 디스플레이하는 상태에 관한 모식도를 도시한다.
도 6에 도시된 바와 같이, 표시부(130)는 차량의 내부에 설치되어 빗물 영역이 보정된 선명한 영상을 사용자에게 제공한다.
이때, 표시부(130)는 사이드미러(110)와 인접하여 설치될 수 있고 사이드미러(110)보다 차량의 전면으로 위치함으로써, 운전자는 시선을 좌우로 덜 옮겨도 차량의 측후방에 대한 시야를 충분히 확보할 수 있고, 조수석의 탑승자를 주시하는 듯한 느낌을 감소시킬 수 있는 장점을 가질 수 있다.
표시부(130)는 좌측 사이드미러에 인접하여 배치되고, 좌측 사이드미러의 내부에서 촬상된 차량의 측후방에 대한 노이즈가 제거된 영상을 디스플레이하는 좌측 표시부, 이와 대칭적으로, 우측 사이드미러에 인접하여 배치되고, 우측 사이드미러의 내부에서 촬상된 차량의 측후방에 대한 노이즈가 제거된 영상을 디스플레이하는 우측 표시부를 포함할 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 차량용 사이드미러 시스템(100)은 우천 시에도 차량의 측후방에 대한 시야를 선명하게 확보하여 사용자에게 제공할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 차량의 측후방에 대한 빗물이 제거된 선명한 영상과 함께 피사체에 대한 거리 정보가 제공되므로, 운전자의 차량 측후방에 대한 인지력과 주행능력을 향상시킬 수 있다.
도 7은 본 발명의 일 실시예에 따른 차량 측후방 영상 표시 방법을 시간의 흐름에 따라 도시한 순서도이다.
도 7에 도시된 바와 같이, 차량 측후방 영상 표시 방법은 영상 정보를 획득하는 단계(S710), 노이즈를 제거하는 단계(S720) 및 디스플레이하는 단계(S730)를 포함할 수 있다.
단계(710)에서는 하프미러로 이루어지는 사이드미러의 하우징 내부에 장착되고 하프미러를 투과하여 입사하는 빛으로부터 차량의 측후방에 대한 영상을 촬상하는 스테레오 카메라로부터 영상 정보를 획득한다.
이때, 스테레오 카메라는 앞서 설명한 바와 같이, 사이드미러의 하우징 내에 장착되고 미러부를 투과하여 입사하는 빛으로부터 차량의 측후방 영상을 촬상하므로, 미러부와 하우징으로 이루어지는 전체 공간 내부에 삽입될 수 있는 크기로 형성될 수 있다.
그리고, 스테레오 카메라에 의해 획득된 영상에 스테레오 비전 기반의 빗물 제거 알고리즘이 적용될 수 있도록, 스테레오 카메라를 구성하는 두 개의 카메라는 서로 소정의 거리로 이격되어 설치되고, 사이드미러의 미러부와도 일정 거리를 두고 설치되는 것이 바람직하다.
즉, 사이드미러와 그 내부에 설치되는 스테레오 카메라는 차량 측후방의 피사체와의 거리(z),미러부의 표면에 부착되는 빗물의 크기(r),각 카메라의 시야(FOV, field of view)와 이들에 대한 공통 시야(common FOV) 비율 등을 반영하고 있는 소정의 기하학적인 형태로 구성되는 것이 바람직하다.
단계(S720)에서는 단계(S710)에서 획득된 스테레오 영상에서 하프미러의 표면에 부착된 빗물에 의한 노이즈를 제거한다.
이때, 본 발명의 일 실시예에 따르면, 스테레오 비전 기반의 빗물 제거 알고리즘이 적용될 수 있으며, 스테레오 비전 기반의 빗물 제거 알고리즘은 스테레오 영상의 변이 정보를 이용하여 빗물 영역을 보정한다.
보다 상세하게, 단계(S720)에서는 획득된 스테레오 영상에 템플릿 매칭을 수행하고, 템플릿 매칭 수행 결과를 사이드미러와 스테레오 카메라의 소정의 기하학적 형태에 관한 정보와 함께 활용하여 노이즈의 위치를 탐색한다.
그리고, 영상 내 노이즈의 위치가 탐색되면, 영상을 보정하기 위하여, 노이즈 위치 내에서 변이를 추정하고, 변이 정보를 이용하여 픽셀의 인텐시티를 다른 영상에서의 픽셀의 인텐시티로 대체함으로써 영상을 보정한다.
한편, 본 발명의 일 실시예에 따르면, 획득된 스테레오 영상의 변이 정보를 이용하여 사이드미러로부터 스테레오 카메라에 의해 촬상되는 피사체까지의 거리를 추정하는 단계(미도시)를 더 포함할 수 있다.
사이드미러(로부터 피사체에 이르는 거리의 추정에는 스테레오 영상의 깊이 맵(depth map)을 이용하는 알고리즘이 적용될 수 있으며, 추정된 거리에 관한 정보는 노이즈가 제거된 영상과 함께 표시부에 디스플레이되도록 제공될 수 있다.
단계(S730)에서는 노이즈가 제거된 영상을 차량의 내부에 위치하는 표시부를 통하여 디스플레이한다.
즉, 차량의 외부인 사이드미러 내부에 장착되어 표면에 빗물이 형성된 미러부를 투과하여 입사하는 차량의 측후방에 관한 영상을 촬상하는 스테레오 카메라로부터 영상 정보가 획득되고, 획득된 영상에서 빗물에 의한 노이즈가 제거된 영상이 차량의 내부에서 사용자에게 디스플레이됨으로써, 운전자는 빗물이 제거된 선명한 측후방 영상을 제공받을 수 있게 된다.
지금까지 본 발명에 따른 차량 측후방 영상 표시 방법의 실시예들에 대하여 설명하였고, 앞서 도 1 내지 도 6에서 설명한 차량용 사이드미러 시스템(100)에 관한 구성이 본 실시예에도 그대로 적용 가능하다. 이에, 보다 상세한 설명은 생략하기로 한다.
본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (13)

  1. 하프미러로 이루어지는 사이드미러;
    상기 사이드미러의 하우징 내부에 장착되고, 상기 하프미러를 투과하여 입사하는 빛으로부터 차량의 측후방에 대한 영상을 촬상하는 스테레오 카메라;
    상기 촬상된 스테레오 영상에서 상기 하프미러의 표면에 부착된 빗물에 의한 노이즈를 제거하는 영상 처리부; 및
    차량의 내부에 위치하고 상기 노이즈가 제거된 영상을 디스플레이하는 표시부;를 포함하는 것을 특징으로 하는 차량용 사이드미러 시스템.
  2. 제1항에 있어서,
    상기 스테레오 카메라는 상기 하프미러로부터 소정의 제1 간격 이격되어 설치되고, 상기 스테레오 카메라를 구성하는 제1 카메라 및 제2 카메라는 서로 소정의 제2 간격으로 이격되어 설치되며,
    상기 소정의 제1 간격 및 제2 간격은 차량의 측후방에 대한 피사체와의 거리, 상기 하프미러의 표면에 부착되는 빗물의 크기, 상기 스테레오 카메라의 영상 거리(image distance), 영상 평면 크기(image plane size), 공통 시야(FOV, field of view)의 비율에 관한 정보 중 적어도 하나에 기초하여 설정되는 것을 특징으로 하는 차량용 사이드미러 시스템.
  3. 제1항에 있어서,
    상기 사이드미러는 차량의 좌측에 위치하는 제1 사이드미러 및 차량의 우측에 위치하는 제2 사이드미러를 포함하되,
    상기 표시부는, 상기 제1 사이드미러에 인접하여 배치되고, 상기 제1 사이드미러의 내부에서 촬상된 차량의 측후방에 대한 상기 노이즈가 제거된 영상을 디스플레이하는 제1 표시부; 및
    상기 제2 사이드미러에 인접하여 배치되고, 상기 제2 사이드미러의 내부에서 촬상된 차량의 측후방에 대한 상기 노이즈가 제거된 영상을 디스플레이하는 제2 표시부;를 포함하는 것을 특징으로 하는 차량용 사이드미러 시스템.
  4. 제2항에 있어서,
    상기 영상 처리부는 상기 촬상된 스테레오 영상의 변이 정보를 이용하여 상기 노이즈를 제거하는 것을 특징으로 하는 차량용 사이드미러 시스템.
  5. 제4항에 있어서,
    상기 영상 처리부는, 상기 소정의 제1 간격, 상기 소정의 제2 간격 및 상기 스테레오 카메라의 영상 거리(image distance)에 기초하여 상기 스테레오 영상을 구성하는 제1 영상 및 제2 영상에서 각각 상기 노이즈의 위치를 탐색하고,
    상기 제1 영상에서의 노이즈를 상기 변이 정보에 따라 상기 제2 영상의 픽셀 정보로 대체하고, 상기 제2 영상에서의 노이즈를 상기 변이 정보에 따라 상기 제1 영상의 픽셀 정보로 대체하여 상기 노이즈를 제거하는 것을 특징으로 하는 차량용 사이드미러 시스템.
  6. 제4항에 있어서,
    상기 영상 처리부는 상기 변이 정보를 이용하여 상기 사이드미러로부터 상기 스테레오 카메라에 의해 촬상되는 피사체까지의 거리를 추정하는 것을 특징으로 하는 차량용 사이드미러 시스템.
  7. 제6항에 있어서,
    상기 추정된 거리에 관한 정보는 상기 노이즈가 제거된 영상과 함께 상기 표시부에 디스플레이되는 것을 특징으로 하는 차량용 사이드미러 시스템.
  8. 하프미러로 이루어지는 사이드미러의 하우징 내부에 장착되고 상기 하프미러를 투과하여 입사하는 빛으로부터 차량의 측후방에 대한 영상을 촬상하는 스테레오 카메라로부터 상기 영상 정보를 획득하는 단계;
    상기 획득된 스테레오 영상에서 상기 하프미러의 표면에 부착된 빗물에 의한 노이즈를 제거하는 단계; 및
    상기 노이즈가 제거된 영상을 차량의 내부에 위치하는 표시부를 통하여 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 차량 측후방 영상 표시 방법.
  9. 제8항에 있어서,
    상기 스테레오 카메라는 상기 하프미러로부터 소정의 제1 간격 이격되어 설치되고, 상기 스테레오 카메라를 구성하는 제1 카메라 및 제2 카메라는 서로 소정의 제2 간격으로 이격되어 설치되며,
    상기 소정의 제1 간격 및 제2 간격은 차량의 측후방에 대한 피사체와의 거리, 상기 하프미러의 표면에 부착되는 빗물의 크기, 상기 스테레오 카메라의 영상 거리(image distance), 영상 평면 크기(image plane size), 공통 시야(FOV, field of view)의 비율에 관한 정보 중 적어도 하나에 기초하여 설정되는 것을 특징으로 하는 차량 측후방 영상 표시 방법.
  10. 제9항에 있어서,
    상기 제거하는 단계는 상기 획득된 스테레오 영상의 변이 정보를 이용하여 상기 노이즈를 제거하는 것을 특징으로 하는 차량 측후방 영상 표시 방법.
  11. 제10항에 있어서,
    상기 제거하는 단계는, 상기 소정의 제1 간격, 상기 소정의 제2 간격 및 상기 스테레오 카메라의 영상 거리(image distance)에 기초하여 상기 스테레오 영상을 구성하는 제1 영상 및 제2 영상에서 각각 상기 노이즈의 위치를 탐색하고,
    상기 제1 영상에서의 노이즈를 상기 변이 정보에 따라 상기 제2 영상의 픽셀 정보로 대체하고, 상기 제2 영상에서의 노이즈를 상기 변이 정보에 따라 상기 제1 영상의 픽셀 정보로 대체하여 상기 노이즈를 제거하는 것을 특징으로 하는 차량 측후방 영상 표시 방법.
  12. 제8항에 있어서,
    상기 획득된 스테레오 영상의 변이 정보를 이용하여 상기 사이드미러로부터 상기 스테레오 카메라에 의해 촬상되는 피사체까지의 거리를 추정하는 단계;를 더 포함하되,
    상기 디스플레이하는 단계는 상기 추정된 거리에 관한 정보를 상기 노이즈가 제거된 영상과 함께 상기 표시부에 디스플레이하는 것을 특징으로 하는 차량 측후방 영상 표시 방법.
  13. 제8항 내지 제12항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되고 디지털 데이터 처리 장치에 의해 판독 가능한 기록 매체
PCT/KR2013/008587 2012-09-25 2013-09-25 차량용 사이드미러 시스템 및 이의 차량 측후방 영상 표시 방법 Ceased WO2014051335A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120106571A KR20140039831A (ko) 2012-09-25 2012-09-25 차량용 사이드미러 시스템 및 이의 차량 측후방 영상 표시 방법
KR10-2012-0106571 2012-09-25

Publications (1)

Publication Number Publication Date
WO2014051335A1 true WO2014051335A1 (ko) 2014-04-03

Family

ID=50388636

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/008587 Ceased WO2014051335A1 (ko) 2012-09-25 2013-09-25 차량용 사이드미러 시스템 및 이의 차량 측후방 영상 표시 방법

Country Status (2)

Country Link
KR (1) KR20140039831A (ko)
WO (1) WO2014051335A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2562841A (en) * 2017-03-24 2018-11-28 Ford Global Tech Llc Detection and presentation of obstructed vehicle views
US10144356B2 (en) 2017-03-24 2018-12-04 Ford Global Technologies, Llc Condensation detection for vehicle surfaces via light transmitters and receivers
CN111127410A (zh) * 2019-12-13 2020-05-08 南京工程学院 一种汽车仪表盘印刷瑕疵的自动检测方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102253169B1 (ko) * 2017-03-07 2021-05-18 현대모비스 주식회사 차량용 사이드 카메라 시스템
KR102253170B1 (ko) * 2017-03-07 2021-05-18 현대모비스 주식회사 차량용 사이드 ｃｍｓ 카메라 보호장치
US11034300B2 (en) 2017-05-23 2021-06-15 Mitsuba Corporation Door mirror

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007112368A (ja) * 2005-10-24 2007-05-10 Tgal:Kk 車両用後側方確認カメラ装置
KR20100113371A (ko) * 2009-04-13 2010-10-21 주식회사 만도 원적외선 스테레오 카메라를 이용한 보행자 보호 방법 및 장치
KR20110082873A (ko) * 2010-01-12 2011-07-20 (주) 에투시스템 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법
JP2011223075A (ja) * 2010-04-02 2011-11-04 Alpine Electronics Inc 複数カメラ画像使用車外表示装置
KR20120058208A (ko) * 2010-11-29 2012-06-07 엘지이노텍 주식회사 카메라모듈을 이용한 차량 사이드 미러 오토 폴딩 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007112368A (ja) * 2005-10-24 2007-05-10 Tgal:Kk 車両用後側方確認カメラ装置
KR20100113371A (ko) * 2009-04-13 2010-10-21 주식회사 만도 원적외선 스테레오 카메라를 이용한 보행자 보호 방법 및 장치
KR20110082873A (ko) * 2010-01-12 2011-07-20 (주) 에투시스템 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법
JP2011223075A (ja) * 2010-04-02 2011-11-04 Alpine Electronics Inc 複数カメラ画像使用車外表示装置
KR20120058208A (ko) * 2010-11-29 2012-06-07 엘지이노텍 주식회사 카메라모듈을 이용한 차량 사이드 미러 오토 폴딩 시스템 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2562841A (en) * 2017-03-24 2018-11-28 Ford Global Tech Llc Detection and presentation of obstructed vehicle views
US10144356B2 (en) 2017-03-24 2018-12-04 Ford Global Technologies, Llc Condensation detection for vehicle surfaces via light transmitters and receivers
GB2562841B (en) * 2017-03-24 2021-12-29 Ford Global Tech Llc Detection and presentation of obstructed vehicle views
CN111127410A (zh) * 2019-12-13 2020-05-08 南京工程学院 一种汽车仪表盘印刷瑕疵的自动检测方法

Also Published As

Publication number Publication date
KR20140039831A (ko) 2014-04-02

Similar Documents

Publication Publication Date Title
WO2014051335A1 (ko) 차량용 사이드미러 시스템 및 이의 차량 측후방 영상 표시 방법
CN105857180B (zh) 雾霾天车辆驾驶辅助系统及其方法
WO2015093828A1 (ko) 스테레오 카메라 및 이를 구비한 차량
JP2004258266A (ja) ステレオアダプタ及びそれを用いた距離画像入力装置
WO2009116242A1 (ja) 運転者監視装置、運転者監視方法及び車両
CN109131082B (zh) 一种完全基于视觉的单目全景泊车影像系统及其泊车方法
US20120162425A1 (en) Device and method for securing visibility for driver
CN110073402B (zh) 用于获得防闪烁超分辨率图像的车辆成像系统和方法
WO2017195965A1 (ko) 차량 속도에 따른 영상 처리 장치 및 방법
WO2013022153A1 (en) Apparatus and method for detecting lane
CN110099268B (zh) 色彩自然匹配与显示区自然融合的盲区透视化显示方法
TW201605247A (zh) 影像處理系統及方法
CN111886858B (zh) 车辆用影像系统
JP5240517B2 (ja) 車載カメラの校正装置
WO2019156072A1 (ja) 姿勢推定装置
CN102713511A (zh) 车辆用距离计算装置
US12322140B2 (en) Method for rectification of images and/or image points, camera-based system and vehicle
JP2001111989A (ja) 車載用撮像装置
WO2013018961A1 (en) Apparatus and method for detecting lane
CN102074007B (zh) 车辆用图像处理装置
JP2009025050A (ja) 視界良否判別装置、視界良否判別方法、コンピュータプログラム
CN103826938A (zh) 用于车辆的图像检测设备
JP2021149675A (ja) 車両検知装置、車両、車両検知方法及びプログラム
WO2020159024A1 (ko) 비동일 카메라 기반 영상 처리 장치
CN108566507A (zh) 一种全天候adas专用前视摄像机平台

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13841964

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13841964

Country of ref document: EP

Kind code of ref document: A1