WO2017195965A1 - 차량 속도에 따른 영상 처리 장치 및 방법 - Google Patents

차량 속도에 따른 영상 처리 장치 및 방법 Download PDF

Info

Publication number
WO2017195965A1
WO2017195965A1 PCT/KR2016/015577 KR2016015577W WO2017195965A1 WO 2017195965 A1 WO2017195965 A1 WO 2017195965A1 KR 2016015577 W KR2016015577 W KR 2016015577W WO 2017195965 A1 WO2017195965 A1 WO 2017195965A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
top view
view image
vehicle
speed
Prior art date
Application number
PCT/KR2016/015577
Other languages
English (en)
French (fr)
Inventor
엄정흠
Original Assignee
(주)캠시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)캠시스 filed Critical (주)캠시스
Priority to US16/300,297 priority Critical patent/US10783665B2/en
Publication of WO2017195965A1 publication Critical patent/WO2017195965A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Definitions

  • Embodiments of the present invention relate to an image processing apparatus and method according to a vehicle speed, and more particularly, to an image processing apparatus and method according to a vehicle speed to enable a driver to receive a peripheral image suitable for driving conditions of a vehicle. will be.
  • the AVM Around View Monitor
  • the AVM image is generated from a plurality of images taken with a fixed wide-angle camera as a single top view image, which causes distortion of the image, and the distance and position of the front and rear vehicles are not clear at high speeds. There is.
  • the left / right image as shown in FIG. 1, only 5-10% of the side charrings are visible and the distortion is severe, so that the vehicle is large.
  • the problem of the AVM image as described above is that the same top view image is displayed when parking or driving at high speed since the fixed image obtained from the fixed wide-angle camera is used.
  • the present invention proposes an image processing apparatus and method according to the vehicle speed so that the driver can be provided with a peripheral image suitable for the driving situation of the vehicle.
  • an image receiving unit for receiving an original image obtained from at least one camera installed in a vehicle;
  • a speed receiving unit receiving the speed of the vehicle;
  • An image extractor configured to extract images of different regions from the original image according to the speed;
  • a display unit configured to display the extracted image.
  • the speed is divided into a parking step, a low speed step, and a high speed step according to a preset range, and the image extracting unit extracts an image of a near screen from the vehicle in the original image in the parking step, and the circle in the low speed step.
  • An image of the medium-distance screen from the vehicle may be extracted from the image, and in the high speed step, an image of the far-field screen from the vehicle may be extracted from the original image.
  • the resolution of the original image is N x M (where N is the number of horizontal pixels and M is the number of vertical pixels)
  • the resolution of the image extracted by the image extractor is N x Z (where Z is less than M Small value).
  • the image receiving unit for receiving the original image obtained from a plurality of cameras installed in the vehicle;
  • a speed receiving unit receiving the speed of the vehicle;
  • An image extractor configured to extract a plurality of images of different regions according to the speed from the plurality of original images;
  • a top view image generator for converting the extracted plurality of images into a single top view image;
  • a display unit displaying the top view image.
  • the speed is classified into a parking step, a low speed step, and a high speed step according to a preset range, and the image extracting unit extracts images of a near screen from the vehicle in the plurality of original images in the parking step, respectively.
  • An image of a medium-distance screen may be extracted from the plurality of original images, respectively, and in the high speed step, an image of a far-field screen may be extracted from the plurality of original images, respectively.
  • a first lookup table storing mapping data of a correspondence relationship between the plurality of images extracted in the parking step and the top view image
  • a second lookup storing mapping data of the correspondence relationship between the plurality of images and the top view image extracted in the low speed step
  • a lookup table storage unit configured to store a table and a third lookup table storing mapping data corresponding to a corresponding relationship between the plurality of images extracted at the fast stage and the top view image.
  • the top view image generator may include the parking step, the low speed step, At least one top view image of the first top view image of the parking step, the second top view image of the low speed step, and the third top view image of the high speed step may be generated using a lookup table corresponding to the high speed step.
  • An event detector configured to determine an event when an object predefined in the top view image is detected or information is detected by a sensor unit that detects movement around the vehicle;
  • the speed is divided into a high speed step, and when the predefined object is detected in the first top view image and the second top view image by the event detection unit or an event is detected by the sensor unit, the display is displayed on the display unit.
  • the third top view image is converted into the first top view image or the second top view image, and the speed is divided into a low speed step, and the event detection unit detects a predefined object in the first top view image or the sensor unit.
  • the display unit may further include a control unit for converting the second top view image to the first top view image.
  • the method includes: receiving an original image obtained from a plurality of cameras installed in a vehicle; Receiving a speed of the vehicle; Extracting a plurality of images of different regions according to the speed from the plurality of original images, respectively; Converting the extracted plurality of images into one top view image; And an image processing method according to a vehicle speed including displaying the top view image.
  • the speed is classified into a parking step, a low speed step, and a high speed step according to a preset range.
  • the extracting of the images may include extracting images of a near screen from the vehicle in the plurality of original images in the parking step.
  • images of the middle distance screen may be extracted from the plurality of original images, respectively
  • images of the far screen may be extracted from the vehicle, respectively.
  • the generating of the top view image may include generating a first top view image by using a first lookup table in which mapping data about a correspondence relationship between the plurality of images extracted during the parking step and the top view image is stored, and extracted during the low speed step.
  • a second top view image is generated by using a second lookup table in which mapping data of a corresponding relationship between the plurality of images and the top view image are stored, and mapping data about the correspondence relationship between the plurality of images and the top view image extracted during the fast step.
  • the third top view image may be generated using the stored third lookup table.
  • the speed is divided into a high speed step.
  • the third top view image displayed on the display unit is converted into the first top view image or the second top view image or when the event is detected in the determining of the event, the speed is divided into a low speed stage.
  • the method may further include converting the second top view image displayed on the display unit into the first top view image.
  • the driver in the case of extracting and displaying different images according to the speed of the vehicle, there is an advantage in that the driver can provide an image around the vehicle according to a driving situation without installing a driving unit such as a separate motor.
  • the present invention it is possible to provide a different top view image according to the speed of the vehicle, it is possible to provide a top view image with less image distortion than in the prior art.
  • FIG. 1 is a diagram illustrating an example of a conventional top view image.
  • FIG. 2 is a block diagram illustrating an embodiment of an image processing system based on a vehicle speed according to an embodiment of the present invention.
  • 3 to 5 are diagrams for explaining an example of extracting an image from the original image acquired by the camera installed in the front of the vehicle.
  • FIG. 6 illustrates an example of a top view image provided according to an embodiment of the present invention.
  • FIGS. 7 to 9 are diagrams showing an example of a top view image generated according to each speed step according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating an example of an original image acquired by a wide-angle camera.
  • FIG. 11 is a flowchart illustrating a series of processes of the image processing method according to the vehicle speed according to an embodiment of the present invention.
  • an image receiving unit for receiving an original image obtained from at least one camera installed in a vehicle;
  • a speed receiving unit receiving the speed of the vehicle;
  • An image extractor configured to extract images of different regions from the original image according to the speed;
  • a display unit configured to display the extracted image.
  • FIG. 2 is a block diagram illustrating an embodiment of an image processing system based on a vehicle speed according to an embodiment of the present invention.
  • the image processing system may include a camera 100, a speed sensor 200, and an image processing apparatus 300.
  • the camera 100 is installed in the front, rear, left and right of the vehicle, respectively, and photographs the original image around the vehicle, converts it into an electrical signal, and transmits it to the image receiving unit 301.
  • At least one camera 10 is installed in the vehicle to capture the original image around the vehicle.
  • the camera 10 may be implemented as a wide angle camera including a fish eye lens.
  • a wide angle camera is a concept that includes not only a simple optical device but also an electrical device such as an image sensor that converts an optical signal into an electrical signal.
  • the wide-angle camera may be disposed on the front / rear / left side / right side of the vehicle, and each camera may be disposed such that the photographing area overlaps at least a portion or more between adjacent cameras.
  • the speed sensor 200 measures the speed of the vehicle and transmits the speed to the image processing apparatus.
  • the speed sensor 200 may be implemented with various sensors for measuring the speed of the vehicle.
  • the image processing apparatus 300 may include an image receiver 301, a speed receiver 303, an image extractor 305, a top view image generator 307, a lookup table storage 309, a display 311, and event detection. A portion 315 may be included.
  • the image receiving unit 301 is a means for receiving an original image obtained from at least one camera 100. If necessary, the image receiving unit 301 may perform an image preprocessing process using a filter or the like.
  • the speed receiver 303 receives the speed of the vehicle measured by the speed sensor.
  • the image extractor 305 extracts images of different regions from the original image according to the speed received by the speed receiver 303.
  • the speed may be divided into a parking step (20 km or less), a low speed step (20 to 80 km), and a high speed step (more than 80 km) according to a preset range, and the image extractor 305 may be used in the parking step.
  • An image of a near screen image from a vehicle may be extracted from the image, and at a low speed stage, a medium distance screen image from the vehicle may be extracted from the original image, and at a high speed stage, a far screen image from the vehicle may be extracted from the original image.
  • the speed is divided into three stages of a parking stage, a low speed stage, and a high speed stage.
  • this is a division divided for convenience of the description of the present invention, and may be divided into more speed stages.
  • the image extractor 305 may be controlled to extract an image of a near screen of the vehicle at a lower speed, and an image of a far screen of the vehicle at a higher speed.
  • 3 to 5 are diagrams for explaining an example of extracting an image from the original image acquired by the camera installed in the front of the vehicle.
  • the extracted image of FIG. 3 is an example of an image displayed on the display unit 311 during the parking step, and the image of the near screen (resolution 720x420) is extracted from the vehicle by clipping a partial image from the original image photographed at a resolution of 720x480. It is an example of extraction.
  • the image extractor 305 of the present invention extracts only the image of the near screen from the vehicle to be displayed on the display 311. .
  • the extracted image of FIG. 4 is an example of an image displayed on the display unit 311 during a low speed step, and is an example of extracting an image of a medium-distance screen from a vehicle from an original image captured at a resolution of 720x480. Since the driver of the vehicle needs to look carefully at the mid-range screen rather than the near screen from the vehicle at a low speed stage such as driving in the city, the image extractor 305 of the present invention extracts only the mid-range screen from the vehicle from the original image and displays the display unit 311. To be displayed on the screen.
  • the extracted image of FIG. 5 is an example of an image displayed on the display unit 311 during a high speed step, and is an example of extracting a remote screen from a vehicle from an original image photographed at a resolution of 720x480.
  • the driver of the vehicle should carefully look at the far screen rather than the near screen from the vehicle, so that the image extractor 305 of the present invention extracts the far screen image from the vehicle to be displayed on the display unit 311. do.
  • a back mirror is moved to the lower region by a motor, or a camera equipped with the motor is moved in the proximity direction of the vehicle.
  • the driver when extracting and displaying different images from the original image according to the parking step, the low speed step, and the high speed step as in the present invention, the driver does not need to install a driving unit such as a separate motor to the driver. There is an advantage that can provide an image.
  • 3 to 5 illustrate a case in which an image extracted from an original image photographed by a camera in front of the vehicle is displayed, but an original image obtained from a camera installed at the rear of the vehicle is also extracted and displayed in the same manner as described above.
  • an original image obtained from a camera installed at the rear of the vehicle is also extracted and displayed in the same manner as described above.
  • the top view image converting the surrounding environment of the vehicle into a top view by correcting the overlapped region to look natural based on images acquired through cameras installed at the front, rear, left and right sides of the vehicle, respectively.
  • the image processing method displayed differently according to the speed of the vehicle will be described.
  • top view image provided by the conventional AVM system displays the same image when the vehicle is parked or at a high speed, there is a problem in that it is difficult to provide a top view image suitable for a driver's vehicle driving situation.
  • Figure 6 as shown in Figure 6 to provide a top view image suitable for the driving situation of the vehicle by providing a different top view image in the parking step, low speed step, high speed step.
  • the top view image generator 307 uses the look up table (LUT) to extract a plurality of images extracted from the image extractor 305 as one top view image. Convert to
  • the lookup table storage unit 309 may include a first lookup table storing mapping data corresponding to a correspondence relationship between the plurality of images extracted during the parking step and the top view image, and a correspondence relationship between the plurality of images extracted from the low speed step and the top view image.
  • a second lookup table storing mapping data and a third lookup table storing mapping data for a correspondence relationship between the plurality of images extracted in the fast step and the top view image are stored in advance. That is, since the image extracted by the image extractor 305 is extracted with different images according to the parking stage, the low speed stage, and the high speed stage according to the speed of the vehicle, the lookup table storage unit 309 looks up according to the stage for each speed. You can create and save each table.
  • FIGS. 7 to 9 are diagrams showing an example of a top view image generated according to each speed step according to an embodiment of the present invention.
  • FIG. 7 is an example of a top view image of the parking stage
  • FIG. 8 is an example of a top view image of the low speed stage
  • FIG. 9 is an example of a top view image of the high speed stage
  • F1 is a front circle image of the vehicle
  • L1 is a left circle image of the vehicle.
  • the image, R1 means the right original image of the vehicle
  • B1 means the rear original image of the vehicle.
  • F2 is an image extracted from the front original image
  • L2 is an image extracted from the left original image
  • R2 is an image extracted from the right original image
  • B2 is an image extracted from the rear original image.
  • the image extractor 305 may include the images F2, L2, and R2 of the near screen from the vehicle in the original images F1, L1, R1, and B1 acquired by the camera. , B2), and the top view image unit 307 generates the first top view image T1 using the first lookup table. Since the first top view image is generated using only the image of the near screen from the original image, less distortion is generated around the vehicle than the top view image generated through the original image. In more detail, when a wide angle camera is used, camera distortion occurs, and the distorted image is corrected through camera internal parameters or calibration. In the original image, the distortion of the image of the corner portion is severely generated as shown in FIG. 10 due to the characteristics of the wide angle camera.
  • the top view image is generated by using an extracted image from which a portion (an image including a corner region) in which an image distortion is severely generated in the original image is partially removed, the top view image is generated using a conventional original image. Compared with this, there is an advantage of generating a top view image with less image distortion.
  • the image extractor 305 may include the images F2, L2, and R2 of the medium-distance screen from the vehicle in the original images F1, L1, R1, and B1 acquired by the camera. , B2), and the top view image unit 307 generates the second top view image T2 using the second lookup table. Since the second top view image is generated through an image of a medium-range screen having less image distortion in the original image, less distortion is generated around the vehicle than the top view image generated through the original image. In this case, the adjacent area of the vehicle in the second top view image T2 may be displayed as a gray area.
  • the image extractor 305 may include the images F2, L2, and R2 of the far screen from the vehicle in the original images F1, L1, R1, and B1 acquired by the camera. , B2), and the top view image unit 307 generates the third top view image T3 using the third lookup table. Since the third top view image is generated through an image of a medium-distance screen having less image distortion in the original image, less distortion is generated around the vehicle than the top view image generated through the original image. In this case, an adjacent area of the vehicle in the third top view image T3 may be displayed as a gray area.
  • the driver by providing different top view images according to the stages according to the speed of the vehicle, the driver can be provided with the surrounding images corresponding to the driving situation of the vehicle.
  • the event detector 315 determines that an event is detected when an object predefined in the top view image is detected or information is detected by a sensor unit that detects movement around a vehicle.
  • the control unit 317 is divided into a high-speed stage of the vehicle, the event detection unit 315 detects a predetermined object from the first top view image T1 and the second top view image T2 or the sensor unit When the event is detected, the third top view image T3 in the high speed stage displayed on the display 311 may be converted into the first top view image T1 or the second top view image T2. That is, when it is detected that an event occurs around the vehicle during the high-speed driving of the vehicle, the first top view image T1 or the second top view image (T1) or the second top view image (showing more detailed images of the vehicle surroundings than the third top view image T3) By providing T2) to the driver, the driver can react quickly to events occurring around the vehicle.
  • the second top view image T2 displayed on the display unit may be automatically converted into the first top view image T1.
  • FIG. 11 is a flowchart illustrating a series of processes of the image processing method according to the vehicle speed according to an embodiment of the present invention.
  • the image receiving unit 310 receives a plurality of original images obtained from a plurality of cameras 100 installed in front, rear, left, and right of a vehicle (S100).
  • the speed receiving unit 303 receives the speed sensed from the speed sensor (S200).
  • the image extractor 305 extracts a plurality of images of different regions according to the speed from the plurality of original images, respectively (S300).
  • the speed may be divided into a parking step, a low speed step, and a high speed step according to a preset range, and the extracting of each of the images may be performed in the parking step in the plurality of original images. Images are respectively extracted, and in the low speed step, images of the middle distance screen are respectively extracted from the plurality of original images, and in the high speed step, images of the far screen are respectively extracted from the plurality of original images. have.
  • the top view image generator 307 converts the plurality of images extracted by the image extractor 305 into one top view image (S400).
  • the top view image generator 307 generates a first top view image by using a first lookup table in which mapping data of a corresponding relationship between a plurality of images extracted during the parking step and a top view image is stored.
  • a second top view image is generated by using a second lookup table in which mapping data about a correspondence relationship between the plurality of images extracted at the low speed step and the top view image is stored, and a correspondence relationship between the plurality of images extracted at the high speed step and the top view image.
  • a third top view image may be generated by using a third lookup table in which mapping data about is stored.
  • the top view image generated by the top view image generator 307 is displayed through the display 311 (S500).
  • the third top view image displayed on the display unit is converted into the first top view image or the second top view image, or the speed is low.
  • the second top view image displayed on the display unit may be converted into the first top view image (S700).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 영상처리장치는 차량에 설치된 적어도 하나의 카메라로부터 획득되는 원영상을 수신하는 영상 수신부; 상기 차량의 속도를 전송받는 속도 수신부; 상기 속도에 따라 상기 원영상으로부터 서로 다른 영역의 영상을 추출하는 영상 추출부; 및 상기 추출된 영상을 디스플레이하는 디스플레이부를 포함할 수 있다. 본 발명에 따르면, 차량의 속도에 따라 서로 다른 영상을 추출하여 디스플레이 하는 경우 카메라에 별도의 모터와 같은 구동부를 설치하지 않고도 운전자에게 주행 상황에 맞는 차량 주변의 영상을 제공할 수 있는 이점이 있다. 본 발명에 따르면, 차량의 속도에 따라 서로 다른 탑뷰 영상을 제공할 수 있으며, 종래에 비해 영상 왜곡이 적은 탑뷰 영상을 제공할 수 있다.

Description

차량 속도에 따른 영상 처리 장치 및 방법
본 발명의 실시예들은 차량 속도에 따른 영상 처리 장치 및 방법에 관한 것으로서, 더욱 상세하게는 운전자가 차량의 주행 상황에 맞는 주변 영상을 제공받을 수 있도록 하는 차량 속도에 따른 영상 처리 장치 및 방법에 관한 것이다.
AVM(Around View Monitor) 시스템은 차량의 전방, 후방, 좌측 및 우측에 각각 설치된 카메라를 통해 주변 환경을 촬영하고, 촬영된 영상을 기초로 중복 영역을 자연스럽게 보이도록 보정 처리하여 자동차의 주변 환경을 탑뷰(Top View) 형태로 화면상에 표시한다. 이에 따라 운전자는 표시된 주변 환경을 통해 자동차의 주변 상황을 정확하게 인식할 수 있고, 사이드 미러나 백 미러를 보지 않고도 편리하게 주차할 수 있다.
그러나, AVM 영상은 고정된 광각 카메라로 촬영된 복수의 영상을 하나의 탑뷰 영상으로 생성한 것으로 영상의 왜곡이 발생하며, 차량의 고속 주행시에는 전/후 차량에 대한 거리 및 위치가 명확하지 않은 문제가 있다. 또한, 좌/우측 영상의 경우에는 도 1에서 볼 수 있는 바와 같이 옆에 있는 챠랑이 5~10%만 보이고 왜곡이 심하여 차량이 크게 보이는 문제점이 있다. 또한 옆 차와의 거리를 알기가 쉽지 않아서 사고 위협이 발생한다.
상기와 같은 AVM 영상의 문제는 고정된 광각 카메라로부터 획득된 고정된 영상을 사용하므로 주차 시 때나 고속 주행 시 동일한 탑뷰 영상을 디스플레이 하기 때문이다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 운전자가 차량의 주행 상황에 맞는 주변 영상을 제공받을 수 있도록 하는 차량 속도에 따른 영상 처리 장치 및 방법을 제안하고자 한다.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 차량에 설치된 적어도 하나의 카메라로부터 획득되는 원영상을 수신하는 영상 수신부; 차량의 속도를 전송받는 속도 수신부; 상기 속도에 따라 상기 원영상으로부터 서로 다른 영역의 영상을 추출하는 영상 추출부; 및 상기 추출된 영상을 디스플레이하는 디스플레이부를 포함하는 것을 특징으로 하는 차량 속도에 따른 영상 처리 장치가 제공된다.
상기 속도는 기 설정된 범위에 따라 주차단계, 저속단계, 고속단계로 구분되며, 상기 영상 추출부는 상기 주차단계에서는 상기 원영상에서 상기 차량으로부터의 근거리 화면의 영상을 추출하며, 상기 저속단계에서는 상기 원영상에서 상기 차량으로부터의 중거리 화면의 영상을 추출하며, 상기 고속단계에서는 상기 원영상에서 상기 차량으로부터의 원거리 화면의 영상을 추출할 수 있다.
상기 원영상의 해상도가 N x M(여기서, N은 가로 픽셀의 수, M은 세로 픽셀의 수)인 경우, 상기 영상 추출부에서 추출되는 영상의 해상도는 N x Z(여기서, Z는 M보다 작은 값)으로 조정될 수 있다.
본 발명의 일 실시예에 따르면, 차량에 설치된 복수의 카메라로부터 획득되는 원영상을 수신하는 영상 수신부; 상기 차량의 속도를 전송받는 속도 수신부; 상기 복수의 원영상으로부터 상기 속도에 따라 서로 다른 영역의 복수의 영상을 각각 추출하는 영상 추출부; 상기 추출된 복수의 영상을 하나의 탑뷰 영상으로 변환하는 탑뷰 영상 생성부; 및 상기 탑뷰 영상을 디스플레이하는 디스플레이부를 포함할 수 있다.
상기 속도는 기 설정된 범위에 따라 주차단계, 저속단계, 고속단계로 구분되며, 상기 영상 추출부는 상기 주차단계에서는 상기 복수의 원영상에서 상기 차량으로부터 근거리 화면의 영상을 각각 추출하며, 상기 저속단계에서는 상기 복수의 원영상에서 상기 차량으로부터 중거리 화면의 영상을 각각 추출하며, 상기 고속단계에서는 상기 복수의 원영상에서 상기 차량으로부터 원거리 화면의 영상을 각각 추출할 수 있다.
상기 주차단계시 추출되는 복수의 영상과 탑뷰 영상간의 대응관계에 대한 매핑 데이터가 저장된 제1 룩업 테이블, 상기 저속단계시 추출되는 복수의 영상과 탑뷰 영상간의 대응관계에 대한 매핑데이터가 저장된 제2 룩업 테이블, 상기 고속단계시 추출되는 복수의 영상과 탑뷰 영상간의 대응관계에 대한 매핑 데이터가 저장된 제3 룩업 테이블을 저장하는 룩업 테이블 저장부를 더 포함하며, 상기 탑뷰 영상 생성부는 상기 주차단계, 저속단계, 고속단계에 대응되는 룩업 테이블을 이용하여 주차단계의 제1 탑뷰 영상, 저속단계의 제2 탑뷰 영상, 고속 단계의 제3 탑뷰 영상 중 적어도 하나의 탑뷰 영상을 생성할 수 있다.
탑뷰 영상에 사전 정의된 객체가 검출되거나 차량 주변의 움직임을 감지하는 센서부에서 정보가 감지되면 이벤트로 판단하는 이벤트 감지부; 및
상기 속도가 고속단계로 구분되며, 상기 이벤트 감지부에서 제1 탑뷰 영상 및 상기 제2 탑뷰 영상에서 사전 정의된 객체가 검출되거나 또는 센서부에 의해 이벤트가 감지되는 경우, 상기 디스플레이부에서 디스플레이되는 상기 제3 탑뷰 영상을 상기 제1 탑뷰 영상 또는 상기 제2 탑뷰 영상으로 전환하며, 상기 속도가 저속단계로 구분되며, 상기 이벤트 감지부에서 제1 탑뷰 영상 에서 사전 정의된 객체가 검출되거나 또는 센서부에 의해 이벤트가 감지되는 경우, 상기 디스플레이부에서 디스플레이되는 상기 제2 탑뷰 영상을 상기 제1 탑뷰 영상으로 전환하는 제어부를 더 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 차량에 설치된 복수의 카메라로부터 획득되는 원영상을 수신하는 단계; 상기 차량의 속도를 수신하는 단계; 상기 복수의 원영상으로부터 상기 속도에 따라 서로 다른 영역의 복수의 영상을 각각 추출하는 단계; 상기 추출된 복수의 영상을 하나의 탑뷰 영상으로 변환하는 단계; 및 상기 탑뷰 영상을 디스플레이하는 단계를 포함하는 차량 속도에 따른 영상 처리 방법이 제공될 수 있다.
상기 속도는 기 설정된 범위에 따라 주차단계, 저속단계, 고속단계로 구분되며, 상기 영상을 각각 추출하는 단계는 상기 주차단계에서 상기 복수의 원영상에서 상기 차량으로부터 근거리 화면의 영상을 각각 추출하며, 상기 저속단계에서 상기 복수의 원영상에서 상기 차량으로부터 중거리 화면의 영상을 각각 추출하며, 상기 고속단계에서 상기 복수의 원영상에서 상기 차량으로부터 원거리 화면의 영상을 각각 추출할 수 있다.
상기 탑뷰 영상을 생성하는 단계는, 상기 주차단계시 추출되는 복수의 영상과 탑뷰 영상간의 대응관계에 대한 매핑 데이터가 저장된 제1 룩업 테이블을 이용하여 제1 탑뷰 영상을 생성하며, 상기 저속단계시 추출되는 복수의 영상과 탑뷰 영상간의 대응관계에 대한 매핑데이터가 저장된 제2 룩업 테이블을 이용하여 제2 탑뷰 영상을 생성하며, 상기 고속단계시 추출되는 복수의 영상과 탑뷰 영상간의 대응관계에 대한 매핑 데이터가 저장된 제3 룩업 테이블을 이용하여 제3 탑뷰 영상을 생성할 수 있다.
탑뷰 영상에 사전 정의된 객체가 검출되거나 차량 주변의 움직임을 감지하는 센서부에서 정보가 감지되면 이벤트로 판단하는 단계 및 상기 이벤트로 판단하는 단계에서 이벤트가 감지되고, 상기 속도가 고속단계로 구분되는 경우, 상기 디스플레이부에서 디스플레이되는 상기 제3 탑뷰 영상을 상기 제1 탑뷰 영상 또는 상기 제2 탑뷰 영상으로 전환하거나, 상기 이벤트로 판단하는 단계에서 이벤트가 감지되고, 상기 속도가 저속단계로 구분되는 경우, 상기 디스플레이부에서 디스플레이되는 상기 제2 탑뷰 영상을 상기 제1 탑뷰 영상으로 전환하는 단계를 더 포함할 수 있다.
본 발명에 따르면, 차량의 속도에 따라 서로 다른 영상을 추출하여 디스플레이 하는 경우 카메라에 별도의 모터와 같은 구동부를 설치하지 않고도 운전자에게 주행 상황에 맞는 차량 주변의 영상을 제공할 수 있는 이점이 있다.
본 발명에 따르면, 차량의 속도에 따라 서로 다른 탑뷰 영상을 제공할 수 있으며, 종래에 비해 영상 왜곡이 적은 탑뷰 영상을 제공할 수 있다.
도 1은 종래의 탑뷰 영상의 일례를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량 속도에 따른 영상 처리 시스템의 일 실시예를 도시한 블록도이다.
도 3 내지 도 5는 영상 추출부가 차량의 전방에 설치된 카메라에서 획득된 원영상에서 영상을 추출하는 일례를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따라 제공되는 탑뷰 영상의 일례를 도시한 도면이다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 각 속도별 단계에 따라 생성되는 탑뷰 영상의 일례를 도시한 도면이다.
도 10은 광각 카메라에서 획득되는 원영상의 일례를 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 차량 속도에 따른 영상 처리 방법의 일련의 과정을 설명하기 위해 도시한 순서도이다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 차량에 설치된 적어도 하나의 카메라로부터 획득되는 원영상을 수신하는 영상 수신부; 차량의 속도를 전송받는 속도 수신부; 상기 속도에 따라 상기 원영상으로부터 서로 다른 영역의 영상을 추출하는 영상 추출부; 및 상기 추출된 영상을 디스플레이하는 디스플레이부를 포함하는 것을 특징으로 하는 차량 속도에 따른 영상 처리 장치가 제공된다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 이하의 설명에서 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한, 도면에서 본 발명과 관계없는 부분은 본 발명의 설명을 명확하게 하기 위하여 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 동일한 도면 부호를 붙였다.
이하, 첨부된 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 차량 속도에 따른 영상 처리 시스템의 일 실시예를 도시한 블록도이다.
도 2를 참조하면, 영상 처리 시스템은 카메라(100), 속도 센서(200), 영상 처리 장치(300)를 포함할 수 있다.
카메라(100)는 카메라(10)는 차량의 전후좌우에 각각 설치되어 차량 주변의 원영상을 촬영하여 이를 전기적 신호로 변환하여 영상 수신부(301)로 전송한다.
카메라(10)는 차량에 적어도 하나 이상 설치되어 차량 주변의 원영상을 촬영한다. 일례로, 카메라(10)는 어안렌즈(fish eye lens)를 포함하는 광각 카메라로 구현될 수 있다. 광각 카메라는 단순한 광학기구뿐 아니라, 광학 신호를 전기적 신호로 변환하는 이미지 센서 등의 전기적 장치를 포함하는 개념이다. 예컨대, 광각 카메라는 차량의 전방/후방/좌측면/우측면에 배치될 수 있으며, 각 카메라는 그 촬영 영역이 인접하는 카메라 사이에서 적어도 일부분 이상 겹치도록 배치될 수 있다.
속도 센서(200)는 차량의 속도를 측정하여 영상 처리 장치로 전송한다. 속도 센서(200)는 차량의 속도를 측정하기 위한 다양한 센서로 구현될 수 있을 것이다.
영상 처리 장치(300)는 영상 수신부(301), 속도 수신부(303), 영상 추출부(305), 탑뷰 영상 생성부(307), 룩업 테이블 저장부(309), 디스플레이부(311), 이벤트 감지부(315)를 포함할 수 있다.
영상 수신부(301)는 적어도 하나의 카메라(100)로부터 획득된 원영상을 수신하는 수단으로서, 필요한 경우 영상 수신부(301)에서는 필터 등에 의해 영상 전처리 과정을 수행할 수도 있다.
속도 수신부(303)는 속도 센서에서 측정된 차량의 속도를 수신한다.
영상 추출부(305)는 속도 수신부(303)에 수신된 속도에 따라 상기 원영상으로부터 서로 다른 영역의 영상을 추출한다.
보다 상세하게, 상기 속도는 기 설정된 범위에 따라 주차단계(20km 이하), 저속단계(20~80km), 고속단계(80km 이상)로 구분될 수 있으며, 영상 추출부(305)는 주차단계에서는 원영상에서 차량으로부터의 근거리 화면 영상을 추출하며, 저속단계에서는 원영상에서 차량으로부터의 중거리 화면 영상을 추출하며, 고속단계에서는 원영상에서 차량으로부터의 원거리 화면 영상을 추출할 수 있다.
상기에서는 속도를 주차단계, 저속단계, 고속단계의 3 단계로 구분하였으나, 이는 발명의 설명의 편의를 위해 나눈 구분이며, 더 많은 속도 단계로 구분될 수도 있을 것이다. 또한, 영상 추출부(305)는 원영상에서 단계별로, 저속일수록 차량의 근거리 화면의 영상, 고속일수록 차량의 원거리 화면의 영상이 추출되도록 제어될 수 있을 것이다.
도 3 내지 도 5는 영상 추출부가 차량의 전방에 설치된 카메라에서 획득된 원영상에서 영상을 추출하는 일례를 설명하기 위한 도면이다.
도 3의 추출된 영상은 주차단계시 디스플레이부(311)에 디스플레이 되는 영상의 일례로서, 해상도 720x480으로 촬영된 원영상에서 일부 영상을 클리핑(Clipping) 하여 차량으로부터 근거리 화면의 영상(해상도 720x420)을 추출한 일례이다. 주차단계시에는 차량의 운전자는 원거리 화면보다는 근거리 화면을 주의 깊게 봐야 하므로 본 발명의 영상 추출부(305)는 원영상에서 차량으로부터의 근거리 화면의 영상만을 추출하여 디스플레이부(311)에 디스플레이 되도록 한다.
도 4의 추출된 영상은 저속단계시 디스플레이부(311)에 디스플레이 되는 영상의 일례로서, 해상도 720x480으로 촬영된 원영상에서 차량으로부터 중거리 화면의 영상을 추출한 일례이다. 시내주행과 같은 저속단계시에는 차량의 운전자는 차량으로부터 근거리 화면보다는 중거리 화면을 주의 깊게 봐야 하므로 본 발명의 영상 추출부(305)는 원영상에서 차량으로부터의 중거리 화면만을 추출하여 디스플레이부(311)에 디스플레이 되도록 한다.
도 5의 추출된 영상은 고속단계시 디스플레이부(311)에 디스플레이 되는 영상의 일례로서, 해상도 720x480으로 촬영된 원영상에서 차량으로부터 원거리 화면을 추출한 일례이다. 고속단계에서는 차량의 운전자는 차량으로부터 근거리 화면보다는 원거리 화면을 주의 깊게 봐야 하므로 본 발명의 영상 추출부(305)는 원영상에서 차량으로부터의 원거리 화면의 영상을 추출하여 디스플레이부(311)에 디스플레이 되도록 한다.
종래에는 차량의 주차모드시 운전자에게 차량의 근거리 환경을 보여주기 위해 모터에 의해 벡미러가 하부 영역으로 움직이거나, 모터가 장착된 카메라가 차량의 근접 방향으로 이동하는 방식이 사용되었다.
그러나, 본 발명에서와 같이 주차단계, 저속단계, 고속단계에 따라 원영상에서 서로 다른 영상을 추출하여 디스플레이 하는 경우 카메라에 별도의 모터와 같은 구동부를 설치하지 않고도 운전자에게 주행 상황에 맞는 차량 주변의 영상을 제공할 수 있는 이점이 있다.
도 3 내지 도 5에서는 차량의 전방의 카메라에서 촬영된 원영상에서 추출된 영상이 디스플레이되는 경우에 대해서 설명하였으나, 차량의 후방에 설치된 카메라에서 획득된 원영상 또한 상기와 동일한 방법으로 추출되어 디스플레이 될 수 있을 것이다.
또한, 이하에서는 차량의 전방, 후방, 좌측 및 우측에 각각 설치된 카메라를 통해 획득된 영상을 기초로 중복 영역을 자연스럽게 보이도록 보정 처리하여 자동차의 주변 환경을 탑뷰(Top View) 형태로 변환하는 탑뷰 영상이 차량의 속도에 따라 달리 디스플레이 되는 영상 처리 방법에 대해 설명하도록 한다.
종래의 AVM 시스템에서 제공하는 탑뷰 영상은 차량의 주차시나 고속 주행 시 동일한 영상을 디스플레이 하므로, 운전자의 차량 주행 상황에 적합한 탑뷰 영상을 제공받기 어려운 문제가 있었다. 그러나, 본 발명에서는 도 6에서와 같이 주차단계, 저속단계, 고속단계에서 서로 다른 탑뷰 영상을 제공함으로써 운전자의 차량 주행 상황에 적합한 탑뷰 영상을 제공하도록 한다.
이와 관련된 구성을 다시 도 2를 참조하여 설명하면, 탑뷰 영상 생성부(307)는 룩업 테이블(LUT, Look Up Table)을 이용하여 영상 추출부(305)에서 추출되는 복수의 영상을 하나의 탑뷰 영상으로 변환한다.
룩업 테이블 저장부(309)는 주차단계시 추출되는 복수의 영상과 탑뷰 영상간의 대응관계에 대한 매핑 데이터가 저장된 제1 룩업 테이블, 상기 저속단계시 추출되는 복수의 영상과 탑뷰 영상간의 대응관계에 대한 매핑데이터가 저장된 제2 룩업 테이블, 상기 고속단계시 추출되는 복수의 영상과 탑뷰 영상간의 대응관계에 대한 매핑 데이터가 저장된 제3 룩업 테이블을 미리 저장한다. 즉, 영상 추출부(305)에서 추출되는 영상은 차량의 속도에 따른 주차단계, 저속단계, 고속단계에 따라 서로 다른 영상이 추출되므로, 룩업 테이블 저장부(309)는 각 속도별 단계에 따른 룩업 테이블을 각각 생성하여 저장할 수 있다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 각 속도별 단계에 따라 생성되는 탑뷰 영상의 일례를 도시한 도면이다.
도 7은 주차단계의 탑뷰 영상의 일례이며, 도 8은 저속단계의 탑뷰 영상의 일례이며, 도 9는 고속단계의 탑뷰 영상의 일례이며, F1은 차량의 전방 원영상, L1은 차량의 좌측 원영상, R1은 차량의 우측 원영상, B1은 차량의 후방 원영상을 의미한다. 또한, F2는 전방 원영상에서 추출된 영상, L2는 좌측 원영상에서 추출된 영상, R2는 우측 원영상에서 추출된 영상, B2는 후방 원영상에서 추출된 영상을 의미한다.
도 7을 참조하면, 차량의 속도가 주차단계인 경우 영상 추출부(305)는 카메라에서 획득된 원영상(F1, L1, R1, B1)에서 차량으로부터의 근거리 화면의 영상(F2, L2, R2, B2)을 추출하며, 탑뷰 영상부(307)는 제1 룩업 테이블을 이용하여 제1 탑뷰 영상(T1)을 생성한다. 제1 탑뷰 영상은 원영상에서 근거리 화면의 영상만을 이용하여 생성되므로, 원영상을 통해 생성되는 탑뷰 영상에 비해서 차량 주변의 왜곡이 적게 발생한다. 보다 상세하게, 광각 카메라를 사용하는 경우 카메라 왜곡 현상이 발생하며, 카메라 내부 파라미터 또는 캘리브레이션을 통해 왜곡된 영상을 보정하게 된다. 원영상에서는 광각 카메라의 특성상 도 10에서와 같이 모서리 부분의 영상의 왜곡이 심하게 발생하게 된다. 그러나, 본 발명에서는 원영상에서 영상 왜곡이 심하게 발생된 부분(모서리 영역을 포함하는 영상)이 일부 제거된 추출 영상을 이용하여 탑뷰 영상이 생성되므로, 종래의 원영상을 이용하여 생성된 탑뷰 영상에 비해 영상 왜곡이 적은 탑뷰 영상을 생성할 수 있는 장점이 있다.
도 8을 참조하면, 차량의 속도가 저속단계인 경우 영상 추출부(305)는 카메라에서 획득된 원영상(F1, L1, R1, B1)에서 차량으로부터의 중거리 화면의 영상(F2, L2, R2, B2)을 추출하며, 탑뷰 영상부(307)는 제2 룩업 테이블을 이용하여 제2 탑뷰 영상(T2)을 생성한다. 제2 탑뷰 영상은 원영상에서 영상 왜곡이 적은 중거리 화면의 영상을 통해 생성되므로, 원영상을 통해 생성되는 탑뷰 영상에 비해서 차량 주변의 왜곡이 적게 발생한다. 이때, 제2 탑뷰 영상(T2)에서의 차량의 근접한 영역은 그레이 영역으로 표시가 될 수 있다.
도 9를 참조하면, 차량의 속도가 고속단계인 경우 영상 추출부(305)는 카메라에서 획득된 원영상(F1, L1, R1, B1)에서 차량으로부터의 원거리 화면의 영상(F2, L2, R2, B2)을 추출하며, 탑뷰 영상부(307)는 제3 룩업 테이블을 이용하여 제3 탑뷰 영상(T3)을 생성한다. 제3 탑뷰 영상은 원영상에서 영상 왜곡이 적은 중거리 화면의 영상을 통해 생성되므로, 원영상을 통해 생성되는 탑뷰 영상에 비해서 차량 주변의 왜곡이 적게 발생한다. 이때, 제3 탑뷰 영상(T3)에서의 차량의 근접한 영역은 그레이 영역으로 표시가 될 수 있다.
즉, 본 발명에서는 차량의 속도에 따른 단계에 따라 서로 다른 탑뷰 영상을 제공함으로써, 운전자는 차량의 주행 상황에 맞는 주변 영상을 제공받을 수 있게 된다.
다시 도 2를 참조하면, 이벤트 감지부(315)는 탑뷰 영상에 사전 정의된 객체가 검출되거나 차량 주변의 움직임을 감지하는 센서부에서 정보가 감지되면 이벤트로 판단한다.
제어부(317)는 차량의 속도가 고속단계로 구분되며, 이벤트 감지부(315)에서 제1 탑뷰 영상(T1) 및 상기 제2 탑뷰 영상(T2)에서 사전 정의된 객채가 검출되거나 또는 센서부에 의해 이벤트가 감지되는 경우, 디스플레이부(311)에서 디스플레이되는 고속단계에서의 제3 탑뷰 영상(T3)을 제1 탑뷰 영상(T1) 또는 상기 제2 탑뷰 영상(T2)으로 전환할 수 있다. 즉, 차량의 고속주행 중 차량 주변에 이벤트가 발생한 것으로 감지되는 경우, 제3 탑뷰 영상(T3)에 비해 차량 주변의 영상을 보다 자세하게 보여줄 수 있는 제1 탑뷰 영상(T1) 또는 제2 탑뷰 영상(T2)을 운전자에게 제공함으로써 차량 주변에서 발생하는 이벤트에 대해 운전자가 빠르게 대처할 수 있도록 한다.
또한, 제어부(317)는 차량의 속도가 저속단계로 구분되며, 이벤트 감지부(315)에서 제1 탑뷰 영상(T1)에서 사전 정의된 객체가 검출되거나 또는 센서부에 의해 이벤트가 감지되는 경우, 상기 디스플레이부에서 디스플레이되는 상기 제2 탑뷰 영상(T2)을 상기 제1 탑뷰 영상(T1)으로 자동 전환할 수 있다.
도 11은 본 발명의 일 실시예에 따른 차량 속도에 따른 영상 처리 방법의 일련의 과정을 설명하기 위해 도시한 순서도이다.
도 11을 참조하면, 우선, 영상 수신부(310)는 차량에 전후좌우에 설치된 복수의 카메라(100)로부터 획득되는 복수의 원영상을 수신한다(S100).
이와 함께, 속도 수신부(303)는 속도 센서로부터 센싱된 속도를 수신한다(S200).
이어서, 영상 추출부(305)는 복수의 원영상으로부터 상기 속도에 따라 서로 다른 영역의 복수의 영상을 각각 추출한다(S300).
보다 상세하게, 상기 속도는 기 설정된 범위에 따라 주차단계, 저속단계, 고속단계로 구분될 수 있으며, 상기 영상을 각각 추출하는 단계는 상기 주차단계에서 상기 복수의 원영상에서 상기 차량으로부터 근거리 화면의 영상을 각각 추출하며, 상기 저속단계에서 상기 복수의 원영상에서 상기 차량으로부터 중거리 화면의 영상을 각각 추출하며, 상기 고속단계에서 상기 복수의 원영상에서 상기 차량으로부터 원거리 화면의 영상을 각각 추출할 수 있다.
이어서, 탑뷰 영상 생성부(307)는 영상 추출부(305)에서 추출된 복수의 영상을 하나의 탑뷰 영상으로 변환한다(S400).
보다 상세하게, 상기 탑뷰 영상 생성부(307)는 상기 주차단계시 추출되는 복수의 영상과 탑뷰 영상간의 대응관계에 대한 매핑 데이터가 저장된 제1 룩업 테이블을 이용하여 제1 탑뷰 영상을 생성하며, 상기 저속단계시 추출되는 복수의 영상과 탑뷰 영상간의 대응관계에 대한 매핑데이터가 저장된 제2 룩업 테이블을 이용하여 제2 탑뷰 영상을 생성하며, 상기 고속단계시 추출되는 복수의 영상과 탑뷰 영상간의 대응관계에 대한 매핑 데이터가 저장된 제3 룩업 테이블을 이용하여 제3 탑뷰 영상을 생성할 수 있을 것이다.
이어서, 탑뷰 영상 생성부(307)에서 생성된 탑뷰 영상은 디스플레이부(311)를 통해 디스플레이된다(S500).
이어서, 탑뷰 영상에 사전에 정의된 객체가 검출되거나, 차량 주변의 움직임을 감지하는 센서부(미도시)에서 정보가 감지되면 이벤트가 발생한 것으로 판단할 수 있다(S600).
상기 이벤트가 감지된 것으로 판단되고, 상기 속도가 고속단계로 구분되는 경우, 상기 디스플레이부에서 디스플레이되는 상기 제3 탑뷰 영상을 상기 제1 탑뷰 영상 또는 상기 제2 탑뷰 영상으로 전환하거나, 상기 속도가 저속단계로 구분되는 경우, 상기 디스플레이부에서 디스플레이되는 상기 제2 탑뷰 영상을 상기 제1 탑뷰 영상으로 전환할 수 있다(S700).
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (12)

  1. 차량에 설치된 적어도 하나의 카메라로부터 획득되는 원영상을 수신하는 영상 수신부;
    상기 차량의 속도를 전송받는 속도 수신부;
    상기 속도에 따라 상기 원영상으로부터 서로 다른 영역의 영상을 추출하는 영상 추출부; 및
    상기 추출된 영상을 디스플레이하는 디스플레이부를 포함하는 것을 특징으로 하는 차량 속도에 따른 영상 처리 장치.
  2. 제1항에 있어서,
    상기 속도는 기 설정된 범위에 따라 주차단계, 저속단계, 고속단계로 구분되며,
    상기 영상 추출부는 상기 주차단계에서는 상기 원영상에서 상기 차량으로부터의 근거리 화면의 영상을 추출하며, 상기 저속단계에서는 상기 원영상에서 상기 차량으로부터의 중거리 화면의 영상을 추출하며, 상기 고속단계에서는 상기 원영상에서 상기 차량으로부터의 원거리 화면의 영상을 추출하는 것을 특징으로 하는 차량 속도에 따른 영상 처리 장치.
  3. 제2항에 있어서,
    상기 원영상의 해상도가 N x M(여기서, N은 가로 픽셀의 수, M은 세로 픽셀의 수)인 경우,
    상기 영상 추출부에서 추출되는 영상의 해상도는 N x Z(여기서, Z는 M보다 작은 값)으로 조정되는 것을 특징으로 하는 차량 속도에 따른 영상 처리 장치.
  4. 차량에 설치된 복수의 카메라로부터 획득되는 원영상을 수신하는 영상 수신부;
    상기 차량의 속도를 전송받는 속도 수신부;
    상기 복수의 원영상으로부터 상기 속도에 따라 서로 다른 영역의 복수의 영상을 각각 추출하는 영상 추출부;
    상기 추출된 복수의 영상을 하나의 탑뷰 영상으로 변환하는 탑뷰 영상 생성부; 및
    상기 탑뷰 영상을 디스플레이하는 디스플레이부를 포함하는 것을 특징으로 하는 차량 속도에 따른 영상 처리 장치.
  5. 제4항에 있어서,
    상기 속도는 기 설정된 범위에 따라 주차단계, 저속단계, 고속단계로 구분되며,
    상기 영상 추출부는 상기 주차단계에서는 상기 복수의 원영상에서 상기 차량으로부터 근거리 화면의 영상을 각각 추출하며, 상기 저속단계에서는 상기 복수의 원영상에서 상기 차량으로부터 중거리 화면의 영상을 각각 추출하며, 상기 고속단계에서는 상기 복수의 원영상에서 상기 차량으로부터 원거리 화면의 영상을 각각 추출하는 것을 특징으로 하는 차량 속도에 따른 영상 처리 장치.
  6. 제5항에 있어서,
    상기 주차단계시 추출되는 복수의 영상과 탑뷰 영상간의 대응관계에 대한 매핑 데이터가 저장된 제1 룩업 테이블, 상기 저속단계시 추출되는 복수의 영상과 탑뷰 영상간의 대응관계에 대한 매핑데이터가 저장된 제2 룩업 테이블, 상기 고속단계시 추출되는 복수의 영상과 탑뷰 영상간의 대응관계에 대한 매핑 데이터가 저장된 제3 룩업 테이블을 저장하는 룩업 테이블 저장부를 더 포함하며,
    상기 탑뷰 영상 생성부는 상기 주차단계, 저속단계, 고속단계에 대응되는 룩업 테이블을 이용하여 주차단계의 제1 탑뷰 영상, 저속단계의 제2 탑뷰 영상, 고속 단계의 제3 탑뷰 영상 중 적어도 하나의 탑뷰 영상을 생성하는 것을 특징으로 하는 차량 속도에 따른 영상 처리 장치.
  7. 제6항에 있어서,
    탑뷰 영상에 사전 정의된 객체가 검출되거나 차량 주변의 움직임을 감지하는 센서부에서 정보가 감지되면 이벤트로 판단하는 이벤트 감지부; 및
    상기 속도가 고속단계로 구분되며, 상기 이벤트 감지부에서 제1 탑뷰 영상 및 상기 제2 탑뷰 영상에서 사전 정의된 객체가 검출되거나 또는 센서부에 의해 이벤트가 감지되는 경우, 상기 디스플레이부에서 디스플레이되는 상기 제3 탑뷰 영상을 상기 제1 탑뷰 영상 또는 상기 제2 탑뷰 영상으로 전환하며,
    상기 속도가 저속단계로 구분되며, 상기 이벤트 감지부에서 제1 탑뷰 영상 에서 사전 정의된 객체가 검출되거나 또는 센서부에 의해 이벤트가 감지되는 경우, 상기 디스플레이부에서 디스플레이되는 상기 제2 탑뷰 영상을 상기 제1 탑뷰 영상으로 전환하는 제어부를 더 포함하는 것을 특징으로 하는 차량 속도에 따른 영상 처리 장치.
  8. 차량에 설치된 복수의 카메라로부터 획득되는 원영상을 수신하는 단계;
    상기 차량의 속도를 수신하는 단계;
    상기 복수의 원영상으로부터 상기 속도에 따라 서로 다른 영역의 복수의 영상을 각각 추출하는 단계;
    상기 추출된 복수의 영상을 하나의 탑뷰 영상으로 변환하는 단계; 및
    상기 탑뷰 영상을 디스플레이하는 단계를 포함하는 차량 속도에 따른 영상 처리 방법.
  9. 제8항에 있어서,
    상기 속도는 기 설정된 범위에 따라 주차단계, 저속단계, 고속단계로 구분되며,
    상기 영상을 각각 추출하는 단계는 상기 주차단계에서 상기 복수의 원영상에서 상기 차량으로부터 근거리 화면의 영상을 각각 추출하며, 상기 저속단계에서 상기 복수의 원영상에서 상기 차량으로부터 중거리 화면의 영상을 각각 추출하며, 상기 고속단계에서 상기 복수의 원영상에서 상기 차량으로부터 원거리 화면의 영상을 각각 추출하는 것을 특징으로 하는 차량 속도에 따른 영상 처리 방법.
  10. 제8항에 있어서,
    상기 탑뷰 영상을 생성하는 단계는, 상기 주차단계시 추출되는 복수의 영상과 탑뷰 영상간의 대응관계에 대한 매핑 데이터가 저장된 제1 룩업 테이블을 이용하여 제1 탑뷰 영상을 생성하며,
    상기 저속단계시 추출되는 복수의 영상과 탑뷰 영상간의 대응관계에 대한 매핑데이터가 저장된 제2 룩업 테이블을 이용하여 제2 탑뷰 영상을 생성하며,
    상기 고속단계시 추출되는 복수의 영상과 탑뷰 영상간의 대응관계에 대한 매핑 데이터가 저장된 제3 룩업 테이블을 이용하여 제3 탑뷰 영상을 생성하는 것을 특징으로 하는 차량 속도에 따른 영상 처리 방법.
  11. 제10항에 있어서,
    탑뷰 영상에 사전 정의된 객체가 검출되거나 차량 주변의 움직임을 감지하는 센서부에서 정보가 감지되면 이벤트로 판단하는 단계 및
    상기 이벤트로 판단하는 단계에서 이벤트가 감지되고, 상기 속도가 고속단계로 구분되는 경우, 상기 디스플레이부에서 디스플레이되는 상기 제3 탑뷰 영상을 상기 제1 탑뷰 영상 또는 상기 제2 탑뷰 영상으로 전환하거나,
    상기 이벤트로 판단하는 단계에서 이벤트가 감지되고, 상기 속도가 저속단계로 구분되는 경우, 상기 디스플레이부에서 디스플레이되는 상기 제2 탑뷰 영상을 상기 제1 탑뷰 영상으로 전환하는 단계를 더 포함하는 것을 특징으로 하는 차량 속도에 따른 영상 처리 방법.
  12. 제8항 내지 제11항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 컴퓨터가 읽을 수 있도록 기록된 기록 매체.
PCT/KR2016/015577 2016-05-11 2016-12-30 차량 속도에 따른 영상 처리 장치 및 방법 WO2017195965A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/300,297 US10783665B2 (en) 2016-05-11 2016-12-30 Apparatus and method for image processing according to vehicle speed

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160057401A KR101765556B1 (ko) 2016-05-11 2016-05-11 차량 속도에 따른 영상 처리 장치 및 방법
KR10-2016-0057401 2016-05-11

Publications (1)

Publication Number Publication Date
WO2017195965A1 true WO2017195965A1 (ko) 2017-11-16

Family

ID=59759156

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/015577 WO2017195965A1 (ko) 2016-05-11 2016-12-30 차량 속도에 따른 영상 처리 장치 및 방법

Country Status (3)

Country Link
US (1) US10783665B2 (ko)
KR (1) KR101765556B1 (ko)
WO (1) WO2017195965A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110114244B (zh) * 2017-02-17 2023-07-04 住友重机械工业株式会社 工作机械用周边监视系统
JP7141817B2 (ja) * 2017-07-24 2022-09-26 ラピスセミコンダクタ株式会社 画像処理装置
WO2019117658A1 (ko) * 2017-12-14 2019-06-20 엘지전자 주식회사 카메라 제어 장치 및 그것의 제어 방법
CN109353275B (zh) * 2018-09-21 2022-03-25 上海豫兴电子科技有限公司 一种车载摄像头角度标定贴膜及标定方法
CN109353276B (zh) * 2018-09-21 2022-02-11 上海豫兴电子科技有限公司 一种车载摄像头角度标定方法和标定装置
CN111083452A (zh) * 2020-01-17 2020-04-28 深圳市华世联合科技有限公司 一种智能显示系统
CN111284503B (zh) * 2020-03-10 2021-12-10 宁波远景汽车零部件有限公司 一种汽车安全出行装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008507449A (ja) * 2004-07-26 2008-03-13 シリコン オプティックス インコーポレイテッド パノラマビジョンシステム及び方法
KR20120130453A (ko) * 2011-05-23 2012-12-03 아진산업(주) 차량 주변 영상 제공 방법
KR101239740B1 (ko) * 2011-12-08 2013-03-18 아진산업(주) 폴리곤 매핑 및 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치
KR101278654B1 (ko) * 2011-08-31 2013-06-25 에스엘 주식회사 차량의 주변 영상 디스플레이 장치 및 방법
KR101376210B1 (ko) * 2012-08-06 2014-03-21 현대모비스 주식회사 어라운드 뷰 모니터 시스템 및 모니터링 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6678594B2 (en) * 2001-02-02 2004-01-13 Delphi Technologies, Inc. User-configurable steering control for steer-by-wire systems
JP4622806B2 (ja) * 2005-10-27 2011-02-02 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
US20090128630A1 (en) * 2006-07-06 2009-05-21 Nissan Motor Co., Ltd. Vehicle image display system and image display method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008507449A (ja) * 2004-07-26 2008-03-13 シリコン オプティックス インコーポレイテッド パノラマビジョンシステム及び方法
KR20120130453A (ko) * 2011-05-23 2012-12-03 아진산업(주) 차량 주변 영상 제공 방법
KR101278654B1 (ko) * 2011-08-31 2013-06-25 에스엘 주식회사 차량의 주변 영상 디스플레이 장치 및 방법
KR101239740B1 (ko) * 2011-12-08 2013-03-18 아진산업(주) 폴리곤 매핑 및 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치
KR101376210B1 (ko) * 2012-08-06 2014-03-21 현대모비스 주식회사 어라운드 뷰 모니터 시스템 및 모니터링 방법

Also Published As

Publication number Publication date
KR101765556B1 (ko) 2017-08-23
US20190122387A1 (en) 2019-04-25
US10783665B2 (en) 2020-09-22

Similar Documents

Publication Publication Date Title
WO2017195965A1 (ko) 차량 속도에 따른 영상 처리 장치 및 방법
CN101396989B (zh) 车辆周边监视设备和车辆周边监视方法
WO2010134680A1 (ko) 차량 주변 영상을 이용하는 차선 이탈 감지 방법 및 장치
JP3782322B2 (ja) 車載用画像処理カメラ装置
WO2017183915A2 (ko) 영상취득 장치 및 그 방법
WO2016024680A1 (ko) 주행차량의 번호판 인식이 실시간으로 가능한 차량용 블랙박스
US11475771B2 (en) Image display system and riding device
CN105128746A (zh) 一种车辆泊车方法及其泊车系统
US11089230B2 (en) Capturing apparatus, capturing module, capturing system, and capturing apparatus control method
WO2013022153A1 (en) Apparatus and method for detecting lane
CN104590115A (zh) 行车安全辅助系统和方法
JP2006254318A (ja) 車載用カメラ及び車載用監視装置並びに前方道路領域撮像方法
CN108534747B (zh) 车载摄像头视野比例计算方法、系统及计算机可读载体
WO2020218716A1 (ko) 자동 주차 장치 및 자동 주차 방법
JP2002321579A (ja) 警告情報生成方法及び車両側方映像生成装置
WO2018012879A1 (ko) 차량 운전 보조장치
JP2019001325A (ja) 車載用撮像装置
KR101992652B1 (ko) 번호판 인식을 통한 차량 인식 방법 및 장치
WO2018097356A1 (ko) 차량 주차보조 장치 및 그 방법
WO2015147457A1 (ko) 노출 조절을 이용한 차량용 영상 촬영장치 및 그 방법
WO2016035931A1 (ko) 차량의 운전 사각 모니터링 장치 및 그 방법
JPH11134591A (ja) 車種判別装置
CN218888598U (zh) 图像处理设备和车载系统
WO2019009474A1 (ko) 카메라 일체형 레이저 검지 장치 및 그의 동작 방법
WO2019117374A1 (ko) 동적 객체 검출 장치 및 방법

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16901798

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16901798

Country of ref document: EP

Kind code of ref document: A1