KR101292115B1 - Image system for vehicle - Google Patents

Image system for vehicle Download PDF

Info

Publication number
KR101292115B1
KR101292115B1 KR1020110133740A KR20110133740A KR101292115B1 KR 101292115 B1 KR101292115 B1 KR 101292115B1 KR 1020110133740 A KR1020110133740 A KR 1020110133740A KR 20110133740 A KR20110133740 A KR 20110133740A KR 101292115 B1 KR101292115 B1 KR 101292115B1
Authority
KR
South Korea
Prior art keywords
image
category
image processing
vehicle
classified
Prior art date
Application number
KR1020110133740A
Other languages
Korean (ko)
Other versions
KR20130066951A (en
Inventor
이재관
노형주
Original Assignee
자동차부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 자동차부품연구원 filed Critical 자동차부품연구원
Priority to KR1020110133740A priority Critical patent/KR101292115B1/en
Publication of KR20130066951A publication Critical patent/KR20130066951A/en
Application granted granted Critical
Publication of KR101292115B1 publication Critical patent/KR101292115B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9017—Indexing; Data structures therefor; Storage structures using directory or table look-up

Abstract

본 발명은 능동적이고, 다양한 대상물체들에 따라 영상처리 소프트웨어의 구조를 가변적으로 선택하는 최적의 차량용 영상 시스템을 위하여, 차량 외부의 대상체에 대한 영상을 인식하고 카테고리를 분류하는 분류기; 및 상기 분류기에 의하여 분류된 카테고리를 실시간으로 반영하여 상기 영상을 처리하는 영상 처리부;를 구비하는, 차량용 영상 시스템을 제공한다.The present invention provides an active vehicle imaging system that is active and variably selects the structure of image processing software according to various objects, including: a classifier for recognizing images and classifying categories of objects outside the vehicle; And an image processor configured to process the image by reflecting the category classified by the classifier in real time.

Description

차량용 영상 시스템{Image system for vehicle}Image system for vehicle

본 발명은 차량의 안전사고 방지(안전 시스템)에 관한 것으로서, 더 상세하게는 차량용 영상 시스템에 관한 것이다.The present invention relates to a vehicle safety accident prevention (safety system), and more particularly to a vehicle imaging system.

일반적으로 차량용 영상 시스템은 카메라 기술을 이용하여 차량 주변의 상황을 시각적으로 운전자에게 제공하는 시스템이다. 이러한 차량용 영상 시스템을 이용한 장치는 어느 한 가지 목적을 가지고, 그에 맞는 단일 기능을 갖는 것이 보통이다. In general, the vehicle imaging system is a system that visually provides the driver with the situation around the vehicle using camera technology. A device using such an in-vehicle imaging system usually has one purpose and usually has a single function accordingly.

예를 들어, 차량 영상 시스템은 카메라 기술을 이용하여 차량 주변의 사각 지역을 운전자에게 시각적으로 제공하는 디스플레이 장치를 포함할 수 있다. 또한, 차량 센서 시스템은 센서 기술을 이용하여 안정적으로 도색이 되어 있는 도로의 백색(또는 청색, 황색) 차선을 인식하여 운전자의 부주의에 의한 차선이탈을 경보하는 차선이탈경보 시스템, 전방의 차량 및 물체를 인식하여 충돌사고를 방지하는 충돌경보 시스템 등을 포함할 수 있다.For example, the vehicle imaging system may include a display device that visually provides the driver with a blind spot around the vehicle using camera technology. In addition, the vehicle sensor system recognizes a white (or blue or yellow) lane of a road that is stably painted using sensor technology to detect a lane departure due to a driver's carelessness, a vehicle and an object in front of the vehicle. It may include a collision alarm system for recognizing and preventing a collision accident.

그러나 이러한 종래의 차량용 영상 시스템에는 대상물체에 따라 영상 시스템을 최적의 상태로 가변시킬 수 없다는 문제점이 있었다. 예를 들어, 종래의 차량용 영상 시스템은 미리 설정해둔 특성 파라미터에 종속 내지 고정되어 다양한 대상물체들에 능동적으로 대응할 수 없다는 문제점이 있었다.However, such a conventional vehicle imaging system has a problem in that the imaging system cannot be changed to an optimal state according to an object. For example, the conventional vehicular imaging system has a problem in that it is dependent on or fixed to a predetermined characteristic parameter and cannot actively cope with various objects.

본 발명은 상기와 같은 문제점을 포함하여 여러 문제점들을 해결하기 위한 것으로서, 운전자의 안전한 운행을 위하여 차량 외부 대상물체의 영상을 최적의 상태로 처리할 수 있는 차량용 영상시스템을 제공하는 것을 목적으로 한다. 그러나 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.The present invention has been made to solve various problems including the above problems, and an object of the present invention is to provide an image system for a vehicle that can process an image of an external object object in an optimal state for safe driving of a driver. However, these problems are exemplary and do not limit the scope of the present invention.

본 발명의 일 관점에 따르면, 차량 외부의 대상체에 대한 영상을 인식하고 카테고리를 분류하는 분류기; 및 상기 분류기에 의하여 분류된 카테고리를 실시간으로 반영하여 상기 영상을 처리하는 영상 처리부를 구비하는, 차량용 영상 시스템이 제공된다.According to an aspect of the invention, the classifier for recognizing the image of the object outside the vehicle and classifies the category; And an image processor for processing the image by reflecting the category classified by the classifier in real time.

이때, 상기 영상 처리부는 상기 분류된 카테고리에 대응되는 영상처리 소프트웨어의 구조를 가변적으로 선택하여 상기 영상을 처리하는 영상 처리부를 포함할 수 있다.In this case, the image processing unit may include an image processing unit for processing the image by variably selecting the structure of the image processing software corresponding to the classified category.

상기 영상처리 소프트웨어의 구조는 상기 영상처리 소프트웨어의 모듈수 및 계층구조(hierarchy)를 포함할 수 있다.The structure of the image processing software may include the number of modules and a hierarchy of the image processing software.

상기 분류된 카테고리에 대응되는 영상처리 소프트웨어의 구조는 복수의 영상처리 소프트웨어의 구조들 중에서 가변적으로 선택되며, 상기 복수의 영상처리 소프트웨어의 구조들을 룩업테이블(LUT) 형태로 저장한 데이터베이스부를 더 포함할 수 있다.The structure of the image processing software corresponding to the classified category is variably selected from among the structures of the plurality of image processing software, and further includes a database unit storing the structures of the plurality of image processing software in the form of a look-up table (LUT). Can be.

또한, 상기 영상 처리부는 상기 분류된 카테고리에 대응되는 영상처리 특성파라미터를 가변적으로 선택하여 상기 영상을 처리하는 영상 처리부를 포함할 수 있다.The image processor may include an image processor configured to variably select an image processing characteristic parameter corresponding to the classified category and to process the image.

상기 영상처리 특성파라미터는 초점 파라미터, FOV(Field of View) 파라미터 및 영상필터 파라미터를 포함할 수 있다.The image processing characteristic parameter may include a focus parameter, a field of view (FOV) parameter, and an image filter parameter.

상기 분류된 카테고리에 대응되는 영상처리 특성파라미터는 복수의 영상처리 특성파라미터들 중에서 가변적으로 선택되며, 상기 복수의 영상처리 특성파라미터들을 룩업테이블(LUT) 형태로 저장한 데이터베이스부를 더 포함할 수 있다.The image processing characteristic parameters corresponding to the categorized category may be variably selected from among a plurality of image processing characteristic parameters, and may further include a database unit storing the plurality of image processing characteristic parameters in the form of a lookup table (LUT).

상기 대상체는 주행차선, 대향차량, 선행차량, 보행자 및 이들의 임의의 조합으로 이루어진 군으로부터 선택된 하나를 포함하고, 상기 카테고리는 주행차선 카테고리, 대향차량 카테고리, 선행차량 카테고리, 보행자 카테고리 및 이들의 임의의 조합의 카테고리로 이루어진 군으로부터 선택된 하나를 포함할 수 있다.The object includes one selected from the group consisting of a driving lane, an opposite vehicle, a preceding vehicle, a pedestrian, and any combination thereof, and the category includes a driving lane category, an opposite vehicle category, a preceding vehicle category, a pedestrian category, and any of these. It may include one selected from the group consisting of a combination of categories.

본 발명의 다른 관점에 따르면, 차량 외부의 대상체에 대한 영상을 인식하고 카테고리를 분류하는 단계; 및 분류된 상기 카테고리를 실시간으로 반영하여 상기 영상을 처리하는 단계;를 포함하는, 차량용 영상 시스템의 구동방법이 제공된다.According to another aspect of the invention, the step of recognizing an image of the object outside the vehicle and classifying the category; And processing the image by reflecting the classified categories in real time.

분류된 상기 카테고리를 실시간으로 반영하여 상기 영상을 처리하는 단계는 분류된 상기 카테고리에 대응되는 영상처리 소프트웨어의 구조를 가변적으로 선택하여 상기 영상을 처리하는 단계를 포함할 수 있다.Processing the image by reflecting the classified category in real time may include processing the image by variably selecting a structure of image processing software corresponding to the classified category.

분류된 상기 카테고리를 실시간으로 반영하여 상기 영상을 처리하는 단계는 분류된 상기 카테고리에 대응되는 영상처리 특성파라미터를 가변적으로 선택하여 상기 영상을 처리하는 단계를 포함할 수 있다.The processing of the image by reflecting the classified category in real time may include processing the image by variably selecting an image processing characteristic parameter corresponding to the classified category.

상기한 바와 같이 이루어진 본 발명의 일 실시예에 따르면, 다양한 대상물체들에 따라 영상처리 소프트웨어의 구조를 가변적으로 선택하여 최적의 차량용 영상 시스템을 구현할 수 있다. 물론 이러한 효과에 의해 본 발명의 범위가 한정되는 것은 아니다.According to one embodiment of the present invention made as described above, it is possible to implement an optimal vehicle imaging system by variably selecting the structure of the image processing software according to various objects. Of course, the scope of the present invention is not limited by these effects.

도 1은 본 발명의 일 실시예에 따른 차량용 영상 시스템의 구성을 개략적으로 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 차량용 영상 시스템을 개략적으로 나타내는 개념도이다.1 is a block diagram schematically illustrating a configuration of a vehicular imaging system according to an embodiment of the present invention.
2 is a conceptual diagram schematically illustrating a vehicle imaging system according to an exemplary embodiment of the present invention.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있는 것으로, 이하의 실시예는 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 또한 설명의 편의를 위하여 도면에서는 구성 요소들이 그 크기가 과장 또는 축소될 수 있다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. It should be understood, however, that the invention is not limited to the disclosed embodiments, but may be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, Is provided to fully inform the user. Also, for convenience of explanation, the components may be exaggerated or reduced in size.

도 1은 본 발명의 일 실시예에 따른 차량용 영상 시스템(100)의 구성을 개략적으로 나타내는 블록도이다.1 is a block diagram schematically illustrating a configuration of a vehicular imaging system 100 according to an embodiment of the present invention.

도 1을 참조하면, 차량 영상 시스템(100)은 촬상부(30), 분류기(40), 영상처리부(50), 디스플레이부(60) 및 데이터베이스부(70)를 포함할 수 있다. 촬상부(30)는 차량 외부를 촬영하는 영상 인식 카메라일 수 있다. 이러한 영상 인식 카메라는 실시간으로 영상을 촬영할 뿐만 아니라 센서의 기능을 포함할 수 있다. 촬상부(30)를 통해 대상체에 대한 영상을 제공받을 수 있으며, 대상체의 유무 및 대상체와의 거리 등을 판단할 수 있다. 상기 대상체는 주행차선, 선행차량, 대향차량 및 보행자 등을 포함할 수 있다.Referring to FIG. 1, the vehicle imaging system 100 may include an imaging unit 30, a classifier 40, an image processing unit 50, a display unit 60, and a database unit 70. The imaging unit 30 may be an image recognition camera photographing the outside of the vehicle. Such an image recognition camera may not only capture an image in real time but also include a function of a sensor. An image of the object may be provided through the imaging unit 30, and the presence or absence of the object and the distance to the object may be determined. The object may include a driving lane, a preceding vehicle, an opposite vehicle, a pedestrian, and the like.

촬상부(30)는 차량 외부의 영상을 제공할 수 있고, 분류기(40)는 대상체에 대한 영상을 인식하고 카테고리별로 분류할 수 있다. 예컨대 차량이 주행을 하는 경우 촬상부(30)에서 주행 차선의 영상을 제공하면 분류기(40)는 주행차선을 인식하고 영상을 주행차선 카테고리로 분류할 수 있다. 마찬가지로 제공받은 영상을 통해 선행차량을 인식하고 선행차량 카테고리로 분류할 수 있고, 대향차량을 인식하고 대향차량 카테고리로 분류할 수 있다. 이밖에 제공받은 영상을 통해 보행자를 인식하고 보행자 카테고리로 분류할 수도 있다. The imaging unit 30 may provide an image of the outside of the vehicle, and the classifier 40 may recognize an image of the object and classify the image by category. For example, when the vehicle is driving, when the imager 30 provides an image of the driving lane, the classifier 40 may recognize the driving lane and classify the image into the driving lane category. Similarly, the received vehicle may recognize the preceding vehicle and classify it into the preceding vehicle category, and recognize the opposite vehicle and classify it into the opposite vehicle category. In addition, pedestrians can be recognized and classified into pedestrian categories through the images provided.

나아가, 분류기(40)가 분류하는 카테고리는 주행차선, 선행차량, 대향차량 및 보행자의 임의의 조합으로 이루어지는 카테고리를 포함할 수 있다. 예를 들어, 촬상부(30)에서 주행 차선 및 보행자의 영상을 제공하면 분류기(40)는 주행 차선 및 보행자 카테고리로 분류할 수 있다. 또 다른 예로, 촬상부(30)에서 주행 차선, 선행차량 및 대향차량의 영상을 제공하면 분류기(40)는 주행 차선, 선행차량 및 대향차량 카테고리로 분류할 수 있다Further, the category classified by the classifier 40 may include a category consisting of any combination of a driving lane, a preceding vehicle, an opposite vehicle, and a pedestrian. For example, when the imager 30 provides the image of the driving lane and the pedestrian, the classifier 40 may classify the driving lane and the pedestrian category. As another example, when the imaging unit 30 provides an image of the driving lane, the preceding vehicle, and the opposite vehicle, the classifier 40 may classify the driving lane, the preceding vehicle, and the opposite vehicle category.

분류기(40)에 의하여 분류된 카테고리 영상은 영상처리부(50)에 의해 실시간으로 반영되어 처리될 수 있다. 영상처리부(50)는 영상처리 소프트웨어를 포함할 수 있다. 상기 영상처리 소프트웨어는 영상처리 소프트웨어의 모듈수 및 계층구조(hierarchy)를 포함할 수 있다. 이러한 영상처리부(50)는 분류기(40)에 의해 분류된 카테고리에 대응되는 영상처리 소프트웨어의 구조를 가변적으로 선택하여 영상을 처리할 수 있다. 여기에서 카테고리에 대응되는 영상처리 소프트웨어의 구조라 함은 소정의 품질 이상의 영상을 구현하기 위하여 상기 카테고리에 최적화된 영상처리 소프트웨어의 구조를 포함한다. 영상처리 소프트웨어의 구조는 복수개로 이루어 질 수 있으며, 룩업테이블(LUT) 형태로 저장될 수 있다. The category image classified by the classifier 40 may be reflected and processed in real time by the image processor 50. The image processor 50 may include image processing software. The image processing software may include a module number and a hierarchy of image processing software. The image processor 50 may process the image by variably selecting the structure of the image processing software corresponding to the category classified by the classifier 40. Herein, the structure of image processing software corresponding to a category includes a structure of image processing software optimized for the category in order to implement an image having a predetermined quality or more. The structure of the image processing software may be plural and may be stored in the form of a lookup table (LUT).

나아가, 영상처리부(50)는 분류기(40)에 의해 분류된 카테고리에 대응되는 영상처리 특성파라미터를 가변적으로 선택하여 상기 영상을 처리할 수 있다. 여기에서 카테고리에 대응되는 영상처리 특성파라미터라 함은 소정의 품질 이상의 영상을 구현하기 위하여 상기 카테고리에 최적화된 영상처리 특성파라미터를 포함한다.In addition, the image processor 50 may process the image by variably selecting an image processing characteristic parameter corresponding to a category classified by the classifier 40. Herein, the image processing characteristic parameter corresponding to the category includes an image processing characteristic parameter optimized for the category to implement an image having a predetermined quality or more.

영상처리 특성파라미터는 초점 파라미터, FOV(Field of View) 파라미터 및 영상필터 파라미터를 포함할 수 있다. 초점 파라미터를 통해 제공받은 영상의 거리에 맞게 초점을 옮겨 영상의 선명도를 높여줄 수 있고, FOV 파라미터를 통해 운전자에게 넓은 시야범위를 확보해 줄 수 있으며, 영상필터 파라미터를 통해 영상 데이터의 노이즈 제거를 위한 필터링을 하는 단계를 더 거칠 수도 있다. 이러한, 영상처리 특성파라미터들은 복수의 영상처리 특성파라미터들 중에서 가변적으로 선택되며 룩업테이블(LUT) 형태로 저장될 수 있다.The image processing characteristic parameter may include a focus parameter, a field of view (FOV) parameter, and an image filter parameter. The focus parameter can be adjusted according to the distance of the image provided to increase the sharpness of the image, the FOV parameter allows the driver to have a wide field of view, and the image filter parameter can remove the noise of the image data. The filtering may be further performed. The image processing characteristic parameters may be variably selected from among a plurality of image processing characteristic parameters and may be stored in the form of a lookup table (LUT).

데이터베이스부(70)는 상기 영상처리 소프트웨어의 구조들과 영상처리 특성 파라미터를 룩업테이블 형태로 저장할 수 있다. 룩업테이블에는 다양한 외부정보와 비교될 수 있는 값들이 정의되어 있을 수 있다. 일반적으로, 룩업테이블은 주어진 연산에 대해 미리 계산된 결과들의 집합(배열)을 의미한다. 이 집합(배열)은 주어진 연산에 대하여 결과를 계산하는 시간을 단축할 수 있는 장점을 가진다.The database unit 70 may store structures of the image processing software and image processing characteristic parameters in the form of a lookup table. The lookup table may define values that can be compared with various external information. In general, a lookup table means a set (array) of precomputed results for a given operation. This set (array) has the advantage of reducing the time to compute the result for a given operation.

영상처리부(50)는 데이터베이스부(70)에 저장된 영상처리 소프트웨어의 구조들과 영상처리 특성 파라미터들을 통해서 분류된 카테고리에 대응되는 영상처리 특성파라미터를 가변적으로 선택하고, 최적화 처리하여 처리된 영상을 디스플레이부(60)에 나타낼 수 있다. 디스플레이부(60)는 차량 내에 장착될 수 있으며 다양한 멀티미디어 장치를 포함할 수 있다. 예컨대 내비게이션 및 텔레매틱스 단말기 등을 포함할 수 있다.The image processor 50 variably selects an image processing characteristic parameter corresponding to a category classified through structures and image processing characteristic parameters of the image processing software stored in the database unit 70, and displays the processed image by optimizing the processing. It can be shown in the unit (60). The display unit 60 may be mounted in a vehicle and may include various multimedia devices. For example, navigation and telematics terminals may be included.

디스플레이부(60)의 변형된 실시예로 차량 내에 헤드업 디스플레이(HUD)를 포함할 수도 있다. 헤드업 디스플레이는 내비게이션의 방향 안내, 차량 속도 등의 중요한 정보를 앞 유리창에 반사시켜 운전자의 시선상에 나타내는 기술로서, 이 기술을 이용하게 되면 운전자가 자동차의 속도를 확인하려고 계기판을 볼 때 시선을 아래로 향하지 않아도 돼서 안전사고 예방에 도움을 줄 수 있다.In a modified embodiment of the display unit 60 may include a head-up display (HUD) in the vehicle. Head-up display is a technology that reflects important information such as the direction of navigation, vehicle speed, etc. to the driver's eyes by reflecting important information on the windshield. You don't have to head down to help prevent accidents.

또 다른 변형된 실시예로서, 디스플레이부(60)는 전면 유리에 투명 디스플레이가 장착되어 상기 처리된 영상이 투명 디스플레이를 통해 구현될 수도 있다. 투명 디스플레이는 차량의 전면 유리에 일부만 장착될 수도 있고, 전체에 장착될 수도 있으며, 이러한 디스플레이부(60)를 통해 운전자에게 더욱더 최적의 영상을 제공하는 것이 가능하다.As another modified embodiment, the display unit 60 may be equipped with a transparent display on the front glass so that the processed image may be implemented through the transparent display. The transparent display may be partially mounted on the windshield of the vehicle, or may be mounted on the whole of the vehicle, and the display unit 60 may further provide an optimal image to the driver.

위에서 설명한 차량용 영상 시스템(100)에 의하면 촬상부(30)를 통해 제공받은 차량 외부의 영상은 실시간으로 처리될 수 있다. 예컨대 영상처리부(50)에 의해 데이터베이스부(70)에 저장된 영상처리 소프트웨어의 구조들과 영상처리 특성 파라미터들을 가변적으로 선택하고, 최적화할 수 있다. 또한, 분류기(40)의 계산결과를 분석하여 주행에 장애가 될 수 있는 대상물체에 대한 영상처리 소프트웨어의 구조 및 특성 파라미터를 최적화 시키도록 자동 스위칭할 수 있다.According to the vehicle imaging system 100 described above, an image of the outside of the vehicle provided through the imaging unit 30 may be processed in real time. For example, the image processing unit 50 may variably select and optimize the structures and image processing characteristic parameters of the image processing software stored in the database unit 70. In addition, by analyzing the calculation result of the classifier 40, it can be automatically switched to optimize the structure and characteristic parameters of the image processing software for the object that can be obstacles to the driving.

도 2는 본 발명의 일 실시예에 따른 차량용 영상 시스템의 구동방법을 설명하기 위해 차량용 영상 시스템을 개략적으로 나타내는 개념도이다.2 is a conceptual diagram schematically illustrating a vehicle imaging system to explain a method of driving a vehicle imaging system according to an exemplary embodiment.

도 1 및 도 2를 참조하여 차량용 영상 시스템(100)의 구동방법을 설명하면, 차량 외부의 대상체에 대한 영상을 인식하고 카테고리를 분류하는 단계를 거칠 수 있다. 차량 외부의 대상체에 대한 영상은 촬상부(30)를 통해 제공될 수 있고, 대상체에 대한 영상의 인식 및 카테고리의 분류는 분류기(40)를 통해 이루어질 수 있다. 분류된 상기 카테고리는 영상처리부(50)에서 실시간으로 반영되어 처리될 수 있다.Referring to FIGS. 1 and 2, a method of driving the vehicular imaging system 100 may be performed to recognize an image of an object outside the vehicle and to classify a category. An image of an object outside the vehicle may be provided through the imaging unit 30, and the recognition of the image of the object and the classification of the category may be performed through the classifier 40. The classified category may be reflected and processed in real time by the image processor 50.

분류기(40)를 통해 분류된 상기 카테고리를 실시간으로 반영하여 영상을 처리하는 단계는 분류된 상기 카테고리에 대응되는 영상처리 소프트웨어의 구조를 가변적으로 선택하여 영상을 처리하는 단계를 거칠 수 있다. 또한, 분류된 상기 카테고리에 대응되는 영상처리 특성파라미터를 가변적으로 선택하여 영상을 처리하는 단계를 거칠 수도 있다.The processing of the image by reflecting the category classified through the classifier 40 in real time may include processing the image by variably selecting the structure of the image processing software corresponding to the classified category. The image processing may be performed by variably selecting image processing characteristic parameters corresponding to the classified categories.

대상물체가 감지되면 분류기(40)를 통해 소프트웨어구조 및 특성 파라미터를 가변적으로 선택하여 영상을 처리할 수 있다. 이때 소프트웨어의 구조는 소프트웨어의 모듈수 및 계층구조가 있으며 이러한 모듈수 및 계층구조를 가변적으로 선택할 수 있다. 나아가 각 소프트웨어의 구조 및 파라미터에는 다양한 레벨(Level)이 포함되어 특정 카테고리에 최적화된 레벨을 가지는 구조 및 파라미터를 통해 영상을 처리할 수도 있다.When the object is detected, the classifier 40 may process the image by variably selecting software structure and characteristic parameters. At this time, the software structure includes the number of modules and the hierarchical structure of the software. Furthermore, the structure and parameters of each software may include various levels to process an image through a structure and parameters having a level optimized for a specific category.

분류기(40)는 영상처리 소프트웨어 구조 및 영상처리 특성파라미터를 최적화 시키도록 주행차선, 대향차량, 선행차량 및 이들의 임의의 조합으로 이루어진 군으로부터 선택된 대상체를 카테고리 별로 분류할 수 있다. 이때 카테고리는 주행차선 인식(41) 카테고리, 대향차량 인식(42) 카테고리, 선행차량 인식(43) 카테고리 및 이들의 임의의 조합의 카테고리로 이루어진 군으로부터 선택된 하나를 포함하는 카테고리를 포함할 수 있다. 이밖에 대상체는 보행자를 포함할 수 있고, 분류되는 카테고리로는 보행자 카테고리 및 이들의 임의의 조합의 카테고리로 이루어진 군으로부터 선택된 하나를 포함할 수도 있다.The classifier 40 may classify objects selected from the group consisting of a driving lane, an opposite vehicle, a preceding vehicle, and any combination thereof to optimize the image processing software structure and the image processing characteristic parameters. In this case, the category may include a category including one selected from the group consisting of a driving lane recognition 41 category, an opposite vehicle recognition 42 category, a preceding vehicle recognition 43 category, and any combination thereof. In addition, the object may include a pedestrian, and the category to be classified may include one selected from the group consisting of pedestrian categories and categories of any combination thereof.

데이터베이스부(70)에 룩업테이블 형태로 저장된 영상처리 소프트웨어의 모듈수와 계층구조(hierarchy)를 포함하는 영상처리 소프트웨어의 구조 및 영상처리 특성파라미터는 구체적으로 설명하면 특징추출(Feature extraction, 71), 추적필터(Tracking filter, 72), 후보차량검출(73), 움직임 추정(motion estimation, 74) 및 기본필터(75) 등을 포함할 수 있다.The structure and image processing characteristic parameters of the image processing software including the number of modules and the hierarchy of the image processing software stored in the form of a lookup table in the database unit 70 will be described in detail. A tracking filter 72, a candidate vehicle detection 73, a motion estimation 74, a basic filter 75, and the like may be included.

특징추출(71)은 패턴인식에 있어서 그 패턴의 우세한 특징을 선택할 수 있다. 이를 통해 복잡하고 많은 양의 자료를 분석하지 않고도, 주요 특징만을 통하여 패턴을 인식할 수 있어 영상처리부(50)의 빠른 연산을 가능하게 해준다. 추적필터(72)는 예를 들어, 차량이 움직이는 상태에서 촬영을 한 영상을 필터링을 통해 대상물체를 감지할 수 있다.The feature extraction 71 can select the predominant feature of the pattern in pattern recognition. Through this, it is possible to recognize the pattern only through the main features without having to analyze a large amount of data, thereby enabling a quick operation of the image processor 50. The tracking filter 72 may detect, for example, an object by filtering an image photographed while the vehicle is moving.

후보차량검출(73)은 차량의 후보 영역의 검출과 동시에 중요한 정보를 담고 있는 도로와 접하는 차량의 하단부를 함께 검출할 수 있다. 후보 영역 내에서 차량과 비 차량을 구분하는 검증 단계에서는 차량의 후면의 대칭성(Symmetry)을 이용하여 후보 영역 내에서 차량이 있을 가능성이 있는 바닥 점 위에서 좌측과 우측의 유사도(Matching rate)를 이용하여 차량과 비 차량을 판별할 수 있다. 차량을 판별하는 방법으로는 예를 들어, 차량을 포함하는 입력 영상의 수평 에지 및 수직 에지 특성을 이용하여 후보영역을 결정하고 차량을 검출할 수 있다.The candidate vehicle detection 73 may simultaneously detect the lower end portion of the vehicle in contact with the road containing important information at the same time as detecting the candidate region of the vehicle. In the verification step that distinguishes the vehicle from the non-vehicle in the candidate area, the symmetry of the rear of the vehicle is used, and the matching rate of left and right on the floor point where the vehicle is likely in the candidate area is used. Vehicles and non-vehicles can be distinguished. As a method of determining a vehicle, for example, a candidate region may be determined by using horizontal edge and vertical edge characteristics of an input image including the vehicle, and the vehicle may be detected.

움직임 추정(74)이란 영상의 앞뒤를 분석하여 대상체가 어느 위치로 움직였는지를 추정하는 것을 말하는 것으로, 각 픽셀간의 명도(luminance) 차이를 최소로 하는 블록을 검색하여 움직임 벡터(motion vector)를 결정할 수 있다. 기본필터(75)는 처음 지정된 세팅값으로 기본적으로 물체를 인식할 수 있다.The motion estimation 74 refers to estimating which position the object has moved by analyzing the front and rear of the image. The motion estimation 74 determines a motion vector by searching for a block that minimizes the difference in luminance between pixels. Can be. The basic filter 75 may basically recognize the object by the initially designated setting value.

이러한 패턴의 우세한 특징을 선택하여 가볍고 빠른 연산이 가능한 특징추출(71), 움직이는 영상에서 대상체를 감지하는 추적필터(72), 후보영역을 결정하고 차량을 검출할 수 있는 후보차량검출(73), 대상체의 이동위치를 추정하는 움직임 추정(74) 및 기본필터(75) 등은 분류기(40)를 통하여 가변적으로 선택될 수 있으며 이를 통해 차량용 영상 시스템(100)의 대향차량 인식(42) 및 선행차량 인식(43)의 최적화가 가능하다.Feature extraction (71) capable of light and fast operation by selecting the predominant features of the pattern, a tracking filter (72) for detecting an object in a moving image, candidate vehicle detection (73) for determining a candidate area and detecting a vehicle; The motion estimation 74, the basic filter 75, and the like, which estimate the movement position of the object, may be variably selected through the classifier 40, through which the opposite vehicle recognition 42 and the preceding vehicle of the vehicle imaging system 100 may be selected. The optimization of the recognition 43 is possible.

또한, 영상처리 소프트웨어의 구조 및 영상처리 특성파라미터는 특징추출(71), 추적필터(72), 후보차량검출(73), 움직임 추정(74) 및 기본필터(75) 이외에도, 주행차선 인식(41)을 위해 후보지점(76), 라인검출(77) 및 밝기 필터링(78) 등을 가변적으로 선택할 수 있으며 실시간으로 영상처리 소프트웨어에 피드백 하여 영상처리 소프트웨어의 성능을 항상 최적의 상태로 유지할 수 있다.In addition to the feature extraction 71, the tracking filter 72, the candidate vehicle detection 73, the motion estimation 74, and the basic filter 75, the structure and the image processing characteristic parameters of the image processing software 41 The candidate point 76, the line detection 77, the brightness filtering 78, and the like can be variably selected, and the performance of the image processing software can be optimally maintained at all times by feeding back to the image processing software in real time.

주행차선 인식(41)은 상기 차량용 영상 시스템(100)과 함께 차선이탈경고시스템에 적용되어 운전자가 방향지시등을 작동하지 않은 채 차선을 이탈하게 되면 이를 알려줌으로써 안전운전을 도와주는 최첨단 주행 편의 시스템에 이용될 수 있다. 이외에도, 다양한 영상센서에 적용될 수 있으며, 충돌경보와 같은 사고예방 장치, 차선유지지원 및 자율주행지원과 같은 주행지원장치 등에 널리 활용되어 항상 영상처리 소프트웨어의 구조 및 영상처리 특성파라미터를 최적의 상태로 가변시킬 수 있다.The driving lane recognition 41 is applied to the lane departure warning system together with the vehicular imaging system 100 to notify the driver when the driver leaves the lane without operating the direction indicator. Can be used. In addition, it can be applied to various image sensors, and is widely used in accident prevention devices such as crash warning, driving support devices such as lane keeping support and autonomous driving support, so that the structure of image processing software and image processing characteristic parameters are always optimized. Can be varied.

나아가, 분류기(40)는 분류된 카테고리 별로 인식하여 영상처리부(50)의 부하를 방지하고, 차량용 영상 시스템(100)이 원활하게 작동하도록 할 수 있다. 예컨대 도로 상황에 맞춰 특정 소프트웨어의 구조와 파라미터를 추출하고 추출한 것들만 구동시켜 연산의 부담을 덜어줄 수 있다.In addition, the classifier 40 may recognize the classified categories to prevent the load of the image processor 50 and to allow the vehicle image system 100 to operate smoothly. For example, you can relieve the burden of computation by extracting the structure and parameters of a particular software in response to road conditions and driving only those extracted.

한편, 빠른 최적화를 위해 소프트웨어의 구조와 파라미터들은 같은 필터를 사용할 수 있다. 하지만 이름이 같은 모듈이나, 소프트웨어 구조를 사용한다 해도 설정된 세팅 값들 즉, 각각의 레벨은 다르게 설정될 수 있다.On the other hand, the software structure and parameters can use the same filter for fast optimization. However, even if you use a module with the same name or a software structure, the set values, that is, each level, can be set differently.

위와 같은 차량용 영상 시스템(100)을 통하여 대상물체의 특성에 따라 자동 스위칭이 가능한 영상처리 소프트웨어가 제공되므로 보다 운전자에게 적합한 최적의 영상을 제공하여 운전자가 안전한 운전을 할 수 있어 사고발생률을 현저하게 낮출 수 있다.Since the image processing software that can be automatically switched according to the characteristics of the target object is provided through the vehicle imaging system 100 as described above, the driver can safely drive by providing an optimal image suitable for the driver, thereby significantly reducing an accident occurrence rate. Can be.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the invention. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

100: 차량용 영상 시스템 30: 촬상부
40: 분류기 50: 영상처리부
60: 디스플레이부 70: 데이터베이스부100: vehicle imaging system 30: imaging unit
40: classifier 50: image processing unit
60: display unit 70: database unit

Claims (11)

차량 외부의 대상체에 대한 영상을 인식하고 카테고리를 분류하는 분류기; 및
상기 분류기에 의하여 분류된 카테고리를 실시간으로 반영하여 상기 영상을 처리하는 영상 처리부;
를 구비하고,
상기 영상 처리부는 상기 분류된 카테고리에 대응되는 영상처리 소프트웨어의 구조를 가변적으로 선택하여 상기 영상을 처리하는 영상 처리부를 포함하는, 차량용 영상 시스템.A classifier that recognizes an image of an object outside the vehicle and classifies a category; And
An image processor which processes the image by reflecting the category classified by the classifier in real time;
And,
And the image processor comprises an image processor configured to process the image by variably selecting a structure of image processing software corresponding to the classified category. 삭제delete 제1항에 있어서,
상기 영상처리 소프트웨어의 구조는 상기 영상처리 소프트웨어의 모듈수 및 계층구조(hierarchy)를 포함하는, 차량용 영상 시스템.The method of claim 1,
And wherein the structure of the image processing software comprises a module number and a hierarchy of the image processing software. 제1항에 있어서,
상기 분류된 카테고리에 대응되는 영상처리 소프트웨어의 구조는 복수의 영상처리 소프트웨어의 구조들 중에서 가변적으로 선택되며,
상기 복수의 영상처리 소프트웨어의 구조들을 룩업테이블(LUT) 형태로 저장한 데이터베이스부를 더 포함하는, 차량용 영상 시스템.The method of claim 1,
The structure of the image processing software corresponding to the categorized category is variably selected from among the structures of the plurality of image processing software.
And a database unit storing the structures of the plurality of image processing software in the form of a look-up table (LUT). 제1항에 있어서,
상기 영상 처리부는 상기 분류된 카테고리에 대응되는 영상처리 특성파라미터를 가변적으로 선택하여 상기 영상을 처리하는 영상 처리부를 포함하는, 차량용 영상 시스템.The method of claim 1,
And the image processor includes an image processor configured to process the image by variably selecting an image processing characteristic parameter corresponding to the classified category. 제5항에 있어서,
상기 영상처리 특성파라미터는 초점 파라미터, FOV(Field of View) 파라미터 및 영상필터 파라미터를 포함하는, 차량용 영상 시스템.The method of claim 5,
The image processing characteristic parameter includes a focus parameter, a field of view (FOV) parameter, and an image filter parameter. 제5항에 있어서,
상기 분류된 카테고리에 대응되는 영상처리 특성파라미터는 복수의 영상처리 특성파라미터들 중에서 가변적으로 선택되며,
상기 복수의 영상처리 특성파라미터들을 룩업테이블(LUT) 형태로 저장한 데이터베이스부를 더 포함하는, 차량용 영상 시스템.The method of claim 5,
The image processing characteristic parameters corresponding to the categorized category are variably selected from among a plurality of image processing characteristic parameters.
And a database unit storing the plurality of image processing characteristic parameters in the form of a look-up table (LUT). 제1항에 있어서,
상기 대상체는 주행차선, 대향차량, 선행차량, 보행자 및 이들의 임의의 조합으로 이루어진 군으로부터 선택된 하나를 포함하고,
상기 카테고리는 주행차선 카테고리, 대향차량 카테고리, 선행차량 카테고리, 보행자 카테고리 및 이들의 임의의 조합의 카테고리로 이루어진 군으로부터 선택된 하나를 포함하는, 차량용 영상 시스템. The method of claim 1,
The object includes one selected from the group consisting of a driving lane, an opposite vehicle, a preceding vehicle, a pedestrian, and any combination thereof;
And wherein the category comprises one selected from the group consisting of a driving lane category, an opposite vehicle category, a preceding vehicle category, a pedestrian category, and any combination thereof. 차량 외부의 대상체에 대한 영상을 인식하고 카테고리를 분류하는 단계; 및
분류된 상기 카테고리를 실시간으로 반영하여 상기 영상을 처리하는 단계;를 포함하고,
상기 분류된 상기 카테고리를 실시간으로 반영하여 상기 영상을 처리하는 단계는 분류된 상기 카테고리에 대응되는 영상처리 소프트웨어의 구조를 가변적으로 선택하여 상기 영상을 처리하는 단계를 포함하는, 차량용 영상 시스템의 구동방법.Recognizing an image of an object outside the vehicle and classifying a category; And
And processing the image by reflecting the classified category in real time.
The processing of the image by reflecting the classified category in real time includes the step of variably selecting a structure of image processing software corresponding to the classified category to process the image. . 삭제delete 제9항에 있어서,
분류된 상기 카테고리를 실시간으로 반영하여 상기 영상을 처리하는 단계는 분류된 상기 카테고리에 대응되는 영상처리 특성파라미터를 가변적으로 선택하여 상기 영상을 처리하는 단계를 포함하는, 차량용 영상 시스템의 구동방법.

10. The method of claim 9,
And processing the image by reflecting the categorized category in real time comprises variably selecting an image processing characteristic parameter corresponding to the categorized category to process the image.

KR1020110133740A 2011-12-13 2011-12-13 Image system for vehicle KR101292115B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110133740A KR101292115B1 (en) 2011-12-13 2011-12-13 Image system for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110133740A KR101292115B1 (en) 2011-12-13 2011-12-13 Image system for vehicle

Publications (2)

Publication Number Publication Date
KR20130066951A KR20130066951A (en) 2013-06-21
KR101292115B1 true KR101292115B1 (en) 2013-08-08

Family

ID=48862963

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110133740A KR101292115B1 (en) 2011-12-13 2011-12-13 Image system for vehicle

Country Status (1)

Country Link
KR (1) KR101292115B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001266163A (en) 2000-03-17 2001-09-28 Nissan Motor Co Ltd On-vehicle image processor
JP2008103839A (en) * 2006-10-17 2008-05-01 Nissan Motor Co Ltd Apparatus and method for monitoring vehicle
KR100983777B1 (en) * 2010-04-15 2010-09-27 (주)사라다 Image capture system for object recognitions and method for controlling the same
KR20110087646A (en) * 2010-01-26 2011-08-03 삼성전자주식회사 Device and method for enhancing image in wireless terminal

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001266163A (en) 2000-03-17 2001-09-28 Nissan Motor Co Ltd On-vehicle image processor
JP2008103839A (en) * 2006-10-17 2008-05-01 Nissan Motor Co Ltd Apparatus and method for monitoring vehicle
KR20110087646A (en) * 2010-01-26 2011-08-03 삼성전자주식회사 Device and method for enhancing image in wireless terminal
KR100983777B1 (en) * 2010-04-15 2010-09-27 (주)사라다 Image capture system for object recognitions and method for controlling the same

Also Published As

Publication number Publication date
KR20130066951A (en) 2013-06-21

Similar Documents

Publication Publication Date Title
EP3367361B1 (en) Method, device and system for processing startup of front vehicle
EP3367363B1 (en) Parking support method and parking support device
CN108162858B (en) Vehicle-mounted monitoring device and method thereof
US20180012085A1 (en) Computer Vision Based Driver Assistance Devices, Systems, Methods and Associated Computer Executable Code
US9475420B2 (en) Display apparatus
US10528825B2 (en) Information processing device, approaching object notification method, and program
JP4692344B2 (en) Image recognition device
EP3493179B1 (en) Driving assisting method and driving assisting device using the same
KR20090014124A (en) Method and apparatus for evaluating an image
WO2011068593A2 (en) Cross traffic collision alert system
KR101729486B1 (en) Around view monitor system for detecting blind spot and method thereof
JP2008009843A (en) Obstacle discrimination device
JP2005222425A (en) Vehicle periphery monitoring system, vehicle periphery monitoring method, control program, and readable recording medium
EP2833096B1 (en) Method for determining a current distance and/or a current speed of a target object based on a reference point in a camera image, camera system and motor vehicle
EP2741234B1 (en) Object localization using vertical symmetry
JP5077088B2 (en) Image processing apparatus and image processing method
CN208789584U (en) Drive assistance device
JP6820075B2 (en) Crew number detection system, occupant number detection method, and program
JP4826355B2 (en) Vehicle surrounding display device
JP2010026601A (en) Vehicle periphery monitoring device
US20120189161A1 (en) Visual attention apparatus and control method based on mind awareness and display apparatus using the visual attention apparatus
KR101405085B1 (en) Device and method for video analysis
JP2014146267A (en) Pedestrian detection device and driving support device
JP5003473B2 (en) Warning device
JP2011191859A (en) Apparatus for monitoring surroundings of vehicle

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160704

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170710

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190702

Year of fee payment: 7