KR101939095B1 - A camera system for vehicle - Google Patents

A camera system for vehicle Download PDF

Info

Publication number
KR101939095B1
KR101939095B1 KR1020110115017A KR20110115017A KR101939095B1 KR 101939095 B1 KR101939095 B1 KR 101939095B1 KR 1020110115017 A KR1020110115017 A KR 1020110115017A KR 20110115017 A KR20110115017 A KR 20110115017A KR 101939095 B1 KR101939095 B1 KR 101939095B1
Authority
KR
South Korea
Prior art keywords
vehicle
information
image
group
processing
Prior art date
Application number
KR1020110115017A
Other languages
Korean (ko)
Other versions
KR20130049946A (en
Inventor
주영상
김정훈
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020110115017A priority Critical patent/KR101939095B1/en
Publication of KR20130049946A publication Critical patent/KR20130049946A/en
Application granted granted Critical
Publication of KR101939095B1 publication Critical patent/KR101939095B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/10Conjoint control of vehicle sub-units of different type or different function including control of change-speed gearings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38Registration of image sequences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

카메라를 이용하여 차량의 전방 또는 후방 영상 촬영하여, 촬영된 영상으로부터 복수 개의 정보를 획득하기 위한 차량 카메라 시스템이 개시되며, 상기 차량 카메라 시스템은 상기 카메라에 의해 촬영된 영상을 프레임별로 복수 개의 그룹으로 분할하여, 각각의 그룹의 영상을 처리하고, 처리된 각각의 그룹의 영상으로부터 서로 다른 복수 개의 정보를 획득하기 위한 처리장치; 및 상기 서로 다른 정보를 출력하거나 상기 서로 다른 정보에 따라 상기 차량을 제어하기 위한 부가장치를 포함할 수 있다. There is disclosed a vehicle camera system for capturing a forward or backward image of a vehicle using a camera and acquiring a plurality of pieces of information from the captured image, the vehicle camera system comprising: A processing device for dividing the image of each group and obtaining a plurality of different information from the image of each group processed; And an additional device for outputting the different information or controlling the vehicle according to the different information.

Description

차량용 카메라 시스템{A CAMERA SYSTEM FOR VEHICLE}[0001] A CAMERA SYSTEM FOR VEHICLE [0002]

본 발명의 일 실시예는 차량의 카메라 시스템에 관한 것으로서, 더욱 상세하게는 하나의 카메라를 통해 획득된 영상으로부터 복수 개의 정보를 획득하기 위한 차량의 카메라 시스템에 관한 것이다.
One embodiment of the present invention relates to a camera system of a vehicle, and more particularly to a camera system of a vehicle for acquiring a plurality of pieces of information from an image obtained through a single camera.

최근들어 자동차의 동력 성능에 대한 소비자 만족뿐만 아니라 소비자의 편의를 위한 장치가 많이 보급되고 있다. 그러한 예로써 주차 보조를 위한 전/후방 카메라와 자동차의 상태를 한눈에 파악할 수 있는 통합 디스플레이 장치의 보급이 보편화되고 있는 추세다. 운전자는 전방 또는 후방 주차시에 차량의 전/후방 카메라 및 거리 측정 센서, 그리고 디스플레이 장치를 통해 차량 주변의 사람(예컨대, 보행자 등) 또는 사물 등(이하, "장애물"이라 함)을 볼 수 있고, 장애물까지의 거리를 알 수 있다. In recent years, devices for consumer convenience as well as consumer satisfaction for power performance of automobiles have become popular. As an example of this, the spread of the front and rear cameras for parking assistance and the integrated display device capable of grasping the condition of the car at a glance is becoming popular. The driver can view a person (e.g., a pedestrian, etc.) or an object (hereinafter referred to as "obstacle ") around the vehicle through the front and rear cameras and the distance measuring sensor of the vehicle and the display device at the time of front or rear parking , The distance to the obstacle can be known.

또한, 이러한 주차 보조를 위한 편의 장치뿐만 아니라 차량 주행중에 발생할 수 있는 사고를 미연에 방지할 수 있는 차선 이탈 방지 장치 또는 전방 추돌 방지 장치 등이 보급되고 있다. In addition, a lane departure prevention apparatus or a front collision avoidance apparatus, which can prevent an accident that may occur during the running of a vehicle, in addition to the convenience for the parking assist, has become popular.

종래에는 이러한 각기 다른 편의 장치를 구현하기 위해서 각 편의 장치별로 차량에 복수 개의 카메라를 구비해야 했고, 이에 따라 별도의 영상처리장치를 구비해야 했다. 그러나, 편의 장치별로 카메라와 영상처리장치를 구비하는 것은 생산단가를 높이고, 차량 내에 공간 문제와 배선의 복잡성 등으로 인해 바람직하지 않은 사항이다. Conventionally, in order to implement such different convenience devices, a plurality of cameras must be provided in each vehicle for each convenience device, and accordingly, a separate image processing device has to be provided. However, the provision of the camera and the image processing device for each convenience device increases the production cost, and is not preferable due to the space problem and the complexity of the wiring in the vehicle.

따라서, 종래의 기술에 비해 간략하고 편리한, 사용자 만족도를 높일 수 있는 차량용 카메라 시스템이 필요하다.
Therefore, there is a need for a camera system for a vehicle that is simple and convenient compared to the prior art, and can improve user satisfaction.

본 발명의 일 실시예는 이러한 점을 해결하기 위해, 하나의 카메라를 통해 얻어진 영상을 동시에 여러가지의 편의 기능을 구현할 수 있는 카메라 시스템을 제안하고자 한다.
To solve this problem, an embodiment of the present invention proposes a camera system capable of simultaneously implementing various convenient functions of an image obtained through a single camera.

본 발명의 일 실시예에 따른 차량용 카메라 시스템은, 차량용 카메라 시스템에 있어서, 거리측정센서를 포함하고, 차량의 운행에 필요한 정보를 획득하기 위해서 차량의 전방 또는 후방을 촬영하는 하나의 카메라부; 상기 하나의 카메라부로부터 촬영된 영상의 프레임들을 분할 또는 할당하고, 상기 분할 또는 할당된 프레임들을 수집하여 N개의 그룹 영상을 생성하며, 상기 생성된 N개의 그룹 영상에 서로 다른 영상 처리 알고리즘을 적용하여 복수개의 다른 정보를 생성하는 처리장치; 및 상기 처리장치에서 생성한 복수개의 다른 정보를 이용하여 차량의 제어를 수행하는 부가장치를 포함하고,
상기 처리장치는, 제 1 그룹의 영상 내에서 차량의 전방에 위치한 다른 차량을 인식하고, 거리 측정센서를 통해서 획득한 거리정보를 이용해서, 다른 차량과 해당 차량과의 거리에 관한 정보를 생성하고, 상기 처리장치는, 제 2 그룹의 영상 내에서 차선을 인식하는 정보를 생성하며,
상기 부가장치는, 상기 제 1 그룹 영상을 통해서 생성한 다른 차량과의 거리에 관한 제 1 정보를 이용하여 차량의 제동장치를 제어하고, 상기 제 2 그룹 영상을 통해서 생성한 차선 인식에 대한 제 1 정보를 이용해서 차량의 조향장치를 제어하는 것을 특징으로 한다.
바람직하게는 상기 처리장치는, 상기 하나의 카메라부에서 촬영된 영상의 프레임들을 시간적으로 교번하는 방식으로 선택하여, 각 그룹으로 할당하는 것을 특징으로 한다.
바람직하게는 상기 처리장치는, 상기 촬영된 영상을 프레임별로 N개의 그룹으로 분할하고, 제 n 그룹의 영상은 N*k-(N-n) 번째 프레임들로 이루어지며, 여기서, k는 1이상의 정수, N은 2이상의 정수이고, n은 1 내지 N 사이의 정수이며, N은 상기 촬영된 영상의 초당 프레임수의 공약수(common divisor)인 것을 특징으로 한다.
바람직하게는 상기 처리장치는, 제 N 그룹의 영상 내에서 상기 제 1 정보 및 제 2 정보와 다른 제 3 정보를 생성하는 것을 특징으로 한다.
바람직하게는 상기 처리장치는, 복수개로 구성되고, 복수개의 처리장치에서 적용되는 영상 처리 알고리즘은 다르게 구성되고, 상기 처리장치에서 분할된 그룹의 수는 가변할 수 있는 것을 특징으로 한다.
바람직하게는 상기 부가장치는, 상기 처리장치에서 생성한 전방 차량 인식에 대한 제1 정보 또는 차선 인식에 대한 제2 정보를 디스플레이부에 표시하여 운전자에게 제공하는 것을 특징으로 한다.
바람직하게는 상기 부가장치는, 상기 처리장치에서 생성한 전방 차량 인식에 대한 제1 정보 또는 차선 인식에 대한 제2 정보를 차량 내 스피커를 통해서 음성으로 운전자에게 제공하는 것을 특징으로 한다.
바람직하게는 상기 부가장치는, 상기 처리장치에서 생성한 전방 차량 인식에 대한 제1 정보 또는 차선 인식에 대한 제2정보를 차량 내 향 분사기를 통해서 향을 이용하여 운전자에게 제공하는 것을 특징으로 한다.
A camera system for a vehicle according to an embodiment of the present invention is a camera system for a vehicle. The camera system comprises: a camera unit including a distance measuring sensor and photographing the front or rear of the vehicle to obtain information necessary for driving the vehicle; The method includes dividing or allocating frames of an image photographed by the one camera unit, collecting the divided or allocated frames to generate N group images, applying different image processing algorithms to the generated N group images, A processing device for generating a plurality of different pieces of information; And an additional device for performing control of the vehicle using a plurality of different information generated by the processing device,
The processing device recognizes another vehicle located in front of the vehicle in the first group of images and generates information on the distance between the other vehicle and the vehicle using the distance information acquired through the distance measuring sensor , The processing apparatus generates information for recognizing the lane in the video of the second group,
The additional device controls the braking device of the vehicle using the first information on the distance to the other vehicle generated through the first group image and controls the braking device of the first group image based on the first And the steering device of the vehicle is controlled using the information.
Preferably, the processing unit selects frames of the image photographed by the one camera unit in a temporally alternating manner, and assigns the selected frames to each group.
Preferably, the processing unit divides the photographed image into N groups by frame, and the n-th group image consists of N * k- (Nn) th frames, where k is an integer of 1 or more, N is an integer equal to or greater than 2, n is an integer between 1 and N, and N is a common divisor of frames per second of the photographed image.
Preferably, the processing apparatus generates third information different from the first information and the second information in the image of the Nth group.
Preferably, the processing apparatus is composed of a plurality of processing apparatuses, and image processing algorithms applied to the plurality of processing apparatuses are configured differently, and the number of groups divided by the processing apparatus can be varied.
Preferably, the additional device displays the first information on the front vehicle recognition or the second information on the lane recognition generated by the processing device on the display unit and provides the information to the driver.
Preferably, the additional apparatus provides the driver with first information on the front vehicle recognition or second information on the lane recognition generated by the processing apparatus through the speaker in the vehicle.
Preferably, the additional device provides the driver with the first information on the front vehicle recognition or the second information on the lane recognition generated by the processing device through the in-vehicle aroma injector, using the incense.

본 발명의 일 실시예에 따르면 하나의 카메라와 이에 대응하는 처리장치를 통해 복수 개의 운전자 편의를 위한 정보를 획득할 수 있는 차량용 카메라 시스템을 구현함으로써, 제조 단가를 낮추고 차량 내장 배치와 배선을 간단하게 할 수 있는 장점이 있다.
According to one embodiment of the present invention, by implementing a camera system for a vehicle that can acquire information for a plurality of driver's convenience through one camera and a corresponding processing device, it is possible to reduce the manufacturing cost, There is an advantage to be able to do.

도 1은 종래 기술에 따른 차량 카메라 시스템의 블록도를 도시한다.
도 2는 본 발명의 일 실시예에 따른 차량 카메라 시스템의 블록도를 도시한다.
도 3은 본 발명의 일 실시예에 따른 차량 카메라 시스템의 블록도를 도시한다.
도 4는 본 발명의 일 실시예에 따른 차량 카메라 시스템의 동작을 도시한다.
Figure 1 shows a block diagram of a vehicle camera system according to the prior art.
2 shows a block diagram of a vehicle camera system according to an embodiment of the invention.
3 shows a block diagram of a vehicle camera system according to an embodiment of the invention.
4 shows the operation of a vehicle camera system according to an embodiment of the present invention.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 포괄하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.The terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary terms and should be construed in a sense and concept consistent with the technical idea of the present invention. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and not all of the technical ideas of the present invention are included. Therefore, It is to be understood that equivalents and modifications are possible.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 종래 기술에 따른 차량 카메라 시스템(100)의 블록도를 도시한다. 1 shows a block diagram of a vehicle camera system 100 according to the prior art.

종래의 차량 카메라 시스템은 차량의 주변 영상을 촬영하기 위한 N개의 카메라(10-1 내지 10-N), 상기 N개의 카메라로부터 획득된 영상을 처리하기 위한 N개의 처리장치(20-1 내지 20-N), 및 상기 N개의 처리장치로부터 처리된 결과를 출력하기 위한 N개의 부가장치(30-1 내지 30-N)를 포함할 수 있다. The conventional vehicle camera system includes N cameras 10-1 to 10-N for capturing a peripheral image of a vehicle, N processing devices 20-1 to 20- N), and N additional units 30-1 to 30-N for outputting the processed result from the N processing units.

도 1의 시스템(100)은 N개의 정보를 획득하기 위해 카메라(10-1), 처리장치(20-1) 및 부가장치(30-1)가 일 세트를 이루어 총 N세트가 구비될 수 있다. 물론, N개의 정보를 획득하기 위해 반드시 N세트의 카메라, 처리장치, 및 부가장치가 필요한 것은 아니나 설명의 간단함을 위해 이렇게 설명하였다. The system 100 of FIG. 1 may be provided with a total of N sets of cameras 10-1, 20-1, and 30-1 to obtain N pieces of information . Needless to say, N sets of cameras, processing devices, and additional devices are not necessarily required to acquire N pieces of information, but they have been described for simplicity of explanation.

N개 카메라(10-1 내지 10-N)는 N개의 정보를 획득하기 위해 각각 구비된 카메라로서, 차량의 주변, 예컨대 전방 또는 후방의 영상을 비연속적으로 또는 연속적으로 촬영할 수 있다. The N cameras 10-1 to 10-N are cameras provided for acquiring N pieces of information, respectively, and can photograph the images of the surroundings of the vehicle, for example, front or rear, discontinuously or continuously.

N개의 처리장치(20-1 내지 20-N)는 N개의 카메라로부터 획득된 영상을 처리하여 필요한 정보를 추출할 수 있다. N개의 카메라로부터 획득된 각각의 영상은 차량의 주행 또는 운행에 필요한 정보를 추출하기 위해 영상 처리될 수 있다. The N processing devices 20-1 to 20-N can process the images obtained from the N cameras to extract necessary information. Each image obtained from the N cameras can be image-processed to extract information necessary for running or running of the vehicle.

N개의 부가장치(30-1 내지 30-N)는 N개의 처리장치로부터 추출된 정보를 출력할 수 있다. 추출된 정보를 출력하는 것은 운전자에게 상기 추출된 정보를 시각적 또는 청각적인 수단을 통해 출력하는 것을 의미한다.
The N additional devices 30-1 to 30-N can output information extracted from the N processing devices. The outputting of the extracted information means outputting the extracted information to the driver through visual or auditory means.

도 2는 본 발명의 일 실시예에 따른 차량 카메라 시스템(200)의 블록도를 도시한다. 2 shows a block diagram of a vehicle camera system 200 in accordance with an embodiment of the present invention.

본 발명의 일 실시예에 따른 차량 카메라 시스템(200)는 차량 주변의 영상을 촬영하기 위한 하나의 카메라(11), 상기 카메라로부터 획득된 영상을 복수(N) 개의 그룹으로 분할하여, 각각의 그룹의 영상을 처리하기 위한 N개의 처리장치(21-1 내지 21-N), 그리고 상기 처리된 각 그룹의 영상으로부터 획득된 정보를 출력하기 위한 N개의 부가장치(31-1 내지 31-N)를 포함할 수 있다. The vehicle camera system 200 according to an embodiment of the present invention includes a camera 11 for capturing an image of the surroundings of a vehicle, an image obtained from the camera into a plurality of (N) groups, N processing units 21-1 to 21-N for processing the image of each group and N additional units 31-1 to 31-N for outputting the information obtained from the processed images of the groups .

카메라부(11)는 차량의 운행 또는 주행에 필요한 정보를 획득하기 위해 구비된 카메라를 포함하고, 차량의 주변, 예컨대 전방 또는 후방의 영상을 비연속적으로 또는 연속적으로 촬영할 수 있다. 또한, 카메라부(11)는 거리측정센서(미도시)를 포함할 수 있다. The camera section 11 includes a camera provided to acquire information necessary for driving or running the vehicle, and can photograph the images of the surroundings of the vehicle, for example, front or rear, discontinuously or continuously. In addition, the camera unit 11 may include a distance measuring sensor (not shown).

N개의 처리장치(21-1 내지 21-N)는 하나의 카메라부(11)로부터 획득된 영상을 처리하여 필요한 정보를 추출할 수 있다. 하나의 카메라부(11)로부터 획득된 각각의 영상은 차량의 주행 또는 운행에 필요한 정보를 추출하기 위해 영상 처리될 수 있다. The N processing units 21-1 to 21-N can process the image obtained from one camera unit 11 to extract necessary information. Each image obtained from one camera unit 11 can be image-processed to extract information necessary for driving or running of the vehicle.

예컨대, N개의 처리장치(21-1 내지 21-N)는 하나의 카메라부(11)로부터 영상을 제공받을 수 있다. 이 영상은 정지된 영상 또는 동영상 둘 모두 일 수 있다. N개의 처리장치(21-1 내지 21-N)는 상기 영상을 프레임별로 N개의 그룹으로 분할할 수 있다. 영상을 프레임별로 N개의 그룹으로 분할하는 것은, 상기 영상의 프레임들 중에서 각 그룹마다 시간 순서대로(또는 시간적으로) 교번하여 프레임을 선택하여 상기 영상을 N개의 그룹으로 분할하는 것을 의미한다. For example, the N processing units 21-1 to 21-N can receive images from one camera unit 11. [ This image can be either a still image or a moving image. The N processing units 21-1 to 21-N may divide the image into N groups by frame. The division of the images into N groups by frame means that the frames are selected in the order of time (or temporally) for each group among the frames of the image, and the image is divided into N groups.

다시 말하면, N개의 처리장치(21-1 내지 21-N)는 상기 영상의 프레임들을 시간 순서대로 입력받되, 입력순서대로 프레임을 하나씩 N개의 그룹으로 할당할 수 있다. 각 그룹이 프레임을 하나씩 할당받았다면, 다시 똑같은 방식으로 순서대로 프레임들을 각 그룹으로 할당할 수 있다. 이처럼, 영상을 교번 방식을 통해 각 그룹으로 할당할 수 있다. In other words, the N processing units 21-1 to 21-N receive the frames of the image in chronological order, and can allocate the frames to N groups one by one in the input order. If each group is assigned one frame at a time, you can assign the frames to each group again in the same manner. As described above, images can be assigned to each group through an alternate method.

예를 들어, 상기 영상이 초당 60 프레임이고, 이 영상을 2개의 그룹으로 분할하는 경우에, 매초마다 60개의 프레임이 있으므로 홀수 번째 프레임(이하, "홀수 프레임"이라 함)을 제 1 그룹으로, 짝수 번째 프레임(이하, "짝수 프레임"이라 함)을 제 2 그룹으로 분할할 수 있다. 따라서 첫번째 프레임은 제 1 그룹으로 할당하고, 두번째 프레임은 제 2 그룹으로 할당하며, 세번째 프레임은 다시 제 1 그룹으로 할당하고 네번째 프레임은 다시 제 2 그룹으로 할당하는 방식으로 영상을 분할할 수 있다. For example, when the image is 60 frames per second and there are 60 frames per second in dividing the image into two groups, odd-numbered frames (hereinafter referred to as "odd frames" (Hereinafter referred to as "even-numbered frames") may be divided into a second group. Accordingly, the first frame may be allocated to the first group, the second frame may be allocated to the second group, the third frame may be allocated to the first group, and the fourth frame may be allocated to the second group again.

따라서, 영상을 N개의 그룹으로 분할하는 경우, 제 n 그룹의 영상은 N*k-(N-n)번째 프레임들의 집합이고, 여기서 k는 1 이상의 정수, n은 1 내지 N 사이의 정수에 해당한다. Accordingly, when dividing the image into N groups, the image of the nth group is a set of N * k- (N-n) th frames, where k is an integer of 1 or more and n is an integer between 1 and N.

한편, 상기 영상이 초당 a개의 프레임(여기서, a는 1 이상의 정수)이라면, 분할할 수 있는 그룹의 수는 a의 공약수 중 하나가 될 것이다. 예컨대, a=60인 경우, N= 1, 2, 3, 4, 5, 6, 10, 12, 15, 20, 30, 60이 될 수 있다. On the other hand, if the image is a frames per second (where a is an integer of 1 or more), the number of groups that can be divided will be one of the common divisors of a. For example, when a = 60, N = 1, 2, 3, 4, 5, 6, 10, 12, 15, 20, 30,

N개의 처리장치(21-1 내지 21-N)는 상기 영상의 프레임들을 각 그룹으로 분할 또는 할당하고나서, 분할 또는 할당된 프레임들을 수집, 조합, 또는 결합하여 N개의 그룹의 영상을 생성할 수 있다. The N processing units 21-1 to 21-N divide or allocate the frames of the image into respective groups and then collect, combine, or combine divided or allocated frames to generate N groups of images have.

이렇게, N개의 처리장치(21-1 내지 21-N)는 상기 영상을 프레임별로 N개의 그룹으로 분할하여, 각 그룹의 영상에 대한 처리작업을 수행할 수 있다. 상기 처리작업은 영상 처리 알고리즘에 의해 수행될 수 있으며, 영상 내에서 특정 물체를 인식하여 새로운 정보를 생성 또는 획득할 수 있다. 여기서, 각 그룹의 영상에 대해 서로 다른 영상 처리 알고리즘이 적용될 수 있다. In this manner, the N processing units 21-1 to 21-N divide the image into N groups for each frame, and can perform a processing operation on the images of the respective groups. The processing operation may be performed by an image processing algorithm and may recognize a specific object in the image to generate or acquire new information. Here, different image processing algorithms may be applied to the images of the respective groups.

예컨대, 처리장치(21-1 내지 21-N)는 카메라부(11)에 의해 촬영된 차량의 전방 영상 중 제 1 그룹의 영상 내에서, 차량의 전방에 위치한 다른 차량을 인식할 수 있다. 또한, 카메라부(11)에 구비된 거리측정센서를 통해 상기 다른 차량과의 거리 정보를 획득할 수 있다. 이를 통해, 전방에 있는 다른 차량과 그 차량과의 거리에 관한 정보를 획득할 수 있다. 또한, 처리장치(21-1 내지 21-N)는 카메라부(11)에 의해 촬영된 차량의 전방 영상 중 제 2 그룹의 영상 내에서, 차선을 인식할 수 있다. 앞서 설명한 2개의 예는 도 4에서 도시된다. For example, the processing apparatuses 21-1 to 21-N can recognize another vehicle positioned in front of the vehicle in the first group of images of the front images of the vehicle photographed by the camera unit 11. [ In addition, distance information with respect to the other vehicle can be obtained through a distance measuring sensor provided in the camera unit 11. [ In this way, it is possible to acquire information about the distance between the preceding vehicle and another vehicle. Further, the processing apparatuses 21-1 to 21-N can recognize the lane in the image of the second group among the forward images of the vehicle photographed by the camera section 11. [ The two examples described above are shown in Fig.

도 4의 예에서는 카메라부(11)에 의해 촬영된 영상은 초당 60 프레임으로 이루어져있고, 이를 2개의 그룹의 영상으로 분할하였다. 도 4에서 시스템 #1은 초당 30프레임의 제 1 그룹의 영상(예컨대, 1, 3, 5, ..., 2k-1번째 프레임의 집합)을 획득하여, 차량 전방에 위치한 다른 차량을 인식하고 있고, 시스템 #2는 초당 30프레임의 제 2 그룹의 영상(예컨대, 2, 4, 6, ..., 2k번째 프레임의 집합)을 획득하여, 차선을 인식하고 있다. In the example of FIG. 4, the image photographed by the camera unit 11 is composed of 60 frames per second and is divided into two groups of images. In FIG. 4, the system # 1 acquires a first group image (for example, a set of 1, 3, 5, ..., 2k-1) frames of 30 frames per second and recognizes another vehicle located in front of the vehicle , And the system # 2 acquires a second group of images (for example, a set of 2, 4, 6, ..., 2k-th frames) of 30 frames per second and recognizes the lane.

한편, 하나의 카메라부(11)에 의해 촬영된 영상을 복수 개의 그룹으로 분할하므로, 각 그룹의 영상으로부터 필요한 정보를 획득할 수 있어야 한다. 이는 곧 분할된 그룹의 영상의 프레임수가 일정 수준 이상은 되어야 함을 의미하고, 이는 다시 최대로 분할될 수 있는 그룹의 수가 한정적임을 의미한다. 따라서, 영상의 분할된 그룹의 수(N)는 구현 환경과 사용자 설정에 따라 가변할 수 있도록 한다. On the other hand, since the images photographed by one camera unit 11 are divided into a plurality of groups, it is necessary to obtain necessary information from the images of each group. This means that the number of frames of the image of the divided group should be more than a certain level, which means that the number of groups that can be divided into the maximum is again limited. Thus, the number N of divided groups of images can be varied according to the implementation environment and user settings.

N개의 부가장치(31-1 내지 31-N)는 N개의 처리장치로부터 추출된 정보를 출력할 수 있다. 이는 도 4에 도시한 것처럼, N개의 부가장치(31-1 내지 31-N)가 차량 내의 디스플레이부(미도시)에 영상을 처리하여 획득한 전방 차량 인식 정보 또는 차선 인식 정보를 표시할 수 있다. 또한, 차량 내의 스피커를 통해 음성으로 전방 차량 인식 정보 또는 차선 인식 정보를 알려줄 수 있다. 또한, 차량에 향(또는 향수) 분사기가 있다면, 향을 이용하여(또는 후각정보로써) 전방 차량 인식 정보 또는 차선 인식 정보를 알려줄 수도 있을 것이다.The N additional devices 31-1 to 31-N can output the information extracted from the N processing devices. 4, the N additional devices 31-1 to 31-N may display the front vehicle recognition information or the lane recognition information obtained by processing the image on the display unit (not shown) in the vehicle . Further, it is possible to inform the front vehicle identification information or the lane identification information by voice through the speaker in the vehicle. In addition, if the vehicle has a perfume (or perfume) injector, it may be able to inform the front vehicle identification information or the lane identification information using fragrance (or olfactory information).

또한, N개의 부가장치(31-1 내지 31-N)는 N개의 처리장치로부터 획득된 정보를 이용하여 상기 차량을 제어할 수 있다. 예컨대, 도 4에 도시된 것처럼, 차량이 전방에 주행 중인 차량과의 거리가 일정 범위 내로 접근한다고 판단되면, 부가장치(31-1 내지 31-N)는 차량의 제동장치를 제어하여 차량이 감속하도록 할 수 있다. 또는, 이러한 경우에 차량의 감속을 돕기 위해 차량의 기어변속장치를 제어하여 엔진 기어가 동작하도록 할 수 있다. Further, the N additional devices 31-1 to 31-N can control the vehicle using information obtained from the N processing devices. For example, as shown in FIG. 4, when it is determined that the distance between the vehicle and the vehicle traveling ahead is approaching within a certain range, the additional devices 31-1 to 31-N control the braking device of the vehicle, . Alternatively, in such a case, the gear transmission of the vehicle may be controlled to assist the deceleration of the vehicle so that the engine gear operates.

또한, 도 4에 도시된 것처럼, 차량이 양 차선의 중심으로 운행하고 있지 않고 차량이 차선에 접근하는 등의 경우에 차량의 조향장치를 제어하여 차량이 양 차선의 중심으로 운행할 수 있도록 한다. In addition, as shown in Fig. 4, when the vehicle is not traveling at the center of both lanes, and the vehicle approaches the lane, etc., the vehicle steering apparatus is controlled so that the vehicle can be driven to the center of both lanes.

앞서 설명한 경우에, 부가장치(31-1 내지 31-N)는 제동장치, 조향장치 또는 기어변속장치 중 어느 하나를 제어하기 위한 장치가 될 수 있다.
In the case described above, the additional devices 31-1 to 31-N may be devices for controlling either the braking device, the steering device, or the gear-shifting device.

도 3은 본 발명의 일 실시예에 따른 차량 카메라 시스템의 블록도(300)를 도시한다. 도 2에 도시된 실시예와 달리, 도 3의 실시예는 처리장치(21)와 부가장치(31)를 하나의 유닛으로 구성하였다. 도 3의 처리장치(21)와 부가장치(31)의 동작과 기능은 도 2에서 설명된 처리장치(21-1 내지 21-N)와 부가장치(31-1 내지 31-N)와 동일하므로, 설명을 생략하도록 한다. Figure 3 shows a block diagram 300 of a vehicle camera system in accordance with an embodiment of the present invention. Unlike the embodiment shown in FIG. 2, the embodiment of FIG. 3 has the processing unit 21 and the additional unit 31 as one unit. The operations and functions of the processing device 21 and the additional device 31 of Fig. 3 are the same as those of the processing devices 21-1 to 21-N and the adding devices 31-1 to 31-N shown in Fig. 2 , And a description thereof will be omitted.

도 3처럼 처리장치(21)와 부가장치(31)를 하나의 유닛으로 구성하면, 차량 내의 배선이 더욱 간소해지고, 여러 유닛을 구비해야하는 것을 피할 수 있어 제조 단가를 낮출 수 있다.
As shown in Fig. 3, if the processing device 21 and the additional device 31 are formed as one unit, the wiring in the vehicle becomes simpler, and it is possible to avoid the necessity of providing multiple units, and the manufacturing cost can be reduced.

위에서 본 발명의 실시예들이 설명되었으며, 당해 기술 분야에 속한 통상의 지식을 가진 자는 이러한 실시예들은 발명을 한정하기 위한 것이 아니라 단지 예시적인 것임을 인식할 수 있고, 본 발명의 범위 또는 사상을 벗어나지 않고 변형, 수정 등이 가능함을 인식할 것이다.
Having described the embodiments of the present invention above, those of ordinary skill in the art will recognize that these embodiments are illustrative rather than limiting, and that various changes and modifications may be made without departing from the scope or spirit of the invention Variations, and modifications may be made without departing from the scope of the present invention.

11: 카메라 21: 처리장치
31: 부가장치
11: camera 21: processing device
31: Additional device

Claims (8)

차량용 카메라 시스템에 있어서,
거리측정센서를 포함하고, 차량의 운행에 필요한 정보를 획득하기 위해서 차량의 전방을 촬영하는 하나의 카메라부;
상기 하나의 카메라부로부터 촬영된 영상의 프레임들을 분할 또는 할당하고, 상기 분할 또는 할당된 프레임들을 수집하여 N개의 그룹 영상을 생성하며, 상기 생성된 N개의 그룹 영상에 서로 다른 영상 처리 알고리즘을 적용하여 복수개의 다른 정보를 생성하는 처리장치; 및
상기 처리장치에서 생성한 복수개의 다른 정보를 이용하여 차량의 제어를 수행하는 부가장치를 포함하고,
상기 처리장치는, 제 1 그룹의 영상 내에서 차량의 전방에 위치한 다른 차량을 인식하고, 거리 측정센서를 통해서 획득한 거리정보를 이용해서, 다른 차량과 해당 차량과의 거리에 관한 제 1 정보를 생성하고,
상기 처리장치는, 제 2 그룹의 영상 내에서 차선을 인식하는 제 2 정보를 생성하며,
상기 부가장치는, 상기 제 1 그룹 영상을 통해서 생성한 다른 차량과의 거리에 관한 제 1 정보를 이용하여 차량의 제동장치를 제어하고, 상기 제 2 그룹 영상을 통해서 생성한 차선 인식에 대한 제 2 정보를 이용해서 차량의 조향장치를 제어하는 차량용 카메라 시스템.
A camera system for a vehicle,
A camera unit including a distance measuring sensor and photographing the front of the vehicle to acquire information necessary for driving the vehicle;
The method includes dividing or allocating frames of an image photographed by the one camera unit, collecting the divided or allocated frames to generate N group images, applying different image processing algorithms to the generated N group images, A processing device for generating a plurality of different pieces of information; And
And an additional device for performing control of the vehicle by using a plurality of different pieces of information generated by the processing device,
The processing apparatus recognizes another vehicle located in front of the vehicle in the first group of images and uses the distance information obtained through the distance measuring sensor to calculate first information on the distance between the other vehicle and the vehicle Generate,
The processing apparatus generates second information for recognizing a lane in a second group of images,
The additional device controls the braking device of the vehicle using the first information on the distance to the other vehicle generated through the first group image and controls the braking device of the second A vehicle camera system for controlling a steering device of a vehicle using information.
청구항 1에 있어서,
상기 처리장치는, 상기 하나의 카메라부에서 촬영된 영상의 프레임들을 시간적으로 교번하는 방식으로 선택하여, 각 그룹으로 할당하는, 차량용 카메라 시스템.
The method according to claim 1,
Wherein the processing unit selects frames of the image photographed by the one camera unit in a temporally alternating manner and allocates the frames to each group.
청구항 2에 있어서,
상기 처리장치는, 상기 촬영된 영상을 프레임별로 N개의 그룹으로 분할하고, 제 n 그룹의 영상은 N*k-(N-n) 번째 프레임들로 이루어지며,
여기서, k는 1이상의 정수, N은 2이상의 정수이고, n은 1 내지 N 사이의 정수이며, N은 상기 촬영된 영상의 초당 프레임수의 공약수(common divisor)인, 차량용 카메라 시스템.
The method of claim 2,
Wherein the processing unit divides the photographed image into N groups by frame, the n-th group of images comprises N * k- (Nn) th frames,
Here, k is an integer of 1 or more, N is an integer of 2 or more, n is an integer between 1 and N, and N is a common divisor of frames per second of the photographed image.
청구항 3에 있어서,
상기 처리장치는, 제 N 그룹의 영상 내에서 상기 제 1 정보 및 제 2 정보와 다른 제 3 정보를 생성하는 차량용 카메라 시스템.
The method of claim 3,
Wherein the processing device generates third information different from the first information and the second information in the image of the Nth group.
청구항 1에 있어서,
상기 처리장치는, 복수개로 구성되고, 복수개의 처리장치에서 적용되는 영상 처리 알고리즘은 다르게 구성되고,
상기 처리장치에서 분할된 그룹의 수는 가변할 수 있는 차량용 카메라 시스템.
The method according to claim 1,
Wherein the image processing algorithm applied to the plurality of processing apparatuses is configured differently,
Wherein the number of groups divided by the processing apparatus can be varied.
청구항 1에 있어서,
상기 부가장치는, 상기 처리장치에서 생성한 전방 차량 인식에 대한 제 1 정보 또는 차선 인식에 대한 제 2 정보를 디스플레이부에 표시하여 운전자에게 제공하는 차량용 카메라 시스템.
The method according to claim 1,
The additional device displays first information on the front vehicle recognition or second information on the lane recognition generated by the processing device on the display unit and provides the information to the driver.
청구항 1에 있어서,
상기 부가장치는, 상기 처리장치에서 생성한 전방 차량 인식에 대한 제 1 정보 또는 차선 인식에 대한 제 2 정보를 차량 내 스피커를 통해서 음성으로 운전자에게 제공하는 차량용 카메라 시스템.
The method according to claim 1,
And the additional device provides the driver with the first information on the front vehicle recognition or the second information on the lane recognition generated by the processing device through the speaker in the vehicle.
청구항 1에 있어서,
상기 부가장치는, 상기 처리장치에서 생성한 전방 차량 인식에 대한 제 1 정보 또는 차선 인식에 대한 제 2 정보를 차량 내 향 분사기를 통해서 향을 이용하여 운전자에게 제공하는 차량용 카메라 시스템.
The method according to claim 1,
Wherein the additional device provides the driver with the first information on the front vehicle recognition or the second information on the lane recognition generated by the processing device by using the incense sprayer in the vehicle.
KR1020110115017A 2011-11-07 2011-11-07 A camera system for vehicle KR101939095B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110115017A KR101939095B1 (en) 2011-11-07 2011-11-07 A camera system for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110115017A KR101939095B1 (en) 2011-11-07 2011-11-07 A camera system for vehicle

Publications (2)

Publication Number Publication Date
KR20130049946A KR20130049946A (en) 2013-05-15
KR101939095B1 true KR101939095B1 (en) 2019-01-16

Family

ID=48660499

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110115017A KR101939095B1 (en) 2011-11-07 2011-11-07 A camera system for vehicle

Country Status (1)

Country Link
KR (1) KR101939095B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010173367A (en) * 2009-01-27 2010-08-12 Denso Corp Lane deviation warning device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030005501A (en) * 2001-07-09 2003-01-23 에이티아이 주식회사 Image processing system having a switching apparatus and method therefor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010173367A (en) * 2009-01-27 2010-08-12 Denso Corp Lane deviation warning device

Also Published As

Publication number Publication date
KR20130049946A (en) 2013-05-15

Similar Documents

Publication Publication Date Title
KR102490799B1 (en) Image pickup device and electronic apparatus
EP3605610B1 (en) Sensor chip and electronic machine
US10618467B2 (en) Stereo image generating method using mono cameras in vehicle and providing method for omnidirectional image including distance information in vehicle
US9139133B2 (en) Vehicle collision warning system and method
JP5921715B2 (en) In-vehicle image processing device
US10261104B2 (en) Around view monitoring system and method for vehicles
WO2019003951A1 (en) Solid-state imaging device and electronic equipment
CN114270798B (en) Image pickup apparatus
CN110786003B (en) Imaging device, imaging device driving method, and electronic apparatus
JP6954918B2 (en) Vehicle control device and vehicle control method
KR101939095B1 (en) A camera system for vehicle
JP7075273B2 (en) Parking support device
EP2605101A1 (en) Method for displaying images on a display device of a driver assistance device of a motor vehicle, computer program and driver assistance device carrying out the method
JP2018207291A (en) Solid state imaging device and imaging apparatus
CN112585942A (en) Electronic device and solid-state image pickup device
JP6148848B2 (en) In-vehicle image processing device
JP6115278B2 (en) Vehicle display device
DE112020003760T5 (en) SIGNAL PROCESSING DEVICE, SIGNAL PROCESSING METHOD AND IMAGING DEVICE
KR20180117597A (en) Image processing apparatus, image processing method, computer program and electronic apparatus
WO2019176303A1 (en) Imaging device drive circuit and imaging device
EP4161051A1 (en) Photodetection device
JP7427594B2 (en) Image processing device
CN106627367A (en) Vehicle-mounted circular-viewing system for multiple compartments and image generation method of vehicle-mounted circular-viewing system
KR102609040B1 (en) Control device and method for driver assistance system of vehicle
JP5157845B2 (en) Visual assistance device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant