KR20220039268A - Image processing apparatus and method for vehicle camera - Google Patents
Image processing apparatus and method for vehicle camera Download PDFInfo
- Publication number
- KR20220039268A KR20220039268A KR1020200122200A KR20200122200A KR20220039268A KR 20220039268 A KR20220039268 A KR 20220039268A KR 1020200122200 A KR1020200122200 A KR 1020200122200A KR 20200122200 A KR20200122200 A KR 20200122200A KR 20220039268 A KR20220039268 A KR 20220039268A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- vehicle
- resolution
- speed
- frame rate
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H04N5/23229—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
Abstract
Description
본 발명은 차량용 카메라의 영상 처리 장치 및 방법에 관한 것으로, 더욱 상세하게는 차량의 주행 환경 등을 고려하여 차량 카메라 및 카메라에서 촬영된 영상을 적응적으로 제어 및 조정할 수 있는 차량용 카메라의 영상 처리 장치 및 방법에 관한 것이다.The present invention relates to an image processing apparatus and method for a vehicle camera, and more particularly, to a vehicle camera image processing apparatus capable of adaptively controlling and adjusting the vehicle camera and images captured by the camera in consideration of the driving environment of the vehicle. and methods.
자율 주행 기술에서, 차선 인식, 장애물 인식, 전방 차량 식별 등과 같이 다양한 목적을 위해 카메라를 필수적으로 구비하고 있다.In autonomous driving technology, a camera is essential for various purposes such as lane recognition, obstacle recognition, and vehicle identification in front.
자율 주행에서 요구되는 수준이 높아지고 카메라 성능이 향상됨에 따라 카메라의 화소수나 프레임 레이트(frame rate)가 비해 현저하게 증가하였으며, 적어도 풀 HD급의 동영상 데이터를 실시간으로 처리하여야 하는 상황에 이르렀다.As the level required for autonomous driving increases and camera performance improves, the number of pixels or frame rate of the camera has increased significantly, and at least full HD video data has to be processed in real time.
그러나, 이와 같이 고화질, 고 프레임 레이트의 동영상을 실시간으로 처리하기 위해서는 영상을 처리하는 연산 속도가 매우 빠른 영상 처리 장치가 요구되며, 영상 처리 장치가 처리하는 데이터양이 크게 증가하여 소모 전력이 높아지는 문제가 발생한다.However, in order to process high-definition, high-frame-rate moving pictures in real time, an image processing device with a very fast image processing speed is required, and the amount of data processed by the image processing device increases significantly, resulting in high power consumption. occurs
상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.The matters described as the background art above are only for improving the understanding of the background of the present invention, and should not be accepted as acknowledging that they correspond to the prior art already known to those of ordinary skill in the art.
이에, 본 발명은 차량의 주행 환경 등을 고려하여 차량 카메라 및 카메라에서 촬영된 영상을 적응적으로 제어 및 조정할 수 있는 차량용 카메라의 영상 처리 장치 및 방법을 제공하는 것을 해결하고자 하는 기술적 과제로 한다.Accordingly, an object of the present invention is to provide an image processing apparatus and method for a vehicle camera capable of adaptively controlling and adjusting a vehicle camera and an image captured by the camera in consideration of the driving environment of the vehicle, and the like.
상기 기술적 과제를 해결하기 위한 수단으로서 본 발명은, The present invention as a means for solving the above technical problem,
차량의 주변을 촬영하며 촬영하는 영상의 해상도 및 프레임 레이트의 조정이 가능한 카메라;A camera capable of adjusting the resolution and frame rate of the image taken while photographing the surroundings of the vehicle;
상기 차량의 속도 또는 상기 카메라에서 촬영된 영상 내 사물의 인식 여부 또는 상기 카메라에서 촬영된 영상 내 사물의 종류 또는 상기 차량의 주변 사물의 속도에 기반하여 상기 카메라의 해상도 또는 프레임 레이트를 조정하는 컨트롤러;a controller for adjusting the resolution or frame rate of the camera based on the speed of the vehicle or whether objects in the image captured by the camera are recognized, the type of object in the image captured by the camera, or the speed of objects around the vehicle;
를 포함하는 차량용 카메라의 영상 처리 장치를 제공한다.It provides an image processing apparatus for a vehicle camera comprising a.
본 발명의 일 실시형태에서, 상기 컨트롤러는, 상기 차량의 속도가 사전 설정된 기준값 보다 증가하면 상기 카메라의 해상도 또는 프레임 레이트를 증가시키고, 상기 차량의 속도가 사전 설정된 기준값 보다 감소하면 상기 카메라의 해상도 또는 프레임 레이트를 감소시키는 차속 인식 모듈을 포함할 수 있다.In one embodiment of the present invention, the controller increases the resolution or frame rate of the camera when the speed of the vehicle increases than a preset reference value, and increases the resolution or frame rate of the camera when the speed of the vehicle decreases than the preset reference value It may include a vehicle speed recognition module for reducing the frame rate.
본 발명의 일 실시형태에서, 상기 컨트롤러는, 상기 카메라가 촬영한 영상에서 인식이 불가능한 영역이 존재하면 상기 카메라의 해상도를 증가시키고, 상기 카메라가 촬영한 영상에서 인식이 불가능한 영역이 존재하지 않는 경우 상기 카메라의 해상도를 감소시키는 사물 인식 모듈을 포함할 수 있다.In one embodiment of the present invention, the controller increases the resolution of the camera when there is an unrecognizable area in the image captured by the camera, and when there is no unrecognizable area in the image captured by the camera It may include an object recognition module for reducing the resolution of the camera.
본 발명의 일 실시형태에서, 상기 컨트롤러는, 상기 카메라가 촬영한 영상에서 사전 설정된 인식 불필요 사물이 존재하는 경우 상기 인식 불필요 사물이 존재하는 영역을 제거하는 사물 인식 모듈을 포함할 수 있다.In one embodiment of the present invention, the controller may include an object recognition module that removes a region in which the recognition unnecessary object exists when a preset recognition unnecessary object exists in the image captured by the camera.
본 발명의 일 실시형태에서, 상기 컨트롤러는, 상기 차량의 주변 사물의 이동 속도가 사전 설정된 기준값 보다 증가하면 상기 카메라의 해상도 또는 프레임 레이트를 증가시키고, 상기 차량의 주변 사물의 이동 속도가 사전 설정된 기준값 보다 감소하면 상기 카메라의 해상도 또는 프레임 레이트를 감소시키는 차속 인식 모듈을 포함할 수 있다.In one embodiment of the present invention, the controller increases the resolution or frame rate of the camera when the moving speed of objects around the vehicle increases than a preset reference value, and increases the moving speed of objects around the vehicle to a preset reference value If it is further reduced, a vehicle speed recognition module for reducing the resolution or frame rate of the camera may be included.
본 발명의 일 실시형태에서, 상기 컨트롤러는, 사전 설정된 제어 주기 마다 상기 차량의 속도 또는 상기 카메라에서 촬영된 영상 내 사물의 인식 여부 또는 상기 카메라에서 촬영된 영상 내 사물의 종류 또는 상기 차량의 주변 사물의 속도를 기반으로 상기 카메라의 해상도 또는 프레임 레이트의 증감 여부 또는 상기 카메라에서 촬영된 영상의 특정 영역 제거 여부를 결정할 수 있다.In one embodiment of the present invention, the controller is configured to determine whether the speed of the vehicle or whether an object in the image captured by the camera is recognized or the type of object in the image photographed by the camera or a surrounding object of the vehicle at every preset control cycle It is possible to determine whether to increase or decrease the resolution or frame rate of the camera or whether to remove a specific region of the image captured by the camera based on the speed of .
본 발명의 일 실시형태에서, 상기 컨트롤러는, 상기 차량의 속도 또는 상기 차량의 주행 환경에 따라 상기 제어 주기를 변경할 수 있다.In one embodiment of the present invention, the controller may change the control period according to the speed of the vehicle or the driving environment of the vehicle.
본 발명의 일 실시형태에서, 상기 해상도 또는 프레임 레이트의 증감량은 사전 설정될 수 있다.In an embodiment of the present invention, the amount of increase or decrease of the resolution or frame rate may be preset.
상기 기술적 과제를 해결하기 위한 다른 수단으로서 본 발명은,The present invention as another means for solving the above technical problem,
컨트롤러에서, 차량의 속도, 상기 차량의 주변 사물의 이동 속도, 영상의 해상도 및 프레임 레이트의 조정이 가능한 카메라가 상기 차량 주변을 촬영한 영상 중 적어도 일부를 입력 받는 단계;receiving, in a controller, at least a portion of images captured around the vehicle by a camera capable of adjusting the speed of the vehicle, the moving speed of objects around the vehicle, and the resolution and frame rate of the image;
상기 컨트롤러에서, 입력 받은 차량의 속도 또는 상기 차량의 주변 사물의 이동 속도, 상기 카메라에서 촬영된 영상 내 사물의 인식 여부 또는 상기 카메라에서 촬영된 영상 내 사물의 종류 중 적어도 일부에 기반하여 상기 카메라의 해상도 또는 프레임 레이트를 조정하는 단계;In the controller, based on at least a part of the input speed of the vehicle or the moving speed of objects around the vehicle, whether an object in the image captured by the camera is recognized, or the type of object in the image captured by the camera adjusting the resolution or frame rate;
를 포함하는 차량용 카메라의 영상 처리 방법을 제공한다.It provides an image processing method of a vehicle camera comprising a.
본 발명의 일 실시형태에서, 상기 조정하는 단계에서, 상기 컨트롤러가 상기 차량의 속도가 사전 설정된 기준값 보다 증가하면 상기 카메라의 해상도 또는 프레임 레이트를 증가시키고, 상기 차량의 속도가 사전 설정된 기준값 보다 감소하면 상기 카메라의 해상도 또는 프레임 레이트를 감소시킬 수 있다.In one embodiment of the present invention, in the adjusting step, the controller increases the resolution or frame rate of the camera when the speed of the vehicle increases than a preset reference value, and increases the resolution or frame rate of the camera when the speed of the vehicle decreases than the preset reference value The resolution or frame rate of the camera may be reduced.
본 발명의 일 실시형태에서, 상기 조정하는 단계에서, 상기 컨트롤러는, 상기 카메라가 촬영한 영상에서 인식이 불가능한 영역이 존재하면 상기 카메라의 해상도를 증가시키고, 상기 카메라가 촬영한 영상에서 인식이 불가능한 영역이 존재하지 않는 경우 상기 카메라의 해상도를 감소시킬 수 있다.In one embodiment of the present invention, in the adjusting step, the controller increases the resolution of the camera if there is an unrecognizable area in the image photographed by the camera, and increases the resolution of the camera in the image photographed by the camera If the area does not exist, the resolution of the camera may be reduced.
본 발명의 일 실시형태에서, 상기 조정하는 단계에서, 상기 컨트롤러는, 상기 카메라가 촬영한 영상에서 사전 설정된 인식 불필요 사물이 존재하는 경우 상기 인식 불필요 사물이 존재하는 영역을 제거할 수 있다.In an embodiment of the present invention, in the adjusting step, the controller may remove a region in which the unrecognized object exists when a preset unrecognized object exists in the image captured by the camera.
본 발명의 일 실시형태에서, 상기 조정하는 단계에서, 상기 컨트롤러는, 상기 차량의 주변 사물의 이동 속도가 사전 설정된 기준값 보다 증가하면 상기 카메라의 해상도 또는 프레임 레이트를 증가시키고, 상기 차량의 주변 사물의 이동 속도가 사전 설정된 기준값 보다 감소하면 상기 카메라의 해상도 또는 프레임 레이트를 감소시킬 수 있다.In one embodiment of the present invention, in the adjusting step, the controller increases the resolution or frame rate of the camera when the moving speed of objects around the vehicle increases more than a preset reference value, and increases the resolution or frame rate of objects around the vehicle. If the moving speed is reduced than the preset reference value, the resolution or frame rate of the camera may be reduced.
본 발명의 일 실시형태에서, 상기 컨트롤러는 상기 입력 받는 단계 및 상기 조정하는 단계를 사전 설정된 제어 주기 마다 수행하고, 일 제어 주기의 상기 조정하는 단계에서, 상기 컨트롤러는, 상기 차량의 속도 또는 상기 카메라에서 촬영된 영상 내 사물의 인식 여부 또는 상기 카메라에서 촬영된 영상 내 사물의 종류 또는 상기 차량의 주변 사물의 속도를 기반으로 상기 카메라의 해상도 또는 프레임 레이트의 증감 여부 또는 상기 카메라에서 촬영된 영상의 특정 영역 제거 여부를 결정할 수 있다.In one embodiment of the present invention, the controller performs the step of receiving the input and the step of adjusting at each preset control period, and in the adjusting of one control period, the controller is configured to: Whether or not the resolution or frame rate of the camera is increased or decreased based on whether an object in the image captured in You can decide whether to remove the area or not.
본 발명의 일 실시형태에서, 상기 해상도 또는 프레임 레이트의 증감량은 사전 설정될 수 있다.In an embodiment of the present invention, the amount of increase or decrease of the resolution or frame rate may be preset.
상기 차량용 카메라의 영상 처리 장치 및 방법에 따르면, 차량의 주행 상태나 주행 환경에 따라 카메라가 촬영하는 영상의 해상도나 프레임 레이트를 적응적으로 조정함으로써 항상 최대 해상도나 최대 프레임 레이트로 촬영된 영상을 처리하는데 소요되는 데이터 처리 부담 및 전력 소모를 절감하면서도 카메라에서 촬영된 영상을 기반으로 한 안전한 차량 주행 제어가 가능한 우수한 효과가 있다.According to the image processing apparatus and method of the vehicle camera, the image captured at the maximum resolution or the maximum frame rate is always processed by adaptively adjusting the resolution or frame rate of the image captured by the camera according to the driving condition or driving environment of the vehicle. It has an excellent effect of enabling safe vehicle driving control based on images captured by the camera while reducing the data processing burden and power consumption required to do so.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned may be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description. will be.
도 1은 본 발명의 일 실시형태에 따른 차량용 카메라의 영상 처리 장치의 블록 구성도이다.
도 2 내지 도 5는 본 발명의 여러 실시형태에 따른 차량용 카메라의 영상 처리 방법을 도시한 흐름도이다.1 is a block diagram of an image processing apparatus for a vehicle camera according to an embodiment of the present invention.
2 to 5 are flowcharts illustrating an image processing method of a vehicle camera according to various embodiments of the present invention.
이하, 첨부의 도면을 참조하여 다양한 실시 형태에 따른 상기 차량용 카메라의 영상 처리 장치 및 방법을 상세하게 설명하기로 한다. Hereinafter, an image processing apparatus and method of the vehicle camera according to various embodiments will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시형태에 따른 차량용 카메라의 영상 처리 장치의 블록 구성도이다.1 is a block diagram of an image processing apparatus for a vehicle camera according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시형태에 따른 차량용 카메라의 영상 처리 장치는, 차량 주변 영상을 촬영하는 카메라(20)와, 카메라(20)에서 촬영된 영상 프레임 내 영상 정보 또는 차량의 속도에 기반하여 카메라(20)가 촬영하는 영상의 해상도 또는 프레임 레이트를 조정하는 컨트롤러(10)를 포함하여 구성될 수 있다.Referring to FIG. 1 , an image processing apparatus for a vehicle camera according to an embodiment of the present invention includes a
카메라(20)는 차량의 전방 또는 측방 또는 후방을 촬영하는 카메라로서, 설정에 따라 촬영하는 영상의 해상도 및 프레임 레이트를 조정할 수 있는 카메라 일 수 있다. 즉, 카메라(20)는 외부에서 입력되는 설정 정보에 포함된 해상도 설정 또는 프레임 레이트 설정에 기반하여 그에 해당하는 해상도와 프레임 레이트를 갖는 정지 영상 또는 동영상을 출력할 수 있다.The
컨트롤러(10)는 차량의 주행 상태 또는 차량의 주행 정보 등을 기반으로 카메라(20)가 촬영하는 영상의 해상도 및 프레임 레이트를 결정할 수 있다. 또한, 컨트롤러(10)는 카메라(20)에서 제공받은 영상을 분석하여 자율 주행 등에 사용되지 않는 불필요한 정보에 해당되는 부분을 잘라낼 수 있다.The
본 발명의 일 실시형태에서, 컨트롤러(10)는 카메라(20)의 해상도 또는 프레임 레이트를 설정하거나 카메라(20)가 촬영한 영상에서 불필요한 부분을 잘라 내기 위해, 차속을 인식하거나 카메라(20)에서 촬영된 영상에서 사물을 인식하거나 사물의 이동속도를 인식할 수 있다.In one embodiment of the present invention, the
예를 들어, 컨트롤러(10)는 차속을 인식하고, 인식된 차속을 기반으로 카메라(20)의 해상도나 프레임 레이트를 설정할 수 있는 차속 인식 모듈(11)과, 카메라(20)에서 촬영한 영상을 분석하여 사물을 인식하고 그 결과에 기반하여 카메라(20)의 해상도나 프레임 레이트를 설정하거나 카메라(20)에서 촬영한 영상의 일부분을 잘라내는 사물 인식 모듈(12)과, 차속 인식 모듈(11)과, 카메라(20)에서 촬영한 영상을 분석하여 특정 사물이 이동하는 속도를 인식한 결과에 기반하여 카메라(20)의 해상도는 프레임 레이트를 설정하는 사물 속도 인식 모듈(13)을 포함할 수 있다.For example, the
차속 인식 모듈(11)은 차량에 구비된 속도 센서(30)로부터 차량의 속도 정보를 제공받고 제공받은 속도 정보를 기반으로 카메라(20)의 영상 해상도 또는 프레임 레이트를 조정할 수 있다. The vehicle
예를 들어, 차속 인식 모듈(11)은 차량의 이동 속도가 사전 설정된 임계값 보다 느린 상태에서 임계값 보다 빠른 상태로 가속되면 프레임 레이트를 증가시키고, 임계값 보다 빠른 상태에서 임계값 보다 느린 상태로 감속되면 프레임 레이트를 감소시킬 수 있다. For example, the vehicle
유사하게 차속 인식 모듈(11)은 차량의 이동 속도가 사전 설정된 임계값 보다 느린 상태에서 임계값 보다 빠른 상태로 가속되면 카메라(20)의 영상 해상도를 증가시키고, 임계값 보다 빠른 상태에서 임계값 보다 느린 상태로 감속되면 해상도를 감소시킬 수 있다.Similarly, the vehicle
이는, 차량의 속도가 빠른 경우 짧은 시간 간격 동안 차량의 이동 거리가 증가하므로 더 많은 수의 프레임과 더 양호한 품질의 영상이 필요하기 때문이다.This is because, when the speed of the vehicle is high, the moving distance of the vehicle increases during a short time interval, so a larger number of frames and a better quality image are required.
사물 인식 모듈(12)은 카메라(20)에서 촬영된 영상을 분석하여 영상 내 존재하는 사물을 인식하고, 인식된 사물 중 자율 주행이나 차량 주행 안전에 크게 영향을 미치지 않는 영역이 존재하는 경우 해당 영역을 영상에서 잘라내기 할 수 있다. 예를 들어, 잘라낼 수 있는 인식 영역은 중앙 분리대가 있는 도로의 반대 차선, 가드레일 외부, 터널 내부의 천정 부분, 낙석 방지망 등이 될 수 있다.The
또한, 사물 인식 모듈(12)은 카메라(20)에서 촬영된 영상을 분석하여 영상 내 인식이 불가능한 영역이 존재하는 경우 카메라(20)의 영상 촬영 해상도를 증가시킬 수 있으며, 영상 내 인식 불가능한 영역이 존재하지 않는 경우 촬영 해상도를 감소시킬 수 있다.In addition, the
사물 속도 인식 모듈(13)은 자차가 아닌 주변의 타 차량이나 이동체 등의 이동 속도가 임계값 보다 크면 카메라(20)가 촬영하는 영상의 프레임 레이트 또는 해상도를 높일 수 있으며 그 반대의 경우 프레임 레이트 또는 해상도를 낮출 수 있다. 사물 속도 인식 모듈(13)은 차량에 설치된 레이더나 라이더(40)와 같이 차량 전후측방에 이동하는 타 차량의 속도를 인식할 수 있는 센서로부터 입력된 정보를 기반으로 카메라(20)가 촬영하는 영상의 프레임 레이트 또는 해상도를 조정할 수 있다.The object
도 1에서 처리된 영상은 컨트롤러(10)의 외부로 전송되는 것으로 도시되고 있으나, 이는 처리된 영상이 컨트롤러(10)의 외부로만 전송됨을 의미하는 것은 아니고 필요에 따라 컨트롤러(10)가 처리 영상을 내부적으로 처리하는데 적용할 수도 있다.1 , the processed image is shown to be transmitted to the outside of the
도 2 내지 도 5는 본 발명의 여러 실시형태에 따른 차량용 카메라의 영상 처리 방법을 도시한 흐름도이다.2 to 5 are flowcharts illustrating an image processing method of a vehicle camera according to various embodiments of the present invention.
도 2를 참조하면, 차량의 시동이 이루어지면 차량에 설치된 카메라(20)는 초기 설정 해상도 및 프레임 레이트로 영상을 촬영할 수 있다(S11).Referring to FIG. 2 , when the vehicle is started, the
이어, 차량의 주행이 이루어지고 차량의 차속이 사전 설정된 기준값(A) 이상인 상태가 되면(S12), 컨트롤러(10)의 차속 인식 모듈(11)은 카메라(20)로 촬영하는 영상의 해상도 또는 프레임 레이트를 증가시키도록 지시할 수 있다.Then, when the vehicle is driven and the vehicle speed is equal to or higher than the preset reference value A ( S12 ), the vehicle
한편, 차량이 기준값(A) 보다 더 큰 속도로 주행 중 차속이 기준값(A) 보다 낮은 상태로 감속되는 경우 컨트롤러(10)의 차속 인식 모듈(11)은 카메라(20)로 촬영하는 영상의 해상도 또는 프레임 레이트를 감소시키도록 지시할 수 있다(S14). 물론, 카메라(20)에서 촬영되는 영상의 해상도나 프레임 레이트를 증가시키지 않은 상태라면 그대로 해상도와 프레임 레이트를 유지할 수 있다(S14).On the other hand, when the vehicle is driving at a speed greater than the reference value (A) and the vehicle speed is decelerated to a state lower than the reference value (A), the vehicle
도 3을 참조하면, 차량의 시동이 이루어지면 차량에 설치된 카메라(20)는 초기 설정 해상도 및 프레임 레이트로 영상을 촬영할 수 있다(S21).Referring to FIG. 3 , when the vehicle is started, the
이어, 차량의 주행이 이루어지고 컨트롤러(10)의 사물 인식 모듈(12)을 카메라(20)에서 입력되는 영상으로부터 사물을 인식하는 영상 처리를 수행하던 중 영상 내 인식이 불가능한 영역이 존재하는 경우(S22)의 사물 인식 모듈(12)은 카메라(20)가 촬영하는 영상의 해상도를 증가시키도록 지시할 수 있다(S23).Then, when the vehicle is driven and there is an unrecognizable area in the image while the
한편, 사물 인식 모듈(12)이 해상도를 증가시킨 상태에서 영상내 인식이 불가능한 영역이 더 이상 존재하지 않는다면, 카메라(20)에서 촬영되는 영상의 해상도를 감소시킬 수 있다(S24). 물론, 카메라(20)에서 촬영되는 영상의 해상도를 증가시키지 않은 상태라면 이전의 해상도를 그대로 유지할 수 있다(S24).On the other hand, if the unrecognizable region in the image no longer exists in a state in which the
도 4를 참조하면, 차량의 시동이 이루어지면 차량에 설치된 카메라(20)는 초기 설정 해상도 및 프레임 레이트로 영상을 촬영할 수 있다(S31).Referring to FIG. 4 , when the vehicle is started, the
이어, 차량의 주행이 이루어지고 컨트롤러(10)의 사물 인식 모듈(12)을 카메라(20)에서 입력되는 영상으로부터 사물을 인식하는 영상 처리를 수행하던 중 영상 내 인식이 불필요한 물체가 존재하는 경우(S32)의 사물 인식 모듈(12)은 카메라(20)가 촬영한 영상에서 불필요한 물체가 인식된 영역을 잘라내어 영상의 사이즈를 감소시킬 수 있다 (S33).Then, when the vehicle is driven and the
한편, 사물 인식 모듈(12)이 특정 영역을 잘라낸 이 후 해상도를 증가시킨 상태에서 영상내 인식이 불가능한 영역이 더 이상 존재하지 않는다면, 카메라(20)에서 촬영되는 영상에서 잘라낸 영역을 복원하여 영상의 사이즈를 다시 원래의 사이즈로 증가시킬 수 있다(S34). 물론, 카메라(20)에서 촬영되는 영상에서 잘라낸 영역이 없는 경우라면 그 이전 영상을 그대로 유지할 수 있다(S34).On the other hand, if the unrecognizable area in the image no longer exists in a state where the resolution is increased after the
도 5를 참조하면, 차량의 시동이 이루어지면 차량에 설치된 카메라(20)는 초기 설정 해상도 및 프레임 레이트로 영상을 촬영할 수 있다(S41).Referring to FIG. 5 , when the vehicle is started, the
이어, 차량의 주행이 이루어지고 컨트롤러(10)의 사물 속도 인식 모듈(13)이 차량의 주변에 기준값(B) 이상의 속도로 이동하는 물체가 인식된 경우(S42), 사물 속도 인식 모듈(13)은 카메라(20)가 촬영하는 영상의 해상도 또는 프레임 레이트를 증가시키도록 지시할 수 있다(S43).Next, when the vehicle is driven and the object
한편, 사물 속도 인식 모듈(13)이 카메라(20)에서 촬영되는 영상의 해상도 또는 프레임 레이트를 증가시킨 이후 기준값(B) 이상의 속도를 갖는 이동 사물이 없는 경우에 카메라(20)로 촬영하는 영상의 해상도 또는 프레임 레이트를 감소시키도록 지시할 수 있다(S44). 물론, 카메라(20)에서 촬영되는 영상의 해상도나 프레임 레이트를 증가시키지 않은 상태라면 그대로 해상도와 프레임 레이트를 유지할 수 있다(S44).On the other hand, when there is no moving object having a speed greater than or equal to the reference value B after the object
본 발명의 여러 실시형태에서, 컨트롤러(10)는 차량의 속도, 차량 주변의 사물 인식 여부, 사물 이동 속도, 사물의 종류 등에 따라 다양하게 카메라(20)의 해상도 또는 프레임 레이트 설정을 조정하거나 카메라(20)에서 촬영된 영상의 잘라 내기를 수행할 수 있다. In various embodiments of the present invention, the
차속 인식 모듈(11)과 사물 속도 인식 모듈(13)의 카메라(20)의 프레임 레이트만 조정하는 실시예에서, 한 제어 주기 동안 차량의 속도가 기준값(A) 이상 증가하고, 사물 인식이 불가능한 경우가 발생하며, 인식이 불필요한 사물이 존재하는 경우, 해당 주기에서 컨트롤러(10)는 차량 속도 증가에 따라 영상의 프레임 레이트를 증가시키고 사물인식 불가에 따라 영상의 해상도를 증가시키며, 불필요한 사물이 존재하는 영역을 제거한 영상을 출력하게 할 수 있다.In the embodiment in which only the frame rates of the
여기에서, 제어 주기는 차량의 속도 및 주변 주행 환경에 따라 컨트롤러(10)가 적절히 변경할 수 있다.Here, the control cycle may be appropriately changed by the
이어, 다음 주기에서 차량의 속도는 유지되고, 주변 차량이 기준값(B) 이상의 속도로 이동하며, 인식이 불가능한 영역이 존재하지 않으며, 영상에서 인식이 불필요한 영역이 제거된 경우, 다음 주기에서 컨트롤러(10)는 기준값 이상 속도로 이동하는 차량이 존재하므로 영상이 프레임 레이트를 더욱 증가시키고 인식이 불가능한 영역이 존재하지 않으므로 영상의 해상도를 감소시킬 수 있으며 영상에서 제거되는 부분이 존재하지 않게 할 수 있다.Then, in the next cycle, if the vehicle speed is maintained, the surrounding vehicles move at a speed greater than or equal to the reference value (B), there is no unrecognizable area, and an unnecessary area for recognition is removed from the image, the controller ( 10), since there is a vehicle moving at a speed greater than or equal to the reference value, the frame rate of the image is further increased, and since there is no unrecognizable area, the resolution of the image can be reduced, and the part to be removed from the image can be eliminated.
해상도나 프레임 레이트의 증가량 및 감소량은 카메라(20)의 제원에 따라 적절하게 사전에 설정될 수 있으며, 최대 또는 최소 해상도나 프레임 레이트에 이른 상태에서는 더 이상 해상도나 프레임 레이트를 증가시키거나 감소시킬 수 없게 제어할 수 있다.The amount of increase or decrease of the resolution or frame rate can be appropriately preset according to the specifications of the
이상에서 설명한 바와 같이, 본 발명의 여러 실시형태에 따른 차량용 카메라의 영상 처리 장치 및 방법은 차량의 주행 상태나 주행 환경에 따라 카메라가 촬영하는 영상의 해상도나 프레임 레이트를 적응적으로 조정함으로써 항상 최대 해상도나 최대 프레임 레이트로 촬영된 영상을 처리하는데 소요되는 데이터 처리 부담 및 전력 소모를 절감하면서도 카메라에서 촬영된 영상을 기반으로 한 안전한 차량 주행 제어가 가능하게 된다.As described above, the apparatus and method for processing an image of a vehicle camera according to various embodiments of the present invention is always maximized by adaptively adjusting the resolution or frame rate of the image captured by the camera according to the driving state or driving environment of the vehicle. While reducing the data processing burden and power consumption required to process images captured at the resolution or maximum frame rate, safe vehicle driving control based on images captured by the camera becomes possible.
이상에서 본 발명의 특정한 실시형태에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상을 벗어나지 않는 한도 내에서, 본 발명이 다양하게 개량 및 변화될 수 있다는 것은 당 기술분야에서 통상의 지식을 가진 자에게 있어서 자명할 것이다.Although shown and described in relation to specific embodiments of the present invention in the above, it is understood that the present invention can be variously improved and changed without departing from the technical spirit of the present invention provided by the following claims. It will be apparent to those of ordinary skill in the art.
10: 컨트롤러
11: 차속 인식 모듈
12: 사물 인식 모듈
13: 사물 속도 인식 모듈
20: 카메라
30: 속도 센서
40: 레이더/라이다10: controller 11: vehicle speed recognition module
12: object recognition module 13: object speed recognition module
20: camera 30: speed sensor
40: Radar/Lidar
Claims (16)
상기 차량의 속도 또는 상기 카메라에서 촬영된 영상 내 사물의 인식 여부 또는 상기 카메라에서 촬영된 영상 내 사물의 종류 또는 상기 차량의 주변 사물의 속도에 기반하여 상기 카메라의 해상도 또는 프레임 레이트를 조정하는 컨트롤러;
를 포함하는 차량용 카메라의 영상 처리 장치.A camera capable of adjusting the resolution and frame rate of images taken while photographing the surroundings of the vehicle;
a controller for adjusting the resolution or frame rate of the camera based on the speed of the vehicle or whether objects in the image captured by the camera are recognized, the type of object in the image captured by the camera, or the speed of objects around the vehicle;
An image processing device for a vehicle camera comprising a.
상기 컨트롤러는, 상기 차량의 속도가 사전 설정된 기준값 보다 증가하면 상기 카메라의 해상도 또는 프레임 레이트를 증가시키고, 상기 차량의 속도가 사전 설정된 기준값 보다 감소하면 상기 카메라의 해상도 또는 프레임 레이트를 감소시키는 차속 인식 모듈을 포함하는 것을 특징으로 하는 차량용 카메라의 영상 처리 장치.The method according to claim 1,
The controller is configured to increase a resolution or frame rate of the camera when the speed of the vehicle increases than a preset reference value, and decrease the resolution or frame rate of the camera when the speed of the vehicle decreases than a preset reference value. An image processing apparatus for a vehicle camera comprising a.
상기 컨트롤러는, 상기 카메라가 촬영한 영상에서 인식이 불가능한 영역이 존재하면 상기 카메라의 해상도를 증가시키고, 상기 카메라가 촬영한 영상에서 인식이 불가능한 영역이 존재하지 않는 경우 상기 카메라의 해상도를 감소시키는 사물 인식 모듈을 포함하는 것을 특징으로 하는 차량용 카메라의 영상 처리 장치.The method according to claim 1,
The controller increases the resolution of the camera when there is an unrecognizable area in the image photographed by the camera, and decreases the resolution of the camera when there is no unrecognizable area in the image photographed by the camera An image processing apparatus for a vehicle camera, characterized in that it includes a recognition module.
상기 컨트롤러는, 상기 카메라가 촬영한 영상에서 사전 설정된 인식 불필요 사물이 존재하는 경우 상기 인식 불필요 사물이 존재하는 영역을 제거하는 사물 인식 모듈을 포함하는 것을 특징으로 하는 차량용 카메라의 영상 처리 장치.The method according to claim 1,
and the controller includes an object recognition module configured to remove a region in which the recognition unnecessary object exists when a preset object to be recognized exists in the image captured by the camera.
상기 컨트롤러는, 상기 차량의 주변 사물의 이동 속도가 사전 설정된 기준값 보다 증가하면 상기 카메라의 해상도 또는 프레임 레이트를 증가시키고, 상기 차량의 주변 사물의 이동 속도가 사전 설정된 기준값 보다 감소하면 상기 카메라의 해상도 또는 프레임 레이트를 감소시키는 차속 인식 모듈을 포함하는 것을 특징으로 하는 차량용 카메라의 영상 처리 장치.The method according to claim 1,
The controller increases the resolution or frame rate of the camera when the moving speed of objects around the vehicle increases than a preset reference value, and increases the resolution or frame rate of the camera when the moving speed of objects around the vehicle decreases than the preset reference value. An image processing apparatus for a vehicle camera, comprising a vehicle speed recognition module for reducing a frame rate.
상기 컨트롤러는, 사전 설정된 제어 주기 마다 상기 차량의 속도 또는 상기 카메라에서 촬영된 영상 내 사물의 인식 여부 또는 상기 카메라에서 촬영된 영상 내 사물의 종류 또는 상기 차량의 주변 사물의 속도를 기반으로 상기 카메라의 해상도 또는 프레임 레이트의 증감 여부 또는 상기 카메라에서 촬영된 영상의 특정 영역 제거 여부를 결정하는 것을 특징으로 하는 영상 처리 장치.The method according to claim 1,
The controller determines whether the speed of the vehicle or an object in the image captured by the camera is recognized at every preset control cycle, the type of object in the image captured by the camera, or the speed of objects around the vehicle based on the speed of the camera. An image processing apparatus, characterized in that it determines whether to increase or decrease a resolution or a frame rate, or whether to remove a specific region of an image captured by the camera.
상기 컨트롤러는, 상기 차량의 속도 또는 상기 차량의 주행 환경에 따라 상기 제어 주기를 변경하는 것을 특징으로 하는 영상 처리 장치.7. The method of claim 6,
The controller is configured to change the control period according to a speed of the vehicle or a driving environment of the vehicle.
상기 해상도 또는 프레임 레이트의 증감량은 사전 설정된 것을 특징으로 하는 영상 처리 장치.7. The method of claim 6,
The image processing apparatus, characterized in that the amount of increase or decrease of the resolution or frame rate is preset.
상기 컨트롤러에서, 입력 받은 차량의 속도 또는 상기 차량의 주변 사물의 이동 속도, 상기 카메라에서 촬영된 영상 내 사물의 인식 여부 또는 상기 카메라에서 촬영된 영상 내 사물의 종류 중 적어도 일부에 기반하여 상기 카메라의 해상도 또는 프레임 레이트를 조정하는 단계;
를 포함하는 차량용 카메라의 영상 처리 방법.receiving, in a controller, at least a portion of images captured around the vehicle by a camera capable of adjusting the speed of the vehicle, the moving speed of objects around the vehicle, and the resolution and frame rate of the image;
In the controller, based on at least a part of the input speed of the vehicle or the moving speed of objects around the vehicle, whether an object in the image captured by the camera is recognized, or the type of object in the image captured by the camera adjusting the resolution or frame rate;
An image processing method of a vehicle camera comprising a.
상기 조정하는 단계에서, 상기 컨트롤러가 상기 차량의 속도가 사전 설정된 기준값 보다 증가하면 상기 카메라의 해상도 또는 프레임 레이트를 증가시키고, 상기 차량의 속도가 사전 설정된 기준값 보다 감소하면 상기 카메라의 해상도 또는 프레임 레이트를 감소시키는 것을 특징으로 하는 차량용 카메라의 영상 처리 방법.10. The method of claim 9,
In the adjusting step, the controller increases the resolution or frame rate of the camera when the speed of the vehicle increases than the preset reference value, and adjusts the resolution or frame rate of the camera when the speed of the vehicle decreases than the preset reference value Image processing method of a vehicle camera, characterized in that reducing.
상기 조정하는 단계에서, 상기 컨트롤러는, 상기 카메라가 촬영한 영상에서 인식이 불가능한 영역이 존재하면 상기 카메라의 해상도를 증가시키고, 상기 카메라가 촬영한 영상에서 인식이 불가능한 영역이 존재하지 않는 경우 상기 카메라의 해상도를 감소시키는 것을 특징으로 하는 차량용 카메라의 영상 처리 방법.10. The method of claim 9,
In the adjusting step, the controller increases the resolution of the camera when there is an unrecognizable area in the image captured by the camera, and increases the resolution of the camera when there is no unrecognizable area in the image captured by the camera An image processing method of a vehicle camera, characterized in that the resolution is reduced.
상기 조정하는 단계에서, 상기 컨트롤러는, 상기 카메라가 촬영한 영상에서 사전 설정된 인식 불필요 사물이 존재하는 경우 상기 인식 불필요 사물이 존재하는 영역을 제거하는 것을 특징으로 하는 차량용 카메라의 영상 처리 방법.10. The method of claim 9,
In the adjusting, the controller removes a region in which the unrecognized object exists when a preset unrecognized object exists in the image captured by the camera.
상기 조정하는 단계에서, 상기 컨트롤러는, 상기 차량의 주변 사물의 이동 속도가 사전 설정된 기준값 보다 증가하면 상기 카메라의 해상도 또는 프레임 레이트를 증가시키고, 상기 차량의 주변 사물의 이동 속도가 사전 설정된 기준값 보다 감소하면 상기 카메라의 해상도 또는 프레임 레이트를 감소시키는 것을 특징으로 하는 차량용 카메라의 영상 처리 방법.10. The method of claim 9,
In the adjusting step, the controller increases the resolution or frame rate of the camera when the moving speed of the surrounding object of the vehicle increases than the preset reference value, and the moving speed of the surrounding object of the vehicle decreases than the preset reference value When the image processing method of the vehicle camera, characterized in that reducing the resolution or frame rate of the camera.
상기 컨트롤러는 상기 입력 받는 단계 및 상기 조정하는 단계를 사전 설정된 제어 주기 마다 수행하고,
일 제어 주기의 상기 조정하는 단계에서, 상기 컨트롤러는, 상기 차량의 속도 또는 상기 카메라에서 촬영된 영상 내 사물의 인식 여부 또는 상기 카메라에서 촬영된 영상 내 사물의 종류 또는 상기 차량의 주변 사물의 속도를 기반으로 상기 카메라의 해상도 또는 프레임 레이트의 증감 여부 또는 상기 카메라에서 촬영된 영상의 특정 영역 제거 여부를 결정하는 것을 특징으로 하는 영상 처리 방법.10. The method of claim 9,
The controller performs the step of receiving the input and the step of adjusting at each preset control cycle,
In the adjusting of one control period, the controller determines whether the speed of the vehicle or whether an object in the image captured by the camera is recognized, the type of object in the image photographed by the camera, or the speed of an object around the vehicle An image processing method, characterized in that it is determined whether to increase or decrease the resolution or frame rate of the camera or whether to remove a specific region of the image captured by the camera based on the image processing method.
상기 해상도 또는 프레임 레이트의 증감량은 사전 설정된 것을 특징으로 하는 영상 처리 방법.15. The method of claim 14,
The image processing method, characterized in that the amount of increase or decrease of the resolution or frame rate is preset.
상기 컨트롤러는, 상기 차량의 속도 또는 상기 차량의 주행 환경에 따라 상기 제어 주기를 변경하는 것을 특징으로 하는 영상 처리 장치.
15. The method of claim 14,
The controller is configured to change the control period according to a speed of the vehicle or a driving environment of the vehicle.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200122200A KR20220039268A (en) | 2020-09-22 | 2020-09-22 | Image processing apparatus and method for vehicle camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200122200A KR20220039268A (en) | 2020-09-22 | 2020-09-22 | Image processing apparatus and method for vehicle camera |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20220039268A true KR20220039268A (en) | 2022-03-29 |
Family
ID=80995831
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200122200A KR20220039268A (en) | 2020-09-22 | 2020-09-22 | Image processing apparatus and method for vehicle camera |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20220039268A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115065781A (en) * | 2022-04-28 | 2022-09-16 | 深圳绿米联创科技有限公司 | Shooting processing method, device, equipment and computer readable storage medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150025714A (en) | 2013-08-30 | 2015-03-11 | 현대모비스 주식회사 | Image recognition apparatus and method thereof |
KR20200064295A (en) | 2018-11-29 | 2020-06-08 | 현대자동차주식회사 | Vehicle image management device, vehicle including thereof and controlling method |
-
2020
- 2020-09-22 KR KR1020200122200A patent/KR20220039268A/en active Search and Examination
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150025714A (en) | 2013-08-30 | 2015-03-11 | 현대모비스 주식회사 | Image recognition apparatus and method thereof |
KR20200064295A (en) | 2018-11-29 | 2020-06-08 | 현대자동차주식회사 | Vehicle image management device, vehicle including thereof and controlling method |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115065781A (en) * | 2022-04-28 | 2022-09-16 | 深圳绿米联创科技有限公司 | Shooting processing method, device, equipment and computer readable storage medium |
CN115065781B (en) * | 2022-04-28 | 2024-04-19 | 深圳绿米联创科技有限公司 | Shooting processing method, device, equipment and computer readable storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100426174B1 (en) | Method for controlling a camera using video compression algorithm | |
CN109889721B (en) | Camera automatic focusing control method and device | |
JP4218670B2 (en) | Front shooting device | |
KR101633445B1 (en) | Method and control unit for controlling exposure of a camera | |
CN109660726B (en) | Quick automatic focusing method and device for camera | |
EP2873314B1 (en) | Control system for an autonomous garden tool, method and apparatus | |
EP3203725B1 (en) | Vehicle-mounted image recognition device | |
US10230900B2 (en) | Apparatus for controlling exposure of multi-view camera, system including the same, and method for controlling exposure of multi-view camera | |
CN104301601A (en) | Coarse tuning and fine tuning combined infrared image automatic focusing method | |
CN101404725A (en) | Camera, camera set, its control method, apparatus and system | |
CN103856717A (en) | Camera focusing control method and device | |
KR20220039268A (en) | Image processing apparatus and method for vehicle camera | |
CN109565549B (en) | Method and device for operating interior camera | |
JP2020145724A (en) | Apparatus and method for detecting eye position of operator, imaging apparatus with image sensor of rolling shutter driving method, and illumination control method of same | |
EP3396645B1 (en) | Control apparatus, control method, and program | |
CN110769148A (en) | Camera automatic control method and device based on face recognition | |
WO2020021374A3 (en) | Image capture device and method for image score-based video quality enhancement | |
JP2005173787A (en) | Image processor detecting/recognizing moving body | |
JP2011170750A (en) | White line recognition device | |
WO2021105985A1 (en) | Methods for detecting phantom projection attacks against computer vision algorithms | |
JP4293236B2 (en) | Imaging apparatus and imaging method | |
JPH07115579A (en) | Automatic focus adjustment device | |
EP3415405A3 (en) | Mobile warning triangle and related obstacle avoidance method | |
JP2010156851A (en) | Focus adjustment device and method | |
KR102441924B1 (en) | Camera Monitor System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination |