KR20170074128A - 차량용 감시 장치 및 차량용 이동 객체 감지 방법 - Google Patents

Abstract

상기 과제를 해결하기 위한 본 발명의 실시예에 따른 차량용 감시 장치는 차량에 탑재되어 상기 차량의 내부 또는 외부의 영상을 촬영하는 카메라; 상기 촬영된 영상을 분석하여 상기 차량의 주변 환경이 주간인지 또는 야간인지를 판단하는 주야간 판단부; 상기 차량의 주변 환경이 주간인지 야간인지에 따른 촬영 모드로 이동 객체를 감지하는 이동 객체 감지부; 및 상기 촬영된 영상을 분석하기 전에 자동 영상 제어기의 기능을 비활성화하고 상기 이동 객체의 감지 후에 상기 자동 영상 제어기의 기능을 활성화하는 시스템 제어부를 포함한다.

Description

차량용 감시 장치 및 차량용 이동 객체 감지 방법{The Appratus For Vehicle Surveillance And The Method For Vehicle Moving Object Detecting}

본 발명은 차량용 감시 장치 및 차량용 이동 객체 감지 방법에 관한 것으로써, 보다 상세하게는 별도의 조도 센서의 설치 없이 카메라의 영상만을 분석하여 주야간을 용이하게 판단함으로써 이동 객체 감지 기능의 신뢰도를 확보할 수 있는 장치 및 방법에 관한 것이다.

일반적으로 감시용 카메라는 방범, 사각지대 개선, 위험요소 감시 등을 위해 실내외를 촬영하며 영상을 획득한다. 이러한 감시용 카메라는 수요가 점차 증가하면서 지금까지도 널리 사용되며, 이에 따라 관련된 기술 개발도 활발히 이루어지고 있다. 이러한 감시용 카메라에, 움직이는 물체를 자동으로 감지하는 이동 객체 감지(Moving Object Detecting, MOD) 기능이 탑재되기도 하였다. 최근에는 이러한 이동 객체 감지(MOD) 기능을 활용하여, 버스의 승차 또는 하차 출입문에 카메라를 장착하여 승객의 움직임을 감지하는 시스템이 상용되고 있다.

한편, 일반적인 감시용 카메라는 주간에 야외를 촬영하면 카메라로 유입되는 광량이 증가하며, 야간에 야외를 촬영하면 카메라로 유입되는 광량이 감소한다. 그러나 주야간 상태가 변화하더라도 이를 무시하고 그대로 사용되어, 주간과 야간의 경우에 디스플레이 되는 영상의 밝기에서 큰 차이를 보였다. 특히, 야간에 카메라로 유입되는 광량이 급격히 감소하는 경우에는 사물 식별이 곤란하고, 움직임의 검출 성능이 저하되어 이동 객체 감지(MOD) 기능이 제대로 발휘되지 않았다. 이러한 문제 때문에, 최근에는 야간에 버스의 승객이 완전히 승하차를 하지 않았는데도, 카메라는 승객이 완전히 승하차를 한 것으로 오인식을 하여 승객의 옷이 출입문에 끼인 상태로 버스 운전 기사가 버스를 출발하는 사건이 발생하기도 하였다.

이를 개선하기 위해 자동 노출 제어(AEC) 기능과 자동 이득 제어(AGC) 기능과 같은 자동 영상 제어 기능이 탑재됨으로써, 카메라로 입력된 영상의 밝기 또는 신호의 크기를 자동으로 조절할 수 있게 되었다. 그러나 상기의 기능들은 시스템의 내부에서 조절하는 것이므로 영상을 보정하는데 한계가 있었다. 또한 주야간 여부를 판단하기 위해서 카메라에 조도 센서를 추가로 설치할 수도 있으나, 기존에 이미 카메라만을 설치한 차량에 조도 센서를 추가로 설치하는 것이 용이하지 않으며, 특히 무수히 많은 차량에 각각 조도 센서를 추가로 설치하면 비용, 시간 및 노력도 과도하게 드는 문제가 있었다.

한국특허등록 제 1508290 호 한국공개공보 제 2005-0032357 호

본 발명이 해결하고자 하는 과제는, 차량에 설치된 카메라를 통해 영상을 촬영하고, 촬영된 영상을 분석함으로써 주야간 판단을 용이하게 하는 장치 및 방법을 제공하는 것이다.

또한, 주야간 판단을 용이하게 함으로써 이동 객체 감지(MOD) 기능의 신뢰도를 확보할 수 있는 장치 및 방법을 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 해결하기 위한 본 발명의 실시예에 따른 차량용 감시 장치는 차량에 탑재되어 상기 차량의 내부 또는 외부의 영상을 촬영하는 카메라; 상기 촬영된 영상을 분석하여 상기 차량의 주변 환경이 주간인지 또는 야간인지를 판단하는 주야간 판단부; 상기 차량의 주변 환경이 주간인지 야간인지에 따른 촬영 모드로 이동 객체를 감지하는 이동 객체 감지부; 및 상기 촬영된 영상을 분석하기 전에 자동 영상 제어기의 기능을 비활성화하고 상기 이동 객체의 감지 후에 상기 자동 영상 제어기의 기능을 활성화하는 시스템 제어부를 포함한다.

상기 과제를 해결하기 위한 본 발명의 실시예에 따른 차량용 이동 객체 감지 방법은 자동 영상 제어 기능을 비활성화 하는 단계; 카메라로부터 촬영된 영상의 밝기를 분석하는 단계; 상기 분석된 영상의 밝기를 토대로, 제1 내지 제n 프레임마다 제1 내지 제n 평균 밝기값을 각각 계산하는 단계; 상기 제1 내지 제n 평균 밝기값들을 토대로, 전체 평균값을 계산하는 단계; 상기 전체 평균값과 임계값을 비교하여 주야간을 판단하는 단계; 야간으로 판단된 경우, 야간 촬영 모드가 불가능하다면 이동 객체 감지(MOD) 기능을 정지하고, 야간 촬영 모드가 가능하다면 야간 촬영 모드로 진입하여 이동 객체 감지(MOD) 기능을 실행하는 단계; 및 자동 영상 제어 기능을 다시 활성화하는 단계를 포함한다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.

별도의 조도 센서의 설치 없이, 카메라를 통해 촬영된 영상만을 분석하여 주야간 판단이 용이하며, 야간으로 판단된 경우에는 이동 객체 감지(MOD) 기능을 수행하지 않음으로써 시스템의 신뢰도를 확보할 수 있다.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 차량용 감시 장치(1)의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 주야간 판단부(22)를 더 자세히 나타낸 블록도이다.
도 3는 본 발명의 일 실시예에 따른 차량용 이동 객체 감지 방법을 나타낸 흐름도이다.
도 4은 본 발명의 일 실시예에 따른 차량용 이동 객체 감지 방법을 수행하기 위한 프레임의 평균값 계산 방법을 나타낸 개략도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 차량용 감시 장치(1)의 블록도이다.

도 1에 도시된 바와 같이, 차량용 감시 장치(1)는 차량의 외부를 촬영하는 카메라(10), 차량의 주변 환경의 주야간 여부를 판단하고 이동 객체를 감지하는 이동 객체 감지 장치(20), 카메라(10)로부터 촬영된 영상을 디스플레이 하는 디스플레이 장치(30)를 포함한다.

카메라(10)는 차량에 설치되어 차량의 외부를 촬영한다. 카메라(10)로부터 촬영된 영상은 차량 내부에 설치된 디스플레이 장치(30)를 통해 디스플레이 된다. 운전자는 상기 디스플레이 되는 영상을 통해 시야를 확보하여 영상이 촬영되는 위치의 상황을 용이하게 파악하고 안전성을 확보할 수 있다. 특히, 상기 차량이 버스라면 카메라(10)는 버스의 승하차 도어를 향해 촬영할 수 있도록 설치될 수 있고, 버스 운전 기사는 카메라(10)로부터 촬영되어 디스플레이 되는 영상을 통해 승객의 완전한 승하차 여부를 확인할 수 있다. 카메라(10)는 일반적으로 CCD(Charge Coupled Device)나 CIS(CMOS Image Sensor) 등의 촬상 소자를 이용한다. 본 발명의 일 실시예에 따른 카메라(10)는 매초 15~30프레임의 2차원 화상을 촬영하여 디지털 변환함으로써 동영상 데이터를 출력하는 디지털카메라인 것이 바람직하나, 이에 제한되지 않는다. 카메라(10)가 디지털카메라가 아니라면 촬영한 영상은 RGB 아날로그 영상 신호이므로 ADC컨버터가 별도로 구비되어야 하나, 본 발명의 일 실시예에 따른 카메라(10)가 디지털카메라라면 ADC컨버터가 필요하지 않다.

자동 노출 제어(AEC)이란 필름 또는 촬상 소자가 빛에 노출되는 정도를 카메라(10)가 판단하여 자동으로 조절하는 것을 의미한다. 노출은 셔터 스피드를 비롯한 기타 요소들에 따라서 조절된다. 자동 노출 제어부(251)는 노출 정도를 판단하여 촬영된 영상의 밝기가 의도한 바를 충족하지 못하는 경우, 원하는 밝기가 일정하게 구현되도록 상기 셔터 스피드를 자동으로 조절시킨다. 그리고 자동 이득 제어(AGC)은 입력된 신호를 필요한 만큼 증폭하거나 경감하여 항상 일정한 출력 레벨을 유지하도록 이득을 자동으로 조절하는 것을 의미한다. 카메라(10)로부터 촬영된 영상이 일정한 밝기 및 일정한 크기의 출력을 유지하기 위해, 시스템 제어부(23)의 제어 신호에 따라 자동 노출 제어부(251) 및 자동 이득 제어부(252) 등의 카메라 제어부(25)가 카메라(10)를 조절함으로써 영상의 자동 노출 제어(AEC) 및 자동 이득 제어(AGC) 등의 자동 영상 제어 기능을 한다. 카메라 제어부(25)는 카메라(10)에 내장 설치되어 카메라(10)로부터 촬영된 영상이 입력되면 곧바로 노출 시간 및 이득 등을 조절할 수 있으나, 본 발명의 일 실시예에 따르면 도 1에 도시된 바와 같이 이동 객체 감지 장치(20)에 포함될 수도 있다. 이는 설명을 하기 위한 예시적인 것에 불과하며, 제한되지 않고 카메라(10)의 외부에 별도로 설치되거나 다양하게 설치될 수 있다. 이러한 카메라 제어부(25)는 이동 객체 감지 장치(20)가 주야간 여부 판단 모드로 진입하게 되면 자동 영상 제어 기능을 정지하고, 주야간 판단이 완료되면 다시 자동 영상 제어 기능을 수행한다. 이에 대한 자세한 내용은 후술한다.

본 발명의 일 실시예에 따른 이동 객체 감지 장치(20)는 도 1에 도시된 바와 같이, 입력 영상 처리부(21), 주야간 판단부(22), 시스템 제어부(23), 이동 객체 감지부(24), 카메라 제어부(25)를 포함한다. 입력 영상 처리부(21)은 상기 압축 영상을 디코딩하는 디코더(미도시)를 포함할 수 있다. 디코더(미도시)는 카메라(10)로부터 인코딩된 압축 영상을 전송받아 디코딩하여 복원 영상을 생성한다. 상기 인코딩된 영상을 디코딩하기 위한 코덱 또한 상기 기술한 인코딩에서와 마찬가지로 다양한 종류가 사용될 수 있으나, 인코딩에 사용된 코덱과 동일한 종류이어야 동일한 표준에 의한 것이므로 정확히 영상이 복원된다.

입력 영상 처리부(21)는 대기하는 영상의 프레임 데이터를 임시로 저장하는 버퍼 메모리(미도시), 영상의 렌더링(Rendering) 작업을 수행하는 그래픽 렌더러(미도시), 복합 영상을 생성하기 위해 복수의 영상의 오버레이를 수행하는 슈퍼 임포저(미도시)를 더 포함할 수 있다. 버퍼 메모리(미도시), 그래픽 렌더러(미도시) 또는 슈퍼 임포저(미도시)는, 상기 시스템 제어부(23)가 명령을 함으로써 조절된다. 다만, 이에 제한되지 않고, 영상의 인코딩 및 디코딩의 과정이나 기타 영상 처리가 필요하지 않은 경우에는, 입력 영상 처리부(21)는 상기 기술한 디코더(미도시), 버퍼 메모리(미도시), 그래픽 렌더러(미도시) 또는 슈퍼 임포저(미도시) 중에 일부를 포함하지 않을 수 있다. 즉, 카메라(10)로부터 촬영된 영상의 처리 방법에 따라, 입력 영상 처리부(21)는 다양하게 구성될 수 있다.

시스템 제어부(23)는 차량에 탑재된 각종 센서의 입력을 수신하고, 차량의 구동을 전체적으로 제어한다. 본 발명의 일 실시예에 따른 시스템 제어부(23)로는 CPU(Central Processing Unit), MCU(Micro Controller Unit) 또는 DSP(Digital Signal Processor) 등을 사용하는 것이 바람직하나, 이에 제한되지 않고 다양한 논리 연산 프로세서가 사용될 수 있다. 카메라(10)로부터 입력 영상 처리부(21)로 상기 압축 영상이 입력되어, 디코딩의 과정을 거친다. 이 때, 시스템 제어부(23)에는 상기 압축 영상이 입력 영상 처리부(21)로 입력된다는 신호가 인가된다. 본 발명의 일 실시예에 따른 시스템 제어부(23)는 상기 신호가 인가되면, 입력 영상 처리부(21)에서 영상의 디코딩 및 디코딩된 영상을 처리하여 해상도(Resolution), 프레임율(Frame-Rate) 또는 화질(Bit-Depth)을 변경하는 영상 처리 과정의 전반적인 제어를 수행한다.

상기의 기능 외에도 시스템 제어부(23)는 각종 설정된 내용들을 구현하거나 내부의 신호들을 제어한다. 상기 설정된 내용은 사용자가 자신에게 적합하도록 인터페이스를 설정한 내용뿐만 아니라 자체 소프트웨어의 업데이트 등의 내용을 포함한다. 그리고 상기 인터페이스의 설정 내용은 화면의 줌, 해상도, 밝기, 색도, 채도를 포함하고, 회전, 흑백, 스타일, 뷰 모드 등 사용자가 원하는 영상이 출력될 수 있도록 설정할 수 있는 모든 내용들을 포함한다. 따라서, 사용자가 원하면 화면의 줌 인 및 줌 아웃을 하여 화면의 확대 및 축소가 가능하고, 화면의 밝기 또한 조절할 수 있다. 또한, 카메라(10)가 촬영한 영상 중에서 디스플레이 되지 않는 부분을 볼 수 있도록 뷰 모드를 조정할 수 있고, 카메라(10)를 회전 및 이동시켜 사용자가 원하는 부분을 촬영하도록 할 수 있다.

이동 객체 감지부(24)는 차량 주변의 움직이는 물체를 자동으로 감지하여 운전자에게 알려준다. 이러한 이동 객체 감지부(24)는 일반적으로 야간이 되면 성능이 저하되며, 이를 보정하기 위해 센서의 민감도를 증가시키면 영상에 입력되는 노이즈가 함께 증가한다. 따라서, 주야간 판단부(22)에서 야간이라고 판단하면 이동 객체 감지부(24)는 작동을 하지 않는다. 이에 대한 자세한 내용은 후술한다.

이동 객체 감지 장치(20)은 저장부(미도시)를 더 포함할 수 있다. 저장부(미도시)는 밝기 판단의 기준이 되는 임계값을 저장하거나, 상기 각종 설정된 최종 내용들을 저장한다. 저장부(미도시)는 부피가 크지 않은 비휘발성 메모리인 플래시 메모리를 사용하는 것이 바람직하나, 이에 제한되지 않고 다양한 메모리 장치가 사용될 수 있다.

일반적으로 차량에 조도센서가 탑재된 경우라면, 조도센서의 신호를 감지하여 주야간을 판단할 수 있다. 그러나 이미 차량에 카메라(10) 만이 설치된 경우에는, 특히 차량이 한 대가 아닌 수 많은 차량의 경우에는 조도센서의 추가 설치를 위해서는 많은 시간과 노력, 비용이 소모된다. 따라서 본 발명의 일 실시예에 따른 주야간 판단부(22)는 카메라(10)로부터 촬영된 영상을 통해 외부의 주야간을 판단할 수 있다. 주야간을 판단하는 자세한 방법은 후술한다.

디스플레이 장치(30)는 패널을 통해 시스템 제어부(23)의 제어에 따라, 디코딩 및 영상 처리되어 복원된 영상을 시각적으로 디스플레이 함으로써 사용자가 감시할 수 있도록 한다. 디스플레이 장치(30)에 포함된 패널은 LCD, LED, OLED 등 다양한 방식이 사용될 수 있으며, 나아가 터치가 가능한 터치패널의 기능을 가질 수도 있다.

차량용 감시 장치(1)은 네트워크 통신(40)을 통해 차량에 탑재된 센서 및 시스템과 연결될 수 있다. 상기 차량의 센서 및 시스템은 액셀레이터 센서(41), 브레이크 시스템(42), 휠 스피드 센서(43), 조도 센서(44), 램프 조절 시스템(45) 등을 포함한다.

액셀레이터 센서(41)는 엔진의 RPM을 조절하도록 액셀레이터 페달이 받는 압력을 측정하는 센서이며, 휠 스피드 센서(43)는 차량의 바퀴의 회전량 또는 단위시간 당 회전수를 검출하는 센서로써 홀(Hall) 소자 등을 사용하여 구성된다. 브레이크 센서(422)는 브레이크 페달의 조작량을 검출하는 센서이다. 브레이크 센서(422)는 브레이크 시스템(42)을 통해 네트워크 통신(40)에 접속된다. 변속 레버 스위치(46)는 변속 레버의 위치를 검출하는 센서 또는 스위치이며, 변위 센서 등을 이용하여 구성된다.

파워 스티어링 시스템(44)은 토크 센서(Torque Sensor)(442)를 이용해 현재 스티어링 휠에 작용하는 토크를 측정하고, 스티어링 구동부(441)를 통해 스티어링 휠에 어시스트 토크(Assist Torque)를 부가하여 사용자의 편의를 제공하는 전동 파워 스티어링(Electric Power Steering, EPS) 시스템일 수 있다.

브레이크 시스템(42)은 구동부(421)를 이용하여 제동력을 증강시키는 브레이크 어시스트(Brake Assist), 브레이크의 락을 억제하는 ABS(Anti lock Braking System) 등을 가진 전동 브레이크 시스템이다. 램프 조절 시스템(45)은 상기 조도 센서(44) 또는 사용자의 제어 입력에 따라 차량의 램프 발광량을 조절하는 시스템이다. 외부 시스템(47)은 차량의 생산, 점검 및 정비 시에 사용되는 검사 시스템이나 조정 시스템을 외부에서 접속 커넥터 등을 통해 접속하는 옵션 시스템으로, 차량에 항상 탑재되는 것이 아니라 탈착이 가능하다.

상기 기술한 센서 및 시스템은 예시적인 것이며, 그 연결 형태 또한 예시적인 것이다. 따라서 이에 제한되지 않고 다양한 구성 또는 연결 형태로 형성될 수 있다.

본 발명의 일 실시예에 따르면, 상기 네트워크 통신(40)의 연결 방식은 최근에 주로 사용되는 캔통신(Controller Area Network: CAN)을 사용하는 것이 바람직하나, 이에 제한되지 않고 린통신(Local Interconnect Network: LIN) 등 다양한 네트워크 방식을 사용할 수 있다.

도 2는 본 발명의 일 실시예에 따른 주야간 판단부(22)를 더 자세히 나타낸 블록도이다.

본 발명의 일 실시예에 따른 주야간 판단부(22)는 도 2에 도시된 바와 같이, 영상 밝기 분석부(221), 공간 대표값 연산부(222), 대표값 저장부(223), 시간 대표값 연산부(224), 비교부(225)를 포함한다.

디코더(미도시)를 통해 출력된 상기 복원 영상은 영상 밝기 분석부(221)를 통해 각 프레임 마다 픽셀의 밝기값이 분석된다. 픽셀의 밝기값이란, 각 픽셀이 가지고 있는 고유의 밝기를 말한다. 즉, 임의의 픽셀은 RGB를 이용해 색상 및 밝기가 구현되고, R, G, B는 각각 0 내지 255 중 임의의 수를 가진다. 여기서 0 내지 255가 픽셀의 밝기값을 말하며, 0에 가까울수록 픽셀은 어두워지고 255에 가까울수록 픽셀은 밝아진다. R, G, B 삼원색은 각각 0 내지 255 중 임의의 수를 가짐으로써 하나의 픽셀에는 8비트씩 총 24비트가 할당된다. 이러한 R, G, B가 가지는 각각의 밝기가 조화를 이룸으로써 픽셀의 밝기값이 형성된다.

영상의 픽셀의 밝기값을 측정한 후에는, 공간 대표값 연산부(222)에서 각 영상의 프레임마다 상기 픽셀의 밝기값을 평균 계산한다. 자세한 내용은 후술하나, 상기 공간 대표값 연산부(222)를 통하여 제1 프레임 내지 제n 프레임마다 각각의 평균 밝기값인 제1 내지 제n 평균값이 도출된다. 본 발명의 일 실시예에서는 하나의 프레임에 포함된 픽셀의 밝기값들을 대표하는 대표값이라면 평균에 제한되지 않고 중앙값, 최빈값 등 다양한 대표값을 사용할 수 있다. 그러나 이하의 실시예에서는 대표값으로 평균을 사용하여 설명한다.

상기 평균값들이 도출되면 대표값 저장부(223)에서 상기 평균값들을 저장한다. 그리고 일정한 개수의 평균값, 즉 제1 내지 제n 평균값들이 모두 도출되면 시간 대표값 연산부(224)로 전달된다. 시간 대표값 연산부(224)에서는 상기 제1 내지 제n 밝기값을 토대로 또 다시 평균 계산을 하여 전체 평균값을 도출한다. 본 발명의 일 실시예에서는 제1 내지 제n 밝기값들을 대표하는 대표값이라면 평균에 제한되지 않고 중앙값, 최빈값 등 다양한 대표값을 사용할 수 있다. 그러나 이하의 실시예에서는 대표값으로 평균을 사용하여 설명한다. 비교부(225)에서는 상기 도출된 전체 평균값을 이미 저장된 임계값과 비교한다. 임계값이란 주간과 야간을 판단하는 기준이 되는 밝기값을 말한다.

도 3는 본 발명의 일 실시예에 따른 차량용 이동 객체 감지 방법을 나타낸 흐름도이다.

도 3에 도시된 바와 같이, 차량용 감시 장치(1)이 작동을 시작하면 주야간 판단 모드로의 진입 여부를 먼저 판단한다(S301). 주야간 판단 모드로 진입하게 되면 자동 노출 제어부(251) 및 자동 이득 제어부(252)와 같은 카메라 제어부(25)의 작동을 멈춘다(S302).

자동 노출 제어(AEC) 기능과 자동 이득 제어(AGC) 기능은 영상의 노출 정도 및 입력 신호를 감지하여 자동으로 출력 영상의 밝기와 크기를 조절하는 기능으로, 최근 카메라(10)에는 필수적으로 탑재되는 기능이다. 그러나, 본 발명의 일 실시예에 따른 차량용 이동 객체 감지 방법에서 주야간 여부를 판단하기 위해서는, 밝기나 크기가 변경되지 않은 영상의 픽셀의 밝기값을 이용하여야 한다. 카메라(10)가 픽셀의 밝기값을 측정하는데에 있어서, 상기 자동 노출 제어(AEC) 기능과 자동 이득 제어(AGC) 기능은 오히려 방해가 된다. 또는, 이를 다시 보정하기 위해서 영상의 픽셀의 밝기값을 변경하기 위해 고려되었던 노출 시간(Explosure Time) 및 이득(Gain)을 이용하여 역 연산을 하여야 한다. 결국 중앙 처리 장치(CPU)에 많은 연산 부담을 주고 시간이 과도하게 소모되며 전체 시스템의 수명을 단축시키는 결과를 초래한다.

따라서 본 발명의 일 실시예에 따른 차량용 이동 객체 감지 방법에 따르면, 자동 노출 제어(AEC) 기능과 자동 이득 제어(AGC) 기능을 정지 시킴으로써 영상의 노출 시간과 이득을 고정시킬 수 있다. 그리고 간단한 계산 과정을 통해 밝기나 크기가 변경되지 않은 영상의 픽셀의 밝기값을 정확하게 측정할 수 있다(S303).

도 4은 본 발명의 일 실시예에 따른 차량용 이동 객체 감지 방법에서 프레임의 평균값 계산 방법을 나타낸 개략도이다.

도 4에 도시된 바와 같이, 상기 영상의 픽셀의 밝기값을 측정한 후에는, 각 영상의 프레임마다 상기 픽셀의 밝기값을 평균 계산한다(S304). 자세히 설명하면, 디코딩된 영상에 복수의 프레임이 포함되고, 각 프레임에는 복수의 픽셀이 형성되며, 각 픽셀 마다 밝기값이 존재한다. 제1 프레임의 해상도가 a*b라면, 제1 프레임에 포함된 복수의 픽셀들의 밝기값들을 평균 계산하면 제1 평균값이 도출된다(Mean1(a,b)). 제1 프레임의 일부 픽셀에 밝은 광의 일시적인 삽입, 예를 들면 카메라(10) 주위에 존재하는 가로등에 의해 노이즈가 삽입될 가능성이 높다. 따라서 단순히 제1 프레임에 포함된 모든 픽셀들의 밝기값으로 평균 계산할 수도 있으나, 더욱 효과적인 노이즈 제거를 위해 각 픽셀 마다 편차도 계산하여 일시적으로 노이즈가 발생한 픽셀의 밝기값을 평균의 계산에서 제외하는 방법을 사용할 수도 있다. 다만, 이에 제한되지 않고 노이즈를 제거할 수 있다면 다양한 방법을 사용할 수 있다. 상기와 같은 방법을 연속된 n개의 프레임에 적용하면, 제1 프레임 내지 제n 프레임마다 각각의 평균 밝기값인 제1 내지 제n 평균값이 도출된다(Mean_1(a,b), Mean_2(a,b),…, Mean_n(a,b)). 여기서 n은 임의의 자연수이며, 바람직하게는 10 내지 100 사이의 임의의 자연수이나 이에 제한되지 않는다.

도 4에 도시된 바와 같이, 상기 제1 내지 제n 밝기값을 토대로 또 다시 평균 계산을 한다(S305). 제1 프레임 만으로 밝기를 판단한다면, 제1 프레임의 전체 픽셀에 밝은 광의 일시적인 삽입에 의해 삽입되는 노이즈를 제거할 수 없다. 따라서 정확한 주야간 판단을 위해 n개의 프레임의 평균 밝기값들을 다시 평균 계산하여 전체 평균값을 도출한다(Mean_t(Mean_1(a,b), Mean_2(a,b),…, Mean_n(a,b))).

상기 도출된 전체 평균값을 이미 저장된 임계값과 비교한다(S306). 임계값이란 주간과 야간을 판단하는 기준이 되는 밝기값으로, 카메라(10)가 장착되는 위치마다 다르게 설정된다. 따라서 해당 차량에 카메라(10)를 설치하고 미리 실험을 하여 임계값을 설정한 뒤에 저장부(미도시)에 저장시킨다. 임계값은 하나의 값으로 일정하게 고정될 수도 있으나, 주간에서 야간으로 변화할 때와 야간에서 주간으로 변화할 때 히스테리시스(Hystertsis) 현상이 발생하여 하나의 값으로 일정하게 고정되지 않고 두 개를 가질 수도 있다. 이 경우에는 이전 주야간 판단을 고려하여, 이전에 야간으로 판단되었다면 상한 임계값을 기준으로, 이전에 주간으로 판단되었다면 하한 임계값을 기준으로 판단할 수 있다. 다만, 이에 제한되지 않고 다양한 방법으로 임계값을 설정할 수 있다.

만약 전체 평균값이 임계값보다 크다면 주간으로 판단하여(S307) 이동 객체 감지(Moving Object Detecting, MOD) 기능을 실행한다(S311). 이동 객체 감지(MOD) 기능이란, 차량 주변의 움직이는 물체를 자동으로 감지하여 운전자에게 알려주는 기능이다. 일반적으로 이동 객체 감지(MOD) 기능은 영상을 촬영하고, 각 프레임의 변화 값을 감지함으로써 움직임을 판단한다. 그러나 최근에는 물체의 크기 등을 종합적으로 실시간 분석하여 원거리에서도 물체의 움직임을 정확히 판단하는 기술이 제안되었다.

만약 전체 평균값이 임계값보다 작다면 야간으로 판단하고(S308), 이 경우, 카메라(10)가 야간 촬영 모드가 가능한 카메라(10)인지 확인한다(S309). 야간 촬영 모드가 불가능하다면 이동 객체 감지(MOD) 기능을 실행하지 않는다(S312). 야간 촬영 모드가 불가능하고 단순히 가시광선을 이용하여 야간 촬영을 하면, 주변의 광원에 의해 물체의 외관 및 색채 등이 달라져 물체 인식 성능이 저하될 수 있다. 또한, 주변에 광원이 없다면 영상 자체가 어둡게 촬영되고, 이를 개선하기 위해 센서의 민감도를 증가시킨다면 노이즈 삽입 가능성이 매우 높다. 따라서 이러한 카메라(10)의 오인식에 의한 시스템의 신뢰도 감소를 방지하기 위해, 이동 객체 감지(MOD) 기능을 수행하지 않는다(S312).

그러나, 야간 촬영이 가능한 카메라(10)는, 별도의 발광 장치가 설치되어 야간의 경우에는 자동으로 발광 장치에서 발광될 수도 있다. 또는, 적외선을 감지할 수 있는 기능이 탑재되어 야간에도 영상을 촬영할 수 있으나, 이 경우에는 컬러 필터를 통해 색채를 구현하는 것이 불가능할 수도 있다. 가시광선을 이용하면서 센서의 민감도를 증가하더라도 노이즈 필터링 성능이 뛰어나다면, 야간에도 이동 객체 감지(MOD) 기능을 수행할 수 있다. 야간에도 영상을 용이하게 촬영할 수 있다면, 제한되지 않고 다양한 방법으로 야간 촬영을 할 수 있다. 카메라(10)에 이러한 야간 촬영 모드 기능이 탑재되어 있다면 야간 촬영 모드로 진입하고(S310) 이동 객체 감지(MOD) 기능을 실행한다(S311). 상기의 모든 주야간 판단 과정들이 끝나면 상기 정지시켰던 자동 노출 제어(AEC) 기능 및 자동 이득 제어(AGC) 기능을 다시 재실행한다(S313).

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

1: 차량용 감시 장치 10: 카메라
20: 이동 객체 감지 장치 21: 입력 영상 처리부
22: 주야간 판단부 23: 시스템 제어부
30: 디스플레이 장치 40: 네트워크 통신
101: 자동 노출 제어기 102: 자동 이득 제어기
211: 디코더 212: 그래픽 렌더러
213: 버퍼 메모리

Claims (8)

1. 차량에 탑재되어 상기 차량의 내부 또는 외부의 영상을 촬영하는 카메라;
   상기 촬영된 영상을 분석하여 상기 차량의 주변 환경이 주간인지 또는 야간인지를 판단하는 주야간 판단부;
   상기 차량의 주변 환경이 주간인지 야간인지에 따른 촬영 모드로 이동 객체를 감지하는 이동 객체 감지부; 및
   상기 촬영된 영상을 분석하기 전에 자동 영상 제어기의 기능을 비활성화하고 상기 주야간 판단 후에 상기 자동 영상 제어기의 기능을 활성화하는 시스템 제어부를 포함하는 차량용 감시 장치.
2. 제1항에 있어서,
   상기 시스템 제어부는,
   차량의 센서 입력을 수신하고 상기 차량의 구동을 제어하며, 상기 자동 영상 제어기에 노출 시간과 이득을 조절하도록 명령 신호를 인가하는, 차량용 감시 장치.
3. 제1항에 있어서,
   상기 주야간 판단부는,
   상기 영상의 밝기를 분석하는 영상 밝기 분석부;
   상기 영상의 제1 내지 제n 프레임 마다 각각의 제1 내지 제n 평균 밝기값을 계산하는 공간 대표값 연산부;
   상기 계산된 제1 내지 제n 평균 밝기값을 저장하는 대표값 저장부;
   상기 제1 내지 제n 평균 밝기값이 모두 계산되면 상기 제1 내지 제n 평균 밝기값을 토대로 전체 평균값을 계산하는 시간 대표값 연산부; 및
   상기 전체 평균값을 미리 저장된 임계값과 비교하는 비교부를 포함하는, 차량용 감시 장치.
4. 제3항에 있어서,
   상기 주야간 판단부는,
   상기 비교부가 상기 전체 평균값과 상기 임계값을 비교하여
   상기 전체 평균값이 상기 임계값보다 크면 주간으로 판단하고,
   상기 전체 평균값이 상기 임계값보다 작으면 야간으로 판단하는, 차량용 감시 장치.
5. 자동 영상 제어 기능을 비활성화 하는 단계;
   카메라로부터 촬영된 영상의 밝기를 분석하는 단계;
   상기 분석된 영상의 밝기를 토대로, 제1 내지 제n 프레임마다 제1 내지 제n 평균 밝기값을 각각 계산하는 단계;
   상기 제1 내지 제n 평균 밝기값들을 토대로, 전체 평균값을 계산하는 단계;
   상기 전체 평균값과 임계값을 비교하여 주야간을 판단하는 단계;
   야간으로 판단된 경우, 야간 촬영 모드가 불가능하다면 이동 객체 감지(MOD) 기능을 정지하고, 야간 촬영 모드가 가능하다면 야간 촬영 모드로 진입하여 이동 객체 감지(MOD) 기능을 실행하는 단계; 및
   자동 영상 제어 기능을 다시 활성화하는 단계를 포함하는, 차량용 이동 객체 감지 방법.
6. 제5항에 있어서,
   상기 전체 평균값과 상기 임계값을 비교하여 주야간을 판단하는 단계에 있어서,
   주간으로 판단된 경우, 이동 객체 감지(MOD) 기능을 실행하는 단계를 더 포함하는, 차량용 이동 객체 감지 방법.
7. 제5항에 있어서,
   상기 전체 평균값과 상기 임계값을 비교하는 단계에 있어서,
   상기 전체 평균값이 상기 임계값보다 크면 주간으로 판단하고,
   상기 전체 평균값이 상기 임계값보다 작으면 야간으로 판단하는, 차량용 이동 객체 감지 방법.
8. 제5항에 있어서,
   상기 전체 평균값을 계산하는 단계에 있어서,
   노이즈 필터링의 효과를 증대하기 위해, 상기 제1 내지 제n 프레임은 10 내지 100 개의 프레임으로 형성되는, 차량용 이동 객체 감지 방법.
   

Images