KR102567276B1

KR102567276B1 - 카메라 장치 및 이의 제어방법

Info

Publication number: KR102567276B1
Application number: KR1020220012452A
Authority: KR
Inventors: 소종호
Original assignee: 소종호
Priority date: 2022-01-27
Filing date: 2022-01-27
Publication date: 2023-08-14
Also published as: KR20230115697A

Abstract

본 발명의 일 실시예에 따르면, 실시간으로 차선을 검출할 수 있는 카메라 장치를 제공할 수 있다. 구체적으로, 본 발명의 일 측면에 따르면, 하나의 프레임에 대응되는 이미지를 생성할 수 있는 카메라 장치에 있어서, 상기 이미지를 구성하는 픽셀 단위로 색상 데이터를 포함하는 디지털 신호를 연속해서 발생시킬 수 있는 이미지 센서; 상기 이미지 센서에서 연속해서 생성된 상기 디지털 신호를 순차적으로 저장할 수 있는 저장부; 상기 저장부에 저장되어 있는 상기 디지털 신호들 중 기 설정된 조건을 만족하는 픽셀집합의 디지털 신호를 추출하는 추출부; 상기 추출부에서 추출된 상기 픽셀집합의 디지털 신호를 기 설정된 알고리즘에 따라 처리하여 상기 픽셀집합의 가공데이터를 생성하는 가공부를 포함하는 카메라 장치가 제공될 수 있다.

Description

카메라 장치 및 이의 제어방법 {Camera device and Method for controlling thereof}

본 발명은 카메라 장치 및 이의 제어방법에 관한 것이다.

최근 운전자의 조작 없이 외부 정보를 수집하고 주변 교통 상황을 파악하여 설정 목적지까지 운행될 수 있는 자율주행 차량(autonomous vehicle)에 관한 많은 기술들이 개발되고 있다.

완벽한 자율 주행 차량을 구현하기 위해서는 도로의 차선을 실시간으로 검출 및 처리하는 것이 중요하다.

도 1은 종래의 도로의 차선을 검출 및 처리하는 장치의 구성을 개념적으로 나타낸 도면이다.

도 1에 도시된 종래 기술을 참조하면, 종래에는 차량에 장착된 이미지센서를 통해 외부 환경을 촬영하고 이를 디지털 신호로 전환하여 이미지 처리장치로 전송한 후, 이미지 처리장치에서 자율주행에 필요한 도로의 차선 데이터로 가공하였다.

종래의 카메라장치는 외부 환경을 촬영하는 기능만을 수행하였으며, 자율주행에 필요한 데이터가공(차선 검출에 대한 연산)은 이미지 처리장치에서 수행되었다.

따라서, 카메라장치로부터 많은 데이터가 이미지 처리장치로 전달되어 이미지 처리장치에 많은 부하가 가해져 데이터 처리 속도의 저하가 발생하였는바, 이를 가공하여 도로의 차선을 실시간으로 검출하는것에 어려움이 있었다.

또한, 종래 기술은 이미지 처리장치에 많은 부하가 가해지는바 이를 처리하기 위해 고성능을 발휘할 수 있는 고가의 이미지 처리장치가 사용되었으며, 그 결과 이를 사용하는 자율주행 차량의 단가가 상승한다는 문제가 있었다.

본 발명의 실시예들은 상기와 같은 문제를 해결하기 위해 제안된 것으로서, 실시간으로 차선을 검출할 수 있는 카메라 장치 및 이의 제어방법을 구현하고자 한다. 구체적으로, 카메라 장치 자체에서 이미지에 대한 디지털 신호를 처리한 가공데이터(예를 들어, 차선검출 데이터)를 이미지 처리 장치로 전송할 수 있는바 이미지 처리 장치의 데이터 처리 부하를 줄이고자 한다.

또한, 생산단가를 절감하고 안전한 자율주행을 구현할 수 있는 카메라 장치 및 이의 제어방법을 구현하고자 한다.

본 발명의 일측면에 따르면, 하나의 프레임에 대응되는 이미지를 생성할 수 있는 카메라 장치에 있어서, 상기 이미지를 구성하는 픽셀 단위로 색상 데이터를 포함하는 디지털 신호를 연속해서 발생시킬 수 있는 이미지 센서; 상기 이미지 센서에서 연속해서 생성된 상기 디지털 신호를 순차적으로 저장할 수 있는 저장부; 상기 저장부에 저장되어 있는 상기 디지털 신호들 중 기 설정된 조건을 만족하는 픽셀집합의 디지털 신호를 추출하는 추출부; 상기 추출부에서 추출된 상기 픽셀집합의 디지털 신호를 기 설정된 알고리즘에 따라 처리하여 상기 픽셀집합의 가공데이터를 생성하는 가공부를 포함하는 카메라 장치가 제공될 수 있다.

또한, 상기 하나의 프레임에 대응되는 상기 이미지는 픽셀이 n개의 행과 m개의 열로 배치되는 구조를 포함하고, 상기 이미지 센서는, 어느 하나의 픽셀의 디지털 신호를 생성한 후, 상기 어느 하나의 픽셀과 인접한 열 또는 인접한 행의 픽셀의 디지털 신호를 생성하는 방법으로 연속적으로 상기 디지털 신호를 생성하고, 상기 추출부는, 복수 개의 상기 행 중에서 기준 픽셀(P1)의 디지털 신호가 포함된 행을 기준 행으로 설정하고, 상기 기준 행에 포함된 픽셀들의 디지털 신호 중 연속하는 디지털 신호의 적어도 일부를 상기 픽셀집합의 디지털 신호로 추출하는 카메라 장치가 제공될 수 있다.

또한, 상기 하나의 프레임에 대응되는 상기 이미지는 픽셀이 n개의 행과 m개의 열로 배치되는 구조를 포함하고, 상기 이미지 센서는, 어느 하나의 픽셀의 디지털 신호를 생성한 후, 상기 어느 하나의 픽셀과 인접한 열 또는 인접한 행의 픽셀의 디지털 신호를 생성하는 방법으로 연속적으로 상기 디지털 신호를 생성하고, 상기 추출부는, 복수 개의 상기 열 중에서 기준 픽셀(P1)의 디지털 신호가 포함된 열을 기준 열로 설정하고, 상기 기준 열에 포함된 픽셀들의 디지털 신호 중 연속하는 디지털 신호의 적어도 일부를 상기 픽셀집합의 디지털 신호로 추출하는 카메라 장치가 제공될 수 있다.

또한, 하나의 프레임에 대응되는 상기 이미지는 픽셀이 n개의 행과 m개의 열로 배치되는 구조를 포함하고, 상기 이미지 센서는, 어느 하나의 픽셀의 디지털 신호를 생성한 후, 상기 어느 하나의 픽셀과 인접한 열 또는 인접한 행의 픽셀의 디지털 신호를 생성하는 방법으로 연속적으로 상기 디지털 신호를 생성하고, 상기 추출부는, 복수 개의 상기 행과 열 중에서 기준 픽셀(P1)의 디지털 신호가 포함된 행과 열을 각각 기준 행과 기준 열로 설정하고, 상기 기준 행과 인접한 하나 이상의 행을 인접 행으로 설정하고, 상기 기준 열과 인접한 하나 이상 행을 인접 열로 설정하고, 상기 기준 행, 상기 기준 열, 상기 인접 행 및 상기 인접 열에 포함된 픽셀들의 디지털 신호 중 연속하는 디지털 신호의 적어도 일부를 상기 픽셀집합의 디지털 신호로 추출하는 카메라 장치가 제공될 수 있다.

또한, 상기 추출부는, 기준 픽셀(P1)의 디지털 신호를 설정하고, 상기 기준 픽셀(P1)의 디지털 신호와 연속 또는 불연속적으로 배치된 주변 픽셀(R)의 디지털 신호를 설정한 후, 상기 기준 픽셀(P1)의 디지털 신호와 상기 주변 픽셀(R)의 디지털 신호를 상기 픽셀집합의 디지털 신호로 추출하는 카메라 장치가 제공될 수 있다.

또한, 상기 픽셀집합에 대응되는 디지털 신호는 상기 기준 픽셀(P1)의 디지털 신호와, 상기 기준 픽셀(P1)의 디지털 신호와 연속하게 배치되는 주변 픽셀의 디지털 신호를 포함하고, 상기 주변 픽셀의 디지털 신호는 상기 기준 픽셀(P1)의 디지털 신호 보다 먼저 생성된 카메라 장치가 제공될 수 있다.

또한, 상기 추출부는, 상기 이미지 센서가 하나의 이미지의 픽셀들에 대응되는 디지털 신호를 생성하는 것과 시간적으로 중첩하여, 상기 이미지 센서에 의해 생성된 디지털 신호들 중 상기 기 설정된 조건을 만족하는 픽셀집합에 대응되는 디지털 신호를 추출하고, 상기 가공부는, 상기 이미지 센서가 하나의 이미지를 구성하는 픽셀들의 디지털 신호를 생성하는 것과 시간적으로 중첩하여, 상기 추출부에서 추출된 디지털 신호를 상기 기 설정된 알고리즘으로 처리하여 상기 가공데이터를 생성하는 카메라 장치가 제공될 수 있다.

또한, 상기 이미지 센서는, 연속적으로 촬영된 복수 개의 이미지에 대한 픽셀 단위의 디지털 신호를 발생시키고, 상기 저장부는, 하나의 이미지를 구성하는 픽셀들의 디지털 신호 및 상기 하나의 이미지와 다른 제n 이미지를 구성하는 픽셀들의 디지털 신호를 저장하고, 상기 추출부는, 상기 제n 이미지를 구성하는 픽셀들의 디지털 신호들 중 상기 기 설정된 조건을 만족하는 픽셀집합의 디지털 신호를 더 추출하고, 상기 가공부는, 상기 추출부에서 추출된 상기 제n 이미지를 구성하는 픽셀들의 디지털 신호를 더 포함하여 상기 가공데이터를 생성하는 카메라 장치가 제공될 수 있다.

또한, 상기 추출부는, n행 X m열 구조로 배치된 하나의 이미지를 구성하는 픽셀들의 디지털 신호에서 제1 위치의 픽셀집합을 추출하고, n행 X m열 구조로 배치된 제n 이미지를 구성하는 픽셀들의 디지털 신호에서 제2 위치의 픽셀집합을 추출하고, 상기 제1 위치와 상기 제2 위치를 서로 다르게 설정하는 카메라 장치가 제공될 수 있다.

또한, 상기 추출부는, 상기 픽셀집합의 디지털 신호를 추출한 후, 상기 픽셀집합의 디지털 신호와 기 설정된 위치관계를 만족하는 제n 픽셀들의 집합의 디지털 신호를 연속적으로 추출하고, 상기 가공부는, 상기 픽셀집합의 디지털 신호와 상기 제n 픽셀들의 집합의 디지털 신호를 상기 기 설정된 알고리즘으로 처리하여 상기 가공데이터를 생성하는 카메라 장치가 제공될 수 있다.

또한, 상기 추출부에 의한 상기 픽셀집합의 디지털 신호의 추출 속도와 상기 가공부에 의한 상기 픽셀집합의 디지털 신호의 처리 속도는, 상기 이미지 센서에 의한 픽셀집합을 구성하는 픽셀들의 디지털 신호의 발생 속도와 같거나 빠른 카메라 장치가 제공될 수 있다.

또한, 상기 저장부는, 상기 이미지 센서로부터 먼저 입력된 디지털 신호를 먼저 삭제되는 방식으로 상기 디지털 신호를 저장 및 삭제하는 카메라 장치가 제공될 수 있다.

또한, 상기 카메라 장치는, 상기 이미지 센서에 의해 발생된 상기 디지털 신호와 상기 가공부에 의해 처리된 가공데이터 중 적어도 하나를 통신부를 통해 이미지 처리 장치로 전달하는 전달부를 더 포함하는 카메라 장치가 제공될 수 있다.

또한, 상기 하나의 프레임에 대응되는 상기 이미지는 픽셀이 n개의 행과 m개의 열로 배치되는 구조를 포함하고, 상기 추출부에 의해 추출되는 상기 픽셀집합을 구성하는 상기 픽셀에 대응되는 디지털 신호의 개수는 (n-1) X (m-1) 보다 작은 카메라 장치가 제공될 수 있다.

또한, 상기 하나의 프레임에 대응되는 상기 이미지는 픽셀이 n개의 행과 m개의 열로 배치되는 구조를 포함하고, 상기 추출부에 의해 추출되는 상기 픽셀집합은 정사각형, 십자(+)형 또는 엑스자(X)형 중 하나의 모양으로 형성되는 카메라 장치가 제공될 수 있다.

또한, 상기 가공부에 의해 실행되는 기 설정된 알고리즘은 Canny Edge Detection을 통한 경계선 검출 후, 허프 변환을 이용하여 직선을 검출하는 것을 포함하는 카메라 장치가 제공될 수 있다.

또한, 상기 가공부는, 상기 추출부에 의해 추출된 상기 픽셀집합에 대응되는 디지털 신호를 그레이스케일로 변환한 후 처리를 수행하는 카메라 장치가 제공될 수 있다.

본 발명의 일측면에 따르면, 이미지 센서에 의해 이미지를 구성하는 픽셀 단위로 색상 데이터를 포함하는 디지털 신호가 발생되는 단계(S1단계); 연속해서 생성된 디지털 신호가 저장부에 저장되는 단계(S2단계); 추출부에 의해 상기 저장부에 저장되어 있는 상기 디지털 신호들 중 기 설정된 조건을 만족하는 픽셀집합의 디지털 신호가 추출되는 단계(S3 단계); 및 가공부에 의해 상기 픽셀집합의 디지털 신호를 기 설정된 알고리즘으로 처리하여 상기 픽셀집합의 가공데이터가 생성되는 단계(S4 단계)를 포함하는 카메라 장치의 제어방법이 제공될 수 있다.

또한, 상기 S1단계는, 어느 하나의 픽셀의 디지털 신호를 생성한 후, 상기 어느 하나의 픽셀의 인접한 열 또는 인접한 행의 픽셀의 디지털 신호를 생성하는 방법으로 연속적으로 디지털 신호를 생성하는 단계를 포함하는 카메라 장치의 제어방법이 제공될 수 있다.

또한, 상기 S2단계는, 이미지 센서로부터 먼저 입력된 디지털 신호가 먼저 삭제되는 방식으로 상기 디지털 신호가 상기 저장부에 저장 및 삭제되는 단계를 포함하는 카메라 장치의 제어방법이 제공될 수 있다.

또한, 상기 S3단계는, 추출부에 의해 복수 개의 열 중에서 기준 픽셀(P1)의 디지털 신호가 포함된 열을 기준 열로 설정하고, 상기 기준 열에 포함된 픽셀들의 디지털 신호 중 연속하는 디지털 신호의 적어도 일부를 상기 픽셀집합의 디지털 신호로 추출하는 단계를 포함하거나, 추출부에 의해 복수 개의 행 중에서 기준 픽셀(P1)의 디지털 신호가 포함된 행을 기준 행으로 설정하고, 상기 기준 행에 포함된 픽셀들의 디지털 신호 중 연속하는 디지털 신호의 적어도 일부를 상기 픽셀집합의 디지털 신호로 추출하는 단계를 포함하거나, 또는 추출부에 의해 복수 개의 행과 열 중에서 기준 픽셀(P1)의 디지털 신호가 포함된 행과 열을 각각 기준 행과 기준 열로 설정하고, 상기 기준 행과 인접한 하나 이상의 행을 인접 행으로 설정하고, 상기 기준 열과 인접한 하나 이상 행을 인접 열로 설정하고, 상기 기준 행, 상기 기준 열, 상기 인접 행 및 상기 인접 열에 포함된 픽셀들의 디지털 신호 중 연속하는 디지털 신호의 적어도 일부를 상기 픽셀집합의 디지털 신호로 추출하는 단계를 포함하는 카메라 장치의 제어방법이 제공될 수 있다.

또한, 상기 S4단계는, 가공부에 의해 Canny Edge Detection을 통한 경계선 검출 후, 허프 변환을 이용하여 차선이 검출되는 단계를 포함하는 카메라 장치의 제어방법이 제공될 수 있다.

본 발명의 실시예들에 따른 카메라 장치 및 이의 제어방법은 실시간으로 차선을 검출할 수 있는 효과가 있다. 구체적으로, 카메라 장치 자체에서 이미지에 대한 디지털 신호를 처리한 가공데이터(예를 들어, 차선검출 데이터)를 이미지 처리 장치로 전송할 수 있는바 이미지 처리 장치의 데이터 처리 부하를 줄일 수 있는 효과가 있다.

또한, 생산단가를 절감하고 안전한 자율주행을 구현할 수 있는 효과가 있다.

도 1은 종래의 도로의 차선을 검출 및 처리하는 장치의 구성을 개념적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 이미지 처리 시스템을 개념적으로 나타내는 도면이다.
도 3은 도 2의 카메라 장치의 구성을 개략적으로 나타내는 도면이다.
도 4는 도 3의 이미지 센서에 입력되는 하나의 프레임에 대응되는 이미지를 예시적으로 나타내는 도면이다.
도 5는 도 4의 이미지가 이미지 센서를 통해 픽셀 단위의 디지털 신호로 전환된 후, 추출부에 의해 기 설정된 조건을 만족하는 디지털 신호가 추출되는 예시를 개념적으로 나타내는 도면이다.
도 6은 도 4의 이미지가 이미지 센서를 통해 픽셀 단위의 디지털 신호로 전환된 후, 추출부에 의해 기 설정된 조건을 만족하는 디지털 신호가 추출되는 다른 예시를 개념적으로 나타내는 도면이다.
도 7은 도 4의 이미지가 이미지 센서를 통해 픽셀 단위의 디지털 신호로 전환된 후, 추출부에 의해 기 설정된 조건을 만족하는 디지털 신호가 추출되는 또 다른 예시를 개념적으로 나타내는 도면이다.
도 8은 도 4의 이미지가 이미지 센서를 통해 픽셀 단위의 디지털 신호로 전환된 후, 추출부에 의해 기 설정된 조건을 만족하는 디지털 신호가 추출되는 또 다른 예시를 개념적으로 나타내는 도면이다.
도 9은 도 2의 카메라 장치에 의해 하나의 이미지의 픽셀들에 대응되는 디지털 신호가 생성되는 것과 시간적으로 중첩하여, 디지털 신호가 추출되어 가공데이터가 생성되는 것을 개념적으로 나타내는 도면이다.
도 10은 도 2의 카메라 장치에 의해 복수 개의 프레임에 대응되는 복수 개의 이미지의 픽셀들에 대한 디지털 신호를 동시에 처리하는 것을 개념적으로 나타내는 도면이다.
도 11은 도 2의 카메라 장치의 제어방법의 순서도를 개략적으로 나타내는 도면이다.

이하에서는 본 발명의 구체적인 실시예들에 대하여 도면을 참조하여 상세히 설명한다. 아울러 본 발명을 설명함에 있어서, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

도 2는 본 발명의 일 실시예에 따른 이미지 처리 시스템(1)을 개념적으로 나타내는 도면이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 이미지 처리 시스템(1)은 카메라 장치(10)와 이미지 처리 장치(20)를 포함할 수 있다.

본 실시예의 이미지 처리 시스템(1)은 카메라 장치(10) 자체에서 이미지에 대한 디지털 신호를 처리하여 이미지 처리 장치(20)로 전송할 수 있는바 이미지 처리 장치(20)의 데이터 처리 부하를 줄일 수 있다.

본 실시예의 카메라 장치(10)는 차량에 탑재되어 도로의 차선을 연속적으로 촬영하고 촬영된 이미지를 연속적으로 생성할 수 있으며, 이를 차선검출 데이터로 처리한 가공데이터를 생성하고, 이를 이미지 처리 장치(20)로 전달할 수 있다. 이에 의해 이미지 처리 장치(20)에서 처리되는 부하를 줄일 수 있여 이미지(예를 들어, 도로의 차선)를 실시간으로 인식할 수 있는바, 카메라 장치(10)가 탑재되는 자율 주행 차량의 주행 안전성을 높일 수 있다.

카메라 장치(10)에 의해 생성된 이미지와 가공데이터는 유무선 네트워크(30)를 통해 이미지 처리 장치(20)로 전달될 수 있다.

카메라 장치(10)는 이미지로부터 디지털 신호를 추출하여 차선 데이터에 대한 가공데이터를 생성할 수 있고, 디지털 신호의 추출과 가공데이터의 생성을 실시간으로 구현할 수 있다. 이에 대한 자세한 설명은 후술한다.

카메라 장치(10)와 이미지 처리 장치(20)는 자율주행 차량에 탑재될 수 있다. 다만, 본 발명의 사상은 이에 한정되지 않으며 카메라 장치(10)가 챠량의 내부에 설치되고 이미지 처리 장치(20)가 자율주행 차량의 외부에 설치되어 서로 무선 통신하는 것을 포함할 수 있다.

이미지 처리 장치(20)는 카메라 장치(10)에 의해 연속적으로 촬영된 이미지와 이를 기 설정된 알고리즘으로 처리한 가공데이터(예를 들어, 차선검출 데이터)를 차량의 자율주행에 필요한 형태로 변환할 수 있는 엣지 컴퓨팅(edge computing)이 가능한 컴퓨터 일 수 있다. 다만, 본 발명의 사상은 이에 한정되지 않으며, 이미지 처리 장치(20) 없이 카메라 장치(10) 자체에서 가공된 가공데이터(예를 들어, 차선검출 데이터)만으로 차량의 자율주행을 실현하는 것을 포함할 수 있다.

도 3은 도 2의 카메라 장치(10)의 구성을 개략적으로 나타내는 도면이고, 도 4는 도 3의 이미지 센서(200)에 입력되는 하나의 프레임에 대응되는 이미지를 예시적으로 나타내는 도면이며, 도 5는 도 4의 이미지가 이미지 센서(200)에 의해 픽셀 단위의 디지털 신호로 전환된 후, 추출부(410)에 의해 기 설정된 조건을 만족하는 디지털 신호가 추출되는 예시를 개념적으로 나타내는 도면이며, 도 6은 도 4의 이미지가 이미지 센서(200)를 통해 픽셀 단위의 디지털 신호로 전환된 후, 추출부(410)에 의해 기 설정된 조건을 만족하는 디지털 신호가 추출되는 다른 예시를 개념적으로 나타내는 도면이며, 도 7은 도 4의 이미지가 이미지 센서(200)를 통해 픽셀 단위의 디지털 신호로 전환된 후, 추출부(410)에 의해 기 설정된 조건을 만족하는 디지털 신호가 추출되는 또 다른 예시를 개념적으로 나타내는 도면이고, 도 8은 도 4의 이미지가 이미지 센서를 통해 픽셀 단위의 디지털 신호로 전환된 후, 추출부에 의해 기 설정된 조건을 만족하는 디지털 신호가 추출되는 또 다른 예시를 개념적으로 나타내는 도면이며, 도 9은 도 2의 카메라 장치(10)에 의해 하나의 이미지의 픽셀들에 대응되는 디지털 신호가 생성되는 것과 시간적으로 중첩하여, 디지털 신호가 추출되어 가공데이터가 생성되는 것을 개념적으로 나타내는 도면이며, 도 10은 도 2의 카메라 장치(10)에 의해 복수 개의 프레임에 대응되는 복수 개의 이미지의 픽셀들에 대한 디지털 신호를 동시에 처리하는 것을 개념적으로 나타내는 도면이다.

도 3 내지 도 10을 참조하면, 카메라 장치(10)는 이미지를 구성하는 픽셀 단위로 색상 데이터를 포함하는 디지털 신호를 연속적으로 발생시킬 수 있는 이미지 센서(200); 이미지 센서(200)에서 생성된 디지털 신호를 저장할 수 있는 저장부(300); 저장부(300)에 저장된 디지털 신호를 기 설정된 알고리즘에 따라 처리하여 차선 데이터에 관한 가공데이터를 생성할 수 있는 프로세서(400); 이미지 센서(200)로부터 수집된 이미지 및 프로세서(400)에 의해 처리된 가공데이터를 이미지 처리 장치(20)로 전달할 수 있는 전달부(500); 및 이미지 처리 장치(20)와 통신 가능한 통신부(600) 중 하나 이상을 포함할 수 있다.

이미지 센서(200)는 연속된 이미지(영상)를 촬영하고, 이미지를 구성하는 픽셀 단위로 색상 데이터를 포함하는 디지털 신호를 연속해서 발생시킬 수 있다.

이미지 센서(200)는 차량에 탑재되어 도 4와 같은 도로 차선에 대한 이미지를 촬영하고 이를 디지털 신호로 변환할 수 있다. 예를들어, 이미지 센서(200)는 빛 에너지를 디지털 신호로 변환할 수 있는 CMOS 이미지 센서를 포함할 수 있다.

이미지 센서(200)는 이미지를 구성하는 하나의 픽셀에 대응되는 디지털 신호를 생성한 후, 어느 하나의 픽셀과 인접한 열 또는 인접한 행의 픽셀에 대응되는 디지털 신호를 생성하는 방법으로 연속적으로 디지털 신호를 생성할 수 있다.

예를 들어, 이미지 센서(200)는 도 5 내지 도 10와 같이 n개의 행과 m개의 열로 배치된 픽셀(P)에 대응되는 디지털 신호를 발생시키고, 이를 발생된 시간적 순서에 따라 저장부(300)에 저장할 수 있다.

도 5 내지 도 10에 도시된 실시예의 n행 X m열 구조의 디지털 신호에서 하부에 적층된 디지털 신호가 상부에 적층된 디지털 신호 보다 먼저 생성되고, 우측에 배치된 디지털 신호가 상대적으로 좌측에 배치된 디지털 신호 보다 먼저 생성된 것(시간적 순서에 따라 하부에서 상부로 디지털 신호가 적층되어 저장)으로 정의하여 개념적으로 설명한다. 도 5 내지 도 10에 도시된 디지털 신호들은 설명의 편의를 위해 개념적으로 도시한 것으로, 디지털 신호가 저장되는 형태는 이에 한정되는것은 아니다.

저장부(300)는 데이터를 기록하거나 읽기 위한 저장공간으로서 RAM(Random Access Memory), ROM(Read Only Memory)과 같은 메모리를 포함할 수 있다.

저장부(300)는 이미지 센서(200)에서 생성된 디지털 신호를 순차적으로 저장할 수 있다.

또한, 저장부(300)는 먼저 저장된 디지털 신호를 먼저 삭제하는 FIFO(First in First Out) 특성을 갖는 큐(queue) 형태로 디지털 신호를 저장 및 삭제할 수 있다.

예를 들어, 본 실시예의 저장부(300)는 디지털 신호의 저장과 삭제를 반복적으로 수행할 수 있는 원형큐(Circular queue) 형태로 디지털 신호를 저장 및 삭제할 수 있다.

본 실시예의 카메라 장치(10)는 먼저 저장된 디지털 신호를 처리한 후 먼저 저장된 디지털 신호를 삭제할 수 있는바, 비교적 저렴한 저장부(300)를 적용할 수 있다는 장점이 있다.

프로세서(400)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 저장부(300) 또는 통신부(600)로부터 프로세서(400)로 제공될 수 있다. 그 외에 명령은 카메라 장치(10)를 구성하는 각각의 구성요소들 간의 통신 채널을 통해 프로세서(400)로 제공될 수도 있다.

프로세서(400)는 이미지로부터 추출되는 디지털 신호로부터 차선 데이터에 관한 가공데이터를 생성할 수 있고, 디지털 신호의 추출과 가공데이터의 생성을 실시간으로 처리할 수 있고, 복수 개의 이미지에 대한 디지털 신호를 실시간으로 처리하기 위해 필요한 데이터의 입출력, 데이터의 처리, 데이터의 관리 등 다양한 기능을 수행할 수 있다. 이를 실행하기 위한 프로세서(400)의 구체적인 구성요소들은 후술한다.

프로세서(400)는 메모리에 저장된 프로그램 코드를 로딩하여 이미지(예를 들어, 차선)에 관한 디지털 신호를 획득한 후 이를 처리한 가공 데이터(예를 들어, 차선검출 데이터)를 생성할 수 있다. 이러한 프로그램 코드는 별도의 컴퓨터에서 판독 가능한 기록 매체(예를 들어 메모리 카드 등)로부터 로딩되거나, 다른 장치로부터 통신부(600)를 통해 전달되어 메모리에 저장될 수도 있다.

구체적으로, 프로세서(400)는 추출부(410)와 가공부(420)를 포함할 수 있다.

추출부(410)는 저장부(300)에 저장되어 있는 디지털 신호들 중 기 설정된 조건을 만족하는 픽셀집합에 대응되는 디지털 신호들을 추출할 수 있다.

예를 들어, 추출부(410)는 n개의 행과 m열로 배치된 이미지의 픽셀에 대응되는 디지털 신호에서 기준 픽셀(P1)의 디지털 신호가 포함된 기준 행과 기준 열 중 적어도 하나를 설정할 수 있다. 그 후, 추출부(410)는 기준 열에 포함된 픽셀들의 디지털 신호 중 연속하는 디지털 신호의 적어도 일부를 픽셀집합에 대응되는 디지털 신호로 추출하거나, 기준 행에 포함된 픽셀들의 디지털 신호 중 연속하는 디지털 신호의 적어도 일부를 픽셀집합에 대응되는 디지털 신호로 추출하거나, 기준 행과 기준 열과 인접 행과 인접 열에 포함된 픽셀들의 디지털 신호 중 연속하는 디지털 신호의 적어도 일부를 픽셀집합에 대응되는 디지털 신호로 추출할 수 있다.

여기서, 인접 행은 기준 행에 대해 연속적으로 배치된 기 설정된 개수의 행으로 이해될 수 있고, 인접 열은 기준 열에 대해 연속적으로 배치된 기 설정된 개수의 열로 이해될 수 있다.

도 5 내지 도 10에 도시된 네모칸들은 이미지 센서(200)에 의해 생성된 n개의 행과 m개의 열로 배치된 픽셀(P)에 대응되는 디지털 신호를 개념적으로 나타낸 것으로서, 하나의 네모칸은 하나의 픽셀에 대응되는 디지털 신호로 이해될 수 있다.

본 실시예에서는, 설명의 편의를 위해 "에 대응되는"이라는 기재는 "의"로 대체하여 표현될 수 있다. 예를 들어, 본 실시예에서 설명하는 픽셀에 대응되는 디지털 신호는 픽셀의 디지털 신호와 동일한 기재이고, 픽셀집합에 대응되는 디지털 신호는 픽셀집합의 디지털 신호와 동일한 기재로 이해될 수 있다.

또한, 추출부(410) 및 가공부(420)에 의해 처리되는 픽셀의 디지털 신호의 개수가 작을 수록 더 빠르게 가공데이터를 생성할 수 있다. 본 실시예에서, 픽셀집합을 구성하는 픽셀의 디지털 신호의 개수는 (n-1) X (m-1) 보다 작을 수 있다. 예를 들어, 픽셀집합을 구성하는 픽셀의 디지털 신호의 개수는 100 (10X10) 보다 작을 수 있다.

또한, 추출부(410)에 의해 추출되는 상기 픽셀집합은 정사각형, 직사각형, 십자(+)형 또는 엑스자(X)형 중 하나의 모양으로 형성될 수 있다.

도 7에서는 픽셀집합이 정사각형 모양으로 형성되는 것을 예시하였으며, 도 5와 도 6에서는 픽셀집합이 직사각형 모양으로 형성되는 것을 예시하였다.먼저, 도 4 및 도 5를 참조하여, 추출부(410)에 의해 기준 열에 포함된 픽셀들의 디지털 신호 중 연속하는 디지털 신호의 적어도 일부를 픽셀집합의 디지털 신호로 추출하는 과정에 대해 예를 들어 개념적으로 설명한다.

추출부(410)는 m개의 열 중에서 기준 픽셀(P1)의 디지털 신호가 포함된 열을 기준 열(C1)로 설정하고, 기준 열(C1)에 포함된 픽셀(P)들의 디지털 신호 중 연속하는 디지털 신호의 전부 또는 일부를 픽셀집합(G)의 디지털 신호로 추출할 수 있다.

도 5에서는 기준 열(C1)에 포함된 디지털 신호들 중에서 기준 픽셀(P1)의 디지털 신호와, 기준 픽셀(P1)의 디지털 신호 보다 먼저 생성된 3개의 디지털 신호(R)를 픽셀집합(G)의 디지털 신호로 추출되는 것을 예를 들어 도시하였다.

구체적으로, 추출부(410)는 기준 픽셀(P1)의 디지털 신호와 주변 픽셀(R)의 디지털 신호를 픽셀집합(G)의 디지털 신호로 추출할 수 있다. 여기서, 픽셀집합(G)의 디지털 신호는 기준 픽셀(P1)의 디지털 신호와 주변 픽셀(R)의 디지털 신호로 구성되는 것으로 이해될 수 있다.

추출부(410)는 기준 열(C1)에 배치된 디지털 신호들 중에서, 기준 픽셀(P1)의 디지털 신호와 인접한 디지털 신호들 중 적어도 일부를 주변 픽셀(R)의 디지털 신호로서 추출할 수 있다.

구체적으로, 추출부(410)는 기 설정된 기준 픽셀(P1)의 디지털 신호를 추출하고, 기준 픽셀(P1)의 디지털 신호와 일정 위치관계를 만족하는 디지털 신호를 추출할 수 있다.

기준 픽셀(P1)의 디지털 신호의 위치는 추출부(410)에 의해 임의로 설정될 수 있다. 예를 들어, 본 실시예에서는 4번째 행의 디지털 신호 중 가장 먼저 생성된 디지털 신호를 기준 픽셀(P1)의 디지털 신호로 추출하였다. 다만, 이는 예시적인 것으로서 기준 픽셀(P1)의 디지털 신호의 위치는 제한되는 것이 아니다.

주변 픽셀(R)의 디지털 신호는 기준 픽셀(P1)의 디지털 신호와 일정 위치관계를 만족할 수 있다. 예를 들어, 주변 픽셀(R)의 디지털 신호는 기준 픽셀(P1)의 디지털 신호와 행 또는 열에 연속적으로 배치되는 디지털 신호일 수 있다.

이와 같이, 추출된 픽셀집합(G)의 디지털 신호는 가공부(420)에 의해 기 설정된 알고리즘에 의해 처리되어 픽셀집합의 가공데이터가 생성될 수 있으며, 이에 대한 자세한 설명은 후술한다.

하나의 이미지를 구성하는 픽셀들의 일부인 픽셀집합(G)의 디지털 신호에 대한 가공데이터가 생성된 후, 또 다른 픽셀집합(G)의 디지털 신호에 대한 가공데이터가 순차적으로 생성됨으로써, 하나의 이미지를 구성하는 전체 픽셀들의 가공데이터가 형성될 수 있다.

이와 같은 과정을 연속적으로 처리하여 n행 X m열 구조의 하나의 프레임에 대응되는 하나의 이미지에 대한 디지털 신호의 추출 및 이에 대한 가공데이터가 생성될 수 있다.

다음으로, 도 4 및 도 6을 참조하여, 기준 행에 포함된 픽셀들의 디지털 신호 중 연속하는 디지털 신호의 적어도 일부를 픽셀집합에 대응되는 디지털 신호로 추출하는 과정에 대해 예를 들어 개념적으로 설명한다.

추출부(410)는 n개의 행 중에서 기준 픽셀(P1)의 디지털 신호가 포함된 행을 기준 행(A1)으로 설정하고, 기준 행(A1)에 포함된 픽셀(P)들의 디지털 신호 중 연속하는 디지털 신호의 전부 또는 일부를 픽셀집합(G)의 디지털 신호로 추출할 수 있다.

도 6에서는 기준 행(A1)에 포함된 디지털 신호들 중에서 기준 픽셀(P1)의 디지털 신호 보다 먼저 생성된 3개의 디지털 신호(R)를 픽셀집합(G)의 디지털 신호로 추출되는 것을 예를 들어 도시하였다. 도 6에서 우측에 있는 디지털 신호는 상대적으로 좌측에 있는 디지털 신호 보다 먼저 생성된 것으로 정의하여 개념적으로 설명한다.

추출부(410)는 기준 픽셀(P1)의 디지털 신호와 주변 픽셀(R)의 디지털 신호를 픽셀집합(G)의 디지털 신호로서 추출할 수 있다.

추출부(410)는 기준 행(A1)에 배치된 디지털 신호들 중에서, 기준 픽셀(P1)의 디지털 신호와 인접한 디지털 신호들 중 적어도 일부를 주변 픽셀(R)의 디지털 신호로서 추출할 수 있다.

기준 픽셀(P1)의 디지털 신호의 위치는 추출부(410)에 의해 임의로 설정될 수 있다.

예를 들어, 본 실시예에서는 가장 먼저 저장(최하단에 저장)된 디지털 신호들 중에서 4번째로 생성된 디지털 신호(우측에서 4번째)를 기준 픽셀(P1)의 디지털 신호로 설정하였다. 다만, 이는 예시적인 것으로서 기준 픽셀(P1)의 디지털 신호의 위치는 이에 제한되는 것이 아니다.

또한, 주변 픽셀(R)의 디지털 신호는 기준 픽셀(P1)의 디지털 신호 보다 먼저 생성된 것일 수 있다.

추출부(410)는 n행 X m열에서 하측에 저장된 디지털 신호들 중에서 4번로 생성된 디지털 신호를 기준 픽셀(P1)의 디지털 신호로 추출하고, 기준 픽셀(P1)의 디지털 신호 보다 먼저 생성된 주변 픽셀(R)의 디지털 신호를 추출할 수 있다. 여기서, 기준 픽셀(P1)의 디지털 신호와 주변 픽셀(R)의 디지털 신호의 추출은 동시에 이루어질 수 있다.

마찬가지로, 추출된 픽셀집합(G)의 디지털 신호는 가공부(420)에 의해 기 설정된 알고리즘에 의해 처리되어 픽셀집합의 가공데이터가 생성될 수 있으며, 이에 대한 자세한 설명은 후술한다.

이와 같은 과정이 연속적으로 처리되여 n행 X m열 구조의 하나의 프레임에 대응되는 이미지에 대한 디지털 신호의 추출 및 가공데이터의 생성이 실현될 수 있다.

다음으로, 도 4 및 도 7을 참조하여, 기준 행과 기준 열과 인접 행과 인접 열에 포함된 픽셀들의 디지털 신호 중 연속하는 디지털 신호의 적어도 일부를 픽셀집합의 디지털 신호로 추출하는 과정에 대해 예를 들어 개념적으로 설명한다.

추출부(410)는 n개의 행 중에서 기준 픽셀(P1)의 디지털 신호가 포함된 행을 기준 행(A1)으로 설정하고, m개의 열 중에서 기준 픽셀(P1)의 디지털 신호가 포함된 열을 기준 열(C1)로 설정한다.

또한, 추출부(410)는 기준 행(A1)과 인접한 하나 이상의 행을 인접 행(A2)으로 설정하고, 기준 열(C1)과 인접한 하나 이상의 열을 인접 열(C2)로 설정할 수 있다.

추출부(410)는 기준 행(A1)과 일정위치 관계를 만족하는 하나 이상의 행을 인접 행(A2)으로 설정할 수 있다. 예를 들어, 추출부(410)는 도 7과 같이 기준 행(A1)에 배치된 디지털 신호 보다 먼저 생성된 디지털 신호가 포함된 3개의 행(복수 개의 행)을 인접 행으로 설정할 수 있다.

또한, 추출부(410)는 기준 열(C1)과 일정위치 관계를 만족하는 하나 이상의 열을 인접 열(C2)로 설정할 수 있다. 예를 들어, 추출부(410)는 도 7과 같이 기준 열(C1)에 배치된 디지털 신호 보다 먼저 생성된 디지털 신호가 포함된 3개의 열(복수 개의 열)을 인접 열로 설정할 수 있다 .

또한, 추출부(410)는 기준 행(A1), 기준 열(C1), 인접 행(A2) 및 인접 열(C2)을 생성한 후, 이들에 포함된 픽셀(P)들의 디지털 신호 중 연속하는 디지털 신호의 전부 또는 일부를 픽셀집합(G)에 대응하는 디지털 신호로 추출할 수 있다.

도 7에서는 기준 행(A1) 및 인접 행(A2)에 배치된 디지털 신호들과 기준 열(C1) 및 인접 열(C2)에 배치된 디지털 신호들의 중첩되는 디지털 신호들을 픽셀집합(G)에 대응되는 디지털 신호로 추출되는 것을 예로 들어 설명하였다.

여기서, 인접 행(A2)과 인접 열(C2)의 위치 및 개수는 추출부(410)에 의해 임의로 설정될 수 있다.

도 7의 실시예에서는 추출부(410)가 기준 행(A1) 보다 먼저 생성된 디지털 신호를 포함하고 있는 행을 인접 행(A2)으로 설정하고, 기준 열(C1) 보다 먼저 생성된 디지털 신호를 포함하고 있는 열을 인접 열(C2)으로 설정하는 것을 예로 들어 설명한다. 다만, 인접 열과 인접 행의 위치 및 개수는 이에 한정되는 것이 아니며 추출부(410)에 의해 임의로 설정될 수 있다.

상술한 도 5 내지 도 7에 도시된 실시예들은 픽셀집합(G)의 디지털 신호들이 연속적으로 추출되는 것을 예로 들어 설명하였다.

다만, 본 발명의 사상은 이에 한정되지 안으며 픽셀집합(G)의 디지털 신호들이 불연속적으로 추출될수도 있다.

추출부(410)는 임의의 기준 픽셀(P1)의 디지털 신호를 추출한 후, 기준 픽셀(P1)의 디지털 신호와 기 설정된 상대적 위치관계를 만족하는 주변 픽셀(R)의 디지털 신호를 추출할 수 있다. 여기서, 기 설정된 상대적 위치관계는 추출부(410)에 의해 설정될 수 있으며, 주변 픽셀(R)의 디지털 신호는 기준 픽셀(P1)의 디지털 신호와 연속 또는 불연속하는 디지털 신호를 포함할 수 있다.

구체적으로, 추출부(410)는 기준 픽셀(P1)의 디지털 신호와 연속 또는 불연속적으로 배치된 주변 픽셀(R)의 디지털 신호를 설정한 후, 기준 픽셀(P1)의 디지털 신호와 주변 픽셀(R)의 디지털 신호를 픽셀집합(G)의 디지털 신호로 추출할 수 있다.

예를 들어, 도 4 및 도 8을 참조하면, 추출부(410)는 기준 픽셀(P1)의 디지털 신호를 추출한 후, 기준 픽셀(P1)의 디지털 신호와 불연속하는 2개의 주변 픽셀(R)의 디지털 신호를 추출하고, 기준 픽셀(P1)의 디지털 신호와 연속하는 1개의 주변 픽셀(R)의 디지털 신호를 추출할 수 있다. 여기서, 기준 픽셀(P1)의 디지털 신호, 불연속하는 2개의 주변 픽셀의 디지털 신호 및 연속하는 1개의 주변 픽셀의 디지털 신호는 픽셀집합(G)으로 이해될 수 있다.

본 실시예에서는 기준 픽셀(P1)의 디지털 신호와 불연속하는 2개의 주변 픽셀(R)의 디지털 신호는 기준 픽셀(P1)의 디지털 신호를 기준으로 1열 간격 이격되어 있는 열의 디지털 신호들 중 2개가 선택되고, 기준 픽셀(P1)의 디지털 신호와 연속하는 1개의 주변 픽셀(R)의 디지털 신호는 기준 픽셀(P1)의 디지털 신호의 하단에 배치된 디지털 신호인 것을 예로 들어 설명하였다.

또한, 본 실시예에서 주변 픽셀(R)의 디지털 신호는 기준 픽셀(P1)의 디지털 신호 보다 먼저 생성된 것을 예를 들어 설명한다. 다만, 본 발명의 사상은 이에 한정되지 않으며 주변 픽셀(R)의 디지털 신호는 기준 픽셀(P1)의 디지털 신호 보다 뒤에 생성된 것으로 설정될 수도 있다.

또한, 추출부(410)는 이미지 센서(200)가 하나의 이미지를 구성하는 픽셀들의 디지털 신호를 생성하는 것과 시간적으로 중첩하여, 이미지 센서(200)에 의해 생성된 디지털 신호들 중 기 설정된 조건을 만족하는 픽셀집합의 디지털 신호를 추출할 수 있다. 또한, 가공부(420)는 이미지 센서(200)가 하나의 이미지를 구성하는 픽셀들의 디지털 신호를 생성하는 것과 시간적으로 충첩하여, 추출부(410)에서 추출된 디지털 신호를 기 설정된 알고리즘으로 처리하여 가공데이터를 생성할 수 있다.

예를 들어, 도 9에는 하나의 이미지를 구성하는 픽셀들의 디지털 신호가 생성되는 것과 시간적으로 중첩하여, 디지털 신호가 추출된 후 가공데이터가 생성되는 것을 개념적으로 도시한다.

여기서, 도 9의 도시된 붉은선으로 표시된 부분(G)과 파란선으로 표시된 부분(G')은 이미지 센서(200)에 의해 생성된 하나의 이미지를 구성하는 픽셀들의 일부인 디지털 신호들을 개념적으로 나타내고, 연두색선으로 표시된 부분은 이미지 센서(200)에 의해 생성될 예정인 이미지의 나머지 일부의 가상의 디지털 신호들을 개념적으로 나타내고, 회색선으로 표시한 부분(O)은 파란선으로 표시된 부분(G')과 붉은선으로 표시한 부분(G)이 중첩되지 않는 영역의 디지털 신호를 개념적으로 나타낸다.

또한, 도 9에 도시된 붉은 선으로 표시된 부분(G)은 도 7에서 상술한 픽셀집합(G)의 디지털 신호를 개념적으로 나타내고, 파란색으로 표시된 부분(G')은 빨간색으로 표시된 픽셀집합(G) 보다 시간적으로 뒤에 생성된 픽셀들의 집합(G')의 디지털 신호를 개념적으로 나타내는 것으로 이해될 수 있다.

도 9을 참조하면, 이미지 센서(200)에 의해 하나의 이미지의 픽셀 일부에 대응되는 디지털 신호(붉은선으로 표시된 영역 대응)가 생성된 후 저장부(300)에 저장되고, 추출부(410)는 생성된 디지털 신호에 대한 픽셀집합(G)의 디지털 신호(붉은선으로 표시된 영역 대응)를 추출하고, 가공부(420)는 추출된 픽셀집합(G)의 디지털 신호(붉은선으로 표시된 영역 대응)를 기 설정된 알고리즘으로 처리하여 가공데이터를 생성할 수 있다.

이때, 이미지 센서(200)는 이미지의 픽셀의 다른 일부에 대응되는 디지털 신호(회색 선으로 표시된 영역 대응)인 동시간 생성 픽셀(O)의 디지털 신호를 실시간으로 생성(시간적으로 중첩하여 생성)할 수 있다.

픽셀집합(G)의 디지털 신호(붉은선으로 표시된 영역 대응)에 대한 가공데이터가 생성된 후, 추출부(410)는 동시간 생성 픽셀(O)의 디지털 신호를 포함하는 다른 위치의 픽셀집합(G')에 대응되는 디지털 신호를 추출하고, 가공부(420)는 추출된 다른 위치의 픽셀집합(G')에 대응되는 디지털 신호(파란선으로 표시된 영역 대응)를 기 설정된 알고리즘으로 처리하여 가공데이터를 생성할 수 있다.

이때, 이미지 센서(200)는 이미지의 픽셀의 또 다른 일부에 대응되는 디지털 신호(예를 들어, 파란선으로 표시된 부분(G')과 연속하는 연두색선으로 표시된 부분의 디지털 신호)를 실시간으로 생성(시간적으로 중첩하여)할 수 있다.

이와 같은 과정을 연속적으로 처리하여, 하나의 이미지에 대응되는 디지털 신호를 실시간으로 처리할 수 있다.

즉, 본 실시예의 카메라 장치(10)는 디지털 신호를 실시간으로 처리할 수 있는바 작은 용량을 갖는 저장부(300)를 사용하더라도 디지털 신호를 안정적으로 처리할 수 있다.

또한, 저장부(300)는 복수 개의 프레임에 대응하는 복수 개의 이미지(예를 들어, 하나의 이미지 및 제n 이미지)의 픽셀들에 대한 디지털 신호를 저장할 수 있고, 추출부(410)와 가공부(420)는 복수 개의 이미지에 대응되는 픽셀들에 대한 디지털 신호를 동시에 처리할 수 있다.

예를 들어, 도 9를 참조하면 추출부(410)는 하나의 이미지(M)를 구성하는 픽셀들의 디지털 신호에서 기 설정된 조건을 만족하는 픽셀집합(G)의 디지털 신호와, 제n 이미지(M')를 구성하는 픽셀들의 디지털 신호에서 기 설정된 조건을 만족하는 픽셀집합(G')의 디지털 신호를 동시에 추출할 수 있다.

가공부(420)는 추출된 이미지(M)에 대한 픽셀집합(G)의 디지털 신호 및 제n 이미지에 대한 픽셀집합(G')의 디지털 신호를 기 설정된 알고리즘으로 동시에 처리하여, 복수 개의 가공데이터를 동시에 생성할 수 있다.

이와 같이 추출부(410)와 가공부(420)는 복수 개의 이미지를 구성하는 픽셀들에 대한 디지털 신호를 동시에 처리할 수 있는바 가공데이터의 생성 속도를 향상시킬 수 있다.

또한, 추출부(410)는, n행 X m열 구조로 배치된 하나의 이미지(M)를 구성하는 픽셀들의 디지털 신호에서 제1 위치의 픽셀집합(G)을 추출하고, n행 X m열 구조로 배치된 제n 이미지(M')를 구성하는 픽셀들의 디지털 신호에서 제2 위치의 픽셀집합(G')을 추출하고, 제1 위치와 제2 위치를 서로 다르게 설정할 수 있다.

추출부(410)는 제1 위치와 제2 위치를 동일한 위치로 설정할 수도 있고, 제1 위치와 제2 위치가 서로 다른 위치가 되도록 설정할 수 있다.

도 10에서는 제1 위치의 픽셀집합(G)과 제2 위치의 픽셀집합(G')을 도시하고, 제1 위치와 제2 위치가 동일한 것을 도시한다. 다만, 본 발명의 사상은 제1 위치와 제2 위치는 서로 다르게 제공되는 것을 포함한다.

예를 들어, 하나의 이미지(M)의 픽셀집합(G)은 제1 위치에 생성되고, 제n 이미지(M')의 픽셀집합(G')은 제1 위치와 다른 제2 위치에 생성됨으로써, 복수 개의 이미지를 구성하는 픽셀들의 서로 다른 위치의 디지털 신호를 동시에 처리할 수 있는바 가공데이터의 생성 속도를 향상시킬 수 있다.

가공부(420)는 추출부(410)에서 추출된 픽셀집합(G)의 디지털 신호를 기 설정된 알고리즘으로 처리하여 픽셀집합(G)에 대응되는 가공데이터로 생성할 수 있다.

여기서, 기 설정된 알고리즘은 Canny Edge Detection을 통한 경계선 검출 후, 허프 변환(Hough Transform)을 이용한 직선 검출을 포함할 수 있다.

Canny Edge Detection을 실행함으로써 추출된 픽셀집합의 디지털 신호가 경계선을 포함하고 있는지 검출할 수 있다.

예를 들어, Canny Edge Detection은 픽셀집합의 디지털 신호에서 가우시안 필터(Gaussian Filter)를 이용해 노이즈를 제거하고, 노이즈가 제거된 디지털 신호에서 기울기(gradient)가 높은 부분을 획득한 후, 경계선에 기여하는 부분이 적은 부분을 제거하기 위해 기울기 크기 임계값(gradient magnitude thresholding) 또는 하한 컷오프 억제(lower bound cut-off suppression )를 적용하고, 이중 임계값(double threshold)을 적용하여 잠재적 가장자리(potential edge)를 결정하고, 히스테리시스(hysteresis)로 경계선을 추적할 수 있다. 여기서, 히스테리시스(hysteresis)는 약한 경계선들을 제거하는 것을 포함할 수 있다.

또한, 허프 변환(Hough Transform)을 이용하여 직선을 검출하는 것을 포함할 수 있다. 다만, 본 발명의 사상은 이에 한정되지 않으며, 허프 변환(Hough Transform)을 이용하여 곡선을 검출하는 것을 포함할 수도 있다. 여기서, 직선 또는 곡선은 차선의 형상으로 이해될 수 있따. 검출된 직선은 차선검출 데이터로서 이미지 처리 장치(20)로 전송될 수 있다. 허프 변환(Hough Transform)은 하기와 식을 포함할 수 있다.

여기서 r은 원점에서 직선상의 가장 가까운 점까지의 거리이고, θ는 x축과 원점과 가장 가까운 점을 연결하는 선 사이의 각도를 나타낸다. 따라서 이미지의 각 라인과 쌍(r, θ)을 연관시키는 것이 가능하다. (r, θ) 평면은 2차원의 직선 집합에 대한 허프 공간(Hough space)으로 표현될 수 있다. 이것은 허프 변환을 개념적으로 2차원 라돈 변환(Radon transform)에 가깝게 만들 수 있다.

평면의 단일 점이 주어지면, 해당 점을 통과하는 모든 직선 세트는 해당 점에 고유한 (r, θ) 평면의 사인 곡선에 해당한다. 직선을 형성하는 두 개 이상의 점 집합은 해당 선에 대해 (r, θ)에서 교차하는 사인곡선(sinusoids)을 생성할 수 있다. 따라서 동일선상의 점(collinear points)을 검출하는 원리로 차선을 검출할 수 있다.

이와 같이 검출된 차선은 가공데이터로서 전달부(500)에 의해 이미지 처리 장치(20)로 전달되어, 자율주행에 필요한 데이터로서 사용될 수 있다.

또한, 가공부(420)는 픽셀집합에 대응되는 디지털 신호를 그레이스케일(Gray scale)로 변환한 후 가공데이터를 생성할 수 있다. 이와 같은 그레이스케일(Gray scale)을 사용하여 데이터 처리를 더욱 용이하게 할 수 있는바 프로세서(400)에 의한 처리속도를 더욱 향상시킬 수 있다.

통신부(600)는 네트워크(30)를 통해 이미지 처리 장치(20)로 이미지 및 이를 처리한 가공데이터를 전송할 수 있다.

전달부(500)는 이미지 센서(200)에 의해 발생된 촬영된 이미지, 이미지 센서(200)에 의해 변환된 디지털 신호, 프로세서(400)에 의해 처리된 가공데이터 중 적어도 하나를 통신부(600)를 통해 이미지 처리 장치(20)로 전달할 수 있다.

도 11은 도 2의 카메라 장치의 제어방법의 순서도를 개략적으로 나타내는 도면이다. 이하에서는, 도 11을 참조하여 상술한 카메라 장치(10)의 제어방법에 대해 설명한다.

본 발명의 일 실시예에 따르면, 이미지 센서(200)에 의해 이미지를 구성하는 픽셀 단위로 색상 데이터를 포함하는 디지털 신호를 발생시키는 단계(S1단계); 연속해서 생성된 디지털 신호가 저장부(300)에 저장되는 단계(S2단계); 추출부(410)에 의해 상기 저장부(300)에 저장되어 있는 상기 디지털 신호들 중 기 설정된 조건을 만족하는 픽셀집합의 디지털 신호가 추출되는 단계(S3 단계); 가공부(420)에 의해 픽셀집합의 디지털 신호를 기 설정된 알고리즘으로 처리하여 상기 픽셀집합의 가공데이터가 생성되는 단계(S4 단계)를 포함할 수 있다.

S1 단계는, 이미지 센서(200)에 의해 어나 하나의 픽셀의 디지털 신호를 생성한 후, 어느 하나의 픽셀과 인접한 열 또는 인접합 행이 픽셀의 디지털 신호를 생성하는 방법으로 연속적으로 디지털 신호를 생성하는 단계를 포함할 수 있다.

S2 단계는, 이미지 센서(200)로부터 먼저 입력된 디지털 신호가 먼저 삭제되는 방식으로 디지털 신호가 저장 및 삭제되는 단계를 포함할 수 있다.

S3 단계는, 복수 개의 열 중에서 기준 픽셀(P1)의 디지털 신호가 포함된 열을 기준 열로 설정하고, 기준 열에 포함된 픽셀들의 디지털 신호 중 연속하는 디지털 신호의 적어도 일부를 상기 픽셀집합의 디지털 신호로 추출하는 단계를 포함할 수 있다.

또한, S3 단계는 복수 개의 행 중에서 기준 픽셀(P1)의 디지털 신호가 포함된 행을 기준 행으로 설정하고, 상기 기준 행에 포함된 픽셀들의 디지털 신호 중 연속하는 디지털 신호의 적어도 일부를 상기 픽셀집합의 디지털 신호로 추출하는 단계를 포함할 수 있다.

또한, S3 단계는 복수 개의 행과 열 중에서 기준 픽셀(P1)의 디지털 신호가 포함된 행과 열을 각각 기준 행과 기준 열로 설정하고, 기준 행과 인접한 하나 이상의 행을 인접 행으로 설정하고, 기준 열과 인접한 하나 이상 행을 인접 열로 설정하고, 상기 기준 행, 상기 기준 열, 상기 인접 행 및 상기 인접 열에 포함된 픽셀들의 디지털 신호 중 연속하는 디지털 신호의 적어도 일부를 픽셀집합의 디지털 신호로 추출하는 단계를 포함할 수 있다.

ㄴ또한, S3 단계는, 이미지 센서(200)에 의해 하나의 이미지의 픽셀들에 대응되는 디지털 신호가 생성되는 것과 시간적으로 중첩하여, 이미지 센서(200)에 의해 생성된 디지털 신호들 중 기 설정된 조건을 만족하는 픽셀집합의 디지털 신호가 추출되는 단계를 포함할 수 있다. 이때, 이미지 센서(200)에 의해 하나의 이미지를 구성하는 픽셀들의 디지털 신호를 생성하는 것과 시간적으로 중첩하여, 추출부(410)에 의해 추출된 디지털 신호가 기 설정된 알고리즘으로 처리되어 가공데이터가 생성되는 단계가 동시에 실행될 수 있다.

또한, S3 단계는, 추출부(410)에 의해 제n 이미지를 구성하는 픽셀들의 디지털 신호들 중 상기 기 설정된 조건을 만족하는 픽셀집합의 디지털 신호가 더 추출되는 단계를 포함할 수 있다. 그 후, 가공부(420)에 의해 추출부(410)에서 추출된 제n 이미지를 구성하는 픽셀들의 디지털 신호를 더 포함하여 가공데이터가 생성되는 단계가 실행될 수 있다.

또한, S3 단계는, 픽셀집합의 디지털 신호가 연속적으로 추출됨으로써, 하나의 이미지를 구성하는 픽셀들의 디지털 신호가 추출되는 단계를 포함할 수 있다.

S4단계는, 가공부(420)에 의해 Canny Edge Detection을 통한 경계선 검출 후, 허프 변환(Hough Transform)을 이용하여 차선이 검출되는 단계를 포함할 수 있다.

S3단계는, 픽셀집합의 가공데이터가 연속적으로 생성됨으로써, 하나의 프레임에 대응되는 하나의 이미지에 대한 차선이 검출되는 단계를 포함할 수 있다.

이상 본 발명의 실시예에 따른 카메라 장치(10), 및 카메라 장치(10)의 제어방법 및 카메라 장치(10)를 포함하는 이미지 처리 시스템(1)을 구체적인 실시 형태로서 설명하였으나, 이는 예시에 불과한 것으로서 본 발명은 이에 한정되지 않는 것이며, 본 명세서에 개시된 기초 사상에 따르는 최광의 범위를 갖는 것으로 해석되어야 한다. 당업자는 개시된 실시 형태들을 조합, 치환하여 적시되지 않은 실시 형태를 실시할 수 있으나, 이 역시 본 발명의 권리범위를 벗어나지 않는 것이다. 이외에도 당업자는 본 명세서에 기초하여 개시된 실시형태를 용이하게 변경 또는 변형할 수 있으며, 이러한 변경 또는 변형도 본 발명의 권리범위에 속함은 명백하다.

1 : 이미지 처리 시스템 10 : 카메라 장치
20 : 이미지 처리 장치 200 : 이미지 센서
30 : 네트워크 300 : 저장부
400 : 프로세서 410 : 추출부
420 : 가공부 500 : 전달부
600 : 통신부

Claims

하나의 프레임에 대응되는 이미지를 생성할 수 있는 카메라 장치에 있어서,
상기 이미지를 구성하는 픽셀 단위로 색상 데이터를 포함하는 디지털 신호를 연속해서 발생시킬 수 있는 이미지 센서;
상기 이미지 센서에서 연속해서 생성된 상기 디지털 신호를 순차적으로 저장할 수 있는 저장부;
상기 저장부에 저장되어 있는 상기 디지털 신호들 중 기 설정된 조건을 만족하는 픽셀집합의 디지털 신호를 추출하는 추출부;
상기 추출부에서 추출된 상기 픽셀집합의 디지털 신호를 기 설정된 알고리즘에 따라 처리하여 상기 픽셀집합의 가공데이터를 생성하는 가공부를 포함하고,
상기 추출부는,
상기 이미지 센서가 하나의 이미지의 픽셀들에 대응되는 디지털 신호를 생성하는 것과 시간적으로 중첩하여, 상기 이미지 센서에 의해 생성된 디지털 신호들 중 상기 기 설정된 조건을 만족하는 픽셀집합에 대응되는 디지털 신호를 추출하고,
상기 가공부는,
상기 이미지 센서가 하나의 이미지를 구성하는 픽셀들의 디지털 신호를 생성하는 것과 시간적으로 중첩하여, 상기 추출부에서 추출된 디지털 신호를 상기 기 설정된 알고리즘으로 처리하여 상기 가공데이터를 생성하고,
상기 이미지 센서는,
연속적으로 촬영된 복수 개의 이미지에 대한 픽셀 단위의 디지털 신호를 발생시키고,
상기 저장부는,
하나의 이미지를 구성하는 픽셀들의 디지털 신호 및 상기 하나의 이미지와 다른 제n 이미지를 구성하는 픽셀들의 디지털 신호를 저장하고,
상기 추출부는,
상기 제n 이미지를 구성하는 픽셀들의 디지털 신호들 중 상기 기 설정된 조건을 만족하는 픽셀집합의 디지털 신호를 더 추출하고,
상기 가공부는,
상기 추출부에서 추출된 상기 제n 이미지를 구성하는 픽셀들의 디지털 신호를 더 포함하여 상기 가공데이터를 생성하고,
상기 추출부는,
상기 하나의 이미지를 구성하는 픽셀들의 디지털 신호들 중 기 설정된 조건을 만족하는 픽셀집합의 디지털 신호와, 상기 제n 이미지를 구성하는 픽셀들의 디지털 신호들 중 기 설정된 조건을 만족하는 픽셀집합의 디지털 신호를 동시에 추출하고,
상기 가공부는,
추출된 하나의 이미지에 대한 픽셀집합의 디지털 신호와, 상기 제n 이미지에 대한 픽셀집합의 디지털 신호를 기 설정된 알고리즘으로 동시에 처리하여 복수 개의 가공데이터를 동시에 생성하는
카메라 장치.
제1 항에 있어서,
상기 하나의 프레임에 대응되는 상기 이미지는 픽셀이 n개의 행과 m개의 열로 배치되는 구조를 포함하고,
상기 이미지 센서는,
어느 하나의 픽셀의 디지털 신호를 생성한 후, 상기 어느 하나의 픽셀과 인접한 열 또는 인접한 행의 픽셀의 디지털 신호를 생성하는 방법으로 연속적으로 상기 디지털 신호를 생성하고,
상기 추출부는,
복수 개의 상기 행 중에서 기준 픽셀(P1)의 디지털 신호가 포함된 행을 기준 행으로 설정하고, 상기 기준 행에 포함된 픽셀들의 디지털 신호 중 연속하는 디지털 신호의 적어도 일부를 상기 픽셀집합의 디지털 신호로 추출하는
카메라 장치.
제1 항에 있어서,
상기 하나의 프레임에 대응되는 상기 이미지는 픽셀이 n개의 행과 m개의 열로 배치되는 구조를 포함하고,
상기 이미지 센서는,
어느 하나의 픽셀의 디지털 신호를 생성한 후, 상기 어느 하나의 픽셀과 인접한 열 또는 인접한 행의 픽셀의 디지털 신호를 생성하는 방법으로 연속적으로 상기 디지털 신호를 생성하고,
상기 추출부는,
복수 개의 상기 열 중에서 기준 픽셀(P1)의 디지털 신호가 포함된 열을 기준 열로 설정하고, 상기 기준 열에 포함된 픽셀들의 디지털 신호 중 연속하는 디지털 신호의 적어도 일부를 상기 픽셀집합의 디지털 신호로 추출하는
카메라 장치.
제1 항에 있어서,
하나의 프레임에 대응되는 상기 이미지는 픽셀이 n개의 행과 m개의 열로 배치되는 구조를 포함하고,
상기 이미지 센서는,
어느 하나의 픽셀의 디지털 신호를 생성한 후, 상기 어느 하나의 픽셀과 인접한 열 또는 인접한 행의 픽셀의 디지털 신호를 생성하는 방법으로 연속적으로 상기 디지털 신호를 생성하고,
상기 추출부는,
복수 개의 상기 행과 열 중에서 기준 픽셀(P1)의 디지털 신호가 포함된 행과 열을 각각 기준 행과 기준 열로 설정하고, 상기 기준 행과 인접한 하나 이상의 행을 인접 행으로 설정하고, 상기 기준 열과 인접한 하나 이상 행을 인접 열로 설정하고,
상기 기준 행, 상기 기준 열, 상기 인접 행 및 상기 인접 열에 포함된 픽셀들의 디지털 신호 중 연속하는 디지털 신호의 적어도 일부를 상기 픽셀집합의 디지털 신호로 추출하는
카메라 장치.
제1 항에 있어서,
상기 추출부는,
기준 픽셀(P1)의 디지털 신호를 설정하고, 상기 기준 픽셀(P1)의 디지털 신호와 연속 또는 불연속적으로 배치된 주변 픽셀(R)의 디지털 신호를 설정한 후, 상기 기준 픽셀(P1)의 디지털 신호와 상기 주변 픽셀(R)의 디지털 신호를 상기 픽셀집합의 디지털 신호로 추출하는
카메라 장치.
제3 항 또는 제4 항에 있어서,
상기 픽셀집합에 대응되는 디지털 신호는 상기 기준 픽셀(P1)의 디지털 신호와, 상기 기준 픽셀(P1)의 디지털 신호와 연속하게 배치되는 주변 픽셀의 디지털 신호를 포함하고,
상기 주변 픽셀의 디지털 신호는 상기 기준 픽셀(P1)의 디지털 신호 보다 먼저 생성된
카메라 장치.
삭제
삭제
제1 항에 있어서,
상기 추출부는,
n행 X m열 구조로 배치된 하나의 이미지를 구성하는 픽셀들의 디지털 신호에서 제1 위치의 픽셀집합을 추출하고,
n행 X m열 구조로 배치된 제n 이미지를 구성하는 픽셀들의 디지털 신호에서 제2 위치의 픽셀집합을 추출하고,
상기 제1 위치와 상기 제2 위치를 서로 다르게 설정하는
카메라 장치.
제1 항에 있어서,
상기 추출부는,
상기 픽셀집합의 디지털 신호를 추출한 후, 상기 픽셀집합의 디지털 신호와 기 설정된 위치관계를 만족하는 제n 픽셀들의 집합의 디지털 신호를 연속적으로 추출하고,
상기 가공부는,
상기 픽셀집합의 디지털 신호와 상기 제n 픽셀들의 집합의 디지털 신호를 상기 기 설정된 알고리즘으로 처리하여 상기 가공데이터를 생성하는
카메라 장치.
제1 항에 있어서,
상기 추출부에 의한 상기 픽셀집합의 디지털 신호의 추출 속도와 상기 가공부에 의한 상기 픽셀집합의 디지털 신호의 처리 속도는, 상기 이미지 센서에 의한 픽셀집합을 구성하는 픽셀들의 디지털 신호의 발생 속도와 같거나 빠른
카메라 장치.
제1 항에 있어서,
상기 저장부는,
상기 이미지 센서로부터 먼저 입력된 디지털 신호를 먼저 삭제되는 방식으로 상기 디지털 신호를 저장 및 삭제하는
카메라 장치.
제1 항에 있어서,
상기 카메라 장치는,
상기 이미지 센서에 의해 발생된 상기 디지털 신호와 상기 가공부에 의해 처리된 가공데이터 중 적어도 하나를 통신부를 통해 이미지 처리 장치로 전달하는 전달부를 더 포함하는
카메라 장치.
제1 항에 있어서,
상기 하나의 프레임에 대응되는 상기 이미지는 픽셀이 n개의 행과 m개의 열로 배치되는 구조를 포함하고,
상기 추출부에 의해 추출되는 상기 픽셀집합을 구성하는 상기 픽셀에 대응되는 디지털 신호의 개수는 (n-1) X (m-1) 보다 작은
카메라 장치.
제1 항에 있어서,
상기 하나의 프레임에 대응되는 상기 이미지는 픽셀이 n개의 행과 m개의 열로 배치되는 구조를 포함하고,
상기 추출부에 의해 추출되는 상기 픽셀집합은 정사각형 모양, 십자(+)형 모양 또는 엑스자(X)형 모양 중 하나로 설정되는
카메라 장치.
제1 항에 있어서,
상기 가공부에 의해 실행되는 기 설정된 알고리즘은 Canny Edge Detection을 통한 경계선 검출 후, 허프 변환을 이용하여 직선을 검출하는 것을 포함하는
카메라 장치.
제1 항에 있어서,
상기 가공부는,
상기 추출부에 의해 추출된 상기 픽셀집합에 대응되는 디지털 신호를 그레이스케일로 변환한 후 처리를 수행하는
카메라 장치.
삭제
삭제
삭제
삭제
삭제