KR102591663B1

KR102591663B1 - 영상 처리를 위한 전자 장치 및 영상 처리 방법

Info

Publication number: KR102591663B1
Application number: KR1020190036364A
Authority: KR
Inventors: 여준기; 석정희
Original assignee: 한국전자통신연구원
Priority date: 2018-11-27
Filing date: 2019-03-28
Publication date: 2023-10-20
Anticipated expiration: 2039-03-28
Also published as: KR20200063017A

Abstract

본 발명의 실시 예에 따른 전자 장치는 프레임 단위로 생성되는 제 1 내지 제 3 영상 데이터에 기초하여 제 1 내지 제 3 픽셀 데이터를 생성하고, 그리고 제 1 픽셀 데이터가 저장되기 시작하는 제 1 메모리의 주소를 저장하는 제 1 레지스터, 제 1 픽셀 데이터 다음의 제 2 픽셀 데이터가 저장되는 제 2 메모리의 주소를 저장하는 제 2 레지스터, 및 제 3 픽셀 데이터가 저장된 제 3 메모리의 주소를 저장하는 제 3 레지스터를 포함하는 제어기, 제어기의 제 3 레지스터에 저장된 제 3 메모리의 주소를 참조하여 제 3 메모리로부터 제 3 픽셀 데이터를 수신하여 처리하고 그리고 제 1 및 제 2 레지스터들에 저장된 주소들을 설정하는 프로세서, 제 1 내지 제 3 메모리들을 포함하는 복수의 메모리들, 및 프로세서의 제어에 기초하여 복수의 메모리들과 제어기를 연결하는 선택기를 포함할 수 있다.

Description

영상 처리를 위한 전자 장치 및 영상 처리 방법{APPARATUS FOR IMAGE PROCESSING AND IMAGE PROCESSING METHOD}

본 발명은 영상 처리를 위한 전자 장치 및 영상 처리 방법에 관한 것으로, 좀 더 상세하게는 다채널 프레임 그래버를 위한 다중 버퍼링을 제어하는 영상 처리 장치 및 영상 처리 방법에 관한 것이다.

최근, 사용자의 편의성을 확보하기 위하여 전방, 후방, 및 측방 등 주변부를 하나의 화면을 통하여 관찰할 수 있는 차량에 대한 요구가 제기되고 있다. 나아가, 주변부의 사물을 인지하여 자율 주행이 가능하도록 영상 인식 알고리즘을 이용한 스마트 카 또는 ADAS(Advanced Driver Assistance System)이 각광받고 있다. 주변부를 감지하기 위하여 복수의 카메라가 차량에 배치될 수 있다. 복수의 카메라 각각은 서로 다른 방향의 영상을 감지하고, 복수의 영상 신호를 프레임 그래버에 제공할 수 있다.

프로세서가 처리해야 하는 영상이 훼손되는 것을 막기 위하여 메모리의 영역을 2개 이상으로 구분하여 사용하는 듀얼 버퍼링(dual buffering), 트리플 버퍼링(triple buffering) 등의 방법이 사용된다. 이러한 다중 버퍼링을 지원하기 위해서는 메모리의 크기가 이에 비례하게 커지는 단점이 있다. 따라서, 다수의 카메라를 처리해야 하는 시스템에서 다수 개의 버퍼를 효율적으로 관리할 수 있는 방법이 요구된다.

본 발명은 상술한 기술적 과제를 해결하기 위한 것으로, 본 발명은 다채널 프레임 그래버를 위한 다중 버퍼링을 제어하는 영상 처리 장치 및 영상 처리 방법을 제공할 수 있다.

예를 들어, 제어기는 프로세서에 인터럽트 신호를 전송할 수 있고, 그리고 프로세서는 인터럽트 신호를 수신한 후 제 1 레지스터에 제 3 레지스터의 값을 저장할 수 있다.

예를 들어, 프로세서는 인터럽트 신호를 수신한 후 제 2 레지스터에 제 3 메모리의 주소를 기록할 수 있다.

예를 들어, 프로세서는 인터럽트 신호를 수신한 후 제어기가 제 1 메모리에 저장을 완료한 픽셀 데이터를 수신할 수 있다.

예를 들어, 프로세서가 제 1 메모리에 저장을 완료한 픽셀 데이터를 수신한 후 제어기는 제 3 레지스터에 제 2 레지스터의 값을 저장할 수 있다.

예를 들어, 제어기가 제 3 레지스터에 제 2 레지스터의 값을 저장한 후 제어기는 프로세서에 다른 인터럽트 신호를 전송할 수 있다.

예를 들어, 프로세서가 다른 인터럽트 신호를 수신한 후 제어기가 제 2 메모리에 저장을 완료한 픽셀 데이터를 수신할 수 있다.

본 발명의 실시 예에 따른 영상 처리 방법은 디코더에 의해, 복수의 카메라로부터 수신한 복수의 영상 신호에 근거하여 복수의 영상 데이터를 생성하는 단계, 제어기에 의해, 복수의 영상 데이터에 근거하여 복수의 픽셀 데이터를 생성하는 단계, 프로세서에 의해, 제어기에 제 1 및 제 2 메모리들을 할당하고 제 1 메모리의 주소 및 제 2 메모리의 주소를 각각 제어기의 제 1 및 제 2 레지스터들에 기록하는 단계, 선택기에 의해, 1 및 제 2 레지스터들의 값에 기초하여 제 1 및 제 2 메모리들을 제어기와 연결하는 단계, 프로세서에 의해, 제어기로부터 선택기를 경유하여 제 1 및 제 2 메모리들에 각각 저장된 제 1 및 제 2 픽셀 데이터를 수신하는 단계를 포함할 수 있다.

예를 들어, 영상 처리 방법은 제어기에 의해 프로세서에 인터럽트 신호를 전송하는 단계를 더 포함할 수 있다.

예를 들어, 프로세서는 인터럽트 신호를 수신한 후, 제 2 레지스터에 제 3 메모리의 주소를 기록하고 그리고 제어기가 제 1 메모리에 저장을 완료한 픽셀 데이터를 수신할 수 있다.

본 발명의 실시 예에 따른 본 발명은 영상 처리기기에서 영상 데이터 신호를 캡쳐하고 프로세서에 효율적으로 전달하는 기술에 관한 것이다.

본 발명은 다수의 카메라 영상을 입력 받는 시스템에서 다수개의 버퍼를 효율적으로 관리하여 다수개의 영상을 원활하게 전송하는데 그 목적이 있다.

본 발명의 구성에 따르면, 다수의 카메라 영상을 입력 받는 시스템에서 다수개의 버퍼를 통합 관리하여 메모리를 효율적으로 사용함과 동시에, 입력되는 카메라 영상의 소실을 최소화 할 수 있다.

도 1은 본 발명의 실시 예에 따른 영상 처리를 위한 전자 장치를 나타내는 블록도이다.
도 2는 본 발명의 다른 실시 예에 따른 영상 처리를 위한 전자 장치를 나타내는 블록도이다.
도 3은 본 발명의 다른 실시 예에 따른 영상 처리를 위한 전자 장치를 나타내는 블록도이다.
도 4는 도 3의 프로세서에 의해 각 제어기들에 메모리를 할당하는 방법을 나타내는 순서도이다.
도 5는 도 3의 제어기들에 의해 메모리들로 영상을 전송하는 방법을 나타내는 순서도이다.

아래에서는, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 쉽게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다.

도 1은 본 발명의 실시 예에 따른 영상 처리를 위한 전자 장치의 블록도이다. 도 1을 참조하면, 전자 장치(1000)는 영상 처리를 위한 것일 수 있다. 전자 장치(1000)는 카메라부(1100) 및 프레임 그래버(frame grabber; 1200)를 포함할 수 있다. 카메라부(1100)는 제 1 내지 제 n 카메라들(1101~110n)을 포함할 수 있다. n은 자연수이고 그리고, 예를 들어, 전자 장치(1000)의 이용 분야, 이용 양태, 카메라의 시야각, 요구되는 영상의 감지 범위, 또는 카메라들 사이의 간격 등을 고려하여 카메라의 개수 n이 결정될 수 있다.

제 1 내지 제 n 카메라들(1101~110n)은 전자 장치(1000)가 이용되는 장치에 배치된다. n이 2 이상인 경우, 제 1 내지 제 n 카메라들(1101~110n)은 장치의 서로 다른 위치에 배치될 수 있다. 제 1 내지 제 n 카메라들(1101~110n)은 장치에 서로 이격되어 배치될 수 있다. 따라서, 제 1 내지 제 n 카메라들(1101~110n)은 서로 다른 영상들을 각각 촬영할 수 있고, 서로 다른 방향들의 영상들을 감지할 수 있다. 예를 들어, 전자 장치(1000)가 자동차에 이용되는 경우, 제 1 카메라(1101)는 자동차의 전방에 배치되어, 전방의 영상을 촬영할 수 있다. 제 2 카메라(1102)는 자동차의 측방에 배치되어, 측방의 영상을 촬영할 수 있다. 또한, 제 n 카메라(110n)는 자동차의 후방에 배치되어, 후방의 영상을 촬영할 수 있다.

카메라부(1100)는 영상을 감지할 수 있다. 카메라부(1100)는 감지된 영상에 근거하여 영상 신호를 생성할 수 있다. 카메라부(1100)는 복수의 프레임들에 각각 대응하는 복수의 영상신호들을 생성할 수 있다. 제 1 카메라(1101)는 영상 신호(I)를 생성할 수 있다. 영상 신호(I)는 복수의 프레임들에 대응하는 복수의 영상 신호들을 포함할 수 있다. 제 1 내지 제 n 카메라들(1101~110n) 각각은 복수의 프레임들에 대응하는 복수의 영상 신호들을 생성할 수 있다.

제 1 내지 제 n 카메라들(1101~110n)은 각각 영상 신호들을 동시에 생성할 수 있다. 예를 들어, 제 1 내지 제 n 카메라들(1101~110n)은 동시에 서로 다른 방향의 영상을 촬영할 수 있다. 제 1 내지 제 n 카메라들(1101~110n)이 동시에 촬영한 영상들에 근거하여 하나의 파노라마 영상이 사용자에게 표시될 수 있다.

제 1 내지 제 n 카메라들(1101~110n)은 프레임 그래버(1200)에 영상 신호들을 제공할 수 있다. 예를 들어, 제 1 카메라(1101)의 영상 신호는 자동차 전방의 영상에 대응될 수 있고, 제 1 카메라(1101)의 영상 신호는 자동차 측방의 영상에 대응될 수 있다. 제 1 내지 제 n 카메라들(1101~110n)의 영상 신호들은 동일한 시점에 촬영된 영상에 근거하여 생성될 수 있다. 즉, 전자 장치는 제 1 내지 제 n 카메라들(1101~110n)의 영상 신호들에 근거하여 동일한 시점에 촬영된 자동차의 전방, 후방, 및 측방을 인지할 수 있다. 예를 들어, 자동차의 자율 주행 시, 자동차는 제 1 내지 제 n 카메라들(1101~110n)의 영상 신호들에 근거하여 전방, 후방, 및 측방의 사물들을 인지할 수 있다. 이 때, 제 1 내지 제 n 카메라들(1101~110n)의 영상 신호들이 하나의 프레임 또는 시점에 대응하는 영상 신호로 인지되지 않는 경우, 실제 사물들의 위치와 인지되는 사물들의 위치가 상이하다. 따라서, 자동차의 자율 주행 기능이 수행되기 어렵다.

프레임 그래버(1200)는 프레임 단위로 영상 신호를 수신하고, 수신한 영상 신호에 근거한 영상 데이터를 메모리에 저장할 수 있다. 프레임 그래버(1200)는 제 1 내지 제 n 카메라들(1101~110n) 각각으로부터 복수의 프레임들에 대응하는 복수의 영상 신호들을 수신할 수 있다. 프레임 그래버(1200)는 동시에 생성된 제 1 내지 제 n 카메라들(1101~110n)의 영상 신호들을 서로 다른 시점에 수신할 수 있다. 프레임 그래버(1200)는 서로 다른 시점에 수신된 제 1 내지 제 n 카메라들(1101~110n)의 영상 신호들에 대한 식별 정보를 별도로 관리할 수 있다. 카메라부(1100)에 포함된 카메라의 개수가 2 이상인 경우(n이 2 이상), 프레임 그래버(1200)는 다채널 프레임 그래버로 지칭될 수 있다.

도 2는 본 발명의 다른 실시 예에 따른 영상 처리를 위한 전자 장치를 나타내는 블록도이다. 도 2는 도 1을 참조하여 설명될 것이다. 전자 장치(2000)는 영상 처리를 위한 것일 수 있다. 도 2를 참조하면, 전자 장치(2000)는 카메라부(2100), 제 1 내지 제 n 디코더들(2211~221n), 제 1 내지 제 n 제어기들(2221~222n), 제 1 내지 제 n 메모리들(2231~223n), 및 프로세서(2240)를 포함할 수 있다. 전자 장치(2000)에서, 제 1 내지 제 n 디코더들(2211~221n) 및 제 1 내지 제 n 제어기들(2221~222n)은 프레임 그래버로 지칭될 수 있다. 카메라부(2100) 및 제 1 내지 제 n 카메라들(2101~210n)은 각각 도 1의 카메라부(1100) 및 제 1 내지 제 n 카메라들(1101~110n)과 실질적으로 동일할 수 있다.

도 2에서, 제 1 디코더(2211), 제 1 제어기(2221), 및 제 1 메모리(2231)는 각각 제 2 내지 제 n 디코더들(2212~221n), 제 2 내지 제 n 제어기들(2222~222n), 및 제 2 내지 제 n 메모리들(2232~223n)과 실질적으로 동일할 수 있다. 따라서, 이하에서는 제 1 디코더(2211), 제 1 제어기(2221), 및 제 1 메모리(2231)에 대해서만 설명한다. 제 1 내지 제 n 디코더들(2211~221n), 제 1 내지 제 n 제어기들(2221~222n), 및 제 1 내지 제 n 메모리들(2231~223n)의 개수들은 각각 카메라부(2100)에 포함된 카메라들의 개수와 동일할 수 있다.

제 1 디코더(2211)는 제 1 카메라(2101)로부터 프레임 단위로 영상 신호(I)를 수신할 수 있다. 제 1 디코더(2211)는 프레임 단위로 영상 신호(I)를 복호화할 수 있다. 제 1 디코더(2211)는 아날로그 신호인 영상 신호(I)를 디지털 신호인 영상 데이터(D)로 변환할 수 있다. 영상 데이터(D)는 픽셀 클럭 데이터, 픽셀 컬러 데이터, 수평 동기 신호, 및 수직 동기 신호 중 적어도 하나를 포함할 수 있다. 픽셀 클럭 데이터는 데이터가 출력되는 구간 동안 하이 레벨을 갖는 신호일 수 있다. 픽셀 컬러 데이터는 픽셀의 RGB 정보에 대응될 수 있다. 수평 동기 신호는 행 구별 신호이고, 수직 동기 신호는 프레임 구별 신호일 수 있다.

제 1 제어기(2221)는 제 1 디코더(2211)로부터 프레임 단위로 영상 데이터(D)를 수신할 수 있다. 제 1 제어기(2221)는 프레임 단위로 생성되는 영상 데이터(D)에 기초하여 픽셀 데이터(P)를 생성할 수 있다. 제 1 제어기(2221)는 영상 데이터(D)에 포함된 수직 동기 신호 및 수평 동기 신호를 분석하여 픽셀 데이터(P)를 생성할 수 있다. 픽셀 데이터(P)는 하나의 프레임에 대응하는 영상을 표시하기 위하여 표시 장치(미도시)에 인가되는 데이터일 수 있다.

제 1 제어기(2221)는 픽셀 데이터(P)를 제 1 메모리(2231)에 제공할 수 있다. 제 1 메모리(2231)가 픽셀 데이터(P)를 저장한 경우, 제 1 제어기(2221)는 인터럽트 신호(IR)를 프로세서(2240)에 제공할 수 있다. 프로세서(2240)는 인터럽트 신호(IR)를 수신한 경우, 제 1 메모리(2231)에 저장된 픽셀 데이터(P)를 읽을 수 있다.

제 1 메모리(2231)는 제 1 제어기(2221)로부터 수신한 픽셀 데이터(P)를 저장할 수 있다. 제 1 메모리(2231)는 하나의 프레임에 대응하는 픽셀 데이터를 저장할 수 있다. 제 1 내지 제 n 메모리들(2231~223n)은 버퍼 또는 프레임 메모리로도 지칭될 수 있다. 예를 들어, 제 1 내지 제 n 메모리들(2231~223n)은 SRAM(static random access memory), DRAM(dynamic random access memory) 등과 같은 휘발성 메모리를 포함할 수 있다. 또는, 제 1 내지 제 n 메모리들(2231~223n)은 낸드 플래시 메모리, 노어 플래시 메모리, RRAM(resistive random access memory), FRAM(ferroelectric random access memory), PRAM(phase change random access memory), TRAM(thyristor random access memory), MRAM(magnetic random access memory) 등과 같은 불휘발성 메모리를 포함할 수 있다. 또는, 제 1 내지 제 n 메모리들(2231~223n)은 휘발성 메모리와 불휘발성 메모리의 조합을 포함할 수 있다.

프로세서(2240)가 인터럽트 신호(IR)를 수신한 경우, 제 1 메모리(2231)는 프로세서(2240)에 픽셀 데이터(P')를 제공할 수 있다. 픽셀 데이터(P')는 픽셀 데이터(P)와 동일할 수 있다. 프로세서(2240)는 인터럽트 신호(IR)에 근거하여 픽셀 데이터(P')를 제 1 메모리(2231)로부터 수신할 수 있다. 예를 들어, 프로세서(2240)가 인터럽트 신호(IR)를 수신한 경우, 프로세서(2240)는 제 1 메모리(2231)에 저장된 픽셀 데이터(P')에 대한 읽기 동작을 수행할 수 있다. 프로세서(2240)는 수신된 픽셀 데이터(P')를 처리할 수 있다. 예를 들어, 프로세서(2240)는 CPU(central processing unit), ISP(image signal processing unit), DSP(digital signal processing unit), GPU(graphics processing unit), VPU(vision processing unit), 및 NPU(neural processing unit) 중 적어도 하나로 구현될 수 있다.

제 1 디코더(2211)는 제 1 카메라(2101)로부터 복수의 프레임들에 대응하는 복수의 영상 신호들을 수신할 수 있다. 제 1 디코더(2211)는 복수의 프레임들에 대응하는 복수의 영상 신호들을 복호화할 수 있다. 제 1 디코더(2211)는 복수의 프레임들에 대응하는 아날로그 신호들인 복수의 영상 신호들을 디지털 신호들인 복수의 영상 데이터로 변환할 수 있다.

제 1 제어기(2221)는 프레임 단위로 복수의 영상 데이터를 수신할 수 있다. 제 1 제어기(2221)는 프레임 단위로 생성되는 복수의 영상 데이터에 기초하여 복수의 픽셀 데이터를 생성할 수 있다. 제 1 제어기(2221)는 복수의 영상 데이터에 포함된 수직 동기 신호 및 수평 동기 신호를 분석하여 복수의 영상 데이터에 대응하는 복수의 픽셀 데이터를 생성할 수 있다. 제 1 제어기(2221)는 복수의 픽셀 데이터(P)를 제 1 메모리(2231)에 제공할 수 있다.

제 1 메모리(2231)는 복수의 프레임들에 대응하는 복수의 픽셀 데이터를 저장할 수 있다. 제 1 메모리(2231)가 제 1 픽셀 데이터를 저장한 경우, 제 1 제어기(2221)는 제 1 인터럽트 신호를 프로세서(2240)에 제공할 수 있다. 프로세서(2240)는 제 1 인터럽트 신호를 수신한 경우, 제 1 메모리(2231)는 프로세서(2240)에 제 1 픽셀 데이터를 제공할 수 있고 그리고 프로세서(2240)는 제 1 메모리(2231)에 저장된 제 1 픽셀 데이터를 읽을 수 있다. 프로세서(2240)는 제 1 인터럽트 신호에 근거하여 제 1 메모리(2231)로부터 제 1 픽셀 데이터를 수신할 수 있고 그리고 수신된 제 1 픽셀 데이터를 처리할 수 있다.

삭제

전자 장치(2000)는 듀얼 버퍼링(dual buffering) 방법에 따라 영상을 처리할 수 있다. 듀얼 버퍼링 방법에 따른 전자 장치(2000)는 제 1 내지 제 n 메모리들(2231~223n)의 영역을 제 1 및 제 2 버퍼(미도시)로 나눌 수 있다. 여기서, 제 1 및 제 2 버퍼는 제 1 내지 제 n 메모리들(2231~223n) 각각에 대해 별개의 장치들로 구현될 수 있을 뿐만 아니라 하나의 장치들로 구현될 수도 있다.

제 1 내지 제 n 제어기들(2221~222n)이 제 1 버퍼에 영상전송을 완료했다는 것을 프로세서(2240)에 알려주면, 프로세서(2240)는 제 1 버퍼에 저장된 영상을 처리하기 시작하며, 동시에 제 1 내지 제 n 제어기들(2221~222n)은 제 2 버퍼에 영상 전송을 수행할 수 있다. 또한 제 1 내지 제 n 제어기들(2221~222n)이 제 2 버퍼에 영상전송을 완료하면 이를 프로세서(2240)에 알릴 수 있다. 프로세서(2240)는 제 2 버퍼에 저장된 영상을 처리하기 시작하며, 동시에 제 1 내지 제 n 제어기들(2221~222n)은 제 1 버퍼에 영상 전송을 수행할 수 있다. 듀얼 버퍼링과 같은 원리로서, 전자 장치(2000)는 세 개의 버퍼에 기초한 트리플 버퍼링(triple buffering) 방법을 사용할 수도 있다.

도 3은 본 발명의 다른 실시 예에 따른 영상 처리를 위한 전자 장치를 나타내는 블록도이다. 도 3은 도 2를 참조하여 설명될 것이다. 전자 장치(3000)는 영상 처리를 위한 것일 수 있다. 도 3에서, 전자 장치(3000)는 카메라부(3100), 제 1 내지 제 n 디코더들(3211~321n), 제 1 내지 제 n 제어기들(3221~322n), 선택기(3230), 제 1 내지 제 m 메모리들(3241~324m), 및 프로세서(3250)를 포함할 수 있다. 카메라부(3100)는 제 1 내지 제 n 카메라들(3101~310n)을 포함할 수 있다. 제 1 내지 제 n 디코더들(3211~321n) 및 제 1 내지 제 n 제어기들(3221~322n)은 프레임 그래버로 지칭될 수 있다.

카메라부(3100) 및 제 1 내지 제 n 카메라들(3101~310n)은 각각 도 2의 카메라부(2100) 및 제 1 내지 제 n 카메라들(2101~210n)과 실질적으로 동일할 수 있다. 또한, 제 1 내지 제 n 디코더들(3211~321n)은 도 2의 제 1 내지 제 n 디코더들(3211~321n)과 실질적으로 동일할 수 있다.

도 3에서, 제 1 디코더(3211) 및 제 1 제어기(3221)는 각각 제 2 내지 제 n 디코더들(3212~321n) 및 제 2 내지 제 n 제어기들(3222~322n)과 실질적으로 동일할 수 있다. 따라서, 이하에서는 제 1 디코더(3211) 및 제 1 제어기(3221)에 대해서만 설명한다. 제 1 내지 제 n 디코더들(3211~321n) 및 제 1 내지 제 n 제어기들(3221~322n)의 개수들은 각각 카메라부(3100)에 포함된 카메라들의 개수와 동일할 수 있다. 다만, 제 1 내지 제 m 메모리들(3241~324m)의 개수는 카메라부(3100)에 포함된 카메라들의 개수와 다를 수 있고 카메라부(3100)에 포함된 카메라들의 개수보다 더 많을 수 있다.

제 1 제어기(3221)는 도 2의 제 1 제어기(2221)와 동일한 원리에 따라 픽셀 데이터(P)을 생성할 수 있다. 즉, 제 1 제어기(3221)는 프레임 단위로 생성되는 복수의 영상 데이터에 기초하여 복수의 픽셀 데이터를 생성할 수 있다. 제 1 제어기(3221)는 픽셀 데이터의 저장을 위한 메모리를 제어하기 위하여 제 1 내지 제 3 레지스터들(R1, R2, R3)을 포함할 수 있다. 제 1 레지스터(R1)는 제 1 프레임의 픽셀 데이터가 저장되기 시작하는 메모리의 주소 또는 번호를 저장할 수 있다. 제 1 제어기(3221)가 제 1 레지스터로 설정된 메모리에 제 1 프레임의 제 1 픽셀 데이터의 저장을 종료한 후, 제 2 레지스터(R2)는 제 1 프레임 다음의 제 2 프레임의 제 2 픽셀 데이터가 저장되는 메모리의 주소를 저장할 수 있다. 제 3 레지스터(R3)는 프로세서에 의해 제 3 픽셀 데이터의 저장이 수행되고 있는 메모리의 주소를 저장할 수 있다.

제 1 제어기(3221)는 제 1 레지스터(R1)와 제 2 레지스터(R2)에 저장된 정보를 판독함으로써 제 1 내지 제 m 메모리들(3241~324m)에 픽셀 데이터(P)를 저장할 수 있다. 제 1 제어기(3221)는 제 3 레지스터(R3)의 값을 설정할 수 있다.

선택기(3230)는 제 1 제어기(3221)의 제 1 내지 제 3 레지스터들(R1, R2, R3)에 저장된 값들 또는 정보에 따라 제 1 제어기(3221)를 제 1 내지 제 m 메모리들(3241~324m)과 연결할 수 있다. 선택기(3230)는 프로세서의 제어에 기초하여 제 1 내지 제 m 메모리들(3241~324m)을 제 1 제어기(3221)와 연결할 수 있다. 이 경우, 선택기(3230)는 제 1 제어기(3221)를 제 1 내지 제 m 메모리들(3241~324m) 중 적어도 두 개와 연결할 수 있다. 선택기(3230)는 제 1 제어기(3221)로부터 제 1 내지 제 m 메모리들(3241~324m) 중 제 1 제어기(3221)와 연결된 메모리들로 복수의 프레임들에 대응하는 복수의 픽셀 데이터(P1'~ Pm')를 전달할 수 있다. 제 1 제어기(3221)는 선택기(3230)를 경유하여 픽셀 데이터(P)를 제 1 내지 제 m 메모리들(3241~324m) 중 어느 하나에 제공할 수 있다. 선택기(3230)는 AND, OR, XOR, NOR, 래치, 플립플롭 등과 같은 논리소자들, 및 그것들의 조합으로 구현될 수 있다.

제 1 내지 제 m 메모리들(3241~324m)은 선택기(3230)와 연결될 수 있다. 제 1 내지 제 m 메모리들(3241~324m)은 선택기(3230)로부터 전달된 복수의 픽셀 데이터(P1'~ Pm')를 수신하고 저장할 수 있다. 제 1 내지 제 m 메모리들(3241~324m)은 프로세서(3250)와 연결될 수 있다. 제 1 내지 제 m 메모리들(3241~324m)은 선택기(3230)로부터 전달된 복수의 픽셀 데이터(P1''~ Pm'')를 프로세서(3250)에 제공할 수 있다. 도 3에서, 복수의 픽셀 데이터(P1'~ Pm')는 복수의 픽셀 데이터(P1''~ Pm'')와 실질적으로 동일할 수 있다.

프로세서(3250)는 제 1 제어기(3221)의 제 1 내지 제 3 레지스터들(R1, R2, R3)에 저장된 주소들을 참조하여 제 1 내지 제 m 픽셀 데이터(P1''~Pm'')을 수신하여 처리할 수 있다. 예를 들어, 프로세서(3250)는 제 1 제어기(3221)의 제 3 레지스터(R3)에 저장된 제 3 메모리(3243)의 주소를 참조하여 제 3 메모리(3243)로부터 제 3 픽셀 데이터를 수신하여 처리할 수 있다. 프로세서(3250)는 제 1 제어기(3221)에 할당 신호(AL)를 제공함으로써 제 1 제어기(3221)의 제 1 레지스터(R1)의 값 및 제 2 레지스터(R2)의 값을 설정할 수 있다. 프로세서(3250)는 제 1 제어기(3221)를 위해 제 1 내지 제 m 메모리들(3241~324m) 중 적어도 두 개를 선택할 수 있다. 프로세서(3250)는 제 1 제어기(3221)에 제 1 내지 제 m 메모리들(3241~324m) 중 적어도 두 개를 할당하여 제 1 제어기(3221)의 제 1 및 제 2 레지스터들(R1, R2)에 기록할 수 있다.

프로세서(3250)는 선택된 적어도 두 개의 메모리들의 주소들을 제 1 및 제 2 레지스터들(R1, R2)에 저장할 수 있다. 즉, 프로세서(3250)는 제 1 및 제 2 레지스터들(R1, R2)에 저장된 주소들을 설정할 수 있다. 제 1 레지스터(R1)의 값 및 제 2 레지스터(R2)의 값은 선택된 적어도 두 개의 메모리들의 주소들일 수 있다. 선택기(3230)는 프로세서(3250)의 할당 신호(AL)에 기초하여 제 1 제어기(3221)를 제 1 내지 제 m 메모리들(3241~324m) 중 선택된 적어도 두 개와 연결할 수 있다. 프로세서(3250)는 제 1 제어기(3221)의 제 3 레지스터(R3)에 저장된 정보를 판독할 수 있다. 도 3에는 도시되지 않았으나, 프로세서(3250)는 제 1 내지 제 n 제어기들(3221~322n) 각각에 할당 신호들을 제공할 수 있다.

제 1 제어기(3221)는 제 1 프레임에 대응하는 제 1 픽셀 데이터를 선택기(3230)를 경유하여 제 1 메모리(3241)에 전달한 경우, 제 1 메모리(3241)는 제 1 픽셀 데이터를 저장할 수 있다. 제 1 제어기(3221)가 제 1 메모리(3241)에 제 1 프레임에 대응하는 제 1 픽셀 데이터의 저장을 완료한 경우, 프로세서(3250)에 인터럽트 신호(IR)를 제공할 수 있다. 프로세서(3250)는 인터럽트 신호(IR)를 수신한 후 제 1 메모리(3241)에 저장된 제 1 프레임에 대응하는 제 1 픽셀 데이터를 수신할 수 있다.

도 4는 도 3의 프로세서에 의해 각 제어기들에 메모리를 할당하는 방법을 나타내는 순서도이다. 도 4는 도 3을 참조하여 설명될 것이다. 도 3과 마찬가지로, 제 1 제어기(3221)는 제 2 내지 제 n 제어기들(3222~322n)과 실질적으로 동일하므로 도 4에서는 제 1 제어기(3221)을 위해 메모리를 할당하는 방법이 설명될 것이다.

S110 단계에서, 프로세서(3250)는 제 1 제어기(3221)를 위해 제 1 내지 제 m 메모리들(3241~324m) 중 제 1 및 제 2 메모리들(3241, 3242)를 선택할 수 있다. 프로세서(3250)는 제 1 제어기(3221)에 제 1 및 제 2 메모리들 (3241, 3242)를 할당하여 제 1 제어기(3221)의 제 1 및 제 2 레지스터들(R1, R2)에 기록할 수 있다. 프로세서(3250)는 제 1 및 제 2 메모리들(3241, 3242)의 주소들을 제 1 제어기(3221)의 제 1 및 제 2 레지스터들(R1, R2)에 각각 저장할 수 있다. 프로세서(3250)는 제 1 제어기(3221)에 할당 신호(AL)를 제공함으로써 제 1 제어기(3221)의 제 1 레지스터(R1)의 값 및 제 2 레지스터(R2)의 값을 각각 설정할 수 있다. 제 1 레지스터(R1)의 값 및 제 2 레지스터(R2)의 값은 제 1 및 제 2 메모리들(3241, 3242) 각각의 주소들일 수 있다.

S120 단계에서, 프로세서(3250)는 제 1 제어기(3221)로부터 인터럽트 신호가 전송되기를 기다릴 수 있다. 프로세서(3250)가 제 1 제어기(3221)로부터 인터럽트 신호를 수신한 경우, S130 단계가 수행될 수 있다.

S130 단계에서, 프로세서(3250)는 제 1 제어기(3221)의 제 3 레지스터(R3)의 값을 읽을 수 있고 그리고 제 3 레지스터(R3)의 값을 제 1 레지스터(R1)에 저장할 수 있다. 또한, 프로세서(3250)는 제 1 제어기(3221)에 제 3 메모리(3243)를 할당하여 제 2 레지스터(R2)에 기록할 수 있다. 프로세서(3250)는 제 1 제어기(3221)에 할당 신호(AL)를 제공함으로써 제 2 레지스터(R2)에 기록할 수 있다. 이 경우, 프로세서(3250)는 제 2 레지스터(R2)에 제 3 메모리(3243)의 주소를 임시적으로 기록할 수 있다.

S140 단계에서, 프로세서(3250)는 제 1 제어기(3221)가 제 1 내지 제 m 메모리들(3241~324m) 중 적어도 하나에 저장을 완료한 픽셀 데이터를 수신할 수 있다. 프로세서(3250)는 수신된 픽셀 데이터를 처리할 수 있다.

프로세서(3250)는 제 1 제어기(3221)에 메모리를 할당하는 과정을 종료할 것인지 결정할 수 있다. 프로세서(3250)가 제 1 제어기(3221)에 메모리를 할당하는 과정을 종료하지 않는다고 결정하는 경우, S120 내지 S140 단계는 반복될 수 있다.

도 5는 도 3의 제어기들에 의해 메모리들로 영상을 전송하는 방법을 나타내는 순서도이다. 도 5는 도 3을 참조하여 설명될 것이다. 도 3과 마찬가지로, 제 1 제어기(3221)는 제 2 내지 제 n 제어기들(3222~322n)과 실질적으로 동일하므로 도 5에서는 제 1 제어기(3221)로부터 제 1 내지 제 m 메모리들(3241~324m)로 영상을 전송하는 방법이 설명될 것이다.

S210 단계에서, 제 1 제어기(3221)는 제 3 레지스터(R3)에 제 1 레지스터의 값을 저장할 수 있다. 프로세서(3250)는 제 1 제어기(3221)의 제 3 레지스터(R3)에 저장된 정보를 판독할 수 있다.

S220 단계에서, 제 1 제어기(3221)는 선택기(3230)를 경유하여 제 1 레지스터(R1)에 저장된 주소를 가지는 제 1 메모리(3241)에 제 1 프레임에 대응하는 제 1 픽셀 데이터를 저장할 수 있다. 선택기(3230)는 제 1 제어기(3221)로부터 제 1 메모리(3241)로 제 1 픽셀 데이터를 전달할 수 있다.

S230 단계에서, 제 1 제어기(3221)는 제 1 프레임에 대응하는 모든 픽셀 데이터의 저장을 완료하였는지 결정할 수 있다. 제 1 제어기(3221)가 제 1 프레임에 대응하는 모든 픽셀 데이터의 저장을 완료한 경우, S240 단계가 수행될 수 있다. 제 1 제어기(3221)가 제 1 프레임에 대응하는 모든 픽셀 데이터의 저장을 완료하지 않은 경우, S220 단계가 반복적으로 수행될 수 있다.

S240 단계에서, 제 1 제어기(3221)는 제 3 레지스터(R3)에 제 2 레지스터의 값을 저장할 수 있다. 프로세서(3250)는 제 1 제어기(3221)의 제 2 레지스터(R2)에 저장된 정보를 판독할 수 있다. 제 1 제어기(3221)는 제 1 메모리(3241)에 제 1 프레임에 대응하는 모든 픽셀 데이터의 저장이 완료됨을 프로세서(3250)에 알리기 위하여 인터럽트 신호를 프로세서(3250)에 전송할 수 있다.

S250 단계에서, 제 1 제어기(3221)는 선택기(3230)를 경유하여 제 2 레지스터(R2)에 저장된 주소를 가지는 제 2 메모리(3242에 제 2 프레임에 대응하는 제 2 픽셀 데이터를 저장할 수 있다. 선택기(3230)는 제 1 제어기(3221)로부터 제 2 메모리(3242)로 제 2 픽셀 데이터를 전달할 수 있다.

S260 단계에서, 제 1 제어기(3221)는 제 2 프레임에 대응하는 모든 픽셀 데이터의 저장을 완료하였는지 결정할 수 있다. 제 1 제어기(3221)가 제 2 프레임에 대응하는 모든 픽셀 데이터의 저장을 완료한 경우, 메모리들로 영상을 전송하는 과정은 종료될 수 있다. 제 1 제어기(3221)가 제 2 프레임에 대응하는 모든 픽셀 데이터의 저장을 완료하지 않은 경우, S250 단계가 반복적으로 수행될 수 있다.

프로세서(3250)는 제 1 제어기(3221)로부터 메모리들로 영상을 전송하는 과정을 종료할 것인지 결정할 수 있다. 프로세서(3250)가 제 1 제어기(3221)로부터 메모리들로 영상을 전송하는 과정을 종료하지 않는다고 결정하는 경우, S240 내지 S260 단계는 반복될 수 있다.

이러한 방법을 통하여 각 카메라에 개별적인 여분의 버퍼를 사용하지 않음으로써 전체 버퍼 메모리의 용량을 줄일 수 있으며, 입력되는 카메라 영상의 소실을 최소화 할 수 있다.

위에서 설명한 내용은 본 발명을 실시하기 위한 구체적인 예들이다. 본 발명에는 위에서 설명한 실시 예들뿐만 아니라, 단순하게 설계 변경하거나 용이하게 변경할 수 있는 실시 예들도 포함될 것이다. 또한, 본 발명에는 상술한 실시 예들을 이용하여 앞으로 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다.

1000, 2000, 3000: 전자 장치
1100, 2100, 3100: 카메라부
1200: 프레임 그래버

Claims

프레임 단위로 생성되는 제 1 내지 제 3 영상 데이터에 기초하여 제 1 내지 제 3 픽셀 데이터를 생성하고, 그리고 상기 제 1 픽셀 데이터가 저장되기 시작하는 제 1 메모리의 주소를 저장하는 제 1 레지스터, 상기 제 1 픽셀 데이터 다음의 상기 제 2 픽셀 데이터가 저장되는 제 2 메모리의 주소를 저장하는 제 2 레지스터, 및 상기 제 3 픽셀 데이터가 저장된 제 3 메모리의 주소를 저장하는 제 3 레지스터를 포함하는 제어기;
상기 제어기의 상기 제 3 레지스터에 저장된 상기 제 3 메모리의 상기 주소를 참조하여 상기 제 3 메모리로부터 상기 제 3 픽셀 데이터를 수신하여 처리하고 그리고 상기 제 1 및 제 2 레지스터들에 저장된 상기 주소들을 설정하는 프로세서;
상기 제 1 내지 제 3 메모리들을 포함하는 복수의 메모리들; 및
상기 프로세서의 제어에 기초하여 상기 복수의 메모리들과 상기 제어기를 연결하는 선택기를 포함하는 전자 장치.
제 1 항에 있어서,
상기 제어기는 상기 프로세서에 인터럽트 신호를 전송하고,
상기 프로세서는 상기 인터럽트 신호를 수신한 후 상기 제 1 레지스터에 상기 제 3 레지스터의 값을 저장하는 전자 장치.
제 2 항에 있어서,
상기 프로세서는, 상기 인터럽트 신호를 수신한 후 상기 제 2 레지스터에 상기 제 3 메모리의 주소를 기록하는 전자 장치.
제 3 항에 있어서,
상기 프로세서가 상기 인터럽트 신호를 수신한 후, 상기 제어기는 상기 제 1 메모리에 저장을 완료한 상기 픽셀 데이터를 수신하는 전자 장치.
제 4 항에 있어서,
상기 프로세서가 상기 제 1 메모리에 저장을 완료한 상기 픽셀 데이터를 수신한 후, 상기 제어기는 상기 제 3 레지스터에 상기 제 2 레지스터의 값을 저장하는 전자 장치.
제 5 항에 있어서,
상기 제어기는, 상기 제 3 레지스터에 상기 제 2 레지스터의 값을 저장한 후 상기 프로세서에 다른 인터럽트 신호를 전송하는 전자 장치.
제 6 항에 있어서,
상기 프로세서가 상기 다른 인터럽트 신호를 수신한 후, 상기 제어기는 상기 제 2 메모리에 저장을 완료한 상기 픽셀 데이터를 수신하는 전자 장치.
영상 처리 방법에 있어서,
디코더가 복수의 카메라로부터 수신한 복수의 영상 신호에 근거하여 복수의 영상 데이터를 생성하는 단계;
제어기가 상기 복수의 영상 데이터에 근거하여 복수의 픽셀 데이터를 생성하는 단계;
프로세서가 상기 제어기에 제 1 및 제 2 메모리들을 할당하고 상기 제 1 메모리의 주소 및 상기 제 2 메모리의 주소를 각각 상기 제어기의 제 1 및 제 2 레지스터들에 기록하는 단계;
선택기가 상기 제 1 및 제 2 레지스터들의 값에 기초하여 상기 제 1 및 제 2 메모리들을 상기 제어기와 연결하는 단계;
상기 프로세서가 상기 제어기로부터 상기 선택기를 경유하여 상기 제 1 및 제 2 메모리들에 각각 저장된 제 1 및 제 2 픽셀 데이터를 수신하는 단계를 포함하는 영상 처리 방법.
제 8 항에 있어서,
상기 제어기는 상기 프로세서에 인터럽트 신호를 전송하는 단계를 더 포함하는 영상 처리 방법.
제 9 항에 있어서,
상기 프로세서는, 상기 인터럽트 신호를 수신한 후 상기 제 2 레지스터에 제 3 메모리의 주소를 기록하는 단계; 그리고
상기 제어기는 상기 제 1 메모리에 저장을 완료한 상기 픽셀 데이터를 수신하는 단계를 더 포함하는 영상 처리 방법.