KR101861770B1

KR101861770B1 - 이미지 프로세싱 회로 및 이미지 프로세싱 방법

Info

Publication number: KR101861770B1
Application number: KR1020110141565A
Authority: KR
Inventors: 말콤 그레이
Original assignee: 삼성전자주식회사
Priority date: 2010-12-23
Filing date: 2011-12-23
Publication date: 2018-05-28
Also published as: KR101861771B1; KR101830804B1; US20120162460A1; KR20120072352A; US8797414B2; US8988536B2; JP2012138906A; CN102572278B; JP2012165365A; KR20120072354A; CN102572278A; KR20120072348A; DE102011056972A1; DE102011056977A1; DE102011056983A1; US8849054B2; JP2012165364A; CN102547120A; US9041817B2; JP5933970B2

Abstract

파이프라인(pipeline) 구조의 다수의 이미지 프로세싱 유닛 중 각 유닛은 새로운 구성 벡터(업데이트된)를 수신하고, 수신된 구성 벡터는 하드웨어-인에이블된 시간 주기 이내에 타이밍-파생된 트리거 신호와 동기화 시에만 적용된다. 하드웨어 인에이블 신호는 수신된 새로운 구성 벡터를 이미지 프로세싱 유닛으로 적용하는 스위치를 제어하기 위한 타이밍-파생된 트리거링 이벤트 신호와 논리적으로 결합된다. 이는 각 이미지 프로세싱 유닛의 지연에 관계없이 CPU가 데이터의 타이밍과는 별도로 업데이트된 구성 벡터를 출력하는 경우에도 체인 방식의 이미지 프로세싱 유닛에서 각 이미지 프로세싱 유닛(단계)이 순차적으로 업데이트 되는 것을 보장한다. 타이밍-파생된 트리거링 이벤트는 수신된 업데이트된 구성 벡터의 적용과 이미지 데이터의 새로운 프레임의 이미지 프로세싱 유닛에 의한 수신을 동기화하는데 사용된다.

Description

이미지 프로세싱 회로 및 이미지 프로세싱 방법{IMAGE PROCESSING CIRCUIT AND METHOD THERE-OF}

본 발명의 실시예는 다수의 이미지 프로세싱 유닛을 포함하는 이미지 프로세싱 회로 및 이를 포함하는 디지털 카메라에 관한 것으로, 상세하게는 다수의 구성 벡터(configuration vector)를 갖는 이미지 프로세싱 회로를 구성할 수 있는 다수의 이미지 프로세싱 유닛을 포함하는 이미지 프로세싱 회로 및 이를 포함하는 디지털 카메라에 관한 것이다.

독립형 소비자 제품 및 휴대폰, 모바일 컴퓨터와 같은 모바일 장치에 구비된 기능으로 고성능 디지털 및 비디오 카메라의 수요가 증대되고 있다. 디지털 카메라 각각은 중앙 처리 장치(Central Processing Unit; CPU)의 제어에 기초하여 이미지 데이터를 수신 및 처리하도록 구성된 직렬 연결된 다수의 이미지 프로세싱 코어를 포함하는 이미지 프로세싱 회로를 포함할 수 있다. 각 이미지 프로세싱 코어의 동작은 이미지 데이터의 프레임 크기를 포함하는 구성 정보를 갖는 구성 벡터를 이용하여 CPU에 의해 제어될 수 있다.

일반적으로 디지털 카메라에 사용되는 이미지 센서는 CMOS 센서 인터페이스(Complementary Metal Oxide Semiconductor Sensor Interface; CSI)를 통해 이미지 프로세싱 유닛에 의해 동작되는 로우-베이어(RAW-Bayer) 및/또는 CMOS 타입일 수 있다. 이미지 해상도를 높이기 위해 증가하는 수요를 효과적으로 수행하기 위해 프로세서-투-카메라(processor-to-camera) 센서 인터페이스의 대역폭 용량을 그 성능 이상으로 추진하고 있다. 최근 고속 직렬 인터페이스는 병렬 인터페이스의 많은 결점에 대처하지만, 제조 업체 간의 호환성 문제가 있다. 독점적인 인터페이스들은 함께 일하는 다른 제조 업체의 장치를 방해하고 업계 분열을 일으킨다.

인터페이스 규격을 개발하는 비영리 법인인 MIPI 얼라이언스(alliance)는 프로세서와 주변 장치 인터페이스에서 일관성을 추진한다. MIPI(Mobile Industry Processor Interface)는 모바일 장치의 모듈들 사이의 인터페이스에 대한 표준을 정의하는 업계 컨소시엄이다. 2005년 카메라 인터페이스 연구를 시작한 이후 MIPI는 사양(표준)을 개발했다. MIPI는 모바일 시스템에서 거의 모든 칩 인터페이스를 정의하는 사양을 발표한다. 이러한 표준들 중 하나는 CSI(Camera Serial Interface)를 정의한 CSI-2이다. 모든 컴퓨팅 및 소비자 전자 장치와 이미지 센서의 제조업자들 사이에서 MIPI CSI-2에 관심이 높아졌다. MIPI의 CSI-2 및 CSI-3 표준은 모바일 장치, 고속, 저전력, 비용 절감 및 상호 확장성뿐만 아니라, 전체적인 전자 산업을 제공한다.

MIPI 상호 접속에 의해 연결된 각 프로세싱 유닛은 데이터의 전체 프레임에서 동작하고, 프레임의 데이터의 타이밍은 일반적으로 각 유닛을 통해 지연된 타이밍 신호로 나타난다. 각 프로세싱 유닛은 각 유닛의 프로세싱을 제어하기 위해 구성 벡터(V)를 사용한다. 구성 벡터는 일반적으로 프로세서, 온-칩(on-chip) 또는 오프-칩(off-chip)에 의해 '라이트'되고, 데이터의 프레임의 크기를 포함하는 프로세싱 유닛의 동작의 여러 측면을 제어한다.

각 유닛에 대하여 업데이트된 새로운 구성 벡터는 각 유닛이 프레임에 대한 프로세싱을 시작할 때 또는 그 이전에 적용되어야하며, 각 유닛이 전체 프레임을 프로세싱하는 동안 각 유닛에서 일정하게 유지되어야 한다. 직렬 배열로 종속 접속된 모든 이미지 프로세싱 유닛들이 동시에 정확하게 업데이트된 경우, 유닛들 각각을 통한 지연으로 인해, 업데이트는 적어도 하나 이상의 유닛들이 프레임을 프로세싱하는 동안 적용될 수 있다. 이 경우 유닛들이 프레임을 프로세싱하는 동안 구성 벡터는 해당 유닛에서 일정하게 유지되지 않으며, 데이터 손상이 발생할 수 있다. 예컨대, 일련의 프로세싱 유닛들에 있어서, 수평 폭은 일반적으로 구성 벡터의 일부이며, 특정 프레임에 대하여 수신된 데이터가 구성 벡터와 일치하지 않은 경우 유닛은 이미지 데이터를 정확히 처리하지 않는다. 순차적으로 처리될 프레임들 사이의 이미지 크기(예컨대, 수평 폭)를 변경하는 경우, 각 프로세싱 유닛은 이전의 프로세싱 유닛들을 통해 지연된 이미지 데이터를 수신하는 시점과 동시에 새로운 구성 벡터를 수신할 필요가 있다.

적절한 시점에 모든 유닛들을 업데이트하기 위해서, MIPI 연결된 각각의 이미지 프로세싱 유닛들을 통한 지연 및 데이터의 타이밍 추적이 필요한 경우 CPU는 크게 부담이 되고 기타 프로세싱 작업을 위해 이용할 수 없게 된다. 그것은 마찬가지로 비효율적이며 프로세싱 유닛들의 전체 파이프라인을 중단하고, 새로운 구성 벡터를 적용한 다음 프로세싱 유닛을 재시작하고, 구성 벡터가 변경되는 경우 나타나는 각 유닛으로부터 인터럽트에 의존하는 것은 이미지 센서로부터 이미지 데이터 손상의 원인이 될 것이며, CPU가 충분히 빠르게 응답할 수 있기를 바란다.

이미지 프로세싱 유닛의 동작에 최소한의 중단과 함께 CPU에 부담 없이, 업데이트된 구성 벡터는 각각의 이전 프로세싱 유닛을 통해 지연된 이미지 데이터의 지연 및 타이밍과 동시에 이루어지는 각각 MIPI 연결된 프로세싱 유닛에 적용되는 것이 바람직하다.

따라서, 본 발명이 해결하고자 하는 과제는 각 이미지 프로세싱 유닛에 의한 지연에 관계없이 CPU가 데이터의 타이밍과는 별도로 업데이트된 구성 벡터를 출력하는 경우에도 이미지 프로세싱 유닛들의 체인에서 각 이미지 프로세싱 유닛(단계)을 순차적으로 업데이트할 수 있는 이미지 프로세싱 방법을 제공하는 것이다.

또한, 본 발명이 해결하고자 하는 기술적인 과제는 다수의 비디오 프로세싱 유닛을 포함하는 이미지 프로세싱 회로 및 이를 포함하는 디지컬 카메라를 제공하는 것이다.

본 발명의 실시예에 따르면 각 이미지 프로세싱 유닛에 의한 지연에 관계없이 CPU가 데이터의 타이밍과는 별도로 업데이트된 구성 벡터를 출력하는 경우에도 이미지 프로세싱 유닛들의 체인에서 각 이미지 프로세싱 유닛(단계)을 순차적으로 업데이트하기 위해 타이밍-파생된 트리거 이벤트와 인터로크하는 인에이블-논리 회로가 제공된다. 상기 타이밍-파생된 트리거 신호는 수신된 업데이트된 구성 벡터의 적용과 이미지 데이터의 새로운 프레임의 이미지 프로세싱 유닛에 의한 수신을 동기화하는데 사용된다. 각 이미지 프로세싱 유닛으로부터 다음 이미지 프로세싱 유닛으로 전달된 상기 하드웨어-인에이블 신호는 이미지 데이터 및 이에 상응하는 타이밍 신호의 흐름과 동시에 전달되며, 상기 타이밍 신호로부터 생성된 트리거 신호가 인에이블된 경우 액티브 구성 벡터 레지스터를 업데이트하기 위한 액티브 트리거 이벤트로써 나타난다. 상기 하드웨어-인에이블 트리거 활성화는 체인 다운-스트림(chain down-stream) 방식으로 제1 이미지 프로세싱 유닛으로부터 각각의 다음 이미지 프로세싱 유닛으로 캐스케이드(cascade)된다.

또한, 다수의 비디오 프로세싱 유닛을 포함하는 이미지 프로세싱 회로를 제공된다. 각 비디오 프로세싱 유닛은 상기 비디오 프로세싱 유닛의 비디오 프로세싱 코어를 구성하는 액티브 구성 벡터를 저장하는 액티브 구성 벡터 레지스터 및 상기 액티브 구성 벡터 레지스터로 전송되고 업데이트-인에이블 신호에 기초하여 상기 액티브 구성 벡터가 되는 업데이트된 구성 벡터를 저장하는 버퍼링된 구성 벡터 레지스터를 포함한다. 상기 각 비디오 프로세싱 유닛은 트리거 신호 및 수신된 하드웨어 인에이블 신호를 결합함으로써 상기 업데이트-인에이블 신호를 발생하는 논리 회로를 더 포함하며, 상기 트리거 신호는 비디오 프레임 동기 신호에 종속하는 시점이다.

본 발명의 일 실시예에 따른 하드웨어 인터로크 로직은, 수신된 업데이트된 구성 벡터를 적절한 시점에 타이밍-파생된 트리거 신호와 동시에 적용되도록 하기 위해서 파이프라인(pipeline)에서의 각 단계를 아밍(arms) 및 디스아밍(disarms)한다. 이전 단계가 아밍 및 트리거된 이후 상기 각 단계로 상기 업데이트된 구성 벡터의 전송이 아밍된다. 이때, 상기 아밍은 인에이블(enable) 또는 액티브(active) 상태를 의미하거나 인에이블(enable) 또는 액티브(active) 상태로 만드는 것을 의미하고, 상기 디스아밍은 디스에이블(disable) 또는 인액티브(inactive) 상태를 의미하거나 디스에이블(disable) 또는 인액티브(inactive) 상태로 만드는 것을 의미할 수 있다.

본 발명의 일 실시예에 따른 각 비디오 프로세싱 유닛은, 이전 비디오 프로세싱 유닛에 의해 발생되고, 현재 타이밍-파생된 트리거링 이벤트가 이행 또는 무시되는지 여부를 나타내는 인에이블 신호를 수신한다. 각 비디오 프로세싱 유닛은 다음 비디오 프로세싱 유닛이 타이밍-파생된 트리거링 이벤트를 이행 또는 무시할지 여부를 나타내는 신호인 하드웨어-인에이블 신호(HWEN)를 다음 비디오 프로세싱 유닛으로 입력한다.

본 발명의 일 실시예에 따른 이미지 프로세싱 회로는 서로 직렬 연결된 다수의 이미지 프로세싱 유닛을 포함하며, 상기 다수의 이미지 프로세싱 유닛 각각은, 상기 이미지 프로세싱 유닛의 동작을 제어하는 제1 구성 벡터 레지스터; 업데이트된 구성 벡터를 저장하는 제2 구성 벡터 레지스터; 및 상기 이미지 프로세싱 유닛의 트리거 신호 및 수신된 하드웨어 인에이블 신호를 조합함으로써 상기 이미지 프로세싱 유닛의 스위치-인에이블 신호를 발생하는 조합 논리 회로를 포함하며, 상기 이미지 프로세싱 유닛의 상기 스위치-인에이블 신호가 활성화되는 동안 스위칭부를 통해 상기 제2 구성 벡터 레지스터의 출력을 상기 제1 구성 벡터 레지스터로 입력한다.

본 발명의 일 실시예에 따른 이미지 프로세싱 회로는 다수의 비디오 프로세싱 유닛을 포함하며, 상기 다수의 비디오 프로세싱 유닛 각각은, 상기 비디오 프로세싱 유닛의 비디오 프로세싱 코어를 구성하는 액티브 구성 벡터를 저장하는 제1 구성 벡터 레지스터; 업데이트된 구성 벡터를 저장하는 제2 구성 벡터 레지스터; 상기 제1 및 제2 구성 벡터 레지스터 사이에 연결되며, 업데이트-인에이블 신호에 기초하여 상기 업데이트된 구성 벡터를 상기 제1 구성 벡터 레지스터로 전송하는 스위칭부; 및 트리거 신호 및 하드웨어 인에이블 신호를 결합함으로써 상기 업데이트-인에이블 신호를 발생하는 논리 회로를 포함하며, 상기 트리거 신호는 비디오 프레임 동기 신호에 종속하는 시점이다.

상기 이미지 프로세싱 회로는, 상기 업데이트-인에이블 신호를 래치하고, 상기 래치된 업데이트-인에이블 신호를 상기 다음 비디오 프로세싱 유닛에 의해 수신되는 상기 하드웨어 인에이블 신호로써 출력하는 래치부를 더 포함한다.

상기 스위칭부, 상기 논리 회로 및 상기 래치부는 이미지 데이터의 흐름과 동시에 각 이미지 프로세싱 유닛으로부터 다음 이미지 프로세싱 유닛으로 상기 하드웨어인에이블 신호를 전달하며, 상기 하드웨어-인에이블 트리거 활성화는 체인 다운-스트림(chain down-stream) 방식으로 제1 이미지 프로세싱 유닛으로부터 각각의 다음 이미지 프로세싱 유닛으로 캐스케이드(cascade)된다.

제1 비디오 프로세싱 유닛에 의해 수신된 상기 하드웨어 인에이블 신호는, 레지스터 및 입출력(I/O) 핀을 통해 하드웨어 인에이블 신호를 수신하는 제1 비디오 프로세싱 유닛을 제어하는 CPU로부터 발생한다.

본 발명의 일 실시예에 따른 직렬 연결된 다수의 이미지 프로세싱 유닛을 통해 이미지 데이터의 제1 프레임 및 제2 프레임을 연속적으로 프로세싱하는 방법에 있어서, 상기 다수의 이미지 프로세싱 유닛 중 하나인 제1 이미지 프로세싱 유닛에서 상기 이미지 데이터의 제1 프레임을 수신하는 단계; 업데이트 인에이블 신호가 활성화되는 동안 상기 이미지 데이터의 제1 프레임에 상응하는 구성 벡터를 상기 제1 이미지 프로세싱 유닛의 액티브 구성 벡터 레지스터로 라이트하는 단계; 및 상기 이미지 데이터의 제1 프레임에 상응하는 타이밍 신호로부터 생성된 트리거 신호와 하드웨어 인에이블 신호를 결합함으로써 상기 활성화된 업데이트 인에이블 신호를 발생하는 단계를 포함하며, 상기 타이밍 신호는 비디오 프레임 동기 신호를 포함한다.

상기 이미지 프로세싱 방법은, 상기 업데이트 인에이블 신호가 활성화되기 이전에, 상기 이미지 데이터의 제1 프레임에 상응하는 상기 구성 벡터를 상기 제1 이미지 프로세싱 유닛의 버퍼링된 구성 벡터 레지스터로 라이트하는 단계를 더 포함하며, 상기 트리거 신호는 상기 비디오 프레임 동기 신호로부터 생성된다.

본 발명의 일 실시예에 따른 이미지 프로세싱 회로는, 다수의 비디오 프로세싱 유닛을 포함하며, 상기 다수의 비디오 프로세싱 유닛 각각은, 상기 비디오 프로세싱 유닛의 비디오 프로세싱 코어를 구성하는 액티브 구성 벡터를 저장하는 제1 구성 벡터 레지스터; 업데이트된 구성 벡터를 저장하는 제2 구성 벡터 레지스터; 상기 제1 및 제2 구성 벡터 레지스터 사이에 연결되며, 업데이트-인에이블 신호에 기초하여 상기 업데이트된 구성 벡터를 상기 제1 구성 벡터 레지스터로 전송하는 패스-게이트; 및 트리거 신호 및 하드웨어 인에이블 신호를 결합함으로써 상기 업데이트-인에이블 신호를 발생하는 논리 회로를 포함하며, 상기 트리거 신호는 비디오 프레임 동기 신호에 종속하는 시점이다.

상기 다수의 비디오 프로세싱 유닛은 직렬로 연결된다. 상기 다수의 비디오 크로세싱 유닛 각각은, 상기 업데이트-인에이블 신호를 래치하고, 상기 래치된 업데이트-인에이블 신호를 다음 비디오 프로세싱 유닛에 의해 수신되는 상기 하드웨어 인에이블 신호로써 출력하는 래치부를 더 포함한다.

상기 제1 비디오 프로세싱 유닛에 의해 수신된 하드웨어 인에이블 신호는 CPU 또는 펌웨어로부터 발생된다.

각 비디오 프로세싱 유닛으로부터 다음 비디오 프로세싱 유닛으로 전달된 상기 하드웨어 인에이블 신호는 이미지 데이터 및 이에 상응하는 타이밍 신호의 흐름과 동시에 전달되며, 상기 타이밍 신호로부터 생성된 트리거 신호가 인에이블된 경우 액티브 구성 벡터 레지스터를 업데이트하기 위한 액티브 트리거로써 나타난다. 상기 하드웨어-인에이블 트리거 활성화는 체인 다운-스트림(chain down-stream) 방식으로 상기 제1 비디오 프로세싱 유닛으로부터 각각의 다음 이미지 프로세싱 유닛으로 캐스케이드(cascade)된다.

본 발명의 일 실시예에 따른 직렬 연결되어 리프로그램할 수 있는 다수의 이미지 프로세싱 유닛에 포함된 다수의 프레임을 프로세싱하는 방법에 있어서, 상기 직렬 연결된 다수의 이미지 프로세싱 유닛 각각의 리프로그래밍이 가능하도록 제어하는 단계를 포함하며, 이미지 데이터 및 타이밍 신호의 흐름과 동시에 각 이미지 프로세싱 유닛으로부터 다음 이미지 프로세싱 유닛으로 리프로그래밍-인에이블 신호를 전달하고, 상기 리프로그래밍-인에이블 신호는 상기 타이밍 신호에 기초하여 트리거 신호가 상기 이미지 프로세싱 유닛의 리프로그래밍을 트리거해야하는지 여부를 제어한다. 상기 인에이블된 트리거 신호는 체인 다운-스트림(chain down-stream) 방식으로 제1 이미지 프로세싱 유닛으로부터 각각의 다음 이미지 프로세싱 유닛으로 캐스케이드(cascade)된다.

상기 제1 비디오 프로세싱 유닛에 의해 수신된 리프로그래밍-인에이블 신호는 CPU 또는 펌웨어로부터 발생된다.

본 발명의 실시예에 따르면, 다수의 구성 벡터를 갖는 이미지 프로세싱 회로를 구성할 수 있는 다수의 이미지 프로세싱 유닛를 포함하는 이미지 프로세싱 회로 및 이를 포함하는 디지털 카메라를 구성할 수 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시예에 따른 이미지 프로세싱 회로를 포함하는 디지털 카메라의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 다수의 이미지 프로세싱 유닛의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 이미지 프로세싱 회로의 동작의 제1 모드 동안 이미지 프로세싱 회로의 다양한 신호들의 타이밍도이다.
도 4는 도 2에 도시된 이미지 프로세싱 유닛의 업데이트-인에이블 회로의 회로도이다.
도 5는 본 발명의 일 실시예에 따른 이미지 프로세싱 회로의 동작의 제2 모드 동안 이미지 프로세싱 회로의 다양한 신호들의 타이밍도이다.

본 명세서 또는 출원에 개시되어 있는 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.

본 발명에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기구성 요소들은 상기용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일 실시예에 따른 이미지 프로세싱 회로를 포함하는 디지털 카메라의 블록도이다. 도 1을 참조하면, 디지털 카메라(100)는 본 발명의 실시예에 따른 이미지 프로세싱 유닛(24)을 포함하는 이미지 프로세싱 회로(20)를 포함하며, 이미지 프로세싱 유닛(24)은 다수의 이미지 프로세싱 유닛(21-A, 21-B, 21-C, 21-D, 21-E)을 포함한다.

디지털 카메라(100)는 렌즈(10), 이미지 센서(12), 파이프라인(pipeline) 구조의 다수의 이미지 프로세싱 유닛(21-A, 21-B, 21-C, 21-D, 21-E)을 포함하는 이미지 프로세싱 회로(20) 및 이미지 센서(12)와 각각의 이미지 프로세싱 유닛들(21-A, 21-B, 21-C, 21-D, 21-E)을 제어하는 CPU(Central Processing Unit, 23)를 포함한다.

이미지 센서(12)가 MIPI CSI를 통해 이미지 데이터를 제1 이미지 프로세싱 유닛(21-A)으로 전송하는 동안, 이미지 센서(12)는 I2C(Inter Integrated Circuit) 버스와 같은 데이터 버스를 통해 CPU(23)에 의해 제어된다.

I2C 버스의 동작 속도는 400 KHz 범위이고, MIPI CSI는 더 빠른 속도(예컨대, 약 20 MHz)로 동작할 수 있다. 구성 버스(Configuration Bus)는 구성 벡터(Configuration Vector)를 다수의 이미지 프로세싱 유닛(21-A, 21-B, 21-C, 21-D, 21-E) 각각으로 전송하는데 사용되는 제2 I2C 또는 등가 버스(예컨대, APB 버스)로 구현될 수 있다.

각각의 이미지 프로세싱 유닛들(21-A, 21-B, 21-C, 21-D, 21-E)은 하드웨어-인에이블(hardware-enable) 신호를 수신하고, 제1 이미지 프로세싱 유닛(21-A)에 의해 수신된 하드웨어-인에이블 신호는 트랜스퍼-인에이블(transfer-enable) 신호(t-e)일 수 있다.

이미지 센서(12)는 CMOS 센서로 구현된 로우-베이어(RAW-Bayer) 이미지 센서일 수 있으며, 제1 이미지 프로세싱 유닛(21-A)은 마찬가지로 MIPI-CMOS 센서 인터페이스(MIPI-CSI)일 수 있다. 제2 이미지 프로세싱 유닛(21-B)은 베이어(Bayer) 프로세싱 유닛일 수 있고, 제3 이미지 프로세싱 유닛(21-C)은 RGB 프로세싱 유닛일 수 있고, 제4 이미지 프로세싱 유닛(21-D)은 포스트(post)-프로세싱 유닛일 수 있으며, 제5 이미지 프로세싱 유닛(21-E)은 크기조정/회전/아핀-변환(Scaling/Rotating/Affine-Transform) 프로세싱 유닛일 수 있다. 상기 프로세싱 유닛의 형태와 순서는 상술한 바와 같은 본 발명의 실시예에 따른 특정 형태와 순서에 한정되는 것은 아니다.

도 1에 도시된 바와 같이, 이미지 프로세싱 회로(20)는 예컨대, 입출력(I/O) 핀을 통해 구성 업데이트를 인에이블하는 비디오 이미지의 프레임들 및 제어 신호들을 수신하도록 구성된 IC 칩으로 구현될 수 있다.

도 2는 본 발명의 일 실시예에 따른 다수의 이미지 프로세싱 유닛의 블록도이다. 도 2에서는 이미지 프로세싱 회로(20)의 제1 내지 제3 이미지 프로세싱 유닛(21-A, 21-B, 21-C)만을 도시하였다.

제1 내지 제3 이미지 프로세싱 유닛(21-A, 21-B, 21-C) 각각은 입/출력 핀 또는 상위 프로세싱 유닛으로부터 이미지 데이터(Data)를 수신한다. 이미지 프로세싱 유닛(21-A, 21-B, 21-C) 각각은 이미지 데이터(Data)의 프레임을 처리하여 다음 하위 프로세싱 유닛(21-A, 21-B, 21-C)으로 출력하는 이미지 프로세싱 코어(22-A, 22-B, 22-C)를 포함한다.

각 이미지 프로세싱 유닛(21-A, 21-B, 21-C)은 카메라(100)의 구성, 예컨대, 이미지 크기, 색온도(color temperature)등을 업데이트하기 위해 각 유닛(21-A, 21-B, 21-C)에 상응하는 구성 벡터(AV, BV, CV)를 이용한다.

이미지 데이터의 각 프레임의 타이밍은 타이밍 신호(Timing)에 의해 나타난다. 프로세싱 지연 시간은 이미지 프로세싱 코어(22)에 의해 이미지 데이터(Data)를 처리하기 위해 필요한 시간과 관련된다. 타이밍 신호(Timing)는 마찬가지로 이미지 프로세싱 코어(22)를 통해 지연된다. 구성 벡터(AV, BV, CV)는 온-칩(on-chip), 오프-칩(off-chip)일 수 있는 본 발명의 실시예에 따른 프로세서에 의해 "라이트(write)"되거나 펌웨어(firmware)에 의해 라이트되고, 이미지의 여러 측면, 예컨대, 이미지의 크기, 색의 깊이 등을 제어한다.

각 이미지 프로세싱 유닛(21-A, 21-B, 21-C)의 액티브 구성 벡터는 이미지 프로세싱 유닛(21-A, 21-B, 21-C)에서 액티브(제1) 구성 벡터 레지스터(CR_AV, CR_BV, CR_CV)에 저장된다.

업데이트된 구성 벡터는 CPU(23)에 의해 이미지 프로세싱 유닛(21-A, 21-B, 21-C)에 상응하는 버퍼링된(제2) 구성 벡터 레지스터(CR_AV ₊₁, CR_BV ₊₁, CR_CV ₊₁)로 라이트되고, 스위치(SW-A, SW-B, SW-C)가 인에이블 논리 회로(31-A, 31-B, 31-C)에 의해 발생된 스위치-인에이블(switch-enable) 신호에 의해 활성화될 때까지 홀드된다. 본 발명의 다른 실시예에 따라, 각 이미지 프로세싱 유닛(21-A, 21-B, 21-C)에 구비된 버퍼링된(제2) 구성 벡터 레지스터(CR_AV ₊₁, CR_BV ₊₁, CR_CV ₊₁)는 FIFO(First-In, First-Out) 버퍼로 구현될 수 있다.

스위치-인에이블 신호에 의해 스위치(SW-A, SW-B, SW-C)가 활성화된 경우, 제2 구성 벡터 레지스터(CR_AV ₊₁, CR_BV ₊₁, CR_CV ₊₁)에 저장된 업데이트된 구성 벡터는 제1 구성 벡터 레지스터(CR_AV, CR_BV, CR_CV)로 카피(copy)되고, 이미지 프로세싱 유닛(21-A, 21-B, 21-C)의 액티브 구성 벡터가 된다.

스위치-인에이블 신호는 트리거-이벤트(trigger-event) 신호(미도시)와 이전 이미지 프로세싱 유닛으로부터 수신된 하드웨어-인에이블 신호(HWEN)의 논리적 결합에 기초하여 이미지 프로세싱 유닛(21-A, 21-B, 21-C)에 구비된 스위치(SW-A, SW-B, SW-C)를 클로즈할 수 있다.

제1 이미지 프로세싱 유닛(21-A)의 경우, 외부 회로 또는 CPU(23)로부터 트랜스퍼-인에이블 신호(transfer-enable)가 입력된다.

트리거-인에이블(trigger-enable) 신호는 이미지 프로세싱 유닛에 의해 수신된 타이밍 신호(Timing)로부터 생성된다. 스위치-인에이블 신호는 칩 입출력(I/O) 핀을 통해 외부 회로로부터 수신된 "트랜스퍼-인에이블" 신호로 나타낸 하드웨어-인에이블 신호(HWEN)의 논리적 결합에 기초하여 제1 이미지 프로세싱 유닛(21-A)에 구비된 스위치(SW-A)를 클로즈한다. 제1 이미지 프로세싱 유닛(21-A)에 의해 수신된 하드웨어-인에이블(HWEN)/트리거-인에이블 신호는 CPU(23) 또는 펌웨어에 의해 발생될 수 있다.

스위치-인에이블 신호는 이미지 프로세싱 유닛(21-A, 21-B, 21-C)에 의해 수신된 타이밍 신호(Timing)로부터 생성된 트리거-이벤트 신호(미도시)에 기초하여 각 이미지 프로세싱 유닛(21-A, 21-B, 21-C)에서 제1 구성 벡터 레지스터(CR_V)와 제2 구성 벡터 레지스터(CR_V ₊₁) 사이의 스위치(SW-A, SW-B, SW-C)를 비활성화(오픈)한다.

트리거-이벤트 신호가 순간 펄스인 경우, 스위치(SW-A, SW-B, SW-C)는 순간적으로 활성화(클로즈)되는 동시에 이전 이미지 프로세싱 유닛으로부터 수신된 트랜스퍼-인에이블 신호(HWEN)는 활성화된다. 따라서, 각 이미지 프로세싱 유닛(21-A, 21-B, 21-C)의 제2 구성 벡터 레지스터(CR_V ₊₁)에서 제1 구성 벡터 레지스터(CR_V)로 저장된 업데이트의 전송은 MIPI 연결된 각 이미지 프로세싱 유닛(21-A, 21-B, 21-C)을 통해 지연된 양에 관계없이, 순차적으로 활성화될 뿐만 아니라, 각 이미지 프로세싱 유닛(21-A, 21-B, 21-C)에 의해 수신된 타이밍 신호(Timing)와 동시에 진행된다.

이것은 또한, CPU(23)에 부담없이 또는 인터럽트로 수행된다. 트랜스퍼-인에이블 신호는 CPU(23)에 의해 직접적으로 또는 CPU(23)에 의해 제어되는 펌웨어에 의해 간접적으로 제어되는 트랜스퍼-인에이블 레지스터(TER)에 저장된 트랜스퍼-인에이블 비트(T-E 비트)를 기반으로 할 수 있다.

각 이미지 프로세싱 유닛(21-A, 21-B, 21-C)은 현재 트리거-이벤트 신호가 이행될지 또는 무시될지 여부를 제어하는 이전 이미지 프로세싱 유닛(또는 트랜스퍼-인에이블 신호)으로부터 하드웨어 인에이블 신호(HWEN)를 수신한다.

따라서, 각 이미지 프로세싱 유닛(21-A, 21-B, 21-C)은 수신된 이미지 데이터와 관련된 타이밍 정보에 의해 나타난 트리거링 이벤트를 이행해야할지 또는 무시해야할지 여부를 나타내는 하드웨어 인에이블 신호(HWEN)를 다음 이미지 프로세싱 유닛으로 제공한다.

체인(chain) 방식에서 제1 이미지 프로세싱 유닛(21-A)은 CPU(23) 또는 펌웨어에 의해 제어되는 트랜스퍼-인에이블 레지스터(TER)라 불리는 레지스터로부터 제1 이미지 프로세싱 유닛(21-A)의 트랜스퍼-인에이블 신호(transfer-enable)를 수신한다. 하드웨어 인에이블 신호(HWEN)는 이미지 프로세싱 유닛들의 체인을 지나기 때문에 지연된다.

도 3은 본 발명의 일 실시예에 따른 이미지 프로세싱 회로의 동작의 제1 모드 동안 이미지 프로세싱 회로의 다양한 신호들의 타이밍도이다. 도 3에서는 도 1에 도시된 디지털 카메라(100)의 이미지 프로세싱 회로(20) 동작의 제1 모드에서 도 2의 제1 및 제2 이미지 프로세싱 유닛(21-A, 21-B)의 입출력 및 내부 신호들의 타이밍도 만을 도시하였다.

도 2 내지 도 3을 참조하면, 하드웨어 인에이블(인터로크, interlock) 신호(HWEN)는 순차적으로 업데이트된 액티브 구성 벡터를 갖는 체인 방식의 이미지 프로세싱 유닛(21-A, 21-B, 21-C)에서 각 유닛을 보장하기 위해 제공된다. 인터로크(interlock)는 파이프라인(pipeline)에서의 각 단계를 트리거 신호로 아밍(arms)하고, 이전 단계가 (아밍 및) 트리거되고 나면 각 단계는 아밍된다. 따라서, 새로운 구성 벡터(V+1)는 매우 짧은 시간(실제 시간)에 인터럽트에 응답하기 위해 프로세서를 필요로 하지않고, 프로세서 유닛 파이프라인(pipeline)의 동작의 중단없이 모든 이미지 프로세싱 유닛(21-A, 21-B, 21-C)의 레지스터들에 적용된다. 이때, 상기 아밍은 인에이블(enable) 또는 액티브(active) 상태를 의미하거나 인에이블(enable) 또는 액티브(active) 상태로 만드는 것을 의미하고, 상기 디스아밍은 디스에이블(disable) 또는 인액티브(inactive) 상태를 의미하거나 디스에이블(disable) 또는 인액티브(inactive) 상태로 만드는 것을 의미할 수 있다.

이미지 센서(12)는 RAW 8, RAW 10, RAW 12 또는 사용자 정의된 8 비트(예컨대, JPEG)에서 병렬 비디오 스트림(stream)을 보낸다. 픽셀 스트림은 픽셀 데이터 스트림의 시작 지점에서 트리거 펄스 또는 동기 신호보다 선행될 수 있다.

HSYNC는 비디오 수평 라인 동기 신호(Video Horizontal Line Synchronization signal)이다. 이미지 데이터는 HSYNC가 하이 레벨인 동안 유효하다. HBLANK는 HSYNC의 역상 신호이다. VSYNC는 비디오 프레임 동기 신호(Video Frame Synchronization signal)이다. VSYNC는 이미지 데이터 프레임의 시작 지점에서 활성화, 예컨대 하이 레벨로 활성화되거나 전환된다.

이미지 센서(12)는 프레임-시작(예컨대, 하이 레벨로 되는 VSYNC) 및 프레임-엔드(예컨대, 로우 레벨로 되는 VSYNC) 트리거 펄스를 발생할 수 있다. 이미지 센서(12)는 픽셀 스캔 주파수(예컨대, 대략 10 MHz 내지 30 MHz 정도)에서 토글링(toggling)하는 픽셀-클록을 제공할 수 있다.

본 발명의 실시예에 따라, 이미지 센서(12)와 직접적으로 연결된 MIPI-CSI는 로우-베이어(RAW-Bayer) 이미지 센서(12)와 직접적으로 인터페이스하고, CRC 및 ECC 코드들을 생성하고, 픽셀을 바이트(byte)로 변환하며, MIPI 스펙에 따라 클록 도메인들 사이에서 인터페이스한다.

한편, CPU(23)는 이미지 프로세싱 유닛(24)의 동작의 운영을 독립적으로 계속할 수 있으며, 사용자가 다른 이미지-프레임 크기를 선택하거나 디지털 줌 계수를 변경하는 경우와 같은 사용자 인터페이스와 상호 작용하는 사용자의 제어에 기초하여 구성 벡터(업데이트된)를 독립적으로 발생할 수 있다.

도 3에 도시된 바와 같이, 데이터의 제1 프레임을 수신하고 처리하기 위한 기간은 데이터의 다음의 제2 프레임을 수신하고 처리하기 위한 기간과 다를 수 있다(예컨대, 각 프레임의 크기에 따라). 또한, 이미지 프로세싱 유닛을 통해 데이터의 제1 프레임의 제1 지연(TDA1)은 동일한 이미지 프로세싱 유닛을 통해 데이터의 제2 프레임의 제2 지연(TDA2)과 다를 수 있다. 따라서, 이미지 프로세싱 유닛들은 구성 레지스터들을 업데이트할 목적으로 각 이미지 프로세싱 유닛들을 통한 데이터의 타이밍과 지연을 추적하기 위한 것은 CPU에 부담이 될 것이다.

각 이미지 프로세싱 유닛에 대한 새로운 구성 벡터(업데이트된)는 각 이미지 프로세싱 유닛이 프레임 처리를 시작할 때 또는 시작하기 이전에 적용되어야 하며, 데이터의 전체 프레임을 처리하는 동안 일정하게 유지되어야한다. 업데이트된 구성 벡터는 이미지 데이터의 타이밍 중 독립된 어느 때라도 CPU(23)에 의해(예컨대, 각 이미지 프로세싱 유닛의 제2 구성 벡터 레지스터(CR_V ₊₁)로) 라이트될 수 있다.

따라서, 스위치(SW)가 인에이블되는 동시에 CPU(23)가 새로 업데이트된 구성 벡터를 제2 구성 벡터 레지스터(CR_V ₊₁)로 라이트하는 경우, 제1 구성 벡터 레지스터(CR_V)로 전송되는 순간에 구성 벡터가 손상된 것일 수 있으므로 이미지 데이터 손상이 발생할 수 있다.

이미지 프로세싱 회로(20) 동작의 제1 모드에 있어서, 두 개 이상 연속적인 이미지 데이터-프레임의 구간에 걸쳐 일정한 하이(활성화) 상태에서 트랜스퍼-인에이블 신호(transfer-enable)가 홀드된다. 이러한 이미지 프로세싱 회로(20) 동작의 제1 모드에서, 트랜스퍼-인에이블 신호(transfer-enable)는 데이터의 다중 프레임을 걸치며, CPU(23)가 새로운 구성 벡터를 제2 구성 벡터 레지스터(CR_V ₊₁)로 라이트하는 경우, 데이터가 손상될 가능성을 피할 수 없게 된다.

이미지 프로세싱 회로(20) 동작의 제2 모드에 있어서, CPU(23)가 새로운 구성 벡터를 제2 구성 벡터 레지스터(CR_V ₊₁)로 라이트하는 동안 트랜스퍼-인에이블 신호(transfer-enable)는 제1 구성 벡터 레지스터(CR_V)로 구성 벡터의 전송이 불가능하도록 변조된다.

즉, 이미지 프로세싱 회로(20) 동작의 제2 모드에 있어서, 새로운 구성 벡터(업데이트된)는 CPU(23)에 의해 첫 번째로 라이트된 다음, 타이밍 신호로부터 생성된 트리거링 이벤트(triggering event)는 구성 벡터를 제1 구성 벡터 레지스터(CR_V)로 전송한다. 그 대신, 트랜스퍼-인에이블 비트/신호는 새로운 구성 벡터(업데이트된)를 제2 구성 벡터 레지스터(CR_V ₊₁)로 라이트하는 기능 또한 대신하는 펌웨어에 의해 제어될 수 있다.

그러나, 제1 구성 벡터 레지스터(CR_V)와 제2 구성 벡터 레지스터(CR_V ₊₁) 사이의 스위치(SW)의 활성화를 제어하기 위한 트랜스퍼-인에이블 신호(transfer-enable)의 변조만을 기초하여 업데이트를 전송하는 것은 업데이트된 구성 벡터가 하나 이상의 이미지 프로세싱 유닛 중간-프레임에 적용될 수 있도록 하므로 데이터 손상이 발생할 수 있다.

따라서, 회로 동작의 두 모드에서, 각 이미지 프로세싱 유닛은 데이터의 프레임이 처리되는 시작과 동시에 새로운 구성 벡터를 수신하기 위해서, 각 이미지 프로세싱 유닛의 스위치(SW)의 활성화는 하드웨어-인에이블 신호와 타이밍-파생된 트리거 이벤트(timing-derived trigger event)의 논리적 결합 또는 트랜스퍼-인에이블 신호와 타이밍-파생된 트리거 이벤트의 논리적 결합에 따라 결정된다. 이미지 프로세싱 회로(20) 동작의 제2 모드에 대해서는 후술한다.

도 4는 도 2에 도시된 이미지 프로세싱 유닛의 업데이트-인에이블 회로의 회로도이다. 도 4에는, 도 1에 도시된 디지털 카메라(100)에 있어서, 도 2의 이미지 프로세싱 유닛들(21-A, 21-B, 21-C)의 업데이트-인에이블 논리 회로(31-A, 31-B, 31-C)의 회로도가 도시되어 있다.

도 4를 참조하면, 각 이미지 프로세싱 유닛(21-A, 21-B, 21-C)의 업데이트-인에이블 논리 회로(31-A, 31-B, 31-C)는 타이밍(예컨대, VSYNC) 신호(Timing)를 수신하고, 이미지 프로세싱 유닛이 수신된 이미지 데이터(Data)의 프레임의 처리를 시작하기 이전에 제1 구성 벡터 레지스터(CR_V)와 제2 구성 벡터 레지스터(CR_V ₊₁) 사이의 스위치(SW-A, SW-B, SW-C)를 활성화하는 트리거-이벤트 신호(trigger-event)를 발생하는 트리거-이벤트 신호 발생 로직(32)을 포함한다.

업데이트-인에이블 논리 회로(31)는 HWEN/트랜스퍼-인에이블 신호(transfer-enable) 및 트리거-이벤트 신호(trigger-event)를 논리적으로 결합함으로써(예컨대, 논리적 AND) 이미지 프로세싱 유닛들(21-A, 21-B, 21-C)의 스위치-인에이블 신호(예컨대, switch-enable-A, switch-enable-B, switch-enable-C)를 발생하는 조합 논리 게이트(g-A, g-B, g-C)를 더 포함할 수 있다.

스위치-인에이블 신호(switch-enable-A, switch-enable-B, switch-enable-C)는 업데이트된 인에이블 스위치(SW-A, SW-B, SW-C)를 제어하고, 수신된 하드웨어-인에이블 신호(HWEN) 및 수신된 타이밍 신호(Timing)로부터 생성되는 트리거 신호(trigger-event)의 논리적 결합에 기초하여 버퍼링된 제2 구성 벡터로부터 업데이트된 구성 벡터를 액티브 제1 구성 벡터 레지스터로 전송하는 본 발명의 실시예에 따른 스위칭부를 제어한다.

업데이트-인에이블 신호가 활성화된 경우, 업데이트된 구성 벡터는 액티브 구성 벡터 레지스터(CR_V)로 전송되는 제2 구성 벡터 레지스터(CR_V ₊₁)에 저장된다.

업데이트-인에이블 논리 회로(31)는 스위치-인에이블 신호(switch-enable-A, switch-enable-B, switch-enable-C)를 래치하고, 다음 이미지 프로세싱 유닛에 의해 사용하기 위한 하드웨어-인에이블 신호(HWEN)로써 출력하는 래치부(L-A, L-B, L-C)를 더 포함한다. 제2 및 다음 단계들(예컨대, 제1 이미지 프로세싱 유닛, 제2 이미지 프로세싱 유닛...)에 있어서, 각 이미지 프로세싱 유닛의 스위치-인에이블 신호(switch-enable-A, switch-enable-B, switch-enable-C)는 이전 단계에서 출력된 신호인 래치된 스위치-인에이블 신호(HWEN)를 리셋하기 위한 HWEN-리셋 신호(HWEN-reset)로써 이전 이미지 프로세싱 유닛의 래치부로 피드백된다.

예컨대, 이전 이미지 프로세싱 유닛(21-A)으로부터 출력된 스위치-인에이블 신호(HWEN_n ₊₁)를 리셋하기 위해, 제2 이미지 프로세싱 유닛(21-B)의 스위치-인에이블 신호(switch-enable-B)는 이전 이미지 프로세싱 유닛(21-A)의 래치부(L-A)로 피드백된다.

이때, 각 이미지 프로세싱 유닛에 구비된 래치부(L-A, L-B, L-C)는 셋(SET) 전극 및 리셋(RESET) 전극을 갖는 SR 래치(latch)로 구현될 수 있다. 또한, 각 이미지 프로세싱 유닛에 구비된 스위치(SW-A, SW-B, SW-C)는 멀티플렉서, 각 구성 벡터의 비트들일 수 있는 많은 폴(pole)을 갖는 단투 스위치(single-throw switch) 또는 구성 벡터의 각 비트를 위한 전송 경로를 갖는 반도체 패스-게이트(semiconductor pass-gate)와 같은 다양한 방법으로 구현될 수 있다.

도 5는 본 발명의 일 실시예에 따른 동작의 이미지 프로세싱 회로의 제2 모드 동안 이미지 프로세싱 회로의 다양한 신호들의 타이밍도이다. 도 5에는, 도 1에 도시된 디지털 카메라(100)의 이미지 프로세싱 회로(20) 동작의 제2 모드에서 도 2의 제1 및 제2 이미지 프로세싱 유닛(21-A, 21-B)의 입출력 및 내부 신호들의 타이밍도 만을 도시하였다.

도 5를 참조하면, 본 발명의 실시예에 의한 제2 모드에 따르면, 새로운 구성 벡터가 모든 이미지 프로세싱 유닛들에 대한 제2 구성 벡터 레지스터(CR_V ₊₁)로 완전히 라이트된 이후, 이미지 프로세싱 유닛들은 순차적으로 업데이트된다. 인터로크(interlock)는 파이프라인(pipeline)에서의 각 단계를 트리거 신호로 아밍(arms)하고, 이전 단계가 아밍 및 트리거되고 나면 각 단계는 아밍된다.

도 2, 도 4 및 도 5를 참조하면, 하드웨어 인에이블(인터로크, interlock) 신호(HWEN)는 유효한 업데이트가 효력이 있는 동안, 각 이미지 프로세싱 유닛이 순차적으로 업데이트된 액티브 구성 벡터를 갖는지 확인하기 위해 선택된 시점에 제공된다. 인터로크(interlock)는 파이프라인(pipeline)에서의 각 단계를 트리거 신호로 아밍(arms)하고, 이전 단계가 아밍 및 트리거되고 나면 각 단계는 아밍된다. 즉, 새로운 구성 벡터(V+1)는 프로세서 동작 중단 없이, 또한 프로세서가 매우 짧은 시간에서의 인터럽트에 응답할 필요 없이, 모든 이미지 프로세싱 유닛의 레지스터들에 적용된다.

CPU(23)는 이미지 프로세싱 유닛(24)의 동작의 운영을 독립적으로 계속할 수 있으며, 사용자가 다른 이미지-프레임 크기를 선택하거나 디지털 줌 계수를 변경하는 경우와 같은 사용자 인터페이스와 상호 작용하는 사용자의 제어에 기초하여 구성 벡터(업테이트된)를 독립적으로 발생할 수 있다.

업데이트된 구성 벡터는 이미지 데이터의 타이밍과는 관계없는 어떠한 시점에서 CPU에 의해 (예컨대, 각 이미지 프로세싱 유닛의 제2 구성 벡터 레지스터(CR_V ₊₁)로) 라이트될 수 있다. 각 이미지 프로세싱 유닛의 제2 구성 벡터 레지스터(CR_V ₊₁)에 저장된 업데이트된 구성 벡터는 이미지 데이터의 타이밍과 동시에 제1 구성 벡터 레지스터(CR_V)로 전송될 수 있다.

따라서, 각 이미지 프로세싱 유닛의 제2 구성 벡터 레지스터(CR_V ₊₁)의 데이터는 상응하는 제1 구성 벡터 레지스터(CR_V)로 트리거-이벤트 펄스가 발생할 때마다 전송되지 않는다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다.

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

10: 렌즈
12: 이미지 센서
20: 이미지 프로세싱 회로
22: 이미지 프로세싱 코어
23: CPU
24: 이미지 프로세싱 유닛
31: 인에이블 논리 회로
32: 트리거-이벤트 신호 발생 로직

Claims

다수의 이미지 프로세싱 유닛을 포함하며,
상기 다수의 이미지 프로세싱 유닛 각각은,
구성 벡터를 저장하는 제1 구성 벡터 레지스터;
업데이트된 구성 벡터를 저장하는 제2 구성 벡터 레지스터; 및
제1 인에이블 신호를 발생하는 논리 회로를 포함하며,
상기 제1 인에이블 신호의 제어에 기초하여 상기 제2 구성 벡터 레지스터의 출력을 상기 제1 구성 벡터 레지스터로 입력하며,
상기 제1 인에이블 신호는 트리거 신호 및 제2 인에이블 신호에 기초하여 발생되며,
상기 다수의 이미지 프로세싱 유닛은 직렬로 연결되며,
상기 다수의 이미지 프로세싱 유닛 각각은,
상기 제1 인에이블 신호를 래치하고, 상기 래치된 제1 인에이블 신호를 다음 이미지 프로세싱 유닛에 의해 수신되는 상기 제2 인에이블 신호로써 출력하는 래치부를 더 포함하며,
상기 제2 인에이블 신호는 이전의 이미지 프로세싱 유닛의 래치부를 리셋하기 위해 상기 이전의 이미지 프로세싱 유닛의 상기 래치부로 피드백되는 이미지 프로세싱 회로.
삭제
제1항에 있어서,
상기 업데이트된 구성 벡터를 수신하여 상기 제1 구성 벡터 레지스터로 출력하는 스위칭부를 더 포함하는 이미지 프로세싱 회로.
제1항에 있어서,
상기 트리거 신호는 상기 이미지 프로세싱 회로에서 이미지 데이터의 각 프레임의 도달과 동기화된 시점인 이미지 프로세싱 회로.
제1항에 있어서,
상기 다수의 이미지 프로세싱 유닛 중에서 제1 이미지 프로세싱 유닛에 의해 수신된 상기 제2 인에이블 신호는 트랜스퍼-인에이블(transfer-enable) 비트를 래치하여 트랜스퍼-인에이블 레지스터에 의해 출력된 트랜스퍼-인에이블 신호인 이미지 프로세싱 회로.
제5항에 있어서,
상기 트랜스퍼-인에이블 비트는 CPU에 의해 상기 트랜스퍼-인에이블 레지스터로 라이트되는 이미지 프로세싱 회로.
제1항에 있어서,
상기 업데이트된 구성 벡터를 생성하는 CPU를 더 포함하는 이미지 프로세싱 회로.
제7항에 있어서,
상기 CPU는 상기 업데이트된 구성 벡터를 상기 제2 구성 벡터 레지스터로 라이트하는 이미지 프로세싱 회로.
제1항에 있어서,
상기 이미지 프로세싱 유닛의 상기 제2 인에이블 신호가 활성화되는 동안 상기 업데이트된 구성 벡터는 어떠한 이미지 프로세싱 유닛의 상기 제2 구성 벡터 레지스터로도 라이트되지 않는 이미지 프로세싱 회로.
제1항에 있어서,
상기 이미지 프로세싱 유닛의 상기 트리거 신호는 상기 이미지 프로세싱 유닛에 의해 수신된 타이밍 신호에 기초하여 상기 이미지 프로세싱 유닛 내에서 발생되는 이미지 프로세싱 회로.
직렬 연결된 다수의 이미지 프로세싱 유닛을 통해 이미지 데이터의 제1 프레임 및 제2 프레임을 연속적으로 프로세싱하는 방법에 있어서,
상기 다수의 이미지 프로세싱 유닛 중 하나인 제1 이미지 프로세싱 유닛에서 상기 이미지 데이터의 제1 프레임을 수신하는 단계;
제1 인에이블 신호가 활성화되는 동안 상기 이미지 데이터의 제1 프레임에 상응하는 구성 벡터를 상기 제1 이미지 프로세싱 유닛의 액티브 구성 벡터 레지스터로 라이트하는 단계;
상기 이미지 데이터의 제1 프레임에 상응하는 타이밍 신호로부터 생성된 트리거 신호와 제2 인에이블 신호를 결합함으로써 상기 활성화된 제1 인에이블 신호를 발생하는 단계; 및
상기 제1 인에이블 신호를 래치하고 상기 래치된 제1 인에이블 신호를 제2 이미지 프로세싱 유닛에 의해 수신되는 상기 제2 인에이블 신호로써 출력하는 단계를 포함하며,
상기 타이밍 신호는 비디오 프레임 동기 신호를 포함하며,
상기 제2 인에이블 신호는 상기 제1 이미지 프로세싱 유닛의 래치부를 리셋하기 위해 상기 제1 이미지 프로세싱 유닛의 상기 래치부로 피드백되는 이미지 프로세싱 방법.
제11항에 있어서, 상기 제1 인에이블 신호가 활성화되기 이전에,
상기 이미지 데이터의 제1 프레임에 상응하는 상기 구성 벡터를 상기 제1 이미지 프로세싱 유닛의 버퍼링된 구성 벡터 레지스터로 라이트하는 단계를 더 포함하는 이미지 프로세싱 방법.
제11항에 있어서,
상기 트리거 신호는 상기 비디오 프레임 동기 신호로부터 생성되는 이미지 프로세싱 방법.
다수의 비디오 프로세싱 유닛을 포함하는 카메라에 있어서,
상기 다수의 비디오 프로세싱 유닛 각각은,
상기 비디오 프로세싱 유닛의 비디오 프로세싱 코어를 구성하는 액티브 구성 벡터를 저장하는 제1 구성 벡터 레지스터;
업데이트된 구성 벡터를 저장하는 제2 구성 벡터 레지스터;
상기 제1 및 제2 구성 벡터 레지스터 사이에 연결되며, 제1 인에이블 신호에 기초하여 상기 업데이트된 구성 벡터를 상기 제1 구성 벡터 레지스터로 전송하는 패스-게이트(pass-gate); 및
트리거 신호 및 제2 인에이블 신호를 결합함으로써 상기 제1 인에이블 신호를 발생하는 논리 회로를 포함하며,
상기 트리거 신호는 비디오 프레임 동기 신호에 종속하는 시점이며,
상기 다수의 비디오 프로세싱 유닛은 직렬로 연결되며,
상기 다수의 비디오 프로세싱 유닛 각각은,
상기 제1 인에이블 신호를 래치하고, 상기 래치된 제1 인에이블 신호를 다음 비디오 프로세싱 유닛에 의해 수신되는 상기 제2 인에이블 신호로써 출력하는 래치부를 더 포함하며,
상기 제2 인에이블 신호는 이전의 비디오 프로세싱 유닛의 래치부를 리셋하기 위해 상기 이전의 비디오 프로세싱 유닛의 상기 래치부로 피드백되는 카메라.
삭제
삭제
제14항에 있어서,
제1 비디오 프로세싱 유닛에 의해 수신되는 상기 제2 인에이블 신호는 CPU로부터 발생하는 카메라.
제14항에 있어서,
각 비디오 프로세싱 유닛으로부터 다음 비디오 프로세싱 유닛으로 전달된 상기 제2 인에이블 신호는 이미지 데이터 및 이에 상응하는 타이밍 신호의 흐름과 동시에 전달되고, 상기 타이밍 신호로부터 전달된 트리거 신호가 인에이블된 경우 액티브 구성 벡터 레지스터를 업데이트하기 위한 액티브 트리거로써 나타나고,
하드웨어-인에이블 트리거 활성화는 체인 다운-스트림(chain down-stream) 방식으로 제1 비디오 프로세싱 유닛으로부터 각각의 다음 비디오 프로세싱 유닛으로 캐스케이드(cascade)되는 카메라.
삭제
삭제