KR20080017263A

KR20080017263A - 화상 처리 장치 및 화상 처리 방법

Info

Publication number: KR20080017263A
Application number: KR1020070082699A
Authority: KR
Inventors: 모토히로 나카이; 도모히로 후쿠오카
Original assignee: 후지쯔 가부시끼가이샤
Priority date: 2006-08-21
Filing date: 2007-08-17
Publication date: 2008-02-26
Also published as: JP4893154B2; CN101132471A; TWI351651B; DE602007000535D1; EP1892664A1; US7983495B2; JP2008047038A; KR100920432B1; US20080044088A1; EP1892664B1; TW200830218A; CN100586144C

Abstract

본 발명은 복수의 프레임의 화상 데이터를 연속적으로 화상 처리하는 경우에 있어서, 그 처리 시간을 단축시키면서 기억 수단의 사용 효율을 향상시킬 수 있는 화상 처리 장치 및 화상 처리 방법을 제공하는 것을 목적으로 한다.

프레임의 화상 데이터를 화상 처리하는 각종 기능 매크로 중, 화상 데이터에 대하여 선행하는 하나의 화상 처리를 행하는 제1 기능 매크로(23)는 그 화상 처리 후의 화상 데이터를 SDRAM의 소정 영역에 잠정적으로 저장하는 동시에, 제1 기능 매크로(23)에 이어서 다음 화상 처리를 행하는 제2 기능 매크로(24)는 SDRAM의 소정 영역에 잠정적으로 저장된 화상 처리 후의 화상 데이터를 판독하여 화상 처리를 행한다. 제1 및 제2 기능 매크로(23, 24)는 각각이 처리하는 프레임 및 이 프레임의 화상 데이터의 처리중인 데이터 라인수를 서로 감시하는 타기능 매크로 처리 상태 감시 회로(31, 36)를 포함한다.

Description

화상 처리 장치 및 화상 처리 방법{IMAGE PROCESSING DEVICE AND METHOD}

본 발명은 프레임의 화상 데이터를 화상 처리하는 각종 기능 매크로를 구비한 화상 처리 장치 및 화상 처리 방법에 관한 것이다.

예컨대 디지털 카메라에서는, 그 촬상 센서(CCD 이미지 센서 등)에 있어서 전기 신호로서 검출된 광이 A/D(아날로그/디지털) 변환부에서 디지털 신호로 변환되어 복수의 화소로서 하나의 화면을 구성하는 프레임의 화상 데이터가 화소마다 취득된다. 그리고, 이 화상 데이터는 LSI로 이루어진 화상 처리 프로세서 내의 프리프로세스부에서 소정의 형태로 전처리되고, 그 후, RGB 형식인 이 화상 데이터(베이어 데이터)는 색공간 변환부에 있어서 YCbCr 형식의 화상 데이터로 변환된다.

이와 같이 처리된 프레임의 화상 데이터는 화상 처리 프로세서 내의 각종 기능 매크로에 있어서, 해상도 변환이나 JPEG(Joint Photographic Experts Group) 처리라는 화상 처리가 순차적으로 실행된다. 이 때, 각 기능 매크로로부터 출력되는 그 화상 처리 후의 화상 데이터는 예컨대 SDRAM(Synchronous DRAM)으로 이루어진 기억 수단에 잠정적으로 저장된다.

또한, 각 기능 매크로는 하나의 프레임을 구성하는 복수의 데이터 라인이 소 정의 형태로 복수로 분류되어 이루어진 블록마다 그 화상 데이터를 화상 처리한다. 즉, 각 기능 매크로는 그 화상 처리의 대상이 되는 원래의 프레임의 화상 데이터를 블록마다 기억 수단으로부터 판독하는 동시에, 그 화상 처리 후의 이 블록의 화상 데이터를 기억 수단에 재기록한다. 그리고, 화상 데이터에 대하여 선행하는 하나의 화상 처리를 실행하는 기능 매크로에 의해 화상 처리 후의 화상 데이터가 기억 수단에 재기록되면, 이 기능 매크로에 이어서 다음 화상 처리를 실행하는 다른 기능 매크로는 선행하는 기능 매크로가 처리하는 데이터 라인수를 감시함으로써, 이 기능 매크로에 의한 프레임의 모든 처리의 종료를 기다리지 않고 그 처리를 시작한다. 이와 같이, 화상 처리에 관하여 순서가 부여된 기능 매크로 사이라도 이들 처리 시간을 일부 중복시킴으로써 전체의 처리 시간의 단축이 도모되고 있다.

도 5는 화상 데이터에 대하여 선행하는 하나의 화상 처리를 실행하는 기능 매크로 0의 출력 및 기능 매크로 0으로부터 출력된 화상 데이터에 대하여 다음 화상 처리를 실행하는 다른 기능 매크로 1의 출력을 각각 도시한 타임차트이다. 동 도면에 도시된 바와 같이, 각 프레임 「0」, 「1」은 복수(4개)의 블록으로 분할되어 있다. 기능 매크로 0은 화상 처리 후의 각 블록의 화상 데이터를 기억 수단에 재기록하도록 이것을 출력한다. 그리고, 기능 매크로 0이 처리하는 데이터 라인수를 감시하는 기능 매크로 1은 이 기능 매크로 0에 의해 기억 수단에 재기록된 화상 데이터를 블록마다 판독하여 화상 처리한 후, 기억 수단에 재기록하도록 이것을 출력한다. 기억 수단에 재기록된 프레임의 화상 데이터는 최종적으로 화상 처리 프로세서 내의 인터페이스 회로를 통하여, 예컨대 CF(컴팩트 플래시: 등록상표)나 SD 메모리 카드(등록상표) 등의 휴대형 메모리 카드에 저장된다.

그런데, 도 5에 도시된 바와 같이, 디지털 카메라의 연사시 등, 연속적으로 복수의 프레임을 처리하는 경우, 기능 매크로 0은 기능 매크로 1에 의한 선행하는 프레임 「0」의 모든 처리의 종료를 기다려 다음 프레임 「1」의 처리를 시작할 필요가 있다. 이것은 기능 매크로 0이 다음 프레임 「1」의 처리를 시작함으로써, 기능 매크로 0에 의해 기억 수단에 잠정적으로 저장된 프레임 「0」의 화상 데이터이면서 기능 매크로 1이 아직 처리를 완료하지 않은 화상 데이터가 덮어쓰기될 우려가 있기 때문이다.

또한, 각 기능 매크로 0, 1은 선행하는 프레임 「0」의 모든 처리의 종료시에, 다음 프레임 「1」의 처리를 시작할 수 있는지를 확인하기 위한 인터럽트 처리를 행할 필요가 있어, 그 처리분만큼 오버헤드(부하)가 증대한다.

또한, 기능 매크로 0은 프레임 「0」의 종료시의 인터럽트 처리 후(도 5에 있어서의 시각 t11), 기능 매크로 1에 의한 프레임 「0」의 모든 처리의 종료를 기다리지 않고 다음 프레임 「1」의 처리를 시작할 수도 있지만, 이 경우에는, 이 처리가 종료될 때까지 기억 수단의 다른 영역에 화상 처리 후의 화상 데이터를 저장할 필요가 있어 기억 수단의 사용 효율이 저감되어 버린다.

본 발명의 목적은 복수의 프레임의 화상 데이터를 연속적으로 화상 처리하는 경우에 있어서, 그 처리 시간을 단축시키면서 기억 수단의 사용 효율을 향상시킬 수 있는 화상 처리 장치 및 화상 처리 방법을 제공하는 데에 있다.

상기 문제점을 해결하기 위해서, 청구항 1에 기재한 발명은 복수의 화소로 이루어진 프레임의 화상 데이터를 화상 처리하는 각종 기능 매크로를 포함하고, 이 각종 기능 매크로 중, 상기 화상 데이터에 대하여 선행하는 하나의 화상 처리를 행하는 제1 기능 매크로는 그 화상 처리 후의 화상 데이터를 기억 수단의 소정 영역에 잠정적으로 저장하는 동시에, 상기 제1 기능 매크로에 이어서 다음 화상 처리를 행하는 제2 기능 매크로는 상기 기억 수단의 상기 소정 영역에 잠정적으로 저장된 상기 화상 처리 후의 화상 데이터를 판독하여 이 화상 데이터의 화상 처리를 행하는 화상 처리 장치에 있어서, 상기 제1 및 제2 기능 매크로 중 어느 한쪽 및 다른 쪽은 이 제1 및 제2 기능 매크로 중 어느 다른 쪽 및 한쪽이 각각 처리하는 프레임 및 이 프레임의 화상 데이터의 처리중인 데이터 라인수를 감시하는 감시 수단을 포함한 것을 요지로 한다.

동 구성에 따르면, 상기 감시 수단에 의해 상기 제1 및 제2 기능 매크로 사이에서 각각의 처리하는 프레임 및 이 프레임의 화상 데이터의 처리중인 데이터 라인수를 서로 감시할 수 있다. 따라서, 예컨대 제1 기능 매크로는 선행하는 프레임의 모든 처리를 종료하고 다음 프레임의 처리를 시작할 때, 제2 기능 매크로가 처리하는 이 선행하는 프레임의 화상 데이터의 처리중인 데이터 라인수를 확인함으로써, 이 제2 기능 매크로의 처리가 완료된 화상 데이터를 인식하는 동시에, 이 화상 데이터의 기초가 되는 화상 데이터가 잠정적으로 저장되는 상기 기억 수단의 영역 을 빈 영역으로서 인식할 수 있다. 그리고, 제1 기능 매크로는 이 인식된 기억 수단의 빈 영역을 이용하여 다음 프레임의 화상 처리 후의 화상 데이터를 덮어쓰기할 수 있기 때문에, 이 기억 수단의 사용 효율을 향상시킬 수 있다. 또한, 제1 기능 매크로는 제2 기능 매크로에 의한 선행하는 프레임의 모든 처리의 종료를 기다리지 않고 다음 프레임의 처리를 보다 조기에 시작할 수 있다.

청구항 2에 기재한 발명은, 청구항 1에 기재한 화상 처리 장치에 있어서, 상기 제1 및 제2 기능 매크로에 대하여, 연속적으로 처리하는 프레임의 수를 각각 설정하는 설정 수단을 포함한 것을 요지로 한다.

동 구성에 따르면, 상기 설정 수단에 의해 상기 제1 및 제2 기능 매크로에 대하여, 연속적으로 처리하는 프레임의 수가 설정됨으로써, 각 기능 매크로는 선행하는 프레임의 모든 처리의 종료시에 자동적으로 다음 프레임의 처리를 시작하는 동작을, 상기 설정된 프레임의 수에 기초한 횟수분만큼 반복하면 좋다. 따라서, 상기 제1 및 제2 기능 매크로는 선행하는 프레임의 모든 처리의 종료시에, 다음 프레임의 처리를 시작할 수 있는지를 확인하기 위한 인터럽트 처리를 행할 필요가 없기 때문에, 이 처리분의 오버헤드(부하)를 삭감할 수 있다.

청구항 3에 기재한 발명은, 청구항 1 또는 청구항 2에 기재한 화상 처리 장치에 있어서, 상기 제1 및 제2 기능 매크로는 DMA 방식으로 상기 기억 수단과의 사이에서 상기 화상 데이터를 주고받는 DMA 컨트롤러를 각각 포함한 것을 요지로 한다.

동 구성에 따르면, 상기 제1 및 제2 기능 매크로는 DMA 컨트롤러에 의해 상 기 기억 수단과의 사이에서 상기 화상 데이터를 즉시 주고받을 수 있다.

청구항 4에 기재한 발명은, 복수의 화소로 이루어진 프레임의 화상 데이터를 화상 처리하는 각종 기능 매크로를 포함하고, 이 각종 기능 매크로 중, 상기 화상 데이터에 대하여 선행하는 하나의 화상 처리를 행하는 제1 기능 매크로는 그 화상 처리 후의 화상 데이터를 기억 수단의 소정 영역에 잠정적으로 저장하는 동시에, 상기 제1 기능 매크로에 이어서 다음 화상 처리를 행하는 제2 기능 매크로는 상기 기억 수단의 상기 소정 영역에 잠정적으로 저장된 상기 화상 처리 후의 화상 데이터를 판독하여 이 화상 데이터의 화상 처리를 행하는 화상 처리 방법에 있어서, 상기 제1 및 제2 기능 매크로 중 어느 한쪽 및 다른 쪽은 이 제1 및 제2 기능 매크로 중 어느 다른 쪽 및 한쪽이 각각 처리하는 프레임 및 이 프레임의 화상 데이터의 처리중인 데이터 라인수를 감시하는 것을 요지로 한다.

동 구성에 따르면, 상기 제1 및 제2 기능 매크로 사이에서 각각의 처리하는 프레임 및 이 프레임의 화상 데이터의 처리중인 데이터 라인수를 서로 감시할 수 있다. 따라서, 예컨대 제1 기능 매크로는 선행하는 프레임의 모든 처리를 종료하고 다음 프레임의 처리를 시작할 때, 제2 기능 매크로가 처리하는 이 선행하는 프레임의 화상 데이터의 처리중인 데이터 라인수를 확인함으로써, 이 제2 기능 매크로의 처리가 완료된 화상 데이터를 인식하는 동시에, 이 화상 데이터의 기초가 되는 화상 데이터가 잠정적으로 저장되는 상기 기억 수단의 영역을 빈 영역으로서 인식할 수 있다. 그리고, 제1 기능 매크로는 이 인식된 기억 수단의 빈 영역을 이용하여 다음 프레임의 화상 처리 후의 화상 데이터를 덮어쓰기할 수 있기 때문에, 이 기억 수단의 사용 효율을 향상시킬 수 있다. 또한, 제1 기능 매크로는 제2 기능 매크로에 의한 선행하는 프레임의 모든 처리의 종료를 기다리지 않고 다음 프레임의 처리를 보다 조기에 시작할 수 있다.

청구항 5에 기재한 발명은, 청구항 4에 기재한 화상 처리 방법에 있어서, 상기 제1 및 제2 기능 매크로에 대하여 연속적으로 처리하는 프레임의 수를 각각 설정하는 것을 요지로 한다.

동 구성에 따르면, 상기 제1 및 제2 기능 매크로에 대하여 연속적으로 처리하는 프레임의 수가 설정됨으로써, 각 기능 매크로는 선행하는 프레임의 모든 처리의 종료시에 자동적으로 다음 프레임의 처리를 시작하는 동작을, 상기 설정된 프레임의 수에 기초한 횟수분만큼 반복하면 좋다. 따라서, 상기 제1 및 제2 기능 매크로는 선행하는 프레임의 모든 처리의 종료시에, 다음 프레임의 처리를 시작할 수 있는지를 확인하기 위한 인터럽트 처리를 행할 필요가 없기 때문에, 이 처리분의 오버헤드(부하)를 삭감할 수 있다.

청구항 6에 기재한 발명은, 청구항 4 또는 청구항 5에 기재한 화상 처리 방법에 있어서, 상기 제1 및 제2 기능 매크로는 DMA 방식으로 상기 기억 수단과의 사이에서 상기 화상 데이터를 주고받는 것을 요지로 한다.

동 구성에 따르면, 상기 제1 및 제2 기능 매크로는 DMA 방식으로 상기 기억 수단과의 사이에서 상기 화상 데이터를 즉시 주고받을 수 있다.

본 발명에서는, 복수의 프레임의 화상 데이터를 연속적으로 화상 처리하는 경우에 있어서, 그 처리 시간을 단축시키면서 기억 수단의 사용 효율을 향상시킬 수 있는 화상 처리 장치 및 화상 처리 방법을 제공할 수 있다.

이하, 본 발명을 디지털 카메라에 적용한 일 실시 형태를 도면에 따라 설명한다.

도 1의 (a)은 디지털 카메라(10)의 전기적 구성을 개략적으로 도시한 블록도이다. 동 도면에 도시된 바와 같이, 디지털 카메라(10)는 CCD 이미지 센서(11)와, LSI로 이루어진 화상 처리 프로세서(12)와, 기억 수단으로서의 SDRAM(13)과, CF나 SD 등의 휴대형 메모리 카드(14)를 구비하여 구성된다.

CCD 이미지 센서(11)는 광학 렌즈 등을 통하여 피사체로부터 입사된 광을 전기 신호로 변환하는 동시에, 이 전기 신호는 A/D 변환부(도시 생략)와 디지털 신호로 변환되어 복수의 화소로 이루어진 프레임의 화상 데이터가 화소마다 취득된다. 또한, CCD 이미지 센서(11)는 RGB의 필터를 통한 광을 전기 신호로 변환하고 있고, 따라서, 각 화소마다의 화상 데이터는 RGB 형식의 화상 데이터(소위 베이어 데이터)로서 취득된다.

화상 처리 프로세서(12)는 취득된 프레임의 화상 데이터를 입력하는 동시에, 이 화상 데이터에 대하여 각종 화상 처리를 실행한다. 이 때, 화상 처리 프로세서(12)는 각 처리 단계에서의 화상 데이터를 SDRAM(13)에 잠정적으로 저장한다. 그리고, 화상 처리 프로세서(12)는 SDRAM(13)에 저장한 화상 처리 후의 최종적인 프레임의 화상 데이터를 휴대형 메모리 카드(14)에 저장한다.

도 1의 (b)은 화상 처리 프로세서(12)의 내부 구성을 개략적으로 도시한 블록도이다. 동 도면에 도시된 바와 같이, 화상 처리 프로세서(12)는 프리프로세스부(21), 색공간 변환부(22), 제1 기능 매크로(23) 및 제2 기능 매크로(24) 등을 갖는 화상 처리부(20)와, CPU(25)와, SDRAM 컨트롤러(26)와, 인터페이스 회로(27)를 구비하고, 이들 사이는 버스(28)로서 전기적으로 접속되어 있다. 이 버스(28)는 어드레스 신호 전달용 어드레스 버스, 데이터 신호 전달용 데이터 버스 및 제어 신호 전달용 제어 버스를 갖는다. 또한, CPU(25)는 그 ROM 영역에 저장된 프로그램(펌웨어)을 실행함으로써, 화상 처리부(20) 등을 제어한다.

프리프로세스부(21)는 상기 취득된 프레임의 화상 데이터에 대하여, 예컨대 화이트 밸런스 조정이나 게인 조정, 결함 신호의 보정 등의 전처리를 실행한다. 그리고, 색공간 변환부(22)는 프리프로세스부(21)에 의해 전처리된 RGB 형식의 화상 데이터(베이어 데이터)를 YCbCr 형식의 화상 데이터로 변환한다. 또한, 이들 프리프로세스부(21), 색공간 변환부(22)에 의해 처리 등이 행해진 프레임의 화상 데이터는 예컨대 CPU(25)에 의한 SDRAM 컨트롤러(2b) 및 버스(28)의 제어에 의해 SDRAM(13)에 잠정적으로 저장된다. 이 때, YCbCr 형식으로 변환된 각 화소의 화상 데이터는 휘도 Y, 색차 Cb 및 색차 Cr의 데이터마다 SDRAM(13)에 저장된다.

제1 기능 매크로(23)는 이와 같이 처리된 프레임의 화상 데이터를 SDRAM(13)으로부터 판독하여 이 화상 데이터에 대하여 선행하는 하나의 화상 처리, 예컨대 이 화상 데이터의 화상 사이즈(해상도)를 축소 또는 확대하는 해상도 변환 처리를 실행한다. 이 제1 기능 매크로(23)에 의한 화상 처리 후의 화상 데이터는 휘도 Y, 색차 Cb 및 색차 Cr의 데이터마다 SDRAM(13)에 잠정적으로 저장된다.

제2 기능 매크로(24)는 제1 기능 매크로(23)에 의한 화상 처리 후의 화상 데이터를 SDRAM(13)으로부터 판독하여 이 화상 데이터에 대하여 다음 화상 처리, 예컨대 화상 데이터를 JPEG 방식으로 압축하는 JPEG 처리를 실행한다. 이 제2 기능 매크로(24)에 의한 화상 처리 후의 화상 데이터는 SDRAM(13)에 잠정적으로 저장된다.

그리고, 모든 화상 처리를 거쳐 제2 기능 매크로(24)에 의해 최종적으로 SDRAM(13)에 저장된 프레임의 화상 데이터는 예컨대 CPU(25)에 의한 SDRAM 컨트롤러(26) 및 버스(28) 등의 제어에 의해 상기 인터페이스 회로(27)를 통하여 휴대형 메모리 카드(14)에 저장된다. 또한, 이 최종적으로 SDRAM(13)에 저장된 프레임의 화상 데이터를, 표시용 인터페이스 회로(도시 생략)를 통하여 액정 디스플레이(LCD: liquid crystal display) 등의 표시 장치에 출력하여도 좋다.

다음에, 제1 및 제2 기능 매크로(23, 24)에 대해서 더욱 설명한다.

도 2는 제1 및 제2 기능 매크로(23, 24)의 전기적 구성을 도시한 블록도이다. 동 도면에 도시된 바와 같이, 제1 기능 매크로(23)는 제2 기능 매크로(24)의 처리 상태를 감시하기 위한 감시 수단으로서의 타기능 매크로 처리 상태 감시 회로(31)와, DMA 컨트롤러(32)와, 화상 데이터에 대하여 선행하는 하나의 화상 처리, 즉 해상도 변환 처리를 행하는 기능 매크로 연산 코어(33)를 구비하여 구성된다. 또한, 제2 기능 매크로(24)는 제1 기능 매크로(23)의 처리 상태를 감시하기 위한 감시 수단으로서의 타기능 매크로 처리 상태 감시 회로(36)와, DMA 컨트롤러(37) 와, 화상 데이터에 대하여 다음 화상 처리, 즉 JPEG 처리를 행하는 기능 매크로 연산 코어(38)를 구비하여 구성된다. 그리고, 이들 제1 및 제2 기능 매크로(23, 24)는 타기능 매크로 처리 상태 감시 회로(31, 36)에 있어서 전기적으로 접속되어 있다.

이들 제1 및 제2 기능 매크로(23, 24)는 타기능 매크로 처리 상태 감시 회로(31, 36) 사이에서, 각각의 처리하는 프레임을 나타내는 처리 프레임 번호, 이 프레임의 처리중인 데이터 라인수를 나타내는 처리 데이터 라인수 및 이 프레임 모든 처리의 종료를 나타내는 프레임 종료 플래그의 각 신호를 주고받는다. 즉, 이들 제1 및 제2 기능 매크로(23, 24) 중 어느 한쪽 및 다른 쪽은 각각이 구비하는 타기능 매크로 처리 상태 감시 회로(31, 36)에 의해 이 제1 및 제2 기능 매크로(23, 24) 중 어느 다른 쪽 및 한쪽이 처리하는 프레임, 이 프레임의 처리중인 데이터 라인수 및 이 프레임의 처리의 종료를 감시한다. 또한, 각 타기능 매크로 처리 상태 감시 회로(31, 36)는 CPU(25)에 의해 그 동작이 제어된다.

제1 기능 매크로(23)의 타기능 매크로 처리 상태 감시 회로(31)는 DMA 컨트롤러(32)에 전기적으로 접속되어 있고, DMA 컨트롤러(32)에 기동 신호(처리 시작 명령 신호)를 출력함으로써 이것을 기동하는 동시에, 이 DMA 컨트롤러(32)에 전송 인에이블 신호를 출력함으로써 이것에 의한 화상 데이터의 DMA 전송을 허용한다. 또한, 기능 매크로 처리 상태 감시 회로(31)는 DMA 컨트롤러(32)로부터 출력된 제1 기능 매크로(23)[기능 매크로 연산 코어(33)]가 처리하는 프레임을 나타내는 처리 프레임 번호 및 이 프레임의 모든 처리의 종료를 나타내는 프레임 종료 플래그의 각 신호를 입력한다. 타기능 매크로 처리 상태 감시 회로(31)는 DMA 컨트롤러(32)로부터 입력한 이들 신호에 기초하여 전술한 처리 프레임 번호 및 프레임 종료 플래그의 각 신호를 제2 기능 매크로(24)의 타기능 매크로 처리 상태 감시 회로(36)에 출력한다.

DMA 컨트롤러(32)는 타기능 매크로 처리 상태 감시 회로(31)로부터의 기동 신호에 의해 기동되면, 타기능 매크로 처리 상태 감시 회로(31)로부터의 전송 인에이블 신호를 수신하여 SDRAM(13)과 기능 매크로 연산 코어(33)와의 사이에서 프레임의 화상 데이터를 즉시 주고받는다. 즉, DMA 컨트롤러(32)는 SDRAM 컨트롤러(26) 및 버스(28)의 제어에 의해 그 화상 처리의 대상이 되는 원래의 프레임의 화상 데이터를 SDRAM(13)으로부터 판독하여 기능 매크로 연산 코어(33)에 출력한다. 또한, DMA 컨트롤러(32)는 SDRAM 컨트롤러(26) 및 버스(28)의 제어에 의해 기능 매크로 연산 코어(33)로부터 입력한 그 화상 처리 후의 화상 데이터를 SDRAM(13)에 재기록한다. 이 때, DMA 컨트롤러(32)는 SDRAM(13)에 재기록한 기능 매크로 연산 코어(33)에 의한 화상 처리 후의 화상 데이터를 감시하는 동시에, 그 감시 결과에 따라 전술한 처리 프레임 번호 및 프레임 종료 플래그의 각 신호를 타기능 매크로 처리 상태 감시 회로(31)에 출력한다.

또한, 제1 기능 매크로(23)는 하나의 프레임을 구성하는 복수의 데이터 라인이 소정의 형태로 복수로 분류되어 이루어진 블록마다 그 화상 데이터를 화상 처리한다. 그리고, DMA 컨트롤러(32)는 그 화상 처리의 대상이 되는 원래의 프레임의 화상 데이터를 블록마다 SDRAM(13)으로부터 판독하여 기능 매크로 연산 코어(33)에 출력하는 동시에, 기능 매크로 연산 코어(33)로부터 입력한 그 화상 처리 후의 이 블록의 화상 데이터를 SDRAM(13)에 재기록한다. 따라서, 타기능 매크로 처리 상태 감시 회로(31)는 DMA 컨트롤러(32)가 출력하는 데이터 라인수를 확인함으로써, 제1 기능 매크로(23)[기능 매크로 연산 코어(33)]의 처리중인 블록 데이터 라인수를 확인한다. 그리고, 타기능 매크로 처리 상태 감시 회로(31)는 처리 데이터 라인수의 신호를 제2 기능 매크로(24)의 타기능 매크로 처리 상태 감시 회로(36)에 출력한다.

한편, 제2 기능 매크로(24)의 타기능 매크로 처리 상태 감시 회로(36)는 DMA 컨트롤러(37)에 전기적으로 접속되어 있고, DMA 컨트롤러(37)에 기동 신호(처리 시작 명령 신호)를 출력함으로써 이것을 기동하는 동시에, 이 DMA 컨트롤러(37)에 전송 인에이블 신호를 출력함으로써 이것에 의한 화상 데이터의 DMA 전송을 허용한다. 또한, 제1 기능 매크로(23)가 처리하는 데이터 라인수를 감시하는 타기능 매크로 처리 상태 감시 회로(36)는 이 제1 기능 매크로(23)와 중복하여 처리할 수 있는 처리 시간에 맞추어 DMA 컨트롤러(37)의 기동 타이밍을 도모한다. 또한, 타기능 매크로 처리 상태 감시 회로(36)는 DMA 컨트롤러(37)로부터 출력된 제2 기능 매크로(24)[기능 매크로 연산 코어(38)]가 처리하는 프레임을 나타내는 처리 프레임 번호 및 이 프레임의 모든 처리의 종료를 나타내는 프레임 종료 플래그 및 제2 기능 매크로(24)가 처리한 라인수의 각 신호를 입력한다. 타기능 매크로 처리 상태 감시 회로(36)는 DMA 컨트롤러(37)로부터 입력한 이들 신호에 기초하여 전술한 처리 프레임 번호 및 프레임 종료 플래그 및 처리 라인수의 각 신호를 제1 기능 매크 로(23)의 타기능 매크로 처리 상태 감시 회로(31)에 출력한다.

DMA 컨트롤러(37)는 타기능 매크로 처리 상태 감시 회로(36)로부터의 기동 신호에 의해 기동되면, 타기능 매크로 처리 상태 감시 회로(36)로부터의 전송 인에이블 신호를 수신하여 SDRAM(13)과 기능 매크로 연산 코어(38)와의 사이에서 프레임의 화상 데이터를 즉시 주고받는다. 즉, DMA 컨트롤러(37)는 SDRAM 컨트롤러(26) 및 버스(28)의 제어에 의해 그 화상 처리의 대상이 되는 원래의 프레임의 화상 데이터 즉 제1 기능 매크로(23)에 의한 화상 처리 후의 화상 데이터를 SDRAM(13)으로부터 판독하여 기능 매크로 연산 코어(38)에 출력한다. 또한, DMA 컨트롤러(37)는 SDRAM 컨트롤러(26) 및 버스(28)의 제어에 의해 기능 매크로 연산 코어(38)로부터 입력한 그 화상 처리 후의 화상 데이터를 SDRAM(13)에 재기록한다. 이 때, DMA 컨트롤러(37)는 SDRAM(13)에 재기록한 기능 매크로 연산 코어(38)에 의한 화상 처리 후의 화상 데이터를 감시하는 동시에, 그 감시 결과에 따라 전술한 처리 프레임 번호 및 프레임 종료 플래그의 각 신호를 타기능 매크로 처리 상태 감시 회로(36)에 출력한다.

또한, 제2 기능 매크로(24)는 하나의 프레임을 구성하는 복수의 데이터 라인이 소정의 형태로 복수로 분류되어 이루어진 블록마다 그 화상 데이터를 화상 처리한다. 그리고, DMA 컨트롤러(37)는 그 화상 처리의 대상이 되는 원래의 프레임의 화상 데이터를 블록마다 SDRAM(13)으로부터 판독하여 기능 매크로 연산 코어(38)에 출력하는 동시에, 기능 매크로 연산 코어(38)로부터 입력한 그 화상 처리 후의 이 블록의 화상 데이터를 SDRAM(13)에 재기록한다. 따라서, 타기능 매크로 처리 상태 감시 회로(36)는 DMA 컨트롤러(37)가 출력하는 데이터 라인수를 확인함으로써, 제2 기능 매크로(24)[기능 매크로 연산 코어(38)]의 처리중인 블록, 즉 데이터 라인수를 확인한다. 타기능 매크로 처리 상태 감시 회로(36)는 처리 데이터 라인수의 신호를 제1 기능 매크로(23)의 타기능 매크로 처리 상태 감시 회로(31)에 출력한다.

또한, CPU(25)는 디지털 카메라(10)의 연사시에 있어서 연속적으로 처리하는 프레임의 수를 나타내는 연속 기동 프레임수 신호를 각 타기능 매크로 처리 상태 감시 회로(31, 36)에 출력한다(설정 수단). 따라서, 각 타기능 매크로 처리 상태 감시 회로(31, 36)는 DMA 컨트롤러(32, 37)로부터의 전술한 처리 프레임 번호 및 프레임 종료 플래그의 각 신호에 기초하여 연속적으로 처리하는 프레임의 모든 종료를 확인한다.

여기서, 각 타기능 매크로 처리 상태 감시 회로(31, 36)의 동작에 대해서 총괄적으로 설명한다. 각 타기능 매크로 처리 상태 감시 회로(31, 36)는 CPU(25)로부터 연속 기동 프레임수 신호가 입력되어 기동되면, 대응하는 DMA 컨트롤러(32, 37)에 기동 신호를 출력하여 이것을 기동하는 동시에, 이 DMA 컨트롤러(32, 37)에 전송 인에이블 신호를 출력하여 이들에 의한 화상 데이터의 DMA 전송을 허용한다.

또한, 타기능 매크로 처리 상태 감시 회로(31, 36)는 대응하는 DMA 컨트롤러(32, 37)로부터 출력된 처리 라인수 및 처리 프레임 번호 및 프레임 종료 플래그의 각 신호를 입력하는 동시에, 상대측이 되는 타기능 매크로 처리 상태 감시 회로(36, 31)에 처리 프레임 번호, 처리 데이터 라인수 및 프레임 종료 플래그의 각 신호를 출력한다. 아울러, 타기능 매크로 처리 상태 감시 회로(31, 36)는 상대측 이 되는 타기능 매크로 처리 상태 감시 회로(36, 31)로부터 출력된 이들 신호를 입력함으로써 상대측이 되는 타기능 매크로 처리 상태 감시 회로(36, 31)가 속하는 기능 매크로(24, 23)의 처리 상태, 즉 어떤 프레임의 어디의 데이터 라인수를 처리중인지 또는 이 프레임을 종료했는지 등을 감시한다. 이상에 의해, 타기능 매크로 처리 상태 감시 회로(31, 36)는 상대측이 되는 타기능 매크로 처리 상태 감시 회로(36, 31)와의 사이에서 하드웨어적으로 서로 감시하면서, DMA 컨트롤러(32, 37)를 통해 대응하는 기능 매크로 연산 코어(33, 38)에 의한 화상 처리 전후의 화상 데이터를 SDRAM(13)과의 사이에서 주고받는다. 또한, 타기능 매크로 처리 상태 감시 회로(31, 36) 사이의 상호 감시는 DMA 컨트롤러(32, 37)를 통해 화상 데이터를 주고받는 등의 타이밍에 맞추어 행하여도 좋고, 이 타이밍에 관계없이 수시로 행하여도 좋다. 그리고, 타기능 매크로 처리 상태 감시 회로(31, 36)는 연속적으로 처리하는 프레임의 모든 종료가 확인되면, 그 처리를 종료한다.

다음에, 본 실시 형태의 동작에 대해서 설명한다.

도 3은 디지털 카메라(10)의 연사시에 있어서 복수(여기서는 2개의 프레임 「0」, 「1」을 대표하여 도시)의 프레임을 연속적으로 처리하는 경우의 제1 및 제2 기능 매크로(23, 24)의 각 출력을 도시한 타임차트이다. 동 도면에 도시된 바와 같이, 각 프레임은 복수(4개)의 블록으로 분할되어 있다. 그리고, 제1 기능 매크로(23)는 화상 처리 후의 각 블록의 화상 데이터를 SDRAM(13)에 재기록하도록 이것을 출력한다. 그리고, 제1 기능 매크로(23)의 처리 데이터 라인수 등을 감시하는 제2 기능 매크로(24)는 이 제1 기능 매크로(23)에 의해 SDRAM(13)에 재기록된 화상 데이터를 블록마다 판독하여 화상 처리한 후, SDRAM(13)에 재기록하도록 이것을 출력한다.

여기서, 제2 기능 매크로(24)의 처리 데이터 라인수 등을 감시하는 제1 기능 매크로(23)는 선행하는 프레임 「0」의 모든 처리를 종료하고 다음 프레임 「1」의 처리를 시작할 때, 제2 기능 매크로(24)가 처리하는 이 선행하는 프레임 「0」의 화상 데이터의 처리 데이터 라인수를 확인함으로써, 이 제2 기능 매크로(24)의 처리가 완료된 화상 데이터를 인식하는 동시에, 이 화상 데이터의 기초가 되는 화상 데이터가 잠정적으로 저장되는 SDRAM(13)의 영역을 빈 영역으로서 인식할 수 있다. 이에 따라, 제1 기능 매크로(23)는 이 인식된 SDRAM(13)의 빈 영역을 이용하여 다음 프레임 「1」의 화상 처리 후의 화상 데이터를 덮어쓰기한다.

도 4는 제1 기능 매크로(23)에 의한 프레임 「0」의 화상 처리 후의 화상 데이터가 기록된 SDRAM(13)의 기억 영역(D)을 모식적으로 도시한 설명도이다. 동 도면에 도시된 바와 같이, 이 화상 데이터는 휘도 Y, 색차 Cb 및 색차 Cr의 각 데이터로 나누어 SDRAM(13)의 3개의 영역(D1, D2, D3)에 저장된다. 또한, 도 4에 있어서, 제2 기능 매크로(24)에 의한 처리가 종료된 프레임 「0」의 화상 데이터의 영역(D1a, D2a, D3a)에는 점선의 패턴을 부여하여 명시하고 있다. 동 도면으로부터 밝혀진 바와 같이, 제1 기능 매크로(23)는 제2 기능 매크로(24)의 처리가 완료된 화상 데이터를 인식하여 이 화상 데이터가 잠정적으로 저장된 SDRAM(13)의 영역(D1a, D2a, D3a)을 빈 영역으로서 인식함으로써, 이 영역(D1a, D2a, D3a)을 다음 프레임 「1」의 화상 처리 후의 화상 데이터의 기록 영역으로서 이용한다.

또한, 제1 및 제2 기능 매크로(23, 24)는 CPU(25)로부터의 연속 기동 프레임수 신호에 의해 연속적으로 처리하는 프레임의 수가 설정됨으로써, 도 3에 도시된 바와 같이, 선행하는 프레임 「0」의 모든 처리의 종료시(시각 t1, t2)에 자동적으로 다음 프레임 「1」의 처리를 시작한다. 즉, 제1 및 제2 기능 매크로(23, 24)는 종래 형태와 같이 선행하는 프레임 「0」의 모든 처리의 종료시에, 다음 프레임 「1」의 처리를 시작할 수 있는지를 확인하기 위한 인터럽트 처리를 행하지 않고 이 프레임 「1」의 처리를 시작한다. 그리고, 제1 및 제2 기능 매크로(23, 24)는 선행하는 프레임의 모든 처리의 종료시에 자동적으로 다음 프레임의 처리를 시작하는 동작을, 상기 설정된 프레임의 수에 기초한 횟수분만큼 반복함으로써 연속적으로 입력되는 모든 프레임을 처리한다.

이상 상세히 설명한 바와 같이, 본 실시 형태에 따르면, 이하에 나타내는 효과를 얻을 수 있게 된다.

(1) 본 실시 형태에서는, 타기능 매크로 처리 상태 감시 회로(31, 36)에 의해 상기 제1 및 제2 기능 매크로(23, 24) 사이에서 각각의 처리하는 프레임 및 이 프레임의 화상 데이터의 처리중인 데이터 라인수를 서로 감시할 수 있다. 따라서, 예컨대 기능 매크로(23)는 선행하는 프레임의 모든 처리를 종료하고 다음 프레임의 처리를 시작할 때, 제2 기능 매크로(24)가 처리하는 이 선행하는 프레임의 화상 데이터의 처리중인 데이터 라인수를 확인함으로써, 이 제2 기능 매크로(24)의 처리가 완료된 화상 데이터를 인식하는 동시에, 이 화상 데이터의 기초가 되는 화상 데이터가 잠정적으로 저장되는 SDRAM(13)의 영역을 빈 영역으로서 인식할 수 있다. 그 리고, 제1 기능 매크로(23)는 이 인식된 SDRAM(13)의 빈 영역을 이용하여 다음 프레임의 화상 처리 후의 화상 데이터를 덮어쓰기할 수 있기 때문에, SDRAM(13)의 사용 효율을 향상시킬 수 있다. 또한, 제1 기능 매크로(23)는 제2 기능 매크로(24)에 의한 선행하는 프레임의 모든 처리의 종료를 기다리지 않고 다음 프레임의 처리를 보다 조기에 시작할 수 있다.

(2) 본 실시 형태에서는, CPU(25)로부터의 연속 기동 프레임수 신호의 입력에 의해 상기 제1 및 제2 기능 매크로(23, 24)에 대하여, 연속적으로 처리하는 프레임의 수가 설정됨으로써, 각 기능 매크로(23, 24)는 선행하는 프레임의 모든 처리의 종료시에 자동적으로 다음 프레임의 처리를 시작하는 동작을, 상기 설정된 프레임의 수에 기초한 횟수분만큼 반복하면 좋다. 따라서, 상기 제1 및 제2 기능 매크로(23, 24)는 선행하는 프레임의 모든 처리의 종료시에, 다음 프레임의 처리를 시작할 수 있는지 여부를 확인하기 위한 인터럽트 처리를 행할 필요가 없기 때문에, 이 처리분의 오버헤드(부하)를 삭감할 수 있다.

(3) 본 실시 형태에서는, 제1및 제2 기능 매크로(23, 24)는 DMA 컨트롤러(32, 37)에 의해 SDRAM(13)과의 사이에서 화상 데이터를 즉시 주고받을 수 있다. 이 때문에, CPU(25)의 부하를 경감시킬 수 있다.

(4) 본 실시 형태에서는, 제2 기능 매크로(24)는 선행하는 제1 기능 매크로(23)가 처리하는 데이터 라인수를 감시함으로써, 이 제1 기능 매크로(23)에 의한 프레임의 모든 처리의 종료를 기다리지 않고 그 처리를 시작할 수 있어 전체의 처리 시간의 단축을 도모할 수 있다.

또한, 상기 실시 형태는 이하와 같이 변경하여도 좋다.

CCD 이미지 센서(11) 대신에 CMOS 이미지 센서를 채용하여도 좋다.

SDRAM(13) 대신에 적절한 RAM을 채용하여도 좋다.

색공간 변환부(22)는 RGB 형식인 화상 데이터(베이어 데이터)를 YUV 형식의 화상 데이터로 변환하여도 좋다.

상기 실시 형태에 있어서, 제1, 제2 기능 매크로(23, 24)는 노이즈나 엣지 강조 등의 화상 처리를 행하는 기능 매크로이어도 좋다.

상기 실시 형태에 있어서는, 화상 처리 프로세서(12)를 하나의 LSI로 하였지만, 이 화상 처리 프로세서(12)의 각 구성 부재[제1, 제2 기능 매크로(23, 24) 등] 또는 이들 2개 이상을 임의로 조합한 것으로 하여도 좋다.

상기 실시 형태에 있어서, 타기능 매크로 처리 상태 감시 회로(31, 36)는 대응하는 DMA 컨트롤러(32, 37)에 의한 SDRAM(13)으로의 기록 횟수[또는 SDRAM(13)으로부터의 판독 횟수)를 감시하여 기능 매크로(23, 24)의 처리중인 데이터 라인수를 확인하여도 좋다.

상기 실시 형태에 있어서, 하나의 프레임을 복수의 블록으로 분할할 때의 각 블록의 데이터 라인의 개수는 예컨대 JPEG 처리에 있어서 8라인으로 하는 등 화상 처리에 관한 기능 매크로의 처리 단위에 따라 적절하게 설정하면 좋다.

상기 실시 형태에 있어서, 디지털 카메라(10)의 단사시라도 비교적 단시간에 촬영이 반복되는 등, 복수의 프레임을 연속적으로 처리해야 하는 경우에 본 발명을 적용하여도 좋다.

상기 실시 형태에 있어서, 이미지 센서로 사진이나 인쇄물을 연속적으로 받아들이는 등, 복수의 프레임의 화상 데이터를 화상 처리하는 경우에 본 발명을 적용하여도 좋다.

상기 실시 형태에 있어서, 화상 처리에 관해서 순서가 부여되는 기능 매크로의 개수는 3개 이상이어도 좋다. 이 경우, 화상 처리에 관해서 인접한 순서의 임의의 2개의 기능 매크로 사이에서 각각의 처리하는 프레임 및 이 프레임의 화상 데이터의 처리중인 데이터 라인수를 서로 감시하게 하면 좋다.

도 1의 (a), (b)는 본 발명에 따른 디지털 카메라의 구성을 도시한 블록도.

도 2는 본 실시 형태의 각 기능 매크로의 구성을 도시한 블록도.

도 3은 본 실시 형태의 제1 및 제2 기능 매크로의 출력을 도시한 타임차트.

도 4는 제1 기능 매크로에 의한 프레임의 기억 영역을 도시한 설명도.

도 5는 종래 형태의 제1 및 제2 기능 매크로의 출력을 도시한 타임차트.

〈도면의 주요 부분에 대한 부호의 설명〉

12 : 화상 처리 프로세서

23 : 제1 기능 매크로(기능 매크로)

24 : 제2 기능 매크로(기능 매크로)

25 : CPU(설정 수단)

31, 36 : 타기능 매크로 처리 상태 감시 회로(감시 수단)

32, 37 : DMA 컨트롤러

33, 38 : 기능 매크로 연산 코어

Claims

복수의 화소로 이루어진 프레임의 화상 데이터를 화상 처리하는 각종 기능 매크로를 포함하고, 이 각종 기능 매크로 중, 상기 화상 데이터에 대하여 선행하는 하나의 화상 처리를 행하는 제1 기능 매크로는 그 화상 처리 후의 화상 데이터를 기억 수단의 소정 영역에 잠정적으로 저장하는 동시에, 상기 제1 기능 매크로에 이어서 다음 화상 처리를 행하는 제2 기능 매크로는 상기 기억 수단의 상기 소정 영역에 잠정적으로 저장된 상기 화상 처리 후의 화상 데이터를 판독하여 이 화상 데이터의 화상 처리를 행하는 화상 처리 장치에 있어서,

상기 제1 및 제2 기능 매크로 중 어느 한쪽 및 다른 쪽은 이 제1 및 제2 기능 매크로 중 어느 다른 쪽 및 한쪽이 각각 처리하는 프레임 및 이 프레임의 화상 데이터의 처리 중의 데이터 라인수를 감시하는 감시 수단을 포함한 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서, 상기 제1 및 제2 기능 매크로에 대하여, 연속적으로 처리하는 프레임의 수를 각각 설정하는 설정 수단을 포함한 것을 특징으로 하는 화상 처리 장치.
제1항 또는 제2항에 있어서, 상기 제1 및 제2 기능 매크로는 DMA(Direct Memory Access) 방식으로 상기 기억 수단과의 사이에서 상기 화상 데이터를 주고받 는 DMA 컨트롤러를 각각 포함한 것을 특징으로 하는 화상 처리 장치.
복수의 화소로 이루어진 프레임의 화상 데이터를 화상 처리하는 각종 기능 매크로를 포함하고, 이 각종 기능 매크로 중, 상기 화상 데이터에 대하여 선행하는 하나의 화상 처리를 행하는 제1 기능 매크로는 그 화상 처리 후의 화상 데이터를 기억 수단의 소정 영역에 잠정적으로 저장하는 동시에, 상기 제1 기능 매크로에 이어서 다음 화상 처리를 행하는 제2 기능 매크로는 상기 기억 수단의 상기 소정 영역에 잠정적으로 저장된 상기 화상 처리 후의 화상 데이터를 판독하여 이 화상 데이터의 화상 처리를 행하는 화상 처리 방법에 있어서,

상기 제1 및 제2 기능 매크로 중 어느 한쪽 및 다른 쪽은 이 제1 및 제2 기능 매크로 중 어느 다른 쪽 및 한쪽이 각각 처리하는 프레임 및 이 프레임의 화상 데이터의 처리중의 데이터 라인수를 감시하는 것을 특징으로 하는 화상 처리 방법.
제4항에 있어서, 상기 제1 및 제2 기능 매크로에 대하여 연속적으로 처리하는 프레임의 수를 각각 설정하는 것을 특징으로 하는 화상 처리 방법.
제4항 또는 제5항에 있어서, 상기 제1 및 제2 기능 매크로는 DMA 방식으로 상기 기억 수단과의 사이에서 상기 화상 데이터를 주고받는 것을 특징으로 하는 화상 처리 방법.