KR20120089559A - 화상 처리 장치, 화상 처리 방법, 및 프로그램 - Google Patents

Abstract

화상 처리부내의 라인 메모리의 사이즈를 소형화하는 것이 가능한, 신규 또한 개량된 화상 처리 장치 및 화상 처리 방법을 제공한다.
피사체를 촬상하여 화상 데이터를 획득하는 촬상부와, 상기 촬상부로부터 출력되는 상기 화상 데이터의 제 1 부분과 제 2 부분 중에서 상기 제 1 부분이 입력되는 화상 메모리와, 상기 화상 메모리로부터 입력되는 상기 제 1 부분을 화상 처리하고, 상기 화상 메모리를 통하지 않고 입력되는 상기 제 2 부분을 화상 처리하며, 처리 후의 상기 제 1 부분 및 상기 제 2 부분을 합성하여 상기 화상 데이터에 대응하는 처리 화상을 생성하는 화상 처리부를 구비한다.

Description

화상 처리 장치, 화상 처리 방법, 및 프로그램 { A image processing method and a image processing apparatus }

본 발명은, 화상 처리 장치, 화상 처리 방법, 및 프로그램에 관한 것이다.

디지털 카메라 등의 기술 분야에서는, CCD등의 촬상 소자로부터 입력되는 화상 데이터에 대하여 화상 처리부가 보간 처리나 각종 화상 처리를 수행한다. 예를 들어, 화상 데이터가 베이어(Bayer) 구조를 가지는 경우에는, 화상 처리부는 RGB정보로의 색 변환(현상 처리)을 수행한다. 상기와 같은 처리를 수행할 시에, 상하 좌우의 화소 정보를 이용하여 화상 처리를 수행하기 위해서, 화상 처리부는, 몇 라인 분의 라인 메모리를 필요로 한다.

그런데, 촬상 소자의 고화소화(high pixelation)에 의해 라인 메모리의 크기가 커지고, 화상 처리의 고도화에 의해 필요한 라인 메모리의 라인수도 늘어나는 추세에 있다. 그러나, 집적 회로를 제조하는 데에 있어서 라인 메모리의 대형화는 비용 증가의 요인이 되기 때문에, 라인 메모리의 크기를 작게 하는 것이 바람직하다.

이러한 문제에 대하여, 촬상 소자로부터 출력되는 화상 데이터의 모든 화상을 화상 처리부외의 프레임 메모리 상에 일단 기록하고, 이것을 세로 길이의 화상으로 분할한 것을 화상 처리부에 입력하고, 복수회로 나누어서 화상 처리를 수행하는 방법이 있다. 이러한 방법의 경우에는, 화상 데이터를 가로 방향에서 작은 화상과 같이 처리할 수 있기 때문에, 라인 메모리의 크기를 작게 하는 것이 가능하다.

그러나, 전화상을 일단 프레임 메모리에 기록하여 처리하는 방법에서는, 프레임 메모리의 전화상을 차례로 모두 독출할 필요가 있기 때문에, 프레임 메모리에 액세스하는 횟수가 많아지는 문제점이 있다. 더욱이, 프레임 메모리로의 액세스 증가에 따라, 소비 전력이 증가함과 함께, 처리 시간이 길어진다고 하는 문제도 발생한다.

그러므로, 본 발명은, 상기 문제를 감안하여 이루어진 것이며, 본 발명이 목적으로 하는 바는, 화상 데이터의 화상 처리를 수행할 시의 외부 메모리의 액세스 횟수를 억제하면서, 화상 처리부내의 라인 메모리의 사이즈를 소형화할 수 있는 신규 또한 개량된 화상 처리 장치 및 화상 처리 방법을 제공하는 것에 있다.

상기 과제를 해결하기 위해서, 본 발명의 어떤 관점에 따르면, 피사체를 촬상하여 화상 데이터를 획득하는 촬상부와, 상기 촬상부로부터 출력되는 상기 화상 데이터의 제 1 부분과 제 2 부분 중 상기 제 1 부분이 입력되는 화상 메모리와, 상기 화상 메모리로부터 입력되는 상기 제 1 부분을 화상 처리하고, 상기 화상 메모리를 통하지 않고 입력되는 상기 제 2 부분을 화상 처리하며, 처리 후의 상기 제 1 부분 및 상기 제 2 부분을 합성하여 상기 화상 데이터에 대응하는 처리 화상을 생성하는 화상 처리부를 구비함을 특징으로 하는 화상 처리 장치가 제공된다.

이러한 화상 처리 장치의 경우에는, 화상 처리부는, 촬상 소자로부터 출력된 화상 데이터의 일부(제 1 부분)를 화상 메모리에 일단 기록하여 처리하고, 제 2 부분을 화상 메모리를 통하지 않고 직접 처리하므로, 화상 데이터의 화상 메모리로의 기록 및 화상 메모리로부터의 독출의 일부를 생략할 수 있다. 즉, 화상 메모리에 액세스하는 횟수를 억제할 수 있다. 또한, 화상 처리부는, 제 1 부분과 제 2 부분으로 나누어서 처리하므로, 라인 메모리의 사이즈를 소형화할 수 있다. 더욱이, 제 1 부분 만이 화상 메모리에 입력되므로, 화상 메모리의 사이즈도 소형화할 수 있다.

또한, 화상 처리 장치는, 상기 제 1 부분의 상기 화상 메모리로의 입력과, 상기 제 2 부분의 상기 화상 처리부로의 입력을 절환하는 절환부를 더 구비한다.

이러한 경우에는, 절환부에 의해 제 1 부분의 화상 메모리로의 입력과 제 2 부분의 화상 처리부로의 입력을 용이하게 제어할 수 있다.

또한, 상기 화상 데이터는, 각각 상기 제 1 부분 및 상기 제 2 부분을 가지는 복수의 라인 데이터로 구성되고, 각 라인 데이터의 상기 제 1 부분과 상기 제 2 부분은, 라인 방향에서의 동일한 위치에서 나누어지고, 상기 절환부는, 상기 제 1 부분의 상기 화상 메모리로의 입력과, 상기 제 2 부분의 상기 화상 처리부로의 입력을 라인 데이터마다 선택적으로 절환한다.

이러한 경우에는, 화상 데이터의 라인 방향에서 분할된 제 1 부분과 제 2 부분 중, 라인 방향의 한 쪽에 위치하는 제 1 부분(예를 들어, 화상 데이터의 좌측 반 정도)이 화상 메모리에 기억되므로, 화상 처리부도, 화상 데이터의 좌측 반 정도와 우측 반 정도로 나누어서 처리할 수 있다. 이 때문에, 화상 처리부의 라인 메모리의 라인 방향의 폭을 작게 할 수 있다. 마찬가지로, 화상 메모리의 라인 방향의 폭을 작게 할 수 있다.

또한, 상기 제 1 부분 및 상기 제 2 부분은, 상기 라인 방향에 있어서 상기 동일한 위치의 전후의 영역이 포함되는 중복 부분을 가진다.

이러한 경우에는, 제 1 부분과 제 2 부분을 처리할 시에, 각각 중복 부분의 데이터를 이용하는 것으로, 주위의 화소를 이용한 보간 처리를 적절히 수행할 수 있다.

또한, 상기 화상 메모리에 입력되는 각 라인 데이터의 상기 제 1 부분은, 합쳐서 상기 화상 처리부에 입력된다.

이러한 경우에는, 제 1 부분이 합쳐서 화상 메모리로부터 화상 처리부에 입력되므로, 화상 메모리로의 액세스 횟수를 감소시킬 수 있다.

또한, 상기 화상 처리부에 의해 상기 제 2 부분이 처리된 후에, 상기 화상 메모리로부터 상기 화상 처리부에 상기 제 1 부분이 입력된다.

이러한 경우에는, 제 1 부분과 제 2 부분을 나누어서 처리하므로, 화상 처리에 필요한 라인 메모리의 크기를, 제 1 부분과 제 2 부분을 독립적으로 처리하는 데에 필요한 사이즈로 소형화할 수 있다.

또한, 상기와 같은 과제를 해결하기 위해서, 본 발명의 다른 관점에 따르면, 촬상부로부터 출력되는 화상 데이터의 제 1 부분과 제 2 부분 중 상기 제 1 부분을 화상 메모리에 입력하는 스텝과, 상기 화상 메모리를 통하지 않고 상기 제 2 부분을 화상 처리부에 입력하여 화상 처리하는 스텝과, 상기 화상 메모리의 상기 제 1 부분을 화상 처리부에 입력하여 화상 처리하는 스텝과, 처리 후의 상기 제 1 부분 및 상기 제 2 부분을 합성하여 상기 화상 데이터에 대응하는 처리 화상을 생성하는 스텝을 가지는 화상 처리 방법이 제공된다.

또한, 상기 과제를 해결하기 위해서, 본 발명의 다른 관점에 따르면, 촬상부로부터 출력되는 화상 데이터의 제 1 부분과 제 2 부분 중 상기 제 1 부분을 화상 메모리에 입력하는 스텝과, 상기 화상 메모리를 통하지 않고 상기 제 2 부분을 화상 처리부에 입력하여 화상 처리하는 스텝과, 상기 화상 메모리의 상기 제 1 부분을 화상 처리부에 입력하여 화상 처리하는 스텝과, 처리 후의 상기 제 1 부분 및 상기 제 2 부분을 합성해서 상기 화상 데이터에 대응하는 처리 화상을 생성하는 스텝을 컴퓨터에 실행시키기 위한 프로그램이 제공된다.

이상 설명한 바와 같이, 본 발명에 의하면, 화상 데이터의 화상 처리를 수행할 시의 외부 메모리의 액세스 횟수를 억제하면서, 화상 처리부내의 라인 메모리의 사이즈를 소형화할 수 있다.

도1은 촬상 장치(100)의 구성을 나타내는 블록도.
도2는 촬상 소자(112)로부터 출력되는 화상 데이터의 화상 처리의 흐름의 개략을 나타내는 도면.
도3은 화상 데이터의 제 1 부분 A1과 제 2 부분 A2의 입력 경로를 나타내는 도면.
도4는 화상 데이터의 제 1 부분 A1과 제 2 부분 A2의 분할 상태를 나타내는 모식도.
도5A는 절환부(116)의 제 1 절환 상태를 나타내는 도면.
도5B는 절환부(116)의 제 2 절환 상태를 나타내는 도면.
도5C는 절환부(116)의 제 3 절환 상태를 나타내는 도면.
도6은 스위치 SW1, SW2, SW3의 절환 타이밍을 나타내는 타임차트.
도7은 촬상 소자(112)로부터 출력된 화상 데이터가 화상 처리부(118)에 입력되기까지의 촬상 장치(100)의 동작 예를 나타내는 플로우차트.
도8은 비교 예 1을 나타내는 도면.
도 9는 비교 예 2를 나타내는 도면.

이하, 첨부 도면을 참조하면서 본 발명의 바람직한 실시 형태에 대해서 상세히 설명한다. 더욱이, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 가지는 구성 요소에 대해서는, 동일한 부호를 붙임으로써 중복 설명을 생략한다.

<촬상 장치의 구성>

본 실시예에서는, 화상 처리 장치로서 촬상 장치(100)를 예로 들어, 촬상 장치(100)의 구성에 대해서 도 1을 참조하면서 설명한다. 도 1은, 촬상 장치(100)의 구성을 나타내는 블록도이다.

촬상 장치(100)는, 예를 들어 정지 화상을 촬영할 수 있는 디지털 카메라 또는 동화상을 촬영할 수 있는 비디오 카메라이다. 물론, 디지털 카메라가, 정지 화상과 동화상을 양쪽 촬영하는 것으로 해도 된다.

촬상 장치(100)는, 도 1에 도시하는 바와 같이, 촬상부의 일 예인 촬상 소자(112)와, 전처리부(114)와, 절환부(116)와, 화상 처리부(118)와, 압축 처리부(120)와, 카드 제어부(122)와, 메모리 카드(124)와, 버스(126)와, 화상 메모리의 일 예인 프레임 메모리(128) 등을 가진다.

촬상 소자(112)는, 광전 변환 소자의 일 예이며, 렌즈를 투과시켜서 입사한 광 정보를 전기 신호로 변환하는 광전 변환이 가능한 복수의 소자로 구성된다. 각 소자는, 수광한 광량에 따른 전기 신호를 생성한다. 촬상 소자(112)로서, CCD(Charge Coupled Device) 이미지 센서, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 등을 적용할 수 있다.

촬상 소자(112)는, CDS/AMP부, A/D 변환부를 더 가진다. CDS/AMP부(상관 이중 샘플링 회로(Correlated Double Sampling)/증폭기(Amplifier))는, 촬상 소자(112)로부터 출력된 전기 신호에 포함되는 리셋 노이즈와 앰프 노이즈를 제거함과 함께, 전기 신호를 임의의 레벨까지 증폭한다. A/D변환부는, CDS/AMP부로부터 출력된 전기 신호를 디지털 변환해서 디지털 신호를 생성한다. A/D변환부는, 생성한 디지털 신호(화상 데이터)를 전처리부(114)로 출력한다.

전처리부(114)는, A/D변환부로부터 출력된 디지털 신호에 대하여 처리를 실시하고, 화상 처리가 가능해지는 화상 신호를 생성한다. 전처리부(114)는, 예를 들어, 촬상 소자(104)의 화소 결함 보정, 흑 레벨 보정, 쉐이딩(shading) 보정 등의 처리를 수행한다. 전처리부(114)는, 생성한 화상 신호(화상 데이터)를 절환부(116)로 출력한다.

절환부(116)는, 전처리부(114)로부터 출력된 화상 데이터(라인 데이터)의 제 1 부분 A1(도 2참조)과 제 2 부분 A2 중, 제 1 부분 A1의 프레임 메모리(128)로의 입력과, 제 2 부분 A2의 화상 처리부(118)로의 입력을 절환하는 기능을 가진다. 절환부(116)의 상세에 관해서는 후술한다.

프레임 메모리(128)는, 예를 들어 SDRAM이며, 절환부(116)에 의해 버스(126)를 통해서 입력된 제 1 부분 A1을 일시적으로 보존한다. 또한, 일시적으로 보존된 제 1 부분 A1은, 나중에 버스(126)를 통해서 화상 처리부(118)에 입력된다. 프레임 메모리(128)는, 화상 데이터 이외의 데이터(프로그램 데이터 등)도 기억한다.

화상 처리부(118)는, 프레임 메모리(128)로부터 입력되는 화상 데이터 제 1 부분 A1과, 프레임 메모리(128)를 통하지 않고 입력되는 제 2 부분 A2을 받아서, 각각에 휘도 신호와 RGB색신호로 변환하여 처리한다. 구체적으로는, 화상 처리부(118)는, 제 2 부분 A2를 화상 처리한 후에, 제 1 부분 A1을 화상 처리하고, 처리 후의 제 1 부분과 제 2 부분을 합성해서 화상 데이터에 대응하는 처리 화상(화상 신호)을 생성한다. 또한, 화상 처리부(118)는, WB제어값, γ값, 에지(윤곽) 강조 제어값 등에 근거하여 화상 처리된 화상 신호를 생성한다. 화상 처리부(118)는, 생성한 화상 신호를 압축 처리부(120)로 보낸다.

압축 처리부(120)는, 화상 처리부(116)에서 광량의 이득(gain) 보정이나 화이트 밸런스의 조정이 이루어진 화상을 적절한 형식의 화상 데이터로 압축한다. 압축 처리부(120)는, 예를 들어 JPEG(Joint Photographic Experts Group) 규격 등의 정지 화상의 부호화 방식으로 압축 부호화 처리를 수행한다.

카드 제어부(122)는, 압축된 화상 데이터를 기록 미디어인 메모리 카드(124)에 기억시킨다. 또한, 메모리 카드(124)를 대신하여 광 디스크(CD, DVD, 블루 레이(Blu-ray) 디스크 등), 광 자기 디스크 등의 다른 기록 미디어를 사용해도 된다.

<촬상 소자(112)로부터 출력되는 화상 데이터의 화상 처리의 흐름>

촬상 소자(112)로부터 출력되는 화상 데이터의 화상 처리의 흐름(화상 처리 방법)에 대해서 도 2와 도 3을 참조하면서 설명한다. 도 2는, 촬상 소자(112)로부터 출력되는 화상 데이터의 화상 처리의 흐름의 개략을 나타내는 도이다. 도 3은, 화상 데이터의 제 1 부분 A1과 제 2 부분 A2의 입력 경로를 나타내는 도이다.

본 실시예에서는, 촬상 소자(112)로부터 출력되는 화상 데이터(원화상)를 모두 프레임 메모리(128)에 기록한 후에 화상 처리부(118)를 입력하는 것이 아니라, 도 2에 도시하는 바와 같이, 원화상의 반 정도(좌측 반 정도)의 제 2 부분 A2를 프레임 메모리(128)를 통하지 않고 화상 처리부(118)에 입력한다. 반면, 원화상의 나머지의 반 정도(우측 반 정도)의 제 1 부분 A1을 프레임 메모리(128)에 입력한다. 제 1 부분 A1과 제 2 부분 A2의 입력의 분기는, 도 3에 도시하는 바와 같이 절환부(116)에 의해 이루어진다.

프레임 메모리(128)에 입력되어서 일시 보존된 제 1 부분 A1은, 화상 처리부(118)가 입력된 제 2 부분 A2를 화상 처리한 후에, 화상 처리부(118)에 입력된다. 화상 처리부(118)는, 입력된 제 2 부분 A2를 화상 처리한 후에, 처리 후의 제 1 부분 A1과 제 2 부분 A2를 합성하여, 촬상 소자(112)로부터 출력된 원화상에 대응하는 처리 화상을 생성한다.

이와 같이, 본 실시예에 따른 화상 처리 방법에서는, 촬상 소자(112)로부터 출력되는 원화상을 제 1 부분 A1과 제 2 부분 A2로 나누어 처리한다. 이 때문에, 원화상이 합쳐서 화상 처리부(118)에 입력되는 경우에 비해, 작은 라인 메모리로 화상 처리를 수행할 수 있다. 또한, 원화상 중 제 1 부분 A1이 프레임 메모리(128)에 입력되므로, 프레임 메모리(128)의 라인 방향의 사이즈도 작게 할 수 있다.

다음으로, 화상 데이터를 제 1 부분 A1과 제 2 부분 A2로 어떤 식으로 분할해 두고 있는지에 관하여 도 4를 참조하면서 설명한다. 도 4는, 화상 데이터의 제 1 부분 A1과 제 2 부분 A2의 분할 상태를 나타내는 모식도(pattern diagram)이다. 화상 데이터는, 각각 제 1 부분 A1 및 제 2 부분 A2를 가지는 복수의 라인 데이터로 구성된다. 그리고, 각 라인 데이터의 제 1 부분 A1과 제 2 부분 A2는, 라인 방향에 있어서 동일한 위치에서 나누어져 있다. 또한, 화상 데이터의 제 1 부분 A1과 제 2 부분 A2는, 라인 방향에 있어서 상기 동일한 위치의 전후의 화소가 포함되는 중복 부분(α픽셀)을 가진다.

여기에서, 원화상의 라인 방향의 폭을 W라고 하면, 제 1 부분 A1의 라인 방향의 폭은 라인 방향의 선두측의 (W/2+α) 픽셀이고, 제 2 부분 A2의 라인 방향의 폭은 라인 방향의 후측의 (W/2+α) 픽셀이다.

이와 같이, 제 1 부분 A1과 제 2 부분 A2에 중복 부분을 포함시키는 이유는, 화상 처리를 수행할 시에 처리 대상의 화소 주위의 화소 정보를 필요로 하므로, 중복 부분을 이용함으로써 선두측의 W/2픽셀이나, 후측의 W/2픽셀의 화상 처리를 적절히 수행할 수 있다. 더욱이, 제 1 부분 A1과 제 2 부분 A2가 중복 부분을 포함하는 것으로 하였지만, 중복 부분을 포함하지 않는 것으로 해도 된다.

이상 설명한 바와 같이, 본 실시예에 관한 촬상 장치(100)에 따르면, 화상 처리부(118)는, 촬상 소자(112)로부터 출력된 화상 데이터의 일부인 제 1 부분 A1을 프레임 메모리(128)에 일단 기록하여 처리하고, 제 2 부분 A2를 프레임 메모리(128)를 통하지 않고 직접 처리하므로, 화상 데이터의 프레임 메모리(128)로의 기록 및 프레임 메모리(128)로부터의 독출의 일부를 생략할 수 있다. 즉, 프레임 메모리(128)로의 액세스 횟수를 억제할 수 있다. 또한, 화상 처리부(118)는, 제 1 부분 A1과 제 2 부분 A2로 나누어서 처리하므로, 라인 메모리의 사이즈를 소형화할 수 있다. 더욱이, 제 1 부분 A1만이 프레임 메모리(128)에 입력되므로, 프레임 메모리(128)의 사이즈도 소형화할 수 있다.

<절환부(116)의 상세 구성>

절환부(116)의 상세 구성에 대해서, 도 5A∼도 5C를 참조하면서 설명한다. 도 5A는, 절환부(116)의 제 1 절환 상태를 나타내는 도이다. 도 5B는, 절환부(116)의 제 2 절환 상태를 나타내는 도이다. 도 5C는, 절환부(116)의 제 3 절환 상태를 나타내는 도이다.

절환부(116)는, 도 5A∼도 5C에 도시하는 바와 같이, 3개의 스위치(SW1, SW2, SW3)를 가진다. 절환부(116)는, 3개의 스위치(SW1, SW2, SW3)의 온 ?오프를 제어함으로써, 화상 데이터의 제 2 부분 A2의 화상 처리부(118)로의 입력과, 제 1 부분 A1의 프레임 메모리(128)로의 입력과, 제 1 부분 A1의 프레임 메모리(128)로부터 화상 처리부(118)로의 입력을 절환한다.

여기에서는, 절환부(116)의 절환 상태로서, 화상 데이터의 제 2 부분 A2를 화상 처리부(118)에 입력시키는 제 1 절환 상태와, 제 1 부분 A1을 프레임 메모리(128)에 입력시키는 제 2 절환 상태와, 제 1 부분 A1을 프레임 메모리(128)로부터 화상 처리부(118)에 입력시키는 제 3 절환 상태에 대해서 설명한다.

절환부(116)의 제 1 절환 상태는, 도 5A에 도시하는 바와 같이, 스위치(SW1)가 온으로 되어 있는 상태에서, 스위치(SW2)가 접점(P1)에 접촉한 온으로 되어 있는 상태에서, 스위치(SW3)가 오프로 되어 있는 상태이다. 이러한 경우에는, 전처리부(114)로부터 출력된 데이터가 화상 처리부(118)에 입력되는 것에 대해서, 프레임 메모리(128)에는 입력되지 않는다. 이 때문에, 화상 데이터의 제 2 부분 A2가 전처리부(114)로부터 출력될 시에 절환부(116)가 제 1 절환 상태를 유지함으로써, 제 2 부분 A2는 화상 처리부(118)에 입력된다.

절환부(116)의 제 2 절환 상태는, 도 5B에 도시하는 바와 같이, 스위치(SW1)가 오프로 되어 있는 상태, 스위치(SW2)가 접점(P1)에 접촉된 온으로 되어 있는 상태에서, 스위치(SW3)가 온으로 되어 있는 상태이다. 즉, 제 2 절환 상태는, 제 1 절환 상태에 비하여, 스위치(SW1, SW3)의 온?오프 상태가 역전되어 있다. 이러한 경우에는, 전처리부(114)로부터 출력된 데이터가 버스(126)를 통하여 프레임 메모리(128)에 입력되는 것에 대해서, 화상 처리부(118)에는 입력되지 않는다. 이 때문에, 화상 데이터의 제 1 부분 A1이 전처리부(114)로부터 출력될 시에 절환부(116)가 제 2 절환 상태를 유지함으로써, 제 1 부분 A1은 프레임 메모리(128)에 입력된다.

그런데, 전처리부(114)의 화상 데이터는, 라인 데이터마다 출력된다. 각 라인 데이터는 제 1 부분 A1과 제 2 부분 A2를 가지므로, 절환부(116)는 제 1 절환 상태와 제 2 절환 상태를 라인 데이터마다 절환한다. 이에 의해, 각 라인 데이터의 제 1 부분 A1은 프레임 메모리(128)에 입력되고, 제 2 부분 A2는, 화상 처리부(118)에 입력된다.

여기에서, 제 1 절환 상태와 제 2 절환 상태 간의 절환부(116)의 절환에 대해서, 도 6을 참조하면서 설명한다. 도 6은, 스위치(SW1, SW2, SW3)의 절환 타이밍을 나타내는 타임 차트이다. 도 6에는, 설명의 편의상, 1번째의 라인 데이터(1라인)와 2번째의 라인 데이터(2라인)가 출력될 시의 스위치(SW1, SW2, SW3)의 절환 상태가 나타나 있는데, 다른 라인 데이터에 대해서도 마찬가지이다. 각 라인 데이터가 출력될 시에는, 스위치(SW2)가 온으로 되어 있는 상태에서, 스위치(SW1)와 스위치(SW3)가 교호적으로 절환된다. 더욱이, 상술한 바와 같이, 제 1 부분 A1과 제 2 부분 A2는 중복된 부분을 포함하므로, 그 중복된 부분을 출력할 시에는, 스위치(SW1, SW3) 모두 온 상태가 된다.

절환부(116)의 제 3 절환 상태는, 도 5C에 도시하는 바와 같이, 스위치(SW1)가 오프되어 있는 상태, 스위치(SW2)가 접점(P2)에 접촉한 온되어 있는 상태에서, 스위치(SW3)가 오프되어 있는 상태이다. 이러한 경우에는, 프레임 메모리(128)에 보존된 데이터가 버스(126)를 통해서 화상 처리부(118)에 입력된다. 이 때문에, 절환부(116)가, 화상 처리부(118)에 의한 제 2 부분 A2의 화상 처리가 종료된 후에 화상 데이터의 제 1 부분 A1이 전처리부(114)로부터 출력될 시에 제 3 절환 상태를 유지함으로써, 프레임 메모리(128)에 일시적으로 보존된 제 1 부분 A1이 화상 처리부(118)에 입력된다. 본 실시예에서는, 프레임 메모리(128)에 입력된 각 라인 데이터의 제 1 부분 A1이, 합쳐서 화상 처리부(118)에 입력된다. 더욱이, 스위치(SW2)는, 모든 라인 데이터의 입력이 완료되면, 접점(P1, P2) 어디에도 접촉되지 않는 오프 상태가 된다.

<촬상 장치(100)의 동작 예>

촬상 소자(112)로부터 출력된 화상 데이터가 화상 처리부(118)에 입력되기까지의 촬상 장치(100)의 동작에 대해서, 도 7을 참조하면서 설명한다. 도 7은, 촬상 소자(112)로부터 출력된 화상 데이터가 화상 처리부(118)에 입력되기까지의 촬상 장치(100)의 동작 예를 나타내는 플로우챠트이다.

본 동작 예는, 프레임 메모리(118) 등의 메모리에 기억된 소정의 프로그램을 실행함으로써 실현된다. 도 7에 도시하는 플로우챠트는, 촬상 소자(112)에 의한 촬상이 실행된 후부터 개시된다.

절환부(116)는, 오프 상태의 스위치(SW2)를 접점(P1)에 접촉한 온 상태로 한다(스텝S2). 다음으로, 절환부(116)는, 스위치(SW1)를 온 상태로 한다(스텝S4). 이에 의해, 도 5A에 도시하는 바와 같이, 전처리부로부터 출력되는 데이터가 화상 처리부(118)에 입력 가능한 상태가 된다. 그리고, 촬상 장치(100)는, 촬상 소자(112)로부터 화상 데이터의 라인 입력을 개시한다(스텝S6).

우선, 1라인째의 라인 데이터의 촬상 소자(112)로부터의 출력이 개시된다. 그러면, 라인 데이터의 선두측의 픽셀(화소)의 데이터가 화상 처리부(118)에 입력된다. 1라인째의 라인 데이터 중에서, (W/2-α) 픽셀의 데이터가 화상 처리부(118)에 입력되면(스텝S10), 절환부(116)는, 스위치(SW3)를 온 상태로 한다(스텝 S12).

스위치(SW1) 및 스위치(SW3)가 온 상태이므로, 그 후의 픽셀의 데이터는, 화상 처리부(118)와 프레임 메모리(128) 양쪽에 입력된다. 그리고, 2α픽셀의 데이터가 화상 처리부(118)와 프레임 메모리(128)에 입력되면(스텝 S14), 절환부(116)는, 스위치(SW1)를 오프 상태로 한다(스텝 S16).

도 5B에 도시하는 바와 같이, 스위치(SW3)가 온 상태이므로, 1라인째의 라인 데이터의 나머지 픽셀 데이터는, 프레임 메모리(128)에 입력된다(스텝S18). 그리고, 나머지 픽셀 (W/2-α)의 입력이 완료되면, 절환부(116)는, 스위치(SW3)를 오프 상태로 한다(스텝 S20).

그 후에, 모든 라인의 라인 데이터의 입력이 완료될 때까지(스텝 S22 : No), 상술한 처리(스텝S4∼S20)를 반복한다. 이에 의해, 각 라인 데이터의 선두측의 (W/2+α) 픽셀의 데이터는 화상 처리부(118)에 입력되고, 각 라인 데이터의 후측의 (W/2+α) 픽셀의 데이터는 프레임 메모리(128)에 입력된다.

또한, 모든 라인 데이터에 대해서 상술한 처리(스텝 S4∼S20)가 이루어지고 있을 시에, 화상 처리부(118)에 입력된 선두측의 (W/2+α) 픽셀의 데이터는, 화상 처리부(118)에 의해 화상 처리가 이루어진다. 이와 같이, 선두측의 (W/2+α) 픽셀의 데이터를 먼저 처리함으로써, 화상 처리의 처리 시간을 단축할 수 있다.

모든 라인 데이터의 입력이 완료되고, 선두측의 (W/2+α) 픽셀의 데이터의 화상 처리가 완료되면, 절환부(116)는, 도 5C에 도시하는 바와 같이, 스위치(SW2)를 접점(P2)에 접촉한 온 상태로 한다(스텝 S24). 그러면, 프레임 메모리(128)에 일시적으로 보존된 각 라인 데이터의 후측의 (W/2+α) 픽셀의 데이터가, 화상 처리부(118)에 입력된다. 이에 의해, 촬상 소자(112)로부터 출력된 화상 데이터의 화상 처리부(118)로의 입력이 완료된다.

화상 처리부(118)에 입력된 각 라인 데이터의 후측의 (W/2+α) 픽셀의 데이터(제 2 부분 A2)는, 화상 처리부(118)에 의해 화상 처리된 후에, 이미 처리 완료된 선두측의 (W/2+α) 픽셀의 데이터(제 1 부분 A1)와 합성된다. 구체적으로는, 화상 처리부(118)는, 처리 후의 제 2 부분 A2로부터 라인 방향의 선두측의 (W/2) 픽셀의 데이터를 뽑아 내고, 처리 후의 제 1 부분 A2로부터 라인 방향의 후측의 (W/2) 픽셀의 데이터를 뽑아 내어 합성한다. 이에 의해, 촬상 소자(112)로부터 출력된 화상 데이터에 대응하는 처리 화상이 생성된다.

<본 실시예에 관한 촬상 장치(100)의 유효성>

본 실시예에 관한 촬상 장치(100)의 유효성에 대해서, 도 8및 도 9에 나타내는 비교 예와 대비하면서 설명한다. 도 8은, 비교 예 1을 나타내는 도이다. 도 9는, 비교 예 2를 나타내는 도이다.

우선, 본 실시예에 관한 촬상 장치(100)에 있어서는, 화상 처리부(118)는, 촬상 소자(112)로부터 출력된 화상 데이터의 일부(제 1 부분 A1)를 프레임 메모리(128)를 기록하여 처리하고, 제 2 부분 A2를 프레임 메모리(128)를 통하지 않고 직접 처리한다. 이 때문에, 화상 데이터의 프레임 메모리(128)로의 기록 및 프레임 메모리(128)로부터의 독출의 일부를 생략할 수 있다. 즉, 프레임 메모리(128)로의 액세스 횟수를 억제할 수 있다. 또한, 화상 처리부(118)는, 제 1 부분 A1과 제 2 부분 A2로 나누어서 처리하므로, 화상 처리부(118)내의 라인 메모리의 사이즈를 소형화할 수 있다. 더욱이, 제 1 부분 A1 만이 프레임 메모리(128)에 입력되므로, 프레임 메모리(128)의 사이즈도 소형화할 수 있다.

다음으로, 도 8에 도시하는 비교 예 1에 대해서 설명한다. 비교 예 1에 있어서는, 촬상 소자(112)로부터 출력되어 전처리부(114)에서 처리된 화상 데이터 A가, 프레임 메모리(128)에 입력되지 않고, 모두 화상 처리부(118)에 입력된다. 이 때문에, 화상 처리부(118)가 전처리부(114)로부터 출력된 화상 데이터(라인 데이터) 전체를 한 번에 처리하기 때문에, 라인 메모리가 대형화된다.

다음으로, 도 9에 도시하는 비교 예 2에 대해서 설명한다. 비교 예 2에 있어서는, 촬상 소자(112)로부터 출력되어 전처리부(114)에서 처리된 화상 데이터A가, 일단 프레임 메모리(118)에 기록된다. 그 후, 프레임 메모리(128)로부터 화상 처리부(118)에 원화상을 복수의 사이즈로 나누어서 입력된다. 이러한 경우에는, 프레임 메모리(128)로의 액세스 횟수가 증대하게 되어, 소비 전력이 증가함과 함께 처리 시간이 길어진다.

이에 대하여, 본 실시예에 관한 촬상 장치(100)에 따르면, 비교 예 1과 비교 예 2의 문제점을 해결할 수 있다. 즉, 화상 데이터의 화상 처리를 수행할 시의 프레임 메모리(128)의 액세스 횟수를 억제하면서, 화상 처리부(118) 내의 라인 메모리의 사이즈를 소형화하는 것이 가능해진다.

<기타 실시예>

이상, 첨부 도면을 참조하면서 본 발명의 바람직한 실시예에 대해서 상세히 설명하였지만, 본 발명은 이러한 예에 한정되지 않는다. 본 발명이 속하는 기술 분야에서의 통상의 지식을 가지는 자라면, 특허청구의 범위에 기재된 기술적 사상의 범주 내에 있어서, 각종의 변경 예 또는 수정 예를 상정할 수 있음은 분명하며, 이들에 대해서도, 당연히 본 발명의 기술적 범위에 속하는 것이라 이해된다.

또한, 상기 실시예에 있어서 촬상 장치로서 디지털 카메라를 예로 들어서 설명했지만, 이에 한정되지 않는다. 예를 들어, 촬상 장치는, 촬상 소자를 가지는 휴대 전화기, PDA, 게임기, 전자 사전, 노트북 컴퓨터 등이여도 된다.

또한, 상기 실시예에서 설명한 일련의 처리는, 전용 하드웨어에 의해 실행시켜도 되지만, 소프트웨어(어플리케이션)에 의해 실행시켜도 된다. 일련의 처리를 소프트웨어에 의해 수행할 경우, 범용 또는 전용 컴퓨터에 프로그램을 실행시킴으로써, 상기와 같은 일련의 처리를 실현할 수 있다.

또한, 상기 실시예의 플로우차트에 나타난 스텝은, 기재된 순서에 따라 시계열적으로 이루어지는 처리는 물론, 반드시 시계열적으로 처리되지 않더라도, 병렬적으로 또는 개별적으로 실행되는 처리까지도 포함한다. 더욱이, 시계열적으로 처리되는 스텝이라도, 경우에 따라서는 적절히 순서를 변경하는 것이 가능함은 말할 필요도 없다.

100 : 촬상 장치
112 : 촬상 소자
114 : 전처리부
116 : 절환부
118 : 화상 처리부
120 : 압축 처리부
122 : 카드 제어부
124 : 메모리 카드
126 : 버스
128 : 프레임 메모리
A1 : 제 1 부분
A2 : 제 2 부분
SW1, SW2, SW3 : 스위치

Claims (8)

1. 피사체를 촬상하여 화상 데이터를 획득하는 촬상부와,
   상기 촬상부로부터 출력되는 상기 화상 데이터의 제 1 부분과 제 2 부분 중 상기 제 1 부분이 입력되는 화상 메모리와,
   상기 화상 메모리로부터 입력되는 상기 제 1 부분을 화상 처리하고, 상기 화상 메모리를 통하지 않고 입력되는 상기 제 2 부분을 화상 처리하고, 처리 후의 상기 제 1 부분 및 상기 제 2 부분을 합성해서 상기 화상 데이터에 대응하는 처리 화상을 생성하는 화상 처리부를 구비하는 것을 특징으로 하는 화상 처리 장치.
2. 제 1항에 있어서,
   상기 제 1 부분의 상기 화상 메모리로의 입력과, 상기 제 2 부분의 상기 화상 처리부로의 입력을 절환하는 절환부를 더 구비하는 것을 특징으로 하는 화상 처리 장치.
3. 제 2항에 있어서,
   상기 화상 데이터는, 각각 상기 제 1 부분 및 상기 제 2 부분을 가지는 복수의 라인 데이터로 구성되고,
   각 라인 데이터의 상기 제 1 부분과 상기 제 2 부분은, 라인 방향에서의 동일 위치에서 나뉘어지고,
   상기 절환부는, 상기 제 1 부분의 상기 화상 메모리로의 입력과, 상기 제 2 부분의 상기 화상 처리부로의 입력을 라인 데이터마다 선택적으로 절환하는 것을 특징으로 하는 화상 처리 장치.
4. 제 3항에 있어서,
   상기 제 1 부분 및 상기 제 2 부분은, 상기 라인 방향에 있어서 상기 동일 위치의 전후의 영역이 포함되는 중복 부분을 가지는 것을 특징으로 하는 화상 처리 장치.
5. 제 3항 또는 제 4항에 있어서,
   상기 화상 메모리에 입력되는 각 라인 데이터의 상기 제 1 부분은, 합쳐서 상기 화상 처리부에 입력되는 것을 특징으로 하는 화상 처리 장치.
6. 제 1항 내지 제 4항 중의 어느 한 항에 있어서,
   상기 화상 처리부에 의한 상기 제 2 부분의 처리 후에, 상기 화상 메모리로부터 상기 화상 처리부에 상기 제 1 부분이 입력되는 것을 특징으로 하는 화상 처리 장치.
7. 촬상부로부터 출력되는 화상 데이터의 제 1 부분과 제 2 부분 중에서 상기 제 1 부분을 화상 메모리에 입력하는 스텝과,
   상기 화상 메모리를 통하지 않고 상기 제 2 부분을 화상 처리부에 입력하여 화상 처리하는 스텝과,
   상기 화상 메모리의 상기 제 1 부분을 화상 처리부에 입력하여 화상 처리하는 스텝과,
   처리 후의 상기 제 1 부분 및 상기 제 2 부분을 합성해서 상기 화상 데이터에 대응하는 처리 화상을 생성하는 스텝을 가지는 것을 특징으로 하는 화상 처리 방법.
8. 촬상부로부터 출력되는 화상 데이터의 제 1 부분과 제 2 부분 중에서 상기 제 1 부분을 화상 메모리에 입력하는 스텝과,
   상기 화상 메모리를 통하지 않고 상기 제 2 부분을 화상 처리부에 입력하여 화상 처리하는 스텝과,
   상기 화상 메모리의 상기 제 1 부분을 화상 처리부에 입력하여 화상 처리하는 스텝과,
   처리 후의 상기 제 1 부분 및 상기 제 2 부분을 합성해서 상기 화상 데이터에 대응하는 처리 화상을 생성하는 스텝을 컴퓨터에 실행시키기 위한 프로그램을 저장한 컴퓨터로 독출 가능한 저장매체.
   
   
   

Images