KR20160148438A

KR20160148438A - 영상 처리 장치, 영상 처리 방법, 및 촬영 장치

Info

Publication number: KR20160148438A
Application number: KR1020150172649A
Authority: KR
Inventors: 미네키 타오카
Original assignee: 한화테크윈 주식회사
Priority date: 2015-06-16
Filing date: 2015-12-04
Publication date: 2016-12-26
Also published as: JP6628987B2; JP2017005644A; KR102368222B1

Abstract

영상 처리 장치가 개시된다. 이 장치는 영상 축소부, 모아레 판정부, 및 모아레 제거부를 포함한다. 영상 축소부는, 복수의 수광 소자들이 이차원 베이어(bayer) 배열로 배치된 센서 어레이로부터 출력되는 영상 신호를 취득하고, 영상 신호를 축소한 후에 현상하여 축소 영상 데이터를 생성한다. 모아레 판정부는 영상 축소부에 의하여 생성된 축소 영상 데이터에 대하여 모아레(moire)가 발생하는 영역을 판정한다. 모아레 제거부는, 모아레 판정부에 의한 모아레 발생 영역의 판정 결과에 따라, 영상 신호를 현상하여 얻어지는 원영상 데이터에 대하여 모아레를 제거한다.

Description

영상 처리 장치, 영상 처리 방법, 및 촬영 장치{Image processing apparatus, image processing method, and photographing apparatus}

본 발명은 영상 처리 장치, 영상 처리 방법 및 촬영 장치에 관한 것이다.

디지털 스틸 카메라(Digital　Still　Camera)나 디지털 비디오 카메라(Digital　Video　Camera) 등의 촬영 장치에 있어서 정지 영상이나 동영상의 촬영에 이용되는 영상 센서(Image　Sensor)에는 베이어(Bayer) 배열의 CMOS 영상 센서 또는 CCD 영상 센서가 이용되는 것이 주류이다.

베이어 배열은 2 개의 녹색 화소들, 1 개의 적색 화소, 및 1 개의 청색 화소로 된 4 화소들이 한 쌍으로 구성되어 있는 배열이다. 원래 광을 분광하여 RGB를 별도의 센서로 수광함에 대하여, 복잡한 광학계의 설계를 경감하고 픽셀 시프트가 없도록 개발된 것이 베이어 배열이다. 이 베이어 배열은, 인간의 눈이 적색이나 청색의 해상도에는 둔하고, 녹색이나 흑백에 대하여 민감하다는 특성을 이용하고 있다.

베이어 배열의 영상 센서로부터 출력되는 신호에서 YCbCr 색 공간(color space) 또는 RGB 컬러 모델에 의한 영상을 생성(이하, 현상이라 함)할 때, 각 색의 존재 주기보다 짧은 주기의 영상의 조사에 기인하는 펄스 컬러(컬러 모아레)가 발생하는 경우가 있다. 이 펄스 컬러(컬러 모아레)를 제거하기 위한 기술이 개발되고 있다(예를 들어, 특허 문헌 1로서의 일본 특허공개 2005－210218호 공보, 및 특허 문헌 2로서의 일본 특허공개 2010－4396호 공보 등 참조).

(특허 문헌 1) 일본 특허공개 2005－210218호 공보　 (특허 문헌 2) 일본 특허공개 2010－4396호 공보

일본 특허공개 2005－210218호 공보(이하, 특허 문헌 1이라 함)에 개시되어 있는 기술은, 베이어 배열을 변경함으로써 컬러 모아레의 저감을 도모하는 것이다. 또한 일본 특허공개 2010－4396호 공보(이하, 특허 문헌 2라 함)에 개시되어 있는 기술은, 3차원 노이즈 축소 방식에 의해 노이즈를 저감할 때, 시간적으로 다른 색 보간 영상을 사용하여 컬러 모아레도 억제하는 것이다.

그러나, 베이어 배열 전체의 데이터를 사용하여 현상하였을 때, 어떠한 기술도 컬러 모아레의 저감에는 효과가 없다는 문제가 있었다.

상기와 같은 배경 기술의 문제점은, 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 내용으로서, 본 발명의 출원 전에 일반 공중에게 공지된 내용이라 할 수는 없다.

본 발명의 목적은, 베이어 배열 전체의 데이터를 사용하여 현상하였을 때에 컬러 모아레의 제거를 효과적으로 수행할 수 있는 영상 처리 장치, 영상 처리 방법 및 촬영 장치를 제공함에 있다.

본 발명의 제1 측면으로서의 영상 처리 장치는 영상 축소부, 모아레 판정부, 및 모아레 제거부를 포함한다.

상기 영상 축소부는, 광학계를 통한 광속을 수광하여 광전 변환하는 복수의 수광 소자들이 이차원 베이어(bayer) 배열로 배치된 센서 어레이로부터 출력되는 영상 신호를 취득하고, 상기 영상 신호를 축소한 후에 현상하여 축소 영상 데이터를 생성한다.

상기 모아레 판정부는 상기 영상 축소부에 의하여 생성된 축소 영상 데이터에 대하여 모아레(moire)가 발생하는 영역을 판정한다.

상기 모아레 제거부는, 상기 모아레 판정부에 의한 모아레 발생 영역의 판정 결과에 따라, 상기 영상 신호를 현상하여 얻어지는 원영상 데이터에 대하여 모아레를 제거한다.

상기 모아레 판정부는 상기 축소 영상 데이터의 제1 색과 제2 색의 반복 패턴들에서 차이가 발생된 영역을 모아레 발생 영역으로 판정할 수도 있다.

상기 모아레 판정부는, 상기 축소 영상 데이터를 소정의 영역들로 분할한 후, 상기 제1 색과 상기 제2 색의 반복 패턴의 차이가 발생된 영역이 있다면, 상기 영역을 모아레 발생 영역으로 판정할 수도 있다.

상기 모아레 판정부는, 어떤 영역을 다른 영역과 비교하여 상기 제1 색과 상기 제2 색의 반복 패턴의 차이가 상기 다른 영역보다 두드러진다면, 상기 영역을 모아레 발생 영역으로 판정할 수도 있다.

상기 제1 색은 상기 베이어 배열에 있어서 가장 화소수가 많은 색이고, 상기 제2 색은 상기 베이어 배열에 있어서 상기 제1 색 이외의 색으로부터 생성되는 색일 수도 있다.

상기 제1 색은 녹색이고, 상기 제2 색은 마젠타일 수 있다.

상기 영상 처리 장치는, 상기 원영상 데이터 및 상기 축소 영상 데이터를 기억하는 기억부; 및 상기 기억부에 대한 상기 원영상 데이터 및 상기 축소 영상 데이터의 읽기 및 기록을 제어하는 기억 제어부;를 더 포함할 수도 있다.

본 발명의 제2 측면으로서의 영상 처리 방법은 영상 축소 단계, 모아레 판정 단계, 및 모아레 제거 단계를 포함한다.

상기 영상 축소 단계에서는, 광학계를 통한 광속을 수광하여 광전 변환하는 복수의 수광 소자들이 이차원 베이어(bayer) 배열로 배치된 센서 어레이로부터 출력되는 영상 신호가 취득되고, 상기 영상 신호가 축소된 후에 현상되어 축소 영상 데이터가 생성된다.

상기 모아레 판정 단계에서는, 상기 영상 축소 단계에서 생성된 축소 영상 데이터에 대하여 모아레(moire)가 발생하는 영역이 판정된다.

상기 모아레 제거 단계에서는, 상기 모아레 판정 단계에 의한 모아레 발생 영역의 판정 결과에 따라, 상기 영상 신호를 현상하여 얻어지는 원영상 데이터에 대하여 모아레가 제거된다.

본 발명의 제3 측면으로서의 촬영 장치는 촬영부, 영상 축소부, 모아레 판정부, 및 모아레 제거부를 포함한다.

상기 촬영부는 광학계를 통한 광속을 수광하여 광전 변환하는 복수의 수광 소자들이 이차원 베이어(bayer) 배열로 배치된 센서 어레이를 구비한다.

상기 영상 축소부는 상기 촬영부로부터 출력되는 영상 신호를 축소한 후에 현상하여 축소 영상 데이터를 생성한다.

상기 모아레 판정부는 상기 영상 축소부가 생성한 축소 영상 데이터에 대하여 모아레가 발생하는 영역을 판정한다.

본 발명의 실시예들의 영상 처리 장치, 영상 처리 방법 및 촬영 장치에 의하면, 영상 데이터가 축소되고, 축소된 영상 데이터에 대한 컬러 모아레의 판정이 수행된다. 이에 따르면, 베이어 배열 전체의 데이터를 사용하여 현상하였을 때에 나타나는 컬러 모아레가 효과적으로 제거될 수 있다.

도 1은 베이어 배열을 보여주는 도면이다.
도 2는 촬영 소스가 되는 영상의 예를 보여주는 도면이다.
도 3은 도 2에 도시한 영상을 촬영한 때 컬러 모아레가 발생한 영상의 예를 보여주는 도면이다.
도 4는 시안과 오렌지의 컬러 모아레가 발생하는 모습을 베이어 배열로 보여주는 도면이다.
도 5는 시안과 오렌지의 컬러 모아레가 발생하는 모습을 베이어 배열로 보여주는 도면이다.
도 6은 녹색과 마젠타의 컬러 모아레가 발생하는 모습을 베이어 배열로 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 따른 촬영 장치(100)의 구성의 예를 보여주는 도면이다.
도 8은 본 발명의 일 실시예에 따른 촬영 장치(100)에 포함되는 보간 처리부(106)의 구성의 예를 보여주는 도면이다.
도 9는 본 발명의 일 실시예에 따른 촬영 장치(100)의 동작의 일 예를 보여주는 흐름도이다.

이하, 첨부된 도면을 참조하면서, 본 발명의 바람직한 실시예에 대하여 상세히 설명한다. 또한, 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는 동일한 부호를 부여함으로써 중복 설명을 생략한다.

＜1. 배경＞　

본 발명의 바람직한 실시예에 대하여 상세하게 설명하기 전에, 본 발명의 실시예에 이르게 된 배경에 대하여 설명한다.

상술한 바와 같이, 디지털 카메라나 디지털 비디오 카메라 등의 촬영 장치에 있어서 정지 영상이나 동영상의 촬영에 이용되는 센서에는 베이어 배열의 CMOS 영상 센서 또는 CCD 영상 센서가 이용되는 것이 주류이다.

도 1은 베이어 배열을 보여주는 도면이다. 베이어 배열은 녹색(G) 2화소에 대하여 적색(R) 1화소, 청색(B) 1화소의 4화소가 1쌍인 구성으로 되어 있는 배열이다. 원래는 광을 분광하여 RGB를 별도의 영상 센서로 수광하던 것을, 복잡한 광학계의 설계를 경감하고, 픽셀 시프트가 없도록 개발된 것이, 도 1에 도시한 바와 같은 베이어 배열이다.

도 1에 도시된 베이어 배열은 인간의 눈이 적색이나 청색의 해상도에는 둔하고, 녹색이나 흑백에 대하여 민감하다는 특성을 이용하고 있다. 또한, 편의상 적색(R)의 행에 있는 녹색(G) 화소를 Gr, 청색(B)의 행에 있는 녹색(G) 화소를 Gb라 한다.

베이어 배열이 녹색(G) 2화소에 대하여 적색(R) 1화소, 청색(B) 1화소의 4화소가 1쌍인 구성으로 되어 있기 때문에, 녹색은 수평 및 수직 방향에서 영상 센서의 수평 화소수 및 수직 화소수와 동일한 대역을 가지지만, 기울기 45^o방향의 대역에서는 수평 및 수직의 절반으로 감소한다. 따라서, 휘도 신호는 경사 방향의 대역이 적다. 또한, 베이어 배열이 녹색(G) 2화소에 대하여 적색(R) 1화소, 청색(B) 1화소의 4화소가 1쌍인 구성으로 되어 있기 때문에, 청색과 적색 영역은 녹색의 절반 밖에 되지 않는다.

이러한 베이어 배열의 영상 센서로써 정상적인 영상을 얻기 위하여, 종래에는, 예를 들어 베이어 배열의 기본 4-화소 두께보다 가는 선(細線)을 해상하지 않는 필터를 영상 센서 상에 탑재하여 각 색을 흐리게 하는 것이 행해져 왔다.

그러나, 그러한 필터를 영상 센서에 탑재하면, 적색과 청색의 가는 선은 영상 센서로부터 출력되지 않고, 또한 휘도의 주요 성분인 녹색도 2-화소 폭 보다 가는 선은 센서로부터 출력되지 않는다.

그리고, 당연히 이러한 필터를 영상 센서에 탑재하는 것은 비용 상승의 요인이 되고, 또한 실제 화소 개수에 비하여 영상의 해상도가 낮아지는 요인도 된다. 그 결과, 그 필터를 배제하고, 해상도의 개선과 비용 저하를 동시에 충족시킬 필요성이 주장되고 있고, 해상도의 개선과 비용 저하를 동시에 충족시키는 것을 목적으로 하는 제품도 판매되고 있다.

그러나, 필터를 배제한 영상 센서를 이용하면, 베이어 배열의 영상 센서로부터 출력되는 신호에서 YCbCr 색 공간(color space) 또는 RGB 컬러 모델에 의한 영상을 생성(현상)할 때, 각 색의 존재 주기보다 짧은 주기의 영상의 조사에 기인하는 펄스 컬러(컬러 모아레)가 발생하는 경우가 있다.

필터를 배제한 영상 센서를 이용하면, 예를 들어 영상 센서의 적색의 존재 주기보다 짧은 주기의 적색 영상이 조사된다. 영상 센서의 적색의 존재 주기보다 짧은 주기의 적색 영상이 조사되는 것은 적색에 대하여 에일리어싱(aliasing)이 발생하는 요인이 된다.

이는 적색뿐만 아니라, 4화소 중에 1화소만 존재하는 청색에 대해서도 동일하다고 할 수 있다. 또한, 녹색에 대해서도, 경사 방향으로 선명한 녹색의 영상이 조사되는 것은 녹색에 대해서는 비스듬하게 에일리어싱(aliasing)이 발생하는 요인이 된다. 이 에일리어싱(aliasing)은 베이어 배열의 영상 센서로부터 출력되는 신호에서 YCbCr 색 공간(color space) 또는 RGB 컬러 모델에 의한 영상을 생성(현상)할 때에 발생되는 컬러 모아레가 된다.

가장 큰 문제는, 경사 방향의 가는 선(細線)을 현상하였을 때 발생하는 녹색과 마젠타의 모아레(moire)이다. 이것은 경사 방향의 방해를 나타낸다. 이러한 녹색과 마젠타의 모아레 현상이 발생하는 것은 촬영 영상으로 경사 방향으로 매우 가는 선이 존재하기 때문이다.

도 2는 촬영 소스가 되는 영상의 예를 보여주는 도면이다. 그리고 도 3은 도 2에 도시한 영상을 촬영한 때 컬러 모아레가 발생한 영상의 예를 보여주는 도면이다.

도 2에 도시한 바와 같은 매우 가는 백색 및 검정색의 선이 혼입된 영상을 촬영하면, 원래 영상에는 백색 및 검정색 이외의 색은 존재하지 않지만, 도 3에 도시된 바와 같이 소용돌이 형상의 펄스 컬러(컬러 모아레)가 발생하는 경우가 있다. 도 3의 부호 11은 시안과 오렌지의 소용돌이 형상의 펄스 컬러(컬러 모아레)가 발생한 부분을 나타내고 있다. 도 3의 부호 12는 녹색과 마젠타의 소용돌이 형상의 펄스 컬러(컬러 모아레)가 발생한 부분을 나타내고 있다.

도 3의 부호 11로 표시한 부분에서 발생하는 시안과 오렌지의 컬러 모아레는 세로 또는 가로의 가는 선을 재현하고자 발생시키는 것이다. 도 4 및 도 5는 시안과 오렌지의 컬러 모아레가 발생하는 모습을 베이어 배열로 보여주는 도면이다.

도 4 및 도 5에 도시된 바와 같이, 시안과 오렌지의 컬러 모아레가 발생하는 경우에는 시안과 오렌지의 경계에서 녹색 부분이 변화되는 것을 알 수 있다. 따라서, 녹색과의 상관을 취함으로써 시안과 오렌지의 컬러 모아레가 발생하는지 여부를 판정할 수 있다. 그리고, 시안과 오렌지의 컬러 모아레가 발생하는 경우, 예를 들어 그 컬러 모아레가 발생하는 부분을 백색으로 연결하는 등의 방법으로 컬러 모아레를 제거할 수 있다.

한편, 도 3의 부호 12로 표시한 부분에서 발생하는 녹색과 마젠타의 컬러 모아레는 경사 방향의 가는 선을 재현하고자 발생시키는 것이다. 도 6은 녹색과 마젠타의 컬러 모아레가 발생하는 모습을 베이어 배열로 보여주는 도면이다.

그러나, 이 녹색과 마젠타의 컬러 모아레의 경우, 시안과 오렌지의 컬러 모아레와 같이 녹색과의 상관을 취함(correlate)으로써 컬러 모아레의 발생을 판정할 수 없다. 시안과 오렌지의 컬러 모아레와 달리, 도 6에 도시된 바와 같이, 항상 녹색이 붙어 있다고는 할 수 없기 때문이다.

녹색과 마젠타의 컬러 모아레는 소프트웨어적으로는 이하와 같은 처리에 의해 제거할 수 있다.

녹색과 마젠타의 반복 패턴의 자연 영상에서의 출현 확률은 매우 낮고, 또한 경사 방향의 가는 선을 촬영한 영상 상에서 광범위하고 완전한 일정 주파수일 가능성은 매우 낮다. 따라서, 광범위한 영상을 관측하고, 녹색과 마젠타의 반복 패턴이 존재하는 경우, 실제로 그 부분을 경사 방향의 흑백 가는 선으로 판정하는 것 자체는 가능하다. 소프트웨어적으로 처리하는 경우, 예를 들어 128 × 128 픽셀들이나, 큰 것으로서 512 × 512 픽셀들이라는 공간을 사용하여 상기 상황을 판정하고 있다.

이와 같이 소프트웨어적으로 녹색과 마젠타의 컬러 모아레를 판정하고, 녹색과 마젠타의 컬러 모아레를 제거하는 처리는 용이하다. 그러나, 하드웨어적으로 동일한 처리를 행하는 것은 매우 어렵다.

따라서, 본 발명자는 컬러 모아레를 제거하기 위한 기술, 특히, 녹색과의 상관을 취함으로써 컬러 모아레의 발생을 판정할 수 없는 녹색과 마젠타의 컬러 모아레를 효과적으로 제거하기 위한 기술에 대하여 예의 검토하였다. 그 결과, 본 발명자는 이하에 설명하는 바와 같이, 디지털 영상 신호로부터 얻어지는 영상 데이터를 축소하고, 축소한 영상 데이터에 대하여 컬러 모아레의 발생을 판정하며, 판정 결과에 따라 컬러 모아레를 제거할 수 있는 기술을 발명하기에 이르렀다.

이상, 본 발명의 실시예에 이르게 된 배경에 대하여 설명하였다. 이어서, 본 발명의 일 실시예에 대하여 상세히 설명한다.

＜2. 본 발명의 일 실시예＞　

[2.1. 기능 구성의 예]　

먼저, 본 발명의 일 실시예에 따른 촬영 장치의 구성의 예에 대하여 상세히 설명한다. 도 7은 본 발명의 일 실시예에 따른 촬영 장치(100)의 구성의 예를 보여주는 도면이다. 이하, 도 7을 사용하여 본 발명의 일 실시예에 따른 촬영 장치(100)의 구성의 예에 대하여 설명한다.

도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 촬영 장치(100)는 촬영부(102), 보간 처리부(106), 코덱(codec)부(108), 통신부(110), 버스(112), 제어부(114), 및 DDR　SDRAM(Double　Data　Rate　Synchronous　Dynamic　RandomAccess　Memory, 116)을 포함하여 구성된다.

촬영부(102)는 줌 렌즈(Zoom Lens)나 포커스 렌즈(Focus Lens)를 포함하는 복수의 렌즈군이나 영상 센서 등으로 구성된다. 촬영부(102)는 영상 센서의 수광면에 형성되는 피사체 상을 광전 변환하고, 소정의 노이즈 제거 처리나 감도 조정 처리, 아날로그/디지털 변환(A/D 변환) 등의 신호 처리를 실시함으로써 디지털 영상 신호를 생성한다.

촬영부(102)에 설치되는 영상 센서는 CCD 영상 센서일 수도 있고, CMOS 영상 센서일 수도 있다. 또한, 촬영부(102)에 설치되는 영상 센서의 수광면에는 컬러 영상의 촬영을 위해 베이어 배열의 원색 필터가 설치된다. 촬영부(102)가 생성한 디지털 영상 신호는 버스(112)를 통하여 DDR　SDRAM(116)에 저장된다.

본 실시예에 있어서, 촬영부(102)는 디지털 영상 신호를 생성할 때, 축소를 실시하지 않은 영상 신호에 추가적으로, 소정 사이즈로 축소한 축소 영상 데이터를 생성하고, 축소 영상 데이터에 대해서도 버스(112)를 통하여 DDR　SDRAM(116)에 저장한다. 예를 들어, 촬영부(102)는 화소 가산을 행하고, 수평 방향 및 수직 방향을 1/4로 축소한 축소 영상 데이터를 생성하여 DDR　SDRAM(116)에 저장한다. 이 축소 영상 데이터는 후술하는 보간 처리부(106)에서의 모아레 판정 처리에 이용된다.

보간 처리부(106)는 촬영부(102)가 생성하고, DDR　SDRAM(116)에 저장된 디지털 영상 신호에 대하여 보간 처리, 예를 들어 CFA(Color　Filter Array) 보간 처리를 행함으로써 현상 처리를 수행한다. 보간 처리부(106)에 의한 현상 처리를 실시하여 얻어지는 영상 데이터는 버스(112)를 통하여 DDR　SDRAM(116)에 저장된다.

그리고 본 실시예에 있어서, 보간 처리부(106)는 디지털 영상 신호에 대한 현상 처리를 실시하기 전에, 촬영부(102)가 생성하고, DDR　SDRAM(116)에 저장된 상기 디지털 영상 신호를 소정 사이즈로 축소한 후에 현상함으로써 생성되는 축소 영상 데이터에 대하여 모아레 판정 처리를 수행한다. 컬러 모아레 현상은 영상을 축소해도 삭감되지 않고, 또한 영상을 축소하면 원영상의 크기 보다 정보가 응축되기 때문에, 더 급격한 변화가 되어 두드러지는 측면이 있다.

컬러 모아레가 발생하는 가는 선의 영상을 화소가 베이어 배열된 영상 센서를 구비하는 장치로 촬영하는 경우, 적색과 청색, 녹색과의 상관이 없다. 따라서, R, Gb, Gr, B의 신호마다 가산(Binning)한 경우에도 컬러 모아레의 현상은 없어지지 않고, 영상 전체로 보았을 때의 컬러 모아레의 발생 위치는 원영상과 축소 영상에서는 동일한 위치이다.

본 실시예는 이러한 측면을 사용하여 보간 처리부(106)에 대하여 축소 영상 데이터에 대하여 모아레 판정 처리를 수행한다. 축소 영상 데이터에 대하여 모아레 판정 처리를 수행함으로써, 본 발명의 일 실시예에 따른 촬영 장치(100)는 수직 방향 및 수평 방향이 1/4로 축소된 영상이라면, 동일한 메모리량으로도 16배의 공간을 관측하여 컬러 모아레의 발생 유무를 판정할 수 있다.

코덱(codec)부(108)는 보간 처리부(106)에 의해 생성된 영상 데이터에 대한 인코딩 처리나, 인코딩된 영상 데이터의 디코딩 처리를 수행한다. 인코딩 처리 및 디코딩 처리를 총칭하여 코덱 처리라고 한다. 코덱(codec)부(108)에 의해 코덱 처리된 영상 데이터는 버스(112)를 통하여 DDR　SDRAM(116)에 저장된다.

통신부(110)는 외부 장치에 대한 정보의 송신 처리나, 외부 장치로부터의 정보의 수신 처리를 실행한다. 예를 들어 통신부(110)는 코덱(codec)부(108)에 의해 인코딩된 영상 데이터를 외부 장치로 송신한다.

제어부(114)는, 예를 들어 CPU(Central　Processing　Unit) 등으로 구성되어 촬영 장치(100)의 각 부의 동작을 제어한다.

또한, 도 1에 도시되지 않았지만, 촬영 장치(100)는 촬영부(102)에 대하여 영상의 촬영을 사용자가 지시하기 위한 셔터 버튼, 촬영 장치(100)에 대한 사용자의 조작을 받아들이는 조작 버튼, 보간 처리부(106)에 의해 생성된 영상 데이터를 보존하기 위한 기록 매체 등을 구비할 수 있다. 보간 처리부(106)에 의해 생성된 영상 데이터를 보존하기 위한 기록 매체는 촬영 장치(100)로부터의 분리가 가능한 것일 수 있다.

이상, 도 7을 사용하여 본 발명의 일 실시예에 따른 촬영 장치(100)의 구성의 예에 대하여 설명하였다. 이어서, 본 발명의 일 실시예에 따른 촬영 장치(100)에 포함되는 보간 처리부(106)의 상세한 구성의 예에 대하여 설명한다.

도 8은 본 발명의 일 실시예에 따른 촬영 장치(100)에 포함되는 보간 처리부(106)의 상세한 구성의 예를 보여주는 도면이다. 이하, 도 8을 사용하여 본 발명의 일 실시예에 따른 촬영 장치(100)에 포함되는 보간 처리부(106)의 상세한 구성의 예에 대하여 설명한다.

도 8에 도시된 바와 같이, 보간 처리부(106)는 RDMA(Read　Direct　Memory Access) 제어기(121), 버퍼 메모리(122), 메모리 제어부(123), 영상 생성부(124), 모아레 판정부(125), 스위치부(126), 및 WDMA(Write　Direct　Memory Access) 제어기(127)를 포함한다.

RDMA 제어기(121)는 촬영부(102)가 생성한 디지털 영상 신호나, 디지털 영상 신호를 소정 사이즈로 축소한 후에 현상함으로써 생성되는 축소 영상 데이터를 DDR　SDRAM(116)으로부터 버스(112)를 통하여 읽는다. 촬영부(102)가 생성한 디지털 영상 신호나 축소 영상 데이터가 DDR　SDRAM(116)로부터 버스(112)를 통하여 읽혀지면, RDMA 제어기(121)는 읽혀진 디지털 영상 신호나 축소 영상 데이터를 버퍼 메모리(122)에 저장한다.

본 실시예에 있어서, 보간 처리부(106)는 촬영부(102)가 생성한 디지털 영상 신호의 현상 처리를 행하는 모드(편의상, 모드 A라 함)와, 촬영부(102)가 생성한 디지털 영상 신호를 소정 사이즈로 축소한 후에 현상하여 얻어지는 축소 영상 데이터에 대한 컬러 모아레의 판정 처리를 행하는 모드(편의상, 모드 B라 함)의 2개의 동작 모드를 전환하여 동작한다.

보간 처리부(106)가 모드 A로 동작하는 경우, RDMA 제어기(121)는 촬영부(102)가 생성한 디지털 영상 신호를 DDR　SDRAM(116)으로부터 버스(112)를 통하여 읽는다.

한편, 보간 처리부(106)가 모드 B로 동작하는 경우, RDMA 제어기(121)는 촬영부(102)가 생성한 디지털 영상 신호를 소정 사이즈로 축소한 후에 현상하여 얻어지는 축소 영상 데이터를 DDR　SDRAM(116)으로부터 버스(112)를 통하여 읽는다.

버퍼 메모리(122)는, 예를 들어 SRAM(Static　Random Access　Memory) 등의 메모리로 구성된다. 버퍼 메모리(122)는 RDMA 제어기(121)로부터 송신되는 디지털 영상 신호나 축소 영상 데이터를 저장한다. 버퍼 메모리(122)가 저장한 디지털 영상 신호나 축소 영상 데이터는 메모리 제어부(123)에 의해 순차적으로 읽혀진다.

본 실시예에 있어서, 버퍼 메모리(122)는 디지털 영상 신호를 저장할 때 라인 메모리로서 기능한다. 또한, 버퍼 메모리(122)는 축소 영상 데이터를 저장할 때, 라인 메모리의 각 라인이 복수의 블록으로 더 분할된 상태의 메모리로서 기능한다.

보간 처리부(106)가 모드 A로 동작하는 경우, 버퍼 메모리(122)는 RDMA 제어기(121)로부터 송신되는 디지털 영상 신호를 저장한다. 한편, 보간 처리부(106)가 모드 B로 동작하는 경우, 버퍼 메모리(122)는 RDMA 제어기(121)로부터 송신되는 축소 영상 데이터를 저장한다.

메모리 제어부(123)는 버퍼 메모리(122)에 저장된 데이터, 즉 디지털 영상 신호나 축소 영상 데이터가 읽혀지도록 버퍼 메모리(122)를 제어한다. 본 실시예에서는, 버퍼 메모리(122)에 디지털 영상 신호가 저장되어 있는 경우, 메모리 제어부(123)는 영상 생성부(124)로부터 지시받은 어드레스 정보에 따라 버퍼 메모리(122)로부터 디지털 영상 신호를 읽는다. 또한, 버퍼 메모리(122)에 축소 영상 데이터가 저장되어 있는 경우, 메모리 제어부(123)는 모아레 판정부(125)로부터 지시받은 어드레스 정보에 따라 버퍼 메모리(122)로부터 디지털 영상 신호를 읽는다.

보간 처리부(106)가 모드 A로 동작하는 경우, 메모리 제어부(123)는 영상 생성부(124)로부터의 지시에 따라 버퍼 메모리(122)에 저장된 데이터를 읽는다. 한편, 보간 처리부(106)가 모드 B로 동작하는 경우, 메모리 제어부(123)는 모아레 판정부(125)로부터의 지시에 따라 버퍼 메모리(122)에 저장된 데이터를 읽는다.

영상 생성부(124)는 메모리 제어부(123)를 통하여 읽혀진 디지털 영상 신호에 대한 화소들 사이의 보간 처리를 수행함으로써 현상 처리(영상 데이터를 생성하는 처리)를 수행한다. 본 실시예에 있어서, 영상 생성부(124)는 디지털 영상 신호에 대하여 CFA(Color Filter Array) 보간 처리를 행함으로써 현상 처리를 수행한다.

또한 영상 생성부(124)는 후술하는 모아레 판정부(125)에 의한 컬러 모아레가 발생하는 영역을 판정하는 컬러 모아레 판정 처리 결과에 따라, 컬러 모아레를 제거하면서 보간 처리를 수행한다. 영상 생성부(124)는 컬러 모아레를 제거할 때, 예를 들어 컬러 모아레가 발생하는 부분을 백색으로 연결하면서 보간 처리를 수행한다. 이 컬러 모아레의 제거 방법은 특정 방법에 한정되지 않으며, 영상 생성부(124)는 모아레 판정부(125)에 의한 컬러 모아레 판정 처리의 결과에 따라 효과적으로 컬러 모아레를 제거할 수 있다.

영상 생성부(124)는 메모리 제어부(123)에 대하여 버퍼 메모리(122)로부터의 디지털 영상 신호의 독출을 지시할 때, 복수 라인 단위로 독출하여 영상 생성부(124)에 출력하도록 어드레스 정보를 지시한다. 영상 생성부(124)는 복수 라인 단위로 독출된 디지털 영상 신호에 대한 보간 처리를 하나의 영상이 완성될 때까지 반복함으로써 영상 데이터를 생성한다. 영상 생성부(124)는 현상 처리에 의해 생성한 영상 데이터를 WDMA 제어기(127)로 보낸다.

모아레 판정부(125)는 버퍼 메모리(122)에 저장되고, 메모리 제어부(123)를 통하여 독출된 축소 영상 데이터에 대하여, 컬러 모아레가 발생하는 영역을 판정하는 컬러 모아레 판정 처리를 수행한다. 모아레 판정부(125)는 축소 영상 데이터의 전체에 대하여 컬러 모아레 판정 처리를 행하기 위해, 메모리 제어부(123)에 대하여 버퍼 메모리(122)로부터의 축소 영상 데이터의 독출을 지시할 때, 축소 영상 데이터 전체를 독출하여 모아레 판정부(125)에 출력하도록 어드레스 정보를 지시한다.

그리고 모아레 판정부(125)는, 메모리 제어부(123)로부터 송신되는 축소 영상 데이터 전체에 대하여, 컬러 모아레, 즉 특정한 2가지 색이 반복적으로 나타나는 패턴이 존재하는 부분을, 세분화되어 버퍼 메모리(122)에 저장된 축소 영상 데이터의 각 영역 단위로 판정한다.

모아레 판정부(125)는, 축소 영상 데이터의 각 영역에 대하여, 컬러 모아레의 발생 유무를 판정하지만, 본 실시예에서는 컬러 모아레의 발생 유무를 판정할 때, 컬러 모아레일 개연성을 복수의 단계, 예를 들어 1 ~ 10의 10 단계들로서 판정할 수도 있다. 이 경우, 숫자가 큰 쪽을 컬러 모아레일 개연성이 높은 것으로 할 수도 있다.

모아레 판정부(125)는 축소 영상 데이터의 각 영역에 대한 컬러 모아레 판정 처리의 결과를, 각각의 영역을 식별하는 정보와, 컬러 모아레 판정 처리 결과를 연관지어 WDMA 제어기(127)로 보낸다.

스위치부(126)는 보간 처리부(106)가 모드 A로 동작하는 경우, 영상 생성부(124)로 WDMA 제어기(127)를 접속하고, 보간 처리부(106)가 모드 A로 동작하는 경우에는 모아레 판정부(125)로 WDMA 제어기(127)를 접속하는 변환 동작을 수행한다.

WDMA 제어기(127)는 영상 생성부(124)의 현상 처리에 의해 생성한 영상 데이터나 모아레 판정부(125)에 의한 컬러 모아레 판정 처리의 결과를, 버스(112)를 통해 DDR　SDRAM(116)에 저장한다.

보간 처리부(106)가 모드 A로 동작하는 경우, WDMA 제어기(127)는 영상 생성부(124)의 현상 처리에 의해 생성한 영상 데이터를 DDR　SDRAM(116)에 저장한다.

한편, 보간 처리부(106)가 모드 B로 동작하는 경우, WDMA 제어기(127)는 모아레 판정부(125)에 의한 컬러 모아레 판정 처리 결과를 DDR　SDRAM(116)에 저장한다.

본 발명의 일 실시예에 따른 촬영 장치(100)에 포함되는 보간 처리부(106)는, 도 8에 도시한 바와 같은 구성을 가짐으로써, 축소 영상 데이터의 각 영역에 대하여 컬러 모아레의 발생을 판정하고, 컬러 모아레 발생의 판정 결과에 따라 컬러 모아레를 제거하면서 현상 처리를 수행하고, 컬러 모아레가 제거된 영상 데이터를 생성할 수 있다.

이상, 도 8을 사용하여 본 발명의 일 실시예에 따른 촬영 장치(100)에 포함되는 보간 처리부(106)의 상세한 구성의 예에 대하여 설명하였다. 이어서, 본 발명의 일 실시예에 따른 촬영 장치(100)의 동작의 일 예에 대하여 설명한다.

[2.2. 동작 예]　

도 9는 본 발명의 일 실시예에 따른 촬영 장치(100)의 동작의 일 예를 보여주는 흐름도이다. 도 9에 도시한 것은, 디지털 영상 신호를 축소한 후에 현상하여 얻어지는 축소 영상 데이터에 대하여 컬러 모아레 판정 처리를 수행하고, 컬러 모아레 판정 처리 결과에 따라, 컬러 모아레를 제거하면서 축소 영상 데이터의 기본으로 되어 있는 디지털 영상 신호에 대한 현상 처리를 행할 때의 촬영 장치(100)의 동작의 일 예이다. 이하, 도 9를 사용하여 본 발명의 일 실시예에 따른 촬영 장치(100)의 동작의 일 예에 대하여 설명한다.

촬영 장치(100)는, 먼저 현상 처리 대상의 디지털 영상 신호를 축소한 후에 현상하여 얻어지는 축소 영상 데이터에 대하여 컬러 모아레 판정 처리를 실행하고, 컬러 모아레가 발생하는 영역을 판정한다. 촬영 장치(100)는, DDR　SDRAM(116)에 저장되어 있는 상기 축소 영상 데이터를 독출하고(단계 S101), 독출한 상기 축소 영상 데이터를 복수의 동일한 사이즈의 직사각형 영역으로 나누고, 영역마다 컬러 모아레가 발생하는지 여부를 판정한다(단계 S102). 단계 S101의 독출 처리는, 예를 들어 RDMA 제어기(121)에서 실행하고, 단계 S102의 판정 처리는, 예를 들어 모아레 판정부(125)에서 실행한다.

촬영 장치(100)는, DDR　SDRAM(116)에서 읽혀진 상기 축소 영상 데이터 전체에 대하여 컬러 모아레, 즉 특정한 2가지 색이 반복적으로 나타나는 패턴이 존재하는 부분을, 세분화되어 버퍼 메모리(122)에 저장된 축소 영상 데이터의 각 영역 단위로 판정한다. 촬영 장치(100)는 DDR　SDRAM(116)에서 읽혀진 상기 축소 영상 데이터의 각 영역에 대하여 컬러 모아레의 발생 유무를 판정한다. 본 실시예에서의 촬영 장치(100)는, 컬러 모아레의 발생 유무를 판정할 때, 컬러 모아레일 개연성을 복수의 단계, 예를 들어 1 ~ 10의 10 단계들로 판정할 수도 있다. 이 경우, 숫자가 큰 쪽을 컬러 모아레일 개연성이 높은 것으로 할 수도 있다.

촬영 장치(100)는, 어떤 영역에 대하여 컬러 모아레를 판정할 때, 다른 영역, 특히 인접하는 영역과의 비교에 의해 컬러 모아레인지 여부를 판정할 수도 있다. 예를 들어, 촬영 장치(100)는, 축소 영상 데이터가 있는 영역을 관찰한 결과, 녹색과 마젠타의 반복 패턴이 발견된 경우, 인접한 영역에 그 녹색과 마젠타의 반복 패턴이 발견되지 않았을 때는 그 녹색과 마젠타의 반복 패턴이 컬러 모아레일 가능성이 높다고 판정할 수도 있다.

촬영 장치(100)는, 축소 영상 데이터에서 영역마다 컬러 모아레가 발생하는지 여부를 판정하면, 영역을 식별하는 정보와 그 영역의 판정 결과를 연관지어 DDR　SDRAM(116)에 기록한다(단계 S103). 단계 S103의 기록 처리는 예를 들어, WDMA 제어기(127)에서 실행한다.

영역 식별 정보는, 예를 들어 축소 영상 데이터의 좌상 영역을 0으로 하여 우측 방향을 향해 값이 증가되고, 가장 우측단의 영역에 도달하면 1 단 아래로 이동하며, 좌단으로부터 우측 방향을 향해 다시 값이 증가하고, 이를 우하 영역에 도달할 때까지 반복할 수도 있다.

이어서, 촬영 장치(100)는 컬러 모아레 판정 처리를 수행한 축소 영상 데이터의 기본이 되는 디지털 영상 신호 및 컬러 모아레 판정 처리 결과를 DDR　SDRAM(116)으로부터 읽는다(단계 S104). 단계 S104의 독출 처리는 예를 들어, RDMA 제어기(121)에서 실행한다.

그리고, 촬영 장치(100)는 DDR　SDRAM(116)에서 읽혀진 디지털 영상 신호에 대하여 컬러 모아레 판정 처리 결과에 따라 컬러 모아레를 제거하면서, 화소들 사이의 보간 처리에 의해 영상 데이터를 생성하는 현상 처리를 실행한다(단계 S105). 단계 S105의 처리는 예를 들어, 영상 생성부(124)에서 실행한다.

예를 들어, 축소 영상 데이터의 좌상 영역에서 컬러 모아레가 발생한다는 판정 결과가 나온 경우, 촬영 장치(100)는 디지털 영상 신호에 있어서의 그 영역에 대응되는 영역에 대하여 컬러 모아레를 제거하면서 화소들 사이의 보간을 수행한다. 촬영 장치(100)는, 예를 들어 컬러 모아레가 발생한 부분을 백색으로 연결하면서 보간 처리를 행함으로써 컬러 모아레를 제거한다. 여기에서, 이러한 컬러 모아레의 제거 방법은 특정 방법에 한정되지 않는다.

본 발명의 일 실시예에 따른 촬영 장치(100)는, 도 9에 도시한 바와 같은 일련의 동작을 실행함으로써, 축소 영상 데이터의 각 영역에 대하여 컬러 모아레의 발생을 판정하고, 컬러 모아레 발생의 판정 결과에 따라 컬러 모아레를 제거하면서 현상 처리를 수행하며, 컬러 모아레가 제거된 영상 데이터를 생성할 수 있다.

＜3. 정리＞　

이상 설명한 바와 같이 본 발명의 일 실시예에 의하면, 축소 영상 데이터의 각 영역에 대하여 컬러 모아레의 발생을 판정하고, 컬러 모아레 발생의 판정 결과에 따라 컬러 모아레를 제거하면서 현상 처리를 수행하며, 컬러 모아레가 제거된 영상 데이터를 생성할 수 있다.

본 발명의 일 실시예에 따른 촬영 장치(100)는, 축소 영상 데이터의 각 영역에 대하여 컬러 모아레의 발생을 판정함으로써, 메모리 용량이 적은 경우라도 하드웨어적으로 컬러 모아레의 발생을 확실하게 판정할 수 있다.

본 명세서에서의 장치가 실행하는 처리에 있어서의 각 단계들은, 반드시 흐름도(flowchart)나 순서(sequence)도로서 기재된 순서에 따라 시계열 처리될 필요는 없다. 예를 들어, 각 장치가 실행하는 처리에 있어서의 각 단계는 흐름도로서 기재한 순서와 다른 순서로 처리될 수도 있고, 병렬적으로 처리될 수도 있다.

또한, 상술한 각 장치의 구성과 동등한 기능을 본 명세서의 장치에 내장되는 CPU(Central　Processing　Unit), ROM(Read　Only　Memory) 및 RAM(Random Access　Memory) 등의 하드웨어(미도시)에 발휘시키기 위한 컴퓨터 프로그램도 작성될 수 있다. 또한, 상기 컴퓨터 프로그램을 기억시킨 기억 매체도 제공될 수 있다. 또한, 기능 블록도로 도시한 각각의 기능 블록을 하드웨어로 구성함으로써, 일련의 처리를 하드웨어에서 실현할 수도 있다.

이상, 첨부 도면을 참조하면서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만, 본 발명은 이러한 예에 한정되지 않는다. 본 발명이 속하는 기술 분야에 있어서의 통상의 지식을 가진 자라면, 특허 청구의 범위에 기재된 기술적 사상의 범주 내에서 각종 변경의 예 또는 수정의 예를 도출할 수 있음은 명백하고, 이에 대해서도, 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.

본 발명은 다양한 기능의 영상 처리 장치들에 이용될 가능성이 높다.

100 촬영 장치
102 촬영부
106 보간 처리부
108 코덱(codec)부
110 통신부
112 버스
114 제어부
116 SDRAM
121 RDMA 제어기
122 버퍼 메모리
123 메모리 제어부
124 영상 생성부
125 모아레 판정부
126 스위치부
127 WDMA 제어기

Claims

광학계를 통한 광속을 수광하여 광전 변환하는 복수의 수광 소자들이 이차원 베이어(bayer) 배열로 배치된 센서 어레이로부터 출력되는 영상 신호를 취득하고, 상기 영상 신호를 축소한 후에 현상하여 축소 영상 데이터를 생성하는 영상 축소부;
상기 영상 축소부에 의하여 생성된 축소 영상 데이터에 대하여 모아레(moire)가 발생하는 영역을 판정하는 모아레 판정부; 및
상기 모아레 판정부에 의한 모아레 발생 영역의 판정 결과에 따라, 상기 영상 신호를 현상하여 얻어지는 원영상 데이터에 대하여 모아레를 제거하는 모아레 제거부;를 포함하는, 영상 처리 장치.
청구항 1에 있어서, 상기 모아레 판정부는,
상기 축소 영상 데이터의 제1 색과 제2 색의 반복 패턴들에서 차이가 발생된 영역을 모아레 발생 영역으로 판정하는, 영상 처리 장치.
청구항 2에 있어서, 상기 모아레 판정부는,
상기 축소 영상 데이터를 소정의 영역들로 분할한 후, 상기 제1 색과 상기 제2 색의 반복 패턴의 차이가 발생된 영역이 있다면, 상기 영역을 모아레 발생 영역으로 판정하는, 영상 처리 장치.
청구항 3에 있어서, 상기 모아레 판정부는,
어떤 영역을 다른 영역과 비교하여 상기 제1 색과 상기 제2 색의 반복 패턴의 차이가 상기 다른 영역보다 두드러진다면, 상기 영역을 모아레 발생 영역으로 판정하는, 영상 처리 장치.
광학계를 통한 광속을 수광하여 광전 변환하는 복수의 수광 소자들이 이차원 베이어(bayer) 배열로 배치된 센서 어레이로부터 출력되는 영상 신호를 취득하고, 상기 영상 신호를 축소한 후에 현상하여 축소 영상 데이터를 생성하는 영상 축소 단계;
상기 영상 축소 단계에서 생성된 축소 영상 데이터에 대하여 모아레(moire)가 발생하는 영역을 판정하는 모아레 판정 단계; 및
상기 모아레 판정 단계에 의한 모아레 발생 영역의 판정 결과에 따라, 상기 영상 신호를 현상하여 얻어지는 원영상 데이터에 대하여 모아레를 제거하는 모아레 제거 단계;를 포함하는, 영상 처리 방법.
광학계를 통한 광속을 수광하여 광전 변환하는 복수의 수광 소자들이 이차원 베이어(bayer) 배열로 배치된 센서 어레이를 구비하는 촬영부;
상기 촬영부로부터 출력되는 영상 신호를 축소한 후에 현상하여 축소 영상 데이터를 생성하는 영상 축소부;
상기 영상 축소부가 생성한 축소 영상 데이터에 대하여 모아레가 발생하는 영역을 판정하는 모아레 판정부; 및
상기 모아레 판정부에 의한 모아레 발생 영역의 판정 결과에 따라, 상기 영상 신호를 현상하여 얻어지는 원영상 데이터에 대하여 모아레를 제거하는 모아레 제거부;를 포함하는, 촬영 장치.