KR20160138885A

KR20160138885A - 영상 처리 장치, 영상 처리 방법, 및 촬영 장치

Info

Publication number: KR20160138885A
Application number: KR1020150172651A
Authority: KR
Inventors: 미네키 타오카; 스즈키 준지
Original assignee: 한화테크윈 주식회사
Priority date: 2015-05-26
Filing date: 2015-12-04
Publication date: 2016-12-06
Also published as: JP2016220176A; JP6626272B2; KR102415061B1

Abstract

본 발명의 실시예의 영상 처리 장치는 영상 현상부, 모아레 판정부, 및 모아레 제거부를 포함한다. 영상 현상부는, 복수의 수광 소자들이 2차원 베이어(bayer) 배열로 배치된 센서 어레이로부터 시간적으로 다른 타이밍에 출력되는 적어도 2 개의 영상 신호들을 현상하여, 적어도 2 개의 원영상 데이터를 생성한다. 모아레 판정부는 영상 현상부에 의하여 생성된 적어도 2 개의 원영상 데이터로부터 모아레(moire)가 발생하는 영역을 판정한다. 모아레 제거부는, 모아레 판정부에 의한 모아레 발생 영역의 판정 결과에 따라, 영상 신호에 대하여 모아레를 제거한다.

Description

영상 처리 장치, 영상 처리 방법, 및 촬영 장치{Image processing apparatus, image processing method, and photographing apparatus}

본 발명은 영상 처리 장치, 영상 처리 방법, 및 촬영 장치에 관한 것이다.

디지털 스틸 카메라(Digital　Still　Camera)나 디지털 비디오 카메라(Digital　Video　Camera) 등의 촬영 장치에 있어서 정지 영상이나 동영상의 촬영에 이용되는 영상 센서(Image　Sensor)에는 베이어(Bayer) 배열의 CMOS 영상 센서 또는 CCD 영상 센서가 이용되는 것이 주류이다.

베이어 배열은 2 개의 녹색 화소들, 1 개의 적색 화소, 및 1 개의 청색 화소로 된 4 화소들이 한 쌍으로 구성되어 있는 배열이다. 원래 광을 분광하여 RGB를 별도의 센서로 수광함에 대하여, 복잡한 광학계의 설계를 경감하고 픽셀 시프트가 없도록 개발된 것이 베이어 배열이다. 이 베이어 배열은, 인간의 눈이 적색이나 청색의 해상도에는 둔하고, 녹색이나 흑백에 대하여 민감하다는 특성을 이용하고 있다.

베이어 배열의 영상 센서로부터 출력되는 신호에서 YCbCr 색 공간(color space) 또는 RGB 컬러 모델에 의한 영상을 생성(이하, 현상이라 함)할 때, 각 색의 존재 주기보다 짧은 주기의 영상의 조사에 기인하는 펄스 컬러(컬러 모아레)가 발생하는 경우가 있다. 이 펄스 컬러(컬러 모아레)를 제거하기 위한 기술이 개발되고 있다(예를 들어, 특허 문헌 1로서의 일본 특허공개 2005－210218호 공보, 및 특허 문헌 2로서의 일본 특허공개 2010－4396호 공보 등 참조).

일본특허공개 2005－210218호 공보 일본특허공개 2010－4396호 공보

일본 특허공개 2005－210218호 공보(이하, 특허 문헌 1이라 함)에 개시되어 있는 기술은, 베이어 배열을 변경함으로써 컬러 모아레의 저감을 도모하는 것이다. 또한 일본 특허공개 2010－4396호 공보(이하, 특허 문헌 2라 함)에 개시되어 있는 기술은, 3차원 노이즈 축소 방식에 의해 노이즈를 저감할 때, 시간적으로 다른 색 보간 영상을 사용하여 컬러 모아레도 억제하는 것이다.

그러나, 어떠한 기술도 베이어 배열 전체의 데이터를 사용하여 현상하였을 때, 컬러 모아레의 저감에는 효과가 없다는 문제가 있었다.

상기와 같은 배경 기술의 문제점은, 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 내용으로서, 본 발명의 출원 전에 일반 공중에게 공지된 내용이라 할 수는 없다.

본 발명의 목적은, 베이어 배열 전체의 데이터를 사용하여 현상하였을 때에 컬러 모아레의 제거를 효과적으로 수행할 수 있는 영상 처리 장치, 영상 처리 방법 및 촬영 장치를 제공함에 있다.

본 발명의 제1 측면으로서의 영상 처리 장치는 영상 현상부, 모아레 판정부, 및 모아레 제거부를 포함한다.

상기 영상 현상부는, 광학계를 통한 광속을 수광하여 광전 변환하는 복수의 수광 소자들이 2차원 베이어(bayer) 배열로 배치된 센서 어레이로부터 시간적으로 다른 타이밍에 출력되는 적어도 2 개의 영상 신호들을 현상하여, 적어도 2 개의 원영상 데이터를 생성한다.

상기 모아레 판정부는 상기 영상 현상부에 의하여 생성된 상기 적어도 2 개의 원영상 데이터로부터 모아레(moire)가 발생하는 영역을 판정한다.

상기 모아레 제거부는, 상기 모아레 판정부에 의한 모아레 발생 영역의 판정 결과에 따라, 상기 영상 신호에 대하여 모아레를 제거한다.

상기 모아레 판정부는, 상기 적어도 2 개의 원영상 데이터에 있어서 제1 색과 제2 색의 반복 패턴들에서 차이가 발생된 영역을 모아레 발생 영역으로 판정할 수 있다.

상기 제1 색은 상기 베이어(bayer) 배열에 있어서 화소 개수가 가장 많은 색이고, 상기 제2 색은 상기 베이어(bayer) 배열에 있어서 상기 제1 색이 아닌 색으로부터 생성되는 색일 수 있다. 예를 들어, 상기 제1 색은 녹색이고, 상기 제2 색은 마젠타일 수 있다.

상기 모아레 제거부가 수행하는 모아레 제거 처리는, 상기 판정 결과에 따라 상기 원영상 데이터에 대하여 수행되는 보간 처리일 수도 있다.

또한, 상기 모아레 제거부가 수행하는 모아레 제거 처리는, 2 개의 상기 영상 신호들에서 노이즈가 제거된 결과의 영상 신호들에 대하여 상기 판정 결과에 따른 필터 처리일 수도 있다. 여기에서, 상기 모아레 제거부가 수행하는 상기 필터 처리는 경사 방향의 화소들의 값들을 경사 방향의 인접 화소들의 값들에 각각 가산하는 처리일 수 있다.

상기 영상 처리 장치는 상기 모아레 판정부에서의 판정에 사용되는 2 개의 상기 영상 신호들에 대하여 노이즈를 제거하는 노이즈 제거부를 더 구비할 수 있다.

본 발명의 제2 측면으로서의 영상 처리 방법은 영상 현상 단계, 모아레 판정 단계, 및 모아레 제거 단계를 포함한다.

상기 영상 현상 단계에서는, 광학계를 통한 광속을 수광하여 광전 변환하는 복수의 수광 소자들이 2차원 베이어(bayer) 배열로 배치된 센서 어레이로부터 시간적으로 다른 타이밍에 출력되는 적어도 2 개의 영상 신호들이 현상되어, 적어도 2 개의 원영상 데이터가 생성된다.

상기 모아레 판정 단계에서는, 상기 영상 현상 단계에서 생성된 상기 적어도 2 개의 원영상 데이터로부터 모아레(moire)가 발생하는 영역이 판정된다.

상기 모아레 제거 단계에서는, 상기 모아레 판정 단계에 의한 모아레 발생 영역의 판정 결과에 따라, 상기 영상 신호에 대하여 모아레를 제거한다.

본 발명의 제3 측면으로서의 촬영 장치는 촬영부, 영상 현상부, 모아레 판정부, 및 모아레 제거부를 포함한다.

상기 촬영부는 광학계를 통한 광속을 수광하여 광전 변환하는 복수의 수광 소자들이 2차원 베이어(bayer) 배열로 배치된 센서 어레이를 구비한다.

상기 영상 현상부는, 상기 촬영부로부터 시간적으로 다른 타이밍에 출력되는 적어도 2 개의 영상 신호들을 현상하여, 적어도 2 개의 원영상 데이터를 생성한다.

상기 모아레 판정부는, 상기 영상 현상부에 의하여 생성된 상기 적어도 2 개의 원영상 데이터로부터 모아레(moire)가 발생하는 영역을 판정한다.

본 발명의 실시예들의 영상 처리 장치, 영상 처리 방법 및 촬영 장치에 의하면, 시간적으로 다른 타이밍에 출력되는 적어도 2 개의 영상 신호들을 현상하여, 적어도 2 개의 원영상 데이터를 생성한다. 그리고, 생성된 상기 적어도 2 개의 원영상 데이터로부터 모아레(moire)가 발생하는 영역이 판정된다.

이에 따르면, 베이어 배열 전체의 데이터를 사용하여 현상하였을 때에 나타나는 컬러 모아레가 효과적으로 제거될 수 있다.

도 1은 베이어(bayer) 배열을 보여주는 도면이다.
도 2는 촬영 소스가 되는 영상의 예를 보여주는 도면이다.
도 3은 도 2에 도시된 영상을 촬영한 때에 컬러 모아레가 발생한 영상의 예를 보여주는 도면이다.
도 4는 시안과 오렌지의 컬러 모아레가 발생하는 모습을 베이어(bayer) 배열로 보여주는 도면이다.
도 5는 시안과 오렌지의 컬러 모아레가 발생하는 모습을 베이어 배열로 보여주는 도면이다.
도 6은 녹색과 마젠타의 컬러 모아레가 발생하는 모습을 베이어 배열로 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 따른 촬영 장치(100)의 구성의 예를 보여주는 도면이다.
도 8은 본 발명의 일 실시예에 따른 촬영 장치(100)에 포함되는 노이즈 제거부(104)의 구성의 예를 보여주는 도면이다.
도 9는 본 발명의 일 실시예에 따른 촬영 장치(100)의 동작의 예를 보여주는 흐름도이다.
도 10은 (N－1)번째 프레임 및 N번째 프레임의 영상 데이터의 일부를 자른 예를 보여주는 도면이다.
도 11은 본 발명의 일 실시예에 따른 촬영 장치(100)에 포함되는 노이즈 제거부(104)의 구성의 예를 보여주는 도면이다.

이하에 첨부 도면을 참조하면서, 본 발명의 바람직한 실시예에 대하여 상세히 설명한다. 또한, 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대하여서는 동일한 부호를 부여함으로써 중복 설명을 생략한다.

＜1. 배경＞

본 발명의 바람직한 실시예에 대하여 상세히 설명하기 전에, 본 발명의 실시예에 이르게 된 배경에 대하여 설명한다.

상술한 바와 같이, 디지털 카메라나 디지털 비디오 카메라 등의 촬영 장치에 있어서 정지 영상이나 동영상의 촬영에 이용되는 센서에는 베이어 배열의 CMOS 영상 센서 또는 CCD 영상 센서가 이용되는 것이 주류이다.

도 1은 베이어(bayer) 배열을 보여주는 도면이다. 베이어(bayer) 배열은 녹색(G) 2 화소들에 대하여, 적색(R) 1 화소, 청색(B) 1 화소의 4 화소들이 1쌍인 구성으로 되어 있는 배열이다. 원래는 광을 분광하여 RGB를 별도의 영상 센서로 수광하던 것을, 복잡한 광학계의 설계를 경감하고, 픽셀 시프트가 없도록 개발된 것이, 도 1에 도시된 바와 같은 베이어(bayer) 배열이다.

도 1에 도시된 베이어 배열은 인간의 눈이 적색이나 청색의 해상도에는 둔하고, 녹색이나 흑백에 대하여 민감하다는 특성을 이용하고 있다. 또한, 편의상 적색(R)의 행에 있는 녹색(G) 화소를 Gr, 청색(B)의 행에 있는 녹색(G) 화소를 Gb라 한다.

베이어(bayer) 배열이 녹색(G) 2 화소들에 대하여, 적색(R) 1 화소, 청색(B) 1 화소의 4 화소들이 1쌍인 구성으로 되어 있기 때문에, 녹색이 수평 및 수직 방향에서는 영상 센서의 수평 화소 개수 및 수직 화소 개수와 동일한 대역을 갖지만, 45^O경사 방향의 대역에서는 수평 및 수직의 절반으로 감소한다. 따라서, 휘도 신호는 경사 방향의 대역이 적다. 또한 베이어(bayer) 배열이 녹색(G) 2 화소들에 대하여, 적색(R) 1 화소, 청색(B) 1 화소의 4 화소들이 1쌍인 구성으로 되어 있기 때문에, 청색과 적색의 영역은 녹색의 절반 밖에 되지 않는다.

이러한 베이어 배열의 영상 센서로써 정상적인 영상을 얻기 위하여, 종래에는, 예를 들어 베이어 배열의 기본 4-화소 두께보다 가는 선(細線)을 해상하지 않는 필터를 영상 센서 상에 탑재하여 각 색을 흐리게 하는 것이 행해져 왔다.

그러나, 그러한 필터를 영상 센서에 탑재하면, 적색과 청색의 가는 선은 영상 센서로부터 출력되지 않고, 또한 휘도의 주요 성분인 녹색도 2-화소 폭 보다 가는 선은 센서로부터 출력되지 않는다.

그리고, 당연히 이러한 필터를 영상 센서에 탑재하는 것은 비용 상승의 요인이 되고, 또한 실제 화소 개수에 비하여 영상의 해상도가 낮아지는 요인도 된다. 그 결과, 그 필터를 배제하고, 해상도의 개선과 비용 저하를 동시에 충족시킬 필요성이 주장되고 있고, 해상도의 개선과 비용 저하를 동시에 충족시키는 것을 목적으로 하는 제품도 판매되고 있다.

그러나, 필터를 배제한 영상 센서를 이용하면, 베이어 배열의 영상 센서로부터 출력되는 신호에서 YCbCr 색 공간(color space) 또는 RGB 컬러 모델에 의한 영상을 생성(현상)할 때, 각 색의 존재 주기보다 짧은 주기의 영상의 조사에 기인하는 펄스 컬러(컬러 모아레)가 발생하는 경우가 있다.

필터를 배제한 영상 센서를 이용하면, 예를 들어 영상 센서의 적색의 존재 주기보다 짧은 주기의 적색 영상이 조사된다. 영상 센서의 적색의 존재 주기보다 짧은 주기의 적색 영상이 조사되는 것은 적색에 대하여 에일리어싱(aliasing)이 발생하는 요인이 된다.

이는 적색뿐만 아니라, 4화소 중에 1화소만 존재하는 청색에 대해서도 동일하다고 할 수 있다. 또한, 녹색에 대해서도, 경사 방향으로 선명한 녹색의 영상이 조사되는 것은 녹색에 대해서는 비스듬하게 에일리어싱(aliasing)이 발생하는 요인이 된다. 이 에일리어싱(aliasing)은 베이어 배열의 영상 센서로부터 출력되는 신호에서 YCbCr 색 공간(color space) 또는 RGB 컬러 모델에 의한 영상을 생성(현상)할 때에 발생되는 컬러 모아레가 된다.

가장 큰 문제는, 경사 방향의 가는 선(細線)을 현상하였을 때 발생하는 녹색과 마젠타의 모아레(moire)이다. 이것은 경사 방향의 방해를 나타낸다. 이러한 녹색과 마젠타의 모아레 현상이 발생하는 것은 촬영 영상으로 경사 방향으로 매우 가는 선이 존재하기 때문이다.

도 2는 촬영 소스가 되는 영상의 예를 보여주는 도면이다. 그리고 도 3은 도 2에 도시한 영상을 촬영한 때 컬러 모아레가 발생한 영상의 예를 보여주는 도면이다.

도 2에 도시된 바와 같은 매우 가는 백색 및 흑색의 선이 혼입된 영상을 촬영하면, 원래 영상에는 백색 및 흑색 이외의 색은 존재하지 않지만, 도 3에 도시된 바와 같이 소용돌이 형상의 펄스 컬러(컬러 모아레)가 발생하는 경우가 있다. 도 3의 부호 11은 시안과 오렌지의 소용돌이 형상의 펄스 컬러(컬러 모아레)가 발생한 부분을 나타내고 있다. 도 3의 부호 12는 녹색과 마젠타의 소용돌이 형상의 펄스 컬러(컬러 모아레)가 발생한 부분을 나타내고 있다.

도 3의 부호 11로 표시한 부분에서 발생하는 시안과 오렌지의 컬러 모아레는 세로 또는 가로의 가는 선을 재현하고자 발생시키는 것이다. 도 4 및 도 5는 시안과 오렌지의 컬러 모아레가 발생하는 모습을 베이어 배열로 보여주는 도면이다.

도 4 및 도 5에 도시된 바와 같이, 시안과 오렌지의 컬러 모아레가 발생하는 경우에는 시안과 오렌지의 경계에서 녹색 부분이 변화되는 것을 알 수 있다. 따라서, 녹색과의 상관을 취함으로써 시안과 오렌지의 컬러 모아레가 발생하는지 여부를 판정할 수 있다. 그리고, 시안과 오렌지의 컬러 모아레가 발생하는 경우, 예를 들어 그 컬러 모아레가 발생하는 부분을 백색으로 연결하는 등의 방법으로 컬러 모아레를 제거할 수 있다.

한편, 도 3의 부호 12로 표시한 부분에서 발생하는 녹색과 마젠타의 컬러 모아레는 경사 방향의 가는 선을 재현하고자 발생시키는 것이다. 도 6은 녹색과 마젠타의 컬러 모아레가 발생하는 모습을 베이어 배열로 보여주는 도면이다.

그러나, 이 녹색과 마젠타의 컬러 모아레의 경우, 시안과 오렌지의 컬러 모아레와 같이 녹색과의 상관을 취함(correlate)으로써 컬러 모아레의 발생을 판정할 수 없다. 시안과 오렌지의 컬러 모아레와 달리, 도 6에 도시된 바와 같이, 항상 녹색이 붙어 있다고는 할 수 없기 때문이다.

따라서, 본 발명자는, 컬러 모아레를 제거하기 위한 기술, 특히 녹색과의 상관을 취함으로써, 컬러 모아레의 발생을 판정할 수 없는 녹색과 마젠타의 컬러 모아레를 효과적으로 제거하기 위한 기술에 대하여 예의 검토하였다. 그 결과, 본 발명자는, 이하에 설명하는 바와 같이, 시간적으로 다른 적어도 2 개의 영상들을 비교함으로써, 컬러 모아레인지의 여부를 판정하고, 판정 결과에 따라 컬러 모아레를 제거할 수 있는 기술을 고안하기에 이르렀다.

이상, 본 발명의 실시예에 이르게 된 배경에 대하여 설명하였다. 이어서, 본 발명의 일 실시예에 대하여 상세히 설명한다.

＜2. 본 발명의 일 실시예＞

[2.1. 구성의 예]

먼저, 본 발명의 일 실시예에 따른 촬영 장치의 구성의 예에 대하여 상세히 설명한다. 도 7은 본 발명의 일 실시예에 따른 촬영 장치(100)의 구성의 예를 보여준다. 이하, 도 7을 이용하여 본 발명의 일 실시예에 따른 촬영 장치(100)의 구성의 예에 대하여 설명한다.

도 7에 도시한 바와 같이, 본 발명의 일 실시예에 따른 촬영 장치(100)는 촬영부(102), 노이즈 제거부(104), 보간 처리부(106), 코덱(codec)부(108), 통신부(110), 버스(112), 제어부(114), 및 DDR　SDRAM(Double　Data　Rate　Synchronous　Dynamic　Random Access　Memory, 116)을 포함하여 구성된다.

촬영부(102)는 줌 렌즈(Zoom Lens)나 포커스 렌즈(Focus Lens)를 포함하는 복수의 렌즈군이나 영상 센서 등으로 구성된다. 촬영부(102)는, 영상 센서의 수광면에 형성되는 피사체상을 광전 변환하고, 소정의 노이즈 제거 처리나 감도 조정 처리, 아날로그/디지털 변환(A/D 변환) 등의 신호 처리를 수행함으로써 디지털 영상 신호를 생성한다.

촬영부(102)에 설치되는 영상 센서는 CCD(Charge Coupled Device) 영상 센서일 수도 있고, CMOS(Complementary Metal-Oxide Semiconductor) 영상 센서일 수도 있다. 또한, 촬영부(102)에 설치되는 영상 센서의 수광면에는 컬러 영상의 촬영을 위해 베이어(bayer) 배열의 원색 필터가 설치된다. 촬영부(102)가 생성한 디지털 영상 신호는 버스(112)를 경유하여 DDR　SDRAM(116)에 저장된다.

노이즈 제거부(104)는, 촬영부(102)에서 생성되고, DDR　SDRAM(116)에 저장된 디지털 영상 신호에 대하여 노이즈 제거 처리를 수행한다. 본 실시예에 있어서, 노이즈 제거부(104)는 촬영부(102)가 다른 시간에 생성한 적어도 2 개의 디지털 영상 신호들을 DDR　SDRAM(116)로부터 버스(112)를 경유하여 읽어내고, 3차원 노이즈 축소(3DNR : 3-Dimension Noise Reduction)에 의해 디지털 영상 신호에 대한 노이즈 제거를 실시한다. 3차원 노이즈 축소(3DNR)는, 시간적으로 연속된 적어도 2 개의 디지털 영상 신호들을 비교함으로써 노이즈를 검출하고, 검출된 노이즈를 제거하는 노이즈 제거 처리이다.

본 실시예에 있어서, 노이즈 제거부(104)는, 노이즈 제거 처리를 위해 읽어낸 적어도 2 개의 디지털 영상 신호들을 이용하고, 컬러 모아레, 특히, 녹색과 마젠타의 컬러 모아레가 발생되는지 여부를 판정한다. 본 발명의 일 실시예에 따른 촬영 장치(100)는, 노이즈 제거 처리를 위해 읽어낸 적어도 2 개의 디지털 영상 신호들을 이용하여 컬러 모아레가 발생되는지 여부를 판정함으로써, 컬러 모아레를 검출하기 위한 구성을 노이즈 제거 처리를 위한 구성과 공통화할 수 있다.

노이즈 제거부(104)에 의하여 노이즈가 제거된 후에 DDR　SDRAM(116)에 격납된 디지털 영상 신호에 대하여, 보간 처리부(106)는 보간 처리, 예를 들어 CFA(Color　Filter Array) 보간 처리를 행함으로써 현상 처리를 수행한다. 보간 처리부(106)에 의한 현상 처리를 수행하여 얻어지는 영상 데이터는 버스(112)를 경유하여 DDR　SDRAM(116)에 격납된다.

코덱(codec)부(108)는, 보간 처리부(106)에 의해 생성된 영상 데이터에 대한 인코딩 처리나, 인코딩된 영상 데이터에 대한 디코딩 처리를 수행한다. 인코딩 처리 및 디코딩 처리를 총칭하여 코덱 처리라 한다. 코덱(codec)부(108)에 의해 코덱 처리된 영상 데이터는 버스(112)를 경유하여 DDR　SDRAM(116)에 격납된다.

통신부(110)는, 외부 장치에 대한 정보의 송신 처리나, 외부 장치로부터의 정보의 수신 처리를 실행한다. 예를 들어, 통신부(110)는 코덱(codec)부(108)에 의해 인코딩된 영상 데이터를 외부 장치로 송신한다.

제어부(114)는, 예를 들어 CPU(Central　Processing　Unit) 등으로 구성되고, 촬영 장치(100)의 각 부의 동작을 제어한다.

도 7에 도시되지 않았지만, 촬영 장치(100)는 촬영부(102)에 대하여 영상의 촬영을 사용자가 지시하기 위한 셔터 버튼, 촬영 장치(100)에 대한 사용자의 조작을 받아들이는 조작 버튼, 및 보간 처리부(106)에 의해 생성된 영상 데이터를 보존하기 위한 기록 매체 등을 구비할 수 있다. 보간 처리부(106)에 의해 생성된 영상 데이터를 보존하기 위한 기록 매체(116)는 촬영 장치(100)로부터의 분리가 가능한 것일 수 있다.

이상, 도 7을 이용하여 본 발명의 일 실시예에 따른 촬영 장치(100)의 구성의 예에 대하여 설명하였다. 이어서, 본 발명의 일 실시예에 따른 촬영 장치(100)에 포함되는 노이즈 제거부(104)의 상세한 구성의 예에 대하여 설명한다.

도 8은 본 발명의 일 실시예에 따른 촬영 장치(100)에 포함되는 노이즈 제거부(104)의 구성의 예를 보여주는 도면이다. 이하, 도 8을 이용하여 본 발명의 일 실시예에 따른 촬영 장치(100)에 포함되는 노이즈 제거부(104)의 구성의 예에 대하여 설명한다.

도 8에 도시한 바와 같이, 본 발명의 일 실시예에 따른 촬영 장치(100)에 포함되는 노이즈 제거부(104)는 RDMA(Read　Direct　Memory Access) 제어기(121a, 121b), 감산부(122), 노이즈 평가부(123), 노이즈 제거부(124), 필터 처리부(125), 간이 현상부(126a, 126b), 모아레 판정부(127), 및 WDMA(Write　Direct　Memory Access) 제어기(128)를 포함하여 구성된다.

RDMA 제어기(121a, 121b)는 촬영부(102)가 다른 시간에 생성한 적어도 2 개의 디지털 영상 신호들을 DDR　SDRAM(116)로부터 버스(112)를 경유하여 읽어낸다. 도 8에 도시된 예에 있어서, 한 RDMA 제어기(121a)는 (N－1)번째 프레임의 디지털 영상 신호를 DDR　SDRAM(116)로부터 독출한다. 다른 한 RDMA 제어기(121b)는 (N－1)번째 프레임의 다음 프레임인 N번째 프레임의 디지털 영상 신호를 DDR　SDRAM(116)로부터 읽어낸다. RDMA 제어기들(121a, 121b)은 이와 같이 연속된 프레임의 디지털 영상 신호를 DDR　SDRAM(116)으로부터 독출할 수도 있고, 연속되지는 않지만 짧은 간격으로 얻어진 디지털 영상 신호를 DDR　SDRAM(116)으로부터 독출할 수도 있다.

RDMA 제어기들(121a, 121b)은 DDR　SDRAM(116)으로부터 버스(112)를 경유하여 읽어낸 (N－1)번째 프레임과 N번째 프레임의 디지털 영상 신호를 각각 감산부(122) 및 간이 현상부(126a, 126b)로 보낸다. 또한, RDMA 제어기들(121a, 121b)은 디지털 영상 신호를 각각 감산부(122) 및 간이 현상부(126a, 126b)로 전송할 때, 버퍼 메모리(미도시)를 통할 수도 있다.

감산부(122)는 RDMA 제어기(121a, 121b)로부터 전송되는 (N－1)번째 프레임 및 N번째 프레임의 디지털 영상 신호에 대한 감산 처리를 수행한다. 구체적으로, 감산부(122)는 N번째 프레임의 디지털 영상 신호로부터 (N－1)번째 프레임의 디지털 영상 신호를 화소 단위로 감산하는 감산 처리를 수행한다. 감산부(122)는 감산 후의 디지털 영상 신호를 노이즈 평가부(123)로 보낸다.

본 실시예에 있어서, 감산부(122)가 시간적으로 연속되는 프레임의 디지털 영상 신호의 감산 처리를 수행함으로써, 후단의 노이즈 평가부(123)에서 노이즈의 평가, 구체적으로는 노이즈 발생 유무의 판정 및 노이즈 발생 부분의 검지를 실시하도록 할 수 있다.

노이즈 평가부(123)는 감산부(122)로부터 송신되는 N번째 프레임의 디지털 영상 신호로부터 (N－1)번째 프레임의 디지털 영상 신호를 화소 단위로 감산한 후의 디지털 영상 신호에 대하여 노이즈의 평가를 수행한다.

노이즈 평가부(123)는, 노이즈의 평가에 있어서, 구체적으로 N번째 프레임의 디지털 영상 신호로부터 (N－1)번째 프레임의 디지털 영상 신호를 화소 단위로 감산한 후의 디지털 영상 신호에 대하여, 노이즈 발생 유무의 판정 및 노이즈 발생 부분의 검색을 수행한다. 3차원 노이즈 축소의 기본적인 사고방식은 시간적으로 연속되는 두 프레임의 디지털 영상 신호에서 크게 달라지는 곳이 있다면, 그 부분을 노이즈로 판정하는 것이다. 노이즈 평가부(123)는, N번째 프레임의 디지털 영상 신호로부터 (N－1)번째 프레임의 디지털 영상 신호를 화소 단위로 감산한 후의 디지털 영상 신호에 대하여 노이즈 평가를 수행하고, 그 평가 결과를 노이즈 제거부(124)에 보낸다.

노이즈 제거부(124)는, 노이즈 평가부(123)로부터 송신되는 노이즈 평가 결과에 따라, N번째 프레임의 디지털 영상 신호에 대한 노이즈 제거 처리를 수행한다. 노이즈 제거부(124)는 노이즈를 제거한 후의 N번째 프레임(이하, 편의상 N＇번째 프레임이라 함)의 디지털 영상 신호를 필터 처리부(125)로 보낸다.

또한, 노이즈 제거부(124)에서의 노이즈 제거 처리는, 특정 처리에 한정되지 않으며, 3차원 노이즈 축소에 대응되는 다양한 처리가 적용될 수 있다.

필터 처리부(125)는, 노이즈를 제거한 후의 N＇번째 프레임의 디지털 영상 신호에 대하여, 모아레 판정부(127)에 의한 컬러 모아레의 판정 결과에 따른 필터 처리를 수행한다. 필터 처리부(125)가 수행하는 컬러 모아레의 판정 결과에 따른 필터 처리는 컬러 모아레, 특히, 녹색과 마젠타의 컬러 모아레가 발생하는 부분에 대하여, 45^O경사 방향에 인접한 화소에 대한 가산 처리에 의해, 현상 결과가 흑백이 되도록 컬러 모아레를 제거하는 필터 처리를 수행한다. 컬러 모아레가 발생하고 있는 방향은, 예를 들어 각 화소의 화소값을 비교함으로써 검출할 수 있다. 또한, 필터 처리부(125)에 의한 필터 처리에 있어서, 녹색과 마젠타의 컬러 모아레를 제거하는 모든 처리가 가능하므로, 상술한 45^O경사 방향에 인접한 화소에 대한 가산 처리에 한정되는 것은 아니다.

필터 처리부(125)는, 노이즈를 제거한 후의 N＇번째 프레임의 디지털 영상 신호에 대하여, 모아레 판정부(127)에 의한 컬러 모아레의 판정 결과에 따른 필터 처리를 수행함으로써, N＇번째 프레임의 디지털 영상 신호에 발생하는 컬러 모아레, 특히 녹색과 마젠타가 반복적으로 나타나는 컬러 모아레를 제거할 수 있다. 필터 처리부(125)는 컬러 모아레를 제거한 후의 N＇번째 프레임의 디지털 영상 신호를 WDMA 제어기(128)로 보낸다.

간이 현상부들(126a, 126b)은 RDMA 제어기들(121a, 121b)로부터 송신되는 (N－1)번째 프레임 및 N번째 프레임의 디지털 영상 신호에 대한 간이 현상 처리를 수행하여 영상 데이터를 생성한다. 간이 현상부(126a, 126b)는, 각각 디지털 영상 신호에 대하여 간이 현상 처리를 수행하여 영상 데이터를 생성하면, 생성한 영상 데이터를 모아레 판정부(127)로 보낸다.

모아레 판정부(127)는 간이 현상부(126a, 126b)로부터 송신되는 (N－1)번째 프레임 및 N번째 프레임의 영상 데이터로부터 컬러 모아레, 특히 녹색과 마젠타의 컬러 모아레가 발생되는지 여부를 판정하는 처리를 수행한다. 본 실시예에 의한 모아레 판정 처리는 뒤에서 상세하게 설명되겠지만, 일 예를 들면, 모아레 판정부(127)는, 간이 현상 후의 영상 데이터를 소정수의 영역으로 분할하고, 그 영역의 각각에 대하여 컬러 모아레의 발생 유무를 판정한다.

본 실시예에 있어서, 컬러 모아레의 발생 유무가 판정될 때, 컬러 모아레일 개연성을 복수의 단계, 예를 들어 1 ~ 10의 10 단계들로써 판정될 수도 있다. 이 경우, 숫자가 큰 쪽을 컬러 모아레일 개연성이 높은 것으로 할 수도 있다. 모아레 판정부(127)는, (N－1)번째 프레임 및 N번째 프레임의 영상 데이터에 대하여 수행한 컬러 모아레의 판정 결과를, 각각의 영역을 식별하는 정보와 관련지어 필터 처리부(125)로 보낸다.

영역을 식별하는 정보는, 예를 들어, 축소 영상 데이터의 좌상 영역을 0으로 하여 우측 방향을 향해 값이 증가하고, 가장 우측단의 영역에 도달하면 1단 아래로 이동하며, 좌단으로부터 우측 방향을 향해 다시 값이 증가하며, 이를 우하 영역에 도달할 때까지 반복할 수도 있 있다.

WDMA 제어기(128)는, 필터 처리부(125)에 의해 컬러 모아레가 제거된 N＇번째 프레임의 디지털 영상 신호를, 버스(112)를 경유하여 DDR　SDRAM(116)에 기록한다.

본 발명의 일 실시예에 따른 촬영 장치(100)에 포함되는 노이즈 제거부(104)는, 도 7에 도시한 바와 같은 구성을 가짐으로써, 시간적으로 연속된 2 개의 디지털 영상 신호들을 이용하여 노이즈를 제거함과 더불어, 그 2 개의 디지털 영상 신호들을 현상하여 얻어지는 영상 데이터로부터 컬러 모아레의 발생 유무를 판정하고, 컬러 모아레가 발생하였다면 그 컬러 모아레를 제거할 수 있다.

이상, 도 8을 이용하여 본 발명의 일 실시예에 따른 촬영 장치(100)에 포함되는 노이즈 제거부(104)의 상세한 구성의 예에 대하여 설명하였다. 이어서, 본 발명의 일 실시예에 따른 촬영 장치(100)의 동작의 예에 대하여 설명한다.

[2.2. 동작의 예]

도 9는 본 발명의 일 실시예에 따른 촬영 장치(100)의 동작의 예를 보여준다. 여기에서, 본 발명의 일 실시예에 따른 촬영 장치(100)는, 시간적으로 연속된 2 개의 디지털 영상 신호들을 현상하여 얻어지는 영상 데이터로부터 컬러 모아레의 발생 유무를 판정하고, 컬러 모아레가 발생한 경우, 그 컬러 모아레를 제거한다. 이하, 도 9를 참조하여 본 발명의 일 실시예에 따른 촬영 장치(100)의 동작의 예에 대하여 설명한다.

촬영 장치(100)는 시간적으로 다른, 특히 시간적으로 연속된 2 개의 디지털 영상 신호들을 DDR　SDRAM(116)으로부터 버스(112)를 경유하여 읽어낸다(단계 S101). 이 단계 S101의 읽기 처리는, 예를 들어 RDMA 제어기들(121a, 121b)이 수행한다.

상기 단계 S101에서 시간적으로 다른 2 개의 디지털 영상 신호들을 DDR　SDRAM(116)으로부터 읽어내면, 계속해서 촬영 장치(100)는 그 읽어낸 2 개의 디지털 영상 신호들을 간이 현상하여 2 개의 영상 데이터를 생성한다(단계 S102). 이 단계 S102의 간이 현상 처리는, 예를 들어 간이 현상부들(126a, 126b)에서 실행한다.

상기 단계 S102에서 2 개의 디지털 영상 신호들을 간이 현상하고, 2 개의 영상 데이터를 생성하면, 계속해서 촬영 장치(100)는 그 2 개의 영상 데이터로부터 컬러 모아레가 발생하는 부분을 판정한다(단계 S103). 이 단계 S103의 판정 처리는, 예를 들어 모아레 판정부(127)가 실행한다.

단계 S103의 판정 처리에 대하여 상세히 설명한다. 본 실시예에서는 영상 데이터를 소정수의 영역으로 분할하고, 그 영역의 각각에 대하여, 컬러 모아레의 발생 유무를 판정한다. 본 실시예에서는 컬러 모아레의 발생 유무를 판정할 때, 컬러 모아레일 개연성을 복수의 단계, 예를 들어 1 ~ 10의 10 단계들로써 판정할 수도 있다. 이 경우, 숫자가 큰 쪽을 컬러 모아레일 개연성이 높은 것으로 할 수도 있다.

도 10은 (N－1)번째 프레임 및 N번째 프레임의 영상 데이터의 일부를 자른 예를 보여준다. 도 10은 (N－1)번째 프레임 및 N번째 프레임의 영상 데이터에 대하여 동일한 부분을 잘라 낸 것의 예를 나타낸 것이다.

도 10에 도시된 예에서는 (N－1)번째 프레임 및 N번째 프레임의 영상 데이터의 일부에는 녹색과 마젠타의 모양이 발생하고 있다. 본 실시예에서는 이 녹색과 마젠타의 모양이 정말로 컬러 모아레에 의한 것인지 여부는 이하와 같이 하여 판정된다.

도 10에 도시한 예에서는 (N－1)번째 프레임 및 N번째 프레임의 영상 데이터의 일부에서 발생하는 녹색과 마젠타 모양의 위치가 다름을 알 수 있다. 도 9에 도시한 바와 같이 변화가 2 개의 연속되는 프레임의 영상 사이에서 발생한 경우, 본 실시예에서는 이 패턴의 가파름과, 패턴의 변화 정도로부터 컬러 모아레인지 여부를 평가하고 있다. 또한, 본 실시예에서는 다른 영역에 비해 크게 다른 색이 나타난 영역인지 여부도, 컬러 모아레인지 여부의 평가 재료로 하고 있다.

또한 본 실시예에 있어서, 컬러 모아레일 개연성은, 예를 들어 2 개의 연속되는 프레임의 영상 사이에서 모양의 위치가 다른 범위의 크기에 의해 판정될 수 있다.

상기 단계 S103에서, 컬러 모아레가 발생하는 부분을 판정하면, 계속해서 촬영 장치(100)는 상기 단계 S103에서의 컬러 모아레가 발생하는 부분의 판정 결과에 따라, N번째의 디지털 영상 신호, 특히 노이즈가 제거된 후의 N＇번째 프레임의 디지털 영상 신호에 대한 컬러 모아레의 제거를 수행한다(단계 S104). 단계 S104의 컬러 모아레의 제거 처리는, 예를 들어 필터 처리부(125)에서 수행한다.

필터 처리부(125)는, 예를 들어 컬러 모아레, 특히 녹색과 마젠타의 컬러 모아레가 발생하는 부분에 대하여, 45^O경사 방향에 인접한 화소에 대한 가산 처리에 의해, 현상 결과가 흑백이 되도록 컬러 모아레를 제거하는 필터 처리를 수행한다. 또한, 상기 단계 S104에서의 필터 처리는 녹색과 마젠타의 컬러 모아레를 제거하는 처리라면, 상술한 45^O경사 방향에 인접한 화소에 대한 가산 처리에 한정되지 않는다.

본 실시예에 따른 촬영 장치(100)는 상술한 바와 같은 일련의 동작을 실행함으로써, 컬러 모아레, 특히 녹색과 마젠타의 컬러 모아레를 효과적으로 제거하고, 컬러 모아레가 없는 영상을 생성할 수 있다.

[2.3. 변형 예]

상술한 촬영 장치(100)에서는 노이즈 제거부(104)가 노이즈 제거에 추가적으로 컬러 모아레의 제거를 실시하였지만, 본 발명은 이러한 예에 한정되지 않는다. 예를 들어, 노이즈 제거부(104)는 컬러 모아레 발생 부분의 판정 처리만 하고, 보간 처리부(106)가 그 판정 결과에 따라, 컬러 모아레를 제거하면서 보간 처리를 수행하여 영상 데이터를 생성할 수도 있다.

도 11은 본 발명의 일 실시예에 따른 촬영 장치(100)에 포함되는 노이즈 제거부(104)의 구성의 예를 보여준다. 이하, 도 11을 이용하여 본 발명의 일 실시예에 따른 촬영 장치(100)에 포함되는 노이즈 제거부(104)의 구성의 예에 대하여 설명한다.

도 11에 도시된 노이즈 제거부(104)는, 도 8에 도시된 노이즈 제거부(104)와는 달리 필터 처리부(125)가 포함되어 있지 않다.

따라서, 노이즈 제거부(124)는, 노이즈 평가부(123)로부터 송신되는 노이즈의 평가 결과에 따라, N번째 프레임의 디지털 영상 신호에 대한 노이즈의 제거 처리를 수행하고, 노이즈를 제거한 후의 N번째 프레임(이하, 편의상 N＇번째 프레임이라 함)의 디지털 영상 신호를 WDMA 제어기(128)로 보낸다.

또한, 모아레 판정부(127)는 간이 현상부(126a, 126b)로부터 송신되는 (N－1)번째 프레임 및 N번째 프레임의 영상 데이터로부터 컬러 모아레, 특히 녹색과 마젠타의 컬러 모아레가 발생되는지 여부를 판정하는 처리를 수행하고, 컬러 모아레의 판정 결과를 WDMA 제어기(128)로 보낸다.

그리고 WDMA 제어기(128)는, 노이즈 제거부(124)로부터 보내진 노이즈를 제거한 후의 N＇번째 프레임의 디지털 영상 신호 및 모아레 판정부(127)로부터 보내진 각 영역에 대한 컬러 모아레의 판정 결과를, 영역을 식별하는 정보와 연관지어 버스(112)를 경유하여 DDR　SDRAM(116)에 기록한다.

노이즈 제거부(104)가 도 11에 도시한 바와 같은 구성을 가짐에 따라, 촬영 장치(100)의 보간 처리부(106)에 있어서, DDR　SDRAM(116)에 기록된 N＇번째 프레임의 디지털 영상 신호 및 컬러 모아레의 판정 결과를 읽어내고, 모아레를 제거하면서 보간 처리를 수행하여 영상 데이터를 생성할 수 있다.

또한, 보간 처리부(106)에 있어서, DDR　SDRAM(116)에 기록된 N＇번째 프레임의 디지털 영상 신호 및 컬러 모아레의 판정 결과를 읽어내고, 모아레를 제거하면서 보간 처리를 수행하여 영상 데이터를 생성한다. 이 경우, 필터 처리를 수행하는 경우에 비해 선명하고 컬러 모아레가 없는 영상을 생성할 수 있다.

＜3. 정리＞

이상 설명된 바와 같이 본 발명의 일 실시예에 의하면, 시간적으로 다른, 특히 시간적으로 연속되는 타이밍으로 취득된 디지털 영상 신호를 비교함으로써, 컬러 모아레의 발생, 특히 녹색과 마젠타의 컬러 모아레의 발생 유무를 판정하는 촬영 장치(100)가 제공된다. 또한 본 발명의 일 실시예에 의하면, 컬러 모아레의 발생, 특히 녹색과 마젠타의 컬러 모아레의 발생 유무를 판정하고, 그 판정 결과에 따라 컬러 모아레를 제거하는 처리를 수행하는 촬영 장치(100)가 제공된다.

본 발명의 일 실시예에 따른 촬영 장치(100)는 이와 같이 시간적으로 다른, 특히 시간적으로 연속되는 타이밍으로 취득된 디지털 영상 신호를 이용함으로써, 컬러 모아레의 판정을 위한 메모리의 용량을 늘리지 않고도, 컬러 모아레의 발생, 특히 녹색과 마젠타의 컬러 모아레의 발생 유무를 판정할 수 있다. 특히, 본 발명의 일 실시예에 따른 촬영 장치(100)는, 지금까지는 어려웠던 경사진 화소 피치 근방의 세선에 기인하는 녹색과 마젠타의 컬러 모아레를 판정하고, 그 컬러 모아레를 제거할 수 있다.

본 명세서의 장치가 실행하는 처리에 있어서의 각 단계는 반드시 흐름도나 순서도로서 기재된 순서에 따라 시계열적으로 처리될 필요는 없다. 예를 들어, 각 장치가 실행하는 처리에 있어서의 각 단계는 흐름도로서 기재한 순서와 다른 순서로 처리되어도 무방하고, 병렬적으로 처리되어도 무방하다.

또한 상술한 각 장치의 구성과 동등한 기능을, 본 명세서의 장치에 내장되는 CPU(Central　Processing　Unit), ROM(Read　Only　Memory) 및 RAM(Random Access　Memory) 등의 하드웨어(미도시)에 발휘시키기 위한 컴퓨터 프로그램도 작성될 수 있다. 또한, 상기 컴퓨터 프로그램을 기억시킨 기억 매체도 제공될 수 있다. 또한, 기능 블록도로 도시한 각각의 기능 블록을 하드웨어로 구성함으로써, 일련의 처리를 하드웨어로 실현할 수도 있다.

이상, 첨부 도면을 참조하면서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만, 본 발명은 이러한 예에 한정되지 않는다. 본 발명이 속하는 기술 분야에 있어서의 통상의 지식을 가진 자라면, 특허 청구의 범위에 기재된 기술적 사상의 범주 내에서, 각종의 변경예 또는 수정예를 도출 가능함은 명백하며, 이에 대하여서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.

본 발명은 다양한 기능의 영상 처리 장치들에 이용될 가능성이 높다.

100 촬영 장치
102 촬영부
104 노이즈 제거부
106 보간 처리부
108 코덱(codec)부
110 통신부
112 버스
114 제어부
116 SDRAM
121a RDMA 제어기
121b RDMA 제어기
122 감산부
123 노이즈 평가부
124 노이즈 제거부
125 필터 처리부
126a 간이 현상부
126b 간이 현상부
127 모아레 판정부
128 WDMA 제어기

Claims

광학계를 통한 광속을 수광하여 광전 변환하는 복수의 수광 소자들이 2차원 베이어(bayer) 배열로 배치된 센서 어레이로부터 시간적으로 다른 타이밍에 출력되는 적어도 2 개의 영상 신호들을 현상하여, 적어도 2 개의 원영상 데이터를 생성하는, 영상 현상부;
상기 영상 현상부에 의하여 생성된 상기 적어도 2 개의 원영상 데이터로부터 모아레(moire)가 발생하는 영역을 판정하는, 모아레 판정부; 및
상기 모아레 판정부에 의한 모아레 발생 영역의 판정 결과에 따라, 상기 영상 신호에 대하여 모아레를 제거하는, 모아레 제거부;를 포함하는, 영상 처리 장치.
제1항에 있어서, 상기 모아레 판정부는,
상기 적어도 2 개의 원영상 데이터에 있어서 제1 색과 제2 색의 반복 패턴들에서 차이가 발생된 영역을 모아레 발생 영역으로 판정하는, 영상 처리 장치.
제2항에 있어서,
상기 제1 색은 상기 베이어(bayer) 배열에 있어서 화소 개수가 가장 많은 색이고, 상기 제2 색은 상기 베이어(bayer) 배열에 있어서 상기 제1 색이 아닌 색으로부터 생성되는 색인, 영상 처리 장치.
제1항에 있어서, 상기 모아레 제거부가 수행하는 모아레 제거 처리는,
상기 판정 결과에 따라 상기 원영상 데이터에 대하여 수행되는 보간 처리인, 영상 처리 장치.
광학계를 통한 광속을 수광하여 광전 변환하는 복수의 수광 소자들이 2차원 베이어(bayer) 배열로 배치된 센서 어레이로부터 시간적으로 다른 타이밍에 출력되는 적어도 2 개의 영상 신호들을 현상하여, 적어도 2 개의 원영상 데이터를 생성하는, 영상 현상 단계;
상기 영상 현상 단계에서 생성된 상기 적어도 2 개의 원영상 데이터로부터 모아레(moire)가 발생하는 영역을 판정하는, 모아레 판정 단계; 및
상기 모아레 판정 단계에 의한 모아레 발생 영역의 판정 결과에 따라, 상기 영상 신호에 대하여 모아레를 제거하는, 모아레 제거 단계;를 포함하는, 영상 처리 방법.
광학계를 통한 광속을 수광하여 광전 변환하는 복수의 수광 소자들이 2차원 베이어(bayer) 배열로 배치된 센서 어레이를 구비하는 촬영부;
상기 촬영부로부터 시간적으로 다른 타이밍에 출력되는 적어도 2 개의 영상 신호들을 현상하여, 적어도 2 개의 원영상 데이터를 생성하는, 영상 현상부;
상기 영상 현상부에 의하여 생성된 상기 적어도 2 개의 원영상 데이터로부터 모아레(moire)가 발생하는 영역을 판정하는, 모아레 판정부; 및
상기 모아레 판정부에 의한 모아레 발생 영역의 판정 결과에 따라, 상기 영상 신호에 대하여 모아레를 제거하는, 모아레 제거부;를 포함하는, 촬영 장치.