KR20140008623A

KR20140008623A - 영상 처리 방법 및 장치

Info

Publication number: KR20140008623A
Application number: KR1020120074951A
Authority: KR
Inventors: 문영수; 태용민; 이시화; 장경자; 조정욱
Original assignee: 삼성전자주식회사
Priority date: 2012-07-10
Filing date: 2012-07-10
Publication date: 2014-01-22
Also published as: US20140016866A1; US9224190B2; KR101929494B1

Abstract

저조도 환경에서 촬영된 영상의 화질을 향상시키기 위한 영상 처리 방법 및 장치가 개시된다. 영상 처리 방법은 저조도 환경에서, 단 노출 및 고감도의 촬영 조건에서 촬영된 입력 프레임 중 기준 프레임에 기초하여 움직임 정보를 추정하는 단계; 상기 움직임 정보를 이용하여 상기 기준 프레임의 잡음을 제거하는 단계; 및 저조도 환경에서, 적정 노출의 촬영 조건에서 촬영된 참조 프레임을 이용하여 상기 잡음이 제거된 기준 프레임의 화질을 향상시키는 단계를 포함할 수 있다.

Description

영상 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING THE IMAGE}

아래의 설명은 저조도 환경에서 촬영된 영상의 화질을 향상시키는 방법에 관한 것으로, 구체적으로는 노출 조건이 다른 복수 개의 영상을 이용하여 영상의 화질을 향상시키는 방법에 관한 것이다.

저조도 환경(조도가 낮은 어두운 환경)에서 카메라와 같은 영상 획득 장치로 영상을 촬영하는 경우 일반적으로 두 가지의 화질 열화 문제가 발생할 수 있다. 첫 번째로, 충분한 노출(exposure) 확보를 위해 장 노출 시간(long exposure time)을 설정하여 촬영하는 경우, 셔터 스피드가 길어지게 되고, 영상 획득 장치의 흔들림이나 오브젝트의 움직임에 의한 모션 블러(motion blur) 현상이 발생할 수 있다. 두 번째로, 단 노출 시간(short exposure time)의 고감도(high ISO)로 설정하여 촬영하는 경우, 강한 영상 노이즈와 함께 컬러 왜곡 문제가 발생할 수 있다.

위와 같은 저조도 환경에서 촬영된 영상의 화질 열화 문제를 해결하기 위해, 한 장의 결과 영상에서 모션 블러를 제거하는 기술 및 고성능의 노이즈 제거 기술이 개발되어 왔다.

최근에는 위와 같은 문제를 해결하기 위해 한 장의 영상이 아닌 여러 장의 영상을 연속적으로 촬영한 후, 이를 융합 처리하는 기술이 개발되고 있으며, 저조도 환경에서 고선명의 영상을 획득하기 위한 기술이 계속적으로 요구되고 있다.

일실시예에 따른 영상 처리 방법은, 저조도 환경에서, 단 노출 및 고감도의 촬영 조건에서 촬영된 입력 프레임 중 기준 프레임에 기초하여 움직임 정보를 추정하는 단계; 상기 움직임 정보를 이용하여 상기 기준 프레임의 잡음을 제거하는 단계; 및 저조도 환경에서, 적정 노출의 촬영 조건에서 촬영된 참조 프레임을 이용하여 상기 잡음이 제거된 기준 프레임의 화질을 향상시키는 단계를 포함할 수 있다.

일실시예에 따른 영상 처리 방법은, 상기 움직임 정보에 기초하여 상기 기준 프레임의 시간축 상의 잡음 필터링을 수행하는 단계; 및 상기 시간축 상의 잡음 필터링이 수행된 기준 프레임에 공간축 상의 잡음 필터링을 수행하는 단계를 더 포함할 수 있다.

일실시예에 따른 영상 처리 장치는, 저조도 환경에서, 단 노출 및 고감도의 촬영 조건에서 촬영된 입력 프레임 중 기준 프레임에 기초하여 움직임 정보를 추정하는 움직임 정보 추정부; 상기 움직임 정보를 이용하여 상기 기준 프레임의 잡음을 제거하는 잡음 제거부; 및 저조도 환경에서, 적정 노출의 촬영 조건에서 촬영된 참조 프레임을 이용하여 상기 잡음이 제거된 기준 프레임의 화질을 향상시키는 화질 향상부를 포함할 수 있다.

도 1은 일실시예에 따른 영상 처리 장치의 세부 구성을 도시한 도면이다.
도 2는 일실시예에 따른 입력 프레임의 움직임 정보를 추정하는 일례를 도시한 도면이다.
도 3은 일실시예에 따른 기준 프레임의 화질을 향상시키는 동작을 나타낸 흐름도이다.
도 4는 일실시예에 따른 입력 프레임의 움직임 정보를 추정하는 세부적인 동작을 나타낸 흐름도이다.
도 5는 일실시예에 따른 기준 프레임의 잡음을 제거하는 세부적인 동작을 나타낸 흐름도이다.
도 6은 일실시예에 따른 기준 프레임의 화질을 향상시키는 세부적인 동작을 나타낸 흐름도이다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 실시예들을 설명함에 있어 관련된 공지 기능 또는 구성에 관한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그에 관한 상세한 설명은 생략할 것이다.

일실시예에 따른 영상 처리 방법은 영상 처리 장치에 의해 수행될 수 있다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 1은 일실시예에 따른 영상 처리 장치의 세부 구성을 도시한 도면이다.

도 1을 참고하면, 영상 처리 장치(110)는 움직임 정보 추정부(120), 잡음 제거부(130), 및 화질 향상부(140)를 포함할 수 있다.

영상 처리 장치(110)는 카메라 등과 같은 영상 획득 장치 내에 위치하거나, 영상 획득 장치 외부에 독립적으로 위치할 수 있으며, 영상 획득 장치로부터 입력 프레임들과 참조 프레임을 수신할 수 있다. 단, 영상 획득 장치는 위에 기재한 예시에 한정되지 아니하고, 영상을 획득할 수 있는 장치를 모두 포함한다.

영상 처리 장치(110)는 단 노출 및 고감도의 촬영 조건에서 촬영된 입력 프레임들과 적정 노출의 촬영 조건에서 촬영된 참조 프레임을 이용하여 저조도 환경에서 촬영된 영상을 적정 밝기와 색감을 가진 영상으로 복원할 수 있다.

또한, 영상 처리 장치(110)는 영상 획득 장치로부터 입력 프레임과 참조 프레임의 영상을 촬영할 당시의 노출 조건 및 감도 조건과 관련된 정보를 수신할 수 있으며, 수신한 정보를 영상을 복원하는데 이용할 수 있다.

움직임 정보 추정부(120)는 저조도 환경에서, 단 노출 및 고감도의 촬영 조건에서 촬영된 입력 프레임들 중 기준 프레임에 기초하여 움직임 정보를 추정할 수 있다. 일례로, 움직임 정보 추정부(120)는 입력 프레임들에서 핸드헬드(hand-held) 촬영으로 인해 발생한 영상 간의 움직임을 추정할 수 있다. 또는, 움직임 정보 추정부(120)는 오브젝트의 움직임으로 인해 발생한 영상 간의 움직임을 추정할 수 있다.

이하, 입력 프레임은 저조도 환경에서, 단 노출 및 고감도의 촬영 조건에서 촬영되었다고 가정한다.

움직임 정보 추정부(120)는 복수 개의 입력 프레임들을 이용하여 움직임 정보를 추정할 수 있으며, 복수 개의 입력 프레임들 중 기준 프레임을 임의로 설정할 수 있다. 일례로, 움직임 정보 추정부(120)는 가장 처음에 촬영된 입력 프레임을 기준 프레임으로 설정할 수 있다.

움직임 정보 추정부(120)는 입력 프레임의 밝기 정보를 이용하여 입력 프레임의 움직임 정보를 추정할 수 있다.

움직임 정보 추정부(120)는 움직임 정보의 추정을 위해 입력 프레임의 영상 변환을 수행할 수 있다. 일례로, 움직임 정보 추정부(120)는 RGB 칼라 영상을 YCbCr 칼라 영상으로 변환할 수 있다. 움직임 정보 추정부(120)는 변환한 YCbCr 칼라 영상에서 Y(휘도, brightness) 영상을 이용하여 움직임 정보를 추정할 수 있다.

또는, 움직임 정보 추정부(120)는 카메라 센서 원시 영상이 입력 프레임으로 사용되는 경우, 원시 베이어 영상(raw bayer image)에서 G 채널 영상만을 이용하여 움직임 정보를 추정할 수도 있다.

움직임 정보 추정부(120)는 영상 변환된 입력 프레임들을 이용하여 입력 프레임의 전역적(global) 움직임 정보를 추정할 수 있다. 예를 들어, 움직임 정보 추정부(120)는 기준 프레임의 밝기 영상을 기준으로 하여 다른 입력 프레임들의 밝기 영상을 비교하여 다른 입력 프레임들 간의 전역적 움직임 정보를 추정할 수 있다.

움직임 정보 추정부(120)는 입력 프레임들 간의 영상 차분(image difference)에 기초한 영상 매칭 기법을 이용하여 전역적 움직임 정보를 추정할 수 있다. 예를 들어, 영상 획득 장치 또는 오브젝트가 병진 운동(translational motion)을 하고 있는 중에 입력 프레임이 생성되었다고 가정하면, 움직임 정보 추정부(120)는 입력 프레임들 간의 영상 차분에 기초한 영상 매칭 기법을 이용하여 수평 및 수직 방향의 움직임 정보를 추정할 수 있다.

또한, 움직임 정보 추정부(120)는 입력 프레임의 수평 및 수직 방향별 누적 1D 커브를 구하고, 각 동일 방향의 누적 1D 커브 간에 상호 상관도(cross correlation) 최대화 탐색 기법을 이용하여 전역적 움직임 정보를 추정할 수 있다. 이를 통해, 움직임 정보 추정부(120)는 고해상도의 저조도 잡음 영상에서 빠르면서도 잡음에 강인한 병진 운동의 움직임 정보를 추정할 수 있다.

또는, 움직임 정보 추정부(120)는 이미지 피라미드(image pyramid)를 이용하는 coarse-to-fine 움직임 추정 기법들을 이용하여 움직임 정보를 효과적으로 추정할 수도 있다.

움직임 정보 추정부(120)는 전역적 움직임 정보에 기초하여 이미지 매칭(image matching) 탐색 영역을 설정할 수 있다. 예를 들어, 움직임 정보 추정부(120)는 입력 프레임의 영상 픽셀별로 일정한 크기의 영상 블럭을 설정한 후, 다른 입력 프레임에서 전역적 움직임 정보에 기초하여 이미지 매칭을 위한 탐색 영역을 설정할 수 있다.

움직임 정보 추정부(120)는 영상의 국소적인 움직임 변동을 처리하기 위해 설정한 탐색 영역을 이용하여 입력 프레임의 국소적(local) 움직임 정보를 추정할 수 있다. 예를 들어, 움직임 정보 추정부(120)는 설정된 탐색 영역에서 블럭 매칭을 수행하여 블럭 간의 유사도가 가장 높은 움직임량을 국소적 움직임으로 결정할 수 있다.

또는, 움직임 정보 추정부(120)는 기준 프레임을 일정한 크기의 블럭으로 분할한 후, 각 블럭별로 위와 동일한 방식을 이용하여 국소적 움직임 정보를 추정할 수 있다. 이를 통해, 움직임 정보 추정부(120)는 고해상도 영상의 움직임 정보를 빠르게 추정할 수 있다.

다른 실시예에 따르면, 움직임 정보 추정부(120)는 국소적 움직임 정보의 추정 여부를 선택적으로 결정할 수 있다. 즉, 움직임 정보 추정부(120)는 설정 환경 또는 처리 과정에 따라 전역적 움직임 정보만을 추정할 수 있고, 선택적으로 국소적 움직임 정보를 추정할 수 있다.

잡음 제거부(130)는 움직임 정보 추정부(120)가 추정한 움직임 정보를 이용하여 기준 프레임의 잡음을 제거할 수 있다. 구체적으로, 잡음 제거부(130)는 시간축 상의 잡음 필터링과 공간축 상의 잡음 필터링을 수행하여 3차원 공간상의 잡음 제거를 수행할 수 있다.

잡음 제거부(130)는 기준 프레임의 각 픽셀값에 대응되는 다른 입력 프레임의 픽셀값을 이용하여 잡음 필터링을 수행할 수 있다. 예를 들어, 잡음 제거부(130)는 전역적 움직임 정보 및 국소적 움직임 정보를 이용하여 기준 프레임의 각 픽셀값에 대응되는 다른 입력 프레임의 픽셀값들을 단순 평균함으로써 시간축 상의 잡음 필터링을 수행할 수 있다.

잡음 제거부(130)는 시간축 상의 잡음이 필터링된 기준 프레임에 대해 공간축 상의 잡음 필터링을 수행할 수 있다. 잡음 제거부(130)는 기준 프레임의 각 픽셀마다 일정한 크기의 커널 영역을 설정하여 잡음 필터링을 수행할 수 있다.

예를 들어, 잡음 제거부(130)는 bilateral filter 또는 non-local means 방식을 이용하여 2차원의 잡음 필터링을 수행할 수 있다. 또한, 잡음 제거부(130)는 이산 코사인 변환(discrete cosine transform)을 이용하여 잡음 필터링을 수행할 수도 있다.

결론적으로, 잡음 제거부(130)는 1차원의 시간축 상의 잡음 필터링과 2차원의 공간축 상의 잡음 필터링을 수행함으로써 효과적으로 영상의 잡음을 제거할 수 있다.

화질 향상부(140)는 저조도 환경에서, 적정 노출의 촬영 조건에서 촬영된 참조 프레임을 이용하여 잡음이 제거된 기준 프레임의 화질을 향상시킬 수 있다. 일례로, 적정 노출은 오토(auto) 모드일 때의 노출 조건 또는 오토 모드일 때보다 노출값(exposure value)이 1이 높은 노출 조건일 수 있다. 단, 적정 노출의 조건은 위의 기재에 한정되지 않으며, 단 노출의 노출값과 연관되어 상대적으로 결정될 수 있다. 즉, 적정 노출은 일반적으로 단 노출일 때의 노출값보다 큰 노출값을 가지는 노출 조건으로 정의될 수 있다.

이하, 참조 프레임은 저조도 환경에서, 적정 노출의 촬영 조건에서 촬영되었다고 가정한다. 참조 프레임은 적정 노출의 촬영 조건에서 촬영되었으므로 입력 프레임보다 밝기 및 색감 정보가 더 양호할 수 있다. 화질 향상부(140)는 참조 프레임의 영상 정보를 이용하여 잡음이 제거된 기준 프레임의 밝기와 색감을 향상시킬 수 있다.

화질 향상부(140)는 잡음이 제거된 기준 프레임과 참조 프레임 간의 관계를 이용하여 기준 프레임의 화질을 향상시킬 수 있다. 구체적으로, 화질 향상부(140)는 잡음이 제거된 기준 프레임과 참조 프레임 간의 히스토그램 매칭을 통해 도출된 밝기변환 관계를 이용하여 기준 프레임의 화질을 향상시킬 수 있다.

즉, 화질 향상부(140)는 실시간으로 계산된 밝기변환 관계 모델을 이용하여 기준 프레임의 화질을 향상시킬 수 있다. 이를 통해, 화질 향상부(140)는 저조도 촬영 조건에서 적정한 밝기와 색감을 가진 고선명 영상을 복원할 수 있다. 즉, 화질 향상부(140)는 저조도 환경에서 촬영된 영상에서 고감도 조건에 의한 잡음을 제거하고, 적정 노출에 따른 모션 블러 현상을 제거하여 선명하면서도 적정 밝기를 가진 영상을 출력할 수 있다.

다른 실시예에 따르면, 화질 향상부(140)는 기준 프레임의 화질을 향상시키는 과정을 수행한 뒤, 영상의 디테일을 향상시키기 위한 다양한 후처리 과정을 선택적으로 수행할 수 있다.

화질 향상부(140)는 저조도 환경에서, 단 노출 및 고감도 조건에서 촬영된 영상과 적정 노출에서 촬영된 영상을 이용하여 밝기 또는 색감에 관한 보정을 간단하게 수행할 수 있다. 일례로, 화질 향상부(140)는 단 노출 및 고감도 조건에서 촬영된 영상과 적정 노출에서 촬영된 영상을 이용하여 적응적으로 영상의 화질에 관한 보정을 수행할 수 있다.

화질 향상부(140)는 실제 저조도 환경에, 적정 노출에서 촬영된 참조 프레임을 이용함에 따라 실제 촬영 조건에 부합하는 밝기변환을 수행할 수 있다.

다른 실시예에 따르면, 화질 향상부(140)는 캘리브레이션(calibration)을 통해 도출된 밝기변환 관계를 이용하여 기준 프레임의 화질을 향상시킬 수 있다.

예를 들어, 화질 향상부(140)는 룩업 테이블(LUT, lookup table) 형태로 저장된 밝기변환 모델을 이용하여 기준 프레임의 화질을 향상시킬 수 있다. 즉, 화질 향상부(140)는 밝기변환 관계식에 대한 실시간 모델링이 아닌 룩업 테이블 형태로 저장된 밝기변환 모델을 이용할 수도 있다.

도 2는 일실시예에 따른 입력 프레임의 움직임 정보를 추정하는 일례를 도시한 도면이다.

영상 처리 장치는 복수 개의 입력 프레임들(210~240)을 이용하여 움직임 정보를 추정할 수 있으며, 복수 개의 입력 프레임들(210~240) 중 기준 프레임을 임의로 설정할 수 있다. 도 2에서는 첫 번째 입력 프레임(210)을 기준 프레임으로 설정되었다고 가정한다.

영상 처리 장치는 기준 프레임(210)을 다른 입력 프레임들(220~240)과 비교하여 기준 프레임(210)을 기준으로 한 전역적 움직임 정보 및 국소적 움직임 정보를 추정할 수 있다.

영상 처리 장치는 전역적 움직임 정보 및 국소적 움직임 정보에 기초하여 기준 프레임(210)을 기준으로 다른 입력 프레임들(220~240)의 위치를 정렬시킬 수 있고, 이를 통해 영상 촬영 장치를 고정하고 촬영한 것과 동일한 효과를 나타낼 수 있다. 즉, 영상 처리 장치는 움직임 정보를 이용하여 복수 개의 영상에서 물리적으로 유사한 영역들을 기하학적으로 일치시킬 수 있다.

영상 처리 장치는 입력 프레임들(210~240) 간의 영상 차분에 기초한 영상 매칭 기법을 이용하거나 수평 및 수직 방향의 누적 1D 커브 간에 상호 상관도 최대화 탐색 기법을 이용하여 전역적 움직임 정보를 추정할 수 있다.

영상 처리 장치는 전역적 움직임 정보에 기초하여 국소적 움직임 정보를 추정할 수 있다. 예를 들어, 영상 처리 장치는 영상의 픽셀별로 일정한 크기의 영상 블럭(250)을 설정하고, 전역적 움직임 정보에 기초하여 다른 입력 프레임(220~240)에 이미지 매칭을 위한 탐색 영역을 설정할 수 있다. 영상 처리 장치는 탐색 영역을 설정한 후, 블럭 매칭을 수행하여 블럭 간의 유사도가 가장 높은 움직임량을 국소적 움직임으로 결정할 수 있다.

도 3은 일실시예에 따른 기준 프레임의 화질을 향상시키는 동작을 나타낸 흐름도이다.

단계(310)에서, 영상 처리 장치는 입력 프레임 중 기준 프레임에 기초하여 움직임 정보를 추정할 수 있다. 영상 처리 장치는 움직임 정보를 추정하기 위해 입력 프레임의 밝기 정보를 이용하여 입력 프레임의 영상 변환을 수행할 수 있다.

영상 처리 장치는 영상 변환된 입력 프레임들을 이용하여 입력 프레임의 전역적 움직임 정보 및 국소적 움직임 정보를 추정할 수 있다.

단계(320)에서, 영상 처리 장치는 단계(310)에서 추정한 움직임 정보를 이용하여 기준 프레임의 잡음을 제거할 수 있다. 구체적으로, 영상 처리 장치는 1차원의 시간축 상의 잡음 필터링과 2차원의 공간축 상의 잡음 필터링을 수행하여 기준 프레임의 잡음을 제거할 수 있다.

단계(330)에서, 영상 처리 장치는 적정 노출의 촬영 조건에서 촬영된 참조 프레임을 이용하여 잡음이 제거된 기준 프레임의 화질을 향상시킬 수 있다. 영상 처리 장치는 참조 프레임의 영상 정보를 이용하여 잡음이 제거된 기준 프레임의 밝기와 색감을 향상시킬 수 있다. 예를 들어, 영상 처리 장치는 잡음이 제거된 기준 프레임과 참조 프레임 간의 히스토그램 매칭을 통해 도출된 밝기변환 관계를 이용하여 기준 프레임의 화질을 향상시킬 수 있다.

또는, 영상 처리 장치는 캘리브레이션을 통해 도출된 밝기변환 관계를 이용하여 기준 프레임의 화질을 향상시킬 수 있다. 예를 들어, 영상 처리 장치는 룩업 테이블 형태로 저장된 밝기변환 모델을 이용하여 기준 프레임의 화질을 향상시킬 수 있다.

도 4는 일실시예에 따른 입력 프레임의 움직임 정보를 추정하는 세부적인 동작을 나타낸 흐름도이다.

단계(410)에서, 영상 처리 장치는 입력 프레임을 밝기 영상으로 변환할 수 있다. 예를 들면, 영상 처리 장치는 RGB 칼라 영상을 YCbCr 칼라 영상으로 변환하여 Y 영상을 추출할 수 있다.

단계(420)에서, 영상 처리 장치는 영상 변환된 입력 프레임들을 이용하여 입력 프레임의 전역적 움직임 정보를 추정할 수 있다. 예를 들어, 영상 처리 장치는 기준 프레임의 밝기 영상을 기준으로 하여 다른 입력 프레임들의 밝기 영상을 비교하여 다른 입력 프레임들 간의 전역적 움직임 정보를 추정할 수 있다.

영상 처리 장치는 입력 프레임들 간의 영상 차분에 기초한 영상 매칭 기법을 이용하여 전역적 움직임 정보를 추정할 수 있다. 또한, 영상 처리 장치는 입력 프레임의 수평 및 수직 방향별 누적 1D 커브를 구하고, 각 동일 방향의 누적 1D 커브 간에 상호 상관도 최대화 탐색 기법을 이용하여 전역적 움직임 정보를 추정할 수도 있다

단계(430)에서, 영상 처리 장치는 추정한 전역적 움직임 정보에 기초하여 입력 프레임의 국소적 움직임 정보를 추정할 수 있다. 예를 들어, 영상 처리 장치는 설정된 탐색 영역에서 블럭 매칭을 수행하여 블럭 간의 유사도가 가장 높은 움직임량을 국소적 움직임으로 결정할 수 있다.

또는, 영상 처리 장치는 기준 프레임을 일정한 크기의 블럭으로 분할한 후, 각 블럭별로 위와 동일한 방식을 이용하여 국소적 움직임 정보를 추정할 수 있다.

도 5는 일실시예에 따른 기준 프레임의 잡음을 제거하는 세부적인 동작을 나타낸 흐름도이다.

단계(510)에서, 영상 처리 장치는 기준 프레임의 각 픽셀값에 대응되는 다른 입력 프레임의 픽셀값을 이용하여 잡음 필터링을 수행할 수 있다. 예를 들어, 영상 처리 장치는 전역적 움직임 정보 및 국소적 움직임 정보를 이용하여 기준 프레임의 각 픽셀값에 대응되는 다른 입력 프레임의 픽셀값들을 단순 평균함으로써 시간축 상의 잡음 필터링을 수행할 수 있다.

단계(520)에서, 영상 처리 장치는 시간축 상의 잡음이 필터링된 기준 프레임에 대해 공간축 상의 잡음 필터링을 수행할 수 있다. 영상 처리 장치는 기준 프레임의 각 픽셀마다 일정한 크기의 커널 영역을 설정하여 잡음 필터링을 수행할 수 있다. 예를 들어, 영상 처리 장치는 bilateral filter 또는 non-local means 방식을 이용하여 2차원의 잡음 필터링을 수행할 수 있다.

도 6은 일실시예에 따른 기준 프레임의 화질을 향상시키는 세부적인 동작을 나타낸 흐름도이다.

단계(610)에서, 영상 처리 장치는 기준 프레임과 적정 노출에서 촬영된 참조 프레임 간의 밝기변환 관계를 계산할 수 있다. 예를 들어, 영상 처리 장치는 잡음이 제거된 기준 프레임과 참조 프레임 간의 히스토그램 매칭을 통해 밝기변환 관계를 도출할 수 있다. 즉, 영상 처리 장치는 실시간으로 계산된 밝기변환 관계 모델을 이용할 수 있다.

단계(620)에서, 영상 처리 장치는 도출된 밝기변환 관계를 이용하여 기준 프레임의 밝기변환을 수행할 수 있다. 즉, 영상 처리 장치는 계산된 밝기변환 관계를 이용하여 잡음이 제거된 기준 프레임의 밝기와 색감을 향상시킬 수 있다.

단계(630)에서, 영상 처리 장치는 기준 프레임의 화질을 향상시키는 과정을 수행한 뒤, 영상의 디테일을 향상시키기 위한 다양한 후처리 과정을 선택적으로 수행할 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

110: 영상 처리 장치
120: 움직임 정보 추정부
130: 잡음 제거부
140: 화질 향상부

Claims

저조도 환경에서, 단 노출 및 고감도의 촬영 조건에서 촬영된 입력 프레임 중 기준 프레임에 기초하여 움직임 정보를 추정하는 단계;
상기 움직임 정보를 이용하여 상기 기준 프레임의 잡음을 제거하는 단계; 및
저조도 환경에서, 적정 노출의 촬영 조건에서 촬영된 참조 프레임을 이용하여 상기 잡음이 제거된 기준 프레임의 화질을 향상시키는 단계
를 포함하는 영상 처리 방법.
제1항에 있어서,
상기 움직임 정보를 추정하는 단계는,
상기 입력 프레임의 밝기 정보를 이용하여 전역적(global) 움직임 정보 및 국소적(local) 움직임 정보를 추정하는 영상 처리 방법.
제2항에 있어서,
상기 움직임 정보를 추정하는 단계는,
상기 입력 프레임들 간의 영상 차분(image difference)에 기초한 영상 매칭 기법을 이용하여 전역적 움직임 정보를 추정하는 영상 처리 방법.
제2항에 있어서,
상기 움직임 정보를 추정하는 단계는,
상기 입력 프레임의 수평 및 수직 방향별 누적 1D 커브를 구하고, 각 동일 방향의 누적 1D 커브 간에 상호 상관도(cross correlation) 최대화 탐색 기법을 이용하여 전역적 움직임 정보를 추정하는 영상 처리 방법.
제1항에 있어서,
상기 기준 프레임의 잡음을 제거하는 단계는,
상기 움직임 정보에 기초하여 상기 기준 프레임의 시간축 상의 잡음 필터링을 수행하는 단계; 및
상기 시간축 상의 잡음 필터링이 수행된 기준 프레임에 공간축 상의 잡음 필터링을 수행하는 단계
를 포함하는 영상 처리 방법.
제5항에 있어서,
상기 시간축 상의 잡음 필터링을 수행하는 단계는,
상기 기준 프레임의 각 픽셀값에 대응되는 다른 입력 프레임의 픽셀값을 이용하여 잡음 필터링을 수행하는 영상 처리 방법.
제5항에 있어서,
상기 공간축 상의 잡음 필터링을 수행하는 단계는,
상기 기준 프레임의 각 픽셀마다 일정한 크기의 커널영역을 설정하여 잡음 필터링을 수행하는 영상 처리 방법.
제1항에 있어서,
상기 기준 프레임의 화질을 향상시키는 단계는,
상기 기준 프레임과 참조 프레임 간의 밝기변환 관계를 이용하여 상기 기준 프레임의 화질을 향상시키는 영상 처리 방법.
제8항에 있어서,
상기 기준 프레임의 화질을 향상시키는 단계는,
히스토그램 매칭을 통해 도출된 밝기변환 관계를 이용하여 상기 기준 프레임의 화질을 향상시키는 영상 처리 방법.
제8항에 있어서,
상기 기준 프레임의 화질을 향상시키는 단계는,
캘리브레이션(calibration)을 통해 도출된 밝기변환 관계를 이용하여 상기 기준 프레임의 화질을 향상시키는 영상 처리 방법.
제1항에 있어서,
상기 적정 노출은,
오토(auto) 모드일 때의 노출 조건 또는 오토 모드일 때보다 노출값(exposure value)이 1이 높은 노출 조건인 영상 처리 방법.
제1항 내지 제11항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 비-일시적인(non-transitory) 컴퓨터에서 판독 가능한 기록 매체.
저조도 환경에서, 단 노출 및 고감도의 촬영 조건에서 촬영된 입력 프레임 중 기준 프레임에 기초하여 움직임 정보를 추정하는 움직임 정보 추정부;
상기 움직임 정보를 이용하여 상기 기준 프레임의 잡음을 제거하는 잡음 제거부; 및
저조도 환경에서, 적정 노출의 촬영 조건에서 촬영된 참조 프레임을 이용하여 상기 잡음이 제거된 기준 프레임의 화질을 향상시키는 화질 향상부
를 포함하는 영상 처리 장치.
제13항에 있어서,
상기 움직임 정보 추정부는,
상기 입력 프레임의 밝기 정보를 이용하여 전역적 움직임 정보 및 국소적 움직임 정보를 추정하는 영상 처리 장치.
제14항에 있어서,
상기 움직임 정보 추정부는,
상기 입력 프레임들 간의 영상 차분에 기초한 영상 매칭 기법을 이용하여 전역적 움직임 정보를 추정하는 영상 처리 장치.
제14항에 있어서,
상기 움직임 정보 추정부는,
상기 입력 프레임의 수평 및 수직 방향별 누적 1D 커브를 구하고, 각 동일 방향의 누적 1D 커브 간에 상호 상관도 최대화 탐색 기법을 이용하여 전역적 움직임 정보를 추정하는 영상 처리 장치.
제13항에 있어서,
상기 잡음 제거부는,
상기 움직임 정보에 기초하여 상기 기준 프레임의 시간축 상의 잡음 필터링을 수행하는 영상 처리 장치.
제17항에 있어서,
상기 잡음 제거부는,
상기 기준 프레임의 각 픽셀값에 대응되는 다른 입력 프레임의 픽셀값을 이용하여 잡음 필터링을 수행하는 영상 처리 장치.
제17항에 있어서,
상기 잡음 제거부는,
상기 시간축 상의 잡음 필터링이 수행된 기준 프레임에 공간축 상의 잡음 필터링을 수행하는 영상 처리 장치.
제19항에 있어서,
상기 잡음 제거부는,
상기 기준 프레임의 각 픽셀마다 일정한 크기의 커널영역을 설정하여 잡음 필터링을 수행하는 영상 처리 장치.
제14항에 있어서,
상기 화질 향상부는,
상기 기준 프레임과 참조 프레임 간의 밝기변환 관계를 이용하여 상기 기준 프레임의 화질을 향상시키는 영상 처리 장치.
제20항에 있어서,
상기 화질 향상부는,
히스토그램 매칭을 통해 도출된 밝기변환 관계를 이용하여 상기 기준 프레임의 화질을 향상시키는 영상 처리 장치.
제20항에 있어서,
상기 화질 향상부는,
캘리브레이션을 통해 도출된 밝기변환 관계를 이용하여 상기 기준 프레임의 화질을 향상시키는 영상 처리 장치.
제13항에 있어서,
상기 적정 노출은,
오토 모드일 때의 노출 조건 또는 오토 모드일 때보다 노출값이 1이 높은 노출 조건인 영상 처리 장치.