KR20080070733A - 디지털 카메라의 노출 조정 방법, 디지털 이미지의 노출 및톤 스케일 조정 방법 및 필터링 방법 - Google Patents

Abstract

레인지 정보에 근거해 디지털 카메라의 노출을 조정하는 방법에 있어서, 디지털 카메라는, 물체들을 포함하는 장면의 선택된 노출에서 제 1 디지털 이미지를 캡처링하는 단계; 상기 디지털 카메라로부터 상기 장면 내의 물체들까지의 거리를 가리키는 2 이상의 값을 가진 레인지 정보를 제공하는 단계; 상기 선택된 노출의 노출 조정량을 결정하기 위해 상기 캡처된 디지털 이미지의 화소값과 상기 레인지 정보를 이용하는 단계; 조정된 노출으로 제 2 디지털 이미지를 생성하기 위해 상기 디지털 이미지의 노출 조정량을 적용하는 단계를 포함한다.

Description

디지털 카메라의 노출 조정 방법, 디지털 이미지의 노출 및 톤 스케일 조정 방법 및 필터링 방법{ADJUSTING DIGITAL IMAGE EXPOSURE AND TONE SCALE}

본 발명은, 레인지 정보에 근거한 노출 조정 및 톤 스케일 조정을 위한 이미지 처리 및 디지털 카메라에 관한 것이다.

통상 이미지 처리 시스템은 이미지가 캡처되면 이미지가 캡처되면 노출, 톤 스케일 때문에 이미지가 보기 좋지 않다는 점에 있어 많은 결점을 갖는다.

하나의 매체(예컨대, 네거티브 필름) 상에 캡처된 이미지들의 동적 영역은 이미지가 렌더링되는 인화지와 같은 매체의 동적 영역을 초과해 버릴 수 있다. 이것은 렌더링된 이미지에 있어서의 디테일(detail)에 대한 손실을 초래한다. 이 디테일은 이미지의 밝은 부분에서 손실될 수 있다(역광 이미지가 그림자의 디테일을 렌더링하기에 충분히 밝게 인쇄되지만, 너무 밝게 렌더링되어 하늘의 구름과 같은 밝은 디테일은 나타낼 수 없는 경우 등). 혹은 이 디테일은 이미지의 그림자 부분에서 손상 받을 수도 있다("flash-in-the-face" 이미지가 사진의 물체에 대해서는 적절히 렌더링되는 반면, 배경은 너무 어둡게 렌더링되어 배경의 디테일을 나타낼 수 없는 등).

이들 과제는 노출 조정(이미지를 캡처링하는 카메라의 노출을 조정하거나, 캡처된 이미지의 노출을 조정함)의 처리에 의해 다루어진다. 이미지의 노출은 이미지의 물체의 밝기가 렌더링된 매체 상에 광학적으로 재생성되도록 결정된다. 전형적인 노출 조정 알고리즘은 이미지의 정확한 노출을 추정하기 위해 통계를 이용한다. 이 노출은 이미지의 물체의 표면을 모르기 때문에 최적이 아닌 경우가 많다.

인화지의 동적 영역은 일반적인 장면의 동적 영역보다 작다는 것은 잘 알려져 있다. 이러한 불일치의 결과, 많은 장면 내용이 인화 프린트에 흑색이나 백색으로 렌더링되게 된다. 이러한 이유로, 이미지 처리 환경에서, 디스플레이 매체 상에 더 많은 정보를 맵핑하기 위해 장면 동적 영역을 축소시키는데 톤 스케일 함수가 사용될 수 있다. 이미지에 의존하여 톤 스케일 함수를 생성하기 위한 처리(예컨대, 나카자와 등이 발명한 미국 특허 공보 제5,471,987호(이하에서는 "나카자와"라 함) 참조)는 많이 존재한다. 통상의 톤 스케일 함수 처리의 각각은, 톤 스케일 함수를 자동적으로 생성하기 위해, 대상 이미지의 특정의 통계적인 특성을 조사한다. 또한, 톤 스케일 함수는 매뉴얼 인터렉티브 툴에 의해 생성될 수도 있다. 그러나, 이들 방법은 이미지의 화소값만이 알려져 있다는 점에서 문제를 갖는다. 예컨대, 어두운 화소가 물체에의 적은 노출량에만 의한 것인지, 물체가 낮은 반사율을 갖기 때문인지를 결정하는 것은 어렵다.

본 발명의 목적은 레인지 정보에 근거하여 노출이나 톤 스케일을 조정하는 것이다.

이러한 목적은, 레인지 정보에 근거하여, 디지털 카메라의 노출을 조정하는 방법에 의해 노출 조정이 달성된다. 이 목적을 달성하기 위한 노출 조정 방법에 있어서, 상기 디지털 카메라는,

(a) 물체들을 포함하는 장면의 선택된 노출에서 제 1 디지털 이미지를 캡처링하는 단계와,

(b) 상기 디지털 카메라로부터 장면 내의 물체들까지의 거리를 가리키는 2 이상의 값을 가진 레인지 정보를 제공하는 단계와,

(c) 상기 선택된 노출에 대한 노출 조정량을 결정하기 위해 상기 캡처된 디지털 이미지의 화소값과 레인지 정보를 이용하는 단계, 및

(d) 조정된 노출으로 제 2 디지털 이미지를 생성하기 위해 상기 디지털 이미지에 노출 조정량을 적용하는 단계

를 포함한다.

이러한 목적은, 물체를 포함하는 장면의 캡처된 디지털 이미지의 톤 스케일을 조정하는 방법에 의해 톤 스케일 조정이 달성된다. 이 목적을 달성하기 위한 톤 스케일 조정 방법은,

(a) 장면 내의 물체들간의 거리를 가리키는 2 이상의 레인지값을 갖는 레인지 정보를 제공하는 단계와,

(b) 톤 스케일 조정량을 결정하기 위해 상기 캡처된 디지털 이미지의 화소값과 상기 레인지 정보를 이용하는 단계, 및

(c) 조정된 톤 스케일로 제 2 디지털 이미지를 생성하기 위해 상기 캡처된 디지털 이미지에 상기 톤 스케일 조정량을 적용하는 단계

를 포함한다.

본 발명에 따르면, 향상된 균형잡힌 이미지를 제공하도록, 레인지 정보를 이용함으로써, 효과적인 노출 조정량을 생성할 수 있다는 이점을 얻을 수 있다.

또한, 본 발명에 따르면, 향상된 색조 연출을 할 수 있는 이미지를 제공하도록, 레인지 정보를 이용함으로써, 효과적인 톤 스케일 조정량을 생성할 수 있다는 이점을 얻을 수 있다.

도 1은 본 발명을 행하는 이미지 시스템의 블록도이다.

도 2(a)는 이미지의 일례를 나타내는 도면이다.

도 2(b)는 도 2(a) 내의 이미지에 상응하는 레인지 이미지의 예를 나타내는 도면이다.

도 2(c)는 레인지 이미지를 생성하기 위한 방법을 나타내는 흐름도이다.

도 3은 평면 표면을 검출하여 분류하고 기하학적 변형을 생성하는 본 발명의 실시예의 흐름도이다.

도 4는 디지털 이미지 내의 물체를 검출하는 본 발명의 실시예의 흐름도이 다.

도 5(a)는 레인지 정보에 근거하여 이미지의 노출을 조정하는 본 발명의 실시예의 흐름도이다.

도 5(b)는 이미지 내의 레인지값과 상관 중요도(relative importance) W간의 관계를 나타내는 그래프이다.

도 5(c)는 레인지 정보에 근거해 이미지의 노출을 조정하는 본 발명의 실시예를 나타내는 흐름도이다.

도 6(a)는 레인지 정보에 근거해 이미지의 톤 스케일을 조정하는 본 발명의 실시예의 흐름도이다.

도 6(b)는 레인지 정보에 근거해 이미지의 톤 스케일을 조정하는 본 발명의 실시예를 더욱 상세하게 나타내는 흐름도이다.

도 6(c)는 레인지 정보에 근거해 이미지의 톤 스케일을 조정하는 본 발명의 실시예의 흐름도이다.

도 6(d)는 입력 화소값 및 출력 화소값간의 관계인 톤 스케일 함수의 그래프이다.

도 1은 본 발명의 디지털 카메라(10)를 나타낸다. 카메라(10)는 사용자 입력(22)을 포함한다. 도시하는 바와 같이, 사용자 입력(22)은 버튼이지만, 조이스틱이나 터치 스크린 등으로도 할 수 있다. 사용자는 사용자 입력(22)을 이용하여, 예컨대, 카메라의 동작 모드를 선택함으로써, 카메라(10)의 동작을 지시한다. 또한, 카메라(10)는, 사용자가 캡처 버튼(15)을 누를 때, 카메라(10)에 의해 캡처된 이미지를 미리 볼 수 있는 디스플레이 디바이스(30)를 구비한다. 아울러, 디스플레이 디바이스(30)는 사용자가 메뉴를 통해 조작할 수 있도록 사용자 입력(22)과 함께 이용된다. 디스플레이 디바이스(30)는, 예컨대, LCD나 OLED 스크린과 같은 디지털 카메라에 통상 사용되는 것일 수 있다. 메뉴는 사용자가 원하는 카메라 동작을 선택하도록 한다. 카메라(10)는 비디오 스트림과 같이 빠른 연속 이미지 또는 스틸 이미지를 캡처할 수 있다.

바람직한 실시예에 있어서, 데이터 프로세서(20), 이미지 프로세서(36), 사용자 입력(22), 디스플레이 디바이스(30) 및 메모리 디바이스(70)는 카메라(10)와 통합되지만, 당업자라면, 이들 부품이 카메라의 외부에 마련될 수도 있는 것임을 알 수 있을 것이다. 예컨대, 상술한 부품들은 데스크탑 컴퓨터 시스템이나, 혹은 예를 들어 소매 점포 내에 배치된 화상 처리 가능한 키오스크 상에 배치될 수도 있다.

도 1에 나타내는 일반적인 제어 컴퓨터(40)는, 컴퓨터 판독 가능한 기록 매체 내에 저장된 컴퓨터 프로그램으로서 본 발명을 저장할 수 있다. 컴퓨터 판독 가능한 기록 매체로는, 예컨대, 플로피 디스크와 같은 자기 디스크나 자기 테이프 등의 자기 저장 매체와, 광학 디스크, 광학 테이프나 기계 판독 가능한 바코드와 같은 광학 저장 매체, RAM(random access memory)이나 ROM(read only memory)과 같은 고체 상태의 전자 저장 장치를 들 수 있다. 또한, 본 발명의 실행과 관련된 컴 퓨터 프로그램은, 메모리 디바이스(70)로 표시된 컴퓨터 프로그램을 저장하도록 채용된 다른 물리적 장치나 매체 상에 저장될 수도 있다. 제어 컴퓨터(40)는 카메라(10)의 구성 요소들간의 데이터 전송을 제어한다. 예컨대, 제어 컴퓨터(40)는 사용자에 의해 캡처 버튼(15)이 눌려지는 것을 결정하고, 이미지 센서(34)에 의한 이미지의 캡처링을 개시한다. 카메라(10)는 카메라의 포커스를 설정하는 포커스 메커니즘(33)을 더 포함한다.

레인지 이미지 센서(32)는 카메라의 중심 포인트(nodal point)로부터 촬상되는 장면 내의 물체까지의 거리를 나타내는 레인지 이미지(38)를 생성한다. 레인지 이미지는 이하에 더욱 상세하게 설명될 것이다. 이러한 레인지 이미지 센서(32)는 카메라(10)로부터 분리된 장치 상에 배치될 수 있음을 당업자라면 알 수 있을 것이다. 그러나, 본 바람직한 실시예에 있어서, 레인지 이미지 센서(32)는 카메라(10) 내에 배치된다.

이미지 프로세서(36)는, 이미지 디스플레이 디바이스(30)에 의해 보기 좋은 화상을 생성하는 방식으로, 디지털 이미지의 전체적인 밝기, 톤 스케일, 이미지 구조 등을 조정하도록 디지털 이미지를 처리하는데 이용될 수 있다. 본 발명은 상술한 이들 이미지 처리 기능에만 제한되는 것이 아님을 당업자라면 알 수 있을 것이다.

데이터 프로세서(20)는, 이미지 프로세서(36)나 제어 컴퓨터(40)를 위한 메타 데이터를 생성하기 위해, 레인지 이미지 센서(32)로부터의 레인지 이미지(38)와 디지털 이미지로부터의 이미지 정보를 처리하는데 이용된다. 데이터 프로세서(20) 의 동작은 이하에 더욱 상세하게 설명될 것이다.

본 발명은 소프트웨어 및/또는 하드웨어의 결합으로 구현될 수도 있고, 물리적 결합 및/또는 동일한 물리적 위치 내에 배치된 장치들로 한정되는 것이 아님을 유의한다. 도 1에 나타내는 장치들 중 하나 이상은 원격으로 배치되고, 무선 접속으로 접속될 수 있다.

디지털 이미지는 하나 이상의 디지털 이미지 채널로 구성된다. 각 디지털 이미지 채널은 화소의 2차원 배열로 구성된다. 각 화소값은 화소의 물리 영역에 상응하는 이미지 캡처 장치가 수신한 광량에 관련된다. 컬러 이미지 애플리케이션에 있어서 디지털 이미지는 보통 적색, 녹색 및 청색의 디지털 이미지 채널로 구성된다. 동작 이미지 애플리케이션은 디지털 이미지의 시퀀스로 생각할 수 있다. 본 발명은 상술한 애플리케이션 중 여하한 것에 대한 디지털 이미지 채널에 한정되지 않고 적용될 수 있는 것임을 당업자라면 알 수 있을 것이다. 디지털 이미지 채널이 행과 열로 배열된 화소값의 2차원 배열로서 설명되고 있다고 하여도, 본 발명이 동일한 작용으로 비직선(non rectilinear) 배열에도 적용될 수 있음을 당업자라면 알 수 있을 것이다. 디지털 이미지에 있어서, 원 화소값을 처리된 화소값으로 치환하는 것으로 이하에 기술되는 처리 단계는, 원 화소값을 유지하면서 처리된 화소값으로 새로운 디지털 이미지를 생성하는 것으로 동일 처리 단계를 설명하는 것과 기능적으로 균등함을 당업자라면 알 수 있다.

도 2(a)는 도 2(b)에 나타내는 이미지와 상응하는 깊이 이미지와 디지털 이미지의 예를 나타낸다. 밝은 그늘(lighter shade)은 이미지 평면으로부터 더 먼 거리를 가리킨다.

디지털 이미지 D는 장면 내의 공간 위치와 관련된 명암도를 나타내는 화소값을 포함한다. 전형적으로, 디지털 컬러 이미지에 있어서, 이미지 평면 상의 각 (x, y) 화소 위치에서의 명암도는 각각 적색, 녹색 및 청색의 컬러 채널로 알려져 있다.

레인지 이미지(38R)는 장면 내의 물체 표면의 위치를 직접 인코딩한다. 레인지 맵은 표면과 기지의 참조 프레임간의 거리와 관련된 레인지 정보를 포함한다. 예컨대, 레인지 맵은 화소값을 포함는데, 여기서 각 화소값(또는 영역 포인트)은 장면 내에서의 표면상의 포인트의 3차원 [X, Y, Z] 위치이다. 다르게는, 레인지 맵의 화소값은 카메라의 중심 포인트(원점)와 표면간의 거리일 수도 있다. 레인지 맵의 표현 방법 간의 컨버팅은, 카메라의 초점 길이 f가 기지의 값일 경우, 명백해진다. 예컨대, 레인지 맵 화소값은

이다. 여기서, d는 카메라의 중심 포인트로부터 장면의 표면까지의 거리를 가리킨다.

이 레인지 맵 화소값은 다음 관계에 따라 표면의 실제 위치로 변환될 수 있다.

여기서, sqrt()는 제곱근 연산자이다.

레인지 맵은 디지털 이미지에서 동일 차원을 가질 수 있다. 즉, 디지털 이미지의 각 화소에 대해, 관련 레인지 화소값이 존재할 수 있다. 다르게는, 레인지 맵은 디지털 이미지보다 조악한 해상도로 존재될 수 있다. 예컨대, 단지 8행 12열의 화소를 가진 레인지 맵 R은 1000행 1500열의 화소를 가진 디지털 이미지 D와 연관지어질 수 있다. 레인지 맵 R은 적어도 2개의 별개의 영역 포인트를 포함해야 한다. 또한, 레인지 맵은 이미지를 가로질러 분산된 포인트의 세트의 리스트만을 포함할 수도 있다. 이런 형태의 레인지 맵은 희소 레인지 맵(sparse range map)이라고도 한다. 이러한 상태는, 미국 특허 공보 제6,507,665호에 설명하는 바와 같이, 레인지 맵이 스테레오 디지털 이미지 쌍으로부터 계산될 때 자주 일어난다.

포커스 메커니즘(33)은, 도 2(c)에 나타내는 바와 같이, 레인지 이미지(38)를 생성하는데 채용될 수 있다. 포커스 메커니즘(33)은, 제 1 단계(41)에 나타내는 바와 같이, 렌즈 시스템 포커스가 가까운 초점 위치로부터 먼 초점 위치로 조정되는 동안, 이미지 센서(34)로 프리뷰 이미지의 세트(예컨대, 10)를 캡처링함으로써 카메라의 렌즈 시스템의 초점 위치를 선택하는데 사용한다. 제 2 단계(43)에서, 프리뷰 이미지는 각 프리뷰 이미지의 각 영역(예컨대, 8×8 화소 블록)에 대한 초점값을 계산함으로써 분석된다. 초점값은 이미지의 영역 내의 고주파 성분의 척도이다. 예컨대, 초점값은 영역 내의 화소값의 표준 편차이다. 다르게는, 초점값은 영역의 최대 화소값과 최소 화소값의 차인 영역의 평균 절대차(mean absolute difference)를 취할 수도 있다. 이 초점값은 포커스가 맞은 이미지(in-focus image)가 포커스가 맞지 않은 이미지(out-of-focus image)보다 더 많은 고주파수 성분을 포함한다는 측면에서 유용하다. 다음에 포커스 메커니즘(33)은 관련 영역들의 세트에 대해 초점값을 최대화하는 프리뷰 이미지를 결정한다. 다음에, 카메라(10)의 초점 위치는 초점값을 최대화하는 프리뷰 이미지와 관련된 초점 위치에 따라 설정된다.

제 3 단계(45)에 있어서, 각 프리뷰 이미지에 대한 그 영역의 초점값들을 비교함으로써 최대 초점값을 찾는다. 그 영역과 연관된 레인지 맵 값은 그 영역의 최대 초점값을 가진 프리뷰 이미지의 상응하는 초점 거리와 같다.

이러한 방법으로, 포커스 메커니즘(33)은 이미지 센서(34)로부터 데이터를 분석하여, 레인지 이미지(38)를 결정한다. 그래서, 레인지 이미지(38)를 생성하기 위해, 별개의 레인지 이미지 센서(32)가 필수적이지 않다.

일반적으로 종래 기술에서 알려진 바와 같이, 디지털 이미지 화소에 대한 레인지 화소값은 레인지 맵의 값에 근거하는 내삽법(interpolation)이나 외삽법(extrapolation)에 의해 결정될 수 있다. 내삽법은, 예컨대, 바이리니어(bilinear)나 바이큐빅(bicubic) 필터링 기술이나, 미디언 필터(median filter)와 같은 비선형 기술을 이용하여 수행할 수 있다. 마찬가지로, 디지털 이미지 데이터 D는 레인지 정보가 기지인 주어진 위치에서의 대략적인 이미지 명암도의 값을 결정하기 위해 내삽될 수 있다. 그러나, 영역 데이터의 내삽법이나 외삽법은 에러없이는 이루어질 수 없음을 유의해야 한다.

도 3은, 도 1의 시스템을 더욱 상세하게 나타내는 도면이다. 레인지 이미지(38)는 평면 표면(142)을 추출하기 위해 데이터 프로세서(20)에 입력된다. 데이 터 프로세서(20)는 레인지 이미지(38)의 레인지 정보로부터 평면 표면의 위치를 결정하기 위해 평면 표면 모델(39)을 이용한다. 평면 표면 모델(39)은 평면 표면 또는 거의 평면이 표면의 수학적 기술이다. 장면 내의 평면 표면에 대한 지식은, 장면에 대한 중요한 단서, 및 장면에 대한 카메라 위치 사이의 관계를 제공한다.

다음의 로버스트 추정 과정은 평면 표면 모델(39)로 기술되고, 데이터 프로세서(20)에 의해 레인지 이미지에 근거하여 장면 내의 평면 표면을 검출하는데 이용된다.

a) 영역 포인트의 트리플릿(triplet)

여기서 i=0, 1, 2이며, 이 트리플릿은 임의로 선택된다.

b) 각 영역 포인트의 트리플릿에 대해 이하의 단계를 수행한다.

b1) 포인트의 트리플릿은 공선성(collinearity)이 체킹된다. 세 개의 포인트가 한 라인 상에 위치할 경우, 세 개의 포인트 모두를 포함하는 고유 평면을 특정할 수 없다.

일 경우, 세 개의 포인트는 공선성을 갖는다.

포인트들의 트리플릿이 공선성인 경우에, 그 트리플릿은 거부되고, 다음 포인트들의 트리플릿이 고려된다.

b2) 세 개의 포인트의 각각을 거치는 평면 P는 공지의 방법으로 계산된다. 평면 P는 다음과 같이 표현된다.

또한, 평면 P는 다음과 같다.

계수 x_p, y_p 및 z_p는, 예컨대, 벡터 R₁-R₀ 및 R₂-R₀의 외적(cross product)을 계산함으로써 알 수 있다. 다음에, 계수 c는 상기 식(1)을 계산함으로써 알 수 있다.

b3) 계산된 평면 P에 대해, 전체 레인지 이미지(38)로부터

가 T₁보다 크지 않은 영역 포인트의 개수 N이 구해진다. T₁은 값 T₁=0.05Z를 디폴트로 하는 사용자 선택 가능 임계값이다. T₁의 값은 레인지 이미지(38)의 에러 분포에 종속적일 수 있다.

c) 최대 N이 T₂(디폴트 T₂=0.2*레인지 이미지(38) 내의 영역 포인트의 총 개수)보다 큰 값이면, 최대 N을 갖는 평면 P를 선택한다.

d) 상술한 b3) 항목에서의 조건을 만족하는 N 영역 포인트의 세트로부터 최적 P를 추정한다. 이것은 에러 항 E를 최소화하는 P를 구함으로써 달성된다.

최적화 문제를 해결하는 기술은 기술 분야에서 알려져 있으므로, 본 명세서에서는 더 이상 설명하지 않는 것으로 한다.

평면 표면을 찾기 위해 데이터 프로세서(20)가 수행하는 과정은 검출된 평면 표면 P와 관련된 영역 포인트를 제거하고, 평면 표면(142)의 세트를 생성하는 것을 되풀이함으로써 반복될 수 있다.

이미지 내에서의 평면 표면에 대한 지식, 도 3에 나타내는 바와 같이, 몇몇 이미지 개선 알고리즘을 가능하게 한다. 우선, 데이터 프로세서(20)에 의해 결정된 평면 표면(142)은 유형 및/또는 의미론적인 라벨에 따라 평면 표면을 분류하는 평면 유형 분류기(144)에 입력된다. 많은 평면 또는 거의 평면인 표면이 인위적인 구조로 존재한다. 예컨대, 바닥은 거의 언제나 평면이고 지면과 평행하다(즉, 대부분의 평면 바닥의 법선 벡터는 중력 방향이다). 천장도 마찬가지이다. 양자의 분명한 차이는, 천장은 디지털 이미지의 상부 근처에 배치되는 경향이 있는 반면, 바닥은 일반적으로 디지털 이미지의 하부 근처에 배치되는 점이다. 벽은 통상 지면에 수직인 평면 표면이다(즉, 법선 벡터는 지면에 평행하다). 촬영된 장면 내에, 냉장고나 테이블의 측면이나 상부 또는 지면에 수평도 수직도 아닌 평면 표면(예컨대, 경사)과 같은 많은 다른 평면 표면이 존재한다.

평면 유형 분류기(144)는 검출된 평면 표면(142)에 대한 구분을 결정하기 위해 평면 표면과, 디지털 이미지(102)로부터의 부가 정보를 분석한다. 분류 카테고리는 다음의 4가지로 구분하는 것이 바람직하다.

벽(즉, 지면에 수직인 평면)

천장(즉, 지면에 평행하고, 이미지의 거의 상부에 배치되는 평면)

바닥(즉, 지면에 평행하고, 이미지의 거의 바닥부에 배치되는 평면)

그 외(지면에 수평도 수직도 아닌 것)

평면 유형 분류기(144)는 평면 표면이 특정 카테고리에 속할 가능성이나 신뢰도를 할당할 수 있다. 통상, y_p에 대해 작은 절대값을 갖는 큰 평면 표면은, 평면 표면 검출이 데이터 프로세서(20)에 의해 실행되는 동안, 평면 P 상에 위치하는 것으로 발견된 레인지값의 위치에 따라 천정 혹은 바닥의 평면 표면의 하나로 분류된다. x_p에 대한 작은 절대값을 갖는 큰 평면 표면은 벽으로 분류된다. 그렇지 않으면, 평면 표면은 "그 외"로 분류된다.

도 3은 향상된 디지털 이미지(120)를 생성하기 위해 디지털 이미지(102)에 적용될 수 있는 기하학적 변환(146)을 나타낸다. 바람직하게는, 기하학적 변환(146)은 검출된 평면 표면(142)과 평면 유형 분류기(144)를 이용하여 생성될 수 있다.

기하학적 변환(146)의 동작은 동작 모드(42)에 좌우된다. 동작 모드(42)는 사용자가 기하학적 변환(146)의 소망 기능을 선택할 수 있도록 한다. 예컨대, 동작 모드(42)가 "카메라 회전 감소"이면, 기하학적 변환(146)의 의도는 무심코 행한 카메라의 회전(수평이 유지되지 않도록 하는 z축에 대한 카메라의 회전)으로 인한 원하지 않는 효과에 반작용(counter-act)하도록 디지털 이미지(102)의 회전을 수행하는 것이다. 이 경우에 있어서의 기하학적 변환(146)은 이하에 나타내는 상사식 H_1R이다.

여기서,

는 천정 혹은 바닥의 하나인 기지의 평면 표면일 경우,

이다.

또한, 각 α는 벽과 관련된 법선 벡터의 외적을 계산함으로써 벽인 2 이상의 평면 표면으로부터 결정될 수도 있다. 그 결과는 지면의 법선 벡터로서 상술한 식(3)에 이용될 수 있다.

변환식 H_1R은, 카메라가 장면에 대해 회전될 때, 이미지 내에 나타나는 틸트를 제거하는데 이용된다. 카메라가 틸트될 때, 벽, 전장 및 바닥의 평면 표면은 예측 가능한 변화를 겪는다. 이는 그와 같은 평면 표면의 방향이 사전에 이미 알려져 있는 것(즉, 지면에 대해 평행하거나 그것에 대해 평행한 것의 하나)이기 때문이다. 각 α는 수직 방향으로부터 카메라의 회전 각도의 네거티브(negative)를 나타내고, 변환식 H_1R은 오리지널 이미지(102)에 대한 관련된 각으로 회전된 향상된 디지털 이미지(120)를 생성하기 위해 이미지 프로세서(36)에 의해 적용되고, 그로 인해 이미지로부터 카메라의 원하지 않는 회전에 따른 영향을 제거한다.

다르게는, 동작 모드(42)가 "평면 수정"인 경우, 기하학적 변환(146)의 의도 는 검출된 평면 표면(142)의 이미지의 수정을 수행하는 것이다. 시각 왜곡은 이미지 캡처 동안 나타나고, 예컨대, 평행한 장면 라인들이 이미지에서 수렴하는 것으로 나타난다. 수정은 장면 평면의 이미지로부터 시각 왜곡을 제거하기 위해 기하학적 변환을 수행하는 처리이고, 그 결과, 마치 평면에서 왜곡되지 않은 것으로 보이도록 캡처된 이미지로 된다. 이 경우에, 기하학적 변환은 상사식 H_RP이다. Harley와 Zisserman의 "Multiple View Geometry" 11~14페이지에 기술되어 있는 바와 같이, 상사식(homograpy)은 동일 선상에 위치하지 않는 4개의 해당 포인트가 알려질 때(이미지 평면 좌표 및 장면 평면 좌표의 해당 포인트 4쌍 중 어떤 3 포인트도 동일선 상에 있지 않음), 수정이 수행되도록 디자인될 수 있다. 이들 해당 포인트들은 평면 표면의 방정식

을 앎으로써 생성된다. 평면 표면 상의 좌표계는 반드시 정의되어야 한다. 이것은 평면 표면 상의 2개의 단위 길이의 직교 기저 벡터를 선택함으로써 이루어진다. 평면 표면에 대한 법선은

이다. 제 1 기저 벡터는 P_N과 P_B1의 내적(dot product)이 0이고 P_B1이 단위 길이를 갖도록

로써 용이하게 선택된다. 제 2 기저 벡터 P_B2는 P_N과 P_B1의 외적을 찾고 단위 길이로 표준화함으로써 유도된다. 그리고, 평면 표면 상의 4개의 동일 선상이 아닌 포인트들을 선택하고, 그 포인트들과 기저 벡터의 내적을 계산함으로써 평면 표면 상의 각 포인트의 좌표를 결정하고, 이미지 좌표 내에서의 포인트들의 투사 위치를 계산함으로써 4개의 해당 포인트들이 얻어진다.

예컨대, 평면 표면이 방정식

를 가지면, 2차원 기저 벡터는

및

이다. 초점 길이가 1유닛이라고 가정하자. 그러면, 4개의 상응 포인트들은 다음과 같이 결정될 수 있다.

이미지 좌표를 수정된 좌표로 매핑하는 상사식 H_RP는 다음과 같이 계산된다.

그와 같이, 장면 평면 표면의 이미지를 수정하기 위한 기하학적 변환(146)은 평면 표면(142)의 방정식을 이용하여 유도될 수 있음을 설명하였다.

기하학적 변환(146)은 평면 표면(142)과 관련된 디지털 이미지(102)의 화소에만 적용될 수 있거나, 또는 디지털 이미지(102)의 모든 화소에 적용될 수 있음을 유의한다. 이미지 마스크 생성기(150)는 디지털 이미지(102) 내의 평면 표면(142)과 관련된 화소를 가리키는 이미지 마스크(152)를 생성하기 위해 사용될 수 있다. 바람직하게, 이미지 마스크(152)는 디지털 이미지(102)와 같은 수의 행과 열을 갖는다. 만약, 평면 표면과 관련된 3차원 위치가 평면 표면(142) 상 또는 그 부근에 있으면, 화소 위치는 평면 표면(142)과 관련지어진다. 바람직하게, 이미지 마스크(152) 내의 화소 위치는, 평면 표면(142)이 관련지어지면, 값(예컨대, 1)이 할당 되고, 그렇지 않으면 다른 값(예컨대, 0)이 할당된다. 이미지 마스크(152)는 각각의 평면 표면에 대해 특정 값을 할당함으로써 몇몇 다른 평면 표면들과 관련된 화소를 표시할 수 있다(예컨대, 제 1의 평면 표면용으로는 1, 제 2의 평면 표면용으로는 2, 등).

기하학적 변환(146)을 적용하는 유용성에 더하여, 이미지 마스크(152)는 물질/물체 검출기(154)에도 유용하다. 물질/물체 검출기(154)는 디지털 이미지(102)의 화소나 영역(화소의 그룹)이 특정 물질(예컨대, 하늘, 초원, 포장 도로, 인간 등)이나 물체(예컨대, 인간의 얼굴, 자동차, 집 등)를 나타낼 가능성을 결정한다. 이것은 이하에 더욱 상세하게 설명될 것이다.

이미지 프로세서(36)는 향상된 디지털 이미지(120)를 생성하기 위해 화소의 X행과 Y열을 갖는 디지털 이미지(102) i(x, y)에 기하학적 변환(146)을 적용한다. 바람직하게, 이미지 평면과 광학 축(즉, 디지털 이미지(102)의 중심)의 교차점에서의 위치는 (0, 0)의 좌표를 갖는다. 바람직하게, 향상된 디지털 이미지 o(m, n)은 M행 N열을 갖고, 디지털 이미지(102)와 동일한 화소의 열과 행을 갖는다. 환언하면, M=X이고 N=Y이다. 출력 이미지 o(m_o, n_o)에 있어서의 각 화소 위치는 입력 디지털 이미지 i(x_o, y_o) 내의 특정 위치에 맵핑된다. 전형적으로, (x_o, y_o)은 정확한 정수 위치에 대응하지는 않지만, 입력 디지털 이미지 i(x, y)상의 화소 사이에 위치할 것이다. 화소 o(m_o, n_o)의 값은 i(x_o, y_o) 부근의 화소값으로부터 값을 내삽함으로써 결정된다. 이와 같은 형태의 내삽은 이미지 프로세싱의 종래 기술로 잘 알 려져 있고, 최근법 이웃 내삽법(nearest neighbor interpolation), 양선형 내삽법(bilinear interpolation), 바이큐빅 내삽법(bicubic interpolation)이나 다른 몇몇의 내삽법에 의해 달성될 수 있다.

기하학적 변환(146)은 입력 이미지의 위치 (x, y)에 대한 출력 이미지의 위치 (m, n)의 맵핑을 관장한다. 바람직한 실시예에 있어서, 입력 이미지 내의 위치 (x_o, y_o)에 대해 출력 이미지의 특정 위치 (m_o, n_o)를 맵핑하는 것은 다음과 같다.

여기서,

는 호모지니어스 좌표계에 있어서의 원본 디지털 이미지(102) 내의 위치를 나타낸다. 그러므로,

이다.

당업자는 상기 포인트 (x_o, y_o)가 입력 디지털 이미지의 도메인 외측에 위치할 수 있음을 알 수 있을 것이다(즉, 근처에 어떤 화소값도 없음). 다른 극단에서, 향상된 출력 이미지의 화소 위치의 전체적인 컬렉션은 입력 이미지(102)의 안쪽의 작은 영역으로 맵핑될 수 있으므로, 많은 줌(zoom)을 행할 수 있다. 이 문제는 기하학적 변환(146)의 주밍(zooming) 효과를 나타내는 줌 팩터 z를 결정하는 이미지 프로세서(36)에 의해 처리될 수 있고, 최종 H_f는 이미지 프로세서(36)에 입력 되는 기하학적 변환(146)을 다음과 같이 수정함으로써 생성된다.

여기서 z는 입력 디지털 이미지(102)의 영역 내부에 향상된 출력 디지털 이미지(120)의 모든 화소 위치가 맵핑되도록 하는 최대값이다.

모든 리샘플링 동작과 같이, 앨리어싱 아티팩트(artifact)를 피하도록 주의하여야 한다. 전형적으로, 앨리어싱은 샘플링 전에 디지털 이미지(102)를 흐리게 함으로써 회피된다. 그러나, 기하학적 변환(146)으로부터의 샘플링 레이트는 이미지 전체에 걸쳐 변화하므로 블러링 필터를 선택하기 어려울 수 있다. 이들 문제를 다루는 몇 가지 기술이 있다. 슈퍼샘플링이나 적응적인 슈퍼샘플링으로, 각 화소값 o(m_o, n_o)는, 내삽을 위해 (m_o, n_o) 부근의 좌표 위치의 세트를 입력 디지털 이미지(102)로 다시 변환함으로써 추정될 수 있다. 예컨대, 위치의 세트 [(m_o+1/3, n_o+1/3)(m_o+1/3, n_o)(m_o+1/3, n_o-1/3)(m_o, n_o+1/3)(m_o, n_o)(m_o, n_o+1/3)(m_o-1/3, n_o+1/3)(m_o-1/3, n_o)(m_o-1/3, n_o-1/3)]이 사용될 수 있다. 최종 화소값 o(m_o, n_o)는 입력 이미지(102) 좌표로 변환된 위치의 세트와 관련된 모든 내삽값의 선형 결합(예컨대, 평균)이다.

상술한 기하학적 변환(146)("카메라 회전 감소" 및 "평면 수정")은 3×3 행렬로 표현되고, 향상된 디지털 이미지(120)를 생성하도록 이미지 평면 좌표계 상에서 동작한다. 더욱 유연한 기하학적 변환은 3×4 행렬을 이용하고, 레인지 이미지(38)에 의해 제공된 3차원 화소 좌표 상에서 동작한다. 이 모델의 애플리케이션은 임의의 축 주위의 장면의 회전을 가능하게 하여 다른 시점으로부터 캡처된 것과 같이 나타나는 향상된 디지털 이미지를 생성한다.

3×4 기하학적 변환(146)은, 예컨대, "바닥"의 평면 표면의 노멀 벡터가 [1 0 0]으로 되거나 "벽"의 평면 표면의 노멀 벡터가 x축에 수직으로 위치하도록 평면 유형 분류기(144)의 출력을 이용하여 디자인될 수 있다.

애플리케이션 동안, 향상된 디지털 이미지(120)의 화소값을 채워 넣을(populate) 때, 본래의 3차원 화소 좌표가 특정 위치에 맵핑되어 있지 않은 것을 발견할 수 있다. 이들 위치는 디폴트 값(예컨대, 검정색이나 흰 색)이나 주변의 분석에 의해 찾아진 계산된 값(예컨대, 미디언 필터를 이용함으로써)의 어느 하나가 할당되어야 한다.

또한, 향상된 디지털 이미지(120)로부터의 하나 이상의 화소값이 향상된 디지털 이미지(120) 내의 단일 위치에 매핑되는 것을 발견할 수 있다. 이것은 "논쟁(dispute)"을 야기한다. 이 논쟁은 카메라로부터 가장 먼 거리와 관련된 화소값을 무시함으로써 해소된다. 이것은 카메라에 근접한 물체가 카메라(10)로부터 더 먼 물체를 차폐하는 상태를 모델링한다.

모든 경우에서, 기하학적 변환(146)은 레인지 이미지(38)뿐만 아니라 업데이 트된 레인지 이미지(121)를 생성할 목적의 디지털 이미지(102)에도 적용할 수 있다. 업데이트된 레인지 이미지(121)는 향상된 디지털 이미지(120)에 상응하는 레인지 이미지이다.

도 4는 디지털 이미지(102) 내의 물체와 물질을 인식하기 위해 레인지 이미지(38)를 이용하는 방법을 나타내는 도면이다. 레인지 이미지(38)와 디지털 이미지(102)는 물질/물체 검출기(154)에 입력된다. 물질/물체 검출기(154)는 디지털 이미지(102)의 화소나 영역(화소의 그룹)이 특정 물질(예컨대, 하늘, 초원, 포장 도로, 인간 등)이나 물체(예컨대, 인간의 얼굴, 자동차, 집 등)를 나타낼 가능성을 결정한다. 물질/물체 검출기(154)의 출력은 하나 이상의 신뢰 맵(162)(belief map)이다. 신뢰 맵(162)은 디지털 이미지의 특정 화소 또는 화소의 영역이 특정 물질이나 물체를 나타낼 가능성을 가리킨다. 바람직하게, 신뢰 맵(162)은, 이것이 반드시 필요한 것은 아니더라도, 디지털 이미지(102)와 같은 수의 행과 열을 갖는다. 몇몇 애플리케이션에 있어서, 신뢰 맵(162)이 디지털 이미지(102)보다 낮은 해상도를 갖는 것이 편리할 수도 있다.

물질/물체 검출기(154)는 도 3의 이미지 마스크 생성기(150)에 의해 산출된 바와 같이 평면 표면의 위치를 가리키는 이미지 마스크(152)를 부가적으로 입력할 수 있다. 이미지 마스크(152)는 물질/물체 인식용으로 매우 유용하다. 예컨대, 디지털 이미지(102) 내의 사람의 얼굴을 서치할 때, 이미지 마스크는 평면 표면과 관련된 디지털 이미지(102)의 영역에서 사람의 얼굴을 잘못 검출하는 것을 회피하도록 이용될 수 있다. 이것은 사람의 얼굴이 평면이 아니기 때문이고, 그래서 평 면 표면과 관련된 디지털 이미지(102)의 영역은 서치될 필요가 없다.

물질/물체 검출기(154)의 몇 가지 동작 모드가 있다. 소위 "확인 모드(confirmation mode)"라고 하는 제 1 모드에서, 통상의 물질/물체 검출 단계가 디지털 이미지(102)만을 이용하여 발생한다. 예컨대, Jones, M.J.와 Viola, P.의 "Fast Multi-view Face Detection"(IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2003년 6월)에 기술된 사람 얼굴 검색 방법이 이용될 수 있다. 그러면, 물체가 검출되었을 때, 물체에 대한 거리는 검출된 물체 및 카메라 캡처 정보(카메라의 초점 길이나 배율과 같은 정보)를 이용하여 추정된다. 예컨대, 검색된 물체가 사람 얼굴이면, 후보의 얼굴이 이미지 내에서 검지되었을 때, 사람 머리 크기는 작은 량의 변화만이 있으므로, 얼굴에 대한 거리가 또한 결정될 수 있다. 이미지 내의 관심의 후보 물체에 대한 카메라-물체 거리 D_e의 추정은 다음 식으로 계산될 수 있다.

여기서, f는 카메라의 초점 길이,

X는 디지털 이미지 내의 관심 후보 물체의 크기

S는 관심 물체의 물리적 크기(기지)

관심 후보 물체에 상응하는 레인지값과 카메라-물체 거리 D_e의 추정값을 비교함으로써 분류가 이루어진다. D_e가 레인지값과 근접하게 매치(예컨대, 15% 이내)할 경우, 관심 후보 물체가 관심 물체를 실제로 나타낼 가능성이 높다. D_e가 레인 지값과 근접하게 매치(예컨대, 15% 이내)하지 않을 경우, 관심 후보 물체가 관심 물체를 실제로 나타내지 않을 가능성이 높다.

본질적으로, 관심 물체(머리)의 물리적 크기는 기지이다. 이 계산된 거리는 검출된 후보 얼굴에 상응하는 영역에 걸쳐 레인지 이미지(38)로부터의 카메라로부터 물체까지의 거리와 비교될 수 있다. 계산된 거리와 레인지 이미지(38)로부터의 거리가 일치하지 않을 경우, 후보 얼굴이 실제로 사람 얼굴이라는 확신이 감소하거나, 또는 후보 얼굴이 "얼굴이 아님"으로써 분류된다. 이 방법은 잘못된 긍정 검출(false positive detection)을 감소시킴으로써 물질/물체 검출기(154)의 성능을 향상시킨다. 본 실시예는 자동차, 인간, 사람 얼굴 등과 같이 좁은 크기 분포의 물체를 검지하는데 적합하다. 또한, 레인지 이미지는 하늘을 나타내는 영역에 대한 "무한" 거리나 매우 긴 거리를 갖는다. 그러므로, 후보 하늘 영역이 고려될 경우, 상응하는 레인지값이 고려된다. 레인지값이 작을 경우, 후보 하늘 영역은 제외된다. 요약하면, 도 4는 먼저 이미지 내에서 관심의 후보 물체를 검출하고, 다음에 관심의 검출 물체에 상응하는 레인지값을 결정한 후, 관심의 검출 물체의 정확도를 결정(즉, 분류)하기 위해 관심 물체의 알려진 크기와 이들 레인지값을 이용함으로써 물체 검출을 향상시키는 방법을 개시하고 있다.

소위 "전체 모델 모드"인 제 2 동작 모드에 있어서, 레인지 이미지(38)는 단순히 분류기에 입력하기 위한 부가적인 특성을 제공한다. 이미지의 영역에 있어서, 특성(예컨대, 색, 텍스처 및 레인지값의 분포)이 계산되고, 특성 f가 주어진 때에 영역이 물질이나 물체 m을 나타내는 확률을 의미하는 P(영역=m｜f)를 결정하 기 위해 분류기에 입력된다. 분류기는, 영역이 물질이나 물체 m을 나타내는 것으로 알려진 샘플과, 영역이 물질이나 물체 m을 나타내지 않는 것으로 알려진 샘플을 포함하는 많은 트레이닝 예제로부터 분포 P(영역=m｜f)를 학습함으로써 트레이닝 처리를 거친다. 예컨대, Bayes 이론을 이용하여, 다음과 같이 나타낼 수 있다.

여기서 f는 특성의 세트이다.

도 5(a)는 이미지의 밸런스를 결정하기 위해 레인지 맵을 이용하는 방법을 나타낸다. 디지털 이미지(102)와 레인지 이미지(38)는 데이터 프로세서(20)에 입력된다. 데이터 프로세서(20)는, 이미지 프로세서(36)가 디지털 이미지(102)에 적용하는 이미지 변환(60)(노출 조정량)을 결정하여, 향상된 디지털 이미지(120)를 생성한다. 이미지 변환(60)은 출력 이미지(향상된 디지털 이미지(120))를 생성하기 위해 하나 이상의 입력 이미지의 화소값(예컨대, 디지털 이미지(102))을 동기화하는 동작이다.

제 1 실시예에 있어서, 이미지 변환(60)은 이미지의 밸런스나 노출을 향상시키는데 이용된다. 디지털 이미지의 적절한 노출은 이미지의 물체에 의존한다. 적절한 이미지 노출을 결정하는데 이용되는 알고리즘은 장면 밸런스 알고리즘(scene balance algorithm)이나 노출 결정 알고리즘(exposure determination algorithm)이라 불린다. 이들 알고리즘은 이미지 화소의 서브세트의 평균값, 최소값, 최대값이나 중간값에 의해 통상 작동된다.(미국 특허 공보 4,945,406호 참조)

디지털 이미지(102)의 화소값이 노출의 로그를 나타낼 경우, 노출 조정량(밸런스 조정이라고도 함)은 화소값에 오프셋을 부가함으로써 간단히 적용된다. 디지털 이미지(102)의 화소값이 노출에 비례할 경우, 밸런스 조정은 화소값을 상수 배만큼 스케일링함으로써 적용된다. 둘 중 한 경우에, 밸런스 조정은 장면에 있어서의 광량을 스케일링하는 물리적인 처리(예컨대, 광원의 감광이나 발광)를 모델링한다. 또한, 디지털 이미지(102)의 화소값이 sRGB 색 공간에서의 화소값으로 렌더링될 경우, 밸런스 조정은 미국 특허 공보 제6,931,131호에 개시되어 있다. 간단히 요약하면, 밸런스 조정은 각 화소값에 다음의 공식을 적용함으로써 이루어진다.

여기서, Io는 출력 화소값을 나타내고, Ii는 입력 화소값을 나타내며, a는 노출의 중지 시의 노출 조정량이다. 한 번의 중지는 두 배의 노출을 나타낸다.

앞선 논의에서 밸런스 조정이 이미 존재하는 디지털 이미지(102)에 적용되더라도, 당업자는 결정된 밸런스가 장면의 새로운 이미지를 캡처하기 위해 카메라에 의해 이용될 수 있는 것임을 알 수 있을 것이다. 간단히 하기 위해, 이하의 논의에서는 디지털 이미지의 화소값이 로그 노출과 비례하는 것으로 가정할 것이다. 당업자는, 디지털 이미지 화소값이 다른 양을 나타내는 경우에, 여러 파라미터와 식의 수정이 필요한 것임을 알 수 있을 것이다.

노출 조정량 a를 결정하기 위해 데이터 프로세서(20)에 의해 프로세스가 이용된다. 레인지 이미지(38)는 디지털 이미지(102)와 마찬가지로 동일 차원(즉, 값의 행과 열)을 갖도록 내삽된다. 그러면 디지털 이미지(102)의 노출값의 가중 평 균을 취함으로써 가중된 노출값 t가 결정된다. 디지털 이미지 내의 각 화소는 내삽된 깊이 맵이 가리키는 카메라로부터의 상응 거리에 근거해서 가중치를 받는다. 이 관계는 아래의 식으로부터 평균에 대한 가중치를 결정하는데 사용된다.

여기서, 이중합(double summation)은 디지털 이미지의 화소들의 모든 행과 열에 대한 것이다.

가중치 W는 위치 (x, y)에서 레인지 이미지값의 함수이다. 통상, W(x, y)는 전체 이미지를 통해 W(x, y)의 합계가 0이 되도록 정규화된다. 가중치 W와 레인지값의 관계는 도 5(b)에 나타낸다. 이 관계는 카메라로부터 주요 물체의 거리에 있어서의 분포에 근거한다. 본질적으로, 이 관계는 화소가 이미지의 메인 물체에 속하는 것으로 주어진 경우, 그 영역이 특정 거리일 확률이다. 레인지값에 근거하는 가중치에 더하여, 부가 가중치는, 예컨대, 이미지의 광학 중심에 관한 화소의 위치(예를 들어, 중심에 가까운 화소가 큰 가중을 받음)나 가장자리(높은 가장자리 구배를 갖는 화소 배치 위치나 이미지 위치 부근이 더 큰 가중치가 주어짐)에 근거하는 것이 이용될 수 있다.

다음에 노출 조정량은 타겟값과 가중 평균의 차를 취함으로써 결정된다. 예컨대,

여기서, T는 타겟 노출값이다. 그러므로, 타겟값 T보다 낮은 가중 평균 t를 갖는 어두운 이미지는 (이미지가 밝아져야 함을 나타내는) 양의 a를 산출할 것이 다. 또한, 타겟값 T보다 큰 가중 평균을 갖는 밝은 이미지는, 이미지가 어두워져야 함을 나타내는 음의 a를 산출한다. 타겟값 T는, 통상, 대량의 데이터베이스를 통해 이미지 품질을 최적화하는 값을 찾음으로써 선택된다.

레인지 맵이 희소 맵(sparse map)인 다른 실시예에서, 평균값은 상응 위치에서의 디지털 이미지의 내삽값에서의 값들(내삽되지 않은 레인지값)만으로 계산될 수 있다.

다르게는, 예컨대, 공지의 아이소-데이터 알고리즘을 이용하여 영역(레인지값의 그룹과 유사)을 클러스터링함으로써 레인지 이미지를 먼저 세그먼팅하여 계산되고, 다음에 각 영역의 가중 평균을 결정하고 나서, 각 영역의 평균 레인지값을 이용하는, 도 5(c)에 나타내는 함수에 의해 유도된 가중치에 따라 각 영역으로부터 가중 평균을 가중함으로써 전체 가중 평균을 계산함으로써 가중 평균이 계산된다.

도 5(c)는 노출 조정량(176)을 계산하기 위한 또 다른 방법을 나타내는 데이터 프로세서(20)의 상세를 나타내는 도면이다. 레인지 이미지(38)는 공지의 Canny 가장자리 검출기로 필터링하거나, 스레숄딩(thresholding) 동작 전에 각 위치에서 레인지 이미지의 기울기(gradient)의 크기를 계산하는 등으로써, 레인지 가장자리 검출기(170)에 의해 동작된다. 레인지 가장자리 검출기(170)의 출력은 레인지 이미지(38)와 (값의 행과 열에 있어서) 동일 차원을 갖는 영역 가장자리 이미지(172)이다. 영역 가장자리 이미지(172)는 레인지 이미지(38)에서의 가장자리와 관련된 위치에서 높은 값, 레인지 이미지(38)의 가장자리가 아닌 부분과 관련된 위치에서 낮은 값, 및 가장자리와 비가장자리의 중간인 레인지 이미지(38) 내의 위치와 관련 된 위치에서의 중간값을 갖는다. 바람직하게, 영역 가장자리 이미지(172)는 모든 화소값의 합계가 1로 되도록 정규화된다. 다음에 가중 평균기(174)는 가중값으로서 영역 가장자리 이미지(172)의 값을 이용함으로써 디지털 이미지(102)의 가중 평균 t를 결정한다. 가중 평균기(174)는, 상술한 바와 같이, t와 T간의 차를 찾아 노출 조정량(176)을 출력한다.

그러므로, 노출 조정량은 디지털 이미지(102)에 상응하는 레인지 이미지(38)를 이용하여 결정된다. 또한, 레인지 이미지는 노출 조정량을 결정하기 위해 채용되는 가중치(램프 가장자리 이미지(172))를 생성하기 위해 레인지 가장자리 검출기(170)로 필터링된다.

가장자리 검출기가 이미지 프로세싱의 분야에서 자주 이용된다고 해도, 이 가장자리 검출기는 장면에서 진정한 불연속성보다는 높은 코드값 차이를 갖는 로컬 영역을 찾아낸다는 점을 유의하자. 예컨대, 가장자리 검출기는, 얼룩말의 스트라이프가 진정한 구조적인 장면의 가장자리가 아니라 단지 반사율이 다른 인접 영역임에도, 이를 잘 검출할 것이다. 레인지 가장자리 검출기는 로컬 영역이 상당히 다른 거리에 물체를 포함할 경우에만 높은 응답성을 나타내고, 장면에서 스무스한 표면상에 반사율이 다른 물질에 대한 높은 응답성을 나타낼 것이다.

도 6(a)는 적합한 값으로 이미지의 명암을 맵핑하는데 사용되는 톤 스케일 함수를 결정하기 위해 레인지 이미지(38)를 이용하는 방법을 나타낸다. 이 처리는 동적 영역 압축의 목적으로 종종 유용하게 이용된다. 환언하면, 일반적인 장면은 대략 1000:1의 휘도 영역을 포함하지만, 통상 인쇄나 디스플레이는 대략 100:1의 휘도 영역에 대해서만 효과적으로 렌더링할 수 있다. 그러므로, 동적 영역 압축은 장면을 재차 밝게 하는데 이용할 수 있어, 더 나은 연출을 가능하게 한다.

디지털 이미지(102)와 레인지 이미지(38)는 데이터 프로세서(20)에 입력된다. 데이터 프로세서(20)는 향상된 디지털 이미지(120)를 생성하는 이미지 프로세서(36)에 의해 디지털 이미지(102)에 적용되는 이미지 변환(톤 스케일 함수(140))을 결정한다. 이미지 변환은 출력 이미지(예컨대, 향상된 디지털 이미지(120))를 생성하기 위해 입력 이미지(예컨대, 디지털 이미지(102))의 하나 이상의 화소값을 수정하는 동작이다.

도 6(b)는 이미지 프로세서(36)의 상세를 나타낸다. 통상 RGB 색 공간에 있어서, 디지털 이미지는 색 공간 매트릭스 변환(예컨대, 휘도 크로미넌스 컨버터(84))에 의해 휘도 크로미넌스 색 공간으로 변환되어, 휘도 채널 neu(82)와 2 이상의 크로미넌스 채널 gm 및 ill(86)을 산출한다. 적색, 녹색 및 청색 채널의 세트로부터 하나의 휘도 및 두 개의 크로미넌스 채널로의 변환은 다음의 행렬 곱에 의해 달성될 수 있다.

여기서, neu, gm 및 ill은 휘도 및 크로미넌스 채널의 화소값을 나타내고, red, grn 및 blu는 디지털 이미지(102)의 적색, 녹색 및 청색 채널의 화소값을 나타낸다.

이 매트릭스 회전은 r=g=b인 중성축(neutral axis)과 두 개의 색차축(녹색- 마젠타색 및 광원)을 제공한다. 다르게는, 3차원 룩업 테이블(LUT)과 같이, 이 매트릭스에 의해 제공되는 것 이외의 변환이 디지털 이미지를 휘도-크로미넌스 형태로 변환하는데 이용될 수 있고, 이는 본 설명으로부터 당업자라면 용이하게 파악할 수 있을 것이다.

휘도-크로미넌스 공간으로의 상기한 회전의 목적은 톤 스케일 함수가 동작하는 단일 채널로 분리하는 것이다. 톤 스케일 프로세서(90)의 목적은 톤 스케일 함수가 디지털 이미지 채널의 매크로 콘트라스트를 조정하지만 디지털 이미지 채널의 상세한 내용이나 구조를 보존할 수 있도록 하는 것이다. 이를 위해, 톤 스케일 프로세서(90)는 향상된 휘도 채널(94)을 생성하기 위해 레인지 이미지(38), 톤 스케일 함수(140) 및 휘도 채널(82)을 사용했다. 크로미넌스 채널은 종래의 크로미넌스 프로세서(88)에 의해 통상적으로 처리된다. 크로미넌스 프로세서(88)는 톤 스케일 함수에 관련된 방법으로 크로미넌스 채널을 수정할 수 있다. 예컨대, 참조로써 여기에 포함된 미국 특허 공보 제6,438,264호는 적용된 톤 스케일 함수의 기울기에 관련된 크로미넌스 채널을 수정하는 방법을 설명하고 있다. 크로미넌스 프로세서의 동작은 본 발명의 중심에 있지 않으므로 더 이상의 설명은 하지 않는 것으로 한다.

바람직하게는, 디지털 이미지는 하드 카피를 인쇄하거나 출력 장치 상에 디스플레이를 가능하게 하는, 향상된 디지털 이미지(120)를 생성하는 역 색 공간 매트릭스 변환(RGB 변환기(92))에 의해 RGB 색 공간으로 역변환된다.

도 6(c)를 참조하면, 이것은 톤 스케일 프로세서(90)를 더욱 상세하게 나타 내는 도면이다. 휘도 채널 neu(82)는 페디스털 신호 neu_ped, 텍스처 신호 neu_txt 및 노이즈 신호 neu_n의 합으로 표현된다.

만약, 노이즈를 무시할 수 있다고 가정하면,

디지털 이미지 채널의 휘도 부분 neu(82)은 휘도/크로미넌스 변환기(84)에 의해 출력되어, 후술하는 바와 같이, 페디스털 신호 neu_ped(112)와 텍스처 신호 neu_txt(116)를 생성하기 위해 페디스털 스플리터(114)에 의해 두 부분으로 나뉜다. 톤 스케일 함수(138)은 이미지 향상을 위해 이미지의 특성을 변경하기 위해 톤 스케일 애플리케이터(118)에 의해 페디스털 신호(112)에 적용된다. 톤 스케일 함수(138)은 디지털 이미지의 상대적 밝기나 콘트라스트를 변경할 목적으로 적용될 수 있다. 톤 스케일 애플리케이터(118)는 공지된 바와 같이, 입력 신호에 룩업 테이블(LUT)을 적용함으로써 행해진다. 입력값과 출력값의 1대1 맵핑을 나타내는 톤 스케일 함수의 예를 도 6(d)에 나타낸다. 톤 스케일 함수(138)은, 예를 들어 미국 특허 공보 제6,717,698호에 설명하는 바와 같이, 이미지와 독립적이거나, 또는 디지털 이미지 화소값의 분석으로부터 유도될 수 있다. 이 분석은, 도 6(a)에 나타내는 바와 같이, 데이터 프로세서(20)로 실행된다. 데이터 프로세서(20)는, 톤 스케일 함수(140)를 구성할 때, 디지털 이미지(102)의 화소값과 레인지 이미지(38)를 동시에 고려할 수 있다. 예컨대, 톤 스케일 함수(140)은 임계값 T₃보다 큰 분산을 갖는 레인지 이미지(38)의 주변에 상응하는 디지털 이미지의 화소값으로부터 이미지 능동 히스토그램을 먼저 만듦으로써 계산된다. 그러므로, 본질적으로 이미지 능동 히스토그램은, 레인지 이미지(38)에 의해 정의된 바와 같이, 진정한 폐쇄 경계 부근 화소의 화소값의 히스토그램이다. 그렇게 하면, 이미지 종속 톤 스케일 커브는 미국 특허 공보 제6,717,698호에 기술된 방법으로 이미지 능동 히스토그램으로부터 생성된다.

텍스처 신호(116)는 소망하는 경우 텍스처 변동기(130)에 의해 증폭되거나, 당업자가 소망하는 다른 방식으로 변경될 수 있다. 이 텍스처 변동기(130)는 스칼라 상수를 텍스처 신호(116)에 곱할 수 있다. 그러면, 변동된 텍스처 신호와 변동된 페디스털 신호는 가산기(132)에 의해 합산되어, 향상된 휘도 채널(94)을 형성한다. 가산기(132)에 의한 두 신호의 합은 공지되어 있다. 이 과정은 또한 다음의 방정식으로 나타내어질 수 있다.

여기서, .function.()는 톤 스케일 함수(138)의 애플리케이션을 나타내고, neu_p는 감소된 동적 영역을 갖는 향상된 휘도 채널(94)을 나타낸다. 디지털 이미지 채널의 상세 정보는 톤 스케일 애플리케이션의 처리를 통해 잘 보존된다.

도 6(b)에 비록 나타내고 있지만, 휘도 채널은 톤 스케일 프로세서(90)에 의한 변동을 반드시 거칠 필요는 없다. 예컨대, RGB 이미지의 각 컬러 채널은 이 처 리를 거칠 수 있고, 혹은 흑백 이미지는 이 처리에 의해 변형될 수도 있다. 그러나, 본 출원의 다음 목적을 위해, 휘도 채널, 특히 중성 채널 neu만이 톤 스케일 함수 애플리케이터를 유지하는 디테일에 의해 처리를 거친다고 가정한다.

다시 도 6(c)를 참조하면, 페디스털 스플리터(114)는 입력 디지털 이미지 채널 neu를 "페디스털" 신호(112) neu_ped 및 "텍스처" 신호(116) neu_txt로 분리하고, 그 합은 본래의 디지털 이미지 채널(예컨대, 휘도 채널(82))과 같다. 페디스털 스플리터(114)의 동작은 출력 이미지 상에 큰 효과를 갖는다. 페디스털 스플리터(114)는 페디스털 신호(112)를 생성하기 위해 레인지 이미지(38)로부터의 레인지값에 관한 계수를 갖는 비선형 공간 필터(nonlinear spatial filter)를 적용한다. 페디스털 신호(112) neu_ped는 주요 장면의 조도나 물체의 불연속성에 관련된 큰 변화를 제외하고 개념적으로 완만하다. 텍스처 신호(116) neu_txt는 원 신호와 페디스털 신호간의 차이이다. 그러므로, 텍스처 신호는 디테일로 구성된다.

페디스털 신호는 입력 휘도 채널 neu(82)에 비선형 공간 필터를 적용함으로써 페디스털 스플리터(114)에 의해 생성된다. 필터 계수는 레인지 이미지(38)의 값에 의존한다.

여기서, 비선형 필터는 w(m, n)이고, 계수는 다음 식에 따라 계산된다.

여기서, w₁(m, n)은 가우시안 포락선(Gaussian envelop)을 배치하고, 필터의 공간 범위를 제한하도록 동작한다.

여기서 π는 대략 3.1415926의 상수이다.

σ는 필터 크기를 조정하는 파라미터이다. 바람직하게 σ는 가장 짧은 이미치 차원을 따르는 화소의 수의 0.25배이다. 그리고, w₂(m, n)는 레인지 이미지(38) 내의 큰 불연속성에 수반되는 물체 경계를 가로지르는 블러(blur)를 방지하기 위해 필터 계수를 감소시키는 역할을 한다.

여기서, T₄는 레인지 이미지(38)의 변화에 따른 필터의 감쇠의 기울기를 조정할 수 있도록 하는 튜닝 파라미터이다. 특정 위치에서의 필터 계수는, 그 상응하는 레인지값과 필터의 중간 위치에 상응하는 레인지값과의 차가 커질수록 감소된다. 통상, 어플리케이션 전에 필터 w의 계수의 합은 그들의 합이 1.0으로 되도록 정규화된다.

그러므로, 이미지의 톤 스케일은 카메라로부터 장면 내의 물체간의 거리를 기술하는 레인지 이미지로부터 레인지값을 분석하여 도출된 가중치로 그 이미지를 필터링함으로써 향상된다.

본 발명의 필터의 디자인에 관한 "적응"이라는 용어는, 가중치가 필터 위치 의 이웃하는 구조에 따라 변화하는 필터의 구조를 말한다. 환언하면, 본 발명은 필터링되는 특정 화소의 이웃에 상응하는 레인지값의 통계 파라미터에 의존하는 계수를 갖는 필터를 통해 디지털 이미지 신호를 필터링한다.

필터 ω는 하나 이상의 피라미드 레벨을 필터링하는 휘도 채널(82)로부터 이미지 피라미드를 생성함으로써 다중 해상도(multi-resolution) 필터링 처리도 근사될 수 있음을 당업자라면 알 수 있을 것이다. 이것은, 예컨대, 미국 특허 출원 공보 제2004/0096103호에 개시되어 있다. 아울러, 필터 ω는, 예컨대, 미국 특허 제6,728,416호에 개시된 바와 같이, 적응적인 순환 필터(recursive filter)일 수도 있다.

레인지값에 근거한 가중치와 가우시안 포락선(Gaussian envelope)에 더하여, 부가적인 가중치가, 예컨대, 이미지의 광학 중심(예컨대, 중심 부근의 화소가 큰 가중치를 가짐)이나 가장자리(높은 가장자리 구배를 가진 화소 위치나 그 부근에 배치된 화소가 큰 가중치를 가짐)에 대한 화소의 위치에 근거한 것이 이용될 수 있다.

이미지의 톤 스케일은, 레인지 이미지(38)의 기능으로서, 휘도 채널을 변경함으로써 직접적으로 변경될 수도 있다. 향상된 디지털 이미지(120)는 다음과 같이 휘도 채널을 변경함으로써 생성된다.

필터 계수는 레인지 이미지(38)의 값에 의존한다.

이 방정식은 이미지의 명암도가 레인지값에 근거하여 변경될 수 있도록 한 다. 이는 후면 조명이나 전면 조명 이미지를 교정하는데 사용된다. 여기서 이미지 조명은 균일하지 않고 일반적으로 영역마다 다르다. 이미지 신호 neu(x, y)가 장면 노출의 로그에 비례할 경우, 식 (4)의 바람직한 버전은 다음과 같다.

함수 f()는 이미지 화소값과 상응하는 레인지값의 분석에 의해, 식(5)의 애플리케이션이 감소된 동적 영역을 갖는 향상된 휘도 채널(94)을 산출하도록 형성된다. 디지털 이미지 채널의 상세 정보는 톤 스케일 애플리케이션의 처리를 통해 유지된다.

다시 도 1을 참조하면, 카메라(10)는 임의 시간에 장면 내의 물체와 카메라(10)간의 물리적 거리를 측정하는 레인지 이미지 센서(32)를 일체로 포함한다. 디지털 비디오 시퀀스(즉, 한 카메라로부터 시간에 따라 순서대로 캡처된 디지털 이미지의 컬렉션)에 있어서, 상응하는 레인지 이미지 시퀀스는 깊이 이미지 센서(32)에 의해 생성된다. n 레인지 이미지는 벡터 Rn으로서 표현된다.

본 발명은, 구체적인 바람직한 실시예를 참조로 하여 상세히 설명되었지만, 발명의 사상 및 범위 내에서 변형 및 변경이 가능한 것을 인식할 수 있을 것이다.

(부호의 설명)

10 : 카메라 15 : 캡처 버튼

20 : 데이터 프로세서 22 : 사용자 입력

30 : 디스플레이 디바이스 32 : 레인지 이미지 센서

33 : 포커스 메커니즘 34 : 이미지 센서

36 : 이미지 프로세서 38 : 레인지 이미지

39 : 평면 표면 모델 40 : 제어 컴퓨터

41 : 제 1 단계 42 : 동작 모드

43 : 제 2 단계 45 : 제 3 단계

60 : 이미지 변환 70 : 메모리 디바이스

82 : 휘도 채널 84 : 휘도 크로미넌스 컨버터

86 : 크로미넌스 채널 88 : 크로미넌스 프로세서

90 : 톤 스케일 프로세서 92 : RGB 변환기

94 : 향상된 휘도 채널 102 : 디지털 이미지

112 : 페디스털 신호 114 : 페디스털 스플리터

116 : 텍스처 신호 118 : 톤 스케일 애플리케이터

120 : 향상된 디지털 이미지 121 : 업데이트된 레인지 이미지

130 : 텍스처 변동기 132 : 가산기

138 : 톤 스케일 함수 140 : 톤 스케일 함수

142 : 평면 표면 144 : 평면 유형 분류기

146 : 기하학적 변환 150 : 이미지 마스크 생성기

154 : 물질/물체 검출기 162 : 신뢰 맵

170 : 레인지 가장자리 검출기 172 : 영역 가장자리 이미지

174 : 가중 평균기 176 : 노출 조정량

Claims (14)

1. 레인지 정보에 근거하여 디지털 카메라의 노출을 조정하는 방법에 있어서,

   (a) 상기 디지털 카메라에 의해 물체를 포함하는 장면의 선택된 노출에서 제 1 디지털 이미지를 캡처링하는 단계와,

   (b) 상기 디지털 카메라로부터 상기 장면 내의 물체들까지의 거리를 나타내는 2 이상의 레인지값을 가진 레인지 정보를 제공하는 단계와,

   (c) 상기 선택된 노출에 대한 노출 조정량을 결정하기 위해 상기 캡처된 디지털 이미지의 화소값과 상기 레인지 정보를 이용하는 단계, 및

   (d) 조정된 노출로 제 2 디지털 이미지를 생성하기 위해 상기 디지털 이미지에 상기 노출 조정량을 적용하는 단계

   를 포함하는 디지털 카메라의 노출 조정 방법.
2. 제 1 항에 있어서,

   상기 단계 (b)는

   (i) 가중 계수의 세트를 결정하기 위해 상기 레인지 정보를 이용하는 단계와,

   (ⅱ) 노출 조정량을 결정하기 위해 상기 디지털 이미지와 상기 가중 계수를 이용하는 단계

   를 포함하는 디지털 카메라의 노출 조정 방법.
3. 제 2 항에 있어서,

   상기 가중 계수는 상기 레인지값에 근거한 상기 디지털 이미지 내의 상대적 중요도를 나타내는 디지털 카메라의 노출 조정 방법.
4. 제 2 항에 있어서,

   (e) 레인지 정보에 근거해 상기 제 2 디지털 이미지의 톤 스케일을 조정하는 단계를 더 포함하는 디지털 카메라의 노출 조정 방법.
5. 물체를 포함하는 장면이 캡처된 디지털 이미지의 노출을 조정하는 방법에 있어서,

   (a) 상기 장면 내의 물체의 거리를 나타내는 2 이상의 레인지값을 갖는 레인지 정보를 제공하는 단계와,

   (b) 노출 조정량을 결정하기 위해 상기 캡처된 디지털 이미지의 화소값과 상기 레인지 정보를 이용하는 단계, 및

   (c) 조정된 노출로 제 2 디지털 이미지를 생성하기 위해 상기 캡처된 디지털 이미지에 상기 노출 조정량을 적용하는 단계

   를 포함하는 디지털 이미지의 노출 조정 방법.
6. 제 5 항에 있어서,

   상기 단계 (b)는,

   (i) 가중 계수의 세트를 결정하기 위해 상기 레인지 이미지를 이용하는 단계와,

   (ⅱ) 노출 조정량을 결정하기 위해 상기 디지털 이미지와 상기 가중 계수를 이용하는 단계

   를 포함하는 디지털 이미지의 노출 조정 방법.
7. 제 6 항에 있어서,

   상기 가중 계수는 상기 레인지값에 근거한 상기 디지털 이미지 내의 상대적 중요도를 나타내는 디지털 이미지의 노출 조정 방법.
8. 제 5 항에 있어서,

   (d) 레인지 정보에 근거해 상기 제 2 디지털 이미지의 톤 스케일을 조정하는 단계를 더 포함하는 디지털 이미지의 노출 조정 방법.
9. 제 8 항에 있어서,

   상기 단계 (d)는,

   (i) 상기 캡처된 디지털 이미지를 페디스털 신호와 텍스처 신호로 나누는 단계와,

   (ⅱ) 수정된 페디스털 신호를 생성하기 위해 상기 페디스털 신호에 톤 스케일 함수를 적용하는 단계와,

   (ⅲ) 조정된 톤 스케일로 상기 제 2 디지털 이미지를 생성하기 위해 상기 수정된 페디스털 신호에 상기 텍스처 신호를 가산하는 단계

   를 포함하고,

   여기서, 레인지 정보는 단계 (i)와 단계 (ⅱ) 중 어느 한 쪽 또는 양쪽에서 이용되는 디지털 이미지의 노출 조정 방법.
10. 물체를 포함하는 장면의 캡처된 디지털 이미지의 톤 스케일을 조정하는 방법에 있어서,

    (a) 상기 장면 내의 물체의 거리를 나타내는 2 이상의 레인지값을 갖는 레인지 정보를 제공하는 단계와,

    (b) 톤 스케일 조정을 결정하기 위해 상기 캡처된 디지털 이미지의 화소값과 상기 레인지 정보를 이용하는 단계, 및

    (c) 조정된 톤 스케일로 제 2 디지털 이미지를 생성하기 위해 상기 캡처된 디지털 이미지에 상기 톤 스케일 조정을 적용하는 단계

    를 포함하는 디지털 이미지의 톤 스케일 조정 방법.
11. 제 10 항에 있어서,

    상기 단계 (b)는,

    (i) 상기 캡처된 디지털 이미지를 페디스털 신호와 텍스처 신호로 나누는 단계와,

    (ⅱ) 수정된 페디스털 신호를 생성하기 위해 상기 페디스털 신호에 톤 스케일 함수를 적용하는 단계와,

    (ⅲ) 조정된 톤 스케일로 상기 제 2 디지털 이미지를 생성하기 위해 상기 수정된 페디스털 신호에 상기 텍스처 신호를 가산하는 단계

    를 더 포함하고,

    여기서 레인지 정보는 단계 (i)와 단계 (ⅱ) 중 어느 한 쪽 또는 양쪽에서 이용되는 디지털 이미지의 톤 스케일 조정 방법.
12. 제 11 항에 있어서,

    상기 단계 (b)의 단계 (i)는,

    상기 레인지 이미지로부터의 레인지값의 분석으로부터 유도된 가중치를 이용하여 상기 캡처된 디지털 이미지의 화소를 필터링하는 단계를 포함하는 디지털 이미지의 톤 스케일 조정 방법.
13. 장면의 디지털 이미지를 필터링하는 방법에 있어서,

    (a) 기지의 기준 프레임으로부터 상기 장면 내의 물체의 거리를 나타내는 2 이상의 레인지값을 갖는 레인지 정보를 제공하는 단계와,

    (b) 상기 레인지 이미지로부터의 레인지값의 분석으로부터 유도된 가중치를 이용하여 상기 디지털 이미지의 화소를 필터링하는 단계

    를 포함하는 디지털 이미지 필터링 방법.
14. 제 13 항에 있어서,

    상기 기지의 기준 프레임은 카메라의 위치인 디지털 이미지 필터링 방법.

Images