KR20060049898A - 디지털 플래시 사진 개선 시스템 - Google Patents

Abstract

디지털 플래시 사용 촬영을 개선하기 위한 시스템 및 방법에 관한 것이다. 본 발명은 신경에 거슬리는 모양(jarring look)을 만들어내지 않고서도 플래시 사진촬영의 모든 이점을 최종 사용자에게 제공하여 빛이 약한 이미지를 현저하게 개선할 수 있는 기술을 제공한다. 동작시에, 본 발명은 주변 이미지로부터 잡음을 제거하고, 플래시 사용 이미지로부터의 디테일을 사용하여 주변 이미지를 선명하게 하고, 색을 보정하며, 적목 현상을 제거하기 위하여, 플래시를 사용하여 촬영한 이미지와 플래시를 사용하지 않은 이미지로 이루어진 이미지 쌍을 사용한다.

잡음, 입력 이미지, 피사체, 입력 컴포넌트, 비교 컴포넌트, 비용 컴포넌트

Description

디지털 플래시 사진 개선 시스템{DIGITAL PHOTOGRAPHY WITH FLASH/NO FLASH EXTENSION}

도 1은 본 발명에 따른 플래시 사용/플래시 미사용 이미지 쌍을 이용한 디지탈 이미지 생성을 용이하게 하는 시스템.

도 2는 본 발명에 따른 새로운 이미지 생성을 위한 한 방법론의 흐름도.

도 3은 본 발명에 따른 획득의 한 방법론의 흐름도.

도 4는 본 발명에 따른 잡음 제거를 위한 한 방법론의 흐름도.

도 5는 본 발명에 따른 디테일 전달을 위한 한 방법론의 흐름도.

도 6은 본 발명에 따라 플래시 미사용 이미지 및 플래시 사용 이미지에 적용되는 잡음 제거 알고리즘, 디테일 전달 알고리즘, 및 플래시 인공산물 검출 알고리즘의 개관을 나타낸 도면.

도 7a는 벨기에산 태피스트리(tapestry)의 플래시 사용 이미지 및 플래시 미사용 이미지의 클로즈업(close-up)을 나타낸 도면.

도 7b는 선명한 에지(edge)는 보존하면서 가는 선은 대부분 흐릿하게 하기 위한 기본 양측성 필터링을 통해 잡음 제거된 이미지를 나타낸 도면.

도 7c는 결합 양측성 필터링을 이용하여 잡음 제거된 이미지를 나타낸 도면.

도 7d는 기본 양측성 필터링과 결합 양측성 필터링 간의 차이를 나타낸 도 면.

도 7e는 디테일 계층의 일례를 도시한 도면.

도 7f는 디테일 전달의 일례를 도시한 도면.

도 8a는 건초로 만든 구식의 유럽형 램프의 플래시 사용 이미지 및 플래시 미사용 이미지를 나타낸 도면.

도 8b는 최종 결과를 위해 검사되는 이미지의 작은 섹션을 나타낸 도면.

도 8c는 도 8b의 섹션의 플래시 사용 버전을 나타낸 도면.

도 8d는 도 8b의 섹션의 플래시 미사용 버전을 나타낸 도면.

도 8e는 선명한 디테일은 물론, 따뜻한 느낌의 모습까지도 유지하는 잡음 제거된 디테일 전달을 나타낸 도면.

도 9a는 플래시 미사용 이미지를 나타낸 도면.

도 9b는 도 9a의 잡음 제거된 디테일 전달을 나타낸 도면.

도 9c는 도 9b의 잡음 제거 결과를 갖는 디테일 전달과의 비교를 위해 캡쳐된 와인 저장실 장면의 장시간 노출 이미지(ISO 100에서 3.2초).

도 10은 본 발명에 따른 플래시 그림자 및 반사 검출을 위한 한 방법론의 흐름도.

도 11a는 플래시 사용 및 플래시 미사용 이미지를 나타낸 도면.

도 11b는 도 11a의 플래시 미사용 이미지에 대한 디테일 전달 이미지를 나타낸 도면.

도 11c는 플래시 사용 이미지 섹션의 마스크가 없는 디테일 전달을 나타낸 도면으로서, 그림자가 화살표로 표시되어 있음.

도 11d는 그림자 및 반사 마스크를 나타낸 도면.

도 11e는 도 11c와 동일한 이미지의 마스크를 이용한 디테일 전달을 나타낸 도면.

도 11f는 도 11a의 플래시 미사용 이미지 내에 표시된 작은 섹션의 플래시 사용 이미지를 나타낸 도면.

도 11g는 도 11f의 동일한 작은 섹션의 플래시 미사용 버전을 나타낸 도면.

도 11h는 도 11f 및 도 11g의 이미지의 잡음 제거된 디테일 전달을 나타낸 도면.

도 12는 본 발명에 따른 화이트 밸런싱을 위한 한 방법론의 흐름도를 나타낸 도면.

도 13a는 잡음 제거 및 디테일 전달이 행해졌지만 여전히 캐스트(cast)가 보이는 원래의 플래시 미사용 이미지를 나타낸 도면.

도 13b는 추정된 주변 조명 색 및 추정된 전체 장면 분위기를 나타낸 도면.

도 13c는 화이트 밸런싱이 색을 쉬프트시키고 특정 색을 제거하는 것을 보여주는 도면.

도 14는 본 발명에 따른 연속 플래시 조정을 위한 한 방법론의 흐름도를 나타낸 도면.

도 15a는 -0.5의 설정을 갖는 로우엔드(low end)에서의 범위 초과 극단을 나타낸 도면.

도 15b는 0.0에서의 플래시 미사용 이미지를 나타낸 도면.

도 15c는 0.33 설정을 갖는 외삽된 이미지를 나타낸 도면.

도 15d는 0.66 설정을 갖는 외삽된 이미지를 나타낸 도면.

도 15e는 1.0 설정에서의 플래시 사용 이미지를 나타낸 도면.

도 15f는 1.5에서의 하이엔드(high end)의 범위 초과 극단을 갖는 외삽된 이미지를 나타낸 도면.

도 16은 본 발명에 따른 적목 현상 제거 방법론을 나타낸 도면.

도 17은 본 발명의 이미지 프로세싱 아키텍쳐를 포함하는 작은 폼팩터의 휴대형 장치의 블럭도.

도 18은 개시된 아키텍쳐를 실행하도록 동작할 수 있는 컴퓨터의 블럭도.

도 19는 본 발명에 따른 예시적인 컴퓨팅 환경의 개략적 블럭도.

<도면의 주요 부분에 대한 부호의 설명>

102: 입력 컴포넌트

104: 입력 이미지

106: 피사체

112: 비교 컴포넌트

114: 비용 컴포넌트

본 발명은 디지탈 사진촬영에 관한 것으로, 더 상세하게는 디지탈 플래시 사진(digital flash photograph)의 품질을 개선시키기 위한 메커니즘에 관한 것이다.

사진 촬영의 중요한 목표는 실제 환경의 시각적인 풍부함을 캡쳐하여 재생하는 것이다. 조명은 이러한 시각적인 풍부함에 없어서는 안 될 부분이고, 종종 사진 내의 분위기 또는 환경을 조절한다. 가장 미세한 뉘앙스는 주로 빛이 약한 상황에서 발견된다. 예를 들어, 촛불로 조명된 레스토랑의 어둑한 오렌지 색조는 아늑한 분위기를 자아낼 수 있는 반면, 달빛의 푸르고 창백한 색조는 미스터리의 서늘한 분위기를 자아낼 수 있다.

이와 같이 빛이 약한 환경에서의 자연 주변광을 캡쳐할 때, 사진가들은 딜레마에 직면하게 된다. 한가지 옵션은 노출 시간을 길게 설정하여, 카메라가 가시적인 이미지를 생성하기에 충분한 빛을 모으는 것이다. 그러나, 그와 같이 긴 노출 동안의 카메라 흔들림 또는 장면 움직임은 모션 블러(motion blur)를 유발할 것이다. 다른 옵션은 조리개를 열어 보다 더 많은 빛이 들어오게 하는 것이다. 그러나, 이러한 방식은 심도(field of depth)를 감소시키고, 렌즈에 크기에 따라 제한된다. 세번째 옵션은 ISO 설정에 의해 제어되는 카메라의 이득을 증가시키는 것이다. 그러나, 노출 시간이 짧으면, 카메라는 각 화소에서의 색을 정확하게 추정할 수 있을 만큼의 충분한 빛을 캡쳐하지 못하고, 따라서 가시적인 이미지 잡음이 현저하게 증가한다.

이러한 문제점들을 해결하기 위하여, 플래시 사진 촬영이 발명되었다. 플래시를 구비한 카메라는, 장면 내의 가까이에 있는 피사체에 인공 조명을 추가함으로 써, 보다 더 짧은 노출 시간, 보다 더 작은 조리개 구경, 보다 더 적은 센서 이득으로도, 비교적 선명하고 잡음이 없는 이미지를 생성할 수 있을 만큼의 충분한 빛을 캡쳐할 수 있다. 밝은 이미지일수록 신호-대-잡음 비율이 커지고, 따라서 주변 조명 하에서 획득된 이미지에서는 잡음에 가려져 있었을 디테일(detail)까지도 해상할 수 있다. 또한, 플래시는 또렷한 점 광원으로 표면을 조명함으로써 표면 디테일을 개선할 수 있다. 마지막으로, 화이트 밸런스된 이미지를 원한다면, 알려져 있는 플래시 색이 이러한 작업을 크게 단순화시킬 것이다.

그러나, 사진가들이 알고 있는 바와 같이, 플래시의 이용은 환경의 빛 특성(lighting characteristic)에 부정적인 영향을 줄 수 있다. 카메라에 가까이 있는 피사체는 불균형하게 밝아지고, 주변 조명이 자아내는 분위기는 파괴될 수 있다. 또한, 플래시는 적목 현상, 거친 그림자(harsh shadow) 및 반사(specularity)와 같은 원치않는 인공산물을 발생시킬 수 있으며, 이러한 효과들 중 어느 것도 자연스러운 장면의 일부가 아니다. 이러한 단점에도 불구하고, 많은 아마추어 사진가들은 빛이 적은 환경에서 플래시를 사용하고 있으며, 따라서 그러한 스냅샷들은 그러한 장면의 실제 주변 조명은 거의 묘사해내지 못한다.

이하에서는, 본 발명의 다양한 양태들의 기본적인 이해를 돕기 위하여, 본 발명의 개요가 제공된다. 이러한 개요는 본 발명의 광범위한 개관은 아니다. 본 발명의 핵심/중요 구성요소를 확인하거나 본 발명의 범위를 한정하려는 의도는 없 다. 이것의 유일한 목적은 나중에 제공될 상세한 설명의 서론으로서, 본 발명의 소정 개념을 단순한 형태로 제공하는 것이다.

본 명세서에 개시 및 청구되는 본 발명은, 그 한 양태에서 디지탈 사진을 개선하기 위한 시스템 및 방법을 포함한다. 플래시 사진촬영은 일반적으로 상태가 좋아보이지 않는다. 본 발명은 신경에 거슬리는 모양(jarring look)을 만들어내지 않고서도 플래시 사진촬영의 모든 이점을 최종 사용자에게 제공하여 빛이 약한 이미지를 현저하게 개선할 수 있는 기술을 제공함으로써, 종래 기술의 단점 및 문제점의 많은 부분을 극복한다. 동작시에, 본 발명은 주변 이미지로부터 잡음을 제거하고, 플래시 사용 이미지로부터의 디테일을 사용하여 주변 이미지를 선명하게 하고, 색을 보정하며, 적목 현상을 제거하기 위하여, 플래시를 사용하여 촬영한 이미지와 플래시를 사용하지 않은 이미지로 이루어진 이미지 쌍을 사용한다.

한 양태에서, 본 발명은 플래시 사용 이미지의 보다 나은 신호-대-잡음 특성을 이용하여, 주변 이미지의 잡음 제거를 수행한다.

다른 양태에서, 본 발명은 플래시를 사용하지 않은 이미지에서의 주변 조명을 보다 더 로버스트하게(robustly) 추정하기 위해 플래시에 의해 노출된 색이 알려진다는 사실을 이용하여, 주변 이미지가 보다 더 자연스럽게 보이게 한다.

또 다른 양태에서, 그러한 플래시 사용/플래시 미사용 이미지 쌍의 강도를 분석 및 조합하는 다양한 애플리케이션이 제공된다. 이러한 애플리케이션들은 (플래시를 사용하지 않은 이미지의 주변 특질을 고주파수 플래시 디테일에 조합하기 위한) 잡음 제거 및 디테일 전달, (주변 이미지의 색 톤을 변화시키기 위한) 화이 트 밸런스, (플래시 강도를 대화식으로 조정하기 위한) 연속 플래시, 및 (플래시 사용 이미지 내의 인공산물을 수선하기 위한) 적목 현상 제거를 포함한다.

본 발명의 또 다른 양태에서, 현재의 소비자 디지탈 카메라에서 보다 더 수월하게 사용할 수 있는 플래시 사용/플래시 미사용 쌍의 수동 획득이 제공된다.

상기에 언급한 것과 관련 목적을 달성하기 위하여, 본 발명의 일부 예시적인 양태들이 이하의 상세한 설명 및 첨부 도면과 관련하여 설명될 것이다. 그러나, 이러한 양태들은 본 발명의 원리가 이용될 수 있는 다양한 방식들 중의 일부를 설명한 것에 지나지 않으며, 본 발명은 그러한 양태들 및 그 등가물들을 모두 포함하도록 의도된다. 이하의 상세한 설명을 첨부 도면을 참조하여 읽으면, 본 발명의 다른 이점 및 신규한 특징들도 분명하게 알 수 있을 것이다.

이하에서는, 도면들을 참조하여 본 발명이 설명되며, 도면 전체에서 동일한 참조 번호는 동일한 구성요소를 나타내기 위해 사용된다. 아래의 설명에서, 본 발명의 완전한 이해를 제공하기 위해 수많은 구체적 세부사항들이 제시된다. 그러나, 본 발명이 그러한 세부사항들 없이도 구현될 수 있음을 알 것이다. 다른 경우에서, 본 발명의 설명을 용이하게 하기 위하여, 공지된 구조 및 장치들을 블럭도의 형태로 제시된다.

본 명세서에서 사용될 때, "컴포넌트" 및 "시스템"이라는 용어는, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어 또는 실행중인 소프트웨어인 컴퓨터 관련 엔터티를 나타내도록 의도된 것이다. 예를 들어, 컴포넌트는 프로세서 상에서 실행중인 프로세스, 프로세서, 오브젝트, 실행파일, 실행 스레드, 프로그램 및/또 는 컴퓨터일 수 있지만, 이들로 한정되는 것은 아니다. 예를 들어, 서버 상에서 실행중인 애플리케이션과 그 서버 둘다 컴포넌트일 수 있다. 프로세스 및/또는 실행 스레드 내에 하나 이상의 컴포넌트가 상주할 수 있고, 컴포넌트는 하나의 컴퓨터 상에서 국부화되고/되거나, 2개 이상의 컴퓨터 간에 분산될 수 있다.

본 발명은 신경에 거슬리는 모양을 만들어내지 않고서도 플래시 사진촬영의 모든 이점을 최종 사용자에게 제공하여 빛이 약한 이미지를 현저하게 개선할 수 있는 기술을 제공함으로써, 종래 기술의 단점 및 문제점의 많은 부분을 극복한다. 동작시에, 본 발명은 주변 이미지로부터 잡음을 제거하고, 플래시 사용 이미지로부터의 디테일을 사용하여 주변 이미지를 선명하게 하고, 색을 보정하며, 적목 현상을 제거하기 위하여, 플래시를 사용하여 촬영한 이미지와 플래시를 사용하지 않은 이미지("주변 조명" 이미지)로 이루어진 이미지 쌍을 사용한다. 한 실시예에서, 본 발명은 플래시 사용 이미지의 보다 나은 신호-대-잡음 특성을 이용하여, 주변 또는 플래시 미사용) 이미지의 잡음 제거를 수행한다. 제2 실시예에서, 본 발명은 플래시를 사용하지 않은 이미지에서의 주변 조명을 보다 더 로버스트하게 추정하기 위해 플래시에 의해 노출된 색이 알려진다는 사실을 이용하여, 주변 이미지가 보다 더 자연스럽게 보이게 한다.

이제 도 1을 보면, 본 발명에 따른 플래시 사용/플래시 미사용 이미지 쌍을 사용하는 디지탈 이미지 생성을 용이하게 하는 시스템(100)이 도시되어 있다. 시스템(100)은 피사체(106)에 대하여 생성된 복수의 디지탈 이미지(104)(INPUT IMAGE₁, INPUT IMAGE₂, ... , INPUT IMAGE_N으로 표시됨)를 수신하는 입력 컴포넌트(102)를 포함한다. 디지탈 이미지들 중 적어도 두개는 상이한 조도 컴포넌트를 갖는다. 이미지 생성 컴포넌트(108)는 입력 이미지(104)들의 부분집합을 조합하여, 피사체(106)의 새로운 이미지(110)를 만들어낸다. 이미지 생성 컴포넌트(108)는 새로운 이미지(110)를 생성할 때, 한 입력 이미지의 고주파수 성분을 다른 입력 이미지의 저주파수 성분과 조합하고, 그에 의해 다른 이미지로부터의 디테일을 추가함으로써 한 이미지를 개선한다.

입력 이미지(104)들 중 적어도 두개, 즉, 플래시 조명으로 촬영된 한 이미지 및 플래시 조명을 사용하지 않고 촬영된 제2 이미지를 이용하여 새로운 이미지(110)가 생성된다. 이러한 이미지는, 예를 들면, 시스템(100)을 채용하는 디지털 카메라 또는 (캠코더라고도 칭하는) 비디오 카메라를 이용하여 취할 수 있다.

시스템(100)은 또한 입력 이미지(104)들 중 적어도 두개를 분석하여 이미지 인공산물을 식별해 내는 비교 컴포넌트(112)를 채용한다. 이러한 인공산물은 적목 현상, 그림자, 및 잡음을 포함할 수 있다. 비용 컴포넌트(114)는 주파수 성분에 대해 비용 함수를 적용시켜 불일치하는 주파수 성분들의 조합을 경감시킨다. 비용 컴포넌트(114)는 플래시 사용/플래시 미사용 이미지를 각각 자신들의 로우 패스 성분(low pass component) 및 하이 패스 성분(high pass component)으로 우선 분리시키는 알고리즘의 일부이다. 결국, 이미지는 블렌딩(blending) 마스크로 표현되는 비용 함수를 이용하여 결합된다.

이제 도 2를 참조하면, 본 발명에 따른 새로운 이미지 생성을 위한 한 방법론의 흐름도가 도시된다. 간결한 설명을 위하여, 예를 들면, 흐름도의 형태로 본 명세서에 제시된 하나 이상의 방법론이 일련의 단계들로서 제시되고 설명되었지만, 본 발명은 이 단계의 순서로 제한되지 않으며, 본 발명에 따른 몇몇의 단계는 다른 순서로 및/또는 본 명세서에서 제시되고 설명된 단계와는 다른 단계와 동시에 일어날 수 있다고 이해되고 인식되어야 한다. 예를 들면, 당업자는 방법론이, 상태도에서와 같이, 일련의 상호 연관된 상태 또는 이벤트로서 대안적으로 나타내질 수 있음을 이해하고 인식할 것이다. 또한, 본 발명에 따른 방법론을 구현하는 데에 필요할 수 있는 단계들이 전부 제시된 것은 아니다.

오늘날, 디지털 사진 촬영은 빛이 약한 환경에서, 디테일을 캡쳐하기 위해 플래시를 사용한 이미지("플래시") 및 주변 조명을 캡쳐하는 플래시 미사용 이미지("플래시 미사용")로 이루어진 이미지 쌍-을 빠르고, 쉽고, 경제적으로 취하도록 한다. 블럭(200)에서, 피사체 또는 장면에 대한 플래시 사용/플래시 미사용 이미지를 취한다. 블럭(202)에서, 주변 이미지 잡음 제거가 수행된다. 상대적으로 잡음이 없는 플래시 사용 이미지가 플래시 미사용 이미지 내의 잡음을 감소시키는 데에 이용된다. 주변 이미지의 자연 조명을 유지함으로써, 실제 장면과 비슷하게 보이는 새로운 (또는 출력) 이미지가 생성된다. 블럭(204)에서, 플래시-대-주변 디테일이 전달된다. 고주파 디테일이 본래 주변 이미지에는 존재하지 않을 수 있기 때문에, 이 고주파 디테일이 플래시 사용 이미지로부터 잡음 제거된 주변 이미지로 전송된다. 블럭(206)에서, 화이트 밸런싱이 수행된다. 사용자는 주변 이미지의 " 느낌"은 보존시키면서 더 백색의 조명을 시뮬레이션하길 원할 수 있다. 주변 이미지를 화이트 밸런싱하기 위해, 종래의 단일-이미지 귀납법에 의존하기 보다는 알려져 있는 플래시 색이 이용될 수 있다. 블럭(208)에서, 연속적인 플래시 강도 조정이 선택적으로 제공될 수 있다. 이미지 쌍 간의 연속적인 내삽(interpolation) 제어가 제공되어 사용자는 대화식으로 플래시 강도를 조정할 수 있다. 사용자는 본래 주변 이미지 및 플래시 사용 이미지를 넘어서 외삽할 수 있다. 블럭(210)에서, 적목 현상이 교정된다. 주변 이미지와 플래시 사용 이미지 사이에 동공의 색이 어떻게 변하는지를 고려함으로써 적목 탐지가 수행된다. 그 후 프로세스는 종료 블럭에 이른다. 그러므로, 본 발명은 플래시 사용/플래시 미사용 쌍의 정보를 이용하여 종래의 기술을 개선시킨다.

본 발명의 한 특징은 현재의 소비자 디지털 카메라를 사용해 보다 수월하게 플래시 사용/플래시 미사용 쌍을 수동으로 획득하는 것이다. 이를 지원하여, 이러한 쌍을 캡쳐하는 기능이 카메라 펌웨어에 이동되어 획득 프로세스를 훨씬 쉽고 빠르게 한다.

카메라 잡음의 배경

몇몇의 개시된 알고리즘을 지원하는 직관적인 지식은 플래시로부터의 조명이 장면의 모습을 변경할 수 있으면서, 플래시 사용 이미지 내의 SNR(signal-to-noise ratio) 또한 증가시키고 고주파수 디테일의 보다 양호한 추정치를 제공하는 것이다. 디지털 센서는 플래시 및 주변 이미지에 대하여 유사한 로그 전력 스펙트럼(logg power spectra)을 생성한다. 한 종래의 CCD(Charge Coupled Device) 카메라 의 기능에 따르면, 보다 밝은 이미지 신호는 보다 어두운 신호보다 잡음이 심하다. 그러나, 신호 전력의 절대 이득은 잡음의 증가보다 불균형적으로 커진다. 그러므로, 밝은 이미지의 SNR이 더 좋다. 플래시가 장면을 균일하게 조명하지 않지만, 장면 밝기는 (특히 카메라 근방의 피사체에 대해서) 상당히 증가하므로, 플래시 사용 이미지는 주변 이미지보다 양호한 SNR을 나타낸다. 디지털 센서와 관련하여, 잡음은 낮은-ISO(International Standards Organization film sensitivity measure) 플래시 사용 이미지에서보다 높은-ISO 주변 이미지에서의 저주파에 있는 신호의 대부분을 차지한다.

플래시 사용 이미지의 SNR의 개선은 특히 보다 높은 주파수에서 분명하게 나타난다. 적절하게 노출된 이미지 쌍은 (예를 들면, 조리개, 셔터(shutter)/플래시 지속 시간, 및 카메라 이득을 포함할 수 있는) 이미징 시스템을 통과한 후에 유사한 강도를 가진다. 그러므로, 로그 전력 스펙트럼이 대략 동일하다. 그러나 이득을 증폭시키기 때문에 높은-ISO 주변 이미지 내의 잡음은 낮은-ISO 플래시 사용 이미지 내의 잡음보다 높다. 대부분의 자연스러운 이미지의 전력 스펙트럼은 고주파에서는 강하하기 때문에, 카메라 잡음의 전력 스펙트럼은 균일하게 남아있는 반면(즉, 화이트 잡음을 가정하자), 잡음은 플래시 사용 이미지에서보다 훨씬 낮은 주파수에 있는 주변 이미지에서 신호의 대부분을 차지한다.

획득

이제 도 3을 참조하면, 본 발명에 따른 획득의 한 방법론의 흐름도가 제시된다. 개시된 알고리즘은 소비자-등급 디지털 카메라를 이용하여 획득되는 이미지를 조작하도록 설계된다. 획득 절차의 한 목적은 플래시 사용/플래시 미사용 이미지 쌍이 장면에서 정확하게 동일한 포인트들을 캡쳐하는 것을 보장하는 것이다. 두개의 이미지 간의 초점 길이 및 조리개는 고정되므로, 카메라 초점 및 심도는 일정하게 유지된다. 획득 절차에 대한 한 구현은 다음과 같다. 블럭(300)에서, 사물에 대한 초점이 생성된다. 블럭(302)에서, 초점 길이 및 조리개가 잠긴다. 블럭(304)에서, 적절한 노출에 대한 노출 시간 t 및 ISO가 설정된다. 블럭(306)에서, 주변 이미지 A가 캡쳐된다. 블럭(308)에서, 플래시가 켜진다. 블럭(310)에서, 노출 시간 t 및 ISO는 이미지를 여전히 잘 노출시키는 최소한의 설정으로 조정된다. 블럭(312)에서, 그 다음 플래시 사용 이미지 F가 취해진다. 그 다음 프로세스는 종료 블럭에 이른다.

핸드헬드 카메라 동작에 대한 일 구현에서, 단일 이미지의 노출 시간은 30mm 렌즈에 대해서 1/30초 미만으로 설정되어, 모션 블러를 방지한다. 다른 구현에서, 두개의 이미지의 노출 시간은 1/60초 이하로 설정되어, 이상적인 환경하에서, 두개의 이미지는 핸드헬드 카메라 동작을 위한 1/30초 제한 내에서 연속으로 촬영될 수 있다. 플래시 사용 모드와 플래시 미사용 모드 간의 빠른 전환이 소비자 등급 카메라에서는 현재 불가능하지만, 이 기능은 카메라 펌웨어에 결국 포함될 것이라고 인식될 것이며, 본 발명의 일부로서 제시된다.

모든 이미지는 RAW 디지털 포맷으로 획득될 수 있다. 그 다음 이미지는 무손실 16-비트 TIFF 이미지 또는 손실 JPEG 이미지로 변환될 수 있다. 디폴트로, 몇몇의 종래 카메라는 양호한 전체 대비를 갖는 지각적으로 바람직한 이미지를 생 산하기 위하여 화이트 밸런싱, 감마 보정, 및 다른 비선형 톤-매핑 동작을 수행하는 변환 소프트웨어를 포함한다. 마지막 출력 이미지 내의 자신의 고품질 톤-매핑 특성을 보존하기 위하여 하나 이상의 개시된 알고리즘이 이들 비선형 이미지 상에 적용된다.

삼각대 설정(tripod setup)과 같은 종래 메카니즘 수단을 이용하여 이미지 등록이 수행될 수 있음이 인식된다. 카메라 설정을 변경(예를 들면, 플래시를 키는 것, 및 ISO 변경)하면 종종 카메라가 움직이기 때문에, 핸드헬드 카메라로 취해진 이미지에 있어서 등록은 중요한 일이다. 삼각대 없이 취해진 사진은 또한 개시된 발명으로부터 이점을 취할 수 있다. 핸드헬드 카메라로부터 이미지를 등록하는 것은 알고리즘에 의해 수행될 수 있다. 이러한 알고리즘은 2000년 1월 25일에 발간된, R. Szeliski 및 H. Shum이 저술한, 발명의 명칭이 "Patch-Based Alignment Method and Apparatus for Construction of Image Mosaics"인 미국 특허 번호 6,018,349에서 볼 수 있다.

몇몇의 개시된 알고리즘은 이미지 차이 F-A를 분석하여 장면 조명에 대한 플래시의 기여도를 추측한다. 이 계산을 의미있게 하기 위하여, 이미지는 동일 선형 공간에 존재하여야 한다. 그러므로, 변환 소프트웨어는 RAW 데이터로부터 선형 TIFF 이미지를 생성하도록 설정될 수 있다. 또한, ISO 설정 및 노출 시간 t에 의한 2개의 이미지 간의 노출 차이에 대한 보상이 수행될 수 있다. A'^Lin 및 F^Lin이 변환기 유틸리티에 의한 선형 이미지 출력으로서 정의되는 경우, 이들은 다음을 계산 함으로써 동일한 공간 내에 있을 수 있다:

윗첨자 Lin이 포함되지 않았다면, F 및 A는 이미지의 비선형 버전을 의미함을 유의한다.

잡음 제거 및 디테일 전달

잡음 제거 및 디테일 전달 알고리즘은 플래시 사용 이미지로부터의 정보를 이용하여 주변 이미지를 개선시키도록 설계된다. 두 알고리즘은 플래시 사용 이미지가 주변 이미지 내의 고주파 성분의 양호한 국부 추정자임을 가정한다. 그러나, 이 가정은 플래시에 의해 생성된 그늘 및 반사 영역에서는 수용되지 않고, 인공산물(artifact)을 일으킬 수 있다. 인공산물 처리는 아래에서 보다 상세히 설명된다.

사진 이미지 내의 잡음을 감소시키는 것은 이미지 프로세싱 및 컴퓨터 비전에서 오랫동안 제시되어 온 문제다. 종래의 해결책은 이미지에, 이방성의 확산 또는 양측성 필터링과 같은 에지-보호 평탄화(smoothing) 필터를 적용시키는 것을 포함한다. 양측성 필터는 빠르고, 비-순환적인 기술이며, 톤 매핑, 텍스처로부터의 조명 분리, 및 매쉬 평탄화(mesh smoothing)를 포함하는 이미지 잡음 제거 이외의 다양한 문제에 적용되어 왔다.

개시된 주변 이미지 잡음 제거 기술은 또한 양측성 필터 상에 구축된다.

이제 도 4를 참조하면, 본 발명에 따른 잡음 제거를 위한 한 방법론의 흐름 도가 제시된다. 블럭(400)에서, 양측성 필터는 플래시 미사용 이미지 A에 대한 각 화소 p의 값을 계산함으로써 유사한 강도값을 가지는 공간적으로 근접한 화소들의 평균을 구하는 데에 채용된다. 이는 종래 로우 패스 필터를, 화소들 간의 강도 차이가 클때 필터 커널 가중치를 줄이는 에지-스토핑 함수(edge-stopping function)와 조합시킨다. 종래 기술에서 상술한 바와 같이, 양측성 필터는 주변 이미지 A에 대한 화소 p의 값을 다음과 같이 계산한다:

여기서 k(p)는 정규화 항이다.

함수 g_d는 화소들 간의 거리에 기초한 공간 도메인 내의 가중치를 설정하는 한편, 에지-스토핑 함수 g_r은 강도 차이에 기초한 범위 상의 가중치를 설정한다. 통상적으로, 이 두 함수는 각각, 표준 편차 파라미터 δ_d 및 δ_r에 의해 제어되는 너비를 갖는 Gaussian이다.

블럭(402)에서, 양측성 필터는 모두 3개의 채널에 대하여 동일한 표준 편차 파라미터를 가지고 개별적으로 각각의 RGB 색 채널에 적용된다. 문제는 잡음이 평균화되지만 디테일은 보존되도록 δ_d 및 δ_r를 설정하는 것이다. 실제로, 6개의 메가화소 이미지에 대하여, 24와 48 화소 사이의 화소 주변을 커버하도록 δ_d를 설정 한 후, δ_r이 잡음을 평탄화하는 데에 필요한 임계치 바로 위에 있도록 실험적으로 δ_r을 조정한다. [0.0, 1.0]으로 정규화된 화소 값을 가지는 이미지에 대하여, δ_r은 0.05와 0.1 간에, 또는 총 범위 중 5 내지 10%에 놓이도록 설정된다. 그러나, 이하 도 7b에 도시된 바와 같이, 파라미터를 신중하게 조정한 이후에도, 기본 양측성 필터는 몇몇 영역에서 이미지를 과도하게 흐릿하게(디테일을 상실) 또는 덜 흐릿하게(잡음 제거 실패)하는 경향이 있다.

상술에서, 플래시 사용 이미지가 주변 이미지보다 훨씬 좋은 실제 고주파 정보의 추정을 포함함이 관측되었다. 이러한 관측에 기초하여, 기본 양측성 필터는 결합 양측성 필터라고 불리는 기법인, A 대신 플래시 사용 이미지 F를 이용하여 에지-스토핑 함수 g_r을 계산하도록 변경된다. 블럭(404)에서, 결합 양측성 필터는 플래시 사용 이미지 F에 대한 각 화소 p의 값을 아래와 같이 계산함으로써 유사한 강도값을 가지는 공간적으로 근접한 화소를 평균화하는 데에 채용된다.

여기서 k(p)는 변경된 유사도이다. 여기서 A^NR은 A의 잡음이 감소된 버전이다. 기본 양측성 필터에 대한 δ_d는 상술된 바와 같이 설정된다. F가 잡음을 거의 가지지 않는다는 가정하에서, δ_r은 매우 작게 설정될 수 있고, 에지-스토핑 함수 g_r(F_p-F_p')가 근방 화소에 대한 적절한 가중치를 선택하여, 주변 이미지가 과도하게 흐릿해지거나 덜 흐릿해지지 않을 것임을 또한 보장할 수 있다. 실제로, δ_r은 색 값의 총 범위 중 0.1%로 설정될 수 있다. 기본 양측성 필터링과는 다르게, δ_r은 모든 이미지에 대하여 고정된다.

결합 양측성 필터는 주변 이미지의 추정자로서 플래시 사용 이미지에 좌우된다. 따라서, 플래시 그림자 및 반사가 단지 플래시 사용 이미지에서만 나타날 수 있기 때문에 이것은 플래시 그림자 및 반사에 실패할 수 있다. 이러한 영역의 에지에서, 결합 양측성 필터는 주변 이미지를 덜 흐릿하게 할 수 있는데 그 이유는 필터가 이들 에지에 걸쳐 있는 경우 이것이 화소의 가중치를 낮추기(down-weight) 때문이다. 유사하게, 이들 영역 내부에서, 이것은 주변 이미지를 과도하게 흐릿하게 할 수 있다. 단계(406)에서, 이 문제는 우선 플래시 그림자 및 반사 영역을 검출하고, 단계(408)에 나타난 대로 이들 영역내에서는 기본 양측성 필터링으로 후퇴함으로써 해결된다. 이후 프로세스는 종료 블럭에 도달한다.

이 검출 알고리즘에 의해 마스크 M이 주어지면, 개선된 잡음제거 알고리즘은 다음과 같이 된다:

결합 양측성 필터로 잡음을 제거한 결과가 도 7c에 도시되어 있다. 도 7d의 기본 양측성의 필터를 지닌 차이 이미지는 결합 양측성 필터가 잡음을 감소시키면서 디테일을 더 잘 보존할 수 있다는 것을 나타낸다. 양측성 및 결합 양측성 필터링 둘 다 비선형이기 때문에, 직접 구현은 공간 도메인의 회선 수행을 필요로 한 다. 이것은 큰

에 대해 아주 느릴 수 있다. 잡음 제거 알고리즘을 가속화시키는 종래 기술의 한 가지 구현은 푸리에(Fourier) 기술을 사용한다. 이 기술은 결합 양측성 필터에 또한 적용될 수 있고 개시된 잡음제거 알고리즘의 속도를 상당히 올릴 수 있다.

도 5에 본 발명에 따른 디테일 전달에 대한 한 방법론의 흐름도가 데시되어 있다. 결합 양측성 필터가 잡음을 감소시킬 수 있지만, 플래시 사용 이미지에 있을 수 있는 디테일을 추가할 수는 없다. 그러나 상술된 대로, 플래시 사용 이미지의 보다 높은 SNR은 주변 이미지의 잡음에 의해 압도되는 뉘앙스를 유지시켜 준다. 또한 플래시는 통상적으로 좀 더 균일한 주변 조명으로는 보이지 않던 추가의 표면 디테일을 드러낼 수 있는 강한 방향성의 조명을 제공한다. 플래시는 또한 주변 이미지의 그림자 내에 있는 영역의 디테일을 조명한다. 이 디테일을 전달하기 위해, 단계(500)에서 이하의 비율로서 플래시 사용 이미지로부터 디테일 계층이 계산된다.

여기서 F^Base는 F상의 기본 양측성 필터를 이용하여 계산된다. 비율은 RGB 채널 각각에서 별도로 계산되고 단계(502)에 나타나 있듯이 신호 크기 및 표면 반사율에 독립적이다. 비율은 F의 로컬 디테일 편차를 캡쳐하고 일반적으로 컴퓨터 비전의 지수 이미지 또는 비율 이미지로 불린다. F^Base를 계산하기 위해 종래 Gaussian 로우 패스 필터가 아닌 양측성 필터를 사용하는 이점은 후광을 줄일 수 있다는 것이다. Gaussian 로우 패스 필터는 모든 에지 전체를 흐릿하게 하므로, 후광(halo)을 야기하는 디테일 이미지의 강한 피크(peak) 및 밸리(valley)를 생성할 것이다. 양측성 필터는 선명한 에지를 가로질러 평탄화하지 않으므로 후광을 감소시키고, 여전히 디테일을 캡쳐한다.

낮은 신호 값에서, 플래시 사용 이미지는 스퓨리어스(spurious) 디테일을 발생시킬 수 있는 잡음을 포함한다. 단계(504)에서, 알고리즘은 이들 낮은 신호 값을 거절하기 위해 비율의 분자 및 분모 둘 다에 ε값을 추가함으로써 낮은 신호 값을 보상하고, 따라서 이러한 인공산물을 감소시킨다(및 또한 0으로 나누어지는 것을 피함). 실제로 ε=0.02가 모든 결과에 걸쳐 사용된다. 디테일을 전달하기 위해, 잡음-감소 주변 이미지 A^NR에 비율 F^Detail을 곱한다. 도 7e 및 도 7f는 디테일 계층 및 디테일 전달의 예를 도시한다.

결합 양측성 필터링과 마찬가지로, 전달 알고리즘은 플래시에 의해 야기되는 그림자 및 반사 영역에서는 불량한 디테일 추정을 생성할 수 있다. 따라서, 단계(506)에서, 이 영역을 식별하는 마스크 M을 추정하고 이하와 같이 최종 이미지를 계산하기 위해 검출 알고리즘이 적용된다:

이 디테일 전달 방식으로, 전달되는 디테일의 양은 F^Base를 생성하기 위해 사 용되는 양측성 필터 매개변수 σ_d 및 σ_r에 대한 적절한 설정을 선택함으로써 제어될 수 있다. 필터의 폭이 증가함에 따라, 점점 더 F^Base의 평탄화 버전이 생성되고, 그 결과 F^Detail 에 좀 더 상세한 것이 캡쳐된다. 그러나, 과도한 평탄화의 경우, 양측성 필터는 실질적으로 Gaussian 필터로 감소되고 최종 이미지의 인공산물에 후광을 야기한다.

장면에 따라, 잡음의 최종 레벨은 결합 양측성 필터의 도메인 및 범위 커널 둘 다에 대해 상대적으로 넓은 Gaussian의 사용을 필요로 한다. 따라서, 플래시 사용 이미지로부터 실제 디테일을 다시 전달할 때, 디테일 계층의 계산에서 상대적으로 넓은 Gaussians이 사용되었다. 그 결과, 도 9b에 도시된 병의 에지 주위에서 작은 후광을 불 수 있다. 그럼에도 불구하고, 개시된 아키텍처는 디테일을 보존하면서 잡음을 제거할 수 있다.

대부분의 경우, 디테일 전달 알고리즘은 주변 이미지의 모습을 개선시킨다. 그러나, 플래시 사용 이미지가 주변 이미지로 전달되었을 때 부자연스러워 보이는 디테일을 포함할 수 있다는 것을 유의하는 것은 중요하다. 예를 들어, 플래시로부터의 빛이 얕은 각도로 표면을 칠 경우, 플래시 메모리는 디테일로서 표면 텍스처(예를 들어 나뭇결 및 치장 벽토)를 얻을 수 있다. 이 텍스처가 원래의 주변 이미지에서는 볼 수 없는 것이라면, 이것은 이상해 보일 수 있다. 유사하게, 플래시 사용 이미지가 디테일을 씻어버린 경우, 주변 이미지는 과도하게 흐릿해질 수 있다. 개시된 알고리즘은 사용자가 전체 이미지에 대해 얼마나 많은 디테일이 전달 되는가를 제어하도록 한다. 다른 실시예에서, 전달되는 로컬 디테일의 양은 자동으로 조정된다.

본 발명에 따라 플래시 미사용 이미지(606) 및 플래시 사용 이미지(608)에 적용되는 잡음 제거 알고리즘(600), 디테일 전달 알고리즘(602), 및 플래시 인공산물 검출 알고리즘(604)의 개요를 도 6에 도시한다. 주변(또는 플래시 미사용) 이미지(606)는 제1 양측성 필터(610) 및 결합 양측성 필터(612) 둘 다를 사용하여 처리되고, 각각의 출력은 A^BASE 및 A^NR이다. 결합 양측성 필터(612)로의 또 다른 입력은 플래시 사용 이미지(608)이다. 결합 양측성 필터(612)는 이들 입력을 수신하고 A^NR값을 적 프로세스(product process)(614)로 출력한다.

디테일 전달 알고리즘(602)은 F^Base의 출력인 제2 양측성 필터(616)에 대한 입력으로서 플래시 사용 이미지(608)를 사용한다. 분할 프로세스(618)는 F^Base 값 및 플래시 사용 이미지(608)를 입력으로 하여 적 프로세스(614)로 A^DETAIL값을 출력한다.

인공산물 검출 알고리즘(604)은 F^Lin 및 A^Lin을 입력으로 수신하는 그림자 및 반사 검출 알고리즘(620)을 포함하는데, 그 이유는 플래시 사용 이미지(608)가 플래시 미사용 이미지(606)와 인터페이스하기 때문이다. 그림자 및 반사 검출 알고리즘의 출력은 마스크 M이다.

마스크 M, A^BASE 및 A^NR 및 A^DETAIL의 적(product)은 결합하여 최종 이미지 A^FINAL을 형성한다.

도 7a 내지 7f에 본 발명에 따라 플래시 사용/플래시 미사용 이미지로부터 생성된 프로세스 샷이 도시되어 있다. 도 7a는 벨기에 태피스트리의 플래시 사용 이미지(700) 및 플래시 미사용 이미지(702)의 클로즈업이다. 플래시 미사용 이미지(702)는 어두운 영역에서 특히 잡음이 있고 플래시 사용 이미지(700) 뿐만 아니라 가는 선이 보이지 않는다. 도 7b는 선명한 에지를 보존하기 위해 기본 양측성 필터를 통해 잡음이 제거된 이미지를 보여주고 있으며, 대부분의 가는 선은 흐릿해져 있다. 도 7c는 결합 양측성 필터를 이용한 잡음 제거 이미지를 보여준다. 결합 양측성 필터링은 기본 양측성 필터보다 가는 선을 더 상세히 유지하면서 또한 잡음을 제거한다. 도 7d는 기본과 결합 양측성 필터 이미지간의 차이 이미지를 보여준다. 도 7e는 생성된 디테일 계층을 보여준다. 주변 이미지는 플래시 사용 이미지로부터 이미지를 전달함으로써 더 개선된다. 디테일 계층은 먼저 플래시 사용 이미지로부터 계산되고, 그리고 나서 결합 양측성 필터를 통해 잡음이 제거된 이미지와 결합하여 도 7f에 도시된 대로 디테일-전달 이미지를 생성한다. 도 7d의 기본 양측성 필터와의 차이 이미지는 결합 양측성 필터가 잡음을 감소시키면서 디테일을 더 잘 보존할 수 있다는 것을 보여준다.

도 8a 내지 8e에 본 발명에 따라 원래의 따뜻한 모습을 유지하기 위해 잡음 제거 및 디테일 전달을 채용하는 또 다른 예의 샷이 도시되어 있다. 도 8a에 건초 로 만들어진 옛 유럽 램프의 플래시 사용 이미지 및 플래시 미사용 이미지가 제공된다. 플래시 사용 이미지는 디테일을 캡쳐하지만 잿빛이고 평평하다. 플래시 미사용 이미지는 램프의 따뜻한 조명을 캡쳐하지만 잡음이 있고 건초의 자세한 디테일이 부족하다. 도 8b는 최종 결과로 검토되는 이미지의 작은 섹션을 도시한다. 도 8c는 그 섹션의 플래시 사용 버전이다. 도 8d는 그 섹션의 플래시 미사용 버전이다. 도 8e는 잡음이 제거된 디테일 전달을 도시한 것으로, 선명한 디테일뿐만 아니라 따뜻한 모습도 유지하고 있다.

도 9a 내지 9c에 도 8의 디테일 전달 및 잡음 제거 결과에 관한 장시간 노출의 샷이 도시되어 있다. 도 9a는 플래시 미사용 이미지를 도시한다. 도 9b는 잡음이 제거된 디테일 전달을 도시한다. 도 9c는 도 9b의 잡음이 제거된 결과의 디테일 전달와의 비교를 위해 캡쳐된 와인 창고 장면의 장시간 노출 이미지(ISO 100에서 3.2초)를 도시한다. 시각적 비교를 통해 디테일 전달 결과가 기준 이미지 진짜 그대로 보이지는 못하지만 사실상 원래의 플래시 미사용 이미지보다는 잡음이 덜 하다는 것을 알 수 있다.

플래시 그림자 및 반사 검출

플래시로부터의 빛은 플래시 사용 이미지에 그림자 및 반사를 도입시킬 수 있다. 플래시 그림자내에서 이미지는 주변 이미지만큼 어두울 수 있으므로 잡음을 겪는다. 유사하게, 반사 반영내에서 플래시 사용 이미지는 포화(saturate)되어 디테일을 잃을 수 있다. 또한, 이들 영역의 경계는 주변 이미지에서 존재하지 않는 고주파수 에지를 형성할 수 있다. 이들 영역의 플래시 사용 이미지로부터의 정보 의 사용을 피하기 위해, 플래시 그림자 및 반사가 먼저 검출된다.

도 10에 본 발명에 따라 플래시 그림자 및 반사 검출에 대한 한 방법론의 흐름도가 제시되어 있다. 플래시 그림자의 한 포인트는 플래시에 의해 조명되지 않기 때문에 이것은 주변 이미지에서 보여지는 것과 똑같이 보여져야 한다. 이상적으로 A 및 F는 상술된 대로 선형일 수 있고, 차이 이미지 F^Lin - A^Lin의 휘도가 0일 때 화소가 검출된다. 실제에 있어서, 이 방식은 네 가지 이슈에 의해 반박된다: 1) 그 어떠한 빛도 반사시키지 않는 표면(즉 0 알베도를 지님)이 그림자으로서 검출됨; 2) 플래시가 도달하지 않는 원거리 표면이 그림자로서 검출됨; 3) 잡음이 그림자내에서 제로가 아닌 값을 야기함; 및 4) 플래시로부터의 빛의 상호-반사(inter-reflection)는 그림자내의 제로가 아닌 값을 야기시킴.

단계(1000)에서, 0 알베도 표면 및 그림자가 처리된다. 처음의 두 개의 이슈는 문제점을 야기하지 않는데 그 이유는 주위 및 플래시 사용 이미지 둘 다 결과가 동일하기 때문이고, 따라서 어느 이미지가 선택되든 동일한 결과를 산출할 것이다. 단계(1002)에서, 잡음 및 상호-반영은 이하의 조건에 따라, 선형화된 플래시 이미지와 주변 이미지간의 차이가 작은 화소를 찾음으로써 그림자 마스크를 계산할 때 임계치를 추가함으로써 처리된다:

개시된 알고리즘 중 하나는 사용자로 하여금 임계값

를 대화식으로 조정할 수 있고 단계(1004)에 표시된 대로 모든 플래시 그림자 영역이 적절하게 캡쳐되는 것을 시각적으로 검증할 수 있도록 한다.

잡음은 그림자 마스크를 작은 반점, 구멍 및 울퉁불퉁한 에지로 더럽힐 수 있다. 그림자 마스크는 단계(1006)에 표시된 대로 반점을 파괴하고 구멍을 채우는 이미지 형태학상의 동작을 이용하여 깨끗해질 수 있다. 단계(1008)에서, 그림자 영역을 완전히 커버하는 보존할 수 있는 추정치를 생성하기 위해 마스크가 팽창된다.

단계(1010)에서, 플래시에 의해 야기된 반사 영역은 물리적으로 유발된 단순 귀납법을 사용하여 검출된다. 반사 영역은 Lin F에서 밝아야 하므로 이미지 센서를 포화시킬 것이다. 따라서 센서 출력 값 범위의 95%보다 큰 플래시 사용 이미지의 휘도 값이 검색된다. 단계(1012)에서, 클리닝, 구멍 채우기 및 그림자 마스크의 팽창은 그림자 마스크에 대해 이전에 수행된다. 단계(1014)에서 그림자 및 반사 마스크를 결합함으로써 최종 마스크 M이 형성된다. 단계(1016)에서, 마스크가 상이한 이미지들로부터의 영역들을 결합하기 위해 사용될 때, 그 에지가 번져보이게 하고, 연결부가 보이는 것을 방지하기 위해 마스크는 흐릿하게 된다.

도 11에 본 발명에 따른 인공산물 처리에 대한 이미지 샷이 도시되어 있다. 도 11a는 플래시 사용 및 플래시 미사용 이미지를 도시한다. 도 11b는 도 11a의 플래시 미사용 이미지에 대한 디테일 전달 이미지를 도시한다. 도 11c는 플래시 사용 이미지의 섹션 마스크가 없는 디테일 전달을 도시하고, 그림자는 화살표로 윤곽이 그려져 있다. 도 11d는 그림자 및 반사 마스크를 도시한다. 도 11e는 도 11c와 동일한 이미지의 마스크를 이용한 디테일 전달을 도시한다. 도 11f는 도 11a의 플래시 미사용 이미지에 표시된 작은 섹션의 플래시 사용 이미지를 도시한다. 도 11g는 도 11f와 동일한 작은 섹션의 플래시 미사용 버전을 도시한다. 도 11h는 도 11f 및 도 11g의 이미지의 잡음을 제거한 디테일 전달을 도시한다.

플래시 사용 이미지는 그림자 및 반사 영역의 실제 디테일 정보를 포함하지 않는다. 잡음 제거 및 디테일 전달 알고리즘을 적용하면, 이들 영역은 흰 화살표에 의해 표시되는 대로 인공산물을 생성한다. 이 인공산물을 방지하기 위해, 기본 양측성 필터링이 이 영역내에서 채용된다. 도 11a의 플래시 미사용 이미지 왼쪽의 진한 갈색 항아리는 매우 잡음이 심하다. 도 11a의 오른쪽에 있는 녹색 항아리 역시 잡음이 심하지만 도 11a의 플래시 사용 이미지에 도시된 대로 실제 텍스처 디테일을 보여준다. 디테일 전달 기술은 도 11e에 도시된 대로 텍스처는 유지하면서 잡음은 제거한다. 플래시 그림자/반사 검출 알고리즘은 도 11d의 갈색 항아리에 큰 반사 하이라이트를 적절하게 마스크하고 도 11e의 최종 이미지로 그 디테일을 전달하지 않는다는 것을 유의한다.

화이트 밸런싱

원래 주변 조명을 보존하는 것이 종종 바람직하나, 때때로 장면이 화이트 밸런싱이라 불리는, 보다 "백색"의 조명하에서 어떻게 나타나는지를 아는 것도 바람직하다.

주변 이미지만을 획득한 경우, 주변 조명은 귀납법 또는 사용자 입력에 기반하여 추정되어야만 한다. 디지털 카메라는 주로 양지바른 야외와 형광등 빛과 같 은 다른 환경에 대해서 화이트-밸런스 모드를 제공한다. 대부분, "자동" 모드에서 사진을 찍는데, 이 모드에서 카메라는 이미지를 분석하고, 주변 색을 추측하기 위해 이미지-너비 평균을 계산한다. 이것은 물론 단지 귀납적이며, 몇몇 연구자들은 색 캐스트를 결정하기 위해 의미 분석을 고려한다.

플래시 사용/플래시 미사용 화이트 밸런싱에 대한 보다 나은 방식이 가능하게 된다. 개시된 아키텍쳐는, 화이트 밸런싱을 종래의 조명의 이산 집합에 의해 제한받지 않는 연속적인 최적화 문제로 공식화함으로써, 종래의 프로세스보다는 적은 설정을 요구한다.

도 12를 참조하면, 본 발명에 따르는 화이트 밸런싱을 위한 한 가지 방법론에 대한 흐름도가 예시되어 있다. 단계(1200)에서, 플래시 미사용 이미지를 생성한다. 단계(1202)에서 카메라의 화이트 밸런싱 모드가 플래시 사용 모드로 설정된다. 플래시는 알려진 색의 점 광원을 장면에 첨가하는 것으로 여겨질 수 있다. 카메라 화이트 밸런스 모드를 "플래시"로 설정함으로써[미세조정용 카메라(calibrated camera)를 가정함], 이 플래시 색은 획득한 이미지에서 기준 백색(reference white)으로 나타나야 한다. 단계(1204)에서, 플래시 사용 이미지를 생성한다.

단계(1206)에서, 이미지 차를 계산한다. 이미지 차

= F ^Lin - A ^Lin 는 플래시만에의 인한 각각의 화소 p에서의 표면 알베도에 비례하는 조도에 해당한다. 알베도 추정치

는 미지수인데, 거리 및 표면의 방위(orientation)가 알려져 있지 않기 때문이다. 표면이 난반사하거나(difuse), 그 반사 색이 그 난반사 색과 매칭되는 둘 중 한 경우를 가정한다. 반례로서, 이것은 플라스틱에 대해선 거짓이다. 마찬가지로, 반투명 표면은 잘못된 알베도 추정치를 낼 것이다.

단계(1208)에서, 각각의 색 채널에 대한 주변 조도를 추정한다. 화소 p에서의 표면은 주변 이미지에서의 색 A _p 및 스케일링된 알베도(scaled albedo)

_p를 갖기 때문에, 표면에서의 주변 조도는 다음과 같은 비율로 추정할 수 있다.

이것을 색 채널별로 계산한다. 다시, 이 추정된 색 C _p 는 알려지지 않은 스케일을 가지며, 이것은 각각의 화소 p에서 정규화된다. 주변 조명 색 c를 추측하기 위해서, 모든 이미지 화소에서 C _p 를 분석하는 것이 목표가 된다. 추측을 더욱 보강하기 위해, 낮은 신뢰도를 갖는 추정치에 대한 화소는 버려진다. 수백만 화소로부터 단하나의 색만을 유도하면 되기 때문에, 이와 같이할 수 있는 것이다. 구체적으로는, 임의의 채널에서 |A _p | <

₁ 이거나

_p <

₂ 의 조도를 갖는 경우에 화소들을 무시할 수 있는데, 이런 작은 값들은 그 비율의 신뢰성이 낮아지게끔 만들기 때문이다.

₁ 과

₂ 두 값 모두 색 값의 2% 범위 정도로 설정되어 있다.

마지막으로, 단계(1210)에서, 장면에 대한 주변 색 추정치 c는 버려지지 않은 화소들의 Cp의 평균으로 계산된다. 최대 고유값(eigenvalue)을 갖는 C ^T C 의 고 유벡터(eigenvector)로서 구해진 C의 주요 성분으로서 c를 선택하는 것은 대안이 될 수 있으며, 이 대안이 유사한 해답을 낸다. 장면 주변 색 c를 추측한 후에, 이미지는 단계(1212)에서 색 채널을 다음과 같이 스케일링함으로써, 화이트 밸런싱을 이룬다.

다시, 색 채널별로 계산을 실시한다.

도 13a - 도 13c를 참조하면, 본 발명에 따라 주변 이미지를 화이트 밸런싱하는 것에 관련된 이미지 샷이 예시되어 있다. 도 13a는 잡음 제거 및 디테일 전달 이후의 원래 플래시 미사용 이미지를 나타내지만, 여전히 캐스트를 나타내고 있다. 도 13b는 추정된 주변 조명 색을 나타내고, 추정된 전체 장면 주변을 나타낸다. 도 13c는 화이트 밸런싱 알고리즘이 색을 변환하고 소정의 색(예를 들면, 오렌지색)를 제거하는 것을 나타낸다.

화이트 밸런싱은 이미지의 전체 색조를 상당히 변형시켜, 갈색 테이블을 백색광에 노출시킬 때에 보이는 것처럼, 황색이 도는 회색 빛을 띠도록 설정한다. 주변 색 c를 추측할 때, 극단치를 간결하게 하고, 이미지 C에서의 공간적 관계를 찾는다. 그에 더하여, 장면은 상이한 주변 색을 갖는 복수의 지역을 가질 수 있고, 이런 것들이 분할되어 독립적으로 프로세싱될 수 있다. 화이트 밸런싱은 도전적인 문제가 되는데, "화이트"에 대한 개념이 뷰어의 적응 상태에 부분적으로 의존하기 때문이다. 또한, 화이트 밸런스가 바람직할 경우는 불분명하다. 그러나, 플 래시로부터 알려진 정보를 사용하는 개시된 추정 방식은 단일 이미지 귀납법에 기초한 기술보다 더욱 정확할 수 있다.

연속 플래시 조정

플래시 사용 이미지를 찍을 때, 플래시의 강도가 때때로 너무 밝아서 근처 피사체를 포화시킬 수 있거나, 이것이 너무 어두워서 중간 거리 피사체도 노출시킬 수 없을 수 있다. 플래시 사용 및 플래시 미사용 이미지 쌍으로, 본 발명은 사용자가 사진을 찍은 후에 플래시 휘도를 조정하도록 허용한다.

도 14를 참조하면, 본 발명에 따르는 연속 플래시 조정에 관한 한 가지 방법론에 대한 흐름도가 제시되어 있다. 단계(1400)에서, 플래시 사용 및 플래시 미사용 이미지를 생성한다. 단계(1402)에서, 플래시 사용 및 플래시 미사용 이미지를 삽입한다. 주변 및 플래시 사용 이미지를 삽입하는 한 가지 방법은 원래 플래시 사용/플래시 미사용 쌍을 YCbCr 공간으로 변환시키고, 그 이후에 그것들을 다음의 수학식을 사용하여 선형적으로 삽입한다.

F ^Adjusted = (1 - α)A + (α)F

그 이상의 사용자 제어를 제공하기 위해서, 파라미터

가 정규 범위[0,1] 를 벗어나게 함으로써, 외삽법을 허용한다. 그러나, 색조의 과도한 왜곡을 방지하기 위해, Y 채널만 외삽되고, Cb 와 Cr 채널 삽입은 두 원래 이미지의 극단에 제한된다. 예가 도 15에 도시되어 있다.

도 15a-15f는 플래시 사용 이미지와 플래시 미사용 이미지 사이의 외삽법에 의한 연속 플래시 조정에 대한 예를 예시하고 있다. 도 15a는 0.5로 설정된 로우 엔드에서의 범위 초과 극단을 나타낸다. 도 15b는 0.0에서의 플래시 미사용 이미지를 나타낸다. 도 15c는 0.33 설정을 갖는 외삽된 이미지를 나타낸다. 도 15d는 0.66 설정을 갖는 외삽된 이미지를 나타낸다. 도 15e는 1.0 설정을 갖는 플래시 사용 이미지를 나타낸다. 도 15f는 1.5의 하이 엔드의 범위 초과 극단을 갖는 외삽된 이미지를 나타낸다.

적목 현상 교정

적목 현상은 플래시 사진 촬영에서는 흔한 문제이며, 혈관이 지나가는 망막에서 반사된 빛에 기인한다. 완전 자동화된 적목 현상 제거 기술은 관례적으로 단일 이미지를 입력으로 가정하고, 다양한 귀납법 및 기기-학습 기술에 의존하여 적목 현상을 국부화시킨다. 동공 마스크를 검출하면, 이런 기술은 마스크 내의 화소를 어둡게하여 이미지가 더욱 자연스럽게 보이도록 만든다.

도 16을 참조하면, 본 발명에 따르는 적목 현상 제거 방법론이 제시되어 있다. 본 발명의 적목 현상 제거 알고리즘은, 주변 이미지(동공이 통상적으로 매우 어두울 곳)와 플래시 사용 이미지(동공이 적색일 수 있는 곳) 사이에서 동공 색의 변경을 고려한다. 단계(1600)에서, 색차(chrominance)로부터 휘도를 무상관화(decorrelation)하기 위해, 이미지 쌍을 YCbCr 공간으로 변환시킨다. 단계(1602)에서, 상대적인 적색 정도를 다음과 같이 계산한다.

R = F _Cr - A _Cr

단계(1604)에서, 이미지는 지역들로 초기에 분할된다.

R >

_Eye

파라미터

_Eye 는 전형적으로 0.5로 설정되어서, 결론적인 분할과정에 의해 플래시 사용 이미지가 주변 이미지보다 더욱 적색이어서 잠재적인 적목 현상을 형성할 수 있는 지역을 정의하게 된다. 또한, 분할된 지역은 플래시 사용 이미지의 Cr 채널에서 고도로 포화되나 주변 이미지의 Y 채널에서는 상대적으로 어두운 몇몇의 위치들을 포함하는 경향이 있다. 그러므로, μ _R 과

_R 은 적색도(redness)의 평균 및 표준 편차를 나타내면, 단계(1606)에 나타낸 바와 같이, 시드 화소(seed pixel)을 검색하는데, 여기서

R > max[0.6 ,μ _R + 3

_R ] 이고 A _γ < τ _Dark 이고, 여기서 τ _Dark 는 전형적으로 0.6으로 설정한다.

블럭(1608)에서, 이런 시드 화소가 존재하지 않는 경우, 이미지는 적목 현상을 포함하고 않고, 흐름은 정지 블럭으로 간다. 그렇지 않은 경우, 흐름은 블럭(1610)으로 가고, 시드 화소가 분할과정에서 대응하는 화소를 찾을 경우에 이용된다. 블럭(1612)에서, 기하학적 제한 사항이, 지역들이 대략적으로 동일한 크기이고 타원형이란 것을 보장하는데 적용된다. 특히, 각각의 지역의 영역을 계산하고, 넓은 극단치는 버려진다. 블럭(1614)에서, 지역의 이심률(eccentricity)을 검사하는데, 이것이 0.75보다 커서, 이 지역이 적목 현상 동공 마스크를 형성한다는 것을 보장하기 위한 것이다. 블럭(1616)에서 나타난 바와 같이 적목 현상 지역은, 이전에 기술한 플래시 반사 검출 알고리즘을 이용하여, 먼저 동공 마스크에서 하이라이트 또는 "글린트(glints)"를 제거함으로써 제거된다. 블럭(1618)에서, 마스크에서의 각각의 화소의 색은 그 휘도 값의 80%에 필적하는 회색 값으로 설정된다. 이런 방식은 정정된 결과에서의 사실성을 유지하는데 중요한 반사 하이라이트를 유지하는 동시에 동공을 적절하게 어둡게 만든다. 프로세스는 그 다음에 정지 블럭에 도달한다.

다른 실시예에서, 적외선 플래시를 채용할 수 있다. 적외선 조명은 불완전한 색 정보를 주지만, 상세한 고주파수 디테일을 제공하고, 가시화 가능한 플래시 보다 적게 개입하는 방식으로 이것을 행한다.

도 17을 참조하면, 본 발명의 이미지 프로세싱 아키텍처를 포함하는 작은 폼 팩터(small form fator)의 휴대형 장치(1700)에 대한 블럭도가 예시되어 있다. 장치(1700)는 모든 온-보드 동작 및 프로세스들을 제어하는 프로세서(1702)를 포함한다. 메모리(1704)는 데이터의 일시적인 저장을 위해 프로세서(1702)와, 본 발명에 따라 프로세서(1702)에 의해 실행되는 이미지 프로세싱을 행하기 위한 하나 이상의 장치 애플리케이션(1706)과 인터페이스 한다.

통신 컴포넌트(1708)는 휴대용 외부 시스템과의 유무선 통신을 용이하게 하기 위해 프로세서(1702)와 인터페이스한다. 이것은 IEEE 802.11 기반의 무선 통신, 및 모바일 핸드폰 신호를 위한 종래의 무선 프로토콜에 기반한 전기 통신을 포함한다.

장치(1700)는 적어도 본 발명에 따르는 캡쳐된 이미지 콘텐츠를 제시하는 디스플레이(1710)를 포함한다. 또한, 디스플레이(1710)는 장치의 특성을 이용하여 텍스트 및 그래픽 형태로 장치(1700)를 동작시키기 위한 설정 및 구성 정보를 용이하게 제시할 수 있다. 하드웨어적인 연결을 통한 직렬 통신(예를 들면, USB 및/또는 IEEE1394)을 용이하게 하기 위한 직렬 I/O 인터페이스(1712)를 프로세서(1702)와 통신시에 제공한다. 이것은 예를 들면, 업데이팅 및 문제해결, 및 장치(1700)로/로부터의 이미지 데이터 업로딩/다운로딩를 지원한다. 오디오 I/O 컴포넌트는 오디오 기능을 제공받고, 예를 들면 기록된 데이터 또는 전화 음성 데이터(telephony voice data)에 관련된 오디오 신호들의 출력을 위한 스피커와, 전화 통화 기록용 음성 신호의 입력을 위한 마이크로폰을 포함할 수 있다.

장치(1700)는 개시 및 동작 명령어에 대한 비휘발성 저장 프로세서(1702)로의 액세스를 제공하는 펌웨어(1716)를 포함할 수 있다.

장치(1700)는 예를 들면, CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 이미지와 같은 이미지 캡쳐 서브시스템을 포함한 이미지 캡쳐 서브시스템(1718)도 포함할 수 있다. 이미지 캡쳐 서브시스템(1718)은 본 발명에 따른 플래시 사용 및 플래시 미사용의 이미징 및 프로세싱 둘 다에 대하여 피사체 및/또는 장면의 고속의 연속적인 이미징을 지원하기 위해 적합한 메모리 및 버퍼링 능력을 포함한다. 일 실시예에서, 서브시스템(1718)은 피사체 또는 장면을 인터리브 스캐닝(interleaved scanning)함으로써 플래시 사용 이미지와 플래시 미사용 이미지를 제공하는 능력을 포함할 수 있다. 즉, 플래시 사용 이미지는 홀수 화소 라인으로 캡쳐되고, 플래시 미사용 이미지는 이미지의 짝수 화소 라인에 따라 캡쳐된다. 다른 실시예에서, 이미징 서브시스템은 제1 서브시스템에 의해 플래시 사용 이미지가 먼저 캡쳐되고, 제2 서브시스템에 의해 플래시 미사용 이미지가 캡쳐되는 트윈 캡쳐 서브시스템을 포함한다. 어느 경우에서든, 플래시 사용/플래시 미사용 이미지가 서로 고속으로 연속적으로 캡쳐된다. 또 다른 실시예에서, 이미징 서브시스템에 의해 고속으로 연속하여 촬영된 연속 이미지를 캡쳐하는 단일 버퍼가 제공되는데, 이때 이미징 서브시스템은 적절한 시간 간격으로 주변 이미지를 촬영한 다음에, 플래시 사용 이미지를 촬영하거나, 그 반대 순서로 촬영하여, 원하는 플래시 사용/플래시 미사용 이미지를 제공한다.

이미징 서브시스템(1718)이 본 발명에 따라 복수의 이미지를 프로세싱하기 위해 이중 화소 버퍼링된 CCD/CMOS 설계를 지원할 수 있도록 디스플레이(1710)는 화소-기반의 디스플레이(예를 들면, LCD)일 수 있다.

장치(1700)가 통신 컴포넌트(1708)를 포함하는 경우, 사용자는 디지털 사진을 찍은 다음에 그 사진을 원격 장소에 전송하거나 국부적으로 저장할 수 있다. 장치(1700)는 배터리 형태의 전원(1720)도 포함할 수 있는데, 이 전원(1720)은 또한 전력 I/O 컴포넌트(1722)를 통해 외부 전원 시스템 또는 전원공급 장치와 인터페이스할 수 있다.

장치 소프트웨어(1706)는 또한 로컬 데이터 및 설정을 구성 및 조작하기 위한 운영 시스템, 웹사이트와의 상호작용을 위한 브라우저, 음악 플레이어, 비디오 플레이어 소프트웨어, 및 장치(1000) 상의 동작에 적합한 임의의 기타 소프트웨어 와 같은 하나 이상의 프로그램을 포함할 수 있다.

장치(1700)는 디지털 카메라, 이미지 캡쳐 기능을 갖는 MP3 플레이어, 내장 디지털 카메라를 갖는 휴대폰, PDA(person digital assistant), 또는 본 발명에 따른 멀티-이미지 프로세싱을 수용하기에 적합하도록 설계된 임의의 그러한 휴대용 장치일 수 있다.

이제 도 18을 참조하면, 개시된 아키텍처를 실행하기 위해 동작가능한 컴퓨터의 블럭도가 도시된다. 본 발명의 다양한 양상에 대한 부가적인 문맥을 제공하기 위하여, 도 18 및 후술되는 논의는 본 발명의 다양한 양상이 구현될 수 있는 적합한 컴퓨팅 환경(1800)의 간략하고 일반적인 설명을 제공하도록 의도된다. 본 발명이 하나 이상의 컴퓨터를 실행할 수 있는 컴퓨터-실행가능 명령어의 일반적인 문맥으로 상기에 기술되었지만, 본 분야에서 숙련된 기술을 가진 자들은 본 발명이 기타 프로그램 모듈과의 조합 및/또는 하드웨어와 소프트웨어의 조합으로도 구현될 수 있다는 점을 인지할 것이다.

일반적으로, 프로그램 모듈은 특정 태스크를 수행하거나 특정 추상 데이터 타입을 구현하는 루틴, 프로그램, 컴포넌트, 데이터 구조 등을 포함한다. 게다가, 본 분야에서 숙련된 기술을 가진 자들은 본 발명의 방법이, 각각이 하나 이상의 관련 장치에 동작가능하도록 연결될 수 있는 개인용 컴퓨터, 포켓형 컴퓨팅 장치, 마이크로프로세서-기반 또는 프로그래밍가능 가전기기 등뿐만 아니라 단일-프로세서 또는 멀티프로세서 컴퓨터 시스템, 미니컴퓨터, 메인프레임 컴퓨터를 포함하는 기타 컴퓨터 시스템 구성에서 실행될 수 있다는 것을 잘 알 것이다.

본 발명의 예시된 양상들은 또한 통신 네트워크를 통해 연결되는 원격 프로세싱 장치에 의해 특정 태스크가 수행되는 분산 컴퓨팅 환경에서도 실행될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치 둘 모두에 위치될 수 있다.

컴퓨터는 전형적으로 다양한 컴퓨터-판독가능 매체를 포함한다. 컴퓨터-판독가능 매체는 컴퓨터에 의해 액세스될 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체 모두를 포함하는 임의의 가용 매체일 수 있다. 제한을 가하지 않는 예로서, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체 모두를 포함한다. 컴퓨터 저장 매체는 RAM, RMO, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD 또는 기타 광학 디스크 저장장치, 자기 카세트, 자기 테이프, 자기 디스크 저장장치 또는 기타 자기 저장 장치, 또는 원하는 정보를 저장하기 위해 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 기타 매체를 포함하지만, 이들로 제한되지는 않는다.

통신 매체는 전형적으로 컴퓨터-판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 반송파나 기타 전송 메커니즘과 같은 변조된 데이터 신호에서의 기타 데이터를 구현하며, 임의의 정보 전달 매체를 포함한다. "변조된 데이터 신호"라는 용어는 신호 내에서 정보를 암호화하기 위한 방식으로 하나 이상의 특성이 설정 또는 변화된 신호를 의미한다. 제한하지 않는 예로서, 통신 매체는 유선 네트워크나 직접 유선연결된 연결과 같은 유선 매체 및 음향, RF, 적외선 및 기타 무선 매체와 같은 무선 매체를 포함한다. 상술한 것들의 임의의 조합 또한 컴퓨터 판독가능 매체의 범위에 포함되어야 한다.

다시 도 18을 참조하면, 컴퓨터(1802)를 포함하는 본 발명의 다양한 양상을 구현하기 위한 예시적인 환경(1800)이 도시되며, 컴퓨터(1802)는 프로세싱 유닛(1804), 시스템 메모리(1806) 및 시스템 버스(1808)를 포함한다. 시스템 버스(1108)는 시스템 메모리(1806)를 포함하지만 이로 제한되지는 않는 시스템 컴포넌트들을 프로세싱 유닛(1804)에 연결한다. 프로세싱 유닛(1804)은 상업적으로 이용가능한 다양한 프로세서들 중 임의의 것일 수 있다. 이중 마이크로프로세서 및 기타 멀티프로세서 아키텍처들도 프로세싱 유닛(1804)으로서 이용될 수 있다.

시스템 버스(1808)는 메모리 버스(메모리 제어기를 갖거나 가지지 않음), 주변 버스, 및 상업적으로 이용가능한 다양한 버스 아키텍처 중 임의의 것을 사용하는 로컬 버스에 또한 상호연결할 수 있는 다양한 유형의 버스 구조 중 임의의 것일 수 있다. 시스템 메모리(1806)는 ROM(1810) 및 RAM(1812)을 포함한다. 기본 입력/출력 시스템(BIOS)은 ROM, EPROM, EEPROM과 같은 비휘발성 메모리(1810)에 저장되며, BIOS는 시작할 때 등에 컴퓨터(1802) 내의 구성요소들 사이의 정보 교환을 돕는 기본 루틴들을 포함한다. RAM(1812)은 또한 데이터를 캐쉬하기 위한 정적 RAM과 같은 고속 RAM을 포함할 수 있다.

컴퓨터(1802)는 적합한 틀(도시되지 않음)에서의 외부 사용을 위해서도 구성 될 수 있는 내부 하드 디스크 드라이브(HDD)(1814)(예를 들어, EIDE, SATA), 자기 플로피 디스크 드라이브(FDD)(1816)(예를 들어, 분리형 디스켓(1818)로부터 판독하거나 기입하기 위함), 및 광학 디스크 드라이브(1820)(예를 들어, CD-ROM 디스크(1822)를 판독하거나, DVD와 같이 용량이 큰 기타 광학 매체로부터 판독하거나 기입하기 위함)를 더 포함한다. 하드 디스크 드라이브(1814), 자기 디스크 드라이브(1816) 및 광학 디스크 드라이브(1820)는 하드 디스크 드라이브 인터페이스(1824), 자기 디스크 드라이브 인터페이스(1826) 및 광학 드라이브 인터페이스(1828)에 의해 각각 시스템 버스(1808)에 연결될 수 있다. 외부 드라이브 구현을 위한 인터페이스(1824)는 USB 및 IEEE 1394 인터페이스 기술 중 적어도 하나 또는 둘 모두를 포함한다.

드라이브 및 관련 컴퓨터 판독가능 매체는 데이터, 데이터 구조, 컴퓨터 판독가능 명령어 등의 비휘발성 저장 장치를 제공한다. 컴퓨터(1802)에 대해, 드라이브 및 매체는 적합한 디지털 포맷으로 임의의 데이터의 저장을 수용한다. 상기 컴퓨터 판독가능 매체의 설명은 HDD, 분리형 자기 디스켓 및 CD나 DVD와 같은 분리형 광학 매체를 언급하고 있지만, 당업자들은 집(zip) 드라이브, 자기 카세트, 플래시 메모리 카드, 카트리지 등과 같이 컴퓨터에 의해 판독가능한 기타 유형의 매체 또한 예시적인 운영 환경에서 사용될 수 있으며, 또한, 임의의 그러한 매체는 본 발명의 방법들을 수행하기 위한 컴퓨터 판독가능 명령어들을 포함할 수 있다는 점을 알아야 한다.

운영 시스템(1830), 하나 이상의 애플리케이션 프로그램(1832), 기타 프로그 램 모듈(1834) 및 프로그램 데이터(1836)를 포함하여 많은 프로그램 모듈들은 드라이브 및 RAM(1812)에 저장될 수 있다. 운영 시스템, 애플리케이션, 모듈, 및/또는 데이터의 모두 또는 부분들은 또한 RAM(1812)에 캐쉬될 수 있다.

본 발명이 상업적으로 이용가능한 다양한 운영 시스템 또는 운영 시스템들의 조합에서 구현될 수 있다는 점을 잘 알아야 한다.

사용자는, 예를 들어, 키보드(1838)와 같은 하나 이상의 유선/무선 입력 장치 및 마우스(1840)와 같은 포인팅 장치를 통하여 컴퓨터(1802)에 명령어 및 정보를 입력할 수 있다. 기타 입력 장치들(도시되지 않음)은 마이크, IR 원격 제어, 조이스틱, 게임 패드, 스타일러스 펜(stylus pen), 터치 스크린 등을 포함할 수 있다. 이러한 입력 장치 및 기타 입력 장치들은 시스템 버스(1808)에 연결되는 입력 장치 인터페이스(1842)를 통해 프로세싱 유닛(1804)에 종종 연결되지만, 병렬 포트, IEEE 1394 직렬 포트, 게임 포트, USB 포트, IR 인터페이스 등과 같은 기타 인터페이스들에 의해 연결될 수 있다.

모니터(1844) 또는 기타 유형의 디스플레이 장치가 또한 비디오 어댑터(1846)와 같은 인터페이스를 통해 시스템 버스(1808)에 연결된다. 모니터(1844)외에, 컴퓨터는 전형적으로 스피커, 프린터 등과 같은 기타 주변 출력 장치들(도시되지 않음)을 포함한다.

컴퓨터(1802)는 원격 컴퓨터(들)(1848)와 같은 하나 이상의 원격 컴퓨터로의 유선 및/또는 무선 통신을 통한 논리적 연결을 사용하는 네트워크 환경에서 동작할 수 있다. 원격 컴퓨터(들)(1848)는 워크스테이션, 서버 컴퓨터, 라우터, 개인용 컴퓨터, 휴대용 컴퓨터, 마이크로프로세서-기반 오락 기구, 피어 장치 또는 기타 공통 네트워크 노드일 수 있고, 간략화를 위하여 메모리 저장 장치(1850)만이 도시되지만, 전형적으로 컴퓨터(1802)에 관련되어 기술된 구성요소들 중 다수 또는 모두를 포함한다. 도시된 논리적 연결들은 근거리 통신망(LAN)(1852) 및/또는, 예를 들어, 광역 통신망(WAN)(1854)과 같은 더 큰 통신망으로의 유선/무선 연결성을 포함한다. 그러한 LAN 및 WAN 네트워킹 환경은 사무실 및 회사에서 일반적인 것이며, 인트라넷과 같은 기업규모 컴퓨터 네트워크, 인터넷과 같은 글로벌 통신 네트워크에 연결할 수 있는 모든 것을 용이하게 한다.

LAN 네트워킹 환경에서 사용될 때, 컴퓨터(1802)는 유선 및/또는 무선 통신 네트워크 인터페이스 또는 어댑터(1856)를 통해 LAN(1852)에 연결된다. 어댑터(1856)는 LAN(1852)으로의 유선 또는 무선 통신을 용이하게 할 수 있고, 그것은 또한 무선 어댑터(1856)와의 통신을 위해 배치된 무선 액세스 포인트를 또한 포함할 수 있다. WAN 네트워킹 환경에서 사용될 때, 컴퓨터(1802)는 모뎀(1858)을 포함할 수 있고, 또는 LAN 상의 통신 서버에 연결되며, 또는 인터넷에 의한 것과 같이 WAN(1854)을 거쳐 통신을 설정하기 위한 기타 수단들을 갖는다. 내장이거나 외장일 수 있고 유선 또는 무선 장치일 수 있는 모뎀(1858)은 직렬 포트 인터페이스(1842)를 통해 시스템 버스(1808)에 연결된다. 네트워크 환경에서, 컴퓨터(1802)와 관련하여 도시된 프로그램 모듈 또는 그것의 부분들은 원격 메모리/저장 장치(1850)에 저장될 수 있다. 도시된 네트워크 연결들은 예시이며, 컴퓨터들 사이에 통신 링크를 설정하기 위한 기타 수단들이 사용될 수 있음을 잘 알 것이다.

컴퓨터(1802)는 무선 통신에 효율적으로 배치된 임의의 무선 장치 또는 엔터티들, 예를 들어, 프린터, 스캐너, 데스크탑 및/또는 휴대용 컴퓨터, PDA, 통신 위성, 또는 무선으로 감지될 수 있는 태그와 관련된 임의의 장치 또는 위치(예를 들어, 키오스크, 뉴스 스탠드, 화장실), 및 전화기와 통신하기 위하여 동작할 수 있다. 이것은 적어도 Wi-Fi 및 블루투스^TM 무선 기술을 포함한다. 따라서, 통신은 기존의 네트워크와의 통신과 같이 미리 정의된 구조일 수 있고, 또는 단순히 적어도 두 장치들 사이의 애드 혹 통신일 수 있다.

Wi-Fi, 또는 무선 피델리티는 가정에서 의자로부터, 호텔룸의 침대로부터 또는 직장에서 컨퍼런스 룸으로부터 유선 없이 인터넷으로의 연결을 허용한다. Wi-Fi는, 예를 들어, 컴퓨터와 같은 장치들이 내부 및 외부로, 기지국의 범위 내의 어디든지 데이터를 전송 및 수신하는 것을 가능하게 하는 휴대 전화와 같은 무선 기술이다. Wi-Fi 네트워크들은 안전하고, 신뢰할 수 있으며, 신속한 무선 연결성을 제공하기 위하여 IEEE 802.11(a,b,g 등)이라 불리는 무선 기술을 사용한다. Wi-Fi 네트워크는 컴퓨터들을 서로에, 인터넷에, 및 (IEEE 802.3 또는 이더넷을 사용하는) 유선 네트워크에 연결하기 위하여 사용될 수 있다. Wi-Fi 네트워크들은 네트워크가 많은 사무실에서 사용되는 기본 10BaseT 유선 이더넷 네트워크에 유사한 실제 성능을 제공할 수 있도록, 허가되지 않은 2.4 및 5 GHz 무선 대역에서 11Mbps(802.11b) 또는 54Mbps(802.11a) 데이터율을 가지고 또는 두 대역 모두를 포함하는(이중 대역) 제품들을 가지고 동작한다.

이제 도 19를 참조하면, 본 발명에 따른 예시적인 컴퓨팅 환경(1900)의 개략적인 블럭도가 도시된다. 시스템(1900)은 하나 이상의 클라이언트(들)(1902)를 포함한다. 클라이언트(들)(1902)는 하드웨어 및/또는 소프트웨어일 수 있다(예를 들어, 스레드, 프로세스, 컴퓨팅 장치). 클라이언트(들)(1902)는 본 발명을 이용하여, 예를 들어, 쿠키(들) 및/또는 관련 문맥상의 정보를 보관할 수 있다. 시스템(1900)은 또한 하나 이상의 서버(들)(1904)를 포함한다. 서버(들)(1904) 또한 하드웨어 및/또는 소프트웨어일 수 있다(예를 들어, 스레드, 프로세스, 컴퓨팅 장치). 서버들(1904)은 본 발명을 이용하여, 예를 들어, 변환을 수행하기 위하여 스레드들을 보관할 수 있다. 클라이언트(1902)와 서버(1904) 사이의 한 가지 가능한 통신은 둘 이상의 컴퓨터 프로세스들 사이에 전송되도록 적응된 데이터 패킷의 형태를 가질 수 있다. 데이터 패킷은, 예를 들어, 쿠키 및/또는 관련 문맥상의 정보를 포함할 수 있다. 시스템(1900)은 클라이언트(들)(1902)와 서버(들)(1904) 사이의 통신을 용이하게 하기 위하여 이용될 수 있는 통신 프레임워크(1906)(예를 들어, 인터넷과 같은 글로벌 통신 네트워크)를 포함한다.

통신은 유선(광섬유 포함) 및/또는 무선 기술을 통해 용이해질 수 있다. 클라이언트(들)(1902)는 클라이언트(들)(1902)에 국한되는 정보(예를 들어, 쿠키(들) 및/또는 관련 문맥상의 정보)를 저장하기 위하여 이용될 수 있는 하나 이상의 클라이언트 데이터 스토어(들)(1908)에 효율적으로 연결된다. 유사하게, 서버(들)(1904)는 서버들(1904)에 국한되는 정보를 저장하기 위해 이용될 수 있는 하나 이상의 서버 데이터 스토어(들)(1910)에 효율적으로 연결된다.

상기에 기술된 것은 본 발명의 예들을 포함한다. 물론, 본 발명을 기술하기 위하여 컴포넌트들 또는 방법론들의 생각할 수 있는 모든 조합을 기술하는 것은 불가능하지만, 본 분야에서 통상적인 기술을 가진 자들은 본 발명의 더 많은 조합 및 순열이 가능하다는 것을 알 수 있다. 따라서, 본 발명은 첨부된 특허청구범위의 취지 및 범주 내에 속하는 그러한 모든 변경, 수정 및 변형을 포함하도록 의도된다. 게다가, "포함하다(include)"라는 용어가 상세 설명이나 특허청구범위에서 사용되는 한, 그러한 용어는 "포함하는(comprising)"이라는 용어가 특허청구범위에서 과도기적인 단어로서 이용될 때 해석되는 바와 유사한 방식으로 포괄적인 것으로 의도된다.

본 발명은 디지털 플래시 사용 촬영을 개선하기 위한 시스템 및 방법을 제공한다.

Claims (40)

1. 디지털 이미지들의 생성을 용이하게 해 주는 시스템으로서,

   피사체의 복수의 디지털 이미지들을 수신하는 컴포넌트-상기 디지털 이미지들 중 적어도 두 개는 상이한 조도 컴포넌트(illumination component)를 포함함-, 및

   상기 수신된 이미지들의 부분 집합을 조합하여(merge) 상기 피사체의 새로운 이미지를 생성하는 이미지 생성 컴포넌트

   를 포함하는 시스템.
2. 제1항에 있어서,

   상기 적어도 두 개의 디지털 이미지들 중 하나는 플래시 조명을 사용하여 취해진 시스템.
3. 제1항에 있어서,

   상기 적어도 두 개의 디지털 이미지들 중 하나는 또 다른 이미지를 위한 플래시 조명의 세기보다 높은 플래시 조명을 사용하여 취해진 시스템.
4. 제1항에 있어서,

   상기 복수의 이미지들의 부분 집합은 소정 시간 프레임 내에서 연속적으로 취해지는 시스템.
5. 제1항의 시스템을 포함하는 디지털 카메라.
6. 제1항에 있어서,

   상기 디지털 이미지들의 상기 적어도 두 개를 분석하여 이미지 인공산물(artifact)을 식별해 내는 비교 컴포넌트를 더 포함하는 시스템.
7. 제6항에 있어서,

   상기 이미지 인공산물은 적목 현상(red eye), 그림자, 및 잡음 중 적어도 하나인 시스템.
8. 제1항에 있어서,

   상기 이미지 생성 컴포넌트는 상기 새로운 이미지를 생성함에 있어 한 이미지의 고주파수 성분들과 또 다른 이미지의 저주파수 성분들을 조합하는 시스템.
9. 제8항에 있어서,

   상기 주파수 성분들에 대해 비용 함수(cost function)를 적용시켜 불일치하는 주파수 성분들의 조합을 경감시키는 비용 컴포넌트(cost component)를 더 포함하는 시스템.
10. 제8항에 있어서,

    양측성 필터와 결합 양측성 필터(joint bilateral filter) 중 적어도 하나를 채용한 시스템.
11. 제1항에 있어서,

    상기 디지털 이미지들 중 상기 적어도 두 개는 빠른 연속으로 취해진 플래시사용 및 플래시 미사용(no-flash) 쌍을 포함하는 시스템.
12. 제1항에 있어서,

    상기 디지털 이미지들 중 한 이미지의 색을 연속적으로 보정하는 시스템.
13. 제1항에 있어서,

    상기 이미지 생성 컴포넌트는 또 다른 이미지로부터의 디테일(detail)을 부가시켜 한 이미지를 개선시키는 시스템.
14. 제1항의 시스템을 포함하는 휴대용 무선 통신 장치.
15. 제1항의 시스템을 수행하기 위한 컴퓨터 실행가능 명령어들이 저장되어 있는 컴퓨터 판독가능 매체.
16. 디지털 이미지들의 생성을 용이하게 해 주는 시스템으로서,

    피사체의 복수의 디지털 이미지들을 수신하는 컴포넌트-상기 복수의 디지털 이미지들 중 적어도 두 개는 상이한 공간 주파수 성분들을 포함함-, 및

    상기 수신된 복수의 디지털 이미지들의 부분 집합을 조합하여 상기 피사체의 새로운 이미지를 생성하는 이미지 생성 컴포넌트

    를 포함하는 시스템.
17. 제16항에 있어서,

    상기 복수의 디지털 이미지들 중 상기 적어도 두 개는 고주파수 공간 성분들을 포함하는 플래시 사용 이미지와 저주파수 공간 성분들을 포함하는 플래시 미사용 이미지를 포함하는 시스템.
18. 제16항의 시스템을 채용하는 핸드헬드 컴퓨팅 장치.
19. 디지털 이미지들의 생성을 용이하게 해 주는 방법을 수행하기 위한 컴퓨터 실행가능 명령어들을 포함하는 컴퓨터 판독가능 매체로서, 상기 방법은,

    피사체의 플래시 사용 이미지와 플래시 미사용 이미지를 수신하는 단계,

    상기 플래시 사용 이미지를 이용하여 상기 플래시 미사용 이미지의 잡음을 제거시키는(denoise) 단계,

    상기 플래시 사용 이미지의 디테일을 상기 플래시 미사용 이미지로 전달하는 단계, 및

    상기 플래시 사용 이미지 및 상기 플래시 미사용 이미지에 기초하여 상기 피사체의 새로운 이미지를 출력하는 단계

    를 포함하는 컴퓨터 판독가능 매체.
20. 제19항에 있어서,

    상기 방법은 상기 플래시 사용 이미지의 플래시 색을 이용하여 상기 플래시 미사용 이미지의 화이트 밸런스를 맞추는 화이트 밸런스 기능을 수행하는 단계를 더 포함하는 컴퓨터 판독가능 매체.
21. 제19항에 있어서,

    상기 방법은 상기 플래시 사용 이미지와 상기 플래시 미사용 이미지 간의 동공 색(pupil color)을 처리하여 적목 현상 교정을 수행하는 단계를 더 포함하는 컴퓨터 판독가능 매체.
22. 제19항에 있어서,

    상기 방법은 플래시 그림자 및 반사 영역을 검출하는 단계를 더 포함하는 컴퓨터 판독가능 매체.
23. 제19항에 있어서,

    상기 잡음 제거 단계는 상기 플래시 사용 이미지를 이용하여 고주파수 정보를 추정하는 단계를 더 포함하는 컴퓨터 판독가능 매체.
24. 제19항에 있어서,

    상기 전달 단계는

    그림자 영역과 반사 영역 중 적어도 하나를 검출하는 단계, 및

    상기 영역들을 식별하는 마스크를 생성하는 단계를 더 포함하는 컴퓨터 판독가능 매체.
25. 제24항에 있어서,

    상기 방법은 상기 그림자들에 관련된 임계치를 대화식으로 조정하는 단계를 더 포함하는 컴퓨터 판독가능 매체.
26. 디지털 이미지의 생성을 용이하게 해 주는 방법으로서,

    피사체의 플래시 사용 이미지와 플래시 미사용 이미지를 수신하는 단계,

    상기 플래시 사용 이미지를 사용하여 상기 플래시 미사용 이미지의 잡음을 제거시키는 단계,

    상기 플래시 사용 이미지 및 상기 플래시 미사용 이미지에 기초하여 새로운 이미지를 출력하는 단계

    를 포함하는 방법.
27. 제26항에 있어서,

    상기 플래시 사용 이미지의 고주파수 성분과 상기 플래시 미사용 이미지의 저주파수 성분을 조합하는 단계를 더 포함하는 방법.
28. 제26항에 있어서,

    불일치하는 주파수 성분들의 결합을 방지시키는 비용 함수를 적용시키는 단계를 더 포함하는 방법.
29. 제26항에 있어서,

    상기 잡음 제거 단계는

    공간적으로 근접한 값들 중 적어도 하나이고 동일한 세기 값을 갖는 화소들을 평균화하는 양측성의 필터를 이용하여 상기 플래시 미사용 이미지를 필터링하는 단계, 및

    상기 플래시 미사용 이미지의 고주파수 성분들을 결합 양측성 필터를 이용하여 추정하는 단계

    를 포함하는 방법.
30. 제26항에 있어서,

    주위 색 조도를 추정하여 화이트 밸런스를 맞추는 단계를 더 포함하는 방법.
31. 제30항에 있어서,

    상기 플래시 미사용 이미지의 복수의 화소에서의 상기 추정된 색 조도를 분석하는 단계를 더 포함하는 방법.
32. 제26항에 있어서,

    상기 플래시 사용 이미지로부터 디테일 계층을 일정 비에 따라 계산하는 단계, 및

    상기 플래시 사용 이미지에서 그림자 및 반사성을 검출하는 단계 중 적어도 하나를 더 포함하는 방법.
33. 디지털 이미지의 생성을 용이하게 해 주는 방법으로서,

    피사체의 플래시 사용 이미지와 플래시 미사용 이미지를 수신하는 단계,

    상기 플래시 사용 이미지의 디테일을 상기 플래시 미사용 이미지로 전달하는 단계, 및

    상기 플래시 사용 이미지 및 상기 플래시 미사용 이미지에 기초하여 상기 피사체의 새로운 이미지를 출력하는 단계

    를 포함하는 방법.
34. 제33항에 있어서,

    상기 수신 단계는 상기 플래시 사용 이미지 및 상기 플래시 미사용 이미지를 1/30초 미만으로 연속으로 획득하는 단계를 포함하는 방법.
35. 제33항에 있어서,

    상기 플래시 사용 이미지의 디테일 계층을 적어도 하나의 RGB 채널에서 계산되는 비에 따라 계산하는 단계를 더 포함하는 방법.
36. 제35항에 있어서,

    상기 비는 신호 크기와 신호 반사율과는 무관한 방법.
37. 제33항에 있어서,

    그림자 영역과 반사 영역 중 적어도 하나를 식별하는 마스크를 추정하는 단계를 더 포함하는 방법.
38. 제37항에 있어서,

    상기 그림자 영역의 마스크와 상기 반사 영역의 마스크를 조합하여 상기 마스크를 생성하는 단계를 더 포함하는 방법.
39. 제33항에 있어서,

    필터를 이용하여 전달되는 상기 디테일의 양을 제어하는 단계를 더 포함하는 방법.
40. 디지털 이미지의 생성을 용이하게 해 주는 시스템으로서,

    피사체의 플래시 사용 이미지와 플래시 미사용 이미지를 수신하기 위한 수단,

    상기 플래시 미사용 사용 이미지의 잡음을 제거시키기 위한 수단,

    상기 플래시 사용 이미지의 디테일을 상기 플래시 미사용 이미지로 전달하기 위한 수단,

    상기 플래시 사용 이미지를 이용하여 상기 플래시 미사용 이미지의 화이트 밸런스를 맞추기 위한 수단,

    상기 피사체를 캡처한 후 플래시 세기를 조절하기 위한 수단,

    인공산물을 교정하기 위한 수단, 및

    상기 플래시 사용 이미지 및 상기 플래시 미사용 이미지에 기초하여 새로운 이미지를 출력하기 위한 수단

    을 포함하는 시스템.

Images