KR20210118232A

KR20210118232A - 합성 이미지에서 이미지 데이터 프로세싱

Info

Publication number: KR20210118232A
Application number: KR1020217029713A
Authority: KR
Inventors: 존 더블유 글로츠바흐; 루이웬 젠; 이브라힘 펫쿠쿡센; 하미드 라힘 세이크
Original assignee: 삼성전자주식회사
Priority date: 2019-02-18
Filing date: 2019-06-12
Publication date: 2021-09-29
Also published as: EP3899862A1; WO2020171300A1; KR102561714B1; CN113439286A; US10949959B2; EP3899862A4; US20200265566A1

Abstract

합성 이미지에서 이미지 데이터를 프로세싱하는 방법이 설명된다. 상기 방법은 합성 이미지의 이미지들의 멀티레벨 블렌딩을 분석하는 단계; 합성 이미지의 급격한 전이 경계 영역들을 식별하는 단계; 급격한 전이 경계 영역들에서 합성 이미지의 멀티레벨 블렌딩의 더 높은 레벨들에 대해 더 적은 감쇠를 적용하는 단계; 및 급격한 전이 경계 영역들에서 합성 이미지의 멀티레벨 블렌딩의 더 낮은 레벨들에 대해 더 높은 감쇠를 적용하는 단계를 포함한다.

Description

합성 이미지에서 이미지 데이터 프로세싱

본 발명의 일 실시예는 대체로 다수의 카메라들을 갖는 디바이스들에 관한 것이고, 특히, 합성 이미지에서 이미지 데이터를 프로세싱하는 디바이스들 및 방법들에 관한 것이다.

디지털 카메라들은 디지털 포맷으로 저장되는 이미지를 촬영하는 전자 디바이스들이다. 다른 전자 디바이스들, 이를테면 스마트 폰들, 태블릿들 또는 다른 휴대용 디바이스들에는, 종종 디지털 포맷으로 이미지들의 촬영을 가능하게 하는 카메라가 장착된다. 카메라들 또는 카메라들을 갖는 전자 디바이스들의 개선된 기능에 대한 요구가 증가함에 따라, 상이한 기능을 갖는 다수의 카메라들이 전자 디바이스들에서 구현되고 있다. 일부 구현예들에 따르면, 전자 디바이스에서의 듀얼 카메라 모듈이 두 개의 상이한 렌즈들/센서들을 포함할 수 있거나, 또는 노출 셋팅들과 같은 상이한 카메라 특성들을 가질 수 있다.

디지털 카메라들을 갖는 디바이스에 의해 촬영되는 많은 장면들은 매우 큰 다이내믹 레인지를 포함한다(즉, 매우 맑은 영역과 및 매우 어두운 영역 둘 다가 동일한 장면에 존재한다). 카메라가 단일 노출을 사용하여 장면을 기록하는 것이 어렵고, 그래서 이미지 프레임들이 HDR(high dynamic range) 알고리즘들을 사용하여 결합되는 다수의 노출들이 종종 사용된다. 이들 알고리즘들은 다수의 노출들 중에서 최상으로 노출되는 각각의 이미지 프레임의 부분들을 선택할 수 있다. 이들 부분들은 블렌딩을 사용하여 함께 합성된다. 블렌딩에서, 각각의 프레임이 최종 결과에 기여해야 하는 방법을 제어하기 위해 블렌딩 가중값들을 사용하여 다수의 이미지 프레임들이 함께 결합된다. 후광(halo) 아티팩트로 알려진 특정 아티팩트가 장면의 밝은 영역과 어두운 영역 사이의 전이점(transition point) 주위에서 자주 생성된다.

그러므로, 후광 아티팩트와 같은 전이 아티팩트들을 줄이는, 이미지들을 블렌딩하는 디바이스들 및 방법들이 유익하다.

이미지의 품질을 향상시키는 디바이스가 또한 설명된다. 상기 디바이스는, 합성 이미지의 이미지들의 멀티레벨 블렌딩을 분석하며; 합성 이미지의 급격한 전이 경계 영역들을 식별하며; 급격한 전이 경계 영역들에서 합성 이미지의 멀티레벨 블렌딩의 더 높은 레벨들에 대해 더 적은 감쇠를 적용하고; 급격한 전이 경계 영역들에서 합성 이미지의 멀티레벨 블렌딩의 더 낮은 레벨들에 대해 더 높은 감쇠를 적용하도록 구성되는 프로세서 회로를 포함한다.

저장되는 데이터가 이미지의 품질을 향상시키기 위해 컴퓨터에 의해 실행 가능한 소프트웨어를 나타내는 비일시적 컴퓨터 판독가능 저장 매체이며, 상기 비일시적 컴퓨터 판독가능 저장 매체는 합성 이미지의 이미지들의 멀티레벨 블렌딩을 분석하는 단계; 합성 이미지의 급격한 전이 경계 영역들을 식별하는 단계; 급격한 전이 경계 영역들에서 합성 이미지의 멀티레벨 블렌딩의 더 높은 레벨들에 대해 더 적은 감쇠를 적용하는 단계; 및 급격한 전이 경계 영역들에서 합성 이미지의 멀티레벨 블렌딩의 더 낮은 레벨들에 대해 더 높은 감쇠를 적용하는 단계를 포함한다.

도 1은 복수의 카메라들을 갖는 예시적인 전자 디바이스의 블록도이며;
도 2는 다수의 이미지들에 연관되는 상이한 레벨들을 도시하는 도면이며;
도 3은 다수의 이미지들에 연관되는 상이한 레벨들에 대한 가중값들을 사용한 블렌딩을 도시하는 도면이며;
도 4는 두 개의 입력 이미지들에 기초하여 블렌딩된 출력 이미지를 생성하기 위한 블록도이며;
도 5는 도 4의 두 개의 입력 이미지들에 대한 감쇠 신호의 적용을 도시하는 그래프이며;
도 6은 감소된 후광 효과를 갖는 출력 이미지를 형성하기 위해 블렌딩되는 이미지들의 일 예를 도시하며; 그리고
도 7은 합성 이미지에서의 이미지 데이터를 프로세싱하는 방법을 도시하는 흐름도이다.

아래에서 언급되는 디바이스들 및 방법들은 블렌딩 제어가 어두운 영역에서부터 밝은 영역으로 빠르게 변화할 수 있는 장면에 연관되는 전이 경계들을 검출한다. 전이 경계들의 검출 후, 디바이스들 및 방법들은 후광 아티팩트(halo artifact)를 억제하기 위한 블렌딩의 제어를 제공한다. 상기 디바이스들 및 방법들은 후광 아티팩트가 생성될 곳을 검출하고 블렌딩을 제어하여 블렌딩된 결과가 후광 아티팩트를 나타내는 것을 방지할 수 있다. 예를 들어, 상기 디바이스들 및 방법들은 블렌딩 가중값들에서 큰 변화들을 찾을 수 있는데, 큰 변화들을 갖는 영역들은 급격한 전이 경계들을 표시(mark)할 수 있다. 상기 회로들 및 방법들은 상이한 노출들을 갖는 이미지들과 함께 사용될 때 또는 플래시를 사용하여 생성된 이미지가 플래시를 사용하지 않고 생성된 이미지와 블렌딩되는 경우 유익할 수 있다.

일부 구현예들에 따르면, 상기 디바이스들 및 방법들은 검출이 블렌딩 피라미드의 다수의 레벨들에서 적용될 수 있는 피라미드 블렌딩으로의 확장을 제공한다. 미세한 디테일들이 블렌딩 피라미드의 고해상도 레벨들로 기록된다. 출력 이미지에서 미세한 디테일들을 평활화(smoothing)하는 것을 피하기 위해 더 적은 제어가 이들 레벨들에 적용된다. 대규모 전이들이 더 낮은 레벨들에서 기록되며, 그래서 상기 더 낮은 레벨들에서의 검출과 검출된 영역들에서의, 억제(suppression)라고 또한 알려진, 더 많은 감쇠(attenuation)를 적용하여 후광 아티팩트를 제어하는 것이 가능하다. 그러므로, 상기 디바이스들 및 방법들은 출력 이미지에서 미세한 디테일들을 잃어버리는 일 없이 피라미드에서 후광 감쇠(halo attenuation)가 수행되는 것을 허용한다. 감쇠는 제어 가능한 임계값들을 사용하여 각각의 레벨에서 적용될 수 있다. 저 해상도 레벨들에서의 디테일 레벨은 블렌딩 가중값들에서 급속한 전이가 있는 지점들에서 감소될 수 있다. 제어 적응이 장면 콘텐츠에 기초할 수 있다. 상기 디바이스들 및 방법들은 후광 영역이 검출되는 것을 허용하고 후광 오버슈트(overshoot) 및 언더슈트(undershoot)를 피하기 위해 얼마나 많은 고역 통과 에너지를 출력에 전달할지를 제어한다.

게다가, 신규한 것으로 간주되는 본 발명의 하나 이상의 구현예들의 특징들을 정의하는 청구항들을 명세서가 포함하지만, 상기 회로들 및 방법들은 도면들과 연계하여 명세서를 고려하면 더 잘 이해될 것이라고 믿어진다. 다양한 회로들 및 방법들이 개시되지만, 상기 회로들 및 방법들은 다양한 형태들로 구현될 수 있는 본 발명의 배열들의 단지 예시일 뿐이라는 것이 이해되어야 한다. 그러므로, 본 명세서에 내에서 개시되는 특정 구조적 및 기능적 세부사항들은 제한하는 것으로서 해석되지 않아야 하고 단지 청구범위에 대한 근거로서 그리고 가상적으로 임의의 적합한 세부 구조에서 본 발명의 배열들을 다양하게 채용할 것을 본 기술분야의 통상의 기술자에게 교시하기 위한 대표적인 근거로서 해석되어야 한다. 게다가, 본 개시에서 사용되는 용어들 및 문구들은 제한하는 것으로 의도되지 않고, 오히려 회로들 및 방법들의 이해 가능한 설명을 제공하기 위해 의도된다.

먼저 도 1로 가면, 복수의 카메라들을 갖는 전자 디바이스의 블록도가 도시되어 있다. 상기 전자 디바이스, 예를 들어 모바일 디바이스(100)는, 하나 이상의 카메라들을 갖는 임의의 유형의 디바이스일 수 있다. 모바일 디바이스(100)는 복수의 카메라들(104 및 105)에 연결된 프로세서(102)를 포함할 수 있다. 카메라들(104 및 105)은 상이한 초점 거리들과 같은 상이한 특성들, 또는 상이한 노출 시간들 또는 상이한 플래시의 사용과 같은 상이한 동작 특성들을 가질 수 있으며, 여기서 이미지들의 블렌딩은 아래에서 더 상세히 설명되는 바와 같이 상이한 특성들을 갖는 이미지들에 관련될 수 있다. 모바일 디바이스(100)는 정보를 송신하고 수신하기에 적합한 임의의 유형의 디바이스, 이를테면 스마트 폰, 태블릿, 또는 정보를 수신하거나 또는 제공하는 다른 전자 디바이스, 이를테면 착용가능 디바이스일 수 있다. 프로세서(102)는 ARM 프로세서, X86 프로세서, MIPS 프로세서, 그래픽 프로세싱 유닛(graphics processing unit)(GPU), 범용 GPU, 또는 메모리에 저장되는 명령들을 실행하도록 구성되는 임의의 다른 프로세서일 수 있다. 프로세서(102)는 하나 이상의 프로세싱 디바이스들로 구현될 수 있으며, 상기 프로세서들은 상이할 수 있다. 예를 들어, 전자 디바이스는 중앙 프로세싱 유닛(central processing unit)(CPU) 뿐만 아니라 예를 들어 GPU를 포함할 수 있다. 프로세싱 회로의 동작은 아래에서 언급되는 회로들 및 방법들의 다양한 특징들을 구현하기 위해 소프트웨어 및 하드웨어 둘 다에 의존할 수 있다.

프로세서(102)는 정보를 사용자에게 디스플레이하기 위한 디스플레이(106)에 연결될 수 있다. 프로세서(102)는 데이터에 관련된 정보 또는 이미지 데이터에 연관되는 정보를 저장하는 것을 가능한 메모리(108)에 또한 연결될 수 있다. 메모리(108)는 프로세서(102)의 일부로서 구현될 수 있거나, 또는 잘 알려진 바와 같이, 프로세서의 임의의 캐시 메모리에 추가하여 구현될 수 있다. 메모리(108)는 임의의 유형의 메모리, 이를테면 고체 상태 드라이브(solid state drive)(SSD), 플래시 메모리, 판독 전용 메모리(Read Only Memory)(ROM) 또는 장기 기억을 제공하는 임의의 다른 메모리 구성요소를 포함할 수 있으며, 상기 메모리는 전자 드라이브의 임의의 유형의 내부 메모리 또는 전자 디바이스에 의해 액세스 가능한 외부 메모리일 수 있다.

사용자 인터페이스(110)는 데이터를 입력하는 것과 데이터를 수신하는 것 둘 다를 가능하게 하기 위해 사용자에게 또한 제공된다. 이미지들을 기록하는 일부 양태들은 사용자의 수동 입력을 요구할 수 있다. 사용자 인터페이스(110)는 스마트 폰, 스마트 워치 또는 태블릿 컴퓨터와 같은 휴대용 통신 디바이스 상에서 흔히 사용되는 터치 스크린 사용자 인터페이스와, 스피커 및 마이크로폰과 같은 다른 입출력(I/O) 구성요소들을 포함할 수 있다. 사용자 인터페이스(110)는 전기 커넥터에 의해, 또는 무선 연결, 이를테면 블루투스 또는 근접 장 통신(Near Field Communication)(NFC) 연결에 의해 모바일 디바이스에 부속될 수 있는, 데이터를 입력하거나 또는 출력하기 위한 디바이스들을 또한 포함할 수 있다.

프로세서(102)는 활동 추적을 위해 다양한 센서들(120), 관성 측정 유닛(inertial measurement unit)(IMU)(112) 및 글로벌 포지셔닝 시스템(Global Positioning System)(GPS) 디바이스(113)을 포함하는, 입력 데이터를 수신하거나 또는 데이터를 제공하는 다른 구성요소들에 또한 연결될 수 있다. 예를 들어, 관성 측정 유닛(IMU)(112)은 디바이스의 모션 또는 방향에 관련된 다양한 정보를 제공할 수 있는 한편, GPS(113)는 디바이스에 연관되는 로케이션 정보를 제공한다. 모바일 디바이스의 일부일 수 있거나 또는 모바일 디바이스에 연결될 수 있는 센서들은, 예로서 광 세기(light intensity)(예컨대, 주변 광 또는 UV 광) 센서, 근접 센서, 환경 온도 센서, 습도 센서, 심박수 검출 센서, 갈바닉 스킨 응답 센서(galvanic skin response sensor), 피부 온도 센서(skin temperature sensor), 기압계, 속도계, 고도계, 자력계, 홀(hall) 센서, 자이로스코프, WiFi 송수신부, 또는 목표를 성취하는 것에 관련된 정보를 제공할 수 있는 임의의 다른 센서를 포함할 수 있다. 프로세서(102)는 입출력(I/O) 포트(114), 또는 안테나(118)에 연결되는 송수신부(116)에 의해 입력 데이터를 수신할 수 있다. 전자 디바이스의 구성요소들이 예로서 도시되지만, 다른 구성요소들이 도 1의 전자 디바이스, 또는 아래에 언급되는 방법들을 구현하기 위해 상이하게 배열되는 전자 디바이스들에서 구현될 수 있다는 것이 이해되어야 한다. 복수의 카메라들이 도 1에서 도시되지만, 상이한 노출 특성들과 같은 상이한 특성들을 갖는 연속하는 프레임들이 단일 카메라에 의해 촬영될 수 있다. 예를 들어, 다수의 프레임들이 프레임들 간의 노출을 변경하는 단일 카메라에서 가져올 수 있다. 다수의 이미지들에 대한 아래의 임의의 참조를 위해, 단일 카메라 또는 다수의 카메라들이 다수의 이미지들을 촬영하는데 사용될 수 있다는 것에 주의해야 한다.

이제 도 2로 가면, 도면이 상이한 카메라들로부터의, 또는 단일 카메라로부터의 다수의 이미지들에 연관되는 상이한 레벨들을 도시하는데, 단일 카메라에 의해 촬영된 다수의 이미지들이 상이한 노출 특성들을 가질 수 있다. 일부 구현예들에 따르면, 상이한 카메라들은 상이한 노출 시간들을 가질 수 있거나 또는 플래시와 같은 상이한 보조 광의 사용이 있을 수 있다. 이미지 1 및 이미지 2 각각은 멀티-프레임 이미지들일 수 있다는 것이 또한 이해되어야 한다. 전이 아티팩트들을 피하기 위해, 블렌딩 피라미드들에 연관되는 멀티 스케일 블렌딩 알고리즘이 사용될 수 있다. 기존의 블렌딩 알고리즘들은 종종 어두운 영역과 밝은 영역 사이를 빠르게 전이하는 것이 어렵다. 후광으로 알려진 특정 아티팩트가 어두운 영역과 밝은 영역 사이의 이러한 전이점 주위에서 종종 생성된다. 전이의 밝은 측에서, 블렌딩된 결과는 더 밝아지는 반면, 상기 전이의 어두운 측에서, 블렌딩된 결과는 너무 어둡게 된다. 장면 전이 주위의 영역은, 합성 프로세싱이 최종 이미지를 생성하기 위해 카메라에 의해 적용되었을 수 있음을 나타내어, 매우 부자연스러워 보인다. 아래에서 더 상세히 언급되는 회로들 및 방법들은 이 전이 아티팩트를 해결하여 블렌딩된 출력 결과가 더 자연스럽게 보이도록 한다.

일부 구현예들에 따르면, 블렌딩 피라미드를 구현하는 회로 및 방법이, 도 3을 참조하여 더 상세히 설명될 바와 같이, 블렌딩 가중값들의 프레임과 함께, 긴 노출 입력 및 짧은 노출 입력과 같은 상이한 2 개의 이미지들을 받아 들인다. n 개 레벨들을 갖는 것으로 본 개시에서 도시되는 주어진 레벨에서의 이미지에 대한 높은 가중값은, 블렌딩된 결과가 이미지들 중 짧은 노출 이미지와 같은 하나의 이미지로부터의 더 높은 기여분을 사용해야 함을 나타낸다. 낮은 블렌딩 가중값은 블렌딩된 결과가 긴 노출 이미지와 같은 다른 이미지로부터의 더 높은 기여분을 사용해야 함을 나타낸다. 아래에서 언급되는 회로들 및 방법들은 블렌딩 가중값들이 낮은 값에서부터 높은 값으로 빠르게 전이하는 합성 이미지의 영역들에서 출력인 블렌딩된 결과를 개선시킨다.

도 2의 예에 따르면, n 개 레벨들이 제공되는데, 레벨 1은 디테일의 하이 레벨을 제공하고 해상도 레벨은 레벨 n까지 감소하며, 레벨 n은 로우 레벨 패스를 나타내고 기본 레벨을 나타낼 수 있다. 레벨들의 해상도는 이미지의 해상도를 예를 들어 4분의 1로 감소하는 것과 같이 다운샘플링함으로써, 생성될 수 있으며, 여기서 높이 및 가중값 치수들 중 각각의 치수의 해상도는 2만큼 감소될 것이고, 다음으로 높은 해상도 레벨의 화소들 중의 4분의 1만이 사용될 것이다. 다시 말하면, 레벨 2는 레벨 1에 비해 이미지에 연관되는 화소들의 수의 4분의 1만을 가질 수 있다. 예를 들어, 각각의 이미지에 대해, 레벨 1의 모든 정사각형의 4 개 화소들에 대해, 상기 화소들 중 하나만이 레벨 2의 이미지를 표현하는데 사용될 것이고, 레벨 2의 모든 정사각형의 4 개 화소들에 대해, 단지 하나의 화소만이 레벨 3의 이미지를 표현하는데 사용될 것이라는 등등이다. 레벨 n에서의 기본 이미지는 매우 낮은 해상도의 이미지이다. 2 개 이미지들이 예로서 도시되지만, 2 개를 초과하는 이미지들이 아래에서 언급되는 회로들 및 방법들을 사용하여 블렌딩될 수 있다는 것이 이해되어야 한다. 블렌딩 피라미드에서 두 개의 이미지들의 블렌딩에 관련된 더 자세한 내용은 도 3을 참조하여 제공된다.

이제 도 3으로 가면, 도면이 다수의 이미지들에 대한 블렌딩 피라미드와 연관되는 상이한 레벨들에 대한 가중값들을 사용하는 블렌딩을 도시하는데, 이미지 1 및 이미지 2는 상이한 노출들을 갖는 상이한 카메라들로부터의 이미지들을 나타내는 것으로서 위에서 설명된 바와 같이 구현될 수 있고, 멀티-프레임 이미지들일 수 있다. 대안으로, 이미지 1과 이미지 2는 다수의 이미지들이 상이한 노출 특성들을 가질 수 있는 단일 카메라에 의해 촬영될 수 있다. 상기이미지 쌍은 입력 이미지가 출력 이미지를 형성하기 위해 함께 혼합되는 방법을 정의하는 블렌딩 가중값들의 세트와 함께 전달된다. 피라미드의 각각의 레벨에서, 입력 이미지는 기본 이미지와 디테일 이미지로 나누어질 수 있다. 기본 이미지는 입력 이미지의 저 해상도 버전인 반면, 디테일 이미지는 고역 통과 정보를 포함한다. 기본 이미지는 피라미드의 다음 레벨에 입력으로서 전달된다. 모든 레벨들이 계산된 후, 피라미드로부터의 하나의 저 해상도 기본 이미지와 디테일 이미지들의 세트가 있다.

복원 피라미드에서, 기본 및 디테일 이미지들이 함께 결합될 때, 원본 입력 이미지는 복원된다. 블렌딩 애플리케이션을 위해, 이미지 피라미드의 각각의 레벨은 블렌딩된 디테일 이미지를 생성하기 위해 양 입력 이미지들로부터의 정보와 결합하는 블렌딩 블록을 포함한다. 피라미드의 최저 레벨은 두 개의 입력 이미지들의 저주파 모양들(low frequency views)을 포함한다. 이것들은 또한 블렌딩된 기본 계층을 형성하기 위해 함께 블렌딩된다. 블렌딩된 기본 계층은 블렌딩 피라미드로부터의 블렌딩된 디테일 계층들과 함께 최종 블렌딩된 출력 이미지를 형성하기 위해 복원 피라미드에 주어진다. 후광 효과와 같은 전이 효과들에 대한 보정은 블렌딩이 완료된 후가 아니라 블렌딩 프로세스 중에 수행될 수 있다는 것에 주의해야 한다. 하나의 구현예에 따르면, 블렌딩 피라미드는 8 개 레벨들을 포함할 수 있으며, 블렌딩은 특정한 레벨들에서 수행될 수 있다. 예를 들어, 전이 아티팩트를 갖는 것으로서 검출되는 이미지의 부분에서의 블렌딩은 텍스처의 손실을 피하기 위해 최고 해상도를 갖는 상단의 3 개 레벨들(즉, 도 3의 예의 레벨 1 내지 레벨 3)에서 수행되지 않을 수 있다. 블렌딩은, 일반적으로 이미지들의 흐릿한 버전이고 전이 아티팩트들의 로케이션들을 식별하기 위해 사용되는 최저 레벨(즉, 레벨 n)에서 또한 회피될 수 있다. 예로서, n=8이면, 8 레벨에서의 이미지들의 각각의 화소는 원래 이미지의 256x256 개 화소들을 나타낼 것이고, 그러므로 상당히 더 낮은 해상도를 갖는다. 도 3에 도시된 바와 같이, 가중값들은 우측에 생성되고, 블렌딩을 가능하게 하는데 사용된다. 가중값들만을 수신하는 기존의 디바이스들에서와는 달리, 도 3의 구현예에 따른 블렌딩은, 아래에서 더 상세히 설명될 바와 같이, 가중값 W0-Wn 및 미분 가중값 Wd0-N(주어진 레벨 i에 대해 Wdi로서 일반적으로 지정됨) 양쪽 모두를 사용한다. 블렌딩 피라미드들이 예로서 도시되지만, 합성 이미지에서 이미지 데이터를 프로세싱하기 위한 회로들 및 방법들은 임의의 멀티-스케일 블렌딩 동작과 함께 채용될 수 있다는 것이 이해되어야 한다.

이제 도 4로 가면, 두 개의 입력 이미지들에 기초하여 블렌딩된 출력 이미지를 생성하기 위한 블렌딩 제어 블록(402)의 블록도가 도시되어 있다. 블렌딩 제어 블록(402)은 도 3에 도시된 다수의 레벨들에서 블렌딩 피라미드에 기초하여 출력 이미지를 생성하는데 사용될 수 있다. 블렌딩 제어 블록(402)은 예로서 제1 이미지(I1) 및 제2 이미지(I2)로 도시되는 복수의 이미지들을 수신한다. 블렌딩 제어 블록(402)은 블렌딩된 출력 이미지(Out)를 생성하기 위해 도 3을 참조하여 위에서 설명된 바와 같은 상이한 레벨들에서 이미지들에 적용되는 가중 값들(Wi 및 Wdi)을 또한 수신한다. 가중 값(Wi)은 가중 값 맵을 나타내는데, 여기서 가중 값(Wi)은 각각의 레벨에 대해 제1 이미지로부터의 가중값을 기술한다. Wdi는 고역 통과 보간을 나타내고, 감쇠 값들을 결정하는데 사용되며, 이는 아래에서 더 상세히 설명될 것이다.

도 5의 그래프에서 도시된 바와 같이, 도 4의 두 개의 입력 이미지들에 대한 감쇠 값(A)이 Wdi의 값에 기초하여 각각의 레벨에 대해 생성될 수 있다. 다시 말하면, 각각의 레벨은 상이한 레벨들에 대한 Wdi의 상이한 값들에 기초하여 상이한 감쇠 값(A)을 가질 수 있다. 게다가, 상이한 감쇠 값들을 결정하기 위한 수학식 또는 수학식들은 각각의 레벨에 대해 상이할 수 있다(즉, 도 5의 그래프는 각각의 레벨에 대해 상이할 수 있다). 후광 아티팩트를 보정하기 위한 방법은 각각의 피라미드 레벨에서 블렌딩 가중값들에서의 큰 전이들을 검출하는 것에 기초한다. 합성 이미지에서 이미지 데이터를 프로세싱하기 위한 회로들 및 방법들에 따르면, 각각의 가중값 레벨은 기본 출력과 함께 디테일 출력을 생성해야 한다. Wdi 값은 각각의 블렌딩 레벨에서 가중값들에서의 변화 량 또는 미분을 제공한다. 하나의 구현예에 따르면, 블렌딩 피라미드는 라플라스 피라미드(Laplacian pyramid)일 수 있다. 이미지의 주어진 부분에 대한 가중값들에서의 변화량이 클 때, 후광이 발생할 가능성이 있다. 후광 효과를 보정하기 위하여, 동일한 피라미드의 출력 디테일 레벨까지 이미지의 해당 부분에 감쇠 이득이 제공된다. 블렌딩된 디테일 레벨을 감쇠 또는 억제함으로써, 블렌딩된 출력은 후광 오버슈트를 생성하는 것이 방지된다. Wdi는 현재 레벨(I)에서 가중값 피라미드로부터의 디테일 출력을 나타내고, 라플라스 함수에 연관되는 2차 도함수를 포함할 수 있다. 다시 말하면, Wi는 이미지의 화소들의 1차 도함수를 포함할 수 있고, Wdi는 이미지의 화소들의 2차 도함수를 포함할 수 있고 더 높은 해상도를 갖는 위의 계층의 이미지들에 대한 차이를 나타낸다. 블렌드 제어 회로(402)에 의해 생성된 출력이 다음에 의해 표현될 수 있다:

Out = (Wi * I1 + (1-Wi) * I2) * A (1)

감쇠 계수(A)는, 도 5에 도시된 바와 같이, 선형 곡선을 사용하여 컴퓨팅될 수 있다. 하나의 구현예에 따르면, 감쇠 값은 다음과 같이 계산될 수 있으며:

y = 1 - m(x-t1), (2)

여기서 기울기(m)는 다음일 수 있다:

m = (1-Amin)/(t2-t1) (3).

그러므로, 전이 아티팩트들을 갖는 것으로서 식별되는 영역들에서의 블렌딩된 출력은 해당 레벨에 대한 표준 출력에 1 이하인 감쇠 값(A)을 곱함으로써 감쇠된다. 하나의 구현예에 따르면, A의 값은 Wdi 값에 연관되는 제1 임계 값(t1)까지 1.0과 동일할 수 있고, 그 다음에 제2 임계 값(t2)이 달성되기까지 최소의 Amin으로 감소한다.

t1 및 t2의 값들을 결정하기 위하여, 다음으로 차이 이미지(Wd)가 결정되며,

Wi - Wdi = Wd, (4)

여기서 Wi는 저역 통과 필터(상기다운샘플링된 이미지의 출력)에 대한 입력 이미지에 기초할 수 있고 Wdi는 다운샘플링된 Wi 이미지에 대응하는 업샘플링된 버전에 기초한다. 하나의 구현예에 따르면, Wdi 값들은 (동일한 해상도의 이미지들에 기초하여 차이 이미지를 생성하기 위하여) 예를 들어 라플라스 변환 후에 생성될 수 있다. t1 및 t2의 값들은 결과적인 차이 이미지(Wd)가 밝은 영역과 어두운 영역 사이의 전이 에지들에서 후광 효과들을 피하도록 선택된다. 라플라스 기법(Laplacian technique)이 채용될 수 있지만, 웨이브릿 분해(wavelet decomposition)와 같은 다른 기법들이 대신 사용될 수 있다.

도 5의 그래프의 파라미터들(즉, 제어 가능한 임계값들인 Amin, t1 및 t2)은 조정 가능할 수 있고 피라미드의 각각의 레벨에 대해 상이할 수 있다. 블렌드 제어 회로(402)는 디테일 입력들이 블렌딩될 때 감쇠 계수를 제공한다. 피라미드의 최고 레벨들에서, 디테일 정보는 이미지 텍스처 및 미세한 디테일들에 관한 중요한 정보를 또한 포함한다. Wdi 값들을 사용하여 블렌딩하는 기법은 선택적으로 적용될 수 있다. 예를 들어, 이들 중요한 세부사항들을 잃는 것을 피하기 위해 하나 이상의 고 해상도 레벨들에서 적용되지 않을 수 있다. 파라미터들은 장면에 기초하여 변경될 수 있으며, 파라미터들은 장면에 대해 최적화된다. 하나의 구현예에 따르면, 파라미터들의 라이브러리가 저장될 수 있는데, 라이브러리로부터의 파라미터들의 그룹은 장면 특징들의 결정에 기초하여 선택된다. 이미지들이 입력되면, 블렌딩을 수행하기 위해 적용될 파라미터들은, 이를테면 이미지 단위 기반으로 선택될 수 있다.

이제 도 6으로 가면, 감소된 후광 효과를 갖는 출력 이미지를 형성하기 위해 블렌딩되는 예시적인 이미지들이 도시되어 있다. 도 6에 도시된 바와 같이, 블렌드 제어 블록은 두 개의 이미지들(602 및 604)과, 위에서 설명된 바와 같은 가중값 매핑(606)을 수신하여 출력 이미지(608)를 생성한다. 알 수 있는 바와 같이, 생성된 출력 이미지(608)에서의 밝은 영역과 어두운 영역 사이의 과격한 전이들(hard transitions)은 후광 효과를 감소시켰다.

이제 도 7로 가면, 흐름도가 합성 이미지에서 이미지 데이터를 프로세싱하는 방법을 도시한다. 합성 이미지의 이미지들의 멀티레벨 블렌딩이 블록 702에서, 이를테면 위에서 설명된 바와 같은 Wdi 값들을 사용하여 분석된다. 합성 이미지의 급격한 전이 경계 영역들은 블록 704에서 식별된다. 더 적은 감쇠가 블록 706에서 급격한 전이 경계 영역들에서 합성 이미지의 멀티레벨 블렌딩의 더 높은 레벨들에 적용된다. 일부 경우들에서, 감쇠가 특정한 레벨들에 적용되지 않을 수 있다. 블록 708에서 급격한 전이 경계 영역들에서 합성 이미지의 멀티레벨 블렌딩의 더 낮은 레벨들에 더 많은 감쇠가 적용된다.

일부 구현예들에 따르면, 이미지들의 멀티레벨 블렌딩을 분석하는 것은 합성 이미지의 이미지들의 피라미드 블렌딩을 분석하는 것을 포함할 수 있다. 상기 방법은 제어 가능한 임계값들을 사용하여 감쇠를 적용하는 것을 포함하여, 복수의 레벨들의 미리 결정된 레벨들에서 감쇠를 선택적으로 적용하는 것을 또한 포함할 수 있다. 예를 들어, 제어 가능한 임계값들은 감쇠를 시작하기 위한 제1 임계값, 감쇠를 종료하기 위한 제2 임계값, 및 감쇠 동안 적용되는 최소 감쇠 값을 포함할 수 있다. 상이한 제어 가능한 임계값들이 합성 이미지의 이미지들의 피라미드 블렌딩의 상이한 레벨들에 적용될 수 있다. 상기 방법은 급격한 전이 경계 영역들에서의 합성 이미지의 멀티레벨 블렌딩의 더 높은 레벨들에 대해 더 적은 감쇠를 적용하고 급격한 전이 경계 영역들에서의 합성 이미지의 멀티레벨 블렌딩의 더 낮은 레벨들에 대해 더 많은 감쇠를 적용한 후 합성 이미지의 이미지들의 블렌딩된 출력을 생성하는 단계를 또한 포함할 수 있다. 본 방법의 특정 구성요소들이 설명되었지만, 상기 방법의 추가적인 구성요소들, 또는 상기 구성요소들에 관련된 추가적인 세부사항들은, 도 1 내지 도 6에 따라 구현될 수 있다는 것이 이해되어야 한다.

따라서, 후광 감쇠 기법은 기존의 블렌딩 표준 알고리즘에 대한 수정으로서 구현될 수 있다. 그러나, 동일한 기법이 기본 레벨 이미지와 디테일 레벨 이미지 사이에 구분이 있는 임의의 블렌딩 알고리즘에 적용될 수 있다. 더 낮은 해상도들에서의 디테일들의 수정은 후광 효과를 감소시키는데, 후광이 장면에서 매우 높은 레벨 전이들에 영향을 미치는 아티팩트이기 때문이다. 상기 기법은 다수의 노출들이 결합된 이미지 출력의 다이내믹 레인지를 증가시키기 위해 촬영되는 하이 다이내믹 레인지 이미징(high dynamic range imaging)의 맥락에서 제시된다. 상기 기법은 예를 들어 플래시 및 비 플래시 이미지들을 결합할 때 아티팩트들을 감소시키는 것을 돕는데 또한 사용될 수 있다. 상기 기법은 상이한 노출들 간의 전이 영역들 주위의 오버슈트들 및 언더슈트들을 회피한다.

그러므로 초점 거리들이 있는 카메라들을 갖는 디바이스를 구현하는 새로운 회로들 및 방법들이 설명되어 있다는 것이 이해될 수 있다. 개시된 본 발명을 포함하는 다양한 대체물들 및 동등물들이 존재하는 것으로 보일 것이라는 것이 본 기술분야의 통상의 기술자들에 의해 이해될 것이다. 그 결과, 본 발명은 전술한 구현예들에 의해 제한되는 것이 아니라, 다음의 청구항들에 의해서만 제한된다.

Claims

합성 이미지에서 이미지 데이터를 프로세싱하는 방법에 있어서,
상기 합성 이미지의 이미지들의 멀티레벨 블렌딩(multi-level blending)을 분석하는 단계;
상기 합성 이미지의 급격한 전이 경계 영역들을 식별하는 단계;
프로세서를 사용하여, 상기 급격한 전이 경계 영역들에서 상기 합성 이미지의 멀티레벨 블렌딩의 더 높은 레벨들에 대해 더 적은 감쇠를 적용하는 단계; 및
상기 프로세서를 사용하여, 상기 급격한 전이 경계 영역들에서 상기 합성 이미지의 멀티레벨 블렌딩의 더 낮은 레벨들에 대해 더 많은 감쇠를 적용하는 단계;를 포함하는, 합성 이미지에서 이미지 데이터를 프로세싱하는 방법.
제1항에 있어서, 상기 이미지들의 멀티레벨 블렌딩을 분석하는 단계는, 상기 합성 이미지의 이미지들의 피라미드 블렌딩을 분석하는 단계를 포함하는, 합성 이미지에서 이미지 데이터를 프로세싱하는 방법.
제2항에 있어서, 상기 합성 이미지의 멀티레벨 블렌딩의 더 높은 레벨들에 대해 더 적은 감쇠를 적용하는 단계와 상기 합성 이미지의 멀티레벨 블렌딩의 더 낮은 레벨들에 대해 더 많은 감쇠를 적용하는 단계는, 상기 더 높은 레벨들 및 상기 더 낮은 레벨들의 미리 결정된 레벨들에서 감쇠를 선택적으로 적용하는 단계를 포함하는, 합성 이미지에서 이미지 데이터를 프로세싱하는 방법.
제1항에 있어서, 상기 합성 이미지의 멀티레벨 블렌딩의 더 높은 레벨들에 대해 더 적은 감쇠를 적용하는 단계와 상기 합성 이미지의 멀티레벨 블렌딩의 더 낮은 레벨들에 대해 더 많은 감쇠를 적용하는 단계는, 제어 가능한 임계값들을 사용하여 감쇠를 적용하는 단계를 포함하는, 합성 이미지에서 이미지 데이터를 프로세싱하는 방법.
제4항에 있어서, 상기 제어 가능한 임계값들은 감쇠를 시작하기 위한 제1 임계값, 감쇠를 종료하기 위한 제2 임계값, 및 감쇠 동안 적용되는 최소 감쇠 값을 포함하는, 합성 이미지에서 이미지 데이터를 프로세싱하는 방법.
제4항에 있어서, 상이한 상기 제어 가능한 임계값들은 상기 합성 이미지의 상기 이미지들의 피라미드 블렌딩의 상이한 레벨들에 적용되는, 합성 이미지에서 이미지 데이터를 프로세싱하는 방법.
제1항에 있어서, 상기 급격한 전이 경계 영역들에서의 상기 합성 이미지의 멀티레벨 블렌딩의 더 높은 레벨들에 대해 더 적은 감쇠를 적용하고 상기 급격한 전이 경계 영역들에서의 상기 합성 이미지의 멀티레벨 블렌딩의 더 낮은 레벨들에 대해 더 많은 감쇠를 적용한 후 상기 합성 이미지의 상기 이미지들의 블렌딩된 출력을 생성하는 단계를 더 포함하는, 합성 이미지에서 이미지 데이터를 프로세싱하는 방법.
이미지의 품질을 향상시키는 디바이스에 있어서,
프로세서 회로를 포함하며, 상기 프로세서 회로는,
상기 합성 이미지의 이미지들의 멀티레벨 블렌딩을 분석하며;
상기 합성 이미지의 급격한 전이 경계 영역들을 식별하며;
상기 급격한 전이 경계 영역들에서 상기 합성 이미지의 멀티레벨 블렌딩의 더 높은 레벨들에 대해 더 적은 감쇠를 적용하며;
상기 급격한 전이 경계 영역들에서 상기 합성 이미지의 멀티레벨 블렌딩의 더 낮은 레벨들에 대해 더 많은 감쇠를 적용하도록 구성되는, 이미지의 품질을 향상시키는 디바이스.
제8항에 있어서, 상기 이미지들의 멀티레벨 블렌딩을 분석하는 것은, 상기 합성 이미지의 이미지들의 피라미드 블렌딩을 분석하는 것을 포함하는, 이미지의 품질을 향상시키는 디바이스.
제9항에 있어서, 상기 합성 이미지의 멀티레벨 블렌딩의 더 높은 레벨들에 대해 더 적은 감쇠를 적용하는 것과 상기 합성 이미지의 멀티레벨 블렌딩의 더 낮은 레벨들에 대해 더 많은 감쇠를 적용하는 것은, 상기 더 높은 레벨들 및 상기 더 낮은 레벨들의 미리 결정된 레벨들에서 감쇠를 선택적으로 적용하는 것을 포함하는, 이미지의 품질을 향상시키는 디바이스.
제8항에 있어서, 상기 합성 이미지의 멀티레벨 블렌딩의 더 높은 레벨들에 대해 더 적은 감쇠를 적용하는 것과 상기 합성 이미지의 멀티레벨 블렌딩의 더 낮은 레벨들에 대해 더 많은 감쇠를 적용하는 것은, 제어 가능한 임계값들을 사용하여 감쇠를 적용하는 것을 포함하는, 이미지의 품질을 향상시키는 디바이스.
제11항에 있어서, 상기 제어 가능한 임계값들은 감쇠를 시작하기 위한 제1 임계값, 감쇠를 종료하기 위한 제2 임계값, 및 감쇠 동안 적용되는 최소 감쇠 값을 포함하는, 이미지의 품질을 향상시키는 디바이스.
제11항에 있어서, 상이한 상기 제어 가능한 임계값들은 상기 합성 이미지의 상기 이미지들의 피라미드 블렌딩의 상이한 레벨들에 적용되는, 이미지의 품질을 향상시키는 디바이스.
제8항에 있어서, 상기 급격한 전이 경계 영역들에서의 상기 합성 이미지의 멀티레벨 블렌딩의 더 높은 레벨들에 대해 더 적은 감쇠를 적용하고 상기 급격한 전이 경계 영역들에서의 상기 합성 이미지의 멀티레벨 블렌딩의 더 낮은 레벨들에 대해 더 많은 감쇠를 적용한 후 상기 합성 이미지의 상기 이미지들의 블렌딩된 출력을 생성하는 것을 더 포함하는, 이미지의 품질을 향상시키는 디바이스.
프로그램 코드를 저장하는 컴퓨터 판독가능 저장 매체에 있어서, 상기 프로그램 코드는, 프로세서에 의해 실행될 때, 장치로 하여금 제1항 내지 제7항 중 어느 한 항의 것을 수행하게 하는, 컴퓨터 판독가능 저장 매체.