KR20150142038A - 모션 고스트 필터링을 위한 기준 이미지 선택 - Google Patents

모션 고스트 필터링을 위한 기준 이미지 선택 Download PDF

Info

Publication number
KR20150142038A
KR20150142038A KR1020157032367A KR20157032367A KR20150142038A KR 20150142038 A KR20150142038 A KR 20150142038A KR 1020157032367 A KR1020157032367 A KR 1020157032367A KR 20157032367 A KR20157032367 A KR 20157032367A KR 20150142038 A KR20150142038 A KR 20150142038A
Authority
KR
South Korea
Prior art keywords
image
component
input images
unique input
reference image
Prior art date
Application number
KR1020157032367A
Other languages
English (en)
Inventor
피유쉬 사르마
니테쉬 쉬로프
라민 레자이파
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20150142038A publication Critical patent/KR20150142038A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N5/23238—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G06T5/007—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H04N5/23229—
    • H04N5/2355—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

이미지 프로세싱을 위한 예시적 방법들, 장치들 및 시스템들이 설명된다. 하나 또는 둘 이상의 기준 이미지들은 이미지 품질 스코어들에 기초하여 선택된다. 각각의 기준 이미지의 적어도 일부는 출력 이미지를 생성하기 위해 머징된다. 모션 아티팩트들을 갖는 출력 이미지는 출력 이미지의 모션 아티팩트들을 정정하기 위해 타겟과 비교된다.

Description

모션 고스트 필터링을 위한 기준 이미지 선택{REFERENCE IMAGE SELECTION FOR MOTION GHOST FILTERING}
[0001] 본 출원은, 2013년 4월 15일자로 출원된 "Reference image selection for motion ghost filtering"라는 명칭의 미국 가특허 출원 제61/812,148호 및 2013년 4월 15일자로 출원된 "Generation of ghost-free high dynamic range images"라는 명칭의 미국 가특허 출원 제61/812,151호로부터의 우선권 및 이들의 이익을 차례로 주장하는 2013년 8월 28일자로 출원된 "Reference image selection for motion ghost filtering"이라는 명칭의 미국 특허 출원 제14/012,518호로부터의 우선권 및 이들의 이익을 주장한다. 본 출원은 또한, 2013년 8월 28일자로 출원된 "Generation of ghost-free high dynamic range images"라는 명칭의 미국 특허 출원 제14/012,534호에 관련된다. 모든 전술된 출원들은 본원에 인용에 의해 포함된다.
[0002] I. 본 발명의 분야
[0003] 본원에 개시된 청구 대상은 일반적으로 이미지 프로세싱에 관한 것이다.
[0004] II. 배경기술
[0005] 디지털 이미지들의 생성은 종종 카메라, 렌즈 및 센서의 고유한 하드웨어 제한들에 의해 제약된다. 예를 들어, 카메라 센서는 센서의 작은 폼 팩터 또는 더 확장된 동적 레인지(dynamic range) 센서를 생성하기 위한 비용으로 인한 제한된 휘도의 동적 레인지를 가질 수 있다. 그러나, 많은 카메라 센서들의 제한들은 약 102배이지만, 실세계 씬들의 동적 레인지는 최대 1010배일 수 있다. 뷰의 광각(wide angle)을 제공하지 않을 수도 있거나 초점이 맞게 전체 씬을 캡처할 수 없을 수도 있는 값싼 또는 작은 고정 초점 거리(focal length) 렌즈에 부착되는 것은 게다가 디지털 카메라들로부터 출력 이미지 품질을 방해한다(hamper).
[0006] 그러나, 디지털 카메라들은 (예를 들어, 스마트폰 또는 전문가의 디지털 카메라와 통합될 때) 비교적 강력한(powerful) 프로세서들과 점차 통합되고 있다. 강력한 프로세서와의 통합은 이미 제한된 하드웨어를 새로운 능력들로 확장할 수 있다. 예를 들어, 많은 카메라 센서들에서 제공된 제한된 동적 레인지 및 새롭게 이용가능한 개선된 이미지 프로세싱 능력들의 결과로서, HDR(High Dynamic Range) 이미지 생성은 출력 이미지의 동적 레인지를 크게 증가시키기 위해 이용될 수 있다. HDR은 (예를 들어, 어퍼처(aperture)를 동일하게 유지하면서 셔터 속도를 변경함으로써 또는 센서 게인 ― ISO 또는 하나 또는 둘 이상의 노출 세팅들의 결합을 변경함으로써) 상이한 노출 세팅에 의해 캡처된 다수의 LDR(Low Dynamic Range) 이미지들을 결합시킨다. 예를 들어, 하나의 이미지는 1/2초 노출로 캡처될 수 있고, 제 2 이미지는 1초 노출로 캡처될 수 있고, 제 3 이미지는 3초 노출로 캡처될 수 있다. 또 다른 예에서, 제 1 이미지는 ISO 100(또는 동등한 민감도)에서 캡처될 수 있고, 제 2 이미지는 ISO 200에서 캡처될 수 있으며, 제 3 이미지는 ISO 400에서 캡처될 수 있다. 다양한 노출 세팅들을 갖는 3개의 이미지들은 최종 출력 이미지를 생성하기 위해 이미지들 각각으로부터의 적절히 노출된 섹션들을 이용하여 결합될 수 있다.
[0007] 머징된(merged) 출력 이미지를 생성하기 위해 다수의 입력 이미지들을 결합시키는 기존 기법들의 제한은 이동 중인 오브젝트가 입력 이미지 내에 있을 때 최종 출력 이미지에서의 "고스팅(ghosting)" 또는 고스트/고스티(ghost/ghosty) 아티팩트(artifact)들에 대한 가능성이다. 이동 중인 오브젝트들이 실세계 이미지 캡처 상황들에 통상적으로 존재하기 때문에, 개선된 다중 이미지 프로세싱 기법들이 요구된다.
[0008] 본원에 개시된 실시예들은 이미지 프로세싱을 위한 방법에 관련될 수 있다. 방법은 복수의 고유한 입력 이미지들 각각 내에서의 각각의 컴포넌트에 대한 이미지 품질 스코어를 결정하는 단계를 포함한다. 방법은 제 1 기준 이미지와 연관된 제 1 컴포넌트의 제 1 각각의 이미지 품질 스코어에 기초하여 복수의 고유한 입력 이미지들로부터 제 1 기준 이미지를 선택하는 단계를 더 포함한다. 방법은 복수의 이미지들의 머징(merging)에 기초하여 출력 이미지를 생성하는 단계를 더 포함하고, 여기서, 출력 이미지는 각각의 컴포넌트와 연관된 각각의 기준 이미지의 적어도 일부를 포함한다.
[0009] 본원에 개시된 실시예들은 이미지 프로세싱을 수행하기 위한 명령들을 갖는 기계 판독가능한 비-일시적 저장 매체에 관련될 수 있다. 매체는 복수의 고유한 입력 이미지들 각각 내에서의 각각의 컴포넌트에 대한 이미지 품질 스코어를 결정하기 위한 명령들을 포함한다. 매체는 제 1 기준 이미지와 연관된 제 1 컴포넌트의 제 1 각각의 이미지 품질 스코어에 기초하여 복수의 고유한 입력 이미지들로부터 제 1 기준 이미지를 선택하기 위한 명령들을 더 포함한다. 매체는 복수의 이미지들의 머징에 기초하여 출력 이미지를 생성하기 위한 명령들을 더 포함하고, 여기서, 출력 이미지는 각각의 컴포넌트와 연관된 각각의 기준 이미지의 적어도 일부를 포함한다.
[0010] 본원에 개시된 실시예들은 또한, 복수의 고유한 이미지들 각각 내에서의 각각의 컴포넌트에 대한 이미지 품질 스코어를 결정하기 위한 수단을 포함하는, 이미지 프로세싱을 수행하기 위한 장치에 관련될 수 있다. 장치는 제 1 기준 이미지와 연관된 제 1 컴포넌트의 제 1 각각의 이미지 품질 스코어에 기초하여 복수의 고유한 입력 이미지들로부터 제 1 기준 이미지를 선택하기 위한 수단을 더 포함한다. 장치는 복수의 이미지들의 머징에 기초하여 출력 이미지를 생성하기 위한 수단을 더 포함하고, 여기서, 출력 이미지는 각각의 컴포넌트와 연관된 각각의 기준 이미지의 적어도 일부를 포함한다.
[0011] 본원에 개시된 실시예들은 프로세서 및 이미지 프로세싱을 수행하기 위한 명령들을 저장하도록 구성가능한 저장 디바이스를 포함하는 데이터 프로세싱 시스템에 추가로 관련될 수 있다. 명령들은, 프로세서로 하여금, 복수의 고유한 이미지들 각각 내에서의 각각의 컴포넌트에 대한 이미지 품질 스코어를 결정하게 한다. 명령들은, 프로세서로 하여금, 제 1 기준 이미지와 연관된 제 1 컴포넌트의 제 1 각각의 이미지 품질 스코어에 기초하여 복수의 고유한 입력 이미지들로부터 제 1 기준 이미지를 선택하게 한다. 명령들은, 프로세서로 하여금, 복수의 이미지들의 머징에 기초하여 출력 이미지를 생성하게 하고, 여기서, 출력 이미지는 각각의 컴포넌트와 연관된 각각의 기준 이미지의 적어도 일부를 포함한다.
[0012] 본원에 개시된 실시예들은 이미지 프로세싱을 위한 방법에 관련될 수 있다. 방법은 복수의 고유한 입력 이미지들로부터 머징된 출력 이미지를 수신하는 단계를 포함하고, 출력 이미지는 복수의 고유한 입력 이미지들의 머지로부터 발생하는 모션 아티팩트(motion artifact)들을 포함하는 제 1 고스티(ghosty) 컴포넌트를 갖는다. 방법은 제 1 고스티 컴포넌트를 복수의 고유한 입력 이미지들 각각 내에서의 타겟 컴포넌트와 비교하는 단계를 더 포함하고, 타겟 컴포넌트는 제 1 고스티 컴포넌트에 의해 커버된 동일한 상대적 이미지 영역을 포함한다. 방법은 복수의 고유한 입력 이미지들 각각 내에서의 타겟 컴포넌트와 제 1 고스티 컴포넌트의 비교에 기초하여 복수의 고유한 이미지들로부터 제 1 기준 이미지를 선택하는 단계를 더 포함한다. 방법은 출력 이미지의 제 1 고스티 컴포넌트의 적어도 일부를 제 1 기준 이미지의 적어도 일부로 대체함으로써 제 1 고스티 컴포넌트를 정정하는 단계를 더 포함한다.
[0013] 본원에 개시된 실시예들은 이미지 프로세싱을 수행하기 위한 명령들을 갖는 기계 판독가능한 비-일시적 저장 매체에 관련될 수 있다. 매체는 복수의 고유한 입력 이미지들로부터 머징된 출력 이미지를 수신하기 위한 명령들을 포함하고, 출력 이미지는 복수의 고유한 입력 이미지들의 머지로부터 발생하는 모션 아티팩트들을 포함하는 제 1 고스티(ghosty) 컴포넌트를 갖는다. 매체는 제 1 고스티 컴포넌트를 복수의 고유한 입력 이미지들 각각 내에서의 타겟 컴포넌트와 비교하기 위한 명령들을 포함하고, 타겟 컴포넌트는 제 1 고스티 컴포넌트에 의해 커버된 동일한 상대적 이미지 영역을 포함한다. 매체는 복수의 고유한 입력 이미지들 각각 내에서의 타겟 컴포넌트와 제 1 고스티 컴포넌트의 비교에 기초하여 복수의 고유한 이미지들로부터 제 1 기준 이미지를 선택하기 위한 명령들을 포함한다. 매체는 출력 이미지의 제 1 고스티 컴포넌트의 적어도 일부를 제 1 기준 이미지의 적어도 일부로 대체함으로써 제 1 고스티 컴포넌트를 정정하기 위한 명령들을 포함한다.
[0014] 본원에 개시된 실시예들은 또한, 복수의 고유한 입력 이미지들로부터 머징된 출력 이미지를 수신하기 위한 수단을 포함하는, 이미지 프로세싱을 수행하기 위한 장치에 관련될 수 있고, 출력 이미지는 복수의 고유한 입력 이미지들의 머지로부터 발생하는 모션 아티팩트들을 포함하는 제 1 고스티(ghosty) 컴포넌트를 갖는다. 장치는 제 1 고스티 컴포넌트를 복수의 고유한 입력 이미지들 각각 내에서의 타겟 컴포넌트와 비교하기 위한 수단을 더 포함하고, 타겟 컴포넌트는 제 1 고스티 컴포넌트에 의해 커버된 동일한 상대적 이미지 영역을 포함한다. 장치는 복수의 고유한 입력 이미지들 각각 내에서의 타겟 컴포넌트와 제 1 고스티 컴포넌트의 비교에 기초하여 복수의 고유한 이미지들로부터 제 1 기준 이미지를 선택하기 위한 수단을 더 포함한다. 장치는 출력 이미지의 제 1 고스티 컴포넌트의 적어도 일부를 제 1 기준 이미지의 적어도 일부로 대체함으로써 제 1 고스티 컴포넌트를 정정하기 위한 수단을 더 포함한다.
[0015] 본원에 개시된 실시예들은 프로세서 및 이미지 프로세싱을 수행하기 위한 명령들을 저장하도록 구성가능한 저장 디바이스를 포함하는 데이터 프로세싱 시스템에 추가로 관련될 수 있다. 명령들은, 프로세서로 하여금, 복수의 고유한 입력 이미지들로부터 머징된 출력 이미지를 수신하게 하고, 출력 이미지는 복수의 고유한 입력 이미지들로부터의 머지로부터 발생하는 모션 아티팩트들을 포함하는 제 1 고스티(ghosty) 컴포넌트를 갖는다. 명령들은, 프로세서로 하여금, 제 1 고스티 컴포넌트를 복수의 고유한 입력 이미지들 각각 내에서의 타겟 컴포넌트와 비교하게 하고, 타겟 컴포넌트는 제 1 고스티 컴포넌트에 의해 커버된 동일한 상대적 이미지 영역을 포함한다. 명령들은, 프로세서로 하여금, 복수의 고유한 입력 이미지들 각각 내에서의 타겟 컴포넌트와 제 1 고스티 컴포넌트의 비교에 기초하여 복수의 고유한 이미지들로부터 제 1 기준 이미지를 선택하게 한다. 명령들은, 프로세서로 하여금, 출력 이미지의 제 1 고스티 컴포넌트의 적어도 일부를 제 1 기준 이미지의 적어도 일부로 대체함으로써 제 1 고스티 컴포넌트를 정정하게 한다.
[0016] 다른 특징들 및 이점들은 첨부한 도면들 및 상세한 설명으로부터 명백해질 것이다.
[0017] 도 1은 본 발명의 양상들이 실시될 수 있는 예시적 시스템의 블록도이다.
[0018] 도 2는 모션 고스트 필터링을 이용한 HDR 프로세싱의 일 실시예의 흐름도를 예시한다.
[0019] 도 3a, 3b 및 3c는 일 실시예에서, 캡처된 이미지들의 순차적 시리즈들로 제 1, 제 2 및 제 3 이미지를 각각 예시한다.
[0020] 도 3d는 일 실시예에서, 상이한 노출들을 갖는 3개의 LDR 입력 이미지들로부터 결합된 결과적 HDR 이미지를 예시한다.
[0021] 도 3e는 일 실시예에서, 자전거 운전자의 이동에 의해 야기되는 고스팅을 분리하는 컴포넌트에 대한 모션 마스크 및 마스크 바운더리의 표현을 예시한다.
[0022] 도 4a는 일 실시예에서, 제 1 순간의 시간에 캡처된 프레임 내에서의 2개의 별개의 이동 중인 서브젝트들을 갖는 입력 이미지를 예시한다.
[0023] 도 4b는 일 실시예에서, 제 2 순간의 시간에 캡처된 프레임 내에서의 2개의 별개의 이동 중인 서브젝트들을 갖는 제 2 입력 이미지를 예시한다.
[0024] 도 4c는 일 실시예에서, 제 1 입력 이미지와 제 2 입력 이미지의 머지로부터 발생하는 모션 마스크를 예시한다.
[0025] 도 4d는 일 실시예에서, 2개의 입력 이미지들로부터 프로세싱된 고스티 아티팩트 출력 이미지를 예시한다.
[0026] 도 4e는 일 실시예에서, 2개의 입력 이미지들로부터 프로세싱된 아티팩트-프리(artifact-free) 출력 이미지를 예시한다.
[0027] 도 5는 일 실시예에서, 모션 고스트 필터링의 흐름도를 예시한다.
[0028] 도 6은 일 실시예에서, 고스트-프리 가중치 수정의 흐름도를 예시한다.
[0029] 도 7은 또 다른 실시예에서, 고스티 아티팩트 제거의 흐름도를 예시한다.
[0030] 도 8은 또 다른 실시예에서, 고스티 아티팩트 제거의 흐름도를 예시한다.
[0031] "예시적" 또는 "예"라는 단어는 본원에서 "예, 예시 또는 예증으로서 제공되는"의 의미로 이용된다. "예시적"으로서 또는 "예"로서 본원에 설명된 임의의 양상 또는 실시예가 반드시 다른 양상들 또는 실시예들보다 선호되거나 또는 유리한 것으로 해석되는 것은 아니다.
[0032] 디바이스 개요
[0033] 도 1은 본 발명의 실시예들이 실시될 수 있는 예시적 시스템을 예시하는 블록도이다. 시스템은 제어 유닛(160)을 포함할 수 있는 디바이스(100)일 수 있다. 제어 유닛(160)은 아래에서 설명된 바와 같은 다양한 실시예들을 수행하는 방법들을 구현하도록 구성될 수 있다. 예를 들어, 제어 유닛(160)은 도 5-8에서 설명된 디바이스(100)의 기능들을 구현하도록 구성될 수 있다. 디바이스(100)는 또한 범용 프로세서(161), 이미지 프로세서(166), 그래픽 엔진(167) 및 메모리(164)를 포함할 수 있다. 이미지 프로세서(166)는 머징된 출력 이미지, 기준 이미지들의 선택 및 고스티 아티팩트들의 제거를 생성하기 위해 다수의 이미지들을 프로세싱하기 위한, 아래에서 더 상세하게 설명된 바와 같은 명령들을 포함할 수 있다. 그래픽 엔진(167)은 사용자 인터페이스뿐만 아니라, 프로세싱된 그리고 입력된 이미지들의 디스플레이를 출력하기 위한 명령들을 제공할 수 있다. 디바이스(100)는 또한, 범용 프로세서(161) 및 이미지 프로세서(166) 중 적어도 하나에 추가로 커플링된 신호 라인들 또는 하나 또는 둘 이상의 버스들(177)에 커플링된 다수의 디바이스 센서들을 포함할 수 있다. 디바이스(100)는: 모바일 디바이스, 무선 디바이스, 셀 폰, 개인용 디지털 보조기, 웨어러블(wearable) 디바이스(예를 들어, 안경, 시계, 헤드 웨어(head wear) 또는 유사한 신체 부착 디바이스), 모바일 컴퓨터, 태블릿, 개인 컴퓨터, 랩탑 컴퓨터 또는 프로세싱 능력들을 갖는 임의의 타입의 디바이스일 수 있다.
[0034] 일 실시예에서, 디바이스(100)는 모바일/휴대용 플랫폼이다. 디바이스(100)는 이미지를 캡처하기 위한 수단, 이를테면, 카메라(114)를 포함할 수 있다. 디바이스(100)는 이미지를 디스플레이하기 위한 수단, 이를테면, 디스플레이(112)를 포함하는 사용자 인터페이스(150)를 더 포함할 수 있다. 사용자 인터페이스(150)는 또한, 키보드, 키패드(152), 또는 사용자가 정보를 디바이스(100)에 입력하게 할 수 있는 다른 입력 디바이스를 포함할 수 있다. 원하는 경우, 터치 스크린/센서를 갖는 디스플레이(112)로 가상 키패드를 통합시키는 것은 키보드 또는 키패드(152)를 제거할 수 있다. 디바이스(100)는 본 개시와 관련되지 않은 다른 엘리먼트들, 이를테면, 위성 포지션 시스템 수신기, 전력 디바이스(예를 들어, 배터리)뿐만 아니라, 전형적으로 휴대용 그리고 비-휴대용 전자 디바이스들과 연관된 다른 컴포넌트들을 포함할 수 있다. 디바이스(100)는 휴대용 전자 디바이스(예를 들어, 스마트 폰, 전용 이미징 디바이스, 게임 디바이스 또는 이미지 캡처, 프로세싱 및 디스플레이 능력들을 갖는 다른 디바이스)일 수 있다.
[0035] 일부 실시예들에서, 디바이스(100)는 데이터 프로세싱 시스템, 개인 컴퓨터, 네트워크 컴퓨터, 서버, 또는 또 다른 디바이스 또는 소비자 전자 제품 내의 임베디드(embedded) 프로세싱 디바이스일 수 있다. 본원에서 이용된 바와 같이, 컴퓨터, 디바이스, 시스템, 프로세싱 시스템, 프로세싱 디바이스 및 "프로세싱 디바이스를 포함하는 장치"라는 용어들은 디바이스(100) 내에서 상호 교환가능하게 이용될 수 있고, 본원에 열거된 예시적 실시예들을 포함할 수 있다.
[0036] 도시되지 않은 추가 컴포넌트들은 또한, 디바이스(100)의 부분일 수 있고, 특정 실시예들에서, 도 1에 도시된 것보다 더 적은 컴포넌트들이 또한, 디바이스(100)에서 이용될 수 있다. 이러한 설명으로부터, 본 발명의 양상들은 소프트웨어로 적어도 부분적으로 구현될 수 있음이 명백해질 것이다. 즉, 도 5-8의 컴퓨터-구현 방법들은, 메모리, 이를테면, 메모리(164) 또는 다른 비-일시적 기계 판독가능한 저장 매체에 포함되는 명령들의 시퀀스들을 실행하는 자신의 프로세서 또는 프로세싱 시스템에 응답하여, 컴퓨터 시스템 또는 다른 데이터 프로세싱 시스템에서 수행될 수 있다. 소프트웨어는 추가로, 네트워크 인터페이스 디바이스를 통해 네트워크(도시되지 않음) 상에서 송신 또는 수신될 수 있다. 다양한 실시예들에서, 하드와이어링된 회로는 본 실시예들을 구현하기 위한 소프트웨어 명령들과 결합하여 이용될 수 있다. 따라서, 기법들은 하드웨어 회로 및 소프트웨어의 임의의 특정 결합에 또는 디바이스(100)에 의해 실행되는 명령들에 대한 임의의 특정 소스에 제한되는 것은 아니다.
[0037] 모션 고스트 필터링 개요
[0038] 본원에서 이용되는 바와 같은 고스티 아티팩트들 및 고스팅은, 이동 중인 오브젝트들/서브젝트들을 갖는 이미지들의 세트가 머징 또는 결합된 이후 발생할 수 있는 출력 이미지 변칙(anomaly)을 설명한다. 이는 예를 들면, 이미지 내에서의 서브젝트 또는 오브젝트가 HDR 프로세싱, 파노라믹 이미지들 또는 포커스 스태킹을 위해 입력 이미지들의 세트에서 하나의 이미지로부터 또 다른 이미지로의 상대적 포지션을 변경시킬 때 발생한다.
[0039] 일 실시예에서, MGF(Motion Ghost Filtering)는 다수의 이미지들을 단일 출력 이미지로 머징할 때 고스티 아티팩트들(즉, 고스팅)을 감소시키거나 제거하기 위해 이상적 기준 이미지를 지능적으로 선택한다. 기준 이미지는 MGF가 최종 출력 이미지를 생성하기 위해 이용할 수 있는 모션 마스크 영역 하의 픽셀들에 대한 소스 이미지일 수 있다.
[0040] 일 실시예에서, MGF는 다른 이미지들 또는 출력 이미지와는 관계없이 세트의 입력 이미지들 중 어느 것이 최대 개별 이미지 품질을 갖는지를 결정할 수 있다. 최대 인지된 이미지 품질을 갖는 이미지를 결정할 시, MGF는 단일 기준 이미지로부터 최종 출력 이미지로의 모션 마스크 하의 섹션(예를 들어, 고스팅에 대해 민감할 섹션)을 카피할 수 있다. 단일 기준 이미지 및 정확한 모션 마스크를 이용함으로써, MGF는 실질적으로 머징된 출력 이미지가 고스팅을 갖지 않을 것임을 보장할 수 있다. 모션 마스크들(즉, 고스트 맵들) 및 MGF는 아래에서 더 상세하게 설명된다.
[0041] 모션 고스트 필터링에 의한 높은 동적 레인지 이미징
[0042] MGF는 HDR(High Dynamic Range) 이미지들, 파노라믹 이미지들, 연장된 필드 심도 이미지(extended depth of field image)(즉, 포커스 스태킹), 및 이동 중인 서브젝트를 포함하는 다수의 이미지들을 머징하거나 결합시키는 다른 이미지 프로세싱 기법들에서의 고스팅에 대해 정정할 수 있다. 아래에서 상세하게 논의되는 바와 같이, MGF는 HDR 이미지 프로세싱에서의 고스팅을 제거하는데 효과적일 수 있지만, HDR과 관련하여 설명된 기법들 중 다수는 또한 파노라믹 이미징 및 연장된 필드 심도 이미지들에 적용가능하다. 따라서, 본원에 설명된 바와 같이, MGF에 의한 HDR은 단지 하나의 예시적 실시예이며, MGF를 HDR 이미지 프로세싱에 제한하는 것은 아니다.
[0043] 일 실시예에서, MGF는 일련의 LDR(Low Dynamic Range) 이미지들로부터 HDR 이미지들을 생성할 수 있다. 다른 실시예들에서, 별개의 HDR 프로세스, 모듈 또는 엔진은 HDR 이미지들을 프로세싱하며, 어떤 기준 이미지가 가장 적절한지를 결정하기 위해 MGF를 호출한다.
[0044] 도 2는 지능적 기준 이미지 선택에 의한 HDR 이미지 생성의 일 실시예를 예시한다. 블록(205)에서, 실시예(예를 들어, MGF)는 입력 LDR 이미지들을 수신할 수 있다. 예를 들어, 실시예는 3개, 7개 또는 다른 양의 고유한 입력 이미지들의 세트를 수신할 수 있다. 입력 이미지들 각각은, 몇 가지만 예를 들자면, 상이한 노출, 컬러 또는 텍스처 값들을 가질 수 있다.
[0045] 블록(210)에서, 실시예는 LDR 이미지들을 등록할 수 있다. 둘 또는 셋 이상의 입력 이미지들이 상이한 관점으로부터 씬을 캡처하도록 전체 카메라 관점이 시프트할 때, 오정렬이 발생할 수 있다. 예를 들어, 핸드-헬드 카메라 이미지는 하나의 이미지 프레임으로부터 다음 이미지 프레임으로의 이미지의 오정렬을 겪을 수 있다. 오정렬은 프레임 내에서의 이동 중인 서브젝트의 고스팅 또는 블러(blur)와 상이하다. 입력 이미지들의 세트에서의 이미지들을 더 정확하게 비교 및 결합시키기 위해, 실시예는 각각의 이미지가 거의 동일한 관점(즉, 카메라 포지션)을 표현하도록 각각의 이미지를 등록(즉, 정렬)할 수 있다.
[0046] 블록(215)에서, 실시예는 모션 마스크를 생성할 수 있다. 모션 마스크는 모션이 존재하는 씬의 부분들을 식별하고, 모션이 이미지 내에 포함되는 바운더리를 특정할 수 있다. 모션 마스크 M은 다음과 같이 정의되는 LDR 입력 이미지들과 동일한 크기의 단일 채널 바이너리 이미지일 수 있다:
Figure pct00001
수식(1)
[0047] M을 컴퓨팅하기 위해, 실시예는 등록된 LDR 입력 이미지들
Figure pct00002
로 시작할 수 있다. 본원에서 이용되는 바와 같이, 등록된 입력은 각각의 이미지의 고정식 피처들 또는 엘리먼트들이 각각의 이미지 프레임에 대해 동일한 포지션에서 나타나도록 입력 이미지들 모두가 서로에 대해 정렬됨을 표시한다. 등록은 오정렬된 이미지들의 세트의 포스트-프로세싱(post-processing) 시 발생할 수 있거나, 입력 이미지들(예를 들어, 삼각대에 장착된 카메라에 의해 캡처된 이미지들)의 세트 전반에 걸쳐 동일한 카메라 관점을 유지함으로써 이미지 생성 동안 달성될 수 있다.
[0048] 입력 이미지들이 (예를 들어, 센서의 노출 시간들 또는 민감도/ISO를 변경함으로써) 상이한 노출 세팅들에 의해 캡처되는 것과 같이,
Figure pct00003
의 값은 i에 의해 변경된다. 그러나, 픽셀에 대응하는 씬 포인트가 정적인 경우, 픽셀의 방사도(irradiance) 값은 일정하게 유지된다. 픽셀 값
Figure pct00004
, 노출 시간
Figure pct00005
및 카메라 응답 함수
Figure pct00006
가 주어지면, 픽셀
Figure pct00007
의 방사도는 다음과 같이 컴퓨팅될 수 있다:
Figure pct00008
수식(2)
[0049] 이러한 관계는 노출 시간에 대해 정규화되며, 이미지 스택(즉, 입력 이미지 세트)에 걸친 픽셀의 값들의 비교를 허용한다. 불포화된(under-saturated) 그리고 과포화된(over-saturated) 픽셀들을 제외하고는,
Figure pct00009
는 대응하는 씬 포인트가 정적인 경우, i로 일정하게 유지되어야 한다. 그러나, 이러한 픽셀이 LDR 이미지들이 캡처되었던 듀레이션 내에서 이동하는 경우,
Figure pct00010
는 i에 의해 임의로 변경될 수 있으며, M을 컴퓨팅하기 위해 큐(cue)로서 (예를 들어, MGF에 의해) 이용될 수 있다. 2개의 노출 이미지들, 즉, I i , I i+ 1 의 Y-채널들이 주어지면, 모션 마스크 M i , i + 1 는 다음과 같은 조도 불변 차를 먼저 컴퓨팅함으로써 컴퓨팅될 수 있다:
Figure pct00011
수식(3)
[0050] 노출 이미지들 I i , I i+ 1 은 연속적일 수 있거나, 대안적으로 노출 시퀀스의 임의의 부분에서 발생할 수 있다. 수식(3)으로부터의 이러한 차 이미지는 과포화된 그리고 불포화된 픽셀들의 효과를 억제하기 위해 가중 팩터와 곱해질 수 있다. 스페클들(speckles)을 제거하기 위해, 실시예는 차 이미지를 박스-필터링할 수 있다. 그 다음, 결과적 이미지는 모션 마스크 M i , i + 1 를 획득하기 위해 스레쉬홀딩될 수 있다. 일부 실시예들에서, 모션 마스크 컴퓨테이션들은 다른 컬러 공간들, 이를테면, RGB에 의해 결정될 수 있다. 그 다음, 결합된 모션 마스크 M은 모든 쌍별(pairwise) 마스크들의 논리 OR에 의해 컴퓨팅된다. 예를 들어, N은 LDR 이미지들의 수이다:
Figure pct00012
수식(4)
[0051] 블록(220)에서, 실시예는 기준 이미지를 선택할 수 있다. 모션 마스크 영역에서 다수의 이미지들을 결합시키는 것은 고스티 아티팩트들을 초래할 수 있기 때문에, MGF는 (본원에서 기준 이미지로 지칭되는) LDR 이미지들 중 하나로부터 모션 마스크 영역 하의 픽셀들을 카피할 수 있다. MGF는 어떠한 고스티 아티팩트들도 최종 HDR 이미지(즉, 출력 이미지)에 존재하지 않음을 보장하기 위해 기준 이미지로부터 픽셀들을 카피할 수 있다. MGF는 최종 출력 이미지(예를 들어, HDR 이미지, 파노라믹 이미지, 연장된 필드 심도 이미지)를 생성하기 위해 다수의 LDR 이미지들을 캡처할 수 있다. MGF는 어떤 기준 이미지가 아래에서 더 상세하게 논의되는 바와 같은 이미지 품질 스코어 또는 기준들에 기초하여 선택되는지를 지능적으로 선택할 수 있다.
[0052] 블록(225)에서, 실시예는 노출들을 퓨징 및 블렌딩할 수 있다. 실시예는 LDR 이미지들을 퓨징하기 위해 가중치들 wi(i=1, 2, ..., N)를 생성할 수 있다. 실시예는 LDR 이미지들의 가중된 결합에 의해 방사도 도메인에서의 표준 HDR을 획득할 수 있다:
Figure pct00013
수식(5)
여기서,
Figure pct00014
는 방사도 도메인으로 변형되는 LDR 이미지들이다. E HDR 는 방사도 도메인에서의 표준 HDR 이미지이고, 여기서, 모션의 어떠한 효과들도 보상되지 않았고, 따라서, 모션의 효과들은 고스티 아티팩트들의 경향이 있을 수 있다. 고스트-프리 HDR 이미지를 생성하기 위해, 실시예는 기준 이미지로부터의 모션 마스크 영역 하의 카피 픽셀들 및 모션 마스크 M을 이용할 수 있다. 그러나, 블라인드 카피는 모션 마스크의 바운더리 상의 아티팩트들을 초래할 수 있다. 실시예는 블렌딩 이미지들 전에 큰 스무딩 커널(large smoothing kernel)로 모션 마스크를 스무딩(smooth)함으로써 바운더리 아티팩트들을 감소시키거나 제거할 수 있다. 스무딩은 모션 마스크로부터 씬의 정적 부분들로의 트랜지션이 비-비약적(non-abrupt)(즉, 느린 그리고 스무드한) 방식으로 발생함을 보장한다. 스무딩된 모션 마스크를 표현하는 B 에 대해, MGF HDR은 다음과 같이 컴퓨팅될 수 있다:
Figure pct00015
수식(6)
여기서, E MGF HDR 는 방사도 도메인에서의 MGF HDR 이미지이고,
Figure pct00016
는 스무딩된 모션 마스크이고, E ref 는 기준 이미지이다.
[0053] 블록(230)에서, 실시예는 톤을 맵핑할 수 있다. 실시예는 방사도 도메인으로부터 픽셀 휘도(intensity) 도메인으로 HDR 이미지 내에서의 톤을 맵핑할 수 있다. 실시예는 HDR 이미지에 카메라 응답 함수(즉, 감마 곡선)를 먼저 적용시킬 수 있다. 그 다음, 실시예는 최종 HDR 이미지를 획득하기 위해 CLAHE(Contrast Limited Adaptive Histogram Equalization)라 칭해지는 적응형 히스토그램 평활화(adaptive histogram equalization)의 변형을 적용시킬 수 있다. 다른 실시예들에서, 다른 톤 맵핑 알고리즘들 또는 기법들은 위의 예시적 톤 맵핑 대신에 이용될 수 있다.
[0054] 도 3a, 3b 및 3c는 다수의 이미지 프로세싱(예를 들어, HDR 또는 포커스 스태킹)에 대한 일련의 입력 이미지들에서의 제 1, 제 2 및 제 3 이미지를 예시한다. 시간 t=1에서, 자전거 운전자는 LDR 이미지 프레임(301)에서의 제 1 포지션(310)에 있다. 시간 t=2에서, 자전거 운전자는 LDR 이미지 프레임(302)에서의 제 2 포지션(310')에 있다. 시간 t=3에서, 자전거 운전자는 LDR 이미지 프레임(303)에서의 제 3 포지션(310")에 있다. 노출의 변화는 입력 이미지들의 라인 표현들에서 쉽게 명백하지 않을 수 있지만, 각각의 LDR 이미지 프레임(301, 302 및 303)은 씬의 상이하게 노출된 이미지 캡처를 표현할 수 있다. 예를 들어, LDR 이미지 프레임(301)은 제 1 이미지 노출(예를 들어, 노출 부족(underexposure))을 표현할 수 있고, LDR 이미지 프레임(302)은 제 2 이미지 노출(예를 들어, 정상, 디폴트 또는 표준 노출)을 표현할 수 있으며, LDR 이미지 프레임(303)은 제 3 이미지 노출(예를 들어, 노출 과다(overexposure))을 표현할 수 있다.
[0055] 도 3d는 일 실시예에서, 상이한 노출들을 갖는 3개의 LDR 입력 이미지들로부터 결합된 결과적 HDR 출력 이미지를 예시한다. 결과적 HDR 이미지(304)는 출력 이미지 HDR이 생성되고 있었을 동안 이미지 프레임들을 통해 자전거 운전자의 이동으로부터 발생하는 모션 이미지 고스팅(320)을 포함한다.
[0056] 도 3e는 일 실시예에서, LDR 이미지 프레임들(301-303)의 머지로부터 발생하는 모션 마스크(305)의 표현을 예시한다. 도 3e는 섹션(350)에 의해 표시되는 고정물(stationary)(즉, 정의되는 바운더리들 내에서 어떠한 모션도 없는 정적 영역들)를 포함한다. 도 3e는 또한 자전거 운전자의 이동에 의해 야기되는 고스팅을 격리하는 컴포넌트(365)에 대한 모션 마스크 바운더리(360)를 포함한다.
[0057] 도 4a 및 4b는 상이한 시점들에서 캡처된 2개의 상이한 입력 이미지들을 예시하며, 각각은 프레임 내에서의 2개의 별개의 이동 중인 서브젝트들을 갖는다. 제 1 입력 이미지(401)에서 제 1 포지션(405)에서의 자전거 운전자는 제 2 입력 이미지(402)에서의 새로운 포지션(405')으로 이동하였다. 포지션(410)으로부터의 조깅하는 사람은 또한, 제 2 입력 이미지(402)에서의 새로운 포지션(410')으로 이동하였다. 제 1 포지션(405)에서의 자전거 운전자 및 포지션(410)에서의 조깅하는 사람 둘 모두는 결합된 출력 이미지 내에서의 이동 중인 서브젝트들을 표현한다. MGF는 이미지들이 결합될 때 발생할 수 있는 고스팅을 감소시키거나 제거하기 위해 서브젝트들/오브젝트들(예를 들어, 자전거 운전자 및 조깅하는 사람)의 이동을 검출할 수 있다.
[0058] 도 4c는 제 1 입력 이미지(401)와 제 2 입력 이미지(402)의 머지로부터 발생하는 모션 마스크(403)를 예시한다. MGF는 모션 마스크(403)가 연결되지 않은 컴포넌트들을 분리하였음을 결정할 수 있고, 기준 이미지들을 결정할 때 각각의 컴포넌트를 개별적으로 다룰 수 있다. 예를 들어, MGF는 자전거 운전자 및 조깅하는 사람 각각이 각각의 별개의 연결되지 않은 컴포넌트를 갖도록 모션 마스크(403) 내에서의 별개의 컴포넌트들을 생성할 수 있다. 예를 들어, 연결되지 않은 컴포넌트(440)는 조깅하는 사람의 이동과 연관되는 반면, 연결되지 않은 컴포넌트(435)는 자전거 운전자의 이동과 연관된다. 연결되지 않은 컴포넌트들 각각은 정적/고정식 공간에 의해 분리된다.
[0059] 도 4d는 일 실시예에서, 이미지(401 및 402)로부터 결합된 고스티 아티팩트 출력 이미지를 예시한다. 이미지(401 및 402)로부터의 이미지들을 디스에이블된 고스트 감소와 머징할 시, 일부 고스티 아티팩트들(예를 들어, 아티팩트들(460 및 470))이 존재할 수 있다. 일 실시예에서, MGF는 아래에 설명되는 바와 같이 고스트 아티팩트들을 제거할 수 있다.
[0060] 일 실시예에서, MGF는 각각의 입력 이미지에 대한 기본(underlying) 이미지 피처들에 대해 개별적으로 프로세싱(예를 들어, 기준들 또는 이미지 품질 스코어들을 결정)할 수 있다. 예를 들어, 컴포넌트(420) 하의 영역(440)은 각각의 입력 이미지에 따라 변경된다. 예를 들어, 제 1 입력 이미지(401)와 연관된 영역(440)은 노출 세팅들의 제 1 세트에 의해 제 1 포지션(405)에서 캡처된 자전거 운전자를 포함할 수 있다. 제 2 입력 이미지(402)와 연관된 영역(440)은 노출 세팅들의 제 2 세트에 의해 새로운 포지션(405')에서 캡처되는 자전거 운전자를 포함할 수 있다. 따라서, 제 1 입력 이미지(401)에서의 컴포넌트 하의 영역은 제 2 입력 이미지(402)에서의 컴퓨터 하의 영역과 상이하게 하나 또는 둘 이상의 이미지 품질 기준들에서 스코어할 수 있다. 예를 들어, 자전거 운전자는 하나의 이미지에서 더 빠르게 이동 중일 수 있어서 덜 선명한(sharp) 이미지를 초래하거나 또는 자전거 운전자는 나무들로부터의 그늘의 패치(patch)에 있을 수 있어서 또 다른 이미지 캡처와는 상이한 컬러 렌디션(color rendition)을 초래한다. 컴포넌트(420)는 일정하게 유지(즉, 세트 바운더리를 유지)될 수 있지만, 컴포넌트(420) 아래의 이미지 데이터는 제 1 입력 이미지(401)로부터 제 2 입력 이미지(402)로 변경될 수 있다.
[0061] MGF는 또한 동일한 모션 마스크 내에서의 서로 다른 컴포넌트와는 독립적으로 그리고 개별적으로 각각의 컴포넌트를 분석할 수 있다. 예를 들어, MGF는 제 1 컴포넌트에 대한 최적 이미지 및 제 2 컴포넌트에 대한 최적 이미지를 결정할 수 있고, 여기서 최적 이미지는 각각의 컴포넌트에 대해 상이할 수 있다. 예를 들어, 나무의 그늘에서의 포지션(410)에서의 조깅하는 사람은 포지션(410)에서의 조깅하는 사람이 나무 바로 아래에 있을 때 포지션(410)에서 잘 노출될 수 있지만, 포지션(410)에서의 조깅하는 사람이 더 강한 직사광선에 있을 때 새로운 포지션(410')에서 잘 노출되지 않을 수 있다. MGF는, 컴포넌트(430)에 대한 기준 이미지가 402로부터의 입력 이미지 대신에 제 1 입력 이미지(401)로부터 취해질 수 있다는 것을, 잘 노출된 이미지 품질 기준들을 이용하여 결정할 수 있다. 추가적으로, 동일한 출력 이미지에 대해, MGF는, 컴포넌트(420)에 대한 기준 이미지가 401로부터의 입력 이미지 대신에 제 2 입력 이미지(402)로부터 취해질 수 있다는 것을, 잘 노출된 이미지 품질 기준들을 이용하여 결정할 수 있다. 따라서, 일부 실시예들에서, MGF는 모션 마스크 내에서의 다른 컴포넌트들(예를 들어, 제 1 포지션(405)에서의 자전거 운전자를 포함하는 컴포넌트(420))에 비해 하나의 컴포넌트(예를 들어, 포지션(410)에서의 조깅하는 사람을 포함함)에 대한 상이한 기준 이미지(예를 들어, 401)를 선택할 수 있다. 도 4e는 이미지의 입력 이미지(401)의 조깅하는 사람(410) 및 입력(402)으로부터의 자전거 운전자(405')로부터 프로세싱되는 아티팩트-프리 출력 이미지를 예시한다.
[0062] 기준 이미지 기준들
[0063] 기준 이미지는 최종 머징된 출력 이미지를 생성할 때 MGF가 이용(즉, 카피)할 수 있는 모션 마스크 영역 하의 픽셀들에 대한 소스 이미지들이다. 낮은 품질 기준 이미지를 선택하는 것은 대응적으로 감소된 출력 이미지 품질을 초래할 수 있다. 예를 들어, HDR 이미지를 생성할 때, 기준 이미지로서 노출이 부족한 이미지를 선택하는 것은 출력 이미지의 인지적 품질의 큰 저하를 야기하는 잡음 그리고 어두운 픽셀들을 초래할 수 있다. 대안적으로, 노출이 과다한 이미지를 선택하는 것은 시각적으로 색이 바랜(washed-out) 이미지 피처들을 초래할 수 있다.
[0064] 일 실시예에서, MGF는 임베디드 노출, 컬러, 포화도, 선명도 및 텍스처 기준들을 이용하여 최적화 비용 함수로서 기준 이미지 선택을 형식화(formulate)할 수 있다. 일 실시예에서, 모션 마스크에 다수의 연결되지 않은(예를 들어, 비인접 또는 별개의) 컴포넌트들(즉, 얼룩(blob)들 또는 이미지 패치들)이 존재하지 않는 경우, MGF는 최고 품질 출력 이미지를 달성하기 위해 이러한 컴포넌트들 각각에 대한 최적 기준 이미지를 선택할 수 있다. 예를 들어, HDR 이미지를 생성할 때, MGF는 최적 출력 이미지에 대해 적게-노출된(low-exposed) 이미지로부터의 컴포넌트들 및 많이-노출된(high-exposed) 이미지로부터의 또 다른 컴포넌트 중 하나를 카피할 수 있다. 각각의 컴포넌트에 대한 최적 이미지를 선택하기 위한 MGF의 유연성은 특히, 이미지들이 노출이 부족한 그리고 노출이 과다한 영역들 둘 모두에서 모션을 가질 때 유용하다.
[0065] 일 실시예에서, MGF는 기준들(예를 들어, 노출, 컬러, 포화도, 선명도 및 텍스처)을 측정하고, 각각의 입력 이미지들 각각 내에서의 각각의 컴포넌트, 얼룩 또는 패치에 기준 스코어(즉, 이미지 품질 스코어)를 할당할 수 있다. 예를 들어, 입력 이미지들의 세트에서의 각각의 입력 이미지는 위에서 설명된 바와 같은 연관된 모션 마스크를 가질 수 있다. 모션 마스크는 고유한 이미지 특성들을 갖는 하나 또는 둘 이상의 별개의/개별 컴포넌트 영역들을 가질 수 있다. 일 실시예에서, MGF는 각각의 컴포넌트(즉, 얼룩 또는 패치)와 연관된 이미지에서의 영역에 대한 각각의 이미지 품질을 결정할 수 있다.
[0066] 도 5는 일 실시예에서, 모션 고스티 필터링의 흐름도를 예시한다. 블록(505)에서, 실시예(예를 들어, MGF)는 복수의 고유한 이미지들 각각 내에서의 각각의 컴포넌트에 대한 이미지 품질 스코어를 결정할 수 있다. 일 실시예에서, MGF는 모든 기준 스코어들을 합산하고, 어떤 입력 이미지가 모션 마스크에서의 각각의 개별 컴포넌트에 대한 최고 전체 기준들을 수신하였는지를 결정하기 위해 결과들을 랭크할 수 있다. MGF는 각각의 컴포넌트에 대한 기준 이미지로서 최고 전체 스코어를 선택할 수 있다.
[0067] 일부 실시예들에서, MGF는 특정 기준들의 인지된 중요성에 기초하여 각각의 기준 가중치를 변경할 수 있다. 예를 들어, MGF는 적절한 노출이 컬러보다 더 중요함을 결정하고, 다른 기준들보다 더 큰 가중치로서 노출 스코어를 제공할 수 있다. 이러한 이전 예에서, 기준들 각각에 1의 최초 가중치가 할당되는 경우, MGF는 다른 기준 가중치를 (예를 들어, 5로) 감소시키고 그리고/또는 노출 기준들의 가중치를 (예를 들어, 2로) 증가시킬 수 있다.
[0068] 블록(510)에서, 실시예는 제 1 기준 이미지와 연관된 제 1 컴포넌트의 제 1 각각의 이미지 품질 스코어에 기초하여 복수의 고유한 입력 이미지들로부터 제 1 기준 이미지를 선택할 수 있다. MGF는 대응하는 기준 이미지로서 각각의 컴포넌트에 대한 최고 스코어를 갖는 이미지를 선택할 수 있다.
[0069] 블록(515)에서, 실시예는 복수의 고유한 이미지들의 머징에 기초하여 출력 이미지를 생성할 수 있다. 출력 이미지는 또한 각각의 컴포넌트와 연관된 각각의 기준 이미지의 적어도 일부를 포함할 수 있다. 예를 들어, 입력 이미지들의 세트로부터 HDR 출력 이미지를 생성하기 위해, MGF는 각각의 입력 이미지의 가장 시각적으로 만족스러운 부분들을 갖는 단일 출력 이미지를 생성하기 위해 각각의 입력 이미지를 머징, 퓨징 또는 블렌딩할 수 있다. 일부 실시예들에서, MGF는 기준 이미지의 컴포넌트를 출력 이미지로 직접 카피할 수 있다. 예를 들어, 제 1 컴포넌트는 나무의 그늘에서 달리는 사람을 갖는 이미지의 영역을 표현할 수 있는 반면, 제 2 컴포넌트는 햇빛이 드는 경로 상에서 자전거를 타는 사람을 표현할 수 있다. MGF는 각각의 다른 컴포넌트 영역과는 독립적으로 그리고 개별적으로 가장 시각적으로 만족스러운 이미지 특성들을 갖는 각각의 컴포넌트 영역을 결정하고, "최적" 또는 최고 스코어링 기준 이미지 컴포넌트를 최종 출력 이미지로 카피할 수 있다.
[0070] 컬러 풍부성 (Color Richness)
[0071] 컬러의 풍부성은 이미지의 품질을 결정하는데 있어 중요한 팩터일 수 있다. 인지된 이미지 품질은 색체가 풍부한 이미지(colorful imagery)쪽으로 심하게 편향될 수 있다. MGF는 컬러에 기초하여 이미지 품질 스코어를 제공하기 위해 이미지 내에서 발견된 컬러를 객관적으로 측정할 수 있다. 일부 실시예들에서, 컬러의 기준들(즉, 컬러의 풍부성)이 더 높아질수록, 이미지가 더 적은 컬러를 갖는 다른 이미지들에 비해 기준 이미지로서 선택될 확률은 더 커진다.
[0072] 일 실시예에서, MGF는 (예를 들어, RGB 컬러 공간으로부터) 컬러의 풍부성을 측정하기 전에 입력 이미지를 YUV 컬러 공간으로 변환할 수 있다. YUV 컬러 공간에서, Y 채널은 휘도(intensity) 값들을 표현하고, 채널들 U 및 V는 컬러 정보를 표현한다. MGF는 이미지 패치 내에서의 채도 채널들 U 및 V의 절대 값을 합산(즉, |U|+|V|)함으로써 컬러 스코어의 풍부성을 결정할 수 있다. MGF는 또한 다음과 같이 모션 마스크 하의 이미지의 컬러 정보를 측정할 수 있다:
Figure pct00017
수식(7)
[0073] 잘-노출된 픽셀들
[0074] 불충분히-포화된(under-saturated) 픽셀들, 즉, 0에 가까운 휘도 값을 갖는 픽셀들은 평균보다 더 큰 잡음 양을 포함할 수 있다. 잡음 픽셀들이 출력 이미지로 카피될 때, 출력 이미지의 전체 인지적 품질은 감소될 수 있다. 대안적으로, 휘도 레인지의 반대쪽 스펙트럼 상의 픽셀들(예를 들어, 255에 가까운 휘도 값들)은 과포화된 것/노출이 과다한 것으로 고려될 수 있으며, 또한 출력 이미지의 품질의 감소를 야기할 수 있다.
[0075] 일 실시예에서, 이미지의 노출 레벨은 또한, 이미지 품질을 측정하고 기준 이미지를 선택하기 위해 기준들로서 이용될 수 있다. MGF는 모션 마스크의 컴포넌트 내에서의 픽셀들에 대한 노출의 레벨을 측정할 수 있다. 예를 들어,
Figure pct00018
수식(8)
여기서, Y는 픽셀 휘도이고, N은 가중 팩터에서의 양의 지수(예를 들어, 6 또는 다른 값)이다. 중간-레인지 노출 값들은 (예를 들어, HDR 이미지에 대해) 출력 이미지의 개선된 인지적 품질을 초래할 수 있다. 따라서, 일부 실시예들에서, MGF는 이미지 픽셀들이 중간-레인지 휘도 값들(즉, 약 Y mid = 128)을 가질 때 더 높은 노출 기준들을 스코어한다. Y mid 가 휘도 레인지의 양측(either side)으로 더 멀리 이동함에 따라, 기준 이미지로서 각각의 이미지를 선택하는 바람직성(desirability)이 감소한다.
[0076] 일 실시예에서, MGF는 Y mid = 128을 갖는 픽셀 휘도 값들 상의 해트 함수(hat function)에 의해 잘-노출된 기준을 측정한다.
Figure pct00019
수식(9)
[0077] 불포화된 픽셀들
[0078] 일 실시예에서, MGF는 모션 마스크의 각각의 컴포넌트에 의해 커버되는 불포화된 픽셀들의 수를 결정할 수 있다. 입력 이미지(예를 들어, HDR 프로세싱을 위한 이미지들의 세트의 일부로서의 LDR 이미지)는 기준 이미지로서 각각의 입력 이미지를 바람직하지 못한(bad) 선택으로 만들 수 있는 다수의 포화된 픽셀들을 포함할 수 있다. 씬 포인트의 휘도를 측정하기 위해, 카메라 센서들은 노출 시간 동안 픽셀 그리드 상에 떨어진 다수의 광자들을 일시적으로 통합할 수 있다. 그러나, 휘도 값들은 255의 상한을 가질 수 있고, 아주 밝은 씬 포인트들에 대응하는 픽셀들은 255에서 캡핑(cap)된다. 따라서, 255 값에 가까운 포화된 픽셀들을 갖는 영역들의 정보의 고유한 손실이 존재할 수 있다. 더욱이, 과포화된 픽셀들은 또한 출력 이미지(예를 들어, 최종 HDR 이미지)의 인지적 품질의 악화를 야기할 수 있다.
[0079] 일 실시예에서, MGF는 포화된 픽셀들을 포함하는 컴포넌트들에 대한 이미지 품질 스코어를 감소시킬 수 있다. 예를 들어, MGF는 임계 값(예를 들어, 253의 값, 여기서, 255는 픽셀에 대한 최대 휘도임)보다 큰 휘도를 갖는 픽셀들을 포함하는 입력 이미지들을 페널라이즈(penalize)할 수 있다.
[0080] 일 실시예에서, MGF는 포화 패널티 C i 를 갖는 포화된 픽셀들을 페널라이즈할 수 있다. 예를 들어,
Figure pct00020
수식(10)
여기서, C i 는 이미지 I에 대한 포화 패널티이고, I는 표시자 함수이며,
Figure pct00021
는 픽셀 (x, y)의 휘도 값이다. 포화 패널티 C i 는 이미지 인덱스 i의 함수이다. 컴포넌트 내에 존재하는 포화된 픽셀들이 더 많을수록, MGF는, 적은-노출 입력 이미지(예를 들어, LDR 이미지)의 선택을 향해 비용 함수를 편향시키도록 더 많이 시도할 것이다. 이것은 C i -1 ≤ C i 도록 포화 패널티의 값들을 세팅함으로써 달성될 수 있다. 그 다음, 최종 비용 함수는 개별 비용 함수들의 가중된 결합이다:
Figure pct00022
수식(11)
여기서, MGF는 인덱스
Figure pct00023
를 갖는 입력 이미지(예를 들어, LDR 이미지)가 될 기준 이미지를 선택하고, 여기서,
Figure pct00024
수식(12)
[0081] 추가 기준들
[0082] 다른 실시예들에서, MGF는 위에서 설명된 기준들 중 하나 또는 둘 이상 대신에 또는 이들과 더불어 추가 기준들을 계산한다. 예를 들어, MGF는 텍스처, 명암, 선명도 또는 다른 이미지 품질 메트릭들에 기초하여 이미지 품질 스코어들을 계산할 수 있다. 예를 들어, MGF는 각각의 모션 영역(즉, 모션 마스크의 각각의 컴포넌트에 의해 커버되는 영역(들))의 텍스처/선명도 풍부성을 랭크하기 위해 입력 이미지의 경사도를 컴퓨팅할 수 있다. MGF는 기준으로서 블러드(blurred) 입력 이미지의 선택을 회피하기 위해 블러드 이미지들을 검출하도록 트레이닝된 분류기를 이용할 수 있다. 예를 들어, MGF는 설명된 바와 같은 영역의 노출도(exposedness) 및 채도(colorfulness)와 더불어, 입력 프레임의 선명도/블러리니스(blurriness)를 측정하는 메트릭을 이용할 수 있다. 일부 실시예들에서, MGF는 선명한 것/블러리(blurry)인 것으로서 마스크 하의 이미지/패치를 분류하기 위해 분류기를 이용할 수 있다.
[0083] 또 다른 실시예들에서, MGF는 위에서 설명된 기준들/메트릭들 중 하나, 이들 모두 또는 이들의 임의의 결합/가중치를 이용할 수 있다. 예를 들어, MGF는 컬러 기준들을 이용하고, 기준 이미지를 결정하기 위한 모든 다른 기준들을 스킵/무시하는 것으로 결정할 수 있다. MGF는 또한, 포화가 덜 중요하여야 하는 것을 제외하고는 모든 기준들을 결정하고, 부가된 포화의 중요성(즉, 또는 모든 다른 기준들에 대한 상대적으로 더 낮은 중요성)을 반영하기 위해 스코어들 또는 계산들의 상대적 가중치들을 변경할 수 있다.
[0084] 고스트 - 프리 가중치 수정
[0085] 위에서 설명된 바와 같이, MGF는 HDR 이미지로 블렌딩하기 위해 상이한 노출이 각각 취해진 다수의 고유한 LDR 이미지들(즉, 입력 이미지들)을 캡처할 수 있다. 예를 들어, 제 1 이미지는 노출 "X"(예를 들어, 어퍼처 및 ISO가 일정하게 유지되는 동안의 제 1 셔터 속도)에서 취해질 수 있는 반면, 제 2 이미지는 노출 "Y"(즉, 어퍼처 및 ISO가 일정하게 유지되는 동안 노출 "X"를 생성하기 위해 이용되었던 것과는 상이한 셔터 속도)에서 취해질 수 있다. MGF는 LDR 입력 이미지들 각각으로부터의 양상들을 결합하는 HDR 출력 이미지를 생성하기 위해 상이한 노출 레벨들에서 취해지는 둘 또는 셋 이상의 LDR 입력 이미지들을 수신할 수 있다.
[0086] N개의 노출-블래킷된(bracketed) 입력 이미지들 I 1, I 2, ..., I N의 세트가 주어진다. MGF 또는 HDR 프로세싱 프로그램은 모든 입력 이미지들의 가중된 합에 기초하여 출력 HDR 이미지를 생성할 수 있다. 예를 들어, 수식(13):
Figure pct00025
수식(13)
여기서, 각각의 픽셀에 대해, W 1 + W 2 + ... + W N = 1이다. 위의 내용은 행렬 엘리먼트들의 엘리먼트별(element wise) 곱들이다. 동일한 50% 가중치와 결합된 2개의 이미지들은 50/50 비로 2개의 이미지들로부터의 데이터를 초래하는 HDR 출력 이미지를 초래할 것이다. 예를 들어, 출력 HDR 이미지 내에서의 각각의 픽셀은 동등한 픽셀에 대한 2개의 초기 이미지 값들 각각의 절반을 포함할 수 있다. 정확한 가중치 값들은 HDR 구현의 타입에 의존할 수 있다. 상이한 타입들의 HDR 알고리즘들은 최종 머징된 HDR 출력 이미지를 생성할 때 상이한 각각의 가중치들을 생성할 수 있다.
[0087] HDR 기반의 가중된 합과 위에서 설명된 바와 같은 이미지들의 머징 또는 결합은 HDR 노출 블렌드들에 대해 최적화될 수 있지만, 출력 이미지 내에서의 모션 고스팅에 대해 활성적으로 정정하지 않을 수 있다. 입력 이미지 내에서의 엘리먼트, 서브젝트 또는 오브젝트가 이동할 때, 결과적 출력 이미지는 관련되지 않은 데이터의 믹스(mix)(예를 들어, 서브젝트 데이터와 결합된 배경 데이터)를 포함할 수 있다. 따라서, LDR 이미지들의 HDR 블렌딩 또는 머징은 정확한 또는 개선된 동적 레인지 출력을 생성할 수 있지만, 또한 고스티 아티팩트들을 최종 이미지로 부주의하게 초래할 수 있다.
[0088] HDR 출력 결과들로부터 고스팅을 감소시키거나 제거하기 위해, MGF는 모션 마스크에서의 컴포넌트들에 기초하여 고스티 아티팩트들을 제거하기 위해 각각의 기준 이미지의 가중치를 조정할 수 있다. MGF는 픽셀 도메인 및 방사도 도메인 둘 모두에서 각각의 기준 이미지의 가중치를 조정할 수 있다. 본원에서 이용되는 바와 같은 방사도는 카메라의 임의의 특정 노출 세팅들과 관계없이 이미지 씬의 실제 명도(brightness)이다. 예를 들어, 카메라의 노출 세팅들을 변경하는 것은 씬에서의 방사도 값들이 변경되지 않는 동안 노출이 부족하거나 노출이 과다한 이미지들을 생성할 수 있다.
[0089] 도 6은 일 실시예에서 고스트-프리 가중치 수정의 흐름도를 예시한다. 블록(605)에서, 실시예는 HDR(high dynamic range) 출력 이미지에 함께 머징할 이미지들의 세트를 판독하고, 여기서, 이미지들 각각은 각각의 HDR 가중치를 갖는다.
[0090] 블록(610)에서, 실시예는 이미지들의 세트의 가중된 평균을 이용하여 이미지들의 세트를 머징하기 전에, 각각의 HDR 가중치를 이미지들 각각에 대한 각각의 고스트-프리 가중치로 대체할 수 있다.
[0091] 블록(615)에서, 실시예는 이미지들의 세트의 가중된 평균을 이용하여 이미지들의 세트를 머징할 수 있고, 이미지들의 가중된 평균은 이미지들 각각에 대한 각각의 고스트-프리 가중치에 기초한다.
[0092] 일 실시예에서, 모션 마스크 M에서의 각각의 컴포넌트에 대해, MGF는 위에서 설명된 바와 같이 I HDR를 생성하기 위해 이용되는 가중치들 W 1, W 2, ..., W N을 독립적으로 수정할 수 있다. 일 실시예에서, 모션 마스크들은, M이 0(즉, 모션 없음)으로부터 1(즉, 모션)까지의 임의의 값이도록 하는 스무드 마스크(smooth mask)일 수 있다. 모션 마스크는 P개의 연결되지 않은 컴포넌트들을 가질 수 있고, 여기서, P>= 0이다. P=0일 때, 모션 마스크는 임의의 컴포넌트들을 포함하지 않고, 따라서, 고스트-프리 출력 이미지를 초래할 수 있는 씬에는 어떠한 모션도 없다. 각각의 마스크는 HDR 출력 이미지로 블렌딩하기 위해 이용되는 개별 가중치를 각각 갖는 P개의 기준 이미지들이 존재하도록 다수의 연결되지 않은 컴포넌트들을 가질 수 있다. MGF는 미리 결정된 모션 마스크 R를 이용하는 각각의 기준 이미지 및 고스티-이미지(IHDR)의 가중된 결합을 이용함으로써 출력 이미지에서의 고스팅을 감소시키거나 제거할 수 있다.
Figure pct00026
수식(14)
여기서, I j가 기준 이미지가 아닐 때
Figure pct00027
이고, I j가 기준 이미지일 때
Figure pct00028
이다. 고정식 영역들(즉, 모션 마스크에 있지 않은 영역들)은 수정되지 않도록 유지될 수 있는 반면, MGF는 모션을 갖는 영역들이 출력 이미지에서 고스트-프리일 것임을 보장한다.
[0093] 일 실시예에서, 모션 마스크는 위에서 설명된 바와 같은 둘 또는 셋 이상의 컴포넌트들(예를 들어, 패치들 또는 얼룩들)을 가질 수 있다. MGR은 컴포넌트들 각각과 연관된 각각의 기준 이미지에 대한 가중치를 조정할 수 있다.
[0094] 고스티 아티팩트 제거
[0095] 일 실시예에서, MGF는 출력 이미지가 고스티 아티팩트들에 의해 생성된 이후 출력 이미지에서의 고스팅 또는 고스티 아티팩트들을 감소시키거나 제거할 수 있다.
[0096] 도 7은 일 실시예에서, 고스티 아티팩트 제거의 흐름도를 예시한다. 블록(705)에서, 실시예는 복수의 고유한 입력 이미지들로부터 머징된 출력 이미지를 수신할 수 있고, 출력 이미지는 복수의 고유한 입력 이미지들의 머지로부터 발생하는 모션 아티팩트들을 포함하는 제 1 고스티 컴포넌트를 갖는다. 예를 들어, 실시예는 입력 이미지들의 세트에 기초하여 HDR 이미징 출력을 수신할 수 있다. HDR 이미징 출력은 MGF에 의해 생성될 수 있거나, MGF는 고스트 아티팩트들에 대해 정정하기 위해 미리 결정된 HDR 이미징 출력을 판독할 수 있다. 일부 실시예들에서, 다수의 별개의 개별 컴포넌트들은 고스트 아티팩트들(예를 들어, 모션 아티팩트들을 포함하는 둘 또는 셋 이상의 고스티 컴포넌트들)을 포함할 수 있다.
[0097] 블록(710)에서, 실시예는 제 1 고스티 컴포넌트를 복수의 고유한 입력 이미지들 각각 내에서의 타겟 컴포넌트와 비교할 수 있고, 타겟 컴포넌트는 제 1 고스티 컴포넌트에 의해 커버되는 동일한 상대적 이미지 영역을 포함한다. 실시예는 출력 이미지 내에서의 하나 또는 둘 이상의 고스티 컴포넌트들을 입력 이미지들의 세트로부터의 원래의 이미지들과 비교하려고 시도할 수 있다. 비교 동안, 실시예는 입력 이미지들로부터의 이미지가 다른 입력 이미지들보다 출력 이미지 컴포넌트와 더 유사한지 여부를 결정할 수 있다. 일 실시예에서, MGF는 텍스처, 컬러 또는 다른 기준들을 비교함으로써 이미지 유사성을 결정할 수 있다. 유사성은 2개의 이미지들이 결합될 때 발생할 수 있는 임의의 블렌딩 아티팩트들을 최소화하기 위해 기준 이미지를 결정하는데 유리하다. 예를 들어, 2개의 이미지들의 컬러 또는 텍스처가 아주 상이한 경우, 단일 이미지로의 결합 또는 머지는 2개의 이미지들이 더 유사하였을 경우보다 더 낮은 품질 출력 이미지를 초래할 수 있다.
[0098] 일 실시예에서, MGF는 픽셀-레벨 구조적 유사성 또는 얼룩-레벨 유사성을 갖는 기준 이미지의 유사성을 최대화할 수 있다. MGF는 유사성을 비교하고, 픽셀-레벨 구조적 유사성 또는 얼룩-레벨 유사성과는 독립적으로 기준 이미지의 둘 또는 셋 이상의 컴포넌트들을 머징할 수 있다. 예를 들어, MGF는, 이미지 X로부터의 컴포넌트 A가 출력 이미지 내에서의 컴포넌트 A와 가장 유사한 반면, 이미지 Y로부터의 컴포넌트 B가 출력 이미지 내에서의 컴포넌트 B와 가장 유사함을 결정할 수 있다. 각각의 개별 컴포넌트에 대한 각각의 개별 기준 이미지를 결정할 시, MGF는 업데이트된 출력 이미지를 생성하기 위해 컴포넌트를 출력 이미지를 카피할 수 있다.
[0099] 일 실시예에서, MGF는 모션 마스크의 각각의 컴포넌트에 의해 커버되는 픽셀들의 차 또는 NCC(Normalized Cross Correlation)에 의한 픽셀-레벨의 구조적 유사성을 이용할 수 있다. 예를 들어, MGF는 출력 이미지와 후보 기준 이미지 컴포넌트(예를 들어, 세트의 입력 이미지 컴포넌트들 중 하나)의 각각의 픽셀 값 사이의 차를 컴퓨팅할 수 있다. 본원에서 이용되는 바와 같이, 픽셀 값은 노출 또는 컬러와 같은 임의의 측정가능한 픽셀 정보일 수 있다. MGF는 각각의 입력 이미지와 출력 이미지 사이의 최종 차 스코어를 리턴하기 위해 컴포넌트(즉, 얼룩 또는 패치) 내에서의 각각의 픽셀 값에 대한 전체의 모든 차들을 요약할 수 있다. MGF는 최저 차 스코어를 갖는(예를 들어, 가장 유사한 이미지) 입력 이미지(예를 들어, 컴포넌트와 연관된 이미지)를 선택할 수 있다.
[00100] 또 다른 실시예에서, MGF는 얼룩-레벨(즉, 패치 또는 컴포넌트 레벨) 유사성을 계산할 수 있다. 출력 이미지와 컴포넌트 내에서의 각각의 픽셀 사이의 차를 컴퓨팅하는 대신에, 얼룩-레벨 유사성은 컴포넌트의 전체 얼룩을 출력 이미지에서의 전체 얼룩과 비교할 수 있다. 예를 들어, MGF는 마스크의 각각의 컴포넌트(즉, 얼룩 또는 패치)에 의해 커버되는 픽셀들에 대한 RGB(Red, Green, and Blue) 채널들의 평균치(means)를 계산할 수 있다. 그 다음, MGF는 컴포넌트에서의 RGB 채널들의 컴포넌트 평균치와 출력 이미지에서의 RGB 채널들의 평균치의 차를 컴퓨팅할 수 있다. 각각의 개별 입력 이미지와 출력 이미지 사이의 차를 계산할 시, 출력 이미지와 최소로 상이한(가장 유사한) 평균치를 갖는 이미지가 기준 이미지로서 선택될 수 있다.
[00101] 블록(715)에서, 실시예는 복수의 고유한 입력 이미지들 각각 내에서의 타겟 컴포넌트와 제 1 고스티 컴포넌트의 비교에 기초하여 복수의 고유한 입력 이미지들로부터 제 1 기준 이미지를 선택할 수 있다. 예를 들어, 실시예는 입력 이미지들의 세트로부터 기준 이미지를 선택하고, 출력 이미지의 고스티 아티팩트 컴포넌트(들)를 수정하기 위해 기준 이미지를 이용할 수 있다. MGF는 고스티 이미지 컴포넌트와의 가장 근접한 유사성을 갖는 기준 이미지를 선택할 수 있다. 일 실시예에서, MGF는 노출, 컬러, 포화 또는 텍스처의 하나 또는 둘 이상의 기준들의 유사성에 기초하여 기준 이미지를 선택한다.
[00102] 블록(720)에서, 실시예는 출력 이미지의 제 1 고스티 컴포넌트의 적어도 일부를 제 1 기준 이미지의 적어도 일부로 대체함으로써 제 1 고스티 컴포넌트를 정정할 수 있다. 예를 들어, MGF는 감소되거나 제거된 고스트 아티팩트들에 의한 최종 이미지 결과를 생성하기 위해 출력 이미지를 조작 또는 편집할 수 있다. 일부 실시예들에서, MGF는 출력 이미지에서의 각각의 영역을 오버라이딩(override)하기 위해 기준 이미지로부터 클린(즉, 모션 고스팅 또는 아티팩트들의 결여) 섹션을 카피할 수 있다. 각각의 컴포넌트에 대해, MGF는 고스티 컴포넌트에 의해 표현되는 이미지 영역 상에 있는 각각의 기준 이미지를 카피할 수 있다.
[00103] 아티팩트 - 프리 블렌딩
[00104] 일 실시예에서, MGF는 채도 및 조도를 매치시킴으로써 다수의 입력 이미지들을 아티팩트-프리 출력 이미지로 블렌딩 또는 머징할 수 있다. 하나 또는 둘 이상의 이미지들의 블렌딩 전에, MGF는 기준 및 HDR 출력 이미지들을 YUV 컬러 공간 또는 로그(YUV) 컬러 공간으로 변환할 수 있다. MGF는 각각의 이미지(즉, 기준 이미지 Ri)의 채도(즉, 컬러) 및 조도(즉, 휘도)를 HDR 출력 이미지(즉, I HDR)의 채도 및/또는 조도와 매치시킨다. 위에서 설명된 바와 같이, 기준 이미지는 출력 이미지를 생성할 때 다른 기준 이미지들과 머징되도록 선택된 이미지를 지칭한다. 상이한 기준 이미지는 모션 마스크의 각각의 컴포넌트 하의 영역에 의한 이용을 위해 선택될 수 있다. 채도 및 조도를 매치시키는 것은 기준 이미지들과 최종 머징된 HDR 출력 이미지 사이의 상이한 채도 및 조도 차들에 의해 야기되는 블렌딩 아티팩트들을 감소시키거나 제거할 수 있다.
[00105] 대안적 실시예들에서, MGF는 이미지들을 RGB 컬러 공간 또는 로그(RGB) 컬러 공간으로 변환할 수 있다. RGB 또는 로그(RGB) 컬러 공간 내에서, MGF는 평균치를 하나의 RGB 채널로부터 또 다른 RGB 채널로 시프트할 수 있다. 예를 들어, 하나의 기준 이미지가 HDR 출력 이미지보다 더 많은 적색(Red)을 갖는 경우, MGF는 HDR 출력 이미지의 채널 레벨들을 매치시키기 위해 각각의 기준 이미지를 컬러 시프트(color shift)할 수 있다.
[00106] 도 8은 채도 및 조도 매치에 의한 아티팩트-프리 블렌딩의 흐름도를 예시한다. 블록(805)에서, 실시예는 HDR 출력 이미지를 생성하기 위해 이용된 기준 이미지들 각각에 대한 픽셀별(pixel-wise) 차를 계산함으로써 차 이미지들의 세트를 생성할 수 있다(예를 들어, 차 이미지 Di= I HDR - Ri). 예를 들어, 실시예는 제 1 기준 이미지와 연관된 차 이미지를 생성하기 위해 제 1 기준 이미지로부터의 각각의 픽셀을 HDR 출력 이미지 내에서의 각각의 픽셀과 비교한다. 각각의 기준 이미지 픽셀은 HDR 출력 이미지 내에서의 동등한 픽셀과 비교될 수 있고, 여기서, 동등한 것은 동일한 상대적 픽셀 위치 내에서의 픽셀과 관련된다. 예를 들어, 기준 이미지 내의 위치/좌표들 "X"에서의 픽셀은 HDR 출력 이미지 내의 위치/좌표들 "X"에 존재하는 어느 픽셀과도 비교될 것이다.
[00107] 블록(810)에서, 실시예는 Di'를 생성하기 위해 차 이미지 Di 각각을 블러링할 수 있다. 실시예는 스무드 오프셋 이미지 Di'를 초래하기 위해 각각의 차 이미지 내에서의 픽셀의 이웃을 평균화하도록 차 이미지들을 블러링할 수 있다. 다른 실시예들에서, MGF는 픽셀별 차를 결정하기 전에 참조 이미지 및 HDR 출력 이미지를 개별적으로 블러링한다.
[00108] 블록(815)에서, 실시예는 정정된 기준 이미지 Ri'를 생성하기 위해 블러링된(즉, 스무드) 오프셋 이미지를 각각의 기준 이미지에 부가/각각의 기준 이미지와 결합할 수 있다. 예를 들어, Ri' = Ri + Di'이다. 실시예는 아티팩트-프리 출력 이미지를 초래하는 이미지들의 선형 결합에 대한 입력으로서 정정된 기준 이미지를 제공할 수 있다.
[00109] MGF는 소프트웨어, 펌웨어, 하드웨어, 모듈 또는 엔진으로서 구현될 수 있다. 일 실시예에서, 이전 MGF 설명은 이전에 요구된 기능들을 달성하기 위해 디바이스(100) 내의 범용 프로세서(161)에 의해 구현될 수 있다.
[00110] 본원에서의 교시들은 다양한 장치들(예를 들어, 디바이스들)로 통합(예를 들어, 다양한 장치들(예를 들어, 디바이스들) 내에서 구현 또는 다양한 장치들(예를 들어, 디바이스들)에 의해 수행)될 수 있다. 예를 들어, 본원에 교시된 하나 또는 둘 이상의 양상들은 폰(예를 들어, 셀룰러 폰), 개인용 데이터 보조기("PDA"), 태블릿, 모바일 컴퓨터, 랩탑 컴퓨터, 태블릿, 엔터테인먼트 디바이스(예를 들어, 음악 또는 비디오 디바이스), 헤드셋(예를 들어, 헤드폰들, 이어피스 등), 의료용 디바이스(예를 들어, 생체인식 센서, 심박계, 보수계(pedometer), EKG 디바이스 등), 사용자 I/O 디바이스, 컴퓨터, 서버, 판매 시점 관리(point-of-sale) 디바이스, 엔터테인먼트 디바이스, 셋-탑 박스 또는 임의의 다른 적합한 디바이스로 통합될 수 있다.
[00111] 일부 양상들에서, 무선 디바이스는 통신 시스템에 대한 액세스 디바이스(예를 들어, Wi-Fi 액세스 포인트)를 포함할 수 있다. 이러한 액세스 디바이스는, 예를 들어, 유선 또는 무선 통신 링크를 통해 트랜시버(140)를 통한 또 다른 네트워크(예를 들어, 광역 네트워크, 이를테면, 인터넷 또는 셀룰러 네트워크)로의 연결성(connectivity)을 제공할 수 있다. 따라서, 액세스 디바이스는 또 다른 디바이스(예를 들어, Wi-Fi 스테이션)가 다른 네트워크 또는 일부 다른 기능에 액세스하는 것을 가능하게 할 수 있다. 또한, 디바이스들 중 하나 또는 둘 모두가 휴대용일 수 있거나, 일부 경우들에서, 비교적 비-휴대용일 수 있다는 것이 인식되어야 한다.
[00112] 당업자들은 정보 및 신호들이 임의의 다양한 상이한 기술들 및 기법들을 이용하여 표현될 수 있다는 것을 이해할 것이다. 예를 들어, 위의 설명 전체에 걸쳐 참조될 수 있는 데이터, 명령들, 커맨드들, 정보, 신호들, 비트들, 심볼들 및 칩들은 전압들, 전류들, 전자기파들, 자기장들 또는 자기 입자들, 광 필드들 또는 광 입자들 또는 이들의 임의의 결합으로 표현될 수 있다.
[00113] 당업자들은, 본원에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 엔진들, 회로들 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이 둘의 결합들로서 구현될 수 있다는 것을 추가로 인식할 것이다. 하드웨어와 소프트웨어의 이러한 상호 호환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 엔진들, 회로들 및 단계들이 일반적으로 이들의 기능적 관점에서 위에서 설명되었다. 이러한 기능이 하드웨어로 구현되는지, 또는 소프트웨어로 구현되는지는 전체 시스템 상에 부과되는 설계 제약들 및 특정 애플리케이션에 의존한다. 당업자들은 설명된 기능을 각각의 특정 애플리케이션에 대해 다양한 방식들로 구현할 수 있지만, 이러한 구현 결정들이 본 발명의 범위로부터의 이탈을 야기하게 하는 것으로 해석되지는 않아야 한다.
[00114] 본원에서 개시된 실시예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들 및 회로들은 범용 프로세서, DSP(digital signal processor), ASIC(application specific integrated circuit), FPGA(field programmable gate array) 또는 다른 프로그래머블 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들 또는 본원에 설명되는 기능들을 수행하도록 설계되는 이들의 임의의 결합으로 구현 또는 수행될 수 있다. 범용 프로세서는 마이크로프로세서일 수 있지만, 대안적으로, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기 또는 상태 머신일 수 있다. 또한, 프로세서는 컴퓨팅 디바이스들의 결합, 예를 들어, DSP 및 마이크로프로세서의 결합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 또는 둘 이상의 마이크로프로세서들, 또는 임의의 다른 이러한 구성으로서 구현될 수 있다.
[00115] 본원에 개시된 실시예들과 관련하여 설명된 알고리즘 또는 방법의 단계들은 직접 하드웨어로 구현되거나, 프로세서에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이 둘의 조합으로 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드디스크, 이동식(removable) 디스크, CD-ROM 또는 당해 기술 분야에 공지되어 있는 임의의 다른 형태의 저장 매체에 상주할 수 있다. 예시적인 저장 매체는 프로세서에 커플링되고, 이러한 프로세서는 저장 매체로부터 정보를 판독하고 그리고 저장 매체에 정보를 기록할 수 있다. 대안적으로, 저장 매체는 프로세서에 통합될 수 있다. 프로세서 및 저장 매체는 ASIC에 상주할 수 있다. ASIC는 사용자 단말에 상주할 수 있다. 대안적으로, 프로세서 및 저장 매체는 사용자 단말에서 개별 컴포넌트들로서 상주할 수 있다.
[00116] 하나 또는 둘 이상의 예시적 실시예들에서, 설명된 기능들, 방법들 또는 모듈들(예를 들어, 도 5-8))은 하드웨어(예를 들어, 하드웨어(162)), 소프트웨어(예를 들어, 소프트웨어(165)), 펌웨어(예를 들어, 펌웨어(163)) 또는 이들의 임의의 결합으로 구현될 수 있다. 컴퓨터 프로그램 물건으로서 소프트웨어로 구현되는 경우, 기능들 또는 모듈들은 비-일시적 컴퓨터 판독가능한 매체 상에 하나 또는 둘 이상의 명령들 또는 코드로서 저장되거나 또는 이들을 통해 송신될 수 있다. 컴퓨터 판독가능한 매체는 하나의 장소에서 다른 장소로 컴퓨터 프로그램의 이전을 가능하게 하는 임의의 매체를 포함하는 통신 매체들 및 컴퓨터 저장 매체들 둘 모두를 포함할 수 있다. 저장 매체들은 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체들일 수 있다. 제한이 아닌 예로서, 이러한 비-일시적 컴퓨터 판독가능한 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장소, 자기 디스크 저장소 또는 다른 자기 저장 디바이스들, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 전달 또는 저장하기 위해 이용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 연결이 컴퓨터 판독가능한 매체로 적절히 지칭된다. 예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 트위스티드 페어(twisted pair), DSL(digital subscriber line), 또는 (적외선, 라디오, 및 마이크로웨이브와 같은) 무선 기술들을 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되는 경우, 동축 케이블, 광섬유 케이블, 트위스티드 페어, DSL, 또는 (적외선, 라디오, 및 마이크로웨이브와 같은) 무선 기술들이 매체의 정의 내에 포함된다. 본원에서 이용되는 바와 같은 디스크(disk 및 disc)는 CD(compact disc), 레이저 디스크(disc), 광 디스크(disc), DVD(digital versatile disc), 플로피 디스크(disk) 및 블루-레이 디스크(disc)를 포함하며, 여기서 디스크(disk)들은 통상적으로 데이터를 자기적으로 재생하는 반면, 디스크(disc)들은 레이저들을 이용하여 데이터를 광학적으로 재생한다. 위의 것들의 결합들은 또한 비-일시적 컴퓨터 판독가능한 매체들의 범위 내에 포함되어야 한다.
[00117] 개시된 실시예들의 이전의 설명은 임의의 당업자가 본 발명을 실시하거나 또는 이용할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변경들은 당업자들에게 용이하게 명백할 것이고, 본원에서 정의되는 일반적 원리들은 본 발명의 사상 또는 범위를 벗어나지 않으면서 다른 실시예들에 적용될 수 있다. 따라서, 본 발명은 본원에 나타내는 실시예들에 제한되는 것으로 의도된 것이 아니라, 본원에 개시된 원리들 및 신규한 특징들과 일치하는 가장 넓은 범위를 따를 것이다.

Claims (36)

  1. 이미지 프로세싱을 위한 기계-구현 방법으로서,
    복수의 고유한 입력 이미지들 각각 내에서의 각각의 컴포넌트에 대한 이미지 품질 스코어를 결정하는 단계;
    상기 복수의 고유한 입력 이미지들로부터 제 1 기준 이미지를 선택하는 단계 ― 상기 선택은 상기 제 1 기준 이미지와 연관된 제 1 컴포넌트의 제 1 각각의 이미지 품질 스코어에 기초함 ― ; 및
    상기 복수의 고유한 입력 이미지들의 머징(merging)에 기초하여 출력 이미지를 생성하는 단계를 포함하고,
    상기 출력 이미지는 각각의 컴포넌트와 연관된 각각의 기준 이미지의 적어도 일부를 더 포함하는,
    이미지 프로세싱을 위한 기계-구현 방법.
  2. 제 1 항에 있어서,
    상기 각각의 컴포넌트는 상기 복수의 고유한 입력 이미지들 내에서 상이한 시간들에서 캡처된 모션의 바운딩(bound)된 영역을 표현하는,
    이미지 프로세싱을 위한 기계-구현 방법.
  3. 제 1 항에 있어서,
    상기 출력 이미지는: 높은 동적 레인지 이미지, 파노라믹 이미지 또는 연장된 필드 심도 이미지(extended depth of field image) 중 하나인,
    이미지 프로세싱을 위한 기계-구현 방법.
  4. 제 1 항에 있어서,
    상기 각각의 이미지 품질 스코어는 컴포넌트들: 노출, 컬러, 포화도, 선명도(sharpness) 또는 텍스처 중 하나 또는 둘 이상에 기초하는,
    이미지 프로세싱을 위한 기계-구현 방법.
  5. 제 1 항에 있어서,
    상기 제 2 기준 이미지와 연관된 제 2 컴포넌트에 대한 제 2 각각의 이미지 품질 스코어에 기초하여 상기 복수의 고유한 입력 이미지들로부터 제 2 기준 이미지를 선택하는 단계를 더 포함하는,
    이미지 프로세싱을 위한 기계-구현 방법.
  6. 이미지 프로세싱을 위한 기계-구현 방법으로서,
    복수의 고유한 입력 이미지들로부터 머징된 출력 이미지를 수신하는 단계 ― 상기 출력 이미지는 상기 복수의 고유한 입력 이미지들의 머징으로부터 발생하는 모션 아티팩트(motion artifact)들을 포함하는 제 1 고스티(ghosty) 컴포넌트를 가짐 ― ;
    상기 제 1 고스티 컴포넌트를 상기 복수의 고유한 입력 이미지들 각각 내에서의 타겟 컴포넌트와 비교하는 단계 ― 상기 타겟 컴포넌트는 상기 제 1 고스티 컴포넌트에 의해 커버된 동일한 상대적 이미지 영역을 포함함 ― ;
    상기 복수의 고유한 입력 이미지들로부터 제 1 기준 이미지를 선택하는 단계 ― 상기 선택은 상기 복수의 고유한 입력 이미지들 각각 내에서의 상기 타겟 컴포넌트와 상기 제 1 고스티 컴포넌트의 비교에 기초함 ― ; 및
    상기 출력 이미지의 상기 제 1 고스티 컴포넌트의 적어도 일부를 상기 제 1 기준 이미지의 적어도 일부로 대체함으로써 상기 제 1 고스티 컴포넌트를 정정하는 단계를 포함하는,
    이미지 프로세싱을 위한 기계-구현 방법.
  7. 제 6 항에 있어서,
    상기 비교하는 단계는, 상기 제 1 고스티 컴포넌트 내에서의 각각의 픽셀을 상기 복수의 고유한 입력 이미지들 각각의 상기 타겟 컴포넌트 내에서의 각각의 픽셀과 비교하는 단계를 더 포함하는,
    이미지 프로세싱을 위한 기계-구현 방법.
  8. 제 6 항에 있어서,
    상기 비교하는 단계는, 상기 제 1 고스티 컴포넌트 내에서의 적색, 녹색 및 청색 채널들의 픽셀 값 수단을 상기 복수의 고유한 입력 이미지들 각각의 상기 타겟 컴포넌트 내에서의 적색, 녹색 및 청색 채널들의 픽셀 값 수단과 비교하는 단계를 더 포함하는,
    이미지 프로세싱을 위한 기계-구현 방법.
  9. 제 6 항에 있어서,
    상기 복수의 고유한 입력 이미지들로부터 머징된 상기 출력 이미지의 제 2 고스티 컴포넌트를 복수의 개별 이미지들 각각과 비교하는 단계;
    상기 제 2 고스티 컴포넌트의 비교에 기초하여 상기 복수의 개별 이미지들로부터 제 2 기준 이미지를 선택하는 단계; 및
    상기 복수의 고유한 입력 이미지들로부터 머징된 상기 출력 이미지의 상기 제 2 고스티 컴포넌트의 적어도 일부를 상기 제 2 기준 이미지의 적어도 일부로 대체하는 단계를 더 포함하는,
    이미지 프로세싱을 위한 기계-구현 방법.
  10. 이미지 프로세싱을 위한 장치로서,
    복수의 고유한 입력 이미지들 각각 내에서의 각각의 컴포넌트에 대한 이미지 품질 스코어를 결정하기 위한 수단;
    상기 복수의 고유한 입력 이미지들로부터 제 1 기준 이미지를 선택하기 위한 수단 ― 상기 선택은 상기 제 1 기준 이미지와 연관된 제 1 컴포넌트의 제 1 각각의 이미지 품질 스코어에 기초함 ― ; 및
    상기 복수의 고유한 입력 이미지들의 머징(merging)에 기초하여 출력 이미지를 생성하기 위한 수단을 포함하고,
    상기 출력 이미지는 각각의 컴포넌트와 연관된 각각의 기준 이미지의 적어도 일부를 더 포함하는,
    이미지 프로세싱을 위한 장치.
  11. 제 10 항에 있어서,
    상기 각각의 컴포넌트는 상기 복수의 고유한 입력 이미지들 내에서 상이한 시간들에서 캡처된 모션의 바운딩(bound)된 영역을 표현하는,
    이미지 프로세싱을 위한 장치.
  12. 제 10 항에 있어서,
    상기 출력 이미지는: 높은 동적 레인지 이미지, 파노라믹 이미지 또는 연장된 필드 심도 이미지(extended depth of field image) 중 하나인,
    이미지 프로세싱을 위한 장치.
  13. 제 10 항에 있어서,
    상기 각각의 이미지 품질 스코어는 컴포넌트들: 노출, 컬러, 포화도, 선명도(sharpness) 또는 텍스처 중 하나 또는 둘 이상에 기초하는,
    이미지 프로세싱을 위한 장치.
  14. 제 10 항에 있어서,
    상기 제 2 기준 이미지와 연관된 제 2 컴포넌트에 대한 제 2 각각의 이미지 품질 스코어에 기초하여 상기 복수의 고유한 입력 이미지들로부터 제 2 기준 이미지를 선택하기 위한 수단을 더 포함하는,
    이미지 프로세싱을 위한 장치.
  15. 이미지 프로세싱을 위한 장치로서,
    복수의 고유한 입력 이미지들로부터 머징된 출력 이미지를 수신하기 위한 수단 ― 상기 출력 이미지는 상기 복수의 고유한 입력 이미지들로부터 머징된 상기 출력 이미지로부터 발생하는 모션 아티팩트들을 포함하는 제 1 고스티(ghosty) 컴포넌트를 가짐 ― ;
    상기 제 1 고스티 컴포넌트를 상기 복수의 고유한 입력 이미지들 각각 내에서의 타겟 컴포넌트와 비교하기 위한 수단 ― 상기 타겟 컴포넌트는 상기 제 1 고스티 컴포넌트에 의해 커버된 동일한 상대적 이미지 영역을 포함함 ― ;
    상기 복수의 고유한 입력 이미지들로부터 제 1 기준 이미지를 선택하기 위한 수단 ― 상기 선택은 상기 복수의 고유한 입력 이미지들 각각 내에서의 상기 타겟 컴포넌트와 상기 제 1 고스티 컴포넌트의 비교에 기초함 ― ; 및
    상기 출력 이미지의 상기 제 1 고스티 컴포넌트의 적어도 일부를 상기 제 1 기준 이미지의 적어도 일부로 대체함으로써 상기 제 1 고스티 컴포넌트를 정정하기 위한 수단을 포함하는,
    이미지 프로세싱을 위한 장치.
  16. 제 15 항에 있어서,
    상기 비교하는 것은, 상기 제 1 고스티 컴포넌트 내에서의 각각의 픽셀을 상기 복수의 고유한 입력 이미지들 각각의 상기 타겟 컴포넌트 내에서의 각각의 픽셀과 비교하는 것을 더 포함하는,
    이미지 프로세싱을 위한 장치.
  17. 제 15 항에 있어서,
    상기 비교하는 것은, 상기 제 1 고스티 컴포넌트 내에서의 적색, 녹색 및 청색 채널들의 픽셀 값 수단을 상기 복수의 고유한 입력 이미지들 각각의 상기 타겟 컴포넌트 내에서의 적색, 녹색 및 청색 채널들의 픽셀 값 수단과 비교하는 것을 더 포함하는,
    이미지 프로세싱을 위한 장치.
  18. 제 15 항에 있어서,
    상기 복수의 고유한 입력 이미지들로부터 머징된 상기 출력 이미지의 제 2 고스티 컴포넌트를 복수의 개별 이미지들 각각과 비교하기 위한 수단;
    상기 제 2 고스티 컴포넌트의 비교에 기초하여 상기 복수의 개별 이미지들로부터 제 2 기준 이미지를 선택하기 위한 수단; 및
    상기 복수의 고유한 입력 이미지들로부터 머징된 상기 출력 이미지의 상기 제 2 고스티 컴포넌트의 적어도 일부를 상기 제 2 기준 이미지의 적어도 일부로 대체하기 위한 수단을 더 포함하는,
    이미지 프로세싱을 위한 장치.
  19. 이미지 프로세싱을 위한 데이터 프로세싱 디바이스로서,
    프로세서; 및
    상기 프로세서에 커플링되고, 명령들을 저장하도록 구성가능한 저장 디바이스를 포함하고,
    상기 명령들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
    복수의 고유한 입력 이미지들 각각 내에서의 각각의 컴포넌트에 대한 이미지 품질 스코어를 결정하게 하고;
    상기 복수의 고유한 입력 이미지들로부터 제 1 기준 이미지를 선택하게 하고 ― 상기 선택은 상기 제 1 기준 이미지와 연관된 제 1 컴포넌트의 제 1 각각의 이미지 품질 스코어에 기초함 ― ; 그리고
    상기 복수의 고유한 입력 이미지들의 머징(merging)에 기초하여 출력 이미지를 생성하게 하고,
    상기 출력 이미지는 각각의 컴포넌트와 연관된 각각의 기준 이미지의 적어도 일부를 더 포함하는,
    이미지 프로세싱을 위한 데이터 프로세싱 디바이스.
  20. 제 19 항에 있어서,
    상기 각각의 컴포넌트는 상기 복수의 고유한 입력 이미지들 내에서 상이한 시간들에서 캡처된 모션의 바운딩(bound)된 영역을 표현하는,
    이미지 프로세싱을 위한 데이터 프로세싱 디바이스.
  21. 제 19 항에 있어서,
    상기 출력 이미지는: 높은 동적 레인지 이미지, 파노라믹 이미지 또는 연장된 필드 심도 이미지(extended depth of field image) 중 하나인,
    이미지 프로세싱을 위한 데이터 프로세싱 디바이스.
  22. 제 19 항에 있어서,
    상기 각각의 이미지 품질 스코어는 컴포넌트들: 노출, 컬러, 포화도, 선명도(sharpness) 또는 텍스처 중 하나 또는 둘 이상에 기초하는,
    이미지 프로세싱을 위한 데이터 프로세싱 디바이스.
  23. 제 19 항에 있어서,
    상기 명령들은,
    상기 제 2 기준 이미지와 연관된 제 2 컴포넌트에 대한 제 2 각각의 이미지 품질 스코어에 기초하여 상기 복수의 고유한 입력 이미지들로부터 제 2 기준 이미지를 선택하기 위한 명령들을 더 포함하는,
    이미지 프로세싱을 위한 데이터 프로세싱 디바이스.
  24. 이미지 프로세싱을 위한 데이터 프로세싱 디바이스로서,
    프로세서; 및
    상기 프로세서에 커플링되고, 명령들을 저장하기 위해 구성가능한 저장 디바이스를 포함하고,
    상기 명령들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
    복수의 고유한 입력 이미지들로부터 머징된 출력 이미지를 수신하게 하고 ― 상기 출력 이미지는 상기 복수의 고유한 입력 이미지들로부터 머징된 상기 출력 이미지로부터 발생하는 모션 아티팩트들을 포함하는 제 1 고스티(ghosty) 컴포넌트를 가짐 ― ;
    상기 제 1 고스티 컴포넌트를 상기 복수의 고유한 입력 이미지들 각각 내에서의 타겟 컴포넌트와 비교하게 하고 ― 상기 타겟 컴포넌트는 상기 제 1 고스티 컴포넌트에 의해 커버된 동일한 상대적 이미지 영역을 포함함 ― ;
    상기 복수의 고유한 입력 이미지들로부터 제 1 기준 이미지를 선택하게 하고 ― 상기 선택은 상기 복수의 고유한 입력 이미지들 각각 내에서의 상기 타겟 컴포넌트와 상기 제 1 고스티 컴포넌트의 비교에 기초함 ― ; 그리고
    상기 출력 이미지의 상기 제 1 고스티 컴포넌트의 적어도 일부를 상기 제 1 기준 이미지의 적어도 일부로 대체함으로써 상기 제 1 고스티 컴포넌트를 정정하게 하는,
    이미지 프로세싱을 위한 데이터 프로세싱 디바이스.
  25. 제 24 항에 있어서,
    상기 비교하는 것은, 상기 제 1 고스티 컴포넌트 내에서의 각각의 픽셀을 상기 복수의 고유한 입력 이미지들 각각의 상기 타겟 컴포넌트 내에서의 각각의 픽셀과 비교하는 것을 더 포함하는,
    이미지 프로세싱을 위한 데이터 프로세싱 디바이스.
  26. 제 24 항에 있어서,
    상기 비교하는 것은, 상기 제 1 고스티 컴포넌트 내에서의 적색, 녹색 및 청색 채널들의 픽셀 값 수단을 상기 복수의 고유한 입력 이미지들 각각의 상기 타겟 컴포넌트 내에서의 적색, 녹색 및 청색 채널들의 픽셀 값 수단과 비교하는 것을 더 포함하는,
    이미지 프로세싱을 위한 데이터 프로세싱 디바이스.
  27. 제 24 항에 있어서,
    상기 명령들은,
    상기 복수의 고유한 입력 이미지들로부터 머징된 상기 출력 이미지의 제 2 고스티 컴포넌트를 복수의 개별 이미지들 각각과 비교하기 위한 명령들;
    상기 제 2 고스티 컴포넌트의 비교에 기초하여 상기 복수의 개별 이미지들로부터 제 2 기준 이미지를 선택하기 위한 명령들; 그리고
    상기 복수의 고유한 입력 이미지들로부터 머징된 상기 출력 이미지의 상기 제 2 고스티 컴포넌트의 적어도 일부를 상기 제 2 기준 이미지의 적어도 일부로 대체하기 위한 명령들을 더 포함하는,
    이미지 프로세싱을 위한 데이터 프로세싱 디바이스.
  28. 데이터 프로세싱 디바이스로 하여금 이미지 프로세싱하게 하는 실행가능한 프로그램 명령들을 포함하는 기계 판독가능한 비-일시적 저장 매체로서,
    상기 실행가능한 프로그램 명령들은,
    복수의 고유한 입력 이미지들 각각 내에서의 각각의 컴포넌트에 대한 이미지 품질 스코어를 결정하는 것;
    상기 복수의 고유한 입력 이미지들로부터 제 1 기준 이미지를 선택하는 것 ― 상기 선택은 상기 제 1 기준 이미지와 연관된 제 1 컴포넌트의 제 1 각각의 이미지 품질 스코어에 기초함 ― ; 및
    상기 복수의 고유한 입력 이미지들의 머징(merging)에 기초하여 출력 이미지를 생성하는 것을 포함하고,
    상기 출력 이미지는 각각의 컴포넌트와 연관된 각각의 기준 이미지의 적어도 일부를 더 포함하는,
    기계 판독가능한 비-일시적 저장 매체.
  29. 제 28 항에 있어서,
    상기 각각의 컴포넌트는 상기 복수의 고유한 입력 이미지들 내에서 상이한 시간들에서 캡처된 모션의 바운딩(bound)된 영역을 표현하는,
    기계 판독가능한 비-일시적 저장 매체.
  30. 제 28 항에 있어서,
    상기 출력 이미지는: 높은 동적 레인지 이미지, 파노라믹 이미지 또는 연장된 필드 심도 이미지(extended depth of field image) 중 하나인,
    기계 판독가능한 비-일시적 저장 매체.
  31. 제 28 항에 있어서,
    상기 각각의 이미지 품질 스코어는 컴포넌트들: 노출, 컬러, 포화도, 선명도(sharpness) 또는 텍스처 중 하나 또는 둘 이상에 기초하는,
    기계 판독가능한 비-일시적 저장 매체.
  32. 제 28 항에 있어서,
    상기 제 2 기준 이미지와 연관된 제 2 컴포넌트에 대한 제 2 각각의 이미지 품질 스코어에 기초하여 상기 복수의 고유한 입력 이미지들로부터 제 2 기준 이미지를 선택하는 것을 더 포함하는,
    기계 판독가능한 비-일시적 저장 매체.
  33. 데이터 프로세싱 디바이스로 하여금 이미지 프로세싱하게 하는 실행가능한 프로그램 명령들을 포함하는 기계 판독가능한 비-일시적 저장 매체로서,
    상기 실행가능한 프로그램 명령들은,
    복수의 고유한 입력 이미지들로부터 머징된 출력 이미지를 수신하는 것 ― 상기 출력 이미지는 상기 복수의 고유한 입력 이미지들로부터 머징된 상기 출력 이미지로부터 발생하는 모션 아티팩트들을 포함하는 제 1 고스티(ghosty) 컴포넌트를 가짐 ― ;
    상기 제 1 고스티 컴포넌트를 상기 복수의 고유한 입력 이미지들 각각 내에서의 타겟 컴포넌트와 비교하는 것 ― 상기 타겟 컴포넌트는 상기 제 1 고스티 컴포넌트에 의해 커버된 동일한 상대적 이미지 영역을 포함함 ― ;
    상기 복수의 고유한 입력 이미지들로부터 제 1 기준 이미지를 선택하는 것 ― 상기 선택은 상기 복수의 고유한 입력 이미지들 각각 내에서의 상기 타겟 컴포넌트와 상기 제 1 고스티 컴포넌트의 비교에 기초함 ― ; 및
    상기 출력 이미지의 상기 제 1 고스티 컴포넌트의 적어도 일부를 상기 제 1 기준 이미지의 적어도 일부로 대체함으로써 상기 제 1 고스티 컴포넌트를 정정하는 것을 포함하는,
    기계 판독가능한 비-일시적 저장 매체.
  34. 제 33 항에 있어서,
    상기 비교하는 것은, 상기 제 1 고스티 컴포넌트 내에서의 각각의 픽셀을 상기 복수의 고유한 입력 이미지들 각각의 상기 타겟 컴포넌트 내에서의 각각의 픽셀과 비교하는 것을 더 포함하는,
    기계 판독가능한 비-일시적 저장 매체.
  35. 제 33 항에 있어서,
    상기 비교하는 것은, 상기 제 1 고스티 컴포넌트 내에서의 적색, 녹색 및 청색 채널들의 픽셀 값 수단을 상기 복수의 고유한 입력 이미지들 각각의 상기 타겟 컴포넌트 내에서의 적색, 녹색 및 청색 채널들의 픽셀 값 수단과 비교하는 것을 더 포함하는,
    기계 판독가능한 비-일시적 저장 매체.
  36. 제 33 항에 있어서,
    상기 복수의 고유한 입력 이미지들로부터 머징된 상기 출력 이미지의 제 2 고스티 컴포넌트를 복수의 개별 이미지들 각각과 비교하는 것;
    상기 제 2 고스티 컴포넌트의 비교에 기초하여 상기 복수의 개별 이미지들로부터 제 2 기준 이미지를 선택하는 것; 및
    상기 복수의 고유한 입력 이미지들로부터 머징된 상기 출력 이미지의 상기 제 2 고스티 컴포넌트의 적어도 일부를 상기 제 2 기준 이미지의 적어도 일부로 대체하는 것을 더 포함하는,
    기계 판독가능한 비-일시적 저장 매체.
KR1020157032367A 2013-04-15 2014-03-20 모션 고스트 필터링을 위한 기준 이미지 선택 KR20150142038A (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361812151P 2013-04-15 2013-04-15
US201361812148P 2013-04-15 2013-04-15
US61/812,148 2013-04-15
US61/812,151 2013-04-15
US14/012,518 US10382674B2 (en) 2013-04-15 2013-08-28 Reference image selection for motion ghost filtering
US14/012,518 2013-08-28
PCT/US2014/031354 WO2014172059A2 (en) 2013-04-15 2014-03-20 Reference image selection for motion ghost filtering

Publications (1)

Publication Number Publication Date
KR20150142038A true KR20150142038A (ko) 2015-12-21

Family

ID=51686519

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020157032422A KR101698876B1 (ko) 2013-04-15 2014-03-20 고스트-프리 높은 동적 레인지 이미지들의 생성
KR1020157032367A KR20150142038A (ko) 2013-04-15 2014-03-20 모션 고스트 필터링을 위한 기준 이미지 선택

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020157032422A KR101698876B1 (ko) 2013-04-15 2014-03-20 고스트-프리 높은 동적 레인지 이미지들의 생성

Country Status (6)

Country Link
US (2) US9338349B2 (ko)
EP (2) EP2987135B1 (ko)
JP (2) JP6395810B2 (ko)
KR (2) KR101698876B1 (ko)
CN (2) CN105144233B (ko)
WO (2) WO2014172060A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190048753A (ko) * 2017-10-31 2019-05-09 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9489706B2 (en) * 2012-07-02 2016-11-08 Qualcomm Technologies, Inc. Device and algorithm for capturing high dynamic range (HDR) video
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US9338349B2 (en) 2013-04-15 2016-05-10 Qualcomm Incorporated Generation of ghost-free high dynamic range images
US9955084B1 (en) * 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
JP2015001609A (ja) * 2013-06-14 2015-01-05 ソニー株式会社 制御装置、および記憶媒体
US20150009355A1 (en) * 2013-07-05 2015-01-08 Himax Imaging Limited Motion adaptive cmos imaging system
US10200649B2 (en) * 2014-02-07 2019-02-05 Morpho, Inc. Image processing device, image processing method and recording medium for reducing noise in image
US9185270B2 (en) * 2014-02-28 2015-11-10 Konia Minolta Laboratory U.S.A., Inc. Ghost artifact detection and removal in HDR image creation using graph based selection of local reference
US10567671B2 (en) * 2014-03-18 2020-02-18 Sony Corporation Image processing apparatus and image processing method
US9210335B2 (en) * 2014-03-19 2015-12-08 Konica Minolta Laboratory U.S.A., Inc. Method for generating HDR images using modified weight
US10277771B1 (en) * 2014-08-21 2019-04-30 Oliver Markus Haynold Floating-point camera
US9912865B2 (en) 2014-10-17 2018-03-06 Light Labs Inc. Methods and apparatus for supporting burst modes of camera operation
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US20160232672A1 (en) * 2015-02-06 2016-08-11 Qualcomm Incorporated Detecting motion regions in a scene using ambient-flash-ambient images
JP6489434B2 (ja) * 2015-04-13 2019-03-27 コニカミノルタ株式会社 画像生成装置及び画像生成制御プログラム並びに画像生成制御方法
US10979704B2 (en) * 2015-05-04 2021-04-13 Advanced Micro Devices, Inc. Methods and apparatus for optical blur modeling for improved video encoding
JP6613697B2 (ja) * 2015-08-06 2019-12-04 株式会社リコー 画像処理装置、プログラムおよび記録媒体
EP3346607B1 (en) * 2015-09-01 2021-03-17 Nec Corporation Power amplification apparatus and television signal transmission system
JP6593629B2 (ja) * 2015-09-09 2019-10-23 ソニー株式会社 画像処理装置、固体撮像素子、および電子機器
US10186023B2 (en) * 2016-01-25 2019-01-22 Qualcomm Incorporated Unified multi-image fusion approach
US9613409B1 (en) * 2016-02-02 2017-04-04 Novatek Microelectronics Corp. Image converting method and related image converting module
JP2017143340A (ja) * 2016-02-08 2017-08-17 株式会社デンソー 情報処理装置及びプログラム
CN105976325A (zh) * 2016-06-29 2016-09-28 上海小蚁科技有限公司 用于调整多个图像的明亮度的方法
US10257414B2 (en) 2016-07-15 2019-04-09 Qualcomm Incorporated Method and system for smart group portrait
EP3497925B1 (en) * 2016-08-09 2022-11-23 Contrast, Inc. Real-time hdr video for vehicle control
US10270958B2 (en) 2016-09-01 2019-04-23 Duelight Llc Systems and methods for adjusting focus based on focus target information
US9916644B1 (en) 2016-09-09 2018-03-13 Omnivision Technologies, Inc. Ghost artifact removal system and method
US10223775B2 (en) * 2016-09-14 2019-03-05 Omnivision Technologies, Inc. Array camera image combination with feature-based ghost removal
US9883119B1 (en) 2016-09-22 2018-01-30 Qualcomm Incorporated Method and system for hardware-based motion sensitive HDR image processing
CN106506981B (zh) * 2016-11-25 2019-04-19 阿依瓦（北京）技术有限公司 生成高动态范围图像的设备和方法
EP3552384B1 (en) * 2016-12-22 2021-03-31 Huawei Technologies Co., Ltd. Generation of ghost-free high dynamic range images
CN108335279B (zh) * 2017-01-20 2022-05-17 微软技术许可有限责任公司 图像融合和hdr成像
US10425599B2 (en) * 2017-02-01 2019-09-24 Omnivision Technologies, Inc. Exposure selector for high-dynamic range imaging and associated method
CN108668093B (zh) * 2017-03-31 2020-08-14 华为技术有限公司 Hdr图像的生成方法及装置
US10489878B2 (en) 2017-05-15 2019-11-26 Google Llc Configurable and programmable image processor unit
US10666874B2 (en) 2017-06-02 2020-05-26 Apple Inc. Reducing or eliminating artifacts in high dynamic range (HDR) imaging
CN107330867B (zh) 2017-06-16 2020-02-18 Oppo广东移动通信有限公司 图像合成方法、装置、计算机可读存储介质和计算机设备
US10863105B1 (en) 2017-06-27 2020-12-08 Amazon Technologies, Inc. High dynamic range imaging for event detection and inventory management
CN107545871B (zh) * 2017-09-30 2020-03-24 青岛海信电器股份有限公司 图像亮度处理方法及装置
US10764496B2 (en) * 2018-03-16 2020-09-01 Arcsoft Corporation Limited Fast scan-type panoramic image synthesis method and device
CN108632641A (zh) * 2018-05-04 2018-10-09 百度在线网络技术（北京）有限公司 视频处理方法及装置
CN108632668A (zh) * 2018-05-04 2018-10-09 百度在线网络技术（北京）有限公司 视频处理方法及装置
CN108833775B (zh) * 2018-05-22 2020-04-03 深圳岚锋创视网络科技有限公司 一种抗运动鬼影的hdr方法、装置及便携式终端
US11113801B1 (en) 2018-09-11 2021-09-07 Apple Inc. Robust image motion detection using scene analysis and image frame pairs
EP3891974B1 (en) * 2018-12-06 2024-05-01 GoPro, Inc. High dynamic range anti-ghosting and fusion
KR102628911B1 (ko) * 2019-01-07 2024-01-24 삼성전자주식회사 영상 처리 방법 및 이를 수행하는 영상 처리 장치
CN113874907A (zh) * 2019-02-15 2021-12-31 三星电子株式会社 生成hdr图像的电子设备及其操作方法
US11128809B2 (en) 2019-02-15 2021-09-21 Samsung Electronics Co., Ltd. System and method for compositing high dynamic range images
CN110149484B (zh) 2019-04-15 2020-07-10 浙江大华技术股份有限公司 图像合成方法、装置及存储装置
CN110428391B (zh) * 2019-08-02 2022-05-03 格兰菲智能科技有限公司 用以去除鬼影假象的图像融合方法及装置
WO2021101037A1 (en) * 2019-11-19 2021-05-27 Samsung Electronics Co., Ltd. System and method for dynamic selection of reference image frame
WO2021125490A1 (ko) * 2019-12-17 2021-06-24 삼성전자 주식회사 Hdr 영상을 생성하는 전자 장치 및 그 동작 방법
US11418766B2 (en) 2019-12-17 2022-08-16 Samsung Electronics Co., Ltd. Apparatus and method for chroma processing for multi-frame fusion
US11537027B2 (en) 2020-01-19 2022-12-27 Blue River Technology Inc. Methods and apparatus for using a controllable physical light filter as part of an image capture system and for processing captured images
CN111523409B (zh) * 2020-04-09 2023-08-29 北京百度网讯科技有限公司 用于生成位置信息的方法和装置
KR20210127591A (ko) 2020-04-14 2021-10-22 에스케이하이닉스 주식회사 이미지 처리 장치 및 그 방법
KR20210133472A (ko) 2020-04-29 2021-11-08 삼성전자주식회사 이미지 병합 방법 및 이를 수행하는 데이터 처리 장치
CN111652916B (zh) * 2020-05-11 2023-09-29 浙江大华技术股份有限公司 全景图像生成方法、设备及计算机存储介质
US11430094B2 (en) 2020-07-20 2022-08-30 Samsung Electronics Co., Ltd. Guided multi-exposure image fusion
CN112102154B (zh) * 2020-08-20 2024-04-26 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和存储介质
CN112102153B (zh) 2020-08-20 2023-08-01 北京百度网讯科技有限公司 图像的卡通化处理方法、装置、电子设备和存储介质
US11223780B1 (en) * 2020-10-23 2022-01-11 Black Sesame Technologies Inc. Two-stage method to merge burst image frames
CN112508814B (zh) * 2020-12-07 2022-05-20 重庆邮电大学 一种基于无人机低空视角下的图像色调修复型去雾增强方法
CN116233607B (zh) * 2021-12-01 2024-05-14 Oppo广东移动通信有限公司 一种多曝光图像处理方法、装置、芯片及电子设备
WO2023124201A1 (zh) * 2021-12-29 2023-07-06 荣耀终端有限公司 图像处理方法与电子设备
CN116437222B (zh) * 2021-12-29 2024-04-19 荣耀终端有限公司 图像处理方法与电子设备
US11671714B1 (en) 2022-01-24 2023-06-06 Qualcomm Incorporated Motion based exposure control
US20230237623A1 (en) * 2022-01-24 2023-07-27 Samsung Electronics Co., Ltd. System and method for noise reduction for blending blurred frames in a multi-frame system

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100604223B1 (ko) * 2004-10-22 2006-07-28 호서대학교 산학협력단 움직임 객체를 추출하는 방법 및 그 시스템
JP4497001B2 (ja) 2005-03-22 2010-07-07 株式会社ニコン 画像処理装置、電子カメラ、および画像処理プログラム
KR101442610B1 (ko) 2008-02-18 2014-09-19 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
JP5231284B2 (ja) 2008-03-31 2013-07-10 富士フイルム株式会社 撮像装置、撮像方法、およびプログラム
US8724921B2 (en) * 2008-05-05 2014-05-13 Aptina Imaging Corporation Method of capturing high dynamic range images with objects in the scene
JP5102374B2 (ja) 2008-06-19 2012-12-19 パナソニック株式会社 撮像システムにおける移動ぶれ及びゴースト防止のための方法及び装置
KR101534317B1 (ko) 2008-10-10 2015-07-06 삼성전자주식회사 높은 동적 대역(ｈｄｒ) 영상 생성방법 및 장치
JP5296193B2 (ja) 2009-04-08 2013-09-25 パナソニック株式会社 撮像装置、再生装置、撮像方法及び再生方法
US8570396B2 (en) * 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
WO2010123923A1 (en) 2009-04-23 2010-10-28 Zoran Corporation Multiple exposure high dynamic range image capture
US8398841B2 (en) * 2009-07-24 2013-03-19 Apple Inc. Dual anodization surface treatment
KR101616874B1 (ko) 2009-09-23 2016-05-02 삼성전자주식회사 다중 영상 합성 방법 및 그 장치
KR101633893B1 (ko) * 2010-01-15 2016-06-28 삼성전자주식회사 다중노출 영상을 합성하는 영상합성장치 및 방법
US20120288217A1 (en) 2010-01-27 2012-11-15 Jiefu Zhai High dynamic range (hdr) image synthesis with user input
JP5445235B2 (ja) 2010-03-09 2014-03-19 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2011205422A (ja) 2010-03-25 2011-10-13 Seiko Epson Corp 電子部品の実装構造体
JP2011205442A (ja) 2010-03-26 2011-10-13 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP5146498B2 (ja) 2010-07-23 2013-02-20 カシオ計算機株式会社 画像合成装置、画像合成方法、及びプログラム
CN103314572B (zh) 2010-07-26 2016-08-10 新加坡科技研究局 用于图像处理的方法和设备
JP5767485B2 (ja) 2011-02-07 2015-08-19 キヤノン株式会社 画像処理装置及び制御方法
CN103002225B (zh) * 2011-04-20 2017-04-12 高通科技公司 多曝光高动态范围图像捕捉
KR101699919B1 (ko) 2011-07-28 2017-01-26 삼성전자주식회사 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 ｈｄｒ 영상 생성 장치 및 방법
JP5821571B2 (ja) * 2011-11-28 2015-11-24 富士通株式会社 画像合成装置及び画像合成方法
US9338349B2 (en) 2013-04-15 2016-05-10 Qualcomm Incorporated Generation of ghost-free high dynamic range images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190048753A (ko) * 2017-10-31 2019-05-09 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체

Also Published As

Publication number Publication date
US9338349B2 (en) 2016-05-10
EP2987135A2 (en) 2016-02-24
US20140307044A1 (en) 2014-10-16
JP6395810B2 (ja) 2018-09-26
CN105144233A (zh) 2015-12-09
EP2987134A1 (en) 2016-02-24
KR101698876B1 (ko) 2017-01-23
EP2987135B1 (en) 2019-10-30
KR20150132605A (ko) 2015-11-25
US10382674B2 (en) 2019-08-13
EP2987134B1 (en) 2019-10-02
US20140307960A1 (en) 2014-10-16
JP6066536B2 (ja) 2017-01-25
CN105144233B (zh) 2018-08-28
CN105122302B (zh) 2018-03-09
JP2016516378A (ja) 2016-06-02
JP2016519822A (ja) 2016-07-07
WO2014172059A2 (en) 2014-10-23
WO2014172059A3 (en) 2015-01-29
WO2014172060A1 (en) 2014-10-23
CN105122302A (zh) 2015-12-02

Similar Documents

Publication Publication Date Title
KR101698876B1 (ko) 고스트-프리 높은 동적 레인지 이미지들의 생성
US10237527B2 (en) Convolutional color correction in digital images
CN111028189B (zh) 图像处理方法、装置、存储介质及电子设备
US9288392B2 (en) Image capturing device capable of blending images and image processing method for blending images thereof
EP3542347B1 (en) Fast fourier color constancy
CN110602467B (zh) 图像降噪方法、装置、存储介质及电子设备
CN108668093B (zh) Hdr图像的生成方法及装置
CN111028190A (zh) 图像处理方法、装置、存储介质及电子设备
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
US10298853B2 (en) Image processing apparatus, method of controlling image processing apparatus, and imaging apparatus
WO2019085951A1 (en) Image processing method, and device
JP6720881B2 (ja) 画像処理装置及び画像処理方法
CN110717871A (zh) 图像处理方法、装置、存储介质及电子设备
CN110740266B (zh) 图像选帧方法、装置、存储介质及电子设备
CN107454317A (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN116233607A (zh) 一种多曝光图像处理方法、装置、芯片及电子设备
EP4090006A2 (en) Image signal processing based on virtual superimposition
JP2017182668A (ja) データ処理装置、撮像装置、及びデータ処理方法
CN115908150A (zh) 图像增强方法、装置、计算机设备及计算机可读存储介质
JP2007043381A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid