KR101365369B1 - 고 명암비 이미지 합성 - Google Patents

고 명암비 이미지 합성 Download PDF

Info

Publication number
KR101365369B1
KR101365369B1 KR1020117016795A KR20117016795A KR101365369B1 KR 101365369 B1 KR101365369 B1 KR 101365369B1 KR 1020117016795 A KR1020117016795 A KR 1020117016795A KR 20117016795 A KR20117016795 A KR 20117016795A KR 101365369 B1 KR101365369 B1 KR 101365369B1
Authority
KR
South Korea
Prior art keywords
image data
image
luminance
region
pixel
Prior art date
Application number
KR1020117016795A
Other languages
English (en)
Other versions
KR20110105831A (ko
Inventor
칼린 엠 아타나소브
루벤 엠 벨라르데
샹-춘 리
하우 황
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20110105831A publication Critical patent/KR20110105831A/ko
Application granted granted Critical
Publication of KR101365369B1 publication Critical patent/KR101365369B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

고 명암비 이미지 합성 시스템 및 방법이 개시된다. 특정 실시형태에서, 디바이스는, 이미지의 영역 내의 제 1 글로벌하게 맵핑된 휘도 값들을 생성하도록 구성된 글로벌 맵핑 모듈, 이미지의 영역 내의 제 2 국부적으로 맵핑된 휘도 값들을 생성하도록 구성된 로컬 맵핑 모듈, 및 제 1 글로벌하게 맵핑된 휘도 값들 및 제 2 국부적으로 맵핑된 휘도 값들의 가중된 합을 이용하여 출력 이미지의 대응하는 영역 내의 휘도 값들을 결정하도록 구성된 합성 모듈을 포함한다. 가중된 합의 가중치는 이미지의 영역 내의 휘도 변화에 적어도 부분적으로 기초한다.

Description

고 명암비 이미지 합성{HIGH DYNAMIC RANGE IMAGE COMBINING}
일반적으로, 본 개시물은 고 명암비 이미지 합성에 관한 것이다.
기술에서의 진보는 보다 작고 보다 파워풀한 컴퓨팅 디바이스들을 초래하고 있다. 예를 들어, 휴대용 무선 전화기, 개인 휴대 정보 단말기 (PDA), 및 작고, 경량이며 사용자들에 의해 쉽게 운반되는 페이징 디바이스와 같은 무선 컴퓨팅 디바이스들을 포함하는 다양한 휴대용 개인 컴퓨팅 디바이스들이 현재 존재한다. 보다 구체적으로, 셀룰러 전화기 및 인터넷 프로토콜 (IP) 전화기와 같은 휴대용 무선 전화기는 무선 네트워크를 통해 음성 및 데이터 패킷들을 통신할 수 있다. 또한, 많은 이러한 무선 전화기들은 그 안에 통합되어 있는 다른 유형의 디바이스들을 포함한다. 예를 들어, 무선 전화기는 또한 디지털 스틸 카메라, 디지털 비디오 카메라, 디지털 레코더, 및 오디오 파일 플레이어를 포함할 수 있다. 또한, 이러한 무선 전화기는 인터넷을 액세스하기 위해 이용될 수 있는 웹 브라우저 애플리케이션과 같은 소프트웨어 애플리케이션을 포함하는 실행 가능 명령들을 프로세싱할 수 있다. 이와 같이, 이들 무선 전화기들은 상당한 컴퓨팅 능력들을 포함할 수 있다.
디지털 신호 프로세서 (DSP), 이미지 프로세서, 및 다른 프로세싱 디바이스들은 디지털 카메라에 의해 캡처된 이미지 또는 비디오 데이터를 디스플레이하거나 디지털 카메라들을 포함하는 휴대용 개인 컴퓨팅 디바이스들에서 자주 이용된다. 이러한 프로세싱 디바이스들은 비디오 및 오디오 기능을 제공하고, 캡처된 이미지 데이터와 같은 수신된 데이터를 프로세싱하고, 또는 다른 기능들을 수행하는데 이용될 수 있다.
디지털 카메라에 의해 캡처된 이미지 데이터 또는 비디오 데이터의 명암비는 정확하게 분해될 수 있는 최상위 광 레벨 및 최하위 광 레벨 간의 비율을 나타낸다. 이미지의 명암비는 이미지의 노출 시간으로 변할 수도 있다. 이미지는 2 개의 상이한 노출 시간들을 이용하여 캡처될 수도 있고, 결과의 이미지 세트들은 합성되어 고 명암비 (HDR) 이미지를 생성할 수도 있다. 결과의 HDR 이미지는 상이한 노출 시간들을 갖는 상이한 이미지들의 합성으로 인해 강화된 콘트라스트를 제공할 수도 있으나, 많은 디스플레이 또는 데이터 전송 표준들은 결과의 HDR 이미지의 증가된 데이터 요건들을 지원하지 않는다.
특정 실시형태에서, 이미지 센서로부터 제 1 이미지 데이터를 수신하는 단계를 포함하는 방법이 개시된다. 제 1 이미지 데이터는 제 1 노출 시간을 이용하여 생성된다. 방법은, 이미지 센서로부터 제 1 노출 시간보다 큰 제 2 노출 시간을 이용하여 생성된 제 2 이미지 데이터를 수신하는 단계를 포함한다. 방법은, 제 1 노출 시간에 대한 제 2 노출 시간의 비율에 기초하여 제 1 이미지 데이터의 휘도 값들을 스케일링하여 스케일링된 제 1 이미지 데이터를 생성하는 단계를 포함한다. 방법은 또한, 스케일링된 제 1 이미지 데이터의 제 1 유효 명암비와 제 2 이미지 데이터의 제 2 유효 명암비 간의 오버랩에 기초하여 스케일링된 제 1 이미지 데이터 및 제 2 이미지 데이터를 선택적으로 합성하여, 고 명암비 (HDR) 이미지를 생성하는 단계를 포함한다. 방법은 또한, 톤 맵핑을 생성하여 HDR 이미지의 명암비를 압축하는 단계를 포함한다. 톤 맵핑을 생성하는 단계는 HDR 이미지의 각 픽셀의 이웃 내의 휘도 변화에 기초하여 글로벌 톤 맵핑 값 및 로컬 톤 맵핑 값의 픽셀×픽셀 가중화를 결정하는 단계를 포함한다. 방법은, HDR 이미지의 압축된 명암비를 갖는 톤 맵핑된 이미지를 제공하여 디스플레이 디바이스에서 디스플레이되게 하는 단계를 더 포함한다.
다른 실시형태에서, 제 1 이미지 데이터의 휘도 분포에 기초하여 제 1 이미지 데이터의 제 1 휘도 값들을 조정하여 제 2 이미지 데이터를 생성하는 단계를 포함하는 방법이 개시된다. 방법은 또한, 제 2 이미지 데이터의 영역의 로컬 휘도 분포에 기초하여 제 2 이미지 데이터의 영역의 제 2 휘도 값들을 조정하여 국부적으로 조정된 이미지 데이터를 생성하는 단계를 포함한다. 방법은, 제 1 이미지 데이터보다 작은 명암비를 갖는 제 3 이미지 데이터를 생성하는 단계를 더 포함한다. 제 2 이미지 데이터의 영역에 대응하는 제 3 이미지 데이터의 휘도 값들은 영역 내의 제 2 이미지의 휘도 변화에 기초하여 제 2 이미지 데이터의 영역 내의 국부적으로 조정된 이미지 데이터 및 제 2 이미지 데이터를 합성함으로써 결정된다.
다른 실시형태에서, 프로세서 및 프로세서에 액세스 가능한 메모리를 포함하는 무선 디바이스가 개시된다. 무선 디바이스는 또한, 카메라 및 디스플레이 디바이스를 포함한다. 프로세서는, 특정 픽셀의 이웃 내의 휘도 변화에 기초하여 이미지 데이터의 복수의 픽셀들 중 각각의 특정 픽셀의 톤 맵핑된 픽셀 값을 포함하는 톤 맵핑된 이미지 데이터를 생성하도록 구성된다. 이미지 데이터는 카메라에서 캡처된 이미지에 대응한다. 프로세서는 또한, 디스플레이 디바이스에서의 디스플레이를 위해 톤 맵핑된 이미지 데이터를 제공하도록 구성된다.
다른 실시형태에서, 특정 픽셀의 이웃 내의 휘도 변화에 기초하여 이미지 데이터의 복수의 픽셀들 중 각각의 특정 픽셀의 톤 맵핑된 픽셀 값을 포함하는 톤 맵핑된 이미지 데이터를 생성하기 위한 수단을 포함하는 장치가 개시된다. 이미지 데이터는 카메라에서 캡처된 이미지에 대응한다. 장치는 또한, 디스플레이를 위해 톤 맵핑된 이미지 데이터를 제공하기 위한 수단을 포함한다.
다른 실시형태에서, 이미지의 영역 내의 제 1 글로벌하게 맵핑된 휘도 값들을 생성하도록 구성된 글로벌 맵핑 모듈을 포함하는 디바이스가 개시된다. 디바이스는 또한, 이미지의 영역 내의 제 2 국부적으로 맵핑된 휘도 값들을 생성하도록 구성된 로컬 맵핑 모듈을 포함한다. 디바이스는 제 1 글로벌하게 맵핑된 휘도 값들 및 제 2 국부적으로 맵핑된 휘도 값들의 가중된 합을 이용하여 출력 이미지의 대응하는 영역 내의 휘도 값들을 결정하도록 구성된 합성 모듈을 더 포함한다. 가중된 합의 가중치는 이미지의 영역 내의 휘도 변화에 적어도 부분적으로 기초한다.
다른 실시형태에서, 실행 가능 명령들을 포함하는 컴퓨터 판독가능 매체가 개시되고, 실행 가능 명령들은 실행 시에 프로세서로 하여금, 제 1 이미지 데이터를 수신하고 제 1 이미지 데이터의 휘도 분포에 기초하여 제 2 이미지 데이터를 생성하게 한다. 실행 가능 명령들은 실행 시에 프로세서로 하여금, 제 2 이미지 데이터의 영역 내의 로컬 휘도 분포에 기초하여 국부적으로 조정된 이미지 데이터를 생성하고, 제 1 이미지 데이터보다 작은 명암비를 갖는 제 3 이미지 데이터를 생성하게 한다. 제 2 이미지 데이터의 영역에 대응하는 제 3 이미지 데이터의 영역의 휘도 값들은 제 2 이미지 데이터의 영역 내의 제 2 이미지 데이터의 휘도 변화에 기초하여 국부적으로 조정된 이미지 데이터 및 제 2 이미지 데이터를 합성함으로써 결정된다.
고 명암비 이미지 합성의 실시형태에 의해 제공된 일 특정 이점은 저 명암비 이미지 전송 및 디스플레이 메커니즘들과 호환 가능한 강화된 콘트라스트 이미지들이다.
본 개시물의 다른 양태들, 이점들, 및 피처들은 다음의 섹션들: 도면의 간단한 설명, 상세한 설명, 및 청구범위를 포함하는 전체 출원의 리뷰 후에 명백해질 것이다.
도 1 은 고 명암비 (HDR) 합성 모듈 및 HDR 압축 모듈을 갖는 이미지 프로세싱 시스템을 포함하는 시스템의 특정 예시적인 실시형태의 블록도이다.
도 2 는 고 명암비 이미지 합성 시스템의 제 1 예시적인 실시형태의 블록도이다.
도 3 은 고 명암비 이미지 합성 시스템의 제 2 예시적인 실시형태의 블록도이다.
도 4 는 고 명암비 이미지 합성 시스템의 제 3 예시적인 실시형태의 블록도이다.
도 5 는 이미지 등록 및 합성 시스템의 블록도이다.
도 6 은 고 명암비 이미지를 생성하기 위해 이미지들을 합성하는 예시적인 실시형태의 일반도이다.
도 7 은 고 명암비 이미지 데이터를 압축하는 방법의 예시적인 실시형태의 흐름도이다.
도 8 은 고 명암비 이미지 합성 방법의 제 1 예시적인 실시형태의 흐름도이다.
도 9 는 고 명암비 이미지 합성 방법의 제 2 예시적인 실시형태의 흐름도이다.
도 10 은 고 명암비 이미지 합성 방법의 제 3 예시적인 실시형태의 흐름도이다.
도 11 은 고 명암비 합성 모듈을 포함하는 디바이스의 특정 실시형태의 블록도이다.
도 12 는 고 명암비 합성 모듈을 포함하는 무선 통신 디바이스의 블록도이다.
도 1 은 로컬 및 글로벌 맵핑을 이용하는 고 명암비 (HDR) 합성 모듈 및 HDR 압축 모듈을 갖는 이미지 프로세싱 시스템을 포함하는 시스템의 특정 예시적인 실시형태의 블록도이다. 시스템 (100) 은 이미지 프로세싱 시스템 (130) 에 커플링된 이미지 캡처 디바이스 (101) 를 포함한다. 이미지 프로세싱 시스템 (130) 은 이미지 저장 디바이스 (140) 및 디스플레이 디바이스 (170) 에 커플링된다. 이미지 프로세싱 시스템 (130) 은 상이한 노출 시간들을 이용하여 이미지 캡처 디바이스 (101) 로부터 이미지 데이터 (109) 의 다수의 세트들을 수신하고, 저 명암비 (LDR) 전송, 저장, 및 디스플레이 메커니즘과 호환 가능한 HDR 이미지를 생성하도록 구성된다. 일반적으로, 시스템 (100) 은 상대적으로 제한된 프로세싱 리소스들을 이용하여 실 시간 이미지 프로세싱을 수행하도록 구성되는 전자 디바이스에서 구현될 수도 있다.
특정 실시형태에서, 이미지 캡처 디바이스 (101) 는 비디오 카메라 또는 스틸 카메라와 같은 카메라이다. 이미지 캡처 디바이스 (101) 는 포커싱 모듈 (104) 및 노출 모듈 (106) 에 응답하는 렌즈 (102) 를 포함한다. 센서 (108) 는 렌즈 (102) 를 통해 광을 수신하고 렌즈 (102) 를 통해 수신된 이미지에 응답하여 이미지 데이터 (109) 를 생성하도록 커플링된다. 포커싱 모듈 (104) 은 센서 (108) 에 응답할 수도 있고, 렌즈 (102) 의 포커싱을 자동으로 제어하도록 구성될 수도 있다. 노출 모듈 (106) 은 또한, 센서 (108) 에 응답할 수도 있고, 이미지들의 노출을 제어하고 HDR 이미지로 합성될 다수의 이미지들의 노출을 변경하도록 구성될 수도 있다. 특정 실시형태에서, 센서 (108) 는 다수의 검출기들, 또는 인접한 검출기들이 상이한 색상의 빛을 검출하도록 배열되는 픽셀 웰 (well) 들을 포함한다. 예를 들어, 수신된 빛은, 각 검출기가 레드, 그린, 또는 블루 인커밍 빛을 수신하도록 필터링될 수도 있다.
이미지 캡처 디바이스 (101) 는 이미지 프로세싱 시스템 (130) 에 이미지 데이터 (109) 를 제공하도록 커플링된다. 이미지 프로세싱 시스템 (130) 은 센서 (108) 로부터 수신된 이미지 데이터 (109) 에 대해 디모자이크 (demosaic) 동작을 수행하기 위한 디모자이크 모듈 (110) 을 포함한다. 컬러 및 감마 보정 모듈 (112) 은 디모자이크된 이미지 데이터에 대한 컬러 보정을 수행하고, 감마 보정된 이미지 데이터를 생성하도록 구성된다. 컬러 변환 모듈 (114) 은 감마 보정된 이미지 데이터에 컬러 공간 전환을 수행하도록 커플링된다.
이미지 프로세싱 시스템 (130) 은 또한, 고 명암비 (HDR) 합성 모듈 (116) 및 로컬 및 글로벌 맵핑을 이용하는 HDR 압축 모듈 (118) 을 포함한다. HDR 합성 모듈 (116) 은 보다 짧은 노출 시간을 이용하여 캡처되는 제 1 저 명암비 이미지 (160) 와 보다 긴 노출 시간을 이용하여 캡처되는 제 2 저 명암비 이미지 (162) 를 합성하도록 구성된다. 저 명암비 (LDR) 이미지들 (160 및 162) 이 합성되어 고 명암비 이미지 (164) 를 형성한다. 로컬 및 글로벌 맵핑을 이용하는 HDR 압축 모듈 (118) 은 JPEG (Joint Photographic Experts Group) 인코딩과 같은 전송 계층, 또는 디스플레이 디바이스 (170) 와 같은 디스플레이 디바이스와 호환 가능한 비트 범위로 고 명암비 이미지 (164) 를 압축하도록 구성된다. 로컬 및 글로벌 맵핑을 이용하는 HDR 합성 및 HDR 압축의 예시적인 실시형태는 도 2-10 에 대하여 설명된다.
압축 및 저장 모듈 (120) 은 HDR 압축 모듈 (118) 의 출력을 수신하고, 출력 데이터를 이미지 저장 디바이스 (140) 에서 압축된 HDR 파일 (166) 로서 저장하도록 커플링된다. 예를 들어, 압축 및 저장 모듈 (120) 은 저장될 HDR 압축 모듈의 출력을 인코딩하기 위해 JPEG 인코딩을 이용하도록 구성될 수도 있다. 이미지 저장 디바이스 (140) 는 하나 이상의 디스플레이 버퍼, 레지스터, 캐시, 플래시 메모리 엘리먼트, 하드 디스크, 임의의 다른 저장 디바이스, 또는 이들의 임의의 조합과 같은 임의의 유형의 저장 매체를 포함할 수도 있다. 이미지 저장 디바이스 (140) 는, 압축된 HDR 파일 (166) 이 디스플레이 디바이스 (170) 에서 HDR 이미지 (168) 와 같이 디스플레이를 위해 복구 가능하도록 디스플레이 디바이스 (170) 에 액세스 가능할 수도 있다.
동작 동안, 시스템 (100) 은 대표 이미지 (150) 의 적어도 2 개의 이미지 캡처 동작들을 수행할 수도 있다. 이미지 (150) 는 해와 같이 도시된 밝은 영역, 및 나무의 그림자와 같이 도시된 어두운 영역을 포함한다. 저 명암비 이미지 (160) 는 센서 (108) 에서 단축된 노출 시간에 응답하여 캡처되는 이미지 데이터를 포함할 수도 있다. 단축된 노출 시간은 센서 (108) 로 하여금 이미지 (150) 의 보다 밝은 영역들 내의 디테일을 캡처하게 할 수도 있다. 예를 들어, 단축된 노출 시간은, 나무의 그림자와 같은 보다 어두운 영역들의 디테일이 캡처되지 않을 수도 있는 결과와 함께 해의 영역에서 센서 픽셀들의 포화를 방지할 수도 있다. 한편, 제 2 저 명암비 이미지 (162) 는 보다 긴 노출 시간, 예컨대 이미지 (160) 의 2 배의 노출 시간에서 센서 (108) 에 의해 캡처된 이미지 데이터를 포함할 수도 있다. 보다 긴 노출 시간은 센서 (108) 로 하여금 이미지 (150) 의 보다 어두운 부분들의 디테일을 캡처하게 하지만, 밝은 영역들 부근에서 센서 (108) 의 픽셀들로 하여금 포화되게 한다.
결과적으로, 제 1 LDR 이미지 (160) 는 어두운 영역들이 아닌 밝은 영역들 간의 콘트라스트를 제공할 수도 있는 한편, 제 2 LDR 이미지 (162) 는 어두운 영역들에서 콘트라스트를 제공할 수도 있으나 밝은 영역들이 없어지거나 희미하게 나타날 수도 있다. 고 명암비 이미지 (164) 를 생성하기 위해 저 명암비 이미지들 (160 및 162) 을 합성함으로써, 이미지 프로세싱 시스템 (130) 은 이미지 데이터로 하여금 해 주변의 밝은 영역들에서 또한 나무의 그림자 주변의 어두운 영역들에서의 디테일들을 포함하게 할 수 있다. 그러나, 결과의 HDR 이미지 (164) 는 JPEG 계층과 같은 전송 계층, 또는 디스플레이 디바이스 (170) 와 같은 디스플레이 디바이스에 의해 지원될 수도 있다. 예를 들어, 저 명암비 이미지들 (160 및 162) 양자 모두는, 예를 들어, 0-255 로부터의 범위를 갖는 8-비트 값들과 같은 픽셀 휘도 값들을 나타낼 수도 있고, HDR 이미지 (164) 는 예를 들어 0-65,535 로부터의 범위를 수용하기 위해 16-비트 값을 이용하는 픽셀 휘도 값들을 나타낼 수도 있다. 그러나, 디스플레이 디바이스 (170) 는 단지 픽셀 당 8-비트 휘도 값을 지원할 수도 있다. 따라서, HDR 이미지 (164) 의 16-비트 휘도 값들은 8-비트 값들로 압축되어 디스플레이 디바이스 (170) 에서 디스플레이될 수 있다.
HDR 압축 모듈 (118) 은 로컬 톤 맵핑 및 글로벌 톤 맵핑 양자 모두를 이용하여 HDR 이미지 (164) 를 압축한다. 예를 들어, 글로벌 톤 맵핑은 전체 HDR 이미지 (164) 전체의 휘도 값들의 분포에 기초하여 고 명암비 이미지의 다수의 휘도 값들을 보다 적은 수의 휘도 값들로 감소시키는데 이용될 수도 있다. 그러나, 글로벌 톤 맵핑은 HDR 이미지 (164) 의 임의의 특정 영역에서 차선일 수도 있다. 예를 들어, 글로벌 톤 맵핑은 나무의 베이스에서 그림자진 영역 및 해 주변의 밝은 영역 양자 모두에 대해 충분한 명암비를 제공하지 않을 수도 있다. 반면에, 로컬 톤 맵핑은 고 명암비 이미지를 다수의 영역들로 논리적으로 분할하고, 픽셀 휘도 값들을 휘도 값들의 감소된 범위로 영역 단위로 선택적으로 맵핑할 수도 있다. 따라서, 로컬 톤 맵핑은 휘도 값들의 감소된 범위로 더욱 국부적으로 유효 명암비의 맵핑을 인에이블할 수도 있으나, 이미지의 다수의 영역들에 걸쳐 균일성의 손실을 초래할 수도 있다.
HDR 압축 모듈 (118) 은 수신된 HDR 이미지 데이터에 기초하여 글로벌 톤 맵핑 및 또한 로컬 톤 맵핑을 수행할 수도 있고, 픽셀 단위로 로컬 톤 맵핑, 글로벌 톤 맵핑, 또는 로컬 톤 맵핑 및 글로벌 톤 맵핑의 가중된 합성을 선택할 수도 있다. 예를 들어, 고려 중인 픽셀이 휘도 값들의 고 변화의 영역에 있을 때, HDR 압축 모듈 (118) 은 로컬 맵핑의 보다 큰 가중을 선택하여, 픽셀의 영역에서 휘도 값들의 보다 큰 명암비를 제공할 수도 있다. 반대로, 특정 픽셀의 이웃에서 상당한 양의 휘도 변화가 없는 경우, HDR 압축 모듈 (118) 은 이미지 전체에서의 보다 좋은 균일성을 위해 글로벌 톤 맵핑의 보다 큰 가중화를 선택할 수도 있다.
상이한 노출 값들을 이용하여 하나 이상의 저 명암비 이미지들 (160, 162) 을 합성하고, 그 후 로컬 및 글로벌 톤 맵핑 양자 모두를 이용하여 결과의 HDR 이미지 (164) 를 압축함으로써, 시스템 (100) 은 보다 낮은 명암비 기술들과의 호환성을 보존하면서 관심 영역들에서 효과적으로 보다 큰 명암비를 제공하는 이미지를 생성할 수 있다. 또한, HDR 이미지 (164) 를 휘도 값들의 보다 작은 범위로 압축하기 위해 로컬 톤 맵핑된 픽셀 값들 및 글로벌 톤 맵핑된 픽셀 값들을 선택적으로 합성함으로써, 적합한 맵핑 기술 또는 맵핑의 블렌드 기술들이 특정 이미지 특징에 기초하여 선택될 수 있고, 맵핑 기술의 선택은 이미지 특징이 변경됨에 따라 이미지 전체에서 변경될 수도 있다.
도 1 에 도시된 특정 실시형태에서 이미지 캡처 디바이스 (102) 는 단일의 센서 (108) 를 갖는 것으로 도시되었으나, 다른 실시형태들에서 이미지 캡처 디바이스 (102) 는 다수의 센서들을 가질 수도 있다. 예를 들어, 이미지 캡처 디바이스 (102) 는 LDR 이미지들 (160 및 162) 을 제공하기 위해 상이한 노출 설정들을 이용하여 특정 화면의 다수의 동시적 이미지 캡처들을 수행하도록 구성된 2 이상의 센서들을 가질 수도 있다. 다수의 센서들을 갖는 실시형태에서, 센서들은 동일할 필요가 없고 대신에 상이한 특성들을 가질 수도 있다.
도 2 를 참조하면, 고 명암비 (HDR) 이미지 합성 시스템의 제 1 예시적인 실시형태가 도시되고, 일반적으로 200 으로 지정된다. 시스템 (200) 은 이미지 등록 모듈 (202), 이미지 스케일링 모듈 (204), 이미지 합성 모듈 (206), 및 가중화 함수 (208) 를 포함한다. 시스템 (200) 은 제 1 이미지 데이터 (212) 및 제 2 이미지 데이터 (214) 를 합성하여 HDR 이미지 데이터 (216) 를 생성한다. 예시적인 실시형태에서, 시스템 (200) 은 도 1 의 HDR 합성 모듈 (116) 내에 포함될 수도 있다.
제 1 이미지 데이터 (212) 는 제 1 노출 시간을 이용하는 이미지에 대응하는 이미지 센서의 출력을 포함할 수도 있는 한편, 제 2 이미지 데이터 (214) 는 제 2 노출 시간을 이용하는 이미지에 대응하는 동일한 이미지 센서 (또는 다른 이미지 센서) 의 출력을 포함할 수도 있다. 예를 들어, 제 1 이미지 데이터 (212) 는 N 의 노출 시간을 이용하여 노출될 수도 있는 한편, 제 2 이미지 데이터 (214) 는 1.5N, 2N, 4N, 또는 임의의 다른 정수 또는 다수의 N 의 넌-정수의 노출 시간을 이용하여 노출될 수도 있다.
특정 실시형태에서, 이미지 등록 모듈 (202) 은 제 1 이미지 데이터 (212) 및 제 2 이미지 데이터 (214) 를 수신하도록 구성된다. 이미지 등록 모듈 (202) 은 제 1 이미지 데이터 (212) 및 제 2 이미지 데이터 (214) 에 대한 하나 이상의 오프셋을 결정하여 제 1 정렬된 이미지 데이터 (218) 및 제 2 정렬된 이미지 데이터 (220) 를 생성하기 위한 이미지들의 정확한 등록을 인에이블하도록 구성될 수도 있다. 예를 들어, 제 1 이미지 데이터 (212) 는 이미지 내의 객체들의 움직임 또는 다른 카메라 모션 또는 손 떨림에 의한 것과 같은, 카메라의 이동으로 인해 제 2 이미지 데이터 (214) 로부터 오프셋될 수도 있다. 이미지 등록 모듈 (202) 은 이미지 데이터 (212 및 214) 의 영역들 또는 픽셀들에 대응하는 하나 이상의 모션 벡터들을 결정하도록 구성될 수도 있다. 모션 벡터들은, 각 이미지의 대응하는 부분들이 제 1 정렬된 이미지 데이터 (218) 및 제 2 정렬된 이미지 데이터 (220) 에서의 각 이미지의 실질적으로 동일한 픽셀 로케이션들에 위치하도록 제 1 이미지 데이터 (212) 및 제 2 이미지 데이터 (214) 중 적어도 하나가 조정되게 할 수 있다.
이미지 스케일링 모듈 (204) 은 정렬된 이미지 데이터 (218 및 220) 중 하나 이상의 각종 픽셀 레벨들의 강도를 변경하여, 제 1 스케일링된 이미지 데이터 (222) 및 제 2 스케일링된 이미지 데이터 (224) 를 생성하도록 구성된다. 예를 들어, 제 2 정렬된 이미지 데이터 (220) 가 제 1 정렬된 이미지 데이터 (218) 의 2 배의 노출 시간과 동일한 노출 시간을 가지면, 제 1 정렬된 이미지 데이터 (218) 의 각 픽셀에 대응하는 휘도 값들은 제 2 정렬된 이미지 데이터 (220) 와 동일한 양의 시간 동안 노출되었을 때 픽셀이 수신하였을 적절한 양의 빛을 보상하도록 조정될 수도 있다. 또한, 휘도 값들의 스케일링은 그때 그때 봐가며 (on the fly) 추정될 수도 있다. 특정 실시형태에서, 제 1 정렬된 이미지 데이터 (218) 의 휘도 값들의 스케일링의 일 결과는, 제 1 정렬된 이미지 데이터 (218) 의 스케일링된 휘도 값들의 범위가 저 명암비 이미지 데이터 포맷에서 이용 가능한 수의 휘도 값들을 초과할 수도 있다는 것이다. 따라서, 제 1 스케일링된 이미지 데이터 (222) 는 제 1 이미지 데이터 (212) 보다 각 픽셀에 대해 다수의 데이터 비트들을 이용하여 표현될 수도 있다.
특정 실시형태에서, 이미지 스케일링 모듈 (204) 은 제 1 및 제 2 이미지의 상대적인 노출 시간들에 기초하여 제 1 정렬된 이미지 데이터 (218) 또는 제 2 정렬된 이미지 데이터 (220) 중 단지 하나를 스케일링하여, 제 1 스케일링된 이미지 데이터 (222) 및 제 2 스케일링된 이미지 데이터 (224) 를 생성하도록 구성된다. 그러나, 다른 실시형태들에서, 제 1 정렬된 이미지 데이터 (218) 및 제 2 정렬된 이미지 데이터 (220) 중 하나 또는 양자 모두가 조정될 수도 있다.
특정 실시형태에서, 이미지 합성 모듈 (206) 은 이미지 스케일링 모듈 (204) 로부터 스케일링된 이미지 데이터 (222 및 224) 를 수신하고, 수신된 스케일링된 이미지 데이터를 합성하여, 고 명암비 이미지 데이터 (216) 를 생성하도록 구성될 수도 있다. 특정 실시형태에서, 이미지 합성 모듈 (206) 은 이미지 스케일링 모듈 (204) 에 의해 스케일링된, 이미지 데이터 (212) 와 같은 보다 짧은 노출 시간에 대응하는 제 1 스케일링된 이미지 데이터 (222) 를 수신할 수도 있다. 또한, 이미지 합성 모듈 (206) 은, 이미지 스케일링 모듈 (204) 에 의해 스케일링되었을 수도 있거나 스케일링되지 않았을 수도 있는, 제 2 스케일링된 이미지 데이터 (224) 를 수신할 수도 있다. 이미지 합성 모듈 (206) 은 HDR 이미지 데이터 (216) 의 각 특정 픽셀에 대해 제 1 스케일링된 이미지 데이터 (222), 제 2 스케일링된 이미지 데이터 (224), 또는 양자의 조합에 대응하는 값들을 포함하는지 여부를 결정하기 위한 내부 로직 또는 다른 판정 회로를 포함할 수도 있다.
특정 실시형태에서, 이미지 합성 모듈 (206) 은 가중화 함수 (208) 로부터 하나 이상의 값들을 수신하도록 구성된다. 가중화 함수 (208) 는, 이미지 합성 모듈 (206) 로 하여금 제 1 스케일링된 이미지 데이터 (222) 및 제 2 스케일링된 이미지 데이터 (224) 를 선택적으로 합성하여 HDR 이미지 데이터 (216) 를 생성하기 위한 하나 이상의 컨디션들 또는 값들을 포함할 수도 있다. 예를 들어, 가중화 함수 (208) 는 제 1 스케일링된 이미지 데이터 (222) 및 제 2 스케일링된 이미지 데이터 (224) 로부터 HDR 이미지 데이터 (216) 의 픽셀 값들을 블렌딩, 구별, 또는 다르게는 결정하기 위한 하나 이상의 스텝 함수들, 하나 이상의 시그모이드 함수들, 또는 하나 이상의 다른 함수들의 표현을 포함할 수도 있다. 나타내기 위해, 픽셀의 영역 내의 휘도 변화와 같은 메트릭은 스케일링된 이미지 데이터 (222 및/또는 224) 로부터 결정되고, 가중화 함수 (208) 에 제공될 수도 있다. 가중화 함수 (208) 는, 제 1 스케일링된 이미지 데이터 (222) 에서의 픽셀의 값을 제 2 스케일링된 이미지 데이터 (224) 에서의 픽셀의 값에 추가하여 HDR 이미지 데이터 (216) 에서의 픽셀 값을 생성하기 전에, 제 1 스케일링된 이미지 데이터 (222) 의 값 및/또는 제 2 스케일링된 이미지 데이터 (224) 의 값에 적용될 스케일링 팩터를 나타내는 값을 리턴할 수도 있다.
도 3 을 참조하면, 고 명암비 (HDR) 이미지 합성 시스템의 제 2 예시적인 실시형태가 도시되고, 일반적으로 300 으로 지정된다. 시스템 (300) 은 글로벌 맵핑 모듈 (302), 로컬 맵핑 모듈 (304), 변화 모듈 (306), 및 합성 모듈 (308) 을 포함한다. 글로벌 맵핑 모듈 (302), 로컬 맵핑 모듈 (304), 및 변화 모듈 (306) 은 HDR 이미지 데이터에 각각 응답하고, 합성 모듈 (308) 에 출력을 각각 제공한다. 특정 실시형태에서, 합성 모듈 (308) 은 입력 이미지 데이터보다 적은 비트들을 이용하여 표현된 휘도 값들을 갖는 하이 명암비를 갖는 출력 이미지 데이터 (328) 를 생성한다. 예시적인 실시형태에서, 시스템 (300) 은 도 1 의 HDR 압축 모듈 (118) 에 포함된다.
특정 실시형태에서, 고 명암비 이미지 데이터 (310) 는 글로벌 맵핑 모듈 (302) 에 제공된다. 고 명암비 이미지 데이터 (310) 는 이미지의 하나 이상의 픽셀들에 대한 휘도 데이터를 포함할 수도 있고, 여기서 휘도 데이터는 출력 이미지 데이터 (328) 보다 큰 범위의 값들을 이용하여 표현된다. 예를 들어, HDR 이미지 데이터 (310) 는 각 픽셀의 휘도 값의 16-비트 기술 (description) 을 포함할 수도 있는 한편, 출력 이미지 데이터 (328) 는 각 픽셀의 휘도 값의 8-비트 기술을 포함할 수도 있다. 글로벌 맵핑 모듈 (302) 은 HDR 이미지 데이터 (310) 의 픽셀들의 휘도 값들의 하나 이상의 히스토그램을 생성하고, 픽셀 휘도 값들의 픽셀 분포를 더 적은 수의 휘도 값들로 맵핑하여 글로벌 맵핑된 이미지 데이터 (314) 를 생성하도록 구성될 수도 있다. 특정 실시형태에서, 글로벌 맵핑 모듈 (302) 은 지각적으로 제약된 히스토그램을 이용할 수도 있고, 히스토그램 균등화를 수행할 수도 있다. 글로벌 맵핑 모듈 (302) 은, 예컨대 색을 볼수 있도록 눈의 손상된 능력을 시뮬레이션하기 위해 디테일 및 컬러 포화 감소를 해결하도록 눈의 손상된 능력을 시뮬레이션하기 위한 로우 패스 필터를 이용함으로써 보다 어두운 영역에서 지각적인 프로세싱을 수행할 수도 있다.
특정 실시형태에서, 로컬 맵핑 모듈 (304) 은 HDR 이미지 데이터 (310) 의 적어도 하나의 영역 (312) 에 대응하는 데이터를 수신하고 영역 (312) 내의 픽셀 휘도 값들에 기초하여 로컬 맵핑된 이미지 (318) 를 생성하도록 구성된다. 예를 들어, 로컬 맵핑 모듈 (304) 은 영역 (312) 에 대응하는 HDR 이미지 데이터 (310) 의 서브세트에 글로벌 맵핑 모듈 (302) 과 유사한 맵핑 기술을 적용할 수도 있다. 다르게는, 로컬 맵핑 모듈 (304) 은 영역 (342) 에 대응하는 휘도 값들을 감소된 수의 휘도 값들로 맵핑하기 위한 하나 이상의 다른 맵핑 기술들을 적용할 수도 있다. 로컬 맵핑 모듈 (304) 은 HDR 이미지 데이터 (310) 의 영역 (312) 에 대응하는 국부적으로 맵핑된 픽셀 휘도 값들을 갖는 영역 (320) 을 포함하는 로컬 맵핑된 이미지 데이터 (318) 를 생성할 수도 있다.
특정 실시형태에서, 글로벌 맵핑된 이미지 데이터 (314) 및 로컬 맵핑된 이미지 데이터 (318) 가 합성 모듈 (308) 에 제공될 수도 있다. 합성 모듈 (308) 은 글로벌하게 (globally) 맵핑된 이미지 데이터 (314) 및 로컬 맵핑된 이미지 데이터 (318) 를 수신하고, 변화 모듈 (306) 의 출력에 기초하여 수신된 이미지 데이터 (314 및 318) 를 선택적으로 합성하도록 구성될 수도 있다. 예를 들어, 특정 실시형태에서, 합성 모듈 (308) 은 글로벌 맵핑된 이미지 데이터 (314) 의 휘도 값들, 또는 로컬 맵핑된 이미지 데이터 (318) 로부터 휘도 값들을 선택하도록 구성될 수도 있다. 다른 실시형태에서, 합성 모듈 (308) 은 글로벌 맵핑된 이미지 데이터 (314) 의 픽셀들의 휘도 값들에 제 1 가중치를 적용하고, 로컬 맵핑된 이미지 데이터 (318) 의 휘도 값들에 제 2 가중치를 적용하도록 구성될 수도 있다. 도시된 실시형태에서, 합성 모듈 (308) 은 제 1 가중치를 결정하여 글로벌 맵핑된 이미지 데이터 (314) 에 적용하도록 구성된다. 제 1 가중치는 0 과 1 사이의 값일 수도 있다. 합성 모듈 (308) 은 로컬 맵핑된 이미지 데이터 (318) 에 적용될 제 2 가중치를 결정하도록 또한 구성된다. 제 2 가중치는 1 마이너스 제 1 가중치와 실질적으로 동일할 수도 있다. 따라서, 합성 모듈 (308) 은, 출력 이미지 데이터 (328) 와 같은, 글로벌 맵핑된 이미지 데이터 (314) 의 휘도 값들 및 로컬 맵핑된 이미지 데이터 (318) 의 휘도 값들의 가중된 합을 출력하도록 구성될 수도 있다.
특정 실시형태에서, 합성 모듈 (308) 은 영역 단위로 글로벌 맵핑된 이미지 데이터 (314) 및 로컬 맵핑된 이미지 데이터 (318) 각각에 가중치를 결정 및 적용하도록 구성된다. 다른 실시형태에서, 합성 모듈 (308) 은 픽셀 단위로 가중치를 적용하도록 구성된다. 예를 들어, 합성 모듈 (308) 에서 수신되는 변화 모듈 (306) 의 출력은 글로벌 맵핑된 이미지 데이터 (314) 의 대응하는 픽셀들에 적용하기 위한 제 1 가중화 및 로컬 맵핑된 이미지 데이터 (318) 에 적용하기 위한 제 2 가중화의 픽셀 단위 결정을 인에이블하는 데이터를 포함할 수도 있다.
특정 실시형태에서, 변화 모듈 (306) 은 각각의 특정의 관심 픽셀 (322) 에 대해, 주변 픽셀들의 이웃 (324) 에서의 변화를 결정하도록 구성된다. 예를 들어, 특정의 관심 픽셀 (322) 주변의 5×5 영역을 포함할 수도 있다. 특정 실시형태에서, 변화 모듈 (306) 은 픽셀들의 이웃 (324) 내의 HDR 이미지 데이터 (310) 의 휘도 값들에서의 차이에 기초하여 변화를 결정하도록 구성된다. 예를 들어, 변화 모듈 (306) 은, 각 특정의 관심 픽셀 (322) 에 대해, 픽셀의 5×5 이웃 (324) 내의 휘도 값들의 대표값 (mean), 또는 평균 (average) 으로 나누어진 표준 편차 또는 분산에 비례하는 출력 값 (326) 을 결정할 수도 있다. 대표값으로 나누어진 분산의 출력 값은 α 로 지정된 비례 팩터로 스케일링될 수도 있다.
특정 실시형태에서, 출력 이미지 데이터 (328) 는 HDR 이미지 데이터 (310) 의 영역 (312) 에 대응하는 영역 (330) 을 포함한다. 출력 이미지 데이터 (328) 의 영역 (330) 은, 제 1 가중화 값 w1 곱하기 글로벌 맵핑된 이미지의 대응하는 영역 (316) 의 대응하는 픽셀의 휘도 값 (GMIi,j), 플러스 제 2 가중화 값 w2 곱하기 로컬 맵핑된 이미지의 영역 (320) 의 대응하는 픽셀의 휘도 값 (LMIi,j) 과 동일한 값을 갖는 Li,j 로 나타내어진 특정 픽셀들의 휘도 값들을 포함한다.
각각의 특정 픽셀의 영역 내의 휘도 변화의 양에 기초하여 로컬 맵핑된 이미지 데이터 (318) 와 글로벌 맵핑된 이미지 데이터 (314) 를 선택적으로 합성함으로써, 출력 이미지 데이터 (328) 는 글로벌 맵핑된 이미지 또는 로컬 맵핑된 이미지 중 단지 하나를 선택하는 것 보다 관심이 덜한 영역들에서 향상된 연속성 및 관심있는 영역들에서 향상된 명암비를 가질 수도 있다. 따라서, 출력 이미지 데이터 (328) 는 고 명암비 이미지 데이터 (310) 와 적어도 동일한 양의 디테일을 갖도록 생성될 수도 있다. 또한, 다른 기술들과 비교하여 제어된 복잡도, 이미지 분할의 감소 또는 제거, 및 인공물들의 감소 또는 제거와 같은 이점들을 초래할 수도 있다.
도 4 를 참조하면, 고 명암비 이미지 합성 시스템의 제 3 예시적인 실시형태가 도시되고, 일반적으로 400 으로 지정된다. 시스템 (400) 은 글로벌 톤 맵핑 모듈 (402), 로컬 톤 맵핑 모듈 (404), 변화 모듈 (406), 및 합성 모듈 (408) 을 포함한다. 글로벌 톤 맵핑 모듈 (402) 은 고 명암비 (HDR) 이미지 데이터 (420) 를 수신하고, 로컬 톤 맵핑 모듈 (404), 변화 모듈 (406), 및 합성 모듈 (408) 각각에 글로벌 톤 맵핑된 이미지 데이터 (421) 를 제공하도록 구성된다. 합성 모듈 (408) 은 로컬 톤 맵핑 모듈 (404), 글로벌 톤 맵핑 모듈 (402), 및 변화 모듈 (406) 로부터 입력을 수신하고, 출력 이미지 데이터 (424) 를 제공하도록 구성된다. 특정 실시형태에서, 시스템 (400) 은 도 1 의 HDR 압축 모듈 (118) 에 포함될 수도 있다.
특정 실시형태에서, 글로벌 톤 맵핑 모듈 (402) 은 HDR 이미지 데이터 (420) 를 수신하고, HDR 이미지 데이터 (420) 의 픽셀 휘도 값들을 글로벌 톤 맵핑된 이미지 데이터 (421) 에서의 휘도 값들의 보다 작은 세트로 변환하는 글로벌 톤 맵핑을 수행하도록 구성된다. 글로벌 톤 맵핑된 이미지 데이터 (421) 는 글로벌, 또는 이미지-폭, HDR 이미지 데이터 (420) 내의 강도 값들의 분포를 갖는 명암비를 포함할 수도 있다.
특정 실시형태에서, 로컬 톤 맵핑 모듈 (404) 은 글로벌 톤 맵핑된 이미지 데이터 (421) 를 수신하고, 글로벌 톤 맵핑된 이미지 데이터 (421) 내의 하나 이상의 영역들에 대한 로컬 톤 맵핑을 수행하도록 구성된다. 예를 들어, 로컬 톤 맵핑 모듈 (404) 은 글로벌 톤 맵핑된 이미지 데이터 (421) 를 다수의 인접하거나 오버랩되는 영역들로 논리적으로 분할하고, 톤 맵핑을 수행하여 하나 이상의 개별의 영역들에 대해 적합한 휘도 범위 압축을 결정할 수도 있다. 예를 들어, 로컬 톤 맵핑 모듈 (404) 은 상부 좌측 대부분의 영역에 대해 제 1 적합한 맵핑을, 다음에 다음 영역에 대해 제 2 맵핑을 결정하도록 구성될 수도 있고, 각 영역에 대해 적합한 맵핑을 결정하여, 글로벌 톤 맵핑된 이미지 데이터 (421) 의 실질적으로 전부를 횡단할 수도 있다. 로컬 톤 맵핑 모듈 (404) 은 다수의 영역들에 걸친 픽셀들의 하나 이상의 이웃들을 이용하여, 보간 기술을 통한 것과 같이 각각의 국부적으로 맵핑된 영역을 변형하도록 또한 구성될 수도 있다. 이 방식으로, 로컬 톤 맵핑 모듈 (404) 은 국부적으로 맵핑된 영역 데이터 (418) 에서 영역-대-영역으로부터 상이한 비트 값들로 맵핑되는 유사한 휘도 값들에서의 차이를 조정 또는 보상할 수도 있다.
특정 실시형태에서, 변화 모듈 (406) 은 글로벌 톤 맵핑된 이미지 데이터 (421) 를 수신하고, 글로벌 톤 맵핑된 이미지 데이터 (421) 의 결정된 영역 내의 휘도 값들의 변화에 기초하여 분석을 수행하고 결과를 출력하도록 구성될 수도 있다. 예를 들어, 변화 모듈 (406) 은 픽셀 단위로 각각의 특정 픽셀의 이웃 내의 표준 편차, 분산 나누기 대표값, 최상위 휘도 값과 최하위 휘도 값간의 차이, 또는 임의의 다른 변화 결정을 결정하도록 구성될 수도 있다.
예를 들어, 변화 모듈 (406) 은 특정의 관심 픽셀 주변의 3×3, 5×5, 또는 다른 크기의 이웃 내의 변화를 결정할 수도 있다. 다르게는, 또는 또한, 변화 모듈 (406) 은 글로벌 톤 맵핑된 이미지 데이터 (421) 의 하나 이상의 영역들에 대응하는 변화 메트릭의 하나 이상의 값들을 결정할 수도 있다. 예를 들어, 변화 모듈 (406) 은 로컬 톤 맵핑 모듈 (404) 에 의해 결정되는 국부적으로 맵핑된 영역 데이터 (418) 의 각 영역에 대응하는 변화 메트릭의 값을 결정할 수도 있다.
특정 실시형태에서, 변화 모듈 (406) 은 평탄도 맵 (flatness map; 410) 을 생성한다. 평탄도 맵 (410) 은 미리 결정된 관심 영역 또는 각 픽셀에 대응하는 휘도 변화의 양 또는 "평탄도" 를 나타내는 데이터를 포함할 수도 있다. 예를 들어, 특정 픽셀의 "평탄도" 는 도 3 에 대하여 설명된 바와 같이, 픽셀의 이웃에서 α(σ2/μ) 로서 결정될 수도 있다.
특정 실시형태에서, 합성 모듈 (408) 은 제 1 가중화 모듈 (412) 및 제 2 가중치 모듈 (414) 을 포함한다. 제 1 가중치 모듈 (412) 은 로컬 톤 맵핑 모듈 (404) 및 평탄도 맵 (410) 에 응답하여, 국부적으로 맵핑된 영역들 데이터 (418) 의 픽셀 휘도 값들에 적용하기 위한 가중치를 결정할 수도 있다. 유사하게, 제 2 가중치 모듈 (414) 은 글로벌 톤 맵핑된 이미지 데이터 (421) 및 평탄도 맵 (410) 에 응답하여, 글로벌 톤 맵핑된 이미지 데이터 (421) 의 각각의 픽셀 휘도 값에 적용하기 위한 가중화를 결정한다. 합성 모듈 (408) 은 또한, 제 1 가중치 모듈 (412) 에 의해 출력된 가중된 픽셀 휘도 값을 제 2 가중치 모듈 (414) 에 의해 출력된 가중된 픽셀 휘도 값에 추가하기 위한 추가 회로 (416) 를 포함한다. 추가 회로 (416) 의 출력은 출력 이미지 데이터 (424) 에 제공된다. 출력 이미지 데이터 (424) 는 HDR 이미지 데이터 (420) 의 디테일의 레벨을 보존 또는 강화하도록 생성될 수도 있다.
도 5 를 참조하면, 다수의 이미지들을 선택적으로 합성하기 위한 시스템이 도시되고, 일반적으로 500 으로 지정된다. 특정 실시형태에서, 시스템 (500) 은 도 1 의 HDR 합성 모듈 (116), 도 2 의 시스템 (200), 도 3 의 시스템 (300), 도 4 의 시스템 (400), 임의의 다른 이미지 프로세싱 시스템, 또는 이들의 임의의 조합에 포함될 수도 있다. 시스템 (500) 은 계층적 합성 회로 (560) 에 커플링되는 계층적 등록 회로 (520) 를 포함한다. 계층적 등록 회로 (520) 및 계층적 합성 회로 (560) 는 애플리케이션 특정 제어 회로 (532) 에 커플링된다. 애플리케이션 특정 제어 회로 (532) 및 계층적 합성 회로 (560) 는 또한 가중화 테이블 (534) 에 커플링된다.
계층적 등록 회로 (520) 는 제 1 이미지에 대응하는 제 1 이미지 루마 데이터 (502) 및 제 2 이미지에 대응하는 제 2 이미지 루마 데이터 (504) 를 수신하고, 코어스 (coarse) 등록 회로 (522) 및 파인 (fine) 등록 회로 (524) 를 이용하여 제 1 이미지 루마 데이터 (502) 및 제 2 이미지 루마 데이터 (504) 에 대한 등록 프로세스를 수행하도록 구성된다. 계층적 등록 회로 (520) 는 제 1 이미지 루마 데이터 (502) 및 제 2 이미지 루마 데이터 (504) 의 대응하는 부분들 간의 검출된 오프셋들을 나타내는 모션 벡터들의 파인 세트 (529) 를 생성하도록 구성된다. 특정 실시형태에서, 모션 벡터들의 파인 세트 (529) 는 크기 및 방향 데이터를 포함하여, 카메라 이동, 이미지 이동, 또는 둘다로 인해 오정렬될 수도 있는 이미지들을 정렬한다. 도시된 바와 같이, 계층적 등록 회로 (520) 는 계산적 효율성을 위해 이미지 루마 데이터 상에 동작한다. 그러나, 다른 실시형태에서, 계층적 등록 회로 (520) 는 루마 데이터에 추가하여 또는 루마 데이터 대신에, 크로마 성분 데이터, 레드 데이터, 블루 데이터, 또는 그린 데이터, 또는 이들의 임의의 조합과 같은 이미지 데이터의 다른 유형들을 이용하여 동작할 수도 있다.
특정 실시형태에서, 코어스 등록 회로 (522) 는 모션 벡터 생성 회로 (526) 를 포함한다. 모션 벡터 생성 회로 (526) 는 제 1 이미지 루마 데이터 (502) 및 제 2 이미지 루마 데이터 (504) 각각을 블록들로 분할하여 블록들 간의 코어스 등록 프로세스를 수행하도록 구성될 수도 있다. 예를 들어, 모션 벡터 생성 회로 (526) 는 제 1 이미지 루마 데이터 (502) 및 제 2 이미지 루마 데이터 (504) 각각을, 오버랩되는 블록들의 3×3 세트로 논리적으로 분할할 수도 있고, 오버랩되는 블록들의 프로젝션을 이용하여 제 1 이미지 루마 데이터 (502) 의 대응하는 블록에 제 2 이미지 루마 데이터 (504) 의 블록들 각각을 정렬하도록 적용될 수 있는 모션 벡터들의 코어스 세트 (527) 를 생성할 수도 있다. 다른 실시형태에서, 임의의 수의 블록들이 이용될 수도 잇고, 블록들 일부 또는 전부가 오버랩되지 않는 블록일 수도 있다.
파인 등록 회로 (524) 는 모션 벡터들의 코어스 세트 (527) 를 수신하고 모션 벡터들의 파인 세트 (529) 를 생성하도록 구성된다. 특정 실시형태에서, 파인 등록 회로 (524) 는 매크로 블록 모션 벡터 리파이닝 (refining) 회로 (530) 에 커플링된 모션 벡터 업샘플링 회로 (528) 를 포함한다. 모션 벡터 업샘플링 회로 (528) 는 모션 벡터들의 코어스 세트 (527) 를 수신 및 업샘플링하여 모션 벡터들의 코어스 세트 (527) 보다 파인한 입도를 갖는 모션 벡터들을 생성할 수도 있다. 나타내기 위해, 이미지 루마 데이터 (502 및 504) 는 매크로 블록들의 M×N 어레이들로서 구성될 수도 있고, 여기서 각각의 매크로 블록은 이미지의 16 픽셀 × 16 픽셀에 대응할 수도 있다. 모션 벡터 업샘플링 회로 (528) 는 각각의 매크로 블록에 모션 벡터들의 코어스 세트 (527) 의 대응하는 모션 벡터를 적용하는 모션 벡터들의 M×N 세트를 생성할 수도 있다.
특정 실시형태에서, 매크로 블록 모션 벡터 리파이닝 회로 (530) 는 모션 벡터들의 업샘플링된 세트 (527) 및 이미지 루마 데이터 (502 및 504) 를 수신하고, 모션 벡터들의 리파이닝된 세트 (529) 를 생성하도록 커플링된다. 예를 들어, 매크로 블록 모션 벡터 리파이닝 회로 (530) 는 제 1 이미지 데이터의 대응하는 매크로 블록과 제 2 이미지 데이터의 매크로 블록을 적당히 (coarsely) 정렬하도록 제 2 이미지 데이터의 그 대응하는 매크로 블록에 모션 벡터들의 업샘플링된 세트 (527) 의 각 모션 벡터를 적용하도록 구성될 수도 있다. 매크로 블록 모션 벡터 리파이닝 회로 (530) 는 제 1 이미지 루마 데이터 (502) 에 적당히 정렬된 매크로 블록의 더 정확한 정렬을 결정하도록 적당히 정렬된 매크로 블록 주변에서 제 1 이미지 루마 데이터 (502) 의 영역을 검색할 수도 있다. 검색 영역은 애플리케이션 특정 제어 회로 (532) 로부터 수신된 검색 범위 제어 신호 (535) 에 기초하여 선택될 수도 있다. 모션 벡터들의 리파이닝된 세트 (529) 는 제 1 이미지 루마 데이터 (502) 및 제 2 이미지 루마 데이터 (504) 의 매크로 블록 × 매크로 블록 등록을 인에이블하도록 각각의 매크로 블록의 더 정확한 정렬에 대응하는 벡터 데이터를 나타낼 수도 있다.
매크로 블록 모션 벡터 리파이닝 회로 (530) 는 각각의 모션 벡터에 대한 다수의 가능한 MSE 들 중에서 최하위 계산된 평균 제곱 오차 (MSE) 를 선택하는 알고리즘을 수행함으로써 모션 벡터들의 리파이닝된 세트 (529) 를 결정할 수도 있다. 예를 들어, 제 2 이미지 루마 데이터 (504) 의 특정 매크로 블록에 대해, 제 1 이미지 루마 데이터 (502) 와의 매크로 블록의 다수의 가능한 정렬들이 고려될 수도 있고, 모션 벡터들의 리파이닝된 세트 (529) 에 대해 최하위 계산된 MSE 를 초래하는 정렬이 선택된다. 각 매크로블록에 대해 결정된 평균 제곱 오차는 모션 벡터 (MV) 평균 제곱 차이 데이터 (531) 로서 계층적 합성 회로 (560) 에 제공될 수도 있다.
특정 실시형태에서, 계층적 합성 회로 (560) 는 코어스 합성 회로 (562) 및 파인 합성 회로 (564) 를 이용하여 제 1 이미지 데이터 (506) 및 제 2 이미지 데이터 (508) 를 합성하도록 구성된다. 제 1 이미지 데이터 (506) 는 제 1 이미지에 대한 제 1 루마 데이터 (502) 를 포함할 수도 있고, 또한 YCbCr 이미지 데이터로서 제 1 이미지에 대한 크로마 데이터를 포함할 수도 있다. 제 2 이미지 데이터 (508) 는 제 2 이미지에 대한 제 2 루마 데이터 (504) 및 YCbCr 데이터로서 제 2 이미지에 대한 크로마 데이터를 포함할 수도 있다.
특정 실시형태에서, 코어스 합성 회로 (562) 는 매크로 블록 이미지 정렬 회로 (566) 및 블록 MSE 차이 식별 회로 (568) 를 포함한다. 매크로 블록 이미지 정렬 회로 (566) 는 제 2 이미지 데이터 (508) 에 모션 벡터들의 리파이닝된 세트 (529) 를 적용하여 제 1 이미지 데이터에 정렬되는 제 2 이미지의 이미지 데이터를 생성하도록 구성될 수도 있다. 예를 들어, 매크로 블록 이미지 정렬 회로 (566) 는 매크로 블록들이 오버랩하도록 결정될 때 제 2 이미지의 픽셀 값들을 합성하고, 또는 매크로 블록들이 임의의 매크로 블록 내에 있지 않은 제 2 이미지 데이터의 영역을 초래하도록 재정렬되는 픽셀 값들을 보간하도록 구성될 수도 있다. 매크로 블록 이미지 정렬 회로 (566) 는 제 1 이미지 데이터 (506) 및 제 2 이미지에 대해 정렬된 이미지 데이터를 블록 MSE 차이 식별 회로 (568) 에 제공할 수도 있다.
특정 실시형태에서, 블록 MSE 차이 식별 회로 (568) 는 매크로 블록 이미지 정렬 회로 (566) 로부터 수신된 데이터에 대한 코어스 합성 프로세스를 수행하도록 구성된다. 특히, 블록 MSE 차이 식별 회로 (568) 는 제 1 이미지 데이터 (506) 와 충분히 매치되지 않는 제 2 이미지에 대한 정렬된 이미지 데이터의 매크로 블록을 제거할 수도 있다. 예를 들어, 각 매크로 블록에 대한 MV MS 차이 데이터 (531) 는 임계 값들에 대해 비교될 수도 있다. MS 차이가 특정 매크로 블록에 대한 임계 값을 초과할 때, 특정 매크로 블록은 제 1 이미지 데이터 (506) 와 제 2 이미지에 대해 정렬된 이미지 데이터 사이에서 매우 상이하도록 결정되고, 따라서 이미지 데이터는 특정 매크로 블록에 대해 합성되지 않을 것이다.
예를 들어, (제 2 이미지에 대해 정렬된 이미지 데이터의 제 1 매크로 블록에서가 아닌) 제 1 이미지 데이터 (506) 의 제 1 매크로 블록에서 이동하는 객체가 나타나고, (제 1 이미지 데이터 (506) 의 제 2 매크로 블록에서가 아닌) 제 2 이미지에 대해 정렬된 이미지 데이터의 제 2 매크로 블록에서 이동하는 객체가 나타나는 경우, 제 1 매크로 블록은 제 1 이미지와 제 2 이미지 간의 합성가능하지 않은 것으로 결정될 수도 있고, 제 2 매크로 블록은 대응하는 평균 제곱 오차 차이들로 인해 제 1 이미지와 제 2 이미지 간의 합성 가능하지 않은 것으로 결정될 수도 있다. 블록 MSE 차이 식별 회로 (568) 는, 단지 제 1 이미지 데이터 (506) 로부터의 매크로 블록에 대한 픽셀 값들이 이용되도록, 정렬된 제 2 이미지 데이터로부터 각각의 합성 가능하지 않은 매크로 블록을 제거하도록 구성될 수도 있다. 예를 들어, 매크로 블록에 대한 픽셀 값들이 제 1 이미지 데이터 (506) 로부터 복사되어 제 2 이미지에 대해 정렬된 이미지 데이터의 대응하는 매크로 블록에서의 픽셀 값들을 대체할 수도 있다.
도시된 바와 같이, 블록 MSE 차이 식별 회로 (568) 는 애플리케이션 특정 제어 회로 (532) 에 응답한다. 예를 들어, 애플리케이션 특정 제어 회로 (532) 는 제 1 이미지 데이터의 매크로 블록과 정렬된 이미지 데이터 간의 MSE 차이를 비교하는데 이용될 임계 차이를 나타내는 임계 제어 신호 (537) 를 제 2 이미지에 제공할 수도 있다. 블록 MSE 차이 식별 회로 (568) 는 코어스 합성 프로세스 다음에 제 1 이미지에 대응하는 이미지 데이터 및 제 2 이미지에 대응하는 이미지 데이터를 포함하는 파인 합성 회로 (564) 로 이미지 데이터의 2 세트를 출력할 수도 있다.
파인 합성 회로 (564) 는 등록되어 있고 적당히 정렬되어 있는 제 1 및 제 2 이미지 데이터를 수신하고, 파인 합성 프로세스를 수행하여 출력 이미지 데이터 (580) 를 생성하도록 구성된다. 특정 실시형태에서, 파인 합성 회로 (564) 는 평균 픽셀 MS 차이 회로 (574) 에 커플링된 제 1 필터 (570) 및 제 2 필터 (572) 를 포함한다. 파인 합성 회로 (564) 는 또한, 평균 픽셀 MS 차이 회로 (574) 및 가중화 테이블 (534) 에 커플링된 이미지 합성 회로 (576) 를 포함한다.
제 1 이미지에 대해 수신된 데이터는 제 1 필터 (570) 에 의해 프로세싱될 수도 있고, 제 1 이미지에 대해 필터링된 데이터는 평균 픽셀 MS 차이 회로 (574) 에 제공된다. 제 2 이미지에 대해 수신된 데이터는 제 2 필터 (572) 에 의해 프로세싱될 수도 있고, 제 2 이미지에 대해 필터링된 데이터는 평균 픽셀 MS 차이 회로 (574) 에 제공된다. 필터들 (570 및 572) 은 애플리케이션 특정 제어 회로 (532) 에 응답할 수도 있다. 예를 들어, 필터들 (570 및 572) 은 로우-패스 응답, 하이-패스 응답, 밴드패스 응답, 임의의 다른 필터 응답, 또는 이들의 임의의 조합과 같은 필터 응답 특징을 나타내는 애플리케이션 특정 제어 회로 (532) 로부터 응답 제어 신호 (539) 를 수신할 수도 있다. 필터들 (570 및 572) 은 3×3 커넬 (kernel), 또는 임의의 다른 크기의 커넬을 포함할 수도 있다. 특정 실시형태에서, 필터들 (570 및 572) 은 애플리케이션 특정 제어 회로 (532) 에 응답하는 커넬 크기를 갖는다.
평균 픽셀 MS 차이 회로 (574) 는 각각의 이미지에 대응하는 필터링된 데이터를 수신하고, 픽셀×픽셀 사인된 평균 제곱 차이 연산을 수행하도록 구성될 수도 있다. 차이 연산은, 특정 픽셀에 대한 루마 값 및 크로마 값 각각을 이용하여, 각각의 특정 픽셀에 대해, 제 2 이미지의 필터링된 데이터 및 제 1 이미지의 필터링된 데이터 간의 차이를 나타내는 사인된 값을 생성할 수도 있다. 평균 픽셀 MS 차이 회로 (574) 는 이미지 합성 회로 (476) 에 차이 데이터를 제공하도록 구성될 수도 있다.
이미지 합성 회로 (576) 는 각각의 픽셀에 대해 평균 픽셀 MS 차이 회로 (574) 로부터 차이 값을 수신하고, 출력 이미지 데이터 (580) 에서 각 픽셀의 픽셀 값을 결정하도록 구성될 수도 있다. 예를 들어, 특정 픽셀에 대해 수신된 차이 값은 가중화 테이블 (534) 에서 룩업 동작으로서 제공될 수도 있다. 룩업 동작의 결과는, 출력 이미지 데이터 (580) 의 픽셀 값이 코어스 합성 회로 (562) 로부터 수신된 제 1 이미지 데이터로부터의 값, 코어스 합성 회로 (562) 로부터 수신된 제 2 수신된 이미지 데이터로부터의 값, 또는 이들의 조합을 갖는지 여부를 결정할 수도 있다.
가중화 테이블 (534) 은 제 1 이미지 데이터의 픽셀 값에 적용될 제 1 가중치 및 제 2 이미지 데이터의 픽셀 값에 적용될 제 2 가중치를 나타내는 데이터를 포함할 수도 있다. 가중화 테이블 (534) 은 제 1 이미지 데이터에 적용될 가중치에 대응하는 대략 0 내지 1 의 범위를 갖는 출력 값 "W", 및 제 2 이미지 데이터에 적용될 가중치에 대응하는 값 1-W 를 제공할 수도 있다. 가중화 테이블 (534) 은 애플이케이션 특정 제어 회로 (532) 로부터의 테이블 제어 신호 (533) 에 응답할 수도 있다.
동작 동안, 애플리케이션 특정 제어 회로 (532) 는 시스템 (500) 에서 이미지 등록 및 합성 프로세스를 제어하도록 하나 이상의 제어 파라미터들을 결정할 수도 있다. 예를 들어, 애플리케이션 특정 제어 회로 (532) 는 매크로 블록 등록의 침해성을 나타내기 위한 검색 범위 제어 신호 (535) 의 값, 매크로블록 합성에 대한 수용 가능한 차이의 양을 나타내기 위한 임계 제어 신호 (537), 수행될 필터링의 유형을 나타내기 위한 응답 제어 신호 (539), 및 이미지들 간의 필터링된 픽셀 차이에 기초하여 이미지들이 어떻게 합성되는지를 나타내기 위한 테이블 제어 신호 (533) 를 선택할 수도 있다.
예를 들어, 애플리케이션 특정 제어 회로 (532) 는 HDR 이미지를 생성에 특정한 제어 신호들을 생성하도록 구성될 수도 있다. 검색 범위 제어 신호 (535) 는 매우 낮은 또는 제로의 모션 벡터 검색 범위를 나타내도록 설정될 수도 있다. 임계 제어 신호 (537) 는, 모든 블록들이 수락되도록 매우 높은 임계를 나타내거나 블록 차이 식별 동작을 디스에이블하도록 설정될 수도 있다. 응답 제어 신호 (539) 는, 높은 노출 이미지용 루마 필터가 필터들 (570 및 572) 에서 평균 무엇보다도 0 으로 설정되도록 설정될 수도 있다. 테이블 제어 신호 (533) 는, 픽셀 수용 임계가 다른 픽셀들로부터 멀리 제거된 값들을 갖는 픽셀들을 추가하지 않기에 알맞게 높이 설정되도록 가중화 함수를 나타내도록 설정될 수도 있다.
시스템 (500) 이 특정 프로세스들을 수행하도록 구성된 하드웨어 회로들을 포함하는 것으로 도시되었으나, 다른 실시형태들에서 시스템 (500) 의 하나 이상의 컴포넌트들은 프로세서 명령들을 실행하는 프로세서에 의해 수행될 수도 있다. 예를 들어, 회로들 (520, 522, 524, 526, 528, 530, 532, 534, 560, 562, 564, 566, 568, 570, 574, 또는 576) 에 의해 수행된 기능들 중 하나 이상은 이미지 프로세서, 디지털 신호 프로세서 (DSP), 또는 전술된 기능들 또는 일반적인 알고리즘들 중 하나 이상을 수행하도록 프로그래밍되어 있는 범용 프로세서에 의해 수행될 수도 있다. 다른 실시형태들에서, 회로들 (520, 522, 524, 526, 528, 530, 532, 534, 560, 562, 564, 566, 568, 570, 574, 또는 576) 중 하나 이상은 하드웨어, 펌웨어, 프로세서 실행 컴퓨터 판독가능 명령들, 또는 이들의 임의의 조합에 포함된 컴포넌트들에 의해 대체될 수도 있다.
유사하게, 특정 실시형태에서, 도 1-4 의 시스템들에 도시된 하나 이상의 모듈들은 특정 기능들 또는 알고리즘들을 수행하기 위한 명령들을 실행함으로써 특별한 목적의 제어기 또는 프로세서와 같이 동작하도록 구성되는 제어기 또는 프로세서에 의해 구현되는 것과 같이, 펌웨어로서 구현될 수도 있다. 특정 실시형태에서, 도 1-4 에 도시된 모듈들 중 하나 이상은 특정 기능들 또는 알고리즘들을 수행하기 위해 데이터를 조작 및 프로세싱하도록 구성되는 회로에 의한 것과 같이, 하드웨어로서 구현될 수도 있다. 예를 들어, 회로는 주문형 집적 회로 (ASIC) 의 일부일 수도 있다. 특정 실시형태에서, 도 1-4 의 시스템들에 도시된 모듈들 중 하나 이상은 멀티-코어 시스템의 하나 이상의 범용 프로세서 코어들에서와 같이, 프로세싱 로직에서 실행되는 프로세서 명령들로서 구현될 수도 있다. 예를 들어, 컴퓨터 시스템이 이미지 프로세싱 소프트웨어를 실행하는 동안 하나 이상의 모듈들은 범용 컴퓨터 시스템 내에 구현될 수도 있다.
도 6 을 참조하면, 고 명암비 이미지를 생성하기 위해 2 개의 저 명암비 이미지를 합성하는 특정 실시형태가 도시되고, 일반적으로 600 으로 지정된다. 제 1 저 명암비 데이터는 제 1 히스토그램 (602) 으로 표현되고, 제 2 명암비 데이터는 제 2 히스토그램 (604) 으로 표현된다. 특정 실시형태에서, 제 1 히스토그램 (602) 은 제 1 노출 컨디션을 갖는 도 1 의 센서 (108) 와 같은 센서에 의해 캡처된 이미지 데이터의 픽셀 휘도 값들을 나타내는 한편, 제 2 히스토그램 (604) 은 제 2 노출 컨디션을 갖는 도 1 의 이미지 센서 (108) 에 의해 캡처된 제 2 이미지 데이터와 같은 제 2 이미지 데이터의 픽셀들의 휘도 값들을 나타낸다.
도 6 에 도시된 바와 같이, 제 1 히스토그램 (602) 은 단축된 노출 시간을 이용하여 노출이 부족하게 되는 어둠 또는 그림자의 영역에 대응할 수도 있는 낮은 휘도 값들을 갖는 다수의 픽셀들을 나타낸다. 반대로, 제 2 히스토그램 (604) 은 보다 긴 노출 시간 이미지 캡처의 과 노출된 밝은 영역에 대응하는 것과 같이 높은 휘도 값들을 갖는 다수의 픽셀들을 포함한다. 특정 실시형태에서, 제 1 히스토그램 (602) 은 도 1 의 제 1 이미지 (160) 에 대응할 수도 있고, 제 2 히스토그램 (604) 은 도 1 의 제 2 이미지 (162) 에 대응할 수도 있다.
특정 실시형태에서, 제 1 히스토그램 (602) 은 제 1 이미지에 대한 제 2 이미지의 노출 시간의 증가된 양을 보상하도록 보다 높은 범위의 휘도 값들로 스케일링될 수도 있다. 예를 들어, 제 2 이미지가 제 1 이미지의 k 배의 노출 시간을 이용하여 캡처되는 경우, 제 1 이미지의 픽셀들의 휘도 값들은 시프트된 히스토그램 (606) 에 도시된 바와 같이, 최하위 값의 L_로우 (608) 및 최상위 값의 L_하이 (612) 로부터 최하위 값의 k*L_로우 (610) 및 최상위 값의 k*L_하이 (614) 로 제 1 히스토그램을 시프트하여, 스케일링 (예를 들어, k 2 일때 배가됨) 될 수도 있다. L_로우 (608) 는 센서의 잡음 플로어 표준 편차와 동일하거나 판독 비교 가능한 센서를 생성하는 빛 레벨에 대응할 수도 있다. L_하이 (612) 는 블랙 레벨 휘도 미만의, 센서의 포화를 야기하는 빛 레벨에 대응할 수도 있다.
시프트된 히스토그램 (606) 에 대응하는 제 1 이미지 데이터의 스케일링된 픽셀 값들은 가중화 함수 (616) 을 이용하여, 시프트되지 않은 제 2 히스토그램 (604) 에 대응하는 제 2 이미지 데이터의 픽셀 값들과 합성될 수도 있다. 가중화 함수 (616) 는 k*L_로우 (610) 미만의 휘도 범위에서의 제 1 값 (618) 및 L_하이 (612) 초과의 제 3 휘도 범위에서의 제 3 값 (622) 를 포함할 수도 있다. 예를 들어, 가중화 함수 (616) 는 범위 경계들에 걸친 값들 간의 스무드한 전이인 하나 이상의 시그모이드 함수를 포함할 수도 있다.
도시된 바와 같이, k*L_로우 (610) 미만의 휘도 값을 갖는 픽셀들에 대해, 가중화 함수 (616) 는, 고 명암비 이미지에서 대응하는 픽셀의 픽셀 값이 제 2 이미지 데이터의 픽셀 값과 동일하다고 나타내는 "1" 의 가중치를 나타낸다. L_하이 (612) 보다 큰 휘도 값을 갖는 픽셀들에 대해, 가중화 함수 (616) 는, 고 명암비 이미지에서 대응하는 픽셀의 픽셀 값이 제 1 이미지 데이터의 픽셀 값과 동일하다고 나타내는 "0" 의 가중치를 나타낸다. k*L_로우 (610) 와 L_하이 (612) 사이의 휘도 값을 갖는 픽셀들에 있어서, 스케일링된 제 1 이미지 데이터 및 제 2 이미지 데이터가 오버랩되는 경우, 가중화 함수 (616) 는, 스케일링된 제 1 이미지 데이터 및 제 2 이미지 데이터가 평균되어 고 명암비 출력 이미지에서 픽셀 휘도 값을 결정한다고 나타내는 "0.5" 의 가중치를 나타낸다. 도시된 바와 같이, 가중화 함수 (616) 는 값들 간의 스무드한 전이를 위해 대략 k*L_로우 (610) 및 L_하이 (612) 위에서 요약된 행위로부터 빗나간다.
합성된 이미지는 다음과 같이 설명될 수도 있다:
Scomb = kST(1-C(SkT))+SkT(C(SkT))
여기서 Scomb 는 합성된 이미지의 휘도를 나타내고, k 는 보다 짧은 노출 시간에 대한 긴 노출 시간의 비율이고, ST 는 짧은 노출 시간 이미지의 휘도를 나타내고, C 는 가중화 함수를 나타내며, SkT 는 보다 긴 노출 시간 이미지의 휘도를 나타낸다.
고 명암비 출력 이미지의 픽셀 휘도 값들의 분포는 제 3 히스토그램 (624) 으로 나타난다. 제 3 히스토그램 (624) 은 픽셀 하이 휘도 값들이 k*L_하이/L_로우 의 명암비로 L_로우 로부터 k*L_하이 까지의 범위인 것을 나타낸다.
특정 실시형태에서, 도 6 에 도시된 HDR 합성은 도 1 의 HDR 합성 모듈 (116), 도 2 의 시스템 (200), 또는 도 5 의 시스템 (500) 에 의해 수행될 수도 있다. HDR 합성을 위한 프레임 등록은 포화 또는 레벨 차이로 인해 이미지들 간의 비-선형성으로 강건해질 수도 있다. 등록은 보다 우수한 모션 벡터 추정에 의존하지 않을 수도 있고, 합성을 위해 이용 가능한 실질적으로 모든 픽셀들을 가질 수도 있으며, 로컬 이미지 레벨에 기초하여 합성할 수도 있다.
예를 들어, 도 5 의 애플리케이션 특정 제어 회로 (532) 는 HDR 이미지를 생성하는 것에 특정된 제어 신호들을 생성할 수도 있다. 검색 범위 제어 신호 (535) 는 매우 낮은 또는 제로의 모션 벡터 검색 범위를 나타내도록 설정될 수도 있다. 임계 제어 신호 (537) 는 매우 높은 임계를 나타내도록 또는 블록 차이 식별 동작을 디스에이블하도록 설정될 수도 있다. 응답 제어 신호 (539) 는, 하이 노출 이미지를 위한 루마 필터가 필터들 (570 및 572) 에서 평균 무엇보다도 0 으로 설정되도록 설정될 수도 있다. 테이블 제어 신호 (533) 는 도 6 의 가중화 함수 (616) 와 같은 가중화 함수를 나타내도록 설정될 수도 있다.
도 7 은 고 명암비 이미지 데이터를 압축하는 방법의 예시적인 실시형태의 흐름도이다. 특정 실시형태에서, 방법 (700) 또는 그 일부는 도 1 의 HDR 압축 모듈 (118), 도 3 의 시스템 (300), 도 4 의 시스템 (400), 또는 도 5 의 시스템 (500), 또는 이들의 임의의 조합에 의해 수행될 수도 있다. 방법 (700) 은 702 에서 글로벌 톤 맵핑을 이용하여 명암비를 압축하는 기능을 수행하는 것, 718 에서 평탄도 맵을 계산하는 것, 724 에서 국부적으로 맵핑된 이미지를 생성하는 것, 및 734 에서 가중치로서 평탄도 맵을 이용하여 국부적으로 맵핑된 이미지 및 글로벌하게 맵핑된 이미지를 합성하는 것을 포함한다.
특정 실시형태에서, 글로벌 톤 맵핑을 이용하는 범위 압축은 704 에서 고 명암비 이미지 데이터의 픽셀 휘도 값들의 히스토그램을 계산하는 것을 포함한다. 706 에서 히스토그램이 캡핑 (cap) 될 수도 있다. 예를 들어, 히스토그램은 2U 에서 캡핑되어, (여기서 U 는 픽셀 휘도 값들의 균일한 분포의 높이임) 콘트라스트 증가를 2 배로 제한할 수도 있다. 708 에서, 플로어가 또한 히스토그램에 적용될 수도 있다. 예를 들어, 플로어는 콘트라스트 감소를 1/2 배로 제한하도록 U/2 일 수도 있다.
710 에서, 결과의 히스토그램은 정규화 (normalize) 될 수도 있다. 예를 들어, 히스토그램 높이는, 히스토그램의 총 영역이 실질적으로 1 이도록 감소될 수도 있다. 712 에서, 누적 분포 함수 (CDF) 가 계산될 수도 있다. CDF 는 휘도 값의 함수로서 정규화된 히스토그램 하의 누적 영역을 나타낼 수도 있어서, CDF(O) = 0 이고 CDF(X) = 1 이며, 여기서 X 는 넌-제로 히스토그램 값을 갖는 가장 큰 휘도 값이다.
714 에서, 톤 맵핑 함수로서 CDF 를 이용하여 고 명암비 이미지 데이터의 루마 값들이 재맵핑될 수도 있다. 예를 들어, 각 픽셀의 루마 값 Lold 는 Lnew = Lold* CDF(Lold) 을 이용하여 값 Lnew 으로 조정될 수도 있다. 716 에서, 픽셀들의 크로마 성분들이 또한 스케일링될 수도 있다. 예를 들어, 블루-차이 크로마 성분 (Cb) 및 레드-차이 크로마 성분 (Cr) 과 같은 크로마 성분들이 루마비 Lnew/Lold 로 스케일링될 수도 있다.
특정 실시형태에서, 평탄도 맵을 계산하는 것 (718) 은 글로벌 톤-맵핑된 이미지 데이터를 이용하여 수행된다. 720 에서, 변화의 메트릭 또는 측정이 각 픽셀의 영역에서 계산될 수 있다. 예를 들어, 이미지들의 보더 (border) 들로부터 멀리 있는 픽셀들의 5×5 픽셀 영역에서 α(σ2/μ) 의 값이 결정될 수도 있는데, 여기서 σ 는 표준 편차를 나타내고, μ 는 대표값을 나타내며, α 는 미리결정된 상수 값일 수도 있다. 평탄도 맵은, 722 에서, 픽셀 평탄 값이 1 의 값을 초과하지 않도록 캡핑될 수도 있다.
특정 실시형태에서, 국부적으로 맵핑된 이미지를 생성하는 것 (724) 은 726 에서, 글로벌하게 맵핑된 이미지를 오버랩되지 않은 블록들로 나누는 것을 포함한다. 728 에서, 히스토그램은 각각의 블록들에 대해 계산 및 캡핑될 수도 있다. 예를 들어, 히스토그램은 자각-기반 기술 또는 콘트라스트-기반 기술을 이용하여 캡핑될 수도 있다. 730 에서, 개별의 블록들에 대해 로컬 톤 맵핑이 생성될 수도 있다. 예를 들어, 개별 블록들에 대한 로컬 톤 맵핑은 704-716 에서 설명되는 글로벌 톤 맵핑 702 와 유사한 기술들 이용할 수도 있다. 개별의 블록들 내의 각 픽셀에 대해, 732 에서, 인접한 블록들 간의 보간이 수행되어 픽셀 맵핑을 계산할 수도 있다. 예를 들어, 모든 블록에서의 모든 포인트에 대해, 인접한 맵핑 함수들 간의 바이리니어 보간 (bilinear interpolation) 이 이용되어 포인트의 맵핑을 계산할 수도 있다.
734 에서, 가중치로서 평탄도 맵을 이용하여 국부적으로 맵핑된 이미지 및 글로벌하게 맵핑된 이미지가 합성될 수도 있다. 예를 들어, 압축된 출력 이미지 데이터의 각 픽셀 값은 글로벌하게 맵핑된 이미지 데이터 및 국부적으로 맵핑된 이미지 데이터의 가중된 합일 수도 있다. 국부적으로 맵핑된 이미지 데이터의 가중치는 픽셀의 평탄도 맵 값 (예를 들어, 포지션 i, j 에서 픽셀에 대해 FM(i,j)) 에 대응할 수도 있고, 글로벌하게 맵핑된 이미지 데이터에 대한 가중치는 l-FM(i,j) 에 대응할 수도 있다.
특정 구현에서, 방법 (700) 은 모바일 디바이스 애플리케이션에 대해 이미지 프로세싱 회로에 의한 이미지 프로세싱에서 구현을 인에이블하도록 HDR 압축의 복잡도를 제어한다. 결과의 이미지의 연속성이 보장될 수도 있고, 인공물이 도입되지 않을 수도 있다.
도 8 은 고 명암비 이미지 합성의 방법의 제 1 예시적인 실시형태의 흐름도이다. 특정 실시형태에서, 방법 (800) 은 도 1-5 의 시스템들 중 어느 하나, 또는 이들의 임의의 조합에 의해 수행된다. 802 에서, 이미지 센서로부터 제 1 이미지 데이터가 수신된다. 제 1 이미지 데이터는 제 1 노출 시간을 이용하여 생성된다. 804 로 계속하여, 이미지 센서로부터 제 2 이미지 데이터가 수신된다. 제 2 이미지 데이터는 제 1 노출 시간보다 더 큰 제 2 노출 시간을 이용하여 생성된다.
806 으로 진행하여, 제 1 노출 시간에 대한 제 2 노출 시간의 비율에 기초하여 제 1 이미지 데이터의 휘도 값들이 스케일링되어, 스케일링된 제 1 이미지 데이터를 생성한다. 808 로 진행하여, 스케일링된 제 1 이미지 데이터의 제 1 유효 명암비와 제 2 이미지 데이터의 제 2 유효 명암비 간의 오버랩에 기초하여 스케일링된 제 1 이미지 데이터 및 제 2 이미지 데이터가 선택적으로 합성되어, 고 명암비 (HDR) 이미지를 생성한다. 제 1 이미지 데이터의 제 1 포화 레벨, 제 1 다크 레벨, 및 제 1 잡음 플로어에 기초하여 제 1 유효 명암비가 결정될 수도 있다. 제 2 이미지 데이터의 제 1 포화 레벨, 제 2 다크 레벨, 및 제 2 잡음 플로어에 기초하여 제 2 유효 명암비가 결정될 수도 있다. 제 1 잡음 플로어에서 실질적으로 센터링된 제 1 시그모이드 함수 및 제 2 포화 레벨에서 상기 제 2 다크 레벨을 뺀 값에서 센터링된 제 2 시그모이드 함수를 이용하여 스케일링된 제 1 이미지 데이터 및 제 2 이미지 데이터가 선택적으로 합성될 수도 있다.
810 으로 이동하여, 톤 맵핑이 생성되어 HDR 이미지의 명암비를 압축한다. 톤 맵핑을 생성하는 것은 각 픽셀의 이웃 내의 휘도 변화에 기초하여 글로벌 톤 맵핑 값 및 로컬 톤 맵핑 값의 픽셀×픽셀의 가중화를 결정하는 것을 포함한다. 예를 들어, 압축된 명암비는 8-비트 범위일 수도 있다. 812 로 계속하여, 압축된 명암비를 갖는 톤 맵핑된 이미지가 제공되어 디스플레이 디바이스에 디스플레이된다.
도 9 는 고 명암비 이미지 합성의 방법의 제 2 예시적인 실시형태의 흐름도이다. 특정 실시형태에서, 방법 (900) 은 도 1-5 의 시스템들 중 어느 하나, 또는 이들의 임의의 조합에 의해 수행된다.
902 에서, 제 1 이미지 데이터의 제 1 휘도 값들은 제 1 이미지 데이터의 휘도 분포에 기초하여 제 2 이미지 데이터를 생성한다. 특정 실시형태에서, 제 1 휘도 값들을 조정하는 것은 균일한 분포 레벨에 기초하여 히스토그램의 범위를 캡핑하는 것, 캡핑된 히스토그램을 정규화하는 것, 정규화된 히스토그램의 누적 분포 함수 (CDF) 를 결정하는 것, 및 톤 맵핑 함수로서 CDF 를 적용하여 제 1 휘도 값들을 재맵핑하는 것을 포함한다.
904 로 계속하여, 제 2 이미지 데이터의 영역의 로컬 휘도 분포에 기초하여 제 2 이미지 데이터의 영역의 제 2 휘도 값들이 조정되어, 제 1 국부적으로 조정된 이미지 데이터를 생성한다. 특정 실시형태에서, 제 2 휘도 값들을 조정하는 것은 제 2 이미지 데이터를 다수의 영역들로 분배하는 것, 다수의 영역들 각각의 픽셀 휘도 값들의 히스토그램을 계산하는 것, 다수의 영역들 각각에 대응하는 로컬 톤 맵핑 함수를 결정하는 것, 및 특정 픽셀의 톤 맵핑을 계산하기 위해 인접한 영역들에 대응하는 로컬 톤 맵핑 함수들 간의 바이리니어 보간을 수행하는 것을 포함한다.
906 으로 진행하여, 제 1 이미지 데이터 보다 작은 명암비를 갖고 제 3 이미지 데이터가 생성된다. 국부적으로 조정된 이미지 데이터와 영역 내의 제 2 이미지 데이터의 휘도 변화에 기초하여 제 2 이미지 데이터의 영역 내의 제 2 이미지 데이터를 합성함으로써 제 2 이미지 데이터의 영역에 대응하는 제 3 이미지 데이터의 휘도 값들이 결정된다.
908 로 이동하여, 특정 픽셀을 포함하는 픽셀들의 이웃에 대응하는 제 2 이미지 데이터를 이용하여 휘도 평균에 대한 휘도 변화의 비율을 영역 내의 각 픽셀에 대해 결정함으로써 평탄도 맵이 생성될 수도 있다. 픽셀들의 이웃은 제 2 이미지 데이터의 영역 보다 작을 수도 있다.
도 10 은 고 명암비 이미지 합성의 방법의 제 3 예시적인 실시형태의 흐름도이다. 특정 실시형태에서, 방법 (1000) 은 도 1-5 의 시스템들 중 어느 하나, 또는 이들의 임의의 조합에 의해 수행된다. 예를 들어, 방법 (1000) 은 판독 전용 메모리 (ROM), 랜덤 액세스 메모리 (RAM), 또는 컴퓨터 실행가능 명령들을 유형으로 구현할 수도 있는 다른 유형의 메모리와 같은 컴퓨터 판독가능 매체에 저장되는 명령들을 실행하는 프로세서에 의해 수행될 수도 있다.
먼저, 1002 에서 이미지 데이터가 수신된다. 1004 로 진행하여, 제 1 이미지 데이터의 휘도 분포에 기초하여 제 2 이미지 데이터가 생성된다. 1006 으로 계속하여, 제 2 이미지 데이터의 영역 내의 로컬 휘도 분포에 기초하여 국부적으로 조정된 이미지 데이터가 생성된다.
1008 로 진행하여, 제 1 이미지 데이터 보다 더 작은 명암비를 갖는 제 3 이미지 데이터가 생성된다. 제 2 이미지 데이터의 영역에 대응하는 제 3 이미지 데이터의 영역의 휘도 값들은 제 2 이미지 데이터의 영역 내에서 제 2 이미지 데이터의 휘도 변화에 기초하여 제 2 이미지 데이터 및 국부적으로 조정된 이미지 데이터를 합성함으로써 결정된다. 국부적으로 조정된 이미지 데이터 및 제 2 이미지 데이터를 합성하는 것은 영역 내의 국부적으로 조정된 이미지 데이터 및 제 2 이미지 데이터의 가중된 합을 이용하는 것을 포함할 수도 있다. 가중된 합의 가중치는 휘도 변화에 기초할 수도 있다.
특정 실시형태에서, 제 3 이미지 데이터의 영역 내의 특정 픽셀의 휘도 값은 특정 픽셀에 대응하는 제 2 이미지 데이터의 제 1 값 및 특정 픽셀이 대응하는 국부적으로 조정된 이미지 데이터의 제 2 값의 가중된 합을 이용하여 결정된다. 가중된 합은 특정 픽셀의 이웃 내의 픽셀 값들에 기초하여 계산될 수도 있다. 특정 픽셀의 이웃 내의 픽셀 값들은 제 2 이미지 데이터로부터 결정될 수도 있다.
도 11 은 하이 명암비 (HDR) 합성 및 압축 모듈을 포함하는 시스템의 특정 실시형태의 블록도이다. 시스템 (1100) 은 렌즈 (1168) 에 커플링되고 또한 휴대용 멀티미디어 디바이스 (1170) 의 애플리케이션 프로세서 칩세트에 커플링되는 이미지 센서 디바이스 (1122) 를 포함한다. 이미지 센서 디바이스 (1122) 는 도 1-5 의 모듈들 또는 시스템들 중 하나 이상을 구현하고, 도 6-10 의 실시형태들 또는 방법들 중 어느 하나, 또는 이들의 임의의 조합에 따라 동작할 수도 있는 로컬 및 글로벌 맵핑을 이용하는 HDR 모듈 (1164) 을 포함한다.
로컬 및 글로벌 맵핑을 이용하는 HDR 모듈 (1164) 은 이미지 어레이 (1166) 의 출력을 수신하도록 커플링되는 아날로그-대-디지털 변환기 (1126) 와 같이 이미지 어레이 (1166) 로부터 이미지 데이터를 수신하고, 로컬 및 글로벌 맵핑을 이용하는 HDR 모듈 (1164) 로 이미지 데이터를 제공하도록 커플링된다. 로컬 및 글로벌 맵핑을 이용하는 HDR 모듈 (1164) 은 이미지 어레이 (1166) 에서 다수의 캡처된 이미지들로부터 HDR 이미지 데이터를 생성하여, 통상의 이미지 어레이 (1166) 를 갖는 HDR 기능을 가능하게 할 수도 있다. 또한, 로컬 및 글로벌 맵핑을 이용하는 HDR 모듈 (1164) 은 결과의 이미지를 압축하여, 계속성을 보장하면서 인공물을 도입하지 않고 로컬 및 글로벌 톤 맵핑 양자 모두의 조합을 이용하여 낮은 해상도 전송 및 저장 메커니즘들과 호환 가능하게 할 수도 있다.
예를 들어, 로컬 및 글로벌 맵핑을 이용하는 HDR 모듈 (1164) 은 이미지의 영역 내에서 제 1 글로벌하게 맵핑된 휘도 값들을 생성하도록 구성된 글로벌 맵핑 모듈, 이미지의 영역 내에서 제 2 국부적으로 맵핑된 휘도 값들을 생성하도록 구성된 로컬 캡핑 모듈, 및 도 4 의 글로벌 톤 맵핑 모듈 (402), 로컬 톤 맵핑 모듈 (404), 및 결합 모듈 (408), 또는 도 3 의 글로벌 톤 맵핑 모듈 (302), 로컬 톤 맵핑 모듈 (304), 및 결합 모듈 (308) 과 같이, 제 1 글로벌하게 맵핑된 휘도 값들 및 제 2 국부적으로 맵핑된 휘도 값들의 가중된 합을 이용하는 출력 이미지의 대응하는 영역 내에서 휘도 값들을 결정하도록 구성된 결합 모듈을 포함할 수도 있다. 가중된 합의 가중치는 이미지의 영역 내의 휘도 변화에 적어도 부분적으로 기초한다. 예를 들어, 가중치는 영역 내의 픽셀 단위로 결정될 수도 있다.
로컬 및 글로벌 맵핑을 이용하는 HDR 모듈 (1164) 은 또한, 도 4 의 변화 모듈 (406) 과 같은 이미지의 일부에 대응하는 평탄도 맵을 생성하도록 구성된 변화 모듈을 포함할 수도 있다. 평탄도 맵은 이미지의 영역 내의 휘도 변화를 나타낼 수도 있다. 변화 모듈은 영역 내의 특정 픽셀의 이웃 내의 휘도 변화를 결정하도록 구성될 수도 있다. 특정 픽셀에 대응하는 평탄도 맵의 엔트리는 도 3 의 출력 값 (326) 에 대하여 설명된 바와 같은 특정 픽셀의 이웃 내의 휘도 평균에 대한 특정 픽셀의 이웃 내의 휘도 변화의 비율에 비례할 수도 있다.
이미지 센서 디바이스 (1122) 는 또한, 프로세서 (1110) 를 포함할 수도 있다. 특정 실시형태에서, 프로세서 (1110) 는 로컬 및 글로벌 맵핑을 이용하는 HDR 모듈 (1164) 을 구현하도록 구성된다. 예를 들어, 프로세서 (1110) 는 프로세서 판독가능 매체로부터 명령들을 판독하고, 명령들을 실행하여 HDR 모듈 (1164) 을 구현하도록 구성될 수도 있다. 다른 실시형태에서, 로컬 및 글로벌 맵핑을 이용하는 HDR 모듈 (1164) 은 이미지 프로세싱 회로로서 구현된다.
프로세서 (1110) 는 또한, 도 1 의 모듈들 (110-120) 에 의해 수행된 하나 이상의 동작들과 같은 추가의 이미지 프로세싱 동작들을 수행하도록 구성될 수도 있다. 프로세서 (1110) 는 추가의 프로세싱, 송신, 저장, 디스플레이, 또는 이들의 임의의 조합을 위해 애플리케이션 프로세서 칩세트 (1170) 에 프로세싱된 이미지 데이터를 제공할 수도 있다.
도 12 는 HDR 합성 및 압축 모듈을 포함하는 시스템의 특정 실시형태의 블록도이다. 시스템 (1200) 은 휴대용 무선 전자 디바이스에서 구현되고, 메모리 (1232) 에 커플링된 디지털 신호 프로세서 (DSP) 와 같은 프로세서 (1210) 를 포함할 수도 있다. 시스템 (1200) 은 로컬 및 글로벌 맵핑을 이용하는 HDR 모듈 (1264) 을 포함한다. 예시적인 예에서, 로컬 및 글로벌 맵핑을 이용하는 HDR 모듈 (1264) 은 도 1-5 의 하나 이상의 모듈들 또는 시스템들을 포함하고, 또는 도 6-10 의 실시형태들 또는 방법들 중 어느 하나, 또는 이들의 임의의 조합에 따라 동작한다. 로컬 및 글로벌 맵핑을 이용하는 HDR 모듈 (1264) 은 프로세서 (1210) 에 있을 수도 있고, 또는 개별의 디바이스일 수도 있다.
카메라 인터페이스 (1268) 는 프로세서 (1210) 에 커플링되고, 또한 비디오 카메라 또는 스틸 카메라와 같은 카메라 (1270) 에 커플링된다. 디스플레이 제어기 (1226) 는 프로세서 (1210) 에 커플링되고 디스플레이 디바이스 (1228) 에 커플링된다. 코더/디코더 (CODEC; 1234) 는 또한, 프로세서 (1210) 에 커플링될 수 있다. 스피커 (1246) 및 마이크로폰 (1238) 은 CODEC (1234) 에 커플링될 수 있다. 무선 인터페이스 (1240) 는 프로세서 (1210) 에 그리고 무선 안테나 (1242) 에 커플링될 수 있다.
특정 실시형태에서, 프로세서 (1210) 는 로컬 및 글로벌 맵핑 (1264) 을 이용하는 HDR 모듈을 포함하고, 카메라 (1270) 에 의해 캡처된 다수의 이미지들로부터 HDR 이미지 데이터를 생성하여 통상의 카메라 (1270) 를 갖는 HDR 기능을 가능하게 하도록 구성된다. 또한, 로컬 및 글로벌 맵핑 (1164) 을 이용하는 HDR 모듈은 계속성을 보장하면서 인공물을 도입하기 않고 로컬 및 글로벌 톤 맵핑 양자 모두의 조합을 이용하는 보다 낮은 해상도 전공 및 저장 메커니즘들과 호환 가능하도록 결과 이미지를 압축할 수도 있다.
프로세서 (1210) 는 또한, 각종 소스들로부터 수신될 수도 있는 다수의 이미지 데이터 세트들로부터 HDR 이미지 데이터를 생성 및 압축하도록 구성될 수도 있다. 예를 들어, 이미지 데이터는 카메라 (1270) 로부터 비디오 데이터 또는 스틸 이미지들, 무선 인터페이스 (1240) 를 통해 무선 송신으로부터, 또는 예시적인, 비-제한적인 예들로서 유니버셜 시리얼 버스 (USB) 인터페이스 (미도시) 를 통해 커플링된 외부 디바이스와 같은 다른 소스들로부터 이미지 데이터를 포함할 수도 있다.
특정 실시형태에서, 프로세서 (1210) 는, 특정 픽셀의 이웃 내의 휘도 변화에 기초하여 이미지 데이터의 복수의 픽셀들의 각 특정 픽셀의 톤 맵핑된 픽셀 값을 포함하는 톤 맵핑된 이미지 데이터를 생성하고, 톤 맵핑된 이미지 데이터를 제공하여 디스플레이 디바이스 (1228) 에서 디스플레이하도록 구성된다. 예를 들어, 톤 맵핑된 데이터는 도 3 의 출력 이미지 데이터 (328) 이거나 도 4 의 출력 이미지 데이터 (424) 일 수도 있다. 또한, 프로세서 (1210) 는 톤 맵핑된 이미지 데이터를 메모리 (1232) 에 저장하거나, 무선 인터페이스 (1240) 를 통해 통신될 톤 맵핑된 이미지 데이터를 제공하도록 또한 구성될 수도 있다.
이미지 데이터는 제 1 노출 시간을 이용하여 카메라 (1270) 로부터 수신된 제 1 이미지 데이터 세트 및 제 2 노출 시간을 이용하여 카메라 (1270) 로부터 수신된 제 2 이미지 데이터 세트를 합성함으로써 생성되는 고 명암비 (HDR) 이미지 데이터일 수도 있다. 제 1 및 제 2 이미지 데이터 세트는 카메라 (1270) 의 단일 센서에서 순차적으로 캡처될 수도 있고, 또는 상이한 노출 컨디션을 이용하여 카메라 (1270) 의 다수의 센서들에서 동시에 캡처될 수도 있다. 제 1 이미지 데이터 세트의 휘도 값들은 제 1 노출 시간에 대한 제 2 노출 시간의 비율에 기초하여 스케일링될 수도 있고, 도 6 에 대하여 설명된 바와 같이 HDR 이미지 데이터를 생성하기 위해 제 2 이미지 데이터 세트의 제 2 유효 명암비 및 스케일링된 휘도 값들의 제 1 유효 명암비 사이의 오버랩에 기초하여 제 2 이미지 데이터 세트와 선택적으로 합성될 수도 있다. 프로세서 (1210) 는 HDR 이미지 데이터를 프로세싱하여 특정 픽셀의 이웃 내의 휘도 변화를 나타내는 평탄도 맵을 생성하고, 글로벌하게 맵핑된 이미지 데이터 및 국부적으로 맵핑된 이미지 데이터의 가중된 합을 이용하여 특정 픽셀의 톤 맵핑된 픽셀 값을 결정하도록 또한 구성될 수도 있다. 가중된 합의 가중치는 특정 픽셀의 이웃 내의 휘도 변화에 기초하여 결정될 수도 있다. 예를 들어, 프로세서 (1210) 는 도 3 의 변화 모듈 (306) 또는 도 4 의 변화 모듈 (406) 을 구현할 수도 있다.
디스플레이 제어기 (1226) 는 프로세싱된 이미지 데이터를 수신하고 프로세싱된 이미지 데이터를 디스플레이 디바이스 (1228) 에 제공하도록 구성된다. 또한, 메모리 (1232) 는 프로세싱된 이미지 데이터를 수신 및 저장하도록 구성될 수도 있고, 무선 인터페이스 (1240) 는 안테나 (1242) 를 통한 송신을 위해 프로세싱된 이미지 데이터를 수신하도록 구성될 수도 있다.
특정 실시형태에서, 신호 프로세서 (1210), 디스플레이 제어기 (1226), 메모리 (1232), CODEC (1234), 무선 인터페이스 (1240), 및 카메라 인터페이스 (1268) 가 시스템-인-패키지 또는 시스템-온-칩 디바이스 (1222) 에 포함된다. 특정 실시형태에서, 입력 디바이스 (1230) 및 전력 공급기 (1244) 은 시스템-온-칩 디바이스 (1222) 에 커플링된다. 또한, 도 12 에 도시된 바와 같이, 특정 실시형태에서, 디스플레이 디바이스 (1228), 입력 디바이스 (1230), 스피커 (1236), 마이크로폰 (1238), 무선 안테나 (1242), 비디오 카메라 (1270), 및 전력 공급기 (1244) 는 시스템-온-칩 디바이스 (1222) 외부에 있다. 그러나, 디스플레이 디바이스 (1228), 입력 디바이스 (1230), 스피커 (1236), 마이크로폰 (1238), 무선 안테나 (1242), 비디오 카메라 (1270), 및 전력 공급기 (1244) 는 인터페이스 또는 제어기와 같은 시스템-온-칩 디바이스 (1222) 의 컴포넌트에 커플링될 수 있다.
당업자는 또한, 본원에 개시된 실시형태들과 연관되어 설명된 각종 예시적인 논리 블록, 구성, 모듈, 회로, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합으로서 구현될 수도 있음을 인식한다. 명확하게 설명하기 위해서, 하드웨어 및 소프트웨어, 각종 예시적인 컴포넌트들, 블록들, 구성들, 모듈들, 회로들, 및 단계들의 이 상호 교환성은 그 기능에 관하여 일반적으로 전술되어 있다. 이러한 기능이 하드웨어 또는 소프트웨어로서 구현될지 여부는 특정 애플리케이션 및 전체 시스템 상에 부과된 설계 제약에 의존한다. 당업자는 각각의 특정 애플리케이션에 대해 변하는 방식으로 설명된 기능을 구현할 수도 있으나, 이러한 구현 결정은 본 개시물의 범위로부터 벗어나는 것으로 해석되어서는 안 된다.
본원에 개시된 실시형태들과 연관하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어에서, 프로세서에 의해 실행된 소프트웨어 모듈에서, 또는 이 둘의 조합에서 직접 구현될 수도 있다. 소프트웨어 모듈은 랜덤 액세스 메모리 (RAM), 플래시 메모리, 판독 전용 메모리 (ROM), 프로그래머블 판독 전용 메모리 (PROM), 소거 가능한 프로그래머블 판독 전용 메모리 (EPROM), 전기적으로 소거 가능한 프로그래머블 판독 전용 메모리 (EEPROM), 레지스터, 하드 디스크, 착탈형 디스크, 콤팩트 디스크 판독 전용 메모리 (CD-ROM), 또는 당해 분야에 알려진 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 예시적인 저장 매체가 프로세서에 커플링되어, 프로세서는 저장 매체로부터 정보를 판독하고, 저장 매체에 정보를 기입할 수 있다. 다르게는, 저장 매체가 프로세서에 통합될 수도 있다. 프로세서 및 저장 매체는 주문형 집적 회로 (ASIC) 에 상주할 수도 있다. ASIC 는 컴퓨팅 디바이스 또는 사용자 단말기에 상주할 수도 있다. 다르게는, 프로세서 및 저장 매체는 컴퓨팅 디바이스 또는 사용자 단말기에서 별개의 컴포넌트들로서 상주할 수도 있다.
개시된 실시형태의 이전 설명은 당업자가 개시된 실시형태들을 제조 또는 이용할 수 있도록 제공된다. 이들 실시형태들에 대한 각종 변형들이 당업자에게 자명할 것이고, 본원에 정의된 원리들은 개시물의 범위로부터 벗어남 없이 다른 실시형태들에 적용될 수도 있다. 따라서, 본 개시물은 본원에 도시된 실시형태들에 제한되는 것으로 의도되는 것이 아니라 다음의 청구범위에 의해 정의된 바와 같은 신규한 특성들 및 원리들과 부합하는 가능한 최광 범위를 따르려는 것이다.

Claims (25)

  1. 이미지 센서로부터, 제 1 노출 시간을 이용하여 생성된 제 1 이미지 데이터를 수신하는 단계;
    상기 이미지 센서로부터, 상기 제 1 노출 시간보다 큰 제 2 노출 시간을 이용하여 생성된 제 2 이미지 데이터를 수신하는 단계;
    상기 제 1 노출 시간에 대한 상기 제 2 노출 시간의 비율에 기초하여 상기 제 1 이미지 데이터의 휘도 값들을 스케일링하여, 스케일링된 제 1 이미지 데이터를 생성하는 단계;
    상기 스케일링된 제 1 이미지 데이터의 제 1 유효 명암비와 상기 제 2 이미지 데이터의 제 2 유효 명암비 간의 오버랩에 기초하여 상기 스케일링된 제 1 이미지 데이터 및 상기 제 2 이미지 데이터를 선택적으로 합성하여, 고 명암비 (high dynamic range; HDR) 이미지를 생성하는 단계;
    상기 HDR 이미지의 명암비를 압축하기 위한 톤 맵핑을 생성하는 단계로서, 상기 톤 맵핑을 생성하는 단계는 상기 HDR 이미지의 각 픽셀의 이웃 내의 휘도 변화에 기초하여 글로벌 톤 맵핑 값 및 로컬 톤 맵핑 값의 픽셀×픽셀 가중화를 결정하는 단계를 포함하는, 상기 톤 맵핑을 생성하는 단계; 및
    상기 HDR 이미지의 압축된 명암비를 갖는 톤 맵핑된 이미지를 제공하여 디스플레이 디바이스에서 디스플레이되게 하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 제 1 유효 명암비는 상기 스케일링된 제 1 이미지 데이터의 제 1 포화 레벨, 제 1 다크 레벨, 및 제 1 잡음 플로어에 기초하여 결정되고,
    상기 제 2 유효 명암비는 상기 제 2 이미지 데이터의 제 2 포화 레벨, 제 2 다크 레벨, 및 제 2 잡음 플로어에 기초하여 결정되는, 방법.
  3. 제 2 항에 있어서,
    상기 스케일링된 제 1 이미지 데이터 및 상기 제 2 이미지 데이터는 상기 제 1 잡음 플로어에서 센터링된 제 1 시그모이드 함수 및 상기 제 2 포화 레벨에서 상기 제 2 다크 레벨을 뺀 값에서 센터링된 제 2 시그모이드 함수에 기초하여 선택적으로 합성되는, 방법.
  4. 제 1 이미지 데이터의 휘도 분포에 기초하여 상기 제 1 이미지 데이터의 제 1 휘도 값들을 조정하여, 제 2 이미지 데이터를 생성하는 단계;
    상기 제 2 이미지 데이터의 영역의 로컬 휘도 분포에 기초하여 상기 제 2 이미지 데이터의 상기 영역의 제 2 휘도 값들을 조정하여, 국부적으로 조정된 이미지 데이터를 생성하는 단계; 및
    상기 제 1 이미지 데이터보다 작은 명암비를 갖는 제 3 이미지 데이터를 생성하는 단계를 포함하고,
    상기 제 2 이미지 데이터의 상기 영역에 대응하는 상기 제 3 이미지 데이터의 휘도 값들은 상기 영역 내의 상기 제 2 이미지 데이터의 휘도 변화에 기초하여 상기 제 2 이미지 데이터의 상기 영역 내의 상기 국부적으로 조정된 이미지 데이터 및 상기 제 2 이미지 데이터를 합성함으로써 결정되는, 방법.
  5. 제 4 항에 있어서,
    상기 제 1 이미지 데이터의 상기 제 1 휘도 값들을 조정하여 제 2 이미지 데이터를 생성하는 단계는,
    상기 제 1 이미지 데이터의 픽셀 휘도 값들의 히스토그램을 결정하는 단계;
    균일한 분포 레벨에 기초하여 상기 히스토그램의 범위를 캡핑하는 단계;
    상기 캡핑된 히스토그램을 정규화하는 단계;
    상기 정규화된 히스토그램의 누적 분포 함수 (cumulative distribution function; CDF) 를 결정하는 단계; 및
    상기 제 1 이미지 데이터에 톤 맵핑 함수로서 상기 CDF 를 적용하여, 상기 제 1 휘도 값들을 재맵핑하는 단계를 포함하는, 방법.
  6. 제 4 항에 있어서,
    상기 제 2 이미지 데이터의 상기 영역의 제 2 휘도 값들을 조정하여 국부적으로 조정된 이미지 데이터를 생성하는 단계는,
    상기 제 2 이미지 데이터를 복수의 영역들로 분할하는 단계;
    상기 복수의 영역들 각각의 픽셀 휘도 값들의 히스토그램을 계산하는 단계;
    상기 복수의 영역들 각각에 대응하는 로컬 톤 맵핑 함수를 결정하는 단계; 및
    상기 로컬 톤 맵핑 함수들 간의 바이리니어 보간을 수행하여, 상기 복수의 영역들의 특정 영역의 특정 픽셀의 톤 맵핑을 계산하는 단계를 포함하고,
    상기 로컬 톤 맵핑 함수들은 상기 특정 영역에 인접하는 상기 복수의 영역들의 영역들에 대응하는, 방법.
  7. 제 4 항에 있어서,
    상기 영역 내의 각각의 특정 픽셀에 대해, 상기 특정 픽셀을 포함하는 픽셀들의 이웃에 대응하는 상기 제 2 이미지 데이터를 이용하여 휘도 평균에 대한 휘도 분산의 비율을 결정함으로써 평탄도 맵을 생성하는 단계를 더 포함하는, 방법.
  8. 제 4 항에 있어서,
    상기 제 3 이미지 데이터는 상기 제 1 이미지 데이터와 적어도 동일한 디테일을 갖도록 생성되는, 방법.
  9. 프로세서; 및
    상기 프로세서에 액세스 가능한 메모리를 포함하고,
    상기 프로세서는,
    제 1 이미지 데이터의 휘도 분포에 기초하여 상기 제 1 이미지 데이터의 제 1 휘도 값들을 조정하여, 제 2 이미지 데이터를 생성하고,
    상기 제 2 이미지 데이터의 영역의 로컬 휘도 분포에 기초하여 상기 제 2 이미지 데이터의 상기 영역의 제 2 휘도 값들을 조정하여, 국부적으로 조정된 이미지 데이터를 생성하며,
    상기 제 1 이미지 데이터보다 작은 명암비를 갖는 제 3 이미지 데이터를 생성하도록 구성되고,
    상기 제 2 이미지 데이터의 상기 영역에 대응하는 상기 제 3 이미지 데이터의 휘도 값들은 상기 영역 내의 상기 제 2 이미지 데이터의 휘도 변화에 기초하여 상기 제 2 이미지 데이터의 상기 영역 내의 상기 국부적으로 조정된 이미지 데이터 및 상기 제 2 이미지 데이터를 합성함으로써 결정되고,
    상기 프로세서는 디스플레이를 위해 상기 제 3 이미지 데이터를 제공하도록 구성되는, 무선 디바이스.
  10. 제 9 항에 있어서,
    상기 프로세서는 상기 메모리에서 상기 제 3 이미지 데이터를 저장하도록 또한 구성되는, 무선 디바이스.
  11. 제 9 항에 있어서,
    상기 프로세서에 커플링된 무선 인터페이스를 더 포함하고,
    상기 프로세서는 상기 제 3 이미지 데이터를 상기 무선 인터페이스에 제공하도록 또한 구성되는, 무선 디바이스.
  12. 제 9 항에 있어서,
    상기 제 1 이미지 데이터는 고 명암비 (high dynamic range; HDR) 이미지 데이터를 포함하는, 무선 디바이스.
  13. 제 12 항에 있어서,
    상기 고 명암비 (HDR) 이미지 데이터는 카메라로부터의 각각 상이한 노출 시간을 이용하여 생성된 복수의 이미지 데이터를 합성함으로써 생성되는, 무선 디바이스.
  14. 제 13 항에 있어서,
    상기 프로세서는,
    상기 HDR 이미지 데이터를 프로세싱하여 특정 픽셀의 이웃 내의 휘도 변화를 나타내는 평탄도 맵을 생성하고,
    글로벌하게 (globally) 맵핑된 이미지 데이터 및 국부적으로 맵핑된 이미지 데이터의 가중된 합을 이용하여 상기 특정 픽셀의 톤 맵핑된 픽셀 값을 결정하도록 또한 구성되고,
    상기 가중된 합의 가중치는 상기 특정 픽셀의 상기 이웃 내의 상기 휘도 변화에 기초하여 결정되는, 무선 디바이스.
  15. 제 9 항에 있어서,
    상기 프로세서에 상기 제 1 이미지 데이터를 제공하는 카메라를 더 포함하는, 무선 디바이스.
  16. 제 9 항에 있어서,
    상기 프로세서로부터 제공받은 제 3 이미지 데이터를 디스플레이하는 디스플레이 디바이스를 더 포함하는, 무선 디바이스.
  17. 제 1 이미지 데이터의 휘도 분포에 기초하여 상기 제 1 이미지 데이터의 제 1 휘도 값들을 조정하여, 제 2 이미지 데이터를 생성하기 위한 수단;
    상기 제 2 이미지 데이터의 영역의 로컬 휘도 분포에 기초하여 상기 제 2 이미지 데이터의 상기 영역의 제 2 휘도 값들을 조정하여, 국부적으로 조정된 이미지 데이터를 생성하기 위한 수단;
    상기 제 1 이미지 데이터보다 작은 명암비를 갖는 제 3 이미지 데이터를 생성하기 위한 수단으로서, 상기 제 2 이미지 데이터의 상기 영역에 대응하는 상기 제 3 이미지 데이터의 휘도 값들은 상기 영역 내의 상기 제 2 이미지 데이터의 휘도 변화에 기초하여 상기 제 2 이미지 데이터의 상기 영역 내의 상기 국부적으로 조정된 이미지 데이터 및 상기 제 2 이미지 데이터를 합성함으로써 결정되는, 상기 제 3 이미지 데이터를 생성하기 위한 수단; 및
    디스플레이를 위해 상기 제 3 이미지 데이터를 제공하기 위한 수단을 포함하는, 장치.
  18. 제 17 항에 있어서,
    상기 제 3 이미지 데이터를 무선으로 통신하기 위한 수단을 더 포함하는, 장치.
  19. 제 17 항에 있어서,
    상기 제 1 이미지 데이터는 고 명암비 (high dynamic range; HDR) 이미지 데이터를 포함하는, 장치.
  20. 실행 가능 명령들을 포함하는 컴퓨터 판독가능 매체로서,
    상기 실행 가능 명령들은 실행 시에 프로세서로 하여금,
    제 1 이미지 데이터를 수신하게 하고;
    상기 제 1 이미지 데이터의 휘도 분포에 기초하여 제 2 이미지 데이터를 생성하게 하고;
    상기 제 2 이미지 데이터의 영역 내의 로컬 휘도 분포에 기초하여 국부적으로 조정된 이미지 데이터를 생성하게 하며;
    상기 제 1 이미지 데이터보다 작은 명암비를 갖는 제 3 이미지 데이터를 생성하게 하고,
    상기 제 2 이미지 데이터의 상기 영역에 대응하는 상기 제 3 이미지 데이터의 영역의 휘도 값들은 상기 제 2 이미지 데이터의 상기 영역 내의 상기 제 2 이미지 데이터의 휘도 변화에 기초하여 상기 국부적으로 조정된 이미지 데이터 및 상기 제 2 이미지 데이터를 합성함으로써 결정되는, 컴퓨터 판독가능 매체.
  21. 제 20 항에 있어서,
    상기 국부적으로 조정된 이미지 데이터 및 상기 제 2 이미지 데이터를 합성하는 것은 상기 영역 내의 상기 국부적으로 조정된 이미지 데이터 및 상기 제 2 이미지 데이터의 가중된 합을 이용하는 것을 포함하고,
    상기 가중된 합의 가중치는 상기 휘도 변화에 기초하는, 컴퓨터 판독가능 매체.
  22. 제 20 항에 있어서,
    상기 제 3 이미지 데이터의 상기 영역 내의 특정 픽셀의 휘도 값은 상기 특정 픽셀에 대응하는 상기 제 2 이미지 데이터의 제 1 값 및 상기 특정 픽셀에 대응하는 상기 국부적으로 조정된 이미지 데이터의 제 2 값의 가중된 합을 이용하여 결정되는, 컴퓨터 판독가능 매체.
  23. 이미지의 영역 내의 제 1 글로벌하게 (globally) 맵핑된 휘도 값들을 생성하도록 구성된 글로벌 맵핑 모듈;
    상기 이미지의 상기 영역 내의 제 2 국부적으로 맵핑된 휘도 값들을 생성하도록 구성된 로컬 맵핑 모듈; 및
    상기 제 1 글로벌하게 맵핑된 휘도 값들 및 상기 제 2 국부적으로 맵핑된 휘도 값들의 가중된 합을 이용하여 출력 이미지의 대응하는 영역 내의 휘도 값들을 결정하도록 구성된 합성 모듈을 포함하고,
    상기 가중된 합의 가중치는 상기 이미지의 상기 영역 내의 휘도 변화에 적어도 부분적으로 기초하는, 디바이스.
  24. 제 23 항에 있어서,
    상기 이미지의 일부분에 대응하는 평탄도 맵을 생성하도록 구성된 변화 모듈을 더 포함하고,
    상기 평탄도 맵은 상기 이미지의 상기 영역 내의 상기 휘도 변화를 나타내는, 디바이스.
  25. 제 24 항에 있어서,
    특정 픽셀에 대응하는 상기 평탄도 맵의 엔트리는 상기 특정 픽셀의 이웃 내의 휘도 평균에 대한 상기 특정 픽셀의 이웃 내의 휘도 분산의 비율에 비례하는, 디바이스.
KR1020117016795A 2008-12-19 2009-12-18 고 명암비 이미지 합성 KR101365369B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/340,474 US8339475B2 (en) 2008-12-19 2008-12-19 High dynamic range image combining
US12/340,474 2008-12-19
PCT/US2009/068834 WO2010071839A1 (en) 2008-12-19 2009-12-18 High dynamic range image combining

Publications (2)

Publication Number Publication Date
KR20110105831A KR20110105831A (ko) 2011-09-27
KR101365369B1 true KR101365369B1 (ko) 2014-03-12

Family

ID=41728520

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117016795A KR101365369B1 (ko) 2008-12-19 2009-12-18 고 명암비 이미지 합성

Country Status (7)

Country Link
US (1) US8339475B2 (ko)
EP (1) EP2368226B1 (ko)
JP (1) JP5254466B2 (ko)
KR (1) KR101365369B1 (ko)
CN (1) CN102257531B (ko)
TW (1) TW201102967A (ko)
WO (1) WO2010071839A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10664959B2 (en) 2018-03-08 2020-05-26 Samsung Display Co., Ltd. Method of performing an image-adaptive tone mapping and display device employing the same
KR20200090346A (ko) * 2019-01-21 2020-07-29 엘지전자 주식회사 카메라 장치 및 이를 구비하는 전자 장치
US11528426B2 (en) 2020-04-03 2022-12-13 SK Hynix Inc. Image sensing device and operating method thereof
US11996024B2 (en) 2021-08-31 2024-05-28 Samsung Electronics Co., Ltd. Display device and operating method thereof

Families Citing this family (195)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7978925B1 (en) 2005-04-16 2011-07-12 Apple Inc. Smoothing and/or locking operations in video editing
US7912337B2 (en) * 2005-11-02 2011-03-22 Apple Inc. Spatial and temporal alignment of video sequences
JP5196731B2 (ja) * 2006-04-20 2013-05-15 キヤノン株式会社 画像処理装置及び画像処理方法
US20100157079A1 (en) 2008-12-19 2010-06-24 Qualcomm Incorporated System and method to selectively combine images
WO2010118177A1 (en) * 2009-04-08 2010-10-14 Zoran Corporation Exposure control for high dynamic range image capture
US8525900B2 (en) 2009-04-23 2013-09-03 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8570396B2 (en) * 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8237813B2 (en) * 2009-04-23 2012-08-07 Csr Technology Inc. Multiple exposure high dynamic range image capture
JP5397068B2 (ja) * 2009-06-03 2014-01-22 ソニー株式会社 撮像装置、撮像制御方法、露出制御装置および露出制御方法
US8872910B1 (en) * 2009-06-04 2014-10-28 Masoud Vaziri Method and apparatus for a compact and high resolution eye-view recorder
US8346008B2 (en) * 2009-06-09 2013-01-01 Aptina Imaging Corporation Systems and methods for noise reduction in high dynamic range imaging
JP5319415B2 (ja) * 2009-06-22 2013-10-16 キヤノン株式会社 画像処理装置、画像処理方法
US9336578B2 (en) 2009-09-14 2016-05-10 Thomson Licensing Interactive tone mapping for high dynamic range video
JP5493717B2 (ja) * 2009-10-30 2014-05-14 大日本印刷株式会社 画像処理装置、画像処理方法、および、画像処理用プログラム
JP4973719B2 (ja) * 2009-11-11 2012-07-11 カシオ計算機株式会社 撮像装置、撮像方法、及び撮像プログラム
US8737755B2 (en) * 2009-12-22 2014-05-27 Apple Inc. Method for creating high dynamic range image
US8606009B2 (en) * 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
US8666148B2 (en) 2010-06-03 2014-03-04 Adobe Systems Incorporated Image adjustment
WO2011163438A1 (en) * 2010-06-25 2011-12-29 Thomson Licensing Graphical user interface for tone mapping high dynamic range video
US9204113B1 (en) * 2010-06-28 2015-12-01 Ambarella, Inc. Method and/or apparatus for implementing high dynamic range image processing in a video processing system
US8478076B2 (en) 2010-07-05 2013-07-02 Apple Inc. Alignment of digital images and local motion detection for high dynamic range (HDR) imaging
US8885978B2 (en) * 2010-07-05 2014-11-11 Apple Inc. Operating a device to capture high dynamic range images
JP2012019392A (ja) * 2010-07-08 2012-01-26 Nikon Corp 画像処理装置、電子カメラおよび画像処理プログラム
CN102457669B (zh) * 2010-10-15 2014-04-16 华晶科技股份有限公司 图像处理方法
JP5828210B2 (ja) * 2010-10-19 2015-12-02 ソニー株式会社 画像処理装置および方法、並びに、プログラム
US9275605B2 (en) * 2010-11-23 2016-03-01 Dolby Laboratories Licensing Corporation Content metadata enhancement of high dynamic range images
JP5644444B2 (ja) * 2010-12-03 2014-12-24 富士通株式会社 画像表示装置、画像表示方法、および画像処理装置
US8737736B2 (en) * 2010-12-31 2014-05-27 Microsoft Corporation Tone mapping of very large aerial image mosaic
US8391598B2 (en) 2011-01-05 2013-03-05 Aptina Imaging Corporation Methods for performing local tone mapping
CN106204474B (zh) 2011-03-02 2019-05-03 杜比实验室特许公司 局部多等级色调映射运算器
US8675984B2 (en) 2011-03-03 2014-03-18 Dolby Laboratories Licensing Corporation Merging multiple exposed images in transform domain
EP2498499B1 (en) 2011-03-08 2018-04-18 Dolby Laboratories Licensing Corporation Interpolation of color gamut for display on target display
US9077910B2 (en) * 2011-04-06 2015-07-07 Dolby Laboratories Licensing Corporation Multi-field CCD capture for HDR imaging
JP6009538B2 (ja) * 2011-04-28 2016-10-19 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Ｈｄｒ画像を符号化及び復号するための装置及び方法
US8774554B1 (en) * 2011-05-09 2014-07-08 Exelis, Inc. Bias and plateau limited advanced contrast enhancement
US8774553B1 (en) * 2011-05-09 2014-07-08 Exelis, Inc. Advanced adaptive contrast enhancement
WO2012164881A1 (ja) * 2011-05-27 2012-12-06 パナソニック株式会社 画像処理装置および画像処理方法
US8933985B1 (en) 2011-06-06 2015-01-13 Qualcomm Technologies, Inc. Method, apparatus, and manufacture for on-camera HDR panorama
KR101742120B1 (ko) * 2011-06-10 2017-05-31 삼성전자주식회사 영상 처리 장치 및 방법
US8891863B2 (en) * 2011-06-13 2014-11-18 Dolby Laboratories Licensing Corporation High dynamic range, backwards-compatible, digital cinema
JP2013005017A (ja) * 2011-06-13 2013-01-07 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP2013026722A (ja) * 2011-07-19 2013-02-04 Toshiba Corp 画像処理装置
TWI468012B (zh) * 2011-08-01 2015-01-01 Ability Entpr Co Ltd 影像擷取方法及影像擷取裝置
US20130044237A1 (en) * 2011-08-15 2013-02-21 Broadcom Corporation High Dynamic Range Video
KR101843450B1 (ko) * 2011-08-23 2018-03-29 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US8965774B2 (en) * 2011-08-23 2015-02-24 Apple Inc. Automatic detection of audio compression parameters
US8903169B1 (en) 2011-09-02 2014-12-02 Adobe Systems Incorporated Automatic adaptation to image processing pipeline
US9008415B2 (en) 2011-09-02 2015-04-14 Adobe Systems Incorporated Automatic image adjustment parameter correction
US9049380B2 (en) * 2011-09-26 2015-06-02 Canon Kabushiki Kaisha Image processing apparatus for generating an image having an expanded dynamic range and method thereof, and image capture apparatus
CN102510502B (zh) * 2011-09-30 2014-01-22 苏州佳世达电通有限公司 用于生成高动态范围图像的方法及系统
US9129414B2 (en) * 2011-10-14 2015-09-08 Morpho, Inc. Image compositing apparatus, image compositing method, image compositing program, and recording medium
EP2769540B1 (en) * 2011-10-20 2018-11-28 Dolby Laboratories Licensing Corporation Method and system for video equalization
JP5316625B2 (ja) * 2011-11-11 2013-10-16 カシオ計算機株式会社 画像合成装置、及びプログラム
TWI497320B (zh) * 2011-11-14 2015-08-21 Novatek Microelectronics Corp 色調對應方法及影像處理裝置
GB2499668B (en) * 2012-02-27 2019-03-06 Apical Ltd Exposure controller
CN103312942B (zh) * 2012-03-12 2016-07-20 华晶科技股份有限公司 动态范围图像的噪声处理方法及其图像捕捉装置
TWI475512B (zh) * 2012-03-12 2015-03-01 Altek Corp 動態範圍影像的雜訊處理方法及其影像擷取裝置
KR20130129645A (ko) * 2012-05-21 2013-11-29 엘지전자 주식회사 다중 핀홀 카메라 및 그 동작 방법
US9113089B2 (en) 2012-06-06 2015-08-18 Apple Inc. Noise-constrained tone curve generation
US9083935B2 (en) * 2012-06-15 2015-07-14 Microsoft Technology Licensing, Llc Combining multiple images in bracketed photography
TWI523500B (zh) * 2012-06-29 2016-02-21 私立淡江大學 影像的動態範圍壓縮方法與影像處理裝置
US9489706B2 (en) * 2012-07-02 2016-11-08 Qualcomm Technologies, Inc. Device and algorithm for capturing high dynamic range (HDR) video
CN104471939B (zh) 2012-07-13 2018-04-24 皇家飞利浦有限公司 改进的hdr图像编码和解码方法和设备
JP5747136B2 (ja) * 2012-08-08 2015-07-08 ドルビー ラボラトリーズ ライセンシング コーポレイション Ｈｄｒ画像のための画像処理
CN103581535B (zh) * 2012-08-09 2017-10-24 华晶科技股份有限公司 能产生高动态影像的影像撷取装置、电子装置及其方法
JP2014036401A (ja) * 2012-08-10 2014-02-24 Sony Corp 撮像装置、画像信号処理方法及びプログラム
US9160936B1 (en) * 2014-11-07 2015-10-13 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US8446481B1 (en) 2012-09-11 2013-05-21 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
FR2996034B1 (fr) * 2012-09-24 2015-11-20 Jacques Joffre Procede pour creer des images a gamme dynamique etendue en imagerie fixe et video, et dispositif d'imagerie implementant le procede.
US9129388B2 (en) 2012-11-21 2015-09-08 Apple Inc. Global approximation to spatially varying tone mapping operators
KR101767094B1 (ko) * 2012-12-03 2017-08-31 한화테크윈 주식회사 영상 처리 장치 및 방법
US9087391B2 (en) 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US9247152B2 (en) 2012-12-20 2016-01-26 Google Inc. Determining image alignment failure
CN103905738B (zh) * 2012-12-31 2018-12-21 博世汽车部件(苏州)有限公司 高动态范围图像生成系统及方法
US8995784B2 (en) 2013-01-17 2015-03-31 Google Inc. Structure descriptors for image processing
US9686537B2 (en) 2013-02-05 2017-06-20 Google Inc. Noise models for image processing
FR3002824A1 (fr) * 2013-03-04 2014-09-05 St Microelectronics Grenoble 2 Procede et dispositif de generation d'images a grande gamme dynamique
KR20140110428A (ko) * 2013-03-07 2014-09-17 삼성전자주식회사 원본 이미지를 이용하여 스케일된 이미지들을 동시에 생성할 수 있는 이미지 처리 방법과 상기 방법을 수행하는 장치들
FR3003378A1 (fr) * 2013-03-12 2014-09-19 St Microelectronics Grenoble 2 Procede de mappage de tons
KR101992933B1 (ko) 2013-03-14 2019-06-25 삼성전자주식회사 광역 역광 보정 이미지 처리 방법 및 이를 이용하는 이미지 신호 프로세서
US9117134B1 (en) 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US9066017B2 (en) * 2013-03-25 2015-06-23 Google Inc. Viewfinder display based on metering images
CN103295194B (zh) * 2013-05-15 2015-11-04 中山大学 亮度可控与细节保持的色调映射方法
US9955084B1 (en) * 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
US9077913B2 (en) 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
US9131201B1 (en) 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
EP3008902A1 (en) * 2013-06-10 2016-04-20 Thomson Licensing Encoding and decoding methods for adapting the average luminance of high dynamic range pictures and corresponding encoder and decoder
KR101499461B1 (ko) * 2013-06-28 2015-03-16 전남대학교산학협력단 히스토그램 압축을 이용한 히스토그램 평활화 장치
JP5889247B2 (ja) * 2013-07-02 2016-03-22 キヤノン株式会社 画像処理装置、画像処理方法及び画像処理プログラム、並びに撮像装置
US9053558B2 (en) 2013-07-26 2015-06-09 Rui Shen Method and system for fusing multiple images
KR102145201B1 (ko) * 2013-08-12 2020-08-18 삼성전자주식회사 이미지의 동적 범위 향상을 위한 방법 및 장치
AT514332B1 (de) * 2013-08-27 2014-12-15 Swarovski D Kg Anordnung zur Analyse eines durch Brechung und Reflexion an einem Schmuckstein hervorgerufenen Lichtmusters
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
GB2519336B (en) * 2013-10-17 2015-11-04 Imagination Tech Ltd Tone Mapping
JP6311868B2 (ja) * 2013-11-07 2018-04-18 株式会社Ｊｏｌｅｄ 画像処理回路、画像処理方法、及び、表示装置
JP6263623B2 (ja) 2013-12-06 2018-01-17 華為終端（東莞）有限公司 画像生成方法及びデュアルレンズ装置
JP6351271B2 (ja) * 2014-01-17 2018-07-04 オリンパス株式会社 画像合成装置、画像合成方法、およびプログラム
KR102150960B1 (ko) * 2014-01-29 2020-09-02 삼성전자주식회사 영상 처리 방법 및 장치
KR102146560B1 (ko) * 2014-02-17 2020-08-20 삼성전자주식회사 영상 보정 방법 및 장치
CN111526350B (zh) * 2014-02-25 2022-04-05 苹果公司 自适应视频处理
US9380229B2 (en) 2014-02-28 2016-06-28 Samsung Electronics Co., Ltd. Digital imaging systems including image sensors having logarithmic response ranges and methods of determining motion
JP6439418B2 (ja) * 2014-03-05 2018-12-19 ソニー株式会社 画像処理装置及び画像処理方法、並びに画像表示装置
KR20150118213A (ko) * 2014-04-11 2015-10-22 에스케이하이닉스 주식회사 이미지 센싱 장치
US9307162B2 (en) * 2014-05-21 2016-04-05 Himax Imaging Limited Local enhancement apparatus and method to generate high dynamic range images by blending brightness-preserved and brightness-adjusted blocks
US9344638B2 (en) 2014-05-30 2016-05-17 Apple Inc. Constant bracket high dynamic range (cHDR) operations
US9380218B2 (en) 2014-05-30 2016-06-28 Apple Inc. Highlight exposure metric and its applications
US9460499B2 (en) * 2014-05-30 2016-10-04 Shenzhen Mindray Bio-Medical Electronics Co., Ltd. Systems and methods for selective enhancement of a region of interest in an image
JP6443857B2 (ja) 2014-06-05 2018-12-26 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
CN106461928B (zh) * 2014-06-10 2019-09-17 奥林巴斯株式会社 图像处理装置、摄像装置、显微镜系统以及图像处理方法
CN110231926B (zh) 2014-06-10 2022-11-04 松下知识产权经营株式会社 再现方法和再现装置
GB201410635D0 (en) 2014-06-13 2014-07-30 Univ Bangor Improvements in and relating to the display of images
US10013764B2 (en) * 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
EP3179716B1 (en) * 2014-08-27 2019-10-09 Huawei Technologies Co., Ltd. Image processing method, computer storage medium, device, and terminal
US9418311B2 (en) 2014-09-04 2016-08-16 Apple Inc. Multi-scale tone mapping
WO2016056787A1 (en) 2014-10-06 2016-04-14 Samsung Electronics Co., Ltd. Display device and method of controlling the same
KR102251440B1 (ko) * 2014-11-05 2021-05-14 삼성전자주식회사 로컬 톤 맵핑 회로와 이를 포함하는 모바일 컴퓨팅 장치
CN106464815B (zh) * 2014-11-21 2020-01-14 深圳市大疆创新科技有限公司 高动态范围成像的快速自适应混合的系统以及方法
EP3029931A1 (en) 2014-12-04 2016-06-08 Thomson Licensing Image sensor unit and imaging apparatus
US9892494B2 (en) 2015-02-05 2018-02-13 Apple Inc. Region-of-interest biased tone mapping
CN104639845B (zh) 2015-03-17 2017-12-26 上海兆芯集成电路有限公司 高动态范围图像产生方法以及使用该方法的装置
US20160292825A1 (en) * 2015-04-06 2016-10-06 Qualcomm Incorporated System and method to refine image data
CN104835131B (zh) * 2015-04-20 2018-05-15 中国科学技术大学先进技术研究院 一种基于ic实现hdr图像生成及色调映射的方法和系统
CA2986150A1 (en) 2015-05-19 2016-11-24 Irystec Software Inc. System and method for color retargeting
US10136074B2 (en) * 2015-06-02 2018-11-20 Samsung Electronics Co., Ltd. Distribution-point-based adaptive tone mapping
CN107409223B (zh) * 2015-06-09 2020-02-14 华为技术有限公司 视频编解码方法和视频编解码器
ES2563098B1 (es) * 2015-06-15 2016-11-29 Davantis Technologies Sl Procedimiento de mejora de imagen IR basado en información de escena para videoanálisis
JP6109456B1 (ja) 2015-06-30 2017-04-05 オリンパス株式会社 画像処理装置および撮像システム
JP6589478B2 (ja) 2015-09-11 2019-10-16 セイコーエプソン株式会社 測定装置、電子機器、及び測定方法
JP6233424B2 (ja) * 2016-01-05 2017-11-22 ソニー株式会社 撮像システムおよび撮像方法
JP6610273B2 (ja) * 2016-01-08 2019-11-27 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2017127445A1 (en) * 2016-01-21 2017-07-27 Astral Images Corporation Processing image content for enabling high dynamic range (hdr) output thereof and computer-readable program product having such hdr content
US9900527B2 (en) * 2016-03-08 2018-02-20 Omnivision Technologies, Inc. Enhanced high dynamic range
US10701375B2 (en) * 2016-03-23 2020-06-30 Dolby Laboratories Licensing Corporation Encoding and decoding reversible production-quality single-layer video signals
CN105827754B (zh) * 2016-03-24 2019-07-26 维沃移动通信有限公司 一种高动态范围图像的生成方法及移动终端
GB201611253D0 (en) * 2016-06-29 2016-08-10 Dolby Laboratories Licensing Corp Efficient Histogram-based luma look matching
US10275864B2 (en) * 2016-09-09 2019-04-30 Kabushiki Kaisha Toshiba Image processing device and image processing method
US10575028B2 (en) * 2016-09-09 2020-02-25 Dolby Laboratories Licensing Corporation Coding of high dynamic range video using segment-based reshaping
US10614603B2 (en) * 2016-09-19 2020-04-07 Qualcomm Incorporated Color normalization for a multi-camera system
US10264287B2 (en) * 2016-10-05 2019-04-16 Dolby Laboratories Licensing Corporation Inverse luma/chroma mappings with histogram transfer and approximation
EP3306563B1 (en) * 2016-10-05 2022-01-12 Dolby Laboratories Licensing Corporation Inverse luma/chroma mappings with histogram transfer and approximation
US10504487B2 (en) * 2016-10-14 2019-12-10 Apple Inc. Ambient and content adaptive pixel manipulation
US10229484B2 (en) 2016-11-30 2019-03-12 Stmicroelectronics (Grenoble 2) Sas Tone mapping method
CN106847149B (zh) * 2016-12-29 2020-11-13 武汉华星光电技术有限公司 一种高动态对比度图像的色调映射与显示方法
CN108460730B (zh) * 2017-02-17 2020-06-26 京东方科技集团股份有限公司 一种图像处理方法及其装置
US10638052B2 (en) 2017-04-12 2020-04-28 Samsung Electronics Co., Ltd. Method and apparatus for generating HDR images
US10334141B2 (en) * 2017-05-25 2019-06-25 Denso International America, Inc. Vehicle camera system
KR102243292B1 (ko) * 2017-06-02 2021-04-22 한국전자기술연구원 컬러반응곡선을 이용한 hdr 영상 생성방법, hdr 영상 생성장치, 카메라 및 기록매체
CN109120859B (zh) 2017-06-26 2022-03-25 深圳光峰科技股份有限公司 一种影像数据处理装置及拍摄设备、显示系统
US10284785B2 (en) * 2017-08-30 2019-05-07 Gopro, Inc. Local tone mapping
JP6789904B2 (ja) 2017-09-20 2020-11-25 株式会社東芝 ダイナミックレンジ圧縮装置及び画像処理装置
CN107635102B (zh) * 2017-10-30 2020-02-14 Oppo广东移动通信有限公司 高动态范围图像曝光补偿值获取方法和装置
EP3477946A1 (en) * 2017-10-31 2019-05-01 Thomson Licensing Method and device for obtaining a second image from a first image when the dynamic range of the luminance of said first image is greater than the dynamic range of the luminance of said second image
US10607047B2 (en) 2017-12-06 2020-03-31 Cognex Corporation Local tone mapping for symbol reading
KR102089084B1 (ko) * 2018-02-13 2020-05-27 국민대학교산학협력단 Hdr 영상 생성 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
JP6833746B2 (ja) * 2018-03-07 2021-02-24 キヤノン株式会社 撮像装置、撮像方法、プログラムおよび記録媒体
KR20190114332A (ko) * 2018-03-29 2019-10-10 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
CN108717690B (zh) * 2018-05-21 2022-03-04 电子科技大学 一种高动态范围图片的合成方法
US10997947B2 (en) 2018-05-29 2021-05-04 Samsung Electronics Co., Ltd. Electronic device and control method thereof
KR102562052B1 (ko) * 2018-05-29 2023-08-02 삼성전자주식회사 전자 장치 및 그 제어 방법
CN110717862B (zh) * 2018-07-11 2022-07-19 瑞昱半导体股份有限公司 基于动态范围压缩的对比增强方法及其电子装置
CN108989700B (zh) * 2018-08-13 2020-05-15 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备以及计算机可读存储介质
CN112567727B (zh) * 2018-08-20 2023-04-07 索尼半导体解决方案公司 图像处理设备和图像处理系统
CN113168672B (zh) * 2018-10-19 2024-02-02 高途乐公司 用于图像处理的色调映射和色调控制集成
RU2699812C1 (ru) * 2018-11-08 2019-09-11 Вячеслав Михайлович Смелков Способ управления чувствительностью телевизионной камеры на матрице ПЗС в условиях сложной освещённости и/или сложной яркости объектов, компьютерной регистрации видеосигнала и его воспроизведения
RU2726160C1 (ru) * 2019-04-29 2020-07-09 Самсунг Электроникс Ко., Лтд. Повторный синтез изображения, использующий прямое деформирование изображения, дискриминаторы пропусков и основанное на координатах реконструирование
WO2020096368A1 (en) 2018-11-09 2020-05-14 Samsung Electronics Co., Ltd. Image resynthesis using forward warping, gap discriminators, and coordinate-based inpainting
JP6757392B2 (ja) * 2018-11-21 2020-09-16 株式会社モルフォ 画像生成装置、画像生成方法及び画像生成プログラム
TWI697867B (zh) * 2018-12-12 2020-07-01 晶睿通訊股份有限公司 測光補償方法及其相關監控攝影設備
CN109754374A (zh) * 2018-12-20 2019-05-14 深圳市资福医疗技术有限公司 一种去除图像亮度噪声的方法及装置
WO2020156538A1 (en) 2019-02-03 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Interaction between mv precisions and mv difference coding
CN113424533B (zh) 2019-02-14 2024-09-10 北京字节跳动网络技术有限公司 复杂度降低的解码器侧运动推导
CN110149484B (zh) * 2019-04-15 2020-07-10 浙江大华技术股份有限公司 图像合成方法、装置及存储装置
US10664960B1 (en) * 2019-04-15 2020-05-26 Hanwha Techwin Co., Ltd. Image processing device and method to perform local contrast enhancement
CN110047060B (zh) * 2019-04-15 2022-12-20 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
US11010875B2 (en) 2019-05-29 2021-05-18 Datalogic Ip Tech S.R.L. Apparatus and method to compute a high dynamic range image from a single acquisition
US11055832B2 (en) * 2019-07-30 2021-07-06 Qualcomm Incorporated Image banding correction in high dynamic range imaging
CN114223209A (zh) 2019-08-12 2022-03-22 杜比实验室特许公司 Hdr图像传感器的自适应图像数据线性化
CN110728633B (zh) * 2019-09-06 2022-08-02 上海交通大学 多曝光度高动态范围反色调映射模型构建方法及装置
US11195247B1 (en) * 2019-09-09 2021-12-07 Apple Inc. Camera motion aware local tone mapping
CN113452925B (zh) * 2019-11-13 2023-09-19 深圳市道通智能航空技术股份有限公司 高动态范围图像自动曝光方法及无人飞行器
CN114556954B (zh) * 2019-12-04 2024-06-04 谷歌有限责任公司 混合动态范围内容的重映射
CN110996174B (zh) * 2019-12-19 2022-04-05 深圳市迅雷网络技术有限公司 一种视频画质增强方法及其相关设备
KR102375369B1 (ko) * 2020-11-26 2022-03-18 엘지전자 주식회사 톤 매핑 장치 및 그 방법
CN115018714B (zh) * 2021-03-05 2024-07-26 思特威(上海)电子科技股份有限公司 一种图像像素值映射方法、成像装置及计算机存储介质
US12086971B2 (en) * 2021-08-10 2024-09-10 Samsung Electronics Co., Ltd. Global tone mapping with contrast enhancement and chroma boost
CA3227077A1 (en) * 2021-08-11 2023-02-16 Ryan KLEBBA Dynamic fixed pattern noise calibrations
CN113905183B (zh) * 2021-08-25 2024-04-16 珠海全志科技股份有限公司 宽动态范围图像的色差校正方法及装置
CN115835011A (zh) * 2021-09-15 2023-03-21 Oppo广东移动通信有限公司 图像处理芯片、应用处理芯片、电子设备和图像处理方法
KR102564447B1 (ko) * 2021-11-30 2023-08-08 엘지전자 주식회사 디스플레이 장치
CN114359083B (zh) * 2021-12-24 2022-11-29 北京航空航天大学 一种面向干扰环境的高动态热红外图像自适应预处理方法
US11800244B1 (en) 2022-08-13 2023-10-24 Mojtaba Vaziri Method and apparatus for an imaging device
CN115937045B (zh) * 2023-01-05 2023-07-04 哈尔滨理工大学 一种迭代式色阶重建方法
KR102628819B1 (ko) 2023-11-10 2024-01-24 주식회사 더라임코리아 조명이 결합된 유리돔 구조의 커스터마이징 인테리어용 소품 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1857975A2 (en) * 2006-05-17 2007-11-21 Xerox Corporation Histogram adjustment for high dynamic range image mapping

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03270567A (ja) * 1990-03-20 1991-12-02 Fuji Photo Film Co Ltd 画像信号補正方法
US5402171A (en) * 1992-09-11 1995-03-28 Kabushiki Kaisha Toshiba Electronic still camera with improved picture resolution by image shifting in a parallelogram arrangement
US5519441A (en) * 1993-07-01 1996-05-21 Xerox Corporation Apparatus and method for correcting offset and gain drift present during communication of data
US5450502A (en) * 1993-10-07 1995-09-12 Xerox Corporation Image-dependent luminance enhancement
US5801773A (en) * 1993-10-29 1998-09-01 Canon Kabushiki Kaisha Image data processing apparatus for processing combined image signals in order to extend dynamic range
US5647360A (en) * 1995-06-30 1997-07-15 Siemens Corporate Research, Inc. Digital subtraction angiography for 3D diagnostic imaging
US5690106A (en) * 1995-06-30 1997-11-25 Siemens Corporate Research, Inc. Flexible image registration for rotational angiography
US5963653A (en) * 1997-06-19 1999-10-05 Raytheon Company Hierarchical information fusion object recognition system and method
US6298144B1 (en) * 1998-05-20 2001-10-02 The United States Of America As Represented By The National Security Agency Device for and method of detecting motion in an image
JP3283823B2 (ja) * 1998-06-02 2002-05-20 株式会社日立製作所 板材圧延機
JP3707259B2 (ja) * 1998-09-10 2005-10-19 コニカミノルタフォトイメージング株式会社 画像合成方法及びこの方法を用いた画像合成装置
US6416477B1 (en) 2000-08-22 2002-07-09 Koninklijke Philips Electronics N.V. Ultrasonic diagnostic systems with spatial compounded panoramic imaging
DE10064184C1 (de) * 2000-12-22 2002-04-04 Fraunhofer Ges Forschung Verfahren und Vorrichtung zur Bilderzeugung unter Verwendung mehrerer Belichtungszeiten
US7133070B2 (en) * 2001-09-20 2006-11-07 Eastman Kodak Company System and method for deciding when to correct image-specific defects based on camera, scene, display and demographic data
DE60135559D1 (de) 2001-11-19 2008-10-09 St Microelectronics Srl Verfahren zur Mischung von digitalen Bildern zur Erzeugung eines digitalen Bildes mit erweitertem Dynamikbereich
US7120293B2 (en) * 2001-11-30 2006-10-10 Microsoft Corporation Interactive images
US7119837B2 (en) * 2002-06-28 2006-10-10 Microsoft Corporation Video processing system and method for automatic enhancement of digital video
US7295232B2 (en) * 2003-01-15 2007-11-13 Canon Kabushiki Kaisha Camera and program
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US7142723B2 (en) * 2003-07-18 2006-11-28 Microsoft Corporation System and process for generating high dynamic range images from multiple exposures of a moving scene
US20050117799A1 (en) 2003-12-01 2005-06-02 Chiou-Shann Fuh Method and apparatus for transforming a high dynamic range image into a low dynamic range image
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US7457477B2 (en) 2004-07-06 2008-11-25 Microsoft Corporation Digital photography with flash/no flash extension
JP4530277B2 (ja) 2005-02-25 2010-08-25 株式会社リコー 画像再生装置、画像再生方法、プログラムおよび記録媒体
US7755667B2 (en) 2005-05-17 2010-07-13 Eastman Kodak Company Image sequence stabilization method and camera having dual path image sequence stabilization
ATE431397T1 (de) 2005-06-01 2009-05-15 Fraunhofer Ges Forschung Verfahren zur optischen bestimmung des dynamischen verhaltens von kontrahierenden zellen
US7489825B2 (en) 2005-07-13 2009-02-10 Ge Medical Systems Method and apparatus for creating a multi-resolution framework for improving medical imaging workflow
JP2007028088A (ja) * 2005-07-14 2007-02-01 Konica Minolta Holdings Inc 撮像装置及び画像処理方法
US7623683B2 (en) * 2006-04-13 2009-11-24 Hewlett-Packard Development Company, L.P. Combining multiple exposure images to increase dynamic range
CN100539648C (zh) * 2006-05-11 2009-09-09 精工爱普生株式会社 摄像元件及摄像装置和方法
US7639893B2 (en) 2006-05-17 2009-12-29 Xerox Corporation Histogram adjustment for high dynamic range image mapping
WO2008031089A2 (en) 2006-09-08 2008-03-13 Sarnoff Corporation System and method for high performance image processing
TW200820123A (en) * 2006-10-20 2008-05-01 Primax Electronics Ltd Method and system of generating high dynamic range image corresponding to specific scene
KR100888429B1 (ko) * 2007-05-03 2009-03-11 엠텍비젼 주식회사 영상 밝기 조절 장치 및 그 방법
CN101420531A (zh) * 2007-10-23 2009-04-29 鸿富锦精密工业（深圳）有限公司 高动态范围图片撷取装置及方法
JP5082776B2 (ja) * 2007-10-31 2012-11-28 オムロン株式会社 画像処理装置
US20100157079A1 (en) 2008-12-19 2010-06-24 Qualcomm Incorporated System and method to selectively combine images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1857975A2 (en) * 2006-05-17 2007-11-21 Xerox Corporation Histogram adjustment for high dynamic range image mapping

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10664959B2 (en) 2018-03-08 2020-05-26 Samsung Display Co., Ltd. Method of performing an image-adaptive tone mapping and display device employing the same
KR20200090346A (ko) * 2019-01-21 2020-07-29 엘지전자 주식회사 카메라 장치 및 이를 구비하는 전자 장치
WO2020153726A1 (ko) * 2019-01-21 2020-07-30 엘지전자 주식회사 카메라 장치 및 이를 구비하는 전자 장치
KR102643588B1 (ko) * 2019-01-21 2024-03-04 엘지전자 주식회사 카메라 장치 및 이를 구비하는 전자 장치
US11974048B2 (en) 2019-01-21 2024-04-30 Lg Electronics Inc. Camera device and electronic apparatus including the same
US11528426B2 (en) 2020-04-03 2022-12-13 SK Hynix Inc. Image sensing device and operating method thereof
US11996024B2 (en) 2021-08-31 2024-05-28 Samsung Electronics Co., Ltd. Display device and operating method thereof

Also Published As

Publication number Publication date
CN102257531A (zh) 2011-11-23
EP2368226A1 (en) 2011-09-28
EP2368226B1 (en) 2016-06-15
WO2010071839A1 (en) 2010-06-24
US8339475B2 (en) 2012-12-25
CN102257531B (zh) 2015-07-01
TW201102967A (en) 2011-01-16
JP2012513172A (ja) 2012-06-07
KR20110105831A (ko) 2011-09-27
US20100157078A1 (en) 2010-06-24
JP5254466B2 (ja) 2013-08-07

Similar Documents

Publication Publication Date Title
KR101365369B1 (ko) 고 명암비 이미지 합성
CN111418201B (zh) 一种拍摄方法及设备
US8111300B2 (en) System and method to selectively combine video frame image data
KR101433542B1 (ko) 고 다이나믹 레인지 이미지를 캡처하도록 장치를 동작시키는 방법
US8797421B2 (en) System and method to selectively combine images
CN112532855B (zh) 一种图像处理方法和装置
US8723978B2 (en) Image fusion apparatus and method
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
KR20130138340A (ko) 높은 다이나믹 레인지 이미지들을 이용한 화이트 밸런스 최적화
EP1834302A1 (en) Automatic white balancing of colour gain values
CN110213502A (zh) 图像处理方法、装置、存储介质及电子设备
CN114693580B (zh) 图像处理方法及其相关设备
CN110047060B (zh) 图像处理方法、装置、存储介质及电子设备
CN115802183B (zh) 图像处理方法及其相关设备
US20210342989A1 (en) Hue preservation post processing with early exit for highlight recovery
JP5619882B2 (ja) 輝度情報に基づいて修正された値を使用したレンズロールオフ補正操作
CN114945087B (zh) 基于人脸特征的图像处理方法、装置、设备及存储介质
JP2023111637A (ja) 画像処理装置及び方法、及び撮像装置
CN114710654B (zh) 图像处理方法、装置、可读存储介质以及电子设备
CN118828220A (zh) 图像处理方法、装置、设备及存储介质
JP2014220760A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161229

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171228

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190107

Year of fee payment: 6