KR20060012278A - 하이 다이나믹 레인지 비디오 생성 시스템 및 프로세스 - Google Patents

하이 다이나믹 레인지 비디오 생성 시스템 및 프로세스 Download PDF

Info

Publication number
KR20060012278A
KR20060012278A KR1020057020537A KR20057020537A KR20060012278A KR 20060012278 A KR20060012278 A KR 20060012278A KR 1020057020537 A KR1020057020537 A KR 1020057020537A KR 20057020537 A KR20057020537 A KR 20057020537A KR 20060012278 A KR20060012278 A KR 20060012278A
Authority
KR
South Korea
Prior art keywords
frame
exposure
under consideration
pixel
warped
Prior art date
Application number
KR1020057020537A
Other languages
English (en)
Other versions
KR101026577B1 (ko
Inventor
싱 빙 강
매튜 유이텐다엘
시몬 윈더
리차드 스젤리스키
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20060012278A publication Critical patent/KR20060012278A/ko
Application granted granted Critical
Publication of KR101026577B1 publication Critical patent/KR101026577B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

하이 다이나믹 레인지(High Dynamic Range, HDR) 비디오를 생성하는 시스템 및 프로세스가 제공되며, 이는 먼저 짧은 노출과 긴 노출을 나타내는 프레임이 교대로 있도록 노출을 변동시키면서 비디오 이미지 시퀀스를 캡처하는 단계(단계 200)를 포함한다. 각 프레임에 대한 노출은 그 프레임이 캡처되기 전에 선행 프레임에서의 픽셀 밝기 분포의 함수로서 캡처된다. 그 다음에, 비디오의 각 프레임에 대해, 고려 중인 프레임과 선행 및 후속 프레임 둘다 간의 대응하는 픽셀들이 식별된다(단계 202). 각각의 대응하는 픽셀 세트에 대해, 적어도 하나의 픽셀이 신뢰 픽셀을 나타내는 것으로 식별된다. 이어서, 신뢰 픽셀과 연관된 픽셀 컬러 정보가 방사 휘도 맵을 형성하기 위해 그 픽셀 세트에 대한 방사 휘도값을 계산하는 데 이용된다(단계 204). 이어서, 톤 매핑 절차가 방사 휘도 맵을 8 비트 표현의 HDR 프레임으로 변환하기 위해 수행될 수 있다(단계 206).
하이 다이나믹 레인지 비디오, 톤 매핑, 방사 휘도 맵, 와핑

Description

하이 다이나믹 레인지 비디오 생성 시스템 및 프로세스{A SYSTEM AND PROCESS FOR GENERATING HIGH DYNAMIC RANGE VIDEO}
본 발명은 하이 다이나믹 레인지(High Dynamic Range, HDR) 비디오를 생성하는 것에 관한 것으로서, 보다 상세하게는 각각의 프레임의 노출을 변경하면서 캡처된 비디오 이미지 시퀀스로부터 HDR 비디오를 생성하는 시스템 및 프로세스에 관한 것이다.
실제 세계에서는 현재 대부분의 카메라에서 이용가능한 센서에 의해 캡처될 수 있는 것보다 훨씬 더 많은 밝기 변동이 있다. 단일 장면의 방사 휘도(radiance)는 4 자리수의 밝기, 음영(shadow)에서부터 완전 조명 영역(fully lit region)까지를 포함할 수 있다. 일반적인 CCD 또는 CMOS 센서는 약 256-1024 밝기 레벨을 캡처할 뿐이다.
이 제한된 다이나믹 레인지 문제는 최근 많은 해결책에 영감을 주었다. 정적 장면(static scene)의 전체 방사 휘도(full radiance)를 캡처하는 한 방법은 그 장면을 여러장 촬영하고 이들을 합성하여 하이 다이나믹 레인지(High Dynamic Range, HDR) 맵을 생성하는 것이다[3, 7, 10]. 정적 장면 요건은 다수의 이미지 검출기, 최신의 센서 또는 공간적으로 변하는 픽셀 노출을 사용하여 제거될 수 있 다[8]. Mann 등[6]은 호모그래피(homography)를 사용하여 서로 다르게 노출된 프레임들을 레지스트레이션하여, 카메라 응답 함수를 추정하고 따라서 패닝 비디오(panning video)로부터 HDR 이미지를 생성할 수 있게 해준다. Bogoni[1]는 (어파인 파라미터(affine parameter)를 사용하여) 전역적으로 레지스트레이션(register globally)한 다음에 지역적으로 레지스트레이션(register locally)함으로써 모노크롬 및 컬러 이미지의 다이나믹 레인지를 확장시킨다. 그렇지만, 레지스트레이션 단계 및 그의 안정성에 대한 상세는 주어지지 않았다.
HDR 이미지가 계산되었으면, 이어서 그 이미지는 디스플레이로 렌더링되어야만 한다. 일반적인 디스플레이는 대략 2자리수의 밝기값 밖에 내지 못하기 때문에, HDR 이미지에 대해 콘트라스트 감소가 수행되어야만 한다. 이 소위 톤 매핑(tone mapping) 문제는 최근에 다수의 연구자에 의해 조사되었다[2, 4, 9].
그렇지만, 이들 이전의 이미지 기반 방법 중 어느 것도 HDR 비디오를 효율적으로 생성하도록 설계되어 있지 않다. 시판 중인 캠코더를 사용하여 캡처된 일반적인 비디오 영상은 제한된 다이나믹 레인지를 갖는다. 게다가, 종래 기술의 방법에서는 종래의 비디오 카메라가 HDR 비디오를 생성하기 위해 사용될 수 없다. 본 발명의 HDR 비디오 생성 시스템 및 프로세스는 이 문제를 해결한다.
유의할 점은 이전의 단락들에서는 물론, 본 명세서의 나머지에서, 설명은 각괄호 내에 포함된 숫자 지시자로 식별되는 여러가지 개별적인 간행물을 참조한다. 예를 들어, 이러한 참조 문헌은 "참조 문헌 [1]" 또는 간단히 "[1]"을 인용함으로써 식별될 수 있다. 다수의 참조 문헌이 2개 이상의 지시자를 포함하는 한쌍의 각 괄호, 예를 들어 [2, 3]에 의해 식별되어진다. 각각의 지시자에 대응하는 간행물을 비롯한 참조 문헌의 리스트는 상세한 설명 섹션의 끝부분에서 찾아볼 수 있다.
본 발명은 자동 이득 메카니즘을 단순히 재프로그램한 종래의 비디오 카메라를 사용하여 노출을 빠르게 변동시키면서 캡처된 동적 장면의 이미지 시퀀스로부터 HDR 비디오를 생성하는 시스템 및 프로세스에 관한 것이다. 이것은 현재 이용가능한 저렴한 고해상도 카메라 센서의 사용을 가능하게 해준다. 일반적으로, 하이 다이나믹 레인지(HDR) 비디오는 시간에 따라 교대로 노출을 길게 짧게 하면서 캡처된 프리커서 비디오(precursor video)의 프레임들을 잡아서 이들 프레임으로부터 HDR 비디오를 생성함으로서 생성된다. 일반적으로, 이것은 먼저 2가지 경합하는 제약을 동시에 만족시키려고 시도하는 프리커서 비디오의 각각의 프레임을 캡처하는 데 사용되는 노출을 계산하는 절차를 사용함으로써 달성된다. 첫째, 중간 톤(mid-tone)에서의 노이즈를 감소시키기 위해 교대로 있는 노출 레벨을 가능한 한 서로 가깝게 유지하면서 동시에 가능한 한 넓은 다이나믹 레인지를 캡처하기 위해 그 레벨들을 충분히 멀리 떨어져 있도록 분산시키는 것이 요망된다. 일반적으로 어떤 프레임간 움직임을 갖는, 프리커서 비디오의 프레임들은 이어서 합성되어 상기한 HDR 비디오 프레임을 생성한다. 일반적으로, 이것은 시간에 따른 픽셀 대응관계를 식별하기 위해 프리커서 비디오(precursor video)의 일련의 교대로 있는 노출 프레임들에 걸쳐 움직임 추정을 행하는 단계, 및 이어서 각각의 대응하는 픽셀 세트 중의 각 픽셀의 노출 및 움직임 추정의 추정된 품질에 기초하여 픽셀을 얼마만큼 가중할지를 결정하는 단계를 수반한다. 이어서, 대응하는 픽셀 세트는 그의 할당된 가중치에 기초하여 합성되어 HDR 비디오의 합성된 프레임을 형성한다. 게다가, 수정된 톤 매핑 기술이 시청을 위해 사용될 수 있다.
보다 상세하게는, HDR 비디오 생성 시스템 및 프로세스는 먼저 짧은 노출과 긴 노출을 보이는 프레임들이 교대로 있도록 각 프레임의 노출에 변화를 주면서 비디오 이미지 시퀀스를 캡처하는 단계를 포함한다. 일반적으로, 비디오 이미지 시퀀스의 각 프레임에 대한 노출은 그 프레임이 캡처되기 이전에 비디오의 선행 프레임들에서의 픽셀 밝기 분포의 함수로서 설정된다. 그 다음에, 소정의 수의 시작 프레임(initiating frame) 후에 비디오의 각 프레임에 대해, 고려 중인 프레임과 선행 및 후속 이웃 프레임 둘다 간의 대응하는 픽셀이 식별된다. 대응하는 픽셀 세트 각각에 대해, 그 세트 내의 적어도 하나의 픽셀이 신뢰 픽셀(trustworthy pixel)을 나타내는 것으로 식별된다. 이어서, 신뢰 픽셀과 연관된 픽셀 컬러 정보는 그 픽셀 세트에 대한 방사 휘도 값(radiance value)을 계산하는 데 이용된다. HDR 비디오의 프레임을 나타내는 방사 휘도 맵(radiance map)을 형성하기 위해, 각각의 대응하는 픽셀 세트에 대해 이것이 반복된다. 이어서, 방사 휘도 맵을 렌더링 및 디스플레이하기에 적합한 8비트 표현의 HDR 프레임으로 변환하기 위해 톤 매핑 절차가 수행될 수 있다.
비디오 이미지 시퀀스의 각 프레임에 대한 상기한 노출 설정은 각각의 순차적인 긴 노출 프레임과 짧은 노출 프레임 쌍 간의 노출비가 최소로 되면서 그와 동시에 프레임에 표현된 장면에 대한 거의 전 범위의 방사 휘도를 생성하도록 노출을 설정하게 설계된다. 이것은 먼저 소정의 수(적어도 2개)의 시작 프레임을 캡처하고 비디오 이미지 시퀀스의 마지막 2개의 프레임에 대한 개별적인 세기 히스토그램(intensity histogram)을 계산함으로써 달성될 수 있다. 이어서, 캡처된 마지막 2개의 프레임과 연관된 노출 설정이 같은지 여부가 판정된다. 같은 경우, 각각의 프레임에 대해 추가로 그의 노출 과다 픽셀 수(over-exposed pixel count) 및 노출 부족 픽셀 수(under-exposed pixel count)가 각각 소정의 노출 과다 픽셀 목표 수 및 노출 부족 픽셀 목표 수보다 적은지 여부가 판정된다. 그 수가 둘다 그 각자의 목표 수보다 적은 것으로 판명되는 경우, 캡처되는 그 다음 2개의 프레임 중 제1 프레임의 노출은, 고려 중인 이전에 캡처된 프레임 쌍 중 제1 프레임과 연관된 세기 히스토그램이 그의 픽셀값 범위에서 중앙에 오도록 하는 값으로 설정된다. 이와 유사하게, 캡처되는 그 다음 2개의 프레임 중 제2 프레임의 노출은, 고려 중인 이전에 캡처된 프레임 쌍 중 제2 프레임과 연관된 세기 히스토그램이 그의 픽셀값 범위에서 중앙에 오도록 하는 값으로 설정된다. 세기 히스토그램을 중앙에 오게 하는 것은, 고려 중인 제1 또는 제2의 이전에 캡처된 프레임의 노출 값을, (경우에 따라서는) 각각 제1 또는 제2 프레임의 세기 히스토그램의 평균을 나타내는 세기값에서의 카메라 응답 함수의 역함수에 대한 장면의 예상 세기값의 범위의 중간 세기값에서의 카메라 응답 함수의 역함수의 비와 곱하는 단계를 포함한다.
그렇지만, 캡처된 마지막 2개의 프레임과 연관된 노출 설정이 같지 않은 것으로 판정되는 경우, 또는 고려 중인 이전에 캡처된 프레임 쌍 중 한쪽 프레임 또는 양쪽 프레임이 소정의 노출 과다 픽셀 목표 수 및 노출 부족 픽셀 목표 수보다 각각 많거나 같은 노출 과다 픽셀 수 또는 노출 부족 픽셀 수를 갖는 경우, 먼저 노출 과다 픽셀 수가 짧은 노출 설정을 갖는 프레임 쌍의 프레임에서의 노출 과다 픽셀 목표 수의 소정의 퍼센트보다 적은지 여부가 판정된다. 적은 경우, 캡처될 그 다음 짧은 노출 프레임에 대한 노출은 고려 중인 짧은 노출 프레임에 대해 사용된 노출값을 넘는 증가를 나타내는 노출값으로 설정된다. 유의할 점은 노출 과다 픽셀 수가 포화 픽셀의 수를 나타내고 노출 과다 픽셀 목표 수가 고려 중인 프레임 내의 총 픽셀 수의 약 1 내지 5 퍼센트의 범위 내에 있다는 것이다. 캡처될 그 다음의 짧은 노출 프레임에 대한 노출을, 고려 중인 짧은 노출 프레임에 대해 사용되는 노출값을 넘는 증가를 나타내는 노출값으로 설정하는 것에 관하여, 이것은 고려 중인 짧은 노출 프레임의 노출값을, 가장 작은 값부터 시작하여 세기값 순서로 정렬할 때 고려 중인 짧은 노출 프레임의 픽셀들의 처음 99% 중에서 획득되는 최고 세기값을 나타내는 세기값에서의 카메라 응답 함수의 역함수에 대한 포화 셀을 나타내는 세기값에서의 카메라 응답 함수의 역함수의 비와 곱하는 단계를 수반한다.
그 다음에, 노출 부족 픽셀 수가 긴 노출 설정을 갖는 고려 중인 이전에 캡처된 프레임 쌍의 프레임에서의 노출 부족 픽셀 목표 수의 소정의 퍼센트보다 적은지 여부가 판정된다. 적은 경우, 캡처될 그 다음 긴 노출 프레임에 대한 노출은 고려 중인 긴 노출 프레임에 대해 사용된 노출값을 넘는 감소를 나타내는 노출값으로 설정된다. 이 경우에, 노출 부족 픽셀 수는 흑색 픽셀의 수를 나타내고 노출 부족 픽셀 목표 수가 고려 중인 프레임 내의 총 픽셀 수의 약 1 내지 5 퍼센트의 범위 내에 있다. 캡처될 그 다음의 긴 노출 프레임에 대한 노출을, 고려 중인 긴 노출 프레임에 대해 사용되는 노출값을 넘는 감소를 나타내는 노출값으로 설정하는 것에 관하여, 이것은 고려 중인 긴 노출 프레임의 노출값을, 가장 작은 값부터 시작하여 세기값 순서로 정렬할 때 고려 중인 긴 노출 프레임의 픽셀들의 처음 1% 중에서 획득되는 최고 세기값을 나타내는 세기값에서의 카메라 응답 함수의 역함수에 대한 흑색 픽셀을 나타내는 세기값에서의 카메라 응답 함수의 역함수의 비와 곱하는 단계를 수반한다.
그 다음의 짧은 노출 프레임 및 긴 노출 프레임에 대한 노출이 시험적으로 설정되었으면, 이들 새로운 노출값의 비가 소정의 최대 허용 노출비보다 크거나 같은지가 판정된다. 그 비가 소정의 최대 허용 노출비보다 크거나 같은 것으로 판명될 때마다, 노출값은 재설정된다. 이것은 이들 노출값의 비가 소정의 최대 허용 노출비를 초과하게 하지 않는 그 다음 긴 노출 프레임과 짧은 노출 프레임에 대한 정정된 노출값을 설정하기 위해, 고려 중인 짧은 노출 프레임과 연관된 노출 과다 픽셀 수를 고려 중인 긴 노출 프레임과 연관된 노출 부족 픽셀 수와 균형을 유지하도록 함으로써 달성된다. 보다 상세하게는, 고려 중인 짧은 노출 프레임에 대한 정정된 노출 과다 픽셀 수는 노출 과다 픽셀 수의 1/2을 노출 부족 픽셀 수의 1/2에 가산함으로써 계산된다. 짧은 노출 프레임에 대해 생성된 세기 히스토그램은 이어서 정정된 노출 과다 픽셀 수와 연관된 세기값을 찾아내는 데 사용된다. 그 다음에, 고려 중인 짧은 노출 프레임의 노출값은 캡처될 그 다음의 짧은 노출 프레임에 대한 노출값을 생성하기 위해, 정정된 노출 과다 픽셀 수와 연관된 세기값에서의 카메라 응답 함수의 역함수에 대한 포화 픽셀을 나타내는 세기값에서의 카메라 응답 함수의 역함수의 비와 곱해진다. 마지막으로, 캡처된 그 다음의 긴 노출 프레임에 대한 노출은 캡처될 그 다음의 짧은 노출 프레임에 대해 계산된 노출을 소정의 최대 허용 노출비와 곱함으로써 설정된다.
그렇지만, 이전에 계산된 시험적인 노출값들의 비가 소정의 최대 허용 노출비보다 크거나 같지 않은 것으로 판명되는 경우, 그 대신에 먼저 고려 중인 짧은 노출 프레임의 노출 과다 픽셀 수가 노출 과다 픽셀 목표 수보다 많은지가 판정된다. 많은 경우, 캡처될 그 다음의 짧은 노출 프레임에 대한 노출은 고려 중인 짧은 노출 프레임에 대해 사용된 노출값을 넘는 감소를 나타내는 노출값으로 설정된다. 이것은 그 다음의 짧은 노출 프레임을 캡처하는 데 사용될 노출값을 생성하기 위해, 고려 중인 짧은 노출 프레임과 연관된 노출값이 감소되어야 하는 퍼센트를 지정하는, 범프 절차(bump procedure)를 이용함으로써 달성된다.
그 다음에, 고려 중인 긴 노출 프레임의 노출 부족 픽셀 수가 노출 부족 픽셀 목표 수보다 많은지 여부가 판정된다. 많은 경우, 캡처될 그 다음의 긴 노출 프레임에 대한 노출은 고려 중인 긴 노출 프레임에 대해 사용되는 노출값을 넘는 증가를 나타내는 노출값으로 설정된다. 이것은 그 다음의 긴 노출 프레임을 캡처하는 데 사용될 노출값을 생성하기 위해, 이 때는 고려 중인 긴 노출 프레임과 연관된 노출값이 증가되어야 하는 퍼센트를 지정하는, 범프 절차를 이용함으로써 달성된다.
이들 마지막으로 설정된 노출값은 이어서 이들 노출값의 비가 소정의 최대 허용 노출비보다 크거나 같은 것으로 판정되지 않는 한, 비디오의 그 다음의 짧은 노출 프레임 및 긴 노출 프레임을 캡처하는 데 사용된다. 크거나 같은 것으로 판정되는 경우, 캡처될 그 다음의 긴 노출 프레임에 대한 노출값 및 캡처될 그 다음의 짧은 노출 프레임에 대한 노출값은, 노출값의 비가 소정의 최대 허용 노출비를 초과하게 하지 않는 캡처될 프레임에 대한 정정된 노출값을 설정하기 위해, 고려 중인 짧은 노출 프레임과 연관된 노출 과다 픽셀 수를 고려 중인 긴 노출 프레임과 연관된 노출 부족 픽셀 수와 균형을 이루게 함으로써 재설정된다. 이것은 상기한 바와 같이 달성된다.
고려 중인 프레임과 선행 및 후속 이웃 프레임 둘다 간의 대응하는 픽셀을 식별하는 것에 관여된 HDR 비디오 생성 시스템 및 프로세스의 일부분은 다음과 같이 달성된다. 바로 앞의 이웃 프레임은 선행 프레임의 고려 중인 프레임에의 대략적인 레지스트레이션(registration)을 생성하기 위해 단방향으로 와핑된다(uni-directionally warped). 이와 유사하게, 바로 뒤의 이웃 프레임은 후속 프레임의 고려 중인 프레임에의 대략적인 레지스트레이션을 생성하기 위해 단방향으로 와핑된다. 게다가, 선행 프레임 및 후속 프레임 둘다는 이들 이웃 프레임의 고려 중인 프레임에의 대략적인 레지스트레이션을 나타내는 보간 프레임(interpolated frame)을 생성하기 위해 양방향으로 와핑된다(bi-directionally warped). 단방향 및 양방향으로의 와핑 둘다는 나중에 레지스트레이션 에러에 대한 허용오차를 증가시키기 위해 이용되는 레지스트레이션에서의 중복(redundancy)을 생성한다. 유의할 점은 상기한 와핑을 달성하기 위해 사용되는 방법이 이웃 프레임 둘다가 짧은 노출 프레임인지 긴 노출 프레임인지에 따라서는 물론, 어떤 경우에는 3개의 연속적인 프레임이 모두 다른 노출을 갖는지 여부에 따라서도 달라진다는 것이다.
바로 앞의 또는 바로 뒤의 이웃 프레임이 둘다 짧은 노출 프레임인 경우(이들의 노출이 일치하는지 여부에 상관없이), 그 중 어느 하나의 단방향 와핑은 먼저 이웃 프레임의 세기를, 고려 중인 긴 노출 프레임의 세기 범위와 거의 일치하도록 부스팅(boost)하는 단계를 포함한다. 와핑되는 이웃 프레임은 선행 프레임에 대해서는 표준의 전방 와핑(forward warping) 기술을 사용하고 후속 프레임에 대해서는 표준의 후방 와핑(backward warping) 기술을 사용하여 고려 중인 프레임에 레지스트레이션된다. 역으로, 선행 또는 후속 이웃 프레임이 둘다 긴 노출 프레임인 경우(다시 말하지만, 이들의 노출이 일치하는지 여부에 상관없이), 선행 프레임의 단방향 와핑은 먼저 고려 중인 짧은 노출 프레임의 세기를, 선행 프레임의 세기 범위와 거의 일치하도록 부스팅(boost)하는 단계, 및 이어서 선행 프레임을 표준의 전방 와핑 기술을 사용하여 고려 중인 프레임에 레지스트레이션하는 단계를 포함한다. 이에 반해, 후속 프레임의 단방향 와핑은 먼저 고려 중인 짧은 노출 프레임의 세기를, 후속 프레임의 세기 범위와 거의 일치하도록 부스팅(boost)하는 단계, 및 이어서 후속 프레임을 표준의 후방 와핑 기술을 사용하여 고려 중인 프레임에 레지스트레이션하는 단계를 포함한다.
고려 중인 프레임이 긴 노출 프레임이고 선행 및 후속 프레임이 거의 동일한 노출을 갖는 짧은 노출 프레임인 경우에 이웃 프레임의 양방향 와핑에 관하여, 이하의 절차가 이용된다. 먼저, 선행 프레임 및 후속 프레임에 대해 각각 양방향 흐름 필드(bi-directional flow field)가 계산된다. 이어서, 선행 프레임은 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑되어 전방 와핑된 프레임을 생성하고, 후속 프레임은 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑되어 후방 와핑된 프레임을 생성한다. 전방 와핑된 프레임 및 후방 와핑된 프레임은 합성되어 보간 프레임을 생성한다. 그 다음에, 보간 프레임의 세기는 현재 고려 중인 긴 노출 프레임의 세기 범위와 거의 일치하도록 부스팅된다. 이어서, 세기 부스팅된 보간 프레임을 고려 중인 긴 노출 프레임으로 가장 잘 매핑하는 정교화 흐름 필드(refining flow field)가 설정된다. 정교화된 전방 흐름 필드(refined forward flow field)는 전방 흐름 필드를 정교화 흐름 필드와 연결(concatenate)함으로써 계산되고, 정교화된 후방 흐름 필드(refined backward flow field)는 후방 흐름 필드를 정교화 흐름 필드와 연결함으로써 계산된다. 이어서, 정교화된 전방 흐름 필드 및 정교화된 후방 흐름 필드는 최초의 선행 및 후속 프레임에 각각 적용되어, 각각 정교화된 전방 와핑된 프레임(refined forward warped frame) 및 정교화된 후방 와핑된 프레임(refined backward warped frame)을 생성한다.
고려 중인 프레임이 긴 노출 프레임이고 선행 및 후속 프레임이 실질적으로 서로 다른 노출을 갖는 짧은 노출 프레임인 경우에 이웃 프레임을 양방향 와핑하는 경우, 절차는 선행 프레임과 연관된 노출이 후속 프레임과 연관된 노출보다 짧은지 긴지를 판정하는 것으로 시작한다. 선행 프레임과 연관된 노출이 더 짧은 것으로 판정될 때마다, 선행 프레임의 세기는 후속 프레임의 세기 범위와 거의 일치하도록 부스팅된다. 선행 프레임과 연관된 노출이 후속 프레임과 연관된 노출보다 더 긴 것으로 판정될 때마다, 후속 프레임의 세기는 선행 프레임의 세기 범위와 거의 일치하도록 부스팅된다. 이어서, 양방향 흐름 필드가 선행 프레임 및 후속 프레임에 대해 각각 계산된다. 선행 프레임은 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑되어 전방 와핑된 프레임을 생성하고, 후속 프레임은 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑되어 후방 와핑된 프레임을 생성한다. 유의할 점은 경우에 따라서는 와핑되는 것이 세기 부스팅된(intensity-boosted) 선행 또는 후속 프레임이라는 것이다. 전방 와핑된 프레임 및 후방 와핑된 프레임은 합성되어 보간 프레임을 생성한다. 그 다음에, 보간 프레임의 세기는 현재 고려 중인 긴 노출 프레임의 세기 범위와 거의 일치하도록 부스팅된다. 이어서, 세기 부스팅된 보간 프레임을 고려 중인 긴 노출 프레임에 가장 잘 매핑하는 정교화 흐름 필드가 설정된다. 정교화된 전방 흐름 필드는 전방 흐름 필드를 정교화 흐름 필드와 연결함으로써 계산되고, 정교화된 후방 흐름 필드는 후방 흐름 필드를 정교화 흐름 필드와 연결함으로써 계산된다. 이어서, 정교화된 전방 흐름 필드 및 정교화된 후방 흐름 필드는 각각 최초의 선행 및 후속 프레임에 적용되어 각각 정교화된 전방 와핑된 프레임 및 정교화된 후방 와핑된 프레임을 생성한다.
고려 중인 프레임이 짧은 노출 프레임이고 선행 및 후속 프레임이 거의 동일한 노출을 갖는 긴 노출 프레임인 경우의 이웃 프레임의 양방향 와핑은 다음과 같이 달성된다. 먼저, 선행 및 후속 프레임에 대해 양방향 흐름 필드가 계산된다. 이어서, 선행 프레임은 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑되어 전방 와핑된 프레임을 생성하고, 후속 프레임은 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑되어 후방 와핑된 프레임을 생성한다. 전방 와핑된 프레임 및 후방 와핑된 프레임은 합성되어 보간 프레임을 생성한다. 그 다음에, 고려 중인 프레임의 세기가 선행 및 후속 프레임의 평균 세기 범위와 거의 일치하도록 부스팅된다. 이어서, 보간 프레임을 고려 중인 세기 부스팅된 프레임에 가장 잘 매핑하는 정교화 흐름 필드가 설정된다. 정교화된 전방 흐름 필드는 전방 흐름 필드를 정교화 흐름 필드와 연결함으로써 계산되고, 정교화된 후방 흐름 필드는 후방 흐름 필드를 정교화 흐름 필드와 연결함으로써 계산된다. 정교화된 전방 흐름 필드 및 정교화된 후방 흐름 필드는 이어서 최초의 선행 및 후속 프레임에 각각 적용되어, 각각 정교화된 전방 와핑된 프레임 및 정교화된 후방 와핑된 프레임을 생성한다.
마지막으로, 고려 중인 프레임이 짧은 노출 프레임이고 선행 및 후속 프레임이 실질적으로 서로 다른 노출을 갖는 긴 노출 프레임인 경우의 이웃 프레임을 양방향 와핑하는 경우에, 절차는 선행 프레임과 연관된 노출이 후속 프레임과 연관된 노출보다 짧은지 긴지를 판정하는 것으로 시작한다. 선행 프레임과 연관된 노출이 더 짧은 것으로 판정될 때마다, 선행 프레임의 세기는 후속 프레임의 세기 범위와 거의 일치하도록 부스팅된다. 선행 프레임과 연관된 노출이 후속 프레임과 연관된 노출보다 더 긴 것으로 판정될 때마다, 후속 프레임의 세기는 선행 프레임의 세기 범위와 거의 일치하도록 부스팅된다. 이어서, 양방향 흐름 필드가 선행 프레임 및 후속 프레임에 대해 각각 계산된다. 선행 프레임은 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑되어 전방 와핑된 프레임을 생성하고, 후속 프레임은 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑되어 후방 와핑된 프레임을 생성한다. 전방 와핑된 프레임 및 후방 와핑된 프레임은 합성되어 보간 프레임을 생성한다. 그 다음에, 고려 중인 프레임의 세기는 선행 및 후속 프레임의 평균 세기 범위와 거의 일치하도록 부스팅된다. 이어서, 보간 프레임을 고려 중인 세기 부스팅된 프레임에 가장 잘 매핑하는 정교화 흐름 필드가 설정된다. 정교화된 전방 흐름 필드는 전방 흐름 필드를 정교화 흐름 필드와 연결함으로써 계산되고, 정교화된 후방 흐름 필드는 후방 흐름 필드를 정교화 흐름 필드와 연결함으로써 계산된다. 이어서, 정교화된 전방 흐름 필드 및 정교화된 후방 흐름 필드는 각각 최초의 선행 및 후속 프레임에 적용되어 각각 정교화된 전방 와핑된 프레임 및 정교화된 후방 와핑된 프레임을 생성한다.
상기한 양방향 흐름 필드는 고려 중인 프레임이 긴 노출 프레임이고 이웃하는 선행 및 후속 프레임이 짧은 노출 프레임인 경우에, 각각의 이웃 프레임에 대해 다음과 같이 계산된다. 먼저, 선행 및 후속 프레임은 한쪽을 다른쪽에 매핑하는 어파인 변환(affine transform)을 추정함으로써 전역적으로 레지스트레이션된다. 이어서, 조밀한 움직임 필드(dense motion field)가 계산된다. 이 움직임 필드는 전역적 변환(global transform)에 대한 지역적 정정(local correction)을 나타내고 구배 기반 광학 흐름(gradient based optical flow)을 사용하여 계산된다. 보다 상세하게는, Lucas 및 Kanade 기술[4]의 변형은, 선행 및 후속 프레임 둘다가 고려 중인 프레임의 시간 인덱스(time index)에 대응하는 시각 k쪽으로 와핑되고 피라미드의 각 레벨에서의 2개의 와핑된 이미지의 각 픽셀 간의 잔류 흐름 벡터(residual flow vector)가 추정되는 라플라스 피라미드 프레임워크(Laplacian pyramid framework)에서 사용된다. 피라미드의 각 레벨에서의 각 픽셀에 대한 잔류 흐름 벡터는 조밀한 움직임 필드의 지역 성분(local component)을 설정하기 위해 누적된다. 조밀한 움직임 필드의 지역 성분이 계산되면, 양방향 흐름 필드에서의 각 픽셀 위치에 대해 합성 벡터가 설정된다. 이 합성 벡터는 선행 프레임에 대한 흐름 필드의 경우 선행 프레임으로부터 전방 와핑된 프레임으로 와핑하거나 후속 프레임에 대한 흐름 필드의 경우 후속 프레임으로부터 후방 와핑된 프레임으로 와핑하기 위해 리스케일링된 어파인 변환으로부터 도출된 어파인 성분과, 어파인 성분에 대한 지역적 정정을 형성하는 조밀한 움직임 필드로부터 얻은 지역 성분의 합이다. 이어서, 바이큐빅 와핑(bicubic warping) 기술이 경우에 따라서는 상기한 전방 또는 후방 와핑된 프레임을 형성하기 위해 적절한 합성 벡터를 따라 각 픽셀을 전사(transfer)하는 데 사용된다.
합성된 보간 프레임을 생성하기 위해 전방 와핑된 프레임과 후방 와핑된 프레임을 합성하는 상기한 동작은 합성된 보간 프레임의 픽셀 위치에 대한 그 전방 및 후방 와핑된 프레임 둘다로부터의 픽셀값이 이용가능한 경우, 그 둘다로부터의 픽셀값을 평균함으로써 달성될 수 있다. 보간 프레임의 픽셀 위치에 대한 전방 및 후방 와핑된 프레임으로부터 하나의 픽셀값만이 이용가능한 경우에는, 이용가능한 픽셀값이 그 픽셀 위치에서의 합성된 보간 프레임에 대한 픽셀값을 설정하는 데 사용된다. 보간 프레임의 픽셀 위치에 대한 전방 및 후방 와핑된 프레임으로부터 이용가능한 픽셀값이 없는 경우, 합성된 보간 프레임에 대한 픽셀값은 그 픽셀 위치에서 영 움직임 벡터(zero motion vector)를 사용하여 획득된 2개의 픽셀값을 평균함으로써 설정된다.
정교화 흐름 필드를 계산하는 상기한 동작은 다음과 같이 달성된다. 먼저, 고려 중인 프레임과 세기 부스팅된 보간 프레임 간의 전역적 호모그래피(global homography)가 계산된다. 이어서, 고려 중인 프레임은 중첩하는 사분면(overlapping quadrant)으로 분할된다. 이 중첩은 양호하게는 약 5 내지 20 퍼센트이다. 이들 사분면 각각에 대해, 고려 중인 사분면 내의 픽셀들 간의 세기 변동이 소정의 변동 임계값을 초과하는지 여부가 판정된다. 초과하는 경우, 고려 중인 사분면의 상대 영역(counterpart region)이 전역적 호모그래피를 사용하여 보간 프레임 내에서 식별된다. 이어서, 고려 중인 사분면과 보간 프레임 내의 식별된 상대 영역 간의 지역적 호모그래피가 계산된다. 이어서, 고려 중인 사분면에 대해 지역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러가 전역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러보다 작은지 여부가 판정된다. 지역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러가 전역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러보다 작은 경우에, 지역적 호모그래피는 고려 중인 사분면에 할당된다. 그렇지 않은 경우, 전역적 호모그래피가 고려 중인 사분면에 할당된다. 고려 중인 사분면과 연관된 정교화 흐름 필드의 일부분은 지역적 호모그래피가 그 사분면에 할당된 경우, 이 지역적 호모그래피를 사용하여 설정된다. 세기 변동 테스트를 통과하지 못했기 때문에 지역적 호모그래피가 계산되지 않았거나 전역적 호모그래피가 사분면에 할당되지 않은 경우, 그 사분면과 연관된 정교화 흐름 필드의 일부분은 전역적 호모그래피를 사용하여 설정된다. 따라서, 이 절차는 계층적일 수 있다, 즉 각각의 지역적 호모그래피에 대해 재귀적으로 적용될 수 있으며, 그 지역적 호모그래피는 그 다음 상위 레벨에서 전역적 호모그래피로서 취급된다. 마지막으로, 페더링(feathering)(즉, 가중 평균) 기술이 그 결과 얻은 정교화 흐름 필드에 걸친 흐름 불연속을 최소화하기 위해 사분면의 중첩하는 영역들 내에 존재하는 흐름 성분에 적용될 수 있다.
사분면의 중첩하는 영역들에 존재하는 흐름 성분에 적용되는 페더링 기술은 원하는 어느 것이든 될 수 있다. 그렇지만, 검증된 HDR 비디오 생성 시스템 및 프로세스에서는, 페더링은 선형 가중 기술을 포함한다. 보다 상세하게는, 단지 2개의 사분면이 중첩하는 경우, 1차원 선형 가중이 각 픽셀 위치에 적용되어, 중첩하는 사분면 각각과 연관된 호모그래피로부터 도출된 그 위치에 대한 흐름 성분의 일부분이 중첩하는 영역의 개별적인 중첩하는 사분면과의 경계로부터의 그의 거리와 비례하도록 하였다. 픽셀 위치가 상기 경계 중 하나에 가까울수록, 그 경계에 인접한 사분면과 연관된 호모그래피로부터 도출된 흐름 성분의 일부분이 더 크다. 4개의 사분면 모두가 중첩하는 경우, 2차원 선형 가중이 각 픽셀 위치에 적용되며 결과는 동일하다. 즉, 중첩하는 사분면 각각과 연관된 호모그래피로부터 도출된 위치에 대한 흐름 성분의 일부분은 중첩하는 영역의 개별적인 중첩하는 사분면과의 경계로부터의 그의 거리에 비례한다.
상기한 양방향 흐름 필드는 고려 중인 프레임이 짧은 노출 프레임이고 이웃하는 선행 및 후속 프레임이 긴 노출 프레임인 경우 각각의 이웃 프레임에 대해 동일한 방식으로 계산된다. 정교화 흐름 필드도 역시 고려 중인 프레임의 세기 부스팅된 버전과 이 후자의 경우의 합성된 보간 프레임 간의 전역적 호모그래피가 계산되는 것을 제외하고는, 유사한 방식으로 계산된다. 게다가, 중첩하는 사분면으로 분할되는 것은 고려 중인 프레임의 세기 부스팅된 버전이다.
전술한 바와 같이, HDR 비디오 생성 시스템 및 프로세스의 일부분은 신뢰 픽셀을 나타내는 대응하는 픽셀 세트 각각에서의 적어도 하나의 픽셀을 식별하는 단계와 HDR 비디오의 프레임을 나타내는 방사 휘도 맵을 형성하기 위해 그 픽셀 세트에 대한 방사 휘도 값을 계산하는 데 하나 이상의 식별된 신뢰 픽셀과 연관된 픽셀 컬러 정보를 이용하는 단계를 수반한다. 이것은 다음과 같이 달성될 수 있다. 먼저, 고려 중인 프레임, 단방향 와핑된 선행 프레임, 단방향 와핑된 후속 프레임, 양방향 와핑된 선행 프레임 및 양방향 와핑된 후속 프레임 각각이 별도의 방사 휘도 이미지로 변환된다. 세기 부스팅된 프레임이 아닌 최초의 프레임이 와핑되고 방사 휘도 계산으로부터 사용되는 것이라는 것에 유의한다. 세기 부스팅된 프레임은 흐름 필드만을 계산하는 데 사용된다.
최종 방사 휘도 맵은 모든 방사 휘도 이미지를 사용하여 계산된다. 최종 방사 휘도 맵에서 주어진 픽셀 위치에서의 각각의 방사 휘도 값은, 고려 중인 프레임 내의 그 픽셀 위치에서의 픽셀의 세기에 기초하여 어느 값이 신뢰할만한 것으로 간주되는지에 따라, 고려 중인 프레임과 연관된 방사 휘도 이미지로부터 얻거나 상기한 변환된 방사 휘도 이미지 내의 동일한 픽셀 위치로부터 얻은 2개 이상의 방사 휘도 값의 가중 합성(weighted combination)이다. 보다 상세하게는, 고려 중인 프레임이 긴 노출 프레임이고 선행 및 후속 프레임이 짧은 노출 프레임인 경우, 방사 휘도 맵은 다음과 같이 생성된다. 상기한 프레임이 방사 휘도 이미지로 변환되었으면, 소정의 최대 세기 임계값을 초과하는 세기값을 갖는 고려 중인 프레임 내의 각 픽셀이 식별되고, 양방향 와핑된 선행 프레임 및 양방향 와핑된 후속 프레임 내의 동일한 위치와 연관된 방사 휘도값의 평균이 방사 휘도 맵 내의 대응하는 픽셀 위치에 대한 방사 휘도값으로서 할당된다. 게다가, 소정의 최대 임계값보다 작은 세기값을 갖는 고려 중인 프레임 내의 각 픽셀이 식별되고, 이들 픽셀 위치 각각에 대해, 단방향 와핑된 선행 프레임 및 단방향 와핑된 후속 프레임 내의 대응하는 위치에 할당된 방사 휘도값이 고려 중인 프레임 내의 동일한 위치에 할당된 방사 휘도값의 최대 허용가능 노이즈 분산을 벗어나는지가 판정된다. 벗어나지 않는 경우, 3개의 방사 휘도값 모두의 가중 평균이 계산되어 방사 휘도 맵에서의 그 픽셀 위치에 대한 방사 휘도값으로서 할당된다. 그렇지만, 단방향 와핑된 선행 프레임 또는 단방향 와핑된 후속 프레임 내의 픽셀 위치에 할당된 방사 휘도값 중 하나가 최대 허용가능 노이즈 분산을 벗어나지만 다른 하나는 그렇지 않은 것으로 판명된 경우, 그 변동을 벗어나지 않는 방사 휘도값을 갖는 단방향 와핑된 프레임 및 고려 중인 프레임 내의 픽셀 위치에 할당된 방사 휘도값의 가중 평균이 계산된다. 이어서, 이 가중 평균은 방사 휘도 맵 내의 그 픽셀 위치에 대한 방사 휘도값으로서 할당된다. 마지막으로, 단방향 와핑된 선행 프레임 및 단방향 와핑된 후속 프레임 내의 픽셀 위치에 할당된 방사 휘도값이 둘다 그 변동을 벗어나는 것으로 판명된 경우, 고려 중인 프레임 내의 픽셀 위치에 할당된 방사 휘도값이 방사 휘도맵 내의 그 픽셀 위치에 대한 방사 휘도값으로서 할당된다.
고려 중인 프레임이 짧은 노출 프레임이고 선행 및 후속 프레임이 긴 노출 프레임인 경우, 방사 휘도맵은 다음과 같이 생성된다. 상기한 프레임들이 방사 휘도 이미지로 변환되었으면, 소정의 최소 세기 임계값을 초과하는 세기값을 갖는 고려 중인 프레임 내의 각 픽셀이 식별된다. 이들 픽셀 위치 각각에 대해, 단방향 와핑된 선행 프레임 및 단방향 와핑된 후속 프레임 내의 대응하는 위치에 할당된 방사 휘도값이 고려 중인 프레임 내의 동일 위치에 할당된 방사 휘도값의 최대 허용가능 노이즈 분산을 벗어나는지가 판정된다. 벗어나지 않는 경우, 3개의 방사 휘도값 모두의 가중 평균이 계산되어, 방사 휘도 맵 내의 그 픽셀 위치에 대한 방사 휘도값으로서 할당된다. 그렇지만, 단방향 와핑된 선행 프레임 또는 단방향 와핑된 후속 프레임 내의 픽셀 위치에 할당된 방사 휘도값들 중 하나가 변동을 벗어나지 않지만 다른 하나가 그렇지 않은 것으로 판명된 경우, 변동을 벗어나지 않는 방사 휘도값을 갖는 단방향 와핑된 프레임 및 고려 중인 프레임 내의 픽셀 위치에 할당된 방사 휘도값들의 가중 평균이 계산된다. 이어서, 이 가중 평균은 방사 휘도 맵 내의 대응하는 픽셀 위치에 대한 방사 휘도값으로서 할당된다. 마지막으로, 단방향 와핑된 선행 프레임 및 단방향 와핑된 후속 프레임 내의 픽셀 위치에 할당된 방사 휘도값 둘다가 변동을 벗어나는 것으로 판명된 경우, 고려 중인 프레임 내의 픽셀 위치에 할당된 방사 휘도값은 방사 휘도 맵 내의 그 픽셀 위치에 대한 방사 휘도값으로서 할당된다. 끝으로, 소정의 최소 세기 임계값 이하의 세기값을 갖는 고려 중인 프레임 내의 각 픽셀이 식별되고, 방사 휘도 맵 내의 대응하는 픽셀 위치에 대해, 양방향 와핑된 선행 프레임 및 양방향 와핑된 후속 프레임 내의 동일 위치와 연관된 방사 휘도값의 평균이 방사 휘도값으로서 할당된다.
HDR 비디오 생성 시스템 및 프로세스는 또한 방사 휘도맵을 렌더링 및 디스플레이에 적합한 8 비트 표현의 HDR 프레임으로 변환하기 위해 방사 휘도 맵을 톤 매핑하는 단계를 포함할 수 있다. 일반적으로, 이것은 먼저 방사 휘도 맵을 CIE 공간으로 변환하고 루미넌스 이미지(luminance image)를 생성하기 위해 색도 좌표(chromaticity coordinate)를 복원하는 단계를 수반한다. 그 다음에, 루미넌스 이미지의 다이나믹 레인지가 압축되고 크로미넌스(chrominance)가 재삽입된다. 이어서, CIE 공간 이미지는 최종 8 비트 범위 RGB 이미지를 생성하기 위해 변환된다. 그렇지만, 이 절차를 프레임별로 적용하는 것이 충분하지 않은데, 그 이유는 이것이 매핑에서 시각적 시간적 불일치(visual temporal inconsistency)를 야기할 수 있기 때문이다. 이것을 보상하기 위해, 본 발명의 톤 매핑 절차는 시간에 따라 완만하게 변동하는 톤 매핑된 이미지를 생성하기 위해 이웃 프레임들로부터의 통계를 사용한다. 보다 상세하게는, 이 톤 매핑 절차는 다이나믹 레인지 압축이 고려 중인 프레임 및 적어도 하나의 이전 프레임 둘다로부터의 정보를 사용하여 평균 및 최대 루미넌스를 계산하는 단계를 포함한다는 점에서 정상을 벗어난다.
유의할 점은 상기한 계층적인 전역적 레지스트레이션 프로세스가 단지 HDR 비디오 프레임을 생성하는 것만이 아닌 응용을 갖는다는 것이다. 일반적으로, 이 절차는 장면의 임의의 한 이미지를 장면의 다른 이미지로 매핑하는 흐름 필드를 설정하는 데 이용될 수 있다. 이 절차는 단지 2개의 계층적 레벨로 한정될 때 기본적으로 상기한 것과 동일하다. 그렇지만, 3개 이상의 레벨이 지정되는 경우, 확장된 절차가 사용된다. 즉, 2개 이상의 레벨이 지정된 경우에 장면의 한 이미지를 장면의 다른 이미지로 매핑하는 흐름 필드를 설정하는 계층적인 전역적 레지스트레이션 프로세스는 다음과 같이 달성된다. 먼저, 이미지들 간에 전역적 호모그래피가 계산된다. 이어서, 이미지들 중 하나가 중첩하는 사분면으로 분할된다. 이들 사분면 각각에 대해, 고려 중인 사분면 내의 픽셀들 간의 세기 변동이 소정의 변동 임계값을 초과하는지가 판정된다. 초과하는 경우, 전역적 호모그래피를 사용하여 비분할된 이미지에서 고려 중인 사분면의 상대 영역이 식별된다. 그 다음에, 고려 중인 사분면과 비분할된 이미지 내의 식별된 상대 영역 간에 지역적 호모그래피가 계산된다. 이어서, 고려 중인 사분면에 대해 지역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러가 전역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러보다 작은지가 판정된다. 지역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러가 전역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러보다 작은 경우, 지역적 호모그래피가 고려 중인 사분면에 할당된다. 그렇지 않은 경우, 전역적 호모그래피가 고려 중인 사분면에 할당된다.
이어서, 2를 넘는 각각의 소정의 계층적 레벨에 대해, 세기 변동 테스트를 통과한 이전의 레벨과 연관된 사분면 각각은 현재의 계층적 레벨의 사분면을 나타내는 중첩하는 사분면으로 분할된다. 현재 레벨에서의 각각의 사분면에 대해, 고려 중인 사분면 내의 픽셀들 간의 세기 변동이 소정의 변동 임계값을 초과하는지가 판정된다. 초과하는 경우, 고려 중인 사분면의 상대 영역이 이전의 레벨에서의 사분면-이로부터 현재 레벨에서의 고려 중인 사분면이 분할되었음-에 할당된 호모그래피를 사용하여 비분할된 이미지에서 식별된다. 이어서, 고려 중인 사분면과 비분할된 이미지에서의 식별된 상대 영역 간에 지역적 호모그래피가 계산된다. 이어서, 고려 중인 사분면과 비분할된 이미지에서의 식별된 상대 영역 간에 계산된 지역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러가 이전의 레벨에서의 사분면-이로부터 현재 레벨에서의 고려 중인 사분면이 분할되었음-에 할당된 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러보다 작은지가 판정된다. 고려 중인 사분면과 비분할된 이미지에서의 식별된 상대 영역 간에 계산된 지역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러가 더 작은 것으로 판정되는 경우, 지역적 호모그래피를 고려 중인 사분면에 할당한다. 그렇지 않은 경우, 이전의 레벨에서의 사분면-이로부터 현재 레벨에서의 고려 중인 사분면이 분할되었음-에 할당된 호모그래피가 고려 중인 사분면에 할당된다.
그 자체가 사분면으로 더 이상 분할되지 않는 각각의 계층적 레벨에서의 각각의 사분면에 대해, 고려 중인 사분면과 연관된 흐름 필드의 일부분은 그 사분면에 대해 계산되고 그에 할당된 호모그래피를 사용하여 계산된다. 그렇지 않은 경우, 고려 중인 사분면과 연관된 흐름 필드의 일부분은 이전의 레벨에서의 사분면-이로부터 현재 레벨에서의 고려 중인 사분면이 분할되었음-에 할당된 호모그래피를 사용하여 계산된다. 마지막으로, 페더링 기술이 그 결과 얻어지는 흐름 필드에 걸친 흐름 불연속을 최소화하기 위해 사분면의 중첩하는 영역들 내에 존재하는 흐름 성분에 적용될 수 있다.
상기한 이점들 이외에, 본 발명의 다른 이점은 첨부된 도면과 관련하여 기술되어 있는 이하의 상세한 설명으로부터 명백하게 될 것이다.
도 1은 본 발명을 실시하기 위한 예시적인 시스템을 구성하는 범용 컴퓨팅 장치를 나타낸 도면.
도 2는 HDR 비디오를 생성하는 전체적인 프로세스를 나타낸 플로우차트.
도 3은 도 2의 프로세스의 비디오 이미지 캡처 부분에 따라 캡처된 운전 비디오의 한쌍의 연속적인 프레임으로서 첫번째 프레임이 긴 노출 프레임이고 두번째 프레임이 짧은 노출 프레임인 것을 나타낸 도면.
도 4는 방사 휘도 공간에서의 도 3에 도시된 2개의 이미지의 합성 세기 히스토그램을 나타낸 것으로서 플롯의 좌측은 긴 노출 프레임에 대응하고 플롯의 우측은 짧은 노출 프레임에 대응하는 것을 나타낸 도면.
도 5a 및 도 5b는 도 2의 프로세스의 비디오 이미지 시퀀스 캡처 부분의 일 실시예를 나타낸 플로우차트.
도 6은 긴 노출 프레임이 고려되고 있고 또 거의 동일한 노출을 갖는 인접하는 선행 및 후속의 짧은 노출 프레임이 여러가지 방식으로 그에 레지스트레이션되어 있는 경우, 도 2의 프로세스의 HDR 스티칭(stitching) 부분의 일 실시예를 나타낸 플로우차트.
도 7은 도 6의 HDR 스티칭 프로세스의 양방향 와핑 부분을 나타낸 블록도.
도 8은 긴 노출 프레임이 고려되고 또 인접하는 선행 및 후속의 짧은 노출 프레임이 실질적으로 서로 다른 노출을 갖는 경우, 도 2의 HDR 스티칭 프로세스의 양방향 와핑 부분을 나타낸 블록도.
도 9a 및 도 9b는 긴 노출 프레임이 고려되고 있고 또 실질적으로 서로 다른 노출을 갖는 인접하는 선행 및 후속의 짧은 노출 프레임이 여러가지 방식으로 그에 레지스트레이션되어 있는 경우, 도 2의 프로세스의 HDR 스티칭 부분의 일 실시예를 나타낸 플로우차트.
도 10은 짧은 노출 프레임이 인접하는 선행 및 후속의 긴 노출 프레임과 함께 고려되는 경우, 단방향 와핑을 수반하는 도 2의 프로세스의 HDR 스티칭 부분의 초기 단계의 일 실시예를 나타낸 플로우차트.
도 11은 짧은 노출 프레임이 고려되고 또 인접하는 선행 및 후속의 긴 노출 프레임이 거의 동일한 노출을 갖는 경우, 도 2의 HDR 스티칭 프로세스의 양방향 와핑 부분을 나타낸 블록도.
도 12는 짧은 노출 프레임이 고려되고 있고 또 거의 동일한 노출을 갖는 인접하는 선행 및 후속의 긴 노출 프레임이 그에 레지스트레이션되어 있는 경우, 도 2의 프로세스의 HDR 스티칭의 양방향 와핑 부분의 일 실시예를 나타낸 플로우차트.
도 13은 짧은 노출 프레임이 고려되고 또 인접하는 선행 및 후속의 긴 노출 프레임이 실질적으로 서로 다른 노출을 갖는 경우, 도 2의 HDR 스티칭 프로세스의 양방향 와핑 부분을 나타낸 블록도.
도 14a 및 도 14b는 짧은 노출 프레임이 고려되고 있고 또 실질적으로 서로 다른 노출을 갖는 인접하는 선행 및 후속의 긴 노출 프레임이 그에 레지스트레이션 되어 있는 경우, 도 2의 프로세스의 HDR 스티칭의 양방향 와핑 부분의 일 실시예를 나타낸 플로우차트.
도 15는 단지 2개의 레벨 및 하나의 사분면이 고려되는 경우, 도 8, 도 9, 도 12, 도 14a 및 도 14b의 양방향 와핑 절차에서 사용되는 계층적 호모그래피 프로세스를 나타낸 도면.
도 16은 계층적 호모그래피 프로세스의 페더링 절차의 지오메트리를 나타낸 도면.
도 17a 및 도 17b는 2개의 계층적 레벨의 예를 사용하는 계층적 호모그래피 프로세스의 일 실시예를 나타낸 플로우차트.
도 18a 및 도 18b는 도 2의 절차의 방사 휘도 맵 계산과 연관된 그래프로서, 도 18a의 그래프는 전역적 가중치 대 세기를 나타낸 것이고, 도 18b의 그래프는 매칭된 픽셀의 방사 휘도 일관성에 기초한 변조 함수를 나타낸 도면.
도 19a 내지 도 19c는 고려 중인 프레임이 긴 노출 프레임이고 인접 프레임이 짧은 노출 프레임인 경우의 도 2의 방사 휘도 맵 계산 절차의 일 실시예를 나타낸 플로우차트.
도 20a 내지 도 20c는 고려 중인 프레임이 짧은 노출 프레임이고 인접 프레임이 긴 노출 프레임인 경우의 도 2의 방사 휘도 맵 계산 절차의 일 실시예를 나타낸 플로우차트.
도 21a 내지 도 21d는 방사 휘도 맵 계산 절차 논리적 규범의 예를 나타낸 일련의 이미지로서, 짧은 노출 입력 프레임, 결과로서 얻은 합성된 양방향 와핑된 이미지, 결과로서 얻은 단방향 와핑된 좌 및 우 프레임이 각각 도시되어 있고 최종 방사 휘도 맵에 기여하는 것으로 선택된 픽셀만이 보이는 것인 도면.
도 22는 수산 시장 장면으로부터의 대표적인 정지 영상을 나타낸 일련의 이미지로서, 각 장면에서 좌상 사분면은 짧은 노출 프레임이고, 우상 사분면은 긴 노출 프레임이며, 좌하 사분면은 짧은 노출과 긴 노출의 기하 평균과 같은 노출에 대해 프레임이 어떻게 보일 것인지를 나타내고, 우하 사분면의 영상은 본 발명에 따른 도 2의 프로세스를 사용하여 생성된 것인 도면.
도 23은 항구 장면으로부터의 대표적인 정지 영상을 나타낸 일련의 이미지로서, 각 장면에서 좌상 사분면은 짧은 노출 프레임이고, 우상 사분면은 긴 노출 프레임이며, 좌하 사분면은 짧은 노출과 긴 노출의 기하 평균과 같은 노출에 대해 프레임이 어떻게 보일 것인지를 나타내고, 우하 사분면의 영상은 본 발명에 따른 도 2의 프로세스를 사용하여 생성된 것인 도면.
도 24는 운전 장면의 일련의 이미지로서, 상부열은 짧은 노출과 긴 노출이 교대로 있는 입력 비디오의 일부를 나타내고, 하부열은 본 발명에 따라 입력 이미지로부터 생성된 HDR 비디오의 일부를 나타낸 것인 도면.
본 발명의 특정의 특징, 측면, 및 이점은 이하의 설명, 첨부된 청구항 및 첨부 도면을 참조하면 더 잘 이해될 것이다.
본 발명의 양호한 실시예에 대한 이하의 설명에서, 본 명세서의 일부를 형성하고 본 발명이 실시될 수 있는 특정의 실시예를 예로서 도시하고 있는 첨부 도면 을 참조한다. 다른 실시예들이 이용될 수 있고 또 본 발명의 범위를 벗어나지 않고 구조적 변경이 행해질 수 있음을 잘 알 것이다.
1.0 HDR 비디오 생성 시스템 컴퓨팅 환경
본 발명의 양호한 실시예들에 대한 설명을 제공하기에 앞서, 본 발명이 실시될 수 있는 적당한 컴퓨팅 환경에 대해 간략하고 일반적으로 기술할 것이다. 도 1은 적당한 컴퓨팅 시스템 환경(100)의 예를 나타낸 것이다. 컴퓨팅 시스템 환경(100)은 적당한 컴퓨팅 환경의 일례에 불과하며, 본 발명의 사용 또는 기능에 어떤 제한을 암시하려는 의도가 아니다. 또한, 컴퓨팅 환경(100)은 예시적인 오퍼레이팅 환경(100)에 예시된 컴포넌트들 중 임의의 것 또는 이들의 임의의 조합에 관하여 어떤 의존관계 또는 요건을 갖는 것으로 해석되어서도 안된다.
본 발명은 많은 다른 범용 또는 전용의 컴퓨팅 시스템 환경 또는 구성에서 동작한다. 본 발명에서 사용하기에 적합할 수 있는 공지의 컴퓨팅 시스템, 환경 및/또는 구성의 예는 퍼스널 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩톱 장치, 멀티프로세서 시스템, 마이크로프로세서 기반 시스템, 셋톱 박스, 프로그램가능 가전 제품, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 상기 시스템 또는 장치 중 임의의 것을 포함하는 분산 컴퓨팅 환경, 및 기타 등등을 포함하지만, 이에 한정되는 것은 아니다.
본 발명은 컴퓨터에 의해 실행되는 프로그램 모듈 등의 컴퓨터 실행가능 명령어의 일반적인 관점에서 기술될 수 있다. 일반적으로, 프로그램 모듈은 특정의 작업을 수행하거나 특정의 추상 데이터 유형을 구현하는 루틴, 프로그램, 객체, 컴 포넌트, 데이터 구조, 기타 등등을 포함한다. 본 발명은 또한 작업들이 통신 네트워크를 통해 링크되어 있는 원격 프로세싱 장치에 의해 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 메모리 저장 장치를 비롯한 로컬 및 원격 컴퓨터 저장 매체 둘다에 위치할 수 있다.
도 1을 참조하면, 본 발명을 구현하는 예시적인 시스템은 컴퓨터(110) 형태의 범용 컴퓨팅 장치를 포함한다. 컴퓨터(110)의 컴포넌트는 프로세싱 유닛(120), 시스템 메모리(130), 및 시스템 메모리를 포함한 여러가지 시스템 컴포넌트를 프로세싱 유닛(120)에 연결시키는 시스템 버스(121)를 포함할 수 있지만, 이에 한정되는 것은 아니다. 시스템 버스(121)는 메모리 버스 또는 메모리 콘트롤러, 주변 버스, 및 다양한 버스 아키텍처 중 임의의 것을 사용하는 로컬 버스를 비롯한 몇가지 유형의 버스 구조 중 임의의 것일 수 있다. 제한이 아닌 예로서, 이러한 아키텍처로는 ISA(Industry Standard Architecture) 버스, MCA(Micro Channel Architecture) 버스, EISA(Enhanced ISA) 버스, VESA(Video Electronics Standards Association) 로컬 버스, 및 메자닌 버스라고도 하는 PCI(Peripheral Component Interconnect) 버스가 있다.
컴퓨터(110)는 일반적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는 컴퓨터(110)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있으며, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체 둘다를 포함한다. 제한이 아닌 예로서, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터 등의 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체 둘다를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래쉬 메모리 또는 기타 메모리 기술, CD-ROM, DVD 또는 기타 광학 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 원하는 정보를 저장하는 데 사용될 수 있고 또 컴퓨터(110)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이에 한정되는 것은 아니다. 통신 매체는 일반적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터를, 반송파 또는 기타 전송 메카니즘 등의 변조된 데이터 신호에 구현하며, 임의의 정보 전달 매체를 포함한다. 용어 "변조된 데이터 신호"는 그의 특성 중 하나 이상이 정보를 그 신호에 인코딩하는 방식으로 설정되거나 변경된 신호를 의미한다. 제한이 아닌 예로서, 통신 매체는 유선 네트워크나 직접 유선 연결 등의 유선 매체 또는 음향, RF, 적외선 및 기타 무선 매체 등의 무선 매체를 포함한다. 상기한 것 중 임의의 것의 조합도 역시 컴퓨터 판독가능 매체의 범위 내에 포함된다.
시스템 메모리(130)는 판독 전용 메모리(ROM)(131) 및 랜덤 액세스 메모리(RAM)(132) 등의 휘발성 및/또는 비휘발성 메모리 형태의 컴퓨터 저장 매체를 포함한다. 시동 중과 같은 때에 컴퓨터(110) 내의 구성요소들 간의 정보 전송을 돕는 기본적인 루틴을 포함하는 기본 입/출력 시스템(133)(BIOS)은 일반적으로 ROM(131)에 저장되어 있다. RAM(132)은 일반적으로 프로세싱 유닛(120)에 의해 즉각 액세스가능하고 및/또는 현재 처리되고 있는 데이터 및/또는 프로그램 모듈을 포함한 다. 제한이 아닌 예로서, 도 1은 오퍼레이팅 시스템(134), 애플리케이션 프로그램(135), 기타 프로그램 모듈(136), 및 프로그램 데이터(137)를 예시하고 있다.
컴퓨터(110)는 또한 기타의 분리형/비분리형·휘발성/비휘발성 컴퓨터 저장 매체를 포함할 수 있다. 단지 예로서, 도 1은 비분리형·비휘발성 자기 매체로부터 판독하거나 그에 기록하는 하드 디스크 드라이브(141), 분리형·비휘발성 자기 디스크(152)로부터 판독하거나 그에 기록하는 자기 디스크 드라이브(151), 및 CD-ROM 또는 기타 광학 매체 등의 분리형·비휘발성 광학 디스크(156)로부터 판독하거나 그에 기록하는 광학 디스크 드라이브(155)를 예시하고 있다. 예시적인 오퍼레이팅 환경에서 사용될 수 있는 기타의 분리형/비분리형, 휘발성/비휘발성 컴퓨터 저장 매체는 자기 테이프 카세트, 플래쉬 메모리 카드, DVD, 디지털 비디오 테이프, 고체 상태 RAM, 고체 상태 ROM, 및 기타 등등을 포함하지만, 이에 한정되는 것은 아니다. 하드 디스크 드라이브(141)는 일반적으로 인터페이스(140) 등의 비분리형 메모리 인터페이스를 통해 시스템 버스(121)에 연결되어 있으며, 자기 디스크 드라이브(151) 및 광학 디스크 드라이브(155)는 일반적으로 인터페이스(150) 등의 분리형 메모리 인터페이스에 의해 시스템 버스(121)에 연결되어 있다.
이상에서 기술하고 도 1에 예시된 드라이브 및 그의 관련 컴퓨터 저장 매체는 컴퓨터(110)의 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 및 기타 데이터의 저장을 제공한다. 예를 들어, 도 1에서, 하드 디스크 드라이브(141)는 오퍼레이팅 시스템(144), 애플리케이션 프로그램(145), 기타 프로그램 모듈(146) 및 프로그램 데이터(147)를 저장하는 것으로서 예시되어 있다. 유의할 점은 이들 컴포넌트가 오퍼레이팅 시스템(134), 애플리케이션 프로그램(135), 기타 프로그램 모듈(136) 및 프로그램 데이터(137)과 동일한 것이거나 다른 것일 수 있다는 것이다. 오퍼레이팅 시스템(144), 애플리케이션 프로그램(145), 기타 프로그램 모듈(146) 및 프로그램 데이터(147)는 최소한 이들이 서로 다른 복사본임을 나타내기 위해 여기에서는 서로 다른 번호가 부여되어 있다. 사용자는 키보드(162), 마우스, 트랙볼 또는 터치 패드라고 통상 지칭되는 포인팅 디바이스(161) 등의 입력 장치를 통해 컴퓨터(110)에 명령 및 정보를 입력할 수 있다. 다른 입력 장치(도시 생략)는 마이크로폰, 조이스틱, 게임 패드, 위성 안테나, 스캐너, 또는 기타 등등을 포함할 수 있다. 이들 및 다른 입력 장치는 종종 시스템 버스(121)에 연결된 사용자 입력 인터페이스(160)를 통해 프로세싱 유닛(120)에 연결되어 있지만, 병렬 포트, 게임 포트 또는 USB(Universal Serial Bus) 등의 기타의 인터페이스 및 버스 구조에 의해 연결될 수 있다. 모니터(191) 또는 기타의 유형의 디스플레이 장치도 역시 비디오 인터페이스(190) 등의 인터페이스를 통해 시스템 버스(121)에 연결되어 있다. 모니터 이외에, 컴퓨터는 또한 출력 주변 인터페이스(195)를 통해 연결될 수 있는 스피커(197) 및 프린터(196) 등의 기타의 주변 출력 장치를 포함할 수 있다. 본 발명에 특히 중요한 것은, 이미지들(193)의 시퀀스를 캡처할 수 있는 카메라(163)(디지털/전자 정지 영상 또는 비디오 카메라, 또는 필름/사진 스캐너 등)도 역시 퍼스널 컴퓨터(110)에 대한 입력 장치로서 포함될 수 있다. 게다가, 단지 하나의 카메라가 나타내어져 있지만, 퍼스널 컴퓨터(110)에 대한 입력 장치로서 다수의 카메라가 포함될 수 있다. 하나 이상의 카메라로부터의 이미지들(193)은 적 절한 카메라 인터페이스(165)를 통해 컴퓨터(110)에 입력된다. 이 인터페이스(165)는 시스템 버스(121)에 연결되어 있고, 그에 따라 이미지들은 RAM(132) 또는 컴퓨터(110)와 연관된 다른 데이터 저장 장치 중 하나로 보내져 그에 저장될 수 있게 된다. 그렇지만, 유의할 점은 이미지 데이터가 카메라(163)를 사용할 필요없이 상기한 컴퓨터 판독가능 매체 중 임의의 것으로부터도 컴퓨터(110)에 입력될 수 있다는 것이다.
컴퓨터(110)는 원격 컴퓨터(180) 등의 하나 이상의 원격 컴퓨터로의 논리적 연결을 사용하여 네트워크화된 환경에서 동작할 수 있다. 도 1에는 단지 메모리 저장 장치(182)만이 예시되어 있지만, 원격 컴퓨터(180)는 퍼스널 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 장치 또는 기타의 통상적인 네트워크 노드일 수 있으며, 일반적으로 컴퓨터(110)에 대해 상기한 구성요소들 중 다수 또는 그 전부를 포함한다. 도 1에 도시된 논리적 연결은 근거리 통신망(LAN)(171) 및 원거리 통신망(WAN)(173)을 포함하지만, 기타의 네트워크도 포함할 수 있다. 이러한 네트워킹 환경은 사무실, 전사적 컴퓨터 네트워크, 인트라넷 및 인터넷에서 통상적인 것이다.
LAN 네트워킹 환경에서 사용될 때, 컴퓨터(110)는 네트워크 인터페이스 또는 어댑터(170)를 통해 LAN(171)에 연결된다. WAN 네트워킹 환경에서 사용될 때, 컴퓨터(110)는 일반적으로 인터넷 등의 WAN(173)을 통한 통신을 설정하는 모뎀(172) 또는 기타의 수단을 포함한다. 내장형 또는 외장형일 수 있는 모뎀(172)은 사용자 입력 인터페이스(160) 또는 기타의 적절한 메카니즘을 통해 시스템 버스(121)에 연 결될 수 있다. 네트워크화된 환경에서, 컴퓨터(110)와 관련하여 도시된 프로그램 모듈 또는 그의 일부분은 원격 메모리 저장 장치에 저장될 수 있다. 제한이 아닌 예로서, 도 1은 원격 애플리케이션 프로그램(185)을 원격 컴퓨터(180)에 존재하는 것으로 예시하고 있다. 도시된 네트워크 연결이 예시적인 것이고 또 컴퓨터들 간의 통신 링크를 설정하는 기타의 수단이 사용될 수 있음을 잘 알 것이다.
이제 예시적인 오퍼레이팅 환경에 대해 기술하였으므로, 이 설명 섹션의 나머지 부분은 본 발명을 구현하는 프로그램 모듈에 대한 설명에 할애할 것이다. 일반적으로, 본 발명에 따른 시스템 및 프로세스는 각 프레임의 노출을 변동시키면서 비디오 이미지 시퀀스로부터 하이 다이나믹 레인지(High Dynamic Range, HDR) 비디오를 생성하는 동작을 포함한다. 일반적으로, 이것은 도 2의 상위 레벨 흐름도에 나타낸 바와 같이 이하의 프로세스 동작을 통해 달성된다.
a) 비디오의 선행 프레임에서의 픽셀 밝기 분포(pixel brightness distribution)의 함수로서 짧은 노출과 긴 노출을 나타내는 프레임이 교대로 있도록 각 프레임의 노출을 변동시키면서 비디오 이미지 시퀀스를 캡처하는 단계(단계 200),
b) 소정의 수의 시작 프레임 후에 비디오의 각 프레임에 대해, 고려 중인 프레임과 선행 및 후속의 이웃 프레임 둘다 간의 대응하는 픽셀들을 식별하는 단계(단계 202),
c) 각각의 대응하는 픽셀 세트에 대해, 신뢰 픽셀을 나타내는 그 세트 내의 적어도 하나의 픽셀을 식별하고 이어서 각각의 세트 내의 신뢰 픽셀과 연관된 픽셀 컬러 정보를 이용하여 그 픽셀 세트에 대한 방사 휘도값을 계산하고, 그에 따라 HDR 비디오의 프레임을 나타내는 방사 휘도 맵을 형성하는 단계(단계 204), 및
d) 방사 휘도 맵을 렌더링 및 디스플레이에 적합한 8 비트 표현의 HDR 프레임으로 변환하기 위해 톤 매핑 절차를 수행하는 단계(단계 206).
2.0 실시간 노출 제어
일반적인 비디오 카메라의 자동 이득 제어(augo gain control, AGC)는 장면의 밝기를 측정하고 적절한 노출을 계산한다. 대부분의 장면은 카메라의 픽셀당 8비트 센서에 의해 캡처될 수 있는 것보다 더 큰 다이나믹 레인지를 갖는다. 이 때문에, 노출 설정에 상관없이, 어떤 픽셀은 포화되고 어떤 픽셀은 노출 부족이 된다. 더 큰 다이나믹 레인지를 캡처하기 위해, 본 발명의 HDR 비디오 시스템은 프레임별로 노출 설정을 변동시킨다. 일반적인 생각은 차례로 장면의 어두운 영역과 밝은 영역을 적절히 노출시키는 서로 다른 값 간에 순차로 설정을 하는 것이다. 이후에 기술될 사후 처리 단계는 이들 서로 다르게 노출된 프레임을 합성한다.
현재 다수의 정지 영상 카메라는 자동 브라켓팅(auto bracketing)이 가능하다. 장면을 자동 브라켓팅할 때, 카메라는 현재의 측광 모드(metering mode)를 통해 정확한 노출을 결정하고 이어서 부가적으로 짧은 노출 및 긴 노출에서 장면을 캡처한다. 본 발명의 HDR 비디오 시스템은 고정된 다수의 중간 노출로 브라켓팅하지 않고 장면에 보다 적절한 일련의 노출이 자동적으로 결정된다는 점에서 이 방법을 수정한 것이다.
예를 들어, 테스트된 실시예에서, 프로그램가능 제어 유닛을 갖는 종래의 디지털 비디오 카메라가 사용되었다. 이 카메라의 펌웨어는 4개의 셔터(CCD 축적 시간) 및 이득(ADC 이득) 레지스터의 뱅크로 업데이트되었다. 정상 동작 동안에, 카메라는 매 프레임 때마다 서로 다른 레지스터 세트를 사용하여 뱅크를 라운드 로빈한다. 게다가, 카메라는 매 프레임마다 현재 설정으로 표시(tag)를 하여 그 설정이 방사 휘도 맵 계산 동안에 사용될 수 있도록 한다. 이 캡처 단계의 테스트된 실시예에서, 카메라의 모든 현재 설정이 캡처되는 각 프레임에 대해 메타데이터로서 표시되었다. 실시간 AGC 알고리즘은 그 다음 그룹의 4개의 설정을 결정한다. 노출 설정은 2개의 서로 다른 값이 교대로 있다. 보다 상세하게는, 적절한 노출이 서브샘플링된 프레임에 대해 계산된 장면 통계로부터 자동적으로 결정된다. HDR 이미지를 생성할 시에 목표가 통상은 모든 곳에서 톤 디테일(tonal detail)을 제공하는 것이기 때문에, 프레임의 모든 부분이 똑같이 가중된다. 장면 변화를 반영하기 위해 2개의 노출이 연속하여 갱신된다. 카메라에 의해 캡처된 한쌍의 연속적인 프레임의 예가 도 3에 도시되어 있으며, 방사 휘도 공간에서의 대응하는 히스토그램이 도 4에 도시되어 있다. 도 4의 좌측 플롯은 도 3의 좌측에 도시된 긴 노출 프레임에 대응하는 반면, 도 4의 우측 플롯은 도 3의 우측에 도시된 짧은 노출 프레임에 대응한다. 도 3 및 도 4로부터 이 장면의 방사 휘도 범위를 포착하는 데 한번의 노출로는 충분하지 않음이 명백하다. 그렇지만, 유의할 점은 이들 2개의 플롯의 합성은 어느 한 노출이 포착할 수 있는 것보다 더 큰 방사 휘도 범위에 걸쳐 있다는 것이다. 이 관측이 유익하게도 본 시스템에서 사용되고, 지금부터 이에 대해 설명한다.
본 발명의 HDR 비디오 시스템은 짧은 노출과 긴 노출 간의 노출비가 최소로 되면서 그와 동시에 더 큰 범위의 장면 방사 휘도에 대처할 수 있도록 설계되어 있다. 이것은 양 프레임에서 매칭시키기에 유용한 픽셀의 수를 증가시킨다.
도 5a 및 도 5b를 참조하면, 후속 프레임들을 캡처하는 데 사용될 노출 설정을 계산하는 데 있어서의 첫번째 단계는 한쌍의 바로 앞의 이미 캡처된 프레임 각각에 대한 세기 히스토그램을 계산하는 것이다(단계 500). 시스템은 이들 히스토그램을 몇가지 프로그램가능 제약과 함께 사용하여 동일한 수의 프레임에 대한 후속 노출 설정을 계산한다. 이들 제약은 최대 노출비, 노출 과다(포화) 목표 픽셀 수, 및 노출 부족(흑색) 목표 픽셀 수이다. 본 발명의 HDR 비디오 생성 프로세스의 테스트된 실시예에서, 최대 노출비는 16으로 설정되었고, 노출 과다 목표 픽셀 수는 총 픽셀 수의 1 퍼센트로 설정되었으며, 노출 부족 목표 픽셀 수도 또한 총 픽셀 수의 1 퍼센트로 설정되었다. 그렇지만, 본 발명이 테스트된 실시예에서 사용된 값들로 한정된다는 것은 아니다. 예를 들어, 최대 노출비는 약 1 내지 약 32의 범위 내에서 설정될 수 있다. 이와 유사하게, 노출 과다 목표 픽셀 수는 약 1 내지 5 퍼센트의 범위 내에서 설정될 수 있으며, 이 때 목표 수는 고려 중인 프레임에 표시된 장면이 비교적 어두운 경우 더 높게 된다. 노출 부족 목표 픽셀 수도 역시 약 1 내지 5 퍼센트의 범위 내에서 설정될 수 있다. 이 후자의 경우, 목표 수는 고려 중인 프레임에 표시된 장면이 비교적 밝은 경우 더 높게 설정되어진다.
유의할 점은 캡처되어야 할 동수의 후속 프레임에 대한 노출 설정을 계산하 기 위해 분석되는 상기한 이전에 캡처된 프레임 쌍에서 몇개의 프레임이 프로세스를 초기화하기 위해 캡처되어야만 한다는 것이다(즉, 적어도 2개). 이들 초기 프레임은 카메라의 정상 노출 설정 기능(이는 "중간" 노출 설정을 선택함)을 사용하여 캡처될 수 있거나 소정의 일련의 노출값이 시스템을 부트스트랩할 수 있다.
자동 이득 프로세스에 대한 이하의 설명에서, 분석되는 소정의 수의 프레임은 2개인 것으로 가정된다. 이것은 일반적인 응용에 양호한 선택이다. 그렇지만, 캡처되고 있는 장면이 맑은 날에 밖을 바라보는 어두운 실내 장면 등의 아주 큰 밝기 범위를 나타내는 것임을 알고 있는 경우, 단지 2개의 노출을 사용하는 것은 적절하지 않을 수 있다. 연속적인 프레임들 간의 노출 갭(exposure gap)을 증가시키는 것은 다이나믹 레인지를 더 잘 포착하지만, 나중에 논의하게 될 이미지 레지스트레이션 절차를 더욱 불안정하게 만들고 또 중간 톤에서 이미지 노이즈의 증가를 가져오게 된다. 3개 이상의 노출을 사용하는 것은 다른 옵션이지만, 유사한 노출(이 경우 레지스트레이션이 성공할 가능성이 최고임)이 시간적으로 더 멀리 떨어져 있어 또다시 잠재적인 레지스트레이션 및 보간 문제를 가져오게 된다. 따라서, 아주 큰 밝기 범위가 예상되지 않는 한, 상기한 문제를 방지하는 데 2개의 노출을 분석하는 것이 선호된다.
다시 도 5a 및 도 5b를 참조하면, 프로세스는 계속하여 단계(502)에서 캡처된 마지막 2개의 프레임과 연관된 노출 설정이 같은지(예를 들어, 긴 노출 설정값/짧은 노출 설정값의 비가 1인지)를 판정한다. 노출 설정이 같은 경우, 짧은 노출 프레임에 대해, 그의 노출 과다 픽셀 수(예를 들어, 종종 포화 픽셀이라고 하는, 일반적인 8 비트 표현의 세기에서 세기값이 255인 픽셀의 수)가 상기한 노출 과다 목표 픽셀 수보다 작고 또 낮은 노출 프레임의 노출 부족 픽셀 수(예를 들어, 종종 흑색 픽셀이라고 하는, 일반적인 8 비트 표현의 세기에서 세기값이 약 16보다 작거나 같은 픽셀 수)가 상기한 노출 부족 목표 픽셀 수보다 작은지가 판정된다(단계 504). 작은 경우, 캡처될 그 다음의 짧은 노출 프레임 및 긴 노출 프레임 쌍에 대한 새로운 노출 설정이, 고려 중인 적절한 프레임과 연관된 히스토그램이 픽셀값 범위 내에서 중앙에 오도록 선택된다(단계 506). 이것은 수학식 1을 사용하여 달성된다.
Figure 112005061828497-PCT00001
여기서,
Figure 112005061828497-PCT00002
는 프레임을 캡처하는 데 사용되는 카메라의 응답 함수이고,
Figure 112005061828497-PCT00003
는 픽셀값의 범위의 중앙에서의 카메라의 응답을 나타내며(0-255 밝기 레벨의 8 비트 표현을 가정함),
Figure 112005061828497-PCT00004
는 밝기 레벨 "x"(이는 이 경우에 상기한 밝기 히스토그램이 현재 중앙에 있는 레벨에 대응함)에서의 카메라의 응답을 나타내고,
Figure 112005061828497-PCT00005
는 고려 중인 프레임과 연관된 노출 레벨이며,
Figure 112005061828497-PCT00006
은 새로운 노출 레벨이다. 정정된 노출 설정은 이어서 비디오의 그 다음 2개의 프레임을 캡처하는 데 적용된다(단계 508). 유의할 점은 임의의 적절한 기술이 사용될 수 있지만, 본 발명의 HDR 비디오 생성 시스템의 테스트된 실시예에서,
Figure 112005061828497-PCT00007
는 [6]의 기술을 사용하여 계산되었다.
그렇지만, 단계(502) 또는 단계(504)의 상기한 조건이 만족되지 않는 경우, 단계(510)에서 짧은 노출 설정을 갖는 프레임에 대해, 노출 과다 수가 그의 목표 수보다 훨씬 더 적은지(예를 들어, 노출 과다 목표 수가 약 1 퍼센트로 설정되어 있는 경우, 프레임 내의 총 픽셀 수의 약 0.25 퍼센트)가 판정된다. 그렇지 않은 경우, 짧은 노출 설정값(즉, 고려 중인 프레임 쌍의 짧은 노출 프레임에 대해 할당된 노출 시간)이 변경되지 않는다. 그렇지만, 노출 과다 수가 그의 목표 수보다 훨씬 더 적은 것으로 판명된 경우, 짧은 노출 설정값이 증가된다(단계 512). 이것은 수학식 2를 사용하여 새로운 짧은 노출 설정을 계산함으로써 달성된다.
Figure 112005061828497-PCT00008
여기서,
Figure 112005061828497-PCT00009
는 밝기 포화 레벨에서의 카메라의 응답을 나타내고(0-255 밝기 레벨의 8 비트 표현을 가정함),
Figure 112005061828497-PCT00010
은 밝기 레벨
Figure 112005061828497-PCT00011
(이는 가장 작은 값부터 시작하여 밝기 레벨 순으로 정렬할 때 처음 99 퍼센트의 픽셀 중에서 획득된 최고 레벨임)에서의 카메라의 응답을 나타내며,
Figure 112005061828497-PCT00012
는 짧은 노출값을 갖는 프레임과 연관된 노출 레벨이고,
Figure 112005061828497-PCT00013
은 새로운 짧은 노출 레벨이다.
Figure 112005061828497-PCT00014
값을 결정하는 한가지 쉬운 방법은 짧은 노출 프레임에 대해 누적 히스토그램을 계산하는 것이다.
짧은 노출 설정이 변경되었는지 여부와 상관없이, 그 다음에 단계(514)에서 긴 노출 프레임의 노출 부족 수가 그의 목표보다 훨씬 더 적은지(예를 들어, 노출 부족 목표 수가 약 1 퍼센트로 설정되어 있는 경우 프레임 내의 총 픽셀 수의 단지 약 0.25 퍼센트인지)가 판정된다. 그렇지 않은 경우, 긴 노출 설정값(즉, 고려 중인 프레임 쌍의 긴 노출 프레임에 대해 할당된 노출 시간)은 변경되지 않는다. 그렇지만, 노출 부족 수가 그의 목표보다 훨씬 더 적은 것으로 판정되는 경우, 긴 노출 설정값이 감소된다(단계 516). 이것은 수학식 3을 사용하여 새로운 긴 노출 설정을 계산함으로써 달성된다.
Figure 112005061828497-PCT00015
여기서,
Figure 112005061828497-PCT00016
는 흑색 픽셀(이는 일반적으로 8 비트 표현의 밝기 레벨에서 약 16 이하임)과 연관된 밝기 레벨에서의 카메라의 응답을 나타내고,
Figure 112005061828497-PCT00017
는 밝기 레벨
Figure 112005061828497-PCT00018
(이는 가장 작은 값부터 시작하여 밝기 레벨 순으로 정렬할 때 처음 1 퍼센트의 픽셀 중에서 획득된 최고 레벨임)에서의 카메라의 응답을 나타내며,
Figure 112005061828497-PCT00019
는 긴 노출값을 갖는 프레임과 연관된 노출 레벨이고,
Figure 112005061828497-PCT00020
은 새로운 긴 노출 레벨이다.
Figure 112005061828497-PCT00021
값을 결정하는 쉬운 방법은 긴 노출 프레임에 대해 누적 히스토그램을 계산하는 것이다.
긴 노출 설정이 변경되었는지 여부와 상관없이, 그 다음에 단계(518)에서 변 경되었든 그렇지 않든간에, 긴 노출 프레임 및 짧은 노출 프레임에 대한 노출 설정의 비(예를 들어, 긴 노출 설정값/짧은 노출 설정값)가 상기한 소정의 최대 허용비(R)보다 크거나 같은지가 판정된다. 그러한 경우, 캡처될 그 다음 2개의 프레임에 각각 할당된 짧은 노출 설정 및 긴 노출 설정은 고려 중인 짧은 노출 프레임과 긴 노출 프레임의 노출 과다 및 노출 부족 픽셀 수가 최대비를 넘지 않으면서 균형을 유지하도록 선택된다(단계 520). 이 균형 유지는 다음과 같이 달성된다. 기본적으로, 새로운 노출 과다 픽셀 수
Figure 112005061828497-PCT00022
가 고려 중인 프레임 쌍의 짧은 노출 설정에서 캡처된 프레임과 연관된 히스토그램으로부터 수학식 4를 사용하여 먼저 계산된다.
Figure 112005061828497-PCT00023
여기서,
Figure 112005061828497-PCT00024
는 짧은 노출 프레임의 노출 과다 픽셀 수이고,
Figure 112005061828497-PCT00025
는 긴 노출 프레임의 노출 부족 픽셀 수이다. 새로운 노출 과다 수
Figure 112005061828497-PCT00026
는 이어서 짧은 노출 프레임과 연관된 상기한 누적 히스토그램 상에서
Figure 112005061828497-PCT00027
를 찾아내고 대응하는 밝기 레벨을 읽음으로써 밝기값
Figure 112005061828497-PCT00028
을 결정하는 데 사용된다. 캡처될 짧은 노출 프레임에 대한 새로운 노출 레벨은 이어서 수학식 5를 사용하여 계산된다.
Figure 112005061828497-PCT00029
짧은 노출 프레임에 대한 새로운 노출 레벨이 계산되었으면, 캡처될 긴 노출 프레임에 대한 새로운 노출 레벨이 수학식 6과 같이 설정된다.
Figure 112005061828497-PCT00030
그렇지만, 단계(518)에서 긴 노출 프레임과 짧은 노출 프레임에 대한 노출 설정의 비가 같지 않거나 소정의 최대값(R)을 초과하는 것으로 판정되는 경우, 다른 절차가 사용된다. 즉, 먼저 짧은 노출 프레임의 노출 과다 수가 노출 과다 목표 수보다 큰지 여부가 판정된다(단계 522). 그러한 경우, 짧은 노출 설정값이 감소된다(단계 524). 이 경우, 소정의 감소 "범프" 스케쥴(decrease bump schedule)이 사용된다. 이것은 이 값이 현재 고려 중인 쌍 바로 앞의 짧은 노출 프레임의 처리와 관련하여 감소되지 않았던 경우 짧은 노출 설정을 제1 소정의 양(예를 들어, 절차의 테스트된 실시예에서 10%)만큼 감소시키는 단계를 수반한다. 환언하면, 이 짧은 노출값 감소 절차가 상기한 이전의 프레임의 처리 시에 사용되지 않았던 경우, 제1 소정의 감소량이 짧은 노출 설정에 적용된다. 그렇지만, 상기한 이전의 짧은 노출 프레임에 감소가 적용되었던 경우, 다른 감소량이 적용된다. 갱신된 감소량은 다음과 같이 계산된다. 노출 과다 수가 변경되지 않았거나 이전의 프레임에 비해 증가된 경우, 감소량은 이전의 양에 비해 2배로 된다(예를 들어, 테스트된 실시예에서 10%, 20%, 40%, ..., 최대 100%까지). 그렇지만, 노출 과다 수가 감소되었지만 아직 목표 수에 도달하지 않은 경우, 짧은 노출 설정은 다시 가장 최근에 사용된 감소량만큼 감소된다. 마지막으로, 목표 수에 도달된 경우, "범프" 스케쥴이 종료된다. 유의할 점은 상기한 감소 절차를 구현하기 위해 각각의 연속적인 감소 이벤트는 표시해두고 이 절차의 차후의 반복에서 감소량을 결정하는 데 사용하기 위해 저장된다는 것이다.
짧은 노출 설정이 감소되었거나 또는 노출 과다 수가 목표 수를 초과하지 않은 것으로 판정된 경우, 그 다음에 긴 노출 프레임의 노출 부족 수가 그의 목표 수를 초과하는지가 판정된다(단계 526). 그러한 경우, 긴 노출 설정값이 증가된다(단계 528). 소정의 증가 "범프" 스케쥴이 이용된다는 점에서 유사한 절차가 이용된다. 이것은 이 값이 현재 고려 중인 쌍 바로 앞의 긴 노출 프레임의 처리와 관련하여 증가되지 않았던 경우 긴 노출 설정을 제1 소정의 양(예를 들어, 절차의 테스트된 실시예에서 10%)만큼 증가시키는 단계를 수반한다. 그렇지만, 상기한 이전의 긴 노출 프레임에 증가가 적용되었던 경우, 다른 증가량이 적용된다. 갱신된 증가량은 다음과 같이 계산된다. 노출 부족 수가 변경되지 않았거나 이전의 프레임에 비해 증가된 경우, 증가량은 이전의 양에 비해 2배로 된다(예를 들어, 테스트된 실시예에서 10%, 20%, 40%, ..., 최대 100%까지). 그렇지만, 노출 부족 수가 증가되었지만 아직 목표 수에 도달하지 않은 경우, 긴 노출 설정은 다시 가장 최근에 사용된 증가량만큼 증가된다. 마지막으로, 목표 수에 도달된 경우, "범프" 스케쥴이 종료된다. 따라서, 여기에서도 또한, 이전의 증가 절차에 대해, 각각의 연속적인 감소 이벤트는 표시해두고 이 절차의 차후의 반복에서 증가량을 결정하는 데 사용하기 위해 저장되어야만 한다.
긴 노출 설정이 증가되었거나 노출 부족 수가 목표 수를 초과하지 않은 것으 로 판정된 경우, 그 다음에 단계(530)에서, 상기한 노출 설정의 비가 소정의 최대비(R)와 같거나 초과하는지가 판정된다. 그러한 경우, 캡처될 그 다음 2개의 프레임에 각각 할당된 짧은 노출 설정 및 긴 노출 설정은 상기한 균형 유지 절차를 사용하여 최대비를 넘지 않으면서 이들 2개의 수가 균형을 유지하도록 선택된다(단계 532). 정정된 노출 설정은 이어서 비디오의 그 다음 2개의 프레임을 캡처하는 데 적용된다(단계 508). 그렇지만, 긴 노출 프레임 및 짧은 노출 프레임에 대한 노출 설정의 비가 소정의 최대값(R)과 같지도 초과하지도 않는 것으로 판정되는 경우, 노출 설정은 더 이상 변경되지 않으며 이들 무변경된 설정이 비디오의 그 다음 프레임 쌍을 캡처하는 데 사용된다(단계 508).
상기 프로세스는 비디오 내의 캡처된 각 프레임 쌍에 대해 반복된다. 따라서, 전술한 바와 같이, 비디오의 프레임은 그 전체에 걸쳐 짧은 노출 프레임과 긴 노출 프레임이 교대로 있게 된다. 최종의 HDR 비디오는 다음 섹션에서 기술되는 바와 같이, 시간적으로 변동하는 노출 프레임을 사용하여 이 프리커서 비디오로부터 생성된다.
3.0 HDR 스티칭
상기한 프리커서 비디오의 프레임들이 시간적으로 변동하는 노출로 캡처되기 때문에, 임의의 주어진 시각에 HDR 프레임을 생성하는 것은 이웃 프레임으로부터의 픽셀 컬러 정보의 전달을 필요로 한다. 이것은 차례로 서로 다른 프레임에 걸친 픽셀 대응관계가 아주 정확해야 함을 요구한다. 픽셀 대응관계를 계산하고, 이웃 프레임으로부터의 컬러 정보를 전달하며 HDR 이미지를 추출하는 프로세스를 HDR 스티칭(stitching)이라고 한다.
프리커서 비디오는 교대로 있는 긴 노출 프레임 및 짧은 노출 프레임을 포함한다. HDR 스티칭에서의 첫번째 단계는 매 순간마다 긴 노출 프레임과 짧은 노출 프레임의 세트를 생성하여 그 세트로부터 방사 휘도 맵이 계산될 수 있도록 하는 것이다. 이것은 양호하게는 와핑 프로세스를 사용하여 누락된 노출을 합성함으로써 달성된다.
보다 상세하게는, HDR 스티칭 프로세스는 4개의 와핑된 프레임을 생성한다. 고려 중인 프레임이 긴 노출 프레임인 경우, 4개의 와핑된 프레임은 좌측 및 우측 이웃으로부터 양방향 와핑된(보간된) 짧은 노출 프레임(
Figure 112005061828497-PCT00031
및
Figure 112005061828497-PCT00032
), 단방향 와핑된 짧은 노출 좌측 프레임
Figure 112005061828497-PCT00033
, 및 단방향 와핑된 짧은 노출 우측 프레임
Figure 112005061828497-PCT00034
이다. 고려 중인 현재 프레임이 짧은 노출 프레임인 경우, 4개의 와핑된 프레임은 좌측 및 우측 이웃으로부터 양방향 와핑된(보간된) 긴 노출 프레임(
Figure 112005061828497-PCT00035
및
Figure 112005061828497-PCT00036
), 단방향 와핑된 긴 노출 좌측 프레임
Figure 112005061828497-PCT00037
, 및 단방향 와핑된 긴 노출 우측 프레임
Figure 112005061828497-PCT00038
이다. 이들 와핑된 프레임으로 나타내어진 중복은 나중에 레지스트레이션 에러에 대한 허용오차를 증가시키기 위해 이용된다. 상기한 프레임 용어에서, S는 짧은 노출 프레임을 지칭하고, L은 긴 노출 프레임을 지칭하며, F는 전방 와핑된 프레임을 지칭하고, B는 후방 와핑된 프레임을 지칭하며, k는 프레임의 시간 인덱스를 지칭한다.
먼저, 고려 중인 프리커서 비디오의 현재 프레임이 긴 노출 Lk로 캡처되고 이웃 프레임은 짧은 노출(Sk-1 및 Sk+1)로 캡처된 것으로 가정한다. 도 6의 프로세스 흐름도를 참조하면, HDR 스티칭 프로세스의 초기 단계에서, 이들 선행 및 후속 프레임은 종래의 전방 및 후방 매칭 및 와핑 방법을 사용하여 현재 프레임에 레지스트레이션된다(단계 602). 그렇지만, 이것은 선행 및 후속 프레임의 세기를, 긴 노출 프레임의 세기 범위와 거의 일치하도록 부스팅한 후에만 행해진다(단계 600). 와핑된 선행 및 후속 프레임은 각각 상기한
Figure 112005061828497-PCT00039
및
Figure 112005061828497-PCT00040
프레임이다. 유의할 점은 짧은 노출 프레임이 레지스트레이션 프로세스를 용이하게 해주기 위해 긴 노출 프레임과 매칭하도록 세기가 부스팅된다는 것이다. 이미지를 부스팅할 때, 각각의 픽셀 세기 또는 컬러는 1보다 큰 인자가 곱해진다. 긴 노출 프레임의 포화 영역에서의 픽셀 세기의 불일치를 방지하기 위해 긴 노출 프레임을 다운스케일(downscale)하는 것보다 짧은 노출 프레임을 부스팅하는 것이 더 낫다. 짧은 노출 프레임은 긴 노출 프레임 내의 포화 영역에서의 디테일의 손실을 매칭시키기 위해 부스팅된다. 또한, 유의할 점은 설명되어지는 바와 같이, 부스팅된 이미지는 흐름 필드를 계산하는 데만 사용된다는 것이다. 이들은 부스팅 프로세스에서 유입되는 노이즈로 인해 방사 휘도 맵을 계산하는 데는 사용되지 않는다.
HDR 스티칭 프로세스의 두번째 단계에서, 상기한 양방향 와핑된 프레임
Figure 112005061828497-PCT00041
및
Figure 112005061828497-PCT00042
은 도 7에 도식적으로 나타내고 도 6에 프로세스별로 나타낸 바와 같이 프리 커서 비디오로부터의 3개의 입력 프레임 모두를 사용하여 계산된다. (이 경우에, Sk-1(700) 및 Sk+1(702)와 연관된) 인접한 노출이 동일한 경우, HDR 스티칭 프로세스는 다음과 같이 시작한다.
1. 프레임 Sk-1 및 Sk+1을 사용하여, 양방향 흐름 필드(Sk-1(700)에 대한 전방 와핑
Figure 112005061828497-PCT00043
(704) 및 Sk+1(702)에 대한 후방 와핑
Figure 112005061828497-PCT00044
(706))는 곧 설명하게 될 구배 기반 기술을 사용하여 계산된다(단계 604). 이들 흐름 필드는 이어서 개별적인 이미지를 와핑하여 2개의 이미지, 즉
Figure 112005061828497-PCT00045
및
Figure 112005061828497-PCT00046
를 생성하는 데 사용된다(단계 606). 이들 이미지는 단계(608)에서 합성되어 중간 이미지(intermediate image)(즉, 상기한 양방향 와핑된 보간 프레임
Figure 112005061828497-PCT00047
)를 생성한다. 이 중간 이미지는
Figure 112005061828497-PCT00048
와 외관이 비슷해야 한다.
2.
Figure 112005061828497-PCT00049
의 개별적인 픽셀 세기는 그 다음에 단계(610)에서
Figure 112005061828497-PCT00050
의 대응하는 픽셀과 일치하도록 부스팅되어 이미지
Figure 112005061828497-PCT00051
를 생성한다.
3. 계층적 전역적 레지스트레이션 기술(이 역시 곧 기술됨)은 단계(612)에서
Figure 112005061828497-PCT00052
를
Figure 112005061828497-PCT00053
에 가장 잘 매핑하는 정교화 흐름
Figure 112005061828497-PCT00054
(718)을 계산하는 데 사용된다. 정교화 흐름
Figure 112005061828497-PCT00055
(718)은 이어서 단계(614)에서
Figure 112005061828497-PCT00056
(704) 및
Figure 112005061828497-PCT00057
(706)와 합성하여 합성 흐름
Figure 112005061828497-PCT00058
및
Figure 112005061828497-PCT00059
를 생성하고, 이들은 이어서 각각 Sk-1(700)을 와핑하여
Figure 112005061828497-PCT00060
를 생성하고 Sk+1(702)을 와핑하여
Figure 112005061828497-PCT00061
를 생성한다.
이미지
Figure 112005061828497-PCT00062
및
Figure 112005061828497-PCT00063
은 모두 곧 설명하게 되는 바와 같이 시각 k에서 HDR 이미지를 계산하는 데 사용된다.
선행 및 후속 노출이 서로 다른 경우, 수정된 절차가
Figure 112005061828497-PCT00064
및
Figure 112005061828497-PCT00065
를 계산하는 데 사용된다. 이 수정된 절차에서, 낮은 노출을 갖는 선행 또는 후속 프레임의 세기는
Figure 112005061828497-PCT00066
이 계산되기 전에, 상대편 이미지와 일치하도록 부스팅된다. 따라서,
Figure 112005061828497-PCT00067
는
Figure 112005061828497-PCT00068
인 경우에는
Figure 112005061828497-PCT00069
및
Figure 112005061828497-PCT00070
를 사용하여, 또는
Figure 112005061828497-PCT00071
인 경우에는
Figure 112005061828497-PCT00072
및
Figure 112005061828497-PCT00073
를 사용하여 계산될 것이다.
Figure 112005061828497-PCT00074
및
Figure 112005061828497-PCT00075
가 계산되었으면,
Figure 112005061828497-PCT00076
은
Figure 112005061828497-PCT00077
을 사용하여 와핑되어
Figure 112005061828497-PCT00078
를 생성하고,
Figure 112005061828497-PCT00079
는
Figure 112005061828497-PCT00080
를 사용하여 와핑되어
Figure 112005061828497-PCT00081
를 생성한다. 따라서,
Figure 112005061828497-PCT00082
및
Figure 112005061828497-PCT00083
는 이들과 연관된 서로 다른 노출을 가지게 된다.
따라서, 도 8의 다이어그램 및 도 9a 및 도 9b의 프로세스 플로우차트를 참조하면, 고려 중인 프리커서 비디오의 현재 프레임이 긴 노출
Figure 112005061828497-PCT00084
에서 캡처되고 이웃 프레임들이 짧은 노출(
Figure 112005061828497-PCT00085
및
Figure 112005061828497-PCT00086
)에서 캡처되었으며 또 선행 및 후속 노출이 서로 다른 경우, HDR 스티칭 프로세스는 다음과 같이 시작한다.
1. 프로세스의 초기 단계에서, 선행 및 후속 프레임은 긴 노출을 갖는 현재 프레임과 일치하도록 세기가 부스팅된다(단계 900). 이들 프레임은 이어서 종래의 전방 및 후방 와핑 방법을 사용하여 현재 프레임에 레지스트레이션된다(단계 902). 와핑된 선행 및 후속 프레임은 각각 상기한
Figure 112005061828497-PCT00087
및
Figure 112005061828497-PCT00088
프레임이다.
2. 그 다음에,
Figure 112005061828497-PCT00089
인지
Figure 112005061828497-PCT00090
인지가 판정된다(단계 904).
Figure 112005061828497-PCT00091
인 것으로 판정되는 경우, 단계(906)에서
Figure 112005061828497-PCT00092
은
Figure 112005061828497-PCT00093
의 세기 범위와 일치하도록 부스팅되고, 따라서
Figure 112005061828497-PCT00094
를 생성한다. 그렇지만,
Figure 112005061828497-PCT00095
인 것으로 판명된 경우, 단계(908)에서,
Figure 112005061828497-PCT00096
는
Figure 112005061828497-PCT00097
의 세기 범위와 일치하도록 부스팅되고, 따라서
Figure 112005061828497-PCT00098
을 생성한다. 유의할 점은 상기한 부스팅 절차의 다른 특성이 도 8에 점선 박스를 사용하여 나타내어져 있다는 것이다.
3. 양방향 흐름 필드(
Figure 112005061828497-PCT00099
에 대한 전방 와핑
Figure 112005061828497-PCT00100
및
Figure 112005061828497-PCT00101
에 대한 후방 와핑
Figure 112005061828497-PCT00102
)는 상기한 구배 기반 기술을 사용하여 계산된다(단계 910). 이들 흐름 필드는 이어서 개별적인 이미지를 와핑하여 2개의 이미지, 즉
Figure 112005061828497-PCT00103
및
Figure 112005061828497-PCT00104
(여기서, Boost 첨자 표시자는 이미지가 세기 부스팅된 프레임에 기초할 수 있는지 여부를 나타냄)를 생성하는 데 사용되며(단계 912), 그 중 하나는 프리커서 비디오로부터의 최초 프레임의 부스팅된 버전에 기초하게 된다. 이들 이미지는 단계(914)에서 합성되어 중간 이미지(즉, 상기한 양방향 와핑된 프레임
Figure 112005061828497-PCT00105
)를 생성한다. 이 중간 이미지는
Figure 112005061828497-PCT00106
(818)과 외관이 유사해야 한다.
4. 그 다음에,
Figure 112005061828497-PCT00107
의 개별적인 픽셀 세기는 단계(916)에서
Figure 112005061828497-PCT00108
(818)의 대응하는 픽셀과 일치하도록 부스팅되어 이미지
Figure 112005061828497-PCT00109
를 생성한다.
5. 상기한 계층적 전역적 레지스트레이션 기술은 단계(918)에서
Figure 112005061828497-PCT00110
를
Figure 112005061828497-PCT00111
(818)에 가장 잘 매핑하는 정교화 흐름
Figure 112005061828497-PCT00112
을 계산하는 데 사용된다.
6. 정교화 흐름
Figure 112005061828497-PCT00113
은
Figure 112005061828497-PCT00114
및
Figure 112005061828497-PCT00115
와 합성되어 합성 흐름
Figure 112005061828497-PCT00116
및
Figure 112005061828497-PCT00117
를 생성하며, 이들은 이어서 각각
Figure 112005061828497-PCT00118
를 와핑하여
Figure 112005061828497-PCT00119
를 생성하고
Figure 112005061828497-PCT00120
를 와핑하여
Figure 112005061828497-PCT00121
를 생성하는 데 사용된다(단계 920).
이전과 같이, 이미지
Figure 112005061828497-PCT00122
및
Figure 112005061828497-PCT00123
은 모두 시각 k에서 HDR 이미지를 계산하는 데 사용된다.
고려 중인 프리커서 비디오의 프레임이 짧은 노출 Sk에서 캡처되었고 인접 프레임들이 긴 노출(Lk-1 및 Lk+1)에서 캡처된 반대 조건에 대한 절차도 유사하다. 이제 도 10의 프로세스 플로우차트를 참조하면, HDR 스티칭 프로세스의 초기 단계에서, 이들 선행 및 후속 프레임은 종래의 전방 및 후방 와핑 방법을 사용하여 현재 프레임에 레지스트레이션된다. 그 결과 얻은 와핑된 선행 및 후속 프레임은 각각 상기한
Figure 112005061828497-PCT00124
및
Figure 112005061828497-PCT00125
프레임이다. 보다 상세하게는, Sk는 먼저
Figure 112005061828497-PCT00126
를 생성하기 위해 전방 와핑하기(단계 1002) 전에 Lk-1의 세기 범위와 일치하도록 부스팅되고(단 계 1000), Sk는 먼저
Figure 112005061828497-PCT00127
를 생성하기 위해 후방 와핑하기(단계 1006) 전에 Lk+1의 세기 범위와 일치하도록 부스팅된다(단계 1004).
프로세스의 두번째 단계에서는, 도 11에 도식적으로 나타내고 또 도 12에 프로세스별로 나타낸 바와 같이, 이웃 노출(이 경우에,
Figure 112005061828497-PCT00128
및
Figure 112005061828497-PCT00129
과 연관됨)이 동일한 경우, 상기한 양방향 와핑된 프레임
Figure 112005061828497-PCT00130
는 프리커서 비디오로부터의 3개의 입력 프레임 모두를 사용하여 계산된다. 보다 상세하게는, HDR 스티칭 프로세스는 다음과 같이 시작한다.
1. 양방향 흐름 필드(
Figure 112005061828497-PCT00131
에 대한 전방 와핑
Figure 112005061828497-PCT00132
및
Figure 112005061828497-PCT00133
에 대한 후방 와핑
Figure 112005061828497-PCT00134
)가 상기한 구배 기반 기술을 사용하여 계산된다(단계 1200). 이들 흐름 필드는 이어서 단계(1202)에서 개별적인 이미지를 와핑하여 2개의 이미지, 즉
Figure 112005061828497-PCT00135
및
Figure 112005061828497-PCT00136
를 생성하는 데 사용된다. 이미지는 단계(1204)에서 합성되어 중간 이미지(즉, 상기한 양방향 와핑된 프레임
Figure 112005061828497-PCT00137
)를 생성한다. 이 중간 이미지는 상기한 세기 부스팅된 버전의
Figure 112005061828497-PCT00138
와 외관이 유사해야만 한다.
2.
Figure 112005061828497-PCT00139
의 개별적인 픽셀 세기는 그 다음에 단계(1206)에서
Figure 112005061828497-PCT00140
및
Figure 112005061828497-PCT00141
의 세기와 일치하도록 부스팅된다. 이 동작은 이미지
Figure 112005061828497-PCT00142
을 생성한다.
3. 상기한 계층적 전역적 레지스트레이션 기술은 단계(1208)에서
Figure 112005061828497-PCT00143
를
Figure 112005061828497-PCT00144
에 가장 잘 매핑하는 정교화 흐름
Figure 112005061828497-PCT00145
을 계산하는 데 사용된다. 정교화 흐름
Figure 112005061828497-PCT00146
은
Figure 112005061828497-PCT00147
및
Figure 112005061828497-PCT00148
와 합성되어 합성 흐름
Figure 112005061828497-PCT00149
(1124) 및
Figure 112005061828497-PCT00150
(1125)를 생성하고, 이들은 이어서 각각
Figure 112005061828497-PCT00151
를 와핑하여
Figure 112005061828497-PCT00152
를 생성하고,
Figure 112005061828497-PCT00153
를 와핑하여
Figure 112005061828497-PCT00154
를 생성하는 데 사용된다.
곧 설명되는 바와 같이, 이미지
Figure 112005061828497-PCT00155
및
Figure 112005061828497-PCT00156
은 모두 시각 k에서 HDR 이미지를 계산하는 데 사용된다.
선행 및 후속 노출이 서로 다른 경우, 수정된 절차가
Figure 112005061828497-PCT00157
및
Figure 112005061828497-PCT00158
를 계산하는 데 이용된다. 이 수정된 절차에서, 낮은 노출을 갖는 선행 또는 후속 프레임의 세기는
Figure 112005061828497-PCT00159
가 계산되기 전에 상대편 이미지와 일치하도록 부스팅된다. 따라서,
Figure 112005061828497-PCT00160
는
Figure 112005061828497-PCT00161
인 경우는
Figure 112005061828497-PCT00162
및
Figure 112005061828497-PCT00163
를 사용하여 계산되고,
Figure 112005061828497-PCT00164
인 경우는
Figure 112005061828497-PCT00165
및
Figure 112005061828497-PCT00166
를 사용하여 계산된다.
Figure 112005061828497-PCT00167
및
Figure 112005061828497-PCT00168
가 계산되었으면,
Figure 112005061828497-PCT00169
은
Figure 112005061828497-PCT00170
를 사용하여 와핑되어
Figure 112005061828497-PCT00171
를 생성하고
Figure 112005061828497-PCT00172
는
Figure 112005061828497-PCT00173
를 사용하여 와핑되어
Figure 112005061828497-PCT00174
를 생성한다. 따라서,
Figure 112005061828497-PCT00175
및
Figure 112005061828497-PCT00176
는 이들과 연관된 서로 다른 노출을 갖는다.
따라서, 도 13의 다이어그램 및 도 14a 및 도 14b의 프로세스 플로우차트를 참조하면, 고려 중인 프리커서 비디오의 현재 프레임이 짧은 노출 Sk로 캡처되고 인 접 프레임이 긴 노출(
Figure 112005061828497-PCT00177
및
Figure 112005061828497-PCT00178
)로 캡처되었고 또 선행 및 후속 프레임이 서로 다른 경우, HDR 스티칭 프로세스의 두번째 단계는 다음과 같다.
1. 먼저
Figure 112005061828497-PCT00179
인지
Figure 112005061828497-PCT00180
를 판정한다(단계 1400).
Figure 112005061828497-PCT00181
인 것으로 판정된 경우, 단계(1402)에서
Figure 112005061828497-PCT00182
이
Figure 112005061828497-PCT00183
의 세기 범위와 일치하도록 부스팅되고, 그에 따라
Figure 112005061828497-PCT00184
를 생성한다. 그렇지만,
Figure 112005061828497-PCT00185
인 것으로 판명된 경우, 단계(1404)에서
Figure 112005061828497-PCT00186
는
Figure 112005061828497-PCT00187
의 세기 범위와 일치하도록 부스팅되고, 그에 따라
Figure 112005061828497-PCT00188
을 생성한다. 유의할 점은 상기한 부스팅 절차의 다른 특징이 도 13에 점선 박스를 사용하여 나타내어져 있다는 것이다.
2. 양방향 흐름 필드(
Figure 112005061828497-PCT00189
에 대한 전방 와핑
Figure 112005061828497-PCT00190
및
Figure 112005061828497-PCT00191
에 대한 후방 와핑
Figure 112005061828497-PCT00192
)는 상기한 구배 기반 기술을 사용하여 계산된다(단계 1406). 이들 흐름 필드는 이어서 개별적인 이미지를 와핑하여 2개의 이미지, 즉
Figure 112005061828497-PCT00193
및
Figure 112005061828497-PCT00194
(여기서, Boost 첨자 표시자는 이미지가 세기 부스팅된 프레임에 기초할 수 있는지 여부를 나타냄)를 생성하는 데 사용되며(단계 1408), 그 중 하나는 프리커서 비디오로부터의 최초 프레임의 부스팅된 버전에 기초하게 된다. 이들 이미지는 단계(1410)에서 합성되어 중간 이미지(즉, 상기한 양방향 와핑된 프레임
Figure 112005061828497-PCT00195
)를 생성한다. 이 중간 이미지는 이하에 기술하는 바와 같이
Figure 112005061828497-PCT00196
과 외관이 유사해야 한다.
3. 그 다음에,
Figure 112005061828497-PCT00197
의 개별적인 픽셀 세기는 단계(1412)에서
Figure 112005061828497-PCT00198
및
Figure 112005061828497-PCT00199
의 대응하는 픽셀의 평균과 일치하도록 부스팅된다. 이 동작은 이미지
Figure 112005061828497-PCT00200
을 생성한다.
4. 상기한 계층적 전역적 레지스트레이션 기술은 단계(1414)에서
Figure 112005061828497-PCT00201
을
Figure 112005061828497-PCT00202
에 가장 잘 매핑하는 정교화 흐름
Figure 112005061828497-PCT00203
을 계산하는 데 사용된다.
5. 정교화 흐름
Figure 112005061828497-PCT00204
은
Figure 112005061828497-PCT00205
및
Figure 112005061828497-PCT00206
와 합성되어 합성 흐름
Figure 112005061828497-PCT00207
및
Figure 112005061828497-PCT00208
를 생성한다. 합성 흐름 필드는 이어서 각각
Figure 112005061828497-PCT00209
를 와핑하여
Figure 112005061828497-PCT00210
를 생성하고
Figure 112005061828497-PCT00211
를 와핑하여
Figure 112005061828497-PCT00212
를 생성하는 데 사용된다(단계 1418).
이전과 같이, 이미지
Figure 112005061828497-PCT00213
및
Figure 112005061828497-PCT00214
은 모두 시각 k에서 HDR 이미지를 계산하는 데 사용된다.
3.1 움직임 추정
앞서 기술한 바와 같이, 양방향 흐름 필드
Figure 112005061828497-PCT00215
및
Figure 112005061828497-PCT00216
는 구배 기반 기술을 사용하여 계산된다. 이 기술에 대해 지금부터 설명한다. 프레임 보간은 한 쌍의 인접 프레임으로부터의 정보를 사용하여 중간 시각에서의 누락된 노출을 합성하는 단계를 수반한다. 이를 위해, 같은 노출(예를 들어,
Figure 112005061828497-PCT00217
및
Figure 112005061828497-PCT00218
) 간에 조밀한 움직임 매치(dense motion match)가 계산되고, 이것은 움직임 궤도를 따라 전방 또는 후방으로 픽셀 정보를 와핑하여 중간 이미지(예를 들어,
Figure 112005061828497-PCT00219
)를 생성하는 데 사용된다. 이 절차는 또한 L 이웃으로부터 누락된
Figure 112005061828497-PCT00220
프레임을 생성하는 데 사용된다.
본 발명의 움직임 추정 방법은 2 단계로 이루어져 있다. 먼저, 2개의 프레임이 한쪽을 다른쪽에 매핑하는 어파인 변환을 추정함으로써 전역적으로 레지스트레이션된다. 이어서, 구배 기반 광학 흐름이 전역적 변환에 대한 지역적 정정을 형성하는 조밀한 움직임 필드를 계산하는 데 사용된다.
시각 k-1 또는 k+1에서 전방 또는 후방 흐름 필드를 계산하기보다는, 중간 시각 k에서 양방향 필드가 계산된다. 이것은 각각의 보간 프레임을 생성할 때 전방 와핑의 구멍 메우기(hole filling) 문제를 없애준다. 출력 프레임 k 내의 각 픽셀에서, 후속 프레임 k+1 및 선행 프레임 k-1로 향하는 합성 벡터가 획득된다. 이들 벡터는 각각 어파인 성분과 지역 성분의 합이다. 어파인 성분은 전역적 와핑 파라미터로부터 도출되어 k-1로부터 k로 또는 k+1로부터 k로 와핑하기 위해 리스케일링되고, 지역 성분은 대칭적 광학 흐름 절차에 의해 생성된다.
지역적 움직임 추정의 경우, Lucas 및 Kanade[4] 기술의 변형이 라플라스 피라미드 프레임워크에서 사용된다. 축퇴 흐름(degenerate flow) 경우를 처리하는 기술도 역시 합산된 편미분의 행렬의 고유값을 계산하고 또 악조건(ill- conditioned)인지를 판정함으로써 부가될 수 있다. 한 소스 이미지를 각각의 반복에서 상대쪽으로 점진적으로 단순히 와핑하는 것이 아니라, 양쪽 소스 이미지가 출력 시각 k쪽으로 와핑되고, 이들 2개의 와핑된 이미지 간에 잔류 흐름 벡터가 추정된다. 잔류가 피라미드 아래쪽에 누적되어감에 따라, 이들은 시각 k에 중심을 둔 대칭적인 흐름 필드를 야기한다. 이 기술은 누적된 잔류가 항상 이 비대칭적인 전역적 흐름에 대한 대칭적인 지역적 정정의 항으로 표현되도록 와핑 동안에 전역적 어파인 흐름을 포함시킴으로써 강화된다.
최종적인 중간 이미지(즉, 보간된 이미지)를 획득하기 위해, 바이큐빅 와핑이 시각 k-1 및 k+1로부터 출력 프레임 내의 각 위치로 적절한 벡터를 따라 픽셀을 전사하는 데 사용된다. 전방 및 후방 와핑된 픽셀은 이들이 이용가능한 경우 평균된다. 단지 하나만이 이용가능한 경우, 그 픽셀 값이 보간된 프레임 내의 대응하는 위치에 대한 값으로서 사용된다. 양쪽 소스 픽셀이 프레임 밖에 있는 경우, 영 움직임 벡터를 사용하여 획득된 2개의 픽셀이 함께 평균된다.
3.2 계층적 호모그래피
앞서 언급한 바와 같이, 계층적 전역적 레지스트레이션 기술은 정교화 흐름
Figure 112005061828497-PCT00221
를 계산하는 데 이용된다. 이 새로운 기술에 대해 이제부터 기술한다. 일반적으로, 이 기술은 보간된 프레임(즉, 모든 경우에
Figure 112005061828497-PCT00222
)과 실제 프레임(즉, 긴 노출 프레임
Figure 112005061828497-PCT00223
또는 세기 부스팅된 버전의 짧은 노출 프레임
Figure 112005061828497-PCT00224
) 간의 레지스트레 이션을 정교화(refine)하는 데 사용된다.
Figure 112005061828497-PCT00225
이미지를 생성하는 데 사용되는 보간 프로세스에서의 불가피한 에러로 인해 이들 이미지를 직접 비교하는 것은 어렵다. 예를 들어,
Figure 112005061828497-PCT00226
를 생성하는 데 사용되는 이웃 프레임들 각각이 캡처되는 시각 사이에 일어나는 움직임이 균일하지 않을 수 있기 때문에, 에러가 야기될 수 있다. 이 시점에서 흐름을 제약하는 것이 바람직한 이유는 그렇게 하는 것이 포화 픽셀 및 저 콘트라스트 픽셀의 신뢰성이 없는 영역에서 매핑 오류의 가능성을 감소시키기 때문이다.
상기 작업을 완수하기 위해, 계층적 호모그래피라고 하는 것이 이용된다. 계층적 호모그래피의 개념이 도 15에 도시되어 있으며, 이는 2개의 레벨 및 하나의 사분면만을 나타내기 위해 간략화되어 있다. 최고 해상도, 즉 레벨 0(1500)에서, 종래의 방법을 사용하여 2개의 입력 이미지 간의 최상의 2D 투시 변환(perspective transform)(즉, 호모그래피)을 찾아내기 위해 전체 프레임 레지스트레이션(full frame registration)이 수행되며, 따라서 호모그래피
Figure 112005061828497-PCT00227
(1502)를 생성한다. 참조 이미지(이미지 1(1504))는 이어서 점선으로 나타낸 중첩하는 사분면(1506)으로 분해된다. 5 내지 20 퍼센트 중첩이 적당하다. 본 발명의 테스트된 실시예에서, 10 퍼센트 중첩이 성공적으로 사용되었다. 유의할 점은 참조 이미지(1504)가 HDR 비디오 생성 프로세스에서
Figure 112005061828497-PCT00228
또는
Figure 112005061828497-PCT00229
이라는 것이다.
사분면(1506)(이는 본 프로세스의 테스트된 실시예에서 약 10 그레이 레벨의 임계값에 설정되었음) 내에 불충분한 세기 변동이 있는 경우, 내버려둔다. 그렇지 않은 경우, 그의 전역적 움직임이 2개의 영역 간의 최상의 2D 투시 변환(즉, 호모그래피)를 찾아내기 위해 참조 이미지(1504)의 그 사분면(1506)과 제2 이미지(1510)(이는 HDR 비디오 생성 프로세스에서
Figure 112005061828497-PCT00230
임)로부터 적절히 샘플링된 상대 영역(1508) 간에 전체 이미지 레지스트레이션을 수행함으로써 정교화된다. 제2 이미지(1510)로부터의 서브이미지(1508)의 경계는
Figure 112005061828497-PCT00231
(1502)에 기초하여 계산된다. 도 15에 도시된 예에서, 서브이미지 쌍(1506, 1508) 간의 이 정교화된 변환은
Figure 112005061828497-PCT00232
이라고 하며, 여기서 첫번째 첨자는 레벨을 나타내고 두번째 첨자는 사분면 번호(즉, 1-4)를 나타낸다. 정교화 절차는 상기한 세기 변동 테스트를 충족시키는 각 사분면에 대해 반복된다.
HDR 비디오 생성 프로세스의 테스트된 실시예에서 2개의 레벨이 성공적으로 사용되었지만, 상기한 정교화 절차는 이미지의 레지스트레이션을 추가로 정교화하기 위해 부가의 레벨들로 더 확장될 수 있다. 예를 들어, 이 기술을 제3 레벨로 확장시키는 것은 단지 참조 이미지(이는 세기 변동 테스트를 통과하였음)의 이전에 처리된 사분면 중 하나를 취하여 이를 사분면들로 분할하는 단계를 수반한다. 새로운 사분면 각각은 세기 변동 테스트를 받는다. 테스트를 통과하지 못하는 경우, 내버려둔다. 그렇지만, 테스트를 통과하는 경우,
Figure 112005061828497-PCT00233
(여기서 i = 레벨 1에서의 고려 중인 사분면 인덱스)는 이미지 2에서의 대응하는 영역의 경계를 정의하는 데 이용된다. 이어서,
Figure 112005061828497-PCT00234
로서 지정되어지는 2개의 영역 간의 최상의 2D 투시 변환(즉, 호모그래피)를 찾아내기 위해 고려 중인 참조 이미지의 레벨 1 사분면과 제2 이미지로부터의 적절히 샘플링된 상대 영역 간에 전체 이미지 레지스트레이션이 수행된다.
따라서, 일반적으로, 정교화 절차는 모든 레벨 및 각 레벨의 모든 사분면에 대해 반복된다. 완료되었으면, 그 결과 얻어지는 전체 이미지 정교화 흐름
Figure 112005061828497-PCT00235
이 이미지들의 각 영역 간에 계산된 지역적 호모그래피를 사용하여 계산된다. 각 사분면의 경계에서 또한 그 근방에서, 이들의 흐름은 흐름 불연속을 최소화하기 위해 페더링(즉, 가중 평균)된다. 예를 들어, 도 16a 내지 도 16c를 참조하면, 2개의 정교화 레벨을 가정하고 또 모든 사분면이 세기 변동 테스트를 통과한 것으로 가정한다. 도 16a에 도시되어 있는 바와 같이, 지역적 호모그래피
Figure 112005061828497-PCT00236
는 각 사분면에 대해 계산되었다. 사분면 중 하나 내에 완전히 포함된 영역(영역(1600) 등) 및 다른 이미지 내의 그의 상대에 대해, 지역적 호모그래피는 종래 방식으로 실시되는 픽셀에 대한 흐름을 계산하는 데 사용된다.
그렇지만, 2개의 사분면이 중첩하는 참조 이미지 내의 영역들(영역(1602) 등)에 대해, 1D 선형 가중 기술이 중첩 영역 내에 포함된 그 픽셀들에 대한 흐름 맵을 "페더링"하는 데 이용된다. 기본적으로, 픽셀이 비중첩 영역에 가까울수록, 픽셀은 그 부분만큼 더 가중된다. 이 가중 기술은 중첩 영역(1602)의 확대도를 나타낸 도 16b를 참조하여 기술될 것이다. 중첩 영역 내의 모든 픽셀에 대해, 중첩 거리 m이 중첩 영역의 경계 중 하나로부터 고려 중인 픽셀
Figure 112005061828497-PCT00237
까지의 최단 거리를 정의하는 거리 l과 함께 사용되어, 차례로 전체 이미지 정교화 흐름 필드
Figure 112005061828497-PCT00238
내의 그 픽셀에 대한 흐름을 계산하는 데 사용되는
Figure 112005061828497-PCT00239
을 설정한다. 보다 상세하게는, 거리 l이 배타적인 "
Figure 112005061828497-PCT00240
영역"에 인접한 중첩 영역의 경계와
Figure 112005061828497-PCT00241
간의 최단 거리로서 측정되는 도 16b에 도시된 예를 사용하면, 수학식 7과 같이 된다.
Figure 112005061828497-PCT00242
여기서,
Figure 112005061828497-PCT00243
이고
Figure 112005061828497-PCT00244
이다.
도 16c의 확대도에 나타내어진 영역(1604) 등의 4개의 사분면 모두가 중첩하는 참조 이미지의 중앙 영역에서, 2D 선형 가중 기술이 그 영역 내에 포함된 그 픽셀들에 대한 흐름 맵을 페더링하는 데 이용된다. 이 경우, 중첩 거리 m 및 m'이 중앙 중첩 영역의 경계 중 제1 경계로부터 고려 중인 픽셀
Figure 112005061828497-PCT00245
까지의 거리를 정의하는 거리 l과 함께 사용되어
Figure 112005061828497-PCT00246
을 설정한다. 보다 상세하게는,
Figure 112005061828497-PCT00247
이제 도 17a 및 도 17b의 플로우차트를 참조하면, 상기한 계층적 호모그래피 절차는 2개의 계층적 레벨(즉, 레벨 0 및 레벨 1)의 예를 사용하여 요약되어 있다. 절차는 참조 이미지
Figure 112005061828497-PCT00248
또는
Figure 112005061828497-PCT00249
(경우에 따라)와
Figure 112005061828497-PCT00250
간의 호모그래피
Figure 112005061828497-PCT00251
를 계산하는 것으로 시작한다(단계 1700). 이어서, 참조 이미지는 중첩하는 사분면으로 분할되고(단계 1702), 사분면 중 이전에 미선택된 것이 선택된다(단계 1704). 그 다음에, 선택된 사분면 내의 픽셀들 간의 세기 변동이 소정의 변동 임계값을 초과하는지가 판정된다(단계 1706). 초과하는 경우, 단계(1708)에서, 전역적 호모그래피
Figure 112005061828497-PCT00252
를 사용하여
Figure 112005061828497-PCT00253
내의 상대 영역이 식별된다. 이와 관련하여,
Figure 112005061828497-PCT00254
는 부모 호모그래피이다. 지역적 호모그래피
Figure 112005061828497-PCT00255
(여기서, i는 선택된 사분면 인덱스를 가리킴)는 참조 이미지의 선택된 사분면과
Figure 112005061828497-PCT00256
내의 식별된 상대 영역 간에 계산된다(단계 1710). 이와 관련하여,
Figure 112005061828497-PCT00257
는 자식 호모그래피이다. 그 다음에, 자식 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러가 동일한 사분면에 대해 부모 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러보다 작은지가 판정된다(단계 1712). 그러한 경우, 계산된 자식 호모그래피가 선택된 사분면에 할당된다(단계 1714). 그렇지 않고, 자식 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러가 부모 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러보다 작지 않은지가 판정되는 경우, 또는 단계(1706)에서 선택된 사분면 내의 픽셀들 간의 세기 변동이 소정의 변동 임계값을 초과하지 않은 것으로 판정된 경우, 부모 호모그래피가 선택된 사분면에 할당된다(단계 1716), 즉 자식이 그의 부모로부터 상속받는다. 그 다음에, 이전에 미선택된 사분면이 남아 있는지가 판정된다(단계 1718). 처리할 사분면이 더 있는 경우, 프로세스 단계(1704 내지 1718)가 반복된다. 그렇지만, 처리할 사분면이 더 이상 없는 것으로 판명된 경우, 단계(1720)에서, 전체 이미지 정교화 흐름 필드
Figure 112005061828497-PCT00258
는 어느 것이 사분면에 할당되었는지에 따라, 이미지의 각각의 대응하는 영역 간에 계산된 지역적 호모그래피
Figure 112005061828497-PCT00259
또는 전역적 호모그래피
Figure 112005061828497-PCT00260
를 사용하여 계산된다. 마지막으로, 단계(1722)에서, 사분면의 중첩 영역 중 하나에 속하는 픽셀들과 연관된
Figure 112005061828497-PCT00261
에서의 흐름은 흐름 불연속을 최소화하기 위해 페더링된다.
3.3 방사 휘도 맵 복원
이 섹션에서, 입력 이미지를 그의 와핑된 이웃들과 합성하여 방사 휘도 맵을 생성하는 프로세스에 대해 기술한다. 이를 위해 몇가지 기술들이 제안되어 있다[2, 6, 9]. 이들 기술 각각에서, 입력 이미지는 기지의 노출값 및 계산된 카메라 응답 함수를 사용하여 방사 휘도 이미지로 변환된다. 이어서, 픽셀에서의 최종적인 방사 휘도 값은 이들 방사 휘도 이미지 내의 대응하는 픽셀의 가중합으로서 계산된다. 앞서 언급한 바와 같이, 카메라의 응답 함수
Figure 112005061828497-PCT00262
는 양호하게는 [6]의 기술을 사용하여 계산된다. 이 기술로부터 도출된 예시적인 가중 함수
Figure 112005061828497-PCT00263
는 도 18a에 전역 가중치 대 픽셀 세기를 플롯한 그래프로 나타내어져 있다. 그렇지만, 유의할 점은 기존의 방법들은 완전히 레지스트레이션된 입력 이미지를 가정하고 있다는 것이다. HDR 스티칭 프로세스의 제1 부분에서의 레지스트레이션 오류(mis-registration)의 가능성으로 인해, 본 발명의 프로세스의 이 부분에서는 완전한 레지스트레이션이 가정되지 않는다. 그 대신에, 이 절차는 고려 중인 입력 프레임 뿐만 아니라 좌측 및 우측 이웃으로부터 각각 생성된 단방향 와핑된 좌측 프레임, 단방향 와핑된 우측 프레임, 및 양방향 와핑된 프레임의 픽셀로부터 도출된 방사 휘도값을 사용함으로써 픽셀 레지스트레이션에서의 에러를 더 많이 허용하도록(more tolerant) 되어 있다. 최종적인 방사 휘도 맵 내의 픽셀이 이전의 이미지 내의 대응하는 픽셀로부터 가져온 2개 이상의 값 중 하나 또는 이들의 조합의 방사 휘도값으로부터 도출되는지를 판정하는 논리적 규범(logic protocol)이 이용된다. 일반적으로, 이 결정은 입력 이미지 내의 픽셀의 세기에 기초하여 행해진다.
보다 상세하게는, 도 19a 내지 도 19c를 참조하면, 입력 이미지가 긴 노출 프레임이고 인접 프레임이 짧은 노출 프레임인 경우에 대해, HDR 스티칭에서 이용되는 방사 휘도 맵 복원은 다음과 같이 달성된다.
1. 먼저,
Figure 112005061828497-PCT00264
, 및
Figure 112005061828497-PCT00265
는 종래의 방법을 사용하여 응답 함수
Figure 112005061828497-PCT00266
및 이미지의 개별적인 노출값을 사용하여 방사 휘도 이미지로 변환되며(단계 1900), 여기서 일반적으로
Figure 112005061828497-PCT00267
이고, 이 때 R은 픽셀의 방사 휘도이고, p는 픽셀 세기이며, exp는 노출 레벨이다. 이들 방사 휘도 이미지는 각각
Figure 112005061828497-PCT00268
및
Figure 112005061828497-PCT00269
로 표시되어 있다. 유의할 점은 첨자 k가 여기서는 표기상의 편의를 위해 생략되어 있다는 것이다.
2. 이어서, 단계(1902)에서 입력 이미지 L에서 캡처될 수 있는 최대 세기를 나타내는 최대 세기값(예를 들어 255)을 넘는 L 내의 픽셀은 포화된 것으로 식별된다. 이들 픽셀은 인접 프레임과의 레지스트레이션 불량(poor registration)을 나 타내는 것으로 가정된다. 최종적인 방사 휘도 맵에서 이들 값을 사용하지 않고, 양방향 와핑된 프레임
Figure 112005061828497-PCT00270
및
Figure 112005061828497-PCT00271
으로부터의 값이 이용된다(단계 1904). 본 발명의 방사 휘도 맵 복원 절차의 테스트된 실시예에서,
Figure 112005061828497-PCT00272
및
Figure 112005061828497-PCT00273
으로부터의 방사 휘도 값은 평균되어 최종적인 방사 휘도 맵에서의 픽셀에 대한 값을 설정한다.
3. 그 다음에, 소정의 최대값 이하의 세기 범위에 속하는 입력 이미지 L 내의 픽셀들이 식별되고(단계 1906), 이들 중 이전에 미선택된 것이 선택된다(단계 1908). 이들 픽셀은 긴 노출 프레임 또는 짧은 노출 프레임에서 적절히 노출될 수 있는 장면의 영역들을 나타낸다. 식별된 픽셀들 각각에 대해,
Figure 112005061828497-PCT00274
및
Figure 112005061828497-PCT00275
로부터의 방사 휘도값이
Figure 112005061828497-PCT00276
내의 대응하는 픽셀과 비교된다(단계 1910).
Figure 112005061828497-PCT00277
및
Figure 112005061828497-PCT00278
로부터의 방사 휘도값이
Figure 112005061828497-PCT00279
의 방사 휘도값으로부터 소정의 최대 허용 노이즈 분산 이하인 것으로 판명된 경우(단계 1912), 세 개 모두의 가중 평균이 계산되고 최종적인 방사 휘도 맵에서의 그 픽셀 위치에 대한 방사 휘도값으로서 사용된다(단계 1914). 가중 평균 방사 휘도는 다음과 같이 계산된다.
Figure 112005061828497-PCT00280
여기서, 첨자 c, F 및 B는 각각 현재, 좌측 와핑된, 및 우측 와핑된 방사 휘도 이미지 내의 픽셀을 가리킨다. 이 경우, 현재 이미지는
Figure 112005061828497-PCT00281
이고, 좌측 와핑된 이미지는
Figure 112005061828497-PCT00282
이며, 우측 와핑된 이미지는
Figure 112005061828497-PCT00283
이다.
Figure 112005061828497-PCT00284
는
Figure 112005061828497-PCT00285
으로 변조된 가중치 함수
Figure 112005061828497-PCT00286
이고, 여기서
Figure 112005061828497-PCT00287
은
Figure 112005061828497-PCT00288
Figure 112005061828497-PCT00289
로 정의되고, 이는 대응하는 입력 방사 휘도값과 너무나 다른 와핑된 방사 휘도값을 무시하는 변조 함수이다.
Figure 112005061828497-PCT00290
는 상기한 최대 허용 노이즈 분산을 나타내는 사용자 지정 파라미터이다. 본 발명의 방사 휘도 맵 복원 절차의 테스트된 실시예에서, 최대 허용 노이즈 분산은 16개의 세기 레벨로 설정되었다. 변조 함수의 예가 도 18b에 도시된 그래프에 플롯되어 있다.
그렇지만,
Figure 112005061828497-PCT00291
및
Figure 112005061828497-PCT00292
로부터의 방사 휘도값 중 하나가 최대 노이즈 분산을 넘는 것으로 판명된 경우(단계 1916), 그것은 버려지고 그 픽셀 위치에 대한 최종적인 방사 휘도 맵에서 사용되는 방사 휘도값은
Figure 112005061828497-PCT00293
로부터의 값과
Figure 112005061828497-PCT00294
또는
Figure 112005061828497-PCT00295
중 하나로부터의 나머지 값의 가중 평균으로서 계산된다(단계 1918). 이것은 수학식 10을 벗어나는데 그 이유는 최대 허용 노이즈 분산을 벗어나는 것으로 판명된
Figure 112005061828497-PCT00296
및
Figure 112005061828497-PCT00297
로부터의 방사 휘도값을 포함하는 항이 0으로 되기 때문이다. 따라서, 가중 평균은 나머지 방사 휘도값을 가지고 수학식 9를 사용하여 계산된다.
마지막으로,
Figure 112005061828497-PCT00298
및
Figure 112005061828497-PCT00299
로부터의 방사 휘도값 둘다가 최대 허용 노이즈 분 산을 벗어나는 것으로 판명되는 경우(단계 1920), 양쪽 값은 수학식 10에 따라 버려지며, 그 픽셀 위치의 최종적인 방사 휘도 맵에 사용되는 방사 휘도값은
Figure 112005061828497-PCT00300
로부터 직접 가져온다(단계 1922).
그 다음에, 단계(1924)에서, 아직 선택 및 처리되지 않은 최대 세기 임계값 이하의 세기를 갖는 것으로 식별된 픽셀이 있는지 판정된다. 있는 경우, 단계(1908 내지 1924)가 반복된다. 그렇지 않은 경우, 프로세스는 종료한다.
이제 도 20a 내지 도 20c를 참조하면, 고려 중인 입력 프레임이 짧은 노출 프레임이고 인접 프레임이 긴 노출 프레임인 경우, HDR 스티칭에서 이용되는 방사 휘도 맵 복원은 다음과 같이 달성된다.
1. 먼저,
Figure 112005061828497-PCT00301
, 및
Figure 112005061828497-PCT00302
가 방사 휘도 이미지로 변환된다(단계 2000). 이들 방사 휘도 이미지는 각각
Figure 112005061828497-PCT00303
,
Figure 112005061828497-PCT00304
, 및
Figure 112005061828497-PCT00305
로 표시된다.
2. 그 다음에, 소정의 최소값(예를 들어, 본 발명의 방사 휘도 맵 복원 절차의 테스트된 실시예에서 16)을 넘는 세기 범위에 속하는 입력 이미지 S 내이 픽셀들이 식별되고(단계 2002), 이들 중 이전에 미선택된 것이 선택된다(단계 2004). 이들 픽셀은 짧은 또는 긴 노출 프레임에서 적절히 노출될 수 있는 장면의 영역들을 나타낸다. 이들 픽셀 각각에 대해,
Figure 112005061828497-PCT00306
및
Figure 112005061828497-PCT00307
로부터의 픽셀에 대한 방사 휘도값이
Figure 112005061828497-PCT00308
내의 대응하는 픽셀과 비교된다(단계 2006).
Figure 112005061828497-PCT00309
및
Figure 112005061828497-PCT00310
둘다로부터의 방사 휘도값이
Figure 112005061828497-PCT00311
의 방사 휘도값으로부터 상기한 최대 허용 노이즈 분산 이하인 것으 로 판명된 경우(단계 2008), 3개 모두의 가중 평균이 계산되고 최종적인 방사 휘도 맵 내의 그 픽셀 위치에 대한 방사 휘도값으로서 사용된다(단계 2010). 가중 평균 방사 휘도는 수학식 9를 사용하여 상기한 바와 같이 계산된다.
그렇지만,
Figure 112005061828497-PCT00312
및
Figure 112005061828497-PCT00313
로부터의 방사 휘도값 중 하나가 최대 허용 노이즈 분산을 벗어나는 것으로 판명되는 경우(단계 2012), 그것은 버려지고 그 픽셀 위치에 대해 최종적인 방사 휘도 맵에서 사용되는 방사 휘도값은
Figure 112005061828497-PCT00314
로부터의 값 및
Figure 112005061828497-PCT00315
및
Figure 112005061828497-PCT00316
중 하나로부터의 나머지 값의 가중 평균으로서 계산된다(단계 2014). 가중 평균은 수학식 9를 사용하여 계산되며, 여기서 버려진
Figure 112005061828497-PCT00317
및
Figure 112005061828497-PCT00318
로부터의 방사 휘도값을 포함하는 항은 수학식 10에 따라 0으로 된다.
마지막으로,
Figure 112005061828497-PCT00319
및
Figure 112005061828497-PCT00320
로부터의 방사 휘도값 둘다가 최대 허용 노이즈 분산을 벗어나는 것으로 판명되는 경우(단계 2016), 양쪽 값이 수학식 10에 따라 버려지고, 단계(2018)에서 그 픽셀 위치에 대한 최종적인 방사 휘도 맵에서 사용되는 방사 휘도값은 수학식 9에 따라
Figure 112005061828497-PCT00321
로부터 직접 가져온다.
그 다음에, 단계(2020)에서 아직 선택 및 처리되지 않은 최소 세기 임계값을 넘는 세기를 갖는 것으로 식별된 픽셀이 있는지가 판정된다. 있는 경우, 단계(2004 내지 2020)가 반복된다. 없는 경우, 프로세스는 다음과 같이 계속된다.
3. 단계(2022)에서, 상기한 최소 세기값 이하의 입력 이미지 S 내의 픽셀들이 식별된다. 이들 픽셀은 인접 픽셀과의 레지스트레이션 불량을 나타내는 것으로 가정된다. 최종적인 방사 휘도 맵에서 이들 값을 사용하지 않고, 양방향 와핑된 프레임
Figure 112005061828497-PCT00322
및
Figure 112005061828497-PCT00323
으로부터의 값이 이용된다(단계 2024). 본 발명의 방사 휘도 맵 복원 절차의 테스트된 실시예에서,
Figure 112005061828497-PCT00324
및
Figure 112005061828497-PCT00325
으로부터의 방사 휘도값이 평균되어 최종적인 방사 휘도 맵에서의 픽셀에 대한 값을 설정하였다.
상기한 방사 휘도 맵 복원 절차 논리적 규범의 예로서, 도 21a 내지 도 21d는 각각 최종적인 방사 휘도 맵에 기여하는 것으로 선택된 픽셀들을 갖는, 짧은 노출 입력 프레임 및 이웃하는 긴 노출 프레임으로부터 도출된 (
Figure 112005061828497-PCT00326
및
Figure 112005061828497-PCT00327
의 평균값을 구함으로써 생성되는) 양방향, 좌측 및 우측 와핑된 프레임을 나타낸 것이다.
4.0 시간적 톤 매핑
톤 매핑은 부동소수점 방사 휘도 맵(floating point radiance map)을 일반적인 시스템에서의 렌더링에 적합한 8 비트 표현으로 변환하는 데 사용된다. 이 프로세스는 각 프레임의 다이나믹 레인지를 감소시키면서 또한 밝게 또 어둡게 조명된 영역 둘다에 대해 양호한 콘트라스트 레벨을 유지해야만 한다. 게다가, 플리커 등의 시간적 아티팩트(temporal artifact)가 없도록 캡처된 장면들 간에 변환의 일관성이 있어야만 한다.
임의의 기존의 톤 매핑 절차가 이 목적으로 사용될 수 있지만, 본 발명의 HDR 비디오 생성 시스템은 닷징(dodging) 및 버닝(burning)의 사진 기술에 기초한, [8]에 의해 제시된 톤 매퍼(tonemapper)의 수정된 버전을 사용한다. 일반적으로, 톤 매핑 프로세스는 종래의 방법을 통해 방사 휘도 이미지를 CIE 공간으로 변환하 고 색도 좌표(chromaticity coordinate)를 복원하는 것으로 시작한다. 이어서, 다이나믹 레인지를 압축하기 위해 루미넌스 이미지가 처리된다. 마지막으로, 크로미넌스가 재삽입되고 CIE 공간 이미지가 최종적인 바이트 범위 RGB 이미지를 생성하기 위해 변환된다. 이 톤 매핑 프로세스의 일부로서, 어떤 전역적 파라미터가 전체적인 밝기 조절(brightness balance)을 제어하기 위해 설정되어야만 한다. 기본적으로, 이들 전역적 파라미터를 어떻게 설정할지를 결정하기 위해, 톤 매핑되는 입력 이미지의 통계적 분석이 수행된다. 이 프로세스가 이미지를 톤 매핑하는 데 잘 동작하지만, 본 발명의 HDR 비디오 생성 시스템에 이를 직접 적용하는 것은 문제가 되는데 그 이유는 각 프레임이 분리되어 분석된다는 사실로부터 플리커가 일어날 수 있기 때문이다.
이 문제는 본 발명의 시스템에서 기본적으로 프레임에서 프레임으로 통계를 이월함으로써 해결된다. 보다 구체적으로는, 본 발명의 시간적으로 적응된 톤 매퍼(temporally-adapted tonemapper)는 고려 중인 프레임과 이전의 프레임 둘다로부터의 정보를 사용하여, 양호한 초기 루미넌스 매핑을 제공하는 전달 함수를 제어하는 평균 및 최대 루미넌스(즉, 상기한 전역적 파라미터)를 계산하는 단계를 포함한다. 따라서, 로그 평균 루미넌스는 수학식 11에 의해 주어진다.
Figure 112005061828497-PCT00328
여기서,
Figure 112005061828497-PCT00329
은 작은 값(예를 들어, 10-6)이고, N은 양쪽 프레임에서의 총 픽셀 수이며, Fi는 시각 k-1 및 k에서의 프레임 i로 이루어진 인과적 시간 이웃(causal temporal neighborhood)이다. 이와 유사하게, 최대 루미넌스는 양쪽 프레임 내의 픽셀을 고려함으로써 결정된다. 전술한 바와 같이, 일련의 프레임을 사용하여 전역적 매핑을 제어하는 것이 톤 매핑된 시퀀스에서의 플리커를 방지하는 데 도움이 된다.
유의할 점은 단지 현재 프레임 및 바로 이전의 프레임으로부터의 통계가 본 발명의 HDR 비디오 시스템의 테스트된 실시예에서 플리커 문제를 방지하는 데 성공적으로 이용되었지만, 부가의 선행 프레임도 역시 원하는 경우 평균 및 최대 루미넌스 계산에 포함될 수 있다는 것이다.
5.0 결과
이 섹션에서, 우리는 3가지 서로 다른 동적 장면, 수산 시장, 항구 및 붐비는 거리에서의 운전에 대한 결과를 보여준다. 도 22 및 도 23은 수산 시장 및 항구 장면으로부터의 대표적인 정지 영상을 보여준다. 각 장면에 대해, 좌상 사분면은 짧은 노출 프레임이고, 우상 사분면은 긴 노출 프레임이다. 좌하 사분면은 짧은 노출과 긴 노출의 기하 평균과 같은 노출에 대해 프레임이 어떻게 보일 것인지를 나타낸 것이다. 방사 휘도가 로그 공간에서 정상적으로 처리되기만 한다면, 이것은 타당하다. 좌하 사분면 내의 이미지는 우리의 방법을 사용하여 생성된 것이다.
수산 시장 장면. 수산 시장 장면으로부터의 스냅샷이 도 22의 좌측에서 볼 수 있다. 단일 노출 버전이 적당한 것처럼 보이지만, 어떤 포화(특히 중간 및 우상 코너)는 물론, 낮은 콘트라스트 영역도 있다. 우리의 HDR 방법을 사용하여 생성된 프레임에서, (긴 노출 프레임조차도 디테일을 거의 보여주지 않는, 카운터의 베이스를 제외한) 거의 모든 곳에서 양호한 디테일을 볼 수 있다.
항구 장면. 비디오는 사무실 내부에서 항구를 내려다보면서 캡처되었다. 비디오에서, 사무실 내부에서 어떤 사람 활동이 관찰될 수 있는 동안 선착장이 창문 밖에서 움직이는 것을 볼 수 있다. 도 23의 우측에서 보는 바와 같이, 단일 노출은 상당히 큰 포화 영역과 낮은 콘트라스트 영역 둘다를 갖는다. 반면에, 우리의 방법을 사용하여 생성된 프레임에서, 선착장 및 수면을 깨끗하게 볼 수 있다. 또한, 사무실 내부에서 더 많은 디테일을 볼 수 있다.
운전 장면. 운전하는 장면에 대한 결과는 도 24에서 볼 수 있다. 상부열은 짧은 노출과 긴 노출이 교대로 있는 입력 비디오 시퀀스의 일부분을 나타낸 것이이고, 하부열은 이들 프레임으로부터 생성된 HDR 비디오 프레임을 나타낸 것이다. 이 예에서, 운전자는 약 25 mph로 붐비는 거리를 운전하여 지나가고 있다. 이것은 특히 어려운 장면인데 그 이유는 때때로 운전자의 손의 빠른 움직임으로 인해 프레임간 변위가 크기 때문이다. 우리의 광학적 흐름 알고리즘은 이러한 큰 움직임에 대해 때때로 실패하지만, 이 문제는 더 높은 프레임 레이트 카메라를 사용하여 해소될 수 있다.
결과를 보면, 우리의 기술이 많은 양의 시각적 움직임을 적절히 처리하면서 다이나믹 레인지가 향상된 비디오를 생성한다는 것을 알 수 있다. 그렇지만, 아주 빠른 움직임에 대해서는, 초당 15 프레임의 우리의 현재의 낮은 샘플링 레이트가 주어진 경우, 우리의 기술은 때때로 아티팩트를 생성한다. 그렇지만, 더 빠른 캡처 레이트를 갖는 카메라를 사용하면 이 문제가 완화된다.
6.0 참조 문헌
[1] L. Bogoni. Extending dynamic range of monochrome and color images through fusion(융합을 통한 모노크롬 및 컬러 이미지의 다이나믹 레인지의 확장). Int'l Conf. on Pattern Recognition, vol. 3, 7-12 페이지, 2000년 9월
[2] F. Durand 및 J. Dorsey. Fast bilateral filtering for the display of high dynamic range images(하이 다이나믹 레인지 이미지의 디스플레이를 위한 고속 양방향 필터링). ACM Trans. on Graphics(TOG), 21(3):257-266, 2002년
[3] P.E. Debevec 및 J. Malik. Recovering high dynamic range radiance maps from photographs(사진으로부터 하이 다이나믹 레인지 방사 휘도 맵 복원). Proc. of SIGGRAPH 97, 369-378 페이지, 1997년 8월
[4] R. Fattal, D. Lischinski, 및 M. Werman. Gradient domain high dynamic range compression(구배 영역 하이 다이나믹 레인지 압축). ACM Trnas. on Graphics, 21(3):249-256, 2002년
[5] B.D. Lucas 및 T. Kanade. An iterative image registration technique with an application in stereo vision(입체 시각에 응용을 갖는 반복적 이미지 레지스트레이션 기술). In Int'l Joint Conf. on Artificial Intelligence, 674-679 페이지, 1981년
[6] S. Mann, C. Manders, 및 J. Fung. Painting with Looks: Photographic images from video using quantimetric processing(퀀티메트릭 처리를 사용한 비디오로부터의 사진 이미지). In ACM Multimedia, 2002년 12월
[7] T. Mitsunaga 및 S.K. Nayar. Radiometric self calibration(방사성 측정 자체 캘리브레이션). In IEEE Conf. on Computer Vision and Pattern Recognition, volume 1, 374-380 페이지, 1999년 6월.
[8] T. Mitsunaga 및 S.K. Nayar. High dynamic range imaging: Spatially varying pixel exposure(하이 다이나믹 레인지 촬영: 공간적으로 변동하는 픽셀 노출). In IEEE Conf. on Computer Vision and Pattern Recognition, volume 1, 472-479 페이지, 2000년 6월.
[9] E. Reinhard, M. Stark. P. Shirley, 및 J. Ferwerda. Photographic tone reproduction for digital images(디지털 이미지에 대한 사진 톤 재현). ACM Trans. on Graphics. 21(3): 267-276, 2002년.
[10] Y. Tsin, V. Ramesh, 및 T. Kanade. Statistical calibration of CCD imaging process(CCD 촬영 프로세스의 통계적 캘리브레이션). In Int'l Conf. on Computer Vision, volume 1, 480-487 페이지, 2001년 7월.

Claims (60)

  1. 각 프레임의 노출을 변동시키면서 캡처된 이미지 시퀀스로부터 하이 다이나믹 레인지(high dynamic range, HDR) 비디오를 생성하는 컴퓨터 구현 프로세스로서,
    상기 프로세스는, 컴퓨터를 사용하여,
    비디오 이미지 시퀀스의 각 프레임이 캡처되기 전에 그에 대한 노출을 픽셀 밝기 분포(pixel brightness distribution)의 함수로서 설정하는 단계,
    소정의 수의 시작 프레임 후에 비디오의 각 프레임에 대해,
    고려 중인 프레임과 대응하는 픽셀 세트를 나타내는 선행 및 후속의 이웃 프레임 둘다 간의 대응하는 픽셀들을 식별하는 단계, 및
    각각의 대응하는 픽셀 세트에 대해, 신뢰 픽셀을 나타내는 그 세트 내의 적어도 하나의 픽셀을 식별하고 HDR 비디오의 프레임을 나타내는 방사 휘도 맵을 형성하기 위해 하나 이상의 식별된 신뢰 픽셀과 연관된 픽셀 컬러 정보를 이용하여 그 픽셀 세트에 대한 방사 휘도값을 계산하는 단계를 포함하는 프로세스.
  2. 제1항에 있어서, 방사 휘도 맵을 렌더링에 적합한 8 비트 표현으로 변환하기 위해 방사 휘도 맵을 톤 매핑하는 단계를 더 포함하는 프로세스.
  3. 제1항에 있어서, 비디오 이미지 시퀀스의 프레임들은 짧은 노출에서 캡처된 프레임과 긴 노출에서 캡처된 프레임이 교대로 있는 것인 프로세스.
  4. 제3항에 있어서, 비디오 이미지 시퀀스의 각 프레임에 대한 노출을 설정하는 단계는, 각각의 순차적인 긴 노출 프레임과 짧은 노출 프레임 쌍 간의 노출비가 최소로 되면서 동시에 프레임들에 표시된 장면에 대한 거의 전 범위의 방사 휘도를 생성하도록 각 프레임의 노출을 설정하는 단계를 포함하는 것인 프로세스.
  5. 제3항에 있어서, 비디오 이미지 시퀀스의 각 프레임에 대한 노출을 설정하는 단계는,
    소정의 수의 시작 프레임을 캡처하는 단계로서, 소정의 수는 적어도 2인 것인 캡처 단계,
    비디오 이미지 시퀀스의 마지막 2개의 이전에 캡처된 프레임에 대한 개별적인 세기 히스토그램을 계산하는 단계,
    캡처된 마지막 2개의 프레임과 연관된 노출 설정이 같은지 여부를 판정하는 단계, 또 캡처된 마지막 2개의 프레임과 연관된 노출 설정이 같은 것으로 판정된 경우, 이전에 캡처된 프레임의 마지막 쌍에 대해 그의 노출 과다 픽셀 수(over-exposed pixel count) 및 노출 부족 픽셀 수(under-exposed pixel count)가 각각 소정의 노출 과다 픽셀 목표 수 및 노출 부족 픽셀 목표 수보다 적은지 여부를 판정하는 단계, 또 이전에 캡처된 프레임의 마지막 쌍의 각 프레임이 소정의 노출 과다 픽셀 목표 수 및 노출 부족 픽셀 목표 수보다 각각 적은 노출 과다 픽셀 수 및 노출 부족 픽셀 수를 갖는 것으로 판정된 경우, 캡처되는 그 다음 2개의 프레임 중 제1 프레임의 새로운 노출을, 이전에 캡처된 프레임의 마지막 쌍 중 제1 프레임과 연관된 세기 히스토그램이 그의 픽셀값 범위 내에서 중앙에 오도록 하는 값으로 설정하는 단계, 및 캡처되는 그 다음 2개의 프레임 중 제2 프레임의 새로운 노출을, 이전에 캡처된 프레임의 마지막 쌍 중 제2 프레임과 연관된 세기 히스토그램이 그의 픽셀값 범위 내에서 중앙에 오도록 하는 값으로 설정하는 단계,
    캡처된 마지막 2개의 프레임과 연관된 노출 설정이 같지 않거나, 또는 이전에 캡처된 프레임의 마지막 쌍 중 한쪽 프레임 또는 양쪽 프레임이 소정의 노출 과다 픽셀 목표 수 및 노출 부족 픽셀 목표 수보다 각각 많거나 같은 노출 과다 픽셀 수 또는 노출 부족 픽셀 수를 갖는 것으로 판정되는 경우,
    노출 과다 픽셀 수가 짧은 노출 설정을 갖는 이전에 캡처된 프레임의 마지막 쌍의 프레임에서의 노출 과다 픽셀 목표 수의 소정의 퍼센트보다 적은지 여부가 판정하는 단계,
    노출 과다 픽셀 수가 짧은 노출 프레임에서의 노출 과다 픽셀 목표 수의 소정의 퍼센트보다 적은 것으로 판명된 경우, 캡처될 그 다음 짧은 노출 프레임에 대한 노출을 고려 중인 짧은 노출 프레임에 대해 사용된 노출값을 넘는 증가를 나타내는 노출값으로 설정하는 단계,
    노출 부족 픽셀 수가 긴 노출 설정을 갖는 이전에 캡처된 프레임의 마지막 쌍의 프레임에서의 노출 부족 픽셀 목표 수의 소정의 퍼센트보다 적은지 여부를 판정하는 단계,
    노출 부족 픽셀 수가 긴 노출 프레임에서의 노출 부족 픽셀 목표 수의 소정의 퍼센트보다 적은 것으로 판명된 경우, 캡처될 그 다음 긴 노출 프레임에 대한 노출을 고려 중인 긴 노출 프레임에 대해 사용된 노출값을 넘는 감소를 나타내는 노출값으로 설정하는 단계,
    캡처될 긴 노출 프레임 및 짧은 노출 프레임에 대해 설정된 노출값의 비가 소정의 최대 허용 노출비보다 크거나 같은지를 판정하는 단계,
    노출값의 상기 비가 소정의 최대 허용 노출비보다 크거나 같은 것으로 판명되는 경우, 캡처될 그 다음 긴 노출 프레임에 대한 노출값 및 캡처될 그 다음의 짧은 노출 프레임에 대한 노출값을, 이들 노출값의 비가 소정의 최대 허용 노출비를 초과하게 하지 않는 그 다음 긴 노출 프레임과 짧은 노출 프레임에 대한 정정된 노출값을 설정하기 위해, 고려 중인 짧은 노출 프레임과 연관된 노출 과다 픽셀 수를 고려 중인 긴 노출 프레임과 연관된 노출 부족 픽셀 수와 균형을 이루도록 함으로써, 재설정하는 단계,
    고려 중인 긴 노출 프레임과 짧은 노출 프레임과 연관된 노출값의 비가 소정의 최대 허용 노출비보다 크거나 같지 않은 것으로 판명되는 경우,
    노출 과다 픽셀 수가 노출 과다 픽셀 목표 수보다 많은지를 판정하는 단계, 또 노출 과다 픽셀 수가 노출 과다 픽셀 목표 수보다 많은 경우, 캡처될 그 다음의 짧은 노출 프레임에 대한 노출을 고려 중인 짧은 노출 프레임에 대해 사용된 노출값을 넘는 감소를 나타내는 노출값으로 설정하는 단계,
    노출 부족 픽셀 수가 노출 부족 픽셀 목표 수보다 많은지 여부를 판정하는 단계, 또 노출 부족 픽셀 수가 노출 부족 픽셀 목표 수보다 많은 경우, 캡처될 그 다음의 긴 노출 프레임에 대한 노출을 고려 중인 긴 노출 프레임에 대해 사용되는 노출값을 넘는 증가를 나타내는 노출값으로 설정하는 단계, 및
    캡처될 그 다음의 긴 노출 프레임 및 짧은 노출 프레임에 대한 마지막으로 설정된 노출값의 비가 소정의 최대 허용 노출비보다 크거나 같은지를 판정하는 단계, 또 이들 노출값의 비가 소정의 최대 허용 노출비보다 크거나 같은 것으로 판명되는 경우, 캡처될 그 다음의 긴 노출 프레임에 대한 노출값 및 캡처될 그 다음의 짧은 노출 프레임에 대한 노출값을, 이들 노출값의 비가 소정의 최대 허용 노출비를 초과하게 하지 않는 그 다음의 긴 노출 프레임 및 짧은 노출 프레임에 대한 정정된 노출값을 설정하기 위해, 고려 중인 짧은 노출 프레임과 연관된 노출 과다 픽셀 수를 고려 중인 긴 노출 프레임과 연관된 노출 부족 픽셀 수와 균형을 이루게 함으로써, 재설정하는 단계를 포함하는 것인 프로세스.
  6. 제5항에 있어서, 소정의 수의 시작 프레임을 캡처하는 단계는, 소정의 일련의 노출 설정에서 시작 프레임을 캡처하는 단계를 포함하는 것인 프로세스.
  7. 제5항에 있어서, 소정의 수의 시작 프레임을 캡처하는 단계는, 비디오 이미지 시퀀스를 캡처하는 데 사용되는 비디오 카메라의 자동 이득(auto-gain)을 사용하여 시작 프레임을 캡처하는 단계를 포함하는 것인 프로세스.
  8. 제5항에 있어서, 캡처되는 그 다음 2개의 프레임 중 제1 프레임의 새로운 노출을, 이전에 캡처된 프레임의 마지막 쌍 중 제1 프레임과 연관된 세기 히스토그램이 그의 픽셀값 범위 내에서 중앙에 오도록 하는 값으로 설정하는 단계는, 이전에 캡처된 프레임의 마지막 쌍의 상기 제1 프레임의 노출 값을, 제1 프레임의 세기 히스토그램의 평균을 나타내는 세기값에서의 카메라 응답 함수의 역함수에 대한 장면의 예상 세기값의 범위의 중간 세기값에서의 카메라 응답 함수의 역함수의 비와 곱하는 단계를 포함하는 것인 프로세스.
  9. 제5항에 있어서, 캡처되는 그 다음 2개의 프레임 중 제2 프레임의 새로운 노출을, 이전에 캡처된 프레임의 마지막 쌍 중 제2 프레임과 연관된 세기 히스토그램이 그의 픽셀값 범위 내에서 중앙에 오도록 하는 값으로 설정하는 단계는, 이전에 캡처된 프레임의 마지막 쌍의 상기 제2 프레임의 노출 값을, 제2 프레임의 세기 히스토그램의 평균을 나타내는 세기값에서의 카메라 응답 함수의 역함수에 대한 장면의 예상 세기값의 범위의 중간 세기값에서의 카메라 응답 함수의 역함수의 비와 곱하는 단계를 포함하는 것인 프로세스.
  10. 제5항에 있어서, 노출 과다 픽셀 수가 포화 픽셀의 수를 나타내고, 노출 부족 픽셀 수가 흑색 픽셀의 수를 나타내며, 노출 과다 픽셀 목표 수가 고려 중인 프레임 내의 총 픽셀 수의 약 1 내지 5 퍼센트의 범위 내에 있고, 노출 부족 픽셀 수가 고려 중인 프레임 내의 총 픽셀 수의 약 1 내지 5 퍼센트의 범위 내에 있는 것 인 프로세스.
  11. 제5항에 있어서, 캡처될 그 다음 짧은 노출 프레임에 대한 노출을 고려 중인 짧은 노출 프레임에 대해 사용된 노출값을 넘는 증가를 나타내는 노출값으로 설정하는 단계는, 고려 중인 짧은 노출 프레임의 노출값을, 가장 작은 값부터 시작하여 세기값 순서로 정렬할 때 고려 중인 짧은 노출 프레임의 픽셀들의 처음 99% 중에서 획득되는 최고 세기값을 나타내는 세기값에서의 카메라 응답 함수의 역함수에 대한 포화 셀을 나타내는 세기값에서의 카메라 응답 함수의 역함수의 비와 곱하는 단계를 포함하는 것인 프로세스.
  12. 제5항에 있어서, 캡처될 그 다음 긴 노출 프레임에 대한 노출을 고려 중인 긴 노출 프레임에 대해 사용된 노출값을 넘는 감소를 나타내는 노출값으로 설정하는 단계는,
    고려 중인 긴 노출 프레임의 노출값을, 가장 작은 값부터 시작하여 세기값 순서로 정렬할 때 고려 중인 긴 노출 프레임의 픽셀들의 처음 1% 중에서 획득되는 최고 세기값을 나타내는 세기값에서의 카메라 응답 함수의 역함수에 대한 흑색 픽셀을 나타내는 세기값에서의 카메라 응답 함수의 역함수의 비와 곱하는 단계를 포함하는 것인 프로세스.
  13. 제5항에 있어서, 캡처될 그 다음의 긴 노출 프레임에 대한 노출값 및 캡처될 그 다음의 짧은 노출 프레임에 대한 노출값을, 고려 중인 긴 노출 프레임 및 짧은 노출 프레임과 연관된 노출값의 비가 소정의 최대 허용 노출비를 초과하게 하게 하면서 고려 중인 짧은 노출 프레임과 연관된 노출 과다 픽셀 수가 고려 중인 긴 노출 프레임과 연관된 노출 부족 픽셀 수와 균형을 이루도록 설정하는 단계는,
    고려 중인 짧은 노출 프레임에 대한 정정된 노출 과다 픽셀 수를, 고려 중인 짧은 노출 프레임의 노출 과다 픽셀 수의 1/2을 고려 중인 긴 노출 프레임의 노출 부족 픽셀 수의 1/2에 가산함으로써 계산하는 단계,
    짧은 노출 프레임에 대해 생성된 세기 히스토그램을, 정정된 노출 과다 픽셀 수와 연관된 세기값을 찾아내는 데 사용하는 단계,
    고려 중인 짧은 노출 프레임의 노출값을, 캡처될 그 다음의 짧은 노출 프레임에 대한 노출값을 생성하기 위해, 정정된 노출 과다 픽셀 수와 연관된 세기값에서의 카메라 응답 함수의 역함수에 대한 포화 픽셀을 나타내는 세기값에서의 카메라 응답 함수의 역함수의 비와 곱하는 단계, 및
    캡처된 그 다음의 긴 노출 프레임에 대한 노출을, 캡처될 그 다음의 짧은 노출 프레임에 대해 계산된 노출을 소정의 최대 허용 노출비와 곱함으로써 계산하는 단계를 포함하는 것인 프로세스.
  14. 제5항에 있어서, 캡처될 그 다음의 짧은 노출 프레임에 대한 노출을 고려 중인 짧은 노출 프레임에 대해 사용된 노출값을 넘는 감소를 나타내는 노출값으로 설정하는 단계는,
    그 다음의 짧은 노출 프레임을 캡처하는 데 사용될 노출값을 생성하기 위해, 고려 중인 짧은 노출 프레임과 연관된 노출값이 감소되어야 하는 퍼센트를 지정하는 데 범프 절차(bump procedure)를 이용하는 단계를 포함하며,
    상기 범프 절차는,
    고려 중인 짧은 노출 프레임의 노출값이 고려 중인 프레임 이전에 캡처된 마지막 짧은 노출 프레임을 캡처하는 데 사용된 노출값을 넘는 감소를 나타내는지를 판정하는 단계,
    고려 중인 짧은 노출 프레임의 노출값이 감소를 나타내지 않는 것으로 판정되는 경우, 감소 퍼센트를 소정의 기본 퍼센트로 지정하는 단계,
    고려 중인 짧은 노출 프레임의 노출값이 감소를 나타내는 것으로 판정되는 경우, 고려 중인 짧은 노출 프레임과 연관된 노출 과다 픽셀 수가 고려 중인 프레임 이전에 캡처된 마지막 짧은 노출 프레임과 연관된 노출 과다 픽셀 수보다 많거나 같은지를 판정하는 단계,
    고려 중인 짧은 노출 프레임과 연관된 노출 과다 픽셀 수가 고려 중인 프레임 이전에 캡처된 마지막 짧은 노출 프레임과 연관된 노출 과다 픽셀 수보다 많거나 같은 경우, 감소 퍼센트를, 고려 중인 짧은 노출 프레임과 연관된 노출값을 최대 100 퍼센트까지 설정하기 위해 적용된 것의 2배로 지정하는 단계,
    고려 중인 짧은 노출 프레임과 연관된 노출 과다 픽셀 수가 고려 중인 프레임 이전에 캡처된 마지막 짧은 노출 프레임과 연관된 노출 과다 픽셀 수보다 많거나 같지 않은 경우, 감소 퍼센트를, 고려 중인 짧은 노출 프레임과 연관된 노출값 을 설정하기 위해 적용된 것과 동일하게 지정하는 단계, 및
    캡처될 그 다음의 짧은 노출 프레임에 대한 노출 설정을 설정하기 위해 고려 중인 짧은 노출 프레임과 연관된 노출 설정을 지정된 감소 퍼센트만큼 감소시키는 단계를 포함하는 것인 프로세스.
  15. 제5항에 있어서, 캡처될 그 다음의 긴 노출 프레임에 대한 노출을 고려 중인 긴 노출 프레임에 대해 사용된 노출값을 넘는 증가를 나타내는 노출값으로 설정하는 단계는,
    그 다음의 긴 노출 프레임을 캡처하는 데 사용될 노출값을 생성하기 위해, 고려 중인 긴 노출 프레임과 연관된 노출값이 증가되어야 하는 퍼센트를 지정하는 데 범프 절차(bump procedure)를 이용하는 단계를 포함하며,
    상기 범프 절차는,
    고려 중인 긴 노출 프레임의 노출값이 고려 중인 프레임 이전에 캡처된 마지막 긴 노출 프레임을 캡처하는 데 사용된 노출값을 넘는 증가를 나타내는지를 판정하는 단계,
    고려 중인 긴 노출 프레임의 노출값이 증가를 나타내지 않는 것으로 판정되는 경우, 증가 퍼센트를 소정의 기본 퍼센트로 지정하는 단계,
    고려 중인 긴 노출 프레임의 노출값이 증가를 나타내는 것으로 판정되는 경우, 고려 중인 긴 노출 프레임과 연관된 노출 부족 픽셀 수가 고려 중인 프레임 이전에 캡처된 마지막 긴 노출 프레임과 연관된 노출 부족 픽셀 수보다 많거나 같은 지를 판정하는 단계,
    고려 중인 긴 노출 프레임과 연관된 노출 부족 픽셀 수가 고려 중인 프레임 이전에 캡처된 마지막 긴 노출 프레임과 연관된 노출 부족 픽셀 수보다 많거나 같은 경우, 증가 퍼센트를, 고려 중인 긴 노출 프레임과 연관된 노출값을 최대 100 퍼센트까지 설정하기 위해 적용된 것의 2배로 지정하는 단계,
    고려 중인 긴 노출 프레임과 연관된 노출 부족 픽셀 수가 고려 중인 프레임 이전에 캡처된 마지막 긴 노출 프레임과 연관된 노출 부족 픽셀 수보다 많거나 같지 않은 경우, 증가 퍼센트를, 고려 중인 긴 노출 프레임과 연관된 노출값을 설정하기 위해 적용된 것과 동일하게 지정하는 단계, 및
    캡처될 그 다음의 긴 노출 프레임에 대한 노출 설정을 설정하기 위해 고려 중인 긴 노출 프레임과 연관된 노출 설정을 지정된 증가 퍼센트만큼 증가시키는 단계를 포함하는 것인 프로세스.
  16. 제5항에 있어서, 고려 중인 긴 노출 프레임 및 짧은 노출 프레임과 연관된 노출값의 비는 긴 노출 프레임과 연관된 노출값을 짧은 프레임과 연관된 노출값으로 나눈 것을 포함하고,
    소정의 최대 허용 노출비는 약 1 내지 약 32의 범위에 있는 것인 프로세스.
  17. 제3항에 있어서, 고려 중인 프레임과 대응하는 픽셀 세트를 나타내는 선행 및 후속의 이웃 프레임 둘다 간의 대응하는 픽셀들을 식별하는 단계는,
    바로 앞의 이웃 프레임을, 선행 프레임의 고려 중인 프레임에의 대략적인 레지스트레이션(registration)을 생성하기 위해 단방향으로 와핑하는 단계(uni-directionally warping),
    바로 뒤의 이웃 프레임을, 후속 프레임의 고려 중인 프레임에의 대략적인 레지스트레이션을 생성하기 위해 단방향으로 와핑하는 단계, 및
    상기 선행 프레임 및 후속 프레임을, 상기 이웃 프레임의 고려 중인 프레임에의 대략적인 레지스트레이션을 나타내는 정교화된 전방 와핑된 프레임 및 후방 와핑된 프레임을 생성하기 위해 양방향으로 와핑하는 단계(bi-directionally warping)를 포함하는 것인 프로세스.
  18. 제17항에 있어서, 바로 앞의 이웃 프레임을, 선행 프레임의 고려 중인 프레임에의 대략적인 레지스트레이션을 생성하기 위해 단방향으로 와핑하는 단계는,
    고려 중인 프레임이 긴 노출 프레임이고 상기 선행 및 후속 프레임이 짧은 노출 프레임인 경우,
    상기 선행 프레임의 세기를 긴 노출 프레임의 세기 범위와 거의 일치하도록 부스팅하는 단계,
    전방 와핑 기술을 사용하여 상기 선행 프레임을 고려 중인 프레임에 레지스트레이션하는 단계,
    고려 중인 프레임이 짧은 노출 프레임이고 상기 선행 및 후속 프레임이 긴 노출 프레임인 경우,
    고려 중인 짧은 노출 프레임의 세기를 선행 프레임의 세기 범위와 거의 일치하도록 부스팅하는 단계, 및
    전방 와핑 기술을 사용하여 상기 선행 프레임을 고려 중인 프레임에 레지스트레이션하는 단계를 포함하는 것인 프로세스.
  19. 제17항에 있어서, 바로 뒤의 이웃 프레임을, 후속 프레임의 고려 중인 프레임에의 대략적인 레지스트레이션을 생성하기 위해 단방향으로 와핑하는 단계는,
    고려 중인 프레임이 긴 노출 프레임이고 상기 선행 및 후속 프레임이 짧은 노출 프레임인 경우,
    상기 후속 프레임의 세기를 긴 노출 프레임의 세기 범위와 거의 일치하도록 부스팅하는 단계,
    후방 와핑 기술을 사용하여 상기 후속 프레임을 고려 중인 프레임에 레지스트레이션하는 단계,
    고려 중인 프레임이 짧은 노출 프레임이고 상기 선행 및 후속 프레임이 긴 노출 프레임인 경우,
    고려 중인 짧은 노출 프레임의 세기를 후속 프레임의 세기 범위와 거의 일치하도록 부스팅하는 단계, 및
    후방 와핑 기술을 사용하여 상기 후속 프레임을 고려 중인 프레임에 레지스트레이션하는 단계를 포함하는 것인 프로세스.
  20. 제17항에 있어서, 상기 선행 프레임 및 후속 프레임을, 상기 이웃 프레임의 고려 중인 프레임에의 대략적인 레지스트레이션을 나타내는 정교화된 전방 와핑된 프레임 및 후방 와핑된 프레임을 생성하기 위해 양방향으로 와핑하는 단계는,
    고려 중인 프레임이 긴 노출 프레임이고 상기 선행 및 후속 프레임이 거의 동일한 노출을 갖는 짧은 노출 프레임인 경우,
    선행 및 후속 프레임에 대해 각각 양방향 흐름 필드(bi-directional flow field)를 계산하는 단계,
    전방 와핑된 프레임을 생성하기 위해, 선행 프레임을 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑하는 단계,
    후방 와핑된 프레임을 생성하기 위해, 후속 프레임을 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑하는 단계,
    보간 프레임을 생성하기 위해 전방 와핑된 프레임 및 후방 와핑된 프레임을 합성하는 단계,
    보간 프레임의 세기를, 긴 노출 프레임의 세기 범위와 거의 일치하도록 부스팅하는 단계,
    세기 부스팅된 보간 프레임을 고려 중인 긴 노출 프레임에 가장 잘 매핑하는 정교화 흐름 필드(refining flow field)를 계산하는 단계,
    선행 프레임에 대한 정교화된 전방 흐름 필드를 생성하기 위해 정교화 흐름 필드를 그 프레임에 대해 계산된 양방향 흐름 필드와 연결(concatenate)하고 또 정교화된 전방 와핑된 프레임을 생성하기 위해 정교화된 전방 흐름 필드를 사용하여 상기 선행 프레임을 와핑하는 단계, 및
    후속 프레임에 대한 정교화된 후방 흐름 필드를 생성하기 위해 정교화 흐름 필드를 그 프레임에 대해 계산된 양방향 흐름 필드와 연결하고 또 정교화된 후방 와핑된 프레임을 생성하기 위해 정교화된 후방 흐름 필드를 사용하여 상기 후속 프레임을 와핑하는 단계를 포함하는 것인 프로세스.
  21. 제17항에 있어서, 상기 선행 프레임 및 후속 프레임을, 상기 이웃 프레임의 고려 중인 프레임에의 대략적인 레지스트레이션을 나타내는 정교화된 전방 와핑된 프레임 및 후방 와핑된 프레임을 생성하기 위해 양방향으로 와핑하는 단계는,
    고려 중인 프레임이 긴 노출 프레임이고 상기 선행 및 후속 프레임이 실질적으로 서로 다른 노출을 갖는 짧은 노출 프레임인 경우,
    선행 프레임과 연관된 노출이 후속 프레임과 연관된 노출보다 짧은지 긴지를 판정하는 단계,
    선행 프레임과 연관된 노출이 후속 프레임과 연관된 노출보다 짧은 것으로 판정된 경우, 선행 프레임의 세기를 후속 프레임의 세기 범위와 거의 일치하도록 부스팅하고, 선행 프레임과 연관된 노출이 후속 프레임과 연관된 노출보다 긴 것으로 판정된 경우, 후속 프레임의 세기를 선행 프레임의 세기 범위와 거의 일치하도록 부스팅하는 단계,
    선행 및 후속 프레임에 대해 각각 양방향 흐름 필드를 계산하는 단계,
    전방 와핑된 프레임을 생성하기 위해 선행 프레임을 그 프레임에 대해 계산 된 양방향 흐름 필드를 사용하여 와핑하는 단계로서, 선행 프레임이 세기가 부스팅된 경우 세기 부스팅된 버전의 프레임이 와핑되는 것인 와핑 단계,
    후방 와핑된 프레임을 생성하기 위해 후속 프레임을 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑하는 단계로서, 후속 프레임이 세기가 부스팅된 경우 세기 부스팅된 버전의 프레임이 와핑되는 것인 와핑 단계,
    보간 프레임을 생성하기 위해 전방 와핑된 프레임과 후방 와핑된 프레임을 합성하는 단계,
    보간 프레임의 세기를 긴 노출 프레임의 세기 범위와 거의 일치하도록 부스팅하는 단계,
    세기 부스팅된 보간 프레임을 고려 중인 긴 노출 프레임에 가장 잘 매핑하는 정교화 흐름 필드를 계산하는 단계,
    선행 프레임에 대한 정교화된 전방 흐름 필드를 생성하기 위해 정교화 흐름 필드를 그 프레임에 대해 계산된 양방향 흐름 필드와 연결하고 또 정교화된 전방 와핑된 프레임을 생성하기 위해 정교화된 전방 흐름 필드를 사용하여 상기 선행 프레임을 와핑하는 단계, 및
    후속 프레임에 대한 정교화된 후방 흐름 필드를 생성하기 위해 정교화 흐름 필드를 그 프레임에 대해 계산된 양방향 흐름 필드와 연결하고 또 정교화된 후방 와핑된 프레임을 생성하기 위해 정교화된 후방 흐름 필드를 사용하여 상기 후속 프레임을 와핑하는 단계를 포함하는 것인 프로세스.
  22. 제17항에 있어서, 상기 선행 프레임 및 후속 프레임을, 상기 이웃 프레임의 고려 중인 프레임에의 대략적인 레지스트레이션을 나타내는 정교화된 전방 와핑된 프레임 및 후방 와핑된 프레임을 생성하기 위해 양방향으로 와핑하는 단계는,
    고려 중인 프레임이 짧은 노출 프레임이고 상기 선행 및 후속 프레임이 거의 동일한 노출을 갖는 긴 노출 프레임인 경우,
    선행 및 후속 프레임에 대해 각각 양방향 흐름 필드(bi-directional flow field)를 계산하는 단계,
    전방 와핑된 프레임을 생성하기 위해, 선행 프레임을 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑하는 단계,
    후방 와핑된 프레임을 생성하기 위해, 후속 프레임을 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑하는 단계,
    보간 프레임을 생성하기 위해 전방 와핑된 프레임 및 후방 와핑된 프레임을 합성하는 단계,
    고려 중인 프레임의 세기를, 선행 및 후속 프레임의 세기 범위와 거의 일치하도록 부스팅하는 단계,
    보간 프레임을 고려 중인 세기 부스팅된 프레임에 가장 잘 매핑하는 정교화 흐름 필드(refining flow field)를 계산하는 단계,
    선행 프레임에 대한 정교화된 전방 흐름 필드를 생성하기 위해 정교화 흐름 필드를 그 프레임에 대해 계산된 양방향 흐름 필드와 연결(concatenate)하고 또 정교화된 전방 와핑된 프레임을 생성하기 위해 정교화된 전방 흐름 필드를 사용하여 상기 선행 프레임을 와핑하는 단계, 및
    후속 프레임에 대한 정교화된 후방 흐름 필드를 생성하기 위해 정교화 흐름 필드를 그 프레임에 대해 계산된 양방향 흐름 필드와 연결하고 또 정교화된 후방 와핑된 프레임을 생성하기 위해 정교화된 후방 흐름 필드를 사용하여 상기 후속 프레임을 와핑하는 단계를 포함하는 것인 프로세스.
  23. 제17항에 있어서, 상기 선행 프레임 및 후속 프레임을, 상기 이웃 프레임의 고려 중인 프레임에의 대략적인 레지스트레이션을 나타내는 정교화된 전방 와핑된 프레임 및 후방 와핑된 프레임을 생성하기 위해 양방향으로 와핑하는 단계는,
    고려 중인 프레임이 짧은 노출 프레임이고 상기 선행 및 후속 프레임이 실질적으로 서로 다른 노출을 갖는 긴 노출 프레임인 경우,
    선행 프레임과 연관된 노출이 후속 프레임과 연관된 노출보다 짧은지 긴지를 판정하는 단계,
    선행 프레임과 연관된 노출이 후속 프레임과 연관된 노출보다 짧은 것으로 판정된 경우, 선행 프레임의 세기를 후속 프레임의 세기 범위와 거의 일치하도록 부스팅하고, 선행 프레임과 연관된 노출이 후속 프레임과 연관된 노출보다 긴 것으로 판정된 경우, 후속 프레임의 세기를 선행 프레임의 세기 범위와 거의 일치하도록 부스팅하는 단계,
    선행 및 후속 프레임에 대해 각각 양방향 흐름 필드를 계산하는 단계,
    전방 와핑된 프레임을 생성하기 위해 선행 프레임을 그 프레임에 대해 계산 된 양방향 흐름 필드를 사용하여 와핑하는 단계로서, 선행 프레임이 세기가 부스팅된 경우 세기 부스팅된 버전의 프레임이 와핑되는 것인 와핑 단계,
    후방 와핑된 프레임을 생성하기 위해 후속 프레임을 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑하는 단계로서, 후속 프레임이 세기가 부스팅된 경우 세기 부스팅된 버전의 프레임이 와핑되는 것인 와핑 단계,
    보간 프레임을 생성하기 위해 전방 와핑된 프레임과 후방 와핑된 프레임을 합성하는 단계,
    고려 중인 프레임의 세기를 선행 및 후속 프레임의 평균 세기 범위와 거의 일치하도록 부스팅하는 단계,
    보간 프레임을 고려 중인 세기 부스팅된 프레임에 가장 잘 매핑하는 정교화 흐름 필드를 계산하는 단계,
    선행 프레임에 대한 정교화된 전방 흐름 필드를 생성하기 위해 정교화 흐름 필드를 그 프레임에 대해 계산된 양방향 흐름 필드와 연결하고 또 정교화된 전방 와핑된 프레임을 생성하기 위해 정교화된 전방 흐름 필드를 사용하여 상기 선행 프레임을 와핑하는 단계, 및
    후속 프레임에 대한 정교화된 후방 흐름 필드를 생성하기 위해 정교화 흐름 필드를 그 프레임에 대해 계산된 양방향 흐름 필드와 연결하고 또 정교화된 후방 와핑된 프레임을 생성하기 위해 정교화된 후방 흐름 필드를 사용하여 상기 후속 프레임을 와핑하는 단계를 포함하는 것인 프로세스.
  24. 제17항에 있어서, 각각의 대응하는 픽셀 세트에 대해, 신뢰 픽셀을 나타내는 그 세트 내의 적어도 하나의 픽셀을 식별하고 HDR 비디오의 프레임을 나타내는 방사 휘도 맵을 형성하기 위해 하나 이상의 식별된 신뢰 픽셀과 연관된 픽셀 컬러 정보를 이용하여 그 픽셀 세트에 대한 방사 휘도값을 계산하는 단계는,
    고려 중인 프레임, 단방향 와핑된 선행 프레임, 단방향 와핑된 후속 프레임, 정교화된 전방 와핑된 프레임 및 정교화된 후방 와핑된 프레임을 각각 방사 휘도 이미지로 변환하는 단계, 및
    방사 휘도 맵 내의 각각의 픽셀 위치에 방사 휘도값을 할당하는 단계로서, 상기 방사 휘도 맵 방사 휘도 값은, 고려 중인 프레임 내의 그 픽셀 위치에서의 픽셀의 세기에 기초하여 어느 값이 신뢰할만한 것으로 간주되는지에 따라, 고려 중인 프레임과 연관된 방사 휘도 이미지 내의 동일한 픽셀 위치에 할당된 방사 휘도값 또는 고려 중인 프레임, 단방향 와핑된 선행 프레임, 단방향 와핑된 후속 프레임, 정교화된 전방 와핑된 프레임 및 정교화된 후방 와핑된 프레임과 연관된 방사 휘도 이미지들 내의 동일한 픽셀 위치로부터 얻은 2개 이상의 방사 휘도 값의 가중 합성(weighted combination)인 것인 할당 단계를 포함하는 것인 프로세스.
  25. 제17항에 있어서, 각각의 대응하는 픽셀 세트에 대해, 신뢰 픽셀을 나타내는 그 세트 내의 적어도 하나의 픽셀을 식별하고 HDR 비디오의 프레임을 나타내는 방사 휘도 맵을 형성하기 위해 하나 이상의 식별된 신뢰 픽셀과 연관된 픽셀 컬러 정보를 이용하여 그 픽셀 세트에 대한 방사 휘도값을 계산하는 단계는,
    고려 중인 프레임이 긴 노출 프레임이고 상기 선행 및 후속 프레임이 짧은 노출 프레임인 경우,
    고려 중인 프레임, 단방향 와핑된 선행 프레임, 단방향 와핑된 후속 프레임, 양방향 와핑된 선행 프레임 및 양방향 와핑된 후속 프레임을 각각 방사 휘도 이미지로 변환하는 단계,
    소정의 최대 세기 임계값을 초과하는 세기값을 갖는 고려 중인 프레임 내의 각 픽셀을 식별하고, 방사 휘도 맵 내의 대응하는 픽셀 위치에 대해, 양방향 와핑된 선행 프레임 및 양방향 와핑된 후속 프레임 내의 동일한 위치와 연관된 방사 휘도값의 평균을 방사 휘도값으로서 할당하는 단계,
    소정의 최대 세기 임계값 이하의 세기값을 갖는 고려 중인 프레임 내의 각 픽셀을 식별하는 단계,
    이들 픽셀 위치 각각에 대해,
    단방향 와핑된 선행 프레임 및 단방향 와핑된 후속 프레임 내의 대응하는 위치에 할당된 방사 휘도값이 고려 중인 프레임 내의 동일한 위치에 할당된 방사 휘도값의 최대 허용가능 노이즈 분산(maximum allowable noise variance)을 벗어나는지를 판정하는 단계,
    단방향 와핑된 선행 프레임 및 단방향 와핑된 후속 프레임 내의 픽셀 위치에 할당된 방사 휘도값이 고려 중인 프레임 내의 동일한 위치에 할당된 방사 휘도값의 최대 허용가능 노이즈 분산을 벗어나지 않는 것으로 판명된 경우, 3개의 방사 휘도값 모두의 가중 평균을 계산하고 가중 평균을 방사 휘도 맵에서의 그 픽 셀 위치에 대한 방사 휘도값으로서 할당하는 단계,
    단방향 와핑된 선행 프레임 및 단방향 와핑된 후속 프레임 내의 픽셀 위치에 할당된 방사 휘도값 중 하나가 고려 중인 프레임 내의 동일한 위치에 할당된 방사 휘도값의 최대 허용가능 노이즈 분산을 벗어나지 않지만 다른 하나가 벗어나는 것으로 판명된 경우, 최대 허용가능 노이즈 분산을 벗어나는 방사 휘도값을 갖는 단방향 와핑된 프레임 및 고려 중인 프레임 내의 픽셀 위치에 할당된 방사 휘도값의 가중 평균을 계산하고 가중 평균을 방사 휘도 맵에서의 그 픽셀 위치에 대한 방사 휘도값으로서 할당하는 단계, 및
    단방향 와핑된 선행 프레임 및 단방향 와핑된 후속 프레임 내의 픽셀 위치에 할당된 방사 휘도값 둘다가 고려 중인 프레임 내의 동일한 위치에 할당된 방사 휘도값의 최대 허용가능 노이즈 분산을 벗어나는 것으로 판명된 경우, 고려 중인 프레임 내의 픽셀 위치에 할당된 방사 휘도값을 방사 휘도 맵에서의 그 픽셀 위치에 대한 방사 휘도값으로서 할당하는 단계를 포함하는 것인 프로세스.
  26. 제25항에 있어서, 3개의 방사 휘도값 모두의 가중 평균을 계산하는 단계는, 가중 평균 방사 휘도를
    Figure 112005061828497-PCT00330
    로서 계산하는 단계를 포함하며, 첨자 c, F 및 B는 각각 고려 중인 프레임, 단방향 와핑된 선행 프레임 및 단방향 와핑된 후속 프레임과 연관된 방사 휘도 이미지 내의 픽셀을 지칭하고,
    Figure 112005061828497-PCT00331
    는
    Figure 112005061828497-PCT00332
    으로 변조된 가중치 함수
    Figure 112005061828497-PCT00333
    이고,
    Figure 112005061828497-PCT00334
    은
    Figure 112005061828497-PCT00335
    Figure 112005061828497-PCT00336
    로 정의되고
    Figure 112005061828497-PCT00337
    는 소정의 파라미터인 것인 프로세스.
  27. 제25항에 있어서, 최대 노이즈 범위 내에 속하는 방사 휘도값을 갖는 단방향 와핑된 프레임 및 고려 중인 프레임 내의 픽셀 위치에 할당된 방사 휘도값의 가중 평균을 계산하는 단계는, 가중 평균 방사 휘도를
    Figure 112005061828497-PCT00338
    로서 계산하는 단계를 포함하며, 첨자 c, F 및 B는 각각 고려 중인 프레임, 단방향 와핑된 선행 프레임 및 단방향 와핑된 후속 프레임과 연관된 방사 휘도 이미지 내의 픽셀을 지칭하고,
    Figure 112005061828497-PCT00339
    는
    Figure 112005061828497-PCT00340
    으로 변조된 가중치 함수
    Figure 112005061828497-PCT00341
    이고,
    Figure 112005061828497-PCT00342
    은
    Figure 112005061828497-PCT00343
    Figure 112005061828497-PCT00344
    로 정의되고
    Figure 112005061828497-PCT00345
    는 소정의 파라미터이며, 따라서 상기 최대 허용가능 노이즈 분산을 벗어나는 단방향 와핑된 프레임의 변조된 가중치는 가중 평균 방사 휘도를 산출할 때 0으로 설정되는 것인 프로세스.
  28. 제17항에 있어서, 각각의 대응하는 픽셀 세트에 대해, 신뢰 픽셀을 나타내는 그 세트 내의 적어도 하나의 픽셀을 식별하고 HDR 비디오의 프레임을 나타내는 방사 휘도 맵을 형성하기 위해 하나 이상의 식별된 신뢰 픽셀과 연관된 픽셀 컬러 정보를 이용하여 그 픽셀 세트에 대한 방사 휘도값을 계산하는 단계는,
    고려 중인 프레임이 짧은 노출 프레임이고 상기 선행 및 후속 프레임이 긴 노출 프레임인 경우,
    고려 중인 프레임, 단방향 와핑된 선행 프레임, 단방향 와핑된 후속 프레임, 양방향 와핑된 선행 프레임 및 양방향 와핑된 후속 프레임을 각각 방사 휘도 이미지로 변환하는 단계,
    소정의 최소 세기 임계값을 넘는 세기값을 갖는 고려 중인 프레임 내의 각 픽셀을 식별하는 단계,
    이들 픽셀 위치 각각에 대해,
    단방향 와핑된 선행 프레임 및 단방향 와핑된 후속 프레임 내의 대응하는 위치에 할당된 방사 휘도값이 고려 중인 프레임 내의 동일한 위치에 할당된 방사 휘도값의 최대 허용가능 노이즈 분산(maximum allowable noise variance)을 벗어나는지를 판정하는 단계,
    단방향 와핑된 선행 프레임 및 단방향 와핑된 후속 프레임 내의 픽셀 위치에 할당된 방사 휘도값이 고려 중인 프레임 내의 동일한 위치에 할당된 방사 휘도값의 최대 허용가능 노이즈 분산을 벗어나지 않는 것으로 판명된 경우, 3개의 방사 휘도값 모두의 가중 평균을 계산하고 가중 평균을 방사 휘도 맵에서의 그 픽 셀 위치에 대한 방사 휘도값으로서 할당하는 단계,
    단방향 와핑된 선행 프레임 및 단방향 와핑된 후속 프레임 내의 픽셀 위치에 할당된 방사 휘도값 중 하나가 고려 중인 프레임 내의 동일한 위치에 할당된 방사 휘도값의 최대 허용가능 노이즈 분산을 벗어나지 않지만 다른 하나가 벗어나는 것으로 판명된 경우, 최대 허용가능 노이즈 분산을 벗어나지 않는 방사 휘도값을 갖는 단방향 와핑된 프레임 및 고려 중인 프레임 내의 픽셀 위치에 할당된 방사 휘도값의 가중 평균을 계산하고 가중 평균을 방사 휘도 맵에서의 그 픽셀 위치에 대한 방사 휘도값으로서 할당하는 단계,
    단방향 와핑된 선행 프레임 및 단방향 와핑된 후속 프레임 내의 픽셀 위치에 할당된 방사 휘도값 둘다가 고려 중인 프레임 내의 동일한 위치에 할당된 방사 휘도값의 최대 허용가능 노이즈 분산을 벗어나는 것으로 판명된 경우, 고려 중인 프레임 내의 픽셀 위치에 할당된 방사 휘도값을 방사 휘도 맵에서의 그 픽셀 위치에 대한 방사 휘도값으로서 할당하는 단계, 및
    소정의 최소 세기 임계값 이하의 세기값을 갖는 고려 중인 프레임 내의 각 픽셀을 식별하고 또 방사 휘도 맵 내의 대응하는 픽셀 위치에 대해, 양방향 와핑된 선행 프레임 및 양방향 와핑된 후속 프레임 내의 동일한 위치와 연관된 방사 휘도값의 평균을 방사 휘도값으로서 할당하는 단계를 포함하는 것인 프로세스.
  29. 제28항에 있어서, 3개의 방사 휘도값 모두의 가중 평균을 계산하는 단계는, 가중 평균 방사 휘도를
    Figure 112005061828497-PCT00346
    로서 계산하는 단계를 포함하며, 첨자 c, F 및 B는 각각 고려 중인 프레임, 단방향 와핑된 선행 프레임 및 단방향 와핑된 후속 프레임과 연관된 방사 휘도 이미지 내의 픽셀을 지칭하고,
    Figure 112005061828497-PCT00347
    는
    Figure 112005061828497-PCT00348
    으로 변조된 가중치 함수
    Figure 112005061828497-PCT00349
    이고,
    Figure 112005061828497-PCT00350
    은
    Figure 112005061828497-PCT00351
    Figure 112005061828497-PCT00352
    로 정의되고
    Figure 112005061828497-PCT00353
    는 소정의 파라미터인 것인 프로세스.
  30. 제28항에 있어서, 최대 노이즈 범위 내에 속하는 방사 휘도값을 갖는 단방향 와핑된 프레임 및 고려 중인 프레임 내의 픽셀 위치에 할당된 방사 휘도값의 가중 평균을 계산하는 단계는, 가중 평균 방사 휘도를
    Figure 112005061828497-PCT00354
    로서 계산하는 단계를 포함하며, 첨자 c, F 및 B는 각각 고려 중인 프레임, 단방향 와핑된 선행 프레임 및 단방향 와핑된 후속 프레임과 연관된 방사 휘도 이미지 내의 픽셀을 지칭하고,
    Figure 112005061828497-PCT00355
    는
    Figure 112005061828497-PCT00356
    으로 변조된 가중치 함수
    Figure 112005061828497-PCT00357
    이고,
    Figure 112005061828497-PCT00358
    은
    Figure 112005061828497-PCT00359
    Figure 112005061828497-PCT00360
    로 정의되고
    Figure 112005061828497-PCT00361
    는 소정의 파라미터이며, 따라서 상기 최대 허용가능 노이즈 분산을 벗어나는 단방향 와핑된 프레임의 변조된 가중치는 가중 평균 방사 휘도를 산출할 때 0으로 설정되는 것인 프로세스.
  31. 각 프레임의 노출을 변동시키면서 캡처된 이미지 시퀀스로부터 하이 다이나믹 레인지(high dynamic range, HDR) 비디오를 생성하는 시스템으로서,
    상기 비디오 이미지 시퀀스를 캡처하는 데 사용되는 비디오 카메라,
    범용 컴퓨팅 장치, 및
    컴퓨팅 장치에 의해 실행가능한 프로그램 모듈을 포함하는 컴퓨터 프로그램을 포함하며,
    컴퓨팅 장치는 컴퓨터 프로그램의 프로그램 모듈에 의해,
    비디오 이미지 시퀀스의 각 프레임이 캡처되기 전에 그에 대한 노출을, 비디오 카메라에 의해 이전에 캡처된 프레임들에서의 픽셀 밝기 분포(pixel brightness distribution)의 함수로서 계산하는 단계로서, 상기 계산된 노출은 짧은 노출과 긴 노출이 교대로 있는 것인 계산 단계,
    소정의 수의 시작 프레임 후에 비디오 카메라로부터 획득된 비디오의 각 프레임에 대해,
    고려 중인 프레임과 대응하는 픽셀 세트를 나타내는 선행 및 후속의 이웃 프레임 둘다 간의 대응하는 픽셀들을 식별하는 단계, 및
    각각의 대응하는 픽셀 세트에 대해, 신뢰 픽셀을 나타내는 그 세트 내의 적어도 하나의 픽셀을 식별하고 HDR 비디오의 프레임을 나타내는 방사 휘도 맵을 형성하기 위해 하나 이상의 식별된 신뢰 픽셀과 연관된 픽셀 컬러 정보를 이용하여 그 픽셀 세트에 대한 방사 휘도값을 계산하는 단계를 수행하도록 지시받는 것인 시스템.
  32. 제31항에 있어서, 고려 중인 프레임과 대응하는 픽셀 세트를 나타내는 선행 및 후속의 이웃 프레임 둘다 간의 대응하는 픽셀들을 식별하는 프로그램 모듈은,
    바로 앞의 이웃 프레임을, 선행 프레임의 고려 중인 프레임에의 대략적인 레지스트레이션(registration)을 생성하기 위해 단방향으로 와핑하는 단계(uni-directionally warping),
    바로 뒤의 이웃 프레임을, 후속 프레임의 고려 중인 프레임에의 대략적인 레지스트레이션을 생성하기 위해 단방향으로 와핑하는 단계, 및
    상기 선행 프레임 및 후속 프레임을, 상기 이웃 프레임의 고려 중인 프레임에의 대략적인 레지스트레이션을 나타내는 보간 프레임을 생성하기 위해 양방향으로 와핑하는 단계(bi-directionally warping)를 수행하는 서브모듈들을 포함하는 것인 시스템.
  33. 제32항에 있어서, 상기 선행 프레임 및 후속 프레임을, 상기 이웃 프레임의 고려 중인 프레임에의 대략적인 레지스트레이션을 나타내는 보간 프레임을 생성하기 위해 양방향으로 와핑하는 단계(bi-directionally warping)를 수행하는 서브모듈은,
    고려 중인 프레임이 긴 노출 프레임이고 상기 선행 및 후속 프레임이 거의 동일한 노출을 갖는 짧은 노출 프레임인 경우,
    선행 및 후속 프레임에 대해 각각 양방향 흐름 필드를 계산하는 단계,
    전방 와핑된 프레임을 생성하기 위해 선행 프레임을 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑하는 단계,
    후방 와핑된 프레임을 생성하기 위해 후속 프레임을 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑하는 단계,
    합성된 보간 프레임을 생성하기 위해 전방 와핑된 프레임과 후방 와핑된 프레임을 합성하는 단계,
    합성된 보간 프레임의 세기를 긴 노출 프레임의 세기 범위와 거의 일치하도록 부스팅하는 단계,
    세기 부스팅된 합성된 보간 프레임을 고려 중인 긴 노출 프레임에 가장 잘 매핑하는 정교화 흐름 필드를 계산하는 단계,
    정교화된 전방 와핑된 프레임을 생성하기 위해 정교화 흐름 필드를 사용하여 전방 와핑된 프레임을 와핑하는 단계, 및
    정교화된 후방 와핑된 프레임을 생성하기 위해 정교화 흐름 필드를 사용하여 후방 와핑된 프레임을 와핑하는 단계를 수행하는 서브모듈들을 포함하는 것인 시스템.
  34. 제33항에 있어서, 상기 선행 프레임 및 후속 프레임을, 상기 이웃 프레임의 고려 중인 프레임에의 대략적인 레지스트레이션을 나타내는 보간 프레임을 생성하기 위해 양방향으로 와핑하는 서브모듈은,
    고려 중인 프레임이 긴 노출 프레임이고 상기 선행 및 후속 프레임이 실질적으로 서로 다른 노출을 갖는 짧은 노출 프레임인 경우,
    선행 프레임과 연관된 노출이 후속 프레임과 연관된 노출보다 짧은지 긴지를 판정하는 단계,
    선행 프레임과 연관된 노출이 후속 프레임과 연관된 노출보다 짧은 것으로 판정된 경우, 선행 프레임의 세기를 후속 프레임의 세기 범위와 거의 일치하도록 부스팅하고, 선행 프레임과 연관된 노출이 후속 프레임과 연관된 노출보다 긴 것으로 판정된 경우, 후속 프레임의 세기를 선행 프레임의 세기 범위와 거의 일치하도록 부스팅하는 단계,
    선행 및 후속 프레임에 대해 각각 양방향 흐름 필드를 계산하는 단계,
    전방 와핑된 프레임을 생성하기 위해 선행 프레임을 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑하는 단계로서, 선행 프레임이 세기가 부스팅된 경우 세기 부스팅된 버전의 프레임이 와핑되는 것인 와핑 단계,
    후방 와핑된 프레임을 생성하기 위해 후속 프레임을 그 프레임에 대해 계산 된 양방향 흐름 필드를 사용하여 와핑하는 단계로서, 후속 프레임이 세기가 부스팅된 경우 세기 부스팅된 버전의 프레임이 와핑되는 것인 와핑 단계,
    합성된 보간 프레임을 생성하기 위해 전방 와핑된 프레임과 후방 와핑된 프레임을 합성하는 단계,
    합성된 보간 프레임의 세기를 긴 노출 프레임의 세기 범위와 거의 일치하도록 부스팅하는 단계,
    세기 부스팅된 합성된 보간 프레임을 고려 중인 긴 노출 프레임에 가장 잘 매핑하는 정교화 흐름 필드를 계산하는 단계,
    선행 프레임이 세기가 부스팅된 경우, 전방 와핑된 프레임을 생성하기 위해 비세기 부스팅된 버전의 선행 프레임을 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑하고, 후속 프레임이 세기가 부스팅된 경우, 후방 와핑된 프레임을 생성하기 위해 비세기 부스팅된 버전의 후속 프레임을 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑하는 단계,
    정교화된 전방 와핑된 프레임을 생성하기 위해 마지막 계산된 전방 와핑된 프레임을 정교화 흐름 필드를 사용하여 와핑하는 단계, 및
    정교화된 후방 와핑된 프레임을 생성하기 위해 마지막 계산된 후방 와핑된 프레임을 정교화 흐름 필드를 사용하여 와핑하는 단계를 수행하는 서브모듈들을 포함하는 것인 시스템.
  35. 제34항에 있어서, 양방향 흐름 필드를 계산하는 서브모듈은,
    선행 프레임과 후속 프레임을, 한쪽을 상대쪽으로 매핑하는 어파인 변환(affine transform)을 추정함으로써 전역적으로 레지스트레이션하는 단계,
    구배 기반 광학 흐름을 사용하여 전역적 변환에 대한 지역적 정정을 형성하는 조밀한 움직임 필드를 계산하는 단계, 및
    (i) 선행 프레임에 대한 흐름 필드의 경우 선행 프레임으로부터 전방 와핑된 프레임으로 와핑하거나 후속 프레임에 대한 흐름 필드의 경우 후속 프레임으로부터 후방 와핑된 프레임으로 와핑하기 위해 리스케일링된 상기 어파인 변환으로부터 도출된 어파인 성분과, (ii) 어파인 성분에 대한 지역적 정정을 형성하는 상기 조밀한 움직임 필드로부터 얻은 지역 성분의 합인, 양방향 흐름 필드에서의 각각의 픽셀 위치에 대한 합성 벡터를 설정하는 단계를 수행하는 서브모듈들을 포함하는 것인 시스템.
  36. 제35항에 있어서, 구배 기반 광학 흐름을 사용하여 전역적 변환에 대한 지역적 정정을 형성하는 조밀한 움직임 필드를 계산하는 서브모듈은,
    선행 및 후속 프레임 둘다가 고려 중인 프레임의 시간 인덱스(time index)에 대응하는 시각 k쪽으로 와핑되고 피라미드의 각 레벨에서의 2개의 와핑된 이미지의 각 픽셀 간에 잔류 흐름 벡터(residual flow vector)가 추정되는 라플라스 피라미드 프레임워크(Laplacian pyramid framework)에서 사용되는 Lucas 및 Kanade 기술의 변형을 이용하는 단계, 및
    피라미드의 각 레벨에서의 각 픽셀에 대해 계산된 잔류 흐름 벡터를, 조밀한 움직임 필드의 상기 지역 성분(local component)을 설정하기 위해 누적하는 단계를 수행하는 서브모듈들을 포함하는 것인 시스템.
  37. 제35항에 있어서, 전방 와핑된 프레임을 생성하기 위해 선행 프레임을 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑하는 서브모듈은, 전방 와핑된 프레임을 형성하기 위해 적절한 합성 벡터를 따라 각 픽셀을 전사(transfer)하기 위해 바이큐빅 와핑(bicubic warping) 기술을 사용하는 서브모듈을 포함하는 것인 시스템.
  38. 제35항에 있어서, 후방 와핑된 프레임을 생성하기 위해 후속 프레임을 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑하는 서브모듈은, 후방 와핑된 프레임을 형성하기 위해 적절한 합성 벡터를 따라 각 픽셀을 전사(transfer)하기 위해 바이큐빅 와핑(bicubic warping) 기술을 사용하는 서브모듈을 포함하는 것인 시스템.
  39. 제35항에 있어서, 상기 합성된 보간 프레임을 생성하기 위해 전방 와핑된 프레임과 후방 와핑된 프레임을 합성하는 서브모듈은,
    합성된 보간 프레임의 픽셀 위치에 대한 전방 및 후방 와핑된 프레임 둘다로부터 픽셀값이 이용가능한 경우, 그 픽셀 위치에서의 합성된 보간 프레임에 대한 픽셀값을 설정하기 위해 이들 값을 평균하는 단계,
    합성된 보간 프레임의 픽셀 위치에 대한 전방 및 후방 와핑된 프레임으로부터 하나의 픽셀값만이 이용가능한 경우, 그 픽셀값을, 그 픽셀 위치에서의 합성된 보간 프레임에 대한 픽셀값을 설정하는 데 사용하는 단계, 및
    합성된 보간 프레임의 픽셀 위치에 대한 전방 및 후방 와핑된 프레임으로부터 이용가능한 픽셀값이 없는 경우, 그 픽셀 위치에서의 합성된 보간 프레임에 대한 픽셀값을, 영 움직임 벡터(zero motion vector)를 사용하여 획득된 2개의 픽셀값을 평균함으로써 설정하는 단계를 수행하는 서브모듈들을 포함하는 것인 시스템.
  40. 제34항에 있어서, 정교화 흐름 필드를 계산하는 서브모듈은,
    고려 중인 프레임과 세기 부스팅된 보간 프레임 간의 전역적 호모그래피(global homography)를 계산하는 단계,
    고려 중인 프레임을 중첩하는 사분면(overlapping quadrant)으로 분할하는 단계,
    각각의 사분면에 대해,
    고려 중인 사분면 내의 픽셀들 간의 세기 변동이 소정의 변동 임계값을 초과하는지 여부를 판정하는 단계,
    고려 중인 사분면 내의 픽셀들 간의 세기 변동이 소정의 변동 임계값을 초과하는 것으로 판정되는 경우, 전역적 호모그래피를 사용하여 보간 프레임 내에서 고려 중인 사분면의 상대 영역(counterpart region)을 식별하는 단계,
    고려 중인 사분면과 보간 프레임 내의 식별된 상대 영역 간의 지역적 호모그래피를 계산하는 단계,
    고려 중인 사분면에 대해 지역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러가 전역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러보다 작은지를 판정하는 단계,
    지역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러가 전역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러보다 작은 것으로 판정되는 경우에, 지역적 호모그래피를 고려 중인 사분면에 할당하고, 지역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러가 전역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러보다 작지 않은 것으로 판정되는 경우에, 전역적 호모그래피를 고려 중인 사분면에 할당하는 단계,
    지역적 호모그래피가 사분면에 할당된 경우, 상기 지역적 호모그래피를 사용하여 고려 중인 사분면과 연관된 정교화 흐름 필드의 일부분을 계산하는 단계,
    고려 중인 사분면 내의 픽셀들 간의 세기 변동이 소정의 변동 임계값을 초과하지도 않고 전역적 호모그래피가 사분면에 할당되지도 않은 것으로 판정되는 경우, 상기 전역적 호모그래피를 사용하여 고려 중인 사분면과 연관된 정교화 흐름 필드의 일부분을 계산하는 단계, 및
    페더링(feathering) 기술을 그 결과 얻은 정교화 흐름 필드에 걸친 흐름 불연속을 최소화하기 위해 사분면의 중첩하는 영역들 내에 존재하는 흐름 성분에 적용하는 단계를 수행하는 서브모듈들을 포함하는 것인 시스템.
  41. 제40항에 있어서, 고려 중인 프레임을 중첩하는 사분면(overlapping quadrant)으로 분할하는 서브모듈은, 사분면들이 약 5 내지 약 20 퍼센트 중첩하도록 프레임을 분할하는 서브모듈을 포함하는 것인 시스템.
  42. 제40항에 있어서, 페더링(feathering) 기술을 사분면의 중첩하는 영역들 내에 존재하는 흐름 성분에 적용하는 서브모듈은, 단지 2개의 사분면이 중첩하는 경우, 중첩하는 사분면 각각과 연관된 호모그래피로부터 도출된 그 위치에 대한 흐름 성분의 일부분이 중첩하는 영역의 개별적인 중첩하는 사분면과의 경계로부터의 그의 거리와 비례하도록 1차원 선형 가중을 그 안의 각 픽셀 위치에 적용하는 서브모듈을 포함하며, 픽셀 위치가 상기 경계 중 하나에 가까울수록, 그 경계에 인접한 사분면과 연관된 호모그래피로부터 도출된 흐름 성분의 일부분이 더 큰 것인 시스템.
  43. 제40항에 있어서, 페더링 기술을 사분면의 중첩하는 영역들 내에 존재하는 흐름 성분에 적용하는 서브모듈은, 4개의 사분면 모두가 중첩하는 경우, 중첩하는 사분면 각각과 연관된 호모그래피로부터 도출된 그 위치에 대한 흐름 성분의 일부분이 중첩하는 영역의 개별적인 중첩하는 사분면과의 경계로부터의 그의 거리에 비례하도록 2차원 선형 가중을 그 안의 각 픽셀 위치에 적용하는 서브모듈을 포함하며, 픽셀 위치가 상기 경계 중 하나에 가까울수록, 그 경계에 인접한 사분면과 연 관된 호모그래피로부터 도출된 흐름 성분의 일부분이 더 큰 것인 시스템.
  44. 제32항에 있어서, 상기 선행 프레임 및 후속 프레임을, 상기 이웃 프레임의 고려 중인 프레임에의 대략적인 레지스트레이션을 나타내는 보간 프레임을 생성하기 위해 양방향으로 와핑하는 서브모듈은,
    고려 중인 프레임이 짧은 노출 프레임이고 상기 선행 및 후속 프레임이 거의 동일한 노출을 갖는 긴 노출 프레임인 경우,
    선행 및 후속 프레임에 대해 각각 양방향 흐름 필드(bi-directional flow field)를 계산하는 단계,
    전방 와핑된 프레임을 생성하기 위해, 선행 프레임을 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑하는 단계,
    후방 와핑된 프레임을 생성하기 위해, 후속 프레임을 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑하는 단계,
    보간 프레임을 생성하기 위해 전방 와핑된 프레임 및 후방 와핑된 프레임을 합성하는 단계,
    고려 중인 프레임의 세기를, 선행 및 후속 프레임의 세기 범위와 거의 일치하도록 부스팅하는 단계,
    보간 프레임을 고려 중인 세기 부스팅된 프레임에 가장 잘 매핑하는 정교화 흐름 필드(refining flow field)를 계산하는 단계,
    선행 프레임에 대한 정교화된 전방 흐름 필드를 생성하기 위해 정교화 흐름 필드를 그 프레임에 대해 계산된 양방향 흐름 필드와 연결(concatenate)하고 또 정교화된 전방 와핑된 프레임을 생성하기 위해 정교화된 전방 흐름 필드를 사용하여 상기 선행 프레임을 와핑하는 단계, 및
    후속 프레임에 대한 정교화된 후방 흐름 필드를 생성하기 위해 정교화 흐름 필드를 그 프레임에 대해 계산된 양방향 흐름 필드와 연결하고 또 정교화된 후방 와핑된 프레임을 생성하기 위해 정교화된 후방 흐름 필드를 사용하여 상기 후속 프레임을 와핑하는 단계를 수행하는 서브모듈들을 포함하는 것인 시스템.
  45. 제44항에 있어서, 상기 선행 프레임 및 후속 프레임을, 상기 이웃 프레임의 고려 중인 프레임에의 대략적인 레지스트레이션을 나타내는 보간 프레임을 생성하기 위해 양방향으로 와핑하는 서브모듈은,
    고려 중인 프레임이 짧은 노출 프레임이고 상기 선행 및 후속 프레임이 실질적으로 서로 다른 노출을 갖는 긴 노출 프레임인 경우,
    선행 프레임과 연관된 노출이 후속 프레임과 연관된 노출보다 짧은지 긴지를 판정하는 단계,
    선행 프레임과 연관된 노출이 후속 프레임과 연관된 노출보다 짧은 것으로 판정된 경우, 선행 프레임의 세기를 후속 프레임의 세기 범위와 거의 일치하도록 부스팅하고, 선행 프레임과 연관된 노출이 후속 프레임과 연관된 노출보다 긴 것으로 판정된 경우, 후속 프레임의 세기를 선행 프레임의 세기 범위와 거의 일치하도록 부스팅하는 단계,
    선행 및 후속 프레임에 대해 각각 양방향 흐름 필드를 계산하는 단계,
    전방 와핑된 프레임을 생성하기 위해 선행 프레임을 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑하는 단계,
    후방 와핑된 프레임을 생성하기 위해 후속 프레임을 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑하는 단계,
    보간 프레임을 생성하기 위해 전방 와핑된 프레임과 후방 와핑된 프레임을 합성하는 단계,
    고려 중인 프레임의 세기를 선행 및 후속 프레임의 평균 세기 범위와 거의 일치하도록 부스팅하는 단계,
    보간 프레임을 고려 중인 세기 부스팅된 프레임에 가장 잘 매핑하는 정교화 흐름 필드를 계산하는 단계,
    선행 프레임에 대한 정교화된 전방 흐름 필드를 생성하기 위해 정교화 흐름 필드를 그 프레임에 대해 계산된 양방향 흐름 필드와 연결하고 또 정교화된 전방 와핑된 프레임을 생성하기 위해 정교화된 전방 흐름 필드를 사용하여 상기 선행 프레임을 와핑하는 단계, 및
    후속 프레임에 대한 정교화된 후방 흐름 필드를 생성하기 위해 정교화 흐름 필드를 그 프레임에 대해 계산된 양방향 흐름 필드와 연결하고 또 정교화된 후방 와핑된 프레임을 생성하기 위해 정교화된 후방 흐름 필드를 사용하여 상기 후속 프레임을 와핑하는 단계를 수행하는 서브모듈들을 포함하는 것인 시스템.
  46. 제45항에 있어서, 양방향 흐름 필드를 계산하는 서브모듈은,
    선행 프레임과 후속 프레임을, 한쪽을 상대쪽으로 매핑하는 어파인 변환(affine transform)을 추정함으로써 전역적으로 레지스트레이션하는 단계,
    구배 기반 광학 흐름을 사용하여 전역적 변환에 대한 지역적 정정을 형성하는 조밀한 움직임 필드를 계산하는 단계, 및
    (i) 선행 프레임에 대한 흐름 필드의 경우 선행 프레임으로부터 전방 와핑된 프레임으로 와핑하거나 후속 프레임에 대한 흐름 필드의 경우 후속 프레임으로부터 후방 와핑된 프레임으로 와핑하기 위해 리스케일링된 상기 어파인 변환으로부터 도출된 어파인 성분과, (ii) 어파인 성분에 대한 지역적 정정을 형성하는 상기 조밀한 움직임 필드로부터 얻은 지역 성분의 합인, 양방향 흐름 필드에서의 각각의 픽셀 위치에 대한 합성 벡터를 설정하는 단계를 수행하는 서브모듈들을 포함하는 것인 시스템.
  47. 제46항에 있어서, 구배 기반 광학 흐름을 사용하여 전역적 변환에 대한 지역적 정정을 형성하는 조밀한 움직임 필드를 계산하는 서브모듈은,
    선행 및 후속 프레임 둘다가 고려 중인 프레임의 시간 인덱스(time index)에 대응하는 시각 k쪽으로 와핑되고 피라미드의 각 레벨에서의 2개의 와핑된 이미지의 각 픽셀 간에 잔류 흐름 벡터(residual flow vector)가 추정되는 라플라스 피라미드 프레임워크(Laplacian pyramid framework)에서 사용되는 Lucas 및 Kanade 기술의 변형을 이용하는 단계, 및
    피라미드의 각 레벨에서의 각 픽셀에 대해 계산된 잔류 흐름 벡터를, 조밀한 움직임 필드의 상기 지역 성분(local component)을 설정하기 위해 누적하는 단계를 수행하는 서브모듈들을 포함하는 것인 시스템.
  48. 제46항에 있어서, 전방 와핑된 프레임을 생성하기 위해 선행 프레임을 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑하는 서브모듈은, 전방 와핑된 프레임을 형성하기 위해 적절한 합성 벡터를 따라 각 픽셀을 전사(transfer)하기 위해 바이큐빅 와핑(bicubic warping) 기술을 사용하는 서브모듈을 포함하는 것인 시스템.
  49. 제46항에 있어서, 후방 와핑된 프레임을 생성하기 위해 후속 프레임을 그 프레임에 대해 계산된 양방향 흐름 필드를 사용하여 와핑하는 서브모듈은, 후방 와핑된 프레임을 형성하기 위해 적절한 합성 벡터를 따라 각 픽셀을 전사(transfer)하기 위해 바이큐빅 와핑(bicubic warping) 기술을 사용하는 서브모듈을 포함하는 것인 시스템.
  50. 제46항에 있어서, 상기 합성된 보간 프레임을 생성하기 위해 전방 와핑된 프레임과 후방 와핑된 프레임을 합성하는 서브모듈은,
    합성된 보간 프레임의 픽셀 위치에 대한 전방 및 후방 와핑된 프레임 둘다로부터 픽셀값이 이용가능한 경우, 그 픽셀 위치에서의 합성된 보간 프레임에 대한 픽셀값을 설정하기 위해 이들 값을 평균하는 단계,
    합성된 보간 프레임의 픽셀 위치에 대한 전방 및 후방 와핑된 프레임으로부터 하나의 픽셀값만이 이용가능한 경우, 그 픽셀값을, 그 픽셀 위치에서의 합성된 보간 프레임에 대한 픽셀값을 설정하는 데 사용하는 단계, 및
    합성된 보간 프레임의 픽셀 위치에 대한 전방 및 후방 와핑된 프레임으로부터 이용가능한 픽셀값이 없는 경우, 그 픽셀 위치에서의 합성된 보간 프레임에 대한 픽셀값을, 영 움직임 벡터(zero motion vector)를 사용하여 획득된 2개의 픽셀값을 평균함으로써 설정하는 단계를 수행하는 서브모듈들을 포함하는 것인 시스템.
  51. 제45항에 있어서, 정교화 흐름 필드를 계산하는 서브모듈은,
    고려 중인 프레임의 세기 부스팅된 버전과 보간 프레임 간의 전역적 호모그래피(global homography)를 계산하는 단계,
    고려 중인 프레임의 세기 부스팅된 버전을 중첩하는 사분면(overlapping quadrant)으로 분할하는 단계,
    각각의 사분면에 대해,
    고려 중인 사분면 내의 픽셀들 간의 세기 변동이 소정의 변동 임계값을 초과하는지 여부를 판정하는 단계,
    고려 중인 사분면 내의 픽셀들 간의 세기 변동이 소정의 변동 임계값을 초과하는 것으로 판정되는 경우, 전역적 호모그래피를 사용하여 보간 프레임 내에서 고려 중인 사분면의 상대 영역(counterpart region)을 식별하는 단계,
    고려 중인 사분면과 보간 프레임 내의 식별된 상대 영역 간의 지역적 호모그래피를 계산하는 단계,
    고려 중인 사분면에 대해 지역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러가 전역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러보다 작은지를 판정하는 단계,
    지역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러가 전역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러보다 작은 것으로 판정되는 경우에, 지역적 호모그래피를 고려 중인 사분면에 할당하고, 지역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러가 전역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러보다 작지 않은 것으로 판정되는 경우에, 전역적 호모그래피를 고려 중인 사분면에 할당하는 단계,
    지역적 호모그래피가 사분면에 할당된 경우, 상기 지역적 호모그래피를 사용하여 고려 중인 사분면과 연관된 정교화 흐름 필드의 일부분을 계산하는 단계,
    고려 중인 사분면 내의 픽셀들 간의 세기 변동이 소정의 변동 임계값을 초과하지도 않고 전역적 호모그래피가 사분면에 할당되지도 않은 것으로 판정되는 경우, 상기 전역적 호모그래피를 사용하여 고려 중인 사분면과 연관된 정교화 흐름 필드의 일부분을 계산하는 단계,
    페더링(feathering) 기술을 그 결과 얻은 정교화 흐름 필드에 걸친 흐름 불연속을 최소화하기 위해 사분면의 중첩하는 영역들 내에 존재하는 흐름 성분에 적 용하는 단계를 수행하는 서브모듈들을 포함하는 것인 시스템.
  52. 제51항에 있어서, 고려 중인 프레임의 세기 부스팅된 버전을 중첩하는 사분면(overlapping quadrant)으로 분할하는 서브모듈은, 사분면들이 약 5 내지 약 20 퍼센트 중첩하도록 프레임을 분할하는 서브모듈을 포함하는 것인 시스템.
  53. 제51항에 있어서, 페더링(feathering) 기술을 사분면의 중첩하는 영역들 내에 존재하는 흐름 성분에 적용하는 서브모듈은, 단지 2개의 사분면이 중첩하는 경우, 중첩하는 사분면 각각과 연관된 호모그래피로부터 도출된 그 위치에 대한 흐름 성분의 일부분이 중첩하는 영역의 개별적인 중첩하는 사분면과의 경계로부터의 그의 거리와 비례하도록 1차원 선형 가중을 그 안의 각 픽셀 위치에 적용하는 서브모듈을 포함하며, 픽셀 위치가 상기 경계 중 하나에 가까울수록, 그 경계에 인접한 사분면과 연관된 호모그래피로부터 도출된 흐름 성분의 일부분이 더 큰 것인 시스템.
  54. 제51항에 있어서, 페더링 기술을 사분면의 중첩하는 영역들 내에 존재하는 흐름 성분에 적용하는 서브모듈은, 4개의 사분면 모두가 중첩하는 경우, 중첩하는 사분면 각각과 연관된 호모그래피로부터 도출된 그 위치에 대한 흐름 성분의 일부분이 중첩하는 영역의 개별적인 중첩하는 사분면과의 경계로부터의 그의 거리에 비례하도록 2차원 선형 가중을 그 안의 각 픽셀 위치에 적용하는 서브모듈을 포함하 며, 픽셀 위치가 상기 경계 중 하나에 가까울수록, 그 경계에 인접한 사분면과 연관된 호모그래피로부터 도출된 흐름 성분의 일부분이 더 큰 것인 시스템.
  55. 각 프레임의 노출을 변동시키면서 캡처된 비디오 이미지 시퀀스로부터 하이 다이나믹 레인지(high dynamic range, HDR) 비디오를 생성하는 컴퓨터 실행가능 명령어를 갖는 컴퓨터 판독가능 매체로서,
    상기 컴퓨터 실행가능 명령어는,
    비디오 이미지 시퀀스의 각 프레임이 캡처되기 전에 그에 대한 노출을 픽셀 밝기 분포(pixel brightness distribution)의 함수로서 설정하는 단계,
    소정의 수의 시작 프레임 후에 비디오의 각 프레임에 대해,
    고려 중인 프레임과 대응하는 픽셀 세트를 나타내는 선행 및 후속의 이웃 프레임 둘다 간의 대응하는 픽셀들을 식별하는 단계,
    각각의 대응하는 픽셀 세트에 대해, 신뢰 픽셀을 나타내는 그 세트 내의 적어도 하나의 픽셀을 식별하고 HDR 비디오의 프레임을 나타내는 방사 휘도 맵을 형성하기 위해 하나 이상의 식별된 신뢰 픽셀과 연관된 픽셀 컬러 정보를 이용하여 그 픽셀 세트에 대한 방사 휘도값을 계산하는 단계, 및
    방사 휘도맵을 렌더링에 적합한 8 비트 표현으로 변환하기 위해 방사 휘도 맵을 톤 매핑하는 단계를 수행하는 명령어를 포함하는 것인 컴퓨터 판독가능 매체.
  56. 제55항에 있어서, 방사 휘도 맵을 톤 매핑하는 명령어는,
    방사 휘도 맵을 CIE 공간으로 변환하고 루미넌스 이미지(luminance image)를 생성하기 위해 색도 좌표(chromaticity coordinate)를 복원하는 단계,
    루미넌스 이미지의 다이나믹 레인지를 압축하고 크로미넌스(chrominance)를 재삽입하는 단계, 및
    최종 8 비트 범위 RGB 이미지를 생성하기 위해 CIE 공간 이미지를 변환하는 단계를 수행하는 서브명령어들을 포함하는 것인 컴퓨터 판독가능 매체.
  57. 제56항에 있어서, 루미넌스 이미지의 다이나믹 레인지를 압축하는 서브명령어는, 고려 중인 프레임 및 적어도 하나의 이전 프레임 둘다로부터의 정보를 사용하여 평균 및 최대 루미넌스를 계산하는 서브명령어를 포함하는 것인 컴퓨터 판독가능 매체.
  58. 제57항에 있어서, 평균 루미넌스를 계산하는 서브명령어는, 로그 평균 루미넌스(log average luminance)
    Figure 112005061828497-PCT00362
    를
    Figure 112005061828497-PCT00363
    로서 계산하는 서브명령어를 포함하며, 여기서
    Figure 112005061828497-PCT00364
    은 작은 값이고, N은 양쪽 프레임 내의 픽셀의 총수이고,
    Figure 112005061828497-PCT00365
    는 시각 k-1 및 k에서의 프레임 i로 이루어진 인과적 시간 이웃(causal temporal neighborhood)인 것인 컴퓨터 판독가능 매체.
  59. 장면의 한 이미지를 장면의 다른 이미지로 매핑하는 흐름 필드를 설정하는 컴퓨터 구현 계층적 전역적 레지스트레이션 프로세스로서,
    상기 프로세스는, 컴퓨터를 사용하여,
    이미지들 간의 전역적 호모그래피(global homography)를 계산하는 단계,
    이미지들 중 하나를 중첩하는 사분면(overlapping quadrant)으로 분할하는 단계,
    각각의 사분면에 대해,
    고려 중인 사분면 내의 픽셀들 간의 세기 변동이 소정의 변동 임계값을 초과하는지 여부를 판정하는 단계,
    고려 중인 사분면 내의 픽셀들 간의 세기 변동이 소정의 변동 임계값을 초과하는 것으로 판정되는 경우, 전역적 호모그래피를 사용하여 비분할된 이미지 내에서 고려 중인 사분면의 상대 영역(counterpart region)을 식별하는 단계,
    고려 중인 사분면과 비분할된 이미지 내의 식별된 상대 영역 간의 지역적 호모그래피를 계산하는 단계,
    고려 중인 사분면에 대해 지역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러가 전역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러보다 작은지를 판정하는 단계,
    지역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러가 전역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러보다 작은 것으로 판정되는 경우에, 지역적 호모그래피를 고려 중인 사분면에 할당하고, 지역적 호모그래피 를 사용할 때의 픽셀별 레지스트레이션 에러가 전역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러보다 작지 않은 것으로 판정되는 경우에, 전역적 호모그래피를 고려 중인 사분면에 할당하는 단계,
    지역적 호모그래피가 사분면에 할당된 경우, 상기 지역적 호모그래피를 사용하여 고려 중인 사분면과 연관된 흐름 필드의 일부분을 계산하는 단계,
    고려 중인 사분면 내의 픽셀들 간의 세기 변동이 소정의 변동 임계값을 초과하지도 않고 전역적 호모그래피가 사분면에 할당되지도 않은 것으로 판정되는 경우, 상기 전역적 호모그래피를 사용하여 고려 중인 사분면과 연관된 흐름 필드의 일부분을 계산하는 단계, 및
    페더링(feathering) 기술을 그 결과 얻은 흐름 필드에 걸친 흐름 불연속을 최소화하기 위해 사분면의 중첩하는 영역들 내에 존재하는 흐름 성분에 적용하는 단계를 수행하는 것인 컴퓨터 구현 계층적 전역적 레지스트레이션 프로세스.
  60. 장면의 한 이미지를 장면의 다른 이미지로 매핑하는 흐름 필드를 설정하는 컴퓨터 구현 계층적 전역적 레지스트레이션 프로세스로서,
    상기 프로세스는, 컴퓨터를 사용하여,
    (a) 레지스트레이션 프로세스에 대해 규정된 계층적 레벨의 수를 식별하는 단계,
    (b) 이미지들 간의 전역적 호모그래피(global homography)를 계산하는 단계,
    (c) 이미지들 중 하나를 중첩하는 사분면(overlapping quadrant)으로 분할하 는 단계,
    (d) 각각의 사분면에 대해,
    고려 중인 사분면 내의 픽셀들 간의 세기 변동이 소정의 변동 임계값을 초과하는지 여부를 판정하는 단계,
    고려 중인 사분면 내의 픽셀들 간의 세기 변동이 소정의 변동 임계값을 초과하는 것으로 판정되는 경우, 전역적 호모그래피를 사용하여 비분할된 이미지 내에서 고려 중인 사분면의 상대 영역(counterpart region)을 식별하는 단계,
    고려 중인 사분면과 비분할된 이미지 내의 식별된 상대 영역 간의 지역적 호모그래피를 계산하는 단계,
    고려 중인 사분면에 대해 지역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러가 전역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러보다 작은지를 판정하는 단계,
    지역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러가 전역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러보다 작은 것으로 판정되는 경우에, 지역적 호모그래피를 고려 중인 사분면에 할당하고, 지역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러가 전역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러보다 작지 않은 것으로 판정되는 경우에, 전역적 호모그래피를 고려 중인 사분면에 할당하는 단계,
    (e) 2를 넘는 각각의 규정된 계층적 레벨에 대해,
    사분면 내의 픽셀들 간의 세기 변동이 소정의 변동 임계값을 초과한 것으로 판정된, 이전의 레벨과 연관된 사분면 각각을 현재의 계층적 레벨의 사분면을 나타내는 중첩하는 사분면으로 분할하는 단계,
    현재 레벨에서의 각각의 사분면에 대해,
    고려 중인 사분면 내의 픽셀들 간의 세기 변동이 소정의 변동 임계값을 초과하는지를 판정하는 단계,
    고려 중인 사분면 내의 픽셀들 간의 세기 변동이 소정의 변동 임계값을 초과하는 것으로 판정되는 경우, 고려 중인 사분면의 상대 영역을 이전의 레벨에서의 사분면-이로부터 현재 레벨에서의 고려 중인 사분면이 분할되었음-에 할당된 호모그래피를 사용하여 비분할된 이미지에서 식별하는 단계,
    고려 중인 사분면과 비분할된 이미지에서의 식별된 상대 영역 간에 지역적 호모그래피를 계산하는 단계,
    고려 중인 사분면과 비분할된 이미지에서의 식별된 상대 영역 간에 계산된 지역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러가 이전의 레벨에서의 사분면-이로부터 현재 레벨에서의 고려 중인 사분면이 분할되었음-에 할당된 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러보다 작은지를 판정하는 단계,
    고려 중인 사분면과 비분할된 이미지에서의 식별된 상대 영역 간에 계산된 지역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러가 더 작은 것으로 판정되는 경우, 지역적 호모그래피를 고려 중인 사분면에 할당하고, 고려 중인 사분면과 비분할된 이미지에서의 식별된 상대 영역 간에 계산된 지역적 호모그래피를 사용할 때의 픽셀별 레지스트레이션 에러가 더 작지 않은 것으로 판정되는 경우, 이전의 레벨에서의 사분면-이로부터 현재 레벨에서의 고려 중인 사분면이 분할되었음-에 할당된 호모그래피를 고려 중인 사분면에 할당하는 단계,
    (f) 그 자체가 사분면으로 더 이상 분할되지 않는 각각의 계층적 레벨에서의 각각의 사분면에 대해, 지역적 호모그래피가 계산되어 사분면에 할당된 경우, 고려 중인 사분면과 연관된 흐름 필드의 일부분을 그 사분면에 대해 계산된 지역적 호모그래피를 사용하여 계산하고, 지역적 호모그래피가 계산되어 고려 중인 사분면에 할당된 경우, 고려 중인 사분면과 연관된 흐름 필드의 일부분을 이전의 레벨에서의 사분면-이로부터 현재 레벨에서의 고려 중인 사분면이 분할되었음-에 할당된 호모그래피를 사용하여 계산하는 단계, 및
    (g) 페더링 기술을 그 결과 얻어지는 흐름 필드에 걸친 흐름 불연속을 최소화하기 위해 사분면의 중첩하는 영역들 내에 존재하는 흐름 성분에 적용하는 단계를 수행하는 것인 컴퓨터 구현 계층적 전역적 레지스트레이션 프로세스.
KR1020057020537A 2003-04-29 2004-04-01 하이 다이나믹 레인지 비디오 생성 시스템, 컴퓨터 구현 방법, 및 컴퓨터 판독가능 기록 매체 KR101026577B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/425,338 US6879731B2 (en) 2003-04-29 2003-04-29 System and process for generating high dynamic range video
US10/425,338 2003-04-29

Publications (2)

Publication Number Publication Date
KR20060012278A true KR20060012278A (ko) 2006-02-07
KR101026577B1 KR101026577B1 (ko) 2011-03-31

Family

ID=33309678

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057020537A KR101026577B1 (ko) 2003-04-29 2004-04-01 하이 다이나믹 레인지 비디오 생성 시스템, 컴퓨터 구현 방법, 및 컴퓨터 판독가능 기록 매체

Country Status (7)

Country Link
US (4) US6879731B2 (ko)
EP (1) EP1618737A4 (ko)
JP (1) JP4397048B2 (ko)
KR (1) KR101026577B1 (ko)
CN (1) CN100524345C (ko)
TW (1) TWI396433B (ko)
WO (1) WO2004098167A2 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011097060A2 (en) 2010-02-04 2011-08-11 Microsoft Corporation High dynamic range image generation and rendering
KR20120046943A (ko) * 2010-11-03 2012-05-11 삼성전자주식회사 정밀도 향상을 위한 뎁스 카메라의 노출 시간 동적 제어 방법 및 장치
US8379094B2 (en) 2009-07-23 2013-02-19 Samsung Electronics Co., Ltd. Apparatus and method for obtaining motion adaptive high dynamic range image
KR101411912B1 (ko) * 2007-11-21 2014-06-25 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
US8942509B2 (en) 2010-06-14 2015-01-27 Samsung Electronics Co., Ltd. Apparatus and method creating ghost-free high dynamic range image using filtering
KR101598959B1 (ko) * 2015-09-11 2016-03-02 주식회사 유니시큐 Ip 카메라의 배경 및 객체 식별능력 향상을 위한 다중 영상 스트림의 전송방법
US10108314B2 (en) 2010-06-25 2018-10-23 Interdigital Ce Patent Holdings Method and system for displaying and processing high dynamic range video and images
KR20190076188A (ko) * 2017-12-22 2019-07-02 에이스웨이브텍(주) Lwir 및 swir를 이용한 융합 듀얼 ir 카메라 및 영상융합 알고리즘
US10904452B2 (en) 2017-12-21 2021-01-26 Samsung Electronics Co., Ltd. Method of generating composite image using plurality of images with different exposure values and electronic device supporting the same

Families Citing this family (303)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7738015B2 (en) 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
JP3719590B2 (ja) * 2001-05-24 2005-11-24 松下電器産業株式会社 表示方法及び表示装置ならびに画像処理方法
US7092584B2 (en) 2002-01-04 2006-08-15 Time Warner Entertainment Company Lp Registration of separations
US7133563B2 (en) * 2002-10-31 2006-11-07 Microsoft Corporation Passive embedded interaction code
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
JP4392492B2 (ja) * 2003-06-02 2010-01-06 国立大学法人静岡大学 広ダイナミックレンジイメージセンサ
US8989516B2 (en) 2007-09-18 2015-03-24 Fotonation Limited Image processing method and apparatus
US8199222B2 (en) * 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
US7639889B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
US8264576B2 (en) * 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US8417055B2 (en) 2007-03-05 2013-04-09 DigitalOptics Corporation Europe Limited Image processing method and apparatus
US8698924B2 (en) 2007-03-05 2014-04-15 DigitalOptics Corporation Europe Limited Tone mapping for low-light video frame enhancement
US7596284B2 (en) * 2003-07-16 2009-09-29 Hewlett-Packard Development Company, L.P. High resolution image reconstruction
KR100810310B1 (ko) * 2003-08-29 2008-03-07 삼성전자주식회사 조도차가 다른 영상의 재구성 장치 및 방법
US7492375B2 (en) * 2003-11-14 2009-02-17 Microsoft Corporation High dynamic range image viewing on low dynamic range displays
US7778466B1 (en) * 2003-12-02 2010-08-17 Hrl Laboratories, Llc System and method for processing imagery using optical flow histograms
US7583842B2 (en) * 2004-01-06 2009-09-01 Microsoft Corporation Enhanced approach of m-array decoding and error correction
US7263224B2 (en) * 2004-01-16 2007-08-28 Microsoft Corporation Strokes localization by m-array decoding and fast image matching
US7649539B2 (en) * 2004-03-10 2010-01-19 Microsoft Corporation Image formats for video capture, processing and display
US7317843B2 (en) * 2004-04-01 2008-01-08 Microsoft Corporation Luminance correction
US7463296B2 (en) * 2004-04-01 2008-12-09 Microsoft Corporation Digital cameras with luminance correction
US7330586B2 (en) * 2004-10-12 2008-02-12 Seiko Epson Corporation Low-light exposure modes for digital photo sensors with free-running shutters
US20060088225A1 (en) * 2004-10-26 2006-04-27 The Secretary Of State For The Home Department Comparison
US8355030B2 (en) 2005-01-07 2013-01-15 Corel Corporation Display methods for high dynamic range images and user interfaces for the same
US7538794B2 (en) * 2005-01-31 2009-05-26 Hewlett-Packard Development Company, L.P. Method and apparatus for motion estimation in a digital imaging device
US20060170956A1 (en) * 2005-01-31 2006-08-03 Jung Edward K Shared image devices
US9082456B2 (en) 2005-01-31 2015-07-14 The Invention Science Fund I Llc Shared image device designation
US7826074B1 (en) 2005-02-25 2010-11-02 Microsoft Corporation Fast embedded interaction code printing with custom postscript commands
US7477784B2 (en) * 2005-03-01 2009-01-13 Microsoft Corporation Spatial transforms from displayed codes
US20060215913A1 (en) * 2005-03-24 2006-09-28 Microsoft Corporation Maze pattern analysis with image matching
US7403658B2 (en) * 2005-04-15 2008-07-22 Microsoft Corporation Direct homography computation by local linearization
US7421439B2 (en) 2005-04-22 2008-09-02 Microsoft Corporation Global metadata embedding and decoding
US20060242562A1 (en) * 2005-04-22 2006-10-26 Microsoft Corporation Embedded method for embedded interaction code array
US20070008326A1 (en) * 2005-06-02 2007-01-11 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Dual mode image capture technique
US9191611B2 (en) * 2005-06-02 2015-11-17 Invention Science Fund I, Llc Conditional alteration of a saved image
US9942511B2 (en) 2005-10-31 2018-04-10 Invention Science Fund I, Llc Preservation/degradation of video/audio aspects of a data stream
US20070098348A1 (en) * 2005-10-31 2007-05-03 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Degradation/preservation management of captured data
US9967424B2 (en) 2005-06-02 2018-05-08 Invention Science Fund I, Llc Data storage usage protocol
US10003762B2 (en) 2005-04-26 2018-06-19 Invention Science Fund I, Llc Shared image devices
US8964054B2 (en) * 2006-08-18 2015-02-24 The Invention Science Fund I, Llc Capturing selected image objects
US20070222865A1 (en) 2006-03-15 2007-09-27 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Enhanced video/still image correlation
US9451200B2 (en) * 2005-06-02 2016-09-20 Invention Science Fund I, Llc Storage access technique for captured data
US20070139529A1 (en) * 2005-06-02 2007-06-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Dual mode image capture technique
US9076208B2 (en) * 2006-02-28 2015-07-07 The Invention Science Fund I, Llc Imagery processing
US9167195B2 (en) * 2005-10-31 2015-10-20 Invention Science Fund I, Llc Preservation/degradation of video/audio aspects of a data stream
US9621749B2 (en) * 2005-06-02 2017-04-11 Invention Science Fund I, Llc Capturing selected image objects
US20070109411A1 (en) * 2005-06-02 2007-05-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Composite image selectivity
US7400777B2 (en) * 2005-05-25 2008-07-15 Microsoft Corporation Preprocessing for information pattern analysis
US7729539B2 (en) * 2005-05-31 2010-06-01 Microsoft Corporation Fast error-correcting of embedded interaction codes
US7580576B2 (en) * 2005-06-02 2009-08-25 Microsoft Corporation Stroke localization and binding to electronic document
US20070127909A1 (en) 2005-08-25 2007-06-07 Craig Mowry System and apparatus for increasing quality and efficiency of film capture and methods of use thereof
JP4839035B2 (ja) * 2005-07-22 2011-12-14 オリンパス株式会社 内視鏡用処置具および内視鏡システム
US7454136B2 (en) * 2005-07-28 2008-11-18 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for acquiring HDR flash images
US7817816B2 (en) * 2005-08-17 2010-10-19 Microsoft Corporation Embedded interaction code enabled surface type identification
US7711200B2 (en) 2005-09-29 2010-05-04 Apple Inc. Video acquisition with integrated GPU processing
US8098256B2 (en) * 2005-09-29 2012-01-17 Apple Inc. Video acquisition with integrated GPU processing
US7596280B2 (en) * 2005-09-29 2009-09-29 Apple Inc. Video acquisition with integrated GPU processing
US20070120980A1 (en) 2005-10-31 2007-05-31 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Preservation/degradation of video/audio aspects of a data stream
US20070160134A1 (en) * 2006-01-10 2007-07-12 Segall Christopher A Methods and Systems for Filter Characterization
US8537893B2 (en) 2006-01-23 2013-09-17 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. High dynamic range codecs
US7664336B2 (en) * 2006-01-26 2010-02-16 Microsoft Corporation Video noise reduction
JP4561649B2 (ja) * 2006-02-13 2010-10-13 セイコーエプソン株式会社 画像圧縮装置、画像圧縮プログラム及び画像圧縮方法、ｈｄｒ画像生成装置、ｈｄｒ画像生成プログラム及びｈｄｒ画像生成方法、並びに画像処理システム、画像処理プログラム及び画像処理方法
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
TWI322622B (en) * 2006-03-22 2010-03-21 Quanta Comp Inc Image processing apparatus and method of the same
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
US7623683B2 (en) * 2006-04-13 2009-11-24 Hewlett-Packard Development Company, L.P. Combining multiple exposure images to increase dynamic range
US8880571B2 (en) * 2006-05-05 2014-11-04 Microsoft Corporation High dynamic range data format conversions for digital media
IES20070229A2 (en) * 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus
KR101313637B1 (ko) * 2006-06-09 2013-10-02 서강대학교산학협력단 콘트라스트 개선을 위한 영상 처리 장치 및 영상 처리 방법
US7885471B2 (en) * 2006-07-10 2011-02-08 Sharp Laboratories Of America, Inc. Methods and systems for maintenance and use of coded block pattern information
US8130822B2 (en) * 2006-07-10 2012-03-06 Sharp Laboratories Of America, Inc. Methods and systems for conditional transform-domain residual accumulation
US8532176B2 (en) * 2006-07-10 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for combining layers in a multi-layer bitstream
US8059714B2 (en) * 2006-07-10 2011-11-15 Sharp Laboratories Of America, Inc. Methods and systems for residual layer scaling
US8422548B2 (en) * 2006-07-10 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for transform selection and management
US7840078B2 (en) * 2006-07-10 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for image processing control based on adjacent block characteristics
US8155454B2 (en) * 2006-07-20 2012-04-10 Qualcomm Incorporated Method and apparatus for encoder assisted post-processing
US8253752B2 (en) * 2006-07-20 2012-08-28 Qualcomm Incorporated Method and apparatus for encoder assisted pre-processing
US7822289B2 (en) * 2006-07-25 2010-10-26 Microsoft Corporation Locally adapted hierarchical basis preconditioning
GB2443663A (en) * 2006-07-31 2008-05-14 Hewlett Packard Development Co Electronic image capture with reduced noise
US8055034B2 (en) * 2006-09-13 2011-11-08 Fluidigm Corporation Methods and systems for image processing of microfluidic devices
DE102006046720A1 (de) * 2006-10-02 2008-04-03 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Digitale Laufbildkamera
JP4806329B2 (ja) * 2006-10-23 2011-11-02 三洋電機株式会社 撮像装置及び撮像方法
KR100843090B1 (ko) * 2006-10-25 2008-07-02 삼성전자주식회사 영상의 깜박임을 개선하는 디스플레이 장치 및 방법
US7714892B2 (en) * 2006-11-08 2010-05-11 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems, devices and methods for digital camera image stabilization
JP4885690B2 (ja) * 2006-11-28 2012-02-29 株式会社エヌ・ティ・ティ・ドコモ 画像調整量決定装置、画像調整量決定方法、画像調整量決定プログラムおよび画像処理装置
US7719568B2 (en) * 2006-12-16 2010-05-18 National Chiao Tung University Image processing system for integrating multi-resolution images
KR20080059937A (ko) * 2006-12-26 2008-07-01 삼성전자주식회사 3ｄ영상 디스플레이 장치 및 그의 3ｄ영상신호 처리방법과3ｄ영상 처리시스템
WO2008085815A1 (en) * 2007-01-05 2008-07-17 Objectvideo, Inc. Video-based sensing for lighting controls
TW200830861A (en) * 2007-01-11 2008-07-16 Ind Tech Res Inst Method for calibrating a response curve of a camera
US8233536B2 (en) 2007-01-23 2012-07-31 Sharp Laboratories Of America, Inc. Methods and systems for multiplication-free inter-layer image prediction
US8665942B2 (en) * 2007-01-23 2014-03-04 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
US7826673B2 (en) * 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
US8503524B2 (en) * 2007-01-23 2013-08-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction
TW200834470A (en) * 2007-02-05 2008-08-16 Huper Lab Co Ltd Method of noise reduction based on diamond working windows
US7760949B2 (en) 2007-02-08 2010-07-20 Sharp Laboratories Of America, Inc. Methods and systems for coding multiple dynamic range images
KR20080076004A (ko) * 2007-02-14 2008-08-20 삼성전자주식회사 촬상장치 및 그 다이나믹 레인지 확장방법
US20080198235A1 (en) * 2007-02-16 2008-08-21 Shou-Lung Chen High dynamic range image recorder
US8054886B2 (en) * 2007-02-21 2011-11-08 Microsoft Corporation Signaling and use of chroma sample positioning information
US9307212B2 (en) 2007-03-05 2016-04-05 Fotonation Limited Tone mapping for low-light video frame enhancement
US8767834B2 (en) 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
JP4306750B2 (ja) * 2007-03-14 2009-08-05 ソニー株式会社 撮像装置、撮像方法、露光制御方法、プログラム
US7773118B2 (en) 2007-03-25 2010-08-10 Fotonation Vision Limited Handheld article with movement discrimination
JP4849339B2 (ja) * 2007-03-30 2012-01-11 ソニー株式会社 情報処理装置および方法
US8731322B2 (en) 2007-05-03 2014-05-20 Mtekvision Co., Ltd. Image brightness controlling apparatus and method thereof
CN101312494B (zh) * 2007-05-21 2012-04-04 华为技术有限公司 计算相机响应曲线及合成大动态范围图像的方法及其装置
ES2357371T3 (es) * 2007-07-05 2011-04-25 Siemens Industry, Inc. Sistema y método de procesamiento de datos de imagen.
US7961983B2 (en) * 2007-07-18 2011-06-14 Microsoft Corporation Generating gigapixel images
US20090033755A1 (en) * 2007-08-03 2009-02-05 Tandent Vision Science, Inc. Image acquisition and processing engine for computer vision
US7983502B2 (en) * 2007-08-06 2011-07-19 Microsoft Corporation Viewing wide angle images using dynamic tone mapping
WO2009020977A1 (en) 2007-08-06 2009-02-12 Adobe Systems Incorporated Method and apparatus for radiance capture by multiplexing in the frequency domain
CN101394485B (zh) * 2007-09-20 2011-05-04 华为技术有限公司 图像生成方法、装置及图像合成设备
JP4438847B2 (ja) * 2007-09-28 2010-03-24 ソニー株式会社 撮像装置、撮像制御方法及び撮像制御プログラム
WO2009051062A1 (ja) * 2007-10-15 2009-04-23 Nippon Telegraph And Telephone Corporation 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体
US20090123068A1 (en) * 2007-11-13 2009-05-14 Himax Technologies Limited Method for adaptively adjusting image and image processing apparatus using the same
US8723961B2 (en) * 2008-02-26 2014-05-13 Aptina Imaging Corporation Apparatus and method for forming and displaying high dynamic range (HDR) images
US8149300B2 (en) 2008-04-28 2012-04-03 Microsoft Corporation Radiometric calibration from noise distributions
KR101475464B1 (ko) 2008-05-09 2014-12-22 삼성전자 주식회사 적층형 이미지 센서
US8244058B1 (en) 2008-05-30 2012-08-14 Adobe Systems Incorporated Method and apparatus for managing artifacts in frequency domain processing of light-field images
JP5083046B2 (ja) * 2008-06-03 2012-11-28 ソニー株式会社 撮像装置及び撮像方法
US8165393B2 (en) 2008-06-05 2012-04-24 Microsoft Corp. High dynamic range texture compression
US20090322777A1 (en) * 2008-06-26 2009-12-31 Microsoft Corporation Unified texture compression framework
US8134624B2 (en) * 2008-07-03 2012-03-13 Aptina Imaging Corporation Method and apparatus providing multiple exposure high dynamic range sensor
JP5271631B2 (ja) * 2008-08-07 2013-08-21 Ｈｏｙａ株式会社 画像処理ユニット、撮像装置、合成画像作成プログラム
GB0819069D0 (en) 2008-10-17 2008-11-26 Forensic Science Service Ltd Improvements in and relating to methods and apparatus for comparison
EP2180692A1 (en) 2008-10-22 2010-04-28 STWireless SA Method of and a device for producing a digital picture
CN101394487B (zh) * 2008-10-27 2011-09-14 华为技术有限公司 一种合成图像的方法与系统
DE102008044322A1 (de) * 2008-12-03 2010-06-10 Robert Bosch Gmbh Steuereinrichtung für eine Kameraanordnung, Kameraanordnung für ein Fahrzeug sowie Verfahren zur Regelung einer Kamera eines Fahrzeuges
US20100157079A1 (en) * 2008-12-19 2010-06-24 Qualcomm Incorporated System and method to selectively combine images
US8339475B2 (en) * 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
US8774559B2 (en) * 2009-01-19 2014-07-08 Sharp Laboratories Of America, Inc. Stereoscopic dynamic range image sequence
US8189089B1 (en) 2009-01-20 2012-05-29 Adobe Systems Incorporated Methods and apparatus for reducing plenoptic camera artifacts
US9380260B2 (en) * 2009-01-21 2016-06-28 Texas Instruments Incorporated Multichannel video port interface using no external memory
WO2010088465A1 (en) 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same
TWI393992B (zh) * 2009-02-05 2013-04-21 Nat Univ Chung Cheng High dynamic range image synthesis method
JP4748230B2 (ja) * 2009-02-17 2011-08-17 カシオ計算機株式会社 撮像装置、撮像方法及び撮像プログラム
US8290295B2 (en) * 2009-03-03 2012-10-16 Microsoft Corporation Multi-modal tone-mapping of images
WO2010102135A1 (en) * 2009-03-04 2010-09-10 Wagner Paul A Temporally aligned exposure bracketing for high dynamic range imaging
DE102009001518B4 (de) * 2009-03-12 2011-09-01 Trident Microsystems (Far East) Ltd. Verfahren zur Erzeugung einer HDR-Videobildfolge
CN101841631B (zh) * 2009-03-20 2011-09-21 微星科技股份有限公司 暗部曝光补偿方法及应用该方法的图像处理装置
JP4678061B2 (ja) * 2009-04-02 2011-04-27 株式会社ニコン 画像処理装置、それを備えたデジタルカメラ及び画像処理プログラム
US8582001B2 (en) * 2009-04-08 2013-11-12 Csr Technology Inc. Exposure control for high dynamic range image capture
US8248481B2 (en) * 2009-04-08 2012-08-21 Aptina Imaging Corporation Method and apparatus for motion artifact removal in multiple-exposure high-dynamic range imaging
CN101867727B (zh) * 2009-04-16 2011-12-07 华为技术有限公司 一种视频处理方法及装置
US8111300B2 (en) * 2009-04-22 2012-02-07 Qualcomm Incorporated System and method to selectively combine video frame image data
US8570396B2 (en) * 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8525900B2 (en) 2009-04-23 2013-09-03 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8237813B2 (en) 2009-04-23 2012-08-07 Csr Technology Inc. Multiple exposure high dynamic range image capture
TWI381718B (zh) * 2009-05-20 2013-01-01 Acer Inc A system for reducing video noise and a method thereof, and an image capturing apparatus
US8363062B2 (en) * 2009-06-26 2013-01-29 Sony Corporation Method and unit for generating a radiance map
US8345975B2 (en) * 2009-06-29 2013-01-01 Thomson Licensing Automatic exposure estimation for HDR images based on image statistics
WO2011002505A1 (en) 2009-06-29 2011-01-06 Thomson Licensing Zone-based tone mapping
US8346009B2 (en) * 2009-06-29 2013-01-01 Thomson Licensing Automatic exposure estimation for HDR images based on image statistics
KR101728088B1 (ko) 2009-06-29 2017-04-18 톰슨 라이센싱 콘트라스트 개선
JP5458865B2 (ja) * 2009-09-18 2014-04-02 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
KR101633460B1 (ko) * 2009-10-21 2016-06-24 삼성전자주식회사 다중 노출 제어 장치 및 그 방법
KR20110043833A (ko) * 2009-10-22 2011-04-28 삼성전자주식회사 퍼지룰을 이용한 디지털 카메라의 다이나믹 레인지 확장모드 결정 방법 및 장치
KR101367821B1 (ko) 2009-12-21 2014-02-26 한국전자통신연구원 계층적 영상블록의 대칭정보를 이용한 비디오 식별 방법 및 장치
CN102111534B (zh) * 2009-12-25 2013-01-23 财团法人工业技术研究院 建构高动态范围图像的系统及方法
TWI424371B (zh) * 2009-12-30 2014-01-21 Altek Corp Video processing device and processing method thereof
WO2011093994A1 (en) * 2010-01-27 2011-08-04 Thomson Licensing High dynamic range (hdr) image synthesis with user input
US8896715B2 (en) 2010-02-11 2014-11-25 Microsoft Corporation Generic platform video image stabilization
US8817015B2 (en) 2010-03-03 2014-08-26 Adobe Systems Incorporated Methods, apparatus, and computer-readable storage media for depth-based rendering of focused plenoptic camera data
US8983127B2 (en) * 2010-03-19 2015-03-17 University Of Central Florida Research Foundation, Inc. Object tracking with opposing image capture devices
JP5432799B2 (ja) * 2010-03-30 2014-03-05 オリンパスイメージング株式会社 撮像装置、撮像システム、撮像方法
DE102010013451A1 (de) 2010-03-30 2011-10-06 Tobias Hornig Verfahren und Vorrichtung zur Optimierung der Hell-Dunkel-Dynamik von optischen Geräten
KR101661215B1 (ko) * 2010-08-16 2016-09-30 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
WO2012027290A1 (en) 2010-08-23 2012-03-01 Red. Com, Inc. High dynamic range video
US8749694B2 (en) 2010-08-27 2014-06-10 Adobe Systems Incorporated Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing
US8803918B2 (en) 2010-08-27 2014-08-12 Adobe Systems Incorporated Methods and apparatus for calibrating focused plenoptic camera data
US8724000B2 (en) 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
US8665341B2 (en) 2010-08-27 2014-03-04 Adobe Systems Incorporated Methods and apparatus for rendering output images with simulated artistic effects from focused plenoptic camera data
GB2500835B (en) * 2010-12-10 2014-02-12 Ibm High-dynamic range video tone mapping
EP2466872B1 (en) 2010-12-14 2018-06-06 Axis AB Method and digital video camera for improving the image quality of images in a video image stream
TWI463862B (zh) * 2010-12-31 2014-12-01 Wt Microelectronics Co Ltd 寬動態範圍影像處理裝置及寬動態範圍影像處理方法
US9024951B2 (en) * 2011-02-16 2015-05-05 Apple Inc. Devices and methods for obtaining high-local-contrast image data
US8711248B2 (en) 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
ES2694806T3 (es) 2011-03-02 2018-12-27 Dolby Laboratories Licensing Corporation Operador de correlación de tonos multiescala local
WO2012130208A1 (de) 2011-03-17 2012-10-04 Spheron Vr Ag Videoanordnung zur bereitstellung von hdr videoströmen
US9030550B2 (en) 2011-03-25 2015-05-12 Adobe Systems Incorporated Thin plenoptic cameras using solid immersion lenses
JP5791336B2 (ja) * 2011-04-01 2015-10-07 キヤノン株式会社 画像処理装置及びその制御方法
US9077910B2 (en) 2011-04-06 2015-07-07 Dolby Laboratories Licensing Corporation Multi-field CCD capture for HDR imaging
JP6009538B2 (ja) * 2011-04-28 2016-10-19 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Ｈｄｒ画像を符号化及び復号するための装置及び方法
JP2012247874A (ja) * 2011-05-25 2012-12-13 Sony Corp 画像処理装置および方法
US9769430B1 (en) 2011-06-23 2017-09-19 Gentex Corporation Imager system with median filter and method thereof
CN102413315A (zh) * 2011-07-29 2012-04-11 中兴通讯股份有限公司 一种视频监控方法及视频监控系统
US9824426B2 (en) 2011-08-01 2017-11-21 Microsoft Technology Licensing, Llc Reduced latency video stabilization
US20130044237A1 (en) * 2011-08-15 2013-02-21 Broadcom Corporation High Dynamic Range Video
CN102510502B (zh) * 2011-09-30 2014-01-22 苏州佳世达电通有限公司 用于生成高动态范围图像的方法及系统
US8913153B2 (en) 2011-10-06 2014-12-16 Aptina Imaging Corporation Imaging systems and methods for generating motion-compensated high-dynamic-range images
US9172889B2 (en) * 2012-02-09 2015-10-27 Semiconductor Components Industries, Llc Imaging systems and methods for generating auto-exposed high-dynamic-range images
EP2815393B1 (en) 2012-02-14 2023-04-05 Gentex Corporation High dynamic range imager system
GB2499668B (en) * 2012-02-27 2019-03-06 Apical Ltd Exposure controller
JP2013183434A (ja) * 2012-03-05 2013-09-12 Toshiba Corp 固体撮像装置
US9733707B2 (en) 2012-03-22 2017-08-15 Honeywell International Inc. Touch screen display user interface and method for improving touch interface utility on the same employing a rules-based masking system
BR112014023256A8 (pt) 2012-03-27 2017-07-25 Sony Corp Aparelho e método de processamento de imagem, e, dispositivo de formação de imagem, e, programa
US9137456B2 (en) * 2012-06-06 2015-09-15 Apple Inc. Intelligent auto-exposure bracketing
US9148582B2 (en) * 2012-06-29 2015-09-29 Intel Corporation Method and system for perfect shot imaging from multiple images
US9489706B2 (en) 2012-07-02 2016-11-08 Qualcomm Technologies, Inc. Device and algorithm for capturing high dynamic range (HDR) video
JP6120500B2 (ja) * 2012-07-20 2017-04-26 キヤノン株式会社 撮像装置およびその制御方法
IN2015MN00020A (ko) 2012-07-26 2015-10-16 Olive Medical Corp
US9423871B2 (en) * 2012-08-07 2016-08-23 Honeywell International Inc. System and method for reducing the effects of inadvertent touch on a touch screen controller
US8446481B1 (en) 2012-09-11 2013-05-21 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
US9236029B2 (en) * 2012-09-11 2016-01-12 Apple Inc. Histogram generation and evaluation for dynamic pixel and backlight control
US9338372B2 (en) 2012-09-19 2016-05-10 Semiconductor Components Industries, Llc Column-based high dynamic range imaging systems
FR2996034B1 (fr) * 2012-09-24 2015-11-20 Jacques Joffre Procede pour creer des images a gamme dynamique etendue en imagerie fixe et video, et dispositif d'imagerie implementant le procede.
KR101408365B1 (ko) 2012-11-02 2014-06-18 삼성테크윈 주식회사 영상 분석 장치 및 방법
US9128580B2 (en) 2012-12-07 2015-09-08 Honeywell International Inc. System and method for interacting with a touch screen interface utilizing an intelligent stencil mask
US9087391B2 (en) * 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
WO2014099320A1 (en) 2012-12-17 2014-06-26 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for high dynamic range imaging
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US9247152B2 (en) 2012-12-20 2016-01-26 Google Inc. Determining image alignment failure
US8995784B2 (en) 2013-01-17 2015-03-31 Google Inc. Structure descriptors for image processing
CN103973988B (zh) * 2013-01-24 2018-02-02 华为终端（东莞）有限公司 场景识别方法及装置
US9686537B2 (en) 2013-02-05 2017-06-20 Google Inc. Noise models for image processing
US9241128B2 (en) 2013-02-14 2016-01-19 Warner Bros. Entertainment Inc. Video conversion technology
JP6236658B2 (ja) * 2013-02-19 2017-11-29 日本電気株式会社 撮像システム及び撮像方法
US11013398B2 (en) 2013-03-13 2021-05-25 Stryker Corporation System for obtaining clear endoscope images
US9117134B1 (en) 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US9066017B2 (en) 2013-03-25 2015-06-23 Google Inc. Viewfinder display based on metering images
CN103237168A (zh) * 2013-04-02 2013-08-07 清华大学 一种基于综合增益的高动态范围图像视频处理方法
US9955084B1 (en) 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
US9131201B1 (en) 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
US9077913B2 (en) 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
TWI502990B (zh) * 2013-06-27 2015-10-01 Altek Semiconductor Corp 產生高動態範圍影像的方法及其影像感測器
TWI513310B (zh) * 2013-07-12 2015-12-11 Univ Nat Yunlin Sci & Tech 攝影機動態範圍擴展裝置及方法
TWI630820B (zh) * 2013-07-19 2018-07-21 新力股份有限公司 File generation device, file generation method, file reproduction device, and file reproduction method
US9053558B2 (en) 2013-07-26 2015-06-09 Rui Shen Method and system for fusing multiple images
TWI464526B (zh) * 2013-08-08 2014-12-11 Quanta Comp Inc 高動態範圍影像曝光時間控制方法
KR20150025602A (ko) * 2013-08-29 2015-03-11 삼성전자주식회사 동영상 촬영 방법 및 그 전자 장치
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
US20150097978A1 (en) * 2013-10-07 2015-04-09 Qualcomm Incorporated System and method for high fidelity, high dynamic range scene reconstruction with frame stacking
CN106713697B (zh) 2013-10-22 2019-02-12 杜比实验室特许公司 用于扩展动态范围图像的引导颜色分级
US9380229B2 (en) 2014-02-28 2016-06-28 Samsung Electronics Co., Ltd. Digital imaging systems including image sensors having logarithmic response ranges and methods of determining motion
CN104917973B (zh) * 2014-03-11 2019-03-05 宏碁股份有限公司 动态曝光调整方法及其电子装置
US9204048B2 (en) * 2014-03-27 2015-12-01 Facebook, Inc. Stabilization of low-light video
US9407832B2 (en) * 2014-04-25 2016-08-02 Himax Imaging Limited Multi-exposure imaging system and method for eliminating rolling shutter flicker
US9307162B2 (en) * 2014-05-21 2016-04-05 Himax Imaging Limited Local enhancement apparatus and method to generate high dynamic range images by blending brightness-preserved and brightness-adjusted blocks
KR101623947B1 (ko) * 2014-06-20 2016-05-24 경남정보대학교 산학협력단 Ｈｄｒ 동영상 제작 장치 및 방법
US10104388B2 (en) * 2014-06-30 2018-10-16 Sony Corporation Video processing system with high dynamic range sensor mechanism and method of operation thereof
US9852531B2 (en) 2014-07-11 2017-12-26 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling the same
US10277771B1 (en) 2014-08-21 2019-04-30 Oliver Markus Haynold Floating-point camera
US10225485B1 (en) 2014-10-12 2019-03-05 Oliver Markus Haynold Method and apparatus for accelerated tonemapping
EP3046319A1 (en) 2015-01-19 2016-07-20 Thomson Licensing Method for generating an HDR image of a scene based on a tradeoff between brightness distribution and motion
CN107211077A (zh) * 2015-01-29 2017-09-26 皇家飞利浦有限公司 局部动态范围调整颜色处理
US10268886B2 (en) 2015-03-11 2019-04-23 Microsoft Technology Licensing, Llc Context-awareness through biased on-device image classifiers
US20160267349A1 (en) * 2015-03-11 2016-09-15 Microsoft Technology Licensing, Llc Methods and systems for generating enhanced images using multi-frame processing
US10055672B2 (en) 2015-03-11 2018-08-21 Microsoft Technology Licensing, Llc Methods and systems for low-energy image classification
US10499996B2 (en) 2015-03-26 2019-12-10 Universidade De Coimbra Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
TWI546769B (zh) 2015-04-10 2016-08-21 瑞昱半導體股份有限公司 影像處理裝置與影像處理方法
US10127644B2 (en) * 2015-04-10 2018-11-13 Apple Inc. Generating synthetic video frames using optical flow
WO2016168307A1 (en) * 2015-04-13 2016-10-20 Universidade De Coimbra Methods and systems for camera characterization in terms of response function, color, and vignetting under non-uniform illumination
JP6584131B2 (ja) * 2015-05-08 2019-10-02 キヤノン株式会社 撮像装置、撮像システム、および信号処理方法
TWI558207B (zh) 2015-06-29 2016-11-11 瑞昱半導體股份有限公司 寬動態範圍影像方法
CN105187730B (zh) * 2015-07-31 2018-08-07 上海兆芯集成电路有限公司 高动态范围图像产生方法以及使用该方法的装置
US10015409B2 (en) * 2015-09-17 2018-07-03 Mediatek Inc. Electronic device, processor and method for setting a sensor
CN105472265B (zh) * 2015-12-04 2018-12-14 中国神华能源股份有限公司 一种获取高动态范围图像的装置和方法
JP2017118296A (ja) * 2015-12-24 2017-06-29 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6233424B2 (ja) 2016-01-05 2017-11-22 ソニー株式会社 撮像システムおよび撮像方法
KR102153607B1 (ko) * 2016-01-22 2020-09-08 삼성전자주식회사 영상에서의 전경 검출 장치 및 방법
CN105721773B (zh) * 2016-01-29 2019-04-30 深圳市美好幸福生活安全系统有限公司 一种视频获取系统及方法
US9870638B2 (en) 2016-02-24 2018-01-16 Ondrej Jamri{hacek over (s)}ka Appearance transfer techniques
US9852523B2 (en) * 2016-02-24 2017-12-26 Ondrej Jamri{hacek over (s)}ka Appearance transfer techniques maintaining temporal coherence
US10630907B2 (en) 2016-03-13 2020-04-21 B.G. Negev Technologies And Applications Ltd., At Ben Gurion University Methods of producing video images that are independent of the background lighting
CN106447618B (zh) * 2016-05-20 2019-04-12 北京九艺同兴科技有限公司 一种基于字典学习的人体动作序列降噪方法
US10129485B2 (en) * 2016-06-10 2018-11-13 Microsoft Technology Licensing, Llc Methods and systems for generating high dynamic range images
JP6771656B2 (ja) * 2016-08-30 2020-10-21 ドルビー ラボラトリーズ ライセンシング コーポレイション シングルレイヤー後方互換性コーデックのリアルタイム再構成
US9955085B2 (en) * 2016-09-22 2018-04-24 Apple Inc. Adaptive bracketing techniques
KR102615738B1 (ko) * 2016-10-06 2023-12-19 한화비전 주식회사 영상 처리 장치 및 방법
CN106570849A (zh) * 2016-10-12 2017-04-19 成都西纬科技有限公司 一种图像优化方法
US10187584B2 (en) 2016-12-20 2019-01-22 Microsoft Technology Licensing, Llc Dynamic range extension to produce high dynamic range images
US10706512B2 (en) * 2017-03-07 2020-07-07 Adobe Inc. Preserving color in image brightness adjustment for exposure fusion
EP3596657A4 (en) 2017-03-14 2021-01-13 Universidade De Coimbra SYSTEMS AND METHODS FOR 3D REGISTRATION OF CURVES AND SURFACES USING VARIOUS LOCAL INFORMATION
US10009551B1 (en) * 2017-03-29 2018-06-26 Amazon Technologies, Inc. Image processing for merging images of a scene captured with differing camera parameters
US10645302B2 (en) * 2017-03-30 2020-05-05 Egis Technology Inc. Image sensing device having adjustable exposure periods and sensing method using the same
US10489897B2 (en) * 2017-05-01 2019-11-26 Gopro, Inc. Apparatus and methods for artifact detection and removal using frame interpolation techniques
US10334141B2 (en) 2017-05-25 2019-06-25 Denso International America, Inc. Vehicle camera system
JP7037584B2 (ja) * 2017-06-16 2022-03-16 ドルビー ラボラトリーズ ライセンシング コーポレイション 効率的なエンド・ツー・エンドシングルレイヤー逆ディスプレイマネジメント符号化
US10755392B2 (en) * 2017-07-13 2020-08-25 Mediatek Inc. High-dynamic-range video tone mapping
US10467733B2 (en) 2017-07-27 2019-11-05 Raytheon Company Multiplexed high dynamic range images
EP3493150A1 (en) * 2017-11-30 2019-06-05 InterDigital VC Holdings, Inc. Tone mapping adaptation for saturation control
KR102524671B1 (ko) 2018-01-24 2023-04-24 삼성전자주식회사 전자 장치 및 그의 제어 방법
JP6833751B2 (ja) 2018-03-20 2021-02-24 株式会社東芝 撮像制御装置、撮像装置、及び撮像制御方法
US10445865B1 (en) * 2018-03-27 2019-10-15 Tfi Digital Media Limited Method and apparatus for converting low dynamic range video to high dynamic range video
EP3776474A1 (en) 2018-04-09 2021-02-17 Dolby Laboratories Licensing Corporation Hdr image representations using neural network mappings
US10609299B1 (en) * 2018-09-17 2020-03-31 Black Sesame International Holding Limited Method of measuring light using dual cameras
RU2699812C1 (ru) * 2018-11-08 2019-09-11 Вячеслав Михайлович Смелков Способ управления чувствительностью телевизионной камеры на матрице ПЗС в условиях сложной освещённости и/или сложной яркости объектов, компьютерной регистрации видеосигнала и его воспроизведения
RU2726160C1 (ru) * 2019-04-29 2020-07-09 Самсунг Электроникс Ко., Лтд. Повторный синтез изображения, использующий прямое деформирование изображения, дискриминаторы пропусков и основанное на координатах реконструирование
CN112823375A (zh) 2018-11-09 2021-05-18 三星电子株式会社 使用前向扭曲、间隙鉴别器和基于坐标的修复的图像再合成
US10853927B2 (en) 2019-03-19 2020-12-01 Apple Inc. Image fusion architecture
US10853928B2 (en) 2019-03-29 2020-12-01 Apple Inc. Image fusion processing module
TWI703863B (zh) * 2019-06-13 2020-09-01 瑞昱半導體股份有限公司 視頻品質偵測方法與影像處理電路
IL268612A (en) * 2019-08-08 2021-03-01 HYATT Yonatan Using an HDR image in a visual inspection process
US11252440B2 (en) 2019-11-07 2022-02-15 Comcast Cable Communications, Llc Pixel filtering for content
CN110708473B (zh) * 2019-11-14 2022-04-15 深圳市道通智能航空技术股份有限公司 高动态范围图像曝光控制方法、航拍相机及无人飞行器
US11503221B2 (en) 2020-04-01 2022-11-15 Samsung Electronics Co., Ltd. System and method for motion warping using multi-exposure frames
CN111462021B (zh) * 2020-04-27 2023-08-29 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
KR20220010264A (ko) * 2020-07-17 2022-01-25 에스케이하이닉스 주식회사 노이즈 제거 회로, 이미지 센싱 장치 및 그 동작방법
US11490078B2 (en) 2020-12-29 2022-11-01 Tencent America LLC Method and apparatus for deep neural network based inter-frame prediction in video coding
CN113572972B (zh) * 2021-07-05 2022-04-12 深圳市阿达视高新技术有限公司 高动态范围图像合成方法、系统、图像处理设备和介质
US11595590B1 (en) * 2022-01-24 2023-02-28 Dell Products L.P. Method for intelligent frame capture for high-dynamic range images
CN114845137B (zh) * 2022-03-21 2023-03-10 南京大学 一种基于图像配准的视频光路重建方法及其装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3074967B2 (ja) * 1992-10-27 2000-08-07 松下電器産業株式会社 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置
US5517242A (en) * 1993-06-29 1996-05-14 Kabushiki Kaisha Toyota Chuo Kenkyusho Image sensing device having expanded dynamic range
US5801773A (en) * 1993-10-29 1998-09-01 Canon Kabushiki Kaisha Image data processing apparatus for processing combined image signals in order to extend dynamic range
US5929908A (en) * 1995-02-03 1999-07-27 Canon Kabushiki Kaisha Image sensing apparatus which performs dynamic range expansion and image sensing method for dynamic range expansion
US5828793A (en) * 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
KR20000064963A (ko) * 1997-02-21 2000-11-06 엠. 제이. 엠. 반 캄 비디오 이미지를 기록 및 재생하는 방법 및 장치
JPH11155098A (ja) * 1997-11-21 1999-06-08 Matsushita Electric Ind Co Ltd 信号処理装置および方法
NZ332626A (en) * 1997-11-21 2000-04-28 Matsushita Electric Ind Co Ltd Expansion of dynamic range for video camera
US7057150B2 (en) * 1998-03-16 2006-06-06 Panavision Imaging Llc Solid state imager with reduced number of transistors per pixel
US6560285B1 (en) * 1998-03-30 2003-05-06 Sarnoff Corporation Region-based information compaction as for digital images
JP4284570B2 (ja) * 1999-05-31 2009-06-24 ソニー株式会社 撮像装置及びその方法
US6864916B1 (en) * 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
US6760484B1 (en) * 2000-01-26 2004-07-06 Hewlett-Packard Development Company, L.P. Method for improved contrast mapping of digital images
US6850642B1 (en) * 2000-01-31 2005-02-01 Micron Technology, Inc. Dynamic histogram equalization for high dynamic range images
AU2001269405A1 (en) * 2000-07-05 2002-01-14 Vision Sciences, Inc. Dynamic range compression method
JP4554094B2 (ja) * 2001-01-26 2010-09-29 オリンパス株式会社 撮像装置
US7019345B2 (en) * 2000-11-16 2006-03-28 California Institute Of Technology Photodiode CMOS imager with column-feedback soft-reset for imaging under ultra-low illumination and with high dynamic range
US7050205B2 (en) * 2000-12-26 2006-05-23 Fuji Photo Film Co., Ltd. Method of correcting image data picked up from photographic film
JP2002271681A (ja) 2001-03-09 2002-09-20 Hitachi Kokusai Electric Inc テレビジョンカメラ装置
JP2002314885A (ja) * 2001-04-09 2002-10-25 Toshiba Corp 撮像装置
JP3949903B2 (ja) * 2001-04-09 2007-07-25 東芝エルエスアイシステムサポート株式会社 撮像装置及び撮像信号処理方法
JP3740394B2 (ja) * 2001-07-27 2006-02-01 日本電信電話株式会社 高ダイナミックレンジ映像の生成方法とその装置、及びこの方法の実行プログラムとこの実行プログラムの記録媒体
JP3948229B2 (ja) * 2001-08-01 2007-07-25 ソニー株式会社 画像撮像装置及び方法
DE60135559D1 (de) * 2001-11-19 2008-10-09 St Microelectronics Srl Verfahren zur Mischung von digitalen Bildern zur Erzeugung eines digitalen Bildes mit erweitertem Dynamikbereich
US20040008267A1 (en) * 2002-07-11 2004-01-15 Eastman Kodak Company Method and apparatus for generating images used in extended range image composition
US20040100565A1 (en) * 2002-11-22 2004-05-27 Eastman Kodak Company Method and system for generating images used in extended range panorama composition
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US7349583B2 (en) * 2003-09-05 2008-03-25 The Regents Of The University Of California Global motion estimation image coding and processing
JP2005250235A (ja) * 2004-03-05 2005-09-15 Seiko Epson Corp 光変調装置、光学表示装置、光変調制御プログラム及び光学表示装置制御プログラム、並びに光変調制御方法及び光学表示装置制御方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101411912B1 (ko) * 2007-11-21 2014-06-25 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
US8379094B2 (en) 2009-07-23 2013-02-19 Samsung Electronics Co., Ltd. Apparatus and method for obtaining motion adaptive high dynamic range image
US8462214B2 (en) 2009-07-23 2013-06-11 Samsung Electronics Co., Ltd. Apparatus and method for obtaining motion adaptive high dynamic range image
WO2011097060A2 (en) 2010-02-04 2011-08-11 Microsoft Corporation High dynamic range image generation and rendering
US8606009B2 (en) 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
WO2011097060A3 (en) * 2010-02-04 2011-11-10 Microsoft Corporation High dynamic range image generation and rendering
US9978130B2 (en) 2010-02-04 2018-05-22 Microsoft Technology Licensing, Llc High dynamic range image generation and rendering
US8942509B2 (en) 2010-06-14 2015-01-27 Samsung Electronics Co., Ltd. Apparatus and method creating ghost-free high dynamic range image using filtering
US10108314B2 (en) 2010-06-25 2018-10-23 Interdigital Ce Patent Holdings Method and system for displaying and processing high dynamic range video and images
KR20120046943A (ko) * 2010-11-03 2012-05-11 삼성전자주식회사 정밀도 향상을 위한 뎁스 카메라의 노출 시간 동적 제어 방법 및 장치
KR101598959B1 (ko) * 2015-09-11 2016-03-02 주식회사 유니시큐 Ip 카메라의 배경 및 객체 식별능력 향상을 위한 다중 영상 스트림의 전송방법
WO2017043933A1 (ko) * 2015-09-11 2017-03-16 주식회사 유니시큐 Ip 카메라의 배경 및 객체 식별능력 향상을 위한 다중 영상 스트림의 전송방법
US10904452B2 (en) 2017-12-21 2021-01-26 Samsung Electronics Co., Ltd. Method of generating composite image using plurality of images with different exposure values and electronic device supporting the same
KR20190076188A (ko) * 2017-12-22 2019-07-02 에이스웨이브텍(주) Lwir 및 swir를 이용한 융합 듀얼 ir 카메라 및 영상융합 알고리즘

Also Published As

Publication number Publication date
US20050243177A1 (en) 2005-11-03
EP1618737A2 (en) 2006-01-25
WO2004098167A2 (en) 2004-11-11
JP2006525747A (ja) 2006-11-09
CN100524345C (zh) 2009-08-05
US7382931B2 (en) 2008-06-03
TW200509687A (en) 2005-03-01
TWI396433B (zh) 2013-05-11
US20040218830A1 (en) 2004-11-04
JP4397048B2 (ja) 2010-01-13
US20050047676A1 (en) 2005-03-03
US7239757B2 (en) 2007-07-03
WO2004098167A3 (en) 2005-04-28
US7010174B2 (en) 2006-03-07
KR101026577B1 (ko) 2011-03-31
US20060133688A1 (en) 2006-06-22
EP1618737A4 (en) 2011-05-11
CN1799057A (zh) 2006-07-05
US6879731B2 (en) 2005-04-12

Similar Documents

Publication Publication Date Title
KR101026577B1 (ko) 하이 다이나믹 레인지 비디오 생성 시스템, 컴퓨터 구현 방법, 및 컴퓨터 판독가능 기록 매체
Kang et al. High dynamic range video
KR101117882B1 (ko) 휘도 보정
US7142723B2 (en) System and process for generating high dynamic range images from multiple exposures of a moving scene
US8264576B2 (en) RGBW sensor array
US8933985B1 (en) Method, apparatus, and manufacture for on-camera HDR panorama
US9275445B2 (en) High dynamic range and tone mapping imaging techniques
Eden et al. Seamless image stitching of scenes with large motions and exposure differences
Faraji et al. CCD noise removal in digital images
EP1924966B1 (en) Adaptive exposure control
US10055872B2 (en) System and method of fast adaptive blending for high dynamic range imaging
US20090179999A1 (en) Image Processing Method and Apparatus
KR20060045424A (ko) 휘도 정정을 갖는 디지털 카메라
KR20120114899A (ko) 영상 처리 방법 및 영상 처리 장치
van Beek Improved image selection for stack-based hdr imaging
JP2012109849A (ja) 撮像装置
Nuske et al. Extending the dynamic range of robotic vision
Schubert et al. A hands-on approach to high-dynamic-range and superresolution fusion
Neiterman et al. Adaptive Enhancement of Extreme Low-Light Images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140217

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150217

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee