KR102445762B1 - 이미지 프로세싱 방법 및 디바이스 - Google Patents

이미지 프로세싱 방법 및 디바이스 Download PDF

Info

Publication number
KR102445762B1
KR102445762B1 KR1020167035986A KR20167035986A KR102445762B1 KR 102445762 B1 KR102445762 B1 KR 102445762B1 KR 1020167035986 A KR1020167035986 A KR 1020167035986A KR 20167035986 A KR20167035986 A KR 20167035986A KR 102445762 B1 KR102445762 B1 KR 102445762B1
Authority
KR
South Korea
Prior art keywords
hdr
ldr
edge map
image
frequency subband
Prior art date
Application number
KR1020167035986A
Other languages
English (en)
Other versions
KR20170026375A (ko
Inventor
로낭 부아따르
따니아 뿔리
도미니끄 또로
레미 꼬조
까디 부아뚜쉬
Original Assignee
인터디지털 매디슨 페턴트 홀딩스 에스에이에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP14305998.8A external-priority patent/EP2961169A1/en
Application filed by 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 filed Critical 인터디지털 매디슨 페턴트 홀딩스 에스에이에스
Publication of KR20170026375A publication Critical patent/KR20170026375A/ko
Application granted granted Critical
Publication of KR102445762B1 publication Critical patent/KR102445762B1/ko

Links

Images

Classifications

    • H04N5/2357—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N5/355—
    • H04N5/357—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Television Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 비디오 시퀀스의 LDR 이미지를 프로세싱하여 이미지 품질을 향상시키는 방법 및 디바이스에 관한 것이다. 이 방법은 비디오 시퀀스의 연속적인 HDR 프레임 및 대응하는 LDR 프레임을 시간적으로 분해하는 단계와, HDR 주파수 부대역과 LDR 주파수 부대역 사이의 비교를 수행하는 단계를 포함한다. 그 후, 현재 LDR 이미지는 주파수 부대역들 사이의 비교에 기초하여 수정될 수 있다.

Description

이미지 프로세싱 방법 및 디바이스{METHOD AND DEVICE FOR PROCESSING IMAGES}
본 발명은 비디오 시퀀스의 이미지들을 프로세싱하는 방법 및 장치에 관한 것이다. 특히, 본 발명은, 예를 들어 톤 매핑 프로세스를 적용함으로써 LDR 이미지가 HDR 이미지로부터 획득되는 이미지들의 시퀀스의 프로세싱에 관한 것이다.
이미징 디바이스에 의해 캡처된 장면에서 광의 변화는 크게 변할 수 있다. 예를 들어, 장면의 그림자에 위치한 물체는 직사광선에 의해 조명되는 물체와 비교하여 매우 어둡게 나타날 수 있다. 전통적인 로우 다이내믹 레인지(LDR) 이미지에 의해 제공되는 제한된 다이내믹 레인지 및 색상 영역(gamut)은 종종 그러한 장면 내에서 조도와 색상의 변화를 정확하게 재현하는 데 충분한 범위를 제공하지 못한다. 일반적으로 이미지의 픽셀의 조도 또는 색상을 나타내는 LDR 이미지의 컴포넌트 값은 제한된 비트 수(일반적으로 8, 10 또는 12 비트)로 표현된다. 그러한 표현에 의해 제공되는 조도의 제한된 범위는, 특히 밝고 어두운 범위의 조도에서 작은 신호 변동이 효과적으로 재현되는 것을 가능하지 않게 한다.
하이 다이내믹 레인지 이미징(HDR 또는 HDRI로도 지칭함)은 종래의 LDR 이미지와 비교하여 장면의 밝은 영역과 어두운 영역 사이의 조도의 더 큰 다이내믹 레인지를 가능하게 한다. 이는 HDR 이미징에서 전체 범위에 걸쳐 높은 신호 정확도를 제공하기 위해 신호 표현을 더 넓은 다이내믹 레인지로 확장함으로써 달성된다. HDR 이미지에서 픽셀의 컴포넌트 값은 일반적으로 부동 소수점 포맷(예를 들어, 각각의 컴포넌트에 대해 32 비트 또는 16 비트, 즉 부동 또는 반 부동(half-float))을 포함하는 더 큰 비트(예를 들어, 16 비트에서 64 비트까지)로 표현되고, 가장 인기있는 포맷은 openEXR 반 부동 포맷(RGB 컴포넌트 당 16 비트, 즉 픽셀 당 48 비트) 또는 긴 표현을 갖는 정수, 전형적으로 적어도 16 비트이다. 이러한 범위는 인간 시각 시스템의 자연스러운 감도에 대응한다. 이러한 방식으로 HDR 이미지는 실제 장면에서 발견되는 조도의 넓은 범위를 보다 정확하게 표현해서 장면의 보다 사실적인 표현을 제공한다. 하이 다이내믹 레인지 이미징은 컴퓨터 그래픽 및 이미지 프로세싱 커뮤니티 양쪽 모두에서 널리 이용되고 있다.
그러나 일부 디스플레이 디바이스는 HDR 이미징에 의해 제공되는 광 강도의 전체 범위를 재현하는 데 부적절한 제한된 다이내믹 레인지를 갖는다. 이를 위해, HDR 이미지 데이터를 LDR 유형 디스플레이와 호환 가능하도록 렌더링하기 위해 다양한 기술들이 이용된다. 예를 들어, 톤 매핑은 보다 제한된 다이내믹 레인지를 갖는 매체에서 하이 다이내믹 레인지 이미지의 모양을 근사하기 위해 한 세트의 컬러를 다른 세트로 매핑하기 위해 이용되는 기술이다. 톤 매핑 연산자(TMOs; Tone Mapping Operators)는 HDR 이미지에서 이용 가능한 넓은 범위의 값들을 LDR(Low Dynamic Range) 디스플레이에서 재현할 수 있게 한다.
TMO의 2개의 주요 유형들로는, 글로벌 연산자와 로컬 연산자가 있다.
글로벌 연산자는 HDR 프레임의 특성을 이용하여 전체 이미지에 대해 단조롭게 증가하는 톤 매핑 곡선을 계산한다. 결과적으로, 이 연산자는 공간 휘도 코히어런시(spatial brightness coherency)를 보장한다. 그러나, 통상적으로 HDR 프레임에 포함된 더 섬세한 세부 사항들을 재현하는 데 실패한다. 로컬 연산자는 공간적 근방에 기초하여 각각의 픽셀을 톤 매핑한다. 이러한 기술은 로컬 공간적 콘트라스트를 증가시켜 보다 상세한 프레임을 제공한다.
입력 비디오 시퀀스의 각각의 프레임에 개별적으로 TMO를 적용하면 일반적으로 시간 인코히어런시(temporal incoherency)가 발생한다. 시간 인코히어런시의 2개의 주요 유형으로는 플리커링 아티팩트(flickering artifact)와 시간 휘도 인코히어런시가 있다.
플리커링 아티팩트는 TMO에 인한 것이고 연속적인 프레임에서 톤 매핑의 급격한 변화로 인해 야기된다. 결과적으로, 유사한 HDR 조도 값은 상이한 LDR 값으로 매핑된다. TMO로 인한 이러한 플리커링 아티팩트는 바람직하지 않으며 감소되어야 한다.
시간 휘도 인코히어런시는 단기간 및 장기간의 시간 휘도 인코히어런시를 포함한다. 단기간의 시간 휘도 인코히어런시는 HDR 장면에서 조도 조건(글로벌 또는 로컬)의 급격한 변화가 발생할 때 나타난다. 시간적으로 가까운 프레임을 고려하지 않고 TMO를 적용하면 상이한 HDR 값이 유사한 LDR 값에 매핑하게 된다. 결과적으로, 톤 매핑은 보존되어야 할 장면에 대한 정보를 잃는다.
최종적으로, 장기간의 시간 휘도의 인코히어런시는 상대적인 HDR 프레임의 휘도가 톤 매핑 프로세스의 과정 동안 보존되지 않는 경우에 발생한다. 결과적으로, HDR 시퀀스에서 가장 밝은 것으로 인식되는 프레임은 반드시 LDR 시퀀스에서 가장 밝은 프레임인 것은 아니다. 플리커링 아티팩트 및 단기간의 시간 휘도의 인코히어런시와는 달리, 장기간의 시간 휘도 인코히어런시는 반드시 연속적인 프레임을 통해 나타나지 않는다.
요약하면, 글로벌 TMO 또는 로컬 TMO를 HDR 비디오 시퀀스와 개별적으로 각각의 프레임에 적용하면 시간 인코히어런시가 발생한다.
이러한 문제를 해결하기 위한 시도로 다양한 접근법이 제안되어 왔다. 예를 들어, 시간 필터링에 기초한 해결책이 제안되어 왔다(Boitard R., Thoreau D., Bouatouch K., Cozot R.: Temporal Coherency in Video Tone Mapping, a Survey. In HDRi2013 - First International Conference and SME Workshop on HDR imaging (2013), no. 1, pp. 1-6). TMO에 의존하여, 계산된 톤 매핑 곡선 또는 매핑을 픽처에 적용하는 변수가 필터링된다. 이러한 변수의 예로는 (픽처의 전체 휘도 표시인) 픽처의 기하 평균, 그 최대값 또는 최소값 등이 있다. 그러나, 이러한 기술들은 로컬 TMO가 비선형 및 공간적으로 변하는 톤 매핑 곡선을 갖기 때문에 글로벌 TMO에 대해서만 작동한다. 또한, 단기간의 시간 휘도 인코히어런시가 발생하는 경우에, 이들 기술들은 양쪽의 조도 조건을 함께 필터링하여, 원래의 HDR 장면의 조도 조건 중 어느 것에도 대응하지 않는 천이 상태에서의 톤 매핑을 초래한다.
로컬 TMO의 경우 시간 인코히어런시를 유지하는 것은 시간과 공간에 따른 톤 매핑의 높은 변동을 방지하는 데 있다. GDC 연산자에 기초한 해결책이 Lee 등에 의해 제안되어 왔다(Lee C., Kim C.-S.: Gradient Domain Tone Mapping of High Dynamic Range Videos. In 2007 IEEE International Conference on Image Processing (2007), no. 2, IEEE, pp.　III-461-III-464.).
먼저, 이 기술은 연속적인 HDR 프레임의 각각의 쌍에 대해 픽셀 단위의 모션 추정을 수행하고, 그 후 결과 모션 필드는 대응하는 LDR 프레임에 대한 시간 코히어런시 제약 조건으로 이용된다. 이 제약 조건은 모션 벡터를 통해 연관된 2개 픽셀이 유사하게 톤 매핑되는 것을 보장한다.
이 기술로 인한 시각적 개선에도 불구하고 몇 가지 단점이 여전히 존재한다. 첫째, 이 해결책은 모션 추정의 로버스트성(robustness)에 의존한다. 이 추정이 실패하면(객체의 폐색), 시간 코히어런시 제약 조건이 다른 객체에 속하는 픽셀에 적용되어 통상적으로 고스트 아티팩트가 발생한다. 이러한 모션 추정 문제는 넌 코히어런트 모션 벡터(non-coherent motion vector)로서 지칭될 것이다. 이 문제는 단기간의 시간 휘도 인코히어런시가 발생할 경우에 일어난다. 이 경우에, 이 기술은 톤 매핑된 값을 LDR 시퀀스에서 이전 프레임의 값에 더 가깝게 레벨링한다. 또한, 이 기술은 GDC 연산자인 로컬 TMO 하나에만 설계되고, 다른 TMO로 확장될 수 없다.
최종적으로, Guthier 등(Guthier, B., Kopf, S., Eble, M., & Effelsberg, W. (2011). Flicker reduction in tone mapped high dynamic range video. In Proc. of IS&T/SPIE Electronic Imaging (EI) on Color Imaging XVI: Displaying, Processing, Hardcopy, and Applications (p. 78660C-78660C-15))은 톤 매핑된 시퀀스로부터의 정보만을 이용하여 임의의 TMO의 출력을 포스트 프로세싱(post-processing)에 의해 플리커링 아티팩트를 감소시키는 기술을 설계했다.
이 방법은 비디오 시퀀스의 연속적인 프레임들 사이의 (픽처의 전체 휘도 표시인) 기하 평균을 비교한다. 이 차이가 임계값보다 큰 경우에, 플리커링 아티팩트가 검출된다. 아티팩트가 위치하자마자, 휘도 임계값에 도달할 때까지 반복 휘도 조정을 이용하여 감소된다.
이 해결책은 시간 아티팩트를 검출한다. 결과적으로, HDR 비디오 시퀀스에서 휘도 임계값보다 큰 휘도 변화는 톤 매핑 프로세스 동안 감소되어 단기간의 시간 휘도 인코히어런시를 초래한다. 또한, 시간 인코히어런시는 글로벌 방식으로만 고려되고 로컬 시간 인코히어런시는 무시된다.
본 발명은 상술한 바를 염두하여 고안된다. 본 발명의 일반적인 양태는 HDR 소스의 연속적인 프레임들 및 LDR 톤 매핑된 시퀀스의 대응하는 프레임들을 시간적으로 분해하고 HDR 주파수 부대역과 LDR 주파수 부대역 사이의 비교를 수행하는 것을 포함한다.
본 발명의 제1 양태에 따르면,
a) 고 HDR 시간 주파수 부대역 및 저 HDR 시간 주파수 부대역을 획득하기 위해 현재 HDR 이미지 및 선행 HDR 이미지를 포함하는 2개의 시간적으로 연속적인 HDR 이미지의 시간 주파수 분해를 수행하는 단계(S103)와,
b) 고 LDR 시간 주파수 부대역 및 저 LDR 시간 주파수 부대역을 획득하기 위해 2개의 시간적으로 연속적인 HDR 이미지로부터 각각 획득된 2개의 시간적으로 연속적인 LDR 이미지의 시간 주파수 분해를 수행하는 단계(S104)와,
c) 고 HDR 시간 주파수 부대역으로부터 HDR 에지 맵을 그리고 고 LDR 시간 주파수 부대역으로부터 LDR 에지 맵을 획득하는 단계와,
d) 대응하는 픽셀들 사이의 차이를 검출하기 위해 HDR 에지 맵과 LDR 에지 맵을 비교하는 단계와,
e) 적어도 하나의 픽셀 위치 (x, y)에서 HDR 에지 맵과 LDR 에지 맵에서 발생하는 차이(S330)에 대해 상기 적어도 하나의 픽셀 위치에서 현재 LDR 이미지를 보정하는 단계(S340)
를 포함하는 비디오 시퀀스의 이미지 프로세싱 방법이 제공되고, 상기 보정하는 단계는, 에지 맵 비교로부터 플리커링 아티팩트의 존재와 단기간 휘도 인코히어런시의 존재 사이를 구별하는 단계를 포함한다.
HDR 주파수 부대역과 LDR 주파수 부대역 사이의 비교는 픽셀 단위에 기초하여 시간 인코히어런시를 검출할 수 있게 한다. 예를 들어, 톤 매핑된 비디오 시퀀스의 연속적인 프레임들에서의 시간 인코히어런시가 감소될 수 있다. 주파수 부대역의 비교는 고스트 아티팩트(ghosting artifact)의 출현을 감소시킬 수도 있다.
HDR 또는 LDR에 대한 고 시간 주파수 부대역은 저 시간 주파수 부대역보다 높은 주파수 범위의 시간 주파수 부대역을 의미한다. HDR 또는 LDR에 대한 저 시간 주파수 부대역은 고 시간 주파수 부대역보다 낮은 주파수 범위의 시간 주파수 부대역을 의미한다.
일 실시예에서, 이 방법은 고 HDR 시간 주파수 부대역으로부터의 적어도 하나의 HDR 임계값에 기초하여 HDR 에지 맵을 획득하고, 고 LDR 시간 주파수 부대역으로부터 적어도 하나의 LDR 임계값에 기초하여 LDR 에지 맵을 획득하는 단계를 포함하고, 획득된 HDR 및 LDR 에지 맵에 대해 비교가 수행된다.
일 실시예에서, 에지 검출은 캐니(canny) 필터를 적용하는 것을 포함한다.
삭제
일 실시예에서, HDR 에지 맵을 획득하기 위한 적어도 하나의 HDR 임계값 및/또는 LDR 에지 맵을 획득하기 위한 적어도 하나의 LDR 임계값은 사용자 정의된다.
일 실시예에서, HDR 에지 맵을 획득하기 위한 적어도 하나의 HDR 임계값은 저 HDR 시간 주파수 부대역에 기초하고/하거나, LDR 에지 맵을 획득하기 위한 적어도 하나의 LDR 임계값은 저 LDR 시간 주파수 부대역에 기초한다.
일 실시예에서, 이미지의 픽셀 당 임계값은 각각의 저 시간 주파수 부대역의 값에 의존한다.
일 실시예에서, 시간 주파수 분해를 수행하는 단계는 2개의 시간적으로 연속적인 HDR 프레임 또는 대응하는 LDR 프레임의 모션 추정으로부터 결정된 모션 벡터에 기초하여 모션 보상 시간 필터링을 수행하는 단계를 포함한다.
바람직하게는 모션 벡터는 2개의 시간적으로 연속적인 HDR 프레임의 모션 추정으로부터 획득된다. 이는 보다 정확한 모션 추정을 제공한다.
일 실시예에서, 상기 방법은 HDR 이미지 시간 주파수 분해를 그리고 톤 매핑된 LDR 이미지의 시간 주파수 분해를 수행하기 위한 모션 벡터를 제공하기 위해 2개의 시간적으로 연속적인 HDR 이미지들 사이의 모션 추정을 수행하는 단계를 포함한다. 모션 추정을 이용하면 공간적 및 시간적 도메인에 전반에 걸쳐 시간 인코히어런시 아티팩트를 검출 가능하게 한다.
일 실시예에서, 현재 LDR 이미지를 수정하는 단계는 LDR 임계값 아래로 플리커링 아티팩트를 감소시키는 것 또는 LDR 임계값 위로 단기간 휘도 코히어런시를 증가시키는 것을 포함한다.
본 발명은 HDR 이미지로부터 LDR 이미지를 획득하기 위한 임의의 프로세스에 적용될 수 있다는 것을 이해할 것이다. 대응하는 HDR 이미지로부터 LDR 이미지를 획득하기 위해 임의의 다이내믹 레인지 스케일링 프로세스가 적용될 수 있다. 일 실시예에서, 현재 LDR 이미지 및 선행 LDR 이미지는 각각 톤 매핑 프로세스에 의해 현재 HDR 이미지 및 선행 HDR 이미지로부터 각각 획득된다. 그러한 실시예들에서, 임의의 톤 매핑 연산자가 적용될 수 있음을 이해할 것이다.
본 발명의 제2 양태에 따르면, 고주파수 HDR 시간 주파수 부대역 및 저주파수 HDR 시간 주파수 부대역을 획득하기 위해 현재 HDR 이미지 및 선행 HDR 이미지를 포함하는 2개의 시간적으로 연속적인 HDR 이미지의 시간 주파수 분해를 그리고 고주파수 LDR 주파수 부대역 및 저주파수 LDR 주파수 부대역을 획득하기 위해 2개의 시간적으로 연속적인 HDR 이미지들로부터 각각 획득된 2개의 시간적으로 연속적인 LDR 이미지들의 시간 주파수 분해를 수행하는 필터와, 고 HDR 시간 주파수 부대역과 고 LDR 시간 주파수 부대역 사이의 비교를 수행하는 비교기와, 고 HDR 시간 주파수 부대역과 고 LDR 시간 주파수 부대역 사이의 비교에 기초하여 현재 LDR 이미지를 수정하는 이미지 보정기를 포함하는 비디오 시퀀스의 이미지 프로세싱 디바이스가 제공된다. 디바이스에는 고 HDR 시간 주파수 부대역으로부터 적어도 하나의 HDR 임계값에 기초한 HDR 에지 맵을 그리고 고 LDR 시간 주파수 부대역으로부터 적어도 하나의 LDR 임계값에 기초한 LDR 에지 맵을 획득하기 위한 에지 맵 생성기(edge map generator)가 제공되고, 비교기는 획득된 HDR 에지 맵 및 LDR 에지 맵에 대한 비교를 수행하여 대응하는 픽셀들 사이의 차이를 검출하도록 구성된다.
일 실시예에서, 에지 맵 생성기는 캐니 필터를 포함한다.
일 실시예에서, 캐니 필터는 스무딩(smoothing) 모듈, 임계 모듈 및 에지 보간 변조기를 포함한다.
일 실시예에서, HDR 에지 맵을 획득하기 위한 적어도 하나의 HDR 임계값 및/또는 LDR 에지 맵을 획득하기 위한 적어도 하나의 LDR 임계값은 사용자 정의된다.
일 실시예에서, HDR 에지 맵을 획득하기 위한 적어도 하나의 HDR 임계값은 저주파수 HDR 시간 주파수 부대역에 기초하고/하거나, LDR 에지 맵을 획득하기 위한 적어도 하나의 LDR 임계값은 저주파수 LDR 시간 주파수 부대역에 기초한다.
일 실시예에서, 필터는 2개의 시간적으로 연속적인 HDR 프레임 또는 대응하는 LDR 프레임의 모션 추정으로부터 결정된 모션 벡터에 기초하여 모션 보상 시간 필터링을 수행하도록 구성된다.
본 발명의 추가의 양태에 따르면, 비디오 시퀀스의 이미지를 프로세싱하기 위한 본 발명의 제2 양태의 임의의 실시예에 따른 디바이스 및 LDR 이미지를 디스플레이하기 위한 디스플레이를 포함하는 디스플레이 디바이스가 제공된다.
본 발명의 실시예는 HDR 부대역을 이용하여 HDR 시퀀스에서 조명 조건(글로벌 또는 로컬)의 시간 변화(또는 결여)를 검출하여 LDR 시퀀스에서 그들을 보존하기 때문에, 플리커링 아티팩트들과 단기간 인코히어런시 아티팩트들 양쪽 모두를 처리하는데 도움을 준다.
본 발명의 실시예에 따른 방법의 적어도 일부는 컴퓨터로 구현될 수 있다. 따라서, 본 발명은 전적으로 하드웨어 실시예, 전적으로 소프트웨어 실시예(펌웨어, 상주 소프트웨어, 마이크로 코드 등을 포함함) 또는 본 명세서에서 일반적으로 모두 "회로", "모듈" 또는 "시스템"으로 지칭될 수 있는 소프트웨어 및 하드웨어 양태를 조합하는 실시예의 형태를 취할 수 있다. 또한, 본 발명은 매체에 구체화된 컴퓨터 이용 가능 프로그램 코드를 갖는 임의의 유형의 표현 매체에 구현된 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
본 발명은 소프트웨어로 구현될 수 있으므로, 본 발명은 임의의 적절한 캐리어 매체 상의 프로그램 가능 장치에 제공하기 위한 컴퓨터 판독 가능 코드로서 구현될 수 있다. 유형의 캐리어 매체는 플로피 디스크, CD-ROM, 하드 디스크 드라이브, 자기 테이프 디바이스 또는 고체 상태 메모리 디바이스 등과 같은 저장 매체를 포함할 수 있다. 일시적인 캐리어 매체는 전기 신호, 전자 신호, 광 신호, 음향 신호, 자기 신호 또는 예를 들어, 마이크로웨이브 또는 RE 신호와 같은 전자기 신호를 포함할 수 있다.
이제 본 발명의 실시예는 이하 도면을 참조하여 예로서만 설명될 것이다:
도 1은 본 발명의 제1 실시예에 따른 비디오 시퀀스의 이미지 프로세싱 방법의 개략적인 블록도이다.
도 2는 본 발명의 실시예에 따른 모션 보상(MC; Motion Compensation)을 이용하여 2개 프레임의 시간 부대역 분해를 수행하는 방법의 개략도이다.
도 3은 본 발명의 실시예에 따라 주파수 부대역들의 비교를 수행하는 방법의 단계들을 도시하는 개략도이다.
도 4는 본 발명의 하나 이상의 실시예가 구현될 수 있는 프로세싱 디바이스의 블록도이다.
도 5는 본 발명의 하나 이상의 실시예가 구현될 수 있는 전자 디바이스의 일례의 블록도이다.
시간 인코히어런시 아티팩트는 비디오 시퀀스의 연속적인 프레임에서 휘도의 글로벌 또는 로컬 변경(또는 결여)이다. 본 명세서에서 설명된 본 발명의 실시예에 의해 해결될 수 있는 2개 유형의 시간 인코히어런시는 (LDR 시퀀스에서 휘도의 변화가 발생하는 동안 HDR 시퀀스에서 휘도의 변화의 결여가 존재하는) 플리커링 아티팩트 및 (LDR 시퀀스에서 휘도의 변화가 발생하지 않는 동안 HDR 시퀀스에서 휘도의 변화가 존재하는) 단기간 휘도 인코히어런시이다.
도 1은 본 발명의 실시예에 따라 비디오 시퀀스의 이미지들을 프로세싱하기 위한 방법의 단계들을 도시하는 개략적인 블록도이다.
상기 방법은 HDR 이미지 데이터의 취득과 함께 단계 S101에서 개시한다. 본 예에서 HDR 이미지 데이터는 이미지들의 비디오 시퀀스를 대표한다. HDR 이미지 데이터는, 예를 들어, 비디오 카메라와 같은 이미징 디바이스로부터 직접 취득되거나, HDR 이미지 데이터가 저장되는 메모리로부터 취득될 수 있고, 메모리는 국부적으로 또는 원격으로 위치되거나, 무선 또는 유선 통신 회선을 통해 수신될 수 있다.
본 명세서에 사용된 바와 같이, 용어 "HDR 이미지" 또는 "HDR 프레임"은 부동 소수점(부동 또는 반 부동), 고정 소수점 또는 전형적으로 16보다 큰 비트 수로 표시되는 긴 표현 정수 포맷의 하이 다이내믹 레인지 데이터를 포함하는 임의의 HDR 이미지 또는 프레임을 지칭한다.
도 1의 도시된 예에서, 2개의 시간적으로 연속적인 HDR 프레임들 FHDR t -1 및 FHDR t: 현재 (시간 t에서) HDR 프레임 FHDR t 및 시간적으로 선행 (시간 t-1에서) HDR 프레임 FHDR t-1은 프로세싱을 위해 HDR 비디오 시퀀스로부터 취득된다.
단계 S102에서, 2개의 시간적으로 연속적인 HDR 프레임들 FHDR t -1 및 FHDR t은 임의의 TMO를 이용하는 톤 매핑 프로세스에 의해 톤 맵핑되어 2개의 대응하는 톤 맵핑된 LDR 이미지들, FLDR t -1 및 FLDR t: 현재 (시간 t에서) LDR 프레임 FLDR t 및 시간적으로 선행 (시간 t-1에서) LDR 프레임 FLDR t -1을 획득한다. 선행 톤 매핑된 프레임 (FLDR t - 1)은 본 발명의 실시예들에 따른 프로세스의 이전 반복에서 현재 LDR 프레임으로서 이미 시간 인코히어런시 감소를 겪었을 수 있으며, 이 경우에 (도 1에서 FLDR* t-1)로 나타낸다.
모션 추정은 HDR 비디오 시퀀스의 선행 HDR 프레임 FHDR t -1과 현재 HDR 프레임 FHDR t 사이에서 수행된다. 모션 추정으로부터 획득된 모션 벡터(Mv)는 단계 S103에서 HDR 비디오 시퀀스의 2개의 연속적인 HDR 프레임 FHDR t -1 및 FHDR t에 대해 MCTF(Motion Compensated Temporal Filtering)를 수행하는데 이용된다. 이 프로세스는 2개의 연속적인 HDR 프레임 FHDR t -1 및 FHDR t를 2개의 시간 주파수 부대역: 고주파수 부대역(HHDR)으로서 일반적으로 언급되는 더 높은 주파수 부대역 및 저주파수 부대역(LHDR)으로서 일반적으로 언급되는 더 낮은 주파수 부대역으로 분해하는 단계를 포함한다.
유사하게, MCTF는 2개의 연속적인 HDR 프레임 FHDR t -1 및 FHDR t에 대응하는 톤 매핑된 LDR 비디오 시퀀스의 선행 및 현재 프레임들 FLDR * t-1 및 FLDR t에 대해 단계 S104에서 수행된다. 톤 매핑된 LDR 비디오 시퀀스의 선행 및 현재 프레임들 FLDR * t-1 및 FLDR t에 적용되는 MCTF는 HDR 비디오 시퀀스의 대응하는 2개의 연속적인 HDR 프레임들 FHDR t -1 및 FHDR t의 MCTF에 적용된 것들과 동일한 모션 벡터들을 이용한다. 결과적으로, 2개의 시간 주파수 부대역: 더 높은(고) 주파수 부대역(HLDR) 및 더 낮은(저) 주파수 부대역(LLDR)이 LDR 프레임에 대해 획득된다.
2개의 연속적인 HDR 프레임들에 대해 수행된 모션 추정으로부터 모션 벡터들을 획득하는 것이 더 나은 정확도를 위해 바람직하지만, 본 발명의 일부 실시예들에서, 모션 벡터는 2개의 연속적인 LDR 프레임들에 대해 수행되는 모션 추정으로부터 획득될 수 있다.
LDR 시퀀스와 HDR 시퀀스(HLDR 와 HHDR) 양쪽 모두로부터 획득된 고주파수 시간 주파수 부대역은 단계 S105에서 시간 인코히어런시 아티팩트를 검출하는 데 이용된다. 이 검출을 이용하여, 비디오 시퀀스 FLDR t의 현재 LDR 프레임은 그러한 아티팩트들을 감소시키도록 수정된다. 프로세싱된 현재 톤 매핑된 프레임 FLDR* t가 획득된다. 부대역 분해로 인한 저주파 시간 주파수 부대역의 추가 프로세싱은 필수적이지 않다는 것을 알 수 있다.
본 발명의 일 실시예에 따른 단계 S103 및 단계 S104에서 적용된 시간 주파수 분해의 프로세스가 도 2를 참조하여 설명될 것이다.
도 2의 예에서, Ft-1 및 Ft로서 도 2에서 일반적으로 참조되는 HDR 프레임 FHDR t-1 및 FHDR t 또는 대응하는 톤 매핑된 LDR 프레임 FLDR t -1 및 FLDR t의 시간 주파수 분해의 프로세스는, 단계 S201 및 단계 S202에서 각각 고 시간 주파수 부대역 H 및 저 시간 주파수 부대역 L을 획득하기 위해, 선행 HDR 프레임 FHDR t -1과 현재 HDR 프레임 FHDR t 사이의 모션 추정으로부터 획득된 역방향 모션 벡터
Figure 112016126234111-pct00001
및 순방향 모션 벡터
Figure 112016126234111-pct00002
를 이용하여 직교 정규 변환을 적용하는 단계를 포함한다.
Figure 112016126234111-pct00003
여기서, H 및 L은 각각 LDR 레벨 또는 HDR 레벨에서 획득된 고 시간 주파수 부대역 및 저 시간 주파수 부대역이고,
Figure 112016126234111-pct00004
및
Figure 112016126234111-pct00005
는 각각 시간적으로 연속적인 HDR 프레임 사이의 모션 추정으로부터 획득된 역방향 모션 벡터 및 순방향 모션 벡터이면서, n은 프레임 Ft의 픽셀 위치이고, p는 n＋
Figure 112016126234111-pct00006
에 대응한다.
도 1의 단계 S105의 아티팩트 검출 및 감소 기능을 구현하기 위한 본 발명에 따른 실시예의 일례가 도 3을 참조하여 설명될 것이다. LDR 레벨에서의 고 시간 주파수 부대역 HLDR과 HDR 레벨에서의 고 시간 주파수 부대역 HHDR 각각은 단계 S311 및 S321에서 각각의 임계값을 각각 이용하여 에지 맵 EHDR과 ELDR 각각을 생성한다.
Figure 112016126234111-pct00007
Figure 112016126234111-pct00008
그 후, 2개 에지 맵은 단계 S330에서 서로 비교되어 에지 차이를 검출하고, 차이가 검출되면, 시간 인코히어런시 아티팩트가 존재하는 것으로 간주된다. 일부 경우들은 표 1의 예에서 요약된 바와 같이 구별될 수 있다.
Figure 112016126234111-pct00009
에지 맵에서 발생하는 임의의 차이를 보정하기 위해, 현재 톤 매핑된 프레임(FLDR t)은, 임계값 아래인 플리커링 아티팩트를 감소시키거나, 임계값 위인 단기간 휘도 인코히어런시를 감소시키도록 단계 S340에서 각각의 필요한 픽셀 위치(x, y)에서 보정된다.
표 1은
Figure 112016126234111-pct00010
및
Figure 112016126234111-pct00011
에 대해 획득된 값이 1 또는 0인 2진 에지 맵의 예를 나타내지만, 본 발명의 다른 실시예에서는, 복수의 임계값이 대응하는 에지 맵을 획득하기 위해 HDR 고 시간 주파수 부대역 및 LDR 고 시간 주파수 부대역에 적용될 수 있음을 이해할 것이다. 복수의 상이한 임계값이 각각의 에지 맵을 획득하기 위해 이용되는 경우에, 에지의 강도를 나타내는 각각의 HDR 에지 맵 및 LDR 에지 맵이 획득된다. HDR 고주파수 부대역과 LDR 고주파수 부대역 사이에서 강도가 상이하면, 현재 LDR 이미지는 강도 차이들의 차이에 기초하여 수정된다.
HDR 임계값 및 LDR 임계값은 여러 가지 방법으로 계산될 수 있다.
예를 들어, 일 실시예에서 임계값들은 사용자 정의된다.
다른 실시예에서, 임계값은 2개의 저주파수 부대역(LHDR 및 LLDR)으로부터 각각 유도된다. 이러한 경우, 저주파수 부대역의 값에 따라 픽셀 당 임계값이 있다.
본 발명의 실시예에 따라 보정 에지 차이 함수의 적용이 이제 설명될 것이다. 표 1의 예에서 다루어야 할 2가지 경우가 있다. 첫째, 대응하는 시간적으로 연속적인 LDR 프레임들에서 에지가 존재하는 동안 2개의 시간적으로 연속적인 HDR 프레임들 사이에는 시간 에지가 존재하지 않는다. 이는 TMO의 적용에 의해 도입되는 플리커링 아티팩트에 대응한다. 이 예에서 이러한 아티팩트는 "FA" 경우로 지칭된다. 둘째, 시간적으로 연속적인 LDR 프레임들에서 시간 에지가 존재하지 않지만, 2개의 시간적으로 연속적인 HDR 프레임들 사이에 시간 에지가 존재한다. 이는 단기간 시간 휘도 인코히어런시이다. 이 예에서 이러한 아티팩트는 "BI" 경우로 지칭된다.
일 실시예에 따르면, HDR 에지 맵과 LDR 에지 맵 EHDR과 ELDR 양쪽 모두는 동일한 값을 갖는 방식으로 아티팩트가 감소된다. 예를 들어, 이하 수학식을 고려하면:
Figure 112016126234111-pct00012
여기서
Figure 112016126234111-pct00013
은 아티팩트가 감소된, 포스트 프로세싱된 현재 LDR 프레임이며 다음과 같이 계산된다.
Figure 112016126234111-pct00014
Figure 112016126234111-pct00015
여기서, "fa" 및 "bi"는 플리커링 아티팩트 "FA" 및 시간 휘도 인코히어런시 아티팩트 "BI"가 각각 검출된 픽셀들을 나타낸다.
Figure 112016126234111-pct00016
및
Figure 112016126234111-pct00017
는 각각 "fa" 및 "bi" 픽셀들에 관한 모션 벡터에 대응한다. 최종적으로 "델타"는 수학식 (A)와 (B)의 부등식을 고려하도록 결과값을 임계값 위에 두기 위해 적용되는 양자화 단계이다.
도 1 내지 도 3에서, 도시된 모듈은 구별 가능한 물리적 유닛에 대응할 수도 있고 그렇지 않을 수도 있는 기능 유닛에 대응한다. 예를 들어, 이러한 복수의 모듈들은 고유 컴포넌트 또는 회로에 연관될 수 있거나 소프트웨어 모듈에 대응할 수 있다. 또한, 모듈은 잠재적으로 개별적인 물리적 엔티티들 또는 소프트웨어 기능들로 구성될 수 있다.
본 발명의 실시예와 호환 가능한 디바이스는 하드웨어에 의해서만, 소프트웨어에 의해서만 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 하드웨어에 관하여, 예를 들어, ASIC ≪Application Specific Integrated Circuit≫, FPGA ≪Field-Programmable Gate Array≫ 또는 VLSI ≪Very Large Scale Integration≫와 같은 전용 하드웨어가 사용될 수 있고; 하드웨어 컴포넌트와 소프트웨어 컴포넌트의 조합으로부터 또는 디바이스에 내장된 여러 통합 전자 컴포넌트들을 사용하여 상기 디바이스가 구현될 수 있다.
본 발명의 추가의 실시예에서, 에지 검출 기술은 HDR 및 LDR 고주파수 시간 부대역(HLDR 및 HHDR)에 존재하는 에지를 검출하여 각각의 에지 맵을 획득하도록 적용된다. 이는 현재 이미지와 선행 이미지 사이의 광도 변화에 대응하고 시간 아티팩트를 나타내는 고주파 부대역에 존재하는 에지를 검출하는 것이다. 이를 달성하기 위해, 캐니(Canny) 필터가 이용된다. 캐니 필터는 에지 검출을 가능하게 하고, 예를 들어 라플라스(Laplace) 필터와 비교하여 보다 정확한 에지의 위치를 제공한다. 캐니 필터 프로세스의 제1 단계는 스무딩에 의해 이미지의 노이즈의 감소를 포함한다. 스무딩은 예를 들어, 가우시안을 적용함에 의해 수행될 수 있다. 그 후 후속 단계에서 그래디언트를 적용하여 에지를 검출한다. 후속 단계에서 임계값이 적용된다; 임계값은 예를 들어 계수 α로 수정될 수 있다. 그 후, 그래디언트 법선이 로컬 최대를 갖는 곳을 발견하기 위해 검출된 에지들은 보간에 의해 정련된다. 비 최대값들은 억제될 수 있고, HDR 및 LDR 에지 맵은 단계 S105에서 아티팩트의 검출 및 보정에 대한 비교를 위해 획득된다.
도 4는 본 발명의 하나 이상의 실시예가 구현될 수 있는 전자 디바이스(400)의 기능적 컴포넌트들을 나타내는 개략적인 블록도이다.
전자 디바이스(400)는 메모리(410), 하나 이상의 프로세싱 유닛(CPUs)(420), 애플리케이션으로부터 및 애플리케이션으로 데이터를 전송하기 위한 입력/출력 인터페이스(430), 및 외부 디바이스 또는 네트워크로의 접속을 위한 인터페이스 포트(470)를 포함한다. 컴포넌트들은 하나 이상의 통신 버스(450)를 통해 통신한다.
메모리는 고속 랜덤 액세스 메모리(RAM)(411) 및 판독 전용 메모리(ROM)(412)를 포함할 수 있다. 메모리의 레지스터는 저용량의 일부(일부 비트) 또는 디바이스의 임의의 메모리의 고용량 부분(예를 들어 전체 컴퓨터 프로그램 코드 또는 다량의 압축 또는 비 압축 데이터)에 대응할 수 있다. ROM(412)은 적어도 프로그램 코드 및 파라미터를 저장한다. 본 발명의 실시예에 따른 이미지들의 시퀀스를 프로세싱하기 위한 방법의 알고리즘은 ROM(412)에 저장될 수 있다.
하나 이상의 CPU(420)는 프로세싱 디바이스(400)의 기능을 수행하고 데이터를 프로세싱하기 위해 메모리(410)에 저장된 다양한 소프트웨어 프로그램들 및/또는 명령어들의 세트를 실행한다. RAM(411)은, 레지스터 내에, 디바이스(400)의 스위치 온 이후 CPU(420)에 의해 실행되고 업로딩되는 프로그램, 레지스터 내의 입력 데이터, 레지스터 내의 알고리즘의 상이한 상태에서의 중간 데이터, 및 레지스터 내의 알고리즘의 실행을 위해 이용되는 다른 변수들을 포함한다. 스위치 온된 경우에, CPU(420)는 RAM(411)으로부터 소프트웨어 프로그램을 업로딩하고 대응하는 명령어들을 실행한다.
본 발명의 실시예에 따라 프로세싱될 이미지는 메모리(410)에 저장될 수 있다. 본 발명의 실시예에 따른 방법으로부터 획득된, 프로세싱된 이미지는 메모리(410)에 저장될 수 있다.
메모리(410)는 하나 이상의 자기 디스크 저장 디바이스, 플래시 메모리 디바이스 또는 다른 비휘발성 고체 상태 메모리 디바이스와 같은 비휘발성 메모리를 포함할 수 있다. 일부 실시예에서, 메모리는 하나 이상의 CPU(420)로부터 원격으로 위치된 저장소를 추가로 포함할 수 있다. 예를 들어, 인터페이스 및/또는 통신 네트워크를 통해 액세스 가능한 저장소가 포함될 수 있다.
일부 실시예에서, 디바이스에는 배터리(440)와 같은 전원이 제공된다. 대안적인 실시예에 따르면, 전원은 디바이스 외부에 있을 수 있다.
디바이스에는 디스플레이(460), 예를 들어 본 발명의 실시예에 따른 방법으로부터 획득된, 프로세싱된 LDR 이미지의 디스플레이를 위한 LDR 호환 가능한 디스플레이가 제공될 수 있다. 다른 실시예에서, 디스플레이는 디바이스(400)에 원격으로 위치되고, 프로세싱된 이미지는 예를 들어 유선 또는 무선 데이터 통신 인터페이스를 통해 또는 유선 또는 무선 네트워크 접속을 통해 포트(470)에 의해 디스플레이로 전송된다. HDR 이미지는 유선 또는 무선 통신 인터페이스를 통해 또는 유선 또는 무선 네트워크 접속을 통해 포트(470)에 의해 수신될 수 있다.
도 5는 본 발명의 실시예가 구현될 수 있는 전자 시스템의 컴포넌트를 예시하는 개략적인 블록도이다. 전자 시스템은 HDR 이미지를 취득하기 위한 이미지 취득 모듈(510), 본 발명의 하나 이상의 실시예에 따라 HDR 이미지를 프로세싱하는 이미지 프로세서(520) 및 LDR 이미지의 디스플레이와 호환 가능한 디스플레이 디바이스를 포함한다. HDR 취득 디바이스(510)는, 예를 들어 HDR 포맷의 이미지를 취득하도록 구성된 비디오 레코더 또는 HDR 이미지가 저장된 매체일 수 있다.
이미지 프로세서(520)는 현재 HDR 이미지 FHDR t -1, FHDR t 및 선행 HDR 이미지 FHDR t-1를 포함하는 2개의 시간적으로 연속적인 HDR 이미지 FHDR t - 1와 FHDR t의 시간 주파수 분해를 수행하여 고 HDR 시간 주파수 부대역 HHDR 및 저 HDR 시간 주파수 부대역 LHDR을 획득하고; 2개의 시간적으로 연속적인 HDR 이미지들로부터 각각 획득된 2개의 시간적으로 연속적인 LDR 이미지들 FLDR t -1 및 FLDR t의 시간 주파수 분해를 수행하여 고 LDR 시간 주파수 부대역 HLDR 및 저 LDR 시간 주파수 부대역 LLDR을 획득하는 필터(521)와, 고 HDR 시간 주파수 부대역과 고 LDR 시간 주파수 부대역 HHDR과 HLDR 사이의 비교를 수행하기 위한 비교기(522)와, 고 HDR 시간 주파수 부대역 HHDR과 고 LDR 시간 주파수 부대역 HLDR 사이의 비교에 기초하여 현재 LDR 이미지 FLDR t를 수정하는 이미지 보정기(523)를 포함한다. 프로세싱된 이미지는 그 후 디스플레이를 위해 LDR 디스플레이 디바이스(530)에 전송된다.
본 발명의 실시예는 플리커링 아티팩트 및 단기간 휘도 인코히어런시의 검출과, 그러한 효과의 감소를 가능하게 한다. 또한, 본 발명의 실시예들은 플리커링 아티팩트를 단기간 휘도 코히어런시와 구별하기 위해 이용될 수 있다. 본 발명은 임의의 톤 매핑 또는 다른 HDR-LDR 스케일링 기술에 일반적이다. 톤 매핑의 경우에, 본 발명의 실시예는 톤 매핑 프로세스에서 이용되는 톤 매핑 연산자에 의해 도입된 고스트 아티팩트(ghosting artifact)를 검출하는 것을 돕는다.
본 발명은 특정 실시예를 참조하여 상기와 같이 기술되었지만, 본 발명은 특정 실시예들에 한정되지 않는다는 점을 이해할 것이고, 본 기술 분야의 통상의 기술자에게는 본 발명의 범위 내에 있는 수정들이 명백할 것이다.
예를 들어, 본 발명의 실시예가 HDR 이미지를 LDR 이미지로 변환하기 위한 톤 매핑 기술에 관하여 기술되었지만, 본 발명은 톤 매핑 기술에 제한되지 않고, HDR 이미지를 LDR 호환 가능한 이미지로 전환하기 위한 임의의 기술에 적용될 수 있다는 점을 이해할 것이다.
전술한 예시적 실시예들을 참조하면 관련 기술 분야의 통상의 기술자에 대해 많은 추가 수정 및 변형이 제안될 것인데, 이들 실시예들은 단지 예로서 주어지고, 본 발명의 범위를 제한하도록 의도되지는 않으며, 본 발명의 범위는 첨부 청구항들에 의해서만 결정된다. 특히, 상이한 실시예들로부터의 상이한 특징들은 적절한 경우에 상호 교환될 수 있다.

Claims (15)

  1. 비디오 시퀀스의 이미지 프로세싱 방법으로서,
    고 HDR 시간 주파수 부대역 및 저 HDR 시간 주파수 부대역을 획득하기 위해 현재 HDR 이미지 및 선행 HDR 이미지를 포함하는 2개의 시간적으로 연속적인 HDR 이미지의 시간 주파수 분해를 수행하는 단계(S103)와,
    고 LDR 시간 주파수 부대역 및 저 LDR 시간 주파수 부대역을 획득하기 위해 상기 2개의 시간적으로 연속적인 HDR 이미지로부터 각각 획득된 2개의 시간적으로 연속적인 LDR 이미지의 시간 주파수 분해를 수행하는 단계(S104)와,
    상기 고 HDR 시간 주파수 부대역으로부터 HDR 에지 맵을 그리고 상기 고 LDR 시간 주파수 부대역으로부터 LDR 에지 맵을 획득하는 단계와,
    대응하는 픽셀들 사이의 차이를 검출하여 에지 맵 비교를 발생시키기 위해 상기 HDR 에지 맵과 상기 LDR 에지 맵을 비교하는 단계와,
    적어도 하나의 픽셀 위치 (x, y)에서 상기 HDR 에지 맵과 상기 LDR 에지 맵에서 발생하는 차이(S330)에 대해 상기 적어도 하나의 픽셀 위치에서 현재 LDR 이미지를 보정하는 단계(S340)
    를 포함하고, 상기 보정하는 단계는, 상기 에지 맵 비교로부터 플리커링 아티팩트의 존재와 단기간 휘도 인코히어런시의 존재 사이를 구별하는 단계를 포함하는, 비디오 시퀀스의 이미지 프로세싱 방법.
  2. 제1항에 있어서,
    상기 HDR 에지 맵은 상기 고 HDR 시간 주파수 부대역으로부터 적어도 하나의 HDR 임계값에 기초하여 획득(S311)되고, 상기 LDR 에지 맵은 상기 고 LDR 시간 주파수 부대역으로부터의 적어도 하나의 LDR 임계값에 기초하여 획득(S321)되는, 비디오 시퀀스의 이미지 프로세싱 방법.
  3. 제1항에 있어서,
    상기 HDR 에지 맵은 상기 고 HDR 시간 주파수 부대역에 캐니(Canny) 필터를 적용함으로써 획득되고, 상기 LDR 에지 맵은 상기 고 LDR 시간 주파수 부대역에 캐니 필터를 적용함으로써 획득되는, 비디오 시퀀스의 이미지 프로세싱 방법.
  4. 제3항에 있어서,
    캐니 필터를 적용함에 의한 에지 검출은 스무딩(smoothing), 임계화(thresholding) 및 보간을 포함하는, 비디오 시퀀스의 이미지 프로세싱 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    시간 주파수 분해를 수행하는 단계는 2개의 시간적으로 연속적인 HDR 프레임 또는 2개의 시간적으로 연속적인 대응하는 LDR 프레임의 모션 추정으로부터 결정된 모션 벡터에 대해 모션 보상 시간 필터링(motion compensated temporal filtering)을 수행하는 단계를 포함하는, 비디오 시퀀스의 이미지 프로세싱 방법.
  6. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 현재 LDR 이미지를 보정하는 단계는 제1 LDR 임계값 아래로 플리커링 아티팩트를 감소시키는 단계 또는 제1 LDR 임계값 위로 단기간 휘도 코히어런시를 증가시키는 단계를 포함하는, 비디오 시퀀스의 이미지 프로세싱 방법.
  7. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 현재 LDR 이미지 및 선행 LDR 이미지는 톤 매핑 프로세스에 의해 상기 현재 HDR 이미지 및 상기 선행 HDR 이미지로부터 각각 획득되는, 비디오 시퀀스의 이미지 프로세싱 방법.
  8. 비디오 시퀀스 이미지 프로세싱 디바이스로서,
    고 HDR 시간 주파수 부대역 및 저 HDR 시간 주파수 부대역을 획득하기 위해 현재 HDR 이미지 및 선행 HDR 이미지를 포함하는 2개의 시간적으로 연속적인 HDR 이미지의 시간 주파수 분해를 그리고 고 LDR 시간 주파수 부대역 및 저 LDR 시간 주파수 부대역을 획득하기 위해 상기 2개의 시간적으로 연속적인 HDR 이미지들로부터 각각 획득된 2개의 시간적으로 연속적인 LDR 이미지들의 시간 주파수 분해를 수행하는 필터(521)와,
    상기 고 HDR 시간 주파수 부대역으로부터 HDR 에지 맵을 그리고 상기 고 LDR 시간 주파수 부대역으로부터 LDR 에지 맵을 획득하기 위한 에지 맵 생성기와,
    대응하는 픽셀들 사이의 차이를 검출하기 위해 상기 HDR 에지 맵과 상기 LDR 에지 맵 사이의 비교를 수행하기 위한 비교기(522)와,
    적어도 하나의 픽셀 위치 (x, y)에서 상기 HDR 에지 맵과 상기 LDR 에지 맵에서 발생하는 차이에 대해 상기 적어도 하나의 픽셀 위치에서 현재 LDR 이미지를 보정하기 위한 이미지 보정기(523)
    를 포함하고, 상기 보정하는 것은, 상기 에지 맵 비교로부터 플리커링 아티팩트의 존재와 단기간 휘도 인코히어런시의 존재 사이를 구별하는 것을 포함하는, 비디오 시퀀스 이미지 프로세싱 디바이스.
  9. 제8항에 있어서,
    상기 에지 맵 생성기는 상기 고 HDR 시간 주파수 부대역으로부터 적어도 하나의 HDR 임계값에 기초하여 상기 HDR 에지 맵을 획득하고, 상기 고 LDR 시간 주파수 부대역으로부터 적어도 하나의 LDR 임계값에 기초하여 LDR 에지 맵을 획득하도록 구성되는, 비디오 시퀀스 이미지 프로세싱 디바이스.
  10. 제8항에 있어서,
    상기 에지 맵 생성기는 캐니 필터를 포함하는, 비디오 시퀀스 이미지 프로세싱 디바이스.
  11. 제10항에 있어서,
    상기 캐니 필터는 스무딩 모듈, 임계화 모듈 및 에지 보간 변조기를 포함하는, 비디오 시퀀스 이미지 프로세싱 디바이스.
  12. 제8항 내지 제11항 중 어느 한 항에 있어서,
    상기 필터는 2개의 시간적으로 연속적인 HDR 프레임 또는 2개의 시간적으로 연속적인 대응하는 LDR 프레임의 모션 추정으로부터 결정된 모션 벡터에 대해 모션 보상 시간 필터링을 수행함으로써 시간 주파수 분해를 수행하도록 구성되는, 비디오 시퀀스 이미지 프로세싱 디바이스.
  13. 비디오 시퀀스의 이미지를 프로세스하도록 구성된, 제8항 내지 제11항 중 어느 한 항에 따른 디바이스(520)와, LDR 이미지를 디스플레이하도록 구성된 디스플레이(530)를 포함하는 디스플레이 디바이스.
  14. 프로그램 가능한 장치용 컴퓨터 판독가능 기록 매체 상에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 상기 프로그램 가능한 장치에 의해 실행될 때 제1항 내지 제4항 중 어느 한 항에 따른 방법을 수행하기 위한 명령어들의 시퀀스를 포함하는, 프로그램 가능한 장치용 컴퓨터 판독가능 기록 매체 상에 저장된 컴퓨터 프로그램.
  15. 삭제
KR1020167035986A 2014-06-25 2015-06-17 이미지 프로세싱 방법 및 디바이스 KR102445762B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP14305998.8A EP2961169A1 (en) 2014-06-25 2014-06-25 Method and device for processing images
EP14305998.8 2014-06-25
EP14306016 2014-06-27
EP14306016.8 2014-06-27
PCT/EP2015/063523 WO2015197436A1 (en) 2014-06-25 2015-06-17 Method and device for processing images

Publications (2)

Publication Number Publication Date
KR20170026375A KR20170026375A (ko) 2017-03-08
KR102445762B1 true KR102445762B1 (ko) 2022-09-22

Family

ID=53433202

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167035986A KR102445762B1 (ko) 2014-06-25 2015-06-17 이미지 프로세싱 방법 및 디바이스

Country Status (7)

Country Link
US (1) US10334270B2 (ko)
EP (1) EP3162067B1 (ko)
JP (1) JP6640122B2 (ko)
KR (1) KR102445762B1 (ko)
CN (1) CN106537911B (ko)
TW (1) TWI678914B (ko)
WO (1) WO2015197436A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10225485B1 (en) * 2014-10-12 2019-03-05 Oliver Markus Haynold Method and apparatus for accelerated tonemapping
EP3319013A1 (en) * 2016-11-03 2018-05-09 Thomson Licensing Method and device for estimating cast shadow regions and/or highlight regions in images
CN111970564B (zh) * 2020-08-26 2023-03-24 展讯通信（上海）有限公司 Hdr视频显示处理的优化方法及装置、存储介质、终端
CN113395599A (zh) * 2020-12-03 2021-09-14 腾讯科技（深圳）有限公司 一种视频处理方法、装置、电子设备及介质
KR20220141543A (ko) * 2021-04-13 2022-10-20 삼성전자주식회사 전자 장치 및 그 제어 방법
CN117121468A (zh) 2021-04-13 2023-11-24 三星电子株式会社 电子装置及其控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012520619A (ja) 2009-03-13 2012-09-06 ドルビー ラボラトリーズ ライセンシング コーポレイション 高ダイナミックレンジ、視覚ダイナミックレンジ及び広色域のビデオの階層化圧縮
JP2013519157A (ja) 2010-02-04 2013-05-23 マイクロソフト コーポレーション 高ダイナミック・レンジ画像の発生およびレンダリング
JP2013520687A (ja) 2010-02-19 2013-06-06 トムソン ライセンシング 高ダイナミックレンジのビデオ・トーン・マッピングのためのパラメータ補間

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002045020A1 (en) * 2000-11-30 2002-06-06 Canon Kabushiki Kaisha Image processing device, image processing method, storage medium, and program
AUPR222500A0 (en) 2000-12-21 2001-01-25 Unisearch Limited Method for efficient scalable compression of video
US7257273B2 (en) 2001-04-09 2007-08-14 Mingjing Li Hierarchical scheme for blur detection in digital image using wavelet transform
US7483486B2 (en) 2004-07-02 2009-01-27 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. Method and apparatus for encoding high dynamic range video
JP4837365B2 (ja) * 2005-11-16 2011-12-14 オリンパス株式会社 画像処理システム、画像処理プログラム
ES2551561T3 (es) 2006-01-23 2015-11-19 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Codecs de alto rango dinámico
JP2010055194A (ja) * 2008-08-26 2010-03-11 Sony Corp 画像処理装置および方法、学習装置および方法、並びにプログラム
US8326046B2 (en) * 2009-02-11 2012-12-04 Ecole De Technologie Superieure Method and system for determining structural similarity between images
JP5544764B2 (ja) * 2009-06-09 2014-07-09 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5397059B2 (ja) * 2009-07-17 2014-01-22 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US9020257B2 (en) 2009-10-08 2015-04-28 International Business Machines Corporation Transforming a digital image from a low dynamic range (LDR) image to a high dynamic range (HDR) image
US8983206B2 (en) * 2011-05-04 2015-03-17 Ecole de Techbologie Superieure Method and system for increasing robustness of visual quality metrics using spatial shifting
US9332156B2 (en) 2011-06-09 2016-05-03 Hewlett-Packard Development Company, L.P. Glare and shadow mitigation by fusing multiple frames
GB201201230D0 (en) * 2012-01-25 2012-03-07 Univ Delft Tech Adaptive multi-dimensional data decomposition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012520619A (ja) 2009-03-13 2012-09-06 ドルビー ラボラトリーズ ライセンシング コーポレイション 高ダイナミックレンジ、視覚ダイナミックレンジ及び広色域のビデオの階層化圧縮
JP2013519157A (ja) 2010-02-04 2013-05-23 マイクロソフト コーポレーション 高ダイナミック・レンジ画像の発生およびレンダリング
JP2013520687A (ja) 2010-02-19 2013-06-06 トムソン ライセンシング 高ダイナミックレンジのビデオ・トーン・マッピングのためのパラメータ補間

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Compressing and companding high dynamic range images with subband architectures(Li Y ET AL, ACM Transactions on Graphics, pages836-844, 2005.07.01)

Also Published As

Publication number Publication date
US10334270B2 (en) 2019-06-25
CN106537911A (zh) 2017-03-22
EP3162067B1 (en) 2021-03-31
JP2017528018A (ja) 2017-09-21
US20170134745A1 (en) 2017-05-11
TW201611579A (zh) 2016-03-16
CN106537911B (zh) 2019-11-01
KR20170026375A (ko) 2017-03-08
JP6640122B2 (ja) 2020-02-05
EP3162067A1 (en) 2017-05-03
WO2015197436A1 (en) 2015-12-30
TWI678914B (zh) 2019-12-01

Similar Documents

Publication Publication Date Title
KR102445762B1 (ko) 이미지 프로세싱 방법 및 디바이스
CN104980652B (zh) 图像处理设备和图像处理方法
KR101944208B1 (ko) 색 보정을 위한 장치 및 방법
US20160142593A1 (en) Method for tone-mapping a video sequence
KR20090115234A (ko) 화질 개선을 위한 노이즈 검출 및 평가 기술
JP6678376B2 (ja) 動き検出装置および動き検出方法
US10462368B1 (en) Temporal filtering based on motion detection between temporally non-adjacent pictures
KR20150145725A (ko) Ldr 비디오 시퀀스의 동적 범위 확장을 위한 방법 및 장치
Mangiat et al. Spatially adaptive filtering for registration artifact removal in HDR video
KR101874738B1 (ko) 영상처리를 이용하여 ldr 영상으로부터 hdr 영상을 생성하는 장치 및 방법
Gryaditskaya et al. Motion aware exposure bracketing for HDR video
US9860456B1 (en) Bayer-clear image fusion for dual camera
CN113344820B (zh) 图像处理方法及装置、计算机可读介质、电子设备
EP2961169A1 (en) Method and device for processing images
Yoo et al. Flicker removal for CMOS wide dynamic range imaging based on alternating current component analysis
Sayed et al. An efficient intensity correction algorithm for high definition video surveillance applications
EP4078506A1 (en) A system for performing ambient light image correction
KR101959147B1 (ko) 왜곡없이 저조도 영상 프레임을 복원하는 단말 장치 및 방법과 이를 수행하는 기록 매체
KR20150040559A (ko) 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체
Boitard et al. Temporal coherency in video tone mapping, a survey
US9508020B2 (en) Image processing system with artifact suppression mechanism and method of operation thereof
Kanj et al. Color deflickering for high-speed video in the presence of artificial lighting
CN105450909B (zh) 一种信息处理方法及电子设备
JP2014220759A (ja) 画像処理装置および画像処理方法
Cheung et al. An efficient retinex-like brightness normalization method for coding camera flashes and strong brightness variation in videos

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right