KR20190084068A - 이미지들의 캐스트 섀도우 구역들 및/또는 하이라이트 구역들을 추정하기 위한 방법 및 디바이스 - Google Patents
이미지들의 캐스트 섀도우 구역들 및/또는 하이라이트 구역들을 추정하기 위한 방법 및 디바이스 Download PDFInfo
- Publication number
- KR20190084068A KR20190084068A KR1020197015437A KR20197015437A KR20190084068A KR 20190084068 A KR20190084068 A KR 20190084068A KR 1020197015437 A KR1020197015437 A KR 1020197015437A KR 20197015437 A KR20197015437 A KR 20197015437A KR 20190084068 A KR20190084068 A KR 20190084068A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- ldr
- hdr
- map
- luminance
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012545 processing Methods 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G06K9/00664—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G06K9/4661—
-
- G06T5/007—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H04N5/2355—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 장면에서 캐스트 섀도우 구역들 및 하이라이트 구역들을 추정하기 위한 방법에 관한 것이고, 상기 장면은 LDR 이미지라 칭해지는 낮은 동적 범위 이미지, 및 HDR 이미지라 칭해지는 높은 동적 범위 이미지에 의해 표현되고, 상기 방법은: - LDR 이미지의 LDR 상세 맵이라 칭해지는 상세 맵을 컴퓨팅하는 단계(S1) - 상기 LDR 상세 맵은 상세 레벨을 LDR 이미지의 각각의 화소에 연관시킴 -; - HDR 이미지의 HDR 상세 맵이라 칭해지는 상세 맵을 컴퓨팅하는 단계(S2) - 상기 HDR 상세 맵은 상세 레벨을 HDR 이미지의 각각의 화소에 연관시킴 -, 및 - HDR 상세 맵의 상세 레벨이 LDR 상세 맵의 상세 레벨보다 더 큰 장면의 구역들을 검출하는 단계(S3)를 포함하고, 상기 검출된 구역들은 그 장면의 캐스트 섀도우 구역들 또는 하이라이트 구역에 대응한다.
Description
본 발명은 일반적으로 이미지들의 캐스트 섀도우(cast shadow) 구역들 및/또는 하이라이트(highlight) 구역들을 추정하기 위한 이미지 프로세싱 분야에 관한 것이다.
카메라는 광 자극을 컬러 좌표들로 변환한다. 보다 정확하게, 입사 광의 스펙트럼은 카메라 센서에 의해 통합된 컬러 필터들에 의해 가중되어, 적색, 녹색 및 청색에 대한 컬러 좌표들(RGB)로 된다.
이미지 프로세싱의 다양한 분야들에서 문제는 이미지 분석이다. 이미지 분석으로부터 추정될 특정 타입의 정보는 하이라이트들 및 캐스트 섀도우들이다. 하이라이트들은, 예컨대 정반사로부터 발생하는 밝은 이미지 구역들이다. 정반사는 하이라이트 구역들 내에서 다량의 인입 광으로 인해 컬러 좌표들의 최대 합법적인 레벨에서 컬러 좌표들의 클리핑(clipping)을 유도한다. 예컨대, LDR(Low Dynamic Range) 이미지 또는 SDR(Standard Dynamic Range) 이미지에서와 같이, 컬러 좌표들의 범위가 0 내지 255 정도이면, 하이라이트 구역들에서 컬러 좌표들은 종종 255로 클리핑되거나 255에 가까운 값들로 적어도 강하게 동적으로 압축된다. 다른 타입의 클리핑은 소프트-클리핑(soft-clipping)이고, 예컨대 1000 Cd/m2의 큰 범위의 광 세기 값들은 작은 범위 코드 값들 또는 컬러 좌표들, 예컨대 250 내지 255로 매핑(map)되거나 소프트-클리핑된다. 이에 의해, 광택 있는 객체들의 질감 같은 광 분포의 상세 품질이 저하된다. 정반사들의 동일한 하이라이트 구역들은 일반적으로, 이들 구역들의 컬러 좌표들이 단지 하나 또는 소수의 코드 레벨들이 아닌 복수의 코드 레벨 또는 컬러 좌표로 확산된다는 점에서 HDR(High Dynamic Range) 이미지에서 더 잘 표현된다.
캐스트 섀도우들은, 제1 객체가 제2 객체에 도달할 광 소스의 광을 저지하면 발생한다. 이런 제2 객체에 대한 캐스트 섀도우들은 종종 주변 장면보다 훨씬 더 어둡고 매우 작은 컬러 좌표들을 가진 이미지 구역들을 유도한다. 컬러 좌표들은 심지어 제로로 클리핑되거나 제로에 가까운 값들로 동적으로 강하게 압축될 수 있다.
이미지들에서 하이라이트 구역들 및/또는 캐스트 섀도우 구역들의 검출 문제는 많은 수의 잘-알려진 방법들에 의해 처리되었다. 이들 방법들은 LDR(Low Dynamic Range) 이미지들 또는 HDR(high Dynamic Range) 이미지들에 적용된다.
예컨대, 캐스트 섀도우들을 추정하기 위한 방법들은 문헌("The Shadow meets the Mask: Pyramid-Based Shadow Removal", Y. Shor & D. Lischinski, Eurographics 2008, and in "Illumination Estimation and Cast Shadow Detection through a Higher-order Graphical Model", A. Panagopoulos et al., CVPR 2011)에 개시된다.
마찬가지로, 하이라이트들을 추정하기 위한 방법들은 문헌("Automatic detection and elimination of specular reflectance in color images by means of ms diagram and vector connected filters", F Ortiz and F Torres, IEEE Transactions on Systems Man and Cybernetics Part C Applications and Reviews, 36(5):681-687, 2006 and in "Real-Time Surface Light-field Capture for Augmentation of Planar Specular Surfaces", J. Jachnik et al., ISMAR 2012)에 개시된다.
그런 방법들은 일반적으로 구현하기에 복잡하고 그리고/또는 복수의 이미지들을 요구하고 그리고/또는 복잡한 모델들 또는 동작들을 사용한다. 그런 방법들은 상이한 동적 범위 레벨들로부터의 정보, 예컨대 SDR 및 HDR 이미지들로부터의 정보를 동시에 이용할 수 없다.
본 발명에 따른 방법은 이들 공지된 방법들에 대한 대안이다.
본 발명은, 비디오 시퀀스들이 적어도 2개의 버전, 즉 하나의 LDR(Low Dynamic Range) 버전 및 하나의 HDR(High Dynamic Range) 버전이고, 점점 더 적어도 2개의 버전에서 동시에 브로드캐스팅(broadcast)될 것이라는 사실을 이용한다. 이들 버전들은 동일한 비디오 흐름, 예컨대 다층 비디오 흐름에 존재할 수 있다. 이들 2개의 버전을 수신하는 디스플레이 디바이스는 HDR 또는 LDR 이미지들을 디스플레이하기 위한 자신의 능력에 따라 디스플레이될 버전을 선택할 것이다.
본 발명은, 동일한 비디오 시퀀스의 2개의 버전이 이용가능할 때, 이들 2개의 버전의 존재가 비디오 시퀀스의 이미지들에서 캐스트 섀도우들 및/또는 하이라이트들을 검출하는 데 사용될 수 있다는 사실을 이용한다. 캐스트 섀도우들(매우 작은 양의 광) 및 하이라이트들(매우 큰 양의 광)은 HDR 이미지 및 LDR 이미지에서 상이하게 표현된다. 캐스트 섀도우 또는 하이라이트들의 시공간 이미지 상세들의 양, 품질 또는 해상도와 같은 상세 레벨은 HDR 이미지에서보다 LDR 이미지보다 높다. 본 발명은 캐스트 섀도우 구역들 및 하이라이트 구역들을 식별하기 위해 HDR 이미지와 LDR 이미지 사이의 이런 상세 레벨의 차이를 이용한다.
따라서, 본 발명은 장면에서 캐스트 섀도우 구역들 또는 하이라이트 구역들을 추정하기 위한 방법에 관한 것이고, 상기 장면은 LDR 이미지라 칭해지는 낮은 동적 범위 이미지, 및 HDR 이미지라 칭해지는 높은 동적 범위 이미지에 의해 표현되고, 상기 방법은:
- LDR 이미지의 LDR 상세 맵(detail map)이라 칭해지는 상세 맵을 컴퓨팅(computing)하는 단계 - 상기 LDR 상세 맵은 상세 레벨을 LDR 이미지의 각각의 화소에 연관시킴 -,
- HDR 이미지의 HDR 상세 맵이라 칭해지는 상세 맵을 컴퓨팅하는 단계 - 상기 HDR 상세 맵은 상세 레벨을 HDR 이미지의 각각의 화소에 연관시킴 -, 및
- HDR 상세 맵의 상세 레벨이 LDR 상세 맵의 상세 레벨보다 더 큰 장면의 구역들을 검출하는 단계를 포함하고, 상기 검출된 구역들은 그 장면의 캐스트 섀도우 구역들 또는 하이라이트 구역에 대응한다.
HDR 이미지는 LDR 이미지보다 더 높은 동적 범위를 가진다. HDR 이미지는 LDR 이미지들의 시리즈로부터 만들어질 수 있다. HDR 이미지는 LDR 이미지의 역 톤 매핑(inverse tone mapping)으로부터 획득될 수 있다. HDR 이미지 및 LDR 이미지는 서로 독립적으로 제공될 수 있다.
동일한 장면을 표현하는 LDR 이미지 및 HDR 이미지가 적합한 알려진 소프트웨어에 의해 자동으로 생성될 수 있다는 것을 주목하라.
이미지의 상세 맵은 이미지의 고주파수 층을 표현하고 그리고/또는 이 이미지의 미세한 상세에 대응한다.
US2011/245976호가 상이한 노광들 하에서 캡처된 K개의 LDR 이미지의 시리즈로부터 만들어진 HDR 이미지의 고스트(ghost)들을 검출하고, 이런 HDR 이미지로부터 이들 고스트들을 제거하는 방법을 개시한다는 것을 주목하라. 그런 고스트들은 이 시리즈의 이미지들 사이의 움직임에 의해 생성된다. 이 문헌의 [00107]에 따라, 이들 고스트는 그 시리즈 K개의 이미지에 걸쳐 휘도 값들의 분산 맵(variance map)을 컴퓨팅하는 것을 통해 검출된다. 이 문헌의 [0108] 절의 끝에 개시된 이 방법의 개선에서, 고스트 잔차(residual)들은 이런 HDR 이미지에서, 기준 이미지로 취해진, 시리즈의 하나의 이미지를 뺌으로써 검출된다. HDR 이미지의 분산 맵과 다른 맵 사이의 차이는 어디에도 개시되지 않는다.
특정 실시예에서, 방법은 하이라이트 구역들로부터 캐스트 섀도우 구역들을 구별하기 위한 단계를 더 포함한다. 이 실시예에서, 방법은 검출된 구역들 중에서, LDR 이미지 또는 HDR 이미지의 화소들이 휘도 임계값보다 더 큰 휘도 값들을 가진 구역들을 하이라이트 구역들로서 그리고 상기 LDR 이미지 또는 HDR 이미지의 화소들이 상기 휘도 임계값보다 더 낮은 휘도 값들을 가진 구역들을 캐스트 섀도우 구역들로서 할당하는 단계를 더 포함한다.
휘도 임계값은 예컨대 8비트 컬러 좌표들을 가진 LDR 이미지에 대해 128과 동일하다.
특정 실시예에서, HDR 상세 맵에서의 상세 레벨이 LDR 상세 맵에서의 상세 레벨보다 더 큰 장면의 구역들은 HDR 상세 맵과 LDR 상세 맵 사이의 차이를 계산함으로써 검출된다.
특정 실시예에서, LDR 상세 맵은:
- LDR 이미지에 대한 휘도 맵을 획득하기 위해 LDR 이미지의 각각의 화소에 대한 휘도 값을 정의하고,
- 필터링된 휘도 맵을 획득하기 위해 LDR 이미지의 휘도 맵에 저역 통과 필터를 적용하고,
- LDR 상세 맵을 획득하기 위해 휘도 맵과 필터링된 휘도 맵 사이의 차이를 컴퓨팅함으로써
컴퓨팅된다.
예컨대, 공간 저역 통과 필터는 적어도 부분적으로 공간 이미지 상세를 제거한다. 그러므로, 휘도 맵과 필터링된 휘도 맵 사이의 차이로부터 발생하는 맵은 LDR 이미지의 상세를 대표하는 맵이다. 다른 타입의 저역 통과 필터는 시간 상세, 예컨대 진동하는 객체를 필터링하기 위한 시간 저역 통과 필터일 수 있다.
다른 실시예에서, LDR 상세 맵은 윤곽 검출에 의해, 선명도 분석에 의해, LDR 이미지에서의 컬러들의 국부적 분포의 분석에 의해, LDR 이미지에 적용된 대비 스트레칭 연산자(contrast stretching operator)에 의해, 또는 이미지의 상세를 검출하기 위한 임의의 다른 알려진 방법에 의해 그 자체로 알려진 방식으로 컴퓨팅된다.
특정 실시예에서, LDR 상세 맵을 컴퓨팅하는 단계는 LDR 이미지에서 중간 휘도 값들을 가진 화소들에 대응하는 LDR 상세 맵의 화소들의 상세 레벨들을 감소시키기 위해 휘도 가중 함수를 LDR 상세 맵에 적용하는 단계를 더 포함한다.
특정 실시예에서, LDR 상세 맵을 컴퓨팅하는 단계는 LDR 상세 맵에서 노이즈를 제거하기 위해 LDR 상세 맵에 중앙값 필터를 적용하는 단계를 더 포함한다.
HDR 상세 맵은 HDR 이미지에 적용되는 등가 단계들에 의해 컴퓨팅된다.
더 구체적으로, HDR 상세 맵은:
- HDR 이미지에 대한 휘도 맵을 획득하기 위해 HDR 이미지의 각각의 화소에 대한 휘도 값을 정의하고,
- 필터링된 휘도 맵을 획득하기 위해 HDR 이미지의 휘도 맵에 저역 통과 필터를 적용하고,
- HDR 상세 맵을 획득하기 위해 휘도 맵과 필터링된 휘도 맵 사이의 차이를 컴퓨팅함으로써
컴퓨팅된다.
다른 실시예에서, HDR 상세 맵은 윤곽 검출에 의해, 선명도 분석에 의해, HDR 이미지에서의 컬러들의 국부적 분포의 분석에 의해, 이 LDR 이미지에 적용된 대비 스트레칭 연산자에 의해, 또는 이미지의 상세를 검출하기 위한 임의의 다른 알려진 방법에 의해 그 자체로 알려진 방식으로 컴퓨팅된다.
특정 실시예에서, HDR 상세 맵을 컴퓨팅하는 단계는 HDR 이미지에서 중간 휘도 값들을 가진 화소들에 대응하는 HDR 상세 맵의 화소들의 상세 레벨들을 감소시키기 위해 휘도 가중 함수를 HDR 상세 맵에 적용하는 단계를 더 포함한다.
본 발명은 또한 위의 방법을 포함하는 이미지 프로세싱 방법에 관한 것이다. 그런 이미지 프로세싱 방법은 예컨대 자연 이미지에 삽입된 가상 객체의 섀도우 및 섀도잉(shadowing)을 제어하는 데 전용될 수 있다.
본 발명은 또한 장면에서 캐스트 섀도우 구역들 및 하이라이트 구역들을 추정하기 위한 디바이스에 관한 것이고, 상기 장면은 LDR 이미지라 칭해지는 낮은 동적 범위 이미지, 및 HDR 이미지라 칭해지는 높은 동적 범위에 의해 표현되고, 상기 디바이스는:
- LDR 이미지의 LDR 상세 맵이라 칭해지는 상세 맵을 컴퓨팅하기 위한 수단 - 상기 LDR 상세 맵은 상세 레벨을 LDR 이미지의 각각의 화소에 연관시킴 -;
- HDR 이미지의 HDR 상세 맵이라 칭해지는 상세 맵을 컴퓨팅하기 위한 수단 - 상기 HDR 상세 맵은 상세 레벨을 HDR 이미지의 각각의 화소에 연관시킴 -, 및
- HDR 상세 맵의 상세 레벨이 LDR 상세 맵의 상세 레벨보다 더 큰 장면의 구역들을 검출하기 위한 검출 수단을 포함하고, 상기 검출된 구역들은 그 장면의 캐스트 섀도우 구역들 또는 하이라이트 구역에 대응한다.
특정 실시예에서, 검출 수단은 검출된 구역들 중에서, LDR 이미지 또는 HDR 이미지의 화소들이 휘도 임계값보다 더 큰 휘도 값들을 가진 구역들을 하이라이트 구역들로서 그리고 상기 LDR 이미지 또는 HDR 이미지의 화소들이 상기 휘도 임계값보다 더 낮은 휘도 값들을 가진 구역들을 캐스트 섀도우 구역들로서 할당하도록 구성된다.
본 발명은 또한 장면에서 캐스트 섀도우 구역들 및 하이라이트 구역들을 추정하기 위한 위의 디바이스를 통합한 전자 디바이스에 관한 것이다. 바람직하게, 이 전자 디바이스는 카메라, TV 세트, 모니터, 머리 장착 디스플레이, 셋톱 박스, 게이트웨이, 스마트폰 또는 태블릿이다.
본 발명은 또한, 프로그램이 컴퓨팅 디바이스 상에서 실행될 때, 위의 방법의 단계들을 실행하기 위한 프로그램 코드의 명령어들을 운반하는 비-일시적 저장 매체에 관한 것이다.
본 발명은 보호 범위를 제한하지 않고 예로써 주어진 다음 설명 및 도면들을 참조하여 더 잘 이해할 수 있다.
- 도 1은 본 발명의 방법의 연속적인 단계들의 흐름도이다.
- 도 2는 본 발명의 일 실시예에 따른 LDR 이미지에 대한 LDR 상세 맵을 컴퓨팅하기 위한 단계들을 도시하는 흐름도이다.
- 도 3은 도 2의 흐름도의 휘도 가중 함수를 예시하는 다이어그램이다.
- 도 4a 내지 도 4c는 캐스트 섀도우 구역들을 포함하는 이미지들에 대한 본 발명의 방법의 결과들을 예시한다.
- 도 5a 내지 도 5c는 캐스트 섀도우 구역들을 포함하는 이미지들에 대한 본 발명의 방법의 결과들을 예시한다.
- 도 6은 본 발명의 방법을 구현하는 디바이스의 개략도이다.
- 도 1은 본 발명의 방법의 연속적인 단계들의 흐름도이다.
- 도 2는 본 발명의 일 실시예에 따른 LDR 이미지에 대한 LDR 상세 맵을 컴퓨팅하기 위한 단계들을 도시하는 흐름도이다.
- 도 3은 도 2의 흐름도의 휘도 가중 함수를 예시하는 다이어그램이다.
- 도 4a 내지 도 4c는 캐스트 섀도우 구역들을 포함하는 이미지들에 대한 본 발명의 방법의 결과들을 예시한다.
- 도 5a 내지 도 5c는 캐스트 섀도우 구역들을 포함하는 이미지들에 대한 본 발명의 방법의 결과들을 예시한다.
- 도 6은 본 발명의 방법을 구현하는 디바이스의 개략도이다.
예시적인 실시예들이 다양한 수정들 및 대안적인 형태들일 수 있지만, 이의 실시예들은 도면들에 예로써 도시되고 본원에서 상세히 설명될 것이다. 그러나, 예시적인 실시예들을 개시된 특정 형태들로 제한할 의도가 없지만, 반대로 예시적인 실시예들이 청구항들의 범위 내에 속하는 모든 수정들, 등가물들 및 대안들을 포함하는 것으로 이해되어야 한다. 유사한 번호들은 도면들의 설명 전반에 걸쳐 유사한 엘리먼트들을 지칭한다.
예시적인 실시예들을 더 상세히 논의하기 전에, 일부 예시적인 실시예들이 흐름도들로서 묘사된 프로세스들 또는 방법들로 설명되는 것이 주목된다. 비록 흐름도들이 동작들을 순차적인 프로세스들로서 설명하지만, 동작들 중 일부는 병행하여, 동시에 또는 일제히 수행될 수 있다. 게다가, 동작들의 순서는 재배열될 수 있다. 프로세스들은, 프로세스들의 동작들이 완료될 때 종료될 수 있지만, 또한 도면들에 포함되지 않은 부가적인 단계들을 가질 수 있다. 프로세스들은 방법들, 함수들, 절차들, 서브루틴들, 서브프로그램들 등에 대응할 수 있다.
아래에 논의된 방법들 - 이중 일부가 흐름도들에 의해 예시됨 - 은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어들, 또는 이들의 임의의 조합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필요한 태스크(task)들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들은 기계 또는 컴퓨터 판독가능 매체, 이를테면 저장 매체에 저장될 수 있다. 프로세서(들)는 필요한 태스크들을 수행할 수 있다. 본원에 개시된 특정 구조적 및 기능적 상세사항은 단지 본 발명의 예시적인 실시예들을 설명하는 목적들을 위한 대표이다. 그러나, 본 발명은 많은 대안적인 형태들로 구현될 수 있고 본원에 설명된 실시예들로만 제한되는 것으로 이해되지 않아야 한다.
본 발명은 동일한 장면에서 캐스트 섀도우 구역들 및/또는 하이라이트 구역들을 결정하기 위해 이 장면의 적어도 2개의 이미지, 즉 적어도 하나의 LDR 이미지 및 하나의 HDR 이미지의 존재를 이용한다. HDR 이미지는 LDR 이미지보다 더 높은 동적 범위를 가진 이미지를 나타낸다. 본 발명의 방법은 LDR 이미지(LDR 이미지의 컬러들은 8비트 컬러 좌표들에 의해 표현됨) 및 HDR 이미지(HDR 이미지의 컬러들은 10비트 컬러 좌표들에 의해 표현됨)를 사용함으로써 예시될 것이다. 이들 컬러 좌표는 예컨대 RGB 컬러 공간에서 표현될 것이다.
도 1을 참조하면, 본 발명의 방법은 다음 단계들을 포함한다:
-
단계(S1): LDR 상세 맵이라 칭해지는 상세 맵이 LDR 이미지에 대해 생성되고; 이런 LDR 상세 맵은 상세 레벨을 LDR 이미지의 각각의 화소에 할당한다;
-
단계(S2): HDR 상세 맵이라 칭해지는 상세 맵이 HDR 이미지에 대해 생성되고; 이런 HDR 상세 맵은 상세 레벨을 HDR 이미지의 각각의 화소에 할당한다;
-
단계(S3): LDR 상세 맵의 상세 레벨이 LDR 상세 맵의 상세 레벨보다 더 큰 장면의 구역들이 검출되고; 검출된 구역들은 그 장면의 캐스트 섀도우 구역들 또는 하이라이트 구역에 대응한다;
-
단계(S4): 캐스트 섀도우 구역들은 유리하게 하이라이트 구역들로부터 구별된다.
위에-언급된 단계들의 각각의 단계는 이후에 상세히 설명된다.
도 2는 단계(S1)의 가능한 구현을 도시한다. 도 2를 참조하면, LDR 상세 맵은 다음 서브-단계들에 의해 컴퓨팅된다.
서브-단계(S10)에서, 휘도 값은 LDR 이미지에 대한 휘도 맵을 획득하기 위해 LDR 이미지의 각각의 화소에 대해 정의된다. RGB 컬러 공간에서 8비트 컬러 좌표를 가진 현재 LDR 이미지에 대해, 휘도(Y)는 다음 공식에 의해 계산될 수 있다:
Y= 0.2126*R + 0.7152*G + 0.0722*B
따라서, 휘도 맵은 LDR 이미지에 대해 생성된다.
서브-단계(S11)에서, 저역 통과 필터는 필터링된 휘도 맵을 획득하기 위해 LDR 이미지의 휘도 맵에 적용된다. 이런 저역-통과 필터는 예컨대 이미지에 흐릿함(blur)을 도입하는 잘-알려진 가우스 저역 통과 필터이다. 다른 저역 통과 필터들, 예컨대 평균화 윈도우, 주파수 도메인 필터 또는 FIR(Finite Impulse Response) 필터가 사용될 수 있다.
저역 통과 필터링 및 차이 계산 대신, 상세는 또한 예컨대 고역 통과 필터 또는 에지 검출 알고리즘을 사용하여 직접 검출될 수 있다.
서브-단계(S12)에서, 차이가 LDR 상세 맵을 획득하기 위해 휘도 맵과 필터링된 휘도 맵 사이에서 컴퓨팅된다. 이런 LDR 상세 맵은 상세 레벨을 LDR 이미지의 각각의 화소에 할당한다.
바람직한 실시예에서, 휘도 가중 함수는 서브-단계(S13)에서 LDR 상세 맵에 적용된다. 가중 함수의 일 예는 도 3에 의해 예시된다. 이런 가중 함수의 목적은 하이라이트 또는 섀도우 구역들에 존재하지 않는 상세를 제거하는 것이다. LDR 상세 맵의 화소에 적용된 가중값은 화소의 휘도 값(휘도 맵에서 화소의 값)에 의존한다. 도 3에서, W(x)로 표시되는 휘도 가중 함수의 방정식은 W(x)=[(Y(x)-128)/128]2이고, 여기서 Y(x)는 휘도 맵에서 화소(x)의 휘도 값이고, W(x)는 화소(x)의 상세 레벨(LDR 상세 맵에서)에 적용될 가중값이다. 이 함수에 따라, 높거나 낮은 휘도 값을 가진 화소들의 상세 레벨은 실질적으로 유지되고(1에 가까운 가중값) 128에 가까운 중간 휘도 값을 가진 화소들의 상세 레벨은 실질적으로 감소되고, 심지어 0으로 설정된다.
물론, 중간 휘도 값들을 가진 화소들의 상세 레벨을 감소시키는 다른 가중 함수들이 사용될 수 있다.
유리하게, 부가적인 서브-단계(S14)에서, LDR 상세 맵은 LDR 맵 상세에서 노이즈를 제거하기 위해 중앙값 필터에 의해 필터링된다.
도 1을 다시 참조하면, 단계(S2)는 HDR 상세 맵을 획득하기 위해 HDR 이미지에 대해 S10 내지 S14와 동일한 단계들로 구성된다.
단계(S3)에서, HDR 상세 맵에서의 상세 레벨이 LDR 상세 맵에서의 상세 레벨보다 더 큰 장면의 구역들은 HDR 상세 맵과 LDR 상세 맵 사이의 차이를 계산함으로써 검출된다. 더 구체적으로, HDR 상세 맵으로부터 LDR 상세 맵을 빼서 차이 맵이 초래된다. 물론, 이런 뺄셈을 수행하기 전에, HDR 및 SDR 맵들의 상세 레벨들은 바람직하게 서로 할당된다. 예컨대, HDR 상세 맵의 상세 레벨들은, LDR 이미지(8 비트)와 HDR 이미지(10 비트) 사이의 비트 수의 차이로 인해 4로 나뉘어진다. 다른 타입들의 정렬, 이를테면 뺄셈 전에 HDR 상세 맵을 톤 매핑하거나 또는 HDR 및 LDR 맵들을 HDR 및 LDR 확산 백색의 레벨로 각각 나누는 것이 가능하다. 양의 값들을 가진 차이 맵의 구역들은 이미지들에서 하이라이트들 또는 캐스트 섀도우들일 개연성이 있는 구역들이다.
임의적 단계(S4)에서, 하이라이트 구역들은 LDR 이미지 또는 HDR 이미지의 휘도 값들에 기반하여 캐스트 섀도우 구역들로부터 구별된다. 예컨대, LDR 이미지를 사용할 때, 차이 맵에서 양의 값들을 가지며 128보다 큰 휘도 값을 가진 LDR 이미지의 화소들에 대응하는 모든 구역들은 하이라이트 구역들로 선언되는 반면, 차이 맵에서 양의 값들을 가지며 127 이하의 휘도 값을 가진 LDR 이미지의 화소들에 대응하는 모든 구역들은 캐스트 섀도우 구역들로 선언된다.
변형에서, 2 초과의 동적 범위 레벨들이 이용가능할 때, 방법이 또한 사용될 수 있다. 예컨대, 낮은 동적 범위(LDR), 중간 동적 범위(MDR) 및 높은 동적 범위(HDR) 이미지들이 이용가능할 때, 설명된 단계들(S1 내지 S4)은 제1 검출 결과를 제공하는 LDR 및 MDR(HDR 대신)에 적용되고, 이어서 제2 검출 결과를 제공하는 MDR(LDR 대신) 및 HDR에 적용된다. 이어서, 제1 및 섹션 선택 검출 결과들이 결합된다. 결합은, 예컨대 하이라이트가 제1 및 제2 검출 결과에 포함되는 경우 하이라이트가 검출되도록 예컨대 논리 AND 연산을 사용하여 실현될 수 있다. 다른 가능성은 MDR 이미지에 대해 상세 맵을 부가적으로 계산하고 이어서 단계(S3)를, 더 큰 상세들의 제1 구역들을 제공하는 LDR 및 MDR(HDR 대신)에 적용한 다음 더 큰 상세들의 제2 구역을 제공하는 MDR(LDR 대신) 및 HDR에 적용하는 것이다. 이어서, 제1 및 제2 구역들은, 상세들의 제1 또는 제2 구역들이 있는 곳에서 더 큰 상세들의 구역들이 정의되도록 예컨대 논리 OR 연산을 사용하여 결합된다. 이어서, 단계(S4)는 이들 상세의 구역들에 적용된다.
도 4a 내지 도 4c 및 도 5a 내지 도 5c는 2개의 이미지 커플에 대한 본 발명의 방법의 결과들을 예시한다.
도 4a 및 도 4b는 캐스트 섀도우 구역들을 포함하는 장면의 HDR 이미지 및 LDR 이미지이다. 도 4c는 본 발명의 방법에 의해 검출된 캐스트 섀도우 구역들(백색 화소들)을 도시한다.
도 5a 및 도 5b는 하이라이트 구역들을 포함하는 장면의 HDR 이미지 및 LDR 이미지이다. 도 4c는 본 발명의 방법에 의해 검출된 하이라이트 구역들(백색 화소들)을 도시한다.
이 방법을 구현하는 디바이스의 일 예는 도 6에 주어진다. 도 6을 참조하여, 디바이스는:
- 단계(S1)에서 설명된 바와 같이 LDR 상세 맵을 컴퓨팅하기 위한 컴퓨터 수단(10),
- 설명된 바와 같이 HDR 상세 맵을 컴퓨팅하기 위한 컴퓨터 수단(11), 및
- 단계들(S3 및 S4)에 설명된 바와 같이 HDR 상세 맵에서의 상세 레벨이 LDR 상세 맵에서의 상세 레벨보다 더 큰 장면의 구역들을 검출하고 캐스트 섀도우 구역들로부터 하이라이트 구역들을 구별하기 위한 검출 수단(12)을 포함한다.
본 발명에 따른 방법의 장점들은 다음의 것들이다:
-
동시에 SDR 및 HDR 이미지들에서 상이한 동적 범위 레벨들의 정보를 이용하고 따라서 하이라이트 및 섀도우 검출을 위한 새로운 타입의 정보를 이용할 수 있다;
-
상이한 동적 범위들을 가진 단지 2개의 이미지만을 요구하고; 이들 2개의 요구된 이미지는 주로 층진 HDR 콘텐츠의 분포에 이용가능하다;
-
방법은 휘도 값들에 대해서만 작동하고 따라서 컬러 좌표들 상에서 작동하는 방법들보다 덜 복잡하다;
-
방법은 구현하기에 간단하다.
본 발명의 일부 실시예들이 첨부된 도면들에 예시되고 전술한 상세한 설명에 설명되었지만, 본 발명이 개시된 실시예들로 제한되는 것이 아니라, 다음 청구항들에 설명되고 정의된 바와 같은 본 발명으로부터 벗어나지 않고 다수의 재배열들, 수정들 및 대체가 가능하다는 것이 이해되어야 한다.
Claims (15)
- 장면에서 캐스트 섀도우 구역들(cast shadow regions) 또는 하이라이트 구역들을 검출하기 위한 방법으로서,
상기 장면은 LDR 이미지라 칭해지는 낮은 동적 범위(dynamic range) 이미지, 및 상기 LDR 이미지보다 더 높은 동적 범위를 가진, HDR 이미지라 칭해지는 높은 동적 범위 이미지에 의해 표현되고, 상기 방법은:
- 이를테면 이런 HDR 이미지의 각각의 화소에 상기 HDR 이미지의 상세 레벨을 제공하기 위해 상기 HDR 이미지로부터 컴퓨팅된(S2) HDR 상세 맵과, 이를테면 이런 LDR 이미지의 각각의 화소에 상기 LDR 이미지의 상세 레벨을 제공하기 위해 상기 LDR 이미지로부터 컴퓨팅된(S1) LDR 상세 맵 사이에 양의 차이(positive difference)를 갖는 구역들을 검출하는 단계(S3)를 포함하고, 상기 검출된 구역들은 상기 장면의 캐스트 섀도우 구역들 또는 하이라이트 구역에 대응하는 방법. - 제1항에 있어서, 상기 LDR 상세 맵의 상기 컴퓨팅(S1)은 상기 LDR 이미지의 휘도 맵과 상기 LDR 이미지의 필터링된 휘도 맵 사이의 LDR 차이에 기반하고, 상기 HDR 상세 맵의 상기 컴퓨팅(S2)은 상기 HDR 이미지의 휘도 맵과 상기 HDR 이미지의 필터링된 휘도 맵 사이의 HDR 차이에 기반하는 방법.
- 제2항에 있어서, 상기 LDR 이미지의 상기 필터링된 휘도 맵은 상기 LDR 이미지의 상기 휘도 맵에 저역 통과 필터를 적용함(S11)으로써 획득되는 방법.
- 제2항 또는 제3항에 있어서, 상기 LDR 상세 맵을 컴퓨팅하는 단계는 상기 LDR 이미지에서 중간 휘도 값들을 가진 화소들에 대응하는 상기 LDR 상세 맵의 화소들의 상세 레벨들을 감소시키기 위해 휘도 가중 함수를 상기 LDR 차이에 적용하는 단계를 더 포함하는 방법.
- 제2항 내지 제4항 중 어느 한 항에 있어서, 상기 HDR 이미지의 상기 필터링된 휘도 맵은 상기 HDR 이미지의 상기 휘도 맵에 저역 통과 필터를 적용함으로써 획득되는 방법.
- 제2항 내지 제5항 중 어느 한 항에 있어서, 상기 HDR 상세 맵을 컴퓨팅하는 단계는 상기 HDR 이미지에서 중간 휘도 값들을 가진 화소들에 대응하는 상기 HDR 상세 맵의 화소들의 상세 레벨들을 감소시키기 위해 휘도 가중 함수를 상기 HDR 차이에 적용하는 단계를 더 포함하는 방법.
- 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 방법은 상기 검출된 구역들 중에서, 상기 LDR 이미지 또는 HDR 이미지의 화소들이 휘도 임계값보다 더 큰 휘도 값들을 가진 구역들을 하이라이트 구역들로서 그리고 상기 LDR 이미지 또는 HDR 이미지의 화소들이 상기 휘도 임계값보다 더 낮은 휘도 값들을 가진 구역들을 캐스트 섀도우 구역들로서 할당하는 단계(S4)를 더 포함하는 방법.
- 제1항 내지 제7항 중 어느 한 항에 따른 방법을 포함하는 이미지 프로세싱 방법.
- 장면에서 캐스트 섀도우 구역들 및 하이라이트 구역들을 검출하기 위한 디바이스로서,
상기 장면은 LDR 이미지라 칭해지는 낮은 동적 범위 이미지, 및 상기 LDR 이미지보다 더 높은 동적 범위를 가진, HDR 이미지라 칭해지는 높은 동적 범위에 의해 표현되고, 상기 디바이스는 이를테면 이런 HDR 이미지의 각각의 화소에 상기 HDR 이미지의 상세 레벨을 제공하기 위해 상기 HDR 이미지로부터 컴퓨팅된(S2) HDR 상세 맵과, 이를테면 이런 LDR 이미지의 각각의 화소에 상기 LDR 이미지의 상세 레벨을 제공하기 위해 상기 LDR 이미지로부터 컴퓨팅된(S1) LDR 상세 맵 사이에 양의 차이를 가진 구역들을 검출(S3)하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 검출된 구역들은 상기 장면의 캐스트 섀도우 구역들 또는 하이라이트 구역에 대응하는 디바이스. - 제9항에 있어서, 상기 적어도 하나의 프로세서는 상기 LDR 이미지의 휘도 맵과 상기 LDR 이미지의 필터링된 휘도 맵 사이의 LDR 차이에 기반하여 상기 LDR 상세 맵을 컴퓨팅(S1)하고 상기 HDR 이미지의 휘도 맵과 상기 HDR 이미지의 필터링된 휘도 맵 사이의 HDR 차이에 기반하여 상기 HDR 상세 맵을 컴퓨팅(S2)하도록 추가로 구성되는 디바이스.
- 제9항 또는 제10항에 있어서, 상기 적어도 하나의 프로세서는 상기 검출된 구역들 중에서, 상기 LDR 이미지 또는 HDR 이미지의 화소들이 휘도 임계값보다 더 큰 휘도 값들을 가진 구역들을 하이라이트 구역들로서 그리고 상기 LDR 이미지 또는 HDR 이미지의 화소들이 상기 휘도 임계값보다 더 낮은 휘도 값들을 가진 구역들을 캐스트 섀도우 구역들로서 할당하도록 추가로 구성되는 디바이스.
- 제9항 내지 제11항 중 어느 한 항에 따른 디바이스를 통합한 이미지 프로세싱 디바이스.
- 제12항에 따른 이미지 프로세싱 디바이스를 통합한 전자 디바이스.
- 제13항에 있어서, 상기 전자 디바이스는 카메라, TV 세트, 모니터, 머리 장착 디스플레이, 셋톱 박스, 게이트웨이, 스마트폰 또는 태블릿으로 이루어진 그룹에서 선택되는 전자 디바이스.
- 프로그램 코드의 명령어들을 운반하는 비-일시적 저장 매체로서, 상기 명령어들은, 상기 프로그램이 컴퓨팅 디바이스 상에서 실행될 때, 제1항 내지 제8항 중 한 항에 따른 방법의 단계들을 실행하기 위한 것인 비-일시적 저장 매체.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16306441.3A EP3319013A1 (en) | 2016-11-03 | 2016-11-03 | Method and device for estimating cast shadow regions and/or highlight regions in images |
EP16306441.3 | 2016-11-03 | ||
PCT/EP2017/077401 WO2018082996A1 (en) | 2016-11-03 | 2017-10-26 | Method and device for estimating cast shadow regions and/or highlight regions in images |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190084068A true KR20190084068A (ko) | 2019-07-15 |
KR102539381B1 KR102539381B1 (ko) | 2023-06-05 |
Family
ID=57345846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020197015437A KR102539381B1 (ko) | 2016-11-03 | 2017-10-26 | 이미지들의 캐스트 섀도우 구역들 및/또는 하이라이트 구역들을 추정하기 위한 방법 및 디바이스 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11044409B2 (ko) |
EP (2) | EP3319013A1 (ko) |
JP (1) | JP7171559B2 (ko) |
KR (1) | KR102539381B1 (ko) |
CN (1) | CN110023957B (ko) |
WO (1) | WO2018082996A1 (ko) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10192295B2 (en) * | 2016-11-09 | 2019-01-29 | AI Analysis, Inc. | Methods and systems for normalizing images |
JP7373299B2 (ja) * | 2019-04-26 | 2023-11-02 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
CN110717892B (zh) * | 2019-09-18 | 2022-06-28 | 宁波大学 | 一种色调映射图像质量评价方法 |
KR20220010264A (ko) | 2020-07-17 | 2022-01-25 | 에스케이하이닉스 주식회사 | 노이즈 제거 회로, 이미지 센싱 장치 및 그 동작방법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103002225A (zh) * | 2011-04-20 | 2013-03-27 | Csr技术公司 | 多曝光高动态范围图像捕捉 |
KR101633893B1 (ko) * | 2010-01-15 | 2016-06-28 | 삼성전자주식회사 | 다중노출 영상을 합성하는 영상합성장치 및 방법 |
KR20160150650A (ko) * | 2010-02-04 | 2016-12-30 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 높은 동적 범위의 이미지 생성 및 렌더링 |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5224178A (en) | 1990-09-14 | 1993-06-29 | Eastman Kodak Company | Extending dynamic range of stored image database |
US5235434A (en) | 1991-06-27 | 1993-08-10 | Polaroid Corporation | Method and apparatus for selectively adjusting the brightness of large regions of an image |
JP2872005B2 (ja) * | 1993-07-05 | 1999-03-17 | 日本電気株式会社 | 自動画質調整装置 |
US5828793A (en) | 1996-05-06 | 1998-10-27 | Massachusetts Institute Of Technology | Method and apparatus for producing digital images having extended dynamic ranges |
US7457477B2 (en) * | 2004-07-06 | 2008-11-25 | Microsoft Corporation | Digital photography with flash/no flash extension |
JP4696812B2 (ja) | 2005-09-22 | 2011-06-08 | コニカミノルタホールディングス株式会社 | 撮像装置 |
JP2008165312A (ja) * | 2006-12-27 | 2008-07-17 | Konica Minolta Holdings Inc | 画像処理装置及び画像処理方法 |
US8207931B2 (en) * | 2007-05-31 | 2012-06-26 | Hong Kong Applied Science and Technology Research Institute Company Limited | Method of displaying a low dynamic range image in a high dynamic range |
US8135230B2 (en) * | 2007-07-30 | 2012-03-13 | Dolby Laboratories Licensing Corporation | Enhancing dynamic ranges of images |
US8525900B2 (en) * | 2009-04-23 | 2013-09-03 | Csr Technology Inc. | Multiple exposure high dynamic range image capture |
US8831340B2 (en) * | 2010-01-27 | 2014-09-09 | Adobe Systems Incorporated | Methods and apparatus for tone mapping high dynamic range images |
US8214086B2 (en) | 2010-04-01 | 2012-07-03 | Adc Telecommunications, Inc. | Systems and methods for retractable fan cooling of electronic enclosures |
JP5136664B2 (ja) | 2010-07-09 | 2013-02-06 | カシオ計算機株式会社 | 画像処理装置、及びプログラム |
US8947555B2 (en) | 2011-04-18 | 2015-02-03 | Qualcomm Incorporated | White balance optimization with high dynamic range images |
US8754902B2 (en) * | 2011-06-03 | 2014-06-17 | Apple Inc. | Color-space selective darkness and lightness adjustment |
JP6057630B2 (ja) | 2012-09-12 | 2017-01-11 | オリンパス株式会社 | 撮像装置 |
EP2836983B1 (en) * | 2012-10-08 | 2017-07-12 | Koninklijke Philips N.V. | Luminance changing image processing with color constraints |
DE102013110583C5 (de) | 2013-09-24 | 2017-12-14 | Faro Technologies, Inc. | Verfahren und Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung |
CN105745914B (zh) * | 2013-11-22 | 2018-09-07 | 杜比实验室特许公司 | 用于逆色调映射的方法和系统 |
CN105993175B (zh) * | 2014-02-13 | 2019-01-18 | 杜比国际公司 | 用于具有增强动态范围的信号的分段层间预测 |
EP2961169A1 (en) * | 2014-06-25 | 2015-12-30 | Thomson Licensing | Method and device for processing images |
KR102445762B1 (ko) * | 2014-06-25 | 2022-09-22 | 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 | 이미지 프로세싱 방법 및 디바이스 |
US9613408B2 (en) * | 2014-09-25 | 2017-04-04 | Intel Corporation | High dynamic range image composition using multiple images |
WO2016078094A1 (en) * | 2014-11-21 | 2016-05-26 | SZ DJI Technology Co., Ltd. | System and method of fast adaptive blending for high dynamic range imaging |
RU2661309C1 (ru) * | 2015-02-17 | 2018-07-13 | Долби Лэборетериз Лайсенсинг Корпорейшн | Межслойное предсказание для сигналов с улучшенным динамическим диапазоном |
WO2016176209A1 (en) * | 2015-04-28 | 2016-11-03 | Dolby Laboratories Licensing Corporation | Image highlight detection and rendering |
WO2017036908A1 (en) * | 2015-08-31 | 2017-03-09 | Thomson Licensing | Method and apparatus for inverse tone mapping |
US9697592B1 (en) * | 2015-12-30 | 2017-07-04 | TCL Research America Inc. | Computational-complexity adaptive method and system for transferring low dynamic range image to high dynamic range image |
US9900527B2 (en) * | 2016-03-08 | 2018-02-20 | Omnivision Technologies, Inc. | Enhanced high dynamic range |
US10699391B2 (en) * | 2016-04-29 | 2020-06-30 | Disney Enterprises, Inc. | Dynamic range expansion highlight information restoration |
US9800796B1 (en) * | 2016-06-06 | 2017-10-24 | Omnivision Technologies, Inc. | Apparatus and method for low dynamic range and high dynamic range image alignment |
JP6824817B2 (ja) * | 2017-05-17 | 2021-02-03 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
-
2016
- 2016-11-03 EP EP16306441.3A patent/EP3319013A1/en not_active Withdrawn
-
2017
- 2017-10-26 EP EP17791067.6A patent/EP3535691B1/en active Active
- 2017-10-26 CN CN201780074790.XA patent/CN110023957B/zh active Active
- 2017-10-26 WO PCT/EP2017/077401 patent/WO2018082996A1/en unknown
- 2017-10-26 JP JP2019522738A patent/JP7171559B2/ja active Active
- 2017-10-26 KR KR1020197015437A patent/KR102539381B1/ko active IP Right Grant
- 2017-10-26 US US16/347,439 patent/US11044409B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101633893B1 (ko) * | 2010-01-15 | 2016-06-28 | 삼성전자주식회사 | 다중노출 영상을 합성하는 영상합성장치 및 방법 |
KR20160150650A (ko) * | 2010-02-04 | 2016-12-30 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 높은 동적 범위의 이미지 생성 및 렌더링 |
CN103002225A (zh) * | 2011-04-20 | 2013-03-27 | Csr技术公司 | 多曝光高动态范围图像捕捉 |
Also Published As
Publication number | Publication date |
---|---|
WO2018082996A1 (en) | 2018-05-11 |
JP7171559B2 (ja) | 2022-11-15 |
EP3535691A1 (en) | 2019-09-11 |
JP2020503587A (ja) | 2020-01-30 |
US20190281201A1 (en) | 2019-09-12 |
CN110023957B (zh) | 2023-08-01 |
KR102539381B1 (ko) | 2023-06-05 |
CN110023957A (zh) | 2019-07-16 |
EP3319013A1 (en) | 2018-05-09 |
US11044409B2 (en) | 2021-06-22 |
EP3535691B1 (en) | 2024-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11017509B2 (en) | Method and apparatus for generating high dynamic range image | |
KR102539381B1 (ko) | 이미지들의 캐스트 섀도우 구역들 및/또는 하이라이트 구역들을 추정하기 위한 방법 및 디바이스 | |
EP3156970B1 (en) | Haze removal | |
KR100872253B1 (ko) | 이미지 센서에 의해 생성된 이미지의 노이즈 제거 방법 | |
JP2008252911A (ja) | 画像ノイズ除去の方法及び装置 | |
US20160358319A1 (en) | Methods and systems for inverse tone mapping | |
JP2004522372A (ja) | 時空間適応的雑音除去/高画質復元方法及びこれを応用した高画質映像入力装置 | |
WO2013126001A2 (en) | Image processing method for detail enhancement and noise reduction | |
CN111368785B (zh) | 一种摄像头遮挡判断方法、装置、设备及存储介质 | |
JP2017138647A (ja) | 画像処理装置、画像処理方法、映像撮影装置、映像記録再生装置、プログラム及び記録媒体 | |
GB2557035A (en) | IR or thermal image enhancement method based on background information for video analysis | |
JP6536567B2 (ja) | 検知装置、検知方法、及びコンピュータプログラム | |
US9525804B2 (en) | Multi-band YCbCr noise modeling and noise reduction based on scene metadata | |
JP2015092643A (ja) | 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム | |
CN101510306B (zh) | 一种视频图像照度分布估计方法 | |
KR101907451B1 (ko) | 베이어 패턴 필터 기반 고해상도 컬러 영상 복원 및 화질 향상 장치 및 방법 | |
Srinivas et al. | Channel prior based Retinex model for underwater image enhancement | |
EP3547251A1 (en) | Dynamic range extension of partially clipped pixels in captured images | |
KR20150069343A (ko) | 영상 노이즈 제거 방법 및 시스템 | |
JP2015092301A (ja) | 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム | |
CN111507358A (zh) | 一种人脸图像的处理方法、装置、设备和介质 | |
Li et al. | Haze removal from a single image | |
Seybold et al. | Denoising camera data: Shape-adaptive noise reduction for color filter array image data | |
Baker | Object Detection Using Contrast Enhancement and Dynamic Noise Reduction | |
Aboueela et al. | Vision Enhancement of Line Following Robot in Variable Lighting Environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
GRNT | Written decision to grant |