KR20190038753A - 이미지 내의 포화된 픽셀들을 검출하기 위한 방법 - Google Patents

이미지 내의 포화된 픽셀들을 검출하기 위한 방법 Download PDF

Info

Publication number
KR20190038753A
KR20190038753A KR1020187028205A KR20187028205A KR20190038753A KR 20190038753 A KR20190038753 A KR 20190038753A KR 1020187028205 A KR1020187028205 A KR 1020187028205A KR 20187028205 A KR20187028205 A KR 20187028205A KR 20190038753 A KR20190038753 A KR 20190038753A
Authority
KR
South Korea
Prior art keywords
color
image
color coordinates
illuminant
scaling
Prior art date
Application number
KR1020187028205A
Other languages
English (en)
Other versions
KR102287127B1 (ko
Inventor
타니아 포테이니 풀리
메키데스 아베베
샤케르 라라비
조나탕 케르벡
Original Assignee
인터디지털 브이씨 홀딩스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터디지털 브이씨 홀딩스 인코포레이티드 filed Critical 인터디지털 브이씨 홀딩스 인코포레이티드
Publication of KR20190038753A publication Critical patent/KR20190038753A/ko
Application granted granted Critical
Publication of KR102287127B1 publication Critical patent/KR102287127B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G06T5/009—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6008—Corrections within particular colour systems with primary colour signals, e.g. RGB or CMY(K)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명에 따르면, 이 검출에 사용되는 포화 임계치들 (th r ; th g ; th b ) 은 상기 이미지의 일루미넌트 (ILL) 를 나타내는 색상 좌표들 (r w , g w , b w ) 에 의존한다.

Description

이미지 내의 포화된 픽셀들을 검출하기 위한 방법
본 발명은 이미지 내의 과다 노출 또는 포화된 영역들을 검출하는 분야에 관한 것이다. 이러한 검출은 특히, 가령 이미지 복원 또는 더 높은 동적 범위 (dynamic range) 로의 전환을 위해, 색상 보정 전에 사용된다.
표준 저 동적 범위 카메라로 넓은 동적 범위 장면을 포착하면 이미지가 포화되거나 또는 과다 노출될 수 있다. 대부분의 이미지 또는 비디오 콘텐츠는 일반적으로 낮은 또는 표준 동적 범위 ("SDR") 에서 코딩되기 때문에, 이들은 일반적으로 포화된 영역 및/또는 과다 노출된 영역을 포함한다. 요즈음, 더 넓은 색역 (color gamut), 더 높은 동적 범위 및 더 높은 해상도 이미지 또는 비디오 콘텐츠를 재생할 수 있는 디스플레이 디바이스들이 이제 이용가능해지기 시작했다. 따라서, 이러한 SDR 콘텐츠를 디스플레이할 때 이러한 디스플레이 디바이스들의 모든 기능을 사용할 수 있기 위하여, 일반적으로 이러한 콘텐츠에 색상 보정을 적용하여 이들 SDR 콘텐츠의 포화되거나 또는 과다 노출된 영역에서 손실된 디테일 및 정보를 회복해야 한다.
이러한 보정을 위한 제 1 단계는 일반적으로 이러한 과다 노출된 영역들의 식별을 포함한다. 예를 들어, 각각 상이한 색상 채널을 나타내며 8 비트로 코딩된 색상 좌표들에 의해 색상들이 표현되는 SDR 이미지에서, 255보다 위의 이들 색상 좌표의 모든 값들은 일반적으로 255 이하의 값으로 클립핑된다. 일반적으로, 235는 8 비트 이미지들에서 포화된 색상 및 연관된 픽셀들을 검출하기 위한 공통 및 고정된 포화 임계치로 간주된다. 이러한 235 값에 대한 한 가지 이유는, 이 값보다 높으면, 이 SDR 이미지를 캡처한 카메라 센서의 응답이 비선형적이라는 것일 수도 있다. 콘텐츠들의 과다 노출된 영역에서 손실된 디테일을 회복하는데 사용되는 대부분의 보통의 색상 보정 방법들에서, 과다 노출된 영역들의 식별은 이러한 상이한 색상 채널들 중 적어도 하나에서 고정된 포화 임계치를 초과하는 것에 기초한다. 이러한 상이한 색상 채널들은 가령, 보통의 R, G 및 B 채널들이다. 그러한 포화 임계치가 주어지면, 색상들이 포화 임계치보다 높은 값을 갖는 적어도 하나의 색상 채널을 갖는, 이미지의 모든 픽셀들은 과다 노출로 간주되고 이 이미지의 포화되거나 또는 과다 노출된 영역들을 형성한다.
그러나, 고정된 포화 임계 값을 사용하여 과다 노출된 영역들을 검출하는 것은 문제가 될 수 있다. 통상적인 카메라 센서에서, 인접한 요소들은 일반적으로 이 카메라에 의해 전달된 이미지 데이터의 R, G 및 B 채널에 각각 대응하는 상이한 적색, 녹색 및 청색 필터들에 의해 커버된다. 그래서, 카메라 센서의 상이한 요소들은 항상 동일한 양의 광을 수신하지 못할 수도 있으며 동시에 최대 용량에 도달하지 못할 수도 있으며, 이어서 카메라에 의해 전달된 이미지 데이터의 적색, 녹색 및 청색 채널들에서 다른 거동을 초래한다. 이것은, 장면 내의 광이 백색이 아닌 경우에 특히 그렇다. 따라서, RGB 이미지의 모든 3개 색상 채널들에 고정된 포화 임계치를 사용하면 과다 노출된 영역을 잘못 검출하고 또한 부정확한 후속 색상 보정을 초래할 수도 있다.
본 발명의 목적은 전술한 결점들을 피하는 것이다.
이러한 목적을 위해, 본 발명의 요지는, 상이한 색상 채널들에 대응하는 색상 좌표들에 의해 색상들이 표현되는 이미지 내의 포화된 픽셀들을 검출하는 방법으로서, 상기 색상 채널에 대한 포화 임계치보다 높은 상기 색상 채널들 중의 하나에 대응하는 적어도 하나의 색상 좌표를 갖는 색상들의 픽셀들을 검출하는 단계를 포함하고, 상기 색상 채널들에 대한 상기 포화 임계치들은 상기 이미지의 일루미넌트 (illuminant) 를 표현하는 색상 좌표들에 각각 의존한다.
유리하게도 이 방법은 포화된 픽셀들의 잘못된 검출을 제한하는데, 특히 이것이 장면의 일루미넌트의 효과를 고려하기 때문이다
제 1 변형에서, 상기 색상 채널들에 대한 포화 임계치들은 상기 일루미넌트를 나타내는 색상 좌표들과 각각 동일하다.
제 2 바람직한 변형에서, 상기 색상 채널들에 대한 포화 임계치들은 스케일링된 색상 좌표들로 상기 일루미넌트를 표현하는 색상 좌표들을 스케일링하는 것으로서, 이들 스케일링된 색상 좌표들이 포화 값들의 고정된 범위내에 포함되도록, 상기 색상 좌표들을 스케일링하는 것에 의해, 얻어진다.
상기 스케일링은 색조의 변화없이 수행될 수도 있거나, 또는 바람직하게는 상기 일루미넌트 (ILL) 를 표현하는 색상 좌표들 (r w , g w , b w ) 사이의 일정한 비를 유지한다.
또한, 본 발명의 목적은, 상이한 색상 채널들에 대응하는 색상 좌표들에 의해 색상들이 표현되는 이미지 내의 포화된 픽셀들의 검출을 위한 모듈로서, 상기 모듈은:
-상기 이미지의 일루미넌트를 나타내는 색상 좌표들을 추정하는 것,
-상기 일루미넌트를 나타내는 색상 좌표들에 각각 의존하여 상기 색상 채널들에 대한 포화 임계치들을 획득하는 것,
-상기 색상 채널에 대한 상기 포화 임계치보다 높은 상기 색상 채널들 중의 하나에 대응하는 적어도 하나의 색상 좌표를 갖는 색상들의 픽셀들을 검출하는 것
을 위해 구성된 적어도 하나의 프로세서를 포함한다.
본 발명의 목적은 또한 이미지의 색상들의 보정을 위한 색상 보정 디바이스로서, 상기 색상들은 상이한 색상 채널들에 대응하는 색상 좌표들에 의해 나타내어지고, 상기 디바이스는 포화된 픽셀들의 검출을 위한 그러한 모듈을 포함한다. 여기서 색상 보정 디바이스란 동적 범위의 변화를 포함하여 이미지의 색상들을 변경하도록 구성된 임의의 디바이스를 의미한다. 이러한 색상들의 변경은 가령 이미지 복원을 위해 또는 더 높은 동적 범위로의 전환을 위해, 특히 이 이미지의 포화된 영역들에서 손실된 디테일을 복원하는 단계 전에, 구현될 수 있다.
본 발명의 목적은 또한 전술된 바와 같은 이미지 내의 포화된 픽셀들의 검출 방법을 수행하도록 디지털 컴퓨터를 구성하기 위한 프로그램을 포함하는 컴퓨터 판독 가능 매체이다.
본 발명은 본 발명에 따른 포화된 픽셀들의 검출 방법의 바람직한 실시형태를 나타내는 도 1을 참조하여 그리고 비제한적인 예로서 주어지는 이하의 설명을 읽음으로써 더욱 명확하게 이해될 것이다.
상세한 설명
본 발명에 따른 포화된 픽셀들의 검출 방법은 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서, 또는 이들의 조합, 특히 이미지내 포화된 픽셀들의 검출을 위한 모듈을 형성하는 하드웨어 및 소프트웨어의 조합의 다양한 형태로 구현될 수 있다는 것을 이해해야 한다. 또한, 소프트웨어는 프로그램 저장 장치 상에 유형적으로 구체화된 애플리케이션 프로그램으로서 구현될 수도 있다. 응용 프로그램은 임의의 적합한 아키텍처를 포함하는 컴퓨터에 업로드되고 이에 의해 실행될 수도 있다. 바람직하게는, 컴퓨터는 하나 이상의 중앙 처리 장치 ("CPU"), 랜덤 액세스 메모리 ("RAM") 및 입/출력 ("I/O") 인터페이스와 같은 하드웨어를 갖는 플랫폼 상에 구현된다. 플랫폼에는 또한 운영 체제 및 마이크로명령 코드가 포함될 수도 있다. 여기에 설명된 다양한 프로세스 및 기능은 CPU에 의해 실행될 수도 있는 마이크로명령 코드의 일부 또는 애플리케이션 프로그램의 일부 중 어느 일방, 또는 이들의 임의의 조합일 수도 있다. 또한, 디스플레이 장치 및 추가적인 데이터 저장 장치와 같은 다양한 다른 주변 장치들이 컴퓨터 플랫폼에 접속될 수도 있다.
이미지 내 포화된 픽셀들을 검출하기 위한 모듈은 특히 색상 보정 디바이스의 일부일 수 있다. 이러한 색상 보정 디바이스는 특히 이미지들의 복원을 위해 또는 보다 높은 동적 범위로의 이미지들의 전환을 위해 구성될 수도 있다. 예시적이고 비제한적인 실시 형태들에 따르면, 그러한 색상 보정 디바이스는 모바일 디바이스; 통신 디바이스; 게임 디바이스; 태블릿 (또는 태블릿 컴퓨터); 랩톱; 스틸 이미지 카메라; 비디오 카메라; 인코딩 칩; 스틸 이미지 서버; 및 비디오 서버 (예를 들어, 브로드캐스트 서버, 주문형 비디오 서버 또는 웹 서버) 에 포함될 수도 있다.
도 1에 도시된 다양한 요소들의 기능은 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 수 있는 하드웨어뿐만 아니라 전용 하드웨어의 사용을 통해 제공될 수도 있다.
이제, RGB 색상 값들의 세트에 의해 주어진 색상 공간에서 색상들이 표현되고, 이들 색상 값들의 각각은 상이한 색상 채널에 대응하는, 장면의 이미지의 포화된 픽셀들의 검출 방법의 주요 실시 형태가 이하에서 설명될 것이다.
도 1에 나타낸 바와 같이, 이 방법의 제 1 단계는 이미지의 백색 점에 대응하는 이 장면의 일루미넌트 ILL 의 색상의 추정이다. 백색 점은 실제로 측색 (colorimetry) 에서 백색이 아니더라도 장면에서 백색으로 관찰자가 인지하는 색상이다. 바람직하게는, 이 일루미넌트는 장면의 지배적인 일루미넌트가며, 그의 색상은 RGB 색상 값들의 세트, 즉 r w , g w , b w 로 표현된다. 이 색상을 추정하기 위해, 각각의 색상 성분의 최대치: 이미지의 모든 픽셀들의 최대 적색 값 r max , 최대 녹색 값 g max 및 최대 청색 값 b max 이 취해질 수 있다. 그러한 추정은 장면이 모든 적색 광을 반사하는 물체들을 포함하고, 모든 녹색 광을 반사하는 물체들을 포함하고 모든 청색 광을 반사하는 물체를 포함한다는 것을 의미한다. 따라서, r w =r max , g w =g max , b w =b max 를 갖게 된다. 이러한 일루미넌트의 추정을 위해, Computational color constancy: Survey and experiments. IEEE Transactions on Image Processing, 20(9):2475-2489, 2011 에서 Arjan Gijsenij, Theo Gevers, 및 Joost van De Weijer 에 의해 설명된 것들처럼 소위 색상 항상성 알고리즘 (color constancy algorithm) 을 사용하는 것이 또한 알려져 있다. 예를 들어, maxRGB, 회색 세계 (Gray world), 회색 에지 (Gray edge), 회색 음영 (Shades of gray) 및 베이지안 방법 (Bayesian method) 과 같은 이하의 색상 항상성 방법들이 시도되었다.
이 제 1 단계의 구현 예로서, 보다 구체적으로 Consumer Electronics, IEEE Transactions on, 52(2):541-546, 2006 에서 "Robust automatic white balance algorithm using gray color points in images" 이라는 제목의 논문에 설명된 Jun-yan Huo, Yi-lin Chang, Jing Wang, 및 Xiao-xia Wei 의 방법이 사용될 수 있다. 이러한 방법은 이하의 하위 단계들을 포함한다:
● RGB 색상 공간에서 이미지의 색상들을 나타내는 RiGiBi 색상 좌표들을 CIELab 색상 공간에서 동일한 색상들을 나타내는 Liaibi 색상 좌표들로 전환하고,
● 세트
Figure pct00001
를 형성하는 식 1을 만족하는 이미지
Figure pct00002
의 모든 픽셀들 i 을 선택한다. 이 세트에는, 매우 포화되지는 않아서 담백색 (whitish) 구역들을 나타낼 가능성이 더 높은 픽셀들이 포함된다.
Figure pct00003
식중, a i , b i , L i 은 CIELab 색상 공간에서 픽셀 i 의 색상을 나타내고, 제안된 구현에서
Figure pct00004
이다.
● 식 2에 보여진 바처럼
Figure pct00005
에서의 모든 픽셀들의 평균 RGB 값으로서 RGB 색상 공간에서 백색 점의 색상을 나타내는 색상 좌표들 r w , g w , b w 를 계산한다.
Figure pct00006
식중
Figure pct00007
는 좌표로서 r w , g w , b w 를 갖는 벡터이다.
이 제 1 단계의 구현 예의 변형으로서, 포화 (또는 클리핑된) 색상 값 thr 을 갖는 픽셀들은 평균 RGB 값의 계산에 고려되지 않는다. 이것은 이미 포화에 도달한 색상들을 갖는 픽셀들은 이미지의 백색 점을 올바르게 나타낼 가능성이 없으므로 계산에 포함되어서는 안된다는 것을 의미한다. 이를 달성하기 위해, 위의 식 1은 다음과 같이 다시 쓰여질 수 있다
Figure pct00008
이와 같이, thr 보다 아래의 색상 값들
Figure pct00009
을 갖는 픽셀들 i 만이 식 2의 평균 RGB 값의 계산에 포함되는데, 포화 임계치 thr 보다 위의 임의의 색상은 클리핑될 가능성이 있는 것으로 가정되기 때문이다. 이 변형에서, 본 발명자들은 아래와 같이 높고 낮은 임계치를 갖지 않는다. 그래서 thr 이 바로 포화 임계치이다. 이는 고정된 범위에서 thr 과 동일한 값으로 설정될 수 있다.
이미지 내의 포화된 픽셀들의 검출의 제 1 변형에서, 추정된 일루미넌트의 색상 좌표들 r w , g w 및 b w 는 포화된 픽셀들의 검출을 위한 R, G 및 B 색상 채널에 대한 임계 값들 th r , th g 및 th b 로서 각각 보유된다. th r = r w , th g = g w 및 th b = b w 이면, r, g 및 b 색상 좌표들을 갖는 이미지의 색상이 r> th r 및/또는 g> th g 및/또는 b> th b 인 경우 포화된 것으로 간주된다는 것을 의미한다.
그러나 SDR 이미지로부터 추정된 일루미넌트의 색상을 나타내는 색상 좌표들 r w , g w , b w 은, 너무 낮아서 과다 노출 또는 포화 검출을 위한 포화 임계치로서 직접 사용되기에는 적절하지 않은 값들을 매우 자주 갖는다. 사실, 매우 낮은 포화 임계 값들을 사용하면 어떤 잘 노출된 픽셀들을 잘못 검출할 수 있다. 이는 도 1에 나타낸 이미지 내 포화 픽셀들의 검출의 제 2 변형이 바람직한 이유인데, 여기서 포화 임계 값 th r , th g , th b 은 일루미넌트의 색상
Figure pct00010
의 추정된 색상 좌표들 r w , g w , b w 을 더 높은 값들로 스케일링하는 것에 의해 얻어지며; 바람직하게는, 이 스케일링은 RGB 색상 공간에서 일루미넌트의 색상 좌표들 사이의 일정한 비를 유지하며: 이는 예를 들어 th r /th g ,= r w /g w 및 th g /th b = g w /b w 라는 것을 의미한다. 이러한 스케일링은 검출 방법의 제 2 단계로 간주된다.
이 스케일링의 예로서, 평가된 일루미넌트의 색상 좌표들 r w , g w , b w 을 고정된 범위 [thl, thr] 내로 시프트시킴으로써 R, G 및 B 색상 채널들에 대한 임계 값 th r , th g 및 th b 가 각각 획득되고, 식중, thl 및 thr 는 가능한 과다 노출 임계 강도/휘도 (luminance) 의 하한과 상한이다. 그 값들 thl 및 thr 은 특히 사용자에 의해 설정된다. 아래에서 구현은 RGB 색상 값들이 8 비트, thl =175 및 thr =235 를 통해 인코딩되는 콘텍스트에서 수행된다.
Figure pct00011
이 일루미넌트의 색상 좌표들 r w , g w , b w 중 최소 좌표인 경우,
Figure pct00012
이 색상 좌표 r w , g w , b w 중 최대 좌표인 경우, 좌표로서 th r , th g , th b 를 갖는 임계 벡터
Figure pct00013
는 다음과 같이 정의된다:
Figure pct00014
식 3 및 4 각각은 thl 보다 낮거나 또는 thr 보다 높은
Figure pct00015
내의 요소에만 각각 영향을 미친다. 그래서 이들 식들은 독립적이다.
예를 들어,
Figure pct00016
, 즉 적색 값을 구하면, 식 3은
Figure pct00017
Figure pct00018
이 될 것이다.
위의 두 번째와 세 번째 라인에서, 여전히 thl 에서 r w 를 빼는데, 그것이 W rgb 의 최소 요소인 것으로 판명되었기 때문이었다. 요소들 중 어느 것이 r w , g w , b w ≥ thl 이면, 이 요소는 변경되지 않은 상태로 남게된다.
마찬가지로, 식 4에 대해, 예를 들어
Figure pct00019
, 즉 녹색 값을 구하면, 식 4는 실질적으로
Figure pct00020
이 된다.
다시, 요소들 중 어느 것이 r w , g w , b w ≤ thr 이면, 이 요소는 변경되지 않은 상태로 남게된다.
식 3은 포화된 색상들의 검출에 사용되는 임계 값 th r , th g 및 th b 가 일루미넌트의 모든 색상 좌표 r w , g w , b w 의 동일한 변환 (translation)
Figure pct00021
에 의해 획득됨을 의미한다.
식 4는 포화된 색상들의 검출에 사용되는 임계 값 th r , th g 및 th b 가, 1보다 높은 닮음변환 비 (homothety ratio)
Figure pct00022
를 사용하여, 일루미넌트의 모든 색상 좌표 r w , g w , b w 의 동일한 닮음변환에 의해 획득됨을 의미한다.
도 1에 나타낸 제 3 단계에서, 이미지 내의 포화된 픽셀들은 r > th r 및/또는 g > th g 및/또는 b > th b 이도록 r, g 및 b 색상 좌표들로 표현되는 색상들을 갖는 것들로서 식별된다. 이러한 포화된 픽셀들은 이미지의 포화된 영역들을 형성한다.
위의 스케일링의 변형에서, 이 스케일링은 위와 같이 디바이스 의존적인 RGB 색상 공간에서 전체적으로 수행되는 대신에 (LCh 색상 공간처럼) 지각적으로 균일한 색상 공간에서 부분적으로 수행된다.
이 변형의 제 1 하위 단계에서, 중간 임계 벡터
Figure pct00023
는 이 일루미넌트의 녹색 성분 g w 이 다음과 같이 thr 로 스케일링되도록 일루미넌트의 색상
Figure pct00024
을 스케일링하는 것에 의해 계산된다:
Figure pct00025
녹색 성분이 바람직하게는 이 스케일링 하위 단계에 대해 선택되는데, 왜냐하면 그것은 적색 성분 및 청색 성분과는 대조적으로 이미지의 휘도에 가장 큰 기여를 하기 때문이다. 그러나 이 스케일링을 위해 일루미넌트의 적색 또는 청색 성분을 사용할 수도 있다.
중간 임계 벡터
Figure pct00026
의 색상 성분 th' r , th' g 및 th' b 중 어느 것이 최대 비트 값, 여기서는 255를 초과하면, RGB 색상 공간에서 임계 색상을 나타내는 이들 색상 성분들 th' r , th' g 및 th' b 의, LCh 색상 공간에서 동일한 색상을 나타내는 색상 성분들 th' L , th' C 및 th' h 로의 색상 변환 이후에, 크로마 성분 th' C 는 감소된 값 th" C = k . th' C 로 스케일링되어 색상 성분들 th' L , th" C 및 th' h 의 RGB 색상 공간에서의 변환에 기인한 색상 성분들 th" r , th" g 및 th" b 중 어느 것도 최대 255 비트 값을 초과하지 않도록 하고, 여기서 k는 가능한 1 에 가깝고 1 보다 작다. k의 그러한 값은 반복에 의해 구해질 수 있다. 최종 임계 색상
Figure pct00027
은 색상 성분들 th" r , th" g 및 th" b 에 의해 RGB 색상 공간에서 표현되는 색상이다.
위의 크로마 스케일링은 색조의 변경 없이 수행되기 때문에, 이 스케일링의 변형은 유리하게도 이미지의 조명 점 (illumination point) 의 색조가 변경되지 않도록 보장하고 따라서 유리하게도 임의의 본의 아닌 색조 변경이 포화/클리핑된 구역 보정에서 이미지 내 포화된 픽셀들을 검출한 후 회피된다. 조명 점은 CIE LCh 색상 공간에서 그의 크로마 성분을 스케일링하여 조정되므로, 그것은 점점더 적게 포화되어, 유리하게 그의 색조를 유지한다.
전술한 장면의 이미지 내의 포화된 픽셀들을 검출하는 방법 및 모듈은 포화된 픽셀들의 잘못된 검출을 유리하게 제한하는데, 특히 이러한 검출이 장면의 일루미넌트의 효과를 고려하기 때문이다.
본 발명의 예시적인 실시 형태들이 첨부 도면을 참조하여 본 명세서에 기술되었지만, 본 발명은 바로 그러한 실시 형태들에 한정되지 않으며, 다양한 변경들 및 수정들이 본 발명을 벗어나지 않고 관련 기술 분야에서 통상의 지식을 가진 자에 의해 이루어질 수도 있음을 이해해야 한다. 모든 그러한 변경 및 수정들은 첨부된 청구항들의 범위 내에 포함되는 것으로 의도되어 있다. 따라서, 청구된 본 발명은 당업자에게 명백한 바와 같이, 본원에 기재된 특정 예들 및 바람직한 실시 형태들로부터의 변화들을 포함한다.
특정 실시 형태들 중 일부가 개별적으로 설명되고 청구될 수도 있지만, 여기에 설명되고 청구된 실시 형태들의 다양한 특징들이 조합되어 사용될 수도 있음을 이해해야 한다.

Claims (11)

  1. 상이한 색상 채널들에 대응하는 색상 좌표들에 의해 색상들이 표현되는 이미지 내의 포화된 픽셀들을 검출하는 방법으로서,
    상기 색상 채널에 대한 포화 임계치 (th r ; th g ; th b ) 보다 높은 상기 색상 채널들 중의 하나에 대응하는 적어도 하나의 색상 좌표를 갖는 색상들의 픽셀들을 검출하는 단계를 포함하고,
    상기 색상 채널들에 대한 포화 임계치들 (th r ; th g ; th b ) 은 상기 이미지의 일루미넌트 (ILL) 를 나타내는 색상 좌표들 (r w , g w , b w ) 에 각각 의존하는 것을 특징으로 하는 이미지 내의 포화된 픽셀들을 검출하는 방법.
  2. 제 1 항에 있어서,
    상기 색상 채널들에 대한 포화 임계치들 (th r ; th g ; th b ) 은 상기 일루미넌트 (ILL) 를 나타내는 색상 좌표들 (r w , g w , b w ) 과 각각 동일한, 이미지 내의 포화된 픽셀들을 검출하는 방법.
  3. 제 1 항에 있어서,
    상기 색상 채널들에 대한 포화 임계치들 (th r ; th g ; th b ) 은 스케일링된 색상 좌표들로 상기 일루미넌트 (ILL) 를 나타내는 색상 좌표들 (r w , g w , b w ) 을 스케일링하는 것으로서, 이들 스케일링된 색상 좌표들이 포화 값들의 고정된 범위 [thl, thr] 내에 포함되도록, 상기 색상 좌표들 (r w , g w , b w ) 을 스케일링하는 것에 의해 획득되는, 이미지 내의 포화된 픽셀들을 검출하는 방법.
  4. 제 1 항에 있어서,
    상기 색상 채널들에 대한 포화 임계치들 (th r ; th g ; th b ) 은 스케일링된 색상 좌표들로 상기 일루미넌트 (ILL) 를 나타내는 색상 좌표들 (r w , g w , b w ) 을 스케일링하는 것으로서, 상기 스케일링이 색조의 변경 없이 수행되도록, 상기 색상 좌표들 (r w , g w , b w ) 을 스케일링하는 것에 의해 획득되는, 이미지 내의 포화된 픽셀들을 검출하는 방법.
  5. 제 1 항에 있어서,
    상기 색상 채널들에 대한 포화 임계치들 (th r ; th g ; th b ) 은 스케일링된 색상 좌표들로 상기 일루미넌트 (ILL) 를 나타내는 색상 좌표들 (r w , g w , b w ) 을 스케일링하는 것으로서, 상기 스케일링이 상기 일루미넌트 (ILL) 를 나타내는 색상 좌표들 (r w , g w , b w ) 사이에 일정한 비를 유지하도록, 상기 색상 좌표들 (r w , g w , b w ) 을 스케일링하는 것에 의해 획득되는, 이미지 내의 포화된 픽셀들을 검출하는 방법.
  6. 상이한 색상 채널들에 대응하는 색상 좌표들에 의해 색상들이 표현되는 이미지 내의 포화된 픽셀들의 검출을 위한 모듈로서,
    - 상기 이미지의 일루미넌트 (ILL) 를 나타내는 색상 좌표들 (r w , g w , b w ) 을 추정하는 것,
    - 상기 일루미넌트 (ILL) 를 나타내는 색상 좌표들 (r w , g w , b w ) 에 각각 의존하여 상기 색상 채널들에 대한 포화 임계치들 (th r ; th g ; th b ) 을 획득하는 것,
    - 상기 색상 채널에 대한 상기 포화 임계치 (th r ; th g ; th b ) 보다 높은 상기 색상 채널들 중의 하나에 대응하는 적어도 하나의 색상 좌표를 갖는 색상들의 픽셀들을 검출하는 것
    을 위해 구성된 적어도 하나의 프로세서를 포함하는, 이미지 내의 포화된 픽셀들의 검출을 위한 모듈.
  7. 제 6 항에 있어서,
    스케일링된 색상 좌표들로의 색상 좌표들 (r w , g w , b w ) 의 상기 스케일링은 이러한 스케일링된 색상 좌표들이 포화 값들의 고정된 범위 [thl, thr] 내에 포함되도록 수행되는, 이미지 내의 포화된 픽셀들의 검출을 위한 모듈.
  8. 이미지의 색상들의 보정을 위한 색상 보정 디바이스로서,
    상기 색상들은 상이한 색상 채널들에 대응하는 색상 좌표들에 의해 표현되고,
    제 6 항 또는 제 7 항에 기재된 포화된 픽셀들의 검출을 위한 모듈을 포함하는 것을 특징으로 하는 이미지의 색상들의 보정을 위한 색상 보정 디바이스.
  9. 제 8 항에 기재된 색상 보정 디바이스를 포함하는, 전자 디바이스.
  10. 제 9 항에 있어서,
    통신 디바이스, 게임 디바이스, 태블릿, 랩톱, 스틸 이미지 카메라, 비디오 카메라, 인코딩 칩, 스틸 이미지 서버 및 비디오 서버로 이루어지는 군으로부터 선택되는 것을 특징으로 하는, 전자 디바이스.
  11. 제 1 항 내지 제 5 항 중 어느 한 항에 기재된 방법을 수행하도록 디지털 컴퓨터를 구성하기 위한 프로그램을 포함하는, 컴퓨터 판독 가능 매체.
KR1020187028205A 2016-03-30 2017-03-27 이미지 내의 포화된 픽셀들을 검출하기 위한 방법 KR102287127B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16305372.1 2016-03-30
EP16305372.1A EP3226203A1 (en) 2016-03-30 2016-03-30 Method for detection of saturated pixels in an image
PCT/EP2017/057222 WO2017167700A1 (en) 2016-03-30 2017-03-27 Method for detection of saturated pixels in an image

Publications (2)

Publication Number Publication Date
KR20190038753A true KR20190038753A (ko) 2019-04-09
KR102287127B1 KR102287127B1 (ko) 2021-08-05

Family

ID=55701900

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187028205A KR102287127B1 (ko) 2016-03-30 2017-03-27 이미지 내의 포화된 픽셀들을 검출하기 위한 방법

Country Status (11)

Country Link
US (1) US11488289B2 (ko)
EP (2) EP3226203A1 (ko)
JP (1) JP6876068B2 (ko)
KR (1) KR102287127B1 (ko)
CN (1) CN109844803B (ko)
BR (1) BR112018069885A2 (ko)
CA (1) CA3019961C (ko)
MX (1) MX2018011885A (ko)
RU (1) RU2750088C2 (ko)
TW (1) TWI736599B (ko)
WO (1) WO2017167700A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11074677B2 (en) 2018-03-29 2021-07-27 Dolby Laboratories Licensing Corporation Dynamic range extension of partially clipped pixels in captured images
US11100620B2 (en) 2018-09-04 2021-08-24 Apple Inc. Hue preservation post processing for highlight recovery
ES2902907T3 (es) 2018-12-27 2022-03-30 Dolby Laboratories Licensing Corp Renderización de imágenes bidimensionales (2D) de amplia gama de colores en pantallas compatibles tridimensionales (3D)
EP3839876A1 (en) * 2019-12-20 2021-06-23 Fondation B-COM Method for converting an image and corresponding device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006303559A (ja) * 2005-04-15 2006-11-02 Matsushita Electric Ind Co Ltd 電子式カメラ
JP2010103700A (ja) * 2008-10-22 2010-05-06 Ricoh Co Ltd 撮像装置および撮像方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5231504A (en) 1991-12-30 1993-07-27 Xerox Corporation Method for improved color reproduction using linear mixing calculations based on positional relationships between an original color and an achromatic region in a linear mixing space
US20020163525A1 (en) 2001-03-07 2002-11-07 Shih-Pei Liao Method for enhancing saturation of color images
US7956889B2 (en) * 2003-06-04 2011-06-07 Model Software Corporation Video surveillance system
CN1300744C (zh) * 2003-12-09 2007-02-14 香港中文大学 对数字图像曝光不足的缺陷进行自动修正的方法和系统
WO2005109854A1 (en) 2004-05-11 2005-11-17 Koninklijke Philips Electronics N.V. Method for processing color image data
JP4479457B2 (ja) 2004-05-27 2010-06-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
BRPI0518721A2 (pt) 2004-12-01 2008-12-02 Koninkl Philips Electronics Nv mÉtodo e aparelho para processamento eletrânico de imagem a cores, visor eletrânico, unidade de armazenamento eletrânica, unidade de rede, cÂmera de quadro parado ou de vÍdeo, produto de programa de computaÇço, e, representaÇço de imagem eletrânica especialmente adaptada
US20060146193A1 (en) 2004-12-30 2006-07-06 Chaminda Weerasinghe Method and system for variable color saturation
JP2006333313A (ja) 2005-05-30 2006-12-07 Seiko Epson Corp 画像補正装置、画像補正方法および画像補正プログラム
US7893975B2 (en) * 2006-10-13 2011-02-22 Apple Inc. System and method for processing images using predetermined tone reproduction curves
JP5004305B2 (ja) 2008-09-04 2012-08-22 株式会社リコー 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP5177751B2 (ja) 2008-09-29 2013-04-10 ルネサスエレクトロニクス株式会社 表示駆動回路
JP5223686B2 (ja) 2009-01-07 2013-06-26 株式会社リコー 撮像装置および撮像方法
KR20120091578A (ko) * 2011-02-09 2012-08-20 삼성전자주식회사 영상의 밝기 변환 방법 및 장치
US20120218283A1 (en) * 2011-02-28 2012-08-30 Spatial Photonics, Inc. Method for Obtaining Brighter Images from an LED Projector
WO2013108493A1 (ja) 2012-01-17 2013-07-25 本田技研工業株式会社 画像処理装置
JP2015092643A (ja) 2012-01-30 2015-05-14 日本電気株式会社 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム
JP2015092301A (ja) 2012-01-30 2015-05-14 日本電気株式会社 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム
JP6143575B2 (ja) * 2013-06-25 2017-06-07 キヤノン株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9262690B2 (en) * 2013-08-27 2016-02-16 Htc Corporation Method and device for detecting glare pixels of image
WO2015113655A1 (en) 2014-01-31 2015-08-06 Thomson Licensing Method for conversion of a saturated image into a non-saturated image
US9749534B2 (en) * 2014-12-31 2017-08-29 Canon Kabushiki Kaisha Devices, systems, and methods for estimation of motion blur from a single image
US9336582B1 (en) * 2015-04-17 2016-05-10 Google Inc. Convolutional color correction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006303559A (ja) * 2005-04-15 2006-11-02 Matsushita Electric Ind Co Ltd 電子式カメラ
JP2010103700A (ja) * 2008-10-22 2010-05-06 Ricoh Co Ltd 撮像装置および撮像方法

Also Published As

Publication number Publication date
MX2018011885A (es) 2019-06-06
RU2018138020A3 (ko) 2020-08-19
TWI736599B (zh) 2021-08-21
RU2750088C2 (ru) 2021-06-22
US11488289B2 (en) 2022-11-01
KR102287127B1 (ko) 2021-08-05
CA3019961C (en) 2024-02-27
JP6876068B2 (ja) 2021-05-26
EP3437066A1 (en) 2019-02-06
EP3226203A1 (en) 2017-10-04
JP2019513335A (ja) 2019-05-23
BR112018069885A2 (pt) 2019-02-05
EP3437066B1 (en) 2021-03-17
WO2017167700A1 (en) 2017-10-05
TW201801042A (zh) 2018-01-01
CA3019961A1 (en) 2017-10-05
US20190114749A1 (en) 2019-04-18
CN109844803B (zh) 2023-07-07
CN109844803A (zh) 2019-06-04
RU2018138020A (ru) 2020-04-30

Similar Documents

Publication Publication Date Title
US20200404309A1 (en) Video watermark adding method and apparatus, and electronic device and storage medium
KR102287127B1 (ko) 이미지 내의 포화된 픽셀들을 검출하기 위한 방법
CN112532855B (zh) 一种图像处理方法和装置
JP6499188B2 (ja) 飽和画像を非飽和画像に変換する方法
CN107635103B (zh) 一种图像处理方法及移动终端和介质产品
EP3113496A1 (en) Method and device for encoding both a hdr picture and a sdr picture obtained from said hdr picture using color mapping functions
Nguyen et al. Why you should forget luminance conversion and do something better
CN110999301A (zh) 位深度高效图像处理
US20150271416A1 (en) Information Processing Method and Electronic Device
EP3298766A1 (en) Method and device for processing color image data representing colors of a color gamut.
CN110996015B (zh) 空间多重曝光
US10896344B2 (en) Information processing apparatus, information processing method, and computer program
US20170223366A1 (en) Method and apparatus for processing image data
US20150063691A1 (en) Method and device for processing of non-aligned images and corresponding computer programme
JP5743456B2 (ja) 画像処理装置、画像処理方法及び撮像装置
Park Architectural analysis of a baseline isp pipeline
US20180255239A1 (en) Image output method and image capturing device
US11696044B2 (en) Image capturing apparatus, control method, and storage medium
CN113099200B (zh) 处理视频信号的方法、装置、存储介质及电子设备
US10530996B2 (en) Electronic device
US10068346B2 (en) Color distance determination
WO2015022274A1 (en) Image processing method and device, image restitution method and device, and corresponding computer program and system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant