KR20170125859A - 색 보정을 위한 장치 및 방법 - Google Patents

색 보정을 위한 장치 및 방법 Download PDF

Info

Publication number
KR20170125859A
KR20170125859A KR1020177026637A KR20177026637A KR20170125859A KR 20170125859 A KR20170125859 A KR 20170125859A KR 1020177026637 A KR1020177026637 A KR 1020177026637A KR 20177026637 A KR20177026637 A KR 20177026637A KR 20170125859 A KR20170125859 A KR 20170125859A
Authority
KR
South Korea
Prior art keywords
histogram
image
matched
probability distribution
reference image
Prior art date
Application number
KR1020177026637A
Other languages
English (en)
Other versions
KR101944208B1 (ko
Inventor
파드 부자라
오네이 우르팔리오글루
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20170125859A publication Critical patent/KR20170125859A/ko
Application granted granted Critical
Publication of KR101944208B1 publication Critical patent/KR101944208B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • G06T5/009—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871—Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H04N1/4074—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Color Image Communication Systems (AREA)

Abstract

본 발명은 적어도 하나의 소스 이미지의 색들을 기준 이미지의 색들에 맵핑하는 장치 및 방법에 관한 것이다. 상기 장치는 소스 이미지의 히스토그램 매치된 이미지를 생성하기 위해 소스 이미지의 히스토그램을 기준 이미지의 히스토그램에 매치하도록 적응된 히스토그램 매칭 유닛(52), 기준 이미지의 조건부 확률 분포를 생성하도록 적응된 확률 분포 계산 유닛(54), 및 조건부 확률 분포에 기초하여 히스토그램 매치된 이미지에서 이상점들을 검출하도록 적응된 이상점 검출 유닛(55)을 포함한다.

Description

색 보정을 위한 장치 및 방법
본 발명은 색 보정을 위한 장치에 관한 것이고, 특히 적어도 하나의 소스 이미지의 색들을 기준 이미지의 색들에 맵핑하는 장치에 관한 것이다. 본 발명은 또한 적어도 하나의 소스 이미지의 색들을 기준 이미지의 색들에 맵핑하는 방법에 관한 것이다. 마지막으로, 본 발명은 이러한 방법을 수행하는 프로그램 코드를 갖는 컴퓨터 프로그램, 및 예를 들어, 하이-다이내믹-레인지 이미징, 배경 제거, 또는 움직임 추정을 위한 이미징 처리에서의 이러한 방법의 사용에 관한 것이다.
컴퓨터 비전에서 및 컴퓨터 활용 사진에서와 같은 이미징 처리의 분야에서, 이미지들의 그룹의 전체적인 시각 품질을 향상시키는 것이 바람직하다. 이러한 향상은 색 및 가능하게는 또한 콘텐트 차이들을 나타내는 2개의 이미지들 사이에 색 보정을 수행함으로써 2개의 이미지들 사이의 유사성을 향상시키는 것으로 이루어질 수 있다. 이러한 색 보정을 또한 색 매칭이라고 한다.
종래 기술에서, 색 보정은 전형적으로 히스토그램 매칭(HM) 기술에 의해 행해진다. 히스토그램 매칭 기술은 이미지들 사이의 색 차이를 감소시키기 위해, 상이한 노출들을 나타내는 2개의 이미지들 사이의 색 조정을 수행하는 것으로 이루어진다. 히스토그램 매칭은 예를 들어 "Digital Image Processing", Gonzalez and Woods, New Jersey, Prentice Hall, 2006로부터 공지된다. 히스토그램 매칭은 색 매칭을 위한 기술이고, 여기서 소스 이미지의 히스토그램은 기준 이미지의 히스토그램에 매치된다.
그럼에도 불구하고, 소스 이미지와 기준 이미지가 카메라 또는 물체 움직임으로 인해 완벽하게 정렬되지 않는 경우에, 히스토그램 매칭은 미스매치들로 인해 아티팩트들을 발생시킬 수 있다. 히스토그램 매칭 이미지, 즉, 히스토그램 매칭 동작에 의해 생성된 결과 이미지는 또한 소스 이미지와 기준 이미지 사이의 큰 노출 차이들의 경우에 미스매치들로 인해 아티팩트들을 나타낼 수 있다. 더구나, 히스토그램 매칭은 전형적으로 소스 이미지의 밝은 다크 영역들을 포함하고, 동시에 이미지 잡음의 레벨을 증가시키고 결과적인 이미지의 품질을 더욱 저하시킨다.
상기 언급된 단점들 및 문제들에 비추어서, 본 발명은 기술의 수준을 개선시키는 것을 목적으로 한다. 특히, 본 발명의 목적은 2개의 이미지들 사이의 색 보정을 개선시키는 것을 가능하게 하는 장치 및 방법을 각각 제공하는 것이다.
본 발명은 또한 특히 히스토그램 매칭 결과 내에 포함된 가능한 색 아티팩트들 및 이미지 잡음에 대해, 히스토그램 매칭의 품질을 개선시키고자 한다. 본 발명은 또한 히스토그램 매칭-관련 아티팩트 또는 잡음을 나타내는 화소들 - 이러한 화소들은 이상점들이라고 함 - 을 검출하고, 유리하게 히스토그램 매칭 결과를 정정하고자 한다.
본 발명의 상기 언급된 목적은 첨부된 독립 청구항들에서 제공된 해결책에 의해 달성된다. 본 발명의 유리한 구현들은 또한 각각의 종속 청구항들에서 더 정의된다.
본 발명의 제1 양태는 적어도 하나의 소스 이미지의 색들을 기준 이미지의 색들에 맵핑하는 장치를 제공한다. 상기 장치는 소스 이미지의 히스토그램 매치된 이미지를 생성하기 위해 소스 이미지의 히스토그램을 기준 이미지의 히스토그램에 매치하도록 적응된 히스토그램 매칭 유닛을 포함한다. 상기 장치는 기준 이미지의 조건부 확률 분포를 생성하도록 적응된 확률 분포 계산 유닛을 포함한다. 상기 장치는 조건부 확률 분포에 기초하여 히스토그램 매치된 이미지에서 이상점들을 검출하도록 적응된 이상점 검출 유닛을 더 포함한다.
그럼으로써, 중심 화소와 그것의 이웃들의 조합인, 기준 이미지 내의 조건부 색 분포들이 기준 이미지 내의 매 화소마다, 히스토그램 매치된 이미지에서와 동일하게 되어야 한다고 가정한다. 조건부 색 분포는 또한 조건부 확률 분포라고 한다. 미스매치들로 인한 가능한 이상점들, 즉, 아티팩트들 및 잡음의 검출은 히스토그램 매치된 이미지들 내의 관찰된 조건부 색 분포들이 기준 이미지의 목표로 하는 색 분포에 있을 것 같은지 여부를 체크하는 것에 기초한다.
제1 양태에 따른 장치의 제1 구현 형태에서, 확률 분포 계산 유닛은 주어진 화소의 이웃하는 화소들의 세기들이 주어지면 기준 이미지의 주어진 화소의 세기의 조건부 확률을 추정함으로써 조건부 확률 분포를 생성하도록 적응되고, 이웃하는 화소들은 이웃 구성에 따라 선택된다.
그럼으로써, 기준 이미지의 목표로 하는 색 분포가 결정될 수 있으므로, 히스토그램 매치된 이미지는 이상점들의 검출을 가능하게 하도록 기준 이미지의 조건부 확률 분포에 대해 평가될 수 있다.
제1 양태에 따른 장치의 추가 구현 형태에서, 이웃 구성은 소스 이미지 또는 기준 이미지의 콘텐트에 따라 적응적으로 선택된다.
그럼으로써, 조건부 확률 분포는 고정되지 않고 기준 이미지에 대해 보정되어야 할 현재 소스 이미지로 특히 적응될 수 있다. 이상점 검출의 품질은 또한 이웃 구성을 현재 입력 이미지들의 콘텐트에 적응시킴으로써 증가될 수 있다.
제1 양태에 따른 장치의 추가 구현 형태에서, 이웃 구성에 의해 정의된 이웃들의 수는 소스 이미지 및/또는 기준 이미지의 텍스처에 의존한다. 바람직하게는 이웃들의 수는 보다 큰 균질한 영역들 및/또는 보다 적은 텍스처들을 갖는 소스 이미지 및/또는 기준 이미지에 대해 증가된다.
그럼으로써, 소스 이미지 및/또는 기준 이미지가 큰 균질한 영역들 또는 적은 수의 텍스처를 갖는 경우에, 이웃들의 수를 증가시키고 구성의 전체 크기를 증가시키는 것이 가능하므로, 이상점들의 검출이 개선될 수 있다. 한편, 입력 이미지들이 오히려 보다 많은 텍스처들 또는 단지 작은 균질한 영역들을 포함하면, 이웃들의 수 및 구성의 전체 크기가 감소될 수 있고, 결국 히스토그램 매치된 이미지 내의 이상점들을 검출하기 위한 계산 시간 및 노력이 또한 감소하게 된다.
제1 양태에 따른 장치의 추가 구현 형태에서, 이상점 검출 유닛은 조건부 확률 분포에 기초하여, 히스토그램 매치된 이미지의 매치된 화소와, 이웃 구성에 따라 선택된, 그것의 이웃하는 화소들의 조합의 확률이 임계치보다 낮으면, 그 매치된 화소를 이상점으로서 검출하도록 적응된다.
제1 양태에 따른 장치의 추가 구현 형태에서, 이상점 검출 유닛은 히스토그램 매치된 이미지의 매치된 화소와, 이웃 구성에 따라 선택된, 그것의 이웃하는 화소들에 대해, 조건부 확률이 임계치보다 낮으면, 그 매치된 화소를 이상점으로서 검출하도록 적응된다.
그럼으로써, 주어진 화소 조합의 확률의 임계치와의 비교 또는 조건부 확률의 임계치와의 비교는 화소들이 이상점들이라고 자동으로 검출하는 편리한 기술을 제공한다.
제1 양태에 따른 장치의 추가 구현 형태에서, 임계치는 사용자에 의해 미리 정의되거나 자동으로 계산된다. 바람직하게는 임계치는 0,05와 0,3 사이에서 구성된다.
그럼으로써, 이상점 검출의 품질이 더욱 적응될 수 있다. 사용자는 필요들에 가장 잘 맞는 비교 임계치를 정의하기 위해 임계치를 설정할 수 있다. 또한, 임계치는 이전의 실험들에 의해 달성된 결과들에 기초하여 자동으로 적응될 수 있다.
제1 양태에 따른 장치의 추가 구현 형태에서, 이상점 검출 유닛은 각각의 색 채널에 대해 히스토그램 매치된 이미지에서 이상점들을 검출하도록 적응된다.
그럼으로써, 이상점들은 단지 하나의 색 채널보다 많은 것을 갖는 소스 이미지들에 대해 검출될 수 있다.
제1 양태에 따른 장치의 추가 구현 형태에서, 이상점 검출 유닛은 히스토그램 매치된 이미지에서 검출된 모든 이상점들을 식별하는 이상점 맵을 생성하도록 적응된다.
그럼으로써, 이상점 검출의 결과는 이상점 맵에서 이상점들로서 식별된, 화소들의 후속하는 정정을 가능하게 하는 편리한 방식으로 이상점 맵에서 요약된다.
제1 양태에 따른 장치의 추가 구현 형태에서, 장치는 조건부 확률 분포에 기초하여, 이상점 검출 유닛에 의해 이상점으로서 검출된, 매치된 화소의 세기를 정정함으로써 이상점들을 정정하도록 적응된 이상점 정정 유닛을 포함한다.
그럼으로써, 히스토그램 매치된 이미지에서 먼저 검출된 이상점들은 또한 적은 아티팩트들 및 잡음을 갖는 개선된 히스토그램 매치된 이미지를 생성하도록 정정될 수 있다.
제1 양태에 따른 장치의 추가 구현 형태에서, 이상점으로서 검출된 매치된 화소의 세기는 조건부 확률을 최대화하는 세기를 구함으로써 정정된다.
그럼으로써, 조건부 확률을 최대화하는 새롭게 구해진 세기는 히스토그램 매치된 이미지 내의 이전의 세기 값을 대체할 것이다. 개선된 히스토그램 매치된 이미지는 다음에 이 대체에 의해 생성된다.
제1 양태에 따른 장치의 추가 구현 형태에서, 이상점 검출 유닛 및 이상점 정정 유닛은 이상점들의 검출 및 이상점들의 정정을 여러 회 반복하도록 적응된다. 반복들의 수는 바람직하게는 소스 이미지 및/또는 기준 이미지 내의 텍스처들의 양이 감소하면 증가된다.
그럼으로써, 과정의 반복은 히스토그램 매치된 이미지의 품질의 추가 개선을 가능하게 한다. 더구나, 텍스처와 같은, 소스 이미지의 콘텐트에 기초한 반복 수의 적응은 텍스처 양이 증가하면 불필요한 반복들을 피하고 계산 시간 및 자원들을 절약할 수 있고, 텍스처 양이 감소하면 전체적인 품질을 개선시킬 수 있다.
제1 양태에 따른 장치의 추가 구현 형태에서, 장치는 기준 이미지의 에지들을 검출하고, 히스토그램 매치된 이미지의 에지들을 검출하고, 기준 이미지의 대응하는 에지 맵 및 히스토그램 매치된 이미지의 대응하는 에지 맵을 생성하도록 적응된 에지 검출 유닛을 포함한다. 확률 분포 계산 유닛은 기준 이미지의 에지 맵에 기초하여 조건부 확률 분포를 생성하도록 적응된다. 이상점 검출 유닛은 히스토그램 매치된 이미지의 에지 맵에 기초하여 히스토그램 매치된 이미지에서 이상점들을 검출하도록 적응된다.
에지들은 실제로 그들이 조건부 분포들에 대한 희박한 지원에 이르게 할 수 있는, 큰 구배들을 포함하는 사실로 인해 특별한 주의를 필요로 한다. 결과적으로, 에지들은 히스토그램 매치된 이미지에서 이상점들, 즉 오류 화소들로서 검출될 수 있다. 그럼으로써, 에지 검출은 예를 들어, 화소 색 분포의 추정이 에지들에 대해 수행되지 않는다는 점에서, 더 이상의 처리로부터 에지들을 배제함으로써 이상점 검출을 개선시킬 수 있다. 확률 분포 계산 유닛은 다음에 조건부 확률 분포를 생성하기 위해 기준 이미지의 에지 맵의 에지들을 고려하지 않도록 적응될 수 있고, 즉, 기준 이미지 상에서 검출된 에지들은 다음에 조건부 확률의 추정으로부터 배제될 수 있다. 이상점 검출 유닛은 이상점들을 검출하기 위해 히스토그램 매치된 이미지의 에지 맵의 에지들을 고려하지 않도록 적응될 수 있다.
제1 양태에 따른 장치의 추가 구현 형태에서, 장치는 퓨전 동작 유닛을 포함한다. 에지 검출 유닛은 소스 이미지의 에지들을 검출하고, 소스 이미지의 대응하는 에지 맵을 생성하도록 적응된다. 퓨전 동작 유닛은 히스토그램 매치된 이미지의 에지 맵과 소스 이미지의 에지 맵을 조합함으로써 히스토그램 매치된 이미지의 에지 맵을 처리하도록 적응된다.
그럼으로써, 소스 이미지 상에서 검출된 에지들이 고려될 수 있고 히스토그램 매치된 이미지에 대해 수행된 에지 검출을 개선시킬 수 있다. 다음에 히스토그램 매치된 이미지 상에서 검출되지 않았던 에지들을 또한 더 처리하는 것으로부터 배제하는 것이 가능하다.
제1 양태에 따른 장치의 추가 구현 형태에서, 장치는 각각의 화소 위치에 대해, 이 위치에서의 화소가 히스토그램 매치된 이미지에서 또는 소스 이미지에서 더 잘 노출되는지를 식별하는 노출 맵을 생성하도록 적응된 노출 평가 유닛을 포함한다. 퓨전 동작 유닛은 노출 맵에 따라 히스토그램 매치된 이미지의 에지 맵과 소스 이미지의 에지 맵을 조합함으로써 히스토그램 매치된 이미지의 에지 맵을 처리하도록 적응된다.
그럼으로써, 노출에 기초한 조합은 효율적인 에지 병합 동작을 가능하게 한다.
제1 양태에 따른 장치의 추가 구현 형태에서, 장치는 기준 이미지의 에지 맵 상에 및 히스토그램 매치된 이미지의 에지 맵 상에 이로전(erosion)을 적용되도록 적응된 이로전 동작 유닛을 포함한다.
그럼으로써, 검출된 에지들의 바로 근처 내의 화소들이 또한 추가 처리로부터 폐기될 수 있다.
제1 양태에 따른 장치의 추가 구현 형태에서, 이로전 동작 유닛은 이로전 커널에 따라 이로전을 적용하도록 적응된다. 이로전 커널의 크기는 이웃 구성에 의존하고, 특히 이웃 구성의 크기 또는 깊이에 의존한다.
그럼으로써, 이로전은 이웃 구성에 의존하기 때문에, 이로전은 에지 화소들이 이웃 화소들의 세트의 일부가 되는 것을 방지할 수 있고 이상점들을 검출 및 정정할 때 상기 에지 화소들이 고려되는 것을 방지할 수 있다.
본 발명의 제2 양태는 적어도 하나의 소스 이미지의 색들을 기준 이미지의 색들에 맵핑하는 방법을 제공한다. 상기 방법은 소스 이미지의 히스토그램 매치된 이미지를 생성하기 위해 소스 이미지의 히스토그램을 기준 이미지의 히스토그램에 매치하는 것을 포함하는 히스토그램 매칭 단계를 포함한다. 상기 방법은 기준 이미지의 조건부 확률 분포를 생성하는 확률 분포 계산 단계를 포함한다. 상기 방법은 조건부 확률 분포에 기초하여 히스토그램 매치된 이미지에서 이상점들을 검출하는 것을 포함하는 이상점 검출 단계를 포함한다.
본 발명의 제2 양태에 따른 방법들은 본 발명의 제1 양태에 따른 시스템에 의해 수행될 수 있다. 본 발명의 제2 양태에 따른 방법의 추가 특징들 또는 구현들은 본 발명의 제1 양태에 따른 장치의 기능성 및 그것의 상이한 구현 형태들을 수행할 수 있다.
본 발명의 제3 양태는 컴퓨터 프로그램이 컴퓨팅 디바이스 상에서 실행할 때, 이 방법을 수행하는 프로그램 코드를 갖는 컴퓨터 프로그램을 제공한다.
본 발명의 제4 양태는 하이-다이내믹-레인지 이미징, 배경 제거, 또는 움직임 추정을 위한 이러한 방법의 사용에 관한 것이다.
본원에서 설명된 모든 디바이스들, 요소들, 유닛들 및 수단들은 소프트웨어 또는 하드웨어 또는 이들의 임의 종류의 조합에서 구현될 수 있다는 점에 주목하여야 한다. 다양한 개체들에 의해 수행되는 것으로 설명된 기능성들뿐만 아니라 본원에서 설명된 다양한 개체들에 의해 수행되는 모든 단계들은 각각의 개체들이 각각의 단계들 및 기능성들을 수행하도록 적응되거나 구성되는 것을 의미하고자 한다. 특정한 실시예들의 다음의 설명에서, 영원한 개체들에 의해 완전히 형성될 특정한 기능성 또는 단계가 특정한 단계 또는 기능성을 수행하는 그 개체의 특정한 상세한 요소의 설명에서 반영되지 않지만, 이들 방법 및 기능성은 각각의 소프트웨어 또는 하드웨어 요소들, 또는 이들의 임의 종류의 조합에서 구현될 수 있다는 것은 통상의 기술자에게 명백할 것이다.
본 발명의 상기 양태들 및 구현 형태들이 첨부된 도면과 관련하여 특정한 실시예들의 상세한 설명에서 설명될 것이다.
도 1은 본 발명의 실시예에 따른 장치를 도시한다.
도 2는 본 발명의 실시예에 따른 이웃 구성의 예들을 도시한다.
도 3은 본 발명의 실시예에 따른 이상점 검출 유닛에 의해 생성된 이상점 맵들을 도시한다.
도 4는 본 발명의 실시예에 따른 장치를 도시한다.
도 5는 본 발명의 실시예에 따른 에지 맵핑 유닛을 도시한다.
도 6은 본 발명의 실시예에 따른 에지 맵핑 유닛의 입력 이미지들뿐만 아니라 에지 맵핑 유닛에 의해 생성된 상이한 맵들을 도시한다.
도 7은 본 발명의 실시예에 따른 이상점 검출 및 정정 유닛을 도시한다.
도 1은 본 발명의 실시예에 따른 장치(56)를 개략적으로 도시한다.
장치(56)는 적어도 하나의 소스 이미지의 색들을 기준 이미지의 색들에 맵핑하도록 적응된다. 이와 관련하여 색 맵핑, 또는 색 보정 또는 색 매칭은 소스 이미지의 색들을 기준 이미지의 색들로 맵핑하는 동작이다. 장치(56)는 소스 이미지의 히스토그램 매치된 이미지를 생성하기 위해 소스 이미지의 히스토그램을 기준 이미지의 히스토그램에 매치하도록 적응된 히스토그램 매칭 유닛(52), 기준 이미지의 조건부 확률 분포를 생성하도록 적응된 확률 분포 계산 유닛(54), 및 조건부 확률 분포에 기초하여 히스토그램 매치된 이미지에서 이상점들을 검출하도록 적응된 이상점 검출 유닛(55)을 포함한다.
소스 이미지는 그 색 분포 또는 히스토그램이 색 맵핑 동작 중에 기준으로 맵핑될 이미지이고, 기준 이미지는 그 색 분포 또는 히스토그램이 색 맵핑 동작 중에 기준으로서 사용될 이미지이다.
히스토그램 매칭 유닛(52)은 소스 이미지의 히스토그램 매치된 이미지를 생성하기 위해, 소스 이미지가 되는 입력 이미지의 히스토그램을 기준 이미지가 되는 입력 이미지의 히스토그램에 매치하도록 적응된다. 도 1에 도시한 히스토그램 매칭 유닛(52)은 소스 이미지와 기준 이미지인 2개의 입력을 포함하고, 소스 이미지에 대한 히스토그램 매칭 또는 소스 이미지에 대한 히스토그램 매칭 기반 방법을 수행한다. 히스토그램 매칭 유닛(52)의 출력은 소스 이미지의 히스토그램 매치된 이미지이다. 히스토그램 매칭 유닛(52)은 대안적으로 여러 개의 소스 이미지들 및 기준 이미지로 이루어진 2개보다 많은 입력을 포함할 수 있다. 이러한 경우에, 히스토그램 매칭 유닛(52)은 또한 소스 이미지들의 각각의 히스토그램 매치된 이미지들이 되는 여러 개의 출력들을 제공한다.
히스토그램 매칭 유닛(52)에 의해 수행된 히스토그램 매칭은 소스 이미지의 히스토그램을 기준 이미지의 히스토그램에 매칭하는 것, 즉 소스 히스토그램을 기준 히스토그램에 매칭하는 것을 포함한다. 이 매칭은 그 색 특성들이 기준 이미지의 것들에 이상적으로 가까운 소스 이미지의 히스토그램 매치된 이미지를 출력한다.
매칭은 본 기술 분야에 공지된 바와 같이, 히스토그램 매치된 이미지를 생성하기 위해 다음의 단계들을 포함할 수 있다.
먼저, 각각의 히스토그램이 소스 이미지로부터 및 기준 이미지로부터 생성되고, 여기서 히스토그램은 이미지의 화소 색 세기들의 분포의 그래픽 예시로 이루어진다. 2개의 생성된 히스토그램들 각각은 다음에 히스토그램 값들을 각각의 이미지 내의 화소들의 총 수로 나눔으로써 정규화된다.
추가 단계에서, 정규화된 히스토그램들은 소스 이미지와 기준 이미지 둘 다의 히스토그램들의 각각의 누적 분포 함수(CDF)를 생성하도록 처리되고, 여기서 CDF는 무작위 변수 X가 식
Figure pct00001
에 따라 특정 값 x 이상인 확률 분포를 가질 가능성을 명시한다. 2개의 CDF는 각각 Fsource() 및 Freference()라고 명명할 수 있다. 2개의 CDF는 다음에 각각의 룩업 테이블들로서 동작하고: 각각의 룩업 테이블의 인덱스들은 그레이 레벨 값들에 대응하고, 주어진 인덱스에서의 각각의 룩업 테이블의 콘텐트는 CDF의 값에 대응한다. 예를 들어, 그레이 레벨 값들은 0 내지 255의 범위에 있다.
추가 단계에서, Isource의 관련된 그레이 레벨 값을 갖는 소스 이미지의 각각의 화소에 대해, 소스 이미지의 룩업 테이블은 소스 이미지의 CDF의 대응하는 값을 결정하는 데 사용된다. 이 CDF 값은 다음에 기준 이미지 내의 대응하는 그레이 레벨 값 Ireference를 결정하기 위해 룩업 테이블에서 조사 및 식별된다. 마지막으로, 그레이 레벨 Ireference는 소스 이미지 내의 그레이 레벨 Isource로 대체되어, 소스 이미지의 히스토그램 매치된 이미지를 생성한다. 바꾸어 말하면, 2개의 CDF는 범위 {0, 255}에서의 소스 이미지 내의 모든 화소 그레이 레벨 Isource를 다음의 식을 만족시키는 새로운 세기 Ireference로 매치하는 데 사용된다:
Fsource(Isource) = Freference(Ireference)
확률 분포 계산 유닛(54)은 기준 이미지의 조건부 확률 분포를 생성하도록 적응된다. 바람직하게는, 확률 분포 계산 유닛(54)은 주어진 화소의 이웃하는 화소들의 세기들 In1, In2, In3... InN이 주어지면 기준 이미지의 주어진 화소의 세기 Ic의 조건부 확률 p(Ic|In1, In2, In3... InN)을 추정함으로써 조건부 확률 분포를 생성하도록 적응되고, 여기서 이웃하는 화소들은 이웃 구성에 따라 선택된다.
이것은 기준 이미지의 색 분포를 모델링하기 위해 사용된 조건부 확률들이 계산되는 것을 의미한다. N개의 이웃들을 갖는 선택된 이웃 구성에서, 각각의 이웃에 대해, 조건부 확률 p(Ic|In1, In2, In3... InN)이 추정된다. 값들 Ic 및 In1 내지 InN은 각각 이웃 구성의 중심 화소의 세기들 및 이웃 구성의 나머지 화소들의 N개의 세기들을 나타낸다.
추정된 조건부 확률은 식 p(a|b) = p(a, b) / p(b)에 따른 베이지안 프레임워크를 사용하여, 목표로 하는 색 분포를 포함하는 기준 이미지로부터의 계산된 조인트 확률들 p(Ic, In1, In2, In3... InN) 및 p(In1, In2, In3... InN)에 기초한다. 대안적으로, 조건부 확률의 추정 전에 가정이 이루어질 수 있고, 여기서 조인트 확률들은 통계적으로 독립인 것으로 가정된다.
도 2는 본 발명의 실시예에 따른, 확률 분포 계산 유닛(54)에 의해 및 보다 일반적으로 장치(56)에 의해 사용된 그러한 이웃 구성의 예들을 도시한다.
제1 예에 따르면, 이웃 구성은 중심 화소뿐만 아니라 중심 화소에 바로 인접한 4개의 화소들, 즉 중심 화소의 위에 1, 아래에 3, 좌측의 2 및 우측의 4의 4개의 화소들을 포함한다. 도 2의 제2 예는 중심 화소 및 각각의 4개의 방향의 2개의 옆의 화소들, 즉, 중심 화소 위의 2개의 화소들 1, 5, 그 아래의 2개의 화소들 3, 7, 그것의 좌측의 2개의 화소들 2, 6, 및 그것의 우측의 2개의 화소들 4, 8을 포함하는 구성을 도시한다. 중심 화소 위의 2개의 화소들은 실제로 중심 화소 위에 배치된 인접한 화소 1뿐만 아니라 그 위에 배치된 인접한 화소에 대응한다. 제3 구성은 중심 화소 및 중심 화소를 둘러싸는 모두 8개의 화소들, 즉 4개의 인접한 화소들 1, 2, 3, 4 및 대각선 방향들로 4개의 옆의 화소들 5, 6, 7, 8을 포함한다. 제4 구성은 제2 및 제3 구성들의 조합이고 대응하여 중심 화소 옆에, 이들 제2 및 제3 구성에서 정의된 모든 이웃한 화소를 포함한다.
장치(56), 및 구체적으로 확률 분포 계산 유닛(54)에 의해 사용된 이웃 구성은 바람직하게는 소스 이미지 및/또는 기준 이미지의 콘텐트에 따라 적응적으로 선택된다. 이웃 구성의 선택은 입력 이미지들의 성질에 맞도록 적응적으로 설정될 수 있다. 적응적 선택은 2개의 입력 이미지들이 유사한 콘텐트들을 포함하는 것으로 가정되기 때문에 소스 이미지 또는 기준 이미지에 따라, 또는 심지어 둘 다의 입력 이미지들에 따라 수행될 수 있다.
이웃 구성에 의해 정의된 이웃들의 수는 바람직하게는 소스 이미지 및/또는 기준 이미지의 텍스처에 의존한다. 바람직하게는, 이웃들의 수는 보다 큰 균질한 영역들을 갖는 소스 이미지 및/또는 기준 이미지에 대해 증가된다. 이에 부가하여 대안적으로, 이웃들의 수는 적은 텍스처를 나타내는 소스 이미지 및/또는 기준 이미지에 대해 증가된다. 텍스처들이 풍부한 입력 이미지들에 대해, 도 2의 제1 예에서와 같은, 보다 작은 수의 이웃들을 갖는 구성들이 보다 적합하다. 한편, 도 2의 제4 구성과 같은, 보다 높은 수의 이웃을 갖는 구성들이 보다 큰 균질한 영역들 및 적은 텍스처를 갖는 이미지들에 보다 잘 맞는다.
이웃 구성의 적응적 선택을 위해, 장치(56)는 도 2에 도시한 구성과 같은 상이한 이웃 구성들을 저장하도록 적응된 메모리(도시 안됨)를 포함할 수 있다. 장치(56)는 입력 이미지들 내의 텍스처의 양을 수량화하고 텍스처의 수량화된 양에 따라 저장된 구성들을 선택하도록 더 적응될 수 있다. 수량화는 예를 들어 에지 검출을 사용하는 통계적 방식에 기초할 수 있다.
도 1을 참조하면, 이상점 검출 유닛(55)은 조건부 확률 분포에 기초하여 히스토그램 매치된 이미지에서 이상점들을 검출하도록 적응된다. 이상점 검출 유닛(55)은 히스토그램 매칭 유닛(52)에 의해 생성된 히스토그램 매치된 이미지, 및 확률 분포 계산 유닛(54)에 의해 생성된 조건부 확률 분포인 2개의 입력들을 포함한다. 이상점은 히스토그램 매칭-관련 아티팩트가 검출되는 화소인 것으로 정의된다.
이전에 계산된 조건부 확률 분포는 히스토그램 매칭 아티팩트들 및 잡음, 즉 이상점들을 검출하는 데 사용된다. 근본적인 아이디어는 히스토그램 매치된 이미지 내부의 각각의 화소에 대해 그리고 지정된 구성에 따라, 중심 화소 세기와 그것의 이웃들의 이 특정한 조합이 있을 것 같은지 여부를 체크하는 것이다.
바람직하게는, 이상점 검출 유닛(55)은 조건부 확률 분포에 기초하여, 히스토그램 매치된 이미지의 매치된 화소와, 이웃 구성에 따라 선택된, 그것의 이웃하는 화소들의 조합의 확률이 임계치 T보다 낮으면, 그 매치된 화소를 이상점으로서 검출하도록 적응된다.
바람직하게는, 이상점 검출 유닛(55)은 히스토그램 매치된 이미지의 매치된 화소와, 이웃 구성에 따라 선택된, 그것의 이웃하는 화소들에 대해, 조건부 확률 p(Ic|In1, In2, In3... InN)이 임계치 T보다 낮으면, 그 매치된 화소를 이상점으로서 검출하도록 적응된다. 이웃 구성은 바람직하게는 조건부 확률 분포를 생성하기 위해 확률 분포 계산 유닛(54)의 맥락 내에서 장치에 의해 이미 선택된 구성이다.
그래서, 이상점 검출 유닛(55)에서, 히스토그램 매칭 이상점들은 이전에 추정된 조건부 확률 분포 및 임계치 T가 주어지는 경우에 검출된다. 제안된 방식은 고려 중인 화소 및 히스토그램 매치된 이미지 내의 그것의 이웃들의 분포가 있을 것 같은지 여부를 체크한다:
- p(Ic|In1, In2, In3... InN) > T이면, 화소가 올바른 매치에 대응할 가능성이 있고,
- p(Ic|In1, In2, In3... InN) < T이면, 화소가 미스-매치인, 즉 이상점일 가능성이 있다.
조건부 확률이 T보다 작으면, 중심 화소(고려 중인 화소)가 오류인 것으로 가정되므로, 이상점인 것으로 고려된다.
바람직하게는 장치 내에 저장된 임계치 T는 사용자에 의해 미리 정의될 수 있거나 자동으로 계산될 수 있다. 사용자는 예를 들어 임계치 T의 값을 장치에 보낼 수 있거나 장치 내에 값을 직접 저장할 수 있다. 임계치 T의 값은 이전의 실험들에 기초하여, 즉 경험적으로 계산될 수 있다. 예를 들어 이전의 실험들에서 이상점들로서 검출된 매치된 화소들의 수가 너무 높으면, 즉, 검출된 이상점들의 수가 이상점들의 실제 수에 대해 너무 높으면, 임계치 T는 다음의 색 맵핑 동작에서 보다 적은 이상점들을 검출하도록 감소될 수 있다. 반대의 경우에서, 임계치 T는 다음의 색 맵핑 동작에서 보다 많은 이상점들을 검출하도록 증가될 수 있다. 임계치 T는 바람직하게는 0,05와 0,3 사이에서 구성된 값으로 설정될 수 있다.
이상점 검출 유닛(55)은 바람직하게는 각각의 색 채널에 대해 히스토그램 매치된 이미지에서 이상점들을 검출하도록 적응된다. 즉, 이상점들은 적색 채널, 녹색 채널, 및 청색 채널에 대해 히스토그램 매치된 이미지에서 검출될 수 있다. 검출은 각각의 채널에 대해 독립적으로 수행된다. 이상점 검출이 수행되는 색 채널들은 선택된 색 모델에 의존한다. 색 맵핑이 RGB 색 모델에 기초하는 경우에, 이상점들은 적색, 녹색, 및 청색 채널들 각각 내에서 검출된다. 대안적인 CMYK 색 모델에 대해, 이상점들은 4개의 시안, 마젠타, 황색, 및 흑색 채널들 각각 내에서 검출된다. 입력 이미지들, 즉, 소스 이미지와 기준 이미지가 그레이스케일 이미지들인 경우에, 단지 하나의 채널이 가용하고 이상점들은 단지 이 채널에 대해 검출된다.
이상점 검출 유닛(55)은 바람직하게는 히스토그램 매치된 이미지에서 검출된 모든 이상점들을 식별하는 이상점 맵을 생성하도록 적응된다. 이상점 맵은 바람직하게는 이진 이상점 맵, 즉, 히스토그램 매칭 이상점들의 위치들 또는 좌표들을 표시하는 맵이다. 이진 이상점 맵의 백색 화소들은 가능한 히스토그램 매칭-관련된 이상점들의 위치를 표시할 수 있는 반면, 흑색 화소들은 다음에 이상점들로서 검출되지 않은 것을 표시한다. 반대로, 또한 이진 이상점 맵의 흑색 화소들은 검출된 이상점들을 표시할 수 있다.
이상점 검출 유닛(55)이 RGB 채널들과 같은, 여러 색 채널들에 대한 히스토그램 매치된 이미지에서 이상점들을 검출하도록 적응되면, 그것은 또한 여러 이상점 맵들을 생성하도록 적응된다. 바람직하게는, 하나의 이상점 맵이 다음에 각각의 색 채널에 대해 생성된다.
이와 관련하여, 도 3은 본 발명의 실시예에 따른 이상점 검출 유닛(55)에 의해 생성된 이상점 맵들을 도시한다. 3개의 도시한 이상점 맵들은 각각의 적색, 녹색, 및 청색 채널들에 대한 이진 이상점 맵들이고, 여기서 백색 화소들은 가능한 검출된 이상점들을 표시한다.
도 4는 본 발명의 실시예에 따른 장치(106)를 도시한다. 장치(106)는 적어도 하나의 소스 이미지의 색들을 기준 이미지의 색들에 맵핑하도록 적응된다.
장치(106)는 소스 이미지의 히스토그램 매치된 이미지를 생성하기 위해 소스 이미지의 히스토그램을 기준 이미지의 히스토그램에 매치하도록 적응된 히스토그램 매칭 유닛(102), 기준 이미지의 조건부 확률 분포를 생성하도록 적응된 확률 분포 계산 유닛(104), 및 조건부 확률 분포에 기초하여 히스토그램 매치된 이미지에서 이상점들을 검출하도록 적응된 이상점 검출 및 정정 유닛(105)을 포함한다. 바람직하게는, 히스토그램 매칭 유닛(102), 확률 분포 계산 유닛(104), 및 이상점 검출 및 정정 유닛(105)은 각각 도 1에 도시한 장치(56)의 히스토그램 매칭 유닛(52), 확률 분포 계산 유닛(54), 및 이상점 검출 유닛(55)의 특징들에 대응하고 이들을 포함하고, 후자의 유닛들(52, 54, 55)과 동일한 기능들을 수행하도록 적응된다. 장치(106)의 이들 유닛의 추가 특징들이 다음에 상세히 설명된다.
바람직하게는, 장치(106)는 기준 이미지 캡처 유닛(100) 및 소스 이미지 캡처 유닛(101)을 더 포함한다. 이들 유닛(100, 101)은 바람직하게는 기준 이미지 및 소스 이미지를 캡처하는 카메라들이다. 색 맵핑이 하나보다 많은 소스 이미지에 대해 수행되는 경우에, 장치(106)는 하나 이상의 추가의 소스 이미지 캡처 유닛을 포함할 수 있다. 대안적으로, 기준 이미지 및 소스 이미지는 단지 하나의 단일 이미지 캡처 유닛(도시 안됨)에 의해 캡처될 수 있으며, 이 이미지 캡처 유닛은 그 다음에 기준 이미지 및 소스 이미지를 또는 그 역을 순차적으로 캡처하는 데 사용된다. 이러한 단일 이미지 캡처 유닛의 출력은 히스토그램 매칭 유닛(102)에 접속된다. 대안적으로 및 기준 이미지 캡처 유닛(100) 및 소스 이미지 캡처 유닛(101)을 포함하는 것 대신에, 장치(106)는 기준 이미지 및 소스 이미지를 수신하고 이들을 히스토그램 매칭 유닛(102)에 송신하도록 적응된 하나 이상의 인터페이스(도시 안됨)를 포함할 수 있고, 여기서 이러한 경우에 기준 이미지 및 소스 이미지는 장치(106)의 외부에서 캡처된다.
또한, 장치(106)는 바람직하게는 에지 맵핑 유닛(103)을 포함한다. 에지 맵핑 유닛(103)은 도 5에 보다 상세히 도시된다.
에지 맵핑 유닛(103)은 바람직하게는 기준 이미지의 에지들을 검출하고, 히스토그램 매치된 이미지의 에지들을 검출하고, 기준 이미지의 대응하는 에지 맵 및 히스토그램 매치된 이미지의 대응하는 에지 맵을 생성하도록 적응된 에지 검출 유닛(301)을 포함한다. 이것은 기준 이미지의 에지 맵이 기준 이미지의 모든 검출된 에지들을 식별하고, 히스토그램 매치된 이미지의 에지 맵이 히스토그램 매치된 이미지의 모든 검출된 에지들을 식별하는 것을 의미한다. 에지 검출 유닛(301)은 Canny 에지 검출기와 같은 공지된 에지 검출기 또는 대안적 기술에 기초한, 예를 들어, 차분 에지 검출에 기초한 검출기를 포함한다.
따라서, 확률 분포 계산 유닛(104)은 기준 이미지에 기초하여 뿐만 아니라 기준 이미지의 에지 맵에 기초하여 조건부 확률 분포를 생성하도록 적응된다. 이것은 기준 이미지에서 검출된 에지들이 조건부 확률 분포를 생성하기 위해 고려되지 않는다는 것을 의미한다.
유사하게, 이상점 검출 및 정정 유닛(105)은 조건부 확률 분포에 기초하여 뿐만 아니라 히스토그램 매치된 이미지의 에지 맵에 기초하여 히스토그램 매치된 이미지에서 이상점들을 검출하도록 적응된다. 이것은 히스토그램 매치된 이미지에서 검출된 에지들이 이상점들을 검출할 때 고려되지 않는다는 것을 의미한다.
또한, 에지 맵핑 유닛(103)은 바람직하게는 기준 이미지의 에지 맵 상에 및 히스토그램 매치된 이미지의 에지 맵 상에 이로전을 적용하도록 적응된 이로전 동작 유닛(302)을 포함한다. 바꾸어 말하면, 이로전 동작 유닛(302)은 첫째, 기준 이미지에서 및 히스토그램 매치된 이미지에서 이미 검출된 에지들 근처에서 화소들을 검출하고, 둘째, 에지들 근처에서 검출된 화소들이 또한 2개의 에지 맵들에 의해 식별되도록 기준 이미지의 에지 맵 및 히스토그램 매치된 이미지의 에지 맵을 그에 따라 정정하도록 적응된다. 이로전은 이진 이미지들, 예를 들어, 흑색 및 백색 이미지들에 대해 적용될 때, 물체들의 경계들 상의 화소들을 제거하는 모포로지컬 이미지 처리 동작이다. 이것은 일반적으로 경계들 및 에지들의 확장을 함축한다. 도 4에서, 에지 검출 유닛(301)의 출력들은 대응하여 이로전 동작 유닛(302)의 입력들이다.
바람직하게는, 이로전 동작 유닛(302)은 이로전 커널에 따라 이로전을 적용하도록, 즉, 이로전 커널에 따라 에지들 근처에서 화소들을 검출하도록 적응된다. 이로전 커널의 크기는 다음에 장치의 이웃 구성에 의존할 수 있고, 예를 들어, 이웃 구성의 크기와 동일할 수 있다. 이로전 커널의 크기는 이웃 구성의 크기 또는 깊이에 의존할 수 있다. 깊이는 이웃 구성 내에서, 중심 화소로부터 보다 먼 화소까지의 거리인 것으로 정의될 수 있다. 예를 들어, 도 2에 도시한 제1 및 제3 구성들은 중심 화소 이외의 모든 화소들은 중심 화소의 바로 이웃들이기 때문에 2의 깊이를 나타낸다. 제2 및 제4 구성들은 예를 들어 제2 구성에서, 보다 먼 화소들 5, 6, 7, 8이 중심 화소로부터 하나의 추가 화소만큼 떨어져 있기 때문에 3의 깊이를 나타낸다.
또한, 에지 맵핑 유닛(103)은 바람직하게는 퓨전 동작 유닛(304)을 포함한다. 에지 검출 유닛(301)은 소스 이미지의 에지들을 검출하고, 소스 이미지의 대응하는 에지 맵을 생성하도록 적응된다. 퓨전 동작 유닛(304)은 히스토그램 매치된 이미지의 에지 맵과 소스 이미지의 에지 맵을 조합함으로써 히스토그램 매치된 이미지의 에지 맵을 처리하도록 적응된다. 히스토그램 매치된 이미지의 처리된 에지 맵은 도 4 및 5에서 조인트 에지 맵이라고 한다. 선택적으로, 이로전 동작 유닛(302)은 소스 이미지의 이 생성된 에지 맵 상에 이로전을 적용하도록 적응된다.
또한, 에지 맵핑 유닛(103)은 바람직하게는, 각각의 화소 위치 (x,y)에 대해, 이 위치 (x,y)에서의 화소가 히스토그램 매치된 이미지에서 또는 소스 이미지에서 더 잘 노출되는지를 식별하는 노출 맵을 생성하도록 적응된 노출 평가 유닛(303)을 포함한다. 퓨전 동작 유닛(304)은 노출 맵에 따라 히스토그램 매치된 이미지의 에지 맵과 소스 이미지의 에지 맵을 조합함으로써 히스토그램 매치된 이미지의 에지 맵을 처리하도록 적응된다.
이와 관련하여, 또 하나의 화소보다 잘 노출되는 화소는 상기 또 하나의 화소보다 더 양호한 노출을 나타내는 것을 의미하고, 여기서 노출은 카메라 유닛에 의해, 즉, 예를 들어, 카메라에 의해 수집된 광의 양을 말한다. 낮게 노출된 이미지는 어두운 것으로 나타나고 높게 노출된 이미지는 밝은 것으로 나타난다. 노출 맵은 낮게 또는 높게 노출된 화소들을 무시하는 것과 보다 양호하게 노출된 화소들을 중시하는 것을 가능하게 할 수 있다.
노출 평가 유닛(303)은 소스 이미지 및 히스토그램 매치된 이미지로부터 노출 맵을 생성한다. 노출 맵은 각각의 화소에 대해, 이 화소가 가장 잘 노출되는 이미지를 표시하는 이진 맵이다. 예를 들어 이진 맵이 주어진 화소 위치 (x,y)에서 1, 각각 0, 의 값을 가지면, 이것은 이 위치에 의해 정해진 화소가 소스 이미지에서 더 잘 노출되는 것을 표시하는 반면, 0, 각각 1, 의 값을 가지면, 화소가 히스토그램 매치된 이미지에서 더 잘 노출되는 것을 표시한다. 노출 맵은 예를 들어, "Exposure Fusion", Mertens, Kautz, and Van Reeth, Pacific Graphics, 2007, pp. 369-378에서 설명된 공지된 노출 퓨전 방법에 따라 생성될 수 있다.
퓨전 동작 유닛(304)은 히스토그램 매치된 이미지들의 에지 맵, 소스 이미지의 에지 맵, 및 바람직하게는 노출 맵인 여러 개의 입력들을 포함한다. 히스토그램 매치된 이미지의 에지 맵은 퓨전 동작 유닛(304)이 히스토그램 매치된 이미지 및 소스 이미지의 에지 맵들을 노출 맵에 따라 적응적으로 병합한다는 점에서 처리된다. 병합 동작은 이전에 생성된 이진 노출 맵에 기초하고, 여기서 보다 높은 노출 값을 갖는 에지 화소가 조인트 에지 맵 내로, 즉, 히스토그램 매치된 이미지의 처리된 에지 맵 내로 선택될 것이다. 이것은 효율적인 에지 병합 동작을 가능하게 한다.
보다 높은 노출을 갖는 화소들의 선택은 예를 들어, 0 또는 1에 가까운 세기를 갖는 화소들, 즉, 부족 노출된 또는 과도 노출된 화소들을 폐기하는 것을 가능하게 한다. 노출은 다음의 식에 따라 가우스 가중 곡선을 사용하여 계산될 수 있다:
Figure pct00002
"Exposure Fusion", Mertens, Kautz, and Van Reeth, Pacific Graphics, 2007, pp. 369-378에서 제안된 바와 같이, 노출 또는 양호한 노출은 각각의 화소 세기를 그것이 0,5에 얼마나 가까운지에 기초하여 가중함으로써 획득될 수 있는데, 여기서 상기 식 내의 δ의 값은 0,2일 수 있다. 여러 채널들 내의 여러 세기들을 갖는 화소들에 대해, 노출은 각각의 채널 상에 가우스 가중 곡선을 적용하고 다음에 각각의 채널의 획득된 값들을 가산 또는 승산함으로써 획득될 수 있다.
도 6은 본 발명의 실시예에 따른 에지 맵핑 유닛의 입력 이미지들뿐만 아니라 에지 맵핑 유닛에 의해 생성된 상이한 맵들을 도시한다. 특히, 도 6은 도 5에 관해 위에 설명된 상이한 이미지들 및 에지 맵들의 예들을 도시한다.
도 7은 본 발명의 실시예에 따른 이상점 검출 및 정정 유닛을 도시한다. 도 7은 도 4의 이상점 검출 및 정정 유닛(105)의 상세한 개략도이다.
이상점 검출 및 정정 유닛(105)은 도 1의 이상점 검출 블록(55)에 대응하고, 그에 따라 이상점 맵을 생성하는 이상점 검출 유닛(501)을 포함한다. 바람직하게는, 이상점 검출 및 정정 유닛(105)뿐만 아니라 이상점 검출 블록(55)은 각각의 색 채널에 대해 하나의 이상점 맵을 생성한다.
이상점 검출 유닛(501)은 그것이 에지 맵핑 유닛(103)에 의해 생성된 조인트 에지 맵을 수신하는 추가 입력을 포함한다는 점에서 도 1의 상기 이상점 검출 유닛(55)과 상이하다. 위에 제시된 바와 같이, 조인트 에지 맵은 소스 및 히스토그램 매치된 이미지들의 에지 맵들을 포함한다. 이상점 검출 유닛(501)은 위치들, 즉, 이 조인트 에지 맵에 의해 식별된 에지들을 이상점들의 검출로부터 배제하기 위해 조인트 에지 맵을 사용한다. 이상점 맵 - 또는 각각의 채널에 대한 이상점 맵들 - 은 이 조인트 에지 맵을 고려함으로써 이상점 검출 유닛(501)에 의해 생성된다.
이상점 정정 유닛(502)은 이상점 맵에 의해 식별된 이상점들을 정정하기 위해 이상점 검출 및 정정 유닛(105) 내에 제공된다. 정정은 조건부 확률 분포에 기초하여, 이상점 검출 유닛(501)에 의해 이상점들로서 검출된, 매치된 화소들의 세기를 정정함으로써 수행된다.
이상점으로서 검출된 매치된 화소의 세기는 조건부 확률 p(Ic|In1, In2, In3... InN)를 최대화하는 세기 Ic를 구함으로써 정정된다. 그럼으로써 조건부 확률을 최대화하는 새롭게 구해진 세기 IcNew는 히스토그램 매치된 이미지 내의 이전의 세기 값을 대체할 것이다.
그래서, 각각의 색 채널에 대해 모든 가능한 이상점들이 떨어져 배치되면, 이상점 정정 유닛 블록(502)은 대체를 구하는 데 초점을 두고, 그러므로 이전에 생성된 이상점 맵들에 표시된 바와 같이 히스토그램 매칭-관련된 이상점들을 정정한다. 근본적인 아이디어는 그것의 이웃들을 사용하는 중심 화소의 세기에 대한 최대 사후 추정(maximum a-posteriori estimation)(MAP) 추정치를 구하는 것이다. MAP는 가용한 경험적 정보에 기초하여 관찰되지 않은 데이터의 확률을 추정하는 데 사용되는 베이지안 추정 방식이다. 여기서, MAP 추정은 조건부 확률 p(Ic|In1, In2, In3... InN)를 최대화하는 세기 Ic를 구하는 데 목적을 둔다:
IcNew = arg max {p(I|In1, In2, In3... InN)}; I ∈ {0,255}
이상점 정정 유닛(502)의 출력은 다음에 통계적으로 향상된 히스토그램 매치된 이미지로서 도 7에 표시된 히스토그램 매치된 이미지의 개선된 버전이다. 이상점 검출 유닛(501) 및 이상점 정정 유닛(502)은 제안된 방법의 성능을 개선시키기 위해서 여러 회 반복될 수 있다. 통계적으로 향상된 히스토그램 매치된 이미지가 이상점 검출 유닛(501) 및 이상점 정정 유닛(502) 둘 다에 대한 입력으로서 재사용된다는 점에서 반복이 도 7에 도시된다.
반복들의 수는 입력 이미지들의 요건에 더 잘 맞도록 자동으로 설정될 수 있다. 예를 들어, 증가된 수의 반복들은 텍스처가 적은 이미지들의 경우에서 이점이 있다. 반복들은 최종 결과들을 흐리게 하는 경향이 있기 때문에, 반복들의 수는 보다 많은 텍스처들을 갖는 이미지들에 대해 감소될 수 있다. 반복들의 수를 결정하기 위해, 텍스처의 양을 반영하는 값은 공지된 기술에 의해, 예를 들어 패치의 분산을 계산함으로서, 에지 검출에 의해 또는 구배 기반 기술에 의해 계산될 수 있다.
선택적으로, 이전에 설명된 검출 및 정정 단계들이 여러 회 반복되는 경우에, 조인트 에지 맵은 조인트 에지 맵 실현 유닛(503)에서 업데이트될 수 있다. 이 업데이트는 예를 들어 각각의 검출 및 정정 단계들의 매 반복 후에 행해진다. 조인트 에지 맵 실현 유닛(503)은 소스 이미지 및 통계적으로 향상된 히스토그램 매치된 이미지인 입력들을 포함한다. 이들 2개의 입력 이미지들은 에지 검출 유닛(103)이 소스 이미지 및 히스토그램 매치된 이미지에 기초하여 조인트 에지 맵을 생성하는 것과 유사한 방식으로, 조인트 에지 맵의 업데이트된 버전을 생성하기 위해 조인트 에지 맵 실현 유닛(503)에 의해 사용된다. 이것은 조인트 에지 맵 실현 유닛(503)이 유사하게 조인트 에지 맵의 업데이트된 버전을 생성하기 위해 에지 검출 유닛, 선택적인 이로전 동작 유닛, 노출 평가 유닛 및 퓨전 동작 유닛(도시 안됨)을 유사하게 포함할 수 있다는 것을 의미한다. 이 업데이트된 버전은 다음에 도 7에 도시한 바와 같이 이상점 검출 유닛(501)에 피드백된다.
구체적으로, 이 에지 검출 유닛(도시 안됨)은 에지 검출 유닛(301)과 유사하게, 통계적으로 향상된 히스토그램 매치된 이미지 및 소스 이미지의 에지들을 검출할 수 있고, 통계적으로 향상된 히스토그램 매치된 이미지의 대응하는 에지 맵 및 소스 이미지의 대응하는 에지 맵을 생성할 수 있다. 선택적인 이로전 동작 유닛(도시 안됨)은 이로전 동작 유닛(302)과 유사하게, 이들 2개의 에지 맵들 상에 이로전을 적용할 수 있다. 또한, 이 노출 평가 유닛 및 이 퓨전 동작 유닛(도시 안됨)은 다음에 노출 평가 유닛(303) 및 퓨전 동작 유닛(304)과 유사하게, 조인트 에지 맵의 업데이트된 버전을 생성할 수 있다.
이상점 검출 및 정정 유닛(105)에 의해 출력된 결과적인 히스토그램 매치된 이미지는 적은 잡음 및 아티팩트들을 포함하므로, 보다 양호하고 정밀한 에지 검출을 가능하게 한다.
본 발명이 예들뿐만 아니라 구현들로서 다양한 실시예들과 함께 설명되었다. 그러나, 다른 변화들이 본 기술 분야의 통상의 지식을 갖고 청구된 발명을 실시하는 기술자들에 의해, 도면, 본 개시 및 독립 청구항들을 연구하면 이해되고 이루어질 수 있다. 설명뿐만 아니라 청구범위에서 "포함하는"은 다른 요소들 또는 단계를 배제하지 않고 단수 표현은 복수를 배제하지 않는다. 단일 요소 또는 다른 유닛은 청구범위에서 나열된 여러 개체들 또는 품목들의 기능들을 이행할 수 있다. 소정의 수단들이 상호 상이한 종속 청구항들에서 나열된다는 사실만으로는 이들 수단의 조합이 유리한 구현에서 사용될 수 없다는 것을 나타내지 않는다.

Claims (20)

  1. 적어도 하나의 소스 이미지의 색들을 기준 이미지의 색들에 맵핑하는 장치(56)로서, 상기 장치는
    - 상기 소스 이미지의 히스토그램 매치된 이미지를 생성하기 위해 상기 소스 이미지의 히스토그램을 상기 기준 이미지의 히스토그램에 매치하도록 적응된 히스토그램 매칭 유닛(52),
    - 상기 기준 이미지의 조건부 확률 분포를 생성하도록 적응된 확률 분포 계산 유닛(54), 및
    - 상기 조건부 확률 분포에 기초하여 상기 히스토그램 매치된 이미지에서 이상점들을 검출하도록 적응된 이상점 검출 유닛(55)
    을 포함하는 장치(56).
  2. 제1항에 있어서,
    상기 확률 분포 계산 유닛(54)은 상기 기준 이미지의 주어진 화소의 이웃하는 화소들의 세기들(In1, In2, In3... InN)이 주어지면 상기 주어진 화소의 세기(Ic)의 조건부 확률(p(Ic|In1, In2, In3... InN))을 추정함으로써 상기 조건부 확률 분포를 생성하도록 적응되고, 상기 이웃하는 화소들은 이웃 구성에 따라 선택되는 장치(56).
  3. 제2항에 있어서,
    상기 이웃 구성은 상기 소스 이미지 및/또는 상기 기준 이미지의 콘텐트에 따라 적응적으로 선택되는 장치(56).
  4. 제3항에 있어서,
    상기 이웃 구성에 의해 정의된 이웃들의 수는 상기 소스 이미지 및/또는 상기 기준 이미지의 텍스처에 의존하고,
    바람직하게는 상기 이웃들의 수는 보다 큰 균질한 영역들 및/또는 보다 적은 텍스처들을 갖는 소스 이미지 및/또는 기준 이미지(100a)에 대해 증가되는 장치(56).
  5. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 이상점 검출 유닛(55)은 상기 조건부 확률 분포에 기초하여, 상기 히스토그램 매치된 이미지의 매치된 화소와, 상기 이웃 구성에 따라 선택된, 그것의 이웃하는 화소들의 조합의 확률이 임계치(T)보다 낮으면, 상기 매치된 화소를 이상점으로서 검출하도록 적응되는 장치(56).
  6. 제2항 내지 제5항 중 어느 한 항에 있어서,
    상기 이상점 검출 유닛(55)은 상기 히스토그램 매치된 이미지의 매치된 화소와, 상기 이웃 구성에 따라 선택된, 그것의 이웃하는 화소들에 대해, 상기 조건부 확률(p(Ic|In1, In2, In3... InN))이 임계치(T)보다 낮으면, 상기 매치된 화소를 이상점으로서 검출하도록 적응되는 장치(56).
  7. 제5항 또는 제6항에 있어서,
    상기 임계치(T)는 사용자에 의해 미리 정의되거나 자동으로 계산되고,
    바람직하게는 상기 임계치(T)는 0,05와 0,3 사이에서 구성되는 장치(56).
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 이상점 검출 유닛(55)은 각각의 색 채널에 대해 상기 히스토그램 매치된 이미지에서 이상점들을 검출하도록 적응되는 장치(56).
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 이상점 검출 유닛(55)은 상기 히스토그램 매치된 이미지에서 검출된 모든 이상점들을 식별하는 이상점 맵을 생성하도록 적응되는 장치(56).
  10. 제5항 내지 제9항 중 어느 한 항에 있어서,
    상기 조건부 확률 분포에 기초하여, 상기 이상점 검출 유닛(501)에 의해 이상점으로서 검출된, 상기 매치된 화소의 세기를 정정함으로써 이상점들을 정정하도록 적응된 이상점 정정 유닛(502)을 포함하는 장치(56).
  11. 제10항에 있어서,
    이상점으로서 검출된 상기 매치된 화소의 세기는 상기 조건부 확률(p(Ic|In1, In2, In3... InN))을 최대화하는 세기(Ic)를 구함으로써 정정되는 장치(56).
  12. 제10항 또는 제11항에 있어서,
    상기 이상점 검출 유닛(501) 및 상기 이상점 정정 유닛(502)은 이상점들의 상기 검출 및 이상점들의 상기 정정을 복수 회 반복하도록 적응되고,
    바람직하게는 반복들의 수는 상기 소스 이미지 및/또는 상기 기준 이미지 내의 텍스처들의 양이 감소하면 증가되는 장치(56).
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 기준 이미지의 에지들을 검출하고, 상기 히스토그램 매치된 이미지의 에지들을 검출하고, 상기 기준 이미지의 대응하는 에지 맵 및 상기 히스토그램 매치된 이미지의 대응하는 에지 맵을 생성하도록 적응된 에지 검출 유닛(103, 301)을 포함하고,
    상기 확률 분포 계산 유닛(104)은 상기 기준 이미지의 상기 에지 맵에 기초하여 상기 조건부 확률 분포를 생성하도록 적응되고,
    상기 이상점 검출 유닛(105, 501)은 상기 히스토그램 매치된 이미지의 상기 에지 맵에 기초하여 상기 히스토그램 매치된 이미지에서 이상점들을 검출하도록 적응되는 장치(56).
  14. 제13항에 있어서,
    퓨전 동작 유닛(304)을 포함하고,
    상기 에지 검출 유닛(103, 301)은 상기 소스 이미지의 에지들을 검출하고, 상기 소스 이미지의 대응하는 에지 맵을 생성하도록 적응되고,
    상기 퓨전 동작 유닛(304)은 상기 히스토그램 매치된 이미지의 상기 에지 맵과 상기 소스 이미지의 상기 에지 맵을 조합함으로써 상기 히스토그램 매치된 이미지의 상기 에지 맵을 처리하도록 적응되는 장치(56).
  15. 제14항에 있어서,
    각각의 화소 위치 (x,y)에 대해, 이 위치 (x,y)에서의 화소가 상기 히스토그램 매치된 이미지에서 또는 상기 소스 이미지에서 더 잘 노출되는지를 식별하는 노출 맵을 생성하도록 적응된 노출 평가 유닛(303)을 포함하고,
    상기 퓨전 동작 유닛(304)은 상기 노출 맵에 따라 상기 히스토그램 매치된 이미지의 상기 에지 맵과 상기 소스 이미지의 상기 에지 맵을 조합함으로써 상기 히스토그램 매치된 이미지의 상기 에지 맵을 처리하도록 적응되는 장치(56).
  16. 제13항에 있어서,
    상기 기준 이미지의 상기 에지 맵 상에 및 상기 히스토그램 매치된 이미지의 상기 에지 맵 상에 이로전(erosion)을 적용되도록 적응된 이로전 동작 유닛(302)을 포함하는 장치(56).
  17. 제16항에 있어서, 제2항에 더 종속할 때,
    상기 이로전 동작 유닛(302)은 이로전 커널에 따라 상기 이로전을 적용하도록 적응되고,
    상기 이로전 커널의 크기는 상기 이웃 구성에 의존하고, 특히 상기 이웃 구성의 크기 또는 깊이에 의존하는 방법.
  18. 적어도 하나의 소스 이미지의 색들을 기준 이미지의 색들에 맵핑하는 방법으로서, 상기 방법은
    - 상기 소스 이미지의 히스토그램 매치된 이미지를 생성하기 위해 상기 소스 이미지의 히스토그램을 상기 기준 이미지의 히스토그램에 매치하는 것을 포함하는 히스토그램 매칭(52) 단계,
    - 상기 기준 이미지의 조건부 확률 분포를 생성하는 것을 포함하는 확률 분포 계산(54) 단계, 및
    - 상기 조건부 확률 분포에 기초하여 상기 히스토그램 매치된 이미지에서 이상점들을 검출하는 것을 포함하는 이상점 검출(55) 단계
    를 포함하는 방법.
  19. 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램이 컴퓨팅 디바이스 상에서 실행할 때, 제18항에 따른 방법을 수행하는 프로그램 코드를 갖는 컴퓨터 프로그램.
  20. 하이-다이내믹-레인지 이미징, 배경 제거, 또는 움직임 추정을 위한 제18항에 따른 방법의 용도.
KR1020177026637A 2015-05-22 2015-05-22 색 보정을 위한 장치 및 방법 KR101944208B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2015/061407 WO2016188549A1 (en) 2015-05-22 2015-05-22 Apparatus and method for color calibration

Publications (2)

Publication Number Publication Date
KR20170125859A true KR20170125859A (ko) 2017-11-15
KR101944208B1 KR101944208B1 (ko) 2019-01-30

Family

ID=53373411

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177026637A KR101944208B1 (ko) 2015-05-22 2015-05-22 색 보정을 위한 장치 및 방법

Country Status (6)

Country Link
US (1) US10291823B2 (ko)
EP (1) EP3272110B1 (ko)
JP (1) JP6548743B2 (ko)
KR (1) KR101944208B1 (ko)
CN (1) CN107209931B (ko)
WO (1) WO2016188549A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209931B (zh) * 2015-05-22 2020-03-10 华为技术有限公司 颜色校正装置和方法
US10902951B2 (en) 2016-10-17 2021-01-26 Reliant Immune Diagnostics, Inc. System and method for machine learning application for providing medical test results using visual indicia
US11107585B2 (en) 2016-10-17 2021-08-31 Reliant Immune Diagnostics, Inc System and method for a digital consumer medical wallet and storehouse
US11651866B2 (en) 2016-10-17 2023-05-16 Reliant Immune Diagnostics, Inc. System and method for real-time insurance quote in response to a self-diagnostic test
US11579145B2 (en) 2016-10-17 2023-02-14 Reliant Immune Diagnostics, Inc. System and method for image analysis of medical test results
US11693002B2 (en) 2016-10-17 2023-07-04 Reliant Immune Diagnostics, Inc. System and method for variable function mobile application for providing medical test results using visual indicia to determine medical test function type
US10527555B2 (en) 2016-12-14 2020-01-07 Reliant Immune Disgnostics, Inc. System and method for visual trigger to perform diagnostic test
US11915810B2 (en) * 2016-12-14 2024-02-27 Reliant Immune Diagnostics, Inc. System and method for transmitting prescription to pharmacy using self-diagnostic test and telemedicine
US10331924B2 (en) 2016-12-14 2019-06-25 Reliant Immune Diagnostics, Inc. System and method for audiovisual response to retail diagnostic product
US11170877B2 (en) * 2016-12-14 2021-11-09 Reliant Immune Diagnostics, LLC System and method for correlating retail testing product to medical diagnostic code
US11599908B2 (en) 2016-12-14 2023-03-07 Reliant Immune Diagnostics, Inc. System and method for advertising in response to diagnostic test
US11594337B2 (en) 2016-12-14 2023-02-28 Reliant Immune Diagnostics, Inc. System and method for advertising in response to diagnostic test results
CN110738685B (zh) * 2019-09-09 2023-05-05 桂林理工大学 一种融合颜色直方图响应的时空上下文跟踪方法
CN113676624A (zh) * 2021-06-30 2021-11-19 西人马帝言(北京)科技有限公司 一种图像获取方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010016803A (ja) * 2008-06-04 2010-01-21 Toa Corp 複数のカラーカメラ間の色調整装置および方法
JP2012203852A (ja) * 2011-03-28 2012-10-22 Sony Corp 画像処理装置、画像処理方法、及びプログラム
KR101373471B1 (ko) * 2012-10-15 2014-03-13 세종대학교산학협력단 스테레오 영상 보정 장치 및 그 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7840067B2 (en) * 2003-10-24 2010-11-23 Arcsoft, Inc. Color matching and color correction for images forming a panoramic image
US7706593B2 (en) * 2006-09-20 2010-04-27 Primax Electronics Ltd. Verification method for determining areas within an image corresponding to monetary banknotes
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
GB2483213B8 (en) * 2009-06-11 2016-09-14 Toshiba Res Europ Ltd 3D image generation
CN101916430B (zh) * 2010-07-13 2011-12-28 武汉大学 基于波段相关性的遥感影像类内局部拟合恢复方法
US8842911B2 (en) * 2011-02-04 2014-09-23 Apple Inc. Luma-based color matching
US9649371B2 (en) * 2011-02-25 2017-05-16 University Of Georgia Research Foundation, Inc. Recombinant mumps virus vaccine
JP2013110701A (ja) * 2011-11-24 2013-06-06 Samsung Yokohama Research Institute Co Ltd 画像処理装置、画像処理方法、およびプログラム
US20140108401A1 (en) * 2012-10-05 2014-04-17 Opera Solutions, Llc System and Method for Adjusting Distributions of Data Using Mixed Integer Programming
CN102930291B (zh) * 2012-10-15 2015-04-08 西安电子科技大学 用于图形图像的k近邻局部搜索遗传自动聚类方法
US9324138B2 (en) * 2013-03-15 2016-04-26 Eric Olsen Global contrast correction
WO2015054666A1 (en) * 2013-10-10 2015-04-16 Board Of Regents, The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multi-classifier ensemble schemes
US10318576B2 (en) * 2013-12-12 2019-06-11 Nant Holdings Ip, Llc Image recognition verification
US9536321B2 (en) * 2014-03-21 2017-01-03 Intel Corporation Apparatus and method for foreground object segmentation
US9349162B1 (en) * 2014-10-24 2016-05-24 Matrox Electronic Systems Ltd. System and method for image color correction
CN104766065B (zh) * 2015-04-14 2018-04-27 中国科学院自动化研究所 基于多视角学习的鲁棒性前景检测方法
CN107209931B (zh) * 2015-05-22 2020-03-10 华为技术有限公司 颜色校正装置和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010016803A (ja) * 2008-06-04 2010-01-21 Toa Corp 複数のカラーカメラ間の色調整装置および方法
JP2012203852A (ja) * 2011-03-28 2012-10-22 Sony Corp 画像処理装置、画像処理方法、及びプログラム
KR101373471B1 (ko) * 2012-10-15 2014-03-13 세종대학교산학협력단 스테레오 영상 보정 장치 및 그 방법

Also Published As

Publication number Publication date
JP2018518735A (ja) 2018-07-12
US10291823B2 (en) 2019-05-14
KR101944208B1 (ko) 2019-01-30
WO2016188549A1 (en) 2016-12-01
US20180054548A1 (en) 2018-02-22
JP6548743B2 (ja) 2019-07-24
EP3272110B1 (en) 2019-07-31
EP3272110A1 (en) 2018-01-24
CN107209931A (zh) 2017-09-26
CN107209931B (zh) 2020-03-10

Similar Documents

Publication Publication Date Title
KR101944208B1 (ko) 색 보정을 위한 장치 및 방법
US9330446B2 (en) Method and apparatus for processing image
JP5980294B2 (ja) データ処理装置、撮像装置、およびデータ処理方法
US8989484B2 (en) Apparatus and method for generating high dynamic range image from which ghost blur is removed using multi-exposure fusion
US9454805B2 (en) Method and apparatus for reducing noise of image
US9147235B2 (en) Method for processing highlights and saturated regions in a digital image
KR20120136813A (ko) 영상 처리 장치 및 방법
JP2012208553A (ja) 画像処理装置、および画像処理方法、並びにプログラム
KR102445762B1 (ko) 이미지 프로세싱 방법 및 디바이스
WO2017096814A1 (zh) 一种图像处理方法及装置
CN115104120A (zh) 将低动态范围图像合并为单幅图像的方法及装置
CN110782400B (zh) 一种自适应的光照均匀实现方法和装置
US7289666B2 (en) Image processing utilizing local color correction and cumulative histograms
US11640654B2 (en) Image processing method and apparatus
JP2004133919A (ja) 擬似３次元画像生成装置および生成方法並びにそのためのプログラムおよび記録媒体
JP6624061B2 (ja) 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体
JP2018160024A (ja) 画像処理装置、画像処理方法及びプログラム
ES2702915T3 (es) Método, sistema y dispositivo para generar imágenes más naturales
JP2015076676A (ja) 画像処理装置、画像処理方法及びプログラム
WO2016111239A1 (ja) 映像処理装置、映像処理方法及びプログラム記録媒体
Bell et al. Image Processing with Stencil Pipelines
KR101073497B1 (ko) 영상 보정 장치 및 그 방법
JP6501732B2 (ja) データ処理装置、撮像装置、およびデータ処理装置の制御方法
KR20200009949A (ko) 객체 검출 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant