KR102332327B1 - 컬러-에지 콘트라스트를 보존하는 이미지 노이즈 제거 시스템 - Google Patents

컬러-에지 콘트라스트를 보존하는 이미지 노이즈 제거 시스템 Download PDF

Info

Publication number
KR102332327B1
KR102332327B1 KR1020170174341A KR20170174341A KR102332327B1 KR 102332327 B1 KR102332327 B1 KR 102332327B1 KR 1020170174341 A KR1020170174341 A KR 1020170174341A KR 20170174341 A KR20170174341 A KR 20170174341A KR 102332327 B1 KR102332327 B1 KR 102332327B1
Authority
KR
South Korea
Prior art keywords
image
pixel
pixel image
rwb
color
Prior art date
Application number
KR1020170174341A
Other languages
English (en)
Other versions
KR20180082315A (ko
Inventor
릴롱 쉬
일리아 오브시안니코브
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20180082315A publication Critical patent/KR20180082315A/ko
Application granted granted Critical
Publication of KR102332327B1 publication Critical patent/KR102332327B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G06T5/009—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

컬러-에지 콘트라스트 보존기는, 디모자이킹 모듈, 컬러-보정 모듈, 컨버터 모듈 및 크로매틱-노이즈 제거 모듈을 포함한다. 상기 디모자이킹 모듈은 이미지의 레드-화이트-블루(RWB) 픽셀 이미지를 디모자이크할 수 있다. 상기 컬러-보정 모듈은 상기 디모자이크된 RWB 픽셀 이미지를 컬러 보정하고, 상기 컬러-보정된 디모자이크된 RWB 픽셀 이미지로부터 레드-그린-블루(RGB) 픽셀 이미지를 생성할 수 있다. 상기 컨버터 모듈은 상기 RGB 픽셀 이미지를 HSV(hue-saturation-value) 픽셀 이미지로 변환하고 유사성 커널(
Figure 112017125993584-pat00063
)을 생성한다. 상기 크로매틱-노이즈 제거 모듈은 상기 유사성 커널(
Figure 112017125993584-pat00064
)을 이용하여 상기 RWB 픽셀 이미지의 레드 픽셀 이미지 및 블루 픽셀 이미지의 노이즈를 제거할 수 있다.

Description

컬러-에지 콘트라스트를 보존하는 이미지 노이즈 제거 시스템{IMAGE DENOISING SYSTEM WITH COLOR EDGE CONTRAST PRESERVING}
본 발명은 이미지 신호 처리에 관한 것으로, 좀 더 구체적으로는 컬러-에지 콘트라스트를 보존하는 이미지 노이즈 제거를 제공하는 장치 및 방법에 관한 것이다.
레드-화이트-블루(Red-White-Blue, RWB) 센서들은 최근에 핸드폰들과 같은 상업용 제품들에 개발되어 사용되고 있다. RWB 센서들은 낮은 광 노이즈(즉, SNR이 약 +3 dB 증가)를 감소시키는 이점을 제공한다. 크로매틱 노이즈 제거(Chromatic Denoising) 또는 투명성 노이즈 제거(Clarity+ Denoising)으로 알려진 노이즈 제거 기술은 RWB 센서의 출력에 사용된다. 이미지 노이즈를 크게 감소시키는 반면, 불행히도 노이즈 제거 기술은 두 개의 서로 다른 컬러들을 가로지르는 에지들을 흐리게 하여 이미지의 컬러-에지 콘트라스트를 감소시킨다. 컬러-스플리터 필터(color-splitter filter)와 같은 광대역 필터들을 사용하는 다른 이미지 센서들도 심각한 문제는 아니지만 비슷한 문제를 나타낼 수 있다.
따라서 본 발명의 목적은 이미지의 컬러-에지 콘트라스트를 보존하는 시스템을 제공하는데 있다.
본 발명의 예시적 실시예는 이미지의 컬러-에지 콘트라스트를 보존하는 시스템을 제공하며, 상기 시스템은 디모자이킹 모듈, 컬러-보정 모듈, 컨버터 모듈 및 크로매틱-노이즈 제거 모듈을 포함한다. 상기 디모자이킹 모듈은 이미지의 레드-화이트-블루(RWB) 픽셀 이미지를 디모자이크할 수 있다. 상기 컬러-보정 모듈은 상기 디모자이크된 RWB 픽셀 이미지를 컬러 보정하고, 상기 컬러-보정된 디모자이크된 RWB 픽셀 이미지로부터 레드-그린-블루(RGB) 픽셀 이미지를 생성할 수 있다. 상기 컨버터 모듈은 상기 RGB 픽셀 이미지를 HSV(hue-saturation-value) 픽셀 이미지로 변환하고 유사성 커널(
Figure 112017125993584-pat00001
)을 생성한다. 상기 크로매틱-노이즈 제거 모듈은 상기 유사성 커널(
Figure 112017125993584-pat00002
)을 이용하여 상기 RWB 픽셀 이미지의 레드 픽셀 이미지 및 블루 픽셀 이미지의 노이즈를 제거한다.
일 실시예에서, 상기 유사성 커널(
Figure 112017125993584-pat00003
)은,
Figure 112017125993584-pat00004
포함할 수 있다.
여기서,
Figure 112017125993584-pat00005
,
Figure 112017125993584-pat00006
,
h1은 크기가 M x M인 유사성 커널의 중심에 있는 픽셀(p1)의 휴 값, 그리고 h2는 M x M 픽셀들 내 픽셀(
Figure 112017125993584-pat00007
)과 이웃하는 임의의 픽셀(p2)의 휴 값이고,
Figure 112017125993584-pat00008
, 여기서,
여기서 s1은 픽셀(p1)의 포화 값이고, s2는 픽셀(p2)의 포화 값이고,
Figure 112017125993584-pat00009
, 여기서,
여기서,v1은 픽셀(p1)의 휘도 값(brightness value)이고, v2는 픽셀(p2)의 휘도 값이다.
예시적 실시예는 이미지의 컬러-에지 콘트라스트를 보존하는 방법을 제공하며, 상기 방법은 이미지의 레드-화이트-블루(RWB) 픽셀 이미지를 디모자이크하는 단계, 상기 디모자이크된 RWB 픽셀 이미지의 컬러 보정에 의해서 레드-그린-블루(RGB) 이미지를 생성하는 단계, 상기 RGB 이미지를 HSV(hue-saturation-value) 이미지로 변환하는 단계, 상기 HSV 이미지로부터 유사성 커널(
Figure 112017125993584-pat00010
)을 생성하는 단계, 및 상기 유사성 커널(
Figure 112017125993584-pat00011
)을 사용하여 상기 RWB 픽셀 이미지의 레드 픽셀 이미지 및 블루 픽셀 이미지를 노이즈 제거하는 단계를 포함할 수 있다.
예시적 실시예는 이미지의 컬러-에지 콘트라스트를 보존하는 시스템을 제공하며, 상기 시스템은 원시-이미지 수신기, 디모자이킹 모듈, 컬러-보정 모듈, 컨버터 모듈 및 크로매틱-노이즈 제거 모듈을 포함한다. 상기 원시-이미지 수신기는 레드-화이트-블루(RWB) 이미지를 수신할 수 있다. 상기 디모자이킹 모듈은 상기 이미지의 레드-화이트-블루(RWB) 픽셀 이미지를 디모자이크할 수 있다. 상기 컬러-보정 모듈은 상기 디모자이크된 RWB 픽셀 이미지를 컬러 보정하고, 상기 컬러-보정된 디모자이크된 RWB 픽셀 이미지로부터 레드-그린-블루(RGB) 픽셀 이미지를 생성할 수 있다. 상기 컨버터 모듈은 상기 RGB 픽셀 이미지를 HSV(hue-saturation-value) 픽셀 이미지로 변환하고 유사성 커널(
Figure 112017125993584-pat00012
)을 생성할 수 다. 상기 크로매틱-노이즈 제거 모듈은 상기 유사성 커널(
Figure 112017125993584-pat00013
)을 이용하여 상기 RWB 픽셀 이미지의 레드 픽셀 이미지 및 블루 픽셀 이미지의 노이즈를 제거할 수 있다.
이와 같은 구성을 갖는 시스템은 이미지의 컬러-콘트라스트를 보존하면서 RWB 픽셀 이미지의 노이즈를 제거할 수 있다.
본 명세서에 개시된 주제의 양태들은 도면에 도시된 예시적인 실시예를 참조하여 설명될 것이다.
도 1은 종래의 크로매틱-노이즈 제거 모듈을 포함하는 이미지 신호 프로세서의 일부의 기능적 블록도를 도시한다.
도 2는 본 명세서에 개시된 주제에 따른 크로매틱-노이즈 제거 모듈 및 컬러-콘트라스트 보존 모듈을 포함하는 이미지 신호 프로세서의 일부분의 기능 블록도를 도시한다.
도 3은 본 명세서에 개시된 주제에 따른 컬러-콘트라스트를 보존하면서 RWB 픽셀 이미지를 노이즈 제거하는 방법의 예시적인 실시예의 플로우차트를 도시한다.
도 4는 본 명세서에 개시된 주제에 따른 컬러-에지 콘트라스트 보존을 갖는 이미지 노이즈 제거기를 포함하는 하나 이상의 집적 회로들(칩들)을 포함하는 전자 장치를 도시한다.
이하 상세한 설명에서, 본 발명의 완전한 이해를 제공하기 위해 수많은 특정 세부 사항들이 설명된다. 그러나, 당업자는 개시된 양태들이 이러한 특정 세부 사항들 없이 실시될 수 있음을 이해할 것이다. 다른 예들에서, 공지된 방법들, 절차들, 구성 요소들 및 회로들은 여기에 개시된 주제를 모호하게 하지 않기 위해 상세하게 설명되지 않았다.
본 명세서 전체에 걸쳐 "일 실시예" 또는 "실시예"는 본 실시예와 관련하여 기술된 특정 특징, 구조 또는 특성이 본 명세서에 개시된 적어도 하나의 실시예에 포함될 수 있다는 것을 의미한다. 따라서, 본 명세서 전체의 다양한 곳에서 "일 실시예에서" 또는 "실시예에서" 또는 "일 실시예에 따라" (또는 유사한 의미를 갖는 다른 표현들)의 표현은 반드시 모두 동일한 실시예를 지칭하지는 않는다. 또한, 특정한 특징들, 구조들 또는 특성들은 하나 이상의 실시예들에서 임의의 적절한 방식으로 결합될 수 있다. 이와 관련하여, 본 명세서에 사용된 바와 같이, "예시적인"이라는 단어는 "예시, 실례 또는 예시를 제공함"을 의미한다. "예시적인" 것으로 여기에서 설명된 임의의 실시예는 반드시 다른 실시예에 비해 바람직하거나 유리한 것으로 해석되어서는 안된다. 또한, 본 명세서의 논의 내용에 따라, 단수는 상응하는 복수의 형태를 포함할 수 있고, 복수의 용어는 상응하는 단수 형태를 포함할 수 있다. 또한, 여기에 도시되고 논의된 다양한 도면들(구성 요소도 포함)은 단지 예시적인 목적을 위한 것이며, 실제 척도(scale)로 그려진 것은 아니라는 점에 유의해야 한다. 마찬가지로, 다양한 파형들 및 타이밍도들이 단지 예시적인 목적을 위해 도시된다. 예를 들어, 일부 요소들의 치수는 명확성을 위해 다른 요소에 비해 과장될 수 있다. 또한, 적절한 것으로 고려되는 경우, 참조 부호들은 대응하는 및/또는 유사한 요소를 나타내기 위해 도면들 사이에서 반복되었다.
본 명세서에서 사용된 용어는 특정 예시적인 실시예를 설명하기 위한 것이지 청구된 주제를 제한하려는 것이 아니다. 본 명세서에서 사용된 단수 형태 및 "상기"는 문맥상 다르게 지시하지 않는 한 복수 형태를 포함하고자 한다. 본 명세서에서 사용되는 "포함하는" 및/또는 "구비하는"이라는 용어는 명시된 특징들, 정수들, 단계들, 동작들, 구성 요소들 및/또는 구성 요소의 존재를 나타내지만, 존재를 배제하지는 않는다는 것이 더 이해될 것이다. 또는 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 구성 요소들 및/또는 그룹들의 추가를 포함할 수 있다. 여기에 사용된 "제1", "제2"등의 용어는 앞에 명시된 명사의 레이블로 사용되며 명시적으로 정의되지 않은 한 모든 유형의 순서(예를 들어, 공간적, 일시적, 논리적 등)를 암시하지 않는다. 또한, 동일하거나 유사한 기능을 갖는 부품들, 요소들, 블록들, 회로들, 유닛들 또는 모듈들을 지칭하기 위해 두 개 이상의 도면들에 걸쳐 동일한 참조 번호가 사용될 수 있다. 그러나, 이러한 사용법은 설명의 단순화 및 논의의 용이함을 위해서만 사용된다. 그러한 구성 요소들 또는 유닛들의 구성 또는 구조적 세부 사항들이 모든 실시 예에서 동일하다거나 또는 공통으로 참조된 부품들/모듈들이 본 명세서에 개시된 특정 실시예의 교시를 구현하는 유일한 방법이라는 것을 의미하지는 않는다.
다르게 정의되지 않는 한, 본 명세서에서 사용된 모든 용어들(기술 및 과학 용어들 포함)은 이 주제가 속하는 기술 분야의 당업자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 예를 들어, 본 명세서에서 사용된 "mod"라는 용어는 "모듈로(modulo)"를 의미한다. 일반적으로 사용되는 사전들에 정의된 것과 같은 용어들은 관련 분야의 상황에서 그 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 이상적으로 또는 과도하게 형식적으로 해석되어서는 안 된다.
본 명세서에 사용된 "모듈(module)"이라는 용어는 모듈과 관련하여 본 명세서에 기술된 기능을 제공하도록 구성된 소프트웨어, 펌웨어 및/또는 하드웨어의 임의의 조합을 지칭한다. 여기에 설명된 임의의 구현 예에 적용되는 바와 같이, "소프트웨어"라는 용어는 소프트웨어 패키지, 코드 및/또는 명령 세트 또는 명령들로서 구현될 수 있다. 본 명세서에 기술된 임의의 구현예에 적용되는 "하드웨어"라는 용어는 예를 들어, 단일 회로 또는 임의의 조합으로, 배선 회로, 프로그램 가능 회로, 상태-머신 회로 및/또는 프로그램 가능 회로에 의해 실행되는 명령을 저장하는 펌웨어를 포함할 수 있다. 모듈들은 집합적으로 또는 개별적으로, 집적 회로(IC), 시스템 온-칩(SoC) 등과 같은 더 큰 시스템의 일부를 형성하는 소프트웨어, 펌웨어 및/또는 하드웨어로서 구현 될 수 있으나, 이에 제한되지 않는다.
본 명세서에 개시된 주제는 RWB 및 다른 광대역 이미지 센서들에 대한 컬러-에지-보존 노이즈 제거 기술을 제공한다. 즉, 본 명세서에 개시된 주제는 노이즈를 제거하면서 컬러-에지 콘트라스트를 보존한다(어떤 경우에는 향상시킨다). 일 실시예에서, 컬러-에지-보존 노이즈 제거의 파라미터들은 컬러 에지 콘트라스트 및 노이즈 레벨의 정도를 제어하도록 조정될 수 있다.
도 1은 종래의 크로매틱-노이즈 제거 모듈(102)을 포함하는 이미지 신호 프로세서(image signal processor, ISP)(100)의 일부의 기능적 블록도를 도시한다. 도 1에 도시된 바와 같이, RWB 이미지 센서(101)는 이미지를 센싱하고, 원시 RWB 픽셀 이미지(110)를 출력한다. RWB 픽셀 이미지(110)는 이미지 전처리 모듈(102)에 의해 수신된다. 이미지 전처리 모듈(102)은 불량 픽셀 보정, 화이트 밸런스(white-balance) 등과 같은 몇몇 전처리를 제공하지만, 디모자이킹(demosaicing)은 아직 적용되지 않았으므로 각 픽셀은 단일 색상을 포함한다. 이미지 전처리 모듈(102)은 RWB 픽셀 이미지(110)를 레드 픽셀 이미지(110R), 블루 픽셀 이미지(110B) 및 화이트 픽셀 이미지(110W)로 분리한다. 화이트 픽셀 이미지(110W)는 재구성 및 디모자이킹되며, 루마 채널(Luma channel, Y)로 불리울 수도 있다.
레드 픽셀 이미지(110R), 블루 픽셀 이미지(110B) 및 화이트 픽셀 이미지(110W)는 종래의 크로매틱-노이즈 제거 모듈(103)에 의해 수신된다. 레드 픽셀 이미지(110R) 및 블루 픽셀 이미지(110B) 모두에서 재구성된 화이트 채널(W)을 감산해서 레드 픽셀 이미지(111R) 및 블루 픽셀 이미지(111B)를 각각 형성한다. NLM(non-local means) 처리는 재구성된 화이트 채널(W)를 사용하여 레드 픽셀 이미지(111R) 및 블루 픽셀 이미지(111B) 모두의 노이즈를 제거(denoise)하여 각각 레드 채널(112R) 및 블루 채널(112B)을 형성한다. 재구성된 화이트 채널(W)은 레드 채널(112R) 및 블루 채널(112B)에 모두 더해져서 각각 레드 채널(113R) 및 블루 채널(113B)을 형성한다. 레드 채널(113R) 및 블루 채널(113B) 모두는 재구성된 백색 채널(W)을 사용하여 모두 디모자이크되고(demosaiced), 색채적으로 노이즈 제거된(chromatically denoised) 레드 채널(114R) 및 색채적으로 노이즈 제거된 블루 채널(114B)을 각각 형성한다. 그 다음, 재구성된 화이트 채널(W)은 색채적으로 노이즈 제거된 RWB 픽셀 이미지(115)를 형성하는데 사용된다. 종래의 크로매틱-노이즈 제거 모듈(103)은 상당한 양의 노이즈를 제거하지만, 두 개의 다른 색상들에 걸친 에지들을 모호하게 해서 이미지의 컬러-에지 콘트라스트가 감소된다.
도 2는 본 명세서에 개시된 주제에 따른 크로매틱-노이즈 제거 모듈(203) 및 컬러-콘트라스트 보존 모듈(204)을 갖는 ISP(200)의 일부의 기능 블록도를 도시한다. 이미지 전처리 모듈(202), 크로매틱-노이즈 제거 모듈(203) 및 컬러-콘트라스트 보존 모듈(204)은 집합적으로 또는 개별적으로 IC, SoC 등과 같은 큰 시스템의 일부를 형성하는 소프트웨어, 펌웨어 및/또는 하드웨어로서 구현될 수 있으나, 이에 한정되지 않는다. 도 3은 본 명세서에 개시된 주제에 따라 컬러-콘트라스트를 보존하면서 RWB 픽셀 이미지의 노이즈를 제거하는 방법(300)의 예시적인 실시예의 플로우차트를 도시한다.
도 2에 도시된 바와 같이, RWB 이미지 센서(201)는 이미지를 센싱하여 원시(미처리된) RWB 픽셀 이미지(210)를 출력한다. RWB 픽셀 이미지(210)는 이미지 전처리 모듈(202)에 의해 수신된다. 이미지 전처리 모듈(202)은 배드-픽셀 보정, 화이트 밸런스(white-balance) 등과 같은 몇몇 전처리를 제공할 수 있으나, 디모자이킹(demosaicing)은 아직 적용되지 않았으므로 각 픽셀은 단일 색상을 포함한다. 이미지 전처리 모듈(202)은 RWB 픽셀 이미지(210)를 레드 픽셀 이미지(210R), 블루 픽셀 이미지(210B) 및 화이트 픽셀 이미지(210W)로 분리한다. 도 3의 단계 301에서, 본 명세서에 개시된 컬러-에지 콘트라스트 보존 프로세스로 이미지 노이즈 제거가 개시된다. 도 3의 단계 302에서, 화이트 픽셀 이미지(210W)는 재구성 되고 단계 303에서 디모자이크된다. 또한 재구성된 화이트 픽셀 이미지(210W)는 루마 채널(Luma channel, Y)로 불리울 수 있다.
단계 304에서, 재구성 및 디모자이크된 화이트 채널(W)은 RGB 컬러-콘트라스트 보존 모듈(204)에 의해 컬러 보정되어서 RGB 픽셀 이미지(220)를 형성한다. 단계 305에서, RGB 픽셀 이미지(220)는 RGB 컬러 공간으로부터 변환되어서 HSV(hue-saturation-value) 픽셀 이미지(221)가 된다. 단계 306에서, HSV 픽셀 이미지는 유사성 커널(similarity kernel,
Figure 112017125993584-pat00014
)을 결정하는데 사용된다. 유사성 커널(
Figure 112017125993584-pat00015
)은 크로매틱 노이즈 제거동안 NLM 프로세스에서 재구성된 화이트 채널 대신에 크로매틱-노이즈 제거 모듈(202)에 의해 사용될 수 있다.
일 실시예에서, 유사성 커널(
Figure 112017125993584-pat00016
)은 다음 수학식 1과 같이 결정된다.
Figure 112017125993584-pat00017
Figure 112017125993584-pat00018
Figure 112017125993584-pat00019
은 크기가 M x M인 유사성 커널의 중심에 있는 픽셀(
Figure 112017125993584-pat00020
)의 휴(hue) 값, 그리고
Figure 112017125993584-pat00021
는 M x M 픽셀들 내 픽셀(
Figure 112017125993584-pat00022
)과 이웃하는 임의의 픽셀(
Figure 112017125993584-pat00023
)의 휴 값이고,
Figure 112017125993584-pat00024
,
여기서 s1은 픽셀(p1)의 포화 값이고, s2는 픽셀(p2)의 포화 값이이다.
Figure 112017125993584-pat00025
.
여기서, v1은 픽셀(p1)의 휘도 값(brightness value)이고, v2는 픽셀(p2)의 휘도 값이다. 정의에 의해
Figure 112017125993584-pat00026
가 음수가 아니므로
Figure 112017125993584-pat00027
의 절대값을 취할 필요가 없다는 것에 유의해야 한다.
[수학식 1]에 의해 나타난 바와 같이, 변수들
Figure 112017125993584-pat00028
및
Figure 112017125993584-pat00029
는
Figure 112017125993584-pat00030
제약에 의해 선형적으로 관련된다. 계수들
Figure 112017125993584-pat00031
및
Figure 112017125993584-pat00032
에 대한 값들을 간단히 정할 수 있는 두 가지 일반적인 경우들이 있다. 첫 번째 경우는,
Figure 112017125993584-pat00033
및
Figure 112017125993584-pat00034
이다. 이 경우에서, 컬러 에지들은 보존되고 일반적으로 사용된다. 두 번째 경우는,
Figure 112017125993584-pat00035
및
Figure 112017125993584-pat00036
이다. 이 경우에서, 컬러 에지 보존이 디세이블되어 로-라이팅(low-lighting) 상황에서 사용될 것이다.
다시 도 2를 참조하면, 레드 픽셀 이미지(210R), 블루 픽셀 이미지(210B) 및 화이트 픽셀 이미지(210W)는 크로매틱-노이즈 제거 모듈(203)에 의해 수신된다. 도 3의 단계 307에서, 크로매틱-노이즈 제거 모듈(203)은 레드 픽셀 이미지(210R)와 블루 픽셀 이미지(210B) 모두에서 백색 채널(W)을 감산하여 레드 픽셀 이미지(211R')와 블루 픽셀 이미지(211B')를 각각 형성한다. 단계 308에서, NLM 프로세스는 레드 픽셀 이미지(211R') 및 블루 픽셀 이미지(211B') 모두의 노이즈를 제거하기 위해 사용하는 유사성 커널(
Figure 112017125993584-pat00037
)을 사용하여 레드 채널(211R') 및 블루 채널(211B')을 각각 형성한다. 단계 309에서, 재구성된 화이트 채널(W)은 레드 채널(211R') 및 블루 채널(211B') 모두에 가산되어 각각 레드 채널 (211R") 및 블루 채널(211B")을 형성한다. 레드 채널(211R") 및 블루 채널(211B") 모두는 재구성된 백색 채널(W)을 사용하여 디모자이크되어 색채적으로 노이즈 제거된(chromatically denoised) 레드 채널(211R") 및 색채적으로 노이즈 제거된 블루 채널(211B")을 각각 형성한다. 단계 310에서, 재구성된 화이트 채널(W)은 색채적으로 노이즈 제거된 RWB″ 픽셀 이미지(215)를 출력하는데 사용된다. 프로세스는 단계 311에서 종료된다.
도 4는 본 명세서에 개시된 주제에 따른 컬러-에지 콘트라스트 보존을 갖는 이미지 노이즈 제거기(denoiser)를 포함하는 하나 이상의 집적 회로들(칩들)을 포함하는 전자 장치(400)를 도시한다. 전자 장치(400)는 컴퓨팅 장치, PDA(personal digital assistant), 랩톱 컴퓨터, 모바일 컴퓨터, 웹 태블릿, 무선 전화, 셀 폰, 스마트 폰, 디지털 음악 플레이어, 또는 유선 또는 무선 전자 장치에 사용될 수 있으나 이에 한정되지 않는다. 전자 장치(400)는 버스(450)를 통해 상호 연결되는 컨트롤러(410), 키패드, 키보드, 디스플레이, 터치-스크린 디스플레이, 카메라 및/또는 이미지 센서와 같은, 그러나 이에 한정되지 않는, 입/출력 장치(420), 메모리(430) 및 인터페이스(440)를 포함한다. 컨트롤러(410)는 예를 들어, 적어도 하나의 마이크로 프로세서, 적어도 하나의 디지털 신호 처리, 적어도 하나의 마이크로 컨트롤러 등을 포함할 수 있다. 메모리(430)는 컨트롤러(410)에 의해 사용되는 명령 코드 또는 사용자 데이터를 저장하도록 구성될 수 있다. 전자 장치(400) 및 전자 장치(400)를 포함하는 다양한 시스템 구성 요소들은 본 명세서에 개시된 주제에 따른 컬러-에지 콘트라스트 보존을 갖는 이미지 노이즈 제거기를 포함할 수 있다. 인터페이스(440)는 RF 신호를 사용하여 무선 통신 네트워크에 데이터를 송신하거나 무선 통신 네트워크로부터 데이터를 수신하도록 구성된 무선 인터페이스를 포함하도록 구성될 수 있다. 무선 인터페이스(440)는 예를 들어, 안테나, 무선 송수신기 등을 포함할 수 있다. 전자 장치(400)는 또한 CDMA(Code Division Multiple Access), GSM(Global System for Mobile Communications), NADC(North American Digital Communications), E TDMA(Extended Time Division Multiple Access), WCDMA(Wideband CDMA), CDMA2000, Wi-Fi, Municipal Wi-Fi(Muni Wi-Fi), Bluetooth, DECT(Digital Enhanced Cordless Telecommunications), Wireless USB(Wireless Universal Serial Bus), Flash OFDM(Fast low-latency access with seamless handoff Orthogonal Frequency Division Multiplexing), IEEE 802.20, GPRS(General Packet Radio Service), iBurst, WiBro(Wireless Broadband), WiMAX, WiMAX-Advanced, UMTS-TDD(Universal Mobile Telecommunication Service - Time Division Duplex), HSPA(High Speed Packet Access), EVDO(Evolution Data Optimized), LTE-Advanced(Long Term Evolution-Advanced), MMDS(Multichannel Multipoint Distribution Service) 등과 같은 통신 시스템의 통신 인터페이스 프로토콜에 사용될 수 있지만 이에 한정되지 않는다.
당업자가 인식할 수 있는 바와 같이, 본 명세서에 설명된 혁신적인 개념들은 광범위한 응용 분야들에 걸쳐 변형되고 변경될 수 있다. 따라서, 청구된 주제의 범위는 상술한 임의의 특정 예시적인 교시들에 제한되어서는 안되며, 다음의 청구 범위에 의해 정의된다.
100, 200: 이미지 신호 프로세서
101, 201: RWB 이미지 센서
102, 202: 이미지 전처리 모듈
103, 203: 크로매틱-노이즈 제거 모듈
110, 210: 원시 RWB 픽셀 이미지

Claims (10)

  1. 이미지의 컬러-에지 콘트라스트를 보존하는 시스템에 있어서:
    이미지의 레드-화이트-블루(RWB) 픽셀 이미지를 디모자이크하는 디모자이킹 모듈;
    상기 디모자이크된 RWB 픽셀 이미지를 컬러 보정하고, 상기 컬러-보정된 디모자이크된 RWB 픽셀 이미지로부터 레드-그린-블루(RGB) 픽셀 이미지를 생성하는 컬러-보정 모듈;
    상기 RGB 픽셀 이미지를 HSV(hue-saturation-value) 픽셀 이미지로 변환하고 유사성 커널(△Y)을 생성하는 컨버터 모듈; 및
    상기 유사성 커널(△Y)을 이용하여 상기 RWB 픽셀 이미지의 레드 픽셀 이미지 및 블루 픽셀 이미지의 노이즈를 제거하는 크로매틱-노이즈 제거 모듈을 포함하되,
    상기 유사성 커널(△Y)은,
    Figure 112020125216711-pat00069
    을 포함하고, 여기서,
    Figure 112020125216711-pat00070
    ,
    Figure 112020125216711-pat00071
    ,
    h1은 크기가 M x M인 상기 유사성 커널의 중심에 있는 픽셀(p1)의 휴(hue) 값, 그리고 h2는 M x M 픽셀들 내 상기 픽셀(p1)과 이웃하는 임의의 픽셀(p2)의 휴 값이고,
    Figure 112020125216711-pat00072
    ,
    여기서 s1은 상기 픽셀(p1)의 포화 값이고, s2는 상기 픽셀(p2)의 포화 값이고,
    Figure 112020125216711-pat00073
    , 여기서,
    v1는 상기 픽셀(p1)의 휘도 값(brightness value)이고, v2는 상기 픽셀(p2)의 휘도 값인 시스템.
  2. 제 1 항에 있어서,
    Figure 112020125216711-pat00074
    및
    Figure 112020125216711-pat00075
    인 시스템.
  3. 제 1 항에 있어서,
    Figure 112020125216711-pat00076
    및
    Figure 112020125216711-pat00077
    인 시스템.
  4. 제 1 항에 있어서,
    Figure 112020125216711-pat00078
    <0.3이면,
    Figure 112020125216711-pat00079
    및
    Figure 112020125216711-pat00080
    인 시스템.
  5. 제 1 항에 있어서,
    상기 크로매틱-노이즈 제거 모듈은 상기 이미지의 RWB 픽셀 이미지로부터 재구성된 화이트(W) 채널을 더 형성하고, 레드(R′) 채널 및 블루(B′) 채널을 형성하는 시스템.
  6. 제 1 항에 있어서,
    상기 크로매틱-노이즈 제거 모듈은 NLM(non-local means) 기술을 사용하여 상기 유사성 커널(△Y)을 갖는 상기 RWB 픽셀 이미지의 상기 레드 픽셀 이미지 및 상기 블루 픽셀 이미지의 노이즈를 제거하는 시스템.
  7. 제 1 항에 있어서,
    상기 시스템은 카메라의 일부인 시스템.
  8. 제 1 항에 있어서,
    상기 시스템은 스마트폰의 일부인 시스템.
  9. 이미지의 컬러-에지 콘트라스트를 보존하는 방법에 있어서:
    상기 이미지의 레드-화이트-블루(RWB) 픽셀 이미지를 디모자이크하는 단계;
    상기 디모자이크된 RWB 픽셀 이미지의 컬러 보정에 의해서 레드-그린-블루(RGB) 이미지를 생성하는 단계;
    상기 RGB 이미지를 HSV(hue-saturation-value) 이미지로 변환하는 단계;
    상기 HSV 이미지로부터 유사성 커널(△Y)을 생성하는 단계; 및
    상기 유사성 커널(△Y)을 사용하여 상기 RWB 픽셀 이미지의 레드 픽셀 이미지 및 블루 픽셀 이미지를 노이즈 제거하는 단계를 포함하되,
    상기 유사성 커널(△Y)은,
    Figure 112020125216711-pat00081
    을 포함하고, 여기서,
    Figure 112020125216711-pat00082
    ,
    Figure 112020125216711-pat00083
    ,
    h1은 크기가 M x M인 상기 유사성 커널의 중심에 있는 픽셀(p1)의 휴(hue) 값, 그리고 h2는 M x M 픽셀들 내 상기 픽셀(p1)과 이웃하는 임의의 픽셀(p2)의 휴 값이고,
    Figure 112020125216711-pat00084
    ,
    여기서 s1은 상기 픽셀(p1)의 포화 값이고, s2는 상기 픽셀(p2)의 포화 값이고,
    Figure 112020125216711-pat00085
    , 여기서,
    v1는 상기 픽셀(p1)의 휘도 값(brightness value)이고, v2는 상기 픽셀(p2)의 휘도 값인 방법.
  10. 제 9 항에 있어서,
    Figure 112020125216711-pat00086
    및
    Figure 112020125216711-pat00087
    인 방법.
KR1020170174341A 2017-01-09 2017-12-18 컬러-에지 콘트라스트를 보존하는 이미지 노이즈 제거 시스템 KR102332327B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762444359P 2017-01-09 2017-01-09
US62/444,359 2017-01-09
US15/458,020 US10262399B2 (en) 2017-01-09 2017-03-13 Image denoising with color-edge contrast preserving
US15/458,020 2017-03-13

Publications (2)

Publication Number Publication Date
KR20180082315A KR20180082315A (ko) 2018-07-18
KR102332327B1 true KR102332327B1 (ko) 2021-11-29

Family

ID=62783314

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170174341A KR102332327B1 (ko) 2017-01-09 2017-12-18 컬러-에지 콘트라스트를 보존하는 이미지 노이즈 제거 시스템

Country Status (3)

Country Link
US (1) US10262399B2 (ko)
KR (1) KR102332327B1 (ko)
CN (1) CN108288254A (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559286B (zh) * 2018-11-19 2022-12-06 电子科技大学 一种方差梯度约束法红外图像边缘保持去噪方法
EP3891693A1 (en) * 2018-12-21 2021-10-13 Huawei Technologies Co., Ltd. Image processor
KR20200116763A (ko) 2019-04-02 2020-10-13 삼성전자주식회사 키-밸류 커플링을 이용한 유사성 처리 방법 및 장치
US11301974B2 (en) * 2019-05-27 2022-04-12 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image capturing apparatus, and storage medium
KR20210017460A (ko) 2019-08-08 2021-02-17 에스케이하이닉스 주식회사 이미지 센서, 이미지 신호 프로세서 및 이들을 포함하는 이미지 처리 시스템
DE102021109047A1 (de) * 2020-04-16 2021-10-21 Panasonic Intellectual Property Management Co., Ltd. Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungssystem
KR20220010285A (ko) * 2020-07-17 2022-01-25 에스케이하이닉스 주식회사 디모자익 동작 회로, 이미지 센싱 장치 및 그 동작방법
US20230035482A1 (en) * 2021-07-15 2023-02-02 Samsung Electronics Co., Ltd. Apparatus and method for combined intraband and interband multi-frame demosaicing
US20230034109A1 (en) * 2021-07-15 2023-02-02 Samsung Electronics Co., Ltd. Apparatus and method for interband denoising and sharpening of images
CN114511469B (zh) * 2022-04-06 2022-06-21 江苏游隼微电子有限公司 一种图像智能降噪先验检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090285480A1 (en) 2008-05-15 2009-11-19 Microsoft Corporation Multi-channel edge-aware chrominance noise reduction

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009147535A1 (en) * 2008-06-06 2009-12-10 Tessera Technologies Hungary Kft. Techniques for reducing noise while preserving contrast in an image
KR101563348B1 (ko) * 2008-10-07 2015-10-27 삼성전자 주식회사 영상의 노이즈를 저감하는 영상 처리 장치 및 방법
ITVI20110243A1 (it) 2011-09-09 2013-03-10 Stmicroelectronics Grenoble 2 Riduzione di rumore croma di una immagine
US9191635B2 (en) * 2012-03-19 2015-11-17 Semiconductor Components Industries, Llc Imaging systems with clear filter pixels
CN102663719B (zh) * 2012-03-19 2014-06-04 西安电子科技大学 基于非局部均值的Bayer型CFA图像去马赛克方法
CN105993169B (zh) * 2014-09-15 2019-07-26 深圳市大疆创新科技有限公司 用于图像去马赛克的系统及方法
US9576346B2 (en) 2015-03-24 2017-02-21 Intel Corporation Non-local means image denoising with an adaptive directional spatial filter
US9793306B2 (en) 2015-04-08 2017-10-17 Semiconductor Components Industries, Llc Imaging systems with stacked photodiodes and chroma-luma de-noising

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090285480A1 (en) 2008-05-15 2009-11-19 Microsoft Corporation Multi-channel edge-aware chrominance noise reduction

Also Published As

Publication number Publication date
US20180197277A1 (en) 2018-07-12
CN108288254A (zh) 2018-07-17
KR20180082315A (ko) 2018-07-18
US10262399B2 (en) 2019-04-16

Similar Documents

Publication Publication Date Title
KR102332327B1 (ko) 컬러-에지 콘트라스트를 보존하는 이미지 노이즈 제거 시스템
US9392236B2 (en) Image processing method, image signal processor, and image processing system including the same
US10136110B2 (en) Low-light image quality enhancement method for image processing device and method of operating image processing system performing the method
EP2642757B1 (en) Imaging systems with clear filter pixels
KR100585004B1 (ko) 이미지센서의 디지털 신호 처리 장치
US20150093027A1 (en) Image processing apparatus and image processing method
US7756355B2 (en) Method and apparatus providing adaptive noise suppression
WO2014174347A1 (en) Image processing method and apparatus and electronic device
US20110187891A1 (en) Methods and Systems for Automatic White Balance
US20140321739A1 (en) Image processing method and apparatus and electronic device
US20210185285A1 (en) Image processing method and apparatus, electronic device, and readable storage medium
CN111161188A (zh) 一种降低图像色彩噪声的方法、计算机装置及计算机可读存储介质
US8559747B2 (en) Image processing apparatus, image processing method, and camera module
KR20210053377A (ko) 이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법
CN111861964A (zh) 图像处理方法、装置和存储介质
US20140037207A1 (en) System and a method of adaptively suppressing false-color artifacts
CN111724448A (zh) 一种图像超分辨重建方法、装置和终端设备
US9928575B2 (en) Method and system for processing a multi-channel image
US9767543B2 (en) Method and apparatus for enhancing images via white pop-out
CN111738950A (zh) 图像处理方法及装置
US9113025B2 (en) Image signal processor circuits and methods for correcting crosstalk artifacts
US8929652B2 (en) Method and apparatus for processing image
US20210297558A1 (en) Cubiform method
JP2015508602A (ja) 画像表示方法及び装置
KR100610485B1 (ko) 이미지센서의 허위 색 억압 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant