KR100993153B1 - 고급 색도 강화 - Google Patents

고급 색도 강화 Download PDF

Info

Publication number
KR100993153B1
KR100993153B1 KR1020067000676A KR20067000676A KR100993153B1 KR 100993153 B1 KR100993153 B1 KR 100993153B1 KR 1020067000676 A KR1020067000676 A KR 1020067000676A KR 20067000676 A KR20067000676 A KR 20067000676A KR 100993153 B1 KR100993153 B1 KR 100993153B1
Authority
KR
South Korea
Prior art keywords
matrices
calculated
delete delete
color
chroma
Prior art date
Application number
KR1020067000676A
Other languages
English (en)
Other versions
KR20070026286A (ko
Inventor
친촨 에이 치우
샤오윈 장
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20070026286A publication Critical patent/KR20070026286A/ko
Application granted granted Critical
Publication of KR100993153B1 publication Critical patent/KR100993153B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)

Abstract

컬러 성능을 개선하기 위해, 선호도 컬러를 강화시키는 것 뿐만 아니라, 재생 컬러와 사람의 지각 반응 간의 컬러 차를 감소시킴으로써 색도 정확도를 개선하기 위한 고급 방법이 개시된다. 복수의 색도 강화 매트릭스 (CEM) 중 하나를 선택하고 이를 색도 강화 매트릭스 (또는 CEM을 포함하는 매트릭스) 와 곱함으로써 수신된 컬러를 변환함에 따라 색도 강화가 수행될 수도 있다. 매트릭스는 수신된 컬러값을 영역에 매핑하고 대응하는 색도 강화 매트릭스 (또는 대안적으로, 컬러 변환이 수행될 수도 있는 대응하는 파라미터) 를 선택함으로써 선택될 수도 있다. 또한, 다양한 환경 또는 선호도에 대해 강화가 조정될 수도 있다. 예를 들어, 복수의 매트릭스 세트 중 하나는 원하는 모드에 따라 선택될 수도 있다. 하나 이상의 모드에 대한 원하는 색도 강화 매트릭스를 결정하기 위한 최적화 기술이 개시된다. 또한, 다양한 또 다른 실시형태 및 양태가 개시된다.
Figure R1020067000676
색도 강화 매트릭스, 컬러 변환, 포맷

Description

고급 색도 강화{ADVANCED CHROMA ENHANCEMENT}
35 U.S.C. §119 조 하의 우선권 주장
본 특허 출원은 본 명세서에 참조로 명백하게 통합되고 본 발명의 양수인에게 양도된, 2004년 6월 10일 출원된 "CDMA 통신 시스템에서 액세스 지연을 감소시키는 시스템 및 방법" 이라는 명칭의 미국 가출원 제 60/579,113 호에 대한 우선권을 주장한다.
배경
분야
본 발명은 일반적으로 통신에 관한 것으로, 더욱 구체적으로는, 고급 (advanced) 색도 강화에 관한 것이다.
배경
디지털 카메라가 당업계에 널리 공지되어 있고 광범위하게 사용되고 있다. 사람의 눈의 스펙트럼 응답과 카메라 센서 및/또는 디스플레이의 스펙트럼 응답 사이의 차이로 인해, 카메라에 의해 얻어진 컬러는 사람에 의해 인지된 컬러와 상이할 수도 있다. 또한, 다양한 컬러 포맷 사이에서 이미지 데이터를 변환하고, 오리지널 캡처 이미지에 대한 다양한 강화 및 변경을 수행하는 이미지 프로세싱 기술이 공지되어 있다. 다양한 디스플레이에 출력될 때 오리지널 소스 이미지를 더 양호하게 표현하기 위해 이미지를 표준화하는 컬러 변환 기술이 공지되어 있다. 적색, 청색, 녹색 (RGB) 컬러 공간을 컴포넌트 컬러 공간 (YCbCr) 로 변환하는 컬러 변환 매트릭스가 공지되어 있다. 그러나, 공지된 기술은 컬러 변환에 대한 그들의 플렉시빌리티 (flexibility) 에서 제한된다. 또한, 사용자 선호도 뿐만 아니라 (조명 상태와 같은) 상이한 환경을 보상하기 위해 컬러 변환을 변경시키는 것이 바람직하다. 따라서, 강화된 컬러 변환을 위한 더욱 플렉시블한 컬러 변환용 고급 색도 강화 및 환경 상태와 사용자 선호도에 적합한 고급 색도 강화가 필요하다.
요약
일 양태에 따라, 복수의 매트릭스를 생성하는 수단, 및 컬러에 응답하여 선택되는 복수의 매트릭스 중 하나에 따라 컬러의 색도 강화를 위한 수단을 포함하는 장치를 설명한다.
또 다른 양태에 따라, 제 1의 복수의 매트릭스를 저장하는 메모리로서, 매트릭스 각각은 하나 이상의 좌표 세트와 관련되는, 상기 메모리, 및 2 이상의 좌표값을 포함하는 하나 이상의 좌표 세트를 포함하는 제 1 컬러 포맷의 컬러값을 수신하고, 제 1의 복수의 매트릭스중 하나를 선택하며, 수신된 컬러값을 선택된 매트릭스를 사용하여 제 2 컬러 포맷으로 변환하는 프로세서를 포함하는 장치를 설명하며, 상기 선택된 매트릭스는 수신된 컬러값의 좌표와 관련된다.
또 다른 양태에 따라, 복수의 값을 포함하는 제 1 포맷의 컬러를 수신하고 제 1 포맷의 컬러의 하나 이상의 복수의 값에 따라 복수의 제 1 매트릭스중 하나를 선택하는 선택기, 및 제 1 포맷의 컬러에 선택된 제 1 매트릭스를 포함하는 제 2 변환 매트릭스를 곱하여 제 2 포맷의 컬러를 형성하는 곱셈기를 포함하는 장치를 설명한다.
또 다른 양태에 따라, 제 1 및 제 2 좌표값을 포함하는 제 1 포맷의 컬러를 수신하는 단계, 제 1 및 제 2 좌표값에 따라 복수의 서브매트릭스로부터 변환 매트릭스를 선택하는 단계, 및 제 1 포맷의 컬러에 선택된 변환 매트릭스를 곱하여 제 2 포맷의 컬러를 형성하는 단계를 포함하는 방법을 개시한다.
또 다른 양태에 따라, 3개의 값을 포함하는 제 1 포맷의 컬러를 수신하는 단계, 3개의 값에 따라 복수의 서브매트릭스로부터 제 1 변환 매트릭스를 선택하는 단계, 선택된 제 1 변환 매트릭스를 포함하는 제 2 변환 매트릭스를 형성하는 단계, 및 제 1 포맷의 컬러에 제 2 변환 매트릭스를 곱하여 제 2 포맷을 형성하는 단계를 포함하는 방법을 개시한다.
또 다른 양태에 따라, 하나 이상의 계수로부터 복수의 매트릭스를 형성하는 단계, 제 1 컬러에 응답하여 복수의 매트릭스 중 하나를 선택하는 단계, 복수의 매트릭스 중 선택된 하나를 포함하는 색도 강화 매트릭스를 사용하여 제 1 컬러를 색도 강화시키는 단계, 제 2 값 및 타겟 값의 함수로서 매트릭스를 계산하는 단계, 및 계산된 매트릭스에 응답하여 복수의 계수 중 하나 이상을 변경시키는 단계를 포함하는 방법을 개시한다.
또 다른 양태에 따라, 제 1 및 제 2 좌표값을 포함하는 제 1 포맷의 컬러를 수신하는 단계, 제 1 및 제 2 좌표값에 따라 복수의 서브매트릭스로부터 변환 매트릭스를 선택하는 단계, 및 제 1 포맷의 컬러에 선택된 변환 매트릭스를 곱하여 제 2 포맷의 컬러를 형성하는 단계를 수행하도록 동작가능한 컴퓨터 판독 가능 매체를 개시한다.
또 다른 양태에 따라, 하나 이상의 계수로부터 복수의 매트릭스를 형성하는 단계, 제 1 컬러에 응답하여 복수의 매트릭스 중 하나를 선택하는 단계, 복수의 매트릭스 중 선택된 하나를 포함하는 색도 강화 매트릭스를 사용하여 제 1 컬러를 색도 강화시키는 단계, 제 2 값 및 타겟 값의 함수로서 매트릭스를 계산하는 단계, 및 계산된 매트릭스에 응답하여 복수의 계수 중 하나 이상을 변경시키는 단계를 수행하도록 동작가능한 컴퓨터 판독가능 매체를 개시한다.
또한, 다양한 다른 양태 및 실시형태를 개시한다.
도면의 간단한 설명
도 1은 카메라의 예시적인 실시형태를 도시한다.
도 2는 이미지 프로세서의 예시적인 실시형태를 도시한다.
도 3은 카메라, 캠코더, 이동 전화 등과 같은 디바이스상에서 다양한 기능을 수행하는 방법의 예시적인 실시형태를 도시한다.
도 4는 색도 강화의 예시적인 실시형태를 도시한다.
도 5는 색도 강화의 또 다른 실시형태를 도시한다.
도 6은 2개의 파라미터 (b 및 d) 를 갖는 시어링 (shearing) 의 실시예를 나타낸다.
도 7은 더욱 일반화된 공간 시어링의 실시예를 나타낸다.
도 8은 일반화된 공간 시어링의 또 다른 실시예를 나타낸다.
도 9는 색도 강화를 수행하는 방법의 예시적인 실시형태를 나타낸다.
도 10은 색도 강화를 위한 방법의 또 다른 실시형태를 나타낸다.
도 11은 (B-G, R-G) 데이터를 (Cb, Cr) 데이터로 변환하는 방법의 예시적인 실시형태를 나타낸다.
도 12는 복수의 색도 강화 서브매트릭스 중 하나를 선택하는 방법의 예시적인 실시형태를 나타낸다.
도 13은 색도 강화의 또 다른 대안의 실시형태를 도시한다.
도 14는 CEM 계수의 최적화를 수행하는 시스템의 실시형태를 나타낸다.
도 15는 색도 강화에서 사용하기 위해 계수를 결정하는 방법의 예시적인 실시형태를 도시한다.
도 16은 CEM 계수를 최적화하는 방법의 예시적인 실시형태를 나타낸다.
도 17은 L의 함수로서 KL의 예시적인 그래프이다.
도 18은 a의 함수로서 Ka의 예시적인 그래프이다.
상세한 설명
본 명세서에 설명하는 하나 이상의 예시적인 실시형태를 카메라 시스템의 컨텍스트와 관련하여 설명한다. 이러한 컨텍스트내의 사용이 바람직하지만, 본 발명의 상이한 실시형태가 상이한 환경 또는 구성에 통합될 수도 있다. 일반적으로, 본 명세서에 설명하는 다양한 시스템은 소프트웨어-제어 프로세서, 집적 회로, 또는 개별 로직을 사용하여 형성될 수도 있다. 본 출원 전반적으로 참조될 수도 있는 데이터, 지시, 명령, 정보, 신호, 심볼, 및 칩이 전압, 전류, 전자기파, 자계 또는 자성 입자, 광계 또는 광자, 또는 이들의 조합으로 바람직하게 표현된다. 또한, 각 블록도에서의 블록은 하드웨어 또는 방법 단계를 나타낼 수도 있다. 방법 단계는 본 발명의 범위를 벗어나지 않고 교환될 수도 있다. 용어 "예시적" 은 "예, 경우, 또는 예시로서 기능하는" 의 의미로 본 명세서에 사용된다. "예시적" 으로서 본 명세서에 설명하는 임의의 실시형태가 반드시 다른 실시형태 이상으로 바람직하거나 유익한 것으로 해석되는 것은 아니다.
사람의 눈의 스펙트럼 응답과 카메라 센서의 스펙트럼 응답 사이의 차이로 인해, 카메라에 의해 얻어진 컬러는 사람의 눈에 의해 통상적으로 인지되는 컬러와 상이하다. 컬러 정확도를 향상시키기 위해, 재생된 컬러와 사람 인지 사이의 차이를 고려함으로써, 현대의 디지털 카메라 설계는 컬러 교정 매트릭스 및 컬러 변환 매트릭스를 채용하여 컬러-프로세싱 파이프라인에서 RGB 컬러 공간을 YCbCr 공간으로 변환한다.
컬러 교정 매트릭스의 주요 기능은 카메라 센서의 스펙트럼 감도와 사람의 시각 시스템의 스펙트럼 응답 사이의 차이를 보상하는 것이고, 또한 컬러 매칭 기능이라 칭한다. 색도 강화 매트릭스의 기능은 RGB 신호를 YCbCr 신호로 전달하는 것이다. 이러한 매트릭스에서의 계수 조정은 카메라 시스템에 대한 다른 컬러 동조를 수행할 수도 있다.
최상의 컬러 재생 효율을 얻기 위해, 2개의 매트릭스에서의 계수가 카메라 특성, 이미지 품질 요구 및 컬러 선호도에 따라 최적화될 수도 있다.
본 명세서에 설명하는 예시적인 실시형태는 다양한 카메라에 의해 생성된 것과 사람의 눈에 의해 인지된 것 사이의 컬러 차이를 최소화시키는 최적화된 계수를 얻기 위해 RGB로부터 YCbCr 공간으로의 변환을 허용하고, 사용자 선호도, 환경, 및 다른 요인에 기초하여 컬러 강화를 허용한다.
종래의 디지털 카메라를 포함하는 다양한 카메라 실시형태가 당업계에 널리 공지되어 있다. 또한, 카메라는 셀룰러 전화기, 캠코더, PDA (Personal Digital Assistant), 노트북 카메라, 개인 컴퓨터에 부착된 것 (즉, 웹-캠), 및 다수의 다른 구성에 포함된다. 본 명세서에 설명하는 기술은 임의의 카메라 실시형태와의 사용에 적합할 수도 있다.
도 1은 카메라 (100) 의 예시적인 실시형태를 도시한다. 렌즈 (110) 는 이미지 (105) 로부터 반사된 광을 수광하여 그 이미지를 센서 (120) 로 안내한다. 다양한 렌즈 및 센서가 당업계에 널리 공지되어 있다. 예를 들어, 전하 결합 디바이스 (CCD) 또는 상보성 금속 산화물 반도체 (CMOS) 센서가 일반적으로 널리 사용될 수도 있다. 센서 (120) 는 하나 이상의 센서를 포함할 수도 있다. 예를 들어, 하위 완제품 (lower end product) 에서, 단일의 CCD 또는 CMOS 센서가 널리 사용될 수도 있다. 종종, 픽셀이라 칭하는 센서에서의 물리적 위치는 단일 1차 컬러 (적색, 녹색 또는 청색) 를 수신만 할 수도 있다. 디스플레이를 위해, 각각의 픽셀에서 적색, 녹색 및 청색의 값을 갖는 것이 바람직할 수 있어서, 후술하는 바와 같이, 보간 또는 번역 (interpretation) 이 단일 센서가 모두 3개의 1차 컬러를 수신하기 위해 사용될 때 사용될 수도 있다. 예를 들어, 센서에서의 픽셀은 상이한 컬러를 수신하도록 할당된다. 이웃하는 값이 각 픽셀에서 모두 3개의 1차 컬러를 추정하기 위해 사용될 수도 있다. 몇몇 상위 완제품은 3개의 CCD 센서를 포함한다. 예를 들어, 이러한 실시형태에서, 하나의 CCD 가 각 1차 컬러 (즉, 녹색에 대해 하나, 적색에 대해 하나, 및 청색에 대해 하나) 에 대해 배치된다. 렌즈 (110) 는 화상이 캡쳐되는 이미지로부터 반사된 광을 그 1차 컬러에 대한 대응하는 CCD 로 안내하는 빔 스플리터 또는 프리즘을 포함할 수도 있다. 센서 (120) 의 출력은 각 픽셀에 대한 RGB 신호라 칭하는 적색, 녹색 및 청색의 값을 포함하는 원래의 (raw) 신호이다.
이미지 프로세서 (130) 는 RGB 신호를 수신하고 다양한 형태의 또 다른 이미지 프로세싱을 수행한다. 임의의 형태의 이미지 프로세싱이 이미지 프로세서 (130) 에서 수행될 수도 있다. 이미지 프로세서 (130) 에서 수행될 수도 있는 색도 강화 실시형태를 본 명세서에 상세히 설명한다. 다른 실시예는 디-모자이크 (de-mosaic), 화이트 밸런스, 컬러 교정, 감마 교정, 다양한 형태의 인코딩 및 디코딩, 및 디스플레이 출력 또는 다른 출력을 위한 프로세싱을 포함한다. 이들을 이하 상세히 설명한다.
일 실시형태에서, 센서 (120) 는 이미지 프로세서 (130) 와 단일 집적 회로 (IC) 상에 집적될 수도 있다 (즉, 이미지 프로세싱 컴포넌트와 집적된 CMOS 센서). 대안의 실시형태에서, 센서는 개별 디바이스일 수도 있다. 집적된 카메라를 갖는 셀룰러 전화 구성은 디지털 카메라, 캠코더 등으로서 당업계에 공지되어 있다. 도 1에 도시한 구성 (100) 은 예시적인 목적을 위해 사용되고 무선 선택 디바이스 (wireless optional device) 에서 카메라의 예시적인 컴포넌트를 식별한다. 이것은 선택적이다. 당업자는 본 발명의 범위내에서 널리 이용될 수도 있는 다양한 다른 구성을 인식할 것이다. 일 실시예에서, 다양한 형태의 IC와 같은 다양한 개별 컴포넌트가 이미지 프로세싱 파이프라인에서 사용될 수도 있다. 원래의 신호 (raw signal) 가 YCbCr 출력을 생성하기 위해 제 1 모듈로 도입될 수도 있으면서, 다른 프로세싱이 또 다른 프로세서에 대해 수행될 수도 있다. 일 실시형태에서, 하나 이상의 이미지 프로세싱 모듈이 통신 및/또는 다른 멀티-미디어 프로세싱을 위해 사용된 프로세서와 결합될 수도 있다. 또 다른 실시형태에서, 이미지 프로세싱 모듈은 통신 뿐만 아니라 다른 멀티-미디어 애플리케이션을 위해 사용된 하나 이상의 프로세서를 포함하는 집적 회로와 결합될 수도 있다. 일 실시형태에서, 이동국 모뎀 (MSM) 은 하나 이상의 이미지 프로세싱 컴포넌트로부터 출력된 YCbCr 에 대한 이미지 프로세싱을 수행하는 하나 이상의 프로세서를 포함한다.
또 다른 실시형태에서, 원래의 신호는 상기 실시형태에 적용가능한 임의의 다른 프로세스에 따라, 모든 이미지 프로세싱 기능을 수행할 수도 있는 프로세서로 전달될 수도 있다. 또 다른 실시형태에서, 가속기 또는 다른 공동-프로세싱 모듈이 이미지 프로세싱을 수행하기 위해 프로세서에 연결될 수도 있다. 컴포넌트, 프로세서, 디지털 신호 프로세서 등의 다수의 다른 결합이 당업자에게 명백한 바와 같이, 본 명세서의 교시에 따라 결합될 수도 있다.
이미지 프로세서 (130) 는 본 명세서에 설명하는 다양한 절차 및 방법을 수행하기 위한 명령 뿐만 아니라 데이터를 저장하기 위해 사용될 수도 있는 메모리 (140) 에 결합된다. 당업자는 메모리가 이미지 프로세서 (130) 내에 전체적으로 또는 부분적으로 내장될 수도 있는 다양한 형태의 하나 이상의 메모리 컴포넌트로 이루어질 수도 있다는 것을 인식할 것이다. 메모리 (140) 는 이미지 프로세서 (130) 의 다른 기능에 따라, 부분적으로 프로세싱된 이미지 신호 뿐만 아니라 캡쳐된 이미지를 이미지 프로세싱하기 위한 명령을 저장하기 위해 사용될 수도 있다.
또한, 저장부 (150) 는 이미지 프로세서 (130) 에 접속되어 있는 것으로 도시되어 있다. 일 실시형태에서, 저장부 (150) 는 설명의 명확함을 위해 메모리 (140) 로부터 분리되어 있는 것으로 도시되어 있다. 메모리 (140) 가 캡쳐된 이미지를 저장하기 위해 사용될 수도 있고 휘발성 또는 비휘발성, 또는 이들의 조합일 수도 있다는 것이 당업자에게는 명백할 것이다. 다양한 실시형태에서, 저장부 (150) 는 휘발성 또는 비휘발성 메모리, (디바이스 (100) 으로부터) 고정 또는 착탈식 디스크, 또는 당업계에 공지되어 있는 임의의 다른 저장 매체를 포함할 수도 있다. 착탈식 메모리 카드와 사용하기 위한 소켓이 배치될 수도 있다.
디스플레이 (160) 는 이미지 프로세서 (130) 에 접속되어 있는 것으로 도시되어 있다. 다양한 실시형태가 액정 디스플레이 (LCD) 또는 다른 형태의 디스플레이와 같은 개별 디스플레이를 포함할 수도 있거나 포함하지 않을 수도 있다. 이미지는 이미지 프로세서 (130) 의 직접 출력으로서 디스플레이 (160) 상에 나타날 수도 있다. 또 다른 실시형태에서, 저장부 (150) 에 저장된 이미지가 이미지 프로세서 (130) 를 통해, 또는 또 다른 실시형태에서는, 디스플레이 (160) 로의 직접 접속 (도시 생략) 에 의해 디스플레이 (160) 상에 디스플레이될 수도 있다.
이미지 프로세서 (130) 에서 프로세싱되는 정지 (still) 및 비디오 이미지를 포함하는 이미지는 임의의 형태의 압축 기술을 사용하여 압축될 수도 있다. 그 예로는 제이페그 (JPEG) 또는 비디오용 엠페그 (MPEG) 에 대한 정지 이미지를 포함한다. 압축은 선택적이다.
또 다른 실시형태에서, 디바이스 (100) 는 디바이스 내에 저장부 (150) 를 포함하지 않을 수도 있다. 대신에, 외부 저장 디바이스를 접속하기 위한 출력부가 배치될 수도 있다. 또는, 외부 디바이스에 접속하기 위한 출력부가 저장부 (150) 와 결합하여 제공될 수도 있다. 이러한 형태에서, 증가된 저장부는 외부 접속을 통해 사용가능할 수도 있다. 전술한 바와 같이, 저장부 (150) 가 착탈식 미디어를 포함할 수도 있어서, 저장 용량은 적절한 착탈식 디바이스를 선택함으로써 증가 또는 감소될 수도 있다.
일 실시형태에서, 카메라 (100) 는 이동 또는 셀룰러 전화기, 또는 다른 무선 통신 디바이스와 같은 통신 디바이스와 집적된다. 따라서, 도 1은 저장부 (150) 와 접속되어 안테나 (180) 를 통해 이미지를 송/수신하는 트랜시버 (170) 를 도시한다. 또한, 트랜시버 (170) 는 무선 통신을 위해 배치될 수도 있다. 임의의 형태의 통신 프로토콜이 디바이스 (100) 로부터 데이터를 수신 또는 송신하기 위해 배치될 수도 있다.
이 실시예에서, 트랜시버 (170) 는 원격 위치로의 송신을 위해 이미지를 검색하거나 원격 위치로부터 이미지를 수신하여 저장부 (150) 에 저장하기 위해 저장부 (150) 에 접속된 것으로 도시되어 있다. 수신된 이미지는 이미지 프로세서 (130) 에 의해 프로세싱 및/또는 디스플레이 (160) 상에 디스플레이될 수도 있다. 후술하는 바와 같이, 색도 강화는 이미지 프로세서 (130) 에서 수행될 수도 있다. 다양한 또 다른 실시형태에서, 후술하는 바를 예로 하는 다양한 다른 이미지 프로세싱 기술이 저장 및/또는 색도 강화 이전에 수행될 수도 있거나 수행되지 않을 수도 있다. 따라서, 원래의 데이터 또는 부분적으로 프로세싱된 데이터가 하나 이상의 색도 강화 모드를 사용하여 또 다른 색도 강화를 위해 저장될 수도 있다. 또 다른 방법으로는, 이미지의 저장은 모든 이미지 프로세싱에 후속하여 수행될 수도 있다. 당업자에게 명백한 바와 같이, 이들 기술의 임의의 결합이 배치될 수도 있다.
도 2는 이미지 프로세서 (130) 의 예시적인 실시형태를 도시한다. 종래의 이미지 프로세싱은 센서 (120) 와 같은 센서의 RGB 출력 (제 1 컬러 공간) 의 YCbCr 포맷 (컴포넌트 컬러 공간) 으로의 변환을 수반한다. YCbCr 에서, 이미지로부터의 색차 정보 및 휘도 정보가 개별 채널에 포함된다. YCbCr 포맷은 예를 들어, JPEG 및 MPEG 를 포함하는 다양한 압축 방법을 위해 사용된다. 예시적인 실시형태 (130) 에 도시한 컴포넌트는 본 명세서에서 설명하는 바와 같이 색도 강화를 나타내기 위해 기능한다. 다양한 또 다른 실시형태는 추가의 컴포넌트를 포함할 수도 있거나 도 2에 도시한 하나 이상의 컴포넌트를 생략할 수도 있다. 또한, 프로세싱의 순서는 또 다른 실시형태에서 변화할 수도 있다 (예를 들어, 화이트 밸런스가 디모자이크에 선행할 수도 있거나, 컬러 교정 이후에 올 수도 있다).
센서 (120) 와 같은 센서로부터 수신된 데이터는 디-모자이크 블록 (210) 으로 전달된다. 디-모자이크 기능은 당업계에 널리 공지되어 있고, 단일의 CCD 또는 CMOS 로부터 수신된 신호의 보간 또는 번역을 위해 배치될 수도 있다. 일반적으로, 입력은 각 픽셀에 대해 단일 컬러를 갖는 원래의 RGB 신호를 포함하고, 출력은 각 픽셀 위치에서 적색, 녹색 및 청색에 대한 보간된 값을 갖는 RGB 데이터이다. 출력은 직렬화될 수도 있고 (즉, 3개의 직렬화된 신호 또는 단일의 직렬화된 신호를 포함한다), 데이터 어레이가 메모리에 저장되거나 RGB 데이터에 대한 임의의 다른 기술이 당업계에 공지되어 있을 수도 있다. (3-CCD 카메라와 같은) 3개의 센서가 배치된 또 다른 실시형태에서, 디-모자이크 블록 (210) 은 적색, 녹색 및 청색의 값이 각 픽셀에 대해 이미 캡쳐되었기 때문에 필요하지 않을 수도 있다.
화이트 밸런스 (220) 는 3개의 RGB 채널의 상대적 강도를 밸런스하기 위해 사용된다. 이 실시예에서, 화이트 밸런스는 디-모자이크 (210) 의 출력 (또는 디-모자이크가 배치되지 않은 경우에, 원래의 신호) 에 대해 수행된다. 다양한 화이트 밸런스 기술이 당업계에 공지되어 있고, 배치되어 있다. 예를 들어, 상관 (correlation) 에 의한 그레이 월드 (gray world) 알고리즘 또는 컬러가 사용될 수도 있다.
컬러 교정 블록 (230) 은 화이트 밸런스 (220) 의 출력을 수신하여 컬러 교정을 수행한다. 전술한 바와 같이, 카메라는 통상적으로 광에 대한 사람의 응답과는 상이하게 광에 응답하는 스펙트럼 특성을 갖는다. 컬러 교정은 눈과 매칭하기 위해 RGB 채널에 대한 밸런스를 시도한다. 예를 들어, 일 실시형태에서, 화이트 밸런스는 대각 엘리먼트에만 적용하는 3×3 매트릭스 변환 (대각 매트릭스) 이다. 화이트 밸런스 효과는 RGB 값 각각을 턴 업 또는 턴 다운하기 위한 것이다. 대조적으로, 이 실시예에서, 컬러 교정은 풀 3×3 매트릭스를 채용할 수도 있다. 매트릭스에서의 값은 눈이 보는 것에 근접한 응답을 하도록 설계된다. 감마 교정 (240) 은 컬러 교정 (230) 의 출력을 수신한다. 감마 교정이 디스플레이상에 투사된 이미지를 표준화하기 위해 사용되어 디스플레이상에 실제 객체에 대한 사람의 시각을 모방한다. 예를 들어, 통상의 모니터는 감마 특성을 갖는다. 선형 특성이 바람직할 수도 있다.
색도 강화 블록 (250) 은 컬러 변환 동안 통상적으로 행해진 바와 같이 RGB 신호를 YCbCr 로 변환한다. 색도 강화 블록 (250) 은 다양한 예시적인 실시형태에서 이하 설명되는 바와 같이 강화된 컬러 성능을 추가적으로 제공한다.
색도 강화 블록 (250) 의 출력은 디스플레이 (160) 와 같은 모니터상의 디스플레이를 위해 색도 강화된 신호를 변환하는 디스플레이 드라이버 (280; 선택) 로 전달된다. 일 실시형태에서, YCbCr 신호는 디스플레이를 위해 RGB (또는 다른) 포맷으로 변환될 필요가 있을 수도 있다. 임의의 형태의 디스플레이 신호에 대한 적절한 디스플레이 드라이버가 디스플레이 (160) 와 같은 모니터상의 디스플레이를 위해 색도 강화 블록 (250) 의 출력을 변환하기 위해 삽입될 수도 있다. 인코더 (260) 는 색도 강화 블록 (250) 의 출력을 수신하고 암호화 및/또는 압축과 같은 추가의 프로세싱을 수행할 수도 있고, 또 다른 원격 디바이스 또는 저장 엘리먼트로의 외부 접속을 통해서 뿐만 아니라 저장부 (150) 에 관하여 전술한 바와 같이 미디어상의 저장을 위해 전달될 수도 있다. 인코더 (260) 는 선택적이다. 또 다른 방법으로는, 원래의 데이터가 외부 접속을 통하거나 저장을 위해 전달될 수도 있다. 또한, 저장부 (150) 로의 접속 또는 또 다른 외부 접속이 전술한 바와 같이, 디스플레이에 적합한 포맷으로의 디코딩 또는 압축해제를 위해 사용될 수도 있는 디코더 (270) 에 의해 데이터를 수신하기 위해 사용될 수도 있다. 이러한 특징은 예를 들어, 각각의 포맷 및 저장 미디어 (150) 에 따라, 압축되고 저장된 화상 또는 비디오를 카메라 또는 이동 전화상에서 리뷰하기 위해 저장된 화상을 디스플레이하는데 사용될 수도 있다.
도 3은 카메라, 캠코더, 이동 전화 등과 같은 디바이스 (100) 상에서 다양한 기능을 수행하는 방법 (300) 의 예시적인 실시형태를 도시한다. 프로세스는 판정 블록 310 에서 시작한다. 새로운 이미지가 캡쳐되어야 한다면, 이미지를 캡쳐하기 위해 315로 진행한다. 이것은 전술한 바와 같이 렌즈 (110) 및 센서 (120) 를 사용하여 수행될 수도 있다. 320에서, 예비 이미지 프로세싱이 수행된다. 이것은 전술한 바와 같은, 디-모자이크, 화이트 밸런스, 컬러 교정, 또는 감마 교정과 같은 기능을 포함할 수도 있다. 340에서, 본 명세서에서 설명한 임의의 기술을 사용하여 색도 강화를 수행한다. 특정 실시형태에서, 색도 강화는 저장된 이미지에 대해서도 수행될 수도 있다.
판정 블록 310으로 돌아가서, 색도 강화가 저장된 이미지에 대해 소망되는 경우에, 저장된 이미지 데이터를 검색하기 위해 325로 진행한다. 이미지 데이터는 저장 미디어 (150), 또는 예를 들어, 당업계에 공지되어 있는 바와 같은 임의의 다른 미디어에 저장될 수도 있다. 330에서, 필요에 따라 포맷을 변환한다. 예를 들어, JPEG 또는 MPEG 신호는 압축해제될 필요가 있을 수도 있다.
340에서, 320 또는 330 으로부터, 색도 강화를 수행한다. 다양한 색도 강화 실시형태를 본 명세서에 상세히 설명한다. 어떤 실시형태에서, 색도 강화는 RGB 신호에 대해 수행되고, 따라서, 포맷 변환은 저장된 이미지 데이터를 RGB 포맷으로 변환해야 한다. YCbCr - RGB와 같은 다양한 다른 변환 뿐만 아니라 다른 컬러 공간 포맷이 공지되어 있다. 색도 강화가 340에서 수행되면, 판정 블록 345에서 색도 강화된 이미지가 디스플레이되어야 하는 경우에, 색도 강화된 신호를 모니터 또는 다른 디스플레이 디바이스에 대한 적절한 디스플레이 포맷으로 변환하기 위해 350 으로 진행한다. 355에서, 이미지 뷰잉을 위해 변환된 신호를 디스플레이로 전달한다. 그 후, 판정 블록 360으로 진행한다. 디스플레이가 요구되지 않으면, 360 으로 진행한다.
판정 블록 360에서, 색도 강화된 신호의 저장이 소망되는 경우에, 365 로 진행하고, 여기서 선택적인 압축이 배치될 수도 있다. 370에서, 색도 강화된 신호 가 본 명세서에 설명한 바와 같은 적절한 미디어에 저장될 수도 있다. 저장되거나, 저장이 소망되지 않으면, 판정 블록 375 로 진행한다.
판정 블록 375에서, 외부 출력이 소망되는 경우에, 원격 목적지로의 송신을 위해 380 으로 진행한다. 이것은 외부 미디어, 또는 디스플레이를 더 프로세싱하기 위해 이미지 데이터를 수신하는 다른 디바이스로의 접속, 프린팅, 또는 당업계에 공지되어 있는 임의의 다른 기술일 수도 있다. 일 실시형태에서, 이미지 및 비디오 데이터는 무선 접속을 통해 원격국으로 송신될 수도 있다. 다양한 셀룰러 데이터 및 무선 로컬 지역 네트워크 (WLAN) 시스템 및 표준이 당업계 널리 공지되어 있다. 375 또는 380에 후속하여, 프로세스는 중지될 수도 있다.
전술한 바와 같이, 색도 강화는 증가된 성능을 위한 추가적인 특성과 함께 컬러 변환을 포함한다. 통상적으로 정지 이미지 (JPEG) 에 이용되는 전형적인 컬러 변환 매트릭스는 식 1 에 의해 주어진다. Y, Cb, Cr 값들은 식 1 에 나타난 매트릭스에 입력 R, G, B 값들을 곱함으로써 구한다.
Figure 112006001799118-pct00001
식 1 의 컬러 변환 매트릭스는 식 2 에 나타난 바와 같이, 두 개의 매트릭스 M1, M2 로 분해될 수도 있다. 따라서, RGB 입력에 M2 및 M1 를 곱하면 YCbCr 값이 된다.
Figure 112006001799118-pct00002
매트릭스 M2 는 (R, G, B) 를 (Y, B-G, R-G) 로 변환시키고, M1 은 (Y, B-G, R-G) 를 (Y, Cb, Cr) 로 변환시킨다. 매트릭스 M1 은 일반적으로 색도 강화 매트릭스 (CEM) 라 하는 2×2 서브매트릭스를 포함한다. M1 의 CEM 서브매트릭스는 식 3 에 나타낸 바와 같이 표현된다.
Figure 112006001799118-pct00003
JPEG 컬러 변환에서 일반적으로 이용되는 CEM 이 설명을 위해 식 4 에서 보여진다. 이와 같은 예시적인 CEM 은 4 개의 계수로 이루어진다.
Figure 112006001799118-pct00004
많은 현대적 디지털 카메라 설계는 주어진 광원에 대해서 고정된 컬러 변환 매트릭스 또는 최적화된 CEM 모두를 이용한다. 두 방법 모두 고정되거나 또는 제한된 수의 계수로 인해 제한된 정확도 및 플렉시빌리티를 갖는다.
컬러 성능을 강화하기 위해, 재생된 컬러들과 사람의 지각 반응 사이의 컬러 차이를 감소시키는 것 뿐만 아니라, 메모리 컬러들과 같은 선호되는 컬러들을 강화하는 것에 의해, 색도 정확도를 개선하는 고급 방법이 개시된다. 메모리 컬러들은, 예를 들어 사람의 피부색, 하늘색, 잎의 녹색 등과 같은 매우 친숙한 컬러들을 포함한다. 사람들은 이미지의 품질을 판단하기 위해 그 메모리 컬러들의 재생된 컬러들을 이용할 수도 있다. 고품질 이미지는, 특히 더욱 많은 주의가 필요한 컬러에 있어서, 선호도에 따라 컬러를 재생할 수 있어야 한다. 제안되는 고급 색도 강화 방법은, 다른 컬러들에 대한 매우 작은 영향으로 특정한 컬러를 최적화시키는 것을 고려하여, 정확도를 또한 증가시킨다.
종래의 최적화 방법은 2×2 CEM 의 4 가지 파라미터를 최적화하여 디지털 카메라에 의해 재생된 컬러과 사람의 눈 사이의 컬러 차이를 감소시키는 것이다. 예시적인 실시형태에서, 파라미터의 수는 4 부터 8 까지 증가된다. 8 개의 파라미터를 이용하여 CEM 계수를 형성하는 이하에서 설명되는 예시적인 실시형태는 단지 설명을 위한 것이다. 일반적으로, CEM 변환 매트릭스는 임의의 수의 파라미터로부터 형성될 수도 있다.
Y 는 임의의 파라미터를 이용하여 형성될 수 있고, 그 예가 식 1 에서 보여진다. 색도 강화는, 식 5 에서 정의되는 바와 같이, M2 를 고정시키는 것과 일반적인 CEM 을 최적화시키는 것에 의해 수행된다.
Figure 112006001799118-pct00005
각각의 파라미터 a, b, c, 및 d 에 있어서, 두 가지 선택이 있고, 각각은 ap, am, bp, bm, cp, cm, dp, dm 과 같이 하첨자 p 또는 m 으로 표현된다. 따라서 전송 매트릭스에는 8 개의 파라미터들이 있다.
도 4 는 색도 강화에 관한 예시적인 실시형태를 도시한다 (250). RGB 신호는 YCbCr 변환 (410) 에서 수신되어 강화된 YCbCr 신호를 생산한다. 영역 매핑 (420) 은 또한 RGB 신호를 수신하고, 선택기 (430) 에 N 개의 CEM 서브매트릭스들 (440A-N) 중에서 어느 것이 YCbCr 변환 (410) 으로 전달되어야 하는지를 지시한다. 이 실시예에서, CEM 서브매트릭스 (440) 는 8 개의 파라미터를 이용하여 미리-계산되고, 적절한 미리-계산된 CEM 서브매트릭스가 영역에 대응하는 색도 강화에 이용하기 위해 선택될 수도 있다. 다른 실시형태에서, CEM 은, 선택된 영역에 기초하여, "온 더 플라이 (on the fly)" 방식으로 계산될 수도 있다. 이하, 다수의 서브매트릭스들 중에서의 선택을 위한 영역 매핑이 설명된다.
도 4 에서 도시되는 블록들은, 여기에 개시된 다른 실시형태들과 마찬가지로, 단지 설명을 위한 것이다. 다양한 실시형태들이 임의의 수의 선택 기술을 이용하여 채택될 수도 있다. 예를 들어, 소프트웨어 또는 DSP 구현은, 여기서 설명하는 기술을 이용하여 이미지 프로세싱 수행을 위한 적절한 계수를 선택하기 위해, 포인터, 함수 호출 (call), 과정 등을 이용할 수도 있다. 하드웨어 구현은, 멀티플렉서, 멀티 포트 RAM, 레지스터 파일, YCbCr 변환 (410) 에서의 이용을 위한 하나 이상의 색도 강화 매트릭스 계수를 선택하는 것에 관한 또 다른 기술을 이용할 수도 있다.
도 5 는 색도 강화 (250) 에 관한 또 다른 실시형태를 도시한다. 이 실시예에서는, 도 4 에 관하여 전술한 바와 같이, 영역 매핑 (420), 선택기 (430), 및 색도 강화 서브매트릭스들 (440A-N) 이 유사한 방식으로 배치된다. 매트릭스 M2 (510) 는, 전술한 매트릭스 M2 와 유사하게, CEM (520) 으로의 전달을 위한 청색과 녹색 값 간의 차이를 포함하는 B-G 신호, 및 적색과 녹색 값 간의 차이를 포함하는 R-G 신호 뿐만 아니라, Y 값도 생성하도록 배치될 것이다. CEM (520) 은 색도 값 Cb 및 Cr 값을 생산하기 위해 이용된다. 도 5 는 B-G 및 R-G 를 이용하여 RGB 를 Cb 및 Cr 로의 변형을 설명하는 실시형태이다.
컬러 공간 (B-G, R-G) 에서 (Cb, Cr) 로의 변형은 식 6 에 나타난 바와 같이 표현된다.
Figure 112006001799118-pct00006
2×2 CEM 은 식 7 에 나타나 바와 같이 더 분해될 수 있다.
Figure 112006001799118-pct00007
제 1 매트릭스에서, a 및 c 는 각각의 좌표에 대한 스케일링 인자이고, 제 2 매트릭스에서, b 및 d 는 각각의 좌표에 대한 시어링 인자이다. 전술한 매트릭스들에 의해 표현되는 변형은 공간 시어링 및 스케일링으로서 (B-G, R-G) 에서 (Cb, Cr) 로의 관계를 단순화한다.
공간 시어링을 살펴본다. 표현을 단순화하기 위해, x 를 이용하여 R-G 를 표현하고, (x', y') 를 이용하여 회전된 공간을 표현한다. 그러한 변형이 식 8 에서 표현된다. 도 6 은 두 개의 파라미터 b 와 d 를 시어링하는 것에 관한 실시예를 나타낸다.
Figure 112006001799118-pct00008
(B-G, R-G) 의 컬러 공간과 (Cb, Cr) 사이의 실제적인 관계는 단순한 시어링 변형보다 더 복잡하다. 두 공간 사이의 변형을 위한 플렉시빌리티를 증가시키기 위해, 예시적인 실시형태는 시어링 인자 b 및 d 가, 각각의 컬러를 그것의 원래 (B-G, R-G) 에서의 사분면에 따라 조정하도록 한다. 이러한 방법을 나타내는 일 실시형태가 도 7 에 도시된다. 4 개의 파라미터 bp, bm, dp, dm 에 있어서, 원래 (B-G, R-G) 공간에 비해 (Cb, Cr) 의 4 개의 사분면이 더욱 플렉시블한 관계를 갖는다. 도 7 에서, x' 에 관한 2 개의 라인 세그먼트 및 y' 에 관한 2 개의 라인 세그먼트가 도시된다. x, y 축과 결합되어, 이러한 라인 세그먼트들은 보여진 바와 같이, 8 개의 영역을 구획한다. 각 영역에서, 각각의 하첨자에 의해 지시되는 바와 같이, 4 개의 파라미터 a, b, c, 및 d 의 유일한 세트가 선택된다. 이 실시예에서, 제 1 세그먼트는 사분면Ⅰ 에서, x'= x + bpy 로 표현되고; 제 2 세그먼트는 사분면Ⅱ 에서, y'= y + dpx 로 표현되고; 제 3 세그먼트는 사분면Ⅲ 에서, x'= x + bmy 로 표현되고; 제 4 세그먼트는 사분면Ⅳ 에서, y'= y + dmx 로 표현된다.
식 9 에 따라 bp 및 bm 을 선택한다.
Figure 112006001799118-pct00009
식 10 에 따라 dp 및 dm 을 선택한다.
Figure 112006001799118-pct00010
따라서, 도 7 은 얼마나 더 일반화된 공간 시어링이 수행될 수도 있는지에 관한 실시예를 나타낸다.
회전 공간 (x', y') 에서 (Cb , Cr) 로의 공간 스케일링 변형을 살펴본다. 변형은 식 11 에서 나타난 바와 같이 표현될 수도 있다.
Figure 112006001799118-pct00011
식 11 에서 보는 바와 같이, Cb = ax' 이고, Cr = cy' 이다. x'> 0, x'≤0, y'> 0, y'≤ 0 인 (x', y') 의 4 방향에 따라 스케일링 인자에 관한 추가적인 선택을 제공하기 위해, a 및 c 가 각각 ap, am 및 cp, cm 으로 할당된다. 시어링된 좌표 (x', y') 는 식 12 및 13 각각에서 나타낸 바와 같이 (B-G, R-G) 공간로부터 얻어진다.
Figure 112006001799118-pct00012
Figure 112006001799118-pct00013
a 및 c 는 식 14 및 15 각각에 따라 선택된다.
Figure 112008056318847-pct00043
Figure 112008056318847-pct00044
이 예시적인 실시형태에서의 8 영역은 도 7 에서 나타난 바와 같이 분포될 필요는 없다. 도 8 은 사분면Ⅰ 에서 3 영역을 나타내는 두 개의 세그먼트를 포함하는 다른 실시예를 제공한다. 단일 영역은 사분면Ⅱ 를 모두 포함하고, 2 개의 영역은 사분면 Ⅲ 및 Ⅳ 각각에서 단일 세그먼트에 의해 구획된다. 당업자는 CEM 서브매트릭스를 선택하는 다양한 기술이 전술한 바와 같이 채택될 수도 있다는 것을 인식할 것이다. 예를 들어, 예시적인 도 7 및 도 8 에서 보여진 바와 같이, 그리고 전술한 식 5 내지 15 와 비교하여, 대응되는 RGB 값에 따라 a, b, c, 및 d 를 식별하는 임의의 기술을 이용하여 서브매트릭스를 선택하기 위해 영역-매핑 (420) 이 이용될 수도 있다. 종래의 컬러 변환은 두 개의 직선에 의해 정의되는 축과 함께 고정된 변환 매트릭스를 이용한다. 반면에, 여기서 설명되는 실시형태들은 4 개의 독립적인 선들을 고려한다 (다른 실시형태에서는 많은 수의 독립적인 선과 추가적인 파라미터 및/또는 좌표 공간에서 정의된 추가적인 영역에 매핑되는 서브매트릭스를 이용할 수도 있다).
도 7 및 8 은 모두 (x, y) 및 (x', y') 에 따른 예시적인 선의 세트에 대응되는 매트릭스 계수의 선택을 나타낸다. 또한, 가능한 CEM 서브매트릭스 (즉, CEM 매트릭스로서의 이용을 위한 후보 매트릭스) 는 미리-계산되고, 변환된 컬러 공간 값의 좌표 위치에 응답하여 영역 매핑 기능에 의해 선택될 수도 있다 (예를 들어, 식 5-15 를 이용하여). 다른 방법으로, CEM 값은 컬러 공간 값의 좌표 위치 및 대응되는 파라미터를 이용하여 직접적으로 계산될 수도 있다. 따라서, CEM 은 도 4 및 5 에 나타난 바와 같이 8 개의 미리-계산된 서브매트릭스들 중 하나를 선택하는 것에 의해 형성될 수도 있거나, 또는 8 개의 소정의 파라미터 중에서 적절한 4 개를 선택하는 것에 의해 동등하게 계산될 수도 있다. 이하, 8 개의 파라미터 값들 (및, 동등하게 8 개의 서브매트릭스들) 을 생성하는 것에 관하여 설명된다.
도 9 는 색도 강화를 수행하는 방법 (340) 에 관한 예시적인 실시형태를 나타낸다. 이 예시적인 실시형태는 도 3 에 관하여 전술한 바와 같이, 색도 강화와 같은 사용에 적합하다. 프로세스는 다수의 색도 강화 서브매트릭스들 중에서 하나가 선택되는 910 에서 시작한다. 920 에서, 선택된 색도 강화 서브매트릭스를 이용하여 형성된 색도 강화 매트릭스를 이용하여 수신된 데이터 (즉, 이미지 캡쳐로부터의 데이터 또는 저장 매체로부터 검색된 데이터) 를 변환시킨다. 930 에서, 색도 강화 매트릭스를 이용하여 YCbCr 로 변환시킨다.
도 10 은 색도 강화 (340) 에 관한 또 다른 실시형태를 나타낸다. 1010 에서, RGB 를 (Y, B-G, R-G) 로 변환시킨다. 이것은 몇 가지 기술들을 이용하여 수행될 수도 있다. 예시적인 기술은 도 5 에 관하여 전술하였다. 1020 에서, CEM 서브매트릭스 값을 선택한다. CEM 서브매트릭스 값은 도 7-8 에 나타낸 바와 같이, RGB 값을 적절한 영역으로 매핑하는 것, 또는 전술한 식 5-15 를 이용하는 것과 같은 임의의 다른 기술을 이용하는 것에 의해 선택될 수도 있다. 1030 에서, 선택된 서브매트릭스들에 의해 (B-G, R-G) 를 (Cb, Cr) 로 변환시킨다. 그 후 프로세스는 종료될 수도 있다.
도 11 은 전술한 바와 같이, (B-G, R-G) 데이터를 (Cb, Cr) 데이터로 변환시키는 방법 (1030) 에 관한 예시적인 실시형태를 나타낸다. 1110 에서, 전술한 식 9 에서 주어진 바와 같이, b 를 선택한다. 1120 에서, 식 10 에 관하여 위에서 주어진 바와 같이, d 를 선택한다. 1130 에서, 식 14 에서 전술한 바와 같이, 선택된 b 에 따라 a 를 선택한다. 1140 에서, 식 15 에서 주어진 바와 같이, 선택된 d 에 따라 c 를 선택한다. 1150 에서, 보여진 바와 같이 선택된 a, b, c, 및 d 를 조합하여 식 5 에 나타난 바와 같이 선택된 CEM 을 형성한다.
도 12 는 다수의 색도 강화 서브매트릭스들 중의 하나를 선택하는 방법에 관한 예시적인 실시형태를 나타낸다. 이 실시형태는 전술한 바와 같이, 910 또는 1030 과 같은 사용에 적합하다. 1210 에서, RGB 데이터, 또는 다른 방법으로, (B-G, R-G) 데이터로부터 다수의 영역 중의 하나를 결정한다. 1220 에서, 다수의 연관된 CEM 서브매트릭스들로부터 결정된 영역에 대응되는 미리-계산된 CEM 으로서 CEM 을 선택한다. 이 실시예에서, 8 개의 CEM 서브매트릭스들은 a, b, c, 및 d 의 가능한 선택을 이용하고, 그들을 식 5 에 나타낸 바와 같이 조합하여, 미리-계산된다. 그 후 전술한 바와 같이, 정의된 영역 내에서 RGB 데이터의 위치에 응답하여 적절한 CEM 이 선택된다. 대체적인 실시형태에서, CEM 은 플라이 상에서 재계산될 수도 있다.
도 13 은 색도 강화 (250) 에 관한 또 다른 대체적인 실시형태를 나타낸다. 이 실시형태는 도 4 또는 도 5 에서 도시된 것과 같이, 색도 강화 측면과 조합될 수도 있다. 영역 매핑 (420) 및 선택기 (430) 는 유사하게 배치되어 색도 강화에 이용하기 위해 CEM 서브매트릭스를 생산한다. 또한, 이 실시형태에서, 선택기 (1310) 는 CEM 서브매트릭스의 다수의 세트 중에서 하나를 선택하도록 배치된다. 앞서와 같이, 대체적인 실시형태에서, CEM 은 또한 선택된 파라미터에 기초하여 플라이 상에서 계산될 수도 있다. 선택기 (1310) 에 의해 선택된 CEM 서브매트릭스의 세트는 모드 선택 신호에 따라 선택된다. 따라서, 예를 들어, 한 모드에서, CEM 세트 (1330A) 가 선택된다. 또 다른 모드에서, CEM 세트 (1330N) 가 선택된다. CEM 세트 (1330A) 는 서브매트릭스 CEM 1A-NA (1320A-N) 를 포함한다. CEM 세트 (1330N) 는 서브매트릭스 CEM 1N-NN (1325A-N) 를 포함한다. CEM 서브매트릭스 (1320 및 1325) 는 도 4 및 5 에 관하여 설명된 CEM 서브매트릭스 (440) 와 유사할 수도 있고, 여기서 설명된 어떠한 다양한 기술에 따라 결정될 수도 있다. 모드 선택 특성은 CEM 서브매트릭스의 세트가 다양한 환 경 또는 세팅에 관하여 생성되도록 한다. CEM 서브매트릭스 (1330) 의 각 세트는 환경 및/또는 선택된 선호도에 의존하여 선택될 수도 있다. 예를 들어, 상이한 세팅은, 낮은 밝기, 외부 햇빛, 내부 형광등, 또는 내부 백열등과 같은, 조명 환경에 관하여 결정될 수도 있다. 임의의 수의 다른 환경들도 또한 채택될 수도 있다. 또한, 다양한 사람들은 상이한 선호도를 가질 수도 있다. 예를 들어, 문화적인 차이 또는 지리적인 경계는 한 집단의 사람들이 특정한 컬러 유형을 선호하는 결과를 야기할 수도 있다. 서브매트릭스의 세트는 이하에서 설명되는 최적화 기술을 이용하는 것을 포함하는 다양한 기술들을 이용하여 결정될 수도 있다.
당해 기술분야에서 알려진, 맥베스 차트 (Macbeth chart) 는 디스플레이 또는 다른 장치로부터의 컬러 인지를 표준화하는 데에 이용되는 24 컬러의 배열을 포함한다. 사람의 눈의 전송 기능이 모니터의 전송 기능과는 일반적으로 다르다는 사실이 주어지면 (다양한 모니터 유형에 있어서의 전송 기능 차이도 마찬가지), 맥베스 차트를 기준으로 이미지 프로세싱 기술의 이용을 표준화하는 것이 가능하다. 일 실시예에서, 사용자는 맥베스 차트 상의 컬러와 모니터 상의 컬러를 비교하여 그들이 유사한지의 여부를 결정한다. 그 둘은 조정될 수 있고, 그 후 모니터의 전송 기능 뿐만 아니라 사람의 눈의 전송 기능 간 차이도 표준화시킬 것이다. 예시적인 실시형태에서, 컬러 변환 매트릭스는 카메라의 센서 응답 차이를 보정하도록 설계된다. 그것은 또한 디스플레이 전송 기능 차이를 보상하도록 이용될 수 있다. 맥베스 차트와 같은, 기준으로 표준화시키는 것에 더하여, 사용자들은 갖가지 파라미터들에 따른 다양한 디스플레이된 결과물들 사이에서 선택하여 그들이 선호하는 것을 선택할 수도 있다. 따라서, 사용자들에게 상이한 차트를 보여주고 사용자들이 그들이 가장 좋아하는 것을 고르도록 하는 정신물리 테스트를 수행하는 것이 가능하다.
ISO 표준, CIELab 은 인지할 수 있는 컬러 차이를 선형화하도록 발달되어 왔다. 다시 말해서, CIELab 은 인지적으로 균일한 컬러 공간을 제공한다. 맥베스 차트의 24 패치들 각각은 CIELab 에서 좌표를 갖는다. CEM 서브매트릭스 계수의 최적화를 수행하기 위해, 다양한 기술들이 채택될 수도 있다. 첫째, 색도 강화를 포함하는 원하는 이미지 프로세싱 이후에, 이미지가 캡쳐될 수도 있고, 이미지가 모니터 상에서 디스플레이될 수도 있다. 사용자는 그 후 물체 뿐만 아니라, 그 물체에 대응되는 모니터 상의 표현을 관찰하고, 매칭이 존재하는지의 여부를 지시한다. 사용자가 디스플레이와 실제 이미지 사이의 가장 가까운 관계가 도달한 곳을 찾을 때까지, 디스플레이를 최적화하기 위해 다양한 파라미터들이 변경될 수도 있다. 이것은 전술한 파라미터를 계산하는 하나의 방법이다. 선호도는 다양한 또는 그룹의 사용자들이 도 13 에 관하여 전술한 바와 같이 선호하는 뷰잉을 선택하도록 허용하는 것에 의해, 이러한 방식으로 또한 이용될 수도 있다. 다양한 환경은 또한, 예를 들어, 이미지의 밝기를 변경시키는 것 (예를 들어, 외부, 내부, 형광등, 백열등 등) 에 의해 테스트될 수도 있다. CEM 매트릭스 계수와 같은, 파라미터는 각각의 환경에 대하여 최적화될 수도 있다. 다른 기술들은 사람의 상호작용에 관한 필요 없이 채택될 수도 있다.
도 14 는 CEM 계수의 최적화를 수행하는 시스템의 일 실시형태를 나타낸다. 전술한 임의의 것과 같은 색도 강화 블록으로부터의 YCbCr 출력들은 YCbCr 대 sRGB 변환을 위해 블록 (1410) 으로 전달된다. 당해 기술분야에서 잘 알려진 바와 같이, sRGB 에서 XYZ 로의 변환은 블록 (1420) 에서 수행된다. XYZ 는 RGB 와 CIELab 사이의 중간매개 포맷이다. XYZ 값들은 또한 삼중 자극 값들이라 한다. 블록 (1430) 에서, XYZ 값은 CIELab 공간을 통해 CIELab 으로 변환된다. 최적화 블록 (1440) 은 블록 (1430) 으로부터의 CIELab 값들과, CIELab 표준 (1450) 을 수신하여 계수를 생성한다.
일 실시형태에서, 계수들은 최적화 사이클 동안에 색도 강화에 이용하기 위해 피드백된다. 색도 강화로의 신호 입력 (도시되지 않음) 은, 원하는 환경 및/또는 기준에 따른 이미지 캡쳐 또는 저장된 이미지의 검색으로부터 나온다. 예를 들어, 카메라는 맥베스 차트의 패치에 초점을 맞출 수도 있고, 대응되는 CIELab 값이 블록 (1440) 에서의 최적화에 이용될 수 있다. 이것은, 예를 들어, 모드 선택 신호에 따라 선택기 (1470) 로 맥베스 차트 (1480) 를 선택하는 것에 의해 도 14 에서 보여질 수 있다. 블록 (1460) 은 맥베스 컬러를 수신하고, 그에 따른 삼중 자극 값을 생성한다. CIELab 표준값은 블록 (1450) 에서 삼중 자극에 따라 생성되고, 최적화 (1440) 로 전송된다. 따라서, 예시적인 맥베스 환경에 대한 계수가 결정될 수도 있다.
일반화하기 위해, 환경 1-N (1490A-1490N) 은 모드 선택 신호에 따라 선택기 (1470) 에 의해 선택될 수도 있다. 당해 기술분야에서 알려진 임의의 최적화 기술이 최적화 블록 (1440) 에서 채택될 수도 있고, 그것의 예들이 이하에서 설명된다. 도 14 에 관한 실시형태는 CEM 계수의 최적화에 관한 다양한 측면을 설명하도록 한다. 다양한 대체예들은 당업자들에게 명백할 것이다. 예를 들어, 신호 유형 또는 컬러 공간을 대체하기 위한 대체적인 또는 추가적인 변환이 대체되거나 추가될 수도 있다. 최적화에 이용되는 표준은 CIELab 일 필요가 없다. 블록 (1450) 에서의 표준은 설명된 바와 같이 생성될 수도 있거나, 또는 표준 값들이 최적화에 이용하기 위해 단순히 저장될 수도 있다.
도 15 는 색도 강화에 이용되는 계수를 결정하기 위한 방법 (1500) 에 관한 예시적인 실시형태를 나타낸다. 예를 들어, 다수의 CEM 서브매트릭스에서 이용되는 계수가 결정될 수도 있다 (즉, bp, bm, dp, dm, ap, am, 및 cp, cm). 1510 에서, 기준 값을 선택한다. 이에 더하여, 특정한 모드가 그 기준 값에 관하여 선택될 수도 있다. 예를 들어, 밝기의 유형은 특정화될 수도 있다. 1520 에서, 하나 이상의 모드에 관하여 계수 세트를 찾도록 최적화된다. 따라서, 도 13 에 관하여 전술한 바와 같은 일 실시형태에서, 다수의 모드에 관한 CEM 계수가 결정될 수도 있다. 1530 에서, 하나 이상의 최적화된 모드에 관하여 최적화된 CEM 계수를 저장한다. 일반적으로, 여기서 설명되는 최적화 기술은 이미지를 캡쳐하거나 또는 저장된 이미지를 검색할 때 색도 강화를 수행하기 위해 앞서, 그리고, 장치 (100) 와 같은 다양한 장치에 저장된 계수에서 수행될 수도 있다. 일 실시형태에서, 최적화는 오프라인으로 수행되어, 다양한 매트릭스 세트에 관한 계수를 결정한다.
도 16 은 CEM 계수를 최적화하는 방법 (1600) 에 관한 예시적인 실시형태를 나타낸다. 프로세스는 계수가 초기값으로 설정되는 1610 에서 시작된다. 1620 에서, 현재의 계수 값을 이용하여 색도 강화를 수행한다. 1630 에서, 색도 강화된 값 및 비교되는 표준에 응답하여 비용 함수를 계산한다. 예를 들어, 도 14 에 나타난 바와 같은 시스템을 이용하여, CIELab 값에 기초하는 비용 함수는, 색도 강화로부터 변환됨에 따라, 표준 CIELab 값과 비교될 수 있다. 예시적인 비용 함수가 식 16 에서 주어진다.
Figure 112006001799118-pct00016
비용 파라미터 f 는 ΔE 및 Vn 에 관한 함수이다. 가중 파라미터 Wn 은 ΔE 및 Vn 의 분포를 밸런싱시키기 위해 이용된다. 이러한 그레이딩 인자는 본질적인 노이즈가 일반적인 센서에서 발견되기 때문에 도입된다. 센서 노이즈는 또한 이미지 프로세싱을 통해 나타나기도 하고, 따라서 Wn 은 보다 정확한 것, 즉, 컬러 차이를 감소시키는 것 및/또는 감소된 노이즈를 위해 선택될 수도 있다. 정확도 측정치인 ΔE 는 식 17 에서 정의된다. ΔE 는 이미지 프로세스 CIELab 값과 표준 값 사이의 차이 (ΔL*, Δa*, Δb*) 에 대한 제곱값의 합의 제곱근으로 정의된다. 당해 기술분야에서 알려진, 비쥬얼 노이즈 추정치인 Vn 은 식 18 에서 주어진다. 사용자 선호도는 Wn, 즉, 보다 정확함 (감소된 컬러 차이) 또는 감소된 노이즈를 결정하기 위해 이용될 수도 있다.
Figure 112006001799118-pct00017
Figure 112006001799118-pct00018
식 18 에서, s 는 Vn 값을 ΔE 와 본질적으로 동일한 레벨이 되도록 조정하는 계수이다. 파라미터 ωL, ωa, ωb 는 3 개의 노이즈 계수 σ2 L, σ2 a, σ2 b 에 대한 가중 인자이고, ΔL*, Δa*, Δb* 는 디지털 카메라에 의해 생성되는 것 및 CIELab 컬러 공간에서 사람의 눈에 의해 인지되는 것 간의 차이이다.
도 16 으로 돌아와서, 비용 함수는 1630 에서 계산된다. 임의의 수의 최적화 기술들이 이용될 수도 있다. 예를 들어, 포웰의 것, 그레디언트 하강 (gradient descent), 완력, 또는 임의의 다른 기술들이 이용될 수도 있다. 가중 인자 ωL, ωa, ωb 는 정신물리 작업으로부터 결정될 수도 있다. 분산 σ2 L, σ2 a, σ2 b 은 각각 L, a, b 값의 분산이다. 결정 블록 (1640) 에서, 최적화가 완료되면, 프로세스는 종료될 수도 있다. 그렇지 않으면, 블록 (1650) 으로 진행하여, 원하는 결과를 얻을 때까지, 계수를 변경하고, 색도 강화를 재-수행하며, 비용함수 등을 재-계산한다.
대체적인 비쥬얼 노이즈 식은 식 19 에 의해 주어진다. 인지 노이즈 식인 식 19 에서 kL 및 ka 는 단순한 상수 값이 아니고 소스 밝기 및 색도 값에 따른 파라미터이다. L 은 밝기 값이고, a 및 b 는 색도 값이다. 보여진 파라미터들은 정신물리 실험 뿐만 아니라 다른 기술들을 이용하여 결정될 수도 있다. 예를 들어, 노이즈 또는 신호에 대한 눈의 응답은 컬러 또는 밝기 값에 기초한다는 것이 관찰되었다. 오직 표준 편차에만 초점을 맞추는 메트릭과는 반대로, 이하의 실시형태들은 패치의 밝기에 의존하는 메트릭을 제공한다. 예를 들어, 도 17 에 도시된 바와 같이, 신호가 매우 밝거나 또는 매우 어두울 때, 눈은 노이즈에 대해 덜 민감하다. 밝기의 중심 영역에서, 감광도가 더 크다. 따라서, 밝기 강도는 노이즈에 대한 눈의 응답을 결정할 수도 있다.
Figure 112006001799118-pct00019
kL 과 L 사이의 관계가 도 17 에서 설명된다. kL 을 결정하는 것은 아래 의 테이블 1 에서 주어진 것과 같은 룩업 테이블에 의해 수행될 수도 있다.
[테이블 1]
Figure 112006001799118-pct00020
a 에 대한 ka 의 관계가 도 18 에 나타난다. 이 기능은 또한 아래의 테이블 2 에서 주어진 것과 같은 룩업 테이블을 이용하여 수행될 수도 있다.
[테이블 2]
Figure 112006001799118-pct00021
다양한 다른 함수가 테이블 1 및 2에서 도시된 함수를 대신할 수도 있다. 예를 들어, 정신물리 실험으로부터 결정되는 임의의 함수가 대신할 수도 있다. 예를 들어, 또 다른 실시형태에서, 도 17 또는 18에서 도시된 곡선은 계단식 선형 함수로 대체될 수도 있으며, 다소 편차를 포함할 수도 있다. 극값 또는 롤오프 (rolloff) 파라미터의 위치뿐만 아니라, 곡선의 형상이 변경될 수도 있다. 실 시예는 예시의 목적으로만 도시된다.
당업자는 다양한 서로 다른 기술 및 기법을 이용하여 정보 및 신호를 표현할 수도 있음을 알 수 있다. 예를 들어, 상기의 설명 전반에 걸쳐 참조될 수도 있는 데이터, 명령, 커맨드 (commands), 정보, 신호, 비트, 심볼, 및 칩은 전압, 전류, 전자기파, 자계 또는 자성 입자, 광계 또는 광자, 또는 이들의 조합으로 나타낼 수도 있다.
또한, 당업자는 여기에서 개시된 실시형태들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 회로들, 및 알고리즘 단계들을 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들의 조합으로 구현할 수도 있음을 알 수 있다. 하드웨어와 소프트웨어의 이러한 대체 가능성을 분명히 설명하기 위하여, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들을 주로 그들의 기능의 관점에서 상술하였다. 그러한 기능이 하드웨어로 구현될지 소프트웨어로 구현될지는 전체 시스템에 부과된 특정한 애플리케이션 및 설계 제약조건들에 의존한다. 당업자는 설명된 기능을 각각의 특정한 애플리케이션에 대하여 다양한 방식으로 구현할 수도 있지만, 그러한 구현의 결정이 본 발명의 범주를 벗어나도록 하는 것으로 해석하지는 않아야 한다.
여기에서 개시된 실시형태들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 및 회로들은 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 집적회로 (ASIC), 필드 프로그래머블 게이트 어레이 (FPGA), 또는 기타 프로그래머블 로직 디바이스, 개별 게이트 또는 트랜지스터 로직, 개별 하드웨어 컴포넌트들, 또 는 여기서 설명된 기능을 수행하도록 설계되는 이들의 임의의 조합으로 구현 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 다른 방법으로, 그 프로세서는 임의의 종래 프로세서, 제어기, 마이크로 제어기, 또는 상태 기계일 수도 있다. 또한, 프로세서는 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들 또는 임의의 기타 다른 구성물로 구현될 수도 있다.
여기에 개시된 실시형태들과 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어, 프로세서에 의해 실행되는 소프트웨어 모듈, 또는 그 2 개의 조합으로 직접 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM, 또는 당업계에 알려진 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 ASIC 내에 상주할 수도 있다. ASIC 는 사용자 단말기, 카메라, 또는 다른 디바이스 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기, 카메라, 또는 다른 디바이스 내에 개별 컴포넌트들로서 상주할 수도 있다.
참조 및 다양한 섹션을 위치시키기 위한 목적으로 제목이 포함된다. 이들 제목들은 설명된 개념의 범주를 제한하려는 것이 아니다. 이런 개념은 전체 명세서에 걸쳐 적용가능할 수도 있다.
개시되어 있는 실시형태들에 대한 상기의 설명은 당업자로 하여금 본 발명을 제조 또는 이용할 수 있도록 제공된다. 당업자는 이들 실시형태에 대한 다양한 변경들을 명백히 알 수 있으며, 여기에서 정의된 일반적인 원리들은 본 발명의 사상 또는 범위를 벗어나지 않고도 다른 실시형태들에 적용될 수도 있다. 따라서, 본 발명은 여기에서 설명된 실시형태들에 제한되는 것이 아니라, 여기에서 개시된 원리 및 신규한 특징들과 부합하는 최광의 범위를 부여하려는 것이다.

Claims (94)

  1. 색도를 강화하는 장치로서,
    복수의 매트릭스를 생성하는 수단;
    상기 복수의 매트릭스 중에서, 컬러를 이용하여 선택되는 하나의 매트릭스에 따라 상기 컬러의 색도를 강화하는 수단;
    상기 색도 강화된 컬러 및 타겟 값의 함수로서 메트릭을 계산하는 수단; 및
    상기 계산된 메트릭을 이용하여, 상기 복수의 매트릭스 중 하나 이상의 매트릭스를 변경하는 수단을 포함하는, 색도 강화 장치.
  2. 제 1 항에 있어서,
    상기 복수의 매트릭스를 생성하는 수단은 상기 복수의 매트릭스를 저장하기 위한 메모리를 포함하는, 색도 강화 장치.
  3. 제 1 항에 있어서,
    상기 색도를 강화하는 수단은 상기 복수의 매트릭스 중에서 선택된 매트릭스를 포함하는 제 2 매트릭스를 상기 컬러에 곱하기 위한 매트릭스 곱셈기를 포함하는, 색도 강화 장치.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 제 1 항에 있어서,
    상기 생성된 복수의 매트릭스는 미리 계산된, 색도 강화 장치.
  42. 제 1 항에 있어서,
    상기 컬러의 색도 강화는 메모리 컬러를 강화하는, 색도 강화 장치.
  43. 제 1 항에 있어서,
    상기 생성된 복수의 매트릭스를 최적화하는 수단을 더 포함하는, 색도 강화 장치.
  44. 제 43 항에 있어서,
    모드를 선택하는 수단을 더 포함하고,
    상기 생성된 복수의 매트릭스를 최적화하는 수단은 상기 선택된 모드에 따르는, 색도 강화 장치.
  45. 제 1 항에 있어서,
    상기 메트릭을 계산하는 수단은, 정확도 측정치를 포함하는, 색도 강화 장치.
  46. 제 45 항에 있어서,
    상기 색도 강화된 컬러 및 상기 타겟 값은, 상기 색도 강화된 컬러 및 타겟 값에 대해 각각의 L*, a* 및 b* 값을 포함하는 CIELab 포맷으로 계산되고, ΔL*, Δa*, 및 Δb* 는 그들 각각의 차이고, 상기 정확도 측정치는
    Figure 112010018125653-pct00046
    로서 계산되는, 색도 강화 장치.
  47. 제 1 항에 있어서,
    상기 메트릭을 계산하는 수단은 노이즈 측정치를 포함하는, 색도 강화 장치.
  48. 제 47 항에 있어서,
    상기 색도 강화된 컬러 및 상기 타겟 값은, 상기 색도 강화된 컬러 및 타겟 값에 대해 각각의 L*, a* 및 b* 값을 포함하는 CIELab 포맷으로 계산되고, ΔL*, Δa*, 및 Δb* 는 그들 각각의 차이고, σ2 L, σ2 a, 및 σ2 b 는 그들 각각의 분산이며, s는 상기 노이즈 측정치의 레벨을 조정하기 위한 계수이고, ωL, ωa, 및 ωb 는 각각의 가중 파라미터이며, 상기 노이즈 측정치는
    Figure 112010018125653-pct00047
    로서 계산되는, 색도 강화 장치.
  49. 제 48 항에 있어서,
    상기 색도 강화된 컬러 및 타겟 값은, 상기 색도 강화된 컬러 및 타겟 값에 대해 각각의 L*, a* 및 b* 값을 포함하는 CIELab 포맷으로 계산되고, ΔL*, Δa*, 및 Δb* 는 그들 각각의 차이고, σ2 L*, σ2 a*, 및 σ2 b* 는 그들 각각의 분산이며, κL* 는 명도에 대한 가중 파라미터이고, κa* 는 색도에 대한 가중 파라미터이며, 상기 노이즈 측정치는
    Figure 112010018125653-pct00048
    로서 계산되는, 색도 강화 장치.
  50. 제 48 항에 있어서,
    상기 노이즈 측정치는 명도에 적용되는 가중 인자를 사용하여 계산되는, 색도 강화 장치.
  51. 제 50 항에 있어서,
    명도에 대한 상기 가중 인자는, 임계값 초과의 명도에 대해 감소하는, 색도 강화 장치.
  52. 제 50 항에 있어서,
    명도에 대한 상기 가중 인자는, 임계값 미만의 명도에 대해 감소하는, 색도 강화 장치.
  53. 색도를 강화하는 장치로서,
    복수의 매트릭스를 생성하도록 구성된 모듈;
    상기 복수의 매트릭스 중에서, 컬러를 이용하여 선택되는 하나의 매트릭스에 따라 상기 컬러의 색도를 강화하도록 구성된 모듈;
    상기 색도 강화된 컬러 및 타겟 값의 함수로서 메트릭을 계산하도록 구성된 모듈; 및
    상기 계산된 메트릭을 이용하여, 상기 복수의 매트릭스 중 하나 이상의 매트릭스를 변경하도록 구성된 모듈을 포함하는, 색도 강화 장치.
  54. 제 53 항에 있어서,
    상기 복수의 매트릭스를 생성하도록 구성된 모듈은 상기 복수의 매트릭스를 저장하기 위한 메모리를 포함하는, 색도 강화 장치.
  55. 제 53 항에 있어서,
    상기 색도를 강화하도록 구성된 모듈은 상기 복수의 매트릭스 중에서 선택된 매트릭스를 포함하는 제 2 매트릭스를 상기 컬러에 곱하기 위한 매트릭스 곱셈기를 포함하는, 색도 강화 장치.
  56. 제 53 항에 있어서,
    상기 생성된 복수의 매트릭스는 미리 계산된, 색도 강화 장치.
  57. 제 53 항에 있어서,
    상기 생성된 복수의 매트릭스를 최적화하도록 구성된 모듈을 더 포함하는, 색도 강화 장치.
  58. 제 57 항에 있어서,
    모드를 선택하도록 구성된 모듈을 더 포함하고,
    상기 생성된 복수의 매트릭스를 최적화하도록 구성된 모듈은 상기 선택된 모드에 따르는, 색도 강화 장치.
  59. 제 53 항에 있어서,
    상기 메트릭을 계산하도록 구성된 모듈은, 정확도 측정치를 포함하는, 색도 강화 장치.
  60. 제 59 항에 있어서,
    상기 색도 강화된 컬러 및 상기 타겟 값은, 상기 색도 강화된 컬러 및 타겟 값에 대해 각각의 L*, a* 및 b* 값을 포함하는 CIELab 포맷으로 계산되고, ΔL*, Δa*, 및 Δb* 는 그들 각각의 차이고, 상기 정확도 측정치는
    Figure 112010018125653-pct00049
    로서 계산되는, 색도 강화 장치.
  61. 제 53 항에 있어서,
    상기 메트릭을 계산하도록 구성된 모듈은 노이즈 측정치를 포함하는, 색도 강화 장치.
  62. 제 61 항에 있어서,
    상기 색도 강화된 컬러 및 상기 타겟 값은, 상기 색도 강화된 컬러 및 타겟 값에 대해 각각의 L*, a* 및 b* 값을 포함하는 CIELab 포맷으로 계산되고, ΔL*, Δa*, 및 Δb* 는 그들 각각의 차이고, σ2 L, σ2 a, 및 σ2 b 는 그들 각각의 분산이며, s는 상기 노이즈 측정치의 레벨을 조정하기 위한 계수이고, ωL, ωa, 및 ωb 는 각각의 가중 파라미터이며, 상기 노이즈 측정치는
    Figure 112010018125653-pct00050
    로서 계산되는, 색도 강화 장치.
  63. 제 62 항에 있어서,
    상기 색도 강화된 컬러 및 타겟 값은, 상기 색도 강화된 컬러 및 타겟 값에 대해 각각의 L*, a* 및 b* 값을 포함하는 CIELab 포맷으로 계산되고, ΔL*, Δa*, 및 Δb* 는 그들 각각의 차이고, σ2 L*, σ2 a*, 및 σ2 b* 는 그들 각각의 분산이며, κL* 는 명도에 대한 가중 파라미터이고, κa* 는 색도에 대한 가중 파라미터이며, 상기 노이즈 측정치는
    Figure 112010018125653-pct00051
    로서 계산되는, 색도 강화 장치.
  64. 제 62 항에 있어서,
    상기 노이즈 측정치는 명도에 적용되는 가중 인자를 사용하여 계산되는, 색도 강화 장치.
  65. 제 64 항에 있어서,
    명도에 대한 상기 가중 인자는, 임계값 초과의 명도에 대해 감소하는, 색도 강화 장치.
  66. 제 64 항에 있어서,
    명도에 대한 상기 가중 인자는, 임계값 미만의 명도에 대해 감소하는, 색도 강화 장치.
  67. 색도를 강화하는 방법으로서,
    복수의 매트릭스를 생성하는 단계;
    상기 복수의 매트릭스 중에서, 컬러를 이용하여 선택되는 하나의 매트릭스에 따라 상기 컬러의 색도를 강화하는 단계;
    상기 색도 강화된 컬러 및 타겟 값의 함수로서 메트릭을 계산하는 단계; 및
    상기 계산된 메트릭을 이용하여, 상기 복수의 매트릭스 중 하나 이상의 매트릭스를 변경하는 단계를 포함하는, 색도 강화 방법.
  68. 제 67 항에 있어서,
    상기 복수의 매트릭스를 생성하는 단계는 상기 복수의 매트릭스를 저장하기 위한 메모리를 포함하는, 색도 강화 방법.
  69. 제 67 항에 있어서,
    상기 색도를 강화하는 단계는 상기 복수의 매트릭스 중에서 선택된 매트릭스를 포함하는 제 2 매트릭스를 상기 컬러에 곱하기 위한 매트릭스 곱셈기를 포함하는, 색도 강화 방법.
  70. 제 67 항에 있어서,
    상기 생성된 복수의 매트릭스는 미리 계산된, 색도 강화 방법.
  71. 제 67 항에 있어서,
    상기 생성된 복수의 매트릭스를 최적화하는 단계를 더 포함하는, 색도 강화 방법.
  72. 제 71 항에 있어서,
    모드를 선택하는 단계를 더 포함하고,
    상기 생성된 복수의 매트릭스를 최적화하는 단계는 상기 선택된 모드에 따르는, 색도 강화 방법.
  73. 제 67 항에 있어서,
    상기 메트릭을 계산하는 단계는, 정확도 측정치를 포함하는, 색도 강화 방법.
  74. 제 73 항에 있어서,
    상기 색도 강화된 컬러 및 상기 타겟 값은, 상기 색도 강화된 컬러 및 타겟 값에 대해 각각의 L*, a* 및 b* 값을 포함하는 CIELab 포맷으로 계산되고, ΔL*, Δa*, 및 Δb* 는 그들 각각의 차이고, 상기 정확도 측정치는
    Figure 112010018125653-pct00052
    로서 계산되는, 색도 강화 방법.
  75. 제 67 항에 있어서,
    상기 메트릭을 계산하는 단계는 노이즈 측정치를 포함하는, 색도 강화 방법.
  76. 제 75 항에 있어서,
    상기 색도 강화된 컬러 및 상기 타겟 값은, 상기 색도 강화된 컬러 및 타겟 값에 대해 각각의 L*, a* 및 b* 값을 포함하는 CIELab 포맷으로 계산되고, ΔL*, Δa*, 및 Δb* 는 그들 각각의 차이고, σ2 L, σ2 a, 및 σ2 b 는 그들 각각의 분산이며, s는 상기 노이즈 측정치의 레벨을 조정하기 위한 계수이고, ωL, ωa, 및 ωb 는 각각의 가중 파라미터이며, 상기 노이즈 측정치는
    Figure 112010018125653-pct00053
    로서 계산되는, 색도 강화 방법.
  77. 제 76 항에 있어서,
    상기 색도 강화된 컬러 및 타겟 값은, 상기 색도 강화된 컬러 및 타겟 값에 대해 각각의 L*, a* 및 b* 값을 포함하는 CIELab 포맷으로 계산되고, ΔL*, Δa*, 및 Δb* 는 그들 각각의 차이고, σ2 L*, σ2 a*, 및 σ2 b* 는 그들 각각의 분산이며, κL* 는 명도에 대한 가중 파라미터이고, κa* 는 색도에 대한 가중 파라미터이며, 상기 노이즈 측정치는
    Figure 112010018125653-pct00054
    로서 계산되는, 색도 강화 방법.
  78. 제 76 항에 있어서,
    상기 노이즈 측정치는 명도에 적용되는 가중 인자를 사용하여 계산되는, 색도 강화 방법.
  79. 제 78 항에 있어서,
    명도에 대한 상기 가중 인자는, 임계값 초과의 명도에 대해 감소하는, 색도 강화 방법.
  80. 제 78 항에 있어서,
    명도에 대한 상기 가중 인자는, 임계값 미만의 명도에 대해 감소하는, 색도 강화 방법.
  81. 색도 강화를 수행하는 컴퓨터 판독가능 매체로서, 상기 컴퓨터 판독가능 매체는, 수행시 프로그래머블 프로세서로 하여금 방법을 수행하도록 하는 명령들을 포함하고, 상기 방법은,
    복수의 매트릭스를 생성하는 단계;
    상기 복수의 매트릭스 중에서, 컬러를 이용하여 선택되는 하나의 매트릭스에 따라 상기 컬러의 색도를 강화하는 단계;
    상기 색도 강화된 컬러 및 타겟 값의 함수로서 메트릭을 계산하는 단계; 및
    상기 계산된 메트릭을 이용하여, 상기 복수의 매트릭스 중 하나 이상의 매트릭스를 변경하는 단계를 포함하는, 컴퓨터 판독가능 매체.
  82. 제 81 항에 있어서,
    상기 복수의 매트릭스를 생성하는 단계는 상기 복수의 매트릭스를 저장하기 위한 메모리를 포함하는, 컴퓨터 판독가능 매체.
  83. 제 81 항에 있어서,
    상기 색도를 강화하는 단계는 상기 복수의 매트릭스 중에서 선택된 매트릭스를 포함하는 제 2 매트릭스를 상기 컬러에 곱하기 위한 매트릭스 곱셈기를 포함하는, 컴퓨터 판독가능 매체.
  84. 제 81 항에 있어서,
    상기 생성된 복수의 매트릭스는 미리 계산된, 컴퓨터 판독가능 매체.
  85. 제 81 항에 있어서,
    상기 방법은, 상기 생성된 복수의 매트릭스를 최적화하는 단계를 더 포함하는, 컴퓨터 판독가능 매체.
  86. 제 85 항에 있어서,
    상기 방법은, 모드를 선택하는 단계를 더 포함하고,
    상기 생성된 복수의 매트릭스를 최적화하는 단계는 상기 선택된 모드에 따르는, 컴퓨터 판독가능 매체.
  87. 제 81 항에 있어서,
    상기 메트릭을 계산하는 단계는, 정확도 측정치를 포함하는, 컴퓨터 판독가능 매체.
  88. 제 87 항에 있어서,
    상기 색도 강화된 컬러 및 상기 타겟 값은, 상기 색도 강화된 컬러 및 타겟 값에 대해 각각의 L*, a* 및 b* 값을 포함하는 CIELab 포맷으로 계산되고, ΔL*, Δa*, 및 Δb* 는 그들 각각의 차이고, 상기 정확도 측정치는
    Figure 112010018125653-pct00055
    로서 계산되는, 컴퓨터 판독가능 매체.
  89. 제 81 항에 있어서,
    상기 메트릭을 계산하는 단계는 노이즈 측정치를 포함하는, 컴퓨터 판독가능 매체.
  90. 제 89 항에 있어서,
    상기 색도 강화된 컬러 및 상기 타겟 값은, 상기 색도 강화된 컬러 및 타겟 값에 대해 각각의 L*, a* 및 b* 값을 포함하는 CIELab 포맷으로 계산되고, ΔL*, Δa*, 및 Δb* 는 그들 각각의 차이고, σ2 L, σ2 a, 및 σ2 b 는 그들 각각의 분산이며, s는 상기 노이즈 측정치의 레벨을 조정하기 위한 계수이고, ωL, ωa, 및 ωb 는 각각의 가중 파라미터이며, 상기 노이즈 측정치는
    Figure 112010018125653-pct00056
    로서 계산되는, 컴퓨터 판독가능 매체.
  91. 제 90 항에 있어서,
    상기 색도 강화된 컬러 및 타겟 값은, 상기 색도 강화된 컬러 및 타겟 값에 대해 각각의 L*, a* 및 b* 값을 포함하는 CIELab 포맷으로 계산되고, ΔL*, Δa*, 및 Δb* 는 그들 각각의 차이고, σ2 L*, σ2 a*, 및 σ2 b* 는 그들 각각의 분산이며, κL* 는 명도에 대한 가중 파라미터이고, κa* 는 색도에 대한 가중 파라미터이며, 상기 노이즈 측정치는
    Figure 112010018125653-pct00057
    로서 계산되는, 컴퓨터 판독가능 매체.
  92. 제 90 항에 있어서,
    상기 노이즈 측정치는 명도에 적용되는 가중 인자를 사용하여 계산되는, 컴퓨터 판독가능 매체.
  93. 제 92 항에 있어서,
    명도에 대한 상기 가중 인자는, 임계값 초과의 명도에 대해 감소하는, 컴퓨터 판독가능 매체.
  94. 제 92 항에 있어서,
    명도에 대한 상기 가중 인자는, 임계값 미만의 명도에 대해 감소하는, 컴퓨터 판독가능 매체.
KR1020067000676A 2004-06-10 2005-06-06 고급 색도 강화 KR100993153B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US57911304P 2004-06-10 2004-06-10
US60/579,113 2004-06-10
US11/136,979 US7724949B2 (en) 2004-06-10 2005-05-25 Advanced chroma enhancement
US11/, 2006-01-31

Publications (2)

Publication Number Publication Date
KR20070026286A KR20070026286A (ko) 2007-03-08
KR100993153B1 true KR100993153B1 (ko) 2010-11-09

Family

ID=35460104

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067000676A KR100993153B1 (ko) 2004-06-10 2005-06-06 고급 색도 강화

Country Status (5)

Country Link
US (1) US7724949B2 (ko)
KR (1) KR100993153B1 (ko)
BR (1) BRPI0505684A (ko)
IL (1) IL173040A0 (ko)
WO (1) WO2005125177A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7792814B2 (en) * 2005-09-30 2010-09-07 Sap, Ag Apparatus and method for parsing unstructured data
KR100647402B1 (ko) * 2005-11-01 2006-11-23 매그나칩 반도체 유한회사 이미지 센서의 화질개선장치 및 그 방법
US20080018663A1 (en) * 2006-07-18 2008-01-24 Sitronix Technology Corp. Access structure for internal memory of driving control elements
WO2009009745A1 (en) * 2007-07-11 2009-01-15 Benjamin Moore & Co. Color selection system
TWI423166B (zh) * 2009-12-04 2014-01-11 Huper Lab Co Ltd 判斷輸入影像是否為霧化影像之方法、判斷輸入影像的霧級數之方法及霧化影像濾清方法
US8704909B2 (en) * 2010-02-23 2014-04-22 Apple Inc. Systems and methods for efficiently coding and processing image data
EP2557789B1 (en) 2011-08-09 2017-09-27 Dolby Laboratories Licensing Corporation Guided image up-sampling in video coding
US8928781B2 (en) * 2011-11-30 2015-01-06 Microsoft Corporation Response function determination by rank minimization
CN104025583B (zh) * 2011-12-28 2016-10-19 富士胶片株式会社 图像处理装置、方法及摄像装置
US20170374394A1 (en) * 2015-01-05 2017-12-28 Thomson Licensing Method and apparatus for provision of enhanced multimedia content
CN107836116B (zh) * 2015-07-08 2021-08-06 交互数字麦迪逊专利控股公司 用于使用交叉平面滤波的增强色度编码的方法和装置
US10600213B2 (en) * 2016-02-27 2020-03-24 Focal Sharp, Inc. Method and apparatus for color-preserving spectrum reshape
KR20220063575A (ko) * 2020-11-10 2022-05-17 삼성전자주식회사 색분리 렌즈 어레이를 적용한 영상 획득 장치 및 방법
US11297294B1 (en) * 2021-05-20 2022-04-05 Shenzhen Jifu Technology Co, Ltd Color enhancement of endoscopic image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030164828A1 (en) * 2001-09-25 2003-09-04 Konica Corporation Image processing method, apparatus and system, evaluation method for photographing apparatus, image data storage method, and data structure of image data file
US20030176281A1 (en) * 2002-03-13 2003-09-18 Hultgren Bror O. Choice of chromophores in two color imaging systems
US20040013296A1 (en) * 2002-06-21 2004-01-22 Yasuo Aotsuka Color image signal processing method and color image outputting device and imaging device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5181105A (en) * 1986-05-30 1993-01-19 Canon Kabushiki Kaisha Color image correction based on characteristics of a highlights or other predetermined image portion
IL101197A (en) * 1992-03-10 1996-01-19 Scitex Corp Ltd Device and method for character color transformations
JP3624604B2 (ja) * 1996-12-28 2005-03-02 株式会社ニコン 撮像装置の色再現補正装置および補正方法
JP2923894B1 (ja) * 1998-03-31 1999-07-26 日本電気株式会社 光源判定方法、肌色補正方法、カラー画像補正方法、光源判定装置、肌色補正装置、カラー画像補正装置及びコンピュータ読み取り可能な記録媒体
JP3847965B2 (ja) * 1998-07-30 2006-11-22 キヤノン株式会社 撮像装置
JP3634730B2 (ja) * 2000-09-18 2005-03-30 三洋電機株式会社 色調補正回路および色相補正回路
EP1231565A1 (en) 2001-02-09 2002-08-14 GRETAG IMAGING Trading AG Image colour correction based on image pattern recognition, the image pattern including a reference colour

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030164828A1 (en) * 2001-09-25 2003-09-04 Konica Corporation Image processing method, apparatus and system, evaluation method for photographing apparatus, image data storage method, and data structure of image data file
US20030176281A1 (en) * 2002-03-13 2003-09-18 Hultgren Bror O. Choice of chromophores in two color imaging systems
US20040013296A1 (en) * 2002-06-21 2004-01-22 Yasuo Aotsuka Color image signal processing method and color image outputting device and imaging device

Also Published As

Publication number Publication date
US20050275736A1 (en) 2005-12-15
US7724949B2 (en) 2010-05-25
WO2005125177A1 (en) 2005-12-29
BRPI0505684A (pt) 2006-10-24
KR20070026286A (ko) 2007-03-08
IL173040A0 (en) 2006-06-11

Similar Documents

Publication Publication Date Title
KR100993153B1 (ko) 고급 색도 강화
US6285398B1 (en) Charge-coupled device video camera with raw data format output and software implemented camera signal processing
EP1009161B1 (en) Image-processing apparatus and image-processing method
EP1558022A2 (en) Image processing apparatus, method and program, image pickup apparatus and image data output method and program
US9342872B2 (en) Color correction parameter computation method, color correction parameter computation device, and image output system
JP2005210370A (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
JP2007259344A (ja) 撮像装置および画像処理方法
EP1805982B1 (en) Apparatus, system, and method for optimizing gamma curves for digital image devices
WO2008062874A1 (fr) Procédé de traitement d'image, programme de traitement d'image, dispositif et caméra de traitement d'image
US20020071041A1 (en) Enhanced resolution mode using color image capture device
US20120188399A1 (en) Methods and Systems for Automatic White Balance
US20200228770A1 (en) Lens rolloff assisted auto white balance
JP4677699B2 (ja) 画像処理方法、画像処理装置、撮影装置評価方法、画像情報保存方法および画像処理システム
JP2005210495A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20100238317A1 (en) White balance processing apparatus, method for processing white balance, and white balance processing program
KR20070091208A (ko) 자동 백색 밸런스 제어
US6507667B1 (en) Color digital imaging apparatus having a rule-based hue-shift processor
US7184174B2 (en) Color picture signal processing method and color picture using the method
TWI415480B (zh) 影像處理方法與影像處理系統
US11501412B2 (en) Image processing apparatus, imaging apparatus, image processing method, and image processing program
US20050134705A1 (en) Digital image processing apparatus and method thereof
US7965322B2 (en) Color correction on an image
US20200228769A1 (en) Lens rolloff assisted auto white balance
US20040119860A1 (en) Method of colorimetrically calibrating an image capturing device
JP4037276B2 (ja) 固体撮像装置及びデジタルカメラ並びに色信号処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131030

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141030

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150930

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161028

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170929

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180928

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190924

Year of fee payment: 10