KR20060131754A - 이미지 데이터 변환 절차를 효과적으로 수행하는 시스템 및방법 - Google Patents

이미지 데이터 변환 절차를 효과적으로 수행하는 시스템 및방법 Download PDF

Info

Publication number
KR20060131754A
KR20060131754A KR1020067010089A KR20067010089A KR20060131754A KR 20060131754 A KR20060131754 A KR 20060131754A KR 1020067010089 A KR1020067010089 A KR 1020067010089A KR 20067010089 A KR20067010089 A KR 20067010089A KR 20060131754 A KR20060131754 A KR 20060131754A
Authority
KR
South Korea
Prior art keywords
conversion
image data
parameter
manager
transform
Prior art date
Application number
KR1020067010089A
Other languages
English (en)
Other versions
KR101137611B1 (ko
Inventor
파르한 에이. 바카이
테드 제이. 쿠퍼
아끼라 마쯔이
겐이찌 니시오
Original Assignee
소니 일렉트로닉스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 일렉트로닉스 인코포레이티드 filed Critical 소니 일렉트로닉스 인코포레이티드
Publication of KR20060131754A publication Critical patent/KR20060131754A/ko
Application granted granted Critical
Publication of KR101137611B1 publication Critical patent/KR101137611B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/40—Circuit details for pick-up tubes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Image Communication Systems (AREA)
  • Picture Signal Circuits (AREA)

Abstract

이미지 데이터 변환 절차를 효과적으로 수행하는 시스템 및 방법은 피사체에 대응하는 1차 이미지 데이터를 캡처하도록 구현되어 있는 전자 카메라 장치를 포함할 수 있다. 전자 카메라 장치 내의 변환 관리자는, 2차 이미지 데이터에서의 노이즈 특성을 최소화하기 위해, 최적화 메트릭을 이용하여 최적화되어 있는 선택가능한 변환 파라미터를 이용함으로써 1차 이미지 데이터를 2차 이미지 데이터로 변환하도록 구성될 수 있다. 변환 파라미터는 이미지 데이터 변환 절차를 수행할 시에 변환 관리자가 사용하기 위해 전자 카메라 장치 내의 파라미터 룩업 테이블에 저장될 수 있다.
이미지 데이터 변환, 변환 파라미터, 파라미터 룩업 테이블, 카메라 장치

Description

이미지 데이터 변환 절차를 효과적으로 수행하는 시스템 및 방법{SYSTEM AND METHOD FOR EFFECTIVELY PERFORMING AN IMAGE DATA TRANSFORMATION PRODEDURE}
본 발명은 일반적으로 데이터를 처리하는 기술에 관한 것으로서, 보다 상세하게는 이미지 데이터 변환 절차를 효과적으로 수행하는 시스템 및 방법에 관한 것이다.
데이터를 처리하는 효율적인 방법을 구현하는 것은 최신 전자 장치의 설계자 및 제조업자의 중요한 관심사이다. 그렇지만, 전자 장치에서 데이터를 효과적으로 처리하는 일은 시스템 설계자에게 상당한 도전을 가져올 수 있다. 예를 들어, 향상된 장치 기능 및 성능에 대한 요구의 증대는 더 많은 시스템 처리 능력을 필요로 하고 또 부가의 하드웨어 자원을 필요로 할 수 있다. 프로세싱 또는 하드웨어 요구사항의 증가는 또한 증가된 생산 비용 및 동작상 비효율성으로 인해 대응하는 부정적인 경제적 효과를 가져올 수 있다.
게다가, 여러가지 향상된 동작을 수행할 수 있는 개량된 장치 기능은 시스템 사용자에게 부가적인 이점을 제공할 수 있지만, 여러가지 장치 컴포넌트의 제어 및 관리를 더 많이 필요로 할 수 있다. 예를 들어, 디지털 이미지 데이터를 효율적으로 캡처하고 처리하는 개량된 전자 장치는 관련 디지털 데이터의 많은 양 및 복잡 성으로 인해 효율적인 구현으로부터 이득을 볼 수 있다.
디지털 이미지 데이터를 캡처하는 어떤 전자 카메라에서, 이미지 데이터의 포맷을 변경하기 위한 여러가지 변환 절차가 필요할 수 있다. 시스템 자원에 대한 요구의 증가 및 데이터량의 상당한 증대로 인해, 데이터를 처리하는 새로운 기술을 개발하는 것이 관련 전자 기술의 관심사임은 명백하다. 따라서, 상기한 이유들 모두로 인해, 데이터를 처리하는 효율적인 시스템을 개발하는 것은 최신 전자 장치의 설계자, 제조업자 및 사용자의 중요 관심사로 남아 있다.
본 발명에 따르면, 이미지 데이터 변환 절차를 효과적으로 수행하는 시스템 및 방법이 개시되어 있다. 일 실시예에서, 오프라인 설계 절차 동안에, 상기한 이미지 데이터 변환 절차를 수행하는 최적화된 변환 파라미터의 원하는 범위를 지정하기 위해 변환 파라미터 한계가 정의될 수 있다. 게다가, 여러가지 조건 하에서의 노이즈 특성에 대해 컬러 패치(color patch)의 대표 패치 세트(representative patch set)를 평가하기 위해 최적화 메트릭(optimization metric)이 정의될 수 있다.
이어서, 대표 패치 세트의 현재 발광체(illuminant)가 측정 및 기록될 수 있다. 그 다음에, 대표 패치 세트 중의 컬러 패치 각각이 여러가지 원하는 색상 및 밝기(brightness) 특성을 결정하기 위해 측정될 수 있다. 본 발명에 따르면, 최적화된 변환 파라미터는 최적화 메트릭을 최소화하도록 주의깊게 선택될 수 있으며 그에 의해 이 최적화 메트릭은 대응하는 이미지 데이터에서의 노이즈 량을 최소화시킨다. 상기한 프로세스는 여러가지 카메라 이득에서 각각의 원하는 발광체에 대한 부가의 최적화된 변환 파라미터를 선택하기 위해 반복될 수 있다. 마지막으로, 각각의 발광체 및 카메라 이득에 대해 최적화된 변환 파라미터가 선택되었을 때, 최적화된 변환 파라미터를 전자 카메라 장치에 저장하기 위해 파라미터 룩업 테이블이 생성될 수 있다.
온라인 절차에서, 적절한 카메라 이득은 원하는 피사체의 현재 조명 상태에 따라 전자 카메라 장치에 의해 초기에 결정 및 저장될 수 있다. 이어서, 전자 카메라 장치는 피사체의 현재 발광체를 평가 및 저장할 수 있다. 전자 카메라 장치의 변환 관리자는 이미지 데이터 변환 절차를 수행하기 위해 상기한 파라미터 룩업 테이블 중 하나 또는 그 이상에 액세스할 수 있다.
어떤 실시예에서, 변환 관리자는 피사체의 현재 카메라 이득 및 현재 발광체에 가장 가까운 최적화된 변환 파라미터를 보간하기 위해 파라미터 룩업 테이블을 이용할 수 있다. 그 다음에, 변환 관리자는 전자 카메라 장치의 카메라 레지스터에 적절한 최적화된 변환 파라미터를 로드할 수 있고 또 본 발명에 따라 하나 또는 그 이상의 이미지 데이터 변환 절차를 수행하기 위해 최적화된 변환 파라미터를 이용할 수 있다. 본 발명은 따라서 이미지 데이터 변환 절차를 효과적으로 수행하는 개선된 시스템 및 방법을 제공한다.
도 1은 본 발명에 따른 카메라 장치의 일 실시예의 블록도.
도 2는 본 발명에 따른 도 1의 메모리의 일 실시예의 블록도.
도 3은 본 발명에 따른 변환 행렬의 일 실시예를 나타낸 도면.
도 4는 본 발명에 따른, 표준 노이즈 편차를 결정하는 일 실시예를 나타낸 그래프.
도 5는 본 발명에 따른 파라미터 룩업 테이블의 일 실시예를 나타낸 도면.
도 6은 본 발명의 일 실시예에 따른, 최적화된 변환 파라미터를 결정하는 오프-라인 절차를 수행하는 방법 단계들의 플로우차트.
도 7은 본 발명의 일 실시예에 따른, 최적화된 변환 파라미터를 이용하는 온-라인 절차를 수행하는 방법 단계들의 플로우차트.
본 발명은 데이터 처리 기술의 개선에 관한 것이다. 이하의 설명은 당업자가 본 발명을 제조 및 사용할 수 있게 해주기 위해 제공되며 또 특허 출원 및 그의 요건과 관련하여 제공된다. 개시된 실시예에 대한 여러가지 수정은 당업자에게는 곧바로 자명하며 본 명세서에서의 일반 원리는 다른 실시예들에게 적용될 수 있다. 따라서, 본 발명은 도시된 실시예로 제한되어서는 안되며 본 명세서에 기술된 원리 및 특징과 부합하는 최광의 범위를 부여받아야 한다.
본 발명은 이미지 데이터 변환 절차를 효과적으로 수행하는 시스템 및 방법을 포함하며 또 피사체에 대응하는 1차 이미지 데이터를 캡처하도록 구현되어 있는 전자 카메라 장치를 포함할 수 있다. 전자 카메라 장치 내의 변환 관리자는, 2차 이미지 데이터에서의 노이즈 특성을 최소화하기 위해, 최적화 메트릭을 이용하여 최적화되어 있는 선택가능한 변환 파라미터를 이용함으로써 1차 이미지 데이터를 2 차 이미지 데이터로 변환하도록 구성될 수 있다. 변환 파라미터는 이미지 데이터 변환 절차를 수행할 시에 변환 관리자가 사용하기 위해 전자 카메라 장치 내의 파라미터 룩업 테이블에 저장될 수 있다.
이제, 도 1을 참조하면, 본 발명에 따른 카메라 장치(110)의 일 실시예에 대한 블록도가 도시되어 있다. 도 1의 실시예에서, 카메라 장치(110)는 캡처 서브시스템(118), 시스템 버스(138) 및 제어 모듈(114)을 포함할 수 있지만, 이에 한정되는 것은 아니다. 도 1의 실시예에서, 캡처 서브시스템(118)은 대상 물체(target object)에 광학적으로 연결될 수 있으며, 또한 시스템 버스(138)를 통해 제어 모듈(114)에 전기적으로 연결될 수 있다.
대체 실시예에서, 카메라 장치(110)는 도 4의 실시예와 관련하여 기술한 컴포넌트들에 부가하여 또는 그 대신에 여러가지 다른 컴포넌트를 쉽게 포함할 수 있다. 게다가, 어떤 실시예들에서, 본 발명은 다른 대안으로서 도 1의 카메라 장치(110)가 아닌 임의의 적절한 형태의 전자 장치에서 구현될 수 있다. 예를 들어, 카메라 장치(110)는 스캐너 장치 또는 비디오 카메라 장치로서 용이하게 구현될 수 있다.
도 1의 실시예에서, 시스템 사용자가 캡처 서브시스템(118)의 초점을 대상 물체에 맞추고 대상 물체에 대응하는 이미지 데이터를 캡처하도록 카메라 장치(110)에 요청한 경우, 제어 모듈(114)은 양호하게는 대상 물체를 나타내는 이미지 데이터를 캡처하도록 시스템 버스(138)를 통해 캡처 서브시스템(118)에 지시한다. 캡처된 이미지 데이터는 이어서 시스템 버스(138)를 통해 제어 모듈(114)로 전송되고, 제어 모듈(114)은 이에 응답하여 이 이미지 데이터로 여러가지 프로세스 및 기능을 수행할 수 있다. 시스템 버스(138)는 또한 캡처 서브시스템(118)과 제어 모듈(114) 사이에서 여러가지 상태 및 제어 신호를 양방향으로 전달할 수 있다.
어떤 실시예에서, 카메라 장치(110)는 현재 대상 물체의 발광체(illuminant)를 결정하는 발광체 평가 수단(illuminant estimation means)을 포함할 수 있다. 예를 들어, 카메라 장치(110)는 현재 발광체를, 특정 색온도의 주광(daylight), 형광(fluorescent light) 또는 백열광(incandescent light) 등의 임의의 적절한 광원인 것으로 평가할 수 있다. 게다가, 카메라 장치(110)는 현재 대상 물체에 관한 밝기 상태(brightness condition)를 보상하기 위해 카메라 장치(110)의 카메라 이득을 변경하는 카메라 이득 조정 수단을 포함할 수 있다. 예를 들어, 카메라 장치(110)는 대상 물체의 어두운 조명 상태를 보상하기 위해 카메라 이득을 증가시킬 수 있으며, 또한 대상 물체의 밝은 조명 상태를 보상하기 위해 카메라 이득을 감소시킬 수도 있다.
도 1의 실시예에서, 캡처 서브시스템(118)은 광로를 따라 이미지 센서에 충돌하는 반사된 광을 통해 대상 물체에 대응하는 이미지 데이터를 캡처하는 이미지 센서를 포함할 수 있지만 이에 한정되는 것은 아니다. 이미지 센서(이 이미지 센서는 양호하게는 전하 결합 소자(charge-coupled device, CCD)를 포함할 수 있음)는 이에 응답하여 대상 물체를 나타내는 일련의 이미지 데이터를 생성할 수 있다. 이미지 데이터는 이어서 적절한 프로세싱 및 저장을 위해 시스템 버스(138)를 거쳐 제어 모듈(114)로 보내질 수 있다. 본 발명과 관련하여 이미지 데이터를 캡처하 기 위해 CMOS 또는 선형 어레이 등의 다른 유형의 이미지 캡처 센서도 역시 생각된다. 예를 들어, 이미지 캡처 센서는 3개 또는 그 이상의 원색 채널을 포함할 수 있다(예를 들어, 적색/녹색/청색(RGB) 또는 시안/마젠타/황색/녹색(C/M/Y/G)이 생각될 수 있다).
도 1의 실시예에서, 제어 모듈(114)은 양호하게는 뷰파인더(134), 중앙 처리 장치(CPU)(122), 메모리(126), 및 하나 또는 그 이상의 입력/출력 인터페이스(I/O)(130)를 포함하지만, 이에 한정되는 것은 아니다. 뷰파인더(134), CPU(122), 메모리(126) 및 I/O(130)는 양호하게는 각각 공통 시스템 버스(138)에 연결되어 이를 통해 통신하고, 이 공통 시스템 버스(138)는 또한 캡처 서브시스템(118)과도 통신한다. 대체 실시예에서, 제어 모듈(114)은 도 1의 실시예와 관련하여 전술한 컴포넌트에 부가하여 또는 그 대신에 여러가지 다른 컴포넌트를 쉽게 포함할 수 있다.
도 1의 실시예에서, CPU(122)는 양호하게는 임의의 적절한 마이크로프로세서 장치를 포함하도록 구현될 수 있다. 다른 대안으로서, CPU(122)는 임의의 다른 적절한 기술을 사용하여 구현될 수 있다. 예를 들어, CPU(122)는 어떤 ASIC(application-specific integrated circuit, 주문형 반도체) 또는 다른 적절한 전자 장치를 포함하도록 구현될 수 있다. 메모리(126)는 양호하게는 판독 전용 메모리, 랜덤 액세스 메모리, 및 플로피 디스크 장치, 하드 디스크 장치 또는 플래쉬 메모리 등의 여러가지 유형의 비휘발성 메모리를 비롯한 하나 또는 그 이상의 적절한 저장 장치로서 구현될 수 있다. I/O(130)는 양호하게는 카메라 장치(110)와 시 스템 사용자 또는 다른 전자 장치를 비롯한 임의의 외부 개체 간의 양방향 통신을 용이하게 해주기 위한 하나 또는 그 이상의 효과적인 인터페이스를 제공할 수 있다. I/O(130)는 임의의 적절한 입력 및/또는 출력 장치를 사용하여 구현될 수 있다. 카메라 장치(110)의 기능 및 이용에 대해서는 도 2 내지 도 7과 관련하여 이하에서 상세히 기술한다.
이제 도 2를 참조하면, 본 발명에 따른 도 1의 메모리의 일 실시예에 대한 블록도가 도시되어 있다. 도 2의 실시예에서, 메모리(126)는 양호하게는 카메라 애플리케이션(212), 오퍼레이팅 시스템(214), 변환 관리자(216), RGB 이미지 데이터(218), YCbCr 이미지 데이터(220), 압축된 이미지 데이터(222), 임시 저장소(224) 및 기타 정보(226)를 포함할 수 있지만, 이에 한정되는 것은 아니다. 대체 실시예에서, 메모리(126)는 도 2의 실시예와 관련하여 기술한 컴포넌트들에 부가하여 또는 그 대신에 여러가지 다른 컴포넌트를 쉽게 포함할 수 있다.
도 2의 실시예에서, 카메라 애플리케이션(212)은 양호하게는 카메라 장치(110)의 여러가지 기능 및 동작을 수행하기 위해 CPU(122)(도 1)에 의해 실행되는 프로그램 명령어를 포함할 수 있다. 카메라 애플리케이션(212)의 특별한 특성 및 기능은 양호하게는 대응하는 카메라 장치(110)의 유형 및 특별한 용도 등의 요인에 따라 달라지게 된다.
도 2의 실시예에서, 오퍼레이팅 시스템(214)은 양호하게는 카메라 장치(110)의 하위-레벨 기능을 제어 및 조정한다. 본 발명에 따르면, 변환 관리자(216)는 양호하게는 카메라 장치(110)에 의해 캡처된 이미지 데이터에 대한 하나 또는 그 이상의 이미지 데이터 변환 절차를 제어 및 조정할 수 있다. 변환 관리자(216)의 기능에 대해서는 도 3 내지 도 7과 관련하여 이하에서 상세히 기술한다.
도 2의 실시예에서, RGB 이미지 데이터(218), YCbCr 이미지 데이터(220), 및 압축된 이미지 데이터(222)는 카메라 장치(110)에 의해 최초로 캡처된 여러가지 포맷의 이미지 데이터를 포함할 수 있다. 임시 저장소(224)는 임의의 적절한 유형의 정보 또는 데이터를 위한 저장 장소를 임시적으로 제공할 수 있다. 기타 정보(226)는 카메라 장치(110)에 의해 수행되는 여러가지 기능을 용이하게 해주기 위한 임의의 원하는 소프트웨어 명령어, 데이터 또는 다른 정보를 포함할 수 있다.
이제 도 3을 참조하면, 본 발명에 따른 변환 행렬(310)의 일 실시예 대한 다이어그램이 도시되어 있다. 본 발명의 대체 실시예들에서, 변환 관리자(216)는 도 3의 실시예와 관련하여 기술되는 것과 다른 여러가지 기술들을 곧바로 사용할 수 있다.
본 발명에 따르면, 변환 관리자(216)(도 2) 또는 다른 적절한 개체는 RGB 이미지 데이터(218)(또는 다른 적절한 원색 이미지 데이터)를 대응하는 YCbCr 이미지 데이터(220)로 변환하기 위해 변환 행렬(310)로부터의 변환 파라미터를 이용할 수 있다. 본 발명의 어떤 실시예들에서, 변환 관리자(216)는 이와 유사하게 원색 이미지 데이터를 YCbCr 이미지 데이터(220)와 다른 적절한 포맷으로 변환하기 위해 변환 행렬(310)을 이용할 수 있다.
도 3의 실시예에서, 변환 행렬(310)은 루미넌스 변환 파라미터인 첫번째 행(314), Cb 변환 파라미터인 두번째 행(330) 및 Cr 변환 파라미터인 세번째 행(334)을 포함할 수 있다. 도 3의 실시예에서, 루미넌스 변환 파라미터인 상기한 첫번째 행(314)은 제1 루미넌스 변환 파라미터 "a"(318), 제2 루미넌스 변환 파라미터 "b"(322), 및 제3 루미넌스 변환 파라미터 "c"(326)를 포함할 수 있다.
어떤 실시예들에서, 변환 행렬(310)은 YCbCr 이미지 데이터(220)의 MPEG 이미지 데이터 등의 적절한 유형의 압축된 이미지 데이터(222)로의 차후의 변환을 용이하게 해주기 위해, 이미지 데이터 변환 절차를 수행하여 RGB 이미지 데이터(218)를 YCbCr 이미지 데이터(220)로 변환하는 데 변환 행렬(310)을 이용할 수 있다. YCbCr 포맷은 텔레비전 업계에서 이용되는 표준 컬러 공간이다. 도 3의 실시예에서, 상기한 이미지 데이터 변환 절차는 Cb 변환 파라미터인 두번째 행(330)으로 "Cb"를 계산하기 위해 공지의 "권고안 601" 표준(Recommendation 601 standard)으로부터의 종래의 변환 파라미터를 이용할 수 있다. 권고안 601은 보다 공식적으로는 권고안 ITU-R(이전에는 CCIR이라 함) BT.601-4, "Encoding Parameters Of Digital Television For Studios"(1990년, 제네바:ITU)로서 알려져 있다. 이와 유사하게, 상기한 이미지 데이터 변환 절차는 Cr 변환 파라미터인 세번째 행(330)으로 "Cr"을 계산하기 위해 공지의 "권고안 601"로부터의 종래의 변환 파라미터를 이용할 수 있다.
"권고안 610" 표준으로부터의 변환 파라미터를 이용하면, "Cb"는 그에 따라 이하의 식
Cb = dR + eG + fB
로 기술될 수 있으며, 여기서 "R, G 및 B"는 RGB 이미지 데이터(218)로부터 의 원색값이고, "d, e 및 f"는 변환 행렬(310) 중의 Cb 변환 파라미터인 두번째 행(330)으로부터의 변환 파라미터이다.
이와 유사하게, "권고안 610" 표준으로부터의 변환 파라미터를 이용하면, "Cr"은 그에 따라 이하의 식
Cr = gR + hG + iB
로 기술될 수 있으며, 여기서 "R, G 및 B"는 RGB 이미지 데이터(218)로부터의 원색값이고, "g, h 및 i"는 변환 행렬(310) 중의 Cr 변환 파라미터인 세번째 행(334)으로부터의 변환 파라미터이다.
본 발명에 따르면, 변환 관리자(216)는 또한 유익하게도 이하의 식
Y1 = aR + bG + cB
에 따라 제1 루미넌스 값 "Y1"을 계산하기 위해 변환 파라미터(318, 322, 326)를 선택할 수 있으며, 여기서 "R, G 및 B"는 RGB 이미지 데이터(218)로부터의 원색값이고, "a b 및 c"는 변환 행렬(310)의 루미넌스 변환 파라미터인 첫번째 행(314)으로부터의 변환 파라미터이다.
도 3의 실시예에서, 루미넌스 변환 파라미터인 첫번째 행(314)은 또한 루미넌스 변환 파라미터를 나타내기 위해 다른 대안으로서 표현될 수 있다. 예를 들어, 제1 루미넌스 변환 파라미터 "a"(318)는 다른 대안으로서 "k1"으로서 표현될 수 있고, 제2 루미넌스 변환 파라미터 "b"(322)는 "k2"으로서 표현될 수 있다. 본 발명에 따르면, 제3 루미넌스 변환 파라미터 "c"(326)는 그에 따라 이하의 식
c = 1 - k1 - k2
로 정의될 수 있으며, 여기서 "k1"은 제1 루미넌스 변환 파라미터(318)이고, "k2"는 제2 루미넌스 변환 파라미터(322)이다.
따라서, 변환 관리자(216)는 이하의 식
Y1 = (k1)R + (k2)G + (1 - k1 - k2)B
에 따라 제1 루미넌스 값 "Y1"을 계산하기 위해 변환 파라미터(318, 322)를 선택할 수 있으며, 여기서 "R, G 및 B"는 RGB 이미지 데이터(218)로부터의 원색값이고, "k1 및 k2"는 변환 행렬(310)의 루미넌스 변환 파라미터인 첫번째 행(314)으로부터의 선택된 변환 파라미터이다.
본 발명은 또한 YCbCr 이미지 데이터(220)에 대한 최종 루미넌스 값 "Y"를 생성하기 위해 합성 변환 파라미터 "k3"에 따라 상기한 제1 루미넌스 값 "Y1"과 합성될 수 있는 제2 루미넌스 값 "Y2"를 이용할 수 있다. 제2 루미넌스 값 "Y2"는 여러가지 적절한 방식으로 결정될 수 있는 비교적 미처리된 루미넌스 값(relatively unprocessed luminance value)일 수 있다. 예를 들어, 제2 루미넌스 값 "Y2"는 단순히 초기에 캡처된 이미지 데이터(예를 들어, RGB 이미지 데이터 또는 CMYG 이미지 데이터)로부터의 선택된 원색값의 합 또는 평균일 수 있다.
본 발명의 어떤 실시예들에 따르면, 변환 관리자(216)는 선택적으로 합성 변환 파라미터 "k3"를 선택하고 또 이하의 식
Y = (k3)Y1 + (1-k3)Y2
를 적용함으로써 상기한 최종 루미넌스 값 "Y"를 계산할 수 있으며, 여기서 "Y1"은 변환 행렬(310)을 사용하여 계산된 제1 루미넌스 값이고, "Y2"는 상기한 제 2 루미넌스 값이다.
어떤 실시예들에서, 본 발명은 상기한 변환 파라미터에 어떤 변환 파라미터 한계를 둘 수 있다. 예를 들어, "k1"은 다음 식, 0≤k1≤1에 따라 제한될 수 있다. 이와 유사하게, "k2"는 다음 식, 0≤k2≤1에 따라 제한될 수 있다. 게다가, 제3 루미넌스 변환 파라미터 "c"(326)은 다음 식, 0≤(1 - k1 - k2)≤1에 따라 제한될 수 있고, 여기서 제3 루미넌스 변환 파라미터 "c"(326)는 (1 - k1 - k2)와 같다. 상기한 합성 변환 파라미터 "k3"는 다음 식, 0≤k3≤2에 따라 제한될 수 있다.
본 발명에 따르면, "k1", "k2" 및 "k3"의 루미넌스 변환 파라미터는 유익하게도 YCbCr 이미지 데이터(220)(및 그 결과 대응하는 최종의 디스플레이된 이미지)에서의 여러가지 유형의 노이즈 특성을 최소화하도록 최적으로 선택될 수 있다. 어떤 실시예들에서, "k1", "k2" 및 "k3"의 루미넌스 변환 파라미터는 또한 YCbCr 이미지 데이터(220)에서의 여러가지 유형의 색상 변이(color shift) 특성을 최소화하도록 선택될 수 있다. 상기한 변환 파라미터의 도출 및 이용에 대해서는 도 4 내지 도 7과 관련하여 이하에서 상세히 기술한다.
이제 도 4를 참조하면, 본 발명에 따른 표준 노이즈 편차를 결정하는 일 실시예를 나타낸 그래프(410)가 도시되어 있다. 대체 실시예들에서, 본 발명은 도 4의 실시예와 관련하여 기술된 것과 다른 여러가지 기술을 곧바로 이용할 수 있다.
전술한 바와 같이, "k1", "k2" 및 "k3"의 루미넌스 변환 파라미터는 유익하게도 YCbCr 이미지 데이터(220)에서의 여러가지 유형의 노이즈 특성을 최소화하도 록 최적으로 선택될 수 있다. "k1", "k2" 및 "k3"의 루미넌스 변환 파라미터를 최적화하기 위해, YCbCr 이미지 데이터(220)에서의 노이즈 특성을 평가하기 위해 최적화 메트릭이 도출되어야만 한다. 본 발명은 하나 또는 그 이상의 최적화 메트릭을 도출하기 위해 임의의 적절하고 효과적인 기술을 이용할 수 있다.
어떤 실시예들에서, 최적화 메트릭은 대표 컬러 패치(representative color patch)의 패치 세트(patch set)를 이용하여 도출될 수 있다. 예를 들어, 24개의 서로 다른 대표 컬러 패치로 된 표준 MacBeth 컬러 체커 차트(standard MacBeth Color Checker chart)가 효과적인 최적화 메트릭을 도출하는 데 이용될 수 있다. 주어진 카메라 이득, 발광체 및 변환 파라미터 "k1", "k2" 및 "k3"에 대해, 패치 세트로부터의 각각의 컬러 패치가 측정될 수 있다. 이어서, 적절한 컬러 공간(표준 L*a*b* 컬러 공간 등)에서의 각각의 컬러 패치에 대해 노이즈 분산 값이 계산될 수 있다. 이어서, 상기한 최적화 메트릭은 컬러 패치 각각에 대한 상기 노이즈 분산 값 모두의 평균으로 계산될 수 있다.
도 4의 실시예에서, 그래프(410)는 수직축(414)에 L*a*b* 컬러 공간으로부터의 L* 값을 나타내고 수평축(418)에 주어진 컬러 패치에 걸쳐 있는 픽셀을 나타낸다. 그래프(410)는 또한 평균 L* 값(422)도 나타내고 있다. 어떤 실시예들에서, 컬러 패치는 초기에 비선형 YCbCr 포맷으로 측정될 수 있으며, 이 비선형 YCbCr 포맷은 이어서 최적화 메트릭을 도출하기 위해 선형 L*a*b* 포맷으로 변환될 수 있다. 도 4의 실시예에서, 평균 L* 값(422) 근방에서의 노이즈의 표준 노이즈 편차(428)는 평균 L* 값(422) 위쪽의 라인(432) 및 평균 L* 값(422) 아래쪽의 라 인(436)으로 제한되는 것으로 도시되어 있다.
따라서, 표준 노이즈 편차(428)는 평균 L* 값(422) 상하의 노이즈 값들을 측정함으로써 결정될 수 있다. 도 4의 실시예에 따르면, 현재 컬러 패치에 대응하는 노이즈 분산 값은 이어서 이하의 식
NV = (SND)2
에 따라 표준 노이즈 편차(428)를 제곱함으로써 획득될 수 있으며, 여기서 SND는 표준 노이즈 편차(428)이고, NV는 최적화 메트릭을 계산하는 데 사용되는 노이즈 분산 값 중 하나이다.
각각의 컬러 패치에 대해 노이즈 분산 값 "NV"가 획득된 후에, 최적화 메트릭 "Φ"는 이하의 식
Φ(이득, 발광체, k1, k2, k3) = (NV1 + NV2 + NV3 + ... NVM) / M
에 따라 각각의 컬러 패치에 대한 노이즈 분산 값의 평균을 취함으로써 계산될 수 있고, 여기서 "M"은 패치 세트 내의 컬러 패치의 개수이고, "Φ(이득, 발광체, k1, k2, k3)"는 특정의 카메라 이득, 발광체 및 변환 파라미터 "k1", "k2" 및 "k3" 중 선택된 것에 대한 최적화 메트릭이다. 어떤 실시예들에서, 최적화 메트릭은 또한 컬러 패치로부터의 다른 측정된 값들로부터의 정보를 포함할 수 있다. 예를 들어, 최적화 메트릭은 L*a*b* 컬러 공간으로부터의 a* 값 및/또는 b* 값으로부터의 정보를 포함할 수 있다.
본 발명에 따르면, 상기한 최적화 메트릭은 유익하게도 YCbCr 이미지 데이 터(220)에서의 노이즈 특성을 최소화하기 위해 변환 파라미터 "k1", "k2", "k3"의 선택을 최적화하는 데 이용될 수 있다. 보다 구체적으로는, 최적화 메트릭의 최소값은 여러가지 카메라 이득 및 발광체에 대해 변환 파라미터 "k1", k2", "k3"를 변경함으로써 찾아낼 수 있다. 최적화 메트릭의 상기한 최소값은 임의의 효과적인 방식으로 결정될 수 있다. 예를 들어, 간단한 시행착오 방법이 이용될 수 있거나 또는 보다 지능적인 "최대 경사 경로(path of steepest descent)" 기술이 최적화 메트릭에 대한 최소값을 찾아내기 위해 반복적으로 적용될 수 있다.
특정의 카메라 이득에서 여러가지 발광체에 대해 최적화된 변환 파라미터 "k1", "k2", "k3"가 결정되면, 카메라 장치(110)가 이미지 데이터 변환 절차를 수행하는 데 사용하기 위한 적절한 최적화된 변환 파라미터 "k1", "k2", "k3"에 액세스하거나 또는 이를 보간하기 위해 파라미터 룩업 테이블이 구현될 수 있다. 파라미터 룩업 테이블의 한 구현에 대해서는 도 5와 관련하여 이하에서 기술되어 있다.
이제 도 5를 참조하면, 본 발명에 따른 파라미터 룩업 테이블(510)의 한 실시예에 대한 다이어그램이 도시되어 있다. 도 5의 파라미터 룩업 테이블(510)은 설명의 목적상 제시된 것이며, 본 발명의 대체 실시예들에서, 파라미터 룩업 테이블(510)은 도 5의 실시예와 관련하여 기술된 것과 다른 여러가지 구성에서 다른 요소 및 성분을 곧바로 포함할 수 있다.
도 5의 예에서, 첫번째 열(534)은 대응하는 행(514 내지 530)에 나타내어져 있는 여러가지 발광체(A 내지 E)에 대한 일련의 k1 값을 나타낸다. 이와 유사하게, 두번째 열(538)은 행(514 내지 530)에 있는 발광체(A 내지 E)에 대한 일련의 k2 값을 나타낸다. 세번째 열(542)은 또한 행(514 내지 530)에 있는 발광체(A 내지 E)에 대한 일련의 k3 값을 나타낸다. 설명의 목적상, 도 5의 파라미터 룩업 테이블(510)은 단지 5개의 발광체만을 나타내고 있다. 그렇지만, 대체 실시예들에서, 임의의 원하는 개수 또는 유형의 발광체가 포함될 수 있다.
도 5의 룩업 테이블은 1의 카메라 이득에 대한 최적화된 변환 파라미터를 제공한다. 본 발명에 따르면, 임의의 원하는 개수의 다른 카메라 이득에 대한 부가의 파라미터 룩업 테이블(510)이 용이하게 구현될 수 있다. 게다가, 카메라 장치(110) 내의 중요한 메모리 자원을 보존하기 위해, 파라미터 룩업 테이블(510)은 유익하게도 비교적 적은 수의 엔트리를 포함하는 최소화된 포맷으로 구현될 수 있다.
본 발명에 따르면, 변환 관리자(216)는 이어서 룩업 테이블(510)에 특정하여 열거되어 있지 않은 이득 또는 발광체에 대한 부가의 최적화된 변환 파라미터를 보간하기 위해 여러가지 효과적인 보간 기술을 이용할 수 있다. 게다가, 변환 관리자(216)는 또한 룩업 테이블(510) 내의 변환 파라미터들의 특성 또는 관계를 기술하는 하나 또는 그 이상의 수학식 또는 알고리즘을 이용함으로써 부가의 최적화된 변환 파라미터를 도출할 수 있다.
이제 도 6을 참조하면, 본 발명의 일 실시예에 따른, 최적화된 변환 파라미터를 결정하는 오프-라인 설계 절차를 수행하는 방법 단계들의 플로우차트가 도시되어 있다. 도 6의 실시예는 설명의 목적상 제시된 것이며, 대체 실시예들에서, 본 발명은 도 6의 실시예와 관련하여 기술되는 것과 다른 여러가지 단계 및 순서를 곧바로 이용할 수 있다.
도 6의 실시예에서, 단계(612)에서, 이미지 데이터 변환 절차를 수행하는 데 최적화된 변환 파라미터의 원하는 범위를 지정하기 위해 파라미터 한계가 정의될 수 있다. 단계(616)에서, 컬러 패치의 대표 패치 세트를 평가하기 위해 최적화 메트릭이 정의될 수 있다. 이어서, 단계(620)에서, 대표 패치 세트의 현재 발광체가 측정 및 기록될 수 있다. 그 다음에, 단계(624)에서, 여러가지 원하는 컬러 및 밝기 특성을 결정하기 위해 대표 패치 세트로부터의 컬러 패치 각각이 측정될 수 있다.
단계(628)에서, 본 발명에 따르면, 최적화 메트릭을 최소화하도록 여러가지 최적화된 변환 파라미터가 주의깊게 선택될 수 있으며, 이 최적화 메트릭은 그에 따라 대응하는 이미지 데이터에서의 노이즈 특성을 최소화한다. 단계(632)에서, 최적화된 변환 파라미터가 부가의 발광체에 대해 선택되어야 하는 경우, 도 6의 프로세스는 각각의 부가의 발광체에 대한 부가의 최적화된 변환 파라미터를 반복하여 선택하기 위해 단계(620 내지 632)로 되돌아갈 수 있다.
마지막으로, 단계(636)에서, 각각의 발광체에 대해 최적화된 변환 파라미터가 선택된 경우, 현재 카메라 이득에 대해 파라미터 룩업 테이블(510)이 생성될 수 있다. 이어서, 도 6의 프로세스는 종료될 수 있다. 그렇지만, 본 발명에 따르면, 도 6의 프로세스는 일반적으로 카메라 장치(110)가 이미지 데이터 변환 절차를 수행하는 데 이용하기 위한 파라미터 룩업 테이블(510)의 전체 세트를 생성하기 위해 임의의 원하는 수의 카메라 이득에 대해 반복될 수 있다. 파라미터 룩업 테이 블(510)을 이용하는 일 실시예에 대해서는 도 7과 관련하여 이하에서 기술된다.
이제 도 7을 참조하면, 본 발명의 일 실시예에 따른, 최적화된 변환 파라미터를 이용하는 온-라인 절차를 수행하는 방법 단계들의 플로우차트가 도시되어 있다. 도 7의 실시예는 설명의 목적상 제시된 것이며, 대체 실시예들에서, 본 발명은 도 7의 실시예와 관련하여 기술되는 것과 다른 여러가지 단계 및 순서를 곧바로 이용할 수 있다.
도 7의 실시예에서, 단계(712)에서, 원하는 피사체의 현재 조명 상태에 따라 적절한 카메라 이득이 카메라 장치(110)에 의해 결정되고 저장될 수 있다. 이어서, 단계(716)에서, 카메라 장치(110)는 피사체의 현재 발광체를 평가할 수 있다. 단계(720)에서, 카메라 장치(110)의 변환 관리자(216)는 이미지 데이터 변환 절차를 수행하기 위해 최적화된 변환 파라미터를 포함하는 하나 또는 그 이상의 파라미터 룩업 테이블(510)에 액세스할 수 있다.
단계(724)에서, 변환 관리자(216)는 피사체의 현재 카메라 이득 및 현재 발광체에 가장 가까운 최적화된 변환 파라미터를 보간하기 위해 파라미터 룩업 테이블(510)을 이용할 수 있다. 그 다음에, 단계(728)에서, 변환 관리자(216)는 상기한 단계(724)에서 획득한 적절한 최적화된 변환 파라미터를 카메라 장치(110)의 카메라 레지스터에 로드할 수 있다. 마지막으로, 단계(732)에서, 변환 관리자(216)는 본 발명에 따라 하나 또는 그 이상의 이미지 데이터 변환 절차를 수행하기 위해 최적화된 변환 파라미터를 이용할 수 있다. 이어서, 도 7의 프로세스는 종료될 수 있다.
본 발명에 대해 어떤 실시예들을 참조하여 전술하였다. 본 개시 내용을 고려하면 다른 실시예들이 당업자에게는 자명하게 될 것이다. 예를 들어, 본 발명은 상기 실시예들에 기술된 것과 다른 구성 및 기술을 사용하여 용이하게 구현될 수 있다. 게다가, 본 발명은 상기한 것과 다른 시스템과 관련하여 효과적으로 사용될 수 있다. 따라서, 기술된 실시예들에 대한 이들 및 다른 변경은 본 발명에 포함되는 것으로 보아야 하며, 본 발명은 첨부된 청구항에 의해서만 제한된다.

Claims (42)

  1. 이미지 데이터 변환 절차를 효과적으로 수행하는 시스템으로서,
    피사체에 대응하는 1차 이미지 데이터를 캡처하도록 구성된 전자 카메라 장치, 및
    2차 이미지 데이터에서의 노이즈 특성을 최소화하도록 최적화되어 있는 변환 파라미터를 이용함으로써 상기 1차 이미지 데이터를 상기 2차 이미지 데이터로 변환하도록 구성된 변환 관리자를 포함하는 시스템.
  2. 제1항에 있어서, 상기 1차 이미지 데이터는 상기 이미지 데이터 변환 절차 동안에 상기 변환 관리자에 의해 YCbCr 포맷의 상기 2차 이미지 데이터로 변환되는 RGB 포맷으로 되어 있는 시스템.
  3. 제2항에 있어서, 상기 변환 관리자는 제1 변환 파라미터 "k1", 제2 변환 파라미터 "k2" 및 합성(combination) 파라미터 "k3"를 포함하는 상기 변환 파라미터를 이용함으로써 상기 이미지 데이터 변환 절차를 수행하는 시스템.
  4. 제3항에 있어서, 상기 변환 관리자는 상기 이미지 데이터 변환 절차를 수행하기 위해 변환 행렬을 이용하고,
    상기 변환 행렬은 상기 제1 변환 파라미터 "k1", 상기 제2 변환 파라미터 "k2", 및 1 - 상기 제1 변환 파라미터 "k1" - 상기 제2 변환 파라미터 "k2"와 같은 제3 변환 파라미터를 포함하는 루미넌스 변환 행(luminance transformation row)을 갖는 시스템.
  5. 제4항에 있어서, 상기 변환 관리자는 이하의 식,
    Y1 = (k1)R + (k2)G + (1-k1-k2)B
    에 따라 제1 루미넌스 값 "Y1"을 계산하며,
    여기서, "R", "G" 및 "B"는 각각 상기 1차 이미지 데이터로부터의 적색, 녹색 및 청색 원색값(color primary value)이고, "k1"은 상기 제1 변환 파라미터이고, "k2"는 상기 제2 변환 파라미터이며, (1-k1-k2)는 상기 변환 행렬의 상기 루미넌스 변환 행으로부터의 제3 변환 파라미터인 시스템.
  6. 제2항에 있어서, 상기 변환 파라미터는 최적화 메트릭을 평가함으로써 최적화되는 시스템.
  7. 제6항에 있어서, 상기 최적화 메트릭은 상기 2차 이미지 데이터에서의 상기 노이즈 특성을 최소화하기 위해 선형 L*a*b* 컬러 공간에서 평가되는 시스템.
  8. 제7항에 있어서, 평균 L* 값 상하의 표준 노이즈 편차(standard noise deviation)는 대표 패치 세트(representative patch set)로부터의 각각의 컬러 패 치(color patch)에 대해 계산되고, 상기 표준 노이즈 편차는 이하의 식
    NV = (SND)2
    에 따라 상기 컬러 패치 각각에 대한 노이즈 분산(noise variance) 값을 계산하는 데 이용되며,
    여기서 SND는 상기 표준 노이즈 편차 중 하나이고, NV는 상기 최적화 메트릭을 계산하는 데 사용되는 상기 노이즈 분산 값 중의 대응하는 값인 시스템.
  9. 제8항에 있어서, 상기 최적화 메트릭은 이하의 식
    Φ(이득, 발광체, k1, k2, k3) = (NV1 + NV2 + NV3 + ... NVM) / M
    에 따라 각각의 컬러 패치에 대한 상기 노이즈 분산 값의 평균을 취함으로써 계산되고,
    여기서 "M"은 상기 패치 세트 내의 상기 컬러 패치의 총수이고, "NV"는 상기 노이즈 분산 값 중 하나이며, "Φ(이득, 발광체, k1, k2, k3)"는 카메라 이득, 발광체, 및 상기 변환 파라미터 "k1", "k2" 및 "k3" 중 선택된 것의 특정 값들에 대한 상기 최적화 메트릭인 시스템.
  10. 제5항에 있어서, 상기 합성 파라미터 "k3"는 상기 YCbCr 포맷의 상기 제2 이미지 데이터에 대한 최종 루미넌스 값 "Y"를 생성하기 위해 상기 제1 루미넌스 값 "Y1"과 제2 루미넌스 값 "Y2"를 합성하기 위한 합성 비를 결정하는 데 이용되는 시 스템.
  11. 제10항에 있어서, 상기 제2 루미넌스 값 "Y2"는 상기 1차 이미지 데이터로부터의 선택된 원색값들의 간단한 미처리된 평균인 시스템.
  12. 제11항에 있어서, 상기 변환 관리자는 이하의 식
    Y = (k3)Y1 + (1-k3)Y2
    을 적용함으로써 상기 최종 루미넌스 값 "Y"를 계산하고,
    여기서 "Y1"은 상기 변환 행렬을 사용하여 계산된 상기 제1 루미넌스 값이고, "Y2"는 상기 제2 루미넌스 값이며, "k3"는 상기 합성 파라미터인 시스템.
  13. 제3항에 있어서, 상기 변환 파라미터는 각각의 카메라 이득에서 각각의 발광체에 대해 최적화되고 상기 카메라 장치 내의 파라미터 룩업 테이블에 저장되는 시스템.
  14. 제13항에 있어서, 상기 파라미터 룩업 테이블은 감소된 개수의 상기 변환 파라미터를 갖는 최소화된 포맷으로 구현되고,
    상기 변환 관리자는 상기 파라미터 룩업 테이블에 특정하여 열거되지 않은 상기 카메라 이득 및 상기 발광체 중 어떤 것에 대한 부가의 변환 파라미터를 보간하기 위해 보간 기술을 이용하는 시스템.
  15. 제3항에 있어서, 상기 변환 파라미터는 파라미터 한계에 의해 제한되며, 여기서 상기 제1 변환 파라미터 "k1"은 제1 식, 0≤k1≤1에 따라 제한되고, 상기 제2 변환 파라미터 "k2"는 제2 식, 0≤k2≤1에 따라 제한되며, 상기 제3 변환 파라미터 (1-k1-k2)은 제3 식, 0≤(1-k1-k2)≤1에 따라 제한되고, 상기 합성 변환 파라미터 "k3"는 제4 식, 0≤k3≤2에 따라 제한되는 시스템.
  16. 제1항에 있어서, 상기 변환 파라미터는 변환 파라미터 한계가 정의되는 오프-라인 설계 절차에서 선택되고,
    최적화 메트릭은 패치 세트로부터의 대표 컬러 패치를 평가하기 위해 정의되는 시스템.
  17. 제16항에 있어서, 최적화 메트릭은 상기 2차 이미지 데이터에서의 상기 노이즈 특성을 최소화하는 데 상기 변환 파라미터 중 어느 것이 최적인지를 판정하기 위해 일련의 카메라 이득 및 상기 대표 컬러 패치의 원하는 발광체에 대해 최소화되는 시스템.
  18. 제17항에 있어서, 상기 변환 파라미터는 상기 이미지 데이터 변환 절차를 수행하기 위해 상기 카메라 장치에 파라미터 룩업 테이블을 생성하는 데 이용되는 시스템.
  19. 제1항에 있어서, 상기 카메라 장치는 피사체에 대응하는 현재 카메라 이득 및 현재 발광체를 측정 및 기록하는 시스템.
  20. 제19항에 있어서, 상기 변환 관리자는 상기 변환 파라미터의 파라미터 룩업 테이블에 액세스하고,
    상기 변환 관리자는 상기 현재 카메라 이득 및 상기 현재 발광체에 따라 상기 변환 파라미터 중 적절한 것들을 보간하며,
    상기 변환 관리자는 이어서 상기 2차 이미지 데이터를 생성하기 위해 상기 변환 파라미터 중 상기 적절한 것들로 상기 이미지 데이터 변환 절차를 수행하는 시스템.
  21. 이미지 데이터 변환 절차를 효과적으로 수행하는 방법으로서,
    전자 카메라 장치를 이용하여 피사체에 대응하는 1차 이미지 데이터를 캡처하는 단계 , 및
    2차 이미지 데이터에서의 노이즈 특성을 최소화하도록 최적화되어 있는 변환 파라미터를 사용함으로써 상기 1차 이미지 데이터를 상기 2차 이미지 데이터로 변환하기 위해 변환 관리자를 이용하는 단계를 포함하는 방법.
  22. 제21항에 있어서, 상기 1차 이미지 데이터는 상기 이미지 데이터 변환 절차 동안에 상기 변환 관리자에 의해 YCbCr 포맷의 상기 2차 이미지 데이터로 변환되는 RGB 포맷으로 되어 있는 방법.
  23. 제22항에 있어서, 상기 변환 관리자는 제1 변환 파라미터 "k1", 제2 변환 파라미터 "k2" 및 합성(combination) 파라미터 "k3"를 포함하는 상기 변환 파라미터를 이용함으로써 상기 이미지 데이터 변환 절차를 수행하는 방법.
  24. 제23항에 있어서, 상기 변환 관리자는 상기 이미지 데이터 변환 절차를 수행하기 위해 변환 행렬을 이용하고,
    상기 변환 행렬은 상기 제1 변환 파라미터 "k1", 상기 제2 변환 파라미터 "k2", 및 1 - 상기 제1 변환 파라미터 "k1" - 상기 제2 변환 파라미터 "k2"와 같은 제3 변환 파라미터를 포함하는 루미넌스 변환 행(luminance transformation row)을 갖는 방법.
  25. 제24항에 있어서, 상기 변환 관리자는 이하의 식,
    Y1 = (k1)R + (k2)G + (1-k1-k2)B
    에 따라 제1 루미넌스 값 "Y1"을 계산하며,
    여기서, "R", "G" 및 "B"는 각각 상기 1차 이미지 데이터로부터의 적색, 녹색 및 청색 원색값(color primary value)이고, "k1"은 상기 제1 변환 파라미터이고, "k2"는 상기 제2 변환 파라미터이며, (1-k1-k2)는 상기 변환 행렬의 상기 루미 넌스 변환 행으로부터의 제3 변환 파라미터인 방법.
  26. 제22항에 있어서, 상기 변환 파라미터는 최적화 메트릭을 평가함으로써 최적화되는 방법.
  27. 제26항에 있어서, 상기 최적화 메트릭은 상기 2차 이미지 데이터에서의 상기 노이즈 특성을 최소화하기 위해 선형 L*a*b* 컬러 공간에서 평가되는 방법.
  28. 제27항에 있어서, 평균 L* 값 상하의 표준 노이즈 편차(standard noise deviation)는 대표 패치 세트(representative patch set)로부터의 각각의 컬러 패치(color patch)에 대해 계산되고, 상기 표준 노이즈 편차는 이하의 식
    NV = (SND)2
    에 따라 상기 컬러 패치 각각에 대한 노이즈 분산(noise variance) 값을 계산하는 데 이용되며,
    여기서 SND는 상기 표준 노이즈 편차 중 하나이고, NV는 상기 최적화 메트릭을 계산하는 데 사용되는 상기 노이즈 분산 값 중의 대응하는 값인 방법.
  29. 제28항에 있어서, 상기 최적화 메트릭은 이하의 식
    Φ(이득, 발광체, k1, k2, k3) = (NV1 + NV2 + NV3 + ... NVM) / M
    에 따라 각각의 컬러 패치에 대한 상기 노이즈 분산 값의 평균을 취함으로써 계산되고,
    여기서 "M"은 상기 패치 세트 내의 상기 컬러 패치의 총수이고, "NV"는 상기 노이즈 분산 값 중 하나이며, "Φ(이득, 발광체, k1, k2, k3)"는 카메라 이득, 발광체, 및 상기 변환 파라미터 "k1", "k2" 및 "k3" 중 선택된 것의 특정 값들에 대한 상기 최적화 메트릭인 방법.
  30. 제25항에 있어서, 상기 합성 파라미터 "k3"는 상기 YCbCr 포맷의 상기 제2 이미지 데이터에 대한 최종 루미넌스 값 "Y"를 생성하기 위해 상기 제1 루미넌스 값 "Y1"과 제2 루미넌스 값 "Y2"를 합성하기 위한 합성 비를 결정하는 데 이용되는 방법.
  31. 제30항에 있어서, 상기 제2 루미넌스 값 "Y2"는 상기 1차 이미지 데이터로부터의 선택된 원색값들의 간단한 미처리된 평균인 방법.
  32. 제31항에 있어서, 상기 변환 관리자는 이하의 식
    Y = (k3)Y1 + (1-k3)Y2
    을 적용함으로써 상기 최종 루미넌스 값 "Y"를 계산하고,
    여기서 "Y1"은 상기 변환 행렬을 사용하여 계산된 상기 제1 루미넌스 값이고, "Y2"는 상기 제2 루미넌스 값이며, "k3"는 상기 합성 파라미터인 방법.
  33. 제23항에 있어서, 상기 변환 파라미터는 각각의 카메라 이득에서 각각의 발광체에 대해 최적화되고 상기 카메라 장치 내의 파라미터 룩업 테이블에 저장되는 방법.
  34. 제33항에 있어서, 상기 파라미터 룩업 테이블은 감소된 개수의 상기 변환 파라미터를 갖는 최소화된 포맷으로 구현되고,
    상기 변환 관리자는 상기 파라미터 룩업 테이블에 특정하여 열거되지 않은 상기 카메라 이득 및 상기 발광체 중 어떤 것에 대한 부가의 변환 파라미터를 보간하기 위해 보간 기술을 이용하는 방법.
  35. 제23항에 있어서, 상기 변환 파라미터는 파라미터 한계에 의해 제한되며, 여기서 상기 제1 변환 파라미터 "k1"은 제1 식, 0≤k1≤1에 따라 제한되고, 상기 제2 변환 파라미터 "k2"는 제2 식, 0≤k2≤1에 따라 제한되며, 상기 제3 변환 파라미터 (1-k1-k2)은 제3 식, 0≤(1-k1-k2)≤1에 따라 제한되고, 상기 합성 변환 파라미터 "k3"는 제4 식, 0≤k3≤2에 따라 제한되는 방법.
  36. 제21항에 있어서, 상기 변환 파라미터는 변환 파라미터 한계가 정의되는 오프-라인 설계 절차에서 선택되고,
    최적화 메트릭은 패치 세트로부터의 대표 컬러 패치를 평가하기 위해 정의되 는 방법.
  37. 제36항에 있어서, 최적화 메트릭은 상기 2차 이미지 데이터에서의 상기 노이즈 특성을 최소화하는 데 상기 변환 파라미터 중 어느 것이 최적인지를 판정하기 위해 일련의 카메라 이득 및 상기 대표 컬러 패치의 원하는 발광체에 대해 최소화되는 방법.
  38. 제37항에 있어서, 상기 변환 파라미터는 상기 이미지 데이터 변환 절차를 수행하기 위해 상기 카메라 장치에 파라미터 룩업 테이블을 생성하는 데 이용되는 방법.
  39. 제21항에 있어서, 상기 카메라 장치는 피사체에 대응하는 현재 카메라 이득 및 현재 발광체를 측정 및 기록하는 방법.
  40. 제39항에 있어서, 상기 변환 관리자는 상기 변환 파라미터의 파라미터 룩업 테이블에 액세스하고,
    상기 변환 관리자는 상기 현재 카메라 이득 및 상기 현재 발광체에 따라 상기 변환 파라미터 중 적절한 것들을 보간하며,
    상기 변환 관리자는 이어서 상기 2차 이미지 데이터를 생성하기 위해 상기 변환 파라미터 중 상기 적절한 것들로 상기 이미지 데이터 변환 절차를 수행하는 방법.
  41. 전자 카메라 장치를 이용하여 피사체에 대응하는 1차 이미지 데이터를 캡처하는 단계 , 및
    2차 이미지 데이터에서의 노이즈 특성을 최소화하도록 최적화되어 있는 변환 파라미터를 사용함으로써 상기 1차 이미지 데이터를 상기 2차 이미지 데이터로 변환하기 위해 변환 관리자를 이용하는 단계를 수행함으로써 이미지 데이터 변환 절차를 수행하는 프로그램 명령어를 포함하는 컴퓨터-판독가능 매체.
  42. 이미지 데이터 변환 절차를 효과적으로 수행하는 시스템으로서,
    피사체에 대응하는 1차 이미지 데이터를 캡처하는 수단 , 및
    2차 이미지 데이터에서의 노이즈 특성을 최소화하도록 최적화되어 있는 변환 파라미터를 사용함으로써 상기 1차 이미지 데이터를 상기 2차 이미지 데이터로 변환하는 수단을 포함하는 시스템.
KR1020067010089A 2003-11-25 2004-11-18 이미지 데이터 변환 절차를 효과적으로 수행하는 시스템 및 방법 KR101137611B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/721,628 2003-11-25
US10/721,628 US7277575B2 (en) 2003-11-25 2003-11-25 System and method for effectively performing an image data transformation procedure
PCT/US2004/038756 WO2005052741A2 (en) 2003-11-25 2004-11-18 System and method for effectively performing an image data transformation procedure

Publications (2)

Publication Number Publication Date
KR20060131754A true KR20060131754A (ko) 2006-12-20
KR101137611B1 KR101137611B1 (ko) 2012-04-19

Family

ID=34591844

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067010089A KR101137611B1 (ko) 2003-11-25 2004-11-18 이미지 데이터 변환 절차를 효과적으로 수행하는 시스템 및 방법

Country Status (6)

Country Link
US (1) US7277575B2 (ko)
EP (1) EP1687689B1 (ko)
JP (1) JP2007515876A (ko)
KR (1) KR101137611B1 (ko)
CN (1) CN101019131B (ko)
WO (1) WO2005052741A2 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7576797B2 (en) * 2001-06-25 2009-08-18 Texas Instruments Incorporated Automatic white balancing via illuminant scoring autoexposure by neural network mapping
US8564687B2 (en) * 2007-05-07 2013-10-22 Nvidia Corporation Efficient determination of an illuminant of a scene
US8698917B2 (en) * 2007-06-04 2014-04-15 Nvidia Corporation Reducing computational complexity in determining an illuminant of a scene
US7805066B2 (en) * 2007-12-24 2010-09-28 Microsoft Corporation System for guided photography based on image capturing device rendered user recommendations according to embodiments
US8320698B2 (en) * 2008-09-18 2012-11-27 Sony Corporation System and method for denoising using signal dependent adaptive weights
US9870598B2 (en) 2013-04-26 2018-01-16 Nvidia Corporation Low complexity adaptive filtering for mobile captures
US20190139189A1 (en) * 2017-11-06 2019-05-09 Qualcomm Incorporated Image remosaicing

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0373005A (ja) * 1989-08-12 1991-03-28 Eimu Kenkyusho:Kk 予定日の予告および行事日の演出装置付のマイコンつきの照明装置
JP2827410B2 (ja) * 1990-03-14 1998-11-25 ソニー株式会社 デイジタルデータの高能率符号化方法
US5850472A (en) * 1995-09-22 1998-12-15 Color And Appearance Technology, Inc. Colorimetric imaging system for measuring color and appearance
US5805213A (en) * 1995-12-08 1998-09-08 Eastman Kodak Company Method and apparatus for color-correcting multi-channel signals of a digital camera
US6049626A (en) * 1996-10-09 2000-04-11 Samsung Electronics Co., Ltd. Image enhancing method and circuit using mean separate/quantized mean separate histogram equalization and color compensation
KR100230261B1 (ko) * 1996-10-09 1999-11-15 윤종용 양자화된 평균 분리 히스토그램 등화와 칼라 보상을 이용한 칼라신호의 화질 개선방법 및 그 회로
JP4250214B2 (ja) 1997-04-18 2009-04-08 富士フイルム株式会社 色変換方法
WO1999010866A1 (en) * 1997-08-25 1999-03-04 Imagicolor Corp A system for distributing and controlling color reproduction at multiple sites
US6600833B1 (en) * 1999-07-23 2003-07-29 Intel Corporation Methodology for color correction with noise regulation
JP3706789B2 (ja) * 2000-05-12 2005-10-19 キヤノン株式会社 信号処理装置及び信号処理方法
US6505002B2 (en) * 2000-12-22 2003-01-07 Eastman Kodak Company Camera that displays predominant color multi-color scene and/or multi-color captured image of scene
US7265781B2 (en) * 2001-08-22 2007-09-04 Fujifilm Corporation Method and apparatus for determining a color correction matrix by minimizing a color difference maximum or average value
JP2003125226A (ja) * 2001-10-18 2003-04-25 Seiko Epson Corp 色変換方法、色変換装置および色変換処理プログラム
JP2003198860A (ja) * 2001-10-18 2003-07-11 Seiko Epson Corp 色変換方法、色変換装置、色変換行列生成方法および色変換行列生成プログラム

Also Published As

Publication number Publication date
CN101019131B (zh) 2011-08-03
EP1687689A2 (en) 2006-08-09
US20050110876A1 (en) 2005-05-26
US7277575B2 (en) 2007-10-02
JP2007515876A (ja) 2007-06-14
CN101019131A (zh) 2007-08-15
EP1687689A4 (en) 2010-09-22
KR101137611B1 (ko) 2012-04-19
WO2005052741A3 (en) 2006-10-05
WO2005052741A2 (en) 2005-06-09
EP1687689B1 (en) 2019-03-27

Similar Documents

Publication Publication Date Title
KR101388130B1 (ko) 화상처리장치 및 화상처리방법
US8803994B2 (en) Adaptive spatial sampling using an imaging assembly having a tunable spectral response
US8629919B2 (en) Image capture with identification of illuminant
KR101352440B1 (ko) 화상처리장치, 화상처리방법, 및 기록매체
US20040212691A1 (en) Automatic white balance adjusting method
US8243164B2 (en) Method, apparatus, and system for selecting pixels for automatic white balance processing
JP2013527730A (ja) 適応レンズシェーディング補正
JP2007259344A (ja) 撮像装置および画像処理方法
JP2004328140A (ja) 固体撮像装置及びデジタルカメラ
US8810681B2 (en) Image processing apparatus and image processing method
JP5165300B2 (ja) 映像処理装置および映像処理プログラム
JP2011166753A (ja) 撮像装置
US20100295977A1 (en) Image processor and recording medium
US20060092485A1 (en) Color signal correcting method, apparatus, and program
JP7156302B2 (ja) 画像処理装置、画像処理方法、プログラム
KR101137611B1 (ko) 이미지 데이터 변환 절차를 효과적으로 수행하는 시스템 및 방법
JP2004186879A (ja) 固体撮像装置及びデジタルカメラ
JP2011091753A (ja) 撮像装置、画像処理装置およびプログラム
JP4718113B2 (ja) ホワイトバランス調整方法および画像処理装置
JP2006333113A (ja) 撮像装置
WO2022032666A1 (zh) 处理图像的方法和相关装置
JP2006279389A (ja) 固体撮像装置およびその信号処理方法
JP2009239323A (ja) 映像信号処理装置
JP3976562B2 (ja) 色補正マトリクス決定方法および装置
JP2012065069A (ja) 欠陥検出補正装置、及びプログラム、並びに記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160325

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170331

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190327

Year of fee payment: 8