KR20150142600A - Rgb 색차와 w 휘도를 조합하여 rgbw 디모자이크 하는 방법 - Google Patents

Rgb 색차와 w 휘도를 조합하여 rgbw 디모자이크 하는 방법 Download PDF

Info

Publication number
KR20150142600A
KR20150142600A KR1020150075349A KR20150075349A KR20150142600A KR 20150142600 A KR20150142600 A KR 20150142600A KR 1020150075349 A KR1020150075349 A KR 1020150075349A KR 20150075349 A KR20150075349 A KR 20150075349A KR 20150142600 A KR20150142600 A KR 20150142600A
Authority
KR
South Korea
Prior art keywords
color
value
demosaic
values
white
Prior art date
Application number
KR1020150075349A
Other languages
English (en)
Inventor
캔디스 헬렌 브라운 엘리엇
앤쏘니 봇챠즈
미첼 프란시스 히긴스
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20150142600A publication Critical patent/KR20150142600A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)

Abstract

샘플링 색상 값들을 디모자이크 하기 위한 장치 및 방법이 제공된다. 상기 방법은 RGBW 이미지 검출기를 이용하여 색상 정보를 켭쳐 하는 단계 상기 이미지 검출기의 적색 포토 사이트, 상기 이미지 검출기의 녹색 포토 사이트, 상기 이미지 검출기의 청색 포토 사이트, 및 상기 이미지 검출기의 흰색 포토 사이트에 대응하는 서브 픽셀들에서 적색 값, 녹색 값, 청색 값을 각각 디모자이크 하는 단계, 및 특정한 서브 픽셀에서 상기 디모자이크 적색 값, 상기 디모자이크 청색 값, 및 상기 디모자이크 녹색 값 중 하나 이상을 상기 흰색 포토 사이트에 대응하는 하나 이상의 흰색 서브 픽셀들에서 샘플링 된 색상 정보에 적어도 일부 기반하여 변경하는 단계를 포함한다.

Description

RGB 색차와 W 휘도를 조합하여 RGBW 디모자이크 하는 방법{RGBW DEMOSAICMETHOD BY COMBINING RGB CHROMINANCE WITH W LUMINANCE}
본 개시는 색상 정보를 디모자이크(demosaic) 하기 위한 장치 및 방법에 관한 것이다. 보다 구체적으로, 본 개시는 휘도(luminance)와 색차(chrominance)를 조합(combine)하여 색상 정보를 디모자이크 하기 위한 장치 및 방법에 관한 것이다.
전화 대화를 넘어 많은 추가 기능을 제공한다. 예를 들어, 이동 단말은 현재 이미지 및 비디오 캡처를 제공할 수 있다. 이동 단말이 어디에나 보급됨에 따라 이미지 캡처 및/또는 비디오 캡처가 점점 인기를 끌고 있다. 따라서, 다양한 이미지 처리 기술들을 사용하여 사용자가 캡처 하고자 하는 이미지를 정확하게 표현할 수 있게 한다.
캡쳐될 이미지의 색상을 좀 더 정확하게 표현하기 위해 일반적으로 디모자이크(demosaicing) 라는 기술을 실행할 수 있다. 디모자이크는 이미지 검출기에서 출력된 색상 샘플들에서 풀 색상 이미지를 재구성하는 데 사용되는 디지털 이미지 처리를 의미한다.
따라서, 캡쳐할 이미지의 개선된 표현을 제공하기 위한 장치 및 방법이 필요하다. 또한, 이미지 캡처 중에 샘플링 된 색상 값을 디모자이크 하기 위한 장치 및 방법이 필요하다.
상기의 정보는 단지 본 개시의 이해를 돕기 위한 배경 정보로서만 제시된다. 상술한 것들 중 임의의 하나가 본 개시에 대한 선행 기술로 적용가능한지 여부의 판정이나 주장도 이루어지지 않았다.
본 개시의 양태들은 적어도 상술한 문제들 및/또는 단점들을 해결하고 적어도 이하에 기재된 장점들을 제공하고자 하는 것이다. 따라서, 본 개시의 일 양태는 색상 정보를 디모자이크 하기 위한 장치 및 방법을 제공할 수 있다.
본 개시의 일 양태에 따르면, 색상 정보를 디모자이크 하는 방법이 제공된다. 상기 방법은 RGBW 이미지 검출기를 이용하여 색상 정보를 캡쳐(capturing) 하는 단계 상기 이미지 검출기의 적색 포토사이트, 상기 이미지 검출기의 녹색 포토 사이트, 상기 이미지 검출기의 청색 포토사이트, 및 상기 이미지 검출기의 흰색 포토 사이트에 대응하는 서브 픽셀들에서 적색 값, 녹색 값, 청색 값을 각각 디모자이크 하는 단계 및 특정한 서브 픽셀에서 상기 디모자이크 적색 값(demosaiced red color value), 상기 디모자이크 청색 값, 및 상기 디모자이크 녹색 값 중 하나 이상을, 상기 흰색 포토 사이트에 대응하는 하나 이상의 흰색 서브 픽셀들에서 샘플링 된 색상 정보에 적어도 일부 기반하여 변경(changing)하는 단계를 포함한다.
본 개시의 다른 양태에 따르면, 색상 정보를 디모자이크 하기 위한 장치가 제공된다. 상기 장치는 색상 정보를 캡쳐 하도록 구성된 RGBW 이미지 검출기 색상 정보를 저장하도록 구성된 저장부 및 상기 RGBW 이미지 검출기를 이용하여 색상 정보를 캡쳐하고, 상기 이미지 검출기의 적색 포토사이트, 상기 이미지 검출기의 녹색 포토 사이트, 상기 이미지 검출기의 청색 포토사이트, 상기 이미지 검출기의 흰색 포토 사이트에 대응하는 서브 픽셀들에서 각각 적색 값, 녹색 값, 청색 값을 디모자이크 하며, 및 특정한 서브 픽셀에서의 상기 디모자이크 적색 값, 상기 디모자이크 청색 값, 및 상기 디모자이크 녹색 값 중 하나 이상을 상기 흰색 포토 사이트에 대응하는 하나 이상의 흰색 서브 픽셀들에서 샘플링 된 색상 정보에 적어도 일부 기반하여 변경하도록 구성된 적어도 하나의 프로세서를 포함한다.
본 개시의 다른 양태에 따르면, 색상 정보 디모자이크 방법으로서: RGBW 이미지 검출기를 이용하여 색상 정보를 캡쳐 하는 단계 상기 캡쳐된 색상 정보에 포함된 색차 값들을 이용하여 상기 캡쳐된 색상 정보를 디모자이크하는 단계 및 상기 캡쳐된 색상 정보에 포함된 휘도 값들을 이용하여 상기 디모자이크 색상 정보를 수정(modifying)하는 단계를 포함한다.
본 개시의 여러 실시예들에 따르면, 적색, 녹색, 청색 평면으로부터 도출된 색차 정보는 Q 색상 평면으로부터 도출된 휘도 정보와 조합되고 Q 값은 일반적으로 높은 공간 주파수로 샘플링되고 따라서 적색, 녹색, 청색 값의 포토 사이트에서 샘플링 된 색상 정보보다 휘도 정보 관련하여 보다 자세한 내용을 가지고 있다. 또한, 본 개시의 다양한 실시 예들에 따르면, 이미지의 색상 표현은 낮은 공간 주파수에서 샘플링 된 색차 값들 (예를 들어, 각각 적색 포토 사이트, 청색 포토 사이트 및 녹색 포토 사이트에서 각각 샘플링 된 색차 값들)을 사용하여 그리고 높은 공간 주파수에서 샘플링 된 휘도 값들 (예를 들면, Q 포토 사이트에서 샘플링 된 휘도 값)을 이용하여 재구성된다. 따라서, 적색, 녹색, 청색 값들의 디모자이크에 초점을 맞추고 있고 복수의 서브 픽셀들에 걸쳐 적색 값, 청색 값 및 녹색 값을 보간함으로써 샘플링 된 색상 값들의 색상 표현을 재구성하는 종래 기술에 비해, 실제 밝기를 좀 더 정확하게 표현할 수 있다.
본 개시의 다른 양태, 장점 및 두드러진 특징은 첨부된 도면과 함께 본 개시의 다양한 실시 예가 개시되어 있는 다음의 상세한 설명에서 당업자에게 명백해질 것이다.
본 개시의 상기 및 다른 양태, 특징 및 장점은 첨부된 도면과 함께 다음의 상세한 설명으로부터 더욱 명백해질 것이다. 첨부 도면들 중에서,
도 1a 및 1b는 종래 기술에 따른 광 검출기의 포토 사이트의 배열을 도시하고
도 2는 본 개시의 실시 예에 따른 이미지의 색상 표현을 재구성하는 방법을 나타내는 흐름도이며
도 3은 본 개시의 실시 예에 따른 이미지의 색상 표현을 재구성하는 방법을 나타내는 흐름도이고
도 4는 본 개시의 실시 예에 따른 이미지의 색상 표현을 재구성하는 방법을 위한 의사 코드를 도시하며
도 5는 본 개시의 실시 예에 따른 이미지의 색상 표현을 재구성하는 방법을 나타내는 흐름도이고
도 6은 본 개시의 실시 예에 따른 이미지의 색상 표현을 재구성하는 방법을 위한 의사 코드를 도시하며
도 7은 본 개시의 실시 예에 따른 이미지의 색상 표현을 재구성하는 방법을 나타내는 흐름도이고
도 8은 본 개시의 실시 예에 따른 이미지의 색상 표현을 재구성하는 방법을 위한 의사 코드를 도시하며
도 9는 본 개시의 실시 예에 따른 이미지의 색상 표현을 재구성하는 방법을 위한 의사 코드를 도시하고
도 10은 본 개시의 실시 예에 따른 전자 장치의 구성을 개략적으로 도시하는 블록도이다.
도면 전반에 걸쳐, 유사한 도면 부호들이 동일 또는 유사한 요소, 특징, 및 구조를 나타내기 위해서 사용되고 있음에 유의해야 한다.
첨부 도면을 참조하는 다음의 설명은 특허청구의 범위 및 그 등가물에 의해 정의된 같은 본 개시의 다양한 실시 예들의 포괄적인 이해를 돕기 위해 제공된다. 이해를 돕기 위해서는 여러 개의 특정한 상세를 포함하지만 이는 단순히 예시로서 간주될 것이다. 따라서, 당업자는 본 명세서에 기재된 실시 형태의 변경 및 수정이 본 개시의 범주 및 사상을 벗어나지 않는 범위에서 이루어질 수 음을 알 것이다. 또한, 공지된 기능들 및 구성들의 설명이 명확성과 간결성을 위해 생략된다.
다음의 설명 및 특허 청구의 범위에 사용된 용어들 및 단어들은 사전적인 의미로 한정되는 것이 아니라, 단지 본 개시의 명확하고 일관된 이해를 가능하게 하기 위함이다. 따라서, 본 개시의 이어지는 다양한 실시 예들의 설명은 첨부된 특허청구의 범위 및 그 등가물에 의해서 정의되는 개시를 한정하려는 의도가 아니라, 단지 예시적인 목적을 위해 제공되는 것에 지나지 않음은 당업자는 알 것이다.
단수 형태 ("a", "an" 및 "the")는 문맥 상 명백하게 다르게 지시하지 않는 한 복수의 지시 대상을 포함함을 알 것이다. 따라서, 예를 들어, "하나의 구성 요소 표면(a component surface)"에 대한 언급은 하나 이상의 이러한 표면들을 언급하는 것을 포함한다.
"실질적으로(substantially)"이라는 용어는, 인용된 특징, 매개 변수(parameter) 또는 값이 정확히 달성될 필요가 없다는 것을 의미하고 있지만, 예를 들어, 허용 오차(tolerance), 측정 오차, 측정 정밀도의 한계 및 당업자에게 알려진 다른 요인들을 포함하는 편차 또는 변동 등은 제공되기로 의도된 특성에 영향을 미치는 것을 방해하지 않는 범위에서 발생할 수 있다.
본 개시의 다양한 실시 예들에 따르면, 전자 장치는 통신 기능을 포함할 수 있다. 예를 들어, 전자 장치는 스마트 폰, 태블릿 개인용 컴퓨터 (PC), 휴대폰, TV 전화(video phone), 전자 책 리더, 데스크톱 PC, 노트북 PC, 랩탑 PC, 개인용 휴대 정보 단말기 (PDA), 휴대용 멀티미디어 플레이어 (PMP), MP3 플레이어, 휴대의료 기기, 카메라, 웨어러블 디바이스 (예를 들어, 헤드 마운트 장치 (HMD), 전자의류, 전자 브레이스(electronic braces), 전자 목걸이, 전자 악세서리, 전자 문신 또는 스마트 워치) 및/또는 이와 유사한 것일 수 있다.
본 개시의 다양한 실시 예들에 따르면, 전자 장치는 통신 기능을 갖춘 스마트 가전(smart home appliance) 일 수도 있다. 가전 예를 들면, TV, 디지털 비디오 디스크 (DVD) 플레이어, 오디오, 냉장고, 에어컨, 진공 청소기, 오븐, 전자 레인지, 세탁기, 건조기, 공기 청정기, 셋톱 박스, TV 상자 (예를 들어, Samsung HomeSyncTM, Apple TVTM, or Google TVTM), 게임 콘솔, 전자 사전, 전자 키, 캠코더, 전자 액자, 및/또는 등일 수 있다.
본 개시의 다양한 실시 예들에 따르면, 전자 장치는 의료 장치 (예를 들어, 자기 공명 혈관 조영술 (MRA) 장치, 자기 공명 영상 (MRI) 장치, 컴퓨터 단층 촬영 (CT) 장치, 이미징 장치 또는 초음파 장치). 네비게이션 장치, 위성 위치 확인 시스템 (GPS) 수신기, 이벤트 데이터 레코더 (EDR), 비행 데이터 레코더 (FDR), 자동차 인포테인먼트 장치(automotive infotainment device), 해군의 전자 장치 (예를 들면, 해군 탐색 장치, 자이로스코프, 나침반), 항공 전자 장비, 보안 장비, 산업 및 민생 로봇 및/또는 등일 수 있다.
본 개시의 다양한 실시 예들에 따르면, 전자 장치는 가구, 건물/구조물의 일부, 전자 기판, 전자 서명 수신 장치, 프로젝터, 각종 계측 장치 (예를 들면, 물, 전기, 가스 또는 전자기파 측정 장치) 및/또는 통신 기능을 포함하는 것들일 수 있다.
본 개시의 다양한 실시 예들에 따르면 전자 장치는 전술한 장치들의 어떤 조합이어도 좋다. 또한, 본 개시의 다양한 실시 예들에 따른 전자 장치가 전술한 장치들에 한정되지 않음은 당해 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이다.
본 개시의 다양한 실시 예들은 색상 정보를 디모자이크 하기 위한 장치 및 방법을 포함한다. 본 개시의 다양한 실시 예들은 색차 값과 휘도 값을 이용하여 색상 정보를 디모자이크 하기 위한 장치 및 방법을 포함한다.
이미지는 픽셀(pixel)이라는 다수의 영역으로 표시된다. 각 픽셀은 실질적으로 디스플레이의 서브 픽셀들의 세트에 의해 재생되는 색상과 연관되어 있다. 종래 기술에 따르면, 각 서브 픽셀은 원색(primary color)을 표시한다. 예를 들어, 종래 기술에 따른 각 서브 픽셀은 색조 및 채도와 관련 있다. 다른 색상들은 원색을 혼합하여 얻을 수 있다. 각 픽셀은 픽셀의 색상을 표시하는 하나 이상의 서브 픽셀들의 세트에 매핑된다.
일부 디스플레이들에서, 각각의 반복하는 서브 픽셀들의 세트는 각 원색에 대한 서브 픽셀을 포함한다. 서브 픽셀들은 작고, 원하는 해상도를 제공하기 위해 서로 근접하여 배치되어 있다. 이러한 구조는 인간의 시각의 해상도와 일치하지 않기 때문에 비용 효과적이지 않다. 인간은 색채의 차이보다 휘도 차이를 좀 더 잘 인식한다. 따라서 일부 디스플레이는 각 원색의 서브 픽셀들만을 포함하지는 않는 서브 픽셀 반복 세트(subpixel repeating set) 내로 입력 픽셀을 매핑한다. 색채 해상도(chromatic resolution)는 저하하지만, 휘도 해상도는 높은 상태이다. 이러한 디스플레이는 RGBW 디스플레이일 수도 있다.
이미지 검출기는 이미지를 샘플링하는 데 사용되는 복수의 광 검출기를 갖는다. 복수의 광 검출기 각각은 (예를 들어, 흰색 포토 사이트에 대응하는 서브 픽셀이 적색, 녹색, 청색의 모든 조합일 수도 있는 흰색을 샘플링 하도록 상정된다). 예를 들어, 복수의 광 검출기 각각은 컬러 필터로 구성될 수 있다. 종래 기술에 따르면, 컬러 필터 어레이 (CFA) 또는 컬러 필터 모자이크 (CFM)는 복수의 광 검출기 위에 배치된 컬러 필터들의 어레이 또는 모자이크이다.
복수의 광 검출기 각각은 이미지 검출기의 포토 사이트에 위치될 수 있다. 포토 사이트는 색상이 광 검출기에 의해 샘플링 될 수 있는 공간적 위치를 가리 킨다. 컬러 필터의 어레이 또는 모자이크는 각 광 검출기가 하나의 대응하는 컬러 필터를 갖도록 복수의 광 검출기 윗쪽에 배치될 수도 있다. 따라서, 각 포토 사이트 는 단일 색상 (예를 들면, 흰색 포토 사이트에 대응하는 서브 픽셀은 모든 적색, 녹색, 청색의 조합일 수 있는 흰색을 샘플링 하도록 상정된다)에 대해 대응하는 샘플 값을 가질 수 있다.
포토 사이트들 각각은 이미지의 서브 픽셀에 매핑되거나 그렇지 않으면 대응할 수 있다 (예를 들어, 디스플레이에 표시되는 경우). 따라서, 이미지의 각 서브 픽셀은 단일 색상 (예를 들면, 흰색 포토 사이트에 대응하는 서브 픽셀은 적색, 녹색, 청색의 모든 조합일 수 있는 흰색을 샘플링 하도록 상정된다)에 대해 해당하는 샘플 값을 가질 수 있다. 이미지의 각 서브 픽셀이 모든 색상들에 대해 샘플링 된 값들을 갖는 것은 아니기 때문에, 각 서브 픽셀에서 샘플링 된 색상 값들로 표현된 이미지는 의도된 이미지의 일관성이 없는 색상 표현으로 픽셀화되어 나타날 수 있다. 즉, 각 서브 픽셀에서 샘플링 된 색상 값들에 의해 나타내지는 이미지는 캡처되기를 의도한 이미지의 부정확한 표현일 수도 있다.
캡쳐되기를 의도한 이미지의 색상의 표현을 좀 더 정확하게 제공하기 위해, 일반적으로 디모자이크(demosaicing)라는 기술이 수행될 수 있다. 디모자이크는 이미지 검출기에서 출력된 샘플링 색상 값들로부터 풀 색상 이미지(full color image)를 재구성하는 데 사용되는 디지털 이미지 처리를 의미한다. 각 광 검출기는 이미지 검출기의 공간적 풋 프린트(spatial footprint)를 갖고 있기 때문에, 이미지 검출기는 그 각각의 포토 사이트에서 각 색상에 대한 색상 값을 캡처할 수 없다. 이미지 검출기를 구성하는 각각의 광 검출기들로부터 출력된 색상 샘플들을 이용하여 풀 색상 이미지를 재구성하는 것은 각 서브 픽셀에서 각 색상 (예를 들어, 적색, 녹색, 청색)에 대한 값들을 결정하기 위해 보간(interpolation) 또는 다른 수치적 방법들(numerical methods)을 사용할 수 있다.
도 1a 및 도 1b는 종래 기술에 따른 광 검출기의 포토 사이트들의 배열을 도시한다.
도 1a를 참조하면, 적색, 녹색, 청색, 흰색의 포토 사이트를 포함하는 포토 사이트 어레이의 예가 도시되어 있다. 일례로, 적색, 녹색, 청색, 흰색의 포토 사이트들은 포토 사이트들에 각각 대응하는 광 검출기들을 통해 RGBW 필터를 배치함으로써 생성될 수 있다. 흰색 포토 사이트 위에 배치된 필터는 모든 빛을 허용하는 클리어 필터(clear filter)이다. 종래 기술에 따르면, 적색, 녹색, 청색, 흰색의 포토 사이트들에 RGBW 필터를 배치하여 만든 모자이크를 RGBW 모자이크라고 할 수 있다. 그러나, 본 개시의 다양한 실시 예들에 따르면, 흰색 포토 사이트에 대응하는 광 검출기들 (예를 들어, 센서들)은 이러한 포토 사이트들의 응답이 전체 광속을 나타내기 때문에 W라기 보다는 Q로 좀 더 잘 표시되는 것으로 생각될 수 있다. 전체 광속은 광자의 양자 단위로 측정할 수 있다.
도 1b를 참조하면, 적색, 녹색, 청색, 흰색의 포토 사이트를 포함한 포토 사이트 어레이의 다른 예가 도시된다. 일례로 적색, 녹색, 청색, 흰색의 포토 사이트는 포토 사이트들에 각각 대응하는 광 검출기들을 통해 RGBW 베이어 필터를 배치하여 만들 수 있다.
종래 기술에 따르면, 샘플링 된 이미지의 색상 값은 포토 사이트에서 측정된 색차 값을 이용하여 재구성할 수 있다. 구체적으로는 종래 기술에 따르면, 이미지 검출기의 복수의 포토 사이트들에서 샘플링 된 색상 값들을 디모자이크 하고 있다. 종래 기술에서는 샘플링 된 색상 값들의 색차 값들을 기존 색차 값들에 대한 샘플링 된 이미지의 색상 표현을 재구성하도록 디모자이크 한다. 즉, 종래 기술 (예를 들어, 베이어 RGB 디모자이크 알고리즘)에 따른 RGB 디모자이크 알고리즘은 적색 (R), 녹색 (G), 청색 (B)면을 재구성하기 위해 개발되어 왔다. 그러나, 종래 기술에 따른 디모자이크 알고리즘(demosaicing algorithms)은 네 번째 Q 색상 평면을 취급하는 방법과 상기 Q 평면에서 사용 가능한 고주파 휘도 정보를 최적으로 활용하는 방법을 설명하고 있지 않다. 대부분의 이미지 검출기는 일반적으로 적색, 녹색, 청색의 포토 사이트 만을 가지고 있기 때문에, 종래 기술에서는 적색, 녹색, 청색 값들의 디모자이크에 초점을 맞추고 있다. 종래 기술에서는 이와 같이 복수의 서브 픽셀들에 걸쳐 적색 값, 청색 값 및 녹색 값을 보간함으로써 샘플링 된 색상 값들의 색상 표현을 재구성한다.
본 개시의 다양한 실시 예들에 따르면, 색상 정보는 색차 정보와 휘도 정보를 이용하여 디모자이크 되어 있다. 본 개시의 다양한 실시 예들에 따르면, 복수의 포토 사이트에 걸쳐 샘플링 된 색상 값들은 복수의 포토 사이트들에서 샘플링 색차 값 및 휘도 값을 이용하여 디모자이크 된다.
본 개시의 다양한 실시 예들에 따르면, 적색, 녹색, 청색 평면으로부터 도출된 색차 정보는 Q 색상 평면으로부터 도출된 휘도 정보와 조합된다. Q 값은 일반적으로 높은 공간 주파수로 샘플링되고 따라서 적색, 녹색, 청색의 포토 사이트에서 샘플링 된 색상 정보보다 휘도 정보 관련하여 보다 자세한 내용을 가지고 있다.
본 개시의 다양한 실시 예들에 따르면, 이미지의 색상 표현은 낮은 공간 주파수에서 샘플링 된 색차 값들 (예를 들어, 각각 적색 포토 사이트, 청색 포토 사이트 및 녹색 포토 사이트에서 각각 샘플링 된 색차 값들)을 사용하여 그리고 높은 공간 주파수에서 샘플링 된 휘도 값들 (예를 들면, Q 포토 사이트에서 샘플링 된 휘도 값)을 이용하여 재구성된다. 본 개시의 다양한 실시 예들에 따르면, Q 포토 사이트의 휘도 값은 적색 포토 사이트, 청색 포토 사이트 및 녹색 포토 사이트에서 샘플링 된 휘도 값들보다 실제 밝기의 좀 더 정확한 표현 또는 지표이다.
본 개시의 다양한 실시 예들에 따르면, 색차 색상 값들 (예를 들어, 적색 값, 녹색 값, 청색 값)이 서브 픽셀에서 디모자이크 되어 있다. 예를 들어, 색차 색상 값들이 각 서브 픽셀에서 디모자이크 되어 있다. 색차 색상 값들은 보간법, 다른 수치 방법 및/또는 등을 사용하여 디모자이크 될 수도 있다. 예를 들어, 색차 색상 값들이 픽셀 복제, 이중 선형 보간법(bilinear interpolation)과 중간값 보간법(median interpolation)을 사용하여 디모자이크 될 수도 있다.
픽셀 복제에서, 각 결손치(missing value)는 왼쪽, 위쪽 또는 대각선으로 위쪽 및 왼쪽으로 이웃하는 것에서 가장 가까운 것에서 취해진다. 이중 선형 보간은 복잡성의 완만한 증가와 함께 픽셀 복제 외에 몇 가지 향상된 기능을 제공한다. 이중 선형 보간법에서, 각각 결손치는 수평, 수직 및/또는 대각선으로 이웃하는 화소 값들의 평균을 기준으로 계산된다. 비선형 보간법인 중간값 보간은 특히 결함 화소가 있는 경우 이러한 세 가지 알고리즘 (픽셀 복제, 이중 선형 및 중간 값) 사이에서 최상의 결과를 제공하지만 최대의 복잡성을 갖는다. 중간값 보간은 두 단계가 있다. 먼저, 4개의 대각선이웃을 가진 결손치는 이러한 4 개의 값의 중간값을 이용하여 보간 된다. 두 번째로, 나머지 결손 픽셀들은 북쪽, 남쪽, 동쪽, 서쪽 이웃의 중간값에 의해 보간 된다.
본 개시의 다양한 실시 예들에 따르면, 색차 색상 값들이 각 픽셀에서 디모자이크 된 후, 재구성된 색상 값들의 휘도 값 (예를 들어, 각 서브 픽셀의 색차 색상 값들의 디모자이크 기준)은 해당 Q 포토 사이트에서 샘플링 되었던 샘플링 휘도 값으로 대체된다. 본 개시의 다양한 실시 예들에 따르면, 색차 색상 값들이 각 서브 픽셀에서 디모자이크 된 후, 재구성된 색상 값들 (예를 들어, 각 서브 픽셀에서 색차 색상 값 디모자이크 기준)의 휘도 값은 대응하는 Q 포토 사이트에서 샘플링 된 (예를 들어, 디모자이크 된) 정보를 사용하여 재구성되었던 재구성 휘도 값으로 대체된다.
본 개시의 다양한 실시 예들에 따르면, 색차 색상 값들이 각 서브 픽셀에서 디모자이크 된 후, Q (예를 들면, 흰색) 포토사이트에 대응하는 서브 픽셀에서 (예를 들어, 각 서브 픽셀에서 색차 색상 값들의 디모자이크에 따라) 재구성된 색상 값들의 휘도 값은 해당 Q 포토 사이트에서 샘플링 되었던 샘플링 휘도 값으로 대체한다.
본 개시의 다양한 실시 예들에 따르면, 색차 색상 값들이 각 서브 픽셀에서 디모자이크 된 후, RGB 삼자 극치 값들(RGB tri-stimulus values) (예를 들면, 색차 생상 값들)은 휘도-색차 포맷으로 변환된다. RGB 삼자 극치 값들이 휘도-색차 포맷으로 변환된 후, 각각의 서브 픽셀들에서 휘도값들은 해당 서브 픽셀에서 샘플링 된 휘도 값들로 대체된다. 예를 들어, Q (예를 들어 흰색) 포토 사이트에 대응하는 서브 픽셀에서의 휘도 값들은 해당 Q 포토 사이트에서 샘플링되었던 샘플링 된 휘도 값으로 대체된다.
본 개시의 다양한 실시 예들에 따르면, 재구성된 휘도 값들이 휘도 색차 포맷 (예를 들면, 휘도-색차 색 공간)에서 샘플링 된 휘도 값들로 치환된 후, 색차 색상 값들은 샘플링 된 휘도 값들에 따라 정상화(normalize)될 수 있다. 예를 들어, 재구성된 휘도 값들이 휘도- 색차 포맷 (예를 들면, 휘도- 색차 색 공간)에서 Q (예를 들면, 흰색) 포토 사이트에 대응하는 서브 픽셀들에서 샘플링 된 휘도 값들로 대체된 후, 색차 색상 값들은 샘플링 된 휘도 값들에 따라 (예를 들어, 이러한 서브 픽셀들에서) 정상화될 수 있다.
본 개시의 다양한 실시 예들에 따르면, Q (예를 들면, 흰색) 포토 사이트들에 대응하는 서브 픽셀들에서, 색차 색상 값들이 재구성되고 (예를 들어, 디모자이크 되고) 샘플링 된 휘도 값들이 사용된다.
도 1a 및 도 1b에서 도시된 바와 같이, Q 포토 사이트의 밀도는 적색 포토 사이트, 청색 포토 사이트 및 녹색 포토 사이트의 각각의 밀도 보다 상대적으로 커진다. 그 결과 샘플링 된 휘도 값들 (예를 들어, Q 포토 사이트에서 샘플링 된)의 사용은 이미지의 서브 픽셀들에 걸쳐 색상 정보의 디모자이크를 향상시킨다. 기존의 디모자이크 방법들에 따르면, Q 포토 사이트에서 샘플링 된 색상 정보를 효과적으로 무시하고 색차 색상 값들 (예를 들어, 적색 값, 녹색 값, 청색 값)이 서브 픽셀에 인접 (또는 주변의) 서브 픽셀들에서 샘플링 된 샘플링 색차 색상 값들을 사용하여 재구성된다 (예를 들어, 보간된다).
도 2는 본 개시의 실시 예에 따른 이미지의 색상 표현을 재구성하는 방법의 흐름도를 나타낸다.
도 2를 참조하면, 동작(205)에서, 전자 장치는 (예를 들어, 이미지에 대한) 색상 정보를 캡쳐한다. 전자 장치는 이미지를 캡쳐 하는데 사용할 수 있는 복수의 광 검출기를 갖는 이미지 검출기를 포함할 수 있다. 광 검출기의 각각은 하나의 색상 (예를 들어, 적색, 녹색, 청색의 모든 조합일 수 있는 흰색을 샘플링 하도록 상정되는 흰색 포토 사이트에 대응하는 서브 픽셀)을 샘플링 할 수 있다. 본 개시의 다양한 실시 예들에 따르면, 복수의 광 검출기들로부터의 색상 정보가 저장될 수 있다. 본 개시의 다양한 실시 예들에 따르면, 색 표현의 재구성을 필요로 할 수 있는 의도된 이미지를 구성하는 색상 정보가 상대방 전자 장치로부터 수신/저장될 수 있다.
동작(210)에서, 전자 장치는 서브 픽셀들에서 색상 값들을 재구성할 수 있다. 전자 장치는 서브 픽셀들 각각에서 적색 값, 녹색 값, 청색 값을 계산할 수 있다. 전자 장치는 서브 픽셀들 각각에서 적색 값, 녹색 값, 청색 값 및 Q 색상 값을 계산할 수 있다. 전자 장치는 보간 또는 다른 수치적 방법 (예를 들어, 해당 색상 값의 국소 평균)를 이용하여 각 서브 픽셀에 해당하는 색상 값을 계산할 수 있다.
동작(215)에서, 전자 장치는 휘도-색차 포맷으로 적색 값, 녹색 값, 청색 값을 변환할 수 있다. 본 개시의 다양한 실시 예들에 따르면, 전자 장치는 RGB 색 공간을 휘도-색차 공간으로 변환할 수 있다.
동작(220)에서, 전자 장치는 상기 재구성된 휘도 값들을 해당 서브 픽셀들에서 샘플링 된 휘도 값들로 대체한다. 본 개시의 다양한 실시 예들에 따르면, Q (예를 들면, 흰색) 포토 사이트에 대응하는 서브 픽셀에서 재구성된 색상 값들 (예를 들어, 각 서브 픽셀에서 채도 색상 값의 디모자이크 처리 기준)의 휘도 값은 해당 Q 포토 사이트에서 샘플링 되었던 샘플링 휘도 값으로 대체된다.
동작(225)에서, 전자 장치는 휘도-색차 포맷에서 RGB 포맷으로 색상 값을 변환할 수 있다. 전자 장치는 디모자이크 된 색상 정보 (예를 들어, 색차 색상 값 및 휘도 값 포함)를 휘도-색도 공간에서 RGB 색 공간으로 변환할 수 있다.
동작(230)에서, 전자 장치는 각 서브 픽셀들에 대한 색상 정보 (예를 들어: 색상 값들)를 저장할 수 있다. 전자 장치는 각각의 서브 픽셀들에 대한 색차 색상 값들과 휘도 값들을 포함하는 색상 정보를 저장할 수 있다. 전자 장치는 이미지를 저장 할 수 있다.
동작(235)에서, 전자 장치는 이미지를 렌더링 할 수 있다. 전자 장치는 프리뷰 이미지(preview image)의 이미지를 렌더링 할 수 있다. 전자 장치는 이미지를 렌더링 하기 전에 또한 이미지 처리를 실시할 수 있다.
도 3은 본 개시의 실시 예에 따른 이미지의 색상 표현을 재구성하는 방법의 흐름도를 나타낸다.
도 3을 참조하면, XYZ 색 공간을 중간 매개자로서 사용하여 중간 매개자 내부에서 Q 포토 사이트들에 대응하는 서브 픽셀들에서 재구성된 휘도 값들이 서브 픽셀들에서 샘플링 된 휘도 값들로 대체될 수 있도록이미지의 색상 표현을 재구성하는 예가 제공된다. 휘도의 일반식은 RGB 공간에서 밝기 공간으로 색상 정보를 변환하는 적색, 녹색, 청색의 가중치들을 사용한다. 본 개시의 다양한 실시 예들에 따르면, RGB 공간에서 휘도 공간으로의 색상 정보 변환에 사용되는 가중치는 인간의 인식 (예를 들어, "명소 감도 함수(photopic sensitivity function)"를 사용하는)에 근거한다. 그러나, 이미지 검출기 (예를 들어, 카메라 센서)로부터의 Q 값들은 가중되지 않는다. 샘플링 된 Q 값은 포토 수에 비례하여 적색, 녹색, 청색을 동등하게 계산할 것이다 (가중치를 준다). 본 개시의 다양한 실시 예들의 이러한 가중치를 취할 수 있는 방법에 따르면, RGB 색상 값들을 CIE xyY 색차 값들로 변환하는 (예를 들어, RGB 색 공간으로부터 CIE xyY 색 공간으로의 색상 정보 변환) 새로운 변환 행렬이 생성될 수 있다. 본 개시의 다양한 실시 예들에 따르면, 일반 휘도 가중치를 사용하기 보다는 균등하게 가중된 휘도 값들을 색 공간 사이의 변환을 위해 사용 할 수 있다.
동작(305)에서, 전자 장치는 (예를 들어, 이미지) 색상 정보를 캡쳐 한다. 전자 장치는 이미지를 캡처 하는 데 사용할 수 있는 복수의 광 검출기를 갖는 이미지 검출기를 포함할 수 있다. 광 검출기들 각각은 단일 색상 (예를 들어, 흰색 포토 사이트에 대응하는 서브 픽셀은 적색, 녹색, 청색의 모든 조합일 수 있는 흰색을 샘플링 하도록 상정된다)을 샘플링 할 수 있다. 본 개시의 다양한 실시 예들에 따르면, 복수의 광 검출기들로부터 색상 정보가 저장될 수 있다. 본 개시의 다양한 실시 예들에 따르면, 색 표현의 재구성을 필요로 할 수 있는 의도된 이미지를 구성하는 색상 정보는 상대의 전자 장치로부터 수신되고 저장될 수 있다.
동작(310)에서, 전자 장치는 서브 픽셀들에서의 색상 값들을 재구성할 수 있다. 전자 장치는 서브 픽셀들 각각에서 적색 값, 녹색 값, 청색 값을 계산할 수 있다. 전자 장치는 서브 픽셀들 각각에서 적색 값, 녹색 값, 청색 값 및 Q 색상 값을 계산할 수 있다. 전자 장치는 보간 또는 다른 수치적 방법 (예를 들어, 해당 색상 값의 국소 평균)를 이용하여 각 서브 픽셀에 해당하는 색상 값을 계산할 수 있다.
동작(315)에서, 전자 장치는 적색 값, 녹색 값, 청색 값을 휘도-색차 포맷으로 변환할 수 있다. 본 개시의 다양한 실시 예들에 따르면, 전자 장치는 RGB 색 공간을 XYZ 공간으로 변환할 수 있다.
본 개시의 다양한 실시 예들에 따르면, 이미지 검출기 (예를 들어, 포토 사이트에 대응하는 복수의 광 검출기)로부터 xyQ 색도 공간으로의 원시 RGB 값들로 변환될 수 있다. 본 개시의 다양한 실시 예들에 따르면, 재구성된 유채색의 값들 (예를 들어, 이미지 검출기에서 RGB 값을 사용하여 디모자이크 된 색상 값들)은 xyQ 색도 공간으로의 값들로 변환될 수 있다.
유채색의 값들은 RGB 색 공간으로 정규화될 수 있다. 원색 값들은 아래의 수학식 (1)에 따라 가중될 수 있다.
Figure pat00001
수학식 (1)을 참조하면, P는 REC 709, sRGB, NTSC 원색 값들로 정의된 색 공간에 대응하는 행렬을 나타낸다. 샘플링 된 색상 값들 또는 복수의 서브 픽셀들에 대해 재구성된 색상 값들은 색 공간을 정규화하도록 행렬 P에 의해 필터링 된다.
삼원색 값들(예를 들어, 적색, 녹색, 청색)은 수학식 (2)에 따라 가중될 수 있다.
Figure pat00002
수학식 (2)를 참조하면, 삼원색 값들 (예를 들어, 적색, 녹색, 청색)은 Y의 삼원색 가중치 행렬에 따라 균등하게 가중될 수 있다.
색상 값들은 아래 수학식 (3)을 이용하여 XQZ 색 공간으로 변환될 수 있다. 예를 들어, 샘플링 된 색상 값들 또는 재구성된 색상 값들은 수학식 (1) 및 (2)를 이용하여 P 및 Y의 각 원색 가중치에 따라 XQZ로 변환될 수 있다.
Figure pat00003
수학식 (3)을 참조하면, M2Xxyz,rgb는 RGB는 색상 값들을 RGB 색 공간에서 XQZ 공간으로 변환하는 행렬을 생성하는 식을 나타낸다. 본 개시의 다양한 실시 예들에 따르면, 수학식 (1) 및 (2)를 이용하여 P 및 Y의 각각의 원색 가중치들에 따라 수학식 (3)을 이용하여 RGB 색 공간에서 XQZ 색 공간으로의 색상 값 변환을 위한 M2Xxyz,rgb 변환 매트릭스는 아래의 수학식 (4)로 제공된다.
Figure pat00004
수학식 (4)를 참조하면, M2Xxyz,rgb 변환 매트릭스는 수학식 (1) 및 (2)를 이용하는 P 및 Y의 각각의 원색 가중치들에 따라 수학식 (3)을 이용하여 RGB 색 공간에서 XQZ 색 공간으로 색상 값을 변환한다. 수학식 (4) 식의 변환 행렬에 의해 제공된 바와 같이, 변환 행렬의 중앙 라인의 요소들은 수학식 (2)에서 정의된 원색 값들의 가중치를 1/3 반영하는 것과 같다.
수학식 (4)의 변환 행렬이 RGB 색 공간을 XQZ 색 공간으로 변환하더라도, XQZ 색 공간은 색도 값으로 정의되어 있지 않다. 즉, 수학식 (4)의 변환 행렬은 RGB 값들을 XQZ 값들로 변환한다. 본 개시의 다양한 실시 예들에 따르면, XQZ 값들은 또한 색도 값들로 변환될 수 있다. 예를 들어, XQZ 값들은 xyQ 색도 값들로 변환될 수 있다.
본 개시의 다양한 실시 예들에 따르면, CIE xyY 색도 변환 식은 XQZ 값들을 xyQ 색도 값들로 변환하는 데 사용할 수 있다. 예를 들어, XQZ 값들은 수학식 (5)로 정의되는 변환을 사용하여 xyQ 색도 값으로 변환될 수 있다.
Figure pat00005
수학식 (1) 내지 (5)를 참조하면, 이미지 검출기 (예를 들어, 카메라 센서)로부터의 원시 RGB 값들이 RGB 공간에서 xyQ 색도 공간으로 변환될 수 있다. 본 개시의 다양한 실시 예들에 따르면, 재구성된 RGB 값들 (예를 들어, 디모자이크 된 RGB 값들)은 수학식 (1) 내지(5)를 이용하여 RGB 색 공간에서 xyQ 공간으로 변환될 수 있다.
동작(320)에서, 전자 장치는 특정의 서브 픽셀에 대해 계산된 Q 값을 특정 서브 픽셀에 대해 보간 된 Q 값으로 대체할 수 있다. 본 개시의 다양한 실시 예들에 따르면, 전자 장치는 재구성된 휘도 값들을 해당 서브 픽셀들에서 샘플링 된 휘도 값들로 대체한다. 본 개시의 다양한 실시 예들에 따르면, Q (예를 들면, 흰색) 포토 사이트에 대응하는 서브 픽셀들에서 재구성된 색상 값들 (예를 들어, 각 서브 픽셀에서 채도 색상 값들의 디모자이크 처리 기준)의 휘도 값은 해당하는 Q 포토 사이트에서 샘플링 되었던 샘플링 휘도 값으로 대체된다.
동작(325)에서, 전자 장치는 휘도-색차 포맷으로부터 RGB 포맷으로 색상 값을 변환할 수 있다. 전자 장치는 XYZ 공간에서 RGB 색 공간으로의 디모자이크 색상 정보 (예를 들어, 색차 색상 값 및 휘도 값 포함)로 변환할 수 있다.
본 개시의 다양한 실시 예들에 따르면, 특정 서브 픽셀에 대한 계산된 Q 값은 특정 서브 픽셀에 대해 보간 된 Q 값으로 대체할 수 있다. 그 다음, 색상 정보는 휘도-색차 포맷에서 RGB 포맷으로 변환된다.
본 개시의 다양한 실시 예들에 따르면, XYZ 공간으로의 CIE xyY 색도 변환을 위한 표준 식은 xyQ 값을 XQZ 값들로 변환하는 데 사용할 수 있다. 예를 들어, xyQ 값은 수학식 (6)으로 정의되는 변환을 사용하여 XQZ 색도 값들로 변환될 수 있다.
Figure pat00006
그 다음, 색상 값들은 XQZ 공간에서 XQZ 색도 값들로 변환된 후 색상 값은 RGB 공간으로 또한 변환될 수 있다. XQZ 공간에서 XQZ 색도 값들은 수학식 (7)에 따라 RGB 공간에 대한 RGB 값으로 변환될 수 있다.
Figure pat00007
수학식 (7)을 참조하면, M2X-1은 수학식 (4)에서 정의된 M2X 행렬의 역행렬에 대응한다.
동작(330)에서, 전자 장치는 각각의 서브 픽셀들에 대한 색상 정보 (예를 들어: 색상 값)를 저장할 수 있다. 전자 장치는 각각의 서브 픽셀들에 대한 색차 색상 값들 및 휘도 값들을 포함하는 색상 정보를 저장할 수 있다. 전자 장치는 이미지를 저장 할 수 있다.
동작(335)에서, 전자 장치는 이미지를 렌더링 할 수 있다. 전자 장치는 프리뷰 프레임의 이미지를 렌더링 할 수 있다. 전자 장치는 이미지를 렌더링 하기 전에 또한 이미지 처리를 실시할 수 있다.
도 4는 본 개시의 실시 예에 따른 이미지의 색상 표현을 재구성하는 방법에 대한 의사 코드(pseudo code)를 도시한다.
도 4를 참조하면, 의사 코드는 도 3과 관련하여 설명한 방법 등에 따른 이미지의 색상 표현을 재구성할 수 있다. 예를 들어, 의사 코드는 수학식 (1) 내지 (7)을 사용하여 이미지의 색상 표현을 재구성하는 방법을 설명할 수 있다.
도 5는 본 개시의 실시 예에 따른 이미지의 색상 표현을 재구성하는 방법의 흐름도를 나타낸다.
도 5를 참조하면, 휘도-색차 포맷과 계산적으로 단순화된 RGB 포맷 간의 변환 방법이 유리할 수 있다. 예를 들어, 상대적으로 복잡한 계산은 많은 메모리와 프로세싱 리소스들을 필요로 한다. 실제로, 도 3과 관련하여 상술한 바와 같이 상기 RGB 공간에서 XQZ 공간, xqQ 공간, XQZ 공간으로의 변환, 그리고 다시 RGB 공간으로 되돌아오는 것은 비교적 많은 수의 부동 소수점 배수(floating point multiples)를 필요로 한다. 본 개시의 다양한 실시 예들에 따르면, 적은 게이트를 사용하여 이미지의 색상 표현을 재구성하는 방법이 바람직할 수 있다.
본 개시의 다양한 실시 예들에 따르면, RGB 공간은 정수 덧셈 연산, 정수 빼기 연산, 시프트 연산을 사용하여 휘도-색차 공간으로 변환될 수 있다. 이러한 변환은 밝기와 채도를 조합하여 디모자이크 처리 색상 정보를 위해 사용될 수 있는 메모리의 효율적인 방법이다. 본 개시의 다양한 실시 예들에 따르면, YByRy 공간이 RGBQ이미지 검출기에서 샘플링 된 색상 정보를 디모자이크 처리하는 동안 샘플링 된 (예를 들어, 보간 된) Q 값을 보정 (예를 들어, 대체)하기 위한 중간 매개자로서 이용될 수 있다. 본 개시의 다양한 실시 예들에 따르면, RGV 색 공간은 정수 덧셈 연산, 정수 빼기 연산, 및 시프트 연산의 조합을 사용하여 YByRy 공간으로 변환될 수 있다.
본 개시의 다양한 실시 예들에 따르면 YByRy 공간에서 Y 값은 아래 수학식 (8)에 의해 정의될 수 있다. YByRy 색 공간은 휘도에 대한 빛 감도 함수의 간략화 된 근사값에 기반한다.
Figure pat00008
본 개시의 다양한 실시 예들에 따르면, YByRy 색 공간 변환은 Q 색상 값들을 이용하는 색 공간에 적용 (예를 들어, 수정)될 수 있다. 이렇나 수정된 색 공간을 QBqRq 색 공간이라고 부를 수 있다. 본 개시의 다양한 실시 예들에 따르면, QBqRq 색 공간의 Q 값은 아래 수학식 (9)로 정의할 수 있다.
Figure pat00009
동작(505)에서, 전자 장치는 이미지 정보 (예를 들어, 이미지)를 캡쳐 한다. 전자 장치는 이미지를 캡처 하는 데 사용할 수 있는 복수의 광 검출기들을 갖는 이미지 검출기를 포함할 수 있다. 광 검출기들 각각은 단일 색상 (예를 들어, 흰색 포토 사이트에 대응하는 서브 픽셀은, 적색, 녹색, 청색의 모든 조합일 수 있는 흰색을 샘플링 하도록 상정된다)을 샘플링 할 수 있다. 본 개시의 다양한 실시 예들에 따르면, 복수의 광 검출기들로부터의 색상 정보가 저장될 수 있다. 본 개시의 다양한 실시 예들에 따르면, 색상 표현의 재구성을 필요로 할 수 있는 의도된 이미지를 구성하는 색상 정보가 상대방 전자 장치로부터 수신되고 저장될 수 있다.
동작(510)에서, 전자 장치는 서브 픽셀들에서 색상 값들을 재구성할 수 있다. 전자 장치는 서브 픽셀들 각각에서 적색 값, 녹색 값, 청색 값을 계산할 수 있다. 전자 장치는 서브 픽셀들 각각 적색 값, 녹색 값, 청색 값 및 Q의 색상 값을 계산할 수 있다. 전자 장치는 보간 또는 다른 수치적 방법 (예를 들어, 해당 색상 값의 국소 평균)를 이용하여 각 서브 픽셀에서 해당하는 색상 값을 계산할 수 있다.
동작(515)에서, 전자 장치는 휘도-색차 포맷으로 적색 값, 녹색 값, 청색 값을 변환할 수 있다. 본 개시의 다양한 실시 예들에 따르면, 전자 장치는 RGB 색 공간을 QBqRq 공간으로 변환할 수 있다.
RGB 색 공간은 수학식 (9) 및 아래의 수학식 (10)을 이용하여QBqRq 색 공간으로 변환될 수 있다.
Figure pat00010
수학식 (9) 및 (10)을 참조하면, Bq 및 Rq에 대한 계산을 아래 수학식 (11)에서 제공된 바와 같이 확장할 수 있다.
Figure pat00011
수학식 (9)와 (11)을 참조하면, RGB 색 공간에서 QBqRq 색 공간으로 색상 값을 변환하는 계산은 단순하고 계산 상 효율적이다.
RGB 색 공간과 QBqRq 색 공간 사이의 변환을 위한 수학식 (9) 및 (11)은 수학식 (12)로 제공되는 바와 같이 매트릭스 포맷으로 나타낼 수 있다.
Figure pat00012
수학식 (12)을 참조하면,'1/3'는 변환 행렬에서 구해질 수 있다. 얻어진 매트릭스는 QBqRq 색 공간으로의 RGB 색 공간 변환이 정수 덧셈 연산, 정수 빼기 연산, 시프트 연산, 및 하나를 3 개로 나누는 동작의 조합만으로 하는 것을 허용한다.
본 개시의 다양한 실시 예들에 따르면, 3 분할 동작은 고정 소수점 이진 역수 값과 오른쪽 시프트에 의한 정수 곱셈 연산으로 할 수 있다.
동작(520)에서, 전자 장치는 특정의 서브 픽셀에 대해 계산된 Q 값을 특정 서브 픽셀에 대해 보간 된 Q 값으로 대체할 수 있다. 본 개시의 다양한 실시 예들에 따르면, 전자 장치는 재구성된 휘도 값들을 해당 서브 픽셀들에서 샘플링 된 휘도 값들로 대체한다. 본 개시의 다양한 실시 예들에 따르면, Q (예를 들면, 흰색) 포토 사이트들에 대응하는 서브 픽셀들에서 재구성된 색상 값들의 휘도 값 (예를 들어, 각 서브 픽셀에서 색차 색상 값들의 디모자이크 처리 기반)은 해당 서브 픽셀들에서 샘플링 되었던 샘플링 휘도 값들로 대체된다.
동작(525)에서, 전자 장치는 휘도-색차 포맷의 색상 값들을 RGB 포맷으로 변환할 수 있다. 전자 장치는 디모자이크 색상 정보 (예를 들어, 색차 색상 값 및 휘도 값 포함)를 QBqRq 색 공간에서 RGB 색 공간으로 변환할 수 있다.
본 개시의 다양한 실시 예들에 따르면, 색상 값들은 다음 수학식 (13)을 이용하여 QBqRq 색 공간에서 RGB 색 공간으로 변환될 수 있다.
Figure pat00013
수학식 (13)을 참조하면, RGB 색 공간에서 QBqRq 색 공간으로 색상 값 변환을 수학식 (11)에 의해 제공되는 바와 같이 나타내는 것과 연관된 장점은, 상기 변환 행렬이 반전되어 QBqRq 색 공간에서 RGB 색 공간으로의 색상 값 변환을 위한 식 (예를 들어, 변환 행렬)을 생성할 수 있다는 점이다.
동작(530)에서, 전자 장치는 각각의 서브 픽셀들에 대한 색상 정보 (예를 들어: 색상 값들)을 저장할 수 있다. 전자 장치는 각각의 서브 픽셀들에 대한 색차 색상 값들과 휘도 값들을 포함한 색상 정보를 저장할 수 있다. 전자 장치는 이미지를 저장할 수 있다.
동작(535)에서, 전자 장치는 이미지를 렌더링 할 수 있다. 전자 장치는 프리뷰 프레임의 이미지를 렌더링 할 수 있다. 전자 장치는 이미지를 렌더링 하기 전에 또한 이미지 처리를 실시할 수 있다.
도 6은 본 개시의 실시 예에 따른 이미지의 색상 표현을 재구성하는 방법에 대한 의사 코드를 도시한다.
도 6을 참조하면, 제공된 의사 코드는 도 5와 관련하여 설명한 방법에 따라 이미지의 색상 표현을 재구성할 수 있다. 예를 들면, 의사 코드는 수학식 (8) 내지 (13)을 이용하여 이미지의 색상 표현을 재구성하는 방법을 기술할 수 있다.
도 7은 본 개시의 실시 예에 따른 이미지의 색상 표현을 재구성하는 방법의 흐름도를 도시한다.
도 7을 참조하면, 복수의 서브 픽셀들을 가로 지르는 색상 정보는 적색 값, 녹색 값, 청색 값을 이용하여 재구성 (예를 들어, 디모자이크) 될 수 있다. 그런 다음, 재구성된 색상 값들 (예를 들어, 계산된 적색 값, 계산된 녹색 값 및 계산된 청색 값)을 조정하여 Q 값을 취할 수 있다.
본 개시의 다양한 실시 예들에 따르면, 재구성된 색상 값들 (예를 들어, 계산된 적색 값, 계산된 녹색 값 및 계산된 청색 값)을 조정하여 RGB 색 공간에서 휘도-색차 색 공간으로의 색상 값 변환 없이 Q 값을 취할 수 있다.
본 개시의 다양한 실시 예들에 따르면, Q 값은 개별적으로 샘플링 된 RBG 값들 (예를 들어, 샘플링 된 적색 값, 샘플링 된 청색 값, 및 샘플링 된 녹색 값)을 합산하여 근사할 수 있다. 본 개시의 다양한 실시 예들에 따르면, Q 값은 개별적으로 디모자이크 된 RBG 값들 (예를 들어, 샘플링 된 적색 값, 샘플링 된 청색 값, 및 샘플링 된 녹색 값)을 합산하여 근사할 수 있다.
본 개시의 다양한 실시 예들에 따르면, 휘도 (예를 들어, Q 색상 값)가 개별 RBG 값들의 합으로 정의된다면, Q 값들 (예를 들어, 샘플링 된 Q 값, 또는 디모자이크 된 Q 값)의 고려를 포함한 색상 정보를 디모자이크 처리하는 방법은 RGB 색 공간에 있는 한 휘도 값으로서 상기 샘플링 된 (또는 보간 된) Q 값을 대체할 수 있다. 본 개시의 다양한 실시 예들에 따르면, 색상 차이를 유지하면서 샘플링 된 (또는 보간 된) Q 값이 할당된다. 본 개시의 다양한 실시 예들에 따르면, 개별 RGB 값들의 상대적인 비율을 유지하면서 샘플링 된 (또는 보간 된) Q 값이 대체된다.
본 개시의 다양한 실시 예들에 따르면, RGB 색상 벡터는, 개별 디모자이크 된 RBG 값들의 합이 특정 서브 픽셀에서 샘플링 된 (또는 보간 된) Q 값과 동일하도록 스케일링 또는 정규화된다.
동작(705)에서, 전자 장치는 색상 정보 (예를 들어, 이미지에 대한)를 캡쳐한다. 전자 장치는 이미지를 캡처 하는 데 사용할 수 있는 복수의 광 검출기를 갖는 이미지 검출기를 포함할 수 있다. 광 검출기들 각각은 단일 색상 (예를 들어, 흰색 포토 사이트에 대응하는 서브 픽셀은 적색, 녹색, 청색의 조합일 수 있는 흰색을 샘플링 하도록 상정된다)을 샘플링 할 수 있다. 본 개시의 다양한 실시 예들에 따르면, 복수의 광 검출기들로부터의 색상 정보가 저장될 수 있다. 본 개시의 다양한 실시 예들에 따르면, 색 표현의 재구성을 필요로 할 수 있는 의도된 이미지를 구성하는 색상 정보는 상대의 전자 장치에서 수신되고 저장될 수 있다.
동작(710)에서, 전자 장치는 서브 픽셀들에서 색상 값들을 재구성할 수 있다. 전자 장치는 서브 픽셀들 각각에서 적색 값, 녹색 값, 청색 값을 계산할 수 있다. 전자 장치는 서브 픽셀들 각각에서 적색 값, 녹색 값, 청색 값 및 Q 색상 값을 계산할 수 있다. 전자 장치는 보간 또는 다른 수치적 방법 (예를 들어 해당 색상 값의 국소 평균)를 이용하여 각 서브 픽셀에 해당하는 색상 값을 계산할 수 있다.
동작(715)에서, 전자 장치는 특정 서브 픽셀에서 재구성된 색상 값을 다시 정상화 할 수 있다. 전자 장치는, 특정 서브 픽셀이 Q 포토 사이트에 해당하는 경우 샘플링 된 Q 값을 이용하여 특정 서브 픽셀에서 재구성된 색상 값을 정상화 할 수 있다. 전자 장치는, 특정 서브 픽셀이 적색 포토 사이트, 청색 포토 사이트 또는 녹색 포토 사이트에 해당하는 경우 보간 된 Q 값을 이용하여 특정 서브 픽셀에서 재구성된 색상 값을 다시 정상화 할 수 있다.
본 개시의 다양한 실시 예들에 따르면, 전자 장치는 모든 서브 픽셀에서 재구성된 색상 값들을 다시 정상화 할 수 있다.
본 개시의 다양한 실시 예들에 따르면, 전자 장치는 아래 수학식 (14)를 이용하여 재구성된 색상 값들을 다시 정상화 할 수 있다.
Figure pat00014
수식 14을 참조하면, R'은 해당 서브 픽셀에 대한 다시 정상화된 적색 값에 대응하고, G'는 해당 서브 픽셀에 대한 다시 정상화된 녹색 값에 대응하고, B'은 해당 서브 픽셀에 대한 다시 정상화된 청색 값에 대응한다. Q는 샘플링 된 Q 값과 대응하는 서브 픽셀에 대한 보간 된 Q 값 중 하나에 해당한다. 예를 들어, 특정 서브 픽셀이 Q 포토 사이트에 해당하는 경우 Q는 샘플링 된 Q 값을 의미한다. 다른 예로서, 특정 서브 픽셀이 적색 포토 사이트, 청색 포토 사이트 또는 녹색의 포토 사이트에 해당하는 경우, Q는 보간 된 Q 값을 의미한다. R은 해당 서브 픽셀에서 재구성된 (예를 들어, 디모자이크 된) 적색 값에 대응하고, B는 해당 서브 픽셀에서 재구성된 (예를 들어, 디모자이크 된) 청색 값에 대응하며, G는 해당 서브 픽셀에서 재구성된 (예를 들어, 디모자이크 된) 녹색 값에 대응한다.
본 개시의 다양한 실시 예들에 따르면, 전자 장치는 아래 수학식 (15)를 이용하여 재구성된 색상 값들을 다시 정상화 할 수 있다.
Figure pat00015
수학식 (15)을 참조하면, R'은 해당 서브 픽셀에 대한 다시 정상화된 적색 값에 대응하고, G'는 해당 서브 픽셀에 대한 다시 정상화된 녹색 값에 대응하고, B'은 해당 서브 픽셀에 대한 다시 정상화된 청색 값에 대응한다. Q는 샘플링 된 Q 값과 대응하는 서브 픽셀에 대한 보간 된 Q 값 중 하나에 해당한다. 예를 들어, 특정 서브 픽셀이 Q 포토 사이트에 해당하는 경우 Q는 샘플링 된 Q 값을 의미한다. 다른 예로서, 특정 서브 픽셀이 적색 포토 사이트, 청색 포토 사이트 또는 녹색의 포토 사이트에 해당하는 경우, Q는 보간 된 Q 값을 의미한다. R은 해당 서브 픽셀에서 재구성된 (예를 들어, 디모자이크 된) 적색 값에 대응하고, B는 해당 서브 픽셀에서 재구성된 (예를 들어, 디모자이크 된) 청색 값에 대응하며, G는 해당 서브 픽셀에서 재구성된 (예를 들어, 디모자이크 된) 녹색 값에 대응한다.
수학식 (15)를 참조하면, 개별 RBG 값들 (예를 들어, R'+B'+G')의 합으로 정의된 바와 같이 얻어진 휘도는 실제로 Q와 동일하다. 그러나, 그러나, 필수 흰색 벡터가 (예를 들어, (ΔL, ΔL, ΔL)가 그 부호에 따라 (예를 들어, 벡터가 양성 또는 음성인지 여부에 따라) 가산 또는 감산되듯이 포화/불포화 효과가 존재하기 때문에 R, G 및 B의 상대적 비율로 정의되듯이엄격한 색상 차이가 유지되지는 않는다. 휘도의 작은 변조를 위해 포화 편차가 작다. 하지만, 휘도가 크게 변조되면 관찰 가능한 포화/불포화 아티팩트(artifacts)를 발생시킬 수 있다. 즉, 수학식 (15)를 이용하면 계산이 간단하고 더 비용 효과적 (예를 들어, 적은 자원 집약적) 이지만, 측정된 Q 값을 조정하기 위해 수학식 (15)를 사용하면 색상 시프트(color shift)를 가져올 수 있다.
본 개시의 다양한 실시 예들에 따르면, 재구성된 색상 값들을 다시 정상화하는 방법은 휘도 변조가 비교적 작은 색상 이미지 (예를 들어: 이미지)를 위해 사용할 수 있다.
동작(720)에서 전자 장치는 각각의 서브 픽셀들에 대한 색상 정보 (예를 들어: 색상 값)을 저장할 수 있다. 전자 장치는 각각의 서브 픽셀들에 대한 색차 색상 값들과 휘도 값들을 포함하는 색상 정보를 저장할 수 있다. 전자 장치는 이미지를 저장할 수 있다.
동작(725)에서, 전자 장치는 이미지를 렌더링 할 수 있다. 전자 장치는 프리뷰 프레임의 이미지를 렌더링 할 수 있다. 전자 장치는 이미지를 렌더링하기 전에 더욱 이미지 처리를 실시할 수 있다.
도 8은 본 개시의 실시 예에 따른 이미지의 색상 표현을 재구성하는 방법에 대한 의사 코드를 도시한다.
도 8을 참조하면, 제공된 의사 코드는 도 7과 관련하여 설명한 방법에 따라 이미지의 색상 표현을 재구성 할 수 있다. 예를 들어, 의사 코드는 수학식 (14)를 이용하여 이미지의 색상 표현을 재구성하는 방법을 기술할 수 있다.
도 9는 본 개시의 실시 예에 따른 이미지의 색상 표현을 재구성하는 방법에 대한 의사 코드를 도시한다.
도 9를 참조하면, 제공된 의사 코드는 도 7과 관련하여 설명한 방법에 따라 이미지의 색상 표현을 재구성 할 수 있다. 예를 들어, 의사 코드는 수학식 (15)을 이용하여 이미지의 색상 표현을 재구성하는 방법을 기술할 수 있다.
도 10은 본 개시의 실시 예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 10을 참조하면, 전자 장치(1000)는 제어부(1010), 저장부(1020), 카메라부(1030), 이미지 처리부(1040), 표시부(1050), 입력부(1060), 및 통신부(1070)를 포함할 수 있다.
본 개시의 다양한 실시 예들에 따르면, 전자 장치(1000)는 적어도 하나의 제어부(1010)를 포함한다. 적어도 하나의 제어부(1010)는 전자 장치(1000)를 제어를 동작적으로 제어하도록 구성될 수 있다. 예를 들어, 적어도 하나의 제어부(1010)는 전자 장치(1000)에 포함된 다양한 구성 요소들 또는 유닛들의 동작을 제어할 수 있다. 상기 적어도 하나의 제어부(1010)는 전자 장치(1000)에 포함된 다양한 구성 요소들로 신호를 전송하고 전자 장치(1000)의 내부 블록들 간의 신호 흐름을 제어 할 수 있다. 적어도 하나의 제어부(1010)는 적어도 하나의 프로세서일 수 있거나 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 제어부(1010)는 애플리케이션 프로세서(AP) 및/또는 등을 포함할 수 있다.
저장부(1020)는 본 개시의 다양한 실시 예들에 따른 조작 기능을 수행하는 프로그램뿐 아니라 사용자 데이터 및/또는 등을 저장하도록 구성될 수 있다. 저장부(1020)는 비 일시적인 컴퓨터 판독 가능한 기억 매체를 포함할 수 있다. 일례로, 저장부(1020)는 전자 장치(1000)의 일반적인 동작을 제어하기 위한 프로그램, 전자 장치를 부팅하는 운영 체제 (OS), 및 카메라 기능, 음성 재생 기능, 이미지 또는 비디오 재생 기능, 신호 강도 측정 기능, 경로 생성 기능, 이미지 처리 및/또는 등의 등의 다른 선택적 기능을 수행하기 위한 애플리케이션 프로그램을 저장할 수 있다. 또한, 저장부(1020)는 예를 들어, 문자 메시지, 게임 파일, 음악 파일, 동영상 파일 및/또는 등의 전자 장치(1000)의 사용자에 따라 생성된 사용자 데이터를 저장할 수 있다. 본 개시의 다양한 실시 예들에 따르면, 저장부(1020)는 하나 이상의 이미지 및/또는 등을 (예를 들어, 동시에) 캡쳐 하기 위해, 카메라부 (도시 안됨)를 조작하는 하나의 응용 프로그램 또는 복수의 응용 프로그램을 개별적으로 또는 조합하여 저장할 수 있다. 본 개시의 다양한 실시 예들에 따르면, 저장부(1020)는 개별적으로 또는 조합하여 이미지 처리부(1040) 및 제어부(1010)를 조작하는 하나의 응용 프로그램 또는 복수의 응용 프로그램을 저장하여, 녹색 서브 픽셀들에서의 색상 값을 결정 (예를 들어, 재구성)하고, 적색 서브 픽셀의 색상 값을 결정 (예를 들어, 재구성)하며, 청색 서브 픽셀들에서의 색상 값을 결정 (예를 들어, 재구성)하고, 흰색 (Q) 서브 픽셀들에서 색상 값을 결정 (예를 들어, 재구성)하며, 색상 값을 하나 이상의 서브 픽셀들에 대한 색상 값을 저장하기 위한 (예를 들어, 재구성된) 색상 값으로 변환하고, (예를 들어, 재구성된 색상 값을 이용하여) 이미지를 렌더링하고, 색상 값 (예를 들어, RGB 삼자 극치 값)을 휘도-색차 포맷으로 변환하며, 휘도-색차 포맷에서 RGB 포맷으로 색상 값을 변환하고, 재구성된 색상 값의 계산된 Q 값을 샘플링 된 Q 값으로 대체시키고, 재구성된 색상 값의 계산된 Q 값을 보간 된 Q 값으로 대체시킬 수 있다.
저장부(1020) 개별적으로 또는 조합하여 제어부(1010) 및 통신부(1070)를 동작시켜 상대의 전자 장치와 통신하여 상대 전자 장치로부터 이미지에 대한 색상 정보 (예를 들어, 색상 값) 등을 수신하게 하는 하나의 응용 프로그램 또는 복수의 응용 프로그램을 저장할 수 있다. 저장부(1020)는 개별적으로 또는 조합하여 표시부(1050)를 동작시켜 그래픽 사용자 인터페이스, 이미지, 비디오 및/또는 등을 표시하게 하는 하나의 응용 프로그램 또는 복수의 응용 프로그램을 저장할 수 있다. 저장부(1020)는 개별적으로 또는 조합하여 표시부(1050)를 동작시켜, 본 개시의 다양한 실시 예들에 따른 재구성 (예를 들어, 디모자이크 처리) 방법을 이용하는 재구성된 색상 정보를 이용하여 프리뷰 이미지를 표시하게 하는 하나의 응용 프로그램 또는 복수의 응용 프로그램을 저장할 수 있다. 프리뷰 이미지는 카메라부(1030)가 동작되는 동안 뷰 파인더에 표시될 수 있다. 프리뷰 이미지는 이미지를 캡처하는 명령에 따라 캡쳐 될 수 있는 뷰를 표시할 수 있다.
카메라부(1030)는 이미지를 캡쳐 할 수 있다. 카메라부(1030)는 복수의 광 검출기를 포함하는 이미지 검출기 (도시 안됨)를 포함할 수 있다. 복수의 광 검출기 각각은 포토 사이트에 대응할 수 있다. 카메라부(1030)가 작동되면 카메라부는 프리뷰 이미지를 캡처 할 수 있다. 프리뷰 이미지는 카메라부(1030)가 작동되는 동안 (예를 들어, 카메라부(1030)가 이미지를 캡쳐 하도록 지시하기 이전에) 표시부(1050)에 표시할 수 있다.
이미지 처리부(1040)는 이미지 데이터, 이미지 및/또는 등을 처리하도록 구성 될 수 있다. 이미지 처리부(1040)는 서브 픽셀 렌더링 (SPR: Sub Pixel Rendering) 장치 (도시 안됨), 디모자이크 부 (도시 안됨), 및/또는 등을 포함할 수 있다. 대안 적으로 또는 이에 더하여, 이미지 처리부(1040)는 이미지 데이터 및/또는 이미지, SPR 및/또는 등의 디모자이크 처리를 수행하도록 구성될 수 있다. 이미지 처리부(1040)는 녹색 서브 픽셀들에서의 색상 값을 결정 (예를 들어, 재구성)하고, 적색 서브 픽셀의 색상 값을 결정 (예를 들어, 재구성)하며, 청색 서브 픽셀들에서의 색상 값을 결정 (예를 들어, 재구성)하고, 흰색 (Q) 서브 픽셀들에서 색상 값을 결정 (예를 들어, 재구성)하며, 색상 값을 하나 이상의 서브 픽셀들에 대한 색상 값을 저장하기 위한 (예를 들어, 재구성된) 색상 값으로 변환하고, (예를 들어, 재구성된 색상 값을 이용하여) 이미지를 렌더링 하고, 색상 값 (예를 들어, RGB 삼자 극치 값)을 휘도-색차 포맷으로 변환하며, 휘도-색차 포맷에서 RGB 포맷으로 색상 값을 변환하고, 재구성된 색상 값의 계산된 Q 값을 샘플링 된 Q 값으로 대체시키고, 재구성된 색상 값의 계산된 Q 값을 보간 된 Q 값으로 대체시킬 수 있다.
표시부(1050)는 전자 장치의 다양한 메뉴뿐 아니라, 사용자가 입력한 또는 사용자에게 제공될 정보를 표시한다. 예를 들어, 표시부(1050)는 대기 화면, 메시지 쓰기 화면, 발신자 스크린, 경로 계획 화면 등의 전자 장치의 사용자에 따라 다양한 화면을 제공할 수 있다. 본 개시의 다양한 실시 예들에 따르면, 표시부(1050)는 사용자가 조작하거나 그렇지 않으면 사용자가 전자 장치의 신호 강도 관련 기능의 선택을 입력하기 위해 터치 스크린을 통해 입력들을 입력하는 인터페이스를 표시 할 수 있다. 표시부(1050)는 액정 디스플레이 (LCD), 유기 발광 다이오드 (OLED) 능동형 유기 발광 다이오드 (AMOLED) 등으로 형성될 수 있다. 그러나, 본 개시의 다양한 실시 예는 이러한 예에 한정되는 것은 아니다. 또한, 표시부(1050)가 터치 스크린으로 형성되어 있는 경우, 표시부(1050)는 입력부(1060)의 기능을 수행할 수 있다.
입력부(1060)는 사용자 입력을 받기 위한 입력 키 및 기능 키를 포함할 수 있다. 예를 들어, 입력부(1060)는 숫자 또는 문자 정보의 다양한 세트의 입력을 받아 각종 기능을 설정하고 전자 장치의 기능을 제어하기 위한 입력 키 및 기능 키를 포함할 수 있다. 예를 들어, 입력부(1060)는 음성 통화를 요청하는 통화 키, 영상 통화를 요청하는 영상 통화 요청 키, 음성 통화 및 영상 통화의 종료를 요청하는 종료 키, 오디오 신호의 출력 볼륨을 조정하는 볼륨 키, 방향 키, 등을 포함할 수 있다. 특히, 본 개시의 다양한 실시 예들에 따르면, 입력부(1060)는 적어도 하나의 제어부(1010)로 카메라부 (도시 안됨)의 동작과 관련된 신호, 뷰 포인트의 선택과 관련된 신호 및/또는 등을 전송할 수 있다. 이러한 입력부(1060)는 터치 패드, 터치 스크린, 버튼 형 키패드, 조이스틱, 휠 키 등의 입력 수단 중 하나 또는 이들의 조합에 의해 형성될 수 있다.
통신부(1070)는 다른 전자 장치 및/또는 네트워크와 통신하도록 구성될 수 있다. 본 개시의 다양한 실시 예들에 따르면, 통신부(1070)는 다양한 통신 프로토콜 및 다양한 통신 트랜시버를 사용하여 통신하도록 구성될 수 있다. 예를 들어, 통신부(1070)는 블루투스 기술, NFC 기술, 무선 LAN 기술, 2G 기술, 3G 기술, LTE 기술 또는 다른 무선 기술 및/또는 등을 통해 통신하도록 구성될 수 있다.
본 개시의 다양한 실시 예들에 따르면, 디모자이크 된 색상 값들 (예를 들어, 디모자이크 된 적색 값, 디모자이크 된 녹색 값, 디모자이크 된 청색 값)은 샘플링 한 휘도 값 (예를 들어, Q 값, 또는 Q 포토 사이트에 대응하는 광 검출기에서 검출된 값)에 따라 조정될 수 있다. 본 개시의 다양한 실시 예들에 따르면 디모자이크 된 색상 값들 (예를 들어, 디모자이크 된 적색 값, 디모자이크 된 녹색 값, 및 디모자이크 된 및 청색 값)을 보간 된 휘도 값들 (예를 들어, Q 값 또는 Q 포토 사이트에 대응하는 광 검출기에서 검출된 값)에 따라 조정될 수 있다.
본 개시의 다양한 실시 예들에 따르면, 디모자이크 된 색상 값들 (예를 들어, 디모자이크 된 적색 값, 디모자이크 된 녹색 값, 디모자이크 된 청색 값)은 샘플링 된 휘도 값들 (예를 들어, Q 값, 또는 Q 포토 사이트에 대응하는 광 검출기에서 검출된 값)에 따라 정상화 될 수 있다. 본 개시의 다양한 실시 예들에 따르면, 디모자이크 된 색상 값들 (예를 들어, 디모자이크 된 적색 값, 디모자이크 된 녹색 값, 및 디모자이크 된 및 청색 값)을 보간 된 휘도 값들 (예를 들어, Q 값 또는 Q 포토 사이트에 대응하는 광 검출기에서 검출된 값)에 따라 정상화될 수 있다. 본 개시의 다양한 실시 예들에 따르면, 디모자이크 된 색상 값들 (예를 들어, 디모자이크 된 적색 값, 디모자이크 된 녹색 값, 및 디모자이크 된 및 청색 값)은 RGB 색 공간에 있는 동안 측정된 (예를 들어, 샘플링 된 또는 보간 된) 휘도 값 (예를 들어, Q 값)을 이용하여 정상화될 수 있다.
본 개시의 다양한 실시 예들에 따르면, 디모자이크 된 색상 값들 (예를 들어, 디모자이크 된 적색 값, 디모자이크 된 녹색 값, 및 디모자이크 된 및 청색 값)에 대응하는 휘도 값들은 샘플링 된 휘도 값들 (예를 들어, Q 값 또는 Q 포토 사이트에 대응하는 광 검출기에서 검출된 값)로 대체될 수 있다. 본 개시의 다양한 실시 예들에 따르면, 디모자이크 된 색상 값들 (예를 들어, 디모자이크 된 적색 값, 디모자이크 된 녹색 값, 및 디모자이크 된 및 청색 값)에 대응하는 휘도 값들은 보간 된 휘도 값들 (예를 들어, Q 값 또는 Q 포토 사이트에 대응하는 광 검출기에서 검출된 값)로 대체될 수 있다. 본 개시의 다양한 실시 예들에 따르면, 디모자이크 된 색상 값들 (예를 들어, 디모자이크 된 적색 값, 디모자이크 된 녹색 값, 및 디모자이크 된 및 청색 값)에 대응하는 휘도 값들은 휘도-색차 색 공간에 있는 동안 측정된 (예를 들어, 샘플링 된 또는 보간 된) 휘도 값 (예를 들어, Q 값)으로 대체될 수 있다.
본 개시의 다양한 실시 예들에 따르면 디모자이크 된 색상 값들 (예를 들어, 디모자이크 된 적색 값, 디모자이크 된 녹색 값, 및 디모자이크 된 및 청색 값)은 좀 더 또렷한 RGB 값을 도출하도록 샘플링 된 휘도 값들 (예를 들어, Q 값 또는 Q 포토 사이트에 대응하는 광 검출기에서 검출된 값)에 따라 조정될 수 있다.
본 명세서의 특허 청구 범위 및 명세서에 따른 본 개시의 다양한 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합의 형태로 실현될 수 있다.
임의의 이러한 소프트웨어는 비 일시적인 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다. 비 일시적인 컴퓨터 판독 가능한 저장 매체는 본 개시의 방법을 수행하도록 하는 전자 장치 내의 하나 이상의 프로세서에 의해 실행되는 명령들을 포함하는 하나 이상의 프로그램 (소프트웨어 모듈)을 저장한다.
임의의 이러한 소프트웨어는 예를 들어, 판독 전용 메모리 (ROM), 소거가능 또는 재기록 가능 여부와 같은 저장 장치 등의 휘발성 또는 비 휘발성 저장 장치의 형태로 저장될 수 있거나, 또는 예를 들면, 랜덤 액세스 메모리 (RAM), 메모리 칩, 디바이스 또는 집적 회로와 같은 메모리 형태로 저장될 수 있거나 또는 예를 들어, 콤팩트 디스크 (CD), 디지털 다기능 디스크 (DVD), 자기 디스크 등의 광학적 또는 자기적으로 판독가능 매체 상에 저장될 수 있다. 상기 저장 장치 및 저장 매체는, 실행 시, 본 개시의 다양한 실시 예들을 구현하는 명령들을 포함한 프로그램 또는 프로그램들을 저장하는 데 적합한 비 일시적 기계 판독 가능한 저장 장치의 다양한 실시 예들임을 알 것이다. 따라서, 다양한 실시 예들은 본 명세서의 청구항들 중 어느 한 항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 비 일시적인 기계 판독 가능한 저장 장치를 제공한다.
본 개시는 다양한 실시 예들을 참조하여 도시되고 기술되었지만, 첨부된 특허 청구 범위 및 그 등가물에 의해 정의된 본 개시의 사상 및 범위를 벗어나지 않고 여러 실시 예들의 형태 및 상세 사항에서의 다양한 변경이 이루어질 수 있음은 당업자라면 알 것이다.

Claims (32)

  1. 샘플링 된 색상 값들을 디모자이크(demosaicing) 하기 위한 방법으로서:
    RGBW 이미지 검출기를 이용하여 색상 정보를 캡쳐(capturing) 하는 단계
    상기 이미지 검출기의 적색 포토사이트, 상기 이미지 검출기의 녹색 포토 사이트, 상기 이미지 검출기의 청색 포토사이트, 및 상기 이미지 검출기의 흰색 포토 사이트에 대응하는 서브 픽셀들에서 적색 값, 녹색 값, 청색 값을 각각 디모자이크 하는 단계 및
    특정한 서브 픽셀에서의 상기 디모자이크 적색 값(demosaiced red color value), 상기 디모자이크 청색 값, 및 상기 디모자이크 녹색 값 중 하나 이상을, 상기 흰색 포토 사이트에 대응하는 하나 이상의 흰색 서브 픽셀들에서 샘플링 된 색상 정보에 적어도 일부 기반하여 변경(changing)하는 단계를 포함하는 샘플링 된 색상 값들을 디모자이크 하기 위한 방법.
  2. 제 1 항에 있어서, 상기 흰색 포토 사이트에 대응하는 하나 이상의 흰색 서브 픽셀들에서 샘플링 된 색상 정보를 적색 서브 픽셀, 녹색 서브 픽셀, 청색 서브 픽셀, 및 흰색 서브 픽셀에 걸쳐 디모자이크 하는 단계를 더 포함하는 샘플링 된 색상 값들을 디모자이크 하기 위한 방법.
  3. 제 2 항에 있어서,
    특정한 서브 픽셀에서 상기 디모자이크 적색 값, 상기 디모자이크 청색 값, 및 상기 디모자이크 녹색 값 중 하나 이상을, 상기 흰색 포토 사이트에 대응하는 하나 이상의 흰색 서브 픽셀들에서 샘플링 된 색상 정보에 적어도 일부 기반하여 변경하는 단계는,
    특정한 서브 픽셀에서의 상기 디모자이크 적색 값, 상기 디모자이크 청색 값, 및 상기 디모자이크 녹색 값 중 하나 이상을, 상기 적색 서브 픽셀, 녹색 서브 픽셀, 청색 서브 픽셀, 흰색 서브 픽셀에 걸쳐 상기 흰색 포토 사이트에 대응하는 하나 이상의 흰색 서브 픽셀들에서 디모자이크 된 색상 정보에 적어도 일부 기반하여 변경하는 단계를 포함하는 샘플링 된 색상 값들을 디모자이크 하기 위한 방법.
  4. 제 2 항에 있어서, 상기 흰색 포토 사이트에 대응하는 하나 이상의 서브 픽셀들에서 샘플링 된 상기 색상 정보는 휘도 값을 포함하는 샘플링 된 색상 값들을 디모자이크 하기 위한 방법.
  5. 제 1 항에 있어서,
    하나 이상의 서브 픽셀들에 대한 상기 디모자이크 적색 값, 상기 디모자이크 청색 값, 및 상기 디모자이크 녹색 값 중 하나 이상의 색 공간(color space)을 RGB 색 공간에서 휘도-색차(luminance-chrominance) 색 공간으로 변환하는 단계를 더 포함하는 샘플링 된 색상 값들을 디모자이크 하기 위한 방법.
  6. 제 5 항에 있어서, 특정한 서브 픽셀에서 상기 디모자이크 적색 값, 상기 디모자이크 청색 값, 및 상기 디모자이크 녹색 값 중 하나 이상을, 상기 흰색 포토 사이트에 대응하는 하나 이상의 흰색 서브 픽셀들에서 샘플링 된 색상 정보에 적어도 일부 기반하여 변경하는 단계는,
    상기 하나 이상의 서브 픽셀들에 대한 상기 디모자이크 적색 값, 상기 디모자이크 청색 값, 및 상기 디모자이크 녹색 값 중 하나 이상에 관련하여 계산된 휘도 값을, 상기 흰색 포토 사이트에 대응하는 하나 이상의 흰색 서브 픽셀들에서 샘플링 된 색상 정보에 포함된 휘도 값으로 대체(replacing)하는 단계를 포함하는 샘플링 된 색상 값들을 디모자이크 하기 위한 방법.
  7. 제 6 항에 있어서, 상기 하나 이상의 서브 픽셀들에 대한 상기 디모자이크 적색 값, 상기 디모자이크 청색 값, 및 상기 디모자이크 녹색 값 중 하나 이상과 관련하여 상기 계산된 휘도 값을, 상기 흰색 포토 사이트에 대응하는 하나 이상의 흰색 서브 픽셀들에서 샘플링 된 색상 정보에 포함된 휘도 값으로 대체하는 단계는,
    특정한 흰색 포토 사이트에 대응하는 서브 픽셀에 대해 계산된 휘도 값을 상기 특정한 흰색 포토 사이트에서 캡쳐된 샘플링 된 휘도 값으로 대체하는 단계를 포함하는 샘플링 된 색상 값들을 디모자이크 하기 위한 방법.
  8. 제 6 항에 있어서, 하나 이상의 서브 픽셀들에 대한 상기 디모자이크 적색 값, 상기 디모자이크 청색 값, 및 디모자이크 녹색 값 중 하나 이상에 관련하는 상기 계산된 휘도 값을 상기 흰색 포토 사이트에 대응하는 하나 이상의 흰색 서브 픽셀들에서 샘플링 된 색상 정보에 포함된 휘도 값으로 대체하는 단계는,
    특정 비 흰색 포토 사이트에 대응하는 서브 픽셀에 대한 계산된 휘도 값을 상기 특정 비 흰색 포토 사이트에 인접한 하나이상의 흰색 포토 사이트에서 각각 캡쳐된 하나 이상의 샘플링 된 휘도 값을 이용하여 산출된 보간 기반의 휘도 값으로 대체하는 단계를 포함하는 샘플링 된 색상 값들을 디모자이크 하기 위한 방법.
  9. 제 6 항에 있어서,
    대체된 휘도 값을 포함하는 하나 이상의 색상 값들의 색 공간을 상기 휘도-색차 색 공간에서 상기 RGB 색 공간으로 변환하는 단계를 더 포함하는 방법.
  10. 제 5 항에 있어서,
    상기 휘도-색차 색 공간은 XQZ 색 공간에 대응하는 샘플링 된 색상 값들을 디모자이크 하기 위한 방법.
  11. 제 5 항에 있어서, 상기 휘도-색차 색 공간은 QBqRq 색 공간에 대응하는 샘플링 된 색상 값들을 디모자이크 하기 위한 방법.
  12. 제 1 항에 있어서, 특정한 서브 픽셀에서의 상기 디모자이크 적색 값, 상기 디모자이크 청색 값 및 상기 디모자이크 녹색 값 중 하나 이상을, 상기 흰색 포토 사이트에 대응하는 하나 이상의 흰색 서브 픽셀들에서 샘플링 된 색상 정보에 적어도 일부 기반하여 변경하는 단계는,
    상기 하나 이상의 디모자이크 색상 값들의 현재의 색 공간에서 발생하는 샘플링 된 색상 값들을 디모자이크 하기 위한 방법.
  13. 제 1 항에 있어서, 특정한 서브 픽셀에서의 상기 디모자이크 적색 값, 상기 디모자이크 청색 값 및 상기 디모자이크 녹색 값 중 하나 이상을, 상기 흰색 서브 포토 사이트에 대응하는 하나 이상의 흰색 서브 픽셀들에서 샘플링 된 색상 정보에 적어도 일부 기반하여 변경하는 단계는,
    상기 흰색 포토 사이트에 대응하는 하나 이상의 흰색 서브 픽셀들에서 샘플링 된 색상 정보에 포함된 휘도 값을 이용하여 상기 특정한 서브 픽셀에서의 상기 디모자이크 적색 값, 디모자이크 청색 값 및 디모자이크 녹색 값 중 하나 이상을 정상화(normalizing)하는 단계를 포함하는 샘플링 된 색상 값들을 디모자이크 하기 위한 방법.
  14. 제 13 항에 있어서, 상기 특정한 서브 픽셀에서의 상기 디모자이크 적색 값, 디모자이크 청색 값 및 디모자이크 녹색 값 중 하나 이상을, 상기 흰색 포토 사이트에 대응하는 하나 이상의 흰색 서브 픽셀들에서 샘플링 된 색상 정보에 포함된 휘도 값을 이용하여 정상화하는 단계는,
    상기 특정한 흰색 포토 사이트에서 캡쳐된 샘플링 된 휘도 값을 이용하여 특정한 흰색 포토 사이트에 대응하는 서브 픽셀에서 상기 하나 이상의 디모자이크 색상 값들을 정상화하는 단계를 포함하는 샘플링 된 색상 값들을 디모자이크 하기 위한 방법.
  15. 제 13 항에 있어서, 상기 특정한 서브 픽셀에서의 상기 디모자이크 적색 값, 디모자이크 청색 값 및 디모자이크 녹색 값 중 하나 이상을, 상기 흰색 포토 사이트에 대응하는 하나 이상의 흰색 서브 픽셀들에서 샘플링 된 색상 정보에 포함된 휘도 값을 이용하여 정상화하는 단계는,
    특정한 비 흰색 포토 사이트에 대응하는 서브 픽셀에서의 상기 하나 이상의 디모자이크 색상 값을, 상기 특정한 비 흰색 포토 사이트에 인접하는 하나 이상의 흰색 포토 사이트에서 각각 캡쳐된 하나 이상의 샘플링 된 휘도 값을 이용하여 산출된 보간된 휘도 값(interpolated luminance value)으로 정상화하는 단계를 포함하는 샘플링 된 색상 값들을 디모자이크 하기 위한 방법.
  16. 실행 시 적어도 하나의 프로세서로 하여금 제 1 항의 방법을 수행하도록 하는 명령들을 저장하는 비 일시적 컴퓨터 판독가능 저장 매체(non-transitory computer-readable storage medium).
  17. 샘플링 된 색상 값들을 디 모자이크 하기 위한 장치로서:
    색상 정보를 캡쳐 하도록 구성된 RGBW 이미지 검출기
    색상 정보를 저장하도록 구성된 저장부 및
    상기 RGBW 이미지 검출기를 이용하여 색상 정보를 캡쳐하고, 상기 이미지 검출기의 적색 포토사이트, 상기 이미지 검출기의 녹색 포토 사이트, 상기 이미지 검출기의 청색 포토사이트, 상기 이미지 검출기의 흰색 포토 사이트에 대응하는 서브 픽셀들에서 각각 적색 값, 녹색 값, 청색 값을 디모자이크 하며, 및 특정한 서브 픽셀에서의 상기 디모자이크 적색 값, 상기 디모자이크 청색 값, 및 상기 디모자이크 녹색 값 중 하나 이상을 상기 흰색 포토 사이트에 대응하는 하나 이상의 흰색 서브 픽셀들에서 샘플링 된 색상 정보에 적어도 일부 기반하여 변경(change)하도록 구성된 적어도 하나의 프로세서를 포함하는 샘플링 된 색상 값들을 디 모자이크 하기 위한 장치.
  18. 제 17 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 흰색 포토 사이트에 대응하는 하나 이상의 흰색 서브 픽셀들에서 샘플링 된 상기 색상 정보를 적색 서브 픽셀들, 녹색 서브 픽셀들, 청색 서브 픽셀들, 및 흰색 서브 픽셀들에 걸쳐 디모자이크 하도록 더 구성되는 샘플링 된 색상 값들을 디 모자이크 하기 위한 장치.
  19. 제 18 항에 있어서, 상기 적어도 하나의 프로세서는,
    특정한 서브 픽셀에서 상기 디모자이크 적색 값, 상기 디모자이크 청색 값, 및 상기 디모자이크 녹색 값 중 하나 이상을, 상기 흰색 포토 사이트에 대응하는 상기 하나 이상의 흰색 서브 픽셀들에서 상기 디모자이크 색상 정보에 적어도 일부 기반하여 적색 서브 픽셀들, 녹색 서브 픽셀들, 청색 서브 픽셀들, 및 흰색 서브 픽셀에 걸쳐 변화시키도록 더 구성되는 샘플링 된 색상 값들을 디 모자이크 하기 위한 장치.
  20. 제 18 항에 있어서, 상기 흰색 포토 사이트에 대응하는 하나 이상의 서브 픽셀들에서 샘플링 된 상기 색상 정보는 휘도 값을 포함하는 샘플링 된 색상 값들을 디 모자이크 하기 위한 장치.
  21. 제 17 항에 있어서, 상기 적어도 하나의 프로세서는,
    하나 이상의 서브 픽셀들에 대한 상기 디모자이크 적색 값, 디모자이크 청색 값, 및 디모자이크 녹색 값 중 하나 이상의 색 공간을 RGB 색 공간에서 휘도-색차 색 공간으로 변환하도록 더 구성되는 샘플링 된 색상 값들을 디 모자이크 하기 위한 장치.
  22. 제 21 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 하나 이상의 서브 픽셀들에 대한 상기 하나 이상의 디모자이크 적색 값, 디모자이크 청색 값, 및 디모자이크 녹색 값과 관련하여 계산된 휘도 값을, 상기 흰색 포토 사이트에 대응하는 하나 이상의 흰색 서브 픽셀들에서 샘플링 된 색상 정보에 포함된 휘도 값으로 대체하도록 더 구성되는 샘플링 된 색상 값들을 디 모자이크 하기 위한 장치.
  23. 제 22 항에 있어서, 상기 적어도 하나의 프로세서는,
    특정한 흰색 포토 사이트에 대응하는 서브 픽셀에 대해 상기 계산된 휘도 값을 상기 특정한 흰색 포토 사이트에서 캡쳐된 샘플링 된 휘도 값으로 대체하도록 더 구성되는 샘플링 된 색상 값들을 디 모자이크 하기 위한 장치.
  24. 제 22 항에 있어서, 상기 적어도 하나의 프로세서는,
    특정한 비 흰색 포토 사이트에 대응하는 서브 픽셀에 대해 상기 계산된 휘도 값을 상기 특정한 비 흰색 포토 사이트에 인접한 하나 이상의 흰색 포토 사이트에서 각각 캡쳐된 하나 이상의 샘플링 된 휘도 값을 이용하여 산출된 보간된 휘도 값으로 대체하도록 더 구성되는 샘플링 된 색상 값들을 디 모자이크 하기 위한 장치.
  25. 제 22 항에 있어서, 상기 적어도 하나의 프로세서는,
    대체된 휘도 값을 포함하는 상기 하나 이상의 색상 값들의 색 공간을 상기 휘도-색차 색 공간에서 상기 RGB 색 공간으로 변환하도록 더 구성되는 샘플링 된 색상 값들을 디 모자이크 하기 위한 장치.
  26. 제 21 항에 있어서, 상기 휘도-색차 색 공간은 XQZ 색 공간에 대응하는 샘플링 된 색상 값들을 디 모자이크 하기 위한 장치.
  27. 제 21 항에 있어서, 상기 휘도-색차 색 공간은 QBqRq 색 공간에 대응하는 샘플링 된 색상 값들을 디 모자이크 하기 위한 장치.
  28. 제 17 항에 있어서, 상기 적어도 하나의 프로세서는,
    특정한 서브 픽셀에서의 상기 디모자이크 적색 값, 상기 디모자이크 청색 값 및 상기 디모자이크 녹색 값 중 하나 이상을, 상기 흰색 서브 포토 사이트에 대응하는 하나 이상의 흰색 서브 픽셀들에서 샘플링 된 색상 정보에 적어도 일부 기반하여 상기 하나 이상의 디모자이크 색상 값들의 현재의 색 공간에서 변화시키는 샘플링 된 색상 값들을 디 모자이크 하기 위한 장치.
  29. 제 17 항에 있어서, 상기 적어도 하나의 프로세서는,
    흰색 포토 사이트에 대응하는 하나 이상의 흰색 서브 픽셀들에서 샘플링 된 색상 정보에 포함된 휘도 값을 이용하여 특정한 서브 픽셀에서의 상기 디모자이크 적색 값, 디모자이크 청색 값 및 디모자이크 녹색 값 중 하나 이상을 정상화하도록 더 구성되는 샘플링 된 색상 값들을 디 모자이크 하기 위한 장치.
  30. 제 29 항에 있어서, 상기 적어도 하나의 프로세서는,
    특정한 흰색 포토 사이트에서 캡쳐된 샘플링 된 휘도 값을 이용하여 상기 특정한 흰색 포토 사이트에 대응하는 서브 픽셀에서 상기 하나 이상의 디모자이크 색상 값들을 정상화하도록 더 구성되는 샘플링 된 색상 값들을 디 모자이크 하기 위한 장치.
  31. 제 29 항에 있어서, 상기 적어도 하나의 프로세서는,
    특정한 비 흰색 포토 사이트에 대응하는 서브 픽셀에서 상기 하나 이상의 디모자이크 색상 값들을, 특정한 비 흰색 포토 사이트에 인접하는 하나 이상의 흰색 포토 사이트에서 각각 캡쳐된 하나 이상의 샘플링 된 휘도 값들을 이용하여 산출된 보간된 휘도 값으로 정상화하도록 더 구성되는 샘플링 된 색상 값들을 디 모자이크 하기 위한 장치.
  32. 색상 정보 디모자이크 방법으로서:
    RGBW 이미지 검출기를 이용하여 색상 정보를 캡쳐 하는 단계
    상기 캡쳐된 색상 정보에 포함된 색차 값들을 이용하여 상기 캡쳐된 색상 정보를 디모자이크 하는 단계 및
    상기 캡쳐된 색상 정보에 포함된 휘도 값들을 이용하여 상기 디모자이크 색상 정보를 수정(modifying)하는 단계를 포함하는 색상 정보 디모자이크 방법.
KR1020150075349A 2014-06-12 2015-05-28 Rgb 색차와 w 휘도를 조합하여 rgbw 디모자이크 하는 방법 KR20150142600A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462011311P 2014-06-12 2014-06-12
US62/011,311 2014-06-12
US14/304,227 2014-06-13
US14/304,227 US20150363912A1 (en) 2014-06-12 2014-06-13 Rgbw demosaic method by combining rgb chrominance with w luminance

Publications (1)

Publication Number Publication Date
KR20150142600A true KR20150142600A (ko) 2015-12-22

Family

ID=54836573

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020150075379A KR20150142601A (ko) 2014-06-12 2015-05-28 통합된 크로마틱 에일리어싱 리페어를 이용한 저전력 디모자이크
KR1020150075341A KR20150142599A (ko) 2014-06-12 2015-05-28 Ｒｇｂｗ 디스플레이 상에서의 개선된 저전력 서브픽셀 렌더링
KR1020150075349A KR20150142600A (ko) 2014-06-12 2015-05-28 Rgb 색차와 w 휘도를 조합하여 rgbw 디모자이크 하는 방법

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020150075379A KR20150142601A (ko) 2014-06-12 2015-05-28 통합된 크로마틱 에일리어싱 리페어를 이용한 저전력 디모자이크
KR1020150075341A KR20150142599A (ko) 2014-06-12 2015-05-28 Ｒｇｂｗ 디스플레이 상에서의 개선된 저전력 서브픽셀 렌더링

Country Status (2)

Country Link
US (5) US9418398B2 (ko)
KR (3) KR20150142601A (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10147214B2 (en) 2012-06-06 2018-12-04 Sodyo Ltd. Display synchronization using colored anchors
MX363291B (es) 2012-06-06 2019-03-19 Sodyo Ltd Anclajes para la navegacion basado en la localizacion y aplicaciones de realidad aumentada.
US9693427B2 (en) * 2014-01-06 2017-06-27 Fibar Group S.A. RGBW controller
JP6300658B2 (ja) * 2014-06-19 2018-03-28 オリンパス株式会社 標本観察装置
JP5980294B2 (ja) * 2014-10-27 2016-08-31 キヤノン株式会社 データ処理装置、撮像装置、およびデータ処理方法
DE112015005531T5 (de) * 2015-01-08 2017-09-21 Olympus Corporation Bildverarbeitungsvorrichtung, Verfahren zum Betreiben einer Bildverarbeitungsvorrichtung, Programm zum Betreiben einer Bildverarbeitungsvorrichtung und Endoskopeinrichtung
US9697436B2 (en) * 2015-01-16 2017-07-04 Haier Us Appliance Solutions, Inc. Method for selecting an image of an appliance with a suitable position or orientation of a door of the appliance
US9779691B2 (en) * 2015-01-23 2017-10-03 Dell Products, Lp Display front of screen performance architecture
WO2016120776A1 (en) 2015-01-28 2016-08-04 Sodyo Ltd. Hybrid visual tagging using customized colored tiles
CN104656263B (zh) * 2015-03-17 2017-07-04 京东方科技集团股份有限公司 三维显示方法和装置
US10356407B2 (en) * 2015-11-20 2019-07-16 Facebook Technologies, Llc Display-side video decompression using quantization tables
CN105430358B (zh) * 2015-11-26 2018-05-11 努比亚技术有限公司 一种图像处理方法及装置、终端
CN107275359B (zh) * 2016-04-08 2021-08-13 乐金显示有限公司 有机发光显示装置
CN107633795B (zh) * 2016-08-19 2019-11-08 京东方科技集团股份有限公司 显示装置和显示面板的驱动方法
CN108090887B (zh) * 2016-11-23 2020-09-04 杭州海康威视数字技术股份有限公司 一种视频图像处理方法及装置
CN106791755B (zh) 2016-12-27 2018-11-23 武汉华星光电技术有限公司 一种rgbw像素渲染装置及方法
US10210826B2 (en) * 2017-02-22 2019-02-19 Himax Technologies Limited Sub-pixel rendering method for delta RGBW panel and delta RGBW panel with sub-pixel rendering function
CN108665419B (zh) * 2017-03-30 2020-07-03 展讯通信（上海）有限公司 一种图像去噪的方法及装置
KR102401648B1 (ko) 2017-06-07 2022-05-26 삼성디스플레이 주식회사 액정 표시 장치
TWI634543B (zh) * 2017-06-26 2018-09-01 友達光電股份有限公司 驅動裝置與驅動方法
CN107656717B (zh) * 2017-09-25 2021-03-26 京东方科技集团股份有限公司 一种显示方法及图像处理模块、显示装置
KR102484150B1 (ko) * 2017-10-20 2023-01-04 삼성전자 주식회사 전자 장치 및 전자 장치의 이미지 업 샘플링 방법
WO2019082232A1 (ja) * 2017-10-23 2019-05-02 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法及びプログラム
CN110458789B (zh) * 2018-05-02 2022-04-05 杭州海康威视数字技术股份有限公司 一种图像清晰度评测方法、装置及电子设备
US11423273B2 (en) 2018-07-11 2022-08-23 Sodyo Ltd. Detection of machine-readable tags with high resolution using mosaic image sensors
US10692177B2 (en) 2018-08-10 2020-06-23 Apple Inc. Image pipeline with dual demosaicing circuit for efficient image processing
TWI703872B (zh) * 2019-05-15 2020-09-01 瑞昱半導體股份有限公司 影像色彩還原與增強電路
GB201908517D0 (en) * 2019-06-13 2019-07-31 Spectral Edge Ltd 3D digital imagenoise reduction system and method
KR20210002966A (ko) * 2019-07-01 2021-01-11 삼성전자주식회사 이미지 센서 및 그것의 구동 방법
US10877540B2 (en) 2019-10-04 2020-12-29 Intel Corporation Content adaptive display power savings systems and methods
CN110740272B (zh) * 2019-10-31 2021-05-14 Oppo广东移动通信有限公司 图像采集方法、摄像头组件及移动终端
CN110971799B (zh) * 2019-12-09 2021-05-07 Oppo广东移动通信有限公司 控制方法、摄像头组件及移动终端
US20230035482A1 (en) * 2021-07-15 2023-02-02 Samsung Electronics Co., Ltd. Apparatus and method for combined intraband and interband multi-frame demosaicing
CN113781303B (zh) * 2021-09-01 2024-05-10 瑞芯微电子股份有限公司 图像处理方法、介质、处理器及电子设备

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7474337B1 (en) * 2000-10-24 2009-01-06 Sony Corporation Method and apparatus to provide edge enhancements as part of a demosaicing process
US7006686B2 (en) * 2001-07-18 2006-02-28 Hewlett-Packard Development Company, L.P. Image mosaic data reconstruction
US6978050B2 (en) * 2001-07-18 2005-12-20 Hewlett-Packard Development Company, L.P. Electronic image color plane reconstruction
US7082218B2 (en) * 2001-07-27 2006-07-25 Hewlett-Packard Development Company, L.P. Color correction of images
GB2378077A (en) * 2001-07-27 2003-01-29 Hewlett Packard Co Electronic image colour plane reconstruction
TW583603B (en) * 2003-02-21 2004-04-11 Inventec Appliances Corp Method for producing enhanced-resolution image by use of a plurality of low-resolution images
JP4461937B2 (ja) * 2003-09-30 2010-05-12 セイコーエプソン株式会社 低解像度の複数の画像に基づく高解像度の画像の生成
US7502505B2 (en) * 2004-03-15 2009-03-10 Microsoft Corporation High-quality gradient-corrected linear interpolation for demosaicing of color images
US20060291750A1 (en) * 2004-12-16 2006-12-28 Peyman Milanfar Dynamic reconstruction of high resolution video from low-resolution color-filtered video (video-to-video super-resolution)
US20060291751A1 (en) * 2004-12-16 2006-12-28 Peyman Milanfar Robust reconstruction of high resolution grayscale images from a sequence of low-resolution frames (robust gray super-resolution)
US7525583B2 (en) * 2005-02-11 2009-04-28 Hewlett-Packard Development Company, L.P. Decreasing aliasing in electronic images
US8452090B1 (en) * 2005-04-25 2013-05-28 Apple Inc. Bayer reconstruction of images using a GPU
US8005297B2 (en) * 2006-01-18 2011-08-23 Qualcomm Incorporated Method and apparatus for adaptive and self-calibrated sensor green channel gain balancing
US20070257943A1 (en) * 2006-05-08 2007-11-08 Eastman Kodak Company Method for rendering color EL display and display device with improved resolution
JP4951440B2 (ja) * 2007-08-10 2012-06-13 富士フイルム株式会社 撮像装置及び固体撮像素子の駆動方法
KR101367199B1 (ko) * 2007-09-07 2014-02-27 삼성전자주식회사 영상표시장치 및 그의 디스플레이 특성 보정 방법
JP5076755B2 (ja) * 2007-09-07 2012-11-21 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
WO2009087641A2 (en) * 2008-01-10 2009-07-16 Ramot At Tel-Aviv University Ltd. System and method for real-time super-resolution
US8422771B2 (en) * 2008-10-24 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for demosaicing
US8571312B2 (en) * 2009-01-16 2013-10-29 Samsung Electronics Co., Ltd. Image interpolation method and apparatus using pattern characteristics of color filter array
JP2010183357A (ja) * 2009-02-05 2010-08-19 Panasonic Corp 固体撮像素子、カメラシステムおよび固体撮像素子の駆動方法
JP5574615B2 (ja) * 2009-04-20 2014-08-20 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
US8995793B1 (en) * 2009-10-09 2015-03-31 Lockheed Martin Corporation Moving object super-resolution systems and methods
US8482636B2 (en) * 2010-05-05 2013-07-09 DigitalOptics Corporation Europe Limited Digital zoom on bayer
JP2012004787A (ja) * 2010-06-16 2012-01-05 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
FR2964490B1 (fr) * 2010-09-06 2012-09-28 Commissariat Energie Atomique Procede de demosaicage d'une image brute numerique, programme d'ordinateur et circuit imageur ou graphique correspondants
JP5764740B2 (ja) * 2010-10-13 2015-08-19 パナソニックＩｐマネジメント株式会社 撮像装置
US9137503B2 (en) * 2010-11-03 2015-09-15 Sony Corporation Lens and color filter arrangement, super-resolution camera system and method
US8750647B2 (en) * 2011-02-03 2014-06-10 Massachusetts Institute Of Technology Kinetic super-resolution imaging
JP5054857B1 (ja) * 2011-02-28 2012-10-24 富士フイルム株式会社 カラー撮像装置
US8891866B2 (en) * 2011-08-31 2014-11-18 Sony Corporation Image processing apparatus, image processing method, and program
US20130235234A1 (en) * 2012-03-12 2013-09-12 Megan Lyn Cucci Digital camera having multiple image capture systems
US9511708B2 (en) * 2012-08-16 2016-12-06 Gentex Corporation Method and system for imaging an external scene by employing a custom image sensor
CN107346061B (zh) * 2012-08-21 2020-04-24 快图有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法

Also Published As

Publication number Publication date
US20150363912A1 (en) 2015-12-17
US20150363913A1 (en) 2015-12-17
US20150363916A1 (en) 2015-12-17
US9418398B2 (en) 2016-08-16
US20150363922A1 (en) 2015-12-17
KR20150142599A (ko) 2015-12-22
US20150363944A1 (en) 2015-12-17
KR20150142601A (ko) 2015-12-22

Similar Documents

Publication Publication Date Title
KR20150142600A (ko) Rgb 색차와 w 휘도를 조합하여 rgbw 디모자이크 하는 방법
US9344639B2 (en) High dynamic range array camera
US9582853B1 (en) Method and system of demosaicing bayer-type image data for image processing
US9363493B2 (en) Image processing apparatus, method, recording medium and image pickup apparatus
US9654700B2 (en) Computational camera using fusion of image sensors
JP5045421B2 (ja) 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
KR101444013B1 (ko) 이미지 처리를 위한 시스템 및 방법
CN101521751B (zh) 摄像设备
US20170109867A1 (en) Camera array for performing non-local means image processing over multiple sequential images
JPWO2014136322A1 (ja) 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体
WO2013079778A2 (en) Method, apparatus and computer program product for capturing images
JPWO2014136323A1 (ja) 復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体
US9307211B2 (en) Image processing system, transmitting-side device and receiving-side device
EP3275169B1 (en) Downscaling a digital raw image frame
US11620738B2 (en) Hue preservation post processing with early exit for highlight recovery
US20140037207A1 (en) System and a method of adaptively suppressing false-color artifacts
US11521305B2 (en) Image processing method and device, mobile terminal, and storage medium
US11501412B2 (en) Image processing apparatus, imaging apparatus, image processing method, and image processing program
Murugesh et al. Camera Raw Image: A Study, Processing and Quality Analysis
JP2018133658A (ja) 画像処理装置、制御方法およびプログラム
TW201347562A (zh) 影像處理方法