KR20150142601A

KR20150142601A - 통합된 크로마틱 에일리어싱 리페어를 이용한 저전력 디모자이크

Info

Publication number: KR20150142601A
Application number: KR1020150075379A
Authority: KR
Inventors: 앤쏘니 봇챠즈
Original assignee: 삼성전자주식회사
Priority date: 2014-06-12
Filing date: 2015-05-28
Publication date: 2015-12-22
Also published as: US9418398B2; US20150363913A1; US20150363944A1; US20150363912A1; US20150363916A1; KR20150142600A; US20150363922A1; KR20150142599A

Abstract

샘플링된 컬러 값들을디모자이크하기 위한 장치 및 방법이 제공된다. 상기 방법은, 복수의광검출기(photo detector)들을 사용하여 복수의서브픽셀들 각각에서의 컬러 정보를 샘플링하는 단계와, 제 1 컬러가 샘플링된 서브픽셀들에 대응하는 상기 복수의 서브픽셀들 중의 제 1 서브세트에 대한 저주파수 컬러 재구성 솔루션(low frequency color reconstruction solution)을 생성하는 단계와, 상기 제 1 컬러가 샘플링된 서브픽셀들에 대응하는 상기 복수의서브픽셀들 중의 상기 제 1 서브세트에 대한 고주파수 컬러 재구성 솔루션(high frequency color reconstruction solution)을 생성하는 단계와, 상기 저주파수 컬러 재구성 솔루션과 상기 고주파수 컬러 재구성 솔루션의 조합을 사용하여, 상기 복수의 서브픽셀들 중의 상기 제 1 서브세트에 대한 컬러 값들을 결정하는 단계와, 상기 복수의 서브픽셀들 중의 상기 제 1 서브세트에 대한 컬러 값들을 사용하여, 상기 제 1 컬러가 샘플링되지 않은 서브픽셀들에 대응하는 상기 복수의서브픽셀들 중의 제 2 서브세트에 대한 컬러 값들을 결정하는 단계를 포함한다.

Description

통합된 크로마틱 에일리어싱 리페어를 이용한 저전력 디모자이크{LOW POWER DEMOSAIC WITH INTERGRATED CHROMATIC ALIASING REPAIR}

본 발명은 영상을 처리하기 위한 장치 및 방법에 관한 것이다. 보다 구체적으로, 본 발명은 영상을 디모자이크(demosaicing)하기 위한 장치 및 방법에 관한 것이다.

이동 단말들은 사용자들 간의 무선 통신을 제공하기 위해 개발되었다. 기술이 발전함에 따라, 이제 이동 단말들은 단순한 전화 통화를 넘어 많은 추가 기능들을 제공하고 있다. 예를 들면, 이동 단말들은 이제 영상 및 비디오 촬영을 제공할 수 있다. 이동 단말의 편재성(ubiquity)의 결과, 영상 촬영 및/또는 비디오 촬영이 점점 대중화되고 있다. 이에 따라, 촬영하려고 의도하는 영상의 정확한 표현을 사용자에게 제공하기 위한 다양한 영상 처리 기술들이 이용되고 있다.

촬영하려고 의도하는 영상의 컬러에 대한 보다 정확한 표현을 제공하기 위하여, 일반적으로 디모자이크로 불리우는 기술이 수행될 수 있다. 디모자이크는 영상 검출기로부터 출력된 컬러 샘플들로부터 풀 컬러 영상(full color image)을 재구성하기 위해 사용되는 디지털 영상 처리를 지칭한다.

따라서, 촬영하려고 의도하는 영상에 대한 개선된 표현을 제공하기 위한 장치 및 방법이 요구된다. 또한, 영상 촬영 동안에 샘플링되는 컬러 값들을 디모자이크하기 위한 장치 및 방법이 요구된다.

상기 정보는 단지 본 발명의 이해를 돕기 위한 배경 정보로서 제공된 것이다. 상기 내용 중 어느 것을 본 발명에 관한 선행 기술로서 적용할 수 있는지에 대한 어떠한 결정도 이루어지지 않았으며, 또한 어떠한 주장도 행해지지 않았다.

본 발명은 샘플링된 컬러 값들을 디모자이크하기 위한 장치 및 방법을 제공하는 것이다.

본 발명의 일 양태에 따르면, 샘플링된 컬러 값들을디모자이크하기 위한 방법이 제공된다. 상기 방법은, 복수의 광검출기(photo detector)들을 사용하여 복수의 서브픽셀들 각각에서의 컬러 정보를 샘플링하는 단계와, 제 1 컬러가 샘플링된 서브픽셀들에 대응하는 상기 복수의서브픽셀들 중의 제 1 서브세트에 대한 저주파수 컬러 재구성솔루션(low frequency color reconstruction solution)을 생성하는 단계와, 상기 제 1 컬러가샘플링된 서브픽셀들에 대응하는 상기 복수의 서브픽셀들 중의 상기 제 1 서브세트에 대한 고주파수 컬러 재구성 솔루션(high frequency color reconstruction solution)을 생성하는 단계와, 상기 저주파수 컬러 재구성 솔루션과 상기 고주파수 컬러 재구성솔루션의 조합을 사용하여, 상기 복수의 서브픽셀들 중의 상기 제 1 서브세트에 대한 컬러 값들을 결정하는 단계와, 상기 복수의 서브픽셀들 중의 상기 제 1 서브세트에 대한 컬러 값들을 사용하여, 상기 제 1 컬러가 샘플링되지 않은 서브픽셀들에 대응하는 상기 복수의서브픽셀들 중의 제 2 서브세트에 대한 컬러 값들을 결정하는 단계를 포함한다.

본 발명의 다른 양태에 따르면, 샘플링된 컬러 값들을 디모자이크하기 위한 장치가 제공된다. 상기 장치는, 저장 유닛과, 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 복수의 광검출기들을 사용하여 복수의 서브픽셀들 각각에서의 컬러 정보를 샘플링하고, 제 1 컬러가 샘플링된 서브픽셀들에 대응하는 상기 복수의 서브픽셀들 중의 제 1 서브세트에 대한 저주파수 컬러 재구성 솔루션을 생성하고, 상기 제 1 컬러가 샘플링된 서브픽셀들에 대응하는 상기 복수의 서브픽셀들 중의 상기 제 1 서브세트에 대한 고주파수 컬러 재구성 솔루션을 생성하고, 상기 저주파수 컬러 재구성 솔루션과 상기 고주파수 컬러 재구성 솔루션의 조합을사용하여 상기 복수의 서브픽셀들 중의 상기 제 1 서브세트에 대한 컬러 값들을 결정하고, 상기 복수의 서브픽셀들 중의 상기 제 1 서브세트에 대한 컬러 값들을 사용하여, 상기 제 1 컬러가 샘플링되지 않은 서브픽셀들에 대응하는 상기 복수의서브픽셀들 중의 제 2 서브세트에 대한 컬러 값들을 결정하도록 구성된다.

본 발명의다른 양태들, 이점들 및 핵심적인 특징들은 첨부 도면들과 함께 취해지고, 본 발명의 각종 실시예들을 개시하는, 하기의구체적인 설명으로부터 당업자에게 자명할 것이다.

본 발명의 다양한 실시예에 따르면, 샘플링된 컬러 값들을 디모자이크 하여 프리뷰 영상을 렌더링함으로써 그 영상에 대한 영상 처리를 수행하기 위해 필요한 자원들을 최소화(감소)하는데 이상적일 수 있다.

본 발명의 각종 실시예들에 대한 상기 및 그 밖의 양태들, 특징들 및 이점들은 첨부 도면들과 함께 취해지는 하기의 설명으로부터 보다 명백하게 될 것이다.
도 1은 종래 기술에 따른 이미지 검출기의 포토사이트들의 어레이를 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 복수의 서브픽셀들을 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 그린 서브픽셀들을 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 대응하는 서브픽셀들에서의 컬러 값들을 결정하는 방법을 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 대응하는 서브픽셀들에서의 컬러 값들을 결정하는 방법을 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 전자 장치의구성을 개략적으로 예시하는 블록도를 도시한 것이다.
상기 도면들의 전반에 걸쳐, 유사한 참조 번호들은 동일하거나 유사한엘리먼트들, 특징들 및 구조들을 도시하기 위해 사용된다는 것에 유의해야 한다.

첨부 도면을 참조하는 다음의 상세한 설명은, 청구 범위 및 그 등가물에 의해 규정되는 본 발명의 다양한실시예들의 포괄적인 이해를 돕기 위해 제공된다. 이것은 그 이해를돕기 위한 다양한 특정 세부사항을 포함하고 있지만, 이들은 단지 예시적인 것으로 간주되어야 한다. 따라서, 당업자는 본 발명의범위 및 사상으로부터 일탈하지 않는 범위 내에서는 여기에기재된 실시예들에 대한 다양한 변형 및 수정이이루어질 수 있음을 인식할것이다. 또한, 잘 알려진기능들 및 구성들에 대한 설명은 명료성 및 간결성을 위해 생략한다.

다음의 설명 및 청구 범위에서 사용된 용어들 및 단어들은 서지적 의미들에 국한되지 않으며, 단지 본 발명의 명확하고 일관성있는 이해를가능하게 하기 위해 발명자에 의해 사용된다. 따라서, 본 발명의 다양한 실시예들에 대한 다음의 설명은 단지 예시의목적으로만 제공되는 것이며, 청구 범위 및 그 등가물에 의해 규정되는 본 발명을 제한할목적이 아니다.

또한, 본 명세서에서 명백하게 달리 지시하지 않는다면, "일" 및 "그"와 같은 단수 표현들은 복수 표현들을 포함한다는 것이 이해될 수 있을 것이다. 따라서, 예를 들면, "일 컴포넌트 표면"은 하나 이상의 그러한컴포넌트 표면들을 포함한다.

용어 "실질적으로"에 의해, 그것은인용된 특성, 변수 또는 값이 정확하게 달성될 필요가 없다는것을 의미하지만, 예를 들면, 허용 오차, 측정 에러, 측정 정확성한계사항들 및 당업자에게 알려진그 밖의 인자를 포함하는 편차 또는 변형은, 그 특성이 제공하는 것으로 의도된 효과를 방해하지 않는 양으로 발생할 수도 있다.

본 발명의 다양한 실시예들에 따르면, 전자 장치는 통신 기능을포함할 수 있다. 예를 들면, 전자 장치는 스마트 폰, 태블릿 개인용 컴퓨터(PC), 모바일 폰, 비디오 폰, 전자책 리더(e-book reader), 데스크탑 PC, 랩탑 PC, 넷북 PC, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), MP3 플레이어, 이동 의료 디바이스, 카메라, 웨어러블 디바이스(예컨대, 헤드-마운티드 디바이스(head-mounted device: HMD), 전자 의류, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 혹은 스마트 워치) 등이 될 수 있다.

본 발명의 다양한 실시예들에 따르면, 전자 장치는 통신 기능을가진 스마트 가정용 기기(smart home appliance)가 될 수도 있다. 스마트 가정용기기는 예를 들면, 텔레비젼, DVD(Digital Video Disk) 플레이어, 오디오, 냉장고, 에어컨, 진공 청소기, 오븐, 마이크로웨이브 오븐, 워셔, 드라이어, 공기 청정기, 셋-탑 박스, TV 박스(예컨대, Samsung HomeSyncTM, Apple TVTM, 혹은 Google TVTM), 게임 콘솔(gaming console), 전자 사전, 전자 키, 캠코더, 전자 사진 프레임 등이 될 수 있다.

본 발명의 다양한 실시예들에 따르면, 전자 장치는 의료 기기(예컨대, MRA(Magnetic Resonance Angiography) 디바이스, MRI(Magnetic Resonance Imaging) 디바이스, CT(Computed Tomography) 디바이스, 촬상 디바이스, 혹은 초음파 디바이스), 내비게이션 디바이스, GPS(Global Positioning System) 수신기, EDR(Event Eata Recorder), FDR(Flight Data Recorder), 자동차 인포테인먼트 디바이스, 항해 전자 장치(예컨대, 항해 내비게이션 디바이스, 자이로스코프, 혹은 나침반), 항공 전자 장치, 보안 디바이스, 산업용혹은 소비자용 로봇 등이 될 수 있다.

본 발명의 다양한 실시예들에 따르면, 전자 장치는 통신 기능을포함하는, 가구, 빌딩/구조의일부, 전자 보드, 전자 서명 수신 디바이스, 프로젝터, 다양한측정 디바이스들(예컨대, 물, 전기, 가스 혹은 전자기파 측정 디바이스들) 등이 될 수 있다.

본 발명의 다양한 실시예들에 따르면, 전자 장치는 상기 설명한바와 같은 디바이스들의 임의의조합이 될 수도 있다. 또한, 본 발명의 다양한 실시예들에 따른 전자 장치는 상기 설명한 바와 같은 디바이스들에 한정되는 것이 아니라는 것이 당업자에게 자명할것이다.

본 발명의 다양한 실시예들은 샘플링된 컬러 값들을 디모자이크하기 위한 장치 및 방법을 포함한다. 또한, 본 발명의 다양한실시예들은 샘플링된 컬러 값들을효율적으로 디모자이크하기 위한 장치 및 방법을 포함한다. 본 발명의 다양한 실시예들에 따르면, 샘플링된 컬러 값들을 효율적으로 디모자이크하는 장치 및 방법은, 샘플링된 그린 컬러 값들을엠퍼사이징(emphasizing)한다. 본 발명의 다양한 실시예들에 따르면, 샘플링된 컬러 값들을 효율적으로 디모자이크하는 장치 및 방법은, 샘플링된 컬러 값들을 디모자이크 하여 프리뷰 영상을 렌더링함으로써 그 영상에 대한 영상 처리를 수행하기 위해 필요한자원들을 최소화(감소)하는데이상적일 수 있다.

영상은 픽셀들로 호칭되는 다수의영역들에 의해 표현된다. 각 픽셀은 디스플레이 내의 서브픽셀들 세트에의해 실질적으로 재생되는 컬러와 연관된다. 종래 기술에 따르면, 각 서브픽셀은 프라이머리(primary) 컬러를디스플레이한다. 예를 들면, 종래 기술에 따른 각 서브픽셀은 몇몇 색조(hue) 및 채도(saturation)와 연관된다. 다른 컬러들은 프라이머리 컬러들을 믹스(mixing)하는 것에 의해 얻어질 수 있다. 각 픽셀은 픽셀의 컬러를 디스플레이하게 될 하나 이상의 서브픽셀들의 세트로맵핑된다.

몇몇 디스플레이들 및/또는 카메라들에서, 각각의반복되는 서브픽셀들의 세트는각 프라이머리 컬러에 대한 서브픽셀을 포함한다. 서브픽셀들은 소형이며, 서로 근접하게 이격되어 소망하는 해상도를 제공한다.

영상 검출기는 영상을 샘플링하는데 사용되는 복수의 광검출기들을 구비한다. 복수의 광검출기들 각각은단일 컬러에 대한 값을 샘플링(예를 들면, 촬영)할 수 있다. 예를 들면, 복수의 광검출기들 각각은 컬러 필터로 구성될수 있다. 종래 기술에 따르면, CFA(Color Filter Array) 또는 CFM(Color Filter Mosaic)은 복수의광검출기들 위에 배치되는 컬러 필터들의 어레이 또는 모자이크이다.

복수의 광검출기들 각각은영상 검출기의 포토사이트에 위치될수 있다. 포토사이트는 광검출기에 의해 컬러가 샘플링될 수 있는 공간 위치를 지칭한다. 컬러 필터들의 어레이 또는 모자이크는, 각 광검출기가 단일의대응하는 컬러 필터를 갖도록복수의 광검출기들 위에 배치될 수 있다. 이에 따라, 각 포토사이트는 단일 컬러에 대한 대응하는 샘플링된 값을 가질 수 있다.

포토사이트들 각각은 영상의 서브픽셀에 맵핑되거나 또는 이에 대응될수 있다. 이에 따라, 영상의각 서브픽셀은 단일 컬러에 대한 대응하는 샘플링된 값을 가질 수 있다. 영상의 각 서브픽셀은 모든 컬러들에 대한 샘플링된 값들을 갖지 못하기 때문에, 각 서브픽셀에서의 샘플링된 컬러 값들에 의해 표현되는 영상은, 의도된 영상에 대한 연결이끊긴 컬러 표현으로 픽셀화되어 나타날수도 있다. 다시 말해, 각 서브픽셀에서의 샘플링된 컬러 값들에의해 표현되는 영상은, 촬영하려고 의도하는 영상에 대한 정확하지 않은 표현일 수 있다.

촬영하려고 의도하는 영상의 컬러에대한 보다 정확한 표현을 제공하기 위하여, 일반적으로 디모자이크로 불리우는 기술이 수행될 수 있다. 디모자이크는 영상 검출기로부터 출력되는 샘플링된 컬러 값들로부터 풀 컬러 영상을 재구성하기 위해 사용되는 디지털 영상 처리를지칭한다. 각 광검출기는 영상 검출기에서의 공간 풋프린트(spatial footprint)를 갖기 때문에, 영상 검출기는 각각의포토사이트에서의 모든 컬러에 대한 컬러 값을 촬영하는 것이 불가능하다. 영상 검출기를 구성하는 각각의 광검출기들로부터 출력되는 컬러 샘플들을 사용하는 풀 컬러 영상의 재구성은, 각 서브픽셀에서의 각 컬러(예를 들면, 레드, 그린, 및 블루)에 대한 값들을 결정하기 위한 보간 또는 그 밖의 수치해석적 방법들을 사용할 수 있다.

도 1은 종래 기술에 따른 이미지 검출기의 포토사이트(photosite)들의 어레이를 도시한 것이다.

도 1을 참조하면, 레드, 그린 및 블루 포토사이트들을 포함하는 포토사이트들(100)의 어레이가 제공된다. 일 예로서, 레드, 그린, 및 블루 포토사이트들은 그 포토사이트들에 각각 대응하는 광 검출기들 위에 베이어 필터(Bayer filter)(예를 들면, RBG 필터)를 배치함으로써 생성될수 있다.

포토사이트들(100)의 어레이는 복수의픽셀들에 대응할 수 있다. 도 1에 도시된 바와 같이, 복수의 픽셀들 각각은 실선에의해 서로 구별되어 있다. 복수의픽셀들 각각은 복수의 서브픽셀들을 포함할 수 있다. 예를 들면, 복수의 픽셀들 각각은 네 개의 서브픽셀들을 포함할 수 있다. 복수의 픽셀들 각각에 있는 복수의 서브픽셀들 각각은도 1에서 점선에 의해 서로 구별되어 있다.

영상 검출기가 베이어 필터를 포함하는 경우, 영상 검출기의 포토사이트들의 각 그룹들에 대응하는 픽셀을 구성하는 복수의 서브픽셀들은, 한 개의 레드 서브픽셀, 한 개의 블루 서브픽셀, 및 두 개의 그린 서브픽셀을 포함할 수 있다. RGB 픽셀이세 개의 컬러를 포함하기 때문에한 개의 픽셀은 두 개의 그린 서브픽셀을 포함할 수 있으며, 광 검출기들 및 이에 따라 2의 승수로 배열되는 서브픽셀들을 설계하는 것과 관련된 몇몇 이점들이 존재한다. 인간의 눈은 컬러 그린을 통해 휘도를 가장 잘 인식하는 것으로 알려져 있기 때문에, 컬러 그린이 픽셀에서 반복될 컬러로서 선택된다.

도 1에 도시된 바와 같이, 레드 서브픽셀은 'R'로 표시되고, 블루 서브픽셀은 'B'로 표시되며, 그린 서브픽셀은 'G'로 표시된다.

그린 서브픽셀들은 영상을 촬영하도록 하는 요청에 대한 응답으로, 그린 컬러 값을 각각 샘플링할 수 있다. 그린 서브픽셀들은 서브픽셀(105a), 서브픽셀(105d), 서브픽셀(110a), 서브픽셀(110d), 서브픽셀(115a), 서브픽셀(115d), 서브픽셀(120a), 서브픽셀(120d), 서브픽셀(125a), 서브픽셀(125d), 서브픽셀(130a), 서브픽셀(130d), 서브픽셀(135a), 서브픽셀(135d), 서브픽셀(140a), 서브픽셀(140d), 서브픽셀(145a), 및 서브픽셀(145d)에 대응할 수 있다.

레드 서브픽셀들은 영상을 촬영하도록 하는 요청에 대한 응답으로, 레드 컬러 값을 각각 샘플링할 수 있다. 레드 서브픽셀들은 서브픽셀(105b), 서브픽셀(110b), 서브픽셀(115b), 서브픽셀(120b), 서브픽셀(125b), 서브픽셀(130b), 서브픽셀(135b), 서브픽셀(140b), 및 서브픽셀(145b)에 대응할 수 있다.

블루 서브픽셀들은 영상을 촬영하도록 하는 요청에 대한 응답으로, 블루 컬러 값을 각각 샘플링할 수 있다. 블루 서브픽셀들은 서브픽셀(105c), 서브픽셀(110c), 서브픽셀(115c), 서브픽셀(120c), 서브픽셀(125c), 서브픽셀(130c), 서브픽셀(135c), 서브픽셀(140c), 및 서브픽셀(145c)에 대응할 수 있다.

도 2는 본 발명의 일 실시예에 따른 복수의 서브픽셀들을 도시한 것이다.

도 2를 참조하면, 네 개의 서브픽셀을 각각 포함하는 픽셀들(200)의 어레이가 도시되어 있다. 네 개의 서브픽셀은, 대응하는 컬러 값이 샘플링되는 영역들에 대응한다. 예를 들면, 픽셀들(200)의 어레이에 도시된바와 같이, 각각의 픽셀은 실선에의해 서로 구별되어 있다. 복수의픽셀들 각각에 있는 복수의서브픽셀들은 점선에 의해 서로 구별되어 있다.

본 발명의 다양한 실시예들에 따르면, 컬러 값은 포토사이트에 대응하는 서브픽셀에서 각각 샘플링된다. 예를 들면, 도 2에 도시된 바와 같이, 그린 컬러 값은 G0로 표시되는 서브픽셀에서 샘플링되고, 레드 컬러 값은 R0로 표시되는 서브픽셀에서 샘플링되고, 블루 컬러 값은 B0로 표시되는 서브픽셀에서 샘플링되며, 다른 그린 컬러 값은 G3로 표시되는 서브픽셀에서 샘플링된다. 마찬가지로, 그린 컬러 값은 G1으로 표시되는 서브픽셀에서 샘플링되고, 레드 컬러 값은 R1으로 표시되는 서브픽셀에서 샘플링되고, 블루 컬러 값은 B1으로 표시되는 서브픽셀에서 샘플링되며, 다른 그린 컬러 값은 G4로 표시되는 서브픽셀에서 샘플링된다. 또한, 그린 컬러 값은 G2로 표시되는 서브픽셀에서 샘플링되고, 레드 컬러 값은 R2로 표시되는 서브픽셀에서 샘플링되고, 블루 컬러 값은 B2로 표시되는 서브픽셀에서 샘플링되며, 다른 그린 컬러 값은 G5로 표시되는 서브픽셀에서 샘플링된다.

종래 기술에 따르면, 영상의 컬러 표현을 재구성하기 위해서는 상당한 리소스들이 사용되어서 샘플링된 컬러 값들을 디모자이크(demosaic)한다. 예를 들면, 종래 기술에 따른 디모자이크 방법들은 상당한 메모리 및 처리 리소스들을 사용하여, 샘플링된 컬러 값들을 디모자이크한다. 종래 기술은 컬러 표현이 재구성되는 샘플링된 컬러 값들을 저장하기 위해 대형 메모리 버퍼를 사용한다. 종래 기술은 대응하는 포토사이트들에서의 컬러 값들을 보간하거나 또는 산출하기 위해 몇몇 샘플링된 컬러 값들을 참조한다.

대조적으로, 본 발명의 다양한실시예들에 따르면, 영상의 컬러 표현을 재구성하는 효율적인 방법이 제공된다. 본 발명의 다양한 실시예들에 따르면, 슬림(slim) 버퍼(예를 들면, 종래 기술의 디모자이크 방법들에서 사용되는 버퍼에 비해 소형인버퍼)가 영상의 컬러 표현을재구성(예를 들면, 샘플링된 컬러 값들을 디모자이크)하는데사용된다. 예를 들어, 본 발명의 다양한 실시예들에 따르면, 샘플링된 컬러 값들을 디모자이크하기 위한 장치 및 방법은, 특정 서브픽셀에 근접한샘플링된 컬러 값들만을 사용함으로써 그 특정 서브픽셀에 대응하는 추정 컬러 값을 산출할수 있다. 본 발명의 다양한실시예들에 따르면, 샘플링된 컬러 값들을 디모자이크하기 위한 장치 및 방법은 특정 서브픽셀에 바로 인접한 샘플링된 컬러 값들만을 사용함으로써 그 특정 서브픽셀에 대응하는 추정 컬러 값을 산출할 수 있다.

본 발명의 다양한 실시예들에 따르면, 특정 픽셀의 대응하는 서브픽셀들에서 샘플링된 각각의 레드 컬러 값 및 블루 컬러 값을 사용하여, 그 특정 픽셀의 그린 컬러 값이 샘플링되는 서브픽셀들에서의 컬러 값들이 산출될수 있다. 도 2를 참조하면, 본 발명의 다양한 실시예들은, R1으로 표시되는 서브픽셀에서 샘플링된 레드 컬러 값을 사용하고 또한 B1으로 표시되는 서브픽셀에서 샘플링된 블루 컬러 값을 사용하여, G4로 표시되는 서브픽셀에서 레드 컬러 값 및 블루 컬러 값을 산출할 수 있다. 도 2에 도시된 바와 같이, G4로 표시되는 서브픽셀, R1으로 표시되는 서브픽셀, 및 B1으로 표시되는 서브픽셀은 동일한 픽셀 내에 존재한다.

본 발명의 다양한 실시예들에 따르면, 그린 컬러 값이 샘플링된 서브픽셀들에서의 컬러 값들을 산출하기 위한 장치 및 방법은, 저주파수 디모자이크(low frequency demosaic)에 따라 컬러 값들을 산출할 수 있다. 본 발명의 다양한 실시예들에 따르면, 그린 컬러 값이 샘플링된 서브픽셀들에서의 컬러 값들을 산출하기 위한 장치 및 방법은, 고주파수 디모자이크(high frequency demosaic)에 따라 컬러 값들을 산출할 수 있다. 본 발명의 다양한 실시예들에 따르면, 그린 컬러 값이 샘플링된 서브픽셀들에서의 컬러 값들을 산출하기 위한 장치 및 방법은, 저주파수 디모자이크와 고주파수 디모자이크의 블렌드(blend)에 따라 컬러 값들을 산출할수 있다.

도 3은 본 발명의 일 실시예에 따른 그린 서브픽셀들을 도시한 것이다.

도 3을 참조하면, 특정 컬러에 대한 컬러 값은 특정 컬러에 대한 컬러 값들의평균을 사용하여 대응하는 서브픽셀들에서 산출(예를 들면, 추정)될 수 있다. 본 발명의 다양한 실시예들에 따르면, 샘플링된 컬러 값들을 디모자이크하기 위한 장치 및 방법은, 저주파수 디모자이크 솔루션과 고주파수 디모자이크 솔루션간의 솔루션들을 블렌딩(blending)할 수 있다. 예를 들면, 영상의컬러 표현의 재구성은 저주파수 디모자이크 솔루션과 고주파수 디모자이크 솔루션간의 평균 또는 블렌드일 수 있다.

본 발명의 다양한 실시예들은 몇 가지 기본 가정하에서 동작할수 있다.

하나의 가정은 자연 영상(natural image)들(예를 들면, 카메라에 의해 촬영되는 영상들)에서는자연 색차(natural chrominance)가 낮다는 것이다. 다시 말해, 실제 영상에서는, 어떠한 색차도 낮다. 자연 영상의 색차에서는 낮은 공간 주파수가 되는 경향이 있다. 예를 들면, 색차에 있어서 공간 주파수가 더 낮을 시에는 에너지가 더 크게 되는 경향이있다. 자연 영상에서의 색차는더 낮은 주파수들에서 최상으로 촬영된다.

또 다른 가정은, 일반적으로 인간의눈은 높은 공간 주파수들에서 샘플링된 색차 값들을 무시한다는 것이다. 다시 말해, 인간은 높은 공간 주파수들의 색차 값들을 검출하지 못할 수도 있다. 그 결과, 고주파수들의 휘도 값들은 색차 값들 보다, 영상 처리에 있어서 더욱 중요하다. 다시 말해, 고주파수들에서 샘플링된 휘도 값들은 고주파수들에서 샘플링된 색차 값들 보다 (예를 들면, 인간의 인식에) 더욱 중요하다.

본 발명의 다양한 실시예들에 따르면, 샘플링된 영상들을 디모자이크하기 위한 장치 및 방법은, 높은 공간 주파수들에서 샘플링된 값들의 요소들(예를 들면, 컬러 값들, 컬러 정보, 및/또는 그 밖의 유사한 것)을 촬영하는 것을 시도한다. 예를 들면, 샘플링된 영상들을 디모자이크하기 위한 장치 및 방법은, 높은 공간 주파수들의 에너지(예를 들면, 휘도)를 촬영하는 것을 시도한다.

통상의 베이어 필터(예를 들면, RBG 필터)는 각각의 레드 검출기 또는 각각의 블루 검출기에 있어서 두 개의 그린 광 검출기를 가지고 있다. 다시 말해, 통상의 베이어 필터에서의 각각의 픽셀은 두 개의 그린 포토사이트, 한 개의 레드 포토사이트, 및 한 개의 블루 포토사이트를 갖는다. 그 결과, 영상 검출기는 레드 블루 포토사이트들의 밀도 및 블루 포토사이트들의 밀도에 비해, 그린 포토사이트들의 밀도가 더 크게 된다. 상대적으로 더 큰 그린 포토사이트들의 밀도로 인해, 픽셀의그린 서브픽셀들에서 샘플링된 컬러 특성은, 레드 서브픽셀에서 샘플링된 컬러 특성 또는 블루 서브픽셀에서 샘플링된 컬러 특성보다 더욱 정밀할 수 있다. 다시 말해, 개개의 픽셀마다, 그린 서브픽셀들을 통해 얻어지는 측정들의 샘플 세트를 더 크게 하는 것은, 레드 서브픽셀을 통해 얻어지는 측정들이나 블루 서브픽셀을 통해 얻어지는 측정들보다 실제 영상을 더욱 잘 나타내는, 픽셀의 그린 서브픽셀들을 통해 얻어지는 측정들을 야기할수 있다.

본 발명의 다양한 실시예들에 따르면, 샘플링된 컬러 값들을 디모자이크하기 위한 장치 및 방법은, 그린 픽셀들에서 샘플링된 컬러 값들을 사용하여, 저주파수들의 영상의 특성과 관련하여 고주파수들의 영상의 특성을 분석한다. 본 발명의 다양한 실시예들에 따르면, 샘플링된 그린 값들을 사용하여 고주파수들을 판정(검출)한다.

종래 기술에 따르면, 고주파수들은 3x3 주파수검출 필터를 사용하여 검출될 수 있다. 반면에, 본 발명의 다양한실시예들에 따르면, 고주파수들은 아래의수학식 1에 제공된 바와 같이 2x3 주파수 검출 필터를 사용하여 검출될 수 있다.

본 발명의다양한 실시예들에 따르면, 수정된 그린 컬러 채널이생성될 수 있다. 예를 들면, 그린 값들을 사용하여 알파 채널(alpha channel)이 생성될 수 있다. 본 발명의 다양한 실시예들에 따르면, 알파 채널은 아래의 수학식2에 따라 결정될 수 있다.

수학식 2를 참조하면, GSGAIN은 알파 채널을 샤프닝(sharpening)하기 위한 계수에 해당할 수 있다. GSGAIN은 그린 샤프닝 게인(Green Sharpening Gain)을 지칭하는 것일 수 있다. GSGAIN은 주파수 응답을 증폭하거나 주파수응답을 디엠퍼사이징(deemphasizing)하는데사용될 수 있다. GREEN DATA는 주파수 응답을 결정하기 위해 주파수검출 필터를 사용하여 필터링되는 3x2 데이터일 수 있다.

도 3을 참조하면, 샘플링된 그린 컬러 값들(305)의 어레이 중의 샘플링된 그린 컬러 값들(310)의 세트는, 주파수 검출 필터(315)를 통해 샘플링된 그린 컬러 값들(305)을 필터링함으로써 대응하는 픽셀에 해당하는 알파(α) 값을 결정하는데 사용되는 GREEN DATA에 대응한다.

특정 픽셀에서의 α 값이 0인 경우에는, 그 컬러 필드(color field)는 플랫(flat)인 것으로 결정될 수 있다. 다시 말해, α 값이 특정 포인트에서 0인 경우에는, 샘플링된 그린 컬러 값들(310)의 세트의 그린 값들은 동일하다. 따라서, 그린 값들의 플랫 필드는주파수 검출 필터(315)에 의한 어떠한 응답도 생성하지 않는다.

특정 픽셀에서의 α 값이 1인 경우에는, 그 컬러 필드는 넌-플랫(non-flat)인(예를 들면, 에지(edge)를 가지는) 것으로 결정될 수 있다. 다시 말해, α 값이 특정 포인트에서 1인 경우에는, 주파수 검출 필터(315)는, 주파수 검출 필터(315)가 그린 컬러 필드에서 에지를 검출하는 에지 검출기에 대응한다.

본 발명의 다양한 실시예들에 따르면, 주파수는 두 개의 행(row)의 샘플링된 컬러 값들을 사용함으로써 샘플링될 수 있다. 두 개의 행의 샘플링된 컬러 값들을사용하여 주파수가 검출되기 때문에, 대응하는 샘플링된 컬러 값들을저장하는데 필요한 메모리(예를 들면, 버퍼)는 (예를 들면, 종래 기술의 메모리 요구 사항에 비해) 감소될 수 있다. 본 발명의 다양한 실시예들에 따르면, 이웃하는 한 개의 행의 컬러 값들로부터의 정보를 사용하여 컬러 값들이 산출(예를 들면, 추정)될 수 있다. 컬러 값들은, (예를 들면, 종래 기술에 따라 사용된 바와 같은 두 개의 이웃하는 행의 컬러 값들이 아닌) 한 개의 이웃하는 행의 컬러 값들로부터의 샘플링된 컬러 값들을 사용하여 산출될 수 있다.

본 발명의 다양한 실시예들에 따르면, 생성된 알파(α) 채널은고주파수 디모자이크 솔루션들과 저주파수 디모자이크 솔루션들을 블렌딩하기 위한 기초로서 사용될수 있다. 알파 채널은 저주파수 디모자이크 솔루션 컴포넌트와 고주파수 디모자이크 솔루션 컴포넌트 간의 비율을 결정하는데 사용될수 있다. 본 발명의 다양한실시예들에 따르면, 알파 채널은각각의 서브픽셀들에서의 컬러 값들을 결정(예를 들면, 산출)하는데 사용되는 고주파수 디모자이크 솔루션의 범위를 결정하는데 사용될수 있다. 본 발명의 다양한실시예들에 따르면, 알파 채널은각각의 서브픽셀들에서의 컬러 값들을 결정(예를 들면, 산출)하는데 사용되는 저주파수 디모자이크 솔루션의 범위를 결정하는데 사용될수 있다.

고주파수 디모자이크 솔루션과 저주파수 디모자이크 솔루션의 블렌드는 아래의 수학식 3에 따라 결정될 수 있다.

본 발명의 다양한 실시예들에 따르면, α는 고주파수 디모자이크 솔루션이 각각의 서브픽셀에서의 컬러 값들을 결정하는데 사용되는 범위에 해당할 수 있다. 반대로, 1-α는 저주파수 디모자이크 솔루션이 각각의 서브픽셀에서의 컬러 값들을 결정하는데 사용되는 범위에 해당할 수 있다. 전술한 바와 같이, 알파 파라미터(α)는 에지 검출기(예를 들면, 주파수 검출 필터(315))에 의해 결정될 수 있다.

도 4는 본 발명의 일 실시예에 따른 대응하는 서브픽셀들에서의 컬러 값들을 결정하는 방법을 도시한 것이다.

도 4를 참조하면, 저주파수 디모자이크 솔루션(310)은 특정 서브픽셀에서의 특정 컬러에 대한 컬러 값을 결정하기 위해, 고주파수 디모자이크 솔루션(350)과 조합된다. 전술한 바와 같이, 특정 서브픽셀에서의 특정 컬러에 대한 컬러 값을 결정하는데 사용되는 고주파수 디모자이크 솔루션(350)의 부분은 알파 채널에 따라 결정될 수 있다. 컬러 값을 결정하는데 사용되는 고주파수 디모자이크 솔루션(350)의 부분은 α에 따라 정의될 수 있다. 특정 서브픽셀에서의 특정 컬러에 대한 컬러 값을 결정하는데 사용되는 저주파수 디모자이크 솔루션(310)의 부분은 알파 채널에 따라 결정될 수 있다. 컬러 값을 결정하는데 사용되는 저주파수 디모자이크 솔루션(310)의 부분은 1-α에 따라 정의될 수 있다.

본 발명의 다양한 실시예들에 따르면, 서브픽셀에서의 컬러 값들은 아래의수학식 4에 따라 산출될 수 있다.

전술한 바와 같이, 일반적으로 인간의 눈은 높은 공간 주파수들에서 샘플링된 색차 값들을무시하게 되며, 그 결과, 높은 공간 주파수들에서, 휘도는색채 값들보다 더 중요하다. 고주파수들에서, 컬러 값들은 대응하는 서브픽셀들에서 매우 빠르게변화하고 있다. 고주파수 디모자이크 솔루션에 있어서 그린 서브픽셀에서의 잘못된 컬러 값을 산출할 가능성을 감소시키기 위해, 그린 서브픽셀은 그레이(grey) 컬러 값으로대체된다. 예를 들면, 도 4에 도시된 바와 같이, 그린 서브픽셀(471)에서 및 그린 서브픽셀(475)에서, 대응하는 레드 컬러 값 및 블루 컬러 값은 대응하는 샘플링된 그린 컬러 값으로 대체된다. 그린 서브픽셀(471)에서, 레드 컬러 값 및 블루 컬러 값은 그린 서브픽셀(471)에서 촬영된 샘플링된 그린 컬러 값으로 설정된다. 마찬가지로, 그린 서브픽셀(475)에서, 레드 컬러 값 및 블루 컬러 값은 그린 서브픽셀(475)에서 촬영된 샘플링된 그린 컬러 값으로 설정된다.

저주파수들에서, 샘플링된 컬러 값들은실제 영상에 대한 정확한 표현인것으로 가정된다. 따라서, 그린 서브픽셀들에 대한 저주파수 디모자이크 솔루션에 관하여, 레드 컬러 값 및 블루 컬러 값은, 대응하는 레드 컬러 값 및 블루 레드 컬러 값을, 이웃하는 샘플링된 레드 컬러 값 및 이웃하는 샘플링된 그린 컬러 값으로 대체하는 것을 이용하여 재구성된다. 예를 들면, 그린 서브픽셀(431)에서, 레드 컬러 값은 레드 서브픽셀(423)에서 샘플링되는 샘플링된 레드 컬러 값과 동일하게 설정되며, 블루 컬러 값은 블루 서브픽셀(429)에서 샘플링되는 샘플링된 블루 컬러 값과 동일하게 설정된다. 그린 서브픽셀(431)에서의 그린 컬러 값은 그린 서브픽셀(431)에서의샘플링된 그린 컬러 값에 대응한다. 마찬가지로, 그린 서브픽셀(435)에서, 레드 컬러 값은 레드 서브픽셀(427)에서 샘플링되는 샘플링된 레드 컬러 값과 동일하게 설정되고, 블루 컬러 값은 블루 서브픽셀(433)에서 샘플링되는 샘플링된 블루 컬러 값과 동일하게 설정되며, 그린 컬러 값은 그린 서브픽셀(435)에서의샘플링된 그린 컬러 값에 대응한다.

본 발명의 다양한 실시예들에 따르면, 그린 서브픽셀(421)에서의레드 컬러 값 및 블루 컬러 값은, 그린 서브픽셀(431)에서 대체되는 레드 컬러 값 및 블루 컬러 값과 동일하게 설정될 수 있다. 예를 들면, 레드 컬러 값은 레드 서브픽셀(423)에서 샘플링되는 샘플링된 레드 컬러 값과 동일하게 설정되고, 블루 컬러 값은 블루 서브픽셀(429)에서 샘플링되는 블루 컬러 값과 동일하게 설정되며, 그린 컬러 값은 그린 서브픽셀(421)에서의샘플링된 그린 컬러 값에 대응한다.

마찬가지로, 그린 서브픽셀(425)에서, 그린 서브픽셀(421)에서의 레드 컬러 값 및 블루 컬러 값은, 그린 서브픽셀(435)에서의 레드 컬러 값 및 블루 컬러 값과 동일하게 설정될 수 있다. 예를 들면, 레드 컬러 값은 레드 서브픽셀(427)에서 샘플링되는 샘플링된 레드 컬러 값과 동일하게 설정되고, 블루 컬러 값은 블루 서브픽셀(433)에서 샘플링되는 샘플링된 블루 컬러 값과 동일하게 설정되며, 그린 컬러 값은 그린 서브픽셀(425)에서의 샘플링된 그린 컬러 값에 대응한다.

본 발명의 다양한 실시예들에 따르면, 실제 컬러 값들은 이웃하는 서브픽셀들 간에 실질적으로 상이할 가능성이 매우 희박하기 때문에, 샘플링된 컬러 값은, 컬러 값이 샘플링되지 않는 이웃하는 서브픽셀에서의 추정된(예를 들면, 산출된) 컬러 값으로서 설정된다. 이러한 컬러 값들의대체는 보다 복잡한 보간, 또는 집약적인 메모리와 처리 전력을요구하는 다른 수치해석적 방법들을 회피하는 효율적인 컬러 재구성방법이다.

본 발명의 다양한 실시예들에 따르면, 특정 서브픽셀에 대한 컬러 값들은, 저주파수 솔루션에 따른 서브픽셀의 컬러 값들과 고주파수 솔루션에 따른 서브픽셀의 컬러 값들 간의 블렌드인 것으로 산출된다.

본 발명의 다양한 실시예들에 따르면, 그린 서브픽셀에서의 재구성된 컬러 값들은 수학식 5 및 6에 따라 결정될 수 있다.

수학식 5 및 6을 참조하면, G는 특정 서브픽셀에서의 샘플링된 그린 값에 대응하고, R은 특정 그린 서브픽셀에 이웃하는 레드 서브픽셀에서의 샘플링된 레드 값에 대응하며, G는 특정 그린 서브픽셀에 이웃하는 블루 서브픽셀에서의 샘플링된 블루 값에 대응한다. α는 예를 들면, 수학식 2를 사용하여 산출될 수 있다. 본 발명의 다양한 실시예들에 따르면, α는 고주파수 디모자이크 솔루션과 저주파수 디모자이크 솔루션을 블렌딩하는 블렌딩 비율(blending ration)을 도출하는 다른 예를 사용하여 산출될 수도 있다. R'는 특정 그린 픽셀에서의 재구성된(예를 들면, 추정된) 레드 값에 대응하며, B'는 특정 그린 픽셀에서의 재구성된(예를 들면, 추정된) 블루 값에 대응한다.

컬러 값들(RGB 컬러)이 그린 서브픽셀들에서 재구성된 이후에는, 대응하는 컬러 값들이 레드 서브픽셀들 및 블루 서브픽셀들에서 각각 재구성된다. 그린 서브픽셀들에 비해 레드 서브픽셀들 및 블루 서브픽셀들의 밀도가각각 더 낮기 때문에, 레드 또는 블루 컬러 플레인(plane)들에 대한 추가적 주파수 검출은 더욱 많은 라인 버퍼들을 필요로 하게 된다. 그 결과, 종래 기술에따르면, 컬러 재구성은 적어도레드 컬러 픽셀들 및 블루 컬러 픽셀을 재구성하기 위해 상당한 메모리를 필요로 하게 된다. 그러나, 본 발명의 다양한실시예들에 따르면, 레드 서브픽셀들 및 블루 서브픽셀에서의 컬러 값들(예를 들면, 컬러 정보)은, 이웃하는 그린 서브픽셀들로부터 입수 가능한 재구성되고 "리페어된(repaired)" 컬러로부터 도출될수 있다.

본 발명의 다양한 실시예들에 따르면, 컬러 값들이 그린 서브픽셀들에서 산출된 이후에는, 그린 서브픽셀들에서의 컬러 값들이 이웃하는 레드 서브픽셀 및 이웃하는 블루 서브픽셀에서의 컬러 값들을 재구성하는데 사용된다.

본 발명의다양한 실시예들에 따르면, 레드 서브픽셀들 및 블루 서브픽셀들에서의 컬러 값들이, 저주파수 디모자이크 솔루션 및 고주파수 디모자이크 솔루션을 위해서 결정될수 있다. 그 후, 저주파수 디모자이크 솔루션을 위한 레드 서브픽셀들에서의 컬러 값들은, 고주파수 디모자이크 솔루션을 위한 레드 서브픽셀들에서의 컬러 값들과 블렌딩될 수 있다. 마찬가지로, 저주파수 디모자이크 솔루션을 위한 블루 서브픽셀들에서의 컬러 값들은, 고주파수 디모자이크 솔루션을 위한 블루 서브픽셀들에서의 컬러 값들과 블렌딩될 수 있다.

레드 서브픽셀에서의 컬러 값들은, 이웃하는 그린 픽셀들에서의 컬러 값들의 평균과 동일할 수 있다. 예를 들면, 레드 서브픽셀에서의 컬러 값들은, 수평으로 이웃하는 그린 서브픽셀들에서의 컬러 값들의 평균이 될 수 있다. 수평으로 이웃하는 그린 서브픽셀에서의 컬러 값들의 평균은, 이러한 컬러 값들의 가중 평균(weighted average)일 수 있다.

본 발명의 다양한 실시예들에 따르면, 레드 서브픽셀에서의 컬러 값들은, 이웃하는 그린 픽셀들에서의 블렌딩된 컬러 값들의 평균과동일할 수 있다. 예를 들면, 수평으로 이웃하는 그린 서브픽셀들에서의 컬러 값들은, 수평으로 이웃하는 그린 서브픽셀들에서의 컬러 값들이 평균화되기 이전에, 저주파수 디모자이크 솔루션과 고주파수 디모자이크 솔루션사이에서 블렌딩되는 알파일수 있다.

도 4를 참조하면, 저주파수 디모자이크 솔루션의 레드 서브픽셀(423)에 대응하는 레드 서브픽셀에서의 컬러 값들은, 그린 서브픽셀(421), 그린 서브픽셀(425), 그린 서브픽셀(461), 및 그린 서브픽셀(465)에서의 컬러 값들을 사용하여 도출될 수 있다. 레드 서브픽셀(423)에서의 레드 컬러 값은, 레드 서브픽셀(423)에서의샘플링된 레드 컬러 값에 대응할 수 있다.

레드 서브픽셀(423)에서의 그린 컬러 값은 (i) 그린 서브픽셀(421)에서 샘플링되는 그린 컬러 값과 그린 서브픽셀(461)에서 샘플링되는 그린 컬러 값의 블렌드와, (ii) 그린 서브픽셀(425)에서 샘플링되는 그린 컬러 값과 그린 서브픽셀(465)에서 샘플링되는 그린 컬러 값의 블렌드 간의 평균일 수 있다. 마찬가지로, 블루 컬러 값은 (i) 그린 서브픽셀(421)에서의 블루 컬러 값과 서브픽셀(461)에서의 블루 컬러 값의 블렌드와, (ii) 그린 서브픽셀(425)에서의블루 컬러 값과 서브픽셀(465)에서의블루 컬러 값의 블렌드 간의 평균일 수 있다.

본 발명의 다양한 실시예들에 따르면, 저주파수 디모자이크 솔루션의 레드 서브픽셀(423)에 대응하는 레드 서브픽셀에서의 상기 컬러 값들로부터 기인하는 컬러 정보는, 특정 서브픽셀에 대한 추정된 색차 정보를나타낼 수 있다. 그러나, 이러한 컬러 정보는 특정 서브픽셀에 대한 밝기(예를 들면, 휘도) 정보인 것으로 반드시고려되지는 않을 수 있다. 따라서, 본 발명의 다양한실시예들에 따르면, 산출된 컬러 정보(예를 들면, 컬러 값들)는 밝기용으로 정규화될 수 있다. 예를 들면, 컬러 정보의 알파 블렌드들의 평균은, 단계 487에서 정규화될 수 있다.

본 발명의 다양한 실시예들에 따르면, 산출된 정보는 덧셈 정규화(additive normalization)에 따라 정규화될 수도 있다. 본 발명의 다양한 실시예들에 따르면, 산출된 정보는 곱셈 정규화(multiplicative normalization)에 따라 정규화될 수도 있다. 곱셈 정상화는 채도 저하(desaturation)의 부작용을 야기하지 않는다.

본 발명의 다양한 실시예들에 따르면, 특정 레드 서브픽셀에 있어서, 컬러 값들은 수학식 7에 따른 덧셈 정규화를 사용하여 결정될수 있다.

수학식 7을 참조하면, Ro는 특정 레드 서브픽셀에 대해 산출되는 레드 컬러 값에 대응하고, Go는 특정 레드 서브픽셀에 대해 산출되는 그린 컬러 값에 대응하며, Bo는 특정 레드 서브픽셀에 대해 산출되는 블루 컬러 값에 대응한다. R은 특정 레드 서브픽셀에서의 샘플링된 레드 컬러 값에 대응한다. R'avg는 특정 레드 서브픽셀에 이웃(예를 들면, 수평으로 이웃)하는 그린 서브픽셀들에서의 산출된 레드 컬러 값들 간의 평균에 대응한다. 일 예로서, 특정 레드 서브픽셀에 이웃(예를 들면, 수평으로 이웃)하는 그린 서브픽셀들에서의 산출된 레드 컬러 값들은 수학식 5 또는 6에 따라 결정될 수 있다. ΔR은 (i) 특정 레드 서브픽셀에서의 샘플링된 레드 컬러 값과, (ii) 특정 레드 서브픽셀에 이웃(예를 들면, 수평으로 이웃)하는 그린 서브픽셀들에서의 산출된 레드 컬러 값들 사이의 평균 간 차이에대응한다. G'avg는 특정 레드 서브픽셀에 이웃(예를 들면, 수평으로 이웃)하는 그린 서브픽셀들에서의 산출된 그린 컬러 값들 간의 평균에 대응한다. 일 예로서, 특정 레드 서브픽셀에 이웃(예를 들면, 수평으로 이웃)하는 그린 서브픽셀들에서의 산출된 그린 컬러 값들은 수학식 5 또는 6에 따라 결정될 수 있다. B'avg는 특정 레드 서브픽셀에 이웃(예를 들면, 수평으로 이웃)하는 그린 서브픽셀들에서의 산출된 블루 컬러 값들 간의 평균에 대응한다. 일 예로서, 특정 레드 서브픽셀에 이웃(예를 들면, 수평으로 이웃)하는 그린 서브픽셀들에서의 산출된 블루 컬러 값들은 수학식 5 또는 6에 따라 결정될 수 있다.

본 발명의 다양한 실시예들에 따르면, 특정 블루 서브픽셀에 있어서, 컬러 값들은 수학식 8에 따른 덧셈 정규화를 사용하여 결정될수 있다.

수학식 8을 참조하면, Bo는 특정 블루 서브픽셀에 대해 산출되는 블루 컬러 값에 대응하고, Go는 특정 블루 서브픽셀에 대해 산출되는 그린 컬러 값에 대응하며, Ro는 특정 블루 서브픽셀에 대해 산출되는 레드 컬러 값에 대응한다. B는 특정 블루 서브픽셀에서의 샘플링된 블루 컬러 값에 대응한다. B'avg는 특정 블루 서브픽셀에 이웃(예를 들면, 수평으로 이웃)하는 그린 서브픽셀들에서의 산출된 블루 컬러 값들 간의 평균에 대응한다. 일 예로서, 특정 블루 서브픽셀에 이웃(예를 들면, 수평으로 이웃)하는 그린 서브픽셀들에서의 산출된 블루 컬러 값들은 수학식 5 또는 6에 따라 결정될 수 있다. ΔB는 (i) 특정 블루 서브픽셀에서의 샘플링된 블루 컬러 값과, (ii) 특정 블루 서브픽셀에 이웃(예를 들면, 수평으로 이웃)하는 그린 서브픽셀들에서의 산출된 블루 컬러 값들 사이의 평균 간의 차이에 대응한다. G'avg는 특정 블루 서브픽셀에 이웃(예를 들면, 수평으로 이웃)하는 그린 서브픽셀들에서의 산출된 그린 컬러 값들 간의 평균에 대응한다. 일 예로서, 특정 블루 서브픽셀에 이웃(예를 들면, 수평으로 이웃)하는 그린 서브픽셀들에서의 산출된 그린 컬러 값들은 수학식 5 또는 6에 따라 결정될 수 있다. R'avg는 특정 블루 서브픽셀에 이웃(예를 들면, 수평으로 이웃)하는 그린 서브픽셀들에서의 산출된 레드 컬러 값들 간의 평균에 대응한다. 일 예로서, 특정 블루 서브픽셀에 이웃(예를 들면, 수평으로 이웃)하는 그린 서브픽셀에서의 산출된 레드 컬러 값들은 수학식 5 또는 6에 따라 결정될 수 있다.

본 발명의 다양한 실시예들에 따르면, 특정 레드 서브픽셀에 있어서, 컬러 값들은 수학식 9에 따른 곱셈 정규화를 사용하여 결정될수 있다.

수학식 9를 참조하면, Ro는 특정 레드 서브픽셀에 대해 산출되는 레드 컬러 값에 대응하고, Go는 특정 레드 서브픽셀에 대해 산출되는 그린 컬러 값에 대응하며, Bo는 특정 레드 서브픽셀에 대해 산출되는 블루 컬러 값에 대응한다. R은 특정 레드 서브픽셀에서의 샘플링된 레드 컬러 값에 대응한다. R'avg는 특정 레드 서브픽셀에 이웃(예를 들면, 수평으로 이웃)하는 그린 서브픽셀들에서의 산출된 레드 컬러 값들 간의 평균에 대응한다. 일 예로서, 특정 레드 서브픽셀에 이웃(예를 들면, 수평으로 이웃)하는 그린 서브픽셀들에서의 산출된 레드 컬러 값들은 수학식 5 또는 6에 따라 결정될 수 있다. G'avg는 특정 레드 서브픽셀에 이웃(예를 들면, 수평으로 이웃)하는 그린 서브픽셀들에서의 산출된 그린 컬러 값들 간의 평균에 대응한다. 일 예로서, 특정 레드 서브픽셀에 이웃(예를 들면, 수평으로 이웃)하는 그린 서브픽셀들에서의 산출된 그린 컬러 값들은 수학식 5 또는 6에 따라 결정될 수 있다. B'avg는 특정 레드 서브픽셀에 이웃(예를 들면, 수평으로 이웃)하는 그린 서브픽셀들에서의 산출된 블루 컬러 값들 간의 평균에 대응한다. 일 예로서, 특정 레드 서브픽셀에 이웃(예를 들면, 수평으로 이웃)하는 그린 서브픽셀들에서의 산출된 블루 컬러 값들은 수학식 5 또는 6에 따라 결정될 수 있다.

본 발명의 다양한 실시예들에 따르면, 특정 블루 서브픽셀에 있어서, 컬러 값들은 수학식 10에 따른 곱셈 정규화를 사용하여 결정될수 있다.

수학식 10을 참조하면, Bo는 특정 블루 서브픽셀에 대해 산출되는 블루 컬러 값에 대응하고, Go는 특정 블루 서브픽셀에 대해 산출되는 그린 컬러 값에 대응하며, Ro는 특정 블루 서브픽셀에 대해 산출되는 레드 컬러 값에 대응한다. B는 특정 블루 서브픽셀에서의 샘플링된 블루 컬러 값에 대응한다. B'avg는 특정 블루 서브픽셀에 이웃(예를 들면, 수평으로 이웃)하는 그린 서브픽셀들에서의 산출된 블루 컬러 값들 간의 평균에 대응한다. 일 예로서, 특정 블루 서브픽셀에 이웃(예를 들면, 수평으로 이웃)하는 그린 서브픽셀들에서의 산출된 블루 컬러 값들은 수학식 5 또는 6에 따라 결정될 수 있다. G'avg는 특정 블루 서브픽셀에 이웃(예를 들면, 수평으로 이웃)하는 그린 서브픽셀들에서의 산출된 그린 컬러 값들 간의 평균에 대응한다. 일 예로서, 특정 블루 서브픽셀에 이웃(예를 들면, 수평으로 이웃)하는 그린 서브픽셀들에서의 산출된 그린 컬러 값들은 수학식 5 또는 6에 따라 결정될 수 있다. R'avg는 특정 블루 서브픽셀에 이웃(예를 들면, 수평으로 이웃)하는 그린 서브픽셀들에서의 산출된 레드 컬러 값들 간의 평균에 대응한다. 일 예로서, 특정 블루 서브픽셀에 이웃(예를 들면, 수평으로 이웃)하는 그린 서브픽셀들에서의 산출된 레드 컬러 값들은 수학식 5 또는 6에 따라 결정될 수 있다.

다시 도 4를 참조하면, 동작들(481-487)은 저주파수 디모자이크 솔루션의 블루 서브픽셀(433)에 대응하는 블루 서브픽셀에서의 컬러 정보(예를 들면, 컬러 값들)를 재구성하기 위한 방법을 도시한 것이다.

동작(481)에서, 저주파수 디모자이크 솔루션의 그린 서브픽셀(431)에서 결정되는 컬러 값들은, 고주파수 디모자이크 솔루션의 그린 서브픽셀(471)에서 결정되는 컬러 값들과조합된다. 본 발명의 다양한실시예들에 따르면, 저주파수 디모자이크 솔루션의 그린 서브픽셀(431)에서 결정되는 컬러 값들은, 알파 블렌드에 따라 고주파수 디모자이크 솔루션의 그린 서브픽셀(471)에서 결정되는 컬러 값들과 조합된다.

동작(483)에서, 저주파수 디모자이크 솔루션의 그린 서브픽셀(435)에서 결정되는 컬러 값들은, 고주파수 디모자이크 솔루션의 그린 서브픽셀(475)에서 결정되는 컬러 값들과조합된다. 본 발명의 다양한실시예들에 따르면, 저주파수 디모자이크 솔루션의 그린 서브픽셀(435)에서 결정되는 컬러 값들은, 알파 블렌드에 따라 고주파수 디모자이크 솔루션의 그린 서브픽셀(475)에서 결정되는 컬러 값들과 조합된다.

동작(485)에서는, 동작(481)에서 결정된컬러 값들 및 동작(483)에서 결정된 컬러 값들이 평균화된다.

동작(487)에서는, 동작(485)에서 결정된 저주파수 솔루션의 블루 서브픽셀(433)에 대응하는 서브픽셀에 대한 평균 컬러 값이 정규화된다. 본 발명의 다양한 실시예들에 따르면, 저주파수 솔루션의 블루 서브픽셀(433)에 대응하는 서브픽셀에 대한 평균 컬러 값이 (예를 들면, 수학식 7 및 8을 사용하는) 덧셈 정규화에 따라 정규화될 수도 있다. 본 발명의다양한 실시예들에 따르면, 저주파수 솔루션의 블루 서브픽셀(433)에 대응하는 서브픽셀에 대한 평균 컬러 값이 (예를 들면, 수학식 9 및 10을 사용하는) 곱셈 정규화에 따라 정규화될 수도 있다.

도 5는 본 발명의 일 실시예에 따른 대응하는 서브픽셀들에서의 컬러 값들을 결정하는 방법을 도시한 것이다.

도 5를 참조하면, 동작(505)에서, 전자 디바이스는 영상을촬영한다. 전자 장치는, 영상을촬영하는데 사용될 수 있는 복수의 광검출기들을 갖는 영상 검출기들을 포함할 수 있다. 광검출기들 각각은 단일의 컬러를샘플링할 수 있다. 본 발명의 다양한 실시예들에 따르면, 복수의 광검출기들로부터의 컬러 정보가 저장될 수 있다. 본 발명의 다양한 실시예들에 따르면, 컬러 표현의 재구성을 요구할수도 있는 의도된 영상을 구성하는 컬러 정보가 수신/저장될수 있다.

동작(510)에서, 전자 장치는 그린 컬러 값이 샘플링되는 서브픽셀들(예를 들면, 그린 서브픽셀들)에서의 알파(α) 파라미터를 산출할 수 있다. 본 발명의 다양한 실시예들에 따르면, 전자 장치는 그린 서브픽셀들에서 샘플링되는 그린 컬러 값들을 사용하여 알파 채널을생성할 수 있다. 전자 장치는 수학식 2 등을 사용하여 알파 파라미터를 산출할수 있다.

동작(515)에서, 전자 장치는 그린 서브픽셀들에서의 컬러 값들을 결정할수 있다. 전자 장치는 수학식5, 6 등을 사용하여 그린 서브픽셀들에서의 컬러 값들을 결정할수 있다. 본 발명의 다양한실시예들에 따르면, 전자 장치는전체 그린 컬러 플레인에 걸쳐있는(예를 들면, 모든 그린 서브픽셀들에 걸쳐있는) 그린 서브픽셀들에서의 컬러 값들을 결정할수 있다. 본 발명의 다양한 실시예들에 따르면, 전자 장치는두 개의 행의 서브픽셀들에 걸쳐있는 그린 서브픽셀들에서의 컬러 값들을 결정할 수 있다.

동작(520)에서, 전자 장치는 (예를 들면, 컬러 값들이 결정될 필요가있는) 다음의 서브픽셀로 진행할수 있다.

동작(525)에서, 전자 장치는 현재의서브픽셀이 레드 서브픽셀인지 또는 블루 서브픽셀인지의 여부를 결정한다.

전자 장치가 동작(522)에서 현재의서브픽셀이 레드 서브픽셀이라고 결정하는 경우, 전자 장치는 동작(530)으로 진행할 수 있으며, 여기서전자 장치는 현재의 서브픽셀(예를 들면, 레드 서브픽셀)에서의 컬러 값들을 결정할 수 있다. 그 후, 전자 장치는 동작(540)으로 진행할 수 있다.

반면에, 전자 장치가 동작(522)에서 현재의 서브픽셀이 블루 서브픽셀이라고 결정하는 경우, 전자 장치는 동작(535)으로 진행할수 있으며, 여기서 전자 장치는현재의 서브픽셀(예를 들면, 블루 서브픽셀)에서의 컬러 값들을결정할 수 있다. 그 후, 전자 장치는 동작(540)으로 진행할 수 있다.

동작(540)에서, 전자 장치는 모든 서브픽셀들에 대한 컬러 값들이산출되었는지의 여부를 결정할 수 있다.

전자 장치가 동작(540)에서 모든 서브픽셀들에 대한 컬러 값들이산출되지 못한 것으로 결정하는 경우, 전자 장치는 동작(520)으로 진행할 수 있다.

반면에, 전자 장치가 동작(540)에서 모든 서브픽셀들에 대한 컬러 값들이산출된 것으로 결정하는 경우, 전자 장치는 동작(545)로 진행할수 있으며, 여기서 전자 장치는각각의 서브픽셀들에 대한 컬러 정보(예를 들면, 컬러 값들)를 저장할 수 있다. 전자 장치는 영상을 저장할 수 있다.

그 후, 동작(550)에서, 전자 장치는 영상을렌더링할 수 있다. 전자 장치는 프리뷰 프레임(preview frame)에서의영상(예를 들면, 고속 또는 경량 디모자이크 처리가 바람직한 인스턴스(instance))을 렌더링할 수 있다. 전자 장치는 영상을 렌더링하기 이전에영상 처리를 더 수행할 수도 있다.

도 6은 본 발명의 일 실시예에 따른 전자 장치의구성을 개략적으로 예시하는 블록도를 도시한 것이다.

도 6을 참조하면, 전자 장치는 제어 유닛(610), 저장 유닛(620), 카메라 유닛(630), 영상 처리 유닛(640), 디스플레이 유닛(650), 입력 유닛(650), 및 통신 유닛(670)을 포함할수 있다.

본 발명의 다양한 실시예들에 따르면, 전자 장치는 적어도 하나의제어 유닛(610)을 포함한다. 적어도하나의 제어 유닛(610)은 전자 장치를 동작적으로 제어하도록 구성될 수 있다. 예를 들면, 적어도 하나의 제어 유닛(610)은 전자 장치에 포함되는 다양한컴포넌트들 또는 유닛들의 동작을제어할 수 있다. 적어도하나의 제어 유닛(610)은 전자 장치에 포함되는 다양한 컴포넌트들에게 신호를 전송하고, 전자 장치의 내부 블록들 간의 신호 흐름을 제어할 수 있다. 적어도 하나의 제어 유닛(610)은 적어도 하나의 프로세서이거나, 그렇지 않은 경우 이를 포함할수도 있다. 적어도 하나의 제어 유닛(610)은 애플리케이션 프로세서(Application Processor: AP), 및/또는 그 밖의 유사한 것을 포함할 수도 있다.

저장 유닛(620)은 본 발명의다양한 실시예들에 따른 동작 기능들을 수행하는 프로그램은 물론이고, 사용자 데이터, 및 그 밖의 유사한 것을 저장하도록 구성될수 있다. 저장 유닛(620)은 비-일시적 컴퓨터-판독가능 저장매체를 포함할수 있다. 일 예로서, 저장 유닛(620)은 전자 장치의 전반적인 동작을 제어하기 위한 프로그램, 전자 장치를 부팅하는 OS(Operating System), 및 다른 선택적 기능들, 예를 들면, 카메라 기능, 사운드 재생 기능, 영상 또는 비디오 재생 기능, 신호 강도 측정 기능, 경로 생성 기능, 영상 처리, 및 그 밖의 유사한 것을 수행하기 위한 애플리케이션 프로그램을 저장할 수 있다. 또한, 저장 유닛(620)은 전자 장치의사용자에 따라 생성되는 사용자데이터, 예를 들어 텍스트메시지, 게임 파일, 음악 파일, 동영상 파일, 및 그 밖의 유사한 것들을 저장할 수 있다. 본 발명의 다양한 실시예들에 따르면, 저장 유닛(620)은 하나 이상의 영상들, 및/또는 그 밖의 유사한 것들을 (예를 들면, 동시적으로) 촬영하는 카메라 유닛(나타내지 않음)을 개별적으로 또는 조합적으로 동작시키는 애플리케이션 또는 복수의 애플리케이션들을 저장할 수 있다. 본 발명의 다양한 실시예들에 따르면, 저장 유닛(620)은, 그린 서브픽셀들에서의 알파 파라미터를 결정하고, 그린 서브픽셀들에서의 컬러 값들을 결정(예를 들면, 재구성)하고, 레드 서브픽셀들에서의 컬러 값들을 결정(예를 들면, 재구성)하고, 블루 서브픽셀들에서의 컬러 값들을 결정(예를 들면, 재구성)하고, 하나 이상의 서브픽셀들에 대한 컬러 값들을 저장하고, (예를 들면, 재구성된 컬러 값들을 사용하여) 영상을 렌더링하는 등을 행하는 제어 유닛(610) 또는 영상 처리 유닛(640)을 개별적으로 또는 조합적으로 동작시키는 애플리케이션 또는 복수의 애플리케이션들을 저장할 수 있다. 저장 유닛(620)은 상대편 전자 장치와 통신하여 상대편 전자 장치, 및/또는 그 밖의 유사한 것으로부터 영상에대한 컬러 정보(예를 들면, 컬러 값들)를 수신하는 통신 유닛(670) 및 제어 유닛(610)을 개별적으로 또는 조합적으로 동작시키는 애플리케이션 또는 복수의 애플리케이션들을 저장할 수 있다. 저장 유닛(620)은 그래픽 사용자인터페이스, 영상, 비디오, 및/또는 그 밖의 유사한 것을 디스플레이하는 디스플레이 유닛(650)을 개별적으로 또는 조합적으로 동작시키는 애플리케이션 또는 복수의 애플리케이션들을 저장할 수 있다. 저장 유닛(620)은, 본 발명의다양한 실시예들에 따른 재구성(예를 들면, 디모자이크) 방법들을 통하여 재구성된 컬러 정보를 사용하여 프리뷰 영상을디스플레이하는 디스플레이 유닛(650)을 개별적으로 또는 조합적으로 동작시키는 애플리케이션 또는 복수의 애플리케이션들을 저장할 수 있다. 프리뷰 영상은 카메라 유닛(630)이 동작되는 동안 뷰 파인더(viewfinder)에서 디스플레이될 수 있다. 프리뷰 영상은 영상을 촬영하도록 하는 명령시에 촬영될 수 있는 뷰를 디스플레이할 수 있다.

카메라 유닛(630)은 영상을촬영할 수 있다. 카메라유닛(630)은 복수의 광검출기들을 포함하는 영상 검출기(나타내지 않음)를 포함할 수 있다. 복수의광검출기들 각각은 포토사이트에 대응할수 있다. 카메라 유닛(630)이 동작될 시에, 카메라 유닛은 프리뷰영상을 촬영할 수도 있다. 카메라 유닛(630)이 동작되는 동안(예를 들면, 카메라유닛(630)이 지시를 받아 영상을촬영하기 이전)에는, 프리뷰영상이 디스플레이 유닛(650) 상에 디스플레이될 수 있다.

영상 처리 유닛(640)은 영상 데이터, 영상들, 및/또는 그 밖의 유사한 것을 처리하도록 구성될 수 있다. 영상 처리 유닛(640)은 SPR(Sub Pixel Rendering) 유닛(나타내지 않음), 디모자이크 유닛(나타내지 않음), 및/또는 그 밖의 유사한 것을 포함할수 있다. 대안적으로 또는 추가적으로, 영상 처리 유닛(640)은 영상 데이터 및/또는 영상들, SPR, 및/또는 그 밖의 유사한 것의 디모자이크를 수행하도록 구성될 수 있다. 영상 처리 유닛(640)은 그린 서브픽셀들에서의 알파 파라미터를 결정하고, 그린 서브픽셀들에서의 컬러 값들을 결정(예를 들면, 재구성)하고, 레드 서브픽셀들에서의 컬러 값들을 결정(예를 들면, 재구성)하고, 블루 서브픽셀들에서의 컬러 값들을 결정(예를 들면, 재구성)하고, 하나 이상의 서브픽셀들에 대한 컬러 값들을 저장하고, (예를 들면, 재구성된 컬러 값들을 사용하여) 영상을 렌더링하는 등을 행하도록 구성될 수 있다.

디스플레이 유닛(650)은 사용자에 의해 입력되는 정보, 또는 사용자에게 제공될 정보를 디스플레이하며, 또한 전자 장치의다양한 메뉴도 디스플레이한다. 예를 들면, 디스플레이 유닛(650)은 대기 스크린(idle screen), 메시지작성 스크린(message writing screen), 호출 스크린(calling screen), 경로 계획 스크린(route planning screen), 및 그 밖의 유사한 것과 같은 전자 장치의 사용자에 따른 다양한 스크린들을 제공할수 있다. 본 발명의 다양한실시예들에 따르면, 디스플레이 유닛(650)은, 사용자가 조작하거나, 그렇지않은 경우 터치 스크린을 통해 입력하여 전자 장치의 신호 강도에 관련된 기능의 선택을입력할 수 있는 인터페이스를 디스플레이할 수도 있다. 디스플레이 유닛(650)은 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), AMOLED(Active Matrix Organic Light Emitting Diode), 및 그 밖의 유사한 것으로 이루어질 수 있다. 그러나, 본 발명의 다양한 실시예들은 이러한예들에 한정되지 않는다. 또한, 디스플레이 유닛(650)은 그 디스플레이 유닛(650)이 터치 스크린으로 이루어지는 경우에입력 유닛(660)의 기능을 수행할수 있다.

입력 유닛(660)은 사용자 입력을수신하기 위한 입력 키들 및 기능 키들을 포함할 수 있다. 예를 들면, 입력 유닛(660)은, 숫자들 또는 다양한 세트의문자 정보의 입력을 수신하고, 다양한기능들을 설정하며, 전자 장치의 기능들을 제어하기 위한 입력 키들 및 기능 키들을 포함할수 있다. 예를 들면, 입력 유닛(660)은 음성 통화를 요청하기 위한 호출 키, 영상 통화를 요청하기 위한 영상 호출 요청 키, 음성 통화 또는 영상 통화의 종료를 요청하기 위한 종료 키, 오디오신호의 출력 볼륨을 조정하기 위한 볼륨 키, 방향키, 및 그 밖의 유사한 것을 포함할 수 있다. 특히, 본 발명의 다양한 실시예들에 따르면, 입력 유닛(660)은 카메라유닛(나타내지 않음)의 동작, 영상의 선택, 뷰 포인트의 선택, 및/또는 그 밖의 유사한 것과 관련된 신호들을 적어도 하나의 제어 유닛(610)에게 전송할 수 있다. 이러한입력 유닛(660)은 터치 패드, 터치스크린, 버튼-타입 키패드, 조이스틱(joystick), 휠 키(wheel key) 등과 같은 입력 수단의 하나 또는 그것들의 조합에 의해 이루어질 수 있다.

통신 유닛(670)은 다른 전자 장치들 및/또는 네트워크들과 통신하도록 구성될 수 있다. 본 발명의 다양한 실시예들에 따르면, 통신 유닛(670)은 다양한통신 프로토콜들 및 다양한 통신 송수신기들을 사용하여 통신하도록 구성될수 있다. 예를 들면, 통신 유닛(670)은 블루투스 기술, NFC 기술, WiFi 기술, 2G 기술, 3G 기술, LTE 기술, 또는 다른 무선 기술 등을 통해 통신하도록 구성될 수 있다.

본 명세서의 청구 범위 및 상세한 설명에 따른 본 발명의다양한 실시예들은 하드웨어, 소프트웨어의 형태로 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다는 것이 인식될 것이다.

임의의 이러한 소프트웨어는 비-일시적컴퓨터 판독가능 저장매체에 저장될수도 있다. 비-일시적 컴퓨터 판독가능 저장매체는 하나 이상의 프로그램들(소프트웨어 모듈들)을 저장하며, 이러한 하나 이상의 프로그램들은 전자 장치 내의 하나 이상의 프로세서들에 의해 실행될 경우, 전자 장치로하여금 본 발명의 방법을수행하게 하는 인스트럭션들을 포함한다.

임의의 이러한 소프트웨어는, 예를 들어, 삭제 가능 또는 재기록가능 여부와 상관없이, ROM(Read Only Memory) 등의 저장소와 같은 휘발성 또는 비휘발성 저장소의 형태로, 또는 예를 들어, RAM(Random Access Memory), 메모리 칩, 장치 또는 집적 회로와 같은 메모리의 형태로, 또는 예를 들어 콤팩트 디스크(CD), DVD(Digital Versatile Disc), 자기 디스크 또는 자기 테이프등과 같은 광학 또는 자기적으로 기록 가능한 매체 상에서저장될 수 있다. 저장 장치들 및 저장 매체는 실행될시에 본 발명의 다양한 실시예들을 구현하는 것을 포함하는 프로그램 또는 프로그램들을 저장하는데 적합한 비-일시적 머신-판독가능 저장소에 대한 다양한 실시예들이라는 것이 인식될 것이다. 따라서, 다양한실시예들은 본 명세서의 청구 범위들 중의 어느 것에서청구된 바와 같은 장치나방법을 구현하기 위한 코드를포함하는 프로그램 및 그러한프로그램을 저장하는 비-일시적 머신-판독가능한 저장소를 제공한다.

본 발명은 다양한 실시예들을 참조하여 도시 및 기술되었지만, 첨부된청구 범위 및 그 등가물에 의해 규정되는 바와 같은 본 발명의 사상 및 범위를 벗어나지 않는 범위 내에서는 형태 및 세부사항에서 각종 변형들이 이루어질 수 있다는 것을 당업자는 이해할 것이다.

Claims

샘플링된 컬러 값들을 디모자이크(demosaicing)하기 위한 방법으로서,
복수의 광검출기(photo detector)들을 사용하여 복수의 서브픽셀들 각각에서의 컬러 정보를 샘플링하는 단계
제 1 컬러가 샘플링된 서브픽셀들에 대응하는 상기 복수의 서브픽셀들 중의 제 1 서브세트에 대한 저주파수 컬러 재구성 솔루션(low frequency color reconstruction solution)을 생성하는 단계
상기 제 1 컬러가 샘플링된 서브픽셀들에 대응하는 상기 복수의서브픽셀들 중의 상기 제 1 서브세트에 대한 고주파수 컬러 재구성 솔루션(high frequency color reconstruction solution)을 생성하는 단계
상기 저주파수 컬러 재구성 솔루션과 상기 고주파수 컬러 재구성솔루션의 조합을 사용하여, 상기 복수의 서브픽셀들 중의 상기 제 1 서브세트에 대한 컬러 값들을 결정하는 단계 및
상기 복수의 서브픽셀들 중의 상기 제 1 서브세트에 대한 컬러 값들을 사용하여, 상기 제 1 컬러가 샘플링되지 않은 서브픽셀들에 대응하는 상기 복수의서브픽셀들 중의 제 2 서브세트에 대한 컬러 값들을 결정하는 단계
를 포함하는 샘플링된 컬러 값들을디모자이크하기 위한 방법.
제 1 항에 있어서,
상기 복수의 서브픽셀들 중의 상기 제 1 서브세트에 대한 컬러 값들을 사용하여, 상기 제 1 컬러가 샘플링되지 않은 서브픽셀들에 대응하는 상기 복수의서브픽셀들 중의 제 3 서브세트에 대한 컬러 값들을 결정하는 단계를 더 포함하는, 샘플링된 컬러 값들을 디모자이크하기 위한 방법.
제 1 항에 있어서,
상기 제 1 컬러는 그린(green)인, 샘플링된 컬러 값들을 디모자이크하기 위한 방법.
제 1 항에 있어서,
주파수 검출 필터를 사용하여 알파 파라미터(alpha parameter)를 결정하는 단계를 더 포함하는, 샘플링된 컬러 값들을 디모자이크하기 위한 방법.
제 4 항에 있어서,
상기 저주파수 컬러 재구성 솔루션과 상기 고주파수 컬러 재구성솔루션의 조합을 사용하여, 상기 복수의 서브픽셀들 중의 상기 제 1 서브세트에 대한 컬러 값들을 결정하는 것은, 상기 알파 파라미터에 적어도 부분적으로 기초하는 비율에 따라, 상기 저주파수 컬러 재구성 솔루션에 따른 컬러 값들과 상기 고주파수 컬러 재구성 솔루션에 따른 컬러 값들을 블렌딩(blending)하는 것을 포함하는, 샘플링된 컬러 값들을디모자이크하기 위한 방법.
제 4 항에 있어서,
상기 복수의 서브픽셀들 중의 상기 제 1 서브세트에 대한 컬러 값들을 사용하여, 상기 제 1 컬러가 샘플링되지 않은 서브픽셀들에 대응하는 상기 복수의서브픽셀들 중의 제 2 서브세트에 대한 컬러 값들을 결정하는 것은, 특정 서브픽셀에 이웃하는 상기 복수의 서브픽셀들 중의 상기 제 1 서브세트의 서브픽셀들의 각각의 컬러 값들을 사용하여, 상기 복수의 서브픽셀들 중의 상기 제 2 서브세트의 상기 특정 서브픽셀에 대한 컬러 값들을결정하는 것을 포함하는, 샘플링된 컬러 값들을 디모자이크하기 위한 방법.
제 6 항에 있어서,
상기 특정 서브픽셀에 이웃하는 상기 복수의 서브픽셀들 중의 상기 제 1 서브세트의 서브픽셀들의 각각의 컬러 값들을 사용하여, 상기 복수의 서브픽셀들 중의 상기 제 2 서브세트의 상기 특정 서브픽셀에 대한 컬러 값들을결정하는 것은, 상기 특정 서브픽셀에 수평으로 이웃하는 상기 복수의 서브픽셀들 중의 상기 제 1 서브세트의 서브픽셀들에 대한 제 2 컬러의 컬러 값들의 평균을 산출하는 것을 포함하는, 샘플링된 컬러 값들을디모자이크하기 위한 방법.
제 7 항에 있어서,
상기 특정 서브픽셀에 이웃하는 상기 복수의 서브픽셀들 중의 상기 제 1 서브세트의 서브픽셀들의 각각의 컬러 값들을 사용하여, 상기 복수의 서브픽셀들 중의 상기 제 2 서브세트의 상기 특정 서브픽셀에 대한 컬러 값들을결정하는 것은, 상기 특정 서브픽셀에 수평으로 이웃하는 상기 복수의 서브픽셀들 중의 상기 제 1 서브세트의 서브픽셀들에 대한 제 3 컬러의 컬러 값들의 평균을 산출하는 것을 더 포함하는, 샘플링된 컬러 값들을디모자이크하기 위한 방법.
제 8 항에 있어서,
상기 특정 서브픽셀에 대한, 상기 제 1 컬러, 상기 제 2 컬러, 및 상기 제 3 컬러 중의 하나 이상의 컬러 값을 정규화하는 단계를 더 포함하는, 샘플링된 컬러 값들을 디모자이크하기 위한 방법.
제 9 항에 있어서,
상기 컬러 값을 정규화하는 것은, 상기 컬러 값을 덧셈 정규화(additively normalizing)하는 것을 포함하는, 샘플링된 컬러 값들을 디모자이크하기 위한 방법.
제 9 항에 있어서,
상기 컬러 값을 정규화하는 것은, 상기 컬러 값을 곱셈 정규화(multiplicatively normalizing)하는 것을 포함하는, 샘플링된 컬러 값들을 디모자이크하기 위한 방법.
제 9 항에 있어서,
상기 정규화된 컬러 값을 사용하여, 전자 장치의 프리뷰 스크린(preview screen) 상에 영상을 렌더링하는 단계를 더 포함하는, 샘플링된 컬러 값들을 디모자이크하기 위한 방법.
실행 시에, 적어도 하나의 프로세서로 하여금, 제 1 항의 방법을 수행하게 하는 명령어들을 저장한 비-일시적 컴퓨터-판독가능 저장매체.
샘플링된 컬러 값들을 디모자이크하기 위한 장치로서,
저장 유닛 및
적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는, 복수의광검출기들을 사용하여 복수의 서브픽셀들 각각에서의 컬러 정보를 샘플링하고, 제 1 컬러가 샘플링된 서브픽셀들에 대응하는 상기 복수의서브픽셀들 중의 제 1 서브세트에 대한 저주파수 컬러 재구성솔루션을 생성하고, 상기 제 1 컬러가 샘플링된 서브픽셀들에 대응하는 상기 복수의 서브픽셀들 중의 상기 제 1 서브세트에 대한 고주파수 컬러 재구성 솔루션을 생성하고, 상기 저주파수 컬러 재구성 솔루션과 상기 고주파수 컬러 재구성 솔루션의 조합을사용하여 상기 복수의 서브픽셀들 중의 상기 제 1 서브세트에 대한 컬러 값들을 결정하고, 상기 복수의 서브픽셀들 중의 상기 제 1 서브세트에 대한 컬러 값들을 사용하여, 상기 제 1 컬러가 샘플링되지 않은 서브픽셀들에 대응하는 상기 복수의서브픽셀들 중의 제 2 서브세트에 대한 컬러 값들을 결정하도록 구성되는,
샘플링된 컬러 값들을 디모자이크하기 위한 장치.
제 14 항에 있어서,
상기 적어도 하나의 프로세서는, 상기 복수의 서브픽셀들 중의 상기 제 1 서브세트에 대한 컬러 값들을 사용하여, 상기 제 1 컬러가 샘플링되지 않은 서브픽셀들에 대응하는 상기 복수의서브픽셀들 중의 제 3 서브세트에 대한 컬러 값들을 결정하도록 더 구성되는, 샘플링된 컬러 값들을 디모자이크하기 위한 장치.
제 14 항에 있어서,
상기 제 1 컬러는 그린인, 샘플링된 컬러 값들을 디모자이크하기 위한 장치.
제 14 항에 있어서,
상기 적어도 하나의 프로세서는, 주파수검출 필터를 사용하여 알파 파라미터를 결정하도록 더 구성되는, 샘플링된 컬러 값들을 디모자이크하기 위한 장치.
제 17 항에 있어서,
상기 적어도 하나의 프로세서는, 상기 알파 파라미터에 적어도 부분적으로 기초하는 비율에 따라, 상기 저주파수 컬러 재구성 솔루션에 따른 컬러 값들과 상기 고주파수 컬러 재구성 솔루션에 따른 컬러 값들을 블렌딩하도록 더 구성되는, 샘플링된 컬러 값들을디모자이크하기 위한 장치.
제 17 항에 있어서,
상기 적어도 하나의 프로세서는, 특정 서브픽셀에 이웃하는 상기 복수의서브픽셀들 중의 상기 제 1 서브세트의 서브픽셀들의 각각의컬러 값들을 사용하여, 상기 복수의 서브픽셀들 중의 상기 제 2 서브세트의 상기 특정 서브픽셀에 대한 컬러 값들을결정하도록 더 구성되는, 샘플링된 컬러 값들을 디모자이크하기 위한 장치.
제 19 항에 있어서,
상기 적어도 하나의 프로세서는, 상기 특정 서브픽셀에 수평으로 이웃하는 상기 복수의 서브픽셀들 중의 상기 제 1 서브세트의 서브픽셀들에 대한 제 2 컬러의 컬러 값들의 평균을 산출하도록 더 구성되는, 샘플링된 컬러 값들을디모자이크하기 위한 장치.
제 20 항에 있어서,
상기 적어도 하나의 프로세서는, 상기 특정 서브픽셀에 수평으로 이웃하는 상기 복수의 서브픽셀들 중의 상기 제 1 서브세트의 서브픽셀들에 대한 제 3 컬러의 컬러 값들의 평균을 산출하도록 더 구성되는, 샘플링된 컬러 값들을디모자이크하기 위한 장치.
제 21 항에 있어서,
상기 적어도 하나의 프로세서는, 상기 특정 서브픽셀에 대한, 상기 제 1 컬러, 상기 제 2 컬러, 및 상기 제 3 컬러 중의 하나 이상의 컬러 값을 정규화하도록 더 구성되는, 샘플링된 컬러 값들을 디모자이크하기 위한 장치.
제 21 항에 있어서,
상기 적어도 하나의 프로세서는, 덧셈 정규화를 사용하여, 상기 특정 서브픽셀에 대한, 상기 제 1 컬러, 상기 제 2 컬러, 및 상기 제 3 컬러 중의 하나 이상의 컬러 값을 정규화하도록 더 구성되는, 샘플링된 컬러 값들을 디모자이크하기 위한 장치.
제 21 항에 있어서,
상기 적어도 하나의 프로세서는, 곱셈 정규화를 사용하여, 상기 특정 서브픽셀에 대한, 상기 제 1 컬러, 상기 제 2 컬러, 및 상기 제 3 컬러 중의 하나 이상의 컬러 값을 정규화하도록 더 구성되는, 샘플링된 컬러 값들을 디모자이크하기 위한 장치.
제 21 항에 있어서,
디스플레이 유닛을 더 포함하고, 상기 적어도 하나의 프로세서는, 상기 정규화된 컬러 값을 사용하여, 상기 디스플레이 유닛의 프리뷰 스크린 상에서 영상을렌더링하도록 더 구성되는, 샘플링된 컬러 값들을 디모자이크하기 위한 장치.