KR20160045613A

KR20160045613A - 서브밴드 인코딩 된 이미지들로부터 전체 해상도 이미지를 저장, 처리 및 복원하는 방법 및 장치

Info

Publication number: KR20160045613A
Application number: KR1020150144888A
Authority: KR
Inventors: 아누락 미살랄 재인; 라빈드라나트 라말링아야 먼만; 벤카타 라비산카 자얀티; 라자트 아갈왈; 아쉬스 랜잰; 조이 두타; 이용만; 김성오; 조재훈; 김광영; 김현희
Original assignee: 삼성전자주식회사
Priority date: 2014-10-17
Filing date: 2015-10-16
Publication date: 2016-04-27
Also published as: EP3207707A1; KR102343563B1; US20160110849A1; WO2016060522A1; EP3207707A4; US10593019B2

Abstract

본 발명의 다양한 실시예들은 서브밴드 인코딩 된 이미지들로부터 전체 해상도 이미지를 저장, 처리 및 복원하는 방법 및 장치를 개시한다. 본 발명의 일 실시예에 따르면, 이미지의 서브밴드 인코딩 된 데이터에 기반하여 고해상도 이미지를 렌더링 하는 방법은 선택된 이미지를 축소하는 단계, 타임 스탬프 된 축소 이미지를 생성하는 단계, 특정 시점에 선택된 이미지에 연관된 서브밴드 정보를 추출하는 단계, 축소된 이미지 및 서브밴드 정보를 압축하는 단계, 서브밴드 정보를 압축해제 하고 외삽된 축소 이미지와 결합하여 고해상도 이미지를 복원하는 단계를 포함한다.

Description

서브밴드 인코딩 된 이미지들로부터 전체 해상도 이미지를 저장, 처리 및 복원하는 방법 및 장치 {Method and apparatus for storing, processing and reconstructing full resolution image out of sub band encoded images}

본 발명은 이미지 처리에 관한 것으로 특히 이미지 복원(image reconstruction) 방법 및 장치에 관한 것이다. 보다 구체적으로, 본 발명은 촬영된 이미지들과 연관된 서브밴드 정보로부터 고해상도 이미지를 저장, 처리 및 복원하는 방법 및 장치에 관한 것이다.

무선 이동 통신 장치, 개인 정보 단말기(PDA), 랩톱 컴퓨터, 데스크톱 컴퓨터, 디지털 카메라, 디지털 녹음 장치 등을 포함하는 광범위한 전자 장치들은 다양한 종류의 이미지 및 비디오 표시 능력을 가지고 있다. 어떤 장치들은 2차원 이미지와 비디오 또는 3차원 이미지와 비디오를 표시하거나 둘 다를 표시할 수 있다.

대체로, 이미지 촬영 전에 프리뷰(preview) 과정이 진행된다. 현재, 프리뷰 과정 중에도, 이미지 신호 프로세서(image signal processor, ISP)에 의해 전체 해상도 이미지(full resolution image)에 상응하는 처리가 일어난다. 대부분의 경우, 표시 해상도는 촬영 해상도보다 훨씬 낮은데, 이는 이미지를 보기 위해 이미지 축소(downscale)를 해야 한다는 것을 의미한다. 이미지 처리 및 편집은 표시보다 높은 해상도로 진행되는 반면, 전체 규모 프리뷰 이미지(previewed full scale image)의 축소는 대게 이미지를 표시 해상도에 맞추어 표시하기 직전에 일어난다. 이는 더 많은 계산 자원을 요구할 수 있다. 이동전화기, 태블릿, PDA 등을 비롯한 (그러나 이에 제한되지 않고) 더 낮은 표시 해상도를 갖는 사용자 장치(user equipment, UE)의 표시부에 이미지를 표시하기 위해서, 이미지는 축소되어야 한다. 그러나, 동일한 이미지가 텔레비전, 대형 화면, 모니터, 랩톱 등을 비롯한 (그러나 이에 제한되지 않고) 더 큰 표시부를 가진 사용자 장치에서 보여져야 한다면, 축소된 이미지는 더 높은 표시 해상도에 맞추어 확대될(upscaled) 필요가 있는데, 이는 원래 이미지에 비하여 열등한 이미지 품질이 초래될 수 있다. 이미지는 한 시점에 촬영되고 어떤 다른 시점에 (전체 해상도로) 사용된다(보기/전송).

도 1은 종래기술에 따라 촬영된 고해상도 이미지를 고해상도 이미지와 저해상도 이미지로 표시하는 것을 예시하는 개략도(100)이다. 개략도(100)에 따르면, 해상도 16MP의 고해상도 이미지(102)는 프리뷰를 위해 사용자 장치(미도시)의 표시부 상에 프리뷰될 수 있다. 16MP 이미지는 (알려진 어떤 ISP를 이용하는) 사용자 장치의 표시부에 표시될 수 없으므로, 고해상도 이미지(102)는 처리되어 해상도 2MP의 축소 이미지(104)가 얻어질 수 있다.

축소 이미지(104)는 사용자에 의해 편집되거나 효과가 부가되어 편집된 이미지(108)로 될 수 있으므로, 축소 이미지는 편집을 위해 이용될 수 있다. 하지만, 편집된 이미지(108)를 얻기 위해 고해상도 이미지를 편집하는 경우, 고해상도 이미지는 편집된 이후 사용자 장치의 표시부에 맞추어 축소될 필요가 있는데, 이는 이미지 처리를 더디게 할 수 있다.

또한, 축소 이미지(104)가 텔레비전이나 랩톱 등과 같은 대형 화면(110)에 표시되어야 할 경우, 축소 이미지(104)는 다시 확대될 필요가 있다. 축소 이미지(104)의 확대 시, 축소 이미지(104)는 더 큰 표시부에 맞는 확대된 이미지가 얻어지도록 외삽될(extrapolated) 수 있다. 그렇지만, 축소 이미지의 외삽 후에 이미지 품질은, 프리뷰된 고해상도 이미지(102)와 비교하여, 같지 않을 것이다.

기존의 컴퓨팅 어플리케이션(computing application)들은 이미지 신호 처리(image signal processing), 이미지 압축 및 압축 해제(compression and decompression) 그리고 이미지 확대 및 축소(upscaling and downscaling)를 수행할 수 있다. 그러나, 축소된 이미지를 압축(예, JPEG 등) 및 인코딩 된 잔상/모서리 이미지(encoded residual/edge image)를 이용하여 JPEG 헤더(예, JFIF)의 일부로서 저장할 수 있는 종래의 시스템이나 기법은 없다. 그러므로, 축소된 이미지를 여러 번 처리하고 저해상도 표시장치에 표시할 수 있게 하는 기법과 시스템의 필요성이 있다. 또한, 처리된 전체 해상도 이미지를 더 적은 전력 소모를 통해 복원하는 기법과 시스템의 필요성이 있다.

전술된 결점, 약점 및 문제점들을 다루는 제안된 구성에 대한 보다 자세한 사항들은 여기에서 언급되고 후속 설명을 살펴봄으로써 이해될 것이다.

본 발명의 다양한 실시예들은 서브밴드 인코딩 된 이미지들로부터 전체 해상도 이미지를 저장, 처리 및 복원하는 방법 및 장치를 개시한다.

본 발명의 일 실시예에 따르면, 선택된 이미지와 연관된 서브밴드 정보를 추출하는 방법은 선택된 이미지를 축소하여 축소된 이미지를 생성하는 단계, 특정 시점에 축소된 이미지를 하나 이상의 처리 파라미터를 이용하여 처리하여 축소된 이미지와 연관된 서브밴드 정보를 추출하는 단계, 축소된 이미지와 연관된 서브밴드 정보를 압축하고 인코딩 하는 단계, 그리고 압축되고 인코딩 된 서브밴드 정보를 단일 컨테이너 파일 포맷으로 저장하는 단계를 포함한다.

본 발명의 일 실시예에서, 상기 축소된 이미지는 -필터 크기, 필터 계수, 강도 이득, 색 이득, 기타 선형 또는 비선형 디지털 신호처리 파라미터들을 포함하는- 처리 파라미터들을 이용하여 서브밴드 정보에 독립적으로 처리된다. 본 발명의 다른 일 실시예에서, 축소된 정보를 처리하는데 사용되는 하나 이상의 파라미터들은 압축된 축소 이미지와 함께 처리되는 순서대로 저장된다. 본 발명의 다른 일 실시예에서, 축소된 이미지는 후속 처리를 위해 서브밴드 정보에 독립적으로 압축해제 된다.

본 발명의 일 실시예에서, 상기 방법은 축소된 이미지에 독립적인 변경을 가하는 단계, 서브밴드 정보의 후 처리를 위해 하나 이상의 파라미터들을 저장하는 단계, 축소된 이미지에 대한 하나 이상의 파라미터들을 변경하여 축소된 이미지를 갱신하는 단계, 갱신된 이미지 및 변경된 하나 이상의 파라미터들을 인코딩 하는 단계, 그리고 갱신된 이미지 및 변경된 하나 이상의 파라미터들을 단일 파일로서 저장하는 단계를 더 포함한다.

본 발명의 일 실시예에서, 상기 방법은 압축된 축소 이미지와 서브밴드 정보로부터 고해상도 이미지를 생성하는 단계를 더 포함한다. 상기 고해상도 이미지를 생성하는 단계는 축소된 이미지와 서브밴드 정보를 압축해제 하는 단계, 압축해제 된 축소 이미지를 확대하는 단계, 압축해제 된 서브밴드 정보를 하나 이상의 파라미터를 이용하여 처리하는 단계, 그리고 외삽된 축소 이미지와 선택된 이미지에 연관된 처리된 서브밴드 정보를 결합하여(adding) 선택된 이미지의 고해상도 이미지를 복원하는 단계를 포함한다.

본 발명의 일 실시예에서, 상기 방법은 축소된 이미지와 서브밴드 정보에 대한 사진 편집기 효과의 영향력을 분리하는 단계, 축소된 이미지를 이미지 신호 처리기(ISP)를 이용하여 조정(conditioning)하여 조정된 축소 이미지를 얻는 단계, 사진 편집 시 사진 편집기 효과에 근거한 하나 이상의 사진 편집 파라미터를 이용하여 조정된 축소 이미지를 처리하여 처리된 축소 이미지를 얻는 단계, 하나 이상의 사진 편집 파라미터를 하나 이상의 처리 파라미터와 함께 단일 데이터 파일 포맷으로 첨부함으로써 축소된 이미지의 처리에 관계된 하나 이상의 사진 편집 파라미터를 저장하는 단계를 더 포함한다. 여기서, 상기 하나 이상의 처리 파라미터들은 고해상도 이미지의 복원 전에 저장되었던 순서와 동일한 순서로 서브밴드 정보에 적용된다.

본 발명의 일 실시예에서, 상기 방법은 서브밴드 정보와 독립적으로 압축된 축소 데이터를 조정하는 단계를 더 포함한다. 상기 압축된 축소 데이터를 조정하는 단계는 기존의 파일 컨테이너로부터 얻은 축소된 데이터를 압축해제 하는 단계, 하나 이상의 사진 편집기 연산을 이용하여 축소된 데이터를 조정(conditioning) 하는 단계, 처리된 축소된 데이터를 압축하는 단계, 파일 컨테이너에 저장된 압축되고 축소된 데이터를 새롭게 조정 및 압축되고 축소된 데이터로 교체하는 단계, 그리고 적합한 사진 편집 파라미터들을 상기 파일 컨테이너에 첨부하는 단계를 포함한다.

또한, 실시예들은 시간 영역 시스템에 기반하여 고해상도 이미지를 렌더링 하는 방법을 개시한다. 상기 방법은 선택된 이미지에 블러링 필터를 적용하여 필터링된 이미지를 얻는 단계, 특정 시점에 선택된 이미지와 필터링된 이미지 사이의 차이를 취하여 선택된 이미지에 연관된 서브밴드 정보를 추출하는 단계, 필터링된 이미지를 축소하는 단계, 이미지 신호 처리기(ISP)를 이용하여 축소된 이미지를 처리하고 이에 연관된 파라미터들을 저장하는 단계, 하나 이상의 사진 편집 연산을 이용하여 처리된 축소 이미지를 조정(conditioning) 하고 이에 연관된 파라미터들을 저장하는 단계, 조정된 축소 이미지 및 선택된 이미지에 연관된 서브밴드 정보를 압축하여 저장하는 단계, 축소된 이미지 및 서브밴드 정보를 압축해제 하는 단계, 축소된 이미지에 의해 사용된 하나 이상의 저장된 처리 파라미터를 이용하여 압축해제 된 서브밴드 정보를 조정하는 단계, 그리고 조정된 서브밴드 정보를 외삽되고 조정된 축소 이미지와 결합하여 고해상도 이미지를 복원하는 단계를 포함한다.

또한, 실시예들은 주파수 영역 시스템에 기반하여 고해상도 이미지를 렌더링 하는 방법을 개시한다. 상기 방법은 선택된 이미지에 주파수 변환을 적용하는 단계, 저역 통과 필터를 적용하여 선택된 이미지의 저주파 데이터를 획득하는 단계, 고역 통과 필터를 적용하여 선택된 이미지의 고주파 데이터를 획득하는 단계, 하나 이상의 처리 파라미터를 이용하여 선택된 이미지의 저주파 데이터를 처리하는 단계, 사진 편집 연산을 이용하여 저주파 데이터를 조정(conditioning) 하고 이에 연관된 파라미터들을 저장하는 단계, 선택된 이미지에 연관된 저주파 데이터 및 고주파 데이터를 압축하여 저장하는 단계, 저주파 데이터 및 고주파 데이터를 압축해제 하는 단계, 하나 이상의 저장된 처리 파라미터를 이용하여 압축해제 된 고주파 데이터를 조정하는 단계, 조정된 저주파 데이터와 조정된 고주파 데이터를 결합하여 조정된 전체 주파수 스펙트럼 데이터를 얻는 단계, 그리고 역 주파수 변환을 적용하여 고해상도 이미지를 복원하는 단계를 포함한다.

또한, 실시예들은 폐루프 시스템에 기반하여 고해상도 이미지를 렌더링 하는 방법을 개시한다. 상기 방법은 선택된 이미지를 축소하여 축소된 이미지를 생성하는 단계, 축소된 이미지를 확대하는 단계, 선택된 이미지와 확대된 이미지 사이의 차이를 취하여 선택된 이미지에 연관된 서브밴드 정보를 추출하는 단계, 이미지 신호 처리기(ISP)를 이용하여 축소된 이미지를 조정하고 처리 파라미터들을 저장하는 단계, 하나 이상의 사진 편집 연산을 이용하여 조정된 축소 이미지를 처리하고 이에 연관된 파라미터들을 저장하는 단계, 축소된 이미지 및 선택된 이미지에 연관된 서브밴드 정보를 압축하여 저장하는 단계, 축소된 이미지 및 서브밴드 정보를 압축해제 하는 단계, 축소된 이미지에 의해 사용된 하나 이상의 저장된 처리 파라미터를 이용하여 압축해제 된 서브밴드 정보를 조정하는 단계, 그리고 조정된 서브밴드 정보를 외삽되고 조정된 축소 이미지와 결합하여 고해상도 이미지를 복원하는 단계를 포함한다.

본 발명의 일 실시예에서, 저해상도 이미지를 렌더링 하는 방법은 파일 컨테이너에 축소된 이미지를 유지하면서 축소된 이미지의 사본(copy)을 압축해제 하는 단계, 색 변환, 크기 조절, 회전 및 혼합 중의 적어도 하나를 이용하여 축소된 데이터를 조정(conditioning) 하는 단계, 그리고 축소된 이미지를 표시부에 렌더링 하는 단계를 포함한다. 여기서, 저해상도 이미지는 서브밴드 정보 및 해당 처리 파라미터들에 독립적이다.

또한, 실시예들은 선택된 이미지와 연관된 서브밴드 정보를 추출하는 장치를 개시한다. 상기 장치는 선택된 이미지를 축소하는 축소부(downscaler), 타임 스탬프 된 축소 이미지를 생성하고, 특정 시점에 축소된 이미지를 하나 이상의 처리 파라미터를 이용하여 처리하여 축소된 이미지에 연관된 서브밴드 정보를 추출하는 이미지 처리부(image processing unit), 축소된 이미지에 연관된 서브밴드 정보를 압축하고 인코딩 하는 인코딩부(encoding unit), 그리고 압축되고 인코딩 된 서브밴드 정보를 단일 컨테이너 파일 포맷으로 저장하는 저장부(storage unit)를 포함한다.

본 발명의 일 실시예에서, 상기 이미지 처리부는 추가적으로 축소된 이미지에 독립적인 변경을 가하고, 서브밴드 정보의 후 처리를 위해 하나 이상의 파라미터들은 저장하고, 축소된 이미지에 대한 하나 이상의 파라미터들을 변경하여 축소된 이미지를 갱신하고, 갱신된 이미지 및 변경된 하나 이상의 파라미터들을 인코딩 하며, 갱신된 이미지 및 변경된 하나 이상의 파라미터들을 단일 파일로서 저장한다.

상기 이미지 처리부는 추가적으로 -축소된 이미지와 서브밴드 정보를 압축해제 하고, 압축해제 된 축소 이미지를 확대하고, 압축해제 된 서브밴드 정보를 하나 이상의 파라미터를 이용하여 처리하고, 외삽된 축소 이미지와 선택된 이미지에 연관된 처리된 서브밴드 정보를 결합하여(adding) 선택된 이미지의 고해상도 이미지를 복원 함으로써- 압축된 축소 이미지와 서브밴드 정보로부터 고해상도 이미지를 생성하고, 축소된 이미지와 서브밴드 정보에 대한 사진 편집기 효과의 영향력을 분리하고, 축소된 이미지를 조정하여 조정된 축소 이미지를 얻고, 사진 편집 시 사진 편집기 효과에 근거한 하나 이상의 사진 편집 파라미터를 이용하여 조정된 축소 이미지를 처리하여 처리된 축소 이미지를 획득한다.

본 발명의 일 실시예서, 상기 저장부는 추가적으로 하나 이상의 사진 편집 파라미터를 하나 이상의 처리 파라미터와 함께 단일 데이터 파일 포맷으로 첨부함으로써 축소된 이미지의 처리에 관계된 하나 이상의 사진 편집 파라미터를 저장한다.

전술한 내용은 본 발명의 다양한 측면을 개괄적으로 설명한 것으로 후술되는 보다 구체적인 서술을 이해하는데 도움이 될 것이다. 이러한 언급에 있어서, 본 발명은 여기에 서술되거나 예시된 기법이나 응용에 국한되지 않음을 분명하게 이해하여야 할 것이다. 여기에 서술되거나 예시된 사항들로부터 명백 또는 자명하게 유도되는 기타 특징들 및 목적들은 본 발명의 범위에 포함되는 것으로 이해되어야 한다.

본 발명의 다양한 실시예들에 따르면 서브밴드 인코딩 된 이미지들로부터 전체 해상도 이미지를 저장, 처리 및 복원하는 방법 및 장치를 제공할 수 있다.

당해 분야 통상의 지식을 가진 자들은 후속되는 바람직한 실시예의 설명 및 첨부된 도면들로부터 기타 목적, 특징 및 장점들을 알 수 있을 것이다.
도 1은 종래기술에 따라 촬영된 고해상도 이미지를 저해상도 표시부에 고해상도로 표시하는 것을 나타내는 개략도이다.
도 2는 본 발명의 실시예에 따라 서브밴드 인코딩 된 이미지들로부터 전체 해상도 이미지를 저장, 처리 및 복원하는 방법을 예시하는 개략적인 흐름도이다.
도 3a는 본 발명의 실시예에 따라 시간 영역(time domain)을 사용하여 서브밴드 인코딩 된 이미지들로부터 전체 해상도 이미지를 저장, 처리 및 복원하는 방법을 예시하는 개략도이다.
도 3b는 본 발명의 실시예에 따라 주파수 영역(frequency domain)을 사용하여 서브밴드 인코딩 된 이미지들로부터 전체 해상도 이미지를 저장, 처리 및 복원하는 방법을 예시하는 개략도이다.
도 3c는 본 발명의 실시예에 따라 폐루프 시스템(closed loop system)을 사용하여 서브밴드 인코딩 된 이미지들로부터 전체 해상도 이미지를 저장, 처리 및 복원하는 방법을 예시하는 개략도이다.
도 4는 본 발명의 실시예에 따른 카메라 실시간 프리뷰(camera live preview) 동작을 예시하는 개략도이다.
도 5는 본 발명의 실시예에 따라 이미지를 촬영하고 저장하는 방법을 예시하는 개략도이다.
도 6는 본 발명의 실시예에 따른 이미지 촬영 후 고속 프리뷰(fast preview) 동작을 예시하는 개략도이다.
도 7은 본 발명의 실시예에 따른 이미지 촬영 후 이미지 편집 동작을 예시하는 개략도이다.
도 8a는 본 발명의 실시예에 따라 서브밴드 인코딩 된 이미지들로부터 전체 해상도 이미지를 저장, 처리 및 복원하기 위한 사용사례(use case) 적용을 예시하는 개략도이다.
도 8b는 본 발명의 실시예에 따라 서브밴드 인코딩 된 이미지들로부터 전체 해상도 이미지를 저장, 처리 및 복원하기 위한 다른 사용사례 적용을 예시하는 개략도이다.
도 9는 본 발명의 실시예에 따라 촬영된 이미지의 전송을 예시하는 개략도이다.
본 발명의 구체적 특징들이 어떤 도면에서는 나타나고 다른 도면에서는 나타나지 않는다. 그러나, 각 특징은 임의의 또는 모든 다른 특징들과 본 발명에 부합되는 방식으로 결합될 수 있으므로, 이는 순전히 편의를 위한 것이다.

본 발명의 다양한 실시예들은 서브밴드 인코딩 된 이미지들로부터 전체 해상도 이미지를 저장, 처리 및 복원하는 방법 및 장치를 개시한다. 다음의 본 발명의 실시예들에 대한 상세한 설명에서, 설명의 일부를 이루고 또한 본 발명이 실행될 수 있는 구체적인 실시예들이 예시의 형태로 도시된 첨부된 도면들이 참조된다. 이러한 실시예들은 충분히 상세하게 설명되어 당업자가 본 발명을 실시할 수 있도록 하고, 기타 실시예들이 이용될 수 있고 또한 본 발명의 범위를 벗어나지 않는 변화가 생길 수 있음은 이해하여야 한다. 따라서, 다음의 상세한 설명을 제한적인 의미로 받아들여서는 안되며, 본 발명의 범위는 첨부된 청구범위에 의해서만 정의된다.

본 명세서의 여러 곳에서 “하나의”, “한”, “어떤” 실시예(들)가 참조될 수 있다. 이것은 반드시 각 참조가 동일한 실시예(들)에 대한 것이거나 어떤 특징이 하나의 실시예에만 적용된다는 것을 의미하는 것이 아니다. 서로 다른 실시예들의 단일 특징들이 결합되어 또 다른 실시예들을 제공할 수 있다.

명시적으로 달리 표현되지 않은 한, 단수의 형태(예, a/an/the)는 복수의 형태를 포함하는 것으로 본다. 본 명세서에서 사용되는 “포함한다(가진다)”의 표현 (예, includes/comprises/including/comprising)은 언급된 특징, 정수, 단계, 동작, 요소 및/또는 부품 등의 존재를 규정하지만 기타 다른 특징, 정수, 단계, 동작, 요소, 부품 및/또는 이들의 그룹 등의 존재나 부가를 배제하는 것은 아니다. 용어 “및/또는(and/or)”은 나열된 항목들 중에서 하나 이상의 항목들의 임의의 그리고 모든 조합 및 배열을 포함한다.

달리 정의되지 않은 한, 여기서 사용되는 모든 용어들(기술 및 과학 용어 포함)은 본 개시가 속하는 기술분야의 당업자가 공통적으로 이해하는 동일한 의미를 갖는다. 일반적으로 이용되는 사전에 정의된 것과 같은 용어들은 당해 기술분야의 문맥에 합당한 의미를 갖는 것으로 해석되어야 하고, 명시적으로 여기에 정의된 것이 아닌 한 이상적이거나 과도하게 엄격한 뜻으로 해석되어서는 안 된다.

본 발명은 이미지의 서브밴드 인코딩 된 데이터에 근거하여 고해상도 이미지를 렌더링(rendering) 하는 방법 및 장치를 개시한다. 본 발명은 다양한 실시예들에 곁들어 기술된다. 당업자는 본 발명의 구현이 본 발명의 목적을 달성하도록 발명의 범위를 벗어나지 않게 변경될 수 있음을 이해할 수 있을 것이다.

본 발명의 일 실시예에 따르면, 이미지의 서브밴드 인코딩 된 데이터에 근거하여 고해상도 이미지를 렌더링하는 방법이 기술된다. 상기 방법은 선택된 이미지를 축소하는 단계를 포함한다. 본 방법에 따르면, 이미지는 사용자 장치(UE)에 의해 수신될 수 있다. 본 발명의 일 실시예에서, 선택된 이미지는 고해상도의 프리뷰 이미지일 수 있다. 본 발명의 다른 실시예에서, 선택된 이미지는 UE에서 촬영된 이미지, 외부 UE에서부터 수신한 이미지, 임의의 저장 장치에 저장된 이미지 등을 (이에 제한되지 않고) 포함하는 임의의 고해상도 이미지일 수 있다. 본 실시예에서, 선택된 이미지는 UE에서 촬영 전에 검토 중인 이미지일 수 있으나, 당업자는 발명의 범위를 벗어남이 없이 선택된 이미지가 앞서 언급된 이미지들 중 임의의 것일 수 있음을 이해할 수 있을 것이다.

선택된 이미지는 축소되어 축소 이미지가 얻어질 수 있다. 당업자는 발명의 범위를 벗어남이 없이 임의의 축소기(downscaler)가 선택된 이미지를 축소하는데 사용될 수 있음을 이해할 수 있을 것이다.

상기 방법은 타임 스탬프 된 축소 이미지(time-stamped downscaled image)를 생성하는 단계를 더 포함한다. UE의 사용자가 이미지 촬영을 시도함에 따라 서로 다른 시점에 선택된 이미지들이 있을 수 있다. 이때, 축소기는 특정 시점에 UE의 스크린에 맞추어 축소된 이미지들을 생성할 수 있는데, 이 이미지를 타임 스탬프 된 축소 이미지라고 부를 수 있다. 본 발명의 일 실시예에서, 사용자 장치는 단지 하나의 타임 스탬프 된 축소 이미지를 생성할 수 있다. 본 발명의 다른 실시예에서, 사용자 장치는 복수의 타임 스탬프 된 축소 이미지들을 생성할 수 있으며 사용자는 그것들 중에서 가장 좋은 것을 선택할 수 있다. 본 발명의 또 다른 실시예에서, 사용자 장치는 연속 버스트(continuous burst)의 타임 스탬프 된 축소 이미지들을 생성할 수 있다. 당업자는 발명의 범위를 벗어남이 없이 서로 다른 이미지 촬영 기법들이 타임 스탬프 된 축소 이미지를 촬영하고 생성하는데 사용될 수 있음을 이해할 수 있을 것이다.

또한, 상기 방법은 특정 시점에 선택된 이미지와 연관된 서브밴드 정보를 추출하는 단계를 포함한다. 선택된 이미지에 대해서, 연관된 서브밴드 정보가 추출될 수 있는데, 여기서 서브밴드 정보는 타임 스탬프 된 축소 이미지 생성 후에 선택된 이미지의 나머지(residue)이다. 서브밴드 정보는 선택된 이미지로부터 추출된 픽셀 데이터 및 타임 스탬프 된 축소 이미지에 연관된 기타 데이터로 구성된다.

본 발명의 일 실시예에서, 선택된 이미지에 해당하는 서브밴드 정보는 시간영역(time-domain) 기법, 주파수 영역(frequency-domain) 기법, 폐루프(closed loop) 시스템 (이에 제한되지 않고) 등의 적어도 하나를 사용하여 유도될 수 있다. 서브밴드 정보를 유도하는 기법은 추후에 해당 도면을 참조하여 설명될 수 있다.

또한, 상기 방법은 축소된 이미지와 서브밴드 정보를 압축하는 단계를 포함한다. 서브밴드 정보의 추출 후, 축소된 이미지와 서브밴드 정보는 모두 압축될 수 있다. 본 발명의 일 실시예에서, 서브밴드 정보는 미리 계산된 가중치 양자화 값들(weighted quantization values)에 근거하여 압축될 수 있다. 본 발명의 일 실시예에서, 임의의 알려진 이미지 압축 기법이 발명의 범위를 벗어남이 없이 이미지 압축에 사용될 수 있다. 본 발명의 일 실시예에서, 압축된 이미지는 외삽된(extrapolated) 압축된 이미지일 수 있다.

본 발명의 다른 일 실시예에서, 서브밴드 정보와 타임 스탬프 된 축소 이미지는 추후 참조나 사용을 위해 사용자 장치에 저장될 수 있다. 본 발명의 일 실시예에서, 서브밴드 정보와 타임 스탬프 된 축소 이미지는 발명의 범위를 벗어남이 없이 서로 다른 시간 간격으로 프리뷰 시 수신된 순서에 따라 저장될 수 있다. 본 발명의 일 실시예에서, 타임 스탬프 된 축소 이미지 및 연관된 서브밴드 정보가 저장되는 저장 모듈은 사용자 장치의 내부 저장소, 임의 접근 메모리(RAM), 외부 저장 장치(예, 메모리 카드, 펜 드라이브, 하드디스크, 다른 장치의 저장 모듈, 서버, 클라우드 데이터베이스 등을 포함하되 이에 제한되지 않음) 등이 (이에 제한되지 않고) 될 수 있다. 당업자는 타임 스탬프 된 축소 이미지 및 연관된 서브밴드 정보가 발명의 범위를 벗어남이 없이 임의의 알려진 저장 모듈에 저장될 수 있음을 이해할 수 있을 것이다.

또한, 상기 방법은 서브밴드 정보를 압축해제하고 외삽된 축소 이미지와 결합하여 고해상도 이미지를 복원 및 렌더링 하는 단계를 포함한다. 압축된 이미지의 복원 시, 외삽된 축소 이미지 및 서브밴드 정보가 검색되어 압축해제 되고 고해상도 이미지로 복원된다.

본 발명의 다른 실시예에서, 압축된 축소 이미지는 사용자 장치에 표시될 수 있다. 이미지 압축 시, 선택된 이미지의 타임 스탬프 된 축소 이미지는 사용자 장치에 표시될 수 있다. 타임 스탬프 된 축소 이미지는 서브밴드 정보와 함께 압축해제 되고 복원되어 단지 프리뷰 이미지로서 사용자에게 표시될 수 있는데, 여기서 사용자는 촬영하고자 하는 이미지가 어떤 식으로 표시되는지 이해할 수 있다.

본 발명의 일 실시예에서, 축소된 이미지는 필터 크기(filter size), 필터 계수(filter coefficients), 강도 이득(intensity gain), 색 이득(color gain), 기타 선형 또는 비선형 디지털 신호처리 파라미터들을 포함하되 이에 제한되지 않는 하나 이상의 처리 파라미터들을 이용하여 서브밴드 정보에 독립적으로 처리될 수 있다. 본 발명의 다른 일 실시예에서, 축소된 정보를 처리하기 위해 사용되는 하나 이상의 파라미터들은 압축된 축소 이미지와 함께 해당 처리 순서대로 저장될 수 있다. 본 발명의 다른 일 실시예에서, 축소된 이미지는 후속 처리(further processing)를 위해 서브밴드 정보에 독립적으로 압축해제 될 수 있다.

본 발명의 일 실시예에서, 상기 방법은 축소된 이미지와 서브밴드 정보를 압축해제 하는 단계를 더 포함한다. 축소된 이미지는 사용자 장치의 표시부에서 프리뷰 될 수 있다. 그러나, 이미지와 해상도 품질의 일관성을 유지하기 위해, 축소된 이미지는 압축해제 될 수 있다. 축소된 이미지에 해당하는 서브밴드 정보 또한 압축해제 될 수 있다.

또한, 상기 방법은 하나 이상의 처리 파라미터들을 이용하여 압축해제 된 서브밴드 정보를 처리하는 단계를 포함한다. 본 발명의 일 실시예에서, 서브밴드 정보의 압축해제에 연관된 하나 이상의 처리 파라미터들은 필터 크기, 필터 계수, 강도 이득, 색 이득, 기타 선형 또는 비선형 디지털 신호처리 파라미터들 (이에 제한되지 않음) 중에서 적어도 하나일 수 있다. 본 발명의 일 실시예에서, 서브밴드 정보를 처리하기 위해 사용되는 하나 이상의 파라미터들은 해당 처리 순서에 맞추어 저장될 수 있다.

또한, 상기 방법은 외삽된 축소 이미지와 선택된 이미지에 연관된 처리된 서브밴드 정보를 합쳐서 선택된 이미지에 대한 고해상도 이미지를 복원하는 단계를 포함한다. 축소된 이미지 및 상응하는 서브밴드 정보는 가산부(adder)에 투입될 수 있는데, 가산부는 각 픽셀에 관련된 이미지 정보를 파악하고 축소된 이미지와 서브밴드 정보를 결합하여 고해상도 이미지를 복원한다. 본 발명의 일 실시예에서, 상기 하나 이상의 파라미터들이 고해상도 이미지의 복원 전에 저장된 순서대로 서브밴드 정보에 적용될 수 있다.

본 발명의 다른 일 실시예에서, 상기 방법은 선택된 이미지에 연관된 서브밴드 정보를 인코딩 하는 단계를 더 포함한다. 본 발명에 따르면, 임의의 알려진 인코딩 기법이 발명의 범위를 벗어남이 없이 축소된 이미지에 해당하는 서브밴드 정보를 인코딩 하는데 사용될 수 있다.

또한, 축소된 이미지 및 상응하는 인코딩 된 서브밴드 정보는 단일 압축 데이터 컨테이너 포맷으로 저장될 수 있다. 본 발명의 일 실시예에서, 서브밴드 이미지는 압축 및 인코딩 되어 이미지 파일 포맷의 헤더의 일부로서 저장될 수 있다. 본 발명의 일 실시예에서, 이미지 파일 포맷은 JPEG, GIF, PNG, TIF 등을 포함하되 이에 제한되지 않는 기존의 이미지 포맷들 중의 하나일 수 있다.

본 발명의 다른 일 실시예에서, 축소된 이미지 및 상응하는 압축된 인코딩 된 서브밴드 정보는 같은 파일 포맷을 가진 별개의 압축 컨테이너에 저장될 수 있다. 축소된 이미지 및 상응하는 압축된 인코딩 된 서브밴드 정보는 위치 정보를 더 포함할 수 있어서, 축소된 이미지가 복원을 위해 검색될 때, 상응하는 압축된 인코딩 된 서브밴드 정보가 쉽게 찾아질 수 있다. 본 발명의 다른 일 실시예에서, 축소된 이미지 및 상응하는 압축된 인코딩 된 서브밴드 정보는 서로 다른 파일 포맷을 가진 별개의 압축 컨테이너에 저장될 수 있다. 당업자는 다양한 데이터 저장 방식들이 발명의 범위를 벗어남이 없이 축소된 이미지 및 상응하는 압축된 인코딩 된 서브밴드 정보를 저장하는데 사용될 수 있음을 이해할 것이다.

본 발명의 다른 일 실시예에서, 상기 방법은 축소된 이미지에 독립적인 변형을 가하는 단계를 더 포함한다. 선택된 이미지의 축소된 이미지는 저장 모듈에서 검색될 수 있는데, 서브밴드 정보에 대한 접근 없이 축소된 이미지는 만이 검색될 수 있다. 검색된 축소된 이미지는 서브밴드 정보의 변경 없이 독립적으로 변경될 수 있다.

또한, 상기 방법은 서브밴드 이미지의 후 처리(post processing)를 위해 하나 이상의 처리 파라미터들을 저장하는 단계를 포함한다. 축소된 이미지 및 해당 서브밴드 정보와 각기 연관된 처리 파라미터들은 그대로 유지될 수 있어서, 하나 이상의 처리 파라미터들은 서브밴드 이미지의 후 처리시 고해상도 이미지를 복원하는데 사용될 수 있다.

이하에서 설명할 본 발명의 다양한 실시예들은 전자 장치(미도시)에서 수행될 수 있으며, 전자 장치는 무선 이동 통신 장치, 개인 정보 단말기(PDA), 랩톱 컴퓨터, 데스크톱 컴퓨터, 디지털 카메라, 디지털 녹음 장치 등 광범위한 사용자 장치 또는 서버 장치를 포함할 수 있다.

본 발명의 다양한 실시예들에서, 입력 이미지 x는 사용자 장치 상에 마련된 카메라 센서로부터 획득된 이미지이거나, 사용자 장치와 유선 또는 무선으로 연결된 외부 장치에 의해 획득되어 실시간으로 전송되는 이미지 일 수 있다. 다른 실시예로써, 본 발명의 다양한 실시예들은 복수의 전자 장치와 다양한 방식으로 연결될 수 있는 서버 장치(미도시)에 의해 수행될 수 있다. 즉, 서버 장치는 복수의 전자 장치에서 획득한 고해상도 이미지를 네트워크를 통해 수신하고 도시된 방법에 의해 이미지를 축소, 압축, 저장, 압축해제 및 부가할 수 있다.

도 2는 본 발명의 실시예에 따라 이미지의 서브밴드 인코딩 된 데이터에 기반하여 고해상도 이미지를 렌더링 하는 방법을 예시하는 개략적인 흐름도(200) 이다. 도 2를 참조하면, 상기 방법은 선택된 이미지를 축소하는 단계를 202 단계로서 포함한다. 선택된 이미지는 사용자 장치의 디스플레이에 표시되는 프리뷰 이미지일 수 있는데, 프리뷰 이미지는 실제로는 고해상도를 갖는 이미지이다. 선택된 이미지는 사용자 장치의 표시부의 표시 능력에 맞추어 축소될 수 있다.

상기 방법은 타임 스탬프 된 축소 이미지를 생성하는 단계를 204 단계로서 포함한다. 프리뷰 이미지의 지속시간(time duration)에 근거하여 타임 스탬프 된 축소 이미지가 생성될 수 있다. 여기서, 프리뷰 이미지의 지속시간은 특정 시점(예컨대, 프리뷰가 개시된 시점)으로부터 경과된 시간을 의미할 수 있다.

상기 방법은 선택된 이미지에 연관된 서브밴드 정보를 추출하는 단계를 206 단계로서 포함한다. 여기서, 서브밴드 정보는, 선택된 이미지의 축소 후 타임 스탬프 된 축소 이미지 획득 후에, 선택된 이미지에 해당하는 나머지 데이터 일 수 있다. 상기 방법은 축소된 이미지 및 서브밴드 정보를 압축하는 단계를 208 단계로서 포함한다. 축소된 이미지 및 대응하는 서브밴드 정보 모두 압축될 수 있다. 압축된 축소 이미지 및 대응하는 서브밴드 정보는 추후의 이용을 위해 저장될 수 있다. 또한, 상기 방법은 압축된 축소 이미지를 사용자 장치에 표시하는 단계를 210 단계로서 포함한다. 압축된 이미지는 사용자 장치에 프리뷰 이미지로서 표시될 수 있는데, 사용자는 그것을 유지하거나 촬영 및 저장을 위해 다른 이미지로 이동할 수 있다.

도 3a는 본 발명의 실시예에 따라 시간 영역을 사용하여 서브밴드 인코딩 된 이미지들로부터 전체 해상도 이미지를 저장, 처리 및 복원하는 방법을 예시하는 개략도(300) 이다. 도 3a를 참조하면, 프리뷰 시에 얻어진 고해상도 이미지는 이미지의 시간적 요소에 근거한 저장 중에 고해상도 이미지를 얻기 위해 축소, 압축, 저장, 압축해제 및 부가될 수 있다.

도 3a에서, 입력 이미지 x가 프리뷰 시에 수신될 수 있다. 입력 이미지 x는 블러링(blurring) 모듈(302)로 전달될 수 있는데, 여기서 이미지에 존재하는 노이즈(noise)가 제거되어 필터링된 이미지 x’이 얻어질 수 있다. 필터링된 이미지 x’를 얻기 위해, 블러링 모듈(302)에서는 발명의 범위를 벗어남이 없이 기존의 노이즈 제거 기법을 사용하여 이미지에 존재하는 노이즈를 제거할 수 있다. 감산부(subtractor, 304)는 입력 이미지 x 및 필터링된 이미지 x’에 기초하여 서브밴드 정보 δ를 획득할 수 있다. 예를 들어, 감산부(304)는 입력 이미지 x에서 필터링 된 이미지 x’을 차감한 값을 서브밴드 정보 δ로 획득할 수 있다.

필터링된 이미지 x’는 축소부(downscaler, 306)에 전달되어 축소된 이미지 x’이 얻어질 수 있는데, 여기서 이미지는 사용자 장치의 표시 해상도에 맞도록 축소될 수 있다. 또한, 축소된 이미지 x’는 이미지 신호 처리기(ISP, 308)에 전달될 수 있는데, ISP(308)는 축소된 이미지를 처리하여 처리된 이미지 y를 산출할 수 있다. ISP(308)는 축소된 이미지 x’를 처리하는 동안 하나 이상의 파라미터 P를 획득할 수 있다. 이미지 처리 중에 얻어지는 파라미터들 P는 앞서 기술된 바와 같이, 필터 크기(filter size), 필터 계수(filter coefficients), 강도 이득(intensity gain), 색 이득(color gain), 기타 선형 또는 비선형 디지털 신호처리 파라미터 중 적어도 하나를 포함할 수 있다.

처리된 이미지 y는 사용자 장치의 표시부(310)에 표시될 수 있다. 처리된 이미지 y는 확대부(upscaler, 312)에서 확대되어 확대된 이미지 Y가 얻어질 수 있다. 서브밴드 정보 δ는 인코딩 부(encoder, 314)에서 인코딩 될 수 있고, 인코딩 된 서브밴드 정보는 압축해제 부(decompressor, 316)에서 압축해제 될 수 있다. 여기서, 서브밴드 정보 δ의 인코딩 및 압축해제 시 파라미터들 P가 고려될 수 있다. 압축해제 된 이미지는 ISP 조정부(ISP conditioning module)에서 조정되어(conditioned) 조정된 서브밴드 정보 δ’가 얻어질 수 있다. 서브밴드 정보 δ의 ISP 조정은 ISP(308)에 의한 사전조정(preconditioning)과 동등할 수 있다. 조정된 서브밴드 정보 δ’와 확대된 이미지 Y는 서로 합해져서(added) 저장 모듈(318)에 저장될 수 있다.

전술된 과정은 타임 스탬프 된 축소 이미지를 입력 받아 타임 스탬프 된 축소 이미지에 처리를 행한다. 시간영역 기반 서브밴드 정보 처리 기법은 축소된 이미지에서 겹침 현상(aliasing effects)을 줄이는데 도움을 주고 또한 축소된 이미지의 품질을 높이는데 도움을 준다.

도 3b는 본 발명의 실시예에 따라 주파수 영역(frequency domain)을 사용하여 서브밴드 인코딩 된 이미지들로부터 전체 해상도 이미지를 저장, 처리 및 복원하는 방법을 예시하는 개략도(320) 이다. 도 3b를 참조하면, 프리뷰 시에 얻어진 고해상도 이미지는 이미지의 저장 중에 고해상도 이미지를 얻기 위해 축소, 압축, 저장, 압축해제 및 부가될 수 있다.

도 3b에서, 입력 이미지 x가 프리뷰 시에 수신될 수 있다. 입력 이미지 x는 주파수 변환부(frequency transformer, 322)에 전달될 수 있는데, 여기서 주파수 변환부(322)는 이미지 데이터를 이미지 x의 주파수 데이터로 변환한다. 이미지 x의 주파수 데이터는 고주파 변조부(high frequency modulator, 324)로 전달될 수 있다. 고주파 변조부(324)는 이미지 x의 주파수를 고주파 데이터 δ로 변조할 수 있다.

이미지 x의 주파수 데이터는 또한 저주파 변조부(low frequency modulator, 326)로 전달될 수 있다. 저주파 변조부(326)는 이미지 x의 주파수를 저주파 데이터 x’로 변조할 수 있다. 또한, 저주파 이미지 데이터 x’은 ISP(328)로 전달될 수 있는데, 여기서 ISP(328)는 이미지 x’의 저주파 데이터를 처리하여 처리된 이미지 y를 산출할 수 있다. ISP(328)는 또한 저주파 이미지 데이터 x’를 처리하는 동안 하나 이상의 파라미터 P를 획득할 수 있다. 이미지 처리 중에 얻어지는 파라미터들 P는 앞서 기술되었기 때문에 중복을 피하여 여기서는 다시 설명되지 않는다.

또한, 처리된 이미지 y는 사용자 장치의 표시부(330)에 표시될 수 있다. 고주파 이미지 데이터 δ는 인코딩 부(332)에서 인코딩 될 수 있고, 인코딩 된 고주파 이미지 데이터 δ는 압축해제 부(334)에서 압축해제 될 수 있다. 여기서, 고주파 이미지 데이터 δ의 인코딩 및 압축해제 시 파라미터들 P가 고려될 수 있다. 압축해제 된 고주파 이미지 데이터는 ISP 조정부에서 조정되어(conditioned) 조정된 고주파 이미지 데이터 δ’가 얻어질 수 있다. 고주파 이미지 데이터 δ의 ISP 조정은 ISP(328)에 의한 사전조정(preconditioning)과 동등하다. 처리된 이미지 y는 역 주파수 변환부(inverse frequency transformer, 336)에서 고주파 이미지 데이터 δ’와 합해지고 변환되어 고해상도 이미지가 얻어질 수 있고, 고해상도 이미지는 저장 모듈에 저장될 수 있다.

도 3c는 본 발명의 실시예에 따라 폐루프 시스템을 사용하여 서브밴드 인코딩 된 이미지들로부터 전체 해상도 이미지를 저장, 처리 및 복원하는 방법을 예시하는 개략도(350)이다. 도 3c를 참조하면, 프리뷰 시에 얻어진 고해상도 이미지는 폐루프 시스템에 근거하여 저장 중에 고해상도 이미지를 얻기 위해 축소, 압축, 저장, 압축해제 및 부가될 수 있다.

도 3c에서, 입력 이미지 x가 프리뷰 시에 수신될 수 있다. 입력 이미지 x는 축소부(352)로 전달되어 축소된 이미지 x’이 얻어질 수 있다. 여기서, 이미지는 사용자 장치의 표시 해상도에 맞도록 축소될 수 있다. 축소된 이미지 x’는 확대부(354)에 의해 확대되어 확대된 이미지 X’가 얻어질 수 있다. 감산부(356)는 입력 이미지 x 및 확대된 이미지 X’에 기초하여 서브밴드 정보 δ를 획득할 수 있다. 예를 들어, 감산부(304)는 입력 이미지 x에서 필터링 된 이미지 X’을 차감한 값을 서브밴드 정보 δ로 획득할 수 있다.

축소된 이미지 x’는 ISP(358)에 전달될 수 있는데, ISP(358)는 축소된 이미지 x’를 처리하여 처리된 이미지 y를 산출할 수 있다. ISP(358)는 축소된 이미지 x’를 처리하는 동안 하나 이상의 파라미터 P를 획득할 수 있다. 이미지 처리 중에 얻어지는 파라미터들 P는 앞서 기술되었기 때문에 중복을 피하여 여기서는 다시 설명되지 않는다.

처리된 이미지 y는 확대부(360)에서 확대되어 확대된 이미지 Y가 얻어질 수 있다. 서브밴드 정보δ는 인코딩 부(362)에서 인코딩 될 수 있고, 인코딩 된 서브밴드 정보는 압축해제 부(364)에서 압축해제 될 수 있다. 여기서, 서브밴드 정보 δ의 인코딩 및 압축해제 시 파라미터들 P가 고려될 수 있다. 압축해제 된 이미지는 ISP 조정 부(366)에서 조정되어(conditioned) 조정된 서브밴드 정보 δ’가 얻어질 수 있다. 서브밴드 정보 δ의 ISP 조정은 ISP(358)에 의한 사전조정과 동등하다. 조정된 서브밴드 정보 δ’와 확대된 이미지 Y는 서로 합해져서(added) 저장 모듈(368)에 저장될 수 있다.

폐루프 시스템에 대한 전술된 과정은 고해상도 이미지의 복원 중에 정확한 확대 과정을 되풀이하기(replicate) 때문에 적절한 기법들 중의 하나이다. 또한, 손실이 폐루프 시스템 내에서 제어되고, 그러므로 적절한 절충(trade-off)을 위한 더 나은 튜닝 능력이 시스템에서 제공될 수 있다.

도 4는 본 발명의 실시예에 따른 카메라 실시간 프리뷰(camera live preview) 동작을 예시하는 개략도(400) 이다. 도 4에서, 프리뷰 시에 입력 이미지 X가 수신될 수 있다. 입력 이미지 X는 축소부(402)로 전달되어 축소된 이미지 x’이 얻어질 수 있다. 여기서, 이미지는 사용자 장치의 표시 해상도에 맞도록 축소될 수 있다. 축소된 이미지 x’는 확대부(404)에 의해 확대되어 확대된 이미지 X’가 얻어질 수 있다. 감산부(406)는 입력 이미지 X 및 확대된 이미지 X’에 기초하여 서브밴드 정보 δ를 획득할 수 있다. 예를 들어, 감산부(406)는 입력 이미지 X에서 확대된 이미지 X’을 차감한 값을 서브밴드 정보 δ로 획득할 수 있다.

축소된 이미지 x’는 ISP(408)에 전달될 수 있는데, ISP(408)는 축소된 이미지 x’를 처리하여 처리된 이미지 y를 산출할 수 있다. ISP(408)는 또한 축소된 이미지 x’를 처리하는 동안 하나 이상의 파라미터 P를 획득할 수 있다. 이미지 처리 중에 얻어지는 파라미터들 P는 앞서 기술되었기 때문에 중복을 피하여 여기서는 다시 설명되지 않는다.

또한, 처리된 이미지 y는 사용자 장치의 표시부(410)에 표시될 수 있다. 서브밴드 정보 δ는 인코딩 부(412)에서 인코딩 되어 인코딩 된 서브밴드 정보가 산출될 수 있는데, 여기서 서브밴드 정보 δ의 인코딩 시 파라미터들 P가 고려될 수 있다. 인코딩 된 서브밴드 정보 및 처리된 이미지 y는 저장 모듈(414)에 저장될 수 있다. 여기서, 저장 모듈(414)은 제로 셔터 랙(zero shutter lag, ZSL) 저장소일 수 있다. 당업자는 ZSL 저장소를 이해하고 있을 것이므로 이에 대한 구체적인 설명은 생략된다.

본 발명에 따르면, 서로 다른 타임 스탬프를 가진 복수의 고해상도 프리뷰 이미지들이 촬영되고 선택될 수 있다. 선택된 이미지들에 대해 해당 이미지가 선택된 시간적 정보를 나타내는 타임 스탬프 정보가 첨부될 수 있다. 복수의 타임 스탬프 된 이미지들은 축소되고 선택된 이미지와 차감되어, 복수의 타임 스탬프 된 축소 이미지들이 서브밴드 정보와 함께 얻어질 수 있다. 복수의 타임 스탬프 된 축소 이미지들은 ISP에 의해 처리되어 상응하는 파라미터들이 얻어질 수 있다. 이제, 복수의 타임 스탬프 된 축소 이미지들은 해당하는 서브밴드 정보 및 파라미터들과 함께 ZSL 버퍼 메모리에 저장될 수 있다. ZSL 버퍼는 임시적인 메모리 일 수 있으며 원치 않은 이미지들을, 거부될 경우, 제거할 수 있다. 사용자가 특정 타임 스탬프에 하나의 축소된 이미지를 선택하면, 해당 타임 스탬프 된 축소 이미지만이 상응하는 서브밴드 정보 및 파라미터들과 함께 저장소에 단일 파일 포맷으로 저장될 수 있다.

도 5는 본 발명의 실시예에 따라 이미지를 촬영하고 저장하는 방법을 예시하는 개략도(500) 이다. 도 5는 서로 다른 타임 스탬프를 가진 복수의 축소된 이미지들을 해당하는 인코딩 된 서브밴드 정보 및 파라미터들과 함께 ZSL 버퍼(502)에 획득/촬영하고, 선택된 축소 이미지를 인코딩 된 서브밴드 정보 및 파라미터들과 함께 저장하는 것을 도시하고 있다. 전술한 바와 같이, ZSL 버퍼(502)는 복수의 축소된 이미지들을 저장하며, 각각의 축소된 이미지들은 서로 다른 타임 스탬프를 가질 수 있다. 또한, ZSL 버퍼(502)는 각각의 축소된 이미지에 대응하는 서브밴드 정보 및 파라미터들을 함께 저장할 수 있다. 시점 tk에 사용자가 해당 서브밴드 정보 및 파라미터들을 가진 축소된 이미지를 선택할 경우, 시점 tk에 선택된 서브밴드 정보 및 파라미터들을 가진 축소된 이미지만이 저장 모듈(504)에 단일 파일 포맷으로 저장될 수 있다. 현 실시예에서, 파일 포맷은 JPEG 이미지로 언급되었다. 본 발명의 다른 일 실시예에서는, 발명의 범위를 벗어남이 없이 기존의 어떠한 파일 포맷이라도 가능하다.

본 발명의 일 실시예에서, 고속 프리뷰(fast preview) 시 축소된 이미지는 인코딩 된 서브밴드 정보 및 파라미터들과 함께 디코딩 되어 사용자 장치의 표시부에 표시될 수 있다. 고속 프리뷰 시, 저장 모듈에서 획득된 축소된 이미지는 디코더에서 서브밴드 정보 및 파라미터들과 합쳐지는 방식으로 디코딩 되어 고속 프리뷰 이미지(fast preview image)가 얻어진다. 고속 프리뷰 이미지는 사용자 장치의 표시부에 표시될 수 있다.

도 6은 본 발명의 실시예에 따른 이미지 촬영 후 고속 프리뷰 동작을 예시하는 개략도(600) 이다. 개략도(600)에 따르면, 축소된 이미지는 해당 서브밴드 정보 및 파라미터들과 함께 단일 JPEG 이미지 파일 포맷 콘텐츠로서 저장 모듈(602)로부터 획득될 수 있다. 축소된 이미지, 해당 서브밴드 정보 및 파라미터들은 JPEG 디코더(604)에 의해 디코딩 되어 디코딩 된 이미지가 얻어질 수 있다. 디코딩 된 이미지는 사용자 장치의 표시부(606)에 고속 프리뷰 이미지로서 표시될 수 있다.

본 발명의 다른 일 실시예에 따르면, 프리뷰 시 사용자는 저장된 축소된 이미지를 불러와 편집할 수 있다. 편집 전에, 축소된 이미지는 해당 서브밴드 정보 및 파라미터들과 함께 저장 모듈로부터 불려와 디코더에 의해 디코딩 될 수 있다. 편집 시, 사용자는 이미지의 파라미터들을 추가/변경 함으로써 이미지에 변경을 가할 수 있다. 편집 시 변경된 파라미터들 또한 고려되고 변경된 파라미터들이 저장소에 저장될 수 있다. 편집 완료 시, 편집된 이미지는 인코더에 의해 인코딩 되고 인코딩 된 이미지는 저장 모듈에 저장될 수 있다. 본 발명의 일 실시예에서, 편집된 이미지는 갱신되고 동일한 파일에 저장될 수 있다. 본 발명의 다른 일 실시예에서, 편집된 이미지는 발명의 범위를 벗어남이 없이 서브밴드 정보 및 파라미터들과 함께 새로운 파일 포맷 콘텐츠로서 저장될 수 있다.

도 7은 본 발명의 실시예에 따른 이미지 촬영 후 이미지 편집 동작을 예시하는 개략도(700) 이다. 도 7을 참조하면, 축소된 이미지는 해당 서브밴드 정보 및 파라미터들과 함께 단일 JPEG 이미지 파일 포맷 콘텐츠로서 저장 모듈(602)로부터 획득될 수 있다. 축소된 이미지, 해당 서브밴드 정보 및 파라미터들은 JPEG 디코더(704)에 의해 디코딩 되어 디코딩 된 이미지가 얻어질 수 있다. 디코딩 된 축소 이미지는 사진 편집부(706)에 보내지고, 여기서 축소된 이미지의 파라미터들(708)들이 추가/변경되어 편집된 이미지가 얻어질 수 있다. 갱신된 파라미터들(708)은 저장 모듈(702)에 있는 단일 JPEG 이미지 파일 포맷 콘텐츠에 저장될 수 있다. 편집된 이미지는 JPEG 인코더(710)에 의해 인코딩 되는데, JPEG 인코더는 편집된 이미지를 인코딩 하여 인코딩 된 축소 이미지를 산출한다. 인코딩 된 축소 이미지는 서브밴드 정보 및 편집된 파라미터들과 함께 저장 모듈(702)에 있는 단일 JPEG 이미지 파일 포맷(또는 다른 파일 포맷) 콘텐츠에 저장될 수 있다.

도 8a는 본 발명의 실시예에 따라 서브밴드 인코딩 된 이미지들로부터 전체 해상도 이미지를 저장, 처리 및 복원하기 위한 사용사례 적용(use case application)을 예시하는 개략도(800) 이다. 도 8a를 참조하면, 인코딩 된 서브밴드 정보는 파라미터들과 함께 저장 모듈에 있는 단일 JPEG 이미지 파일로부터 불려오고, 불려온 인코딩 된 서브밴드 정보와 파라미터들은 디코더에 의해 디코딩 되어 디코딩 된 서브밴드 정보가 얻어질 수 있다. 디코딩 된 서브밴드 정보는 다시 파라미터들과 함께 ISP 조정(ISP conditioning)에 의해 처리되어 처리된 이미지 δ’가 얻어질 수 있다.

또한, JPEG 파일(또는 다른 형식의 파일)에 있는 JPEG 압축된 축소 이미지가 불려와 JPEG 디코더에 의해 디코딩 되어 디코딩 된 축소 이미지가 얻어질 수 있다. 디코딩 된 축소 이미지는 확대부에 의해 확대되어 확대된 이미지가 얻어질 수 있다. 확대된 이미지와 처리된 이미지 δ’는 서로 합쳐져서 고해상도 이미지를 산출할 수 있고, 고해상도 이미지는 사용자 장치의 표시부에 출력될 수 있다.

도 8b는 본 발명의 실시예에 따라 서브밴드 인코딩 된 이미지들로부터 전체 해상도 이미지를 저장, 처리 및 복원하기 위한 다른 사용사례 적용을 예시하는 개략도(850) 이다. 도 8b를 참조하면, JPEG 파일에 있는 JPEG 압축된 축소 이미지만이 불려와 JPEG 디코더에 의해 디코딩 되어 디코딩 된 축소 이미지가 얻어질 수 있다. 디코딩 된 축소 이미지는 사용자 장치의 표시부에 출력될 수 있다.

도 9는 본 발명의 실시예에 따라 촬영된 이미지의 전송을 예시하는 개략도(900) 이다. 도 9를 참조하면, 사용자 장치의 저장 모듈에 저장된 JPEG 파일은 JPEG 압축된 축소 이미지를 해당되는 서브밴드 정보 및 파라미터들과 함께 포함 할 수 있다는 것을 알 수 있다. 저장된 JPEG 파일로부터, 사용자는 저해상도 이미지와 고해상도 이미지를 모두 볼 수 있다. 사용자가 압축된 축소 이미지만을 접근하면, 압축된 축소 이미지는 디코딩 되어 저해상도 표시를 위해 표시될 수 있다. 사용자가 고해상도 이미지 표시에 접근하고자 한다면, 압축된 축소 이미지가 인코딩 된 서브밴드 정보 및 파라미터들과 함께 불려와 처리되어 고해상도 이미지가 얻어질 수 있다.

지금까지 본 발명은 구체적인 실시예들을 참조하여 설명되었는데, 이러한 실시예들에 발명의 범위를 벗어남이 없이 다양한 변경 및 변화가 적용될 수 있음이 명백할 것이다. 또한, 여기서 서술된 다양한 장치나 모듈 등은 CMOS 기반 논리회로와 같은 하드웨어 회로, 펌웨어, 소프트웨어, 기계적 판독가능 한 매체에 구현된 소프트웨어 또는 이들의 조합 등을 이용하여 구현되고 작동될 수 있다. 예를 들면, 다양한 전기적 구조 및 기법들은 트랜지스터, 논리 게이트, 주문형 반도체와 같은 전기 회로 등을 사용하여 구현될 수 있다.

지금까지 구체적인 실시예들이 설명되었는데, 발명을 변형하여 실시할 수 있음을 당업자는 분명하게 이해할 것이다. 그렇지만, 이러한 모든 변경은 청구범위의 범위에 속하는 것으로 간주된다. 다음의 청구범위는 여기에 기술된 실시예들의 모든 포괄적 및 구체적인 특징들을 커버하는 것을 의도 하고 또한 언어상으로 표현된 실시예들의 범위에 대한 서술들은 위의 특징들에 속하는 것으로 이해하여야 할 것이다.

Claims

선택된 이미지를 축소하여 축소된 이미지를 생성하는 단계; 및
상기 축소된 이미지를 하나 이상의 처리 파라미터를 이용하여 처리하여 상기 축소된 이미지와 연관된 서브밴드 정보를 추출하는 단계
를 포함하는 선택된 이미지와 연관된 서브밴드 정보를 추출하는 방법.
제 1항에 있어서,
상기 축소된 이미지와 연관된 상기 서브밴드 정보를 압축하고 인코딩 하는 단계; 및
상기 압축되고 인코딩 된 서브밴드 정보를 단일 컨테이너 파일 포맷으로 저장하는 단계
를 더 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 처리 파라미터는 필터 크기, 필터 계수, 강도 이득, 색 이득, 선형 또는 비선형 디지털 신호처리 파라미터들 중의 적어도 하나인 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 축소된 이미지를 처리하는데 사용되는 하나 이상의 파라미터들은 압축된 축소 이미지와 함께 처리되는 순서대로 저장되는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 서브밴드 정보는 미리 계산된 가중치 양자화 값들(weighted quantization values)에 근거하여 압축되는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 축소된 이미지는 후속 처리를 위해 상기 서브밴드 정보에 독립적으로 압축해제 되는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 축소된 이미지에 독립적인 변경을 가하는 단계; 및
상기 서브밴드 정보의 후 처리를 위해 상기 하나 이상의 파라미터들을 저장하는 단계
를 더 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 축소된 이미지에 대한 하나 이상의 파라미터들을 변경하여 상기 축소된 이미지를 갱신하는 단계;
상기 갱신된 이미지 및 상기 변경된 하나 이상의 파라미터들을 인코딩 하는 단계; 및
상기 갱신된 이미지 및 상기 변경된 하나 이상의 파라미터들을 단일 파일로서 저장하는 단계
를 더 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,
상기 압축된 축소 이미지와 서브밴드 정보로부터 고해상도 이미지를 생성하는 단계를 더 포함하되,
상기 고해상도 이미지를 생성하는 단계는
상기 축소된 이미지와 서브밴드 정보를 압축해제 하는 단계;
상기 압축해제 된 축소 이미지를 확대하는 단계;
상기 압축해제 된 서브밴드 정보를 상기 하나 이상의 파라미터를 이용하여 처리하는 단계; 및
외삽된 축소 이미지와 상기 선택된 이미지에 연관된 상기 처리된 서브밴드 정보를 결합하여(adding) 상기 선택된 이미지의 고해상도 이미지를 복원하는 단계를 포함하는 것을 특징으로 하는 방법.
제 9항에 있어서,
상기 축소된 이미지와 서브밴드 정보에 대한 사진 편집기 효과(photo editor effects)의 영향력을 분리하는 단계;
상기 축소된 이미지를 이미지 신호 처리기(ISP)를 이용하여 조정(conditioning)하여 조정된 축소 이미지를 얻는 단계;
사진 편집 시 상기 사진 편집기 효과에 근거한 하나 이상의 사진 편집 파라미터를 이용하여 상기 조정된 축소 이미지를 처리하여 처리된 축소 이미지를 얻는 단계; 및
상기 하나 이상의 사진 편집 파라미터를 상기 하나 이상의 처리 파라미터와 함께 단일 데이터 파일 포맷으로 첨부함으로써 상기 축소된 이미지의 처리에 관계된 상기 하나 이상의 사진 편집 파라미터를 저장하는 단계
를 더 포함하는 것을 특징으로 하는 방법.
제 9항에 있어서,
상기 하나 이상의 처리 파라미터들은 상기 고해상도 이미지의 복원 전에 저장되었던 순서와 동일한 순서로 상기 서브밴드 정보에 적용되는 것을 특징으로 하는 방법.
제 9항에 있어서,
상기 서브밴드 정보와 독립적으로 압축된 축소 이미지를 조정하는 단계를 더 포함하되,
상기 압축된 축소 이미지를 조정하는 단계는
기존의 파일 컨테이너로부터 얻은 축소된 데이터를 압축해제 하는 단계;
하나 이상의 사진 편집기 연산(photo-editor operation)을 이용하여 상기 축소된 데이터를 조정(conditioning) 하는 단계;
상기 처리된 축소된 데이터를 압축하는 단계;
상기 파일 컨테이너에 저장된 상기 압축되고 축소된 데이터를 상기 새롭게 조정 및 압축되고 축소된 데이터로 교체하는 단계; 및
적합한 사진 편집 파라미터들을 상기 파일 컨테이너에 첨부하는 단계를 포함하는 것을 특징으로 하는 방법.
고해상도 이미지를 렌더링(rendering) 하는 방법에 있어서,
선택된 이미지에 블러링 필터를 적용하여 필터링된 이미지를 얻는 단계;
상기 선택된 이미지와 상기 필터링된 이미지 사이의 차이를 취하여 상기 선택된 이미지에 연관된 서브밴드 정보를 추출하는 단계;
상기 필터링된 이미지를 축소하는 단계;
이미지 신호 처리기(ISP)를 이용하여 상기 축소된 이미지를 처리하고, 이에 연관된 파라미터들을 저장하는 단계;
하나 이상의 사진 편집 연산을 이용하여 상기 처리된 축소 이미지를 조정(conditioning) 하고, 이에 연관된 파라미터들을 저장하는 단계;
상기 조정된 축소 이미지 및 상기 선택된 이미지에 연관된 상기 서브밴드 정보를 압축하여 저장하는 단계;
상기 축소된 이미지 및 상기 서브밴드 정보를 압축해제 하는 단계;
상기 축소된 이미지에 의해 사용된 상기 하나 이상의 저장된 처리 파라미터를 이용하여 상기 압축해제 된 서브밴드 정보를 조정하는 단계; 및
상기 조정된 서브밴드 정보를 외삽되고 조정된 축소 이미지와 결합하여 고해상도 이미지를 복원하는 단계
를 포함하는 시간 영역(time domain) 시스템에 기반하여 고해상도 이미지를 렌더링 하는 방법.
고해상도 이미지를 렌더링 하는 방법에 있어서,
선택된 이미지에 주파수 변환(frequency transformation)을 적용하는 단계;
저역 통과 필터(low pass filter)를 적용하여 상기 선택된 이미지의 저주파 데이터를 획득하는 단계;
고역 통과 필터(high pass filter)를 적용하여 상기 선택된 이미지의 고주파 데이터를 획득하는 단계;
하나 이상의 처리 파라미터를 이용하여 상기 선택된 이미지의 상기 저주파 데이터를 처리하는 단계;
사진 편집 연산을 이용하여 상기 상기 저주파 데이터를 조정(conditioning) 하고, 이에 연관된 파라미터들을 저장하는 단계;
상기 선택된 이미지에 연관된 상기 저주파 데이터 및 고주파 데이터를 압축하여 저장하는 단계;
상기 저주파 데이터 및 고주파 데이터를 압축해제 하는 단계;
상기 하나 이상의 저장된 처리 파라미터를 이용하여 상기 압축해제 된 고주파 데이터를 조정하는 단계;
상기 조정된 저주파 데이터와 상기 조정된 고주파 데이터를 결합하여 조정된 전체 주파수 스펙트럼(full frequency spectrum) 데이터를 얻는 단계; 및
역 주파수 변환(inverse frequency transformation)을 적용하여 고해상도 이미지를 복원하는 단계
를 포함하는 주파수 영역(frequency domain) 시스템에 기반하여 고해상도 이미지를 렌더링 하는 방법.
고해상도 이미지를 렌더링 하는 방법에 있어서,
선택된 이미지를 축소하여 축소된 이미지를 생성하는 단계;
상기 축소된 이미지를 확대하는 단계;
상기 선택된 이미지와 상기 확대된 이미지 사이의 차이를 취하여 상기 선택된 이미지에 연관된 서브밴드 정보를 추출하는 단계;
이미지 신호 처리기(ISP)를 이용하여 상기 축소된 이미지를 조정하고, 처리 파라미터들을 저장하는 단계;
하나 이상의 사진 편집 연산을 이용하여 상기 조정된 축소 이미지를 처리하고, 이에 연관된 파라미터들을 저장하는 단계;
상기 축소된 이미지 및 상기 선택된 이미지에 연관된 상기 서브밴드 정보를 압축하여 저장하는 단계;
상기 축소된 이미지 및 상기 서브밴드 정보를 압축해제 하는 단계;
상기 축소된 이미지에 의해 사용된 상기 하나 이상의 저장된 처리 파라미터를 이용하여 상기 압축해제 된 서브밴드 정보를 조정하는 단계; 및
상기 조정된 서브밴드 정보를 외삽되고 조정된 축소 이미지와 결합하여 고해상도 이미지를 복원하는 단계
를 포함하는 폐루프(closed loop) 시스템에 기반하여 고해상도 이미지를 렌더링 하는 방법.
저해상도 이미지를 렌더링 하는 방법에 있어서,
파일 컨테이너에 축소된 이미지를 유지하면서 상기 축소된 이미지의 사본(copy)을 압축해제 하는 단계;
색 변환, 크기 조절(resizing), 회전 및 혼합(blending) 중의 적어도 하나를 이용하여 상기 축소된 데이터를 조정(conditioning) 하는 단계; 및
상기 축소된 이미지를 표시부에 렌더링 하는 단계를 포함하되,
상기 저해상도 이미지는 서브밴드 정보 및 해당 처리 파라미터들과 독립적인 것을 특징으로 하는 저해상도 이미지를 렌더링 하는 방법.
선택된 이미지를 축소하는 축소부(downscaler);
타임 스탬프 된 축소 이미지를 생성하고, 상기 축소된 이미지를 하나 이상의 처리 파라미터를 이용하여 처리하여 상기 축소된 이미지에 연관된 서브밴드 정보를 추출하는 이미지 처리부(image processing unit);
상기 축소된 이미지에 연관된 상기 서브밴드 정보를 압축하고 인코딩 하는 인코딩부(encoding unit); 및
상기 압축되고 인코딩 된 서브밴드 정보를 단일 컨테이너 파일 포맷으로 저장하는 저장부(storage unit)
를 포함하는 장치.
제 17항에 있어서,
상기 하나 이상의 처리 파라미터는 필터 크기, 필터 계수, 강도 이득, 색 이득, 선형 또는 비선형 디지털 신호처리 파라미터들을 포함하는 것을 특징으로 하는 장치.
제 17항에 있어서,
상기 축소된 이미지를 처리하는데 사용되는 하나 이상의 파라미터들은 압축된 축소 이미지와 함께 처리되는 순서대로 저장되는 것을 특징으로 하는 장치.
제 17항에 있어서,
상기 서브밴드 정보는 미리 계산된 가중치 양자화 값들에 근거하여 압축되는 것을 특징으로 하는 장치.
제 17항에 있어서,
상기 축소된 이미지는 후속 처리를 위해 상기 서브밴드 정보에 독립적으로 압축해제 되는 것을 특징으로 하는 장치.
제 17항에 있어서,
상기 이미지 처리부는 상기 축소된 이미지에 독립적인 변경을 가하고, 상기 서브밴드 정보의 후 처리를 위해 상기 하나 이상의 파라미터들은 저장하고, 상기 축소된 이미지에 대한 하나 이상의 파라미터들을 변경하여 상기 축소된 이미지를 갱신하고, 상기 갱신된 이미지 및 상기 변경된 하나 이상의 파라미터들을 인코딩 하며, 상기 갱신된 이미지 및 상기 변경된 하나 이상의 파라미터들을 단일 파일로서 저장하는 것을 특징으로 하는 장치.
제 17항에 있어서,
상기 이미지 처리부는 -상기 축소된 이미지와 서브밴드 정보를 압축해제 하고, 상기 압축해제 된 축소 이미지를 확대하고, 상기 압축해제 된 서브밴드 정보를 상기 하나 이상의 파라미터를 이용하여 처리하고, 외삽된 축소 이미지와 상기 선택된 이미지에 연관된 상기 처리된 서브밴드 정보를 결합하여(adding) 상기 선택된 이미지의 고해상도 이미지를 복원 함으로써- 상기 압축된 축소 이미지와 서브밴드 정보로부터 고해상도 이미지를 생성하고, 상기 축소된 이미지와 서브밴드 정보에 대한 사진 편집기 효과의 영향력을 분리하고, 상기 축소된 이미지를 조정하여 조정된 축소 이미지를 얻고, 사진 편집 시 상기 사진 편집기 효과에 근거한 하나 이상의 사진 편집 파라미터를 이용하여 상기 조정된 축소 이미지를 처리하여 처리된 축소 이미지를 얻는 것을 특징으로 하는 장치.
제 17항에 있어서,
상기 저장부는 상기 하나 이상의 사진 편집 파라미터를 상기 하나 이상의 처리 파라미터와 함께 단일 데이터 파일 포맷으로 첨부함으로써 상기 축소된 이미지의 처리에 관계된 상기 하나 이상의 사진 편집 파라미터를 저장하는 것을 특징으로 하는 장치.
제 17항에 있어서,
상기 이미지 처리부는 -기존의 파일 컨테이너로부터 얻은 축소된 이미지를 압축해제 하고, 하나 이상의 사진 편집기 연산을 이용하여 상기 축소된 이미지를 조정하고, 상기 처리된 축소된 이미지를 압축하고, 상기 파일 컨테이너에 저장된 상기 압축되고 축소된 이미지를 상기 새롭게 조정 및 압축되고 축소된 이미지로 교체하고, 적합한 사진 편집 파라미터들을 상기 파일 컨테이너에 첨부함으로써- 상기 서브밴드 정보와 독립적으로 압축된 축소된 데이터를 조정하는 것을 특징으로 하는 장치.
고해상도 이미지를 렌더링 하는 장치에 있어서,
선택된 이미지로부터 필터링된 이미지를 얻는 블러링 필터;
상기 선택된 이미지와 상기 필터링된 이미지 사이의 차이를 취하여 상기 선택된 이미지에 연관된 서브밴드 정보를 추출하는 이미지 추출부(image extractor);
상기 필터링된 이미지를 축소하는 축소부(down scaler);
상기 축소된 이미지를 처리하고, 이에 연관된 파라미터들을 저장하는 이미지 신호 처리기(ISP);
하나 이상의 사진 편집 연산을 이용하여 상기 처리된 축소 이미지를 조정하고 이에 연관된 파라미터들을 저장하고, 상기 조정된 축소 이미지 및 상기 선택된 이미지에 연관된 상기 서브밴드 정보를 압축하여 저장하고, 상기 축소된 이미지 및 상기 서브밴드 정보를 압축해제 하고, 상기 축소된 이미지에 의해 사용된 상기 하나 이상의 저장된 처리 파라미터를 이용하여 상기 압축해제 된 서브밴드 정보를 조정하는 이미지 조정부(image conditioner); 및
상기 조정된 서브밴드 정보를 외삽되고 조정된 축소 이미지와 결합하여 고해상도 이미지를 복원하는 가산 모듈(adder module)
를 포함하는 시간 영역(time domain) 기법에 기반하여 고해상도 이미지를 렌더링 하는 장치.
고해상도 이미지를 렌더링 하는 장치에 있어서,
선택된 이미지에 주파수 변환을 적용하고, 저역 통과 필터를 적용하여 상기 선택된 이미지의 저주파 데이터를 획득하고, 고역 통과 필터를 적용하여 상기 선택된 이미지의 고주파 데이터를 획득하고, 하나 이상의 처리 파라미터를 이용하여 상기 선택된 이미지의 상기 저주파 데이터를 처리하고, 사진 편집 연산을 이용하여 상기 상기 저주파 데이터를 조정하고 이에 연관된 파라미터들을 저장하며, 상기 선택된 이미지에 연관된 상기 저주파 데이터 및 고주파 데이터를 압축하여 저장하고, 상기 저주파 데이터 및 고주파 데이터를 압축해제 하고, 상기 하나 이상의 저장된 처리 파라미터를 이용하여 상기 압축해제 된 고주파 데이터를 조정하고, 상기 조정된 저주파 데이터와 상기 조정된 고주파 데이터를 결합(adding) 하여 조정된 전체 주파수 스펙트럼 데이터를 얻으며, 역 주파수 변환을 적용하여 고해상도 이미지를 복원하도록 구성된 적어도 하나의 처리 모듈(processing module)을 포함하는 주파수 영역(frequency domain) 기법에 기반하여 고해상도 이미지를 렌더링 하는 장치.
고해상도 이미지를 렌더링 하는 장치에 있어서,
선택된 이미지를 축소하여 축소된 이미지를 생성하고, 상기 축소된 이미지를 확대하고, 상기 선택된 이미지와 상기 확대된 이미지 사이의 차이를 취하여 상기 선택된 이미지에 연관된 서브밴드 정보를 추출하고, 이미지 신호 처리기(ISP)를 이용하여 상기 축소된 이미지를 조정하고 해당 처리 파라미터들을 저장하며, 하나 이상의 사진 편집 연산을 이용하여 상기 조정된 축소 이미지를 처리하고 이에 연관된 파라미터들을 저장하며, 상기 축소된 이미지 및 상기 선택된 이미지에 연관된 상기 서브밴드 정보를 압축하여 저장하고, 상기 축소된 이미지 및 상기 서브밴드 정보를 압축해제 하고, 상기 축소된 이미지에 의해 사용된 상기 하나 이상의 저장된 처리 파라미터를 이용하여 상기 압축해제 된 서브밴드 정보를 조정하며, 상기 조정된 서브밴드 정보를 외삽되고 조정된 축소 이미지와 결합(adding) 하여 고해상도 이미지를 복원하도록 구성된 적어도 하나의 처리 모듈(processing module)을 포함하는 폐루프(closed loop) 기법에 기반하여 고해상도 이미지를 렌더링 하는 장치.
저해상도 이미지를 렌더링 하는 장치에 있어서,
파일 컨테이너에서 축소된 이미지를 반드시 제거하지는 않고 상기 축소된 이미지의 사본을 압축해제 하고, 색 변환, 크기 조절(resizing), 회전 및 혼합(blending) 중의 적어도 하나를 이용하여 상기 축소된 데이터를 조정(conditioning) 하며, 상기 축소된 이미지를 표시부에 렌더링 하도록 구성된 적어도 하나의 모듈(module)을 포함하되,
상기 저해상도 이미지는 서브밴드 정보 및 해당 처리 파라미터들에 독립적인 것을 특징으로 하는 저해상도 이미지를 렌더링 하는 장치.