KR20210029248A - 사용자 디바이스에 적용된 내추럴 핸드헬드 모션을 이용한 초해상도 - Google Patents

사용자 디바이스에 적용된 내추럴 핸드헬드 모션을 이용한 초해상도 Download PDF

Info

Publication number
KR20210029248A
KR20210029248A KR1020217003929A KR20217003929A KR20210029248A KR 20210029248 A KR20210029248 A KR 20210029248A KR 1020217003929 A KR1020217003929 A KR 1020217003929A KR 20217003929 A KR20217003929 A KR 20217003929A KR 20210029248 A KR20210029248 A KR 20210029248A
Authority
KR
South Korea
Prior art keywords
super
image
resolution
scene
user device
Prior art date
Application number
KR1020217003929A
Other languages
English (en)
Other versions
KR102500779B1 (ko
Inventor
이 훙 첸
치아 카이 리앙
바르트로미에이 마치에이 브론스키
페이맨 밀란파
이그나시오 가르시아 도라도
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Priority to KR1020237004786A priority Critical patent/KR102555317B1/ko
Publication of KR20210029248A publication Critical patent/KR20210029248A/ko
Application granted granted Critical
Publication of KR102500779B1 publication Critical patent/KR102500779B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)

Abstract

본 개시는 사용자 디바이스(102)에 의해 캡처된 장면의 초해상도 이미지 (122)를 생성하기 위한 시스템 및 기술을 설명한다. 내추럴 핸드 헬드 모션(110)은 장면 이미지의 다수의 프레임(204, 206, 208)에 걸쳐, 초해상도 계산(210)을 사용하여 컬러 평면(212, 214, 216)을 형성할 수 있게 해주는 서브 픽셀 오프셋들을 도입하며, 이들은 누적되고(218) 결합되어(220) 장면의 초해상도 이미지(122)를 형성한다.

Description

사용자 디바이스에 적용된 내추럴 핸드헬드 모션을 이용한 초해상도
장면을 캡처하는 것과 관련하여, 모바일 폰과 같은 사용자 디바이스는 종종 DSLR(digital single-lens reflex) 카메라와 같은 다른 디바이스에 의해 캡처되고 렌더링되는 장면 이미지보다 해상도가 낮은 장면 이미지를 생성한다. 이러한 사용자 디바이스에 의해 캡처된 이미지는 또한 사용자 디바이스 카메라의 공간 해상도를 제한하는 이들 사용자 디바이스가 허용하는 비교적 작은 물리적 센서 크기로 인해 노이즈가 많고 동적 범위가 낮을 수 있다. 사용자 디바이스의 이미지 센서는 또한 조리개가 더 작아서 사용자 디바이스 카메라의 집광 능력을 제한하고, 픽셀이 더 작아서 스마트 폰이 캡처한 이미지를 처리하는데 사용하는 신호대 잡음비를 줄일 수 있다.
또한, 사용자 디바이스 카메라의 이미지 센서는 종종 컬러 필터 어레이 (CFA)를 포함하는데, 이것은 일반적으로 장면의 캡처된 이미지를 렌더링하는 동안 디모자이킹 기술을 사용하기 위해 사용자 디바이스의 디지털 이미지 처리 하드웨어를 필요로 한다. 일반적으로 디모자이킹 기술은 초해상도 렌더링에 해롭다. 디모자이킹 기술의 효과에는 사용자 디바이스가 열악한 해상도에서 바람직하지 않은 아티팩트로 장면의 캡처된 이미지를 렌더링하게 하는 색채 앨리어싱(aliasing), 의사 구배(false gradients) 및 모아레(Moire) 패턴이 포함될 수 있다.
본 개시는 사용자 디바이스에 의해 캡처된 장면의 초해상도 이미지를 생성하기 위한 시스템 및 기술을 설명한다. 내추럴 핸드 헬드 모션은 장면 이미지의 다수의 프레임에 걸쳐, 초해상도 컴퓨팅 기술을 사용하여 컬러 평면들을 형성할 수 있는 서브 픽셀 오프셋을 도입하는데, 이는 장면의 초 해상도 이미지를 생성하기 위해 누적되고 병합된다. 이러한 시스템과 기술들은 디모자이킹 시스템에 의존하는 다른 시스템 및 기술보다 색채 앨리어싱, 의사 구배 및 모아레 패턴과 같은 유해한 아티팩트없이 장면의 초해상도 이미지를 제공한다는 장점을 제공한다.
일부 양태에서, 장면의 초해상도 이미지를 렌더링하기 위해 사용자 디바이스에 의해 수행되는 방법이 기술된다. 이 방법은 장면 이미지의 다수의 프레임을 버스트 시퀀스로 캡처하는 단계를 포함하며, 여기서 다수의 프레임은 다수의 프레임의 캡처 동안 사용자 디바이스의 모션으로 인해 이미지의 개별 상대적 서브 픽셀 오프셋을 갖는다. 이 방법은 캡처된 다수의 프레임을 사용하여 가우시안 RBF 커널 계산 및 강건성 모델 계산을 포함하는 초해상도 계산을 수행하는 단계를 포함한다. 이 방법은 초해상도 계산에 기초하여, 컬러 평면들을 누적하는 단계와, 장면의 초해상도 이미지를 생성하기 위해 상기 누적된 컬러 평면들을 결합하는 단계 및 장면의 초해상도 이미지를 렌더링하는 단계를 더 포함한다.
다른 양태에서, 장치에 컬러 평면들을 제공하는 방법이 설명된다. 이 방법은 가우시안 방사형 기저 함수 커널들을 계산하는 단계를 포함하며, 상기 가우시안 방사형 기저 함수 커널들을 계산하는 단계는 (i) 기준 프레임을 계산하는 단계 및 (ii) 로컬 구배 구조 텐서들을 분석하는 것에 기초하여 커널 공분산 행렬을 계산하는 단계를 포함하며, 여기서 로컬 구배 구조 텐서들은 기준 프레임에 포함된 콘텐츠의 에지, 모서리 또는 텍스처 영역에 대응한다.
방법은 또한 강건성 모델을 계산하는 단계를 포함하며, 상기 강건성 모델을 계산하는 단계는 컬러 평균 및 공간 표준 편차를 계산하기 위해 통계적 근접 모델을 사용한다. 계산된 가우시안 RBF 커널들과 계산된 강건성 모델에 기초하여, 이 방법은 컬러 평면들에 대한 픽셀들의 기여도를 결정하고 컬러 평면들을 누적하는 단계를 포함한다. 그런 다음 컬러 평면들이 장치에 제공된다.
또 다른 양태에서, 사용자 디바이스가 설명된다. 사용자 디바이스는 하나 이상의 프로세서, 하나 이상의 이미지 센서 및 디스플레이를 포함한다. 사용자 디바이스는 또한 하나 이상의 프로세서에 의해 실행될 때 장면 이미지의 다수의 프레임을 버스트 시퀀스로 캡처하도록 사용자 디바이스에 지시하는 초해상도 관리자의 명령들을 저장하는 컴퓨터 판독 가능 매체를 포함하고, 여기서 다수의 프레임은 각각의 이미지의 상대적 오프셋을 갖는다. 초해상도 관리자는 또한 사용자 디바이스에 지시하여, 캡처된 다수의 프레임을 사용하여 초해상도 계산을 수행하고, 초해상도 계산에 기초하여 평면들을 누적하고, 누적된 평면들을 결합하여 장면의 초해상도 이미지를 생성하고, 장면의 초고해상도 이미지를 렌더링한다.
하나 이상의 구현의 세부 사항은 첨부된 도면 및 다음의 설명에서 설명된다. 다른 특징 및 이점은 설명 및 도면, 그리고 청구 범위로부터 명백해질 것이다. 본 요약은 상세한 설명 및 도면에 자세히 설명된 주제를 소개하기 위해 제공된다. 따라서 독자는 핵심 기능을 설명하기 위해 요약을 고려하거나 청구된 주제의 범위를 제한해서는 안된다.
본 개시는 사용자 디바이스에 의해 캡처된 장면의 초해상도 이미지를 생성하는 것과 관련된 하나 이상의 양태의 세부 사항을 기술한다.
도 1은 사용자 디바이스에 적용되는 내추럴 핸드 헬드 모션을 사용하는 초해상도의 다양한 양태가 수행되는 예시적인 동작 환경을 도시한다.
도 2는 서브 픽셀 오프셋을 갖는 다수의 프레임의 예시적인 양태를 도시한다.
도 3은 서브-픽셀 오프셋을 갖는 다수의 프레임을 사용하여, 계산을 수행하고, 컬러 평면들을 누적하고, 컬러 평면들을 결합하는 예시적인 양태를 도시한다.
도 4는 서브-픽셀 오프셋을 갖는 다수의 프레임을 기준 프레임에 정렬시키는 예시적인 양태를 도시한다.
도 5는 초해상도 이미지를 렌더링하는데 사용되는 예시적인 방법을 도시한다.
도 6은 초해상도 이미지의 컬러 평면들을 누적하는데 사용되는 예시적인 방법을 도시한다.
본 개시는 장면의 초해상도 이미지를 생성하기 위한 기술 및 시스템을 설명한다. 사용자 디바이스에 적용되는 내추럴(자연적) 핸드 헬드 모션을 사용하는 초해상도를 위한 설명된 시스템 및 방법의 특징 및 개념은 임의의 수의 상이한 환경, 시스템, 디바이스 및/또는 다양한 구성으로 구현될 수 있으며, 양태들은 다음의 예시적인 디바이스, 시스템 및 구성의 맥락에서 설명된다.
예시적인 동작 환경
도 1은 사용자 디바이스(102)에 적용된 내추럴 핸드 헬드 모션(110)을 사용하는 초해상도의 다양한 양태가 수행되는 예시적인 동작 환경(100)을 도시한다. 도시된 바와 같이, 사용자 디바이스(102)는 장면 이미지의 다수의(다중) 프레임에 대응하는 장면 이미지의 변화(variations)(104, 106 및 108)를 캡처하고 있다. 스마트 폰으로서 도시되어 있지만, 사용자 디바이스(102)는 태블릿 또는 전용 카메라와 같은 이미지 캡처 기능을 갖는 다른 유형의 디바이스일 수 있다.
사용자 디바이스(102)에 의해 버스트 시퀀스로 캡처된 장면 이미지의 변화(104-108)는 사용자 디바이스(102)가 장면의 이미지를 캡처하는 동안 사용자 디바이스(102)에 적용된 내추럴 핸드 헬드 모션(110)의 결과인 서브 픽셀 오프셋들을 포함한다. 내추럴 핸드 헬드 모션(110)은 예를 들어, 사용자 디바이스(102)가 장면 이미지의 변화(104-108)를 캡처하는 동안 사용자 디바이스(102)에 대한 평면 내 모션, 평면 외 모션, 피치, 요 또는 롤을 유발(induce)하는 사용자 디바이스(102)의 사용자의 손 떨림에 의해 야기될 수 있다.
일부 경우에 내추럴 핸드 헬드 모션(110)으로부터 발생하는 서브 픽셀 오프셋에 대한 대안으로서, 서브-픽셀 오프셋은 사용자 디바이스(102)와 접촉하는(또는 그와 통합된) 진동 메커니즘에 의해 유발된 햅틱 모션 또는 사용자 디바이스(102)가 동작 환경(100)내에서 이송되는 동안(예를 들어, 사용자 디바이스(102)는 차량내에서 움직이고 사용자에 의해 이동될 수 있음) 유발되는 진동과 같은 사용자 디바이스(102)에 적용된 다른 모션으로부터 야기될 수 있다.
사용자 디바이스(102)는 이미지를 캡처하기 위한 하나 이상의 이미지 센서(들)(112)의 조합을 포함한다. 이미지 센서(112)는 CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서 또는 CCD(charge-coupled device) 이미지 센서를 포함할 수 있다. 일부 예에서, 이미지 센서(112)는 이미지 센서(112)의 픽셀들을 오버레이하고 픽셀들을 통해 기록된 광의 컬러 파장과 관련된 강도를 제한하는 컬러 필터 어레이(CFA)를 포함할 수 있다. 이러한 CFA의 예는 적색 파장, 청색 파장 및 녹색 파장에 따라 광을 필터링하는 베이어(Bayer) CFA이다. 이미지 센서(112)의 다수의 경우(예를 들어, 이중 이미지 센서와 같은 하나 이상의 이미지 센서의 조합)에서, 이미지 센서(112)의 다중은 상이한 이미지 프로세싱 요구를 지원하기 위해 상이한 CFA 구성뿐만 아니라 픽셀 밀도(예를 들어, 40 메가 픽셀(MP), 32 MP, 16 MP, 8 MP)의 조합을 포함할 수 있다(예를 들어, RGB 이미지 처리를 지원하는 베이어 CFA는 포함하고, 단색 이미지 처리를 지원하는 CFA는 제외). 베이어 CFA를 통해 필터링될 때 이미지로부터의 광은 베이어 이미지 또는 베이어 프레임으로 지칭될 수 있는 이미지를 생성할 수 있다.
사용자 디바이스(102)는 또한 이미지를 렌더링하기 위한 디스플레이(114)를 포함한다. 일부 경우에서, 디스플레이(114)는 터치 스크린 디스플레이일 수 있다. 사용자 디바이스(102)는 또한 하나 이상의 프로세서(들)(116)의 조합을 포함한다. 프로세서(116)는 실리콘, 폴리 실리콘, 고유전율 유전체, 구리 등과 같은 다양한 재료로 구성된 단일 코어 프로세서 또는 다중 코어 프로세서일 수 있다. 프로세서(116)의 다중의 예(예를 들어, 하나 이상의 프로세서의 조합)에서, 프로세서(116)의 다중은 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 디지털 신호 프로세서(DSP) 또는 이미지 처리 장치(IPU)를 포함할 수 있다. 또한, 이러한 경우에, 프로세서(116)의 다중은 파이프 라인 처리를 사용하여 둘 이상의 컴퓨팅 동작을 수행할 수 있다.
사용자 디바이스(102)는 또한 초해상도 관리자(120) 형태의 실행 가능한 명령을 포함하는 컴퓨터 판독 가능 저장 매체(CRM)(118)를 포함한다. 본 명세서 기술된 CRM(118)은 전파 신호를 배제한다. CRM(118)은 초해상도 관리자(120)를 저장하는데 사용 가능한 랜덤 액세스 메모리(RAM), 정적 RAM(SRAM), 동적 RAM(DRAM), 비 휘발성 RAM(NVRAM), 판독 전용 메모리(ROM) 또는 플래시 메모리와 같은 임의의 적절한 메모리 또는 저장 디바이스를 포함할 수 있다.
초해상도 관리자(120)의 코드 또는 명령은 프로세서(116)를 사용하여 실행되어, 사용자 디바이스(102)가 장면의 초해상도 이미지(122)를 생성(및 렌더링)하는 것에 관한 동작들을 수행하게 할 수 있다. 이러한 동작들은 이미지 센서(112)를 사용하여 장면의 이미지의 다수의 프레임(예를 들어, 장면의 이미지의 변화(104, 106 및 108))를 캡처하는 것을 포함할 수 있다. 동작들은 초해상도 계산을 수행하고, 컬러 평면을 누적하고, 누적된 컬러 평면을 결합하여 초해상도 장면 이미지(122)를 생성하고, (예를 들어, 디스플레이(114)를 통해) 장면의 초해상도 이미지(112)를 렌더링하는 사용자 디바이스(예를 들어, 프로세서(116))를 더 포함할 수 있다. 장면의 초해상도 이미지(122)는 일반적으로 장면 이미지의 다수의 프레임의 다른 해상도보다 높은 해상도를 갖는다.
도 2는 서브 픽셀 오프셋을 갖는 다중 프레임의 예시적인 양태를 도시한다. 일부 경우에서, 서브 픽셀 오프셋을 갖는 다중 프레임은 도 1의 사용자 디바이스(102)에 적용된 모션에 의해 도입될 수 있다. 일부 경우에서, 사용자 디바이스(102)의 모션은 버스트 시퀀스 동안 사용자 디바이스(102)의 사용자에 의해 만들어진 내추럴 핸드 헬드 모션(110)에 대응한다.
도 2에 도시된 바와 같이, 다중 프레임(202)은 이미지의 각각의 상대적 서브 픽셀 오프셋을 가지며 프레임(204), 프레임(206) 및 프레임(208)(도 1의 변화(104-108)에 대응하는 프레임(204-208))을 포함한다. 다중 프레임(202)은 초해상도 이미지(122)를 계산하고 형성하기 위한 기초로서 기능한다. 사용자 디바이스(102)는 장면의 초해상도 이미지(122)의 다른 해상도보다 낮은 해상도를 사용하여, 버스트 시퀀스 동안 다중 프레임(202)을 캡처할 수 있다.
버스트 시퀀스는 예를 들어 1 밀리 초 내지 3 밀리 초, 1 밀리 초 내지 5 밀리 초, 또는 1/2 밀리 초 내지 10 밀리 초 범위일 수 있는 설정 시간 간격으로 다중 프레임(202)을 캡처하는 것을 포함할 수 있다. 더욱이, 일부 경우에서, 버스트 시퀀스의 시간 간격은 사용자 디바이스의 움직임에 기초하여 가변적일 수 있다(예를 들어, 시간 간격은 한 픽셀 미만으로 오프셋을 유지하기 위해 사용자 디바이스(102)의 저속 움직임 동안의 다른 시간 간격보다 사용자 디바이스(102)의 고속 움직임 동안 더 "짧을" 수 있다).
도시된 바와 같이, 프레임(206)의 이미지는 프레임(204)의 이미지에 대해, 각각 수평으로 1/2 픽셀 및 수직으로 1/2 픽셀 오프셋된다. 더욱이, 도시된 바와 같이, 프레임(208)의 이미지는 프레임(204)의 이미지에 대해, 1/4 픽셀 수평으로 각각 오프셋된다. 각각의 상대적인 서브-픽셀 오프셋은 상이한 크기 및 서브-픽셀 오프셋 조합을 포함할 수 있다(예를 들어, 하나의 프레임과 관련된 하나의 서브-픽셀 오프셋은 수평으로 1/4 픽셀, 수직으로 3/4 픽셀일 수 있는 반면, 다른 프레임과 관련된 다른 서브 픽셀 오프셋은 수평으로 0 픽셀, 수직으로 1/2일 수 있다). 일반적으로, 본 발명에 의해 기술된 기술 및 시스템은 비선형인 서브 픽셀 오프셋들을 포함하여 프레임(204-208)의 예시 및 설명보다 랜덤한 서브 픽셀 오프셋들을 수용할 수 있다.
도 3은 하나 이상의 양태에 따라 계산을 수행하고, 컬러 평면들을 누적하고, 컬러 평면들을 결합하기 위해 서브-픽셀 오프셋들을 갖는 다중 프레임을 사용하는 예시적인 양태(300)를 도시한다. 예시적인 양태(300)는 도 1 및 도 2의 엘리먼트들을 사용할 수 있는데, 여기서 계산을 수행하고, 컬러 평면들을 누적하고, 컬러 평면들을 결합하는 것은 도 1의 사용자 디바이스(102)에 의해 수행되고, 서브-픽셀 오프셋을 갖는 다중 프레임은 도 2의 다중 프레임(202)이다.
도 3에 도시된 바와 같이, 다중 프레임(202)은 초해상도 계산(302)에 입력된다. 초해상도 계산(302)은 가우시안 방사형 기저 함수(RBF) 커널 계산(유체 입자 렌더링에 의해 기반된) 및 강건성 모델 계산을 포함한다. 초해상도 계산(302)을 지원하는 알고리즘은 사용자 디바이스(102)의 초해상도 관리자(120)에 상주할 수 있다. 또한, 사용자 디바이스(102)(예를 들어, 프로세서(116)의 다중)는 파이프 라인 처리를 사용하여 초해상도 계산(302)의 일부를 수행할 수 있다. 가우시안 RBF 커널 계산(예를 들어, 커널 회귀 기술)과 강건성 계산으로부터의 가중치의 조합은 컬러 평면에 대한 픽셀의 귀속을 결정하는 수단을 제공한다.
가우시안 RBF 커널 계산을 지원하기 위해, 사용자 디바이스(102)는 다중 프레임(202)의 각 프레임으로부터의 픽셀 신호를 필터링하여 컬러 채널들에 대응하는 각각의 컬러-특정 이미지 평면을 생성한다. 그런 다음 사용자 디바이스(102)는 각각의 컬러-특정 이미지 평면을 기준 프레임에 정렬시킨다. 일부 경우에서, 기준 프레임은 적색 및 청색 값을 직접 취하고 녹색 값을 함께 평균함으로써 바이어 쿼드(Bayer quads)에 대응하는 적색/녹색/청색(RGB) 픽셀을 생성함으로써 형성될 수 있다.
그런 다음 사용자 디바이스(102)는 공분산 행렬을 계산한다. 공분산 행렬을 계산하는 것은 기준 프레임의 내용에 대한 로컬 구배 구조 텐서들을 분석하는 것을 포함할 수 있다(예를 들어, 로컬 텐서는 기준 프레임 내에 포함된 에지, 모서리 또는 텍스처 영역에 국한될 수 있다). 공분산 행렬을 사용하여, 사용자 디바이스 (102)는 가우시안 RBF 커널들을 계산할 수 있다.
공분산 행렬을 계산하는 것은 다음의 수학 관계식에 의존할 수 있다.
Figure pct00001
수학 관계식(1)에서, Ω는 커널 공분산 행렬을 나타내고, e1과 e2는 직교 방향 벡터 및 2개의 관련 고유값 λ1 및 λ2를 나타내고, k1과 k2는 원하는 커널 분산을 제어한다.
로컬 구배 구조 텐서들의 계산은 다음의 수학 관계식에 의존할 수 있다.
Figure pct00002
수학 관계식(2)에서, Ix과 Iy는 각각 수평 및 수직 방향의 로컬 이미지 구배를 나타낸다.
언급된 강건성 모델 계산을 지원하기 위해, 사용자 디바이스(102)는 통계적 근접 모델(neighborhood model)을 사용하여 장면의 초해상도 이미지에 기여하는 픽셀(예를 들어, 장면의 초해상도 이미지(122)에 기여하는 픽셀들(예를 들어, 장면의 초해상도 이미지(122)에 기여하는 다중 프레임(202)으로부터의 픽셀들)의 확률을 공식화할 수 있다. 통계적 근접 모델은 평균, 분산, 또는 베이어 패턴 로컬 쿼드 그린 채널 디스패리티 차이(Bayer pattern local quad green channel disparity difference)와 같은 로컬 통계를 분석하여 앨리어싱(예를 들어, 샘플링 후 더 낮은 주파수로 나타나는 샘플링 속도의 절반보다 높은 주파수 성분을 갖는 픽셀 시그널링)을 예측하는 모델을 형성할 수 있다.
강건성 모델 계산은 일부 경우(instance)에서, 컬러 차이를 보상하기 위해 잡음 제거 계산을 포함할 수 있다. 잡음 제거 계산은 일부 경우에서 공간 컬러 표준 편차 또는 프레임 간의 평균 차이에 의존할 수 있다.
추가 또는 대안적인 기술이 또한 초해상도 계산(302)에 포함될 수 있다. 예를 들어, 초해상도 계산(302)은 정확하게 정렬될 수 없는 이미지의 영역을 찾기 위해 다운 스케일링 동작을 분석하는 것을 포함할 수 있다. 다른 예로서, 초해상도 계산(302)은 오정렬 아티팩트를 완화시키기 위해 특성 패턴을 검출하는 것을 포함할 수 있다. 그러한 경우, 신호 구배 패턴 분석은 "체커보드(checkerboard)" 아티팩트와 같은 아티팩트를 검출할 수 있다.
초해상도 계산(302)은 다중 프레임(202) 각각에 대해(예를 들어, 프레임 (204, 206 및 208)에 대해), 각각의 컬러 평면, 예를 들어, 제1 컬러 평면(304)(적색 채널과 연관된 적색 평면일 수 있음), 제2컬러 평면(306)(청색 채널과 연관된 청색 평면일 수 있음) 및 제3 컬러 평면(308)(녹색 채널과 연관된 녹색 평면일 수 있음)과 관련된 컬러 채널들에 대한 픽셀들의 기여도를 추정하는데 효과적이다. 초해상도 계산(302)은 픽셀을 개별 신호로 취급하고 동시에 컬러 평면들을 누적한다.
또한, 도 3에 도시된 바와 같이, 컬러 평면 누적 동작(310)은 컬러 평면 (304-308)을 누적한다. 컬러 평면(304-308)의 누적은 다음 수학 관계식에 의존하는 정규화 계산을 포함할 수 있다.
Figure pct00003
수학 관계식(3)에서, x와 y는 픽셀 좌표를 나타내고, 합(Σn)은 기여하는 프레임들에 대해 연산(그들의 합)하고, 합(Σi)은 로컬 근접 내의 샘플들의 합이고, cn,i는 주어진 프레임 n에서의 베이어 픽셀의 값을 나타내고, 샘플(i,wn,i)은 로컬 샘플 가중치를 나타내고, Rn은 로컬 강건성을 나타낸다.
도 3은 또한 장면의 초해상도 이미지(122)를 생성하는 결합 동작(312)을 도시한다. 그런 다음 사용자 디바이스(102)는 (도시된 바와 같이) 사용자 디바이스(102)의 디스플레이(114) 상에 장면의 초해상도 이미지(122)를 렌더링하거나, 대안적으로, 사용자 디바이스(102)의 CRM(118)에 장면의 초해상도 이미지(122)를 저장할 수 있다. 상술한 바와 같이, 초해상도 계산(302)의 일부로서, 사용자 디바이스(102)는 다중 프레임(202)의 각 프레임으로부터의 픽셀 신호를 필터링하여 컬러 채널들에 대응하는 컬러 특정 이미지 평면들을 생성한다. 각 컬러 특정 이미지 평면은 특정 컬러 채널(예를 들어, 적색 이미지 평면, 청색 이미지 평면 및 녹색 이미지 평면)으로 필터링된 이미지의 표현일 수 있다. 그런 다음 사용자 디바이스(102)는 각각의 컬러 특정 이미지 평면을 기준 프레임에 정렬시킨다.
도 4는 서브-픽셀 오프셋을 갖는 다중 프레임을 기준 프레임에 정렬시키는 것과 관련된 예시적인 양태(400)을 도시한다. 도 4에 도시된 바와 같이, 다중 프레임(202)(예를 들어, 프레임(204, 206 및 208)) 각각은 다수의 픽셀(예를 들어, 대표 픽셀(402, 404 및 406))로 구성된다. 각각의 픽셀은 이미지의 컨텐츠(408)(예를 들어, 이미지 컨텐츠의 에지, 모서리 또는 텍스처화된 영역)에 대응한다.
도 4와 관련하여 410에서, 서브 픽셀 오프셋을 갖는 다중 프레임(202)을 기준 프레임에 정렬하는 것은 다중 프레임(202)의 각 픽셀의 대응하는 컨텐츠(408)가 기준 프레임의 픽셀(412)의 대응하는 컨텐츠에 정렬되도록 컬러 특정 이미지 평면들(예를 들어, 적색 파장, 청색 파장 또는 녹색 파장에 따라 필터링된 다중 프레임(202))을 정렬하는 것을 포함한다. (참고 : 도 4는 실제 크기로 도시되지 않았으며, 설명의 목적으로 단순화되었다. 실제로, 사용자 디바이스(102)의 해상도 능력에 따라, 대응하는 컨텐츠(408)는 전체 픽셀을 소비하거나 거의 소비할 수 있다). 각 픽셀(402-406)에 대해, 컬러 채널에 대한 컨텐츠(408)의 기여도는 텐서 분석을 통해 정량화될 수 있다(예를 들어, 로컬 구배 구조 텐서의 분석은 각 컬러 채널에 대한 각 픽셀(402-406)의 컨텐츠(408)의 기여도를 정량화한다).
도 1 내지 도 4에 의해 기술된 엘리먼트들은 사진의 여러 측면을 다루면서 장면의 초해상도 이미지를 생성하는 것을 지원한다. 이전에 언급한 디모자이킹의 유해한 아티팩트(예를 들어, 낮은 이미지 해상도, 색채 앨리어싱, 의사 구배 및 모아레 패턴) 없이 장면의 초해상도 이미지를 제공하는 것 외에도, 도 1 내지 도 4는 단일 셔터 프레스(예를 들어, 단일 이미지 캡처 명령)와 호환되고 삼각대 또는 의도적인 모션없이 사용될 수 있으며 낮은 대기 시간(예를 들어, 최대 몇 초이내)를 갖는 초해상도 이미지를 생성하는 엘리먼트들을 기술한다. 게다가, 엘리먼트들은 장면 내의 움직임, 장면 변경 및 저조도 조건에 강건하다.
예시적인 방법
예시적인 방법(500 및 600)은 사용자 디바이스에 의해 캡처된 장면의 초해상도 이미지를 생성하는 것과 관련된 하나 이상의 양태에 따라 도 5 및 도 6을 참조하여 기술된다. 일반적으로, 본 명세서에 기술된 임의의 컴포넌트, 모듈, 방법 및 동작들은 소프트웨어, 펌웨어, 하드웨어(예를 들어, 고정 논리 회로), 수동 처리 또는 이들의 임의의 조합을 사용하여 구현될 수 있다. 예시적인 방법들의 일부 동작들은 컴퓨터 처리 시스템에 대해 로컬 및/또는 원격인 컴퓨터 판독 가능 저장 메모리에 저장된 실행 가능 명령들의 일반적인 맥락에서 기술될 수 있으며, 구현들은 소프트웨어 애플리케이션, 프로그램, 기능 등을 포함할 수 있다. 대안적으로 또는 추가적으로, 본 명세서에 기술된 기능들 중 임의의 것은 이에 한정되지는 않지만 FPGA(Field-programmable Gate Arrays), ASIC(Application-Specific Integrated Circuits), ASSP(Application-Specific Standard Products), SoC(System-on-a-Chip) 또는 CPLD(Complex Programmable Logic Devices)와 같은 하나 이상의 하드웨어 논리 컴포넌트에 의해 적어도 부분적으로 수행될 수 있다.
도 5는 장면의 초해상도 이미지 생성의 일부로서 사용되는 방법(500)의 예시적인 양태를 도시한다. 방법(500)은 수행될 수 있는 동작들을 지정하는 블록 세트(502-510)의 형태로 설명된다. 그러나, 동작들은 도 5에 도시되거나 본 명세서에 설명된 순서로 반드시 제한되는 것은 아니다. 그 이유는 동작들은 대안적인 순서로, 전체적으로 또는 부분적으로 중첩되는 방식 또는 반복적인 방식으로 구현될 수 있기 때문이다. 또한, 방법(500)에 의해 표현된 동작들이 도 1의 사용자 디바이스(102)에 의해 수행되는 맥락에서 설명될 것이지만, 그 동작들(또는 동작들의 일부)은 초해상도 관리자(120)의 명령들(또는 명령들의 일부)을 포함하는 서버 또는 클라우드 컴퓨팅 디바이스와 같은 계산 능력을 갖는 하나 이상의 다른 디바이스에 의해 수행될 수 있다.
블록(502)에서, 사용자 디바이스(102)(예를 들어, 이미지 센서(112))는 버스트 시퀀스로 장면 이미지의 다중 프레임(202)을 캡처하는데, 여기서 다중 프레임(202)은 다수의 프레임을 캡처하는 동안 사용자 디바이스의 모션으로 인해 이미지의 각각의 상대적 서브 픽셀 오프셋을 갖는다. 일부 경우에서, 사용자 디바이스의 모션은 사용자 디바이스의 사용자에 의해 행해진 내추럴 핸드 헬드 모션(110)에 대응할 수 있다. 다른 예에서, 사용자 디바이스의 모션은 사용자 디바이스(102)와 접촉하거나 그의 일부인 진동 메커니즘에 의해 유도된 변위에 해당할 수 있다.
블록(504)에서, 사용자 디바이스(예를 들어, 초해상도 관리자(120)의 명령을 실행하는 프로세서(116))는 초해상도 계산(302)을 수행한다. 초해상도 계산(302)을 수행하는 것은 캡처된 다수의 프레임을 사용하여 가우시안 방사형 기저 함수 커널을 계산하고 강건성 모델을 계산한다. 가우시안 방사형 기저 함수 커널을 계산하는 것은 각각의 컬러 채널에 대한 컬러 특정 이미지 평면들을 생성하기 위해 다수의 프레임 각각으로부터 픽셀 신호들를 필터링하는 것 및 컬러 특정 이미지 평면들을 기준 프레임에 정렬시키는 것을 포함하는 다수의 양태를 포함할 수 있다. 적색, 녹색 및 청색 채널에 해당하는 것 외에도, 색 특정 이미지 평면들은 또한 색채 컬러 채널(예를 들어, 검정색, 흰색 및 회색의 음영) 또는 청록색, 보라색 등과 같은 다른 컬러 채널에 해당할 수 있다.
가우시안 방사형 기저 함수 커널을 계산하는 것은 또한 컬러 특정 이미지 평면들을 기준 프레임에 정렬함으로써 생성된 로컬 구배 구조 텐서들을 분석하는 것(예를 들어, 수학 관계식(2))에 기초하여 커널 공분산 행렬을 계산하는 것(예를 들어, 수학 관계식(1))을 포함할 수 있다. 그러한 경우에, 로컬 구배 구조 텐서들은 기준 프레임에 포함된 컨텐츠의 에지, 모서리 또는 텍스처 영역에 대응할 수 있다. 또한, 블록(504)의 일부로서, 강건도를 계산하는 것은 통계적 근접 모델을 사용하여 각각의 픽셀에 대해 색 평균 및 공간 표준 편차를 계산하는 것을 포함할 수 있다.
블록(506)에서, 사용자 디바이스(102)(예를 들어, 초해상도 관리자(120)의 명령을 실행하는 프로세서(116))는 블록(504)의 초해상도 계산(302)에 기초하여 컬러 평면들을 누적한다. 컬러 평면들을 누적하는 것은 사용자 디바이스가 각 컬러 채널에 대해, 픽셀 기여도를 정규화하는(블록(502)에서 캡처된 다수의 프레임의 각 픽셀의 기여도를 각 컬러 채널에 정규화하는) 계산(예를 들어, 수학 관계식(1))을 수행하는 것을 포함할 수 있다.
블록(508)에서, 사용자 디바이스(102)는 누적된 컬러 평면들을 결합하여 장면의 초해상도 이미지(122)를 생성한다. 블록(510)에서, 사용자 디바이스(102)(예를 들어, 디스플레이(114))는 장면의 초해상도 이미지(122)를 렌더링한다.
도 5의 예시적인 방법(500)이 도 1의 사용자 디바이스(102)에 의해 수행되는 맥락에서 설명되지만, 예시적인 방법(500) 내의 동작들(또는 동작들의 일부)은 초해상도 관리자(120)의 명령(또는 명령의 일부)을 포함하는 서버 또는 클라우드 컴퓨팅 디바이스와 같은 계산 능력을 갖는 하나 이상의 다른 디바이스에 의해 수행될 수 있다. 예를 들어, 사용자 디바이스(102)는 장면 이미지의 다수의 프레임을 캡처하고(예를 들어, 블록(502)) 서버 또는 클라우드 컴퓨팅 디바이스와 다수의 프레임을 전송 또는 공유할 수 있다. 이러한 서버 또는 클라우드 컴퓨팅 디바이스는 초해상도 계산(예를 들어, 블록(504) 및 506))을 수행하고, 컬러 평면들을 누적하고(예를 들어, 블록 508), 장면의 초해상도 이미지를 사용자 디바이스(102)로 다시 전송할 수 있다.
도 6은 장치에 컬러 평면들을 제공하는 것에 관한 방법(600)의 예시적인 양태를 도시한다. 방법(600)은 수행될 수 있는 동작들을 지정하는 블록 세트(602-610)의 형태로 설명된다. 그러나, 동작들은 반드시 도 6에 도시되거나 본 명세서에 설명된 순서로 제한되는 것은 아니며, 이는 동작들이 대안적인 순서로, 완전히 또는 부분적으로 중첩되는 방식으로 또는 반복적인 방식으로 구현될 수 있기 때문이다. 또한, 방법(600)의 동작들은 도 1의 사용자 디바이스(102)에 의해 수행될 수 있다.
블록(602)에서, 사용자 디바이스(102)(예를 들어, 초해상도 관리자(120)의 명령을 실행하는 프로세서(116))는 가우시안 방사형 기저 함수(RBF) 커널을 계산한다. 가우시안 RBF 커널들을 계산하는 것은 기준 프레임을 선택하는 것 및 공분산 행렬을 계산하는 것을 포함하는 몇 가지 양태를 포함한다.
커널 공분산 행렬을 계산하는 것((예를 들어, 수학 관계식(1))은 로컬 구배 구조 텐서들을 분석하는 것((예를 들어, 수학 관계식(2))에 기초하는데, 여기서 로컬 구배 구조 텐서들은 기준 프레임에 포함된 컨텐츠의 에지, 모서리 또는 텍스처 영역에 해당한다.
일부 경우, 블록(602)에서, 장면(202)의 이미지의 다수의 프레임은 다중 프레임(202)의 캡처 동안 이미지 캡처 디바이스의 모션으로 인해 다수의 프레임에 걸쳐 이미지의 상대적 서브-픽셀 오프셋을 각각 가질 수 있다. 또한, 일부 경우, 이미지 캡처 디바이스의 모션은 이미지 캡처 디바이스의 사용자에 의해 행해진 모션에 대응할 수 있다. 일부 경우에, 모션은 내추럴 핸드 헬드 모션에 해당할 수 있다.
블록(604)에서, 사용자 디바이스(102)는 강건성 모델을 계산한다. 강건성 모델을 계산하는 것은 통계적 근접 모델을 컬러 평균 및 공간 표준 편차에 사용하는 것을 포함한다.
블록(606)에서, 사용자 디바이스(102)는 컬러 평면들을 결정한다. 사용자 디바이스(102)는 계산된 가우시안 방사형 기저 함수 커널들 및 계산된 강건성 모델의 결정에 기초하여 컬러 평면들에 대한 각 픽셀의 기여도를 결정할 수 있다.
블록(608)에서, 사용자 디바이스(102)는 컬러 평면들을 누적한다. 컬러 평면들을 누적하는 것은 정규화 계산(예를 들어, 수학 관계식(1) 사용)을 포함할 수 있다.
블록(610)에서, 사용자 디바이스(102)는 장치에 컬러 평면들을 제공한다. 일부 경우에서, 장치에 컬러 평면들을 제공하는 것은 저장(예를 들어, 장치의 컴퓨터 판독 가능 매체에 저장)을 위해 장치에 컬러 평면들을 제공하는 것을 포함한다. 다른 경우에, 컬러 평면들을 장치에 제공하는 것은 컬러 평면들을 결합하고 컬러 평면들을 렌더링하기 위해 장치에 컬러 평면들을 제공하는 것을 포함한다.
사용자 디바이스에 적용되는 핸드 헬드 모션을 사용하는 초해상도 시스템 및 방법이 특징 및/또는 방법에 특정된 언어로 설명되었지만, 첨부된 청구 범위의 주제는 설명된 특정 특징 또는 방법으로 반드시 제한되는 것은 아니라는 점을 이해해야 한다. 오히려, 특정 특징 및 방법은 사용자 디바이스에 적용된 핸드 헬드 모션을 사용하는 초해상도가 구현될 수 있는 예시적인 방식으로 개시된다.
설명된 바와 같이, 사용자 디바이스에 적용되는 핸드 헬드 모션을 사용하는 초해상도 시스템 및 방법에 대한 변형은 많다. 제1 변형 예로서, 초해상도 계산은 특정 컬러와 관련되지 않은 깊이 맵 또는 다른 평면들을 생성(및 누적)할 수 있다. 제2 변형 예로서, 초해상도 계산은 가우시안 RBF 샘플링 패턴 이외의 샘플링 패턴에 의존할 수 있다. 제3 변형 예로서, 초해상도 계산은 서브 픽셀 오프셋들 대신 변위 필드에 대응하는 오프셋들에 의존할 수 있다. 그리고, 제4 변형 예로서, 초해상도 계산은 핸드 헬드 움직임을 통해 유도되지 않는 모션에 의존할 수 있다(예를 들어, 이미지의 작은 움직임은 필요한 서브 픽셀 오프셋 또는 변위를 생성하여 초해상도 계산을 수행할 수 있음).
위의 설명에 더하여, 사용자는 본 명세서에 기술된 시스템, 프로그램 또는 특징들이 사용자 정보(예를 들어, 사용자에 의해 캡처된 이미지, 시스템에 의해 계산된 초해상도 이미지, 사용자의 소셜 네트워크, 소셜 동작 또는 활동, 직업, 사용자의 선호도 또는 사용자의 현재 위치에 관한 정보)의 수집을 가능하게 할 수 있는지 그리고 사용자가 서버로부터 컨텐츠 또는 통신을 전송받았는지 여부 및 시기에 대해 사용자가 선택할 수 있게 하는 제어를 제공받을 수 있다. 또한, 특정 데이터는 개인 식별 정보가 제거되도록 저장 또는 사용하기 전에 하나 이상의 방식으로 처리될 수 있다. 예를 들어, 사용자의 신원은 사용자에 대한 개인 식별 정보가 결정되지 않도록 처리될 수 있거나, 사용자의 지리적 위치는 사용자의 특정 위치가 결정될 수 없도록 위치 정보가 획득되는 곳(예를 들어 도시, 우편 번호 또는 주 수준)에서 일반화될 수 있다. 따라서, 사용자는 사용자에 대해 수집되는 정보, 해당정보가 사용되는 방식 및 사용자에게 제공되는 정보를 제어할 수 있다.
이하에서, 몇 가지 예가 설명된다.
예 1 : 장면의 초해상도 이미지 렌더링에 사용되는 방법으로서, 상기 방법은 사용자 디바이스에 의해 수행되어: 버스트 시퀀스로 장면의 이미지의 다수의 프레임을 캡처하는 단계와, 상기 다수의 프레임은 다수의 프레임의 캡처 동안 사용자 디바이스의 모션으로 인해 이미지의 개별 상대적 서브 픽셀 오프셋을 가지며; 캡처된 다수의 프레임을 사용하여 초해상도 계산을 수행하는 단계와, 상기 초해상도 계산은: 가우시안 방사형 기저 함수 커널들을 계산하는 단계; 및 강건성 모델을 계산하는 단계를 포함하고; 초해상도 계산에 기초하여 컬러 평면들을 누적하는 단계와; 장면의 초해상도 이미지를 생성하기 위해 누적된 컬러 평면들을 결합하는 단계와; 그리고 장면의 초해상도 이미지를 렌더링하는 단계를 포함한다.
예 2 : 예 1에 있어서, 상기 초해상도 계산을 수행하는 단계는 컬러 평면들에 대한 장면 이미지의 다수의 프레임의 픽셀들의 기여도를 결정한다.
예 3 : 예 1 또는 예 2에 있어서, 상기 사용자 디바이스의 모션은 버스트 시퀀스 동안 사용자 디바이스의 사용자에 의해 행해진 내추럴 핸드 헬드 모션에 해당한다,
예 4 : 예 1 내지 예 3 중 어느 하나에 있어서, 상기 초해상도 계산을 수행하는 단계는 각각의 컬러 채널에 대한 컬러 특정 이미지 평면들 생성하기 위해 다수의 프레임 각각으로부터 픽셀 신호를 필터링하는 단계를 포함한다.
예 5 : 예 4에 있어서, 상기 초해상도 계산을 수행하는 단계는 컬러 특정 이미지 평면들을 기준 프레임에 정렬시키는 단계를 포함한다.
예 6 : 예 4 내지 예 5 중 어느 하나에 있어서, 상기 각각의 컬러 채널은 적색 채널, 청색 채널 및 녹색 채널에 해당한다.
예 7 : 예 5 내지 예 6 중 어느 하나에 있어서, 상기 가우시안 방사형 기저 함수 커널들을 계산하는 단계는 기준 프레임에 정렬된 컬러 특정 이미지 평면들의 로컬 구배 구조 텐서들을 분석하는 것에 기초하여 커널 공분산 행렬을 계산하는 단계를 포함한다.
예 8 : 예 7에 있어서, 상기 로컬 구배 구조 텐서들은 기준 프레임에 포함된 컨텐츠의 에지, 모서리 또는 텍스처 영역에 대응한다.
예 9 : 예 1 내지 예 8 중 어느 하나에 있어서, 상기 강건성 모델을 계산하는 단계는 공간 컬러 표준 편차 또는 평균 차이를 계산하기 위해 통계적 근접 모델을 사용한다.
예 10 : 장치에 컬러 평면들을 제공하는 방법으로서, 상기 방법은 가우시안 방사형 기저 함수 커널들을 계산하는 단계와, 상기 가우시안 방사형 기저 함수 커널들을 계산하는 단계는: 기준 프레임을 계산하는 단계; 및 로컬 구배 구조 텐서들을 분석하는 것에 기초하여 커널 공분산 행렬을 계산하는 단계를 포함하고, 상기 로컬 구배 구조 텐서들은 기준 프레임에 포함된 컨텐츠의 에지, 모서리 또는 텍스처 영역에 대응하고; 강건성 모델을 계산하는 단계와, 상기 강건성 모델을 계산하는 단계는 컬러 평균 및 공간 표준 편차를 계산하도록 통계적 근접 모델을 사용하는 것을 포함하고; 계산된 가우시안 방사형 기저 함수 커널들 및 계산된 강건성 모델에 기초하여, 컬러 평면들에 대한 픽셀들의 기여도를 결정하는 단계와; 컬러 평면들을 누적하는 단계와; 그리고 누적된 컬러 평면들을 장치로 제공하는 단계를 포함한다.
예 11 : 예 10에 있어서, 상기 누적된 컬러 평면들을 제공하는 단계는 저장하기 위해 상기 누적된 평면을 장치에 제공하는 단계를 포함한다.
예 12 : 예 10 또는 예 11에 있어서, 상기 누적된 컬러 평면들을 장치에 제공하는 단계는 초해상도 이미지를 결합 및 렌더링하기 위해 상기 누적된 컬러 평면들을 장치에 제공하는 단계를 포함한다.
예 13 : 사용자 디바이스로서, 상기 사용자 디바이스는 하나 이상의 이미지 센서; 하나 이상의 프로세서; 디스플레이; 및 하나 이상의 프로세서에 의해 실행될 때, 사용자 디바이스로 하여금 동작들을 수행하도록 지시하는 초해상도 관리자 애플리케이션의 명령어를 포함하는 컴퓨터 판독 가능 매체를 포함하고, 상기 동작들은 하나 이상의 이미지 센서를 사용하여 버스트 시퀀스로, 장면 이미지의 다수의 프레임을 캡처하는 동작과, 상기 다수의 프레임은 다수의 프레임에 걸쳐 이미지의 각각의 상대적인 오프셋을 가지며; 하나 이상의 프로세서를 사용하여, 장면 이미지의 캡처된 다수의 프레임을 사용하여 초해상도 계산을 수행하는 동작과; 하나 이상의 프로세서를 사용하여, 초해상도 계산에 기초하여 평면들을 누적하는 동작과; 하나 이상의 프로세서를 사용하여, 장면의 초해상도 이미지를 생성하도록 누적된 평면들을 결합하는 동작과; 그리고 디스플레이를 사용하여, 장면의 초해상도 이미지를 렌더링하는 동작을 포함한다.
예 14 : 예 13에 있어서, 하나 이상의 프로세서는 다수의 상이한 프로세서이고, 중앙 처리 장치(unit), 이미지 처리 장치, 디지털 신호 프로세서 또는 그래픽 처리 장치를 포함한다.
예 15 : 예 13 또는 예 14에 있어서, 다수의 상이한 프로세서인 하나 이상의 프로세서는 파이프 라인 처리를 사용하여 초해상도 계산을 수행한다.
예 16 : 예 1 내지 예 9에 의해 인용된 방법 중 임의의 하나를 수행하기 위한 수단을 포함하는 시스템.
예 17 : 예 10 내지 예 12에 의해 인용된 방법 중 임의의 하나를 수행하기 위한 수단을 포함하는 시스템.
예 19 : 실행될 때 예 1 내지 예 9에 의해 인용된 방법 중 임의의 하나를 수행하도록 프로세서를 구성하는 명령들을 포함하는 컴퓨터 판독 가능 저장 매체.
예 20 : 실행될 때 예 10 내지 예 12에 의해 인용된 방법 중 임의의 하나를 수행하도록 프로세서를 구성하는 명령들을 포함하는 컴퓨터 판독 가능 저장 매체.
예 21 : 예 1 내지 예 9 중 임의의 하나에 의해 인용된 방법을 수행하도록 구성된 사용자 디바이스.

Claims (15)

  1. 장면의 초해상도 이미지 렌더링에 사용되는 방법으로서, 상기 방법은 사용자 디바이스에 의해 수행되어:
    버스트 시퀀스로 장면의 이미지의 다수의 프레임을 캡처하는 단계와, 상기 다수의 프레임은 다수의 프레임의 캡처 동안 사용자 디바이스의 모션으로 인해 이미지의 각각의 상대적 서브 픽셀 오프셋을 가지며;
    캡처된 다수의 프레임을 사용하여 초해상도 계산을 수행하는 단계와, 상기 초해상도 계산은:
    가우시안 방사형 기저 함수 커널들을 계산하는 단계; 및
    강건성 모델을 계산하는 단계를 포함하고;
    초해상도 계산에 기초하여 컬러 평면들을 누적하는 단계와;
    장면의 초해상도 이미지를 생성하기 위해 누적된 컬러 평면들을 결합하는 단계와; 그리고
    장면의 초해상도 이미지를 렌더링하는 단계를 포함하는 것을 특징으로 하는 장면의 초해상도 이미지 렌더링에 사용되는 방법.
  2. 제1항에 있어서,
    상기 초해상도 계산을 수행하는 단계는,
    컬러 평면들에 대한 장면 이미지의 다수의 프레임의 픽셀들의 기여도를 결정하는 것을 특징으로 하는 장면의 초해상도 이미지 렌더링에 사용되는 방법.
  3. 제1항에 있어서,
    상기 사용자 디바이스의 모션은,
    버스트 시퀀스 동안 사용자 디바이스의 사용자에 의해 행해진 내추럴 핸드 헬드 모션에 해당하는 것을 특징으로 하는 장면의 초해상도 이미지 렌더링에 사용되는 방법.
  4. 제1항 내지 제3항 중 어느 하나에 있어서,
    상기 초해상도 계산을 수행하는 단계는,
    각각의 컬러 채널에 대한 컬러 특정 이미지 평면들 생성하기 위해 다수의 프레임 각각으로부터 픽셀 신호를 필터링하는 단계를 포함하는 것을 특징으로 하는 장면의 초해상도 이미지 렌더링에 사용되는 방법.
  5. 제4항에 있어서,
    상기 초해상도 계산을 수행하는 단계는,
    컬러 특정 이미지 평면들을 기준 프레임에 정렬시키는 단계를 포함하는 것을 특징으로 하는 장면의 초해상도 이미지 렌더링에 사용되는 방법.
  6. 제4항 내지 제5항 중 어느 하나에 있어서,
    상기 각각의 컬러 채널은,
    적색 채널, 청색 채널 및 녹색 채널에 해당하는 것을 특징으로 하는 장면의 초해상도 이미지 렌더링에 사용되는 방법.
  7. 제5항 내지 제6항 중 어느 하나에 있어서,
    상기 가우시안 방사형 기저 함수 커널들을 계산하는 단계는,
    기준 프레임에 정렬된 컬러 특정 이미지 평면들의 로컬 구배 구조 텐서들을 분석하는 것에 기초하여 커널 공분산 행렬을 계산하는 단계를 포함하는 것을 특징으로 하는 장면의 초해상도 이미지 렌더링에 사용되는 방법.
  8. 제7항에 있어서,
    상기 로컬 구배 구조 텐서들은,
    기준 프레임에 포함된 컨텐츠의 에지, 모서리 또는 텍스처 영역에 대응하는 것을 특징으로 하는 장면의 초해상도 이미지 렌더링에 사용되는 방법.
  9. 제1항 내지 제8항 중 어느 하나에 있어서,
    상기 강건성 모델을 계산하는 단계는,
    공간 컬러 표준 편차 또는 평균 차이를 계산하기 위해 통계적 근접 모델을 사용하는 것을 특징으로 하는 장면의 초해상도 이미지 렌더링에 사용되는 방법.
  10. 장치에 컬러 평면들을 제공하는 방법으로서, 상기 방법은,
    가우시안 방사형 기저 함수 커널들을 계산하는 단계와, 상기 가우시안 방사형 기저 함수 커널들을 계산하는 단계는:
    기준 프레임을 계산하는 단계; 및
    로컬 구배 구조 텐서들을 분석하는 것에 기초하여 커널 공분산 행렬을 계산하는 단계를 포함하고, 상기 로컬 구배 구조 텐서들은 기준 프레임에 포함된 컨텐츠의 에지, 모서리 또는 텍스처 영역에 대응하고;
    강건성 모델을 계산하는 단계와, 상기 강건성 모델을 계산하는 단계는 컬러 평균 및 공간 표준 편차를 계산하기 위해 통계적 근접 모델을 사용하는 것을 포함하고;
    계산된 가우시안 방사형 기저 함수 커널들 및 계산된 강건성 모델에 기초하여, 컬러 평면들에 대한 픽셀들의 기여도를 결정하는 단계와;
    컬러 평면들을 누적하는 단계와; 그리고
    누적된 컬러 평면들을 장치로 제공하는 단계를 포함하는 것을 특징으로 하는 컬러 평면들을 제공하는 방법.
  11. 제10항에 있어서,
    상기 누적된 컬러 평면들을 제공하는 단계는,
    저장하기 위해 상기 누적된 평면을 장치에 제공하는 단계를 포함하는 것을 특징으로 하는 컬러 평면들을 제공하는 방법.
  12. 제10항 또는 제11항에 있어서,
    상기 누적된 컬러 평면들을 장치에 제공하는 단계는,
    초해상도 이미지를 결합 및 렌더링하기 위해 상기 누적된 컬러 평면들을 장치에 제공하는 단계를 포함하는 것을 특징으로 하는 컬러 평면들을 제공하는 방법.
  13. 사용자 디바이스로서, 상기 사용자 디바이스는,
    하나 이상의 이미지 센서;
    하나 이상의 프로세서;
    디스플레이; 및
    하나 이상의 프로세서에 의해 실행될 때, 사용자 디바이스로 하여금 동작들을 수행하도록 지시하는 초해상도 관리자 애플리케이션의 명령들을 포함하는 컴퓨터 판독 가능 매체를 포함하고, 상기 동작들은,
    하나 이상의 이미지 센서를 사용하여 버스트 시퀀스로, 장면 이미지의 다수의 프레임을 캡처하는 동작과, 상기 다수의 프레임은 다수의 프레임에 걸쳐 이미지의 각각의 상대적 오프셋을 가지며;
    하나 이상의 프로세서를 사용하여, 장면 이미지의 캡처된 다수의 프레임을 사용하여 초해상도 계산을 수행하는 동작과;
    하나 이상의 프로세서를 사용하여, 초해상도 계산에 기초하여 평면들을 누적하는 동작과;
    하나 이상의 프로세서를 사용하여, 장면의 초해상도 이미지를 생성하도록 누적된 평면들을 결합하는 동작과; 그리고
    디스플레이를 사용하여, 장면의 초해상도 이미지를 렌더링하는 동작을 포함하는 것을 특징으로 하는 사용자 디바이스.
  14. 제13항에 있어서,
    하나 이상의 프로세서는 다수의 상이한 프로세서이고, 중앙 처리 장치, 이미지 처리 장치, 디지털 신호 프로세서 또는 그래픽 처리 장치를 포함하는 것을 특징으로 하는 사용자 디바이스.
  15. 제13항 또는 제14항에 있어서,
    다수의 상이한 프로세서인 하나 이상의 프로세서는 파이프 라인 처리를 사용하여 초해상도 계산을 수행하는 것을 특징으로 하는 사용자 디바이스.
KR1020217003929A 2018-08-09 2019-08-06 사용자 디바이스에 적용된 내추럴 핸드헬드 모션을 이용한 초해상도 KR102500779B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237004786A KR102555317B1 (ko) 2018-08-09 2019-08-06 사용자 디바이스에 적용된 내추럴 핸드헬드 모션을 이용한 초해상도

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862716921P 2018-08-09 2018-08-09
US62/716,921 2018-08-09
PCT/US2019/045342 WO2020033432A1 (en) 2018-08-09 2019-08-06 Super-resolution using natural handheld-motion applied to a user device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237004786A Division KR102555317B1 (ko) 2018-08-09 2019-08-06 사용자 디바이스에 적용된 내추럴 핸드헬드 모션을 이용한 초해상도

Publications (2)

Publication Number Publication Date
KR20210029248A true KR20210029248A (ko) 2021-03-15
KR102500779B1 KR102500779B1 (ko) 2023-02-16

Family

ID=67777402

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217003929A KR102500779B1 (ko) 2018-08-09 2019-08-06 사용자 디바이스에 적용된 내추럴 핸드헬드 모션을 이용한 초해상도
KR1020237004786A KR102555317B1 (ko) 2018-08-09 2019-08-06 사용자 디바이스에 적용된 내추럴 핸드헬드 모션을 이용한 초해상도

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020237004786A KR102555317B1 (ko) 2018-08-09 2019-08-06 사용자 디바이스에 적용된 내추럴 핸드헬드 모션을 이용한 초해상도

Country Status (6)

Country Link
US (1) US20210304359A1 (ko)
JP (2) JP7223117B2 (ko)
KR (2) KR102500779B1 (ko)
CN (1) CN112384945B (ko)
DE (1) DE112019003984T5 (ko)
WO (1) WO2020033432A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102612530B1 (ko) 2018-08-08 2023-12-11 구글 엘엘씨 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임
US11615510B2 (en) 2020-10-21 2023-03-28 Samsung Electronics Co., Ltd. Kernel-aware super resolution
US11880902B2 (en) * 2020-12-30 2024-01-23 Waymo Llc Systems, apparatus, and methods for enhanced image capture

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150169990A1 (en) * 2013-12-12 2015-06-18 Motorolla Mobility LLC Generating an Enhanced Image of a Predetermined Scene from a Plurality of Images of the Predetermined Scene

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8577184B2 (en) * 2005-01-19 2013-11-05 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
CN101226631B (zh) * 2007-12-12 2010-06-09 华为技术有限公司 一种超分辨率图像重构方法和装置
WO2009087641A2 (en) * 2008-01-10 2009-07-16 Ramot At Tel-Aviv University Ltd. System and method for real-time super-resolution
CN107346061B (zh) * 2012-08-21 2020-04-24 快图有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
US9392166B2 (en) 2013-10-30 2016-07-12 Samsung Electronics Co., Ltd. Super-resolution in processing images such as from multi-layer sensors

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150169990A1 (en) * 2013-12-12 2015-06-18 Motorolla Mobility LLC Generating an Enhanced Image of a Predetermined Scene from a Plurality of Images of the Predetermined Scene

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Barry K. Karch et al., "Robustsuper-resolution by fusion of interpolated frames for color and grayscale images", frontiers in Physics, (2015.4.24.)* *

Also Published As

Publication number Publication date
US20210304359A1 (en) 2021-09-30
KR102500779B1 (ko) 2023-02-16
DE112019003984T5 (de) 2021-06-02
JP2021533496A (ja) 2021-12-02
JP2023058558A (ja) 2023-04-25
CN112384945B (zh) 2024-06-25
CN112384945A (zh) 2021-02-19
JP7490100B2 (ja) 2024-05-24
KR102555317B1 (ko) 2023-07-14
WO2020033432A1 (en) 2020-02-13
KR20230027316A (ko) 2023-02-27
JP7223117B2 (ja) 2023-02-15

Similar Documents

Publication Publication Date Title
JP7490100B2 (ja) ユーザデバイスに適用される自然の手持ち式の動きを用いた超解像
KR102471595B1 (ko) 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임
US10762655B1 (en) Disparity estimation using sparsely-distributed phase detection pixels
KR20150116833A (ko) 에지-보존 잡음 억제 기능을 갖는 이미지 프로세서
US9818199B2 (en) Method and apparatus for estimating depth of focused plenoptic data
US9292905B2 (en) Method and device for processing of an image by regularization of total variation
US10460487B2 (en) Automatic image synthesis method
JP7328096B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2013178684A (ja) 奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラム
US20180115766A1 (en) 3d image reconstruction based on lensless compressive image acquisition
CN111835968B (zh) 图像清晰度还原方法及装置、图像拍摄方法及装置
JP2019016865A (ja) 画像処理装置、画像処理方法
JP6314281B1 (ja) 画像処理方法及び前景領域取得方法
JP2018072941A (ja) 画像処理装置、画像処理方法、プログラム、記憶媒体
JP2019191681A (ja) 画像処理装置、その制御方法およびプログラム
JP2015035698A (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant