KR20220162861A - 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임 - Google Patents

장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임 Download PDF

Info

Publication number
KR20220162861A
KR20220162861A KR1020227041057A KR20227041057A KR20220162861A KR 20220162861 A KR20220162861 A KR 20220162861A KR 1020227041057 A KR1020227041057 A KR 1020227041057A KR 20227041057 A KR20227041057 A KR 20227041057A KR 20220162861 A KR20220162861 A KR 20220162861A
Authority
KR
South Korea
Prior art keywords
super
scene
resolution
image
motion
Prior art date
Application number
KR1020227041057A
Other languages
English (en)
Other versions
KR102509466B1 (ko
Inventor
이 훙 첸
치아 카이 리앙
바르트로미에이 마치에이 브론스키
페이맨 밀란파
이그나시오 가르시아 도라도
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Priority to KR1020237008081A priority Critical patent/KR102612530B1/ko
Publication of KR20220162861A publication Critical patent/KR20220162861A/ko
Application granted granted Critical
Publication of KR102509466B1 publication Critical patent/KR102509466B1/ko

Links

Images

Classifications

    • H04N5/2328—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4069—Super resolution, i.e. output image resolution higher than sensor resolution by subpixel displacement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H04N5/23232—
    • H04N5/23258—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 개시는 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임에 관한 시스템 및 기술을 설명한다. 시스템 및 기술은 광학 이미지 안정화 시스템(114)을 통해, 사용자 디바이스(102)의 카메라 시스템(112)의 하나 이상의 컴포넌트로 움직임을 도입하는(502) 사용자 디바이스(102)를 포함한다. 이어서 사용자 디바이스(102)는 장면 이미지의 개별 및 다수의 프레임(306)을 캡처하는데 (504), 여기서 장면 이미지의 개별 및 다수의 프레임(306)은 카메라 시스템(112)의 하나 이상의 컴포넌트로의 움직임의 결과로서 다수의 프레임(306)에 걸친 장면 이미지의 개별 서브-픽셀 오프셋을 갖는다. 사용자 디바이스(102)는 각각의 다수의 프레임(306)에 걸친 장면 이미지의 개별 서브 픽셀 오프셋에 기초하여, 초해상도 계산을 수행하고(506), 그 초해상도 계산에 기초하여 장면의 초해상도 이미지를 생성한다(508).

Description

장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임{OPTICAL IMAGE STABILIZATION MOVEMENT TO CREATE A SUPER-RESOLUTION IMAGE OF A SCENE}
DLSR(digital lens single-reflex) 카메라 또는 이미지 센서를 갖는 스마트 폰과 같은 오늘날의 사용자 디바이스와 관련된 카메라 기술은 여러 분야에서 발전했다. 일 예로, 사용자 디바이스는 광학 이미지 안정화(OIS) 카메라 모듈을 포함하여, 이미지 센서를 갖는 카메라 시스템을 OIS 시스템과 결합하여 사용자 디바이스가 이미지를 캡처하는 동안 사용자 디바이스의 움직임을 보상할 수 있다. 다른 예로, 사용자 디바이스는 장면의 다수의 저해상도 이미지로부터 초해상도 이미지를 생성하는 초해상도 기능을 포함할 수 있으며, 장면의 다수의 저해상도 이미지는 카메라 시스템의 고유 해상도 기능을 사용하여 캡처된 다수의 이미지이며, 초해상도 이미지는 카메라 시스템의 고유 해상도 기능보다 높은 해상도의 이미지이다.
일부 경우(instance)에서, OIS 시스템의 사용은 사용자 디바이스의 초해상도 기능과 호환되지 않거나 상충된다. 예를 들어, 장면의 다수의 저해상도 이미지가 초해상도 알고리즘이 작동하기 위해 장면 이미지의 위치 오프셋(또는 픽셀 위치의 차이)을 반영해야 하는 경우, 그 장면의 다수의 저해상도 이미지를 캡처하는 동안 OIS 시스템에 의해 도입된 안정성은 필요한 위치 오프셋을 방지할 수 있다. 다른 예로서, 사용자 디바이스가 움직임이 없는 안정 상태에 있는 경우(그리고 OIS 시스템이 다중 저해상도 이미지의 캡처 동안 작동하지 않거나 모션을 보상하지 않는 경우), 다수의 저해상도 이미지는 동일할 수 있고 필요한 위치 오프셋을 갖지 않을 수 있다.
또한, 사용자 디바이스는 셔터 버튼을 누르기 전후에 발생하는 버스트 시퀀스 모드뿐만 아니라 셔터 버튼을 누르는 것과 거의 동시에 발생하는 제로 셔터-지연 모드 동안을 포함하는 다양한 모드에서 다수의 장면 이미지를 캡처할 수 있다. 이러한 경우에 OIS 시스템과 사용자 디바이스의 초해상도 기능 사이의 전술한 비 호환성은 그 자체로 더욱 복잡해 진다.
본 발명은 장면의 초해상도 이미지를 생성하기 위해 광학 이미지 안정화 움직임에 관한 시스템 및 기술을 설명한다. 이 시스템 및 기술은 광학 이미지 안정화 시스템을 사용하여 사용자 디바이스의 카메라 시스템의 하나 이상의 컴포넌트에 대한 움직임을 도입하는 사용자 디바이스를 포함한다. 그런 다음, 사용자 디바이스는 장면 이미지의 각각의 및 다수의 프레임을 캡처하는데, 여기서 장면 이미지의 각각의 및 다수의 프레임은 카메라 시스템의 하나 이상의 컴포넌트로의 도입된 움직임의 결과로서 다수의 프레임에 걸쳐 장면 이미지의 개별 서브-픽셀 오프셋을 갖는다. 사용자 디바이스는 각각의 다수의 프레임에 걸친 장면 이미지의 각각의 서브-픽셀 오프셋에 기초하여, 초해상도 계산을 수행하고 그 초해상도 계산에 기초하여 장면의 초해상도 장면 이미지를 생성한다.
따라서, 시스템 및 기술은 광학 이미지 안정화(OIS) 시스템 성능에 영향을 미치지 않으면서 초해상도 이미지를 생성할 수 있다. 또한, 시스템 및 기술은 사용자를 방해하지 않고 카메라 시스템의 하나 이상의 컴포넌트를 안정화시키고, "제로 셔터 지연" 모드로 작업하고, 사용자가 셔터 움직임을 누를 때까지 기다릴 필요가 없으므로 고품질 이미지를 얻는 데나 사용자 경험에 해로울 수 있는 입력 지연 및 대기 시간을 최소화할 수 있다.
일부 양태에서, 장면의 초해상도 이미지를 생성하는데 사용되는 방법이 설명된다. 방법은 사용자 디바이스가 사용자 디바이스의 카메라 시스템의 하나 이상의 컴포넌트로 움직임을 도입하는 단계를 포함한다. 방법의 일부로서, 사용자 디바이스는 장면 이미지의 개별 및 다수의 프레임을 캡처하는데, 여기서 장면 이미지의 개별 및 다수의 프레임은 카메라 시스템의 하나 이상의 컴포넌트로의 움직임의 결과로서 다수의 프레임에 걸쳐 장면 이미지의 개별 서브-픽셀 오프셋을 갖는다. 방법은 각각의 다수의 프레임에 걸친 장면 이미지의 개별 서브 픽셀 오프셋에 기초하여, 사용자 디바이스는 초해상도 계산을 수행하고 그 초해상도 계산에 기초하여 장면의 초해상도 이미지를 생성한다.
또 다른 양태에서, 사용자 디바이스가 설명된다. 사용자 디바이스는 이미지 센서 및 OIS 시스템을 갖는 카메라 시스템, 프로세서들 및 디스플레이를 포함한다. 사용자 디바이스는 또한 프로세서들에 의해 실행될 때 사용자 디바이스로 하여금 일련의 동작들을 수행하도록 지시하는 보완 기능(complementary functions)을 수행하는 광학 이미지-안정화 시스템 구동 관리자 애플리케이션 및 초해상도 관리자 애플리케이션의 명령들을 저장하는 컴퓨터 판독 가능 저장 매체를 포함한다.
일련의 동작들은 하나 이상의 프로세서에 의해, 장면 이미지를 캡처하도록 사용자 디바이스에 지시하는 명령을 수신하는 단계를 포함한다. 일련의 동작은 또한 장면 이미지를 캡처하는 동안 카메라 시스템의 하나 이상의 컴포넌트로 움직임을 도입하는 단계와, 상기 도입된 움직임은 다수의 프레임에 걸친 이미지의 개별 서브-픽셀 오프셋을 갖는 장면 이미지의 개별 및 다수의 프레임의 캡처를 초래하고; 하나 이상의 프로세서에 의해 그리고 다수의 프레임에 걸쳐 장면 이미지의 개별 서브 픽셀 오프셋에 기초하여, 초해상도 계산을 수행하는 단계를 포함한다. 일련의 동작들은 초해상도 계산에 기초하여 하나 이상의 프로세서에 의해 장면의 초해상도 이미지를 생성하는 단계 및 디스플레이에 의해 장면의 초해상도 이미지를 렌더링하는 단계를 더 포함한다.
하나 이상의 구현의 세부 사항은 첨부 도면 및 다음의 설명에서 기술된다. 다른 특징 및 장점은 상세한 설명 및 도면 및 청구 범위로부터 명백할 것이다. 이 요약은 상세한 설명 및 도면에서 추가로 설명되는 주제를 소개하기 위해 제공된다. 따라서, 독자는 필수 특징을 설명하거나 청구된 주제의 범위를 제한하기 위해 요약을 고려해서는 안된다.
본 발명은 장면의 초해상도 이미지를 생성하기 위해 광학 이미지 안정화 움직임과 관련된 하나 이상의 양태의 세부 사항을 기술한다.
도 1은 초해상도 이미지 장면을 생성하기 위한 광학 이미지 안정화 움직임의 다양한 양태가 수행되는 예시적인 동작 환경을 도시한다.
도 2는 OIS 시스템에 의해 도입된 움직임의 예시적인 양태를 도시한다.
도 3은 모션 조건을 검출하고 OIS 시스템에 움직임을 도입하는 것과 관련된 예시적인 양태를 도시한다.
도 4는 초해상도 계산을 수행하여 장면의 초해상도 이미지를 생성하기 위해 서브-픽셀 오프셋을 갖는 다중 프레임을 사용하는 예시적인 양태를 도시한다.
도 5는 장면의 초해상도 이미지를 생성하기 위해 광학 이미지 안정화 움직임에 사용되는 예시적인 방법을 도시한다.
본 발명은 장면의 초해상도 이미지를 생성하기 위해 광학 이미지 안정화 움직임에 관한 시스템 및 기술을 설명한다.
장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임을 위한 설명된 시스템 및 기술의 특징 및 개념은 임의의 수의 상이한 환경, 시스템, 디바이스 및/또는 다양한 구성으로 구현될 수 있지만, 양태는 다음의 예시적인 디바이스, 시스템 및 구성과 관련하여 설명한다.
예시적인 운영 환경
도 1은 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임의 다양한 양태가 수행되는 예시적인 동작 환경(100)을 도시한다. 도시된 바와 같이, 사용자 디바이스(102)는 삼각대(104)에 고정되어 캡처중인 장면의 초해상도 이미지(106)를 렌더링한다. 스마트 폰으로서 도시되어 있지만, 사용자 디바이스(102)는 DLSR 카메라 또는 태블릿과 같은 이미지 캡처 기능을 갖는 다른 유형의 디바이스일 수 있다. 삼각대(104)에 사용자 디바이스(102)의 고정은 사용자 디바이스(102)가 모션없이 정지되도록 사용자 디바이스(102)를 제한한다.
사용자 디바이스(102)는 사용자 디바이스(102)의 모션 조건을 검출하는 하나 이상의 모션 센서(들)(108)(예를 들어, 자이로 스코프, 가속도계)의 조합을 포함한다. 사용자 디바이스(102)가 삼각대(104)에 고정되는 경우와 같은 일부 경우에서, 검출된 모션 조건은 정적 모션 조건(즉, 사용자 디바이스(102)가 움직이지 않는)일 수 있다. 사용자 디바이스(102)가 삼각대(104)로부터 제거되는 경우와 같은 다른 사례에서, 검출된 모션 조건은 동적 모션 조건(즉, 정적 모션 조건이 아닌 임의의 모션 조건)일 수 있다.
사용자 디바이스는 또한 카메라 시스템(112) 및 OIS 시스템(114)을 포함하는 OIS(Optical Image Stabilization) 카메라 모듈(110)을 포함한다. 카메라 시스템(112)은 렌즈, 조리개 및 하나 이상의 이미지 센서(예를 들어, 40 메가 픽셀 (MP), 32MP, 16MP, 8MP)와 같은 다수의 컴포넌트를 포함할 수 있다. 이미지 센서(들)는 CMOS(complementary metal-oxide semiconductor) 이미지 센서 또는 CCD (charge-coupled device) 이미지 센서를 포함할 수 있다. 일부 경우에서, 이미지 센서(들)는 이미지 센서의 픽셀들을 오버레이하고 픽셀들을 통해 기록된 광의 컬러 파장과 관련된 강도를 제한하는 컬러 필터 어레이(CFA)를 포함할 수 있다. 이러한 CFA의 예는 Bayer CFA이며, 이는 적색 파장, 청색 파장 및 녹색 파장에 따라 광을 필터링한다.
OIS 시스템(114)은 일반적으로 카메라 시스템(112)의 하나 이상의 컴포넌트의 물리적 위치 또는 방향을 수정하기 위한 메커니즘을 제공한다. OIS 시스템(114)은 평면내 위치, 평면외 위치, 피치, 요, 또는 카메라 시스템(112)의 하나 이상의 컴포넌트의 틸트(기울기)를 변경할 수 있는 마이크로-스케일(micro-scale) 모터 및 자기 유도 위치(magnetic-induction positioning) 메커니즘을 포함할 수 있다. 평면내 위치는 2개의 축에 의해 정의된 평면 내에 있는 위치일 수 있는 반면, 평면외 위치는 2개의 축에 의해 정의된 평면 외부에 있는 다른 위치일 수 있다.
사용자 디바이스(102)는 또한 하나 이상의 프로세서(들)(116)의 조합을 포함한다. 프로세서(116)는 실리콘, 폴리 실리콘, 고 유전율(high-K) 유전체, 구리 등과 같은 다양한 재료로 구성된 단일 코어 프로세서 또는 다중 코어 프로세서일 수 있다. 다수의 프로세서(116)의 경우(예를 들어, 하나 이상의 프로세서의 조합)에서, 다수의 프로세서(116)는 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 디지털 신호 프로세서(DSP) 또는 이미지 처리 자치(IPU)를 포함할 수 있다. 또한, 이러한 경우에서, 다수의 프로세서(116)는 파이프 라인 처리를 사용하여 둘 이상의 컴퓨팅 동작을 수행할 수 있다.
사용자 디바이스(102)는 또한 OIS 구동 관리자(120) 및 초해상도 관리자(122) 형태의 실행 가능한 명령들을 포함하는 컴퓨터 판독 가능 저장 매체 (CRM)(118)를 포함한다. 본 명세서에 설명된 CRM(118)은 전파 신호를 배제한다. CRM(118)은 랜덤 액세스 메모리(RAM), 정적 RAM(SRAM), 동적 RAM(DRAM), 비-휘발성 RAM(NVRAM), 판독 전용 메모리(ROM), 또는 OIS 구동 관리자(120) 및 초해상도 관리자(122)를 저장하는데 사용 가능한 플래시 메모리와 같은 임의의 적절한 메모리 또는 저장 디바이스를 포함할 수 있다.
일부 경우에서, OIS 구동 관리자(120) 및 초해상도 관리자(122)는 프로세서(116)에 의해 실행되어, 사용자 디바이스(102)가 OIS 움직임(예를 들어, 물리적 움직임 또는 카메라 시스템(112)의 하나 이상의 엘리먼트의 위치에 대한 변경)을 생성하는데 효과적인 보완 기능을 수행하고, 서브-픽셀 오프셋을 갖는 장면 이미지의 다수의 프레임을 캡처하고, 초해상도 장면 이미지(106)를 계산할 수 있다. 일부 경우에서, OIS 움직임은 사용자 디바이스를 조작하는 사용자의 내추럴 핸드 헬드 모션(예를 들어, 사용자의 손떨림 또는 다른 내추럴 생체 역학)을 통해 나타나는 카메라 시스템(112)에 대한 위치 변화에 해당할 수 있다.
OIS 구동 관리자(120)의 코드 또는 명령은 프로세서(116)를 사용하여 실행되어, OIS 시스템(114)이 OIS 움직임을 수행하도록 지시할 수 있다. 일부 경우에서, OIS 움직임은 동기화되지 않은 움직임(예를 들어, 위치 변위의 사전 결정된 범위 내의 그리고 시간 동기화가 없는 움직임)일 수 있다. 이러한 동기화되지 않은 움직임은 정적 모션 조건에 적용 가능하다.
다른 경우에서, OIS 움직임은 동기화된 움직임(예를 들어, 사용자 디바이스(102)의 검출된 모션에 의존하고 시간적으로 동기화된 위치 변위의 범위에 대응하는 움직임)일 수 있다. 이러한 동기화된 움직임은 동적 모션 조건에 적용 가능하고 OIS 시스템(114)에 도입된 다른 OIS 움직임에 중첩될 수 있다.
초해상도 관리자(122)의 코드 또는 명령은 프로세서(116)에 의해 실행될 때, OIS 구동 관리자(120)의 지시하에 수행된 동작들에 상보적인 다수의 동작을 수행하도록 사용자 디바이스(102)에 지시할 수 있다. 이러한 동작들은 버스트 시퀀스(burst sequence)로 장면 이미지의 다수의 프레임을 캡처하고, 초해상도 계산을 수행하고, 사용자 디바이스의 디스플레이(124)를 사용하여 장면의 초해상도 이미지(106)를 렌더링하도록 카메라 시스템(112)에 지시하는 단계를 포함할 수 있다.
OIS 움직임(예를 들어, OIS 구동 관리자(120)의 지시하에 OIS 시스템(114)에 의해 카메라 시스템(112)에 도입된 움직임)으로 인해, 카메라 시스템(112)은 장면 이미지의 다수의 변형(126, 128, 130)을 캡처할 수 있는데, 여기서 다수의 변형 (126-130)은 다수의 프레임에 걸쳐 이미지의 각각의 서브-픽셀 오프셋을 갖는 장면 이미지의 다수의 프레임에 대응한다.
OIS 움직임 동안, OIS 구동 관리자(120)는 장면 이미지의 다수의 프레임의 균일한 샘플링을 통해 분석적으로 또는 수치적으로 커버리지 스코어(coverage scores)를 계산할 수 있다. 계산된 커버리지 스코어는 일부 경우에서, 추가적인 또는 보충적인 OIS 움직임이 그 캡처된 다수의 변형(126-130)의 이미지 콘텐츠를 정의하게 할 수 있다. 이러한 움직임은 장면 이미지의 전체 커버리지를 보장하고 더 높은 품질의 이미지를 생성할 수 있다.
초해상도 계산은 예를 들어 장면의 초해상도 이미지(106)를 생성하기 위해 강건성 모델 계산과 결합된 가우시안 방사형 기본 함수(RBF : Gaussian radial basis function) 계산을 포함할 수 있다. 초해상도 계산은 장면 이미지의 변형(126-130)(예를 들어, 다수의 프레임에 걸쳐 이미지의 각각의 서브-픽셀 오프셋을 갖는 장면 이미지의 다수의 프레임)을 사용하여 장면의 초해상도 이미지(106)를 생성한다.
도 2는 OIS 시스템에 의해 도입된 움직임의 예시적인 양태(200)를 도시한다. 양태(200)는 도 1의 사용자 디바이스(102)의 카메라 시스템(112) 및 OIS 시스템(114)을 포함한다.
도시된 바와 같이, OIS 시스템(114)은 카메라 시스템(112)에 움직임을 도입할 수 있다. "평면내" 움직임은 x 축(202) 및 y 축(204)에 의해 정의된 평면 내에 포함된 움직임일 수 있다. x 축(202) 및 y 축(204)에 의해 정의된 평면은 장면의 초해상도 이미지(106)를 갖는 다른 평면에 대응한다(예를 들어, 평행하다). "평면외" 움직임은 x 축(202) 및 y 축(204)에 의해 정의된 평면 외부의 움직임일 수 있고, z 축(206)을 따르는 움직임 또는 피치, 요 또는 롤을 포함하는 다른 움직임일 수 있다.
OIS 시스템(114)에 의해 도입된 움직임은 하나 이상의 인자(factor)에 의해 트리거될 수 있다. 예를 들어, OIS 시스템(114)에 도입된 움직임은 사용자 디바이스(102)가 뷰 파인더 모드로 진입하는 것에 응답하여, 사용자 디바이스(102)가 캡처 명령을 수신하는 것에 응답하여, 또는 사용자 디바이스(102)가 모션 센서(108)를 통해 모션 조건을 검출하는 것에 응답하여 이루어질 수 있다. OIS 시스템(114)에 의해 도입된 움직임은 또한 하나 이상의 이러한 인자의 조합을 통해 트리거될 수 있다.
도 3은 모션 조건을 검출하고 OIS 시스템에 움직임을 도입하는 것과 관련된 예시적인 양태(300)를 도시한다. 예시적인 양태(300)는 도 1의 사용자 디바이스(102) 및 도 2의 OIS 카메라 모듈(110)에 의해 수행될 수 있다. (프로세서(116)에 의해 실행되는) OIS 구동 관리자(120)는 OIS 시스템(114)을 통해 카메라 시스템(112)에 움직임을 도입할 수 있다. 일부 경우에서, OIS 시스템(114)을 통해 카메라 시스템(112)에 도입된 움직임은 장면 이미지를 캡처하는 동안 간단히 카메라 시스템(112)을 안정화시킬 수 있는 반면, 다른 경우에서 OIS 시스템(114)을 통해 카메라 시스템(112)에 도입된 움직임은 장면의 다수의 이미지를 캡처하는 동안 장면의 다수의 이미지에 서브-픽셀 오프셋을 도입할 수 있다. 또 다른 경우에서, OIS 시스템(114)을 통해 카메라 시스템(112)에 도입된 움직임은 장면 이미지의 일부 프레임의 캡처를 안정화시키고(예를 들어, 명확성 목적을 위해 서브 픽셀 오프셋이 없음) 또한 장면 이미지의 다른 프레임을 캡처하는 동안 오프셋을 도입하는 움직임의 조합일 수 있다(예를 들어, 초해상도 목적을 위해 서브 픽셀 오프셋을 보존함).
예시적인 양태(300)는 모션 조건(302)의 검출, 움직임(304)의 도입, 및 서브-픽셀 오프셋을 갖는 다수의 프레임(306)의 캡처(프레임(308-312)은 도 1의 변형(126-128)에 대응함)를 포함한다. 다수의 프레임(306)은 초해상도 이미지(106)를 계산하고 형성하기 위한 기반으로서 기능한다. 사용자 디바이스(102)는 버스트 시퀀스 동안 장면의 초해상도 이미지(106)의 다른 해상도보다 낮은 해상도를 사용하여 다수의 프레임(306)을 캡처할 수 있다.
모션 조건(302)의 검출은 정적 모션 조건(314) 또는 동적 모션 조건(318)을 검출하는 것을 포함할 수 있다. 카메라 시스템(112)으로의 움직임(304)의 도입은 버스트 시퀀스 동안, 동기화되지 않은 OIS 움직임(316) 또는 동기화된 OIS 움직임(320)을 도입하는 OIS 구동 관리자(120)를 포함할 수 있다.
동기화된 OIS 움직임(320)의 경우에서, OIS 시스템(114)은 검출된 동적 모션 조건(318)으로부터 카메라 시스템(112)을 안정화시키도록(예를 들어, 서브-픽셀 오프셋없이 선명하게 장면 이미지의 프레임을 캡처하기 위해 카메라 시스템(112)을 안정화시키도록) 의도된 제1 움직임을 도입할 수 있다. 동기화된 움직임(320)은 장면 이미지의 프레임에 걸쳐 서브-픽셀 오프셋을 생성 또는 보존하려는 의도로 제1 움직임(예를 들어, 검출된 동적 모션 조건(318)과 관련된 움직임과 반대되는 움직임)과 동기화되고 그에 중첩되는 제2 움직임일 수 있다. 제1 움직임의 크기에 따라, 제2 움직임의 중첩은 본질적으로 구성적이거나 파괴적일 수 있다(예를 들어, 제1 움직임에 "추가(add to)" 또는 "감소(subtract from)"). 또한, 제2 움직임의 일부는 픽셀보다 클 수 있는 반면, 제2 움직임의 일부는 픽셀보다 작을 수 있다.
버스트 시퀀스는 예를 들어 1 밀리 초 내지 3 밀리 초, 1 밀리 초 내지 5 밀리 초, 또는 1/2 밀리 초 내지 10 밀리 초 범위일 수 있는 설정 시간 간격으로 다수의 프레임(306)을 캡처하는 것을 포함할 수 있다. 또한, 일부 경우에서, 버스트 시퀀스의 시간 간격은 사용자 디바이스의 모션에 기초하여 가변적일 수 있다(예를 들어, 시간 간격은 1 픽셀 미만으로 오프셋을 유지하기 위해 사용자 디바이스(102)의 저속 모션 동안의 다른 시간 간격보다 사용자 디바이스(102)의 고속 모션 동안 "더 짧을" 수 있다).
버스트 시퀀스 동안 움직임(304)의 도입은 다수의 프레임(306)이 각각의 상대적인 서브-픽셀 오프셋을 갖도록 사용자 디바이스(102)가 다수의 프레임(306)을 캡처하게 한다. 도시된 바와 같이, 프레임(310)의 이미지는 프레임(308)의 이미지에 대하여, 각각 수평으로 1/2 픽셀 및 수직으로 1/2 픽셀 오프셋된다. 또한, 도시된 바와 같이, 프레임(312)의 이미지는 프레임(308)의 이미지에 대하여, 각각 수평으로 1/4 픽셀 오프셋된다. 각각의 상대적인 서브-픽셀 오프셋은 상이한 크기 및 서브-픽셀 오프셋의 조합을 포함할 수 있다(예를 들어, 하나의 프레임과 관련된 하나의 서브-픽셀 오프셋은 수평으로 1/4 픽셀 및 수직으로 픽셀의 3/4일 수 있는 반면, 다른 프레임과 관련된 다른 서브 픽셀 오프셋은 수평으로 0 픽셀 및 수직으로 1/2 픽셀일 수 있다). 일반적으로, 본 발명에 의해 설명된 기술 및 시스템은 불균일한 서브 픽셀 오프셋을 포함하여 프레임(308-312)의 예시 및 설명보다 더 랜덤한 서브 픽셀 오프셋을 수용할 수 있다.
도 4는 초해상도 계산을 수행하고 장면의 초해상도 이미지를 생성하기 위해 OIS 움직임에 의해 도입된 바와 같이 서브 픽셀 오프셋을 갖는 다수의 프레임(306)을 사용하는 예시적인 양태(400)를 도시한다. 예시적인 양태(400)는 도 1 내지 도 3의 엘리먼트들을 사용할 수 있고, 초해상도 계산을 수행하는 것은 도 1의 사용자 디바이스(102)에 의해 수행되고, 서브-픽셀 오프셋은 도 2의 OIS 움직임의 결과이고, 서브 픽셀 오프셋을 갖는 다수의 프레임은 도 3의 다수의 프레임(306)이다.
도 4에 도시된 바와 같이, 다수의 프레임(306)은 사용자 디바이스(102)에 의해 수행되는 초해상도 계산(402)으로의 입력이다. 초해상도 계산(402)을 지원하는 알고리즘은 사용자 디바이스(102)의 초해상도 관리자(122)에 존재할 수 있다. 일부 경우에서, 사용자 디바이스(102)(예를 들어, 다수의 프로세서(116))는 파이프 라인 처리를 사용하여 초해상도 계산(402)의 부분들을 수행할 수 있다. 일반적으로, 초해상도 계산(402)은 다양한 알고리즘 및 기술을 사용할 수 있다.
초해상도 계산(402)의 제1 예는 가우스 방사형 기본 함수(RBF) 커널 계산을 포함한다. 가우시안 RBF 커널 계산을 수행하기 위해, 사용자 디바이스(102)는 다수의 프레임(306)의 각 프레임으로부터의 픽셀 신호를 필터링하여 컬러 채널에 대응하는 각각의 컬러-특정 이미지 평면을 생성한다. 그런 다음 사용자 디바이스(102)는 각각의 컬러-특정 이미지 평면을 선택된 기준 프레임에 정렬시킨다.
초해상도 계산(402)의 제1 예를 계속하면, 가우시안 RBF 커널 계산은 공분산 행렬을 계산하기 위해 로컬 구배 구조 텐서(local gradient structure tensors)를 분석하는 사용자 디바이스(102)를 포함할 수 있다. 공분산 행렬을 계산하는 것은 다음 수학 관계식에 의존할 수 있다.
Figure pat00001
수학 관계식(1)에서, Ω는 커널 공분산 행렬을 나타내고, e1 및 e2는 직교 방향 벡터를 나타내고, 2개의 관련 고유값(λ1 과 λ2 및 k1 및 k2)은 원하는 커널 분산을 제어한다.
로컬 구배 구조 텐서의 계산은 다음 수학 관계식에 의존할 수 있다.
Figure pat00002
수학 관계식(2)에서, Ix 및 Iy는 각각 수평 및 수직 방향의 로컬 이미지 구배(기울기)를 나타낸다.
또한, 초해상도 계산(402)의 제1 예의 일부로서, 사용자 디바이스(102)는 컬러 평균 및 공간 표준 편차 계산을 포함하는 통계적 이웃 모델을 사용하여 강건성 모델을 계산할 수 있다. 강건성 모델 계산은 일부 경우 색차를 보상하기 위해 잡음 제거 계산을 포함할 수 있다.
초해상도 이미지 계산(402)은 다수의 프레임(306) 각각에 대해(예를 들어, 프레임(308, 310 및 312)에 대해), 각각의 컬러 평면과 관련된 컬러 채널에 대한 픽셀의 기여(contribution)를 추정하는데 효과적이다.
초해상도 계산(402)의 제1 예를 계속하면, 컬러 평면이 정규화 계산을 위해 다음 수학 관계식을 사용하여 누적될 수 있다.
Figure pat00003
수학 관계식(3)에서, x와 y는 픽셀 좌표를 나타내고, 합 Σn은 기여 프레임에 대해 연산하고(기여 프레임의 합이고), 합 Σi는 로컬 이웃에 있는 샘플의 합이고, cn, i는 주어진 프레임 n과 샘플 i에서의 베이어 픽셀 값을 나타내고, wn, i는 로컬 샘플 가중치를 나타내고,
Figure pat00004
은 로컬 강건성을 나타낸다. 축적된 컬러 평면은 장면의 초해상도 이미지(106)를 생성하기 위해 결합될 수 있다.
초해상도 계산(402)의 제2 예는 모션 블러(blur)의 영향을 분석하는 것을 포함할 수 있다. 이러한 초해상도 계산은 양자화 오류로 인한 픽셀 측정의 불확실성을 해결하는 "솔루션의 볼륨" 계산 접근법을 사용하여 다수의 이미지(예를 들어, 다수의 프레임(306))의 모션 블러의 영향을 분석할 수 있다.
초해상도 계산(402)의 제3 예는 프레임-반복 접근법을 사용하는 계산을 포함할 수 있다. 이러한 접근법은 이전의 저해상도 프레임, 이전에 계산된 고해상도 이미지 및 현재의 저해상도 프레임을 반복적으로 사용하여, 현재의 초해상도 이미지를 생성할 수 있다(예를 들어, 이전 저해상도 프레임 및 현재 저해상도 프레임은 각각 프레임(308) 및 프레임(310)일 수 있다). 반복 접근법은 정규화된 저해상도 플로우(flow, 흐름) 맵을 추정하기 위한 플로우 추정, 고해상도 플로우 맵을 생성하기 위해 스케일링 계수로 저해상도 플로우 맵 업스케일링, 이전의 고해상도 이미지를 왜곡(warp)하기 위해 고해상도 플로우 맵 사용, 왜곡된 이전의 고해상도 이미지를 저해상도 공간에 매핑 및 저해상도 공간의 매핑을 현재의 초 해상도 이미지에 연결하는 것(concatenating)을 포함할 수 있다.
도 4의 초해상도 계산(402)은 또한 이전 예에서 설명된 것과 다른 또는 추가의 알고리즘 또는 기술을 사용할 수 있다. 이러한 알고리즘 및 기술은 기계 학습 알고리즘 및 기술을 포함할 수 있다. 여하튼, 본 개시에 따르면, 카메라 시스템(112)의 하나 이상의 컴포넌트로 움직임을 도입하는 것은 다른 알고리즘 및 기술에 적용 가능하다.
예시적인 방법
예시적인 방법(500)은 장면의 초해상도 이미지를 생성하기 위해 광학 이미지 안정화 움직임과 관련된 하나 이상의 형태에 따라 도 5를 참조하여 설명된다. 일반적으로, 본 명세서에 기술된 임의의 컴포넌트, 모듈, 방법 및 동작들은 소프트웨어, 펌웨어, 하드웨어(예를 들어, 고정 논리 회로), 수동 처리 또는 이들의 임의의 조합을 사용하여 구현될 수 있다. 예시적인 방법의 일부 동작은 컴퓨터 처리 시스템에 대해 로컬 및/또는 원격인 컴퓨터 판독 가능 저장 메모리에 저장된 실행 가능 명령들의 일반적인 맥락에서 설명될 수 있으며, 구현은 소프트웨어 애플리케이션, 프로그램, 기능 등을 포함할 수 있다. 대안적으로 또는 추가적으로, 본 명세서에 기술된 임의의 기능은 이에 한정되지 않지만 FPGA(Field-programmable Gate Arrays), ASIC(Application-Specific Integrated Circuits), ASSP(Application-Specific Standard Products), SoC(System-on-a-Chip system) 또는 CPLD(Complex Programmable Logic Devices)와 같은 하나 이상의 하드웨어 로직 컴포넌트에 의해 적어도 부분적으로 수행될 수 있다.
도 5는 장면의 초해상도 이미지 생성의 일부로서 사용되는 방법(500)의 예시적인 양태를 도시한다. 방법(500)은 수행될 수 있는 동작들을 지정하는 블록 세트(502-508)의 형태로 설명된다. 그러나, 동작들은 대안적인 순서로, 완전히 또는 부분적으로 겹치는 방식 또는 반복적인 방식으로 구현될 수 있기 때문에 동작들은 도 5에 도시되거나 본 명세서에 설명된 순서로 반드시 제한되는 것은 아니다. 또한, 방법(500)에 의해 표현된 동작들이 도 2 내지 도 4의 엘리먼트를 사용하여 도 1의 사용자 디바이스(102)에 의해 수행되는 맥락에서 설명될 것이지만, 동작들(또는 동작의 일부)은 초해상도 관리자(122)의 명령들(또는 명령의 일부)을 포함하는 서버 또는 클라우드 컴퓨팅 디바이스와 같은 계산 기능을 갖는 하나 이상의 다른 디바이스에 의해 수행될 수 있다.
블록(502)에서, 사용자 디바이스(102(예를 들어, OIS 구동 관리자(120)의 코드를 실행하는 프로세서(116))는 카메라 시스템(112)의 하나 이상의 컴포넌트로 움직임을 도입한다(예를 들어, OIS 시스템(114)은 움직임을 카메라 시스템(112)에 도입함). 일부 경우에서, 사용자 디바이스(102)는 뷰 파인더 모드에 진입하는 것에 응답하여 움직임을 도입할 수 있는 반면, 다른 경우에서 사용자 디바이스(102)는 캡처 명령을 수신하는 것에 응답하여 움직임을 도입할 수 있다. 움직임을 도입하는 것은 평면내 움직임 도입하거나 또는 평면외 움직임을 카메라 시스템(112)의 하나 이상의 컴포넌트에 도입하는 것을 포함할 수 있다.
블록(504)에서, 사용자 디바이스(102)는 카메라 시스템(112)의 하나 이상의 컴포넌트에 도입된 움직임의 결과로서, 다수의 프레임에 걸쳐 장면(306)의 이미지의 개별(respective, 각각의) 서브-픽셀 오프셋을 갖는 장면 이미지의 개별 및 다수의 프레임(306)을 캡처한다.
블록(506)에서, 사용자 디바이스(102)(예를 들어, 초해상도 관리자(122)의 명령을 실행하는 프로세서(116))는 다수의 프레임에 걸쳐 장면 이미지의 개별 서브 픽셀 오프셋에 기초하여 초해상도 계산(402)을 수행한다. 초해상도 계산의 예(402)는 (i) 가우시안 방사형 기본 함수 커널 계산 및 강건성 모델 계산, (ii) 다수의 프레임에 걸친 모션 블러의 영향 분석 및 (iii) 다수의 프레임들로부터, 이전의 저해상도 프레임 및 현재의 저해상도 프레임을 사용하여 현재의 초해상도 이미지를 생성하는 프레임-반복 접근법 이용을 포함한다.
블록(508)에서, 초해상도 계산(402)에 기초하여, 사용자 디바이스(102)(예를 들어, 초해상도 관리자(122)의 명령을 실행하는 프로세서(116))는 장면의 초해상도 이미지(106)를 생성한다.
예시적인 방법(500)은 또한 장면 이미지의 다수의 프레임의 샘플링을 통해 계산된 커버리지 스코어에 기초하여 움직임을 변경하는 단계를 포함할 수 있다.
본 개시는 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임에 관한 시스템 및 기술을 설명하지만, 첨부된 청구 범위의 주제는 설명된 특정 특징 또는 방법으로 반드시 제한되는 것은 아니라는 것을 이해해야 한다. 오히려, 특정 특징 및 방법은 장면의 초해상도 이미지를 생성하기 위해 광학 이미지 안정화 움직임의 사용이 구현될 수 있는 예시적인 방법으로서 개시된다.
전술한 설명에 더하여, 사용자는 본 명세서에 기술된 시스템, 프로그램 또는 특징이 사용자 정보(예를 들어, 사용자에 의해 캡처된 이미지, 시스템에 의해 계산된 초해상도 이미지, 사용자의 소셜 네트워크, 소셜 동작 또는 활동, 직업, 사용자의 선호도 또는 사용자의 현재 위치에 관한 정보)의 수집을 가능하게 할 수 있는지 여부와 사용자에게 서버로부터 컨텐츠 또는 통신을 전송되는지에 대한 선택할 수 있게 하는 제어권을 제공받을 수 있다. 또한, 특정 데이터는 개인 식별 정보가 제거되도록 저장 또는 사용하기 전에 하나 이상의 방식으로 처리될 수 있다. 예를 들어, 사용자의 신원은 개인 식별 정보가 사용자에 대해 결정되지 않도록 처리될 수 있거나, 사용자의 지리적 위치는 사용자의 특정 위치가 결정되지 않도록 위치 정보가 획득되는 위치(예를 들어, 도시, 우편 번호 또는 주 수준)로 일반화될 수 있다. 따라서, 사용자는 사용자에 대해 어떤 정보가 수집되는지, 그 정보가 어떻게 사용되는지, 그리고 어떤 정보가 사용자에게 제공되는지를 제어할 수 있다.
이하에서, 몇 가지 예가 설명된다 :
예 1 : 장면의 초해상도 이미지를 생성하는 방법으로서, 방법은 방법은 사용자 디바이스에 의해 수행되어, 광학 이미지 안정화 시스템을 통해, 사용자 디바이스의 카메라 시스템의 하나 이상의 컴포넌트로 움직임을 도입하는 단계와; 장면 이미지의 개별 및 다수의 프레임을 캡처하는 단계와, 상기 장면 이미지의 개별 및 다수의 프레임은 카메라 시스템의 하나 이상의 컴포넌트로 도입된 움직임의 결과로서 다수의 프레임에 걸쳐 장면 이미지의 개별 서브 픽셀 오프셋을 가지며; 다수의 프레임에 걸친 장면 이미지의 개별 서브 픽셀 오프셋에 기초하여, 초해상도 계산을 수행하는 단계와; 그리고 초해상도 계산에 기초하여 장면의 초해상도 이미지를 생성하는 단계를 포함한다.
예 2 : 예 1에 있어서, 카메라 시스템의 하나 이상의 컴포넌트로 움직임을 도입하는 단계는 뷰 파인더 모드에 진입한 것에 응답한다.
예 3 : 예 1에 있어서, 카메라 시스템의 하나 이상의 컴포넌트로 움직임을 도입하는 단계는 캡처 명령을 수신하는 것에 응답한다.
예 4 : 예1 내지 예 3 중 어느 하나에 있어서, 카메라 시스템의 하나 이상의 컴포넌트로 움직임을 도입하는 단계는 카메라 시스템의 하나 이상의 컴포넌트에 평면내 움직임을 도입하는 단계를 포함하고, 그 평면내 움직임은 2개의 축으로 정의된 평면내에 포함된 움직임이다.
예 5 : 예 1 내지 예 4 중 어느 하나에 있어서, 카메라 시스템의 하나 이상의 컴포넌트로 움직임을 도입하는 단계는 카메라 시스템의 하나 이상의 컴포넌트에 평면외 움직임을 도입하는 단계를 포함하고, 그 평면외 움직임은 2개의 축으로 정의된 평면 밖의 움직임이다.
예 6 : 예 1 내지 예 5 중 어느 하나에 있어서, 초해상도 계산을 수행하는 단계는 가우스 방사형 기본 함수 커널을 계산하는 단계; 및 강건성 모델을 계산하는 단계를 포함한다.
예 7 : 예 1 내지 예 6 중 어느 하나에 있어서, 초해상도 계산을 수행하는 단계는 다수의 프레임에 걸친 모션 블러의 영향을 분석하는 단계를 포함한다.
예 8 : 예 1 내지 예 7 중 어느 하나에 있어서, 초해상도 계산을 수행하는 단계는 다수의 프레임으로부터, 이전의 저해상도 프레임 및 현재의 저해상도 프레임을 사용하여 현재의 초해상도 이미지를 생성하는 프레임-반복 접근법을 사용한다.
예 9 : 예 1 내지 예 8 중 어느 하나에 있어서, 장면 이미지의 다수의 프레임의 샘플링을 통해 계산된 커버리지 스코어에 기초하여 추가 또는 보충 움직임이 카메라 시스템의 하나 이상의 컴포넌트에 도입된다.
예 10 : 사용자 디바이스는 카메라 시스템과; 광학 이미지 안정화 시스템과; 하나 이상의 프로세서와; 디스플레이와; 그리고 하나 이상의 프로세서에 의해 실행될 때 동작들을 수행하도록 사용자 디바이스에게 지시하는 보완 기능을 수행하는 광학 이미지 안정화 시스템 구동 관리자 애플리케이션 및 초해상도 관리자 애플리케이션의 명령들을 저장하는 컴퓨터 판독 가능 저장 매체를 포함하고, 상기 동작들은: 하나 이상의 프로세서에 의해, 장면 이미지를 캡처하도록 사용자 디바이스에 지시하는 명령을 수신하고; 수신된 명령에 기초하여 광학 이미지 안정화 시스템을 통해, 장면 이미지를 캡처하는 동안 카메라 시스템의 하나 이상의 컴포넌트로 움직임을 도입하고, 상기 도입된 움직임은 다수의 프레임에 걸쳐 이미지의 개별 서브 픽셀 오프셋을 갖는 장면 이미지의 개별 및 다수의 갭처를 야기하고; 하나 이상의 프로세서에 의해 그리고 다수의 프레임에 걸친 장면 이미지의 개별 서브 픽셀 오프셋에 기초하여, 초해상도 계산을 수행하고; 초해상도 계산에 기초하여 하나 이상의 프로세서에 의해, 장면의 초해상도 이미지를 생성하고; 그리고 디스플레이에 의해, 장면의 초해상도 이미지를 렌더링한다.
예 11 : 예 10에 있어서, 사용자 디바이스는 정적 모션 조건을 검출하는 하나 이상의 모션 센서를 더 포함한다.
예 12 : 예 11에 있어서, 정적 모션 조건의 검출은 사용자 디바이스가 광학 이미지 안정화 시스템을 통해 카메라 시스템의 하나 이상의 컴포넌트에, 비동기화된 움직임을 도입하게 한다.
예 13 : 예 10에 있어서, 사용자 디바이스는 동적 모션 조건을 검출하는 하나 이상의 모션 센서를 더 포함한다.
예 14 : 예 13에 있어서, 동적 모션 조건의 검출은 사용자 디바이스가 광학 이미지 안정화 시스템을 통해 그리고 카메라 시스템의 하나 이상의 컴포넌트에, 동기화된 움직임을 도입하게 한다.
예 15 : 시스템은 예 1 내지 예 9 중 어느 하나에 의해 인용된 방법을 수행하기 위한 수단을 제공한다.
예 16 : 사용자 디바이스는 예 1 내지 예 9 중 어느 하나에 의해 인용된 방법을 수행하도록 구성된다.
예 17 : 컴퓨터 판독 가능 저장 매체는 실행될 때 예 1 내지 예 9 중 어느 하나에 의해 인용된 방법을 수행하도록 프로세서를 구성하는 명령들을 포함한다.

Claims (16)

  1. 장면의 초고해상도 이미지를 생성하는 방법으로서,
    카메라 시스템을 사용하여, 장면 이미지의 적어도 하나의 프레임을 캡처하는 단계와;
    장면 이미지의 적어도 하나의 프레임의 커버리지(coverage) 스코어를 결정하는 단계와;
    커버리지 스코어에 기초하여 광학 이미지 안정화 시스템을 통해, 카메라 시스템의 하나 이상의 컴포넌트에 움직임을 도입하는 단계와;
    장면 이미지의 적어도 하나의 추가 프레임을 캡처하는 단계와, 상기 장면 이미지의 적어도 하나의 추가 프레임은 적어도 하나의 프레임 및 적어도 하나의 추가 프레임에 걸쳐 장면 이미지의 개별 서브-픽셀 오프셋을 갖고, 상기 개별 서브-픽셀 오프셋은 카메라 시스템의 하나 이상의 컴포넌트에 도입된 움직임의 결과를 나타내고;
    적어도 하나의 프레임 및 적어도 하나의 추가 프레임에 걸쳐 장면 이미지의 개별 서브-픽셀 오프셋에 기초하여, 초고해상도 계산을 수행하는 단계와; 그리고
    초고해상도 계산에 기초하여, 장면의 초고해상도 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 장면의 초고해상도 이미지를 생성하는 방법.
  2. 제1항에 있어서,
    상기 장면 이미지의 적어도 하나의 프레임을 캡처하는 단계는,
    뷰파인더 모드에 진입하는 것에 응답하는 것을 특징으로 하는 장면의 초고해상도 이미지를 생성하는 방법.
  3. 제1항에 있어서,
    상기 장면 이미지의 적어도 하나의 프레임을 캡처하는 단계는,
    캡처 명령을 수신하는 것에 응답하는 것을 특징으로 하는 장면의 초고해상도 이미지를 생성하는 방법.
  4. 제1항에 있어서,
    상기 카메라 시스템의 하나 이상의 컴포넌트에 움직임을 도입하는 단계는,
    카메라 시스템의 하나 이상의 컴포넌트에 평면내(in-plane) 움직임을 도입하는 단계를 포함하는 것을 특징으로 하는 장면의 초고해상도 이미지를 생성하는 방법.
  5. 제1항에 있어서,
    상기 카메라 시스템의 하나 이상의 컴포넌트에 움직임을 도입하는 단계는,
    카메라 시스템의 하나 이상의 컴포넌트에 평면외(out-of-plane) 움직임을 도입하는 단계를 포함하는 것을 특징으로 하는 장면의 초고해상도 이미지를 생성하는 방법.
  6. 제1항에 있어서,
    상기 초고해상도 계산을 수행하는 단계는,
    가우스 방사형 기본 함수 커널을 계산하는 단계와; 그리고
    강건성 모델을 계산하는 단계를 포함하는 것을 특징으로 하는 장면의 초고해상도 이미지를 생성하는 방법.
  7. 제1항에 있어서,
    상기 초고해상도 계산을 수행하는 단계는,
    적어도 하나의 프레임 및 적어도 하나의 추가 프레임에 걸쳐 모션 블러의 영향을 분석하는 단계를 포함하는 것을 특징으로 하는 장면의 초고해상도 이미지를 생성하는 방법.
  8. 제1항에 있어서,
    상기 초고해상도 계산을 수행하는 단계는,
    적어도 하나의 프레임 및 적어도 하나의 추가 프레임으로부터, 이전의 저해상도 프레임과 현재의 저해상도 프레임을 사용하여 현재의 초해상도 이미지를 생성하는 프레임 반복 접근법을 사용하는 것을 특징으로 하는 장면의 초고해상도 이미지를 생성하는 방법.
  9. 제1항에 있어서,
    상기 장면 이미지의 적어도 하나의 프레임의 커버리지 스코어를 결정하는 단계는 장면 이미지의 적어도 하나의 프레임을 샘플링하는 단계를 포함하는 것을 특징으로 하는 장면의 초고해상도 이미지를 생성하는 방법.
  10. 제1항에 있어서,
    모션 조건을 검출하는 단계를 더 포함하고,
    상기 카메라 시스템의 하나 이상의 컴포넌트에 움직임을 도입하는 단계는 모션 조건에 추가로 기초하는 것을 특징으로 하는 장면의 초고해상도 이미지를 생성하는 방법.
  11. 제10항에 있어서,
    상기 모션 조건은 정적 모션 조건이고,
    상기 방법은 광학 이미지 안정화 시스템을 통해 카메라 시스템의 하나 이상의 컴포넌트에, 동기화되지 않은 움직임을 도입하는 단계를 더 포함하는 것을 특징으로 하는 장면의 초고해상도 이미지를 생성하는 방법.
  12. 제10항에 있어서,
    상기 모션 조건은 동적 모션 조건이고,
    상기 방법은 광학 이미지 안정화 시스템을 통해 카메라 시스템의 하나 이상의 컴포넌트에, 동기화된 움직임을 도입하는 단계를 더 포함하는 것을 특징으로 하는 장면의 초고해상도 이미지를 생성하는 방법.
  13. 제1항에 있어서,
    상기 초고해상도 계산을 수행하는 단계와 상기 장면의 초해상도 이미지를 생성하는 단계는 원격 서버에서 수행되는 것을 특징으로 하는 장면의 초고해상도 이미지를 생성하는 방법.
  14. 디바이스로서,
    카메라 시스템;
    광학 이미지 안정화 시스템;
    하나 이상의 프로세서;
    디스플레이; 및
    하나 이상의 프로세서에 의해 실행될 때 동작들을 수행하도록 사용자 디바이스에 지시하는 보완 기능을 수행하는 광학 이미지 안정화 시스템 구동 관리자 애플리케이션 및 초해상도 관리자 애플리케이션의 명령들을 저장하는 컴퓨터 판독 가능 저장 매체를 포함하고, 상기 동작들은:
    장면 이미지의 적어도 하나의 프레임을 캡처하는 동작과;
    장면 이미지의 적어도 하나의 프레임의 커버리지 스코어를 결정하는 동작과;
    커버리지 스코어에 기초하여 광학 이미지 안정화 시스템을 통해, 카메라 시스템의 하나 이상의 컴포넌트에 움직임을 도입하는 동작과;
    장면 이미지의 적어도 하나의 추가 프레임을 캡처하는 동작과, 상기 장면 이미지의 적어도 하나의 추가 프레임은 적어도 하나의 프레임 및 적어도 하나의 추가 프레임에 걸쳐 장면 이미지의 개별 서브-픽셀 오프셋을 갖고, 상기 개별 서브-픽셀 오프셋은 카메라 시스템의 하나 이상의 컴포넌트에 도입된 움직임의 결과를 나타내고;
    하나 이상의 프로세서에 의해 적어도 하나의 프레임 및 적어도 하나의 추가 프레임에 걸친 장면 이미지의 개별 서브-픽셀 오프셋에 기초하여, 초고해상도 계산을 수행하는 동작과; 그리고
    하나 이상의 프로세서에 의해 초고해상도 계산에 기초하여, 장면의 초해상도 이미지를 생성하는 동작을 포함하는 것을 특징으로 하는 디바이스.
  15. 제1항 내지 제13항 중 어느 한 항의 방법을 수행하기 위한 수단을 제공하는 장면의 초해상도 이미지를 생성하기 위한 시스템.
  16. 컴퓨터에 의해 실행될 때 컴퓨터로 하여금 제1항 내지 제13항 중 어느 한 항의 방법의 단계들을 수행하게 하는 명령들을 포함하는 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램.
KR1020227041057A 2018-08-08 2019-08-06 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임 KR102509466B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237008081A KR102612530B1 (ko) 2018-08-08 2019-08-06 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862716346P 2018-08-08 2018-08-08
US62/716,346 2018-08-08
PCT/US2019/045334 WO2020033427A1 (en) 2018-08-08 2019-08-06 Optical image stabilization movement to create a super-resolution image of a scene
KR1020217003928A KR102471595B1 (ko) 2018-08-08 2019-08-06 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217003928A Division KR102471595B1 (ko) 2018-08-08 2019-08-06 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237008081A Division KR102612530B1 (ko) 2018-08-08 2019-08-06 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임

Publications (2)

Publication Number Publication Date
KR20220162861A true KR20220162861A (ko) 2022-12-08
KR102509466B1 KR102509466B1 (ko) 2023-03-14

Family

ID=67688834

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020237008081A KR102612530B1 (ko) 2018-08-08 2019-08-06 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임
KR1020227041057A KR102509466B1 (ko) 2018-08-08 2019-08-06 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임
KR1020217003928A KR102471595B1 (ko) 2018-08-08 2019-08-06 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020237008081A KR102612530B1 (ko) 2018-08-08 2019-08-06 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020217003928A KR102471595B1 (ko) 2018-08-08 2019-08-06 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임

Country Status (6)

Country Link
US (2) US11611697B2 (ko)
JP (2) JP7271653B2 (ko)
KR (3) KR102612530B1 (ko)
CN (2) CN112369009B (ko)
DE (1) DE112019003972T5 (ko)
WO (1) WO2020033427A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7271653B2 (ja) 2018-08-08 2023-05-11 グーグル エルエルシー シーンの超解像画像を生成するための光学画像の安定化動作
WO2021180294A1 (en) * 2020-03-09 2021-09-16 Huawei Technologies Co., Ltd. Imaging device and method for efficient capture of stationary objects
US11190689B1 (en) 2020-07-29 2021-11-30 Google Llc Multi-camera video stabilization
CN112634160A (zh) 2020-12-25 2021-04-09 北京小米松果电子有限公司 拍照方法及装置、终端、存储介质
US11880902B2 (en) 2020-12-30 2024-01-23 Waymo Llc Systems, apparatus, and methods for enhanced image capture
GB2614448A (en) * 2021-12-31 2023-07-05 Cambridge Mechatronics Ltd Actuator arrangement
US11676250B1 (en) * 2022-01-03 2023-06-13 Microsoft Technology Licensing, Llc Use motion data to generate higher resolution images
US11605153B1 (en) * 2022-01-03 2023-03-14 Microsoft Technology Licensing, Llc Generate super-resolution images from sparse color information
CN115396596B (zh) * 2022-08-15 2023-06-30 上海交通大学 一种超分辨率图像成像方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060075381A (ko) * 2004-12-28 2006-07-04 주식회사 팬택 큐카메라를 이용하는 이동 통신 단말기에서의 오에스디제공 방법
KR20120008062A (ko) * 2009-04-22 2012-01-25 퀄컴 인코포레이티드 비디오 프레임 이미지 데이터를 선택적으로 결합하기 위한 시스템 및 방법
KR20150014495A (ko) * 2012-05-14 2015-02-06 루카 로사토 계층화된 시간 계층에서 시간 기반 및/또는 다차원 신호들의 디코딩 및 재구성
KR20180008588A (ko) * 2015-12-10 2018-01-24 구글 엘엘씨 스테레오 오토포커스

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771304B1 (en) * 1999-12-31 2004-08-03 Stmicroelectronics, Inc. Perspective correction device for panoramic digital camera
US8331723B2 (en) * 2004-03-25 2012-12-11 Ozluturk Fatih M Method and apparatus to correct digital image blur due to motion of subject or imaging device
JP2007057998A (ja) * 2005-08-26 2007-03-08 Fujifilm Corp 撮影装置
US8306121B2 (en) * 2008-03-17 2012-11-06 Ati Technologies Ulc Method and apparatus for super-resolution of images
US7941004B2 (en) 2008-04-30 2011-05-10 Nec Laboratories America, Inc. Super resolution using gaussian regression
US8477217B2 (en) 2008-06-30 2013-07-02 Sony Corporation Super-resolution digital zoom
JP5523017B2 (ja) * 2009-08-20 2014-06-18 キヤノン株式会社 画像処理装置及び画像処理方法
US8390724B2 (en) * 2009-11-05 2013-03-05 Panasonic Corporation Image capturing device and network camera system
US20120069238A1 (en) * 2010-09-16 2012-03-22 Panasonic Corporation Image capturing device
US8594464B2 (en) * 2011-05-26 2013-11-26 Microsoft Corporation Adaptive super resolution for video enhancement
US9124797B2 (en) * 2011-06-28 2015-09-01 Microsoft Technology Licensing, Llc Image enhancement via lens simulation
CN104641624B (zh) * 2012-09-19 2017-11-28 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
US9288395B2 (en) 2012-11-08 2016-03-15 Apple Inc. Super-resolution based on optical image stabilization
US9635246B2 (en) * 2013-06-21 2017-04-25 Qualcomm Incorporated Systems and methods to super resolve a user-selected region of interest
US9478010B2 (en) 2013-12-12 2016-10-25 Google Technology Holdings LLC Generating an enhanced image of a predetermined scene from a plurality of images of the predetermined
US9654693B2 (en) * 2014-10-29 2017-05-16 Gvbb Holdings S.A.R.L. Degradation control of display pixels for a high definition display
US9426362B2 (en) * 2015-01-16 2016-08-23 Mems Drive, Inc. Three-axis OIS for super-resolution imaging
JP5914716B1 (ja) * 2015-02-19 2016-05-11 オリンパス株式会社 撮像装置
KR102449354B1 (ko) 2016-02-04 2022-09-30 삼성전기주식회사 이미지 안정화 모듈 및 카메라 모듈
US10038849B2 (en) * 2016-03-16 2018-07-31 Panasonic Intellectual Property Mangement Co., Ltd. Imaging device with controlled timing of images to be synthesized based on shake residual
CN106357957A (zh) 2016-10-20 2017-01-25 西安应用光学研究所 基于亚像素相位相关检测的快速反射镜稳像装置及方法
KR102523762B1 (ko) * 2018-06-20 2023-04-20 엘지이노텍 주식회사 이미지 센서 및 이를 이용하는 카메라 모듈
JP7271653B2 (ja) * 2018-08-08 2023-05-11 グーグル エルエルシー シーンの超解像画像を生成するための光学画像の安定化動作
KR102555317B1 (ko) 2018-08-09 2023-07-14 구글 엘엘씨 사용자 디바이스에 적용된 내추럴 핸드헬드 모션을 이용한 초해상도

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060075381A (ko) * 2004-12-28 2006-07-04 주식회사 팬택 큐카메라를 이용하는 이동 통신 단말기에서의 오에스디제공 방법
KR20120008062A (ko) * 2009-04-22 2012-01-25 퀄컴 인코포레이티드 비디오 프레임 이미지 데이터를 선택적으로 결합하기 위한 시스템 및 방법
KR20150014495A (ko) * 2012-05-14 2015-02-06 루카 로사토 계층화된 시간 계층에서 시간 기반 및/또는 다차원 신호들의 디코딩 및 재구성
KR20180008588A (ko) * 2015-12-10 2018-01-24 구글 엘엘씨 스테레오 오토포커스

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LI NIANYI et al, 2018 IEEE/CVF conference on computer vision and pattern recognition workshop(2018.06.18) *

Also Published As

Publication number Publication date
US20230224596A1 (en) 2023-07-13
KR20210027479A (ko) 2021-03-10
CN115018701A (zh) 2022-09-06
CN112369009A (zh) 2021-02-12
KR20230038316A (ko) 2023-03-17
US11611697B2 (en) 2023-03-21
KR102471595B1 (ko) 2022-11-28
KR102509466B1 (ko) 2023-03-14
JP7271653B2 (ja) 2023-05-11
KR102612530B1 (ko) 2023-12-11
WO2020033427A1 (en) 2020-02-13
CN112369009B (zh) 2022-06-07
JP2021533660A (ja) 2021-12-02
DE112019003972T5 (de) 2021-05-20
JP2023100754A (ja) 2023-07-19
US20210374909A1 (en) 2021-12-02

Similar Documents

Publication Publication Date Title
KR102509466B1 (ko) 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임
CN108898567B (zh) 图像降噪方法、装置及系统
US10645290B2 (en) Method, system and apparatus for stabilising frames of a captured video sequence
US10217200B2 (en) Joint video stabilization and rolling shutter correction on a generic platform
US9247129B1 (en) Self-portrait enhancement techniques
US8965105B2 (en) Image processing device and method
US10121262B2 (en) Method, system and apparatus for determining alignment data
CN113556464B (zh) 拍摄方法、装置及电子设备
US20200160560A1 (en) Method, system and apparatus for stabilising frames of a captured video sequence
JP2023058558A (ja) ユーザデバイスに適用される自然の手持ち式の動きを用いた超解像
KR102592745B1 (ko) 자세 추정 장치, 자세 추정 방법 및 기록 매체에 저장된 컴퓨터 프로그램
JP2020136774A (ja) 動きベクトルを検出する画像処理装置およびその制御方法ならびにプログラム
JP7025237B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
KR102209908B1 (ko) 소프트웨어로 벨로우즈(Bellows) 카메라를 구현하는 영상 변환 카메라 장치 및 그 동작 방법
JP2018072941A (ja) 画像処理装置、画像処理方法、プログラム、記憶媒体
CN115423873A (zh) 图像生成方法、装置、设备及介质

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant