KR20240034122A - 카메라들에서 비디오에 대한 평활한 줌을 달성하기 위한 방법들 - Google Patents

카메라들에서 비디오에 대한 평활한 줌을 달성하기 위한 방법들 Download PDF

Info

Publication number
KR20240034122A
KR20240034122A KR1020230114333A KR20230114333A KR20240034122A KR 20240034122 A KR20240034122 A KR 20240034122A KR 1020230114333 A KR1020230114333 A KR 1020230114333A KR 20230114333 A KR20230114333 A KR 20230114333A KR 20240034122 A KR20240034122 A KR 20240034122A
Authority
KR
South Korea
Prior art keywords
zoom
video
total
image capture
zoom factor
Prior art date
Application number
KR1020230114333A
Other languages
English (en)
Inventor
부웨 장
워커 제이. 이글스턴
아비지트 에스. 와수
제프리 에이. 브라스켓
플로리안 시우레아
쩌징 왕
숀 제트. 아마디오
줄리오 씨. 에르난데스 사라고사
타오 장
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20240034122A publication Critical patent/KR20240034122A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

비디오 캡처 동안 평활한 줌 동작들을 달성하기 위한 전자 디바이스들, 방법들, 및 프로그램 저장 디바이스들이 개시된다. 특히, 비디오 캡처 동안, 단일 이미지 캡처 디바이스 및/또는, 예를 들어 비디오 캡처 동안 상이한 광학 및/또는 줌 속성들을 갖는 2개 이상의 별개의 이미지 캡처 디바이스들 사이에서 전환하는 것을 수반하는 비디오 캡처 동작들 동안 평활한 줌이 바람직할 수 있다. 비디오 줌이 갑작스럽게 행해질 때, 그것은 불쾌한 사용자 경험을 유발할 수 있다. 줌 동작들의 평활도를 개선시키기 위해 본 명세서에 설명된 기법들은, 이미지 캡처 디바이스들에 대한 더 긴 줌 "램프들"의 사용; 비디오 캡처 동안의 이미지 캡처 디바이스들 사이의 "조기" 전환; 및 부가적인 "디지털 줌 평활화-인식" 비디오 이미지 안정화 동작들의 수행을 포함한다. 본 명세서에 설명된 실시예들은 또한, 비디오 스트리밍(즉, "미리보기") 모드들과, 본 명세서에 설명된 다양한 줌 평활화 기법들을 사용하여 생성되는 기록된(즉, "최종") 줌된 비디오 사이의 더 일관된 사용자 경험을 제공한다.

Description

카메라들에서 비디오에 대한 평활한 줌을 달성하기 위한 방법들{METHODS TO ACHIEVE SMOOTH ZOOM FOR VIDEO IN CAMERAS}
본 개시내용은 일반적으로 디지털 이미지 프로세싱의 분야에 관한 것이다. 제한이 아니라 더 구체적으로, 본 개시내용은 비디오 캡처 동안 평활한 줌 동작들, 및 예를 들어, 단일 이미지 캡처 디바이스를 수반하는 비디오 캡처 동작들 또는 2개 이상의 별개의 이미지 캡처 디바이스들(예를 들어, 상이한 광학 및/또는 디지털 줌 속성들을 갖는 카메라들) 사이에서 전환하는 것을 수반하는 비디오 캡처 동작들을 달성하기 위한 기법들에 관한 것이다.
비디오 줌은 스마트폰들, 태블릿들, 및 임베디드 디지털 카메라들을 갖는 다른 디바이스들과 같은 현대의 전자 이미지 캡처 디바이스들에서 일반적으로 사용되는 특징이다. 다양한 유형들의 사용자 인터페이스(UI) 요소들 또는 제어부들, 예를 들어 버튼들, 슬라이더들, 다이얼들, 제스처들, 오디오 및/또는 텍스트 커맨드들 등은 비디오 캡처 동작들 동안 원하는 줌 레벨을 제어하기 위해 사용자들에게 제공될 수 있다. 본 명세서에 설명된 바와 같이, 이미지 캡처 디바이스(예를 들어, 카메라)가 캡처된 이미지들에서 달성할 수 있는 소위 "총 줌 인자"는 이미지 캡처 디바이스와 연관된 광학 줌 값과 디지털 줌 값의 조합(예를 들어, 곱셈)에 의해 결정될 수 있다.
본 명세서에서 사용되는 바와 같이, 용어 "광학 줌"은 카메라의 렌즈의 물리적 속성을 반영하며, 예를 들어, 렌즈의 물리적 변화를 야기함으로써, 예컨대 카메라의 이미지 센서와 렌즈 사이의 거리를 조절함으로써 변경될 수 있는 반면; 본 명세서에서 사용되는 바와 같이, 용어 "디지털 줌 값"은 캡처된 이미지의 FOV 내의 특정 영역을 확대(또는 축소)하기 위한 (예를 들어, 크롭핑 및/또는 배율을 통한) 캡처된 이미지의 계산 프로세싱의 사용을 반영한다.
훨씬 더 큰 범위의 가능한 총 줌 인자 값들을 이용하여 "미리보기" 비디오들(즉, 비디오 이미지들이 캡처되고 있을 때 이미지 캡처 디바이스로부터 전자 디바이스의 디스플레이로 스트리밍되는 비디오들) 및/또는 "레코딩된" 비디오들(즉, 비디오 이미지 캡처 동작들의 종료 이후 프로세싱되어 비휘발성 메모리에 저장될 수 있는 비디오들)을 생성하기 위해, 비디오 이미지 스트림의 캡처 동안, 전자 디바이스에 임베딩된 다수의 상이한 이미지 캡처 디바이스들, 예를 들어 상이한 범위들의 총 줌 인자들로 이미지들을 캡처할 수 있는 이미지 캡처 디바이스들 사이에서 스위칭하는 것이 바람직할 수 있다.
예를 들어, 전자 디바이스의 제1 이미지 캡처 디바이스는 1.0x 내지 2.5x의 총 줌 인자로 이미지들을 캡처할 수 있을 수 있는 반면, 전자 디바이스의 제2 이미지 캡처 디바이스는 2.0x 내지 6.0x의 총 줌 인자로 이미지들을 캡처할 수 있을 수 있고, 전자 디바이스의 제3 이미지 캡처 디바이스는 5.0x 내지 10.0x의 총 줌 인자로 이미지들을 캡처할 수 있을 수 있다. (이미지 캡처 디바이스들의 이러한 구성 및 총 줌 인자들의 범위들이 순수하게 예시적인 목적들을 위해 주어진다는 것이 이해되어야 한다.)
그러나, 전자 디바이스의 사용자가, 예를 들어 디바이스의 UI를 통해 신속한 그리고/또는 큰 줌 요청(예를 들어, 전자 디바이스로 하여금 비디오 이미지들을 캡처하는 데 사용되는 이미지 캡처 디바이스들 사이에서 스위칭하게 할 수 있거나 스위칭하지 않게 할 수 있는 "줌 인(zoom in)" 요청 또는 "줌 아웃(zoom out)" 요청)을 입력함으로써 비디오 이미지 캡처 동작들 동안 갑작스러운 비디오 줌 동작이 발생하기를 원한다는 것을 표시할 때, 전자 디바이스의 디스플레이로 스트리밍되는(그리고/또는 전자 디바이스의 메모리로 레코딩되는) 결과적인 비디오 이미지 스트림은, 예를 들어 갑작스러운 시야(FOV) 변화들과 함께 고르지 못하고 그리고/또는 불안정하게 나타날 수 있으며, 그에 의해 불쾌한 사용자 경험을 유발한다.
따라서, 필요한 것은 비디오 이미지 캡처 동작들 동안 사용자가 줌 인(또는 아웃)하고 있는 동안에 더 평활한 비디오 제시를 제공하기 위해 이미지 캡처 디바이스 하드웨어의 제어 뿐만 아니라 그러한 이미지 캡처 디바이스들에 의해 캡처된 이미지들의 프로세싱을 담당하는 소프트웨어 스택에 대한 다양한 기술적 개선들을 레버리징하며, 그에 의해, 또한, 레코딩된 비디오들의 품질 및 평활도를 개선시키고 더 양호한 전체 사용자 경험을 제공하기 위한 접근법이다.
비디오 캡처 동안 평활한 줌 동작들을 달성하기 위한 전자 디바이스들, 방법들, 및 프로그램 저장 디바이스들이 본 명세서에 개시된다. 특히, 단일 이미지 캡처 디바이스를 수반하는 비디오 캡처 동작들 동안 그리고/또는 2개 이상의 별개의 이미지 캡처 디바이스들, 예를 들어 상이한 광학 및/또는 디지털 줌 속성들을 갖는 이미지 캡처 디바이스들을 이용하여 비디오 이미지들을 캡처하는 것 사이에서 전환하는 것을 수반하는 비디오 캡처 동작들에서 평활한 줌이 바람직할 수 있다. 비디오 줌이 너무 갑작스럽게 행해질 때, 그것은 불쾌한 사용자 경험을 유발할 수 있다.
줌 동작들의 평활도를 개선시키기 위해 본 명세서에 설명된 기법들은, 이미지 캡처 디바이스들에 대한 더 긴 줌 램프(ramp)들의 사용; 비디오 캡처들 동안(예를 들어, 이미지 캡처 디바이스들 사이에서 전환하는 것을 수반하는 비디오 캡처 동작들 동안)의 이미지 캡처 디바이스들 사이의 조기(early) 전환; 및 "디지털 줌 평활화-인식" 비디오 이미지 안정화(VIS) 동작들을 포함하는 부가적인 디지털 줌 평활화 동작들의 수행을 포함한다. 본 명세서에 설명된 실시예들은 또한, 비디오 스트리밍(즉, "미리보기") 모드들과, 본 명세서에 설명된 다양한 줌 평활화 기법들을 사용하여 생성되는 기록된(즉, "최종") 줌된 비디오 사이의 더 일관된 사용자 경험을 제공한다.
위에서 언급된 바와 같이, 다양한 전자 디바이스 실시예들이 본 명세서에 개시된다. 그러한 전자 디바이스들은, 디스플레이; 사용자 인터페이스; 하나 이상의 프로세서들; 하나 이상의 프로세서들에 커플링된 메모리; 및 하나 이상의 이미지 캡처 디바이스들, 예컨대 제1 광학 줌, 제1 시야 뷰(field view of view, FOV), 및 제1 범위의 디지털 줌 값들을 갖는 제1 이미지 캡처 디바이스를 포함할 수 있다. 일 실시예에 따르면, 명령어들이 메모리에 저장될 수 있으며, 명령어들은, 실행될 때, 하나 이상의 프로세서들로 하여금, 제1 비디오를 캡처하기 시작하도록 사용자로부터 제1 요청을 수신하게 하고; 제1 비디오를 생성하는 데 사용하기 위해 제1 이미지 캡처 디바이스로부터 제1 비디오 이미지 스트림을 획득하게 하고 ― 제1 비디오 이미지 스트림은 제1 총 줌 인자로 캡처되고, 제1 총 줌 인자는 제1 광학 줌 및 제1 범위의 디지털 줌 값들 내로부터의 현재 제1 디지털 줌 값에 기초하여 결정됨 ―; 제1 타깃 총 줌 인자에 도달하기 위해 제1 비디오 이미지 스트림에 대해 줌 동작(예를 들어, "줌 인" 동작 또는 "줌 아웃" 동작)을 수행하도록 사용자로부터 제2 요청을 획득하게 한다. 제2 요청에 응답하여, 하나 이상의 프로세서들은, 제1 총 줌 인자에 대한 제1 궤적을 계산하고 ― 계산된 제1 궤적은 제1 타깃 총 줌 인자를 향해 시간에 걸쳐 제1 이미지 캡처 디바이스의 제1 총 줌 인자를 조정함 ―; 제1 총 줌 인자에 대한 제1 평활화된 궤적을 생성하기 위해 제1 총 줌 인자에 대한 제1 계산된 궤적에 대해 하나 이상의 제1 평활화 동작들을 수행하고; 그리고 제1 총 줌 인자에 대한 제1 평활화된 궤적에 따라 시간에 걸쳐 제1 이미지 캡처 디바이스의 제1 총 줌 값을 조정할 수 있다. 마지막으로, 하나 이상의 프로세서들은 제1 총 줌 인자에 대한 제1 평활화된 궤적에 따라 조정된, 제1 비디오 이미지 스트림의 이미지들에 적어도 부분적으로 기초하여 제1 비디오를 생성할 수 있다.
다른 실시예에 따르면, 전자 디바이스는, 제2 광학 줌, 제2 FOV, 및 제2 범위의 디지털 줌 값들을 갖는 제2 이미지 캡처 디바이스를 적어도 더 포함할 수 있으며, 여기서 전자 디바이스는 비디오 이미지 캡처 동작들 동안 일부 지점에서 제2 이미지 캡처 디바이스를 이용하여 이미지들을 캡처하는 것으로 전환할 수 있다. 예를 들어, 명령어들이 메모리에 저장될 수 있으며, 명령어들은, 실행될 때, 하나 이상의 프로세서들로 하여금, 제1 비디오를 캡처하기 시작하도록 사용자로부터 제1 요청을 수신하게 하고; 제1 비디오를 생성하는 데 사용하기 위해 제1 이미지 캡처 디바이스로부터 제1 비디오 이미지 스트림을 획득하게 하고 ― 제1 비디오 이미지 스트림은 제1 총 줌 인자로 캡처되고, 제1 총 줌 인자는 제1 광학 줌 및 제1 범위의 디지털 줌 값들 내로부터의 현재 제1 디지털 줌 값에 기초하여 결정됨 ―; 그리고 이어서, 제1 비디오 이미지 스트림을 제1 타깃 총 줌 인자로 "줌 인"하도록 사용자로부터 제2 요청을 획득하게 한다.
제2 요청에 응답하여, 하나 이상의 프로세서들은 이어서, 제1 이미지 캡처 디바이스의 제1 디지털 줌 값을 증가시키고; 그리고 제1 범위의 디지털 줌 값들의 최대 값에 도달하기 전에, 제1 비디오를 생성하는 데 사용하기 위해 제2 이미지 캡처 디바이스로부터 제2 비디오 이미지 스트림을 획득하도록 스위칭하도록 구성될 수 있으며, 여기서 제2 비디오 이미지 스트림은 제2 총 줌 인자로 캡처되고, 제2 총 줌 인자는 제2 광학 줌 및 제2 범위의 디지털 줌 값들 내로부터의 현재 제2 디지털 줌 값에 기초하여 결정되고, 제1 총 줌 인자는 하나 이상의 프로세서들이 제2 이미지 캡처 디바이스로부터 제2 비디오 이미지 스트림을 획득하도록 스위칭할 때 제2 총 줌 인자와 동일하다. 이어서, 제2 디지털 줌 값은 제2 총 줌 인자가 제1 타깃 총 줌 인자에 도달할 때까지 증가될 수 있다. 마지막으로, 제1 비디오는 제1 비디오 이미지 스트림과 제2 비디오 이미지 스트림의 조합에 적어도 부분적으로 기초하여 생성될 수 있다.
일부 그러한 실시예들에서, 제2 FOV는 제1 FOV보다 좁고, 제2 광학 줌은 제1 광학 줌보다 크다. 다른 실시예들에서, 제1 이미지 캡처 디바이스 및 제2 이미지 캡처 디바이스는 캡처된 비디오 이미지 스트림들에 대한 총 줌 인자들의 부분-중첩 범위들을 생성할 수 있다. 또 다른 실시예들에서, 제1 타깃 총 줌 인자는 제1 이미지 캡처 디바이스에 의해 획득가능한 총 줌 인자들의 범위 밖에 있다.
다른 실시예들에 따르면, 명령어들은, 실행될 때, 추가로 하나 이상의 프로세서들로 하여금 평활화된 "줌 아웃" 동작을 수행하게 할 수 있으며, 동작들은, 제2 비디오 이미지 스트림을 제2 타깃 총 줌 인자로 줌 아웃하도록 사용자로부터 제3 요청을 획득하는 것; 및 이어서, 제3 요청에 응답하여, (예를 들어, 제1 이미지 캡처 디바이스를 이용하여 비디오 이미지들을 캡처하는 것으로 즉시 스위칭 백하는 것이 바람직하지 않거나 가능하지 않으면) 제2 이미지 캡처 디바이스의 제2 디지털 줌 값을 선택적으로 감소시키는 것; 및, 제1 비디오를 생성하는 데 사용하기 위해 제1 이미지 캡처 디바이스로부터 제3 비디오 이미지 스트림을 획득하는 것으로 스위칭하는 것 ― 제3 비디오 이미지 스트림은 제1 총 줌 인자로 캡처되고, 제1 총 줌 인자는 하나 이상의 프로세서들이 제1 이미지 캡처 디바이스로부터 제3 비디오 이미지 스트림을 획득하도록 스위칭할 때 제2 총 줌 인자와 동일함 ―; 및 마지막으로, 제1 총 줌 인자가 제2 타깃 총 줌 인자에 도달할 때까지 제1 디지털 줌 값을 감소시키는 것을 포함한다. 그러한 실시예들에서, 생성된 제1 비디오는 제3 비디오 이미지 스트림으로부터의 비디오 이미지들을 전술된 제1 비디오 이미지 스트림 및 제2 비디오 이미지 스트림으로부터의 비디오 이미지들과 추가로 조합할 수 있다.
일부 실시예들에서, 개개의 이미지 캡처 디바이스의 디지털 줌 값이 시간에 걸쳐 증가되는(또는 감소되는) 레이트는, 예를 들어 개개의 이미지 캡처 디바이스의 총 줌 인자에 대한 계산된 궤적에 대해 하나 이상의 평활화 동작들(예를 들어, 가우시안 평활화 동작들, 소프트-글립핑 동작들, 커널 확장 등)을 수행함으로써 평활화될 수 있으며, 그에 의해, 제1 비디오의 레코딩된 버전을 생성할 때 총 줌 인자에 대한 "평활화된 궤적"을 생성하고, 이어서, 총 줌 인자에 대한 평활화된 궤적에 따라 시간에 걸쳐 개개의 이미지 캡처 디바이스의 디지털 줌 값을 증가(또는 감소)시킨다.
또 다른 실시예들에서, 개개의 이미지 캡처 디바이스의 디지털(또는 총) 줌 값이 증가되거나 감소되는 레이트는 오버스캔(overscan) 할당 파라미터에 적어도 부분적으로 기초하여 결정되며, 여기서 오버스캔 할당 파라미터는 개개의 이미지 캡처 디바이스의 디지털(또는 총) 줌 값을 조정하는 것에 개개의 이미지 캡처 디바이스의 FOV의 오버스캔 구역의 제1 부분을 할당하고, 비디오 이미지 안정화(VIS) 동작들에 오버스캔 구역의 제2 부분을 할당한다. 일부 그러한 실시예들에서, 오버스캔 할당 파라미터의 값은, 미리 결정된 오버스캔 할당 값; 비디오 이미지 스트림의 캡처 동안 전자 디바이스의 하나 이상의 위치 센서들로부터 획득된 위치 정보; 또는 비디오 이미지 스트림에서 캡처된 이미지들로부터 획득된 메타데이터 중 하나 이상에 적어도 부분적으로 기초하여 결정될 수 있다. 또 다른 그러한 실시예들에서, VIS 동작들에 대한 강도 값들은, 개개의 이미지 캡처 디바이스의 디지털 줌 값이 감소되는 레이트(및/또는 정도)에 적어도 부분적으로 기초하여 결정될 수 있다(예를 들어, 오버스캔의 큰 부분이 디지털 줌 인 또는 줌 아웃 동작을 평활화하도록 할당되면, VIS 동작들에 대해 남아있는 오버스캔이 많지 않을 수 있으며, 이는 줌 평활화 동작들이 오버스캔의 사용을 좌우하고 있는 그러한 캡처된 이미지 프레임들에 대해 안정화 강도가 대응적으로 낮아질 수 있다는 것을 의미한다).
위에서 열거된 다양한 전자 디바이스 실시예들에 따라, 개선된 줌 평활화 동작들을 수행하는 다양한 방법들이 또한 본 명세서에 개시된다. 비일시적 프로그램 저장 디바이스들이 또한 본 명세서에 개시되며, 이러한 비일시적 프로그램 저장 디바이스들은 하나 이상의 프로세서들로 하여금 위에서 열거된 다양한 전자 디바이스 및 방법 실시예들에 따라 동작들을 수행하게 하기 위한 명령어들을 저장할 수 있다.
도 1은 하나 이상의 실시예들에 따른 예시적인 평활한 줌 동작 프레임워크를 예시한다.
도 2는 하나 이상의 실시예들에 따른 예시적인 평활한 줌 동작들을 예시하는 그래프이다.
도 3은 하나 이상의 실시예들에 따른, 평활한 줌 동작들 동안의 예시적인 이미지 캡처 디바이스 전환들을 예시하는 다양한 그래프들을 도시한다.
도 4는 하나 이상의 실시예들에 따른, 평활한 줌 동작들을 포함하는 비디오 안정화 아키텍처의 일 예이다.
도 5는 하나 이상의 실시예들에 따른, 다양한 예시적인 평활화된 및 비평활화된 총 줌 인자 궤적들을 예시하는 그래프이다.
도 6은 하나 이상의 실시예들에 따른 예시적인 평활한 줌-인식 비디오 이미지 안정화(VIS) 동작들을 예시하는 그래프이다.
도 7a 내지 도 7c는 하나 이상의 실시예들에 따른, 단일-이미지 캡처 디바이스 및 다중-이미지 캡처 디바이스 전자 디바이스들에서 평활한 줌 동작들을 수행하는 방법들을 예시하는 흐름도들이다.
도 8은 본 명세서에 개시된 기법들 중 하나 이상이 구현될 수 있는 프로그래밍가능 전자 컴퓨팅 디바이스를 예시하는 블록도이다.
다음의 설명에서, 설명의 목적들을 위해, 다수의 특정 세부사항들이 본 명세서에 개시된 발명들의 철저한 이해를 제공하기 위해 기재된다. 그러나, 본 발명들이 이들 특정 세부사항들 없이도 실시될 수 있다는 것은 당업자에게 자명할 것이다. 다른 경우들에서, 구조 및 디바이스들은 본 발명들을 불명료하게 하는 것을 피하기 위해 블록도 형태로 도시된다. 아래첨자들 또는 접미사들이 없는 수들에 대한 언급들은 언급된 수에 대응하는 아래첨자들 및 접미사들의 모든 경우를 참조하는 것으로 이해된다. 게다가, 본 개시내용에 사용된 표현은 원칙적으로 가독성 및 교육 목적들을 위해 선택되었으며, 그것은 본 발명의 요지를 서술하거나 제한하도록 선택되지는 않아서, 그러한 본 발명의 요지를 결정하기 위해 청구범위에 대한 의존이 필요할 수 있다. 본 명세서에서 "하나의 실시예" 또는 "일 실시예"에 관한 언급은 실시예들에 관련되어 설명된 특정한 특징부, 구조 또는 특성이 본 발명들 중 하나의 발명의 적어도 하나의 실시예에 포함된다는 것을 의미하고, "하나의 실시예" 또는 "일 실시예"에 관한 다수의 언급들은 동일한 실시예를 반드시 모두 참조하는 것으로 이해되어서는 안된다.
예시적인 평활한 줌 프레임워크
이제 도 1을 참조하면, 예시적인 평활한 줌 동작 프레임워크(100)가 하나 이상의 실시예들에 따라 예시되어 있다. 스마트폰(102)은 하나 이상의 임베디드 이미지 캡처 디바이스들(108)을 갖는 예시적인 전자 디바이스를 표현한다. 예를 들어, 이미지 캡처 디바이스("CAM 1")(108 1 )는, 예를 들어 1.0x 내지 2.5x의 범위 내의 총 줌 인자들로 이미지들을 생성할 수 있는 "초광각(ultrawide)" FOV를 갖는 카메라를 표현할 수 있는 반면, 이미지 캡처 디바이스("CAM 2")(108 2 )는, 예를 들어 2.0x 내지 6.0x의 범위 내의 총 줌 인자들로 이미지들을 생성할 수 있는 "광각(wide)" FOV를 갖는 카메라를 표현할 수 있고, 이미지 캡처 디바이스("CAM 3")(108 3 )는, 예를 들어 5.0x 내지 10.0x의 범위 내의 총 줌 인자들로 이미지들을 생성할 수 있는 "망원(telephoto)" FOV를 갖는 카메라를 표현할 수 있다. (이미지 캡처 디바이스들의 이러한 구성 및 총 줌 인자들의 범위들이 순수하게 예시적인 목적들을 위해 주어진다는 것이 이해되어야 한다. 일부 전자 디바이스들은 단일 임베디드 이미지 캡처 디바이스들만을 가질 수 있고, 다른 전자 디바이스들은 비디오 캡처 동작들 동안 다수의 이미지 캡처 디바이스들을 갖고 사용할 수 있고, 또 다른 전자 디바이스들은 다수의 이미지 캡처 디바이스들을 갖지만, 주어진 비디오 캡처 동작 동안 단일 이미지 캡처 디바이스만을 사용할 수 있는 등의 식이다).
예시적인 전자 디바이스 스마트폰(102)은 하나 이상의 디스플레이 스크린들(105), 및 하나 이상의 UI 요소들(예를 들어, 버튼(104))을 더 포함할 수 있다. 버튼(104)은, 예를 들어 디바이스(102)를 이용하여 비디오 이미지 스트림을 캡처하는 것을 시작 및 종료할 때를 표시하기 위해 사용자에 의해 사용되는 물리적 또는 소프트웨어-기반 버튼일 수 있다. 일부 실시예들에 따르면, 비디오 이미지들이 캡처됨에 따라, 그들은 디스플레이 스크린(예를 들어, 디스플레이 스크린(105))으로 라이브 스트리밍될 수 있어서, 생성된 비디오의 형태로 메모리에 레코딩되고 있는 캡처된 장면이 (예를 들어, FOV, 장면 콘텐츠, 포커스, 노출, 줌, 및 다른 이미지 속성들의 관점에서) 포함할 것에 대한 거의 즉각적인 피드백을 사용자가 갖게 한다. 라이브 이미지 스트림 미리보기의 사용은 또한, 원하는 장면 콘텐츠가 캡처되고 있다는 것을 보장하기 위해, 예를 들어 줌 인 또는 줌 아웃 동작들을 수행함으로써 사용자가 실시간으로 비디오에 대한 조정들을 행하게 허용한다.
착신 비디오 이미지 스트림으로부터의 이미지들은 다양한 메타데이터 정보(예를 들어, 타임스탬프들, 이미지 캡처 디바이스와 연관된 위치 정보, 포커스 레벨들, 노출 레벨들, 줌 설정들, 및 다른 이미지 속성들)를 포함할 수 있다. 착신 비디오 이미지 스트림은 주어진 구현예의 능력들 및/또는 필요성들에 기초하여 초, 분, 시간, 일 등 동안 캡처될 수 있다. 일부 실시예들에 따르면, 착신 이미지 스트림 내의 비디오 이미지 프레임들은 디폴트로, 프레임 레이트, 예를 들어 15 fps(frames per second), 30 fps, 60 fps 등에 따라 그리고 디폴트 FOV 또는 총 줌 인자로 캡처될 수 있으며, 이들 각각은 캡처된 비디오의 과정 동안 변경을 겪는다.
일부 실시예들에서, 캡처된 비디오 이미지 스트림의 총 줌 인자는, 캡처된 비디오 이미지 스트림을 상이한 타깃 총 줌 인자로 줌 인(또는 줌 아웃)하기 위한 요청이 이미지 캡처 디바이스에서 수신되지 않는 한(또는 수신될 때까지) 일정하게 그리고 중단되지 않게 유지될 수 있다. 일부 그러한 실시예들에서, 사용자가 착신 비디오 이미지 스트림에서 달성할 타깃 총 줌 인자의 원하는 레벨을 표시하게 허용하도록 구성되는 다양한 가능한 UI 비디오 줌 옵션들(106)이 존재할 수 있다. 예를 들어, 제1 비디오 줌 옵션(106 1 )은 아래에서 더 상세히 논의될 바와 같이, 예를 들어 미리 결정된 줌 "램프들" 및 이미지 캡처 디바이스 전환 방식들에 따라 현재 총 줌 인자로부터 상이한 타깃 총 줌 인자로 직접 전환하도록 전자 디바이스에게 명령하는 버튼 줌을 포함할 수 있다. 다른 예로서, 제2 비디오 줌 옵션(106 2 )은, 어떤 레벨의 타깃 총 줌 인자를 향해 이동할지(뿐만 아니라, 전자 디바이스가 총 줌 인자를 상기 타깃 총 줌 인자를 향해 얼마나 신속하게 이동시켜야 하는지)를 더 큰 정밀도로 사용자가 전자 디바이스에게 명령하게 허용하는 슬라이더 또는 다이얼-기반 줌을 포함할 수 있다. 다른 예로서, 제3 비디오 줌 옵션(106 3 )은, 어떤 레벨의 타깃 총 줌 인자가 요구되는지(뿐만 아니라, 전자 디바이스가 총 줌 인자를 상기 타깃 총 줌 인자를 향해 얼마나 신속하게 이동시켜야 하는지)에 대해 또한 사용자가 전자 디바이스에게 명령하게 허용하는 하나 이상의 UI 제스처들(예를 들어, 디스플레이 스크린(105)에서 입력된 터치스크린 제스처들)을 포함할 수 있다. 본 명세서에 설명될 바와 같이, 주어진 줌 동작 요청은 전자 디바이스로 하여금 비디오 이미지 캡처 동작들을 수행하기 위해 상이한 이미지 캡처 디바이스들을 사용하는 것 사이에서 전환하게 할 수 있거나 전환하게 하지 않을 수 있다.
도 1로 돌아가면, UI 비디오 줌 옵션들(106)과의 사용자의 상호작용(들)을 구현하는 줌 동작 정보(110)는 카메라 캡처 프레임워크(112)로 전달될 수 있다. 위에서 논의된 바와 같이, 사용자에 의해 요청된 줌의 양(및 레이트)에 기초하여, 카메라 캡처 프레임워크(112)는 이미지 캡처 디바이스 하드웨어 및/또는 소프트웨어 스택에 대한 수정들을 통해, 요청된 줌을 어떻게 구현할지의 결정들을 행할 수 있다. 예를 들어, 카메라 캡처 프레임워크(112)는, 줌 동작 동안 다양한 이미지 캡처 디바이스들 사이에서 전환할 때(또는 경우); 주어진 이미지 캡처 디바이스를 줌 인하거나 줌 아웃할 때 얼마나 긴 "램프"를 사용할지; 평활한 줌 동작들과 다른 동작들(예컨대, VIS 동작들 또는 카메라 전환 동작들) 사이에, 주어진 이미지 캡처 디바이스의 FOV에서의 임의의 이용가능한 오버스캔을 어떻게 할당할지; 및/또는 레코딩된 비디오 이미지 스트림에서 임의의 갑작스러운 또는 거슬리는(jarring) 변화들을 제한하기 위해 이미지 캡처 디바이스 전환들을 위한 준비 시에 다양한 다른 카메라 시스템들(예를 들어, 오토 포커스, 자동 노출, 톤 맵핑, 화이트 밸런스 등)을 어떻게 제어할지의 결정들을 행할 수 있다.
위에서 언급된 바와 같이, 일부 실시예들에서, 카메라 캡처 프레임워크(112)는 이미지 캡처 미리보기 스트림(114)을 생성할 수 있을 수 있으며, 이는, 예를 들어 디스플레이를 위해 디스플레이 스크린(105)으로 직접 전송되고, 예컨대 원하는 장면 콘텐츠가 캡처되고 있다는 것을 보장하기 위해 부가적인 줌 인 또는 줌 아웃 동작들을 수행함으로써 사용자가 실시간으로 비디오에 대한 조정들을 행하는 것을 보조할 수 있다. 카메라 캡처 프레임워크(112)는 평활한 줌(116)으로 제1 레코딩된 비디오를 생성할 수 있을 수 있다.
본 명세서에서 설명될 바와 같이, 카메라 캡처 프레임워크(112)에 의해 구현되는 조정들 중 일부가 이미지 캡처 미리보기 스트림(114)에서 보여지는 바와 같이 줌 동작들 동안 비디오의 평활도(예를 들어, 줌 동작 동안 다양한 이미지 캡처 디바이스들 사이에서 전환할 때, 주어진 이미지 캡처 디바이스를 줌 인하거나 줌 아웃할 때 얼마나 긴 램프들을 사용할지)를 개선시킬 반면, 카메라 캡처 프레임워크(112)에 의해 구현된 다른 개선들(예를 들어, 이미지 캡처 디바이스의 총 줌 인자에 대한 더 평활화된 궤적을 결정하기 위해 그리고/또는 주어진 시간에 얼마나 많은 오버스캔이 디지털 줌 동작들에 할당되고 있는지에 기초하여 시간에 걸쳐 이미지 캡처 디바이스의 VIS 강도 파라미터 값을 더 평활하게 조정하기 위해 "미래의" 프레임들에서 필요한 디지털 줌의 양에 대한 "예견(look ahead)"에 의존할 수 있는 그러한 평활화 기법들)은 레코딩된 비디오(116)에만 나타날 것이다.
이제 도 2를 참조하면, 하나 이상의 실시예들에 따른 예시적인 평활한 줌 동작들을 예시하는 그래프(200)가 도시되어 있다. 그래프(200)의 수직 축(202)은 예시적인 이미지 캡처 디바이스의 현재 총 줌 인자를 표현하고, 그래프(200)의 수평 축(204)은 수평 축에 걸쳐 좌측으로부터 우측으로 이동하는, 시간에 걸쳐 캡처된 예시적인 비디오 이미지 프레임들의 프레임 수를 표현한다. 그래프(200)에 예시된 바와 같이, 예시적인 이미지 캡처 디바이스에 대한 비교적 덜 평활화된 총 줌 인자 궤적의 일 예가 실선(208)으로 도시되는 반면, 예시적인 이미지 캡처 디바이스에 대한 비교적 더 평활화된 총 줌 인자 궤적의 일 예가 파선(206)으로 도시된다.
예시된 바와 같이, 더 평활화된 총 줌 인자 궤적(206)은 초기 1.0x 총 줌 인자로부터 원하는 5.7x 총 줌 인자까지 얻기 위해 대략 30개의 프레임들(예를 들어, 프레임 #30 내지 프레임 #60)을 취하는 더 긴 "램프"를 갖는 반면, 덜 평활화된 총 줌 인자 궤적(208)은 초기 1.0x 총 줌 인자로부터 원하는 5.7x 총 줌 인자까지 얻기 위해 대략 5개의 프레임들(예를 들어, 프레임 #30 내지 프레임 #35)만을 취하는 더 짧고 더 갑작스러운 램프를 갖는다. 이제 인식될 수 있는 바와 같이, 더 평활화된 총 줌 인자 궤적(206)을 구현하는 카메라 프레임워크는 초기 1.0x 총 줌 인자로부터 원하는 5.7x 총 줌 인자로의 덜 갑작스러운 또는 거슬리는 전환(물론, 주어진 이미지 신호 프로세싱 파이프라인에 의해 적용될 수 있는 임의의 추가적인 평활화 또는 이미지 안정화를 겪음)으로 최종 비디오를 생성할 수 있다. 주어진 줌 램프의 길이들은 특정 구현예의 선호도들로 그리고/또는 수반되는 특정 이미지 캡처 디바이스들의 속성들, 램핑 기간 동안의 전자 디바이스에서의 이동/쉐이크(shake)의 양, 그것이 줌 인 동작인지 또는 줌 아웃 동작인지 등에 적어도 부분적으로 기초하여 튜닝(tune)될 수 있다.
이제 도 3을 참조하면, 하나 이상의 실시예들에 따른, 평활한 줌 동작들 동안의 예시적인 이미지 캡처 디바이스 전환들을 예시하는 그래프들(300/350)이 도시되어 있다. 그래프들(300/350)의 수직 축(302)은 예시적인 이미지 캡처 디바이스의 현재 총 줌 인자를 표현하고, 그래프들(300/350)의 수평 축(304)은 수평 축에 걸쳐 좌측으로부터 우측으로 이동하는, 시간에 걸쳐 캡처된 예시적인 비디오 이미지 프레임들의 프레임 수를 표현한다.
그래프(300)에 예시된 바와 같이, 600개의 캡처된 비디오 이미지 프레임들에 걸친 예시적인 총 줌 인자 궤적은 3개의 별개의 이미지 캡처 디바이스들: 실선으로 표현된 제1 카메라(312); 파선으로 표현된 제2 카메라(310); 및 점선으로 표현된 제3 카메라(314)를 갖는 전자 디바이스에 대해 도시되어 있다. 그래프(300)에 도시된 총 줌 인자 궤적은 대략 2.0x의 총 줌 인자를 갖는 제1 카메라(312)를 이용함으로써 시작되고, 이어서, 대략 1.0x의 총 줌 인자로 줌 아웃하기 위해 제2 카메라(310)를 사용하도록 스위칭된다.
다음으로, 사용자는 대략 5.7x의 총 줌 인자로 완전히 줌하려는 요구를 표시한다. 이러한 총 줌 인자 값에 도달하기 위해, 전자 디바이스는 제2 카메라(310)를 사용하여 총 줌 인자를, 예를 들어 대략 2.5x의 총 줌 인자로 램프 업하고, 이어서 제1 카메라(312)를 사용하는 것으로, 예를 들어 대략 5.7x의 총 줌 인자까지 스위칭하고, 이어서 마지막으로, 전환 지점(306)(이는, 이러한 예에서 제1 카메라(312)가 생성할 수 있는 가장 큰 총 줌 인자일 수 있음)에서, 제3 카메라(314)를 사용하는 것으로 스위칭할 수 있으며, 이는, 예를 들어 카메라 캡처 프레임워크에서 수신된 요청된 5.7x 총 줌 인자에 더 가까운 네이티브(native) "광학 줌" 레벨을 가질 수 있다.
그 지점으로부터, 예를 들어 (즉, 줌 아웃 동작들을 위한) 제3 카메라(314)로부터 제1 카메라(312) 내지 제2 카메라(310)로의 또는 (즉, 줌 인 동작들을 위한) 제2 카메라(310)로부터 제1 카메라(312) 내지 제3 카메라(314)로의 유사한 사이클의 카메라 전환들이 사용자에 의해 입력되고 카메라 캡처 프레임워크에서 수신된 줌 동작 정보에 의존하여 뒤따를 수 있다.
이제 인식될 수 있는 바와 같이, 그래프(300)는 이미지 캡처 디바이스들 사이에서 전환하기 위한 "늦은 스위칭" 줌 인 방식의 일 예를 예시하며, 즉 전자 디바이스는 현재 이미지 캡처 디바이스가 그것이 달성할 수 있는 총 줌 인자들의 범위의 상단에 도달하지 않는 한 또는 그에 도달할 때까지 이미지 캡처 디바이스들 사이에서 전환하지 않는다. 줌 인 동작 동안의 늦은 스위칭 줌 방식이 더 긴 줌 램프의 구현을 다소 단순화할 수 있지만, 그것은 카메라가 스위칭되는 순간에 더 큰 거슬리는 전환들을 유발할 수 있다.
그래프(350)로 돌아가면, 이미지 캡처 디바이스들 사이에서 전환하기 위한 개선된 소위 "조기 스위칭" 줌 인 방식의 일 예가 예시되며, 여기서 전자 디바이스는 이미지 캡처 디바이스들 사이에서 선제적으로 전환(또는 스위칭)하는데, 즉, 주어진 현재 이미지 캡처 디바이스가 생성가능한 총 줌 인자들의 그의 상단 범위에 도달하기 전에 전환한다. 일부 실시예들에서, "조기 스위칭" 줌 인 방식은 전환 순간에 이미지 캡처 디바이스들 사이에서 FOV들을 매칭시키기 위해 부가적인 디지털 줌을 사용함으로써 이를 달성할 수 있다. 예를 들어, 그래프(300)와의 비교에 의해, 그래프(350) 내의 전환 지점(308)은 더 이른 프레임에 그리고 제1 카메라(312)가 생성할 수 있는 가장 큰 총 줌 인자(예를 들어, 5.7x)를 표현하지 않는 총 줌 인자 값(예를 들어, 5.0x)에 온다. 유사하게, 다른 이미지 캡처 디바이스 전환들은 조기 스위칭 줌 인 방식에 따라 선제적으로 발생할 수 있다. 그러한 조기 스위칭 줌 인 방식의 이점들 중 일부는, 이미지 캡처 디바이스들이 줌 램프의 끝의 장소로 "스냅(snap)"된 경우보다 이미지 캡처 디바이스들 사이의 전환들을 덜 현저하게 만드는 것 및 상이한 이미지 캡처 디바이스들 사이의 전환들에 걸쳐, 생성된 비디오 내의 이미지들의 외관 및 느낌의 일관성을 개선시키는 데 도움을 주는 것을 포함할 수 있다.
평활한 줌 동작들을 포함하는 비디오 안정화 아키텍처
이제 도 4를 참조하면, 하나 이상의 실시예들에 따른, 평활한 줌 동작들을 포함하는 비디오 안정화 아키텍처(400)의 일 예가 예시되어 있다. 비디오 안정화 아키텍처(400)의 예에서, 자이로-기반 비디오 안정화 작업흐름(402)은, 캡처된 비디오 이미지 프레임들 및 다양한 관련 카메라 메타데이터, 예컨대 디지털 줌 값들, 총 줌 값들 등(404)을 그의 입력들로서 취하고, 캡처된 비디오 이미지 프레임들의 모션-안정화된 버전들을 그의 출력들로서 생성하는 전자 디바이스에 의해 수행될 수 있다. 전형적인 자이로-기반 비디오 안정화 작업흐름은, 필요한 VIS 변환들을 계산하고(블록(408)); 디지털 줌 정보를 고려하기 위해, 계산된 VIS 변환들을 업데이트하고(블록(410)), 이어서, 계산되고 업데이트된 변환들을 캡처된 비디오 이미지 프레임들 각각에 적용(블록(412))하기 위한 하나 이상의 모듈들을 포함할 수 있다. 그러한 전형적인 자이로-기반 비디오 안정화 작업흐름들에서, 각각의 이미지에 적용된 VIS의 양은 대체로, 그러한 이미지 프레임들의 캡처 동안 (예를 들어, 자이로, 가속도계, 관성 측정 유닛(IMU) 등에 의해 측정된 바와 같은) 이미지 캡처 디바이스와 연관된 위치 정보의 함수일 수 있다.
도 4에 예시된 개선된 자이로-기반 비디오 안정화 작업흐름(402)에서, 자이로-기반 비디오 안정화 작업흐름(402)과 통합된 줌 평활화 모듈(406)이 또한 존재한다. 줌 평활화 모듈(406)은 또한, 캡처된 비디오 이미지 프레임들 및 다양한 관련 카메라 메타데이터(404)(예를 들어, 이미지 프레임들과 연관된 디지털 줌 및 총 줌 인자 값들을 포함함)를 입력으로서 취할 수 있다. 일부 실시예들에서, 줌 평활화 모듈(406)의 목표는 주어진 이미지 캡처 디바이스(들)의 총 줌 인자에 대한 평활화된 궤적을 결정하여, 생성되는 레코딩된 비디오에서, 줌 전환들이 덜 갑작스럽게 보이게 하는 것일 것이다.
줌 평활화 동작은 비디오 캡처 동안, 주어진 이미지 캡처 디바이스에 의해 캡처되는 비디오 이미지 프레임들에 적용할 디지털 줌의 양을 결정하는 것을 수반할 수 있다. 일부 경우들에서, 아래에서 설명될 바와 같이, 주어진 이미지 캡처 디바이스에 대해 이용가능한 오버스캔 영역의 양(즉, 그의 FOV의 주변부 주위에서 이미지 캡처 디바이스에 의해 캡처되지만, 캡처된 이미지들의 뷰어들에게 전형적으로 나타내거나 디스플레이되지 않는 픽셀들의 부분)은 오버스캔 할당 파라미터에 따라 할당될 수 있으며, 여기서 오버스캔 할당 파라미터는 전술된 디지털 줌 평활화 동작들에 오버스캔 구역의 제1 부분을 그리고 VIS 동작들(및/또는 카메라 전환들과 같은 다른 동작들)에 오버스캔 구역의 제2 부분을 할당한다. 다시 말하면, 오버스캔이 (예를 들어, 줌 아웃 동작 동안) 줌 동작을 평활화하는 데 많이 이용될수록, 나중에 비디오 안정화 작업흐름에서 VIS 동작들에 대해 특별히 이용가능할 수 있는 오버스캔이 더 적어질 수 있으며, 이는 VIS 강도 파라미터가 감소될 필요가 있을 수 있어서, VIS 동작들이 주어진 캡처된 비디오 이미지 프레임에 대해 나머지 이용가능한 오버스캔을 초과하지 않는다는 것을 의미한다.
일부 실시예들에서, 줌 평활화 모듈(406)은 총 줌 인자, 즉 비디오 이미지 스트림의 캡처 동안 전자 디바이스에 의해 적용되었던 줌의 총량(디지털 줌을 포함함)의 궤적에 대해 초기 평활화 동작(420)을 수행함으로써 시작할 수 있다. (궤적(504)은 도 5를 참조하여 나중에 논의될 바와 같이, 주어진 캡처된 비디오 이미지 스트림에 대한 초기, 즉 비평활화된 총 줌 인자 궤적의 일 예이다.) 일부 실시예들에서, 초기 평활화 동작(420)은 총 줌 인자 궤적에 적용되는 가우시안 평활화 필터 또는 다른 유한 임펄스 응답(FIR) 필터들 또는 무한 임펄스 응답(IIR) 필터들을 포함할 수 있다. 예를 들어, 가우시안 평활화 동작 G(x)는 다음의 형태를 취할 수 있으며:
, 여기서 σ1은 가우시안 평활화 동작의 강도이다.
일부 구현예들에서, 캡처된 비디오의 지속기간에 걸쳐, 캡처된 이미지들에 적용되는 총 줌 인자의 디지털 줌 컴포넌트를 추가로 평활화하거나 조정하는 것이 또한 바람직할 수 있으며, 예를 들어, 디지털 줌이 방향의 급격한 변화들, 이미지 캡처 디바이스 전환들에서의 불연속성들을 갖거나, 또는 미리 결정된 최소 임계치 값 아래로 항상 떨어지면, 디지털 줌 인자에서 이러한 변화들의 궤적을 평활화하는 것은 또한, 더 평활한 전체 총 줌 인자를 달성하는 데 도움을 줄 수 있다. (원하는 경우, 전술된 가우시안 필터링 및 모든 후속 필터링 단계들은 로그 도메인에서 선택적으로 수행될 수 있으며, 즉 줌 궤적 신호는 필터링 동작들을 수행하기 전에 로그 도메인으로 변환될 수 있다는 것을 유의한다.)
일부 실시예들에서, 줌 평활화 모듈(406)은 420에서 생성된 총 줌 인자의 초기에 평활화된 궤적에 대해 소프트 클립핑(clip) 동작(422)을 수행함으로써 계속될 수 있다. 일부 그러한 실시예들에서, 소프트 클립핑 동작(422)은 디지털 줌 인자를 미리 결정된 최소 값, 예를 들어 1.0x에 클램핑(clamp)하는 것을 수반할 수 있다. 또 다른 실시예들에서, 디지털 줌 인자에 대한 소위 "클램프 값"은 각각의 캡처된 비디오 이미지 프레임에 대해 동적으로 계산될 수 있다.
예를 들어, 일부 구현예들에 따르면, 동적 디지털 줌 인자 클램프 값 c는 2개의 값들: c1 및 c2의 최소치로서 결정될 수 있으며, 여기서:
이고, 여기서:
s는 최소 지원된 디지털 줌 인자이고, t는 초기 클램핑 이후의 요청된 디지털 줌 인자이고, a는 허용된 오버스캔 분획(fraction) 값이고(예를 들어, a는 디폴트로 0 내지 1, 예컨대 0.5의 튜닝가능 파라미터일 수 있음), m은 최소 지원된 줌 인자 곱셈기이다(예를 들어, m은 주어진 구현예의 필요성들에 기초하여 일부 디폴트 값을 갖는 다른 튜닝가능 파라미터일 수 있음).
일단 디지털 줌 인자 클램프 값이 결정되었다면, 소프트 클립핑 동작(422)은 디지털 줌 인자 클램프 값을 따르도록 수행될 수 있다. 예를 들어, 소프트 클립핑 동작은, 즉 더 낮은 디지털 줌 값이 카메라 캡처 프레임워크에 의해 요청된 경우에도, 반환된 디지털 줌 값이 점진적으로 감소하고, 결정된 디지털 줌 인자 클램프 값 c 아래로 떨어지지 않는 것을 보장하기 위해, 요청된 디지털 줌 값 (dr)를 입력으로서 취하고, 요청된 디지털 줌 값의 "소프트 클립핑된" 버전을 출력으로서 반환하는 함수 f(x)를 평가하는 것을 포함할 수 있다.
하나의 구현예에서, 소프트 클립핑 함수 f(x)는 다음과 같이 정의될 수 있으며:
x < dr의 경우, , 및
x ≥ dr의 경우, , 여기서
x는 소프트 클립핑 전의 입력 디지털 줌 값이고, f(x)는 소프트 클립핑 이후의 출력 디지털 줌 값이고, dr은 요청된 디지털 줌 인자이고, ymax 및 ymin은 출력 디지털 줌 값의 최대치들 및 최소치들이고(여기서, 이러한 수학식의 ymax는 요청된 디지털 줌 값 dr에 또한 대응하고, 이러한 수학식의 ymin은 위에서 논의된 디지털 줌 인자 클램프 값 c에 또한 대응함), r = ymax - ymin이고, p = (ymax / r)이다. 이제 인식될 수 있는 바와 같이, 위의 소프트 클립핑 함수 f(x)는 입력 범위 [0, dr]로부터의 x의 입력 값을 [c, dr]의 출력 범위에 맵핑하는 효과를 갖는다.
일부 실시예들에서, 줌 평활화 모듈(406)은 422에서 생성된 총 줌 인자의 초기에 평활화된 궤적 및 소프트-클립핑된 궤적에 대해 확장 동작(424)을 수행함으로써 계속될 수 있다. 일부 구현예들에서, 확장 커널은 튜닝가능 크기 k의 간단한 1차원(1D) 확장 커널을 포함할 수 있으며, 이는 총 줌 인자에 대한 계산된 궤적의 값을 크기 k의 이동 윈도우에 걸친 궤적의 최대 값에 설정하도록 구성된다. 일부 경우들에서, 확장 동작(424)이 필요할 수 있어서, 예컨대, 소프트 클립핑 동작 이후 422에서 결정된 대응하는 총 줌 인자 클램핑 값과 적어도 동일하거나 또는 그보다 크도록 궤적 곡선을 따라 각각의 지점에서의 총 줌 인자의 계산된 평활화된 궤적의 최종 값을 제약하는 임의의 미리 결정된 제약들을 총 줌 인자의 계산된 평활화된 궤적의 값이 위반하지 않으면서, 임의의 원하는 최종 평활화 동작들(426)이 수행될 수 있다.
일부 구현예들에서, 원하는 경우, 최종 평활화 동작들(426)은 제2 가우시안 평활화 동작 G_2(x)을 포함할 수 있고, 이는 다음의 형태를 취할 수 있으며:
, 여기서 σ2는 (k/6)의 경험적으로 정의된 값과 동일하게 설정될 수 있는 제2 가우시안 평활화 동작의 강도이고, 위에서 언급된 바와 같이, k는 동작(424)으로부터의 확장 커널의 크기일 수 있다.
일단 최종 평활화된 줌 궤적이 동작(426)에서 계산되었다면, 줌 평활화 모듈(406)의 출력(428)은 캡처된 비디오 내의 이미지 프레임들 각각에 대해 이제 결정된 조정된(즉, 평활화된) 총 줌 값들을 포함할 수 있다. 이어서, 출력(428) 값들은 전술된 VIS 변환 블록(408)으로 반환될 수 있으며, 이어서, VIS 변환 블록(408)은 디지털 줌 평활화 동작들을 통해 각각의 이미지 프레임에 이미 적용되었을 디지털 줌의 양을 인식할 것이다(그리고 따라서, 여전히 VIS 동작들에 할당될 수 있는 오버스캔 구역의 나머지 부분을 결정할 수 있다). 줌 평활화 모듈(406)을 참조하여 위에서 설명된 다양한 동작들(예를 들어, 소프트 클립핑 동작들, 1D 커널 확장 등을 수행하는 특정 기법들)은 순수하게 예시적인 목적들을 위해 주어지며, 주어진 구현예에 존재할 수 있는 오버스캔 제약들의 세트를 다루는 하나의 실시예만을 포함한다는 것이 이해되어야 한다. 게다가, (자이로-기반 비디오 안정화 작업흐름(402)을 참조하여 도 4에 도시된 것과 같은) VIS 모듈의 일부로서 줌 평활화 동작들(406)을 조합하는 것은 순수하게 선택적이며, 본 명세서에 설명된 다양한 줌 평활화 동작들은 전자 디바이스가 그의 이미지 신호 프로세싱 파이프라인의 일부로서 임의의 다른 이미지 안정화 동작들(예를 들어, VIS, OIS 등)을 수행하고 있는지 여부와 독립적으로 수행될 수 있다.
예시적인 평활화된 총 줌 인자 궤적들
이제 도 5를 참조하면, 하나 이상의 실시예들에 따른, (예를 들어, 도 4를 참조하여 위에서 설명된 바와 같이) 다양한 예시적인 평활화된 및 비평활화된 총 줌 인자 궤적들을 예시하는 그래프(500)가 도시되어 있다. 그래프(500)의 수직 축(502)은 예시적인 이미지 캡처 디바이스의 현재 총 줌 인자를 표현하고, 그래프(500)의 수평 축(504)은 수평 축에 걸쳐 좌측으로부터 우측으로 이동하는, 시간에 걸쳐 캡처된 예시적인 비디오 이미지 프레임들의 프레임 수를 표현한다. 그래프(500)에 예시된 바와 같이, 예시적인 이미지 캡처 디바이스에 대한 비평활화된 총 줌 인자 궤적이 실선(504)으로 도시되는 반면, 예시적인 이미지 캡처 디바이스에 대한 대응하는 예시적인 평활화된 및 클립핑된 총 줌 인자 궤적이 파선(506)으로 도시되고, 예시적인 이미지 캡처 디바이스에 대한 총 줌 인자 궤적의 최종 평활화된 버전이 점선(508)으로 도시된다.
위에서 설명된 바와 같이, 비평활화된 총 줌 인자 궤적(504)은 (예를 들어, 착신의 캡처된 이미지 프레임들 각각과 연관되는 줌 메타데이터 정보(총 줌 및 디지털 줌을 포함함)의 형태로) 줌 평활화 모듈(406)에 입력될 수 있는 총 줌 인자 정보의 시각화를 표현한다. 이어서, 평활화된 및 클립핑된 총 줌 인자 궤적(506)은 블록들(420, 422) 각각에서 평활화되고 그리고/또는 소프트 클립핑될 수 있는 총 줌 인자 정보의 시각화를 표현할 수 있다. 도 5에 예시된 바와 같이, 평활화된 및 클립핑된 줌 궤적(506)은 비평활화된 줌 궤적(504)보다 더 긴 램프들 및 값의 덜 급격한 또는 덜 갑작스러운 변화들을 나타낼 수 있다. 따라서, 총 줌 인자 궤적(508)의 최종 평활화된 버전은 임의의 최종 확장 및/또는 2차 가우시안 평활화 동작들이 적용된(그리고 총 줌 인자에 대한 임의의 제약들이 시행된) 이후의 평활화된 및 클립핑된 총 줌 인자 궤적을 표현할 수 있다. 인식될 수 있는 바와 같이, 총 줌 인자 궤적(508)은 이제, (캡처된 비디오 이미지들에 안정성을 제공하기 위해 임의의 후속 VIS 동작들에 의해 결정 및 수행될 수 있는 임의의 부가적인 디지털 줌을 겪는) 원래의 캡처된 비디오 시퀀스의 줌-평활화된 버전의 레코딩에서 각각의 프레임에 적용될 총 줌의 양을 표현한다.
본 명세서에 설명된 평활화 동작들은 전체 캡처된 비디오 이미지 시퀀스에 걸쳐 있는(즉, 다양한 이미지 캡처 디바이스들 사이의 전환들이 발생했던 때 또는 경우와 관계없이, 주어진 캡처된 비디오의 캡처된 이미지 프레임들 모두에 걸쳐) 총 줌 인자 궤적에 대해 수행될 수 있거나, 또는 평활화 동작들은, 이미지 캡처 디바이스들이 "활성"이고(즉, 최종 비디오에서 사용될 이미지들을 캡처하는 데 현재 사용되고 있고) 줌 아웃(또는 줌 인)하는 데 사용되고 있는 시간들 동안 개별 이미지 캡처 디바이스들 각각과 연관된 총 줌 인자 궤적들에 개별적으로 적용되는 것으로 간주될 수 있다는 것이 이해되어야 한다. 이어서, 개별 평활화된 궤적들은 위에서 논의된 바와 같이, 전체 캡처된 비디오 이미지 시퀀스에 대한 전체 총 줌 인자 궤적을 형성하기 위해, 캡처된 비디오 이미지 스트림의 길이에 걸쳐 함께 개념적으로 집계(aggregate)될 수 있다. 특정 구현예들에서, (예를 들어, 특정 이미지 캡처 디바이스들에 대해서만 사용자로부터 요청된 줌 동작 또는 특정 이미지 캡처 디바이스들 사이의 전환들이 존재하는 때에만, 또는 사용자에 의해 요청된 총 줌 인자의 변화의 양이 미리 결정된 임계량을 초과하고 그리고/또는 미리 결정된 임계 시간 기간 이하에 있을 때에만 등에서) 캡처된 비디오 이미지 시퀀스의 특정 부분들에만 줌 인자 평활화 동작들을 적용하는 것이 가능하거나 바람직할 수 있다.
예시적인 평활한 줌-인식 비디오 이미지 안정화(VIS) 동작들
이제 도 6을 참조하면, 하나 이상의 실시예들에 따른, 예시적인 평활한 줌-인식 비디오 이미지 안정화(VIS) 동작들을 예시하는 그래프(600)가 도시되어 있다. 그래프(600)의 수직 축(602)은 주어진 캡처된 이미지 프레임에 적용되고 있는 VIS 강도 인자를 표현하고(더 높은 안정화 강도 인자 값들은 더 높은 이미지 안정화, 및 그에 따라 가능하게는 이미지 캡처 디바이스의 이용가능한 오버스캔 중 더 많은 것이 VIS 동작들에 의해 사용되고 있다는 것을 의미하고, 더 낮은 안정화 강도 인자 값들은 더 낮은 이미지 안정화, 및 그에 따라 이미지 캡처 디바이스의 이용가능한 오버스캔 중 더 적은 것이 VIS 동작들에 의해 사용되고 있다는 것을 의미함), 그래프(600)의 수평 축(604)은 수평 축에 걸쳐 좌측으로부터 우측으로 이동하는, 시간에 걸쳐 캡처된 예시적인 비디오 이미지 프레임들의 프레임 수를 표현한다.
그래프(600)에 예시된 바와 같이, 현재 및 미래의 캡처된 이미지 프레임들에 대해 필요할 디지털 줌(즉, 줌 평활화 이후 적용될 디지털 줌)의 양에 대한 지식의 이익이 없는 예시적인 이미지 캡처 디바이스에 대한 VIS 강도 인자 궤적은 실선(608)으로 도시되는 반면, 현재 및 미래의 캡처된 이미지 프레임들에 대해 필요할, 줌 평활화 이후 적용될 디지털 줌의 양에 대한 지식의 이점이 있는 예시적인 이미지 캡처 디바이스에 대한 대응하는 VIS 강도 인자 궤적은 파선(606)으로 도시된다. 이제 인식될 수 있는 바와 같이, 줌 평활화 동작들에 대한 다가올 프레임들에서 이용될 수 있는 오버스캔 구역의 양에 대한 지식이 없다면, VIS 강도 인자 궤적(608)은 안정화 강도의 갑작스러운 또는 급격한 변화들을 경험할 수 있어서, 예를 들어 안정화 강도 인자 값은 다가올 줌 평활화 동작들에 대해 필요한 오버스캔의 양을 보상하기에 충분히 낮아질 수 있다(예를 들어, 그래프(600)의 예의 프레임(130) 주위에서, 안정화 강도 인자는 대략 7의 값으로 매우 신속하게 드롭되어야 한다). 반면에, 줌 평활화 동작들에 대한 다가올 프레임들에서 이용될 오버스캔 구역의 양에 대한 지식이 있다면, VIS 강도 인자 궤적(606)은 프레임(130)에 의해 대략 7의 필요한 값으로 안정화 강도 인자 값을 아래로 더 평활하고 점진적으로 조정할 수 있으며, 이는 비디오 이미지 스트림에서 이미지들의 겉보기 안정성에 대한 덜 갑작스러운 변화를 초래할 수 있다. 다시 말하면, VIS 강도 인자 값들은 하나 이상의 현재 및 미래의 이미지 프레임들의 세트의 평활화된 디지털 줌 값들에 적어도 부분적으로 기초하여 결정될 수 있다. 이미지 프레임들의 수(VIS 강도 인자 궤적(606)은 그 수에 대한 지식을 가질 수 있음)는 다른 튜닝가능 파라미터(예를 들어, 5 프레임 예견, 10 프레임 예견 등)일 수 있다.
예시적인 평활한 줌 동작들
이제 도 7a를 참조하면, 하나 이상의 실시예들에 따른, 다중-이미지 캡처 디바이스 전자 디바이스에서 평활한 줌 동작들을 수행하는 방법(700)을 예시하는 흐름도가 도시되어 있다. 방법(700)은 전자 디바이스를 이용하여 제1 비디오를 캡처하기 시작하도록 사용자로부터 제1 요청을 수신함으로써 단계(702)에서 시작될 수 있다. 일부 실시예들에서, 전자 디바이스는 적어도, 제1 광학 줌, 제1 시야 뷰(FOV), 및 제1 범위의 디지털 줌 값들을 갖는 제1 이미지 캡처 디바이스; 및 제2 광학 줌, 제2 FOV, 및 제2 범위의 디지털 줌 값들을 갖는 제2 이미지 캡처 디바이스를 포함할 수 있다.
다음으로, 단계(704)에서, 방법(700)은 제1 비디오를 생성하는 데 사용하기 위해 제1 이미지 캡처 디바이스로부터 제1 비디오 이미지 스트림을 획득하기 시작할 수 있다. 제1 비디오 이미지 스트림은 제1 총 줌 인자로 캡처되고, 여기서 제1 총 줌 인자는 제1 광학 줌 및 제1 범위의 디지털 줌 값들 내로부터의 현재 제1 디지털 줌 값에 기초하여 결정된다. 제1 이미지 캡처 디바이스의 제1 총 줌 인자는, 예를 들어 부가적인 비디오 이미지들이 캡처됨에 따라 그리고/또는, 예를 들어 전자 디바이스의 사용자 인터페이스를 통해 제1 사용자로부터 수신된 "줌 인" 또는 "줌 아웃" 요청들에 응답하여, 동적이고, 시간에 걸쳐 변경될 수 있다는 것이 이해되어야 한다. 예를 들어, 제1 이미지 캡처 디바이스가 2.0x의 광학 줌 인자 및 3.0x의 현재 디지털 줌 값을 갖는다면, 현재 제1 총 줌 인자는 6.0x(즉, 2.0*3.0)인 것으로 언급될 수 있다. 그러나, 나중에 제1 비디오 이미지 스트림의 캡처 동안, 제1 이미지 캡처 디바이스가 여전히 2.0x의 광학 줌 인자를 갖지만, 그것이 6.0x의 당시의(then-current) 디지털 줌 값을 갖는다면, 당시의 제1 총 줌 인자는 12.0x(즉, 2.0*6.0)일 것이다. 이러한 방식으로, 각각의 이미지 캡처 디바이스는 그것이 이미지들을 캡처할 수 있는 가능한 총 줌 인자들의 범위를 가질 수 있다.
단계(706)에서, 방법(700)은 제1 비디오 이미지 스트림을 제1 타깃 총 줌 인자로 줌 인하도록 사용자로부터 제2 요청을 획득할 수 있다. 다음으로, 단계(708)에서, 그리고 제2 요청을 수신하는 것에 응답하여, 방법(700)은 제1 이미지 캡처 디바이스의 제1 디지털 줌 값을 증가시키기 시작할 수 있다(단계(710)). 이어서, 제1 범위의 디지털 줌 값들의 최대 값에 도달하기 전에, 전자 디바이스는, 예를 들어 제1 비디오를 생성하는 데 사용하기 위해 제2 이미지 캡처 디바이스로부터 제2 비디오 이미지 스트림을 획득하기 시작하기 위해 활성 이미지 캡처 디바이스를 스위칭시킬 수 있다(단계(712)). 제2 비디오 이미지 스트림은 제2 총 줌 인자로 캡처되고, 여기서 제2 총 줌 인자는 제2 광학 줌 및 제2 범위의 디지털 줌 값들 내로부터의 현재 제2 디지털 줌 값에 기초하여 결정된다. 일부 실시예들에서, 제1 총 줌 인자는 전자 디바이스가 (예를 들어, 줌 동작 동안 줌 레벨에서의 임의의 거슬리는 점프들을 피하는 데 도움을 주기 위해) 제2 이미지 캡처 디바이스로부터 제2 비디오 이미지 스트림을 획득하도록 스위칭할 때 제2 총 줌 인자와 동일할 수 있다. 다음으로, 단계(714)에서, 방법(700)은 제2 총 줌 인자가 제1 타깃 총 줌 인자에 도달할 때까지 제2 디지털 줌 값을 증가시킬 수 있다.
마지막으로, 단계(716)에서, 방법(700)은 제1 비디오 이미지 스트림과 제2 비디오 이미지 스트림의 조합에 적어도 부분적으로 기초하여 제1 비디오를 생성할 수 있다. 예를 들어, 생성된 제1 비디오는, 제1 이미지 캡처 디바이스에 의해 캡처된(그리고 제1 비디오 이미지 스트림 이미지들에 적용될 수 있는 임의의 부가적인 줌 평활화, VIS, 또는 다른 포스트-프로세싱 동작들을 겪는) 바와 같은 제1 비디오 이미지 스트림의 이미지들, 뒤이어, 제2 이미지 캡처 디바이스에 의해 캡처된(다시, 제2 비디오 이미지 스트림 이미지들에 적용될 수 있는 임의의 부가적인 줌 평활화, VIS, 또는 다른 포스트-프로세싱 동작들을 겪는) 바와 같은 제2 비디오 이미지 스트림의 이미지들을 포함할 수 있다.
이제 도 7b를 참조하면, 하나 이상의 실시예들에 따른, 다중-이미지 캡처 디바이스 전자 디바이스에서 평활한 줌 동작들을 수행하는 다른 방법(750)을 예시하는 흐름도가 도시되어 있다. 방법(750)은 단계(752)에서, 예를 들어 도 7a의 단계(716)(예를 들어, 제1 이미지 캡처 디바이스로부터 제2 이미지 캡처 디바이스로 전환하는 평활한 "줌 인" 동작)의 수행에 후속하여, 제2 비디오 이미지 스트림을 제2 타깃 총 줌 인자로 줌 아웃하도록 사용자로부터 제3 요청을 획득함으로써 시작될 수 있다. 다음으로, 단계(754)에서, 그리고 제3 요청을 수신하는 것에 응답하여, 방법(750)은 선택적으로, 예를 들어 제1 이미지 캡처 디바이스를 이용하여 비디오 이미지들을 캡처하는 것으로 즉시 스위칭 백하는 것이 요구되지 않거나 가능하지 않으면, 제2 이미지 캡처 디바이스의 제2 디지털 줌 값을 감소시키기 시작할 수 있다(단계(756)). 이어서, 방법(750)은, 제1 비디오를 생성하는 데 사용하기 위해 제1 이미지 캡처 디바이스로부터 제3 비디오 이미지 스트림을 획득하도록 활성 이미지 캡처 디바이스를 스위칭시키도록 진행할 수 있으며, 여기서 제3 비디오 이미지 스트림은 제1 총 줌 인자로 캡처되고, 제1 총 줌 인자는 디바이스가 제1 이미지 캡처 디바이스로부터 제3 비디오 이미지 스트림을 획득하도록 스위칭할 때 제2 총 줌 인자와 동일하다(단계(758)). 다음으로, 단계(760)에서, 방법(750)은 제1 총 줌 인자가 제2 타깃 총 줌 인자에 도달할 때까지 제1 디지털 줌 값을 감소시킬 수 있다. 위에서 설명된 바와 같이, 일부 실시예들에 따르면, 제1 이미지 캡처 디바이스가 줌 아웃되는 레이트(및/또는 양)는, 평활한 줌 프레임워크에서 확립된 미리 결정된 줌 설정들; 제3 비디오 이미지 스트림의 캡처 동안의 이미지 캡처 디바이스의 이동 또는 위치 변화의 양(이는, 예를 들어 줌 평활화 동작들보다는 VIS 동작들에 대해 얼마나 많은 이용가능한 오버스캔 구역이 예약되는지를 결정할 수 있음); 제3 비디오 이미지 스트림에서 캡처된 이미지들로부터 획득된 다른 메타데이터; 또는 그러한 인자들의 임의의 조합에 기초할 수 있다.
마지막으로, 단계(762)에서, 방법(750)은 제1 비디오 이미지 스트림, 제2 비디오 이미지 스트림, 및 제3 비디오 이미지 스트림의 조합에 적어도 부분적으로 기초하여 추가로 제1 비디오를 생성할 수 있다. 예를 들어, 생성된 제1 비디오는, 제1 이미지 캡처 디바이스에 의해 캡처된(그리고 제1 비디오 이미지 스트림 이미지들에 적용될 수 있는 임의의 부가적인 줌 평활화, VIS, 또는 다른 포스트-프로세싱 동작들을 겪는) 바와 같은 제1 비디오 이미지 스트림의 이미지들, 뒤이어, 제2 이미지 캡처 디바이스에 의해 캡처된 바와 같은 제2 비디오 이미지 스트림의 이미지들, 및 이어서 뒤이어, 줌 아웃 동작 동안 제1 이미지 캡처 디바이스에 의해 캡처된(다시, 제3 비디오 이미지 스트림 이미지들에 적용될 수 있는 임의의 부가적인 줌 평활화, VIS, 또는 다른 포스트-프로세싱 동작들을 겪는) 바와 같은 제3 비디오 이미지 스트림의 이미지들을 포함할 수 있다.
이제 도 7c를 참조하면, 하나 이상의 실시예들에 따른, 전자 디바이스의 단일 이미지 캡처 디바이스를 사용하여 평활한 줌 동작들을 수행하는 방법(770)을 예시하는 흐름도가 도시되어 있다. 방법(770)은 전자 디바이스를 이용하여 제1 비디오를 캡처하기 시작하도록 사용자로부터 제1 요청을 수신함으로써 단계(772)에서 시작될 수 있다. 일부 실시예들에서, 전자 디바이스는 적어도, 제1 광학 줌, 제1 시야 뷰(FOV), 및 제1 범위의 디지털 줌 값들을 갖는 제1 이미지 캡처 디바이스를 포함할 수 있다.
다음으로, 단계(774)에서, 방법(770)은 제1 비디오를 생성하는 데 사용하기 위해 제1 이미지 캡처 디바이스로부터 제1 비디오 이미지 스트림을 획득하기 시작할 수 있다. 제1 비디오 이미지 스트림은 제1 총 줌 인자로 캡처되고, 여기서 제1 총 줌 인자는 제1 광학 줌 및 제1 범위의 디지털 줌 값들 내로부터의 현재 제1 디지털 줌 값에 기초하여 결정된다. 단계(776)에서, 방법(770)은 제1 타깃 총 줌 인자에 도달하기 위해 제1 비디오 이미지 스트림에 대해 줌 동작을 수행하도록 사용자로부터 제2 요청을 획득할 수 있다. 다음으로, 단계(778)에서, 그리고 제2 요청을 수신하는 것에 응답하여, 방법(770)은 제1 총 줌 인자에 대한 제1 궤적을 계산할 수 있으며, 여기서 계산된 제1 궤적은 제1 타깃 총 줌 인자를 향해 시간에 걸쳐 제1 이미지 캡처 디바이스의 제1 총 줌 인자를 조정한다(단계(780)). 이어서, 전자 디바이스는, 예를 들어 도 5를 참조하여 위에서 논의된 평활화된 총 줌 인자 궤적(508)과 같은 제1 총 줌 인자에 대한 제1 평활화된 궤적을 생성하기 위해 제1 총 줌 인자에 대한 제1 계산된 궤적에 대해 하나 이상의 제1 평활화 동작들을 수행할 수 있다(단계(782)). 이어서, 전자 디바이스는 제1 총 줌 인자에 대한 제1 평활화된 궤적에 따라 시간에 걸쳐 제1 이미지 캡처 디바이스의 제1 총 줌 값을 조정할 수 있다(단계(784)).
마지막으로, 단계(786)에서, 방법(770)은 제1 총 줌 인자에 대한 제1 평활화된 궤적에 따라 조정된, 제1 비디오 이미지 스트림의 이미지들에 적어도 부분적으로 기초하여 제1 비디오를 생성할 수 있다. 예를 들어, 생성된 제1 비디오는, 제1 이미지 캡처 디바이스에 의해 캡처된(그리고 제1 비디오 이미지 스트림 이미지들에 적용될 수 있는 임의의 부가적인 줌 평활화, VIS, 또는 다른 포스트-프로세싱 동작들을 겪는) 바와 같은 제1 비디오 이미지 스트림의 이미지들을 포함할 수 있다.
예시적인 전자 컴퓨팅 디바이스들
이제 도 8를 참조하면, 일 실시예에 따른 예시적인 프로그래밍가능 전자 컴퓨팅 디바이스(800)의 단순화된 기능 블록도가 도시되어 있다. 전자 디바이스(800)는, 예를 들어, 모바일 전화기, 개인 미디어 디바이스, 휴대용 카메라, 또는 태블릿, 노트북 또는 데스크톱 컴퓨터 시스템일 수 있다. 도시된 바와 같이, 전자 디바이스(800)는 프로세서(805), 디스플레이(810), 사용자 인터페이스(815), 그래픽 하드웨어(820), 디바이스 센서들(825)(예를 들어, 근접 센서/주변 광 센서, 가속도계, 관성 측정 유닛, 및/또는 자이로스코프), 마이크로폰(830), 오디오 코덱(들)(835), 스피커(들)(840), 통신 회로부(845), 이미지 캡처 디바이스(들)(850) ― 이는, 예를 들어, 상이한 특성들 또는 능력들을 갖는 다수의 카메라 유닛들/광학 이미지 센서들(예를 들어, 스틸 이미지 안정화(Still Image Stabilization, SIS), 높은 동적 범위(high dynamic range, HDR), 광학 이미지 안정화(OIS) 시스템들, 광학 줌, 디지털 줌 등)을 포함할 수 있음 ―, 비디오 코덱(들)(855), 메모리(860), 저장소(865), 및 통신 버스(880)를 포함할 수 있다.
프로세서(805)는 전자 디바이스(800)에 의해 수행되는(예를 들어, 본 명세서에 설명된 다양한 실시예들에 따른 이미지들의 프로세싱과 같은) 많은 기능들의 동작을 수행하거나 제어하는 데 필요한 명령어들을 실행할 수 있다. 예를 들어, 프로세서(805)는 디스플레이(810)를 구동하고 사용자 인터페이스(815)로부터 사용자 입력을 수신할 수 있다. 사용자 인터페이스(815)는 다양한 형태들, 예컨대 버튼, 키패드, 다이얼, 클릭 휠, 키보드, 디스플레이 스크린 및/또는 터치 스크린을 취할 수 있다. 예를 들어, 사용자 인터페이스(815)는 도관(conduit)일 수 있으며, 이를 통해 사용자는 캡처된 비디오 스트림을 볼 수 있고 그리고/또는, (예를 들어, 원하는 이미지 프레임이 디바이스의 디스플레이 스크린 상에 디스플레이되고 있는 순간에 물리적 또는 가상 버튼을 클릭함으로써) 사용자가 캡처하고자 할 특정 이미지 프레임(들)을 표시할 수 있다. 일 실시예에서, 디스플레이(810)는, 프로세서(805) 및/또는 그래픽 하드웨어(820) 및/또는 이미지 캡처 회로부가 비디오 스트림을 동시에 생성하여 메모리(860) 및/또는 저장소(865)에 저장하는 동안 캡처되는 비디오 스트림을 디스플레이할 수 있다. 프로세서(805)는 모바일 디바이스들에서 발견되는 것들과 같은 SOC(system-on-chip)이고, 하나 이상의 전용 그래픽 프로세싱 유닛(GPU)들을 포함할 수 있다. 프로세서(805)는 RISC(reduced instruction-set computer) 또는 CISC(complex instruction-set computer) 아키텍처들 또는 임의의 다른 적합한 아키텍처에 기초할 수 있으며, 하나 이상의 프로세싱 코어들을 포함할 수 있다. 그래픽 하드웨어(820)는 그래픽을 프로세싱하고 그리고/또는 프로세서(805)가 계산 태스크들을 수행하는 것을 보조하기 위한 특수 목적 계산 하드웨어일 수 있다. 일 실시예에서, 그래픽 하드웨어(820)는 하나 이상의 프로그래밍가능 그래픽 프로세싱 유닛(GPU)들 및/또는 하나 이상의 특수 SOC들, 예를 들어 애플(Apple)의 뉴럴 엔진 프로세싱 코어들과 같은 메인 디바이스 중앙 프로세싱 유닛(CPU) 또는 전형적인 GPU 중 어느 하나보다 더 에너지 효율적인 방식으로 뉴럴 네트워크 및 기계 학습 동작들(예를 들어, 콘볼루션들)을 구현하도록 특별히 설계된 SOC를 포함할 수 있다.
이미지 캡처 디바이스(들)(850)는 이미지들을 캡처하도록 구성된 하나 이상의 카메라 유닛들을 포함할 수 있으며, 예를 들어 이미지들은, 예를 들어 본 개시내용에 따라, 현장 사용 시에 상기 이미지 캡처 디바이스를 추가로 교정하는 데 도움을 주도록 프로세싱될 수 있다. 이미지 캡처 디바이스(들)(850)는 2개(또는 그 이상)의 렌즈 조립체들(880A, 880B)을 포함할 수 있으며, 여기서 각각의 렌즈 조립체는 별개의 초점 거리를 가질 수 있다. 예를 들어, 렌즈 조립체(880A)는 렌즈 조립체(880B)의 초점 거리에 비해 짧은 초점 거리를 가질 수 있다. 각각의 렌즈 조립체는 별개의 연관된 센서 요소, 예를 들어 센서 요소들(890A/890B)을 가질 수 있다. 대안적으로, 2개 이상의 렌즈 조립체들은 공통 센서 요소를 공유할 수 있다. 이미지 캡처 디바이스(들)(850)는 정지 및/또는 비디오 이미지들을 캡처할 수 있다. 이미지 캡처 디바이스(들)(850)로부터의 출력은 비디오 코덱(들)(855) 및/또는 프로세서(805) 및/또는 그래픽 하드웨어(820), 및/또는 이미지 캡처 디바이스(들)(850) 내에 통합된 전용 이미지 프로세싱 유닛 또는 이미지 신호 프로세서에 의해, 적어도 부분적으로 프로세싱될 수 있다. 그렇게 캡처된 이미지들은 메모리(860) 및/또는 저장소(865)에 저장될 수 있다.
메모리(860)는 디바이스 기능들을 수행하기 위해 프로세서(805), 그래픽 하드웨어(820), 및 이미지 캡처 디바이스(들)(850)에 의해 사용되는 하나 이상의 상이한 유형들의 미디어를 포함할 수 있다. 예를 들어, 메모리(860)는 메모리 캐시, 판독 전용 메모리(ROM) 및/또는 랜덤 액세스 메모리(RAM)를 포함할 수 있다. 저장소(865)는 미디어(예를 들어, 오디오, 이미지 및 비디오 파일들), 컴퓨터 프로그램 명령어들 또는 소프트웨어, 선호도 정보, 디바이스 프로파일 정보, 및 임의의 다른 적합한 데이터를 저장할 수 있다. 저장소(865)는, 예를 들어, 자기 디스크들(고정형, 플로피, 및 착탈식) 및 테이프, CD-ROM들 및 디지털 비디오 디스크(DVD)들과 같은 광학 미디어, 및 전기적으로 프로그래밍가능 판독 전용 메모리(EPROM) 및 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리(EEPROM)과 같은 반도체 메모리 디바이스들을 포함하는 하나 이상의 비일시적 저장 매체들을 포함할 수 있다. 메모리(860) 및 저장소(865)는 하나 이상의 모듈들로 조직화되고 임의의 원하는 컴퓨터 프로그래밍 언어로 기입되는 컴퓨터 프로그램 명령어들 또는 코드를 유지하는 데 사용될 수 있다. 예를 들어, 프로세서(805)에 의해 실행될 때, 그러한 컴퓨터 프로그램 코드는 본 명세서에 설명된 방법들 또는 프로세스들 중 하나 이상을 구현할 수 있다. 전원(875)은 재충전가능 배터리(예를 들어, 리튬-이온 배터리 등) 또는 전력 공급부에 대한, 예를 들어, 메인 전원에 대한 다른 전기 연결부를 포함할 수 있으며, 그것은 전자 디바이스(800)의 전자 컴포넌트들 및 연관된 회로부에 대한 전력을 관리하고 그리고/또는 그들에 전력을 제공하는 데 사용된다.
위의 설명은 제한이 아니라 예시적인 것으로 의도된다는 것이 이해될 것이다. 예를 들어, 위에 설명된 실시예들은 서로 조합하여 사용될 수 있다. 많은 다른 실시예들이 위의 설명을 검토할 시에 당업자들에게 명백할 것이다. 따라서, 본 발명의 범주는 첨부된 청구범위를 참조하여, 그러한 청구범위가 권리를 갖는 등가물들의 전체 범주에 따라 결정되어야 한다.

Claims (25)

  1. 디바이스로서,
    메모리;
    제1 광학 줌, 제1 시야 뷰(field view of view, FOV), 및 제1 범위의 디지털 줌 값들을 갖는 제1 이미지 캡처 디바이스;
    제2 광학 줌, 제2 FOV, 및 제2 범위의 디지털 줌 값들을 갖는 제2 이미지 캡처 디바이스; 및
    상기 메모리에 동작가능하게 커플링된 하나 이상의 프로세서들을 포함하며,
    상기 하나 이상의 프로세서들은, 상기 하나 이상의 프로세서들로 하여금,
    제1 비디오를 캡처하기 시작하도록 사용자로부터 제1 요청을 수신하게 하고;
    상기 제1 비디오를 생성하는 데 사용하기 위해 상기 제1 이미지 캡처 디바이스로부터 제1 비디오 이미지 스트림을 획득하게 하고 ― 상기 제1 비디오 이미지 스트림은 제1 총 줌 인자(total zoom factor)로 캡처되고, 상기 제1 총 줌 인자는 상기 제1 광학 줌 및 상기 제1 범위의 디지털 줌 값들 내로부터의 현재 제1 디지털 줌 값에 기초하여 결정됨 ―;
    상기 제1 비디오 이미지 스트림을 제1 타깃 총 줌 인자로 줌 인(zoom in)하도록 상기 사용자로부터 제2 요청을 획득하게 하고;
    상기 제2 요청에 응답하여:
    상기 제1 이미지 캡처 디바이스의 상기 제1 디지털 줌 값을 증가시키게 하고;
    상기 제1 범위의 디지털 줌 값들의 최대 값에 도달하기 전에, 상기 제1 비디오를 생성하는 데 사용하기 위해 상기 제2 이미지 캡처 디바이스로부터 제2 비디오 이미지 스트림을 획득하도록 스위칭하게 하고 ― 상기 제2 비디오 이미지 스트림은 제2 총 줌 인자로 캡처되고, 상기 제2 총 줌 인자는 상기 제2 광학 줌 및 상기 제2 범위의 디지털 줌 값들 내로부터의 현재 제2 디지털 줌 값에 기초하여 결정되고, 상기 제1 총 줌 인자는 상기 하나 이상의 프로세서들이 상기 제2 이미지 캡처 디바이스로부터 상기 제2 비디오 이미지 스트림을 획득하도록 스위칭할 때 상기 제2 총 줌 인자와 동일함 ―; 그리고
    상기 제2 총 줌 인자가 상기 제1 타깃 총 줌 인자에 도달할 때까지 상기 제2 디지털 줌 값을 증가시키게 하고; 그리고
    상기 제1 비디오 이미지 스트림과 상기 제2 비디오 이미지 스트림의 조합에 적어도 부분적으로 기초하여 상기 제1 비디오를 생성하게 하는
    명령어들을 실행하도록 구성되는, 디바이스.
  2. 제1항에 있어서,
    상기 제2 FOV는 상기 제1 FOV보다 좁고, 상기 제2 광학 줌은 상기 제1 광학 줌보다 큰, 디바이스.
  3. 제1항에 있어서,
    상기 제1 이미지 캡처 디바이스 및 상기 제2 이미지 캡처 디바이스는 캡처된 비디오 이미지 스트림들에 대한 총 줌 인자들의 부분-중첩 범위들을 생성할 수 있는, 디바이스.
  4. 제1항에 있어서,
    상기 제1 타깃 총 줌 인자는 상기 제1 이미지 캡처 디바이스에 의해 획득가능한 총 줌 인자들의 범위 밖에 있는, 디바이스.
  5. 제1항에 있어서,
    상기 하나 이상의 프로세서들은, 상기 하나 이상의 프로세서들로 하여금,
    상기 제2 비디오 이미지 스트림을 제2 타깃 총 줌 인자로 줌 아웃(zoom out)하도록 상기 사용자로부터 제3 요청을 획득하게 하고;
    상기 제3 요청에 응답하여:
    상기 제1 비디오를 생성하는 데 사용하기 위해 상기 제1 이미지 캡처 디바이스로부터 제3 비디오 이미지 스트림을 획득하도록 스위칭하게 하고 ― 상기 제3 비디오 이미지 스트림은 상기 제1 총 줌 인자로 캡처되고, 상기 제1 총 줌 인자는 상기 하나 이상의 프로세서들이 상기 제1 이미지 캡처 디바이스로부터 상기 제3 비디오 이미지 스트림을 획득하도록 스위칭할 때 상기 제2 총 줌 인자와 동일함 ―; 그리고
    상기 제1 총 줌 인자가 상기 제2 타깃 총 줌 인자에 도달할 때까지 상기 제1 디지털 줌 값을 감소시키게 하고; 그리고
    상기 제1 비디오 이미지 스트림, 상기 제2 비디오 이미지 스트림, 및 상기 제3 비디오 이미지 스트림의 조합에 적어도 부분적으로 기초하여 추가로 상기 제1 비디오를 생성하게 하는
    명령어들을 실행하도록 구성되는, 디바이스.
  6. 제1항에 있어서,
    상기 하나 이상의 프로세서들로 하여금, 상기 제1 이미지 캡처 디바이스의 상기 제1 디지털 줌 값을 증가시키게 하는 상기 명령어들은, 상기 하나 이상의 프로세서들로 하여금,
    상기 제1 총 줌 인자에 대한 제1 평활화된 궤적을 생성하기 위해 상기 제1 총 줌 인자에 대한 제1 계산된 궤적에 대해 하나 이상의 제1 평활화 동작들을 수행하게 하고; 그리고
    상기 제1 총 줌 인자에 대한 상기 제1 평활화된 궤적에 따라 시간에 걸쳐 상기 제1 이미지 캡처 디바이스의 상기 제1 디지털 줌 값을 증가시키게 하는
    명령어들을 더 포함하는, 디바이스.
  7. 제6항에 있어서,
    상기 하나 이상의 프로세서들로 하여금, 상기 제2 총 줌 인자가 상기 제1 타깃 총 줌 인자에 도달할 때까지 상기 제2 디지털 줌 값을 증가시키게 하는 상기 명령어들은, 상기 하나 이상의 프로세서들로 하여금,
    상기 제2 총 줌 인자에 대한 제2 평활화된 궤적을 생성하기 위해 상기 제2 총 줌 인자에 대한 제2 계산된 궤적에 대해 하나 이상의 제2 평활화 동작들을 수행하게 하고; 그리고
    상기 제2 총 줌 인자에 대한 상기 제2 평활화된 궤적에 따라 시간에 걸쳐 상기 제2 이미지 캡처 디바이스의 상기 제2 디지털 줌 값을 증가시키게 하는
    명령어들을 더 포함하는, 디바이스.
  8. 제5항에 있어서,
    상기 하나 이상의 프로세서들로 하여금, 상기 제2 이미지 캡처 디바이스의 상기 제2 디지털 줌 값을 감소시키게 하는 상기 명령어들은, 상기 하나 이상의 프로세서들로 하여금,
    상기 제2 총 줌 인자에 대한 제3 평활화된 궤적을 생성하기 위해 상기 제2 총 줌 인자에 대한 제3 계산된 궤적에 대해 하나 이상의 제3 평활화 동작들을 수행하게 하고; 그리고
    상기 제2 총 줌 인자에 대한 상기 제3 평활화된 궤적에 따라 시간에 걸쳐 상기 제2 이미지 캡처 디바이스의 상기 제2 디지털 줌 값을 감소시키게 하는
    명령어들을 더 포함하는, 디바이스.
  9. 제8항에 있어서,
    상기 하나 이상의 프로세서들로 하여금, 상기 제1 총 줌 인자가 상기 제2 타깃 총 줌 인자에 도달할 때까지 상기 제1 디지털 줌 값을 감소시키게 하는 상기 명령어들은, 상기 하나 이상의 프로세서들로 하여금,
    상기 제1 총 줌 인자에 대한 제4 평활화된 궤적을 생성하기 위해 상기 제1 총 줌 인자에 대한 제4 계산된 궤적에 대해 하나 이상의 제4 평활화 동작들을 수행하게 하고; 그리고
    상기 제1 총 줌 인자에 대한 상기 제4 평활화된 궤적에 따라 시간에 걸쳐 상기 제1 이미지 캡처 디바이스의 상기 제1 디지털 줌 값을 감소시키게 하는
    명령어들을 더 포함하는, 디바이스.
  10. 제5항에 있어서,
    상기 제2 이미지 캡처 디바이스의 상기 제2 디지털 줌 값이 감소되는 제1 레이트는 오버스캔(overscan) 할당 파라미터에 적어도 부분적으로 기초하여 결정되고,
    상기 오버스캔 할당 파라미터는 상기 제2 이미지 캡처 디바이스의 상기 제2 디지털 줌 값을 감소시키는 것에 상기 제2 FOV의 오버스캔 구역의 제1 부분을 할당하고, 그리고
    상기 오버스캔 할당 파라미터는 비디오 이미지 안정화(VIS) 동작들에 상기 제2 FOV의 상기 오버스캔 구역의 제2 부분을 할당하는, 디바이스.
  11. 제10항에 있어서,
    상기 오버스캔 할당 파라미터의 값은,
    미리 결정된 오버스캔 할당 값;
    상기 제2 비디오 이미지 스트림의 상기 캡처 동안 상기 디바이스의 하나 이상의 위치 센서들로부터 획득된 위치 정보; 또는
    상기 제2 비디오 이미지 스트림에서 캡처된 이미지들로부터 획득된 메타데이터
    중 하나 이상에 적어도 부분적으로 기초하여 결정되는, 디바이스.
  12. 제10항에 있어서,
    상기 VIS 동작들에 대한 강도 값들은 상기 제2 이미지 캡처 디바이스의 상기 제2 디지털 줌 값이 감소되는 상기 제1 레이트에 적어도 부분적으로 기초하여 결정되는, 디바이스.
  13. 상부에 저장되어 있는 명령어들을 포함하는 비일시적 프로그램 저장 디바이스로서,
    상기 명령어들은, 하나 이상의 프로세서들로 하여금,
    디바이스를 이용하여 제1 비디오를 캡처하기 시작하도록 사용자로부터 제1 요청을 수신하게 하고 ― 상기 디바이스는,
    제1 광학 줌, 제1 시야 뷰(FOV), 및 제1 범위의 디지털 줌 값들을 갖는 제1 이미지 캡처 디바이스; 및
    제2 광학 줌, 제2 FOV, 및 제2 범위의 디지털 줌 값들을 갖는 제2 이미지 캡처 디바이스를 포함함 ―;
    상기 제1 비디오를 생성하는 데 사용하기 위해 상기 제1 이미지 캡처 디바이스로부터 제1 비디오 이미지 스트림을 획득하게 하고 ― 상기 제1 비디오 이미지 스트림은 제1 총 줌 인자로 캡처되고, 상기 제1 총 줌 인자는 상기 제1 광학 줌 및 상기 제1 범위의 디지털 줌 값들 내로부터의 현재 제1 디지털 줌 값에 기초하여 결정됨 ―;
    상기 제1 비디오 이미지 스트림을 제1 타깃 총 줌 인자로 줌 인하도록 상기 사용자로부터 제2 요청을 획득하게 하고;
    상기 제2 요청에 응답하여:
    상기 제1 이미지 캡처 디바이스의 상기 제1 디지털 줌 값을 증가시키게 하고;
    상기 제1 범위의 디지털 줌 값들의 최대 값에 도달하기 전에, 상기 제1 비디오를 생성하는 데 사용하기 위해 상기 제2 이미지 캡처 디바이스로부터 제2 비디오 이미지 스트림을 획득하도록 스위칭하게 하고 ― 상기 제2 비디오 이미지 스트림은 제2 총 줌 인자로 캡처되고, 상기 제2 총 줌 인자는 상기 제2 광학 줌 및 상기 제2 범위의 디지털 줌 값들 내로부터의 현재 제2 디지털 줌 값에 기초하여 결정되고, 상기 제1 총 줌 인자는 상기 하나 이상의 프로세서들이 상기 제2 이미지 캡처 디바이스로부터 상기 제2 비디오 이미지 스트림을 획득하도록 스위칭할 때 상기 제2 총 줌 인자와 동일함 ―; 그리고
    상기 제2 총 줌 인자가 상기 제1 타깃 총 줌 인자에 도달할 때까지 상기 제2 디지털 줌 값을 증가시키게 하고; 그리고
    상기 제1 비디오 이미지 스트림과 상기 제2 비디오 이미지 스트림의 조합에 적어도 부분적으로 기초하여 상기 제1 비디오를 생성하게 하는, 비일시적 프로그램 저장 디바이스.
  14. 제13항에 있어서,
    상기 하나 이상의 프로세서들로 하여금,
    상기 제2 비디오 이미지 스트림을 제2 타깃 총 줌 인자로 줌 아웃하도록 상기 사용자로부터 제3 요청을 획득하게 하고;
    상기 제3 요청에 응답하여:
    상기 제1 비디오를 생성하는 데 사용하기 위해 상기 제1 이미지 캡처 디바이스로부터 제3 비디오 이미지 스트림을 획득하도록 스위칭하게 하고 ― 상기 제3 비디오 이미지 스트림은 상기 제1 총 줌 인자로 캡처되고, 상기 제1 총 줌 인자는 상기 하나 이상의 프로세서들이 상기 제1 이미지 캡처 디바이스로부터 상기 제3 비디오 이미지 스트림을 획득하도록 스위칭할 때 상기 제2 총 줌 인자와 동일함 ―; 그리고
    상기 제1 총 줌 인자가 상기 제2 타깃 총 줌 인자에 도달할 때까지 상기 제1 디지털 줌 값을 감소시키게 하고; 그리고
    상기 제1 비디오 이미지 스트림, 상기 제2 비디오 이미지 스트림, 및 상기 제3 비디오 이미지 스트림의 조합에 적어도 부분적으로 기초하여 추가로 상기 제1 비디오를 생성하게 하는,
    상부에 저장되어 있는 명령어들을 더 포함하는, 비일시적 프로그램 저장 디바이스.
  15. 제14항에 있어서,
    상기 하나 이상의 프로세서들로 하여금, 상기 제2 이미지 캡처 디바이스의 상기 제2 디지털 줌 값을 감소시키게 하는 상기 명령어들은, 상기 하나 이상의 프로세서들로 하여금,
    상기 제2 총 줌 인자에 대한 평활화된 궤적을 생성하기 위해 상기 제2 총 줌 인자에 대한 계산된 궤적에 대해 하나 이상의 평활화 동작들을 수행하게 하고; 그리고
    상기 제2 총 줌 인자에 대한 상기 평활화된 궤적에 따라 시간에 걸쳐 상기 제2 이미지 캡처 디바이스의 상기 제2 디지털 줌 값을 감소시키게 하는
    명령어들을 더 포함하는, 비일시적 프로그램 저장 디바이스.
  16. 이미지 프로세싱 방법으로서,
    디바이스를 이용하여 제1 비디오를 캡처하기 시작하도록 사용자로부터 제1 요청을 수신하는 단계 ― 상기 디바이스는,
    제1 광학 줌, 제1 시야 뷰(FOV), 및 제1 범위의 디지털 줌 값들을 갖는 제1 이미지 캡처 디바이스; 및
    제2 광학 줌, 제2 FOV, 및 제2 범위의 디지털 줌 값들을 갖는 제2 이미지 캡처 디바이스를 포함함 ―;
    상기 제1 비디오를 생성하는 데 사용하기 위해 상기 제1 이미지 캡처 디바이스로부터 제1 비디오 이미지 스트림을 획득하는 단계 ― 상기 제1 비디오 이미지 스트림은 제1 총 줌 인자로 캡처되고, 상기 제1 총 줌 인자는 상기 제1 광학 줌 및 상기 제1 범위의 디지털 줌 값들 내로부터의 현재 제1 디지털 줌 값에 기초하여 결정됨 ―;
    상기 제1 비디오 이미지 스트림을 제1 타깃 총 줌 인자로 줌 인하도록 상기 사용자로부터 제2 요청을 획득하는 단계;
    상기 제2 요청에 응답하여:
    상기 제1 이미지 캡처 디바이스의 상기 제1 디지털 줌 값을 증가시키는 단계;
    상기 제1 범위의 디지털 줌 값들의 최대 값에 도달하기 전에, 상기 제1 비디오를 생성하는 데 사용하기 위해 상기 제2 이미지 캡처 디바이스로부터 제2 비디오 이미지 스트림을 획득하도록 스위칭하는 단계 ― 상기 제2 비디오 이미지 스트림은 제2 총 줌 인자로 캡처되고, 상기 제2 총 줌 인자는 상기 제2 광학 줌 및 상기 제2 범위의 디지털 줌 값들 내로부터의 현재 제2 디지털 줌 값에 기초하여 결정되고, 상기 제1 총 줌 인자는 상기 제2 이미지 캡처 디바이스로부터 상기 제2 비디오 이미지 스트림을 획득하도록 스위칭할 때 상기 제2 총 줌 인자와 동일함 ―; 및
    상기 제2 총 줌 인자가 상기 제1 타깃 총 줌 인자에 도달할 때까지 상기 제2 디지털 줌 값을 증가시키는 단계; 및
    상기 제1 비디오 이미지 스트림과 상기 제2 비디오 이미지 스트림의 조합에 적어도 부분적으로 기초하여 상기 제1 비디오를 생성하는 단계를 포함하는, 이미지 프로세싱 방법.
  17. 제16항에 있어서,
    상기 제2 비디오 이미지 스트림을 제2 타깃 총 줌 인자로 줌 아웃하도록 상기 사용자로부터 제3 요청을 획득하는 단계;
    상기 제3 요청에 응답하여:
    상기 제1 비디오를 생성하는 데 사용하기 위해 상기 제1 이미지 캡처 디바이스로부터 제3 비디오 이미지 스트림을 획득하도록 스위칭하는 단계 ― 상기 제3 비디오 이미지 스트림은 상기 제1 총 줌 인자로 캡처되고, 상기 제1 총 줌 인자는 상기 제1 이미지 캡처 디바이스로부터 상기 제3 비디오 이미지 스트림을 획득하도록 스위칭할 때 상기 제2 총 줌 인자와 동일함 ―; 및
    상기 제1 총 줌 인자가 상기 제2 타깃 총 줌 인자에 도달할 때까지 상기 제1 디지털 줌 값을 감소시키는 단계; 및
    상기 제1 비디오 이미지 스트림, 상기 제2 비디오 이미지 스트림, 및 상기 제3 비디오 이미지 스트림의 조합에 적어도 부분적으로 기초하여 추가로 상기 제1 비디오를 생성하는 단계를 더 포함하는, 이미지 프로세싱 방법.
  18. 제17항에 있어서,
    상기 제2 이미지 캡처 디바이스의 상기 제2 디지털 줌 값을 감소시키는 단계는,
    상기 제2 총 줌 인자에 대한 평활화된 궤적을 생성하기 위해 상기 제2 총 줌 인자에 대한 계산된 궤적에 대해 하나 이상의 평활화 동작들을 수행하는 단계; 및
    상기 제2 총 줌 인자에 대한 상기 평활화된 궤적에 따라 시간에 걸쳐 상기 제2 이미지 캡처 디바이스의 상기 제2 디지털 줌 값을 감소시키는 단계를 더 포함하는, 이미지 프로세싱 방법.
  19. 제17항에 있어서,
    상기 제2 이미지 캡처 디바이스의 상기 제2 디지털 줌 값이 감소되는 제1 레이트는 오버스캔 할당 파라미터에 적어도 부분적으로 기초하여 결정되고,
    상기 오버스캔 할당 파라미터는 상기 제2 이미지 캡처 디바이스의 상기 제2 디지털 줌 값을 감소시키는 것에 상기 제2 FOV의 오버스캔 구역의 제1 부분을 할당하고, 그리고
    상기 오버스캔 할당 파라미터는 비디오 이미지 안정화(VIS) 동작들에 상기 제2 FOV의 상기 오버스캔 구역의 제2 부분을 할당하는, 이미지 프로세싱 방법.
  20. 제19항에 있어서,
    상기 VIS 동작들에 대한 강도 값들은 상기 제2 이미지 캡처 디바이스의 상기 제2 디지털 줌 값이 감소되는 상기 제1 레이트에 적어도 부분적으로 기초하여 결정되는, 이미지 프로세싱 방법.
  21. 디바이스로서,
    메모리;
    제1 광학 줌, 제1 시야 뷰(FOV), 및 제1 범위의 디지털 줌 값들을 갖는 제1 이미지 캡처 디바이스; 및
    상기 메모리에 동작가능하게 커플링된 하나 이상의 프로세서들을 포함하며,
    상기 하나 이상의 프로세서들은, 상기 하나 이상의 프로세서들로 하여금,
    제1 비디오를 캡처하기 시작하도록 사용자로부터 제1 요청을 수신하게 하고;
    상기 제1 비디오를 생성하는 데 사용하기 위해 상기 제1 이미지 캡처 디바이스로부터 제1 비디오 이미지 스트림을 획득하게 하고 ― 상기 제1 비디오 이미지 스트림은 제1 총 줌 인자로 캡처되고, 상기 제1 총 줌 인자는 상기 제1 광학 줌 및 상기 제1 범위의 디지털 줌 값들 내로부터의 현재 제1 디지털 줌 값에 기초하여 결정됨 ―;
    제1 타깃 총 줌 인자에 도달하기 위해 상기 제1 비디오 이미지 스트림에 대해 줌 동작을 수행하도록 상기 사용자로부터 제2 요청을 획득하게 하고;
    상기 제2 요청에 응답하여:
    상기 제1 총 줌 인자에 대한 제1 궤적을 계산하게 하고 ― 상기 계산된 제1 궤적은 상기 제1 타깃 총 줌 인자를 향해 시간에 걸쳐 상기 제1 이미지 캡처 디바이스의 상기 제1 총 줌 인자를 조정함 ―;
    상기 제1 총 줌 인자에 대한 제1 평활화된 궤적을 생성하기 위해 상기 제1 총 줌 인자에 대한 상기 제1 계산된 궤적에 대해 하나 이상의 제1 평활화 동작들을 수행하게 하고; 그리고
    상기 제1 총 줌 인자에 대한 상기 제1 평활화된 궤적에 따라 시간에 걸쳐 상기 제1 이미지 캡처 디바이스의 제1 총 줌 값을 조정하게 하고; 그리고
    상기 제1 총 줌 인자에 대한 상기 제1 평활화된 궤적에 따라 조정된, 상기 제1 비디오 이미지 스트림의 이미지들에 적어도 부분적으로 기초하여 상기 제1 비디오를 생성하게 하는
    명령어들을 실행하도록 구성되는, 디바이스.
  22. 제21항에 있어서,
    상기 제1 이미지 캡처 디바이스의 상기 제1 총 줌 인자가 조정되는 제1 레이트는 오버스캔 할당 파라미터에 적어도 부분적으로 기초하여 결정되고,
    상기 오버스캔 할당 파라미터는 상기 제1 이미지 캡처 디바이스의 상기 제1 총 줌 값을 조정하는 것에 상기 제1 FOV의 오버스캔 구역의 제1 부분을 할당하고, 그리고
    상기 오버스캔 할당 파라미터는 비디오 이미지 안정화(VIS) 동작들에 상기 제1 FOV의 상기 오버스캔 구역의 제2 부분을 할당하는, 디바이스.
  23. 제22항에 있어서,
    상기 오버스캔 할당 파라미터의 값은,
    미리 결정된 오버스캔 할당 값;
    상기 제1 비디오 이미지 스트림의 상기 캡처 동안 상기 디바이스의 하나 이상의 위치 센서들로부터 획득된 위치 정보; 또는
    상기 제1 비디오 이미지 스트림에서 캡처된 이미지들로부터 획득된 메타데이터
    중 하나 이상에 적어도 부분적으로 기초하여 결정되는, 디바이스.
  24. 제22항에 있어서,
    상기 VIS 동작들에 대한 강도 값들은 상기 제1 이미지 캡처 디바이스의 상기 제1 총 줌 값이 감소되는 상기 제1 레이트에 적어도 부분적으로 기초하여 결정되는, 디바이스.
  25. 제21항에 있어서,
    상기 줌 동작은, 줌 인 동작; 또는 줌 아웃 동작 중 적어도 하나를 포함하는, 디바이스.
KR1020230114333A 2022-09-06 2023-08-30 카메라들에서 비디오에 대한 평활한 줌을 달성하기 위한 방법들 KR20240034122A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202263374697P 2022-09-06 2022-09-06
US63/374,697 2022-09-06

Publications (1)

Publication Number Publication Date
KR20240034122A true KR20240034122A (ko) 2024-03-13

Family

ID=89905334

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230114333A KR20240034122A (ko) 2022-09-06 2023-08-30 카메라들에서 비디오에 대한 평활한 줌을 달성하기 위한 방법들

Country Status (4)

Country Link
US (1) US20240080564A1 (ko)
KR (1) KR20240034122A (ko)
CN (1) CN117676327A (ko)
DE (1) DE102023208447A1 (ko)

Also Published As

Publication number Publication date
US20240080564A1 (en) 2024-03-07
DE102023208447A1 (de) 2024-03-07
CN117676327A (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
US10404923B1 (en) Real time video special effects system and method
CN107750451B (zh) 用于稳定视频的方法和电子装置
US11727958B2 (en) Real time video special effects system and method
US20150156421A1 (en) Digital Zoom With Sensor Mode Change
US20110032432A1 (en) Digital image signal processing method, medium for recording the method, and digital image signal processing apparatus
KR102511199B1 (ko) 디지털 카메라들을 위한 줌 설정 조정
KR20110055244A (ko) 디지털 촬영 장치 및 그 제어 방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체
JP6721084B2 (ja) ズーム制御装置、ズーム制御方法およびプログラム
CN113824893A (zh) 基于相机快门激活频率的动态图像处理
KR20240034122A (ko) 카메라들에서 비디오에 대한 평활한 줌을 달성하기 위한 방법들
US20120219264A1 (en) Image processing device
JP2017224940A (ja) 画像処理方法および画像処理装置
WO2022040936A1 (zh) 变焦视频拍摄方法、拍摄系统、拍摄装置和存储介质