KR20170013102A - 동영상 안정화 방법 및 이를 위한 전자 장치 - Google Patents

동영상 안정화 방법 및 이를 위한 전자 장치 Download PDF

Info

Publication number
KR20170013102A
KR20170013102A KR1020150106095A KR20150106095A KR20170013102A KR 20170013102 A KR20170013102 A KR 20170013102A KR 1020150106095 A KR1020150106095 A KR 1020150106095A KR 20150106095 A KR20150106095 A KR 20150106095A KR 20170013102 A KR20170013102 A KR 20170013102A
Authority
KR
South Korea
Prior art keywords
frames
electronic device
information
motion
area
Prior art date
Application number
KR1020150106095A
Other languages
English (en)
Other versions
KR102352681B1 (ko
Inventor
유형철
김낙훈
서덕찬
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150106095A priority Critical patent/KR102352681B1/ko
Priority to US14/943,354 priority patent/US9860448B2/en
Priority to CN201580080744.1A priority patent/CN107750451B/zh
Priority to PCT/KR2015/012322 priority patent/WO2017018612A1/en
Priority to EP15899755.1A priority patent/EP3329666B1/en
Publication of KR20170013102A publication Critical patent/KR20170013102A/ko
Application granted granted Critical
Publication of KR102352681B1 publication Critical patent/KR102352681B1/ko

Links

Images

Classifications

    • H04N5/23264—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H04N5/225—
    • H04N5/23251—
    • H04N5/23267—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

전자 장치에서 동영상을 안정화하는 방법에 있어서, 이미지 센서를 통해 획득된 복수의 프레임에 대한 흔들림 정보 및 일정 배율에 관한 정보에 기초하여, 복수의 프레임 각각의 전체 영역에서 복수의 프레임 각각에 대응하는 흔들림 보정 영역들을 결정하는 단계; 흔들림 보정 영역들을 일정 배율로 확대하여, 복수의 프레임 각각에 대응하는 출력 프레임들을 생성하는 단계; 및 출력 프레임들을 포함하는 동영상을 제공하는 단계를 포함하는 동영상 안정화 방법이 개시된다.

Description

동영상 안정화 방법 및 이를 위한 전자 장치{METHOD AND ELECTRONIC APPARATUS FOR STABILIZING VIDEO}
전자식 손 떨림 방지(Digital Image Stabilization) 기술을 이용한 동영상 안정화 방법 및 이를 위한 전자 장치가 개시된다.
카메라 또는 캠코더 등의 영상 촬영 장치가 전문 소비자들에게뿐만 아니라 일반 소비자들에게까지 널리 보급되었다. 최근에는 디지털 기술의 발전으로 인하여 디지털 영상 촬영 장치가 보급되었다. 특히, 디지털 영상 촬영 장치는 스마트폰 또는 태블릿 등과 같은 휴대용 단말기에 포함되어 보급되고 있다. 디지털 영상 촬영 장치에 의해 촬영된 영상은 디지털 영상의 형식을 가질 수 있다.
디지털 영상은 목적에 따라 다양한 방법으로 처리될 수 있다. 디지털 영상 촬영 장치를 이용하여 촬영된 디지털 영상은 과거에 필름을 이용하여 촬영된 영상에 비해 훨씬 용이하게 편집되거나 처리될 수 있다. 예를 들어, 디지털 영상 촬영 장치는 촬영된 이미지의 일부를 전자적으로 확대하거나 축소할 수 있다.
일 실시예에 의하면, 디지털 줌 동영상(Digital Zoom Video) 촬영 시 손 떨림 또는 피사체의 움직임에 기초하여 발생되는 동영상의 흔들림(shaking)을 보정하는 동영상 안정화 방법 및 전자 장치가 제공될 수 있다. 예를 들어, 입력 프레임의 전체 영역을 흔들림 보정 가능한 영역으로 이용함으로써, 디지털 줌 동영상을 안정화하는 방법이 제공될 수 있다.
일 실시예에 따르는 동영상 안정화 방법은, 이미지 센서를 통해 입력된 이미지 신호를 이용하여 복수의 프레임을 획득하는 단계; 복수의 프레임과 관련하여 일정 배율로 확대를 요청하는 사용자 입력을 수신하는 단계; 복수의 프레임에 포함된 피사체의 움직임 또는 전자 장치의 움직임에 대한 정보를 이용하여, 복수의 프레임에 대한 흔들림 정보를 획득하는 단계; 복수의 프레임에 대한 흔들림 정보 및 일정 배율에 관한 정보에 기초하여, 복수의 프레임 각각의 전체 영역에서 복수의 프레임 각각에 대응하는 흔들림 보정 영역들을 결정하는 단계; 흔들림 보정 영역들을 상기 일정 배율로 확대하여, 복수의 프레임 각각에 대응하는 출력 프레임들을 생성하는 단계; 및 출력 프레임들을 포함하는 동영상을 제공하는 단계를 포함할 수 있다.
일 실시예에 따르는 복수의 프레임을 획득하는 단계는, 전자 장치에서 얻어진 최대 화각의 프레임들을 획득할 수 있다.
일 실시예에 따르는 사용자 입력을 수신하는 단계는, 프리뷰 이미지가 표시되는 터치스크린을 통해 핀치 입력을 수신하는 단계; 및 핀치 입력에 기초하여, 일정 배율 및 초기 줌 영역을 결정하는 단계를 포함할 수 있다.
일 실시예에 따르는 복수의 프레임에 대한 흔들림 정보를 획득하는 단계는, 복수의 프레임을 비교한 결과에 기초하여, 복수의 프레임에 포함된 피사체의 움직임에 대한 제 1 움직임 정보를 획득하는 단계; 전자 장치에 포함된 적어도 하나의 센서를 이용하여, 상기 복수의 프레임을 획득하는 동안의 전자 장치의 움직임에 대한 제 2 움직임 정보를 획득하는 단계; 및 제 1 움직임 정보 및 제 2 움직임 정보 중 적어도 하나를 이용하여, 복수의 프레임에 대한 흔들림 정보를 획득하는 단계를 포함할 수 있다.
일 실시예에 따르는 복수의 프레임 각각에 대응하는 흔들림 보정 영역들을 결정하는 단계는, 흔들림 정보에 기초하여, 전자 장치의 움직임과 반대되거나, 피사체의 움직임에 상응하는 안정화 경로를 결정하는 단계; 및 안정화 경로에 따라 복수의 프레임 각각에 대응하는 흔들림 보정 영역들을 결정하는 단계를 포함할 수 있다.
일 실시예에 따르는 안정화 경로를 결정하는 단계는, 복수의 프레임의 해상도 정보를 고려하여, 안정화 경로를 결정하는 단계를 포함할 수 있다.
일 실시예에 따르는 출력 프레임을 생성하는 단계는, 복수의 프레임의 모션 벡터에 기반하여, 복수의 프레임 중 적어도 하나의 프레임에 대한 롤링 셔터 왜곡(Rolling Shutter Distortion)을 보정(correction)하는 단계를 더 포함할 수 있다.
일 실시예에 따르는 복수의 프레임 각각에 대응하는 출력 프레임들을 생성하는 단계는, 흔들림 정보에 포함된 회전 성분 정보에 기초하여, 복수의 프레임 중 적어도 하나의 프레임에 대한 회전을 보상하는 단계를 포함할 수 있다.
일 실시예에 따르는 적어도 하나의 프레임에 대한 회전을 보상하는 단계는, 복수의 프레임 중 제 1 프레임의 제 1 흔들림 보정 영역을 제 1 프레임의 중심 영역으로 이동시키는 단계; 제 1 흔들림 보정 영역을 소정 각도로 회전시키는 단계; 및 회전된 제 1 흔들림 보정 영역을 제 1 프레임의 중심 영역으로 이동시키는 단계를 포함할 수 있다.
일 실시예에 따르는 동영상 안정화 방법은, 입력 프레임의 크라핑(cropping) 영역에서 흔들림 보정 영역을 결정하는 제 1 안정화 방식 또는 입력 프레임의 전체 영역에서 흔들림 보정 영역을 결정하는 제 2 안정화 방식을 선택할 수 있는 선택 창을 제공하는 단계; 및 선택 창을 통해 선택된 방식에 따라 동영상을 생성하는 단계를 더 포함할 수 있다.
일 실시예에 따르는 동영상 안정화 방법은, 제 1 안정화 방식에 의해 생성된 제 1 동영상에 대응하는 제 1 재생 버튼 및 제 2 안정화 방식에 의해 생성된 제 2 동영상에 대응하는 제 2 재생 버튼을 포함하는 GUI를 제공하는 단계; 및 제 1 재생 버튼 및 제 2 재생 버튼 중 하나에 대한 사용자 선택에 기초하여, 제 1 동영상 및 상기 제 2 동영상 중 하나를 재생하는 단계를 더 포함할 수 있다.
일 실시예에 따르는 전자 장치는, 이미지 센서를 통해 획득되는 복수의 프레임과 관련하여 일정 배율로 확대를 요청하는 사용자 입력을 수신하는 사용자 인터페이스; 복수의 프레임에 포함된 피사체의 움직임 또는 전자 장치의 움직임에 대한 정보를 이용하여, 복수의 프레임에 대한 흔들림 정보를 획득하고, 복수의 프레임에 대한 흔들림 정보 및 일정 배율에 관한 정보에 기초하여, 복수의 프레임 각각의 전체 영역에서 복수의 프레임 각각에 대응하는 흔들림 보정 영역들을 결정하고, 흔들림 보정 영역들을 일정 배율로 확대하여, 복수의 프레임 각각에 대응하는 출력 프레임들을 생성하는 제어부; 및 출력 프레임들을 포함하는 동영상을 제공하는 출력부를 포함할 수 있다.
일 실시예에 따르는 복수의 프레임 각각의 화각은, 출력 프레임들 각각의 화각보다 클 수 있다.
일 실시예에 따르는 전자 장치의 사용자 인터페이스는, 프리뷰 이미지가 표시되는 터치스크린을 통해 핀치 입력을 수신하고, 제어부는, 핀치 입력에 기초하여, 일정 배율 및 초기 줌 영역을 결정할 수 있다.
일 실시예에 따르는 전자 장치의 제어부는, 복수의 프레임을 비교한 결과에 기초하여, 복수의 프레임에 포함된 피사체의 움직임에 대한 제 1 움직임 정보를 획득하고, 전자 장치에 포함된 적어도 하나의 센서를 이용하여, 복수의 프레임을 획득하는 동안의 전자 장치의 움직임에 대한 제 2 움직임 정보를 획득하고, 제 1 움직임 정보 및 제 2 움직임 정보 중 적어도 하나를 이용하여, 복수의 프레임에 대한 흔들림 정보를 획득할 수 있다.
일 실시예에 따르는 전자 장치의 제어부는, 흔들림 정보에 기초하여, 전자 장치의 움직임과 반대되거나, 피사체의 움직임에 상응하는 안정화 경로를 결정하고, 안정화 경로에 따라 복수의 프레임 각각에 대응하는 흔들림 보정 영역들을 결정할 수 있다.
일 실시예에 따르는 전자 장치의 제어부는, 복수의 프레임의 해상도 정보를 고려하여, 안정화 경로를 결정할 수 있다.
일 실시예에 따르는 전자 장치의 제어부는, 복수의 프레임의 모션 벡터에 기반하여, 복수의 프레임 중 적어도 하나의 프레임에 대한 롤링 셔터 왜곡(Rolling Shutter Distortion)을 보정할 수 있다.
일 실시예에 따르는 전자 장치의 제어부는, 흔들림 정보에 포함된 회전 성분 정보에 기초하여, 복수의 프레임 중 적어도 하나의 프레임에 대한 회전을 보상할 수 있다.
도 1은, 일 실시예에 따른, 동영상 촬영 시스템을 설명하기 위한 도면이다.
도 2는, 일 실시예에 따른, 입력 프레임에서 일부 영역을 흔들림 보정 가능한 영역으로 이용하는 제 1 안정화 방식을 설명하기 위한 도면이다.
도 3a 및 3b는, 일 실시예에 따른, 전자 장치가 제 1 안정화 방식을 이용하여 동영상을 안정화하는 동작을 설명하기 위한 도면이다.
도 4는, 일 실시예에 따른, 전자 장치의 동영상 안정화 방법을 설명하기 위한 순서도이다.
도 5는, 일 실시예에 따른, 입력 프레임의 전체 영역을 흔들림 보정 가능한 영역으로 이용하는 제 2 안정화 방식을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 동영상의 배율(확대율, magnifying)을 설명하기 위한 도면이다.
도 7a 및 7b는 전자 장치가 제 2 안정화 방식을 이용하여 동영상을 안정화하는 동작을 설명하기 위한 도면이다.
도 8a 내지 8g는, 일 실시예에 따른, 전자 장치가 안정화 경로(stabilization path)에 따라 복수의 프레임을 안정화하는 동작을 설명하기 위한 도면이다.
도 9는, 일 실시예에 따른, 전자 장치가 적어도 하나의 프레임에 대한 회전을 보상하는 방법을 설명하기 위한 순서도이다.
도 10은, 일 실시예에 따른, 피사체가 회전된 프레임을 설명하기 위한 도면이다.
도 11은, 전자 장치가 피사체가 회전된 프레임을 보정하는 일례를 설명하기 위한 도면이다.
도 12는, 일 실시예에 따른, 전자 장치가 롤링 셔터 왜곡(Rolling shutter distortion)을 보정하는 동작을 설명하기 위한 도면이다.
도 13은, 일 실시예에 따른, 전자 장치가 안정화 방식을 선택할 수 있는 선택 창을 제공하는 방법을 설명하기 위한 순서도이다.
도 14 및 도 15는, 일 실시예에 따른, 전자 장치가 안정화 방식을 선택할 수 있는 선택 창을 제공하는 동작을 설명하기 위한 도면이다.
도 16은, 일 실시예에 따른, 전자 장치가 복수의 안정화 방식에 따라 생성한 복수의 동영상을 제공하는 방법을 설명하기 위한 순서도이다.
도 17 및 도 18은, 일 실시예에 따른, 전자 장치가 복수의 안정화 방식에 따라 생성한 복수의 동영상을 제공하는 GUI(Graphical User Interface)를 나타내는 도면이다.
도 19 및 도 20은, 일 실시예에 따른 전자 장치의 구성을 설명하기 위한 블록 구성도이다.
도 21은, 일 실시예에 따른, 제 1 안정화 모듈을 설명하기 위한 블록 구성도이다.
도 22는, 일 실시예에 따른 제 2 안정화 모듈을 설명하기 위한 블록 구성도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명의 일 실시예에 대해 구체적으로 설명하기로 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 명세서에서, “디지털 줌(Digital zoom)”은, 렌즈의 초점 거리를 조절하여 피사체를 확대하는 광학 줌과 달리, 디지털 사진이나 디지털 동영상의 화각(angle of view)을 줄임으로써, 피사체를 확대하는 방식을 의미할 수 있다.
본 명세서에서, “디지털 줌 동영상”은, 원본 프레임에 비해 작은 화각을 갖는 출력 프레임을 포함하는 동영상을 의미할 수 있다. 이때, 원본 프레임은 이미지 센서를 통해 입력된 소정 화각의 프레임(이하, 입력 프레임)을 의미할 수 있다.
본 명세서에서, “디지털 줌 동영상 안정화”는, 디지털 줌 동영상 재생 시 삼각대나 레일에 두고 촬영한 것처럼 디지털 줌 동영상이 부드럽게 재생될 수 있도록, 촬영자 또는 피사체의 움직임에 의해 발생되는 영상의 흔들림을 전자적으로 보정하는 영상 처리 기술을 의미할 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은, 일 실시예에 따른, 동영상 촬영 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 일 실시예에 따른 동영상 촬영 시스템은 전자 장치(100)를 포함할 수 있다. 여기서, 전자 장치(100)는 피사체에 대한 복수의 프레임을 획득하고, 획득한 복수의 프레임을 이용하여 동영상을 생성하는 기기를 의미할 수 있다.
일 실시예에 따른 전자 장치(100)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 전자 장치(100)는, 디지털 카메라, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어 등이 있을 수 있으나, 이에 한정되는 것은 아니다. 본 명세서에서 기술되는 전자 장치(100)는 사용자에 의해 착용될 수 있는 장치(wearable device)일 수 있다. 웨어러블 디바이스는 액세서리 형 장치(예컨대, 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈), 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형 장치(예: 전자 의복), 신체 부착형 장치(예컨대, 스킨 패드(skin pad)), 또는 생체 이식형 장치(예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
이하에서는, 설명의 편의상, 전자 장치(100)가 디지털 카메라 또는 카메라를 내장한 스마트폰인 경우를 예로 들어 설명하기로 한다.
일 실시예에 의하면, 전자 장치(100)는 디지털 줌 기능을 제공할 수 있다. 예를 들어, 전자 장치(100)는, 원본 프레임들의 일부 영역을 확대한 출력 프레임들을 생성하고, 출력 프레임들을 결합하여 디지털 줌 동영상을 생성할 수 있다. 일 실시예에 의하면, 전자 장치(100)는, 동영상 촬영 시작 전, 동영상 촬영 중 또는 동영상 촬영 후에, 원본 프레임들의 화각을 변경할 수 있다.
원본 프레임들은 기 설정된 화각의 입력 프레임들일 수 있다. 기 설정된 화각은 전자 장치(100)에서 지원 가능한 최대 화각을 포함할 수 있다.
도 1의 10-1을 참조하면, 전자 장치(100)는, 원본 프레임(10)의 프리뷰 이미지(11)를 터치스크린에 표시할 수 있다. 전자 장치(100)는, 터치스크린을 통해 원본 프레임(10)의 화각을 줄이는 줌 입력(12)을 수신할 수 있다. 예를 들어, 전자 장치(100)는, 프리뷰 이미지(11) 상에서 핀치 입력을 수신할 수 있다.
본 명세서에서, “핀치(pinch)”는 사용자가 두 손가락을 화면 위에 터치한 상태에서 서로 다른 방향으로 움직이는 동작을 나타낸다. 핀치(pinch)는 오브젝트의 확대(Pinch Open) 또는 축소(Pinch Close)를 위한 제스처일 수 있으며, 두 손가락의 거리에 따라 확대 값이나 축소 값이 결정될 수 있다.
일 실시예에 의하면, 전자 장치(100)는 줌 입력(12)에 따라, 확대율(배율)을 결정할 수 있다. 예를 들어, 전자 장치(100)는 확대율을 ‘2.5X’로 결정할 수 있다. 또한, 전자 장치(100)는 원본 프레임(10)에서 사용자가 확대하기 원하는 영역(이하, 관심 영역(ROI, Region of Interest))(13)을 결정할 수 있다.
도 1의 10-2를 참조하면, 전자 장치(100)는, 관심 영역(13)을 2.5배로 확대한 프리뷰 이미지(14)를 표시할 수 있다. 일 실시예에 의하면, 사용자는 프리뷰 이미지(14)를 확인하고, 촬영하기 원하는 이미지가 터치스크린에 나타나도록 전자 장치(100)를 이동시키거나 회전시킬 수 있다. 전자 장치(100)는 사용자의 줌 입력에 의해 설정된 확대율(예컨대 2.5X)에 상응하는 화각의 프레임들을 결합하여 디지털 줌 동영상을 생성할 수 있다.
한편, 전자 장치(100)가 디지털 줌 동영상을 촬영 중에 손 떨림(15)이 발생하는 경우, 디지털 줌 동영상 재생 시 떨리는 장면들이 나타날 수 있다. 따라서, 전자 장치(100)는 디지털 줌 동영상 생성 시 손 떨림(15)을 보상하기 위해 동영상 안정화 처리를 수행할 수 있다. 도 2를 참조하여, 디지털 줌 동영상을 안정화하는 기술에 대해서 살펴보기로 한다.
도 2는, 일 실시예에 따른, 입력 프레임에서 일부 영역을 흔들림 보정 가능한 영역으로 이용하는 제 1 안정화 방식을 설명하기 위한 도면이다.
단계 S200에서, 전자 장치(100)는 특정 화각의 입력 프레임(205)을 수신할 수 있다. 예를 들어, 전자 장치(100)는 최대 화각의 입력 프레임(205)을 수신할 수 있다.
단계 S210에서, 전자 장치(100)는 사용자의 줌 입력에 따라 입력 프레임(205)의 일부 영역(215)을 크롭(crop)할 수 있다. 예를 들어, 전자 장치(100)는, 확대율(배율)이 ‘2X’인 경우, 입력 프레임(205)의 중심을 기준으로, 입력 프레임의 1/2 사이즈의 영역을 크롭(crop)할 수 있다. 본 명세서에서, 크롭(crop)한다는 것은 선택된 일부 영역(215)을 제외한 나머지 영역을 잘라내는 것을 의미할 수 있다. 이하에서는, 설명의 편의상, 이미지 크라핑(image cropping) 과정에서 남게 되는 영역을 ‘크라핑(cropping) 영역’이라 부르기로 한다.
단계 S220에서, 전자 장치(100)는, 일부 영역(215)을 입력 프레임(205)의 사이즈만큼 확대할 수 있다. 예를 들어, 확대율(배율)이 ‘2X’인 경우, 전자 장치(100)는 픽셀 보간 알고리즘을 이용하여, 일부 영역(215)을 2배 확대한 확대 영상(225)을 얻을 수 있다.
단계 S230에서, 전자 장치(100)는 확대 영상(225)을 이용하여 입력 프레임(205)의 모션 정보(235)를 획득할 수 있다. 예를 들어, 전자 장치(100)는, 이전 입력 프레임에서의 확대 영상과 현재 입력 프레임의 확대 영상(225)의 차이를 비교함으로써, 피사체의 이동을 측정할 수 있다. 또한, 전자 장치(100)는 적어도 하나의 센서(예컨대, 가속도 센서, 자이로 센서 등)를 이용하여 전자 장치(100)의 모션을 측정할 수도 있다.
단계 S240에서, 전자 장치(100)는, 마진 영역을 고려하여, 확대 영상(225)에서 출력 영역(245)을 결정할 수 있다. 예를 들어, 마진 영역이 10%인 경우, 전자 장치(100)는 확대 영상(225)의 90% 영역을 출력 영역(245)으로 결정할 수 있다.
한편, 전자 장치(100)는, 모션 정보(235)를 고려하여, 확대 영상(225) 안에서 출력 영역(245)의 위치를 조절할 수 있다. 예를 들어, 전자 장치(100)는, 이전 입력 프레임의 확대 영상에 비해 현재 입력 프레임의 확대 영상(225)에서 피사체가 좌측 하단으로 이동한 경우, 출력 영역(245)의 위치를 확대 영상(225)의 좌측 하단 영역으로 조절할 수 있다.
이때, 전자 장치(100)가 확대 영상(225) 안에서 흔들림을 보정하기 위해 출력 영역(245)의 위치를 조절할 수 있는 범위는 마진 영역 범위일 수 있다. 예를 들어, 마진 영역이 확대 영상(225)의 10%인 경우, 전자 장치(100)가 흔들림을 보정하기 위해 출력 영역(245)의 위치를 조절할 수 있는 범위는 확대 영상(225)의 10%일 수 있다. 일 실시예에 의하면, 전자 장치(100)가 흔들림을 보정하기 위해 출력 영역(245)의 위치를 조절한 경우, 조절된 위치에서의 출력 영역(245)은 흔들림 보정 영역으로 표현될 수도 있다.
단계 S250에서, 전자 장치(100)는 출력 영역(245)을 이용하여 출력 프레임(255)를 생성할 수 있다. 예를 들어, 전자 장치(100)는, 출력 영역(245)을 출력 사이즈에 맞게 확대하여, 출력 프레임(255)을 생성할 수 있다.
위에서 살펴본 바와 같이, 제 1 안정화 방식에 의하면, 전자 장치(100)는, 입력 프레임(205)에서 크라핑 처리된 일부 영역(크라핑 영역)(215)을 확대한 확대 영상(225)을 모션 측정에 이용하다 보니, 측정된 모션 값이 부정확할 수 있다.
또한, 제 1 안정화 방식에 의하면, 전자 장치(100)는, 입력 프레임(205)의 크라핑 영역(215)에서 일부 영역(215)에 대해 크라핑 동작을 먼저 수행하고, 일부 영역(크라핑 영역)(215)을 확대한 확대 영상(225) 안에서 흔들림 보정 영역을 결정하게 되므로, 흔들림 보정 가능한 범위가 마진 영역(확대 영상(225)과 출력 영역(245)의 차) 범위로 제한되는 한계가 있다.
도 3a 및 3b를 참조하여, 제 1 안정화 방식에 대해 좀 더 자세히 살펴보기로 한다.
도 3a 및 3b는, 일 실시예에 따른, 전자 장치가 제 1 안정화 방식을 이용하여 동영상을 안정화하는 동작을 설명하기 위한 도면이다.
도 3a의 300-1을 참조하면, 전자 장치(100)는 줌 입력을 수신할 수 있다. 여기서, 줌 입력은 화각을 줄임으로써, 입력 프레임의 일부 영역을 일정 배율로 확대하는 디지털 줌을 요청하는 입력일 수 있다. 도 3a의 300-1에서는, 줌 입력이 핀치 입력인 경우를 예로 들어 도시하였으나, 이에 한정되는 것은 아니다. 예를 들어, 줌 입력은 핀치 의외의 다른 터치 입력(예컨대, 더블 탭, 드래그 등)일 수도 있고, 음성 입력일 수도 있고, 특정 하드웨어 버튼을 이용한 입력일 수도 있으나, 이에 한정되는 것은 아니다.
도 3a의 300-2를 참조하면, 전자 장치(100)는, 줌 입력에 따라 확대율(배율)을 결정할 수 있다. 전자 장치(100)는 결정된 확대율에 기초하여 크라핑 영역을 결정할 수 있다. 예를 들어, 확대율이 ‘2X’인 경우, 크라핑 영역의 크기는 입력 프레임의 1/2일 수 있다. 일 실시예에 의하면, 크라핑 영역의 중심은 입력 프레임의 중심과 일치할 수 있다.
전자 장치(100)는, 복수의 입력 프레임 각각에 대해 이미지 크라핑 동작을 수행할 수 있다. 예를 들어, 전자 장치(100)는, 줌 입력에 따라, 제 N 입력 프레임(310)에서 제 1 크라핑 영역(311)을 결정할 수 있다. 또한, 전자 장치(100)는 제 N+1 입력 프레임(320)에서 제 2 크라핑 영역(321)을 결정할 수 있다.
제 N 입력 프레임 (310) 및 제 N+1 입력 프레임(320) 촬영 시 손떨림이 발생하는 경우, 제 1 크라핑 영역(311) 및 제 2 크라핑 영역(321) 각각은, 관심 영역(ROI, Region of Interest)과 차이가 존재할 수 있다. 관심 영역은, 원본 프레임 중에서 사용자가 출력되길 원하는 이미지를 포함하는 영역을 의미할 수 있다. 예를 들어, 관심 영역은 피사체가 중심에 위치하는 영역일 수 있다.
손 떨림이 심한 경우, 제 N 입력 프레임(310)에 대응하는 제 1 크라핑 영역(311)에서와 같이, 피사체의 일부 또는 전부가 크라핑 영역을 벗어날 수도 있다.
도 3a의 300-3을 참조하면, 전자 장치(100)는, 제 1 크라핑 영역(311) 및 제 2 크라핑 영역(321)을 일정 배율로 확대할 수 있다. 예를 들어, 전자 장치(100)는 제 N 입력 프레임(310)과 동일한 사이즈로 제 1 크라핑 영역(311)을 확대하고 보간하여, 제 1 확대 영상(312)을 생성할 수 있다. 또한, 전자 장치(100)는 제 N+1 입력 프레임(320)과 동일한 사이즈로 제 2 크라핑 영역(321)을 확대하고 보간하여, 제 2 확대 영상(322)을 생성할 수 있다.
일 실시예에 의하면, 전자 장치(100)는 제 1 확대 영상(312)에서 제 N 입력 프레임(310)의 흔들림을 보정하기 위한 제 1 흔들림 보정 영역(313)을 결정할 수 있다. 또한, 전자 장치(100)는 제 2 확대 영상(322)에서 제 N+1 입력 프레임(320)의 흔들림을 보정하기 위한 제 2 흔들림 보정 영역(323)을 결정할 수 있다.
도 3a의 300-4를 참조하면, 제 1 안정화 방식에 따르면, 전자 장치(100)는 입력 프레임(300) 중에서 일부 영역(301)을 크롭한 후에 흔들림 보정을 수행하게 되므로, 입력 프레임(300) 중에서 크롭된 일부 영역(301)이 흔들림 보정 가능한 영역이 될 수 있다. 제 1 안정화 방식에 의할 때는 크롭된 일부 영역(301) 밖에서는 흔들림을 보정할 수 없으며, 크롭된 일부 영역(301) 안에서 흔들림 보정 영역(302)이 결정될 수 있다.
도 3b의 300-5를 참조하면, 손 떨림에 의해 초기 입력 프레임의 피사체보다 제 N 입력 프레임(310)에서의 피사체가 좌측 상단으로 이동된 경우, 전자 장치(100)는, 모션 정보에 기초하여, 초기 흔들림 보정 영역(303)을 좌측 상단으로 이동시킴으로써, 제 1 흔들림 보정 영역(313)을 결정할 수 있다.
또한, 손 떨림에 의해, 초기 입력 프레임의 피사체보다 제 N+1 입력 프레임(320)에서의 피사체가 우측 하단으로 이동된 경우, 전자 장치(100)는, 모션 정보에 기초하여 초기 흔들림 보정 영역(303)을 우측 하단으로 이동시킴으로써, 제 2 흔들림 보정 영역(323)을 결정할 수 있다.
도 3b의 300-6을 참조하면, 전자 장치(100)는 제 1 흔들림 보정 영역(313)을 출력 사이즈로 확대하여, 제 N 입력 프레임에 대응하는 제 N 출력 프레임(314)를 생성할 수 있다. 또한, 전자 장치(100)는 제 2 흔들림 보정 영역(323)을 출력 사이즈로 확대하여, 제 N+1 입력 프레임에 대응하는 제 N+1 출력 프레임(324)를 생성할 수 있다. 또한, 전자 장치(100)는 제 N 출력 프레임(314) 및 제 N+1 출력 프레임(324)을 결합하여, 제 1 안정화 방식에 의한 디지털 줌 동영상을 생성할 수 있다.
도 3b의 300-7을 참조하면, 제 N 출력 프레임(314)과 제 N+1 출력 프레임(324)을 중첩하는 경우, 제 N 출력 프레임(314)의 피사체와 제 N +1 출력 프레임(324)의 피사체 간의 모션 차이(330)가 클 수 있다. 즉, 제 1 안정화 방식에 따르면, 입력 프레임(300) 중에서 일부 영역(301)을 크롭한 후에, 크롭된 일부 영역(301)에서만 흔들림 보정을 수행하게 되므로, 흔들림 보정이 충분하지 않을 수 있다.
따라서, 이하에서는, 제 1 안정화 방식보다 흔들림을 보정하기 위한 마진 활용 효율이 더 높은 제 2 안정화 방식에 대해서 살펴보기로 한다. 제 2 안정화 방식은, 입력 프레임의 전제 영역에서 흔들림 보정을 수행하는 기술일 수 있다. 이하에서는 설명의 편의상, 제 1 안정화 방식은 ‘크롭 줌 DIS(Crop Zoom Digital Image Stabilization)’로 표현되고, 제 2 안정화 방식은 ‘풀 줌 DIS(Full Zoom Digital Image Stabilization)’로 표현될 수도 있다.
도 4는, 일 실시예에 따른, 전자 장치의 동영상 안정화 방법을 설명하기 위한 순서도이다.
단계 S410에서, 전자 장치(100)는, 이미지 센서를 통해 복수의 프레임을 획득할 수 있다. 예를 들어, 전자 장치(100)는, 이미지 센서를 통해 입력된 이미지 신호를 이용하여 복수의 원본 프레임을 획득할 수 있다. 이때, 전자 장치(100)는, 기 설정된 화각의 원본 프레임을 획득할 수도 있고, 최대 화각의 원본 프레임을 획득할 수도 있다.
단계 S420에서, 전자 장치(100)는, 복수의 프레임과 관련하여 일정 배율로 확대를 요청하는 사용자 입력(이하에서는, 설명의 편의상 ‘줌 입력’이라 함)을 수신할 수 있다. 일 실시예에 의하면, 전자 장치(100)는, 터치스크린을 통해 원본 프레임의 화각을 줄이는 줌 입력을 수신할 수 있다. 예를 들어, 전자 장치(100)는, 프리뷰 이미지 상의 두 손가락이 멀어지는 핀치 입력을 수신할 수 있다.
일 실시예에 의하면, 복수의 프레임과 관련하여 일정 배율로 확대를 요청하는 줌 입력은 다양할 수 있다. 예를 들어, 줌 입력은 일정 배율로 확대를 요청하는 음성을 포함하는 음성 입력일 수도 있고, 특정 하드웨어 버튼을 누르는 입력일 수도 있다. 또한, 전자 장치(100)가 플렉서블 디바이스인 경우, 줌 입력은 전자 장치(100)의 특정 영역을 벤딩하는 입력일 수도 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 전자 장치(100)는 줌 입력에 따라, 확대율(배율)을 결정할 수 있다. 예를 들어, 전자 장치(100)는 원본 프레임의 해상도와 전자 장치(100)의 디스플레이에 표시되는 프리뷰 이미지의 해상도의 비에 기초하여, 확대율을 결정할 수 있다. 예를 들어, 원본 프레임의 1/2 영역이 프리뷰 이미지로 표시되는 경우, 전자 장치(100)는, 확대율을 ‘2X’로 결정할 수 있다. 이때, 확대율은 사용자의 입력에 따라 비주기적으로 변경될 수 있다. 전자 장치(100)는 줌 입력에 따라 결정된 확대율에 대한 정보를 안정화 경로를 생성하거나 출력 프레임을 생성하는데 이용할 수 있다.
일 실시예에 의하면, 전자 장치(100)는, 줌 입력에 따라, 원본 프레임에서 초기 줌 영역을 결정할 수 있다. 초기 줌 영역은 원본 프레임 중에서 사용자가 실질적으로 출력하기 원하는 관심 영역일 수 있다.
예를 들어, 전자 장치(100)는, 원본 프레임 중에서 디스플레이에 표시되는 프리뷰 이미지에 대응하는 영역을 초기 줌 영역으로 결정할 수 있다. 초기 줌 영역의 크기는 확대율에 반비례할 수 있다. 예를 들어, 확대율이 2X인 경우, 초기 줌 영역의 사이즈는 원본 프레임의 반(1/2)일 수 있다.
일 실시예에 의하면, 전자 장치(100)는, 동영상 촬영 시작 전 또는 동영상 촬영 중에, 원본 프레임들의 화각을 변경하는 줌 입력을 수신할 수 있다.
단계 S430에서, 전자 장치(100)는, 복수의 프레임에 대한 흔들림 정보를 획득할 수 있다. 흔들림 정보는, 동영상 촬영 중에 발생되는 손 떨림이나 피사체의 움직임에 관한 정보를 의미할 수 있다. 흔들림 정보는, 이동(Translation) 성분 정보 및 회전(Rotation) 성분 정보를 포함할 수 있다. 이동 성분 정보는 이동 좌표와 관련된 정보(예컨대, 모션 벡터)일 수 있으며, 회전 성분 정보는 회전되거나 기울어진 각도에 관한 정보일 수 있다.
일 실시예에 의하면, 전자 장치(100)는, 복수의 프레임에 포함된 피사체의 움직임 또는 전자 장치(100)의 움직임에 대한 정보를 이용하여, 복수의 프레임에 대한 흔들림 정보를 획득할 수 있다.
예를 들어, 전자 장치(100)는, 복수의 원본 프레임을 비교한 결과에 기초하여, 피사체 또는 배경의 움직임에 대한 제 1 움직임 정보(예컨대, 모션 벡터)를 획득할 수 있다. 전자 장치(100)는, 블록 기반 방법, 광학 추정 방법 등을 이용하여, 제 1 움직임 정보를 획득할 수 있다. 블록 기반 방법은 제 2 프레임의 블록들 중에서 제 1 프레임의 특정 블록과 가장 유사한 영상 데이터를 가지는 블록을 찾아서 제 2 프레임의 모션 벡터를 구하는 방법일 수 있다.
일 실시예에 의하면, 전자 장치(100)는 원본 프레임의 전체 영역에서 모션 벡터를 계산할 수도 있고, 원본 프레임의 일부 영역에서 모션 벡터를 계산할 수도 있다. 특히, 손 떨림의 경우, 화면 전체가 일정한 방향으로 움직이게 되므로, 글로벌 모션 벡터를 정확하게 계산하는 게 중요할 수 있다.
전자 장치(100)는, 전자 장치(100)에 포함된 적어도 하나의 센서를 이용하여, 복수의 프레임을 획득하는 동안, 전자 장치(100)의 움직임에 대한 제 2 움직임 정보를 획득할 수 있다. 예를 들어, 전자 장치(100)는, 가속도 센서나 자이로 센서와 같은 모션 센서에서 측정되는 정보를 이용하여, 전자 장치(100)의 움직임에 대한 제 2 움직임 정보를 획득할 수 있다.
일 실시예에 의하면, 전자 장치(100)는, 제 1 움직임 정보 및 제 2 움직임 정보 중 적어도 하나를 이용하여, 복수의 프레임에 대한 흔들림 정보를 획득할 수 있다. 예를 들어, 전자 장치(100)는 1) 원본 프레임들을 비교한 결과 획득된 제 1 움직임 정보를 흔들림 정보로 이용할 수도 있고, 2) 전자 장치(100)에 포함된 모션 센서에서 측정된 값에 기초하여 획득된 제 2 움직임 정보를 흔들림 정보로 이용할 수도 있고, 3) 제 1 움직임 정보와 제 2 움직임 정보를 조합한 결과를 흔들림 정보로 이용할 수도 있다.
단계 S440에서, 전자 장치(100)는, 복수의 프레임 각각의 전체 영역에서 복수의 프레임 각각에 대응하는 흔들림 보정 영역들을 결정할 수 있다.
일 실시예에 의하면, 전자 장치(100)는, 복수의 프레임에 대한 흔들림 정보 및 배율에 관한 정보에 기초하여, 복수의 프레임 각각의 전체 영역에서 흔들림 보정 영역들을 결정할 수 있다.
흔들림 보정 영역은, 흔들림 정보에 따라, 초기 줌 영역의 위치를 재설정한 영역일 수 있다. 예를 들어, 피사체는 움직이지 않았으나 전자 장치(100)가 좌측으로 흔들린 경우, 전자 장치(100)는, 초기 줌 영역을 우측으로 이동시킬 수 있다. 이때, 우측으로 이동된 초기 줌 영역이 흔들림 보정 영역이 될 수 있다. 따라서, 흔들림 보정 영역의 크기는, 배율에 따라 결정된 초기 줌 영역의 크기와 동일하거나 유사할 수 있다.
한편, 전자 장치(100)는, 원본 프레임 전체 영역 내에서 초기 줌 영역의 위치를 이동시켜 흔들림 보정 영역을 결정할 수 있으므로, 원본 프레임의 크라핑 영역 내에서만 흔들림 보정 영역을 결정하는 것보다는 흔들림을 보정할 수 있는 범위가 넓어질 수 있다.
일 실시예에 의하면, 전자 장치(100)는, 흔들림 정보에 기초하여, 전자 장치(100)의 움직임과 반대되거나, 피사체의 움직임에 상응하는 안정화 경로를 결정할 수 있다. 그리고 전자 장치(100)는, 안정화 경로에 따라 복수의 프레임 각각에 대응하는 흔들림 보정 영역들을 결정할 수 있다. 여기서, 안정화 경로는 흔들림을 보상하기 위한 기준 궤적을 의미할 수 있다.
일 실시예에 의하면, 전자 장치(100)는, 원본 프레임의 해상도 정보를 고려하여, 안정화 경로를 결정할 수 있다. 예를 들어, 전자 장치(100)는, 흔들림 보정 영역이 원본 프레임을 벗어나지 않도록 원본 프레임의 해상도 및 흔들림 보정 영역의 크기에 기초하여 안정화 경로를 결정할 수 있다.
이하에서는, 안정화 경로를 결정하는 것을 카메라 패스 플래닝(camera path planning)이라 표현할 수도 있다. 카메라 패스 플래닝(camera path planning)에 대해서는 도 8a 내지 8g를 참조하여, 후에 자세히 살펴보기로 한다.
일 실시예에 의하면, 전자 장치(100)는, 흔들림 정보에 포함된 회전 성분 정보에 기초하여, 복수의 프레임 중 적어도 하나의 프레임에 대한 회전을 보상할 수 있다. 예를 들어, 전자 장치(100)는, 복수의 프레임 중 제 1 프레임의 제 1 흔들림 보정 영역을 제 1 프레임의 중심 영역으로 이동시키고, 제 1 흔들림 보정 영역을 소정 각도로 회전시킬 수 있다. 그리고 전자 장치(100)는, 회전된 제 1 흔들림 보정 영역을 제 1 프레임의 중심 영역으로 다시 이동시킬 수 있다. 전자 장치(100)가 회전을 보상하는 동작에 대해서는 도 9를 참조하여 후에 자세히 살펴보기로 한다.
일 실시예에 의하면, 전자 장치(100)는, 복수의 프레임의 모션 벡터에 기반하여, 복수의 프레임 중 적어도 하나의 프레임에 대한 롤링 셔터 왜곡(Rolling Shutter Distortion)을 보정(correction)할 수도 있다. 롤링 셔터 왜곡을 보정하는 동작에 대해서는 도 12를 참조하여, 후에 자세히 살펴보기로 한다.
단계 S450에서, 전자 장치(100)는, 흔들림 보정 영역들을 일정 배율로 확대하여, 복수의 프레임 각각에 대응하는 출력 프레임들을 생성할 수 있다. 이때, 출력 프레임 각각의 화각은, 입력 프레임(원본 프레임) 각각의 화각보다 작을 수 있다.
단계 S460에서, 전자 장치(100)는, 출력 프레임들을 포함하는 동영상을 제공할 수 있다. 예를 들어, 전자 장치(100)는 출력 프레임들을 결합하여 디지털 줌 동영상을 생성하고, 디지털 줌 동영상을 제공할 수 있다.
동영상을 제공한다는 것은, 동영상에 대응하는 아이콘, 섬네일 이미지, 첫 프레임 등을 화면에 표시하거나, 동영상을 재생하거나, 동영상을 서버에 전송하는 것 등을 포함할 수 있다.
일 실시예에 의하면, 전자 장치(100)는 생성된 디지털 줌 동영상을 내부 메모리에 저장하거나 외부 저장 매체(예컨대, SD 카드 등)에 저장할 수 있다. 또한, 전자 장치(100)는 디지털 줌 동영상을 전자 장치(100)에 연계된 클라우드 서버 또는 SNS(Social Networking Service) 서버로 전송할 수도 있다.
일 실시예에 의하면, 전자 장치(100)는 사용자 요청에 따라 디지털 줌 동영상을 재생할 수도 있다.
이하에서는, 제 2 안정화 방식을 이용하여 흔들림을 보정 하는 일례에 대해서 도 5를 참조하여 살펴보기로 한다.
도 5는, 일 실시예에 따른, 입력 프레임의 전체 영역을 흔들림 보정 가능한 영역으로 이용하는 제 2 안정화 방식을 설명하기 위한 도면이다.
단계 S500에서, 전자 장치(100)는 특정 화각의 입력 프레임(505)을 수신할 수 있다. 예를 들어, 전자 장치(100)는 최대 화각의 입력 프레임(505)을 수신할 수 있다.
단계 S510에서, 전자 장치(100)는, 사용자로부터 줌 입력을 수신하고, 줌 입력에 따라 확대율(배율) 및 초기 줌 영역(515)을 결정할 수 있다. 예를 들어, 전자 장치(100)는, 확대율(배율)이 ‘2X’인 경우, 입력 프레임(505)의 중심을 기준으로, 입력 프레임의 1/2 사이즈의 영역을 초기 줌 영역으로 결정할 수 있다.
단계 S520에서, 전자 장치(100)는 입력 프레임(505)을 이용하여, 입력 프레임(505)의 모션 정보를 획득할 수 있다. 예를 들어, 전자 장치(100)는, 이전 입력 프레임과 현재 입력 프레임(505)의 차이를 비교함으로써, 피사체의 이동을 측정할 수 있다. 또한, 전자 장치(100)는 적어도 하나의 센서(예컨대, 가속도 센서, 자이로 센서 등)를 이용하여 전자 장치(100)의 모션을 측정할 수도 있다.
단계 S530에서, 전자 장치(100)는, 모션 정보를 고려하여, 입력 프레임(505)의 전체 영역에서, 흔들림 보정 영역(525)을 결정할 수 있다. 예를 들어, 전자 장치(100)는, 전자 장치(100)의 움직임과 반대되는 방향으로 초기 줌 영역(515)을 이동시킴으로써, 흔들림 보정 영역(525)을 결정할 수 있다.
이때, 흔들림을 보정할 수 있는 마진 영역은, 입력 프레임(505)의 전체 영역 중에서 초기 줌 영역(515)을 뺀 영역일 수 있다. 따라서, 도 5의 S530과 도 2의 S240을 비교하면, 제 2 안정화 방식에 의한 마진 영역이, 제 1 안정화 방식에 의한 마진 영역보다 매우 크다는 것을 알 수 있다.
단계 S540에서, 전자 장치(100)는, 흔들림 보정 영역(525)을 출력 사이즈에 맞게 일정 비율로 확대 및 보간하여, 출력 프레임(535)를 생성할 수 있다.
단계 S550에서, 전자 장치(100)는 출력 프레임(535)를 출력할 수 있다.
제 2 안정화 방식에 의하면, 전자 장치(100)는 원본 프레임의 전체 영역 내에서 초기 줌 영역의 위치를 이동시켜 흔들림 보정 영역을 결정할 수 있으므로, 원본 프레임의 크라핑 영역 내에서만 흔들림 보정 영역을 결정하는 제 1 안정화 방식보다는 흔들림을 더 많이 보상할 수 있다.
도 6은 일 실시예에 따른 동영상의 배율(확대율, magnifying)을 설명하기 위한 도면이다.
도 6의 610을 참조하면, 줌 입력에 따른 배율(이하, 줌 배율)이 ‘1.5X’인 경우, 전자 장치(100)는 입력 프레임(600)의 중심을 기준으로, 입력 프레임(600)의 2/3 영역을 제 1 초기 줌 영역(611)으로 설정할 수 있다. 이때, 전자 장치(100)의 디스플레이에 표시되는 제 1 프리뷰 이미지(612)는, 제 1 초기 줌 영역(611)을 1.5배 확대한 이미지일 수 있다.
도 6의 620을 참조하면, 줌 배율이 ‘2.5X’인 경우, 전자 장치(100)는 입력 프레임(600)의 중심을 기준으로, 입력 프레임(600)의 2/5 영역을 제 2 초기 줌 영역(621)으로 설정할 수 있다. 이때, 전자 장치(100)의 디스플레이에 표시되는 제 2 프리뷰 이미지(622)는, 제 2 초기 줌 영역(621)을 2.5배 확대한 이미지일 수 있다.
도 6의 630을 참조하면, 줌 배율이 ‘4X’인 경우, 전자 장치(100)는 입력 프레임(600)의 중심을 기준으로, 입력 프레임(600)의 1/4 영역을 제 3 초기 줌 영역(631)으로 설정할 수 있다. 이때, 전자 장치(100)의 디스플레이에 표시되는 제 3 프리뷰 이미지(632)는, 제 3 초기 줌 영역(631)을 4배 확대한 이미지일 수 있다.
따라서, 사용자의 줌 입력에 의해 설정되는 초기 줌 영역이 커질수록 줌 배율은 작아지고, 초기 줌 영역이 작아질수록 줌 배율은 커질 수 있다.
도 7a 및 7b는 전자 장치가 제 2 안정화 방식을 이용하여 동영상을 안정화하는 동작을 설명하기 위한 도면이다.
도 7a의 700-1을 참조하면, 전자 장치(100)는 줌 입력을 수신할 수 있다. 여기서, 줌 입력은 화각을 줄임으로써, 입력 프레임의 일부 영역을 일정 배율로 확대하는 디지털 줌을 요청하는 입력일 수 있다. 도 7a의 700-1에서는, 줌 입력이 핀치 입력인 경우를 예로 들어 도시하였으나, 이에 한정되는 것은 아니다.
도 7a의 700-2을 참조하면, 전자 장치(100)는, 줌 입력에 따라 확대율(배율) 및 초기 줌 영역(701)을 결정할 수 있다. 예를 들어, 확대율이 ‘2X’인 경우, 초기 줌 영역(701)의 크기는 입력 프레임의 1/2일 수 있다.
도 7a의 700-3을 참조하면, 전자 장치(100)는 제 N 입력 프레임 (710) 및 제 N+1 입력 프레임(720) 촬영 시 손떨림이 발생하는 경우, 흔들림 정보에 기초하여, 제 N 입력 프레임 (710)의 전체 영역에서 제 1 흔들림 보정 영역(711)을 결정하고, 제 N+1 입력 프레임(720)의 전체 영역에서 제 2 흔들림 보정 영역(721)을 결정할 수 있다.
도 7a의 700-4를 참조하면, 제 2 안정화 방식에 따르면, 전자 장치(100)는 입력 프레임(700)의 전체 영역에서 흔들림 보정 영역(701)을 결정하게 되므로, 입력 프레임(700)의 전체 영역이 흔들림 보정 가능한 영역이 될 수 있다. 도 3a의 300-4를 참조하면, 제 1 안정화 방식에서는 크롭된 일부 영역(301) 안에서 흔들림 보정 영역(302)이 결정되므로, 제 1 안정화 방식에서의 흔들림 보정 가능한 영역보다 제 2 안정화 방식에서의 흔들림 보정 가능한 영역이 훨씬 넓다.
도 7b의 700-5를 참조하면, 손 떨림에 의해, 초기 입력 프레임에 비해 제 N 입력 프레임(710)에서의 피사체가 좌측 상단으로 이동된 경우, 전자 장치(100)는, 초기 줌 영역(701)을 좌측 상단으로 이동시킴으로써, 제 1 흔들림 보정 영역(711)을 결정할 수 있다.
또한, 손 떨림에 의해, 초기 입력 프레임에 비해 제 N+1 입력 프레임(720)에서의 피사체가 우측 하단으로 이동된 경우, 전자 장치(100)는, 초기 줌 영역(701)을 우측 하단으로 이동시킴으로써, 제 2 흔들림 보정 영역(721)을 결정할 수 있다.
도 7b의 700-6을 참조하면, 전자 장치(100)는 제 1 흔들림 보정 영역(711)을 출력 사이즈로 확대하여, 제 N 입력 프레임에 대응하는 제 N 출력 프레임(712)를 생성할 수 있다. 또한, 전자 장치(100)는 제 2 흔들림 보정 영역(721)을 출력 사이즈로 확대하여, 제 N+1 입력 프레임에 대응하는 제 N+1 출력 프레임(722)를 생성할 수 있다. 또한, 전자 장치(100)는 제 N 출력 프레임(712) 및 제 N+1 출력 프레임(722)을 결합하여, 제 2 안정화 방식에 의한 디지털 줌 동영상을 생성할 수 있다.
도 7b의 700-7을 참조하면, 제 N 출력 프레임(712)과 제 N+1 출력 프레임(722)을 중첩하는 경우, 제 N 출력 프레임(712)의 피사체와 제 N +1 출력 프레임(722)의 피사체 간의 모션 차이가 거의 없다. 따라서, 제 2 안정화 방식에 의한 디지털 줌 동영상을 재생하는 경우, 사용자는 디지털 줌 동영상의 흔들림을 거의 느끼지 못할 수 있다.
이하에서는, 전자 장치(100)가 안정화 경로에 따라 흔들림 보정을 수행하는 동작에 대해서 도 8a 내지 8g를 참조하여, 자세히 살펴보기로 한다.
도 8a 내지 8g는, 일 실시예에 따른, 전자 장치가 안정화 경로(stabilization path)에 따라 복수의 프레임을 안정화하는 동작을 설명하기 위한 도면이다.
도 8a를 참조하면, 전자 장치(100)는, 초기 입력 프레임(800)의 프리뷰 이미지(801)를 터치스크린에 표시할 수 있다. 전자 장치(100)는, 터치스크린을 통해 초기 입력 프레임(800)의 화각을 줄이는 줌 입력(802)을 수신할 수 있다. 예를 들어, 전자 장치(100)는, 프리뷰 이미지(801) 상에서 핀치 입력을 수신할 수 있다.
전자 장치(100)는 줌 입력(802)에 따라, 초기 줌 영역(803) 및 확대율(배율)(예컨대, ‘8X’)을 결정할 수 있다. 여기서, 초기 줌 영역(803)은 초기 입력 프레임(800)에서 사용자가 확대하기 원하는 영역(이하, 관심 영역(ROI, Region of Interest))일 수 있다.
초기 줌 영역(803) 및 배율의 설정이 완료된 경우, 사용자는 디지털 줌 동영상의 촬영을 시작할 수 있다. 이때, 전자 장치(100)는 제 1 입력 프레임(810), 제 2 입력 프레임(820), 제 3 입력 프레임(830) 등을 수신할 수 있다. 제 1 입력 프레임(810), 제 2 입력 프레임(820), 제 3 입력 프레임(830)은 초기 입력 프레임(800)과 동일한 화각의 이미지들일 수 있다.
한편, 디지털 줌 동영상을 촬영하는 동안 손 떨림이 발생할 수 있다. 예를 들어, X축, Y 축, Z축 중 적어도 하나의 방향으로 전자 장치(100)가 흔들릴 수 있다. 따라서, 제 1 입력 프레임(810), 제 2 입력 프레임(820), 제 3 입력 프레임(830) 각각에서의 피사체의 위치가 초기 입력 프레임(800)에서의 피사체의 위치와 상이할 수 있다.
도 8b를 참조하면, 손 떨림에 의해, 제 1 입력 프레임(810)에서의 피사체의 위치가 초기 입력 프레임(800)에서의 피사체의 위치보다 ‘m1 벡터’만큼 이동하고, 제 2 입력 프레임(820)에서의 피사체의 위치가 초기 입력 프레임(800)에서의 피사체의 위치보다 ‘m2 벡터’만큼 이동하고, 제 3 입력 프레임(830)에서의 피사체의 위치가 초기 입력 프레임(800)에서의 피사체의 위치보다 ‘m3 벡터’만큼 이동할 수 있다.
도 8c를 참조하면, 전자 장치(100)는 초기 입력 프레임(800), 제 1 입력 프레임(810), 제 2 입력 프레임(820), 제 3 입력 프레임(830)을 비교하여, 모션 정보를 획득할 수 있다. 또한, 전자 장치(100)는 모션 센서에서 측정된 값을 이용하여, 모션 정보를 획득할 수도 있다.
전자 장치(100)는, 모션 정보를 이용하여, 전자 장치(100) 또는 피사체의 움직임에 의한 영상 움직임 경로(840)를 생성할 수 있다. 일 실시예에 의하면, 전자 장치(100)는 모션 정보에 기초하여, 피사체의 움직임에 상응하거나, 전자 장치(100)의 움직임에 반대되는 영상 움직임 경로(840)를 생성할 수 있다. 예를 들어, 전자 장치(100)가 좌측으로 흔들려서 제 1 입력 프레임(810), 제 2 입력 프레임(820), 제 3 입력 프레임(830)에서의 피사체들이 오른쪽으로 이동된 경우, 영상 움직임 경로(840)는 x축 값이 증가하는 방향으로 생성될 수 있다. 또한, 전자 장치(100)가 위쪽으로 흔들려서, 제 1 입력 프레임(810), 제 2 입력 프레임(820), 제 3 입력 프레임(830)에서 피사체들이 아래 방향으로 이동된 경우, 영상 움직임 경로(840)는 y 축 값이 감소하는 방향으로 생성될 수 있다.
전자 장치(100)는 영상 움직임 경로(840)를 입력 프레임들(800, 810, 820, 830)의 해상도(크기)를 고려하여 결정할 수 있다. 예를 들어, 전자 장치(100)는 영상 움직임 경로(840)를 따라 결정되는 흔들림 보정 영역들이 입력 프레임들(800, 810, 820, 830)을 벗어나지 않도록 결정할 수 있다.
도 8c에서는 안정화 경로(840)가 2차원 좌표 계에 표시되는 경우를 도시하였으나, 이에 한정되는 것은 아니다. 예를 들어, 안정화 경로(840)는 3차원적으로 생성될 수 있다.
도 8d를 참조하면, 전자 장치(100)는 영상 움직임 경로(840)를 이용하여, 안정화 경로(850)를 생성할 수 있다. 예를 들어, 전자 장치(100)는, 손 떨림에 의한 움직임을 감소시키도록 영상 움직임 경로(840)를 처리(process)하여, 안정화 경로(850)를 생성할 수 있다.
도 8e를 참조하면, 전자 장치(100)는, 안정화 경로(850)를 이용하여, 제 1 입력 프레임(810), 제 2 입력 프레임(820), 제 3 입력 프레임(830) 각각에 대응하는 흔들림 보정 영역들의 중심을 결정할 수 있다. 예를 들어, 전자 장치(100)는, 안정화 경로(850) 상의 b지점을 제 1 입력 프레임(810)의 제 1 흔들림 보정 영역(811)의 중심으로 결정하고, c지점을 제 2 입력 프레임(820)의 제 2 흔들림 보정 영역(821)의 중심으로 결정하고, d지점을 제 3 입력 프레임(830)의 제 3 흔들림 보정 영역(831)의 중심으로 결정할 수 있다.
도 8f를 참조하면, 전자 장치(100)는, 제 1 입력 프레임(810)의 전체 영역에서 b지점을 기준으로 제 1 흔들림 보정 영역(811)을 결정할 수 있다. 제 1 흔들림 보정 영역(811)은 초기 줌 영역(803)에 비해 m1 벡터만큼 이동된 영역일 수 있다.
전자 장치(100)는, 제 2 입력 프레임(820)의 전체 영역에서 c지점을 기준으로 제 2 흔들림 보정 영역(821)을 결정할 수 있다. 제 2 흔들림 보정 영역(821)은 초기 줌 영역(803)에 비해 m2 벡터만큼 이동된 영역일 수 있다.
전자 장치(100)는, 제 3 입력 프레임(830)의 전체 영역에서 d지점을 기준으로 제 3 흔들림 보정 영역(831)을 결정할 수 있다. 제 3 흔들림 보정 영역(831)은 초기 줌 영역(803)에 비해 m3 벡터만큼 이동된 영역일 수 있다.
도 8g를 참조하면, 전자 장치(100)는 초기 줌 영역(803)를 출력 사이즈에 맞게 확대하여, 초기 입력 프레임(800)에 대응하는 초기 출력 프레임(804)을 생성할 수 있다. 전자 장치(100)는, 제 1 흔들림 보정 영역(811)을 출력 사이즈에 맞게 확대하여, 제 1 입력 프레임(810)에 대응하는 제 1 출력 프레임(812)를 생성할 수 있다. 전자 장치(100)는, 제 2 흔들림 보정 영역(821)을 출력 사이즈에 맞게 확대하여, 제 2 입력 프레임(820)에 대응하는 제 2 출력 프레임(822)를 생성할 수 있다. 전자 장치(100)는, 제 3 흔들림 보정 영역(831)을 출력 사이즈에 맞게 확대하여, 제 3 입력 프레임(830)에 대응하는 제 3 출력 프레임(832)를 생성할 수 있다.
전자 장치(100)는 초기 출력 프레임(804), 제 1 출력 프레임(812), 제 2 출력 프레임(822), 제 3 출력 프레임(832)를 결합하여, 디지털 줌 동영상을 생성할 수 있다. 이때, 출력 프레임들(804, 812, 822, 832) 간의 모션 차가 거의 없으므로, 사용자는 디지털 줌 동영상 재생 시 흔들림을 느끼지 못할 수 있다.
도 9는, 일 실시예에 따른, 전자 장치가 적어도 하나의 프레임에 대한 회전을 보상하는 방법을 설명하기 위한 순서도이다.
단계 S910에서, 전자 장치(100)는, 복수의 프레임 각각의 전체 영역에서 복수의 프레임 각각에 대응하는 흔들림 보정 영역들을 결정할 수 있다. 일 실시예에 의하면, 흔들림 보정 영역은, 특정 크기나 모양을 가지지 않고, 이동, 회전, 또는 롤링 셔터 보정 처리에 필요한 다양한 형태로 결정될 수 있다.
단계 S920에서, 전자 장치(100)는, 복수의 프레임 중 적어도 하나의 프레임에 대한 회전 보정량을 산출할 수 있다. 예를 들어, 손 떨림에 의해, 초기 입력 프레임에 비해 제 1 입력 프레임의 회전 각도가 변경된 경우, 전자 장치(100)는, 흔들림 정보에 포함된 회전 성분 정보에 기초하여, 제 1 입력 프레임에 대한 회전 보정량을 산출할 수 있다. 예컨대, 초기 입력 프레임의 회전 각도가 x-y 평면을 기준으로 z축 방향으로 0도이고, 제 1 입력 프레임의 회전 각도가 x-y 평면을 기준으로 z축 방향으로 + 10도인 경우, 회전 보정량은 -10도가 될 수 있다.
단계 S930에서, 전자 장치(100)는, 회전 보정량에 따라, 적어도 하나의 프레임에 대한 회전을 보상할 수 있다. 예를 들어, 전자 장치(100)는 흔들림 보정 영역을 프레임의 중심 영역으로 이동시키고, 회전 보정량만큼 프레임을 회전시킬 수 있다. 그리고 전자 장치(100)는, 회전된 프레임 안에서 다시 흔들림 보정 영역이 중심 영역에 오도록 흔들림 보정 영역의 위치를 조절할 수 있다. 이 경우, 전자 장치(100)는, 사용자의 의도와 무관하게 손 떨림에 의해서 회전된 프레임의 회전 성분을 보상할 수 있다.
단계 S940에서, 전자 장치(100)는, 흔들림 보정 영역들을 일정 배율로 확대하여, 복수의 프레임 각각에 대응하는 출력 프레임들을 생성할 수 있다. 단계 S940은 도 4의 단계 S450에 대응하므로, 구체적인 설명은 생략하기로 한다.
이하에서는, 도 10 내지 도 11을 참조하여, 전자 장치(100)가 적어도 하나의 프레임에 대한 회전을 보상하는 동작에 대해서 좀 더 살펴보기로 한다.
도 10은, 일 실시예에 따른, 피사체가 회전된 프레임을 설명하기 위한 도면이다.
도 10을 참조하면, 디지털 줌 동영상 촬영 중에 손 떨림에 의해 전자 장치(100)는 회전될 수 있다. 예를 들어, 전자 장치(100)는, X-Y 평면을 기준으로 Z축 방향으로 30도 회전될 수 있다. 이 경우, 초기 입력 프레임(1000)에 비해 제 1 입력 프레임(1010)의 피사체는 X-Y 평면을 기준으로 -Z축 방향으로 30도 회전될 수 있다.
전자 장치(100)는 제 1 입력 프레임(1010)의 회전을 보상하기 위해, 제 1 입력 프레임(1010)의 전체 영역에서 마름모 형태의 흔들림 보정 영역(1011)을 결정할 수 있다. 즉, 초기 입력 프레임(1000)에서의 초기 줌 영역(1001)은 정사각형 형태이나, 제 1 입력 프레임(1010)에서의 흔들림 보정 영역(1011)은 마름모 형태일 수 있다.
도 11을 참조하여, 전자 장치(100)가 제 1 입력 프레임(1010)의 회전을 보상하는 과정에 대해서 자세히 살펴보기로 한다.
한편, 도 10에서는, 전자 장치(100)가 X-Y 평면을 기준으로 Z축 방향으로 회전되는 경우를 예로 들어 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 전자 장치(100)는 X-Z 평면을 기준으로 Y 축 방향으로 회전될 수도 있고, Y-Z 평면을 기준으로 X 축 방향으로 회전될 수도 있다.
도 11은, 전자 장치가 피사체가 회전된 프레임을 보정하는 일례를 설명하기 위한 도면이다.
단계 S1110에서, 전자 장치(100)는, 흔들림 정보를 이용하여, 제 1 입력 프레임(1010)의 전체 영역에서 마름모 형태의 흔들림 보정 영역(1011)을 결정할 수 있다.
단계 S1120에서, 전자 장치(100)는, 흔들림 보정 영역(1011)이 제 1 입력 프레임(1010)의 중심 영역에 위치하도록 위치 보정(Translational compensation)을 수행할 수 있다. 예를 들어, 전자 장치(100)는, 제 1 입력 프레임(1010) 안의 이미지를 전체적으로 오른쪽으로 이동시킬 수 있다.
단계 S1130에서, 전자 장치(100)는, 제 1 입력 프레임(1010)에 대한 회전 보정(Rotational compensation)을 수행할 수 있다. 예를 들어, 전자 장치(100)는, 초기 입력 프레임(1000)에 비해 제 1 입력 프레임(1010)의 피사체는 X-Y 평면을 기준으로 -Z축 방향으로 30도 회전되어 있으므로, 이미지 워핑(Image warping) 방식에 따라, 제 1 입력 프레임(1010)을 X-Y 평면을 기준으로 + Z축 방향으로 30도 회전시킬 수 있다.
단계 S1140에서, 전자 장치(100)는, 회전 보상된 제 1 흔들림 보정 영역(1011)이 제 1 입력 프레임(1010)의 중심 영역에 위치하도록 쉬프팅(Shifting) 절차를 수행할 수 있다.
단계 S1150에서, 전자 장치(100)는, 중심에 위치하는 제 1 흔들림 보정 영역(1011)을 출력 사이즈에 맞게 일정 배율로 확대하여, 제 1 입력 프레임(1010)에 대응하는 출력 프레임(1100)을 생성할 수 있다.
한편, 전자 장치(100)는 원본 프레임에 대한 회전 보정을 수행하면서, 롤링 셔터 왜곡(Rolling shutter Distortion)을 보정할 수도 있다. 이하에서는, 도 12를 참조하여 롤링 셔터 왜곡에 대해 살펴보기로 한다.
도 12는, 일 실시예에 따른, 전자 장치가 롤링 셔터 왜곡(Rolling shutter distortion)을 보정하는 동작을 설명하기 위한 도면이다.
전자 장치(100)에서 이용하는 이미지 센서가 CIS(CMOS image sensor)인 경우, 롤링 셔터 왜곡이 발생할 수 있다. CIS(CMOS image sensor)는 하나의 가로 라인(Horizontal line) 단위로 이미지 데이터를 출력할 수 있다. 예를 들어, 제 1 라인의 데이터가 출력되고 나서 제 2 라인의 데이터가 출력되고, 제 2 라인의 데이터가 출력된 이후에 제 3 라인의 데이터가 출력될 수 있다. 이때, 가로 라인(Horizontal line) 단위로 이미지 데이터가 출력되는 방식을 롤링 셔터(Rolling Shutter) 방식이라고 부른다. CIS(CMOS image sensor)는 일반적인 상황에서는 큰 문제가 생기지 않지만, 흔들림이 발생했을 경우 출력 결과물에 롤링 셔터 왜곡(Rolling shutter Distortion)을 가져다 줄 수 있다. 예를 들어, 빠르게 움직이는 물체를 촬영하거나, 촬영 중 손 떨림이 발생한 경우, 촬영 결과물에서 롤링 셔터 왜곡(Rolling shutter Distortion)이 발견될 수 있다.
도 12의 1210을 참조하면, 손 떨림에 의해 t-1 라인이 출력되는 동안 t 라인의 값이 변화하게 되고, t 라인이 출력되는 동안 t+1 라인의 값이 변화하게 되어, 전자 장치(100)는, 원래 출력되어야 하는 제 2 이미지(1202)와 다르게 롤링 셔터 왜곡된 제 1 이미지(1201)를 얻게 된다.
도 12의 1220을 참조하면, 전자 장치(100)는 롤링 셔터 왜곡된 제 1 이미지(1201)를 보상하여, 제 2 이미지(1202)를 얻을 수 있다. 예를 들어, 전자 장치(100)는, 제 1 이미지(1201)의 라인 별 모션 벡터를 이용하여 센서 라인간 시간차에 의한 왜곡을 역 보정함으로써, 제 2 이미지(1202)를 얻을 수 있다.
도 13은, 일 실시예에 따른, 전자 장치가 안정화 방식을 선택할 수 있는 선택 창을 제공하는 방법을 설명하기 위한 순서도이다.
단계 S1310에서, 전자 장치(100)는, 이미지 센서를 통해 복수의 프레임을 획득할 수 있다. 예를 들어, 전자 장치(100)는, 이미지 센서를 통해 입력된 이미지 신호를 이용하여 복수의 원본 프레임을 획득할 수 있다. 이때, 전자 장치(100)는, 기 설정된 화각의 원본 프레임을 획득할 수도 있고, 최대 화각의 원본 프레임을 획득할 수도 있다.
단계 S1320에서, 전자 장치(100)는, 일정 배율로 확대를 요청하는 사용자 입력을 수신할 수 있다. 일 실시예에 의하면, 전자 장치(100)는, 터치스크린을 통해 원본 프레임의 화각을 줄이는 줌 입력을 수신할 수 있으나, 이에 한정되는 것은 아니다.
단계 S1330에서, 전자 장치(100)는, 제 1 안정화 방식 또는 제 2 안정화 방식을 선택할 수 있는 선택 창을 제공할 수 있다. 예를 들어, 전자 장치(100)는, 줌 입력을 수신한 경우, 디지털 줌 동영상 안정화 방식을 선택할 수 있는 선택 창을 제공할 수 있다. 이때, 제 1 안정화 방식은 원본 프레임의 크라핑 영역에서 흔들림을 보정하는 크롭 줌 DIS 방식일 수 있으며, 제 2 안정화 방식은 원본 프레임의 전체 영역에서 흔들림을 보정하는 풀 줌 DIS 방식일 수 있다.
단계 S1340 및 단계 S1350에서, 제 1 안정화 방식이 선택되는 경우, 전자 장치(100)는 제 1 안정화 방식에 따라, 제 1 동영상을 생성할 수 있다. 예를 들어, 전자 장치(100)는 도 2에 개시된 크롭 줌 DIS 방식에 따라 안정화된 디지털 줌 동영상을 생성할 수 있다.
단계 S1360 및 단계 S1370에서, 제 2 안정화 방식이 선택되는 경우, 전자 장치(100)는, 제 2 안정화 방식에 따라, 제 2 동영상을 생성할 수 있다. 예를 들어, 전자 장치(100)는 도 5에 도시된 풀 줌 DIS 방식에 따라 안정화된 디지털 줌 동영상을 생성할 수 있다.
도 14 및 도 15는, 일 실시예에 따른, 전자 장치가 안정화 방식을 선택할 수 있는 선택 창을 제공하는 동작을 설명하기 위한 도면이다.
도 14의 1400-1을 참조하면, 전자 장치(100)는, 화각을 줄이는 줌 입력(1410)을 수신할 수 있다. 예를 들어, 전자 장치(100)는 프리뷰 이미지 위에 두 손가락을 터치한 채 서로 다른 방향으로 두 손가락을 벌리는 핀치 입력을 수신할 수 있다.
도 14의 1400-2을 참조하면, 전자 장치(100)는, 줌 입력(1410)이 수신되는 경우, 디지털 줌 동영상을 생성하기 전에, 안정화 방식을 선택할 수 있는 선택 창(1420)을 화면에 표시할 수 있다. 선택 창(1420)은 제 1 안정화 방식(Crop Zoom DIS)을 선택할 수 있는 제 1 버튼 및 제 2 안정화 방식(Full Zoom DIS)을 선택할 수 있는 제 2 버튼을 포함할 수 있다.
사용자가 제 2 버튼을 터치하는 경우, 전자 장치(100)는 제 2 안정화 방식(Full Zoom DIS)에 따라 안정화된 디지털 줌 동영상을 생성할 수 있다.
도 15의 1500-1을 참조하면, 전자 장치(100)는, 정지 영상 촬영 모드에서 동영상 촬영 모드로 전환하는 입력(1510)을 수신할 수 있다. 예를 들어, 전자 장치(100)는 카메라 애플리케이션 실행 창에서 촬영 모드 전환 버튼을 드래그하는 입력을 감지할 수 있다.
도 15의 1500-2을 참조하면, 전자 장치(100)는, 정지 영상 촬영 모드에서 동영상 촬영 모드로 전환하는 입력(1510)이 수신되는 경우, 디지털 줌 동영상을 생성하기 전에, 안정화 방식을 선택할 수 있는 선택 창(1520)을 화면에 표시할 수 있다. 선택 창(1520)은 제 1 안정화 방식(Crop Zoom DIS)을 선택할 수 있는 제 1 버튼 및 제 2 안정화 방식(Full Zoom DIS)을 선택할 수 있는 제 2 버튼을 포함할 수 있다. 사용자가 제 2 버튼을 터치하는 경우, 전자 장치(100)는 제 2 안정화 방식(Full Zoom DIS)에 따라 안정화된 디지털 줌 동영상을 생성할 수 있다.
전자 장치(100)가 안정화 방식을 선택할 수 있는 선택 창을 제공하는 예는 다양할 수 있다. 예를 들어, 사용자는 카메라 애플리케이션을 실행하기 전에 환경 설정 메뉴에서 안정화 방식을 풀 줌 DIS 방식으로 설정할 수 있다.
도 16은, 일 실시예에 따른, 전자 장치가 복수의 안정화 방식에 따라 생성한 복수의 동영상을 제공하는 방법을 설명하기 위한 순서도이다.
단계 S1610에서, 전자 장치(100)는, 이미지 센서를 통해 복수의 프레임을 획득할 수 있다. 예를 들어, 전자 장치(100)는, 이미지 센서를 통해 입력된 이미지 신호를 이용하여 복수의 원본 프레임을 획득할 수 있다.
단계 S1620에서, 전자 장치(100)는, 일정 배율로 확대를 요청하는 사용자 입력을 수신할 수 있다. 일 실시예에 의하면, 전자 장치(100)는, 터치스크린을 통해 원본 프레임의 화각을 줄이는 줌 입력을 수신할 수 있으나, 이에 한정되는 것은 아니다.
단계 S1630에서, 전자 장치(100)는, 제 1 안정화 방식에 따라, 제 1 동영상을 생성하고, 제 2 안정화 방식에 따라, 제 2 동영상 생성을 생성할 수 있다. 이때, 제 1 안정화 방식은 원본 프레임의 크라핑 영역에서 흔들림을 보정하는 크롭 줌 DIS 방식일 수 있으며, 제 2 안정화 방식은 원본 프레임의 전체 영역에서 흔들림을 보정하는 풀 줌 DIS 방식일 수 있다.
예를 들어, 전자 장치(100)는 도 2에 개시된 제 1 알고리즘(크롭 줌 DIS 방식)에 따라 안정화된 제 1 디지털 줌 동영상을 생성할 수 있다. 또한, 전자 장치(100)는 도 5에 도시된 제 2 알고리즘(풀 줌 DIS 방식)에 따라 안정화된 제 2 디지털 줌 동영상을 생성할 수 있다.
단계 S1640에서, 전자 장치(100)는 제 1 동영상에 대응하는 제 1 재생 버튼 및 제 2 동영상에 대응하는 제 2 재생 버튼을 포함하는 GUI 제공할 수 있다. 예를 들어, 전자 장치(100)는, 크롭 줌 DIS 방식에 따라 안정화된 제 1 디지털 줌 동영상을 재생할 수 있는 제 1 재생 버튼 및 풀 줌 DIS 방식에 따라 안정화된 제 2 디지털 줌 동영상을 재생할 수 있는 제 2 재생 버튼을 화면에 표시할 수 있다.
단계 S1650 및 단계 S1660에서, 제 1 재생 버튼이 선택되는 경우, 전자 장치(100)는, 제 1 동영상을 재생할 수 있다. 예를 들어, 전자 장치(100)는 크롭 줌 DIS 방식에 따라 안정화된 제 1 디지털 줌 동영상을 재생할 수 있다.
단계 S1670 및 단계 S1680에서, 제 2 재생 버튼이 선택되는 경우, 전자 장치(100)는, 제 2 동영상을 재생할 수 있다. 예를 들어, 전자 장치(100)는, 풀 줌 DIS 방식에 따라 안정화된 제 2 디지털 줌 동영상을 재생할 수 있다.
도 17 및 도 18은, 일 실시예에 따른, 전자 장치가 복수의 안정화 방식에 따라 생성한 복수의 동영상을 제공하는 GUI(Graphical User Interface)를 나타내는 도면이다.
도 17의 1710을 참조하면, 전자 장치(100)는, 동영상 관리 애플리케이션(1700)을 활성화하는 입력을 수신할 수 있다. 예를 들어, 전자 장치(100)는, 복수의 아이콘 중에서 동영상 관리 애플리케이션(1700)의 아이콘을 터치하는 입력을 수신할 수 있다. 이 경우, 전자 장치(100)는, 동영상 관리 애플리케이션(1700)을 실행하고, 동영상 관리 애플리케이션(1700)의 실행 창을 표시할 수 있다.
도 17의 1720을 참조하면, 전자 장치(100)는, 제 N 원본 프레임들을 제 1 안정화 방식(Crop Zoom DIS)과 제 2 안정화 방식(Full Zoom DIS)으로 각각 안정화한 제 1 동영상(1701) 및 제 2 동영상(1702)을 동영상 관리 애플리케이션(1700)의 실행 창에 표시할 수 있다.
사용자가 제 2 동영상(1702)의 재생 버튼을 터치하는 경우, 전자 장치(100)는 제 2 안정화 방식(Full Zoom DIS)에 따라 안정화된 제 2 동영상(1702)을 재생할 수 있다.
도 18의 1810을 참조하면, 전자 장치(100)는, 여행 중에 촬영된 특정 동영상에 대한 재생 아이콘(1800)을 표시할 수 있다. 이때, 전자 장치(100)는 특정 동영상에 대한 재생 아이콘(1800)을 터치하는 입력을 수신할 수 있다.
도 18의 1820을 참조하면, 전자 장치(100)는, 재생 아이콘(1800)을 터치하는 입력에 응답하여, 안정화 방식을 선택할 수 있는 선택 창(1801)을 제공할 수 있다. 예를 들어, 선택 창(1801)은 제 1 안정화 방식(Crop Zoom DIS)을 선택할 수 있는 제 1 버튼 및 제 2 안정화 방식(Full Zoom DIS)을 선택할 수 있는 제 2 버튼을 포함할 수 있다.
전자 장치(100)는, 사용자가 제 1 버튼을 선택하는 경우, 제 1 안정화 방식(Crop Zoom DIS)에 따라 안정화한 제 1 디지털 줌 동영상을 재생할 수 있다. 사용자가 제 2 버튼을 선택하는 경우, 전자 장치(100)는 제 2 안정화 방식(Full Zoom DIS)에 따라 안정화된 제 2 디지털 줌 동영상을 재생할 수 있다.
도 18에 도시되지는 않았지만, 일 실시예에 의하면, 재생 아이콘(1800)을 터치하는 입력에 응답하여, 전자 장치(100)가 제 1 디지털 줌 동영상과 제 2 디지털 줌 동영상 중에 하나를 자동으로 선택 및 재생할 수도 있다. 예를 들어, 전자 장치(100)가 제 1 디지털 줌 동영상과 제 2 디지털 줌 동영상의 흔들림 정도를 비교하고, 비교한 결과에 따라 제 1 디지털 줌 동영상과 제 2 디지털 줌 동영상 중 하나만을 사용자에게 제공할 수 있다.
도 19 및 도 20은, 일 실시예에 따른 전자 장치의 구성을 설명하기 위한 블록 구성도이다.
도 19에 도시된 바와 같이, 일 실시예에 따른 전자 장치(100)는, 사용자 인터페이스(130), 출력부(140) 및 제어부(180)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 전자 장치(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 전자 장치(100)는 구현될 수 있다.
예를 들어, 도 20에 도시된 바와 같이, 일 실시예에 따른 전자 장치(100)는, 사용자 인터페이스(130), 출력부(140), 제어부(180) 이외에 촬영부(110), 아날로그 신호 처리부(120), 이미지 신호 처리부(121), 통신 인터페이스(150), 메모리(160), 센싱부(170)를 더 포함할 수도 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
촬영부(110)는 입사광으로부터 전기적인 신호의 영상을 생성하는 구성요소로서, 렌즈(111), 렌즈 구동부(112), 조리개(113), 조리개 구동부(115), 이미지 센서(118), 및 이미지 센서 제어부(119)를 포함한다.
렌즈(111)는 복수 군, 복수 매의 렌즈들을 구비할 수 있다. 렌즈(111)는 렌즈 구동부(112)에 의해 그 위치가 조절된다. 렌즈 구동부(112)는 제어부(180)에서 제공된 제어 신호에 따라 렌즈(111)의 위치를 조절한다.
또한, 렌즈 구동부(111)는 렌즈(111)의 위치를 조절하여 초점 거리를 조절하고, 오토 포커싱, 줌 변경, 초점 변경들의 동작을 수행한다.
조리개(113)는 조리개 구동부(115)에 의해 그 개폐 정도가 조절되며, 이미지 센서(118)로 입사되는 광량을 조절한다.
렌즈(111) 및 조리개(113)를 투과한 광학 신호는 이미지 센서(118)의 수광면에 이르러 피사체의 상을 결상한다. 이미지 센서(118)는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 이미지센서 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다. 이미지 센서(118)는 이미지 센서 제어부(119)에 의해 감도 등이 조절될 수 있다. 이미지 센서 제어부(119)는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 이미지 센서(118)를 제어할 수 있다.
아날로그 신호 처리부(120)는, 이미지 센서(118)로부터 공급된 아날로그 신호에 대하여, 노이즈 저감 처리, 게인 조정, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행한다.
이미지 신호 처리부(121)는, 아날로그 신호 처리부(120)에서 처리된 영상 데이터 신호에 대해 특수기능을 처리하기 위한 신호 처리부이다. 예를 들면, 이미지 신호 처리부(121)는, 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 화이트 밸런스 조절, 휘도의 평활화 및 칼라 쉐이딩(color shading) 등의 화질 개선 및 특수 효과 제공을 위한 영상 신호 처리를 수행할 수 있다. 이미지 신호 처리부(121)는 입력된 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식일 수 있다. 예를 들어, 정지 영상에 경우, JPEG(Joint Photographic Experts Group)형식이나 JPEG 2000 형식 등으로 변환될 수 있다. 또한, 동영상을 기록하는 경우, 이미지 신호 처리부(121)는, MPEG(Moving Picture Experts Group) 표준에 따라 복수의 프레임들을 압축하여 동영상 파일을 생성할 수 있다. 영상 파일은 예를 들면 Exif(Exchangeable image file format) 표준에 따라 생성될 수 있다.
이미지 신호 처리부(121)는 이미지 센서(118)에서 생성된 이미지 신호로부터 동영상 파일을 생성할 수 있다. 이미지 신호 처리부(121)는 이미지 신호로부터 동영상 파일에 포함될 프레임들을 생성할 수 있다. 예를 들어, 이미지 신호 처리부(121)는 프레임들을 MPEG4(Moving Picture Experts Group 4), H.264/AVC, WMV(windows media video) 등의 표준에 따라 압축한 후, 압축된 프레임들을 이용하여 동영상 파일을 생성할 수 있다. 동영상 파일은 mpg, mp4, 3gpp, avi, asf, mov 등 다양한 형식으로 생성될 수 있다.
이미지 신호 처리부(121)로부터 출력된 이미지 데이터는 메모리(160)에 저장될 수 있다. 또한, 이미지 신호 처리부(121)로부터 출력된 이미지 데이터는 사용자로부터의 신호에 따라 또는 자동으로 메모리 카드에 저장될 수도 있다. 메모리 카드는 탈/부착 가능한 것일 수도 있고 전자 장치(100)에 영구 장착된 것일 수도 있다. 예를 들면, 메모리 카드는 SD(Secure Digital)카드 등의 플래시 메모리 카드 일 수 있다.
또한, 이미지 신호 처리부(121)는 입력된 이미지 데이터에 대해 불선명 처리, 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 일 실시예에 의하면, 이미지 신호 처리부(121)는, 손 떨림 보정, 롤링 셔터 왜곡 보정 등을 수행할 수도 있다.
일 실시예에 의하면, 이미지 신호 처리부(121)는 디스플레이부(141)에 디스플레이하기 위한 표시 영상 신호 처리를 행할 수 있다. 예를 들어, 이미지 신호 처리부(121)는, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다.
한편, 이미지 신호 처리부(121)에 의해 처리된 신호는 메모리(160)를 거쳐 제어부(180)에 입력될 수도 있고, 메모리(160)를 거치지 않고 제어부(180)에 입력될 수도 있다.
사용자 인터페이스(130)는, 사용자가 전자 장치(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 인터페이스(130)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 인터페이스(130)는, 이미지 센서(118)를 통해 획득되는 복수의 프레임과 관련하여 일정 배율로 확대를 요청하는 사용자 입력을 수신할 수 있다. 예를 들어, 사용자 인터페이스(130)는, 프리뷰 이미지가 표시되는 터치스크린을 통해 핀치 입력을 수신할 수 있으나, 이에 한정되는 것은 아니다.
출력부(140)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부(141)와 음향 출력부(142), 진동 모터(143) 등이 포함될 수 있다.
디스플레이부(141)는 전자 장치(100)에서 처리되는 정보를 표시할 수 있다. 예를 들어, 디스플레이부(141)는, 프리뷰 이미지, 동영상 파일 목록, 디지털 줌 동영상 재생 화면 등을 표시할 수 있다.
일 실시예에 의하면, 디스플레이부(141)는, 입력 프레임의 크라핑(cropping) 영역에서 흔들림 보정 영역을 결정하는 제 1 안정화 방식 또는 입력 프레임의 전체 영역에서 흔들림 보정 영역을 결정하는 제 2 안정화 방식을 선택할 수 있는 선택 창을 표시할 수 있다.
디스플레이부(141)는, 제 1 안정화 방식에 의해 생성된 제 1 동영상에 대응하는 제 1 재생 버튼 및 제 2 안정화 방식에 의해 생성된 제 2 동영상에 대응하는 제 2 재생 버튼을 포함하는 GUI(Graphical User Interface)를 표시할 수도 있다.
한편, 디스플레이부(141)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(141)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(141)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 전자 장치(100)의 구현 형태에 따라 전자 장치(100)는 디스플레이부(141)를 2개 이상 포함할 수도 있다.
음향 출력부(142)는 통신 인터페이스(150)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(142)는 전자 장치(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 음향 출력부(142)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
진동 모터(143)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(143)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(143)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
통신 인터페이스(150)는, 전자 장치(100)와 클라우드 서버, 전자 장치(100)와 외부 장치, 전자 장치(100)와 SNS 서버, 또는 전자 장치(100)와 외부 웨어러블 디바이스 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신 인터페이스(150)는, 근거리 통신부(151), 이동 통신부(152), 방송 수신부(153)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(151)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(152)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. 이때, 이동 통신부(152)는, LTE(long-term evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용할 수 있다.
방송 수신부(153)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 전자 장치(100)가 방송 수신부(153)를 포함하지 않을 수도 있다.
메모리(160)는, 제어부(180)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 정지 영상, 디지털 줌 동영상 등)을 저장할 수도 있다.
메모리(160)는 예를 들면, 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장 메모리는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 포함할 수 있다. 외장 메모리는 다양한 인터페이스를 통하여 전자 장치(100)와 기능적으로 및/또는 물리적으로 연결될 수 있다.
또한, 전자 장치(100)는 인터넷(internet)상에서 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.
메모리(160)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, 제 1 안정화 모듈(161), 제 2 안정화 모듈(162), UI 모듈(163) 등으로 분류될 수 있다.
제 1 안정화 모듈(161)은, 입력 프레임의 크라핑 영역을 흔들림 보정 가능한 영역으로 이용하는 제 1 안정화 방식에 따라 디지털 줌 동영상을 안정화할 수 있다. 예를 들어, 도 21을 참조하면, 제 1 안정화 모듈(161)은, 이미지 크롭 앤 스케링부(Image Crop & Scaling Unit)(2110), 모션 측정부(Motion Estimation Unit)(2120), 카메라 패스 플래닝부(Camera Path Planning Unit)(2130), 모션 보상 파라미터 계산부(Motion Compensation Parameter Calculation Unit)(2140), 이미지 와핑부(Image Warping Unit)(2150)를 포함할 수 있다.
이미지 크롭 앤 스케링부(2110)는, 이미지 센서(118)로부터 원본 프레임의 데이터를 수신하고, 사용자 인터페이스(130)로부터 줌 배율(예컨대, Zoom Level, Zoom scale)에 관한 정보를 수신할 수 있다. 이때, 이미지 크롭 앤 스케링부 (2110)는, 줌 배율에 따라, 원본 프레임의 일부 영역을 크롭(crop)하고, 크롭된 일부 영역을 확대하여, 확대 영상을 생성할 수 있다.
이미지 크롭 앤 스케링부(2110)는, 크롭된 일부 영역을 확대하여 생성한 확대 영상을 모션 측정부(2120) 및 이미지 와핑부(2150)로 전송할 수 있다.
모션 측정부(2120)는, 이전 프레임에서의 확대 영상과 현재 프레임의 확대 영상의 차이를 비교함으로써, 배경 또는 피사체의 이동과 관련된 모션 벡터(예컨대, 글로벌 모션 벡터, 로컬 모션 벡터)를 획득할 수 있다.
모션 측정부(2120)는, 센싱부(170)에 포함된 적어도 하나의 센서(예컨대, 가속도 센서, 자이로 센서 등)를 이용하여 전자 장치(100)의 모션을 측정하고, 모션 벡터를 생성할 수도 있다.
모션 측정부(2120)는, 모션 벡터를 카메라 패스 플래닝부(2130) 및 모션 보상 파라미터 계산부(2140)로 전달할 수 있다.
카메라 패스 플래닝부(2130)는, 모션 벡터를 이용하여, 안정화 경로(예컨대, camera path planned trajectory)를 생성할 수 있다. 안정화 경로는 흔들림을 보상하기 위한 궤적을 의미할 수 있다. 이때, 카메라 패스 플래닝부(2130)는 크롭된 일부 영역을 확대하여 생성한 확대 영상의 크기를 고려하여, 안정화 경로를 결정할 수 있다.
카메라 패스 플래닝부(2130)는, 안정화 경로(예컨대, camera path planned trajectory)에 관한 정보를 모션 보상 파라미터 계산부(2140) 및 이미지 와핑부(2150)로 전달할 수 있다.
모션 보상 파라미터 계산부(2140)는, 안정화 경로(예컨대, camera path planned trajectory)에 관한 정보에 기초하여, 흔들림을 보상하기 위한 모션 보상 파라미터(2141)를 생성할 수 있다. 예를 들어, 모션 보상 파라미터 계산부(2140)는, 안정화 경로(예컨대, camera path planned trajectory)에 따라, 확대 영상 안에서 출력 영역의 위치를 조절하는 파라미터를 생성할 수 있다.
또한, 모션 보상 파라미터 계산부(2140)는, 모션 측정부(2120)로부터 수신된 모션 벡터에 기초하여, 롤링 셔터 왜곡을 보상하기 위한 롤링 셔터 보상 파라미터(2142)를 생성할 수도 있다.
모션 보상 파라미터 계산부(2140)는, 흔들림을 보상하기 위한 모션 보상 파라미터(2141) 및 롤링 셔터 왜곡을 보상하기 위한 롤링 셔터 보상 파라미터(2142)를 이미지 와핑부(2150)로 전달할 수 있다.
이미지 와핑부(2150)는, 모션 보상 파라미터 계산부(2140)로부터 수신된 파라미터들에 따라, 확대 영상에 대한 흔들림을 보상하거나 롤링 셔터 왜곡을 보상할 수 있다. 이미지 와핑부(2150)는, 출력 영역을 출력 사이즈에 맞게 확대하여, 안정화된 출력 프레임을 생성할 수 있다.
제 2 안정화 모듈(162)은, 입력 프레임의 전체 영역을 흔들림 보정 가능한 영역으로 이용하는 제 2 안정화 방식에 따라 디지털 줌 동영상을 안정화할 수 있다. 예를 들어, 도 22를 참조하면, 제 2 안정화 모듈(162)은, 모션 측정부(Motion Estimation Unit)(2210), 카메라 패스 플래닝부(Camera Path Planning Unit)(2220), 모션 보상 파라미터 계산부(Motion Compensation Parameter Calculation Unit)(2230), 이미지 와핑부(Image Warping Unit)(2240), 쉬프팅 앤 스케링부(Shifting & Scaling Unit)(2250)를 포함할 수 있다.
모션 측정부(2210)는, 이미지 센서(118)를 통해 획득된 원본 프레임을 수신하고, 원본 프레임의 모션 벡터를 생성할 수 있다.
예를 들어, 모션 측정부(2210)는, 이전 원본 프레임과 현재 원본 프레임의 차이를 비교함으로써, 배경 또는 피사체의 이동과 관련된 모션 벡터(예컨대, 글로벌 모션 벡터, 로컬 모션 벡터)를 획득할 수 있다.
모션 측정부(2210)는, 센싱부(170)에 포함된 적어도 하나의 센서(예컨대, 가속도 센서, 자이로 센서 등)를 이용하여 전자 장치(100)의 모션을 측정함으로써, 모션 벡터를 생성할 수도 있다.
모션 측정부(2210)는, 모션 벡터를 카메라 패스 플래닝부(2220) 및 모션 보상 파라미터 계산부(2230)로 전달할 수 있다.
카메라 패스 플래닝부(2220)는, 모션 벡터를 이용하여, 안정화 경로(예컨대, camera path planned trajectory)를 생성할 수 있다. 안정화 경로는 흔들림을 보상하기 위한 궤적을 의미할 수 있다. 이때, 카메라 패스 플래닝부(2220)는 원본 프레임의 해상도 정보를 고려하여, 안정화 경로를 결정할 수 있다.
예를 들어, 카메라 패스 플래닝부(2220)는 사용자 인터페이스(130)로부터 수신된 줌 배율(예컨대, Zoom Level, Zoom scale)에 관한 정보에 기초하여, 초기 줌 영역을 설정할 수 있다. 그리고 카메라 패스 플래닝부(2220)는, 초기 줌 영역이 안정화 경로를 따라 이동될 때 초기 줌 영역이 원본 프레임을 벗어나지 않도록 하는 안정화 경로를 결정할 수 있다.
카메라 패스 플래닝부(2220)는, 안정화 경로(예컨대, camera path planned trajectory)에 관한 정보를 모션 보상 파라미터 계산부(2230) 및 이미지 와핑부(2240)로 전달할 수 있다.
모션 보상 파라미터 계산부(2230)는, 안정화 경로(예컨대, camera path planned trajectory)에 관한 정보에 기초하여, 흔들림을 보상하기 위한 모션 보상 파라미터(2231)를 생성할 수 있다. 예를 들어, 모션 보상 파라미터 계산부(2230)는, 안정화 경로(예컨대, camera path planned trajectory)에 따라, 원본 프레임의 전체 영역 안에서 흔들림 보정 영역의 위치를 결정하는 파라미터(또는, 초기 줌 영역의 위치를 재설정하는 파라미터)를 생성할 수 있다.
또한, 모션 보상 파라미터 계산부(2230)는, 모션 측정부(2210)로부터 수신된 모션 벡터에 기초하여, 롤링 셔터 왜곡을 보상하기 위한 롤링 셔터 보상 파라미터(2232)를 생성할 수도 있다.
모션 보상 파라미터 계산부(2230)는, 흔들림을 보상하기 위한 모션 보상 파라미터(2231) 및 롤링 셔터 왜곡을 보상하기 위한 롤링 셔터 보상 파라미터(2232)를 이미지 와핑부(2240)로 전달할 수 있다.
이미지 와핑부(2240)는, 모션 보상 파라미터 계산부(2230)로부터 수신된 파라미터들에 따라, 확대 영상에 대한 흔들림을 보상하거나 롤링 셔터 왜곡을 보상할 수 있다. 예를 들어, 이미지 와핑부(2240)는 원본 프레임의 전체 영역 안에서 흔들림 보정 영역을 결정할 수 있다. 이미지 와핑부(2240)는, 흔들림 보정 영역에 관한 정보를 쉬프팅 앤 스케링부(2250)로 전달할 수 있다
쉬프팅 앤 스케링부(2250)는 흔들림 보정 영역이 프레임의 중심에 위치하도록 쉬프팅할 수 있다. 그리고 쉬프팅 앤 스케링부(2250)는 사용자 인터페이스(130)로부터 수신된 줌 배율에 기초하여 흔들림 보정 영역을 확대할 수 이다. 예를 들어, 쉬프팅 앤 스케링부(2250)는 흔들림 보정 영역을 출력 사이즈에 맞게 확대하여, 디지털 줌 안정화 이미지를 출력할 수 있다.
UI 모듈(163)은, 애플리케이션 별로 전자 장치(100)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다.
센싱부(170)는, 전자 장치(100)의 상태, 전자 장치(100) 주변의 상태, 전자 장치(100)를 착용한 사용자의 상태 등을 감지하고, 감지된 정보를 제어부(180)로 전달할 수 있다.
센싱부(170)는, 예를 들면, 물리량을 계측하거나 전자 장치(100)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센싱부(170)는, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러(color) 센서(예: RGB(red, green, blue) 센서), 생체 센서, 온/습도 센서, 조도 센서, 또는 UV(ultra violet) 센서 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
센싱부(170)는, 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치(100)는 제어부(180)의 일부로서 또는 별도로, 센싱부(170)를 제어하도록 구성된 프로세서를 더 포함하여, 제어부(180)가 슬립(sleep) 상태에 있는 동안, 프로세서가 센싱부(170)를 제어하도록 할 수 있다.
제어부(180)는, 통상적으로 전자 장치(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(180)는, 메모리(160)에 저장된 프로그램들을 실행함으로써, 촬영부(110), 아날로그 신호 처리부(120), 이미지 신호 처리부(121), 사용자 인터페이스(130), 출력부(140), 통신 인터페이스(150), 센싱부(170) 등을 전반적으로 제어할 수 있다.
제어부(180)는, 운영 체제 또는 응용 프로그램을 구동하여 제어부(180)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 제어부(180)는 예를 들면, SoC(system on chip) 로 구현될 수 있다. 예를 들어, 제어부(180)는, 중앙처리장치(central processing unit(CPU)), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 일 실시예에 따르면, 제어부(180)는 GPU(graphic processing unit)를 더 포함할 수도 있다.
일 실시예에 의하면, 제어부(180)는, 복수의 프레임에 포함된 피사체의 움직임 또는 전자 장치의 움직임에 대한 정보를 이용하여, 복수의 프레임에 대한 흔들림 정보를 획득할 수 있다.
예를 들어, 제어부(180)는, 복수의 프레임을 비교한 결과에 기초하여, 복수의 프레임에 포함된 피사체의 움직임에 대한 제 1 움직임 정보를 획득할 수 있다. 제어부(180)는 전자 장치(100)에 포함된 적어도 하나의 센서를 이용하여, 복수의 프레임을 획득하는 동안의 전자 장치(100)의 움직임에 대한 제 2 움직임 정보를 획득할 수 있다. 제어부(180)는 제 1 움직임 정보 및 제 2 움직임 정보 중 적어도 하나를 이용하여, 복수의 프레임 각각에 대한 흔들림 정보를 획득할 수 있다.
제어부(180)는, 복수의 프레임에 대한 흔들림 정보 및 줌 배율에 관한 정보에 기초하여, 복수의 프레임 각각의 전체 영역에서 복수의 프레임 각각에 대응하는 흔들림 보정 영역들을 결정할 수 있다.
예를 들어, 제어부(180)는, 흔들림 정보에 기초하여, 전자 장치(100)의 움직임과 반대되거나, 피사체의 움직임에 상응하는 안정화 경로를 결정하고, 안정화 경로에 따라 복수의 프레임 각각에 대응하는 흔들림 보정 영역들을 결정할 수 있다. 이때, 제어부(180)는, 복수의 프레임의 해상도 정보를 고려하여, 안정화 경로를 결정할 수도 있다.
제어부(180)는, 흔들림 보정 영역들을 일정 배율로 확대하여, 복수의 프레임 각각에 대응하는 출력 프레임들을 생성하고, 출력 프레임들을 결합하여 디지털 줌 동영상을 생성할 수 있다.
일 실시예에 의하면, 제어부(180)는, 프리뷰 이미지가 표시되는 터치스크린을 통해 수신된 핀치 입력에 기초하여, 줌 배율 및 초기 줌 영역을 결정할 수 있다.
또한, 제어부(180)는, 복수의 프레임의 모션 벡터에 기반하여, 복수의 프레임 중 적어도 하나의 프레임에 대한 롤링 셔터 왜곡(Rolling Shutter Distortion)을 보정할 수 있다. 제어부(180)는, 흔들림 정보에 포함된 회전 성분 정보에 기초하여, 복수의 프레임 중 적어도 하나의 프레임에 대한 회전을 보상할 수도 있다.
일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
일 실시예에 의하면, 전자 장치(100)는 원본 프레임의 전체 영역 내에서 초기 줌 영역의 위치를 이동시켜 흔들림 보정 영역을 결정할 수 있으므로, 원본 프레임의 크라핑 영역 내에서만 흔들림 보정 영역을 결정하는 방식보다 흔들림을 더 많이 보상할 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (20)

  1. 전자 장치에서 동영상을 안정화하는 방법에 있어서,
    이미지 센서를 통해 입력된 이미지 신호를 이용하여 복수의 프레임을 획득하는 단계;
    상기 복수의 프레임과 관련하여 일정 배율로 확대를 요청하는 사용자 입력을 수신하는 단계;
    상기 복수의 프레임에 포함된 피사체의 움직임 또는 상기 전자 장치의 움직임에 대한 정보를 이용하여, 상기 복수의 프레임에 대한 흔들림 정보를 획득하는 단계;
    상기 복수의 프레임에 대한 흔들림 정보 및 상기 일정 배율에 관한 정보에 기초하여, 상기 복수의 프레임 각각의 전체 영역에서 상기 복수의 프레임 각각에 대응하는 흔들림 보정 영역들을 결정하는 단계;
    상기 흔들림 보정 영역들을 상기 일정 배율로 확대하여, 상기 복수의 프레임 각각에 대응하는 출력 프레임들을 생성하는 단계; 및
    상기 출력 프레임들을 포함하는 동영상을 제공하는 단계를 포함하는, 동영상 안정화 방법.
  2. 제 1 항에 있어서, 상기 복수의 프레임을 획득하는 단계는,
    상기 전자 장치에서 얻어진 최대 화각의 프레임들을 획득하는 단계를 포함하는, 동영상 안정화 방법.
  3. 제 1 항에 있어서, 상기 사용자 입력을 수신하는 단계는,
    프리뷰 이미지가 표시되는 터치스크린을 통해 핀치 입력을 수신하는 단계; 및
    상기 핀치 입력에 기초하여, 상기 일정 배율 및 초기 줌 영역을 결정하는 단계를 포함하는, 동영상 안정화 방법.
  4. 제 1 항에 있어서, 상기 복수의 프레임에 대한 흔들림 정보를 획득하는 단계는,
    상기 복수의 프레임을 비교한 결과에 기초하여, 상기 복수의 프레임에 포함된 피사체의 움직임에 대한 제 1 움직임 정보를 획득하는 단계;
    상기 전자 장치에 포함된 적어도 하나의 센서를 이용하여, 상기 복수의 프레임을 획득하는 동안의 상기 전자 장치의 움직임에 대한 제 2 움직임 정보를 획득하는 단계; 및
    상기 제 1 움직임 정보 및 상기 제 2 움직임 정보 중 적어도 하나를 이용하여, 상기 복수의 프레임에 대한 흔들림 정보를 획득하는 단계를 포함하는, 동영상 안정화 방법.
  5. 제 1 항에 있어서, 상기 복수의 프레임 각각에 대응하는 흔들림 보정 영역들을 결정하는 단계는,
    상기 흔들림 정보에 기초하여, 상기 전자 장치의 움직임과 반대되거나, 상기 피사체의 움직임에 상응하는 안정화 경로를 결정하는 단계; 및
    상기 안정화 경로에 따라 상기 복수의 프레임 각각에 대응하는 흔들림 보정 영역들을 결정하는 단계를 포함하는, 동영상 안정화 방법.
  6. 제 5 항에 있어서, 상기 안정화 경로를 결정하는 단계는,
    상기 복수의 프레임의 해상도 정보를 고려하여, 상기 안정화 경로를 결정하는 단계를 포함하는, 동영상 안정화 방법.
  7. 제 1 항에 있어서, 상기 출력 프레임을 생성하는 단계는,
    상기 복수의 프레임의 모션 벡터에 기반하여, 상기 복수의 프레임 중 적어도 하나의 프레임에 대한 롤링 셔터 왜곡(Rolling Shutter Distortion)을 보정(correction)하는 단계를 포함하는, 동영상 안정화 방법.
  8. 제 1 항에 있어서, 상기 복수의 프레임 각각에 대응하는 출력 프레임들을 생성하는 단계는,
    상기 흔들림 정보에 포함된 회전 성분 정보에 기초하여, 상기 복수의 프레임 중 적어도 하나의 프레임에 대한 회전을 보상하는 단계를 포함하는, 동영상 안정화 방법.
  9. 제 8 항에 있어서, 상기 적어도 하나의 프레임에 대한 회전을 보상하는 단계는,
    상기 복수의 프레임 중 제 1 프레임의 제 1 흔들림 보정 영역을 상기 제 1 프레임의 중심 영역으로 이동시키는 단계;
    상기 제 1 흔들림 보정 영역을 소정 각도로 회전시키는 단계; 및
    상기 회전된 제 1 흔들림 보정 영역을 상기 제 1 프레임의 중심 영역으로 이동시키는 단계를 포함하는, 동영상 안정화 방법.
  10. 제 1 항에 있어서, 상기 동영상 안정화 방법은,
    입력 프레임의 크라핑(cropping) 영역에서 흔들림 보정 영역을 결정하는 제 1 안정화 방식 또는 상기 입력 프레임의 전체 영역에서 상기 흔들림 보정 영역을 결정하는 제 2 안정화 방식을 선택할 수 있는 선택 창을 제공하는 단계; 및
    상기 선택 창을 통해 선택된 방식에 따라 동영상을 생성하는 단계를 더 포함하는, 동영상 안정화 방법.
  11. 제 10 항에 있어서, 상기 동영상 안정화 방법은,
    상기 제 1 안정화 방식에 의해 생성된 제 1 동영상에 대응하는 제 1 재생 버튼 및 상기 제 2 안정화 방식에 의해 생성된 제 2 동영상에 대응하는 제 2 재생 버튼을 포함하는 GUI를 제공하는 단계; 및
    상기 제 1 재생 버튼 및 상기 제 2 재생 버튼 중 하나에 대한 사용자 선택에 기초하여, 상기 제 1 동영상 및 상기 제 2 동영상 중 하나를 재생하는 단계를 더 포함하는, 동영상 안정화 방법.
  12. 이미지 센서를 통해 획득되는 복수의 프레임과 관련하여 일정 배율로 확대를 요청하는 사용자 입력을 수신하는 사용자 인터페이스;
    상기 복수의 프레임에 포함된 피사체의 움직임 또는 전자 장치의 움직임에 대한 정보를 이용하여, 상기 복수의 프레임에 대한 흔들림 정보를 획득하고, 상기 복수의 프레임에 대한 흔들림 정보 및 상기 일정 배율에 관한 정보에 기초하여, 상기 복수의 프레임 각각의 전체 영역에서 상기 복수의 프레임 각각에 대응하는 흔들림 보정 영역들을 결정하고, 상기 흔들림 보정 영역들을 상기 일정 배율로 확대하여, 상기 복수의 프레임 각각에 대응하는 출력 프레임들을 생성하는 제어부; 및
    상기 출력 프레임들을 포함하는 동영상을 제공하는 출력부를 포함하는, 전자 장치.
  13. 제 12 항에 있어서, 상기 복수의 프레임 각각의 화각은,
    상기 출력 프레임들 각각의 화각보다 큰 것을 특징으로 하는 전자 장치.
  14. 제 12 항에 있어서, 상기 사용자 인터페이스는,
    프리뷰 이미지가 표시되는 터치스크린을 통해 핀치 입력을 수신하고,
    상기 제어부는, 상기 핀치 입력에 기초하여, 상기 일정 배율 및 초기 줌 영역을 결정하는, 전자 장치.
  15. 제 12 항에 있어서, 상기 제어부는,
    상기 복수의 프레임을 비교한 결과에 기초하여, 상기 복수의 프레임에 포함된 피사체의 움직임에 대한 제 1 움직임 정보를 획득하고, 상기 전자 장치에 포함된 적어도 하나의 센서를 이용하여, 상기 복수의 프레임을 획득하는 동안의 상기 전자 장치의 움직임에 대한 제 2 움직임 정보를 획득하고, 상기 제 1 움직임 정보 및 상기 제 2 움직임 정보 중 적어도 하나를 이용하여, 상기 복수의 프레임에 대한 흔들림 정보를 획득하는, 전자 장치.
  16. 제 12 항에 있어서, 상기 제어부는,
    상기 흔들림 정보에 기초하여, 상기 전자 장치의 움직임과 반대되거나, 상기 피사체의 움직임에 상응하는 안정화 경로를 결정하고, 상기 안정화 경로에 따라 상기 복수의 프레임 각각에 대응하는 흔들림 보정 영역들을 결정하는, 전자 장치.
  17. 제 16 항에 있어서, 상기 제어부는,
    상기 복수의 프레임의 해상도 정보를 고려하여, 상기 안정화 경로를 결정하는, 전자 장치.
  18. 제 12 항에 있어서, 상기 제어부는,
    상기 복수의 프레임의 모션 벡터에 기반하여, 상기 복수의 프레임 중 적어도 하나의 프레임에 대한 롤링 셔터 왜곡(Rolling Shutter Distortion)을 보정하는, 전자 장치.
  19. 제 12 항에 있어서, 상기 제어부는,
    상기 흔들림 정보에 포함된 회전 성분 정보에 기초하여, 상기 복수의 프레임 중 적어도 하나의 프레임에 대한 회전을 보상하는, 전자 장치.
  20. 제 1 항 내지 제 11 항 중 어느 한 항의 동영상 안정화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 비일시적 기록 매체.
KR1020150106095A 2015-07-27 2015-07-27 동영상 안정화 방법 및 이를 위한 전자 장치 KR102352681B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150106095A KR102352681B1 (ko) 2015-07-27 2015-07-27 동영상 안정화 방법 및 이를 위한 전자 장치
US14/943,354 US9860448B2 (en) 2015-07-27 2015-11-17 Method and electronic device for stabilizing video
CN201580080744.1A CN107750451B (zh) 2015-07-27 2015-11-17 用于稳定视频的方法和电子装置
PCT/KR2015/012322 WO2017018612A1 (en) 2015-07-27 2015-11-17 Method and electronic device for stabilizing video
EP15899755.1A EP3329666B1 (en) 2015-07-27 2015-11-17 Method and electronic device for stabilizing video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150106095A KR102352681B1 (ko) 2015-07-27 2015-07-27 동영상 안정화 방법 및 이를 위한 전자 장치

Publications (2)

Publication Number Publication Date
KR20170013102A true KR20170013102A (ko) 2017-02-06
KR102352681B1 KR102352681B1 (ko) 2022-01-18

Family

ID=57883272

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150106095A KR102352681B1 (ko) 2015-07-27 2015-07-27 동영상 안정화 방법 및 이를 위한 전자 장치

Country Status (5)

Country Link
US (1) US9860448B2 (ko)
EP (1) EP3329666B1 (ko)
KR (1) KR102352681B1 (ko)
CN (1) CN107750451B (ko)
WO (1) WO2017018612A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190054890A (ko) * 2017-11-13 2019-05-22 삼성전자주식회사 카메라 및 자이로스코프의 융합을 이용한 5차원 (5d) 비디오 안정화 장치 및 방법
WO2021145612A1 (ko) * 2020-01-15 2021-07-22 삼성전자 주식회사 이미지 보정을 수행하는 전자 장치 및 이미지를 보정하는 방법
WO2021194161A1 (ko) * 2020-03-23 2021-09-30 삼성전자 주식회사 고배율에서 흔들림을 보정하는 방법 및 그 전자 장치
US11558553B2 (en) 2019-02-19 2023-01-17 Samsung Electronics Co., Ltd Electronic device for stabilizing image and method for operating same

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105520712B (zh) * 2015-11-30 2019-04-16 广州三瑞医疗器械有限公司 一种阴道镜图像智能采集评估方法及装置
US9992416B2 (en) * 2016-11-07 2018-06-05 Motorola Mobility Llc Real time electronic video stabilization
US10404916B2 (en) 2017-08-30 2019-09-03 Qualcomm Incorporated Multi-source video stabilization
US10341562B1 (en) * 2017-09-07 2019-07-02 Gopro, Inc. Systems and methods for translational motion correction
RU2758460C1 (ru) * 2018-03-23 2021-10-28 Хуавей Текнолоджиз Ко., Лтд. Оконечное устройство и способ стабилизации видеоизображения
CN108933911B (zh) * 2018-07-27 2021-12-07 深圳市广和通无线股份有限公司 音量调节方法、装置、设备及存储介质
US10412306B1 (en) * 2018-08-21 2019-09-10 Qualcomm Incorporated Optical image stabilization method and apparatus
CN111225208B (zh) * 2018-11-27 2022-09-02 北京小米移动软件有限公司 视频编码方法及装置
CN109729263B (zh) * 2018-12-07 2021-02-23 苏州中科广视文化科技有限公司 基于融合运动模型的视频除抖方法
CN113875225A (zh) * 2019-06-04 2021-12-31 索尼集团公司 成像设备和成像控制方法
US11762175B2 (en) * 2019-10-23 2023-09-19 Gopro, Inc. Methods and apparatus for seamless transitions between lens projections
CN112825543B (zh) * 2019-11-20 2022-10-04 华为技术有限公司 一种拍摄的方法及设备
KR20210101078A (ko) 2020-02-07 2021-08-18 삼성전자주식회사 전자 장치 및 전자 장치의 영상 처리 방법
KR20210107958A (ko) 2020-02-24 2021-09-02 삼성전자주식회사 디지털 영상 안정화 장치, 그것의 동작 방법, 및 그것을 갖는 전자 장치
CN111355888A (zh) * 2020-03-06 2020-06-30 Oppo广东移动通信有限公司 视频拍摄方法、装置、存储介质以及终端
US11683584B2 (en) * 2020-10-22 2023-06-20 Samsung Electronics Co., Ltd Electronic device and method for supporting zoom functionality
CN112804444B (zh) * 2020-12-30 2022-08-23 影石创新科技股份有限公司 一种视频处理方法、装置、计算设备及存储介质
CN112954195A (zh) * 2021-01-27 2021-06-11 维沃移动通信有限公司 对焦方法、装置、电子设备及介质
JP2022120683A (ja) * 2021-02-05 2022-08-18 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
US12094075B2 (en) 2021-07-26 2024-09-17 Samsung Electronics Co., Ltd. Electronic device generating image and method for operating the same
CN115706850B (zh) * 2021-08-12 2024-04-05 荣耀终端有限公司 图像拍摄的方法、设备和存储介质
WO2023163781A1 (en) * 2022-02-23 2023-08-31 Gopro, Inc. Dynamic image dimension adjustment
US11997399B1 (en) * 2022-03-14 2024-05-28 Amazon Technologies, Inc. Decoupled captured and external frame rates for an object camera
WO2024076362A1 (en) * 2022-10-04 2024-04-11 Google Llc Stabilized object tracking at high magnification ratios

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110093460A (ko) * 2010-02-12 2011-08-18 삼성테크윈 주식회사 손떨림 보정 방법 및 이 방법을 채용한 디지털 촬영 장치
JP2014112785A (ja) * 2012-12-05 2014-06-19 Olympus Imaging Corp 撮像装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1720341B1 (en) * 2004-03-19 2013-04-10 Panasonic Corporation Imaging device
WO2007020569A2 (en) * 2005-08-12 2007-02-22 Nxp B.V. Method and system for digital image stabilization
US7800652B2 (en) * 2007-12-12 2010-09-21 Cyberlink Corp. Reducing video shaking
JP2009171362A (ja) 2008-01-17 2009-07-30 Toshiba Corp 撮影装置、撮影方法
US8237807B2 (en) 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
US8897602B2 (en) 2009-07-22 2014-11-25 Aptina Imaging Corporation Imaging system with multiframe scaler
JP5521518B2 (ja) * 2009-12-01 2014-06-18 ソニー株式会社 撮像装置、撮像方法、およびプログラム
JP5538865B2 (ja) 2009-12-21 2014-07-02 キヤノン株式会社 撮像装置およびその制御方法
JP5778998B2 (ja) * 2010-06-04 2015-09-16 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 撮像装置、画像生成方法およびコンピュータプログラム
JP2012242563A (ja) * 2011-05-18 2012-12-10 Pentax Ricoh Imaging Co Ltd 手ブレ補正装置およびデジタルカメラ
EP2533518B1 (en) * 2011-06-10 2014-09-10 Canon Kabushiki Kaisha Shake compensation apparatus, shake compensation control method, and image capturing apparatus and control method thereof
US8976280B2 (en) * 2011-07-06 2015-03-10 Morpho, Inc. Distortion estimating image processing device, method, and non-transitory storage medium
KR101324250B1 (ko) 2011-12-29 2013-11-01 삼성테크윈 주식회사 영상 처리를 통한 광축 오차 보상 방법 및 시스템, 광축 오차 보상 기능이 구현된 줌 카메라
US8810666B2 (en) * 2012-01-16 2014-08-19 Google Inc. Methods and systems for processing a video for stabilization using dynamic crop
US8743222B2 (en) * 2012-02-14 2014-06-03 Nokia Corporation Method and apparatus for cropping and stabilization of video images
KR20130122411A (ko) 2012-04-30 2013-11-07 삼성전자주식회사 이미지 획득 장치 및 이미지 획득 장치의 동작 방법
TWI502548B (zh) * 2013-06-14 2015-10-01 Vivotek Inc 即時影像處理方法及其裝置
JP6304967B2 (ja) 2013-08-05 2018-04-04 キヤノン株式会社 ズームレンズ及びそれを有する撮像装置
US8908102B1 (en) * 2013-09-03 2014-12-09 Google Inc. Generating and/or modifying motion compensation parameters for video stabilization
KR102220085B1 (ko) * 2013-10-18 2021-02-26 삼성전자주식회사 멀티윈도우 운용 방법 및 이를 지원하는 전자 장치
JP6429454B2 (ja) * 2013-11-28 2018-11-28 キヤノン株式会社 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
US9727967B2 (en) * 2014-06-23 2017-08-08 Samsung Electronics Co., Ltd. Methods for determining estimated depth in an image and systems thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110093460A (ko) * 2010-02-12 2011-08-18 삼성테크윈 주식회사 손떨림 보정 방법 및 이 방법을 채용한 디지털 촬영 장치
JP2014112785A (ja) * 2012-12-05 2014-06-19 Olympus Imaging Corp 撮像装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190054890A (ko) * 2017-11-13 2019-05-22 삼성전자주식회사 카메라 및 자이로스코프의 융합을 이용한 5차원 (5d) 비디오 안정화 장치 및 방법
US11558553B2 (en) 2019-02-19 2023-01-17 Samsung Electronics Co., Ltd Electronic device for stabilizing image and method for operating same
US12069369B2 (en) 2019-02-19 2024-08-20 Samsung Electronics Co., Ltd Electronic device for stabilizing image and method for operating same
WO2021145612A1 (ko) * 2020-01-15 2021-07-22 삼성전자 주식회사 이미지 보정을 수행하는 전자 장치 및 이미지를 보정하는 방법
WO2021194161A1 (ko) * 2020-03-23 2021-09-30 삼성전자 주식회사 고배율에서 흔들림을 보정하는 방법 및 그 전자 장치
US11917295B2 (en) 2020-03-23 2024-02-27 Samsung Electronics Co., Ltd. Method for correcting shaking at high magnification and electronic device therefor

Also Published As

Publication number Publication date
CN107750451B (zh) 2020-09-29
KR102352681B1 (ko) 2022-01-18
US20170034410A1 (en) 2017-02-02
EP3329666B1 (en) 2021-09-08
WO2017018612A1 (en) 2017-02-02
EP3329666A4 (en) 2018-06-06
CN107750451A (zh) 2018-03-02
US9860448B2 (en) 2018-01-02
EP3329666A1 (en) 2018-06-06

Similar Documents

Publication Publication Date Title
KR102352681B1 (ko) 동영상 안정화 방법 및 이를 위한 전자 장치
CN107690649B (zh) 数字拍摄装置及其操作方法
US20210314499A1 (en) Digital photographing apparatus and method of operating the same
KR102156597B1 (ko) 광학 촬영 방법 및 장치
EP3149624B1 (en) Photo-video-camera with dynamic orientation lock and aspect ratio.
US20170026565A1 (en) Image capturing apparatus and method of operating the same
US20130040700A1 (en) Image capture device and image capture method
KR101901910B1 (ko) 선택 영역을 변화시키는 결과 영상을 생성 또는 저장하는 장치 및 방법
EP3316568B1 (en) Digital photographing device and operation method therefor
JP6332996B2 (ja) 動画像処理装置および撮像装置、動画像処理方法
JP2008193196A (ja) 撮像装置および指定音声出力方法
US8525913B2 (en) Digital photographing apparatus, method of controlling the same, and computer-readable storage medium
US8947558B2 (en) Digital photographing apparatus for multi-photography data and control method thereof
WO2022166371A1 (zh) 多景录像方法、装置及电子设备
KR20140094791A (ko) 카메라를 구비한 휴대 단말기의 영상 처리 장치 및 방법
JP2017212550A (ja) 画像再生装置及びその制御方法、プログラム、記憶媒体
JP2017046160A (ja) 画像処理装置、その制御方法、および制御プログラム、並びに記憶媒体
JPWO2018116824A1 (ja) 制御装置、制御方法、並びにプログラム
CN117480772A (zh) 视频显示方法及装置、终端设备及计算机存储介质
KR20120080879A (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant