KR102128955B1 - 스핀 이미지 생성 방법 및 그 장치 - Google Patents

스핀 이미지 생성 방법 및 그 장치 Download PDF

Info

Publication number
KR102128955B1
KR102128955B1 KR1020180092800A KR20180092800A KR102128955B1 KR 102128955 B1 KR102128955 B1 KR 102128955B1 KR 1020180092800 A KR1020180092800 A KR 1020180092800A KR 20180092800 A KR20180092800 A KR 20180092800A KR 102128955 B1 KR102128955 B1 KR 102128955B1
Authority
KR
South Korea
Prior art keywords
image
subject
spin
mobile terminal
photographing
Prior art date
Application number
KR1020180092800A
Other languages
English (en)
Other versions
KR20200016702A (ko
Inventor
서현양
정재훈
고승용
잉궈 저우
훙은 장
펑 치
팅 리
Original Assignee
네이버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버 주식회사 filed Critical 네이버 주식회사
Publication of KR20200016702A publication Critical patent/KR20200016702A/ko
Application granted granted Critical
Publication of KR102128955B1 publication Critical patent/KR102128955B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N5/23218—
    • H04N5/23222—
    • H04N5/23267—
    • H04N5/23293—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 스핀 이미지 생성 방법에 관한 것으로, 카메라를 통해 입력되는 영상을 미리 보여주는 프리뷰 화면을 표시하는 단계; 촬영 버튼 선택 시, 상기 카메라로부터 특정 피사체에 관한 영상 프레임들을 수신하는 단계; 미리 결정된 추적 알고리즘을 이용하여 각 영상 프레임 내에 존재하는 피사체를 추적하는 단계; 상기 피사체의 위치에 따라 각 영상 프레임의 적어도 일 부분을 크롭(crop)하는 단계; 및 상기 크롭된 영상 프레임들을 안정화(Stabilization)하는 단계를 포함한다.

Description

스핀 이미지 생성 방법 및 그 장치{METHOD FOR GENERATING A SPIN IMAGE AND APPARATUS THEREOF}
본 발명은 동영상 파일을 생성하는 방법 및 그 장치에 관한 것으로서, 보다 구체적으로는 특정 피사체를 360도 방향에서 촬영한 영상 프레임들을 기반으로 해당 피사체에 관한 동영상 파일을 생성할 수 있는 스핀 이미지 생성 방법 및 그 장치에 관한 것이다.
단말기는 이동 가능 여부에 따라 이동 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(mounted terminal)로 나뉠 수 있다.
이동 단말기의 기능은 다양화 되고 있다. 예를 들면, 데이터와 음성통신, 카메라를 통한 사진 촬영 및 비디오 촬영, 음성녹음, 스피커 시스템을 통한 음악 파일 재생 그리고 디스플레이부에 이미지나 비디오를 출력하는 기능이 있다. 일부 단말기는 전자게임 플레이 기능이 추가되거나, 멀티미디어 플레이어 기능을 수행한다.
이와 같은 단말기(terminal)는 그 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.
이러한 멀티미디어 기기의 형태로 구현된 이동 단말기에는 복잡한 기능을 구현하기 위해 하드웨어나 소프트웨어적 측면에서 새로운 시도들이 다양하게 적용되고 있다. 일 예로, 이미지 센서 기술 및 영상 처리 기술 등의 발전에 따라, 최근의 이동 단말기는 DSLR 카메라의 성능에 근접하는 촬영 기능과 함께 다양한 부가 기능들을 제공하고 있다.
아울러, 휴대 및 조작의 간편함으로 인해, 이동 단말기를 통해 사진 또는 동영상을 촬영하는 사용자들이 점점 증가하고 있는 추세이다. 이에 따라, 이동 단말기는 사진 또는 동영상을 간편하게 촬영하기 위한 다양한 애플리케이션들을 제공하고 있다.
한편, 최근 들어, 온라인(on-line) 상품 거래 시장이 증가함에 따라, 특정 상품의 외관을 360도 방향에서 촬영하고자 하는 사용자들의 요구(needs)가 점점 늘어나고 있다. 온라인 판매 사이트에 전시할 상품을 촬영하기 위해, 기존의 사업자들은 상품을 360도 회전하는 테이블에 올려놓고 삼각대에 DSLR 카메라를 설치한 다음, 테이블을 회전하면서 DSLR 카메라를 통해 해당 상품을 360도 방향에서 촬영하는 방법을 주로 사용하였다. 그런데, 이러한 방법은 상품 촬영 시마다 별도의 장비들을 마련해야 되기 때문에, 일반 판매자가 해당 방법을 이용하여 상품을 촬영하기는 다소 어려운 측면이 있었다. 따라서, 누구든지 항상 소지하고 있는 이동 단말기를 이용하여 상품을 360도 방향에서 간편하게 촬영하기 위한 방안이 필요하다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은, 특정 피사체의 주변을 360도 방향으로 이동하면서 촬영한 영상 프레임들을 기반으로 해당 피사체에 관한 동영상 파일을 자동으로 생성할 수 있는 스핀 이미지 생성 방법 및 그 장치를 제공함에 있다.
또 다른 목적은, 특정 피사체 촬영 시, 단말 사용자의 촬영 동작을 가이드하기 위한 촬영 가이드 정보를 실시간으로 제공할 수 있는 스핀 이미지 생성 방법 및 그 장치를 제공함에 있다.
또 다른 목적은, 특정 피사체 촬영 시, 각 영상 프레임에 존재하는 피사체의 위치를 추적하고, 상기 피사체의 위치에 따라 각 영상 프레임을 크롭(crop)하여 흔들림 보정을 수행할 수 있는 스핀 이미지 생성 방법 및 그 장치를 제공함에 있다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 카메라를 통해 입력되는 영상을 미리 보여주는 프리뷰 화면을 표시하는 단계; 촬영 버튼 선택 시, 상기 카메라로부터 특정 피사체에 관한 영상 프레임들을 수신하는 단계; 미리 결정된 추적 알고리즘을 이용하여 각 영상 프레임 내에 존재하는 피사체를 추적하는 단계; 상기 피사체의 위치에 따라 각 영상 프레임의 적어도 일 부분을 크롭(crop)하는 단계; 및 상기 크롭된 영상 프레임들을 안정화(Stabilization)하는 단계를 포함하는 스핀 이미지 생성 방법을 제공한다.
본 발명의 다른 측면에 따르면, 하나 이상의 카메라로부터 특정 피사체에 관한 영상 프레임들을 수신하는 영상 프레임 수신부; 미리 결정된 추적 알고리즘을 이용하여 각 영상 프레임 내에 존재하는 피사체를 추적하는 피사체 추적부; 상기 피사체의 위치에 따라 각 영상 프레임의 적어도 일 부분을 크롭(crop)하는 이미지 크롭부; 및 상기 크롭된 영상 프레임들을 안정화(Stabilization)하는 흔들림 보정부를 포함하는 스핀 이미지 생성 장치를 제공한다.
본 발명의 또 다른 측면에 따르면, 카메라를 통해 입력되는 영상을 미리 보여주는 프리뷰 화면을 표시하는 단계; 촬영 버튼 선택 시, 상기 카메라로부터 특정 피사체에 관한 영상 프레임들을 수신하는 단계; 미리 결정된 추적 알고리즘을 이용하여 각 영상 프레임 내에 존재하는 피사체를 추적하는 단계; 상기 피사체의 위치에 따라 각 영상 프레임의 적어도 일 부분을 크롭(crop)하는 단계; 및 상기 크롭된 영상 프레임들을 안정화(Stabilization)하는 단계를 컴퓨터 상에서 실행시키기 위하여 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제공한다.
본 발명의 실시 예들에 따른 스핀 이미지 생성 방법 및 그 장치의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 특정 피사체의 주변을 360도 방향으로 이동하면서 촬영한 영상 프레임들을 기반으로 해당 피사체에 관한 동영상 파일을 자동으로 생성함으로써, 종래기술과 차별화되는 사용자 편의성을 제공할 수 있다는 장점이 있다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 특정 피사체 촬영 시, 단말 사용자의 촬영 동작을 가이드하기 위한 촬영 가이드 정보를 실시간으로 제공함으로써, 단말 사용자로 하여금 360도 방향의 피사체를 용이하게 촬영할 수 있도록 하고 단말 사용자의 움직임으로 인한 카메라 영상의 흔들림을 최소화할 수 있다는 장점이 있다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 특정 피사체 촬영 시, 각 영상 프레임에 존재하는 피사체의 위치를 추적하고, 상기 피사체의 위치에 따라 각 영상 프레임을 크롭하여 흔들림 보정을 수행함으로써, 피사체가 동영상 화면의 중앙에 위치하도록 하고 이미지 안정화를 위한 영상 처리 속도를 증가시킬 수 있다는 장점이 있다.
다만, 본 발명의 실시 예들에 따른 스핀 이미지 생성 방법 및 그 장치가 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 서비스 제공 시스템의 구성을 도시하는 도면;
도 2는 본 발명의 일 실시 예에 따른 이동 단말기의 구성을 도시하는 도면;
도 3은 본 발명의 일 실시 예에 따른 스핀 이미지 생성부의 구성을 도시하는 도면;
도 4는 옵티컬 플로우 방식(optical flow method)의 종류를 나타내는 도면;
도 5는 본 발명의 일 실시 예에 따른 이동 단말기의 동작을 설명하는 흐름도;
도 6은 본 발명의 다른 실시 예에 따른 이동 단말기의 동작을 설명하는 흐름도;
도 7은 스마트 비디오 애플리케이션의 홈 화면을 표시하는 이동 단말기의 동작을 설명하기 위해 참조되는 도면;
도 8은 스핀 이미지를 삭제하는 이동 단말기의 동작을 설명하기 위해 참조되는 도면;
도 9는 태그 정보를 스핀 이미지에 삽입하는 이동 단말기의 동작을 설명하기 위해 참조되는 도면;
도 10 및 도 11은 스핀 이미지를 재생하는 이동 단말기의 동작을 설명하기 위해 참조되는 도면;
도 12는 본 발명의 일 실시 예에 따라 카메라 모드로 진입하는 이동 단말기의 동작을 설명하기 위해 참조되는 도면;
도 13은 본 발명의 다른 실시 예에 따라 카메라 모드로 진입하는 이동 단말기의 동작을 설명하기 위해 참조되는 도면;
도 14는 피사체를 지정하기 위한 인디케이터를 표시하는 이동 단말기의 동작을 설명하기 위해 참조되는 도면;
도 15는 촬영 가이드 정보를 제공하는 이동 단말기의 동작을 설명하기 위해 참조되는 도면;
도 16 및 도 17은 가장 최근에 생성된 스핀 이미지를 재생하는 이동 단말기의 동작을 설명하기 위해 참조되는 도면;
도 18 및 도 19는 스핀 이미지 목록을 표시하는 이동 단말기의 동작을 설명하기 위해 참조되는 도면;
도 20은 스핀 이미지를 공유하는 이동 단말기의 동작을 설명하기 위해 참조되는 도면;
도 21은 스핀 이미지를 편집하는 이동 단말기의 동작을 설명하기 위해 참조되는 도면;
도 22는 증강현실(Augmented　Reality)을 위한 객체정보를 제공하는 이동 단말기의 동작을 설명하기 위해 참조되는 도면;
도 23은 스핀 이미지의 배경을 교체할 수 있는 이동 단말기의 동작을 설명하기 위해 참조되는 도면;
도 24는 파노라마 이미지를 생성할 수 있는 이동 단말기의 동작을 설명하기 위해 참조되는 도면.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 즉, 본 발명에서 사용되는 '부'라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부'는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명은, 특정 피사체의 주변을 360도 방향으로 이동하면서 촬영한 영상 프레임들을 기반으로 해당 피사체에 관한 동영상 파일을 자동으로 생성할 수 있는 스핀 이미지 생성 방법을 제안한다. 또한, 본 발명은, 특정 피사체 촬영 시, 단말 사용자의 촬영 동작을 가이드하기 위한 촬영 가이드 정보를 실시간으로 제공할 수 있는 스핀 이미지 생성 방법을 제안한다. 또한, 본 발명은, 특정 피사체 촬영 시, 각 영상 프레임에 존재하는 피사체의 위치를 추적하고, 상기 피사체의 위치에 따라 각 영상 프레임을 크롭(crop)하여 흔들림 보정을 수행할 수 있는 스핀 이미지 생성 방법을 제안한다. 본 명세서에서 설명하고 있는 '스핀 이미지(spin image)'는 단말 사용자가 특정 피사체의 주변을 360도 방향으로 이동하면서 해당 피사체를 촬영한 동영상(moving image) 또는 정지영상(still image) 또는 이미지 스트림(image stream) 등을 지칭한다.
이하에서는, 본 발명의 다양한 실시 예들에 대하여, 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 서비스 제공 시스템의 구성을 도시하는 도면이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 서비스 제공 시스템(10)은, 통신 네트워크(100), 이동 단말기(200) 및 서버(150) 등을 포함할 수 있다.
이동 단말기(200)와 서버(150)는 통신 네트워크(100)를 통해 서로 연결될 수 있다. 통신 네트워크(100)는 유선 네트워크와 무선 네트워크를 포함할 수 있으며, 구체적으로, 근거리 네트워크(LAN: Local Area Network), 도시권 네트워크(MAN: Metropolitan Area Network), 광역 네트워크(WAN: Wide Area Network) 등 다양한 네트워크를 포함할 수 있다. 또한, 통신 네트워크(100)는 공지의 월드 와이드 웹(WWW: World Wide Web)을 포함할 수도 있다. 그러나, 본 발명에 따른 통신 네트워크(100)는 상기 열거된 네트워크에 국한되지 않고, 공지의 무선 데이터 네트워크, 공지의 전화 네트워크, 공지의 유/무선 텔레비전 네트워크 중 적어도 하나를 포함할 수도 있다.
이동 단말기(200)는 서버(150)로부터 제공받은 정보를 기반으로 다양한 서비스를 제공할 수 있다. 일 예로, 상기 서버(150)가 웹 서버인 경우, 이동 단말기(200)는 서버(150)로부터 제공받은 컨텐츠를 기반으로 웹 서비스를 제공할 수 있다.
본 실시 예에서, 이동 단말기(200)는 특정 피사체에 관한 스핀 이미지를 생성하거나 혹은 스핀 이미지를 디스플레이부에 출력(재생)할 수 있는 애플리케이션(이하 설명의 편의상, '스마트 비디오 애플리케이션'이라 칭함) 또는 프로그램(이하 설명의 편의 상, '스마트 비디오 프로그램'이라 칭함)을 설치할 수 있다. 이때, 이동 단말기(200)는 앱 스토어(app store) 또는 플레이 스토어(play store) 등에 접속하여 스마트 비디오 애플리케이션을 다운로드하거나, 혹은 별도의 저장매체를 통해 해당 애플리케이션을 다운로드할 수 있다. 또한, 이동 단말기(200)는 서버(150)에서 제공하는 스마트 비디오 프로그램을 다운로드하거나, 혹은 별도의 저장매체를 통해 해당 프로그램을 다운로드할 수 있다.
이동 단말기(200)는, 미리 결정된 사용자 입력에 대응하여, 기 설치된 스마트 비디오 애플리케이션 또는 프로그램을 실행할 수 있다. 이동 단말기(200)는, 해당 애플리케이션 또는 프로그램 실행 시, 미리 정의된 사용자 인터페이스(User Interface, UI)를 디스플레이부에 표시할 수 있다. 이러한 사용자 인터페이스를 통해 사용자 입력이 수신되면, 이동 단말기(200)는 사용자 입력에 따라 특정 피사체에 관한 스핀 이미지를 생성하거나 혹은 스핀 이미지를 디스플레이부에 출력하는 기능을 수행할 수 있다.
본 명세서에서 설명되는 이동 단말기(200)에는 휴대폰(portable phone), 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.
서버(150)는, 서비스 제공 서버(또는 서비스 제공자(service provider))로서, 이동 단말기(200)에서 요청하는 서비스를 제공할 수 있다. 일 예로, 상기 서버(150)가 웹 서버인 경우, 서버(150)는 단말 사용자가 요청하는 컨텐츠(content)를 웹 페이지 형태로 구성하여 이동 단말기(200)로 제공할 수 있다.
본 실시 예에서, 서버(150)는 특정 피사체에 관한 스핀 이미지를 생성 및 출력 가능한 스마트 비디오 애플리케이션 또는 프로그램을 생성하여 이동 단말기(200)로 제공할 수 있다. 이동 단말기(200)는 서버(150)로부터 수신된 애플리케이션 또는 프로그램을 설치하여 특정 피사체에 관한 스핀 이미지를 생성 및 출력하는 기능을 제공할 수 있다.
한편, 다른 실시 예로, 서버(150)는, 이동 단말기(200)로부터 특정 피사체에 관한 영상 프레임들을 실시간으로 수신하여 스핀 이미지를 생성하고, 상기 생성된 스핀 이미지를 이동 단말기(200)로 제공할 수도 있다. 이동 단말기(200)는 서버(150)로부터 제공받은 스핀 이미지를 저장하고, 상기 스핀 이미지를 디스플레이부에 출력할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 이동 단말기(200)의 구성을 설명하기 위한 블록도이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 이동 단말기(200)는 통신부(210), 센싱부(220), 입력부(230), 출력부(240), 메모리(250) 및 제어부(260) 등을 포함할 수 있다. 도 2에 도시된 구성요소들은 이동 단말기를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서상에서 설명되는 이동 단말기는 위에서 열거된 구성요소들보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
통신부(210)는, 유선 네트워크를 지원하기 위한 유선 통신 모듈과, 무선 네트워크를 지원하기 위한 무선 통신 모듈을 포함할 수 있다. 유선 통신 모듈은, 유선 통신을 위한 기술표준들 또는 통신방식(예를 들어, 이더넷(Ethernet), PLC(Power Line Communication), 홈 PNA(Home PNA), IEEE 1394 등)에 따라 구축된 유선 통신망 상에서 외부 서버 및 타 단말 중 적어도 하나와 유선 신호를 송수신한다. 무선 통신 모듈은, 무선 통신을 위한 기술표준들 또는 통신방식(예를 들어, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), DLNA(Digital Living Network Alliance), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), WCDMA(Wideband CDMA), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 무선 통신망 상에서 기지국, Access Point 및 중계기 중 적어도 하나와 무선 신호를 송수신한다.
본 실시 예에서, 통신부(210)는 특정 피사체에 관한 스핀 이미지의 생성 및 재생과 관련된 데이터를 서버(150)와 교환할 수 있다. 일 예로, 통신부(210)는 서버(150)로부터 스마트 비디오 애플리케이션 또는 프로그램을 수신할 수 있다. 또한, 통신부(210)는 이동 단말기(200)를 통해 촬영된 영상 데이터를 서버(150)로 전송할 수 있다.
센싱부(220)는 이동 단말기 내 정보, 이동 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(220)는 근접센서(proximity sensor), 조도 센서(illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 이동 단말기는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
센싱부(220)는 이동 단말기 내 정보, 이동 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하고, 이에 대응하는 센싱 신호를 발생시킨다. 제어부(260)는 이러한 센싱 신호에 기초하여, 이동 단말기(200)의 구동 또는 동작을 제어하거나, 이동 단말기(200)에 설치된 응용 프로그램과 관련된 데이터 처리, 기능 또는 동작을 수행할 수 있다. 본 실시 예에서, 제어부(260)는 가속도 센서, 자이로스코프 센서, 모션 센서 등에서 측정된 센싱 데이터를 기반으로 이동 단말기(200)의 이동 속도, 이동 방향, 자세, 흔들림 정도 등을 검출할 수 있다.
입력부(230)는 영상 신호 입력을 위한 카메라, 오디오 신호 입력을 위한 마이크로폰(microphone), 사용자로부터 정보를 입력받기 위한 사용자 입력부(예를 들어, 키보드, 마우스, 터치키(touch key), 푸시키(mechanical key) 등) 등을 포함할 수 있다. 입력부(230)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
카메라는 화상 통화 모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 영상 프레임을 처리한다. 처리된 영상 프레임은 디스플레이부에 표시되거나 메모리(250)에 저장될 수 있다. 본 실시 예에서, 처리된 영상 프레임은 스핀 이미지 생성부(265)로 입력될 수 있다. 한편, 이동 단말기(200)에 구비되는 복수의 카메라는 매트릭스 구조를 이루도록 배치될 수 있으며, 이와 같이 매트릭스 구조를 이루는 카메라를 통하여 이동 단말기(200)에는 다양한 각도 또는 초점을 갖는 복수의 영상정보가 입력될 수 있다.
마이크로폰은 외부의 음향 신호를 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 이동 단말기(200)에서 수행 중인 기능(또는 실행 중인 응용 프로그램)에 따라 다양하게 활용될 수 있다.
사용자 입력부는 사용자로부터 정보를 입력받기 위한 것으로서, 사용자 입력부를 통해 정보가 입력되면, 제어부(260)는 입력된 정보에 대응되도록 이동 단말기(200)의 동작을 제어할 수 있다. 이러한, 사용자 입력부는 기계식 (mechanical) 입력수단(예를 들어, 이동 단말기(200)의 전·후면 또는 측면에 위치하는 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력수단을 포함할 수 있다.
출력부(240)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부, 음향 출력부, 햅팁 모듈 및 광 출력부 중 적어도 하나를 포함할 수 있다.
디스플레이부는 이동 단말기(200)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부는 이동 단말기(200)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다. 본 실시 예에서, 디스플레이부는 스마트 비디오 애플리케이션 또는 프로그램의 실행에 따른 UI 정보를 표시할 수 있다. 또한, 디스플레이부는 단말 사용자의 촬영 동작을 가이드하기 위한 촬영 가이드 정보를 표시할 수 있다.
디스플레이부는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 해당 단말(200)과 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 해당 단말(200)과 사용자 사이의 출력 인터페이스를 제공할 수 있다.
음향 출력부는 호 신호 수신, 통화 모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 통신부(210)로부터 수신되거나 메모리(250)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력부는 이동 단말기(200)에서 수행되는 기능(예를 들어, 호 신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력할 수도 있다. 본 실시 예에서, 음향 출력부는 단말 사용자의 올바른 촬영 동작을 가이드하기 위한 촬영 가이드 정보를 음향 신호로 출력할 수 있다.
햅틱 모듈(haptic module)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다. 광출력부는 이동 단말기(200)의 광원의 빛을 이용하여 이벤트 발생을 알리기 위한 신호를 출력한다. 이동 단말기(200)에서 발생되는 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등이 될 수 있다.
메모리(250)는 이동 단말기(200)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(250)는 이동 단말기(200)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이동 단말기(200)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 본 실시 예에서, 메모리(250)는 특정 피사체에 관한 스핀 이미지를 생성하기 위한 스마트 비디오 애플리케이션 또는 프로그램을 저장할 수 있다. 또한, 메모리(250)는 이동 단말기(200)에서 촬영한 사진 또는 동영상 파일들과, 스마트 비디오 애플리케이션 또는 프로그램을 통해 생성된 동영상 파일들을 저장할 수 있다.
메모리(250)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
제어부(260)는 메모리(250)에 저장된 응용 프로그램과 관련된 동작과, 통상적으로 이동 단말기(200)의 전반적인 동작을 제어한다. 나아가 제어부(260)는 이하에서 설명되는 다양한 실시 예들을 본 발명에 따른 이동 단말기(200) 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 적어도 하나를 조합하여 제어할 수 있다.
본 실시 예에서, 제어부(260)는 특정 피사체에 관한 스핀 이미지를 생성 및 출력하기 위한 스핀 이미지 생성부(265)를 포함할 수 있다. 상기 스핀 이미지 생성부(265)는 메모리(250)에 저장된 스마트 비디오 애플리케이션 또는 프로그램을 구동하여 특정 피사체에 관한 스핀 이미지를 생성하거나 혹은 스핀 이미지를 출력(재생)하는 기능을 제공할 수 있다.
예컨대, 스핀 이미지 생성부(265)는 특정 피사체의 주변을 360도 방향으로 이동하면서 촬영한 영상 프레임들을 기반으로 해당 피사체에 관한 동영상 파일을 자동으로 생성할 수 있다. 또한, 스핀 이미지 생성부(265)는, 특정 피사체 촬영 시, 단말 사용자의 촬영 동작을 가이드하기 위한 촬영 가이드 정보를 실시간으로 제공할 수 있다. 또한, 스핀 이미지 생성부(265)는, 특정 피사체 촬영 시, 각 영상 프레임에 존재하는 피사체의 위치를 추적하고, 상기 피사체의 위치에 따라 각 영상 프레임을 크롭(crop)하며, 상기 크롭된 영상 프레임들 각각에 대해 흔들림 보정을 수행할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 스핀 이미지 생성부의 구성을 도시하는 도면이다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 스핀 이미지 생성부(300)는 영상 프레임 수신부(310), 데이터 분석부(320), 가이드 정보 제공부(330), 피사체 추적부(340), 프레임 크롭부(350), 흔들림 보정부(360), 파일 생성부(370) 및 파일 재생부(380)를 포함할 수 있다. 도 3에 도시된 구성요소들은 스핀 이미지 생성부를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서상에서 설명되는 스핀 이미지 생성부는 위에서 열거된 구성요소들보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
영상 프레임 수신부(310)는 단말 사용자가 특정 피사체의 주변을 360도 방향으로 이동하면서 촬영한 영상 프레임들을 카메라로부터 수신하는 기능을 수행할 수 있다. 한편, 다른 실시 예로, 영상 프레임 수신부(310)는 특정 피사체에 관한 영상 프레임들이 저장된 메모리(250)로부터 수신할 수도 있다.
데이터 분석부(320)는 각 영상 프레임 내에 존재하는 피사체의 크기를 분석하여 이동 단말기(200)와 피사체 사이의 거리 정보를 검출할 수 있다. 한편, 다른 실시 예로, 데이터 분석부(320)는 초음파 센서, 적외선 센서 등과 같은 거리 센서를 이용하여 이동 단말기(200)와 피사체 사이의 거리 정보를 검출할 수도 있다.
데이터 분석부(320)는 각 영상 프레임 내에 존재하는 피사체의 위치 정보를 분석하여 해당 피사체를 촬영하는 카메라의 방향 정보를 검출할 수 있다. 또한, 데이터 분석부(320)는 자이로스코프 센서, 가속도 센서, 모션 센서 등에서 측정된 센싱 데이터를 분석하여 이동 단말기(200)의 이동 속도, 이동 방향, 자세, 흔들림 정도 등에 관한 정보를 검출할 수 있다. 이러한 데이터 분석부(320)를 통해 검출된 정보는 단말 사용자의 촬영 동작을 가이드하기 위한 촬영 가이드 정보를 생성하기 위해 사용될 수 있다.
가이드 정보 제공부(330)는 단말 사용자의 촬영 동작을 가이드하기 위한 촬영 가이드 정보를 생성하고, 상기 촬영 가이드 정보를 시각적/청각적/촉각적 신호로 출력하는 기능을 수행할 수 있다.
단말 사용자가 이동 단말기(200)에 장착된 카메라로 특정 피사체 주변을 360도 방향으로 이동하면서 촬영하는 경우, 이동 단말기와 피사체 사이의 촬영 거리, 피사체를 촬영하는 카메라의 방향, 이동 단말기의 이동 속도, 이동 단말기의 자세 등이 계속적으로 변하게 된다. 따라서, 단말 사용자와 피사체 간의 촬영 거리와 피사체를 촬영하는 카메라의 방향 등을 일정하게 유지하고, 손 또는 팔의 움직임으로 인한 카메라의 흔들림을 방지하기 위한 촬영 가이드 정보를 제공할 필요가 있다.
가이드 정보 제공부(330)는 데이터 분석부(320)로부터 수신된 정보들을 기반으로 단말 사용자의 촬영 상태 또는 촬영 동작을 실시간으로 분석하고, 그에 따른 촬영 가이드 정보를 제공할 수 있다. 이때, 상기 촬영 가이드 정보는 단말 사용자의 촬영 동작을 가이드하기 위한 알림(notification) 정보와, 단말 사용자의 잘못된 촬영 동작을 시정하도록 하기 위한 알람(alarm) 정보 등을 포함할 수 있다.
피사체 추적부(340)는 미리 결정된 객체 추적 알고리즘을 이용하여 각 영상 프레임 내에 존재하는 피사체를 추적하는 기능을 수행할 수 있다. 피사체를 추적하는 방법은, 추적하고자 하는 피사체의 특징 값 선택에 따라 컬러 기반 방식(color based method), 영역 기반 방식(area based method), 능동 윤곽선 기반 방식(active contour based method), 특징 기반 방식(feature based method) 등으로 나뉠 수 있다.
피사체 추적부(340)는 Mean-Shift　알고리즘, CAMshift(Continuously Adaptive Mean-Shift) 알고리즘, Difference Image 알고리즘, 칼만 필터(Kalman filter) 알고리즘, 파티클 필터(Particle filter) 알고리즘, GMM(Gaussian Mixture Model) 알고리즘, KCF(Kernelized Correlation Filter) 알고리즘, HOG(Histogram of Oriented Gradients) 중 적어도 하나의 알고리즘을 이용하여 각 영상 프레임 내에 존재하는 피사체의 위치를 추적할 수 있다.
피사체 추적부(340)는 피사체의 종류에 따라 서로 다른 추적 알고리즘을 적용할 수도 있다. 한편, 본 실시 예에서는, KCF(Kernelized Correlation Filter) 알고리즘과 FHOG(Felzenszwalb-Histogram of Gradient) 알고리즘을 이용하여 각 영상 프레임 내에 존재하는 피사체의 위치를 실시간으로 추적하는 것을 예시하고 있으나 반드시 이에 제한되지는 않는다.
단말 사용자에 의해 피사체의 초기 위치가 지정된 경우, 피사체 추적부(340)는 상기 지정된 초기 위치를 기반으로 각 영상 프레임 내에 존재하는 피사체의 위치를 추적할 수 있다.
프레임 크롭부(350)는 피사체의 위치에 따라 각 영상 프레임의 일부 영역을 크롭(crop)하는 기능을 수행할 수 있다. 즉, 프레임 크롭부(350)는 동영상 화면(view screen)의 중심 영역에 피사체가 위치하도록 각 영상 프레임의 배경(background)을 잘라낼 수 있다.
프레임 크롭부(350)는 크롭된 영상 프레임들을 이미지 데이터 큐(Image Data Queue)에 저장할 수 있다. 여기서, 이미지 데이터 큐는, 이미지 데이터 스택(Image Data Stack)과는 달리, 먼저 들어간 데이터가 먼저 나오는 데이터 구조(FIFO, First In First Out)이다.
프레임 크롭부(350)는 크롭된 영상 프레임을 미리 결정된 크기로 확대할 수 있다. 이러한 프로세스는 피사체를 강조하는 효과를 단말 사용자에게 제공하기 위함이다. 하지만, 본 프로세스는 실시 예에 따라 생략 가능하도록 구성될 수 있다.
흔들림 보정부(360)는 미리 결정된 이미지 안정화 기법(image stabilization method)을 이용하여 단말 사용자의 손 떨림 등으로 인한 카메라 영상의 흔들림을 보정하는 기능을 수행할 수 있다. 상기 이미지 안정화 기법으로는 모션 기반의 안정화 기법이 사용될 수 있다.
모션 기반의 안정화 기법은, 인접 프레임들 사이의 이동 량(amount of movement)을 측정하고, 상기 이동 량에 관한 정보를 이용하여 이미지를 보상하는 방식이다. 상기 모션 기반의 안정화 기법은 옵티컬 플로우 방식(optical flow method)으로도 불릴 수 있다.
옵티컬 플로우 방식은, 도 4에 도시된 바와 같이, 밀집 옵티컬 플로우 방식(dense optical flow approach)과 희소 옵티컬 플로우 방식(sparse optical flow approach)으로 구분될 수 있다. 밀집 옵티컬 플로우 방식은 전체 영상 프레임을 계산하고, 정확한 옵티컬 플로우를 측정하는데 유용하지만, 계산량이 많아 모바일 환경에 적용하기 어려운 문제가 있다. 한편, 희소 옵티컬 플로우 방식은 영상 프레임 내의 특징 점만을 계산하기 때문에 정확한 옵티컬 플로우를 측정할 수는 없지만, 계산량이 적어 모바일 환경에 적합한 장점이 있다. 따라서, 본 실시 예에서는, 이미지 안정화 기법으로 희소 옵티컬 플로우 방식을 이용할 수 있으며 반드시 이에 제한되지는 않는다. 흔들림 보정부(360)는 피사체의 종류에 따라 서로 다른 이미지 안정화 기법을 적용할 수도 있다.
흔들림 보정부(360)는 이미지 데이터 큐에 저장된 영상 프레임들로부터 피사체의 특징 점들(feature points)을 추출할 수 있다. 흔들림 보정부(360)는 영상 프레임들 간의 특징점 위치 정보를 기반으로 피사체의 움직임(motion) 벡터를 검출하고, 이를 기반으로 피사체의 궤적(trajectory)을 계산할 수 있다.
흔들림 보정부(360)는 궤적 스무딩(trajectory smoothing) 기법을 이용하여 피사체의 궤적을 부드럽게 할 수 있다. 일 예로, 흔들림 보정부(360)는 평균 윈도우(average window)를 이용하여 피사체의 궤적을 부드럽게 할 수 있다.
흔들림 보정부(360)는 아핀 변환(affine transform)을 이용하여 영상 프레임들의 흔들림을 보정할 수 있다. 즉, 흔들림 보정부(360)는 크롭된 영상 프레임들에 대해 아핀 변환(affine transform)을 적용하여 이미지 워핑(Image Warping)을 수행할 수 있다.
이러한 과정들을 통해, 흔들림 보정부(360)는 안정화된 영상 프레임들을 생성할 수 있다. 흔들림 보정부(360)는 전체 영상 프레임이 아닌 크롭된 영상 프레임에 대해서만 흔들림 보정 프로세스를 수행하기 때문에, 영상 처리에 필요한 계산 량을 감소할 수 있을 뿐만 아니라, 영상 처리에 소요되는 계산 시간도 단축할 수 있다.
파일 생성부(370)는 이미지 안정화 기법에 따라 영상 처리된 프레임들을 동영상 파일로 생성하여 메모리(250)에 저장하는 기능을 수행할 수 있다. 이때, 상기 파일 생성부(370)는 영상 프레임들을 YUV 포맷으로 저장할 수 있다. 또한, 상기 파일 생성부(370)는 영상 프레임들을 AVI 파일, MP4 파일, MKV 파일, SKM 파일 등과 같은 동영상 파일 형태로 저장할 수 있다.
파일 재생부(380)는 메모리(250)에 저장된 동영상 파일을 디스플레이부에 출력(재생)하는 기능을 수행할 수 있다. 파일 재생부(380)는 동영상 파일을 이미지 슬라이드(image slide) 형태로 재생할 수 있다.
파일 재생부(380)는 사용자의 제스쳐 입력에 따라 일정 시점 이후의 동영상을 재생하거나 혹은 일정 시점 이전의 동영상을 재생할 수 있다. 이에 따라, 단말 사용자는 방향성을 갖는 제스쳐 입력을 통해 피사체의 외관을 자세히 확인할 수 있다.
이상, 상술한 바와 같이, 본 발명에 따른 스핀 이미지 생성부는 특정 피사체의 주변을 360도 방향으로 이동하면서 촬영한 영상 프레임들을 기반으로 해당 피사체에 관한 동영상 파일을 생성할 수 있다. 상기 스핀 이미지 생성부(300)는 이동 단말기(200)뿐만 아니라 서버(150) 내부에 구현될 수 있다.
도 5는 본 발명의 일 실시 예에 따른 이동 단말기의 동작을 설명하는 흐름도이다.
도 5를 참조하면, 이동 단말기(200)는 사용자 명령 등에 따라 스마트 비디오 애플리케이션을 실행할 수 있다(S510).
이동 단말기(200)는, 해당 애플리케이션 실행 시, 미리 정의된 사용자 인터페이스(User Interface, UI)를 디스플레이부에 표시할 수 있다(S520). 이때, 사용자 인터페이스는 스핀 이미지를 생성하기 위한 카메라 메뉴와 스핀 이미지 목록을 표시하기 위한 홈 메뉴, 해당 애플리케이션의 환경을 설정하기 위한 설정 메뉴 등을 포함할 수 있다.
단말 사용자에 의해 카메라 메뉴가 선택되는 경우(S530), 이동 단말기(200)는, 카메라를 통해 입력되는 영상을 미리 보여주는 프리뷰 화면을 디스플레이부에 표시할 수 있다(S540). 이때, 상기 프리뷰 화면은 해당 화면의 중심 영역에 위치하는 제1 촬영 영역과, 화면의 가장자리 영역에 위치하는 제2 촬영 영역으로 구성될 수 있다. 상기 제2 촬영 영역은 제1 촬영 영역과 구별하기 위해 딤(dim)처리 될 수 있다.
제1 촬영 영역은, 영상 처리(즉, 이미지 안정화)를 위해 크롭되는 영상 프레임에 대응하는 영역으로서, 동영상 파일로 녹화되는 영역에 해당한다. 따라서, 단말 사용자는 제1 촬영 영역에 피사체가 위치하도록 카메라의 방향을 조절할 수 있다. 상기 제1 촬영 영역의 크기는 이동 단말기(200)에 의해 자동으로 설정되거나 혹은 단말 사용자에 의해 수동으로 설정되도록 구성할 수 있다.
이동 단말기(200)는, 피사체를 지정하기 위한 인디케이터를 디스플레이부에 표시할 수 있다. 단말 사용자는 인디케이터의 위치 및 크기 등을 조절함으로써 피사체를 정확하게 지정할 수 있다. 한편, 다른 실시 예로, 이동 단말기(200)는 객체 인식을 통해 피사체를 자동으로 검출하고, 상기 검출된 피사체 상에 인디케이터를 표시할 수도 있다.
단말 사용자에 의해 촬영 버튼이 선택된 경우(S550), 이동 단말기(200)는 하나 이상의 카메라를 이용하여 피사체에 대한 동영상 촬영을 개시할 수 있다(S560). 이동 단말기(200)는 하나 이상의 카메라로부터 피사체에 관한 영상 프레임들을 수신할 수 있다.
이동 단말기(200)는 영상 데이터를 분석하거나 혹은 센싱 데이터를 분석하여 단말 사용자의 촬영 상태 또는 촬영 동작 등을 실시간으로 감지(모니터링)할 수 있다(S570).
일 예로, 이동 단말기(200)는 피사체의 크기 정보를 이용하거나 혹은 거리 센서를 이용하여 이동 단말기(200)와 피사체 사이의 거리 정보를 검출할 수 있다. 또한, 이동 단말기(200)는 각 영상 프레임 내에 존재하는 피사체의 위치 정보를 분석하여 해당 피사체를 촬영하는 카메라의 방향 정보를 검출할 수 있다. 또한, 이동 단말기(200)는 자이로스코프 센서, 가속도 센서, 모션 센서 등에서 측정된 센싱 데이터를 분석하여 이동 단말기(200)의 이동 속도, 이동 방향, 자세, 흔들림 정도 등에 관한 정보를 검출할 수 있다. 이동 단말기(200)는 상기 검출된 정보들을 이용하여 단말 사용자의 촬영 상태 또는 촬영 동작 등을 실시간으로 분석할 수 있다.
이동 단말기(200)는 단말 사용자의 촬영 상태 또는 촬영 동작에 따른 촬영 가이드 정보를 생성할 수 있다(S580). 이때, 상기 촬영 가이드 정보는 단말 사용자의 촬영 동작을 가이드하기 위한 알림(notification) 정보와, 단말 사용자의 잘못된 촬영 동작을 시정하기 위한 알람(alarm) 정보 등을 포함할 수 있다.
이동 단말기(200)는 촬영 가이드 정보를 시각적 신호, 청각적 신호 및 촉각적 신호 중 적어도 하나로 출력할 수 있다(S590). 단말 사용자는 이동 단말기(200)에서 출력되는 촬영 가이드 정보에 따라 피사체 주변을 360도 방향으로 이동하면서 피사체를 간편하게 촬영할 수 있게 된다.
단말 사용자의 부주의로 인해 카메라 방향이 회전되어, 피사체가 제1 촬영 영역 밖으로 벗어나는 경우, 이동 단말기(200)는 해당 피사체에 관한 동영상 촬영을 자동으로 정지할 수 있다. 피사체가 제1 촬영 영역 안으로 다시 들어오는 경우, 이동 단말기(200)는 상기 피사체에 관한 동영상 촬영을 자동으로 재개할 수 있다.
이동 단말기(200)는 스마트 비디오 애플리케이션이 종료될 때까지 상술한 570 단계 내지 590 단계의 동작을 반복적으로 수행할 수 있다(S595). 상술한 동작들은 이동 단말기(200)의 내부에 구비되는 스핀 이미지 생성 장치에 의해 구현될 수도 있다.
이상, 상술한 바와 같이, 이동 단말기(200)는, 스핀 이미지 촬영 모드 시, 단말 사용자의 촬영 동작을 가이드하기 위한 촬영 가이드 정보를 실시간으로 제공할 수 있다.
도 6은 본 발명의 다른 실시 예에 따른 이동 단말기의 동작을 설명하는 흐름도이다.
도 6을 참조하면, 이동 단말기(200)는 사용자 명령 등에 따라 스마트 비디오 애플리케이션을 실행할 수 있다(S610).
이동 단말기(200)는, 해당 애플리케이션 실행 시, 미리 정의된 사용자 인터페이스(User Interface, UI)를 디스플레이부에 표시할 수 있다(S620). 단말 사용자에 의해 카메라 메뉴가 선택되는 경우, 이동 단말기(200)는, 카메라를 통해 입력되는 영상을 미리 보여주는 프리뷰 이미지를 디스플레이부에 표시할 수 있다.
이동 단말기(200)는, 피사체를 지정하기 위한 인디케이터를 디스플레이부에 표시할 수 있다. 단말 사용자는 인디케이터의 위치 및 크기 등을 조절함으로써 피사체를 정확하게 지정할 수 있다.
단말 사용자에 의해 촬영 버튼이 선택된 경우(S630), 이동 단말기(200)는 하나 이상의 카메라를 이용하여 피사체에 관한 동영상을 촬영할 수 있다(S640). 이동 단말기(200)는 하나 이상의 카메라로부터 피사체에 관한 영상 프레임들을 수신할 수 있다.
이동 단말기(200)는 미리 결정된 객체 추적 알고리즘을 이용하여 각 영상 프레임 내에 존재하는 피사체의 위치를 추적할 수 있다(S650). 본 실시 예에서, 이동 단말기(200)는 KCF(Kernelized Correlation Filter) 알고리즘과 FHOG(Felzenszwalb-Histogram of Gradient) 알고리즘을 이용하여 각 영상 프레임 내에 존재하는 피사체의 위치를 추적할 수 있다. 또한, 이동 단말기(200)는 인디케이터를 통해 지정된 피사체의 초기 위치를 기반으로 피사체를 추적할 수 있다.
이동 단말기(200)는 피사체의 위치에 따라 각 영상 프레임의 일부 영역을 크롭(crop)할 수 있다(S660). 즉, 이동 단말기(200)는 동영상 재생화면의 중심에 피사체가 위치하도록 각 영상 프레임의 배경(background)을 잘라낼 수 있다.
이동 단말기(200)는 미리 결정된 이미지 안정화 기법(image stabilization method)을 이용하여 단말 사용자의 손 떨림 등으로 인한 카메라 영상의 흔들림을 보정할 수 있다(S670). 본 실시 예에서, 이동 단말기(200)는 희소 옵티컬 플로우 방식(sparse optical flow approach)을 이용하여 각 영상 프레임에 대해 흔들림 보정을 수행할 수 있다.
이동 단말기(200)는 크롭된 영상 프레임들로부터 피사체의 특징 점들(feature points)을 추출할 수 있다. 이동 단말기(200)는 현재 영상 프레임의 특징점 위치 정보와 다음 영상 프레임의 특징점 위치 정보를 기반으로 피사체의 움직임(motion) 벡터를 검출하고, 이를 기반으로 피사체의 궤적(trajectory)을 계산할 수 있다.
이동 단말기(200)는 궤적 스무딩 기법을 이용하여 피사체의 궤적을 부드럽게 할 수 있다. 그리고, 이동 단말기(200)는 크롭된 영상 프레임들에 대해 아핀 변환(affine transform)을 적용하여 이미지 워핑(Image Warping)을 수행할 수 있다. 즉, 이동 단말기(200)는 크롭된 영상 프레임마다 픽셀들의 위치를 수정하여 영상 프레임들의 흔들림을 보상할 수 있다.
이동 단말기(200)는 이미지 안정화 기법에 따라 영상 처리된 프레임들을 동영상 파일로 생성하여 메모리(250)에 저장할 수 있다(S680). 이때, 이동 단말기(200)는 동영상 파일을 YUV 포맷으로 저장할 수 있다.
이동 단말기(200)는 스마트 비디오 애플리케이션이 종료될 때까지 상술한 620 단계 내지 680 단계의 동작을 반복적으로 수행할 수 있다(S690). 상술한 동작들은 이동 단말기(200)의 내부에 구비되는 스핀 이미지 생성 장치에 의해 구현될 수도 있다.
이상, 상술한 바와 같이, 이동 단말기(200)는, 스핀 이미지 촬영 모드 시, 각 영상 프레임 내에 존재하는 피사체의 위치를 추적하고, 상기 피사체의 위치에 따라 크롭된 영상 프레임들에 대해서만 흔들림 보정을 수행할 수 있다.
도 7은 스마트 비디오 애플리케이션의 홈 화면을 표시하는 이동 단말기의 동작을 설명하기 위해 참조되는 도면이다.
도 7을 참조하면, 이동 단말기(200)는 사용자 명령 등에 따라 홈 화면(710)을 디스플레이부에 표시할 수 있다. 이때, 상기 홈 화면(710)은 스마트 비디오 애플리케이션에 대응하는 앱 아이콘(715)을 포함하고 있음을 가정한다.
단말 사용자에 의해 해당 앱 아이콘(715)이 선택되는 경우, 이동 단말기(200)는 상기 선택된 앱 아이콘(715)에 대응하는 스마트 비디오 애플리케이션을 실행할 수 있다.
이동 단말기(200)는, 해당 애플리케이션 실행 시, 미리 정의된 사용자 인터페이스(720)를 디스플레이부에 표시할 수 있다. 상기 사용자 인터페이스(720)는 복수의 스핀 이미지들에 대응하는 썸네일 이미지들을 포함하는 홈 영역(721)과, 상기 홈 영역(721)의 하단에 배치되는 메뉴 영역(723)으로 구성될 수 있다.
홈 영역(721)에 표시된 복수의 썸네일 이미지들은, 해당 스핀 이미지들의 생성 순서에 따라 순차적으로 배열될 수 있다. 또한, 상기 복수의 썸네일 이미지들은 사용자의 제스쳐 입력에 따라 스크롤 가능하도록 구성될 수 있다.
메뉴 영역(723)은 스핀 이미지 목록을 제공하기 위한 스핀 이미지 메뉴와, 스핀 이미지를 생성하기 위한 카메라 메뉴와, 해당 애플리케이션의 환경을 설정하기 위한 설정 메뉴를 포함할 수 있다.
도 8은 스핀 이미지를 삭제(delete)하는 이동 단말기의 동작을 설명하기 위해 참조되는 도면이다.
도 8을 참조하면, 이동 단말기(200)는, 스마트 비디오 애플리케이션 실행 시, 복수의 스핀 이미지들에 대응하는 썸네일 이미지들을 포함하는 사용자 인터페이스(810)를 디스플레이부에 표시할 수 있다.
사용자 인터페이스(810)에 표시된 썸네일 이미지들 중 어느 하나(820)를 터치한 후 제1 방향으로 드래그하는 사용자 입력이 수신되는 경우, 이동 단말기(200)는 상기 터치된 썸네일 이미지(820)의 적어도 일 부분을 단말 사용자의 드래그 방향에 대응하는 제1 디스플레이 영역에 표시하고, 상기 터치된 썸네일 이미지에 대응하는 스핀 이미지(820)를 삭제하기 위한 삭제 메뉴(830)를 상기 드래그 방향의 반대 방향에 대응하는 제2 디스플레이 영역에 표시할 수 있다.
한편, 다른 실시 예로, 사용자 인터페이스(810)에 표시된 썸네일 이미지들 중 어느 하나(820)를 일정 시간 동안 롱 터치(long touch)하는 사용자 입력이 수신되는 경우, 이동 단말기(200)는 상기 터치된 썸네일 이미지(820)의 적어도 일 부분을 제1 디스플레이 영역에 표시하고, 삭제 메뉴(830)를 상기 드래그 방향의 반대 방향에 대응하는 제2 디스플레이 영역에 표시할 수도 있다.
단말 사용자에 의해 삭제 메뉴(830)가 선택되는 경우, 이동 단말기(200)는 상기 터치된 썸네일 이미지에 대응하는 스핀 이미지(820)를 메모리(250)에서 삭제할 수 있다. 또한, 이동 단말기(200)는 사용자 인터페이스(810)에 표시된 썸네일 이미지(820)를 제거할 수 있다.
도 9는 태그 정보를 스핀 이미지에 삽입하는 이동 단말기의 동작을 설명하기 위해 참조되는 도면이다.
도 9를 참조하면, 이동 단말기(200)는, 스마트 비디오 애플리케이션 실행 시, 복수의 스핀 이미지들에 대응하는 썸네일 이미지들을 포함하는 사용자 인터페이스(910)를 디스플레이부에 표시할 수 있다.
사용자 인터페이스(910)에 표시된 썸네일 이미지들 중 어느 하나(920)를 터치한 후 제1 방향으로 드래그하는 사용자 입력이 수신되는 경우, 이동 단말기(200)는 상기 터치된 썸네일 이미지(920)의 적어도 일 부분을 단말 사용자의 드래그 방향에 대응하는 제1 디스플레이 영역에 표시하고, 상기 터치된 썸네일 이미지에 대응하는 스핀 이미지(920)에 태그 정보를 입력하기 위한 태그 메뉴(930)를 상기 드래그 방향의 반대 방향에 대응하는 제2 디스플레이 영역에 표시할 수 있다.
단말 사용자에 의해 태그 메뉴(930)가 선택되는 경우, 이동 단말기(200)는 태그 정보를 입력하기 키패드 창(940)과 입력된 태그 정보를 표시하기 위한 표시창(950)을 디스플레이부에 표시할 수 있다. 상기 태그 정보로는 피사체(즉, 상품)의 명칭, 색상 정보, 크기 정보, 가격 정보 등이 될 수 있으며 반드시 이에 제한되지는 않는다.
키패드 창(940)을 통해 소정의 태그 정보(가령, 상품 가격: $100)가 입력되면, 이동 단말기(200)는 상기 입력된 태그 정보를 스핀 이미지에 삽입할 수 있다. 이동 단말기(200)는 태그 정보가 삽입된 썸네일 이미지(960)를 생성하여 디스플레이부에 표시할 수 있다.
도 10 및 도 11은 스핀 이미지를 재생하는 이동 단말기의 동작을 설명하기 위해 참조되는 도면이다.
도 10 및 도 11을 참조하면, 이동 단말기(200)는, 스마트 비디오 애플리케이션 실행 시, 복수의 스핀 이미지들에 대응하는 썸네일 이미지들을 포함하는 제1 사용자 인터페이스(1010)를 디스플레이부에 표시할 수 있다.
제1 사용자 인터페이스(1010)에 표시된 썸네일 이미지들 중 어느 하나(1020)를 터치하는 사용자 입력이 수신되는 경우, 이동 단말기(200)는 상기 터치된 썸네일 이미지(1020)에 대응하는 스핀 이미지를 재생하기 위한 제2 사용자 인터페이스(1030)를 디스플레이부에 표시할 수 있다.
제2 사용자 인터페이스(1030)는, 홈 화면으로 이동하기 위한 홈 메뉴, 스핀 이미지를 재생하기 위한 재생 메뉴 등을 포함하는 메뉴 영역(1040)과, 스핀 이미지와 관련된 동영상 또는 정지영상을 제공하는 이미지 표시 영역(1050)과, 동영상의 진행 상태를 지시하는 진행 바 영역(1060)으로 구성될 수 있다.
메뉴 영역(1040)에 표시된 재생 메뉴(1041)가 선택되는 경우, 이동 단말기(200)는 상기 터치된 썸네일 이미지(1020)에 대응하는 스핀 이미지를 재생하여 디스플레이부에 표시할 수 있다. 이에 따라, 단말 사용자는 특정 피사체(1040)를 360도 방향에서 촬영한 동영상을 시청할 수 있다.
이동 단말기(200)는, 재생 메뉴(1041) 선택 시, 제2 사용자 인터페이스(1030)에 표시된 재생 메뉴(1041)를 정지 메뉴(1043)로 변경할 수 있다. 동영상이 재생 중인 상태에서 정지 메뉴(1043)가 선택되는 경우, 이동 단말기(200)는 현재 재생 중인 동영상을 정지하고 해당 시점의 정지영상을 디스플레이부에 표시할 수 있다.
한편, 동영상이 재생 중인 상태에서 제1 방향의 제스쳐 입력(1080)이 수신되는 경우, 이동 단말기(200)는 현재 시점으로부터 일정 시점 이후의 동영상을 재생할 수 있다. 반대로, 동영상이 재생 중인 상태에서 제1 방향과 반대되는 제2 방향의 제스쳐 입력(미도시)이 수신되는 경우, 이동 단말기(200)는 현재 시점으로부터 일정 시점 이전의 동영상을 재생할 수 있다.
또한, 정지영상이 표시 중인 상태에서 제1 방향의 제스쳐 입력(1080)이 수신되는 경우, 이동 단말기(200)는 현재 시점으로부터 일정 시점 이후의 정지영상을 표시할 수 있다. 반대로, 정지영상이 표시 중인 상태에서 제1 방향과 반대되는 제2 방향의 제스쳐 입력(미도시)이 수신되는 경우, 이동 단말기(200)는 현재 시점으로부터 일정 시점 이전의 정지영상을 표시할 수 있다.
이동 단말기(200)는 단말 사용자의 제스쳐 입력 속도를 감지하여, 피사체에 관한 동영상 또는 정지영상의 화면 전환 속도를 조절할 수 있다. 이에 따라, 단말 사용자는 방향성을 갖는 제스쳐 입력을 통해 피사체(1070)의 외관을 좀 더 자세히 확인할 수 있다.
도 12는 본 발명의 일 실시 예에 따라 카메라 모드로 진입하는 이동 단말기의 동작을 설명하기 위해 참조되는 도면이다.
도 12를 참조하면, 이동 단말기(200)는, 스마트 비디오 애플리케이션 실행 시, 복수의 스핀 이미지들에 대응하는 썸네일 이미지들을 포함하는 사용자 인터페이스(1210)를 디스플레이부에 표시할 수 있다.
사용자 인터페이스(1210)의 하단에 표시된 카메라 메뉴(1215)가 선택되는 경우, 이동 단말기(200)는 해당 애플리케이션이 카메라에 접근하는 것을 허용할지 문의하기 위한 팝업창(1220)을 디스플레이부에 표시할 수 있다. 상기 팝업창(1220)의 OK 메뉴(1225)가 선택되는 경우, 이동 단말기(200)는 스핀 이미지를 생성하기 위한 카메라 모드로 진입할 수 있다.
한편, 다른 실시 예로, 이동 단말기(200)는, 카메라 메뉴(1215) 선택 시, 별도의 팝업창을 표시할 필요 없이, 스핀 이미지를 생성하기 위한 카메라 모드로 바로 진입할 수 있다.
이동 단말기(200)는, 카메라 모드 진입 시, 미리 정의된 사용자 인터페이스(1230)를 디스플레이부에 표시할 수 있다. 여기서, 사용자 인터페이스(1230)는 카메라를 통해 입력되는 영상을 미리 보여주는 프리뷰(preview) 영역(1240)과, 카메라 모드와 관련된 메뉴들을 표시하는 메뉴 영역(1250)을 포함할 수 있다.
프리뷰 영역(1240)은, 화면의 중앙 영역에 위치하는 제1 촬영 영역(1241)과, 화면의 가장자리 영역에 위치하는 제2 촬영 영역(1243)으로 구성될 수 있다. 상기 제2 촬영 영역(1243)은 제1 촬영 영역(1241)과 구별하기 위해 딤(dim)처리 될 수 있다.
제1 촬영 영역(1241)은, 영상 처리(즉, 이미지 안정화)를 위해 크롭되는 영상 프레임에 대응하는 영역으로서, 동영상 파일로 녹화되는 영역에 해당한다. 따라서, 단말 사용자는 제1 촬영 영역(1241)에 피사체(1260)가 위치하도록 카메라의 방향을 조절할 수 있다.
메뉴 영역(1250)은 가장 최근에 생성된 스핀 이미지를 불러오기 위한 썸네일 메뉴(1251)와, 피사체(1260)에 관한 동영상 촬영을 개시하기 위한 촬영 버튼 메뉴(1253)를 포함할 수 있다.
한편, 다른 실시 예로, 도 13에 도시된 바와 같이, 홈 화면(1310)에 표시된 스마트 비디오 애플리케이션에 대응하는 앱 아이콘(1315)이 선택되는 경우, 이동 단말기(200)는 상기 선택된 앱 아이콘(1315)에 대응하는 스마트 비디오 애플리케이션을 실행할 수 있다.
이동 단말기(200)는, 해당 애플리케이션 실행 시, 스핀 이미지를 생성하기 위한 카메라 모드로 바로 진입할 수 있다. 이동 단말기(200)는, 카메라 모드 진입 시, 미리 정의된 사용자 인터페이스(1320)를 디스플레이부에 표시할 수 있다. 상기 사용자 인터페이스(1320)의 구성은 도 12에 도시된 사용자 인터페이스(1230)의 구성과 동일하므로 이에 대한 자세한 설명은 생략하도록 한다.
도 14는 피사체를 지정하기 위한 인디케이터를 표시하는 이동 단말기의 동작을 설명하기 위해 참조되는 도면이다.
도 14를 참조하면, 이동 단말기(200)는, 카메라 모드 진입 시, 피사체(1420)를 지정하기 위한 인디케이터(1430)와 인디케이터(1430)를 피사체의 크기에 맞게 조절하도록 가이드하는 알림 정보(1440)를 포함하는 사용자 인터페이스(1410)를 디스플레이부에 표시할 수 있다. 이때, 상기 인디케이터(1430)는 사각형 모양으로 형성될 수 있으며 반드시 이에 제한되지는 않는다.
단말 사용자는 알림 정보(1440)에 따라 인디케이터(1430)의 경계(edges)를 터치 앤 드래그함으로써, 인디케이터(1430)의 크기를 피사체(1420)의 크기에 맞게 조절할 수 있다. 또한, 단말 사용자는 인디케이터(1430)의 내부를 터치 앤 드래그함으로써, 인디케이터(1430)의 위치를 이동할 수 있다.
한편, 다른 실시 예로, 단말 사용자가 피사체를 터치하는 경우, 이동 단말기는 객체 인식을 통해 피사체의 전체 윤곽을 검출하고, 상기 검출된 피사체의 모양 및 크기에 따라 인디케이터를 자동으로 조절할 수도 있다.
도 15는 촬영 가이드 정보를 제공하는 이동 단말기의 동작을 설명하기 위해 참조되는 도면이다.
도 15를 참조하면, 이동 단말기(200)는, 카메라 모드 진입 시, 카메라를 통해 촬영될 피사체(1520)를 미리 보여주는 사용자 인터페이스(1510)를 디스플레이부에 표시할 수 있다.
단말 사용자에 의해 촬영 버튼(1530)이 선택된 경우, 이동 단말기(200)는 하나 이상의 카메라를 이용하여 피사체(1520)에 대한 동영상 촬영을 개시할 수 있다.
이동 단말기(200)는, 스핀 이미지 촬영 모드 시, 동영상 촬영을 개시하기 위한 촬영 버튼(1530)을 동영상 촬영을 정지하기 위한 정지 버튼(1540)으로 변경할 수 있다. 상기 정지 버튼(1540)이 선택되는 경우, 이동 단말기(200)는 피사체에 관한 동영상 촬영을 정지할 수 있다.
이동 단말기(200)는, 스핀 이미지 촬영 모드 시, 피사체의 촬영 각도를 지시하는 제1 인디케이터(1550)를 정지 버튼(1540)의 인접 영역에 표시할 수 있다. 단말 사용자가 피사체 주변을 360도 방향으로 이동하면서 피사체를 촬영하는 경우, 이동 단말기(200)는 영상 데이터 및 센싱 데이터를 기반으로 피사체의 촬영 각도를 주기적으로 검출하고, 상기 검출된 촬영 각도를 지시하는 제1 인디케이터(1550)를 디스플레이부에 표시할 수 있다.
이동 단말기(200)는, 스핀 이미지 촬영 모드 시, 단말 사용자의 촬영 동작을 가이드하기 위한 제2 인디케이터(1560)와 알림 정보(1570)를 피사체(1520)의 인접 영역에 표시할 수 있다. 상기 제2 인디케이터(1560)는 단말 사용자의 촬영 방향 및 촬영 정도를 지시하는 하나 이상의 아이콘(1561, 1563)으로 구성될 수 있다. 일 예로, 제1 아이콘(1561)은 원 모양으로 형성될 수 있고, 제2 아이콘(1563)은 화살 모양으로 형성될 수 있다.
단말 사용자가 피사체 주변을 360도 방향으로 이동하면서 피사체를 촬영하는 경우, 이동 단말기(200)는 영상 데이터 및 센싱 데이터를 기반으로 단말 사용자의 촬영 방향 및 촬영 정도를 주기적으로 검출하고, 상기 검출된 촬영 방향 및 촬영 정도를 지시하는 제2 인디케이터(1560)를 디스플레이부에 표시할 수 있다.
또한, 이동 단말기(200)는 영상 데이터 및 센싱 데이터를 분석한 정보들을 기반으로 단말 사용자의 촬영 상태 또는 촬영 동작 등을 주기적으로 분석하고, 그에 따른 알림 정보(1570)를 제공할 수 있다. 상기 알림 정보의 예로는, '천천히(빨리) 이동하세요', '가까이(멀리) 이동하세요', '카메라를 내(올)리세요', '손(팔)을 흔들지 마세요', '피사체를 화면 중심으로 이동하세요', '잘못된 이동 방향입니다(Wrong direction)', '피사체가 화면을 벗어났습니다(Out of Screen)' 등이 있다.
도 16 및 도 17은 가장 최근에 생성된 스핀 이미지를 재생하는 이동 단말기의 동작을 설명하기 위해 참조되는 도면이다.
도 16 및 도 17를 참조하면, 이동 단말기(200)는, 카메라 모드 진입 시, 미리 정의된 사용자 인터페이스(1610)를 디스플레이부에 표시할 수 있다. 이때, 사용자 인터페이스(1610)는 카메라를 통해 촬영될 피사체를 미리 보여주는 프리뷰 영역(1611)과, 가장 최근에 생성된 스핀 이미지를 불러오기 위한 썸네일 메뉴(1613)와, 동영상 촬영을 개시하기 위한 촬영 버튼 메뉴(1615)를 포함할 수 있다.
단말 사용자에 의해 썸네일 메뉴(1613)가 선택되는 경우, 이동 단말기(200)는 가장 최근에 생성된 스핀 이미지를 재생하기 위한 사용자 인터페이스(1620)를 디스플레이부에 표시할 수 있다.
일 예로, 사용자 인터페이스(1620)는, 도 16의 (b)에 도시된 바와 같이, 카메라 모드로 돌아가기 위한 이전 메뉴(1631), 날짜 및 시간 정보를 나타내는 정보 메뉴(1633), 스핀 이미지 목록을 호출하기 위한 리스트 메뉴(1635) 등을 포함하는 제1 메뉴 영역(1630)과, 스핀 이미지와 관련된 동영상 또는 정지영상을 제공하는 이미지 표시 영역(1640)과, 동영상의 진행 상태를 지시하는 진행 바 영역(1650), 동영상을 재생하기 위한 재생 메뉴(1661), 스핀 이미지를 편집하기 위한 편집 메뉴(1663), 스핀 이미지를 공유하기 위한 공유 메뉴(1665), 스핀 이미지를 삭제하기 위한 삭제 메뉴(1667) 등을 포함하는 제2 메뉴 영역(1660)으로 구성될 수 있다.
단말 사용자에 의해 재생 메뉴(1661)가 선택되면, 이동 단말기(200)는, 도 17의 (a)에 도시된 바와 같이, 스핀 이미지에 대응하는 동영상 파일을 재생하여 디스플레이부에 표시할 수 있다. 이에 따라, 단말 사용자는 특정 피사체(1040)를 360도 방향에서 촬영한 동영상을 시청할 수 있다.
단말 사용자에 의해 정지 메뉴(1661)가 선택되면, 이동 단말기(200)는 현재 재생 중인 동영상을 정지하고, 해당 시점의 정지영상을 디스플레이부에 표시할 수 있다. 이러한 상태에서 디스플레이부를 통해 방향성을 갖는 제스쳐 입력이 수신되는 경우, 이동 단말기(200)는 서로 다른 방향에서 피사체를 촬영한 정지영상들을 디스플레이부에 표시할 수 있다.
가령, 도 17의 (b)에 도시된 바와 같이, 정지영상이 표시 중인 상태에서 방향성을 갖는 제스쳐 입력(미도시)이 수신되는 경우, 이동 단말기(200)는 현재 시점으로부터 일정 시점 이전 또는 이후의 정지영상(즉, 현재 방향과 다른 방향에서 피사체를 촬영한 정지영상)을 디스플레이부에 표시할 수 있다. 이때, 이동 단말기(200)는 제스쳐 입력을 통해 피사체를 회전한 정도를 지시하는 인디케이터(1670)를 디스플레이부에 표시할 수 있다.
한편, 도 17의 (c)에 도시된 바와 같이, 동영상 또는 정지영상을 표시하는 디스플레이부를 탭(tap)하는 사용자 입력(미도시)이 수신되는 경우, 이동 단말기(200)는 상기 동영상 또는 정지영상을 전체 화면(full screen, 1680)으로 표시할 수 있다.
도 18 및 도 19는 스핀 이미지 목록을 표시하는 이동 단말기의 동작을 설명하기 위해 참조되는 도면이다.
도 18 및 도 19를 참조하면, 이동 단말기(200)는 스핀 이미지에 대응하는 동영상 파일을 재생하기 위한 사용자 인터페이스(1810)를 디스플레이부에 표시할 수 있다.
사용자 인터페이스(1810)의 일 영역에 표시된 리스트 메뉴(1815)가 선택되는 경우, 이동 단말기(200)는 메모리(250)에 저장된 스핀 이미지들에 대응하는 썸네일 이미지들을 포함하는 이미지 목록화면(1820)을 디스플레이부에 표시할 수 있다.
이미지 목록화면(1820)에 표시된 썸네일 이미지들 중 어느 하나(1821)를 터치(또는 탭)하는 사용자 입력이 수신되는 경우, 이동 단말기(200)는 상기 터치된 썸네일 이미지(1821)를 선택할 수 있다. 이때, 이동 단말기(200)는 상기 선택된 썸네일 이미지(1821)를 다른 썸네일 이미지들과 구별되도록 표시할 수 있다.
한편, 도 19에 도시된 바와 같이, 이미지 목록화면(1820)에 표시된 썸네일 이미지들 중 어느 하나(1823)를 더블 터치(또는 더블 탭)하는 사용자 입력이 수신되는 경우, 이동 단말기(200)는 상기 더블 터치한 썸네일 이미지(1823)에 대응하는 스핀 이미지를 재생하기 위한 사용자 인터페이스(1830)를 디스플레이부에 표시할 수 있다. 상기 사용자 인터페이스(1830)의 구성은 도 16의 (b)에 도시된 사용자 인터페이스(1620)의 구성과 동일하므로 이에 대한 상세한 설명은 생략하도록 한다.
도 20은 스핀 이미지를 공유하는 이동 단말기의 동작을 설명하기 위해 참조되는 도면이다.
도 20을 참조하면, 이동 단말기(200)는 스핀 이미지에 대응하는 동영상 파일을 재생하기 위한 사용자 인터페이스(2010)를 디스플레이부에 표시할 수 있다.
사용자 인터페이스(2010)의 일 영역에 표시된 공유 메뉴(2015)가 선택되는 경우, 이동 단말기(200)는 스핀 이미지를 공유할 하나 이상의 SNS 애플리케이션들에 대응하는 앱 아이콘들과 스핀 이미지를 다른 파일 형식으로 변환하기 위한 메뉴 아이콘들을 포함하는 팝업창(2020)을 디스플레이부에 표시할 수 있다. 단말 사용자는 팝업창(2020)에 표시된 SNS 애플리케이션들 중 적어도 하나를 선택하여 스핀 이미지를 공유할 수 있다. 또한, 단말 사용자는 팝업창(2020)에 표시된 메뉴 아이콘들을 이용하여 스핀 이미지를 MP4, GIF(Graphics interchange Format), Live Photo 등과 같은 다양한 파일 형식으로 변환할 수 있다.
도 21은 스핀 이미지를 편집하는 이동 단말기의 동작을 설명하기 위해 참조되는 도면이다.
도 21을 참조하면, 이동 단말기(200)는 스핀 이미지에 대응하는 동영상 파일을 재생하기 위한 제1 사용자 인터페이스(2110)를 디스플레이부에 표시할 수 있다.
제1 사용자 인터페이스(2110)의 일 영역에 표시된 편집 메뉴(2115)가 선택되는 경우, 이동 단말기(200)는 스핀 이미지를 편집하기 위한 제2 사용자 인터페이스(2120)를 디스플레이부에 표시할 수 있다. 일 예로, 상기 제2 사용자 인터페이스(2120)는 이미지 편집 모드를 취소하기 위한 취소 메뉴, 편집 이미지를 저장하기 위한 저장 메뉴 등을 포함하는 제1 메뉴 영역(2130)과, 편집 중인 스핀 이미지를 표시하기 위한 이미지 편집 영역(2140)과, 복수의 이미지 편집 메뉴들을 포함하는 제2 메뉴 영역(2150)으로 구성될 수 있다.
복수의 이미지 편집 메뉴로는, 자동 메뉴, 휘도 메뉴(brightness), 대조 메뉴(contrast), 포화도 메뉴(saturation), 선명도 메뉴(sharpness), 색 온도 메뉴(temperature) 등이 있다. 단말 사용자는 복수의 이미지 편집 메뉴들을 선택하여 스핀 이미지를 간편하게 편집할 수 있다.
도 22는 증강현실(Augmented　Reality)을 위한 객체정보를 제공하는 이동 단말기의 동작을 설명하기 위해 참조되는 도면이다,
도 22를 참조하면, 이동 단말기(200)는 사용자 명령 등에 따라 특정 피사체에 관한 스핀 이미지를 재생하기 위한 사용자 인터페이스(2210)를 디스플레이부에 표시할 수 있다.
이동 단말기(200)는 미리 결정된 객체 인식 알고리즘을 이용하여 특정 피사체를 식별할 수 있다. 이동 단말기(200)는 인터넷 등에 접속하여 상기 식별된 피사체에 관한 객체정보를 획득할 수 있다. 이동 단말기(200)는 피사체에 관한 객체정보(2220)를 스핀 이미지에 삽입하는 동작을 수행할 수 있다. 상기 객체정보(2220)로는 피사체의 명칭, 색상 정보, 크기 정보, 가격 정보, 전원 정보 등이 있다.
도 23은 스핀 이미지의 배경을 교체할 수 있는 이동 단말기의 동작을 설명하기 위해 참조되는 도면이다.
도 23을 참조하면, 이동 단말기(200)는 사용자 명령 등에 따라 특정 피사체에 관한 스핀 이미지를 재생하기 위한 사용자 인터페이스(2310)를 디스플레이부에 표시할 수 있다.
사용자 인터페이스(2310)의 조작을 통해 특정 배경화면이 선택되는 경우, 이동 단말기(200)는 피사체의 배경화면(2320)을 상기 선택된 배경화면(2330)으로 변경할 수 있다. 이에 따라, 단말 사용자는 특정 피사체가 어떤 배경에 잘 어울리는지를 바로 확인할 수 있다.
한편, 이외에도, 이동 단말기(200)는 스핀 이미지의 생성 및 재생과 관련된 다양한 기능들을 제공할 수 있다. 일 예로, 이동 단말기(200)는 스핀 이미지의 영상 품질을 개선하는 기능을 제공할 수 있다. 또한, 이동 단말기(200)는 특정 피사체를 360도 방향에서 촬영한 스핀 이미지뿐만 아니라, 도 24에 도시된 바와 같은 파노라마 이미지를 생성하는 기능을 제공할 수 있다.
이동 단말기(200)는, 스핀 이미지 촬영 모드 시, 딥 러닝(Deep learning)을 이용한 객체 인식 알고리즘을 기반으로 특정 피사체를 자동으로 검출하는 기능을 수행할 수 있다. 또한, 이동 단말기(200)는, 스핀 이미지 촬영 모드 시, 특정 피사체의 특징점들을 추출하고, 상기 추출된 특징점들을 시각화하는 기능을 제공할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
10: 서비스 제공 시스템 100: 통신 네트워크
150: 서버 200: 이동 단말기
210: 통신부 220: 센싱부
230: 입력부 240: 출력부
250: 메모리 260: 제어부
265/300: 스핀 이미지 생성부 310: 영상 프레임 수신부
320: 데이터 분석부 330: 가이드 정보 제공부
340: 피사체 추적부 350: 프레임 크롭부
360: 흔들림 보정부 370: 파일 생성부
380: 파일 재생부

Claims (20)

  1. 특정 피사체의 주변을 이동하면서 해당 피사체를 360도 방향에서 촬영하여 동영상(moving image) 또는 정지영상(still image)을 자동으로 생성하기 위한 스핀 이미지(spin image) 생성 방법에 있어서,
    카메라를 통해 입력되는 영상을 미리 보여주는 프리뷰 화면을 표시하는 단계;
    촬영 버튼 선택 시, 상기 카메라로부터 특정 피사체에 관한 영상 프레임들을 수신하는 단계;
    미리 결정된 추적 알고리즘을 이용하여 각 영상 프레임 내에 존재하는 피사체를 추적하는 단계;
    상기 추적된 피사체가 상기 스핀 이미지에 관한 재생화면의 중심 영역에 위치하도록 각 영상 프레임의 배경 영역을 크롭(crop)하는 단계;
    상기 크롭된 영상 프레임들에 대해 흔들림 보정을 수행하여 상기 영상 프레임들을 안정화(Stabilization)하는 단계;
    상기 안정화된 영상 프레임들을 기반으로 상기 스핀 이미지를 생성하는 단계; 및
    미리 결정된 객체 인식 알고리즘을 이용하여 상기 피사체를 식별하고, 상기 식별된 피사체에 관한 객체정보를 획득하여 상기 스핀 이미지에 삽입하는 단계를 포함하는 스핀 이미지 생성 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 프리뷰 화면은, 스핀 이미지에 대응하는 동영상 파일로 녹화되는 제1 촬영 영역과, 상기 제1 촬영 영역을 제외한 제2 촬영 영역을 포함하는 것을 특징으로 하는 스핀 이미지 생성 방법.
  4. 제1항에 있어서,
    상기 피사체를 지정하기 위한 인디케이터를 상기 프리뷰 화면에 표시하는 단계를 더 포함하는 스핀 이미지 생성 방법.
  5. 제1항에 있어서,
    상기 촬영 버튼 선택 시, 영상 데이터 및 센싱 데이터 중 적어도 하나를 분석하여 단말 사용자의 촬영 상태를 감지하는 단계; 및
    상기 단말 사용자의 촬영 동작을 가이드하기 위한 촬영 가이드 정보를 제공하는 단계를 더 포함하는 스핀 이미지 생성 방법.
  6. 제5항에 있어서,
    상기 촬영 가이드 정보는, 단말 사용자의 촬영 방향 및 촬영 정도를 지시하는 인디케이터를 포함하는 것을 특징으로 하는 스핀 이미지 생성 방법.
  7. 제1항에 있어서, 상기 추적 단계는,
    KCF(Kernelized Correlation Filter) 알고리즘과 FHOG(Felzenszwalb-Histogram of Gradient) 알고리즘을 이용하여 상기 피사체의 위치를 추적하는 것을 특징으로 하는 스핀 이미지 생성 방법.
  8. 삭제
  9. 제1항에 있어서, 상기 안정화 단계는,
    옵티컬 플로우 방식(optical flow approach)을 이용하여 상기 크롭된 영상 프레임들에 대해 흔들림 보정을 수행하는 것을 특징으로 하는 스핀 이미지 생성 방법.
  10. 제9항에 있어서, 상기 안정화 단계는,
    상기 크롭된 영상 프레임들로부터 피사체의 특징점들(feature points)을 추출하는 단계; 및
    서로 인접하는 영상 프레임들 간의 특징점 위치 정보를 기반으로 상기 피사체의 궤적을 검출하는 단계를 포함하는 것을 특징으로 하는 스핀 이미지 생성 방법.
  11. 제10항에 있어서, 상기 안정화 단계는,
    궤적 스무딩(trajectory smoothing) 기법을 이용하여 상기 피사체의 궤적을 부드럽게 하는 단계; 및
    상기 크롭된 영상 프레임들에 대해 아핀 변환(affine transform)을 적용하여 이미지 워핑(image warping)을 수행하는 단계를 포함하는 것을 특징으로 하는 스핀 이미지 생성 방법.
  12. 제1항에 있어서, 상기 스핀 이미지 생성 단계는,
    상기 안정화된 영상 프레임들을 기반으로 상기 피사체에 관한 동영상 파일을 생성하는 것을 특징으로 하는 스핀 이미지 생성 방법.
  13. 제12항에 있어서,
    상기 동영상 파일을 YUV 포맷 또는 MP4 포맷으로 저장하는 단계를 더 포함하는 스핀 이미지 생성 방법.
  14. 제1항에 있어서,
    상기 스핀 이미지에 대응하는 동영상 또는 정지영상을 표시하는 단계를 더 포함하는 스핀 이미지 생성 방법.
  15. 삭제
  16. 제1항에 있어서,
    상기 피사체의 배경화면을 다른 배경화면으로 교체하는 단계를 더 포함하는 스핀 이미지 생성 방법.
  17. 제1항, 제3항 내지 제7항, 제9항 내지 제14항, 제16항 중 어느 하나의 항에 따른 방법을 컴퓨터 상에서 실행시키기 위하여 상기 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
  18. 특정 피사체의 주변을 이동하면서 해당 피사체를 360도 방향에서 촬영하여 동영상(moving image) 또는 정지영상(still image)을 자동으로 생성하기 위한 스핀 이미지(spin image) 생성 장치에 있어서,
    하나 이상의 카메라로부터 특정 피사체에 관한 영상 프레임들을 수신하는 영상 프레임 수신부;
    미리 결정된 추적 알고리즘을 이용하여 각 영상 프레임 내에 존재하는 피사체를 추적하는 피사체 추적부;
    상기 추적된 피사체가 상기 스핀 이미지에 관한 재생화면의 중심 영역에 위치하도록 각 영상 프레임의 배경 영역을 크롭(crop)하는 이미지 크롭부;
    상기 크롭된 영상 프레임들에 대해 흔들림 보정을 수행하여 상기 영상 프레임들을 안정화(Stabilization)하는 흔들림 보정부; 및
    상기 안정화된 영상 프레임들을 기반으로 상기 스핀 이미지를 생성하는 스핀 이미지 생성부를 포함하고,
    상기 스핀 이미지 생성부는, 미리 결정된 객체 인식 알고리즘을 이용하여 상기 피사체를 식별하고, 상기 식별된 피사체에 관한 객체정보를 획득하여 상기 스핀 이미지에 삽입하는 것을 특징으로 하는 스핀 이미지 생성 장치.
  19. 제18항에 있어서,
    촬영 모드 시, 영상 데이터 및 센싱 데이터를 분석하여 단말 사용자의 촬영 상태를 감지하는 데이터 분석부; 및
    상기 단말 사용자의 촬영 상태에 따른 촬영 가이드 정보를 제공하는 가이드 정보 제공부를 더 포함하는 스핀 이미지 생성 장치.
  20. 제18항에 있어서,
    상기 스핀 이미지에 대응하는 동영상 또는 정지영상을 제공하는 파일 재생부를 더 포함하는 스핀 이미지 생성 장치.
KR1020180092800A 2018-08-07 2018-08-09 스핀 이미지 생성 방법 및 그 장치 KR102128955B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810889661.2A CN110830704B (zh) 2018-08-07 2018-08-07 旋转图像生成方法及其装置
CN201810889661.2 2018-08-07

Publications (2)

Publication Number Publication Date
KR20200016702A KR20200016702A (ko) 2020-02-17
KR102128955B1 true KR102128955B1 (ko) 2020-07-03

Family

ID=69534091

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180092800A KR102128955B1 (ko) 2018-08-07 2018-08-09 스핀 이미지 생성 방법 및 그 장치

Country Status (2)

Country Link
KR (1) KR102128955B1 (ko)
CN (1) CN110830704B (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205515B (zh) * 2020-09-18 2023-04-07 荣耀终端有限公司 一种视频的防抖处理方法及电子设备
CN115131222A (zh) * 2021-03-29 2022-09-30 华为技术有限公司 一种图像处理方法以及相关设备
KR102498383B1 (ko) * 2021-09-24 2023-02-10 숭실대학교산학협력단 전방위 3d 영상의 필터링을 위한 대표 프레임 추출 방법
CN116614706A (zh) * 2023-05-19 2023-08-18 北京源音文创科技股份有限公司 一种旋转拍摄中画面实时自适应保持水平的方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100893870B1 (ko) * 2007-06-26 2009-04-20 학교법인 한국산업기술대학 3차원의 카탈로그 제작 시스템

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1131495C (zh) * 1996-08-29 2003-12-17 三洋电机株式会社 特征信息赋予方法及装置
DE10344922B4 (de) * 2003-09-25 2008-06-26 Siemens Audiologische Technik Gmbh Rundum-Scanner
US8125481B2 (en) * 2008-03-21 2012-02-28 Google Inc. Lightweight three-dimensional display
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
JP2011082919A (ja) * 2009-10-09 2011-04-21 Sony Corp 画像処理装置および方法、並びにプログラム
CN103379267A (zh) * 2012-04-16 2013-10-30 鸿富锦精密工业（深圳）有限公司 三维空间图像的获取系统及方法
WO2013173670A2 (en) * 2012-05-18 2013-11-21 Thomson Licensing Processing panoramic pictures
KR20150011938A (ko) * 2013-07-24 2015-02-03 한국전자통신연구원 멀티-카메라 플랫폼 기반으로 캡쳐된 파노라마 영상의 안정화 방법 및 장치
US9852543B2 (en) * 2015-03-27 2017-12-26 Snap Inc. Automated three dimensional model generation
KR20160131720A (ko) * 2015-05-08 2016-11-16 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20170011190A (ko) * 2015-07-21 2017-02-02 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
CN107707817B (zh) * 2017-09-27 2019-12-17 维沃移动通信有限公司 一种视频拍摄方法及移动终端

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100893870B1 (ko) * 2007-06-26 2009-04-20 학교법인 한국산업기술대학 3차원의 카탈로그 제작 시스템

Also Published As

Publication number Publication date
CN110830704A (zh) 2020-02-21
CN110830704B (zh) 2021-10-22
KR20200016702A (ko) 2020-02-17

Similar Documents

Publication Publication Date Title
DK180685B1 (en) USER INTERFACES FOR RECEIVING AND HANDLING VISUAL MEDIA
AU2020104220A4 (en) User interfaces for capturing and managing visual media
US11816303B2 (en) Device, method, and graphical user interface for navigating media content
KR102128955B1 (ko) 스핀 이미지 생성 방법 및 그 장치
AU2022221466B2 (en) User interfaces for capturing and managing visual media
CN111010510B (zh) 一种拍摄控制方法、装置及电子设备
US8379098B2 (en) Real time video process control using gestures
CN106575361B (zh) 提供视觉声像的方法和实现该方法的电子设备
US10622021B2 (en) Method and system for video editing
WO2019245927A1 (en) Subtitle displaying method and apparatus
EP2753094B1 (en) Method and apparatus for controlling contents in electronic device
CN113613053B (zh) 视频推荐方法、装置、电子设备及存储介质
TWI762830B (zh) 透過擴增實境給予提示以播放接續影片之系統及方法
US20240045572A1 (en) Device, method, and graphical user interface for navigating media content
CN117395462A (zh) 媒体内容的生成方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)