KR102396526B1 - 컨텐츠를 표시하기 위한 장치 및 그의 동작 방법 - Google Patents

컨텐츠를 표시하기 위한 장치 및 그의 동작 방법 Download PDF

Info

Publication number
KR102396526B1
KR102396526B1 KR1020170128079A KR20170128079A KR102396526B1 KR 102396526 B1 KR102396526 B1 KR 102396526B1 KR 1020170128079 A KR1020170128079 A KR 1020170128079A KR 20170128079 A KR20170128079 A KR 20170128079A KR 102396526 B1 KR102396526 B1 KR 102396526B1
Authority
KR
South Korea
Prior art keywords
image
processor
thumbnail
electronic device
content
Prior art date
Application number
KR1020170128079A
Other languages
English (en)
Other versions
KR20190038071A (ko
Inventor
이민경
나현수
문춘경
최혜지
김현영
유이슬
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170128079A priority Critical patent/KR102396526B1/ko
Priority to PCT/KR2018/011506 priority patent/WO2019066537A1/ko
Priority to US16/652,145 priority patent/US11290700B2/en
Publication of KR20190038071A publication Critical patent/KR20190038071A/ko
Application granted granted Critical
Publication of KR102396526B1 publication Critical patent/KR102396526B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T3/16
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/167Synchronising or controlling image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Abstract

본 발명의 다양한 실시예는 컨텐츠를 표시하기 위한 장치 및 그의 동작 방법에 관한 것이다. 이때 전자 장치는 표시 장치, 적어도 하나의 프로세서, 및 상기 프로세서와 연결된 메모리를 포함하며, 상기 메모리는, 실행될 때 상기 프로세서로 하여금, 컨텐츠에 대한 썸네일 생성 이벤트가 감지되는 것에 대한 응답으로, 상기 컨텐츠에 포함된 이미지에 기초하여, 시점 변화에 대응되는 적어도 하나의 변형된 이미지를 획득하고, 상기 획득된 적어도 하나의 변형된 이미지를 3차원 객체에 매핑하고, 상기 3차원 객체에 매핑된 이미지의 적어도 일부를 포함하는 적어도 하나의 부분 이미지를 획득하고, 상기 획득된 적어도 하나의 부분 이미지를 포함하는 썸네일 컨텐츠를 생성하고, 상기 표시 장치를 제어하여 상기 썸네일 컨텐츠를 표시하도록 제어하는 인스트럭션들을 저장할 수 있다. 다른 실시 예들도 가능할 수 있다.

Description

컨텐츠를 표시하기 위한 장치 및 그의 동작 방법{ELECTRONIC DEVICE FOR DISPLAYING CONTENT AND OPERATING METHOD THEREOF}
본 발명의 다양한 실시예는 컨텐츠를 표시하기 위한 전자 장치 및 방법에 관한 것이다.
정보통신 기술 및 반도체 기술의 발전으로 각종 전자 장치들이 다양한 멀티미디어 서비스를 제공하는 멀티미디어 장치로 발전하고 있다. 예를 들어, 멀티미디어 서비스는 음성 통화 서비스, 메시지 서비스, 방송 서비스, 무선 인터넷 서비스, 카메라 서비스, 영상 재생 서비스 및 음악 재생 서비스 중 적어도 하나를 포함할 수 있다.
전자 장치는 서로 다른 방향을 향하는 적어도 두 개의 카메라를 이용하여 서로 다른 방향에 대한 이미지들을 획득하고, 획득된 서로 다른 방향에 대한 이미지들을 합성(예: 스티칭)하여 일정 화각보다 큰 화각을 갖는 합성 이미지를 획득할 수 있다. 예를 들어, 전자 장치는 180도 보다 큰 화각을 갖는 이미지를 획득할 수 있는 두 개의 카메라를 이용하여 제1 방향에 대한 이미지와 제1 방향과 반대되는 제2 방향의 이미지를 획득하고, 제1 방향에 대한 이미지와 제2 방향에 대한 이미지를 합성하여 360도 화각에 대응되는 합성 이미지를 획득할 수 있다.
전자 장치는 전자 장치에 저장된 컨텐츠들에 대한 썸네일 이미지를 생성할 수 있다. 예를 들어, 전자 장치는 360도 화각에 대응되는 적어도 하나의 합성 이미지로 구성된 전방위 컨텐츠에 대한 썸네일 이미지를 생성할 수 있다. 전자 장치는 전방위 컨텐츠에 대해 파노라마, 또는 원형으로 왜곡된 형태의 썸네일 이미지를 생성할 수 있다. 그러나, 전자 장치에서 상기와 같은 썸네일 이미지를 표시할 경우, 사용자가 썸네일 이미지만으로 해당 컨텐츠가 360도 화각에 대응되는 전방위 컨텐츠인지 2차원 컨텐츠인지 쉽게 구별하지 못하는 문제점이 발생될 수 있다.
따라서, 본 발명의 다양한 실시예에서는 전자 장치에서 전방위 컨텐츠에 대한 썸네일을 생성하기 위한 장치 및 그 동작 방법에 대해 개시한다.
본 발명의 다양한 실시예에 따른 전자 장치는, 표시 장치, 적어도 하나의 프로세서, 및 상기 프로세서와 연결된 메모리를 포함하며, 상기 메모리는, 실행될 때 상기 프로세서로 하여금, 컨텐츠에 대한 썸네일 생성 이벤트가 감지되는 것에 대한 응답으로, 상기 컨텐츠에 포함된 이미지에 기초하여, 시점 변화에 대응되는 적어도 하나의 변형된 이미지를 획득하고, 상기 획득된 적어도 하나의 변형된 이미지를 3차원 객체에 매핑하고, 상기 3차원 객체에 매핑된 이미지의 적어도 일부를 포함하는 적어도 하나의 부분 이미지를 획득하고, 상기 획득된 적어도 하나의 부분 이미지를 포함하는 썸네일 컨텐츠를 생성하고, 상기 표시 장치를 제어하여 상기 썸네일 컨텐츠를 표시하도록 제어하는 인스트럭션들을 저장할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 표시 장치, 적어도 하나의 프로세서, 및 상기 프로세서와 연결된 메모리를 포함하며, 상기 메모리는, 실행될 때 상기 프로세서로 하여금, 컨텐츠에 대한 썸네일 생성 이벤트가 감지되는 것에 대한 응답으로, 상기 컨텐츠에 포함된 복수개의 이미지들을 획득하고, 상기 복수개의 이미지들로부터 복수개의 이미지 조각을 획득하고, 상기 획득된 복수개의 이미지 조각을 포함하는 썸네일 컨텐츠를 생성하고, 상기 표시 장치를 제어하여 상기 썸네일 컨텐츠를 표시하도록 제어하는 인스트럭션들을 저장할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치의 동작 방법은, 컨텐츠에 대한 썸네일 생성 이벤트가 감지되는 것에 대한 응답으로, 상기 컨텐츠에 포함된 이미지에 기초하여, 시점 변화에 대응되는 적어도 하나의 변형된 이미지를 획득하는 동작, 상기 획득된 적어도 하나의 변형된 이미지를 3차원 객체에 매핑하는 동작, 상기 3차원 객체에 매핑된 이미지의 적어도 일부를 포함하는 적어도 하나의 부분 이미지를 획득하는 동작, 상기 획득된 적어도 하나의 부분 이미지를 포함하는 썸네일 컨텐츠를 생성하는 동작, 및 상기 썸네일 컨텐츠를 표시하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치의 동작 방법은, 컨텐츠에 대한 썸네일 생성 이벤트가 감지되는 것에 대한 응답으로, 상기 컨텐츠에 포함된 복수개의 이미지들을 획득하는 동작, 상기 복수개의 이미지들로부터 복수개의 이미지 조각을 획득하는 동작, 상기 획득된 복수개의 이미지 조각을 포함하는 썸네일 컨텐츠를 생성하는 동작, 및 상기 썸네일 컨텐츠를 표시하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치 및 그 동작 방법은, 전자 장치에서 전방위 컨텐츠에 대한 썸네일을 생성 및 표시함으로써, 사용자가 썸네일을 통해 전방위 컨텐츠와 2차원 컨텐츠를 쉽게 구별할 수 있도록 유도하면서, 전방위 컨텐츠에 대한 사용자 흥미를 유발할 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경(100) 내의 전자 장치(101)의 블럭도이다.
도 2는 본 발명의 다양한 실시예에 따른 전자 장치(201)의 블럭도이다.
도 3은 본 발명의 다양한 실시예에 따른 전자 장치에서 전방위 컨텐츠에 대한 썸네일 생성에 이용되는 다양한 방식들을 도시한다.
도 4는 본 발명의 다양한 실시예들에 따른 이미지 처리 프로세서(221)의 블럭도이다.
도 5는 본 발명의 다양한 실시예에 따른 전자 장치에서 전방위 컨텐츠에 대한 썸네일을 생성하는 흐름도이다.
도 6은 본 발명의 다양한 실시예에 따른 전자 장치에서 썸네일 모드를 결정하는 흐름도이다.
도 7은 본 발명의 다양한 실시예에 따른 전방위 컨텐츠에 대한 촬영 모드를 나타내는 사용자 인터페이스를 도시한다.
도 8a 내지 도 8e는 본 발명의 다양한 실시예에 따른 썸네일 모드들을 도시한다.
도 9a 내지 도 9d는 본 발명의 다양한 실시예에 따른 전자 장치에서 전방위 컨텐츠의 이미지 특성에 기초하여 결정되는 썸네일 모드들을 도시한다.
도 10은 본 발명의 다양한 실시예에 따른 전자 장치에서 회전 모드의 썸네일을 생성하는 흐름도이다.
도 11은 본 발명의 다양한 실시예에 따른 전자 장치에서 회전 모드의 썸네일을 생성하기 위해 이미지를 처리하는 예시를 나타내는 도면이다.
도 12는 본 발명의 다양한 실시예에 따른 전자 장치에서 회전 모드의 썸네일 컨텐츠를 포함하는 가상 현실 환경의 사용자 인터페이스를 도시한다.
도 13은 본 발명의 다양한 실시예에 따른 전자 장치에서 플래닛 모드의 썸네일을 생성하는 흐름도이다.
도 14는 본 발명의 다양한 실시예에 따른 전자 장치에서 플래닛 모드의 썸네일을 생성하기 위해 이미지를 처리하는 예시를 나타내는 도면이다.
도 15는 본 발명의 다양한 실시예에 따른 전자 장치에서 플래닛 모드의 썸네일 컨텐츠를 포함하는 가상 현실 환경의 사용자 인터페이스를 도시한다.
도 16은 본 발명의 다양한 실시예에 따른 전자 장치에서 오버 클락 모드의 썸네일을 생성하는 흐름도이다.
도 17a 내지 도 17c는 본 발명의 다양한 실시예에 따른 전자 장치에서 오버 클락 모드의 썸네일을 생성하기 위해 이미지를 처리하는 예시를 나타내는 도면이다.
도 18은 본 발명의 다양한 실시예에 따른 전자 장치에서 오버 클락 모드의 썸네일 컨텐츠를 포함하는 가상 현실 환경의 사용자 인터페이스를 도시한다.
도 19는 본 발명의 다양한 실시예에 따른 전자 장치에서 구 모드의 썸네일을 생성하는 흐름도이다.
도 20은 본 발명의 다양한 실시예에 따른 전자 장치에서 구 모드의 썸네일을 생성하기 위해 이미지를 처리하는 예시를 나타내는 도면이다.
도 21a 내지 도 21e는 본 발명의 다양한 실시예에 따른 전자 장치에서 구 모드의 썸네일을 생성하기 위해 선택되는 이미지 영역을 나타내는 도면이다.
도 22는 본 발명의 다양한 실시예에 따른 전자 장치에서 구 모드의 썸네일 컨텐츠를 포함하는 가상 현실 환경의 사용자 인터페이스를 도시한다.
도 23은 본 발명의 다양한 실시예에 따른 전자 장치에서 타임 슬라이스 모드의 썸네일 컨텐츠를 생성하는 흐름도이다.
도 24는 본 발명의 다양한 실시예에 따른 전자 장치에서 타임 슬라이스 모드에 따라 생성된 썸네일을 도시한다.
도 25는 본 발명의 다양한 실시예에 따른 전자 장치에서 타임 슬라이스 모드의 썸네일을 이용하여 재생 시점을 제어하는 흐름도이다.
도 26은 본 발명의 다양한 실시예에 따른 전자 장치에서 타임 슬라이스 모드의 썸네일을 이용하여 재생 시점을 제어하는 화면 구성을 도시한다.
도 27은 본 발명의 다양한 실시예에 따른 전자 장치에서 썸네일을 표시하는 절차는 도시한다.
도 28a 및 도 28b는 본 발명의 다양한 실시예에 따른 전자 장치에서 촬영 모드에 따라 썸네일을 표시하는 화면 구성을 도시한다.
도 29는 본 발명의 다양한 실시예에 따른 전자 장치에서 오버 클럭 모드의 썸네일을 재생하는 화면 구성을 도시한다.
도 30a 및 도 30b는 본 발명의 다양한 실시예에 따른 전자 장치에서 플래닛 모드의 썸네일을 재생하는 가상 현실 환경의 화면 구성을 도시한다.
도 31은 본 발명의 다양한 실시예에 따른 전자 장치에서 오버 클락 모드의 썸네일을 재생하는 가상 현실 환경의 화면 구성을 도시한다.
도 32는 본 발명의 다양한 실시예에 따른 전자 장치에서 사용자 입력에 기초하여 썸네일 모드를 결정하는 화면 구성을 도시한다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블럭도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 및 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 예를 들면, 표시 장치(160)(예: 디스플레이)에 임베디드된 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)의 경우와 같이, 일부의 구성요소들이 통합되어 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 구동하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 운영되고, 추가적으로 또는 대체적으로, 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화된 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 여기서, 보조 프로세서(123)는 메인 프로세서(121)와 별개로 또는 임베디드되어 운영될 수 있다.
이런 경우, 보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 수행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부 구성 요소로서 구현될 수 있다. 메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 저장할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 저장되는 소프트웨어로서, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신하기 위한 장치로서, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력하기 위한 장치로서, 예를 들면, 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용되는 스피커와 전화 수신 전용으로 사용되는 리시버를 포함할 수 있다. 일실시예에 따르면, 리시버는 스피커와 일체 또는 별도로 형성될 수 있다.
표시 장치(160)는 전자 장치(101)의 사용자에게 정보를 시각적으로 제공하기 위한 장치로서, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(160)는 터치 회로(touch circuitry) 또는 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 유선 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 내부의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 외부 전자 장치(예: 전자 장치(102))와 유선 또는 무선으로 연결할 수 있는 지정된 프로토콜을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는 HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102))를 물리적으로 연결시킬 수 있는 커넥터, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시를 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리하기 위한 모듈로서, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구성될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로서, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되는, 유선 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신 모듈을 이용하여 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 상술한 여러 종류의 통신 모듈(190)은 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현될 수 있다.
일실시예에 따르면, 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 사용자 정보를 이용하여 통신 네트워크 내에서 전자 장치(101)를 구별 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부로 송신하거나 외부로부터 수신하기 위한 하나 이상의 안테나들을 포함할 수 있다. 일시예에 따르면, 통신 모듈(190)(예: 무선 통신 모듈(192))은 통신 방식에 적합한 안테나를 통하여 신호를 외부 전자 장치로 송신하거나, 외부 전자 장치로부터 수신할 수 있다.
상기 구성요소들 중 일부 구성요소들은 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input/output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되어 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 외부 전자 장치에서 실행될 수 있다. 일실시예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 외부 전자 장치에게 요청할 수 있다. 상기 요청을 수신한 외부 전자 장치는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치 중 적어도 하나를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램(140))로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(101))를 포함할 수 있다. 상기 명령이 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
도 2는 본 발명의 다양한 실시예에 따른 전자 장치(201)의 블럭도이다. 도 2의 전자 장치(201)는 도 1에 도시된 전자 장치(101)일 수 있다. 이하에서 전자 장치(201)의 일부 동작은 도 3을 참조하여 설명한다. 도 3은 본 발명의 다양한 실시예에 따른 전자 장치에서 전방위 컨텐츠에 대한 썸네일 생성에 이용되는 다양한 방식들을 도시한다. 이하에서 전자 장치(201)의 일부 구성은 도 4를 참조하여 설명한다. 도 4는 본 발명의 다양한 실시예들에 따른 이미지 처리 프로세서(221)의 블럭도이다.
도 2를 참조하면, 전자 장치(201)는 버스(210), 프로세서(220), 메모리(230), 표시 장치(240), 인터페이스(250), 통신 모듈(260), 및 입력 장치(270)를 포함할 수 있다. 어떤 실시예에서는, 전자 장치(201)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다.
다양한 실시예에 따르면, 버스(210)는 예를 들면, 구성요소들(220 내지 270)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 및/또는 데이터)을 전달하는 회로를 포함할 수 있다.
다양한 실시예에 따르면, 프로세서(220)(예: 프로세서(120))는 전방위 컨텐츠에 대한 썸네일을 생성 이벤트를 감지할 수 있다. 전방위 컨텐츠는 임계 화각보다 큰 화각을 갖는 적어도 하나의 합성 이미지를 포함할 수 있다. 예를 들어, 전방위 컨텐츠는 임계 화각보다 큰 화각을 갖는 복수의 합성 이미지들로 구성된 동영상 컨텐츠, 또는 임계 화각보다 큰 화각을 갖는 하나의 합성 이미지로 구성된 이미지 컨텐츠(예: 사진)일 수 있다. 합성 이미지는 서로 다른 방향에 대응되는 복수의 카메라들로부터 획득된 이미지들을 합성한 이미지일 수 있다. 예를 들어, 합성 이미지는 180도보다 큰 화각을 갖는 두 개 이상의 카메라들로부터 획득된 이미지들을 합성한 이미지일 수 있다. 다른 예로, 합성 이미지는 120도보다 큰 화각을 갖는 세 개 이상의 카메라로부터 획득된 이미지들을 합성한 이미지일 수 있다. 또 다른 예로, 합성 이미지는 90도보다 큰 화각을 갖는 네 개 이상의 카메라로부터 획득된 이미지들을 합성한 이미지일 수 있다. 합성 이미지는 360도 화각에 대응되는 전방위 이미지, 또는 임계 화각보다 크고 360도보다 작은 화각을 갖는 이미지일 수 있다. 복수의 카메라들의 화각의 합은 360도보다 작을 수 있다. 일실시예에 따르면, 프로세서(220)는 전방위 컨텐츠 생성 이벤트, 또는 전방위 컨텐츠에 대한 썸네일 생성을 요구하는 사용자 입력 중 적어도 하나에 기초하여 전방위 컨텐츠에 대한 썸네일 생성 이벤트를 감지할 수 있다. 전방위 컨텐츠 생성 이벤트는, 서로 다른 방향에 대응되는 복수의 카메라들로부터 획득된 이미지들을 합성하여 적어도 하나의 전방위 이미지를 생성하기 위한 이벤트일 수 있다.
다양한 실시예에 따르면, 프로세서(220)는 전방위 컨텐츠에 대한 썸네일 생성 이벤트가 감지된 것에 대한 응답으로, 전방위 컨텐츠에 대한 썸네일 모드를 결정할 수 있다. 썸네일 모드는, 예를 들어, 회전 모드, 플래닛 모드, 오버 클락 모드, 구 모드, 또는 타임 슬라이스 모드를 포함할 수 있다. 나열된 썸네일 모드들은 썸네일 생성 방식에 따라 구분될 수 있으며, 각 썸네일 모드들의 명칭은 설명의 편의를 위해 예시적으로 지칭된 것으로서, 사업자 및/또는 설계자에 의해 변경될 수 있다. 일실시예에 따르면, 프로세서(220)는 전방위 컨텐츠의 촬영 모드에 기초하여 썸네일 모드를 결정할 수 있다. 예를 들어, 프로세서(220)는 전방위 컨텐츠의 촬영 모드를 확인하고, 확인된 촬영 모드에 관련된 썸네일 모드를 전방위 컨텐츠에 대한 썸네일 모드로 결정할 수 있다. 촬영 모드에 관련된 썸네일 모드는 사업자 또는 설계자에 의해 미리 설정될 수 있으며, 사용자에 의해 변경될 수 있다. 촬영 모드에 관련된 썸네일 모드는 촬영 모드의 특성에 기초하여 미리 설정될 수 있다. 예를 들어, 동영상 촬영 모드에 관련된 썸네일 모드는 플래닛 모드로 설정될 수 있다. 다른 예로, 사진 촬영 모드, 및/또는 랜드스케이프 HDR(landscape HDR) 촬영 모드에 관련된 썸네일 모드는 회전 모드로 설정되고, 타입 랩스(tmime lapse) 촬영 모드, 비디오 루핑(video looping) 촬영 모드에 관련된 썸네일 모드는 타임 슬라이스 모드로 설정될 수 있다. 이는 본 발명에 대한 이해를 돕기 위해 예시적으로 설명한 것으로서, 본 발명의 촬영 모드에 관련된 썸네일 모드는 이에 한정되지 않을 것이다. 일실시예에 따르면, 프로세서(220)는 전방위 컨텐츠에 포함된 적어도 하나의 합성 이미지의 특성에 기초하여 썸네일 모드를 결정할 수 있다. 예를 들어, 프로세서(220)는 전방위 컨텐츠에 포함된 적어도 하나의 합성 이미지의 피사체 종류(예: 인물, 풍경 등), 피사체의 움직임, 피사체의 수, 또는 시간 정보 중 적어도 하나에 기초하여 썸네일 모드를 결정할 수 있다. 예를 들어, 프로세서(220)는 전방위 컨텐츠에 포함된 적어도 하나의 합성 이미지에 인물이 포함되지 않은 풍경 이미지인 경우, 썸네일 모드를 회전 모드로 설정할 수 있다. 예컨대, 프로세서(220)는 전방위 컨텐츠가 바다, 산, 야경 등과 같은 풍경을 촬영한 컨텐츠, 또는 건물 내부 공간을 촬영한 컨텐츠인 경우, 썸네일 모드를 회전 모드로 설정할 수 있다. 다른 예로, 프로세서(220)는 전방위 컨텐츠에 포함된 적어도 하나의 합성 이미지로부터 피사체의 움직임이 감지되는 경우, 썸네일 모드를 플래닛 모드로 설정할 수 있다. 예컨대, 프로세서(220)는 전방위 컨텐츠가 익스트림 스포츠(extreme sports), 스카이 다이빙(sky diving), 세일링(sailing), 파라슈트(parachute), 짚라인, 마운트 자전거, 카누, 말타기 등과 같이 계속적으로 움직이는 피사체를 촬영한 컨텐츠인 경우, 전방위 컨텐츠에 포함된 피사체의 움직임을 집중적으로 보여주기 위해 썸네일 모드를 플래닛 모드로 설정할 수 있다. 또 다른 예로, 프로세서(220)는 전방위 컨텐츠에 포함된 적어도 하나의 합성 이미지로부터 동일한 종류의 피사체들이 복수 개 감지되는 경우, 썸네일 모드를 구 모드로 설정할 수 있다. 예컨대, 프로세서(220)는 전방위 컨텐츠가 복수의 인물을 포함하는 컨텐츠인 경우, 썸네일 모드를 구 모드로 설정할 수 있다. 또 다른 예로, 프로세서(220)는 전방위 컨텐츠에 포함된 적어도 하나의 합성 이미지가 특정 피사체에 대해 포커스가 맞춰진 컨텐츠인 경우, 썸네일 모드를 오버 클락 모드로 설정할 수 있다. 예컨대, 프로세서(220)는 전방위 컨텐츠가 음식 방송, 애완 동물, 결혼식, 파티, 축제, 콘서트 등과 같이 특정 피사체에 포커스가 맞춰진 컨텐츠인 경우, 썸네일을 통해 특정 피사체를 강조하여 보여줄 수 있도록 하기 위해 썸네일 모드를 오버 클락 모드로 설정할 수 있다. 또 다른 예로, 프로세서(220)는 전방위 컨텐츠가 서로 다른 시점(time point)에 대응되는 합성 이미지들을 포함하는 컨텐츠인 경우, 썸네일 모드를 타임 슬라이스 모드로 설정할 수 있다.
다양한 실시예에 따르면, 프로세서(220)는 결정된 썸네일 모드에 따라 전방위 컨텐츠에 대한 썸네일을 생성할 수 있다. 일 실시예에 따르면, 프로세서(220)는 썸네일 모드에 따라 도 3에 도시된 바와 같은 이미지 조각내기, 이미지의 3차원 객체 매핑, 또는 이미지 패닝(panning) 중 적어도 하나를 이용하여 썸네일을 생성할 수 있다. 예를 들어, 프로세서(220)는 전방위 이미지(300)를 복수 개의 조각(또는 영역)으로 구분하고, 구분된 복수 개의 조각들 중 일부 조각들(301 내지 304)만을 포함하는 이미지를 생성하는 이미지 조각내기 방식을 이용하여 썸네일을 생성할 수 있다. 다른 예로, 프로세서(220)는 전방위 이미지(300)를 3차원 객체에 매핑(320)하는 방식을 이용하여 썸네일을 생성할 수 있다. 또 다른 예로, 프로세서(220)는 전방위 이미지(300)의 일부 영역을 표시 영역(330)으로 결정하고, 시간의 흐름에 따라 표시 영역(330)이 전방위 이미지(300)의 다른 일부 영역으로 변경되도록 하는 이미지 패닝 방식을 이용하여 썸네일을 생성할 수 있다.
다양한 실시예에 따르면, 프로세서(220)는 전방위 컨텐츠에 포함된 적어도 하나의 이미지를 변형하고, 결정된 썸네일 모드에 따라 적어도 하나의 변형된 이미지를 이용하여 썸네일 컨텐츠를 생성할 수 있다. 일실시예에 따르면, 프로세서(220)는 가상 카메라의 시점(view point) 변화에 기초하여 전방위 컨텐츠에 포함된 적어도 하나의 이미지를 변형시키고, 적어도 하나의 변형된 이미지를 3차원 객체에 매핑할 수 있다. 예를 들어, 프로세서(220)는 전방위 컨텐츠에 포함된 적어도 하나의 이미지를 x축, 및/또는 y축으로 기준량만큼 이동시킴으로써, 가상 카메라의 시점 변화에 대응되는 변형된 적어도 하나의 이미지를 획득하고, 적어도 하나의 변형된 이미지를 큐브(cube), 구(sphere), 반 큐브, 반원통 등과 같은 3차원 객체에 매핑할 수 있다. 일실시예에 따르면, 프로세서(201)는 3차원 객체의 적어도 일부 영역에 매핑된 적어도 하나의 부분 이미지를 획득하고, 획득된 적어도 하나의 부분 이미지를 포함하는 썸네일 컨텐츠를 생성할 수 있다. 일실시예에 따르면, 프로세서(201)는 결정된 썸네일 모드에 따라 변형된 2D 이미지에 대한 편집(예: 잘라내기, 붙이기, 확대, 또는 축소 등), 3차원 객체의 모션 제어, 3차원 객체에 대한 가상 카메라의 시점 제어 중 적어도 하나를 더 수행하여, 썸네일 컨텐츠를 생성할 수 있다.
다양한 실시예에 따르면, 프로세서(220)는 이미지 처리 프로세서(221)를 포함으로써, 각각의 썸네일 모드에 대응되는 썸네일을 생성할 수 있다. 이미지 처리 프로세서(221)는 도 4에 도시된 바와 같이, 2D 처리부(410), 3D 처리부(420), 썸네일 추출부(420)를 포함할 수 있다. 2D 처리부(410)는 2D 프로젝션부(412), 변형부(414), 및 편집부(416)를 포함할 수 있으며, 3D 처리부(420)는 3D 객체 매핑부(422), 3D 편집부(424), 3D 객체 모션 제어부(426), 및 카메라 시점 제어부(428)를 포함할 수 있다.
다양한 실시예에 따르면, 2D 프로젝션부(412)는 전방위 컨텐츠에 포함된 적어도 하나의 합성 이미지를 2차원 공간에 투영시켜 2차원 이미지를 획득할 수 있다.
다양한 실시예에 따르면, 변형부(414)는 가상 카메라의 시점 변화에 기초하여, 2차원 이미지를 변형시킬 수 있다. 일실시예에 따르면, 변형부(414)는 2차원 이미지를 x축, 및/또는 y축으로 기준량만큼 이동시킴으로써, 가상 카메라의 시점 변화에 대응되는 적어도 하나의 변형된 이미지를 획득할 수 있다. 기준량은 x축, 및/또는 y축에 대한 이동량을 의미하는 것으로, 사업자 및/또는 설계자에 의해 설정 및/또는 변경될 수 있다. 예를 들어, 변형부(414)는 2차원 이미지를 y축으로 제1 기준량만큼 이동시킴으로써 변형된 이미지를 획득할 수 있다. 예컨대, 변형부(414)는 2차원 이미지를 y축으로 이동시킴으로써, 2차원 이미지의 하단 부분 이미지가 상단으로 이동된 형태의 변형된 이미지를 획득할 수 있다. 변형부(414)는 y축 이동에 의해 변형된 이미지를 x축으로 제2 기준량만큼 이동시킬 수 있다. 변형부(414)는 변형된 이미지를 x축으로 제2 기준량만큼 이동시키면서, 변형된 이미지의 이동 상태에 대응되는 복수의 이미지들을 획득할 수 있다. 예를 들어, 복수의 이미지들은 변형된 이미지의 x축에 대한 서로 다른 이동 상태를 나타낼 수 있다. 예컨대, 제2 기준량이 n×m 픽셀(pixel)인 경우, 복수의 이미지들 중 첫 번째 이미지는 x축으로 m픽셀만큼 이동된 상태를 나타낼 수 있고, 두 번째 이미지는 x축으로 2m픽셀만큼 이동된 상태를 나타낼 수 있고, n 번째 이미지는 n×m 픽셀만큼 이동된 상태를 나타낼 수 있다. 변형부(414)는 2차원 이미지를 x축으로 이동시킴으로써, 2차원 이미지의 우측 부분 이미지가 좌측으로 이동된 형태의 변형된 이미지를 획득할 수 있다.
다양한 실시예에 따르면, 편집부(416)는 적어도 하나의 2차원 이미지로부터 일부 영역의 이미지를 잘라낼 수 있다. 편집부(416)는 잘라낸 일부 영역의 이미지를 적어도 하나의 다른 2차원 이미지의 일부 영역에 붙이거나(또는 합성하거나), 또는 잘라낸 일부 영역의 이미지를 적어도 하나의 다른 일부 영역의 이미지와 이어 붙일(또는 합성할) 수 있다. 편집부(416)는 2차원 이미지 전체, 잘라낸 일부 영역의 이미지, 또는 이어 붙인 이미지를 확대 또는 축소 처리할 수 있다.
다양한 실시예에 따르면, 편집부(416)는 이미지의 전체 영역 중에서 특정 조건을 만족하는 적어도 하나의 영역을 검출하고, 검출된 적어도 하나의 영역을 잘라낼 수 있다. 예를 들어, 편집부(416)는 이미지 내 피사체의 움직임 여부, 피사체의 크기, 인물 피사체의 얼굴 인식 가능 여부, 피사체의 소리 발생 여부, 또는 패턴 변화(예: 색상 변화) 중 적어도 하나에 기초하여 이미지의 전체 영역 중에서 적어도 하나의 일부 영역을 잘라낼 수 있다. 예컨대, 편집부(416)는 이미지의 전체 영역 중에서 소리를 발생시키는 피사체가 존재하는 적어도 하나의 영역을 잘라낼 수 있다. 다른 예로, 편집부(416)는 이미지의 전체 영역 중에서 얼굴 인식이 가능한 인물이 존재하는 적어도 하나의 영역을 잘라낼 수 있다. 또 다른 예로, 편집부(416)는 이미지의 전체 영역 중에서 움직이는 피사체가 존재하는 적어도 하나의 영역을 잘라낼 수 있다. 일실시예에 따르면, 편집부(416)는 이미지의 전체 영역 중에서 특정 조건을 만족하는 영역들의 수가 미리 설정된 영역 수보다 많은 경우, 피사체의 크기, 피사체로부터 발생되는 소리의 크기, 또는 피사체의 움직임 크기 중 적어도 하나에 기초하여 미리 설정된 수에 대응되는 영역들을 잘라낼 수 있다. 예를 들어, 편집부(416)는 이미지 내에 소리를 발생시키는 피사체의 수가 미리 설정된 영역 수보다 많은 경우, 소리 크기가 큰 순서에 기초하여 미리 설정된 영역 수 만큼의 피사체들을 선택하고, 선택된 피사체들이 존재하는 각 영역들을 잘라낼 수 있다. 일실시예에 따르면, 편집부(416)는 이미지의 전체 영역 중에서 특정 조건을 만족하는 영역들의 수가 미리 설정된 영역 수보다 적은 경우, 특정 조건을 만족하지 않는 영역들 중에서 적어도 하나의 일부 영역을 잘라낼 수 있다. 예를 들어, 이미지의 전체 영역 중에서 움직임이 감지된 피사체가 존재하는 영역의 수가 2개이고 미리 설정된 영역 수가 4개인 경우, 이미지의 전체 영역 중에서 피사체가 존재하지 않는 영역들 중에서 2개의 영역을 선택하여 잘라낼 수 있다. 잘라내진 각 영역들의 크기는 동일할 수 있다.
다양한 실시예에 따르면, 3D 객체 매핑부(422)는 적어도 하나의 2차원 이미지, 또는 적어도 하나의 변형된 2차원 이미지를 3차원 객체에 매핑할 수 있다. 예를 들어, 3D 객체 매핑부(422)는 큐브, 구, 반 큐브, 반원 통 등과 같은 3차원 객체에 2차원 이미지를 매핑할 수 있다. 3차원 객체에 매핑될 변형된 이미지가 복수개인 경우, 3D 객체 매핑부(422)는 시간의 흐름에 따라 서로 다른 변형된 이미지가 매핑된 3차원 객체를 생성할 수 있다.
다양한 실시예에 따르면, 3D 편집부(424)는 이미지가 매핑된 3차원 객체로부터 적어도 하나의 일부 영역을 잘라낼 수 있다. 3D 편집부(424)는 잘라낸 적어도 하나의 일부 영역을 적어도 하나의 다른 일부 영역과 연결하여 3차원 객체를 생성할 수 있다.
다양한 실시예에 따르면, 3D 객체 모션 제어부(426)는 이미지가 매핑된 3차원 객체의 모션을 제어할 수 있다. 예를 들어, 3D 객체 모션 제어부(426)는 3차원 객체를 x축, y축, 및/또는 z축으로 회전시킬 수 있다.
다양한 실시예에 따르면, 카메라 시점 제어부(428)는 이미지가 매핑된 3차원 객체에 대한 가상 카메라의 시점을 제어할 수 있다. 일실시예에 따르면, 가상 카메라 시점 제어부(428)는 썸네일 모드에 기초하여, 가상 카메라의 시점을 변경할 수 있다. 예를 들어, 카메라 시점 제어부(428)는 썸네일 모드가 회전 모드이거나 구 모드인 경우, 가상 카메라의 시점을 제1 방향(예: 정면 시점(front view) 방향)으로 설정할 수 있다. 다른 예로, 카메라 시점 제어부(428)는 썸네일 모드가 오버 클락 모드인 경우, 가상 카메라의 시점을 제2 방향(예: 평면 시점(top view) 방향)으로 설정할 수 있다. 또 다른 예로, 카메라 시점 제어부(428)는 썸네일 모드가 플래닛 모드인 경우, 가상 카메라의 시점을 제3 방향(예: 저면 시점(bottom view) 방향)으로 설정할 수 있다. 썸네일 모드에 따른 카메라의 시점은 사업자 및/또는 설계자에 의해 미리 설정될 수 있다.
다양한 실시예에 따르면, 썸네일 추출부(430)는 가상 카메라의 시점에 기초하여 3차원 객체에 대한 적어도 하나의 부분 이미지를 획득할 수 있다. 일실시예에 따르면, 썸네일 추출부(430)는 적어도 하나의 이미지가 매핑된 3차원 객체의 전체 영역 중에서, 가상 카메라의 시점에 대응되는 3차원 객체의 제1 영역에 매핑된 부분 이미지를 획득할 수 있다. 일실시예에 따르면, 썸네일 추출부(420)는 시점이 고정된 가상 카메라를 이용하여 3차원 객체의 모션이 변경되는 동안에, 고정된 가상 카메라의 시점에 대응되는 3차원 객체의 제1 영역에 매핑된 부분 이미지를 계속하여 획득할 수 있다. 가상 카메라의 시점에 대응되는 3차원 객체의 제1 영역은 3차원 객체의 모션 변경으로 인해 변경될 수 있다. 예컨대, 썸네일 추출부(430)는 이미지가 매핑된 3차원 객체의 모션이 변경되는 동안에 특정 방향으로 시점이 고정된 가상 카메라를 이용하여 해당 3차원 객체를 촬영한 것과 같은 복수의 부분 이미지들을 획득할 수 있다. 일실시예에 따르면, 썸네일 추출부(420)는 시점이 고정된 가상 카메라를 이용하여 고정된 가상 카메라의 시점에 대응되는 3차원 객체의 제1 영역에 매핑된 부분 이미지를 계속하여 획득할 수 있다. 3차원 객체에 복수의 이미지가 매핑된 경우, 가상 카메라의 시점에 대응되는 3차원 객체의 제1 영역에 매핑된 부분 이미지는 시간의 흐름에 따라 변경될 수 있다. 예컨대, 썸네일 추출부(430)는 3차원 객체에 매핑된 이미지가 시간의 흐름에 따라 변경되는 동안에 특정 방향으로 시점이 고정된 가상 카메라를 이용하여 해당 3차원 객체를 촬영한 것과 같은 복수의 부분 이미지들을 획득할 수 있다. 일실시예에 따르면, 썸네일 추출부(430)는 카메라 시점 제어부(428)에 의해 변경되는 가상 카메라의 시점에 대응되는 3차원 객체의 제1 영역에 매핑된 부분 이미지를 계속하여 획득할 수 있다. 가상 카메라의 시점에 대응되는 3차원 객체의 제1 영역은 카메라의 시점 변경으로 인해 변경될 수 있다. 예컨대, 썸네일 추출부(430)는 가상 카메라의 시점을 변경하여 고정된 3차원 객체를 촬영한 것과 같은 복수의 부분 이미지들을 획득할 수 있다. 썸네일 추출부(430)는 획득된 적어도 하나의 부분 이미지를 포함하는 썸네일을 생성할 수 있다. 썸네일 추출부(430)는 적어도 하나의 부분 이미지를 포함하는 동일한 두 개의 썸네일을 생성할 수 있다. 썸네일 추출부(430)는 두 개의 썸네일 중 하나의 썸네일은 제1 환경(예: 모바일 환경)에 대한 썸네일로 설정하고, 다른 하나의 썸네일은 제2 환경(예: VR(Virtual Reality) 환경)에 대한 썸네일로 설정할 수 있다. 썸네일 추출부(430)는 제2 환경에 대한 썸네일에 깊이(depth) 정보를 추가하여, 제2 환경에 대응되는 썸네일로 변경할 수 있다.
다양한 실시예에 따르면, 프로세서(220)는 전방위 컨텐츠에 대한 썸네일 표시 이벤트가 발생되는 것을 감지하고, 썸네일 표시 이벤트 발생에 대한 응답으로, 전방위 컨텐츠에 대한 썸네일을 표시 장치(240)에 표시할 수 있다. 일실시예에 따르면, 프로세서(220)는 저장된 전방위 컨텐츠들을 촬영 모드별로 분류하여 썸네일을 표시할 수 있다. 다양한 실시예에 따르면, 프로세서(220)는 전방위 컨텐츠의 썸네일 재생 이벤트가 발생되는 것을 감지하고, 썸네일 재생 이벤트 발생에 대한 응답으로, 전방위 컨텐츠에 대한 패닝 및/또는 재생을 수행할 수 있다. 일실시예에 따르면, 프로세서(220)는 전방위 컨텐츠의 썸네일에 대한 사용자 입력(예: 터치 입력, 또는 응시)에 기초하여 썸네일 재생 이벤트 발생 여부를 결정할 수 있다. 예를 들어, 프로세서(220)는 전방위 컨텐츠의 썸네일에 대한 터치 입력이 감지되는 경우, 썸네일 재생 이벤트가 발생된 것으로 결정할 수 있다. 일실시예에 따르면, 프로세서(220)는 전방위 컨텐츠의 썸네일 표시 영역의 위치, 및/또는 표시 영역의 크기에 기초하여, 썸네일 재생 이벤트 발생 여부를 결정할 수 있다. 예를 들어, 프로세서(220)는 표시 장치(240)에 표시되는 전방위 컨텐츠의 썸네일이 표시 장치(240)의 전체 표시 영역 중에서 일정 크기보다 크거나 같은 영역을 점유하는 경우, 썸네일 재생 이벤트가 발생된 것으로 결정할 수 있다. 프로세서(220)는 표시 장치(240)에 표시되는 전방위 컨텐츠의 썸네일이 표시 장치(240)의 전체 표시 영역 중에서 일정 크기보다 작은 영역을 점유하는 경우, 썸네일 재생 이벤트가 발생되지 않은 것으로 결정할 수 있다. 다른 예로, 프로세서(220)는 표시 장치(240)에 표시되는 전방위 컨텐츠의 썸네일이 표시 장치(240)의 전체 표시 영역 중에서 일정 크기보다 크거나 같은 영역을 점유하면서, 썸네일의 모든 부분이 표시 장치(240)에 표시되는 경우, 썸네일 재생 이벤트가 발생된 것으로 결정할 수 있다. 프로세서(220)는 전방위 컨텐츠의 썸네일의 적어도 일부분이 표시 장치(240)에 표시되지 않는 경우, 썸네일 재생 이벤트가 발생되지 않는 것으로 결정할 수 있다. 일실시예에 따르면, 프로세서(220)는 썸네일 재생 이벤트가 발생된 것에 대한 응답으로, 썸네일 전체, 또는 썸네일의 적어도 일부 영역을 확대한 후, 썸네일의 적어도 일부 영역에 대한 패닝, 및/또는 썸네일이 재생되도록 제어할 수 있다.
다양한 실시예에 따르면, 프로세서(220)는 썸네일 모드가 타임 슬라이스 모드인 경우, 전방위 컨텐츠에 포함된 복수의 이미지들로부터 복수의 이미지 조각들을 획득하고, 획득된 이미지 조각들을 포함하는 썸네일 컨텐츠를 생성할 수 있다. 복수의 이미지들 각각은 서로 다른 시점(time point)에 대응될 수 있으며, 복수의 이미지들 각각으로부터 획득된 이미지 조각들은 서로 다른 위치에 대응될 수 있다. 예를들어, 프로세서(220)는 전방위 컨텐츠에 포함된 제1 시점의 제1 이미지로부터 제1 위치의 이미지 조각을 획득하고, 제2 시점의 제2 이미지로부터 제2 위치의 이미지 조각을 획득할 수 있다. 일실시예에 따르면, 프로세서(220)는 전방위 컨텐츠의 전체 재생 시간(playtime)에 기초하여 이미지 조각의 수를 결정하고, 전방위 컨텐츠에 포함된 복수의 이미지들을 중에서 결정된 이미지 조각의 수에 대응되는 이미지들을 선택할 수 있다. 프로세서(220)는 선택된 이미지들로부터 서로 다른 위치에 대응되는 이미지 조각을 획득하고, 획득된 이미지 조각들을 이어 붙인 형태의 썸네일 컨텐츠를 생성할 수 있다. 일실시예에 따르면, 이미지 조각의 수는 전방위 컨텐츠의 전체 재생 시간 및 최대 조각 수 중 적어도 하나에 기초하여 결정될 수 있다. 최대 조각 수는 사용자 터치 입력이 가능한 영역의 크기, 및/또는 넓이에 기초하여 설정될 수 있다.
다양한 실시예에 따르면, 프로세서(220)는 타임 슬라이스 모드의 썸네일에 기초하여, 전방위 컨텐츠의 재생 시점을 제어할 수 있다. 예를 들어, 프로세서(220)는 전방위 컨텐츠 재생 중에 재생 시점을 변경하기 위한 이벤트, 또는 재생 시점 탐색 이벤트가 발생된 경우, 타임 슬라이스 모드의 썸네일 이미지를 표시할 수 있다. 프로세서(220)는 타임 슬라이스 모드의 썸네일 이미지에서 어느 하나의 이미지 조각에 대한 사용자 입력이 감지된 경우, 해당 이미지 조각에 대응되는 시점으로 재생 시점을 변경할 수 있다.
다양한 실시예에 따르면, 메모리(230)(예: 메모리(130))는 전방위 컨텐츠 및 전방위 컨텐츠에 대한 썸네일을 저장할 수 있다. 전방위 컨텐츠에 대한 썸네일은, 제1 환경(예: 모바일 환경)에 대한 썸네일과 제2 환경(예: VR 환경)에 대한 썸네일을 포함할 수 있다. 일실시예에 따르면, 메모리(230)는 전방위 컨텐츠에 대해 썸네일 모드 각각에 대응되는 썸네일을 포함할 수 있다.
다양한 실시예에 따르면, 표시 장치(240)(예: 표시 장치(160))는 적어도 하나의 썸네일을 표시할 수 있다. 일 실시예에 따르면, 표시 장치(240)는 3차원 디스플레이를 수행할 수 있다. 일실시예에 따르면, 표시 장치(240)는 터치 회로에 기반하여, 표시 장치(240)에 대한 사용자 입력을 감지하고, 사용자 입력에 대응되는 썸네일 관련 제어 명령 또는 데이터를 결정할 수 있다. 일실시예에 따르면, 표시 장치(240)는 프로세서(220)의 제어에 따라 이미지 패닝 방식에 기초하여 적어도 일부 썸네일을 표시할 수 있다.
다양한 실시예에 따르면, 인터페이스(250)(예: 인터페이스(177)) 및/또는 통신 모듈(260)(예: 통신 모듈(190))은 무선 또는 유선으로 연결된 다른 전자 장치와 신호 및/또는 데이터를 송수신할 수 있다. 일실시예에 따르면, 인터페이스(250) 및/또는 통신 모듈(260)은 무선 또는 유선으로 연결된 다른 전장치로부터 전방위 컨텐츠를 수신할 수 있다.
다양한 실시예에 따르면, 입력 장치(270)(예: 입력 장치(150))는 썸네일 컨텐츠 생성, 썸네일 컨텐츠 표시, 또는 썸네일 컨텐츠 재생에 관련된 제어 명령 또는 데이터를 전자 장치(201)의 외부(예: 사용자)로부터 수신할 수 있다.
본 발명의 다양한 실시예에 따르면, 전자 장치는, 표시 장치, 적어도 하나의 프로세서, 및 상기 프로세서와 연결된 메모리를 포함하며, 상기 메모리는, 실행될 때 상기 프로세서로 하여금, 컨텐츠에 대한 썸네일 생성 이벤트가 감지되는 것에 대한 응답으로, 상기 컨텐츠에 포함된 이미지에 기초하여, 시점 변화에 대응되는 적어도 하나의 변형된 이미지를 획득하고, 상기 획득된 적어도 하나의 변형된 이미지를 3차원 객체에 매핑하고, 상기 3차원 객체에 매핑된 이미지의 적어도 일부를 포함하는 적어도 하나의 부분 이미지를 획득하고, 상기 획득된 적어도 하나의 부분 이미지를 포함하는 썸네일 컨텐츠를 생성하고, 상기 표시 장치를 제어하여 상기 썸네일 컨텐츠를 표시하도록 제어하는 인스트럭션들을 저장할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 인스트럭션들은, 상기 프로세서로 하여금, 가상 카메라의 시점 또는 상기 3차원 객체의 모션 중 적어도 하나를 제어하여 상기 3차원 객체에 매핑된 이미지의 적어도 일부를 포함하는 적어도 하나의 부분 이미지를 획득하도록 제어할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 인스트럭션들은, 상기 프로세서로 하여금, 상기 시점 변화에 대응되는 적어도 하나의 변형된 이미지를 획득하기 위해, 상기 컨텐츠에 포함된 이미지를 x축 또는 y축 중 어느 하나의 방향으로 이동시키도록 제어할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 인스트럭션들은, 상기 프로세서로 하여금, 상기 획득된 적어도 하나의 변형된 이미지로부터 적어도 하나의 이미지 조각을 획득하고, 상기 획득된 이미지 조각을 상기 적어도 하나의 부분 이미지의 제1 영역에 합성하고, 상기 제1 영역이 합성된 부분 이미지를 포함하는 썸네일 컨텐츠를 생성하도록 제어할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 인스트럭션들은, 상기 프로세서로 하여금, 상기 3차원 객체에 매핑된 이미지로부터 복수개의 이미지 조각을 획득하고, 상기 획득된 복수개의 이미지 조각을 포함하는 다른 3차원 객체를 생성하고, 가상 카메라의 시점을 제어하여 상기 다른 3차원 객체에 매핑된 이미지의 적어도 일부를 포함하는 적어도 하나의 부분 이미지를 획득하고, 상기 획득된 적어도 하나의 부분 이미지를 포함하는 썸네일 컨텐츠를 생성하도록 제어할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 인스트럭션들은, 상기 프로세서로 하여금, 피사체의 움직임, 피사체의 소리 발생 여부, 피사체의 얼굴 인식 여부, 또는 패턴의 변화 중 적어도 하나에 기초하여 상기 복수개의 이미지 조각을 획득하도록 제어할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 인스트럭션들은, 상기 프로세서로 하여금, 상기 컨텐츠의 촬영 모드 또는 이미지 특성에 기초하여 썸네일 모드를 결정하고, 상기 결정된 썸네일 모드에 기초하여 상기 썸네일 컨텐츠를 생성하도록 제어할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 인스트럭션들은, 상기 프로세서로 하여금, 제1 사용자 입력에 기초하여 상기 컨텐츠의 썸네일 모드를 변경하고, 상기 변경된 썸네일 모드에 기초하여 상기 썸네일 컨텐츠를 생성하도록 제어할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 인스트럭션들은, 상기 프로세서로 하여금, 제2 사용자 입력, 상기 썸네일 컨텐츠의 표시 크기, 또는 상기 썸네일 컨텐츠의 전체 표시 여부 중 적어도 하나에 기초하여 상기 썸네일 컨텐츠를 재생하도록 제어할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 인스트럭션들은, 상기 프로세서로 하여금, 상기 썸네일 컨텐츠에 깊이 정보를 추가하도록 제어할 수 있다.
본 발명의 다양한 실시예에 따르면, 전자 장치는, 표시 장치, 적어도 하나의 프로세서, 및 상기 프로세서와 연결된 메모리를 포함하며, 상기 메모리는, 실행될 때 상기 프로세서로 하여금, 컨텐츠에 대한 썸네일 생성 이벤트가 감지되는 것에 대한 응답으로, 상기 컨텐츠에 포함된 복수개의 이미지들을 획득하고, 상기 복수개의 이미지들로부터 복수개의 이미지 조각을 획득하고, 상기 획득된 복수개의 이미지 조각을 포함하는 썸네일 컨텐츠를 생성하고, 상기 표시 장치를 제어하여 상기 썸네일 컨텐츠를 표시하도록 제어하는 인스트럭션들을 저장할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 인스트럭션들은, 상기 프로세서로 하여금, 상기 컨텐츠의 재생 시간에 기초하여 이미지 조각 수를 결정하고, 상기 결정된 이미지 조각 수에 기초하여 상기 복수개의 이미지를 획득하도록 제어하는 인스트럭션들을 저장할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 복수개의 이미지 조각은 서로 다른 영역에 대응될 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 인스트럭션들은, 상기 프로세서로 하여금, 상기 썸네일 컨텐츠에 포함된 복수개의 이미지 조각 중에서 제1 이미지 조각을 선택하기 위한 사용자 입력을 감지하고, 상기 사용자 입력이 감지된 것에 대한 응답으로, 상기 제1 이미지 조각에 대응되는 시점에 기초하여 상기 컨텐츠를 재생하도록 제어하는 인스트럭션들을 저장할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 인스트럭션들은, 상기 프로세서로 하여금, 상기 컨텐츠의 재생 중에 재생 시점을 변경하기 위한 이벤트를 감지하고, 상기 재생 시점 변경 이벤트가 감지된 것에 대한 응답으로, 상기 썸네일 컨텐츠를 표시하고, 상기 썸네일 컨텐츠에 포함된 복수개의 이미지 조각 중에서 제1 이미지 조각을 선택하기 위한 사용자 입력을 감지하고, 상기 사용자 입력이 감지된 것에 대한 응답으로, 상기 제1 이미지 조각에 대응되는 시점으로 상기 컨텐츠의 재생 시점을 변경하고, 상기 변경된 재생 시점에 기초하여 상기 컨텐츠를 재생하도록 제어하는 인스트럭션들을 저장할 수 있다.
도 5는 본 발명의 다양한 실시예에 따른 전자 장치에서 전방위 컨텐츠에 대한 썸네일을 생성하는 흐름도이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 여기에서, 전자 장치는 도 1의 전자 장치(101) 및/또는 도 2의 전자 장치(201)일 수 있다.
도 5를 참조하면, 전자 장치는 동작 501에서 썸네일 생성 이벤트를 감지할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 전방위 컨텐츠를 생성하기 위한 이벤트, 또는 전방위 컨텐츠에 대한 썸네일 생성을 요구하는 사용자 입력 중 적어도 하나에 기초하여 썸네일 생성 이벤트를 감지할 수 있다. 전방위 컨텐츠를 생성하기 위한 이벤트는, 서로 다른 방향에 대응되는 복수의 카메라들로부터 획득된 이미지들을 합성하여 적어도 하나의 전방위 이미지를 생성하기 위한 이벤트일 수 있다.
전자 장치는 동작 503에서 가상 카메라의 시점 변화에 기초하여 적어도 하나의 이미지를 변형시킬 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 가상 카메라의 시점(view point) 변화에 기초하여 전방위 컨텐츠에 포함된 적어도 하나의 이미지를 변형시킬 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 전방위 컨텐츠에 포함된 적어도 하나의 이미지를 x축, 및/또는 y축으로 기준량만큼 이동시킴으로써, 가상 카메라의 시점 변화에 대응되는 변형된 이미지를 획득할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 2차원 이미지를 y축으로 제1 기준량만큼 이동시킴으로써 적어도 하나의 변형된 이미지를 획득할 수 있다. 다른 예로, 전자 장치의 프로세서(예: 프로세서(220))는 2차원 이미지를 y축으로 제1 기준량만큼 이동시켜 변형시킨 후, y축 이동에 의해 변형된 이미지를 x축으로 제2 기준량만큼 이동시킬 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 변형된 이미지를 x축으로 제2 기준량만큼 이동시키면서, 변형된 이미지의 이동 상태에 대응되는 복수의 이미지들을 획득할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 도 4의 변형부(414)에서 설명한 바와 같이, 적어도 하나의 변형된 이미지를 획득할 수 있다.
전자 장치는 동작 505에서 적어도 하나의 변형된 이미지를 3차원 객체에 매핑할 수 있다. 3차원 객체는 큐브, 구, 반 큐브, 반원통 등과 같은 3차원 객체를 포함할 수 있다. 그러나, 본 발명의 다양한 실시예는 나열된 3차원 객체들에 한정되지 않고, 다양한 3차원 객체들에 대해 동일한 방식으로 적용될 수 있다. 3차원 객체에 매핑될 변형된 이미지가 복수개인 경우, 전자 장치의 프로세서(예: 프로세서(220))는 시간의 흐름에 따라 서로 다른 변형된 이미지가 매핑된 3차원 객체를 생성할 수 있다.
전자 장치는 동작 507에서 3차원 객체의 적어도 일부분(또는 일부 영역)에 대응되는 적어도 하나의 부분 이미지를 획득할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 3차원 객체에 대한 카메라 시점(view point) 제어 및/또는 3차원 객체의 모션 제어 중 적어도 하나에 기초하여, 3차원 객체의 적어도 일부 영역에 대응되는 적어도 하나의 부분 이미지를 획득할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 3차원 객체에 대한 가상 카메라 시점을 제1 방향에 대응되는 시점으로 설경하고, 설정된 가상 카메라의 시점에 대응되는 3차원 객체의 일부 영역에 매핑된 이미지를 획득할 수 있다. 다른 예로, 전자 장치의 프로세서(예: 프로세서(220))는 3차원 객체에 대한 가상 카메라 시점을 제1 방향에 대응되는 시점으로 설정하고, 일정 시간 동안 가상 카메라의 시점에 대응되는 3차원 객체의 일부 영역에 매핑된 이미지를 획득할 수 있다. 3차원 객체에 복수의 이미지가 매핑된 경우, 가상 카메라의 시점에 대응되는 3차원 객체의 제1 영역에 매핑된 부분 이미지는 시간의 흐름에 따라 변경될 수 있다. 다른 예로, 전자 장치의 프로세서(예: 프로세서(220))는 일정 시간 동안 3차원 모션을 변경하면서, 특정 방향으로 시점이 고정된 가상 카메라를 이용하여 3차원 객체에 매핑된 이미지의 적어도 일부를 포함하는 복수의 부분 이미지들을 획득할 수 있다. 또 다른 예로, 전자 장치의 프로세서(예: 프로세서(220))는 일정 시간 동안 3차원 객체에 대한 가상 카메라 시점을 변경하면서, 3차원 객체에 매핑된 이미지의 적어도 일부를 포함하는 복수의 부분 이미지들을 획득할 수 있다.
전자 장치는 동작 509에서 획득된 적어도 하나의 부분 이미지를 포함하는 썸네일 컨텐츠를 생성할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 동작 507에서 복수의 부분 이미지들을 획득한 경우, 복수의 부분 이미지들을 포함하는 동영상 타입의 썸네일 컨텐츠를 생성할 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 생성된 썸네일 컨텐츠를 해당 전방위 컨텐츠에 대한 썸네일로 등록 및 저장할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 생성된 썸네일 컨텐츠를 제1 환경(예: 모바일 환경)에 대한 썸네일 컨텐츠로 등록하고, 동일한 컨텐츠를 추가적으로 생성할 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 추가 생성된 컨텐츠에 길이 정보를 추가하여 3차원 컨텐츠로 변경할 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 깊이 정보가 추가된 3차원 컨텐츠를 제2 환경(예: VR 환경)에 대한 썸네일 컨텐츠로 등록할 수 있다.
도 6은 본 발명의 다양한 실시예에 따른 전자 장치에서 썸네일 모드를 결정하는 흐름도이다. 이하 설명은 도 5의 동작 501을 구체화한 것이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 여기에서, 전자 장치는 도 1의 전자 장치(101) 및/또는 도 2의 전자 장치(201)일 수 있다. 이하에서 도 6의 동작은 도 7, 도8a, 도 8b, 도 8c, 도 8d, 및 도8e를 참조하여 설명한다. 도 7은 본 발명의 다양한 실시예에 따른 전방위 컨텐츠에 대한 촬영 모드를 나타내는 사용자 인터페이스를 도시한다. 도 8a 내지 도 8e는 본 발명의 다양한 실시예에 따른 썸네일 모드들을 도시한다.
도 6을 참조하면, 전자 장치는 동작 601에서 썸네일 생성 이벤트가 발생되는지 여부를 결정할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 도 5의 동작 501에서 설명한 바와 같은 방식으로 썸네일 생성 이벤트가 발생되는지 여부를 결정할 수 있다.
썸네일 생성 이벤트가 발생되는 경우, 전자 장치는 동작 601에서 전방위 컨텐츠에 대한 촬영 모드를 확인할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 전방위 컨텐츠의 메타 데이터에 기초하여 촬영 모드를 확인할 수 있다. 예를 들어, 전방위 컨텐츠의 메타 데이터는 해당 전방위 컨텐츠의 촬영 모드를 포함할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 전자 장치에 무선 또는 유선으로 연결된 외부 전자 장치로부터 전방위 컨텐츠에 대한 촬영 모드 정보를 수신할 수 있다. 일실시예에 따르면, 촬영 모드 정보는 무선 또는 유선으로 연결된 외부 전자 장치로부터 전방위 컨텐츠를 획득하는 시점, 또는 전방위 컨텐츠를 구성하는 적어도 하나의 이미지를 획득하는 시점에 외부 전자 장치로부터 수신될 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 전방위 컨텐츠에 대한 촬영 모드는, 동영상(video) 촬영 모드(701), 사진(photo) 촬영 모드(703), 타입 랩스(tmime lapse) 촬영 모드(705), 비디오 루핑(video looping) 촬영 모드(707), 또는 랜드스케이프 HDR(landscape HDR) 촬영 모드(709)를 포함할 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 전방위 컨텐츠가 나열된 촬영 모드들 중 어느 촬영 모드로 촬영되었는지 확인할 수 있다. 나열된 촬영 모드들은 예시적인 것으로서, 본 발명의 다양한 실시예들은 나열된 촬영 모드들에 한정되지 않고, 다양한 촬영 모드에 동일한 방식으로 적용될 수 있다.
전자 장치는 동작 603에서 촬영 모드에 대응되는 썸네일 모드를 결정할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 촬영 모드에 관련된 썸네일 모드를 결정할 수 있다. 각 촬영 모드에 관련된 썸네일 모드는 사업자 또는 설계자에 의해 미리 설정될 수 있으며, 사용자에 의해 변경될 수 있다. 촬영 모드에 관련된 썸네일 모드는 촬영 모드의 특성에 기초하여 미리 설정될 수 있다. 썸네일 모드는, 예를 들어, 도 8a에 도시된 바와 같이 표현되는 회전 모드, 도 8b에 도시된 바와 같이 표현되는 플래닛 모드, 도 8c에 도시된 바와 같이 표현되는 오버 클락 모드, 도 8d에 도시된 바와 같이 표현되는 구 모드, 또는 도 8e에 도시된 바와 같이 표현되는 타임 슬라이스 모드를 포함할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 전방위 컨텐츠의 촬영 모드가 "동영상(video)"인 경우, 썸네일 모드를 플래닛 모드로 결정할 수 있다. 다른 예로, 프로세서(220)는 전방위 컨텐츠의 촬영 모드가 "사진(photo)"인 경우, 썸네일 모드를 회전 모드로 결정할 수 있다. 또 다른 예로, 전자 장치의 프로세서(예: 프로세서(220))는 전방위 컨텐츠의 촬영 모드가 "타입 랩스(tmime lapse)"인 경우, 썸네일 모드를 타임 슬라이스 모드로 결정할 수 있다. 또 다른 예로, 전자 장치의 프로세서(예: 프로세서(220))는 전방위 컨텐츠의 촬영 모드가 "비디오 루핑(video looping)"인 경우, 썸네일 모드를 타임 슬라이스 모드로 결정할 수 있다. 또 다른 예로, 전자 장치의 프로세서(예: 프로세서(220))는 전방위 컨텐츠의 촬영 모드가 "랜드스케이프 HDR(landscape HDR)"인 경우, 회전 모드로 결정할 수 있다.
상술한 도 6에서는, 전자 장치가 전방위 컨텐츠의 촬영 모드에 기초하여 썸네일 모드를 결정하는 방식에 대해 설명하였다. 그러나, 본 발명의 다양한 실시예에 따르면, 전자 장치는 전방위 컨텐츠에 포함된 적어도 하나의 이미지의 특성에 기초하여 썸네일 모드를 결정할 수 있다.
도 9a 내지 도 9d는 본 발명의 다양한 실시예에 따른 전자 장치에서 전방위 컨텐츠의 이미지 특성에 기초하여 결정되는 썸네일 모드들을 도시한다. 도 9a 내지 도 9d를 참조하면, 전자 장치의 프로세서(예: 프로세서(220))는 전방위 컨텐츠에 포함된 적어도 하나의 합성 이미지의 피사체 종류(예: 인물, 풍경 등), 피사체의 움직임, 피사체의 수, 또는 시간 정보 중 적어도 하나에 기초하여 썸네일 모드를 결정할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 인물이 포함되지 않은 풍경 위주의 전방위 컨텐츠에 대한 썸네일 모드를 회전 모드로 결정할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 바다 풍경을 촬영한 컨텐츠, 또는 야경을 촬영한 컨텐츠에 대해 도 9a에 도시된 바와 같은 썸네일(900, 902)이 생성되도록, 썸네일 모드를 회전 모드로 결정할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 움직이는 피사체를 포함하는 전방위 컨텐츠에 대한 썸네일 모드를 플래닛 모드로 결정할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 카누와 같이 움직이는 배를 촬영한 컨텐츠에 대해 도 9b에 도시된 바와 같은 썸네일(910)이 생성되도록, 썸네일 모드를 플래닛 모드로 결정할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 동일한 종류의 피사체들을 포함하는 전방위 컨텐츠에 대한 썸네일 모드를 구 모드로 결정할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 복수의 인물을 촬영한 컨텐츠에 대해 도 9c에 도시된 바와 같은 썸네일(920)이 생성되도록, 썸네일 모드를 구 모드로 결정할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 특정 피사체에 포커스가 맞춰진 컨텐츠인 경우, 썸네일 모드를 오버 클락 모드로 결정할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 특정 인물 위주로 촬영된 컨텐츠에 대해 9d에 도시된 바와 같은 썸네일(940, 942)이 생성되도록, 썸네일 모드를 오버 클락 모드로 결정할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 시간의 흐름에 따라 촬영된 컨텐츠에 대한 썸네일 모드를 타임 슬라이스 모드로 결정할 수 있다.
도 10은 본 발명의 다양한 실시예에 따른 전자 장치에서 회전 모드의 썸네일을 생성하는 흐름도이다. 이하 설명은 도 5의 동작 503, 505, 507, 및 509를 구체화한 것이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 여기에서, 전자 장치는 도 1의 전자 장치(101) 및/또는 도 2의 전자 장치(201)일 수 있다. 이하에서 도 10의 동작은 도 11 및 도 12를 참조하여 설명한다. 도 11은 본 발명의 다양한 실시예에 따른 전자 장치에서 회전 모드의 썸네일을 생성하기 위해 이미지를 처리하는 예시를 나타내는 도면이다. 도 12는 본 발명의 다양한 실시예에 따른 전자 장치에서 회전 모드의 썸네일 컨텐츠를 포함하는 가상 현실 환경의 사용자 인터페이스를 도시한다.
도 10을 참조하면, 전자 장치는 동작 1001에서 전방위 컨텐츠에 대한 2차원 이미지를 획득할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 전방위 컨텐츠에 포함된 적어도 하나의 합성 이미지로부터 적어도 하나의 2차원 이미지를 획득할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 3차원으로 구성된 적어도 하나의 합성 이미지를 2차원 공간에 투영시켜 2차원 이미지를 획득할 수 있다. 다른 예로, 전자 장치의 프로세서(예: 프로세서(220))는 2차원으로 구성된 적어도 하나의 합성 이미지를 전방위 컨텐츠에 대한 2차원 이미지로써 획득할 수 있다.
전자 장치는 동작 1003에서 카메라의 시점 변화에 기초하여 변형된 이미지를 획득할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 동작 503에서 설명한 바와 같은 방식으로 이미지를 변형시킬 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 y축으로 제1 기준량만큼 이동시킴으로써, 도 11에 도시된 바와 같이 변형된 이미지(1101)를 획득할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 변형된 이미지(110)를 추가적으로 x축으로 제2 기준량만큼 더 이동시킬 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 변형된 이미지를 x축으로 제2 기준량만큼 이동시키면서, 변형된 이미지의 이동 상태에 대응되는 복수의 이미지들을 획득할 수 있다.
전자 장치는 동작 1005에서 적어도 하나의 변형된 이미지를 3차원 객체에 매핑할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 도 5의 동작 505에서 설명한 바와 같이, 변형된 이미지를 3차원 객체에 매핑할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 큐브 형태의 3차원 객체에 적어도 하나의 변형된 이미지를 매핑함으로써, 도 11에 도시된 바와 같이 이미지가 매핑된 3차원 객체(1103)를 획득할 수 있다. 일실시예에 따르면, 복수개의 변형된 이미지가 획득된 경우, 전자 장치의 프로세서(예: 프로세서(220))는 시간의 흐름에 따라 서로 다른 변형된 이미지가 매핑된 3차원 객체를 생성할 수 있다.
전자 장치는 동작 1007에서 카메라의 시점을 제어하여 3차원 객체의 적어도 일부분에 대응되는 적어도 하나의 부분 이미지를 획득할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 가상 카메라의 시점을 정면 시점(front view) 방향으로 설정하고, 일정 시간 동안 정면 시점 방향에 대응되는 3차원 객체의 일부 영역에 매핑된 부분 이미지를 획득할 수 있다. 3차원 객체에 복수의 이미지가 매핑된 경우, 정면 시점 방향에 대응되는 3차원 객체의 제1 영역에 매핑된 부분 이미지는 시간의 흐름에 따라 변경될 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 일정 시간 동안 시간의 흐름에 따라 변경되는 복수의 부분 이미지들을 획득할 수 있다.
전자 장치는 동작 1009에서 획득된 부분 이미지를 포함하는 썸네일 컨텐츠를 생성할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 복수의 부분 이미지들을 획득한 경우, 복수의 부분 이미지들을 포함하는 동영상 타입의 썸네일 컨텐츠를 생성할 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 생성된 썸네일 컨텐츠를 해당 전방위 컨텐츠에 대한 썸네일로 등록 및 저장할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 생성된 썸네일 컨텐츠를 제1 환경(예: 모바일 환경)에 대한 썸네일 컨텐츠로 등록하고, 동일한 컨텐츠를 추가적으로 생성할 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 추가 생성된 컨텐츠에 길이 정보를 추가하여 3차원 컨텐츠로 변경할 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 깊이 정보가 추가된 3차원 썸네일 컨텐츠를 제2 환경(예: VR 환경)에 대한 썸네일 컨텐츠로 등록할 수 있다. 깊이 정보가 추가된 회전 모드의 3차원 썸네일 컨텐츠는 VR 환경에서 도 12에 도시된 바와 같이 표시될 수 있다.
도 13은 본 발명의 다양한 실시예에 따른 전자 장치에서 플래닛 모드의 썸네일을 생성하는 흐름도이다. 이하 설명은 도 5의 동작 503, 505, 507, 및 509를 구체화한 것이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 여기에서, 전자 장치는 도 1의 전자 장치(101) 및/또는 도 2의 전자 장치(201)일 수 있다. 이하에서 도 13의 동작은 도 14 및 도 15를 참조하여 설명한다. 도 14는 본 발명의 다양한 실시예에 따른 전자 장치에서 플래닛 모드의 썸네일을 생성하기 위해 이미지를 처리하는 예시를 나타내는 도면이다. 도 15는 본 발명의 다양한 실시예에 따른 전자 장치에서 플래닛 모드의 썸네일 컨텐츠를 포함하는 가상 현실 환경의 사용자 인터페이스를 도시한다.
도 13을 참조하면, 전자 장치는 동작 1301에서 전방위 컨텐츠에 대한 2차원 이미지를 획득할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 도 10의 동작 1001에서 설명한 바와 같은 방식으로 2차원 이미지를 획득할 수 있다.
전자 장치는 동작 1303에서 카메라의 시점 변화에 기초하여 변형된 이미지를 획득할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 y축으로 제1 기준량만큼 이동시킴으로써, 카메라의 시점 변화에 대응되는 변형된 이미지를 획득할 수 있다. 다양한 실시예에 따르면, 변형된 이미지를 획득하는 동작은 생략될 수 있다. 이 경우, 전자 장치의 프로세서(예: 프로세서(220))는 하기 동작 1305에서 2차원 이미지를 3차원 객체에 매핑할 수 있다.
전자 장치는 동작 1305에서 적어도 하나의 변형된 이미지를 3차원 객체에 매핑할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 도 5의 동작 505에서 설명한 바와 같이, 변형된 이미지를 3차원 객체에 매핑할 수 있다. 예를 들어, 도 14에 도시된 바와 같이, 전자 장치의 프로세서(예: 프로세서(220))는 구(sphere)의 내부 면에 적어도 하나의 변형된 이미지, 또는 2차원 이미지(1401)를 매핑함으로써, 이미지가 매핑된 3차원 객체(1403)를 획득할 수 있다.
전자 장치는 동작 1307에서 3차원 객체를 회전 및 편집할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 3차원 객체를 x, y, 및/또는 z축으로 회전시킬 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 일정 시간 동안 제3 기준량만큼 회전되는 3차원 객체를 획득할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 일정 시간동안 회전되는 3차원 객체의 일부분을 잘라낼 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 도 14에 도시된 바와 같이, 3차원 객체(1403)가 z축으로 회전되도록 제어한 후, z축으로 회전되는 3차원 객체의 윗면을 크롭(crop)함으로써, 일정 시간 동안 z축으로 회전되는 반 구 형태의 3차원 객체(1405)를 획득할 수 있다.
전자 장치는 동작 1309에서 카메라의 시점을 제어하여 3차원 객체의 적어도 일부분에 대응되는 적어도 하나의 부분 이미지를 획득할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 가상 카메라의 시점을 저면 시점(bottom view) 방향으로 설정하고, 일정 시간 동안 저면 시점 방향에 대응되는 3차원 객체의 일부 영역에 매핑된 부분 이미지를 획득할 수 있다. 3차원 객체가 일정 시간 동안 z축으로 회전됨으로써, 전자 장치의 프로세서(예: 프로세서(220))는 일정 시간 동안 3차원 객체의 저면 시점 방향을 촬영하여 시간의 흐름에 따라 변경되는 복수의 부분 이미지들을 획득할 수 있다.
전자 장치는 동작 1311에서 획득된 부분 이미지를 포함하는 썸네일 컨텐츠를 생성할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 복수의 부분 이미지들을 획득한 경우, 복수의 부분 이미지들을 포함하는 동영상 타입의 썸네일 컨텐츠를 생성할 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 생성된 썸네일 컨텐츠를 해당 전방위 컨텐츠에 대한 썸네일로 등록 및 저장할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 생성된 썸네일 컨텐츠를 제1 환경(예: 모바일 환경)에 대한 썸네일 컨텐츠로 등록하고, 동일한 컨텐츠를 추가적으로 생성할 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 추가 생성된 컨텐츠에 길이 정보를 추가하여 3차원 컨텐츠로 변경할 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 깊이 정보가 추가된 3차원 썸네일 컨텐츠를 제2 환경(예: VR 환경)에 대한 썸네일 컨텐츠로 등록할 수 있다. 깊이 정보가 추가된 플래닛 모드의 3차원 썸네일 컨텐츠는 VR 환경에서 도 15에 도시된 바와 같이 표시될 수 있다.
도 16은 본 발명의 다양한 실시예에 따른 전자 장치에서 오버 클락 모드의 썸네일을 생성하는 흐름도이다. 이하 설명은 도 5의 동작 503, 505, 507, 및 509를 구체화한 것이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 여기에서, 전자 장치는 도 1의 전자 장치(101) 및/또는 도 2의 전자 장치(201)일 수 있다. 이하에서 도 16의 동작은 도 17a, 도 17b, 도 17c 및 도 18을 참조하여 설명한다. 도 17a 내지 도 17c는 본 발명의 다양한 실시예에 따른 전자 장치에서 오버 클락 모드의 썸네일을 생성하기 위해 이미지를 처리하는 예시를 나타내는 도면이다. 도 18은 본 발명의 다양한 실시예에 따른 전자 장치에서 오버 클락 모드의 썸네일 컨텐츠를 포함하는 가상 현실 환경의 사용자 인터페이스를 도시한다.
도 16을 참조하면, 전자 장치는 동작 1601에서 전방위 컨텐츠에 대한 2차원 이미지를 획득할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 도 10의 동작 1001에서 설명한 바와 같은 방식으로 적어도 하나의 2차원 이미지를 획득할 수 있다.
전자 장치는 동작 1603에서 2차원 이미지의 일부 영역을 획득할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 도 17a에 도시된 바와 같이, 적어도 하나의 2차원 이미지의 중앙 영역(1701)을 크롭하여, 중앙 영역에 대한 적어도 하나의 부분 이미지(1703)를 획득할 수 있다.
전자 장치는 동작 1605에서 카메라의 시점 변화에 기초하여 변형된 이미지를 획득할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 적어도 하나의 2차원 이미지를 y축으로 제1 기준량만큼 이동시킴으로써, 카메라의 시점 변화에 대응되는 적어도 하나의 변형된 이미지를 획득할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 2차원 이미지를 y축으로 제1 기준량만큼 이동시킴으로써, 도 17b에 도시된 바와 같이 변형된 이미지(1710)를 획득할 수 있다. 다양한 실시예에 따르면, 변형된 이미지를 획득하는 동작은 생략될 수 있다. 이 경우, 전자 장치의 프로세서(예: 프로세서(220))는 하기 동작 1607에서 적어도 하나의 2차원 이미지를 3차원 객체에 매핑할 수 있다.
전자 장치는 동작 1607에서 적어도 하나의 변형된 이미지를 3차원 객체에 매핑할 수 있다. 예를 들어, 도 17b에 도시된 바와 같이, 전자 장치의 프로세서(예: 프로세서(220))는 큐브에 적어도 하나의 변형된 이미지를 매핑함으로써, 이미지가 매핑된 3차원 객체(1720)를 획득할 수 있다. 일실시예에 따르면, 복수개의 변형된 이미지가 획득된 경우, 전자 장치의 프로세서(예: 프로세서(220))는 시간의 흐름에 따라 서로 다른 변형된 이미지가 매핑된 3차원 객체를 생성할 수 있다.
전자 장치는 동작 1609에서 카메라의 시점을 제어하여 3차원 객체의 적어도 일부분에 대응되는 적어도 하나의 부분 이미지를 획득할 수 있다. 일실시예에 따르면, 도 17b에 도시된 바와 같이, 전자 장치의 프로세서(예: 프로세서(220))는 가상 카메라의 시점을 정면 시점(front view) 방향으로 설정하고, 일정 시간 동안 정면 시점 방향에 대응되는 3차원 객체의 일부 영역에 매핑된 부분 이미지(1730)를 획득할 수 있다. 3차원 객체에 복수의 이미지가 매핑된 경우, 정면 시점 방향에 대응되는 3차원 객체의 일부 영역에 매핑된 부분 이미지는 시간의 흐름에 따라 변경될 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 일정 시간 동안 시간의 흐름에 따라 변경되는 복수의 부분 이미지들을 획득할 수 있다.
전자 장치는 동작 1611에서 획득된 부분 이미지의 제1 영역에 획득된 일부 영역이 배치된 형태의 썸네일 컨텐츠를 생성할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 도 17c에 도시된 바와 같이, 동작 1609를 통해 획득된 복수의 부분 이미지(1703) 각각의 제1 영역에 동작 1603을 통해 획득된 복수의 일부 영역(1730) 각각을 배치한 형태의 복수의 부분 이미지(1740)들을 획득할 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 해당 이미지들을 포함하는 썸네일 컨텐츠를 생성할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 복수의 부분 이미지들을 획득한 경우, 복수의 부분 이미지들을 포함하는 동영상 타입의 썸네일 컨텐츠를 생성할 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 생성된 썸네일 컨텐츠를 해당 전방위 컨텐츠에 대한 썸네일로 등록 및 저장할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 생성된 썸네일 컨텐츠를 제1 환경(예: 모바일 환경)에 대한 썸네일 컨텐츠로 등록하고, 동일한 컨텐츠를 추가적으로 생성할 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 추가 생성된 컨텐츠에 길이 정보를 추가하여 3차원 컨텐츠로 변경할 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 깊이 정보가 추가된 3차원 썸네일 컨텐츠를 제2 환경(예: VR 환경)에 대한 썸네일 컨텐츠로 등록할 수 있다. 깊이 정보가 추가된 오버 클락 모드의 3차원 썸네일 컨텐츠는 VR 환경에서 도 18에 도시된 바와 같이 표시될 수 있다.
도 19는 본 발명의 다양한 실시예에 따른 전자 장치에서 구 모드의 썸네일을 생성하는 흐름도이다. 이하 설명은 도 5의 동작 503, 505, 507, 및 509를 구체화한 것이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 여기에서, 전자 장치는 도 1의 전자 장치(101) 및/또는 도 2의 전자 장치(201)일 수 있다. 이하에서 도 19의 동작은 도 20, 도 21a, 도 21b, 도 21c, 도 21d, 도 21e, 및 도 22를 참조하여 설명한다. 도 20은 본 발명의 다양한 실시예에 따른 전자 장치에서 구 모드의 썸네일을 생성하기 위해 이미지를 처리하는 예시를 나타내는 도면이다. 도 21a 내지 도 21e는 본 발명의 다양한 실시예에 따른 전자 장치에서 구 모드의 썸네일을 생성하기 위해 선택되는 이미지 영역을 나타내는 도면이다. 도 22는 본 발명의 다양한 실시예에 따른 전자 장치에서 구 모드의 썸네일 컨텐츠를 포함하는 가상 현실 환경의 사용자 인터페이스를 도시한다.
도 19를 참조하면, 전자 장치는 동작 1901에서 전방위 컨텐츠에 대한 2차원 이미지를 획득할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 도 10의 동작 1001에서 설명한 바와 같은 방식으로 적어도 하나의 2차원 이미지를 획득할 수 있다.
전자 장치는 동작 1903에서 카메라의 시점 변화에 기초하여 적어도 하나의 변형된 이미지를 획득할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 y축으로 제1 기준량만큼 이동시킴으로써, 카메라의 시점 변화에 대응되는 변형된 이미지를 획득할 수 있다. 다양한 실시예에 따르면, 변형된 이미지를 획득하는 동작은 생략될 수 있다. 이 경우, 전자 장치의 프로세서(예: 프로세서(220))는 하기 동작 1905에서 2차원 이미지를 3차원 객체에 매핑할 수 있다.
전자 장치는 동작 1905에서 적어도 하나의 변형된 이미지를 3차원 객체에 매핑할 수 있다. 예를 들어, 도 20에 도시된 바와 같이, 전자 장치의 프로세서(예: 프로세서(220))는 구(sphere)에 적어도 하나의 변형된 이미지, 또는 적어도 하나의 2차원 이미지(2001)를 매핑함으로써, 이미지가 매핑된 3차원 객체(2003)를 획득할 수 있다.
전자 장치는 동작 1907에서 3차원 객체에 매핑된 이미지로부터 다수개의 이미지 조각을 획득할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 3차원 객체에 매핑된 이미지 내 피사체의 움직임 여부, 피사체의 크기, 인물 피사체의 얼굴 인식 가능 여부, 피사체의 소리 발생 여부, 또는 패턴 변화(예: 색상 변화) 중 적어도 하나에 기초하여, 미리 설정된 조건을 만족하는 다수개의 이미지 조각을 획득할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 미리 설정된 조건에 기초하여 3차원 객체로부터 하나의 이미지 조각을 획득하고, 획득된 이미지 조각을 복제하여 다수개의 이미지 조각을 획득할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 도 20에 도시된 바와 같이, 구 형태의 3차원 객체(2003)로부터 하나의 이미지 조각(2005)을 획득하고, 획득된 이미지 조각(2005)을 복제하여 4개의 이미지 조각들(2006, 2007, 2008, 2009)을 획득할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 미리 설정된 조건에 기초하여 3차원 객체로부터 서로 다른 영역에 대응되는 다수개의 이미지 조각들을 획득할 수 있다. 이에 대해서는, 하기에서 도 21a 내지 도 21e를 참조하여 상세히 설명할 것이다.
전자 장치는 동작 1909에서 획득된 다수개의 이미지 조각들을 결합하여 반구 형태의 3차원 객체를 생성할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 도 20에 도시된 바와 같이, 다수개의 이미지 조각들(2006, 2007, 2008, 2009)을 결합하여 반구형태의 3차원 객체를 생성할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 생성된 3차원 객체 내 이미지 조각들 각각에 매핑된 텍스처를 개별적으로 회전시킬 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 도 20에 도시된 바와 같이, 생성된 3차원 객체의 이미지 조각들(2006, 2007, 2008, 2009) 각각에 매핑된 텍스처를 서로 다른 각도로 회전시킴으로써, 일정 시간 동안 각 이미지 조각이 서로 다른 각도로 회전되는 3차원 객체(2010)를 획득할 수 있다.
전자 장치는 동작 1911에서 카메라의 시점을 제어하여 3차원 객체의 적어도 일부분에 대응되는 적어도 하나의 부분 이미지를 획득할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 가상 카메라의 시점을 정면 시점(front view) 방향으로 설정하고, 일정 시간 동안 정면 시점 방향에 대응되는 3차원 객체의 일부 영역에 매핑된 부분 이미지(2020)를 획득할 수 있다. 3차원 객체의 각 이미지 조각에 매핑된 텍스처가 일정 시간 동안 회전됨으로써, 전자 장치의 프로세서(예: 프로세서(220))는 일정 시간 동안 3차원 객체의 정면 시점 방향을 촬영하여 시간의 흐름에 따라 변경되는 복수의 부분 이미지들을 획득할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 동작 1909에서 생성된 3차원 객체를 복제하고, 복제된 3차원 객체를 확대 및 Dim 처리할 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 확대 및 Dim 처리된 3차원 객체를 썸네일 컨텐츠의 배경으로 설정할 수 있다. 예를 들어, 도 20에 도시된 바와 같이, 확대 및 Dim 처리된 3차원 객체(2030)를 반구형 3차원 객체(2010)의 배경으로 설정하고, 일정 시간 동안 정면 시점 방향에 대응되는 3차원 객체의 일부 영역에 매핑된 부분 이미지(2020)를 및 배경 이미지(204)를 획득할 수 있다.
전자 장치는 동작 1913에서 획득된 부분 이미지를 포함하는 썸네일 컨텐츠를 생성할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 복수의 부분 이미지들을 획득한 경우, 복수의 부분 이미지들을 포함하는 동영상 타입의 썸네일 컨텐츠를 생성할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 복수의 부분 이미지들 및 배경 이미지를 획득한 경우, 복수의 부분 이미지들 및 배경 이미지들을 포함하는 동영상 타입의 썸네일 컨텐츠를 생성할 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 생성된 썸네일 컨텐츠를 해당 전방위 컨텐츠에 대한 썸네일로 등록 및 저장할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 생성된 썸네일 컨텐츠를 제1 환경(예: 모바일 환경)에 대한 썸네일 컨텐츠로 등록하고, 동일한 컨텐츠를 추가적으로 생성할 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 추가 생성된 컨텐츠에 길이 정보를 추가하여 3차원 컨텐츠로 변경할 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 깊이 정보가 추가된 3차원 썸네일 컨텐츠를 제2 환경(예: VR 환경)에 대한 썸네일 컨텐츠로 등록할 수 있다. 깊이 정보가 추가된 구 모드의 3차원 썸네일 컨텐츠는 VR 환경에서 도 22에 도시된 바와 같이 표시될 수 있다.
상술한 도 19에서는, 전자 장치가 3차원 객체로부터 하나의 이미지 조각을 획득한 후, 획득한 이미지 조각을 다수개로 복제하여 반구 형태의 3차원 객체를 생성하는 방식에 대해 설명하였다. 그러나, 다양한 실시예에 따르면, 본 발명의 전자 장치는 미리 설정된 조건에 기초하여 3차원 객체로부터 서로 다른 영역에 대응되는 다수개의 이미지 조각들을 획득할 수 있다. 예를 들어, 전자 장치는 도 21a 내지 도 21e에 도시된 바와 같은 방식으로, 다수개의 이미지 조각들을 획득할 수 있다. 도 21a 내지 도 21b는 설명의 편의를 위해, 2차원 이미지로부터 다수개의 이미지 조각들을 획득하는 것을 나타내도록 도시되었으나, 실질적으로는 2차원 이미지가 구 형태의 3차원 객체에 매핑된 이후에 다수개의 조각들이 획득될 수 있다. 도 21a 내지 도 21e는 설명의 편의를 위해, 4개의 이미지 조각들을 획득하는 것을 나타내었으나, 본 발명의 다양한 실시예에는 이에 한정되지 않을 것이다.
도 21a를 참조하면, 전자 장치는 이미지 내에서 소리 발생시키는 피사체들을 검출하고, 소리를 발생시키는 피사체들 각각을 포함하는 다수개의 이미지 조각들(2101, 2103, 2105, 2107)을 획득할 수 있다. 예를 들어, 전자 장치는 이미지 내에서 소리를 발생시키는 피사체를 기준으로, 피사체를 포함하는 일정 크기의 영역들을 크롭하여 적어도 하나의 이미지 조각을 획득할 수 있다. 일실시예에 따르면, 전자 장치는 소리를 발생시키는 피사체들의 수가 기준 조각 수보다 많은 경우, 소리 크기에 기초하여 기준 조각 수만큼의 피사체들을 선택하고, 선택된 피사체들을 포함하는 영역들을 크롭하여 기준 조각 수에 대응되는 이미지 조각들을 획득할 수 있다. 전자 장치는 이미지 조각들 각각에 대응되는 피사체의 소리 크기에 기초하여 이미지 조각들을 정렬하고, 정렬된 이미지 조각들을 이용하여 반구형 형태의 3차원 객체를 생성할 수 있다.
도 21b를 참조하면, 전자 장치는 이미지 내에서 얼굴 인식이 가능한 인물 피사체를 검출하고, 검출된 인물 피사체를 포함하는 다수개의 이미지 조각들(2121, 2123, 2124, 2125)을 획득할 수 있다. 예를 들어, 전자 장치는 이미지 내에서 얼굴 인식이 가능한 인물 피사체를 기준으로, 일정 크기의 영역들을 크롭하여 적어도 하나의 이미지 조각을 획득할 수 있다. 일실시예에 따르면, 전자 장치는 이미지에서 얼굴 인식이 가능한 인물 피사체의 수가 기준 조각 수보다 많은 경우, 인물의 크기, 또는 인물의 얼굴 크기에 기초하여 기준 조각 수만큼의 인물들을 선택하고, 선택된 인물들을 포함하는 영역들을 크롭하여 기준 조각 수에 대응되는 이미지 조각들을 획득할 수 있다. 전자 장치는 이미지 조각들 각각에 대응되는 인물의 크기, 또는 인물의 얼굴 크기에 기초하여 이미지 조각들을 정렬하고, 정렬된 이미지 조각들을 이용하여 반구형 형태의 3차원 객체를 생성할 수 있다.
도 21c를 참조하면, 전자 장치는 이미지 내에서 움직임이 있는 피사체를 검출하고, 검출된 피사체를 포함하는 다수개의 이미지 조각들(2131, 2133, 2135, 2137)을 획득할 수 있다. 예를 들어, 전자 장치는 이미지 내에서 움직임이 있는 피사체를 기준으로, 피사체를 포함하는 일정 크기의 영역들 크롭하여 적어도 하나의 이미지 조각을 획득할 수 있다. 일실시예에 따르면, 전자 장치는 움직임이 있는 피사체들의 수가 기준 조각 수보다 많은 경우, 움직임이 큰 순서에 기초하여 기준 조각 수만큼의 피사체들을 선택하고, 선택된 피사체들을 포함하는 영역들을 크롭하여 기준 조각 수에 대응되는 이미지 조각들을 획득할 수 있다. 전자 장치는 이미지 조각들 각각에 대응되는 피사체의 움직임 정도, 또는 피사체의 크기에 기초하여 이미지 조각들을 정렬하고, 정렬된 이미지 조각들을 이용하여 반구형 형태의 3차원 객체를 생성할 수 있다.
도 21d를 참조하면, 전자 장치는 이미지 내에서 검출된 피사체의 수가 기준 조각 수 보다 작은 경우, 피사체가 존재하지 않는 영역, 또는 크롭되지 않은 영역의 크기에 기초하여 적어도 하나의 이미지 조각을 더 크롭할 수 있다. 예를 들어, 소리 발생 여부, 움직임, 또는 얼굴 인식 가능 여부에 기초하여 검출된 피사체들의 수가 3개이고 기준 조각 수가 4개인 경우, 전자 장치는 이미지에서 각 피사체를 포함하는 영역들을 크롭하여 3개의 이미지 조각(22141, 2143, 2145)을 획득하고, 이미지에서 크롭되지 않은 영역들 중에서 크기가 가장 큰 영역의 적어도 일부 영역을 크롭하여 1개의 이미지 조각(2147)을 획득할 수 있다.
도 21e를 참조하면, 전자 장치는 이미지의 패턴 변화에 기초하여 다수개의 이미지 조각들(2151, 2153, 2155, 2157)을 획득할 수 있다. 예를 들어, 전자 장치는 이미지의 패턴 변화(예: 색상 변화)를 인식하고, 패턴 변화가 큰 영역들을 크롭하여 적어도 하나의 이미지 조각을 획득할 수 있다.
도 23은 본 발명의 다양한 실시예에 따른 전자 장치에서 타임 슬라이스 모드의 썸네일 컨텐츠를 생성하는 흐름도이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 여기에서, 전자 장치는 도 1의 전자 장치(101) 및/또는 도 2의 전자 장치(201)일 수 있다. 이하에서 도 23의 동작은 도 24를 참조하여 설명한다. 도 24는 본 발명의 다양한 실시예에 따른 전자 장치에서 타임 슬라이스 모드에 따라 생성된 썸네일을 도시한다.
도 23을 참조하면, 전자 장치는 동작 2301에서 전방위 컨텐츠에 포함된 이미지들로부터, 서로 다른 시점에 대응되는 다수의 이미지들을 획득할 수 있다. 일실시예에 따르면, 전방위 컨텐츠는 미리 정해진 시간 간격으로 피사체를 촬영한 컨텐츠일 수 있다. 예를 들어, 전방위 컨텐츠는 타입 랩스 모드로 촬영된 컨텐츠일 수 있다. 일실시예에 따르면, 전방위 컨텐츠는 시간의 흐름에 따라 촬영된 이미지들을 포함하는 동영상 컨텐츠일 수 있다.
전자 장치는 동작 2303에서 획득된 다수의 이미지로부터 서로 다른 영역에 대응되는 이미지 조각들을 획득할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 제1 이미지로부터 제1 영역의 이미지 조각을 획득하고, 제2 이미지로부터 제2 영역의 이미지 조각을 획득하고, 제3 이미지로부터 제3 영역의 이미지 조각을 획득할 수 있다. 제1 영역, 제2 영역, 및 제3 영역은 서로 다른 영역일 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 전방위 컨텐츠의 재생 시간에 기초하여 이미지 조각 수를 결정하고, 결정된 이미지 조각 수에 대응되는 다수개의 이미지를 획득할 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 이미지 조각 수에 대응되는 다수개의 이미지들 각각으로부터 이미지 조각을 획득할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 전방위 컨텐츠의 재생 시간이 5분인 경우, 이미지 조각 수를 5개로 결정하고, 전방위 컨텐츠로부터 5개의 이미지를 획득할 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 획득된 5개의 이미지 각각으로부터 이미지 조각을 획득할 수 있다. 다른 예로, 전자 장치의 프로세서(예: 프로세서(220))는 전방위 컨텐츠의 재생 시간이 10분인 경우, 이미지 조각 수를 10개로 결정하고, 전방위 컨텐츠로부터 10개의 이미지를 획득할 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 10개의 이미지 각각으로부터 이미지 조각을 획득할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 전방위 컨텐츠에 포함된 이미지의 수에 기초하여 이미지 조각 수를 결정하고, 결정된 이미지 조각 수에 대응되는 다수개의 이미지를 획득할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 전방위 컨텐츠에 포함된 이미지의 수가 200개인 경우, 이미지 조각 수를 10개로 결정하고, 전방위 컨텐츠에 포함된 이미지의 수가 600개인 경우, 이미지 조각 수를 30개로 결정할 수 있다. 상술한 이미지 조각 수를 결정하는 방식들은 예시적인 것으로서, 본 발명은 이에 한정되지 않는다.
전자 장치는 동작 2305에서 획득된 이미지 조각들을 합성하여 썸네일 컨텐츠를 생성할 수 있다. 예를 들어, 도 24에 도시된 바와 같이 전자 장치의 프로세서(예: 프로세서(220))는 획득된 이미지 조각들을 이어붙임으로써, 13개의 이미지 조각들로 구성된 썸네일 컨텐츠를 생성할 수 있다.
도 25는 본 발명의 다양한 실시예에 따른 전자 장치에서 타임 슬라이스 모드의 썸네일을 이용하여 재생 시점을 제어하는 흐름도이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 여기에서, 전자 장치는 도 1의 전자 장치(101) 및/또는 도 2의 전자 장치(201)일 수 있다. 이하에서 도 25의 동작은 도 26을 참조하여 설명한다. 도 26은 본 발명의 다양한 실시예에 따른 전자 장치에서 타임 슬라이스 모드의 썸네일을 이용하여 재생 시점을 제어하는 화면 구성을 도시한다.
도 25를 참조하면, 전자 장치는 동작 2501에서 전방위 컨텐츠를 재생할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 사용자 입력에 기초하여 전방위 컨텐츠를 재생할 수 있다. 예컨대, 전자 장치의 프로세서(예: 프로세서(220))는 사용자 입력에 기초하여 전방위 컨텐츠를 재생하고, 도 26에 도시된 바와 같이 전방위 컨텐츠 재생에 따른 이미지(2601)를 표시 장치(예: 표시 장치(240))에 표시할 수 있다.
전자 장치는 동작 2503에서 탐색 이벤트가 발생되는지 여부를 결정할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 전방위 컨텐츠 재생 중에 컨텐츠 재생 시점을 변경하기 위한 탐색 이벤트가 발생되는지 여부를 결정할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 전방위 컨텐츠 재생 중에 미리 설정된 영역에 대한 사용자 입력, 전방위 컨텐츠 재생 중에 미리 설정된 방식의 사용자 입력, 또는 전방위 컨텐츠 재생 중에 특정 메뉴 항목에 대한 사용자 입력이 감지되는지 여부에 기초하여 탐색 이벤트 발생 여부를 결정할 수 있다. 탐색 이벤트가 발생되지 않는 경우, 전자 장치는 동작 2501로 되돌아가 전방위 컨텐츠를 계속하여 재생할 수 있다.
탐색 이벤트가 발생된 경우, 전자 장치는 동작 2505에서 서로 다른 시점에 대응되는 다수의 이미지 조각들로 구성된 이미지를 표시할 수 있다. 일실시예에 따르면, 서로 다른 시점에 대응되는 다수의 이미지 조각들로 구성된 이미지는 도 23에서 설명한 바와 같은 방식으로 생성된 썸네일 컨텐츠일 수 있다. 예컨대, 전자 장치의 프로세서(예: 프로세서(220))는 도 26에 도시된 바와 같이, 서로 다른 이미지 조각들로 구성된 썸네일 컨텐츠(2603)를 표시 장치(예: 표시 장치(240))에 표시할 수 있다.
전자 장치는 동작 2507에서 하나의 이미지 조각이 선택되는지 여부를 결정할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 화면에 표시된 다수의 이미지 조각들 중에서 하나의 이미지 조각을 선택하기 위한 사용자 입력이 감지되는지 여부를 결정할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 도 26에 도시된 바와 같이, 특정 시점(예: 7:00)에 대응되는 이미지 조각(2605)를 선택하기 위한 사용자 입력을 감지할 수 있다.
전자 장치는 동작 2509에서 선택된 이미지 조각에 대응되는 시점으로 재생 시점을 이동하여 표시할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 도 26에 도시된 바와 같이, 특정 시점(예: 7:00)에 대응되는 이미지 조각(2605)를 선택되는 것에 대한 응답으로, 선택된 이미지 조각(2605)의 시점(예: 7:00)으로 재생 시점을 이동하여 해당 이미지(2607)를 표시 장치(예: 표시 장치(240))에 표시하고, 이동된 시점부터 재생을 시작할 수 있다.
도 27은 본 발명의 다양한 실시예에 따른 전자 장치에서 썸네일을 표시하는 절차는 도시한다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 여기에서, 전자 장치는 도 1의 전자 장치(101) 및/또는 도 2의 전자 장치(201)일 수 있다. 이하에서 도 27의 동작은 도 28 내지 도 31을 참조하여 설명한다. 도 28a 및 도 28b는 본 발명의 다양한 실시예에 따른 전자 장치에서 촬영 모드에 따라 썸네일을 표시하는 화면 구성을 도시한다. 도 29는 본 발명의 다양한 실시예에 따른 전자 장치에서 오버 클럭 모드의 썸네일을 재생하는 화면 구성을 도시한다. 도 30a 및 도 30b는 본 발명의 다양한 실시예에 따른 전자 장치에서 플래닛 모드의 썸네일을 재생하는 가상 현실 환경의 화면 구성을 도시한다. 도 31은 본 발명의 다양한 실시예에 따른 전자 장치에서 오버 클락 모드의 썸네일을 재생하는 가상 현실 환경의 화면 구성을 도시한다.
도 27을 참조하면, 전자 장치는 동작 2701에서 썸네일 표시 이벤트가 발생되는지 여부를 결정할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 전자 장치에 저장된 전방위 컨텐츠 목록 표시 이벤트가 발생되는지 여부에 기초하여 썸네일 표시 이벤트가 발생되는지 여부를 결정할 수 있다. 예를 들어, 전자 장치는 전자 장치에 저장된 전방위 컨텐츠 목록 표시를 필요로하는 갤러리 선택 이벤트가 발생되는 경우, 썸네일 표시 이벤트가 발생된 것으로 결정할 수 있다.
전자 장치는 동작 2703에서 촬영 모드에 대응되는 썸네일을 표시할 수 있다. 일실시예에 따르면, 전자 장치에 저잔된 전방위 컨텐츠 각각에 대해, 촬영 모드에 따라 생성된 썸네일을 표시할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 도 28a에 도시된 바와 같이, 촬영 모드가 "동영상(video)"인 컨텐츠에 대해 플래닛 모드의 썸네일을 표시하고, 촬영 모드가 "사진(photo)"인 컨텐츠에 대해 회전 모드의 썸네일을 표시하고, 촬영 모드가 "비디오 루핑(video looping)"인 컨텐츠에 대해 구 모드의 썸네일을 표시하고, 촬영 모드가 "랜드스케이프 HDR(landscape HDR)"인 컨텐츠에 대해 회전 모드의 썸네일을 표시하고, 촬영 모드가 "타입 랩스(tmime lapse)"인 컨텐츠에 대해 타임 슬라이스 모드의 썸네일을 표시할 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 기타 촬영 모드에 대한 컨텐츠, 또는 촬영 모드가 확인되지 않는 컨텐츠에 대해, 회전 모드의 썸네일을 표시할 수 있다. 다양한 실시예에 따르면, 전자 장치는 동작 2703에서 전방위 컨텐츠의 촬영 모드에 대응되는 썸네일을 표시하지 않고, 전방위 컨텐츠의 이미지 특성에 기초하여 생성된 썸네일을 표시할 수 있다.
전자 장치는 동작 2705에서 썸네일 재생 이벤트가 발생되는지 여부를 결정할 수 있다. 일실시예에 따르면, 썸네일 재생 이벤트는 썸네일에 대한 사용자 입력, 썸네일이 표시되는 영역의 크기, 썸네일의 전체 영역 표시 여부, 또는 썸네일에 대한 사용자 응시 중 적어도 하나에 기초하여 발생될 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 도 28a에 도시된 바와 같이, 특정 컨텐츠의 썸네일에 대한 사용자 입력(2801)이 감지될 경우, 해당 컨텐츠의 썸네일 재생 이벤트가 발생된 것으로 결정할 수 있다. 다른 예로, 전자 장치의 프로세서(예: 프로세서(220))는 특정 컨텐츠에 대한 썸네일의 전체 영역이 화면에 표시되면서, 썸네일이 표시되는 영역의 크기가 임계 크기보다 크거나 같은 경우, 해당 컨텐츠의 썸네일 재생 이벤트가 발생된 것으로 결정할 수 있다. 예컨대, 전자 장치의 프로세서(예: 프로세서(220))는 도 28b에 도시된 바와 같이, 제1 컨텐츠의 썸네일(2811)이 화면의 전체 영역 중 임계 크기보다 큰 영역을 점유하도록 표시되는 경우, 제1 컨텐츠의 썸네일(2811)에 대한 재생 이벤트가 발생된 것으로 결정할 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 도 28b에 도시된 바와 같이, 제2 컨텐츠에 대한 썸네일(2813)의 전체 영역이 화면에 표시되지 않는 경우, 제2 컨텐츠의 썸네일(2813)에 대한 재생 이벤트가 발생되지 않은 것으로 결정할 수 있다. 또 다른 예로, 전자 장치의 프로세서(예: 프로세서(220))는 도 30a에 도시된 바와 같이, 가상 현실 환경에서 특정 컨텐츠의 썸네일(3001)에 대한 사용자 응사가 감지될 경우, 해당 컨텐츠의 썸네일 재생 이벤트가 발생된 것으로 결정할 수 있다.
전자 장치는 동작 2707에서 썸네일 재생 이벤트가 발생된 것에 대한 응답으로, 썸네일을 재생할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 다수의 이미지를 포함하는 썸네일을 재생하여, 표시 장치(예: 표시 장치(240))에 일정 시간 구간 동안 다수의 이미지가 순차적으로 반복하여 표시되도록 제어할 수 있다. 예를 들어, 전방위 컨텐츠의 썸네일은 다수의 이미지를 포함하도록 구성됨으로써, 전자 장치의 프로세서(예: 프로세서(220))에 따라 재생될 시, 동영상 컨텐츠 재생 및/또는 패닝 동작을 수행한 것과 같이 표시될 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 해당 썸네일의 크기를 확대하여 재생처리할 수 있다. 일실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 사용자 입력이 감지된 것에 대한 응답으로 썸네일을 재생할수 있으며, 감지된 사용자 입력이 해제되는 것에 대한 응답으로, 썸네일 재생을 종료할 수 있다. 예를 들어, 도 29에 도시된 바와 같이, 플래닛 모드의 썸네일에 대한 사용자 입력(예: 터치 입력)이 감지될 시, 전자 장치의 프로세서(예: 프로세서(220))는 썸네일 이미지의 제1 영역(2901) 및 제2 영역(2903) 각각의 크기를 확대(2911, 2913)하면서 재생되도록 제어할 수 있다. 전자 장치의 프로세서(예: 프로세서(220))는 플래닛 모드의 썸네일에 대한 사용자 입력 해제(예: 터치 입력 해제)가 감지될 시, 확대된 영역(2911, 2913)을 원래의 크기인 제1 영역(2901) 및 제2 영역(2903)으로 축소시키면서 썸네일 재생을 종료할 수 있다. 일 실시예에 따르면, 전자 장치의 프로세서(예: 프로세서(220))는 썸네일 목록에 대한 표시를 제어하기 위한 스크롤이 중지되는 것에 대한 응답으로 썸네일을 재생할수 있으며, 스크롤을 위한 사용자 입력이 재감지된 것에 대한 응답으로, 썸네일 재생을 종료할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 썸네일 목록에 대한 스크롤 중지로 인해 도 28b와 같이, 썸네일(2811)의 전체 영역이 화면에 표시된 경우, 썸네일을 재생할 수 있으며, 스크롤을 위한 사용자 입력이 재감지된 경우, 구 모드의 썸네일 재생을 중지할 수 있다. 일실시예에 따르면, 전자 장치의 전자 장치의 프로세서(예: 프로세서(220))는 가상 현실 환경에서 사용자 시선에 기초하여 썸네일의 재생을 제어할 수 있다. 예를 들어, 전자 장치의 프로세서(예: 프로세서(220))는 도 30a에 도시된 바와 같이 가상 현실 환경에서 플래닛 모드의 썸네일(3001)에 대한 사용자 응시가 감지된 경우, 도 30b 및 도 30c에 도시된 바와 같이, 해당 썸네일을 확대하여 표시(3011)하고, 해당 썸네일이 확대된 상태에서 재생(3021)될 수 있도록 제어할 수 있다. 다른 예로, 전자 장치의 프로세서(예: 프로세서(220))는 도 31에 도시된 바와 같이 가상 현실 환경에서 오버 클락 모드의 썸네일(3101)에 대한 사용자 응시가 감지된 경우, 해당 썸네일이 확대된 상태에서 재생되도록 제어할 수 있다.
상술한 설명에서는, 전자 장치에서 전방위 컨텐츠의 촬영 모드 또는 전방위 컨텐츠에 포함된 이미지의 특성에 기초하여 썸네일 모드를 결정하는 방식에 대해 설명하였으나, 다양한 실시예에 따르면, 촬영 모드는 사용자 입력에 기초하여 결정될 수 있다.
도 32는 본 발명의 다양한 실시예에 따른 전자 장치에서 사용자 입력에 기초하여 썸네일 모드를 결정하는 화면 구성을 도시한다.
도 32를 참조하면, 전자 장치는 전자 장치에 저장된 전방위 컨텐츠들을 카테고리별로 표시할 수 있다. 전자 장치는 사용자 입력에 기초하여, 특정 카테고리(예: 2016 summer vacation)에 대한 사용자 입력(3201)이 감지되는 경우, 사용자 입력이 감지된 카테고리에 포함된 전방위 컨텐츠들에 대한 썸네일들을 표시할 수 있다. 표시되는 썸네일들은 촬영 모드 또는 이미지 특성에 대응되는 썸네일 모드에 따라 생성된 썸네일일 수 있다. 전자 장치는 사용자 입력(3203, 3205)에 의해 썸네일 변경 이벤트가 발생됨을 감지하고, 지원 가능한 썸네일 모드들을 포함하는 썸네일 모드 선택 목록(3207)을 표시할 수 있다. 썸네일 모드 선택 목록(3207)은 예를 들어, 회전 모드, 플래닛 모드, 오버 클락 모드, 구 모드, 또는 타임 슬라이스 모드를 포함할 수 있다. 전자 장치는 썸네일 모드 선택 목록(3207)에 포함된 썸네일 모드들 중에서 사용자 입력에 기초하여 선택되는 썸네일 모드를 특정 카테고리에 포함된 전방위 컨텐츠들에 대한 썸네일 모드로 결정할 수 있다. 예컨대, 전자 장치는 썸네일 모드 선택 목록(3207)에서 플래닛 모드에 대한 사용자 입력이 감지되는 경우, 2016 summer vacation 카테고리에 포함된 전방위 컨텐츠들에 대한 썸네일 모드를 플래닛 모드로 결정하고, 해당 전방위 컨텐츠들에 대해 플래닛 모드의 썸네일을 생성할 수 있다. 전자 장치는 생성된 플래닛 모드의 썸네일을 화면에 표시할 수 있다.
상술한 도 32에서는 사용자 입력에 기초하여 카테고리에 포함된 전방위 컨텐츠들의 썸네일 모드를 변경하는 방식에 대해 설명하였다. 그러나, 이는 예시적인 것으로서, 본 발명은 이에 한정되지 않는다. 예를 들어, 다양한 실시예에 따르면, 사용자 입력에 기초하여 각 컨텐츠 별로 썸네일 모드를 변경할 수 있다.
본 발명의 다양한 실시예에 따르면, 전자 장치의 동작 방법은, 컨텐츠에 대한 썸네일 생성 이벤트가 감지되는 것에 대한 응답으로, 상기 컨텐츠에 포함된 이미지에 기초하여, 시점 변화에 대응되는 적어도 하나의 변형된 이미지를 획득하는 동작, 상기 획득된 적어도 하나의 변형된 이미지를 3차원 객체에 매핑하는 동작, 상기 3차원 객체에 매핑된 이미지의 적어도 일부를 포함하는 적어도 하나의 부분 이미지를 획득하는 동작, 상기 획득된 적어도 하나의 부분 이미지를 포함하는 썸네일 컨텐츠를 생성하는 동작, 상기 썸네일 컨텐츠를 표시하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 적어도 하나의 부분 이미지를 획득하는 동작은, 가상 카메라의 시점 또는 상기 3차원 객체의 모션 중 적어도 하나를 제어하여 상기 3차원 객체에 매핑된 이미지의 적어도 일부를 포함하는 적어도 하나의 부분 이미지를 획득하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 시점 변화에 대응되는 적어도 하나의 변형된 이미지를 획득하는 동작은, 상기 컨텐츠에 포함된 이미지를 x축 또는 y축 중 어느 하나의 방향으로 이동시키는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 전자 장치의 동작 방법은, 상기 획득된 적어도 하나의 변형된 이미지로부터 적어도 하나의 이미지 조각을 획득하는 동작, 상기 획득된 이미지 조각을 상기 적어도 하나의 부분 이미지의 제1 영역에 합성하는 동작을 더 포함하며, 상기 썸네일 컨텐츠는 상기 제1 영역이 합성된 부분 이미지를 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 적어도 하나의 부분 이미지를 획득하는 동작은, 상기 3차원 객체에 매핑된 이미지로부터 복수개의 이미지 조각을 획득하는 동작, 상기 획득된 복수개의 이미지 조각을 포함하는 다른 3차원 객체를 생성하는 동작, 및 가상 카메라의 시점을 제어하여 상기 다른 3차원 객체에 매핑된 이미지의 적어도 일부를 포함하는 적어도 하나의 부분 이미지를 획득하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 복수개의 이미지 조각은, 피사체의 움직임, 피사체의 소리 발생 여부, 피사체의 얼굴 인식 여부, 또는 패턴의 변화 중 적어도 하나에 기초하여 획득될 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 전자 장치의 동작 방법은, 상기 컨텐츠의 촬영 모드 또는 이미지 특성에 기초하여 썸네일 모드를 결정하는 동작, 및 상기 결정된 썸네일 모드에 기초하여 상기 썸네일 컨텐츠를 생성하는 동작을 더 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 전자 장치의 동작 방법은 제1 사용자 입력에 기초하여 상기 컨텐츠의 썸네일 모드를 변경하는 동작, 상기 변경된 썸네일 모드에 기초하여 상기 썸네일 컨텐츠를 생성하는 동작을 더 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 전자 장치의 동작 방법은, 제2 사용자 입력, 상기 썸네일 컨텐츠의 표시 크기, 또는 상기 썸네일 컨텐츠의 전체 표시 여부 중 적어도 하나에 기초하여 상기 썸네일 컨텐츠를 재생하는 동작을 더 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 전자 장치의 동작 방법은, 상기 썸네일 컨텐츠에 깊이 정보를 추가하는 동작을 더 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 전자 장치의 동작 방법은, 컨텐츠에 대한 썸네일 생성 이벤트가 감지되는 것에 대한 응답으로, 상기 컨텐츠에 포함된 복수개의 이미지들을 획득하는 동작, 상기 복수개의 이미지들로부터 복수개의 이미지 조각을 획득하는 동작, 상기 획득된 복수개의 이미지 조각을 포함하는 썸네일 컨텐츠를 생성하는 동작, 및 상기 썸네일 컨텐츠를 표시하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 컨텐츠에 포함된 복수개의 이미지들을 획득하는 동작, 상기 컨텐츠의 재생 시간에 기초하여 이미지 조각 수를 결정하는 동작, 및 상기 결정된 이미지 조각 수에 기초하여 상기 복수개의 이미지를 획득하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 복수개의 이미지 조각은 서로 다른 영역에 대응될 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 전자 장치의 동작 방법은, 상기 썸네일 컨텐츠에 포함된 복수개의 이미지 조각 중에서 제1 이미지 조각을 선택하기 위한 사용자 입력을 감지하는 동작, 상기 사용자 입력이 감지된 것에 대한 응답으로, 상기 제1 이미지 조각에 대응되는 시점에 기초하여 상기 컨텐츠를 재생하는 동작을 더 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 전자 장치의 동작 방법은, 상기 컨텐츠의 재생 중에 재생 시점을 변경하기 위한 이벤트를 감지하는 동작, 상기 재생 시점 변경 이벤트가 감지된 것에 대한 응답으로, 상기 썸네일 컨텐츠를 표시하는 동작, 상기 썸네일 컨텐츠에 포함된 복수개의 이미지 조각 중에서 제1 이미지 조각을 선택하기 위한 사용자 입력을 감지하는 동작, 상기 사용자 입력이 감지된 것에 대한 응답으로, 상기 제1 이미지 조각에 대응되는 시점으로 상기 컨텐츠의 재생 시점을 변경하는 동작, 및 상기 변경된 재생 시점에 기초하여 상기 컨텐츠를 재생하는 동작을 더 포함할 수 있다.

Claims (20)

  1. 전자 장치에 있어서,
    표시 장치;
    적어도 하나의 프로세서; 및
    상기 프로세서와 연결된 메모리를 포함하며,
    상기 메모리는, 실행될 때 상기 프로세서로 하여금,
    전방위 컨텐츠에 대한 썸네일 생성 이벤트가 감지되는 것에 대한 응답으로, 상기 전방위 컨텐츠에 대한 적어도 하나의 2차원 이미지를 획득하고,
    상기 적어도 하나의 2차원 이미지를 x축 또는 y축의 방향으로 이동시켜 시점 변화에 대응되는 적어도 하나의 변형된 2차원 이미지를 획득하고,
    상기 획득된 적어도 하나의 변형된 2차원 이미지를 3차원 객체에 매핑하고,
    상기 3차원 객체에 매핑된 이미지의 적어도 일부를 포함하는 적어도 하나의 부분 이미지를 획득하고,
    상기 획득된 적어도 하나의 부분 이미지를 포함하는 썸네일 컨텐츠를 생성하고,
    상기 표시 장치를 제어하여 상기 썸네일 컨텐츠를 표시하도록 제어하는 인스트럭션들을 저장하는 전자 장치.
  2. 제1항에 있어서,
    상기 인스트럭션들은, 상기 프로세서로 하여금,
    가상 카메라의 시점 또는 상기 3차원 객체의 모션 중 적어도 하나를 제어하여 상기 3차원 객체에 매핑된 이미지의 적어도 일부를 포함하는 적어도 하나의 부분 이미지를 획득하도록 제어하는 전자 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 인스트럭션들은, 상기 프로세서로 하여금,
    상기 획득된 적어도 하나의 변형된 이미지로부터 적어도 하나의 이미지 조각을 획득하고,
    상기 획득된 이미지 조각을 상기 적어도 하나의 부분 이미지의 제1 영역에 합성하고,
    상기 제1 영역이 합성된 부분 이미지를 포함하는 썸네일 컨텐츠를 생성하도록 제어하는 전자 장치.
  5. 제1항에 있어서,
    상기 인스트럭션들은, 상기 프로세서로 하여금,
    상기 3차원 객체에 매핑된 이미지로부터 복수개의 이미지 조각을 획득하고,
    상기 획득된 복수개의 이미지 조각을 포함하는 다른 3차원 객체를 생성하고,
    가상 카메라의 시점을 제어하여 상기 다른 3차원 객체에 매핑된 이미지의 적어도 일부를 포함하는 적어도 하나의 부분 이미지를 획득하고, 상기 획득된 적어도 하나의 부분 이미지를 포함하는 썸네일 컨텐츠를 생성하도록 제어하는 전자 장치.
  6. 제5항에 있어서,
    상기 인스트럭션들은, 상기 프로세서로 하여금,
    피사체의 움직임, 피사체의 소리 발생 여부, 피사체의 얼굴 인식 여부, 또는 패턴의 변화 중 적어도 하나에 기초하여 상기 복수개의 이미지 조각을 획득하도록 제어하는 전자 장치.
  7. 제1항에 있어서,
    상기 인스트럭션들은, 상기 프로세서로 하여금,
    상기 전방위 컨텐츠의 촬영 모드 또는 이미지 특성에 기초하여 썸네일 모드를 결정하고,
    상기 결정된 썸네일 모드에 기초하여 상기 썸네일 컨텐츠를 생성하도록 제어하는 전자 장치.
  8. 제1항에 있어서,
    상기 인스트럭션들은 상기 프로세서로 하여금,
    제1 사용자 입력에 기초하여 상기 전방위 컨텐츠의 썸네일 모드를 변경하고,
    상기 변경된 썸네일 모드에 기초하여 상기 썸네일 컨텐츠를 생성하도록 제어하는 전자 장치.
  9. 제1항에 있어서,
    상기 인스트럭션들은 상기 프로세서로 하여금
    제2 사용자 입력, 상기 썸네일 컨텐츠의 표시 크기, 또는 상기 썸네일 컨텐츠의 전체 표시 여부 중 적어도 하나에 기초하여 상기 썸네일 컨텐츠를 재생하도록 제어하는 전자 장치.
  10. 제1항에 있어서,
    상기 인스트럭션들은 상기 프로세서로 하여금
    상기 썸네일 컨텐츠에 깊이 정보를 추가하도록 제어하는 전자 장치.
  11. 전자 장치에 있어서,
    표시 장치;
    적어도 하나의 프로세서; 및
    상기 프로세서와 연결된 메모리를 포함하며,
    상기 메모리는, 실행될 때 상기 프로세서로 하여금,
    전방위 컨텐츠에 대한 썸네일 생성 이벤트가 감지되는 것에 대한 응답으로, 상기 전방위 컨텐츠에 포함된 서로 다른 시점에 대응되는 복수개의 이미지들을 획득하고,
    상기 복수개의 이미지들로부터 복수개의 이미지 조각을 획득하고,
    상기 획득된 복수개의 이미지 조각을 합성하여 썸네일 컨텐츠를 생성하고,
    상기 표시 장치를 제어하여 상기 썸네일 컨텐츠를 표시하고,
    상기 썸네일 컨텐츠에 포함된 상기 복수개의 이미지 조각 중에서 제1 이미지 조각을 선택하기 위한 사용자 입력을 감지하고,
    상기 사용자 입력이 감지된 것에 대한 응답으로, 상기 제1 이미지 조각에 대응되는 시점에 기초하여 상기 전방위 컨텐츠를 재생하도록 제어하는 인스트럭션들을 저장하는 전자 장치.
  12. 제 11항에 있어서,
    상기 인스트럭션들은 상기 프로세서로 하여금,
    상기 전방위 컨텐츠의 재생 시간에 기초하여 이미지 조각 수를 결정하고,
    상기 결정된 이미지 조각 수에 기초하여 상기 복수개의 이미지를 획득하도록 제어하는 인스트럭션들을 저장하는 전자 장치.
  13. 제 11항에 있어서,
    상기 복수개의 이미지 조각은 서로 다른 영역에 대응되는 전자 장치.
  14. 삭제
  15. 제 11항에 있어서,
    상기 인스트럭션들은 상기 프로세서로 하여금,
    상기 전방위 컨텐츠의 재생 중에 재생 시점을 변경하기 위한 이벤트를 감지하고,
    상기 재생 시점 변경 이벤트가 감지된 것에 대한 응답으로, 상기 썸네일 컨텐츠를 표시하고,
    상기 사용자 입력이 감지된 것에 대한 응답으로, 상기 제1 이미지 조각에 대응되는 시점으로 상기 전방위 컨텐츠의 재생 시점을 변경하고,
    상기 변경된 재생 시점에 기초하여 상기 전방위 컨텐츠를 재생하도록 제어하는 인스트럭션들을 저장하는 전자 장치.
  16. 전자 장치의 동작 방법에 있어서,
    전방위 컨텐츠에 대한 썸네일 생성 이벤트가 감지되는 것에 대한 응답으로, 상기 전방위 컨텐츠에 대한 적어도 하나의 2차원 이미지를 획득하는 동작;
    상기 적어도 하나의 2차원 이미지를 x축 또는 y축의 방향으로 이동시켜 시점 변화에 대응되는 적어도 하나의 변형된 2차원 이미지를 획득하는 동작;
    상기 획득된 적어도 하나의 변형된 2차원 이미지를 3차원 객체에 매핑하는 동작;
    상기 3차원 객체에 매핑된 이미지의 적어도 일부를 포함하는 적어도 하나의 부분 이미지를 획득하는 동작;
    상기 획득된 적어도 하나의 부분 이미지를 포함하는 썸네일 컨텐츠를 생성하는 동작; 및
    상기 썸네일 컨텐츠를 표시하는 동작을 포함하는 방법.
  17. 제16항에 있어서,
    상기 적어도 하나의 부분 이미지를 획득하는 동작은,
    가상 카메라의 시점 또는 상기 3차원 객체의 모션 중 적어도 하나를 제어하여 상기 3차원 객체에 매핑된 이미지의 적어도 일부를 포함하는 적어도 하나의 부분 이미지를 획득하는 동작을 포함하는 방법.
  18. 삭제
  19. 전자 장치의 동작 방법에 있어서,
    전방위 컨텐츠에 대한 썸네일 생성 이벤트가 감지되는 것에 대한 응답으로, 상기 전방위 컨텐츠에 포함된 서로 다른 시점에 대응되는 복수개의 이미지들을 획득하는 동작;
    상기 복수개의 이미지들로부터 복수개의 이미지 조각을 획득하는 동작;
    상기 획득된 복수개의 이미지 조각을 합성하여 썸네일 컨텐츠를 생성하는 동작;
    상기 썸네일 컨텐츠를 표시하는 동작;
    상기 썸네일 컨텐츠에 포함된 상기 복수개의 이미지 조각 중에서 제1 이미지 조각을 선택하기 위한 사용자 입력을 감지하는 동작; 및
    상기 사용자 입력이 감지된 것에 대한 응답으로, 상기 제1 이미지 조각에 대응되는 시점에 기초하여 상기 전방위 컨텐츠를 재생하는 동작을 포함하는 방법.
  20. 삭제
KR1020170128079A 2017-09-29 2017-09-29 컨텐츠를 표시하기 위한 장치 및 그의 동작 방법 KR102396526B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170128079A KR102396526B1 (ko) 2017-09-29 2017-09-29 컨텐츠를 표시하기 위한 장치 및 그의 동작 방법
PCT/KR2018/011506 WO2019066537A1 (ko) 2017-09-29 2018-09-28 컨텐츠를 표시하기 위한 장치 및 그의 동작 방법
US16/652,145 US11290700B2 (en) 2017-09-29 2018-09-28 Device for displaying content and operation method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170128079A KR102396526B1 (ko) 2017-09-29 2017-09-29 컨텐츠를 표시하기 위한 장치 및 그의 동작 방법

Publications (2)

Publication Number Publication Date
KR20190038071A KR20190038071A (ko) 2019-04-08
KR102396526B1 true KR102396526B1 (ko) 2022-05-11

Family

ID=65903188

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170128079A KR102396526B1 (ko) 2017-09-29 2017-09-29 컨텐츠를 표시하기 위한 장치 및 그의 동작 방법

Country Status (3)

Country Link
US (1) US11290700B2 (ko)
KR (1) KR102396526B1 (ko)
WO (1) WO2019066537A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240003488A (ko) * 2022-07-01 2024-01-09 오스템임플란트 주식회사 환자 관리 시스템을 위한 썸네일 제공 방법 및 상기 방법을 수행하는 컴퓨팅 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150070463A1 (en) * 2013-09-06 2015-03-12 Canon Kabushiki Kaisha Image recording apparatus and imaging apparatus
US20170064374A1 (en) * 2015-08-26 2017-03-02 Lg Electronics Inc. Mobile terminal and method for controlling the same

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4146938B2 (ja) 1998-09-08 2008-09-10 オリンパス株式会社 パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体
JP4138425B2 (ja) * 2002-09-25 2008-08-27 シャープ株式会社 画像表示装置および方法
KR101655804B1 (ko) * 2010-01-15 2016-09-08 엘지전자 주식회사 3d 썸네일을 표시하는 영상표시장치 및 그 동작 제어방법
KR101988313B1 (ko) 2013-01-04 2019-06-12 엘지전자 주식회사 이동 단말기 및 이의 제어 방법, 및 이의 기록 매체
JP6167703B2 (ja) 2013-07-08 2017-07-26 株式会社リコー 表示制御装置、プログラム及び記録媒体
US11086396B2 (en) * 2017-03-31 2021-08-10 Sony Interactive Entertainment LLC Depth-keying of web content
US10417276B2 (en) * 2017-05-15 2019-09-17 Adobe, Inc. Thumbnail generation from panoramic images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150070463A1 (en) * 2013-09-06 2015-03-12 Canon Kabushiki Kaisha Image recording apparatus and imaging apparatus
US20170064374A1 (en) * 2015-08-26 2017-03-02 Lg Electronics Inc. Mobile terminal and method for controlling the same

Also Published As

Publication number Publication date
US11290700B2 (en) 2022-03-29
US20200252594A1 (en) 2020-08-06
WO2019066537A1 (ko) 2019-04-04
KR20190038071A (ko) 2019-04-08

Similar Documents

Publication Publication Date Title
US11138434B2 (en) Electronic device for providing shooting mode based on virtual character and operation method thereof
JP7058760B2 (ja) 画像処理方法およびその、装置、端末並びにコンピュータプログラム
US11189102B2 (en) Electronic device for displaying object for augmented reality and operation method therefor
KR102495763B1 (ko) 제1 이미지 처리 방식으로 보정된 이미지를 제2 이미지 처리 방식을 이용하여 외부 전자 장치에서 보정하기 위한 전자 장치 및 방법
CN112907725B (zh) 图像生成、图像处理模型的训练、图像处理方法和装置
KR20200101741A (ko) 영상에 보케 효과를 적용하는 전자 장치 및 그 제어 방법
KR20200092631A (ko) 슬로 모션 영상 생성 방법 및 장치
US11062422B2 (en) Image processing apparatus, image communication system, image processing method, and recording medium
KR20190096189A (ko) 시선에 기반한 관심 영역 검출 방법 및 이를 위한 전자 장치
KR102330264B1 (ko) 움직임 정보에 기반하여 동영상을 재생하기 위한 장치 및 그의 동작 방법
US11144197B2 (en) Electronic device performing function according to gesture input and operation method thereof
JP6720778B2 (ja) 画像管理システム、画像管理方法、及びプログラム
CN108492339B (zh) 获取资源压缩包的方法、装置、电子设备及存储介质
KR102512839B1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
US11238622B2 (en) Method of providing augmented reality contents and electronic device therefor
KR102396526B1 (ko) 컨텐츠를 표시하기 위한 장치 및 그의 동작 방법
KR20190098583A (ko) 이미지 표시를 제어하는 전자 장치 및 방법
KR102402457B1 (ko) 콘텐츠 처리 방법 및 이를 지원하는 전자 장치
US11205404B2 (en) Information displaying method and electronic device therefor
CN112887663A (zh) 图像显示方法、图像通信系统、摄影装置、以及存储介质
KR20210079956A (ko) 네트워크를 통해 영상 처리 서비스를 제공하는 전자 장치
US11700455B2 (en) Image capturing device, image communication system, and method for display control
KR20190101802A (ko) 전자 장치 및 그의 증강 현실 객체 제공 방법
KR20190096697A (ko) 전자 장치 및 전자 장치의 전 방향 영상 표시 방법
KR20210012562A (ko) 아바타를 제공하는 전자 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right