KR20180042551A - 전자 장치 및 그의 제어 방법 - Google Patents

전자 장치 및 그의 제어 방법 Download PDF

Info

Publication number
KR20180042551A
KR20180042551A KR1020160134819A KR20160134819A KR20180042551A KR 20180042551 A KR20180042551 A KR 20180042551A KR 1020160134819 A KR1020160134819 A KR 1020160134819A KR 20160134819 A KR20160134819 A KR 20160134819A KR 20180042551 A KR20180042551 A KR 20180042551A
Authority
KR
South Korea
Prior art keywords
input
electronic device
image data
virtual
image
Prior art date
Application number
KR1020160134819A
Other languages
English (en)
Other versions
KR102576654B1 (ko
Inventor
최보근
강두석
전용준
김건수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160134819A priority Critical patent/KR102576654B1/ko
Priority to US15/784,435 priority patent/US10911818B2/en
Publication of KR20180042551A publication Critical patent/KR20180042551A/ko
Application granted granted Critical
Publication of KR102576654B1 publication Critical patent/KR102576654B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits

Abstract

다양한 실시예에 따르면, 전자 장치는, 제1 방향으로 향하는 제1 표면 및 상기 제1 방향과 반대인 제2 방향으로 향하는 제2 표면을 포함하는 하우징; 터치스크린 디스플레이; 상기 터치스크린 디스플레이에 대해 외부 오브젝트에 의한 압력을 검출하도록 구성된 입력 센서; 이미지 센서; 무선 통신 회로; 적어도 하나의 프로세서; 및 상 메모리를 포함하며, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 터치스크린 디스플레이 상에 사용자 인터페이스를 디스플레이하고, 상기 사용자 인터페이스는 상기 이미지 센서로부터의 데이터의 적어도 일부에 기반하여, 이미지 및/또는 비디오를 나타내도록 구성되며, 상기 터치스크린 디스플레이를 통해 상기 이미지 및/또는 비디오 내 오브젝트에 대한 터치 입력을 검출하고, 상기 사용자 인터페이스 상에 상기 오브젝트와 관련된 정보를 디스플레이하고, 상기 이미지 및/또는 비디오를 디스플레이하는 동안, 상기 터치스크린 디스플레이에 대한 외부 오브젝트에 의한 압력을 검출하고, 상기 검출된 압력의 적어도 일부에 기반하여, 상기 이미지 센서에 대한 주밍(zooming) 동작을 수행하도록 하는 인스트럭션들을 저장할 수 있다. 다양한 실시예가 가능하다.

Description

전자 장치 및 그의 제어 방법{ELECTRONIC APPARATUS AND CONTROLLING METHOD THEREOF}
본 개시는 전자 장치에 관한 것으로, 특히 전자 장치의 압력 센서 및/또는 터치 센서를 이용해 가상 현실/증강 현실과 같은 리얼리티 서비스를 제어하는 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있다. 특히, 최근에는 스마트폰, 테블릿 PC 등과 같이 다양한 기능을 가지는 휴대용 전자 장치의 보급이 확대되고 있다.
최근에는 이러한 휴대용 전자 장치를 이용하여 가상 현실(virtual reality; VR) 및/또는 증강 현실(augmented reality; AR)과 같은 리얼리티 서비스(reality service)를 구현할 수 있다. 상기 리얼리티 서비스 환경에서 보다 직관적이고 간편한 입력 조작을 통해 상기 리얼리티 서비스를 더욱 용이하게 제어하기 위한 노력이 계속되고 있다.
상기 리얼리티 서비스 수행 시, 전자 장치의 동작을 제어하기 위해, 터치 입력과 압력 입력을 의도에 따라 선택적으로 입력할 수 있다. 이와 같이, 상기 전자 장치의 입력 소스가 하나가 아닌 복수개가 되면 상기 사용자에게 요구되는 학습의 양은 더 많아지게 되며, 이에 따라 사용자가 학습해야 하는 양도 많아 사용자의 편의성이 저하될 수 있다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치의 압력센서 및/또는 터치센서를 통해 입력되는 입력의 타입, 위치, 크기나 강도(세기), 유지 시간, 횟수 또는 방향 등에 따라 가상현실(VR) 또는 증강현실(AR)에서 사용자에게 요구되는 학습을 최소화하고, 상기 입력의 특성에 대응하는 직관적인 UI/UX를 통해 사용자가 직관적으로 제어할 수 있는 전자 장치 및 그의 제어 방법을 제공할 수 있다.
다양한 실시예들에 따르면, 전자 장치는, 제1 방향으로 향하는 제1 표면 및 상기 제1 방향과 반대인 제2 방향으로 향하는 제2 표면을 포함하는 하우징; 상기 제1 표면 및 상기 제2 표면 사이에 배치되며, 상기 제1 표면을 통해 노출된 터치스크린 디스플레이; 상기 제1 표면 및 상기 제2 표면 사이에 배치되며, 상기 터치스크린 디스플레이에 대해 외부 오브젝트에 의한 압력을 검출하도록 구성된 압력 센서; 상기 제2 표면을 통해 노출되도록 배치된 이미지 센서; 상기 하우징 내부에 배치된 무선 통신 회로; 상기 터치스크린 디스플레이, 상기 압력 센서, 상기 이미지 센서 및 상기 무선 통신 회로에 전기적으로 연결된 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 전기적으로 연결된 메모리를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 터치스크린 디스플레이 상에 사용자 인터페이스를 디스플레이하고, 상기 사용자 인터페이스는 상기 이미지 센서로부터의 데이터의 적어도 일부에 기반하여, 이미지 및/또는 비디오를 나타내도록 구성되며, 상기 터치스크린 디스플레이를 통해 상기 이미지 및/또는 비디오 내 오브젝트에 대한 터치 입력을 검출하고, 상기 사용자 인터페이스 상에 상기 오브젝트와 관련된 정보를 디스플레이하고, 상기 이미지 및/또는 비디오를 디스플레이하는 동안, 상기 압력 센서를 이용하여 상기 터치스크린 디스플레이에 대한 외부 오브젝트에 의한 압력을 검출하고, 상기 검출된 압력의 적어도 일부에 기반하여, 상기 이미지 센서에 대한 주밍(zooming) 동작을 수행하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시예에 따른 전자 장치는, 제1 방향으로 향하는 제1 표면 및 상기 제1 방향과 반대인 제2 방향으로 향하는 제2 표면을 포함하는 하우징; 상기 제1 표면 및 상기 제2 표면 사이에 배치되며, 상기 제1 표면을 통해 노출된 터치스크린 디스플레이; 상기 제2 표면을 통해 노출되도록 배치된 이미지 센서; 상기 하우징 내부에 배치된 무선 통신 회로; 상기 터치스크린 디스플레이, 상기 이미지 센서 및 상기 무선 통신 회로에 전기적으로 연결된 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 전기적으로 연결된 메모리를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 터치스크린 디스플레이 상에 사용자 인터페이스를 디스플레이하고, 상기 사용자 인터페이스는 상기 이미지 센서로부터의 데이터의 적어도 일부에 기반하여, 이미지 및/또는 비디오를 나타내도록 구성되며, 상기 터치스크린 디스플레이를 통해 상기 이미지 및/또는 비디오 내 오브젝트에 대한 제1 입력을 검출하고, 상기 사용자 인터페이스 상에 상기 오브젝트와 관련된 정보를 디스플레이하고, 상기 이미지 및/또는 비디오를 디스플레이하는 동안, 제2 입력을 검출하고, 상기 제2 입력에 응답하여, 상기 이미지 센서에 대한 주밍(zooming) 동작을 수행하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시예에 따른 전자 장치는, 제1 방향으로 향하는 제1 표면 및 상기 제1 방향과 반대인 제2 방향으로 향하는 제2 표면을 포함하는 하우징; 상기 제1 표면 및 상기 제2 표면 사이에 배치되며, 상기 제1 표면을 통해 노출된 터치스크린 디스플레이; 상기 제1 표면 및 상기 제2 표면 사이에 배치되며, 상기 터치스크린 디스플레이에 대해 외부 오브젝트에 의한 압력을 검출하도록 구성된 입력 센서; 상기 제2 표면을 통해 노출되도록 배치된 이미지 센서; 상기 하우징 내부에 배치된 무선 통신 회로; 상기 터치스크린 디스플레이, 상기 압력 센서, 상기 이미지 센서 및 상기 무선 통신 회로에 전기적으로 연결된 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 전기적으로 연결된 메모리를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 터치스크린 디스플레이 상에 사용자 인터페이스를 디스플레이하고, 상기 사용자 인터페이스는 상기 메모리에 저장 및/또는 상기 무선 통신 회로를 통해 수신된 이미지 및/또는 비디오를 나타내도록 구성되며, 상기 터치스크린 디스플레이를 통해 상기 이미지 및/또는 비디오 내 오브젝트에 대한 터치 입력을 검출하고, 상기 사용자 인터페이스 상에 상기 오브젝트와 관련된 정보를 디스플레이하고, 상기 이미지 및/또는 비디오를 디스플레이 하는 동안, 상기 압력 센서를 이용하여 상기 터치스크린 디스플레이에 대한 외부 오브젝트에 의한 압력을 검출하고, 상기 검출된 압력의 적어도 일부에 기반하여, 상기 이미지 및/또는 비디오와 관련된 시각 효과 동작을 수행하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시예에 따른 전자 장치는, 영상 데이터를 획득하는 이미지 센서; 하나의 이상의 외부 전자 장치로부터 상기 획득된 영상 데이터와 관련된 정보를 수신하는 통신 회로; 상기 획득된 영상 데이터 또는 상기 획득된 영상 데이터와 관련된 정보 중 적어도 일부를 출력하는 디스플레이; 입력되고 있는 검출하는 입력 센서; 및 상기 획득된 영상 데이터에 기반하여 상기 전자 장치의 현재 시점을 결정하고, 상기 결정된 현재 시점에서 생성된 제1 가상 영상을 디스플레이 하는 동안 상기 입력이 검출되면, 상기 검출된 입력에 대응하는 상기 전자 장치의 가상 이동 시점을 결정하고, 상기 결정된 가상 이동 시점에서 생성된 제2 가상 영상을 디스플레이하도록 구성된 프로세서를 포함할 수 있다.
다양한 실시예에 따른 전자 장치의 제어 방법은, 영상 데이터를 획득하는 동작; 상기 획득된 영상 데이터에 기반하여 상기 전자 장치의 현재 시점을 결정하는 동작; 상기 결정된 현재 시점에서 생성된 제1 가상 영상을 디스플레이 하는 동안 입력이 검출되면, 상기 검출된 입력에 대응하는 상기 전자 장치의 가상 이동 시점을 결정하는 동작; 상기 결정된 가상 이동 시점에서 생성된 제2 가상 영상을 디스플레이 하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 가상 현실(VR) 및/또는 증강 현실(AR)과 같은 리얼리티 서비스 환경을 제공하는 전자 장치에서 사용자는 터치 입력 이외에 사용자의 압력 입력을 통한 서비스를 제공할 수 있다. 예를 들어, 상기 전자 장치의 압력센서 및/또는 터치센서를 통해 입력되는 입력의 타입, 위치, 크기(또는 강도(세기)), 유지 시간, 횟수 또는 방향 중 적어도 하나에 대응하는 직관적인 UI/UX를 제공함으로써 가상 현실(VR) 또는 증강 현실(AR)과 같은 리얼리티 서비스에서 사용자에게 요구되는 학습을 최소화하여 사용자의 편의성 및 상기 전자 장치의 사용성을 향상시킬 수 있다.
도 1은 다양한 실시예에 따른 네트워크 환경 내의 전자 장치가 기재된다.
도 2는 다양한 실시예에 따른 전자 장치의 블록도이다.
도 3은 다양한 실시예에 따른 프로그램 모듈의 블록도이다.　
도 4a는 다양한 실시예에 따른 전자 장치의 블록도이다.
도 4b는 다양한 실시예에 따른 전자 장치의 입력 센서의 동작을 나타내는 예시도이다.
도 4c는 다양한 실시예에 따른 전자 장치의 프로세서의 블록도이다.
도 5는 다양한 실시예에 따른 전자 장치의 제어 방법을 나타내는 흐름도이다.
도 6은 다양한 실시예에 따른 전자 장치의 제어 방법을 나타내는 흐름도이다.
도 7은 다양한 실시예에 따른 전자 장치의 제어 방법을 나타내는 흐름도이다.
도 8은 다양한 실시예에 따른 전자 장치의 제어 방법을 나타내는 흐름도이다.
도 9a및 9b는 다양한 실시예에 따른 전자 장치의 제어 방법을 나타내는 흐름도들이다.
도 10a 및 10b는 다양한 실시예에 따른 전자 장치의 현재 시점 및 가상 시점을 나타내는 도면들이다.
도 11a 내지 11b는 다양한 실시예에 따른 전자 장치의 사용자 인터페이스 화면들이다.
도 12a 내지 12i는 다양한 실시예에 따른 전자 장치의 사용자 인터페이스 화면들이다.
도 13a 내지 13c는 다양한 실시예에 따른 전자 장치의 입력 타입에 따른 인터페이스 화면들이다.
도 14a 내지 14c는 다양한 실시예에 따른 전자 장치의 사용자 인터페이스 화면들이다.
도 15a 내지 15e는 다양한 실시예에 따른 전자 장치의 사용자 인터페이스 화면들이다.
이하, 본 문서의 다양한 실시예가 첨부된 도면을 참조하여 기재된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1," "제 2," "첫째," 또는 "둘째," 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에 따르면, 전자 장치는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 전자 장치는 플렉서블하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1을 참조하여, 다양한 실시예에서의, 네트워크 환경(100) 내의 전자 장치(101)가 기재된다. 전자 장치(101)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(150), 디스플레이(160), 및 통신 인터페이스(170)를 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다. 버스(110)는 구성요소들(110-170)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 또는 데이터)을 전달하는 회로를 포함할 수 있다. 프로세서(120)는, 중앙처리장치, 어플리케이션 프로세서, 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(120)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(130)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(130)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시예에 따르면, 메모리(130)는 소프트웨어 및/또는 프로그램(140)을 저장할 수 있다. 프로그램(140)은, 예를 들면, 커널(141), 미들웨어(143), 어플리케이션 프로그래밍 인터페이스(API)(145), 및/또는 어플리케이션 프로그램(또는 "어플리케이션")(147) 등을 포함할 수 있다. 커널(141), 미들웨어(143), 또는 API(145)의 적어도 일부는, 운영 시스템으로 지칭될 수 있다. 커널(141)은, 예를 들면, 다른 프로그램들(예: 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 커널(141)은 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147)에서 전자 장치(101)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(143)는, 예를 들면, API(145) 또는 어플리케이션 프로그램(147)이 커널(141)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어(143)는 어플리케이션 프로그램(147)으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(143)는 어플리케이션 프로그램(147) 중 적어도 하나에 전자 장치(101)의 시스템 리소스(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)를 사용할 수 있는 우선 순위를 부여하고, 상기 하나 이상의 작업 요청들을 처리할 수 있다. API(145)는 어플리케이션(147)이 커널(141) 또는 미들웨어(143)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다. 입출력 인터페이스(150)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(101)의 다른 구성요소(들)에 전달하거나, 또는 전자 장치(101)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이(160)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(160)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)을 표시할 수 있다. 디스플레이(160)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다. 통신 인터페이스(170)는, 예를 들면, 전자 장치(101)와 외부 장치(예: 제 1 외부 전자 장치(102), 제 2 외부 전자 장치(104), 또는 서버(106)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(170)는 무선 통신 또는 유선 통신을 통해서 네트워크(162)에 연결되어 외부 장치(예: 제 2 외부 전자 장치(104) 또는 서버(106))와 통신할 수 있다.
무선 통신은, 예를 들면, LTE, LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 한 실시예에 따르면, 무선 통신은, 예를 들면, WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다. 한실시예에 따르면, 무선 통신은 GNSS를 포함할 수 있다. GNSS는, 예를 들면, GPS(Global Positioning System), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 “Beidou”) 또는 Galileo, the European global satellite-based navigation system일 수 있다. 이하, 본 문서에서는, “GPS”는 “GNSS”와 상호 호환적으로 사용될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크(162)는 텔레커뮤니케이션 네트워크, 예를 들면, 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크 중 적어도 하나를 포함할 수 있다.
제 1 및 제 2 외부 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 다양한 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(102,104), 또는 서버(106)에서 실행될 수 있다. 한 실시예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(102, 104), 또는 서버(106))에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버(106))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 다양한 실시예에 따른 전자 장치(201)의 블록도이다. 전자 장치(201)는, 예를 들면, 도 1에 도시된 전자 장치(101)의 전체 또는 일부를 포함할 수 있다. 전자 장치(201)는 하나 이상의 프로세서(예: AP)(210), 통신 모듈(220), 가입자 식별 모듈(224), 메모리(230), 센서 모듈(240), 입력 장치(250), 디스플레이(260), 인터페이스(270), 오디오 모듈(280), 카메라 모듈(291), 전력 관리 모듈(295), 배터리(296), 인디케이터(297), 및 모터(298) 를 포함할 수 있다. 프로세서(210)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(210)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 프로세서(210)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서를 더 포함할 수 있다. 프로세서(210)는 도 2에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(221))를 포함할 수도 있다. 프로세서(210) 는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드)하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.
통신 모듈(220)(예: 통신 인터페이스(170))와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(220)은, 예를 들면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227), NFC 모듈(228) 및 RF 모듈(229)를 포함할 수 있다. 셀룰러 모듈(221)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 가입자 식별 모듈(예: SIM 카드)(224)을 이용하여 통신 네트워크 내에서 전자 장치(201)의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 프로세서(210)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 커뮤니케이션 프로세서(CP)를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. RF 모듈(229)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(229)은, 예를 들면, 트랜시버, PAM(power amp module), 주파수 필터, LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다. 가입자 식별 모듈(224)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 또는 임베디드 SIM을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리(230)(예: 메모리(130))는, 예를 들면, 내장 메모리(232) 또는 외장 메모리(234)를 포함할 수 있다. 내장 메모리(232)는, 예를 들면, 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD) 중 적어도 하나를 포함할 수 있다. 외장 메모리(234)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다. 외장 메모리(234)는 다양한 인터페이스를 통하여 전자 장치(201)와 기능적으로 또는 물리적으로 연결될 수 있다.
센서 모듈(240)은, 예를 들면, 물리량을 계측하거나 전자 장치(201)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(240)은, 예를 들면, 제스처 센서(240A), 자이로 센서(240B), 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E), 그립 센서(240F), 근접 센서(240G), 컬러(color) 센서(240H)(예: RGB(red, green, blue) 센서), 생체 센서(240I), 온/습도 센서(240J), 조도 센서(240K), 또는 UV(ultra violet) 센서(240M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(240)은, 예를 들면, 후각(e-nose) 센서, 일렉트로마이오그라피(EMG) 센서, 일렉트로엔씨팔로그램(EEG) 센서, 일렉트로카디오그램(ECG) 센서, IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치(201)는 프로세서(210)의 일부로서 또는 별도로, 센서 모듈(240)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(210)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(240)을 제어할 수 있다.
입력 장치(250)는, 예를 들면, 터치 패널(252), (디지털) 펜 센서(254), 키(256), 또는 초음파 입력 장치(258)를 포함할 수 있다. 터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(252)은 제어 회로를 더 포함할 수도 있다. 터치 패널(252)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. (디지털) 펜 센서(254)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트를 포함할 수 있다. 키(256)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(258)는 마이크(예: 마이크(288))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(260)(예: 디스플레이(160))는 패널(262), 홀로그램 장치(264), 프로젝터(266), 및/또는 이들을 제어하기 위한 제어 회로를 포함할 수 있다. 패널(262)은, 예를 들면, 유연하게, 투명하게, 또는 착용할 수 있게 구현될 수 있다. 패널(262)은 터치 패널(252)과 하나 이상의 모듈로 구성될 수 있다. 한 실시예에 따르면, 패널(262)은 사용자의 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서(또는 포스 센서)를 포함할 수 있다. 상기 압력 센서는 터치 패널(252)과 일체형으로 구현되거나, 또는 터치 패널(252)과는 별도의 하나 이상의 센서로 구현될 수 있다. 홀로그램 장치(264)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(266)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(201)의 내부 또는 외부에 위치할 수 있다. 인터페이스(270)는, 예를 들면, HDMI(272), USB(274), 광 인터페이스(optical interface)(276), 또는 D-sub(D-subminiature)(278)를 포함할 수 있다. 인터페이스(270)는, 예를 들면, 도 1에 도시된 통신 인터페이스(170)에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스(270)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈(280)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(280)의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스(145)에 포함될 수 있다. 오디오 모듈(280)은, 예를 들면, 스피커(282), 리시버(284), 이어폰(286), 또는 마이크(288) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다. 카메라 모듈(291)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등)를 포함할 수 있다. 전력 관리 모듈(295)은, 예를 들면, 전자 장치(201)의 전력을 관리할 수 있다. 한 실시예에 따르면, 전력 관리 모듈(295)은 PMIC(power management integrated circuit), 충전 IC, 또는 배터리 또는 연료 게이지를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(296)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(296)는, 예를 들면, 충전식 전지 및/또는 태양 전지를 포함할 수 있다.
인디케이터(297)는 전자 장치(201) 또는 그 일부(예: 프로세서(210))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동, 또는 햅틱 효과 등을 발생시킬 수 있다. 전자 장치(201)는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(mediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있는 모바일 TV 지원 장치(예: GPU)를 포함할 수 있다. 본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 전자 장치(예: 전자 장치(201))는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함하거나, 또는, 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 3은 다양한 실시예에 따른 프로그램 모듈의 블록도이다. 한 실시예에 따르면, 프로그램 모듈(310)(예: 프로그램(140))은 전자 장치(예: 전자 장치(101))에 관련된 자원을 제어하는 운영 체제 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 운영 체제는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다. 도 3을 참조하면, 프로그램 모듈(310)은 커널(320)(예: 커널(141)), 미들웨어(330)(예: 미들웨어(143)), (API(360)(예: API(145)), 및/또는 어플리케이션(370)(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 전자 장치 상에 프리로드 되거나, 외부 전자 장치(예: 전자 장치(102, 104), 서버(106) 등)로부터 다운로드 가능하다.
커널(320)은, 예를 들면, 시스템 리소스 매니저(321) 및/또는 디바이스 드라이버(323)를 포함할 수 있다. 시스템 리소스 매니저(321)는 시스템 리소스의 제어, 할당, 또는 회수를 수행할 수 있다. 한 실시예에 따르면, 시스템 리소스 매니저(321)는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부를 포함할 수 있다. 디바이스 드라이버(323)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다. 미들웨어(330)는, 예를 들면, 어플리케이션(370)이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션(370)이 전자 장치 내부의 제한된 시스템 자원을 사용할 수 있도록 API(360)를 통해 다양한 기능들을 어플리케이션(370)으로 제공할 수 있다. 한 실시예에 따르면, 미들웨어(330) 는 런타임 라이브러리(335), 어플리케이션 매니저(341), 윈도우 매니저(342), 멀티미디어 매니저(343), 리소스 매니저(344), 파워 매니저(345), 데이터베이스 매니저(346), 패키지 매니저(347), 커넥티비티 매니저(348), 노티피케이션 매니저(349), 로케이션 매니저(350), 그래픽 매니저(351), 또는 시큐리티 매니저(352) 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리(335)는, 예를 들면, 어플리케이션(370)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리(335)는 입출력 관리, 메모리 관리, 또는 산술 함수 처리를 수행할 수 있다. 어플리케이션 매니저(341)는, 예를 들면, 어플리케이션(370)의 생명 주기를 관리할 수 있다. 윈도우 매니저(342)는 화면에서 사용되는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(343)는 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱을 이용하여 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(344)는 어플리케이션(370)의 소스 코드 또는 메모리의 공간을 관리할 수 있다. 파워 매니저(345)는, 예를 들면, 배터리의 용량 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보를 제공할 수 있다. 한 실시예에 따르면, 파워 매니저(345)는 바이오스(BIOS: basic input/output system)와 연동할 수 있다. 데이터베이스 매니저(346)는, 예를 들면, 어플리케이션(370)에서 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(347)는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다.
커넥티비티 매니저(348)는, 예를 들면, 무선 연결을 관리할 수 있다. 노티피케이션 매니저(349)는, 예를 들면, 도착 메시지, 약속, 근접성 알림 등의 이벤트를 사용자에게 제공할 수 있다. 로케이션 매니저(350)는, 예를 들면, 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저(351)는, 예를 들면, 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 보안 매니저(352)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다. 한 실시예에 따르면, 미들웨어(330)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화(telephony) 매니저 또는 전술된 구성요소들의 기능들의 조합을 형성할 수 있는 하는 미들웨어 모듈을 포함할 수 있다. 한 실시예에 따르면, 미들웨어(330)는 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 미들웨어(330)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. API(360)는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션(370)은, 예를 들면, 홈(371), 다이얼러(372), SMS/MMS(373), IM(instant message)(374), 브라우저(375), 카메라(376), 알람(377), 컨택트(378), 음성 다이얼(379), 이메일(380), 달력(381), 미디어 플레이어(382), 앨범(383), 와치(384), 헬스 케어(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보(예: 기압, 습도, 또는 온도 정보) 제공 어플리케이션을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 전자 장치와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리 어플리케이션을 포함할 수 있다. 예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션에서 발생된 알림 정보를 외부 전자 장치로 전달하거나, 또는 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치의 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴-온/턴-오프 또는 디스플레이의 밝기(또는, 해상도) 조절), 또는 외부 전자 장치에서 동작하는 어플리케이션을 설치, 삭제, 또는 갱신할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 외부 전자 장치의 속성에 따라 지정된 어플리케이션(예: 모바일 의료 기기의 건강 관리 어플리케이션)을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 외부 전자 장치로부터 수신된 어플리케이션을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어(예: 프로세서(210)), 또는 이들 중 적어도 둘 이상의 조합으로 구현(예: 실행)될 수 있으며, 하나 이상의 기능을 수행하기 위한 모듈, 프로그램, 루틴, 명령어 세트 또는 프로세스를 포함할 수 있다.
도 4a는 다양한 실시예에 따른 전자 장치의 블록도이고, 도 4b는 다양한 실시예에 따른 전자 장치의 입력 센서의 동작을 나타내는 예시도이며, 도 4c는 다양한 실시예에 따른 전자 장치의 프로세서의 블록도이다. 도 4a 내지 4c에서는 본 개시의 다양한 실시예와 관련된 구성부들만 도시하였으며, 상기한 구성부들 이외에 다른 구성 요소들도 구비할 수 있음은 물론이다. 예를 들어 도 4a 내지 4c는 도 1에 도시된 전자 장치(101) 또는 도 2에 도시된 전자 장치(201)의 일부 또는 전체를 포함할 수 있다.
도 4a를 참조하면, 다양한 실시예에 따른 전자 장치(401)는 카메라 모듈(410), 입력 센서(420), 통신 회로(430), 디스플레이(440), 메모리(450) 또는 프로세서(460) 중 적어도 하나를 포함할 수 있다.
카메라 모듈(410)은 상기 전자 장치(401)의 적어도 하나의 위치에서 프로세서(460)의 제어에 따라 영상 데이터를 촬영할 수 있다. 상기 카메라 모듈(410)은 이미지 센서(415)를 포함할 수 있다.
상기 이미지 센서(415)는 전자 센서의 한 종류로서, 피사체로부터 반사된 빛이 렌즈를 통해 입사되면 입사된 빛을 감지하여 감지된 빛에 대응되는 광 신호를 전기적인 신호로 변환하여 상기 영상 데이터를 획득할 수 있다. 예를 들어, 상기 영상 데이터는 이미지 데이터 또는 비디오 데이터 중 적어도 하나를 포함할 수 있다.
한 실시예에 따르면, 상기 이미지 센서(415)는 예를 들어, CMOS(complimentary metal oxide semiconductor) 센서, CCD(charge coupled device) 센서, 포비언(foveon) 센서 또는 보색(complementary) 이미지 센서 중 적어도 하나를 포함할 수 있다.
입력 센서(420)는 사용자에 의해 발생된 소정의 입력을 검출하는 것으로, 예를 들어, 터치 센서(421) 또는 압력 센서(425) 중 적어도 하나를 포함할 수 있다. 상기 입력 센서(420)를 통해 검출된 입력은, 예를 들어, 상기 터치 센서(421)를 통해 검출된 터치 입력 또는 상기 압력 센서(425)를 통해 검출된 압력 입력 중 적어도 하나를 포함할 수 있다. 프로세서(460)는 상기 입력 센서(420)를 통해 검출된 입력의 속성을 판단할 수 있다. 예를 들어, 프로세서(460)는 상기 입력 센서(420)를 통해 검출된 입력이 수신되면, 상기 검출된 입력의 속성을 판단할 수 있다. 상기 검출된 입력의 속성은, 예를 들어, 입력 타입(예: 터치 입력 또는 압력 입력), 입력 위치, 입력 크기나 강도(세기), 입력 유지 시간, 입력 횟수 또는 입력 방향 중 적어도 하나를 포함할 수 있다.
터치 센서(421)는 전자 장치의 일부 영역, 예를 들어, 디스플레이(440)의 상부에 상기 디스플레이(440)를 커버하는 커버 윈도우(미도시)와 상기 디스플레이(440) 사이에 배치될 수 있으며, 사용자의 터치에 의한 터치 입력을 검출할 수 있다. 프로세서(460)는 상기 검출된 터치 입력의 속성을 판단할 수 있으며, 상기 터치 입력의 속성은, 예를 들어, 터치 입력의 타입(예: 터치 입력), 위치(예: X-Y 좌표), 크기, 유지 시간 또는 횟수 중 적어도 하나를 포함할 수 있다.
한 실시예에 따르면, 상기 터치 센서(421) 는, 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 전자기유도(EMR: electronic magnetic resonance) 방식(이하 EMR 방식이라 칭함), 적외선(infrared) 방식 또는 초음파 (acoustic wave) 방식으로 구현될 수 있으며, 하나 이상의 상기 방식이 조합되어 구현될 수도 있다.
압력 센서(425)는 전자 장치(401)의 일부 영역, 예를 들어, 디스플레이(440) 하부에 배치될 수 있으며, 사용자에 의한 압력 입력을 검출할 수 있다. 프로세서(460)는 상기 검출된 압력 입력의 속성을 판단할 수 있으며, 상기 압력 입력의 속성은, 예를 들어, 압력 입력의 타입(예: 압력 입력), 위치(예: X-Y 좌표), 강도(세기), 유지 시간 또는 방향 중 적어도 하나를 포함할 수 있다.
통신 회로(430)는 적어도 하나의 외부 전자 장치(예: 도 1에 도시된 전자 장치(104) 또는 서버(106))와 통신 연결을 수행할 수 있으며, 상기 외부 전자 장치(예: 전자 장치(104) 또는 서버(106))로부터 소정의 정보를 수신할 수 있다.
통신 회로(430)는, 예를 들어, 제1 통신 회로(431) 또는 제2 통신 회로(435) 중 적어도 하나를 포함할 수 있다. 통신 회로(430)는 도 1에 도시된 통신 인터페이스(170) 또는 도 2에 도시된 통신 모듈(220)의 일부 또는 전체를 포함할 수 있다. 상기 통신 회로(430)는 통신부 또는 통신 모듈이라고 칭하거나, 상기 통신부 또는 통신 모듈을 그 일부로서 포함하거나 상기 통신부 또는 통신 모듈을 구성할 수도 있다.
한 실시예에 따르면, 제1 통신 회로(431)는 근거리 통신 기반의 데이터를 제공할 수 있다. 예를 들어, 통신 회로(430)는 상기 제1 통신 회로(431)를 통해 제1 네트워크에 연결된 적어도 하나의 외부 전자 장치(예: 전자 장치(104) 또는 서버(106))와 통신 연결을 수행할 수 있다. 예를 들어, 상기 제1 통신 회로(431)는 WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), 지그비(ZigBee), Z-Wave 또는 GNSS(global navigation satellite system) 등 중 적어도 하나를 포함할 수 있다.
한 실시예에 따르면, 제2 통신 회로(435)는 패킷 데이터(또는 인터넷 프로토콜) 기반의 서비스를 제공할 수 있다. 예를 들어, 통신 회로(430)는 상기 제2 통신 회로(435)를 통해 적어도 하나의 외부 전자 장치(예: 전자 장치(104) 또는 서버(106))와 통신을 수행할 수 있다. 예를 들어, 상기 제2 통신 회로(435)는 컴퓨터 네트워크(computer network)(예: LAN 또는 WAN), 인터넷 또는 전화망(telephone network) 중 적어도 하나를 포함할 수 있다.
상기 통신 회로(430)는 예를 들어, 상기 제1 통신 회로(431) 또는 상기 제2 통신 회로(435) 중 적어도 하나를 통해 적어도 하나의 외부 전자 장치(예: 전자 장치(104) 또는 서버(106))로부터 정보를 수신할 수 있다. 예를 들어, 상기 정보는 외부 영상 데이터 또는 상기 전자 장치(401)로부터 요청된 적어도 하나의 오브젝트와 연관된 정보를 수신할 수 있다.
본 개시에서, ‘오브젝트’는 디스플레이(440)를 통해 출력되는 영상 데이터에서 프로세서(460)에 의해 인식 가능한 대상을 의미할 수 있다. 예를 들어, 본 개시에서, 상기 오브젝트는 빌딩 또는 사람 등을 포함할 수 있다. 상기 오브젝트는 이에 한정되는 것은 아니며, 상기 프로세서(460)에 의해 인식 가능한 대상은 무엇이든 포함할 수 있다.
디스플레이(440)는 전자 장치(401)의 제1 방향을 향하는 제1표면(예: 전자 장치(401)의 전면) 및 상기 제1 방향과 반대인 제2 방향을 향하는 제2표면(예: 전자 장치(401)의 후면) 사이에 배치될 수 있으며, 상기 디스플레이(440)의 상면이 상기 제1표면을 통해 노출될 수 있다. 또한, 상기 디스플레이(440)는 전자 장치(401)의 상기 제1표면의 대부분을 차지하도록 크게 형성될 수 있다.
한 실시예에 따르면, 상기 디스플레이(440)는 LCD, AMOLED 등과 같은 패널을 포함할 수 있으며, 전자 장치(401)의 각종 동작 상태, 어플리케이션 실행 및/또는 서비스 등에 따른 다양한 영상을 표시할 수 있다.
예를 들어, 상기 디스플레이(440)는 사용자에게 다양한 리얼리티 서비스(예: 가상 현실(virtual reality; VR) 및/또는 증강 현실(augmented reality; AV) 서비스) 환경에서 현재 시점, 가상 이동 시점, 또는 가상 방향 변경 시점 중 적어도 하나에 기반한 가상 영상 제공)에 대응되는 사용자 인터페이스(UI)를 제공할 수 있다.
본 발명의 다양한 실시예에 따르면, 현재 시점은 전자 장치(401)가 가상 현실(VR) 또는 증강 현실(AR)과 관련된 어플리케이션 실행 시 상기 전자 장치(401)가 현재 위치하는 위치에서 상기 전자 장치(401)의 카메라 모듈(410)의 중심 화각을 기준으로 하는 화각 범위에 대응되는 시점(viewpoint)을 의미할 수 있다. 가상 이동 시점은 전자 장치(401)가 상기 현재 위치로부터 실질적인 물리적 이동 없이 사용자에 의한 소정의 입력을 통해 상기 카메라 모듈(410)의 중심 화각 방향으로 가상으로 이동된 위치에서의 상기 카메라 모듈(410)의 화각 범위에 대응되는 시점을 의미할 수 있다. 예를 들어, 상기 가상 이동 시점은 상기 카메라 모듈(410)의 중심 화각 방향으로, 상기 카메라 모듈(410)의 성능에 따른 줌 인 또는 줌 아웃 가능한 범위 내의 가상 위치에서의 상기 카메라 모듈(410)의 화각 범위에 대응되는 시점을 포함할 수 있다. 또한, 상기 가상 이동 시점은 상기 카메라 모듈(410)의 중심 화각 방향으로, 상기 카메라 모듈(410)의 성능에 따른 줌 인 또는 줌 아웃 가능한 범위를 초과하는 가상 위치에서의 소정의 가상 화각 범위에 대응되는 시점을 포함할 수 있다. 상기 가상 화각 범위는 예를 들어, 상기 카메라 모듈(410)의 중심 화각 방향으로 상기 카메라 모듈(410)의 줌인 또는 줌 아웃 가능한 범위를 초과하는 상기 가상 위치에서의 상기 카메라 모듈(410)의 화각 범위에 대응하는 범위를 포함할 수 있다. 가상 방향 변경 시점은 상기 가상 이동 시점에서 전자 장치(401)의 카메라 모듈(210)의 중심 화각의 방향이 전환된 위치에서 상기 카메라 모듈(410)의 화각 범위에 대응되는 시점을 의미할 수 있다.
상기 디스플레이(440)는 사용자 인터페이스(UI)에 입력되는 적어도 하나의 입력에 대응되는 (아날로그) 신호를 프로세서(460) 또는 도 4b에 도시된 터치 센서 구동 IC(423) 및/또는 압력 센서 구동 IC(427) 중 적어도 하나로 전송할 수 있다. 상기 디스플레이(440)는 상기 사용자 인터페이스(UI)를 통해 적어도 하나의 입력을 입력 받을 수 있다. 또한, 디스플레이(440)는 적어도 하나의 입력 중에서, 하나의 입력의 연속적인 움직임을 입력 받을 수 있다. 상기 디스플레이(440)는 입력되는 연속적인 움직임에 대응되는 (아날로그) 신호를 프로세서(460) 또는 도 4b에 도시된 터치 센서 구동 IC(integrated circuit)(423) 및/또는 압력 센서 구동IC(integrated circuit)(427) 중 적어도 하나로 전송할 수 있다. 본 개시 전반에 걸쳐,‘입력’이라는 용어는 터치 센서(421)를 통해 검출되는 터치 입력(또는 스와이프 입력) 또는 압력 센서(425)를 통해 검출되는 압력 입력, 또는 그 조합 중 적어도 하나를 포함할 수 있다.
또한, 상기 디스플레이(440)는 상기 이미지 센서(415)로부터 획득된 영상 데이터 또는 상기 획득된 영상 데이터와 관련된 정보 중 적어도 일부를 출력할 수 있다. 예를 들어, 상기 디스플레이(440)는 상기 이미지 센서(415)로부터 획득된 영상 데이터를 출력할 수 있다. 예를 들어, 상기 획득된 영상 데이터는 정지 영상(예: 스틸 이미지) 또는 동영상(예: 비디오) 중 적어도 하나를 포함할 수 있다. 또한, 상기 디스플레이(440)는 상기 획득된 영상 데이터와 상기 획득된 영상 데이터 내 인식 가능한 적어도 하나의 오브젝트와 관련된 정보 중 적어도 일부에 기반하여 생성된 가상 영상을 출력할 수 있다. 예를 들어, 상기 디스플레이(440)는 상기 획득된 영상 데이터 내에 상기 인식 가능한 적어도 하나의 오브젝트(예: 건물 또는 사람 등)에 대응하여 상기 해당 오브젝트와 관련된 정보를 출력할 수 있다. 또한, 상기 디스플레이(440)는 상기 적어도 하나의 외부 전자 장치(예: 전자 장치(104) 또는 서버(106))로부터 수신된 외부 영상 데이터를 출력할 수 있다. 예를 들어, 상기 수신된 외부 영상 데이터는 정지 영상(예: 스틸 이미지) 또는 동영상(예: 비디오) 중 적어도 하나를 포함할 수 있다. 또한, 상기 디스플레이(440)는 상기 수신된 외부 영상 데이터와 상기 수신된 외부 영상 데이터 내 인식 가능한 적어도 하나의 외부 오브젝트와 관련된 정보 중 적어도 일부에 기반하여 생성된 가상 영상을 출력할 수 있다. 예를 들어, 상기 디스플레이(440)는 상기 수신된 외부 영상 데이터 내에 상기 인식 가능한 적어도 하나의 외부 오브젝트(예: 건물 또는 사람 등)에 대응하여 상기 해당 외부 오브젝트와 관련된 정보를 출력할 수 있다.
메모리(450)는 전자 장치(401)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 메모리(450)는 도 1에 도시된 메모리(130) 또는 도 2에 도시된 메모리(230)의 일부 또는 전체를 포함할 수 있다. 상기 메모리(450)는 이미지 센서(415)로부터 획득된 영상 데이터를 기반으로 형성된 영상을 프레임별로 저장하는 이미지 버퍼 등을 포함할 수 있다. 또한, 상기 메모리(450)는 상기 이미지 센서(415)로부터 획득된 영상 데이터, 상기 획득된 영상 데이터 내 인식 가능한 적어도 하나의 오브젝트와 관련된 정보, 또는 상기 영상 데이터와 상기 인식 가능한 적어도 하나의 오브젝트와 관련된 정보에 기반하여 생성된 적어도 하나의 가상 영상 중 적어도 하나를 저장할 수 있다. 또한, 상기 메모리(450)는 상기 적어도 하나의 외부 전자 장치(예: 전자 장치(104) 또는 서버(106))로부터 수신된 상기 영상 데이터 내 인식 가능한 적어도 하나의 오브젝트와 관련된 정보, 외부 영상 데이터, 상기 외부 영상 데이터 내 인식 가능한 적어도 하나의 외부 오브젝트와 관련된 정보 또는 상기 외부 영상 데이터와 상기 인식 가능한 적어도 하나의 외부 오브젝트와 관련된 영상 데이터 중 적어도 하나를 저장할 수 있다.
프로세서(460)는 전자 장치(401)를 전반적으로 제어할 수 있다. 프로세서(460)는 예를 들어, 이미지 센서(415)를 통해 획득된 영상 데이터를 디스플레이(440)에 표시할 수 있다. 예를 들어, 프로세서(460)는 리얼리티 서비스(예: 가상 현실(VR) 및/또는 증강 현실(AR))와 관련된 어플리케이션 실행 시, 상기 현재 시점에서 상기 카메라 모듈(410)의 이미지 센서(415)를 통해 획득된 영상 데이터를 디스플레이(440)에 표시할 수 있다. 또한, 프로세서(460)는 입력 센서(420)를 통해 상기 표시된 영상 데이터 내의 일 지점에서, 또는 일 지점으로 입력되는 입력(예: 터치 입력 또는 압력 입력)을 판단하고, 상기 판단된 입력에 대응되는 영상 데이터를 디스플레이(440)에 표시할 수 있다. 상기 판단된 입력에 대응되는 영상 데이터는, 예를 들어, 상기 이미지 센서(415)를 통해 획득되거나, 상기 메모리(450)에 미리 저장되거나, 적어도 하나의 외부 전자 장치(예: 전자 장치(104) 또는 서버(106))로부터 수신된 영상 데이터 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 프로세서(460)는 상기 이미지 센서(415)를 통해 획득된 영상 데이터에 기반하여 상기 전자 장치(401)의 현재 시점을 결정할 수 있다. 예를 들어, 프로세서(460)는 리얼리티 서비스(예: 가상 현실(VR) 및/또는 증강 현실(AR))와 관련된 어플리케이션 실행 시, 상기 전자 장치(401)의 카메라 모듈(410)을 통해 영상 데이터를 획득하고, 상기 영상 데이터가 획득된 상기 전자 장치(401)의 위치, 자세 또는 방향 중 적어도 하나를 검출하고, 상기 검출된 전자 장치(401)의 위치, 자세 또는 방향 중 적어도 하나에 기반한 상기 카메라 모듈(410) (예: 이미지 센서(415)의 중심 화각)에 대응되는 시점(viewpoint)을 상기 전자 장치(401)의 현재 시점으로 결정할 수 있다.
일 실시예에 따르면, 프로세서(460)는 상기 결정된 현재 시점에서, 상기 카메라 모듈(410)의 이미지 센서(415)를 통해 획득된 제1 영상 데이터 및 상기 획득된 제1 영상 데이터와 관련된 정보를 병합하거나 합성하여 생성된 제1 가상 영상을 생성할 수 있다. 예를 들어, 상기 획득된 제1 영상 데이터와 관련된 정보는 상기 전자 장치(401)의 상기 검출된 현재 위치에 근거한 맵(map) 정보(예: 2D/3D 맵 정보) 또는 상기 획득된 영상 데이터 내 인식 가능한 적어도 하나의 오브젝트(예: 제1 오브젝트)에 대한 정보(예: BIM(building information modeling) 정보, 인 도어 맵(indoor map) 정보 또는 인적 정보 등) 중 적어도 하나를 포함할 수 있다. 프로세서(460)는 상기 획득된 제1 영상 데이터 또는 상기 생성된 제1 가상 영상을 디스플레이(440)에 표시할 수 있다.
본 발명의 다양한 실시예에 따르면, “가상 영상”이란 용어는 가상 영상(VR)뿐만 아니라 실제 영상에 가상 영상이나 소정의 정보가 병합된 증강 영상(AR)도 포함하는 것으로 사용될 수 있다.
일 실시예에 따르면, 프로세서(460)는 상기 결정된 현재 시점에서 획득되거나 생성된 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터를 디스플레이 하는 동안 입력 센서(420)를 통해 입력이 검출되는지 여부를 판단할 수 있다. 예를 들어, 상기 입력은 터치 입력(또는 스와이프 입력) 또는 압력 입력 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 프로세서(460)는 상기 결정된 현재 시점에서 획득되거나 생성된 상기 제1 영상 데이터 또는 상기 제1 가상 영상을 디스플레이 하는 동안, 상기 입력 센서(420)를 통해 입력(예: 제1 입력)이 검출되면, 상기 검출된 입력에 대응하는 전자 장치(401)의 가상 이동 시점을 결정할 수 있다. 예를 들어, 프로세서(460)는 상기 검출된 입력(예: 제1 입력)의 속성에 기반하여 상기 검출된 입력에 대응하는 전자 장치(401)의 가상 이동 시점을 결정할 수 있다. 일 실시예에 따르면, 상기 검출된 입력(예: 제1 입력)의 속성은 입력 타입(예: 터치 입력 또는 압력 입력), 입력 위치, 입력 크기, 입력 강도(세기), 입력 유지 시간, 입력 횟수 또는 입력 방향 중 적어도 하나를 포함할 수 있다.
한 실시예에 따르면, 프로세서(460)는 상기 검출된 입력(예: 제1 입력)의 레벨(level)에 따라 상기 가상 이동 시점을 결정할 수 있다. 본 개시에서, 상기 ‘레벨’은 사용자에 의해 발생된 입력의 크기 또는 강도(세기)를 의미하는 것으로, 예를 들어, 상기 입력이 터치 입력일 경우 상기 레벨은 상기 터치 입력이 발생된 위치에 대응하여 미리 설정된 크기일 수 있으며, 상기 입력이 압력 입력일 경우 상기 레벨은 상기 압력 입력의 강도(세기)일 수 있다. 상기 레벨은 단계별로 미리 설정될 수 있으며, 상기 레벨 단계의 수 및/또는 각 단계들 간 레벨의 차이는 상기 전자 장치(401)의 성능에 따라 다르게 설정될 수 있다.
또한, 프로세서(460)는 상기 검출된 입력(예: 제1 입력)의 레벨에 따라 상기 가상 이동 시점의 뎁스(depth)가 결정될 수 있다. 예를 들어, 프로세서(460)는 상기 검출된 입력(예: 제1 입력)의 레벨이 커질수록 상기 가상 이동 시점의 뎁스를 앞으로 이동시키고 상기 레벨이 작아질수록 상기 가상 이동 시점의 뎁스를 뒤로 이동시킬 수 있다. 또는, 그 반대도 가능하다. 또한, 프로세서(460)는 상기 입력의 레벨에 따라 상기 가상 이동 시점의 뎁스를 단계적으로 또는 연속적으로 이동하도록 제어할 수 있다.
본 개시에서, ‘뎁스(depth)’는 기준 위치(예: 전자 장치(401)의 위치, 카메라 모듈(410)의 위치 등)로부터 가상 이동 위치까지의 거리/위치 이동량이나 이동 속도, 시점 계층, 투명도나 색상 또는 그 조합 중 적어도 하나를 의미하는 것으로, 상기 레벨에 대응하여 변화될 수 있다. 상기 뎁스는 단계별로 미리 설정될 수 있으며, 상기 뎁스 단계의 수는 상기 레벨 단계의 수에 대응되도록 설정될 수 있다. 또한, 각 뎁스들 간 시점의 거리/위치 이동량이나 이동 속도, 시점 계층, 투명도나 색상 또는 그 조합 중 적어도 하나는 상기 전자 장치(401)의 성능에 따라 다르게 설정될 수 있다.
한 실시예에 따르면, 프로세서(460)는 상기 현재 시점에서 획득된 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터가 디스플레이(440) 상에 표시되는 동안 소정의 입력(예: 제1 입력)이 입력되면, 상기 제1 입력이 유지되는 동안 상기 제1 입력의 레벨에 대응하는 뎁스만큼 가상으로 이동된 가상 이동 시점에서 획득된 제1 영상 데이터 또는 상기 획득된 제1 영상 데이터에 기반하여 생성된 제1 가상 영상 데이터를 상기 디스플레이(440) 상에 표시할 수 있다. 예를 들어, 프로세서(460)는 상기 현재 시점에서 획득된 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터가 디스플레이(440) 상에 표시되는 동안 제1 레벨의 상기 제1 입력이 입력되면, 상기 제1 레벨의 상기 제1 입력이 유지되는 동안 상기 현재 시점으로부터 제1 뎁스만큼 가상으로 이동된 제1 가상 이동 시점에서 획득된 제2 영상 데이터 또는 상기 제2 영상 데이터에 기반하여 생성된 제2 가상 영상 데이터를 디스플레이(440) 상에 표시할 수 있다. 또한, 프로세서(460)는 상기 현재 시점에서 획득된 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터가 디스플레이(440) 상에 표시되는 동안 제2 레벨의 상기 제1 입력이 입력되면, 상기 제2 레벨의 상기 제1 입력이 유지되는 동안 상기 현재 시점으로부터 제2 뎁스만큼 가상으로 이동된 제2 가상 이동 시점에서 획득된 제3 영상 데이터 또는 상기 제3 영상 데이터에 기반하여 생성된 제3 가상 영상 데이터가 디스플레이(440) 상에 표시될 수 있다.
한 실시예에 따르면, 프로세서(460)는 상기 현재 시점에서 획득된 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터가 디스플레이(440) 상에 표시되는 동안 단계적으로 변화된 레벨의 제1 입력이 연속적으로 입력되면 해당 레벨에 대응되는 뎁스만큼 가상으로 이동된 가상 이동 시점에서 획득된 영상 데이터들 또는 상기 획득된 영상 데이터들에 기반하여 생성된 가상 영상 데이터들을 디스플레이(440) 상에 연속으로 표시할 수 있다. 예를 들어, 프로세서(460)는 상기 현재 시점에서 획득된 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터가 디스플레이(440) 상에 표시되는 동안 제1 레벨에서 제2 레벨의 상기 제1 입력이 연속적으로 입력되면 상기 제1 가상 영상 데이터(또는 제1 영상 데이터)로부터 상기 제2 가상 영상 데이터(또는 제2 영상 데이터) 및 상기 제3 가상 영상 데이터(또는 제3 영상 데이터)가 연속적으로 디스플레이(440)에 표시될 수 있다.
한 실시예에 따르면, 프로세서(460)는 상기 현재 시점에서 획득된 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터가 디스플레이(440) 상에 표시되는 동안 상기 검출된 입력(예: 제1 입력)의 입력 유지 시간에 따라 상기 가상 이동 시점의 뎁스(depth)를 결정할 수 있다. 예를 들어, 프로세서(460)는 상기 검출된 입력(예: 제1 입력)의 입력 유지 시간이 길어질수록 상기 가상 이동 시점의 뎁스(depth)를 앞으로 이동시킬 수 있다. 또한, 그 반대도 가능하다. 또 다른 예를 들어, 프로세서(460)는 상기 입력 유지 시간에 따라 상기 가상 이동 시점의 뎁스(depth)를 단계적으로 또는 연속적으로 이동하도록 제어할 수 있다.
한 실시예에 따르면, 프로세서(460)는 상기 현재 시점에서 획득된 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터가 디스플레이(440) 상에 표시되는 동안 상기 검출된 입력(예: 제1 입력)의 입력 횟수에 따라 상기 가상 이동 시점의 뎁스(depth)를 결정할 수 있다. 예를 들어, 프로세서(460)는 상기 검출된 입력(예: 제1 입력)의 입력 횟수에 따라 상기 가상 이동 시점의 뎁스(depth)를 점점 앞으로 이동시킬 수 있다. 또한, 그 반대도 가능하다. 또 다른 예를 들어, 프로세서(460)는 상기 입력 횟수에 따라 상기 가상 이동 시점의 뎁스(depth)를 단계적으로 또는 연속적으로 이동하도록 제어할 수 있다.
일 실시예에 따르면, 프로세서(460)는 상기 현재 시점으로부터 상기 가상 이동 시점까지의 위치 변위량에 대응하는 상기 전자 장치(401)의 위치 변위량을 산출할 수 있다. 프로세서(460)는 상기 산출된 전자 장치(401)의 위치 변위량에 기반하여 상기 전자 장치(401)의 상기 가상 이동 위치를 검출할 수 있다. 또한, 프로세서(460)는 상기 검출된 전자 장치(401)의 가상 이동 위치에서, 상기 전자 장치(401)의 이미지 센서(415) 또는 적어도 하나의 외부 전자 장치(예: 전자 장치(104) 또는 서버(106)) 중 적어도 하나로부터 제2 영상 데이터를 획득하거나 수신할 수 있다.
예를 들어, 프로세서(460)는 상기 검출된 전자 장치(401)의 가상 이동 위치가 상기 이미지 센서(415)의 줌 인(zoom in) 또는 줌 아웃(zoom out) 가능한 화각 범위 내에 위치하는지 여부를 판단하고, 상기 판단 결과에 따라 상기 이미지 센서(415), 상기 가상 이동 위치에 대응되는 제2 영상 데이터가 저장되어 있는 메모리(450) 또는 적어도 하나의 외부 전자 장치(예: 전자 장치(104) 또는 서버(106)) 중 적어도 하나를 이용하여 상기 가상 이동 위치에 대응되는 가상 이동 시점에서의 제2 영상 데이터를 획득할 수 있다.
예를 들어, 프로세서(460)는 상기 검출된 전자 장치(401)의 가상 이동 위치가 상기 이미지 센서(415)의 중심 화각 방향을 기준으로 상기 줌 인 또는 줌 아웃 가능한 화각 범위 내에 있으면, 상기 이미지 센서(415)를 통해 상기 가상 이동 위치에 대응되는 가상 이동 시점에서의 제2 영상 데이터를 획득할 수 있다.
한 실시예에 따르면, 프로세서(460)는 상기 전자 장치(401)의 현재 위치에서 상기 가상 이동 위치까지 상기 이미지 센서(415)를 주밍(zooming)하여 상기 이미지 센서(415)를 통해 상기 가상 이동 위치에 대응되는 상기 가상 이동 시점에서의 제2 영상 데이터를 획득할 수 있다. 이와 같이, 상기 이미지 센서(415)를 주밍(zooming)하여 상기 이미지 센서(415)를 통해 상기 가상 이동 시점에서의 제2 영상 데이터를 획득할 경우 획득된 제2 영상 데이터의 화질이 저하될 수 있다. 이 경우, 프로세서(460)는 상기 가상 이동 시점에서 획득된 상기 제2 영상 데이터의 양호한 화질을 보장하기 위해, 상기 전자 장치(406)의 상기 가상 이동 시점의 거리에 대한 임계값 또는 영상 데이터의 스케일 팩터(scale factor)에 대한 임계값을 미리 설정하여 제한할 수 있다.
예를 들어, 프로세서(460)는 상기 가상 이동 시점에서 획득된 제2 영상 데이터의 화질을 보장하기 위한 상기 가상 이동 시점의 거리에 대한 임계값을 30m로 설정할 수 있다. 또한, 프로세서(460)는 예를 들어, 상기 가상 이동 시점에서 획득된 제2 영상 데이터의 화질을 보장하기 위한 상기 가상 이동 시점에서 획득된 제2 영상 데이터의 스케일 팩터에 대한 임계값을 0.5로 설정할 수 있다. 본 개시에서, 상기 설정된 가상 이동 시점의 거리에 대한 임계값 및 상기 미리 설정된 스케일 팩터에 대한 임계값은 이에 한정되는 것은 아니며, 전자 장치(401)의 성능에 따라 다르게 설정될 수 있다.
한편, 한 실시예에 따르면, 상기 스케일 팩터는 영상 데이터의 화질을 나타내는 파라미터로서, 하기의 수학식 (1)로 나타낼 수 있다:
[수학식 1]
Scale Factor(SF) = (획득 영상 데이터의 픽셀 수/화면표시 픽셀 수)
예를 들어, SF=4/1=4이면, 실제 획득된 영상 데이터의 4개의 픽셀을 1개의 픽셀로 프리뷰(preview)에 표시하므로 화질 열화 없이 다운사이즈 될 수 있다. 또한, SF=1/4=0.25이면, 실제 획득된 영상 데이터의 1개의 픽셀을 4개의 픽셀로 프리뷰(preview)에 표시하므로 화질 열화가 발생되어 업사이즈 될 수 있다.
예를 들어, 프로세서(460)는 상기 전자 장치(401)의 가상 이동 시점의 거리에 대한 임계값(예: 30m)이 설정된 경우, 상기 전자 장치(401)의 가상 이동 위치가 상기 이미지 센서(415)의 중심 화각 방향을 기준으로 상기 이미지 센서(415)의 줌인 또는 줌 아웃 가능한 화각 범위 내에 있고, 상기 전자 장치(401)의 가상 이동 시점의 거리에 대한 임계값(예: 30m) 이하이면 상기 가상 이동 위치에 대응되는 상기 가상 이동 시점에서의 제2 영상 데이터를 상기 이미지 센서(415)를 통해 획득할 수 있다. 또 다른 예를 들어, 상기 프로세서(460)는 상기 전자 장치(401)의 가상 이동 위치가 상기 이미지 센서(415)의 중심 화각 방향을 기준으로 상기 이미지 센서(415)의 줌인 또는 줌 아웃 가능한 화각 범위를 초과하거나, 또는 상기 전자 장치(401)의 가상 이동 시점의 거리에 대한 임계값(예: 30m) 이상이면, 상기 전자 장치(401)의 메모리(450) 또는 상기 적어도 하나의 외부 전자 장치(예: 전자 장치(104) 또는 서버(106)) 중 적어도 하나에 상기 전자 장치(401)의 가상 이동 위치에 기반한 제2 영상 데이터를 요청하여 수신할 수 있다.
또 다른 예를 들어, 프로세서(460)는 상기 전자 장치(401)의 가상 이동 위치에서 획득된 제2 영상 데이터의 스케일 팩터에 대한 임계값(예: 0.5)이 설정된 경우, 상기 전자 장치(401)의 가상 이동 위치가 상기 이미지 센서(415)의 중심 화각 방향을 기준으로 상기 이미지 센서(415)의 줌인 또는 줌 아웃 가능한 화각 범위 내에 있고, 상기 전자 장치(401)의 상기 가상 이동 위치에서 상기 이미지 센서(415)를 통해 획득된 제2 영상 데이터의 스케일 팩터가 상기 임계값(예: 0.5) 이상이면 상기 가상 이동 위치에서 획득된 상기 제2 영상 데이터를 상기 가상 이동 시점에서 획득된 영상 데이터로 결정할 수 있다. 또 다른 예를 들어, 상기 프로세서(460)는 상기 전자 장치(401)의 가상 이동 위치가 상기 이미지 센서(415)의 중심 화각 방향을 기준으로 상기 이미지 센서(415)의 줌인 또는 줌 아웃 가능한 화각 범위를 초과하거나, 또는 상기 전자 장치(401)의 상기 가상 이동 위치에서 상기 이미지 센서(415)를 통해 획득된 제2 영상 데이터의 스케일 팩터가 상기 임계값(예: 0.5) 미만이면, 상기 전자 장치(401)의 메모리(450) 또는 상기 적어도 하나의 외부 전자 장치(예: 전자 장치(104) 또는 서버(106)) 중 적어도 하나에 상기 전자 장치(401)의 가상 이동 위치에 기반한 제2 영상 데이터를 요청하여 수신할 수 있다.
일 실시예에 따르면, 프로세서(460)는 상기 결정된 가상 이동 시점에서, 상기 이미지 센서(415), 상기 전자 장치(401)의 메모리(450) 또는 상기 적어도 하나의 외부 전자 장치(예: 전자 장치(104) 또는 서버(106)) 중 적어도 하나를 통해 획득된 제2 영상 데이터 및/또는 상기 획득된 제2 영상 데이터와 관련된 정보를 병합하거나 합성하여 제2 가상 영상 데이터를 생성할 수 있다. 예를 들어, 상기 결정된 가상 이동 시점에서 획득된 제2 영상 데이터와 관련된 정보는 상기 전자 장치(401)의 가상 이동 위치에 근거한 맵(map) 정보(예: 2D/3D 맵 정보) 또는 상기 획득된 제2 영상 데이터 내 인식 가능한 적어도 하나의 오브젝트(예: 제2 오브젝트)에 대한 정보(예: BIM(building information modeling) 정보, 인 도어 맵(indoor map) 정보 또는 인적 정보 등) 중 적어도 하나를 포함할 수 있다. 프로세서(460)는 상기 결정된 가상 이동 시점에서 획득된 상기 제2 영상 데이터 또는 상기 획득된 제2 영상 데이터에 기반하여 생성된 상기 제2 가상 영상 데이터를 디스플레이(440)에 표시할 수 있다.
일 실시예에 따르면, 프로세서(460)는 상기 제1 입력이 유지되는 동안 상기 제2 영상 데이터 또는 상기 제2 가상 영상 데이터를 디스플레이할 수 있다. 프로세서(460)는 상기 제1 입력이 유지되지 않으면 상기 가상 이동 시점에서 상기 현재 시점으로 복귀될 수 있다. 예를 들어, 상기 프로세서(460)는 상기 제1 입력이 유지되지 않으면 상기 현재 시점으로 복귀되어 상기 현재 시점에서 획득된 상기 제1 영상 데이터 또는 상기 제1 영상 데이터에 기반하여 생성된 상기 제1 가상 영상 데이터를 디스플레이 할 수 있다.
일 실시예에 따르면, 프로세서(460)는 상기 제1 입력이 유지되는 동안 상기 가상 이동 시점에서 획득된 상기 제2 영상 데이터 또는 상기 제2 영상 데이터에 기반하여 생성된 상기 제2 가상 영상 데이터를 디스플레이 하는 도중, 사용자에 의해 추가적인 입력(예: 제2 입력)이 검출되면 상기 검출된 제2 입력에 대응하여 다양한 서비스를 복합적으로 제공할 수 있다. 상기 제2 입력은, 예를 들어, 터치 입력(또는 스와이프 입력) 또는 압력 입력 중 어느 하나일 수 있다.
일 실시예에 따르면, 프로세서(460)는 상기 제1 입력이 유지되는 동안 상기 결정된 가상 이동 시점에서 획득된 상기 제2 영상 데이터 또는 상기 제2 영상 데이터에 기반하여 생성된 상기 제2 가상 영상 데이터를 디스플레이 하는 도중, 상기 입력 센서(420)로부터 추가적인 입력(예: 제2 입력)이 검출되면, 상기 가상 이동 시점이 고정되도록 설정할 수 있다. 예를 들어, 프로세서(460)는 상기 검출된 제2 입력에 의해 상기 가상 이동 시점이 고정되도록 설정된 경우, 사용자는 상기 가상 이동 시점에서 획득된 상기 제2 영상 데이터 또는 상기 제2 영상 데이터에 기반하여 생성된 상기 제2 가상 영상 데이터의 디스플레이를 유지하기 위해 상기 제1 입력 및 상기 제2 입력을 유지하지 않아도 된다. 또한, 프로세서(460)는 예를 들어, 상기 검출된 제2 입력에 의해 상기 가상 이동 시점이 고정되도록 설정된 이후, 상기 제2 영상 데이터 또는 상기 제2 가상 영상 데이터가 디스플레이 되는 도중 추가적인 입력(예: 제3 입력)이 검출되면 상기 가상 이동 시점의 고정을 해제하고 상기 가상 이동 시점에서 상기 현재 시점으로 복귀될 수 있다. 예를 들어, 프로세서(460)는 상기 제2 입력에 의해 상기 가상 이동 시점에서 상기 제2 영상 데이터 또는 상기 제2 가상 영상 데이터가 디스플레이 되도록 고정된 이후, 상기 제3 입력이 검출되면 상기 현재 시점으로 복귀되어 상기 현재 시점에서 획득된 상기 제1 영상 데이터 또는 상기 제1 영상 데이터에 기반하여 생성된 상기 제1 가상 영상 데이터를 디스플레이(440) 상에 표시할 수 있다.
일 실시예에 따르면, 프로세서(460)는 상기 제1 입력이 유지되는 동안 상기 결정된 가상 이동 시점에서 획득된 상기 제2 영상 데이터 또는 상기 제2 영상 데이터에 기반하여 생성된 상기 제2 가상 영상 데이터를 디스플레이 하는 도중, 상기 입력 센서(420)로부터 추가적인 입력(예: 제2 입력)이 검출되면, 상기 검출된 제2 입력을 유지하는 동안 상기 검출된 제2 입력에 대응하여 상기 가상 이동 시점에서 상기 카메라 모듈(410)(예: 이미지 센서(415))의 중심 화각의 방향이 변경된 가상 방향 변경 시점으로 전환되도록 설정할 수 있다. 예를 들어, 프로세서(460)는 상기 검출된 제2 입력의 속성에 기반하여 상기 검출된 제2 입력에 대응하는 상기 전자 장치(401)의 상기 가상 방향 변경 시점을 결정할 수 있다. 일 실시예에 따르면, 상기 검출된 제2 입력의 속성은 입력 위치, 입력 방향, 입력 강도(세기), 입력 유지 시간 또는 입력 횟수 중 적어도 하나를 포함할 수 있다. 예를 들어, 프로세서(460)는 상기 검출된 제2 입력의 속성에 대응하여 상기 가상 이동 시점에서 상기 카메라 모듈(410)의 중심 화각의 방향이 전환된 상기 가상 방향 변경 시점에서 획득된 제3 영상 데이터 또는 상기 제3 영상 데이터에 기반하여 생성된 제3 가상 영상 데이터를 디스플레이할 수 있다. 또한, 프로세서(460)는 상기 검출된 제2 입력의 각 속성의 레벨에 따라 상기 가상 방향 변경 시점을 결정할 수 있다.
예를 들어, 프로세서(460)는 상기 디스플레이(440) 화면의 중심을 기준으로 상기 중심과 상기 검출된 제2 입력의 위치(예: X-Y 좌표가 (x, y)) 간 거리와 위치에 따라 상기 카메라 모듈(410)의 중심 화각의 방향이 전환된 상기 가상 방향 변경 시점의 방향(예: 상, 하, 좌, 우) 또는 각도(예:0~360도)를 결정할 수 있다. 예를 들어, 상기 디스플레이(440) 화면의 중심(예: X-Y 좌표가 (0,0))은 상기 카메라 모듈(410)의 중심 화각에 대응될 수 있으며, 상기 디스플레이(440) 화면의 중심을 지나는 가로축(예: X축)을 기준으로 상기 제2 입력의 위치(예: Y축 좌표값)에 따라 상기 카메라 모듈(410)의 중심 화각의 상하 방향 및 상기 상하 방향이 전환되는 정도, 즉 상하 각도가 결정될 수 있으며, 상기 디스플레이(440) 화면의 중심을 지나는 세로축(예: Y축)을 기준으로 상기 제2 입력의 위치(예: X축 좌표값)에 따라 상기 카메라 모듈(410)의 중심 화각의 좌우 방향 및 상기 좌우 방향이 전환되는 정도, 즉 좌우 각도가 결정될 수 있다. 이에 따라, 프로세서(460)는 상기 제2 입력이 터치 입력인 경우, 상기 디스플레이(440) 화면의 중심(0.0)을 기준으로 상기 검출된 제2 입력의 위치(x,y)에 따라 상기 카메라 모듈(410)의 중심 화각의 방향이 전환된 각도와 방향을 결정할 수 있으며, 상기 결정된 각도와 방향에 대응되는 상기 카메라 모듈(410)의 화각 범위에 대응되는 시점을 상기 가상 방향 변경 시점으로 결정할 수 있다. 또한, 프로세서(460)는 상기 제2 입력의 속성의 레벨에 따라 미리 설정된 뎁스만큼 상기 결정된 방향으로 상기 가상 방향 변경 시점을 단계적으로 전환시킬 수 있다. 마찬가지로, 프로세서(460)는 예를 들어, 상기 제2 입력이 스와이프 입력인 경우에도, 상기 디스플레이(440) 화면의 중심(0,0)을 기준으로 상기 제2 입력의 스와이프된 길이와 방향에 따라 상기 카메라 모듈(410)의 중심 화각의 방향이 전환된 각도와 방향이 결정될 수 있으며, 상기 결정된 각도와 방향에 대응되는 상기 카메라 모듈(410)의 화각 범위에 대응되는 시점을 상기 가상 방향 변경 시점으로 결정할 수 있다.
일 실시예에 따르면, 프로세서(460)는 상기 가상 이동 시점으로부터 상기 가상 방향 변경 시점까지의 상기 전자 장치의 자세 또는 방향의 변화량을 산출할 수 있다. 프로세서(460)는 상기 산출된 전자 장치의 자세 또는 방향의 변화량에 기반하여 상기 전자 장치의 가상 변경 자세 또는 가상 변경 방향 중 적어도 하나를 검출할 수 있다. 또한, 프로세서(460)는 상기 검출된 전자 장치의 가상 변경 자세 또는 가상 변경 방향 중 적어도 하나에 기반하여, 상기 가상 방향 변경 시점을 결정할 수 있으며, 상기 결정된 가상 방향 변경 시점에서 상기 전자 장치(401)의 이미지 센서(415), 상기 전자 장치(401)의 메모리(450) 또는 적어도 하나의 외부 전자 장치(예: 전자 장치(104) 또는 서버(106)) 중 적어도 하나로부터 상기 제3 영상 데이터를 획득하거나 수신할 수 있다.
일 실시예에 따르면, 상기 전자 장치(401)의 자세 또는 방향의 변화량은 상기 전자 장치(401)에 포함된 위치 기반 센서들(미도시)로부터 감지된 정보의 조합에 기반하여 검출될 수 있다. 예를 들어, 상기 전자 장치(401)의 위치, 자세 또는 방향을 검출하기 위한 상기 위치 기반 센서들로부터 감지된 정보는 예를 들어, 가속도 센서, 자이로 센서, 지자계 센서, 중력센서, 기압센서 또는 그 조합 중 적어도 하나로부터 감지된 정보를 포함하거나, 또는 예를 들어 상기 전자 장치(401)에 입력되는 영상 데이터의 특정 영역의 변위량, 즉 영상 데이터의 모션 벡터 변화량을 이용해 추정할 수도 있다.
일 실시예에 따르면, 프로세서(460)는 상기 결정된 가상 방향 변경 시점에서 획득된 상기 제3 영상 데이터 및/또는 상기 획득된 제3 영상 데이터와 관련된 정보를 병합하거나 합성하여 제3 가상 영상 데이터를 생성할 수 있다. 예를 들어, 상기 결정된 가상 방향 변경 시점에서 획득된 상기 제3 영상 데이터와 관련된 정보는 상기 전자 장치(401)의 변경 자세 또는 변경 방향 중 적어도 하나에 근거한 맵(map) 정보(예: 2D/3D 맵 정보) 또는 상기 획득된 제3 영상 데이터 내 적어도 하나의 오브젝트(예: 제3 오브젝트)에 대한 정보(예: BIM(building information modeling) 정보, 인 도어 맵(indoor map) 정보 또는 인적 정보 등) 중 적어도 하나를 포함할 수 있다. 프로세서(460)는 상기 획득된 제3 영상 데이터 또는 상기 생성된 제3 가상 영상 데이터를 디스플레이(440)에 표시할 수 있다.
또한, 프로세서(460)는 상기 제2 입력의 강도(세기), 유지 시간 또는 횟수에 따라 미리 설정된 뎁스만큼 상기 결정된 방향으로 상기 가상 방향 변경 시점을 단계적으로 전환시킬 수 있다.
또한, 프로세서(460)는 상기 제2 입력을 유지하는 동안 상기 제2 입력에 의해 상기 가상 이동 시점에서 전환된 상기 가상 방향 변경 시점에서 획득된 상기 제3 영상 데이터 또는 상기 제3 영상 데이터에 기반하여 생성된 상기 제3 가상 영상 데이터가 디스플레이 되는 도중, 추가적인 입력(예: 제 3 입력)이 검출되면, 상기 가상 방향 변경 시점이 고정되도록 설정할 수 있다. 예를 들어, 프로세서(460)는 상기 검출된 제3 입력에 의해 상기 가상 방향 변경 시점이 고정되도록 설정된 경우, 사용자는 상기 가상 방향 변경 시점에서 획득된 상기 제3 영상 데이터 또는 상기 제3 영상 데이터에 기반하여 생성된 상기 제3 가상 영상 데이터의 디스플레이를 유지하기 위해 상기 제1 입력 내지 상기 제3 입력을 유지하지 않아도 된다. 또한, 프로세서(460)는 예를 들어, 상기 제3 입력에 의해 상기 가상 방향 변경 시점이 고정되도록 설정된 이후, 상기 제3 영상 데이터 또는 상기 제3 가상 영상 데이터가 디스플레이 되는 도중 추가적인 입력(예: 제4 입력)이 검출되면 상기 현재 시점으로 복귀될 수 있다. 예를 들어, 프로세서(460)는 상기 제3 입력에 의해 상기 가상 방향 변경 시점에서 상기 제3 영상 데이터 또는 상기 제3 가상 영상 데이터가 디스플레이 되도록 고정된 이후, 상기 제4 입력이 검출되면 상기 현재 시점으로 복귀되어 상기 현재 시점에서 획득된 상기 제1 영상 데이터 또는 상기 제1 영상 데이터에 기반하여 생성된 상기 제1 가상 영상 데이터를 디스플레이(440) 상에 표시할 수 있다
일 실시예에 따르면, 프로세서(460)는 상기 제1 입력이 유지되는 동안 상기 가상 이동 시점에서 획득된 상기 제2 영상 데이터 또는 상기 제2 영상 데이터에 기반하여 생성된 상기 제2 가상 영상 데이터를 디스플레이 하는 도중, 상기 입력 센서(420)로부터 추가적인 입력(예: 제2 입력)이 검출되면, 상기 제1 입력에 대응하여 디스플레이(440)에 제공되는 영상 데이터의 시점의 뎁스를 제어하는 주 동작을 수행하고, 상기 제2 입력에 대응하여 상기 디스플레이(440))에 제공되는 영상 데이터의 시점의 방향 전환, 고정 또는 저장 중 적어도 하나를 제어하는 보조 동작을 수행할 수 있다. 예를 들어, 프로세서(460)는 상기 제1 입력이 유지되는 동안 상기 가상 이동 시점에서 획득된 상기 제2 영상 데이터 또는 상기 제2 영상 데이터에 기반하여 생성된 상기 제2 가상 영상을 디스플레이 하는 도중, 상기 제2 입력이 검출되면, 상기 제1 입력의 속성에 대응하여 상기 디스플레이(440)에 제공되는 상기 제2 영상 데이터(또는 상기 제2 가상 영상 데이터)의 시점의 뎁스(예: 시점의 이동량, 이동 속도 또는 이동 단계)가 변경되도록 제어할 수 있다. 예를 들어, 상기 제1 입력이 압력 입력인 경우, 프로세서(460)는 상기 제1 입력의 강도(세기)의 변화에 대응하여 상기 디스플레이(440)에 제공되는 상기 제2 영상 데이터(또는 상기 제2 가상 영상 데이터)의 시점이 상기 현재 시점과 복수 단계의 가상 이동 시점들 사이에서 전진 또는 후진하는 것과 같이 이동되도록 상기 시점의 뎁스를 제어할 수 있다. 이와 동시에, 프로세서(460)는 상기 제2 입력의 속성에 대응하여 상기 디스플레이(440)에 제공되는 영상 데이터의 시점이 방향 전환되거나, 고정되거나 또는 저장되도록 제어할 수 있다. 예를 들어, 상기 제2 입력이 스와이프 입력인 경우, 프로세서(460)는 상기 스와이프 입력의 속성(예: 크기 및 방향)에 대응하여 상기 디스플레이(440)에 제공되는 상기 제2 영상 데이터(또는 상기 제2 가상 영상 데이터)의 시점의 방향을 상, 하, 좌 또는 우로 회전시킬 수 있다. 또한, 상기 제2 입력이 예를 들어, 압력 입력인 경우, 상기 제2 입력의 강도(세기)에 대응하여 상기 영상 데이터의 시점을 고정시키거나 상기 영상이 저장되도록 제어할 수 있다. 예를 들어, 프로세서(460)는 상기 제2 입력의 강도(세기)가 제1 레벨인 경우 상기 제2 영상 데이터(또는 상기 제2 가상 영상 데이터)의 시점을 고정시키고, 상기 제2 입력의 강도(세기)가 제2 레벨인 경우 상기 제2 영상 데이터(또는 상기 제2 가상 영상 데이터)가 정지 영상(예: 스틸 이미지)으로 저장되고, 상기 제2 입력의 강도(세기)가 제3 레벨인 경우 상기 제2 영상 데이터(또는 상기 제2 가상 영상 데이터)가 동영상(예: 비디오)으로 저장되도록 제어할 수 있다. 한편, 프로세서(460)는 상기 제2 입력의 강도(세기)가 상기 제1 레벨인 경우 상기 제2 영상 데이터(또는 상기 제2 가상 영상 데이터)의 시점이 고정된 이후, 상기 제1 레벨과 동일한 강도(세기)의 추가적인 입력(예: 제3 입력)이 검출되면 상기 가상 이동 시점의 고정을 해제하고 상기 가상 이동 시점에서 상기 현재 시점으로 복귀될 수 있다.
일 실시 예에 따르면, 전자 장치(401)가 리얼리티 서비스를 제공하고 있는 상황에서, 프로세서(460)는 사용자에 의해 입력된 압력 입력에 대응하여 전자 장치(401)가 사용자에게 제공하는 리얼리티 서비스의 서비스 시점(view point)을 변경시킬 수 있다.
일 실시 예에 따르면, 전자 장치(401)가 리얼리티 서비스를 제공하고 있는 상황에서, 프로세서(460)는 사용자의 압력 입력에 대응하여 사용자에게 시점 정보를 제어할 수 있다. 예를 들어, 사용자가 1 레벨 단계의 압력 입력을 인가하는 경우 전자 장치는 현재 사용자에게 제공되는 리얼리티 서비스의 시점으로부터 제 1 뎁스 앞으로 상기 전자 장치(401)의 시점을 이동시킬 수 있다. 사용자가 2 레벨 단계의 압력 입력을 인가하는 경우 전자 장치는 현재 사용자에게 제공되는 리얼리티 서비스의 시점으로부터 제 2 뎁스 앞으로 상기 전자 장치(401)의 시점을 이동시킬 수 있다. 사용자가 3 레벨 단계의 압력 입력을 인가하는 경우 전자 장치는 현재 사용자에게 제공되는 리얼리티 서비스의 시점으로부터 제 3 뎁스 앞으로 상기 전자 장치(401)의 시점을 이동시킬 수 있다.
이러한 압력 입력을 이용한 시점 변경 방법을 증강 현실 (AR, augmented reality) 서비스에 적용하는 경우, 3D 지도 또는 indoor map, 또는 BMI(building information modeling)과 연동하여, 사용자에게 보다 정확한 정보를 제공해 줄 수 있다. 예를 들어, 현재 화면에 보여지는 건물에 압력 입력을 가하는 경우, 사용자에게 제공하는 서비스 시점을 인도어 맵(indoor map)과 같은 건물 정보를 이용하여 건물 내부로 이동시켜 건물 내부의 정보를 현재 위치에서 확인할 수도 있다.
일 실시 예에 따르면, 프로세서(460)는 상술한 시점 이동 방법에서, 사용자가 실제로는 이동을 하지 않았지만, 가상으로 사용자를 이동시키는 효과를 발생시킬 수 있다. 예를 들어, 현재 시점에서 도로 앞에 위치한 상점의 정보를 알기 위해 사용자가 직접 이동하지 않고, 증강 현실(AR) 상황에서 시점 이동만으로 해당 위치로 이동할 수 있다. 일 실시 예에 따르면, 시점 이동 후, 사용자가 증강 현실(AR)을 표시하는 기기(예: 전자 장치(401))를 이동시키거나, 방향 전환을 하게 되면, 이동/변경된 시점을 기준으로 시점을 추가로 변화시킬 수도 있다. 즉, 프로세서(460)는 사용자가 압력 입력을 통해, 100m 앞으로 화면의 시점을 이동시킨 이후, 기기를 좌측으로 돌리게 되면, 100m 앞의 시점을 기준으로 좌측으로 시점을 이동시켜 해당 위치의 정보를 사용자에게 제공해 줄 수 있다. 이를 통해 앞의 골목 내에 있는 실제적인 정보 및 가상의 정보를 사용자의 이동 없이 확인할 수 있다.
또한, 프로세서(460)는 시점이 변경된 상황, 즉 가상 이동 시점 또는 가상 방향 변경 시점에서 전자 장치(401)가 사용자에게 제공하는 화면은 전자 장치(401)의 카메라를 통해 얻어진 영상일 수 있으며, 또는 상기 전자 장치(401)의 메모리(450) 또는 외부 전자 장치(예: 전자 장치(104) 또는 서버(106)) 중 적어도 하나에 저장된 3D/2D 맵(map)을 이용하여 재구성된 가상의 화면일 수도 있다.
일 실시예에 따르면, 시점 변경 상황에서 사용자에게 제공되는 화면은 외부 전자 장치(예: 전자 장치(104) 또는 서버106)) 또는 전자 장치(401)에 저장된 사진 정보를 이용하여 생성된 가상 영상일 수도 있다. 일 실시 예에 따르면 전자 장치(401)는 사진, 맵과 같은 가상 영상 소스의 일부와 전자 장치(401)가 카메라 모듈(410)(예: 이미지 센서(415))를 통해 획득한 실제 영상의 일부와 결합하여 상기 전자 장치(401)의 시점에서의 영상으로 구성하여 사용자에게 제공할 수 있다.
도 4b를 참조하면, 다양한 실시예에 따른 전자 장치(401)는 터치 센서 구동 IC(integrated circuit)(423), 압력 센서 구동 IC(integrated circuit)(427), 디스플레이 구동 IC(integrated circuit)(445) 또는 햅틱 액추에이터(470) 중 적어도 하나를 더 포함할 수 있다.
터치 센서 구동 IC(423)는 터치 센서(421) 로부터 수신된 아날로그 신호를 디지털 신호(예: X 및 Y 좌표)로 변환하여 프로세서(460)로 전송할 수 있다.
한 실시예에 따르면, 터치 센서 구동 IC(423)는 터치 센서(421)를 통해 검출된 입력(예: 터치 입력)에 의한 아날로그 신호를 디지털 신호(예: X-Y 좌표)로 변환하여 프로세서(460)로 전송할 수 있다. 프로세서(460)는 상기 터치 센서 구동 IC(423)로부터 수신된 디지털 신호를 이용하여 상기 검출된 입력(예: 터치 입력)의 속성을 판단할 수 있다. 예를 들어, 상기 검출된 입력(예: 터치 입력)의 속성은 타입, 위치(예: X-Y 좌표), 크기, 유지 시간 또는 횟수 중 적어도 하나를 포함할 수 있다. 상기 터치 입력 중 스와이프 입력일 경우, 상기 입력의 속성은 방향을 더 포함할 수 있다.
압력 센서 구동 IC(427)는 압력 센서(425) 로부터 수신된 아날로그 신호를 디지털 신호(예: Z 좌표)로 변환하여 프로세서(460)로 전송할 수 있다.
한 실시예에 따르면, 압력 센서 구동 IC(427)는 압력 센서(425)를 통해 검출된 입력(예: 압력 입력)에 의한 아날로그 신호를 디지털 신호(예: Z 좌표)로 변환하여 프로세서(460)로 전송할 수 있다. 프로세서(460)는 상기 압력 센서 구동 IC(427)로부터 수신된 디지털 신호를 이용하여 상기 검출된 입력(예: 압력 입력)의 속성을 판단할 수 있다. 이 경우, 상기 검출된 입력(예: 압력 입력)의 속성은, 예를 들어, 타입, 강도(세기)(예: Z 좌표), 유지 시간, 횟수 또는 방향 중 적어도 하나를 포함할 수 있다.
또한, 압력 센서 구동 IC(427)는 압력 센서(425)로부터 수신된 아날로그 신호를 디지털 신호(예: X-Y 좌표)로 변환하여 프로세서(460)로 추가로 전송할 수 있다.
한 실시예에 따르면, 압력 센서 구동 IC(427)는 압력 센서(425)를 통해 검출된 입력(예: 압력 입력)에 의한 아날로그 신호를 디지털 신호(예: X-Y 좌표)로 변환하여 프로세서(460)로 추가로 전송할 수 있다. 프로세서(460)는 상기 압력 센서 구동 IC(427)로부터 수신된 디지털 신호를 이용하여 상기 검출된 입력(예: 압력 입력)의 속성을 판단할 수 있다. 이 경우, 상기 검출된 입력(예: 압력 입력)의 속성은, 예를 들어, 입력 위치를 포함할 수 있다.
디스플레이 구동 IC(445)는 프로세서(460)로부터 소정의 영상 정보를 수신하여 디스플레이(440)로 출력할 수 있다. 상기 영상 정보는, 예를 들어, 상기 이미지 센서(415)로부터 획득된 내부 영상 데이터, 상기 적어도 하나의 외부 전자 장치(예: 전자 장치(104) 또는 서버(106))으로부터 수신된 외부 영상 데이터, 또는 상기 내/외부 영상 데이터들 및 그와 관련된 정보 중 적어도 일부에 기반하여 생성된 적어도 하나의 가상 영상 중 적어도 하나를 포함할 수 있다.
햅틱 액추에이터(470)는 상기 입력 센서(420)를 통해 검출된 입력에 대응하는 촉각을 사용자에게 제공할 수 있다. 예를 들어, 햅틱 액추에이터(470)는 입력 센서(420)를 통해 검출된 입력의 입력 타입 또는 입력 동작 타입에 따라 서로 다른 촉각을 제공하도록 구동할 수 있다. 상기 입력 타입은, 예를 들어, 터치 입력 또는 압력 입력 중 적어도 하나를 포함할 수 있다. 상기 입력 동작 타입은, 예를 들어, 싱글 입력, 더블 입력, 연속 입력, 스와이프, 드래그 또는 드래그 앤 드롭 중 적어도 하나를 포함할 수 있다.
도 4c를 참조하면, 다양한 실시예에 따른 전자 장치(401)의 프로세서(460)는 AR/VR 서비스 모듈(471)을 포함할 수 있다. 상기 AR/VR 서비스 모듈(471)은 적어도 하나의 서브 모듈로 세분화할 수 있다. 예를 들어, 상기 AR/VR 서비스 모듈(471)은 시점 설정 모듈(471a), 시점 생성 모듈(471b), 오브젝트 인식 모듈(471c), AR/VR 데이터 결합 모듈(471d) 또는 디스플레이 업데이트 모듈(471e) 중 적어도 하나를 포함할 수 있다.
시점 설정 모듈(471a)은 전자 장치(401)가 디스플레이(440)의 화면에 표시할 영상의 시점 정보(viewpoint)를 결정할 수 있다. 상기 시점 설정 모듈(471a)은 상기 전자 장치(401)의 시점 변경 요청이 없는 상태에서의 영상의 시점 정보는 초기화되어 있을 수 있다.
한 실시예에 따르면, 상기 시점 설정 모듈(471a)은 디스플레이(440)를 통해 이미지 센서(415)로부터 획득된 제1 영상 데이터 또는 상기 제1 영상 데이터에 기반하여 생성된 제1 가상 영상 데이터가 디스플레이 되는 동안 입력 센서(420)를 통해 입력이 검출되면, 상기 검출된 입력의 속성에 기반하여 전자 장치(401)의 가상 이동 시점을 결정할 수 있다. 상기 검출된 입력의 속성은 입력 타입, 입력 위치, 입력 크기나 강도(세기), 입력 유지 시간, 입력 횟수 또는 입력 방향 중 적어도 하나를 포함할 수 있다.
예를 들어, 상기 시점 설정 모듈(471a)은 상기 검출된 입력의 속성에 기반하여 이미지 센서(415)로부터 획득된 영상 데이터, GPS 정보, 또는 전자 장치(401)의 모션 정보 중 적어도 하나를 이용하여 전자 장치(401)의 위치를 결정하고, 상기 결정된 전자 장치의 위치에서 전자 장치(401)(예: 카메라 모듈(410))의 자세 및 방향 정보 또는 상기 획득된 영상 데이터의 화각 정보 중 적어도 하나를 이용하여 상기 전자 장치(401)의 가상 이동 시점을 결정할 수 있다. 이에 따라, 상기 전자 장치(401)의 가상 이동 시점은 입력에 의해 설정된 전자 장치(401)의 가상의 위치 정보(position information) 및 상기 가상의 위치에서의 전자 장치(401)의 자세 또는 방향에 따른 카메라 모듈(410)의 방향 정보(directional information) 중 적어도 일부를 포함할 수 있다.
시점 생성 모듈(471b)은 상기 시점 설정 모듈(471a)로부터 결정된 시점을 이용하여 전자 장치(401)가 상기 결정된 시점에 대응하여 디스플레이(440)의 화면에 출력될 영상을 생성할 수 있다. 상기 시점 생성 모듈(471b)은 상기 전자 장치(401)의 시점 변경 요청이 없는 경우, 카메라 모듈(410)을 통해 획득된 영상 데이터 또는 상기 획득된 영상 데이터에 기반하여 생성된 가상 영상 데이터를 시점의 변경 없이 디스플레이(440)의 화면에 출력할 수 있다.
예를 들어, 입력 센서(420)를 통한 입력 및/또는 전자 장치(401)의 자세/방향 변경을 통해 전자 장치(401)의 시점(viewpoint)이 변경되는 경우, 시점 생성 모듈(471b)은 GPS 정보, 상기 획득된 영상 데이터(예: 정지 영상 또는 비디오) 중 적어도 하나를 이용하여 상기 전자 장치(401)의 시점이 이동된 가상 이동 시점에 대응하는 영상 데이터 또는 가상 영상 데이터를 생성할 수 있다. 상기 시점 생성 모듈(471b)은 예를 들어 상기 가상 영상 데이터를 생성하기 위해, 전자 장치(401)의 내/외부로부터 제공되는 GPS 정보, 상기 캡쳐된 내/외부 영상 데이터, 3D/2D 맵 정보(3D/2D map information), 이미지 데이터베이스(image database) 또는 BIM 데이터베이스(building information modeling database) 또는 인적 정보 등의 정보를 이용하여, 변경된 시점(예: 가상 이동 시점 또는 가상 방향 변경 시점)에서의 영상 데이터 또는 가상 영상 데이터를 생성하여 제공할 수 있다.
일 실시예에 따르면, 프로세서(460)는 이러한 시점 변경에 따른 영상 데이터 또는 가상 영상 데이터의 생성은 동작 화면 업데이트 속도를 낮추어 동작시킬 수 있다. 즉, 동영상과 같이 연속된 형태의 영상 데이터 또는 가상 영상 데이터로 제공하는 것이 아니라, 일정 시간 간격 또는 일정 시점 변경이 발생할 때 마다 영상 데이터 또는 가상 영상 데이터를 새로 생성하여 업데이트할 수 있다.
일 실시예에 따르면, 프로세서(460)는 영상 데이터 또는 가상 영상 데이터의 확대와 이동을 적절히 혼합하여 사용할 수 있다. 예를 들어, 지속적으로 시점을 전진시키고 있는 경우, 영상 데이터(또는 가상 영상 데이터)의 생성 방법과 생성된 영상 데이터(또는 가상 영상 데이터)의 확대 방법을 교대로 또는 일정 간격으로 적용하여, 영상합성의 부담을 줄일 수 있다. 이러한 영상 데이터 생성 주기의 결정은 네트워크 속도, 전자 장치(401)의 CPU 부하, 메모리 사용량 등 영상 데이터의 생성에 필요한 전자 장치(401)의 동작 상태에 기반하여 동적으로 결정될 수 있다.
일 실시 예에 따르면, 이러한 시점 변경의 확인 및 영상 데이터의 생성 동작은 사용자의 입력에 따라 실시간으로 이루어질 수 있으며, 실시간 동작을 위한 사용자의 동작 예측 모듈(미도시)이 추가되어 동작할 수 있다. 사용자의 동작 예측 모듈(미도시)은 사용자의 이동 속도, 이동 방향, GPS와 맵 정보, 부가정보의 존재 여부 등을 고려하여 사용자의 향후 시점 이동을 예측할 수 있으며, 이러한 예측에 기반하여, 예상되는 시점에 대한 영상 정보를 포함하는 프레임(frame)을 미리 생성하여 제공할 수도 있다.
일 실시예에 따르면, 시점 생성 모듈(471b)은 가상 이동 시점에서의 영상 데이터 또는 가상 영상 데이터 생성 시, 사용하는 영상 데이터의 정보에 대한 우선순위를 두고 선택할 수도 있다. 예를 들어, 시점 생성 모듈(471b)은 제1 우선순위를 갖는 정보(예: 3D 맵 정보)를 이용하여 제1 영상 데이터 또는 상기 제1 영상 데이터에 기반하여 생성된 제1 가상 영상 데이터를 생성하고, 제2 우선순위를 갖는 정보(예: 사진, 2D 맵 정보 또는 BIM 정보 등)를 상기 생성된 제1 영상 데이터와 병합하여 제2 영상 데이터 또는 상기 제2 영상 데이터에 기반하여 생성된 제2 가상 영상 데이터를 생성할 수 있다.
일 실시예에 따르면, 시점 생성 모듈(471b)은 제1 우선순위를 갖는 정보(예: 사진 또는 카메라 프리뷰 영상)이용하여 제1 영상 데이터 또는 제1 가상 영상 데이터를 생성하고, 제2 우선순위를 갖는 정보(예: 상기 사진 또는 카메라 프리뷰 영상에 존재하지 않는 영역에 대한 3D 맵 정보)를 상기 생성된 제1 영상 데이터와 병합하여 보충된 제2 영상 데이터 또는 상기 제2 영상 데이터에 기반하여 생성된 제2 가상 영상 데이터를 생성할 수 있다.
오브젝트 인식 모듈(471c)은 상기 이미지 센서(415)를 통해 획득된 내부 영상 데이터 또는 적어도 하나의 전자 장치(예: 전자 장치(104) 또는 서버(106))로부터 수신된 외부 영상 데이터 내 적어도 하나의 오브젝트를 인식할 수 있다. 상기 오브젝트 인식 모듈(471c)은 종래에 다양하게 기술된 영상 데이터 내 오브젝트 인식 방법들 중 적어도 하나가 사용될 수 있다. 따라서, 본 발명에서는 영상 데이터 내 오브젝트 인식 방법에 대한 상세한 설명을 생략하기로 한다.
AR/VR 데이터 결합 모듈(471d)는 상기 내/외부 영상 데이터 내 인식된 적어도 하나의 오브젝트와 관련된 정보를 수신하여, 상기 내/외부 영상 데이터에 해당 오브젝트와 관련된 정보를 합성 또는 병합하여 결합할 수 있다.
상기 오브젝트 인식 모듈(471c) 및 상기 AR/VR 데이터 결합 모듈(471d)은 증강 현실(AR) 및/또는 가상 현실(VR)과 같은 리얼리티 서비스를 제공하기 위해 시점 생성 모듈(471b)을 통해 생성된 영상 데이터 또는 가상 영상 데이터에서의 오브젝트의 인식과 이와 관련된 증강 데이터 및/또는 가상 데이터를 연동하는 역할을 수행할 수 있다. 오브젝트 인식 모듈(471c) 및 AR/VR 데이터 결합 모듈(471d)을 통해 전자 장치(401)는 디스플레이(440)의 화면 상에 디스플레이 되고 있는 영상 데이터 내 인식된 적어도 하나의 오브젝트에 대한 부가 정보를 서로 병합하거나 상기 영상 데이터 내에 중첩하여 사용자에게 제공할 최종 영상 데이터(예: 가상 영상 데이터)를 생성할 수 있다.
디스플레이 업데이트 모듈(471e)은 AR/VR 데이터 결합 모듈(471d)을 통해 생성된 최종 영상 데이터를 업데이트하여 전자 장치(401)의 디스플레이(440)에 출력함으로써 사용자에게 제공될 수 있다.
본 개시에서, 상기 전자 장치(401)는 가상 현실(VR) 또는 증강 현실(AR)과 같은 리얼리티 서비스를 수행하기 위한 구성요소들을 포함하는 것으로 설명하였으나, 이에 한정되는 것은 아니며 상기 리얼리티 서비스를 수행할 수 있는 외부 전자 장치(예: 스마트 폰)와 연동되거나 결합되어 상기 리얼리티 서비스를 제공할 수도 있다.
다양한 실시예에 따르면, 전자 장치(401)는 하우징, 터치스크린 디스플레이(예: 디스플레이(440)), 압력 센서(425), 이미지 센서(415), 무선 통신 회로(예: 통신 회로(430)), 메모리(450) 및/또는 적어도 하나의 프로세서(예: 프로세서(460))를 포함할 수 있다.
상기 하우징은 제1 방향으로 향하는 제1 표면 및 상기 제1 방향과 반대인 제2 방향으로 향하는 제2 표면을 포함할 수 있다. 상기 터치스크린 디스플레이(440)는 상기 하우징의 상기 제1 표면 및 상기 제2 표면 사이에 배치되며, 상기 제1 표면을 통해 노출될 수 있다. 상기 압력 센서(425)는 상기 하우징의 상기 제1 표면 및 상기 제2 표면 사이에 배치되며, 상기 터치스크린 디스플레이(440)에 대해 외부 오브젝트에 의한 압력을 검출하도록 구성될 수 있다. 상기 이미지 센서(415)는 상기 하우징의 상기 제2 표면을 통해 노출되도록 배치될 수 있다. 상기 무선 통신 회로(430)는 상기 하우징 내부에 배치될 수 있다. 상기 적어도 하나의 프로세서(460)는 상기 터치스크린 디스플레이(440), 상기 압력 센서(425), 상기 이미지 센서(415) 및/또는 상기 무선 통신 회로(430)에 전기적으로 연결될 수 있다. 상기 메모리(450)는 상기 적어도 하나의 프로세서(460)에 전기적으로 연결될 수 있으며, 실행 시에, 상기 프로세서(460)가 상기 터치스크린 디스플레이(440) 상에 사용자 인터페이스를 디스플레이하고, 상기 사용자 인터페이스는 상기 이미지 센서(415)로부터의 데이터의 적어도 일부에 기반하여 이미지 및/또는 비디오를 나타내도록 구성될 수 있으며, 상기 터치스크린 디스플레이(440)를 통해 상기 이미지 및/또는 비디오 내 오브젝트에 대한 터치 입력을 검출하고, 상기 사용자 인터페이스 상에 상기 오브젝트와 관련된 정보를 디스플레이하고, 상기 이미지 및/또는 비디오를 디스플레이하는 동안, 상기 압력 센서(420)를 이용하여 상기 터치스크린 디스플레이(440)에 대한 외부 오브젝트에 의한 압력을 검출하고, 상기 검출된 압력의 적어도 일부에 기반하여 상기 이미지 센서(415)에 대한 주밍(zooming) 동작을 수행하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시예에 따르면, 상기 인스트럭션들은 상기 프로세서(460)가 상기 터치스크린 디스플레이(440) 또는 압력 센서(425) 중 적어도 하나를 이용하여 상기 사용자 인터페이스 상에 상기 압력의 위치를 판단하고, 상기 판단된 위치 및/또는 상기 검출된 압력의 적어도 일부에 기반하여 상기 주밍 동작을 수행할지 또는 상기 무선 통신 회로(430)를 이용하여 외부 이미지 또는 비디오를 수신할지 여부를 판단하도록 할 수 있다.
다양한 실시예에 따르면, 상기 인스트럭션들은 상기 프로세서(460)가 상기 판단된 위치가 상기 디스플레이된 이미지 및/또는 비디오에서 선택된 범위 내에서 있으면 상기 주밍 동작을 수행하고, 상기 판단된 위치가 상기 선택된 범위 밖에 있으면 상기 외부 이미지 또는 비디오를 수신하도록 할 수 있다.
다양한 실시예에 따르면, 상기 인스트럭션들은 상기 프로세서(460)가 상기 검출된 압력이 임계 레벨 미만이면 상기 주밍 동작을 수행하고, 상기 검출된 압력이 임계 레벨 이상이면 상기 외부 이미지 또는 비디오를 수신하도록 할 수 있다.
다양한 실시예에 따르면, 상기 인스트럭션들은 상기 프로세서(460)가 상기 무선 통신 회로(430)를 이용하여 상기 외부 이미지 또는 비디오를 수신하고, 상기 이미지 센서(415)로부터의 데이터의 적어도 일부에 기반하여 제시된 상기 외부 이미지 및/또는 비디오의 적어도 일부를 대신하기 위해 상기 외부 이미지 또는 비디오를 디스플레이하도록 할 수 있다.
다양한 실시예에 따르면, 전자 장치(401)는 하우징, 터치스크린 디스플레이(예: 디스플레이(440)), 이미지 센서(415), 무선 통신 회로(예: 통신 회로(430)), 메모리(450) 및/또는 적어도 하나의 프로세서(예: 프로세서(460))를 포함할 수 있다.
상기 하우징은 제1 방향으로 향하는 제1 표면 및 상기 제1 방향과 반대인 제2 방향으로 향하는 제2 표면을 포함할 수 있다. 상기 터치스크린 디스플레이(440)는 상기 하우징의 상기 제1 표면 및 상기 제2 표면 사이에 배치되며, 상기 제1 표면을 통해 노출될 수 있다. 상기 이미지 센서(415)는 상기 제2 표면을 통해 노출되도록 배치될 수 있다. 상기 무선 통신 회로(430)는 상기 하우징 내부에 배치될 수 있다. 상기 적어도 하나의 프로세서(460)는 상기 터치스크린 디스플레이(440), 상기 이미지 센서(415) 및 상기 무선 통신 회로(430)에 전기적으로 연결될 수 있다. 상기 메모리(450)는 상기 적어도 하나의 프로세서(460)에 전기적으로 연결될 수 있으며, 실행 시에, 상기 프로세서(460)가 상기 터치스크린 디스플레이(440) 상에 사용자 인터페이스를 디스플레이하고, 상기 사용자 인터페이스는 상기 이미지 센서(415)로부터의 데이터의 적어도 일부에 기반하여 이미지 및/또는 비디오를 나타내도록 구성되며, 상기 터치스크린 디스플레이(440)를 통해 상기 이미지 및/또는 비디오 내 오브젝트에 대한 제1 입력을 검출하고, 상기 사용자 인터페이스 상에 상기 오브젝트와 관련된 정보를 디스플레이하고, 상기 이미지 및/또는 비디오를 디스플레이하는 동안 제2 입력을 검출하고, 상기 제2 입력에 응답하여 상기 이미지 센서에 대한 주밍 동작을 수행하도록 하는 인스트력션들을 저장할 수 있다.
다양한 실시예에 따르면, 상기 인스트력션들은 상기 프로세서(460)가 상기 터치스크린 디스플레이(440)를 이용하여 상기 사용자 인터페이스 상에 상기 제2 입력의 위치를 검출하고, 상기 검출된 위치의 적어도 일부에 기반하여 상기 주밍 동작을 수행할지 또는 상기 무선 통신 회로(430)를 이용하여 외부 이미지 또는 비디오를 수신할지 여부를 판단하도록 할 수 있다.
다양한 실시예에 따르면, 상기 인스트력션들은 상기 프로세서(460)가 상기 무선 통신 회로(430)를 이용하여 외부 이미지 또는 비디오를 수신하고, 상기 이미지 센서(415)로부터의 데이터의 적어도 일부에 기반하여 제시된 상기 외부 이미지 및/또는 비디오를 교체하기 위해 상기 외부 이미지 또는 비디오를 디스플레이하도록 할 수 있다.
다양한 실시예에 따르면, 전자 장치(401)는 하우징, 터치스크린 디스플레이(예: 디스플레이(440)), 압력 센서(425), 이미지 센서(415), 무선 통신 회로(예: 통신 회로(430)), 메모리(450) 및/또는 적어도 하나의 프로세서(예: 프로세서(460))를 포함할 수 있다.
상기 하우징은 제1 방향으로 향하는 제1 표면 및 상기 제1 방향과 반대인 제2 방향으로 향하는 제2 표면을 포함할 수 있다 상기 터치스크린 디스플레이(440)는 상기 제1 표면 및 상기 제2 표면 사이에 배치되며, 상기 제1 표면을 통해 노출될 수 있다. 상기 압력 센서(425)는 상기 제1 표면 및 상기 제2 표면 사이에 배치되며, 상기 터치스크린 디스플레이(440)에 대해 외부 오브젝트에 의한 압력을 검출하도록 구성될 수 있다. 상기 이미지 센서(415)는 상기 제2 표면을 통해 노출되도록 배치될 수 있다. 상기 무선 통신 회로(430)는 상기 하우징 내부에 배치될 수 있다. 상기 적어도 하나의 프로세서(460)는 상기 터치스크린 디스플레이(440), 상기 압력 센서(425), 상기 이미지 센서(415) 및 상기 무선 통신 회로(430)에 전기적으로 연결될 수 있다. 상기 메모리(450)는 상기 적어도 하나의 프로세서(460)에 전기적으로 연결될 수 있으며, 실행 시에, 상기 프로세서(460)가, 상기 터치스크린 디스플레이(460) 상에 사용자 인터페이스를 디스플레이하고, 상기 사용자 인터페이스는 상기 메모리(450)에 저장 및/또는 상기 무선 통신 회로(430)를 통해 수신된 이미지 및/또는 비디오를 나타내도록 구성되며, 상기 터치스크린 디스플레이(440)를 통해 상기 이미지 및/또는 비디오 내 오브젝트에 대한 터치 입력을 검출하고, 상기 사용자 인터페이스 상에 상기 오브젝트와 관련된 정보를 디스플레이하고, 상기 이미지 및/또는 비디오를 디스플레이 하는 동안 상기 압력 센서(425)를 이용하여 상기 터치스크린 디스플레이(440)에 대한 외부 오브젝트에 의한 압력을 검출하고, 상기 검출된 압력의 적어도 일부에 기반하여, 상기 이미지 및/또는 비디오와 관련된 시각 효과 동작을 수행하도록 하는 인스트력션들을 저장할 수 있다.
다양한 실시예에 따르면, 상기 시각 효과 동작은 상기 이미지 및/또는 비디오에 대한 주밍(zooming) 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 시각 효과 동작은 상기 이미지 및/또는 비디오에 대해 디스플레이된 오브젝트의 투명도를 변경하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 전자 장치는 이미지 센서(415), 통신 회로(430), 디스플레이(440), 입력 센서(420), 및/또는 프로세서(460)를 포함할 수 있다.
상기 이미지 센서(415)는 영상 데이터를 획득할 수 있다. 상기 통신 회로(430)는 하나의 이상의 외부 전자 장치(예: 전자 장치(104) 또는 서버(106)) 로부터 상기 획득된 영상 데이터와 관련된 정보를 수신할 수 있다. 상기 디스플레이(440)는 상기 획득된 영상 데이터 또는 상기 획득된 영상 데이터와 관련된 정보 중 적어도 일부를 출력할 수 있다. 상기 입력 센서(420)는 적어도 하나의 입력을 검출할 수 있다. 상기 프로세서(460)는 상기 획득된 영상 데이터에 기반하여 상기 전자 장치(401)의 현재 시점을 결정하고, 상기 결정된 현재 시점에서 생성된 제1 가상 영상을 디스플레이 하는 동안 상기 입력이 검출되면, 상기 검출된 입력에 대응하는 상기 전자 장치의 가상 이동 시점을 결정하고, 상기 결정된 가상 이동 시점에서 생성된 제2 가상 영상을 디스플레이 하도록 구성될 수 있다.
다양한 실시예에 따르면, 상기 프로세서(460)는 상기 영상 데이터가 획득된 상기 전자 장치(401)의 위치를 검출하고, 상기 획득된 영상 데이터에서 상기 검출된 전자 장치(401)의 위치에 대응되는 시점을 상기 전자 장치(401)의 현재 시점으로 결정할 수 있다.
다양한 실시예에 따르면, 상기 프로세서(460)는 상기 획득된 영상 데이터 내 적어도 하나의 제1 오브젝트를 인식하고, 상기 인식된 적어도 하나의 제1 오브젝트와 관련된 제1 정보를 획득하고, 상기 획득된 영상 데이터 또는 상기 획득된 적어도 하나의 제1 오브젝트와 관련된 제1 정보 중 적어도 일부에 기반하여 상기 현재 시점에 대응되는 상기 제1 가상 영상을 생성하고, 상기 생성된 제1 가상 영상을 디스플레이할 수 있다.
다양한 실시예에 따르면, 상기 프로세서(460)는, 상기 제1 가상 영상을 디스플레이하는 동안 상기 입력 센서(420)로부터 상기 인식된 적어도 하나의 제1 오브젝트에 대응하는 입력이 검출되면, 상기 획득된 제1 정보에 기반하여 상기 적어도 하나의 제1 오브젝트의 속성을 변경할 수 있다.
다양한 실시예에 따르면, 상기 적어도 하나의 제1 오브젝트의 속성은 투명도를 포함할 수 있다.
다양한 실시예에 따르면, 상기 프로세서(460)는 상기 현재 시점에서 생성된 상기 제1 가상 영상을 디스플레이 하는 동안 상기 입력 센서(420)로부터 제1 입력이 검출되는지 여부를 판단할 수 있다. 상기 프로세서(460)는 상기 제1 입력이 검출되면, 상기 검출된 제1 입력의 속성에 기반하여 상기 전자 장치(401)의 가상 이동 시점을 결정할 수 있다. 상기 프로세서(460)는 상기 현재 시점으로부터 상기 가상 이동 시점까지의 위치 변위량에 대응하는 상기 전자 장치의 위치 변위량을 산출하고, 상기 산출된 전자 장치의 위치 변위량에 기반하여 상기 전자 장치의 가상 이동 위치를 검출할 수 있다. 상기 프로세서(460)는 상기 검출된 전자 장치의 가상 이동 위치에서, 상기 이미지 센서(415) 또는 상기 외부 전자 장치 중 적어도 하나로부터 영상 데이터를 획득하거나 수신할 수 있다. 상기 프로세서(460)는 상기 검출된 전자 장치(401)의 가상 이동 위치에서 상기 획득되거나 수신된 영상 데이터 내 적어도 하나의 제2 오브젝트를 인식하고, 상기 인식된 적어도 하나의 제2 오브젝트와 관련된 제2 정보를 획득할 수 있다. 상기 프로세서(460)는 상기 영상 데이터 또는 상기 인식된 적어도 하나의 제2 오브젝트와 관련된 제2 정보 중 적어도 일부에 기반하여 상기 가상 이동 시점에 대응되는 상기 제2 가상 영상을 생성하고, 상기 생성된 제2 가상 영상을 디스플레이 할 수 있다.
다양한 실시예에 따르면, 상기 검출된 제1 입력의 속성은 입력 타입, 입력 크기, 입력 강도/세기, 입력 유지 시간, 입력 횟수 또는 입력 방향 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 프로세서(460)는 상기 제1 입력이 유지되는 동안 상기 제2 가상 영상을 디스플레이 할 수 있다.
다양한 실시예에 따르면, 상기 프로세서(460)는 상기 제1 입력이 유지되지 않으면 상기 제1 가상 영상을 디스플레이 할 수 있다.
다양한 실시예에 따르면, 상기 프로세서(460)는 상기 가상 이동 시점에서 생성된 상기 제2가상 영상을 디스플레이 하는 동안 상기 입력 센서(420)로부터 제2 입력이 검출되는지 여부를 판단할 수 있다. 상기 프로세서(460)는 상기 제2 입력이 검출되면, 상기 검출된 제2 입력의 속성에 기반하여 상기 가상 이동 시점을 기준으로 방향이 변경된 가상 이동 변경 시점을 결정하고, 상기 가상 이동 시점으로부터 상기 가상 방향 변경 시점까지의 상기 전자 장치(401)의 자세 또는 방향의 변화량을 산출하여 상기 전자 장치(401)의 가상 변경 자세 또는 가상 변경 방향 중 적어도 하나를 검출할 수 있다. 상기 프로세서(460)는 상기 검출된 전자 장치(401)의 가상 변경 자세 또는 가상 변경 방향 중 적어도 하나에 기반하여, 상기 이미지 센서(415) 또는 상기 외부 전자 장치 중 적어도 하나로부터 영상 데이터를 획득하거나 수신할 수 있다. 상기 프로세서(460)는 상기 검출된 전자 장치(401)의 변경 자세 또는 변경 방향 중 적어도 하나에 기반하여 상기 획득되거나 수신된 상기 영상 데이터 내 적어도 하나의 제3 오브젝트를 인식하고, 상기 인식된 적어도 하나의 제3 오브젝트와 관련된 제3 정보를 획득할 수 있다. 상기 프로세서(460)는 상기 영상 데이터 또는 상기 인식된 적어도 하나의 제3 오브젝트와 관련된 제3 정보 중 적어도 일부에 기반하여 상기 가상 이동 변경 시점에 대응되는 제3 가상 영상을 생성하고, 상기 생성된 제3 가상 영상을 디스플레이 할 수 있다.
다양한 실시예에 따르면, 상기 검출된 제2 입력의 속성은 입력 위치 또는 입력 방향 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 프로세서(460)는 상기 가상 이동 시점에서 생성된 상기 제2가상 영상을 디스플레이 하는 동안 상기 입력 센서(420)로부터 제2 입력이 검출되는지 여부를 판단하고, 상기 제2 입력이 검출되면, 상기 가상 이동 시점을 고정할 수 있다.
도 5는 다양한 실시예에 따른 전자 장치의 제어 방법을 나타내는 흐름도이다. 전자 장치(예: 전자 장치(401))의 제어 방법은 동작 510 내지 540을 포함할 수 있다. 상기 전자 장치의 제어 방법은, 전자 장치(예: 전자 장치(401)), 상기 전자 장치의 프로세서(예: 프로세서(460)) 중 적어도 하나에 의해 수행될 수 있다.
동작 510에서, 예컨대, 상기 전자 장치는 카메라 모듈(예: 카메라 모듈(410) 내 이미지 센서(415))를 통해 획득된 영상 데이터에 기반하여 사용자의 현재 시점을 결정할 수 있다. 예를 들어, 상기 전자 장치는 리얼리티 서비스(예: 가상 현실(VR) 및/또는 증강 현실(AR))과 관련된 어플리케이션 실행 시, 상기 전자 장치의 카메라 모듈을 통해 영상 데이터를 획득하고, 상기 영상 데이터가 획득된 상기 전자 장치의 위치, 자세 또는 방향 중 적어도 하나를 검출하고, 상기 검출된 전자 장치의 위치, 자세 또는 방향 중 적어도 하나에 기반한 상기 카메라 모듈(예: 이미지 센서의 중심 화각)에 대응되는 시점을 상기 전자 장치의 현재 시점으로 결정할 수 있다.
일 실시예에 따르면, 상기 전자 장치는 상기 이미지 센서를 통해 상기 영상 데이터 획득 시, GPS 또는 다른 통신 네트워크 신호, 또는 비컨을 이용한 근거리 위치 표지장치와 같은 다양한 위치인식 기법을 통해 상기 전자 장치의 현재 위치를 검출할 수 있다.
일 실시예에 따르면, 상기 전자 장치는 사용자에 의해 발생된 입력(예: 터치 입력 또는 압력 입력 중 적어도 하나)을 수신하는 경우, 상기 입력의 크기나 강도(세기)를 구분하여, 상기 전자 장치가 현재 위치에서 상기 카메라 모듈(예: 이미지 센서)의 중심 화각 방향으로 가상으로 이동될 가상 위치까지의 위치 변위량을 계산할 수 있다. 상기 전자 장치는 상기 현재 위치에서 상기 가상 위치까지의 위치 변위량에 기반하여 상기 가상 이동 시점을 결정할 수 있다.
동작 520에서, 예컨대, 상기 전자 장치는 상기 결정된 현재 시점에서 획득한 제1 영상 데이터 또는 상기 제1 영상 데이터에 기반하여 생성된 제1 가상 영상 데이터를 디스플레이 할 수 있다. 예를 들어, 상기 전자 장치는 상기 결정된 현재 시점에서, 상기 전자 장치의 이미지 센서를 통해 상기 획득된 제1 영상 데이터 및/또는 상기 현재 시점에서 획득된 제1 영상 데이터와 관련된 정보를 병합하거나 합성하여 상기 제1 가상 영상 데이터를 생성할 수 있다.
예를 들어, 상기 결정된 현재 시점에서 획득된 상기 제1 영상 데이터와 관련된 정보는 상기 전자 장치의 현재 위치에 근거한 맵(map) 정보(예: 2D/3D 맵 정보) 또는 상기 획득된 제1 영상 데이터 내 적어도 하나의 오브젝트(예: 제1 오브젝트)에 대한 정보(예: BIM(building information modeling) 정보, 인 도어 맵(indoor map) 정보 또는 인적 정보 등) 중 적어도 하나를 포함할 수 있다. 상기 전자 장치는 상기 획득된 제1 영상 데이터 또는 상기 생성된 제1 가상 영상 데이터를 상기 전자 장치의 디스플레이(예: 디스플레이(440))에 표시할 수 있다.
동작 530에서, 예컨대, 상기 전자 장치는 상기 결정된 현재 시점에서 획득된 상기 제1 영상 데이터 또는 상기 제1 영상 데이터에 기반하여 생성된 상기 제1 가상 영상 데이터를 디스플레이 하는 동안 상기 입력(예: 제1 입력)이 검출되면, 상기 검출된 제1 입력에 대응하여 상기 전자 장치의 가상 이동 시점을 결정할 수 있다.
예를 들어, 상기 전자 장치는 상기 결정된 현재 시점에서 획득된 상기 제1 영상 데이터 또는 상기 제1 영상 데이터에 기반하여 생성된 상기 제1 가상 영상 데이터를 디스플레이 하는 동안 상기 전자 장치의 입력 센서(예: 입력 센서(420)의 터치 센서(421) 또는 압력 센서(425))를 통해 제1 입력(예: 터치 입력 또는 압력 입력)이 검출되면, 상기 검출된 제1 입력의 속성에 기반하여 상기 전자 장치의 가상 이동 시점을 결정할 수 있다.
한 실시예에 따르면, 상기 검출된 제1 입력의 속성은 입력 타입(예: 터치 입력 또는 압력 입력), 입력 크기, 입력 강도(세기), 입력 유지 시간, 입력 횟수 또는 입력 방향 중 적어도 하나를 포함할 수 있다. 상기 전자 장치는 상기 검출된 제1 입력의 각 속성의 레벨에 따라 상기 가상 이동 시점을 단계적으로 또는 연속적으로 이동하도록 제어할 수 있다.
동작 540에서, 예컨대, 상기 전자 장치는 상기 제1 입력이 유지되는 동안, 상기 결정된 가상 이동 시점에서 획득된 제2 영상 데이터 또는 상기 제2 영상 데이터에 기반하여 생성된 제2 가상 영상 데이터를 상기 전자 장치의 디스플레이에 표시 할 수 있다.
한 실시예에 따르면, 상기 전자 장치는 상기 결정된 가상 이동 시점에서, 상기 이미지 센서 또는 상기 적어도 하나의 외부 전자 장치(예: 전자 장치(104) 또는 서버(106))를 통해 획득된 제2 영상 데이터 및/또는 상기 획득된 제2 영상 데이터와 관련된 정보를 병합하거나 합성하여 상기 제2 가상 영상을 생성할 수 있다.
예를 들어, 상기 결정된 가상 이동 시점에서 획득된 제2 영상 데이터와 관련된 정보는 상기 전자 장치의 가상 이동 위치에 근거한 맵(map) 정보(예: 2D/3D 맵 정보) 또는 상기 획득된 제2 영상 데이터 내 적어도 하나의 오브젝트(예: 제2 오브젝트)에 대한 정보(예: BIM(building information modeling) 정보, 인 도어 맵(indoor map) 정보 또는 인적 정보 등) 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 상기 전자 장치는 상기 현재 시점 또는 상기 가상 이동 시점에서 획득되거나 생성된 상기 제1 또는 제 2 영상 데이터(또는 상기 제1 또는 제2 가상 영상 데이터)에 대해 오브젝트 인식을 수행하게 되고, 이를 기반으로 외부 전자 장치 또는 서버(예: 증강 정보(augmented information) 서버)에서 해당 오브젝트에 대한 정보를 검색하여 획득하고, 이를 다시 해당 영상 데이터(또는 해당 가상 영상 데이터) 내 오브젝트에 첨부(attach)시킴으로써, 상기 현재 시점 또는 상기 가상 이동 시점에서 획득되거나 생성된 해당 영상 데이터에 존재하는 오브젝트에 대한 부가적인 정보를 사용자의 화면에 표시할 수 있다.
도 6은 다양한 실시예에 따른 전자 장치의 제어 방법을 나타내는 흐름도이다. 구체적으로, 도 6은 도 5의 동작 520 또는 동작 540에서 전자 장치(예: 전자 장치(401))의 소정의 시점에서 획득된 영상 데이터에 기반하여 가상 영상 데이터를 생성하는 방법을 나타내는 흐름도로서, 상기 전자 장치의 제어 방법은 동작 610 내지 660을 포함할 수 있다. 상기 전자 장치의 제어 방법은, 전자 장치(예: 전자 장치(401)), 상기 전자 장치의 프로세서(예: 프로세서(460)) 중 적어도 하나에 의해 수행될 수 있다.
동작 610에서, 예컨대, 상기 전자 장치는 카메라 모듈(예: 카메라 모듈(410) 내 이미지 센서(415))을 통해 소정의 영상 데이터를 획득할 수 있다. 상기 획득된 영상 데이터는 정지 영상(예: 스틸 이미지) 또는 동영상(예: 비디오) 중 적어도 하나를 포함할 수 있다.
동작 620에서, 예컨대, 상기 전자 장치는 상기 카메라 모듈을 통해 획득된 상기 영상 데이터에 기반하여 상기 전자 장치의 시점을 결정할 수 있다. 예를 들어, 상기 전자 장치는 상기 영상 데이터가 획득된 상기 전자 장치의 위치, 자세 또는 방향 중 적어도 하나를 검출하고, 상기 검출된 전자 장치의 위치, 자세 또는 방향 중 적어도 하나에 기반한 상기 카메라 모듈(예: 이미지 센서의 중심 화각)에 대응되는 시점을 상기 전자 장치의 시점으로 결정할 수 있다.
동작 630에서, 예컨대, 상기 전자 장치는 상기 결정된 시점에 기반하여 상기 카메라 모듈로부터 획득된 영상 데이터를 디스플레이(예: 디스플레이(440)) 상에 표시할 수 있다.
동작 640에서, 예컨대, 상기 전자 장치는 상기 디스플레이 상에 표시 되고 있는 상기 영상 데이터로부터 적어도 하나의 오브젝트를 인식할 수 있다.
동작 650에서, 예컨대, 상기 전자 장치는 상기 인식된 적어도 하나의 오브젝트와 관련된 정보(예: BIM정보, 인 도어 맵(indoor map) 정보 또는 인적 정보 등)를 상기 전자 장치의 메모리(예: 메모리(450)) 또는 적어도 하나의 외부 전자 장치(예: 전자 장치(104) 또는 서버(106)) 중 적어도 하나로부터 획득할 수 있다. 또한, 상기 전자 장치는 상기 결정된 시점에서 획득된 영상 데이터와 관련된 정보를 더 획득할 수 있다. 상기 결정된 시점에서 획득된 영상 데이터와 관련된 정보는 상기 결정된 시점에 대응되는 상기 전자 장치의 위치에 근거한 맵 정보(예: 2D/3D 맵 정보)를 포함할 수 있다.
동작 660에서, 예컨대, 상기 전자 장치는 상기 결정된 시점에서 상기 전자 장치의 카메라 모듈을 통해 획득된 영상 데이터 또는 상기 결정된 시점에서 상기 전자 장치의 메모리 또는 적어도 하나의 외부 전자 장치 중 적어도 하나로부터 획득되거나 수신된 영상 데이터와, 상기 획득되거나 수신된 영상 데이터와 관련된 정보 또는 상기 획득되거나 수신된 영상 데이터 내 상기 적어도 하나의 오브젝트와 관련된 정보를 병합하거나 합성하여 가상 영상 데이터를 생성하여 디스플레이 상에 표시할 수 있다.
도 7은 다양한 실시예에 따른 전자 장치의 제어 방법을 나타내는 흐름도이다. 구체적으로, 도 7은 전자 장치(예: 전자 장치(401))의 가상 시점(예: 가상 이동 시점 또는 가상 방향 변경 시점)을 결정하는 방법을 나타내는 흐름도로서, 상기 전자 장치의 제어 방법은 동작 710 내지 770을 포함할 수 있다. 상기 전자 장치의 제어 방법은, 전자 장치(예: 전자 장치(401)), 상기 전자 장치의 프로세서(예: 프로세서(460)) 중 적어도 하나에 의해 수행될 수 있다.
동작 710에서, 예컨대, 상기 전자 장치는 가상 현실(VR) 또는 증강 현실(AR)과 같은 리얼리티 서비스와 관련된 어플리케이션 실행 시, 상기 전자 장치의 현재 시점에서 획득된 제1 영상 데이터 또는 상기 제1 영상 데이터에 기반하여 생성된 제1 가상 영상 데이터를 상기 전자 장치의 디스플레이(예: 디스플레이(440)) 상에 디스플레이 하는 동안 사용자에 의해 발생되는 입력(예: 제1 입력)을 검출할 수 있다. 예를 들어, 상기 전자 장치는 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터를 디스플레이 하는 동안 상기 전자 장치의 입력 센서(예: 입력 센서(410)의 터치 센서(421) 또는 압력 센서(425))를 통해 상기 제1 입력(예: 터치 입력 또는 압력 입력 중 적어도 하나)이 검출되는지 여부를 주기적으로 또는 비주기적으로 모니터링 하여 상기 제1 입력의 검출 여부를 판단할 수 있다.
동작 720에서, 예컨대, 상기 전자 장치는 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터를 디스플레이 하는 동안 상기 입력(예: 제1 입력)이 검출되면, 상기 전자 장치의 위치, 자세 또는 방향을 인식할 수 있다. 예를 들어, 상기 전자 장치는 상기 전자 장치에 포함된 GPS 장치와 같은 위치 추적 장치(미도시)를 통해 상기 전자 장치의 위치를 검출할 수 있다. 또한, 상기 전자 장치는 예를 들어, 상기 전자 장치에 포함된 위치 기반 센서들(미도시)(예: 가속도 센서, 자이로 센서, 지자계 센서, 중력센서, 기압센서 등)로부터 감지된 정보의 조합에 기반하여 상기 전자 장치의 자세 또는 방향 중 적어도 하나를 검출할 수 있다. 상기 검출된 상기 전자 장치의 자세 또는 방향은 예를 들어, 상기 전자 장치의 카메라 모듈(예: 카메라 모듈(410) 내 이미지 센서(415))의 중심 화각 방향일 수 있다.
한 실시예에 따르면, 상기 전자 장치는 예를 들어 상기 GPS 장치와 같은 상기 위치 추적 장치(미도시)를 통해 상기 전자 장치의 위치가 인식되면, 상기 입력(예: 제1 입력)이 검출될 수도 있다.
동작 730에서, 예컨대, 상기 전자 장치는 상기 검출된 제1 입력에 대응하는 상기 전자 장치의 위치 변위량을 산출할 수 있다. 예를 들어, 상기 전자 장치는 상기 검출된 입력(예: 제1 입력)의 속성에 기반하여 상기 검출된 제1 입력에 대응하는 전자 장치의 위치 변위량을 산출할 수 있다.
일 실시예에 따르면, 상기 검출된 입력(예: 제1 입력)의 속성은 예를 들어, 입력 타입(예: 터치 입력 또는 압력 입력), 입력 크기나 강도(세기), 입력 유지 시간, 입력 횟수 또는 입력 방향 중 적어도 하나를 포함할 수 있다.
상기 위치 변위량은 예를 들어, 상기 제1 입력의 속성에 기반하는 상기 제1 입력의 레벨에 따라 미리 설정될 수 있다. 예를 들어, 상기 제1 입력이 압력 입력인 경우, 상기 위치 변위량은 상기 압력 입력의 강도(세기)의 레벨에 대응하여 미리 설정될 수 있다. 예를 들어, 상기 제1 입력의 강도(세기)가 제1 레벨인 경우, 상기 위치 변위량은 10m로 설정될 수 있으며, 상기 레벨이 1단계씩 증가할수록 상기 위치 변위량도 10m씩 증가하도록 설정될 수 있다.
상기 전자 장치는 상기 제1 입력이 검출되면, 상기 제1 입력의 속성을 판단하고, 상기 판단된 제1 입력의 속성에 대응하는 레벨에 따라 상기 위치 변위량을 산출할 수 있다. 예를 들어, 상기 제1 입력의 속성이 압력 입력이고, 그 강도(세기)가 제1 레벨이면, 상기 전자 장치는 상기 검출된 위치에서 상기 검출된 전자 장치의 카메라 모듈의 중심 화각 방향으로 10m 이동된 변위량을 상기 제1 입력에 대응되는 상기 위치 변위량으로 산출할 수 있다.
동작 740에서, 예컨대, 상기 전자 장치는 상기 산출된 위치 변위량에 기반하여 상기 전자 장치의 가상 이동 시점을 결정할 수 있다. 예를 들어, 상기 전자 장치는 상기 검출된 위치로부터 상기 검출된 카메라 모듈의 중심 화각 방향으로 상기 산출된 위치 변위량까지 이동된 위치를 상기 전자 장치의 가상 이동 위치로 결정하고, 상기 결정된 가상 이동 위치에서 상기 카메라 모듈의 중심 화각을 기준으로 하는 화각 범위에 대응되는 시점을 상기 전자 장치의 가상 이동 시점으로 결정할 수 있다.
동작 750에서, 예컨대, 상기 전자 장치는 상기 검출된 입력(예: 제1 입력)을 유지하는 동안 추가적인 입력(예: 제2 입력)을 검출할 수 있다. 예를 들어, 상기 전자 장치는 상기 검출된 입력을 유지 하는 동안, 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터를 디스플레이 하는 도중, 사용자에 의해 발생되는 추가적인 입력(예: 제2 입력)을 검출할 수 있다. 예를 들어, 상기 전자 장치는 상기 검출된 제1 입력을 유지하는 동안, 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터를 디스플레이 하는 도중, 상기 전자 장치의 입력 센서(예: 입력 센서(420)의 터치 센서(421) 또는 압력 센서(425))를 통해 상기 제2 입력(예: 터치 입력 또는 압력 입력)이 검출되는지 여부를 주기적으로 또는 비주기적으로 모니터링 하여 상기 제2 입력의 검출 여부를 판단할 수 있다.
동작 760에서, 예컨대, 상기 전자 장치는 상기 검출된 입력(예: 제1 입력)을 유지하는 동안, 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터를 디스플레이 하는 도중, 상기 추가적인 입력(예: 제2 입력)이 검출되면, 상기 추가적인 입력에 대응하는 상기 전자 장치의 자세 또는 방향의 변화량을 산출할 수 있다. 예를 들어, 상기 전자 장치는 상기 추가적인 입력(예: 제2 입력)의 속성에 기반하여 상기 검출된 제2 입력에 대응하는 전자 장치의 자세 또는 방향의 변화량을 산출할 수 있다.
일 실시예에 따르면, 상기 검출된 추가적인 입력(예: 제2 입력)의 속성은 예를 들어, 입력 타입(예: 터치 입력 또는 압력 입력), 입력 위치, 입력 크기나 강도(세기), 입력 유지 시간, 입력 횟수 또는 입력 방향 중 적어도 하나를 포함할 수 있다.
상기 전자 장치의 자세 또는 방향의 변화량은, 예를 들어, 상기 제2 입력의 속성에 기반하는 상기 제2 입력의 위치 또는 레벨에 따라 결정될 수 있다. 예를 들어, 상기 전자 장치는 상기 제2 입력의 위치에 대응하여 상기 카메라 모듈의 중심 화각의 방향이 전환된 각도 및 방향을 결정할 수 있다. 예를 들어, 상기 전자 장치는 상기 전자 장치의 디스플레이 화면의 중심을 기준으로 상기 중심과 상기 검출된 제2 입력의 위치(예: X-Y 좌표가 (x, y)) 간 거리와 위치에 따라 상기 카메라 모듈의 중심 화각의 방향이 전환된 각도와 방향을 결정할 수 있다. 예를 들어, 상기 디스플레이 화면의 중심(예: X-Y 좌표가 (0,0))은 상기 카메라 모듈의 중심 화각에 대응될 수 있다. 또한, 상기 디스플레이 화면의 중심을 지나는 가로축(예: X축)을 기준으로 상기 제2 입력의 위치(예: Y축 좌표값)에 따라 상기 카메라 모듈의 중심 화각의 상하 방향 및 상기 상하 방향이 전환되는 정도, 즉 상하 각도가 결정될 수 있으며, 상기 디스플레이 화면의 중심을 지나는 세로축(예: Y축)을 기준으로 상기 제2 입력의 위치(예: X축 좌표값)에 따라 상기 카메라 모듈의 중심 화각의 좌우 방향 및 상기 좌우 방향이 전환되는 정도, 즉 좌우 각도가 결정될 수 있다. 이에 따라, 상기 전자 장치는 상기 제2 입력이 터치 입력인 경우, 상기 디스플레이 화면의 중심(0.0)을 기준으로 상기 검출된 제2 입력의 위치(x,y)에 따라 상기 카메라 모듈의 중심 화각의 방향이 전환된 각도와 방향을 결정할 수 있다. 또한, 상기 전자 장치는 상기 제2 입력의 속성의 레벨에 따라 미리 설정된 뎁스만큼 상기 결정된 방향으로 상기 가상 방향 변경 시점을 단계적으로 전환시킬 수 있다. 마찬가지로, 상기 전자 장치는 예를 들어, 상기 제2 입력이 스와이프 입력인 경우에도, 상기 디스플레이 화면의 중심(0,0)을 기준으로 상기 제2 입력의 스와이프된 길이와 방향에 따라 상기 카메라 모듈의 중심 화각의 방향이 전환된 각도와 방향이 결정될 수 있다.
상기 전자 장치는 상기 가상 이동 위치에서 상기 결정된 상기 카메라 모듈의 중심 화각의 방향이 전환된 각도와 방향까지 상기 전자 장치의 자세 또는 방향의 변화량을 산출할 수 있다. 예를 들어, 상기 전자 장치의 자세 또는 방향의 변화량은 상기 전자 장치의 위치 기반 센서 정보의 조합에 기반하여 검출될 수 있다. 예를 들어, 상기 전자 장치의 위치, 자세, 및 방향을 검출하기 위한 상기 위치 기반 센서 정보는 가속도 센서, 지자계 센서, 중력센서, 기압센서 또는 그 조합 중 적어도 하나로부터 검출된 정보에 기반하여 결정될 수 있다. 또한, 예를 들어, 상기 전자 장치에 입력되는 영상 데이터의 특정 영역의 변위량, 즉 영상의 모션 벡터 변화량을 이용해 추정할 수도 있다.
동작 770에서, 예컨대, 상기 전자 장치는 상기 산출된 전자 장치의 자세 또는 방향의 변화량에 기반하여 상기 전자 장치의 가상 방향 변경 시점을 결정할 수 있다. 예를 들어, 상기 전자 장치는 상기 산출된 전자 장치의 자세 또는 방향의 변화량에 기반하여 상기 전자 장치가 향하는 방향 즉, 카메라 렌즈(예: 이미지 센서의 중심 화각)가 향하는 각도와 방향이 결정될 수 있으며, 상기 결정된 각도와 방향에 대응되는 상기 카메라 모듈의 화각 범위에 대응되는 시점을 상기 가상 방향 변경 시점으로 결정할 수 있다.
도 8은 다양한 실시예에 따른 전자 장치의 제어 방법을 나타내는 흐름도이다. 구체적으로, 도 8은 전자 장치(예: 전자 장치(401))의 가상 이동 시점을 결정하는 방법을 나타내는 흐름도로서, 상기 전자 장치의 제어 방법은 동작 810 내지 890을 포함할 수 있다. 상기 전자 장치의 제어 방법은, 전자 장치(예: 전자 장치(401)), 상기 전자 장치의 프로세서(예: 프로세서(460)) 중 적어도 하나에 의해 수행될 수 있다.
동작 810에서, 예컨대, 상기 전자 장치는 사용자의 현재 시점에서 획득한 제1 영상 데이터 또는 상기 제1 영상 데이터에 기반하여 생성된 제1 가상 영상을 디스플레이 하는 동안 검출된 입력(예: 제1 입력)의 위치를 검출할 수 있다.
동작 820에서, 예컨대, 상기 전자 장치는 상기 검출된 제1 입력의 속성을 검출할 수 있다. 예를 들어, 상기 검출된 제1 입력이 속성은 입력 타입(예: 터치 입력 또는 압력 입력), 입력 위치, 입력 크기나 강도(세기), 입력 유지 시간, 입력 횟수 또는 입력 방향 중 적어도 하나를 포함할 수 있다. 상기 전자 장치는 상기 검출된 제1 입력의 각 속성의 레벨에 따라 상기 가상 이동 시점을 단계적으로 또는 연속적으로 이동하도록 제어할 수 있다.
동작 830에서, 예컨대, 상기 전자 장치는 상기 제1 입력의 속성 레벨이 미리 설정된 제1 레벨 이상인지 여부를 판단할 수 있다. 상기 동작 830에서, 상기 전자 장치는 상기 제1 입력의 속성 레벨이 상기 제1 레벨 이상이면 동작 850을 수행하고, 상기 전자 장치는 상기 제1 입력의 속성 레벨이 상기 제1 레벨 미만이면 동작 840을 수행할 수 있다.
동작 840에서, 예컨대, 상기 전자 장치는 상기 제1 입력의 속성 레벨이 제1 레벨 미만이면 상기 제1 입력에 대응되는 메뉴를 선택할 수 있다. 즉, 상기 전자 장치는 상기 제1 입력의 속성 레벨이 상기 제1 레벨 미만이면 상기 제1 입력은 전자 장치의 시점을 가상 이동시키기 위한 입력이 아닌 것으로 판단할 수 있다.
동작 850에서, 예컨대, 상기 전자 장치는 상기 제1 입력의 속성 레벨이 제1 레벨 이상이면, 상기 제1 입력의 속성 레벨이 미리 설정된 제2 레벨 이상인지 여부를 판단할 수 있다. 상기 동작 850에서, 상기 전자 장치는 상기 제1 입력의 속성 레벨이 상기 제2 레벨 이상이면 동작 870을 수행하고, 상기 전자 장치는 상기 제1 입력의 속성 레벨이 상기 제2 레벨 미만이면 동작 860을 수행할 수 있다.
동작 860에서, 예컨대, 상기 전자 장치는 상기 제1 입력의 속성 레벨이 상기 제2 레벨 미만이면, 상기 전자 장치의 시점을 제1 뎁스에 대응하는 제1 가상 이동 시점으로 이동될 수 있다. 예를 들어, 상기 전자 장치는 상기 제1 입력이 상기 제1 레벨 이상이고 상기 제2 레벨 미만으로 유지되는 동안, 상기 현재 시점으로부터 상기 제1 뎁스만큼 가상으로 이동된 제1 가상 이동 시점으로 이동될 수 있다. 또한, 상기 전자 장치는 상기 제1 가상 이동 시점에서 획득된 제2 영상 데이터 또는 상기 제2 영상 데이터에 기반하여 생성된 제2 가상 영상 데이터를 상기 전자 장치의 디스플레이(예: 디스플레이(440)) 상에 표시할 수 있다.
동작 870에서, 예컨대, 상기 전자 장치는 상기 제1 입력의 속성 레벨이 상기 제2 레벨 이상이면, 상기 제1 입력의 속성 레벨이 미리 설정된 제3 레벨 이상인지 여부를 판단할 수 있다. 상기 동작 870에서, 상기 전자 장치는 상기 제1 입력의 속성 레벨이 상기 제3 레벨 이상이면 동작 890을 수행하고, 상기 전자 장치는 상기 제1 입력의 속성 레벨이 상기 제3 레벨 미만이면 동작 880을 수행할 수 있다.
동작 880에서, 예컨대, 상기 전자 장치는 상기 제1 입력의 속성 레벨이 상기 제3 레벨 미만이면, 상기 전자 장치의 시점을 제2 뎁스에 대응하는 제2 가상 이동 시점으로 이동될 수 있다. 예를 들어, 상기 전자 장치는 상기 제1 입력이 상기 제2 레벨 이상이고 상기 제3 레벨 미만으로 유지되는 동안, 상기 현재 시점으로부터 상기 제2 뎁스만큼 가상으로 이동된 제2 가상 이동 시점으로 이동될 수 있다. 또한, 상기 전자 장치는 상기 제2 가상 이동 시점에서 획득된 제3 영상 데이터 또는 상기 제3 영상 데이터에 기반하여 생성된 제3 가상 영상 데이터를 상기 전자 장치의 디스플레이 상에 표시할 수 있다.
동작 890에서, 예컨대, 상기 전자 장치는 상기 제1 입력의 속성 레벨이 상기 제3 레벨 이상이면 전자 장치의 시점을 제3 뎁스에 대응하는 제3 가상 이동 시점으로 이동될 수 있다. 예를 들어, 상기 전자 장치는 상기 제1 입력이 상기 제3 레벨 이상으로 유지되는 동안, 상기 현재 시점으로부터 상기 제3 뎁스만큼 가상으로 이동된 제3 가상 이동 시점으로 이동될 수 있다. 또한, 상기 전자 장치는 상기 제3 가상 이동 시점에서 획득된 제4 영상 데이터 또는 상기 제4 영상 데이터에 기반하여 생성된 제4 가상 영상 데이터를 상기 전자 장치의 디스플레이 상에 표시할 수 있다.
일 실시예에서, 상기 제1 입력을 레벨을 상기 제1 레벨에서 상기 제3레벨까지 3단계인 것으로 설명하였으나, 이에 한정되는 것은 아니며 상기 전자 장치의 성능에 따라 더 많거나 적은 복수의 단계들로 구성될 수 있다.
도 9a 는 다양한 실시예에 따른 전자 장치의 제어 방법을 나타내는 흐름도이다. 구체적으로, 도 9a는 상기 전자 장치의 가상 이동 시점에서 획득된 영상 데이터 또는 가상 영상 데이터의 화질을 보장하기 위한 방법을 나타내는 흐름도로서, 상기 전자 장치의 제어 방법은 동작 910 내지 970을 포함할 수 있다. 상기 전자 장치의 제어 방법은, 전자 장치(예: 전자 장치(401)), 상기 전자 장치의 프로세서(예: 프로세서(460)) 중 적어도 하나에 의해 수행될 수 있다.
동작 910에서, 예컨대, 상기 전자 장치는 현재 시점에서 획득된 제1 영상 데이터 또는 상기 제1 영상 데이터에 기반하여 생성된 제1 가상 영상을 디스플레이 하는 동안 제1 입력이 검출되면, 상기 검출된 제1 입력에 대응하여 상기 전자 장치의 가상 이동 위치를 검출할 수 있다. 예를 들어, 상기 전자 장치는 상기 제1 입력이 검출되면, 상기 제1 입력의 속성을 판단하고, 상기 판단된 제1 입력의 속성에 대응하는 레벨에 따라 미리 설정된 위치 변위량을 산출할 수 있다. 예를 들어, 상기 제1 입력의 속성이 압력 입력이고, 그 강도(세기)가 제1 레벨이면, 상기 전자 장치는 상기 검출된 위치에서 상기 검출된 전자 장치의 카메라 모듈(예: 카메라 모듈(410) 내 이미지 센서(415))의 중심 화각 방향으로 10m 이동된 변위량을 상기 제1 입력에 대응되는 상기 위치 변위량으로 산출할 수 있다. 상기 전자 장치는 예를 들어, 상기 전자 장치는 상기 검출된 위치로부터 상기 검출된 카메라 모듈의 중심 화각 방향으로 상기 산출된 위치 변위량까지 이동된 위치를 상기 전자 장치의 가상 이동 위치로 결정하고, 상기 결정된 가상 이동 위치에서 상기 카메라 모듈의 중심 화각을 기준으로 하는 화각 범위에 대응되는 시점을 상기 전자 장치의 가상 이동 시점으로 결정할 수 있다.
동작 920에서, 예컨대, 상기 전자 장치는 상기 검출된 전자 장치의 가상 이동 위치가 상기 전자 장치의 카메라 모듈의 줌 인 또는 줌 아웃 가능한 화각 범위 내에 위치하는지 여부를 판단할 수 있다. 상기 동작 920에서, 상기 검출된 전자 장치의 가상 이동 위치가 상기 전자 장치의 카메라 모듈의 줌 인 또는 줌 아웃 가능한 화각 범위 내에 위치하면 동작 930a를 수행하고, 상기 검출된 전자 장치의 가상 이동 위치가 상기 전자 장치의 카메라 모듈의 줌인 또는 줌 아웃 가능한 화각 범위 밖에 위치하면 동작 960을 수행할 수 있다.
동작 930a에서, 예컨대, 상기 전자 장치는 상기 검출된 전자 장치의 가상 이동 위치가 상기 전자 장치의 카메라 모듈의 줌 인 또는 줌 아웃 가능한 화각 범위 내에 위치하면, 상기 전자 장치의 가상 이동 시점의 거리가 임계값(예: 30m) 미만인지 여부를 판단할 수 있다. 상기 동작 930a에서, 상기 전자 장치의 가상 이동 시점의 거리가 상기 임계값 미만이면 동작 940을 수행하고, 상기 전자 장치의 가상 이동 시점의 거리가 상기 임계값 이상이면 동작 960을 수행할 수 있다.
동작 940에서, 예컨대, 상기 전자 장치는 상기 전자 장치의 이미지 센서를 통해 영상 데이터를 획득할 수 있다. 상기 획득된 영상은 상기 이미지 센서에 대한 주밍(zooming) 동작을 수행하여 획득될 수 있다. 또한, 상기 전자 장치는 상기 획득된 영상 데이터에 기반하여 가상 영상 데이터를 생성할 수 있다.
동작 950에서, 예컨대, 상기 전자 장치는 상기 획득된 영상 데이터를 상기 전자 장치의 디스플레이(예: 디스플레이(440)) 상에 디스플레이 할 수 있다. 또한, 상기 전자 장치는 상기 생성된 가상 영상 데이터를 상기 전자 장치의 디스플레이 상에 디스플레이 할 수 있다.
한편, 동작 960에서, 예컨대, 상기 전자 장치는 상기 검출된 전자 장치의 가상 이동 위치가 상기 전자 장치의 카메라 모듈의 줌 인 또는 줌 아웃 가능한 화각 범위 밖에 위치하거나 또는 상기 가상 이동 시점의 거리가 상기 임계값(예: 30m) 이상인 경우, 상기 전자 장치의 메모리(예: 메모리(450)) 또는 적어도 하나의 외부 전자 장치(예: 전자 장치(104) 또는 서버(106)) 중 적어도 하나에 상기 전자 장치의 가상 이동 위치에 기반하는 영상 데이터를 요청할 수 있다.
동작 970에서, 예컨대, 상기 전자 장치는 상기 적어도 하나의 외부 전자 장치로부터 상기 요청에 응답하여, 상기 메모리 또는 상기 적어도 하나의 외부 전자 장치 중 적어도 하나로부터 상기 전자 장치의 가상 이동 위치에 기반하는 영상 데이터를 획득할 수 있다. 또한, 상기 전자 장치는 상기 획득된 영상 데이터에 기반하는 가상 영상 데이터를 생성할 수 있다.
상기 획득된 영상 데이터 또는 상기 획득된 영상 데이터에 기반하여 생성된 상기 가상 영상 데이터는 상기 동작 950에서 상기 전자 장치의 디스플레이(예: 디스플레이(440)) 상에 디스플레이 될 수 있다.
도 9b 는 다양한 실시예에 따른 전자 장치의 제어 방법을 나타내는 흐름도이다. 구체적으로, 도 9b는 상기 전자 장치의 가상 이동 시점에서 획득된 영상 데이터 또는 가상 영상 데이터의 화질을 보장하기 위한 방법을 나타내는 흐름도로서, 상기 전자 장치의 제어 방법은 동작 910 내지 970을 포함할 수 있다. 상기 전자 장치의 제어 방법은, 전자 장치(예: 전자 장치(401)), 상기 전자 장치의 프로세서(예: 프로세서(460)) 중 적어도 하나에 의해 수행될 수 있다.
도 9b는 도 9a에서 동작 930a을 제외하고, 모든 동작이 동일하므로 동일한 동작에 대한 상세한 설명은 상술한 것으로 대체하기로 한다.
동작 930b에서, 예컨대, 상기 전자 장치는 상기 전자 장치의 카메라 모듈(예: 카메라 모듈(410) 내 이미지 센서(415))로부터 획득되는 영상 데이터의 스케일 팩터(scale factor)가 임계값(예: 0.5) 이상인지 여부를 판단할 수 있다. 상기 스케일 팩터는 영상 데이터의 화질을 나타내는 파라미터로서, 상기 동작 930b에서, 상기 전자 장치는 상기 전자 장치의 카메라 모듈을 통해 획득된 영상 데이터의 스케일 팩터가 임계값 이상이면, 동작 940을 수행하고, 상기 획득된 영상 데이터의 스케일 팩터가 임계값 미만이면 동작 960을 수행할 수 있다.
다양한 실시예에 따르면, 상기 전자 장치는 이미지 센서를 이용하여 영상 데이터를 획득하고, 상기 이미지 센서를 이용하여 획득된 영상 데이터를 디스플레이에 표시하고, 상기 표시된 영상 데이터 내의 일 지점으로 입력되는 입력을 판단하고, 상기 입력에 대응되는 미리 획득된 영상 데이터를 상기 디스플레이에 표시할 수 있다.
다양한 실시예에 따르면, 상기 전자 장치는 영상 데이터를 획득하고, 상기 획득된 영상 데이터에 기반하여 상기 전자 장치의 현재 시점을 결정하고, 상기 결정된 현재 시점에서 생성된 제1 가상 영상을 디스플레이 하는 동안 입력이 검출되면, 상기 검출된 입력에 대응하는 상기 전자 장치의 가상 이동 시점을 결정하는 동작, 및 상기 결정된 가상 이동 시점에서 생성된 제2 가상 영상을 디스플레이 할 수 있다.
다양한 실시예에 따르면, 상기 전자 장치는 상기 획득된 영상 데이터에 기반하여 상기 전자 장치의 현재 시점을 결정 시, 상기 영상 데이터가 획득된 상기 전자 장치의 위치를 검출하고, 상기 획득된 영상 데이터에서 상기 검출된 전자 장치의 위치에 대응되는 시점을 상기 전자 장치의 현재 시점으로 결정할 수 있다.
다양한 실시예에 따르면, 상기 전자 장치는 상기 결정된 현재 시점에서 생성된 제1 가상 영상을 디스플레이 시, 상기 획득된 영상 데이터 내 적어도 하나의 제1 오브젝트를 인식하고, 상기 인식된 적어도 하나의 제1 오브젝트와 관련된 제1 정보를 획득하고, 상기 획득된 영상 데이터 또는 상기 획득된 적어도 하나의 제1 오브젝트와 관련된 제1 정보 중 적어도 일부에 기반하여 상기 현재 시점에 대응되는 상기 제1 가상 영상을 생성하고, 상기 생성된 제1 가상 영상을 디스플레이 할 수 있다.
다양한 실시예에 따르면, 상기 전자 장치는 상기 전자 장치의 가상 이동 시점을 결정 시, 상기 현재 시점에서 생성된 상기 제1 가상 영상을 디스플레이 하는 동안 상기 전자 장치의 입력 센서로부터 제1 입력이 검출되는지 여부를 판단하고, 상기 제1 입력이 검출되면, 상기 검출된 제1 입력의 속성에 기반하여 상기 전자 장치의 가상 이동 시점을 결정할 수 있으며, 상기 검출된 제1 입력의 속성은 입력 타입, 입력 위치, 입력 크기, 입력 강도/세기, 입력 유지 시간, 입력 횟수 또는 입력 방향 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 전자 장치는 상기 결정된 가상 이동 시점에서 생성된 제2 가상 영상을 디스플레이 시, 상기 현재 시점으로부터 상기 가상 이동 시점까지의 위치 변위량에 대응하는 상기 전자 장치의 위치 변위량을 산출하고, 상기 산출된 전자 장치의 위치 변위량에 기반하여 상기 전자 장치의 이동 위치를 검출하고, 상기 검출된 전자 장치의 이동 위치에서, 상기 이미지 센서 또는 상기 외부 전자 장치 중 적어도 하나로부터 영상 데이터를 획득하거나 수신하고, 상기 검출된 전자 장치의 이동 위치에서 상기 획득되거나 수신된 영상 데이터 내 적어도 하나의 제2 오브젝트를 인식하고, 상기 인식된 적어도 하나의 제2 오브젝트와 관련된 제2 정보를 획득하고, 상기 영상 데이터 또는 상기 인식된 적어도 하나의 제2 오브젝트와 관련된 제2 정보 중 적어도 일부에 기반하여 상기 가상 이동 시점에 대응되는 상기 제2 가상 영상을 생성하고, 상기 생성된 제2 가상 영상을 디스플레이 할 수 있다.
다양한 실시예에 따르면, 상기 전자 장치는 상기 가상 이동 시점에서 생성된 상기 제2가상 영상을 디스플레이 하는 동안 상기 전자 장치의 입력 센서로부터 제2 입력이 검출되는지 여부를 판단하고, 상기 제2 입력이 검출되면, 상기 검출된 제2 입력의 속성에 기반하여 상기 가상 이동 시점을 기준으로 변경된 가상 이동 변경 시점을 결정하고, 상기 검출된 제2 입력의 속성은 입력 위치 또는 입력 방향 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 전자 장치는 상기 가상 이동 시점으로부터 상기 가상 이동 변경 시점까지의 상기 전자 장치의 자세 또는 방향의 변화량을 산출하고, 상기 산출된 전자 장치의 자세 또는 방향의 변화량에 기반하여 상기 전자 장치의 변경 자세 또는 변경 방향 중 적어도 하나를 검출하고, 상기 검출된 전자 장치의 변경 자세 또는 변경 방향 중 적어도 하나에 기반하여 상기 이미지 센서 또는 상기 외부 전자 장치 중 적어도 하나로부터 영상 데이터를 획득하거나 수신하고, 상기 검출된 전자 장치의 변경 자세 또는 변경 방향 중 적어도 하나에 기반하여 상기 획득되거나 수신된 상기 영상 데이터 내 적어도 하나의 제3 오브젝트를 인식하고, 상기 인식된 적어도 하나의 제3 오브젝트와 관련된 제3 정보를 획득하고, 상기 영상 데이터 또는 상기 인식된 적어도 하나의 제3 오브젝트와 관련된 제3 정보 중 적어도 일부에 기반하여 상기 가상 이동 변경 시점에 대응되는 제3 가상 영상을 생성하고, 상기 생성된 제3 가상 영상을 디스플레이 할 수 있다.
도 10a 및 10b는 다양한 실시예에 따른 전자 장치의 현재 시점 및 가상 시점을 나타내는 도면들이다.
도 10a를 참조하면, 다양한 실시예에 따른 전자 장치(예: 전자 장치(401))는 상기 전자 장치의 카메라 모듈(예: 카메라 모듈(410) 내 이미지 센서(415))을 통해 영상 데이터를 획득할 수 있다. 이때, 상기 전자 장치의 일면에 장착된 카메라 모듈(예: 렌즈)는 일정한 화각(시야각) 범위를 가질 수 있다. 예를 들어, 상기 카메라 모듈은 약 -30도 내지 +30도의 화각 범위를 통해 획득된 영상 데이터를 입력 받아 상기 전자 장치의 디스플레이에 표시할 수 있다.
도 10a에는 사용자가 가상 현실(VR) 또는 증강 현실(AR)과 같은 리얼리티 서비스를 제공 받기 위해 현재 위치에서 상기 전자 장치의 카메라 모듈을 통해 실제 영상 데이터 획득 시 전자 장치의 현재 시점(1010)에서의 화각 범위(예: 동그라미로 표시된 위치에서의 화각 범위로서, 긴 점선에 해당) 및 가상 이동 시점(1020)에서의 화각 범위(예: 네모로 표시된 위치에서의 화각 범위로서 짧은 점선 또는 실선에 해당)가 도시되어 있다. 예를 들어, 사용자는 상기 현재 시점(1010)에서 생성된 제1 영상 데이터 또는 상기 제1 영상 데이터에 기반하여 생성된 제1 가상 영상 데이터를 디스플레이(예: 디스플레이(440)) 상에 표시하는 동안 상기 전자 장치의 입력 센서(예: 입력 센서(410)의 터치 센서(421) 또는 압력 센서(425))에 제1 입력을 발생시키면, 상기 전자 장치는 상기 입력 센서를 통해 검출된 제1 입력에 대응하여 상기 제1 입력이 유지되는 동안 상기 전자 장치의 시점을 가상으로 이동시킬 수 있다. 이 경우, 상기 검출된 제1 입력의 속성(예: 입력 타입, 입력 위치, 입력 크기(또는 강도(세기)), 입력 유지 시간, 입력 횟수 또는 입력 방향 중 적어도 하나)에 기반하여 상기 전자 장치의 시점을 상기 현재 시점(1010)에서 가상으로 이동된 가상 이동 시점(1020)으로 변경시킬 수 있다. 한 실시예에 따르면, 상기 검출된 제1 입력에 대응하여 변경된 가상 이동 시점(1020)은 상기 현재 시점(1010)에서의 카메라 모듈의 중심(이를 테면, 중심 화각)을 기준으로 상기 중심 방향으로 가상으로 이동된 지점에서의 상기 카메라 모듈의 시점일 수 있다.
한 실시예에 따르면, 상기 가상 이동 시점(1020)은 상기 현재 위치에서 카메라 모듈에 의해 줌 인(zoom in) 또는 줌 아웃(zoom out) 가능한 화각 범위 내에서 상기 제1 입력의 레벨에 대응하여 이동된 상기 카메라 모듈의 시점(예: 네모로 표시된 위치에서의 짧은 점선에 해당)일 수 있다.
한 실시예에 따르면, 상기 가상 이동 시점(1020)은 상기 카메라 모듈의 줌 인 또는 줌 아웃 가능한 화각 범위를 초과하는 범위에서 상기 제1 입력의 레벨에 대응하는 일 지점에서의 외부 전자 장치의 시점(예: 네모로 표시된 위치에서의 실선에 해당)일 수 있다.
도 10b를 참조하면, 상기 현재 시점(1010)(예: 동그라미로 표시된 위치에서의 화각 범위로서, 긴 점선에 해당)에서 획득된 상기 제1 영상 데이터 또는 상기 제1 영상 데이터에 기반하여 생성된 상기 제1 가상 영상 데이터가 디스플레이 되고 있는 동안 사용자에 의해 입력된 상기 제1 입력이 검출되면, 상기 제1 입력이 유지되는 동안 상기 검출된 제1 입력에 기반하여 상기 가상 이동 시점(1020)(예: 네모로 표시된 위치에서의 화각 범위로서, 짧은 점선 또는 실선에 해당)으로 이동될 수 있다.
상기 전자 장치는 상기 가상 이동 시점(1020)에서, 상기 전자 장치의 카메라 모듈 또는 적어도 하나의 외부 전자 장치 중 적어도 하나를 통해 획득된 제2 영상 데이터 및 그와 관련된 정보를 병합하거나 합성하여 생성된 제2 가상 영상 데이터가 상기 전자 장치의 디스플레이를 통해 표시될 수 있다. 이때, 상기 가상 이동 시점(1020)의 위치가 상기 전자 장치의 카메라 모듈의 줌 인 또는 줌 아웃 범위 내에 있으면(예: 네모로 표시된 위치에서의 짧은 점선에 해당), 상기 전자 장치의 카메라 모듈을 통해 상기 제2 영상 데이터를 획득할 수 있다. 또한, 상기 가상 이동 시점(1020)의 위치가 상기 전자 장치의 카메라 모듈의 줌인 또는 줌 아웃 범위를 초과하면(예: 네모로 표시된 위치에서의 실선에 해당), 상기 전자 장치의 메모리(예: 메모리(450)) 또는 상기 적어도 하나의 외부 전자 장치(예: 전자 장치(104) 또는 서버(106)) 중 적어도 하나로부터 상기 가상 이동 시점(1020)에 대응되는 제2 영상 데이터를 획득할 수 있다.
한편, 상기 가상 이동 시점(1020)의 위치가 상기 전자 장치의 카메라 모듈의 줌 인 또는 줌 아웃 범위 내에 있더라도(예: 네모로 표시된 위치에서의 짧은 점선에 해당), 상기 카메라 모듈을 통해 획득된 상기 제2 영상 데이터의 양호화 화질을 보장하기 위해 설정된 상기 가상 이동 시점의 거리에 대한 임계값 또는 상기 카메라 모듈을 통해 획득된 영상 데이터의 스케일 팩터에 대한 임계값을 충족하지 않으면 상기 전자 장치의 메모리 또는 상기 적어도 하나의 외부 전자 장치 중 적어도 하나로부터 상기 가상 이동 시점(1020)에 대응되는 제2 영상 데이터를 획득할 수 있다. 예를 들어, 상기 전자 장치는 상기 가상 이동 시점에 대응되는 가상 이동 위치가 상기 가상 이동 시점에 대한 임계값(예: 30m) 이하이거나, 상기 가상 이동 위치에서 획득된 영상 데이터가 상기 스케일 팩터에 대한 임계값(예: 0.5) 이상이면, 상기 전자 장치의 카메라 모듈을 통해 상기 제2 영상 데이터를 획득활 수 있다. 또한, 상기 전자 장치는 상기 가상 이동 시점에 대응되는 가상 이동 위치가 상기 가상 이동 시점에 대한 임계값(예: 30m)보다 크거나, 상기 가상 이동 위치에서 획득된 영상 데이터가 상기 스케일 팩터에 대한 임계값(예: 0.5) 미만이면, 상기 전자 장치의 메모리 또는 상기 적어도 하나의 외부 전자 장치 중 적어도 하나로부터 상기 가상 이동 시점(1020)에 대응되는 제2 영상 데이터를 획득할 수 있다.
또한, 상기 전자 장치는 상기 가상 이동 시점(1020)에서 상기 전자 장치의 자세 또는 방향의 변화량에 기반하여 가상 방향 변경 시점(1030)(예: 세로로 표시된 위치에서의 실선에 해당)을 결정할 수 있다. 상기 가상 방향 변경 시점(1030)이 결정되면, 상기 전자 장치는 상기 가상 이동 시점(1020)에서 상기 전자 장치의 자세 또는 방향의 변화량에 따라 상, 하, 좌, 우 방향 중 적어도 하나로 전환된 상기 가상 방향 변경 시점(1030)에서 획득된 영상 데이터 또는 상기 획득된 영상 데이터에 기반하여 생성된 가상 영상 데이터를 상기 디스플레이 상에 표시할 수 있다.
상기 가상 방향 변경 시점(1030)에서 획득된 영상 데이터는 상기 전자 장치의 현재 시점에서의 카메라 모듈의 중심 화각에 대응되는 범위를 벗어나므로, 상기 가상 방향 변경 시점(1030)에 대응되는 영상 데이터를 전자 장치의 메모리 또는 상기 적어도 하나의 외부 전자 장치 중 적어도 하나에 요청하여 그로부터 획득될 수 있다.
도 11a 및 11b는 다양한 실시예에 따른 전자 장치의 사용자 인터페이스 화면들이다.
도 11a를 참조하면, 가상 현실(VR) 또는 증강 현실(AR)과 같은 리얼리티 서비스와 관련된 어플리케이션 실행 시 상기 전자 장치가 현재 위치하는 위치에서 상기 전자 장치의 카메라 모듈의 현재 시점에서 획득된 제1 영상 데이터 또는 상기 제1 영상 데이터에 기반하여 생성된 제1 가상 영상 데이터(1110)가 디스플레이 상에 표시될 수 있다. 상기 제1 영상 데이터 또는 제1 가상 영상 데이터(1110)에는 해당 영상 데이터(1110)에 대한 설명을 표시하는 영역(1150) 또는 상기 해당 영상 데이터(1110)와 관련된 정보를 표시하는 영역(1170) 또는 그 조합 중 적어도 하나를 포함할 수 있다. 예를 들어, 상기 제1 영상 데이터 또는 제1 가상 영상 데이터(1110)는 소정의 도로를 나타내는 영상일 수 있다. 이 경우, 상기 영역(1150)에는 해당 도로의 도로명(예: 제1 도로)을 표시할 수 있으며, 상기 영역(1170)에는 해당 도로와 관련된 네비게이션 지도를 표시할 수 있다.
도 11b를 참조하면, 전자 장치의 카메라 모듈의 화각(시야각) 범위(예: -30도 내지 +30도) 내 상기 전자 장치의 해당 시점에서 획득된 영상 데이터들 또는 상기 획득된 영상 데이터에 기반하여 생성된 가상 영상 데이터들을 입력 받아 상기 전자 장치의 디스플레이 상에 표시할 수 있다. 상기 전자 장치는 상기 디스플레이 화면 내에 어느 한 지점(예: 제1 지점(P1) 또는 제2 지점(P2))에 대응하여 입력(예: 제1 입력)을 가하면, 상기 제1 입력에 대응하여 상기 전자 장치의 카메라 모듈의 중심(예: 중심 화각) 방향으로, 즉 현재 디스플레이 화면의 중심 위치를 기준으로 한 가상 이동 시점으로 이동될 수 있다. 이때, 상기 디스플레이 상의 어느 지점에서 제1 입력이 발생되더라도 상기 전자 장치의 카메라 모듈의 중심(예: 중심 화각)을 기준으로 상기 카메라 모듈의 중심 화각 방향으로 가상으로 이동한 가상 이동 시점으로 이동될 수 있다.
도 12a 내지 12i는 다양한 실시예에 따른 전자 장치의 사용자 인터페이스 화면들이다. 도 12a내지 12i에 도시된 입력은 압력 입력을 나타낼 수 있으며, 상기 압력 입력의 레벨, 즉 강도(세기)에 대응하여 상기 가상 시점의 뎁스(depth)(예: 거리/위치 이동량)를 조절할 수 있다. 도 12a 내지 12i에서 제1 입력은 사용자에 의해 입력될 수 있으며, 그 강도(세기)에 따라 제1 레벨 내지 제4 레벨의 제1 입력(1210-1~1210-4)으로 나타내었다.
도 12a를 참조하면, 가상 현실(VR) 또는 증강 현실(AR)과 같은 리얼리티 서비스와 관련된 어플리케이션 실행 시 현재 시점에서 전자 장치(예: 전자 장치(401))의 카메라 모듈(예: 카메라 모듈(410) 내 이미지 센서(415))을 통해 획득된 제1 영상 데이터 또는 상기 제1 영상 데이터에 기반하여 생성된 제1 가상 영상 데이터(1200a)가 상기 전자 장치의 디스플레이(예: 디스플레이(440)) 상에 표시될 수 있다.
상기 제1 영상 데이터 또는 제1 가상 영상 데이터(1200a)에는 예를 들어, 해당 영상 데이터(1200a)에 대한 설명을 표시하는 영역(1250a) 또는 상기 해당 영상 데이터(1200a)와 관련된 정보를 표시하는 영역(1270a) 또는 그 조합 중 적어도 하나를 포함할 수 있다. 예를 들어, 상기 제1 영상 데이터 또는 제1 가상 영상 데이터(1200a)는 소정의 도로를 나타내는 영상일 수 있다. 이 경우, 상기 영역(1250a)에는 해당 도로의 도로명(예: 제1 도로)을 표시할 수 있으며, 상기 영역(1270a)에는 해당 도로와 관련된 정보(예: 네비게이션 지도)를 표시할 수 있다.
도 12b를 참조하면, 상기 전자 장치는 도 12a의 상기 제1 영상 데이터 또는 제1 가상 영상 데이터(1200a)가 표시되는 동안 상기 디스플레이 상의 어느 한 지점에 제1 입력(1210-1)이 입력될 수 있다. 상기 제1 입력(1210-1)의 강도(세기)가 제 1 레벨로 검출되면, 상기 제1 레벨의 제1 입력(1210-1)이 유지되는 동안 상기 제1 레벨의 제1 입력(1210-1)에 따라 가상으로 이동된 제1 가상 이동 시점에서 획득된 제2 영상 데이터 또는 상기 제2 영상 데이터에 기반하여 생성된 제2 가상 영상 데이터(1200b)를 상기 디스플레이 상에 표시할 수 있다.
일 실시예에서, 상기 제1 레벨의 제1 입력(1210-1) 에 대응되는 상기 제1 가상 이동 시점은 상기 현재 시점의 현재 위치에서 1뎁스만큼 이동된 가상 이동 시점일 수 있다. 또한, 상기 1 뎁스는 미리 설정될 수 있으며, 예를 들어, 10m인 것으로 가정하기로 한다. 즉, 도 12b에 도시된 상기 제2 영상 데이터 또는 상기 제2 가상 영상 데이터(1200b)는 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터(1200a)(도 12a 참조)가 획득된 상기 현재 위치로부터 상기 전자 장치의 실질적인 이동 없이 상기 카메라 모듈의 중심을 기준으로 상기 카메라 모듈의 중심 화각 방향으로 상기 1 뎁스만큼, 즉 10m 앞으로 가상으로 이동된 제1 가상 이동 시점에서 상기 전자 장치의 카메라 모듈 또는 상기 전자 장치의 메모리(예: 메모리(450))나 적어도 하나의 외부 전자 장치(예: 전자 장치(104) 또는 서버(106)) 중 적어도 하나를 통해 획득된 영상 데이터 또는 상기 획득된 영상 데이터에 기반하여 생성된 가상 영상 데이터일 수 있다.
일 실시예에서, 상기 현재 시점으로부터 상기 1 뎁스만큼 더 이동된 상기 제1 가상 이동 시점이 상기 카메라 모듈의 줌 인 또는 줌 아웃 가능한 화각 범위 내에 있는 경우, 상기 제2 영상 데이터 또는 상기 제2 가상 영상 데이터(1200b)는 상기 카메라 모듈을 통해 상기 제1 뎁스만큼 줌인 또는 줌 아웃하여 획득된 영상 데이터 또는 상기 획득된 영상 데이터에 기반하여 생성된 가상 영상 데이터일 수 있다. 또한, 상기 현재 시점으로부터 상기 1 뎁스만큼 더 이동된 상기 제1 가상 이동 시점이 상기 카메라 모듈의 줌 인 또는 줌 아웃 범위를 초과하는 경우, 상기 제2 영상 데이터 또는 상기 제2 가상 영상 데이터(1200b)는 상기 전자 장치의 메모리 또는 상기 적어도 하나의 외부 전자 장치 중 적어도 하나를 통해 획득된 영상 데이터 또는 상기 획득된 영상 데이터에 기반하여 생성된 가상 영상 데이터일 수 있다. 일 실시예에서, 상기 제2 영상 데이터 또는 상기 제2 가상 영상 데이터(1200b)가 획득되거나 생성된 상기 제1 가상 이동 시점은 상기 카메라 모듈의 줌 인 또는 줌 아웃 가능한 화각 범위 내에 있는 것으로 가정하기로 한다.
또한, 상기 제2 영상 데이터 또는 상기 제2 가상 영상 데이터(1200b)는 상기 해당 영상 데이터(1200b)에 대한 설명을 표시하는 영역(1250b)(예: 제1 도로) 또는 상기 해당 영상 데이터(1200b)와 관련된 정보를 표시하는 영역(1270b)(예: 네비게이션 지도)을 포함할 수 있다.
또한, 상기 전자 장치는 상기 제2 영상 데이터 또는 상기 제2 가상 영상 데이터(1200b)가 표시되는 도중에 상기 제1 레벨의 제1 입력(1210-1)이 해제되면, 원래의 상기 현재 시점으로 복귀되어 도 12a에 도시된 바와 같은 상기 현재 시점에서 획득되거나 생성된 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터(1200a)를 상기 디스플레이 상에 표시할 수 있다.
한편, 상기 제1 레벨의 제1 입력(1210-1)이 유지되는 동안 상기 제2 영상 데이터 또는 상기 제2 가상 영상 데이터(1200b)가 표시되는 도중, 상기 제1 입력(1210-1)의 레벨이 상기 제1 레벨보다 더 큰 레벨(예: 제2 레벨)로 변경되어 입력될 수 있다.
도 12c를 참조하면, 상기 전자 장치는 도 12b의 상기 제2 영상 데이터 또는 제2 가상 영상 데이터(1200b)가 표시되는 도중 제2 레벨의 제1 입력(1210-2)이 검출되면, 상기 제2 레벨의 제1 입력(1210-2)이 유지되는 동안 상기 제 2 레벨의 제1 입력(1210-2)에 따라 가상으로 이동된 제2 가상 이동 시점에서 획득된 제3 영상 데이터 또는 상기 제3 영상 데이터에 기반하여 생성된 제3 가상 영상 데이터(1200c)를 상기 디스플레이 상에 표시할 수 있다.
일 실시예에서, 상기 제2 레벨의 제1 입력(1210-2)은 상기 제1 레벨의 제1 입력(1210-1)보다 강도(또는 세기)가 클 수 있으며, 상기 제2 레벨의 제1 입력(1210-2)에 대응되는 상기 제2 가상 이동 시점은 상기 제1 가상 이동 시점의 위치에서 1 뎁스만큼 더 이동된 시점일 수 있다. 즉, 도 12c에 도시된 상기 제3 영상 데이터 또는 제3 가상 영상 데이터(1200c)는 도 12b에 도시된 바와 같은 상기 제2 영상 데이터 또는 상기 제2 가상 영상 데이터(1200b)가 획득된 상기 제1 가상 이동 시점의 위치로부터 상기 전자 장치의 실질적인 이동 없이 상기 카메라 모듈의 중심을 기준으로 상기 카메라 모듈의 중심 화각 방향으로 상기 1뎁스만큼, 즉 10m 앞으로 더 이동된 제2 가상 이동 시점에서 상기 전자 장치의 카메라 모듈 또는 상기 전자 장치의 메모리나 적어도 하나의 외부 전자 장치 중 적어도 하나를 통해 획득된 영상 데이터 또는 상기 획득된 영상 데이터에 기반하여 생성된 가상 영상 데이터일 수 있다.
일 실시예에서, 상기 제1 가상 이동 시점으로부터 상기 1 뎁스만큼 더 이동된 상기 제2 가상 이동 시점이 상기 카메라 모듈의 줌 인 또는 줌 아웃 가능한 화각 범위 내에 있는 경우, 상기 제3 영상 데이터 또는 상기 제3 가상 영상 데이터(1200c)는 상기 카메라 모듈을 통해 상기 제1 뎁스만큼 줌인 또는 줌 아웃하여 획득된 영상 데이터 또는 상기 획득된 영상 데이터에 기반하여 생성된 가상 영상 데이터일 수 있다. 또한, 상기 제1 가상 이동 시점으로부터 상기 1 뎁스만큼 더 이동된 제2 가상 이동 시점이 상기 카메라 모듈의 줌 인 또는 줌 아웃 범위를 초과하는 경우, 상기 제3 영상 데이터 또는 상기 제3 가상 영상 데이터(1200c)는 상기 전자 장치의 메모리 또는 상기 적어도 하나의 외부 전자 장치 중 적어도 하나를 통해 획득된 영상 데이터 또는 상기 획득된 영상 데이터에 기반하여 생성된 가상 영상 데이터일 수 있다. 일 실시예에서, 상기 제2 가상 이동 시점은 상기 카메라 모듈의 줌 인 또는 줌 아웃 가능한 화각 범위 내에 있는 것으로 가정하기로 한다.
또한, 상기 제3 영상 데이터 또는 상기 제3 가상 영상 데이터(1200c)는 상기 해당 영상 데이터(1200c)에 대한 설명을 표시하는 영역(1250c)(예: 제1 도로) 또는 상기 해당 영상 데이터(1200c)와 관련된 정보를 표시하는 영역(1270c)(예: 네비게이션 지도)을 포함할 수 있다.
또한, 상기 전자 장치는 상기 제3 영상 데이터 또는 제3 가상 영상 데이터(1200c)가 표시되는 도중에 상기 제2 레벨의 제1 입력(1210-2)의 세기(또는 강도)가 상기 제2 레벨에서 상기 제1 레벨로 변경되면 상기 제2 가상 이동 시점에서 상기 1 뎁스 만큼 뒤로 이동된 상기 제1 가상 이동 시점으로 복귀되어 상기 제1 가상 이동 시점에서 획득되거나 생성된 상기 제2 영상 데이터 또는 상기 제2 가상 영상 데이터(1200b)(도 12b 참조)를 상기 디스플레이 상에 표시할 수 있다.
또한, 상기 전자 장치는 상기 제3 영상 데이터 또는 상기 제3 가상 영상 데이터(1200c)가 표시되는 도중에 상기 제2 레벨의 제1 입력(1210-2)이 해제되면, 원래의 상기 현재 시점으로 복귀되어 상기 현재 시점에서 획득되거나 생성된 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터(1200a)(도 12a 참조)를 상기 디스플레이 상에 표시할 수 있다.
한편, 상기 제2 레벨의 제1 입력(1210-2)이 유지되는 동안 상기 제3 영상 데이터 또는 상기 제3 가상 영상 데이터(1200c)가 표시되는 도중, 상기 제2 레벨의 제1 입력(1210-2)의 강도(또는 세기)가 상기 제2 레벨보다 더 큰 레벨(예: 제3 레벨)로 변경되어 입력될 수 있다.
도 12d를 참조하면, 상기 전자 장치는 도 12c의 상기 제3 영상 데이터 또는 제3 가상 영상 데이터(1200c)가 표시되는 도중 제3 레벨의 상기 제1 입력(1210-3)이 검출되면, 상기 제3 레벨의 제1 입력(1210-3)이 유지되는 동안 상기 제3 레벨의 제1 입력(1210-3)에 따라 가상으로 이동된 제3 가상 이동 시점에서 획득된 제4 영상 데이터 또는 상기 제4 영상 데이터에 기반하여 생성된 제4 가상 영상 데이터(1200d)를 상기 디스플레이 상에 표시할 수 있다.
일 실시예에서, 상기 제3레벨의 제1 입력(1210-3)은 상기 제2 레벨보다 강도(또는 세기)가 큰 레벨일 수 있으며, 상기 제3 레벨의 제1 입력(1210-3)에 대응되는 상기 제3 가상 이동 시점은 상기 제2 가상 이동 시점의 위치에서 1 뎁스만큼 더 이동된 시점일 수 있다. 즉, 도 12d에 도시된 상기 제4 영상 데이터 또는 제4 가상 영상 데이터(1200d)는 도 12c에 도시된 바와 같은 상기 제3 영상 데이터 또는 상기 제3 가상 영상 데이터(1200c)가 획득된 상기 제2 가상 이동 시점의 위치로부터 상기 전자 장치의 실질적인 이동 없이 상기 카메라 모듈의 중심을 기준으로 상기 카메라 모듈의 중심 화각 방향으로 상기 1뎁스만큼, 즉 10m 앞으로 더 이동된 제3 가상 이동 시점에서 상기 전자 장치의 카메라 모듈 또는 상기 전자 장치의 메모리나 적어도 하나의 외부 전자 장치 중 적어도 하나를 통해 획득된 영상 데이터 또는 상기 획득된 영상 데이터에 기반하여 생성된 가상 영상 데이터일 수 있다.
일 실시 예에 따르면, 상기 제2 가상 이동 시점으로부터 상기 1 뎁스만큼 더 이동된 상기 제3 가상 이동 시점이 상기 카메라 모듈의 줌 인 또는 줌 아웃 가능한 화각 범위 내에 있는 경우, 상기 제4 영상 데이터 또는 상기 제4 가상 영상 데이터(1200d)는 상기 카메라 모듈을 통해 상기 제1 뎁스만큼 줌인 또는 줌 아웃하여 획득된 영상 데이터 또는 상기 획득된 영상 데이터에 기반하여 생성된 가상 영상 데이터일 수 있다. 일 실시 예에 따르면, 상기 제2 가상 이동 시점으로부터 상기 1 뎁스만큼 더 이동된 제3 가상 이동 시점이 상기 카메라 모듈의 줌 인 또는 줌 아웃 범위를 초과하는 경우, 상기 제4 영상 데이터 또는 상기 제4 가상 영상 데이터(1200d)는 상기 전자 장치의 메모리 또는 상기 적어도 하나의 외부 전자 장치 중 적어도 하나를 통해 획득된 영상 데이터 또는 상기 획득된 영상 데이터에 기반하여 생성된 가상 영상 데이터일 수 있다. 일 실시예에서, 상기 제3가상 이동 시점은 상기 카메라 모듈의 줌 인 또는 줌 아웃 가능한 화각 범위 내에 있는 것으로 가정하기로 한다.
또한, 상기 제4 영상 데이터 또는 상기 제4 가상 영상 데이터(1200d)는 상기 해당 영상 데이터(1200d)에 대한 설명을 표시하는 영역(1250d)(예: 제1 도로) 또는 상기 해당 영상 데이터(1200d)와 관련된 정보를 표시하는 영역(1270d)(예: 네비게이션 지도)을 포함할 수 있다.
또한, 상기 전자 장치는 상기 제4 영상 데이터 또는 제4 가상 영상 데이터(1200d)가 표시되는 도중 상기 제3 레벨의 제1 입력(1210-3)의 세기(또는 강도)가 상기 제3 레벨에서 상기 제2 레벨 또는 상기 제1 레벨로 변경되면, 상기 제3 가상 이동 시점에서 해당 레벨에 대응되는 뎁스 만큼 뒤로 이동된 상기 제2 가상 이동 시점 또는 상기 제1 가상 이동 시점으로 복귀되어 상기 제2 가상 이동 시점에서 획득되거나 생성된 상기 제3 영상 데이터 또는 상기 제3 가상 영상 데이터(1200c)(도 12c 참조)를 상기 디스플레이 상에 표시하거나, 상기 제1 가상 이동 시점에서 획득되거나 생성된 상기 제2 영상 데이터 또는 상기 제2 가상 영상 데이터(1200b)(도 12b 참조)를 상기 디스플레이 상에 표시할 수 있다. 또는, 상기 전자 장치는 상기 제3 영상 데이터 또는 상기 제3 가상 영상 데이터(1200c)에서 상기 제2 영상 데이터 또는 상기 제2 가상 영상 데이터(1200b)로 상기 디스플레이 상에 단계적으로 또는 연속적으로 표시할 수도 있다.
또한, 상기 전자 장치는 상기 제4 영상 데이터 또는 상기 제4 가상 영상 데이터(1200d)가 표시되는 도중에 상기 제3 레벨의 제1 입력(1210-3)이 해제되면, 원래의 상기 현재 시점으로 복귀되어 상기 현재 시점에서 획득되거나 생성된 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터(1200a)(도 12a 참조)를 상기 디스플레이 상에 표시할 수 있다.
한편, 상기 제3 레벨의 제1 입력(1210-3)이 유지되는 동안 상기 제4 영상 데이터 또는 상기 제4 가상 영상 데이터(1200d)가 표시되는 도중, 상기 제3레벨의 제1 입력(1210-3)의 강도(또는 세기)가 상기 제3 레벨보다 더 큰 레벨(예: 제4 레벨)로 변경되어 입력될 수 있다.
도 12e를 참조하면, 상기 전자 장치는 도 12d의 상기 제4 영상 데이터 또는 제4 가상 영상 데이터(1200d)가 표시되는 도중 제4 레벨의 제1 입력(1210-4)이 검출되면, 상기 제4 레벨의 제1 입력(1210-4)이 유지되는 동안 상기 제4레벨의 제1 입력(1210-4)에 따라 가상으로 이동된 제4 가상 이동 시점에서 획득된 제5 영상 데이터 또는 상기 제5 영상 데이터에 기반하여 생성된 제5 가상 영상 데이터(1200e)를 상기 디스플레이 상에 표시할 수 있다.
일 실시예에서, 상기 제4레벨의 제1 입력(1210-4)의 강도(또는 세기)는 상기 제3 레벨보다 큰 레벨일 수 있으며, 상기 제4 레벨의 제1 입력(1210-4)에 대응되는 상기 제4 가상 이동 시점은 상기 제3 가상 이동 시점의 위치에서 1 뎁스만큼 더 이동된 시점일 수 있다. 즉, 도 12e에 도시된 상기 제5 영상 데이터 또는 제5 가상 영상 데이터(1200e)는 도 12d에 도시된 바와 같은 상기 제4 영상 데이터 또는 상기 제4 가상 영상 데이터(1200d)가 획득된 상기 제3 가상 이동 시점의 위치로부터 상기 전자 장치의 실질적인 이동 없이 상기 카메라 모듈의 중심을 기준으로 상기 카메라 모듈의 중심 화각 방향으로 상기 1뎁스만큼, 즉 10m 앞으로 이동된 제4 가상 이동 시점에서 상기 전자 장치의 카메라 모듈 또는 상기 전자 장치의 메모리나 적어도 하나의 외부 전자 장치 중 적어도 하나를 통해 획득된 영상 데이터 또는 상기 획득된 영상 데이터에 기반하여 생성된 가상 영상 데이터일 수 있다.
일 실시예에서, 상기 제3 가상 이동 시점으로부터 상기 1 뎁스만큼 더 이동된 상기 제4 가상 이동 시점이 상기 카메라 모듈의 줌 인 또는 줌 아웃 가능한 화각 범위 내에 있는 경우, 상기 제5 영상 데이터 또는 상기 제5 가상 영상 데이터(1200e)는 상기 카메라 모듈을 통해 상기 제1 뎁스만큼 줌인 또는 줌 아웃하여 획득된 영상 데이터 또는 상기 획득된 영상 데이터에 기반하여 생성된 가상 영상 데이터일 수 있다. 일 실시예에 따르면, 상기 제3 가상 이동 시점으로부터 상기 1 뎁스만큼 더 이동된 제4 가상 이동 시점이 상기 카메라 모듈의 줌 인 또는 줌 아웃 범위를 초과하는 경우, 상기 제5 영상 데이터 또는 상기 제5 가상 영상 데이터(1200e)는 상기 전자 장치의 메모리 또는 상기 적어도 하나의 외부 전자 장치 중 적어도 하나를 통해 획득된 영상 데이터 또는 상기 획득된 영상 데이터에 기반하여 생성된 가상 영상 데이터일 수 있다. 일 실시예에서, 상기 제4가상 이동 시점은 상기 카메라 모듈의 줌 인 또는 줌 아웃 가능한 화각 범위 내에 있는 것으로 가정하기로 한다.
또한, 상기 제5 영상 데이터 또는 상기 제5 가상 영상 데이터(1200e)는 상기 해당 영상 데이터(1200e)에 대한 설명을 표시하는 영역들(1250e-1~1250e-3)(예: 제1 도로, 제2 도로 및 제3 도로) 또는 상기 해당 영상 데이터(1200e)와 관련된 정보를 표시하는 영역(1270e)(예: 네비게이션 지도)을 포함할 수 있다. 상기 제5 영상 데이터 또는 상기 제5 가상 영상 데이터(1200e)에는 예를 들어, 상기 제1 도로가 끝나는 지점에서 두 도로(예를 들어, 제2 도로 및 제3 도로)로 나뉠 수 있으며, 상기 영역(1270e)에도 상기 두 도로가 나누어짐이 표시될 수 있다.
또한, 상기 전자 장치는 상기 제5 영상 데이터 또는 제5 가상 영상 데이터(1200e)가 표시되는 도중에 상기 제4 레벨의 제1 입력(1210-4)이 상기 제4 레벨에서 상기 제3 레벨, 상기 제2 레벨 또는 상기 제1 레벨로 변경되면, 상기 제4 가상 이동 시점에서 해당 레벨에 대응되는 뎁스 만큼 뒤로 이동된 상기 제3 가상 이동 시점, 상기 제2 가상 이동 시점 또는 상기 제1 가상 이동 시점으로 복귀되어 상기 제3 가상 이동 시점에서 획득되거나 생성된 상기 제4 영상 데이터 또는 상기 제4 가상 영상 데이터(1200d)(도 12d 참조)를 상기 디스플레이 상에 표시하거나, 상기 제2 가상 이동 시점에서 획득되거나 생성된 상기 제3 영상 데이터 또는 상기 제3 가상 영상 데이터(1200c)(도 12c 참조)를 상기 디스플레이 상에 표시하거나, 상기 제1 가상 이동 시점에서 획득되거나 생성된 상기 제2 영상 데이터 또는 상기 제2 가상 영상 데이터(1200b)(도 12b 참조)를 상기 디스플레이 상에 표시할 수 있다. 또는, 상기 전자 장치는 상기 제4 영상 데이터 또는 상기 제4 가상 영상 데이터(1200d)에서 상기 제3 영상 데이터 또는 상기 제3 가상 영상 데이터(1200c)(도 12c 참조)를 거쳐 상기 제2 영상 데이터 또는 상기 제2 가상 영상 데이터(1200b)(도 12b 참조)로 상기 디스플레이 상에 단계적으로 또는 연속적으로 표시할 수도 있다.
또한, 상기 전자 장치는 상기 제5 영상 데이터 또는 상기 제5 가상 영상 데이터(1200e)가 표시되는 도중에 상기 제4 레벨의 제1 입력(1210-4)이 해제되면, 원래의 상기 현재 시점으로 복귀되어 상기 현재 시점에서 획득되거나 생성된 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터(1200a)(도 12a 참조)를 상기 디스플레이 상에 표시할 수 있다.
한편, 상기 제4 레벨의 상기 제1 입력(1210-4)이 유지되는 동안 상기 제5 영상 데이터 또는 상기 제5 가상 영상 데이터(1200e)가 표시되는 도중, 도 12f에 도시된 바와 같이 상기 제4레벨의 제1 입력(1210-4)과 다른 추가적인 입력(예: 제2 입력)(1230)이 입력될 수 있다.
도 12f를 참조하면, 상기 전자 장치는 도 12e에 도시된 바와 같이 상기 제4 레벨의 제1 입력(1210-4)이 유지되는 동안 상기 제4 가상 이동 시점에서 획득되거나 생성된 상기 제5 영상 데이터 또는 상기 제5 가상 영상 데이터(1200e)가 표시되는 도중, 상기 제4 레벨의 제1 입력(1210-4)과 다른 추가적인 입력(예: 제2 입력)(1230)이 입력되면, 상기 제4 가상 이동 시점에서 상기 제2 입력(1230)에 대응하여 상기 전자 장치의 카메라 모듈의 방향이 전환된 가상 방향 변경 시점으로 변경할 수 있다. 예를 들어, 상기 전자 장치는 상기 제2 입력(1230)의 속성에 대응하여 상기 전자 장치의 상기 제4 가상 이동 시점으로부터 상기 가상 방향 변경 시점으로 변경할 수 있다. 상기 제2 입력(1230)의 속성은 입력 위치, 입력 방향, 입력 강도(세기), 입력 유지 시간 또는 입력 횟수 중 적어도 하나를 포함할 수 있다. 예를 들어, 상기 전자 장치는 제2 입력(1230)의 각 속성의 레벨에 따라 상기 가상 방향 변경 시점을 결정할 수 있다.
예를 들어, 상기 제5 영상 데이터 또는 상기 제5 가상 영상 데이터(1200e)가 표시되는 동안 상기 제2 입력(1230)이 입력되면, 상기 전자 장치는 상기 디스플레이 화면의 중심을 기준으로 상기 제2 입력(1230)의 위치를 판단할 수 있다. 여기서, 상기 디스플레이 화면의 중심은 상기 카메라 모듈의 중심(이를 테면, 이미지 센서의 중심 화각)과 일치할 수 있다. 예를 들어, 도 12f에 도시된 바와 같이, 상기 디스플레이 화면의 중심의 X-Y 좌표를 (0,0)으로 가정하면, 상기 중심을 지나는 세로축 점선(예: Y축) 및 가로축 점선(예: X축)으로 상기 중심을 표시할 수 있다. 상기 세로축 점선 및 상기 가로축 점선은 상기 제2 입력(1230)의 위치를 설명하기 위한 가상의 선이다. 상기 X축은 상기 중심(0,0)을 기준으로 우측 방향으로 (+) 좌표값을 나타내고 좌측 방향으로 (-) 좌표값을 나타내며, 상기 Y축은 중심(0,0)을 기준으로 상측 방향으로 (+) 좌표값을 나타내고 하측 방향으로 (-) 좌표값을 나타낼 수 있다.
상기 제2 입력(1230)이 입력되면, 상기 디스플레이 화면의 중심을 지나는 상기 세로축 점선(예: Y축)을 중심으로 상기 제2 입력(1230)의 위치에 따라 상기 카메라 모듈의 중심 화각이 전환되는 좌우 방향 및 좌우 각도가 결정될 수 있고, 상기 디스플레이 화면의 중심을 지나는 상기 가로축 점선(예: X축)을 중심으로 상기 제2 입력(1230)의 위치에 따라 상기 카메라 모듈의 중심 화각이 전화되는 상하 방향 및 상하 각도가 결정될 수 있다. 상기 상하좌우로 전환되는 상기 각도(예: 0~360도)는 상기 각 중심선(예: X축 또는 Y 축 점선)으로부터 이격된 간격에 비례하여 미리 설정될 수 있다. 예를 들어, 각 중심선(예: X축 또는 Y 축 점선)으로부터 멀어질수록 상기 각도는 더 커질 수 있다.
상기 전자 장치는 상기 카메라 모듈의 중심, 즉 중심 화각이 상기 제4 가상 이동 위치에서 상기 결정된 방향과 각도만큼 변경될 수 있으며, 상기 결정된 방향과 각도의 상기 카메라 모듈의 중심 화각에 대응되는 시점을 상기 가상 방향 변경 시점으로 결정할 수 있다.
예를 들어, 상기 제2 입력(1230)의 X-Y좌표가 (3,1)이라면, 상기 전자 장치는 상기 제2 입력(1230)에 따라 상기 전자 장치의 카메라 모듈이 상기 디스플레이 화면의 중심에서 우측 방향으로 X축으로 3에 해당되는 각도만큼 전환되고, 상기 디스플레이 화면의 중심에서 상측 방향으로 Y 축으로 1에 해당되는 각도만큼 전환된 것으로 결정할 수 있으며, 상기 결정된 방향과 각도의 상기 카메라 모듈의 중심 화각에 대응되는 시점을 상기 제2 입력(1230)에 대응되는 가상 방향 변경 시점(예: 제1 가상 방향 변경 시점)으로 결정할 수 있다.
도 12g를 참조하면, 상기 전자 장치는 상기 제4 레벨의 제1 입력(1210-4)이 유지되는 동안 상기 제5 영상 데이터 또는 제5 가상 영상 데이터(1200e)가 표시되는 도중, 상기 도 12f에 도시된 바와 같은 제2 입력(1230)이 입력되면, 상기 제4 레벨의 제1 입력(1210-4) 및 상기 제2 입력(1230)이 유지되는 동안 상기 제2 입력(1230)에 기반하여 상기 카메라 모듈의 방향이 전환된 상기 제1 가상 방향 변경 시점에서 획득된 제6 영상 데이터 또는 상기 제6 영상 데이터에 기반하여 생성된 제6 가상 영상 데이터(1200g)를 상기 디스플레이 상에 표시할 수 있다.
일 실시예에서, 상기 제1 가상 방향 변경 시점은 상기 제4 가상 이동 시점에서 상기 카메라 모듈의 중심 화각이 우측 및 상측 방향으로 제2 입력(1210)의 X축 및 Y 축 좌표에 대응되는 각도만큼 전환된 시점인 것으로 가정하기로 한다. 즉, 도 12g에 도시된 상기 제6 영상 데이터 또는 제6 가상 영상 데이터(1200g)는 상기 제5 영상 데이터 또는 상기 제5 가상 영상 데이터(1200e)(도 12e 참조)가 획득된 상기 제4 가상 이동 시점의 위치로부터 상기 전자 장치의 실질적인 이동 없이 상기 카메라 모듈의 중심을 기준으로 상기 카메라 모듈의 중심 화각이 우측 및 상측 방향으로 제2 입력(1210)의 X축 및 Y 축 좌표에 대응되는 각도만큼 전환된 상기 제1 가상 방향 변경 시점에서 상기 전자 장치의 메모리 또는 적어도 하나의 외부 전자 장치 중 적어도 하나를 통해 획득된 영상 데이터 또는 상기 획득된 영상 데이터에 기반하여 생성된 가상 영상 데이터일 수 있다. 일 실시예에서, 상기 제1가상 방향 변경 시점은 상기 카메라 모듈의 줌 인 또는 줌 아웃 가능한 화각 범위 내의 가상 이동 위치(예: 제4 가상 이동 위치)에서 상기 카메라 모듈의 중심 화각이 상기 제2 입력(1230)에 대응하여 전환된 것으로 가정하기로 한다.
또한, 상기 제6 영상 데이터 또는 상기 제6 가상 영상 데이터(1200g)는 상기 해당 영상 데이터(1200g)에 대한 설명을 표시하는 영역(1250g)(예: 제2 도로) 또는 상기 해당 영상 데이터(1200g)와 관련된 정보를 표시하는 영역(1270g)(예: 네비게이션 지도)을 포함할 수 있다. 또한, 가상 이동 시점에서 가상 방향 변경 시점으로 전환되는 경우, 예를 들어, 상기 제6 영상 데이터 또는 상기 제6 가상 영상 데이터(1200g)에서 상기 해당 영상 데이터(1200g)에 대한 설명을 표시하는 영역(1250g)은 그 내용이 변경되어 표시될 수 있다. 예를 들어, 상기 제6 영상 데이터 또는 상기 제6 가상 영상 데이터(1200g) 내 도로명(예: 제2도로)이 상기 제5 영상 데이터 또는 상기 제5 가상 영상 데이터(1200e) 내 도로명(예; 제1 도로)과 다를 경우, 상기 영역(1250g)에는 해당 영상 데이터(1200g)에 따라 변경된 도로명(예: 제2 도로)이 표시될 수 있다.
또한, 상기 제6 영상 데이터 또는 상기 제6 가상 영상 데이터(1200g)가 표시되는 도중에 상기 제2 입력(1230)이 해제되면, 상기 디스플레이 상에는 상기 제1 입력(1210-1 내지 1210-4)의 레벨에 대응되는 시점으로 복귀되어 상기 복귀된 시점에서 획득되거나 생성된 상기 영상 데이터 또는 가상 영상 데이터가 표시될 수 있다. 예를 들어, 상기 전자 장치는 상기 제6 영상 데이터 또는 상기 제6 가상 영상 데이터(1200g)가 표시되는 도중에 상기 제2 입력(1230)이 해제되면, 상기 제4 레벨의 제1 입력(1210-4)에 대응되는 상기 제4 가상 이동 시점으로 복귀되어 상기 제5 영상 데이터 또는 상기 제5 영상 데이터(1200e)(도 12e 참조)가 표시될 수 있다.
또한, 상기 전자 장치는, 도시하지는 않았으나, 상기 제2 입력(1230)의 레벨에 따라 상기 제1 가상 방향 변경 시점의 위치로부터 상기 제1 가상 방향 변경 시점에서의 상기 카메라 모듈의 중심을 기준으로 상기 카메라 모듈의 중심 화각 방향으로 가상으로 더 이동된 가상 이동 시점에서 획득된 영상 데이터 또는 상기 획득된 영상 데이터에 기반하여 생성된 가상 영상 데이터를 더 표시할 수도 있다.
또한, 상기 전자 장치는 상기 제6 영상 데이터 또는 상기 제6 가상 영상 데이터(1200g)가 표시되는 중에 상기 제1 입력(예: 제4 레벨의 제1 입력(1210-4))이 해제되면, 원래의 상기 현재 시점으로 복귀되어 상기 현재 시점에서 획득되거나 생성된 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터(1200a)(도 12a 참조)를 상기 디스플레이 상에 표시할 수 있다.
도 12h를 참조하면, 도 12f에서와 마찬가지로, 상기 전자 장치는 도 12e에 도시된 바와 같이 상기 제4 레벨의 제1 입력(1210-4)이 유지되는 동안 상기 제4 가상 이동 시점에서 획득되거나 생성된 상기 제5 영상 데이터 또는 상기 제5 가상 영상 데이터(1200e)가 표시되는 도중, 상기 제1 입력(1210-4)과 다른 추가적인 입력(예: 제2 입력)(1230)이 입력되면, 상기 제4 가상 이동 시점에서 상기 제2 입력(1230)에 대응하여 상기 전자 장치의 카메라 모듈의 방향이 전환된 가상 방향 변경 시점으로 변경할 수 있다. 예를 들어, 상기 전자 장치는 상기 제2 입력(1230)의 속성에 대응하여 상기 전자 장치의 상기 가상 방향 변경 시점으로 변경할 수 있다. 상기 제2 입력(1230)의 속성은 입력 위치, 입력 방향, 입력 강도(세기), 입력 유지 시간 또는 입력 횟수 중 적어도 하나를 포함할 수 있다. 예를 들어, 상기 전자 장치는 제2 입력(1230)의 각 속성의 레벨에 따라 상기 가상 방향 변경 시점을 결정할 수 있다.
예를 들어, 상기 제5 영상 데이터 또는 상기 제5 가상 영상 데이터(1200e)가 표시되는 동안 상기 제2 입력(1230)이 입력되면, 상기 전자 장치는 상기 디스플레이 화면의 중심을 기준으로 상기 제2 입력(1230)의 위치를 판단할 수 있다.
예를 들어, 상기 제2 입력(1230)의 X-Y좌표가 (-3,1)이라면, 상기 전자 장치는 상기 제2 입력(1230)에 따라 상기 전자 장치의 카메라 모듈이 상기 디스플레이 화면의 중심에서 좌측 방향으로 X축으로 3에 해당되는 각도만큼 전환되고, 상기 디스플레이 화면의 중심에서 상측 방향으로 Y 축으로 1에 해당되는 각도만큼 전환된 것으로 결정할 수 있으며, 상기 결정된 방향과 각도의 상기 카메라 모듈의 중심 화각에 대응되는 시점을 상기 제2 입력(1230)에 대응되는 가상 방향 변경 시점(예: 제2 가상 방향 변경 시점)으로 결정할 수 있다.
도 12i를 참조하면, 상기 전자 장치는 상기 4 레벨의 제1 입력(1210-4)이 유지되는 동안 상기 제5 영상 데이터 또는 제5 가상 영상 데이터(1200e)가 표시되는 도중, 상기 도 12h에 도시된 바와 같은 제2 입력(1230)이 입력되면, 상기 제1 입력(1210-4) 및 상기 제2 입력(1230)이 유지되는 동안 상기 제2 입력(1230)에 기반하여 상기 카메라 모듈의 방향이 전환된 상기 제2 가상 방향 변경 시점에서 획득된 제7 영상 데이터 또는 상기 제7 영상 데이터에 기반하여 생성된 제7 가상 영상 데이터(1200i)를 상기 디스플레이 상에 표시할 수 있다.
일 실시예에서, 상기 제2 가상 방향 변경 시점은 상기 제4 가상 이동 시점에서 상기 카메라 모듈의 중심 화각이 좌측 및 상측 방향으로 제2 입력(1230)의 X축 및 Y 축 좌표에 대응되는 각도만큼 전환된 시점인 것으로 가정하기로 한다. 즉, 도 12i에 도시된 상기 제7 영상 데이터 또는 제7 가상 영상 데이터(1200i)는 상기 제5 영상 데이터 또는 상기 제5 가상 영상 데이터(1200e)가 획득된 상기 제4 가상 이동 시점의 위치로부터 상기 전자 장치의 실질적인 이동 없이 상기 카메라 모듈의 중심을 기준으로 상기 카메라 모듈의 중심 화각이 좌측 및 상측 방향으로 제2 입력(1210)의 X축 및 Y 축 좌표에 대응되는 각도만큼 전환된 상기 제2 가상 방향 변경 시점에서 상기 전자 장치의 메모리 또는 적어도 하나의 외부 전자 장치를 통해 획득된 영상 데이터 또는 상기 획득된 영상 데이터에 기반하여 생성된 가상 영상 데이터일 수 있다. 일 실시예에서, 상기 제2가상 방향 변경 시점은 상기 카메라 모듈의 줌 인 또는 줌 아웃 가능한 화각 범위 내의 가상 이동 위치(예: 제4 가상 이동 위치)에서 상기 카메라 모듈의 중심 화각이 상기 제2 입력(1230)에 대응하여 전환된 것으로 가정하기로 한다.
또한, 상기 제7 영상 데이터 또는 상기 제7 가상 영상 데이터(1200i)는 상기 해당 영상 데이터(1200i)에 대한 설명을 표시하는 영역(1250i)(예: 제3 도로) 또는 상기 해당 영상 데이터(1200i)와 관련된 정보를 표시하는 영역(1270i)(예: 네비게이션 지도)을 포함할 수 있다. 또한, 상기 가상 이동 시점에서 상기 가상 방향 변경 시점으로 전환되는 경우, 예를 들어, 상기 제7 영상 데이터 또는 상기 제7 가상 영상 데이터(1200i)에서 상기 해당 영상 데이터(1200i)에 대한 설명을 표시하는 영역(1250i)은 그 내용이 변경되어 표시될 수 있다. 예를 들어, 상기 제7 영상 데이터 또는 상기 제7 가상 영상 데이터(1200i) 내 도로명(예: 제3도로)이 상기 제5 영상 데이터 또는 상기 제5 가상 영상 데이터(1200e) 내 도로명(예: 제1 도로)와 다를 경우, 상기 영역(1250i)에는 해당 영상 데이터(1200i)에 따라 변경된 도로명(예: 제3 도로)이 표시될 수 있다.
또한, 상기 제7 영상 데이터 또는 상기 제7 가상 영상 데이터(1200i)가 표시되는 도중에 상기 제2 입력(1230)이 해제되면, 상기 디스플레이 상에는 상기 제1 입력(1210-1 내지 1210-4)의 레벨에 대응되는 시점으로 복귀되어 상기 복귀된 시점에서 획득되거나 생성된 상기 영상 데이터 또는 가상 영상 데이터가 표시될 수 있다. 예를 들어, 상기 전자 장치는 상기 제7 영상 데이터 또는 상기 제7 가상 영상 데이터(1200i)가 표시되는 도중에 상기 제2 입력(1230)이 해제되면, 상기 제4 레벨의 제1 입력(1210-4)에 대응되는 상기 제4 가상 이동 시점으로 복귀되어 상기 제5 영상 데이터 또는 상기 제5 영상 데이터(1200e)(도 12e 참조)가 표시될 수 있다.
또한, 상기 전자 장치는, 도시하지는 않았으나, 상기 제2 입력(1230)의 레벨에 따라 상기 제2 가상 방향 변경 시점의 위치로부터 상기 제2 가상 방향 변경 시점에서의 상기 카메라 모듈의 중심을 기준으로 상기 카메라 모듈의 중심 화각 방향으로 가상으로 더 이동된 가상 이동 시점에서 획득된 영상 데이터 또는 상기 획득된 영상 데이터에 기반하여 생성된 가상 영상 데이터를 더 표시할 수도 있다.
또한, 상기 전자 장치는 상기 제7 영상 데이터 또는 상기 제7 가상 영상 데이터(1200i)가 표시되는 중에 상기 제1 입력(예: 제4 레벨의 제1 입력(1210-4))이 해제되면, 원래의 상기 현재 시점으로 복귀되어 상기 현재 시점에서 획득되거나 생성된 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터(1200a)(도 12a 참조)를 상기 디스플레이 상에 표시할 수 있다.
일 실시예에서, 상기 제1 입력(1210-1 내지 1210-4) 및/또는 상기 제2 입력(1230)은 압력 입력인 것으로 설명하였으나, 이에 한정되는 것은 아니며 상기 제1 입력(1210-1 내지 1210-4) 및/또는 상기 제2 입력(1230)은 터치 입력, 스와이프 입력 및/또는 드래그 앤 드롭 입력을 포함한 다양한 타입의 입력을 포함할 수 있다. 상기 입력들(1210-1 내지 1210-4, 또는 1230)의 타입은 도 13a 내지 13c를 참조하여 더욱 자세하게 설명하기로 한다.
또한, 일 실시예에서, 복수의 가상 이동 시점들(예: 제1 내지 제4 가상 이동 시점들) 및/또는 복수의 가상 방향 변경 시점들(예: 제1 내지 제2 가상 방향 변경 시점들)들에서 상기 가상 이동 위치를 상기 카메라 모듈의 줌 인 또는 줌 아웃 가능한 화각 범위 내인 것으로 가정하였으나, 이에 한정되는 것은 아니며 상기 카메라 모듈의 줌 인 또는 줌 아웃 가능한 화각 범위 밖인 경우에도 상기 카메라 모듈이 아닌 적어도 하나의 외부 전자 장치로부터 영상 데이터를 획득하는 것만 상이할 뿐 상술한 바와 동일한 방법으로 상기 가상 현실(VR) 또는 증강 현실(AR)과 같은 리얼리티 서비스를 제어할 수 있다.
도 13a 내지 13c는 다양한 실시예에 따른 전자 장치의 입력 타입에 따른 인터페이스 화면들이다.
도 13a를 참조하면, 전자 장치(예: 전자 장치(401))의 현재 시점에서 획득된 제1 영상 데이터 또는 상기 제1 영상 데이터에 기반하여 생성된 제1 가상 영상 데이터(예: 도 12a의 영상 데이터(1200a))가 표시되는 동안 소정의 가상 이동 시점 또는 가상 방향 변경 시점으로 이동을 위한 입력으로서 터치 입력들이 사용될 수 있으며, 상기 전자 장치의 디스플레이(예: 디스플레이(440))의 화면(1300)에는 해당 터치 입력의 레벨, 즉 크기에 따라 미리 설정된 다수의 버튼들을 포함하는 적어도 하나의 입력 인터페이스(1310a)가 표시될 수 있다.
상기 입력 인터페이스(1310a)의 각 버튼들은 한번 터치하면 해당 크기의 터치 입력이 유지되고 다시 한번 터치하면 해당 터치 입력을 해제하는 토글(toggle) 기능을 갖는 버튼일 수 있다.
또한 상기 입력 인터페이스(1310a)는 복수의 터치 입력들에 대응하는 복수의 입력 인터페이스들을 포함할 수 있다. 예를 들어, 상기 복수의 입력 인터페이스들은 가상 이동 시점으로의 이동을 위한 제1 터치 입력의 레벨을 조절하기 위한 제1 터치 입력 인터페이스(예: 입력 인터페이스(1310a)) 및 가상 방향 변경 시점으로의 이동을 위한 제2 터치 입력의 레벨을 조절하기 위한 제2 터치 입력 인터페이스(미도시)를 포함할 수 있다. 상기 제2 터치 입력 인터페이스(미도시)는 상기 제1 터치 입력 인터페이스(1310a)와 동일한 형태일 수 있다.
또한, 상기 디스플레이의 화면(1300)에는 예를 들어, 해당 영상 데이터(예: 제1 영상 데이터 또는 제1 가상 영상 데이터(1200a))에 대한 설명을 표시하는 영역(1350) 또는 상기 해당 영상 데이터(1200a)와 관련된 정보를 표시하는 영역(1370) 또는 그 조합 중 적어도 하나를 포함할 수 있다. 예를 들어, 상기 제1 영상 데이터 또는 제1 가상 영상 데이터(1200a)는 소정의 도로를 나타내는 영상일 수 있다. 이 경우, 상기 영역(1350)에는 해당 도로의 도로명(예: 제1 도로)을 표시할 수 있으며, 상기 영역(1370)에는 해당 도로와 관련된 정보(예: 네비게이션 지도)를 표시할 수 있다.
도 13b를 참조하면, 상기 전자 장치의 현재 시점에서 획득된 제1 영상 데이터 또는 상기 제1 영상 데이터에 기반하여 생성된 제1 가상 영상 데이터(예: 도 12a의 영상 데이터(1200a))가 표시되는 동안 소정의 가상 이동 시점 또는 가상 방향 변경 시점으로 이동을 위한 입력으로서 터치 입력 중 스와이프 입력들이 사용될 수 있으며, 상기 전자 장치의 디스플레이의 화면(1300)에는 해당 스와이프 입력의 레벨, 즉 크기에 따라 미리 설정된 다수의 레벨 단계들을 포함하는 적어도 하나의 입력 인터페이스(1310b)가 표시될 수 있다.
상기 입력 인터페이스(1310b)의 각 레벨 단계들은 해당 크기의 레벨까지 한번 스와이프하면 상기 스와이프 된 레벨 단계까지 해당 스와이프 입력의 레벨을 유지하고 상기 스와이프 된 레벨 단계들을 다시 한번 스와이프 하면 해당 레벨 단계들의 스와이프 입력을 해제하는 토글(toggle) 기능을 갖는 레벨 단계들일 수 있다.
또한 상기 입력 인터페이스(1310b)는 복수의 스와이프 입력들에 대응하는 복수의 입력 인터페이스들을 포함할 수 있다. 예를 들어, 상기 복수의 입력 인터페이스들은 가상 이동 시점으로의 이동을 위한 제1 스와이프 입력의 레벨을 조절하기 위한 제1 스와이프 입력 인터페이스(예: 입력 인터페이스(1310b)) 및 가상 방향 변경 시점으로의 이동을 위한 제2 스와이프 입력의 레벨을 조절하기 위한 제2 스와이프 입력 인터페이스(미도시)를 포함할 수 있다. 상기 제2 스와이프 입력 인터페이스(미도시)는 상기 제1 스와이프 입력 인터페이스(1310b)와 동일한 형태일 수 있다.
도 13c를 참조하면, 상기 전자 장치의 현재 시점에서 획득된 제1 영상 데이터 또는 상기 제1 영상 데이터에 기반하여 생성된 제1 가상 영상 데이터(예: 도 12a의 영상 데이터(1200a))가 표시되는 동안 소정의 가상 이동 시점 또는 가상 방향 변경 시점으로 이동을 위한 입력으로서 터치 입력 중 드래그 앤 드롭 입력들이 사용될 수 있으며, 상기 전자 장치의 디스플레이의 화면(1300)에는 해당 드래그 앤 드롭 입력의 레벨에 대응되도록 드래그 앤 드롭 입력을 입력하는 적어도 하나의 입력 인터페이스(1310c)가 표시될 수 있다.
상기 입력 인터페이스(1310c)의 해당 드래그 입력 크기의 레벨까지 조절 바(bar)(1301)를 드래그한 채 유지하여 해당 드래그된 입력의 레벨을 유지하고, 상기 드래그된 조절 바(1301)를 드롭(drop)하면 해당 드래그된 입력이 해제될 수 있다.
또한 상기 입력 인터페이스는 복수의 드래그 앤 드롭 입력에 대응하는 복수의 입력 인터페이스(1310c)를 포함할 수 있다. 예를 들어, 상기 입력 인터페이스(1310c)는 가상 이동 시점으로의 이동을 위한 제1 드래그 앤 드롭 입력의 레벨을 조절하기 위한 제1 드래그 앤 드롭 입력 인터페이스(예: 입력 인터페이스(1310c)) 및 가상 방향 변경 시점으로의 이동을 위한 제2 드래그 앤 드롭 입력의 레벨을 조절하기 위한 제2 드래그 앤 드롭 입력 인터페이스(미도시)를 포함할 수 있다. 상기 제2 드래그 앤 드롭 입력 인터페이스(미도시)는 상기 제1 드래그 앤 드롭 입력 인터페이스(1310c)와 동일한 형태일 수 있다.
도 13a 내지 13c에 도시된 바와 같은 입력 인터페이스들(1310a 내지 1310c)을 통해 상기 해당 터치 입력, 스와이프 입력 또는 드래그 앤 드롭 입력이 해제되면, 상기 디스플레이 상에는 원래의 현재 시점으로 복귀되어 상기 현재 시점에서 획득된 상기 제1 영상 데이터 또는 제1 가상 영상 데이터가 디스플레이 될 수 있다.
도 14a 내지 14c는 다양한 실시예에 따른 전자 장치의 사용자 인터페이스 화면들이다. 14a내지 14c에 도시된 입력은 압력 입력을 나타낼 수 있으며, 상기 압력 입력의 레벨, 즉 강도(세기)에 대응하여 상기 가상 이동 시점의 뎁스(depth)(예: 시점 계층)를 조절할 수 있다.
도 14a를 참조하면, 다양한 실시예에 따른 전자 장치(예: 전자 장치(401))는 가상 현실(VR) 또는 증강 현실(AR)과 같은 리얼리티 서비스와 관련된 어플리케이션 실행 시, 현재 시점에서 획득된 제1 영상 데이터 또는 상기 제1 영상 데이터에 기반하여 생성된 제1 가상 영상 데이터(1400a)를 상기 전자 장치의 디스플레이(예: 디스플레이(440)) 상에 표시할 수 있다. 상기 전자 장치는 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터(1400a) 내 적어도 하나의 오브젝트(예: 사람(1430a 내지 1430d))를 인식할 수 있다. 상기 전자 장치는 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터(1400a)를 디스플레이 하는 동안, 사용자에 의해 상기 인식된 적어도 하나의 오브젝트들(1430a 내지 1430d) 중 적어도 하나(예: 제3 사람(1430c))에 대한 제1 입력(1410)이 발생되면, 상기 제1 입력(1410)에 대응하여 가상 이동 시점으로 변경할 수 있다.
예를 들어, 상기 전자 장치는 상기 현재 시점에서 획득되거나 생성된 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터(1400a)를 디스플레이 하는 동안 상기 제1 입력(1410)이 검출되면, 상기 제1 입력(1410)이 유지되는 동안 상기 제1 입력(1410)의 속성에 기반하여 상기 현재 시점에서 시점 계층이 가상으로 이동된 가상 이동 시점으로 이동될 수 있다. 예를 들어, 상기 전자 장치는 상기 전자 장치의 시점을 상기 현재 시점에서 상기 제1 입력(1410)에 의해 선택된 해당 오브젝트(1430c)의 시점으로 시점 계층이 가상으로 이동된 상기 가상 이동 시점으로 변경할 수 있다.
도 14b를 참조하면, 상기 전자 장치는 상기 제1 입력(1410)이 유지되는 동안 상기 현재 시점에서 상기 제1 입력(1410)에 의해 선택된 상기 해당 오브젝트(1430c)의 시점으로 상기 시점 계층이 변경된 상기 가상 이동 시점에서 획득된 제2 영상 데이터 또는 상기 제2 영상 데이터에 기반하여 생성된 제2 가상 영상 데이터(1400b)를 상기 전자 장치의 디스플레이 상에 표시할 수 있다.
예를 들어, 상기 현재 시점에서 획득되거나 생성된 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터(1400a)를 디스플레이 하는 도중, 사용자가 상기 적어도 하나의 오브젝트(1430a 내지 1430d) 중 하나(예: 제3 사람(1430c))에 대해 제1 입력(1410)을 발생시키면, 상기 전자 장치는 상기 제1 입력(1410)이 유지되는 동안 상기 현재 시점에서 상기 해당 오브젝트(1430c)의 시점에 대응되는 상기 가상 이동 시점으로 상기 시점 계층이 전환되고, 상기 전환된 가상 이동 시점에서 획득되거나 생성된 상기 제2 영상 데이터 또는 상기 제2 가상 영상 데이터(1400b)를 상기 디스플레이 상에 표시할 수 있다.
또한, 상기 전자 장치는 상기 가상 이동 시점에서 획득되거나 생성된 상기 제2 영상 데이터 또는 상기 제2 가상 영상 데이터(1400b)를 디스플레이 하는 도중, 상기 제1 입력(1410)이 해제되면 원래의 상기 현재 시점으로 복귀되어 상기 현재 시점에서 획득되거나 생성된 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터(1400a)(도 14a 참조)가 표시될 수 있다.
또한, 상기 전자 장치는 상기 제1 입력(1410)이 유지되는 동안 상기 가상 이동 시점에서 획득되거나 생성된 상기 제2 영상 데이터 또는 상기 제2 가상 영상 데이터(1400b)가 표시되는 도중, 상기 제1 입력(1410)과 다른 추가적인 입력(예: 제2 입력)(미도시)이 입력되면, 상기 제1 입력(1410)에 대응되는 상기 가상 이동 시점이 유지되도록 고정할 수 있다. 예를 들어, 상기 제2 입력은 상기 디스플레이 화면 중 어느 한 지점에 대응되는 입력일 수 있으며, 상기 제1 입력(1410)에 대응하여 상기 시점 계층이 상기 현재 시점에서 상기 해당 오브젝트(1430c)의 시점으로 이동된 상기 가상 이동 시점에서 획득된 상기 제2 영상 데이터 또는 상기 제2 가상 영상 데이터(1400b)가 표시되는 동안 상기 제2 입력이 발생되면, 상기 제1 입력(1410) 및 상기 제2 입력(미도시)을 계속 유지하지 않더라도 상기 제1 입력(1410)이 유지되도록 상기 가상 이동 시점을 고정할 수 있다. 즉, 상기 전자 장치는 상기 제1 입력(1410) 및 상기 제2 입력(미도시)을 계속 유지하지 않더라도 상기 가상 이동 시점에서 획득되거나 생성된 상기 제2 영상 데이터 또는 상기 제2 가상 영상 데이터(1400b)를 상기 디스플레이 상에 계속 표시할 수 있다.
도 14c를 참조하면, 다양한 실시예에 따른 전자 장치는 현재 시점에서 획득된 제1 영상 데이터 또는 상기 제1 영상 데이터에 기반하여 생성된 제1 가상 영상 데이터(미도시)를 디스플레이 하는 동안 상기 전자 장치의 입력 센서(예: 입력 센서(420)의 터치 센서(421) 또는 압력 센서(425))를 통해 사용자에 의해 상기 디스플레이 화면 중 일 지점에서 발생된 제1 입력(1410)이 검출되면, 상기 제1 입력(1410)에 대응하여 가상 이동 시점으로 변경할 수 있다.
예를 들어, 도 14c에서는 상기 현재 시점에서 획득되거나 생성된 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터(미도시)를 디스플레이 하는 동안, 사용자에 의해 상기 디스플레이 화면 상의 일 지점에 사용자에 의한 제1 입력(1410) 이 검출되면, 상기 전자 장치는 상기 제1 입력(1410)이 유지되는 동안 상기 전자 장치의 상기 현재 시점으로부터 상기 제1 입력(1410)에 대응하는 전지적 시점으로 시점 계층이 가상으로 이동된 상기 가상 이동 시점으로 변경할 수 있다. 상기 전자 장치는 상기 변경된 가상 이동 시점, 예를 들어, 상기 전지적 시점에서 획득된 제2 영상 데이터 또는 상기 제2 영상 데이터에 기반하여 생성된 제2 가상 영상 데이터(1400c)를 상기 디스플레이 상에 표시할 수 있다.
도 15a 내지 15e는 다양한 실시예에 따른 전자 장치의 사용자 인터페이스 화면들이다. 15a내지 15e에 도시된 입력은 압력 입력을 나타낼 수 있으며, 상기 압력 입력의 레벨, 즉 강도(세기)에 대응하여 상기 가상 이동 시점의 뎁스(depth)(예: 시점 계층 또는 투명도나 색상)를 조절할 수 있다.
도 15a를 참조하면, 다양한 실시예에 따른 전자 장치(예: 전자 장치(401))는 가상 현실(VR) 또는 증강 현실(AR)과 같은 리얼리티 서비스와 관련된 어플리케이션 실행 시, 현재 시점에서 획득된 제1 영상 데이터 또는 상기 제1 영상 데이터에 기반하여 생성된 제1 가상 영상 데이터(1500a)를 상기 전자 장치의 디스플레이(예: 디스플레이(440)) 상에 표시할 수 있다. 상기 전자 장치는 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터(1500a) 내 적어도 하나의 오브젝트(예: 건물(1501))를 인식할 수 있다. 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터(1500a)는 상기 인식된 적어도 하나의 오브젝트(1501)와 관련된 정보(예: 명칭, 크기, 높이, 면적, 용도, 층수, 이용 안내 또는 그 조합 중 적어도 하나)를 표시하는 영역(1550)을 포함할 수 있다. 상기 전자 장치는 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터(1500a)를 디스플레이 하는 동안, 사용자에 의해 상기 인식된 각 오브젝트(1501)에 대한 제1 입력(1510)이 발생되면, 상기 제1 입력(1510)에 대응하여 가상 이동 시점으로 변경할 수 있다.
도 15b 및 15c를 참조하면, 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터(1500a)(도 15a 참조) 내 인식된 적어도 하나의 오브젝트들 중 어느 하나의 오브젝트(예: 건물(1501))에 대응하는 상기 제1 입력(1510)이 입력되면, 상기 제1 입력(1510)이 유지되는 동안 상기 제1 입력(1510)에 대응하여 상기 현재 시점에서 상기 해당 오브젝트(1501)의 시점으로 시점 계층이 이동된 가상 이동 시점으로 변경될 수 있다.
예들 들어, 도 15b에 도시된 바와 같이, 상기 전자 장치는 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터(1500a)(도 15a 참조)가 디스플레이 되는 동안, 상기 오브젝트(1501)에 대응하는 상기 제1 입력(1510)이 입력되면, 상기 제1 입력(1510)이 유지되는 동안 상기 제1 입력(1510)의 레벨에 대응하여 상기 해당 오브젝트(1501)에 대한 시점이 상기 현재 시점으로부터 해당 레벨에 대응하는 뎁스만큼 시점 계층이 변경된 제1 가상 이동 시점에서 획득된 제2 영상 데이터 또는 상기 제2 영상 데이터에 기반하여 생성된 제2 가상 영상 데이터(1500b)를 상기 디스플레이 상에 표시할 수 있다.
일 실시예에서, 도 15b에 도시된 상기 제1 입력(1510)의 레벨이 제1 레벨인 경우 상기 제1 레벨에 대응하여 제1 뎁스만큼 상기 오브젝트(1501)에 대한 시점 계층이 상기 현재 시점으로부터 1단계 내부로 가상으로 이동된 상기 제1 가상 이동 시점으로 변경될 수 있다. 상기 제1 뎁스는 예를 들어, 상기 현재 시점으로부터 1단계 내부로 가상으로 이동된 시점 계층으로 미리 설정될 수 있다. 예를 들어, 상기 제2 영상 데이터 또는 상기 제2 가상 영상 데이터(1500b)는 상기 시점 계층이 상기 현재 시점으로부터 1 뎁스만큼 내부로 가상으로 이동된 상기 제1 가상 이동 시점에서 획득되거나 생성된 영상 데이터일 수 있다. 상기 제1 가상 이동 시점에서 획득되거나 생성된 상기 제2 영상 데이터 또는 상기 제2 가상 영상 데이터(1500b)는 상기 전자 장치의 메모리(예: 메모리(450)) 또는 적어도 하나의 외부 전자 장치(예: 3D 맵 서버 또는 BIM 서버) 중 적어도 하나로부터 획득된 정보일 수 있으며, 상기 획득된 정보는 상기 해당 오브젝트(1501)(예: Apt. 1)에 대한 BIM 정보 또는 인 도어 맵 정보 중 적어도 하나를 포함할 수 있다. 도 15b에서, 상기 제2 영상 데이터 또는 상기 제2 가상 영상 데이터(1500b)는 상기 오브젝트(1501)에 대한 정보로서, 예를 들어 상기 오브젝트(1501)(예: Apt. 1)의 내부 구조도가 상기 디스플레이 상에 표시될 수 있다.
도 15c에 도시된 바와 같이, 상기 전자 장치는 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터(1500a)(도 15a 참조)가 디스플레이 되는 동안, 상기 오브젝트(1501)에 대응하는 상기 제1 입력(1510)이 입력되면, 상기 제1 입력(1510)이 유지되는 동안 상기 제1 입력(1510)의 레벨에 대응하여 해당 오브젝트(1501)에 대한 시점이 상기 현재 시점으로부터 해당 레벨에 대응하는 뎁스만큼 시점 계층이 변경된 제2 가상 이동 시점에서 획득된 제3 영상 데이터 또는 상기 제3 영상 데이터에 기반하여 생성된 제3 가상 영상 데이터(1500c)가 상기 디스플레이 상에 표시할 수 있다.
일 실시예에서, 도 15c에 도시된 상기 제1 입력(1510)의 레벨이 도 15b에 도시된 상기 제1 입력(1510)의 레벨(예: 제1 레벨)보다 큰 레벨(예: 제2 레벨)인 경우, 상기 제2 레벨에 대응하여 제2 뎁스만큼 상기 오브젝트(1501)에 대한 시점 계층이 상기 현재 시점으로부터 2단계 내부로 가상으로 이동된 상기 제2 가상 이동 시점으로 변경될 수 있다. 상기 제2 뎁스는 예를 들어, 상기 제1 가상 이동 시점으로부터 1단계 내부로 가상으로 이동된 시점 계층으로 미리 설정될 수 있다. 예를 들어, 도 15c에 도시된 상기 제3 영상 데이터 또는 상기 제3 가상 영상 데이터(1500c)는 상기 시점 계층이 상기 현재 시점으로부터 2 뎁스만큼 내부로 가상으로 이동된 상기 제2 가상 이동 시점에서 획득되거나 생성된 영상 데이터일 수 있다. 상기 제2 가상 이동 시점에서 획득된 상기 제3 영상 데이터 또는 상기 제3 가상 영상 데이터(1500c)는 상기 전자 장치의 메모리 또는 상기 적어도 하나의 외부 전자 장치(예: 3D 맵 서버 또는 BIM 서버) 중 적어도 하나로부터 획득된 정보일 수 있으며, 상기 획득된 정보는 상기 해당 오브젝트(1501)(예: Apt. 1)에 대한 BIM 정보 또는 인 도어 맵 정보 중 적어도 하나를 포함할 수 있다. 도 15c에서, 상기 제3 영상 데이터 또는 상기 제3 가상 영상 데이터(1500c)는 상기 오브젝트(1501)에 대한 정보로서, 예를 들어 상기 오브젝트(1501)(Apt. 1)의 실제 내부 사진이 상기 디스플레이 상에 표시될 수 있다.
도 15b 및 15c에서, 상기 제1 입력(1510)이 해제되면, 상기 전자 장치는 원래의 상기 현재 시점으로 복귀되어 상기 현재 시점에서 획득되거나 생성된 상가 제1 영상 데이터 또는 상기 제1 가상 영상 데이터(1500a)(도 15a 참조)를 상기 디스플레이 상에 표시할 수 있다.
도 15b 및 15c에서, 상기 제1 입력(1510)의 레벨에 따라 상기 제1 입력(1510)이 단계적으로 또는 연속적으로 입력되면, 상기 전자 장치는 예를 들어 상기 제2 가상 이동 시점에서 획득되거나 생성된 영상 데이터(예: 제3 영상 데이터 또는 제3 가상 영상 데이터(1510c))(도 15c 참조)로부터 상기 제1 가상 이동 시점에서 획득된 영상 데이터(예: 제2 영상 데이터 또는 제2 가상 영상 데이터(1510b))(도 15b 참조)로, 또는 그 반대로 상기 디스플레이 상에 단계적으로 또는 연속적으로 표시할 수 있다. 또한, 상기 제1 입력(1510)의 레벨에 따라 상기 제1 입력(1510)이 단계적으로 또는 연속적으로 해제되면, 상기 전자 장치는 상기 제1 입력(1510)의 레벨에 따라 상기 제2 가상 이동 시점에서의 상기 제3 영상 데이터 또는 상기 제3 가상 영상 데이터(1500c)(도 15c 참조)로부터 상기 제1 가상 이동 시점에서의 상기 제2 영상 데이터 또는 상기 제2 가상 영상 데이터(1500b)(도 15b 참조)를 거쳐 원래의 상기 현재 시점으로 복귀되어 상기 현재 시점에서 획득되거나 생성된 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터(1500a)(도 15a 참조)로 단계적으로 또는 연속적으로 상기 디스플레이 상에 표시할 수 있다.
도 15d 및 15e를 참조하면, 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터(1500a)(도 15a 참조) 내 인식된 적어도 하나의 오브젝트들 중 어느 하나의 오브젝트(예: 건물(1501))에 대응하는 상기 제1 입력(1510)이 입력되면, 상기 제1 입력(1510)이 유지되는 동안 상기 제1 입력(1510)에 대응하여 상기 현재 시점에서 상기 해당 오브젝트(1501)의 투명도 또는 색상 중 적어도 하나가 변경된 가상 이동 시점으로 변경될 수 있다.
예를 들어, 도 15d에 도시된 바와 같이, 상기 전자 장치는 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터(1500a)(도 15a 참조)가 디스플레이 되는 동안, 상기 오브젝트(1501)에 대응하는 상기 제1 입력(1510)이 입력되면, 상기 제1 입력(1510)이 유지되는 동안 상기 제1 입력(1510)의 레벨에 대응하여 해당 오브젝트(1510)에 대한 투명도 또는 색상 중 적어도 하나가 현재 시점으로부터 해당 레벨에 대응하는 뎁스만큼 변경된 제1 가상 이동 시점에서 획득된 제4 영상 데이터 또는 상기 제4 영상 데이터에 기반하여 생성된 제4 가상 영상 데이터의 적어도 일부(1500d)가 상기 디스플레이 상에 투명하게 표시되거나 특정 색상으로 표시할 수 있다.
일 실시예에서, 도 15d에 도시된 상기 제1 입력(1510)의 레벨이 제1 레벨인 것으로 가정하였으며, 이 경우 상기 전자 장치는 상기 제1 레벨에 대응하여 제1 뎁스만큼 상기 오브젝트(1501)에 대한 투명도 또는 색상이 상기 현재 시점으로부터 1단계 변경된 상기 제1 가상 이동 시점으로 변경할 수 있다. 상기 제1 뎁스는 예를 들어, 상기 현재 시점으로부터 상기 제1 뎁스에 대응되는 상기 오브젝트(1501)의 일부(예: 제1 영역(1550a))의 투명도 또는 색상 중 적어도 하나가 변경된 시점으로 미리 설정될 수 있다. 예를 들어, 상기 제1 영역(1550a)은 제1 배관(예: 수도관)일 수 있다. 예를 들어, 상기 제4 영상 데이터 또는 상기 제4 가상 영상 데이터의 적어도 일부(1500d)는 상기 해당 오브젝트(1501)의 제1 영역(1550a)의 투명도 또는 색상 중 적어도 하나가 상기 현재 시점으로부터 1 뎁스만큼 변경된 상기 제1 가상 이동 시점에서 획득되거나 생성된 영상 데이터의 적어도 일부일 수 있다.
도 15e에 도시된 바와 같이, 상기 전자 장치는 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터(1500a(도 15a 참조)가 디스플레이 되는 동안, 상기 오브젝트(1501)에 대응하는 상기 제1 입력(1510)이 입력되면, 상기 제1 입력(1510)이 유지되는 동안 상기 제1 입력(1510)의 레벨에 대응하여 해당 오브젝트(1510)에 대한 투명도 또는 색상 중 적어도 하나가 현재 시점으로부터 해당 레벨에 대응하는 뎁스만큼 변경된 제2 가상 이동 시점에서 획득된 제5 영상 데이터 또는 상기 제5 영상 데이터에 기반하여 생성된 제5 가상 영상 데이터의 적어도 일부(1500e)가 상기 디스플레이 상에 투명하게 표시하거나 특정 색상으로 표시할 수 있다.
일 실시예에서, 도 15e에 도시된 상기 제1 입력(1510)의 레벨이 도 15d에 도시된 상기 제1 입력(1510)의 레벨(예: 제1 레벨)보다 큰 레벨(예: 제2 레벨)인 것으로 가정하였으며, 이 경우 상기 전자 장치는 상기 제2 레벨에 대응하여 제2 뎁스만큼 상기 오브젝트(1501)에 대한 투명도 또는 색상이 상기 현재 시점으로부터 2단계 변경된 상기 제2 가상 이동 시점으로 변경할 수 있다. 상기 제2 뎁스는 예를 들어, 상기 현재 시점으로부터 상기 제2 뎁스에 대응되는 상기 오브젝트(1501)의 일부(예: 제2 영역(1550b))의 투명도 또는 색상 중 적어도 하나가 변경된 시점으로 미리 설정될 수 있다. 예를 들어, 상기 제2 영역(1550b)는 제2 배관(예: 가스관)일 수 있다. 예를 들어, 상기 제5 영상 데이터 또는 상기 제5 가상 영상 데이터의 적어도 일부(1500e)는 상기 해당 오브젝트(1501)의 제2 영역(1550b)의 투명도 또는 색상 중 적어도 하나가 상기 현재 시점으로부터 2 뎁스만큼 변경된 상기 제2 가상 이동 시점에서 획득되거나 생성된 영상 데이터의 적어도 일부일 수 있다.
일 실시예에 따르면, 상기 제1 입력(1510)의 상기 제2 레벨에 대응하여 표시되는 상기 오브젝트(1501)의 상기 제2 영역(1550b)은 상기 제1 입력(1510)의 상기 제1 레벨에 대응하여 표시되는 상기 오브젝트(1501)의 상기 제 1 영역(1550a)(도 15d 참조)보다 상세하거나 구체적인 영역을 표시하도록 구성될 수도 있다.
도 15d 및 15e에서, 상기 제1 입력(1510)이 해제되면, 상기 전자 장치는 원래의 상기 현재 시점으로 복귀되어 상기 현재 시점에서 획득된 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터(1500a)(도 15a 참조)를 상기 디스플레이 상에 표시할 수 있다.
도 15d 및 15e에서, 상기 제1 입력(1510)의 레벨에 따라 상기 제1 입력(1510)이 단계적으로 또는 연속적으로 입력되면, 상기 전자 장치는 예를 들어 상기 제2 가상 이동 시점에서 획득되거나 생성된 영상 데이터(예: 도 15e에 도시된 제5 영상 데이터 또는 제5 가상 영상 데이터의 적어도 일부(1500e))로부터 상기 제1 가상 이동 시점에서 획득된 영상 데이터(예: 도 15d에 도시된 제4 영상 데이터 또는 제4 가상 영상 데이터(1500d))로, 또는 그 반대로 상기 디스플레이 상에 단계적으로 또는 연속적으로 표시할 수 있다. 또한, 상기 제1 입력(1510)의 레벨에 따라 상기 제1 입력(1510)이 단계적으로 또는 연속적으로 해제되면, 상기 전자 장치는 상기 제1 입력(1510)의 레벨에 따라 상기 제2 가상 이동 시점에서의 상기 제5 영상 데이터 또는 상기 제5 가상 영상 데이터의 적어도 일부(1500e)(도 15e 참조)로부터 상기 제1 가상 이동 시점에서의 상기 제4 영상 데이터 또는 상기 제4 가상 영상 데이터의 적어도 일부(1500d)(도 15d 참조)를 거쳐 원래의 상기 현재 시점으로 복귀되어 상기 현재 시점에서 획득되거나 생성된 상기 제1 영상 데이터 또는 상기 제1 가상 영상 데이터(1500a)(도 15a 참조)로 단계적으로 또는 연속적으로 상기 디스플레이 상에 표시할 수 있다.
도 15a 내지 15e에서, 상기 입력(예: 제1 입력(1510))은 압력 입력인 것으로 설명하였으나, 이에 한정되는 것은 아니며 터치 입력, 스와이프 입력, 드래그 입력 또는 드래그 앤 드롭 입력 등을 포함하는 다양한 타입의 입력을 모두 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은, 예를 들면, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은, 예를 들면, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component), 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면,"모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(120))에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리(130)가 될 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM(compact disc read only memory), DVD(digital versatile disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM(read only memory), RAM(random access memory), 또는 플래시 메모리 등) 등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
다양한 실시예에 따르면, 명령들을 저장하고 있는 저장 매체에 있어서, 상기 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, 이미지 센서를 이용하여 영상 데이터를 획득하는 동작, 상기 이미지 센서를 이용하여 획득된 영상 데이터를 디스플레이에 표시하는 동작, 상기 표시된 영상 데이터 내의 일 지점으로 입력되는 입력을 판단하는 동작 및 상기 입력에 대응되는 미리 획득된 영상 데이터를 상기 디스플레이에 표시하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 명령들을 저장하고 있는 저장 매체에 있어서, 상기 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, 영상 데이터를 획득하는 동작, 상기 획득된 영상 데이터에 기반하여 상기 전자 장치의 현재 시점을 결정하는 동작, 상기 결정된 현재 시점에서 생성된 제1 가상 영상을 디스플레이 하는 동안 입력이 검출되면, 상기 검출된 입력에 대응하는 상기 전자 장치의 가상 이동 시점을 결정하는 동작 및 상기 결정된 가상 이동 시점에서 생성된 제2 가상 영상을 디스플레이 하는 동작을 포함할 수 있다.
본 문서에 개시된 실시예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 문서에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 문서의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시예를 포함하는 것으로 해석되어야 한다.
101: 전자 장치 110: 버스
120: 프로세서 130: 메모리
150: 입출력 인터페이스 160: 디스플레이
170: 통신 인터페이스

Claims (31)

  1. 전자 장치에 있어서,
    제1 방향으로 향하는 제1 표면 및 상기 제1 방향과 반대인 제2 방향으로 향하는 제2 표면을 포함하는 하우징;
    상기 제1 표면 및 상기 제2 표면 사이에 배치되며, 상기 제1 표면을 통해 노출된 터치스크린 디스플레이;
    상기 제1 표면 및 상기 제2 표면 사이에 배치되며, 상기 터치스크린 디스플레이에 대해 외부 오브젝트에 의한 압력을 검출하도록 구성된 압력 센서;
    상기 제2 표면을 통해 노출되도록 배치된 이미지 센서;
    상기 하우징 내부에 배치된 무선 통신 회로;
    상기 터치스크린 디스플레이, 상기 압력 센서, 상기 이미지 센서 및 상기 무선 통신 회로에 전기적으로 연결된 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 전기적으로 연결된 메모리를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 터치스크린 디스플레이 상에 사용자 인터페이스를 디스플레이하고, 상기 사용자 인터페이스는 상기 이미지 센서로부터의 데이터의 적어도 일부에 기반하여, 이미지 및/또는 비디오를 나타내도록 구성되며,
    상기 터치스크린 디스플레이를 통해 상기 이미지 및/또는 비디오 내 오브젝트에 대한 터치 입력을 검출하고,
    상기 사용자 인터페이스 상에 상기 오브젝트와 관련된 정보를 디스플레이하고,
    상기 이미지 및/또는 비디오를 디스플레이하는 동안, 상기 압력 센서를 이용하여 상기 터치스크린 디스플레이에 대한 외부 오브젝트에 의한 압력을 검출하고,
    상기 검출된 압력의 적어도 일부에 기반하여, 상기 이미지 센서에 대한 주밍(zooming) 동작을 수행하도록 하는 인스트럭션들을 저장하는 것을 특징으로 하는 전자 장치.
  2. 제1항에 있어서,
    상기 인스트럭션들은 상기 프로세서가,
    상기 터치스크린 디스플레이 또는 압력 센서 중 적어도 하나를 이용하여, 상기 사용자 인터페이스 상에 상기 압력의 위치를 판단하고,
    상기 판단된 위치 및/또는 상기 검출된 압력의 적어도 일부에 기반하여, 상기 주밍 동작을 수행할지 또는 상기 무선 통신 회로를 이용하여 외부 이미지 또는 비디오를 수신할지 여부를 판단하도록 하는 것을 특징으로 하는 전자 장치.
  3. 제2항에 있어서,
    상기 인스트럭션들은 상기 프로세서가,
    상기 판단된 위치가 상기 디스플레이된 이미지 및/또는 비디오에서 선택된 범위 내에서 있으면, 상기 주밍 동작을 수행하고,
    상기 판단된 위치가 상기 선택된 범위 밖에 있으면, 상기 외부 이미지 또는 비디오를 수신하도록 하는 것을 특징으로 하는 전자 장치.
  4. 제2항에 있어서,
    상기 인스트럭션들은 상기 프로세서가,
    상기 검출된 압력이 임계 레벨 미만이면 상기 주밍 동작을 수행하고,
    상기 검출된 압력이 임계 레벨 이상이면 상기 외부 이미지 또는 비디오를 수신하도록 는 것을 특징으로 하는 전자 장치.
  5. 제2항에 있어서,
    상기 인스트럭션들은 상기 프로세서가,
    상기 무선 통신 회로를 이용하여 상기 외부 이미지 또는 비디오를 수신하고,
    상기 이미지 센서로부터의 데이터의 적어도 일부에 기반하여 제시된 상기 외부 이미지 및/또는 비디오의 적어도 일부를 대신하기 위해 상기 외부 이미지 또는 비디오를 디스플레이하도록 하는 것을 특징으로 하는 전자 장치.
  6. 전자 장치에 있어서,
    제1 방향으로 향하는 제1 표면 및 상기 제1 방향과 반대인 제2 방향으로 향하는 제2 표면을 포함하는 하우징;
    상기 제1 표면 및 상기 제2 표면 사이에 배치되며, 상기 제1 표면을 통해 노출된 터치스크린 디스플레이;
    상기 제2 표면을 통해 노출되도록 배치된 이미지 센서;
    상기 하우징 내부에 배치된 무선 통신 회로;
    상기 터치스크린 디스플레이, 상기 이미지 센서 및 상기 무선 통신 회로에 전기적으로 연결된 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 전기적으로 연결된 메모리를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 터치스크린 디스플레이 상에 사용자 인터페이스를 디스플레이하고, 상기 사용자 인터페이스는 상기 이미지 센서로부터의 데이터의 적어도 일부에 기반하여, 이미지 및/또는 비디오를 나타내도록 구성되며,
    상기 터치스크린 디스플레이를 통해 상기 이미지 및/또는 비디오 내 오브젝트에 대한 제1 입력을 검출하고,
    상기 사용자 인터페이스 상에 상기 오브젝트와 관련된 정보를 디스플레이하고,
    상기 이미지 및/또는 비디오를 디스플레이 하는 동안, 제2 입력을 검출하고,
    상기 제2 입력에 응답하여, 상기 이미지 센서에 대한 주밍 동작을 수행하도록 하는 인스트력션들을 저장하는 것을 특징으로 하는 전자 장치.
  7. 제6항에 있어서,
    상기 인스트력션들은 상기 프로세서가,
    상기 터치스크린 디스플레이를 이용하여, 상기 사용자 인터페이스 상에 상기 제2 입력의 위치를 검출하고,
    상기 검출된 위치의 적어도 일부에 기반하여, 상기 주밍 동작을 수행할지 또는 상기 무선 통신 회로를 이용하여 외부 이미지 또는 비디오를 수신할지 여부를 판단하도록 하는 것을 특징으로 하는 전자 장치.
  8. 제7항에 있어서,
    상기 인스트력션들은 상기 프로세서가,
    상기 무선 통신 회로를 이용하여 외부 이미지 또는 비디오를 수신하고,
    상기 이미지 센서로부터의 데이터의 적어도 일부에 기반하여 제시된 상기 외부 이미지 및/또는 비디오를 교체하기 위해 상기 외부 이미지 또는 비디오를 디스플레이하도록 하는 것을 특징으로 하는 전자 장치.
  9. 전자 장치에 있어서,
    제1 방향으로 향하는 제1 표면 및 상기 제1 방향과 반대인 제2 방향으로 향하는 제2 표면을 포함하는 하우징;
    상기 제1 표면 및 상기 제2 표면 사이에 배치되며, 상기 제1 표면을 통해 노출된 터치스크린 디스플레이;
    상기 제1 표면 및 상기 제2 표면 사이에 배치되며, 상기 터치스크린 디스플레이에 대해 외부 오브젝트에 의한 압력을 검출하도록 구성된 압력 센서;
    상기 제2 표면을 통해 노출되도록 배치된 이미지 센서;
    상기 하우징 내부에 배치된 무선 통신 회로;
    상기 터치스크린 디스플레이, 상기 압력 센서, 상기 이미지 센서 및 상기 무선 통신 회로에 전기적으로 연결된 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 전기적으로 연결된 메모리를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 터치스크린 디스플레이 상에 사용자 인터페이스를 디스플레이하고, 상기 사용자 인터페이스는 상기 메모리에 저장 및/또는 상기 무선 통신 회로를 통해 수신된 이미지 및/또는 비디오를 나타내도록 구성되며,
    상기 터치스크린 디스플레이를 통해 상기 이미지 및/또는 비디오 내 오브젝트에 대한 터치 입력을 검출하고,
    상기 사용자 인터페이스 상에 상기 오브젝트와 관련된 정보를 디스플레이하고,
    상기 이미지 및/또는 비디오를 디스플레이 하는 동안, 상기 압력 센서를 이용하여 상기 터치스크린 디스플레이에 대한 외부 오브젝트에 의한 압력을 검출하고,
    상기 검출된 압력의 적어도 일부에 기반하여, 상기 이미지 및/또는 비디오와 관련된 시각 효과 동작을 수행하도록 하는 인스트력션들을 저장하는 것을 특징으로 하는 전자 장치.
  10. 제9항에 있어서,
    상기 시각 효과 동작은 상기 이미지 및/또는 비디오에 대한 주밍(zooming) 동작을 포함하는 것을 특징으로 하는 전자 장치.
  11. 제9항에 있어서,
    상기 시각 효과 동작은 상기 이미지 및/또는 비디오에 대해 디스플레이된 오브젝트의 투명도를 변경하는 동작을 포함하는 것을 특징으로 하는 전자 장치.
  12. 전자 장치에 있어서,
    영상 데이터를 획득하는 이미지 센서;
    하나의 이상의 외부 전자 장치로부터 상기 획득된 영상 데이터와 관련된 정보를 수신하는 통신 회로;
    상기 획득된 영상 데이터 또는 상기 획득된 영상 데이터와 관련된 정보 중 적어도 일부를 출력하는 디스플레이;
    적어도 하나의 입력을 검출하는 입력 센서; 및
    상기 획득된 영상 데이터에 기반하여 상기 전자 장치의 현재 시점을 결정하고, 상기 결정된 현재 시점에서 생성된 제1 가상 영상을 디스플레이 하는 동안 상기 입력이 검출되면, 상기 검출된 입력에 대응하는 상기 전자 장치의 가상 이동 시점을 결정하고, 상기 결정된 가상 이동 시점에서 생성된 제2 가상 영상을 디스플레이 하도록 구성된 프로세서를 포함하는 것을 특징으로 하는 전자 장치.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 영상 데이터가 획득된 상기 전자 장치의 위치를 검출하고, 상기 획득된 영상 데이터에서 상기 검출된 전자 장치의 위치에 대응되는 시점을 상기 전자 장치의 현재 시점으로 결정하는 것을 특징으로 하는 전자 장치.
  14. 제12항에 있어서,
    상기 프로세서는,
    상기 획득된 영상 데이터 내 적어도 하나의 제1 오브젝트를 인식하고,
    상기 인식된 적어도 하나의 제1 오브젝트와 관련된 제1 정보를 획득하고,
    상기 획득된 영상 데이터 또는 상기 획득된 적어도 하나의 제1 오브젝트와 관련된 제1 정보 중 적어도 일부에 기반하여 상기 현재 시점에 대응되는 상기 제1 가상 영상을 생성하고,
    상기 생성된 제1 가상 영상을 디스플레이 하는 것을 특징으로 하는 전자 장치.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 제1 가상 영상을 디스플레이하는 동안 상기 입력 센서로부터 상기 인식된 적어도 하나의 제1 오브젝트에 대응하는 입력이 검출되면, 상기 획득된 제1 정보에 기반하여 상기 적어도 하나의 제1 오브젝트의 속성을 변경하는 것을 특징으로 하는 전자 장치.
  16. 제15항에 있어서,
    상기 적어도 하나의 제1 오브젝트의 속성은 투명도를 포함하는 것을 특징으로 하는 전자 장치.
  17. 제12항에 있어서,
    상기 프로세서는,
    상기 현재 시점에서 생성된 상기 제1 가상 영상을 디스플레이 하는 동안 상기 입력 센서로부터 제1 입력이 검출되는지 여부를 판단하고,
    상기 제1 입력이 검출되면, 상기 검출된 제1 입력의 속성에 기반하여 상기 전자 장치의 가상 이동 시점을 결정하고,
    상기 현재 시점으로부터 상기 가상 이동 시점까지의 위치 변위량에 대응하는 상기 전자 장치의 위치 변위량을 산출하고,
    상기 산출된 전자 장치의 위치 변위량에 기반하여 상기 전자 장치의 가상 이동 위치를 검출하고,
    상기 검출된 전자 장치의 가상 이동 위치에서, 상기 이미지 센서 또는 상기 외부 전자 장치 중 적어도 하나로부터 영상 데이터를 획득하거나 수신하고,
    상기 검출된 전자 장치의 가상 이동 위치에서 상기 획득되거나 수신된 영상 데이터 내 적어도 하나의 제2 오브젝트를 인식하고,
    상기 인식된 적어도 하나의 제2 오브젝트와 관련된 제2 정보를 획득하고,
    상기 영상 데이터 또는 상기 인식된 적어도 하나의 제2 오브젝트와 관련된 제2 정보 중 적어도 일부에 기반하여 상기 가상 이동 시점에 대응되는 상기 제2 가상 영상을 생성하고,
    상기 생성된 제2 가상 영상을 디스플레이 하는 것을 특징으로 하는 전자 장치.
  18. 제17항에 있어서,
    상기 검출된 제1 입력의 속성은 입력 타입, 입력 위치, 입력 크기, 입력 강도/세기, 입력 유지 시간, 입력 횟수 또는 입력 방향 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 장치.
  19. 제17항에 있어서,
    상기 프로세서는 상기 제1 입력이 유지되는 동안 상기 제2 가상 영상을 디스플레이 하는 것을 특징으로 하는 전자 장치.
  20. 제17항에 있어서,
    상기 프로세서는 상기 제1 입력이 유지되지 않으면 상기 제1 가상 영상을 디스플레이하는 것을 특징으로 하는 전자 장치.
  21. 제17항에 있어서,
    상기 프로세서는,
    상기 가상 이동 시점에서 생성된 상기 제2가상 영상을 디스플레이 하는 동안 상기 입력 센서로부터 제2 입력이 검출되는지 여부를 판단하고,
    상기 제2 입력이 검출되면, 상기 검출된 제2 입력의 속성에 기반하여 상기 가상 이동 시점을 기준으로 방향이 변경된 가상 이동 변경 시점을 결정하고,
    상기 가상 이동 시점으로부터 상기 가상 방향 변경 시점까지의 상기 전자 장치의 자세 또는 방향의 변화량을 산출하여 상기 전자 장치의 가상 변경 자세 또는 가상 변경 방향 중 적어도 하나를 검출하고,
    상기 검출된 전자 장치의 가상 변경 자세 또는 가상 변경 방향 중 적어도 하나에 기반하여, 상기 이미지 센서 또는 상기 외부 전자 장치 중 적어도 하나로부터 영상 데이터를 획득하거나 수신하고,
    상기 검출된 전자 장치의 변경 자세 또는 변경 방향 중 적어도 하나에 기반하여 상기 획득되거나 수신된 상기 영상 데이터 내 적어도 하나의 제3 오브젝트를 인식하고,
    상기 인식된 적어도 하나의 제3 오브젝트와 관련된 제3 정보를 획득하고,
    상기 영상 데이터 또는 상기 인식된 적어도 하나의 제3 오브젝트와 관련된 제3 정보 중 적어도 일부에 기반하여 상기 가상 이동 변경 시점에 대응되는 제3 가상 영상을 생성하고,
    상기 생성된 제3 가상 영상을 디스플레이 하는 것을 특징으로 하는 전자 장치.
  22. 제20항에 있어서,
    상기 검출된 제2 입력의 속성은 입력 위치 또는 입력 방향 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 장치.
  23. 제17항에 있어서,
    상기 프로세서는,
    상기 가상 이동 시점에서 생성된 상기 제2가상 영상을 디스플레이 하는 동안 상기 입력 센서로부터 제2 입력이 검출되는지 여부를 판단하고,
    상기 제2 입력이 검출되면, 상기 가상 이동 시점을 고정하는 것을 특징으로 하는 전자 장치.
  24. 전자 장치의 제어 방법에 있어서,
    이미지 센서를 이용하여 영상 데이터를 획득하는 동작;
    상기 이미지 센서를 이용하여 획득된 영상 데이터를 디스플레이에 표시하는 동작;
    상기 표시된 영상 데이터 내의 일 지점으로 입력되는 입력을 판단하는 동작; 및
    상기 입력에 대응되는 미리 획득된 영상 데이터를 상기 디스플레이에 표시하는 동작을 포함하는 것을 특징으로 하는 방법.
  25. 전자 장치의 제어 방법에 있어서,
    영상 데이터를 획득하는 동작;
    상기 획득된 영상 데이터에 기반하여 상기 전자 장치의 현재 시점을 결정하는 동작;
    상기 결정된 현재 시점에서 생성된 제1 가상 영상을 디스플레이 하는 동안 입력이 검출되면, 상기 검출된 입력에 대응하는 상기 전자 장치의 가상 이동 시점을 결정하는 동작; 및
    상기 결정된 가상 이동 시점에서 생성된 제2 가상 영상을 디스플레이 하는 동작을 포함하는 것을 특징으로 하는 방법.
  26. 제25항에 있어서,
    상기 획득된 영상 데이터에 기반하여 상기 전자 장치의 현재 시점을 결정하는 동작은,
    상기 영상 데이터가 획득된 상기 전자 장치의 위치를 검출하는 동작; 및
    상기 획득된 영상 데이터에서 상기 검출된 전자 장치의 위치에 대응되는 시점을 상기 전자 장치의 현재 시점으로 결정하는 동작을 포함하는 것을 특징으로 하는 방법.
  27. 제25항에 있어서,
    상기 결정된 현재 시점에서 생성된 제1 가상 영상을 디스플레이하는 동작은,
    상기 획득된 영상 데이터 내 적어도 하나의 제1 오브젝트를 인식하는 동작;
    상기 인식된 적어도 하나의 제1 오브젝트와 관련된 제1 정보를 획득하는 동작;
    상기 획득된 영상 데이터 또는 상기 획득된 적어도 하나의 제1 오브젝트와 관련된 제1 정보 중 적어도 일부에 기반하여 상기 현재 시점에 대응되는 상기 제1 가상 영상을 생성하는 동작; 및
    상기 생성된 제1 가상 영상을 디스플레이 하는 동작을 포함하는 것을 특징으로 하는 방법.
  28. 제25항에 있어서,
    상기 전자 장치의 가상 이동 시점을 결정하는 동작은,
    상기 현재 시점에서 생성된 상기 제1 가상 영상을 디스플레이 하는 동안 상기 전자 장치의 입력 센서로부터 제1 입력이 검출되는지 여부를 판단하는 동작;
    상기 제1 입력이 검출되면, 상기 검출된 제1 입력의 속성에 기반하여 상기 전자 장치의 가상 이동 시점을 결정하는 동작을 포함하며,
    상기 검출된 제1 입력의 속성은 입력 타입 입력 강도/세기, 입력 유지 시간, 또는 입력 횟수 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
  29. 제25항에 있어서,
    상기 결정된 가상 이동 시점에서 생성된 제2 가상 영상을 디스플레이 하는 동작은,
    상기 현재 시점으로부터 상기 가상 이동 시점까지의 위치 변위량에 대응하는 상기 전자 장치의 위치 변위량을 산출하는 동작;
    상기 산출된 전자 장치의 위치 변위량에 기반하여 상기 전자 장치의 이동 위치를 검출하는 동작;
    상기 검출된 전자 장치의 이동 위치에서, 상기 이미지 센서 또는 상기 외부 전자 장치 중 적어도 하나로부터 영상 데이터를 획득하거나 수신하는 동작;
    상기 검출된 전자 장치의 이동 위치에서 상기 획득되거나 수신된 영상 데이터 내 적어도 하나의 제2 오브젝트를 인식하는 동작;
    상기 인식된 적어도 하나의 제2 오브젝트와 관련된 제2 정보를 획득하는 동작;
    상기 영상 데이터 또는 상기 인식된 적어도 하나의 제2 오브젝트와 관련된 제2 정보 중 적어도 일부에 기반하여 상기 가상 이동 시점에 대응되는 상기 제2 가상 영상을 생성하는 동작; 및
    상기 생성된 제2 가상 영상을 디스플레이 하는 동작을 포함하는 것을 특징으로 하는 방법.
  30. 제29항에 있어서,
    상기 가상 이동 시점에서 생성된 상기 제2가상 영상을 디스플레이 하는 동안 상기 전자 장치의 입력 센서로부터 제2 입력이 검출되는지 여부를 판단하는 동작; 및
    상기 제2 입력이 검출되면, 상기 검출된 제2 입력의 속성에 기반하여 상기 가상 이동 시점을 기준으로 변경된 가상 이동 변경 시점을 결정하는 동작을 더 포함하며,
    상기 검출된 제2 입력의 속성은 입력 위치 또는 입력 방향 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
  31. 제29항에 있어서,
    상기 가상 이동 시점으로부터 상기 가상 이동 변경 시점까지의 상기 전자 장치의 자세 또는 방향의 변화량을 산출하는 동작;
    상기 산출된 전자 장치의 자세 또는 방향의 변화량에 기반하여 상기 전자 장치의 변경 자세 또는 변경 방향 중 적어도 하나를 검출하는 동작;
    상기 검출된 전자 장치의 변경 자세 또는 변경 방향 중 적어도 하나에 기반하여, 상기 이미지 센서 또는 상기 외부 전자 장치 중 적어도 하나로부터 영상 데이터를 획득하거나 수신하는 동작;
    상기 검출된 전자 장치의 변경 자세 또는 변경 방향 중 적어도 하나에 기반하여 상기 획득되거나 수신된 상기 영상 데이터 내 적어도 하나의 제3 오브젝트를 인식하는 동작;
    상기 인식된 적어도 하나의 제3 오브젝트와 관련된 제3 정보를 획득하는 동작;
    상기 영상 데이터 또는 상기 인식된 적어도 하나의 제3 오브젝트와 관련된 제3 정보 중 적어도 일부에 기반하여 상기 가상 이동 변경 시점에 대응되는 제3 가상 영상을 생성하는 동작; 및
    상기 생성된 제3 가상 영상을 디스플레이 하는 동작을 더 포함하는 것을 특징으로 하는 방법.
KR1020160134819A 2016-10-18 2016-10-18 전자 장치 및 그의 제어 방법 KR102576654B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160134819A KR102576654B1 (ko) 2016-10-18 2016-10-18 전자 장치 및 그의 제어 방법
US15/784,435 US10911818B2 (en) 2016-10-18 2017-10-16 Electronic device and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160134819A KR102576654B1 (ko) 2016-10-18 2016-10-18 전자 장치 및 그의 제어 방법

Publications (2)

Publication Number Publication Date
KR20180042551A true KR20180042551A (ko) 2018-04-26
KR102576654B1 KR102576654B1 (ko) 2023-09-11

Family

ID=61904305

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160134819A KR102576654B1 (ko) 2016-10-18 2016-10-18 전자 장치 및 그의 제어 방법

Country Status (2)

Country Link
US (1) US10911818B2 (ko)
KR (1) KR102576654B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210032474A (ko) * 2018-09-29 2021-03-24 애플 인크. 오디오 통지들을 제공하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
WO2024029699A1 (ko) * 2022-08-04 2024-02-08 삼성전자 주식회사 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170371492A1 (en) * 2013-03-14 2017-12-28 Rich IP Technology Inc. Software-defined sensing system capable of responding to cpu commands
GB2568476B (en) * 2017-11-15 2020-02-19 Advanced Risc Mach Ltd Method of image production
JP2019102907A (ja) * 2017-11-30 2019-06-24 キヤノン株式会社 設定装置、設定方法、及びプログラム
JP6407460B1 (ja) * 2018-02-16 2018-10-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN108528341B (zh) * 2018-05-14 2020-12-25 京东方科技集团股份有限公司 用于演示车载抬头显示装置的功能的方法
CN109324736A (zh) * 2018-08-31 2019-02-12 阿里巴巴集团控股有限公司 局部放大图片的交互方法及装置
JP7267764B2 (ja) * 2019-02-08 2023-05-02 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
KR20210128091A (ko) * 2020-04-16 2021-10-26 삼성전자주식회사 스트리밍 시스템 및 인터렉티브 스트리밍 서비스 제공 방법
FR3121251B3 (fr) * 2021-03-23 2023-08-18 Timescope Procédé et système informatisés de navigation en réalités virtuelles et programme d’ordinateur

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100050103A (ko) * 2008-11-05 2010-05-13 엘지전자 주식회사 맵 상에서의 3차원 개체 제어방법과 이를 이용한 이동 단말기
KR20110118727A (ko) * 2009-02-24 2011-10-31 구글 인코포레이티드 스트리트 레벨 이미지들 간의 전환을 나타내는 시스템 및 방법
KR20130137064A (ko) * 2012-06-06 2013-12-16 삼성전자주식회사 내비게이션 정보를 제공하는 방법, 기계로 읽을 수 있는 저장 매체, 이동 단말 및 서버
KR20150020850A (ko) * 2013-08-19 2015-02-27 삼성전자주식회사 맵 화면을 디스플레이 하는 사용자 단말 장치 및 그 디스플레이 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5719944A (en) 1996-08-02 1998-02-17 Lucent Technologies Inc. System and method for creating a doppler effect
US6256043B1 (en) 1997-09-26 2001-07-03 Lucent Technologies Inc. Three dimensional virtual reality enhancement techniques
US6567085B1 (en) 1999-12-22 2003-05-20 Lucent Technologies Inc. Display techniques for three-dimensional virtual reality
JP5792424B2 (ja) * 2009-07-03 2015-10-14 ソニー株式会社 地図情報表示装置、地図情報表示方法およびプログラム
KR101572892B1 (ko) * 2010-05-06 2015-11-30 엘지전자 주식회사 이동 단말기 및 이것의 영상 디스플레이 방법
US9684989B2 (en) * 2010-06-16 2017-06-20 Qualcomm Incorporated User interface transition between camera view and map view
US9569066B2 (en) * 2011-10-03 2017-02-14 Google Inc. Interface for navigating imagery
US10191641B2 (en) * 2011-12-29 2019-01-29 Apple Inc. Device, method, and graphical user interface for navigation of information in a map-based interface
US8893164B1 (en) 2012-05-16 2014-11-18 Google Inc. Audio system
US9213422B2 (en) * 2012-08-13 2015-12-15 Google Inc. Method of automatically moving a cursor within a map viewport and a device incorporating the method
US10360246B2 (en) * 2013-05-20 2019-07-23 Tencent Technology (Shenzhen) Co., Ltd. Method, system, and apparatus for searching and displaying user generated content
KR101667727B1 (ko) * 2014-10-31 2016-10-28 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US9766712B2 (en) * 2016-01-14 2017-09-19 Google Inc. Systems and methods for orienting a user in a map display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100050103A (ko) * 2008-11-05 2010-05-13 엘지전자 주식회사 맵 상에서의 3차원 개체 제어방법과 이를 이용한 이동 단말기
KR20110118727A (ko) * 2009-02-24 2011-10-31 구글 인코포레이티드 스트리트 레벨 이미지들 간의 전환을 나타내는 시스템 및 방법
KR20130137064A (ko) * 2012-06-06 2013-12-16 삼성전자주식회사 내비게이션 정보를 제공하는 방법, 기계로 읽을 수 있는 저장 매체, 이동 단말 및 서버
KR20150020850A (ko) * 2013-08-19 2015-02-27 삼성전자주식회사 맵 화면을 디스플레이 하는 사용자 단말 장치 및 그 디스플레이 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210032474A (ko) * 2018-09-29 2021-03-24 애플 인크. 오디오 통지들을 제공하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
WO2024029699A1 (ko) * 2022-08-04 2024-02-08 삼성전자 주식회사 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법

Also Published As

Publication number Publication date
US20180109751A1 (en) 2018-04-19
US10911818B2 (en) 2021-02-02
KR102576654B1 (ko) 2023-09-11

Similar Documents

Publication Publication Date Title
KR102576654B1 (ko) 전자 장치 및 그의 제어 방법
US10289376B2 (en) Method for displaying virtual object in plural electronic devices and electronic device supporting the method
CN107807732B (zh) 用于显示图像的方法、存储介质和电子装置
KR102330829B1 (ko) 전자 장치에서 증강현실 기능 제공 방법 및 장치
KR20180095409A (ko) 전자 장치 및 전자 장치의 화면 표시 방법
KR20170031525A (ko) 디스플레이 사이의 각도를 측정하는 방법 및 이를 사용하는 전자 장치
KR20170005602A (ko) 증강현실 및 가상현실의 통합적 제공 방법 및 이를 사용하는 전자 장치
KR20170099157A (ko) 온도 정보를 제공하는 방법 및 이를 지원하는 전자 장치
KR20160062294A (ko) 지도 서비스를 제공하는 전자 장치 및 방법
CN108462818B (zh) 电子设备及用于在该电子设备中显示360度图像的方法
KR20160096422A (ko) 화면 표시 방법 및 전자 장치
KR20150099297A (ko) 전자장치의 화면 표시 방법
KR20170136920A (ko) 화면 출력 방법 및 이를 지원하는 전자 장치
KR20170122580A (ko) 그래픽 데이터를 합성하는 전자 장치 및 방법
KR20180013277A (ko) 그래픽 객체를 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
KR20170122056A (ko) 전자 장치 및 전자 장치의 디스플레이를 이용한 적응적 터치 입력 방법
KR20170137404A (ko) 어플리케이션을 전환하기 위한 방법 및 그 전자 장치
KR20170030349A (ko) 입력의 압력을 감지하는 전자 장치 및 그 동작 방법
KR102559407B1 (ko) 영상을 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
KR20170000618A (ko) 전자 장치 및 전자 장치의 파노라마 영상 표시 제어 방법
KR20170054746A (ko) 컨텐츠와 연관된 영역 선택 방법 및 전자장치
US20170154455A1 (en) Electronic device and method for displaying and generating panoramic image
KR20170009008A (ko) 이미지를 표시하는 전자 장치 및 그 제어 방법
KR20180086078A (ko) 전자 장치 및 전자 장치의 화면 표시 방법
KR20180009147A (ko) 압력 입력을 이용한 사용자 인터페이스 제공 방법 및 이를 구현한 전자 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant