KR20170034543A - 사용자 단말, 전자 장치 및 이들의 제어 방법 - Google Patents

사용자 단말, 전자 장치 및 이들의 제어 방법 Download PDF

Info

Publication number
KR20170034543A
KR20170034543A KR1020150132930A KR20150132930A KR20170034543A KR 20170034543 A KR20170034543 A KR 20170034543A KR 1020150132930 A KR1020150132930 A KR 1020150132930A KR 20150132930 A KR20150132930 A KR 20150132930A KR 20170034543 A KR20170034543 A KR 20170034543A
Authority
KR
South Korea
Prior art keywords
indicator
image
touch
electronic device
user
Prior art date
Application number
KR1020150132930A
Other languages
English (en)
Other versions
KR102413074B1 (ko
Inventor
이광용
정하욱
홍태화
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150132930A priority Critical patent/KR102413074B1/ko
Priority to US15/269,345 priority patent/US10802784B2/en
Priority to CN201680054665.8A priority patent/CN108027707B/zh
Priority to EP16848876.5A priority patent/EP3304273B1/en
Priority to PCT/KR2016/010455 priority patent/WO2017052150A1/en
Publication of KR20170034543A publication Critical patent/KR20170034543A/ko
Application granted granted Critical
Publication of KR102413074B1 publication Critical patent/KR102413074B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)

Abstract

사용자 단말, 전자 장치 및 이들의 제어 방법이 제공된다, 본 사용자 단말은 외부의 전자 장치와 통신을 수행하는 통신부, 영상을 디스플레이하고, 사용자의 터치 입력을 감지하는 터치 스크린 및 통신부를 통해 외부의 전자 장치로부터 수신된 영상을 디스플레이하도록 터치 스크린을 제어하고, 터치 스크린상에 디스플레이된 영상에 사용자 터치가 감지되면, 사용자 터치가 감지된 지점에 상기 영상에 포함된 오브젝트를 가리키는 지시자를 생성하여 디스플레이하도록 터치 스크린을 제어하며, 지시자에 대한 데이터를 외부의 전자 장치에 전송하도록 통신부를 제어하는 제어부를 포함한다.

Description

사용자 단말, 전자 장치 및 이들의 제어 방법{User terminal device, Electronic device, And Method for controlling the user terminal device and the electronic device thereof}
본 개시는 사용자 단말, 전자 장치 및 이들의 제어 방법에 관한 것으로, 더욱 상세하게는, 사용자 단말과 전자 장치가 영상을 공유하고, 사용자 단말이 공유된 영상 내에 지시자를 제공할 수 있는 사용자 단말, 전자 장치 및 이들의 제어 방법에 관한 것이다.
최근에는 사용자가 착용하여 가상 현실을 제공하는 전자 장치(예를 들어, HMD(Head Mounted Device)에 대한 관심 높아지고 있다. 예를 들어, HMD를 착용하면 사용자는 현실과는 완전 다른 가상의 세계에서 실감나는 입체적인 뷰를 보고 즐길 수 있다. 또한, 기존 2D 기반의 게임을 360도 뷰로 더욱 실감나는 게임을 즐길 수 있어, 게임 컨텐츠들을 시작으로 많은 VR 컨텐츠가 출시되고 있고, 뿐만 아니라, 가상 현실을 원격지와의 경험 공유를 하는 서비스로 원격 교육, 의료 등 다양한 분야에서 활용이 예상 된다.
사용자가 착용하여 3D 형태의 가상 현실을 제공하는 전자 장치는 크게 See-Through 타입과 See-Closed 타입으로 나뉘는데, See-Closed 타입은 현실과는 전혀 다른 가상의 공간에서만 다양한 경험을 할 수 있지만, See-Through 타입은 증강된 객체를 현실 공간에 투영해 현실에서 증강된 현실을 즐길 수 있다.
한편, 가상 현실을 제공하는 전자 장치는 외부의 사용자 단말과 연동하여 동작할 수 있다. 종래에는 가상 현실을 제공하는 전자 장치와 사용자 단말 사이에는 일방적인 정보 전송 및 인터렉션이 존재하였다. 즉, 종래에는 사용자 단말의 정보가 일방적으로 전자 장치로 전송되거나 전자 장치의 영상이 일방적으로 사용자 단말로 전송되었다.
즉, 종래에는 가상 현실을 제공하는 전자 장치와 사용자 단말 사이의 인터렉션이 불가능한 문제점이 존재하였다.
본 개시는 상술한 문제점을 해결하기 위해 안출된 것으로, 본 개시의 목적은 사용자 단말 및 전자 장치 사이의 양방향 통신을 통해 더욱 직관적이고 다양한 사용자 환경을 제공할 수 있는 사용자 단말, 전자 장치 및 이들의 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 개시의 일 실시예에 따른, 사용자 단말은. 외부의 전자 장치와 통신을 수행하는 통신부; 영상을 디스플레이하고, 사용자의 터치 입력을 감지하는 터치 스크린; 및 상기 통신부를 통해 상기 외부의 전자 장치로부터 수신된 영상을 디스플레이하도록 상기 터치 스크린을 제어하고, 상기 터치 스크린 상에 디스플레이된 영상에 사용자 터치가 감지되면, 상기 사용자 터치가 감지된 지점에 상기 영상에 포함된 오브젝트를 가리키는 지시자를 생성하여 디스플레이하도록 상기 터치 스크린을 제어하며, 상기 지시자에 대한 데이터를 상기 외부의 전자 장치에 전송하도록 상기 통신부를 제어하는 제어부;를 포함한다.
그리고, 상기 제어부는, 상기 촬영된 영상의 복수의 영상 프레임 및 상기 복수의 영상 프레임에 대응되는 카메라 포즈 데이터를 함께 수신하도록 상기 통신부를 제어할 수 있다.
또한, 상기 제어부는, 사용자 명령에 따라 상기 복수의 영상 프레임 중 하나를 선택하고, 상기 선택된 영상 프레임이 디스플레이되는 동안 사용자 터치가 감지되면, 상기 선택된 영상 프레임의 사용자 터치가 감지된 지점에 상기 지시자를 생성하여 디스플레이하도록 상기 터치 스크린을 제어하며, 상기 지시자에 대한 데이터 및 상기 선택된 영상 프레임에 대응되는 카메라 포즈 데이터를 함께 전송하도록 상기 통신부를 제어할 수 있다.
그리고, 상기 사용자 단말은, 2D 형태로 상기 촬영된 영상 및 지시자를 디스플레이하고, 상기 외부의 전자 장치는, 상기 지시자에 대한 데이터 및 상기 선택된 영상 프레임에 대응되는 카메라 포즈 데이터를 바탕으로 3D 형태로 상기 촬영된 영상 및 지시자를 디스플레이할 수 있다.
또한, 상기 제어부는, 상기 촬영된 영상 중 하나의 영상 프레임을 수신하도록 상기 통신부를 제어하며, 상기 외부의 전자 장치는, 상기 지시자에 대한 데이터 및 기저장된 상기 하나의 영상 프레임에 대응되는 카메라 포즈 데이터를 바탕으로 3D 형태로 상기 촬영된 영상 및 지시자를 디스플레이할 수 있다.
그리고, 상기 제어부는, 상기 사용자 터치의 터치 압력 및 터치 사이즈 중 적어도 하나에 따라 상기 지시자의 z 축 위치를 조절할 수 있다.
또한, 상기 제어부는, 상기 사용자 터치의 터치 압력 및 터치 사이즈 중 적어도 하나에 따라 상기 지시자의 두께를 조절할 수 있다.
그리고, 상기 제어부는, 사용자 터치를 바탕으로 기 저장된 지시자 모델 중 하나를 선택하며, 상기 사용자 터치가 감지된 지점에 상기 선택된 지시자 모델을 생성하여 디스플레이하도록 상기 터치 스크린을 제어할 수 있다.
또한, 상기 지시자에 대한 데이터는, 상기 지시자가 디스플레이될 위치의 좌표값, 상기 지시자의 형태, 상기 지시자의 크기 및 상기 지시자의 두께 중 적어도 하나를 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 개시의 일 실시예에 따른, 사용자 단말의 제어 방법은, 외부의 전자 장치에 의해 촬영된 영상을 수신하는 단계; 상기 영상을 디스플레이하는 단계; 상기 디스플레이된 영상에 사용자 터치가 감지되면, 상기 사용자 터치가 감지된 지점에 상기 영상에 포함된 오브젝트를 가리키는 지시자를 생성하여 디스플레이하는 단계; 및 상기 지시자에 대한 데이터를 상기 외부의 전자 장치에 전송하는 단계;를 포함한다.
그리고, 상기 수신하는 단계는, 상기 촬영된 영상의 복수의 영상 프레임 및 상기 복수의 영상 프레임에 대응되는 카메라 포즈 데이터를 함께 수신할 수 있다.
또한, 상기 디스플레이하는 단계는, 사용자 명령에 따라 상기 복수의 영상 프레임 중 하나를 선택하는 단계; 및 상기 선택된 영상 프레임이 디스플레이되는 동안 사용자 터치가 감지되면, 상기 선택된 영상 프레임의 사용자 터치가 감지된 지점에 상기 지시자를 생성하여 디스플레이하는 단계;를 포함하며, 상기 전송하는 단계는, 상기 지시자에 대한 데이터 및 상기 선택된 영상 프레임에 대응되는 카메라 포즈 데이터를 함께 전송할 수 있다.
그리고, 상기 사용자 단말은, 2D 형태로 상기 촬영된 영상 및 지시자를 디스플레이하고, 상기 외부의 전자 장치는, 상기 지시자에 대한 데이터 및 상기 선택된 영상 프레임에 대응되는 카메라 포즈 데이터를 바탕으로 3D 형태로 상기 촬영된 영상 및 지시자를 디스플레이할 수 있다.
또한, 상기 수신하는 단계는, 상기 촬영된 영상 중 하나의 영상 프레임을 수신하며, 상기 외부 전자 장치는, 상기 지시자에 대한 데이터 및 기저장된 상기 하나의 영상 프레임에 대응되는 카메라 포즈 데이터를 바탕으로 3D 형태로 상기 촬영된 영상 및 지시자를 디스플레이할 수 있다.
그리고, 상기 사용자 터치의 터치 압력 및 터치 사이즈 중 적어도 하나에 따라 상기 지시자의 z 축 위치를 조절하는 단계;를 포함할 수 있다.
또한, 상기 사용자 터치의 터치 압력 및 터치 사이즈 중 적어도 하나에 따라 상기 지시자의 두께를 조절하는 단계;를 포함할 수 있다.
그리고. 상기 디스플레이하는 단계는, 사용자 터치를 바탕으로 기 저장된 지시자 모델 중 하나를 선택하는 단계; 및 상기 사용자 터치가 감지된 지점에 상기 선택된 지시자 모델을 생성하여 디스플레이하는 단계;를 포함할 수 있다.
또한, 상기 지시자에 대한 데이터는, 상기 지시자가 디스플레이될 위치의 좌표값, 상기 지시자의 형태, 상기 지시자의 크기 및 상기 지시자의 두께 중 적어도 하나를 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 개시의 일 실시예에 따른, 전자 장치는, 영상을 촬영하는 촬영부; 상기 촬영된 영상을 3D 형태로 디스플레이하는 디스플레이부; 외부의 사용자 단말과 통신을 수행하는 통신부; 및 상기 촬영된 영상을 3D 형태로 디스플레이하는 동안 상기 촬영된 영상을 외부 사용자 단말로 전송하고, 상기 외부 사용자 단말로부터 상기 촬영된 영상에 포함된 오브젝트를 가리키는 지시자에 대한 데이터를 수신하도록 상기 통신부를 제어하며, 상기 지시자에 대한 데이터 및 카메라 포즈 데이터를 이용하여 상기 촬영된 영상 상에 상기 지시자를 3D 형태로 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함한다.
그리고, 상기 제어부는, 상기 촬영된 영상 중 특정 각도에서 촬영된 제1 영상 프레임을 상기 외부 사용자 단말로 전송하도록 상기 통신부를 제어하며, 상기 카메라 포즈 데이터는, 상기 제1 영상 프레임의 촬영될 때 획득될 수 있다.
또한, 상기 제어부는, 상기 촬영된 영상의 복수의 영상 프레임 및 복수의 영상 프레임에 대응되는 카메라 포즈 데이터를 상기 외부 사용자 단말로 전송하며, 상기 복수의 영상 프레임 중 선택된 제2 영상 프레임에 대응되는 카메라 포즈 데이터를 함께 수신하도록 상기 통신부를 제어할 수 있다.
그리고, 상기 지시자에 대한 데이터는, 상기 지시자가 디스플레이될 위치의 좌표값, 상기 지시자의 형태, 상기 지시자의 크기 및 상기 지시자의 두께 중 적어도 하나를 포함할 수 있다.
또한, 상기 전자 장치는, 헤드 마운트 디바이스(Head Mount Device)일 수 있다.
한편, 상기 목적을 달성하기 위한 본 개시의 일 실시예에 따른, 전자 장치의 제어 방법은, 영상을 촬영하는 단계; 상기 촬영된 영상을 3D 형태로 디스플레이하는 동안 상기 촬영된 영상을 외부 사용자 단말로 전송하는 단계; 상기 외부 사용자 단말로부터 상기 촬영된 영상에 포함된 오브젝트를 가리키는 지시자에 대한 데이터를 수신하는 단계; 상기 지시자에 대한 데이터 및 카메라 포즈 데이터를 이용하여 상기 촬영된 영상 상에 상기 지시자를 3D 형태로 디스플레이하는 단계;를 포함할 수 있다.
그리고, 상기 전송하는 단계는, 상기 촬영된 영상 중 특정 각도에서 촬영된 제1 영상 프레임을 상기 외부 사용자 단말로 전송하며, 상기 카메라 포즈 데이터는, 상기 제1 영상 프레임의 촬영될 때 획득될 수 있다.
또한, 상기 전송하는 단계는, 상기 촬영된 영상의 복수의 영상 프레임 및 복수의 영상 프레임에 대응되는 카메라 포즈 데이터를 상기 외부 사용자 단말로 전송하며, 상기 수신하는 단계는, 상기 복수의 영상 프레임 중 선택된 제2 영상 프레임에 대응되는 카메라 포즈 데이터를 함께 수신할 수 있다.
그리고, 상기 지시자에 대한 데이터는, 상기 지시자가 디스플레이될 위치의 좌표값, 상기 지시자의 형태, 상기 지시자의 크기 및 상기 지시자의 두께 중 적어도 하나를 포함할 수 있다.
또한, 상기 전자 장치는, 헤드 마운트 디바이스(Head Mount Device)일 수 있다.
상술한 바와 같은 본 개시의 다양한 실시예에 의해, 사용자 단말 및 HMD와 같은 가상 현실을 제공하는 전자 장치 사이에 다양한 인터렉션이 가능해 질 수 있게 되므로, 사용자에게 더욱 직관적이고 다양한 사용자 환경을 제공할 수 있게 된다.
도 1 은 본 개시의 일 실시예에 따른, 영상 제공 시스템을 도시한 도면,
도 2는 본 개시의 일 실시예에 따른, 사용자 단말의 구성을 간략히 도시한 블록도,
도 3은 본 개시의 일 실시예에 따른, 사용자 단말의 구성을 상세히 도시한 블록도,
도 4a 내지 도 7은 본 개시의 다양한 실시예에 따른, 사용자 터치에 따라 지시자를 생성하는 방법을 설명하기 위한 흐름도,
도 8은 본 개시의 일 실시예에 따른, 전자 장치의 구성을 도시한 블록도,
도 9a 및 도 9b는 본 개시의 일 실시예에 따른, 사용자의 위치에 따라 3D 형태로 보여지는 영상을 도시한 도면
도 10a 내지 도 13은 본 개시의 다양한 실시예에 따른, 3D 형태로 디스플레이되는 영상에 지시자를 3D 형태로 디스플레이하는 다양한 실시예를 설명하기 위한 도면,
도 14는 본 개시의 일 실시예에 따른, 사용자 단말의 제어 방법을 설명하기 위한 흐름도,
도 15는 본 개시의 일 실시예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도,
도 16은 본 개시의 일 실시예에 따른, 영상 제공 시스템의 영상 제공 방법을 설명하기 위한 시퀀스도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 개시의 실시 예에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 개시의 일 실시예에 따른, 영상 제공 시스템(10)을 도시한 도면이다. 도 1에 도시된 바와 같이, 영상 제공 시스템(10)은 사용자 단말(100) 및 전자 장치(200)를 포함한다. 이때, 사용자 단말(100)은 스마트 폰과 같은 2D 영상을 제공하는 장치일 수 있으며, 태블릿 PC, 노트북 PC, 스마트 TV, 데스크탑 PC 등과 같은 다양한 장치로 구현될 수 있다. 전자 장치(200)는 HMD와 같이, 사용자에게 착용되어 입체감 있는 3D 영상을 제공할 수 있는 장치일 수 있으며, 스마트 글래스와 같은 다양한 전자 장치로 구현될 수 있다.
전자 장치(200)는 카메라를 이용하여 사용자 전방의 영상을 촬영한다. 그리고, 전자 장치(200)는 촬영된 영상을 3D 형태로 디스플레이하며, 촬영된 영상 내에 AR 객체를 삽입하여 디스플레이할 수 있다. 즉, 전자 장치(200)는 사용자가 보고 있는 실제 환경에 가상 환경의 요소(예를 들어, AR 객체)를 삽입함으로써, 새로운 사용자 환경을 제공할 수 있다. 예를 들어, 제1 사용자가 전자 장치(200)를 착용하고 특정 공간을 바라고면, 전자 장치(200)는 특정 공간을 촬영하고, 촬영된 영상을 3D 형태로 디스플레이하며, 3D 형태의 영상에 가상의 AR 객체를 삽입할 수 있다.
또한, 전자 장치(200)는 카메라를 이용하여 사용자 전반을 촬영할 때, 카메라 포즈 데이터 역시 함께 획득할 수 있다.
그리고, 전자 장치(200)는 촬영된 영상을 디스플레이할 뿐만 아니라, 외부의 사용자 단말(100)에게 전송한다. 이때, 전자 장치(200)는 촬영된 영상의 모든 영상 프레임을 사용자 단말(100)에게 전송할 수 있으나, 이는 일 실시예에 불과할 뿐, 촬영된 영상 중 일부 영상 프레임만을 전송할 수 있다. 특히, 전자 장치(200)가 촬영된 영상의 복수의 영상 프레임을 사용자 단말(100)에게 전송하는 경우, 전자 장치(200)는 촬영된 영상의 복수의 영상 프레임뿐만 아니라 복수의 영상 프레임에 대응되는 카메라 포즈 데이터 역시 함께 전송할 수 있다. 또한, 전자 장치(200)가 촬영된 영상 중 하나의 영상 프레임만을 전송하는 경우, 전자 장치(200)는 하나의 영상 프레임만 전송할 수 있으며, 카메라 포즈 데이터 역시 함께 전송할 수 있다.
사용자 단말(100)은 전자 장치(200)로부터 전송된 영상을 디스플레이한다. 이때, 사용자 단말(100)은 전송된 영상을 2D 형태로 디스플레이할 수 있다. 또한, 전자 장치(200)가 복수의 영상 프레임을 전송할 경우, 사용자 단말(100)은 전자 장치(200)가 촬영한 영상을 실시간으로 동영상처럼 디스플레이할 수 있다. 또한, 전자 장치(200)가 촬영된 영상 중 하나의 프레임을 전송할 경우, 사용자 단말(100)은 전송된 하나의 프레임만을 디스플레이할 수 있다.
그리고, 수신된 영상에 대한 사용자 터치가 감지되면, 사용자 단말(100)은 사용자 터치가 감지된 지점에 수신된 영상에 포함된 오브젝트를 가리키는 지시자를 생성하여 디스플레이할 수 있다. 그리고, 사용자 단말(100)은 지시자에 대한 데이터를 외부의 전자 장치(200)로 전송할 수 있다. 이때, 지시자에 대한 데이터는, 지시자가 디스플레이될 좌표값, 지시자의 형태, 지시자의 크기 및 지시자의 두께 중 적어도 하나에 대한 정보를 포함할 수 있다.
특히, 복수의 영상 프레임이 전송된 경우, 복수의 영상 프레임 중 하나를 선택하고, 선택된 영상 프레임에 대한 사용자 터치가 감지되면, 사용자 단말(100)은 선택된 영상 프레임의 사용자 터치가 감지된 지점에 오브젝트를 가리키는 지시자를 생성하여 디스플레이할 수 있다. 그리고, 사용자 단말(100)은 지시자에 대한 데이터 및 선택된 영상 프레임에 대응되는 카메라 포즈 데이터를 함께 전자 장치(200)에게 전송할 수 있다.
그리고, 하나의 복수의 영상 프레임이 전송된 경우, 하나의 영상 프레임에 대한 사용자 터치가 감지되면, 사용자 단말(100)은 하나의 영상 프레임의 사용자 터치가 감지된 지점에 오브젝트를 가리키는 지시자를 생성하여 디스플레이할 수 있다. 그리고, 사용자 단말(100)은 지시자에 대한 데이터를 전자 장치(200)에게 전송할 수 있다.
그리고, 전자 장치(200)는 지시자에 대한 데이터 및 카메라 포즈 데이터를 바탕으로 3D 형태로 디스플레이되는 영상 상에 지시자 역시 3D 형태로 디스플레이할 수 있다.
예를 들어, 아빠는 사용자 단말(100)을 이용하고, 딸은 전자 장치(200)를 이용하여 영상통화를 하고 있다. 아빠는 사용자 단말(100)을 손에 들고 있고, 딸은 전자 장치(200)를 착용하고 있다. 아빠는 딸의 전자 장치(200)에서 찍히는 카메라 영상을 사용자 단말(100)로 스트리밍 되어 시청하고 있고, 딸은 사용자 단말(100)에서 찍히는 영상 통화의 아빠의 얼굴을 AR 객체로 자신의 방 벽에 투영되어 보고 있다. 이때, 딸은 자신의 방에서 고장난 세면대 배관을 고치고 싶어 한다. 영상 통화를 하면서 아빠에게 방법을 물어보고 아빠는 사용자 단말(100)로 스트리밍 된 딸의 방을 보면서 가이드를 준다. 사용자 단말(100)에서 보이는 영상에서 화면 터치를 하며 영상 속에 지시자를 생성한다. 화살표와 같은 지시자를 영상 속의 배관에 디스플레이하고, 아빠가 배관을 돌리고 맞추는 방향으로 지시자를 조작하면, 아빠의 사용자 단말(100)은 지시자를 전자 장치(200)에 전송한다. 전자 장치(200)는 촬영된 세면대 배관 영상 속에 화살표와 같은 지시자를 함께 생성하여 디스플레이할 수 있다. 딸은 전자 장치(200)에서 보이는 아빠의 가이드에 따라 배관을 성공적으로 수리할 수 있다
즉, 상술한 시나리오와 같이, 사용자 단말(100) 및 HMD와 같은 가상 현실을 제공하는 전자 장치(200) 사이에 다양한 인터렉션이 가능해 질 수 있게 되므로, 사용자에게 더욱 직관적이고 다양한 사용자 환경을 제공할 수 있게 된다.
이하에서는 도 2 내지 도 7을 참조하여 본 개시의 사용자 단말(100)에 대해 더욱 상세히 설명하도록 한다.
도 2는 본 개시의 일 실시예에 따른, 사용자 단말(100)의 구성을 간략히 나타내는 블록도이다. 도 2에 도시된 바와 같이, 사용자 단말(100)은 통신부(110), 터치 스크린(120) 및 제어부(130)를 포함한다. 이때, 사용자 단말(100)은 스마트 폰일 수 있으나, 이는 일 실시예에 불과할 뿐, 태블릿 PC, 노트북 PC, 스마트 TV, 데스크탑 PC 등과 같은 다양한 장치로 구현될 수 있다.
통신부(110)는 외부의 전자 장치(200)와 통신을 수행한다. 특히, 통신부(110)는 외부의 전자 장치(200)로부터 전자 장치(200)가 촬영한 영상에 대한 정보를 수신할 수 있다. 또한, 통신부(110)는 외부의 전자 장치(200)에게 지시자에 대한 데이터 및 카메라 포즈 데이터를 함께 전송할 수 있다.
터치 스크린(120)은 영상을 디스플레이하며, 사용자 터치를 감지한다. 특히, 터치 스크린(120)은 전자 장치(200)로부터 수신된 영상을 디스플레이할 수 있다. 또한, 터치 스크린(120)은 사용자 터치가 감지된 지점에 지시자를 디스플레이할 수 있다.
제어부(130)는 사용자 단말(100)의 전반적인 동작을 제어한다. 특히, 제어부(130)는 통신부(110)를 통해 외부의 전자 장치(200)로부터 수신된 영상을 디스플레이하도록 터치 스크린(120)을 제어할 수 있다. 그리고, 터치 스크린(120)상에 디스플레이된 영상에 사용자 터치가 감지되면, 제어부(130)는 사용자 터치가 감지된 지점에 영상에 포함된 오브젝트를 가리키는 지시자를 생성하여 디스플레이하도록 터치 스크린(120)을 제어할 수 있다. 그리고, 제어부(130)는 지시자에 대한 데이터를 외부의 전자 장치(200)에 전송하도록 통신부(110)를 제어할 수 있다.
구체적으로, 통신부(110)가 촬영된 영상의 복수의 영상 프레임 및 복수의 영상 프레임에 대응되는 카메라 포즈 데이터를 함께 수신한 경우, 제어부(130)는 수신된 복수의 영상 프레임을 처리하여 동영상처럼 실시간으로 디스플레이할 수 있다. 이때, 제어부(130)는 2D 형태로 영상을 디스플레이할 수 있다.
그리고, 사용자 명령에 따라 복수의 영상 프레임 중 하나를 선택하고, 선택된 영상 프레임이 디스플레이되는 동안 사용자 터치가 감지되면, 제어부(130)는 선택된 영상 프레임의 사용자 터치가 감지된 지점에 지시자를 생성하여 디스플레이하도록 터치 스크린(120)을 제어할 수 있다. 그리고, 제어부(130)는 지시자에 대한 데이터 및 선택된 영상 프레임에 대응되는 카메라 포즈 데이터를 함께 전송하도록 통신부(120)를 제어할 수 있다. 여기서 지시자에 대한 데이터는 지시자가 디스플레이될 위치의 좌표값, 지시자의 형태, 지시자의 크기 및 지시자의 두께 중 적어도 하나에 대한 정보를 포함할 수 있다. 그리고, 외부의 전자 장치(200)는 지시자에 대한 데이터 및 카메라 포즈 데이터를 이용하여 지시자를 촬영된 영상 속에 3D 형태로 디스플레이할 수 있다.
또한, 통신부(110)가 전자 장치(200)에 의해 촬영된 영상 중 하나의 영상 프레임만을 수신한 경우, 제어부(130)는 하나의 프레임에서 사용자 터치가 감지된 지점에 지시자를 생성하여 디스플레이하도록 터치 스크린(120)을 제어할 수 있다. 그리고, 제어부(130)는 지시자에 대한 데이터를 전자 장치(200)에게 전송하도록 통신부(110)를 제어할 수 있다. 이때, 외부의 전자 장치(200)는 사용자 단말(100)로부터 수신된 지시자에 대한 데이터 및 기저장된 하나의 영상 프레임에 대응되는 카메라 포즈 데이터를 바탕으로 3D 형태로 촬영된 영상 및 지시자를 디스플레이할 수 있다.
한편, 제어부(130)는 사용자 터치에 따라 지시자를 생성할 수 있다. 구체적으로, 제어부(130)는 사용자 터치의 터치 압력 및 터치 사이즈 중 적어도 하나에 따라 지시자의 z 축 위치를 조절할 수 있다. 또한, 제어부(130)는 사용자 터치의 터치 압력 및 터치 사이즈 중 적어도 하나에 따라 지시자의 두께를 조절할 수 있다.
또한, 제어부(130)는 사용자 터치한 지점에 따라 지시자를 생성할 수 있으나, 이는 일 실시예에 불과할 뿐, 복수의 지시자 모델 중 사용자에 의해 선택된 지시자 모델을 지시자로 생성할 수 있다. 구체적으로, 제어부(130)는 사용자가 터치한 지점에 복수의 지시자 모델을 포함하는 리스트를 디스플레이하도록 터치 스크린(120)을 제어할 수 있다. 그리고, 리스트에 포함된 복수의 지시자 모델 중 하나가 선택되면, 제어부(130)는 사용자 터치가 감지된 지점에 선택된 지시자 모델을 생성하여 디스플레이하도록 터치 스크린(120)을 제어할 수 있다.
도 3은 본 개시의 일 실시예에 따른, 사용자 단말(100')의 구성을 상세히 도시한 블럭도이다. 도 3에 도시된 바와 같이, 사용자 단말(100')은 통신부(110), 영상 처리부(140), 터치 스크린(120), 저장부(150), 감지부(160), 오디오 출력부(170) 및 제어부(130)를 포함한다. 한편, 도 3에 도시된 사용자 단말(100')의 구성은 일 예에 불과하므로, 반드시 전술된 블록도에 한정되는 것은 아니다. 따라서, 사용자 단말(100')의 종류 또는 사용자 단말(100')의 목적에 따라 도 3에 도시된 사용자 단말(100')의 구성의 일부가 생략 또는 변형되거나, 추가될 수도 있음은 물론이다.
통신부(110)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(110)는 와이파이칩, 블루투스 칩, 무선 통신 칩, NFC 칩 중 적어도 하나를 포함할 수 있다. 제어부(130)는 통신부(110)를 이용하여 외부 서버 또는 각종 외부 기기와 통신을 수행할 수 있다.
특히, 와이파이 칩, 블루투스 칩 각각은 WiFi 방식, Bluetooth 방식으로 통신을 수행할 수 있다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, Zigbee, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
특히, 통신부(110)는 외부의 전자 장치(200)로부터 촬영된 영상을 수신할 수 있다. 이때, 통신부(110)는 촬영된 영상의 적어도 하나의 영상 프레임을 수신할 수 있으며, 영상 프레임에 대응되는 카메라 포즈 데이터를 함께 수신할 수 있다. 또한, 통신부(110)는 사용자 터치에 의해 생성된 지시자에 대한 데이터를 전자 장치(200)로 전송할 수 있다. 특히, 통신부(110)는 지시자에 대한 데이터뿐만 아니라 지시자가 생성된 영상 프레임에 대응되는 카메라 포즈 데이터를 함께 전송할 수 있다.
영상 처리부(140)는 통신부(110) 또는 다른 영상 입력 장치로부터 획득된 영상 데이터에 대한 영상 처리를 수행하는 구성요소이다. 영상 처리부(140)는 영상 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
터치 스크린(120)은 통신부(110)로부터 수신된 영상 데이터 및 그래픽 처리부(133)로부터 처리된 다양한 UI 중 적어도 하나를 디스플레이한다. 이때, 터치 스크린(120)은 다양한 크기를 가질 수 있다. 예를 들어, 터치 스크린(120)는 3인치, 4인치, 4.65인치, 5인치, 6.5인치, 8.4인치 등의 크기를 가질 수 있다. 디스플레이부(210)는 복수의 픽셀들로 구성될 수 있다. 이 때, 복수의 픽셀들의 가로 개수 X 세로 개수는 해상도(resolution)로 표현될 수 있다. 예를 들어, 디스플레이부(210)는 320×320 해상도, 360×480 해상도, 720×1280 해상도, 1280×800 해상도 또는 3940×2160 해상도 등을 가질 수 있다.
또한, 터치 스크린(120)는 다양한 형태의 디스플레이 패널로 구현될 수 있다. 예로, 디스플레이 패널은 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes), AM-OLED(Active-Matrix Organic Light-Emitting Diode), LcoS(Liquid Crystal on Silicon) 또는 DLP(Digital Light Processing) 등과 같은 다양한 디스플레이 기술로 구현될 수 있다.
터치 스크린(120)은 플렉서블 디스플레이(flexible display)의 형태로 사용자 단말(100')의 전면 영역 및, 측면 영역 및 후면 영역 중 적어도 하나에 결합될 수도 있다. 플렉서블 디스플레이는 종이처럼 얇고 유연한 기판을 통해 손상 없이 휘거나 구부리거나 말 수 있는 것을 특징으로 할 수 있다. 이러한 플렉서블 디스플레이는 일반적으로 사용되는 유리 기판뿐 아니라 플라스틱 기판을 사용하여 제조될 수도 있다. 플라스틱 기판을 사용하는 경우, 기판의 손상을 방지하기 위해서 기존의 제조 프로세서를 사용하지 않고 저온 제조 프로세서를 사용하여 형성될 수 있다. 또한, 플렉서블 액정을 싸고 있는 유리 기판을 플라스틱 필름으로 대체하여, 접고 펼 수 있는 유연성을 부여할 수 있다. 이러한 플렉서블 디스플레이는 얇고 가벼울 뿐만 아니라 충격에도 강하며, 또한 휘거나 굽힐 수 있고 다양한 형태로 제작이 가능하다는 장점을 갖고 있다.
또한, 터치 스크린(120)은 디스플레이 패널과 터치 감지부의 결합을 통해 구현될 수 있다. 터치 스크린(120)은 디스플레이 기능뿐만 아니라 터치 입력 위치, 터치된 면적뿐만 아니라 터치 입력 압력까지도 검출하는 기능을 가질 수 있고, 또한 실질적인 터치(real-touch)뿐만 아니라 근접 터치(proximity touch)도 검출하는 기능을 가질 수 있다. 또한, 터치 스크린(120)은 사용자의 손가락에 대한 터치를 감지할뿐만 아니라, 펜 터치 역시 감지할 수 있다.
저장부(150)는 사용자 단말(100')을 구동하기 위한 다양한 모듈을 저장한다. 예를 들어, 저장부(150)에는 베이스 모듈, 센싱 모듈, 통신 모듈, 프리젠테이션 모듈, 웹 브라우저 모듈, 서비스 모듈을 포함하는 소프트웨어가 저장될 수 있다. 이때, 베이스 모듈은 사용자 단말(100')에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈이다. 센싱 모듈은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈로서, 얼굴 인식 모듈, 음성 인식 모듈, 모션 인식 모듈, NFC 인식 모듈 등을 포함할 수도 있다. 프리젠테이션 모듈은 디스플레이 화면을 구성하기 위한 모듈로서, 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈, UI 및 그래픽 처리를 수행하는 UI 렌더링 모듈을 포함할 수 있다. 통신 모듈은 외부와 통신을 수행하기 위한 모듈이다. 웹 브라우저 모듈은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 서비스 모듈은 다양한 서비스를 제공하기 위한 각종 어플리케이션을 포함하는 모듈이다.
상술한 바와 같이, 저장부(150)는 다양한 프로그램 모듈들을 포함할 수 있으나, 각종 프로그램 모듈들은 사용자 단말(100')의 종류 및 특성에 따라 일부 생략되거나 변형 또는 추가될 수 있음은 물론이다. 가령, 상술한 사용자 단말(100')이 태블릿 PC로 구현된 경우, 베이스 모듈에는 GPS 기반의 위치를 판단하기 위한 위치 판단 모듈을 더 포함하며, 센싱 모듈에는 사용자의 동작을 감지하는 센싱 모듈을 더 포함할 수 있다.
감지부(160)는 사용자 단말(100')의 주변 환경 및 사용자 입력을 감지한다. 특히, 감지부(160)는 주변의 조도를 감지하는 조도 감지부, 사용자 터치 입력을 감지하는 터치 감지부, 버튼 입력을 감지하는 버튼 감지부 및 사용자의 근접을 감지하는 근접 감지부 등을 포함할 수 있다.
그러나, 이는 일 실시예에 불과할 뿐, 감지부(160)는 위치 정보를 감지하는 GPS 센서, 사용자 단말(100')의 움직임을 감지하는 움직임 감지 센서(예를 들어, 자이로 센서, 가속도 센서 등), 압력 센서, 노이즈 센서 등과 같은 다양한 센서를 포함할 수 있다.
오디오 출력부(170)는 오디오 처리부(미도시)에 의해 디코딩이나 증폭, 노이즈 필터링과 같은 다양한 처리 작업이 수행된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 출력하는 구성이다. 이때, 오디오 출력부(170)는 스피커로 구현될 수 있으나, 이는 일 실시 예에 불과할 뿐, 오디오 데이터를 출력할 수 있는 출력 단자로 구현될 수 있다. 또한, 오디오 출력부(170)는 외부의 전자 장치(200)로부터 수신된 음성 데이터를 출력할 수 있다.
제어부(130)(또는, 프로세서)는 저장부(150)에 저장된 각종 프로그램을 이용하여 사용자 단말(100')의 전반적인 동작을 제어할 수 있다.
제어부(130)는 RAM(131), ROM(132), 그래픽 처리부(133), 메인 CPU(134), 제1 내지 n 인터페이스(135-1 ~ 135-n), 버스(136)로 구성될 수 있다. 이때, RAM(131), ROM(132), 그래픽 처리부(133), 메인 CPU(134), 제1 내지 n 인터페이스(135-1 ~ 135-n) 등은 버스(136)를 통해 서로 연결될 수 있다.
RAM(131)은 O/S 및 어플리케이션 프로그램을 저장한다. 구체적으로, 사용자 단말(100')이 부팅되면 O/S가 RAM(131)에 저장되고, 사용자가 선택한 각종 어플리케이션 데이터가 RAM(131)에 저장될 수 있다.
ROM(132)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU(134)는 ROM(132)에 저장된 명령어에 따라 저장부(150)에 저장된 O/S를 RAM(131)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(134)는 저장부(150)에 저장된 각종 어플리케이션 프로그램을 RAM(131)에 복사하고, RAM(131)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(133)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이템, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 여기서, 연산부는 감지부(160)로부터 수신된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산하는 구성일 수 있다. 그리고, 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성하는 구성이 일 수 있다. 이러한 렌더링부에서 생성된 화면은 터치 스크린(120)의 디스플레이 영역 내에 표시될 수 있다.
메인 CPU(134)는 저장부(150)에 액세스하여, 저장부(150)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(134)는 저장부(150)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스(135-1 내지 135-n)는 상술한 각종 구성요소들과 연결된다. 제1 내지 n 인터페이스(135-1 내지 135-n) 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
특히, 사용자 단말(100)과 외부의 HMD와 같은 전자 장치(200) 사이에 통신이 연결된 경우, 제어부(130)는 전자 장치(200)로부터 전자 장치(200)가 촬영한 영상을 수신할 수 있다. 이때, 제어부(130)는 전자 장치(200)가 촬영한 영상에 대한 복수의 영상 프레임을 수신하도록 통신부(110)를 제어할 수 있으나, 이는 일 실시예에 불과할 뿐, 하나의 영상 프레임을 수신하도록 통신부(110)를 제어할 수 있다.
특히, 전자 장치(200)가 촬영한 영상에 대한 복수의 영상 프레임을 수신할 때, 제어부(130)는 복수의 영상 프레임에 대응되는 카메라 포즈 데이터를 수신할 수 있다. 이때, 카메라 포즈 데이터는 특정 각도에서 카메라가 대응되는 영상 프레임을 촬영할 때, 카메라 위치(또는 시점)에 대한 데이터로서, 카메라 포즈 데이터를 통해 2D 영상을 3D 영상으로 생성할 수 있다.
그리고, 제어부(130)는 통신부(110)를 통해 외부의 전자 장치(200)로부터 수신된 영상을 디스플레이하도록 터치 스크린(120)을 제어할 수 있다. 예를 들어, 전자 장치(200)가 세면대 배관을 촬영한 경우, 제어부(130)는 도 4a에 도시된 바와 같이, 전자 장치(200)로부터 수신된 세면대 배관(410)이 포함된 영상을 디스플레이하도록 터치 스크린(120)을 제어할 수 있다.
특히, 복수의 영상 프레임이 수신된 경우, 제어부(130)는 수신된 영상 프레임을 처리하도록 영상 처리부(140)를 제어하고, 처리된 영상을 실시간으로 동영상처럼 디스플레이하도록 터치 스크린(120)을 제어할 수 있다. 또한, 하나의 영상 프레임이 수신된 경우, 제어부(130)는 수신된 영상 프레임을 처리하여 디스플레이하도록 영상 처리부(140) 및 터치 스크린(120)을 제어할 수 있다.
본 개시의 일 실시예에 따르면, 영상이 디스플레이되는 동안 영상에 포함된 오브젝트가 디스플레이된 영역에 사용자 터치가 감지되면, 제어부(130)는 사용자 터치가 감지된 좌표에 지시자를 생성하여 디스플레이하도록 터치 스크린(120)을 제어할 수 있다. 구체적으로, 도 4b 도시된 바와 같이, 세면대 배관(410)이 디스플레이된 영역에 일 지점을 터치한 후 오른쪽 방향으로 이동하는 사용자 터치(420)가 감지되면, 제어부(130)는 사용자 터치(420)가 감지된 좌표값에 따라 도 4c에 도시된 바와 같이, 세면대 배관(410) 상에 화살표 모양의 지시자(430)를 생성하도록 터치 스크린(120)을 제어할 수 있다. 즉, 제어부(130)는 사용자 터치가 감지된 지점의 좌표값에 따라 지시자를 생성하여 디스플레이하도록 터치 스크린(120)을 제어할 수 있다.
본 개시의 다른 실시예에 따르면, 제어부(130)는 복수의 지시자 모델을 포함하는 리스트를 통해 지시자를 선택할 수 있다. 구체적으로, 도 5a에 도시된 바와 같이 세면대 배관(510)을 포함하는 영상이 디스플레이되는 동안, 도 5b에 도시된 바와 같이, 세면대 배관(510)의 일 지점을 터치하는 사용자 터치(520)가 감지되면, 제어부(130)는 사용자 터치가 감지된 지점에 복수의 지시자 모델(531,533, 535)을 포함하는 리스트(530)를 디스플레이하도록 터치 스크린(120)을 제어할 수 있다. 그리고, 리스트에 포함된 복수의 지시자 모델(531,533,535) 중 제3 지시자 모델(535)를 선택하는 사용자 터치가 감지되면, 제어부(130)는 도 5d에 도시된 바와 같이, 사용자 터치가 감지된 지시자 모델(540)을 사용자 터치가 감지된 지점에 디스플레이하도록 터치 스크린(120)을 제어할 수 있다.
그리고, 제어부(130)는 사용자 터치 조작에 따라 지시자의 위치, 크기, 방향 등을 변경할 수 있다. 예를 들어, 사용자가 지시자를 터치한 이후 드래그하는 드래그 인터렉션이 감지되면, 제어부(130)는 드래그 인터렉션에 따라 지시자를 이동하도록 터치 스크린(120)을 제어할 수 있다. 또한, 사용자가 지시자가 디스플레이된 영역의 두 지점을 터치한 후 멀어지나 가까워지는 핀치 인 또는 핀치 아웃 인터렉션이 감지되면, 제어부(130)는 핀치 인 또는 핀치 아웃 인터렉션에 따라 지시자의 크기를 조절하도록 터치 스크린(120)을 제어할 수 있다. 또한, 사용자가 지시자의 앞부분(예를 들어, 화살표의 화살 부분 등)을 터치한 후 드래그하는 드래그 인터렉션이 감지되면, 제어부(130)는 드래그 인터렉션에 따라 지시자의 방향을 이동하도록 터치 스크린(120)을 제어할 수 있다.
또한, 제어부(130)는 사용자 터치의 터치 압력 및 터치 사이즈 중 적어도 하나에 따라 지시자의 z 축 위치를 조절할 수 있다. 구체적으로, 제어부(130)는 사용자 터치의 터치 압력이 크거나 사용자 터치의 터치 사이즈가 클수록 사용자 터치가 감지된 지점의 z 축 좌표값이 더 커지도록 지시자의 속성을 설정할 수 있다. 예를 들어, 제1 지점(610)에서 제2 지점(620)를 드래그하는 동안 제1 지점(610)에 대한 터치 압력값이 제1 값이고, 제2 지점(620)에 대한 터치 압력값이 제1 값보다 큰 제2 값인 경우, 제어부(130)는 도 6에 도시된 바와 같이, 제1 지점(610)에 대한 z 축의 좌표값을 5로 설정하고, 제2 지점(620)에 대한 z 축의 좌표값을 13으로 설정할 수 있다.
또한, 제어부(130)는 사용자 터치의 터치 압력 및 터치 사이즈 중 적어도 하나에 따라 지시자의 두께를 조절할 수 있다. 구체적으로, 제어부(130)는 사용자 터치의 터치 압력이 크거나 사용자 터치의 터치 사이즈가 클수도록 사용자 터치가 감지된 지점의 지시자 두께가 두꺼워 지도록 지시자의 속성을 설정할 수 있다. 예를 들어, 제1 지점(710)에서 제2 지점(720)를 드래그하는 동안 터치 면적이 점점 작아지는 경우, 제어부(130)는 도 7에 도시된 바와 같이, 제1 지점(710)에서 제2 지점(720)으로 갈수록 지시자의 두께가 점점 얇아지도록 지시자의 속성을 설정할 수 있다.
그리고, 제어부(130)는 지시자에 대한 데이터를 외부의 전자 장치(200)에 전송하도록 통신부(110)를 제어할 수 있다. 여기서, 지시자에 대한 데이터에는 지시자가 디스플레이될 위치의 좌표값, 지시자의 형태, 지시자의 크기 및 지시자의 두께 중 적어도 하나를 포함할 수 있다. 그리고, 제어부(130)는 생성된 지시자에 대한 데이터와 함께 카메라 포즈 데이터를 함께 전송하도록 통신부(110)를 제어할 수 있다. 이때, 제어부(130)는 지시자가 삽입된 영상 프레임에 대응되는 카메라 포즈 데이터를 지시자에 대한 데이터와 함께 전송하도록 통신부(110)를 제어할 수 있다. 예를 들어, 지시자가 삽입된 영상 프레임이 제1 영상 프레임인 경우, 제어부(130)는 수신된 카메라 포즈 데이터 중 제1 영상 프레임이 촬영된 시점의 카메라 포즈 데이터를 지시자에 대한 데이터와 함께 전송하도록 통신부(110)를 제어할 수 있다. 이때, 카메라 포즈 데이터가 전자 장치(200)로부터 수신되지 않은 경우, 제어부(130)는 선택된 영상 프레임에 대한 데이터(예를 들어, 영상 프레임이 디스플레이된 시간 정보 등)를 전송하여 전자 장치(200)가 선택된 영상 프레임에 대응되는 카메라 포즈 데이터를 검색하도록 할 수 있다. 상술한 바와 같이, 카메라 포즈 데이터 및 지시자에 대한 데이터를 함께 전송함으로써, 전자 장치(200)가 현재 촬영된 영상에 지시자를 3D 형태로 디스플레이할 수 있다.
이하에서는 도 8 내지 도 13b를 참조하여 사용자에게 착용되어 3D 영상을 제공하는 HMD와 같은 전자 장치(200)에 대해 상세히 설명하기로 한다.
도 8은 본 개시의 일 실시예에 따른, 전자 장치(200)의 구성을 간략히 도시한 블럭도이다. 도 8에 도시된 바와 같이, 전자 장치(200)는 촬영부(210), 통신부(220), 디스플레이부(230) 및 제어부(240)를 포함한다.
촬영부(210)는 전자 장치(200)를 착용한 사용자의 전방에 대한 영상을 촬영한다. 이때, 촬영부(210)는 촬영된 영상뿐만 아니라 영상을 촬영할 때의 카메라 포즈 데이터를 함께 획득할 수 있다. 이때, 카메라 포즈 데이터는 영상 프레임과 매칭되어 저장될 수 있다.
예를 들어, 도 9a에 도시된 바와 같이, 촬영부(210)가 세면대 배관과 같은 오브젝트를 포함하는 영상을 촬영하는 경우, 촬영부(210)는 사용자의 움직임에 따른 전자 장치(200)의 위치에 따라 도 9b에 도시된 바와 같이, 복수의 영상 프레임(910 내지 980)을 획득할 수 있다. 이때, 촬영부(210)는 복수의 영상 프레임(910 내지 980) 뿐만 아니라 각각의 영상 프레임(910 내지 980)에 대응되는 카메라 포즈 데이터를 함께 획득할 수 있다.
통신부(220)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 특히, 통신부(220)는 외부의 사용자 단말(100)과 통신을 수행할 수 있다. 구체적으로, 통신부(220)는 촬영부(210)에 의해 촬영된 영상의 영상 프레임을 사용자 단말(100)로 전송할 수 있다. 이때, 통신부(220)는 영상 프레임과 함께 카메라 포즈 데이터를 함께 사용자 단말(100)로 전송할 수 있다. 또한, 통신부(220)는 지시자에 대한 데이터 및 지시자가 삽입된 영상 프레임에 대응되는 카메라 포즈 데이터 중 적어도 하나를 사용자 단말(100)로부터 수신할 수 있다.
디스플레이부(230)는 영상을 디스플레이한다. 특히, 디스플레이부(230)는 사용자에 의해 촬영된 전방의 영상을 3D 형태로 디스플레이할 수 있다. 또한, 디스플레이부(230)는 사용자 단말(100)로부터 수신한 지시자에 대한 데이터 및 카메라 포즈 데이터를 바탕으로 현재 촬영된 영상에 지시자를 3D 형태로 디스플레이할 수 있다. 이때, 디스플레이부(230)는 사용자가 전자 장치를 착용한 경우, 사용자의 눈이 바라보는 전자 장치(200)의 내측면에 위치할 수 있다. 따라서, 디스플레이부(230)는 전자 장치(200)를 착용한 사용자에게 더욱 몰입감 있고, 입체적인 영상을 제공할 수 있게 된다.
한편, 전자 장치(200)는 디스플레이부(230) 이외에 전방에 영상을 투사하는 투사부(미도시)를 함께 포함할 수 있다. 예를 들어, 사용자 단말(100)로부터 영상(예를 들어, 영상 통화시 영상)을 수신하는 경우, 전자 장치(200)는 투사부를 통해 사용자 단말(100)로부터 수신된 영상을 전자 장치(200)의 외부에 투사할 수 있다.
제어부(240)는 전자 장치(200)의 전반적인 동작을 제어한다. 특히, 촬영된 영상이 3D 형태로 디스플레이되는 동안, 제어부(240)는 촬영된 영상을 외부 사용자 단말(100)로 전송하도록 통신부(210)를 제어할 수 있다. 그리고, 제어부(240)는 외부 사용자 단말(100)로부터 촬영된 영상에 포함된 오브젝트를 가리키는 지시자에 대한 데이터를 수신하도록 통신부(210)를 제어할 수 있다. 그리고, 제어부(240)는 지시자에 대한 데이터 및 카메라 포즈 데이터를 이용하여 촬영된 영상 상에 지시자를 3D 형태로 디스플레이하도록 디스플레이부를 제어할 수 있다.
구체적으로, 제어부(240)는 촬영부(220)에 촬영된 영상을 디스플레이하도록 디스플레이부(230)를 제어할 수 있다. 이때, 제어부(240)는 촬영부(220)에서 촬영된 영상을 3D 형태로 디스플레이하도록 디스플레이부(230)를 제어할 수 있다.
그리고, 제어부(240)는 촬영된 영상을 외부의 사용자 단말(100)로 전송하도록 통신부(210)를 제어할 수 있다. 구체적으로, 제어부(240)는 촬영된 영상의 복수의 영상 프레임과 함께 복수의 영상 프레임에 대응되는 카메라 포즈 데이터를 수신하도록 통신부(210)를 제어할 수 있다. 또는, 제어부(240)는 촬영된 영상 중 영상을 요청하는 시점의 제1 영상 프레임을 전송하도록 통신부(210)를 제어할 수 있다.
그리고, 제어부(240)는 사용자 단말(100)로부터 영상에 삽입될 지시자에 대한 정보를 수신하도록 통신부(210)를 제어할 수 있다. 이때, 지시자에 대한 정보에는 지시자가 디스플레이될 위치의 좌표값, 지시자의 형태, 지시자의 크기 및 지시자의 두께 중 적어도 하나에 대한 정보를 포함할 수 있다. 특히, 지시자가 디스플레이될 위치의 좌표값은 2D 터치 좌표값으로서, X축에 대한 좌표값 및 Y 축에 대한 좌표값을 포함할 수 있다. 또한, 제어부(240)는 지시자에 대한 정보뿐만 아니라, 지시자를 삽입한 영상 프레임에 대응되는 카메라 포즈 데이터를 함께 수신하도록 통신부(210)를 제어할 수 있다. 예를 들어, 지시자를 삽입한 영상 프레임이 제1 영상 프레임인 경우, 제어부(240)는 제1 영상 프레임이 획득되었을 때의 촬영부(240) 위치에 대한 정보를 포함하는 카메라 포즈 데이터를 함께 수신하도록 통신부(210)를 제어할 수 있다.
그리고, 제어부(240)는 지시자에 대한 데이터 및 카메라 포즈 데이터를 이용하여 지시자를 3D 형태의 영상에 삽입할 수 있다.
우선, 도 10a를 참조하면, real world 기준의 실제 좌표계(1020) 및 real world를 카메라 기준으로 바라보는 카메라 좌표계(1010)가 존재한다. 그리고, 이 두 좌표계(1010,1020)의 관계는, 카메라 포즈 데이터에 의해 정의될 수 있다. 즉, 카메라 포즈 데이터는, real world를 기준으로 보았을 때, 카메라의 위치에 대한 정보를 포함할 수 있다.
특히, 지시자에 대한 위치값이 2D 형태(즉, (X,Y)값)로 입력된 경우, 도 10a에서는 카메라 평면(1030)의 제1 지점(1015)이 2D 평면 상에서 지시자가 디스플레이될 위치를 표현한 지점이다. 그리고, 카메라 포즈 데이터를 이용하여 제1 지점(1015)이 실제 좌표계(1020)에 매칭되면, 제어부(240)는 도 10a의 제2 지점(1025)에 지시자를 디스플레이하도록 디스플레이부(230)를 제어할 수 있다.
따라서, 도 10b에 도시된 바와 같이, 지시자(1020)의 2D 좌표값이 수신되면, 제어부(240)는 지시자(1040)에 대한 2D 좌표값 및 카메라 포즈 데이터를 이용하여 3D 형태로 지시자(1045)를 생성하여 디스플레이하도록 디스플레이부(230)를 제어할 수 있다.
한편, 제어부(240)는 카메라 포즈 데이터를 외부의 사용자 단말(100)로부터 수신할 수 있으나, 이는 일 실시예에 불과할 뿐, 기 저장된 카메라 포즈 데이터 중 지시자가 삽입된 영상 프레임에 대응되는 카메라 포즈 데이터를 이용하여 3D 형태의 지시자를 생성할 수 있다.
그리고, 3D 형태의 지시자가 생성되면, 제어부(240)는 3D 형태로 디스플레이되는 촬영 영상에 3D 형태의 지시자를 삽입하여 디스플레이하도록 디스플레이부(230)를 제어할 수 있다. 예를 들어, 도 11에 도시된 바와 같이, 제어부(240)는 3D 형태로 디스플레이된 오브젝트(1110) 주위에 지시자(1120)를 3D 형태로 디스플레이하도록 디스플레이부(230)를 제어할 수 있다.
또한, 제어부(240)는 지시자에 대한 다양한 데이터를 이용하여 촬영 영상 상에 지시자를 삽입하여 디스플레이하도록 디스플레이부(230)를 제어할 수 있다. 구체적으로, 제어부(240)는 지시자의 크기, 방향, 두께 등과 같은 다양한 데이터를 이용하여 지시자를 생성하고 디스플레이하도록 디스플레이부(230)를 제어할 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 지시자의 두께 정보가 수신된 경우, 제어부(240)는 도 12에 도시된 바와 같이, 오브젝트(1210) 주위에 두께가 점점 얇아진 지시자(1220)를 생성하여 디스플레이하도록 디스플레이부(230)를 제어할 수 있다.
또한, 지시자 모델에 대한 데이터를 수신한 경우, 제어부(240)는 지시자 모델에 대한 데이터 및 카메라 포즈 데이터를 이용하여 지시자 모델을 촬영 영상에 3D 형태로 디스플레이하도록 디스플레이부(230)를 제어할 수 있다. 이때, 지시자 모델에 대한 데이터에는 지시자 모델의 형태에 대한 데이터를 포함할 수 있다. 예를 들어, 도 5d에서 생성된 지시자 모델에 대한 데이터가 수신되면, 제어부(240)는 도 13에 도시된 바와 같이, 오브젝트(1310) 주위에 지시자 모델(1320)을 생성하여 디스플레이하도록 디스플레이부(230)를 제어할 수 있다.
도 14는 본 개시의 일 실시예에 따른, 사용자 단말(100)의 제어 방법을 설명하기 위한 흐름도이다.
우선, 사용자 단말(100)은 외부의 전자 장치(200)에 의해 촬영된 영상을 수신한다(S1410). 이때, 사용자 단말(100)은 촬영된 영상에 대한 복수의 영상 프레임을 수신할 수 있으며, 촬영된 영상 중 하나의 영상 프레임을 수신할 수 있다.
그리고, 사용자 단말(100)은 영상을 디스플레이한다(S1420). 구체적으로, 사용자 단말(100)은 수신된 영상 프레임을 처리하여 2D 형태의 영상으로 디스플레이할 수 있다.
그리고, 사용자 단말(100)은 사용자 터치 입력을 감지한다(S1430).
사용자 터치 입력이 감지되면(S1430-Y), 사용자 단말(100)은 사용자 터치 입력이 감지된 지점에 오브젝트를 가르키는 지시자를 생성하여 디스플레이한다(S1440).
그리고, 사용자 단말(100)은 지시자에 대한 데이터를 외부의 전자 장치(200)에 전송한다(S1450). 이때, 사용자 단말(100)은 지시자에 대한 데이터와 함께 지시자를 삽입한 영상 프레임에 대응되는 카메라 포즈 데이터를 함께 전자 장치(200)로 전송할 수 있다.
도 15는 본 개시의 일 실시예에 따른, 전자 장치(200)의 제어 방법을 설명하기 위한 흐름도이다. 이때, 전자 장치(200)는 사용자가 착용하여 3D 형태의 입체 영상을 제공할 수 있는 HMD일 수 있다.
우선, 전자 장치(200)는 영상을 촬영한다(S1510). 이때, 전자 장치(200)는 특정 오브젝트를 포함하는 사용자 전방의 영상을 촬영할 수 있다.
그리고, 전자 장치(200)는 촬영된 영상을 3D 형태로 디스플레이하고, 촬영된 영상을 사용자 단말(100)로 전송한다(S1520). 이때, 전자 장치(200)는 촬영된 영상 프레임과 함께 대응되는 카메라 포즈 데이터를 함께 사용자 단말(100)로 전송할 수 있다.
그리고, 전자 장치(200)는 사용자 단말로부터 오브젝트를 가리키는 지시자에 대한 데이터를 수신한다(S1530). 이때, 전자 장치(200)는 지시자에 대한 데이터뿐만 아니라 지시자를 삽입한 영상 프레임에 대응되는 카메라 포즈 데이터(즉, 지시자를 삽입한 영상 프레임이 촬영될 때 획득된 카메라 포즈 데이터)를 사용자 단말(100)로부터 함께 수신할 수 있다.
그리고, 전자 장치9200)는 지시자에 대한 데이터 및 카메라 포즈 데이터를 이용하여 촬영된 영상 상에 지시자를 3D 형태로 디스플레이한다(S1540).
도 16은 본 개시의 일 실시예에 따른, 영상 제공 시스템의 영상 제공 방법을 설명하기 위한 시퀀스도이다.
우선, 전자 장치(200)는 영상을 촬영한다(S1610).
그리고, 전자 장치(200)는 영상을 3D 형태로 디스플레이한다(S1620).
그리고, 전자 장치(200)는 촬영된 영상을 사용자 단말(100)로 전송한다(S1630). 이때, 전자 장치(200)는 영상과 함께 카메라 포즈 데이터를 함께 전송할 수 있다.
그리고, 사용자 단말(100)은 수신된 영상을 2D 형태로 디스플레이한다(S1640).
그리고, 사용자 단말(100)은 디스플레이된 영상 상에 감지된 사용자 터치 입력에 따라 영상에 지시자를 디스플레이한다(S1650).
그리고, 사용자 단말(100)은 생성된 지시자에 대한 데이터를 전송한다(S1660). 이때, 지시자에 대한 데이터는 지시자가 디스플레이될 위치의 좌표값, 지시자의 형태, 지시자의 크기 및 지시자의 두께 중 적어도 하나에 대한 정보를 포함하며, 지시자에 대한 데이터는 카메라 포즈 데이터와 함께 전송될 수 있다.
그리고, 전자 장치(200)는 수신된 지시자에 대한 데이터 및 카메라 포즈 데이터를 이용하여 영상에 지시자를 3D 형태로 디스플레이한다(S1670).
상술한 바와 같은 본 개시의 다양한 실시예에 의해, 사용자 단말 및 HMD와 같은 가상 현실을 제공하는 전자 장치 사이에 다양한 인터렉션이 가능해 질 수 있게 되므로, 사용자에게 더욱 직관적이고 다양한 사용자 환경을 제공할 수 있게 된다.
한편, 상술한 실시예에서는 지시자의 형태가 화살표인 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 하트 모양, 별 모양 등과 같은 다양한 형태의 화살표로 구현될 수 있다.
또한, 상술한 실시예에서는 지시자가 사용자 터치에 의해 생성되는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 마우스 조작, 포인팅 조작과 같은 사용자 조작을 통해 생성될 수 있다.
또한, 상술한 실시예에서는 촬영된 영상에 삽입될 형태로 지시자를 생성하여 디스플레이하고, 전자 장치(200)로 지시자를 전송하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 텍스트, 이미지 등과 같은 다양한 AR 객체를 생성하여 디스플레이하고, 전자 장치(200)로 생성된 AR 객체를 전송할 수 있다. 예를 들어, 전자 장치(200)로부터 수신된 영상 상에 텍스트를 삽입하는 사용자 명령이 감지되면, 사용자 단말(100)은 삽입된 텍스트에 대한 정보를 외부의 전자 장치(200)로 전송할 수 있다. 그리고, 전자 장치(200)는 삽입된 텍스트에 대한 정보 및 카메라 포즈 데이터를 바탕으로 촬영된 영상 상에 삽입된 텍스트를 3D 형태로 디스플레이할 수 있다.
한편, 상술한 다양한 실시 예에 따른 사용자 단말 및 전자 장치의 제어 방법은 프로그램으로 구현되어 디스플레이 장치 또는 입력 장치에 제공될 수 있다. 특히, 디스플레이 장치의 제어 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 통신부 120: 터치 스크린
130: 제어부 140: 영상 처리부
150: 저장부 160: 감지부
170: 오디오 출력부 210: 촬영부
220: 통신부 230: 디스플레이부
240: 제어부

Claims (28)

  1. 사용자 단말에 있어서,
    외부의 전자 장치와 통신을 수행하는 통신부;
    영상을 디스플레이하고, 사용자의 터치 입력을 감지하는 터치 스크린; 및
    상기 통신부를 통해 상기 외부의 전자 장치로부터 수신된 영상을 디스플레이하도록 상기 터치 스크린을 제어하고, 상기 터치 스크린 상에 디스플레이된 영상에 사용자 터치가 감지되면, 상기 사용자 터치가 감지된 지점에 상기 영상에 포함된 오브젝트를 가리키는 지시자를 생성하여 디스플레이하도록 상기 터치 스크린을 제어하며, 상기 지시자에 대한 데이터를 상기 외부의 전자 장치에 전송하도록 상기 통신부를 제어하는 제어부;를 포함하는 사용자 단말의 사용자 단말.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 촬영된 영상의 복수의 영상 프레임 및 상기 복수의 영상 프레임에 대응되는 카메라 포즈 데이터를 함께 수신하도록 상기 통신부를 제어하는 것을 특징으로 하는 사용자 단말.
  3. 제2항에 있어서,
    상기 제어부는,
    사용자 명령에 따라 상기 복수의 영상 프레임 중 하나를 선택하고, 상기 선택된 영상 프레임이 디스플레이되는 동안 사용자 터치가 감지되면, 상기 선택된 영상 프레임의 사용자 터치가 감지된 지점에 상기 지시자를 생성하여 디스플레이하도록 상기 터치 스크린을 제어하며, 상기 지시자에 대한 데이터 및 상기 선택된 영상 프레임에 대응되는 카메라 포즈 데이터를 함께 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 사용자 단말.
  4. 제3항에 있어서,
    상기 사용자 단말은,
    2D 형태로 상기 촬영된 영상 및 지시자를 디스플레이하고,
    상기 외부의 전자 장치는,
    상기 지시자에 대한 데이터 및 상기 선택된 영상 프레임에 대응되는 카메라 포즈 데이터를 바탕으로 3D 형태로 상기 촬영된 영상 및 지시자를 디스플레이하는 것을 특징으로 하는 사용자 단말.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 촬영된 영상 중 하나의 영상 프레임을 수신하도록 상기 통신부를 제어하며,
    상기 외부의 전자 장치는,
    상기 지시자에 대한 데이터 및 기저장된 상기 하나의 영상 프레임에 대응되는 카메라 포즈 데이터를 바탕으로 3D 형태로 상기 촬영된 영상 및 지시자를 디스플레이하는 것을 특징으로 하는 사용자 단말.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 사용자 터치의 터치 압력 및 터치 사이즈 중 적어도 하나에 따라 상기 지시자의 z 축 위치를 조절하는 것을 특징으로 하는 사용자 단말.
  7. 제1항에 있어서,
    상기 제어부는,
    상기 사용자 터치의 터치 압력 및 터치 사이즈 중 적어도 하나에 따라 상기 지시자의 두께를 조절하는 것을 특징으로 하는 사용자 단말.
  8. 제1항에 있어서,
    상기 제어부는,
    사용자 터치를 바탕으로 기 저장된 지시자 모델 중 하나를 선택하며, 상기 사용자 터치가 감지된 지점에 상기 선택된 지시자 모델을 생성하여 디스플레이하도록 상기 터치 스크린을 제어하는 것을 특징으로 하는 사용자 단말.
  9. 제1항에 있어서,
    상기 지시자에 대한 데이터는,
    상기 지시자가 디스플레이될 위치의 좌표값, 상기 지시자의 형태, 상기 지시자의 크기 및 상기 지시자의 두께 중 적어도 하나를 포함하는 것을 특징으로 하는 사용자 단말.
  10. 사용자 단말의 제어 방법에 있어서,
    외부의 전자 장치에 의해 촬영된 영상을 수신하는 단계;
    상기 영상을 디스플레이하는 단계;
    상기 디스플레이된 영상에 사용자 터치가 감지되면, 상기 사용자 터치가 감지된 지점에 상기 영상에 포함된 오브젝트를 가리키는 지시자를 생성하여 디스플레이하는 단계; 및
    상기 지시자에 대한 데이터를 상기 외부의 전자 장치에 전송하는 단계;를 포함하는 사용자 단말의 제어 방법.
  11. 제10항에 있어서,
    상기 수신하는 단계는,
    상기 촬영된 영상의 복수의 영상 프레임 및 상기 복수의 영상 프레임에 대응되는 카메라 포즈 데이터를 함께 수신하는 것을 특징으로 하는 제어 방법.
  12. 제11항에 있어서,
    상기 디스플레이하는 단계는,
    사용자 명령에 따라 상기 복수의 영상 프레임 중 하나를 선택하는 단계; 및
    상기 선택된 영상 프레임이 디스플레이되는 동안 사용자 터치가 감지되면, 상기 선택된 영상 프레임의 사용자 터치가 감지된 지점에 상기 지시자를 생성하여 디스플레이하는 단계;를 포함하며,
    상기 전송하는 단계는,
    상기 지시자에 대한 데이터 및 상기 선택된 영상 프레임에 대응되는 카메라 포즈 데이터를 함께 전송하는 것을 특징으로 하는 제어 방법.
  13. 제12항에 있어서,
    상기 사용자 단말은,
    2D 형태로 상기 촬영된 영상 및 지시자를 디스플레이하고,
    상기 외부의 전자 장치는,
    상기 지시자에 대한 데이터 및 상기 선택된 영상 프레임에 대응되는 카메라 포즈 데이터를 바탕으로 3D 형태로 상기 촬영된 영상 및 지시자를 디스플레이하는 것을 특징으로 하는 제어 방법.
  14. 제10항에 있어서,
    상기 수신하는 단계는,
    상기 촬영된 영상 중 하나의 영상 프레임을 수신하며,
    상기 외부 전자 장치는,
    상기 지시자에 대한 데이터 및 기저장된 상기 하나의 영상 프레임에 대응되는 카메라 포즈 데이터를 바탕으로 3D 형태로 상기 촬영된 영상 및 지시자를 디스플레이하는 것을 특징으로 하는 제어 방법.
  15. 제10항에 있어서,
    상기 사용자 터치의 터치 압력 및 터치 사이즈 중 적어도 하나에 따라 상기 지시자의 z 축 위치를 조절하는 단계;를 포함하는 것을 특징으로 하는 제어 방법.
  16. 제10항에 있어서,
    상기 사용자 터치의 터치 압력 및 터치 사이즈 중 적어도 하나에 따라 상기 지시자의 두께를 조절하는 단계;를 포함하는 것을 특징으로 하는 제어 방법.
  17. 제10항에 있어서,
    상기 디스플레이하는 단계는,
    사용자 터치를 바탕으로 기 저장된 지시자 모델 중 하나를 선택하는 단계; 및
    상기 사용자 터치가 감지된 지점에 상기 선택된 지시자 모델을 생성하여 디스플레이하는 단계;를 포함하는 제어 방법.
  18. 제10항에 있어서,
    상기 지시자에 대한 데이터는,
    상기 지시자가 디스플레이될 위치의 좌표값, 상기 지시자의 형태, 상기 지시자의 크기 및 상기 지시자의 두께 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.
  19. 전자 장치에 있어서,
    영상을 촬영하는 촬영부;
    상기 촬영된 영상을 3D 형태로 디스플레이하는 디스플레이부;
    외부의 사용자 단말과 통신을 수행하는 통신부; 및
    상기 촬영된 영상을 3D 형태로 디스플레이하는 동안 상기 촬영된 영상을 외부 사용자 단말로 전송하고, 상기 외부 사용자 단말로부터 상기 촬영된 영상에 포함된 오브젝트를 가리키는 지시자에 대한 데이터를 수신하도록 상기 통신부를 제어하며, 상기 지시자에 대한 데이터 및 카메라 포즈 데이터를 이용하여 상기 촬영된 영상 상에 상기 지시자를 3D 형태로 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함하는 전자 장치.
  20. 제19항에 있어서,
    상기 제어부는,
    상기 촬영된 영상 중 특정 각도에서 촬영된 제1 영상 프레임을 상기 외부 사용자 단말로 전송하도록 상기 통신부를 제어하며,
    상기 카메라 포즈 데이터는,
    상기 제1 영상 프레임의 촬영될 때 획득되는 것을 특징으로 하는 전자 장치.
  21. 제19항에 있어서,
    상기 제어부는,
    상기 촬영된 영상의 복수의 영상 프레임 및 복수의 영상 프레임에 대응되는 카메라 포즈 데이터를 상기 외부 사용자 단말로 전송하며, 상기 복수의 영상 프레임 중 선택된 제2 영상 프레임에 대응되는 카메라 포즈 데이터를 함께 수신하도록 상기 통신부를 제어하는 것을 특징으로 하는 전자 장치.
  22. 제19항에 있어서,
    상기 지시자에 대한 데이터는,
    상기 지시자가 디스플레이될 위치의 좌표값, 상기 지시자의 형태, 상기 지시자의 크기 및 상기 지시자의 두께 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 장치.
  23. 제19항에 있어서,
    상기 전자 장치는,
    헤드 마운트 디바이스(Head Mount Device)인 것을 특징으로 하는 전자 장치.
  24. 전자 장치의 제어 방법에 있어서,
    영상을 촬영하는 단계;
    상기 촬영된 영상을 3D 형태로 디스플레이하는 동안 상기 촬영된 영상을 외부 사용자 단말로 전송하는 단계;
    상기 외부 사용자 단말로부터 상기 촬영된 영상에 포함된 오브젝트를 가리키는 지시자에 대한 데이터를 수신하는 단계;
    상기 지시자에 대한 데이터 및 카메라 포즈 데이터를 이용하여 상기 촬영된 영상 상에 상기 지시자를 3D 형태로 디스플레이하는 단계;를 포함하는 제어 방법.
  25. 제24항에 있어서,
    상기 전송하는 단계는,
    상기 촬영된 영상 중 특정 각도에서 촬영된 제1 영상 프레임을 상기 외부 사용자 단말로 전송하며,
    상기 카메라 포즈 데이터는,
    상기 제1 영상 프레임의 촬영될 때 획득되는 것을 특징으로 하는 제어 방법.
  26. 제24항에 있어서,
    상기 전송하는 단계는,
    상기 촬영된 영상의 복수의 영상 프레임 및 복수의 영상 프레임에 대응되는 카메라 포즈 데이터를 상기 외부 사용자 단말로 전송하며,
    상기 수신하는 단계는,
    상기 복수의 영상 프레임 중 선택된 제2 영상 프레임에 대응되는 카메라 포즈 데이터를 함께 수신하는 것을 특징으로 하는 제어 방법.
  27. 제24항에 있어서,
    상기 지시자에 대한 데이터는,
    상기 지시자가 디스플레이될 위치의 좌표값, 상기 지시자의 형태, 상기 지시자의 크기 및 상기 지시자의 두께 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.
  28. 제24항에 있어서,
    상기 전자 장치는,
    헤드 마운트 디바이스(Head Mount Device)인 것을 특징으로 하는 제어 방법.


KR1020150132930A 2015-09-21 2015-09-21 사용자 단말, 전자 장치 및 이들의 제어 방법 KR102413074B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150132930A KR102413074B1 (ko) 2015-09-21 2015-09-21 사용자 단말, 전자 장치 및 이들의 제어 방법
US15/269,345 US10802784B2 (en) 2015-09-21 2016-09-19 Transmission of data related to an indicator between a user terminal device and a head mounted display and method for controlling the transmission of data
CN201680054665.8A CN108027707B (zh) 2015-09-21 2016-09-20 用户终端设备、电子设备以及控制用户终端设备和电子设备的方法
EP16848876.5A EP3304273B1 (en) 2015-09-21 2016-09-20 User terminal device, electronic device, and method of controlling user terminal device and electronic device
PCT/KR2016/010455 WO2017052150A1 (en) 2015-09-21 2016-09-20 User terminal device, electronic device, and method of controlling user terminal device and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150132930A KR102413074B1 (ko) 2015-09-21 2015-09-21 사용자 단말, 전자 장치 및 이들의 제어 방법

Publications (2)

Publication Number Publication Date
KR20170034543A true KR20170034543A (ko) 2017-03-29
KR102413074B1 KR102413074B1 (ko) 2022-06-24

Family

ID=58282777

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150132930A KR102413074B1 (ko) 2015-09-21 2015-09-21 사용자 단말, 전자 장치 및 이들의 제어 방법

Country Status (5)

Country Link
US (1) US10802784B2 (ko)
EP (1) EP3304273B1 (ko)
KR (1) KR102413074B1 (ko)
CN (1) CN108027707B (ko)
WO (1) WO2017052150A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180121000A1 (en) * 2016-10-27 2018-05-03 Microsoft Technology Licensing, Llc Using pressure to direct user input
US10627910B2 (en) * 2017-02-21 2020-04-21 Adobe Inc. Stroke operation prediction for three-dimensional digital content
US10657682B2 (en) 2017-04-12 2020-05-19 Adobe Inc. Drawing curves in space guided by 3-D objects
CN109508093B (zh) * 2018-11-13 2022-08-09 江苏视睿迪光电有限公司 一种虚拟现实交互方法及装置
US11086392B1 (en) * 2019-04-09 2021-08-10 Facebook Technologies, Llc Devices, systems, and methods for virtual representation of user interface devices
US11100328B1 (en) * 2020-02-12 2021-08-24 Danco, Inc. System to determine piping configuration under sink
US11354868B1 (en) * 2021-02-26 2022-06-07 Zebra Technologies Corporation Method to map dynamically drawn augmented reality (AR) scribbles using recognition of discrete spatial anchor(s)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120072867A (ko) * 2010-12-24 2012-07-04 삼성전자주식회사 3ｄ 디스플레이 단말 장치 및 그 조작 방법
KR20120132096A (ko) * 2011-05-27 2012-12-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101423699B1 (ko) * 2013-04-19 2014-08-01 주식회사 에이디자인 터치스크린의 입력 장치 및 방법
KR20140128207A (ko) * 2013-04-26 2014-11-05 삼성전자주식회사 펜을 이용하는 사용자 단말 장치 및 그 제어 방법

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6046712A (en) * 1996-07-23 2000-04-04 Telxon Corporation Head mounted communication system for providing interactive visual communications with a remote system
US9329719B2 (en) * 2007-03-15 2016-05-03 Apple Inc. Hybrid force sensitive touch devices
US9244562B1 (en) * 2009-07-31 2016-01-26 Amazon Technologies, Inc. Gestures and touches on force-sensitive input devices
JP5278912B2 (ja) 2009-12-15 2013-09-04 株式会社ワインスペース 通信装置、通信方法およびプログラム
KR101692433B1 (ko) 2010-01-07 2017-01-03 엘지전자 주식회사 영상 서비스 제공 방법, 그리고 이를 수행하는 영상 시스템 및 이동 단말기
KR101118010B1 (ko) 2010-07-16 2012-06-12 텔코웨어 주식회사 증강 현실을 이용한 영상 통화 서비스 방법 및 그 시스템, 및 기록매체
JP2012048623A (ja) * 2010-08-30 2012-03-08 Sony Corp 情報処理装置、パラメータ設定方法、及びプログラム
US20120105367A1 (en) 2010-11-01 2012-05-03 Impress Inc. Methods of using tactile force sensing for intuitive user interface
KR20120120858A (ko) 2011-04-25 2012-11-02 강준규 영상통화 서비스 및 그 제공방법, 이를 위한 영상통화서비스 제공서버 및 제공단말기
JP5993127B2 (ja) 2011-10-25 2016-09-14 オリンパス株式会社 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法
JP2013097593A (ja) 2011-11-01 2013-05-20 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP5970872B2 (ja) 2012-03-07 2016-08-17 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9210413B2 (en) 2012-05-15 2015-12-08 Imagine Mobile Augmented Reality Ltd System worn by a moving user for fully augmenting reality by anchoring virtual objects
US9966075B2 (en) 2012-09-18 2018-05-08 Qualcomm Incorporated Leveraging head mounted displays to enable person-to-person interactions
US20150212647A1 (en) * 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
KR20140081642A (ko) 2012-12-21 2014-07-01 삼성전자주식회사 외부 기기 제어 방법 및 시스템
US9202313B2 (en) 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
GB2510333A (en) * 2013-01-30 2014-08-06 Ibm Emulating pressure sensitivity on multi-touch devices
KR20230173231A (ko) 2013-03-11 2023-12-26 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
CN105339865B (zh) * 2013-04-04 2018-05-22 索尼公司 显示控制装置、显示控制方法以及计算机可读介质
US9535646B2 (en) * 2013-06-18 2017-01-03 Microsoft Technology Licensing, Llc Methods and systems for electronic ink projection
KR102138511B1 (ko) 2013-08-28 2020-07-28 엘지전자 주식회사 헤드 마운티드 디스플레이의 화상통화를 지원하는 포터블 디바이스 및 그 제어 방법
EP3063606A4 (en) * 2013-10-30 2017-08-09 Technology Against ALS Communication and control system and method
US20150130688A1 (en) 2013-11-12 2015-05-14 Google Inc. Utilizing External Devices to Offload Text Entry on a Head Mountable Device
KR102199193B1 (ko) * 2014-01-22 2021-01-06 삼성전자주식회사 핸드라이팅 정보 운용 방법 및 이를 지원하는 전자 장치
US20150261330A1 (en) * 2014-03-11 2015-09-17 Lumi Stream Inc. Method of using finger surface area change on touch-screen devices - simulating pressure
KR20150126494A (ko) * 2014-05-02 2015-11-12 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10225442B2 (en) * 2015-02-16 2019-03-05 Mediatek Inc. Electronic device and method for sensing air quality
EP3281403A4 (en) * 2015-04-06 2018-03-07 Scope Technologies US Inc. Methods and apparatus for augmented reality applications
KR20160125674A (ko) * 2015-04-22 2016-11-01 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US9503681B1 (en) * 2015-05-29 2016-11-22 Purdue Research Foundation Simulated transparent display with augmented reality for remote collaboration
US20160358383A1 (en) * 2015-06-05 2016-12-08 Steffen Gauglitz Systems and methods for augmented reality-based remote collaboration

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120072867A (ko) * 2010-12-24 2012-07-04 삼성전자주식회사 3ｄ 디스플레이 단말 장치 및 그 조작 방법
KR20120132096A (ko) * 2011-05-27 2012-12-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101423699B1 (ko) * 2013-04-19 2014-08-01 주식회사 에이디자인 터치스크린의 입력 장치 및 방법
KR20140128207A (ko) * 2013-04-26 2014-11-05 삼성전자주식회사 펜을 이용하는 사용자 단말 장치 및 그 제어 방법

Also Published As

Publication number Publication date
EP3304273A4 (en) 2018-09-05
EP3304273A1 (en) 2018-04-11
WO2017052150A1 (en) 2017-03-30
US20170083276A1 (en) 2017-03-23
US10802784B2 (en) 2020-10-13
EP3304273B1 (en) 2021-04-14
CN108027707B (zh) 2021-07-20
CN108027707A (zh) 2018-05-11
KR102413074B1 (ko) 2022-06-24

Similar Documents

Publication Publication Date Title
JP7297216B2 (ja) 拡張現実システムのためのタッチフリーインターフェース
US10635379B2 (en) Method for sharing screen between devices and device using the same
US10209513B2 (en) Wearable device and control method thereof
US10671115B2 (en) User terminal device and displaying method thereof
KR102413074B1 (ko) 사용자 단말, 전자 장치 및 이들의 제어 방법
US11443453B2 (en) Method and device for detecting planes and/or quadtrees for use as a virtual substrate
US9247303B2 (en) Display apparatus and user interface screen providing method thereof
KR102024187B1 (ko) 사용자 단말 장치 및 이의 디스플레이 방법
US20160357221A1 (en) User terminal apparatus and method of controlling the same
KR20170082349A (ko) 디스플레이 장치 및 그 제어 방법
KR102343361B1 (ko) 전자 기기 및 이의 웹 페이지 디스플레이 방법
KR20150056074A (ko) 전자 장치가 외부 디스플레이 장치와 화면을 공유하는 방법 및 전자 장치
CN109656442B (zh) 用户界面显示方法及其设备
KR102627191B1 (ko) 휴대 장치 및 휴대 장치의 화면 제어방법
US20150063785A1 (en) Method of overlappingly displaying visual object on video, storage medium, and electronic device
US20210067476A1 (en) Intelligent chat object sending animations
US20170123550A1 (en) Electronic device and method for providing user interaction based on force touch
US20140229823A1 (en) Display apparatus and control method thereof
KR20150093016A (ko) 디스플레이 장치 및 그 제어 방법
US11393164B2 (en) Device, method, and graphical user interface for generating CGR objects
KR102463080B1 (ko) 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법
US11212442B2 (en) Creation and display of a 360 degree looping video file
CN107077276B (zh) 用于提供用户界面的方法和装置
EP3128397B1 (en) Electronic apparatus and text input method for the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant