KR102409947B1 - 디스플레이 장치와 사용자 단말 장치 및 이를 포함하는 디스플레이 시스템 - Google Patents

디스플레이 장치와 사용자 단말 장치 및 이를 포함하는 디스플레이 시스템 Download PDF

Info

Publication number
KR102409947B1
KR102409947B1 KR1020170132056A KR20170132056A KR102409947B1 KR 102409947 B1 KR102409947 B1 KR 102409947B1 KR 1020170132056 A KR1020170132056 A KR 1020170132056A KR 20170132056 A KR20170132056 A KR 20170132056A KR 102409947 B1 KR102409947 B1 KR 102409947B1
Authority
KR
South Korea
Prior art keywords
display
terminal device
user terminal
motion
user
Prior art date
Application number
KR1020170132056A
Other languages
English (en)
Other versions
KR20190041069A (ko
Inventor
정희석
이상영
조규현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170132056A priority Critical patent/KR102409947B1/ko
Priority to US16/106,905 priority patent/US20190114837A1/en
Priority to PCT/KR2018/011784 priority patent/WO2019074243A1/en
Priority to CN201880057177.1A priority patent/CN111052053A/zh
Priority to EP18866504.6A priority patent/EP3631606B1/en
Publication of KR20190041069A publication Critical patent/KR20190041069A/ko
Priority to US16/867,088 priority patent/US11367258B2/en
Application granted granted Critical
Publication of KR102409947B1 publication Critical patent/KR102409947B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/34—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators for rolling or scrolling
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

디스플레이 장치가 개시된다. 디스플레이 장치는, 디스플레이, 통신부 및, VR (Virtual Reality) 컨텐츠를 디스플레이 상에 디스플레이하고, 통신부를 통해 사용자 단말 장치로부터 VR 컨텐츠의 디스플레이 시점 영역을 변경하기 위한 트리거 신호 및 모션 정보가 수신되면, 모션 정보에 포함된 제1 모션 방향에 기초하여 VR 컨텐츠의 디스플레이 시점 영역을 연속적으로 변경하여 디스플레이하고, 사용자 단말 장치로부터 기설정된 신호가 수신되면, 디스플레이 시점 영역의 변경을 종료하도록 디스플레이를 제어하는 프로세서를 포함한다.

Description

디스플레이 장치와 사용자 단말 장치 및 이를 포함하는 디스플레이 시스템 { Display device, user terminal device, display system comprising the same and control method thereof }
본 발명은 VR 컨텐츠를 디스플레이하는 디스플레이 장치, 사용자 단말 장치, 이를 포함하는 디스플레이 시스템 및 그 제어 방법에 관한 것이다.
일반적으로, VR(Virtual Reality: 가상 현실) 기술은 컴퓨터 그래픽(Computer Graphic, CG) 기술을 통하여 만들어진 실제 환경과 유사한 3차원 가상 환경 내에서 인체의 모든 감각(시각, 청각, 후각, 미각, 촉각)이 상호 작용하여 가상으로 창조한 세계에 몰입되게 함으로써 참여자에게 가상 공간을 3차원적으로 재현하고 인간을 이 가상 공간에 몰입시킴으로써 정보의 활용을 극대화하는 것을 궁극적 목표로 하는 기술을 말한다.
VR 기술을 구현하기 위해서는 VR 헤드셋을 착용하는 방법이 있고, TV 등의 고정형 디스플레이에서 VR 영상을 시청하는 방법이 있다.
착용형의 경우 VR 헤드셋을 쓰고 전후좌우는 물론 위아래 어디든 고개를 돌림으로써 방향 전환을 쉽게 할 수 있다.
다만, 고정형의 경우 디스플레이 장치와 연결된 원격 제어 장치의 버튼을 누르거나 원격 제어 장치를 직접 이동하여 디스플레이 시점을 변경하고, 또는 2D 평면에서 움직이는 포인터를 마우스와 같은 방법으로 조작하여 디스플레이 시점을 변경할 수 있었다.
다만, 현재 디스플레이되고 있는 시점 영역에서 먼 거리로 시점 영역을 이동하고자 하는 경우 원격 제어 장치의 버튼 또는 화면에 디스플레이된 포인터 등을 계속하여 조작하여야하는 불편함이 있었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 사용자 단말 장치의 모션 정보에 기초하여 VR 컨텐츠의 디스플레이 시점 영역을 연속적으로 변경할 수 있는 디스플레이 장치, 사용자 단말 장치, 이를 포함하는 디스플레이 시스템 및 그 제어 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는, 디스플레이, 통신부 및, VR (Virtual Reality) 컨텐츠를 상기 디스플레이 상에 디스플레이하고, 상기 통신부를 통해 사용자 단말 장치로부터 상기 VR 컨텐츠의 디스플레이 시점 영역을 변경하기 위한 트리거 신호 및 상기 사용자 단말 장치의 모션 정보가 수신되면, 상기 모션 정보에 포함된 제1 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 기설정된 신호가 수신될 때까지 변경하여 디스플레이하고, 상기 사용자 단말 장치로부터 상기 기설정된 신호가 수신되면, 상기 디스플레이 시점 영역의 변경을 종료하도록 상기 디스플레이를 제어하는 프로세서를 포함한다.
또한, 상기 프로세서는, 상기 제1 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 변경하는 동안 상기 제1 모션 방향과 상이한 제2 모션 방향을 포함하는 모션 정보가 수신되면, 상기 제2 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 기설정된 신호가 수신될 때까지 변경할 수 있다.
또한, 상기 프로세서는, 상기 모션 정보에 포함된 모션 속도가 기설정된 값 이상이면, 상기 모션 정보에 포함된 상기 제1 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 변경할 수 있다.
또한, 상기 프로세서는, 상기 제1 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 기설정된 속도로 변경할 수 있다.
또한, 상기 프로세서는, 상기 모션 정보에 포함된 모션 속도가 기설정된 값 이상 제1 임계값 미만이면, 상기 VR 컨텐츠의 디스플레이 시점 영역이 변경되는 속도를 제1 속도로 제어하고, 상기 모션 속도가 상기 제1 임계값 이상 제2 임계값 미만이면, 상기 VR 컨텐츠의 디스플레이 시점 영역이 변경되는 속도를 제2 속도로 제어할 수 있다.
또한, 상기 프로세서는, 상기 모션 정보에 포함된 제3 모션 방향에 기초하여 상기 디스플레이된 VR 컨텐츠를 기설정된 신호가 수신될 때까지 확대 또는 축소하여 디스플레이할 수 있다.
또한, 상기 프로세서는, 상기 사용자 단말 장치로부터 상기 모션 정보가 추가적으로 수신되지 않더라도, 상기 기설정된 신호가 수신되기 전까지 상기 제1 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 변경할 수 있다.
또한, 상기 프로세서는, 상기 사용자 단말 장치로부터 상기 모션 정보를 주기적으로 수신하고, 상기 모션 정보에 기초하여 상기 사용자 단말 장치의 움직임이 없다고 판단되더라도 상기 제1 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 기설정된 신호가 수신될 때까지 변경할 수 있다.
또한, 상기 모션 정보는 상기 사용자 단말 장치에 설치된 기설정된 어플리케이션에서 생성된 정보일 수 있다.
또한, 본 발명의 일 실시 예에 따른 디스플레이 장치 및 사용자 단말 장치를 포함하는 디스플레이 시스템은, VR(Virtual Reality) 컨텐츠를 디스플레이하는 디스플레이 장치 및, 상기 디스플레이 장치를 제어하기 위한 모션을 감지하고, 감지된 모션에 기초한 모션 정보를 상기 디스플레이 장치로 전송하는 사용자 단말 장치를 포함하며, 상기 디스플레이 장치는, 상기 사용자 단말 장치로부터 상기 VR 컨텐츠의 디스플레이 시점 영역을 변경하기 위한 트리거 신호 및 모션 정보가 수신되면, 상기 모션 정보에 포함된 제1 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 기설정된 신호가 수신될 때까지 변경하여 디스플레이하고, 상기 사용자 단말 장치로부터 상기 기설정된 신호가 수신되면, 상기 디스플레이 시점 영역의 변경을 종료할 수 있다.
또한, 상기 디스플레이 장치는, 상기 제1 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 변경하는 동안 상기 제1 모션 방향과 상이한 제2 모션 방향을 포함하는 모션 정보가 수신되면, 상기 제2 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 기설정된 신호가 수신될 때까지 변경할 수 있다.
또한, 상기 사용자 단말 장치는, 상기 화면 터치가 유지되는 동안 상기 모션 정보가 업데이트되면 상기 업데이트된 모션 정보를 상기 디스플레이 장치로 전송할 수 있다.
또한, 본 발명의 일 실시 예에 따른 디스플레이 장치 제어 방법은, 사용자 단말 장치로부터 VR (Virtual Reality) 컨텐츠의 디스플레이 시점 영역을 변경하기 위한 트리거 신호 및 상기 모션 정보를 수신하는 단계, 상기 모션 정보에 포함된 제1 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 기설정된 신호가 수신될 때까지 변경하여 디스플레이하는 단계 및, 상기 사용자 단말 장치로부터 상기 기설정된 신호가 수신되면, 상기 디스플레이 시점 영역의 변경을 종료하는 단계를 포함할 수 있다.
또한, 상기 변경하여 디스플레이하는 단계는, 상기 제1 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 변경하는 동안 상기 제1 모션 방향과 상이한 제2 모션 방향을 포함하는 모션 정보가 수신되면, 상기 제2 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 기설정된 신호가 수신될 때까지 변경할 수 있다.
또한, 상기 변경하여 디스플레이하는 단계는, 상기 모션 정보에 포함된 모션 속도가 기설정된 값 이상이면, 상기 모션 정보에 포함된 상기 제1 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 변경할 수 있다.
또한, 상기 변경하여 디스플레이하는 단계는, 상기 제1 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 기설정된 속도로 변경할 수 있다.
또한, 상기 변경하여 디스플레이하는 단계는, 상기 모션 정보에 포함된 모션 속도가 기설정된 값 이상 제1 임계값 미만이면, 상기 VR 컨텐츠의 디스플레이 시점 영역이 변경되는 속도를 제1 속도로 제어하고, 상기 모션 속도가 상기 제1 임계값 이상 제2 임계값 미만이면, 상기 VR 컨텐츠의 디스플레이 시점 영역이 변경되는 속도를 제2 속도로 제어할 수 있다.
또한, 상기 변경하여 디스플레이하는 단계는, 상기 사용자 단말 장치로부터 상기 모션 정보가 추가적으로 수신되지 않더라도, 상기 기설정된 신호가 수신되기 전까지 상기 제1 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 변경할 수 있다.
또한, 상기 디스플레이 장치는, 상기 사용자 단말 장치로부터 상기 모션 정보를 주기적으로 수신하고, 상기 변경하여 디스플레이하는 단계는, 상기 모션 정보에 기초하여 상기 사용자 단말 장치의 움직임이 없다고 판단되더라도 상기 제1 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 기설정된 신호가 수신될 때까지 변경할 수 있다.
또한, 본 발명의 일 실시 예에 따른 디스플레이 장치의 프로세서에 의해 실행되는 경우 상기 디스플레이 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은, 사용자 단말 장치로부터 VR (Virtual Reality) 컨텐츠의 디스플레이 시점 영역을 변경하기 위한 트리거 신호 및 상기 모션 정보를 수신하는 단계, 상기 모션 정보에 포함된 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 기설정된 신호가 수신될 때까지 변경하여 디스플레이하는 단계 및, 상기 사용자 단말 장치로부터 상기 기설정된 신호가 수신되면, 상기 디스플레이 시점 영역의 변경을 종료하는 단계를 포함할 수 있다.
상술한 바와 같이 본 발명의 다양한 실시 예에 따르면 간단한 조작만으로 디스플레이 장치에 디스플레이되는 VR 컨텐츠의 디스플레이 시점 영역을 용이하게 연속적으로 변경할 수 있게 되므로 사용자의 편의성이 향상된다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 시스템의 구성을 나타내는 모식도이다.
도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 3a 내지 3c는 본 발명의 일 실시 예에 따른 디스플레이 시점 영역의 방향 변경을 나타내는 도면들이다.
도 4는 본 발명의 일 실시 예에 따른 디스플레이 시점 영역의 확대를 나타내는 도면이다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 디스플레이 시점 영역이 모션 속도에 기초하여 서로 다른 속도로 변경됨을 나타내는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 디스플레이 시점 영역의 이동 속도 변경을 나타내는 도면이다.
도 7은 도 2의 디스플레이 장치의 세부 구성의 일 예를 나타내는 블럭도이다.
도 8은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도이다.
도 9는 본 발명의 일 실시 예에 따른 디스플레이 장치 및 사용자 단말 장치의 상호 간 동작을 설명하기 위한 시퀀스도이다.
도 10은 본 발명의 일 실시 예에 따른 디스플레이 장치를 제어하는 방법을 설명하기 위한 흐름도이다.
도 11은 본 발명의 일 실시 예에 따른 사용자 단말 장치를 제어하는 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 개시에 대해 상세히 설명하도록 한다. 본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 덧붙여, 하기 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.
또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 나아가, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 개시의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.
이하, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 시스템의 구성을 나타내는 모식도이다.
도 1에 따르면, 본 발명의 일 실시 예에 따른 디스플레이 시스템(10)은 디스플레이 장치(100) 및 사용자 단말 장치(200)를 포함한다.
디스플레이 장치(100)는 사용자 단말 장치(200)에 의해 제어 가능하도록 구현될 수 있다. 예를 들어, 디스플레이 장치(100)는 TV로 구현될 수 있다. 다만, PC, LFD(large format display), Digital Signage(디지털 간판), DID(Digital Information Display), 비디오 월(video wall), 프로젝터 디스플레이 등과 같은 디스플레이 기능을 구비하며, 사용자 단말 장치(200)에 의해 제어 가능한 다양한 유형의 전자 장치로 구현될 수 있다.
디스플레이 장치(100)는 VR 컨텐츠를 디스플레이할 수 있다. 여기서, VR 컨텐츠란 360도 전방위 시점의 파노라마 영상으로, 기존 컨텐츠에서 제공하지 못한 입체적인 시청이 가능하고 촬영자의 특정 시선에 종속된 시청 형태가 아닌 360도 전방위에서 사용자가 원하는 방향을 선택해서 시청할 수 있는 컨텐츠를 의미한다. 다만, 경우에 따라서는 VR 컨텐츠는 360도가 아닌, 180도, 270도 등의 영상으로 구현될 수도 있음은 물론이다.
사용자 단말 장치(200)는 디스플레이 장치(100)를 제어할 수 있는 기능을 구비한다. 사용자 단말 장치(200)는 예를 들어, 스마트 폰으로 구현될 수 있다. 다만, 사용자 단말 장치(200)를 파지한 사용자의 모션을 인식할 수 있는 장치라면 이에 한정되지 않고 적용 가능하다. 예를 들어, 리모컨이나 태블릿 PC 등으로 구현될 수도 있다.
한편, 종래에는 디스플레이 장치(100)에 디스플레이된 VR 컨텐츠의 디스플레이 시점 영역을 연속적으로 변경하기 위해서는 리모컨과 같은 제어 장치를 연속적으로 이동시켜야 했다. 즉, 사용자가 시청하려는 시점 영역이 현재 디스플레이된 시점 영역으로부터 멀리 떨어져 있는 경우, 사용자는 제어 장치를 시청하려는 방향으로 계속하여 이동시키거나, 특정 키를 연속적으로 입력해야하는 불편함이 있었다.
반면, 본 발명의 일 실시 예에 따르면, 사용자 단말 장치(200)로부터 수신된 모션 정보에 기초하여 디스플레이 장치(100)는 VR 컨텐츠의 디스플레이 시점 영역을 연속적으로 변경할 수 있는데, 이하에서는 도면을 참조하여 본 발명의 다양한 실시 예에 대해 자세히 설명하도록 한다.
도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 2에 따르면, 디스플레이 장치(100)는 디스플레이(110), 통신부(120) 및 프로세서(130)를 포함한다.
디스플레이(110)는 컨텐츠를 출력한다. 여기서, 출력되는 컨텐츠는 360도 영상을 포함하는 VR 컨텐츠가 될 수 있으나, 이에 한정되는 것은 아니며, 일반 2D 컨텐츠 등도 이에 포함될 수 있다.
디스플레이(110)는 LCD(liquid crystal display), OLED(organic light-emitting diode), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing), QD(quantum dot) 디스플레이 패널 등과 같은 다양한 형태로 구현될 수 있다.
통신부(120)는 사용자 단말 장치(200)와 통신을 수행한다. 여기서, 통신부(120)는 BT(BlueTooth), WI-FI(Wireless Fidelity), Zigbee, IR(Infrared) 와 같은 통신 방식으로 사용자 단말 장치(200)와 무선 통신을 수행할 수 있으나, Serial Interface, USB(Universal Serial Bus), NFC(Near Field Communication) 등과 같은 다양한 통신 방식을 통해 사용자 단말 장치(200)와 통신을 수행할 수도 있다.
예를 들어, 통신부(120)는 기설정된 이벤트가 발생하면, 사용자 단말 장치(200)와의 기정의된 통신 방식에 따라 통신을 수행하여 연동 상태가 될 수 있다. 여기서, 연동은 디스플레이 장치(100)와 사용자 단말 장치(200) 간에 통신이 초기화되는 동작, 네트워크가 형성되는 동작, 기기 페어링이 수행되는 동작 등 통신이 가능한 상태가 되는 모든 상태를 의미할 수 있다. 예를 들어, 사용자 단말 장치(200)의 기기 식별 정보가 디스플레이 장치(100)로 제공되고, 그에 따라 양 기기 간의 페어링 절차가 수행될 수 있다. 예를 들어, 디스플레이 장치(100) 또는 사용자 단말 장치(200)에서 기설정된 이벤트가 발생하면, DLNA(Digital Living Network Alliance) 기술을 통해 주변 기기를 탐색하고 탐색된 기기와 페어링을 수행하여 연동 상태가 될 수 있다.
프로세서(130)는 디스플레이 장치(100)의 전반적인 동작을 제어한다.
일 실시 예에 따라 프로세서(130)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), 마이크로 컨트롤러(microcontroller)로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(140)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
프로세서(130)는 디스플레이(110) 상에 VR 컨텐츠가 디스플레이된 상태에서, 통신부(120)를 통해 사용자 단말 장치(200)로부터 모션 정보가 수신되면, 수신된 모션 정보에 기초하여 VR 컨텐츠의 디스플레이 시점 영역을 변경할 수 있다.
모션 정보는 사용자 단말 장치(200)의 움직임 동작에 관한 정보를 의미한다. 예를 들어, 모션 정보는, 사용자 단말 장치(200)의 움직임 속도를 나타내는 모션 속도, 움직임 방향을 나타내는 모션 방향, 회전 움직임 속도를 나타내는 회전 속도 중 적어도 하나를 포함할 수 있다.
구체적으로 프로세서(130)는 통신부(120)를 통해 사용자 단말 장치(200)로부터 VR 컨텐츠의 디스플레이 시점 영역을 변경하기 위한 트리거 신호 및 사용자 단말 장치(200)의 모션 정보를 수신할 수 있다. 이어서, 프로세서(130)는 트리거 신호 및 모션 정보가 수신되면 모션 정보에 포함된 제1 모션 방향에 기초하여 VR 컨텐츠의 디스플레이 시점 영역을 기설정된 신호가 수신될 때까지 변경하여 디스플레이 할 수 있다.
이후, 프로세서(130)는 사용자 단말 장치(200)로부터 기설정된 신호가 수신되면, 디스플레이 시점 영역의 변경을 종료할 수 있다. 여기서, VR 컨텐츠의 디스플레이 시점 영역이란, 디스플레이 장치(100)에 VR 컨텐츠에서 현재 디스플레이되는 특정 시점의 영역을 의미한다. 예를 들어, 프로세서(130)는 우측 방향의 모션 정보가 수신되면, 현재 디스플레이되는 시점 영역을 기준으로 우측 시점의 영상을 디스플레이할 수 있다. 즉, 현재 화면 중앙에 디스플레이되는 영상 영역 우측의 영상 영역이 화면 중앙에 디스플레이되도록 디스플레이 시점 영역을 연속적으로 변경할 수 있다.
여기서, 트리거 신호는 사용자가 사용자 단말 장치(200)의 화면, 예를 들어 특정 터치 영역을 터치함으로써 생성될 수 있다. 이 경우, 트리거 신호는 생성과 동시에 디스플레이 장치(100)로 전송되거나, 이후에 생성되는 모션 정보와 함께 디스플레이 장치(100)로 전송될 수 있다. 다만, 이에 한정되는 것은 아니며, 사용자 단말 장치(200)에 구비된 기설정된 버튼(예를 들어, 홈 버튼)의 누름 조작, 이하에서 설명하는 VR 컨텐츠의 디스플레이 시점을 연속적으로 변경하기 위한 사용자 모션과 구별되는 사용자 모션에 기초하여 생성될 수도 있다. 예를 들어, 사용자가 사용자 단말 장치(200)를 시계 또는 반 시계 방향으로 회전시키거나, 사용자 단말 장치(200)를 앞 또는 뒤로 이동시키는 모션이 있는 경우 트리거 신호가 생성될 수도 있다. 다만, 이하에서는 설명의 편의를 위해 트리거 신호는 사용자가 사용자 단말 장치(200)의 화면을 터치함으로써 생성되는 것으로 설명한다.
프로세서(130)는 제1 모션 방향에 기초하여 VR 컨텐츠의 디스플레이 시점 영역을 변경하는 동안 제1 모션 방향과 상이한 제2 모션 방향을 포함하는 모션 정보가 수신되면, 제2 모션 방향에 기초하여 VR 컨텐츠의 디스플레이 시점 영역을 기설정된 신호가 수신될 때까지 연속적으로 변경할 수 있다. 예를 들어, 우측 방향의 모션 정보에 따라 디스플레이 시점 영역을 우측으로 변경 즉, 현재 화면 중앙에 디스플레이된 영상 영역을 기준으로 우측의 영상 영역이 화면 중앙에 위치되도록 디스플레이 시점 영역을 연속적으로 변경하는 동안 상측 방향의 모션 정보가 수신되면, 현재 화면 중앙에 디스플레이된 영상 영역을 기준으로 상측의 영상 영역이 화면 중앙에 위치되도록 기설정된 신호가 수신될 때까지 디스플레이 시점 영역을 연속적으로 변경할 수 있다. 이와 같은 디스플레이 시점 영역의 변경은 기설정된 신호가 수신될 때까지 연속적으로 이루어질 수 있다. 즉, 프로세서(130)는 디스플레이 시점 영역 변경을 종료하는 명령이 수신되기 전에 수신되는 모션 정보에 포함된 모션 방향이 변경되는 경우, 변경된 모션 방향에 기초하여 디스플레이 시점 영역을 연속적으로 변경할 수 있다.
일 실시 예에 따르면, 사용자 단말 장치(200)의 화면 터치가 시작되는 시점에 트리거 신호가 적어도 한 번 디스플레이 장치(100)로 전송되고, 이후, 터치 종료 시점에 디스플레이 시점 영역 변경을 종료하는 명령이 포함된 기설정된 신호가 디스플레이 장치(100)로 전송될 수 있다. 여기서, 기설정된 신호는 트리거 신호와 동일한 신호이거나, 상이한 신호일 수 있다. 예를 들어, 프로세서(130)는 트리거 신호가 수신되면, 디스플레이 시점 영역 변경을 시작하고, 동일한 신호가 재차 수신되면 디스플레이 시점 영역 변경을 종료할 수 있다.
이 경우, 프로세서(130)는 트리거 신호와 함께 또는 트리거 신호 수신 이후에 처음으로 수신된 모션 정보에 기초하여 디스플레이 시점 영역을 연속적으로 변경하되, 기설정된 종료 신호가 수신될 때까지 시점 영역의 변경을 유지할 수 있다.
다른 실시 예에 따르면, 사용자 단말 장치(200)의 화면 터치가 유지되는 동안 트리거 신호는 연속적 또는 주기적으로 생성되어 디스플레이 장치(100)로 전송될 수 있다. 이 경우, 프로세서(130)는, 트리거 신호 및 모션 정보가 수신되는 동안 VR 컨텐츠의 시점 영역을 연속적으로 변경하고, 트리거 신호의 수신이 중지되면 디스플레이 시점 영역 변경을 종료할 수 있다.
한편, 사용자 단말 장치(200)는 사용자 터치 동작이 있은 이후의 모션 정보만을 디스플레이 장치(100)로 전송할 수 있다. 이 경우, 사용자 단말 장치(200)는 사용자 터치 동작이 있기 전에도 모션 인식을 수행하고, 터치 동작이 있은 이후에 생성된 모션 정보만을 디스플레이 장치(100)로 전송하거나, 사용자 터치 동작이 있은 이후에 모션 인식을 개시하는 것도 가능하다.
사용자 단말 장치(200)는 사용자 터치 동작이 있은 후, 생성된 모션 정보를 한번 전송한 후 이후 생성된 동일한 모션 정보는 전송하지 않고, 변경된 모션 정보 만을 전송할 수 있다. 이 경우, 프로세서(130)는 트리거 신호와 함께 또는 트리거 신호 수신 이후에 처음으로 수신된 제1 모션 정보에 기초하여 디스플레이 시점 영역을 연속적으로 변경하되, 기설정된 종료 신호가 수신될 때까지 제1 모션 정보에 기초한 시점 영역의 변경을 유지할 수 있다. 다만, 프로세서(130)는 기설정된 종료 신호가 수신되기 이전에 제1 모션 정보와 상이한 제2 모션 정보가 수신되면, 제2 모션 정보에 기초하여 기설정된 종료 신호가 수신될 때까지 시점 영역의 변경을 계속할 수 있다.
또는 사용자 단말 장치(200)는 터치가 유지되는 동안 모션 정보를 연속적 또는 주기적으로 디스플레이 장치(100)로 전송하고, 터치가 종료되면 모션 정보의 전송을 중지할 수 있다. 이 경우, 프로세서(130)는 모션 정보가 수신되는 동안 VR 컨텐츠의 시점 영역을 연속적으로 변경하고, 모션 정보의 수신이 중지되면 디스플레이 시점 영역 변경을 종료할 수 있다.
설명의 편의를 위해서 이하에서는 사용자 단말 장치(200)는 화면 터치가 시작되는 시점에 트리거 신호를 적어도 한 번 디스플레이 장치(100)로 전송하고, 터치 종료 시점에 디스플레이 시점 영역 변경을 종료하는 명령이 포함된 기설정된 신호를 디스플레이 장치(100)로 전송하는 것으로 설명한다.
일 실시 예에 따라, 프로세서(130)는 트리거 신호 및 모션 정보가 수신되면 모션 정보에 포함된 모션 속도에 관계 없이 모션 정보에 포함된 제1 모션 방향에 기초하여 VR 컨텐츠의 디스플레이 시점 영역을 연속적으로 변경할 수 있다.
다른 실시 예에 따라, 프로세서(130)는 모션 정보에 포함된 모션 속도가 기설정된 값 이상이면, 모션 정보에 포함된 제1 모션 방향에 기초하여 VR 컨텐츠의 디스플레이 시점 영역을 변경할 수 있다.
즉, 프로세서(130)는 사용자가 기설정된 속도 이상으로 사용자 단말 장치(200)를 움직이는 경우에만, 디스플레이 시점 영역을 변경하려는 의도가 있는 것으로 판단할 수 있다.
따라서, 프로세서(130)는 사용자 단말 장치(200)로부터 트리거 신호 및 방향 정보가 포함된 모션 정보가 수신되더라도 모션 속도가 기설정된 속도 미만이면 디스플레이 시점 영역을 변경하지 않을 수 있다.
한편, 일 실시 예에 따르면, 프로세서(130)는 제1 모션 방향에 기초하여 VR 컨텐츠의 디스플레이 시점 영역을 기설정된 속도로 변경할 수 있다. 예를 들어, 프로세서(130)는 모션 정보에 포함된 모션 속도에 관계 없이 디스플레이의 시점 영역을 기설정된 속도로 변경할 수 있다. 예를 들어, 프로세서(130)는 디폴트 속도로 VR 컨텐츠의 디스플레이 시점 영역을 연속적으로 변경할 수 있다.
다른 실시 예에 따르면, 프로세서(130)는 기설정된 시간 동안만 디폴트 속도를 유지하고, 기설정된 시간이 경과하면 변경 속도를 점차 감소시킬 수 있다. 또는 프로세서(130)는 VR 컨텐츠의 디스플레이 시점 영역의 변경 속도를 기설정된 속도에서 단계적 또는 점진적으로 감소시킬 수 있다. 이는 디스플레이 시점 영역이 빠르게 변경되는 경우 사용자는 시청하려는 디스플레이 시점 영역을 정확히 선택, 예를 들어, 사용자가 해당 시점 영역이 디스플레이된 시점에서 정확히 터치를 종료하는 것이 어려울 수 있기 때문이다. 이에 따라, 프로세서(130)는 속도를 조정하여 사용자가 시청하려는 디스플레이 시점 영역을 정확하게 선택할 수 있도록 할 수 있다.
다른 실시 예에 따르면, 프로세서(130)는 모션 정보에 포함된 모션 속도에 기초하여 VR 컨텐츠의 디스플레이 시점 영역을 대응되는 속도로 변경할 수 있다.
예를 들어, 프로세서(130)는 모션 정보에 포함된 모션 속도가 기설정된 값 이상 제1 임계값 미만이면, VR 컨텐츠의 디스플레이 시점 영역이 변경되는 속도를 제1 속도로 제어하고, 모션 속도가 제1 임계값 이상이고 제2 임계값 미만이면, VR 컨텐츠의 디스플레이 시점 영역이 변경되는 속도를 제2 속도로 제어할 수 있다. 다만, 이에 한정되는 것은 아니며 제2 임계값 이상의 복수의 임계값이 있는 경우 각 속도 구간에 대응되는 속도로 VR 컨텐츠의 디스플레이 시점 영역을 연속적으로 변경할 수 있다.
일 예에 따라, 사용자가 시청하려는 디스플레이 시점 영역이 현재 디스플레이된 시점 영역에 근접한 경우, 사용자는 사용자 단말 장치(200)를 기설정된 값 이상 제1 임계값 미만의 속도로 움직일 수 있다. 이에 따라, 프로세서(130)는 사용자가 원하는 시점 영역을 정확하게 선택할 수 있도록 디스플레이 시점 영역을 상대적으로 느린 제1 속도로 변경할 수 있다.
또한, 사용자가 시청하려는 디스플레이 시점 영역이 현재 디스플레이된 시점 영역으로부터 먼 시점 영역인 경우, 사용자는 사용자 단말 장치(200)를 제1 임계값 이상으로 움직일 수 있다. 이에 따라, 프로세서(130)는 상대적으로 빠른 속도로 디스플레이 시점 영역을 변경하여 짧은 시간 내에 사용자가 시청하려는 시점 영역을 디스플레이할 수 있다.
프로세서(130)는 모션 정보에 포함된 제3 모션 방향에 기초하여 디스플레이된 VR 컨텐츠를 기설정된 신호가 수신될 때까지 확대 또는 축소하여 디스플레이할 수 있다.
여기서, VR 컨텐츠를 확대 또는 축소하기 위한 제3 모션 방향은 사용자 단말 장치(200)를 시계 또는 반 시계 방향으로 회전시키는 방향일 수 있다. 이에 따라 확대 또는 축소하기 위한 모션은 모션 방향 정보 외에 모션 회전 정보를 포함할 수 있다.
다만, 이에 한정되는 것은 아니며 사용자 단말 장치(200)를 앞 또는 뒤로 이동시키는 방향일 수 있다.
상술한 바와 같이 본 발명의 다양한 실시 예에 따르면, 사용자가 사용자 단말 장치(200)를 특정 방향으로 한번 움직이는 조작만으로, VR 컨텐츠의 디스플레이 시점 영역을 기설정된 신호가 수신될 때까지 연속적으로 변경할 수 있게 된다.
한편, 본 발명의 일 실시 예에 따르면, 사용자 단말 장치(200)의 모션 정보는 사용자 단말 장치(200)에 설치된 기설정된 어플리케이션에서 생성된 정보일 수 있다. 이에 따라, 디스플레이 장치(100)에 별도의 제품을 추가하는 등의 변화 없이도 사용자 단말 장치(200)에 설치된 어플리케이션과 호환 가능한 어플리케이션 설치만으로 사용자 단말 장치(200)의 모션 정보를 수신하여 처리할 수 있게 된다.
도 3a 내지 3c는 본 발명의 일 실시 예에 따른 디스플레이 시점 영역의 방향 변경을 나타내는 도면들이다.
도 3a는 디스플레이 시점 영역이 우측으로 변경되는 도면을 나타낸다.
사용자 단말 장치(200)의 기설정된 영역 예를 들어, 홈 버튼이 터치된 상태에서 사용자 단말 장치(200)가 우측으로 이동되면(321), 사용자 단말 장치(200)는 트리거 신호 및 우측 방향 모션이 포함된 모션 정보를 디스플레이 장치(100)로 전송한다. 이 경우, 디스플레이 장치(100)는 수신된 모션 정보에 기초하여 VR 컨텐츠(310)에서 현재 디스플레이되고 있는 시점 영역(320)을 우측 방향으로 연속적으로 변경하여 디스플레이 할 수 있다. 이후, 사용자가 터치를 종료하여 사용자 단말 장치(200)로부터 기설정된 신호가 수신되면 디스플레이 장치(100)는 디스플레이 시점 영역의 변경을 종료하고 대응되는 시점 영역(330)을 디스플레이 할 수 있다.
도 3b는 디스플레이 시점 영역이 상측 방향으로 변경되는 도면을 나타낸다.
사용자 단말 장치(200)의 기설정된 영역이 터치된 상태에서 사용자 단말 장치(200)가 상측 방향으로 이동되면(341), 사용자 단말 장치(200)는 트리거 신호 및 상측 방향 모션이 포함된 모션 정보를 디스플레이 장치(100)로 전송한다. 이 경우, 디스플레이 장치(100)는 수신된 모션 정보에 기초하여 VR 컨텐츠(310)에서 현재 디스플레이되고 있는 시점 영역(340)을 상측 방향으로 연속적으로 변경하여 디스플레이 할 수 있다. 이후, 사용자가 터치를 종료하여 사용자 단말 장치(200)로부터 기설정된 신호가 수신되면 디스플레이 장치(100)는 디스플레이 시점 영역의 변경을 정지하고 대응되는 시점 영역(350)을 디스플레이 할 수 있다.
도 3c는 디스플레이 시점 영역이 대각선 방향으로 변경되는 도면을 나타낸다.
사용자 단말 장치(200)의 기설정된 영역이 터치된 상태에서 사용자 단말 장치(200)가 대각선 방향으로 이동되면(361), 사용자 단말 장치(200)는 트리거 신호 및 대각선 방향 모션이 포함된 모션 정보를 디스플레이 장치(100)로 전송한다. 이 경우, 디스플레이 장치(100)는 수신된 모션 정보에 기초하여 VR 컨텐츠(310)에서 현재 디스플레이되고 있는 시점 영역(360)을 대각선 방향으로 연속적으로 변경하여 디스플레이 할 수 있다. 이후, 사용자가 터치를 종료하여 사용자 단말 장치(200)로부터 기설정된 신호가 수신되면 디스플레이 장치(100)는 디스플레이 시점 영역의 변경을 정지하고 대응되는 시점 영역(370)을 디스플레이 할 수 있다.
도 3a 내지 도 3c는 사용자 단말 장치(200)가 일 방향으로 움직이는 경우를 각각 설명하였으나, 사용자 단말 장치(200)의 이동 방향이 변경되는 경우 디스플레이 장치(100)는 변경된 이동 방향에 대응되도록 디스플레이 시점 영역을 연속적으로 변경하여 디스플레이할 수 있다. 예를 들어, 기설정된 영역이 터치된 사용자 단말 장치(200)가 우측으로 이동 후 상측으로 이동하는 경우, 디스플레이 장치(100)는 디스플레이 시점 영역을 우측 방향으로 변경 즉, 현재 화면 중앙에 디스플레이된 영상 영역 우측의 영상 영역이 화면 중앙에 위치되도록 디스플레이 시점 영역을 변경한 후 현재 화면 중앙에 디스플레이된 영상 영역 상측의 영상 영역이 화면 중앙에 위치되도록 디스플레이 시점 영역을 연속적으로 변경할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 디스플레이 시점 영역의 확대를 나타내는 도면이다.
도 4에 따르면, 사용자 단말 장치(200)의 기설정된 영역이 터치된 상태에서 사용자 단말 장치(200)가 시계 방향으로 회전되면(421), 사용자 단말 장치(200)는 트리거 신호 및 줌 인(Zoom-In) 명령이 포함된 모션 정보를 디스플레이 장치(100)로 전송한다. 이 경우, 디스플레이 장치(100)는 수신된 모션 정보에 기초하여 VR 컨텐츠(410)에서 현재 디스플레이되고 있는 시점 영역(420)을 기설정된 신호가 수신될 때까지 확대하여 디스플레이 할 수 있다. 이후, 사용자가 터치를 종료하여 사용자 단말 장치(200)로부터 기설정된 신호가 수신되면 디스플레이 장치(100)는 디스플레이 시점 영역의 확대를 정지하고 대응되는 시점 영역(430)을 디스플레이 할 수 있다.
또한, 사용자 단말 장치(200)의 기설정된 영역이 터치된 상태에서 사용자 단말 장치(200)가 반 시계 방향으로 회전되면, 사용자 단말 장치(200)는 트리거 신호 및 줌 아웃(Zoom-Out) 명령이 포함된 모션 정보를 디스플레이 장치(100)로 전송한다. 이 경우, 디스플레이 장치(100)는 수신된 모션 정보에 기초하여 VR 컨텐츠에서 현재 디스플레이되고 있는 시점 영역을 기설정된 신호가 수신될 때까지 축소하여 디스플레이 할 수 있다. 이후, 사용자가 터치를 종료하여 사용자 단말 장치(200)로부터 기설정된 신호가 수신되면 디스플레이 장치(100)는 디스플레이 시점 영역의 축소를 정지하고 대응되는 시점 영역을 디스플레이 할 수 있다.
다만, 확대 또는 축소 모션은 사용자 단말 장치(200)를 시계 또는 반 시계 방향으로 회전시키는 모션에 한정되는 것은 아니며 사용자 단말 장치(200)를 앞 또는 뒤로 이동시키는 모션 일 수 있다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 디스플레이 시점 영역이 모션 속도에 기초하여 서로 다른 속도로 변경됨을 나타내는 도면이다.
도 5a에 따르면, 사용자 단말 장치(200)의 기설정된 영역이 터치된 상태에서 사용자 단말 장치(200)가 우측으로 기설정된 값 이상 제1 임계값 미만의 속도로 이동되면(531), 사용자 단말 장치(200)는 트리거 신호 및 우측 방향 모션이 포함된 모션 정보를 디스플레이 장치(100)로 전송한다. 이 경우, 디스플레이 장치(100)는 수신된 모션 정보에 기초하여 VR 컨텐츠(510)에서 현재 디스플레이되고 있는 시점 영역(520)을 우측으로 제1 속도로 변경하여 디스플레이 할 수 있다. 이후, 사용자가 터치를 종료하여 사용자 단말 장치(200)로부터 기설정된 신호가 수신되면 디스플레이 장치(100)는 디스플레이 시점 영역의 변경을 정지하고 대응되는 시점 영역(530)을 디스플레이 할 수 있다.
즉, 사용자가 시청하려는 디스플레이 시점 영역이 현재 디스플레이된 시점 영역에 근접한 경우, 사용자는 사용자 단말 장치(200)를 기설정된 값 이상 제1 임계값 미만의 속도로 움직일 수 있다. 이에 따라, 프로세서(130)는 사용자가 원하는 시점 영역을 정확하게 선택할 수 있도록 디스플레이 시점 영역을 상대적으로 느린 제1 속도로 변경할 수 있다.
도 5b에 따르면, 사용자 단말 장치(200)의 기설정된 영역이 터치된 상태에서 사용자 단말 장치(200)가 우측으로 제1 임계값 이상 제2 임계값 미만의 속도로 이동되면(541), 사용자 단말 장치(200)는 트리거 신호 및 우측 방향 모션이 포함된 모션 정보를 디스플레이 장치(100)로 전송한다. 이 경우, 디스플레이 장치(100)는 수신된 모션 정보에 기초하여 VR 컨텐츠(510)에서 현재 디스플레이되고 있는 시점 영역(520)을 우측 방향으로 제2 속도로 변경하여 디스플레이 할 수 있다. 이후, 사용자가 터치를 종료하여 사용자 단말 장치(200)로부터 기설정된 신호가 수신되면 디스플레이 장치(100)는 디스플레이 시점 영역의 변경을 정지하고 대응되는 시점 영역(540)을 디스플레이 할 수 있다.
즉, 사용자가 시청하려는 디스플레이 시점 영역이 현재 디스플레이된 시점 영역으로부터 먼 시점 영역인 경우, 사용자는 사용자 단말 장치(200)를 제1 임계값 이상으로 움직일 수 있다. 이에 따라, 프로세서(130)는 상대적으로 빠른 속도로 디스플레이 시점 영역을 변경하여 짧은 시간 내에 사용자가 시청하려는 시점 영역을 디스플레이할 수 있다.
도 5a 및 도 5b는 사용자 단말 장치(200)가 우측 방향으로 이동되는 경우를 설명하였으나 이는 일 예에 불과하다. 사용자 단말 장치(200)의 이동 방향이 변경되는 경우 각 방향으로 이동되는 사용자 단말 장치(200)의 속도에 기초하여 디스플레이 시점 영역이 연속적으로 변경될 수 있다. 예를 들어, 기설정된 영역이 터치된 사용자 단말 장치(200)가 기설정된 값 이상 제1 임계값 미만의 속도로 우측으로 이동 후 제1 임계값 이상 제2 임계값 미만의 속도로 상측으로 이동하면, 디스플레이 장치(100)는 현재 화면 중앙에 디스플레이된 영상 영역 우측의 영상 영역이 화면 중앙에 위치되도록 디스플레이 시점 영역을 제1 속도로 변경한 후 현재 화면 중앙에 디스플레이된 영상 영역 상측의 영상 영역이 화면 중앙에 위치되도록 디스플레이 시점 영역을 제2 속도로 변경할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 디스플레이 시점 영역의 이동 속도 변경을 나타내는 도면이다.
사용자 단말 장치(200)의 기설정된 영역이 터치된 상태에서 사용자 단말 장치(200)가 특정 방향으로 이동되고 기설정된 시간이 경과하면 디스플레이 시점 변경 속도가 점차 감소 될 수 있다.
도 6에 따르면, 사용자 단말 장치(200)의 기설정된 영역이 터치된 상태에서 사용자 단말 장치(200)가 우측으로 이동되면(621), 사용자 단말 장치(200)는 트리거 신호 및 우측 방향 모션이 포함된 모션 정보를 디스플레이 장치(100)로 전송한다. 이 경우, 디스플레이 장치(100)는 수신된 모션 정보에 기초하여 VR 컨텐츠(610)에서 현재 디스플레이되고 있는 시점 영역(620)을 우측 방향으로 연속적으로 변경하여 디스플레이 할 수 있다. 여기서, 디스플레이 시점 영역이 변경된 시점부터 기설정된 시간(예를 들어, 1초) 동안 b 거리만큼 시점 영역이 이동되고(630), 이후 기설정된 시간(예를 들어, 1초) 동안 b보다 짧은 c거리만큼 시점 영역이 이동될 수 있다(640).
즉, 프로세서(130)는 시간이 경과하면 디스플레이 시점 변경 속도를 점차 감소시킬 수 있다. 이에 따라, 프로세서(130)는 사용자가 시청하려는 디스플레이 시점 영역을 정확하게 선택할 수 있도록 할 수 있다.
프로세서(130)는 디스플레이 시점 영역이 변경되는 속도를 단계적 또는 점진적으로 감소시켜 속도가 0이 될 수 있고, 기설정된 속도까지 감소되는 경우 해당 속도를 유지할 수도 있다.
도 6은 사용자 단말 장치(200)가 우측 방향으로 이동되는 경우를 설명하였으나 이는 일 예에 불과하다. 사용자 단말 장치(200)의 이동 방향이 변경되는 경우 디스플레이 장치(100)는 변경된 이동 방향에 대응되도록 디스플레이 시점 영역을 연속적으로 변경하여 디스플레이할 수 있다. 예를 들어, 기설정된 영역이 터치된 사용자 단말 장치(200)가 우측으로 2초 동안 이동 후 상측으로 이동하면, 디스플레이 시점 영역이 변경된 시점부터 1초 이후에 현재 화면 중앙에 디스플레이된 영상 영역을 기준으로 b 거리만큼 우측에 있는 영상 영역이 화면 중앙에 위치되도록 시점 영역이 이동되고 다음 1초 이후에 현재 화면 중앙에 디스플레이된 영상 영역을 기준으로 b보다 짧은 c거리만큼 우측에 있는 영상 영역이 화면 중앙에 위치되도록 시점 영역이 이동되며, 이후 1초 이후에 현재 화면 중앙에 디스플레이된 영상 영역을 기준으로 b 거리만큼 상측에 있는 영상 영역이 화면 중앙에 위치되도록 시점 영역이 이동되고 다음 1초 이후에 현재 화면 중앙에 디스플레이된 영상 영역을 기준으로 b보다 짧은 c거리만큼 상측에 있는 영상 영역이 화면 중앙에 위치되도록 디스플레이 시점 영역을 연속적으로 변경할 수 있다. 다만, 시간을 나타내는 구체적인 수치는 예를 든 것이며, 이에 한정되지 않음은 물론이다.
도 7은 도 2의 디스플레이 장치의 세부 구성의 일 예를 나타내는 블럭도이다.
도 7에 따르면, 디스플레이 장치(100)는 디스플레이(110), 통신부(120), 프로세서(130), 저장부(140), 스피커(150) 및 외부 인터페이스(160)를 포함한다. 도 7에 도시된 구성 중, 도 2에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
프로세서(130)는 CPU(131), 디스플레이 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 또는 비 휘발성 메모리) 및 디스플레이 장치(100)의 외부에서부터 입력되는 데이터를 저장하거나 디스플레이 장치(100)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(RAM, 또는 휘발성 메모리)을 포함할 수 있다.
프로세서(130)는 기설정된 이벤트가 발생되면 저장부(140)에 저장된 OS(Operating System), 프로그램 및 다양한 어플리케이션을 실행할 수 있다. 프로세서(130)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다.
CPU(131)는 저장부(140)에 액세스하여, 저장부(140)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(140)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
저장부(140)는 디스플레이 장치(100)를 구동/제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 저장부(140)는 디스플레이 장치(100) 및 프로세서(130)의 제어를 위한 제어 프로그램, 제조사에서 최초 제공되거나 외부에서부터 다운로드 받은 어플리케이션, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다. 예를 들어, 저장부(140)는 본 발명의 다양한 실시 예에 따른 멀티 채널 설정을 위한 UI를 제공하고, UI 와 관련된 동작을 수행하기 위한 프로그램을 저장할 수 있다.
여기서, 저장부(140)는 프로세서(130)에 포함된 롬(ROM), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(130)와 별도의 메모리로 구현될 수도 있다. 이 경우, 저장부(140)는 데이터 저장 용도에 따라 디스플레이 장치(100)에 임베디드된 메모리 형태로 구현되거나, 디스플레이 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 디스플레이 장치(100)의 구동을 위한 데이터의 경우 디스플레이 장치(100)에 임베디드된 메모리에 저장되고, 디스플레이 장치(100)의 확장 기능을 위한 데이터의 경우 디스플레이 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 디스플레이 장치(100)에 임베디드된 메모리의 경우 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등과 같은 형태로 구현될 수 있다.
스피커(150)는 오디오 신호를 출력하는 기능을 한다. 예를 들어, 스피커(150)는 멀티 채널을 출력할 수 있는, 복수의 스피커 유닛(또는 오디오 앰프(audio amplifier))을 포함할 수 있다. 일 예로, 스피커(150)는 L 채널, R 채널을 각각 재생하는 L 채널 스피커 및 R 채널 스피커를 포함할 수 있다. 다만, 이에 한정되는 것은 아니며, 스피커(150)는 다양한 형태로 구현가능하다. 다른 예로, 스피커(150)는 L 채널, R 채널, Center 채널을 재생하는 사운드 바 형태로 구현되는 것도 가능하다.
프로세서(130)는 외부 인터페이스(160)와 통신을 수행할 수 있다. 외부 인터페이스(160)는 유선 인터페이스이거나 무선 인터페이스일 수 있다. 예를 들어 USB(Universal Serial Bus)와 같은 유선 인터페이스이거나 블루투스(Bluetooth)와 같은 무선 인터페이스일 수 있다.
도 8은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도이다.
도 8에 따르면, 사용자 단말 장치(200)는 통신부(210), 센서부(220), 저장부(230) 및 프로세서(240)를 포함한다.
통신부(210)는 디스플레이 장치(100)와 통신을 수행한다. 구체적으로, 통신부(210)를 통해 디스플레이 장치(100)로 VR 컨텐츠의 디스플레이 시점 영역을 연속적으로 변경하기 위한 트리거 신호 및 사용자 단말 장치(200)의 모션 정보를 전송할 수 있다.
센서부(220)는 트리거 신호 입력이 감지되면 사용자 단말 장치(200)에 대한 모션 인식을 감지할 수 있다. 예를 들어, 사용자 단말 장치(200)의 기설정된 영역이 터치되는 경우 센서부(220)는 이를 감지하여 트리거 신호로 인식하고, 이후 사용자 단말 장치(200)의 모션 인식을 감지할 수 있다. 다만, 이에 한정되는 것은 아니며 트리거 신호 입력과 관계없이 센서부(220)는 모션을 인식할 수도 있다.
센서부(220)는 모션 인식을 감지하기 위해 가속도 및 각속도를 측정할 수 있다. 예를 들어, 센서부(220)는 가속도 센서 및 자이로 센서를 포함할 수 있다. 가속도 센서 및 자이로 센서의 6축을 이용하여, 센서부(220)는 사용자 단말 장치(200)의 움직임의 시작 위치와 현재 위치를 감지할 수 있고, 속도 변화 및 위치 변화량을 측정할 수 있다.
가속도 센서는 중력 방향을 감지할 수 있다. 그리고, 가속도 센서는 움직이지 않는 상태에서의 기울기를 감지할 수 있다. 가속도 센서는 단위 시간에 대한 속도의 변화량을 감지한다. 가속도 센서는 3축으로 구현될 수 있다. 3축 가속도 센서로 구현된 경우에는 가속도 센서는 서로 다른 방향으로 배치되어 서로 직교하는 X, Y, Z축 가속도 센서를 구비한다.
가속도센서는 X, Y, Z축 가속도 센서 각각의 출력값을 디지털 값으로 변환하여 전처리부로 제공한다. 이때 전처리부는 쵸핑회로, 증폭회로, 필터, 및 A/D 컨버터(A/D converter) 등을 포함할 수 있다. 이에 따라, 3축 가속도 센서로부터 출력된 전기적 신호를 쵸핑, 증폭, 필터링한 후, 디지털 전압값으로 변환한다.
자이로 센서는 단위 시간 동안 사용자 단말 장치(200)의 기설정된 방향의 변화량을 감지하여 각속도를 감지하는 구성이다. 자이로 센서는 3축을 갖는 자이로스코프가 사용될 수 있다. 자이로 센서는 감지된 각속도의 정적분 값을 통해 각도를 유추할 수 있다.
저장부(230)는 사용자 단말 장치(200)를 구동/제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 특히, 저장부(230)는 디스플레이 장치(100)를 제어하기 위한 모션을 처리하여 모션 정보를 디스플레이 장치(100)로 전송하는 특정 어플리케이션을 저장할 수 있다. 예를 들어, 해당 어플리케이션은 센서부(220)에서 인식된 모션 방향, 모션 속도, 회전 방향, 회전 속도 등의 정보를 디스플레이 장치(100) 제어가 가능한 형태로 처리하여 디스플레이 장치(100)로 전송할 수 있다.
프로세서(240)는 사용자 단말 장치(200)의 전반적인 동작을 제어한다.
프로세서(240)는 센서부(220)에 의해 특정 트리거 동작이 감지되면 센서부(220)를 제어하여 모션 인식을 개시한다. 예를 들어, 프로세서(240)는 특정 트리거 동작이 감지되면, 모션 인식 센서를 활성화시켜 모션 인식을 수행하고 모션 정보를 생성하고, 생성된 모션 정보를 디스플레이 장치(100)로 전송할 수 있다. 또는 프로세서(240)는 모션 인식 센서가 활성화되어 모션 정보가 생성되고 있는 상태에서 특정 트리거 동작이 감지되면 이후에 생성된 모션 정보 만을 디스플레이 장치(100)로 전송할 수 있다.
여기서, 트리거 동작은, 화면 터치, 화면의 특정 영역 터치, 기설정된 버튼 터치, 기설정된 버튼의 누름 조작 등이 될 수 있다. 이어서, 프로세서(240)는 통신부(210)를 통해 트리거 동작에 기초하여 생성된 트리거 신호 및 센서부(220)를 통해 인식된 모션에 대응되는 정보를 디스플레이 장치(100)로 전송한다. 여기서, 모션 정보는, 모션 방향, 모션 속도, 회전 방향, 회전 속도 중 적어도 하나를 포함할 수 있다.
프로세서(240)는 저장부(230)에 저장된 특정 어플리케이션이 구동된 상태에서 해당 어플리케이션을 통해 모션 정보를 생성하는 것도 가능하다.
이에 따라 프로세서(240)는 저장부(230)에 저장된 특정 어플리케이션에서 모션 정보를 생성할 수 있는 모션, 예를 들어, 특정 어플리케이션에 저장된 특정 모션과 다른 모션이 감지되는 경우, 유효한 모션 인식이 아님을 사용자에게 알리는 피드백 정보를 제공할 수 있다. 이러한 피드백은 예를 들어, 사용자 단말 장치(200)를 진동시키거나, 특정 음향이나 음성이 출력하는 형태 일 수 있다. 또는 피드백은 사용자 단말 장치(200) 화면에 특정 메시지나 이미지를 출력할 수 있으며, 보조 LED를 점등하는 형태 일 수도 있다.
다만, 이에 한정되는 것은 아니며 프로세서(240)는 사용자에게 유효한 모션 인식임을 알릴 수도 있으며, 유효한 모션 인식과 유효하지 않은 모션 인식 각각에 다른 알림을 설정하여 알릴 수도 있다.
프로세서(240)는 사용자 단말 장치(200)의 움직임의 시작 위치를 기준으로 모션을 인식하도록 센서부(220)를 제어할 수 있다. 예를 들어, 사용자가 앉거나 서 있는 상태에서 사용자 단말 장치(200)를 터치하여 모션을 취하는 경우, 일반적으로 사용자 단말 장치(200)는 지면과 수평인 상태에서 움직임이 시작될 수 있다. 이 경우, 프로세서(240)는 지면과 수평인 상태에서 시작되는 움직임을 기준으로 센서부(220)를 제어하여 모션을 인식할 수 있다. 또한, 사용자가 누워있는 상태에서 사용자 단말 장치(200)를 터치하여 모션을 취하는 경우, 일반적으로 사용자 단말 장치(200)는 지면과 수직인 상태에서 움직임이 시작될 수 있다. 이 경우, 프로세서(240)는 지면과 수직인 상태에서 시작되는 움직임을 기준으로 센서부(220)를 제어하여 모션을 인식할 수 있다.
이에 따라, 사용자가 어떠한 자세에서 사용자 모션을 취하더라도, 프로세서(240)는 사용자 단말 장치(200)의 움직임의 시작 위치를 기준으로 모션을 인식하므로, 사용자는 해당 자세에서 원하는 방향으로 디스플레이 시점 영역을 용이하게 변경할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 디스플레이 장치 및 사용자 단말 장치의 상호 간 동작을 설명하기 위한 시퀀스도이다.
도 9에 따르면, 사용자 단말 장치(200)의 기설정된 영역이 터치되어 트리거 신호가 입력되고(S910), 터치 상태가 유지되는 동안 사용자 단말 장치(200)는 모션을 인식하여(S920) 트리거 신호 및 인식된 모션 정보를 디스플레이 장치(100)로 전송할 수 있다(S930).
디스플레이 장치(100)는 사용자 단말 장치(200)로부터 VR 컨텐츠의 디스플레이 시점 영역을 변경하기 위한 트리거 신호 및 사용자 단말 장치(200)의 모션 정보를 수신하고(S940), 모션 정보에 기초하여 VR 컨텐츠의 디스플레이 시점 영역을 기설정된 신호가 수신될 때까지 연속적으로 변경하여 디스플레이 할 수 있다(S950). 이후, 사용자 단말 장치(200)는 터치가 종료되어 기설정된 신호가 입력되면(S960), 기설정된 신호를 디스플레이 장치(100)로 전송할 수 있다(S970). 디스플레이 장치(100)는 기설정된 신호가 수신되면(S980) 디스플레이 시점 영역의 변경을 종료할 수 있다(S990).
사용자 단말 장치(200)는 사용자 단말 장치(200)의 화면 터치에 따라 디스플레이 장치(100)로 트리거 신호를 전송하고 화면 터치가 종료되면 기설정된 신호를 전송할 수 있다.
사용자 단말 장치(200)는 화면 터치가 유지되는 동안 사용자 단말 장치(200)의 모션 정보가 업데이트되면 업데이트된 모션 정보를 디스플레이 장치(100)로 전송할 수 있다. 사용자 단말 장치(200)는 모션 정보의 변화가 없으면, 모션 정보를 전송하지 않을 수 있다. 디스플레이 장치(100)는 모션 정보가 수신되지 않으면, 마지막으로 수신된 모션 정보가 유지되는 것으로 판단하고, 마지막으로 수신된 모션 정보에 대응되는 동작을 기설정된 신호가 수신될 때까지 수행할 수 있다. 이후, 사용자 단말 장치(200)는 모션 정보가 업데이트되면 업데이트된 모션 정보를 디스플레이 장치(100)로 전송할 수 있다. 다만, 이에 한정되는 것은 아니며 사용자 단말 장치(200)는 모션을 인식하여 실시간으로 디스플레이 장치(100)로 전송할 수도 있다.
도 10은 본 발명의 일 실시 예에 따른 디스플레이 장치를 제어하는 방법을 설명하기 위한 흐름도이다.
도 10에 따르면, 디스플레이 장치(100)는 사용자 단말 장치(200)로부터 트리거 신호 및 모션 정보가 수신되면(S1010), 모션 정보에 기초하여 VR 컨텐츠의 디스플레이 시점 영역을 기설정된 신호가 수신될 때까지 연속적으로 변경할 수 있다(S1020). 이후, 사용자 단말 장치(200)로부터 기설정된 신호가 수신되면(S1030), 디스플레이 장치(100)는 디스플레이 시점 영역의 변경을 종료할 수 있다(S1040).
각 단계의 상세 동작에 대해서는 상술한 바 있으므로 자세한 설명은 생략하도록 한다.
도 11은 본 발명의 일 실시 예에 따른 사용자 단말 장치를 제어하는 방법을 설명하기 위한 흐름도이다.
도 11에 따르면, 사용자 단말 장치(200)의 기설정된 영역이 터치되어 트리거 신호가 입력되면(S1110), 사용자 단말 장치(200)는 사용자 단말 장치(200)의 움직임에 따른 모션을 인식할 수 있다(S1120). 사용자 단말 장치(200)는 트리거 신호 및 인식된 모션 정보를 디스플레이 장치(100)로 전송할 수 있다(S1130). 이후, 터치가 종료되어 기설정된 신호가 입력되면, 사용자 단말 장치(200)는 기설정된 신호를 디스플레이 장치(100)로 전송할 수 있다(S1140).
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 처리 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 처리 동작을 특정 기기가 수행하도록 할 수 있다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 디스플레이 장치 110: 디스플레이
120: 통신부 130: 프로세서
200: 사용자 단말 장치 210: 통신부
220: 센서부 230: 저정부
240: 프로세서

Claims (20)

  1. 디스플레이 장치에 있어서,
    디스플레이;
    통신부; 및
    VR (Virtual Reality) 컨텐츠를 상기 디스플레이 상에 디스플레이하고,
    상기 통신부를 통해 사용자 단말 장치로부터 상기 VR 컨텐츠의 디스플레이 시점 영역을 변경하기 위한 트리거 신호 및 상기 사용자 단말 장치와 관련한 모션 정보를 수신하고, 상기 트리거 신호는 상기 사용자 단말 장치에 대한 제1 사용자 조작에 대응되고, 상기 모션 정보는 상기 사용자 단말 장치에 대한 상기 제1 사용자 조작이 유지되는 동안의 상기 사용자 단말 장치의 움직임에 대응되고,
    상기 트리거 신호 및 상기 모션 정보에 기초하여 상기 모션 정보에 포함된 제1 모션 방향으로 상기 VR 컨텐츠의 디스플레이 시점 영역을 변경하여 디스플레이하고,
    상기 제1 사용자 조작에 후속되는 제2 사용자 조작이 발생하면, 상기 디스플레이 시점 영역의 변경을 종료하도록 상기 디스플레이를 제어하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 모션 정보에 포함된 사용자 단말 장치의 모션 속도가 기설정된 값 미만이면 디스플레이 시점 영역을 변경하지 않고,
    상기 사용자 단말 장치의 모션 속도가 상기 기설정된 값 이상 제1 임계값 미만이면, 상기 디스플레이 시점 영역이 변경되는 속도를 제1 속도로 제어하고,
    상기 사용자 단말 장치의 모션 속도가 상기 제1 임계값 이상 제2 임계값 미만이면, 상기 디스플레이 시점 영역이 변경되는 속도를 상기 제1 속도보다 큰 제2 속도로 제어하고,
    상기 디스플레이 시점 영역이 상기 제1 모션 방향으로 움직인 후 상기 제1 사용자 조작이 유지되면, 상기 사용자 단말 장치의 움직임과 관계 없이 상기 제1 모션 방향으로 상기 디스플레이 시점 영역을 계속 이동시키고,
    상기 제1 사용자 조작은 상기 사용자 단말 장치의 터치 스크린을 통한 터치 입력 또는 상기 사용자 단말 장치의 버튼을 누르는 조작이고, 상기 제2 사용자 조작은 상기 터치 입력 또는 상기 버튼을 누르는 조작을 종료하는 조작인, 디스플레이 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 변경하는 동안 상기 제1 모션 방향과 상이한 제2 모션 방향을 포함하는 모션 정보가 수신되면, 상기 제2 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 상기 제2 사용자 조작이 발생될 때까지 변경하는, 디스플레이 장치.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 모션 정보에 포함된 제3 모션 방향에 기초하여 상기 디스플레이된 VR 컨텐츠를 상기 제2 사용자 조작이 발생될 때까지 확대 또는 축소하여 디스플레이하는, 디스플레이 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자 단말 장치로부터 상기 모션 정보가 추가적으로 수신되지 않더라도, 상기 제2 사용자 조작이 발생될 때까지 상기 제1 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 변경하는, 디스플레이 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자 단말 장치로부터 상기 모션 정보를 주기적으로 수신하고, 상기 모션 정보에 기초하여 상기 사용자 단말 장치의 움직임이 없다고 판단되더라도 상기 제1 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 상기 제2 사용자 조작이 발생될 때까지 변경하는, 디스플레이 장치.
  9. 제1항에 있어서,
    상기 모션 정보는 상기 사용자 단말 장치에 설치된 기설정된 어플리케이션에서 생성된 정보인, 디스플레이 장치.
  10. 디스플레이 장치 및 사용자 단말 장치를 포함하는 디스플레이 시스템에 있어서,
    VR(Virtual Reality) 컨텐츠를 디스플레이하는 디스플레이 장치; 및
    상기 디스플레이 장치를 제어하기 위한 모션을 감지하고, 감지된 모션에 기초한 모션 정보를 상기 디스플레이 장치로 전송하는 사용자 단말 장치;를 포함하며,
    상기 디스플레이 장치는, 상기 사용자 단말 장치로부터 상기 VR 컨텐츠의 디스플레이 시점 영역을 변경하기 위한 트리거 신호 및 상기 모션 정보를 수신하고, 상기 트리거 신호는 상기 사용자 단말 장치에 대한 제1 사용자 조작에 대응되고, 상기 모션 정보는 상기 사용자 단말 장치에 대한 상기 제1 사용자 조작이 유지되는 동안의 상기 사용자 단말 장치의 움직임에 대응되고,
    상기 트리거 신호 및 상기 모션 정보에 기초하여 상기 모션 정보에 포함된 제1 모션 방향으로 상기 VR 컨텐츠의 디스플레이 시점 영역을 변경하여 디스플레이하고,
    상기 제1 사용자 조작에 후속되는 제2 사용자 조작이 발생하면, 상기 디스플레이 시점 영역의 변경을 종료하고,
    상기 모션 정보에 포함된 사용자 단말 장치의 모션 속도가 기설정된 값 미만이면 디스플레이 시점 영역을 변경하지 않고,
    상기 사용자 단말 장치의 모션 속도가 상기 기설정된 값 이상 제1 임계값 미만이면, 상기 디스플레이 시점 영역이 변경되는 속도를 제1 속도로 제어하고,
    상기 사용자 단말 장치의 모션 속도가 상기 제1 임계값 이상 제2 임계값 미만이면, 상기 디스플레이 시점 영역이 변경되는 속도를 상기 제1 속도보다 큰 제2 속도로 제어하고,
    상기 디스플레이 시점 영역이 상기 제1 모션 방향으로 움직인 후 상기 제1 사용자 조작이 유지되면, 상기 사용자 단말 장치의 움직임과 관계 없이 상기 제1 모션 방향으로 상기 디스플레이 시점 영역을 계속 이동시키고,
    상기 제1 사용자 조작은 상기 사용자 단말 장치의 터치 스크린을 통한 터치 입력 또는 상기 사용자 단말 장치의 버튼을 누르는 조작이고, 상기 제2 사용자 조작은 상기 터치 입력 또는 상기 버튼을 누르는 조작을 종료하는 조작인, 디스플레이 시스템.
  11. 제10항에 있어서,
    상기 디스플레이 장치는,
    상기 제1 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 변경하는 동안 상기 제1 모션 방향과 상이한 제2 모션 방향을 포함하는 모션 정보가 수신되면, 상기 제2 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 상기 제2 사용자 조작이 발생될 때까지 변경하는, 디스플레이 시스템.
  12. 제11항에 있어서,
    상기 사용자 단말 장치는,
    화면 터치가 유지되는 동안 상기 모션 정보가 업데이트되면 상기 업데이트된 모션 정보를 상기 디스플레이 장치로 전송하는, 디스플레이 시스템.
  13. 디스플레이 장치 제어 방법에 있어서,
    사용자 단말 장치로부터 상기 사용자 단말 장치에 대한 제1 사용자 조작에 대응되며 VR (Virtual Reality) 컨텐츠의 디스플레이 시점 영역을 변경하기 위한 트리거 신호 및 상기 사용자 단말 장치에 대한 상기 제2 사용자 조작이 유지되는 동안의 상기 사용자 단말 장치의 움직임에 대응되는 모션 정보를 수신하는 단계;
    상기 트리거 신호 및 상기 모션 정보에 기초하여 상기 모션 정보에 포함된 제1 모션 방향으로 상기 VR 컨텐츠의 디스플레이 시점 영역을 변경하여 디스플레이하는 단계; 및
    상기 제1 사용자 조작에 후속되는 제2 사용자 조작이 발생하면, 상기 디스플레이 시점 영역의 변경을 종료하는 단계;를 포함하고,
    상기 변경하여 디스플레이하는 단계는,
    상기 모션 정보에 포함된 사용자 단말 장치의 모션 속도가 기설정된 값 미만이면 디스플레이 시점 영역을 변경하지 않고,
    상기 사용자 단말 장치의 모션 속도가 상기 기설정된 값 이상 제1 임계값 미만이면, 상기 디스플레이 시점 영역이 변경되는 속도를 제1 속도로 제어하고,
    상기 사용자 단말 장치의 모션 속도가 상기 제1 임계값 이상 제2 임계값 미만이면 상기 디스플레이 시점 영역이 변경되는 속도를 상기 제1 속도보다 큰 제2 속도로 제어하고,
    상기 상기 디스플레이 시점 영역이 상기 제1 모션 방향으로 움직인 후 상기 제1 사용자 조작이 유지되면, 상기 사용자 단말 장치의 움직임과 관계 없이 상기 제1 모션 방향으로 상기 디스플레이 시점 영역을 계속 이동시키고,
    상기 제1 사용자 조작은 상기 사용자 단말 장치의 터치 스크린을 통한 터치 입력 또는 상기 사용자 단말 장치의 버튼을 누르는 조작이고, 상기 제2 사용자 조작은 상기 터치 입력 또는 상기 버튼을 누르는 조작을 종료하는 조작인, 디스플레이 장치 제어 방법.
  14. 제13항에 있어서,
    상기 변경하여 디스플레이하는 단계는,
    상기 제1 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 변경하는 동안 상기 제1 모션 방향과 상이한 제2 모션 방향을 포함하는 모션 정보가 수신되면, 상기 제2 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 상기 제2 사용자 조작이 발생될 때까지 변경하는, 디스플레이 장치 제어 방법.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 제13항에 있어서,
    상기 변경하여 디스플레이하는 단계는,
    상기 사용자 단말 장치로부터 상기 모션 정보가 추가적으로 수신되지 않더라도, 상기 제2 사용자 조작이 발생될 때까지 상기 제1 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 변경하는, 디스플레이 장치 제어 방법.
  19. 제13항에 있어서,
    상기 디스플레이 장치는, 상기 사용자 단말 장치로부터 상기 모션 정보를 주기적으로 수신하고,
    상기 변경하여 디스플레이하는 단계는,
    상기 모션 정보에 기초하여 상기 사용자 단말 장치의 움직임이 없다고 판단되더라도 상기 제1 모션 방향에 기초하여 상기 VR 컨텐츠의 디스플레이 시점 영역을 상기 제2 사용자 조작이 발생될 때까지 변경하는, 디스플레이 장치 제어 방법.
  20. 디스플레이 장치의 프로세서에 의해 실행되는 경우 상기 디스플레이 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은,
    사용자 단말 장치로부터 상기 사용자 단말 장치에 대한 제1 사용자 조작에 대응되며 VR (Virtual Reality) 컨텐츠의 디스플레이 시점 영역을 변경하기 위한 트리거 신호 및 상기 사용자 단말 장치에 대한 상기 제1 사용자 조작이 유지되는 동안의 상기 사용자 단말 장치의 움직임에 대응되는 모션 정보를 수신하는 단계;
    상기 트리거 신호 및 상기 모션 정보에 기초하여 상기 모션 정보에 포함된 모션 방향으로 상기 VR 컨텐츠의 디스플레이 시점 영역을 변경하여 디스플레이하는 단계; 및
    상기 제1 사용자 조작에 후속되는 제2 사용자 조작이 발생하면, 상기 디스플레이 시점 영역의 변경을 종료하는 단계;를 포함하고,
    상기 변경하여 디스플레이하는 단계는,
    상기 모션 정보에 포함된 사용자 단말 장치의 모션 속도가 기설정된 값 미만이면 디스플레이 시점 영역을 변경하지 않고,
    상기 사용자 단말 장치의 모션 속도가 상기 기설정된 값 이상 제1 임계값 미만이면, 상기 디스플레이 시점 영역이 변경되는 속도를 제1 속도로 제어하고,
    상기 사용자 단말 장치의 모션 속도가 상기 제1 임계값 이상 제2 임계값 미만이면, 상기 디스플레이 시점 영역이 변경되는 속도를 상기 제1 속도보다 큰 제2 속도로 제어하고,
    상기 상기 디스플레이 시점 영역이 제1 모션 방향으로 움직인 후 상기 제1 사용자 조작이 유지되면, 상기 사용자 단말 장치의 움직임과 관계 없이 상기 제1 모션 방향으로 상기 디스플레이 시점 영역을 계속 이동시키고,
    상기 제1 사용자 조작은 상기 사용자 단말 장치의 터치 스크린을 통한 터치 입력 또는 상기 사용자 단말 장치의 버튼을 누르는 조작이고, 상기 제2 사용자 조작은 상기 터치 입력 또는 상기 버튼을 누르는 조작을 종료하는 조작인, 비일시적 컴퓨터 판독 가능 매체.
KR1020170132056A 2017-10-12 2017-10-12 디스플레이 장치와 사용자 단말 장치 및 이를 포함하는 디스플레이 시스템 KR102409947B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020170132056A KR102409947B1 (ko) 2017-10-12 2017-10-12 디스플레이 장치와 사용자 단말 장치 및 이를 포함하는 디스플레이 시스템
US16/106,905 US20190114837A1 (en) 2017-10-12 2018-08-21 Display device, user terminal device, display system including the same and control method thereof
PCT/KR2018/011784 WO2019074243A1 (en) 2017-10-12 2018-10-05 DISPLAY DEVICE, USER TERMINAL DEVICE, DISPLAY SYSTEM COMPRISING THE SAME, AND ASSOCIATED COMAND METHOD
CN201880057177.1A CN111052053A (zh) 2017-10-12 2018-10-05 显示设备、用户终端设备、包括所述显示设备和所述用户终端设备的显示系统及其控制方法
EP18866504.6A EP3631606B1 (en) 2017-10-12 2018-10-05 Display device, user terminal device, display system including the same and control method thereof
US16/867,088 US11367258B2 (en) 2017-10-12 2020-05-05 Display device, user terminal device, display system including the same and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170132056A KR102409947B1 (ko) 2017-10-12 2017-10-12 디스플레이 장치와 사용자 단말 장치 및 이를 포함하는 디스플레이 시스템

Publications (2)

Publication Number Publication Date
KR20190041069A KR20190041069A (ko) 2019-04-22
KR102409947B1 true KR102409947B1 (ko) 2022-06-17

Family

ID=66097549

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170132056A KR102409947B1 (ko) 2017-10-12 2017-10-12 디스플레이 장치와 사용자 단말 장치 및 이를 포함하는 디스플레이 시스템

Country Status (5)

Country Link
US (2) US20190114837A1 (ko)
EP (1) EP3631606B1 (ko)
KR (1) KR102409947B1 (ko)
CN (1) CN111052053A (ko)
WO (1) WO2019074243A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4195005A1 (en) 2020-12-17 2023-06-14 Samsung Electronics Co., Ltd. Electronic device and operation method of electronic device
KR20220086939A (ko) * 2020-12-17 2022-06-24 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
CN116795466A (zh) * 2021-11-11 2023-09-22 青岛海信传媒网络技术有限公司 一种显示设备及外接设备的内容的显示方法
KR102454833B1 (ko) * 2022-05-12 2022-10-14 (주)이브이알스튜디오 가상의 아쿠아리움의 이미지를 표시하는 디스플레이 장치, 및 디스플레이 장치와 통신 가능한 사용자 단말의 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140195989A1 (en) * 2013-01-08 2014-07-10 Samsung Electronics Co., Ltd. Input device, display device and method of controlling thereof
JP2015001760A (ja) * 2013-06-13 2015-01-05 任天堂株式会社 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2764899A3 (en) 2005-08-29 2014-12-10 Nant Holdings IP, LLC Interactivity via mobile image recognition
US8826132B2 (en) * 2007-09-04 2014-09-02 Apple Inc. Methods and systems for navigating content on a portable device
JP2010045521A (ja) 2008-08-11 2010-02-25 Olympus Imaging Corp 携帯端末装置及び外部機器
KR101648564B1 (ko) 2011-03-15 2016-08-16 한화테크윈 주식회사 휴대 단말, 원격 카메라, 및 휴대 단말에 의한 원격 카메라의 팬/틸트/줌 제어 방법
KR101784316B1 (ko) 2011-05-31 2017-10-12 삼성전자주식회사 멀티 앵글 방송 서비스 제공 방법 및 이를 적용한 디스플레이 장치, 모바일 기기
US9876669B2 (en) 2011-06-24 2018-01-23 Ice Computer, Inc. Mobile computing resource
JP2013084029A (ja) * 2011-10-06 2013-05-09 Sony Corp 表示制御装置
JP2013134743A (ja) * 2011-12-27 2013-07-08 Canon Inc スクロール制御方法、スクロール制御装置、およびプログラム
KR101463540B1 (ko) 2012-05-23 2014-11-20 한국과학기술연구원 휴대용 전자 기기를 이용한 3차원 가상 커서 제어 방법
JP6124517B2 (ja) * 2012-06-01 2017-05-10 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
KR101971624B1 (ko) * 2012-07-25 2019-04-23 삼성전자주식회사 이동 단말의 정보 표시 방법, 디스플레이 장치의 정보 제공 방법, 이동 단말의 제어 신호 생성 방법
JP2014071732A (ja) * 2012-09-28 2014-04-21 Toshiba Corp 電子機器、表示制御方法及びプログラム
JP5489379B1 (ja) * 2013-01-18 2014-05-14 パナソニック株式会社 スクロール装置、スクロール方法及びプログラム
US20140282275A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a zooming gesture
KR20150081176A (ko) 2014-01-03 2015-07-13 삼성전자주식회사 원격 제어 장치 및 이의 디스플레이 장치 제어 방법, 그리고 디스플레이 시스템
KR20150089529A (ko) 2014-01-28 2015-08-05 주식회사 모브릭 휴대 단말기의 영상 전송 장치 및 방법
US20160364915A1 (en) * 2015-06-15 2016-12-15 Google Inc. Virtual reality content presentation including viewpoint transitions to prevent simulator sickness
KR102350382B1 (ko) * 2015-07-16 2022-01-13 삼성전자 주식회사 디스플레이장치 및 그 제어방법
KR20170013737A (ko) * 2015-07-28 2017-02-07 엘지전자 주식회사 헤드 마운트 디스플레이 장치 및 그 동작방법
US9881425B1 (en) * 2016-09-09 2018-01-30 The Boeing Company Synchronized side-by-side display of real and virtual environments

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140195989A1 (en) * 2013-01-08 2014-07-10 Samsung Electronics Co., Ltd. Input device, display device and method of controlling thereof
JP2015001760A (ja) * 2013-06-13 2015-01-05 任天堂株式会社 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法

Also Published As

Publication number Publication date
US20190114837A1 (en) 2019-04-18
US20200265651A1 (en) 2020-08-20
WO2019074243A1 (en) 2019-04-18
KR20190041069A (ko) 2019-04-22
EP3631606B1 (en) 2023-09-06
EP3631606A1 (en) 2020-04-08
US11367258B2 (en) 2022-06-21
EP3631606A4 (en) 2020-06-17
CN111052053A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
US10939065B2 (en) Display apparatus and method for controlling display of display apparatus
KR102444075B1 (ko) 전자 장치, 주변 기기 및 그 제어 방법
KR102409947B1 (ko) 디스플레이 장치와 사용자 단말 장치 및 이를 포함하는 디스플레이 시스템
CN108370386B (zh) 电子设备及操作其的方法
EP3182699A1 (en) Display apparatus and method for controlling display apparatus
EP3554186B1 (en) Apparatus and method for setting network of another device
KR20170049199A (ko) 디스플레이 장치 및 디스플레이 장치의 화면 표시 제어 방법
US11956712B2 (en) Electronic apparatus and method of setting network of audio device
US9997064B2 (en) Display apparatus and method for controlling display apparatus
KR102325341B1 (ko) 영상 표시 장치 및 그 동작방법
KR20200136753A (ko) 외부 전자 장치를 통해 화면 공유 서비스를 제공하기 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
KR20180046681A (ko) 영상 표시 장치, 모바일 장치 및 그 동작방법
KR102428375B1 (ko) 영상 표시 장치 및 그 동작방법
US10719147B2 (en) Display apparatus and control method thereof
KR20180043627A (ko) 디스플레이 장치 및 디스플레이 장치를 제어하는 방법
CN107211356B (zh) 电子装置和设置音频设备网络的方法
WO2015054868A1 (zh) 内容共享方法和终端设备
JP6484914B2 (ja) 情報処理機器および操作システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant