KR20230141724A - 디바이스를 이용한 화면 처리 방법 및 장치 - Google Patents

디바이스를 이용한 화면 처리 방법 및 장치 Download PDF

Info

Publication number
KR20230141724A
KR20230141724A KR1020230129458A KR20230129458A KR20230141724A KR 20230141724 A KR20230141724 A KR 20230141724A KR 1020230129458 A KR1020230129458 A KR 1020230129458A KR 20230129458 A KR20230129458 A KR 20230129458A KR 20230141724 A KR20230141724 A KR 20230141724A
Authority
KR
South Korea
Prior art keywords
screen
display
electronic device
user input
information
Prior art date
Application number
KR1020230129458A
Other languages
English (en)
Other versions
KR102637662B1 (ko
Inventor
최성도
김명식
배수정
정문식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020230129458A priority Critical patent/KR102637662B1/ko
Publication of KR20230141724A publication Critical patent/KR20230141724A/ko
Priority to KR1020240020656A priority patent/KR20240023091A/ko
Application granted granted Critical
Publication of KR102637662B1 publication Critical patent/KR102637662B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

디바이스를 이용한 화면 처리 방법 및 장치를 제공한다. 제2디바이스가 제1디바이스의 화면을 처리하는 방법은, 제1디바이스에 대한 화면 표시 요청에 따라 상기 제1디바이스의 표시 화면 및 상기 표시 화면과 관련된 정보를 획득하는 단계; 상기 획득된 제1디바이스의 표시 화면과 관련된 정보에 기초하여 부가 화면을 결정하는 단계; 상기 제1디바이스의 표시 화면 주변에 상기 부가 화면을 디스플레이 하는 단계를 포함한다.

Description

디바이스를 이용한 화면 처리 방법 및 장치{METHOD AND APPRATUS FOR PROCESSING SCREEN USING DEVICE}
본 발명은 디바이스간에 연동된 화면을 처리하는 방법 및 장치에 관한 것이다.
통상적으로, 모바일 디바이스는 주머니에 들어갈 만한 크기의 컴퓨터 장치로, 일반적으로 터치 입력을 가진 표시 화면이나 소형 자판을 구비하고 있다. 그러나 모바일 디바이스는 제공되는 콘텐츠에 비해 화면 크기가 작아서 검색을 위해서는 윈도우를 별도로 표시하거나 화면 스크롤을 수행해야 하는 불편함이 있다. 또한 HMD(Head Mounted Display) 디바이스는 안경처럼 머리에 착용하여 가상 이미지를 볼 수 있도록 하는 각종 영상 표시 장치를 의미한다. HMD 디바이스는 단순한 디스플레이 기능을 넘어 증강 현실 기술, N 스크린 기술등과 조합되어 사용자에 다양한 편의를 제공할 수 있다. 그러나 HMD 디바이스는 안경에 띄운 가상 이미지로 일반적인 터치와 같은 물리적 접촉 없이 가상 이미지를 향한 제스쳐나 음성 또는 안경 다리를 만지는 것과 같은 간접적인 방식으로 제어함으로써 정확한 제어가 어려운 불편함이 있다.
본 발명의 일 실시 예는 디바이스를 이용하여 실제 화면과 연동된 부가 화면을 처리하는 방법 및 장치를 제공한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제 1 측면은, 상기 제1디바이스에 대한 화면 표시 요청에 따라 상기 제1디바이스의 표시 화면 및 상기 표시 화면과 관련된 정보를 획득하는 단계; 상기 획득된 제1디바이스의 표시 화면과 관련된 정보에 기초하여 부가 화면을 결정하는 단계; 상기 제1디바이스의 표시 화면 주변에 상기 부가 화면을 디스플레이 하는 단계를 포함하는 제2디바이스가 제1디바이스의 화면 정보를 처리하는 방법을 제공할 수 있다.
상기 표시 화면과 관련된 정보는 상기 부가 화면이 상기 제1디바이스의 표시 화면 주위에 디스플레이 될 위치, 부가 화면 크기, 부가 화면 관련 콘텐츠 정보, 카메라를 통해 촬영된 제1디바이스의 상태 정보를 포함할 수 있다.
상기 제1디바이스의 형태 정보는 제1디바이스 화면의 위치 및 각도임을 특징으로 할 수 있다.
상기 제1디바이스의 형태 정보는 카메라를 통해 주기적으로 업데이트되는 것을 특징으로 할 수 있다.
또한 상기 부가 화면을 디스플레이 하는 단계는, 상기 제1디바이스를 촬영하는 단계; 상기 촬영된 제1디바이스의 이미지로부터 상기 제1디바이스의 화면 위치 및 방향을 결정하는 단계; 상기 제1디바이스의 화면의 위치 및 방향에 기반하여 상기 제1디바이스 주변에 상기 부가 화면을 디스플레이 하는 단계를 포함할 수 있다.
상기 제1디바이스의 화면 위치 및 방향을 결정하는 단계는, 상기 제1디바이스로부터 제1디바이스의 형상 정보를 수신하는 단계; 상기 수신된 제1디바이스의 형상 정보로부터 특징 점을 추출하는 단계; 상기 촬영된 제1디바이스의 이미지의 특징 점과 수신된 제1디바이스의 형상 정보의 특징 점을 비교하여 상기 제1디바이스의 화면 위치 및 각도를 결정하는 단계를 포함할 수 있다.
상기 방법은, 상기 제2디바이스와 상기 제1디바이스의 사용자 입력에 따라 상기 제1디바이스의 표시 화면과 상기 부가 화면을 연동하여 제어하는 단계를 더 포함할 수 있다.
상기 제1디바이스의 표시 화면과 상기 부가 화면을 연동하여 제어하는 단계는, 상기 제1디바이스의 사용자 입력과 상기 제2디바이스의 사용자 입력에 따라 상기 제1디바이스의 표시 화면과 상기 제2디바이스의 부가 화면이 서로 연동되어 제어되는 것을 특징으로 할 수 있다.
상기 제1디바이스의 표시 화면과 상기 부가 화면을 연동하여 제어하는 단계는, 상기 제1디바이스로부터 사용자 입력에 의한 부가 화면 종료 명령을 인식하는 단계; 상기 부가 화면 종료 명령을 상기 제2디바이스로 전송하여 부가 화면을 종료하는 단계를 포함 할 수 있다.
상기 제1디바이스의 표시 화면과 상기 부가 화면을 연동하여 제어하는 단계는, 상기 제2디바이스의 부가 화면에서 카메라를 통해 사용자 입력을 인식하는 단계; 상기 사용자 입력을 인식하면 해당 부가 화면을 종료하고 상기 제1디바이스로 부가 화면 종료 알림 정보를 전송하는 단계를 포함할 수 있다.
본 개시의 제 2 측면은, 상기 제1디바이스로부터 상기 물체 관련 정보를 수신함에 따라 상기 물체를 인식하고 상기 물체 인식 정보를 상기 제1디바이스에 통보하는 단계; 상기 제1디바이스로부터 부가 화면 표시 요청에 따라 상기 인식된 물체와 관련된 표시 화면 정보를 획득하는 단계; 상기 획득된 물체와 관련된 표시 화면 정보에 기초하여 상기 물체상에 표시할 부가 화면을 결정하는 단계; 상기 물체 주변에 상기 결정된 부가 화면을 디스플레이 하는 단계를 포함하는 제2디바이스가 별도의 물체를 구비한 제1디바이스를 통해 화면을 처리하는 방법을 제공할 수 있다.
상기 제1디바이스로부터 상기 물체에 설정된 디스플레이 영역 정보를 획득하는 단계를 더 포함할 수 있다.
상기 물체와 관련된 표시 화면 정보는 물체의 형상 정보, 상기 물체에 디스플레이 될 부가 화면의 디스플레이 위치 및 방향, 부가 화면 크기, 부가 화면 관련 콘텐츠 정보, 카메라를 통해 촬영된 물체의 상태 정보를 포함할 수 있다.
상기 물체의 상태 정보는 물체의 위치 및 각도임을 특징으로 할 수 있다.
상기 물체의 상태 정보는 카메라를 통해 주기적으로 업데이트되는 것을 특징으로 할 수 있다.
상기 부가 화면을 디스플레이 하는 단계는, 카메라를 이용하여 상기 물체를 촬영하는 단계; 상기 촬영된 물체로부터 상기 물체의 위치 및 각도를 추출하는 단계; 상기 물체의 위치 및 각도에 기반하여 부가 화면이 디스플레이 될 위치 및 방향을 결정하는 단계; 상기 물체의 위치 및 방향에 기반하여 상기 부가 화면을 디스플레이 하는 단계를 구비할 수 있다.
상기 물체 위치 및 각도를 추출하는 단계는, 상기 제1디바이스로부터 물체의 형상 정보를 수신하는 단계; 상기 수신된 물체의 형상 정보로부터 특징 점을 추출하는 단계; 상기 수신된 제1디바이스의 형상 정보의 특징 점과 상기 촬영된 물체의 이미지의 특징 점을 비교하여 상기 물체의 위치 및 각도를 추출하는 단계를 구비할 수 있다.
또한, 본 개시의 제 3 측면은, 상기 제1디바이스에 대한 화면 표시 요청에 따라 부가 화면 정보를 획득하는 단계; 상기 제1디바이스의 상태 정보 및 상기 부가 화면 정보에 기반하여 상기 부가 화면을 디스플레이 할 위치를 결정하는 단계; 상기 결정된 위치에 상기 부가 화면을 디스플레이 하는 단계; 상기 부가 화면과 관련된 제어 입력에 따라 상기 제2디바이스와 상기 제1디바이스를 연동하여 제어하는 단계를 포함하는 제2디바이스가 제1디바이스를 통해 부가 화면을 처리하는 방법을 제공할 수 있다.
또한, 본 개시의 제 4 측면은, 화면 표시 요청에 따라 표시 화면 및 상기 표시 화면과 관련된 정보를 상기 제2디바이스로 전송하는 단계; 상기 제2디바이스에서 상기 표시 화면과 관련된 정보에 기반하여 디스플레이 된 부가 화면에 대한 제어 정보를 수신하는 단계; 상기 수신된 제어 정보에 따라 상기 표시 화면과 관련된 정보를 갱신하는 단계를 포함하는 제1디바이스가 제2디바이스의 화면 정보를 처리하는 방법을 제공할 수 있다.
상기 표시 화면과 관련된 정보는 상기 부가 화면이 상기 디바이스의 표시 화면 주위에 디스플레이 될 위치, 부가 화면 크기, 부가 화면 관련 콘텐츠 정보를 포함하는 것을 특징으로 할 수 있다.
또한, 본 개시의 제 4 측면은, 영상을 표시하는 디스플레이부; 상기 디바이스에 대한 화면 표시 요청에 따라 상기 디바이스의 표시 화면 및 상기 표시 화면과 관련된 정보를 수신하는 통신부; 및 상기 통신부에서 획득된 디바이스의 표시 화면과 관련된 정보에 기초하여 부가 화면을 획득하고, 상기 디스플레이부에 디바이스의 표시 화면 주변에 상기 부가 화면을 디스플레이 하고, 소정의 사용자 입력에 따라 상기 디바이스의 표시 화면과 상기 부가 화면을 연동하여 제어하는 제어부를 포함하는 장치를 제공할 수 있다.
상기 제어부는, 카메라를 이용하여 상기 디바이스의 형상을 촬영하고, 상기 디바이스의 형상에 기반한 디바이스 상태 정보로부터 상기 디바이스의 화면 위치 및 각도를 추출하고, 상기 디바이스의 화면 위치 및 각도에 기반하여 상기 부가 화면이 디스플레이 될 영역을 결정하는 것을 특징으로 하는 장치.
상기 제어부는, 상기 디바이스의 사용자 입력과 상기 부가 화면과 관련된 사용자 입력으로부터 디바이스의 표시 화면과 부가 화면이 서로 연동하여 제어되는 것을 특징으로 하는 할 수 있다.
상기 제어부는, 상기 카메라를 통해 상기 부가 화면상에서 사용자의 입력을 인식하고, 상기 인식된 사용자 입력에 따라 화면의 종료를 인식하면 해당 부가 화면 정보를 종료하고 상기 디바이스로 부가 화면 종료 알림 정보를 전송하는 것을 특징으로 할 수 있다.
사용자가 HMD 디바이스를 통해 모바일 디바이스를 보고 있는 상태에서 HMD 디바이스의 사용자 입력을 통해 모바일 디바이스에 표시된 실제 화면과 관련된 정보를 HMD 디바이스의 화면상에 노출함으로써 풍부한 시각 정보를 제공할 수 있고 부가 화면과 실제 화면을 오가는 제어로 편리한 인터렉션 환경을 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른, 제1디바이스와 제2디바이스간에 화면을 처리하는 시스템을 나타내는 도면이다.
도 2는 본 발명의 다른 실시 예에 따른, 제1디바이스와 제2디바이스간에 화면을 처리하는 시스템을 나타내는 도면이다.
도 3은 본 발명의 또 다른 실시 예에 따른, 제1디바이스와 제2디바이스간에 화면을 처리하는 시스템을 나타내는 도면이다.
도 4는 본 발명의 또 다른 실시 예에 따른, 제1디바이스와 제2디바이스간에 화면을 처리하는 시스템을 나타내는 도면이다.
도 5는 본 발명의 일 실시 예에 따른, 제2디바이스가 제1디바이스의 화면과 연동하여 부가 화면을 처리하는 일 예를 도시한 도면이다.
도 6는 본 발명의 다른 실시 예에 따른, 제2디바이스가 물체의 주위에 가상 이미지 형태의 부가 화면을 디스플레이 하는 예시를 도시한 도면이다.
도 7은 본 발명의 또 다른 실시 예에 따른, 제2디바이스가 물체와 연동하여 부가 화면을 디스플레이 하는 예시를 도시한 도면이다.
도 8은 본 발명의 다른 실시 예 따른, 제2디바이스가 제1디바이스의 화면과 연동된 화면을 처리하는 방법의 흐름도이다.
도 9는 본 발명의 또 다른 실시 예 따른, 제2디바이스가 제1디바이스의 화면과 연동된 화면을 처리하는 방법의 흐름도이다.
도 10은 본 발명의 일 실시 예 따른, 제1디바이스가 제2디바이스의 화면을 처리하는 방법의 흐름도이다.
도 11은 본 발명의 다른 실시 예 따른, 제2디바이스가 화면이 없는 제1디바이스를 이용하여 화면을 처리하는 방법의 흐름도이다.
도 12는 본 발명의 또 다른 실시 예 따른, 제2디바이스가 별도의 정해진 물체를 구비한 제1디바이스를 통해 화면을 처리하는 방법의 흐름도이다.
도 13은 본 발명의 일 실시 예에 따른, 제2디바이스가 제1디바이스의 화면과 연동된 부가 화면을 디스플레이 하는 방법의 흐름도이다.
도 14는 본 발명의 일 실시 예에 따른, 제2디바이스가 물체를 구비한 제1디바이스와 연동된 화면을 디스플레이 하는 방법의 흐름도이다.
도 15는 본 발명의 일 실시 예에 따른, 제2디바이스가 부가 화면을 제어하는 방법의 흐름도이다.
도 16은 본 발명의 일 실시 예에 따른, 제1디바이스가 부가 화면을 종료하도록 제어하는 방법의 흐름도이다.
도 17은 본 발명의 일 실시 예에 따른, 제2디바이스가 제1디바이스에 부가 화면을 디스플레이 하도록 제어하는 방법의 흐름도이다.
도 18은 본 발명의 일 실시 예에 따른, 제2디바이스가 제1디바이스의 표시 화면 주위에 가상 이미지 형태의 부가 화면을 디스플레이하고 부가 화면을 제어하도록 하는 예시를 도시한 도면이다.
도 19는 본 발명의 다른 실시 예에 따른, 제2디바이스가 제1디바이스의 화면 주위에 가상 이미지 형태의 부가 화면을 디스플레이하고 부가 화면을 제어하도록 하는 예시를 도시한 도면이다.
도 20은 본 발명의 또 다른 실시 예에 따른, 제2디바이스가 제1디바이스 주위에서 3D 이미지 형태의 부가 화면을 디스플레이하고 부가 화면을 제어하도록 하는 예시를 도시한 도면이다.
도 21은 본 발명의 실시 예에 따른 제1디바이스의 블록도 이다.
도 22는 본 발명의 일 실시 예에 따른 제2디바이스의 외관을 나타내는 도면이다.
도 23 및 도 24는 본 발명의 일 실시 예에 따른 제2디바이스의 블록도 이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 출원에서 사용한 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나 이는 당 분야에 종사하는 기술자의 의도, 판례, 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시 예에 따른 제1디바이스와 제2디바이스간에 화면 정보를 처리하는 시스템을 나타내는 도면이다.
도 1을 참조하면, 제1디바이스(1000)는 제2디바이스(2000)에 부가 화면 표시를 요청할 수 있으며, 제2디바이스(2000)로부터 수신된 제어 명령 및 화면 정보에 따라 부가 화면을 처리할 수 있다. 여기서 부가 화면은 메인 화면에 연동되는 가상 이미지일 수 있다.
제1디바이스(1000)는 웨어러블 단말기, 스마트폰, 태블릿 PC, PC, 휴대폰, 스마트 TV, PDA(personal digital assistant), 랩톱, 미디어 플레이어, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 제1디바이스(1000)는, 전자 칠판, 터치 테이블 등과 같이 터치 입력을 수신할 수 있는 다양한 장치를 포함할 수 있다. 제1디바이스(1000)는, 디스플레이를 구비한 제1디바이스뿐 만 아니라 디스플레이가 없는 제1디바이스일 수 도 있다.
또한, 제1디바이스(1000)는 통신 기능 및 데이터 프로세싱 기능을 구비한 기기일 수 있다. 그러나, 이에 제한되지 않으며, 제1디바이스(1000)는 제2디바이스(2000)로부터 네트워크를 통하여 정보를 수신하고 실행할 수 있는 모든 종류의 기기를 포함할 수 있다.
제2디바이스(2000)는 제1디바이스(1000)에 대한 화면 표시 요청과 함께 부가 화면 정보를 수신할 수 있다. 이때 화면 표시 요청은 사용자 입력에 의해 제1디바이스(1000) 또는 제2디바이스(2000)에서 발생될 수 있다. 제2디바이스(2000)는 카메라를 통해 제1디바이스(1000)를 촬영하고 촬영된 제1디바이스(1000)의 상태를 분석할 수 있다. 제2디바이스(2000)는 제1디바이스(1000)의 상태 정보 및 부가 화면 정보에 기반하여 부가 화면을 디스플레이 할 위치 및 방향을 결정할 수 있다. 제2디바이스(2000)는 제1디바이스(1000)의 화면과 연동되는 부가 화면을 디스플레이 할 수 있다. 제2디바이스(2000)는 사용자 입력에 따라 제1디바이스(1000)의 화면과 연동하여 부가 화면을 제어할 수 있다. 이 경우, 제2디바이스(2000)에 대한 사용자 입력은, 사용자에 의한 터치 입력, 버튼 입력일 수 있으나, 이에 제한되지 않는다.
다른 실시 예로, 제2디바이스(2000)는 카메라를 통해 제1디바이스(1000)의 형상을 촬영하여 제1디바이스(1000)로 전송할 수 있다. 제1디바이스(1000)는 형상 정보에 기반하여 부가 화면을 디스플레이 할 영역 이나 위치를 결정하고, 결정된 부가 화면의 디스플레이 위치나 영역을 제2디바이스(2000)로 전송할 수 도 있다.
제2디바이스(2000)는 HMD(Head Mounted Display), PC, 스마트 TV, 디지털방송용 단말기 및 기타 모바일 또는 비 모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 제2디바이스(2000)는, 전자 칠판, 터치 테이블 등과 같이 터치 입력을 수신할 수 있는 다양한 장치를 포함할 수 있다.
제2디바이스(2000)는 부가 화면을 증강현실(AR: Augmented Reality), 혼합 현실(MR: Mixed Reality), 또는 가상현실(VR: Virtual Reality) 형태로 디스플레이에 표시할 수 있다.
제2디바이스(2000)는 투명 디스플레이 또는 불투명 디스플레이에 가상의 화면을 표시할 수 있다.
또한, 제2디바이스(2000)는, 통신 기능 및 데이터 프로세싱 기능을 구비한 안경, 헤어 밴드일 수 있다. 그러나, 이에 제한되지 않는다.
제1디바이스(1000)와 제2디바이스(2000)는 네트워크를 통해 연결될 수 있으며, 네트워크는, 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.
상술한 바와 같이 본 발명의 일 실시 예들은, 사용자가 제2디바이스(2000)를 통해 제1디바이스(1000)를 보고 있는 상태에서 제2디바이스(2000)의 사용자 입력을 통해 제1디바이스(1000)에 표시된 실제 화면과 관련된 정보를 제2디바이스(2000)의 화면상에 노출함으로써 풍부한 시각 정보를 제공할 수 있고 부가 화면과 실제 화면을 오가는 제어로 편리한 인터렉션 환경을 제공할 수 있다.
도 2는 본 발명의 다른 실시 예에 따른, 제1디바이스와 제2디바이스간에 화면을 처리하는 시스템을 나타내는 도면이다.
제1디바이스(1000)는 제한된 기능을 갖거나 아무런 기능을 갖지 않는 물체(1000a)를 별개로 구비할 수 있다. 일 실시 예로, 물체(1000a)는 최소한 제어 기능과 센서 기능을 갖는 밴드이거나 아무런 기능을 갖지 않는 손목 밴드나 스티커 일 수 있다.
예를 들면, 제한된 기능을 갖는 밴드에 해당하는 물체(1000a)는 손목에 착용하고, 제1디바이스(1000)는 가방 내에 존재하는 별개의 디바이스이거나 네트워크상의 디바이스 또는 어플리케이션일 수 있다.
또 다른 실시 예로, 제1디바이스(1000)가 사람의 손목이나 다이어리의 흰 종이, 달력과 같은 자연물을 디스플레이 영역으로 설정하였을 경우, 제2디바이스(2000)는 카메라를 통해 자연물을 인식할 경우 자연물 인식 이벤트를 제1디바이스(1000)로 알리고, 제1디바이스(1000)의 부가 화면 요청에 따라 자연물에 대응되는 위치에 부가 화면을 표시할 수 있다.
또 다른 실시 예로, 제1디바이스(1000)는 촬영한 이미지를 이용하여 물체를 자유로이 지정할 수 있다. 제2디바이스(2000)는 제1디바이스(1000)로부터 촬영된 이미지 정보를 수신하여 부가 화면 표시 위치를 결정할 수 있다. 예를 들면, 제1디바이스(1000)가 손목을 촬영하여 손목 이미지를 물체로 지정하면 제2디바이스(2000)는 손목 이미지에 가상의 시계를 디스플레이 한다. 이어서, 제1디바이스(1000)가 빈 노트를 촬영하여 빈 노트 이미지를 물체로 지정하면 제2디바이스(2000)는 빈 노트 이미지에 가상의 태블릿을 디스플레이 할 수 있다.
도 3은 본 발명의 또 다른 실시 예에 따른, 제1디바이스와 제2디바이스간에 화면을 처리하는 시스템을 나타내는 도면이다.
제1디바이스(1000)는 클라우드(1000b)에 존재하는 디바이스 또는 어플리케이션일 수 있다. 클라우드(1000b)내에 존재하는 제1디바이스(1000)는 물체(1000a)를 별개로 구비할 수 있다.
도 4는 본 발명의 또 다른 실시 예에 따른, 제1디바이스와 제2디바이스간에 화면을 처리하는 시스템을 나타내는 도면이다.
제1디바이스(1000)는 제2디바이스(2000)의 내부에 존재하는 제어 장치나 어플리케이션일 수 있다. 제2디바이스(2000)의 내부에 존재하는 제1디바이스(1000)는 물체(1000a)를 별개로 구비할 수 있다.
도 5는 본 발명의 일 실시 예에 따른, 제2디바이스가 제1디바이스의 화면과 연동하여 부가 화면을 디스플레이 하는 일 예를 도시한 도면이다.
일 실시 예로, 일 실시 예로, 제1디바이스(1000)는 모바일 디바이스이고, 제2디바이스(2000)는 안경 형태의 HMD 라고 한다.
일 실시 예로, 글래스 형태의 HMD는 실제 공간을 볼 수 있는 렌즈와 그 렌즈의 소정 위치에 부착되어 가상 이미지를 표시하는 디스플레이부를 구비할 수 있다. 글래스 형태의 HMD는 이후 도 22에서 더 상세하게 설명된다.
도 5는 글래스 형태의 HMD를 통해 사용자의 시야에 보이는 실제 화면과 가상 이미지가 결합된 글래스 화면(100)을 가정한 것이다.
글래스 화면(100)은 사용자가 HMD의 렌즈와 디스플레이부를 통해 볼 수 있는 화면을 의미한다.
도 5에 도시된 바와 같이, 사용자는 HMD를 통해 제1디바이스(1000)의 실제 표시 화면(40)과 제2디바이스(2000)의 부가 화면(50, 60, 70, 80)을 볼 수 있다. 여기서, 제1디바이스(1000)의 표시 화면(40)은 HMD의 렌즈를 통과해 보여지는 실제 화면이고, 제2 디바이스(2000)의 복수개 부가 화면((50, 60, 70, 80)은 HMD의 디스플레이부를 통해 제1디바이스(1000)의 주변에 보여지는 가상 이미지이다.
즉, 제2디바이스(2000)의 글래스 화면(100)에는 제1디바이스(1000)의 표시 화면(40)의 주변에 복수개의 부가 화면들(50, 60, 70, 80)이 표시된다.
결국, 사용자는 제2디바이스(2000)를 통해 제1디바이스(1000)의 표시 화면(40)과 부가 화면이 표시된 것처럼 느낄 수 있다.
본 발명의 다른 실시 예로서, 제2디바이스(2000)가 디스플레이 없는 제1디바이스를 통해 부가 화면을 디스플레이 할 경우, 제2디바이스(2000)는 제1디바이스의 표면에 가상 시계 이미지를 디스플레이하고, 가상 시계 이미지의 좌 우측에 가상 앱 폴더 아이콘을 디스플레이 할 수 있다.
도 6는 본 발명의 다른 실시 예에 따른, 제2디바이스가 물체의 주위에 가상 이미지 형태의 부가 화면을 디스플레이 하는 예시를 도시한 도면이다.
제1디바이스(1000)는 제한된 기능을 갖거나 아무런 기능을 갖지 않는 물체(1000a)를 별개로 구비할 수 있다. 제1디바이스(1000)는 제2디바이스(2000)로 물체 관련 정보를 전송할 수 있다.
제2디바이스(2000)는 제1디바이스(1000)로부터 미리 정해진 물체 관련 정보를 획득한다. 제2디바이스(2000)는 획득된 물체 관련 정보에 기반하여 카메라(2110)를 이용하여 물체(1000a)를 인식하고 그 물체 인식 정보를 제1디바이스(1000)로 통보한다. 제2디바이스(2000)는 제1디바이스(1000)로부터 화면 표시 요청에 따라 물체와 관련된 표시 정보를 획득한다. 제2디바이스(2000)는 물체와 관련된 표시 정보에 기초하여 촬영된 물체의 정해진 위치에 표시할 부가 화면을 결정한다. 제2디바이스(2000)는 촬영된 물체에 대응되는 위치에 부가 화면을 디스플레이 한다.
도 7은 본 발명의 또 다른 실시 예에 따른, 제2디바이스가 물체와 연동하여 부가 화면을 디스플레이 하는 예시를 도시한 도면이다.
도 7에 도시된 바와 같이 제2디바이스(2000)의 글래스 화면(100)에는 실제 시계 화면 형태의 물체(42)와 연동하여 복수개의 부가 화면들(52, 62, 72, 82)이 표시된다. 일 실시 예로, 부가 화면은 HMD의 화면상에서 디스플레이 되는 가상 이미지일 수 있다. 여기서, 시계 화면(42)은 HMD의 렌즈를 통과해 보여지는 실제 시계 물체이고, 복수개 부가 화면들(52, 62, 72, 82)은 HMD의 디스플레이부를 통해 실제 시계 물체의 주변에 보여지는 가상 이미지이다.
사용자는 제2디바이스(2000)를 통해 실제 제1디바이스(1000)의 물체(42) 주변에 부가 화면이 표시된 것처럼 느낄 수 있다.
도 8는 본 발명의 일 실시 예 따른, 제2디바이스가 제1디바이스의 화면과 연동된 화면 정보를 처리하는 방법의 흐름도이다.
단계 210에서, 제2디바이스(2000)는 제1디바이스(1000)에 대한 화면 표시 요청에 따라 제1디바이스(1000)의 표시 화면 및 표시 화면과 관련된 정보를 획득한다. 예를 들면, 표시 화면과 관련된 정보는 제1디바이스(1000)의 표시 화면 주위에 디스플레이 될 위치, 부가 화면 크기, 부가 화면 내용, 카메라를 통해 촬영된 제1디바이스(2000)의 상태 정보를 포함할 수 있다. 일 실시 예로, 부가 화면은 HMD의 화면상에서 디스플레이 되는 가상 이미지일 수 있다.
이때 제1디바이스(1000)에 대한 화면 표시 요청은 사용자 입력에 의해 제1디바이스(1000) 또는 제2디바이스(2000)에서 생성될 수 있다, 다른 실시 예로, 제1디바이스(1000)에 대한 화면 표시 요청은 제 1디바이스(1000)와 제2디바이스(2000)간의 네트워크 연결을 통해서 수행될 수 있고, 또는 제 2 디바이스(2000)의 카메라가 제 1 디바이스(1000)의 인식을 통해서도 수행될 수 있으며, 이에 제한되지 않는다.
제1디바이스(1000)는 제스쳐 또는 터치 또는 음성과 같은 사용자 입력에 의해 메뉴를 선택하고 그 메뉴에 관련된 부가 화면의 표시 명령을 생성할 수 있다. 제2디바이스(2000)는 제1디바이스(1000)로부터 메뉴에 관련된 부가 화면의 표시 명령을 수신할 수 있다. 또한 제2디바이스(2000)는 제1디바이스(1000)에서 미리 설정된 메뉴에 관련된 부가 화면을 수신할 수 있다. 부가 화면은 예를 들어, 제1디바이스(1000)의 공간상의 제약으로 인해 제1디바이스(1000)의 화면에 표시되지 않는 "PHOTO", "APP", "S-health", "Gallery" 와 같은 복수개의 가상 이미지일 수 있다. 부가 화면은 제1디바이스(1000)의 화면에 디스플레이 될 수 있는 모든 종류의 화면을 포함할 수 있다.
또한 제2디바이스(2000)는 카메라를 이용하여 제1디바이스(1000)의 형상을 획득한다. 제2디바이스(2000)는 카메라를 이용하여 제1디바이스(1000)의 화면 위치 및 각도를 알 수 있는 디바이스를 촬영할 수 있으며, 카메라에 의해 촬영된 제1디바이스(1000)의 형상 이미지를 실시간으로 수신할 수 있다.
단계, 220에서, 제2디바이스(2000)는 획득된 제1디바이스(1000)의 표시 화면과 관련된 정보에 기초하여 촬영된 제1디바이스(1000)의 표시 화면 주변에 표시할 부가 화면을 결정한다.
단계 230에서 제2디바이스는 제1디바이스(1000)의 표시 화면의 주변에 제2디바이스(2000)의 부가 화면을 표시한다. 일 실시 예를 들면, 제2디바이스(2000)는 제1디바이스(1000)의 표시 화면 주변의 정해진 위치에 부가 화면을 디스플레이 할 수 있다. 제2디바이스(2000)는 촬영된 제1디바이스(1000)의 형상 정보 및 제1디바이스(1000)의 표시 화면과 관련된 정보에 기초하여 부가 화면을 디스플레이 할 위치 및 방향을 결정할 수 있다. 부가 화면을 디스플레이 할 위치 및 방향을 결정하는 방법의 일 실시 예를 설명하면, 제2디바이스(2000)는 카메라로 촬영된 제1디바이스(1000)의 형상을 인식하고, 제1디바이스(1000)의 형상 정보로부터 제1디바이스(1000)의 화면 위치 및 각도를 추출하고, 제1디바이스(1000)의 화면 위치 및 각도에 기반하여 부가 화면이 디스플레이 될 영역에 해당하는 위치 및 방향을 결정할 수 있다. 다른 실시 예로, 제2디바이스(2000)는 카메라로 제1디바이스의 표시 화면을 촬영 한 후 그 표시 화면과 상기 결정된 부가 화면을 디스플레이 할 수 있다.
결국, 본 발명의 일 실시 예에 따르면 사용자는 제2디바이스(2000)를 통해 제1디바이스(1000)의 표시 화면과 제2디바이스(2000)의 부가 화면을 볼 수 있다.
도 9는 본 발명의 다른 실시 예 따른, 제2디바이스가 제1디바이스의 화면과 연동된 화면 정보를 처리하는 방법의 흐름도이다.
도 9의 단계 215, 단계225, 단계 235는 도 4의 단계 210, 단계 220, 단계 230 과 동일하므로 설명을 생략한다.
단계 245에서, 제2디바이스(2000)는 제1디바이스(1000)의 표시 화면과 연동하여 부가 화면을 제어한다. 제2디바이스(2000)의 부가 화면과 제1디바이스(1000)의 화면은 서로 연동되어 제어된다. 사용자는 제2디바이스(2000)의 부가 화면을 조작하여 제1디바이스(1000)의 화면을 바꾼다거나 제1디바이스(1000)의 메뉴를 선택하여 제2디바이스(2000)의 부가 화면을 바꿀 수 있다. 제2디바이스(2000)는 제1디바이스(1000)의 사용자 입력과 제2디바이스(2000)의 카메라 인식 제스쳐 및 음성 중 어느 하나에 의한 사용자 입력에 따라 제1디바이스(1000)의 화면과 연동하여 제2디바이스(2000)의 부가 화면을 제어할 수 있다. 이 경우, 제1디바이스(1000)에 대한 사용자 입력은, 사용자에 의한 특정 제스쳐 입력, 터치 입력, 버튼 입력, 음성 입력일 수 있으나, 이에 제한되지 않는다. 또한 제2디바이스(2000)에 대한 사용자 입력은, 카메라 인식 제스쳐, 터치 입력, 버튼 입력, 음성 입력일 수 있으나, 이에 제한되지 않는다. 예를 들어, 제1디바이스(1000)의 화면과 연동되어 디스플레이 된 부가 화면의 "Gallery"메뉴를 특정 제스쳐에 의해 터치하면 "Gallery" 메뉴는 제1디바이스(1000)의 표시 화면에 디스플레이 될 수 있다. 또한 제1디바이스(1000)는 부가 화면 종료 명령을 제2디바이스(2000)로 전송하여 부가 화면을 종료할 수 있다. 제2디바이스(2000)는 부가 화면에서 카메라를 통해 사용자 입력을 인식하면 부가 화면을 종료하고 제1디바이스(1000)로 부가 화면의 종료 알림 정보를 전송할 수 있다. 제1디바이스(1000)는 제2디바이스(2000)로부터 부가 화면의 종료 알림 정보를 수신하면 실제 화면에 부가 화면의 처리 결과를 표시할 수 있다. 일 실시 예로, 제2디바이스(2000)가 HMD 장치라고 하면, 부가화면에서의 제스처는 부가 화면을 터치하는 터치 제스처 및 공간상에 X를 그리는 방식의 움직임 제스처를 포함할 수 있다.
도 10은 본 발명의 일 실시 예 따른, 제1디바이스가 제2디바이스의 화면을 처리하는 방법의 흐름도이다.
단계 250에서, 제1디바이스(1000)는 사용자 입력에 의한 화면 표시 요청에 따라 표시 화면 및 표시 화면과 관련된 정보를 제2디바이스(2000)로 전송한다. 표시 화면과 관련된 정보는 부가 화면이 제1디바이스의 표시 화면 주변에 노출될 위치 및 방향, 부가 화면 크기, 부가 화면에 관련된 콘텐츠 정보를 포함할 수 있다. 일 실시 예로, 부가 화면은 HMD의 화면상에서 디스플레이 되는 가상 이미지일 수 있다.
단계 260에서, 제1디바이스(1000)는 제2디바이스(2000)로부터 부가 화면에 대한 사용자 입력 정보를 수신한다. 예를 들면, 제1디바이스(1000)는 제2디바이스(2000)로부터 부가 화면의 선택 정보를 수신한다.
단계 270에서, 제1디바이스(1000)는 제2디바이스(2000)로부터 수신된 사용자 입력 정보에 따라 제1디바이스(1000)의 표시 화면과 관련된 정보를 갱신한다. 예를 들면, 제1디바이스(1000)는 제2디바이스(2000)에서 선택된 부가 화면에 연동된 표시 화면을 갱신할 수 있다.
도 11은 본 발명의 다른 실시 예 따른, 제2디바이스에 디스플레이가 없는 제1디바이스를 이용하여 화면을 처리하는 방법의 흐름도이다.
단계 310에서, 제2디바이스(2000)는 제1디바이스(1000)에 대한 부가 화면 표시 요청에 따라 부가 화면 정보를 수신한다. 예를 들면, 부가 화면 정보는 제1디바이스의 표면에 노출될 부가 화면의 위치 정보, 부가 화면에 관련된 콘텐츠 정보 및 부가 화면 크기 정보를 포함할 수 있다.
단계 320에서, 제2디바이스(2000)는 카메라를 이용하여 제1디바이스(1000)의 형상을 획득한다. 제2디바이스(2000)는 카메라를 이용하여 단말기를 촬영함으로써 제1디바이스(1000)의 위치 및 각도를 알 수 있으며, 카메라에 의해 촬영된 제1디바이스(1000)의 형상 이미지를 실시간으로 수신할 수 있고, 카메라를 통해 형상 이미지를 주기적으로 업데이트할 수 있다.
단계 330에서, 제2디바이스(2000)는 촬영된 제1디바이스(1000)의 형상 정보 및 수신된 부가 화면 정보에 기반하여 부가 화면을 디스플레이 할 위치를 결정한다. 제2디바이스(2000)는 제1디바이스(1000)의 상태 정보를 분석하여 제1디바이스(1000)의 위치 좌표나 화면 각도를 추출하고, 그 위치 및 각도 정보를 이용하여 제1디바이스(1000)의 특정 표면상에 부가 화면을 디스플레이 할 위치를 결정한다.
단계 340에서, 제2디바이스(2000)는 결정된 위치에 부가 화면을 디스플레이 한다. 예를 들면, 제2디바이스(2000)는 제1디바이스(1000)의 표면에 시계 화면을 표시하고, 시계 화면의 좌 우측에 앱 폴더 아이콘을 표시할 수 있다.
단계 350에서, 제2디바이스(2000)는 제1디바이스(1000)와 연동하여 부가 화면을 제어한다. 제2디바이스(2000)는 제1디바이스(1000)의 사용자 입력과 제2디바이스(2000)의 사용자 입력에 따라 제1디바이스(1000)와 연동하여 제2디바이스(2000)의 부가 화면을 제어할 수 있다. 이 경우, 제1디바이스(1000)에 대한 사용자 입력은, 사용자에 의한 특정 제스쳐 입력, 터치 입력, 버튼 입력, 음성 입력일 수 있으나, 이에 제한되지 않는다. 또한 제2디바이스(2000)에 대한 사용자 입력은, 카메라 인식 제스쳐, 터치 입력, 버튼 입력, 음성 입력일 수 있으나, 이에 제한되지 않는다. 예를 들어, 제1디바이스(1000)는 제2디바이스(2000)로부터 가상 앱 폴더 아이콘에 대한 터치 정보를 수신하면 터치된 앱 폴더에 관련된 부가 화면 정보를 제2디바이스에 전송한다. 그리고 제2디바이스(2000)는 제1디바이스(1000)로부터 수신된 앱 폴더에 관련된 부가 화면을 제1디바이스(1000)의 미리 설정된 표면에 디스플레이 한다.
도 12는 본 발명의 또 다른 실시 예 따른, 제2디바이스가 별도의 정해진 물체를 구비한 제1디바이스를 통해 화면을 처리하는 방법의 흐름도이다.
단계 365에서, 제2디바이스(2000)는 제1디바이스(1000)로부터 미리 정해진 물체 관련 정보를 획득한다. 예를 들면, 물체가 밴드라면, 물체 관련 정보는 제1디바이스와 관련된 밴드의 형상이나 밴드의 위치 정보일 수 있다.
단계 370에서, 제2디바이스(2000)는 획득된 물체 관련 정보에 기반하여 카메라를 이용하여 물체를 인식하고 그 물체 인식 정보를 제1디바이스(1000)로 통보한다.
단계 375에서, 제2디바이스(2000)는 제1디바이스(1000)로부터 화면 표시 요청에 따라 물체와 관련된 표시 정보를 획득한다.
예를 들면, 물체와 관련된 표시 정보는 물체상에 디스플레이 될 위치, 부가 화면 크기, 부가 화면에 관련된 콘텐츠 정보, 카메라를 통해 촬영된 물체(1000a)의 형상 정보를 포함할 수 있다.
단계 380에서, 제2디바이스(2000)는 물체와 관련된 표시 정보에 기초하여 촬영된 물체의 정해진 위치에 표시할 부가 화면을 결정한다.
단계 385에서, 제2디바이스(2000)는 촬영된 물체에 대응되는 위치에 부가 화면을 디스플레이 한다. 일 실시 예로, 제2디바이스(2000)는 제1디바이스(1000)와 관련된 물체(1000a)에 부가화면을 디스플레이 할 수 있다. 제2디바이스(2000)는 촬영된 물체(1000a)의 상태 정보에 기초하여 부가 화면을 디스플레이 할 위치를 결정할 수 있다. 부가 화면을 디스플레이 할 위치 결정하는 방법의 일 실시 예를 설명하면, 제2디바이스(2000)는 카메라로 촬영된 물체(1000a)의 상태를 인식하고, 물체(1000a)의 상태 정보로부터 물체(1000a)의 위치 좌표 및 각도를 추출하고, 물체(1000a)의 위치 및 각도에 기반하여 부가 화면이 디스플레이 될 영역을 결정할 수 있다.
제1디바이스를 통해 화면을 처리하는 또 다른 실시 예로써, 물체는 사람의 손바닥이나 손목, 다이어리의 흰 종이 및 달력과 같은 자연물일 수 있다.
즉, 제1디바이스(1000)가 사람의 손바닥에 디스플레이 영역으로 설정하고 제2디바이스(2000)로 디스플레이 영역 정보를 통보한다. 제2디바이스(2000)는 카메라를 통해 사람의 손바닥을 인식할 경우 인식 이벤트를 제1디바이스(1000)로 알리고, 제1디바이스(1000)의 부가 화면 요청에 따라 촬영된 사람의 손바닥에 대응되는 영역에 가상 키보드나 달력과 같은 부가 화면을 표시할 수 있다.
도 13은 본 발명의 일 실시 예에 따른, 제2디바이스가 제1디바이스의 화면과 연동된 화면을 디스플레이 하는 방법의 흐름도이다.
일 실시 예로, 제1디바이스(1000)는 모바일 디바이스이고, 제2디바이스(2000)는 HMD 라고 한다.
단계 410에서, 제1디바이스(1000)는 화면을 디스플레이 한 상태에서, 제스쳐 또는 터치 또는 음성과 같은 사용자 입력에 의해 표시 화면에 관련된 부가 화면 표시 요청인가를 체크한다. 일 실시 예로, 부가 화면은 HMD의 화면상에서 디스플레이 되는 가상 이미지일 수 있다.
단계 415에서, 제1디바이스(1000)는 부가 화면 표시 요청으로 판별되면 부가 화면 요청에 대응하는 트리거링 신호와 함께 제1디바이스(1000)의 표시 화면과 관련된 부가 화면 정보를 제2디바이스(200)로 전송한다. 예를 들면, 사용자가 제1디바이스(1000)의 표시 화면을 더 확장해고 보고자 하면 제1디바이스(1000)는 제2디바이스(2000)로 부가 화면 표시를 요청하고 동시에 부가 화면 정보를 전송할 수 있다.
이때, 부가 화면 정보는 제1디바이스 형상 정보, 부가 화면에 관련된 콘텐츠 정보, 부가 화면이 제1디바이스의 표시 화면에 표시될 위치 정보, 부가 화면에 관련된 이미지 정보, 부가 화면의 크기를 포함할 수 있다. 예를 들면, 제1디바이스가 이-북(e-book)일 경우, 부가 화면에 관련된 콘텐츠 정보는 가상 이-북 목차가 일 수 있고, 부가 화면의 위치 정보는 이-북 제1디바이스의 화면의 오른쪽 위치가 될 수 있고, 부가 화면의 크기 정보는 이-북 제1디바이스의 표시 화면과 동일한 크기일 수 있다. 또한 사용자가 가상 이미지 형태의 부가 화면에서 가상 이-북 목차를 선택하였을 경우, 화면의 위치 정보는 이-북 제1디바이스의 목차 화면의 오른쪽 위치가 될 수 있고, 부가 화면의 크기 정보는 이-북 제1디바이스의 목차 화면의 70% 크기일 수 있다.
단계 420에서 제2디바이스(2000)는 제1디바이스(1000)로부터 부가 화면 표시 요청과 부가 화면 정보를 획득한다.
단계 425에서 제2디바이스(2000)는 제1디바이스(1000)로부터 부가 화면 표시 요청을 포함한 부가 화면 정보를 수신하면, 카메라를 이용하여 제1디바이스(100)의 형상을 촬영한다.
단계 430에서, 제2디바이스(2000)는 부가 화면을 디스플레이 할 위치를 결정하기 위해 제1디바이스(100)의 형상에 기반하여 제1디바이스(100)의 상태를 인식한다. 이때 인식된 제1디바이스의 상태 정보는 디바이스 타입, 표시 화면의 위치 및 각도를 포함할 수 있다.
단계 435에서, 제2디바이스(2000)는 제1디바이스(1000)의 상태로부터 제1디바이스(1000)의 화면 위치 및 각도를 추출하고, 제1디바이스(1000)의 표시 화면의 위치, 각도 및 부가 화면 정보를 기반으로 제1디바이스(1000)에 부가 화면을 디스플레이 할 위치 및 방향을 결정한다. 제1디바이스(1000)의 화면 위치 및 각도 추출 방식은 여러 가지 실시 예를 가질 수 있다. 일 실시 예로, 제2디바이스(2000)는 제1디바이스(1000)로부터 제1디바이스의 형상 정보를 수신한다. 제2디바이스(2000)는 수신된 제1디바이스의 형상 정보로부터 특징 점(feature)을 추출한다. 제2디바이스(2000)는 카메라로 촬영된 제1디바이스(1000)의 이미지의 특징 점과 수신된 제1디바이스의 형상 정보의 특징 점을 비교하여 제1디바이스의 화면 위치를 판단한다. 또한 제2디바이스(2000)는 특징 점의 위치 관계에 따라 화면 각도를 결정한다. 예를 들면, 제2디바이스(2000)는 제1디바이스의 형상에서 4개의 모서리에 4개의 특징 점의 간격이 균일하면 정확히 정면을 향하는 화면 각도로 판단하고 4개의 특징 점의 간격이 균등하지 않으면 기울어진 화면 각도로 판단한다.
단계 440에서, 제2디바이스(2000)는 결정된 디스플레이 위치와 수신된 부가 화면 관련 정보를 기반으로 제1디바이스(1000)의 표시 화면과 연동된 부가 화면을 디스플레이 한다. 일 실시 예로, HMD 의 글래스 화면에는 제1디바이스(1000)의 표시 화면과 부가 화면이 표시된다. 결국, 사용자는 제2디바이스(2000)를 통해 제1디바이스(1000)의 표시 화면과 부가 화면을 볼 수 있다.
도 14는 본 발명의 일 실시 예에 따른, 제2디바이스가 물체를 구비한 제1디바이스와 연동된 화면을 디스플레이 하는 방법의 흐름도이다.
일 실시 예로, 제1디바이스(1000)는 모바일 디바이스이고, 제2디바이스(2000)는 HMD 라고 한다. 제1디바이스(1000)는 도 2에서 개시된 바와 같이 제한된 기능을 갖거나 아무런 기능을 갖지 않는 물체(1000a)를 별개로 구비하고 있다. 예를 들면, 물체(1000a)는 손목 밴드, 스티커, 달력 중 어느 하나가 될 수 있다. 물체(1000a)는 제1디바이스(1000)와 별도로 위치될 수 있다.
단계 450에서, 제1디바이스(1000)는 물체(1000a)와 관련된 정보를 전송한다. 물체(1000a)와 관련된 정보는 물체의 형상이나 위치 정보일 수 있다. 예를 들면 물체(1000a)가 밴드라고 하면, 물체(1000a)와 관련된 정보는 밴드 형상이나 밴드의 위치 정보일 수 있다.
단계 455에서, 제1디바이스(1000)로부터 물체(1000a)와 관련된 정보를 수신하면 제2디바이스(2000)는 물체(1000a)와 관련된 정보에 기반하여 카메라를 통해 물체(1000a)의 형상을 인식한다. 일 실시 예로, 물체(1000a)가 아무런 기능이 없는 손목 밴드일 경우, 제1디바이스(1000)는 사용자가 손목 밴드를 보는 동작을 인식할 수 없기 때문에 제2디바이스(2000)는 카메라를 통해 손목의 밴드를 인식할 수 있다. 그러나 물체(1000a)가 제한된 기능이 있는 손목 밴드일 경우, 제1디바이스(1000)가 손목 밴드를 보는 동작을 인식할 수 있으므로 제1디바이스(1000)는 인식 동작 없이 바로 제2디바이스(2000)로 부가 화면 표시 요청을 할 수 있다. 다른 실시 예로, 제1디바이스(1000)가 사람의 손목이나 다이어리, 달력등과 같은 자연물을 디스플레이 영역으로 설정하였을 경우, 제2디바이스(2000)는 카메라를 통해 자연물을 인식할 수 있다.
단계 460에서, 카메라를 통해 물체(1000a)를 인식하면 제2디바이스(2000)는 물체 인식 정보를 제1디바이스(1000)로 전송한다. 일 실시 예로, 제2디바이스(2000)는 카메라를 통해 손목의 밴드를 인식할 경우 제1디바이스(1000)에 손목 밴드 인식 이벤트를 알릴 수 있다.
단계 465에서, 제1디바이스(1000)는 화면을 디스플레이 한 상태에서, 사용자의 움직임 또는 터치 또는 음성과 같은 입력 방식에 의해 부가 화면 표시 요청인가를 체크한다.
단계 470에서, 제1디바이스(1000)는 부가 화면 표시 요청이면 부가 화면 요청에 대응하는 트리거링 신호와 함께 제1디바이스(1000)의 부가 화면 정보를 제2디바이스(200)로 전송한다. 예를 들면, 사용자가 물체(1000a)에 메뉴 화면을 표시하고자 하면 제1디바이스(1000)는 제2디바이스(2000)로 부가 화면 표시 요청 신호와 부가 화면 정보를 전송할 수 있다.
이때, 부가 화면 정보는 부가 화면의 내용, 부가 화면이 물체(1000a)의 정해진 위치에 표시될 위치 정보, 부가 화면에 관련된 콘텐츠 정보, 부가 화면의 크기를 포함할 수 있다. 일 실시 예로, 부가 화면은 HMD의 화면상에서 디스플레이 되는 가상 이미지일 수 있다.
단계 475에서 제2디바이스(2000)는 제1디바이스(1000)로부터 부가 화면 표시 요청과 부가 화면 정보를 획득한다.
단계 480에서 제2디바이스(2000)는 제1디바이스(1000)에 대한 부가 화면 표시 요청을 포함한 부가 화면 정보를 수신하면, 카메라를 이용하여 물체(1000a)의 형상을 촬영한다.
단계 485에서, 제2디바이스(2000)는 부가 화면을 디스플레이 할 위치를 결정하기 위해 상기 물체(1000a)의 형상에 기반하여 물체(1000a)의 상태를 인식한다. 이때 인식된 물체의 상태는 디바이스 위치 및 각도 정보를 포함할 수 있다. 예를 들면, 제2디바이스(2000)는 물체(1000a)에 해당하는 손목 밴드의 위치 및 각도를 인식할 수 있다. 일 실시 예로, 제2디바이스(2000)는 물체(1000a)로부터 물체의 형상 정보를 수신한다. 제2디바이스(2000)는 수신된 물체의 형상 정보로부터 특징 점(feature)을 추출한다. 제2디바이스(2000)는 카메라로 촬영된 물체(1000)의 이미지의 특징 점과 수신된 물체의 형상 정보의 특징 점을 비교하여 물체의 화면 위치를 판단한다. 또한 제2디바이스(2000)는 특징 점의 위치 관계에 따라 화면 각도를 결정한다. 예를 들면, 제2디바이스(2000)는 물체의 형상에서 4개의 모서리에 4개의 특징 점의 간격이 균일하면 정확히 정면을 향하는 물체 각도로 판단하고 4개의 특징 점의 간격이 균등하지 않으면 기울어진 물체 각도로 판단한다.
단계 490에서, 제2디바이스(2000)는 물체(1000a)의 상태 정보로부터 물체(1000a)의 위치 좌표 및 각도를 추출하고, 수신된 부가화면 관련 정보 및 물체(1000a)의 위치 및 각도를 기반으로 부가 화면을 디스플레이 할 위치 및 방향을 결정한다.
단계 495에서, 제2디바이스(2000)는 결정된 디스플레이 위치와 수신된 부가화면 관련 정보를 기반으로 물체(1000a)의 정해진 위치 및 방향에 부가 화면을 디스플레이 한다.
도 15는 본 발명의 일 실시 예에 따른, 제2디바이스가 부가 화면을 제어하는 방법의 흐름도이다.
일 실시 예로, 제1디바이스(1000)는 모바일 디바이스이고, 제2디바이스(2000)는 HMD 라고 한다. 부가 화면은 HMD의 화면상에서 디스플레이 되는 가상 이미지일 수 있다.
단계 510에서, 제1디바이스(1000)는 제스쳐, 터치 및 음성 중 어느 하나에 의한 사용자 입력인가를 체크한다.
단계 515에서, 사용자 입력이면 제1디바이스(1000)는 사용자 입력에 의한 제어 명령을 제2디바이스(2000)로 전송한다.
단계 525 단계에서, 제2디바이스(2000)는 사용자 입력에 해당하는 부가 화면 표시 관련 이벤트를 생성하고, 해당 이벤트 처리를 수행한다.
단계 530에서, 제2디바이스(2000)는 부가 화면 표시 관련 이벤트를 처리함에 따라 해당 부가 화면을 표시한다.
단계 520에서, 제2디바이스(2000)는 부가 화면상에서 가상의 터치 제스쳐나 음성에 의한 사용자 입력인가를 체크한다.
단계 515에서, 제2디바이스(2000)는 사용자 입력에 의한 제어 명령을 제1디바이스(1000)로 전송한다.
단계 535에서, 제1디바이스(1000)는 사용자 입력에 해당하는 부가 화면 표시 관련 이벤트를 생성하고, 해당 이벤트 처리를 수행한다.
단계 540에서, 제1디바이스(1000)는 부가 화면 표시 관련 이벤트를 처리함에 따라 표시 화면을 갱신한다. 예를 들면, 제2디바이스(2000)가 가상 터치에 의해 특정 메뉴의 부가 화면을 선택하면 제1디바이스(1000)는 선택된 특정 메뉴의 부가 화면에 해당하는 특정 메뉴 화면을 갱신하여 디스플레이 할 수 있다.
도 16은 본 발명의 일 실시 예에 따른, 제1디바이스가 제2디바이스의 부가 화면을 종료하도록 제어하는 방법의 흐름도이다.
일 실시 예로, 제1디바이스(1000)는 모바일 디바이스이고, 제2디바이스(2000)는 HMD 라고 한다.
단계 545에서, 제1디바이스(1000)는 사용자 입력에 의해 부가 화면 종료 명령이 입력하는 가를 체크한다. 이 경우, 제1디바이스(1000)에 대한 사용자 입력은, 특정 제스쳐 입력, 터치 입력, 버튼 입력, 음성 입력일 수 있으나, 이에 제한되지 않는다.
단계 550에서, 제1디바이스(1000)는 부가 화면 종료 명령을 제2디바이스(2000)로 전송한다.
단계 555에서, 제2디바이스(2000)는 제1디바이스(1000)에서 수신된 부가 화면 종료 명령에 따라 부가 화면을 종료한다.
도 17은 본 발명의 일 실시 예에 따른, 제2디바이스가 제1디바이스에 표시 화면을 디스플레이 하도록 제어하는 방법의 흐름도이다.
일 실시 예로, 제1디바이스(1000)는 모바일 디바이스이고, 제2디바이스(2000)는 HMD 라고 한다.
단계 560에서, 제2디바이스(2000)는 카메라를 통한 가상의 제스쳐나 음성에 의해 부가 화면 종료 명령이 입력하는 가를 체크한다. 일 실시 예로, 부가 화면 종료 명령은 터치 제스처를 통한 부가 화면상의 메뉴 선택 또는 부가 화면의 선택, 부가 화면 밖의 영역 선택, X자를 그리는 방식과 같은 특정 제스처를 포함할 수 있다.
단계 565에서, 부가 화면 종료 명령이 수신되면 제2디바이스(2000)는 부가 화면을 종료한다.
단계 570에서, 제2디바이스(2000)는 부가 화면 종료 알림 정보를 제1디바이스(1000)로 전송한다. 이때, 부가 화면 종료 알림 신호는, 비디오 신호, 오디오 신호, 및 햅틱(Haptic) 신호 중 적어도 하나를 포함할 수 있다.
단계 575에서, 제1디바이스(1000)는 제2디바이스(2000)에서 수신된 부가 화면 종료 알림 정보에 따라 화면을 표시한다.
도 18은 본 발명의 일 실시 예에 따른, 제2디바이스가 제1디바이스의 표시 화면 주위에 가상 이미지 형태의 부가 화면을 디스플레이하고 부가 화면을 제어하도록 하는 예시를 도시한 도면이다.
도 18을 참조하면, 제1디바이스(1000)는 실시 예로서 손목 형 단말기고 제2디바이스(2000)는 HMD 장치이다.
도 18의 (a)에 도시된 바와 같이 제2디바이스(2000)가 제1디바이스(1000)의 화면과 연동하여 적어도 하나의 메뉴 이미지로 구성된 부가 화면을 디스플레이 하도록 한다. 600은 제2디바이스(2000)의 글래스 화면을 도시한 것이다.
제2디바이스(2000)는 부가 화면에 해당하는 "Gallery" 메뉴(610)상에서 카메라를 통한 가상의 터치 제스쳐나 음성을 인식하면, 부가 화면 선택에 대응하는 사용자 입력을 제1디바이스(1000)로 전송한다.
이에 따라, 도 18의 (b)에 도시된 바와 같이 제1디바이스(1000)는 제2디바이스(2000)에서 수신된 사용자 입력에 따라 선택된 부가 화면에 해당하는 "Gallery" 메뉴(625)를 디스플레이 할 수 있다.
도 19는 본 발명의 다른 실시 예에 따른, 제2디바이스가 제1디바이스의 화면 주위에 가상 이미지 형태의 부가 화면을 디스플레이하고 부가 화면을 제어하도록 하는 예시를 도시한 도면이다.
도 19를 참조하면, 일 실시 예로서, 제1디바이스(710)는 이-북(E-book) 단말 기(710)이고 제2디바이스(2000)는 HMD 장치이다.
도 19의 (a)에 도시된 바와 같이 제2디바이스(2000)가 이-북 단말 기(710)의 화면과 연동하여 적어도 하나의 가상 이미지로 구성된 부가 화면을 디스플레이 하도록 한다. 700은 제2디바이스(2000)의 글래스 화면 영역을 도시한 것이다. 이때, 이-북 단말 기의 표시 화면(710)은 HMD의 렌즈를 통과해 보여지는 실제 화면이고, 제2 디바이스(2000)의 부가 화면(715, 720)은 HMD의 디스플레이부를 통해 이-북 단말기(710)의 주변에 보여지는 가상 이미지이다.
제2디바이스(2000)는 부가 화면에 해당하는 목차(715)에서 카메라를 통해 가상의 터치 제스쳐나 음성에 의한 사용자 입력을 인식하면, 미리 보기에 해당하는 부가 화면을 디스플레이 한다. 제2디바이스(2000)는 가상의 터치 제스쳐나 음성을 통해 미리 보기에 해당하는 부가 화면이 선택되면 그 선택 신호를 이-북 단말기(710)로 전송한다.
이에 따라, 도 19의 (b)에 도시된 바와 같이 이-북 단말기(710)는 제2디바이스(2000)에서 수신된 사용자 입력 신호에 따라 미리 보기에 해당하는 표시 화면(725)을 디스플레이 할 수 있다.
도 20은 본 발명의 또 다른 실시 예에 따른, 제2디바이스가 제1디바이스 주위에서 3D 이미지 형태의 부가 화면을 디스플레이하고 부가 화면을 제어하도록 하는 예시를 도시한 도면이다.
도 20을 참조하면, 일 실시 예로서, 제1디바이스(1000)는 태블릿 단말기(810)이고 제2디바이스(2000)는 HMD 장치이다.
도 20에 도시된 바와 같이 제2디바이스(200)가 태블릿 단말기(810)의 표시 화면과 연동하여 증강 현실(Augmented Reality)의 3D 화면을 다양한 각도에서 디스플레이 하도록 한다. 800은 제2디바이스(2000)의 글래스 화면을 도시한 것이다.
제2디바이스(2000)는 AR의 부가 화면(예:인체 화면)상에서 카메라를 통해 손가락의 움직임(820)을 인식한다. 제2디바이스(2000)는 AR의 부가 화면에서 손가락의 움직임(820)에 따라 태블릿 단말기(810)에서 표시되는 인체 단면(830)의 위치를 이동하면서 각 단면에 대응하는 인체 부분을 선택할 수 있다.
제2디바이스(2000)는 손가락의 움직임을 통해 인체 단면에 해당하는 부가 화면이 선택되면 선택 신호를 태블릿 단말기(810)로 전송한다.
결국, 도 20에 도시된 바와 같이 태블릿 단말기(810)는 제2디바이스(2000)에서 수신된 선택 신호에 따라 이동되는 인체 단면에 해당하는 이미지를 디스플레이 할 수 있다.
도 21은 본 발명의 일 실시 예에 따른 제1디바이스(1000)의 블록도 이다.
도 21에 도시된 바와 같이, 제1디바이스(1000)는, 사용자 입력부(1100), 디스플레이부(1200), 제어부(1300), 센서부(1400), 통신부(1500), A/V 입력부(1600), 메모리(1700) 및 알림 모듈(1800)를 포함할 수 있다.
사용자 입력부(1100)는, 사용자가 제1디바이스(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(1100)는, 제2디바이스에서 부가 화면을 표시할 것을 선택하는 사용자 입력을 수신할 수 있다.
디스플레이부(1200)는 제1디바이스(1000)에서 처리되는 정보를 표시한다. 예를 들어, 디스플레이부(1200)는, 메뉴와 같은 사용자 인터페이스를 표시 할 수 있다.
제어부(1300)는, 통상적으로 제1디바이스(1000)의 전반적인 동작을 제어한다. 예를 들어, 제어부(1300)는, 메모리(1700)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1100), 디스플레이부(1200), 센서부(1400), 통신부(1500), A/V 입력부(1600) 등을 전반적으로 제어할 수 있다.
구체적으로, 제어부(1300)는, 통신부(1500)를 제어함으로써, 제스쳐 또는 터치 또는 음성과 같은 사용자 입력에 의해 부가 화면의 표시를 제어할 수 있다. 제1디바이스(1000)는 사용자 입력에 의해 메뉴를 선택하고 그 메뉴에 관련된 부가 화면의 표시 명령을 생성할 수 있다. 제어부(1300)는 제2디바이스(2000)에 부가 화면을 요청할 수 있으며, 제2디바이스(2000)로부터 수신된 사용자 입력에 해당하는 제어 명령에 따라 화면을 처리할 수 있다. 제어부(1300)는 제2디바이스(2000)로 부가 화면 표시 요청과 함께 부가 화면 관련 정보를 제공할 수 있다. 예를 들면, 부가 화면 관련 정보는 부가 화면이 표시될 위치, 부가 화면에 관련된 콘텐츠 내용 및 부가 화면의 크기를 포함할 수 있다. 또한 제어부(1300)는 제2디바이스(20000)로부터 수신된 부가 화면에 대한 제어 정보에 따라 표시 화면과 관련된 정보를 갱신할 수 있다.
센서부(1400)는, 제1디바이스(1000)의 상태 또는 제1디바이스(1000) 주변의 상태를 감지하고, 감지된 정보를 제어부(1300)로 전달할 수 있다.
센서부(1400)는, 지자기 센서(Magnetic sensor), 가속도 센서(Acceleration sensor), 온/습도 센서(1430), 적외선 센서(1440), 자이로스코프 센서, 위치 센서(예컨대, GPS), 근접 센서, 및 RGB 센서(illuminance sensor)중 적어도 하나를 포함할 수 있다.
통신부(1500)는, 제1디바이스(1000)와 제2디바이스(2000)간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다.
또한, 통신부(1500)는, 제2디바이스(2000)를 통하여 부가 화면을 디스플레이하고 부가 화면의 동작을 변경하기 위하여 필요한 정보를, 제2디바이스(2000)와 송수신할 수 있다.
A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1610)와 마이크(1620) 등이 포함될 수 있다. 카메라(1610)는 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라(1610)에서 처리된 화상 프레임은 메모리(1700)에 저장되거나 통신부(1500)를 통하여 외부로 전송될 수 있다. 마이크(1620)는, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크(1620)는 외부 제1디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크(1620)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
메모리(1700)는, 제어부(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 제1디바이스(1000)로 입력되거나 제1디바이스(1000)로부터 출력되는 데이터들(예컨대, 제1디바이스(1000)의 표시 화면에 링크될 부가 화면의 위치 정보, 부가 화면에 관련된 콘텐츠 정보 및 부가 화면의 크기 정보등)을 저장할 수도 있다.
알림 모듈(1800)은 제1디바이스(1000)의 부가 화면 관련 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 제1디바이스(1000)에서 발생되는 부가 화면 관련 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다. 알림 모듈(1800)은 디스플레이부(1200)를 통해 비디오 신호 형태로 알림 신호를 출력할 수 있다.
도 22는 본 발명의 일 실시 예에 따른 제2디바이스(2000)의 외관을 나타내는 도면이다.
도 22에서는, 제2디바이스(2000)가 안경 형태의 HMD 장치인 경우를 예로 들어 설명하기로 한다.
도 22에 도시된 프레임은 일체형으로 구성되지만, 본 개시에 따른 HMD 장치의 프레임의 형태 및 구조는 도 22에 도시된 바로 제한되지 않는다.
예를 들어, HMD 장치의 프레임(2010)은 연결 부재(미도시)를 포함함으로써, 프레임(2010)의 적어도 일부가 접힐 수 있는 구조로 구성될 수 있다. 예를 들어, 본 개시의 일 실시예에 따른 HMD 장치는 접힐 수 있는 프레임(2010)을 포함함으로써, 사용자가 이용하지 않을 경우 HMD 장치를 접어서 보관할 수 있도록 함으로써 HMD 장치가 차지하는 공간을 최소화할 수 있다.
또한, 본 개시의 일 실시예에 따른 HMD 장치는, 사용자의 머리의 사이즈에 관계없이 HMD 장치가 사용자의 머리에 고정되도록 탄성이 있는 밴드를 더 포함할 수 있다.
한편, 본 개시의 일 실시예에 따른 프레임(2010)은 렌즈(2005)가 탈착이 가능하도록 구성될 수 있다. 본 개시의 일 실시예에 따른 HMD 장치는 렌즈(2005)를 포함하지 않을 수 있다. 또한, 도 22에 도시된 렌즈(2005)는 코걸이(nose bridge)와 일체형으로 구성되는 것으로 도시되었으나 본 개시는 도 22에 제한되지 않는다. 예를 들어, 본 개시의 일 실시예에 따른 HMD 장치의 코걸이는 프레임(2010)과 일체형으로 구성될 수 있다.
렌즈(2005)는 사용자가 렌즈(2005)를 통해 실제 공간을 볼 수 있는 투명한 물질로 구성될 수 있다. 렌즈(2005)는 디스플레이부(2030) 상에 디스플레이 되는 영상을 구성하는 빛을 통과시킬 수 있는 물질로 구성될 수 있다. 렌즈(2010)를 형성하기 위해 사용될 수 있는 물질은, 예를 들어, 폴리카보네이트와 같은 플라스틱, 또는 유리를 포함할 수 있으나 이로 제한되지 않는다.
제어부(2600)는 유선 또는 무선으로 HMD 장치에 연결될 수 있다. 도 22에는 제어부(2600)가 프레임(2010)의 왼쪽 측면에 위치한 것으로 도시되었으나, 본 개시는 이에 제한되지 않는다. 예를 들어, 제어부(2600)는 오른쪽 측면에 위치하거나, 카메라(2050)와 인접하게 HMD 장치의 전면에 위치할 수 있다.
제어부(2600)는, 예를 들어, 카메라(2050) 또는 사용자 입력부(2040)들로부터 데이터를 수신하고, 수신된 데이터를 분석하고, 디스플레이부(2030) 및 오디오 출력부(2020) 중 적어도 하나를 통해 HMD 장치의 사용자에게 전달할 정보를 생성할 수 있다. 사용자에게 제공되는 정보는 이미지, 텍스트, 비디오 및 오디오중 적어도 하나를 포함할 수 있으나 이로 제한되지 않는다.
카메라(2050)는 디스플레이부(2030)에 포함되는 구성이거나, 디스플레이부(2030)와는 구분되는 개별적인 구성으로서 프레임(2010) 상에 위치할 수 있다. 카메라(2050)는 스마트 폰에서 사용되는 카메라나 웹캠(webcams)과 같은 소형 카메라로 구성될 수 있다. 예를 들어, 카메라(2050)는 사용자의 손의 제스처에 대한 영상을 획득하기에 적합하다고 미리 결정된 위치에 장착될 수 있다. 예를 들어, 도 22에 도시된 바와 같이, 카메라(2050)는, HMD 장치를 사용자가 착용했을 때, 사용자의 눈에 인접한 위치에 장착됨으로써, 사용자의 눈을 통해 인식되는 영상과 유사한 영상을 촬영할 수 있다.
사용자 입력부(2040)는 사용자의 손가락에 의해 동작 가능한 터치 패드 및 사용자의 푸시 조작에 의해 동작 가능한 버튼 중 적어도 하나를 포함할 수 있으나 이로 제한되지 않는다. 도 22에는 사용자 입력부(2040)가 프레임(2010)의 측면에 위치한 것으로 도시되나, HMD 장치상의 다른 위치에도 위치할 수 있다.
사용자 입력부(2040)는 사용자 입력을 수신한다. 사용자 입력이란, HMD 장치가 소정 동작을 개시하거나 종료하는 동기가 되는 이벤트를 발생하는, 사용자로부터 입력된 데이터 또는 신호를 포함할 수 있다.
예를 들어, 사용자 입력부(2040)는 HMD 장치의 전원을 온/오프 할 수 있는 온/오프 스위치를 포함할 수 있다. 또는 본 개시의 일 실시예에 따른 사용자 입력부(2040)는 HMD 장치를 통해 디스플레이 되는 영상을 조정하기 위한 사용자 입력을 수신할 수 있다.
디스플레이부(2030)는 도 22에 도시된 바와 같이 렌즈(2005)의 왼쪽 상단에 위치할 수 있다. 도 22에 도시된 바와 같이, 디스플레이부(2030)는 반투명 광 파장 가이드(optical waveguide)(예를 들어, 프리즘)로 구성될 수 있다. 도 22에 도시된 디스플레이부(2030)는 HMD 장치에 내장된 프로젝터로부터 출력되는 빛을 반사시켜 HMD 장치를 착용하는 사용자의 눈의 망막(retina)의 횡반(fovea)에 이미지를 포커싱할 수 있다. 그러나, 본 개시에 따른 HMD 장치에 포함되는 디스플레이부(2030)는 도 22에 제한되지 않으며, 다양한 방식 및 다양한 구성을 이용하여 사용자에게 영상을 접안 디스플레이 할 수 있다. 예를 들면, 본 발명의 일 실시 예에 의하면, 디스플레이부(2030)는, 투명 디스플레이일 수도 있고, 불투명 디스플레이일 수도 있다.
도 22에 도시되지는 않았으나, 본 개시의 일 실시예에 따른 HMD 장치는 마이크(미도시)를 더 포함할 수 있다. 마이크는 사용자의 음성, 및 HMD 장치의 주변 환경의 소리 등을 수신할 수 있다.
음향 출력부(2020)는 HMD 장치의 사용자의 귀에 장착될 수 있는 이어폰 형태로 구성될 수 있다. 음향 출력부(2020)는 도 22에 도시된 바와 같이 HMD 장치에 고정된 형태로 장착될 수 있으나 본 개시는 이에 제한되지 않는다. 예를 들어, 음향 출력부(2020)는 HMD 장치로부터 탈착이 가능하도록 구성되어 HMD 장치의 사용자가 선택적으로 음향 출력부(2020)를 귀에 장착할 수 있도록 구성될 수 있다. 예를 들어, 음향 출력부(2020)는 골전도 스피커로 구성될 수 있다.
전원 공급부(2015)는 HMD 장치의 프레임(2010)의 단부에 위치한 것으로 도시된다. 그러나, 본 개시는 이에 제한되지 않으며, 전원 공급부(2015)는 HMD 장치의 프레임(2010) 상의 다양한 위치에 배치될 수 있다. 전원 공급부(2015)는 HMD 장치의 동작을 위해 필요한 전원을 각 구성에 공급한다. 전원 공급부(2015)는 전력을 충전할 수 있는 배터리(미도시)를 포함할 수 있으며, 외부로부터 전력을 수신할 수 있는 케이블(미도시) 또는 케이블 포트(미도시)를 포함할 수 있다.
도 23 및 도 24는 본 발명의 일 실시 예에 따른 제2디바이스의 블록도 이다. 도 23 및 24에서는, 제2디바이스(2000)가 안경 형태의 HMD 장치인 경우를 예로 들어 설명하기로 한다.
도 23을 참조하면, 일 실시 예에 따른 HMD 장치는 적어도 하나의 카메라(2100), 사용자 입력부(2200), 디스플레이부(2030), 통신부(2400) 및 제어부(2600)를 포함한다.
그러나, 도 23에 도시된 구성 요소 모두가 HMD 장치의 필수 구성 요소인 것은 아니다. 도 23에 도시된 구성 요소보다 많은 구성 요소에 의해 HMD 장치가 구현될 수도 있고, 도 23에 도시된 구성 요소보다 적은 구성 요소에 의해 HMD 장치가 구현될 수도 있다.
예를 들어, 도 24에 도시된 바와 같이, 일 실시 예에 따른 HMD 장치는, 적어도 카메라(2050), 사용자 입력부(2200), 디스플레이부(2030), 통신부(2500) 및 제어부(2600) 이외에 마이크(2055), 출력부(2300), 메모리(2400), 센서부(2700), 인터페이스부(2800)를 더 포함할 수도 있다.
카메라(2050)는 실제 공간의 객체를 촬영한다. 카메라(2050)에 의해 촬영된 객체 이미지는 동 영상 이미지 이거나, 연속적인 정지 영상 이미지들 일 수 있다. HMD 장치는, 예를 들어, 통신 기능 및 데이터 프로세싱 기능을 구비한 안경 형태의 장치일 수 있다 사용자에 의해 착용된 HMD 장치에서 사용자의 전방을 향하는 카메라(2050)는, 실제 공간의 객체를 촬영할 수 있다.
일 실시 예로, 카메라(2050)는 제1디바이스(1000), 제1디바이스(1000)와 관련된 물체, 또는 사용자 제스쳐를 촬영한다. 예를 들어 카메라(2050)는 사용자의 신체 부위에 대한 정보 또는 사용자의 제스처에 대한 정보를 획득할 수 있다. 사용자의 신체 부위에 대한 정보는, 신체 부위에 대한 영상을 포함할 수 있으며, 사용자의 제스처에 대한 정보는 제스처를 취하는 사용자의 신체 부위를 촬영한 영상을 포함할 수 있다.
카메라(2050)는 제2디바이스의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크(2055)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 그리고, 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(2510)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(2055)는 외부의 음향 신호를 입력 받는 과정에서 발생하는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘이 사용될 수 있다.
사용자 입력부(2200)는 HMD 장치를 제어하기 위한 사용자 입력을 수신한다. 사용자 입력부(2200)에는 HMD 장치에 대한 터치 입력, 및 키 입력을 수신할 수 있다. 또한, 사용자 입력부(2200)는 카메라(2050)로부터 촬영되는 사용자의 제스쳐 입력을 수신할 수도 있다.
디스플레이부(2030)는 사용자에게 HMD 장치의 제어부(1600)에서 처리되는 가상 이미지의 부가 화면 정보를 디스플레이 한다.
본 개시의 일 실시 예에 따른 디스플레이부(2030)는 제1디바이스(1000)의 표시 화면의 정해진 위치에 가상 이미지의 부가 화면을 디스플레이 할 수 있다.
또한, 본 개시의 일 실시 예에 따른 디스플레이부(2030)는 제1디바이스(1000)와 관련된 물체의 정해진 위치에 가상 이미지의 부가 화면을 디스플레이 할 수 있다.
또한, 디스플레이부(2030)는 제어부(1600)에서 처리되는 가상 이미지의 부가 화면을 선택하기 위한 사용자 인터페이스를 디스플레이 할 수 있다.
디스플레이부(2030)는 터치 스크린, 저자 종이, 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 투명 디스플레이 중에서 적어도 하나를 포함할 수도 있다.
출력부(2300)는 오디오 신호 또는 비디오 신호 또는 알람(alarm) 신호의 출력을 위한 것이다. 출력부(2300)에는 음향출력부(2020), 알람부(2330), 및 햅틱 모듈(2340) 등이 포함될 수 있다.
음향 출력부(2020)는 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 통신부(2500)로부터 수신되거나 메모리(2400)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(2020)은 HMD 장치에서 수행되는 기능, 예를 들어, 호신호 수신음, 메시지 수신음 등과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(2020)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(2330)는 HMD 장치의 부가 화면 관련 이벤트 발생을 알리기 위한 신호를 출력한다. HMD 장치에서 발생하는 부가 화면 관련 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력 등이 있다. 알람부(2330)는 오디오 신호나 비디오 신호 이외에 다른 형태로 부가 화면 관련 이벤트 발생을 알리기 위한 신호를 출력한다. 알람부(2330)는 호 신호가 수신되거나 메시지가 수신된 경우, 이를 알리기 위해 신호를 출력할 수 있다. 또한, 알람부(2330)는 키 신호가 입력된 경우, 키 신호 입력에 대한 피드백으로 신호를 출력할 수 있다. 이러한 알람부(2330)가 출력하는 신호를 통해 사용자는 부가 화면 관련 이벤트 발생을 인지할 수 있다. HMD 장치에서 부가 화면 관련 이벤트 발생 알림을 위한 신호는 디스플레이부(2030)나 음향 출력부(2020)를 통해서도 출력될 수 있다.
햅틱 모듈(haptic module)(2340)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(2340)이 발생시키는 촉각 효과의 대표적인 예로는 진동 효과가 있다. 햅틱 모듈(2340)이 촉각 효과로 진동을 발생시키는 경우, 햅틱 모듈(2340)이 발생하는 진동의 세기와 패턴 등은 변환가능하며, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈(2340)은 진동 외에도, 접촉 피부 면에 대해 수직 운동하는 핀 배열에 의한 자극에 의한 효과, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력을 통한 자극에 의한 효과, 피부 표면을 스치는 자극에 의한 효과, 전극(eletrode)의 접촉을 통한 자극에 의한 효과, 정전기력을 이용한 자극에 의한 효과, 흡열이나 발열이 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다. 햅틱 모듈(2340)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자의 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다.
메모리(2400)는 제어부(2600)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 메시지, 정지영상, 동영상, 제1디바이스의 표시 화면에 링크될 부가 화면의 위치 정보, 부가 화면에 관련된 콘텐츠 정보 및 부가 화면의 크기 정보등)의 임시 저장을 위한 기능을 수행할 수도 있다.
메모리(2400)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리, 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리(2400)는 인터넷(internet)상에서 메모리(2400)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.
통신부(2500)는 제1디바이스(1000)로부터 부가 화면 관련 정보를 수신하고, HMD 장치가 부가 화면 관련 정보에 기반하여 디스플레이부(2030)에 부가 화면을 디스플레이하고 디스플레이 된 부가 화면을 변경할 수 있도록 하기 위하여 필요한 정보를, 제1디바이스(1000)와 송수신한다. 다른 실시 예로, 통신부(2500)는 필요한 정보를 주변 기기 및 서버와 송수신할 수 있다.
통신부(2500)는 이동 통신 모듈(2510), 근거리 통신 모듈(2520), 방송 수신 모듈(2530), 인터넷 모듈(2540) 및 GPS 모듈(2550) 등을 포함할 수 있다.
이동통신 모듈(2510)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. 이에 따라, HMD 장치는 외부 장치와 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티미디어 메시지를 송수신할 수 있다.
근거리 통신 모듈(2520)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다.
방송수신 모듈(2530)은, 각종 방송 시스템을 이용하여 방송 신호를 수신하는데, 특히, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 또한, 방송수신 모듈(2530)은, 이와 같은 디지털 방송 시스템뿐만 아니라 방송 신호를 제공하는 모든 방송 시스템에 적합하도록 구성될 수 있다.
인터넷 모듈(2540)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 인터넷 모듈(2540)은 제2디바이스(2000)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
GPS(Global Position System) 모듈(2550)은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신한다.
센서부(2700)는 HMD 장치의 위치, 사용자 접촉 유무 등과 같이 HMD 장치의 현 상태를 감지하여 HMD 장치의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어, 인터페이스부(2800)의 외부 기기 결합 여부 등과 관련된 센싱 기능을 담당할 수 있다.
센서부(2700)는 근접센서(2710), 압력센서(2720), 및 모션 센서(2730) 등을 포함할 수 있다. 근접센서(2710)는 HMD(2000)로 접근하는 물체나, HMD 장치의 근방에 존재하는 물체의 유무 등을 기계적 접촉이 없이 검출할 수 있도록 한다. 근접센서(27210)는, 교류자계의 변화나 정자계의 변화를 이용하거나, 혹은 정전용량의 변화율 등을 이용하여 근접물체를 검출할 수 있다.
모션 센서(2730)는 가속도 센서, 자이로 센서 등을 이용하여 제2디바이스(2000)의 위치나 움직임 등을 감지한다. 모션 센서(2730)에 사용될 수 있는 가속도 센서는 어느 한 방향의 가속도 변화에 대해서 이를 전기 신호로 바꾸어 주는 소자로서, MEMS(micro-electromechanical systems) 기술의 발달과 더불어 널리 사용되고 있다. 또한, 자이로 센서는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향을 감지할 수 있다.
인터페이스부(2800)는 HMD 장치에 연결되는 모든 외부기기와의 인터페이스 역할을 수행한다. HMD 장치에 연결되는 외부기기의 예로는, 유/무선 헤드셋, 외부 충전기, 유/무선 데이터 포트, 메모리 카드(Memory card), SIM(Subscriber Identification Module) 카드, UIM(User Identity Module) 카드 등과 같은 카드 소켓, 오디오 I/O(Input/Output) 단자, 비디오 I/O(Input/Output) 단자, 이어폰 등이 있다. 인터페이스부(2800)는 이러한 외부 기기로부터 데이터를 전송 받거나 전원을 공급받아 HMD 장치 내부의 각 구성 요소에 전달할 수 있고, HMD 장치 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.
전원 공급부(2015)는 HMD 장치의 동작을 위해 필요한 전원을 각 구성에 공급한다. 전원 공급부(2015)는 전력을 충전할 수 있는 배터리(미도시)를 포함할 수 있으며, 외부로부터 전력을 수신할 수 있는 케이블(미도시) 또는 케이블 포트(미도시)를 포함할 수 있다.
제어부(2600)는 통상적으로 HMD 장치의 전반적인 동작을 제어한다. 예를 들어, 제어부(2600)는, 메모리(2400)에 저장된 프로그램들을 실행함으로써, 디스플레이부(2030), 카메라(2050), 사용자 입력부(2200), 출력부(2300) 및 통신부(2400)를 제어할 수 있다.
HMD 장치는 제1디바이스(1000)와 연결될 수 있으며, 제1디바이스(1000)부터, 가상 이미지의 부가 화면에 관한 정보를 수신함으로써, HMD 장치의 화면 상에 가상 이미지의 부가 화면을 디스플레이 할 수 있다. 다른 실시 예로서, HMD 장치는 서버(도시 안됨)와 연결될 수 있다.
제어부(2600)는 통신부(2500)를 통해 제1디바이스(1000)로부터 가상 이미지 부가 화면 정보, 부가 화면이 HMD 장치의 디스플레이부(2030)에 디스플레이 될 위치에 관한 정보를 수신할 수 있다.
본 개시의 일 실시예에 따른 제어부(2000)는 카메라(2050)를 이용하여 제1디바이스(1000)의 형상을 촬영하고, 제1디바이스(1000)의 형상 정보 및 부가 화면 정보에 기반하여 가상 이미지의 부가 화면을 디스플레이 할 위치를 결정하고, 제1디바이스(1000)의 표시 화면 주변에 가상 이미지의 부가 화면을 디스플레이 하고, 제1디바이스(1000)의 화면과 연동하여 가상 이미지의 부가 화면을 제어할 수 있다.
이 경우 제어부(2600)는, 제1디바이스의 상태 정보로부터 제1디바이스(1000)의 화면 위치 및 각도를 추출하고, 제1디바이스(1000)의 화면 위치 및 각도에 기반하여 가상 이미지의 부가 화면이 디스플레이 될 영역을 결정할 수 있다. 예를 들면, 제어부(2600)는 제1디바이스(1000)로부터 제1디바이스(1000)의 형상 정보를 수신하고, 수신된 제1디바이스(1000)의 형상 정보로부터 특징 점을 추출하고, 카메라(2050)를 통해 촬영된 제1디바이스(1000)의 이미지의 특징 점과 수신된 제1디바이스의 형상 정보의 특징 점을 비교하여 제1디바이스(1000)의 화면 위치 및 각도를 결정할 수 있다.
또한 본 개시의 일 실시 예에 따른 제어부(2600)는 제1디바이스(1000)의 사용자 입력과 HMD 장치에 포함된 카메라(2050)를 이용한 사용자 입력에 따라 제1디바이스(1000)의 표시 화면과 연동된 HMD 장치의 부가 화면을 제어할 수 있다. 또한 제어부(2600)는 카메라(2050)를 통해 부가 화면상에서 사용자 입력 인식하고, 부가 화면 상에서 사용자 입력을 인식하면 해당 부가 화면을 종료하고 제1디바이스(100)로 부가 화면 종료 알림 정보를 전송할 수 있다.
한편, HMD 장치는 제1디바이스(1000)와 연결되지 않고, HMD 장치의 화면 상에 부가 화면을 디스플레이 할 수도 있다.
이 경우, 제어부(2600)는 카메라(2050)를 이용하여 실제 공간의 제1디바이스(1000)를 촬영한다. 제어부(2600)는 실제 공간의 제1디바이스(1000)를 실시간으로 또는 기 설정된 주기로 촬영할 수 있다.
또한, 본 개시의 일 실시예에 따른 제어부(2600)는 촬영된 제1디바이스(1000)의 주변에 디스플레이 될 부가 화면을 결정한다. 이 경우, 제어부(2600)는 HMD 장치의 화면 상에 부가 화면을 선택하기 위한 사용자 인터페이스를 디스플레이 할 수 있으며, 사용자 입력부(2200) 또는 카메라(2050)를 통한 사용자 입력에 기초하여 특정의 부가 화면을 선택할 수 있다.
또한, 제어부(2600)는 부가 화면이 제1디바이스(1000)의 주변의 어느 위치에 디스플레이 될 지를 결정할 수 있다.
본 발명의 일 실시 예에 따르면 HMD 장치를 이용하여 부가 화면을 디스플레이 함으로서 제1디바이스(1000)의 제한된 화면을 확장하고 풍부한 시각 정보 및 낮은 단계를 갖는 편리한 인터렉션을 제공할 수 있다.
본 발명의 일 실시 예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비 휘발성 매체, 분리형 및 비 분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비 휘발성, 분리형 및 비 분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
또한, 본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일 형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. HHMD(head mounted display) 장치가 가상 화면을 표시하는 방법에 있어서,
    전자 장치의 표시 화면에 표시되는 콘텐츠와 관련된 정보를 획득하는 단계;
    상기 획득한 정보에 기초하여, 가상 화면을 상기 HMD 장치의 디스플레이부에 표시하는 단계;
    상기 가상 화면에 대한 제1 사용자 입력을 인식하는 단계; 및
    상기 전자 장치가 상기 제1 사용자 입력에 대응되는 콘텐츠를 표시하도록 상기 제1 사용자 입력에 대응되는 신호를 상기 전자 장치로 전송하는 단계를 포함하는 방법.
  2. 제1 항에 있어서,
    상기 인식된 제1 사용자 입력에 기초하여, 상기 제1 사용자의 입력에 대응되는 상기 가상 화면의 프리뷰 이미지를 상기 HMD 장치의 상기 디스플레이부에 표시하는 단계;
    상기 프리뷰 이미지를 선택하는 제2 사용자 입력을 인식하는 단계; 및
    상기 전자 장치가 상기 제2 사용자 입력에 대응되는 프리뷰 콘텐츠를 표시하도록 상기 제2 사용자 입력에 대응되는 신호를 상기 전자 장치로 전송하는 단계를 포함하는 방법.
  3. 제2 항에 있어서,
    상기 제1 사용자 입력 및 상기 제2 사용자 입력 각각은 카메라 인식 제스쳐, 터치 입력, 버튼 입력 또는 사용자의 음성 입력 중 적어도 하나를 포함하는 방법.
  4. 제1 항에 있어서,
    상기 디스플레이부는 광 파장 가이드 및 프로젝터를 포함하고,
    상기 광 파장 가이드에 상기 가상 화면을 표시하기 위하여 상기 HMD 장치의 상기 가상 화면과 관련된 광이 상기 프로젝터로부터 출력되는 방법.
  5. 제1 항에 있어서,
    상기 가상 화면은 상기 콘텐츠의 목차를 포함하는 방법.
  6. 제5 항에 있어서,
    상기 콘텐츠는 이-북(e-book) 콘텐츠이고, 상기 콘텐츠의 목차는, 상기 이-북의 목차인 방법.
  7. 제6 항에 있어서,
    상기 방법은,
    상기 HMD 장치의 카메라를 통하여 상기 전자 장치를 촬영하여 이미지를 획득하는 단계; 및
    상기 정보와 상기 획득한 이미지에 기초하여 상기 디스플레이부에 상기 가상 화면을 표시할 영역을 결정하는 단계를 더 포함하고,
    상기 가상 화면을 상기 디스플레이부에 표시하는 단계에서는,
    상기 가상 화면을 상기 결정된 영역에 표시하는 방법.
  8. 제7 항에 있어서,
    상기 정보가 상기 전자 장치의 형상 정보를 포함하는 경우,
    상기 가상 화면을 표시할 위치를 결정하는 단계는,
    상기 전자 장치의 형상 정보에 기초하여, 상기 전자 장치의 복수의 특징 점들을 추출하는 단계;
    상기 획득한 이미지에 기초하여 상기 전자 장치의 복수의 특징 점들을 추출하는 단계;
    상기 전자 장치의 형상 정보에 기초하여 추출된 상기 전자 장치의 복수의 특징 점들 및 상기 획득된 이미지에 기초하여 추출된 상기 전자 장치의 복수의 특징 점들에 기초하여, 상기 표시 화면의 위치 또는 방향 중 적어도 하나를 결정하는 단계; 및
    상기 결정된 상기 표시 화면의 위치 또는 방향 중 적어도 하나에 기초하여 상기 가상 화면을 표시할 영역을 결정하는 단계를 포함하는 방법.
  9. 제8 항에 있어서,
    상기 표시 화면의 위치 또는 방향 중 적어도 하나를 결정하는 단계에서는,
    상기 전자 장치의 형상 정보에 기초하여 추출된 상기 전자 장치의 복수의 특징 점들과 상기 획득된 이미지에 기초하여 추출된 상기 전자 장치의 복수의 특징 점들 간의 간격에 기초하여 상기 표시 화면의 위치 또는 방향 중 적어도 하나를 결정하는 방법.
  10. 제8 항에 있어서,
    상기 전자 장치의 형상 정보에 기초하여 추출된 상기 전자 장치의 복수의 특징 점들 및 상기 획득된 이미지에 기초하여 추출된 상기 전자 장치의 복수의 특징 점들 각각은 상기 전자 장치의 복수 개의 모서리들에 각각 대응되는 방법.
  11. 가상 화면을 표시하는 HMD(head mounted display) 장치에 있어서,
    디스플레이부; 및
    적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
    전자 장치의 표시 화면에 표시되는 콘텐츠와 관련된 정보를 획득하고,
    상기 획득한 정보에 기초하여, 가상 화면을 표시하도록 상기 디스플레이부를 제어하고,
    상기 가상 화면에 대한 제1 사용자 입력을 인식하고,
    상기 전자 장치가 상기 제1 사용자 입력에 대응되는 콘텐츠를 표시하도록, 상기 제1 사용자 입력에 대응되는 신호를 상기 전자 장치로 전송하는 HMD 장치.
  12. 제11 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 인식된 제1 사용자 입력에 기초하여, 상기 제1 사용자의 입력에 대응되는 상기 가상 화면의 프리뷰 이미지를 표시하도록 상기 디스플레이부를 제어하고
    상기 프리뷰 이미지를 선택하는 제2 사용자 입력을 인식하고,
    상기 전자 장치가 상기 제2 사용자 입력에 대응되는 프리뷰 콘텐츠를 표시하도록 상기 제2 사용자 입력에 대응되는 신호를 상기 전자 장치로 전송하는 HMD 장치.
    상기 콘텐츠는 이-북(e-book) 콘텐츠이고, 상기 콘텐츠의 목차는, 상기 이-북의 목차인 HMD 장치.
  13. 제12 항에 있어서,
    상기 제1 사용자 입력 및 상기 제2 사용자 입력 각각은 카메라 인식 제스쳐, 터치 입력, 버튼 입력 또는 사용자의 음성 입력 중 적어도 하나를 포함하는 HMD 장치.
  14. 제11 항에 있어서,
    상기 디스플레이부는 광 파장 가이드 및 프로젝터를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 광 파장 가이드에 상기 가상 화면을 표시하기 위하여, 상기 HMD 장치의 상기 가상 화면과 관련된 광을 출력하도록 상기 프로젝터를 제어하는 HMD 장치.
  15. 제11 항에 있어서,
    상기 가상 화면은 상기 콘텐츠의 목차를 포함하는 HMD 장치.
  16. 제15 항에 있어서,
    상기 콘텐츠는 이-북(e-book) 콘텐츠이고, 상기 콘텐츠의 목차는, 상기 이-북의 목차인 HMD 장치.
  17. 제16 항에 있어서,
    상기 HMD 장치는, 카메라를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 전자 장치를 촬영하여 이미지를 획득하도록 상기 카메라를 제어하고,
    상기 정보와 상기 획득한 이미지에 기초하여, 상기 디스플레이부에 상기 가상 화면을 표시할 영역을 결정하고,
    상기 가상 화면을 상기 결정된 영역에 표시하도록 상기 디스플레이부를 제어하는 HMD 장치.
  18. 제17 항에 있어서,
    상기 정보가 상기 전자 장치의 형상 정보를 포함하는 경우,
    상기 적어도 하나의 프로세서는,
    상기 전자 장치의 형상 정보에 기초하여 상기 전자 장치의 복수의 특징 점들을 추출하고,
    상기 획득한 이미지에 기초하여 상기 전자 장치의 복수의 특징 점들을 추출하고,
    상기 전자 장치의 형상 정보에 기초하여 추출된 상기 전자 장치의 복수의 특징 점들 및 상기 획득된 이미지에 기초하여 추출된 상기 전자 장치의 복수의 특징 점들에 기초하여, 상기 표시 화면의 위치 또는 방향 중 적어도 하나를 결정하고,
    상기 결정된 상기 표시 화면의 위치 또는 방향 중 적어도 하나에 기초하여 상기 가상 화면을 표시할 영역을 결정하는 HMD 장치.
  19. 제18 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 전자 장치의 형상 정보에 기초하여 추출된 상기 전자 장치의 복수의 특징 점들과 상기 획득된 이미지에 기초하여 추출된 상기 전자 장치의 복수의 특징 점들 간의 간격에 기초하여 상기 표시 화면의 위치 또는 방향 중 적어도 하나를 결정하고,
    상기 전자 장치의 형상 정보에 기초하여 추출된 상기 전자 장치의 복수의 특징 점들 및 상기 획득된 이미지에 기초하여 추출된 상기 전자 장치의 복수의 특징 점들 각각은 상기 전자 장치의 복수 개의 모서리들에 각각 대응되는 HMD 장치.
  20. HMD(head mounted display) 장치가 가상 화면을 표시하는 방법을 수행하는 명령어들(instructions)을 포함하는 적어도 하나의 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체에 있어서,
    상기 방법은,
    전자 장치의 표시 화면에 표시되는 콘텐츠와 관련된 정보를 획득하는 단계;
    상기 획득한 정보에 기초하여, 상기 가상 화면을 상기 HMD 장치의 디스플레이부에 표시하는 단계;
    상기 가상 화면에 대한 제1 사용자 입력을 인식하는 단계; 및
    상기 전자 장치가 상기 제1 사용자 입력에 대응되는 콘텐츠를 표시하도록 상기 제1 사용자 입력에 대응되는 신호를 상기 전자 장치로 전송하는 단계를 포함하는 컴퓨터로 판독 가능한 기록 매체.
KR1020230129458A 2014-10-15 2023-09-26 디바이스를 이용한 화면 처리 방법 및 장치 KR102637662B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020230129458A KR102637662B1 (ko) 2014-10-15 2023-09-26 디바이스를 이용한 화면 처리 방법 및 장치
KR1020240020656A KR20240023091A (ko) 2014-10-15 2024-02-13 디바이스를 이용한 화면 처리 방법 및 장치

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020140139071A KR102358548B1 (ko) 2014-10-15 2014-10-15 디바이스를 이용한 화면 처리 방법 및 장치
KR1020220134446A KR102585237B1 (ko) 2014-10-15 2022-10-18 디바이스를 이용한 화면 처리 방법 및 장치
KR1020230129458A KR102637662B1 (ko) 2014-10-15 2023-09-26 디바이스를 이용한 화면 처리 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020220134446A Division KR102585237B1 (ko) 2014-10-15 2022-10-18 디바이스를 이용한 화면 처리 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020240020656A Division KR20240023091A (ko) 2014-10-15 2024-02-13 디바이스를 이용한 화면 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20230141724A true KR20230141724A (ko) 2023-10-10
KR102637662B1 KR102637662B1 (ko) 2024-02-19

Family

ID=54329375

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020140139071A KR102358548B1 (ko) 2014-10-15 2014-10-15 디바이스를 이용한 화면 처리 방법 및 장치
KR1020220012584A KR102411100B1 (ko) 2014-10-15 2022-01-27 디바이스를 이용한 화면 처리 방법 및 장치
KR1020220073061A KR102458665B1 (ko) 2014-10-15 2022-06-15 디바이스를 이용한 화면 처리 방법 및 장치
KR1020220134446A KR102585237B1 (ko) 2014-10-15 2022-10-18 디바이스를 이용한 화면 처리 방법 및 장치
KR1020230129458A KR102637662B1 (ko) 2014-10-15 2023-09-26 디바이스를 이용한 화면 처리 방법 및 장치
KR1020240020656A KR20240023091A (ko) 2014-10-15 2024-02-13 디바이스를 이용한 화면 처리 방법 및 장치

Family Applications Before (4)

Application Number Title Priority Date Filing Date
KR1020140139071A KR102358548B1 (ko) 2014-10-15 2014-10-15 디바이스를 이용한 화면 처리 방법 및 장치
KR1020220012584A KR102411100B1 (ko) 2014-10-15 2022-01-27 디바이스를 이용한 화면 처리 방법 및 장치
KR1020220073061A KR102458665B1 (ko) 2014-10-15 2022-06-15 디바이스를 이용한 화면 처리 방법 및 장치
KR1020220134446A KR102585237B1 (ko) 2014-10-15 2022-10-18 디바이스를 이용한 화면 처리 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020240020656A KR20240023091A (ko) 2014-10-15 2024-02-13 디바이스를 이용한 화면 처리 방법 및 장치

Country Status (7)

Country Link
US (6) US10331205B2 (ko)
EP (3) EP3617835A1 (ko)
KR (6) KR102358548B1 (ko)
CN (2) CN111665905B (ko)
ES (1) ES2763701T3 (ko)
TW (3) TW201626291A (ko)
WO (1) WO2016060397A1 (ko)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9626804B2 (en) * 2014-05-26 2017-04-18 Kyocera Document Solutions Inc. Article information providing apparatus that provides information of article, article information providing system,and article information provision method
KR102358548B1 (ko) 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
JP6686319B2 (ja) * 2015-08-04 2020-04-22 富士通株式会社 画像投影装置及び画像表示システム
US20170131775A1 (en) * 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
US10509487B2 (en) * 2016-05-11 2019-12-17 Google Llc Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment
CN106200944A (zh) * 2016-06-30 2016-12-07 联想(北京)有限公司 一种对象的控制方法、控制装置和控制系统
US10536691B2 (en) * 2016-10-04 2020-01-14 Facebook, Inc. Controls and interfaces for user interactions in virtual spaces
KR102706279B1 (ko) 2016-10-18 2024-09-19 삼성디스플레이 주식회사 표시 패널, 이를 포함하는 머리 부착형 표시 장치, 및 머리 부착형 표시 장치의 영상 표시 방법
US10262010B2 (en) * 2016-11-02 2019-04-16 International Business Machines Corporation Screen capture data amalgamation
IT201700035014A1 (it) * 2017-03-30 2018-09-30 The Edge Company S R L Metodo e dispositivo per la visione di immagini in realta' aumentata
CN110622123B (zh) * 2017-08-23 2021-06-01 华为技术有限公司 一种显示方法及装置
US10591730B2 (en) * 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
KR102479052B1 (ko) * 2017-08-29 2022-12-20 삼성전자주식회사 복수의 컨트롤러를 이용한 전자 장치의 디스플레이 제어 방법 및 그 장치
KR102431712B1 (ko) * 2017-09-04 2022-08-12 삼성전자 주식회사 전자장치, 그 제어방법 및 그 컴퓨터프로그램제품
KR102389185B1 (ko) 2017-10-17 2022-04-21 삼성전자주식회사 컨텐츠의 적어도 일부를 통해 표시된 입력 인터페이스를 이용하여 기능을 실행하기 위한 전자 장치 및 방법
WO2019095360A1 (zh) * 2017-11-20 2019-05-23 腾讯科技（深圳）有限公司 虚拟场景中菜单处理方法、装置及存储介质
WO2019135634A1 (en) * 2018-01-05 2019-07-11 Samsung Electronics Co., Ltd. Method and apparatus to navigate a virtual content displayed by a virtual reality (vr) device
US10600205B2 (en) * 2018-01-08 2020-03-24 Htc Corporation Anchor recognition in reality system
US10559133B2 (en) * 2018-02-07 2020-02-11 Dell Products L.P. Visual space management across information handling system and augmented reality
CN108595092A (zh) * 2018-04-27 2018-09-28 努比亚技术有限公司 图像处理方法、设备及计算机存储介质
CN108646997A (zh) * 2018-05-14 2018-10-12 刘智勇 一种虚拟及增强现实设备与其他无线设备进行交互的方法
US10783713B2 (en) * 2018-09-05 2020-09-22 International Business Machines Corporation Transmutation of virtual entity sketch using extracted features and relationships of real and virtual objects in mixed reality scene
WO2020111346A1 (en) * 2018-11-30 2020-06-04 Samsung Electronics Co., Ltd. Interaction method, system, and device for information
US11231827B2 (en) * 2019-08-03 2022-01-25 Qualcomm Incorporated Computing device and extended reality integration
US11106288B1 (en) * 2020-03-02 2021-08-31 John Walter Downey Electronic input system
JP7540961B2 (ja) 2020-03-23 2024-08-27 信越化学工業株式会社 有機膜形成用材料、半導体装置製造用基板、有機膜の形成方法、パターン形成方法、及び有機膜形成用化合物
KR20210149543A (ko) * 2020-06-02 2021-12-09 삼성전자주식회사 메모리 장치 및 이를 포함하는 메모리 시스템
TWI779332B (zh) * 2020-08-21 2022-10-01 宏碁股份有限公司 擴增實境系統與其錨定顯示虛擬物件的方法
CN114201028B (zh) * 2020-09-01 2023-08-04 宏碁股份有限公司 扩增实境系统与其锚定显示虚拟对象的方法
JP7352530B2 (ja) 2020-10-05 2023-09-28 信越化学工業株式会社 有機膜形成用材料、半導体装置製造用基板、有機膜の形成方法、パターン形成方法、及び有機膜形成用化合物
TWI765398B (zh) * 2020-11-04 2022-05-21 宏正自動科技股份有限公司 指示圖示共享方法、指示訊號控制方法以及指示訊號處理裝置
CN112306443A (zh) * 2020-11-23 2021-02-02 Oppo广东移动通信有限公司 一种信息展示方法和存储介质
CN112596609A (zh) * 2020-12-25 2021-04-02 维沃移动通信有限公司 显示处理方法、显示处理装置和可穿戴设备
JP7541939B2 (ja) 2021-02-15 2024-08-29 信越化学工業株式会社 有機膜形成用材料、半導体装置製造用基板、有機膜の形成方法、パターン形成方法、及び有機膜形成用化合物
JP2022126548A (ja) * 2021-02-18 2022-08-30 キヤノン株式会社 メガネ型情報機器、その方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080010502A (ko) * 2006-07-27 2008-01-31 한국전자통신연구원 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
KR20090105485A (ko) * 2008-04-02 2009-10-07 주식회사 업앤온 Ｈｍｄ를 이용한 멀티미디어 제공 시스템 및 그 제공 방법
KR20130113997A (ko) * 2012-04-07 2013-10-16 삼성전자주식회사 투명 디스플레이를 포함하는 디바이스에서 오브젝트 제어 방법 및 그 디바이스와 기록 매체

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8224078B2 (en) * 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
US8141159B2 (en) * 2002-12-31 2012-03-20 Portauthority Technologies Inc. Method and system for protecting confidential information
KR100800859B1 (ko) 2004-08-27 2008-02-04 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 키를 입력하는 장치 및 방법
KR100594117B1 (ko) 2004-09-20 2006-06-28 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
KR100812624B1 (ko) 2006-03-02 2008-03-13 강원대학교산학협력단 입체영상 기반 가상현실장치
KR20090040839A (ko) 2007-10-22 2009-04-27 이문기 증강현실 컴퓨터 장치
KR100984937B1 (ko) 2008-10-21 2010-10-18 (주)에이치티엑스 가상현실프로그램의 모니터링 시스템
US9571625B2 (en) * 2009-08-11 2017-02-14 Lg Electronics Inc. Electronic device and control method thereof
KR20110024435A (ko) 2009-09-02 2011-03-09 삼성전자주식회사 제어 디바이스, 피제어 디바이스, 제어 시스템, 그리고 제어권한 제공방법
KR101627214B1 (ko) * 2009-11-12 2016-06-03 엘지전자 주식회사 영상표시장치 및 그 동작방법
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
JP5612916B2 (ja) * 2010-06-18 2014-10-22 キヤノン株式会社 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム
KR101266198B1 (ko) * 2010-10-19 2013-05-21 주식회사 팬택 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
KR101591579B1 (ko) 2011-03-29 2016-02-18 퀄컴 인코포레이티드 증강 현실 시스템들에서 실세계 표면들에의 가상 이미지들의 앵커링
JP5765019B2 (ja) 2011-03-31 2015-08-19 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP5695797B2 (ja) * 2011-04-14 2015-04-08 グァンツォ ハース ファーマ デベロップメント シーオー．，エルティーディー． 新規抗血小板化合物の付加塩
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US9279661B2 (en) * 2011-07-08 2016-03-08 Canon Kabushiki Kaisha Information processing apparatus and information processing method
US9069164B2 (en) * 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
US20130222371A1 (en) * 2011-08-26 2013-08-29 Reincloud Corporation Enhancing a sensory perception in a field of view of a real-time source within a display screen through augmented reality
KR20130024615A (ko) * 2011-08-31 2013-03-08 주식회사 케이티 외부 디바이스와 결합하는 휴대 단말 및 그 제어 방법
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
KR20130045002A (ko) 2011-10-25 2013-05-03 송영일 안경형 모니터
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
KR101474927B1 (ko) 2011-12-22 2014-12-31 주식회사 케이티 외부 디스플레이 기기로의 영상 송출 방법 및 그 단말
KR101310940B1 (ko) 2012-01-30 2013-09-23 삼성전자주식회사 디스플레이 장치 및 이를 이용한 멀티 뷰 제공 방법
EP2621179A1 (en) 2012-01-30 2013-07-31 Samsung Electronics Co., Ltd. Display apparatus and method for providing multi-view thereof
JP2013200793A (ja) 2012-03-26 2013-10-03 Sony Corp 情報処理装置、情報処理方法およびプログラム
EP2648086A3 (en) 2012-04-07 2018-04-11 Samsung Electronics Co., Ltd Object control method performed in device including transparent display, the device, and computer readable recording medium thereof
US20130328925A1 (en) * 2012-06-12 2013-12-12 Stephen G. Latta Object focus in a mixed reality environment
US9389420B2 (en) * 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
KR101546654B1 (ko) 2012-06-26 2015-08-25 한국과학기술원 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치
KR20140052294A (ko) 2012-10-24 2014-05-07 삼성전자주식회사 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법, 기계로 읽을 수 있는 저장 매체 및 헤드-마운티드 디스플레이 장치
KR20140057087A (ko) 2012-11-02 2014-05-12 삼성전자주식회사 디바이스에 표시된 영상과 관련된 영상을 제공하는 시스템 및 방법
KR102001218B1 (ko) 2012-11-02 2019-07-17 삼성전자주식회사 객체와 관련된 정보 제공 방법 및 이를 위한 디바이스
US9058693B2 (en) * 2012-12-21 2015-06-16 Dassault Systemes Americas Corp. Location correction of virtual objects
US10528135B2 (en) 2013-01-14 2020-01-07 Ctrl-Labs Corporation Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
KR20230173231A (ko) * 2013-03-11 2023-12-26 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US20140285520A1 (en) 2013-03-22 2014-09-25 Industry-University Cooperation Foundation Hanyang University Wearable display device using augmented reality
JP5796726B2 (ja) 2013-03-29 2015-10-21 コニカミノルタ株式会社 ジョブ情報表示装置
KR102171444B1 (ko) * 2013-04-22 2020-10-29 엘지전자 주식회사 스마트 워치 및 제어 방법
KR102065407B1 (ko) * 2013-07-11 2020-01-13 엘지전자 주식회사 디지털 디바이스 및 그 제어 방법
KR102135353B1 (ko) * 2013-08-30 2020-07-17 엘지전자 주식회사 시계형 단말기와 이를 포함하는 시스템
US10067651B2 (en) * 2013-11-15 2018-09-04 Thomson Reuters Global Resources Unlimited Company Navigable layering of viewable areas for hierarchical content
KR102294945B1 (ko) * 2014-06-11 2021-08-30 삼성전자주식회사 기능 제어 방법 및 그 전자 장치
KR102358548B1 (ko) * 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
KR102265086B1 (ko) * 2014-11-07 2021-06-15 삼성전자 주식회사 정보를 공유하기 위한 가상 환경
WO2016190458A1 (ko) * 2015-05-22 2016-12-01 삼성전자 주식회사 Hmd 장치를 통하여 가상 이미지를 디스플레이하는 시스템 및 방법
KR102661614B1 (ko) * 2019-02-11 2024-04-29 삼성전자주식회사 화면 제공 방법 및 이를 지원하는 전자 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080010502A (ko) * 2006-07-27 2008-01-31 한국전자통신연구원 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
KR20090105485A (ko) * 2008-04-02 2009-10-07 주식회사 업앤온 Ｈｍｄ를 이용한 멀티미디어 제공 시스템 및 그 제공 방법
KR20130113997A (ko) * 2012-04-07 2013-10-16 삼성전자주식회사 투명 디스플레이를 포함하는 디바이스에서 오브젝트 제어 방법 및 그 디바이스와 기록 매체

Also Published As

Publication number Publication date
KR20160044272A (ko) 2016-04-25
US20230229004A1 (en) 2023-07-20
KR102637662B1 (ko) 2024-02-19
EP3418858A1 (en) 2018-12-26
US20160109937A1 (en) 2016-04-21
US11353707B2 (en) 2022-06-07
KR102358548B1 (ko) 2022-02-04
KR102585237B1 (ko) 2023-10-05
KR102411100B1 (ko) 2022-06-22
TW202038138A (zh) 2020-10-16
US11914153B2 (en) 2024-02-27
US20190265780A1 (en) 2019-08-29
TWI730824B (zh) 2021-06-11
EP3617835A1 (en) 2020-03-04
CN105528066B (zh) 2020-06-12
WO2016060397A1 (en) 2016-04-21
KR20220088660A (ko) 2022-06-28
CN105528066A (zh) 2016-04-27
US10860087B2 (en) 2020-12-08
US20240302665A1 (en) 2024-09-12
KR20220020308A (ko) 2022-02-18
CN111665905A (zh) 2020-09-15
US20220269089A1 (en) 2022-08-25
US10331205B2 (en) 2019-06-25
KR20240023091A (ko) 2024-02-20
KR20220145317A (ko) 2022-10-28
TW202001686A (zh) 2020-01-01
ES2763701T3 (es) 2020-05-29
KR102458665B1 (ko) 2022-10-25
TW201626291A (zh) 2016-07-16
US12007570B2 (en) 2024-06-11
US20210048678A1 (en) 2021-02-18
EP3009915A1 (en) 2016-04-20
CN111665905B (zh) 2024-03-08
EP3418858B1 (en) 2019-12-04
EP3009915B1 (en) 2018-12-05

Similar Documents

Publication Publication Date Title
KR102637662B1 (ko) 디바이스를 이용한 화면 처리 방법 및 장치
US10356398B2 (en) Method for capturing virtual space and electronic device using the same
CN105988666B (zh) 移动终端及其控制方法
CN105319718B (zh) 可穿戴眼镜和经由可穿戴眼镜显示图像的方法
KR102158691B1 (ko) 이동 단말기 및 그 제어 방법
KR102240639B1 (ko) 글래스 타입 단말기 및 그것의 제어 방법
KR102361025B1 (ko) 웨어러블 글래스 및 웨어러블 글래스를 통하여 영상을 디스플레이하는 방법
CN111418197A (zh) 移动终端以及其控制方法
KR20160071013A (ko) 글래스 타입의 이동 단말기 및 그 제어방법
KR20180112230A (ko) 이동 단말기 및 제어 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant