TW202038138A - 處理第一裝置上的畫面的方法、使用包括物件的第一裝置來處理畫面的方法、與使用裝置來處理畫面的設備 - Google Patents

處理第一裝置上的畫面的方法、使用包括物件的第一裝置來處理畫面的方法、與使用裝置來處理畫面的設備 Download PDF

Info

Publication number
TW202038138A
TW202038138A TW109121356A TW109121356A TW202038138A TW 202038138 A TW202038138 A TW 202038138A TW 109121356 A TW109121356 A TW 109121356A TW 109121356 A TW109121356 A TW 109121356A TW 202038138 A TW202038138 A TW 202038138A
Authority
TW
Taiwan
Prior art keywords
screen
display
electronic device
information
additional screen
Prior art date
Application number
TW109121356A
Other languages
English (en)
Other versions
TWI730824B (zh
Inventor
金明植
裵秀晶
鄭文植
崔成燾
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW202038138A publication Critical patent/TW202038138A/zh
Application granted granted Critical
Publication of TWI730824B publication Critical patent/TWI730824B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本發明提供一種使用裝置處理畫面的方法與設備。所述方法包括：在第二裝置處根據關於第一裝置的畫面顯示請求而獲得在所述第一裝置上顯示的顯示畫面及與所述顯示畫面相關的資訊，在所述第二裝置處基於所述第一裝置上的所述顯示畫面及與所述顯示畫面相關的所述資訊來確定附加畫面，以及在所述第一裝置上靠近所述顯示畫面顯示所述附加畫面。

Description

處理第一裝置上的畫面的方法、使用包括物件的第一裝置來處理畫面的方法、與使用裝置來處理畫面的設備
本申請案根據35 U.S.C.§ 119(a)主張2014年10月15日在韓國智慧財產局提出申請且指定序列號第10-2014-0139071號的韓國專利申請案的權利，所述韓國專利申請案的全部揭露內容倂入本案供參考。
本發明是有關於處理各裝置之間鏈接的畫面的方法與設備。
一般而言，行動裝置是尺寸小得足以裝入口袋中並包括具有觸控輸入功能的顯示畫面或小型鍵盤的電腦裝置。然而，此種行動裝置的螢幕常常小於提供至所述螢幕的內容的大小，且因此應另外顯示視窗或應執行畫面滾動。頭戴式顯示器（head-mounted display，HMD）裝置應被理解為被設計用於在如眼鏡一樣將頭戴式顯示器裝置穿戴於使用者頭上的同時供使用者觀察虛擬影像的各種影像顯示裝置。頭戴式顯示裝置不僅能夠為使用者提供簡單顯示功能，且亦提供作為顯示功能與強化實境技術、N畫面（N-screen）技術等的組合的各種方便功能。然而，頭戴式顯示器裝置的使用者應間接地嘗試，例如是藉由對虛擬影像作出手勢、進行語音輸入、或觸摸眼鏡臂而非物理地觸摸虛擬影像來控制在頭戴式顯示器裝置的鏡片上顯示的虛擬影像。因此，難以精確地控制虛擬影像。
作為背景資訊提出以上資訊僅用以幫助理解本發明。關於上述任一者是否可應用作為本發明的先前技術，未作出任何決定，且未發表任何聲明。
本發明的態樣是解決至少上述問題及/或缺點並提供至少下文所述的優點。因此，本發明的態樣是提供藉由使用裝置處理鏈接至實際畫面的附加畫面的方法與設備。
根據本發明的態樣，提供一種由第二裝置執行的處理第一裝置上的畫面的方法。所述方法包括：在所述第二裝置處，根據關於所述第一裝置的畫面顯示請求而獲得在所述第一裝置上顯示的顯示畫面及與所述顯示畫面相關的資訊；在所述第二裝置處，基於所述第一裝置上的所述顯示畫面及與所述顯示畫面相關的所述資訊來確定附加畫面；以及在所述第一裝置上靠近所述顯示畫面顯示所述附加畫面。
與所述顯示畫面相關的所述資訊可包括以下中的至少一者：所述第一裝置的形狀資訊、欲在所述第一裝置上靠近所述顯示畫面顯示的所述附加畫面的位置、所述附加畫面的大小、與所述附加畫面相關的內容資訊、以及使用相機拍攝的所述第一裝置的狀態資訊。
所述第一裝置的所述狀態資訊可包括所述第一裝置的畫面的位置及角度。
所述第一裝置的所述狀態資訊可使用所述相機週期性地更新。
所述顯示所述附加畫面可包括：拍攝所述第一裝置的影像；基於所述第一裝置的所述所拍攝影像來確定所述第一裝置的畫面的位置及方向；以及基於所述第一裝置的所述畫面的所述位置及所述方向而在所述第一裝置的所述畫面上的預定位置顯示所述附加畫面。
所述確定所述第一裝置的所述畫面的所述位置及所述方向可包括：自所述第一裝置接收所述第一裝置的形狀資訊；自所述第一裝置的所述形狀資訊提取特徵點；以及將所述第一裝置的所述影像的特徵點與所述第一裝置的所述形狀資訊的所述特徵點進行比較，以確定所述第一裝置的所述畫面的所述位置及所述方向。
所述方法可更包括：根據在所述第一裝置及所述第二裝置上執行的使用者輸入來控制所述第一裝置上的所述顯示畫面與所述附加畫面鏈接至彼此。
所述控制所述第一裝置上的所述顯示畫面與所述附加畫面鏈接至彼此可包括：根據分別在所述第一裝置及所述第二裝置上執行的所述使用者輸入來控制所述第一裝置上的所述顯示畫面與所述第二裝置上的所述附加畫面鏈接至彼此。
所述控制所述第一裝置上的所述顯示畫面與所述附加畫面鏈接至彼此可包括：根據自所述第一裝置接收的使用者輸入來辨識欲結束所述附加畫面的命令；以及藉由將所述欲結束所述附加畫面的命令傳送至所述第二裝置而結束所述附加畫面。
所述控制所述第一裝置上的所述顯示畫面與所述附加畫面鏈接至彼此可包括：使用相機辨識所述第二裝置上的所述附加畫面上的使用者輸入；以及當辨識出所述使用者輸入時，結束所述附加畫面並將表示所述附加畫面的所述結束的資訊傳送至所述第一裝置。
根據本發明的另一態樣，提供一種由第二裝置執行的使用包括物件的第一裝置來處理畫面的方法。所述方法包括：在所述第二裝置處，藉由自所述第一裝置接收與所述物件相關的資訊而辨識所述物件，並將表示所述物件的辨識結果的資訊傳送至所述第一裝置；在所述第二裝置處，根據關於所述第一裝置的附加畫面顯示請求，獲得關於與所述所辨識物件相關的顯示畫面的資訊；在所述第二裝置處，基於關於與所述物件相關的所述顯示畫面的所述資訊，確定欲在所述物件上的預定位置顯示的附加畫面；以及在所述物件上的所述預定位置顯示所述附加畫面。
所述方法可更包括：自所述第一裝置獲得關於在所述物件上的預定位置設定的所述顯示區的資訊。
關於與所述物件相關的所述顯示畫面的所述資訊可包括所述物件的形狀資訊、欲在所述物件上顯示的所述附加畫面的位置及方向、所述附加畫面的大小、與所述附加畫面相關的內容資訊、及使用相機拍攝的所述物件的狀態資訊。
所述物件的所述狀態資訊可包括所述物件的位置及角度。
所述物件的所述狀態資訊可使用所述相機週期性地更新。
所述顯示所述附加畫面可包括：使用相機拍攝所述物件的影像；自所述物件的所述所拍攝影像提取關於所述物件的位置及角度的資訊；以及基於所述物件的所述位置及所述角度來確定欲顯示所述附加畫面的位置及方向。
所述提取關於所述物件的所述位置及所述角度的資訊可包括：自所述第一裝置接收所述物件的形狀資訊；自所述物件的所述形狀資訊提取特徵點；以及將所述物件的所述形狀資訊的所述特徵點與所述物件的所述所拍攝影像的特徵點進行比較，以提取關於所述物件的所述位置及所述角度的所述資訊。
根據本發明的再一態樣，提供一種由第二裝置執行的使用第一裝置來處理附加畫面的方法。所述方法包括：在所述第二裝置處，根據關於所述第一裝置的畫面顯示請求，獲得關於所述附加畫面的資訊以及所述第一裝置的狀態資訊；在所述第二裝置處，基於關於所述附加畫面的所述資訊以及所述第一裝置的所述狀態資訊，確定欲顯示所述附加畫面的位置；在所述所確定位置顯示所述附加畫面；以及根據與所述附加畫面相關的使用者輸入控制所述第一裝置與所述第二裝置鏈接至彼此。
根據本發明的又一態樣，提供一種由第一裝置執行的處理第二裝置上的畫面的方法。所述方法包括：在所述第一裝置處，根據畫面顯示請求將顯示畫面以及與所述顯示畫面相關的資訊傳送至所述第二裝置；在所述第一裝置處，自所述第二裝置接收關於在所述第二裝置上顯示的附加畫面的控制資訊；以及在所述第一裝置處，根據所述控制資訊更新與所述顯示畫面相關的所述資訊。
與所述顯示畫面相關的所述資訊可包括欲在所述裝置上靠近所述顯示畫面顯示的所述附加畫面的位置、所述附加畫面的大小、及與所述附加畫面相關的內容資訊。
根據本發明的又一態樣，提供一種使用裝置來處理畫面的設備。所述設備包括：顯示單元，用以顯示影像；通訊單元，用以根據關於所述裝置的畫面顯示請求而接收所述裝置上的顯示畫面及與所述顯示畫面相關的資訊；以及控制單元，用以：基於由所述通訊單元獲得的與所述顯示畫面相關的所述資訊來獲得附加畫面，在所述顯示單元上顯示所述附加畫面，以在所述裝置上靠近所述顯示畫面顯示所述附加畫面，以及根據使用者輸入來控制所述裝置上的所述顯示畫面與所述附加畫面鏈接至彼此。
所述控制單元可使用相機對所述裝置的形狀進行拍照，基於所述裝置的所述形狀自狀態資訊提取關於所述裝置的畫面的位置及角度的資訊，並基於所述裝置的所述畫面的所述位置及所述角度確定欲顯示所述附加畫面的區域。
所述控制單元可根據在所述裝置上執行的使用者輸入以及與所述附加畫面相關的使用者輸入來控制所述裝置上的顯示畫面與所述附加畫面鏈接至彼此。
所述控制單元可經由所述相機而辨識所述附加畫面上的使用者輸入，當所述使用者輸入指令欲結束所述附加畫面時結束所述附加畫面，並將通知所述附加畫面的所述結束的資訊傳送至所述裝置。
根據本發明的又一態樣，提供一種非暫時性電腦可讀取記錄媒體。所述記錄媒體已將至少一個程式記錄於所述記錄媒體上，所述至少一個程式包括用於執行由第二裝置執行的處理第一裝置上的畫面的方法的指令。所述方法包括：在所述第二裝置處，根據關於所述第一裝置的畫面顯示請求而獲得在所述第一裝置上顯示的顯示畫面及與所述顯示畫面相關的資訊；在所述第二裝置處基於與所述顯示畫面相關的所述資訊來確定附加畫面；以及在所述第一裝置上靠近所述顯示畫面顯示所述附加畫面。
結合揭露本發明的各種實施例的附圖閱讀以下詳細說明，本發明的其他態樣、優點及顯著特徵將對本領域具有通常知識者而言變得顯而易見。
參照附圖提供以下說明是為了幫助廣泛地理解由申請專利範圍及其等效範圍界定的本發明的各種實施例。以下說明包括各種具體細節以幫助進行理解，但所述具體細節僅被視為示例性的。因此，此項技術中具有通常知識者將認識到在不背離本發明的範圍及精神的條件下，可對本文所述各種實施例作出各種變化及潤飾。此外，為清楚及簡明起見，可省略對眾所習知的功能及構造的說明。
在以下說明及申請專利範圍中使用的用語及用詞並非僅限於書目含義，而是僅由發明者使用以達成對本發明的清楚及一致的理解。因此，對於本領域具有通常知識者而言，應顯而易見的是，提供本發明的各種實施例的以下說明僅用於說明目的，而非用於限制由隨附申請專利範圍及其等效範圍界定的本發明。
將理解，除非上下文清楚地另外指明，否則單數形式「一（a、an）」及「所述（the）」亦包括複數指稱。因此，舉例而言，參照「組件表面」包括參照「此種表面中的一或多者」。
將理解，儘管可在本文中使用用語‘第一’、‘第二’、‘第三’等來闡述各種元件、組件、區、層、及/或區段，但該些元件、組件、區、層、及/或區段不應受限於該些用語。該些用語僅用於區分各個元件、組件、區、層或區段。
在本發明中使用的具體用語並非旨在限定本發明的範圍，而是僅用於更佳地理解（以有利於理解）本發明的各種實施例。在本發明中，若可能，則考慮到本發明的功能而選擇已在現今廣泛使用的一般用語，但可根據本領域具有通常知識者的意圖、先例、或新技術等而選擇非一般用語。某些用語可由本申請人任意選擇。在此種情形中，該些用語的含義將在本發明的對應部分中詳細闡釋。因此，在本文中使用的用語不應基於其名稱來定義，而是基於其含義及本發明的整個上下文來定義。
更將理解，當在本說明書中使用用語‘包括（comprise及/或comprising）’時，是用於指出所述特徵、整數、操作、元件、及/或組件的存在，但不排除一或多個其他特徵、整數、操作、元件、組件、及/或其群組的存在或添加。本文所用用語‘及/或’包括相關列出項中一或多個項的任意及所有組合。例如‘…中的至少一者’等表達當位於一系列元件之前時，是用於修飾整個系列元件，而並非僅修飾所述系列的個別元件。
圖1是根據本發明的實施例的用以處理第一裝置與第二裝置之間的畫面資訊的系統的方塊圖。
參照圖1，第一裝置1000可請求第二裝置2000顯示附加畫面，並根據自第二裝置2000接收的控制命令及畫面資訊而處理附加畫面。此處，附加畫面可為鏈接至主畫面的虛擬影像。
第一裝置1000的實例可包括但不限於可穿戴終端、智慧型電話、個人電腦（personal computer，PC）、平板個人電腦、行動電話、智慧型電視（television，TV）、個人數位助理（personal digital assistant，PDA）、膝上型電腦、媒體播放機、全球定位系統（global positioning system，GPS）裝置、電子書終端、數位廣播終端、導航裝置、資訊站、動態影像專家群階段1或階段2（Motion Picture Experts Group phase 1 or phase 2，MPEG-1或MPEG-2）音訊層3（MP3）播放機、數位相機、及其他行動或非行動計算裝置。第一裝置1000可包括能夠接收觸控輸入的各種裝置，例如，電子佈告欄、觸控台等。第一裝置1000可包括顯示器，或可不包括顯示器。
此外，第一裝置1000可具有通訊功能及資料處理功能，但並非僅限於此。第一裝置1000包括能夠經由網路自第二裝置2000接收資訊及執行所述資訊的各種裝置。
第二裝置2000可自第一裝置1000一起接收關於附加畫面的資訊以及畫面顯示請求。畫面顯示請求可由第一裝置1000或第二裝置2000根據使用者輸入而產生。第二裝置2000可藉由相機拍攝第一裝置1000的影像，並基於所述影像來分析第一裝置1000的狀態。第二裝置2000可基於第一裝置1000的狀態資訊及關於附加畫面的資訊來確定欲顯示附加畫面的位置及方向。第二裝置2000可顯示欲鏈接至第一裝置1000上的螢幕的附加畫面。第二裝置2000可根據使用者輸入而控制附加畫面鏈接至第一裝置1000上的畫面。在此種情形中，針對第二裝置2000的使用者輸入可為由使用者輸入的觸控輸入或按鈕輸入，但並非僅限於此。
根據本發明的實施例，第二裝置2000可使用相機拍攝第一裝置1000的形狀的影像，並將所述形狀的影像傳送至第一裝置1000。第一裝置1000基於第一裝置1000的形狀的影像來確定欲顯示附加畫面的區域或位置，並將關於欲顯示附加畫面的所述區或位置的資訊傳送至第二裝置2000。
第二裝置2000的實例可包括但不限於頭戴式顯示器（HMD）、個人電腦、智慧型電視、數位廣播終端、及其他行動/非行動計算裝置。第二裝置2000可包括能夠接收觸控輸入的各種裝置，例如電子佈告欄、觸控台等。
第二裝置2000可在第二裝置2000的顯示器上以強化實境（augmented reality，AR）、混合實境（mixed reality，MR）、或虛擬實境（virtual reality，VR）的形式顯示附加畫面。
第二裝置2000可在透明或非透明顯示器上顯示虛擬畫面。
第二裝置2000可為穿戴於身體上的眼鏡或裝置（例如，具有通訊功能及資料處理功能的手帶），但並非僅限於此。
第一裝置1000及第二裝置2000可經由網路進行連接。網路可為例如局部區域網路（local area network，LAN）、廣域網路（wide area network，WAN）或增值網路（value-added network，VAN）等有線網路、或者例如行動無線電通訊網路或衛星通訊網路等各種類型的無線網路。
如上所述，根據本發明的各種實施例，可藉由以下方式而提供各種視覺資訊：在使用者使用第二裝置2000觀察到第一裝置1000的同時使用針對第二裝置2000的使用者輸入而在第二裝置的螢幕上暴露出與在第一裝置1000上顯示的實際畫面相關的資訊，並可藉由交替地控制虛擬畫面與實際畫面而提供方便的交互環境。
圖2是根據本發明的實施例的用以處理第一裝置與第二裝置之間的畫面的系統的方塊圖。
第一裝置1000可另外包括具有有限功能或不具有功能的物件1000a。根據本發明的實施例，物件1000a可為具有至少控制功能及感測器功能的帶或不具有功能的腕帶或貼簽。
舉例而言，使用者可將具有有限功能的物件1000a（例如帶）穿戴於其手腕上，且第一裝置1000可為可能無法看到的單獨裝置或者存在於網路中的裝置或應用程式。
根據本發明的實施例，若第一裝置1000將人的手腕或例如日記簿的白紙或牆紙等自然物件設定為顯示區，則第二裝置2000將自然物件辨識事件通知給第一裝置1000，且當第二裝置2000使用相機辨識出所述自然物件時，根據自第一裝置1000接收的對附加畫面的請求而在對應於所述自然物件的位置上顯示附加畫面。
根據本發明的實施例，第一裝置1000可基於所拍攝影像而指定物件。第二裝置2000可自第一裝置1000接收所拍攝影像資訊，並確定欲顯示附加畫面的位置。舉例而言，當第一裝置1000拍攝使用者的手腕的影像並將使用者的手腕的影像指定為物件時，第二裝置2000在使用者的手腕的影像上顯示虛擬手錶。當第一裝置1000拍攝空白筆記的影像並將空白筆記的影像指定為物件時，第二裝置2000可在空白筆記的影像上顯示虛擬平板個人電腦。
圖3是根據本發明的實施例的用以處理第一裝置與第二裝置之間的畫面的系統的方塊圖。
參照圖3，第一裝置1000可為存在於雲端1000b中的裝置或應用程式。存在於雲端1000b中的第一裝置1000可另外包括物件1000a。
圖4是根據本發明的實施例的用以處理第一裝置與第二裝置之間的畫面的系統的方塊圖。
參照圖4，第一裝置1000可為存在於第二裝置2000中的控制裝置或應用程式。存在於第二裝置2000中的第一裝置1000可另外包括物件1000a。
圖5是根據本發明的實施例說明其中第二裝置2000處理欲鏈接至第一裝置1000的畫面的附加畫面的情形的圖。
根據本發明的實施例，第一裝置1000可為行動裝置，且第二裝置2000可為眼鏡型頭戴式顯示器。
根據本發明的實施例，眼鏡型頭戴式顯示器可包括透鏡及顯示單元，實際空間是經由所述透鏡來觀察，所述顯示單元附裝至所述透鏡上的位置並用以顯示虛擬影像。下文將參照圖22更詳細地闡述眼鏡型頭戴式顯示器。
圖5說明作為經由眼鏡型頭戴式顯示器而進入使用者視野的實際畫面與虛擬影像的組合的玻璃螢幕。
玻璃螢幕100意指使用者經由頭戴式顯示器的透鏡及顯示單元而觀察到的畫面。
參照圖5，使用者可使用頭戴式顯示器而觀察到在第一裝置1000上實際顯示的顯示畫面40、以及在第二裝置2000上顯示的附加畫面50、60、70、及80。此處，在第一裝置1000上顯示的顯示畫面40是經由頭戴式顯示器的透鏡而觀察到的實際畫面，而在第二裝置2000上顯示的附加畫面50、60、70、及80是經由頭戴式顯示器的顯示單元靠近第一裝置1000而觀察到的虛擬影像。
亦即，在第二裝置2000的玻璃螢幕100上，顯示在第一裝置1000上顯示的顯示畫面40，且靠近顯示畫面40而顯示附加畫面50、60、70、及80。
因此，使用者將會感覺到似乎在第一裝置1000上顯示的顯示畫面40以及附加畫面50、60、70、及80均顯示於第二裝置2000上。
根據本發明的實施例，當第二裝置2000經由未顯示任何事物的第一裝置1000顯示附加畫面時，第二裝置2000可在第一裝置1000的表面上顯示虛擬手錶影像，並在虛擬手錶影像的左側及右側處顯示虛擬應用程式資料夾圖符。
圖6是根據本發明的實施例說明其中第二裝置圍繞物件顯示虛擬影像型附加畫面的情形的圖。
參照圖6，第一裝置可另外包括具有有限功能或不具有功能的物件1000a。第一裝置1000可將物件相關資訊傳送至第二裝置2000。
第二裝置2000自第一裝置1000獲得預定物件相關資訊。第二裝置2000基於所述物件相關資訊使用相機2110來辨識物件1000a，並將包含物件1000a的辨識結果的資訊通知給第一裝置1000。第二裝置2000根據自第一裝置1000接收的畫面顯示請求而獲得與物件1000a相關的顯示資訊。第二裝置2000基於所述顯示資訊來確定欲在物件1000a的所拍攝影像上的預定位置顯示的附加畫面。第二裝置2000可在與物件1000a的影像對應的位置顯示附加畫面。
圖7是根據本發明的實施例說明其中第二裝置顯示欲鏈接至物件的附加畫面的情形的圖。
參照圖7，在欲鏈接至呈實際手錶形式的物件42的第二裝置2000上的玻璃螢幕100上顯示多個附加畫面52、62、72、及82。根據本發明的實施例，附加畫面52、62、72、及82可為在頭戴式顯示器的螢幕上顯示的虛擬影像。此處，呈實際手錶形式的物件42是經由頭戴式顯示器的透鏡而觀察到的實際手錶的影像，而附加畫面52、62、72、及82是經由頭戴式顯示器的顯示單元靠近實際手錶的影像而觀察到的虛擬影像。
使用者將會感覺到似乎附加畫面52、62、72、及82均是經由第二裝置2000靠近第一裝置1000的物件42而進行顯示。
圖8是根據本發明的實施例的一種由第二裝置執行的處理鏈接至在第一裝置上顯示的畫面的畫面資訊的方法的流程圖。
參照圖1及圖8，在操作210中，第二裝置2000根據關於第一裝置1000的螢幕顯示請求而獲得在第一裝置1000上顯示的顯示畫面以及與顯示畫面相關的資訊。舉例而言，與顯示畫面相關的資訊可包括關於欲在第一裝置1000上靠近顯示畫面顯示的附加畫面的位置的資訊、附加畫面的大小、附加畫面的內容、及使用相機拍攝的第一裝置1000的狀態資訊。根據本發明的實施例，附加畫面可為在頭戴式顯示器的螢幕上顯示的虛擬影像。
在此種情形中，關於第一裝置1000的畫面顯示請求可由第一裝置1000或第二裝置2000根據使用者輸入而產生。根據本發明的實施例，關於第一裝置1000的畫面顯示請求可藉由經由網路將第一裝置1000與第二裝置2000進行連接或使用第二裝置2000的相機來辨識第一裝置1000而進行傳送，但並非僅限於此。
第一裝置1000可根據例如手勢、觸摸、或語音等使用者輸入而選擇選單並產生用以顯示與選單相關的附加畫面的命令。第二裝置2000可自第一裝置1000接收用以顯示與選單相關的附加畫面的命令。此外，第二裝置2000可接收由第一裝置1000預先設定的與選單相關的附加畫面。附加畫面可例如為由於第一裝置1000的空間約束而未在第一裝置1000的螢幕上顯示的多個虛擬影像（例如「照片（PHOTO）」、「應用程式（APP）」、「S-健康（S-health）」、及「圖庫（Gallery）」）。附加畫面的實例可包括可在第一裝置1000的螢幕上顯示的各種類型的畫面。
此外，第二裝置2000使用相機拍攝第一裝置1000的形狀的影像。第二裝置2000可使用相機對第一裝置1000進行拍照以確定第一裝置1000上的畫面的位置及角度，並即時地接收由相機拍攝的第一裝置1000的形狀的影像。
在操作220中，第二裝置2000基於與第一裝置1000上的顯示畫面相關的資訊來確定欲在第一裝置1000上靠近顯示畫面顯示的附加畫面。
在操作230中，第二裝置2000在第一裝置1000上靠近顯示畫面而顯示附加畫面。根據本發明的實施例，第二裝置2000可在第一裝置1000上靠近顯示畫面在預定位置顯示附加畫面。第二裝置2000可基於第一裝置1000的所拍攝形狀資訊及與第一裝置1000上的顯示畫面相關的資訊而確定欲顯示附加畫面的位置及方向。在根據本發明實施例的一種確定欲顯示附加畫面的位置及方向的方法中，第二裝置2000可辨識由相機拍攝的第一裝置1000的形狀、自關於第一裝置1000的形狀的資訊提取關於第一裝置1000的畫面的位置及角度的資訊、並基於第一裝置1000的畫面的位置及角度而確定與欲顯示附加畫面的區域對應的位置及方向。根據本發明的實施例，第二裝置2000可使用相機對第一裝置1000上的顯示畫面進行拍照，並顯示所述顯示畫面及所確定附加畫面。
因此，根據本發明的實施例，使用者可經由第二裝置2000觀察到在第一裝置1000上顯示的顯示畫面及在第二裝置2000上顯示的附加畫面。
圖9是根據本發明的實施例的一種由第二裝置執行的處理與在第一裝置上顯示的畫面鏈接的畫面的方法的流程圖。
在圖9中，操作215、225、及235實質上相同於圖4所示操作210、220、及230，且因此此處不再予以闡述。
參照圖1及圖9，在操作245中，第二裝置2000控制附加畫面鏈接至在第一裝置1000上顯示的顯示畫面。第二裝置2000上的附加畫面與第一裝置1000上的顯示畫面被控制成鏈接至彼此。使用者可藉由操縱第二裝置2000上的附加畫面而改變第一裝置1000的畫面，抑或藉由選擇第一裝置1000的選單而改變第二裝置2000上的附加畫面。第二裝置2000可根據針對第一裝置1000輸入的或藉由執行第二裝置2000上的相機辨識手勢而輸入的使用者輸入來控制其附加畫面鏈接至第一裝置1000上的顯示畫面。在此種情形中，針對第一裝置1000的使用者輸入可為執行具體手勢的輸入、觸控輸入、或使用者的語音輸入，但並非僅限於此。針對第二裝置2000的使用者輸入可為執行相機辨識手勢的輸入、觸控輸入、按鈕輸入、或語音輸入，但並非僅限於此。舉例而言，當藉由執行具體手勢而觸摸被顯示為鏈接至第一裝置1000上的顯示畫面的附加畫面上的‘圖庫’選單時，可在第一裝置1000上的顯示畫面上顯示‘圖庫’選單。此外，第一裝置1000可藉由將欲結束附加畫面的命令傳送至第二裝置2000而結束附加畫面。第二裝置2000可在經由相機辨識出附加畫面上的使用者輸入時結束附加畫面，並將表示附加畫面的結束的資訊傳送至第一裝置1000。當第一裝置1000自第二裝置2000接收到表示附加畫面的結束的資訊時，第一裝置1000可在實際畫面上顯示附加畫面的處理結果。根據本發明的實施例，當第二裝置2000是頭戴式顯示器時，在附加畫面上執行的手勢的實例可包括藉由觸摸附加畫面而執行的觸控手勢及例如藉由在附加畫面上畫‘X’而執行的運動手勢。
圖10是根據本發明的實施例的一種由第一裝置執行的處理在第二裝置上顯示的畫面的方法的流程圖。
參照圖1及圖10，在操作250中，第一裝置1000根據請求欲顯示畫面的使用者輸入而將顯示畫面及與顯示畫面相關的資訊傳送至第二裝置2000。與顯示畫面相關的資訊可包括欲在第一裝置1000上靠近顯示畫面暴露出附加畫面的位置及方向、附加畫面的大小、以及與附加畫面相關的內容資訊。根據本發明的實施例，附加畫面可為在頭戴式顯示器的螢幕上顯示的虛擬影像。
在操作260中，第一裝置1000自第二裝置2000接收關於附加畫面的使用者輸入資訊。舉例而言，第一裝置1000自第二裝置2000接收用於選擇附加畫面的資訊。
在操作270中，第一裝置1000基於自第二裝置2000接收的使用者輸入資訊而更新與第一裝置1000的顯示畫面相關的資訊。舉例而言，第一裝置1000可更新鏈接至由第二裝置2000選擇的附加畫面的顯示畫面。
圖11是根據本發明的實施例的一種由第二裝置執行的使用未顯示畫面的第一裝置來處理畫面的方法的流程圖。
參照圖1及圖11，在操作310中，第二裝置2000根據關於第一裝置1000的附加畫面顯示請求而接收關於附加畫面的資訊。舉例而言，關於附加畫面的資訊可包括欲在第一裝置1000的表面上暴露出的附加畫面的位置資訊、內容資訊、及大小資訊。
在操作320中，第二裝置2000使用相機來獲得第一裝置1000的形狀的影像。第二裝置2000可藉由使用相機對第一裝置1000進行拍照而偵測第一裝置1000的位置及角度、即時地接收使用相機拍攝的第一裝置1000的形狀的影像、並使用相機週期性地更新第一裝置1000的形狀的影像。
在操作330中，第二裝置2000基於第一裝置1000的形狀的所拍攝影像及關於附加畫面的資訊而確定欲顯示附加畫面的位置。第二裝置2000藉由對第一裝置1000的形狀進行分析而提取第一裝置1000的位置的座標以及第一裝置1000的畫面的角度，並基於位置的座標及角度而確定欲顯示附加畫面的第一裝置1000上的具體位置。
在操作340中，第二裝置2000在所確定位置顯示附加畫面。舉例而言，第二裝置2000可在第一裝置1000上顯示手錶畫面，並可在手錶畫面的左側及右側顯示應用程式資料夾圖符。
在操作350中，第二裝置2000控制附加畫面鏈接至第一裝置1000。第二裝置2000可根據針對第一裝置1000的使用者輸入及針對第二裝置2000的使用者輸入而控制附加畫面鏈接至第一裝置1000。在此種情形中，針對第一裝置1000的使用者輸入可為執行具體手勢的輸入、觸控輸入、按鈕輸入、或使用者的語音輸入，但並非僅限於此。針對第二裝置2000的使用者輸入可為執行相機辨識手勢的輸入、觸控輸入、按鈕輸入、或語音輸入，但並非僅限於此。舉例而言，當第一裝置1000自第二裝置2000接收針對虛擬應用程式資料夾圖符的觸控資訊時，第一裝置1000將關於與所觸控應用程式資料夾相關的附加畫面的資訊傳送至第二裝置2000。此外，第二裝置2000在第一裝置1000的預定表面上顯示自第一裝置1000接收的與應用程式資料夾相關的附加畫面。
圖12是根據本發明的實施例的一種由第二裝置執行的使用另外包括物件的第一裝置來處理畫面的方法的流程圖。
參照圖1及圖12，在操作365中，第二裝置2000自第一裝置1000獲得預定物件相關資訊。舉例而言，當物件是帶時，物件相關資訊可為關於與第一裝置1000相關的帶的形狀或位置的資訊。
在操作370中，第二裝置2000基於物件相關資訊而使用相機來辨識物件，並將表示物件的辨識結果的資訊傳送至第一裝置1000。
在操作375中，第二裝置2000根據自第一裝置1000接收的畫面顯示請求而獲得與物件相關的顯示資訊。
舉例而言，與物件相關的顯示資訊可包括欲在物件上顯示的附加畫面的位置、附加畫面的大小、與附加畫面相關的內容資訊、及使用相機拍攝的物件的形狀資訊。
在操作380中，第二裝置2000基於與物件相關的顯示資訊而確定欲在物件上的預定位置顯示的附加畫面。
在操作385中，第二裝置2000在對應於物件的位置顯示附加畫面。根據本發明的實施例，第二裝置2000可在與第一裝置1000相關的物件1000a上顯示附加畫面。第二裝置2000可基於物件1000a的所拍攝狀態資訊而確定欲顯示附加畫面的位置。在根據本發明實施例的一種確定欲顯示附加畫面的位置的方法中，第二裝置2000可辨識使用相機拍攝的物件1000a的狀態資訊、自物件1000a的狀態資訊提取關於物件1000a的位置的座標及物件1000a的角度的資訊，並基於物件1000a的位置及角度而確定欲顯示附加畫面的區域。
在根據本發明實施例的一種使用第一裝置來處理畫面的方法中，物件可為例如人體部位、日記簿的白紙、及日曆等自然物件。
亦即，第一裝置1000將人的手掌設定為顯示區並將關於所述顯示區的資訊通知給第二裝置2000。第二裝置2000將使用相機辨識出人的手掌時的辨識事件通知給第一裝置1000，並可根據來自第一裝置1000的對附加畫面的請求而在對應於人的手掌的區域中顯示虛擬鍵盤或日曆。
圖13是根據本發明的實施例的一種由第二裝置執行的顯示欲鏈接至在第一裝置上顯示的畫面的附加畫面的方法的流程圖。
參照圖1及圖13，根據本發明的實施例，第一裝置1000是行動裝置，且第二裝置2000是頭戴式顯示器。
在操作410中，第一裝置1000檢查在第一裝置1000上顯示顯示畫面的同時是否藉由使用手勢、觸摸、或語音而執行的使用者輸入接收到與其顯示畫面相關的附加畫面顯示請求。根據本發明的實施例，附加畫面可為在頭戴式顯示器的畫面上顯示的虛擬影像。
在操作415中，當確定接收到附加畫面顯示請求時，第一裝置1000將關於與第一裝置1000的顯示畫面相關的附加畫面的資訊以及對應於附加畫面顯示請求的觸發訊號一起傳送至第二裝置2000。舉例而言，當使用者想要展開並觀察第一裝置1000的顯示畫面時，第一裝置1000可在請求第二裝置2000顯示附加畫面的同時將關於附加畫面的資訊傳送至第二裝置2000。
在此種情形中，關於附加畫面的資訊可包括第一裝置1000的形狀資訊、與附加畫面相關的內容資訊、欲在第一裝置1000的顯示畫面上顯示的附加畫面的位置資訊、與附加畫面相關的影像資訊、以及附加畫面的大小資訊。舉例而言，當第一裝置1000是電子書時，與附加畫面相關的內容資訊可為電子書的虛擬內容表，附加畫面的位置資訊可為電子書的畫面的右側，且附加畫面的大小資訊可實質上相同於電子書上的顯示畫面的大小資訊。此外，當使用者在呈虛擬影像形式的附加畫面上選擇電子書的虛擬內容表時，附加畫面的位置資訊可為電子書上的虛擬電子書清單的畫面的右側，且附加畫面的大小資訊可為電子書的虛擬內容表的畫面大小的70%。
在操作420中，第二裝置2000自第一裝置1000接收附加畫面顯示請求以及關於附加畫面的資訊。
在操作425中，當第二裝置2000自第一裝置1000接收到關於附加畫面的資訊及附加畫面顯示請求時，第二裝置2000使用相機對第一裝置1000的形狀進行拍照。
在操作430中，第二裝置2000基於第一裝置1000的形狀來辨識第一裝置1000的狀態，以確定欲顯示附加畫面的位置。在此種情形中，關於所辨識第一裝置1000的狀態的資訊可包括裝置類型以及顯示畫面的位置及角度。
在操作435中，第二裝置2000自關於第一裝置1000的狀態的資訊提取關於第一裝置1000的畫面的位置及角度的資訊，並基於第一裝置1000的畫面的位置及角度以及關於附加畫面的資訊而確定欲在第一裝置1000上顯示附加畫面的位置及方向。關於第一裝置1000的畫面的位置及角度的資訊可使用根據本發明的各種實施例的方法來提取。
根據本發明的實施例，第二裝置2000自第一裝置1000接收第一裝置1000的形狀資訊。第二裝置2000自第一裝置的形狀資訊提取特徵點。第二裝置2000藉由將使用相機拍攝的第一裝置1000的影像的特徵點與第一裝置的形狀資訊的特徵點進行比較而確定第一裝置1000上的顯示畫面的位置。此外，第二裝置2000基於第一裝置1000的影像的特徵點與形狀資訊的特徵點之間的關係而確定顯示畫面的角度。舉例而言，第二裝置2000在第一裝置1000的四個頂點處的四個特徵點之間的距離相同時確定第一裝置1000上的顯示畫面的角度完全面向前方，並在第一裝置1000的四個頂點處的四個特徵點之間的距離不相同時確定顯示畫面的角度是傾斜的。
在操作440中，第二裝置2000基於顯示畫面的位置及與附加畫面相關的資訊而顯示鏈接至第一裝置1000上的顯示畫面的附加畫面。根據本發明的實施例，第一裝置1000上的顯示畫面及附加畫面顯示於頭戴式顯示器的玻璃螢幕上。因此，使用者可經由第二裝置2000而觀察到第一裝置1000上的顯示畫面及附加畫面。
圖14是根據本發明的實施例的一種由第二裝置執行的顯示欲與在包括物件的第一裝置上顯示的畫面鏈接的畫面的方法的流程圖。
參照圖1及圖14，根據本發明的實施例，第一裝置1000是行動裝置，且第二裝置2000是頭戴式顯示器。第一裝置1000另外包括如圖2所示具有有限功能或不具有功能的物件1000a。舉例而言，物件1000a可為腕帶、貼簽、或日曆。另外，物件1000a可與第一裝置1000分開單獨提供。
在操作450中，第一裝置1000傳送與物件1000a相關的資訊。與物件1000a相關的資訊可為物件1000a的形狀資訊或位置資訊。舉例而言，當物件1000a為帶時，與物件1000a相關的資訊可為帶的形狀資訊或位置資訊。
在操作455中，當自第一裝置1000接收到與物件1000a相關的資訊時，第二裝置2000基於與物件1000a相關的資訊而使用相機來辨識物件1000a的形狀。根據本發明的實施例，當物件1000a是不具有功能的腕帶時，第一裝置1000無法辨識使用者對腕帶的觀察，且因此第二裝置2000可使用相機來辨識腕帶。然而，當物件1000a是具有有限功能的腕帶時，第一裝置1000能夠辨識使用者對腕帶的觀察並因此可直接請求第二裝置2000顯示附加畫面而無需執行辨識操作。根據本發明的實施例，當第一裝置1000將自然物件（例如，人的手腕、日記簿、日曆等）設定為顯示區時，第二裝置2000可使用相機來辨識自然物件。
在操作460中，在使用相機識別出物件1000a之後，第二裝置2000將表示物件的辨識結果的資訊傳送至第一裝置1000。根據本發明的實施例，當使用相機辨識出腕帶時，第二裝置2000可將腕帶辨識事件通知給第一裝置1000。
在操作465中，第一裝置1000檢查在第一裝置1000上顯示畫面的同時藉由例如使用者的運動、觸摸或語音等使用者輸入而接收到附加畫面顯示請求。
在操作470中，當確定接收到附加畫面顯示請求時，第一裝置1000將關於其附加畫面的資訊及對應於此請求的觸發訊號一起傳送至第二裝置2000。舉例而言，當使用者想要在物件1000a上顯示選單畫面時，第一裝置1000可將請求顯示附加畫面的訊號以及關於附加畫面的資訊傳送至第二裝置2000。
在此種情形中，關於附加畫面的資訊可包括附加畫面的內容、欲在物件1000a上的預定位置顯示的附加畫面的位置資訊、與附加畫面相關的內容資訊、及附加畫面的大小。根據本發明的實施例，附加畫面可為在頭戴式顯示器的畫面上顯示的虛擬影像。
在操作475中，第二裝置2000自第一裝置1000獲得附加畫面顯示請求及關於附加畫面的資訊。
在操作480中，當關於第一裝置1000接收到附加畫面顯示請求以及關於附加畫面的資訊時，第二裝置2000使用相機對物件1000a的形狀進行拍照。
在操作485中，第二裝置2000基於物件1000a的形狀而辨識物件1000a的狀態，以確定欲顯示附加畫面的位置。在此種情形中，物件1000a的所辨識狀態可包括物件1000a的位置及角度。舉例而言，第二裝置2000可辨識作為物件1000a的腕帶的位置及角度。
根據本發明的實施例，第二裝置2000自物件1000a接收物件1000a的形狀資訊。第二裝置2000自形狀資訊提取特徵點。第二裝置2000藉由將使用相機拍攝的物件1000a的影像的特徵點與物件1000a的形狀資訊的特徵點進行比較而確定第一裝置1000上的畫面的位置。此外，第二裝置2000基於物件1000a的影像的特徵點與形狀資訊的特徵點之間的關係而確定畫面的角度。舉例而言，第二裝置2000在物件1000a的四個頂點處的四個特徵點之間的距離相同時確定物件1000a的角度完全面向前方，並在物件1000a的四個頂點處的四個特徵點之間的距離不同時確定物件1000a的角度是傾斜的。
在操作490中，第二裝置2000自物件1000a的狀態資訊提取物件1000a的位置的座標及物件1000a的角度，並基於與附加畫面相關的所接收資訊以及物件1000a的位置及角度而確定欲顯示附加畫面的位置及方向。
在操作495中，第二裝置2000基於物件1000a的所確定位置及與附加畫面相關的資訊而在物件1000a的所確定位置及方向上顯示附加畫面。
圖15是根據本發明的實施例的一種由第二裝置執行的控制附加畫面的方法的流程圖。
參照圖1及圖15，根據本發明的實施例，第一裝置1000是行動裝置，且第二裝置2000是頭戴式顯示器。附加畫面可為在頭戴式顯示器的畫面上顯示的虛擬影像。
在操作510中，第一裝置1000檢查是否藉由手勢、觸摸或語音而接收到第一使用者輸入。
在操作515中，當接收到第一使用者輸入時，第一裝置1000根據第一使用者輸入而將控制命令傳送至第二裝置2000。
在操作525中，第二裝置2000產生並處理與對應於第一使用者輸入顯示附加畫面相關的事件。
在操作530中，第二裝置2000在處理與顯示附加畫面相關的事件之後顯示附加畫面。
在操作520中，第二裝置2000檢查是否在附加畫面上執行例如虛擬觸控手勢或語音等第二使用者輸入。
在操作515中，第二裝置2000根據第二使用者輸入而將控制命令傳送至第一裝置1000。
在操作535中，第一裝置1000產生並處理與對應於第二使用者輸入顯示附加畫面相關的事件。
在操作540中，第一裝置1000在處理與顯示附加畫面相關的事件之後更新顯示畫面。舉例而言，當第二裝置2000藉由事實上觸摸附加畫面而選擇附加畫面的具體選單時，第一裝置1000更新並顯示所選擇附加畫面的具體選單。
圖16是根據本發明的實施例的一種由第一裝置執行的控制結束第二裝置上的附加畫面的方法的流程圖。
參照圖1及圖16，根據本發明的實施例，第一裝置1000是行動裝置，且第二裝置2000是頭戴式顯示器。
在操作545中，第一裝置1000檢查是否藉由使用者輸入接收到欲結束附加畫面的命令。在此種情形中，針對第一裝置1000的使用者輸入可為具體手勢輸入、觸控輸入、按鈕輸入或語音輸入，但並非僅限於此。
在操作550中，第一裝置1000將欲結束附加畫面的命令傳送至第二裝置2000。
在操作555中，第二裝置2000根據自第一裝置1000接收的欲結束附加畫面的命令而結束附加畫面。
圖17是根據本發明的實施例的一種由第二裝置執行的控制第一裝置上的顯示畫面的方法的流程圖。
參照圖1及圖17，根據本發明的實施例，第一裝置1000是行動裝置，且第二裝置2000是頭戴式顯示器。
在操作560中，第二裝置2000使用相機來檢查是否藉由虛擬手勢或語音輸入欲結束附加畫面的命令。根據本發明的實施例，可藉由執行觸控手勢選擇附加畫面上的選單或附加畫面、選擇附加畫面之外的區域、或執行具體手勢（例如，畫‘X’）而輸入欲結束附加畫面的命令。
在操作565中，當接收到欲結束附加畫面的命令時，第二裝置2000結束附加畫面。
在操作570中，第二裝置2000將表示附加畫面的結束的資訊傳送至第一裝置1000。在此種情形中，表示附加畫面的結束的資訊可包括視訊訊號、音訊訊號、及觸覺訊號中的至少一者。
在操作575中，第一裝置1000根據自第二裝置2000接收的表示附加畫面的結束的資訊而在第一裝置1000上顯示畫面。
圖18A及圖18B是根據本發明的各種實施例說明一種由第二裝置執行的在第一裝置上圍繞顯示畫面顯示虛擬影像型附加畫面並控制附加畫面的方法的圖。
參照圖1、圖18A及圖18B，根據本發明的實施例，第一裝置1000是手腕型終端，且第二裝置2000是頭戴式顯示器裝置。
參照圖18A，在第二裝置2000上顯示包括至少一個選單影像的附加畫面以鏈接至在第一裝置1000上顯示的畫面。參考編號600標示第二裝置2000的玻璃螢幕。
當第二裝置2000使用相機來辨識在對應於附加畫面的‘圖庫’選單610上輸入的虛擬觸控手勢或語音時，第二裝置2000將對應於選擇附加畫面的使用者輸入傳送至第一裝置1000。
參照圖18B，第一裝置1000可根據自第二裝置2000接收的使用者輸入而顯示對應於所選擇附加畫面的‘圖庫’選單625。
圖19A及圖19B是根據本發明的各種實施例，說明一種由第二裝置執行的在第一裝置上靠近顯示畫面顯示虛擬影像型附加畫面並控制附加畫面的方法的圖。
參照圖1、圖19A、及圖19B，根據本發明的實施例，第一裝置710是電子書終端，且第二裝置2000是頭戴式顯示器裝置。
參照圖19A，在第二裝置2000上顯示包括至少一個虛擬影像的附加畫面以鏈接至電子書終端710上的顯示畫面。參考編號700標示第二裝置2000的玻璃螢幕區。此處，電子書終端710的顯示畫面是經由頭戴式顯示器裝置的透鏡而觀察到的實際畫面，而在第二裝置2000上顯示的附加畫面715及720是經由頭戴式顯示器裝置的顯示單元而在電子書終端710上靠近顯示畫面觀察到的虛擬影像。
當第二裝置2000使用相機來辨識藉由虛擬觸控手勢或語音而在作為內容表的附加畫面715上執行的使用者輸入時，第二裝置2000顯示對應於預覽影像的附加畫面720。當藉由虛擬觸控手勢或語音而選擇作為預覽影像的附加畫面720時，第二裝置2000將對應於所選擇附加畫面的選擇訊號傳送至電子書終端710。
參照圖19B，電子書終端710可根據自第二裝置2000接收的使用者輸入而顯示與電子書終端710上的預覽影像對應的顯示畫面725。
圖20是根據本發明的實施例說明一種由第二裝置執行的在第一裝置上靠近顯示畫面顯示三維（3D）影像型附加畫面並控制附加畫面的方法的流程圖。
參照圖1及圖20，根據本發明的實施例，第一裝置810是平板終端，且第二裝置2000是頭戴式顯示器裝置。
參照圖20，第二裝置2000以各種角度顯示3D強化實境畫面以鏈接至在平板終端810上顯示的顯示畫面。參考編號800標示第二裝置2000上的玻璃螢幕。
第二裝置2000使用相機來辨識使用者的手指在強化實境附加畫面（例如，人體畫面）上的運動820。第二裝置2000根據運動820而移動在平板終端810上顯示的人體的橫截面的影像830的位置。第二裝置2000的使用者可在移動其手指的位置同時選擇與人體的橫截面對應的影像830的部分。
當藉由移動使用者的手指來選擇與人體的橫截面對應的附加畫面時，第二裝置2000將選擇訊號傳送至平板終端810。
因此，如圖20所示，平板終端810可顯示與欲根據自第二裝置2000接收的選擇訊號而選擇的人體的橫截面對應的影像。
圖21是根據本發明的實施例的第一裝置的方塊圖。
參照圖21，第一裝置1000可包括使用者輸入單元1100、顯示單元1200、控制單元1300、感測器單元1400、通訊單元1500、音訊/視訊（audio/video，A/V）輸入單元1600、記憶體1700、及通知模組1800。
使用者輸入單元1100意指用於供使用者輸入用於控制第一裝置1000的資料的單元。舉例而言，使用者輸入單元1100的實例可包括但不限於小鍵盤、薄膜開關（dome switch）、觸控墊（觸控型電容觸控墊（touch-type capacitive touch pad）、壓力型電阻覆蓋觸控墊（pressure-type resistive overlay touch pad）、紅外感測器型觸控墊（infrared sensor type touch pad）、表面聲波傳導觸控墊（surface acoustic wave conduction touch pad）、整體型張力量測觸控墊（integral type tension measurement touch pad）、壓電效應型觸控墊（piezo effect type touch pad）等）、滾輪（jog wheel）、及輕搖開關（jog switch）等。
使用者輸入單元1110可自圖1所示第二裝置2000接收指令顯示附加畫面的使用者輸入。
顯示單元1200顯示經第一裝置1000處理的資訊。舉例而言，顯示單元1200可顯示例如選單等使用者介面。
一般而言，控制單元1300控制第一裝置1000的總體運作。舉例而言，控制單元1300一般可藉由執行儲存於記憶體1700中的程式而控制使用者輸入單元1100、顯示單元1200、感測器單元1400、通訊單元1500、及音訊/視訊輸入單元1600。
更詳言之，控制單元1300可控制通訊單元1500以藉由例如手勢、觸摸或語音等使用者輸入而控制顯示附加畫面。第一裝置1000可根據使用者輸入選擇選單，並產生用以顯示與選單相關的附加畫面的命令。控制單元1300可根據自第二裝置2000接收的與使用者輸入對應的控制命令而請求第二裝置2000顯示附加畫面並處理畫面。控制單元1300可為第二裝置2000提供附加畫面顯示請求及與附加畫面相關的資訊。舉例而言，與附加畫面相關的資訊可包括欲顯示附加畫面的位置、與附加畫面相關的內容、及附加畫面的大小。此外，控制單元1300可基於自第二裝置2000接收的關於附加畫面的控制資訊而更新與顯示畫面相關的資訊。
感測器單元1400可感測第一裝置1000的狀態或第一裝置1000附近的狀態，並將包含第一裝置1000的狀態或第一裝置1000附近的狀態的感測結果的資訊傳送至控制單元1300。
感測器單元1400可包括地磁感測器、加速度感測器、溫度/濕度感測器1430、紅外線感測器1440、陀螺儀感測器、位置感測器（例如，全球定位系統）、接近感測器、以及紅色、綠色、及藍色（red, green, and blue，RGB）感測器（亮度感測器）中的至少一者。
通訊單元1500可包括用以建立第一裝置1000與第二裝置2000之間的通訊的至少一個元件。
此外，通訊單元1500可控制第二裝置2000顯示附加畫面，並與第二裝置2000交換用於改變附加畫面的運作的資訊。
音訊/視訊輸入單元1600用以輸入音訊訊號或視訊訊號，並可包括相機1610、麥克風1620等。相機1610可經由影像感測器以視訊呼叫模式或攝影模式獲得例如靜止影像或視訊等影像訊框。由影像感測器拍攝的影像可使用控制單元1300或額外影像處理器（未示出）來處理。
經相機1610處理的影像訊框可儲存於記憶體1700中或經由通訊單元1500而被傳送至外部。麥克風1620接收外部聲音訊號並將外部聲音訊號轉換成電性語音資料。舉例而言，麥克風1620可自外部裝置或揚聲器接收聲音訊號。麥克風1620可採用各種雜訊消除演算法來消除在將外部聲音訊號輸入至麥克風1620時產生的雜訊。
記憶體1700可儲存用於處理並控制控制單元1300的運作的程式，並儲存輸入至第一裝置1000或自第一裝置1000輸出的資料（例如，欲鏈接至第一裝置1000上的顯示畫面的附加畫面的位置資訊、與附加畫面相關的內容資訊、附加畫面的大小資訊等）。
通知模組1800可產生對與第一裝置1000的附加畫面相關的事件進行通知的訊號。由第一裝置1000產生的與附加畫面相關的事件的實例可包括接收呼叫訊號、接收訊息、輸入按鍵訊號、通知排程等。通知模組1800可經由顯示單元1200以視訊訊號的形式輸出此訊號。
圖22說明根據本發明的實施例的第二裝置的外觀。
圖22說明其中第二裝置2000是眼鏡型頭戴式顯示器裝置的情形。
儘管圖22所示頭戴式顯示器裝置的框架2010為一體式，但在本發明中介紹的頭戴式顯示器裝置的框架的形狀及結構並非僅限於圖22所示框架的形狀及結構。
舉例而言，參照圖22，頭戴式顯示器裝置的框架2010可包括連接構件（未示出），且因此框架2010的至少一部分可為可折疊的。舉例而言，根據本發明的實施例的頭戴式顯示器裝置包括可折疊框架2010，且因此可在使用者不使用頭戴式顯示器裝置時折疊於儲存器中，藉此使由頭戴式顯示器裝置佔據的空間最小化。
根據本發明的實施例的頭戴式顯示器裝置可更包括彈性帶（未示出），所述彈性帶容許頭戴式顯示器裝置固定地裝於使用者的頭上，而不管使用者的頭的大小如何。
根據本發明的實施例，框架2010可被配置成使透鏡2005可附裝至框架2010或可自框架2010拆下。根據本發明的實施例，頭戴式顯示器裝置可不包括透鏡2005。此外，圖22所示透鏡2005與鼻架（nose bridge）一體成型，但本發明的各種實施例並非僅限於圖22所示者。舉例而言，根據本發明的實施例的頭戴式顯示器裝置的鼻架可與框架2010一體成型。
透鏡2005可由透明材料形成以使使用者可經由透鏡2005觀察到實際空間。透鏡2005可由使形成欲在顯示單元2030顯示的影像的光從中透過的材料形成。可用於形成透鏡2005的實例包括例如聚碳酸酯等塑膠或玻璃，但並非僅限於此。
控制單元2600可以有線方式或無線方式連接至頭戴式顯示器裝置。儘管圖22說明控制單元2600位於框架2010的左側，但本發明的各種實施例並非僅限於此。舉例而言，控制單元2600可位於框架2010的右側或位於頭戴式顯示器裝置的前表面且鄰近相機2050。
控制單元2600可自例如相機2050或使用者輸入單元2040接收資料、對所接收資料進行分析、並產生欲經由顯示單元2030及音訊輸出單元2020中的至少一者而被傳送至頭戴式顯示器裝置的使用者的資訊。欲被傳送至使用者的資訊可包括影像、正文、視訊、及音訊中的至少一者，但並非僅限於此。
相機2050可包含於顯示單元2030中，抑或可與顯示單元2030分開地位於框架2010上。相機2050可為用於智慧型電話中的相機或例如網路攝影機等小型相機。舉例而言，相機2050可安裝於被預先確定適於使用使用者的手作出手勢來獲得影像的位置。舉例而言，如圖22所示，相機2050可在使用者穿戴頭戴式顯示器裝置時安裝於鄰近使用者眼睛的位置，且因此能夠拍攝實質上相同於經由使用者的眼睛所辨識者的影像。
使用者輸入單元2040可包括但不限於可由使用者的手指操作的觸控墊及可經由按壓操作而操作的按鈕中的至少一者。儘管圖22說明使用者輸入單元2040安置於框架2010的兩側，但使用者輸入單元2040可位於頭戴式顯示器裝置上的另一位置。
使用者輸入單元2040用以接收使用者輸入。使用者輸入可包括由使用者輸入以產生使頭戴式顯示器裝置開始或結束預定操作的事件的資料或訊號。
舉例而言，使用者輸入單元2040可包括使頭戴式顯示器裝置通電或斷電的‘導通’/‘斷開’開關。此外，根據本發明的實施例的使用者輸入單元2040可接收用於控制使用頭戴式顯示器裝置顯示的影像的使用者輸入。
顯示單元2030可如圖22所示位於透鏡2005的左上端，並使用半透明光學波導（例如，棱鏡）來配置。圖22所示顯示單元2030可反射自內置於頭戴式顯示器裝置中的投影機輸出的光以將影像聚焦於穿戴頭戴式顯示器裝置的使用者的眼睛的視網膜的中央凹（foveae）上。然而，根據本發明的實施例包含於頭戴式顯示器裝置中的顯示單元2030並非僅限於圖22所示者，而是可根據各種方法並以各種結構進行配置以靠近使用者的眼睛顯示影像。舉例而言，根據本發明的實施例，顯示單元2030可為透明顯示器或不透明顯示器。
儘管圖22未示出，但根據本發明的實施例，頭戴式顯示器裝置可更包括麥克風（未示出）。麥克風可接收使用者的語音、頭戴式顯示器裝置的周圍環境中的聲音等。
聲音輸出單元2020可被配置成耳機的形式並安裝於頭戴式顯示器裝置的使用者的耳朵上。聲音輸出單元2020可如圖22所示固定地安裝於頭戴式顯示器裝置上，但本發明的各種實施例並非僅限於此。舉例而言，聲音輸出單元2020可被配置成可安裝至頭戴式顯示器裝置或可自頭戴式顯示器裝置拆下，以使頭戴式顯示器裝置的使用者可將聲音輸出單元2020選擇性地裝於其耳朵上。舉例而言，聲音輸出單元2020可為骨傳導揚聲器。
電源供應單元2015被例示為設置於頭戴式顯示器裝置的框架2010的端部上。然而，本發明的各種實施例並非僅限於此，而是電源供應單元2015可安置於頭戴式顯示器裝置的框架2010上的各種位置。電源供應單元2015可向頭戴式顯示器裝置的元件供電以用於使頭戴式顯示器裝置運作。儘管未示出，但電源供應單元2015可包括用於充電的電池及可用於自外部接收電力的纜線或纜線埠。
圖23及圖24是根據本發明的各種實施例的第二裝置的方塊圖。圖23及圖24說明其中第二裝置是眼鏡型頭戴式顯示器裝置的情形。
參照圖23，根據本發明的實施例的頭戴式顯示器裝置2000至少包括相機2050、使用者輸入單元2200、顯示單元2030、通訊單元2500、及控制單元2600。
然而，圖23所示全部元件並非頭戴式顯示器裝置2000的不可或缺的元件。頭戴式顯示器裝置可更包括其他元件或可包括圖23所示元件中的僅某些元件。
舉例而言，參照圖24，除相機2050、使用者輸入單元2200、顯示單元2030、通訊單元2500、及控制單元2600之外，根據本發明的實施例的頭戴式顯示器裝置2000可更包括麥克風2055、輸出單元2300、記憶體2400、感測器單元2700、及介面單元2800。
相機2050用以對實際空間中的物件進行拍照。由相機2050拍攝的物件的影像可為移動圖片影像或連續靜止影像。頭戴式顯示器裝置可例如為具有通訊功能及資料處理功能的眼鏡型裝置。當使用者穿戴頭戴式顯示器裝置時面對使用者前面的相機2050可對實際空間中的物件進行拍照。
根據本發明的實施例，相機2050用以對圖1所示第一裝置1000、與第一裝置1000相關的物件、或使用者的手勢進行拍照。舉例而言，相機2050可獲得關於使用者的身體部位的資訊或關於使用者的手勢的資訊。關於使用者的身體部位的資訊可包括使用者的身體部位的影像。關於使用者的手勢的資訊可包括藉由對作出手勢的使用者的身體部位進行拍照而獲得的影像。
可根據第二裝置2000的實施例而提供二或更多個相機2050。
麥克風2055接收外部聲音訊號，並以呼叫模式、記錄模式、語音辨識模式等將所述外部聲音訊號轉換成電性語音資料。在呼叫模式中，電性語音資訊可被轉換並輸出為可經由行動通訊模組2510而被傳送至行動通訊基地台的形式。麥克風2055可採用各種雜訊消除演算法來消除在將外部聲音訊號輸入至麥克風2055時產生的雜訊。
使用者輸入單元2200接收用於控制頭戴式顯示器裝置2000的使用者輸入。使用者輸入單元2200可接收在頭戴式顯示器裝置2000上執行的觸控輸入及按鍵輸入。此外，使用者輸入單元2200可自相機2050接收由相機2050拍攝的使用者的手勢。
顯示單元2030向使用者顯示關於經頭戴式顯示器裝置2000的控制單元2600處理的虛擬影像的附加畫面的資訊。
根據本發明的實施例，顯示單元2030可在顯示於第一裝置1000上的顯示畫面上的預定位置顯示虛擬影像的附加畫面。
此外，根據本發明的實施例，顯示單元2030可在與第一裝置1000相關的物件上的預定位置顯示虛擬影像的附加畫面。
此外，顯示單元2030可顯示用於選擇經控制單元2600處理的虛擬影像的附加畫面的使用者介面。
顯示單元2030可包括（未示出）觸控螢幕、電子紙、液晶顯示器（liquid crystal display，LCD）、薄膜電晶體-液晶顯示器（thin-film transistor-LCD，TFT-LCD）、發光二極體（light-emitting diode，LED）、有機發光二極體（organic LED，OLED）、撓性顯示器、三維顯示器、及透明顯示器中的至少一者。
輸出單元2300用以輸出音訊訊號、視訊訊號、或警報訊號。輸出單元2300可包括音訊輸出單元2020、警報單元2330、觸覺模組2340等。
音訊輸出單元2020以呼叫訊號接收模式、呼叫模式、記錄模式、語音辨識模式、廣播接收模式等輸出自通訊單元2500或控制單元2600接收的或儲存於記憶體2400中的音訊資料。此外，聲音輸出單元2020輸出與由頭戴式顯示器裝置2000執行的功能相關的音訊訊號，例如呼叫訊號接收聲音、訊息接收聲音等。音訊輸出單元2020可包括揚聲器、蜂鳴器等。
警報單元2330輸出對頭戴式顯示器裝置2000的附加畫面相關事件進行通知的訊號。由頭戴式顯示器裝置2000產生的附加畫面相關事件的實例包括接收呼叫訊號、接收訊息、輸入按鍵訊號等。警報單元2330以不同於音訊訊號或視訊訊號的形式輸出對附加畫面相關事件進行通知的訊號。當接收到呼叫訊號或訊息時，警報單元2330可輸出對此事實進行通知的訊號。此外，當輸入按鍵訊號時，警報單元2330可作為對輸入按鍵訊號的回饋而輸出訊號。使用者可藉由檢查自警報單元2330輸出的訊號而辨識出發生附加畫面相關事件。作為另一選擇，在頭戴式顯示器裝置2000中，可經由顯示單元2030或聲音輸出單元2020輸出對附加畫面相關事件的發生進行通知的訊號。
觸覺模組2340產生各種使用者可感覺到的觸覺效應。由觸覺模組2340產生的觸覺效應的代表性實例可為振動效應。當觸覺模組2340產生振動作為觸覺效應時，由觸覺模組2340產生的振動的強度及模式可進行轉換，且不同振動可加以綜合並輸出或者可依序輸出。
除振動之外，觸覺模組2340可產生各種觸覺效應，例如，使用由接觸皮膚表面上的銷配置的垂直運動造成的刺激而產生的效應、使用由自噴嘴噴射的空氣的噴射力或經由進氣口而吸入的空氣的吸入力造成的刺激所產生的效應、使用輕觸皮膚表面時造成的刺激而產生的效應、使用接觸電極時造成的刺激而產生的效應、使用由靜電力造成的刺激而產生的效應、在使用能夠吸熱或產生熱的材料產生對冷或熱的感測時達成的效應等。觸覺模組2340可被配置成使得不僅在直接觸摸觸覺模組2340時傳遞觸覺效應且亦在經由例如手指或臂等使用者的肌肉的感覺而感覺到時傳遞觸覺效應。
記憶體2400可儲存用於處理及控制控制單元2600的運作的程式，並暫時性地儲存輸入或輸出的資料（例如，訊息、靜止影像、視訊、欲鏈接至第一裝置1000的顯示畫面的附加畫面的位置資訊、與附加畫面相關的內容資訊、附加畫面的大小資訊等）。
記憶體2400可包括快閃記憶體型記憶體、硬碟型記憶體、多媒體卡微型記憶體、卡式記憶體、隨機存取記憶體（random access memory，RAM）、及唯讀記憶體（read-only memory，ROM）中的至少一個儲存媒體。此外，記憶體2400可包括具有儲存功能且在網際網路中運作的網路儲存器。
通訊單元2500自第一裝置1000接收與附加畫面相關的資訊、並與第一裝置1000交換頭戴式顯示器裝置2000所需要的資訊，以基於與附加畫面相關的資訊而在顯示單元2030上顯示附加畫面並改變所顯示附加畫面。根據本發明的實施例，通訊單元2500可與周邊裝置或伺服器交換所需資訊。
通訊單元2500可包括行動通訊模組2510、近場通訊（near-field communication，NFC）模組2520、廣播接收模組2530、網際網路模組2540、全球定位系統模組2550等。
行動通訊模組2510在行動通訊網路中與基地台、外部終端、及伺服器中的至少一者交換無線電訊號。此處，無線電訊號可包括語音呼叫訊號、視訊呼叫訊號、或欲在交換正文/多媒體訊息時使用的各種類型的資料。因此，頭戴式顯示器裝置2000可與外部裝置交換語音呼叫訊號、視訊呼叫訊號、或正文/多媒體訊息。
近場通訊模組2520意指用以建立近場通訊的模組。近場通訊技術可包括BLUETOOTHTM 、射頻識別（radio-frequency identification，RFID）、紅外資料協會（infrared data association，IrDA）、超寬頻（ultra wideband，UWB）、ZIGBEETM 等。
廣播接收模組2530用以使用各種廣播系統且特別是以下廣播系統來接收廣播訊號：數位多媒體廣播-地面系統（digital multimedia broadcasting-terrestrial，DMB-T）、數位多媒體廣播-衛星系統（digital multimedia broadcasting-satellite，DMB-S）、媒體前向鏈路技術（media forward link only，MediaFLO）、數位視訊廣播-手持系統（digital video broadcasting-handheld，DVB-H）、整合服務數位廣播-地面系統（integrated services digital broadcast-terrestrial，ISDB-T）等。此外，廣播接收模組2530可被配置成不僅適用於此種數位廣播系統且亦適用於能夠提供廣播訊號的其他各種廣播系統。
網際網路模組2540意指用以存取無線網際網路的模組，並可安裝於第二裝置2000內部或外部。可使用無線局部區域網路（wireless local area network，WLAN）、無線寬頻（wireless broadband，Wibro）、全球互通微波接取（world interoperability for microwave access，Wimax）、高速下行封包接取（high-speed downlink packet access，HSDPA）等作為無線網際網路技術。
全球定位系統模組2550可自多個全球定位系統衛星接收位置資訊。
感測器單元2700感測頭戴式顯示器裝置2000的目前狀態（例如，頭戴式顯示器裝置2000的位置、使用者是否觸摸到頭戴式顯示器裝置2000等），並產生用於控制頭戴式顯示器裝置2000的運作的感測訊號。舉例而言，感測器單元2700可執行與介面單元2800是否耦合至外部裝置相關的感測功能等。
感測器單元2700可包括接近感測器2710、運動感測器2730等。接近感測器2710無需物理接觸便可偵測物件是否接近頭戴式顯示器裝置2000或者是否存在於頭戴式顯示器裝置2000附近。接近感測器2710可藉由檢查交變磁場或靜態磁場的變化、靜電電容的變化率等而偵測正接近或存在於頭戴式顯示器裝置2000附近的物件。
運動感測器2730使用加速度感測器、陀螺儀感測器等感測第二裝置2000的位置或運動。加速度感測器是能夠將加速度在方向上的變化轉換成電性訊號的裝置，並作為已提出的微機電系統（micro-electromechanical systems，MEMS）技術而廣泛使用。陀螺儀感測器是用以量測角速度的感測器並可感測偏離參考方向的方向。
介面單元2800用作與連接至頭戴式顯示器裝置2000的所有外部裝置的介面。連接至頭戴式顯示器裝置2000的外部裝置的實例包括有線/無線耳麥、外部充電器、有線/無線資料埠、用於記憶體卡、用戶識別模組（subscriber identification module，SIM）卡、使用者識別模組（user identity module，UIM）卡等的卡槽（card socket）、音訊輸入/輸出（input/output，I/O）終端、視訊輸入/輸出終端、耳機等。介面單元2800可自此種外部裝置接收資料或電力，並將所述資料或電力傳遞至包含於頭戴式顯示器裝置2000中的元件，並將儲存於頭戴式顯示器2000中的資料傳送至外部裝置。
電源供應單元2015向頭戴式顯示器裝置2000的元件供電以使頭戴式顯示器裝置2000運作。儘管未示出，但電源供應單元2015可包括用於充電的電池以及可用於自外部接收電力的纜線或纜線埠。
一般而言，控制單元2600控制頭戴式顯示器裝置2000的總體運作。舉例而言，控制單元2600可執行儲存於記憶體2400中的程式，以控制顯示單元2030、相機2050、使用者輸入單元2200、輸出單元2300、及通訊單元2500。
頭戴式顯示器裝置2000可連接至第一裝置1000，並藉由自第一裝置1000接收關於虛擬影像的附加畫面的資訊而在頭戴式顯示器裝置2000的螢幕上顯示虛擬影像的附加畫面。根據本發明的實施例，頭戴式顯示器裝置2000可連接至伺服器（未示出）。
控制單元2600可經由通訊單元2500而自第一裝置1000接收關於虛擬影像的附加畫面的資訊以及關於欲顯示附加畫面的頭戴式顯示器裝置2000的顯示單元2030上的位置的資訊。
根據本發明的實施例，控制單元2600可使用相機2050對第一裝置1000的形狀進行拍照，基於關於第一裝置1000的形狀的資訊及關於附加畫面的資訊而確定欲顯示虛擬影像的附加畫面的位置，在第一裝置1000上靠近顯示畫面顯示虛擬影像的附加畫面，並控制虛擬影像的附加畫面鏈接至第一裝置1000上的顯示畫面。
在此種情形中，控制單元2600可自關於第一裝置1000的形狀的資訊提取關於第一裝置1000上的畫面的位置及角度的資訊，並基於第一裝置1000上的畫面的位置及角度而確定欲顯示虛擬影像的附加畫面的區域。舉例而言，控制單元2600可藉由自第一裝置1000接收關於第一裝置1000的形狀的資訊而確定第一裝置1000上的畫面的位置及角度，自關於第一裝置1000的形狀的資訊提取特徵點，並將由相機2050拍攝的第一裝置1000的影像的特徵點與關於第一裝置1000的形狀的資訊的特徵點進行比較。
此外，根據本發明的實施例，控制單元2600可根據在第一裝置1000上執行的使用者輸入及使用頭戴式顯示器裝置2000的相機2050執行的使用者輸入而控制鏈接至第一裝置1000上的顯示畫面的頭戴式顯示器裝置2000的附加畫面。此外，控制單元2600可經由相機2050辨識附加畫面上的使用者輸入，在辨識出使用者輸入時結束附加畫面，並將表示附加畫面的結束的資訊傳送至第一裝置1000。
頭戴式顯示器裝置2000可在未連接至第一裝置1000的頭戴式顯示器裝置2000的螢幕上顯示附加畫面。
在此種情形中，控制單元2600使用相機2050對實際空間中的第一裝置1000進行拍照。控制單元2600可即時地或以預定週期對實際空間中的第一裝置1000進行拍照。
此外，根據本發明的實施例，控制單元2600確定欲圍繞第一裝置1000的所拍攝影像顯示的附加畫面。在此種情形中，控制單元2600可在頭戴式顯示器裝置2000的畫面上顯示用於選擇附加畫面的使用者介面，並基於經由使用者輸入單元2200或相機2050接收的使用者輸入而選擇具體附加畫面。
此外，控制單元2600可確定欲顯示附加畫面的第一裝置1000附近的位置。
根據本發明的實施例，由於使用頭戴式顯示器裝置2000來顯示附加畫面，因此第一裝置1000的有限畫面可被擴展，且可提供大量的視覺資訊及方便的低水準交互。
本發明的實施例可實施為非暫時性電腦可讀取記錄媒體的形式，在所述非暫時性電腦可讀取記錄媒體上記錄有電腦可執行指令，例如，可使用電腦執行的程式模組。非暫時性電腦可讀取記錄媒體的實例可不僅包括可由電腦存取的任意可用記錄媒體且亦包括揮發性及非揮發性記錄媒體、以及單獨/非單獨記錄媒體。非暫時性電腦可讀取記錄媒體的實例可包括電腦儲存媒體及通訊媒體。電腦儲存媒體包括根據任意方法或技術製造的揮發性及非揮發性媒體以及單獨及非單獨記錄媒體，以儲存例如電腦可讀取指令、資料結構、程式模組或其他資料等資訊。通訊媒體一般包括電腦可讀取指令、資料結構、程式模組、調製資料訊號的其他資料、其他傳送機構以及任意資訊傳輸媒體。
在本發明中，用語‘單元’可理解為包括硬體組件（例如處理器或電路）及/或由例如處理器等硬體組件執行的軟體組件。
應理解的是，本文所述各種實施例應被視為僅具有描述性意義而並非用於限制目的。在本發明的每一實施例中對特徵點或態樣的說明通常應被視為可用於其他各種實施例中的其他類似特徵點或態樣。舉例而言，被闡述為包含於單一個單元中的各元件可被分散。類似地，被闡述為分散的各元件可組合於單一個單元中。
儘管已參照本發明的各種實施例顯示及闡述了本發明，但本領域具有通常知識者將理解，在不背離由隨附申請專利範圍及其等效範圍界定的本發明的精神及範圍的條件下，可作出各種形式及細節上的改變。
40:顯示畫面 42:物件 50、60、70、80:附加畫面 52、62、72、82:附加畫面 100:玻璃螢幕 210、220、230:操作 215、225、235、245:操作 250、260、270:操作 310、320、330、340、350:操作 365、370、375、380、385:操作 410、415、420、425、430、435、440:操作 450、455、460、465、470、475、480、485、490、495:操作 510、515、520、525、530、535、540:操作 545、550、555:操作 560、565、570、575:操作 600:參考編號 610:‘圖庫’選單 625:‘圖庫’選單 700:參考編號 710:第一裝置/電子書終端 715、720:附加畫面 725:顯示畫面 800:參考編號 810:第一裝置/平板終端 820:運動 830:影像 1000:第一裝置 1000a:物件 1000b:雲端 1100:使用者輸入單元 1200:顯示單元 1300:控制單元 1400:感測器單元 1500:通訊單元 1600:音訊/視訊輸入單元 1610:相機 1620:麥克風 1700:記憶體 1800:通知模組 2000:第二裝置/頭戴式顯示器裝置 2005:透鏡 2010:框架 2015:電源供應單元 2020:音訊輸出單元/聲音輸出單元 2030:顯示單元 2040:使用者輸入單元 2050:相機 2055:麥克風 2110:相機 2200:使用者輸入單元 2300:輸出單元 2330:警報單元 2340:觸覺模組 2400:記憶體 2500:通訊單元 2510:行動通訊模組 2520:近場通訊模組 2530:廣播接收模組 2540:網際網路模組 2550:全球定位系統模組 2600:控制單元 2700:感測器單元 2710:接近感測器 2730:運動感測器 2800:介面單元
結合附圖閱讀以下詳細說明，本發明的某些實施例的以上及其他態樣、特徵、及優點將變得更顯而易見，附圖中： 圖1是根據本發明的實施例的用以處理第一裝置與第二裝置之間的畫面的系統的方塊圖。 圖2是根據本發明的實施例的用以處理第一裝置與第二裝置之間的畫面的系統的方塊圖。 圖3是根據本發明的實施例的用以處理第一裝置與第二裝置之間的畫面的系統的方塊圖。 圖4是根據本發明的實施例的用以處理第一裝置與第二裝置之間的畫面的系統的方塊圖。 圖5是根據本發明的實施例說明其中第二裝置處理欲鏈接至第一裝置上的畫面的附加畫面的情形的圖。 圖6是根據本發明的實施例說明其中第二裝置圍繞物件顯示虛擬影像型附加畫面的情形的圖。 圖7是根據本發明的實施例說明其中第二裝置顯示欲鏈接至物件的附加畫面的情形的圖。 圖8是根據本發明的實施例的一種由第二裝置執行的處理與在第一裝置上顯示的畫面鏈接的畫面的方法的流程圖。 圖9是根據本發明的實施例的一種由第二裝置執行的處理與在第一裝置上顯示的畫面鏈接的畫面的方法的流程圖。 圖10是根據本發明的實施例的一種由第一裝置執行的處理在第二裝置上顯示的畫面的方法的流程圖。 圖11是根據本發明的實施例的一種由第二裝置執行的使用未顯示畫面的第一裝置處理畫面的方法的流程圖。 圖12是根據本發明的實施例的一種由第二裝置執行的使用另外包括物件的第一裝置來處理畫面的方法的流程圖。 圖13是根據本發明的實施例的一種由第二裝置執行的顯示欲鏈接至在第一裝置上顯示的畫面的附加畫面的方法的流程圖。 圖14是根據本發明的實施例的一種由第二裝置執行的顯示欲與在包括物件的第一裝置上顯示的畫面鏈接的畫面的方法的流程圖。 圖15是根據本發明的實施例的一種由第二裝置執行的控制附加畫面的方法的流程圖。 圖16是根據本發明的實施例的一種由第一裝置執行的控制結束附加畫面的方法的流程圖。 圖17是根據本發明的實施例的一種由第二裝置執行的控制在第一裝置上顯示附加畫面的方法的流程圖。 圖18A及圖18B是根據本發明的各種實施例說明一種由第二裝置執行的在第一裝置上靠近顯示畫面顯示虛擬影像型附加畫面並控制所述附加畫面的方法的圖。 圖19A及圖19B是根據本發明的各種實施例說明一種由第二裝置執行的在第一裝置上靠近顯示畫面顯示虛擬影像型附加畫面並控制所述附加畫面的方法的圖。 圖20是根據本發明的實施例說明一種由第二裝置執行的在第一裝置上圍繞顯示畫面顯示三維（three-dimensional，3D）影像型附加畫面並控制所述附加畫面的方法的圖。 圖21是根據本發明的實施例的第一裝置的方塊圖。 圖22說明根據本發明的實施例的第二裝置的外觀。 圖23及圖24是根據本發明的各種實施例的第二裝置的方塊圖。
在附圖通篇中，相同參考編號將被理解為指代相同部件、組件、及結構。
40:顯示畫面
50、60、70、80:附加畫面
100:玻璃螢幕
1000:第一裝置
2000:第二裝置

Claims (15)

  1. 一種顯示虛擬畫面的方法，透過玻璃型的頭戴式顯示（HMD）裝置執行，所述方法包括： 經由所述HMD裝置的相機，取得在實際空間中於電子裝置上顯示的畫面的圖像； 基於所述取得的圖像來辨識經由所述相機取得的所述畫面； 經由所述HMD裝置的投影機，基於所述辨識的畫面輸出關於虛擬畫面的光，如此在使用者的視野中，所述虛擬畫面顯示於所述電子裝置顯示的所述畫面附近； 偵測用於選擇包括在所述虛擬畫面中的物件的使用者輸入，所述使用者輸入包括至少一手勢或語音；以及 基於所述偵測的使用者輸入，經由所述HMD裝置的所述投影機輸出相關於所述選取的物件的資訊的光。
  2. 如申請專利範圍第1項所述的方法，更包括： 偵測用於選擇所述虛擬畫面中的內容的輸入； 反應於所述偵測的輸入，根據所述偵測的輸入顯示對應於所述選擇的內容的所述虛擬畫面；以及 反應於所述偵測到用於選擇所述虛擬畫面的輸入，傳送對應於所述電子裝置的所述虛擬畫面的選擇資訊，如此所述裝置根據從所述HMD裝置接收的所述選擇資訊更新對應於所述虛擬畫面的所述顯示畫面，並在所述電子裝置上顯示所述更新的顯示畫面。
  3. 如申請專利範圍第1項所述的方法，其中更包括從電子裝置取得相關於所述畫面的資訊， 其中相關於所述畫面的所述資訊包括以下至少其中之一： 所述電子裝置的形狀資訊； 欲在靠近所述裝置的實際顯示畫面視覺地顯示的所述虛擬畫面的視覺位置； 所述虛擬畫面的大小； 與所述虛擬畫面相關的內容資訊；或是 使用所述相機拍攝的所述電子裝置的狀態資訊。
  4. 如申請專利範圍第3項所述的方法，其中所述電子裝置的狀態資訊包括所述電子裝置的畫面的視覺位置與角度。
  5. 如申請專利範圍第3項所述的方法，其中所述電子裝置的所述狀態資訊是透過使用所述相機定期地更新。
  6. 如申請專利範圍第1項所述的方法，其中所述輸出關於所述虛擬畫面的光包括： 拍攝所述電子裝置的圖像； 基於所述拍攝的所述電子裝置的圖像，判斷所述電子裝置的畫面的視覺位置與方向；以及 基於所述電子裝置的所述畫面的視覺位置以及方向，顯示所述虛擬畫面於鄰近於所述電子裝置的實際顯示畫面的預設視覺位置上。
  7. 如申請專利範圍第1項所述的方法，其中透過使用所述HMD裝置，所述HMD裝置的所述虛擬畫面視覺地顯示在所述電子裝置上的實際顯示畫面附近。
  8. 如申請專利範圍第6項所述的方法，其中所述判斷所述視覺位置以及所述電子裝置的畫面的方向包括： 從所述電子裝置接收所述電子裝置的形狀資訊； 從所述電子裝置的所述形狀資訊提取多個特徵點；以及 比較所述裝置的所述畫面的特徵點與所述裝置的所述形狀資訊的所述特徵點，以判斷所述裝置的實際顯示畫面的所述視覺位置以及方向。
  9. 如申請專利範圍第1項所述的方法，其中更包括根據在至少一電子裝置或所述HMD裝置上執行的使用者輸入，控制電子裝置的所述畫面與所述虛擬畫面彼此鏈接。
  10. 如申請專利範圍第9項所述的方法，其中所述控制所述電子裝置的所述畫面與虛擬畫面彼此鏈接包括根據在所述相應的裝置或HMD裝置上執行的使用者輸入，控制所述電子裝置上的所述畫面與所述虛擬畫面彼此鏈接。
  11. 如申請專利範圍第9項所述的方法，其中所述控制在所述電子裝置上的所述畫面與所述虛擬畫面彼此鏈接包括： 根據從所述電子裝置接收的使用者輸入，辨識指令以關閉所述虛擬畫面；以及 透過傳遞關閉所述虛擬畫面的所述指令至所述HMD裝置，以關閉所述虛擬畫面。
  12. 如申請專利範圍第9項所述的方法，其中所述控制在所述電子裝置上的畫面與所述虛擬畫面彼此鏈接包括： 透過使用相機辨識在所述HMD裝置上的所述虛擬畫面上的使用者輸入；以及 當辨識所述使用者輸入時，傳遞指示關閉所述虛擬畫面的資訊至所述電子裝置以關閉所述虛擬畫面。
  13. 如申請專利範圍第1項所述的方法，其中所述輸出相關於虛擬畫面的光包括： 經由所述HMD裝置的所述投影機，一併顯示所述虛擬畫面以及用以形成連續畫面的所述畫面。
  14. 一種玻璃型的頭戴式顯示器（HMD）設備，用於顯示虛擬畫面，所述HMD設備包括： 相機； 投影機； 螢幕，包括波導，其用以從所述投影機輸出的光傳遞至所述HMD設備的使用者的眼睛；以及 至少一處理器，用以： 控制經由所述相機取得在實際空間中電子裝置上顯示的畫面的圖像， 基於所述取得的圖像來辨識經由所述相機取得的所述畫面； 基於所述辨識的畫面控制經由所述投影機輸出關於虛擬畫面的光，如此在使用者的視野中，所述虛擬畫面顯示於所述電子裝置顯示的所述畫面附近； 偵測用於選擇包括在所述虛擬畫面中的物件的使用者輸入，所述使用者輸入包括至少一手勢或語音；以及 基於所述偵測的使用者輸入，經由所述投影機輸出相關於所述選取的物件的資訊的光。
  15. 如申請專利範圍第14項所述的HMD設備，其中所述顯示所述附加畫面包括： 經由使用相機來拍攝所述電子裝置的形狀； 基於所述電子裝置的所述形狀，從狀態資訊提取相關所述電子裝置的畫面的視覺位置與角度的資訊；以及 基於所述電子裝置的所述畫面的所述視覺位置與角度，判斷欲顯示所述虛擬畫面的視覺區域。
TW109121356A 2014-10-15 2015-10-07 處理第一裝置上的畫面的方法、使用包括物件的第一裝置來處理畫面的方法、與使用裝置來處理畫面的設備 TWI730824B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0139071 2014-10-15
KR1020140139071A KR102358548B1 (ko) 2014-10-15 2014-10-15 디바이스를 이용한 화면 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
TW202038138A true TW202038138A (zh) 2020-10-16
TWI730824B TWI730824B (zh) 2021-06-11

Family

ID=54329375

Family Applications (3)

Application Number Title Priority Date Filing Date
TW104132907A TW201626291A (zh) 2014-10-15 2015-10-07 使用裝置處理螢幕的方法與裝置
TW108139749A TW202001686A (zh) 2014-10-15 2015-10-07 處理第一裝置上的畫面的方法、使用包括物件的第一裝置來處理畫面的方法、與使用裝置來處理畫面的設備
TW109121356A TWI730824B (zh) 2014-10-15 2015-10-07 處理第一裝置上的畫面的方法、使用包括物件的第一裝置來處理畫面的方法、與使用裝置來處理畫面的設備

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW104132907A TW201626291A (zh) 2014-10-15 2015-10-07 使用裝置處理螢幕的方法與裝置
TW108139749A TW202001686A (zh) 2014-10-15 2015-10-07 處理第一裝置上的畫面的方法、使用包括物件的第一裝置來處理畫面的方法、與使用裝置來處理畫面的設備

Country Status (7)

Country Link
US (6) US10331205B2 (zh)
EP (3) EP3617835A1 (zh)
KR (6) KR102358548B1 (zh)
CN (2) CN111665905B (zh)
ES (1) ES2763701T3 (zh)
TW (3) TW201626291A (zh)
WO (1) WO2016060397A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9626804B2 (en) * 2014-05-26 2017-04-18 Kyocera Document Solutions Inc. Article information providing apparatus that provides information of article, article information providing system,and article information provision method
KR102358548B1 (ko) 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
JP6686319B2 (ja) * 2015-08-04 2020-04-22 富士通株式会社 画像投影装置及び画像表示システム
US20170131775A1 (en) * 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
US10509487B2 (en) * 2016-05-11 2019-12-17 Google Llc Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment
CN106200944A (zh) * 2016-06-30 2016-12-07 联想(北京)有限公司 一种对象的控制方法、控制装置和控制系统
US10536691B2 (en) * 2016-10-04 2020-01-14 Facebook, Inc. Controls and interfaces for user interactions in virtual spaces
KR102706279B1 (ko) 2016-10-18 2024-09-19 삼성디스플레이 주식회사 표시 패널, 이를 포함하는 머리 부착형 표시 장치, 및 머리 부착형 표시 장치의 영상 표시 방법
US10262010B2 (en) * 2016-11-02 2019-04-16 International Business Machines Corporation Screen capture data amalgamation
IT201700035014A1 (it) * 2017-03-30 2018-09-30 The Edge Company S R L Metodo e dispositivo per la visione di immagini in realta' aumentata
CN110622123B (zh) * 2017-08-23 2021-06-01 华为技术有限公司 一种显示方法及装置
US10591730B2 (en) * 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
KR102479052B1 (ko) * 2017-08-29 2022-12-20 삼성전자주식회사 복수의 컨트롤러를 이용한 전자 장치의 디스플레이 제어 방법 및 그 장치
KR102431712B1 (ko) * 2017-09-04 2022-08-12 삼성전자 주식회사 전자장치, 그 제어방법 및 그 컴퓨터프로그램제품
KR102389185B1 (ko) 2017-10-17 2022-04-21 삼성전자주식회사 컨텐츠의 적어도 일부를 통해 표시된 입력 인터페이스를 이용하여 기능을 실행하기 위한 전자 장치 및 방법
WO2019095360A1 (zh) * 2017-11-20 2019-05-23 腾讯科技（深圳）有限公司 虚拟场景中菜单处理方法、装置及存储介质
WO2019135634A1 (en) * 2018-01-05 2019-07-11 Samsung Electronics Co., Ltd. Method and apparatus to navigate a virtual content displayed by a virtual reality (vr) device
US10600205B2 (en) * 2018-01-08 2020-03-24 Htc Corporation Anchor recognition in reality system
US10559133B2 (en) * 2018-02-07 2020-02-11 Dell Products L.P. Visual space management across information handling system and augmented reality
CN108595092A (zh) * 2018-04-27 2018-09-28 努比亚技术有限公司 图像处理方法、设备及计算机存储介质
CN108646997A (zh) * 2018-05-14 2018-10-12 刘智勇 一种虚拟及增强现实设备与其他无线设备进行交互的方法
US10783713B2 (en) * 2018-09-05 2020-09-22 International Business Machines Corporation Transmutation of virtual entity sketch using extracted features and relationships of real and virtual objects in mixed reality scene
WO2020111346A1 (en) * 2018-11-30 2020-06-04 Samsung Electronics Co., Ltd. Interaction method, system, and device for information
US11231827B2 (en) * 2019-08-03 2022-01-25 Qualcomm Incorporated Computing device and extended reality integration
US11106288B1 (en) * 2020-03-02 2021-08-31 John Walter Downey Electronic input system
JP7540961B2 (ja) 2020-03-23 2024-08-27 信越化学工業株式会社 有機膜形成用材料、半導体装置製造用基板、有機膜の形成方法、パターン形成方法、及び有機膜形成用化合物
KR20210149543A (ko) * 2020-06-02 2021-12-09 삼성전자주식회사 메모리 장치 및 이를 포함하는 메모리 시스템
TWI779332B (zh) * 2020-08-21 2022-10-01 宏碁股份有限公司 擴增實境系統與其錨定顯示虛擬物件的方法
CN114201028B (zh) * 2020-09-01 2023-08-04 宏碁股份有限公司 扩增实境系统与其锚定显示虚拟对象的方法
JP7352530B2 (ja) 2020-10-05 2023-09-28 信越化学工業株式会社 有機膜形成用材料、半導体装置製造用基板、有機膜の形成方法、パターン形成方法、及び有機膜形成用化合物
TWI765398B (zh) * 2020-11-04 2022-05-21 宏正自動科技股份有限公司 指示圖示共享方法、指示訊號控制方法以及指示訊號處理裝置
CN112306443A (zh) * 2020-11-23 2021-02-02 Oppo广东移动通信有限公司 一种信息展示方法和存储介质
CN112596609A (zh) * 2020-12-25 2021-04-02 维沃移动通信有限公司 显示处理方法、显示处理装置和可穿戴设备
JP7541939B2 (ja) 2021-02-15 2024-08-29 信越化学工業株式会社 有機膜形成用材料、半導体装置製造用基板、有機膜の形成方法、パターン形成方法、及び有機膜形成用化合物
JP2022126548A (ja) * 2021-02-18 2022-08-30 キヤノン株式会社 メガネ型情報機器、その方法及びプログラム

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8224078B2 (en) * 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
US8141159B2 (en) * 2002-12-31 2012-03-20 Portauthority Technologies Inc. Method and system for protecting confidential information
KR100800859B1 (ko) 2004-08-27 2008-02-04 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 키를 입력하는 장치 및 방법
KR100594117B1 (ko) 2004-09-20 2006-06-28 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
KR100812624B1 (ko) 2006-03-02 2008-03-13 강원대학교산학협력단 입체영상 기반 가상현실장치
KR100809479B1 (ko) 2006-07-27 2008-03-03 한국전자통신연구원 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
KR20090040839A (ko) 2007-10-22 2009-04-27 이문기 증강현실 컴퓨터 장치
KR20090105485A (ko) 2008-04-02 2009-10-07 주식회사 업앤온 Ｈｍｄ를 이용한 멀티미디어 제공 시스템 및 그 제공 방법
KR100984937B1 (ko) 2008-10-21 2010-10-18 (주)에이치티엑스 가상현실프로그램의 모니터링 시스템
US9571625B2 (en) * 2009-08-11 2017-02-14 Lg Electronics Inc. Electronic device and control method thereof
KR20110024435A (ko) 2009-09-02 2011-03-09 삼성전자주식회사 제어 디바이스, 피제어 디바이스, 제어 시스템, 그리고 제어권한 제공방법
KR101627214B1 (ko) * 2009-11-12 2016-06-03 엘지전자 주식회사 영상표시장치 및 그 동작방법
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
JP5612916B2 (ja) * 2010-06-18 2014-10-22 キヤノン株式会社 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム
KR101266198B1 (ko) * 2010-10-19 2013-05-21 주식회사 팬택 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
KR101591579B1 (ko) 2011-03-29 2016-02-18 퀄컴 인코포레이티드 증강 현실 시스템들에서 실세계 표면들에의 가상 이미지들의 앵커링
JP5765019B2 (ja) 2011-03-31 2015-08-19 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP5695797B2 (ja) * 2011-04-14 2015-04-08 グァンツォ ハース ファーマ デベロップメント シーオー．，エルティーディー． 新規抗血小板化合物の付加塩
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US9279661B2 (en) * 2011-07-08 2016-03-08 Canon Kabushiki Kaisha Information processing apparatus and information processing method
US9069164B2 (en) * 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
US20130222371A1 (en) * 2011-08-26 2013-08-29 Reincloud Corporation Enhancing a sensory perception in a field of view of a real-time source within a display screen through augmented reality
KR20130024615A (ko) * 2011-08-31 2013-03-08 주식회사 케이티 외부 디바이스와 결합하는 휴대 단말 및 그 제어 방법
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
KR20130045002A (ko) 2011-10-25 2013-05-03 송영일 안경형 모니터
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
KR101474927B1 (ko) 2011-12-22 2014-12-31 주식회사 케이티 외부 디스플레이 기기로의 영상 송출 방법 및 그 단말
KR101310940B1 (ko) 2012-01-30 2013-09-23 삼성전자주식회사 디스플레이 장치 및 이를 이용한 멀티 뷰 제공 방법
EP2621179A1 (en) 2012-01-30 2013-07-31 Samsung Electronics Co., Ltd. Display apparatus and method for providing multi-view thereof
JP2013200793A (ja) 2012-03-26 2013-10-03 Sony Corp 情報処理装置、情報処理方法およびプログラム
EP2648086A3 (en) 2012-04-07 2018-04-11 Samsung Electronics Co., Ltd Object control method performed in device including transparent display, the device, and computer readable recording medium thereof
KR102164453B1 (ko) 2012-04-07 2020-10-13 삼성전자주식회사 투명 디스플레이를 포함하는 디바이스에서 오브젝트 제어 방법 및 그 디바이스와 기록 매체
US20130328925A1 (en) * 2012-06-12 2013-12-12 Stephen G. Latta Object focus in a mixed reality environment
US9389420B2 (en) * 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
KR101546654B1 (ko) 2012-06-26 2015-08-25 한국과학기술원 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치
KR20140052294A (ko) 2012-10-24 2014-05-07 삼성전자주식회사 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법, 기계로 읽을 수 있는 저장 매체 및 헤드-마운티드 디스플레이 장치
KR20140057087A (ko) 2012-11-02 2014-05-12 삼성전자주식회사 디바이스에 표시된 영상과 관련된 영상을 제공하는 시스템 및 방법
KR102001218B1 (ko) 2012-11-02 2019-07-17 삼성전자주식회사 객체와 관련된 정보 제공 방법 및 이를 위한 디바이스
US9058693B2 (en) * 2012-12-21 2015-06-16 Dassault Systemes Americas Corp. Location correction of virtual objects
US10528135B2 (en) 2013-01-14 2020-01-07 Ctrl-Labs Corporation Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
KR20230173231A (ko) * 2013-03-11 2023-12-26 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US20140285520A1 (en) 2013-03-22 2014-09-25 Industry-University Cooperation Foundation Hanyang University Wearable display device using augmented reality
JP5796726B2 (ja) 2013-03-29 2015-10-21 コニカミノルタ株式会社 ジョブ情報表示装置
KR102171444B1 (ko) * 2013-04-22 2020-10-29 엘지전자 주식회사 스마트 워치 및 제어 방법
KR102065407B1 (ko) * 2013-07-11 2020-01-13 엘지전자 주식회사 디지털 디바이스 및 그 제어 방법
KR102135353B1 (ko) * 2013-08-30 2020-07-17 엘지전자 주식회사 시계형 단말기와 이를 포함하는 시스템
US10067651B2 (en) * 2013-11-15 2018-09-04 Thomson Reuters Global Resources Unlimited Company Navigable layering of viewable areas for hierarchical content
KR102294945B1 (ko) * 2014-06-11 2021-08-30 삼성전자주식회사 기능 제어 방법 및 그 전자 장치
KR102358548B1 (ko) * 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
KR102265086B1 (ko) * 2014-11-07 2021-06-15 삼성전자 주식회사 정보를 공유하기 위한 가상 환경
WO2016190458A1 (ko) * 2015-05-22 2016-12-01 삼성전자 주식회사 Hmd 장치를 통하여 가상 이미지를 디스플레이하는 시스템 및 방법
KR102661614B1 (ko) * 2019-02-11 2024-04-29 삼성전자주식회사 화면 제공 방법 및 이를 지원하는 전자 장치

Also Published As

Publication number Publication date
KR20160044272A (ko) 2016-04-25
US20230229004A1 (en) 2023-07-20
KR102637662B1 (ko) 2024-02-19
EP3418858A1 (en) 2018-12-26
US20160109937A1 (en) 2016-04-21
US11353707B2 (en) 2022-06-07
KR102358548B1 (ko) 2022-02-04
KR102585237B1 (ko) 2023-10-05
KR102411100B1 (ko) 2022-06-22
US11914153B2 (en) 2024-02-27
US20190265780A1 (en) 2019-08-29
TWI730824B (zh) 2021-06-11
EP3617835A1 (en) 2020-03-04
CN105528066B (zh) 2020-06-12
WO2016060397A1 (en) 2016-04-21
KR20220088660A (ko) 2022-06-28
CN105528066A (zh) 2016-04-27
US10860087B2 (en) 2020-12-08
US20240302665A1 (en) 2024-09-12
KR20220020308A (ko) 2022-02-18
CN111665905A (zh) 2020-09-15
US20220269089A1 (en) 2022-08-25
US10331205B2 (en) 2019-06-25
KR20240023091A (ko) 2024-02-20
KR20230141724A (ko) 2023-10-10
KR20220145317A (ko) 2022-10-28
TW202001686A (zh) 2020-01-01
ES2763701T3 (es) 2020-05-29
KR102458665B1 (ko) 2022-10-25
TW201626291A (zh) 2016-07-16
US12007570B2 (en) 2024-06-11
US20210048678A1 (en) 2021-02-18
EP3009915A1 (en) 2016-04-20
CN111665905B (zh) 2024-03-08
EP3418858B1 (en) 2019-12-04
EP3009915B1 (en) 2018-12-05

Similar Documents

Publication Publication Date Title
TWI730824B (zh) 處理第一裝置上的畫面的方法、使用包括物件的第一裝置來處理畫面的方法、與使用裝置來處理畫面的設備
US9602954B2 (en) Mobile terminal and method for controlling the same
EP2926215B1 (en) Method and apparatus for facilitating interaction with an object viewable via a display
US10630887B2 (en) Wearable device for changing focal point of camera and method thereof
JP2021527275A (ja) 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置
KR20180002208A (ko) 단말기 및 그 제어 방법
KR20150118036A (ko) 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법
KR101989992B1 (ko) 영상표시장치, 및 그 동작방법