TWI691870B - 虛實影像的互動方法及裝置 - Google Patents

虛實影像的互動方法及裝置 Download PDF

Info

Publication number
TWI691870B
TWI691870B TW107132575A TW107132575A TWI691870B TW I691870 B TWI691870 B TW I691870B TW 107132575 A TW107132575 A TW 107132575A TW 107132575 A TW107132575 A TW 107132575A TW I691870 B TWI691870 B TW I691870B
Authority
TW
Taiwan
Prior art keywords
information
transparent display
user
pointing
target
Prior art date
Application number
TW107132575A
Other languages
English (en)
Other versions
TW202013151A (zh
Inventor
張志嘉
林郁欣
王必先
Original Assignee
財團法人工業技術研究院
創智智權管理顧問股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院, 創智智權管理顧問股份有限公司 filed Critical 財團法人工業技術研究院
Priority to TW107132575A priority Critical patent/TWI691870B/zh
Priority to CN201910019126.6A priority patent/CN110908569B/zh
Priority to US16/252,717 priority patent/US10936079B2/en
Publication of TW202013151A publication Critical patent/TW202013151A/zh
Application granted granted Critical
Publication of TWI691870B publication Critical patent/TWI691870B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一種虛實影像的互動方法及裝置。所述方法包括下列步驟：處理器偵測使用者對於透明顯示器的指向操作，並判斷指向操作是否觸發透明顯示器；若有觸發透明顯示器，判斷指向操作在透明顯示器上的觸發位置是否存在提示資訊；若存在提示資訊，對提示資訊進行互動；以及若不存在提示資訊，對指向操作所指向的位於透明顯示器相對於使用者另一側的目標物進行互動。

Description

虛實影像的互動方法及裝置
本發明是有關於一種資訊顯示方法及裝置，且特別是有關於一種虛實影像的互動方法及裝置。
透明顯示器依其技術原理，可分為穿透式透明顯示器與投影式透明顯示器。其中，穿透式透明顯示器是將顯示面板製作成透明可透視，投影式透明顯示器則運用投影方式，將影像投射到可反光且兼具透明特性的基材上，達到透明顯示之效果。
透明顯示器具有透明、輕薄等特性，可將顯示器上顯示的虛擬影像與現實世界的場景結合，賦予觀看者一種直觀且直覺的互動體驗。觀看者不僅可透過透明顯示器觀看到實物，同時也可在透明顯示器上看到疊合在實物上或顯示在其周圍的資訊，甚至透過觸碰技術與透明顯示器上的顯示資訊互動。
透明顯示器目前已廣泛地導入車用抬頭顯示器、自動販賣機、商品櫥窗、博物館展品導覽、觀光車輛導覽等應用中。然而，在使用者觀看位於透明顯示器相對於使用者另一側的目標物的情況下，若透明顯示器上顯示的虛擬物也出現在使用者的視線上或其周圍，此時透明顯示器針對目標物與虛擬物顯示的物件資訊可能會重疊，此將造成資訊混亂，以致使用者產生混淆。
舉例來說，圖1是習知顯示目標物資訊的示意圖。請參照圖1，當使用者10透過透明顯示器12觀看相對於使用者另一側的目標物14時，透明顯示器12上顯示的虛擬物16也出現在使用者10的視線上，此時透明顯示器12針對目標物14與虛擬物16顯示的物件資訊14a與16a將會重疊，此將造成使用者資訊混亂，無法明確分辨物件資訊14a與16a所指示的物件。
本發明一實施例提供一種虛實影像的互動方法，包括下列步驟：處理器偵測使用者對於透明顯示器的指向操作，並判斷指向操作是否觸發透明顯示器；若有觸發透明顯示器，判斷指向操作在透明顯示器上的觸發位置是否存在提示資訊；若存在提示資訊，對提示資訊進行互動；以及若不存在提示資訊，對指向操作所指向的位於透明顯示器相對於使用者另一側的目標物進行互動。
本發明一實施例提供一種虛實影像的互動裝置，其包括透明顯示器、第一資訊擷取裝置、第二資訊擷取裝置及處理器。其中，第一資訊擷取裝置用以擷取透明顯示器相對於觀看透明顯示器的使用者另一側的外部目標物資訊。第二資訊擷取裝置用以擷取使用者的資訊。處理器耦接透明顯示器、第一資訊擷取裝置及第二資訊擷取裝置，用以載入並執行多個程式指令以：利用所擷取的使用者資訊偵測使用者對於透明顯示器的指向操作，並判斷指向操作是否觸發透明顯示器；若有觸發透明顯示器，判斷指向操作在透明顯示器上的觸發位置是否存在提示資訊；若存在提示資訊，對提示資訊進行互動；以及若不存在提示資訊，對指向操作所指向的位於透明顯示器相對於使用者另一側的目標物進行互動。
為讓本發明能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
本發明一實施例藉由偵測使用者的指向操作並判斷其是否在透明顯示器上產生觸發行為，而當偵測到觸發行為時，即根據觸發位置是否存在提示資訊，來決定後續的互動方式。其中，若觸發位置存在提示資訊，可推定使用者欲與提示資訊進行互動，故針對提示資訊進行互動；反之，若觸發位置不存在提示資訊，則可推定使用者欲與位在透明顯示器相對於使用者另一側的目標物進行互動，故針對目標物進行互動。藉此，不僅可正確地反應使用者的互動操作且可避免使用者對顯示在透明顯示器上的資訊產生混淆。
圖2是依照本發明一實施例所繪示之虛實影像的互動裝置的方塊圖。請參照圖2，本實施例的虛實影像的互動裝置20例如是具備透明顯示功能的電子裝置，其中包括第二資訊擷取裝置21、第一資訊擷取裝置22、透明顯示器23、儲存裝置24及處理器25，其中的第二資訊擷取裝置21是用於擷取使用者資訊，例如指向方向，此指向方向也可以是由影像感測器偵測視線方向、遙控器指向方向、觸控和眼球投影方向等指向行為獲得，不限於由相機捕捉之使用者影像的指向行為。第一資訊擷取裝置22是用於外部物件辨識定位，也可以是用於物件的網路通訊設備定位，例如藍芽發射和接收器等物件的辨識和定位，不限於由相機捕捉之使用者影像的指向行為。
在一實施例中，第二資訊擷取裝置21及第一資訊擷取裝置22分別包括鏡頭及影像感測器，其中鏡頭可由數個凹凸透鏡組合而成，且由步進馬達或音圈馬達等致動器驅動以改變透鏡之間的相對位置，從而改變鏡頭的焦距，使得被攝物體可成像在影像感測器上。影像感測器中配置有電荷耦合元件（Charge coupled device，CCD）、互補性氧化金屬半導體（Complementary metal-oxide semiconductor，CMOS）元件或其他種類的感光元件，而可感測進入鏡頭的光線強度，從而擷取影像訊號以產生並輸出影像。在本實施例中，第二資訊擷取裝置21是用以擷取包括觀看透明顯示器23的使用者的內部影像，第一資訊擷取裝置22則是用以擷取透明顯示器23相對於使用者另一側的外部目標物資訊。在另一實施例中，第二資訊擷取裝置21以及第一資訊擷取裝置22也可包含完成辨識目標物功能之可程式化處理單元、微處理器(micro-processor)、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他類似電路元件，本發明並不限於此。
透明顯示器23是指顯示器可具有一定程度的光線穿透性，使用者觀看時能夠呈現出顯示器相對於使用者另一側的背景，例如是薄膜電晶體液晶顯示器（Thin film transistor liquid crystal display，TFT-LCD）、場色序（Field sequential color）顯示器、主動式有機發光顯示器（Active matrix organic light emitting display，AMOLED）、電濕潤顯示器（Electrowetting display）等穿透式透明顯示器，或者是投影式透明顯示器。透明顯示器23除了具備可透視且可顯示資訊的透明顯示面板外，亦可與可偵測使用者觸碰操作的觸控面板整合，而可提供使用者與顯示資訊進行互動。
儲存裝置24可以是任何型態的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）或類似元件或上述元件的組合。在本實施例中，儲存裝置24用以儲存由第二資訊擷取裝置21及第一資訊擷取裝置22擷取的影像資料，並儲存由處理器25辨識影像中目標物所得的辨識資料，且記錄可供處理器25存取並執行的電腦程式或指令。
處理器25例如是中央處理單元（central processing unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuits，ASIC）、可程式化邏輯裝置（programmable logic device，PLD）或其他類似裝置或這些裝置的組合。處理器25耦接第二資訊擷取裝置21、第一資訊擷取裝置22、透明顯示器23及儲存裝置24，其例如可從儲存裝置24載入程式指令，並據以執行本發明實施例虛實影像的互動方法。在其他實施例中，互動裝置20還可包括用以與外部裝置進行通訊的通訊模組、用以追蹤觀看透明顯示器23之使用者的眼球的眼球追蹤（eye tracing）裝置等元件，本實施例不限制元件種類。以下即舉實施例說明本發明虛實影像的互動方法的詳細步驟。
圖3是依照本發明一實施例所繪示之虛實影像的互動方法的流程圖。請同時參照圖2及圖3，本實施例的方法可適用於圖2的互動裝置20，以下即搭配互動裝置20中的各項元件說明本發明之虛實影像的互動方法的詳細步驟。
首先，由處理器25偵測使用者對於透明顯示器23的指向操作（步驟S302）。在一實施例中，處理器25可利用第二資訊擷取裝置21擷取包括觀看透明顯示器23的使用者的影像，並藉由辨識影像中使用者的眼球位置來判斷使用者的視線是否指向透明顯示器23。在一實施例中，處理器25可利用額外配置的眼球追蹤裝置偵測使用者眼球的角度以判定使用者的視線是否指向透明顯示器23。在一實施例中，處理器25可藉由辨識影像中的使用者手勢或是使用者手持的指向裝置（例如紅外線發射器）的指向方向來判斷使用者對透明顯示器23的指向操作。在一實施例中，處理器25也可在第二資訊擷取裝置21擷取到使用者影像時，即判斷使用者對透明顯示器23的指向操作。本實施例不限定指向操作的偵測方式。在一實施例中，上述的指向操作可由影像感測器偵測視線方向、遙控器指向方向、觸控和眼球投影方向等指向行為獲得，不限於由相機捕捉之使用者影像的指向行為。
接著，處理器25可判斷所偵測到的指向操作是否觸發透明顯示器23（步驟S304）。在一實施例中，處理器25可藉由配置在觸發透明顯示器23的觸控面板偵測使用者對於透明顯示器23的觸碰（例如手指、觸控筆或其他物件的觸碰），以判斷使用者的指向操作是否觸發透明顯示器23。在一實施例中，處理器25可藉由判斷使用者視線停留在透明顯示器23上的時間或是手持指向裝置指向透明顯示器23的時間是否超過預設時間，來判斷使用者的指向操作是否觸發透明顯示器23，並以視線停留在透明顯示器23上的位置或手持指向裝置指向透明顯示器23的位置作為觸發位置。本實施例不限定判定觸發透明顯示器23的方式。
若指向操作未觸發透明顯示器23，則流程會回到步驟S302，由處理器25繼續偵測指向操作。反之，若指向操作有觸發透明顯示器23，則處理器25會判斷指向操作在透明顯示器23上的觸發位置是否存在提示資訊（步驟S306）。
若觸發位置存在提示資訊，可確認使用者欲與提示資訊進行互動，此時處理器25可就提示資訊與使用者進行互動（步驟S308）。在一實施例中，所述的提示資訊例如是圖式（icon）或文字，處理器25在判定使用者的指向操作觸發該圖式或文字時，例如會啟動該圖式的對應功能，或顯示該圖式或文字的下一階資訊或其他資訊，以與使用者進行互動。本實施例不限定與提示資訊的互動方式。
另一方面，若觸發位置不存在提示資訊，可確認使用者欲與透明顯示器23相對於使用者另一側的目標物進行互動，此時處理器25可對指向操作所指向的位於透明顯示器23相對於使用者另一側的目標物進行互動（步驟S310）。在一實施例中，處理器25會判斷指向操作所指向的方向是否有目標物存在，並在確認有目標物存在時，對該目標物進行辨識以在透明顯示器23上的觸發位置或其周圍顯示目標物的物件資訊。
在上述實施例中，依據使用者的指向操作是否觸發透明顯示器上顯示的提示資訊，可確認使用者欲進行互動的對象，從而僅針對該對象進行互動，藉此可避免使用者對透明顯示器23上顯示的資訊產生混淆。
在一實施例中，互動裝置20在判斷使用者欲與透明顯示器23相對於使用者另一側的目標物進行互動時，例如可將指向操作在透明顯示器23上的觸發位置與人臉/眼球的位置結合，來確認使用者所欲進行互動的對象。
舉例來說，圖4是依照本發明一實施例所繪示之虛實影像的互動方法的流程圖。請同時參照圖2及圖4，本實施例的方法可適用於圖2的互動裝置20，其步驟如下：
首先，由處理器25偵測使用者對於透明顯示器23的指向操作（步驟S402）。接著，處理器25可判斷所偵測到的指向操作是否觸發透明顯示器23（步驟S404）。若指向操作未觸發透明顯示器23，流程會回到步驟S402，由處理器25繼續偵測指向操作。反之，若指向操作有觸發透明顯示器23，處理器25可判斷指向操作在透明顯示器23上的觸發位置是否存在提示資訊（步驟S406）。若觸發位置存在提示資訊，可確認使用者欲與提示資訊進行互動，此時處理器25可就提示資訊與使用者進行互動（步驟S408）。上述步驟S402~S408與前述實施例的步驟S302~S308相同或相似，故其詳細內容在此不再贅述。
在本實施例中，若觸發位置不存在提示資訊，處理器25    可偵測使用者的人臉或眼球的座標，並定義由此座標指向觸發位置的指向向量（步驟S410），以判斷透明顯示器23相對於使用者另一側由此指向向量指向的外部位置是否有目標物（步驟S412）。也就是說，本實施例是以使用者人臉或眼球至指向操作的觸發位置的連線來模擬使用者的視線，而將此連線（即指向向量）延伸至透明顯示器23相對於使用者另一側，即可找出使用者所注視的目標物。
若指向向量指向的外部位置有目標物，即可確認此目標物是使用者想要互動的對象，此時處理器25會辨識此目標物以在透明顯示器23上顯示此目標物的物件資訊（步驟S414）。反之，若指向向量指向的外部位置沒有目標物，則流程會回到步驟S402，由處理器25繼續偵測指向操作。
在一實施例中，互動裝置20在對提示資訊進行互動時，例如會持續追蹤使用者的指向操作是否重複觸發透明顯示器23，以判斷使用者是否欲繼續或結束互動。
舉例來說，圖5是依照本發明一實施例所繪示之虛實影像的互動方法的流程圖。請同時參照圖2及圖5，本實施例的方法接續在圖3的步驟S308之後，其步驟如下：
處理器25在對顯示在觸發位置上的提示資訊進行互動（步驟S502）的同時，可持續偵測使用者的指向操作是否重複觸發透明顯示器23（步驟S504）。其中，偵測指向操作是否觸發透明顯示器23的方式可與前述實施例中的步驟S304相同或相似，故其細節在此不再贅述。
若未偵測到重複觸發，處理器25可在經過預設時間後終止互動（步驟S506）。在一實施例中，處理器25例如會考量互動的形式（圖片、影片、文字）、互動資訊的文字大小、移動速度等因素，計算出適於人眼閱讀全文或其內容所需的舒適時間，時間長度例如介於0.2至0.5秒/字，從而在經過此舒適時間後，終止顯示互動資訊，而回到原先所顯示的提示資訊或是不再顯示提示資訊。
若偵測到重複觸發，處理器25可繼續判斷此重複觸發的指向操作在透明顯示器23上的觸發位置是否在互動的提示區域內（步驟S508）。若此觸發位置是在互動的提示區域內，代表使用者欲繼續進行互動，故處理器25會更新互動（步驟S510）。即，處理器25會顯示出互動的下一筆資訊或顯示出互動效果，本實施例不限定互動方式。
反之，若此觸發位置不在互動的提示區域內，代表使用者不想再進行互動，此時處理器25可終止互動（步驟S512）。在一實施例中，處理器25例如會直接終止顯示互動資訊，而回到原先所顯示的提示資訊或是不再顯示任何資訊。
在一實施例中，互動裝置20在對出現在透明顯示器23相對於使用者另一側的目標物預先進行辨識，藉此可在使用者指向該目標物時，即時顯示出目標物資訊，可避免即時辨識所產生的停頓感。
舉例來說，圖6是依照本發明一實施例所繪示之虛實影像的互動方法的流程圖。請同時參照圖2及圖6，本實施例的方法可適用於圖2的互動裝置20，其步驟如下：
首先，處理器25可偵測使用者的視線方向或由使用者操作的指向裝置的指向方向，以定義指向向量（步驟S602）。如前述實施例所述，處理器25例如是藉由辨識第二資訊擷取裝置21所擷取影像中使用者的眼球位置來判斷使用者的視線方向、藉由眼球追蹤裝置偵測使用者眼球的角度以判定使用者的視線方向，或是藉由辨識影像中使用者所操作的指向裝置來判斷其指向方向，而據以定義出指向向量。本實施例不限定指向向量的定義方式。
接著，處理器25可判斷透明顯示器23相對於使用者另一側由此指向向量指向的外部位置是否有目標物（步驟S604）。其中，若指向向量指向的外部位置沒有目標物，流程回到步驟S602，繼續偵測並定義指向向量。若指向向量指向的外部位置有目標物，處理器25可預辨識由第一資訊擷取裝置22擷取的位於透明顯示器23相對於使用者另一側的外部目標物資訊中的目標物，以產生目標物的物件資訊並儲存於儲存裝置24中的資料庫（步驟S606）。
然後，處理器25可繼續判斷使用者的指向操作是否觸發透明顯示器23（步驟S608）。若指向操作未觸發透明顯示器23，流程會回到步驟S602，由處理器25繼續偵測並定義指向向量。反之，若指向操作有觸發透明顯示器23，處理器25可判斷指向操作在透明顯示器23上的觸發位置是否存在提示資訊（步驟S610）。若觸發位置存在提示資訊，可確認使用者欲與提示資訊進行互動，此時處理器25可就提示資訊與使用者進行互動（步驟S612）。上述步驟S608~S612與前述實施例的步驟S304~S308相同或相似，故其詳細內容在此不再贅述。
在本實施例中，若觸發位置不存在提示資訊，可確認使用者欲與透明顯示器23相對於使用者另一側的目標物進行互動，此時針對指向操作所指向的位於透明顯示器23相對於使用者另一側的目標物，處理器25可讀取資料庫中所儲存的該目標物的物件資訊，並將此物件資訊顯示於透明顯示器23上的提示區域（步驟S614）。在一實施例中，假設位於透明顯示器23相對於使用者另一側的目標物為靜態物體，此時處理器25可將先前判斷的由指向向量指向的目標物作為指向操作所指向的目標物，從而直接從資料庫中取得儲存的物件資訊以進行顯示。在一實施例中，假設位於透明顯示器23相對於使用者另一側的目標物為動態物體，此時處理器25可再次判斷指向向量所指向的外部位置是否有目標物，並在判斷有目標物時，藉由特徵辨識來判斷此目標物是否與先前判斷的目標物相同，並根據判斷結果從資料庫中讀取並顯示先前儲存的物件資訊。
在一實施例中，互動裝置20在對提示資訊進行互動時，例如會追蹤使用者對於互動的後續行為，以判斷是否終止互動或改變互動方式。
舉例來說，圖7是依照本發明一實施例所繪示之虛實影像的互動方法的流程圖。請同時參照圖2及圖7，本實施例的方法接續在圖6的步驟S612之後，其步驟如下：
處理器25在對顯示在觸發位置上的提示資訊進行互動（步驟S702）的同時，可追蹤使用者的指向向量，並判斷此指向向量是否跟隨進行互動所產生的互動資訊的文字閱讀方向移動（步驟S704）。其中，本實施例假設處理器25對提示資訊進行互動的方式為顯示互動資訊，此互動資訊可包含一串文字，而依某文字閱讀方向（例如水平向右或垂直向下的方向）顯示於觸發位置或其周圍。據此，若判斷使用者的指向向量（視線方向或指向裝置的指向方向）是跟隨此文字閱讀方向移動，可推定使用者正在閱讀互動資訊，此時處理器25可繼續判斷指向操作是否觸發透明顯示器23，以決定是否更新互動資訊（步驟S706）。
另一方面，若指向向量未跟隨互動資訊的文字閱讀方向移動，處理器25可繼續判斷指向操作是否跟隨目標物的移動方向移動（步驟S708）。其中，若指向向量未跟隨目標物的移動方向移動，可推定使用者並未專注於互動資訊及/或目標物，在經過預設時間後，處理器25即會終止互動（步驟S710）。
而若指向向量有跟隨目標物的移動方向移動，可推定使用者係專注於目標物，此時處理器25可讀取資料庫中所儲存的目標物的物件資訊，並顯示此物件資訊於提示區域（步驟S712）。步驟S712與圖6中的步驟S614相同或相似，故其詳細內容在此不再贅述。
藉由上述方法，互動裝置20即可藉由追蹤使用者專注的對象，而對應地執行互動操作（更新互動資訊、終止互動或顯示目標物資訊）。
在一實施例中，互動裝置20可支援多個使用者的互動操作。即，互動裝置在與當前使用者進行互動的同時，也可偵測其他使用者的互動行為，從而決定是否更改其針對當前使用者的互動方式。
舉例來說，圖8是依照本發明一實施例所繪示之虛實影像的互動方法的流程圖。請同時參照圖2及圖8，本實施例的方法可適用於圖2的互動裝置20，其步驟如下：
首先，處理器25偵測另一使用者對於透明顯示器23的指向操作（步驟S802），並判斷所偵測到的另一使用者的指向操作是否觸發透明顯示器23（步驟S804）。其中，若另一使用者的指向操作未觸發透明顯示器23，則流程回到步驟S802，繼續偵測或追蹤另一使用者的指向操作。
若另一使用者的指向操作有觸發透明顯示器23，處理器25可根據另一使用者的指向操作在透明顯示器23上的觸發位置，判斷此觸發位置是否存在對應於當前使用者的指向操作的提示資訊（步驟S806）。其中，若觸發位置未存在上述提示資訊，處理器25可對此另一使用者的指向操作所指向的位於透明顯示器23相對於使用者另一側的目標物進行互動（步驟S808），例如可對該目標物進行辨識，以在透明顯示器23上顯示該目標物的物件資訊。
然而，若觸發位置存在上述提示資訊，需要進一步追蹤當前使用者的互動行為，來決定如何進行後續互動。詳言之，處理器25會追蹤當前使用者的指向向量，並根據該指向向量是否跟隨提示資訊的文字閱讀方向移動及/或是否跟隨目標物的移動方向移動，決定是否顯示指向向量所指向的目標物的物件資訊（步驟S810）。在一實施例中，處理器25在判斷當前使用者的指向向量是跟隨提示資訊的文字閱讀方向移動時，即確立當前使用者仍與提示資訊有互動行為，因此不再追蹤另一使用者的指向操作的觸發行為，而僅針對當前使用者進行互動。在一實施例中，處理器25在判斷當前使用者的指向向量是跟隨目標物的移動方向移動時，則確立當前使用者與目標物有互動行為，因此在透明顯示器23上顯示指向向量所指向的目標物的物件資訊。在一實施例中，處理器25在判斷當前使用者的指向向量並未跟隨提示資訊的文字閱讀方向或目標物的移動方向移動時，則可確立當前使用者對於提示資訊或目標物沒有互動行為，此時可終止顯示提示資訊，避免該提示資訊阻礙另一使用者觀看目標物的視線。
在一實施例中，互動裝置20可藉由在透明顯示器23上位於使用者注視目標物視線上的位置顯示目標物提示點，以供使用者藉由觸碰此目標物提示點來確立互動行為。
舉例來說，圖9是依照本發明一實施例所繪示之虛實影像的互動方法的示意圖。請參照圖9，本實施例是在使用者90透過透明顯示器92觀看其相對於使用者另一側的目標物94時，根據使用者90觀看目標物94的視線方向，在透明顯示器92上位於此視線上的位置顯示目標物提示點96，以供使用者藉由觸碰此目標物提示點96，使透明顯示器92顯示出目標物94的物件資訊94a。
圖10是依照本發明一實施例所繪示之虛實影像的互動方法的流程圖。請同時參照圖2及圖10，本實施例的方法可適用於圖2的互動裝置20，其步驟如下：
首先，處理器25可偵測使用者的視線方向或由使用者操作指向裝置的指向方向，以定義指向向量（步驟S1002）。接著，處理器25可判斷透明顯示器23相對於使用者另一側由此指向向量指向的外部位置是否有目標物（步驟S1004）。其中，若指向向量指向的外部位置沒有目標物，流程回到步驟S1002，繼續偵測並定義指向向量。若指向向量指向的外部位置有目標物，處理器25可預辨識由第一資訊擷取裝置22擷取的位於透明顯示器23相對於使用者另一側的外部目標物資訊中的目標物，以產生目標物的物件資訊並儲存於儲存裝置24中的資料庫（步驟S1006）。上述步驟S1002~S1006可與前述實施例的步驟S602~S606相同或相似，故其詳細內容在此不再贅述。
在本實施例中，處理器25在定義指向向量之後，還會在此指向向量於透明顯示器23上的指向位置顯示目標物提示點（步驟S1008）。此目標物提示點例如是一個易於使用者辨識及操作的特定圖形或圖示，其可顯示在透明顯示器23上既有顯示資訊的周圍，而便於使用者進行與既有顯示資訊區隔的互動操作。
然後，處理器25可判斷使用者的指向操作是否觸發此目標物提示點（步驟S1010）。其中，若判斷使用者的指向操作未觸發此目標物提示點，流程回到步驟S1002，繼續偵測並定義指向向量。
若判斷使用者的指向操作有觸發此目標物提示點，即可確立使用者欲與目標物進行互動，此時處理器25可讀取資料庫中所儲存該目標物的物件資訊，並將此物件資訊顯示於透明顯示器23上的提示區域（步驟S1012）。
在一實施例中，若在上述步驟S1010中判斷使用者的指向操作未觸發目標物提示點，則在執行步驟S1012之前，處理器25可再額外判斷指向操作在透明顯示器23上的觸發位置是否存在提示資訊。若有存在提示資訊，處理器25可就提示資訊與使用者進行互動。反之，若不存在提示資訊，處理器25會讀取資料庫中所儲存該目標物的物件資訊，並將此物件資訊顯示於透明顯示器23上的提示區域。
在一實施例中，互動裝置20是在確立使用者欲與目標物進行互動（即指向操作觸發目標物提示點）時，才對該目標物進行辨識並產生及顯示物件資訊，藉此節省即時辨識目標物所耗費的資源。
圖11是依照本發明一實施例所繪示之虛實影像的互動方法的流程圖。請同時參照圖2及圖11，本實施例的方法可適用於圖2的互動裝置20，其步驟如下：
首先，處理器25可偵測使用者的視線方向或由使用者操作指向裝置的指向方向，以定義指向向量（步驟S1102）。接著，處理器25可判斷透明顯示器23相對於使用者另一側由此指向向量指向的外部位置是否有目標物（步驟S1104）。其中，若指向向量指向的外部位置沒有目標物，則流程回到步驟S1102，繼續偵測並定義指向向量。
若指向向量指向的外部位置有目標物，處理器25可在指向向量於透明顯示器23上的指向位置顯示目標物提示點（步驟S1106），並判斷使用者的指向操作是否觸發此目標物提示點（步驟S1108）。其中，若判斷使用者的指向操作未觸發此目標物提示點，則流程回到步驟S1102，繼續偵測並定義指向向量。
若判斷使用者的指向操作有觸發此目標物提示點，即可確立使用者欲與目標物進行互動，此時處理器25可辨識由物件辨識定位裝置22擷取的位於透明顯示器23相對於使用者另一側的外部目標物資訊中的目標物，以產生目標物的物件資訊並顯示於透明顯示器23上的提示區域（步驟S1110）。
類似於圖10的實施例，在一實施例中，若在上述步驟S1108中判斷使用者的指向操作未觸發目標物提示點，則在執行步驟S1110之前，處理器25可再額外判斷指向操作在透明顯示器23上的觸發位置是否存在提示資訊。若有存在提示資訊，處理器25可就提示資訊與使用者進行互動。反之，若不存在提示資訊，處理器25會對目標物進行辨識以產生目標物的物件資訊，並將此物件資訊顯示於透明顯示器23上的提示區域。
本發明一實施例的虛實影像的互動方法及裝置，可針對靜態目標物、動態目標物、多人操作的情境，依據使用者視線、指向裝置操作、手勢等指向操作進行偵測，並追蹤其對於透明顯示器的觸發行為，據以推定使用者互動行為的對象，而進行對應的互動方式。藉此，不僅可正確地反應使用者的互動操作，且可避免使用者對透明顯示器上的顯示資訊產生混淆。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍及其均等範圍所界定者為準。
10、90：使用者 12、92：透明顯示器 14、94：目標物 14a、16a、94a：物件資訊 16：虛擬物 20：虛實影像的互動裝置 21：第二資訊擷取裝置 22：第一資訊擷取裝置 23：透明顯示器 24：儲存裝置 25：處理器 96：目標物提示點 S302~S310、S402~S414、S502~S512、S602~S614、S702~S712、S802~S810、S1002~S1012、S1102~S1110：步驟
圖1是習知顯示目標物資訊的示意圖。 圖2是依照本發明一實施例所繪示之虛實影像的互動裝置的方塊圖。 圖3是依照本發明一實施例所繪示之虛實影像的互動方法的流程圖。 圖4是依照本發明一實施例所繪示之虛實影像的互動方法的流程圖。 圖5是依照本發明一實施例所繪示之虛實影像的互動方法的流程圖。 圖6是依照本發明一實施例所繪示之虛實影像的互動方法的流程圖。 圖7是依照本發明一實施例所繪示之虛實影像的互動方法的流程圖。 圖8是依照本發明一實施例所繪示之虛實影像的互動方法的流程圖。 圖9是依照本發明一實施例所繪示之虛實影像的互動方法的示意圖。 圖10是依照本發明一實施例所繪示之虛實影像的互動方法的流程圖。 圖11是依照本發明一實施例所繪示之虛實影像的互動方法的流程圖。
S302~S310：步驟

Claims (20)

  1. 一種虛實影像的互動方法，包括下列步驟：處理器偵測使用者對於透明顯示器的指向操作，並判斷所述指向操作是否觸發所述透明顯示器；若有觸發所述透明顯示器，判斷所述指向操作在所述透明顯示器上的觸發位置是否存在提示資訊，以確認所述使用者是否欲與所述提示資訊或位於所述透明顯示器相對於所述使用者另一側的目標物進行互動；若存在所述提示資訊，對所述提示資訊進行互動；以及若不存在所述提示資訊，對所述指向操作所指向的位於所述透明顯示器相對於所述使用者另一側的所述目標物進行互動。
  2. 如申請專利範圍第1項所述的方法，其中對所述指向操作所指向的位於所述透明顯示器相對於所述使用者另一側的所述目標物進行互動的步驟包括：偵測所述使用者的人臉或眼球的座標，並定義由所述座標指向所述觸發位置的指向向量；判斷所述透明顯示器相對於所述使用者另一側由所述指向向量指向的外部位置是否有所述目標物；以及若有所述目標物，辨識所述目標物以顯示所述目標物的物件資訊。
  3. 如申請專利範圍第1項所述的方法，其中在對所述提示資訊進行互動的步驟之後，更包括： 偵測所述指向操作是否重複觸發所述透明顯示器；若未偵測到重複觸發，在經過預設時間後終止所述互動；若偵測到重複觸發，判斷所述指向操作在所述透明顯示器上的所述觸發位置是否在所述互動的提示區域內；若在所述提示區域內，更新所述互動；以及若不在所述提示區域內，終止所述互動。
  4. 如申請專利範圍第1項所述的方法，其中在偵測使用者對於所述透明顯示器的所述指向操作的步驟之前，更包括：預辨識由第一資訊擷取裝置擷取的位於所述透明顯示器相對於所述使用者另一側的外部目標物資訊中的所述目標物，以產生所述目標物的物件資訊並儲存於資料庫。
  5. 如申請專利範圍第1項所述的方法，其中偵測使用者對於所述透明顯示器的所述指向操作的步驟包括：偵測所述使用者的視線方向或由所述使用者操作的指向裝置的指向方向，以定義指向向量；判斷所述透明顯示器相對於所述使用者另一側由所述指向向量指向的外部位置是否有所述目標物；以及若有所述目標物，預辨識由第一資訊擷取裝置擷取的位於所述透明顯示器相對於所述使用者另一側的外部目標物資訊中的所述目標物，以產生所述目標物的物件資訊並儲存於資料庫。
  6. 如申請專利範圍第5項所述的方法，其中對所述指向操作所指向的位於所述透明顯示器相對於所述使用者另一側的目標物進行互動的步驟包括：讀取所述資料庫中所儲存的所述目標物的物件資訊，並顯示所述物件資訊於提示區域。
  7. 如申請專利範圍第5項所述的方法，其中在對所述提示資訊進行互動的步驟之後，更包括：追蹤所述指向向量，並判斷所述指向向量是否跟隨進行所述互動所產生的互動資訊的文字閱讀方向移動；若所述指向向量跟隨所述互動資訊的文字閱讀方向移動，判斷所述指向操作是否觸發所述透明顯示器，以決定是否更新所述互動資訊；若所述指向向量未跟隨所述互動資訊的文字閱讀方向移動，判斷所述指向操作是否跟隨所述目標物的移動方向移動；若所述指向向量跟隨所述目標物的移動方向移動，讀取所述資料庫中所儲存的所述目標物的物件資訊，並顯示所述物件資訊於提示區域；以及若所述指向向量未跟隨所述目標物的移動方向移動，在經過預設時間後終止所述互動。
  8. 如申請專利範圍第5項所述的方法，更包括：偵測另一使用者對於所述透明顯示器的指向操作，並判斷所述指向操作是否觸發所述透明顯示器； 若有觸發所述透明顯示器，判斷所述指向操作在所述透明顯示器上的所述觸發位置是否存在對應於所述使用者的所述指向操作的所述提示資訊；若不存在所述提示資訊，對所述指向操作所指向的位於所述透明顯示器相對於所述使用者另一側的目標物進行互動；以及若存在所述提示資訊，追蹤所述使用者的所述指向向量，並根據所述指向向量是否跟隨所述提示資訊的文字閱讀方向移動及是否跟隨所述目標物的移動方向移動，決定是否顯示所述指向向量所指向的目標物的物件資訊。
  9. 如申請專利範圍第5項所述的方法，其中在預辨識由所述物件辨識定位裝置擷取的位於所述透明顯示器相對於所述使用者另一側的外部目標物資訊中的所述目標物，以產生所述目標物的物件資訊並儲存於資料庫的步驟之後，更包括：在所述指向向量於所述透明顯示器上的指向位置顯示目標物提示點；判斷所述指向操作是否觸發所述目標物提示點；以及若所述指向操作觸發所述目標物提示點，讀取所述資料庫中所儲存的所述目標物的物件資訊，並顯示所述物件資訊於提示區域。
  10. 如申請專利範圍第9項所述的方法，其中若所述指向操作觸發所述目標物提示點，所述方法更包括： 判斷所述指向操作在所述透明顯示器上的所述觸發位置是否存在所述提示資訊；若存在所述提示資訊，對所述提示資訊進行互動；以及若不存在所述提示資訊，讀取所述資料庫中所儲存的所述目標物的物件資訊，並顯示所述物件資訊於提示區域。
  11. 如申請專利範圍第1項所述的方法，更包括：偵測所述使用者的視線方向或由所述使用者操作的指向裝置的指向方向，以定義指向向量；判斷所述透明顯示器相對於所述使用者另一側由所述指向向量指向的外部位置是否有所述目標物；若有所述目標物，在所述指向向量於所述透明顯示器上的指向位置顯示目標物提示點；判斷所述指向操作是否觸發所述目標物提示點；以及若所述指向操作觸發所述目標物提示點，辨識由第一資訊擷取裝置擷取的位於所述透明顯示器相對於所述使用者另一側的外部目標物資訊中的所述目標物，以產生所述目標物的物件資訊並顯示於提示區域。
  12. 如申請專利範圍第11項所述的方法，其中若所述指向操作觸發所述目標物提示點，所述方法更包括：判斷所述指向操作在所述透明顯示器上的所述觸發位置是否存在所述提示資訊；若存在所述提示資訊，對所述提示資訊進行互動；以及 若不存在所述提示資訊，辨識由所述第一資訊擷取裝置擷取的位於所述透明顯示器相對於所述使用者另一側的外部目標物資訊中的所述目標物，以產生所述目標物的物件資訊並顯示於提示區域。
  13. 一種虛實影像的互動裝置，包括：透明顯示器；第一資訊擷取裝置，擷取所述透明顯示器相對於觀看所述透明顯示器的使用者另一側的外部目標物資訊；第二資訊擷取裝置，擷取所述使用者的資訊；以及處理器，耦接所述透明顯示器、所述第一資訊擷取裝置及所述第二資訊擷取裝置，載入並執行多個程式指令以：利用所述使用者的資訊偵測使用者對於所述透明顯示器的指向操作，並判斷所述指向操作是否觸發所述透明顯示器；若有觸發所述透明顯示器，判斷所述指向操作在所述透明顯示器上的觸發位置是否存在提示資訊，以確認所述使用者是否欲與所述提示資訊或位於所述透明顯示器相對於所述使用者另一側的目標物進行互動；若存在所述提示資訊，對所述提示資訊與所述使用者進行互動；以及若不存在所述提示資訊，對所述指向操作所指向的位於所述透明顯示器相對於所述使用者另一側的所述目標物進行互動。
  14. 如申請專利範圍第13項所述的互動裝置，其中所述處理器包括：偵測所述使用者的人臉或眼球的座標，並定義由所述座標指向所述觸發位置的指向向量；判斷所述透明顯示器相對於所述使用者另一側由所述指向向量指向的外部位置是否有所述目標物；以及若有所述目標物，辨識所述目標物以顯示所述目標物的物件資訊。
  15. 如申請專利範圍第13項所述的互動裝置，其中所述處理器更包括：偵測所述指向操作是否重複觸發所述透明顯示器；若未偵測到重複觸發，在經過預設時間後終止所述互動；若偵測到重複觸發，判斷所述指向操作在所述透明顯示器上的所述觸發位置是否在所述互動的提示區域內；若在所述提示區域內，更新所述互動；以及若不在所述提示區域內，終止所述互動。
  16. 如申請專利範圍第13項所述的互動裝置，其中所述處理器包括：偵測所述使用者的視線方向或由所述使用者操作的指向裝置的指向方向，以定義指向向量；判斷所述透明顯示器相對於所述使用者另一側由所述指向向量指向的外部位置是否有所述目標物；以及 若有所述目標物，預辨識由所述第一資訊擷取裝置擷取的位於所述透明顯示器相對於所述使用者另一側的外部目標物資訊中的所述目標物，以產生所述目標物的物件資訊並儲存於資料庫，其中在顯示對於所述指向操作所指向的位於所述透明顯示器相對於所述使用者另一側的目標物的互動資訊時，所述處理器包括讀取所述資料庫中所儲存的所述目標物的物件資訊，並顯示所述物件資訊於提示區域。
  17. 如申請專利範圍第16項所述的互動裝置，其中在對所述提示資訊進行所述互動之後，所述處理器更包括：追蹤所述指向向量，並判斷所述指向向量是否跟隨進行所述互動所產生的互動資訊的文字閱讀方向移動；若所述指向向量跟隨所述互動資訊的文字閱讀方向移動，判斷所述指向操作是否觸發所述透明顯示器，以決定是否更新所述互動資訊；若所述指向向量未跟隨所述互動資訊的文字閱讀方向移動，判斷所述指向操作是否跟隨所述目標物的移動方向移動；若所述指向向量跟隨所述目標物的移動方向移動，讀取所述資料庫中所儲存的所述目標物的物件資訊，並顯示所述物件資訊於提示區域；以及若所述指向向量未跟隨所述目標物的移動方向移動，在經過預設時間後終止所述互動。
  18. 如申請專利範圍第16項所述的互動裝置，其中所述處理器更包括：偵測另一使用者對於所述透明顯示器的指向操作，並判斷所述指向操作是否觸發所述透明顯示器；若有觸發所述透明顯示器，判斷所述指向操作在所述透明顯示器上的所述觸發位置是否存在對應於所述使用者的所述指向操作的所述提示資訊；若不存在所述提示資訊，對所述指向操作所指向的位於所述透明顯示器相對於所述使用者另一側的目標物進行互動；以及若存在所述提示資訊，追蹤所述使用者的所述指向向量，並根據所述指向向量是否跟隨所述提示資訊的文字閱讀方向移動及是否跟隨所述目標物的移動方向移動，決定是否顯示所述指向向量所指向的目標物的物件資訊。
  19. 如申請專利範圍第16項所述的互動裝置，其中所述處理器更包括：在所述指向向量於所述透明顯示器上的指向位置顯示目標物提示點；判斷所述指向操作是否觸發所述目標物提示點；以及若所述指向操作觸發所述目標物提示點，辨識由所述第一資訊擷取裝置擷取的位於所述透明顯示器相對於所述使用者另一側的外部目標物資訊中的所述目標物，以產生所述目標物的物件資訊並顯示於提示區域。
  20. 如申請專利範圍第19項所述的互動裝置，其中若所述指向操作觸發所述目標物提示點，所述方法更包括：判斷所述指向操作在所述透明顯示器上的所述觸發位置是否存在所述提示資訊；若存在所述提示資訊，對所述提示資訊進行互動；以及若不存在所述提示資訊，辨識由所述第一資訊擷取裝置擷取的位於所述透明顯示器相對於所述使用者另一側的外部目標物資訊中的所述目標物，以產生所述目標物的物件資訊並顯示於提示區域。
TW107132575A 2018-09-17 2018-09-17 虛實影像的互動方法及裝置 TWI691870B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107132575A TWI691870B (zh) 2018-09-17 2018-09-17 虛實影像的互動方法及裝置
CN201910019126.6A CN110908569B (zh) 2018-09-17 2019-01-09 虚实影像的互动方法及装置
US16/252,717 US10936079B2 (en) 2018-09-17 2019-01-21 Method and apparatus for interaction with virtual and real images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107132575A TWI691870B (zh) 2018-09-17 2018-09-17 虛實影像的互動方法及裝置

Publications (2)

Publication Number Publication Date
TW202013151A TW202013151A (zh) 2020-04-01
TWI691870B true TWI691870B (zh) 2020-04-21

Family

ID=69773998

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107132575A TWI691870B (zh) 2018-09-17 2018-09-17 虛實影像的互動方法及裝置

Country Status (3)

Country Link
US (1) US10936079B2 (zh)
CN (1) CN110908569B (zh)
TW (1) TWI691870B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114860148A (zh) * 2022-04-19 2022-08-05 北京字跳网络技术有限公司 一种交互方法、装置、计算机设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11036442B2 (en) * 2019-05-10 2021-06-15 University Of Florida Research Foundation, Incorporated Transparent interactive printing interface
US11579752B1 (en) * 2021-07-20 2023-02-14 Sony Interactive Entertainment Inc. Augmented reality placement for user feedback
TWI823740B (zh) * 2022-01-05 2023-11-21 財團法人工業技術研究院 主動式互動導覽系統以及主動式互動導覽方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM488933U (en) * 2014-05-21 2014-11-01 Univ Far East Interactive multimedia display device
TW201708881A (zh) * 2015-08-19 2017-03-01 國立臺北科技大學 擴增實境互動系統及其動態資訊互動顯示方法
CN107226027A (zh) * 2016-03-25 2017-10-03 Lg电子株式会社 显示装置及包括其的车辆
TW201833727A (zh) * 2016-12-12 2018-09-16 財團法人工業技術研究院 透明顯示裝置、使用其之控制方法以及其之控制器

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5211120B2 (ja) 2010-07-30 2013-06-12 株式会社東芝 情報表示装置及び情報表示方法
KR20120029228A (ko) * 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 객체 정보 제공 방법
US9558590B2 (en) 2012-03-28 2017-01-31 Microsoft Technology Licensing, Llc Augmented reality light guide display
KR101343748B1 (ko) 2012-04-23 2014-01-08 주식회사 브이터치 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
US20130316767A1 (en) 2012-05-23 2013-11-28 Hon Hai Precision Industry Co., Ltd. Electronic display structure
US9317113B1 (en) 2012-05-31 2016-04-19 Amazon Technologies, Inc. Gaze assisted object recognition
CN102866835B (zh) * 2012-09-27 2015-09-30 朱明� 一种互动信息屏系统
US20150253930A1 (en) * 2014-03-10 2015-09-10 International Business Machines Corporation Touchscreen for interfacing with a distant display
US20170123491A1 (en) * 2014-03-17 2017-05-04 Itu Business Development A/S Computer-implemented gaze interaction method and apparatus
CN104820497B (zh) 2015-05-08 2017-12-22 东华大学 一种基于增强现实的3d交互显示系统
CN108268204A (zh) * 2016-12-30 2018-07-10 诚屏科技股份有限公司 电子白板系统及其电子白板与操作方法
US10268263B2 (en) * 2017-04-20 2019-04-23 Microsoft Technology Licensing, Llc Vestibular anchoring

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM488933U (en) * 2014-05-21 2014-11-01 Univ Far East Interactive multimedia display device
TW201708881A (zh) * 2015-08-19 2017-03-01 國立臺北科技大學 擴增實境互動系統及其動態資訊互動顯示方法
CN107226027A (zh) * 2016-03-25 2017-10-03 Lg电子株式会社 显示装置及包括其的车辆
TW201833727A (zh) * 2016-12-12 2018-09-16 財團法人工業技術研究院 透明顯示裝置、使用其之控制方法以及其之控制器

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114860148A (zh) * 2022-04-19 2022-08-05 北京字跳网络技术有限公司 一种交互方法、装置、计算机设备及存储介质
CN114860148B (zh) * 2022-04-19 2024-01-16 北京字跳网络技术有限公司 一种交互方法、装置、计算机设备及存储介质
TWI841247B (zh) * 2022-04-19 2024-05-01 大陸商北京字跳網絡技術有限公司 一種交互方法、裝置、電腦設備及儲存介質

Also Published As

Publication number Publication date
CN110908569A (zh) 2020-03-24
US10936079B2 (en) 2021-03-02
US20200089323A1 (en) 2020-03-19
CN110908569B (zh) 2021-08-24
TW202013151A (zh) 2020-04-01

Similar Documents

Publication Publication Date Title
US11093045B2 (en) Systems and methods to augment user interaction with the environment outside of a vehicle
TWI691870B (zh) 虛實影像的互動方法及裝置
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
US20230325004A1 (en) Method of interacting with objects in an environment
US10120454B2 (en) Gesture recognition control device
US9483113B1 (en) Providing user input to a computing device with an eye closure
CN108469899B (zh) 识别可穿戴显示装置的观察空间中的瞄准点或区域的方法
US9378581B2 (en) Approaches for highlighting active interface elements
US11869156B2 (en) Augmented reality eyewear with speech bubbles and translation
US20140240225A1 (en) Method for touchless control of a device
US20150379770A1 (en) Digital action in response to object interaction
CN105705993A (zh) 利用面部检测来控制摄像机
US20200142495A1 (en) Gesture recognition control device
US11886643B2 (en) Information processing apparatus and information processing method
US20210406542A1 (en) Augmented reality eyewear with mood sharing
US9898183B1 (en) Motions for object rendering and selection
TW201709022A (zh) 非接觸式控制系統及方法
JP6686319B2 (ja) 画像投影装置及び画像表示システム
US9507429B1 (en) Obscure cameras as input
CN114923418A (zh) 基于点选择的测量
KR20180097031A (ko) 휴대 단말 장치와 프로젝션 장치를 포함하는 증강 현실 시스템
TWM629809U (zh) 互動式抬頭顯示裝置
TW202206968A (zh) 電子裝置以及操作方法
CN116027908A (zh) 颜色获取方法、装置、电子设备及存储介质