TW202232285A - 虛實互動方法及虛實互動系統 - Google Patents

虛實互動方法及虛實互動系統 Download PDF

Info

Publication number
TW202232285A
TW202232285A TW111102823A TW111102823A TW202232285A TW 202232285 A TW202232285 A TW 202232285A TW 111102823 A TW111102823 A TW 111102823A TW 111102823 A TW111102823 A TW 111102823A TW 202232285 A TW202232285 A TW 202232285A
Authority
TW
Taiwan
Prior art keywords
image
position information
virtual
controller
integrated
Prior art date
Application number
TW111102823A
Other languages
English (en)
Other versions
TWI821878B (zh
Inventor
蔡岱芸
雷凱俞
劉柏君
杜宜靜
Original Assignee
仁寶電腦工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 仁寶電腦工業股份有限公司 filed Critical 仁寶電腦工業股份有限公司
Publication of TW202232285A publication Critical patent/TW202232285A/zh
Application granted granted Critical
Publication of TWI821878B publication Critical patent/TWI821878B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1465—Aligning or centring of the image pick-up or image-field by locating a pattern
    • G06V30/1468—Special marks for positioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本發明實施例提供一種虛實互動方法及虛實互動系統。控制器設有標記。運算裝置經配置用以依據影像擷取裝置所擷取的初始影像中的標記決定控制器在空間中的控制位置資訊，依據控制位置資訊決定標記所對應的虛擬物件影像在空間中的物件位置資訊，並依據物件位置資訊整合初始影像及虛擬物件影像，以產生整合影像。整合影像用於供顯示器播放。藉此，可提供直覺的操作。

Description

虛實互動方法及虛實互動系統
本發明是有關於一種延展實境(Extended Reality，XR)，且特別是有關於一種虛實互動方法及虛實互動系統。
擴增實境(Augmented Reality，AR)可讓畫面中的虛擬世界與現實世界的場景結合並互動。值得注意的是，現有AR影像應用缺乏顯示畫面的控制功能。例如，無法控制AR影像的變化，並僅能拖移虛擬物件的位置。又例如，在遠距會議的應用中，若簡報者在空間中移動，則無法獨立地操控虛擬物件，更需要透過他人自行在使用者介面上操控物件。
有鑑於此，本發明實施例提供一種虛實互動方法及虛實互動系統，透過控制器來控制虛擬影像之互動功能。
本發明實施例的虛實互動系統包括(但不僅限於)控制器、影像擷取裝置及運算裝置。控制器設有標記。影像擷取裝置用以擷取影像。運算裝置耦接影像擷取裝置。運算裝置經配置用以依據影像擷取裝置所擷取的初始影像中的標記決定控制器在空間中的控制位置資訊，依據控制位置資訊決定標記所對應的虛擬物件影像在空間中的物件位置資訊，並依據物件位置資訊整合初始影像及虛擬物件影像，以產生整合影像。整合影像用於供顯示器播放。
本發明實施例的虛實互動方法包括(但不僅限於)下列步驟：依據初始影像所擷取的標記決定控制器在空間中的控制位置資訊，依據控制位置資訊決定標記所對應的虛擬物件影像在空間中的物件位置資訊，依據物件位置資訊整合初始影像及虛擬物件影像，以產生整合影像。控制器設有標記。整合影像用於被播放。
基於上述，依據本發明實施例的虛實互動方法及虛實互動系統，控制器上的標記將用於決定虛擬物件影像的位置，並據以合成整合影像。藉此，簡報者可透過移動控制器來改變虛擬物件的運動或變化。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
圖1是依據本發明一實施例的虛實互動系統1的示意圖。請參照圖1，虛實互動系統1包括(但不僅限於)控制器10、影像擷取裝置30、運算裝置50及顯示器70。
控制器10可以是手持遙控器、搖桿、遊戲手把、行動電話、穿戴式裝置或平板電腦。在一些實施例中，控制器10也可能是紙、木作物、塑膠作物、金屬物或其他類型的實體物，並可供使用者手持或穿戴。
圖2是依據本發明一實施例的控制器10A的示意圖。請參照圖10A，控制器10A為手持控制器。控制器10A包括輸入元件12A和12B及運動感測器13。輸入元件12A和12B可以是按鈕、壓力感測器或觸控面板。輸入元件12A和12B用以偵測使用者的互動行為(例如，點選、按壓、或拖曳行為)，並據以產生控制指令(例如，觸發指令或行動指令)。運動感測器13可以是陀螺儀、加速度計、角速度感測器、磁力計或多軸感測器。運動感測器13用以偵測使用者的運動行為(例如，移動、旋轉或揮擺行動)，並據以產生運動資訊(例如，多軸向上的位移量、旋轉角度、或速度)。
在一實施例中，控制器10A更設有標記11A。
標記具有一個或更多個文字、符號、圖案、形狀和/或顏色。舉例而言，圖3A至圖3D是依據本發明一實施例的標記的示意圖。請參照圖3A至圖3D，不同圖案代表不同標記。
控制器10與標記結合的方式有很多種。
舉例而言，圖4A是依據本發明一實施例說明控制器10A-1結合標記10A的示意圖。請參照圖4A，控制器10A-1是一張紙，且這張紙上印有標記10A。
圖4B是依據本發明一實施例說明控制器10A-2結合標記11A的示意圖。請參照圖4B，控制器10A-2是一台具有顯示器的智慧型手機。控制器10A-2的顯示器顯示具有標記11A的影像。
圖5是依據本發明一實施例說明控制器10B結合標記11B的示意圖。請參照圖5，控制器10B是一台手持控制器。控制器10B的顯示器貼上標記11B的貼紙。
圖6A至圖6I是依據本發明一實施例的標記的示意圖。請參照圖6A至圖6I，標記可能是單一形狀或單一顏色(圖中以網底區別顏色)的色塊。
圖7A是依據本發明一實施例說明控制器10B-1結合標記11B的示意圖。請參照圖7A，控制器10B-1是一張紙，且這張紙上印有標記11B。藉此，控制器10B-1可以選擇性的貼在諸如筆記型電腦、手機、吸塵器、耳機或其他裝置上，甚至可結合在預期與客戶展演說明的物品上。
圖7B是依據本發明一實施例說明控制器結合標記的示意圖。請參照圖7B，控制器10B-2是一台具有顯示器的智慧型手機。控制器10B-2的顯示器顯示具有標記11B的影像。
須說明的是，前述圖式所示的標記及控制器僅是作為範例說明，但標記及控制器的外觀或類型仍可能有其他變化，且本發明實施例不加以限制。
影像擷取裝置30可以是單色相機或彩色相機、立體相機、數位攝影機、深度攝影機或其他能夠擷取影像的感測器。在一實施例中，影像擷取裝置30用以擷取影像。
圖8是依據本發明一實施例的影像擷取裝置30的示意圖。請參照圖8，影像擷取裝置30是360度攝影機，並可對三軸X、Y、Z上的物件或環境拍攝。然而，影像擷取裝置30也可能是魚眼相機、廣角相機、或具有其他視野範圍的相機。
運算裝置50耦接影像擷取裝置30。運算裝置50可以是智慧型手機、平板電腦、伺服器或具備運算功能的其他電子裝置。在一實施例中，運算裝置50可接收影像擷取裝置30所擷取的影像。在一實施例中，運算裝置50可接收控制器10可控制指令及/或運動資訊。
顯示器70可以是液晶顯示器(Liquid-Crystal Display，LCD)、發光二極體(Light-Emitting Diode，LED)顯示器、有機發光二極體(Organic Light-Emitting Diode，OLED)顯示器或其他顯示器。在一實施例中，顯示器70用以播放影像。在一實施例中，顯示器70是遠端會議情境中的遠端裝置的顯示器。在另一實施例中，顯示器70是遠端會議情境中的本地端裝置的顯示器。
下文中，將搭配虛實互動系統1中的各項裝置、元件及模組說明本發明實施例所述之方法。本方法的各個流程可依照實施情形而隨之調整，且並不僅限於此。
圖9是依據本發明一實施例的虛實互動方法的流程圖。請參照圖9，運算裝置50依據影像擷取裝置30所擷取的初始影像所擷取的標記決定控制器10在空間中的控制位置資訊(步驟S910)。具體而言，初始影像是影像擷取裝置30對視野範圍內拍攝所得的影像。在一些實施例中，依據影像擷取裝置30的視野範圍，所擷取影像可能經反扭曲及/或裁切。
舉例而言，圖10是依據本發明一實施例說明初始影像的示意圖。請參照圖10，若使用者P與控制器10在影像擷取裝置30的視野內，則初始影像包括使用者P及控制器10。
值得注意的是，由於控制器10設有標記，因此初始影像可能更包括標記。而標記可用於決定控制器10在空間中的位置(稱為控制位置資訊)。控制位置資訊可以是座標、移動距離及/或朝向(或稱姿態)。
圖11是依據本發明一實施例的控制位置資訊的決定的流程圖。請參照圖11，運算裝置50可辨識初始影像中的標記的類型(步驟S1110)。例如，運算裝置50可基於神經網路的演算法(例如，YOLO、卷積神經網路(Convolutional Neural Network，R-CNN)、或快速基於區域的CNN(Fast Region Based CNN))或是基於特徵匹配的演算法(例如，方向梯度直方圖(Histogram of Oriented Gradient，HOG)、Harr、或加速穩健特徵(Speeded Up Robust Features，SURF)的特徵比對)實現物件偵測，並據以推論出標記的類型。
在一實施例中，運算裝置50可依據標記的圖案及/或顏色中 (圖2~圖7)辨識標記的類型。例如，圖3A所示的圖案及圖6A所示的色塊分別代表不同類型。
在一實施例中，不同類型的標記代表不同類型的虛擬物件影像。例如，圖3A代表A產品，且圖3B代表B產品。
運算裝置50可依據標記的類型決定標記在連續的多張初始影像中的大小變化(步驟S1130)。具體而言，運算裝置50可分別計算不同時間點所擷取的初始影像中的標記的大小，並據以決定大小變化。例如，運算裝置50計算兩初始影像中的標記在同一側邊的邊長差異。又例如，運算裝置50計算兩初始影像中的標記的面積差異。
運算裝置50可事先記錄特定標記在空間中的多個不同位置的大小(可能相關於長、寬、半徑、或面積)，並將這些位置與影像中的大小相關聯。接著，運算裝置50可依據標記在初始影像中的大小決定標記在空間中的座標，並據以作為控制位置資訊。此外，運算裝置50可事先記錄特定標記在空間中的多個不同位置的姿態，並將這些姿態與影像中的形變情況相關聯。接著，運算裝置50可依據標記在初始影像中的形變情況決定標記在空間中的姿態，並據以作為控制位置資訊。
運算裝置50可依據大小變化決定標記在空間中的移動距離(步驟S1150)。具體而言，控制位置資訊包括移動距離。而標記在影像中的大小相關於標記相對於影像擷取裝置30的深度。舉例而言，圖12是依據本發明一實施例的移動距離的示意圖。請參照圖12，控制器10在第一時間點與影像擷取裝置30之間的距離R1小於控制器10在第二時間點與影像擷取裝置30之間的距離R2。初始影像IM1是影像擷取裝置30所拍攝到控制器10遠離其距離R1處的局部影像。初始影像IM2是影像擷取裝置30所拍攝到控制器10遠離其距離R2處的局部影像。由於距離R2大於距離R1，因此初始影像IM2中的標記11的大小小於初始影像IM1中的標記11的大小。運算裝置50可計算初始影像IM2中的標記11與初始影像IM1中的標記11之間的大小變化，並據以得出移動距離MD。
除了深度上的移動距離，運算裝置50可基於標記的深度，判斷標記在不同初始影像中的水平軸及/或垂直軸上的位移，並據以得出在空間中的水平軸及/或垂直軸的移動距離。
舉例而言，圖13是依據本發明一實施例說明標記11與物件O的位置關係的示意圖。請參照圖13，物件O位於標記11前端。而基於初始影像的辨識結果，運算裝置50可得知控制器10與物件O的位置關係。
在一實施例中，圖2的控制器10A的運動感測器13產生第一運動資訊(例如，多軸向上的位移量、旋轉角度、或速度)。運算裝置50可依據第一運動資訊決定控制器10A在空間中的控制位置資訊。例如，6-DoF感測器可取得控制器10A在空間中的位置及旋轉資訊。又例如，運算裝置50可透過控制器10A在三軸向上的加速度的二重積分(double integral)來估測控制器10A的移動距離。
請參照圖9，運算裝置50依據該位置資訊決定該標記所對應的虛擬物件影像在空間中的物件位置資訊(步驟S930)。具體而言，虛擬物件影像是數位虛擬物件的影像。物件位置資訊可以是虛擬物件的在空間中的座標、移動距離及/或朝向(或稱姿態)。而標記的控制位置資訊用於指示虛擬物件的物件位置資訊。例如，控制位置資訊中的座標直接作為物件位置資訊。又例如，與控制位置資訊中的座標相距特定間距的位置作為物件位置資訊。
運算裝置50依據物件位置資訊整合初始影像及虛擬物件影像，以產生整合影像(步驟S950)。具體而言，整合影像用於供顯示器70播放的影像。運算裝置50可依據物件位置資訊決定虛擬物件在空間中的位置、運動情況及姿態，並將對應的虛擬物件影像與初始影像合成，使整合影像中呈現虛擬物件。虛擬物件影像可以是靜態或動態，也可是二維影像或三維影像。
在一實施例中，運算裝置50可將初始影像中的標記轉換成指示圖案。指示圖案可以試箭頭、星、驚嘆號或其他圖案。運算裝置50可依據控制位置資訊將指示圖案整合在整合影像。控制器10在整合影像中可被指示圖案覆蓋或取代。舉例而言，圖14是依據本發明一實施例說明指示圖案DP與物件O的示意圖。請參照圖13及圖14，圖13的標記11處轉換成指示圖案DP。藉此，可方便觀看者了解控制器10與物件O的位置關係。
除了由控制器10的控制位置資訊直接反映物件位置資訊，還使用一個或更多指定物件位置定位。圖15是依據本發明一實施例的控制位置資訊的決定的流程圖。請參照圖15，運算裝置50可比較第一運動資訊與多個指定位置資訊(步驟S1510)。各指定位置資訊對應於控制器10在空間中的指定位置所產生的第二運動資訊。各指定位置資訊記錄控制器10在指定位置與物件之間的空間關係。
舉例而言，圖16是依據本發明一實施例的指定位置B1~B3的示意圖。請參照圖16，這物件O以筆記型電腦為例。運算裝置50可在影像中定義指定位置B1~B3，並事先記錄(已校正的)控制器10在這些指定位置B1~B3上的運動資訊(可直接作為第二運動資訊)。因此，透過比對第一及第二運動資訊，即可判斷控制器10是否位於或接近指定位置B1~B3(即，空間關係)。
請參照圖15，運算裝置50可依據第一運動資訊及控制器10最接近的指定位置所對應的指定位置資訊的比較結果決定控制位置資訊(步驟S1530)。以圖16為例，運算裝置50可將指定位置B1或與其相距特定範圍內的位置記錄成指定位置資訊。只要運算感測器13所量測的第一運動資訊符合指定位置資訊，即認為控制器10欲選擇這指定位置。也就是說，在本實施例中的控制位置資訊代表控制器10所指的位置。
在一實施例中，運算裝置50可依據控制位置資訊整合初始影像及控制器10所指向的提示圖案，以產生本地端影像。提示圖案可能是圓點、箭頭、星或其他圖案。以圖16為例，提示圖案PP是小圓點。值得注意的是，提示圖案位於由控制器10延伸而出的雷射投影(ray cast)或延伸線的末端。也就是說，不一定要控制器10位於或接近指定位置，只要控制器10的雷射投影或延伸線的末端位於指定位置，也可代表控制器10欲選擇這指定位置。這整合提示圖案PP的本地端影像可適用於本地端裝置的顯示器70(例如，供簡報者觀看)播放。藉此，可方便簡報者了解控制器10所選擇的位置。
在一實施例中，這些指定位置對應於不同虛擬物件影像。以圖16為例，指定位置B1代表C簡報，指定位置B2代表處理器的虛擬物件，且指定位置B3代表D簡報至F簡報。
在一實施例中，運算裝置50可設定物件位置資訊與控制位置資訊在空間中的間距。例如，物件位置資訊與控制位置資訊的座標相距50公分，使整合影像中的控制器10與虛擬物件之間有一段距離。
舉例而言，圖17A是依據本發明一實施例的本地端影像的示意圖。請參照圖17A，在示例性的應用情境中，本地端影像供作為簡報者的使用者P觀看。使用者P僅需要看到實體的物件O及實體的控制器10。圖17B是依據本發明一實施例的整合影像的示意圖。請參照圖17B，在示例性的應用情境中，整合影像供遠端觀看者觀看。虛擬物件影像VI1與控制器10之間具有間距SI。藉此，可避免虛擬物件影像VI1受遮蔽。
在一實施例中，運算裝置50可依據物件的初始狀態產生虛擬物件影像。這物件為虛擬或實體的。值得注意的是，虛擬物件影像呈現物件的變化狀態。變化狀態是初始狀態在位置、姿態、外觀、分解及檔案選項的變化中的一者。例如，變化狀態是物件的縮放、移動、旋轉、爆炸圖、局部放大、局部零件爆炸圖、內部電子零件、顏色的變化、材質的變化等。
整合影像將可呈現物件經變化的虛擬物件影像。舉例而言，圖18A是依據本發明一實施例說明整合爆炸圖的整合影像的示意圖。請參照圖18A，虛擬物件影像VI2是爆炸圖。圖18B是依據本發明一實施例整合局部放大圖的整合影像的示意圖。請參照圖18B，虛擬物件影像VI3是局部放大圖。
在一實施例中，運算裝置50可依據使用者的互動行為產生觸發指令。這互動行為可透過如圖2所示的輸入元件12A所偵測。互動行為可以是按壓、點擊、滑動等行為。運算裝置50判斷偵測的互動行為是否符合預設觸發行為。若符合預設觸發行為，則運算裝置50產生觸發指令。
運算裝置50可依據觸發指令啟動虛擬物件影像在整合影像的呈現。也就是說，若偵測到使用者在操作預設觸發行為，則整合影像中才會出現虛擬物件影像。若未偵測到使用者在操作預設觸發行為，則中斷呈現虛擬物件影像。
在一實施例中，這觸發指令會相關於控制位置資訊所對應的物件的整體或部分。而虛擬物件影像是相關於控制位置資訊所對應的那個物件或物件的部分。也就是說，預設觸發行為用於確認使用者所欲選擇的目標。而虛擬物件影像可能是所選物件的變化狀態、簡報、檔案、或其他內容，並可能對應有虛擬物件識別碼(以供自物件資料庫檢索)。
以圖16為例，指定位置B1對應於三個檔案。若提示圖案PP位於指定位置B1且輸入元件12A偵測到按壓行為，則虛擬物件影像為第一個檔案的內容。接者，輸入元件12A偵測下一個按壓行為，則虛擬物件影像為第二個檔案的內容。最後，輸入元件12A偵測再下一個按壓行為，則虛擬物件影像為第三個檔案的內容。
在一實施例中，運算裝置50可依據使用者的互動行為產生行動指令。這互動行為可透過如圖2所示的輸入元件12B所偵測。互動行為可以是按壓、點擊、滑動等行為。運算裝置50判斷偵測的互動行為是否符合預設行動行為。若符合預設行動行為，則運算裝置50產生行動指令。
運算裝置50可依據行動指令決定虛擬物件影像中的物件的變化狀態。也就是說，若偵測到使用者在操作預設行動行為，則虛擬物件影像才會呈現物件的變化狀態。若未偵測到使用者在操作預設行動行為，則呈現物件的原始狀態。
在一實施例中，這行動指令會相關於控制位置資訊的運動情況。而變化狀態的內容可對應於控制位置資訊所對應的運動狀態變化。以圖13為例，若圖2的輸入元件12B偵測到按壓行為且運動感測器13偵測到控制器10移動，則虛擬物件影像為拖移物件O。又例如，若輸入元件12B偵測到按壓行為且運動感測器13偵測到控制器10旋轉，則虛擬物件影像為旋轉物件O。再例如，若輸入元件12B偵測到按壓行為且運動感測器13偵測到控制器10向前或向後移動，則虛擬物件影像為縮放物件O。
在一實施例中，運算裝置50可依據控制位置資訊判斷控制器10在整合影像中的第一影像位置，並改變第一影像位置成為第二影像位置。第二影像位置在整合影像中的關注區域。具體而言，為了避免控制器10或使用者遠離初始影像的視野，運算裝置50可在初始影像中設定關注區域。運算裝置50可判斷控制器10的第一影像位置是否位於關注區域內。若位於關注區域內，則運算裝置50維持控制器10在整合影像中的位置。若未位於關注區域內，則運算裝置50改變控制器10在整合影像中的位置，並改變後的整合影像中的控制器10位於關注區域內。例如，影像擷取裝置30是360度攝影機，則運算裝置50可改變初始影像的視野，使控制器10或使用者位於裁切的初始影像中。
舉例而言，圖19A是依據本發明一實施例說明出鏡情況的示意圖。請參照圖19A，當控制器10位於第一影像位置時，控制器10與使用者P的部分在關注區域FA之外。圖19B是依據本發明一實施例說明修正出鏡情況的示意圖。請參照圖19B，控制器10的位置改變至第二影像位置L2，使得控制器10與使用者P位於關注區域FA內。此時，客戶端的顯示器呈現如圖19B所示關注區域FA內的畫面。
綜上所述，在本發明實施例的虛實互動方法及虛實互動系統中，透過控制器搭配影像擷取裝置，提供控制虛擬物件影像的顯示功能。控制器上所呈現的標記或所裝載的運動感測器可用於決定虛擬物件的位置或物件的變化狀態(例如，縮放、移動、旋轉、爆炸、局部放大、改變外觀等)。藉此，可提供直覺地操作。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
1:虛實互動系統 10、10A、10A-1、10A-2、10B、10B-1、10B-2:控制器 30:影像擷取裝置 50:運算裝置 12A、12B:輸入元件 13:運動感測器 11A、11B、11:標記 X、Y、Z:軸 S910~S950:步驟 P:使用者 R1、R2:距離 MD:移動距離 IM1、IM2:初始影像 O:物件 DP:指示圖案 PP:提示圖案 VI1、VI2、VI3:虛擬物件影像 SI:間距 FA:關注區域 L1:第一影像位置 L2:第二影像位置
圖1是依據本發明一實施例的虛實互動系統的示意圖。 圖2是依據本發明一實施例的控制器的示意圖。 圖3A至圖3D是依據本發明一實施例的標記的示意圖。 圖4A是依據本發明一實施例說明控制器結合標記的示意圖。 圖4B是依據本發明一實施例說明控制器結合標記的示意圖。 圖5是依據本發明一實施例說明控制器結合標記的示意圖。 圖6A至圖6I是依據本發明一實施例的標記的示意圖。 圖7A是依據本發明一實施例說明控制器結合標記的示意圖。 圖7B是依據本發明一實施例說明控制器結合標記的示意圖。 圖8是依據本發明一實施例的影像擷取裝置的示意圖。 圖9是依據本發明一實施例的虛實互動方法的流程圖。 圖10是依據本發明一實施例說明初始影像的示意圖。 圖11是依據本發明一實施例的控制位置資訊的決定的流程圖。 圖12是依據本發明一實施例的移動距離的示意圖。 圖13是依據本發明一實施例說明標記與虛擬物件的位置關係的示意圖。 圖14是依據本發明一實施例說明指示圖案與虛擬物件的示意圖。 圖15是依據本發明一實施例的控制位置資訊的決定的流程圖。 圖16是依據本發明一實施例的指定位置的示意圖。 圖17A是依據本發明一實施例的本地端影像的示意圖。 圖17B是依據本發明一實施例的整合影像的示意圖。 圖18A是依據本發明一實施例說明整合爆炸圖的整合影像的示意圖。 圖18B是依據本發明一實施例整合局部放大圖的整合影像的示意圖。 圖19A是依據本發明一實施例說明出鏡情況的示意圖。 圖19B是依據本發明一實施例說明修正出鏡情況的示意圖。
S910~S950:步驟

Claims (24)

  1. 一種虛實互動系統，包括： 一控制器，設有一標記； 一影像擷取裝置，用以擷取影像；以及 一運算裝置，耦接該影像擷取裝置，並經配置用以： 依據該影像擷取裝置所擷取的一初始影像中的該標記決定該控制器在一空間中的一控制位置資訊； 依據該控制位置資訊決定該標記所對應的一虛擬物件影像在該空間中的一物件位置資訊；以及 依據該物件位置資訊整合該初始影像及該虛擬物件影像，以產生一整合影像，其中該整合影像用於供一顯示器播放。
  2. 如請求項1所述的虛實互動系統，其中該運算裝置更經配置用以： 辨識該初始影像中的該標記的類型； 依據該標記的類型決定該標記在連續的多個該初始影像中的一大小變化；以及 依據該大小變化決定該標記在該空間中的一移動距離，其中該控制位置資訊包括該移動距離。
  3. 如請求項2所述的虛實互動系統，其中該運算裝置更經配置用以： 依據該標記的圖案及顏色中的至少一者辨識該標記的類型。
  4. 如請求項1所述的虛實互動系統，其中該控制器更包括一運動感測器，該運動感測器用以產生一第一運動資訊，且該運算裝置更經配置用以： 依據該第一運動資訊決定該控制器在該空間中的該控制位置資訊。
  5. 如請求項4所述的虛實互動系統，其中該運算裝置更經配置用以： 比較該第一運動資訊與多個指定位置資訊，其中每一該指定位置資訊對應於該控制器在該空間中的一指定位置所產生的一第二運動資訊，且每一該指定位置資訊記錄該控制器在該指定位置與一物件之間的空間關係；以及 依據該第一運動資訊及該控制器最接近的指定位置所對應的一該指定位置資訊的比較結果決定該控制位置資訊。
  6. 如請求項1所述的虛實互動系統，其中該運算裝置更經配置用以： 依據該控制位置資訊整合該初始影像及該控制器所指向的一提示圖案，以產生一本地端影像。
  7. 如請求項1所述的虛實互動系統，其中該運算裝置更經配置用以： 設定該物件位置資訊與該控制位置資訊在該空間中的一間距。
  8. 如請求項1所述的虛實互動系統，其中該運算裝置更經配置用以： 依據一物件的一初始狀態產生該虛擬物件影像，其中該虛擬物件影像呈現該物件的一變化狀態，該變化狀態是該初始狀態在位置、姿態、外觀、分解及檔案選項的變化中的一者，且該物件為虛擬或實體的。
  9. 如請求項1所述的虛實互動系統，其中該控制器更包括一第一輸入元件，其中該運算裝置更經配置用以： 依據該第一輸入元件所偵測到的一使用者的一互動行為產生一觸發指令；以及 依據該觸發指令啟動該虛擬物件影像在該整合影像的呈現。
  10. 如請求項8所述的虛實互動系統，其中該控制器更包括一第二輸入元件，其中該運算裝置更經配置用以： 依據該第二輸入元件所偵測到的一使用者的一互動行為產生一行動指令；以及 依據該行動指令決定該變化狀態。
  11. 如請求項1所述的虛實互動系統，其中該運算裝置更經配置用以： 將該標記轉換成一指示圖案；以及 依據該控制位置資訊將該指示圖案整合在該整合影像，其中該控制器在該整合影像中被該指示圖案取代。
  12. 如請求項1所述的虛實互動系統，其中該運算裝置更經配置用以： 依據該控制位置資訊判斷該控制器在該整合影像中的一第一影像位置；以及 改變該第一影像位置成為一第二影像位置，其中該第二影像位置在該整合影像中的一關注區域。
  13. 一種虛實互動方法，包括： 依據一初始影像所擷取的一標記決定一控制器在一空間中的一控制位置資訊，其中該控制器設有該標記； 依據該控制位置資訊決定該標記所對應的一虛擬物件影像在該空間中的一物件位置資訊；以及 依據該物件位置資訊整合該初始影像及該虛擬物件影像，以產生一整合影像，其中該整合影像用於被播放。
  14. 如請求項13所述的虛實互動方法，其中決定該控制位置資訊的步驟包括： 辨識該初始影像中的該標記的類型； 依據該標記的類型決定該標記在連續的多個該初始影像中的一大小變化；以及 依據該大小變化決定該標記在該空間中的一移動距離，其中該控制位置資訊包括該移動距離。
  15. 如請求項14的虛實互動方法，其中辨識該初始影像中的該標記的類型的步驟包括： 依據該標記的圖案及顏色中的至少一者辨識該標記的類型。
  16. 如請求項13的虛實互動方法，其中該控制器更包括一運動感測器，該運動感測器用以產生一第一運動資訊，且決定該控制位置資訊的步驟包括： 依據該第一運動資訊決定該控制器在該空間中的該控制位置資訊。
  17. 如請求項16的虛實互動方法，其中決定該控制位置資訊的步驟包括： 比較該第一運動資訊與多個指定位置資訊，其中每一該指定位置資訊對應於該控制器在該空間中的一指定位置所產生的一第二運動資訊，且每一該指定位置資訊記錄該控制器在該指定位置與一物件之間的空間關係；以及 依據該第一運動資訊及該控制器最接近的指定位置所對應的一該指定位置資訊的比較結果決定該控制位置資訊。
  18. 如請求項13的虛實互動方法，更包括： 依據該控制位置資訊整合該初始影像及該控制器所指向的一提示圖案，以產生一本地端影像。
  19. 如請求項13的虛實互動方法，其中決定該物件位置資訊的步驟包括： 設定該物件位置資訊與該控制位置資訊在該空間中的一間距。
  20. 如請求項13的虛實互動方法，其中產生該整合影像的步驟包括： 依據一物件的一初始狀態產生該虛擬物件影像，其中該虛擬物件影像呈現該物件的一變化狀態，該變化狀態是該初始狀態在位置、姿態、外觀、分解及檔案選項的變化中的一者，且該物件為虛擬或實體的。
  21. 如請求項13的虛實互動方法，其中產生該整合影像的步驟包括： 依據一使用者的一互動行為產生一觸發指令；以及 依據該觸發指令啟動該虛擬物件影像在該整合影像的呈現。
  22. 如請求項20的虛實互動方法，其中產生該整合影像的步驟包括： 依據一使用者的一互動行為產生一行動指令；以及 依據該行動指令決定該變化狀態。
  23. 如請求項13的虛實互動方法，其中產生該整合影像的步驟包括： 將該標記轉換成一指示圖案；以及 依據該控制位置資訊將該指示圖案整合在該整合影像，其中該控制器在該整合影像中被該指示圖案取代。
  24. 如請求項13的虛實互動方法，其中產生該整合影像的步驟包括： 依據該控制位置資訊判斷該控制器在該整合影像中的一第一影像位置；以及 改變該第一影像位置成為一第二影像位置，其中該第二影像位置在該整合影像中的一關注區域。
TW111102823A 2021-02-02 2022-01-24 虛實互動方法及虛實互動系統 TWI821878B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163144953P 2021-02-02 2021-02-02
US63/144,953 2021-02-02

Publications (2)

Publication Number Publication Date
TW202232285A true TW202232285A (zh) 2022-08-16
TWI821878B TWI821878B (zh) 2023-11-11

Family

ID=82612581

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111102823A TWI821878B (zh) 2021-02-02 2022-01-24 虛實互動方法及虛實互動系統

Country Status (2)

Country Link
US (1) US20220245858A1 (zh)
TW (1) TWI821878B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI419081B (zh) * 2009-12-29 2013-12-11 Univ Nat Taiwan Science Tech 提供擴增實境的標籤追蹤方法、系統與電腦程式產品
TW201631960A (zh) * 2015-02-17 2016-09-01 奇為有限公司 擴增實境式串流影音顯示系統、其方法、電腦可讀取記錄媒體及電腦程式產品
DE102016105496A1 (de) * 2015-03-26 2016-09-29 Faro Technologies Inc. System zur Prüfung von Objekten mittels erweiterter Realität
CN107918955A (zh) * 2017-11-15 2018-04-17 百度在线网络技术（北京）有限公司 增强现实方法和装置
US20210011556A1 (en) * 2019-07-09 2021-01-14 Facebook Technologies, Llc Virtual user interface using a peripheral device in artificial reality environments

Also Published As

Publication number Publication date
US20220245858A1 (en) 2022-08-04
TWI821878B (zh) 2023-11-11

Similar Documents

Publication Publication Date Title
US20210011556A1 (en) Virtual user interface using a peripheral device in artificial reality environments
CN107251101B (zh) 针对使用具有参数的标记的增强现实的场景修改
JP3926837B2 (ja) 表示制御方法および装置、プログラム、並びに携帯機器
US9715743B2 (en) Image processing apparatus, image processing method, and program
US9685005B2 (en) Virtual lasers for interacting with augmented reality environments
EP2480955B1 (en) Remote control of computer devices
JP5822400B2 (ja) カメラとマーク出力とによるポインティング装置
TWI534661B (zh) 畫像辨識裝置及操作判定方法以及電腦程式
US7477236B2 (en) Remote control of on-screen interactions
KR20220016273A (ko) 핀치 및 당기기 제스처에 기반한 인공 현실 시스템들의 입력 검출
US20010030668A1 (en) Method and system for interacting with a display
TW201104494A (en) Stereoscopic image interactive system
CN104427282B (zh) 信息处理装置，信息处理方法和程序
US11023035B1 (en) Virtual pinboard interaction using a peripheral device in artificial reality environments
US10359906B2 (en) Haptic interface for population of a three-dimensional virtual environment
US10649616B2 (en) Volumetric multi-selection interface for selecting multiple objects in 3D space
EP3814876B1 (en) Placement and manipulation of objects in augmented reality environment
CN104081307A (zh) 图像处理装置、图像处理方法和程序
US10976804B1 (en) Pointer-based interaction with a virtual surface using a peripheral device in artificial reality environments
WO2014111947A1 (en) Gesture control in augmented reality
TWI821878B (zh) 虛實互動方法及虛實互動系統
US11023036B1 (en) Virtual drawing surface interaction using a peripheral device in artificial reality environments
WO2022014700A1 (ja) 端末装置、仮想オブジェクト操作方法、及び仮想オブジェクト操作プログラム
US20230239442A1 (en) Projection device, display system, and display method
JP6514386B1 (ja) プログラム、記録媒体及び画像生成方法