TWI633500B - 擴增實境應用產生系統及方法 - Google Patents

擴增實境應用產生系統及方法 Download PDF

Info

Publication number
TWI633500B
TWI633500B TW106145991A TW106145991A TWI633500B TW I633500 B TWI633500 B TW I633500B TW 106145991 A TW106145991 A TW 106145991A TW 106145991 A TW106145991 A TW 106145991A TW I633500 B TWI633500 B TW I633500B
Authority
TW
Taiwan
Prior art keywords
image
augmented reality
user
module
editing
Prior art date
Application number
TW106145991A
Other languages
English (en)
Other versions
TW201928779A (zh
Inventor
劉郁昌
劉旭航
林家煌
梁俊明
邱信雄
Original Assignee
中華電信股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中華電信股份有限公司 filed Critical 中華電信股份有限公司
Priority to TW106145991A priority Critical patent/TWI633500B/zh
Priority to CN201810104603.4A priority patent/CN109979014A/zh
Application granted granted Critical
Publication of TWI633500B publication Critical patent/TWI633500B/zh
Publication of TW201928779A publication Critical patent/TW201928779A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Abstract

本發明揭露一種擴增實境應用產生系統及方法。該方法包括：擷取一影像訊號，辨識與追蹤影像訊號之圖像或標記以得到圖像或標記位置資訊，辨識與追蹤影像訊號中使用者之姿態以得到姿態種類資訊或姿態位置資訊，解析影像訊號及姿態種類資訊或姿態位置資訊以產生相對應之人機互動資訊，依據人機互動資訊提供至少一編輯元件以編輯擴增實境應用之互動內容，進而以疊合方式將擴增實境應用之互動內容顯示於實境影像上。

Description

擴增實境應用產生系統及方法
本發明係關於一種擴增實境(AR)之技術，特別是指一種擴增實境應用產生系統及方法。
擴增實境(Augmented Reality；AR)為一種結合實體與虛擬技術來觀察現實環境之方式，且擴增實境技術已經廣泛應用於電玩遊戲、環境導覽及商業應用等。
同時，擴增實境可以利用影像辨識技術來偵測與追蹤影像中之現實物件，並利用三維(3D)技術將預設之虛擬物件與現實物件結合以顯示於螢幕中。
然而，習知技術的擴增實境僅能顯示已錄製好的多媒體物件，但螢幕中的影像物件僅能供使用者或觀看者觀賞，卻無法對影像物件或擴增實境應用之內容進行互動或編輯。
因此，如何解決上述習知技術之缺點，實已成為本領域技術人員之一大課題。
本發明提供一種擴增實境應用產生系統及方法，其可 供使用者對擴增實境應用之內容進行互動或編輯。
本發明中擴增實境應用產生系統，係包括：一訊號擷取模組，其擷取至少一影像訊號；一圖像辨識追蹤模組，其辨識與追蹤訊號擷取模組所擷取之影像訊號之圖像或標記以得到影像訊號之圖像或標記位置資訊；一姿態辨識追蹤模組，其辨識與追蹤訊號擷取模組所擷取之影像訊號中使用者之姿態以得到使用者之姿態種類資訊或姿態位置資訊；一人機互動解析模組，其解析訊號擷取模組所擷取之影像訊號及姿態辨識追蹤模組所取得之使用者之姿態種類資訊或姿態位置資訊，以產生相對應之人機互動資訊；一擴增實境編輯模組，其依據人機互動解析模組之人機互動資訊提供至少一編輯元件，以供使用者用編輯元件編輯一擴增實境應用之互動內容；以及一擴增實境顯示模組，其以疊合方式將使用者用編輯元件所編輯之擴增實境應用之互動內容顯示於實境影像上。
本發明中擴增實境應用產生方法，係包括：擷取至少一影像訊號；辨識與追蹤影像訊號之圖像或標記以得到影像訊號之圖像或標記位置資訊；辨識與追蹤影像訊號中使用者之姿態以得到使用者之姿態種類資訊或姿態位置資訊；解析影像訊號及使用者之姿態種類資訊或姿態位置資訊，以產生相對應之人機互動資訊；依據人機互動資訊提供至少一編輯元件，以供使用者用編輯元件編輯一擴增實境應用之互動內容；以及以疊合方式將使用者用編輯元件所編輯之擴增實境應用之互動內容顯示於實境影像上。
為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明。在以下描述內容中將部分闡述本發明之額外特徵及優點，且此等特徵及優點將部分自所述描述內容顯而易見，或可藉由對本發明之實踐習得。本發明之特徵及優點借助於在申請專利範圍中特別指出的元件及組合來認識到並達到。應理解，前文一般描述與以下詳細描述兩者均僅為例示性及解釋性的，且不欲約束本發明所主張之範圍。
1‧‧‧擴增實境應用產生系統
10‧‧‧訊號擷取模組
11‧‧‧影訊擷取單元
12‧‧‧音訊擷取單元
20‧‧‧圖像辨識追蹤模組
30‧‧‧姿態辨識追蹤模組
40‧‧‧人機互動解析模組
50‧‧‧空間定位模組
60‧‧‧擴增實境編輯模組
70‧‧‧擴增實境顯示模組
80‧‧‧資訊儲存模組
A‧‧‧使用者
A1‧‧‧手勢
A2‧‧‧語音
B‧‧‧智慧型眼鏡裝置
C‧‧‧桌子
D‧‧‧圖標
E‧‧‧編輯元件
F‧‧‧物體
S1至S8‧‧‧步驟
第1圖繪示本發明中擴增實境應用產生系統之架構圖；第2圖繪示本發明中擴增實境應用產生方法之流程圖；第3A圖至第3C圖繪示本發明之擴增實境應用產生系統及方法之一實施例示意圖；以及第4A圖至第4C圖繪示本發明之擴增實境應用產生系統及方法之另一實施例示意圖。
以下藉由特定的具體實施形態說明本發明之實施方式，熟悉此技術之人士可由本說明書所揭示之內容輕易地了解本發明之其他優點與功效，亦可藉由其他不同的具體實施形態加以施行或應用。
第1圖繪示本發明中擴增實境應用產生系統1之架構圖(請一併參閱第3A圖至第4C圖)。如第1圖所示，擴增 實境應用產生系統1包括一訊號擷取模組10、一圖像辨識追蹤模組20、一姿態辨識追蹤模組30、一人機互動解析模組40、一空間定位模組50、一擴增實境編輯模組60、一擴增實境顯示模組70及/或一資訊儲存模組80。
訊號擷取模組10可擷取如第3A圖至第4C圖所示使用者A當下環境或空間中至少包括影像訊號之外部訊號，且訊號擷取模組10可連接或整合於使用者A配戴之智慧型眼鏡裝置B。外部訊號可包括使用者A當下環境或空間中之影像訊號(環境影像)或其深度資訊，亦可包括使用者A之影像訊號(如姿態或手勢A1)或聲音訊號(如語音A2)。同時，訊號擷取模組10可具有一影訊擷取單元11與一音訊擷取單元12，影訊擷取單元11可擷取影像訊號及其深度資訊，而音訊擷取單元12可擷取外部訊號之聲音訊號。
圖像辨識追蹤模組20可辨識與追蹤訊號擷取模組10(或影訊擷取單元11)之影像訊號之圖像或標記以得到影像訊號之圖像或標記位置資訊，其中，圖像或標記之圖像特徵點資訊可為特定或預先定義之圖像特徵點資訊。
圖像辨識追蹤模組20可透過下列演算法之一者辨識與追蹤圖像或標記之圖像特徵點資訊：尺度不變特徵轉換(Scale-Invariant Feature Transform；SIFT)演算法、加速強健特徵(Speeded Up Robust Features；SURF)演算法、加速分段特徵測試(Features from Accelerated Segment Test；FAST)演算法、二元強健獨立基礎特徵(Binary Robust Independent Elementary Features；BRIEF)演算法、或具方 向性BRIEF(ORiented BRIEF；ORB)演算法。
姿態辨識追蹤模組30可辨識與追蹤訊號擷取模組10(影訊擷取單元11)所擷取之影像訊號中有關使用者A之姿態(如第3A圖至第4C圖之使用者A之手勢A1)，以得到使用者A之姿態種類資訊或姿態位置資訊。使用者A之姿態可為使用者A之特定姿態，如使用者A之手抓取、手握拳或手開掌等姿態。
人機互動解析模組40可解析訊號擷取模組10所擷取之外部訊號(如影像訊號或其深度資訊或聲音訊號)、及姿態辨識追蹤模組30所取得之使用者A之姿態種類資訊或姿態位置資訊以產生相對應之人機互動資訊。例如，人機互動解析模組40可解析各種人機互動意涵，透過解析外部訊號或姿態種類資訊，了解使用者A傳達表示的互動意義並產生相對應的人機互動資訊。
人機互動資訊可得知使用者A與虛擬的編輯元件E之互動意義，具體表示例如可得知：某編輯元件E之虛擬玩具熊模型正被使用者抓取，某編輯元件E之虛擬玩具熊模型已被使用者A放開，某編輯元件E之虛擬玩具熊模型已被使用者A點選，或某編輯元件之虛擬鍵盤中某個按鍵已被使用者A點選。
空間定位模組50可依據影像訊號之圖像或標記位置資訊、或使用者A之姿態位置資訊分別產生相對應之三維空間定位資訊，且三維空間定位資訊可以矩陣資料方式表示或儲存之。
擴增實境編輯模組60可依據人機互動解析模組40之人機互動資訊提供如第3B圖或第4B圖所示至少一編輯元件E，以供使用者A用編輯元件E編輯一擴增實境應用之互動內容。
具體而言，擴增實境編輯模組60可提供使用者透過多種人機互動選擇不同的編輯元件E，並對編輯元件E之視覺呈現與互動方式進行編輯，且編輯元件E可為二維(2D)圖像、三維(3D)模型、影片或聲音訊號。同時，擴增實境編輯模組60編輯擴增實境應用之互動內容可包括：對編輯元件E之位置、順序、大小、角度或控制方式進行設定、調整或組合。又，編輯元件E可提供一虛擬鍵盤，以供使用者A透過虛擬鍵盤輸入資訊(如文字、符號、數字、圖案等)。
擴增實境顯示模組70(如螢幕或可連接或整合於使用者A配戴之智慧型眼鏡裝置B)可以疊合方式將使用者A用編輯元件E所編輯之擴增實境應用之互動內容顯示於使用者A當下之實境影像上。申言之，擴增實境顯示模組70可以疊合方式呈現擴增實境影像，並依照不同的三維空間定位資訊疊合顯示使用者A所編輯之擴增實境應用之互動內容於使用者A當下之實境影像上。
資訊儲存模組80可將已由擴增實境編輯模組60所編輯且由擴增實境顯示模組70所顯示之擴增實境應用之互動內容以檔案方式記錄或儲存之。
第2圖繪示本發明中擴增實境應用產生方法之流程 圖，其可應用於如第3A圖至第4C圖所示使用者A配戴之智慧型眼鏡裝置B。同時，第2圖之擴增實境應用產生方法之主要技術內容如下，其餘技術內容如同上述第1圖之擴增實境應用產生系統所載，於此不再重複敘述。
在第2圖之步驟S1中，由第1圖之一訊號擷取模組10擷取使用者當下至少包括影像訊號(環境影像)之外部訊號，亦可擷取影像訊號之深度資訊或外部訊號之聲音訊號。
在第2圖之步驟S2中，由第1圖之一圖像辨識追蹤模組20辨識與追蹤影像訊號之圖像或標記以得到影像訊號之圖像或標記位置資訊。例如，可透過下列演算法之一者辨識與追蹤圖像或標記之圖像特徵點資訊：尺度不變特徵轉換(SIFT)演算法、加速強健特徵(SURF)演算法、加速分段特徵測試(FAST)演算法、二元強健獨立基礎特徵(BRIEF)演算法、或具方向性BRIEF(ORB)演算法。
在第2圖之步驟S3中，由第1圖之一姿態辨識追蹤模組30辨識與追蹤訊號擷取模組10所擷取之影像訊號中使用者A(見第3A圖至第4C圖)之姿態(如手勢)，以得到使用者A之姿態種類資訊或姿態位置資訊。
在第2圖之步驟S4中，由第1圖之一空間定位模組50依據影像訊號之圖像或標記位置資訊、或使用者A之姿態位置資訊產生相對應之三維空間定位資訊，且三維空間定位資訊可以矩陣資料方式表示或儲存之。
在第2圖之步驟S5中，由第1圖之一人機互動解析模組40解析訊號擷取模組10所擷取之影像訊號(外部訊 號)、及姿態辨識追蹤模組30所取得之使用者A之姿態種類資訊或姿態位置資訊，以產生相對應之人機互動資訊。
在第2圖之步驟S6中，由第1圖之一擴增實境編輯模組60依據人機互動解析模組40之人機互動資訊提供至少一虛擬的編輯元件E(見第3A圖至第4C圖)，以供使用者A用編輯元件E編輯一擴增實境應用之互動內容。
例如，擴增實境編輯模組60可提供使用者A透過多種人機互動選擇不同的編輯元件E，並對編輯元件E之視覺呈現與互動方式進行編輯，且編輯元件E可為二維(2D)圖像、三維(3D)模型、影片或聲音訊號。而且，擴增實境編輯模組60編輯擴增實境應用之互動內容可包括：對編輯元件E之位置、順序、大小、角度或控制方式進行設定、調整或組合。或者，編輯元件E可提供一虛擬鍵盤(圖未示)，以供使用者A透過虛擬鍵盤輸入資訊。
在第2圖之步驟S7中，由第1圖之一擴增實境顯示模組70以疊合方式將使用者A用編輯元件E所編輯之擴增實境應用之互動內容顯示於實境影像上。
在第2圖之步驟S8中，由第1圖之一資訊儲存模組80將已編輯之擴增實境應用之互動內容以檔案方式記錄或儲存之。
第3A圖至第3C圖繪示本發明之擴增實境應用產生系統及方法之一實施例示意圖。
如第3A圖所示，戴有一智慧型眼鏡裝置B之使用者A在一空間內，空間有一張桌子C，且桌子C上放有特定 之圖標D(即標記)。當使用者A所視範圍包含圖標D(標記)後，擴增實境應用產生系統之圖像辨識追蹤模組與空間定位模組即可對圖標D進行辨識與追蹤以得到三維空間定位資訊，使用者A並可透過擴增實境編輯模組開始編輯擴增實境應用之互動內容。
如第3B圖所示，擴增實境應用產生系統之擴增實境編輯模組可提供或顯示多個虛擬的編輯元件E(如玩具球、玩具熊、汽車等)供使用者A編輯或使用。同時，使用者A可透過各種姿態(如手勢A1)或語音A2進行控制以選擇想要的編輯元件E(如玩具熊、汽車)，並將編輯元件E放置到想要的位置上(第3C圖所示)。
另外，使用者A所視範圍內亦可不需要任何的特定物件，並透過例如同步定位與地圖建構技術(Simultaneous Localization And Mapping；SLAM)動態對當前影像作三維空間之識別與定位。
第4A圖至第4C圖繪示本發明之擴增實境應用產生系統及方法之另一實施例示意圖。
如第4A圖所示，戴有一智慧型眼鏡裝置B之使用者A在一空間內，空間有一張桌子C，且桌子C上放有特定之物體F(如特定之花瓶物體等，即圖像、標記或其圖像特徵點資訊)。當使用者A所視範圍包含物體F(圖像、標記或其圖像特徵點資訊)後，擴增實境應用產生系統之圖像辨識追蹤模組與空間定位模組即可對物體F進行辨識與追蹤以得到三維空間定位資訊，使用者A並可透過擴增實境編 輯模組開始編輯擴增實境應用之互動內容。
如第4B圖所示，擴增實境應用產生系統之擴增實境編輯模組可提供或顯示多個虛擬的編輯元件E(如虛擬花)供使用者A編輯或使用。同時，使用者A可透過各種姿態(如手勢A1)或語音A2進行控制以選擇想要的編輯元件E(如第一款式之虛擬花)，並將編輯元件E放置到想要的位置上(第4C圖所示)。
另外，在上述第3A圖至第3C圖之實施例或第4A圖至第4C圖之實施例中，使用者A可在此空間內任意活動變換位置，但因使用者A之位置與角度不同，自然使用者A看到的擴增實境之影像位置與角度也隨之改變。
使用者A亦可透過如手勢A1或語音A2控制等人機互動方式來與擴增實境應用產生系統互動。例如，透過語音告知擴增實境應用產生系統之擴增實境編輯模組顯示更多的編輯元件E，透過辨識到手碰觸到擴增實境畫面中的某一編輯元件E以得知編輯元件E被點選，透過辨識到兩手往外拉伸的動作以對被點選的編輯元件E作放大，透過語音A2告知顯示出虛擬鍵盤，以手勢A1觸碰虛擬鍵盤或語音A2控制的方式得知輸入按鍵之內容。以上的互動方式均可在沉浸式環境下，亦可無須任何的實體接觸。
由上可知，本發明之擴增實境應用產生系統及方法中，主要是結合擴增實境技術或進一步搭配智慧型眼鏡裝置，並藉由擷取與辨識使用者當下之影像訊號(環境影像)或聲音訊號等外部訊號，讓使用者在當下現實環境中以沉 浸式方式動態編輯擴增實境應用，以使擴增實境應用之編輯更為直覺與方便。而且，使用者可透過簡單、直觀或快速之人機互動控制方式，如姿態(手勢)或語音控制，動態地編輯使用者專屬或客製化之擴增實境應用與互動，方便整個編輯與操作過程。同時，該編輯與操作之結果可以檔案之方式記錄或儲存，並提供擴增實境應用程序載入該檔案，以實現使用者於編輯時所希望之擴增實境應用之方式。
上述實施形態僅例示性說明本發明之原理、特點及其功效，並非用以限制本發明之可實施範疇，任何熟習此項技藝之人士均可在不違背本發明之精神及範疇下，對上述實施形態進行修飾與改變。任何運用本發明所揭示內容而完成之等效改變及修飾，均仍應為申請專利範圍所涵蓋。因此，本發明之權利保護範圍，應如申請專利範圍所列。

Claims (18)

  1. 一種擴增實境應用產生系統，包括：一訊號擷取模組，其擷取至少一影像訊號；一圖像辨識追蹤模組，其辨識與追蹤該訊號擷取模組所擷取之該影像訊號之圖像或標記以得到該影像訊號之圖像或標記之位置資訊；一姿態辨識追踪模組，其辨識與追蹤該訊號擷取模組所擷取之該影像訊號中使用者之姿態，以得到該使用者之姿態種類資訊與姿態位置資訊；一空間定位模組，其依據來自該圖像辨識追蹤模組所取得之該影像訊號之圖像或標記之位置資訊以及該姿態辨識追踪模組所取得之該使用者之姿態位置資訊產生相對應之三維空間定位資訊；一人機互動解析模組，其解析該訊號擷取模組所擷取之該影像訊號及該姿態辨識追蹤模組所取得之該使用者之姿態種類資訊與姿態位置資訊，以產生相對應之人機互動資訊；一擴增實境編輯模組，其依據該人機互動解析模組之該人機互動資訊提供至少一編輯元件，以供該使用者用該編輯元件編輯一擴增實境應用之互動內容；以及一擴增實境顯示模組，其以疊合方式將該使用者用該編輯元件所編輯之該擴增實境應用之互動內容顯示於實境影像上。
  2. 如申請專利範圍第1項所述之系統，其中，該訊號擷取模組或該擴增實境顯示模組係連接或整合於該使用者所配戴之智慧型眼鏡裝置。
  3. 如申請專利範圍第1項所述之系統，其中，該訊號擷取模組具有一影訊擷取單元與一音訊擷取單元，該影訊擷取單元擷取該影像訊號及其深度資訊，且該音訊擷取單元擷取聲音訊號。
  4. 如申請專利範圍第1項所述之系統，其中，該圖像辨識追蹤模組透過下列演算法之一者辨識與追蹤該圖像或該標記之圖像特徵點資訊：尺度不變特徵轉換(SIFT)演算法、加速強健特徵(SURF)演算法、加速分段特徵測試(FAST)演算法、二元強健獨立基礎特徵(BRIEF)演算法、或具方向性BRIEF(ORB)演算法。
  5. 如申請專利範圍第1項所述之系統，其中，該擴增實境編輯模組提供該使用者透過多種人機互動選擇不同的編輯元件，以對該編輯元件之視覺呈現與互動方式進行編輯，而該編輯元件為二維(2D)圖像、三維(3D)模型、影片或聲音訊號。
  6. 如申請專利範圍第1項所述之系統，其中，該擴增實境編輯模組編輯該擴增實境應用之互動內容包括對該編輯元件之位置、順序、大小、角度或控制方式進行設定、調整或組合。
  7. 如申請專利範圍第1項所述之系統，其中，該編輯元件提供一虛擬鍵盤，以供該使用者透過該虛擬鍵盤輸入資訊。
  8. 如申請專利範圍第1項所述之系統，其中，該三維空間定位資訊以矩陣資料方式表示或儲存。
  9. 如申請專利範圍第1項所述之系統，更包括一資訊儲存模組，其將已編輯之該擴增實境應用之互動內容以檔案方式記錄或儲存。
  10. 一種擴增實境應用產生方法，包括：擷取至少一影像訊號；由一圖像辨識追蹤模組辨識與追蹤該影像訊號之圖像或標記以得到該影像訊號之圖像或標記之位置資訊；由一姿態辨識追踪模組辨識與追蹤該影像訊號中使用者之姿態以得到該使用者之姿態種類資訊與姿態位置資訊；由一空間定位模組依據來自該圖像辨識追蹤模組所取得之該影像訊號之圖像或標記之位置資訊以及該姿態辨識追踪模組所取得之該使用者之姿態位置資訊產生相對應之三維空間定位資訊；解析該影像訊號及該使用者之姿態種類資訊與姿態位置資訊，以產生相對應之人機互動資訊；依據該人機互動資訊提供至少一編輯元件，以供該使用者用該編輯元件編輯一擴增實境應用之互動內容；以及以疊合方式將該使用者用該編輯元件所編輯之該擴增實境應用之互動內容顯示於實境影像上。
  11. 如申請專利範圍第10項所述之方法，其應用於該使用者所配戴之智慧型眼鏡裝置。
  12. 如申請專利範圍第10項所述之方法，更包括擷取該影像訊號之深度資訊、或聲音訊號。
  13. 如申請專利範圍第10項所述之方法，更包括透過下列演算法之一者辨識與追蹤該圖像或該標記之圖像特徵點資訊：尺度不變特徵轉換(SIFT)演算法、加速強健特徵(SURF)演算法、加速分段特徵測試(FAST)演算法、二元強健獨立基礎特徵(BRIEF)演算法、或具方向性BRIEF(ORB)演算法。
  14. 如申請專利範圍第10項所述之方法，更包括提供該使用者透過多種人機互動選擇不同的編輯元件，以對該編輯元件之視覺呈現與互動方式進行編輯，而該編輯元件為二維(2D)圖像、三維(3D)模型、影片或聲音訊號。
  15. 如申請專利範圍第10項所述之方法，其中，編輯該擴增實境應用之互動內容包括對該編輯元件之位置、順序、大小、角度或控制方式進行設定、調整或組合。
  16. 如申請專利範圍第10項所述之方法，其中，該編輯元件提供一虛擬鍵盤，以供該使用者透過該虛擬鍵盤輸入資訊。
  17. 如申請專利範圍第10項所述之方法，其中，該三維空間定位資訊以矩陣資料方式表示或儲存。
  18. 如申請專利範圍第10項所述之方法，更包括將已編輯之該擴增實境應用之互動內容以檔案方式記錄或儲存。
TW106145991A 2017-12-27 2017-12-27 擴增實境應用產生系統及方法 TWI633500B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW106145991A TWI633500B (zh) 2017-12-27 2017-12-27 擴增實境應用產生系統及方法
CN201810104603.4A CN109979014A (zh) 2017-12-27 2018-02-02 扩增实境应用产生系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106145991A TWI633500B (zh) 2017-12-27 2017-12-27 擴增實境應用產生系統及方法

Publications (2)

Publication Number Publication Date
TWI633500B true TWI633500B (zh) 2018-08-21
TW201928779A TW201928779A (zh) 2019-07-16

Family

ID=63960049

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106145991A TWI633500B (zh) 2017-12-27 2017-12-27 擴增實境應用產生系統及方法

Country Status (2)

Country Link
CN (1) CN109979014A (zh)
TW (1) TWI633500B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI648556B (zh) * 2018-03-06 2019-01-21 仁寶電腦工業股份有限公司 同步定位與地圖建構及手勢辨識方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114077310B (zh) * 2020-08-14 2023-08-25 宏达国际电子股份有限公司 提供虚拟环境的方法与系统及非暂态电脑可读取储存介质
TWI784645B (zh) * 2021-07-29 2022-11-21 宏碁股份有限公司 擴增實境系統及其操作方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120262486A1 (en) * 2011-04-15 2012-10-18 Sony Computer Entertainment Europe Limited System and method of user interaction for augmented reality
US20130286004A1 (en) * 2012-04-27 2013-10-31 Daniel J. McCulloch Displaying a collision between real and virtual objects
CN106462247A (zh) * 2014-06-05 2017-02-22 三星电子株式会社 用于提供增强现实信息的可穿戴设备和方法
TW201708881A (zh) * 2015-08-19 2017-03-01 國立臺北科技大學 擴增實境互動系統及其動態資訊互動顯示方法
TW201710982A (zh) * 2015-09-11 2017-03-16 shu-zhen Lin 互動式擴增實境影音看屋系統
CN106575043A (zh) * 2014-09-26 2017-04-19 英特尔公司 用于手势识别和交互的系统，装置和方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101788046B1 (ko) * 2010-11-03 2017-10-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
TWI579731B (zh) * 2013-08-22 2017-04-21 Chunghwa Telecom Co Ltd Combined with the reality of the scene and virtual components of the interactive system and methods
CN105792003A (zh) * 2014-12-19 2016-07-20 张鸿勋 交互式多媒体生产系统和方法
US9791917B2 (en) * 2015-03-24 2017-10-17 Intel Corporation Augmentation modification based on user interaction with augmented reality scene
JP2016218974A (ja) * 2015-05-26 2016-12-22 イ，ウン−ミ 拡張現実画像表示システムおよび拡張現実画像表示方法
CN106817568A (zh) * 2016-12-05 2017-06-09 网易（杭州）网络有限公司 一种增强现实显示方法和装置
CN107515674B (zh) * 2017-08-08 2018-09-04 山东科技大学 一种基于虚拟现实与增强现实的采矿操作多交互实现方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120262486A1 (en) * 2011-04-15 2012-10-18 Sony Computer Entertainment Europe Limited System and method of user interaction for augmented reality
US20130286004A1 (en) * 2012-04-27 2013-10-31 Daniel J. McCulloch Displaying a collision between real and virtual objects
CN106462247A (zh) * 2014-06-05 2017-02-22 三星电子株式会社 用于提供增强现实信息的可穿戴设备和方法
CN106575043A (zh) * 2014-09-26 2017-04-19 英特尔公司 用于手势识别和交互的系统，装置和方法
TW201708881A (zh) * 2015-08-19 2017-03-01 國立臺北科技大學 擴增實境互動系統及其動態資訊互動顯示方法
TW201710982A (zh) * 2015-09-11 2017-03-16 shu-zhen Lin 互動式擴增實境影音看屋系統

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI648556B (zh) * 2018-03-06 2019-01-21 仁寶電腦工業股份有限公司 同步定位與地圖建構及手勢辨識方法

Also Published As

Publication number Publication date
TW201928779A (zh) 2019-07-16
CN109979014A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
US10761612B2 (en) Gesture recognition techniques
Leiva et al. Pronto: Rapid augmented reality video prototyping using sketches and enaction
Rautaray Real time hand gesture recognition system for dynamic applications
Seo et al. Direct hand touchable interactions in augmented reality environments for natural and intuitive user experiences
TWI524210B (zh) 基於自然姿勢之使用者介面方法及系統
JP7337104B2 (ja) 拡張現実によるモデル動画多平面インタラクション方法、装置、デバイス及び記憶媒体
KR101250619B1 (ko) 가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법
KR100930370B1 (ko) 증강현실 저작 방법 및 시스템과 그 프로그램을 기록한컴퓨터로 읽을 수 있는 기록 매체
TWI633500B (zh) 擴增實境應用產生系統及方法
US20190130656A1 (en) Systems and methods for adding notations to virtual objects in a virtual environment
Jang et al. Metaphoric hand gestures for orientation-aware VR object manipulation with an egocentric viewpoint
WO2014068550A1 (en) Method and apparatus for developing and playing natural user interface applications
KR101483054B1 (ko) 상호작용을 지원하는 모바일 기반 증강현실 제작 시스템 및 방법
US20190155465A1 (en) Augmented media
CN111598996B (zh) 一种基于ar技术的物品3d模型展示方法和系统
US20160182769A1 (en) Apparatus and method for generating motion effects by analyzing motions of objects
US10402068B1 (en) Film strip interface for interactive content
Zhang et al. A novel human-3DTV interaction system based on free hand gestures and a touch-based virtual interface
Ismail et al. Vision-based technique and issues for multimodal interaction in augmented reality
US10417356B1 (en) Physics modeling for interactive content
JP2019535064A (ja) 多次元反応型映像生成装置、方法及びプログラム、並びに多次元反応型映像再生方法及びプログラム
KR20140078083A (ko) 증강 현실이 구현된 만화책
Bruno et al. Mixed prototyping environment with different video tracking techniques
Yew et al. Augmented reality interfaces for smart objects in ubiquitous computing environments
Frikha et al. Natural gesture based interaction with virtual heart in augmented reality