TW201409279A - 互動式擴增實境系統及其可攜式通訊裝置與互動方法 - Google Patents

互動式擴增實境系統及其可攜式通訊裝置與互動方法 Download PDF

Info

Publication number
TW201409279A
TW201409279A TW101131194A TW101131194A TW201409279A TW 201409279 A TW201409279 A TW 201409279A TW 101131194 A TW101131194 A TW 101131194A TW 101131194 A TW101131194 A TW 101131194A TW 201409279 A TW201409279 A TW 201409279A
Authority
TW
Taiwan
Prior art keywords
interactive
image
interactive object
module
augmented reality
Prior art date
Application number
TW101131194A
Other languages
English (en)
Other versions
TWI630505B (zh
Inventor
Kuo-Hung Chiang
Original Assignee
Compal Communication Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Compal Communication Inc filed Critical Compal Communication Inc
Priority to TW101131194A priority Critical patent/TWI630505B/zh
Priority to CN201210346560.3A priority patent/CN103677235A/zh
Priority to US13/744,779 priority patent/US20140063059A1/en
Publication of TW201409279A publication Critical patent/TW201409279A/zh
Application granted granted Critical
Publication of TWI630505B publication Critical patent/TWI630505B/zh

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/22—Setup operations, e.g. calibration, key configuration or button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/323—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections between game devices with different hardware characteristics, e.g. hand-held game devices connectable to game consoles or arcade machines
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/327—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections using wireless networks, e.g. Wi-Fi® or piconet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本案係關於一種互動式擴增實境系統，至少包括互動式物件及可攜式通訊裝置。可攜式通訊裝置包括：控制模組，架構於控制可攜式通訊裝置及互動式物件之運作；影像擷取模組，與控制模組相連接，用以擷取互動式物件之影像；以及通訊模組，與控制模組相連接，用以與互動式物件進行資訊交換；其中，控制模組對影像進行運算及影像重建，並套疊於運算產生之虛擬場景，以產生擴增實境影像，且透過通訊模組傳送動作訊號至互動式物件，俾使互動式物件根據動作訊號進行預設動作，藉此以達到引發使用者高度興趣、降低操作難度以及增進使用者體驗等功效。

Description

互動式擴增實境系統及其可攜式通訊裝置與互動方法
　　本案係關於一種擴增實境系統，尤指一種互動式擴增實境系統及其可攜式通訊裝置與互動方法。
　　隨著科技及資訊技術的演進，消費性電子產品日新月異，為了符合使用者的需求，各式各樣的可攜式通訊裝置便應運而生，例如：智慧型手機（Smart Phone）、掌上型遊戲機（Handheld Game Console）、平板電腦（Tablet PC）、筆記型電腦（Notebook PC）、個人數位助理（PDA, Personal Digital Assistant）、以及掌上型電腦（Pocket PC）等。藉由可攜式通訊裝置以及安裝於其內部之應用程式，不僅能夠提昇工作效率，也為生活增添不少樂趣。
　　其中，又以擴增實境（Augmented Reality, AR）技術為近年來較為熱門之應用，除了用於娛樂之用途外，更可應用於商業或教育等用途。舉例而言，現行之擴增實境技術多係透過可攜式通訊裝置之影像擷取裝置，例如感光元件，拍攝實體世界中的靜態物件，藉由物件辨識與座標定位等運算後，再將靜態物件套疊進虛擬世界之畫面中，例如拍攝建築物以進行城市導覽或拍攝人物以作為虛擬世界中之角色等。
　　然而，現有之擴增實境技術皆係採用被動式技術，亦即實體世界之靜態物件被加入至擴增實境之虛擬世界後，皆屬於被動物件，無法主動地參與擴增實境系統與使用者互動之過程。換言之，於整體互動過程中，所有主動方皆係使用者、虛擬場景或虛擬物件等，故其僅能表現固定之動作模式及固定的場景，不免令使用者感到單調，而無法引發使用者之興趣。此外，使用者必須自行思考如何選擇實體世界之靜態物件，或者與該物件進行何種互動，不僅具有操作不易之問題，更令整體使用者體驗不佳。
　　因此，如何發展一種可改善上述習知技術缺失，使實體世界之物件主動地參與人機互動過程，且操作容易、可引發使用者興趣並增進使用者體驗之互動式擴增實境系統及其可攜式通訊裝置與互動方法，實為目前尚待解決之問題。
　　本案之主要目的為提供一種互動式擴增實境系統及其可攜式通訊裝置與互動方法，俾解決習知擴增實境技術流於被動，無法引發使用者之興趣，且操作不易、使用者體驗不佳等缺點。
　　本案之另一目的為提供一種互動式擴增實境系統及其可攜式通訊裝置與互動方法，藉由可攜式通訊裝置之控制模組控制自身及互動式物件之運作，以達到互動式物件主動參與互動過程，而可引發使用者高度興趣之功效。
　　本案之另一目的為提供一種互動式擴增實境系統及其可攜式通訊裝置與互動方法，藉由可攜式通訊裝置之控制模組進行影像運算、辨識與追蹤，可辨識多樣化之互動式物件，故使用者可隨意選擇互動式物件並與之進行互動，以達到降低操作難度以及增進使用者體驗等功效。
　　為達上述目的，本案之一較佳實施態樣為提供一種互動式擴增實境系統，至少包括：一互動式物件；以及一可攜式通訊裝置，包括：一控制模組，架構於控制該可攜式通訊裝置及該互動式物件之運作；一影像擷取模組，與該控制模組相連接，用以擷取該互動式物件之一影像：以及一通訊模組，與該控制模組相連接，用以與該互動式物件進行資訊交換；其中，該控制模組係對該影像進行運算及影像重建，並將重建後之該影像套疊於經該控制模組運算產生之一虛擬場景，以產生一擴增實境影像，且透過該通訊模組傳送一動作訊號至該互動式物件，俾使該互動式物件根據該動作訊號進行一預設動作。
　　為達上述目的，本案之另一較佳實施態樣為提供一種可攜式通訊裝置，適用於包括一互動式物件之一互動式擴增實境系統，該可攜式通訊裝置至少包括：一控制模組；一影像擷取模組，與該控制模組相連接，用以擷取該互動式物件之一影像；以及一通訊模組，與該控制模組相連接，用以與該互動式物件進行資訊交換；其中，該控制模組係對該影像進行運算及影像重建，並將重建後之該影像套疊於經該控制模組運算產生之一虛擬場景，以產生一擴增實境影像，且透過該通訊模組傳送一動作訊號至該互動式物件，俾使該互動式物件根據該動作訊號進行一預設動作。
　　為達上述目的，本案之另一較佳實施態樣為提供一種互動方法，至少包括以下步驟：提供一可攜式通訊裝置及一互動式物件；該可攜式通訊裝置擷取該互動式物件之一影像；該可攜式通訊裝置對該影像進行運算及影像重建，並將重建後之該影像套疊於一虛擬場景，以產生一擴增實境影像；以及該可攜式通訊裝置傳送一動作訊號至該互動式物件，俾使該互動式物件根據該動作訊號進行一預設動作。
　　體現本案特徵與優點的一些典型實施例將在後段的說明中詳細敘述。應理解的是本案能夠在不同的態樣上具有各種的變化，然其皆不脫離本案的範圍，且其中的說明及圖式在本質上係當作說明之用，而非用以限制本案。
　　請參閱第1圖，其係為本案較佳實施例之互動式擴增實境系統之架構方塊圖。如第1圖所示，本案之互動式擴增實境系統1至少包括互動式物件2及可攜式通訊裝置3。其中互動式物件2係為實體世界之物件，例如但不限於機器人、遙控直升機、電話機等。可攜式通訊裝置3係為智慧型手機、平板電腦、筆記型電腦、掌上型遊戲機、個人數位助理或掌上型電腦，但不以此為限，且包括控制模組31、影像擷取模組32以及通訊模組33。控制模組31係架構於控制可攜式通訊裝置3及互動式物件2之運作，且以透過通訊模組33控制互動式物件2之運作之實現方式為較佳。影像擷取模組32係與控制模組31相連接，用以擷取互動式物件2之影像，且影像擷取模組32係可為但不限於感光元件、網路攝影機(Webcam)或數位攝影機等，通訊模組33係與控制模組31相連接，用以與互動式物件2進行資訊交換，且通訊模組33係包括藍芽通訊晶片、無線保真通訊晶片或射頻通訊晶片等，然不以此為限。於此實施例中，控制模組31係對影像進行運算及影像重建，並將重建後之影像套疊於經控制模組31運算產生之虛擬場景，以產生擴增實境影像，且控制模組31係透過通訊模組33傳送一動作訊號至互動式物件2，俾使互動式物件2根據該動作訊號進行預設動作，以達到互動式物件2主動參與互動過程，而可引發使用者高度興趣之功效。
　　請參閱第2圖，其係為第1圖所示之可攜式通訊裝置之細部架構方塊圖。如第2圖所示，本案可攜式通訊裝置3之控制模組31係更包括中央處理單元311及繪圖處理單元312。其中，繪圖處理單元312主要係進行影像運算、影像重建以及影像繪製等工作，中央處理單元311係進行其他控制及運算工作，且可依運作之閒置情況協助繪圖處理單元312進行部分之影像運算、影像重建及影像繪製等工作。
　　於一些實施例中，本案之可攜式通訊裝置3係更包括儲存模組34、顯示模組35以及輸入模組36。其中，儲存模組34係與控制模組31相連接，且可為例如但不限於記憶體、硬碟機(Hard-Drive Disk, HDD)、快閃記憶體(Flash Memory)或固態硬碟(Solid-State Disk, SSD)等，並儲存有影像辨識與追蹤引擎341、互動式物件特徵資料庫342以及互動式物件行為控制引擎343，且影像辨識與追蹤引擎341、互動式物件特徵資料庫342及互動式物件行為控制引擎343係可封裝於同一應用程式或不同應用程式而儲存於儲存模組33中，以供控制模組31進行載入並進行運算及控制工作。此外，顯示模組35係與控制模組31相連接，用以顯示控制模組31產生之擴增實境影像，但不以此為限。至於輸入模組36，則係透過有線或無線之方式與控制模組31相連接，且可為例如但不限於藍芽鍵盤(Bluetooth Keyboard)、通用序列匯流排鍵盤(Universal Serial Bus Keyboard, USB Keyboard)、迷你通用序列匯流排鍵盤(Mini-USB Keyboard)或微通用序列匯流排鍵盤(Micro-USB Keyboard)等，用以供使用者輸入指令或訊息至控制模組31。
　　根據本案之構想，可攜式通訊裝置3之顯示模組35係可包括輸入單元351及顯示單元352，輸入單元351係可為觸控界面，且顯示單元352係可為液晶面板或電漿顯示面板等，然皆不以此為限。於一些實施例中，輸入單元351更可與顯示單元352整合為一觸控面板，以於顯示控制模組31產生之擴增實境影像之同時，供使用者進行操作或輸入指令或訊息至控制模組31。當然，控制模組31所產生之擴增實境影像，亦可傳送至其他電子裝置或其他顯示裝置進行顯示，而不侷限於在可攜式通訊裝置3自身上顯示，其亦屬本案之教示範圍。
　　請再參閱第1圖，於另一些實施例中，本案互動式擴增實境系統1之互動式物件2係更包括通訊模組21以及動作模組22。其中，互動式物件2之通訊模組21係可包括藍芽通訊晶片、無線保真通訊晶片或射頻通訊晶片等，並與動作模組22相連接，且通訊模組21於接收可攜式通訊裝置3之通訊模組33所傳送之動作訊號後，係將該動作訊號傳送至動作模組22，俾使動作模組22根據該動作訊號進行一預設動作，該預設動作可為例如：閃躲、揮拳、射擊、跳躍、投球、移動、高舉雙手、鼓掌、坐下、蹲下、躺下、大叫、播放笑聲音效、播放哭泣音效或靜止不動等，但不以此為限。
　　請參閱第3圖並配合第1圖及第2圖，其中第3圖係為本案較佳實施例之互動式擴增實境系統實現互動之流程方塊圖。如第1圖、第2圖及第3圖所示，本案之互動式擴增實境系統1係透過可攜式通訊裝置3之影像擷取模組32擷取影像I後，將影像I傳送至控制模組31，其中控制模組31係已預先載入儲存於儲存模組34之影像辨識與追蹤引擎341以及互動式物件行為控制引擎343。於接收影像I後，控制模組31遂啟動影像辨識與追蹤引擎341進行影像辨識，並將影像辨識之結果與儲存於儲存模組34之互動式物件特徵資料庫342內部之物件特徵資料進行比對。根據比對結果，控制模組31係確認互動式物件2之物件類型，並開始進行影像追蹤，且重建影像I並套疊於運算產生之虛擬場景，以產生擴增實境影像，再傳送至顯示模組35進行顯示。
　　同時，控制模組31係啟動已預先載入之互動式物件行為控制引擎343，並依據影像追蹤及影像重建之結果產生相應之動作訊號至通訊模組33，並透過通訊模組33傳送該動作訊號至互動式物件2。互動式物件2之通訊模組21於接收可攜式通訊裝置3之通訊模組33所傳送之動作訊號後，係將動作訊號傳送至動作模組22，俾使動作模組22依據該動作訊號進行預設動作。由此可見，本案藉由可攜式通訊裝置3之控制模組31進行影像運算、辨識與追蹤，可辨識多樣化之互動式物件2，故使用者可隨意選擇互動式物件2並與之進行互動，以達到降低操作難度以及增進使用者體驗等功效。
　　請參閱第4圖及第5圖並配合第1圖，其中第4圖係為本案較佳實施例之互動式物件之結構示意圖，且第5圖係為本案較佳實施例之互動式擴增實境系統之擴增實境影像示意圖。如第1圖、第4圖及第5圖所示，本案互動式擴增實境系統1之互動式物件2係可為一人形物件，例如但不限於一機器人，且具有頭部23、手部24、軀幹25以及腳部26，皆與動作模組22相連接，以依據動作訊號實現前述之各種預設動作。於一些實施例中，可攜式通訊裝置3之影像擷取模組32係擷取互動式物件2之影像I，並對影像I進行運算及影像重建，再將重建後之影像I套疊於運算產生之虛擬場景S，以產生擴增實境影像AR，即如前述。
　　於另一些實施例中，可攜式通訊裝置3更包括複數個虛擬按鍵37、至少一虛擬圖標38以及至少一虛擬物件39，其中虛擬按鍵37、虛擬圖標38以及虛擬物件39皆係顯示於顯示模組35，且虛擬按鍵37與虛擬物件39於擴增實境影像AR中之各種動作相連結，以供使用者進行操作。換言之，使用者透過對虛擬按鍵37單擊、雙擊、滑動、拖曳或其他手勢，可控制虛擬物件39於擴增實境影像AR中之各種動作，例如攻擊影像I上對應互動式物件2之軀幹25之區域，但不以此為限。至於虛擬圖標38，則可用以顯示代表使用者以及互動式物件2血量之血量計，或其他關於使用者及/或互動式物件2之資訊，然亦不以此為限。
　　根據本案之構想，當擴增實境影像AR中之影像I上對應互動式物件2之軀幹25的區域，如前述實施例受到使用者操作之虛擬物件39擊中時，可攜式通訊裝置3之控制模組31係可自互動式物件行為控制引擎343中選擇對應大叫或躺下之動作訊號，並透過通訊模組33傳送至互動式物件2，且互動式物件2係依據該動作訊號進行大叫或躺下等動作，俾與使用者進行情境式之互動。
　　請參閱第6圖，其係為本案較佳實施例之互動方法流程圖。如第6圖所示，本案之互動方法係適用於一互動式擴增實境系統，且至少包括以下步驟：首先，如步驟S100所示，提供互動式物件2及可攜式通訊裝置3；其次，如步驟S200所示，可攜式通訊裝置3擷取互動式物件2之影像；然後，如步驟S300所示，可攜式通訊裝置3對影像進行影像運算及影像重建，並將重建後之影像套疊於虛擬場景，以產生擴增實境影像；最後，如步驟S400所示，可攜式通訊裝置3傳送動作訊號至互動式物件2，俾使互動式物件2根據動作訊號進行預設動作。於本實施例中，互動式物件2及可攜式通訊裝置3之細部架構與前述實施例相同，故於此不再多行贅述。
　　綜上所述，本案提供一種互動式擴增實境系統及其可攜式通訊裝置與互動方法，藉由可攜式通訊裝置之控制模組控制自身及互動式物件之運作，可達到互動式物件主動參與互動過程，進而可引發使用者高度興趣之功效。同時，透過可攜式通訊裝置之控制模組進行影像運算、辨識與追蹤，可辨識多樣化之互動式物件，故使用者可隨意選擇互動式物件並與之進行互動，以達到降低操作難度以及增進使用者體驗等功效。
　　縱使本發明已由上述之實施例詳細敘述而可由熟悉本技藝之人士任施匠思而為諸般修飾，然皆不脫如附申請專利範圍所欲保護者。
1．．．互動式擴增實境系統
2．．．互動式物件
21．．．通訊模組
22．．．動作模組
23．．．頭部
24．．．手部
25．．．軀幹
26．．．腳部
3．．．可攜式通訊裝置
31．．．控制模組
311．．．中央處理單元
312．．．繪圖處理單元
32．．．影像擷取模組
33．．．通訊模組
34．．．儲存模組
341．．．影像辨識與追蹤引擎
342．．．互動式物件特徵資料庫
343．．．互動式物件行為控制引擎
35．．．顯示模組
351．．．輸入單元
352．．．顯示單元
36．．．輸入模組
37．．．虛擬按鍵
38．．．虛擬圖標
39．．．虛擬物件
AR．．．擴增實境影像
I．．．影像
S．．．虛擬場景
S100~S400．．．步驟
第1圖係為本案較佳實施例之互動式擴增實境系統之架構方塊圖。
第2圖係為第1圖所示之可攜式通訊裝置之細部架構方塊圖。
第3圖係為本案較佳實施例之互動式擴增實境系統實現互動之流程方塊圖。
第4圖係為本案較佳實施例之互動式物件之結構示意圖。
第5圖係為本案較佳實施例之互動式擴增實境系統之擴增實境影像示意圖。
第6圖係為本案較佳實施例之互動方法流程圖。
1．．．互動式擴增實境系統
2．．．互動式物件
21．．．通訊模組
22．．．動作模組
3．．．可攜式通訊裝置
31．．．控制模組
32．．．影像擷取模組
33．．．通訊模組
34．．．儲存模組
35．．．顯示模組

Claims (10)

  1. 一種互動式擴增實境系統，至少包括：
    　　一互動式物件；以及
    　　一可攜式通訊裝置，包括：
    　　　　一控制模組，架構於控制該可攜式通訊裝置及該互動式物件之運作；
    　　　　一影像擷取模組，與該控制模組相連接，用以擷取該互動式物件之一影像；以及
    　　　　一通訊模組，與該控制模組相連接，用以與該互動式物件進行資訊交換；
    　　其中，該控制模組係對該影像進行運算及影像重建，並將重建後之該影像套疊於經該控制模組運算產生之一虛擬場景，以產生一擴增實境影像，且透過該通訊模組傳送一動作訊號至該互動式物件，俾使該互動式物件根據該動作訊號進行一預設動作。
  2. 如申請專利範圍第1項所述之互動式擴增實境系統，其中該可攜式通訊裝置更包括一儲存模組，該儲存模組至少包括儲存於其內之一影像辨識與追蹤引擎、一互動式物件特徵資料庫以及一互動式物件行為控制引擎，該互動式物件特徵資料庫內部係儲存有物件特徵資料，且該互動式物件行為控制引擎內部係儲存有對應該預設動作之該動作訊號。
  3. 如申請專利範圍第2項所述之互動式擴增實境系統，其中該影像辨識與追蹤引擎、該互動式物件特徵資料庫以及該互動式物件行為控制引擎係封裝於同一應用程式或封裝於不同之應用程式內。
  4. 如申請專利範圍第1項所述之互動式擴增實境系統，其中該可攜式通訊裝置更包括一顯示模組，且該顯示模組係包括一輸入單元以及一顯示單元。
  5. 如申請專利範圍第4項所述之互動式擴增實境系統，其中該輸入單元以及該顯示單元係整合為一觸控面板。
  6. 如申請專利範圍第1項所述之互動式擴增實境系統，其中該互動式物件至少包括：
    　　一通訊模組，係透過無線通訊之方式與該可攜式通訊裝置之該通訊模組進行資訊交換，用以接收該動作訊號；以及
    　　一動作模組，與該通訊模組相連接，且係根據該動作訊號進行該預設動作。
  7. 如申請專利範圍第1項所述之互動式擴增實境系統，其中該可攜式通訊裝置更包括複數個虛擬按鍵、至少一虛擬圖標以及至少一虛擬物件，其中該複數個虛擬按鍵、該虛擬圖標以及該虛擬物件係顯示於該顯示模組。
  8. 如申請專利範圍第7項所述之互動式擴增實境系統，其中該複數個虛擬按鍵係與該虛擬物件於該擴增實境影像中之各種動作相連結，且該虛擬圖標係顯示關於一使用者及該互動式物件之資訊。
  9. 一種可攜式通訊裝置，適用於包括一互動式物件之一互動式擴增實境系統，該可攜式通訊裝置至少包括：
    　　一控制模組；
    　　一影像擷取模組，與該控制模組相連接，用以擷取該互動式物件之一影像；以及
    　　一通訊模組，與該控制模組相連接，用以與該互動式物件進行資訊交換；
    　　其中，該控制模組係對該影像進行運算及影像重建，並將重建後之該影像套疊於經該控制模組運算產生之一虛擬場景，以產生一擴增實境影像，且透過該通訊模組傳送一動作訊號至該互動式物件，俾使該互動式物件根據該動作訊號進行一預設動作。
  10. 一種互動方法，至少包括以下步驟：
    　　提供一可攜式通訊裝置及一互動式物件；
    　　該可攜式通訊裝置擷取該互動式物件之一影像；
    　　該可攜式通訊裝置對該影像進行運算及影像重建，並將重建後之該影像套疊於一虛擬場景，以產生一擴增實境影像；以及
    　　該可攜式通訊裝置傳送一動作訊號至該互動式物件，俾使該互動式物件根據該動作訊號進行一預設動作。
TW101131194A 2012-08-28 2012-08-28 互動式擴增實境系統及其可攜式通訊裝置與互動方法 TWI630505B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW101131194A TWI630505B (zh) 2012-08-28 2012-08-28 互動式擴增實境系統及其可攜式通訊裝置與互動方法
CN201210346560.3A CN103677235A (zh) 2012-08-28 2012-09-18 交互式扩增实境系统、便携式通讯装置与互动方法
US13/744,779 US20140063059A1 (en) 2012-08-28 2013-01-18 Interactive augmented reality system and portable communication device and interaction method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101131194A TWI630505B (zh) 2012-08-28 2012-08-28 互動式擴增實境系統及其可攜式通訊裝置與互動方法

Publications (2)

Publication Number Publication Date
TW201409279A true TW201409279A (zh) 2014-03-01
TWI630505B TWI630505B (zh) 2018-07-21

Family

ID=50186930

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101131194A TWI630505B (zh) 2012-08-28 2012-08-28 互動式擴增實境系統及其可攜式通訊裝置與互動方法

Country Status (3)

Country Link
US (1) US20140063059A1 (zh)
CN (1) CN103677235A (zh)
TW (1) TWI630505B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123009A (zh) * 2014-08-15 2014-10-29 重庆巨蟹数码影像有限公司 一种利用手持通信设备触屏对虚拟现实展示端的控制系统
CN106249847A (zh) * 2015-07-21 2016-12-21 深圳市拓丰源电子科技有限公司 一种基于头戴式设备实现远程控制的虚拟增强现实系统
CN105573500B (zh) * 2015-12-22 2018-08-10 王占奎 眼动控制的智能ar眼镜设备
TW201743241A (zh) 2016-06-01 2017-12-16 原相科技股份有限公司 可攜式電子裝置及其運作方法
CN113378137A (zh) * 2016-06-15 2021-09-10 原相科技股份有限公司 用于便携式电子装置中的运作方法
US11145122B2 (en) 2017-03-09 2021-10-12 Samsung Electronics Co., Ltd. System and method for enhancing augmented reality (AR) experience on user equipment (UE) based on in-device contents
CN111915737B (zh) * 2020-08-11 2024-03-01 厦门长辉实业有限公司 一种基于增强现实的人与物交互系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2912318B1 (fr) * 2007-02-13 2016-12-30 Parrot Reconnaissance d'objets dans un jeu de tir pour jouets telecommandes
DK2435149T3 (en) * 2009-05-28 2015-09-21 Anki Inc Distributed system for autonomous control of toy cars
FR2957266B1 (fr) * 2010-03-11 2012-04-20 Parrot Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante.
GB2478738A (en) * 2010-03-16 2011-09-21 Belron Hungary Kft Zug Branch Eye level display in communication with electronic device
US8854356B2 (en) * 2010-09-28 2014-10-07 Nintendo Co., Ltd. Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method
US20120122570A1 (en) * 2010-11-16 2012-05-17 David Michael Baronoff Augmented reality gaming experience
CN102591446A (zh) * 2011-01-10 2012-07-18 海尔集团公司 手势控制显示系统及其控制方法

Also Published As

Publication number Publication date
CN103677235A (zh) 2014-03-26
TWI630505B (zh) 2018-07-21
US20140063059A1 (en) 2014-03-06

Similar Documents

Publication Publication Date Title
TWI630505B (zh) 互動式擴增實境系統及其可攜式通訊裝置與互動方法
JP7331124B2 (ja) 仮想オブジェクトの制御方法、装置、端末及び記憶媒体
WO2020063009A1 (zh) 图像处理方法、装置、存储介质及电子设备
US20170038829A1 (en) Social interaction for remote communication
CN102749990A (zh) 通过追踪用户视线和姿态提供反馈的系统和方法
CN105320262A (zh) 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
WO2021093452A1 (zh) 基于人工智能的博弈业务执行方法、装置、设备及介质
Rosenblum Virtual and augmented reality 2020
US10166477B2 (en) Image processing device, image processing method, and image processing program
TW201245931A (en) Robotic device
WO2017071385A1 (zh) 一种虚拟现实场景中目标物体的控制方法及装置
CN109426343B (zh) 基于虚拟现实的协作训练方法及系统
CN112206517A (zh) 一种渲染方法、装置、存储介质及计算机设备
CN113082688A (zh) 游戏中虚拟角色的控制方法、装置、存储介质及设备
CN110941977A (zh) 图像处理方法、装置、存储介质及电子设备
JP7547646B2 (ja) 連絡先情報表示方法、装置、電子機器、及びコンピュータープログラム
CN108833791A (zh) 一种拍摄方法和装置
CN113413600B (zh) 信息处理方法、装置、计算机设备及存储介质
WO2023207989A1 (zh) 虚拟对象的控制方法、装置、设备及存储介质
US20130179139A1 (en) Method for applying virtual person and portable electronic device for use with the method
Liu Analysis of Interaction Methods in VR Virtual Reality
CN110244898A (zh) 控制终端设备的方法及终端设备
CN106063248A (zh) 通用捕获
CN102778845A (zh) 机器人装置
CN109547696A (zh) 一种拍摄方法及终端设备

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees