TW201514761A - 控制電子裝置的方法、手持電子裝置與監控系統 - Google Patents

控制電子裝置的方法、手持電子裝置與監控系統 Download PDF

Info

Publication number
TW201514761A
TW201514761A TW102136046A TW102136046A TW201514761A TW 201514761 A TW201514761 A TW 201514761A TW 102136046 A TW102136046 A TW 102136046A TW 102136046 A TW102136046 A TW 102136046A TW 201514761 A TW201514761 A TW 201514761A
Authority
TW
Taiwan
Prior art keywords
action
energy consumption
consumption information
information pattern
image
Prior art date
Application number
TW102136046A
Other languages
English (en)
Other versions
TWI526878B (zh
Inventor
An-Yi Chen
Chia-Wei Kang
Tsung-Sheng Kuo
Original Assignee
Tatung Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tatung Co filed Critical Tatung Co
Priority to TW102136046A priority Critical patent/TWI526878B/zh
Priority to CN201310712718.9A priority patent/CN104516497B/zh
Priority to US14/279,324 priority patent/US9565238B2/en
Publication of TW201514761A publication Critical patent/TW201514761A/zh
Application granted granted Critical
Publication of TWI526878B publication Critical patent/TWI526878B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2814—Exchanging control software or macros for controlling appliance services in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/284—Home automation networks characterised by the type of medium used
    • H04L2012/2841—Wireless
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Abstract

一種控制電子裝置的方法、手持電子裝置與監控系統。透過取像單元在顯示單元中顯示取像範圍內的影像。偵測影像內的數位圖章。數位圖章對應至單一或多個可控制裝置。在影像上顯示數位圖章對應的控制介面。偵測使用者對控制介面所執行的操作動作，藉以控制數位圖章所對應的可控制裝置。

Description

控制電子裝置的方法、手持電子裝置與監控系統
本發明是有關於一種控制電子裝置的方法及裝置，且特別是有關於一種基於擴增實境(Augmented Reality，AR)技術之控制電子裝置的方法、手持電子裝置與監控系統。
隨著科技的進步，集成了各種技術的成果(例如計算機圖形技術、計算機模擬技術、人工智慧、感測技術、顯示技術、網路並行處理)而發展出虛擬實境(Virtual Reality，VR)。虛擬實境是利用電腦繪圖及影像合成等技術，由電腦模擬現實環境進而建構出的虛擬世界。一般而言，使用者可透過頭戴式顯示器以及三維(three-dimensional，3D)感應手套等裝備來對虛擬實境中的物件進行操作。目前許多數位博物館、企業，也已經逐漸運用虛擬實境技術進行資訊傳播與展示。
近年來，擴增實境的發展，也已經十分成熟，成為國外 大企業爭相應用的展示技術。擴增實境是由真實世界的影像與虛擬物件結合而成，這種技術的目標是在螢幕上把虛擬世界套在現實世界並進行互動，藉由提供使用者和虛擬物件互動的方式以延伸使用者的知覺感受。而和虛擬實境相較下，擴增實境更為貼近真實。據此，對於擴增實境的應用則為目前研究上被重視的一環。
本發明提供一種控制電子裝置的方法、手持電子裝置與監控系統，藉由手持電子裝置即時擷取的影像，結合擴增實境技術，來產生即時互動。
本發明的控制電子裝置的方法，用於手持電子裝置。此方法包括：透過取像單元在顯示單元中顯示取像範圍內的影像；偵測影像內的數位圖章，其中數位圖章對應至單一或多個可控制裝置；在影像上對應於數位圖章的位置，顯示數位圖章對應的控制介面；以及偵測使用者對控制介面所執行的操作動作，藉以控制數位圖章所對應的可控制裝置。
在本發明的一實施例中，在數位圖章對應至位於一指定空間中的多個可控制裝置的情況下，而上述偵測使用者對控制介面所執行的操作動作的步驟包括：依據對屬於指定空間的控制介面進行的操作動作，進而同時控制這些可控制裝置。
在本發明的一實施例中，在數位圖章對應至位於一指定空間中的多個可控制裝置的情況下，而在上述偵測使用者對控制 介面所執行的操作動作的步驟之後，當偵測到操作動作為進入指定空間的動作時，同時顯示影像與指定空間對應的空間畫面。
在本發明的一實施例中，上述在偵測到操作動作為進入指定空間的動作時，還可連線至指定空間所對應的遠端取像單元，以透過遠端取像單元來獲得空間畫面。
在本發明的一實施例中，上述控制介面為能耗資訊圖案。而在偵測使用者對控制介面所執行的操作動作的步驟之後，還包括底下多種情況。當偵測到操作動作為啟動動作時，產生致能指令，藉以致能可控制裝置的供電。當偵測到操作動作為關閉動作時，產生禁能指令，藉以禁能可控制裝置的供電。當偵測到操作動作為電量調整動作時，產生電量調度指令，藉以調整可控制裝置的用電量。
在本發明的一實施例中，上述電量調整動作為拖曳能耗資訊圖案並疊合至另一能耗資訊圖案，以使該能耗資訊圖案對應的可控制裝置的用電量被調度至另一能耗資訊圖案對應的可控制裝置。或者，電量調整動作為縮小或放大能耗資訊圖案，以使能耗資訊圖案對應的可控制裝置的用電量增加或減少。另外，關閉動作為移除能耗資訊圖案，以禁能能耗資訊圖案對應的可控制裝置的供電。又，在移除能耗資訊圖案的步驟之後，在偵測到啟動動作為新增能耗資訊圖案時，產生致能指令，藉以致能能耗資訊圖案對應的可控制裝置的供電。
在本發明的一實施例中，上述在偵測使用者對控制介面 所執行的操作動作的步驟之後，產生一指令，並且將指令傳送至伺服器，以由伺服器依據指令來控制可控制裝置。
在本發明的一實施例中，上述在偵測使用者對控制介面所執行的操作動作的步驟之後，產生一指令，並且將指令傳送至可控制裝置，以使得可控制裝置依據指令來執行對應的動作。
本發明的手持電子裝置，包括：顯示單元、取像單元、通訊單元以及處理單元。處理單元耦接至顯示單元、取像單元以及通訊單元。取像單元用以在顯示單元中顯示取像範圍內的影像。通訊單元用以與可控制裝置進行溝通。處理單元用以偵測影像內的數位圖章，其中數位圖章對應至單一或多個可控制裝置，並在影像上對應於數位圖章的位置，顯示數位圖章對應的控制介面，以及偵測使用者對控制介面所執行的操作動作，以透過通訊單元控制數位圖章所對應的可控制裝置。
本發明的監控系統，包括：多個可控制裝置、手持電子裝置以及伺服器。這些可控制裝置分別具有一數位圖章。手持電子裝置用以透過取像單元在顯示單元中顯示取像範圍內的影像。伺服器用以透過網際網路自手持電子裝置接收影像。而伺服器偵測影像內的數位圖章，並透過網際網路使得手持電子裝置的顯示單元的影像上，顯示數位圖章對應的控制介面。並且，手持電子裝置接收使用者對控制介面所執行的操作動作，並傳送操作動作至伺服器，使得伺服器依據操作動作而產生指令，進而控制可控制裝置。
基於上述，上述實施方式中導入擴增實境即時影像疊合與互動操作，有效結合現實場景與虛擬物件(控制介面)，增進智慧化即時操作的介面友善程度。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100‧‧‧電子裝置
110‧‧‧取像單元
120‧‧‧顯示單元
130‧‧‧通訊單元
140‧‧‧儲存單元
150‧‧‧處理單元
300‧‧‧場景
301、302、510、511‧‧‧可控制裝置
310、400‧‧‧影像
311、312、401~404‧‧‧控制介面
411‧‧‧大門
412、413‧‧‧燈
414‧‧‧監視錄影器
500‧‧‧監控系統
520‧‧‧伺服器
S205~S220‧‧‧控制電子裝置的方法各步驟
圖1是依照本發明一實施例的手持電子裝置的方塊圖。
圖2是依照本發明一實施例的控制電子裝置的方法流程圖。
圖3A及圖3B是依照本發明一實施例的顯示控制介面的示意圖。
圖4是依照本發明一實施例的另一種顯示控制介面的示意圖。
圖5是依照本發明一實施例的監控系統的示意圖。
本發明提出一種控制電子裝置的方法、手持電子裝置與監控系統，運用擴增實境(Augmented Reality，AR)概念與技術，將可控制裝置化身為虛擬物件，並與場景中的現實物件結合，透過手持電子裝置與空間中各種電子裝置進行直接或間接的通訊連結，建構一個三維視覺化及互動操作介面的監控系統。為了使本 發明之內容更為明瞭，以下特舉實施例作為本發明確實能夠據以實施的範例。
圖1是依照本發明一實施例的手持電子裝置的方塊圖。請參照圖1，手持電子裝置100包括取像單元110、顯示單元120、通訊單元130、儲存單元140以及處理單元150。處理單元150耦接至取像單元110、顯示單元120、通訊單元130以及儲存單元140。
取像單元110例如是採用電荷耦合元件(Charge coupled device，CCD)鏡頭、互補式金氧半電晶體(Complementary metal oxide semiconductor transistors，CMOS)鏡頭、或紅外線鏡頭等的攝影機或照相機。透過取像單元110在顯示單元120中顯示取像範圍內的影像。
顯示單元120例如為液晶顯示器(Liquid-Crystal Display，LCD)、電漿顯示器、真空螢光顯示器、發光二極體(Light-Emitting Diode，LED)顯示器、場發射顯示器(Field Emission Display，FED)及/或其他合適種類的顯示器，在此並不限制其種類。另，顯示單元120亦可以結合觸控模組而成為觸控式螢幕，在此亦不限制。
通訊單元130例如為第三代(third Generation，3G)行動通訊模組、通用封包無線服務(General Packet Radio Service，GPRS)模組或Wi-Fi模組等。藉此，手持電子裝置100可透過通訊單元130來與可控制裝置進行溝通。
儲存單元140例如是任意型式的固定式或可移動式隨機 存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)、硬碟或其他類似裝置或這些裝置的組合。
處理單元150例如為液晶顯示器(Liquid-Crystal Display，LCD)、電漿顯示器、真空螢光顯示器、發光二極體(Light-Emitting Diode，LED)顯示器、場發射顯示器(Field Emission Display，FED)及/或其他合適種類的顯示器，在此並不限制其種類。
處理單元150偵測影像內的數位圖章(stamp)。並且，處理單元150在影像上對應於數位圖章的位置，顯示數位圖章對應的控制介面，以及偵測使用者對控制介面所執行的操作動作，以透過通訊單元130控制數位圖章所對應的單一或多個可控制裝置。
具體而言，事先於各個可控制裝置中設置數位圖章。另外，亦可針對一指定空間中來設定數位圖章。而指定空間的數位圖章則是對應於指定空間中的一或多個可控制裝置。例如，在門口設置一數位圖章，以門內的空間作為指定空間，將指定空間內的多個電子裝置設定為此數位圖章對應的可控制裝置。
在獲得影像之後，處理單元150便會偵測影像中是否存在數位圖章。在偵測到影像中存在數位圖章的情況下，處理單元150自一資料庫中取得數位圖章對應的控制介面，然後在顯示單元120即時呈現的影像中顯示控制介面，例如在影像上疊加上控制介 面的圖層。上述資料庫例如是存放於儲存單元140，事先即建立好各個數位圖章的相關資訊及相關的控制介面。
另外，在其他實施例中，亦可在手持電子裝置100中設置可以感應數位圖章的感應單元，而由感應單元來判斷所拍攝的影像中是否存在數位圖章。在此並不限制數位圖章的獲得方式。
在此，儲存單元140中儲存有多個程式碼片段，上述程式碼片段在被安裝後，會由處理單元150來執行。這些程式碼片段包括多個指令，處理單元150藉由這些指令來執行底下控制電子裝置(即，可控制裝置)的方法的多個步驟。在本實施例中，手持電子裝置100僅包括一個處理單元150，而在其他實施例中，電子裝置100亦可包括多個處理單元150，而由這些處理單元150來執行被安裝的程式碼片段。底下即搭配上述手持電子裝置100來說明對可控制裝置的控制方法。
圖2是依照本發明一實施例的控制電子裝置的方法流程圖。請同時參照圖1及圖2，在步驟S205中，透過取像單元110在顯示單元120中顯示取像範圍內的影像。即，利用取像單元110擷取當下場景的影像，並使得影像呈現於顯示單元120中。
接著，在步驟S210中，由處理單元150偵測影像內的數位圖章。例如，處理單元150執行影像辨識模組來辨識影像中是否存在有數位圖章。然，在其他實施例中，處理單元150可透過一感應單元來偵測取像範圍內是否存在數位圖章，在此並不加以限制。
之後，在步驟S215中，由處理單元150在影像對應於數位圖章的位置，顯示數位圖章對應的控制介面。在此，控制介面可以是圖標(icon)、圖案、或具備操作功能的使用者介面、或虛擬旋鈕等。例如，在處理單元150偵測到影像中所包括的數位圖章之後，處理單元150可自儲存單元140中查詢資料庫，藉以來取得數位圖章對應的控制介面。接著，處理單元150將控制介面顯示於影像中數位圖章對應的位置。
舉例來說，圖3A及圖3B是依照本發明一實施例的顯示控制介面的示意圖。在本實施例中，以平板電腦作為手持電子裝置100，並且在場景300中包括具有數位圖章(在此未繪示)的可控制裝置301與可控制裝置302。
在圖3A中，使用者將手持電子裝置100朝向場景300，而透過取像單元110來獲得其取像範圍內之景像的影像310，如圖3B所示。而處理單元150例如可利用存於儲存單元140的影像辨識模組，在影像310中找到可控制裝置301與可控制裝置302各自的數位圖章。之後，如圖3B所示，在影像310對應於數位圖章的位置，顯示數位圖章對應的控制介面311及控制介面312。
返回圖2，在步驟S220中，處理單元150偵測使用者對控制介面所執行的操作動作，藉以控制數位圖章所對應的可控制裝置。例如，上述操作動作為縮放操作、拖曳操作、旋轉操作等等。即，使用者可對控制介面執行縮小/放大操作、拖曳操作、旋轉操作。或者，在控制介面有提供操作功能的情況下，使用者亦 可直接使用控制介面的操作功能。
例如，當處理單元150偵測到操作動作為啟動動作時，產生致能指令，藉以致能可控制裝置的供電。當處理單元150偵測到操作動作為關閉動作時，產生禁能指令，藉以禁能可控制裝置的供電。當偵測到操作動作為電量調整動作時，產生電量調度指令，藉以調整可控制裝置的用電量。而處理單元150在偵測到操作動作後，會產生對應的指令，並透過通訊單元130將指令傳送至對應的可控制裝置。據此，接收到指令的可控制裝置便會執行對應的動作。另外，處理單元150亦可將指令傳送至一伺服器，而由伺服器來控制可控制裝置。
底下以控制介面311、312為能耗資訊圖案為例，並搭配圖3A及圖3B來說明如何利用控制介面311、312控制對應的可控制裝置301、302。如圖3B所示在數位圖章對應的控制介面311、312顯示於影像310之後，使用者便可對控制介面311、312來執行操作動作。
使用者可直接對顯示單元120(例如為觸控螢幕)所顯示的控制介面311、312進行觸控操作。例如，移除控制介面311或312、放大或縮小控制介面311或312、將控制介面311拖曳至控制介面312等。
當處理單元150偵測到能耗資訊圖案被拖曳並疊合至另一能耗資訊圖案時，則判定產生電量調整動作。在此，假設偵測到控制介面311被拖曳至控制介面312。此時，處理單元150會產 生電量調度指令，藉以將控制介面311對應的可控制裝置301的用電量調度至控制介面312對應的可控制裝置302的用電量。
當處理單元150偵測到能耗資訊圖案被縮小或放大時，判定產生電量調整動作。在此，假設偵測到控制介面311被放大或縮小，則處理單元150會產生電量調度指令，使控制介面311對應的可控制裝置301的用電量對應放大操作而增加，或對應縮小操作而減少。
當處理單元150偵測到能耗資訊圖案被移除時，判定產生關閉動作。在此，假設偵測到控制介面312被移除(例如被拖曳至垃圾筒)，則處理單元150產生禁能指令，藉以禁能控制介面312對應的可控制裝置302的供電。而在移除控制介面312之後，在處理單元150偵測到控制介面312被新增回來時，判定產生啟動動作，並且產生致能指令，藉以致能控制介面312對應的可控制裝置302的供電。
另外，亦可針對指定空間來設定對應的數位圖章，藉此來同時控制指定空間內的可控制裝置。在數位圖章對應至指定空間的情況下，處理單元150還可進一步依據對屬於指定空間的控制介面進行的操作動作，進而同時控制指定空間內的多個可控制裝置。另外，當處理單元150偵測到操作動作為進入指定空間的動作(例如，快速點擊兩次控制介面)時，同時顯示影像與指定空間對應的空間畫面。此外，當指定空間非使用者當下所能看到的場景，則處理單元150還可透過通訊單元130連線至指定空間 所對應的遠端取像單元，以透過遠端取像單元來獲得指定空間的空間畫面。
舉例來說，圖4是依照本發明一實施例的另一種顯示控制介面的示意圖。在本實施例中，於實際場景中包括四個數位圖章，分別設置於大門411、大門411兩側的燈412、413以及監視錄影器414。
在圖4中，使用者以手持電子裝置100的取像單元110拍攝眼前場景，使得影像400顯示於顯示單元120。影像400包括控制介面401、402、403、404，其分別對應至底下四個可控制裝置，即，大門411、監視錄影器414、燈413以及燈412。在此，為了表示控制介面401與其他控制介面402、403、404的不同，而使用與控制介面402、403、404的形狀不同的形狀。然，在此僅為其中一種實施方式，並不以此為限。
倘若使用者快速點擊兩次控制介面411，則處理單元150連線至指定空間(門內大廳空間)的遠端取像單元，並將遠端取像單元所擷取的屬於指定空間的空間畫面顯示於顯示單元120中。例如，可以子母畫面的方式來同時顯示影像400與指定空間的空間畫面。而使用者例如可對控制介面401執行操作動作，藉以來同時控制指定空間內所有的可控制裝置。例如，當對控制介面401執行關閉動作時，則指定空間內的所有可控制裝置的供電會同時被禁能。
另外，處理單元150還可進一步偵測空間畫面中是否存 在有數位圖章，若有，亦可執行如同圖1所示的步驟S215與步驟S220。藉此，讓使用者得以透過空間畫面上的控制介面來控制指定空間內的可控制裝置。
而上述關於影像的處理及控制介面的偵測除了由手持電子裝置100來處理之外，亦可由雲端的伺服器來進行處理。底下再舉一例說明。
圖5是依照本發明一實施例的監控系統的示意圖。請參照圖1及圖5，監控系統500包括由作為雲端儲存與運算系統的伺服器520、手持電子裝置100以及可控制裝置510、511。在此僅列舉兩個可控制裝置510、511，然在其他實施例中並不限制可控制裝置的數量。手持電子裝置100利用雲端技術而透過伺服器520來控制可控制裝置510、511。
可控制裝置510、520例如為智慧插座、本身具能耗資訊傳輸的智慧家電等。手持電子裝置100例如為具有取像單元110與顯示單元120的手機、平板電腦、個人數位助理(Personal Digital Assistant，PDA)、相機等，其利用取像單元110在取像範圍內擷取影像，使得影像顯示於顯示單元120中。
伺服器520為具有強大運算能力的主機，其透過網際網路自手持電子裝置100接收上述影像。而伺服器520偵測影像內的數位圖章，並透過網際網路使得手持電子裝置100的顯示單元120的影像上顯示數位圖章對應的控制介面(例如與圖3B或圖4相似)。並且，手持電子裝置100接收使用者對控制介面所執行的 操作動作(例如啟動動作、關閉動作或電量調整動作等)，並傳送操作動作至伺服器520，使得伺服器520依據操作動作而產生對應的指令(例如為致能指令、禁能指令或電量調度指令等)，進而控制可控制裝置510、511。
另外，手持電子裝置100還可將使用者的能耗操作習慣及歷史紀錄上傳至伺服器520，並在使用者下次進行操作時，主動提供給使用者參考，協助更優化能源使用情況。
底下以居家用電情境為例來進行說明。
可控制裝置510、511已接受一能耗管理系統，即伺服器520的監測控管，並且在手持電子裝置100中安裝有能耗管理應用程式。之後，啟動各接受監控的可控制裝置510、511與手持電子裝置100的直接通訊(如裝置對裝置(Device to Device，D2D)通訊技術、近場通訊(Near Field Communication，NFC)技術)或間接聯絡(如透過標籤(tag)或影像辨識)，識別後手持電子裝置100直接與雲端的伺服氣520進行互動。
使用者可以手持電子裝置100的取像單元110向著某一空間(如客廳)進行拍攝。在此，還可進一步設定一登入身分驗證動作，例如提示使用者來輸入其帳號資訊。在使用者的身分驗證無誤之後，於顯示單元120中，除了呈現客廳實景、含有各接受監控的可控制裝置(如電視、家用影音系統、電燈、電扇、冷氣等)之外，並在影像中各接受監控的可控制裝置的附近位置，以影像物件疊加上能耗資訊圖案(即，控制介面)。使用者在觀察 能耗使用現況之後，欲針對各接受監控的可控制裝置進控制，可直接對可控制裝置的控制介面進行觸控式的操作。
例如，伺服器520可依據對屬於指定空間的控制介面進行的操作動作，進而同時控制可控制裝置510、511。另，以可控制裝置510為偵測對象，當偵測到操作動作為啟動動作時，伺服器520產生致能指令，藉以致能可控制裝置510的供電。當偵測到操作動作為關閉動作時，伺服器520產生禁能指令，藉以禁能可控制裝置510的供電。當偵測到操作動作為電量調整動作時，伺服器產生電量調度指令，藉以調整可控制裝置510的用電量。
底下再列舉兩種實施情境來進行說明。
情境一為應用於校園等大範圍空間。啟動手持電子裝置100所安裝的能耗管理應用程式，而利用取像單元110拍攝校園，並在顯示單元120內顯示校園景況，以及受監視的各個區域(即，指定空間)。指定空間可以包括行政大樓、資訊大樓、商學大樓、理工大樓、停車場、操場、籃球場或游泳池等區域。在此，尚未於各個指定空間顯示出對應的控制介面(即，能耗資訊圖案)。
倘若使用者對停車場區域執行相關的點選操作(例如以手指觸碰停車場區域)，則可在顯示單元120中浮現出停車場燈光的能耗資訊圖案。使用者可以手指將對能耗資訊圖案進行縮小或放大，使得停車場燈光隨著能耗資訊圖案的縮小而變暗，隨著能耗資訊圖案的放大而變亮，且亮暗變化的幅度與速度亦類比於能耗資訊圖案縮小、放大的程度。
倘若使用者對籃球場區域執行相關的點選操作，則可在顯示單元120中浮現出籃球場燈光的能耗資訊圖案。使用者可以手指將能耗資訊圖案拖曳至垃圾桶，或者以其他方式來移除能耗資訊圖案。此時，籃球場燈光會隨著能耗資訊圖案的移除而熄滅。倘如欲重新開啟籃球場燈光，例如以「新增」的方式，使得籃球場燈光的能耗資訊圖案再度顯示於顯示單元120。
另外，假設游泳池正在進行夜間抽放水，而使用者打算進一步將行政大樓的用電量卸載並進行調度。使用者可對行政大樓區域執行相關的點選操作，而浮出行政大樓燈光的能耗資訊圖案。接著，使用者對游泳池區域執行相關的點選操作，而浮出游泳池燈光的能耗資訊圖案。之後，使用者以手指將行政大樓的能耗資訊圖案挪進(或拖曳等其他方式)游泳池的能耗資訊圖案，使得兩個能耗資訊圖案相疊、融合，此時，兩者的能耗資料數值亦會重新運算後並顯示。
情境二為應用於大樓。啟動手持電子裝置100所安裝的能耗管理應用程式，而利用取像單元110拍攝大樓，並在顯示單元120內顯示出大樓相關場景的影像。另外，在顯示單元120所顯示的影像上，顯示該大樓對應的控制介面。據此，使用者可點選控制介面，進而顯示大樓樓層透視圖。此時，各樓層具有對應的控制介面，而使用者可針對特定樓層，來進行燈光明暗、空調強弱等控制行為。此外，在顯示大樓樓層透視圖之後，還可進一步點選特定的樓層，而顯示樓層平面圖。此時，樓層平面圖中的 各指定空間(例如包括辦公室、機房、公共區域、倉庫)具有對應的控制介面，而使用者可針對其中一指定空間，進行燈光明暗、空調強弱等控制行為。
綜上所述，上述實施方式中導入擴增實境即時影像疊合與互動操作，有效結合現實場景與虛擬物件(控制介面)，增進智慧化即時操作的介面友善程度，並提供三維視覺呈現。此外，藉由手持電子裝置的即時的影像視頻擷取，結合擴增實境技術，進行即時互動，可提供清晰且直覺的操作流程，並且大幅降低誤判斷的風險。另外，還可增加管理裝置的行動性，並且可承載更多即時且大量資訊，實現更複雜的互動情境模式。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S205~S220‧‧‧控制電子裝置的方法各步驟

Claims (18)

  1. 一種控制電子裝置的方法，用於一手持電子裝置，該方法包括：透過一取像單元在一顯示單元中顯示一取像範圍內的一影像；偵測該影像內的一數位圖章，其中該數位圖章對應至單一或多個可控制裝置；在該影像上對應於該數位圖章的位置，顯示該數位圖章對應的一控制介面；以及偵測一使用者對該控制介面所執行的一操作動作，藉以控制該數位圖章所對應的上述單一或多個可控制裝置。
  2. 如申請專利範圍第1項所述的方法，其中在該數位圖章對應至上述多個可控制裝置的情況下，上述多個控制元件位於一指定空間中，而偵測該使用者對該控制介面所執行的該操作動作的步驟包括：依據對屬於該指定空間的該控制介面進行的該操作動作，進而同時控制上述多個可控制裝置。
  3. 如申請專利範圍第1項所述的方法，其中在該數位圖章對應至上述多個可控制裝置的情況下，上述多個控制元件位於一指定空間中，而在偵測該使用者對該控制介面所執行的該操作動作的步驟之後，更包括：當偵測到該操作動作為進入該指定空間的動作時，同時顯示 該影像與該指定空間對應的一空間畫面。
  4. 如申請專利範圍第3項所述的方法，其中當偵測到該操作動作為進入該指定空間的動作時，更包括：連線至該指定空間所對應的一遠端取像單元，以透過該遠端取像單元來獲得該空間畫面。
  5. 如申請專利範圍第1項所述的方法，其中該控制介面為一能耗資訊圖案，而在偵測該使用者對該控制介面所執行的該操作動作的步驟之後，更包括：當偵測到該操作動作為一啟動動作時，產生一致能指令，藉以致能上述單一或多個可控制裝置的供電；當偵測到該操作動作為一關閉動作時，產生一禁能指令，藉以禁能上述單一或多個可控制裝置的供電；以及當偵測到該操作動作為一電量調整動作時，產生一電量調度指令，藉以調整上述單一或多個可控制裝置的用電量。
  6. 如申請專利範圍第5項所述的方法，其中該電量調整動作為拖曳該能耗資訊圖案並疊合至另一能耗資訊圖案，以使該能耗資訊圖案對應的該可控制裝置的用電量被調度至該另一能耗資訊圖案對應的該可控制裝置；或者，該電量調整動作為縮小或放大該能耗資訊圖案，以使該能耗資訊圖案對應的該可控制裝置的用電量增加或減少；其中，該關閉動作為移除該能耗資訊圖案，以禁能該能耗資訊圖案對應的該可控制裝置的供電； 其中，在移除該能耗資訊圖案的步驟之後，在偵測到該啟動動作為新增該能耗資訊圖案時，產生該致能指令，藉以致能該能耗資訊圖案對應的該可控制裝置的供電。
  7. 如申請專利範圍第1項所述的方法，其中在偵測該使用者對該控制介面所執行的該操作動作的步驟之後，更包括：產生一指令；以及傳送該指令至一伺服器，以由該伺服器依據該指令來控制上述單一或多個可控制裝置。
  8. 如申請專利範圍第1項所述的方法，其中在偵測該使用者對該控制介面所執行的該操作動作的步驟之後，更包括：產生一指令；以及傳送該指令至上述單一或多個可控制裝置，以使得上述單一或多個可控制裝置依據該指令來執行對應的動作。
  9. 一種手持電子裝置，包括：一顯示單元；一取像單元，在該顯示單元中顯示一取像範圍內的一影像；一通訊單元，與單一或多個可控制裝置進行溝通；以及一處理單元，耦接至該顯示單元、該取像單元以及該通訊單元，其中該處理單元偵測該影像內的一數位圖章，其中該數位圖章對應至上述單一或多個可控制裝置，並在該影像上對應於該數位圖章的位置，顯示該數位圖章對應的一控制介面，以及偵測一使用者對該控制介面所執行的一操作動作，以透過該通訊單元控 制該數位圖章所對應的上述單一或多個可控制裝置。
  10. 如申請專利範圍第9項所述的手持電子裝置，其中在該數位圖章對應至上述多個可控制裝置的情況下，上述多個控制元件位於一指定空間中，而該處理單元依據對屬於該指定空間的該控制介面進行的該操作動作，進而同時控制上述多個可控制裝置。
  11. 如申請專利範圍第9項所述的手持電子裝置，其中在該數位圖章對應至上述多個可控制裝置的情況下，上述多個控制元件位於一指定空間中；該處理單元在偵測到該操作動作為進入該指定空間的動作時，透過該通訊單元連線至該指定空間所對應的一遠端取像單元，以同時顯示該影像與該指定空間對應的一空間畫面，其中該空間畫面是透過該遠端取像單元而獲得。
  12. 如申請專利範圍第9項所述的手持電子裝置，其中該控制介面為一能耗資訊圖案，其中當偵測到該操作動作為一啟動動作時，該處理單元產生一致能指令，藉以致能上述單一或多個可控制裝置的供電；當偵測到該操作動作為一關閉動作時，該處理單元產生一禁能指令，藉以禁能上述單一或多個可控制裝置的供電；當偵測到該操作動作為一電量調整動作時，該處理單元產生一電量調度指令，藉以調整上述單一或多個可控制裝置的用電量。
  13. 如申請專利範圍第12項所述的手持電子裝置，其中該電量調整動作為拖曳該能耗資訊圖案並疊合至另一能耗資訊圖案或 者為縮小或放大該能耗資訊圖案；該關閉動作為移除該能耗資訊圖案；該啟動動作為新增該能耗資訊圖案。
  14. 如申請專利範圍第9項所述的手持電子裝置，其中該處理單元依據偵測到對該控制介面所執行的該操作動作而產生一指令，並透過該通訊單元傳送該指令至一伺服器，以由該伺服器依據該指令來控制上述單一或多個可控制裝置。
  15. 一種監控系統，包括：多個可控制裝置，其中該些可控制裝置分別具有一數位圖章；一手持電子裝置，透過一取像單元在一顯示單元中顯示一取像範圍內的一影像；以及一伺服器，透過一網際網路自該手持電子裝置接收該影像；其中，該伺服器偵測該影像內的該數位圖章，並透過該網際網路使得該手持電子裝置的該顯示單元的該影像上，顯示該數位圖章對應的一控制介面，並且，該手持電子裝置接收一使用者對該控制介面所執行的一操作動作，並傳送該操作動作至該伺服器，使得該伺服器依據該操作動作而產生一指令，進而控制該些可控制裝置。
  16. 如申請專利範圍第15項所述的監控系統，其中在該些可控制裝置位於一指定空間，且該指定空間具有另一數位圖章的情況下，而該伺服器依據對屬於該指定空間的該控制介面進行的該操作動作，進而同時控制該些可控制裝置。
  17. 如申請專利範圍第15項所述的監控系統，其中該控制介 面為一能耗資訊圖案，其中當偵測到該操作動作為一啟動動作時，該伺服器產生一致能指令，藉以致能該些可控制裝置其中之一的供電；當偵測到該操作動作為一關閉動作時，該伺服器產生一禁能指令，藉以禁能該些可控制裝置其中之一的供電；當偵測到該操作動作為一電量調整動作時，該伺服器產生一電量調度指令，藉以調整該些可控制裝置其中之一的用電量。
  18. 如申請專利範圍第17項所述的監控系統，其中該電量調整動作為拖曳該能耗資訊圖案並疊合至另一能耗資訊圖案或者為縮小或放大該能耗資訊圖案；該關閉動作為移除該能耗資訊圖案；該啟動動作為新增該能耗資訊圖案。
TW102136046A 2013-10-04 2013-10-04 控制電子裝置的方法、手持電子裝置與監控系統 TWI526878B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW102136046A TWI526878B (zh) 2013-10-04 2013-10-04 控制電子裝置的方法、手持電子裝置與監控系統
CN201310712718.9A CN104516497B (zh) 2013-10-04 2013-12-20 控制电子装置的方法、手持电子装置与监控系统
US14/279,324 US9565238B2 (en) 2013-10-04 2014-05-16 Method for controlling electronic apparatus, handheld electronic apparatus and monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102136046A TWI526878B (zh) 2013-10-04 2013-10-04 控制電子裝置的方法、手持電子裝置與監控系統

Publications (2)

Publication Number Publication Date
TW201514761A true TW201514761A (zh) 2015-04-16
TWI526878B TWI526878B (zh) 2016-03-21

Family

ID=52777937

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102136046A TWI526878B (zh) 2013-10-04 2013-10-04 控制電子裝置的方法、手持電子裝置與監控系統

Country Status (3)

Country Link
US (1) US9565238B2 (zh)
CN (1) CN104516497B (zh)
TW (1) TWI526878B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI631507B (zh) * 2016-03-04 2018-08-01 德凡特未來股份有限公司 動作判識裝置及其控制方法
TWI699981B (zh) * 2018-11-21 2020-07-21 今一電有限公司 電器的供電系統及供電方法
TWI740361B (zh) * 2020-01-22 2021-09-21 國眾電腦股份有限公司 智慧操作輔助系統及智慧操作輔助方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016077506A1 (en) 2014-11-11 2016-05-19 Bent Image Lab, Llc Accurate positioning of augmented reality content
US9985699B1 (en) * 2014-12-16 2018-05-29 Blazer and Flip Flops, Inc. NFC center
US11062375B1 (en) 2014-12-17 2021-07-13 Blazer and Flip Flops, Inc. Automatic shopping based on historical data
US10262318B1 (en) 2014-12-17 2019-04-16 Blazer and Flip Flops, Inc. Eligibility verification for real-time offers
US10679207B1 (en) 2014-12-17 2020-06-09 Blazer and Flip Flops, Inc. Bill splitting and account delegation for NFC
US10262311B1 (en) 2014-12-17 2019-04-16 Blazer and Flip Flops, Inc. NFC-based payments tagging
US10580011B1 (en) 2014-12-17 2020-03-03 Blazer and Flip Flops, Inc. NFC-based options selection
US20160370981A1 (en) * 2015-06-19 2016-12-22 Uniform Industrial Corp. Editing device and method for edit and preview of light control pattern
KR20170035678A (ko) * 2015-09-23 2017-03-31 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
CN106597860A (zh) * 2015-10-19 2017-04-26 上海澜腾智能科技有限公司 家用电器控制系统及其控制装置、构建方法与控制方法
FR3044123B1 (fr) * 2015-11-24 2019-04-05 Electricite De France Dispositif pour le pilotage a distance d'au moins un equipement electrique
CN106375364B (zh) * 2015-12-18 2019-09-20 北京智谷睿拓技术服务有限公司 监控采集方法与设备以及监控播放方法与设备
TWI578146B (zh) * 2015-12-30 2017-04-11 Chunghwa Telecom Co Ltd Mobile energy monitoring and management system
CN107203144B (zh) * 2016-03-18 2021-04-27 美的集团股份有限公司 智能家居的控制方法及系统、集中控制器
WO2017165705A1 (en) * 2016-03-23 2017-09-28 Bent Image Lab, Llc Augmented reality for the internet of things
CN108810049A (zh) * 2017-05-03 2018-11-13 中兴通讯股份有限公司 设备的控制方法、装置、系统及虚拟现实vr设备
CN109102312A (zh) * 2017-06-21 2018-12-28 华硕电脑股份有限公司 广告推播系统及其服务器与电子装置
US10212000B1 (en) 2017-07-25 2019-02-19 Daqri, Llc Computer vision based activation
CN111052042B (zh) 2017-09-29 2022-06-07 苹果公司 基于注视的用户交互
CN107948876B (zh) * 2017-12-13 2020-10-09 北京小米移动软件有限公司 控制音箱设备的方法、装置及介质
CN112041788B (zh) 2018-05-09 2024-05-03 苹果公司 使用眼睛注视来选择文本输入字段
CN109542252B (zh) * 2018-12-06 2021-05-18 中国科学院长春光学精密机械与物理研究所 一种遥控轨迹笔及其使用方法及电缆虚拟预装系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8830267B2 (en) * 2009-11-16 2014-09-09 Alliance For Sustainable Energy, Llc Augmented reality building operations tool
KR101082285B1 (ko) * 2010-01-29 2011-11-09 주식회사 팬택 증강 현실 제공 단말기 및 방법
KR101444407B1 (ko) * 2010-11-02 2014-09-29 한국전자통신연구원 근거리 무선 통신을 이용한 증강현실 기반의 기기 제어 장치 및 그 방법
KR101764251B1 (ko) * 2011-04-19 2017-08-04 삼성전자주식회사 전력 사용 상태 표시 방법 및 이를 적용한 휴대기기
TWI433568B (zh) * 2011-05-05 2014-04-01 Univ Nat Taiwan Science Tech 人境互動系統與應用其之可攜式裝置
TWM441280U (en) 2012-03-16 2012-11-11 Chicovery Co Ltd In the set top box and smart of television interactive language learning system
US10129041B2 (en) * 2012-09-28 2018-11-13 Comcast Cable Communications, Llc End to end multicast

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI631507B (zh) * 2016-03-04 2018-08-01 德凡特未來股份有限公司 動作判識裝置及其控制方法
US10747328B2 (en) 2016-03-04 2020-08-18 Pvd Plus Co., Ltd. Motion recognition apparatus and control method thereof
TWI699981B (zh) * 2018-11-21 2020-07-21 今一電有限公司 電器的供電系統及供電方法
TWI740361B (zh) * 2020-01-22 2021-09-21 國眾電腦股份有限公司 智慧操作輔助系統及智慧操作輔助方法

Also Published As

Publication number Publication date
US9565238B2 (en) 2017-02-07
TWI526878B (zh) 2016-03-21
CN104516497A (zh) 2015-04-15
CN104516497B (zh) 2017-12-22
US20150100803A1 (en) 2015-04-09

Similar Documents

Publication Publication Date Title
TWI526878B (zh) 控制電子裝置的方法、手持電子裝置與監控系統
WO2018171429A1 (zh) 图像拼接方法、装置、终端及存储介质
US20170337747A1 (en) Systems and methods for using an avatar to market a product
CN103294024B (zh) 智能家居系统控制方法
JP2013141207A (ja) ハンドヘルドプロジェクタを用いたマルチユーザインタラクション
CN107358007A (zh) 控制智能家居系统的方法、装置和计算可读存储介质
US11880999B2 (en) Personalized scene image processing method, apparatus and storage medium
Cucchiara et al. Visions for augmented cultural heritage experience
US20230334789A1 (en) Image Processing Method, Mobile Terminal, and Storage Medium
US8994650B2 (en) Processing image input to communicate a command to a remote display device
EP3617851B1 (en) Information processing device, information processing method, and recording medium
WO2023083089A1 (zh) 拍摄控件显示方法, 装置, 电子设备及介质
KR102174858B1 (ko) 네트워크에서 데이터를 렌더링하는 방법 및 연관된 모바일 디바이스
CN113538696A (zh) 特效生成方法、装置、存储介质及电子设备
CN105676652A (zh) 一种智能家居系统控制方法
JP2005063225A (ja) 自己画像表示を用いたインタフェース方法、装置、ならびにプログラム
CN112887601B (zh) 拍摄方法、装置及电子设备
CN104914985A (zh) 手势控制方法及系统与视频流处理装置
US20140098138A1 (en) Method and system for augmented reality based smart classroom environment
EP3848894A1 (en) Method and device for segmenting image, and storage medium
US20150022559A1 (en) Method and apparatus for displaying images in portable terminal
JP5445549B2 (ja) 画像通信装置、画像通信方法、プログラム、および画像通信システム
TWI407130B (zh) 即時顯示電器之使用狀態及用電量資訊之系統及方法
US11393330B2 (en) Surveillance system and operation method thereof
KR20240035812A (ko) 네트워크화된 디바이스들의 맵핑

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees