TW201103305A - Mobile device which automatically determines operating mode - Google Patents

Mobile device which automatically determines operating mode Download PDF

Info

Publication number
TW201103305A
TW201103305A TW099115171A TW99115171A TW201103305A TW 201103305 A TW201103305 A TW 201103305A TW 099115171 A TW099115171 A TW 099115171A TW 99115171 A TW99115171 A TW 99115171A TW 201103305 A TW201103305 A TW 201103305A
Authority
TW
Taiwan
Prior art keywords
mobile device
image
electronic device
wireless signal
user interface
Prior art date
Application number
TW099115171A
Other languages
English (en)
Inventor
Steven N Bathiche
William J Westerinen
Miller T Abel
Julio Estrada
Charles J Migos
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of TW201103305A publication Critical patent/TW201103305A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/06Receivers
    • H04B1/16Circuits
    • H04B1/20Circuits for coupling gramophone pick-up, recorder output, or microphone to receiver
    • H04B1/202Circuits for coupling gramophone pick-up, recorder output, or microphone to receiver by remote control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/20Binding and programming of remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L2012/284Home automation networks characterised by the type of medium used
    • H04L2012/2841Wireless
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L2012/2847Home automation networks characterised by the type of home appliance used
    • H04L2012/2849Audio/video appliances
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38Displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2203/00Aspects of automatic or semi-automatic exchanges
    • H04M2203/10Aspects of automatic or semi-automatic exchanges related to the purpose or context of the telephonic communication
    • H04M2203/1016Telecontrol
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2207/00Type of exchange or network, i.e. telephonic medium, in which the telephonic communication takes place
    • H04M2207/18Type of exchange or network, i.e. telephonic medium, in which the telephonic communication takes place wireless networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208Display device provided on the remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42226Reprogrammable remote control devices
    • H04N21/42227Reprogrammable remote control devices the keys being reprogrammable, e.g. soft keys
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6581Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8166Monomedia components thereof involving executable data, e.g. software
    • H04N21/8186Monomedia components thereof involving executable data, e.g. software specially adapted to be executed by a peripheral of the client device, e.g. by a reprogrammable remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Digital Computer Display Output (AREA)

Description

201103305 六、發明說明: 【發明所屬之技術領域】 本發明係關於自動決定運作模式的行動裝置。 【先前技術】 諸如手機的行動通訊裝置在社會中變為無所不在的。 5 吾音通訊及諸如網頁瀏覽的其他資料通訊可透過諸如行 動通訊網路的全球系統(GSM)的一手機網路而提供。 此外’行動裝置典型地具有對其他應用程式的數個内建 組件。舉例而言,内建相機使得靜態及錄影影像能夠被 擷取。紅外線傳送可用於將資料傳送至/自一個人數位助 理(PDA )、手提電腦或規劃銷售點終端機。RF的傳送 及接收允許無線區域網路(WLANs )上的無線通訊,例 如Wi-Fi網路及個人區域網路上,例如藍牙網路。此外, 近年來應用程式的發展允許一行動裝置作為對一電視或 電動玩具主機的一手持遙控。因此,一行動裝置可以各 種模式操作。然而,使用者具有配置行動裝置以認定其 當别内容且以適當模式操作的負擔。 【發明内容】 提供一種藉由無線訊號通訊的行動裝置,其中行動裝 置除了用於配置此一行動裝置的一處理器實施方法外, 藉由直觀的感測其環境自動決^—操作模式。行動裝置 4 201103305 可為諸如—手機、可使用網路的智慧手機、個人數位助 理掌上型電腦、手提電腦或藉由無線訊號通訊的相似 的裝置的一手持行動裝置。行動裝置可使用行動裝置中 的…相機而用於控制控制諸如一電視或個人電腦(pc) 的-電子設備。特定而言,一使用者可進入行動裝置的 叹疋模式,其中摘取且儲存-電子設備及―週遭區域 的一影像。行動裝置將影像與一使用者介面配置及/或通 訊協定相關聯’用於控制電子設備。舉例而言,使用者 介㈣置可為在行動裝置的—使用者介面螢幕上的軟件 的一女排,且通訊協定可包括行動裝置發送至電子設備 以控制電子設備的命令,例如選擇顯示於電子設備上 内容。 -旦電子設備被設定’當使用者之後再次意圖控制電 子設備時,其可自行自動配置。可啟動照相機以掏取環 境範圍的-影像,且處理影像以決定其是否與先前儲存 的影像資料匹配。啟動可基於表明行動裝置於一照相方 向的實體感測器而為自動的。若行動裝置認定其與之前 的環境相同’其自行自動配置以控制與之前環境相關聯 的電子設備。行動裝置亦可能從電子設備本身於一輪詢 及回覆程序中獲得用於控制電子設備的資訊。 在一個實施射’―手持行«置包括-影像感測 器、一制者介面(m)、儲存處判可讀取碼的一記情 體、及執行處理器可讀取碼的一處理器。處理器配置行 動裝置以控制-電子設備。特^而言處理器於一第— 5 201103305 時間使用影像感測器擷取電子設備的一第—影像,基於 第-影像儲存第—資料於記憶體中’且於—第二時二使 用影像感測賴取電子設備的—第二影像。處理器亦基 於第二影像提供第二資料,決定第—資料是否與第二資 料匹配’且若第-資料與第二資料匹配則配置使用者介 面用於電子設備。 提供此發明内容以簡要的形式介紹本發明的一部分内 容’其進—步於以下說明詳述。此發明内容並非意圖識 別本發明標的的關鍵特徵或重 凡垔要特徵,亦非意圖用於限 制本發明標的的範疇。 【實施方式】 提供一種藉由無線訊號通訊的行動裝置’其中行動裝 置除了配置此一行動裝置的 广動裝 %理器貫仃方法以外,藉 直觀的感測其環境而自動決 使用者具有配置一行動裝置以:乍模式。傳統上, 播*班— 裝置以操作於一特定模式的負 擔。配置程序可為耗時且困難的,且在 出使用者的能力。再者,當行 °夕月' 超 pa ^ .. 仃動裝置必須在不同模式之 :者了〜子在著反覆改變配置的負擔。舉例而言,使 用:可能想將一行動裝置操作為—電視 : 可藉由使用者在行動裝置 此 ^ 1L ^ ^ 連串的按鍵,其發布— 適“也電視遙控應用程式而達成 動褒置操作為-!>〇:的$ ㈣者接著想將行 的—遙控器,則必須在行動裝置上按 6 201103305 另連串的按鍵,其發布—適當地pc遙控應用程式。再 者’在此兩個情況中’可能需要—額外的設定,其中使 用者在行動裝置上按_連串的按鍵以識別電視模型、pc 模型、操作系統及運作於pc上的應用程式。 在某坠清况中,電視及pc被連結使得pc提供視頻訊 號至電視。舉例而+ —如壯姐 J向5 ’仃動裝置必須切換至TV模式以 控制電視來調整藉由電視的硬體所實行的音頻及色度設 定,且切換至PC模式以控制PC而在電視上運轉播放一 視頻的-媒體中心應用程式,例如—部電影’或顯示一 網頁’或於一相片編輯應用程式中的數位照片。此情況 亦可要求行動裝置在不同模式之間來回φ刀換。必須對行 動裝置作按鍵或其他控制輸入的密集的手動協商。 所以,提供一行動裝置自動認定使用者意圖控制的一 電子設備’且配置行動裝置本身用於該内文的—技術係 所欲的,例如藉由配置使用者介面設定以控制電子設備。 此處所提供的技術牵涉内文認定。内文認定具有許多 不同態樣。一般而言,在-行動裝置中的實體感測器可 用於決定各種資訊的類型。舉例而言,可決定一行動裝 置的方向,使得行動裝置的使用者介面(UI)顯示被垂 直或水平方向為最易於使用。其他感測器可決定行動裝 置的位置且修改行動裝置的-S己置以適應該位置。舉例 而言,一行動裝置可決定其位於使用者家中或辦公室且 改變其設定及功能。舉例而t,若位置感測器(例如 GPS、GSM及/或Wi-Fi網路感測器)表明行動裝置係在 201103305 2用者家中’或甚至在家中的-特^房間,例如客靡, 則虽被接通時,行動裝置可改變其功能成為—τν遙控 器。行動裝置亦可具有主動紅外線感測器,其從一電: 玩具主機们則紅外線訊號而導致行動裝置自冑進入「遊 戲模式」卩纟―電視上玩視頻遊戲。㈣裝i可維持在 此模式直到其接收-撥入電話且接著再-次切換回一電 話模式。類似的,若在戶外接通行㈣置,其可改變功 能且進入—電話模式。使用者亦應有能力手動改變行動 裝置的功能以在不同模式之間切換’例如電話、tv遙控 及遊戲控制模式。 Λ 一行動裝置可具有基於意圖的模式切換,其造成行動 裝置基於感測器輸人而改變模式。舉例而^當接收到 -撥入電話的鈐響時’基於由一監控感測器的:決定, -行動裝置可作為—手機,且當接通時自動停止铃響。 如另一範例’若當沒有撥人電話而於—閒置狀態接通行 動裝置,則感測器可決定使用者意圖撥出__電話且立即 進入一撥打模式。在另—方法中,-行動裝置的周圍或 行動裝置的其他位置具有例如數個離散的感測器,或在 行動裝置的側邊及背面具有一觸敏螢幕表面其可提供 觸碰行動裝置的手的整個部份的—電容式影像。一觸敏 榮幕表面允許行動裝置感測其被緊握的方式,例如係由 右手拾起相對於由左手拾起,錢變其特性,例如㈣ 的顯示方向及/或撥打一電話的方法一觸敏螢幕表面亦 可用於決定使用者是否以—照相方向手持行動裝置,且 201103305 如此處所述採取一相對應的動作。見以下第la圖 實m,行動裝置可決i使用者是否對行動裝置 實仃-非功此性的互動’或一意圖使用的互動 能性互動料η涉使时動裝置中所設計的功能的^ 互動。-範例為將行動裝置從桌上拾起。相反地二 用者與行動裝置互動以使用其功能時,發生—意圖:用 的互動。-範例為以一照相方向手持行動裝置以使用 行動裝置的照相機照相。另一範例為手持行動裝置至耳 邊以在電話上交談。此等互動可藉由例如轉使用者對 盯動裝置的緊握’使用行動裝置周圍的觸碰/緊握感測器 而被偵測,額外的可使用其他感測器,例如—光感測器、 近接感測器及/或加速計。舉例而言,當手持—行動裝置 至使用者的耳邊,-緊握感測器可感測相對應的緊握, -光感測器可感測光的減少,一近接感測器可感測使用 者的頭部的接近,且加速計可感測—相對應的方向。因 此’行動裝置可使用適當的感測器來债測其被手持及被 手持的方式’以識別且啟動行動裝置的一相對應功能。 亦可基於例如形狀及施加的壓力的準則來識別一特定 使用者的手的獨特特徵。此資訊可用以識別何者使用者 當前正使用行動裝置,且實行一功能例如將行動裝置上 鎖或解鎖’或修改使用者介面以在許多可能性之中對一 年長使用者在一 m顯示上使用大的數字及符號。 如另—範例,若行動裝置具有一經計劃鍵盤的一大的 顯不’其可感測手指的位置及經計劃鍵盤的位置以藉由 201103305 移動:局調整手的位置而最方便於打字。 另-可能的方式係使感測^貞測行動 袋、抽屜、皮包戋其仙44太& 光咸… 中。此可使用溫度感測及/或 光感則而元成。若行㈣置決定其在—封套巾,其可開 始鈴響,且在一短時間 變具鈴響曰調為更大聲及/或 Z頻率’且持續直到使用者收回行動裝置。光感測器 /、可用於偵測室内或戶外的環境光線,域變行動裝置 的使用者介面顯示的亮度及對比度設定以顯示最佳的 視覺品質。 第la圖描繪一行動裝置的一觸敏螢幕表面。觸碰感測 器可以電P且、電容、表面波、紅外線' 應變計、光成像、 色散成像技術、及聲音脈衝認定技術的方式操作。舉例 而吕,參考US專利申請案,公告案號2〇〇7〇:22〇427,在 此處併入作為參考,其說明用於一電子裝置的適應表面 覆蓋’亦參照Rosenberg等人於2009年4月4-9日的, IMPAD-An Inexpensive Multi-Touch Pressure
Acquisition Device . Proceedings of the 27th international Conference 〇n Human Factors in
Computing Systems ’第3217-3222頁,在此處併入作為 參考。一行動裝置的一觸敏螢幕表面,如R〇senberg等 人所發表的,使用薄如紙、彈性壓力獲得裝置,其可輕 易的縮小以安裝於一行動裝置上。此等裝置可具有夠高 的辨別度感測壓力的級別改變以感測且分辨多個指頭、 筆或筆尖、及其他物體。一範例觸敏螢幕表面概念上具 10 201103305 有五層。第-及第五層為具有平行線路允許與外部電子 交流的外層。一範例線路120係於第一層中,且一範例 線路m係於第五層中。在-層中的線路彼此平行,^ 在層1中的線路以相對於層5中的線路垂直的方向鋪 設。第二層121及第四層123包括一電阻材料,其允許 相鄰線路之間的一細電流,且說明裝置的雙線性性質。 一第二(中間)層122包括當壓縮時電阻減小的一材料, 允許用於外力的感測。 在操作期間,沿著層1的每次一個線路被接至一正電 壓’而所有其他線路被設定接地。接著,層5上各線路 的電壓依次被量測而層5上所有其他線路被設定接地。 此步驟被循環直到行及列線路的每一交叉點的電壓值被 讀取。為了增加掃描速度,可能讀取所有偶數線路的電 壓值同時接著讀取所有奇數線路。此造成掃描率與感測 器頂層的線路的數目的線性成長。 當施加外部壓力至感測器時,建立一路徑允許電流從 層1流至層5。電流沿著2流動,接著透過接觸點進入 層 接者治者層四且最終經過一電極進入層5。在一交 又點所得的電壓依附於其電流路徑的電阻,而電流路徑 的電阻依附於來自交叉點及施加於該點的壓力的接觸點 的鄰近。 實驗可表現一行動裝置的一觸敏螢幕表面的觸碰圖 案’其與特定意圖使用互動相關聯。 第1b圖描繪一行動裝置藉由無線訊號與不同電子設 201103305 備通訊。在一設定102例如一使用者家中的一房間,可 呈現數個電子設備,其可藉由無線訊號從一行動裝置ι〇〇 控制。此電子設備的範例包括具有一顯示裝置或螢幕1〇5 的一電視1〇4、可與電視1〇4通訊的一電動玩具主機 106、具有一顯示裝置109的一手提電腦1〇8、及包括一 監視器110具有一顯示裝置lu的一 PC 112。一電子設 備的另一範例係與電視104通訊的一機上盒。 當行動裝置100典型的包括一手機能力的同時,其他 通訊技術,例如Wi-Fi、藍牙及IrDA (紅外線資料協會) 當前亦併入許多行動裝置以允許語音及其他資料通訊。 行動裝置一般可包括手機(包括可使用網路的智慧手 機)、個人數位助理(PDAs) /掌上型電腦、可攜式媒體 播放器(例如 MICROSOFT ZUNE®,APPLE IPOD® )、及 手提電腦例如電子書、小型電腦、及其他裝置。一手機 能力並非必須實行此處所述的自動配置。 電子設備包括與行動裝置相容的相對應的無線傳送及 接收組件。此組件可内建於電子設備或連接作為週邊設 備。關於電視104,舉例而言,某些電視具有内建Wi_Fi 的能力使得内容可透過一家用網路無線串流至電視。
Wi-Fi®係基於 IEEE 802.11 標準的 wi-Fi Alliance®認證 產πσ的一 ag證,且確保不同無線裝置之間的可交互運作 性。Wi-Fi係無線本地區域網路(Wlan)的一類型。由 電視所使用的其他無線技術包括來自Monster Cable
Products, Inc.及 Sigma Designs,lnc.的 wiMAX、超寬頻 12 201103305 (UWB )、基於wiMedia標準、WHDI特殊網路群組的無 線家用數位介面(WHDI)TM、WirelessHD®合夥的Wireless HD®、及無線數位表示HD。此等無線技術係可提供的 RF無線通訊的範例。手提電腦及PCs典型地包括内建 Wi-Fi能力或接受wi-Fi卡。此外,紅外線訊號可用於提 供行動裝置100及電子設備1〇4、106、108及112之任 者之間的通訊。電子設備亦可能彼此無線通訊。 添加Wi-Fi能力的範例電視週邊包括來自SHng Media 的 Slingbox、來自 Apple,Inc.的 Apple TV、及來自
MediaGate USA 的 MediaGate Network Multimedia
Venter 〇 在某些情況中,電子設備彼此夠靠近且夠靠近行動裝 置,使得多個電子設備從行動裝置接收無線訊號。在其 他情況中,僅一個電子設備從行動裝置接收無線訊號。 此外,電子設備可彼此夠靠近且靠近行動裝置使得一照 相機或行動裝置的其他影像感測器從多個電子設備同時 擷取一影像或光訊號。在其他情況中,—次僅一個電子 、備藉由照相機或行動裝置的其他影像感測器感測。 以下敘述一照相機或一行動裝置的其他影像感測器的使 用以識別一電子設備。 ―第2a _心會包括具有一顯示裝置的—電子設備的一 :動裝置所擷取的影像的設定。許多行動裝置具有内建 :1目:’其偵測可見光以使用CM〇s數百萬像素影像感 ’、頜取靜止或視頻數位影像且以JPG、GIF、PNG或其 13 201103305 他格式儲存數位影像。由行動裝置的-照相機所擷取的 一或多個影像/照片可被用於識別影像中的電子設備。以 此方式’使用者晦準行動裝置使其拍攝包括電子設備的 -相片。為了更佳的認定電子設備’電子設備應突出於 影像中。隸200可藉由一使用者設定例如在電子設備 104之前的一沙發上拍攝。影像綱包括電視⑽及其 顯不裝置105’其顯現當前描繪在一道路上行駛的一車 輛的一範例顯示。影像2⑽亦包括其中定位電子設備的 其他組件的設定’例如一桌+ 2〇6、一花瓶2〇4及一牆 面吊飾202。此為一個可能設定的一簡化範例。 行動裝置可以不同方式啟動以掘取影像2〇〇。如所提 的-種方式中’使用者可在進入一輪詢模式之後,瞄準 订動裝置且手動拍攝—相片。可擷取影像作為—輪尋程 序的彳伤’其中行動|置傳送—無線訊號以決定何電 子設備在行動裝置的範圍中。在範圍中的任何電子設備 以其本身的無線訊號回應輪詢訊號,而由行動裝置^接 收。再者,來自電子設備的無線訊號可包括當前顯示於 相關聯的顯4置上的代表影像的影像資料,以及識別 電子設備的—類型及/或—使用者介面(叫設定的控制 資'’其中控制資料可由行動裝置使用以控制電子設 備。行動裝置比較其照相機所操取的影像以編碼從電: 設備所接收的影像資料來決定行動裝置是否瞒準—特定 電子設備。若存在多個匹配,基於例如何電子設備位於 所擷取影像的最中央,而決定一最佳匹配。 14 201103305 在一種可能的方式中’使用者使用一命令擷取影像, 該命令亦觸發無線輪詢訊號。此命令可從一般使用照相 機而非輪詢的一命令辨別出來。在另一可能的方式中, 影像不經命令由使用者手動進入而操取。舉例而言,行 動襄置可使用一加速計及/或其他實體感測器以決定何 時行動裝置被移動,例如從一桌子被拾起,及/或何時行 動裝置以一方向被手持’該方向如以下討論表明行動裝 置被用作一照相機。 相方向準則 第2b圖描繪一行動裝置 2c圖描繪一行動裝置的一第二照相方向準則。在一個可 能的實施中’當行動裝置以一方向被手持一特定時間時 (例如數秒鐘)’該方向被詮釋為瞄準行動裝置昭 相機,輪詢及影像擷取程序被啟動。在 中,立即於行動裝置以照相方向手持之前,== 定其處於穩^-段時間。例如,若行動裝置係位於一桌 上’且坐在沙發上的使用者拿起行動裝置且瞒準電視⑽ 時此可發生》在輪詢及影像掏取程序中,可類似的掏取 多個影像於-視頻中。亦可使用一近接感測器以決策行 動裝置並非手持至使用者的頭部用作—電話。亦可使用 其他感測器,例如一緊握感測器及光感測器來決定行動 裂置的方向或識別-意圖使用互動。例如,—行動裝置 的一觸敏營幕表面可如所提及的與第U圖連,使/ -典型的行動裝置1〇1包括一照相機鏡片ι〇ι 面板上,使得當照相機鏡月軸水平的晦準時,如血 15 201103305 照相時,手持行動裝置大致 尤且 此万向可由行動梦晉 中的感測器決定。舉例而言,若 ^ ^ 拉"机^ 仃勃裝置的—前至後傾 斜角度對-垂直線208夾角在特定範圍仏q,可滿足 一第一照相方向準則,且若行動 ' 裝置的一側邊至侧邊傾 斜角度對垂直線208夾角在特定範圍+/ θ2中可滿足一 第 '一照相方向準則。 第2d圖描繪若行動裝置係於-照相方向中,用於自動 啟動一行動裝置的輪詢程序的—程序。於步驟21〇,感 測行動裝置的動作。取而代之的或額外的,行動裝置上 的電容觸碰感測器可決定使用者已拾起且手持行動裝 置。於步驟212,作成行動裝置是否於一照相方向一段 時間U W一決定(例如數秒鐘)。若為是,於步驟2二 行動裝置的-輪詢模式自動啟動。若行動裝置並非於一 照相方向一段時間tl,於步驟216行動裝置的—輪詢模 式不自動啟動。使用者亦具有手動啟動輪詢模式的選 擇,例如藉由在行動裝置上按一按鍵。 第2e圖描繪一行動裝置所擷取的影像的設定該設定 包括具有相關聯的顯示裝置的多個電子設備^在影像2〇2 中,電視104藉由一第二電子設備伴隨:pc 112及具有 顯示裝置111的監視器110。媒體中心應用程式的範例包 括來自 Microsoft Corporation 的 Windows® Media Center、來自Apple,Inc.的Fr〇ntR〇w、一開放來源平台 的Linux Media Center Editiori、及亦為一開放來源平台 的XBMC Media Center介面。PC 112可獨立操作於電視 16 201103305 104,或可與電視丨〇4 (藉由有線或無線)通訊以顯示影 像。亦可藉由提供網路服務的其他裝置提供媒體中心應 用程式,例如某些DVD播放器、機上盒、及電動玩具主 機。一媒體中心應用程式可具有一圖像使用者介面 (GUI )’其經設計可從數尺之外看見以允許使用者使用 一遙控裝置與GUI互動。舉例而言,使用者可遙控媒體 檔案的顯# ’例如相片、音樂、DVDs、及視頻。應注意 PC遙控器亦可用於媒體中心應用程式以外的其他應用 程式,例如用於存取資料夾或文件的應用程式。 在此情況下,藉由行動裝置擷取的影像2〇2包括一般 位於影像的中央的電子設備no及在影像的側邊的一部 份電視104。 2 f圖描♦從具有—行動裝置的依照相機所摘取的影 像資料200的一電子設備傳送的影像215 較’其位於行動裝置的一比較函數216。可得到一匹配 或無匹配的決定。 第3a圖描繪具有一觸控螢幕使用者介面的— :配置成用作一手機。如所提及,-行動裝置100可配 =以不同模式操作。在—種可能的方式中,行動裝置 具有-使用者介面顯示300,其可配置成使 不使用去益丄4 ^顯 按鍵。顯示器可兔他或她的指尖於按鍵上而選擇的特定 代之或額外的,使用者…… 款、而,取而 裝置及電子設備可能使用硬鍵以控制行動 17 201103305 此處’使用者介面顯示300係於一電話模式其中行 動裝置作為一手機。使用者介面顯示3〇〇的一區域3〇2 提供一訊號強度指示符、時間、一電池強度指示符、載 明「電話模式」的一模式指示符、及一視窗3〇1。一區 域304舉例而言,提供可用於輸入一電話號碼的數字按 鍵。號碼可顯露於視窗301中。一區域3〇6包括用於撥 打一撥叫及結束撥叫按鈕的一撥叫按鈕。硬鍵3〇8可用 於電話模式而指派額外的功能。電話模式可為行動裝置 假設的一預設模式。 第3b圖描繪具有一觸控螢幕使用者介面的一行動裝 置,配置成用作一 TV遙控器。使用者介面顯示3〇〇的 一區域310表明行動裝置配置於「τν模式」中。一開/ 關按鈕亦提供於區域310中。一區域312提供例如可用 以輸入一頻道號碼的數字按鍵。一區域314包括一中央 按鈕(「確定/選單」)用於選擇進入或引起電視的一螢幕 上選單,以及音量上/下箭頭及頻道上/下箭頭。可指派額 外功能於硬鍵308於τν模式中使用。當行動裝置偵測 其破指向一電視時,行動裝置可使用此處所述的技術自 動進入TV模式。 第3c圖描繪具有一觸控螢幕使用者介面的一行動裝 置配置成用作一個人電腦(pc)遙控器。使用者介面 顯不300的一區域32〇表明行動裝置配置於「pc模式」, 其中行動裝置作為一 pc遙控器,例如用於一媒體申心應 用程式。在區域320中的軟鍵命令包括錄音(Rec)、播 18 201103305 放、暫停及停止。區域322中的命令包括後轉(Rew)、 快轉(FFwd)、重播及跳過。區域324中的命令包括一 後退按鈕,其導致PC顯示一先前頁面,例如,一 inf〇 按鈕呼叫-幫助螢幕、及一開始按鈕發布應用程式及任 務。區域324 #包括-中央按紐(「確認」)用於選擇進 入,以及音量上/下箭頭及一頻道或程式(pgm)上/下箭 頭。可指派額外的功能於硬鍵3〇8於pc模式中使用。當 仃動裝置偵測其被指向一 PC時’行動裝置可使用此處所 述的技術自動進入PC模式。 第4a圖描會一種方法,其中一行動裝置自行自動配置 藉由將電子設備的-#動裝置所榻取的影像與電子設備 所傳送的影像資料作比較而用於—電子設備。應注意此 或其他流程圖所描繪的步驟並非必須以不連續及/或一 連_的方式實行’而可同時及/或以不同順序發生。於步 :400,仃動裝置藉由例如一使用者命令或回應於如之 前所述的一動作/方向感測器而啟動。於步驟402,行動 裝置傳送一無線訊號,例如一 RF或紅外線訊號至一或多 電子X備即,具有一相關聯的顯示的任何可用網路 電子設備。於步驟404’ 一電子設備從行動裝置接收無 線訊號》在此時’電子設備可能在顯示影像於其顯示裝 々的程序巾。舉例而自,—電視可顯* —現場播放電視 知目或從-DVD播放-錄製電影…pc可顯示來自一 應用程式的靜g或移動影像,例如—媒體中心應用程 式、網頁、如文書處理應用程式或試算表應用程式的桌 19 201103305 面應用程式、等等。 在一種方式中,雷;讯瓜,, 子6又備可如缺少從行動裝置接收一 無線訊號的情況一般持續顯示影像。或者於步戰樞, 電子設備可回應於從行動裝置接收的無信訊號而顯示一 新的心像I例而έ ’此可為藉由行動裝置的照相機而 已偵測的-預定義影像,例如第4b圖中所描繪的寬帶圖 案。第4b圖描緣一預定義影像,其回應於從一行動裝置 所接收的-無信訊號而顯示於一電子設備的一顯示裝置 上。預定義影像可於—小段時間顯示,大約—秒鐘,而 足以允許行動裝置掏取影像而不打擾存在的電視節目或 其他内容。再者,預定義影像的外觀通知使用者輪詢程 序已成功的初始化。通知使用者輪詢程序已成功的初始 化的其他方式包括電子設備暫時滚結當前影像,或提供 某些其他視覺效果至#前影像,例如將影像變暗,或提 供例如「俄測到控制請求」的—圖像,或提供例如。畢一 聲的-音訊回饋。行動裝置亦可提供—音訊或視訊回饋 以通知使用者輪詢程序已成功的初始化。 由行動裝置提供的無線訊號可與用於㈣電子設備的 命令一起編碼以採取此處所述的適當動作。 於第4a圖中的步驟彻’電子設備從所顯示的影像獲 得影像資料。舉例而言,此可牵涉獲得像素的一訊框的 fz像資料,其當前顯示於顯示裝置上。可以任何特定格 式提供影像資料。可藉由從一不相容格式至與行動裝置 相容的一格式的轉碼資料提供影像資料。再者,影像資 201103305 料可藉由例如識別影像的某些特徵而處理,以促進行動 裝置中的後續影像關連(correlation)處理。一個範例係如 以下進一步討論使用SIFT處理影像以獲得定義影像尺 度不變特徵的組件子區域描述符,且儲存描述符而非像 素資料。 於步驟410,電子設備傳送具有影像資料及控制資訊 的一回覆無線訊號至行動裝置。影像資料可或不必為可 用以重新建立相對應的所顯示影像的一格式。舉例而 。,回覆無線訊號可以RF或紅外線訊號而傳送。控制訊 號可識別,例如電子設備的一類型,諸如電視模組或pc 模組,或電子設備僅為一電視或pc的事實,及當前在 PC中活動的操作系統及應用程式。控制資訊亦可例如藉 由編碼格式或解析度而識別影像資料提供的格式❶控制 資訊亦可識別一使用者介面配置及通訊協定,其可用於 行動装置以控制電子設備。 例如,電子設備的不同類型可能需要不同使用者介面 配置通訊協定。一使用者介面配置可包括在一使用者介 面顯示的按鍵的外觀(例如,描繪於第3b圖及第3C圖), 而一通訊協定可包括碼字的一說明用於控制電子設備。 在某些情況中,可使用一通用仍外觀以控制電子設備的 一類型,例如一電視,但不同通訊協定被用於不同電視 模’’且及/或製造商。舉例而言,不同頻率、碼字等等可用 以實施不同命令。從電子設備所接收的控制資訊可直接 識別通訊協定,例如藉由指明頻率及碼字,或間接識別, 21 201103305 例如藉由指明行動裝置可使用以映射至通訊協定的一識 別符。識別符可表明❹「使用通訊協定#1〇」,在此情 兄下從位於本4的行動裝置或從—遠端或區域飼服器存 取必要資訊基於識別符用於實施協定。控制資訊亦可識 別電子設備的-類型,例如電視或pc,在此情況下行動 裝置實施例如適合用於-電視(例如第3b圖)或PC(例 如第化圖)的一使用者介面顯示。 於步驟412’订動裝置接收具有影像資料及控制資訊 的回覆無線訊號。於步驟414 ’行動裝置使用行動裝置 的-照相機操取(例如拍攝)包括電子設備及電子設備 所顯示的影像的-影像。所擷取的影像被用於提供參考 景」象資料·»如電子設備提供的影像資料,行動裝置提供 的影像資料可忍受某些程序,其促進—後續影像關連處 理’例如藉由使用SIFT演算法處理以獲得組件子區域描 =1此’所獲得的影像資料可或不必為可用以重新 建立相對應所擷取的影像的一格式。 :照步驟414的時間,其中行動装置擷取-影像,此 =不同前兆事件觸發。舉例而言,影像操取可藉由 動裝置傳送-無線訊號(步驟4〇2)而非等待來自電 =的回覆訊號(步驟412)而觸發。或者,影像掏 J由回覆訊號的接收而觸發。 收Si-416,行動裝置將參考訊號與從電子設備所接 連演算法。舉例而言,可將:老貫仃任何類型的影像關 了將參考訊號與來自電子設備橫 22 201103305 跨影像的相繼像素位置,及對各位置所決定的一關連分 數作比較。具有最高分數的位置可代表與參考影像的一 匹配。一匹配可牵涉一可能性量測,使得匹配可以不同 可能性或確定的級別而發生。考慮可接受的一匹配可與 一最小可能性相關聯。步驟416的比較亦可牽涉SIFT演 算法’於以下進一步討論。於決策步驟418,若決定一 匹配,則於步驟422,基於從電子設備所接收的控制資 訊而識別一使用者介面配置及/或通訊協定,例如藉由將 控制資訊的一識別符映射至一 υϊ顯示配置及/或一通訊 協定。步驟424包括以經識別的使用者介面配置及/或通 訊協定來配置行動裝置。可提供對使用者的回饋(例如 畢一聲或視覺訊息)’其通知使用者已成功的與電子設備 相關聨’使得使用者知道他或她可中斷瞒準於電子設備 的行動裝置,且可開始使用行動裝置作為對電子設備的 一遙控器。 右於決策步驟418不存在匹配,於步驟420可醉由行 透過動Μ罟掛柹用去齄彔一鍅组如6 .咖_
開燈、設定照相機的一拉近特徵、或者調整照相機的設 開燈、設定照相機的一垃折牿 可傳 可於 會, 定、或更精確的將照相機瞄準使用者意圖控制的電子設 備。 ° 使用者因此可對一電子設備瞄準行動裝置,且使得行 23 201103305 動裝置及仃與電子設備自動關聯。此外,因為使用在行 =及電子設備的顯示裝置之間的視角的視線,所以 動裝置潛在的與近處的行動裝置但不在視線中 動裝置广備相關聯。此可發生於許多電子設備在行 備的一環境中。亦可避免在-回覆電子設 中的其他行動裝置潛在的成為不慎被配置用於 回覆電子設備。 ::圖描繪一種方法’其中一行動裝置自行自動配置 二 =多個電子設備的一行動裝置所掏取的影像與電 備所傳送的影像資料作比較,且在多個電子設備之 間選擇最佳匹配,而用於一電子設備。 此方法除了牽涉多個電子設備之外,類似於第4a圖中 的方法。於步驟430,啟動行動裝置。於㈣心,行動 裝置傳送-無線訊號至—或多個電子設備。於步驟叫, 多個電子設備接收無線訊號。在一種方式中,電子設備 可如缺少從行動裝置接收—無線訊號的情況—般持續顯 不影像。或者於步驟436 ’電子設備可顯示—預定義影 像。不同的電子設備亦可能顯示不同的 : 例而言,電視可顯示一個影像且PCS顯示另:。: 者’可從-組影像由各電子設備隨機選擇預定義影像, 使得各電子設備顯示一不同預定義影像。在此情況中 彼此相鄰的多個電子設備可顯示不同的預定義影像使得 其可彼此區別。 於步驟438’多個電子設備從相關聯所顯示的影像獲 24 201103305 得影像資料。於步驟440,多個電子設備傳送具 資料的回覆無線訊號及控制資訊至行動裝置。於㈣ 442’行動裝置接收具有影像資料及控制資訊的多個回覆 無線訊號。於步驟444,行動裝置擷取包括某些或全部 電子設備及其所顯示影像的一影像,以提供參 料。 於步驟446,行動裝置將參考影像資料與從多個電子 設備所接收的影像資料作比較。從此等比較,於步驟448 決定匹配的電子設備’且於步驟彻決定一最佳匹配。 舉例而5,基於使用者最直接瞄準他或她意圖控制的電 子設備的假設,可選擇參考影像資料中最中央的一電子 設備的一影像。於步驟452’基於從最匹配的電子設備 所接受的控制資訊,而識別—m西己置及/或通訊協定。 步驟454包括以經識㈣m配置及/或通訊協定配 動裝置。 第5圖描繪一種方法,其中在行動裝置的一使用者介 面配置用於電子設備之後,行動裝置控制電子設備。一 旦識別控制一特定電子設備所必須的U]t配置及/或通訊 協定之後,UI顯示/觸控螢幕3〇〇可以一虛擬小鍵盤配置 而控制電子設備,例如與先前所討論的第3b或3c圖連 結。於步驟502,使用者從虛擬小鍵盤選擇一命令。舉 例而言,使用者可從第3b圖的介面選擇一「頻道往上」 按鈕以控制一電視。於步驟5〇4,根據適合用於電子設 備的通訊協定,行動裝置傳送具有識別命令的資料的一 25 201103305 :、線訊號至電子设備。於步驟5〇6,電子設備接收無線 訊號且執行命令。有益處的,使用者能夠控制電子設備 猶如行動裝置係為對電子設備的一專屬遙控器。行動裝 置可作用為能夠控制許多電子設備的一通用遙控器。再 者’在電子設備之間切換可自動且快速的完成。 第6a圖描繪一行動裝置感測提供於一電子設備的一 顯示裝置上的一同步影像。在此方式中,當一電子設備 從行動裝置接收一無線輪詢訊號時,電子設備指示其顯 示裝置顯示可被行動裝置感測的—同步影像。同步影像 可為一可見影像,例如為數不多的白色或其他明亮閃 爍。行動裝置可使用可與—照相機分離的—光感測器, 或其可為操作於光感測模式中的—照相機。光感測器傾 測一特定頻率/顏色的光,且具有一特定重複頻率或其他 圖案。此方式可減少花費,因為感測器可為比一照相機 較低化費&物品’且程序被簡化因為不需要實行影像 關連。然而’亦可使用操作於行動裝置而操作於一視頻 操取模式或者保持其快門打開1夠時間的—現存的昭 相機。 … 在電子設備/電们04的顯示裝|1〇5中,顯示裝置⑻ 的-區域600被用於發射由行動裝置感測的一明 光。區域_僅佔據顯示裝置的一部份且結合或覆蓋現 存顯示,其中現存顯示並非回應於來自行動裝置的一無 線訊號的接收而顯示。區域_係回應於來自行動裝置 的一無線訊號的接收而顯示。閃爍亦可能消耗整個顯干 26 201103305 裝置1〇5。此外’閃爍光可依循-圖案而對行動裝置通 訊資訊。即’閃爍可代表行動裝置可解碼的碼字。舉例 而言,資訊可識別電子設備的一類型(例如電視或⑹ 及/或識別行動裝置可用以控制電子設備的一通吨 第6b圖描繪-種方法,其中一行動裝置藉由感測:供 於電子設備的-顯示裝置上的—同步影像,而自行自動 配置用於-電子設備。於步驟刚,啟動行動震置。於 步驟612,行動裝置傳送一無線訊號至一或多個電子設 備。於步驟614’ 一電子設備接收無線訊號。於步驟μ。 電子設備顯示一同步影像。於步驟618,行動裝置使用 一光感測器感測同步影像。於步驟62〇,基於同步影像 識別一 UI配置及/或通訊協定》於步驟622,行動裝置以 UI配置及/或通訊協定而配置。 第7a圖描繪從不同角度及距離拍攝的行動裝置所擷 取的影像的-設定’其中設定包括具有一顯示裝置的一 電子設備。此方式不需輪詢及從電子設備接收—回覆, 且可單單由行動裝置完成。行動裝置100a在一第一時間 於一設定階段擷取一設定的一影像2〇〇 (與第圖相 同)。電子設備104被描繪。使用者可以用於控制電子設 備的資訊手動配置行動裝置,例如藉由存取電子設備的 一選單及模組且選擇對電子設備104的適合入口,例如 一範例電視「Samsung FP-T5894W」。選單可為例如基於 網路的。影像200接著儲存於行動裴置,與控制及配置 資訊交又比對。 27 201103305 接著在一貫施階段,當使用者靠近電子設備1 〇4時, 啟動行動裝置,例如先前所討論的基於一使用者的命令 或動作/方向感測器,而擷取電子設備的另一影像。特定 而。,藉由行動裝置100b識別的相同行動裝置於以後、 第二次時間,例如幾小時、幾天、或幾週以後,擷取電 子設備的一影像7〇〇。此兩個影像可彼此作比較以決定 疋否匹配。若係為匹配,則行動裝置自行自動配置以控 制電子設備。一匹配表明影像係為相同的電子設備。顯 不於行動裝置的顯示裝置上的特定影像並不重要,因不 同影像被顯示於不同時間。 影像不需從相同的角度及距離擷取,因雖然有此等改 變’各種影像處理演算法仍可偵測一匹配。舉例而言, 第二影像可使用尺度不變特徵特徵變換(Sift)演算法 處理,其敘述於美國專利案號6,711,293 ( David G. Lowe’2004 年 3 月 23 日),標題為「Method and apparatus for identifying scale invariant features in an image and use of same for i〇cating an 〇bject in an image」,且於此 處併入作為參考。SIFT演算法偵測且描述影像中的區域 (local )特徵。此外,SIFT特徵係為區域的(i〇cai)且 基於物體特別影響點的外觀’且對影像比例及旋轉不 變°所以一電子設備的不同影像仍可為關連的,不論其 例如從電子設備的左側或右側且從不同距離拍攝。SIFT 特徵對亮度、°喿音、及視角的微小改變仍為健全的。SIFT 特徵係有高辨別度、相對易於提取、允許用於修正物體 28 201103305 識別μ配錯誤的可能性低、且易於針對區域(1〇cal) 特徵的(龐大)資料庫作匹配。藉由si打特徵組的物 體描述對部份封閉物亦A储 奶7J马健全的。如從一物體的三個 SIFT特徵便已足夠計算並办要B •女# T异具位置及姿態。再者,認定可接 近立即的被實行。亦可使用其他影像處理演算法。 應注意藉由影像處理演算法識別的設定中的特徵可與 電子設備相關聯,及/亦虚— 及1與5又疋中的其他特徵相關聯,以 當類取第-影像時較行動裝置係、於相同地方。舉例而 言,電子設備的實體外觀(例如其形狀),以及設定中其 他物品的外觀(例如花航2〇4、桌子2〇6及牆面吊飾2〇2) 可被用於識別特徵且決定是否兩個影像匹配。 第7 b圖描緣一方法的設定階段,纟中一行動裝置藉由 擷取包括t子設備的一設定的一影像’且從一不同角度 及距離所拍攝的設定的4前所拍攝的影像作比較,而 自行自動配置用於一電子設備。設定階段開始於步驟 710。於步驟712,啟動行動裝置。此可自動發生,例如 基於行動裝置的一方向及/或藉由使用其他感測器,例如 一緊握感測器及光感測器。或者,使用者可輸入—A入 導致行動裝置呈現一適當的使用者介面,例如與第7d & 所討論的連結。 於步驟714’行動裝置使用其照相機以擷取包括一電 子設備的一設定的一第一影像。於步驟716,在一種。 能的實施中,決定第一影像的尺度不變特徵特徵。見第 7e圖額外的細節。於步驟718,行動裝置儲存代表第 29 201103305 影像的尺度不變特徵特徵於一程式庫。於步驟720,使 用者^供命令以選擇電子設備的一類型(例如τν或 PC) ’例如藉由按一按鍵於中,與第7d圖中所討論 的連結。於步驟722,行動裝置儲存資料,該資料基於 電子設備的類型,將一使用者介面配置及/或通訊協定與 第一影像相關聯。如所提及,此可包括使用者手動配置 行動裝置,例如基於電子設備的類型,藉由存取電子設 備及模組的一選單,且對電子設備選擇適當的入口。在 某些情況中,一旦電子設備的類型已知,可識別一適當 UI配置及/或通訊協定而無須由使用者的進一步輸入。舉 例而言,一個UI配置及/或通訊協定可用於一電視,且 另一 UI配置及/或通訊協定可用於一 PC>行動裝置亦可 月&於没定階段之後與電子設備通訊,以獲得進一步資訊 用於控制行動裝置。 第7c圖描繪一實施階段,其接續著第7b圖的方法的 设疋階段。貫施階段開始於步驟73 於步驟73 2,行動 裝置使用其照相機以擷取包括電子設備的設定的一第二 影像。於步驟734,在一種可能的實施中,決定代表第 二影像的尺度不變特徵的第二資料。見第7e圖額外的細 節。於步驟736,行動裝置決定第二資料是否匹配程式 庫中的資料,程式庫可包括電子設備的一或多個參考影 像的尺度不變特徵特徵,例如不同電視及pCs,及其設 定。見第7f及7g圖額外的細節。若於決策步驟738存 在一匹配,則於步驟742,行動裝置以m配置及/或通訊 30 201103305 協定配置與程式庫中的匹配參考影像相關聯。若於決策 步驟738無匹配,則於步驟732,可藉由行動裝置對使 用者顯示一錯誤訊息。舉例而言訊息可傳達:「無電子設 備被識別,請再試一次」,在此情況可於步驟72〇重複程 序。使用者可嘗試改善成功的機會,例如藉由站更靠近 獲得第一影像的位置、改變光的條件,例如開燈、更穩 的手持照相機 '或者調整照相機的設定、或更精確的將 照相機瞄準使用者意圖控制的電子設備。 第7d圖描繪具有一觸控螢幕使用者介面的一行動裝 置,經配置在第7b圖的方法的一設定階段中用於擷取一 電子設備的一影像。行動裝置1〇〇包括具有一虛擬按鍵 750的一使用者介面顯示3〇〇,其使用者選擇以拍攝一行 動裝置的一相片。一區域752描繪所得到的相片。虛擬 按鍵754及756可由使用者選擇以識別電子設備的一類 f•刀别為例如電視或PC。使用者亦可操縱一選單以特 定識別電子設備的類型,例如藉由製造商及模型。一「下 個」按鍵758纟許使用者繼續另__電子設備的設定階
第7e圖描繪用於決定一影像的尺度不變特徵特徵的 程序此程序可用於實施第7b圖的步驟716及第7c 716及第7c
762 ’存取來自一照相機的影像資料。 係開始程序。於步锁 卜°步驟764包括藉由 31 201103305 相繼模糊影像以產生—模糊影像而從初始影像產生不同 影像’且從初始影像删除模糊影像。相繼模糊且刪除可 用以產生相繼不同的影像,其中使用於一相繼模糊步驟 的初始影像包括產生於—先前模糊步驟的—模糊影像。 步驟766包括在不同影像中定位像素幅度極限值。此可 包括將在考慮的-影像中各像素的幅度與在考慮的影像 中各的鄰近範圍像素中像素的幅度作比較,以識別相對 最大值及最小值幅度像素。所考慮的鄰近範圍像素可牵 涉在相同影像中的像素的-範圍及在至少-個相鄰影像 的像素的-範圍’例如一先前影像或一相繼影像,或兩 者。 步驟768包括疋義—給^不同影像中有關幅度極限值 的一像素區域…區域被定義為多個位置,以一相對應 極限值有關的—方向安排。區域可為任何尺寸,取決於 _用於制程式的解析度。在某些情況巾,區域適合 :義為16X16像素的-格點。步驟770包括劃分一像素 區域為子區域。步驟772包括在從影像產生的多個不同 影像中對有關像素幅度極限值的—像素區域的各子區域 ^生:個組件子區域描述符。多個組件子區域描述符定 由仃動裝置的照相_取的影像的尺度不變特徵 徵。 了 第7f_基於尺度不變特徵特徵用於匹配影像的_ =的一第-部份。步冑774係一程序的開始用於決定 慮的-影像是否匹配—程式庫中的資料。步驟7% 32 201103305 包括檢索-群組’例如代表所考慮影像的一尺度不變特 徵的八組組件子區域描述符。步驟778包括從程式庫檢 索代表一尺度不變特徵的八組組件子區域描述符的最接 近的匹配群組,其被定義為在各組中具有各描述符的方 差的最小總和的特徵。此可由輪流計算各描述符的一距 離而找出。此亦可由應用眾所周知的k_d樹狀演算法而 實行。 步驟780包括將代表程式庫的尺度不變特徵特徵及所 考慮影像的尺度不變特徵特徵的群組應用至一霍夫變 換。決策步驟782決定代表最後影像尺度不變特徵特徵 的最後群組是否被考慮,且若未被考慮,步驟784包括 將代表影像的下一尺度不變特徵特徵的下一群組納入考 慮,且繼續於步驟776處理。若最後尺度不變特徵於決 策步驟782已被考慮,步驟786包括讀取霍夫變換以識 別含有影像及程式庫之間匹配的三個或更多尺度不變特 徵特徵的可能物件。有效地,基於在程式庫中與此物件 相關聯的尺度不變特徵特徵,與所考慮的影像的尺度不 變特徵特徵的一清單一起,霍夫變換提供可能物件的一 清單,其匹配來自程式庫的尺度不變特徵特徵。在產生 可能物件的一清單及匹配特徵之後,清單上的各物件被 應用至第7g圖中所顯現的一程序。 第7g圖描繪基於尺度不變特徵特徵用於匹配影像的 一程序的一第二部份。霍夫變換可產生所考慮的影像中 的物件的參考組件描述符的一清單,及來自尺度不變特 33 201103305 徵的程式庫的匹配參考組件描述符的一清單。此等清單 可應用至一最小平方擬合演算法’其嘗試著識別多個最 佳擬合參考組件描述符而識別一個可能物件。在找到最 佳擬合子區域描述符之後,可快速的識別從參考組件描 述符所產生的影像’且接續著’可決定與此參考組件描 述符相關聯的物件的尺寸及方向及認證,以精確的識別 所考慮的影像中的物體、其方向、其尺寸及其位置。 特疋而S ’該程序的第二部份對代表與物件相關聯的 尺度不變特徵特徵的組件描述符的群組,及代表所考慮 的影像的尺度不變特徵特徵的組件描述符的匹配群組, 應用一最小平方資料擬合演算法,以決定匹配/關連的程 度。若匹配的程度係為高,則物件被表明為呈現於影像 中’且若非如此,則考慮清單上的一進一步物件。 步驟788包括從尺度不變特徵的程式庫中的組件描述 符的群組檢索由霍夫變換產生的代表一可能物件的尺度 不變特徵特徵的組件描述符的群組。步驟79〇包括從所 考慮的影像檢索組件描述符的匹配尺度不變特徵特徵群 組。步驟792包括將代表可能物件的尺度不變特徵特徵 的組件描述符的經檢索群組,及代表所考慮影像的尺度 不變特徵特徵的組件描述符的經檢索匹配群組,應用至 最小平方資料擬合演算法,以決定物體的位置、關於 來自程式庫的尺度不變特徵特徵的影像尺寸的物體的尺 寸、物體的方向、及一錯誤殘餘值或關連的程度。 於決策步驟794’若錯誤殘餘值或關連的程度比一預 34 201103305 定義的臨界值大,則假設物件不太可能被描繪於所考慮 的影像中,且決策步驟796決定清單中的最後物件是否 被考慮。若清單中的最後物件已被考慮,程序結束於步 驟797。若清單中的最後物件未被考慮,步驟798包括 繼續處理清單中的下一物件,且程序於步驟788繼續。 若於決策步驟794,決定錯誤殘餘比預先決定的臨界 值小,則步驟795包括表明可能物件的位置、尺寸及方 向。 以上述方式,對於在參考程式庫中的一所儲存影像的 物件的存在或不存在,以及有關物件的其他實體資訊一 起被表明。因此,在一設定階段發生之後,其中對一或 多個電子裝置識別尺度不變特徵特徵且儲存於一程式庫 中’-實施階段可發生,其中電子裝置之一者的影像被 操取且處理用於與程式庫中的-或多個候選者作比較以 識別一匹配。基於匹配,行動^ # 較 B 仃動裝置以一相對應的UI配置 及/或通訊協定配置。 第8a圖描繪在行動裝置自 从 & 夏用於電子設備之 電子設備顯示資訊以反映行 -旦行動裝置⑽具有控制一電二置的使用者介面。 後,行動裝置可對備104的能力之 以控制藉由電子設備的顯示裝置C器裝置, 樣中,行動裝置可對電子設備通訊=。在另一 置上。舉例而言,顯示裝置105的“示於顯示裝 反映(複製)m 1有或—部分810可 订動裳置1〇0的使用者介面顯示上之 35 201103305 顯示。顯示裝置105的一剩餘部份812可繼續提供由顯 示裝置所提供的一般内容。再者,各種觸發可導致行動 裝置指示電子設備顯示資訊。 舉例而s,當行動裝置接收—撥入電話,行動裝置可 控制顯示裝置以反映使用者介面顯示3〇〇,其包括具有 一甙號強度指示計、時間顯示及電池強度指示符的一區 域802。行動裝置可使用一撥叫者認證特徵,而具有存 取聯繋的能力,其中感測及使用撥叫者的電話號碼以查 詢且顯示先前所儲存的記錄。舉例而言,一區域8〇4提 供撥叫者的一名稱及影像,且一區域8〇6提供有關撥叫 者的個人資訊,包括使用者所作的筆記,以及用於結束 電話的一軟鍵》亦可使用硬鍵308。在使用者介面顯示 300上所顯示的資訊係關於撥入電話。 當使用者與行動裝置互動而導致行動裝置顯示新的資 訊時’或當行動裝置不經由使用者與其互動而顯示新的 資訊時’另一可能的觸發發生,例如當在一日曆提醒上 的一事件的一提醒顯示時。舉例而言’使用者可觀看儲 存於行動裝置中的相片’在此情況中相片亦顯示於顯示 裝置105上。 應注意反映使用者介面顯示300上之顯示的顯示裝置 105的部份810在消失之前可維持一特定時間,或其可 維持直到使用者輸入移除的一命令。此外,顯示裝置1 0 5 並非必須反映UI顯示300,因為在UI顯示300上的資 訊可以不同形式提供於顯示裝置105上。例如,聯繫的 36 201103305 文子說明可顯示於顯示裝置ι〇5的底端。在另一可能 〜樣中$些類型的聯繋’例如個人、工作、家庭、 或特殊個別聯繫,可由使用者觸發顯示㈣而配置,而 其他聯繫不觸發顯示81〇。進一步除了一撥入電話之外, 可觸發其他進人訊息,例如SMS文字訊息及電子郵件。 第8b圖&繪_種方法,其中在行動裝置自動配置用於 電子设備之後,電子設備將一手機的接觸資訊顯示於行 動裝置。於步驟820,行動裝置的使用者介面(m)配 置成控制冑子設備,例如使用此處所述的技術。於步 驟822 φ行動裝置接收一撥入電話。於步驟,行動 裝置使用-撥叫者①功^獲得則者的電話號碼。於 步驟826,行動裝置基於電話號碼存取聯繫資訊。於步 驟828,打動裝置顯示聯繫資訊於& m顯示(第h圖)。 應注意當帛收—電話及電話被接聽之前此可纟生。使用 者可基於聯繫資訊決定不接聽電話。於步驟83〇,行動 裝置傳送—無線訊號至具有來自m顯示的影像資料的 電子設備。此可使用與電子設備相容的任何格式的影像 資料而達成。於步驟832,電子設備接收無線訊號且提 供1^顯示於顯示裝置上(第8b圖)。 第8c圖描繪_種方法,其中在行動裝置自動配置用於 電子設備之後,電子設備反映行動裝置的一使用者介 面。此方式牽涉每當UI顯示300被更新時,傳送m資 料至電子設備。於步驟840,行動裝置的m配置成控制 一電子設備。於步驟842,使用者與行動裝置互動,使 37 201103305 得於步驟844,行動裝置更新其m顯示。於步驟846的 回應中,行動裝置從UI顯示傳送具有影像資料的一無線 訊號至電子設備。於步驟848,電子設備接收無線訊號 且提供UI顯示於顯示裝置上(第8b圖)。 第9a圖描繪一行動裝置的一範例方塊圖。描繪一典型 手機的範例電子電路。電路9〇〇包括控制電路,其 可包括一或多個微處理器,及記憶體91〇 (例如,諸如 ROM的非揮發性記憶體及諸如RAM的揮發性記憶體), 其儲存由控制電路912的一或多個處理器執行的處理器 可讀取碼,以實施此處所述的功能。控制電路912亦與 輪流耦接至一天線902的RF傳送/接收電路9〇6通訊, 該天線具有一紅外線傳送/接收器908,且具有例如—加 速計的一動作/方向感測器914。加速計被併入行動裝置 中使此應用能夠作為智慧型使用者介面,而讓使用者透 過手勢輸入命令’在與一 GPS衛星斷訊之後計算裝置的 動作及方位的室内GPS功能,及當手機被轉動時,偵測 裝置的方向且自動將顯示從縱向改變為橫向。可由一微 機電系統(MEMS )提供一加速計,其係為内建於—半 導體晶片上的(微米尺寸的)一微小機械裝置。可感測 加速方位以及方向、振動及衝擊。控制電路912進一步 與響鈴/振動器916、一使用者介面小鍵盤/螢幕9“、 一喇叭920、一麥克風922、一照相機924、—光感測器 926及一溫度感測器928通訊。 控制電路912控制無線訊號的傳送及接收。在—傳送 38 201103305 模式期間’控制電路912從麥克風922提供一語音㈣ (或其他資料訊號)至傳送/接收電路9〇6。傳送/接收電 路906透過天線902將訊號傳送至一遠端站(例如一固 定站、操作台、其他手機等等)用於通訊。響鈐/振動器 916被用於標示一撥入電話'文字訊息、曰曆提醒、鬧 鐘提醒、或其他對使用者的通知。在一接收模式期間, 傳送/接收電路906從-遠端站透過天線9〇2接收一語音 或其他資料訊號。一所接收的語音訊號被提供至似Μ曰〇 而其他所接收的資料訊號亦被適當地處理。 控制電路912如此處所述可實施通訊,以及影像處理 及關連演算法。 第9b圖描繪一範例行動裝置網路。如所提及的,一行 動裝置可存取-或多個伺服器以獲得自行配置的資訊來 控制-電子設備。行動裝置刚可透過一行動裝置伺服 器954及一後端伺服_ (backendserver)通訊例如透 過-網路950的一資料庫伺服器952。行動裝置飼服器 954對處理從行動裝置及自行動裝置的通訊負責,而資 料庫飼服器952可儲存用於配置行動裝置的資訊。舉例 而言’藉由行動裝置100從一電子設備接收的控制資訊 可被遞送至一資料庫伺服器952以獲得關於使用者介面 設定及-通訊協定的資訊而用於電子設備。此資料可替 代的或額外的被儲存於行動裝置1 〇〇 ^ 第10圖讀—電視的—範财塊圖。電路包括 控制電路1012 ’其可包括—或多個微處理器,及記憶體 39 201103305 1 01 0 (例如’諸如R〇M的非揮發性記憶體及諸如RAM 的揮發性s己憶體),其儲存由控制電路丨〇丨2的一或多個 處理器所執行的處理器可讀取碼,以實施此處所述的功 忐控制電路1〇12亦與輪流耦接至一天線1〇〇2的rf 傳送/接收電路1006通訊,例如從一行動裝置或WLAN 中的其他組件接收RF訊號,及發送RF訊號至一行動裝 置或WLAN中的其他組件。一紅外線傳送/接收器丨〇〇8 可類似的用於傳送訊號至一行動裝置,或從一行動裝置 接收訊號。對一 TV訊號來源1〇14的一介面可從一地面 電視天線 寬頻播送系統、一衛星傳送器、及一乙太 網路播送系統接收無線電廣播内容,其為一綑束服務使 用乙太網際網路協定ΠΡ)結合了網路、電話、及電視 服務播送封包透過光纖、雙銅絞線或同軸電纜發送至一 使用者的家庭。一視頻輸出1016可包括一顯示裝置(例 如第lb圖中電視1〇5的顯示裝置J04)。亦可提供一音 頻輸出1018、對一數位視頻記錄器(DVR) 1〇2〇的一介 面及對一 PC 1022的一介面。 控制電路1012可實施此處所述的通訊及影像處理。 第11圖描述一個人電腦(pc)的一範例方塊圖。電路 1100包括控制電路1H2,其可包括一或多個微處理器, 及記憶體1110 (例如,諸如R〇M的非揮發性記憶體及 諸如RAM的揮發性記憶體),其健存由控制電路1112的 一或多個處理器所執行的處理器可讀取碼,以實施此處 所述的力此控制電路1丨丨2亦與輪流搞接至一天線Η 40 201103305 的RF傳送/接收電路ιι〇6通訊,例如從一行動裝置或 WLAN中的其他組件接收RF訊號,及發送rf訊號至一 行動裝置或WLAN中的其他組件。一紅外線傳送/接收器 1108可類似的用於傳送訊號至一行動裝置,或從一行動 裝置接收訊號。一視頻輸出1116可包括一顯示裝置(例 如第lb圖中監視器的顯示裝置ln)。亦可提供一音頻輸 出1118及對一 TV 1122的一介面。 控制電路1112可貫施此處所述的通訊及影像處理。 第12圖描繪適合用於實施各種實施例的電腦硬體的 一範例方塊圖。電腦硬體可代表例如第4圖的行動裝 置用於貫施各種貫施例的一範例系統包括一通用計算 装置1210。a十算装£ 121〇的組件可包括—處理單元 mo、一系統記憶體123〇、及耦接包括系統記憶體的各 種系統組件至處理置;、0。. 早凡1220的一系統匯流排1221。系 統匯桃排1221可為,例如一記憶體匯流排或記憶體控制 器、-週邊匯流排、及使用各種匯流排架構之任一者的 一區域匯流排。 &十算裝置1210可句知 括夕種電腦或處理器可讀取媒 電腦可讀取媒體可為計算裝置咖可存取的任何可 取得媒體,且包括揮發 除媒體兩種。電腦…可移除及不可移 如u权 取媒體可包含電腦儲存媒體,例 除及方法或技術中的揮發性及非揮發性、可移 取指令、資而用於資訊的儲存’例如電腦可讀 構、程式模組或其他資料。電腦儲存媒 41 201103305 體包括但不限於RAM、ROM、EEPROM、快閃記憶體或 其他記憶技術、CD-ROM、數位光碟(DVD )或其他光 學碟片儲存、磁卡夾、磁帶、磁片儲存或其他磁性儲存 裝置、或可用於儲存所欲資訊且可由計算裝置121〇存取 的任何其他媒體。以上任何的結合亦包括於電腦可讀取 媒體的範疇中。 系統記憶體1230包括揮發性及/或非揮發性記憶體的 形式的電腦儲存媒體,例如唯獨記憶體(R〇M) 1231及 隨機存取記憶體(RAM)1232e 一基本輸入/輸出系統1233 (BIOS),其含有在計算裝置121〇中的元件之間(例如 在開機期間)幫助傳輸資訊的基本常式,典型地儲存於 ROM 1231中。RAM 1232典型地含有資料及/或程式模 組,其藉由處理單元1220力即可存取及/或當下可操作。 舉例而言,可提供一操作系統1234、應用程式1235、其 他程式模組1236、及程式資料1237。 什异裝置1210亦可包括其他可移除/不可移除揮發 性/非揮發性電腦儲存媒體。僅以範例的方式,第Μ圖 說明一不可移除、非揮發性記憶體124〇,例如固態記憶 體,及一記憶卡(例如SD卡)介面/讀取機125〇,其讀 取自或寫入一可移除、非揮發性記憶卡1252。可用於範 例操環境t的其他可移除/不可移除,揮發性/非揮發性電 腦儲存媒體包括但不限於快閃記憶卡、數位光碟、數位 影帶、固態RAM、固態R0M、及類似者。 電腦錯存媒體提供電腦可讀取指令、資料結構、程式 42 201103305 模組及用於計算裝置121G的其他資料的儲存1例而 ,,不可移除、非揮發性記憶體124〇被圖示為儲存操作 系統1244、應用程式1245、其他程式模組1246、及程 式資料1247。此等組件可與系統記憶體123"的操作 系統1234、應用程式1235、其他程式模組η%、及程 式資料1237相同或不同。此處圖示的操作系統1244、 *、用程式1245、其他程式模組1246、及程式資料 被給定不同的元件符號表示至少其為不同的複制。一使 用者可透過例如—鍵盤/觸控螢幕12662及麥克風1261 的輸入裝置將命令及資訊輸入計算裝置121〇。其他輸入 、(未顯TF)可包括一操縱桿、遊戲機、碟形衛星、 掃描器、或類似的。轮笙菸甘 匕·#及其他輸入裝置常常透過耦接 至系統匯流排的一使用者輸入介面連接至處理單元 1220 ’但可由其他介面及匯流排結構連接,例如一平行 璋、遊戲璋或—通用串列匯流排(USB)。-顯示/監視器 1291亦透過—介面連接至系統匯流排122卜例如-視頻 介面129G。—照相機/光感測器1202透過-介面1201 連接至系統匯流妯! 〇 〇 ,.,, 221 °例如一音頻輸出1297的其他 週邊輸出裝置可透過—輸出週邊介面⑽而連接。 計算裝置1210可使用邏輯連接至-或多個遠端計算 裝 操作於、網路化環1竟中,例如一遠端計算裝置 ⑽。遠端計算裝置128〇可為另一行動裝置、一個人電 γ m_網路Pc、一同級裝置或其他通用網路 p”且八型地包括與計算裝置1210有關的上述許多或 43 201103305 企業型電腦網 所有元件。此網路環境一般位於公司中 路、内部網路及網際網路。 當用於-網路環境中時,計算裝置121〇係透過一網路 介面或配接器U70連接至另—網路。在―網路化環境 中,描繪相關於計算裝置121G的程式模數或其—部份可 儲存於遠端記憶儲存裝置中。盤加品^ 直甲舉例而&,遠端應用程式 1 285可位居於記憶裝置1281上。 工所顯現的網路連接係 為範例,且可使用在計算裝置之間建立一通訊鏈結的其 他方式。 此技術的以上詳細說明已呈現用於解釋及說明的目 的。此並非意圖消耗或限制本技術為所揭示的精確形 式。許多修改及改變係於以上教示而為可能的。所述實 施例係經選擇而最佳解釋本技術的原理及其實際應用, 藉此使其他技藝人士能夠最佳使用本技術於各種實施例 及適合特定使用考量的各種修改。本技術的範疇意圖由 隨附的申請專利範圍定義。 【圖式簡單說明】 第la圖描繪一行動裝置的一觸敏螢幕表面。 第U圖描繪藉由無線訊號與不同電子設備通訊的一 行動裝置。 第2a圖描繪具有一顯示裝置的一電子設備的一行動 裝置所掏取的影像的設定。 44 201103305 第2b圖描繪一行動裝置的—第一照相方向準則。 第2c圖描繪一行動裝置的一第二照相方向準則。 第2d圖描繪若行動裝置係於照相方向中,則自動啟動 一行動裝置的一輪詢程序的一程序。 第2e圖描繪包括與顯示裝置相關聯的多個電子設備 的一設定的一行動裝置所擷取的影像。 第2f圖描繪從具有一行動裝置的依照相機所擷取的影 像資料的一電子設備傳送的影像資料的一比較。 第3a圖描繪具有一觸控螢幕使用者介面的一行動裝 置,經配置用作一手機》 第3b圖描繪具有一觸控螢幕使用者介面的一行動裝 置,經配置用作一電視遙控器。 第3c圖描繪具有一觸控螢幕使用者介面的—行動裝 置,經配置用作一個人電腦(pc)遙控器。 第4a圖描緣一種方法,其中一行動裝置自行自動配置 由將電子叹備的—行動裝置所操取的影像與電子設備 所傳送的影像資料作比較而用於—電子設備。 第4b圖描繪來自一杆 仃動裝置回應於一無線訊號的接 收而顯示於一電子設備 梅 镝的顯不裝置上的一預定義影 1冢。 第4c圖描綠一種 法,其中一行動裝置自行自動配置 成藉由將多個電子#供 子☆借所值、* 叹備的一行動裝置所擷取的影像與電 、的$像資料作比較,且在多個電子設備之 間選擇最佳匹配,W於-電子設備/ 45 201103305 第5圖描繪一種方法,纟中在行動裝置的一使用者介 面配置用於電子設備之後,行動裝置控制電子設備。 第6a圖描繪一行動裝置感測提供於一電子設備的一 顯示裝置上的一同步影像。 第6b圖描繪一種方法,其中一行動裝置藉由感測提供 於電子設備的一顯示裝置上的一同步影像,而自行自動 配置用於一電子設備。 第7a圖描續從不同角度及距離拍攝的行動裝置所掏 取的影像的一設定,其甲設定包括具有一顯示裝置的一 電子設備。 第7b圖描繪一種方法的一設定階段,其中一行動裝置 藉由擷取包括電子設備的一設定的一影像,且從一不同 角度及距離所拍攝的設定的一先前所拍攝的影像作比 較,而自行自動配置用於一電子設備。 第7c圖描繪一實施階段,其接續著第7b圖的方法的 設定階段。 第7d圖描繪具有一觸控榮幕使用者介面的行動裝 置’經配置在第7b圖的方法的一設定階段中用於擷取一 電子設備的一影像。 第7e圖描繪用於決定一影像的尺度不變特徵特徵的 一程序。 第7f圖描繪基於尺度不變特徵特徵用於匹配影像的一 程序的一第一部份。 第7g圖描繪基於尺度不變特徵特徵用於匹配影像的 46 201103305 一程序的一第二部份。 第8a圖描繪在行動裝置自 4 #供配置用於電子設備之 後,電子汉備顯不資訊以反映行 ^ ^ 功裝置的使用者介面。 第8b圖描繪一種方法,其中在 丁勒裝置自動配置用於 電子設備之後’電子設備將—手拖 機的接觸資訊顯示於行 動裝置。 第8。圖描繪-種方法’其中在行動震置自動配置用於 電子設備之後’電子設備反映行動裝置的一使用者介面。 第9a圖描繪一行動裝置的一範例方塊圖。 第9b圖描繪一範例行動裝置網路。 第10圖描繪一電視的一範例方塊圖。 第11圖描繪一個人電腦(PC)的一範例方塊圖。 第12圖描繪適合用於實施各種實施例的電腦硬體的 一範例方塊圖。 e 【主要元件符號說明】 100 行動裝置 109 顯示裝置 101 照相機鏡片 110 監視器 102 設定 111 顯示裝置 104 電視 112 PC 105 顯示裝置或螢幕 120 第一層 106 電動玩具主機 121 第二層 108 手提電腦 122 第三層 47 201103305 123 第四層 904 電池 124 第五層 906 RF傳送/接收器 200 影像 908 紅外線傳送/接收 202 牆面吊飾 器 204 花瓶 910 記憶體 206 桌子 912 控制電路 208 垂直線 914 動作/方向感測器 215 影像資料 916 響鈴/振動器 216 比較函數 918 使用者介面小鍵 300 使用者介面顯示 盤/螢幕 301 視窗 920 嗦丨J 口八 302-314 區域 922 麥克風 320-324 區域 924 照相機 600 區域 926 光感測器 700 影像 928 溫度感測器 750 虛擬按鍵 950 網路 752 區域 952 資料庫伺服器 754-758 按鍵 954 行動裝置伺服器 802-806 區域 1000 TV 810 部份顯示裝置 1002 天線 812 顯示裝置剩餘部 1006 RF傳送/接收器 1008 紅外線傳送/接收 900 行動裝置 器 902 天線 1010 記憶體 48 201103305
1012控制電路 1232 RAM
1014與TV訊號來源 1233 BIOS 交流 1016視頻輸出 101 8音頻輸出 1020與DVR交流 1022與PC交流 1100 PC 1102天線 1106 RF傳送/接收器 1108紅外線傳送/接收 器
1110記憶體 1112控制電路 1116視頻輸出 1118音頻輸出 1122與TV交流 1201介面 1202照相機 1210計算裝置 1220處理單元 12 21系統匯流排 1230系統記憶體 1231 ROM 1235應用程式 1 2 3 6其他程式模,組 1237程式資料 1240不可移除非揮發 性記憶體 1241操作系統 1244操作系統 1245應用程式 1246其他應用模組 1247程式資料 125〇可移除非揮發性 記憶體介面 1252記憶卡 1260使用者輸入介面 1261麥克風 1262鍵盤/觸控螢幕 1270網路介面 1280遠端電腦 1285遠端應用程式 1290視頻介面 1291顯示 1 2 9 5輸出週邊介面 49 201103305 1297音頻 50

Claims (1)

  1. 201103305 七、申請專利範圍: 1. 一種藉由無線訊號通訊的手持行動裝置,其包含: 一影像感測器; 一使用者介面; 一記憶體,其儲存處理器可讀取碼;及 至少一個處理器’其執行該處理器可讀取碼,該至少 一個處理器:於一第一時間使用該影像感測器擷取該電 子設備的至少一第一影像,基於該至少一第一影像儲存 第一資料於該記憶體中,於該第一時間之後的一第二時 間使用該影像感測器擷取該電子設備的至少一第二& 一'衫 像,基於該至少一第二影像提供第二資料,決定該第— 資料是否與該第二資料匹配,且若該第一資料與該第二 資料匹配則配置該使用者介面用於該電子設備。 2. 如申請專利範圍第1項之手持行動裝置,其中: 該第一資料識別該至少一第一影像的尺度不變特 徵,該第二資料識別該至少一第二影像的尺度不變特 徵,且該決定包含決定在該至少一第一影像的該等尺度 不變特徵與該至少一第二影像的該等尺度不變特徵之間 的一關連性是否比一預定義的臨界值大。 3. 如申請專利範圍第丨項之手持行動裝置,其中: 該配置包含在該記憶體中存取將一使用者介面配置 51 201103305 與該至少一第一影像相關聯的資料。 4.如申請專利範圍第丨項之手持行動裝置其中: 該方法進-步包含透過識別該電子設備的一類型的 該使用者介面接收一使用者命令, P 7 且該配置係基於該電 子設備的該經識別的類型。 5.如申請專利範圍第4項之手持行動裝置,其中. 該經識別的類型係為一電視及—個人電腦之至少一 者0 6. 如申請專利範圍第i項之手持行動裝置,其中: 該影像感測器係偵測可見光的一照相機。 7. 如申請專利範圍第1項之手持行動裝置,其中: 該使用者介面藉由配置傕 直使用者介面以提供允許一使 用者控制該電子設備的辟-从 …於… 的—觸控螢幕’以經配 置成用於該電子設備。 8. 如申請專利範圍第1 用者介面經配置成用於,雷裝置’其中在該使 電子設備之後 理器執行該處理器可讀取 ^ ^個處 含以下步驟: 茨方法包 啟動該行動裝置以傳送— …、線戒旎至該電子設備,該 52 201103305 無線訊號具有待顯示於該電子設備的一顯示裝置上的資 訊。 9. 如申請專利範圍第8項之手持行動裝置,其中: 該啟動該行動裝置以傳送該無線訊號之步驟係回應 於藉由該行動裝置所接收的一撥入電話且待顯示於該 顯示裝置上的該資訊係關於該撥入電話。 10. 如申請專利範圍第8項之手持行動裝置,其中: 待顯示於該顯示裝置上的該資訊反映該使用者介面 上所顯示的資訊。 11.如申請專利範圍第8項之手持行動裝置,進一步包 含: 至少一個感測器,當該行動裝置係於一照相方向時’ 該至少一個感測器作成指示,且該啟動該行動裝置以傳 送該無線訊號係回應於該至少一個感測器。 —種用於配置藉由無線訊號通訊的一行動裝置的處 理器實施方法,包含以下步驟: 啟動該行動裝置以傳送一無線訊號,該無線訊號係藉 由與一第一顯示裝置相關聯的一第一電子設備接收,該 第一電子設備回應於來自該行動裝置的該無線訊號的接 收而傳送一無線訊號,藉由該第一電子設備所接收的該 53 201103305
    資料; 不的至少一個影 對應的第一影像 於該行動裝置接收由該第一 線訊號; 電子設備所傳送的該無 影像感測器擷取在該第一顯示 使用該行動裝置的_ 裝置上所顯示的該至少一個影像; 基於該第一顯示裝置上所顯示的該至少一個影像提 供參考影像資料; 決定該第一影像資料是否與該參考影像資料匹配;及 基於該第一影像資料是否與該參考影像資料匹配,確 定是否基於用於控制該第一電子設備的該資訊而配置該 行動裝置的一使用者介面。 13.如申請專利範圍第12項之處理器實施方法,其中: 在該第一顯示裝置上所顯示的該至少一個影像係回 應於來自該行動裝置的該無線訊號的接收,而藉由該至 少一第一電子設備顯示。 14·如申請專利範圍第12項之處理器實施方法,其中: 用於控制該第一電子設備的該資訊包括用於控制該 第一電子設備的一協定的一識別符’且該行動裝置基於 該識別符存取資訊用於實施該協定。 54 201103305 15.如申請專利範圍第12項之處理器實施方法,其中: 該第一電子設備包含一個人電腦,且用於控制該第— 電子設備的該資訊包括運轉於該個人電腦上的一應用程 式的一識別符。 16.如申請專利範圍第a項之處 — 來自該行動裝置的該無線訊號係藉由與一第二顯示 裝置相關聯的-第二電子設備而接收,該第二電子設備 回應於來自該行動裝置的該無線訊號的接收而傳送一無 線訊號’藉由該第二電子設備傳送的該無線訊號包含與 該第二顯示裝置上所顯示的至少一個影像相對應的第二 影像資料、及用於控制該第二電子設備的資訊,該參考 影像資料包括該第二顯示裝置上所顯示的該至少一個影 像; 於該行動裝置接收由兮笛_ 線訊號; “第-電子-備所傳送的該無 =疋該第二影像f料是否與該參考影像資料匹配;及 彡像f料與該參考影像資料匹配,且該第二 "像資料與該參考影像資 傻眘貝付匹配旰,藉由決定該第一影 象資=二影像資料何者與該參考影像資料係一較佳 訊:二Π定是否基於用於控制該第-電子設備的該資 用者介面。於控制該第二電子設備的該資訊而配置該使 55 201103305 17·如申清專利範圍第16項之處理器實施方法,其中: 8 第景^像資料或第二影像資料何者與該參 考私像貝料係—較佳匹配之步驟包含以下步驟:決定該 第一或第二電子設備何者係位於由該參考影像資料所代 表的一影像中的更中央。 18. —種用於配置藉由無線訊號通訊的一行動裝置的處 理器貫施方法,包含以下步驟: 啟動該行動裝置以傳送一無線訊號,該無線訊號係由 與-顯示裝置相關聯的一電子設備所接收,該電子設備 回應於來自該行動裝置的該無線訊號的接收,而在該顯 不裝置上提供至少一個同步影像; 使用該行動裝置的—光感測器感測該至少—個同步 影像; 基於該至少-個經感測的同步影像識別—使用者介 面配置;及 以該經識別的使用纟介面配置配置該行動裝置的一 使用者介面以控制該電子設備。 •如中請專利範圍第18項之處理器實施方法,其中 該至少-個同步影像指示該第一電子設備是否係 電視或個人電腦。 20.如申請專利範圍帛18項之處理器實施方法,其中 56 201103305 基於該至/|、 面配置之步一—個經感測的同步影像識別該使用者介 g #匕s以下步驟:基於該至少一個經感測的 ,〆象從不同使用者介面配置的—程式庫選擇該使 用者介面配置,該等不同使者介面配置與電子設備的不 同類型相關聯。 57
TW099115171A 2009-06-12 2010-05-12 Mobile device which automatically determines operating mode TW201103305A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/483,483 US9014685B2 (en) 2009-06-12 2009-06-12 Mobile device which automatically determines operating mode

Publications (1)

Publication Number Publication Date
TW201103305A true TW201103305A (en) 2011-01-16

Family

ID=43306851

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099115171A TW201103305A (en) 2009-06-12 2010-05-12 Mobile device which automatically determines operating mode

Country Status (8)

Country Link
US (1) US9014685B2 (zh)
EP (1) EP2441271B1 (zh)
JP (1) JP2012529866A (zh)
KR (1) KR101668138B1 (zh)
CN (1) CN102498725B (zh)
RU (1) RU2011150243A (zh)
TW (1) TW201103305A (zh)
WO (1) WO2010144532A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103149975A (zh) * 2011-12-07 2013-06-12 纬创资通股份有限公司 整合移动通讯装置和便携式电子装置的方法及其便携式电脑模块
TWI673679B (zh) * 2012-05-24 2019-10-01 微軟技術授權有限責任公司 用於使用者介面的方法、設備及電腦可讀取記錄媒體
US10831184B2 (en) 2016-03-23 2020-11-10 Nec Corporation Data processing apparatus, data processing system, data processing method, and non-transitory storage medium

Families Citing this family (145)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009113416A1 (ja) * 2008-03-10 2009-09-17 日本電気株式会社 通信システム、送信装置及び受信装置
US8805110B2 (en) 2008-08-19 2014-08-12 Digimarc Corporation Methods and systems for content processing
US20100261465A1 (en) * 2009-04-14 2010-10-14 Rhoads Geoffrey B Methods and systems for cell phone interactions
US8929877B2 (en) 2008-09-12 2015-01-06 Digimarc Corporation Methods and systems for content processing
KR20100045188A (ko) 2008-10-23 2010-05-03 삼성전자주식회사 원격 조정 장치 및 상기 원격 조정 장치를 이용하여 디바이스를 제어하는 방법
US9014685B2 (en) 2009-06-12 2015-04-21 Microsoft Technology Licensing, Llc Mobile device which automatically determines operating mode
KR101196410B1 (ko) * 2009-07-07 2012-11-01 삼성전자주식회사 Tv 설치타입에 기초한 자동 환경 설정방법 및 이를 적용한 tv
US8626344B2 (en) 2009-08-21 2014-01-07 Allure Energy, Inc. Energy management system and method
KR101584304B1 (ko) * 2009-07-20 2016-01-11 삼성전자주식회사 콘텐츠 요청 장치 및 방법
US8610926B2 (en) * 2009-07-24 2013-12-17 Canon Kabushiki Kaisha Information processing apparatus, information processing method and program for determining suitability of printing content data displayed on a display apparatus
KR101608770B1 (ko) * 2009-08-03 2016-04-04 엘지전자 주식회사 이동단말기 및 그 제어방법
US9571625B2 (en) 2009-08-11 2017-02-14 Lg Electronics Inc. Electronic device and control method thereof
US9838255B2 (en) 2009-08-21 2017-12-05 Samsung Electronics Co., Ltd. Mobile demand response energy management system with proximity control
US8498749B2 (en) 2009-08-21 2013-07-30 Allure Energy, Inc. Method for zone based energy management system with scalable map interface
US9209652B2 (en) 2009-08-21 2015-12-08 Allure Energy, Inc. Mobile device with scalable map interface for zone based energy management
KR101606134B1 (ko) * 2009-08-28 2016-03-25 삼성전자주식회사 휴대용 단말기에서 이미지 인식을 통하여 디바이스 연결을 수행하기 위한 장치 및 방법
KR101686413B1 (ko) * 2009-08-28 2016-12-14 삼성전자주식회사 복수 개의 컨트롤 사용자 인터페이스를 이용한 원격 제어 방법 및 시스템
KR101591525B1 (ko) * 2009-09-11 2016-02-04 삼성전자주식회사 휴대단말기의 안테나 성능 보완 장치
JP5563270B2 (ja) * 2009-10-19 2014-07-30 シャープ株式会社 ネットワークシステム、通信方法、通信機器、および通信プログラム
KR101664430B1 (ko) 2009-11-13 2016-10-10 삼성전자주식회사 리모트 ui 서비스 제공 방법 및 장치
KR101670352B1 (ko) * 2009-12-03 2016-10-28 엘지전자 주식회사 이동 단말기, 전자 기기 및 전자 기기의 제어 방법
US20110136442A1 (en) * 2009-12-09 2011-06-09 Echostar Technologies Llc Apparatus and methods for identifying a user of an entertainment device via a mobile communication device
CN102696029B (zh) * 2010-01-06 2015-05-27 株式会社东芝 信息检索装置、信息检索方法及信息检索程序
US8692851B2 (en) * 2010-01-06 2014-04-08 Apple Inc. Device, method, and graphical user interface with grid transformations during device rotation
US10048921B2 (en) * 2010-03-02 2018-08-14 Qualcomm Incorporated Controlling a multimedia device in remote display mode
JP2011193426A (ja) * 2010-03-15 2011-09-29 Shinten Sangyo Co Ltd リモコン機能付き携帯電話端末
US8615432B2 (en) 2010-04-02 2013-12-24 Apple Inc. Background process for providing targeted content within a third-party application
US9922354B2 (en) 2010-04-02 2018-03-20 Apple Inc. In application purchasing
US20110246618A1 (en) 2010-04-02 2011-10-06 Apple Inc. Caching multiple views corresponding to multiple aspect ratios
US8812656B2 (en) * 2010-04-12 2014-08-19 Broadcom Corporation System and method for automatically managing a network of user-selectable devices
US8638222B2 (en) * 2010-04-19 2014-01-28 Microsoft Corporation Controllable device selection based on controller location
US9122735B2 (en) * 2010-04-30 2015-09-01 Lenovo (Singapore) Pte. Ltd. Method and apparatus for modifying a transition to an altered power state of an electronic device based on accelerometer output
US8548449B2 (en) * 2010-05-20 2013-10-01 Microsoft Corporation Mobile contact notes
US9110749B2 (en) 2010-06-01 2015-08-18 Apple Inc. Digital content bundle
US20110310227A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Mobile device based content mapping for augmented reality environment
EP2587792B1 (en) * 2010-06-28 2017-08-30 LG Electronics Inc. Method and apparatus for providing the operation state of an external device
US20120001724A1 (en) * 2010-07-01 2012-01-05 Petros Belimpasakis Interacting with Peer Devices Based on Machine Detection of Physical Characteristics of Objects
KR20120005124A (ko) * 2010-07-08 2012-01-16 삼성전자주식회사 휴대용 단말기에서 움직임에 따른 동작을 수행하기 위한 장치 및 방법
TWI399083B (zh) * 2010-07-28 2013-06-11 Compal Communication Inc 具遙控功能之無線通訊系統及其無線通訊模組
US20120050183A1 (en) * 2010-08-27 2012-03-01 Google Inc. Switching display modes based on connection state
JP4818454B1 (ja) * 2010-08-27 2011-11-16 株式会社東芝 表示装置、及び表示方法
US8331916B2 (en) * 2010-08-31 2012-12-11 Apple Inc. Image selection for an incoming call
US8983978B2 (en) 2010-08-31 2015-03-17 Apple Inc. Location-intention context for content delivery
US20130165180A1 (en) * 2010-09-27 2013-06-27 Adobe Systems Incorporated Integrating Operation Of Consumer Electronic Devices
KR20120053420A (ko) * 2010-11-17 2012-05-25 삼성전자주식회사 디바이스 제어 시스템 및 방법
US8905927B2 (en) * 2010-11-30 2014-12-09 Universal Electronics Inc. System and method for non-intrusive health monitoring in the home
JP5620287B2 (ja) * 2010-12-16 2014-11-05 株式会社オプティム ユーザインターフェースを変更する携帯端末、方法及びプログラム
US8446364B2 (en) * 2011-03-04 2013-05-21 Interphase Corporation Visual pairing in an interactive display system
JP5161328B2 (ja) * 2011-03-04 2013-03-13 株式会社コナミデジタルエンタテインメント ゲームシステム及びそのコンピュータプログラム
US9104415B2 (en) * 2011-03-29 2015-08-11 Qualcomm Incorporated Method for selecting and launching a hybrid mode of operation for a portable device based on received sensor information and a current mode of operation
KR101788060B1 (ko) * 2011-04-13 2017-11-15 엘지전자 주식회사 영상표시장치 및 이를 이용한 콘텐츠 관리방법
ES2395447B1 (es) * 2011-04-14 2013-11-07 Alberto ADARVE LOZANO Sistema de monitorización para la supervisión y control de operaciones críticas en remoto y método de detección de congelamiento de imagen
KR101764251B1 (ko) * 2011-04-19 2017-08-04 삼성전자주식회사 전력 사용 상태 표시 방법 및 이를 적용한 휴대기기
KR20120127987A (ko) * 2011-05-16 2012-11-26 삼성전자주식회사 통화 모드 전환 방법 및 장치
US9195677B2 (en) * 2011-05-20 2015-11-24 Stephen Ball System and method for decorating a hotel room
JP5764387B2 (ja) * 2011-05-27 2015-08-19 京セラ株式会社 遠隔操作装置、遠隔制御システムおよび制御プログラム
US10564791B2 (en) * 2011-07-21 2020-02-18 Nokia Technologies Oy Method and apparatus for triggering a remote data entry interface
CN102238287B (zh) * 2011-08-05 2014-04-09 宇龙计算机通信科技(深圳)有限公司 移动终端和根据环境数据进行显示的方法
CN103718572B (zh) * 2011-08-12 2016-08-17 英派尔科技开发有限公司 一种用于移动装置使用推荐的方法和组件
US9369820B2 (en) 2011-08-23 2016-06-14 Htc Corporation Mobile communication device and application interface switching method
US10152294B2 (en) * 2011-08-23 2018-12-11 Htc Corporation Mobile device and method of running two platform systems or applications thereon
MX342956B (es) 2011-08-30 2016-10-19 Allure Energy Inc Administrador de recursos, sistema y método para comunicar información de administración de recursos para recursos inteligentes de energía y medios.
KR20150068488A (ko) 2011-09-12 2015-06-19 인텔 코포레이션 공유된 장치 및 개인용 장치를 이용한 개인맞춤화된 사용자 기능의 협력적 제공
US20130078966A1 (en) * 2011-09-23 2013-03-28 Ting-Mao Chang System and method for notifying the user of a mobile phone the status of an originated phone call
EP2764421A4 (en) * 2011-10-03 2015-05-13 Blackberry Ltd METHOD AND DEVICES FOR ENABLING A COMMON USER INTERFACE MODE BASED ON ORIENTATION
US9014075B2 (en) * 2011-10-13 2015-04-21 Alcatel Lucent Wide area mirroring router
KR101733115B1 (ko) * 2011-11-08 2017-05-10 한국전자통신연구원 원격 스크린내 콘텐츠 원격 제어 방법 및 장치
US20150194048A1 (en) * 2011-11-14 2015-07-09 Jeremy Haubrich Universal Remote
CN103188334A (zh) * 2011-12-30 2013-07-03 宏碁股份有限公司 同步系统及其方法
WO2013101211A1 (en) * 2011-12-30 2013-07-04 Intel Corporation User interfaces for electronic devices
DE102012001583A1 (de) * 2012-01-27 2013-01-24 Daimler Ag Verfahren und System zur Steuerung, Überwachung und/oder Konfiguration einer netzwerkfähigen Anordnung
US9414184B2 (en) 2012-02-15 2016-08-09 Maxlinear Inc. Method and system for broadband near-field communication (BNC) utilizing full spectrum capture (FSC) supporting bridging across wall
US20140300827A1 (en) * 2012-03-09 2014-10-09 Mediatek Singapore Pte. Ltd. Mobile device and remote control connection for electronic device via near field communication
JPWO2013136702A1 (ja) * 2012-03-12 2015-08-03 パナソニックIpマネジメント株式会社 無線通信装置、無線通信方法、および無線通信制御プログラム
CN102638716A (zh) * 2012-03-21 2012-08-15 华为技术有限公司 实现移动终端遥控电视的方法、装置和系统
KR20130115488A (ko) * 2012-04-12 2013-10-22 엘에스산전 주식회사 이동단말의 인버터상태 알림장치와 모터상태 분석장치
US9798457B2 (en) 2012-06-01 2017-10-24 Microsoft Technology Licensing, Llc Synchronization of media interactions using context
KR101945812B1 (ko) * 2012-06-08 2019-02-08 엘지전자 주식회사 이동 단말기, 및 그 동작방법
CN103491443A (zh) * 2012-06-13 2014-01-01 腾讯科技(深圳)有限公司 一种将控制器的屏幕图像在客户端显示的方法、系统及装置
CN103491444B (zh) * 2012-06-14 2016-09-21 腾讯科技(深圳)有限公司 图像互动方法和系统以及对应的显示装置
US9377900B1 (en) * 2012-06-18 2016-06-28 Amazon Technologies, Inc. Optical touch sensor
US9142242B1 (en) * 2012-06-20 2015-09-22 Google Inc. Remotely controlling appliances based on lighting patterns
US9141504B2 (en) * 2012-06-28 2015-09-22 Apple Inc. Presenting status data received from multiple devices
US9189030B2 (en) * 2012-07-10 2015-11-17 Htc Corporation Method of handling holding sensors and related mobile device
CN103677702B (zh) * 2012-09-17 2017-06-27 联想(北京)有限公司 一种显示方法和电子设备
US20150264439A1 (en) * 2012-10-28 2015-09-17 Hillcrest Laboratories, Inc. Context awareness for smart televisions
US9251171B2 (en) * 2012-11-30 2016-02-02 Google Inc. Propagating image signals to images
US10250837B2 (en) 2012-12-05 2019-04-02 DISH Technologies L.L.C. User proximity recognition and hands-free control
JP5575960B2 (ja) * 2012-12-25 2014-08-20 シャープ株式会社 放送番組再生システム、放送番組再生装置および端末装置
CN103914969A (zh) * 2013-01-07 2014-07-09 凹凸电子(武汉)有限公司 移动终端装置以及控制电器设备的方法
US9716530B2 (en) 2013-01-07 2017-07-25 Samsung Electronics Co., Ltd. Home automation using near field communication
EP2944076B1 (en) * 2013-01-09 2020-05-20 Sony Corporation Mobile device and method for establishing a wireless link
CN107564259A (zh) * 2013-01-21 2018-01-09 上海科斗电子科技有限公司 便携式智能设备
US9741150B2 (en) 2013-07-25 2017-08-22 Duelight Llc Systems and methods for displaying representative images
US10063499B2 (en) 2013-03-07 2018-08-28 Samsung Electronics Co., Ltd. Non-cloud based communication platform for an environment control system
US9513864B2 (en) 2013-03-14 2016-12-06 Apple Inc. Broadcast control and accrued history of media
US9244888B2 (en) 2013-03-15 2016-01-26 Microsoft Technology Licensing, Llc Inferring placement of mobile electronic devices
US9053250B2 (en) 2013-03-26 2015-06-09 Hewlett-Packard Development Company, L.P. Dual-mode tablet input system with primary computer wherein first mode is keyboard input with computer and second mode involves mirroring with computer
US10375342B2 (en) 2013-03-27 2019-08-06 Apple Inc. Browsing remote content using a native user interface
CN104102334B (zh) * 2013-04-10 2017-10-27 宏碁股份有限公司 远端装置的控制方法与远端控制系统
US20140320387A1 (en) * 2013-04-24 2014-10-30 Research In Motion Limited Device, System and Method for Generating Display Data
US9686346B2 (en) * 2013-04-24 2017-06-20 Blackberry Limited Device and method for generating data for generating or modifying a display object
US20150019341A1 (en) * 2013-04-29 2015-01-15 Kiosked Oy Ab System and method for displaying information on mobile devices
KR20140133351A (ko) * 2013-05-10 2014-11-19 삼성전자주식회사 원격 제어 장치, 디스플레이 장치 및 이들의 제어 방법
US8971869B2 (en) 2013-05-23 2015-03-03 Elwha Llc Mobile device that activates upon removal from storage
US8971868B2 (en) * 2013-05-23 2015-03-03 Elwha Llc Mobile device that activates upon removal from storage
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
US9933920B2 (en) 2013-09-27 2018-04-03 Sonos, Inc. Multi-household support
US9658688B2 (en) * 2013-10-15 2017-05-23 Microsoft Technology Licensing, Llc Automatic view adjustment
US9484986B2 (en) 2013-11-09 2016-11-01 Maxlinear, Inc. Method and system for broadband near-field communication
US9628691B2 (en) * 2013-11-14 2017-04-18 Qualcomm Incorporated Method and apparatus for identifying a physical IoT device
KR101548228B1 (ko) * 2013-12-27 2015-08-28 주식회사 케이티 사용자 상태에 기반하여 사용자 인터페이스를 동기화하는 동기화 기기 및 동기화 방법
US10135628B2 (en) 2014-01-06 2018-11-20 Samsung Electronics Co., Ltd. System, device, and apparatus for coordinating environments using network devices and remote sensory information
US10129383B2 (en) 2014-01-06 2018-11-13 Samsung Electronics Co., Ltd. Home management system and method
CN104765276A (zh) * 2014-01-06 2015-07-08 上海科斗电子科技有限公司 便携式智能设备身份识别交互系统
WO2015108330A1 (en) * 2014-01-20 2015-07-23 Samsung Electronics Co., Ltd. Electronic device for controlling an external device using a number and method thereof
US9706582B2 (en) * 2014-04-01 2017-07-11 Belkin International Inc. Smart local device rediscovery
US9918351B2 (en) 2014-04-01 2018-03-13 Belkin International Inc. Setup of multiple IOT networks devices
US9641222B2 (en) * 2014-05-29 2017-05-02 Symbol Technologies, Llc Apparatus and method for managing device operation using near field communication
US10367950B2 (en) * 2014-06-11 2019-07-30 Lenovo (Singapore) Pte. Ltd. Device notification adjustment dependent on user proximity
EP3198845B1 (en) * 2014-09-25 2022-11-16 Universal Electronics Inc. System and method for controlling device location determination
WO2016076759A1 (ru) * 2014-11-10 2016-05-19 Арташес Валерьевич ИКОНОМОВ Мобильный телефон с функцией пульта дистанционного управления
US9329842B1 (en) * 2014-11-25 2016-05-03 Yahoo! Inc. Method and system for providing a user interface
FR3033055B1 (fr) * 2015-02-23 2018-06-22 Somfy Sas Procede de configuration et de commande d’un dispositif de commande d’une installation domotique d’un batiment
US9880695B2 (en) * 2015-05-01 2018-01-30 International Business Machines Corporation Changing a controlling device interface based on device orientation
JP6227833B2 (ja) * 2015-05-21 2017-11-08 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 被遠隔制御装置及び複数の被遠隔制御装置を制御するためのリモコン装置
US20160349602A1 (en) * 2015-06-01 2016-12-01 Ikegps Group Limited Mounting mechanism
GB201513371D0 (en) * 2015-07-29 2015-09-09 Videojet Technologies Inc A machine and method for its operation
CN105323384A (zh) * 2015-11-25 2016-02-10 上海斐讯数据通信技术有限公司 一种多场景模式切换的方法及移动终端
KR102409903B1 (ko) * 2015-12-09 2022-06-16 삼성전자주식회사 사용자 정보를 제공하는 전자 장치 및 방법
US11156375B2 (en) 2016-07-22 2021-10-26 Ademco Inc. Migration of settings from a non-connected building controller to another building controller
US10110678B2 (en) * 2016-08-19 2018-10-23 Sony Corporation System and method for data communication based on image processing
CN106710196B (zh) * 2016-12-12 2020-07-07 奇酷互联网络科技(深圳)有限公司 使用图像作为模拟遥控面板的方法和装置
US11132840B2 (en) * 2017-01-16 2021-09-28 Samsung Electronics Co., Ltd Method and device for obtaining real time status and controlling of transmitting devices
KR102346080B1 (ko) * 2017-03-27 2021-12-31 삼성전자주식회사 터치 스크린을 포함하는 전자 장치와 이의 동작 방법
US10602046B2 (en) * 2017-07-11 2020-03-24 Htc Corporation Mobile device and control method
CN108040180B (zh) * 2017-08-24 2018-11-20 宁皓 基于图像处理的自动提醒系统
EP4322540A3 (en) * 2017-09-09 2024-04-17 OpenTV, Inc. Interactive notifications between a media device and a secondary device
KR102397886B1 (ko) * 2017-12-06 2022-05-13 삼성전자주식회사 전자 장치, 사용자 단말 장치 및 그 제어 방법
US10559194B2 (en) * 2018-02-23 2020-02-11 Samsung Electronics Co., Ltd. System and method for providing customized connected device functionality and for operating a connected device via an alternate object
CN110415389B (zh) 2018-04-27 2024-02-23 开利公司 姿势进入控制系统和预测移动设备相对于用户所在部位的方法
CN110415387A (zh) * 2018-04-27 2019-11-05 开利公司 包括设置在由用户携带的容纳件中的移动设备的姿势进入控制系统
KR102509071B1 (ko) * 2018-08-29 2023-03-10 삼성전자주식회사 전자 장치 및 이의 외부 장치를 제어하는 방법
CN109947031B (zh) * 2019-04-15 2020-07-28 美的集团股份有限公司 一种智能家居设备控制方法、介质、移动终端和装置
US11210932B2 (en) * 2019-05-21 2021-12-28 Apple Inc. Discovery of and connection to remote devices

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5064582A (en) * 1989-09-15 1991-11-12 The Dow Chemical Company Process and apparatus for recycling aqueous fluid absorbents fines
US5724106A (en) * 1995-07-17 1998-03-03 Gateway 2000, Inc. Hand held remote control device with trigger button
US6711293B1 (en) * 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US7760905B2 (en) * 1999-06-29 2010-07-20 Digimarc Corporation Wireless mobile phone with content processing
US8391851B2 (en) * 1999-11-03 2013-03-05 Digimarc Corporation Gestural techniques with wireless mobile phone devices
GB0007242D0 (en) * 2000-03-24 2000-05-17 Tvcompass Com Ltd Remote control devices
US8120625B2 (en) * 2000-07-17 2012-02-21 Microsoft Corporation Method and apparatus using multiple sensors in a device with a display
US7688306B2 (en) * 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US7193661B2 (en) * 2001-09-27 2007-03-20 Universal Electronics Inc. Two way communication using light links
US7224903B2 (en) * 2001-12-28 2007-05-29 Koninklijke Philips Electronics N. V. Universal remote control unit with automatic appliance identification and programming
US7283846B2 (en) * 2002-02-07 2007-10-16 Sap Aktiengesellschaft Integrating geographical contextual information into mobile enterprise applications
US6738631B1 (en) * 2002-05-06 2004-05-18 Nokia, Inc. Vision-guided model-based point-and-click interface for a wireless handheld device
US7653212B2 (en) * 2006-05-19 2010-01-26 Universal Electronics Inc. System and method for using image data in connection with configuring a universal controlling device
US6788241B2 (en) * 2002-09-25 2004-09-07 Universal Electronics Inc. System and method for using keystroke data to configure a remote control device
US7319862B1 (en) * 2002-09-26 2008-01-15 Exphand, Inc. Block-based encoding and decoding information transference system and method
CN101101520B (zh) * 2002-11-20 2012-11-14 皇家飞利浦电子股份有限公司 基于指示设备的用户接口系统
US20040095317A1 (en) * 2002-11-20 2004-05-20 Jingxi Zhang Method and apparatus of universal remote pointing control for home entertainment system and computer
US20040259536A1 (en) * 2003-06-20 2004-12-23 Keskar Dhananjay V. Method, apparatus and system for enabling context aware notification in mobile devices
EP1683126A1 (en) * 2003-11-04 2006-07-26 Koninklijke Philips Electronics N.V. Universal remote control device with touch screen
US7054552B2 (en) * 2004-06-25 2006-05-30 Nokia Corporation Vertical and horizontal pictures taken without camera rotation
KR20060008763A (ko) * 2004-07-24 2006-01-27 주식회사 대우일렉트로닉스 리모콘과 티브이간의 상호 식별 구조
US7138979B2 (en) * 2004-08-27 2006-11-21 Motorola, Inc. Device orientation based input signal generation
TWI244310B (en) * 2004-09-23 2005-11-21 Inventec Appliances Corp Mobile phone having a step-counting function
WO2006083563A2 (en) * 2005-02-01 2006-08-10 Analog Devices, Inc. Camera with acceleration sensor
US20060287140A1 (en) * 2005-06-16 2006-12-21 Brandt Richard A Automated line calling system
WO2007004134A2 (en) * 2005-06-30 2007-01-11 Philips Intellectual Property & Standards Gmbh Method of controlling a system
EP1744290B1 (en) * 2005-07-15 2018-05-30 Samsung Electronics Co., Ltd. Integrated remote controller and method of selecting device controlled thereby
KR20070009261A (ko) * 2005-07-15 2007-01-18 삼성전자주식회사 통합 리모콘 및 그 제어기기 선택방법
US20070022380A1 (en) * 2005-07-20 2007-01-25 Microsoft Corporation Context aware task page
US7907222B2 (en) * 2005-09-08 2011-03-15 Universal Electronics Inc. System and method for simplified setup of a universal remote control
JP2007089056A (ja) * 2005-09-26 2007-04-05 Funai Electric Co Ltd 機器の遠隔制御システムおよび光信号発信装置
US20070109417A1 (en) * 2005-11-16 2007-05-17 Per Hyttfors Methods, devices and computer program products for remote control of an image capturing device
US7783702B2 (en) * 2005-11-30 2010-08-24 Microsoft Corporation Using a mobile phone to control a personal computer
WO2007089819A1 (en) * 2006-01-30 2007-08-09 Briancon Alain C Skin tone mobile device and service
JP4742394B2 (ja) * 2006-03-24 2011-08-10 富士フイルム株式会社 遠隔制御装置、方法、プログラムおよびシステム
EP1971116B1 (en) 2006-03-31 2017-09-13 Drnc Holdings, Inc. Mobile phone with sensor for detection of user's handling
US20080001773A1 (en) * 2006-06-29 2008-01-03 X10 Ltd. Programmable remote control and methods of using same
US7791594B2 (en) * 2006-08-30 2010-09-07 Sony Ericsson Mobile Communications Ab Orientation based multiple mode mechanically vibrated touch screen display
US8000692B2 (en) * 2006-09-19 2011-08-16 Microsoft Corporation Mobile device manners propagation and compliance
CN100583960C (zh) 2006-11-28 2010-01-20 联詠科技股份有限公司 视讯解交错策略决定方法与系统
US20080155429A1 (en) * 2006-12-20 2008-06-26 Microsoft Corporation Sharing, Accessing, and Pooling of Personal Preferences for Transient Environment Customization
US20090011832A1 (en) * 2007-01-31 2009-01-08 Broadcom Corporation Mobile communication device with game application for display on a remote monitor and methods for use therewith
JP2008204269A (ja) * 2007-02-21 2008-09-04 Toshiba Corp サーバ装置、クライアント装置、通信方法およびプログラム
US8356035B1 (en) * 2007-04-10 2013-01-15 Google Inc. Association of terms with images using image similarity
US20080299905A1 (en) * 2007-05-29 2008-12-04 Himax Technologies Limited System with incoming call display indication and the method for using the same
US9261979B2 (en) * 2007-08-20 2016-02-16 Qualcomm Incorporated Gesture-based mobile interaction
US8832769B2 (en) * 2007-10-16 2014-09-09 Microsoft Corporation Remote control based output selection
US8238612B2 (en) * 2008-05-06 2012-08-07 Honeywell International Inc. Method and apparatus for vision based motion determination
US8254678B2 (en) * 2008-08-27 2012-08-28 Hankuk University Of Foreign Studies Research And Industry-University Cooperation Foundation Image segmentation
US9195898B2 (en) * 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
US9014685B2 (en) 2009-06-12 2015-04-21 Microsoft Technology Licensing, Llc Mobile device which automatically determines operating mode

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103149975A (zh) * 2011-12-07 2013-06-12 纬创资通股份有限公司 整合移动通讯装置和便携式电子装置的方法及其便携式电脑模块
CN103149975B (zh) * 2011-12-07 2015-11-18 纬创资通股份有限公司 整合移动通讯装置和可携式电子装置的方法及其可携式电脑模块
TWI673679B (zh) * 2012-05-24 2019-10-01 微軟技術授權有限責任公司 用於使用者介面的方法、設備及電腦可讀取記錄媒體
US10599300B2 (en) 2012-05-24 2020-03-24 Microsoft Technology Licensing, Llc Entry points to image-related applications in a mobile device
US10831184B2 (en) 2016-03-23 2020-11-10 Nec Corporation Data processing apparatus, data processing system, data processing method, and non-transitory storage medium

Also Published As

Publication number Publication date
KR20120046112A (ko) 2012-05-09
US9014685B2 (en) 2015-04-21
JP2012529866A (ja) 2012-11-22
WO2010144532A2 (en) 2010-12-16
EP2441271B1 (en) 2017-03-08
CN102498725A (zh) 2012-06-13
WO2010144532A3 (en) 2011-04-07
EP2441271A4 (en) 2014-07-02
CN102498725B (zh) 2013-06-19
EP2441271A2 (en) 2012-04-18
RU2011150243A (ru) 2013-06-20
KR101668138B1 (ko) 2016-10-20
US20100317332A1 (en) 2010-12-16

Similar Documents

Publication Publication Date Title
TW201103305A (en) Mobile device which automatically determines operating mode
CN105100829B (zh) 视频内容截取方法及装置
WO2017113842A1 (zh) 控制智能设备的方法及装置
JP5486929B2 (ja) ビデオ通話を利用した装置制御
CN110996175A (zh) 控制电视横竖屏操作的方法、装置和存储介质
EP2563018A1 (en) Output device, source apparatus, television set, system, output method, program, and recording medium
US10298881B2 (en) Communication terminal, communication system, communication method, and recording medium
US10122770B2 (en) Communication terminal, communication system, communication method, and recording medium
US8798543B2 (en) Easily operated wireless data transmission/reception system and easily operated wireless data transmission/reception program
CN110366027B (zh) 一种视频管理方法及终端设备
US20160295626A1 (en) Communication terminal, communication system, communication method, and recording medium
KR20120093744A (ko) 데이터 송수신 방법, 그를 이용한 디스플레이 장치 및 휴대용 단말기
US9215003B2 (en) Communication apparatus, communication method, and computer readable recording medium
US20160295354A1 (en) Communication system and communication method
US10043381B2 (en) Employing AR element on preview screen to control lamp or curtain
CN113938735A (zh) 显示器装置
CN108829481A (zh) 基于控制电子设备的遥控器界面的呈现方法
CN106358064A (zh) 控制电视机的方法及设备
CN104243607A (zh) 获取设备信息的方法及装置
CN105376318A (zh) 文件传输方法、装置及系统
CN109788144B (zh) 一种拍摄方法及终端设备
CN104427411A (zh) 遥控器及其控制方法
CN112887770A (zh) 照片传输方法、装置、电视及存储介质
CN111522483A (zh) 多媒体数据分享方法、装置、电子设备及存储介质
CN113099112B (zh) 摄像机的控制方法、装置、系统及设备