TW201828025A - 基於環境的情境式使用者介面 - Google Patents

基於環境的情境式使用者介面 Download PDF

Info

Publication number
TW201828025A
TW201828025A TW106118485A TW106118485A TW201828025A TW 201828025 A TW201828025 A TW 201828025A TW 106118485 A TW106118485 A TW 106118485A TW 106118485 A TW106118485 A TW 106118485A TW 201828025 A TW201828025 A TW 201828025A
Authority
TW
Taiwan
Prior art keywords
voice
context
user
environment
different
Prior art date
Application number
TW106118485A
Other languages
English (en)
Inventor
瑪紐爾 羅曼
瑪拉克萊兒 西格爾
堆波爾 迪塞
安迪 魯賓
Original Assignee
基礎產品股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 基礎產品股份有限公司 filed Critical 基礎產品股份有限公司
Publication of TW201828025A publication Critical patent/TW201828025A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2111—Location-sensitive, e.g. geographical location, GPS
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Bioethics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了一種基於環境的情境式使用者介面。輔助設備可決定語音已被說出且決定該語音的環境情境。可接著基於環境的情境及語音的內容來產生使用者介面。不同的情境可使得產生不同的使用者介面。

Description

基於環境的情境式使用者介面
此揭示案關於使用者介面，且具體而言是關於基於環境的情境來調適的使用者介面。
物聯網（IoT）允許設備的聯網在該等設備之中交換資料以允許複雜的機能。例如，被配置為用於家庭自動化的設備可交換資料以允許控制及自動化照明裝置、空氣調節系統、保全等等。在智慧型家庭環境中，這亦可包括提供用以回應於語音之智能個人助理的家庭輔助設備。例如，家庭輔助設備可包括傳聲器陣列以接收語音輸入及向伺服器提供相對應的語音資料以供分析，以提供由使用者所詢問之問題的答案。伺服器可向家庭輔助設備提供該答案，該家庭輔助設備可使用揚聲器提供該答案作為語音輸出。作為另一實例，使用者可向家庭輔助設備提供語音命令以控制家庭中的另一設備（例如將燈泡導通或關閉的命令）。如此，使用者及家庭輔助設備可使用語音彼此互動，且可藉由家庭外面的提供答案的伺服器來輔助互動。然而，家庭可能有在家庭內的不同的情境環境內（例如從不同的位置及在不同的時間）與家庭輔助設備互動的不同使用者。
本文中所述的某些標的包括了一種家庭輔助設備，包括：顯示螢幕；傳聲器；一或更多個處理器；及記憶體，儲存指令，其中該一或更多個處理器被配置為執行該等指令，使得該一或更多個處理器及記憶體被配置為：使用該傳聲器決定第一語音已在該家庭輔助設備的附近中被說出；決定該家庭輔助設備之環境的第一情境，該環境的該第一情境包括以下中的一或更多者：提供該第一語音之使用者的位置、該第一語音的時間、相對應於提供該第一語音之該使用者的使用者身分、提供該第一語音的該使用者與該家庭輔助設備互動的技能水準、提供該第一語音之該使用者的行程表或該第一語音的特性；在該顯示螢幕上顯示該輔助設備的第一圖形使用者介面（GUI），以提供關於該第一語音的回應，該第一GUI基於該環境的該第一情境及該第一語音的內容；使用該傳聲器來決定第二語音已在該家庭輔助設備的該附近中被說出，該第一語音及該第二語音包括相同的內容；決定該家庭輔助設備之環境的第二情境，該環境的該第二情境包括以下中的一或更多者：提供該第二語音之使用者的位置、該第二語音的時間、相對應於提供該第二語音之該使用者的使用者身分、提供該第二語音的該使用者與該家庭輔助設備互動的技能水準、提供該第二語音之該使用者的行程表或該第二語音的特性，該第一情境及該第二情境是不同的；及在該顯示螢幕上顯示該輔助設備的第二GUI，以提供關於該第二語音的一回應，該第二GUI基於該環境的該第二情境及該第二語音的內容，該第一GUI及該第二GUI提供不同的內容。
本文中所述的某些標的亦包括了一種用於提供情境式使用者介面的方法，包括以下步驟：藉由處理器，決定第一語音已被說出；藉由該處理器，決定相對應於該第一語音之環境的第一情境；藉由該處理器，基於該環境的該第一情境及該第一語音的內容來提供第一使用者介面；藉由該處理器，決定第二語音已被說出，該第二語音是在與該第一語音不同的一時間說出的；藉由該處理器，決定相對應於該第二語音之該環境的第二情境，該第一情境及該第二情境是不同的；及藉由該處理器，基於該環境的該第二情境及該第二語音的內容來提供第二使用者介面，該第一語音及該第二語音的該內容是類似的，該第一使用者介面及該第二使用者介面是不同的。
在某些實施方式中，該第一情境基於該第一語音及該第二語音所針對之輔助設備的周圍環境的音訊或視覺判定中的一或兩者。
在某些實施方式中，該第一情境包括以第一距離進行之相對應於該第一語音的第一互動，其中該第二情境包括以第二距離進行之相對應於該第二語音的第二互動，該第一距離及該第二距離是不同的。
在某些實施方式中，該第一情境包括提供該第一語音的第一使用者，該第二情境包括提供該第二語音的第二使用者，該第一使用者及該第二使用者是不同的。
在某些實施方式中，該第一使用者與跟輔助設備互動的第一技能水準相關聯，該第二使用者與跟該輔助設備互動的第二技能水準相關聯，該第一技能水準及該第二技能水準是不同的，該第一情境基於該第一技能水準，且該第二情境基於該第二技能水準。
在某些實施方式中，該第一情境及該第二情境包括以下中的一或更多者：與輔助設備互動的使用者、該輔助設備周圍之該環境中的人、與該輔助設備進行之互動的時間、與該輔助設備互動之使用者的位置或與該輔助設備互動之使用者的技能水準。
在某些實施方式中，該方法包括以下步驟：藉由該處理器，決定該環境上的改變；及藉由該處理器，回應於該環境上的該改變基於該第一情境或該第二情境中的一或更多者來產生第三使用者介面，以維持出現在該環境中之一或更多個使用者的隱私性期望。
本文中所述的某些標的亦包括了一種電子設備，包括：一或更多個處理器；及記憶體，儲存指令，其中該處理器被配置為執行該等指令，使得該處理器及記憶體被配置為：決定第一語音已被說出；決定相對應於該第一語音之環境的第一情境；基於該環境的該第一情境及該第一語音的內容來產生第一使用者介面；決定第二語音已被說出，該第二語音是在與該第一語音不同的時間說出的；決定相對應於該第二語音之該環境的第二情境，該第一情境及該第二情境是不同的；及基於該環境的該第二情境及該第二語音的內容來產生第二使用者介面，該第一語音及該第二語音的該內容是類似的，該第一使用者介面及該第二使用者介面是不同的。
在某些實施方式中，該第一情境基於該第一語音及該第二語音所針對之輔助設備的周圍環境的音訊或視覺判定中的一或兩者。
在某些實施方式中，該第一情境包括以第一距離進行之相對應於該第一語音的第一互動，其中該第二情境包括以第二距離進行之相對應於該第二語音的第二互動，該第一距離及該第二距離是不同的。
在某些實施方式中，該第一情境包括提供該第一語音的第一使用者，該第二情境包括提供該第二語音的第二使用者，該第一使用者及該第二使用者是不同的。
在某些實施方式中，該第一使用者與跟輔助設備互動的第一技能水準相關聯，該第二使用者與跟該輔助設備互動的第二技能水準相關聯，該第一技能水準及該第二技能水準是不同的，該第一情境基於該第一技能水準，且該第二情境基於該第二技能水準。
在某些實施方式中，該第一情境及該第二情境包括以下中的一或更多者：與輔助設備互動的使用者、該輔助設備周圍之該環境中的人、與該輔助設備進行之互動的時間、與該輔助設備互動之使用者的位置或與該輔助設備互動之使用者的技能水準。
在某些實施方式中，該處理器被配置為執行該等指令，使得該處理器及記憶體被配置為：決定該環境上的改變；及回應於該環境上的該改變基於該第一情境或該第二情境中的一或更多者來產生第三使用者介面，以維持出現在該環境中之一或更多個使用者的隱私性期望。
本文中所述的某些標的亦包括：一種電腦程式產品，包括一或更多個非暫時性電腦可讀取媒體，該一或更多個非暫時性電腦可讀取媒體具有儲存在其中的電腦程式指令，該等電腦程式指令被配置為使得在由一或更多個計算設備執行時，該等電腦程式指令使該一或更多個計算設備：決定第一語音已被說出；決定相對應於該第一語音之環境的第一情境；基於該環境的該第一情境及該第一語音的內容來產生第一使用者介面；決定第二語音已被說出，該第二語音是在與該第一語音不同的時間說出的；決定相對應於該第二語音之該環境的第二情境，該第一情境及該第二情境是不同的；及基於該環境的該第二情境及該第二語音的內容來產生第二使用者介面，該第一語音及該第二語音的該內容是類似的，該第一使用者介面及該第二使用者介面是不同的。
在某些實施方式中，該第一情境基於該第一語音及該第二語音所針對之輔助設備的周圍環境的音訊或視覺判定中的一或兩者。
在某些實施方式中，該第一情境包括以第一距離進行之相對應於該第一語音的第一互動，其中該第二情境包括以第二距離進行之相對應於該第二語音的第二互動，該第一距離及該第二距離是不同的。
在某些實施方式中，該第一情境包括提供該第一語音的第一使用者，該第二情境包括提供該第二語音的第二使用者，該第一使用者及該第二使用者是不同的。
在某些實施方式中，該第一使用者與跟輔助設備互動的第一技能水準相關聯，該第二使用者與跟該輔助設備互動的第二技能水準相關聯，該第一技能水準及該第二技能水準是不同的，該第一情境基於該第一技能水準，且該第二情境基於該第二技能水準。
在某些實施方式中，該第一情境及該第二情境包括以下中的一或更多者：與輔助設備互動的使用者、該輔助設備周圍之該環境中的人、與該輔助設備進行之互動的時間、與該輔助設備互動之使用者的位置或與該輔助設備互動之使用者的技能水準。
在某些實施方式中，該等電腦程式指令使該一或更多個計算設備：決定該環境上的改變；及回應於該環境上的該改變基於該第一情境或該第二情境中的一或更多者來產生第三使用者介面，以維持出現在該環境中之一或更多個使用者的隱私性期望。
本文中所述的某些標的亦包括：一種電子設備，包括：顯示螢幕；一或更多個處理器；及記憶體，儲存指令，其中該處理器被配置為執行該等指令，使得該處理器及記憶體被配置為：決定該電子設備之環境內之第一活動的第一發生；決定該電子設備之該環境的第一情境；及基於該環境的該第一情境及該第一活動來在該顯示螢幕上顯示第一圖形使用者介面（GUI）。
在某些實施方式中，該第一活動為在該環境內說出的語音或由該環境內的物體所產生的雜音中的一或更多者。
在某些實施方式中，該處理器被配置為執行該等指令，使得該處理器及記憶體被配置為：決定該電子設備之該環境內之第二活動的第二發生；決定該電子設備之該環境的第二情境，該第一情境及該第二情境是不同的；及基於該環境的該第二情境及該第二活動來在該顯示螢幕上顯示第二圖形使用者介面（GUI），該第一GUI的第一內容與該第二GUI的第二內容不同。
在某些實施方式中，該第一活動及該第二活動是類似的，且基於該環境的該第一情境及該環境的該第二情境之間的差異，該第一GUI的該第一內容與該第二GUI的該第二內容不同。
在某些實施方式中，該第一內容包括第一數量的資訊圖形表示或該第一數量之由所該電子設備提供之機能之使用權的圖形表示，該第二內容包括第二數量的資訊圖形表示或該第二數量之由該電子設備所提供之機能之使用權的圖形表示，該第一數量及該第二數量是不同的。
在某些實施方式中，該第一內容包括第一尺寸下之項目的第一圖形表示，該項目提供資訊或由該電子設備所提供之機能的使用權，該第二內容包括第二尺寸下之該項目的第二圖形表示，該第一尺寸及該第二尺寸是不同的。
在某些實施方式中，該第一活動為在該電子設備的該環境內說出的語音，該環境的該第一情境包括以下中的一或更多者：提供該語音之使用者的位置、該語音的時間、相對應於提供該語音之該使用者的使用者身分、提供該語音的該使用者與該家庭輔助設備互動的技能水準、提供該語音之該使用者的行程表或該語音的特性。
在某些實施方式中，該第一GUI包括基於該第一情境回應該第一活動的內容。
此揭示案描述了用於基於家庭輔助設備的周圍環境的情境或特性來提供該家庭輔助設備之使用者介面的設備及技術。在一個實例中，家庭輔助設備的使用者介面（例如被產生來用於顯示在家庭輔助設備之顯示螢幕上的圖形使用者介面（GUI））可基於周圍環境之情境因素（包括與家庭輔助設備互動的人、周圍環境中的人、時間、家庭內之家庭輔助設備的位置、與家庭輔助設備互動之人的位置、陌生人的出現、使用者的興趣等等）的組合而為不同的。其結果是，基於情境因素，不同的內容（例如資訊、提供家庭輔助設備機能之使用權的圖形圖像等等）可由家庭輔助設備顯示。
此外，可不同地顯示相同的內容。例如，可基於環境的情境來提供不同的語言、視覺效果等等。在另一實例中，兩個不同的使用者（或甚至是不同時間的相同使用者）可能向家庭輔助設備詢問相同的問題。基於在詢問該問題時之環境情境內的差異，使用者介面可不同地提供該問題的相同答案。
更詳細地說，圖1繪示基於環境的情境來提供使用者介面之輔助設備的實例。在圖1中，家庭輔助設備110可包括用以從使用者接收語音輸入的傳聲器（例如傳聲器陣列）及用以提供語音形式（或其他類型的音訊）的音訊輸出以回應使用者的揚聲器。此外，家庭輔助設備110可包括顯示螢幕以藉由產生提供供顯示之內容的圖形使用者介面（GUI）來向使用者提供視覺反饋。例如，使用者可詢問家庭輔助設備110一個問題，而針對該問題的回應可在提供在顯示螢幕上。亦可包括額外的視覺元件（例如發光二極體（LED））。其結果是，使用者介面可包括音訊、語音、顯示螢幕、照明裝置及其他音訊或視覺元件。在某些實施方式中，亦可包括攝影機115以供家庭輔助設備110接收其周圍環境的視覺輸入。攝影機115可與家庭輔助設備110實體整合（例如實體耦合），或攝影機115可為家庭無線網路可向家庭輔助設備110提供視訊資料的單獨元件。
在圖1中，家庭輔助設備110可位在家庭的特定位置中，例如廚房。不同的使用者可能與來自家庭內之不同位置（例如廚房或客廳）的家庭輔助設備互動且在不同的時間互動。此外，不同的使用者可能對由家庭輔助設備110所提供的不同的特徵、機能或資訊有興趣。家庭輔助設備110之環境的該等不同的情境因素可造成家庭輔助設備110的使用者介面改變。因為使用者介面可提供例如為特徵、機能、資訊等等的內容，如此可使得在顯示螢幕上顯示不同的內容。亦即，環境之情境因素的不同組合可造成家庭輔助設備110的不同的使用者介面，而造成了基於環境之情境的適應式使用者介面。情境因素亦可包括使用者的人口統計資料。例如，若小孩正在使用家庭輔助設備110，則所提供的內容可不同於成人使用家庭輔助設備110時所提供的內容（例如提供對小孩友善的內容）。
例如，在圖1中，使用者130a可能在晚上11:39 PM時在廚房中（亦即在與家庭輔助設備110相同的房間中或緊鄰該家庭輔助設備）。家庭輔助設備110可例如使用來自攝影機115的視訊輸入以視覺驗證使用者130a來辨識使用者130a。在另一實例中，家庭輔助設備110可在使用者130a向家庭輔助設備110、向其他人或甚至向自己說話時經由語音辨識辨識使用者130a。使用者130a亦可能先前已與家庭輔助設備110進行過互動，且因此家庭輔助設備110可記得使用者130a的喜好或偏好、期望、行程表等等。其結果是，可基於指示使用者、時間及使用者說話的位置的當前環境情境來產生使用者介面120a以供使用者130a與家庭輔助設備110互動。
相較之下，使用者130b可能在8:30 AM時在與家庭輔助設備110相同的家庭的客廳中。因為使用者、時間及使用者的位置是不同的，家庭輔助設備110可產生不同的使用者介面120b，該不同的使用者介面提供了具有不同內容的不同的GUI，如圖1中所描繪。其結果是，使用者介面120b可與使用者介面120a不同，因為其是回應於使用者130a及130b說話時的不同情境環境而提供或產生的。此舉可能甚至在由使用者130a及130b所提供之語音的內容類似或甚至相同時發生。例如，若使用者130a及130b兩者詢問相同或類似的問題（例如其語音包括了類似或相同的內容，例如詢問附近已開的新餐廳的列表），由家庭輔助設備110所提供的使用者介面（用以回應該問題）可因為說出該語音時的不同環境情境而為不同的。此外，使用者可能具有不同的興趣（例如如由設定檔所指示的），如此亦可造成提供不同服務、機能等等的不同內容。
在另一實例中，因為使用者介面120a是在晚上產生的，其可具有與顯示器120b不同的色彩、亮度或其他的視覺特性。可完成此步驟，因為使用者介面在不同的照明情況下不應是太具有破壞性的。例如，光感測器（例如光電二極體）可用以決定房間是暗的。家庭輔助設備110可接著基於環境中的經決定的照明情況來調整顯示螢幕的亮度。
此外，因為使用者130a及130b在不同的房間中且因此距家庭輔助設備110不同距離，使用者介面120a及130b可為不同的以考慮該因素。例如，因為圖1中的使用者130a在廚房中，其可能相對靠近家庭輔助設備110，且因此提供作為使用者介面120a之GUI之某些內容（例如可為按鈕、圖像、文字等等的項目A-G）的尺寸可為相對地小。相較之下，因為使用者130b在客廳中（亦即相較於使用者130a離家庭輔助設備110較遠），使用者介面120b的某些內容可為較大的，使得可更容易從一定距離看見該等內容。例如，在圖1中，圖像A及F在不同的使用者介面120a及120b之中具有不同的尺寸。亦即，內容（例如使用者介面提供相同機能的使用權的項目或使用者介面提供相同類型之資訊的指示的項目）可因為情境環境是不同的而具有不同的尺寸。例如，若使用者130a及130b要求新的、附近的餐廳的列表，則圖像A-G可表示某些受識別之餐廳的列表。此外，音訊的播放可使用基於使用者相對於家庭輔助設備110之距離的音量。例如，較遠的使用者可使得相較於使用者較靠近家庭輔助設備110而言以較高的音量播放音訊。
使用者介面120a及120b亦可在其他方面是不同的。例如，如圖1中所描繪的內容位置、內容數量等等亦可由於不同的情境環境而為不同的。
圖2繪示基於環境的情境來提供使用者介面之方塊圖的實例。在圖2中，於方塊203處，可決定已說出語音。例如，家庭輔助設備110的傳聲器可提取在環境內說出的語音。該語音可被轉換成語音資料且由家庭輔助設備110的處理器分析以決定已接收到該語音。於方塊205處，可決定家庭輔助設備110周圍之周圍環境或附近的情境。例如，家庭輔助設備110可決定關於家庭輔助設備110周圍之實體空間中之環境的任何上述的細節，包括時間、使用者、與使用者進行的先前的互動、使用者及家庭輔助設備110的位置等等。亦可決定以下所論述的任何細節。於方塊210處，可基於經決定的情境及語音的內容來提供或產生使用者介面。例如，此步驟可包括基於情境來在家庭輔助設備110的顯示螢幕上產生具有關於語音內容及以各種尺寸、色彩等等提供的內容的GUI。在某些實施方式中，使用者介面亦可包括音訊（例如聲音）的播放、開啟各種照明效果（例如LED）等等。例如，可提供具有不同音訊效果的不同GUI。
接下來，家庭輔助設備110可在不同時間提取更多語音。然而，若環境的情境是不同的，則可產生與在方塊210處所產生之使用者介面不同的使用者介面。因此，即使兩個不同時間的語音內容是相同的，所產生的使用者介面在環境的情境不同時亦可為不同的。
圖3繪示決定輔助設備之環境之情境之方塊圖的實例。在圖3中，如先前所論述的，可在方塊305處決定語音的位置，可在方塊310處決定語音的時間，且可在方塊315處決定提供語音的使用者，以決定環境的情境。
其他細節可包括方塊320處之使用者的技能水準。例如，家庭輔助設備110可在使用者與使用者介面互動得更多時決定使用者的技能水準。若使用者使用更多的機能、更複雜的機能、要求關於機能的大量細節等等，則使用者可被家庭輔助設備110識別為更高級的使用者。相較之下，若另一使用者傾向要求家庭輔助設備110的相同的重複任務或詢問該家庭輔助設備相同的重複問題，則使用者可被識別為較不高級的使用者。若使用者傾向使用較不複雜的機能、較少的機能或並不要求大量的細節，則使用者亦可被識別為較不高級的使用者。在圖1中，使用者130a可為更高級的使用者，指示該使用者在使用家庭輔助設備110時具有相對高的技能水準，且因此，更多的機能（或內容）可被提供在使用者介面120a上（例如提供項目A-G）。相較之下，使用者130b可為較不高級的使用者，指示該使用者具有相對較低的技能水準（相較於使用者130a而言），且因此較少的內容可被提供在使用者介面120b上（亦即提供較少的項目A、C、D及F）。在某些實施方式中，可提供相同數量的使用者介面內容，但可基於使用者的技能水準來顯示相對應於不同機能或特徵的不同內容。因此，可在家庭輔助設備110的使用者介面中提供不同的內容。
如先前所論述的，使用者介面可包括顯示內容以外的其他視覺元件作為顯示螢幕上之GUI的一部分。在圖1中，這可包括照明裝置（例如LED或可藉由導通、發光、閃光、顯示特定色彩等等來啟動的其他類型的燈）以向使用者提供情況的指示。例如，家庭輔助設備110可在方塊325處決定使用者的行程表，且提供關於使用者何時應離開家裡使得該等使用者可在無任何延遲的情況下維持該行程的指示。在圖1中，這可造成顯示螢幕周圍可為不同色彩的環（例如以LED或其他類型的照明裝置實施），然而在其他實施方式中，該環可為顯示螢幕本身的一部分。
在一個實例中，環可為相對應於供使用者前往其下個預期位置（例如早晨時為工作場所或其行事曆上排定的咖啡會議）的交通或通勤狀態的色彩。若環被設定為綠色，則如此可向使用者指示交通狀況是相對不擁塞的。相較之下，紅色可指示交通狀況是相對擁塞的。此類型的使用者介面可在使用者離家庭輔助設備110很遠的同時將資訊提供給使用者，因為可輕易從一定距離看見色彩。在某些實施方式中，環亦可指示若是使用者想要進行其行程表上的下個約會的話使用者是否需要盡快或立刻離開。例如，可增加色彩的強度或亮度、環可閃動等等。這可針對使用者以一定距離提供進一步的細節。在某些實施方式中，使用者介面亦可在顯示螢幕上顯示通往其行程表上之下個事件之位置的路線、提供時間估計值等等。其結果是，若使用者決定其想要更多細節且走得更靠近家庭輔助設備110，則資訊可被輕易顯示且可用。在某些實施方式中，家庭輔助設備105可決定使用者在環已被啟動之後正走近，且接著處理資訊及在顯示螢幕上顯示額外的資訊，使得資訊在其較靠近時是可用的。在某些實施方式中，環的色彩可指示其他決定，例如未預期的情況，例如窗口或門被開啟、偵測到淹水或溫度是在相對應於異常的溫度範圍內。
使用者介面亦可包括供播放的音訊聲音。例如，圖1中的使用者介面120a可在使用者130a與其互動（例如選擇項目A-G中的一者、要求使用者介面120a改變（例如提供新的內容）等等）時播放一個類型的音訊聲音。相較之下，使用者介面120b可因為不同的環境情境而針對由使用者130b進行的相同互動播放不同的聲音。
關於由家庭輔助設備110所接收之語音的特性亦可在方塊330處決定。例如，家庭輔助設備110可決定語音的音量、速度、腔調、語言、聲調等等且在提供使用者介面時將其用作情境因素。在一個實例中，若使用者快速說話（例如以被決定是在相對應於快速說話之每分鐘字數範圍內的速度或速率說話），則使用者介面的內容可相較於使用者緩慢說話時例如藉由較快地更新使用者介面的GUI來更快速地更新。在另一實例中，若使用者的語音被決定為指示壓力或沮喪，則使用者介面可相較於在使用者的語音被決定為是相對無壓力或沮喪時而言不同地提供內容。作為一實例，若使用者受到壓力或是沮喪的，則可相較於使用者不受到壓力或不是沮喪的而言減少提供在使用者介面上的內容量。
在某些實施方式中，若使用者被決定為是受到壓力或是沮喪的，則使用者介面可包括音樂的播放。例如，可使用家庭輔助設備110的揚聲器來播放使人冷靜的音樂。
在某些實施方式中，家庭輔助設備110的照明可基於提供在使用者介面上之物而為不同的。但如，不同類型的內容可造成不同的亮度、色彩等等。
使用者介面亦可在環境的情境改變（亦即環境的條件或特性改變）時改變以考慮使用者的隱私性期望。圖4繪示基於環境的情境來提供使用者介面之輔助設備的另一實例。在圖4中，使用者130a、130b及130c在家庭輔助設備110的家庭環境內。該等不同的使用者可被識別且圖4中的使用者介面120c可被產生以考慮各種使用者的隱私性考量。
例如，使用者130a可能想要在其單獨的時候使某些內容被提供在使用者介面上，但可能不想要在其他人在家裡時顯示該內容。同樣地，使用者130b亦可能想要某些內容被提供。在某些實施方式中，即使偵測到使用者130b的出現，因為使用者130b是同一戶的成員，使用者130a可能覺得使內容提供在使用者介面上亦是可接受的。然而，使用者130a可能想要在陌生人或客人在家中時不要顯示該內容。使用者130c可為進入家庭環境的陌生人或新成員且從未與家庭輔助設備110互動過且因此家庭輔助設備110無法辨識。
家庭輔助設備110可辨識家庭內的不同使用者或人且基於使用者130a-c來產生使用者介面120c。例如，家庭輔助設備110可獲取使用者介面120a及120b（例如分別一般用於使用者130a及130b的使用者介面）的某些細節且基於彼等其他的使用者介面來產生圖4中的使用者介面120c。亦即，可基於會如何針對使用者130a及130b產生使用者介面來產生使用者介面120c。在圖4中，如此造成使用者介面120c的某些內容具有相對大的尺寸（例如如在使用者介面120b中一般地大），但相較於使用者介面120a或120b具有較少的內容。在某些實施方式中，會共同存在於使用者介面120a及120b中的內容可被提供在使用者介面120c內，但可能不提供僅在使用者介面120a及120b中的一者上的內容，因為該內容可能僅吸引單一使用者或彼等使用者可能具有不同的隱私性期望。例如，如圖1中的使用者介面120a中所描繪的項目B可能不出現，因為該項目未被提供在圖1中的使用者介面120b內。
在某些實施方式中，在偵測到使用者130c（亦即陌生人或客人在環境中）之後，使用者亦可被調適為考慮無法辨識的使用者。例如，在偵測到無法辨識的使用者之後，可從使用者介面移除某些內容。在無法辨識的使用者離開時，這可被偵測，且因此家庭輔助設備110可接著以使用者介面將被移除的內容提供回來。其結果是，可在客人在附近時維持使用者的隱私性期望。
偵測到陌生人或客人以外之環境情境中的其他類型的改變可包括決定時間上的差異。例如，使用者可能覺得在深夜時或在清晨時在GUI上顯示某些內容是可接受的，但可能不想要在白天期間顯示該內容，因為其他人看見該內容的可能性可能是較高的。另一實例可包括環境內之人的活動。例如，若環境中的若干人正在討論特定主題、社交聚會正在進行等等，則或許可升高使用者的隱私性期望，且因此可移除原本會顯示的某些內容。
在某些實施方式中，使用者的隱私性期望可被該使用者設定或由家庭輔助設備110隨時間學習，或兩者的組合。例如，使用者可指示不應在無法辨識的人在環境中時顯示某個內容。作為另一實例，使用者可從GUI移除內容且家庭輔助設備110可在使用者移除該內容時識別環境中的情境以決定使用者的隱私性期望。
圖6繪示用於調整使用者介面以維持隱私性期望之方塊圖的實例。在圖6中，於方塊605處，可決定環境的情境。例如，可決定包括受辨識的使用者及/或陌生人的人的出現、時間、環境中正在執行的活動等等。於方塊607處，可決定基於情境之使用者的隱私性期望。例如，若使用者是在環境內，則可提供提供各種內容的GUI。然而，若在環境內偵測到陌生人或客人，則使用者可能由於隱私性考量上的增加而不想要某些內容被顯示在GUI上，造成該內容的較高的隱私性期望。因此，於方塊610處，可基於隱私性期望來調整或更改GUI。例如，可在陌生人或客人出現在環境內的同時由於隱私性期望上的增加而移除內容。
在陌生人或客人離開時，這可被決定為環境情境上的改變，且因此亦被決定為使用者之隱私性期望上的改變。因為使用者可能是在環境內唯一的人，可再次更改GUI以包括先前移除的內容。因此，若環境的情境改變且因此所對以提供GUI的使用者具有隱私性期望上的改變，則可調適GUI。
本文中所揭露的許多實例論述使用者介面的視覺調適。然而，亦可基於上述的情境情況來執行音訊調適。例如，亦可使用本文中所述的技術針對不同使用者介面調整語音的類型、腔調、音量等等。
本文中所揭露的許多實例論述被辨識的語音。然而，亦可同該等技術使用其他類型的音訊。例如，來自例如為電視或無線電物體的雜音、門鈴響了、門開了、玻璃碎了等等亦可被偵測為語音以外之活動的發生。
在某些實施方式中，使用者介面的內容亦可基於決定使用者是否正在看著家庭輔助設備110或是對家庭輔助設備110說話而改變。例如，家庭輔助設備110的顯示螢幕可能是關閉的，但可在決定使用者正在看著其時導通。
在某些實施方式中，可在偵測到來電或傳呼（例如透過家庭環境內的手機）之後調整（例如降低）由家庭輔助設備110所提供之音訊的播放音量。在另一實例中，可基於另一設備的狀態來調整所顯示的內容。例如，可基於用於配方的廚房用具（例如烤箱、計時器等等）的經決定狀態來改變顯示在家庭輔助設備110之顯示螢幕上的該配方。
在某些實施方式中，透過使用者介面所提供的內容可基於使用者正在如何使用家裡的另一設備。例如，可偵測電視的紅外線訊號及/或電視的遙控以指示正在頻道之中切換哪些頻道。可藉由家庭輔助設備110將此資訊提供至雲端伺服器，該雲端伺服器可將關於正在收看之彼等頻道上之內容的資訊提供給家庭輔助設備110。例如，要透過使用者介面來提供的內容可包括可顯示關於頻道之資訊（例如當前正在頻道上播放的節目的時間表、當前的節目編排、受歡迎度分級等等）的「熱鈕」。在另一實例中，若決定頻道正在播放體育競賽，則可顯示分數、隊伍資訊（例如隊伍名冊）。在某些實施方式中，若決定使用者正在短時段內在三個頻道之間切換且在該短的時段期間重複該等頻道中的某些頻道（例如在五分鐘的時期內觀看各頻道至少兩次），則可針對彼等頻道中的各者產生熱鈕。可在顯示螢幕的不同部分中顯示熱鈕，且各按鈕可包括表示相對應於頻道之資訊的內容。例如，使用者可能正在播放三個不同籃球競賽的三個頻道之間切換。熱鈕中的各者可包括該頻道上所播放之競賽的分數及時間（例如在第四節中剩下3:23）。因此，可決定在不同頻道之間切換的行為，且該等頻道甚至沒有被觀看的內容可透過熱鈕來顯示。使用者可接著選擇彼等按鈕中的一者，且電視可切換至相對應於受選按鈕的頻道。可使用透過無線網路或藉由產生紅外線訊號以模擬遙控來與電視通訊的家庭輔助設備110完成此步驟。
許多上述的實例論述家庭環境。在其他實例中，本文中所論述的設備及技術亦可設置在辦公室、公共設施等等中。
圖5繪示輔助設備的實例。在圖5中，家庭輔助設備110可為具有一或更多個處理器605（例如電路）及用於儲存指令之記憶體610的電子設備，該等指令可由處理器605執行以實施提供本文中所述之技術的情境式使用者介面630。家庭輔助設備105亦可包括傳聲器620（例如可實施傳聲器陣列的一或更多個傳聲器）以將聲音轉換成電訊號且因此將語音轉換成可使用處理器605來處理且儲存在記憶體610中的資料。可使用揚聲器615來提供音訊輸出。此外，顯示器625可顯示由處理器605及記憶體610所實施的GUI以提供視覺反饋。記憶體610可為非暫時性電腦可讀取存儲媒體。家庭輔助設備110亦可包括各種其他硬體（例如攝影機、天線等等）以實施本文中所揭露的技術。因此，本文中所述的實例可使用以被編程為具有軟體及/或韌體的可編程電路系統（例如一或更多個微處理器）實施、或完全實施在特殊用途固線式（非可編程的）電路系統中、或實施在此類形式的組合中。特殊用途的固線式電路系統可例如為一或更多個特定應用積體電路（ASIC）、複合式可編程邏輯設備（CPLD）、現場可編程閘極陣列（FPGA）、結構化ASIC等等的形式。
本領域中具技藝者將理解的是，本文中所論述之各種流程圖中所繪示的邏輯及程序步驟可以各種方式變更。例如，可重新佈置邏輯順序、可平行執行子步驟、可忽略所繪示的邏輯、可包括其他的邏輯等等。吾人將認可的是，某些步驟可被合併成單一步驟，且由單一步驟所表示的行動可被替代性地表示為一系列的子步驟。圖式被設計為使得所揭露的概念對於人類讀者來說是更加可理解的。本領域中具技藝者將理解的是，用以儲存此資訊的實際資料結構：可能與所示的圖式及/或表格不同，不同之處例如在於其可能是以不同的方式來組織的；可能相較於所示者包含了更多或更少的資訊；可能被壓縮、拌碼及/或加密；等等。
藉由上文，將理解的是，已在本文中為了說明的目的描述了本發明的特定實施例，但可在不偏離本發明之範圍的情況下作出各種更改。據此，本發明是不受限的，除了被隨附請求項限制以外。
110‧‧‧家庭輔助設備
115‧‧‧攝影機
120a‧‧‧使用者介面
120b‧‧‧使用者介面
120c‧‧‧使用者介面
130a‧‧‧使用者
130b‧‧‧使用者
130c‧‧‧使用者
203‧‧‧方塊
205‧‧‧方塊
210‧‧‧方塊
305‧‧‧方塊
310‧‧‧方塊
315‧‧‧方塊
320‧‧‧方塊
325‧‧‧方塊
330‧‧‧方塊
605‧‧‧方塊/處理器
607‧‧‧方塊
610‧‧‧方塊/記憶體
615‧‧‧揚聲器
620‧‧‧傳聲器
625‧‧‧顯示器
630‧‧‧情境式使用者介面
圖1繪示基於環境的情境來提供使用者介面之輔助設備的實例。
圖2繪示基於環境的情境來提供使用者介面之方塊圖的實例。
圖3繪示決定輔助設備之環境之情境之方塊圖的實例。
圖4繪示基於環境的情境來提供使用者介面之輔助設備的另一實例。
圖5繪示輔助設備的實例。
圖6繪示用於調整使用者介面以維持隱私性期望之方塊圖的實例。
國內寄存資訊 (請依寄存機構、日期、號碼順序註記) 無
國外寄存資訊 (請依寄存國家、機構、日期、號碼順序註記) 無

Claims (22)

  1. 一種家庭輔助設備，包括： 一顯示螢幕； 一傳聲器； 一或更多個處理器；及 記憶體，儲存指令，其中該一或更多個處理器被配置為執行該等指令，使得該一或更多個處理器及記憶體被配置為： 使用該傳聲器決定第一語音已在該家庭輔助設備的一環境中被說出； 決定該家庭輔助設備之該環境的一第一情境，該環境的該第一情境包括以下中的一或更多者：提供該第一語音之一使用者的一位置、該第一語音的一時間、相對應於提供該第一語音之該使用者的一使用者身分、提供該第一語音的該使用者與該家庭輔助設備互動的一技能水準、提供該第一語音之該使用者的一行程表或該第一語音的特性； 在該顯示螢幕上顯示該輔助設備的一第一圖形使用者介面（GUI），以提供關於該第一語音的一回應，該第一GUI基於該環境的該第一情境及該第一語音的內容； 使用該傳聲器來決定第二語音已在該家庭輔助設備的該環境中被說出，該第一語音及該第二語音包括相同的內容； 決定該家庭輔助設備之該環境的一第二情境，該環境的該第二情境包括以下中的一或更多者：提供該第二語音之一使用者的一位置、該第二語音的一時間、相對應於提供該第二語音之該使用者的一使用者身分、提供該第二語音的該使用者與該家庭輔助設備互動的一技能水準、提供該第二語音之該使用者的一行程表或該第二語音的特性，該第一情境及該第二情境是不同的；及 在該顯示螢幕上顯示該輔助設備的一第二GUI，以提供關於該第二語音的一回應，該第二GUI基於該環境的該第二情境及該第二語音的內容，該第一GUI及該第二GUI提供不同的內容。
  2. 一種用於提供一情境式使用者介面的方法，包括以下步驟： 藉由一處理器，決定一第一語音已被說出； 藉由該處理器，決定相對應於該第一語音之一環境的一第一情境； 藉由該處理器，基於該環境的該第一情境及該第一語音的內容來提供一第一使用者介面； 藉由該處理器，決定一第二語音已被說出，該第二語音是在與該第一語音不同的一時間說出的； 藉由該處理器，決定相對應於該第二語音之該環境的一第二情境，該第一情境及該第二情境是不同的；及 藉由該處理器，基於該環境的該第二情境及該第二語音的內容來提供一第二使用者介面，該第一語音及該第二語音的該內容是類似的，該第一使用者介面及該第二使用者介面是不同的。
  3. 如請求項2所述之方法，其中該第一情境基於該第一語音及該第二語音所針對之一輔助設備的一周圍環境的音訊或視覺判定中的一或兩者。
  4. 如請求項2所述之方法，其中該第一情境包括以一第一距離進行之相對應於該第一語音的一第一互動，其中該第二情境包括以一第二距離進行之相對應於該第二語音的一第二互動，該第一距離及該第二距離是不同的。
  5. 如請求項2所述之方法，其中該第一情境包括提供該第一語音的一第一使用者，該第二情境包括提供該第二語音的一第二使用者，該第一使用者及該第二使用者是不同的。
  6. 如請求項5所述之方法，其中該第一使用者與跟一輔助設備互動的一第一技能水準相關聯，該第二使用者與跟該輔助設備互動的一第二技能水準相關聯，該第一技能水準及該第二技能水準是不同的，該第一情境基於該第一技能水準，且該第二情境基於該第二技能水準。
  7. 如請求項2所述之方法，其中該第一情境及該第二情境包括以下中的一或更多者：與一輔助設備互動的一使用者、該輔助設備周圍之該環境中的人、與該輔助設備進行之一互動的一時間、與該輔助設備互動之一使用者的一位置或與該輔助設備互動之一使用者的一技能水準。
  8. 如請求項2所述之方法，更包括以下步驟： 藉由該處理器，決定該環境上的一改變；及 藉由該處理器，回應於該環境上的該改變基於該第一情境或該第二情境中的一或更多者來產生一第三使用者介面，以維持出現在該環境中之一或更多個使用者的隱私性期望。
  9. 一種電子設備，包括： 一或更多個處理器；及 記憶體，儲存指令，其中該處理器被配置為執行該等指令，使得該處理器及記憶體被配置為： 決定一第一語音已被說出； 決定相對應於該第一語音之一環境的一第一情境； 基於該環境的該第一情境及該第一語音的內容來提供一第一使用者介面； 決定一第二語音已被說出，該第二語音是在與該第一語音不同的一時間說出的； 決定相對應於該第二語音之該環境的一第二情境，該第一情境及該第二情境是不同的；及 基於該環境的該第二情境及該第二語音的內容來提供一第二使用者介面，該第一語音及該第二語音的該內容是類似的，該第一使用者介面及該第二使用者介面是不同的。
  10. 如請求項9所述之電子設備，其中該第一情境基於該第一語音及該第二語音所針對之一輔助設備的一周圍環境的音訊或視覺判定中的一或兩者。
  11. 如請求項9所述之電子設備，其中該第一情境包括以一第一距離進行之相對應於該第一語音的一第一互動，其中該第二情境包括以一第二距離進行之相對應於該第二語音的一第二互動，該第一距離及該第二距離是不同的。
  12. 如請求項9所述之電子設備，其中該第一情境包括提供該第一語音的一第一使用者，該第二情境包括提供該第二語音的一第二使用者，該第一使用者及該第二使用者是不同的。
  13. 如請求項12所述之電子設備，其中該第一使用者與跟一輔助設備互動的一第一技能水準相關聯，該第二使用者與跟該輔助設備互動的一第二技能水準相關聯，該第一技能水準及該第二技能水準是不同的，該第一情境基於該第一技能水準，且該第二情境基於該第二技能水準。
  14. 如請求項9所述之電子設備，其中該第一情境及該第二情境包括以下中的一或更多者：與一輔助設備互動的一使用者、該輔助設備周圍之該環境中的人、與該輔助設備進行之一互動的一時間、與該輔助設備互動之一使用者的一位置或與該輔助設備互動之一使用者的一技能水準。
  15. 如請求項9所述之電子設備，其中該處理器被配置為執行該等指令，使得該處理器及記憶體被配置為： 決定該環境上的一改變；及 回應於該環境上的該改變基於該第一情境或該第二情境中的一或更多者來產生一第三使用者介面，以維持出現在該環境中之一或更多個使用者的隱私性期望。
  16. 一種電腦程式產品，包括一或更多個非暫時性電腦可讀取媒體，該一或更多個非暫時性電腦可讀取媒體具有儲存在其中的電腦程式指令，該等電腦程式指令被配置為使得在由一或更多個計算設備執行時，該等電腦程式指令使該一或更多個計算設備： 決定一第一語音已被說出； 決定相對應於該第一語音之一環境的一第一情境； 基於該環境的該第一情境及該第一語音的內容來提供一第一使用者介面； 決定一第二語音已被說出，該第二語音是在與該第一語音不同的一時間說出的； 決定相對應於該第二語音之該環境的一第二情境，該第一情境及該第二情境是不同的；及 基於該環境的該第二情境及該第二語音的內容來提供一第二使用者介面，該第一語音及該第二語音的該內容是類似的，該第一使用者介面及該第二使用者介面是不同的。
  17. 如請求項16所述之電腦程式產品，其中該第一情境基於該第一語音及該第二語音所針對之一輔助設備的一周圍環境的音訊或視覺判定中的一或兩者。
  18. 如請求項16所述之電腦程式產品，其中該第一情境包括以一第一距離進行之相對應於該第一語音的一第一互動，其中該第二情境包括以一第二距離進行之相對應於該第二語音的一第二互動，該第一距離及該第二距離是不同的。
  19. 如請求項16所述之電腦程式產品，其中該第一情境包括提供該第一語音的一第一使用者，該第二情境包括提供該第二語音的一第二使用者，該第一使用者及該第二使用者是不同的。
  20. 如請求項19所述之電腦程式產品，其中該第一使用者與跟一輔助設備互動的一第一技能水準相關聯，該第二使用者與跟該輔助設備互動的一第二技能水準相關聯，該第一技能水準及該第二技能水準是不同的，該第一情境基於該第一技能水準，且該第二情境基於該第二技能水準。
  21. 如請求項16所述之電腦程式產品，其中該第一情境及該第二情境包括以下中的一或更多者：與一輔助設備互動的一使用者、該輔助設備周圍之該環境中的人、與該輔助設備進行之一互動的一時間、與該輔助設備互動之一使用者的一位置或與該輔助設備互動之一使用者的一技能水準。
  22. 如請求項16所述之電腦程式產品，其中該等電腦程式指令使該一或更多個計算設備： 決定該環境上的一改變；及 回應於該環境上的該改變基於該第一情境或該第二情境中的一或更多者來產生一第三使用者介面，以維持出現在該環境中之一或更多個使用者的隱私性期望。
TW106118485A 2017-01-20 2017-06-05 基於環境的情境式使用者介面 TW201828025A (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201762448912P 2017-01-20 2017-01-20
US62/448,912 2017-01-20
US201762486365P 2017-04-17 2017-04-17
US201762486359P 2017-04-17 2017-04-17
US62/486,359 2017-04-17
US62/486,365 2017-04-17
US15/587,201 2017-05-04
US15/587,201 US10359993B2 (en) 2017-01-20 2017-05-04 Contextual user interface based on environment

Publications (1)

Publication Number Publication Date
TW201828025A true TW201828025A (zh) 2018-08-01

Family

ID=62906430

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106118485A TW201828025A (zh) 2017-01-20 2017-06-05 基於環境的情境式使用者介面

Country Status (4)

Country Link
US (2) US10359993B2 (zh)
DE (1) DE112017006882T5 (zh)
TW (1) TW201828025A (zh)
WO (1) WO2018136109A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102447381B1 (ko) * 2017-12-08 2022-09-27 삼성전자주식회사 통화 중 인공지능 서비스를 제공하기 위한 방법 및 그 전자 장치
WO2019163255A1 (ja) * 2018-02-23 2019-08-29 ソニー株式会社 情報処理装置、情報処理方法、および、プログラム
US11226833B2 (en) * 2018-11-12 2022-01-18 International Business Machines Corporation Determination and initiation of a computing interface for computer-initiated task response
CN113168304A (zh) * 2018-12-07 2021-07-23 谷歌有限责任公司 有条件地将各种自动助理功能分配给与外围助理控制设备的交互
US11171901B2 (en) * 2019-04-17 2021-11-09 Jvckenwood Corporation Chat server, chat system, and non-transitory computer readable storage medium for supplying images and chat data
US11657811B2 (en) * 2020-09-21 2023-05-23 International Business Machines Corporation Modification of voice commands based on sensitivity

Family Cites Families (154)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6052556A (en) 1996-09-27 2000-04-18 Sharp Laboratories Of America Interactivity enhancement apparatus for consumer electronics products
US6141003A (en) 1997-03-18 2000-10-31 Microsoft Corporation Channel bar user interface for an entertainment system
US7137069B2 (en) 1998-12-18 2006-11-14 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
US6332163B1 (en) 1999-09-01 2001-12-18 Accenture, Llp Method for providing communication services over a computer network system
AU2248501A (en) 1999-12-17 2001-06-25 Promo Vu Interactive promotional information communicating system
US6754904B1 (en) 1999-12-30 2004-06-22 America Online, Inc. Informing network users of television programming viewed by other network users
US7620703B1 (en) 2000-08-10 2009-11-17 Koninklijke Philips Electronics N.V. Topical service provides context information for a home network
AU2001295029B2 (en) 2000-09-08 2006-11-09 Ack Ventures Holdings, Llc Video interaction
US20020078453A1 (en) 2000-12-15 2002-06-20 Hanchang Kuo Hub pages for set top box startup screen
US7676822B2 (en) 2001-01-11 2010-03-09 Thomson Licensing Automatic on-screen display of auxiliary information
US20020162120A1 (en) 2001-04-25 2002-10-31 Slade Mitchell Apparatus and method to provide supplemental content from an interactive television system to a remote device
US6968334B2 (en) 2001-05-15 2005-11-22 Nokia Corporation Method and business process to maintain privacy in distributed recommendation systems
US6714778B2 (en) 2001-05-15 2004-03-30 Nokia Corporation Context sensitive web services
US7340438B2 (en) 2001-05-21 2008-03-04 Nokia Corporation Method and apparatus for managing and enforcing user privacy
WO2003054654A2 (en) 2001-12-21 2003-07-03 Nokia Corporation Location-based novelty index value and recommendation system and method
US9374451B2 (en) 2002-02-04 2016-06-21 Nokia Technologies Oy System and method for multimodal short-cuts to digital services
US7987491B2 (en) 2002-05-10 2011-07-26 Richard Reisman Method and apparatus for browsing using alternative linkbases
US7069259B2 (en) 2002-06-28 2006-06-27 Microsoft Corporation Multi-attribute specification of preferences about people, priorities and privacy for guiding messaging and communications
AU2003284021A1 (en) 2002-10-11 2004-05-04 Solutions For Progress Benefits qualification analysis and application method and computer readable code
US20050043095A1 (en) 2003-08-20 2005-02-24 Larson Lee A. Apparatus and method for games requiring display of individual player information
US7458093B2 (en) 2003-08-29 2008-11-25 Yahoo! Inc. System and method for presenting fantasy sports content with broadcast content
KR100651729B1 (ko) 2003-11-14 2006-12-06 한국전자통신연구원 홈네트워크 환경에서의 멀티-모달 상황 인식어플리케이션을 위한 시스템 및 방법
US7349758B2 (en) 2003-12-18 2008-03-25 Matsushita Electric Industrial Co., Ltd. Interactive personalized robot for home use
US7942743B2 (en) 2004-01-20 2011-05-17 Nintendo Co., Ltd. Game apparatus and storage medium storing game program
US10417298B2 (en) 2004-12-02 2019-09-17 Insignio Technologies, Inc. Personalized content processing and delivery system and media
KR100763900B1 (ko) 2004-08-28 2007-10-05 삼성전자주식회사 사용자 시선정보에 기반한 텔레비전 프로그램 녹화/재생방법 및 그 장치
US7461343B2 (en) 2004-11-08 2008-12-02 Lawrence Kates Touch-screen remote control for multimedia equipment
US20060184800A1 (en) * 2005-02-16 2006-08-17 Outland Research, Llc Method and apparatus for using age and/or gender recognition techniques to customize a user interface
US20060223637A1 (en) 2005-03-31 2006-10-05 Outland Research, Llc Video game system combining gaming simulation with remote robot control and remote robot feedback
US20070015580A1 (en) 2005-07-18 2007-01-18 Hunter Wesley K Mobile terminals for supplementing game module resources and methods and computer program products for operating the same
US9614964B2 (en) 2005-08-19 2017-04-04 Nextstep, Inc. Consumer electronic registration, control and support concierge device and method
US9177338B2 (en) 2005-12-29 2015-11-03 Oncircle, Inc. Software, systems, and methods for processing digital bearer instruments
DE102006002265B4 (de) 2006-01-17 2010-01-21 Palm, Inc. (n.d.Ges. d. Staates Delaware), Sunnyvale Verfahren und System zum Rundfunk-basierten Ausstrahlen eines Videosignals
US7970899B2 (en) * 2006-03-03 2011-06-28 Barracuda Networks Inc Integrated data flow packet admission and traffic management apparatus
US7898393B2 (en) 2006-07-14 2011-03-01 Skybox Scoreboards Inc. Wall-mounted scoreboard
WO2008016611A2 (en) 2006-07-31 2008-02-07 United Video Properties, Inc. Systems and methods for providing media guidance planners
US8253770B2 (en) 2007-05-31 2012-08-28 Eastman Kodak Company Residential video communication system
US8154583B2 (en) 2007-05-31 2012-04-10 Eastman Kodak Company Eye gazing imaging for video communications
US9848157B2 (en) 2007-08-28 2017-12-19 Cable Television Laboratories, Inc. Method of automatically switching television channels
US9524072B1 (en) 2007-08-29 2016-12-20 The Directv Group, Inc. Method and system for forming content in a fantasy sporting event
US8875212B2 (en) 2008-04-15 2014-10-28 Shlomo Selim Rakib Systems and methods for remote control of interactive video
US7950030B2 (en) 2007-11-28 2011-05-24 Sony Corporation TV remote control signal log
US20090150340A1 (en) 2007-12-05 2009-06-11 Motorola, Inc. Method and apparatus for content item recommendation
US7930343B2 (en) * 2008-05-16 2011-04-19 Honeywell International Inc. Scalable user interface system
JP4712911B2 (ja) 2008-05-30 2011-06-29 株式会社カプコン ゲームプログラムおよびゲーム装置
US20100006684A1 (en) 2008-07-10 2010-01-14 Robert Edward Burton Spiral shear wood cutter
US8626863B2 (en) 2008-10-28 2014-01-07 Trion Worlds, Inc. Persistent synthetic environment message notification
US8469819B2 (en) 2009-06-04 2013-06-25 Michael Parker McMain Game apparatus and game control method for controlling and representing magical ability and power of a player character in an action power control program
US20100313239A1 (en) 2009-06-09 2010-12-09 International Business Machines Corporation Automated access control for rendered output
US20150304605A1 (en) 2009-12-07 2015-10-22 Anthony Hartman Interactive video system
US20110137727A1 (en) 2009-12-07 2011-06-09 Rovi Technologies Corporation Systems and methods for determining proximity of media objects in a 3d media environment
US8358383B2 (en) 2009-12-09 2013-01-22 Wills Christopher R Dynamic television menu creation
US8754931B2 (en) 2010-01-08 2014-06-17 Kopin Corporation Video eyewear for smart phone games
US8913009B2 (en) 2010-02-03 2014-12-16 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
WO2011094940A1 (en) 2010-02-04 2011-08-11 Nokia Corporation Method and apparatus for characterizing user behavior patterns from user interaction history
US8863008B2 (en) 2010-02-17 2014-10-14 International Business Machines Corporation Automatic removal of sensitive information from a computer screen
US8724639B2 (en) 2010-02-26 2014-05-13 Mohamed K. Mahmoud Smart home hub
US8826322B2 (en) 2010-05-17 2014-09-02 Amazon Technologies, Inc. Selective content presentation engine
US8591334B2 (en) 2010-06-03 2013-11-26 Ol2, Inc. Graphical user interface, system and method for implementing a game controller on a touch-screen device
US8359020B2 (en) 2010-08-06 2013-01-22 Google Inc. Automatically monitoring for voice input based on context
US20120086630A1 (en) 2010-10-12 2012-04-12 Sony Computer Entertainment Inc. Using a portable gaming device to record or modify a game or application in real-time running on a home gaming system
CA2813408C (en) 2010-10-14 2020-02-18 Fourthwall Media, Inc. Systems and methods for providing companion services to customer premises equipment using an ip-based infrastructure
US8776121B2 (en) 2010-11-03 2014-07-08 Google Inc. Social aspects of media guides
US20120117593A1 (en) 2010-11-08 2012-05-10 Yang Pan System and Method of Delivering Advertisements to a Mobile Communication Device
CN103201983A (zh) 2010-11-10 2013-07-10 汤姆逊许可公司 网关遥控系统和操作方法
JP5193275B2 (ja) 2010-12-01 2013-05-08 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム
US8782269B2 (en) 2010-12-22 2014-07-15 Verizon Patent And Licensing Inc. Auto-discovery of home and out-of-franchise networks
EP2497552A3 (en) 2011-03-09 2013-08-21 Sony Computer Entertainment Inc. Information processing apparatus
US8847777B2 (en) 2011-03-25 2014-09-30 Apple Inc. Voltage supply droop detector
JP5818114B2 (ja) * 2011-03-30 2015-11-18 株式会社インプランタイノベーションズ 果実特異的プロモーター
US8882595B2 (en) 2011-04-29 2014-11-11 2343127 Ontartio Inc. Systems and methods of importing virtual objects using barcodes
US20120284618A1 (en) 2011-05-06 2012-11-08 Microsoft Corporation Document based contextual communication
US20140168277A1 (en) 2011-05-10 2014-06-19 Cisco Technology Inc. Adaptive Presentation of Content
US8668588B2 (en) 2011-05-27 2014-03-11 Zynga Inc. Target map area of an online social game
JP5755943B2 (ja) 2011-06-03 2015-07-29 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
JP5890969B2 (ja) 2011-06-03 2016-03-22 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
JP5911221B2 (ja) 2011-07-01 2016-04-27 株式会社スクウェア・エニックス コンテンツ関連情報表示システム
EP2961184A1 (en) 2011-08-15 2015-12-30 Comigo Ltd. Methods and systems for creating and managing multi participant sessions
US10142121B2 (en) 2011-12-07 2018-11-27 Comcast Cable Communications, Llc Providing synchronous content and supplemental experiences
EP2801040B1 (en) 2012-01-08 2018-04-11 Teknision Inc. Method and system for dynamically assignable user interface
US20150160788A1 (en) 2012-02-27 2015-06-11 Nokia Corporaiton Apparatus and associated methods
US20150127628A1 (en) 2012-04-16 2015-05-07 Onepatont Software Limited Method and System for Display Dynamic & Accessible Actions with Unique Identifiers and Activities
JP6050023B2 (ja) 2012-04-26 2016-12-21 任天堂株式会社 ゲームシステム、ゲーム処理方法、ゲームプログラム、およびゲーム装置
TWI594186B (zh) 2012-05-16 2017-08-01 緯創資通股份有限公司 虛擬頻道之管理方法、擷取數位內容之方法及具有虛擬頻道之網路多媒體重現系統
US9946887B2 (en) 2012-06-04 2018-04-17 Nokia Technologies Oy Method and apparatus for determining privacy policy based on data and associated values
US9697502B2 (en) 2012-06-27 2017-07-04 International Business Machines Corporation Enforcing e-Meeting attendee guidelines
US20140038708A1 (en) 2012-07-31 2014-02-06 Cbs Interactive Inc. Virtual viewpoint management system
US20140049487A1 (en) 2012-08-17 2014-02-20 Qualcomm Incorporated Interactive user interface for clothing displays
US9699485B2 (en) 2012-08-31 2017-07-04 Facebook, Inc. Sharing television and video programming through social networking
US9424840B1 (en) 2012-08-31 2016-08-23 Amazon Technologies, Inc. Speech recognition platforms
US20140120961A1 (en) 2012-10-26 2014-05-01 Lookout, Inc. System and method for secure message composition of security messages
KR101533064B1 (ko) 2012-11-01 2015-07-01 주식회사 케이티 콘텐츠 맞춤형 인터페이스를 표시하는 모바일 디바이스 및 모바일 디바이스 사용 방법
US9589149B2 (en) 2012-11-30 2017-03-07 Microsoft Technology Licensing, Llc Combining personalization and privacy locally on devices
US9542060B1 (en) 2012-12-13 2017-01-10 Amazon Technologies, Inc. User interface for access of content
US20140170979A1 (en) * 2012-12-17 2014-06-19 Qualcomm Incorporated Contextual power saving in bluetooth audio
US20140181715A1 (en) 2012-12-26 2014-06-26 Microsoft Corporation Dynamic user interfaces adapted to inferred user contexts
US9654358B2 (en) * 2013-01-15 2017-05-16 International Business Machines Corporation Managing user privileges for computer resources in a networked computing environment
US9721587B2 (en) 2013-01-24 2017-08-01 Microsoft Technology Licensing, Llc Visual feedback for speech recognition system
US9460715B2 (en) 2013-03-04 2016-10-04 Amazon Technologies, Inc. Identification using audio signatures and additional characteristics
US9866924B2 (en) 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9247309B2 (en) 2013-03-14 2016-01-26 Google Inc. Methods, systems, and media for presenting mobile content corresponding to media content
US20140282746A1 (en) 2013-03-15 2014-09-18 Miiicasa Taiwan Inc. Method and system for managing channel indexed content and electronic device implemented with said system
US9721086B2 (en) 2013-03-15 2017-08-01 Advanced Elemental Technologies, Inc. Methods and systems for secure and reliable identity-based computing
WO2014145976A1 (en) 2013-03-15 2014-09-18 Troxler Robert E Systems and methods for identifying and separately presenting different portions of multimedia content
US20140354531A1 (en) 2013-05-31 2014-12-04 Hewlett-Packard Development Company, L.P. Graphical user interface
EP3937002A1 (en) * 2013-06-09 2022-01-12 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10137363B2 (en) 2013-06-20 2018-11-27 Uday Parshionikar Gesture based user interfaces, apparatuses and control systems
US9104886B1 (en) * 2013-06-26 2015-08-11 Amazon Technologies, Inc. Automated privacy control
JP5657751B1 (ja) * 2013-07-04 2015-01-21 ファナック株式会社 対象物を吸引して搬送する搬送装置
US9989154B2 (en) * 2013-07-30 2018-06-05 Hayward Industries, Inc. Butterfly valve handle
WO2015015251A1 (en) 2013-08-01 2015-02-05 Yogesh Chunilal Rathod Presenting plurality types of interfaces and functions for conducting various activities
US20150046425A1 (en) * 2013-08-06 2015-02-12 Hsiu-Ping Lin Methods and systems for searching software applications
US9853934B2 (en) 2013-08-23 2017-12-26 Facebook, Inc. Platform show pages
FR3011141B1 (fr) 2013-09-24 2017-04-28 Voltalis Gestion de commandes d'un equipement electrique apte a etre commande par des signaux de commande infrarouges
US9594890B2 (en) 2013-09-25 2017-03-14 Intel Corporation Identity-based content access control
US9536106B2 (en) 2013-10-08 2017-01-03 D.R. Systems, Inc. System and method for the display of restricted information on private displays
US20150150140A1 (en) 2013-11-26 2015-05-28 Nokia Corporation Method and apparatus for determining shapes for devices based on privacy policy
US9225688B2 (en) 2013-12-03 2015-12-29 Nokia Technologies Oy Method and apparatus for providing privacy adaptation based on receiver context
US10534623B2 (en) * 2013-12-16 2020-01-14 Nuance Communications, Inc. Systems and methods for providing a virtual assistant
US10088972B2 (en) * 2013-12-31 2018-10-02 Verint Americas Inc. Virtual assistant conversations
US9986296B2 (en) 2014-01-07 2018-05-29 Oath Inc. Interaction with multiple connected devices
WO2015116678A1 (en) * 2014-01-28 2015-08-06 Simple Emotion, Inc. Methods for adaptive voice interaction
JP2017104145A (ja) 2014-03-07 2017-06-15 株式会社ソニー・インタラクティブエンタテインメント ゲームシステム、表示制御方法、表示制御プログラム及び記録媒体
CN104918122B (zh) 2014-03-14 2018-09-07 北京四达时代软件技术股份有限公司 在家庭网络分享和控制多种设备的方法及装置
US9946985B2 (en) * 2014-04-15 2018-04-17 Kofax, Inc. Touchless mobile applications and context-sensitive workflows
WO2015178707A1 (en) * 2014-05-22 2015-11-26 Samsung Electronics Co., Ltd. Display device and method for controlling the same
US9715875B2 (en) * 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9729591B2 (en) 2014-06-24 2017-08-08 Yahoo Holdings, Inc. Gestures for sharing content between multiple devices
CN105683989B (zh) 2014-06-27 2019-04-30 微软技术许可有限责任公司 用于基于上下文的数据保护的系统
KR102194923B1 (ko) 2014-07-22 2020-12-24 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
EP3195096B1 (en) * 2014-08-02 2020-08-12 Apple Inc. Context-specific user interfaces
US9473803B2 (en) 2014-08-08 2016-10-18 TCL Research America Inc. Personalized channel recommendation method and system
US9548066B2 (en) 2014-08-11 2017-01-17 Amazon Technologies, Inc. Voice application architecture
US20160085430A1 (en) 2014-09-24 2016-03-24 Microsoft Corporation Adapting user interface to interaction criteria and component properties
US9671862B2 (en) 2014-10-15 2017-06-06 Wipro Limited System and method for recommending content to a user based on user's interest
US20170011602A1 (en) 2014-12-11 2017-01-12 Elwha Llc Wearable haptic feedback devices and methods of fabricating wearable haptic feedback devices
US10223093B2 (en) 2014-12-12 2019-03-05 Pcms Holdings, Inc. Method and system for context-based control over access to personal data
US9826277B2 (en) 2015-01-23 2017-11-21 TCL Research America Inc. Method and system for collaborative and scalable information presentation
US9259651B1 (en) 2015-02-13 2016-02-16 Jumo, Inc. System and method for providing relevant notifications via an action figure
WO2016145255A1 (en) 2015-03-10 2016-09-15 LyteShot Inc. Systems and methods for interactive gaming with non-player engagement
US20160277052A1 (en) 2015-03-19 2016-09-22 Kerloss Sadek Modular Portable Power Device
US10068460B2 (en) 2015-06-04 2018-09-04 ESCO Technologies, LLC Interactive media device
DE102016113802A1 (de) * 2015-07-28 2017-02-02 Steering Solutions Ip Holding Corporation Kraftunterstützungssystem mit Spindelmutter, Bremsverstärkungsaktor und Verfahren
US20170031575A1 (en) * 2015-07-28 2017-02-02 Microsoft Technology Licensing, Llc Tailored computing experience based on contextual signals
US10152811B2 (en) * 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
US10530720B2 (en) 2015-08-27 2020-01-07 Mcafee, Llc Contextual privacy engine for notifications
US9729925B2 (en) 2015-08-31 2017-08-08 Opentv, Inc. Automatically loading user profile to show recently watched channels
US20180268163A1 (en) 2015-09-25 2018-09-20 Pcms Holdings, Inc. Context module based personal data protection
US9924236B2 (en) 2015-11-05 2018-03-20 Echostar Technologies L.L.C. Informational banner customization and overlay with other channels
KR102423588B1 (ko) * 2015-12-28 2022-07-22 삼성전자주식회사 정보 제공 방법 및 장치
US20170185920A1 (en) * 2015-12-29 2017-06-29 Cognitive Scale, Inc. Method for Monitoring Interactions to Generate a Cognitive Persona
US10341352B2 (en) 2016-02-06 2019-07-02 Maximilian Ralph Peter von Liechtenstein Gaze initiated interaction technique
US20170289766A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Digital Assistant Experience based on Presence Detection
US20180054688A1 (en) * 2016-08-22 2018-02-22 Dolby Laboratories Licensing Corporation Personal Audio Lifestyle Analytics and Behavior Modification Feedback

Also Published As

Publication number Publication date
US20180210738A1 (en) 2018-07-26
US10359993B2 (en) 2019-07-23
DE112017006882T5 (de) 2019-10-24
US20180210700A1 (en) 2018-07-26
WO2018136109A1 (en) 2018-07-26

Similar Documents

Publication Publication Date Title
TW201828025A (zh) 基於環境的情境式使用者介面
US11424947B2 (en) Grouping electronic devices to coordinate action based on context awareness
DE102017129939B4 (de) Gesprächsbewusste proaktive Benachrichtigungen für eine Sprachschnittstellenvorrichtung
US10776070B2 (en) Information processing device, control method, and program
US10367652B2 (en) Smart home automation systems and methods
US20190385418A1 (en) Server-Provided Visual Output at a Voice Interface Device
CN108604180A (zh) 用于语音用户界面的视觉效果的led设计语言
CN108022590A (zh) 语音接口设备处的聚焦会话
US20180213291A1 (en) Contextual user interface based on media playback
US10930249B2 (en) Information processor, information processing method, and recording medium
US11736760B2 (en) Video integration with home assistant
WO2017141530A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2023150327A1 (en) Smart glass interface for impaired users or users with disabilities
KR101889278B1 (ko) 음성 명령에 기반하여 서비스를 제공하는 공용 단말 및 방법, 음성 명령에 기반하여 동작하는 캐릭터를 제공하는 공용 단말
US20180213286A1 (en) Contextual user interface based on shared activities
US9420111B2 (en) Communication device, method, and program
JP7070563B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2017211798A (ja) ネットワークシステム、情報処理方法、およびサーバ
Dellolio Filmic Space and Real Time in Hitchcock’s Rope