JP7159400B2 - 自動発話認識を使用して生成された入力を発話に基づいて訂正する方法およびシステム - Google Patents

自動発話認識を使用して生成された入力を発話に基づいて訂正する方法およびシステム Download PDF

Info

Publication number
JP7159400B2
JP7159400B2 JP2021103081A JP2021103081A JP7159400B2 JP 7159400 B2 JP7159400 B2 JP 7159400B2 JP 2021103081 A JP2021103081 A JP 2021103081A JP 2021103081 A JP2021103081 A JP 2021103081A JP 7159400 B2 JP7159400 B2 JP 7159400B2
Authority
JP
Japan
Prior art keywords
time
user
utterance
input
media guidance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021103081A
Other languages
English (en)
Other versions
JP2021144250A (ja
JP2021144250A5 (ja
Inventor
スリーダラ アルン
Original Assignee
ロヴィ ガイズ, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ロヴィ ガイズ, インコーポレイテッド filed Critical ロヴィ ガイズ, インコーポレイテッド
Priority to JP2021103081A priority Critical patent/JP7159400B2/ja
Publication of JP2021144250A publication Critical patent/JP2021144250A/ja
Publication of JP2021144250A5 publication Critical patent/JP2021144250A5/ja
Application granted granted Critical
Publication of JP7159400B2 publication Critical patent/JP7159400B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/164Detection; Localisation; Normalisation using holistic features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/176Dynamic expression
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L25/84Detection of presence or absence of voice signals for discriminating voice from noise
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/081Search algorithms, e.g. Baum-Welch or Viterbi
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221Announcement of recognition results
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225Feedback of the input speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L2025/783Detection of presence or absence of voice signals based on threshold decision

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Telephone Function (AREA)

Description

ユーザは、自動発話認識(ASR)によってテキストに変換される口語入力を使用して、検索を開始し得る。ユーザはまた、後続の口語入力を使用して、前の口語入力の認識のエラーを訂正しようとし得る。しかしながら、ユーザが後続の口語入力で認識エラーを訂正することを意図するかどうかを決定することは、特に、ユーザが後続の発話でエラーを訂正することを意図する、語句「そうではなくて」または「言おうとしたのは~」等の後続の口語入力の中の明示的指示がない場合、困難であり得る。
故に、システムおよび方法が、発話に基づいて、ユーザが発話で入力を訂正することを意図したという発話の中の明示的指示がない場合、自動発話認識を使用して生成される入力を訂正するために、本明細書に説明される。いくつかの実施形態では、メディアガイドアプリケーションは、時間の差を使用し、発話に基づいて、自動発話認識を使用して生成される入力のエラーを訂正する。例えば、ユーザは、最初に、「オースティンについての番組を見せて」と話し得る。メディアガイドアプリケーションは、発話を「ボストンについての番組を見せて」と不正確に認識し、ボストンについての番組を含む検索結果を提示し得る。ユーザは、次いで、不正確に認識された「ボストン」を「オースティン」と訂正することを意図して、「オースティン」と話し得る。そのような場合において、ユーザは、検索が最初に要求されたものに合致しないことが迅速に明白であり得るため、検索結果が提示されるときから「オースティン」と話すときまで長い時間を要しない場合があり、ユーザは、エラーを訂正しようとする前、検索結果を精査することに長い時間量を費やさないであろう。他方で、メディアガイドアプリケーションが初期発話を「オースティンについての番組を見せて」として正確に認識し、オースティンについての番組を含む検索結果を提示する場合、ユーザは、検索結果を精査するために長い時間量を要し得る。したがって、いくつかの実施形態では、検索結果の提示と後続の口語入力との間の時間が長いかどうか(すなわち、閾値を上回るかどうか)は、ユーザが後続の発話で自動発話認識を使用して生成される入力を訂正することを意図するかどうかを示し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、加速の差を使用し、発話に基づいて、自動発話認識を使用して生成される入力のエラーを訂正する。例えば、ユーザは、最初に、「オースティンについての番組を見せて」と話し得る。メディアガイドアプリケーションは、発話を「ボストンについての番組を見せて」と不正確に認識し、ボストンについての番組を含む検索結果を提示し得る。ユーザは、次いで、不正確に認識された「ボストン」を「オースティン」と訂正することを意図して、「オースティン」と話し得る。そのような場合において、ユーザは、ユーザ入力デバイスが後続の話された「オースティン」をより正確に検出することを可能にする意図を持って、自分が話し掛けているユーザ入力デバイスを自分の口に近づけ得る。ユーザ入力デバイスの本運動は、検索結果が提示されたときとユーザが「オースティン」と話すときとの間のユーザ入力デバイスの加速の変化として検出され得る。本加速の変化は、したがって、ユーザが後続の発話で自動発話認識を使用して生成される入力を訂正することを意図するかどうかを示し得る。
これらの目的で、いくつかの側面では、メディアガイドアプリケーションは、発話に基づいて、ユーザが発話で入力を訂正することを意図したという発話の中の明示的指示がない場合、自動発話認識を使用して生成される入力を訂正する。具体的には、いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の
発話を受信する。第1の発話は、例えば、ユーザによって話された言葉を含み得る。例えば、第1の発話は、「オースティンについての番組を見せて」であり得る。
いくつかの実施形態では、メディアガイドアプリケーションは、自動発話認識を使用して、第1の発話に基づいて第1の入力を決定する。例えば、第1の発話が「オースティンについての番組を見せて」である場合、メディアガイドアプリケーションは、第1の入力を「ボストンについての番組を見せて」であると決定し、それによって、第1の発話の中の「オースティン」を「ボストン」として不正確に認識し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、データベースから、第1の入力に基づいて検索結果を読み出す。データベースは、例えば、情報リポジトリを含み得る。
いくつかの実施形態では、メディアガイドアプリケーションは、検索結果を表示のために生成する。例えば、第1の入力が「ボストンについての番組を見せて」である場合、メディアガイドアプリケーションは、ボストンで行われているテレビ番組Fringeのリスト項目を読み出し、表示のために生成し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、検索結果が表示のために生成された第1の時間を決定する。例えば、メディアガイドアプリケーションは、表示画面のピクセルに伝送される信号が第1の時間に続いて最初に変化する時間を検出することによって、第1の時間を決定し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の発話を受信することに続いて、第2の発話を受信する。第2の発話は、例えば、ユーザによって話された言葉を含み得る。第2の発話は、メディアガイドアプリケーションによって不正確に認識された第1の入力の一部を訂正することをユーザによって意図され得る。例えば、検索結果がボストンについての番組を含む場合、ユーザは、メディアガイドアプリケーションが、第1の発話(「オースティンについての番組を見せて」)に応答して、第1の入力として「ボストンについての番組を見せて」を不正確に生成したことを決定し得る。故に、第2の発話は、ユーザが「ボストン」を「オースティン」に訂正することを意図する、「オースティン」であり得る。
いくつかの実施形態では、メディアガイドアプリケーションは、自動発話認識を使用して、第2の発話に基づいて第2の入力を決定する。例えば、第2の発話が「オースティン」である場合、メディアガイドアプリケーションは、第2の入力を「オースティン」であると決定し、それによって、第2の発話の中の「オースティン」を正確に認識し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、第2の発話が受信された第2の時間を決定する。いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の時間に続く最も早い発音が起こった時間を測定することによって、第2の時間を決定し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、第2の時間と第1の時間との間の時間差を閾値時間と比較する。例えば、第1の時間が午前10:00:00であり、第2の時間が午前10:00:10である場合、メディアガイドアプリケーションは、時間差を10秒であると算出し得る。
いくつかの実施形態では、第2の時間と第1の時間との間の時間差を閾値時間と比較することに基づいて、メディアガイドアプリケーションは、第2の時間と第1の時間との間
の時間差が閾値時間未満であることを決定する。例えば、時間差が10秒であり、閾値時間が20秒である場合、メディアガイドアプリケーションは、時間差が閾値時間未満であることを決定し得る。
いくつかの実施形態では、第2の時間と第1の時間との間の時間差が閾値時間未満であることを決定することに基づいて、メディアガイドアプリケーションは、第1の入力の一部を第2の入力の一部と置換することによって、第1の入力に基づいて訂正された入力を生成する。例えば、第1の入力が「ボストンについての番組を見せて」であり、第2の入力が「オースティン」である場合、メディアガイドアプリケーションは、「ボストン」を「オースティン」と置換し、「オースティンについての番組を見せて」という訂正された入力を生成し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、検索結果をブラウズすることに関連付けられたいかなる入力も、第1の時間と第2の時間との間にユーザ入力デバイスを介して受信されなかったことを決定することにさらに基づいて、訂正された入力を生成する。例えば、第1の入力が「ボストンについての番組を見せて」であり、第2の入力が「オースティン」である場合、メディアガイドアプリケーションは、「ボストン」を「オースティン」と置換し、時間差が閾値時間未満であること、および検索結果をブラウズすることに関連付けられたいかなる入力も受信されないことに基づいて、「オースティンについての番組を見せて」という訂正された入力を生成し得る。いくつかの実施形態では、検索結果をブラウズすることに関連付けられたいかなる入力も、第1の時間と第2の時間との間にユーザ入力デバイスを介して受信されなかったことを決定することは、検索結果をスクロールする、検索結果の説明を読む、検索結果を開く、または検索結果を再生するためのいかなる入力も、第1の時間と第2の時間との間にユーザ入力デバイスを介して受信されなかったことを決定することを含む。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の時間と第2の時間との間に、ユーザの顔の画像を捕捉する。例えば、ユーザ入力デバイスが携帯電話である場合、携帯電話は、そのカメラを使用して、ユーザの顔の画像を捕捉し得る。例えば、ユーザは、テレビ上でメディアアセットを視聴していることもあり、テレビは、統合型カメラを有し、カメラを使用してユーザの顔の画像を捕捉し得る。例えば、ユーザは、コンピュータ上でメディアアセットを視聴していることもあり、コンピュータは、統合型カメラを有し、カメラを使用してユーザの顔の画像を捕捉し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、画像内のユーザの顔が不満な感情に関連付けられていることを決定することにさらに基づいて、訂正された入力を生成する。例えば、画像内のユーザの顔が不満な感情に関連付けられていることを決定するために、メディアガイドアプリケーションは、顔認識技法を使用してユーザの顔の画像を分析し、怒りおよび悲しみ等の表情を検出し得る。例えば、第1の入力が「ボストンについての番組を見せて」であり、第2の入力が「オースティン」である場合、メディアガイドアプリケーションは、「ボストン」を「オースティン」と置換し、時間差が閾値時間未満であること、および画像内のユーザの顔が不満な感情に関連付けられていることに基づいて、「オースティンについての番組を見せて」という訂正された入力を生成し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の発話が受信されている間にユーザの顔の第1の画像を捕捉し、第1の画像内のユーザの顔の第1の相対サイズを決定する。いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第2の発話が受信されている間に
、ユーザの顔の第2の画像を捕捉し、第2の画像内のユーザの顔の第2の相対サイズを決定する。例えば、ユーザ入力デバイスが携帯電話である場合、携帯電話は、そのカメラを使用して、ユーザの顔の画像を捕捉し得る。例えば、ユーザは、テレビ上でメディアアセットを視聴していることもあり、テレビは、統合型カメラを有し、カメラを使用してユーザの顔の画像を捕捉し得る。例えば、ユーザは、コンピュータ上でメディアアセットを視聴していることもあり、コンピュータは、統合型カメラを有し、カメラを使用してユーザの顔の画像を捕捉し得る。例えば、メディアガイドアプリケーションは、画像内のユーザの顔によって占有されるピクセルの数を数えることによって、画像内のユーザの顔の相対サイズを計算し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザの顔の第1の相対サイズとユーザの顔の第2の相対サイズとの間の相対サイズ差を閾値相対サイズと比較する。例えば、第1の相対サイズが3メガピクセルであり、第2の相対サイズが4メガピクセルである場合、メディアガイドアプリケーションは、相対サイズ差を1メガピクセルであると算出し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザの顔の第1の相対サイズとユーザの顔の第2の相対サイズとの間の相対サイズ差を閾値相対サイズと比較することに基づいて、相対サイズ差が閾値相対サイズを上回ることを決定する。例えば、相対サイズ差が1メガピクセルであり、閾値相対サイズが0.5メガピクセルである場合、メディアガイドアプリケーションは、相対サイズ差が閾値相対サイズを上回ることを決定し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、相対サイズ差が閾値相対サイズを上回ることを決定することにさらに基づいて、訂正された入力を生成する。例えば、第1の入力が「ボストンについての番組を見せて」であり、第2の入力が「オースティン」である場合、メディアガイドアプリケーションは、「ボストン」を「オースティン」と置換し、時間差が閾値時間未満であること、および相対サイズ差が閾値相対サイズを上回ることに基づいて、「オースティンについての番組を見せて」という訂正された入力を生成し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、第2の時間と第1の時間との間の時間差を他の閾値時間と比較し、第2の時間と第1の時間との間の時間差を他の閾値時間と比較することに基づいて、第2の時間と第1の時間との間の時間差が他の閾値時間を上回ることを決定する。例えば、時間差が10秒であり、他の閾値時間が2秒である場合、メディアガイドアプリケーションは、時間差が他の閾値時間を上回ることを決定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、第2の時間と第1の時間との間の時間差が他の閾値時間を上回ることを決定することにさらに基づいて、訂正された入力を生成する。例えば、第1の入力が「ボストンについての番組を見せて」であり、第2の入力が「オースティン」である場合、メディアガイドアプリケーションは、「ボストン」を「オースティン」と置換し、時間差が閾値時間未満であること、および時間差が他の閾値時間を上回ることに基づいて、「オースティンについての番組を見せて」という訂正された入力を生成し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザに関連付けられた複数の入力間の平均時間に基づいて、閾値時間を調節する。例えば、メディアガイドアプリケーションは、閾値時間をデフォルト値に設定し、平均時間に基づいて閾値時間を調節し得る。例えば、メディアガイドアプリケーションは、平均時間の範囲に関連付けられる量によって閾値時間を調節し得る。例えば、メディアガイドアプリケーションは、平均時間に比例する量によって閾値時間を調節し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、基準環境雑音レベルを測定する。例えば、基準環境雑音レベルを測定するために、ユーザ入力デバイスは、ユーザがいかなる入力も話していないときに、基準オーディオ録音を捕捉し得る。例えば、メディアガイドアプリケーションは、基準オーディオ録音の中の平均出力として基準環境雑音レベルを測定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の発話が受信されている間の環境雑音レベルを測定する。例えば、第1の発話が受信されている間の環境雑音レベルを測定するために、ユーザ入力デバイスは、第1の発話が受信されているときに、オーディオ録音を捕捉し、オーディオ録音の中の音声を除外し、本オーディオ録音の中の残留信号の平均出力を測定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、第1の発話が受信されている間の環境雑音レベルと基準環境雑音レベルとの間の環境雑音レベル差を閾値環境雑音レベルと比較する。例えば、環境雑音レベル差が0.1mWであり、閾値環境雑音レベルが0.01mWである場合、メディアガイドアプリケーションは、0.1mWを0.01mWと比較し得る。いくつかの実施形態では、第1の発話が受信されている間の環境雑音レベルと基準環境雑音レベルとの間の環境雑音レベル差を閾値環境雑音レベルと比較することに基づいて、メディアガイドアプリケーションは、環境雑音レベル差が閾値環境雑音レベルを上回ることを決定する。例えば、環境雑音レベル差が0.1mWであり、閾値環境雑音レベルが0.01mWである場合、メディアガイドアプリケーションは、0.1mWが0.01mWを上回ることを決定し得る。いくつかの実施形態では、メディアガイドは、環境雑音レベル差が閾値環境雑音レベルを上回ることを決定することにさらに基づいて、訂正された入力を生成する。例えば、第1の入力が「ボストンについての番組を見せて」であり、第2の入力が「オースティン」である場合、メディアガイドアプリケーションは、「ボストン」を「オースティン」と置換し、時間差が閾値時間未満であること、および環境雑音レベル差が閾値環境雑音レベルを上回ることに基づいて、「オースティンについての番組を見せて」という訂正された入力を生成し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の時間に続く最も早い発音が起こった時間を測定することによって、第2の時間を決定する。例えば、メディアガイドアプリケーションが午前10:00:00に検索結果を表示のために生成し、ユーザからの次の発音が「オースティン」であった場合、メディアガイドアプリケーションは、「オースティン」の中の最初の「Au(オー)」という音が午前10:00:00に起こったことを測定し、午前10:00:00を第2の時間と見なし得る。
いくつかの実施形態では、メディアガイドアプリケーションは、表示画面のピクセルに伝送される信号が第1の時間に続いて最初に変化する時間を検出することによって、第1の時間を決定する。例えば、表示画面のピクセルに伝送される信号は、表示画面を変化させ、例えば、新しい項目を表示させ得る。例えば、検索結果が読み出され、表示画面上に表示される準備ができると、表示画面のピクセルに伝送される信号は、検索結果を表示するために変化し得る。表示画面のピクセルに伝送される信号が変化するときに、第1の発話が受信された後の初期時間は、表示されている検索結果を表し得る。したがって、表示画面のピクセルに伝送される信号が変化するときに、第1の発話が受信された後の初期時間は、第1の時間と見なされることができる。
いくつかの側面では、メディアガイドアプリケーションは、発話に基づいて、ユーザが発話で入力を訂正することを意図したという発話の中の明示的指示がない場合、自動発話認識を使用して生成される入力を訂正する。具体的には、いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の発話を受信する。
第1の発話は、例えば、ユーザによって話された言葉を含み得る。例えば、第1の発話は、「オースティンについての番組を見せて」であり得る。
いくつかの実施形態では、メディアガイドアプリケーションは、自動発話認識を使用して、第1の発話に基づいて第1の入力を決定する。例えば、第1の発話が「オースティンについての番組を見せて」である場合、メディアガイドアプリケーションは、第1の入力を「ボストンについての番組を見せて」であると決定し、それによって、第1の発話の中の「オースティン」を「ボストン」として不正確に認識し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、データベースから、第1の入力に基づいて検索結果を読み出す。データベースは、例えば、情報リポジトリを含み得る。
いくつかの実施形態では、メディアガイドアプリケーションは、検索結果を表示のために生成する。例えば、第1の入力が「ボストンについての番組を見せて」である場合、メディアガイドアプリケーションは、ボストンで行われているテレビ番組Fringeのリスト項目を読み出し、表示のために生成し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、検索結果が表示のために生成された第1の時間を決定する。例えば、メディアガイドアプリケーションは、表示画面のピクセルに伝送される信号が第1の時間に続いて最初に変化する時間を検出することによって、第1の時間を決定し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の時間におけるユーザ入力デバイスの第1の加速を測定する。例えば、第1の時間におけるユーザ入力デバイスが近似的に静止している場合、第1の加速は、0m/秒であり得る。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の発話を受信することに続いて、第2の発話を受信する。第2の発話は、例えば、ユーザによって話された言葉を含み得る。第2の発話は、メディアガイドアプリケーションによって不正確に認識された第1の入力の一部を訂正することをユーザによって意図され得る。例えば、検索結果がボストンについての番組を含む場合、ユーザは、メディアガイドアプリケーションが、第1の発話(「オースティンについての番組を見せて」)に応答して、第1の入力として「ボストンについての番組を見せて」を不正確に生成したことを決定し得る。故に、第2の発話は、ユーザが「ボストン」を「オースティン」に訂正することを意図する、「オースティン」であり得る。
いくつかの実施形態では、メディアガイドアプリケーションは、自動発話認識を使用して、第2の発話に基づいて第2の入力を決定する。例えば、第2の発話が「オースティン」である場合、メディアガイドアプリケーションは、第2の入力を「オースティン」であると決定し、それによって、第2の発話の中の「オースティン」を正確に認識し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、第2の発話が受信された第2の時間を決定する。いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の時間に続く最も早い発音が起こった時間を測定することによって、第2の時間を決定し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の時間と第2の時間との間のユーザ入力デバイスの第2の加速を測定する。
例えば、ユーザ入力デバイスが第1の時間と第2の時間との間に1m/秒の速度で移動した場合、第2の加速は、1m/秒であり得る。
いくつかの実施形態では、メディアガイドアプリケーションは、第2の加速と第1の加速との間の加速の差を決定する。例えば、第1の加速が0m/秒であり、第2の加速が1m/秒である場合、加速の差は、1m/秒であり得る。
いくつかの実施形態では、第2の加速と第1の加速との間の加速の差を決定することに基づいて、メディアガイドアプリケーションは、加速の差を閾値加速と比較する。例えば、加速の差が1m/秒であり、閾値加速が0.25m/秒である場合、メディアガイドアプリケーションは、1m/秒を0.25m/秒と比較し得る。
いくつかの実施形態では、加速の差を閾値加速と比較することに基づいて、メディアガイドアプリケーションは、加速の差が閾値加速を上回ることを決定する。例えば、加速の差が1m/秒であり、閾値加速が0.25m/秒である場合、メディアガイドアプリケーションは、1m/秒が0.25m/秒を上回ることを決定し得る。
いくつかの実施形態では、加速の差が閾値加速を上回ることを決定することに基づいて、メディアガイドアプリケーションは、第1の入力の一部を第2の入力の一部と置換することによって、第1の入力に基づいて訂正された入力を生成する。例えば、第1の入力が「ボストンについての番組を見せて」であり、第2の入力が「オースティン」である場合、メディアガイドアプリケーションは、「ボストン」を「オースティン」と置換し、「オースティンについての番組を見せて」という訂正された入力を生成し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、検索結果をブラウズすることに関連付けられたいかなる入力も、第1の時間と第2の時間との間にユーザ入力デバイスを介して受信されなかったことを決定することにさらに基づいて、訂正された入力を生成する。例えば、第1の入力が「ボストンについての番組を見せて」であり、第2の入力が「オースティン」である場合、メディアガイドアプリケーションは、「ボストン」を「オースティン」と置換し、加速の差が閾値加速を上回ること、または検索結果をブラウズすることに関連付けられたいかなる入力も受信されないことに基づいて、「オースティンについての番組を見せて」という訂正された入力を生成し得る。いくつかの実施形態では、検索結果をブラウズすることに関連付けられたいかなる入力も、第1の時間と第2の時間との間にユーザ入力デバイスを介して受信されなかったことを決定することは、検索結果をスクロールする、検索結果の説明を読む、検索結果を開く、または検索結果を再生するためのいかなる入力も、第1の時間と第2の時間との間にユーザ入力デバイスを介して受信されなかったことを決定することを含む。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の時間と第2の時間との間に、ユーザの顔の画像を捕捉する。例えば、ユーザ入力デバイスが携帯電話である場合、携帯電話は、そのカメラを使用して、ユーザの顔の画像を捕捉し得る。例えば、ユーザは、テレビ上でメディアアセットを視聴していることもあり、テレビは、統合型カメラを有し、カメラを使用してユーザの顔の画像を捕捉し得る。例えば、ユーザは、コンピュータ上でメディアアセットを視聴していることもあり、コンピュータは、統合型カメラを有し、カメラを使用してユーザの顔の画像を捕捉し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、画像内のユーザの顔が不満な感情に関連付けられていることを決定することにさらに基づいて、訂正された入力を生成する。例えば、画像内のユーザの顔が不満な感情に関連付けられていることを決定
するために、メディアガイドアプリケーションは、顔認識技法を使用してユーザの顔の画像を分析し、怒りおよび悲しみ等の表情を検出し得る。例えば、第1の入力が「ボストンについての番組を見せて」であり、第2の入力が「オースティン」である場合、メディアガイドアプリケーションは、「ボストン」を「オースティン」と置換し、加速の差が閾値加速を上回ること、および画像内のユーザの顔が不満な感情に関連付けられていることに基づいて、「オースティンについての番組を見せて」という訂正された入力を生成し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の発話が受信されている間にユーザの顔の第1の画像を捕捉し、第1の画像内のユーザの顔の第1の相対サイズを決定する。いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第2の発話が受信されている間に、ユーザの顔の第2の画像を捕捉し、第2の画像内のユーザの顔の第2の相対サイズを決定する。例えば、ユーザ入力デバイスが携帯電話である場合、携帯電話は、そのカメラを使用して、ユーザの顔の画像を捕捉し得る。例えば、ユーザは、テレビ上でメディアアセットを視聴していることもあり、テレビは、統合型カメラを有し、カメラを使用してユーザの顔の画像を捕捉し得る。例えば、ユーザは、コンピュータ上でメディアアセットを視聴していることもあり、コンピュータは、統合型カメラを有し、カメラを使用してユーザの顔の画像を捕捉し得る。例えば、メディアガイドアプリケーションは、画像内のユーザの顔によって占有されるピクセルの数を数えることによって、画像内のユーザの顔の相対サイズを計算し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザの顔の第1の相対サイズとユーザの顔の第2の相対サイズとの間の相対サイズ差を閾値相対サイズと比較する。例えば、第1の相対サイズが3メガピクセルであり、第2の相対サイズが4メガピクセルである場合、メディアガイドアプリケーションは、相対サイズ差を1メガピクセルであると算出し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザの顔の第1の相対サイズとユーザの顔の第2の相対サイズとの間の相対サイズ差を閾値相対サイズと比較することに基づいて、相対サイズ差が閾値相対サイズを上回ることを決定する。例えば、相対サイズ差が1メガピクセルであり、閾値相対サイズが0.5メガピクセルである場合、メディアガイドアプリケーションは、1メガピクセルが0.5メガピクセルを上回ることを決定し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、相対サイズ差が閾値相対サイズを上回ることを決定することにさらに基づいて、訂正された入力を生成する。例えば、第1の入力が「ボストンについての番組を見せて」であり、第2の入力が「オースティン」である場合、メディアガイドアプリケーションは、「ボストン」を「オースティン」と置換し、加速の差が閾値加速を上回ること、および相対サイズ差が閾値相対サイズを上回ることに基づいて、「オースティンについての番組を見せて」という訂正された入力を生成し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、基準環境雑音レベルを測定する。例えば、基準環境雑音レベルを測定するために、ユーザ入力デバイスは、ユーザがいかなる入力も話していないときに、基準オーディオ録音を捕捉し得る。例えば、メディアガイドアプリケーションは、基準オーディオ録音の中の平均出力として基準環境雑音レベルを測定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の発話が受信されている間の環境雑音レベルを測定する。例えば、第1の発話が受信されている間の環境雑音レ
ベルを測定するために、ユーザ入力デバイスは、第1の発話が受信されているときに、オーディオ録音を捕捉し、オーディオ録音の中の音声を除外し、本オーディオ録音の中の残留信号の平均出力を測定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、第1の発話が受信されている間の環境雑音レベルと基準環境雑音レベルとの間の環境雑音レベル差を閾値環境雑音レベルと比較する。例えば、環境雑音レベル差が0.1mWであり、閾値環境雑音レベルが0.01mWである場合、メディアガイドアプリケーションは、0.1mWを0.01mWと比較し得る。いくつかの実施形態では、第1の発話が受信されている間の環境雑音レベルと基準環境雑音レベルとの間の環境雑音レベル差を閾値環境雑音レベルと比較することに基づいて、メディアガイドアプリケーションは、環境雑音レベル差が閾値環境雑音レベルを上回ることを決定する。例えば、環境雑音レベル差が0.1mWであり、閾値環境雑音レベルが0.01mWである場合、メディアガイドアプリケーションは、0.1mWが0.01mWを上回ることを決定し得る。いくつかの実施形態では、メディアガイドは、環境雑音レベル差が閾値環境雑音レベルを上回ることを決定することにさらに基づいて、訂正された入力を生成する。例えば、第1の入力が「ボストンについての番組を見せて」であり、第2の入力が「オースティン」である場合、メディアガイドアプリケーションは、「ボストン」を「オースティン」と置換し、加速の差が閾値加速を上回ること、および環境雑音レベル差が閾値環境雑音レベルを上回ることに基づいて、「オースティンについての番組を見せて」という訂正された入力を生成し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の時間に続く最も早い発音が起こった時間を測定することによって、第2の時間を決定する。例えば、メディアガイドアプリケーションが午前10:00:00に検索結果を表示のために生成し、ユーザからの次の発音が「オースティン」であった場合、メディアガイドアプリケーションは、「オースティン」の中の最初の「Au(オー)」という音が午前10:00:00に起こったことを測定し、午前10:00:00を第2の時間と見なし得る。
いくつかの実施形態では、メディアガイドアプリケーションは、表示画面のピクセルに伝送される信号が第1の時間に続いて最初に変化する時間を検出することによって、第1の時間を決定する。例えば、表示画面のピクセルに伝送される信号は、表示画面を変化させ、例えば、新しい項目を表示させ得る。例えば、検索結果が読み出され、表示画面上に表示される準備ができると、表示画面のピクセルに伝送される信号は、検索結果を表示するために変化し得る。表示画面のピクセルに伝送される信号が変化するときに、第1の発話が受信された後の初期時間は、表示されている検索結果を表し得る。したがって、表示画面のピクセルに伝送される信号が変化するときに、第1の発話が受信された後の初期時間は、第1の時間と見なされることができる。
いくつかの実施形態では、ユーザ入力デバイスは、加速度計を含む、携帯電話である。例えば、携帯電話は、スマートフォンであり得る。いくつかの実施形態では、ユーザ入力デバイスは、タブレットである。
いくつかの実施形態では、第2の加速を測定することは、第1の時間と第2の時間との間のユーザ入力デバイスの最大加速を測定することを含む。例えば、ユーザ入力デバイスの加速が、第1の時間と第2の時間との間に0m/秒から最大で0.75m/秒まで上昇する場合、第2の加速は、0.75m/秒であり得る。
従来のシステムは、後続の発話に基づいて、後続の発話の中の「そうではなくて」または「言おうとしたのは~」等の語句を検出することによって、自動発話認識によって生成される入力を訂正し得る。これらの語句は、ユーザが後続の発話で入力を訂正することを
意図するという明示的指示としての役割を果たすことができる。そのような語句がない場合、新しい検索を開始すること、または前の検索から結果をフィルタ処理することとは対照的に、ユーザが後続の発話で入力を訂正することを意図するかどうかを決定することは、困難であり得る。説明されるシステムおよび方法は、「そうではなくて」または「言おうとしたのは~」等の語句以外に、他の指示を使用し、ユーザが後続の発話で入力を訂正することを意図するかどうかを決定する。例えば、結果の提示と後続の発話との間の時間差、および結果の提示と後続の発話との間のユーザ入力デバイスの加速の差は、ユーザが後続の発話で入力を訂正することを意図するかどうかを決定するために使用されることができる。
上記で説明されるシステムおよび/または方法は、本開示に説明される他のシステム、方法、および/または装置に適用される、もしくはそれに従って使用され得ることに留意されたい。
本願明細書は、例えば、以下の項目も提供する。
(項目1)
ユーザが発話を用いて入力を訂正することを意図したという明示的指示が前記発話の中にない場合、前記発話に基づいて、前記入力を訂正する方法であって、前記入力は、自動発話認識を使用して生成されており、前記方法は、
第1の発話を受信することと、
自動発話認識を使用して、前記第1の発話に基づいて第1の入力を生成することと、
前記第1の入力に基づく検索結果を表示のために生成することと、
第2の発話を受信することと、
前記検索結果が表示されたときと前記第2の発話が受信されたときとの間の時間差が閾値時間未満であるかどうかを決定することと、
前記検索結果が表示されたときと前記第2の発話が受信されたときとの間の前記時間差が前記閾値時間未満であることを決定することに基づいて、前記第2の発話に基づいて前
記第1の入力を訂正することと
を含む、方法。
(項目2)
ユーザが発話を用いて入力を訂正することを意図したという明示的指示が前記発話の中にない場合、前記発話に基づいて、前記入力を訂正する方法であって、前記入力は、自動発話認識を使用して生成されており、前記方法は、
ユーザ入力デバイスを介して、第1の発話を受信することと、
制御回路および自動発話認識を使用して、前記第1の発話に基づいて第1の入力を決定することと、
データベースから、前記第1の入力に基づく検索結果を読み出すことと、
前記制御回路を使用して、前記検索結果を表示のために生成することと、
前記制御回路を使用して、前記検索結果が表示のために生成された第1の時間を決定することと、
前記ユーザ入力デバイスを介して、前記第1の発話を受信することに続いて、第2の発話を受信することと、
前記制御回路および自動発話認識を使用して、前記第2の発話に基づいて第2の入力を決定することと、
前記制御回路を使用して、前記第2の発話が受信された第2の時間を決定することと、
前記制御回路を使用して、前記第2の時間と前記第1の時間との間の時間差を閾値時間と比較することと、
前記第2の時間と前記第1の時間との間の前記時間差を前記閾値時間と比較することに基づいて、前記制御回路を使用して、前記第2の時間と前記第1の時間との間の前記時間差が前記閾値時間未満であることを決定することと、
前記第2の時間と前記第1の時間との間の前記時間差が前記閾値時間未満であることを決定することに基づいて、前記制御回路を使用して、前記第1の入力の一部を前記第2の入力の一部と置換することによって、訂正された入力を前記第1の入力に基づいて生成することと
を含む、方法。
(項目3)
前記訂正された入力を生成することは、前記制御回路を使用して、検索結果をブラウズすることに関連付けられたいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定することにさらに基づく、項目2に記載の方法。
(項目4)
検索結果をブラウズすることに関連付けられたいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定することは、前記検索結果をスクロールすること、前記検索結果の説明を読むこと、前記検索結果を開くこと、または前記検索結果を再生することを行うためのいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定することを含む、項目3に記載の方法。
(項目5)
前記ユーザ入力デバイスを介して、前記第1の時間と前記第2の時間との間にユーザの顔の画像を捕捉することをさらに含み、
前記訂正された入力を生成することは、前記制御回路を使用して、前記画像内の前記ユーザの顔が不満な感情に関連付けられていることを決定することにさらに基づく、項目2に記載の方法。
(項目6)
前記ユーザ入力デバイスを介して、前記第1の発話が受信されている間にユーザの顔の第1の画像を捕捉することと、
前記制御回路を使用して、前記第1の画像内の前記ユーザの顔の第1の相対サイズを決
定することと、
前記ユーザ入力デバイスを介して、前記第2の発話が受信されている間に前記ユーザの顔の第2の画像を捕捉することと、
前記制御回路を使用して、前記第2の画像内の前記ユーザの顔の第2の相対サイズを決定することと、
前記制御回路を使用して、前記ユーザの顔の前記第1の相対サイズと前記ユーザの顔の前記第2の相対サイズとの間の相対サイズ差を閾値相対サイズと比較することと、
前記ユーザの顔の前記第1の相対サイズと前記ユーザの顔の前記第2の相対サイズとの間の前記相対サイズ差を前記閾値相対サイズと比較することに基づいて、前記制御回路を使用して、前記相対サイズ差が前記閾値相対サイズを上回ることを決定することと
をさらに含み、
前記訂正された入力を生成することは、前記制御回路を使用して、前記相対サイズ差が前記閾値相対サイズを上回ることを決定することにさらに基づく、項目2に記載の方法。(項目7)
前記制御回路を使用して、前記第2の時間と前記第1の時間との間の前記時間差を他の閾値時間と比較することと、
前記第2の時間と前記第1の時間との間の前記時間差を前記他の閾値時間と比較することに基づいて、前記制御回路を使用して、前記第2の時間と前記第1の時間との間の前記時間差が前記他の閾値時間を上回ることを決定することと、
をさらに含み、
前記訂正された入力を生成することは、前記制御回路を使用して、前記第2の時間と前記第1の時間との間の前記時間差が前記他の閾値時間を上回ることを決定することにさらに基づく、項目2に記載の方法。
(項目8)
ユーザに関連付けられた複数の入力間の平均時間に基づいて、前記閾値時間を調節することをさらに含む、項目2に記載の方法。
(項目9)
前記ユーザ入力デバイスを介して、基準環境雑音レベルを測定することと、
前記ユーザ入力デバイスを介して、前記第1の発話が受信されている間の環境雑音レベルを測定することと、
前記制御回路を使用して、前記第1の発話が受信されている間の前記環境雑音レベルと前記基準環境雑音レベルとの間の環境雑音レベル差を閾値環境雑音レベルと比較することと、
前記第1の発話が受信されている間の前記環境雑音レベルと前記基準環境雑音レベルとの間の前記環境雑音レベル差を前記閾値環境雑音レベルと比較することに基づいて、前記制御回路を使用して、前記環境雑音レベル差が前記閾値環境雑音レベルを上回ることを決定することと
をさらに含み、
前記訂正された入力を生成することは、前記制御回路を使用して、前記環境雑音レベル差が前記閾値環境雑音レベルを上回ることを決定することにさらに基づく、項目2に記載の方法。
(項目10)
前記第2の発話が受信されたときの前記第2の時間を決定することは、前記ユーザ入力デバイスを介して、前記第1の時間に続く最も早い発音が受信された時間を測定することを含む、項目2に記載の方法。
(項目11)
前記検索結果が表示のために生成された前記第1の時間を決定することは、前記制御回路を使用して、表示画面のピクセルに伝送される信号が前記第1の時間に続いて最初に変化した時間を検出することを含む、項目2に記載の方法。
(項目12)
ユーザが発話を用いて入力を訂正することを意図したという明示的指示が前記発話の中にない場合、前記発話に基づいて、前記入力を訂正するためのシステムであって、前記入力は、自動発話認識を使用して生成されており、前記システムは、
データベースを記憶しているメモリと、
制御回路と通信しているユーザ入力デバイスと
を備え、
前記制御回路は、
前記ユーザ入力デバイスを介して、第1の発話を受信することと、
自動発話認識を使用して、前記第1の発話に基づいて第1の入力を決定することと、
前記データベースから、前記第1の入力に基づく検索結果を読み出すことと、
前記検索結果を表示のために生成することと、
前記検索結果が表示のために生成された第1の時間を決定することと、
前記ユーザ入力デバイスを介して、前記第1の発話を受信することに続いて、第2の発話を受信することと、
自動発話認識を使用して、前記第2の発話に基づいて第2の入力を決定することと、
前記第2の発話が受信された第2の時間を決定することと、
前記第2の時間と前記第1の時間との間の時間差を閾値時間と比較することと、
前記第2の時間と前記第1の時間との間の前記時間差を前記閾値時間と比較することに基づいて、前記第2の時間と前記第1の時間との間の前記時間差が前記閾値時間未満であることを決定することと、
前記第2の時間と前記第1の時間との間の前記時間差が前記閾値時間未満であることを決定することに基づいて、前記第1の入力の一部を前記第2の入力の一部と置換することによって、訂正された入力を前記第1の入力に基づいて生成することと
を行うように構成されている、システム。
(項目13)
前記制御回路は、検索結果をブラウズすることに関連付けられたいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定することにさらに基づいて、前記訂正された入力を生成するように構成されている、項目12に記載のシステム。
(項目14)
前記制御回路は、検索結果をブラウズすることに関連付けられたいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定する場合、前記検索結果をスクロールすること、前記検索結果の説明を読むこと、前記検索結果を開くこと、または前記検索結果を再生することを行うためのいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定するように構成されている、項目13に記載のシステム。
(項目15)
前記制御回路は、前記ユーザ入力デバイスを介して、前記第1の時間と前記第2の時間との間にユーザの顔の画像を捕捉するようにさらに構成され、
前記制御回路は、前記画像内の前記ユーザの顔が不満な感情に関連付けられていることを決定することにさらに基づいて、前記訂正された入力を生成するように構成されている、項目12に記載のシステム。
(項目16)
前記制御回路は、
前記ユーザ入力デバイスを介して、前記第1の発話が受信されている間にユーザの顔の第1の画像を捕捉することと、
前記第1の画像内の前記ユーザの顔の第1の相対サイズを決定することと、
前記ユーザ入力デバイスを介して、前記第2の発話が受信されている間に前記ユーザの顔の第2の画像を捕捉することと、
前記第2の画像内の前記ユーザの顔の第2の相対サイズを決定することと、
前記ユーザの顔の前記第1の相対サイズと前記ユーザの顔の前記第2の相対サイズとの間の相対サイズ差を閾値相対サイズと比較することと、
前記ユーザの顔の前記第1の相対サイズと前記ユーザの顔の前記第2の相対サイズとの間の前記相対サイズ差を前記閾値相対サイズと比較することに基づいて、前記相対サイズ差が前記閾値相対サイズを上回ることを決定することと
を行うようにさらに構成され、
前記制御回路は、前記相対サイズ差が前記閾値相対サイズを上回ることを決定することにさらに基づいて、前記訂正された入力を生成するように構成されている、項目12に記載のシステム。
(項目17)
前記制御回路は、
前記第2の時間と前記第1の時間との間の前記時間差を他の閾値時間と比較することと、
前記第2の時間と前記第1の時間との間の前記時間差を前記他の閾値時間と比較することに基づいて、前記第2の時間と前記第1の時間との間の前記時間差が前記他の閾値時間を上回ることを決定することと
を行うようにさらに構成され、
前記制御回路は、前記第2の時間と前記第1の時間との間の前記時間差が前記他の閾値時間を上回ることを決定することにさらに基づいて、前記訂正された入力を生成するように構成されている、項目12に記載のシステム。
(項目18)
前記制御回路は、ユーザに関連付けられた複数の入力間の平均時間に基づいて、前記閾値時間を調節するようにさらに構成されている、項目12に記載のシステム。
(項目19)
前記制御回路は、
前記ユーザ入力デバイスを介して、基準環境雑音レベルを測定することと、
前記ユーザ入力デバイスを介して、前記第1の発話が受信されている間の環境雑音レベルを測定することと、
前記第1の発話が受信されている間の前記環境雑音レベルと前記基準環境雑音レベルとの間の環境雑音レベル差を閾値環境雑音レベルと比較することと、
前記第1の発話が受信されている間の前記環境雑音レベルと前記基準環境雑音レベルとの間の前記環境雑音レベル差を前記閾値環境雑音レベルと比較することに基づいて、前記環境雑音レベル差が前記閾値環境雑音レベルを上回ることを決定することと
を行うようにさらに構成され、
前記制御回路は、前記環境雑音レベル差が前記閾値環境雑音レベルを上回ることを決定することにさらに基づいて、前記訂正された入力を生成するように構成されている、項目12に記載のシステム。
(項目20)
前記制御回路は、前記第2の発話が受信されたときの前記第2の時間を決定する場合、前記ユーザ入力デバイスを介して、前記第1の時間に続く最も早い発音が受信された時間を測定するように構成されている、項目12に記載のシステム。
(項目21)
前記制御回路は、前記検索結果が表示のために生成された前記第1の時間を決定する場合、表示画面のピクセルに伝送される信号が前記第1の時間に続いて最初に変化した時間を検出するように構成されている、項目12に記載のシステム。
(項目22)
ユーザが発話を用いて入力を訂正することを意図したという明示的指示が前記発話の中にない場合、前記発話に基づいて、前記入力を訂正する方法であって、前記入力は、自動発話認識を使用して生成されており、前記方法は、
ユーザ入力デバイスを介して、第1の発話を受信することと、
制御回路および自動発話認識を使用して、前記第1の発話に基づいて第1の入力を決定することと、
データベースから、前記制御回路を使用して、前記第1の入力に基づく検索結果を読み出すことと、
前記制御回路を使用して、前記検索結果を表示のために生成することと、
前記制御回路を使用して、前記検索結果が表示のために生成された第1の時間を決定することと、
前記ユーザ入力デバイスを介して、前記第1の発話を受信することに続いて、第2の発話を受信することと、
前記制御回路および自動発話認識を使用して、前記第2の発話に基づいて第2の入力を決定することと、
前記制御回路を使用して、前記第2の発話が受信された第2の時間を決定することと、
前記制御回路を使用して、前記第2の時間と前記第1の時間との間の時間差を閾値時間と比較することと、
前記第2の時間と前記第1の時間との間の前記時間差を前記閾値時間と比較することに基づいて、前記制御回路を使用して、前記第2の時間と前記第1の時間との間の前記時間差が前記閾値時間未満であることを決定することと、
前記第2の時間と前記第1の時間との間の前記時間差が前記閾値時間未満であることを決定することに基づいて、前記制御回路を使用して、前記第1の入力の一部を前記第2の入力の一部と置換することによって、訂正された入力を前記第1の入力に基づいて生成することと
を含む、方法。
(項目23)
前記訂正された入力を生成することは、前記制御回路を使用して、検索結果をブラウズすることに関連付けられたいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定することにさらに基づく、項目22に記載の方法。
(項目24)
検索結果をブラウズすることに関連付けられたいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定することは、前記検索結果をスクロールすること、前記検索結果の説明を読むこと、前記検索結果を開くこと、または前記検索結果を再生することを行うためのいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定することを含む、項目23に記載の方法。
(項目25)
前記ユーザ入力デバイスを介して、前記第1の時間と前記第2の時間との間にユーザの顔の画像を捕捉することをさらに含み、
前記訂正された入力を生成することは、前記制御回路を使用して、前記画像内の前記ユーザの顔が不満な感情に関連付けられていることを決定することにさらに基づく、項目22-24のいずれかに記載の方法。
(項目26)
前記ユーザ入力デバイスを介して、前記第1の発話が受信されている間にユーザの顔の第1の画像を捕捉することと、
前記制御回路を使用して、前記第1の画像内の前記ユーザの顔の第1の相対サイズを決定することと、
前記ユーザ入力デバイスを介して、前記第2の発話が受信されている間に前記ユーザの顔の第2の画像を捕捉することと、
前記制御回路を使用して、前記第2の画像内の前記ユーザの顔の第2の相対サイズを決定することと、
前記制御回路を使用して、前記ユーザの顔の前記第1の相対サイズと前記ユーザの顔の
前記第2の相対サイズとの間の相対サイズ差を閾値相対サイズと比較することと、
前記ユーザの顔の前記第1の相対サイズと前記ユーザの顔の前記第2の相対サイズとの間の前記相対サイズ差を前記閾値相対サイズと比較することに基づいて、前記制御回路を使用して、前記相対サイズ差が前記閾値相対サイズを上回ることを決定することと
をさらに含み、
前記訂正された入力を生成することは、前記制御回路を使用して、前記相対サイズ差が前記閾値相対サイズを上回ることを決定することにさらに基づく、項目22-25のいずれかに記載の方法。
(項目27)
前記制御回路を使用して、前記第2の時間と前記第1の時間との間の前記時間差を他の閾値時間と比較することと、
前記第2の時間と前記第1の時間との間の前記時間差を前記他の閾値時間と比較することに基づいて、前記制御回路を使用して、前記第2の時間と前記第1の時間との間の前記時間差が前記他の閾値時間を上回ることを決定することと
をさらに含み、前記訂正された入力を生成することは、前記制御回路を使用して、前記第2の時間と前記第1の時間との間の前記時間差が前記他の閾値時間を上回ることを決定することにさらに基づく、項目22-26のいずれかに記載の方法。
(項目28)
ユーザに関連付けられた複数の入力間の平均時間に基づいて、前記閾値時間を調節することをさらに含む、項目22-27のいずれかに記載の方法。
(項目29)
前記ユーザ入力デバイスを介して、基準環境雑音レベルを測定することと、
前記ユーザ入力デバイスを介して、前記第1の発話が受信されている間の環境雑音レベルを測定することと、
前記制御回路を使用して、前記第1の発話が受信されている間の前記環境雑音レベルと前記基準環境雑音レベルとの間の環境雑音レベル差を閾値環境雑音レベルと比較することと、
前記第1の発話が受信されている間の前記環境雑音レベルと前記基準環境雑音レベルとの間の前記環境雑音レベル差を前記閾値環境雑音レベルと比較することに基づいて、前記制御回路を使用して、前記環境雑音レベル差が前記閾値環境雑音レベルを上回ることを決定することと
をさらに含み、
前記訂正された入力を生成することは、前記制御回路を使用して、前記環境雑音レベル差が前記閾値環境雑音レベルを上回ることを決定することにさらに基づく、項目22-28のいずれかに記載の方法。
(項目30)
前記第2の発話が受信されたときの前記第2の時間を決定することは、前記ユーザ入力デバイスを介して、前記第1の時間に続く最も早い発音が受信された時間を測定することを含む、項目22-29のいずれかに記載の方法。
(項目31)
前記検索結果が表示のために生成された前記第1の時間を決定することは、前記制御回路を使用して、表示画面のピクセルに伝送される信号が前記第1の時間に続いて最初に変化した時間を検出することを含む、項目22-30のいずれかに記載の方法。
(項目32)
ユーザが発話を用いて入力を訂正することを意図したという明示的指示が前記発話の中にない場合、前記発話に基づいて、入力を訂正するための装置であって、前記入力は、自動発話認識を使用して生成されており、前記装置は、
ユーザ入力デバイスを介して、第1の発話を受信する手段と、
制御回路および自動発話認識を使用して、前記第1の発話に基づいて第1の入力を決定する手段と、
データベースから、前記第1の入力に基づく検索結果を読み出す手段と、
前記制御回路を使用して、前記検索結果を表示のために生成する手段と、
前記制御回路を使用して、前記検索結果が表示のために生成された第1の時間を決定する手段と、
前記ユーザ入力デバイスを介して、前記第1の発話を受信することに続いて、第2の発話を受信する手段と、
前記制御回路および自動発話認識を使用して、前記第2の発話に基づいて第2の入力を決定する手段と、
前記制御回路を使用して、前記第2の発話が受信された第2の時間を決定する手段と、
前記制御回路を使用して、前記第2の時間と前記第1の時間との間の時間差を閾値時間と比較する手段と、
前記第2の時間と前記第1の時間との間の前記時間差を前記閾値時間と比較することに基づいて、前記制御回路を使用して、前記第2の時間と前記第1の時間との間の前記時間差が前記閾値時間未満であることを決定する手段と、
前記第2の時間と前記第1の時間との間の前記時間差が前記閾値時間未満であることを決定することに基づいて、前記制御回路を使用して、前記第1の入力の一部を前記第2の入力の一部と置換することによって、訂正された入力を前記第1の入力に基づいて生成する手段と
を備えている、装置。
(項目33)
前記訂正された入力を生成する前記手段は、前記制御回路を使用して、検索結果をブラウズすることに関連付けられたいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定することにさらに基づいて、前記訂正された入力を生成する手段を備えている、項目32に記載の装置。
(項目34)
検索結果をブラウズすることに関連付けられたいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定する前記手段は、前記検索結果をスクロールすること、前記検索結果の説明を読むこと、前記検索結果を開くこと、または前記検索結果を再生することを行うためのいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定する手段を備えている、項目33に記載の装置。
(項目35)
前記ユーザ入力デバイスを介して、前記第1の時間と前記第2の時間との間にユーザの顔の画像を捕捉する手段をさらに備え、
前記訂正された入力を生成する前記手段は、前記制御回路を使用して、前記画像内の前記ユーザの顔が不満な感情に関連付けられていることを決定することにさらに基づいて、前記訂正された入力を生成する手段を備えている、項目32に記載の装置。
(項目36)
前記ユーザ入力デバイスを介して、前記第1の発話が受信されている間にユーザの顔の第1の画像を捕捉する手段と、
前記制御回路を使用して、前記第1の画像内の前記ユーザの顔の第1の相対サイズを決定する手段と、
前記ユーザ入力デバイスを介して、前記第2の発話が受信されている間に前記ユーザの顔の第2の画像を捕捉する手段と、
前記制御回路を使用して、前記第2の画像内の前記ユーザの顔の第2の相対サイズを決定する手段と、
前記制御回路を使用して、前記ユーザの顔の前記第1の相対サイズと前記ユーザの顔の前記第2の相対サイズとの間の相対サイズ差を閾値相対サイズと比較する手段と、
前記ユーザの顔の前記第1の相対サイズと前記ユーザの顔の前記第2の相対サイズとの間の前記相対サイズ差を前記閾値相対サイズと比較することに基づいて、前記制御回路を
使用して、前記相対サイズ差が前記閾値相対サイズを上回ることを決定する手段と
をさらに備え、
前記訂正された入力を生成する前記手段は、前記制御回路を使用して、前記相対サイズ差が前記閾値相対サイズを上回ることを決定することにさらに基づいて、前記訂正された入力を生成する手段を備えている、項目32に記載の装置。
(項目37)
前記制御回路を使用して、前記第2の時間と前記第1の時間との間の前記時間差を他の閾値時間と比較する手段と、
前記第2の時間と前記第1の時間との間の前記時間差を前記他の閾値時間と比較することに基づいて、前記制御回路を使用して、前記第2の時間と前記第1の時間との間の前記時間差が前記他の閾値時間を上回ることを決定する手段と
をさらに備え、
前記訂正された入力を生成する前記手段は、前記制御回路を使用して、前記第2の時間と前記第1の時間との間の前記時間差が前記他の閾値時間を上回ることを決定することにさらに基づいて、前記訂正された入力を生成する手段を備えている、項目32に記載の装置。
(項目38)
ユーザに関連付けられた複数の入力間の平均時間に基づいて、前記閾値時間を調節する手段をさらに備えている、項目32に記載の装置。
(項目39)
前記ユーザ入力デバイスを介して、基準環境雑音レベルを測定する手段と、
前記ユーザ入力デバイスを介して、前記第1の発話が受信されている間の環境雑音レベルを測定する手段と、
前記制御回路を使用して、前記第1の発話が受信されている間の前記環境雑音レベルと前記基準環境雑音レベルとの間の環境雑音レベル差を閾値環境雑音レベルと比較する手段と、
前記第1の発話が受信されている間の前記環境雑音レベルと前記基準環境雑音レベルとの間の前記環境雑音レベル差を前記閾値環境雑音レベルと比較することに基づいて、前記制御回路を使用して、前記環境雑音レベル差が前記閾値環境雑音レベルを上回ることを決定する手段と
をさらに備え、
前記訂正された入力を生成する前記手段は、前記制御回路を使用して、前記環境雑音レベル差が前記閾値環境雑音レベルを上回ることを決定することにさらに基づいて、前記訂正された入力を生成する手段を備えている、項目32に記載の装置。
(項目40)
前記第2の発話が受信されたときの前記第2の時間を決定する前記手段は、前記ユーザ入力デバイスを介して、前記第1の時間に続く最も早い発音が受信された時間を測定する手段を備えている、項目32に記載の装置。
(項目41)
前記検索結果が表示のために生成された前記第1の時間を決定する前記手段は、前記制御回路を使用して、表示画面のピクセルに伝送される信号が前記第1の時間に続いて最初に変化した時間を検出する手段を備えている、項目32に記載の装置。
(項目42)
エンコードされた命令を有するメモリを備えている非一過性の機械読み取り可能な媒体であって、前記命令は、ユーザが発話を用いて入力を訂正することを意図したという明示的指示が前記発話の中にない場合、前記発話に基づいて、前記入力を訂正するためのものであり、前記入力は、自動発話認識を使用して生成されており、前記非一過性の機械読み取り可能な媒体は、
ユーザ入力デバイスを介して、第1の発話を受信するための命令と、
制御回路および自動発話認識を使用して、前記第1の発話に基づいて第1の入力を決定
するための命令と、
データベースから、前記第1の入力に基づく検索結果を読み出すための命令と、
前記制御回路を使用して、前記検索結果を表示のために生成するための命令と、
前記制御回路を使用して、前記検索結果が表示のために生成された第1の時間を決定するための命令と、
前記ユーザ入力デバイスを介して、前記第1の発話を受信することに続いて、第2の発話を受信するための命令と、
前記制御回路および自動発話認識を使用して、前記第2の発話に基づいて第2の入力を決定するための命令と、
前記制御回路を使用して、前記第2の発話が受信された第2の時間を決定するための命令と、
前記制御回路を使用して、前記第2の時間と前記第1の時間との間の時間差を閾値時間と比較するための命令と、
前記第2の時間と前記第1の時間との間の前記時間差を前記閾値時間と比較することに基づいて、前記制御回路を使用して、前記第2の時間と前記第1の時間との間の前記時間差が前記閾値時間未満であることを決定するための命令と、
前記第2の時間と前記第1の時間との間の前記時間差が前記閾値時間未満であることを決定することに基づいて、前記制御回路を使用して、前記第1の入力の一部を前記第2の入力の一部と置換することによって、訂正された入力を前記第1の入力に基づいて生成するための命令と
を備えている、非一過性の機械読み取り可能な媒体。
(項目43)
前記訂正された入力を生成するための前記命令は、前記制御回路を使用して、検索結果をブラウズすることに関連付けられたいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定することにさらに基づいて、前記訂正された入力を生成するための命令を備えている、項目42に記載の非一過性の機械読み取り可能な媒体。
(項目44)
検索結果をブラウズすることに関連付けられたいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定するための前記命令は、前記検索結果をスクロールすること、前記検索結果の説明を読むこと、前記検索結果を開くこと、または前記検索結果を再生することを行うためのいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定するための命令を備えている、項目43に記載の非一過性の機械読み取り可能な媒体。
(項目45)
前記ユーザ入力デバイスを介して、前記第1の時間と前記第2の時間との間にユーザの顔の画像を捕捉するための命令をさらに備え、
前記訂正された入力を生成するための前記命令は、前記制御回路を使用して、前記画像内の前記ユーザの顔が不満な感情に関連付けられていることを決定することにさらに基づいて、前記訂正された入力を生成するための命令を備えている、項目42に記載の非一過性の機械読み取り可能な媒体。
(項目46)
前記ユーザ入力デバイスを介して、前記第1の発話が受信されている間にユーザの顔の第1の画像を捕捉するための命令と、
前記制御回路を使用して、前記第1の画像内の前記ユーザの顔の第1の相対サイズを決定するための命令と、
前記ユーザ入力デバイスを介して、前記第2の発話が受信されている間に前記ユーザの顔の第2の画像を捕捉するための命令と、
前記制御回路を使用して、前記第2の画像内の前記ユーザの顔の第2の相対サイズを決
定するための命令と、
前記制御回路を使用して、前記ユーザの顔の前記第1の相対サイズと前記ユーザの顔の前記第2の相対サイズとの間の相対サイズ差を閾値相対サイズと比較するための命令と、
前記ユーザの顔の前記第1の相対サイズと前記ユーザの顔の前記第2の相対サイズとの間の前記相対サイズ差を前記閾値相対サイズと比較することに基づいて、前記制御回路を使用して、前記相対サイズ差が前記閾値相対サイズを上回ることを決定するための命令と
をさらに備え、
前記訂正された入力を生成するための前記命令は、前記制御回路を使用して、前記相対サイズ差が前記閾値相対サイズを上回ることを決定することにさらに基づいて、前記訂正された入力を生成するための命令を備えている、項目42に記載の非一過性の機械読み取り可能な媒体。
(項目47)
前記制御回路を使用して、前記第2の時間と前記第1の時間との間の前記時間差を他の閾値時間と比較するための命令と、
前記第2の時間と前記第1の時間との間の前記時間差を前記他の閾値時間と比較することに基づいて、前記制御回路を使用して、前記第2の時間と前記第1の時間との間の前記時間差が前記他の閾値時間を上回ることを決定するための命令と
をさらに備え、
前記訂正された入力を生成するための前記命令は、前記制御回路を使用して、前記第2の時間と前記第1の時間との間の前記時間差が前記他の閾値時間を上回ることを決定することにさらに基づいて、前記訂正された入力を生成するための命令を備えている、項目42に記載の非一過性の機械読み取り可能な媒体。
(項目48)
ユーザに関連付けられた複数の入力間の平均時間に基づいて、前記閾値時間を調節するための命令をさらに備えている、項目42に記載の非一過性の機械読み取り可能な媒体。(項目49)
前記ユーザ入力デバイスを介して、基準環境雑音レベルを測定するための命令と、
前記ユーザ入力デバイスを介して、前記第1の発話が受信されている間の環境雑音レベルを測定するための命令と、
前記制御回路を使用して、前記第1の発話が受信されている間の前記環境雑音レベルと前記基準環境雑音レベルとの間の環境雑音レベル差を閾値環境雑音レベルと比較するための命令と、
前記第1の発話が受信されている間の前記環境雑音レベルと前記基準環境雑音レベルとの間の前記環境雑音レベル差を前記閾値環境雑音レベルと比較することに基づいて、前記制御回路を使用して、前記環境雑音レベル差が前記閾値環境雑音レベルを上回ることを決定するための命令と
をさらに備え、
前記訂正された入力を生成するための前記命令は、前記制御回路を使用して、前記環境雑音レベル差が前記閾値環境雑音レベルを上回ることを決定することにさらに基づいて、前記訂正された入力を生成するための命令を備えている、項目42に記載の非一過性の機械読み取り可能な媒体。
(項目50)
前記第2の発話が受信されたときの前記第2の時間を決定するための前記命令は、前記ユーザ入力デバイスを介して、前記第1の時間に続く最も早い発音が受信された時間を測定するための命令を備えている、項目42に記載の非一過性の機械読み取り可能な媒体。(項目51)
前記検索結果が表示のために生成された前記第1の時間を決定するための前記命令は、前記制御回路を使用して、表示画面のピクセルに伝送される信号が前記第1の時間に続いて最初に変化した時間を検出するための命令を備えている、項目42に記載の非一過性の機械読み取り可能な媒体。
(項目52)
ユーザが発話を用いて入力を訂正することを意図したという明示的指示が前記発話の中にない場合、前記発話に基づいて、前記入力を訂正する方法であって、前記入力は、自動発話認識を使用して生成されており、前記方法は、
ユーザ入力デバイスを介して、第1の発話を受信することと、
自動発話認識を使用して、前記第1の発話に基づいて第1の入力を生成することと、
前記第1の入力に基づく検索結果を表示のために生成することと、
前記ユーザ入力デバイスを介して、第2の発話を受信することと、
前記検索結果が表示されたときと前記第2の発話が受信されたときとの間の前記ユーザ入力デバイスの加速の差が閾値加速を上回るかどうかを決定することと、
前記検索結果が表示されたときと前記第2の発話が受信されたときとの間の前記ユーザ入力デバイスの前記加速の差が前記閾値加速を上回ることを決定することに基づいて、前記第2の発話に基づいて前記第1の入力を訂正することと
を含む、方法。
(項目53)
ユーザが発話を用いて入力を訂正することを意図したという明示的指示が前記発話の中にない場合、前記発話に基づいて、前記入力を訂正する方法であって、前記入力は、自動発話認識を使用して生成されており、前記方法は、
ユーザ入力デバイスを介して、第1の発話を受信することと、
制御回路および自動発話認識を使用して、前記第1の発話に基づいて第1の入力を決定することと、
データベースから、前記第1の入力に基づく検索結果を読み出すことと、
前記制御回路を使用して、前記検索結果を表示のために生成することと、
前記制御回路を使用して、前記検索結果が表示のために生成された第1の時間を決定することと、
前記ユーザ入力デバイスを介して、前記第1の時間における前記ユーザ入力デバイスの第1の加速を測定することと、
前記ユーザ入力デバイスを介して、前記第1の発話を受信することに続いて、第2の発話を受信することと、
前記制御回路を使用して、前記第2の発話に基づいて第2の入力を決定することと、
前記制御回路および自動発話認識を使用して、前記第2の発話が受信された第2の時間を決定することと、
前記ユーザ入力デバイスを介して、前記第1の時間と前記第2の時間との間における前記ユーザ入力デバイスの第2の加速を測定することと、
前記制御回路を使用して、前記第2の加速と前記第1の加速との間の加速の差を決定することと、
前記第2の加速と前記第1の加速との間の前記加速の差を決定することに基づいて、前記制御回路を使用して、前記加速の差を閾値加速と比較することと、
前記加速の差を前記閾値加速と比較することに基づいて、前記制御回路を使用して、前記加速の差が前記閾値加速を上回ることを決定することと、
前記加速の差が前記閾値加速を上回ることを決定することに基づいて、前記制御回路を使用して、前記第1の入力の一部を前記第2の入力の一部と置換することによって、訂正された入力を前記第1の入力に基づいて生成することと
を含む、方法。
(項目54)
前記訂正された入力を生成することは、前記制御回路を使用して、検索結果をブラウズすることに関連付けられたいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定することにさらに基づく、項目53に記載の方法。
(項目55)
検索結果をブラウズすることに関連付けられたいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定することは、前記検索結果をスクロールすること、前記検索結果の説明を読むこと、前記検索結果を開くこと、または前記検索結果を再生することを行うためのいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定することを含む、項目54に記載の方法。
(項目56)
前記ユーザ入力デバイスを介して、前記第1の時間と前記第2の時間との間にユーザの顔の画像を捕捉することをさらに含み、
前記訂正された入力を生成することは、前記制御回路を使用して、前記画像内の前記ユーザの顔が不満な感情に関連付けられていることを決定することにさらに基づく、項目53に記載の方法。
(項目57)
前記ユーザ入力デバイスを介して、前記第1の発話が受信されている間にユーザの顔の第1の画像を捕捉することと、
前記制御回路を使用して、前記第1の画像内の前記ユーザの顔の第1の相対サイズを決定することと、
前記ユーザ入力デバイスを介して、前記第2の発話が受信されている間に前記ユーザの顔の第2の画像を捕捉することと、
前記制御回路を使用して、前記第2の画像内の前記ユーザの顔の第2の相対サイズを決定することと、
前記制御回路を使用して、前記ユーザの顔の前記第1の相対サイズと前記ユーザの顔の前記第2の相対サイズとの間の相対サイズ差を閾値相対サイズと比較することと、
前記ユーザの顔の前記第1の相対サイズと前記ユーザの顔の前記第2の相対サイズとの間の前記相対サイズ差を前記閾値相対サイズと比較することに基づいて、前記制御回路を使用して、前記相対サイズ差が前記閾値相対サイズを上回ることを決定することと
をさらに含み、
前記訂正された入力を生成することは、前記制御回路を使用して、前記相対サイズ差が前記閾値相対サイズを上回ることを決定することにさらに基づく、項目53に記載の方法。
(項目58)
前記ユーザ入力デバイスを介して、基準環境雑音レベルを測定することと、
前記ユーザ入力デバイスを介して、前記第1の発話が受信されている間の環境雑音レベルを測定することと、
前記制御回路を使用して、前記第1の発話が受信されている間の前記環境雑音レベルと前記基準環境雑音レベルとの間の環境雑音レベル差を閾値環境雑音レベルと比較することと、
前記第1の発話が受信されている間の前記環境雑音レベルと前記基準環境雑音レベルとの間の前記環境雑音レベル差を前記閾値環境雑音レベルと比較することに基づいて、前記制御回路を使用して、前記環境雑音レベル差が前記閾値環境雑音レベルを上回ることを決定することと
をさらに含み、
前記訂正された入力を生成することは、前記制御回路を使用して、前記環境雑音レベル差が前記閾値環境雑音レベルを上回ることを決定することにさらに基づく、項目53に記載の方法。
(項目59)
前記第2の発話が受信されたときの前記第2の時間を決定することは、前記ユーザ入力デバイスを介して、前記第1の時間に続く最も早い発音が受信された時間を測定することを含む、項目53に記載の方法。
(項目60)
前記検索結果が表示のために生成された前記第1の時間を決定することは、前記制御回路を使用して、表示画面のピクセルに伝送される信号が前記第1の時間に続いて最初に変化した時間を検出することを含む、項目53に記載の方法。
(項目61)
前記ユーザ入力デバイスは、加速度計を備えている携帯電話である、項目53に記載の方法。
(項目62)
前記第2の加速を測定することは、前記第1の時間と前記第2の時間との間における前記ユーザ入力デバイスの最大加速を測定することを含む、項目53に記載の方法。
(項目63)
ユーザが発話を用いて入力を訂正することを意図したという明示的指示が前記発話の中にない場合、前記発話に基づいて、前記入力を訂正するためのシステムであって、前記入力は、自動発話認識を使用して生成されており、前記システムは、
データベースを記憶しているメモリと、
制御回路と通信しているユーザ入力デバイスと
を備え、
前記制御回路は、
ユーザ入力デバイスを介して、第1の発話を受信することと、
制御回路および自動発話認識を使用して、前記第1の発話に基づいて第1の入力を決定することと、
データベースから、前記第1の入力に基づく検索結果を読み出すことと、
前記制御回路を使用して、前記検索結果を表示のために生成することと、
前記制御回路を使用して、前記検索結果が表示のために生成された第1の時間を決定することと、
前記ユーザ入力デバイスを介して、前記第1の時間における前記ユーザ入力デバイスの第1の加速を測定することと、
前記ユーザ入力デバイスを介して、前記第1の発話を受信することに続いて、第2の発話を受信することと、
前記制御回路を使用して、前記第2の発話に基づいて第2の入力を決定することと、
前記制御回路および自動発話認識を使用して、前記第2の発話が受信された第2の時間を決定することと、
前記ユーザ入力デバイスを介して、前記第1の時間と前記第2の時間との間における前記ユーザ入力デバイスの第2の加速を測定することと、
前記制御回路を使用して、前記第2の加速と前記第1の加速との間の加速の差を決定することと、
前記第2の加速と前記第1の加速との間の前記加速の差を決定することに基づいて、前記制御回路を使用して、前記加速の差を閾値加速と比較することと、
前記加速の差を前記閾値加速と比較することに基づいて、前記制御回路を使用して、前記加速の差が前記閾値加速を上回ることを決定することと、
前記加速の差が前記閾値加速を上回ることを決定することに基づいて、前記第1の入力の一部を前記第2の入力の一部と置換することによって、訂正された入力を前記第1の入力に基づいて生成することと
を行うように構成されている、システム。
(項目64)
前記制御回路は、検索結果をブラウズすることに関連付けられたいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定することにさらに基づいて、前記訂正された入力を生成するように構成されている、項目63に記載のシステム。
(項目65)
前記制御回路は、検索結果をブラウズすることに関連付けられたいかなる入力も、前記
第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定する場合、前記検索結果をスクロールすること、前記検索結果の説明を読むこと、前記検索結果を開くこと、または前記検索結果を再生することを行うためのいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定するように構成されている、項目64に記載のシステム。
(項目66)
前記制御回路は、前記ユーザ入力デバイスを介して、前記第1の時間と前記第2の時間との間にユーザの顔の画像を捕捉するようにさらに構成され、
前記制御回路は、前記画像内の前記ユーザの顔が不満な感情に関連付けられていることを決定することにさらに基づいて、前記訂正された入力を生成するように構成されている、項目63に記載のシステム。
(項目67)
前記制御回路は、
前記ユーザ入力デバイスを介して、前記第1の発話が受信されている間にユーザの顔の第1の画像を捕捉することと、
前記第1の画像内の前記ユーザの顔の第1の相対サイズを決定することと、
前記ユーザ入力デバイスを介して、前記第2の発話が受信されている間に前記ユーザの顔の第2の画像を捕捉することと、
前記第2の画像内の前記ユーザの顔の第2の相対サイズを決定することと、
前記ユーザの顔の前記第1の相対サイズと前記ユーザの顔の前記第2の相対サイズとの間の相対サイズ差を閾値相対サイズと比較することと、
前記ユーザの顔の前記第1の相対サイズと前記ユーザの顔の前記第2の相対サイズとの間の前記相対サイズ差を前記閾値相対サイズと比較することに基づいて、前記相対サイズ差が前記閾値相対サイズを上回ることを決定することと
を行うようにさらに構成され、
前記制御回路は、前記相対サイズ差が前記閾値相対サイズを上回ることを決定することにさらに基づいて、前記訂正された入力を生成するように構成されている、項目63に記載のシステム。
(項目68)
前記制御回路は、
前記ユーザ入力デバイスを介して、基準環境雑音レベルを測定することと、
前記ユーザ入力デバイスを介して、前記第1の発話が受信されている間の環境雑音レベルを測定することと、
前記第1の発話が受信されている間の前記環境雑音レベルと前記基準環境雑音レベルとの間の環境雑音レベル差を閾値環境雑音レベルと比較することと、
前記第1の発話が受信されている間の前記環境雑音レベルと前記基準環境雑音レベルとの間の前記環境雑音レベル差を前記閾値環境雑音レベルと比較することに基づいて、前記環境雑音レベル差が前記閾値環境雑音レベルを上回ることを決定することと
を行うようにさらに構成され、
前記制御回路は、前記環境雑音レベル差が前記閾値環境雑音レベルを上回ることを決定することにさらに基づいて、前記訂正された入力を生成するように構成されている、項目63に記載のシステム。
(項目69)
前記制御回路は、前記第2の発話が受信されたときの前記第2の時間を決定する場合、前記ユーザ入力デバイスを介して、前記第1の時間に続く最も早い発音が受信された時間を測定するように構成されている、項目63に記載のシステム。
(項目70)
前記制御回路は、前記検索結果が表示のために生成された前記第1の時間を決定する場合、表示画面のピクセルに伝送される信号が前記第1の時間に続いて最初に変化した時間を検出するように構成されている、項目63に記載のシステム。
(項目71)
前記ユーザ入力デバイスは、加速度計を備えている携帯電話である、項目63に記載のシステム。
(項目72)
前記制御回路は、前記第2の加速を測定する場合、前記第1の時間と前記第2の時間との間における前記ユーザ入力デバイスの最大加速を測定するように構成されている、項目63に記載のシステム。
(項目73)
ユーザが発話を用いて入力を訂正することを意図したという明示的指示が前記発話の中にない場合、前記発話に基づいて、前記入力を訂正する方法であって、前記入力は、自動発話認識を使用して生成されており、前記方法は、
ユーザ入力デバイスを介して、第1の発話を受信することと、
制御回路および自動発話認識を使用して、前記第1の発話に基づいて第1の入力を決定することと、
データベースから、前記制御回路を使用して、前記第1の入力に基づく検索結果を読み出すことと、
前記制御回路を使用して、前記検索結果を表示のために生成することと、
前記制御回路を使用して、前記検索結果が表示のために生成された第1の時間を決定することと、
前記ユーザ入力デバイスを介して、前記第1の時間における前記ユーザ入力デバイスの第1の加速を測定することと、
前記ユーザ入力デバイスを介して、前記第1の発話を受信することに続いて、第2の発話を受信することと、
前記制御回路を使用して、前記第2の発話に基づいて第2の入力を決定することと、
前記制御回路および自動発話認識を使用して、前記第2の発話が受信された第2の時間を決定することと、
前記ユーザ入力デバイスを介して、前記第1の時間と前記第2の時間との間における前記ユーザ入力デバイスの第2の加速を測定することと、
前記制御回路を使用して、前記第2の加速と前記第1の加速との間の加速の差を決定することと、
前記第2の加速と前記第1の加速との間の前記加速の差を決定することに基づいて、前記制御回路を使用して、前記加速の差を閾値加速と比較することと、
前記加速の差を前記閾値加速と比較することに基づいて、前記制御回路を使用して、前記加速の差が前記閾値加速を上回ることを決定することと、
前記加速の差が前記閾値加速を上回ることを決定することに基づいて、前記制御回路を使用して、前記第1の入力の一部を前記第2の入力の一部と置換することによって、訂正された入力を前記第1の入力に基づいて生成することと
を含む、方法。
(項目74)
前記訂正された入力を生成することは、前記制御回路を使用して、検索結果をブラウズすることに関連付けられたいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定することにさらに基づく、項目73に記載の方法。
(項目75)
検索結果をブラウズすることに関連付けられたいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定することは、前記検索結果をスクロールすること、前記検索結果の説明を読むこと、前記検索結果を開くこと、または前記検索結果を再生することを行うためのいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定することを含む、項目74に記載の方法。
(項目76)
前記ユーザ入力デバイスを介して、前記第1の時間と前記第2の時間との間にユーザの顔の画像を捕捉することをさらに含み、
前記訂正された入力を生成することは、前記制御回路を使用して、前記画像内の前記ユーザの顔が不満な感情に関連付けられていることを決定することにさらに基づく、項目73-75のいずれかに記載の方法。
(項目77)
前記ユーザ入力デバイスを介して、前記第1の発話が受信されている間にユーザの顔の第1の画像を捕捉することと、
前記制御回路を使用して、前記第1の画像内の前記ユーザの顔の第1の相対サイズを決定することと、
前記ユーザ入力デバイスを介して、前記第2の発話が受信されている間に前記ユーザの顔の第2の画像を捕捉することと、
前記制御回路を使用して、前記第2の画像内の前記ユーザの顔の第2の相対サイズを決定することと、
前記制御回路を使用して、前記ユーザの顔の前記第1の相対サイズと前記ユーザの顔の前記第2の相対サイズとの間の相対サイズ差を閾値相対サイズと比較することと、
前記ユーザの顔の前記第1の相対サイズと前記ユーザの顔の前記第2の相対サイズとの間の前記相対サイズ差を前記閾値相対サイズと比較することに基づいて、前記制御回路を使用して、前記相対サイズ差が前記閾値相対サイズを上回ることを決定することと
をさらに含み、
前記訂正された入力を生成することは、前記制御回路を使用して、前記相対サイズ差が前記閾値相対サイズを上回ることを決定することにさらに基づく、項目73-76のいずれかに記載の方法。
(項目78)
前記ユーザ入力デバイスを介して、基準環境雑音レベルを測定することと、
前記ユーザ入力デバイスを介して、前記第1の発話が受信されている間の環境雑音レベルを測定することと、
前記制御回路を使用して、前記第1の発話が受信されている間の前記環境雑音レベルと前記基準環境雑音レベルとの間の環境雑音レベル差を閾値環境雑音レベルと比較することと、
前記第1の発話が受信されている間の前記環境雑音レベルと前記基準環境雑音レベルとの間の前記環境雑音レベル差を前記閾値環境雑音レベルと比較することに基づいて、前記制御回路を使用して、前記環境雑音レベル差が前記閾値環境雑音レベルを上回ることを決定することと
をさらに含み、
前記訂正された入力を生成することは、前記制御回路を使用して、前記環境雑音レベル差が前記閾値環境雑音レベルを上回ることを決定することにさらに基づく、項目73-77のいずれかに記載の方法。
(項目79)
前記第2の発話が受信されたときの前記第2の時間を決定することは、前記ユーザ入力デバイスを介して、前記第1の時間に続く最も早い発音が受信された時間を測定することを含む、項目73-78のいずれかに記載の方法。
(項目80)
前記検索結果が表示のために生成された前記第1の時間を決定することは、前記制御回路を使用して、表示画面のピクセルに伝送される信号が前記第1の時間に続いて最初に変化した時間を検出することを含む、項目73-79のいずれかに記載の方法。
(項目81)
前記ユーザ入力デバイスは、加速度計を備えている携帯電話である、項目73-80のいずれかに記載の方法。
(項目82)
前記第2の加速を測定することは、前記第1の時間と前記第2の時間との間における前記ユーザ入力デバイスの最大加速を測定することを含む、項目73-81のいずれかに記載の方法。
(項目83)
ユーザが発話を用いて入力を訂正することを意図したという明示的指示が前記発話の中にない場合、前記発話に基づいて、入力を訂正するための装置であって、前記入力は、自動発話認識を使用して生成されており、前記装置は、
ユーザ入力デバイスを介して、第1の発話を受信する手段と、
制御回路および自動発話認識を使用して、前記第1の発話に基づいて第1の入力を決定する手段と、
データベースから、前記第1の入力に基づく検索結果を読み出す手段と、
前記制御回路を使用して、前記検索結果を表示のために生成する手段と、
前記制御回路を使用して、前記検索結果が表示のために生成された第1の時間を決定する手段と、
前記ユーザ入力デバイスを介して、前記第1の時間における前記ユーザ入力デバイスの第1の加速を測定する手段と、
前記ユーザ入力デバイスを介して、前記第1の発話を受信することに続いて、第2の発話を受信する手段と、
前記制御回路を使用して、前記第2の発話に基づいて第2の入力を決定する手段と、
前記制御回路および自動発話認識を使用して、前記第2の発話が受信された第2の時間を決定する手段と、
前記ユーザ入力デバイスを介して、前記第1の時間と前記第2の時間との間における前記ユーザ入力デバイスの第2の加速を測定する手段と、
前記制御回路を使用して、前記第2の加速と前記第1の加速との間の加速の差を決定する手段と、
前記第2の加速と前記第1の加速との間の前記加速の差を決定することに基づいて、前記制御回路を使用して、前記加速の差を閾値加速と比較する手段と、
前記加速の差を前記閾値加速と比較することに基づいて、前記制御回路を使用して、前記加速の差が前記閾値加速を上回ることを決定する手段と、
前記加速の差が前記閾値加速を上回ることを決定することに基づいて、前記制御回路を使用して、前記第1の入力の一部を前記第2の入力の一部と置換することによって、訂正された入力を前記第1の入力に基づいて生成する手段と
を備えている、装置。
(項目84)
前記訂正された入力を生成する前記手段は、前記制御回路を使用して、検索結果をブラウズすることに関連付けられたいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定することにさらに基づいて、前記訂正された入力を生成する手段を備えている、項目83に記載の装置。
(項目85)
検索結果をブラウズすることに関連付けられたいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定する前記手段は、前記検索結果をスクロールすること、前記検索結果の説明を読むこと、前記検索結果を開くこと、または前記検索結果を再生することを行うためのいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定する手段を備えている、項目84に記載の装置。
(項目86)
前記ユーザ入力デバイスを介して、前記第1の時間と前記第2の時間との間にユーザの顔の画像を捕捉する手段をさらに備え、
前記訂正された入力を生成する前記手段は、前記制御回路を使用して、前記画像内の前
記ユーザの顔が不満な感情に関連付けられていることを決定することにさらに基づいて、前記訂正された入力を生成する手段を備えている、項目83に記載の装置。
(項目87)
前記ユーザ入力デバイスを介して、前記第1の発話が受信されている間にユーザの顔の第1の画像を捕捉する手段と、
前記制御回路を使用して、前記第1の画像内の前記ユーザの顔の第1の相対サイズを決定する手段と、
前記ユーザ入力デバイスを介して、前記第2の発話が受信されている間に前記ユーザの顔の第2の画像を捕捉する手段と、
前記制御回路を使用して、前記第2の画像内の前記ユーザの顔の第2の相対サイズを決定する手段と、
前記制御回路を使用して、前記ユーザの顔の前記第1の相対サイズと前記ユーザの顔の前記第2の相対サイズとの間の相対サイズ差を閾値相対サイズと比較する手段と、
前記ユーザの顔の前記第1の相対サイズと前記ユーザの顔の前記第2の相対サイズとの間の前記相対サイズ差を前記閾値相対サイズと比較することに基づいて、前記制御回路を使用して、前記相対サイズ差が前記閾値相対サイズを上回ることを決定する手段と
をさらに備え、
前記訂正された入力を生成する前記手段は、前記制御回路を使用して、前記相対サイズ差が前記閾値相対サイズを上回ることを決定することにさらに基づいて、前記訂正された入力を生成する手段を備えている、項目83に記載の装置。
(項目88)
前記ユーザ入力デバイスを介して、基準環境雑音レベルを測定する手段と、
前記ユーザ入力デバイスを介して、前記第1の発話が受信されている間の環境雑音レベルを測定する手段と、
前記制御回路を使用して、前記第1の発話が受信されている間の前記環境雑音レベルと前記基準環境雑音レベルとの間の環境雑音レベル差を閾値環境雑音レベルと比較する手段と、
前記第1の発話が受信されている間の前記環境雑音レベルと前記基準環境雑音レベルとの間の前記環境雑音レベル差を前記閾値環境雑音レベルと比較することに基づいて、前記制御回路を使用して、前記環境雑音レベル差が前記閾値環境雑音レベルを上回ることを決定する手段と
をさらに備え、
前記訂正された入力を生成する前記手段は、前記制御回路を使用して、前記環境雑音レベル差が前記閾値環境雑音レベルを上回ることを決定することにさらに基づいて、前記訂正された入力を生成する手段を備えている、項目83に記載の装置。
(項目89)
前記第2の発話が受信されたときの前記第2の時間を決定する前記手段は、前記ユーザ入力デバイスを介して、前記第1の時間に続く最も早い発音が受信された時間を測定する手段を備えている、項目83に記載の装置。
(項目90)
前記検索結果が表示のために生成された前記第1の時間を決定する前記手段は、前記制御回路を使用して、表示画面のピクセルに伝送される信号が前記第1の時間に続いて最初に変化した時間を検出する手段を備えている、項目83に記載の装置。
(項目91)
前記ユーザ入力デバイスは、加速度計を備えている携帯電話である、項目83に記載の装置。
(項目92)
前記第2の加速を測定する前記手段は、前記第1の時間と前記第2の時間との間における前記ユーザ入力デバイスの最大加速を測定する手段を備えている、項目83に記載の装置。
(項目93)
エンコードされた命令を有するメモリを備えている非一過性の機械読み取り可能な媒体であって、前記命令は、ユーザが発話を用いて入力を訂正することを意図したという明示的指示が前記発話の中にない場合、前記発話に基づいて、前記入力を訂正するためのものであり、前記入力は、自動発話認識を使用して生成されており、前記非一過性の機械読み取り可能な媒体は、
ユーザ入力デバイスを介して、第1の発話を受信するための命令と、
制御回路および自動発話認識を使用して、前記第1の発話に基づいて第1の入力を決定するための命令と、
データベースから、前記第1の入力に基づく検索結果を読み出すための命令と、
前記制御回路を使用して、前記検索結果を表示のために生成するための命令と、
前記制御回路を使用して、前記検索結果が表示のために生成された第1の時間を決定するための命令と、
前記ユーザ入力デバイスを介して、前記第1の時間における前記ユーザ入力デバイスの第1の加速を測定するための命令と、
前記ユーザ入力デバイスを介して、前記第1の発話を受信することに続いて、第2の発話を受信するための命令と、
前記制御回路を使用して、前記第2の発話に基づいて第2の入力を決定するための命令と、
前記制御回路および自動発話認識を使用して、前記第2の発話が受信された第2の時間を決定するための命令と、
前記ユーザ入力デバイスを介して、前記第1の時間と前記第2の時間との間における前記ユーザ入力デバイスの第2の加速を測定するための命令と、
前記制御回路を使用して、前記第2の加速と前記第1の加速との間の加速の差を決定するための命令と、
前記第2の加速と前記第1の加速との間の前記加速の差を決定することに基づいて、前記制御回路を使用して、前記加速の差を閾値加速と比較するための命令と、
前記加速の差を前記閾値加速と比較することに基づいて、前記制御回路を使用して、前記加速の差が前記閾値加速を上回ることを決定するための命令と、
前記加速の差が前記閾値加速を上回ることを決定することに基づいて、前記制御回路を使用して、前記第1の入力の一部を前記第2の入力の一部と置換することによって、訂正された入力を前記第1の入力に基づいて生成するための命令と
を備えている、非一過性の機械読み取り可能な媒体。
(項目94)
前記訂正された入力を生成するための前記命令は、前記制御回路を使用して、検索結果をブラウズすることに関連付けられたいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定することにさらに基づいて、前記訂正された入力を生成するための命令を備えている、項目93に記載の非一過性の機械読み取り可能な媒体。
(項目95)
検索結果をブラウズすることに関連付けられたいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定するための前記命令は、前記検索結果をスクロールすること、前記検索結果の説明を読むこと、前記検索結果を開くこと、または前記検索結果を再生することを行うためのいかなる入力も、前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定するための命令を備えている、項目94に記載の非一過性の機械読み取り可能な媒体。
(項目96)
前記ユーザ入力デバイスを介して、前記第1の時間と前記第2の時間との間にユーザの顔の画像を捕捉するための命令をさらに備え、
前記訂正された入力を生成するための前記命令は、前記制御回路を使用して、前記画像内の前記ユーザの顔が不満な感情に関連付けられていることを決定することにさらに基づいて、前記訂正された入力を生成するための命令を備えている、項目93に記載の非一過性の機械読み取り可能な媒体。
(項目97)
前記ユーザ入力デバイスを介して、前記第1の発話が受信されている間にユーザの顔の第1の画像を捕捉するための命令と、
前記制御回路を使用して、前記第1の画像内の前記ユーザの顔の第1の相対サイズを決定するための命令と、
前記ユーザ入力デバイスを介して、前記第2の発話が受信されている間に前記ユーザの顔の第2の画像を捕捉するための命令と、
前記制御回路を使用して、前記第2の画像内の前記ユーザの顔の第2の相対サイズを決定するための命令と、
前記制御回路を使用して、前記ユーザの顔の前記第1の相対サイズと前記ユーザの顔の前記第2の相対サイズとの間の相対サイズ差を閾値相対サイズと比較するための命令と、
前記ユーザの顔の前記第1の相対サイズと前記ユーザの顔の前記第2の相対サイズとの間の前記相対サイズ差を前記閾値相対サイズと比較することに基づいて、前記制御回路を使用して、前記相対サイズ差が前記閾値相対サイズを上回ることを決定するための命令と
をさらに備え、
前記訂正された入力を生成するための前記命令は、前記制御回路を使用して、前記相対サイズ差が前記閾値相対サイズを上回ることを決定することにさらに基づいて、前記訂正された入力を生成するための命令を備えている、項目93に記載の非一過性の機械読み取り可能な媒体。
(項目98)
前記ユーザ入力デバイスを介して、基準環境雑音レベルを測定するための命令と、
前記ユーザ入力デバイスを介して、前記第1の発話が受信されている間の環境雑音レベルを測定するための命令と、
前記制御回路を使用して、前記第1の発話が受信されている間の前記環境雑音レベルと前記基準環境雑音レベルとの間の環境雑音レベル差を閾値環境雑音レベルと比較するための命令と、
前記第1の発話が受信されている間の前記環境雑音レベルと前記基準環境雑音レベルとの間の前記環境雑音レベル差を前記閾値環境雑音レベルと比較することに基づいて、前記制御回路を使用して、前記環境雑音レベル差が前記閾値環境雑音レベルを上回ることを決定するための命令と
をさらに備え、
前記訂正された入力を生成するための前記命令は、前記制御回路を使用して、前記環境雑音レベル差が前記閾値環境雑音レベルを上回ることを決定することにさらに基づいて、前記訂正された入力を生成するための命令を備えている、項目93に記載の非一過性の機械読み取り可能な媒体。
(項目99)
前記第2の発話が受信されたときの前記第2の時間を決定するための前記命令は、前記ユーザ入力デバイスを介して、前記第1の時間に続く最も早い発音が受信された時間を測定するための命令を備えている、項目93に記載の非一過性の機械読み取り可能な媒体。(項目100)
前記検索結果が表示のために生成された前記第1の時間を決定するための前記命令は、前記制御回路を使用して、表示画面のピクセルに伝送される信号が前記第1の時間に続いて最初に変化した時間を検出するための命令を備えている、項目93に記載の非一過性の機械読み取り可能な媒体。
(項目101)
前記ユーザ入力デバイスは、加速度計を備えている携帯電話である、項目93に記載の
非一過性の機械読み取り可能な媒体。
(項目102)
前記第2の加速を測定するための前記命令は、前記第1の時間と前記第2の時間との間における前記ユーザ入力デバイスの最大加速を測定するための命令を備えている、項目93に記載の非一過性の機械読み取り可能な媒体。
本開示の上記および他の目的ならびに利点は、同様の参照文字が全体を通して同様の部分を指す、添付の図面と併せて考慮される、以下の発明を実施するための形態の検討から明白となるであろう。
図1は、本開示のいくつかの実施形態による、メディアガイドアプリケーションが、後続の第2の発話に基づいて、ユーザが第2の発話で第1の入力を訂正することを意図したという第2の発話の中の明示的指示がない場合、自動発話認識を使用して第1の発話から生成される第1の入力のエラーを訂正し得る方法の例証的実施例を示す。
図2は、本開示のいくつかの実施形態による、メディアガイドアプリケーションが、後続の第2の発話に基づいて、ユーザが第2の発話で第1の入力を訂正することを意図したという第2の発話の中の明示的指示がない場合、自動発話認識を使用して第1の発話から生成される第1の入力のエラーを訂正し得る方法の例証的実施例を示す。
図3は、本開示のいくつかの実施形態による、メディアガイドアプリケーションリスト項目および他のメディアガイド情報を提供するために使用され得る、表示画面の例証的実施形態を示す。
図4は、本開示のいくつかの実施形態による、メディアガイドアプリケーションリスト項目を提供するために使用され得る、表示画面の別の例証的実施形態を示す。
図5は、本開示のいくつかの実施形態による、例証的ユーザ機器デバイス(UE)のブロック図を示す。
図6は、本開示のいくつかの実施形態による、例証的メディアシステムのブロック図を示す。
図7は、本開示のいくつかの実施形態による、後続の第2の発話に基づいて、ユーザが第2の発話で第1の入力を訂正することを意図したという第2の発話の中の明示的指示がない場合、自動発話認識を使用して第1の発話から生成される第1の入力のエラーを訂正するためのプロセスの例証的フローチャートを描写する。
図8は、本開示のいくつかの実施形態による、後続の第2の発話に基づいて、ユーザが第2の発話で第1の入力を訂正することを意図したという第2の発話の中の明示的指示がない場合、自動発話認識を使用して第1の発話から生成される第1の入力のエラーを訂正するためのプロセスの例証的フローチャートを描写する。
図9は、本開示のいくつかの実施形態による、画像内の顔の相対サイズを決定することの例証的実施例を示す。
図10は、本開示のいくつかの実施形態による、画像内の顔の相対サイズを決定するためのプロセスの例証的擬似コードを示す。
後続の第2の発話に基づいて、ユーザが第2の発話で入力を訂正することを意図したという第2の発話の中の明示的指示を伴わずに、自動発話認識を使用して第1の発話から生成される入力のエラーを訂正する方法およびシステムが、説明され、入力に応答した検索結果が表示されたときと第2の発話が受信されたときとの間の時間差が閾値時間未満であることを決定することと、決定に基づいて、第2の発話に基づいて入力を訂正するステップとを含む。方法およびシステムはまた、入力に応答した検索結果が表示されたときと第2の発話が受信されたときとの間の第1の発話および第2の発話を入力するために使用されるユーザ入力デバイスの加速の差が、閾値加速未満であることを決定することと、決定に基づいて、第2の発話に基づいて入力を訂正するステップとを含む。
例えば、ユーザが「オースティンについての番組を見せて」と話し、メディアガイドアプリケーションが(「オースティン」を「ボストン」として不正確に認識したため)ボストンについての番組を含む検索結果を提示する場合、ユーザは、迅速に「オースティン」と話し得る。メディアガイドアプリケーションは、検索結果が提示された後にユーザが迅速に「オースティン」と話した程度に基づいて、ユーザが「オースティン」と話すことによって不正確に認識された「ボストン」を訂正することを意図したと決定し得る。認識エラーが存在しなかった場合、ユーザは、検索結果を精査するためにより長い時間を要し得る。別の実施例として、ユーザが「オースティンについての番組を見せて」とユーザ入力デバイス(例えば、携帯電話)に話し掛け、メディアガイドアプリケーションが(「オースティン」を「ボストン」として不正確に認識したため)ボストンについての番組を含む検索結果を提示する場合、ユーザは、正確な発話認識を補助しようとして、ユーザ入力デバイスを自分の口に近づけた後に「オースティン」と話し得る。ユーザの口に近づけられたことに応じたユーザ入力デバイスの加速は、ユーザが「オースティン」と話すことによって不正確に認識された「ボストン」を訂正することを意図したと決定するためにメディアガイドアプリケーションによって使用されることができる。
図1は、メディアガイドアプリケーションが、後続の第2の発話116に基づいて、ユーザが第2の発話116で第1の入力108を訂正することを意図したという第2の発話の中の明示的指示がない場合、自動発話認識を使用して第1の発話106から生成される第1の入力108のエラーを訂正し得る方法の例証的実施例を示す。図1は、3つの時間104、110、および114がマークされた時間軸102を含む。時間104では、ユーザは、図1の実施例では「オースティンについての番組を見せて」である、第1の発話106を話す。メディアガイドアプリケーションは、自動発話認識を使用し、第1の発話106に基づいて、図1の実施例では「ボストンについての番組を見せて」である、第1の入力108を生成し得る。故に、図1の実施例では、メディアガイドアプリケーションは、第1の発話106の中の「オースティン」を「ボストン」として不正確に認識した。第1の時間110では、メディアガイドアプリケーションは、図1の実施例ではボストンについての番組である、検索結果112を表示のために生成することによって、第1の入力108に応答する。第2の時間114では、ユーザは、図1の実施例では「オースティン」である、第2の発話116を話す。メディアガイドアプリケーションは、自動発話認識を使用し、第2の発話116に基づいて、図1の実施例では「オースティン」である、
第2の入力120を生成し得る。故に、図1の実施例では、メディアガイドアプリケーションは、第2の発話116の中の「オースティン」を正確に認識した。第2の発話116を話すことによって、ユーザは、第2の発話116で第1の入力108のエラーを訂正しようとしている場合がある。図1の実施例では、ユーザは、第2の発話116の「オースティン」で、第1の発話106から不正確に生成された第1の入力108の中の「ボストン」を訂正しようとしている場合がある。しかしながら、第2の発話116は、ユーザが第2の発話116で第1の入力108のエラーを訂正することを意図するかどうか、またはユーザが、例えば、新しい検索を開始するか、もしくは前もって提示された検索結果112をフィルタ処理するかどうかという明示的指示が欠如し得る。例えば、図1では、第2の発話116は、ユーザが「オースティン」で「ボストン」を訂正することを意図するという明示的指示を表し得る、「そうではなくて」または「言おうとしたのは~」等の語句が欠如する。本曖昧性を解決するために、メディアガイドアプリケーションは、ユーザが第2の発話116(図1の実施例では「オースティン」)を話した第2の時間114とメディアガイドアプリケーションが検索結果112(図1の実施例では、ボストンについての番組)を表示のために生成した第1の時間110との間の時間差118を計算し得る。メディアガイドアプリケーションは、時間差118を閾値時間と比較し、時間差118が閾値時間未満である場合、ユーザが第2の発話116で第1の入力108を訂正することを意図したと予測し得る。故に、メディアガイドアプリケーションは、第1の入力108の一部を第2の入力120の一部と置換することによって、第1の入力108に基づいて訂正された入力122を生成し得る。図1では、例えば、メディアガイドアプリケーションは、第1の入力108の中の「ボストン」を第2の入力120からの「オースティン」と置換し、訂正された入力122を生成し得る。
ユーザが第2の発話116(図1の実施例では「オースティン」)を話した第2の時間114と、第1の時間110、すなわち、メディアガイドアプリケーションが検索結果112(図1の実施例では、ボストンについての番組)を提示した時間との間の時間差118を計算することは、時間差118が、ユーザが第2の発話116で第1の入力108を訂正する(図1の実施例では、「オースティン」で「ボストン」を訂正する)ことを意図したかどうかを示し得るため、役立ち得る。第1の入力108のエラーがない場合、ユーザは、検索結果112が第1の時間110において表示のために生成された後に、後続の入力を話すために第1の入力108のエラーがある場合よりも長い時間を要し得る。図1の実施例では、「ボストン」が正確に認識された場合、ユーザは、検索結果112をスクロールする、検索結果112の説明を読む、検索結果112を開く、検索結果112を再生する等のために、長い時間量(すなわち、閾値時間を上回る時間量)を要し得る。しかしながら、「ボストン」が正確に認識された場合、ユーザは、短い時間量(すなわち、閾値時間よりも小さい時間量)で、検索結果112が第1の発話106の中で要求されたもの、すなわち、オースティンについての番組に合致しないことに気付き得る。故に、ユーザは、検索結果112をスクロールする、検索結果112の説明を読む、検索結果112を開く、検索結果112を再生する等のために、長い時間量を要さないこともある。代わりに、ユーザは、第2の発話116を話し、検索結果112を見た後にすぐに(すなわち、閾値時間よりも小さい時間量)第1の入力108のエラーを訂正し得る。したがって、時間差118を閾値時間と比較することは、ユーザが第2の発話116で第1の入力108を訂正することを意図したかどうかを示すことができる。
図2は、メディアガイドアプリケーションが、後続の第2の発話216に基づいて、ユーザが第2の発話216で第1の入力208を訂正することを意図したという第2の発話216の中の明示的指示がない場合、自動発話認識を使用して第1の発話206から生成される第1の入力208のエラーを訂正し得る方法の例証的実施例を示す。図2は、3つの時間204、210、および214がマークされた時間軸202を含む。図2はまた、2つの加速、すなわち、第1の加速213および第2の加速217がマークされた、ユー
ザの発話を受信するユーザ入力デバイスの加速を示す、加速軸203も含む。加速軸204上に示される加速は、3次元空間内の単一の方向へのユーザ入力デバイスの加速であり得る。時間204では、ユーザは、図2の実施例では「オースティンについての番組を見せて」である、第1の発話206を話す。メディアガイドアプリケーションは、自動発話認識を使用し、第1の発話206に基づいて、図2の実施例では「ボストンについての番組を見せて」である、第1の入力208を生成し得る。故に、図2の実施例では、メディアガイドアプリケーションは、第1の発話206の中の「オースティン」を「ボストン」として不正確に認識した。第1の時間210では、メディアガイドアプリケーションは、図2の実施例ではボストンについての番組である、検索結果212を表示のために生成することによって、第1の入力208に応答する。第2の時間214では、ユーザは、図2の実施例では「オースティン」である、第2の発話216を話す。メディアガイドアプリケーションは、自動発話認識を使用し、第2の発話216に基づいて、図2の実施例では「オースティン」である、第2の入力220を生成し得る。第2の発話216を話すことによって、ユーザは、第2の発話216で第1の入力208のエラーを訂正しようとしている場合がある。図2の実施例では、ユーザは、第2の発話216の「オースティン」で、第1の発話206から不正確に生成された第1の入力208の中の「ボストン」を訂正しようとしている場合がある。しかしながら、第2の発話216は、ユーザが第2の発話216で第1の入力208のエラーを訂正することを意図するかどうか、またはユーザが、例えば、新しい検索を開始するか、もしくは前もって提示された検索結果212をフィルタ処理するかどうかという明示的指示が欠如し得る。例えば、図2では、第2の発話216は、ユーザが「オースティン」で「ボストン」を訂正することを意図するという明示的指示を表し得る、「そうではなくて」または「言おうとしたのは~」等の語句が欠如する。本曖昧性を解決するために、メディアガイドアプリケーションは、ユーザが第2の発話216(図2の実施例では「オースティン」)を話した第2の時間214とメディアガイドアプリケーションが検索結果212(図2の実施例では、ボストンについての番組)を表示のために生成した第1の時間210との間のユーザ入力デバイスの加速の差218を計算し得る。例えば、図2では、メディアガイドアプリケーションは、第2の加速217と第1の加速213との間の加速の差218を計算し得る。メディアガイドアプリケーションは、加速の差218を閾値時間と比較し、加速の差218が閾値時間を上回る場合、ユーザが第2の発話216で第1の入力208を訂正することを意図したと予測し得る。故に、メディアガイドアプリケーションは、第1の入力208の一部を第2の入力220の一部と置換することによって、第1の入力208および第2の入力220に基づいて、訂正された入力222を生成し得る。図2では、例えば、メディアガイドアプリケーションは、第1の入力208の中の「ボストン」を第2の入力220からの「オースティン」と置換し、訂正された入力222を生成し得る。
ユーザが第2の発話216(図2の実施例では、「オースティン」)を話した第2の時間214と、第1の時間210、すなわち、メディアガイドアプリケーションが検索結果212(図2の実施例では、ボストンについての番組)を提示した時間との間のユーザ入力デバイスの加速の差218を計算することは、加速の差218が、ユーザが第2の発話216で第1の入力208を訂正する(図2の実施例では、「オースティン」で「ボストン」を訂正する)ことを意図したかどうかを示し得るため、役立ち得る。第1の発話206の中で要求されたものに合致しない検索結果212によって証明されるように、第1の入力208のエラーがある場合、ユーザは、ユーザ入力デバイスが第2の発話216をより正確に検出し、第2の発話216を正確に認識する可能性が高いことを可能にする意図を持って、ユーザ入力デバイスを自分の口に近づけ得る。ユーザ入力デバイスをユーザの口に近づけることは、閾値加速を超える第1の時間210と第2の時間214との間のユーザ入力デバイスの加速の差として検出されることができる。したがって、加速の差218を閾値加速と比較することは、ユーザが第2の発話216で第1の入力208を訂正することを意図したかどうかを示すことができる。
以下の説明は、メディアガイドアプリケーションが、後続の第2の発話に基づいて、ユーザが第2の発話で第1の入力を訂正することを意図したという第2の発話の中の明示的指示がない場合、自動発話認識を使用して第1の発話から生成される第1の入力のエラーを訂正し得る方法をより詳細に説明するであろう。
いくつかの実施形態では、メディアガイドアプリケーションは、時間の差を決定することに基づいて、訂正された入力を生成し得る。いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイス(例えば、ユーザ入力インターフェース510、無線ユーザ通信デバイス606)を介して、第1の発話106を受信し得る。第1の発話106は、例えば、ユーザによって話された言葉を含み得る。第1の発話106は、メディアアセット等の項目の検索を開始することをユーザによって意図され得る。例えば、第1の発話106は、「オースティンについての番組を見せて」であり得る。
いくつかの実施形態では、メディアガイドアプリケーションは、自動発話認識を使用して、第1の発話106に基づいて第1の入力108を決定し得る。例えば、メディアガイドアプリケーションは、Gaikwad, Santosh K., Bharti W. Gawali, and Pravin Yannawar. “A review
on speech recognition technique.” International Journal of Computer Applications 10.3 (2010): 16-24(その開示がその全体として参照することによって本明細書に組み込まれる)に説明されるもの等の公知の自動発話認識技法を使用して、第1の発話106をテキストに変換することによって、第1の入力108を決定し得る。例えば、第1の発話106が「オースティンについての番組を見せて」である場合、メディアガイドアプリケーションは、第1の入力108を「ボストンについての番組を見せて」であると決定し、それによって、第1の発話106の中の「オースティン」を「ボストン」として不正確に認識し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、(例えば、通信ネットワーク614を通してメディアコンテンツソース616またはメディアガイドデータソース618から、もしくは記憶装置508からデータベースを読み出すことによって)データベースから第1の入力108に基づいて検索結果112を読み出し得る。データベースは、例えば、情報リポジトリを含み得る。情報リポジトリから検索結果112を読み出すために、メディアガイドアプリケーションは、米国特許第8,577,671号(その開示がその全体として参照することによって本明細書に組み込まれる)に説明されるもの等の公知の情報読出技法を使用し得る。いくつかの実施形態では、検索結果112は、1つだけの検索結果を含み得る。
いくつかの実施形態では、メディアガイドアプリケーションは、検索結果112を(例えば、ディスプレイ512上に)表示のために生成し得る。例えば、第1の入力108が「ボストンについての番組を見せて」である場合、メディアガイドアプリケーションは、ボストンで行われているテレビ番組Fringeのリスト項目(例えば、リスト項目308、406、408、410、または412)を読み出し、表示のために生成し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、検索結果112が表示のために生成された第1の時間110を決定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、表示画面(例えば、ディスプレイ512)のピクセルに伝送される信号(例えば、処理回路506から)が第1の時間110に続いて最初に変化する時間を検出することによって、第1の時間110を決定し得る。いくつかの実施形態では、表示画面のピクセルに伝送される信号は、表示画面を変化させ、例えば、新しい項目を
表示させる。例えば、第1の発話106が受信されるとき、表示画面のピクセルに伝送される信号は、いかなる結果もまだ読み出されていないため変化しなくてもよい。しかしながら、検索結果112が読み出され、表示画面上に表示される準備ができると、表示画面のピクセルに伝送される信号は、検索結果112を表示するために変化し得る。表示画面のピクセルに伝送される信号が変化するときに、第1の発話106が受信された後の初期時間は、表示されている検索結果112を表し得る。したがって、表示画面のピクセルに伝送される信号が変化するときに、第1の発話106が受信された後の初期時間は、検索結果112が表示のために生成された第1の時間110と見なされることができる。いくつかの実施形態では、メディアガイドアプリケーションは、第1の時間110を決定するときに、検索結果112に関連付けられないクロック、カーソル、および他の項目等の項目の表示の変化を表す、表示画面のピクセルに伝送される信号の変化を無視し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の発話106を受信するステップに続いて、第2の発話116を受信し得る。第2の発話116は、例えば、ユーザによって話された言葉を含み得る。第2の発話116は、メディアガイドアプリケーションによって不正確に認識された第1の入力108の一部を訂正することをユーザによって意図され得る。例えば、ユーザは、第1の発話106に合致しない検索結果112に基づいて、メディアガイドが第1の発話106の一部を不正確に認識したことを決定し得る。例えば、検索結果112がボストンについての番組を含む場合、ユーザは、メディアガイドアプリケーションが、第1の発話106(「オースティンについての番組を見せて」)に応答して、第1の入力108として「ボストンについての番組を見せて」を不正確に生成したことを決定し得る。故に、第2の発話116は、ユーザが「ボストン」を「オースティン」に訂正することを意図する、「オースティン」であり得る。第2の発話116は、ユーザが第2の発話116で第1の入力108のエラーを訂正することを意図するかどうか、またはユーザが、例えば、新しい検索を開始するか、もしくは前もって提示された検索結果112を第2の発話116でフィルタ処理することを意図するかどうかという明示的指示が欠如し得る。例えば、第2の発話116は、ユーザが第1の入力108を訂正することを意図するという明示的指示を表し得る、「そうではなくて」または「言おうとしたのは~」等の語句が欠如し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、自動発話認識を使用して、第2の発話116に基づいて第2の入力120を決定し得る。例えば、メディアガイドアプリケーションは、Gaikwad, Santosh K., Bharti W. Gawali, and Pravin Yannawar. “A review
on speech recognition technique.” International Journal of Computer Applications 10.3 (2010): 16-24に説明されるもの等の公知の自動発話認識技法を使用して、第2の発話116をテキストに変換することによって、第2の入力120を決定し得る。例えば、第2の発話116が「オースティン」である場合、メディアガイドアプリケーションは、第2の入力120を「オースティン」であると決定し、それによって、第2の発話116の中の「オースティン」を正確に認識し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、第2の発話116が受信された第2の時間114を決定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の時間110に続く最も早い発音が起こった時間を測定することによって、第2の時間114を決定し得る。例えば、メディアガイドアプリケーションが午前10:00:00に検索結果112を提示し、ユーザからの次の発音が「オースティン」であった場合、メディアガイドアプリケーションは、「オースティン」の中の最初の「Au(オー)」という音が午前10:00:00に起こったことを測定し、午前10:00:00を第2の時間114と見なし得る。いくつかの実
施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスにおける入力の量が第1の時間110に続く第1の時間に関して閾値量を超えるときを検出することによって、最も早い発音を検出し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、第2の時間114と第1の時間110との間の時間差118を閾値時間と比較し得る。メディアガイドアプリケーションは、第2の時間114から第1の時間110を減算することによって、時間差118を算出し得る。例えば、第1の時間110が午前10:00:00であり、第2の時間114が午前10:00:10である場合、メディアガイドアプリケーションは、時間差118を10秒であると算出し得る。時間差118を算出する際に、メディアガイドアプリケーションは、第1の時間110、第2の時間114、および/または時間差118を最近傍秒、分、時間等に丸めてもよい。いくつかの実施形態では、メディアガイドアプリケーションは、閾値時間をデフォルト値であるように設定する、または閾値時間をユーザ定義値であるように設定し得る。
いくつかの実施形態では、時間差118を閾値時間と比較するステップに基づいて、メディアガイドアプリケーションは、時間差118が閾値時間未満であることを決定し得る。例えば、時間差118が10秒であり、閾値時間が20秒である場合、メディアガイドアプリケーションは、時間差118が閾値時間未満であることを決定し得る。
いくつかの実施形態では、時間差118が閾値時間未満であることを決定することに基づいて、メディアガイドアプリケーションは、第1の入力108の一部を第2の入力120の一部と置換することによって、第1の入力108に基づいて訂正された入力122を生成し得る。いくつかの実施形態では、メディアガイドアプリケーションは、第1の入力108の一部を第2の入力120全体と置換することによって、第1の入力108に基づいて訂正された入力122を生成し得る。例えば、第1の入力108が「ボストンについての番組を見せて」であり、第2の入力120が「オースティン」である場合、メディアガイドアプリケーションは、「ボストン」を「オースティン」と置換し、「オースティンについての番組を見せて」という訂正された入力122を生成し得る。メディアガイドアプリケーションは、米国特許出願公開第2014/0337370号、米国特許第9,514,743号、および米国特許出願公開第2009/0228273号(それぞれの内容がそれらの全体として参照することによって本明細書に組み込まれる)に説明されるもの等の第1の入力108の一部を第2の入力120の一部と置換するための任意の公知の方法を使用し得る。
ユーザが第2の発話116を話した第2の時間114とメディアガイドアプリケーションが第1の入力108の検索結果112を表示のために生成した第1の時間110との間の時間差118を計算することは、時間差118が、ユーザが第2の発話116で第1の入力108のエラーを訂正することを意図したかどうかを示し得るため、役立ち得る。第1の発話106が第1の入力108を生成する際に正確に認識された場合、ユーザは、検索結果112が表示のために生成された後に、後続の入力を話すために第1の発話106の一部が不正確に認識された場合よりも長い時間を要し得る。例えば、第1の発話106が正確に認識された場合、ユーザは、検索結果112をスクロールする、検索結果112の説明を読む、検索結果112を開く、検索結果112を再生する等のために、長い時間量(すなわち、閾値時間を上回る時間量)を要し得る。しかしながら、第1の発話106の一部が不正確に認識された場合、ユーザは、短い時間量(すなわち、閾値時間よりも小さい時間量)で、検索結果112が第1の発話106の中で要求されたものに合致しないことに気付き得る。故に、ユーザは、検索結果112をスクロールする、検索結果112の説明を読む、検索結果112を開く、検索結果112を再生する等のために、長い時間量を要さないこともある。代わりに、ユーザは、第2の発話116を話し、検索結果11
2を見た後にすぐに(すなわち、閾値時間よりも小さい時間量)不正確に認識された第1の発話106を訂正し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザに関連付けられた複数の入力間の平均時間に基づいて、閾値時間を調節し得る。いくつかの実施形態では、メディアガイドアプリケーションは、ユーザによって入力される口語入力の間の平均時間を監視し、本平均時間をユーザに関連付けられるユーザ履歴の中に記憶し得る。いくつかの実施形態では、メディアガイドアプリケーションは、閾値時間をデフォルト値に設定し、ユーザ履歴の中に記憶された平均時間に基づいて閾値時間を調節し得る。いくつかの実施形態では、メディアガイドアプリケーションは、平均時間の範囲に関連付けられる量によって閾値時間を調節し得る。例えば、平均時間が1秒~5秒である場合、メディアガイドアプリケーションは、閾値時間を5秒だけ増加させ得る一方で、平均時間が5秒~10秒である場合、メディアガイドアプリケーションは、閾値時間を10秒だけ増加させ得る。いくつかの実施形態では、メディアガイドアプリケーションは、平均時間に比例する量によって閾値時間を調節し得る。例えば、メディアガイドアプリケーションは、平均時間と等しい時間量だけ閾値時間を増加させ得る。いくつかの実施形態では、メディアガイドアプリケーションは、正または負の時間量によって閾値時間を調節し得る。ユーザに関連付けられた複数の入力間の平均時間に基づいて閾値時間を調節することは、ユーザが、概して、検索結果112を精査することに費やす時間を予測することに役立ち得る。入力の間のユーザの平均時間が大きい場合には、ユーザは、検索結果112を精査することに長い時間を費やし得、故に、ユーザが第2の発話116で第1の入力108を訂正することを意図したかどうかを予測するときに、閾値時間を増加させることが保証され得る。いくつかの実施形態では、閾値時間は、ネットワーク速度、例えば、メディアガイドアプリケーションがクエリに応答する速度に基づいて、選定され得る。いくつかの実施形態では、標準化されたクエリ(例えば、「ピングクエリ」)が、サブミットされ、応答時間が、ネットワーク速度を測定し、閾値時間を決定するために測定され得る。
いくつかの実施形態では、メディアガイドアプリケーションは、検索結果112をブラウズすることに関連付けられたいかなる入力も、第1の時間110と第2の時間114との間でユーザ入力デバイスを介して受信されなかったことを決定することに基づいて、訂正された入力122を生成し得る。例えば、検索結果112をブラウズすることに関連付けられる入力は、表示された検索結果112を上または下にスクロールするための入力、検索結果112を開くための入力、検索結果112を再生するための入力、および検索結果112の説明を読むための入力を含み得る。メディアガイドアプリケーションは、第1の時間110と第2の時間114との間でユーザ入力デバイスを介して受信される入力を監視し、受信された入力のタイプのうちのいずれも検索結果112をブラウズすることに関連付けられないことを決定し得る。
検索結果112をブラウズすることに関連付けられたいかなる入力も、ユーザが第2の発話116を話した第2の時間114とメディアガイドアプリケーションが第1の入力108の検索結果112を表示のために生成した第1の時間110との間でユーザ入力デバイスを介して受信されなかったことを決定することは、本決定が、ユーザが第2の発話116で第1の入力108のエラーを訂正することを意図したかどうかを示し得るため、役立ち得る。第1の発話106が第1の入力108を生成する際に正確に認識された場合、ユーザは、検索結果112が提示された後に、検索結果112をブラウズすることに関連付けられる入力を入力し得る。例えば、第1の発話106が正確に認識された場合、ユーザは、検索結果112をスクロールする、検索結果112の説明を読む、検索結果112を開く、検索結果112を再生する等し得る。しかしながら、第1の発話106の一部が不正確に認識された場合、ユーザは、検索結果112が第1の発話106の中で要求されたものに合致しないことに気付き得る。故に、ユーザは、検索結果112をスクロールす
る、検索結果112の説明を読む、検索結果112を開く、検索結果112を再生する等をしなくてもよい。代わりに、ユーザは、第2の発話116を話し、検索結果112をブラウズすることに関連付けられるユーザ入力デバイスを介していかなる入力も入力することなく、検索結果112を見た後に不正確に認識された第1の発話106を訂正し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の時間110と第2の時間114との間で、ユーザの顔の画像を捕捉し得る。いくつかの実施形態では、ユーザ入力デバイスは、ユーザ入力デバイスの中に含まれるカメラを使用して、ユーザの顔の画像を捕捉し得る。例えば、ユーザ入力デバイスが携帯電話である場合、携帯電話は、そのカメラを使用して、ユーザの顔の画像を捕捉し得る。いくつかの実施形態では、ユーザは、テレビ上でメディアアセットを視聴していることもあり、テレビは、統合型カメラを有し、カメラを使用してユーザの顔の画像を捕捉し得る。いくつかの実施形態では、ユーザは、コンピュータ上でメディアアセットを視聴していることもあり、コンピュータは、統合型カメラを有し、カメラを使用してユーザの顔の画像を捕捉し得る。いくつかの実施形態では、メディアガイドアプリケーションは、画像内のユーザの顔が不満な感情に関連付けられていることを決定することに基づいて、訂正された入力122を生成し得る。いくつかの実施形態では、画像内のユーザの顔が不満な感情に関連付けられていることを決定するために、メディアガイドアプリケーションは、顔認識技法を使用してユーザの顔の画像を分析し、怒りおよび悲しみ等の表情を検出し得る。メディアガイドアプリケーションは、Kulkarni, Saket S., Narender P. Reddy, and S. I. Hariharan. “Facial expression (mood) recognition from
facial images using committee neural networks.” Biomedical Engineering Online 8.1 (2009): 16(その内容がその全体として参照することによって本明細書に組み込まれる)の中の方法等の顔の画像内で表情を検出する任意の方法を使用し得る。いくつかの実施形態では、メディアガイドアプリケーションは、不満な顔の表情を検出することに加えて/その代わりに、不平を言うこと等の不満な音を検出し得る。
画像内のユーザの顔が不満な感情に関連付けられていることを決定することは、本決定が、ユーザが第2の発話116で第1の入力108のエラーを訂正することを意図したかどうかを示し得るため、役立ち得る。第1の発話106が不正確に認識され、提示される検索結果112が、ユーザが意図したものに合致しない場合、ユーザは、不満になり得、したがって、ユーザの顔は、不満な表情を呈し得る。第1の発話106が正確に認識され、提示される検索結果112が、ユーザが意図したものに合致する場合、ユーザは、満足し得、したがって、ユーザの顔は、不満な表情を呈さないこともある。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の発話106が受信されている間に、ユーザの顔の第1の画像を捕捉し、第1の画像内のユーザの顔の第1の相対サイズを決定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第2の発話116が受信されている間に、ユーザの顔の第2の画像を捕捉し、第2の画像内のユーザの顔の第2の相対サイズを決定し得る。いくつかの実施形態では、ユーザ入力デバイスは、ユーザ入力デバイスの中に含まれるカメラを使用して、ユーザの顔の画像を捕捉し得る。例えば、ユーザ入力デバイスが携帯電話である場合、携帯電話は、そのカメラを使用して、ユーザの顔の画像を捕捉し得る。いくつかの実施形態では、ユーザは、テレビ上でメディアアセットを視聴していることもあり、テレビは、統合型カメラを有し、カメラを使用してユーザの顔の画像を捕捉し得る。いくつかの実施形態では、ユーザは、コンピュータ上でメディアアセットを視聴していることもあり、コンピュータは、統合型カメラを有し、カメラを使用してユーザの顔の画像を捕捉し得る。いくつかの実施形態では、メディアガイドア
プリケーションは、画像内のユーザの顔によって占有されるピクセルの数を数えることによって、画像内のユーザの顔の相対サイズを計算し得る。第1および第2の画像内のユーザの顔の相対サイズを決定するために、メディアガイドアプリケーションは、図9-10を参照して説明される方法を使用し得る。いくつかの実施形態では、メディアガイドアプリケーションは、ユーザの顔の第1の相対サイズとユーザの顔の第2の相対サイズとの間の相対サイズ差を閾値相対サイズと比較し得る。メディアガイドアプリケーションは、第2の相対サイズから第1の相対サイズを減算することによって相対サイズ差を算出し得る。例えば、第1の相対サイズが3メガピクセルであり、第2の相対サイズが4メガピクセルである場合、メディアガイドアプリケーションは、相対サイズ差を1メガピクセルであると算出し得る。いくつかの実施形態では、メディアガイドアプリケーションは、相対サイズ差を閾値相対サイズと比較するステップに基づいて、相対サイズ差が閾値相対サイズを上回ることを決定し得る。例えば、相対サイズ差が1メガピクセルであり、閾値相対サイズが0.5メガピクセルである場合、メディアガイドアプリケーションは、相対サイズ差が閾値相対サイズを上回ることを決定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、相対サイズ差が閾値相対サイズを上回ることを決定することに基づいて、訂正された入力122を生成し得る。
故に、前述の方法は、第1の発話106が受信されている間に撮影される画像内のユーザの顔の相対サイズが、第2の発話116が受信されている間に撮影される画像内のユーザの顔の相対サイズよりも小さいかどうかを決定する。これは、ユーザが第2の発話116で第1の入力108のエラーを訂正することを意図したかどうかを決定することに役立ち得る。ユーザが第2の発話116で第1の入力108のエラーを訂正することを意図した場合、ユーザは、自分の口をユーザ入力デバイスに近づけようとし得るため、ユーザ入力デバイスは、第2の発話116をより正確に検出することができ、第2の発話116を正確に認識する可能性が高い。ユーザが自分の顔をユーザ入力デバイスに近づける場合、これは、第1の発話106が受信されている間に捕捉される画像内のユーザの顔のサイズと対比して、第2の発話116が受信されている間に捕捉される画像内のユーザの顔のサイズの増加として検出されることができる。
いくつかの実施形態では、メディアガイドアプリケーションは、第2の時間114と第1の時間110との間の時間差118を第2の閾値時間と比較し、時間差118を第2の閾値時間と比較するステップに基づいて、時間差118が第2の閾値時間を上回ることを決定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、時間差118が閾値時間未満であり、かつ第2の閾値時間を上回ることを決定することに基づいて、訂正された入力122を生成し得る。例えば、時間差118が10秒であり、閾値時間が20秒であり、第2の閾値時間が2秒である場合、メディアガイドアプリケーションは、時間差118が閾値時間未満であり、かつ第2の閾値時間を上回ることを決定し得る。第2の閾値時間は、閾値時間未満であり得る。時間差118が第2の閾値時間上回ることを決定することは、ユーザが第2の発話116を伴って第1の発話106を継続することを意図しているときに、訂正された入力122を生成することを回避することに役立ち得る。例えば、第1の発話106は、「オースティンについての番組を見せて」であってもよく、メディアガイドアプリケーションは、検索結果112としてオースティン(テキサスの都市)についての番組を提示し得る。第2の発話116は、「Powers」であり得る。本実施例では、第2の発話116は、実際には、第1の発話106の続きであってもよく、すなわち、ユーザは、「Austin Powersについての番組を見せて」(Austin Powersは映画シリーズの中の登場人物である)と言うことを意図した。しかしながら、メディアガイドアプリケーションは、ユーザが「Powers」と言い終わる前に検索結果112を提示している場合がある。そのような状況では、ユーザは、第2の発話116(「Powers」)で第1の発話106(「オースティンについての番組を見せて」)を訂正することを意図していない。むしろ、ユーザは、第2の発話1
16を伴って第1の発話106を継続することを意図している。故に、メディアガイドアプリケーションは、第2の時間114と第1の時間110との間の時間差118を、閾値時間よりも小さい第2の閾値時間と比較し得る。時間差118が第2の閾値時間未満またはそれと等しい場合、これは、検索結果112が提示された後にすぐにユーザが第2の発話116を話した、おそらく、検索結果112が提示された後に検索結果112を閲覧するには早すぎたことを示し得る。故に、これは、ユーザがまだ第1の発話106を話し終わっておらず、メディアガイドアプリケーションが第2の発話116で第1の発話106を訂正するべきではないことを示し得る。しかしながら、時間差118が第2の閾値時間を上回るが、依然として閾値時間未満である場合、これは、ユーザが合理的な時間量後に第2の発話116を話し、検索結果112を簡潔に閲覧し、それらが第1の発話106に合致しないことを決定することを示し得る。故に、これは、ユーザが第2の発話116で第1の発話106を訂正することを意図したことを示し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、基準環境雑音レベルを測定し得る。いくつかの実施形態では、基準環境雑音レベルを測定するために、ユーザ入力デバイスは、ユーザがいかなる入力も話していないときに、基準オーディオ録音を捕捉し得る。メディアガイドアプリケーションは、基準オーディオ録音の中の平均出力を測定することによって、本基準オーディオ録音の中の基準環境雑音レベルを決定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の発話106が受信されている間の環境雑音レベルを測定し得る。いくつかの実施形態では、第1の発話106が受信されている間の環境雑音レベルを測定するために、ユーザ入力デバイスは、米国特許出願公開第2005/0182504号および米国特許出願公開第2008/0134866号で議論されるもの等の任意の公知の技法を使用して、第1の発話106が受信されているときにオーディオ録音を捕捉し、オーディオ録音の中の音声を除外し得る。メディアガイドアプリケーションは、次いで、オーディオ録音の中の残留信号の平均出力を測定し、本オーディオ録音の中の環境雑音レベルを決定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、第1の発話106が受信されている間の環境雑音レベルと基準環境雑音レベルとの間の環境雑音レベル差を閾値環境雑音レベルと比較し得る。いくつかの実施形態では、第1の発話106が受信されている間の環境雑音レベルと基準環境雑音レベルとの間の環境雑音レベル差を閾値環境雑音レベルと比較するステップに基づいて、メディアガイドアプリケーションは、環境雑音レベル差が閾値環境雑音レベルを上回ることを決定し得る。例えば、環境雑音レベル差が0.1mWであり、閾値環境雑音レベルが0.01mWである場合、メディアガイドアプリケーションは、0.1mWが0.01mWを上回ることを決定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、環境雑音レベル差が閾値環境雑音レベルを上回ることを決定することに基づいて、訂正された入力122を生成し得る。
第1の発話106が受信されるときの環境雑音レベルが基準環境雑音レベルを上回る閾値環境雑音レベルであることを決定することは、ユーザが第2の発話116で第1の入力108のエラーを訂正することを意図したかどうかを決定することに役立ち得る。例えば、第1の発話106が受信されるときの環境雑音レベルが大きい場合には、雑音に起因して、第1の発話106が正確に認識されなかった可能性が高くあり得、ユーザが第2の発話116で第1の入力108のエラーを訂正することを意図した可能性が高くあり得る。
いくつかの実施形態では、メディアガイドアプリケーションは、質問で第1の入力108に応答し、曖昧性を解決し得る。例えば、第1の入力108が「Soxの試合を見せて」である場合、メディアガイドアプリケーションは、Boston Red SoxおよびChicago White Sox(両方ともスポーツのチーム)の両方の検索結果112を表示し得る。メディアガイドアプリケーションはまた、「Boston Red
SoxまたはChicago White Soxという意味でしたか?」等の曖昧性を除去する質問をユーザに提示し得る。ユーザは、「Boston Red Sox」等の第2の発話116でこの曖昧性を除去する質問に応答し得る。メディアガイドアプリケーションが曖昧性を除去する質問を提示した場合において、メディアガイドアプリケーションは、第1の時間110と第2の時間114との間の時間差118にもかかわらず、第2の発話116が第1の入力108を訂正するために使用されるべきではなく、むしろその曖昧性を除去する、または検索結果112をフィルタ処理するために使用されるべきであることを自動的に考慮し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスの加速の差を決定することに基づいて、訂正された入力を生成し得る。いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイス(例えば、ユーザ入力インターフェース510または無線ユーザ通信デバイス606)を介して、第1の発話206を受信し得る。第1の発話206は、例えば、ユーザによって話された言葉を含み得る。第1の発話206は、メディアアセット等の項目の検索を開始することをユーザによって意図され得る。例えば、第1の発話206は、「オースティンについての番組を見せて」であり得る。
いくつかの実施形態では、メディアガイドアプリケーションは、自動発話認識を使用して、第1の発話206に基づいて第1の入力208を決定し得る。例えば、メディアガイドアプリケーションは、Gaikwad, Santosh K., Bharti W. Gawali, and Pravin Yannawar. “A review
on speech recognition technique.” International Journal of Computer Applications 10.3 (2010): 16-24(その開示がその全体として参照することによって本明細書に組み込まれる)に説明されるもの等の公知の自動発話認識技法を使用して、第1の発話206をテキストに変換することによって、第1の入力208を決定し得る。例えば、第1の発話206が「オースティンについての番組を見せて」である場合、メディアガイドアプリケーションは、第1の入力208を「ボストンについての番組を見せて」であると決定し、それによって、第1の発話206の中の「オースティン」を「ボストン」として不正確に認識し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、(例えば、通信ネットワーク614を通してメディアコンテンツソース616またはメディアガイドデータソース618における、もしくは記憶装置508における)データベースから、第1の入力208に基づいて検索結果212を読み出し得る。データベースは、例えば、情報リポジトリを含み得る。情報リポジトリから検索結果212を読み出すために、メディアガイドアプリケーションは、米国特許第8,577,671号(その開示がその全体として参照することによって本明細書に組み込まれる)に説明されるもの等の公知の情報読出技法を使用し得る。いくつかの実施形態では、検索結果212は、1つだけの検索結果を含み得る。
いくつかの実施形態では、メディアガイドアプリケーションは、検索結果212を(例えば、ディスプレイ512上に)表示のために生成し得る。例えば、第1の入力208が「ボストンについての番組を見せて」である場合、メディアガイドアプリケーションは、ボストンで行われているテレビ番組Fringeのリスト項目(例えば、リスト項目308、406、408、410、または412)を読み出し、表示のために生成し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、検索結果212が表示のために生成された第1の時間210を決定し得る。いくつかの実施形態では、メディア
ガイドアプリケーションは、表示画面(例えば、ディスプレイ512)のピクセルに伝送される信号が第1の時間210に続いて最初に変化する時間を検出することによって、第1の時間210を決定し得る。いくつかの実施形態では、表示画面のピクセルに(例えば、処理回路506から)伝送される信号は、表示画面を変化させ、例えば、新しい項目を表示させる。例えば、第1の発話206が受信されるとき、表示画面のピクセルに伝送される信号は、いかなる結果もまだ読み出されていないため変化しなくてもよい。しかしながら、検索結果212が読み出され、表示画面上に表示される準備ができると、表示画面のピクセルに伝送される信号は、検索結果212を表示するために変化し得る。表示画面のピクセルに伝送される信号が変化するときに、第1の発話206が受信された後の初期時間は、表示されている検索結果212を表し得る。したがって、表示画面のピクセルに伝送される信号が変化するときに、第1の発話206が受信された後の初期時間は、検索結果212が表示のために生成された第1の時間210と見なされることができる。いくつかの実施形態では、メディアガイドアプリケーションは、第1の時間210を決定するときに、検索結果212に関連付けられないクロック、カーソル、および他の項目の表示の変化を表す、表示画面のピクセルに伝送される信号の変化を無視し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の時間210におけるユーザ入力デバイスの第1の加速213を測定し得る。いくつかの実施形態では、ユーザ入力デバイスは、携帯電話(例えば、スマートフォン)であり、携帯電話は、内部加速度計を使用して、第1の加速213を決定し得る。いくつかの実施形態では、ユーザ入力デバイスは、タブレットであり、タブレットは、内部加速度計を使用して、第1の加速213を決定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、第1の時間210における3つの空間次元のうちの1つの中のユーザ入力デバイスの加速を測定することによって、ユーザ入力デバイスを介して第1の加速213を測定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の時間210における3つの空間次元内のユーザ入力デバイスの加速の最大値として、第1の加速213を決定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の時間210における3つの空間次元内のユーザ入力デバイスの加速の平均として、第1の加速213を決定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の時間210における3つの空間次元内のユーザ入力デバイスの加速の二乗和の平方根として、第1の加速213を決定し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の発話206を受信するステップに続いて、第2の発話216を受信し得る。第2の発話216は、例えば、ユーザによって話された言葉を含み得る。第2の発話216は、メディアガイドアプリケーションによって不正確に認識された第1の入力208の一部を訂正することをユーザによって意図され得る。例えば、ユーザは、第1の発話206に合致しない検索結果212に基づいて、メディアガイドが第1の発話206の一部を不正確に認識したことを決定し得る。例えば、検索結果212がボストンについての番組を含む場合、ユーザは、メディアガイドアプリケーションが、第1の発話206(「オースティンについての番組を見せて」)に応答して、第1の入力208として「ボストンについての番組を見せて」を不正確に生成したことを決定し得る。故に、第2の発話216は、ユーザが「ボストン」を「オースティン」に訂正することを意図する、「オースティン」であり得る。第2の発話216は、ユーザが第2の発話216で第1の入力208のエラーを訂正することを意図するかどか、またはユーザが、例えば、新しい検索を開始するか、もしくは前もって提示された検索結果212を第2の発話216でフィルタ処理するかどうかという明示的指示が欠如し得る。例えば、第2の発話216は、ユーザが第1の入力208を訂正することを意図するという明示的指示を表し得る、「そうではなくて」または「言おうとしたのは~」等の語句が欠如し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、自動発話認識を使用して、第2の発話216に基づいて第2の入力220を決定し得る。例えば、メディアガイドアプリケーションは、Gaikwad, Santosh K., Bharti W. Gawali, and Pravin Yannawar. “A review
on speech recognition technique.” International Journal of Computer Applications 10.3 (2010): 16-24に説明されるもの等の公知の自動発話認識技法を使用して、第2の発話216をテキストに変換することによって、第2の入力220を決定し得る。例えば、第2の発話216が「オースティン」である場合、メディアガイドアプリケーションは、第2の入力220を「オースティン」であると決定し、それによって、第2の発話216の中の「オースティン」を正確に認識し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、第2の発話216が受信された第2の時間214を決定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の時間210に続く最も早い発音が起こった時間を測定することによって、第2の時間214を決定し得る。例えば、メディアガイドアプリケーションが午前10:00:00に検索結果212を提示し、ユーザからの次の発音が「オースティン」であった場合、メディアガイドアプリケーションは、「オースティン」の中の最初の「Au(オー)」という音が午前10:00:00に起こったことを測定し、午前10:00:00を第2の時間と見なし得る。いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスにおける入力の量が第1の時間210に続く第1の時間に関して閾値量を超えるときを検出することによって、最も早い発音を検出し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の時間210と第2の時間214との間のユーザ入力デバイスの第2の加速217を測定し得る。いくつかの実施形態では、ユーザ入力デバイスは、携帯電話(例えば、スマートフォン)であり、携帯電話は、内部加速度計を使用して、第2の加速217を決定し得る。いくつかの実施形態では、ユーザ入力デバイスは、タブレットであり、タブレットは、内部加速度計を使用して、第2の加速217を決定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、第1の時間210と第2の時間214との間の3つの空間次元のうちの1つの中のユーザ入力デバイスの加速を測定することによって、ユーザ入力デバイスを介して第2の加速217を測定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の時間210と第2の時間214との3つの空間次元内のユーザ入力デバイスの加速の最大値として、第2の加速217を決定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の時間210と第2の時間214との間の3つの空間次元内のユーザ入力デバイスの加速の平均として、第2の加速217を決定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の時間210と第2の時間214との間の3つの空間次元内のユーザ入力デバイスの加速の二乗和の平方根として、第2の加速217を決定し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、第1の時間210と第2の時間214との間のユーザ入力デバイスの最大加速を測定することによって、ユーザ入力デバイスを介して第2の加速217を測定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、第1の時間210と第2の時間214との間のユーザ入力デバイスの平均加速を測定することによって、ユーザ入力デバイスを介して第2の加速217を測定し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、第2の加速217と第1の加速213との間の加速の差218を決定し得る。例えば、第1の加速213が0m/秒であり、第2の加速217が1m/秒である場合、メディアガイドアプリケーションは、加速の差218を1m/秒であると算出し得る。メディアガイドアプリケーションは、第2の加速217から第1の加速213を減算し、随意に、結果の絶対値を求めることによって、加速の差218を算出し得る。加速の差218を算出する際に、メディアガイドアプリケーションは、第1の加速213、第2の加速217、および/または加速の差218を近くの値に丸め得る。
いくつかの実施形態では、第2の加速と第1の加速との間の加速の差218を決定することに基づいて、メディアガイドアプリケーションは、加速の差218を閾値加速と比較し得る。例えば、加速の差218が1m/秒であり、閾値加速が0.25m/秒である場合、メディアガイドアプリケーションは、1m/秒を0.25m/秒と比較し得る。いくつかの実施形態では、閾値加速は、ユーザがユーザ入力デバイスをその口に近づけるときに、ユーザ入力デバイスの平均加速として決定され得る。
いくつかの実施形態では、加速の差218を閾値加速と比較するステップに基づいて、メディアガイドアプリケーションは、加速の差218が閾値加速を上回ることを決定し得る。例えば、加速の差218が1m/秒であり、閾値加速が0.25m/秒である場合、メディアガイドアプリケーションは、1m/秒が0.25m/秒を上回ることを決定し得る。
いくつかの実施形態では、加速の差218が閾値加速未満であることを決定することに基づいて、メディアガイドアプリケーションは、第1の入力208の一部を第2の入力220の一部と置換することによって、第1の入力208に基づいて訂正された入力222を生成し得る。いくつかの実施形態では、メディアガイドアプリケーションは、第1の入力208の一部を第2の入力220全体と置換することによって、第1の入力208に基づいて訂正された入力222を生成し得る。例えば、第1の入力208が「ボストンについての番組を見せて」であり、第2の入力220が「オースティン」である場合、メディアガイドアプリケーションは、「ボストン」を「オースティン」と置換し、「オースティンについての番組を見せて」という訂正された入力222を生成し得る。メディアガイドアプリケーションは、米国特許出願公開第2014/0337370号、米国特許第9,514,743号、および米国特許出願公開第2009/0228273号(それぞれの内容がそれらの全体として参照することによって本明細書に組み込まれる)に説明されるもの等の第1の入力208の一部を第2の入力220の一部と置換するための任意の公知の方法を使用し得る。
検索結果212が提示されるときとユーザが第2の発話216を話すときとの間のユーザ入力デバイスの加速の差218を計算することは、加速の差218が、ユーザが第2の発話216で第1の入力208のエラーを訂正することを意図したかどうかを示し得るため、役立ち得る。第1の入力208のエラーがある場合、ユーザは、ユーザ入力デバイスが第2の発話216をより正確に検出し、第2の発話216を正確に認識する可能性が高いことを可能にする意図を持って、ユーザ入力デバイスを自分の口に近づけ得る。ユーザ入力デバイスをユーザの口に近づけるという運動は、閾値加速を超えるユーザ入力デバイスの加速の差として検出されることができる。
いくつかの実施形態では、メディアガイドアプリケーションは、検索結果212をブラウズすることに関連付けられたいかなる入力も、第1の時間210と第2の時間214との間でユーザ入力デバイスを介して受信されなかったことを決定することに基づいて、訂正された入力122を生成し得る。例えば、検索結果212をブラウズすることに関連付
けられる入力は、表示された検索結果212を上または下にスクロールするための入力、検索結果212を開くための入力、検索結果212を再生するための入力、および検索結果212の説明を読むための入力を含み得る。メディアガイドアプリケーションは、第1の時間210と第2の時間214との間でユーザ入力デバイスを介して受信される入力を監視し、受信された入力のタイプのうちのいずれも検索結果212をブラウズすることに関連付けられないことを決定し得る。
検索結果212をブラウズすることに関連付けられたいかなる入力も、ユーザが第2の発話216を話した第2の時間214とメディアガイドアプリケーションが第1の入力208の検索結果212を表示のために生成した第1の時間210との間でユーザ入力デバイスを介して受信されなかったことを決定することは、本決定が、ユーザが第2の発話216で第1の入力208のエラーを訂正することを意図したかどうかを示し得るため、役立ち得る。第1の発話206が第1の入力208を生成する際に正確に認識された場合、ユーザは、検索結果212が提示された後に、検索結果212をブラウズすることに関連付けられる入力を入力し得る。例えば、第1の発話206が正確に認識された場合、ユーザは、検索結果212をスクロールする、検索結果212の説明を読む、検索結果212を開く、検索結果212を再生する等し得る。しかしながら、第1の発話206の一部が不正確に認識された場合、ユーザは、検索結果212が第1の発話206の中で要求されたものに合致しないことに気付き得る。故に、ユーザは、検索結果212をスクロールする、検索結果212の説明を読む、検索結果212を開く、検索結果212を再生する等をしなくてもよい。代わりに、ユーザは、第2の発話216を話し、検索結果212をブラウズすることに関連付けられるユーザ入力デバイスを介していかなる入力も入力することなく、検索結果212を見た後に不正確に認識された第1の発話206を訂正し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の時間210と第2の時間214との間で、ユーザの顔の画像を捕捉し得る。いくつかの実施形態では、ユーザ入力デバイスは、ユーザ入力デバイスの中に含まれるカメラを使用して、ユーザの顔の画像を捕捉し得る。例えば、ユーザ入力デバイスが携帯電話である場合、携帯電話は、そのカメラを使用して、ユーザの顔の画像を捕捉し得る。いくつかの実施形態では、ユーザは、テレビ上でメディアアセットを視聴していることもあり、テレビは、統合型カメラを有し、カメラを使用してユーザの顔の画像を捕捉し得る。いくつかの実施形態では、ユーザは、コンピュータ上でメディアアセットを視聴していることもあり、コンピュータは、統合型カメラを有し、カメラを使用してユーザの顔の画像を捕捉し得る。いくつかの実施形態では、メディアガイドアプリケーションは、画像内のユーザの顔が不満な感情に関連付けられていることを決定することに基づいて、訂正された入力222を生成し得る。いくつかの実施形態では、画像内のユーザの顔が不満な感情に関連付けられていることを決定するために、メディアガイドアプリケーションは、顔認識技法を使用してユーザの顔の画像を分析し、怒りおよび悲しみ等の表情を検出し得る。メディアガイドアプリケーションは、Kulkarni, Saket S., Narender P. Reddy, and S. I. Hariharan. “Facial expression (mood) recognition from
facial images using committee neural networks.” Biomedical Engineering Online 8.1 (2009): 16(その内容がその全体として参照することによって本明細書に組み込まれる)の中の方法等の顔の画像内で表情を検出する任意の方法を使用し得る。いくつかの実施形態では、メディアガイドアプリケーションは、不満な顔の表情を検出することに加えて/その代わりに、不平を言うこと等の不満な音を検出し得る。
画像内のユーザの顔が不満な感情に関連付けられていることを決定することは、本決定が、ユーザが第2の発話216で第1の入力208のエラーを訂正することを意図したか
どうかを示し得るため、役立ち得る。第1の発話206が不正確に認識され、提示される検索結果212が、ユーザが意図したものに合致しない場合、ユーザは、不満になり得、したがって、ユーザの顔は、不満な表情を呈し得る。第1の発話206が正確に認識され、提示される検索結果212が、ユーザが意図したものに合致する場合、ユーザは、満足し得、したがって、ユーザの顔は、不満な表情を呈さないこともある。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の発話206が受信されている間に、ユーザの顔の第1の画像を捕捉し、第1の画像内のユーザの顔の第1の相対サイズを決定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第2の発話216が受信されている間に、ユーザの顔の第2の画像を捕捉し、第2の画像内のユーザの顔の第2の相対サイズを決定し得る。いくつかの実施形態では、ユーザ入力デバイスは、ユーザ入力デバイスの中に含まれるカメラを使用して、ユーザの顔の画像を捕捉し得る。例えば、ユーザ入力デバイスが携帯電話である場合、携帯電話は、そのカメラを使用して、ユーザの顔の画像を捕捉し得る。いくつかの実施形態では、ユーザは、テレビ上でメディアアセットを視聴していることもあり、テレビは、統合型カメラを有し、カメラを使用してユーザの顔の画像を捕捉し得る。いくつかの実施形態では、ユーザは、コンピュータ上でメディアアセットを視聴していることもあり、コンピュータは、統合型カメラを有し、カメラを使用してユーザの顔の画像を捕捉し得る。いくつかの実施形態では、メディアガイドアプリケーションは、画像内のユーザの顔によって占有されるピクセルの数を数えることによって、画像内のユーザの顔の相対サイズを計算し得る。第1および第2の画像内のユーザの顔の相対サイズを決定するために、メディアガイドアプリケーションは、図9-10を参照して説明される方法を使用し得る。いくつかの実施形態では、メディアガイドアプリケーションは、ユーザの顔の第1の相対サイズとユーザの顔の第2の相対サイズとの間の相対サイズ差を閾値相対サイズと比較し得る。メディアガイドアプリケーションは、第2の相対サイズから第1の相対サイズを減算することによって相対サイズ差を算出し得る。例えば、第1の相対サイズが3メガピクセルであり、第2の相対サイズが4メガピクセルである場合、メディアガイドアプリケーションは、相対サイズ差を1メガピクセルであると算出し得る。いくつかの実施形態では、メディアガイドアプリケーションは、相対サイズ差を閾値相対サイズと比較するステップに基づいて、相対サイズ差が閾値相対サイズを上回ることを決定し得る。例えば、相対サイズ差が1メガピクセルであり、閾値相対サイズが0.5メガピクセルである場合、メディアガイドアプリケーションは、相対サイズ差が閾値相対サイズを上回ることを決定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、相対サイズ差が閾値相対サイズを上回ることを決定することに基づいて、訂正された入力222を生成し得る。
故に、前述の方法は、第1の発話206が受信されている間に撮影される画像内のユーザの顔の相対サイズが、第2の発話216が受信されている間に撮影される画像内のユーザの顔の相対サイズよりも小さいかどうかを決定する。これは、ユーザが第2の発話216で第1の入力208のエラーを訂正することを意図したかどうかを決定することに役立ち得る。ユーザが第2の発話216で第1の入力208のエラーを訂正することを意図した場合、ユーザは、自分の口をユーザ入力デバイスに近づけようとし得るため、ユーザ入力デバイスは、第2の発話216をより正確に検出することができ、第2の発話216を正確に認識する可能性が高い。ユーザが自分の顔をユーザ入力デバイスに近づける場合、これは、第1の発話206が受信されている間に捕捉される画像内のユーザの顔のサイズと対比して、第2の発話216が受信されている間に捕捉される画像内のユーザの顔のサイズの増加として検出されることができる。
いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、基準環境雑音レベルを測定し得る。いくつかの実施形態では、基準環境雑音レベ
ルを測定するために、ユーザ入力デバイスは、ユーザがいかなる入力も話していないときに、基準オーディオ録音を捕捉し得る。メディアガイドアプリケーションは、基準オーディオ録音の中の平均出力を測定することによって、本基準オーディオ録音の中の基準環境雑音レベルを決定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、ユーザ入力デバイスを介して、第1の発話206が受信されている間の環境雑音レベルを測定し得る。いくつかの実施形態では、第1の発話206が受信されている間の環境雑音レベルを測定するために、ユーザ入力デバイスは、米国特許出願公開第2005/0182504号および米国特許出願公開第2008/0134866号で議論されるもの等の任意の公知の技法を使用して、第1の発話206が受信されているときにオーディオ録音を捕捉し、オーディオ録音の中の音声を除外し得る。メディアガイドアプリケーションは、次いで、オーディオ録音の中の残留信号の平均出力を測定し、本オーディオ録音の中の環境雑音レベルを決定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、第1の発話206が受信されている間の環境雑音レベルと基準環境雑音レベルとの間の環境雑音レベル差を閾値環境雑音レベルと比較し得る。いくつかの実施形態では、第1の発話106が受信されている間の環境雑音レベルと基準環境雑音レベルとの間の環境雑音レベル差を閾値環境雑音レベルと比較するステップに基づいて、メディアガイドアプリケーションは、環境雑音レベル差が閾値環境雑音レベルを上回ることを決定し得る。例えば、環境雑音レベル差が0.1mWであり、閾値環境雑音レベルが0.01mWである場合、メディアガイドアプリケーションは、0.1mWが0.01mWを上回ることを決定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、環境雑音レベル差が閾値環境雑音レベルを上回ることを決定することに基づいて、訂正された入力222を生成し得る。
第1の発話206が受信されるときの環境雑音レベルが基準環境雑音レベルを上回る閾値環境雑音レベルであることを決定することは、ユーザが第2の発話216で第1の発話208のエラーを訂正することを意図したかどうかを決定することに役立ち得る。例えば、第1の発話206が受信されるときの環境雑音レベルが大きい場合には、雑音に起因して、第1の発話206が正確に認識されなかった可能性が高くあり得、ユーザが第2の発話216で第1の入力208のエラーを訂正することを意図した可能性が高くあり得る。
上記で議論されるように、メディアガイドアプリケーションは、(1)第1の時間と第2の時間との間の差が閾値未満であること、(2)検索結果をブラウズすることに関連付けられたいかなる入力も、第1の時間と第2の時間との間に受信されないこと、(3)第1の時間と第2の時間との間に捕捉される画像内のユーザの顔が不満な感情に関連付けられていること、(4)第2の発話が受信されている間に捕捉される画像内のユーザの顔の相対サイズが、第1の発話が受信されている間に捕捉される画像内のユーザの顔の相対サイズを上回ること、(5)第1の発話が受信されているときの環境雑音レベルと基準環境雑音レベルとの間の差が閾値環境雑音レベルを上回ること、および(6)第1の加速と第2の加速との間の差が閾値加速を上回ることを含む、異なる条件に基づいて、訂正された入力を生成し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、他の条件を使用し、訂正された入力を生成するかどうかを決定し得る。ユーザが第1の入力を訂正するときに第2の発話をよりゆっくりと話し得るため、いくつかの実施形態では、メディアガイドアプリケーションは、第2の発話の各言葉を発音するためにユーザが要した時間を測定し、第2の発話の中の言葉の平均発音時間を計算し得る。いくつかの実施形態では、メディアガイドアプリケーションは、平均発音時間が閾値発音時間を上回ることに基づいて、訂正された入力を生成し得る。いくつかの実施形態では、メディアガイドアプリケーションは、第1の発話の中の言葉の平均発音時間を計算し、第2の発話の平均発音時間が第1の発話の中の言葉の平均発音時間を上回ることに基づいて、訂正された入力を生成し得る。
ユーザが第1の入力を訂正するときにより高いピッチで第2の発話を話し得るため、いくつかの実施形態では、メディアガイドアプリケーションは、第2の発話の中の平均エネルギーレベルを測定し得る。いくつかの実施形態では、メディアガイドアプリケーションは、第2の発話の中の平均エネルギーレベルが閾値エネルギーレベルを上回ることに基づいて、訂正された入力を生成し得る。いくつかの実施形態では、メディアガイドアプリケーションは、第1の発話の中の平均エネルギーレベルを測定し、第2の発話の平均発音時間が第1の発話の中の言葉の平均発音時間を上回ることに基づいて、平均発音時間に基づいて訂正された入力を生成し得る。いくつかの実施形態では、メディアガイドアプリケーションは、発話の中のオーディオのピーク値を計算すること、または発話の中の二乗平均平方根値を計算することによって、平均エネルギーレベルを測定し得る。
いくつかの実施形態では、メディアガイドアプリケーションは、上記の条件のうちの1つが満たされていることに基づいて、訂正された入力を生成し得る。例えば、メディアガイドアプリケーションは、条件(1)が満たされていることに基づいて、訂正された入力を生成し得る。例えば、メディアガイドアプリケーションは、条件(6)が満たされていることに基づいて、訂正された入力を生成し得る。いくつかの実施形態では、メディアガイドアプリケーションは、上記の条件のうちの2つが満たされていることに基づいて、訂正された入力を生成し得る。例えば、メディアガイドアプリケーションは、条件(1)および(2)が満たされていること、または条件(1)および(3)が満たされていること、もしくは条件(1)および(4)が満たされていること、または条件(1)および(5)が満たされていること、もしくは条件(6)および(2)が満たされていること、または条件(6)および(3)が満たされていること、もしくは条件(6)および(4)が満たされていること、または条件(6)および(5)が満たされていること、もしくは条件(1)および(6)が満たされていることに基づいて、訂正された入力を生成し得る。いくつかの実施形態では、メディアガイドアプリケーションは、上記の条件のうちの2つを上回るものが満たされていることに基づいて、訂正された入力を生成し得る。いくつかの実施形態では、メディアガイドアプリケーションは、2つの条件のうちの1つが満たされていること、または任意の他の数の条件の間からの任意の数の条件が満たされていることに基づいて、訂正された入力を生成し得る。
任意の所与のコンテンツ配信システムでユーザに利用可能なコンテンツの量が、膨大であり得る。その結果、多くのユーザは、ユーザがコンテンツの選択を効率的にナビゲートし、所望し得るコンテンツを容易に識別することを可能にする、インターフェースを通したメディアガイドの形態を所望している。そのようなガイドを提供するアプリケーションは、本明細書では、双方向メディアガイドアプリケーションと称されるが、時として、メディアガイドアプリケーションまたはガイドアプリケーションと称されることもある。
双方向メディアガイドアプリケーションは、ガイドを提供するコンテンツに応じて、種々の形態をとってもよい。1つの典型的なタイプのメディアガイドアプリケーションは、双方向テレビ番組ガイドである。双方向テレビ番組ガイド(時として、電子番組ガイドと称される)は、とりわけ、ユーザが、多くのタイプのコンテンツまたはメディアアセット間をナビゲートし、それを特定することを可能にする、周知のガイドアプリケーションである。双方向メディアガイドアプリケーションは、ユーザが、コンテンツ間をナビゲートし、それを特定および選択することを可能にする、グラフィカルユーザインターフェース画面を生成し得る。本明細書で参照されるように、用語「メディアアセット」および「コンテンツ」は、例えば、テレビ番組、ならびに有料番組、オンデマンド番組(ビデオオンデマンド(VOD)システムにおけるような)、インターネットコンテンツ(例えば、ストリーミングコンテンツ、ダウンロード可能コンテンツ、ウェブキャスト等)、ビデオクリップ、オーディオ、コンテンツ情報、写真、回転画像、ドキュメント、再生リスト項目
、ウェブサイト、記事、書籍、電子書籍、ブログ、チャットセッション、ソーシャルメディア、アプリケーション、ゲーム、および/または任意の他のメディアもしくはマルチメディア、ならびに/もしくはそれらの組み合わせ等の電子的に消費可能なユーザアセットを意味すると理解されたい。ガイドアプリケーションはまた、ユーザが、コンテンツ間をナビゲートし、それを特定することを可能にする。本明細書で参照されるように、用語「マルチメディア」は、上記で説明される少なくとも2つの異なるコンテンツ形態、例えば、テキスト、オーディオ、画像、ビデオ、または双方向コンテンツ形態を利用する、コンテンツを意味すると理解されたい。コンテンツは、ユーザ機器デバイスによって、録画、再生、表示、またはアクセスされ得るが、また、ライブパーフォーマンスの一部であることもできる。
本明細書で議論される実施形態のいずれかを実施するためのメディアガイドアプリケーションおよび/または任意の命令は、コンピュータ可読媒体上にエンコードされ得る。コンピュータ可読媒体は、データを記憶することが可能な任意の媒体を含む。コンピュータ可読媒体は、限定ではないが、電気もしくは電磁信号の伝搬を含む、一過性であり得る、または限定ではないが、ハードディスク、フロッピー(登録商標)ディスク、USBドライブ、DVD、CD、メディアカード、レジスタメモリ、プロセッサキャッシュ、ランダムアクセスメモリ(「RAM」)等の揮発性および不揮発性コンピュータメモリもしくは記憶デバイスを含む、非一過性であり得る。
インターネット、モバイルコンピューティング、および高速無線ネットワークの出現に伴って、ユーザは、従来は使用しなかったユーザ機器デバイス上でメディアにアクセスするようになっている。本明細書で参照されるように、語句「ユーザ機器デバイス」、「ユーザ機器」、「ユーザデバイス」、「電子デバイス」、「電子機器」、「メディア機器デバイス」、または「メディアデバイス」は、テレビ、スマートTV、セットトップボックス、衛星テレビに対応するための統合型受信機デコーダ(IRD)、デジタル記憶デバイス、デジタルメディア受信機(DMR)、デジタルメディアアダプタ(DMA)、ストリーミングメディアデバイス、DVDプレーヤ、DVDレコーダ、接続型DVD、ローカルメディアサーバ、BLU-RAY(登録商標)プレーヤ、BLU-RAY(登録商標)レコーダ、パーソナルコンピュータ(PC)、ラップトップコンピュータ、タブレットコンピュータ、ウェブTVボックス、パーソナルコンピュータテレビ(PC/TV)、PCメディアサーバ、PCメディアセンター、ハンドヘルドコンピュータ、固定電話、携帯情報端末(PDA)、携帯電話、ポータブルビデオプレーヤ、ポータブル音楽プレーヤ、ポータブルゲーム機、スマートフォン、または任意の他のテレビ機器、コンピューティング機器、もしくは無線デバイス、および/またはそれらの組み合わせ等の上記で説明されるコンテンツにアクセスするための任意のデバイスを意味すると理解されたい。いくつかの実施形態では、ユーザ機器デバイスは、正面画面および裏面画面、複数の正面画面、または複数の角度付き画面を有し得る。いくつかの実施形態では、ユーザ機器デバイスは、正面カメラおよび/または裏面カメラを有し得る。これらのユーザ機器デバイス上で、ユーザは、テレビを通して利用可能な同一のコンテンツ間をナビゲートし、それを特定することが可能であり得る。その結果として、メディアガイドは、これらのデバイス上でも利用可能であり得る。提供されるガイドは、テレビのみを通して利用可能なコンテンツ、他のタイプのユーザ機器デバイスのうちの1つ以上のもののみを通して利用可能なコンテンツ、もしくはテレビおよび他のタイプのユーザ機器デバイスのうちの1つ以上のものの両方を通して利用可能なコンテンツのためのものであり得る。メディアガイドアプリケーションは、ユーザ機器デバイス上で、オンラインアプリケーション(すなわち、ウェブサイト上で提供される)として、または独立型アプリケーションもしくはクライアントとして提供され得る。メディアガイドアプリケーションを実装し得る、種々のデバイスおよびプラットフォームは、下記でより詳細に説明される。
メディアガイドアプリケーションの機能のうちの1つは、メディアガイドデータをユーザに提供することである。本明細書で参照されるように、語句「メディアガイドデータ」または「ガイドデータ」は、コンテンツに関連する任意のデータもしくはガイドアプリケーションを動作させる際に使用されるデータを意味すると理解されたい。例えば、ガイドデータは、番組情報、ガイドアプリケーション設定、ユーザ選好、ユーザプロファイル情報、メディアリスト項目、メディア関連情報(例えば、放送時間、放送チャネル、タイトル、内容、評価情報(例えば、ペアレンタルコントロール評価、批評家の評価等)、ジャンルまたはカテゴリ情報、俳優情報、放送会社またはプロバイダのロゴのロゴデータ等)、メディア形式(例えば、標準解像度、高解像度、3D等)、オンデマンド情報、ブログ、ウェブサイト、およびユーザが所望のコンテンツ選択間をナビゲートし、それを特定するために役立つ、任意の他のタイプのガイドデータを含み得る。
図3-4は、メディアガイドデータを提供するために使用され得る、例証的表示画面を示す。図3-4に示される表示画面は、任意の好適なユーザ機器デバイスまたはプラットフォーム上に実装され得る。図3-4の表示は、フル画面表示として図示されているが、それらはまた、表示されているコンテンツ上に完全または部分的にオーバーレイされ得る。ユーザは、表示画面内に提供された選択可能なオプション(例えば、メニューオプション、リスト項目オプション、アイコン、ハイパーリンク等)を選択することによって、またはリモートコントロールもしくは他のユーザ入力インターフェースまたはデバイス上の専用ボタン(例えば、「ガイド」ボタン)を押下することによって、コンテンツ情報にアクセスする要望を示し得る。ユーザの指示に応答して、メディアガイドアプリケーションは、グリッド内の時間およびチャネル別、時間別、チャネル別、ソース別、コンテンツタイプ別、カテゴリ別(例えば、映画、スポーツ、ニュース、子供向け、または他の番組カテゴリ)、または他の所定、ユーザ定義、もしくは他の編成基準等のいくつかの方法のうちの1つにおいて編成されたメディアガイドデータを表示画面に提供し得る。
図3は、単一表示内の異なるタイプのコンテンツへのアクセスも可能にする、時間およびチャネル別に配列された番組リスト項目表示300の例証的グリッドを示す。表示300は、以下、すなわち、(1)各チャネル/コンテンツタイプ識別子(列内のセル)が利用可能な異なるチャネルまたはコンテンツのタイプを識別する、チャネル/コンテンツタイプ識別子304の列、および(2)各時間識別子(行内のセル)が番組の時間帯を識別する、時間識別子306の行を伴うグリッド302を含み得る。グリッド302はまた、番組リスト項目308等の番組リスト項目のセルも含み、各リスト項目は、リスト項目の関連チャネルおよび時間の上に提供される、番組のタイトルを提供する。ユーザ入力デバイスを用いて、ユーザは、ハイライト領域310を移動させることによって番組リスト項目を選択することができる。ハイライト領域310によって選択される番組リスト項目に関する情報が、番組情報領域312内に提供され得る。領域312は、例えば、番組タイトル、番組内容、番組が提供される時間(該当する場合)、番組が放送されるチャネル(該当する場合)、番組の評価、および他の所望の情報を含み得る。
線形番組(例えば、所定の時間に複数のユーザ機器デバイスに伝送されるようにスケジュールされ、スケジュールに従って提供されるコンテンツ)にアクセスを提供することに加えて、メディアガイドアプリケーションはまた、非線形番組(例えば、任意の時間においてユーザ機器デバイスにアクセス可能であって、スケジュールに従って提供されないコンテンツ)へのアクセスも提供する。非線形番組は、オンデマンドコンテンツ(例えば、VOD)、インターネットコンテンツ(例えば、ストリーミングメディア、ダウンロード可能メディア等)、ローカルで記憶されたコンテンツ(例えば、上記で説明される任意のユーザ機器デバイスまたは他の記憶デバイス上に記憶されたコンテンツ)、または時間的制約のない他のコンテンツを含む、異なるコンテンツソースからのコンテンツを含み得る。オンデマンドコンテンツは、特定のコンテンツプロバイダ(例えば、「The Sop
ranos」および「Curb Your Enthusiasm」を提供するHBO On Demand)によって提供される映画または任意の他のコンテンツを含み得る。HBO ON DEMANDは、Time Warner Company L.P. et al.によって所有されるサービスマークであり、THE SOPRANOSおよびCURB YOUR ENTHUSIASMは、Home Box Office, Inc.によって所有される商標である。インターネットコンテンツは、チャットセッションまたはウェブキャスト等のウェブイベント、もしくはインターネットウェブサイトまたは他のインターネットアクセス(例えば、FTP)を通してストリーミングコンテンツまたはダウンロード可能なコンテンツとしてオンデマンドで利用可能なコンテンツを含み得る。
グリッド302は、オンデマンドリスト項目314、録画コンテンツリスト項目316、およびインターネットコンテンツリスト項目318を含む、非線形番組のメディアガイドデータを提供し得る。異なるタイプのコンテンツソースからのコンテンツのためのメディアガイドデータを組み合わせる表示は、時として、「混合メディア」表示と称されることもある。表示300とは異なる、表示され得るメディアガイドデータのタイプの種々の順列は、ユーザ選択またはガイドアプリケーション定義に基づき得る(例えば、録画および放送リスト項目のみの表示、オンデマンドおよび放送リスト項目のみの表示等)。例証されるように、リスト項目314、316、および318は、これらのリスト項目の選択が、それぞれ、オンデマンドリスト項目、録画リスト項目、またはインターネットリスト項目専用の表示へのアクセスを提供し得ることを示すように、グリッド302内に表示される時間帯全体に及ぶものとして示されている。いくつかの実施形態では、これらのコンテンツタイプのリスト項目は、グリッド302に直接含まれ得る。ユーザがナビゲーションアイコン320のうちの1つを選択することに応答して、付加的メディアガイドデータが表示され得る(ユーザ入力デバイス上の矢印キーを押下することは、ナビゲーションアイコン320を選択することと同様に表示に影響を及ぼし得る)。
表示300はまた、ビデオ領域322、およびオプション領域326を含み得る。ビデオ領域322は、ユーザが、ユーザに現在利用可能である、今後利用可能となる、もしくは利用可能であった番組を視聴および/またはプレビューすることを可能にし得る。ビデオ領域322のコンテンツは、グリッド302に表示されるリスト項目のうちの1つに対応する、またはそれから独立し得る。ビデオ領域を含むグリッド表示は、時として、ピクチャインガイド(PIG)表示と称されることもある。PIG表示およびそれらの機能性は、2003年5月13日発行のSatterfield et al.の米国特許第6,564,378号、および2001年5月29日発行のYuen et al.の米国特許第6,239,794号(それらの全体として参照することによって本明細書に組み込まれる)でより詳細に説明されている。PIG表示は、本明細書に説明される実施形態の他のメディアガイドアプリケーション表示画面に含まれ得る。
オプション領域326は、ユーザが、異なるタイプのコンテンツ、メディアガイドアプリケーション表示、および/またはメディアガイドアプリケーション特徴にアクセスすることを可能にし得る。オプション領域326は、表示300(および本明細書に説明される他の表示画面)の一部であり得る、または画面上のオプションを選択すること、もしくはユーザ入力デバイス上の専用または割当可能ボタンを押下することによって、ユーザによって呼び出され得る。オプション領域326内の選択可能オプションは、グリッド302内の番組リスト項目に関連する特徴に関し得る、またはメインメニュー表示から利用可能なオプションを含み得る。番組リスト項目に関連する特徴は、他の放送時間または番組の受信方法の検索、番組の録画、番組の連続録画の有効化、番組および/またはチャネルをお気に入りとして設定、番組の購入、もしくは他の特徴を含み得る。メインメニュー表示から利用可能なオプションは、検索オプション、VODオプション、ペアレンタルコン
トロールオプション、インターネットオプション、クラウドベースのオプション、デバイス同期オプション、第2の画面デバイスオプション、種々のタイプのメディアガイドデータ表示にアクセスするオプション、プレミアムサービスをサブスクライブするオプション、ユーザのプロファイルを編集するオプション、ブラウザオーバーレイにアクセスするオプション、または他のオプションを含み得る。
メディアガイドアプリケーションは、ユーザの選好に基づいて個人化され得る。個人化されたメディアガイドアプリケーションは、ユーザが、メディアガイドアプリケーションを用いて個人化された「体験」を生成するように、表示および特徴をカスタマイズすることを可能にする。この個人化された体験は、ユーザがこれらのカスタマイズを入力することを可能にすることによって、および/または種々のユーザ選好を決定するようにメディアガイドアプリケーションがユーザアクティビティを監視することによって、生成され得る。ユーザは、ログインすることによって、または別様にガイドアプリケーションに対して自らを識別することによって、それらの個人化されたガイドアプリケーションにアクセスし得る。メディアガイドアプリケーションのカスタマイズは、ユーザプロファイルに従って作成され得る。カスタマイズは、提示方式(例えば、表示の色方式、テキストのフォントサイズ等)、表示されるコンテンツリスト項目の側面(例えば、HDTV番組のみまたは3D番組のみ、お気に入りチャネル選択に基づいたユーザ指定の放送チャネル、チャネルの表示の並び替え、推奨コンテンツ等)、所望の録画特徴(例えば、特定のユーザに対する録画または連続録画、録画品質等)、ペアレンタルコントロール設定、インターネットコンテンツのカスタマイズされた提示(例えば、ソーシャルメディアコンテンツ、電子メール、電子的に配信された記事等の提示)、および他の所望のカスタマイズを変更させるステップを含み得る。
メディアガイドアプリケーションは、ユーザが、ユーザプロファイル情報を提供することを可能にし得る、またはユーザプロファイル情報を自動的にコンパイルし得る。メディアガイドアプリケーションは、例えば、ユーザがアクセスするコンテンツ、および/またはユーザがガイドアプリケーションと行い得る他の相互作用を監視し得る。加えて、メディアガイドアプリケーションは、特定のユーザに関連する他のユーザプロファイルの全体または一部を取得し(例えば、www.Tivo.com等のユーザがアクセスするインターネット上の他のウェブサイトから、ユーザがアクセスする他のメディアガイドアプリケーションから、ユーザがアクセスする他の双方向アプリケーションから、ユーザの別のユーザ機器デバイスから等)、および/またはメディアガイドアプリケーションがアクセスし得る他のソースから、ユーザについての情報を取得し得る。結果として、ユーザは、ユーザの異なるユーザ機器デバイスにわたって、統一されたガイドアプリケーション体験を提供されることができる。本タイプのユーザ体験は、図6に関連して下記でより詳細に説明される。付加的な個人化されたメディアガイドアプリケーション特徴は、2005年7月11日出願のEllis et al.の米国特許出願第2005/0251827号、2007年1月16日出願のBoyer et al.の米国特許第7,165,098号、および2002年2月21日出願のEllis et al.の米国特許出願第2002/0174430号(それらの全体として参照することによって本明細書に組み込まれる)でより詳細に説明されている。
メディアガイドを提供するための別の表示配列が、図4に示されている。ビデオモザイク表示400は、コンテンツのタイプ、ジャンル、および/または他の編成基準に基づいて編成されたコンテンツ情報のための選択可能オプション402を含む。表示400では、テレビリスト項目オプション404が、選択され、したがって、リスト項目406、408、410、および412を放送番組リスト項目として提供する。表示400では、リスト項目は、カバーアート、コンテンツからの静止画像、ビデオクリップのプレビュー、コンテンツからのライブビデオ、またはリスト項目中のメディアガイドデータによって記
述されているコンテンツをユーザに示す他のタイプのコンテンツを含む、グラフィック画像を提供し得る。グラフィックリスト項目はまた、それぞれ、リスト項目に関連付けられるコンテンツに関するさらなる情報を提供するように、テキストを伴ってもよい。例えば、リスト項目408は、メディア部分414およびテキスト部分416を含む、2つ以上の部分を含み得る。メディア部分414および/またはテキスト部分416は、コンテンツをフル画面で視聴するように、またはメディア部分414に表示されるコンテンツに関連する情報を閲覧するように(例えば、ビデオが表示されるチャネルのリスト項目を閲覧するように)、選択可能であり得る。
表示400内のリスト項目は、異なるサイズである(すなわち、リスト項目406は、リスト項目408、410、および412より大きい)が、所望に応じて、全てのリスト項目が同一のサイズであり得る。リスト項目は、コンテンツプロバイダの所望に応じて、またはユーザ選好に基づいて、ユーザの関心の程度を示すように、またはあるコンテンツを強調するように、異なるサイズであるか、またはグラフィック的に強調され得る。コンテンツリスト項目をグラフィック的に強調するための種々のシステムおよび方法は、例えば、2009年11月12日に出願されたYatesの米国特許出願公開第2010/0153885号(その全体として参照することによって本明細書に組み込まれる)で議論されている。
ユーザは、そのユーザ機器デバイスのうちの1つ以上のものから、コンテンツおよびメディアガイドアプリケーション(ならびに上記および下記で説明されるその表示画面)にアクセスし得る。図5は、例証的ユーザ機器デバイス500の汎用実施形態を示す。ユーザ機器デバイスのより具体的な実装は、図6に関連して下記で議論される。ユーザ機器デバイス500は、入出力(以下「I/O」)パス502を介して、コンテンツおよびデータを受信し得る。I/Oパス502は、処理回路506および記憶装置508を含む制御回路504に、コンテンツ(例えば、放送番組、オンデマンド番組、インターネットコンテンツ、ローカルエリアネットワーク(LAN)または広域ネットワーク(WAN)を経由して利用可能なコンテンツ、および/または他のコンテンツ)およびデータを提供し得る。制御回路504は、I/Oパス502を使用して、コマンド、要求、および他の好適なデータを送受信するために使用され得る。I/Oパス502は、制御回路504(具体的には、処理回路506)を1つ以上の通信パス(下記に説明される)に接続し得る。I/O機能は、これらの通信パスのうちの1つ以上のものによって提供され得るが、図面が複雑になり過ぎることを回避するため、図5では単一パスとして示されている。
制御回路504は、処理回路506等の任意の好適な処理回路に基づき得る。本明細書で参照されるように、処理回路は、1つ以上のマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、プログラマブル論理デバイス、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)等に基づく回路を意味すると理解され、マルチコアプロセッサ(例えば、デュアルコア、クアドコア、ヘクサコア、または任意の好適な数のコア)またはスーパーコンピュータを含み得る。いくつかの実施形態では、処理回路は、複数の別個のプロセッサまたは処理ユニット、例えば、複数の同一のタイプの処理ユニット(例えば、2つのIntel Core i7プロセッサ)または複数の異なるプロセッサ(例えば、Intel Core i5プロセッサおよびIntel Core i7プロセッサ)にわたって分散され得る。いくつかの実施形態では、制御回路504は、メモリ(すなわち、記憶装置508)に記憶されたメディアガイドアプリケーションに対する命令を実行する。具体的には、制御回路504は、メディアガイドアプリケーションによって、上記および下記で議論される機能を果たすように命令され得る。例えば、メディアガイドアプリケーションは、制御回路504に、メディアガイド表示を生成するための命令を提供し得る。いくつかの実装では、制御回路504によって実施される任意のアクションは、メディアガイドアプリケーションから受信される
命令に基づき得る。
クライアントサーバベースの実施形態では、制御回路504は、ガイドアプリケーションサーバまたは他のネットワークもしくはサーバと通信するための好適な通信回路を含み得る。上記に述べられる機能性を実施するための命令は、ガイドアプリケーションサーバ上に記憶され得る。通信回路は、ケーブルモデム、総合デジタル通信網(ISDN)モデム、デジタルサブスクライバ回線(DSL)モデム、電話モデム、イーサネット(登録商標)カード、または他の機器との通信用の無線モデム、もしくは任意の他の好適な通信回路を含み得る。そのような通信は、インターネットまたは任意の他の好適な通信ネットワークもしくはパスを伴ってもよい(図6に関連してより詳細に説明される)。加えて、通信回路は、ユーザ機器デバイスのピアツーピア通信、または相互から遠隔の場所にあるユーザ機器デバイスの通信を可能にする回路を含み得る(下記でより詳細に説明される)。
メモリは、制御回路504の一部である、記憶装置508として提供される、電子記憶デバイスであり得る。本明細書で参照されるように、語句「電子記憶デバイス」または「記憶デバイス」とは、ランダムアクセスメモリ、読取専用メモリ、ハードドライブ、光学ドライブ、デジタルビデオディスク(DVD)レコーダ、コンパクトディスク(CD)レコーダ、BLU-RAY(登録商標)ディスク(BD)レコーダ、BLU-RAY(登録商標) 3Dディスクレコーダ、デジタルビデオレコーダ(DVR、または時として、パーソナルビデオレコーダもしくはPVRと呼ばれる場合もある)、ソリッドステートデバイス、量子記憶デバイス、ゲームコンソール、ゲームメディア、または任意の他の好適な固定もしくはリムーバブル記憶デバイス、および/またはそれらの任意の組み合わせ等の電子データ、コンピュータソフトウェア、もしくはファームウェアを記憶するための任意のデバイスを意味すると理解されたい。記憶装置508は、本明細書に説明される種々のタイプのコンテンツ、ならびに上記で説明されるメディアガイドデータを記憶するために使用され得る。不揮発性メモリもまた、(例えば、ブートアップルーチンおよび他の命令を起動するために)使用され得る。図6に関連して説明される、クラウドベースの記憶装置が、記憶装置508を補完するために使用される、または記憶装置508の代わりに使用され得る。
制御回路504は、1つ以上のアナログチューナ、1つ以上のMPEG-2デコーダ、もしくは他のデジタルデコード回路、高解像度チューナ、または任意の他の好適な同調もしくはビデオ回路、またはそのような回路の組み合わせ等のビデオ生成回路および同調回路を含み得る。(例えば、記憶するために、無線、アナログ、またはデジタル信号をMPEG信号に変換するための)エンコード回路もまた、提供され得る。制御回路504はまた、コンテンツをユーザ機器500の好ましい出力形式に上方変換および下方変換するためのスケーリング回路を含み得る。回路504はまた、デジタル信号とアナログ信号との間で変換するためのデジタル/アナログ変換回路ならびにアナログ/デジタル変換回路を含み得る。同調およびエンコード回路は、コンテンツを受信して表示する、再生する、または録画するために、ユーザ機器デバイスによって使用され得る。同調およびエンコード回路はまた、ガイドデータを受信するために使用され得る。例えば、同調、ビデオ生成、エンコード、デコード、暗号化、解読、スケーリング、およびアナログ/デジタル回路を含む、本明細書に説明される回路は、1つ以上の汎用もしくは特殊プロセッサ上で起動するソフトウェアを使用して実装され得る。複数のチューナが、同時同調機能(例えば、視聴および録画機能、ピクチャインピクチャ(PIP)機能、多重チューナ録画機能等)に対処するように提供され得る。記憶装置508が、ユーザ機器500とは別のデバイスとして提供される場合、同調およびエンコード回路(複数のチューナを含む)は、記憶装置508に関連付けられ得る。
ユーザは、ユーザ入力インターフェース510を使用して、命令を制御回路504に送
信し得る。ユーザ入力インターフェース510は、リモートコントロール、マウス、トラックボール、キーパッド、キーボード、タッチスクリーン、タッチパッド、スタイラス入力、ジョイスティック、音声認識インターフェース、または他のユーザ入力インターフェース等の任意の好適なユーザインターフェースであり得る。ディスプレイ512は、独立型デバイスとして提供される、またはユーザ機器デバイス500の他の要素と統合され得る。例えば、ディスプレイ512は、タッチスクリーンまたはタッチセンサ式ディスプレイであり得る。そのような状況では、ユーザ入力インターフェース510は、ディスプレイ512と統合される、または組み合わせられ得る。ディスプレイ512は、モニタ、テレビ、モバイルデバイス用液晶ディスプレイ(LCD)、非晶質シリコンディスプレイ、低温ポリシリコンディスプレイ、電子インクディスプレイ、電気泳動ディスプレイ、アクティブマトリクスディスプレイ、エレクトロウェッティングディスプレイ、電気流体ディスプレイ、ブラウン管ディスプレイ、発光ダイオードディスプレイ、エレクトロルミネセントディスプレイ、プラズマディスプレイパネル、高性能アドレッシングディスプレイ、薄膜トランジスタディスプレイ、有機発光ダイオードディスプレイ、表面伝導型電子放出素子ディスプレイ(SED)、レーザテレビ、カーボンナノチューブ、量子ドットディスプレイ、干渉変調器ディスプレイ、もしくは視覚的画像を表示するための任意の他の好適な機器のうちの1つ以上のものであり得る。いくつかの実施形態では、ディスプレイ512は、HDTV対応型であり得る。いくつかの実施形態では、ディスプレイ512は、3Dディスプレイであってもよく、双方向メディアガイドアプリケーションおよび任意の好適なコンテンツは、3Dで表示され得る。ビデオカードまたはグラフィックカードは、ディスプレイ512への出力を生成し得る。ビデオカードは、3Dシーンおよび2Dグラフィックのレンダリングの加速、MPEG-2/MPEG-4デコード、TV出力、または複数のモニタを接続する能力等の種々の機能を提供し得る。ビデオカードは、制御回路504に関連して上記で説明される任意の処理回路であり得る。ビデオカードは、制御回路504と統合され得る。スピーカ514は、ユーザ機器デバイス500の他の要素と統合されたものとして提供され得る、または独立型ユニットであり得る。ディスプレイ512上に表示されるビデオおよび他のコンテンツのオーディオコンポーネントは、スピーカ514を通して再生され得る。いくつかの実施形態では、オーディオは、スピーカ514を介して音声を処理および出力する、受信機(図示せず)に配布され得る。
ガイドアプリケーションは、任意の好適なアーキテクチャを使用して実装され得る。例えば、これは、ユーザ機器デバイス500上で完全に実装される、独立型アプリケーションであり得る。そのようなアプローチでは、アプリケーションの命令は、ローカルで(例えば、記憶装置508の中に)記憶され、アプリケーションによって使用するためのデータは、周期的にダウンロードされる(例えば、帯域外フィードから、インターネットリソースから、または別の好適なアプローチを使用して)。制御回路504は、記憶装置508からアプリケーションの命令を読み出し、本明細書で議論される表示のうちのいずれかを生成するための命令を処理し得る。処理された命令に基づいて、制御回路504は、入力が入力インターフェース510から受信されるときに実施するアクションを決定し得る。例えば、表示上のカーソルの上/下への移動は、入力インターフェース510が上/下ボタンが選択されたことを示すとき、処理された命令によって示され得る。
いくつかの実施形態では、メディアガイドアプリケーションは、クライアントサーバベースのアプリケーションである。ユーザ機器デバイス500上に実装される、シックまたはシンクライアントによって使用するためのデータは、ユーザ機器デバイス500の遠隔にあるサーバに要求を発行することによって、オンデマンドで読み出される。クライアントサーバベースのガイドアプリケーションの一実施例では、制御回路504は、遠隔サーバによって提供されるウェブページを解釈する、ウェブブラウザを起動する。例えば、遠隔サーバは、記憶デバイス内にアプリケーションのための命令を記憶し得る。遠隔サーバは、回路(例えば、制御回路504)を使用して、記憶された命令を処理し、上記および
下記で議論される表示を生成し得る。クライアントデバイスは、遠隔サーバによって生成される表示を受信してもよく、表示のコンテンツを機器デバイス500上でローカルで表示し得る。このように、命令の処理が、サーバによって遠隔で実施される一方、結果として生じる表示は、機器デバイス500上にローカルで提供される。機器デバイス500は、入力インターフェース510を介して、ユーザからの入力を受信し、対応する表示を処理および生成するために、それらの入力を遠隔サーバに伝送し得る。例えば、機器デバイス500は、上/下ボタンが入力インターフェース510を介して選択されたことを示す、通信を遠隔サーバに伝送し得る。遠隔サーバは、その入力に従って命令を処理し、入力に対応するアプリケーションの表示を生成し得る(例えば、カーソルを上/下に移動させる表示)。生成された表示は、次いで、ユーザへの提示のために、機器デバイス500に伝送される。
いくつかの実施形態では、メディアガイドアプリケーションは、インタープリタまたは仮想マシン(制御回路504によって起動される)によって、ダウンロードされ、解釈または別様に起動される。いくつかの実施形態では、ガイドアプリケーションは、ETVバイナリ交換形式(ETV Binary Interchange Format/EBIF)でエンコードされ、好適なフィードの一部として制御回路504によって受信され、制御回路504上で起動するユーザエージェントによって解釈され得る。例えば、ガイドアプリケーションは、EBIFアプリケーションであり得る。いくつかの実施形態では、ガイドアプリケーションは、制御回路504によって実行されるローカル仮想マシンまたは他の好適なミドルウェアによって受信および起動される、一連のJAVA(登録商標)ベースのファイルによって定義され得る。そのような実施形態のうちのいくつか(例えば、MPEG-2または他のデジタルメディアエンコードスキームを採用するもの)では、ガイドアプリケーションは、例えば、番組のMPEGオーディオおよびビデオパケットを用いたMPEG-2オブジェクトカルーセルにおいてエンコードおよび伝送され得る。
図5のユーザ機器デバイス500は、ユーザテレビ機器602、ユーザコンピュータ機器604、無線ユーザ通信デバイス606、または非携帯用ゲーム機等のコンテンツにアクセスするために好適な任意の他のタイプのユーザ機器として、図6のシステム600に実装されることができる。簡単にするために、これらのデバイスは、本明細書では総称して、ユーザ機器またはユーザ機器デバイスと称されてもよく、上記で説明されるユーザ機器デバイスに実質的に類似し得る。メディアガイドアプリケーションが実装され得る、ユーザ機器デバイスは、独立型デバイスとして機能し得る、またはデバイスのネットワークの一部であり得る。デバイスの種々のネットワーク構成が実装されてもよく、下記でより詳細に議論される。
図5に関連して上記で説明されるシステム特徴のうちの少なくともいくつかを利用する、ユーザ機器デバイスは、単に、ユーザテレビ機器602、ユーザコンピュータ機器604、または無線ユーザ通信デバイス606として分類されなくてもよい。例えば、ユーザテレビ機器602は、いくつかのユーザコンピュータ機器604のように、インターネットコンテンツへのアクセスを可能にするインターネット対応型であり得る一方で、ユーザコンピュータ機器604は、あるテレビ機器602のように、テレビ番組へのアクセスを可能にするチューナを含み得る。メディアガイドアプリケーションはまた、種々の異なるタイプのユーザ機器上で同一のレイアウトを有し得る、またはユーザ機器の表示能力に合わせられ得る。例えば、ユーザコンピュータ機器604上では、ガイドアプリケーションは、ウェブブラウザによってアクセスされるウェブサイトとして提供され得る。別の実施例では、ガイドアプリケーションは、無線ユーザ通信デバイス606用に縮小され得る。
システム600では、典型的には、各タイプのユーザ機器デバイスが2つ以上存在するが、図面が複雑になり過ぎることを回避するように、それぞれ1つだけが図6に示されて
いる。加えて、各ユーザは、2つ以上のタイプのユーザ機器デバイスと、また、各タイプのユーザ機器デバイスのうちの2つ以上のものとを利用し得る。
いくつかの実施形態では、ユーザ機器デバイス(例えば、ユーザテレビ機器602、ユーザコンピュータ機器604、無線ユーザ通信デバイス606)は、「第2の画面デバイス」と称され得る。例えば、第2の画面デバイスは、第1のユーザ機器デバイス上に提示されるコンテンツを補完し得る。第2の画面デバイス上に提示されるコンテンツは、第1のデバイス上に提示されるコンテンツを補完する、任意の好適なコンテンツであり得る。いくつかの実施形態では、第2の画面デバイスは、第1のデバイスの設定および表示選好を調節するためのインターフェースを提供する。いくつかの実施形態では、第2の画面デバイスは、他の第2の画面デバイスと相互作用する、またはソーシャルネットワークと相互作用するために構成される。第2の画面デバイスは、第1のデバイスと同一の部屋内に、第1のデバイスと異なる部屋であるが、同一の家または建物内に、もしくは第1のデバイスと異なる建物内に位置することができる。
ユーザはまた、家庭内デバイスおよび遠隔デバイスにわたって一貫したメディアガイドアプリケーション設定を維持するように、種々の設定を設定し得る。設定は、本明細書に説明されるもの、ならびにお気に入りのチャネルおよび番組、番組を推奨するためにガイドアプリケーションが利用する番組選好、表示選好、および他の望ましいガイド設定を含む。例えば、ユーザが、そのオフィスのパーソナルコンピュータ上、例えば、ウェブサイトwww.Tivo.comの上で、チャネルをお気に入りとして設定した場合、同一のチャネルが、ユーザの家庭内デバイス(例えば、ユーザテレビ機器およびユーザコンピュータ機器)上で、ならびに所望に応じて、ユーザのモバイルデバイス上でお気に入りとして表示されるであろう。したがって、同一または異なるタイプのユーザ機器デバイスであるかどうかにかかわらず、1つのユーザ機器デバイス上で行われる変更は、別のユーザ機器デバイス上のガイド体験を変更することができる。加えて、行われる変更は、ユーザによって入力される設定、ならびにガイドアプリケーションによって監視されるユーザアクティビティに基づき得る。
ユーザ機器デバイスは、通信ネットワーク614に結合され得る。すなわち、ユーザテレビ機器602、ユーザコンピュータ機器604、および無線ユーザ通信デバイス606は、それぞれ、通信パス608、610、および612を介して、通信ネットワーク614に結合される。通信ネットワーク614は、インターネット、携帯電話ネットワーク、モバイルボイスまたはデータネットワーク(例えば、4GまたはLTEネットワーク)、ケーブルネットワーク、公衆交換電話ネットワーク、または他のタイプの通信ネットワーク、もしくは通信ネットワークの組み合わせを含む、1つ以上のネットワークであり得る。パス608、610、および612は、別個または一緒に、衛星パス、光ファイバパス、ケーブルパス、インターネット通信をサポートするパス(例えば、IPTV)、フリースペース接続(例えば、放送または他の無線信号用)、または任意の他の好適な有線もしくは無線通信パス、またはそのようなパスの組み合わせ等の1つ以上の通信パスを含み得る。パス612は、図6に示される例示的実施形態では、無線パスであることを示すように破線で描かれ、パス608および610は、有線パスであることを示すように実線として描かれている(しかし、これらのパスは、所望に応じて、無線パスであり得る)。ユーザ機器デバイスとの通信は、これらの通信パスのうちの1つ以上のものによって提供され得るが、図6では、図面が複雑になり過ぎることを回避するように、単一パスとして示されている。
通信パスは、ユーザ機器デバイスの間には描かれていないが、これらのデバイスは、パス608、610、および612に関連して上記で説明されるもの、ならびにUSBケーブル、IEEE 1394ケーブル、無線パス(例えば、Bluetooth(登録商標
)、赤外線、IEEE 802-11x等)等の他の短距離ポイントツーポイント通信パス、または有線もしくは無線パスを介した他の短距離通信等を介して、相互に直接通信し得る。BLUETOOTH(登録商標)は、Bluetooth(登録商標) SIG,
INC.によって所有される認証マークである。ユーザ機器デバイスはまた、通信ネットワーク614を介した間接パスを通して、相互に直接通信し得る。
システム600は、それぞれ、通信パス620および622を介して、通信ネットワーク614に結合される、コンテンツソース616およびメディアガイドデータソース618を含む。パス620および622は、パス608、610、および612に関連して上記で説明される通信パスのうちのいずれかを含み得る。コンテンツソース616およびメディアガイドデータソース618との通信は、1つ以上の通信パスを介して交信され得るが、図6では、図面が複雑になり過ぎることを回避するように、単一パスとして示される。加えて、コンテンツソース616およびメディアガイドデータソース618のそれぞれが1つを上回って存在し得るが、図6では、図面が複雑になり過ぎることを回避するように、それぞれ1つだけが示されている。(異なるタイプのこれらのソースのそれぞれが下記で議論される)。所望に応じて、コンテンツソース616およびメディアガイドデータソース618は、1つのソースデバイスとして統合され得る。ソース616および618と、ユーザ機器デバイス602、604、および606との間の通信は、通信ネットワーク614を通したものとして示されるが、いくつかの実施形態では、ソース616および618は、パス608、610、および612に関連して上記で説明されるもの等の通信パス(図示せず)を介して、ユーザ機器デバイス602、604、および606と直接通信し得る。
コンテンツソース616は、テレビ配信施設、ケーブルシステムヘッドエンド、衛星配信施設、番組ソース(例えば、NBC、ABC、HBO等のテレビ放送会社)、中間配信施設および/またはサーバ、インターネットプロバイダ、オンデマンドメディアサーバ、および他のコンテンツプロバイダを含む、1つ以上のタイプのコンテンツ配信機器を含み得る。NBCは、National Broadcasting Company, Inc.によって所有される商標であり、ABCは、American Broadcasting Company, INC.によって所有される商標であり、HBOは、Home Box Office, Inc.によって所有される商標である。コンテンツソース616は、コンテンツの発信元であり得る(例えば、テレビ放送会社、ウェブキャストプロバイダ等)、またはコンテンツの発信元でなくてもよい(例えば、オンデマンドコンテンツプロバイダ、ダウンロード用放送番組のコンテンツのインターネットプロバイダ等)。コンテンツソース616は、ケーブルソース、衛星プロバイダ、オンデマンドプロバイダ、インターネットプロバイダ、オーバーザトップコンテンツプロバイダ、または他のコンテンツのプロバイダを含み得る。コンテンツソース616はまた、ユーザ機器デバイスのうちのいずれかから遠隔の場所にある、異なるタイプのコンテンツ(ユーザによって選択されるビデオコンテンツを含む)を記憶するために使用される、遠隔メディアサーバを含み得る。コンテンツの遠隔記憶のため、および遠隔に記憶されたコンテンツをユーザ機器に提供するためのシステムならびに方法は、2010年7月20日発行のEllis et al.の米国特許出願第7,761,892号(その全体として参照することによって本明細書に組み込まれる)に関連して、より詳細に議論されている。
メディアガイドデータソース618は、上記で説明されるメディアガイドデータ等のメディアガイドデータを提供し得る。メディアガイドデータは、任意の好適なアプローチを使用して、ユーザ機器デバイスに提供され得る。いくつかの実施形態では、ガイドアプリケーションは、データフィード(例えば、継続フィードまたはトリクルフィード)を介して、番組ガイドデータを受信する、独立型双方向テレビ番組ガイドであり得る。番組スケジュールデータおよび他のガイドデータは、テレビチャネルのサイドバンド上で、帯域内
デジタル信号を使用して、帯域外デジタル信号を使用して、または任意の他の好適なデータ伝送技術によって、ユーザ機器に提供され得る。番組スケジュールデータおよび他のメディアガイドデータは、複数のアナログまたはデジタルテレビチャネル上でユーザ機器に提供され得る。
いくつかの実施形態では、メディアガイドデータソース618からのガイドデータは、クライアントサーバアプローチを使用して、ユーザの機器に提供され得る。例えば、ユーザ機器デバイスは、メディアガイドデータをサーバからプルし得る、またはサーバは、メディアガイドデータをユーザ機器デバイスにプッシュし得る。いくつかの実施形態では、ユーザの機器上に常駐するガイドアプリケーションクライアントは、必要に応じて、例えば、ガイドデータが、古くなっているとき、またはユーザ機器デバイスが、データを受信する要求をユーザから受信するとき、ソース618とセッションを開始し、ガイドデータを取得し得る。メディアガイドは、任意の好適な頻度で(例えば、継続的に、毎日、ユーザ規定期間で、システム規定期間で、ユーザ機器からの要求に応答して等)ユーザ機器に提供され得る。メディアガイドデータソース618は、ユーザ機器デバイス602、604、および606に、メディアガイドアプリケーション自体、またはメディアガイドアプリケーションのソフトウェア更新を提供し得る。
いくつかの実施形態では、メディアガイドデータは、視聴者データを含み得る。例えば、視聴者データは、現在および/または履歴ユーザアクティビティ情報(例えば、ユーザが典型的に鑑賞するコンテンツ、ユーザがコンテンツを鑑賞する時刻、ユーザがソーシャルネットワークと相互作用するかどうか、ユーザがソーシャルネットワークと相互作用し、情報をポストする時間、ユーザが典型的に鑑賞するコンテンツのタイプ(例えば、有料TVまたは無料TV)、気分、脳の活動情報等)を含み得る。メディアガイドデータはまた、サブスクリプションデータを含み得る。例えば、サブスクリプションデータは、所与のユーザがサブスクライブするソースもしくはサービス、および/または所与のユーザが以前にサブスクライブしていたが後にアクセスを打ち切ったソースもしくはサービス(例えば、ユーザがプレミアムチャネルをサブスクライブしているかどうか、ユーザがプレミアムレベルのサービスを追加したかどうか、ユーザがインターネット速度を加速させたかどうか)を識別し得る。いくつかの実施形態では、視聴者データおよび/またはサブスクリプションデータは、1年を上回る周期の間の所与のユーザのパターンを識別し得る。メディアガイドデータは、所与のユーザがサービス/ソースへのアクセスを打ち切るであろう可能性を示すスコアを生成するために使用される、モデル(例えば、残存者モデル)を含み得る。例えば、メディアガイドアプリケーションは、所与のユーザが特定のサービスまたはソースへのアクセスを打ち切るであろうかどうかの可能性を示す、値またはスコアを生成するためのモデルを併用して、サブスクリプションデータとともに視聴者データを処理し得る。特に、より高いスコアは、ユーザが特定のサービスまたはソースへのアクセスを打ち切るであろう、より高いレベルの信頼性を示し得る。スコアに基づいて、メディアガイドアプリケーションは、ユーザがアクセスを打ち切る可能性が高いであろうものとしてスコアによって示される特定のサービスまたはソースをユーザが維持するように勧誘する宣伝を生成し得る。
メディアガイドアプリケーションは、例えば、ユーザ機器デバイス上に実装される独立型アプリケーションであり得る。例えば、メディアガイドアプリケーションは、記憶装置508内に記憶され、ユーザ機器デバイス500の制御回路504によって実行され得る、ソフトウェアまたは実行可能命令のセットとして実装され得る。いくつかの実施形態では、メディアガイドアプリケーションは、クライアント-サーバアプリケーションであってもよく、その場合、クライアントアプリケーションのみが、ユーザ機器デバイス上に常駐し、サーバアプリケーションは、遠隔サーバ上に常駐する。例えば、メディアガイドアプリケーションは、部分的にユーザ機器デバイス500の制御回路504上のクライアン
トアプリケーションとして、および遠隔サーバの制御回路上で起動するサーバアプリケーション(例えば、メディアガイドデータソース618)として部分的に遠隔サーバ上で、実装され得る。遠隔サーバの制御回路(メディアガイドデータソース618等)によって実行されると、メディアガイドアプリケーションは、制御回路に、ガイドアプリケーション表示を生成し、生成された表示をユーザ機器デバイスに伝送するように命令し得る。サーバアプリケーションは、メディアガイドデータソース618の制御回路に、ユーザ機器上での記憶のためのデータを伝送するように命令し得る。クライアントアプリケーションは、受信用ユーザ機器の制御回路に、ガイドアプリケーション表示を生成するように命令し得る。
ユーザ機器デバイス602、604、および606に配信されるコンテンツおよび/またはメディアガイドデータは、オーバーザトップ(OTT)コンテンツであり得る。OTTコンテンツ配信は、上記で説明される任意のユーザ機器デバイスを含む、インターネット対応型ユーザデバイスが、ケーブルまたは衛星接続を経由して受信されるコンテンツに加えて、上記で説明される任意のコンテンツを含む、インターネットを経由して転送されるコンテンツを受信することを可能にする。OTTコンテンツは、インターネットサービスプロバイダ(ISP)によって提供されるインターネット接続を介して配布されるが、第三者も、コンテンツを配布する。ISPは、視聴能力、著作権、またはコンテンツの再配布に責任がない場合があり、OTTコンテンツプロバイダによって提供されるIPパケットのみを転送し得る。OTTコンテンツプロバイダの実施例は、IPパケットを介して、オーディオおよびビデオを提供する、YOUTUBE(登録商標)、NETFLIX、ならびにHULUを含む。Youtubeは、Google Inc.によって所有される商標であり、Netflixは、Netflix, Inc.によって所有される商標であり、Huluは、Hulu, LLC.によって所有される商標である。OTTコンテンツプロバイダは、加えて、または代替として、上記で説明されるメディアガイドデータを提供し得る。コンテンツおよび/またはメディアガイドデータに加えて、OTTコンテンツのプロバイダは、メディアガイドアプリケーション(例えば、ウェブベースのアプリケーションまたはクラウドベースのアプリケーション)を配布することができる、またはコンテンツは、ユーザ機器デバイス上に記憶されたメディアガイドアプリケーションによって表示されることができる。
メディアガイドシステム600は、いくつかのアプローチまたはネットワーク構成を例証することを意図しており、これによって、ユーザ機器デバイスおよびコンテンツならびにガイドデータのソースは、コンテンツにアクセスし、メディアガイドを提供する目的のために、相互に通信し得る。本明細書に説明される実施形態は、これらのアプローチのうちのいずれか1つまたは一部において、もしくはコンテンツを配信し、メディアガイドを提供するための他のアプローチを採用するシステムにおいて、適用され得る。以下の4つのアプローチは、図6の汎用実施例の具体的例証を提供する。
あるアプローチでは、ユーザ機器デバイスは、ホームネットワーク内で相互に通信し得る。ユーザ機器デバイスは、上記で説明される短距離ポイントツーポイント通信方式を介して、ホームネットワーク上に提供されるハブまたは他の類似デバイスを通した間接パスを介して、もしくは通信ネットワーク614を介して、相互に直接通信することができる。1つの家庭内の複数の個人のそれぞれが、ホームネットワーク上の異なるユーザ機器デバイスを動作させ得る。結果として、種々のメディアガイド情報または設定が、異なるユーザ機器デバイスの間で通信されることが望ましくあり得る。例えば、2005年7月11日出願のEllis et al.の米国特許公開第2005/0251827号でより詳細に説明されるように、ホームネットワーク内の異なるユーザ機器デバイス上で、ユーザが一貫したメディアガイドアプリケーション設定を維持することが望ましくあり得る。ホームネットワーク内の異なるタイプのユーザ機器デバイスもまた、相互に通信し、コ
ンテンツを伝送し得る。例えば、ユーザは、ユーザコンピュータ機器から携帯用ビデオプレーヤまたは携帯用音楽プレーヤにコンテンツを伝送し得る。
第2のアプローチでは、ユーザは、複数のタイプのユーザ機器を有してもよく、これによって、コンテンツにアクセスし、メディアガイドを取得する。例えば、一部のユーザは、家庭内およびモバイルデバイスによってアクセスされる、ホームネットワークを有し得る。ユーザは、遠隔デバイス上に実装されるメディアガイドアプリケーションを介して、家庭内デバイスを制御し得る。例えば、ユーザは、そのオフィスのパーソナルコンピュータ、またはPDAもしくはウェブ対応携帯電話等のモバイルデバイスを介して、ウェブサイト上のオンラインメディアガイドアプリケーションにアクセスし得る。ユーザは、オンラインガイドアプリケーション上で種々の設定(例えば、録画、リマインダ、または他の設定)を設定して、ユーザの家庭内機器を制御し得る。オンラインガイドは、直接、またはユーザの家庭内機器上のメディアガイドアプリケーションと通信することによって、ユーザの機器を制御し得る。ユーザ機器デバイスが相互から遠隔の場所にある、ユーザ機器デバイスの通信のための種々のシステムおよび方法は、例えば、Ellis et al.の2011年10月25日発行の米国特許第8,046,801号(その全体として参照することによって本明細書に組み込まれる)で議論されている。
第3のアプローチでは、家庭内外のユーザ機器デバイスのユーザは、コンテンツソース616と直接通信し、コンテンツにアクセスするために、そのメディアガイドアプリケーションを使用することができる。具体的には、家庭内では、ユーザテレビ機器602およびユーザコンピュータ機器604のユーザは、メディアガイドアプリケーションにアクセスし、所望のコンテンツ間をナビゲートし、それを特定し得る。ユーザはまた、無線ユーザ通信デバイス606を使用して、家庭外のメディアガイドアプリケーションにアクセスし、所望のコンテンツ間をナビゲートし、それを特定し得る。
第4のアプローチでは、ユーザ機器デバイスは、クラウドコンピューティング環境内で動作し、クラウドサービスにアクセスし得る。クラウドコンピューティング環境では、コンテンツ共有、記憶、または配布のための種々のタイプのコンピューティングサービス(例えば、ビデオ共有サイトまたはソーシャルネットワーキングサイト)が、「クラウド」と称される、ネットワークアクセス可能コンピューティングおよび記憶リソースの集合によって提供される。例えば、クラウドは、通信ネットワーク614を介したインターネット等のネットワークを介して接続される、種々のタイプのユーザおよびデバイスにクラウドベースのサービスを提供する、中央にまたは分散場所に位置し得る、サーバコンピューティングデバイスの集合を含むことができる。これらのクラウドリソースは、1つ以上のコンテンツソース616および1つ以上のメディアガイドデータソース618を含み得る。加えて、または代替として、遠隔コンピューティングサイトは、ユーザテレビ機器602、ユーザコンピュータ機器604、および無線ユーザ通信デバイス606等の他のユーザ機器デバイスを含み得る。例えば、他のユーザ機器デバイスは、ビデオの記憶されたコピーまたはストリーミングされたビデオへのアクセスを提供し得る。そのような実施形態では、ユーザ機器デバイスは、中央サーバと通信することなく、ピアツーピア様式で動作し得る。
クラウドは、ユーザ機器デバイスのために、他の実施例の中でもとりわけ、コンテンツ記憶、コンテンツ共有、またはソーシャルネットワーキングサービス等のサービスへのアクセス、ならびに上記で説明される任意のコンテンツへのアクセスを提供する。サービスは、クラウドコンピューティングサービスプロバイダを通して、またはオンラインサービスの他のプロバイダを通して、クラウド内で提供されることができる。例えば、クラウドベースのサービスは、コンテンツ記憶サービス、コンテンツ共有サイト、ソーシャルネットワーキングサイト、または他のサービスを含むことができ、それを介して、ユーザ供給
コンテンツは、接続されたデバイス上で他者によって視聴するために配布される。これらのクラウドベースのサービスは、ユーザ機器デバイスが、コンテンツをローカルで記憶し、ローカルで記憶されたコンテンツにアクセスするのではなく、コンテンツをクラウドに記憶し、コンテンツをクラウドから受信することを可能にし得る。
ユーザは、カムコーダ、ビデオモード付きデジタルカメラ、オーディオレコーダ、携帯電話、およびハンドヘルドコンピューティングデバイス等の種々のコンテンツ捕捉デバイスを使用して、コンテンツを録画し得る。ユーザは、直接、例えば、ユーザコンピュータ機器604から、またはコンテンツ捕捉特徴を有する無線ユーザ通信デバイス606からのいずれかにおいて、クラウド上のコンテンツ記憶サービスにコンテンツをアップロードすることができる。代替として、ユーザは、最初に、コンテンツをユーザコンピュータ機器604等のユーザ機器デバイスに転送することができる。コンテンツを記憶するユーザ機器デバイスは、通信ネットワーク614上のデータ伝送サービスを使用して、コンテンツをクラウドにアップロードする。いくつかの実施形態では、ユーザ機器デバイス自体が、クラウドリソースであり、他のユーザ機器デバイスは、直接、ユーザがコンテンツを記憶したユーザ機器デバイスから、コンテンツにアクセスすることができる。
クラウドリソースは、例えば、ウェブブラウザ、メディアガイドアプリケーション、デスクトップアプリケーション、モバイルアプリケーション、および/またはそれらのアクセスアプリケーションの任意の組み合わせを使用して、ユーザ機器デバイスによってアクセスされ得る。ユーザ機器デバイスは、アプリケーション配信のためにクラウドコンピューティングに依拠する、クラウドクライアントであり得る、またはユーザ機器デバイスは、クラウドリソースにアクセスすることなく、ある機能性を有し得る。例えば、ユーザ機器デバイス上で起動するいくつかのアプリケーションは、クラウドアプリケーション、すなわち、インターネットを経由して、サービスとして配信されるアプリケーションであり得る一方で、他のアプリケーションは、ユーザ機器デバイス上に記憶され、起動され得る。いくつかの実施形態では、ユーザデバイスは、コンテンツを複数のクラウドリソースから同時に受信し得る。例えば、ユーザデバイスは、オーディオを1つのクラウドリソースからストリーミングする一方で、コンテンツを第2のクラウドリソースからダウンロードすることができる。または、ユーザデバイスは、より効率的なダウンロードのために、コンテンツを複数のクラウドリソースからダウンロードすることができる。いくつかの実施形態では、ユーザ機器デバイスは、図5に関連して説明される処理回路によって実施される処理動作等の処理動作のために、クラウドリソースを使用することができる。
本明細書で参照されるように、用語「~に応答して」は、「~の結果として開始される」ことを指す。例えば、第2のアクションに応答して実施されている第1のアクションは、第1のアクションと第2のアクションとの間に介在ステップを含み得る。本明細書で参照されるように、用語「~に直接応答して」は、「~によって引き起こされる」ことを指す。例えば、第2のアクションに直接応答して実施されている第1のアクションは、第1のアクションと第2のアクションとの間に介在ステップを含まなくてもよい。
図7は、後続の第2の発話に基づいて、ユーザが第2の発話で第1の入力を訂正することを意図したという第2の発話の中の明示的指示がない場合、自動発話認識を使用して第1の発話から生成される第1の入力のエラーを訂正するためのプロセス700の例証的フローチャートを描写する。メディアガイドアプリケーションは、ユーザ機器(例えば、ユーザ機器500、ユーザテレビ機器602、ユーザコンピュータ機器604、または無線ユーザ通信デバイス606)の制御回路504に、図7の要素のそれぞれを実行させる。プロセス700は、制御回路504が、ユーザ入力デバイス(例えば、ユーザ入力インターフェース510、無線通信デバイス606)を介して、第1の発話(例えば、第1の発話106)を受信する、702から開始する。第1の発話は、例えば、ユーザによって話
された言葉を含み得る。第1の発話は、メディアアセット等の項目の検索を開始することをユーザによって意図され得る。例えば、第1の発話は、「オースティンについての番組を見せて」であり得る。
プロセス700は、制御回路504が、自動発話認識(ASR)を使用して、第1の発話に基づいて第1の入力(例えば、第1の入力108)を決定する、704に続く。例えば、制御回路504は、公知の自動発話認識技法を使用して、第1の発話をテキストに変換することによって、第1の入力を決定し得る。例えば、第1の発話が「オースティンについての番組を見せて」である場合、制御回路504は、第1の入力を「ボストンについての番組を見せて」であると決定し、それによって、第1の発話の中の「オースティン」を「ボストン」として不正確に認識し得る。
プロセス700は、制御回路504が、データベースから(例えば、通信ネットワーク614を通してメディアコンテンツソース616もしくはメディアガイドデータソース618から、または記憶装置508から)、第1の入力に基づいて検索結果(例えば、検索結果112)を読み出す、706に続く。データベースは、例えば、情報リポジトリを含み得る。例えば、第1の入力が「ボストンについての番組を見せて」である場合、制御回路504は、ボストンで行われているテレビ番組Fringeを読み出し得る。
プロセス700は、制御回路504が、検索結果を(例えば、ディスプレイ512上に)表示のために生成する、708に続く。例えば、検索結果がテレビ番組Fringeを含む場合、制御回路504は、Fringeのリスト項目(例えば、リスト項目308、406、408、410、または412)を表示のために生成し得る。
プロセス700は、制御回路504が、検索結果が表示のために生成された第1の時間(例えば、第1の時間110)を決定する、710に続く。例えば、制御回路504は、表示画面(例えば、ディスプレイ512)のピクセルに伝送される信号が第1の発話を受信するステップに続いて最初に変化した時間を検出することによって、第1の時間を決定し得る。
プロセス700は、制御回路504が、ユーザ入力デバイスを介して、第1の発話を受信するステップに続いて、第2の発話(例えば、第2の発話116)を受信する、712に続く。第2の発話は、例えば、ユーザによって話された言葉を含み得る。第2の発話は、制御回路504によって不正確に認識された第1の入力の一部を訂正することをユーザによって意図され得る。例えば、ユーザは、第1の発話に合致しない検索結果に基づいて、メディアガイドが第1の発話を不正確に認識したことを決定し得る。例えば、検索結果がボストンについての番組を含む場合、ユーザは、制御回路504が、第1の発話(「オースティンについての番組を見せて」)に応答して、「ボストンについての番組を見せて」を不正確に生成したことを決定し得る。故に、第2の発話は、ユーザが「ボストン」を「オースティン」に訂正することを意図する、「オースティン」であり得る。
プロセス700は、制御回路504が、自動発話認識(ASR)を使用して、第2の発話に基づいて第2の入力(例えば、第2の入力120)を決定する、714に続く。例えば、制御回路504は、公知の自動発話認識技法を使用して、第2の発話をテキストに変換することによって、第2の入力を決定し得る。例えば、第2の発話が「オースティン」である場合、制御回路504は、第2の入力を「オースティン」であると決定し、それによって、第2の発話の中の「オースティン」を正確に認識し得る。
プロセス700は、制御回路504が、第2の発話が受信された第2の時間(例えば、第2の時間114)を決定する、716に続く。例えば、制御回路504は、第1の時間
に続く最も早い発音が起こった時間を測定することによって、第2の時間を決定し得る。例えば、制御回路504が午前10:00:00に検索結果を表示のために生成し、ユーザからの次の発音が「オースティン」であった場合、制御回路504は、「オースティン」の中の最初の「Au(オー)」という音が午前10:00:00に起こったことを測定し、午前10:00:00を第2の時間と見なし得る。
プロセス700は、制御回路504が、第2の時間と第1の時間との間の時間差(例えば、時間差118)を閾値時間と比較する、718に続く。例えば、第1の時間が午前10:00:00であり、第2の時間が午前10:00:10である場合、制御回路504は、時間差を10秒であると算出し、本時間差を、20秒であり得る閾値時間と比較し得る。
プロセス700は、制御回路504が、第2の時間と第1の時間との間の時間差を閾値時間と比較するステップに基づいて、第2の時間と第1の時間との間の時間差が閾値時間未満であることを決定する、720に続く。例えば、時間差が10秒であり、閾値時間が20秒である場合、制御回路504は、10秒が20秒未満であることを決定し得る。
プロセス700は、制御回路504が、第2の時間と第1の時間との間の時間差が閾値時間未満であることを決定することに基づいて、第1の入力の一部を第2の入力の一部と置換することによって、第1の入力に基づいて訂正された入力(例えば、訂正された入力122)を生成する、722に続く。例えば、第1の入力が「ボストンについての番組を見せて」であり、第2の入力が「オースティン」である場合、制御回路504は、「ボストン」を「オースティン」と置換し、「オースティンについての番組を見せて」という訂正された入力を生成し得る。
プロセス700またはその任意のステップは、図4-5に示されるデバイスのうちのいずれかの上で実施される、もしくはそれによって提供され得ることに留意されたい。例えば、プロセス600は、後続の第2の発話に基づいて、ユーザが第2の発話で第1の入力を訂正することを意図したという第2の発話の中の明示的指示がない場合、自動発話認識を使用して第1の発話から生成される第1の入力のエラーを訂正するために、ユーザ機器602、604、606(図6)、および/またはユーザ機器500(図5)上に実装される制御回路によって命令されるように、制御回路504(図5)によって実行され得る。加えて、プロセス700は、任意の他のプロセスまたは実施形態の1つ以上のステップに組み込まれる、もしくはそれと組み合わせられ得る。
図8は、後続の第2の発話に基づいて、ユーザが第2の発話で第1の入力を訂正することを意図したという第2の発話の中の明示的指示がない場合、自動発話認識を使用して第1の発話から生成される第1の入力のエラーを訂正するためのプロセス800の例証的フローチャートを描写する。メディアガイドアプリケーションは、ユーザ機器(例えば、ユーザ機器500、ユーザテレビ機器602、ユーザコンピュータ機器604、または無線ユーザ通信デバイス606)の制御回路504に、図8の要素のそれぞれを実行させる。プロセス800は、制御回路504が、ユーザ入力デバイス(例えば、ユーザ入力インターフェース510、無線通信デバイス606)を介して、第1の発話(例えば、第1の発話206)を受信する、802から開始する。第1の発話は、例えば、ユーザによって話された言葉を含み得る。第1の発話は、メディアアセット等の項目の検索を開始することをユーザによって意図され得る。例えば、第1の発話は、「オースティンについての番組を見せて」であり得る。
プロセス800は、制御回路504が、自動発話認識(ASR)を使用して、第1の発話に基づいて第1の入力(例えば、第1の入力208)を決定する、804に続く。例え
ば、制御回路504は、公知の自動発話認識技法を使用して、第1の発話をテキストに変換することによって、第1の入力を決定し得る。例えば、第1の発話が「オースティンについての番組を見せて」である場合、制御回路504は、第1の入力を「ボストンについての番組を見せて」であると決定し、それによって、第1の発話の中の「オースティン」を「ボストン」として不正確に認識し得る。
プロセス800は、制御回路504が、データベースから(例えば、通信ネットワーク614を通してメディアコンテンツソース616もしくはメディアガイドデータソース618から、または記憶装置508から)、第1の入力に基づいて検索結果(例えば、検索結果212)を読み出す、806に続く。データベースは、例えば、情報リポジトリを含み得る。例えば、第1の入力が「ボストンについての番組を見せて」である場合、制御回路504は、ボストンで行われているテレビ番組Fringeを読み出し得る。
プロセス800は、制御回路504が、検索結果を(例えば、ディスプレイ512上に)表示のために生成する、808に続く。例えば、検索結果がテレビ番組Fringeを含む場合、制御回路504は、Fringeのリスト項目(例えば、リスト項目308、406、408、410、または412)を表示のために生成し得る。
プロセス800は、制御回路504が、検索結果が表示のために生成された第1の時間(例えば、第1の時間210)を決定する、810に続く。例えば、制御回路504は、表示画面(例えば、ディスプレイ512)のピクセルに伝送される信号が第1の発話を受信するステップに続いて最初に変化した時間を検出することによって、第1の時間を決定し得る。
プロセス800は、制御回路が、ユーザ入力デバイスを介して、第1の時間におけるユーザ入力デバイスの第1の加速(例えば、第1の加速213)を測定する、812に続く。例えば、第1の時間におけるユーザ入力デバイスが近似的に静止している場合、第1の加速は、0m/秒であり得る。
プロセス800は、制御回路504が、ユーザ入力デバイスを介して、第1の発話を受信するステップに続いて、第2の発話(例えば、第2の発話216)を受信する、814に続く。第2の発話は、例えば、ユーザによって話された言葉を含み得る。第2の発話は、制御回路504によって不正確に認識された第1の入力の一部を訂正することをユーザによって意図され得る。例えば、ユーザは、第1の発話に合致しない検索結果に基づいて、メディアガイドが第1の発話を不正確に認識したことを決定し得る。例えば、検索結果がボストンについての番組を含む場合、ユーザは、制御回路504が、第1の発話(「オースティンについての番組を見せて」)に応答して、「ボストンについての番組を見せて」を不正確に生成したことを決定し得る。故に、第2の発話は、ユーザが「ボストン」を「オースティン」に訂正することを意図する、「オースティン」であり得る。
プロセス800は、制御回路504が、自動発話認識(ASR)を使用して、第2の発話に基づいて第2の入力(例えば、第2の入力720)を決定する、816に続く。例えば、制御回路504は、公知の自動発話認識技法を使用して、第2の発話をテキストに変換することによって、第2の入力を決定し得る。例えば、第2の発話が「オースティン」である場合、制御回路504は、第2の入力を「オースティン」であると決定し、それによって、第2の発話の中の「オースティン」を正確に認識し得る。
プロセス800は、制御回路504が、第2の発話が受信された第2の時間(例えば、第2の時間214)を決定する、818に続く。例えば、制御回路504は、第1の時間に続く最も早い発音が起こった時間を測定することによって、第2の時間を決定し得る。
例えば、制御回路504が午前10:00:00に検索結果を表示のために生成し、ユーザからの次の発音が「オースティン」であった場合、制御回路504は、「オースティン」の中の最初の「Au(オー)」という音が午前10:00:00に起こったことを測定し、午前10:00:00を第2の時間と見なし得る。
プロセス800は、制御回路が、ユーザ入力デバイスを介して、第1の時間と第2の時間との間のユーザ入力デバイスの第2の加速(例えば、第2の加速217)を測定する、820に続く。例えば、ユーザ入力デバイスが第1の時間と第2の時間との間に1m/秒の速度で移動した場合、第2の加速は、1m/秒であり得る。
プロセス800は、制御回路が、第2の加速と第1の加速との間の加速の差(例えば、加速の差218)を決定する、822に続く。例えば、第1の加速が0m/秒であり、第2の加速が1m/秒である場合、加速の差は、1m/秒であり得る。
プロセス800は、制御回路504が、加速の差を閾値加速と比較する、824に続く。例えば、第1の時間におけるユーザ入力デバイスの加速が0m/秒であり、第2の時間におけるデバイスの加速が1m/秒である場合、制御回路は、加速の差を1m/秒であると算出し、本加速の差を、0.25m/秒であり得る閾値加速と比較し得る。
プロセス800は、制御回路504が、加速の差を閾値加速と比較するステップに基づいて、加速の差が閾値加速を上回ることを決定する、826に続く。例えば、加速の差が1m/秒であり、閾値加速が0.25m/秒である場合、制御回路504は、1m/秒が0.25m/秒を上回ることを決定し得る。
プロセス800は、制御回路504が、加速の差が閾値加速を上回ることを決定することに基づいて、第1の入力の一部を第2の入力の一部と置換することによって、第1の入力に基づいて訂正された入力(例えば、訂正された入力222)を生成する、828に続く。例えば、第1の入力が「ボストンについての番組を見せて」であり、第2の入力が「オースティン」である場合、メディアガイドアプリケーションは、「ボストン」を「オースティン」と置換し、「オースティンについての番組を見せて」という訂正された入力を生成し得る。
プロセス800またはその任意のステップは、図4-5に示されるデバイスのうちのいずれかの上で実施される、もしくはそれによって提供され得ることに留意されたい。例えば、プロセス800は、後続の第2の発話に基づいて、ユーザが第2の発話で第1の入力を訂正することを意図したという第2の発話の中の明示的指示がない場合、自動発話認識を使用して第1の発話から生成される第1の入力のエラーを訂正するために、ユーザ機器602、604、606(図6)、および/またはユーザ機器500(図5)上に実装される制御回路によって命令されるように、制御回路504(図5)によって実行され得る。加えて、プロセス800は、任意の他のプロセスまたは実施形態の1つ以上のステップに組み込まれる、もしくはそれと組み合わせられ得る。例えば、第1の入力が「ボストンについての番組を見せて」であり、第2の入力が「オースティン」である場合、制御回路504は、「ボストン」を「オースティン」と置換し、「オースティンについての番組を見せて」という訂正された入力を生成し得る。
図9は、画像内の顔の相対サイズを決定することの例証的実施例を示す。図9は、複数のピクセル900を備えている、表示画面を示す。各ピクセルは、ホリゾンタルインデックス902およびバーティカルインデックス904に基づくホリゾンタルアドレスを含む、アドレスを割り当てられる。例えば、複数のピクセル900の右下隅におけるピクセルは、一対のうちの第1の数字がホリゾンタルアドレスを表し、一対のうちの第2の数字が
バーティカルアドレスを表す、アドレス(6,0)を有する。複数のピクセル900は、オブジェクト906を含む。オブジェクト906は、単純な形状として示されるが、本明細書に説明される方法は、オブジェクト906が顔である場合に同等に適用される。オブジェクト906の縁は、縁検出、限定ではないが、自己学習システム(例えば、ニューラルネットワーク)を含む、パターン認識、および/または任意の他の好適な技法もしくは方法を使用して、決定される。オブジェクト906が顔である場合、これは、Yang,
Ming-Hsuan, David J. Kriegman, and Narendra Ahuja. “Detecting faces in images: A survey.” IEEE Transactions on pattern analysis and machine intelligence 24 A (2002): 34-58(その内容がそれらの全体として参照することによって本明細書に組み込まれる)に説明されるもの等の任意の顔検出方法を使用して、検出され得る。オブジェクト906の左縁は、アドレス(1,1)、(1,2)、(1,3)、および(1,4)にピクセルを含むことが決定され、底縁は、アドレス(1,1)、(2,1)、(3,1)、および(4,1)にピクセルを含むことが決定され、右縁は、アドレス(4,1)、(4,2)、(4,3)、(3,3)、および(3,4)にピクセルを含むことが決定され、上縁は、アドレス(1,4)、(2,4)、(3,4)、(3,3)、および(4,3)にピクセルを含むことが決定される。オブジェクト906はまた、縁の内部にピクセル、すなわち、アドレス(2,2)、(2,3)、および(3,2)にピクセルを含む。故に、オブジェクト906が発生する、複数のピクセル900のうちのピクセルのサブセットは、(1,1)、(1,2)、(1,3)、(1,4)、(2,1)、(2,2)、(2,3)、(2,4)、(3,1)、(3,2)、(3,3)、(3,4)、(4,1)、(4,2)、および(4,3)である。オブジェクト906の相対サイズは、オブジェクト906が発生する、複数のピクセル900のうちのピクセルの数と見なされ得る。図9の実施例では、オブジェクト906が発生する、複数のピクセル900のうちのピクセルの数は、15である。
図10は、画像内の顔の相対サイズを決定するためのプロセスの例証的擬似コードを示す。下記の議論は、単純なオブジェクト906を対象とするが、オブジェクト906が顔である場合に同等に適用される。行1000では、行列は、オブジェクトの左縁のピクセルのアドレスを含有して初期化され、変数leftとして記憶される。図9の実施例に従って、leftは、(1,1)、(1,2)、(1,3)、および(1,4)を含むであろう。行1002では、行列は、オブジェクトの右縁のピクセルのアドレスを含有して初期化され、変数rightとして記憶される。図9の実施例に従って、rightは、(4,1)、(4,2)、(4,3)、(3,3)、および(3,4)を含むであろう。行1004では、行列は、leftおよびrightを含有して初期化され、shapeとして記憶される。図9の実施例に従って、shapeは、(1,1)、(1,2)、(1,3)、(1,4)、(4,1)、(4,2)、(4,3)、(3,3)、および(3,4)を含むであろう。行1006-1008は、leftの各要素を通してループし、left_testとして要素を記憶する。例えば、要素(1,2)が、選定され得る。行1010-1012では、left_testのホリゾンタルおよびバーティカル成分は、それぞれ、left_test_hおよびleft_test_vとして記憶される。上記の実施例に従って、left_test_hは、1に等しく、left_test_vは、2に等しいであろう。行1014では、left_test_vに合致するバーティカル成分を有する、rightの中の要素が、見出され、right_testとして記憶される。行1014は、rightを通したループとして実装され得る。上記の実施例に従って、(4,2)が、選定され、right_testとして記憶され得る。行1016では、left_test_hは、1だけインクリメントされる。上記の実施例に従って、left_test_hは、2までインクリメントされるであろう。行1018-1022では、right_testのホリゾンタル成分がleft_test_hを
上回る場合には、アドレス(left_test_h,left_test_v)を伴うピクセルが、shapeに追加され、プロセスは、行1016に戻る。上記の実施例に従って、right_testのホリゾンタル成分は、4であり、left_test_hは、2であるため、(2,2)が、shapeに追加され、プロセスは、行1016に戻る。行16-22を通した後続の行程では、(3,2)が、shapeに追加されるであろう。後続の行程では、left_test_hがright_testのホリゾンタル成分4に等しいであろうため、行1018内の条件文は、真ではなく、したがって、プロセスは、(1,3)等のleftの別の要素が選定される、行1006に進むであろう。leftの各要素が行1006において選定されると、プロセスは、重複がshapeから除去される、行1032に進むであろう。本プロセスは、上および底縁に関して同様に繰り返されると、オブジェクトが発生する、複数のピクセルのうちのピクセルのサブセットを含むshapeをもたらすであろう。shapeの要素の数は、次いで、オブジェクト906の相対サイズと見なされ得る。
上記で議論されるプロセスは、例証的であって、限定を意図するものではない。当業者は、本明細書で議論されるプロセスのステップが、本発明の範囲から逸脱することなく、省略される、修正される、組み合わせられる、および/または再配列されてもよく、任意の付加的ステップが、実施され得ることを理解するであろう。より一般的には、上記の開示は、例示的であって、限定を意図するものではない。続く請求項のみが、本発明が含むものに関する境界を設定することが意図されている。さらに、いずれか1つの実施形態で説明される特徴および限定は、本明細書の任意の他の実施形態に適用され得、一実施形態に関するフローチャートまたは実施例は、好適な様式で任意の他の実施形態と組み合わせられる、異なる順序で行われる、または並行して行われ得ることに留意されたい。加えて、本明細書で説明されるシステムおよび方法は、リアルタイムで実施され得る。また、上記で説明されるシステムおよび/または方法は、他のシステムならびに/もしくは方法に適用される、またはそれらに従って使用され得ることにも留意されたい。

Claims (9)

  1. ユーザが発話を用いて入力を訂正することを意図したという明示的指示が前記発話の中にない場合、前記発話に基づいて、前記入力を訂正する方法であって、前記入力は、自動発話認識を使用して生成され、前記方法は、
    ユーザ入力デバイスを介して、第1の発話を受信することと、
    制御回路および自動発話認識を使用して、前記第1の発話に基づいて第1の入力を決定することと、
    データベースから、前記第1の入力に基づく検索結果を読み出すことと、
    前記制御回路を使用して、前記検索結果を表示のために生成することと、
    前記制御回路を使用して、前記検索結果が表示のために生成された第1の時間を決定することと、
    前記ユーザ入力デバイスを介して、前記第1の発話を受信することに続いて、第2の発話を受信することと、
    前記制御回路および自動発話認識を使用して、前記第2の発話に基づいて第2の入力を決定することと、
    前記制御回路を使用して、前記第2の発話が受信された第2の時間を決定することと、
    前記制御回路を使用して、前記第2の時間と前記第1の時間との間の時間差を計算することと、
    前記制御回路を使用して、前記第2の時間と前記第1の時間との間の前記時間差が閾値時間未満であるか否かを決定することと、
    前記制御回路を使用して、前記検索結果に関連付けられた入力が前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定することと、
    前記時間差が前記閾値時間未満であることを決定すること、かつ、前記検索結果に関連付けられた入力が前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定することに応答して、前記制御回路を使用して、前記第1の入力の一部を前記第2の入力の一部に置換することによって、前記第1の入力に基づいて訂正された入力を生成することと
    を含む、方法。
  2. 前記検索結果に関連付けられた入力が前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定することは、前記検索結果をスクロールすること、前記検索結果の説明を読むこと、前記検索結果を開くこと、または、前記検索結果を再生することを行うための入力が前記第1の時間と前記第2の時間との間に前記ユーザ入力デバイスを介して受信されなかったことを決定することを含む、請求項1に記載の方法。
  3. 前記方法は、前記ユーザ入力デバイスを介して、前記第1の時間と前記第2の時間との間にユーザの顔の画像を捕捉することをさらに含み、
    前記訂正された入力を生成することは、前記制御回路を使用して、前記画像内の前記ユーザの顔が不満な感情に関連付けられていることを決定することにさらに基づく、請求項1に記載の方法。
  4. 前記方法は、
    前記ユーザ入力デバイスを介して、前記第1の発話が受信されている間にユーザの顔の第1の画像を捕捉することと、
    前記制御回路を使用して、前記第1の画像内の前記ユーザの顔の第1の相対サイズを決定することと、
    前記ユーザ入力デバイスを介して、前記第2の発話が受信されている間に前記ユーザの顔の第2の画像を捕捉することと、
    前記制御回路を使用して、前記第2の画像内の前記ユーザの顔の第2の相対サイズを決定することと、
    前記制御回路を使用して、前記ユーザの顔の前記第1の相対サイズと前記ユーザの顔の前記第2の相対サイズとの間の相対サイズ差と閾値相対サイズとを比較することと、
    前記ユーザの顔の前記第1の相対サイズと前記ユーザの顔の前記第2の相対サイズとの間の前記相対サイズ差と前記閾値相対サイズとを比較することに基づいて、前記制御回路を使用して、前記相対サイズ差が前記閾値相対サイズよりも大きいことを決定することと
    をさらに含み、
    前記訂正された入力を生成することは、前記制御回路を使用して、前記相対サイズ差が前記閾値相対サイズよりも大きいことを決定することにさらに基づく、請求項1に記載の方法。
  5. 前記方法は、
    前記制御回路を使用して、前記第2の時間と前記第1の時間との間の前記時間差ともう1つの閾値時間とを比較することと、
    前記第2の時間と前記第1の時間との間の前記時間差と前記もう1つの閾値時間とを比較することに基づいて、前記制御回路を使用して、前記第2の時間と前記第1の時間との間の前記時間差が前記もう1つの閾値時間よりも大きいことを決定することと
    をさらに含み、
    前記訂正された入力を生成することは、前記制御回路を使用して、前記第2の時間と前記第1の時間との間の前記時間差が前記もう1つの閾値時間よりも大きいことを決定することにさらに基づく、請求項1に記載の方法。
  6. 前記方法は、ユーザに関連付けられた複数の入力間の平均時間に基づいて、前記閾値時間を調節することをさらに含む、請求項1に記載の方法。
  7. 前記方法は、
    前記ユーザ入力デバイスを介して、基準環境雑音レベルを測定することと、
    前記ユーザ入力デバイスを介して、前記第1の発話が受信されている間の環境雑音レベルを測定することと、
    前記制御回路を使用して、前記第1の発話が受信されている間の前記環境雑音レベルと前記基準環境雑音レベルとの間の環境雑音レベル差と閾値環境雑音レベルとを比較することと、
    前記第1の発話が受信されている間の前記環境雑音レベルと前記基準環境雑音レベルとの間の前記環境雑音レベル差と前記閾値環境雑音レベルとを比較することに基づいて、前記制御回路を使用して、前記環境雑音レベル差が前記閾値環境雑音レベルよりも大きいことを決定することと
    をさらに含み、
    前記訂正された入力を生成することは、前記制御回路を使用して、前記環境雑音レベル差が前記閾値環境雑音レベルよりも大きいことを決定することにさらに基づく、請求項1に記載の方法。
  8. 前記第2の発話が受信された前記第2の時間を決定することは、前記ユーザ入力デバイスを介して、前記第1の時間に続く最も早い発音が受信された時間を測定することを含む、請求項1に記載の方法。
  9. 前記検索結果が表示のために生成された前記第1の時間を決定することは、前記制御回路を使用して、前記第1の時間に続いて、表示画面のピクセルに伝送される信号が最初に変化した時間を検出することを含む、請求項1に記載の方法。
JP2021103081A 2017-05-24 2021-06-22 自動発話認識を使用して生成された入力を発話に基づいて訂正する方法およびシステム Active JP7159400B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021103081A JP7159400B2 (ja) 2017-05-24 2021-06-22 自動発話認識を使用して生成された入力を発話に基づいて訂正する方法およびシステム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/US2017/034229 WO2018217194A1 (en) 2017-05-24 2017-05-24 Methods and systems for correcting, based on speech, input generated using automatic speech recognition
JP2019564454A JP7119008B2 (ja) 2017-05-24 2017-05-24 自動発話認識を使用して生成された入力を発話に基づいて訂正する方法およびシステム
JP2021103081A JP7159400B2 (ja) 2017-05-24 2021-06-22 自動発話認識を使用して生成された入力を発話に基づいて訂正する方法およびシステム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019564454A Division JP7119008B2 (ja) 2017-05-24 2017-05-24 自動発話認識を使用して生成された入力を発話に基づいて訂正する方法およびシステム

Publications (3)

Publication Number Publication Date
JP2021144250A JP2021144250A (ja) 2021-09-24
JP2021144250A5 JP2021144250A5 (ja) 2022-08-23
JP7159400B2 true JP7159400B2 (ja) 2022-10-24

Family

ID=59055274

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019564454A Active JP7119008B2 (ja) 2017-05-24 2017-05-24 自動発話認識を使用して生成された入力を発話に基づいて訂正する方法およびシステム
JP2021103081A Active JP7159400B2 (ja) 2017-05-24 2021-06-22 自動発話認識を使用して生成された入力を発話に基づいて訂正する方法およびシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019564454A Active JP7119008B2 (ja) 2017-05-24 2017-05-24 自動発話認識を使用して生成された入力を発話に基づいて訂正する方法およびシステム

Country Status (7)

Country Link
US (2) US11521608B2 (ja)
EP (1) EP3631794A1 (ja)
JP (2) JP7119008B2 (ja)
KR (2) KR102428911B1 (ja)
CN (1) CN110663079A (ja)
CA (1) CA3002383A1 (ja)
WO (1) WO2018217194A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7131077B2 (ja) * 2018-05-24 2022-09-06 カシオ計算機株式会社 会話装置、ロボット、会話装置制御方法及びプログラム
US10831442B2 (en) * 2018-10-19 2020-11-10 International Business Machines Corporation Digital assistant user interface amalgamation
US11277692B2 (en) 2019-03-27 2022-03-15 Panasonic Corporation Speech input method, recording medium, and speech input device
JP7411422B2 (ja) * 2019-03-27 2024-01-11 パナソニックホールディングス株式会社 音声入力方法、プログラム及び音声入力装置
US11263198B2 (en) 2019-09-05 2022-03-01 Soundhound, Inc. System and method for detection and correction of a query
EP3790000A1 (en) * 2019-09-05 2021-03-10 SoundHound, Inc. System and method for detection and correction of a speech query
JP7363307B2 (ja) * 2019-09-30 2023-10-18 日本電気株式会社 音声チャットボットにおける認識結果の自動学習装置及び方法、並びにコンピュータプログラム及び記録媒体
US11721322B2 (en) * 2020-02-28 2023-08-08 Rovi Guides, Inc. Automated word correction in speech recognition systems
CN111326140B (zh) * 2020-03-12 2023-05-30 科大讯飞股份有限公司 语音识别结果判别方法、纠正方法、装置、设备及存储介质
US20220139373A1 (en) * 2020-07-08 2022-05-05 Google Llc Identification and utilization of misrecognitions in automatic speech recognition
KR102458830B1 (ko) * 2020-11-16 2022-10-26 주식회사 솔트룩스 사용자 중심의 음성 대화 시스템
KR20220119219A (ko) * 2021-02-19 2022-08-29 삼성전자주식회사 온디바이스 인공지능 서비스를 제공하는 전자 장치 및 방법
US20220300560A1 (en) * 2021-03-18 2022-09-22 Amazon Technologies, Inc. Voice search refinement resolution
US11854544B1 (en) 2021-06-11 2023-12-26 Amazon Technologies, Inc. Entity resolution of product search filters
CN115841814A (zh) * 2021-09-18 2023-03-24 华为技术有限公司 语音交互方法及电子设备
US11657803B1 (en) * 2022-11-02 2023-05-23 Actionpower Corp. Method for speech recognition by using feedback information
CN115798465B (zh) * 2023-02-07 2023-04-07 天创光电工程有限公司 一种语音输入方法、系统及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003316386A (ja) 2002-04-24 2003-11-07 Toshiba Corp 音声認識方法および音声認識装置および音声認識プログラム
JP2004510209A (ja) 2000-09-29 2004-04-02 テレフオンアクチーボラゲット エル エム エリクソン(パブル) 発声された番号シーケンスの分析方法及び装置
JP2006209069A (ja) 2004-12-28 2006-08-10 Advanced Telecommunication Research Institute International 音声区間検出装置および音声区間検出プログラム
JP2010128015A (ja) 2008-11-25 2010-06-10 Toyota Central R&D Labs Inc 音声認識の誤認識判定装置及び音声認識の誤認識判定プログラム
US9123339B1 (en) 2010-11-23 2015-09-01 Google Inc. Speech recognition using repeated utterances
JP2016180917A (ja) 2015-03-25 2016-10-13 日本電信電話株式会社 言い直し検出装置、音声認識システム、言い直し検出方法、プログラム

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6239794B1 (en) 1994-08-31 2001-05-29 E Guide, Inc. Method and system for simultaneously displaying a television program and information about the program
US6564378B1 (en) 1997-12-08 2003-05-13 United Video Properties, Inc. Program guide system with browsing display
CN1867068A (zh) 1998-07-14 2006-11-22 联合视频制品公司 交互式电视节目导视系统及其方法
AR020608A1 (es) 1998-07-17 2002-05-22 United Video Properties Inc Un metodo y una disposicion para suministrar a un usuario acceso remoto a una guia de programacion interactiva por un enlace de acceso remoto
MX355835B (es) 1998-07-17 2018-05-02 Rovi Guides Inc Un sistema de guias de programacion televisiva interactivas que tiene multiples dispositivos dentro de una residencia de un grupo familiar.
US7165098B1 (en) 1998-11-10 2007-01-16 United Video Properties, Inc. On-line schedule system with personalization features
CN101257609B (zh) 2001-02-21 2014-03-19 联合视频制品公司 具有个人视频记录特征的交互式节目导视器的系统和方法
JP2005084253A (ja) * 2003-09-05 2005-03-31 Matsushita Electric Ind Co Ltd 音響処理装置、方法、プログラム及び記憶媒体
US20050182504A1 (en) 2004-02-18 2005-08-18 Bailey James L. Apparatus to produce karaoke accompaniment
KR100819848B1 (ko) 2005-12-08 2008-04-08 한국전자통신연구원 발화검증을 위한 임계치값 자동 갱신을 이용한 음성인식장치 및 방법
US20100153885A1 (en) 2005-12-29 2010-06-17 Rovi Technologies Corporation Systems and methods for interacting with advanced displays provided by an interactive media guidance application
JP5089955B2 (ja) 2006-10-06 2012-12-05 三菱電機株式会社 音声対話装置
US20080134866A1 (en) 2006-12-12 2008-06-12 Brown Arnold E Filter for dynamic creation and use of instrumental musical tracks
WO2009001138A1 (en) 2007-06-28 2008-12-31 Taptu Ltd Search result ranking
US20090006368A1 (en) 2007-06-29 2009-01-01 Microsoft Corporation Automatic Video Recommendation
US20090228273A1 (en) 2008-03-05 2009-09-10 Microsoft Corporation Handwriting-based user interface for correction of speech recognition errors
JP2011059194A (ja) 2009-09-07 2011-03-24 Sharp Corp 制御装置、画像形成装置、画像形成装置の制御方法、プログラムおよび記録媒体
US8990241B2 (en) 2010-12-23 2015-03-24 Yahoo! Inc. System and method for recommending queries related to trending topics based on a received query
US8805751B2 (en) 2011-10-13 2014-08-12 Verizon Patent And Licensing Inc. User class based media content recommendation methods and systems
US8249876B1 (en) * 2012-01-03 2012-08-21 Google Inc. Method for providing alternative interpretations of a voice input to a user
EP2645364B1 (en) * 2012-03-29 2019-05-08 Honda Research Institute Europe GmbH Spoken dialog system using prominence
US20130294755A1 (en) 2012-05-03 2013-11-07 United Video Properties, Inc. Systems and methods for preventing access to a media asset segment during a fast-access playback operation
US20130347038A1 (en) 2012-06-21 2013-12-26 United Video Properties, Inc. Systems and methods for searching for media based on derived attributes
US9424233B2 (en) 2012-07-20 2016-08-23 Veveo, Inc. Method of and system for inferring user intent in search input in a conversational interaction system
WO2014025012A1 (ja) * 2012-08-10 2014-02-13 株式会社ホンダアクセス 音声認識方法及び音声認識装置
US9237386B2 (en) 2012-08-31 2016-01-12 Google Inc. Aiding discovery of program content by providing deeplinks into most interesting moments via social media
WO2014068788A1 (ja) * 2012-11-05 2014-05-08 三菱電機株式会社 音声認識装置
US9462342B2 (en) 2013-01-24 2016-10-04 Surewaves Mediatech Private Limited System and method for recommending on demand multimedia content based on event information
DK2994908T3 (da) * 2013-05-07 2019-09-23 Veveo Inc Grænseflade til inkrementel taleinput med realtidsfeedback
US9712482B2 (en) 2014-02-18 2017-07-18 Veveo, Inc. Methods and systems for recommending concept clusters based on availability
US9715875B2 (en) * 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US20150382061A1 (en) 2014-06-30 2015-12-31 Sling Media, Inc. Spoiler mitigation methods and systems
WO2016020464A1 (en) 2014-08-05 2016-02-11 Piksel, Inc Context driven recommendation for content delivery and display system
US9514743B2 (en) 2014-08-29 2016-12-06 Google Inc. Query rewrite corrections
JP6284462B2 (ja) * 2014-09-22 2018-02-28 株式会社日立製作所 音声認識方法、及び音声認識装置
US10284916B2 (en) 2014-11-19 2019-05-07 Comcast Cable Communications, Llc Personalized menus and media content interface
JP6514503B2 (ja) * 2014-12-25 2019-05-15 クラリオン株式会社 意図推定装置、および意図推定システム
US10068023B2 (en) 2014-12-30 2018-09-04 Rovi Guides, Inc. Systems and methods for updating links between keywords associated with a trending topic
US9648386B2 (en) 2014-12-30 2017-05-09 Echostar Technologies L.L.C. Protection from spoilers
US11290783B2 (en) 2015-03-17 2022-03-29 Comcast Cable Communications, Llc Real-time recommendations for altering content output
EP3089159B1 (en) * 2015-04-28 2019-08-28 Google LLC Correcting voice recognition using selective re-speak
US10339917B2 (en) * 2015-09-03 2019-07-02 Google Llc Enhanced speech endpointing
US20170069309A1 (en) * 2015-09-03 2017-03-09 Google Inc. Enhanced speech endpointing
US10884503B2 (en) * 2015-12-07 2021-01-05 Sri International VPA with integrated object recognition and facial expression recognition
JP6751658B2 (ja) * 2016-11-15 2020-09-09 クラリオン株式会社 音声認識装置、音声認識システム
US10741175B2 (en) * 2016-11-30 2020-08-11 Lenovo (Singapore) Pte. Ltd. Systems and methods for natural language understanding using sensor input
US11475884B2 (en) * 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004510209A (ja) 2000-09-29 2004-04-02 テレフオンアクチーボラゲット エル エム エリクソン(パブル) 発声された番号シーケンスの分析方法及び装置
JP2003316386A (ja) 2002-04-24 2003-11-07 Toshiba Corp 音声認識方法および音声認識装置および音声認識プログラム
JP2006209069A (ja) 2004-12-28 2006-08-10 Advanced Telecommunication Research Institute International 音声区間検出装置および音声区間検出プログラム
JP2010128015A (ja) 2008-11-25 2010-06-10 Toyota Central R&D Labs Inc 音声認識の誤認識判定装置及び音声認識の誤認識判定プログラム
US9123339B1 (en) 2010-11-23 2015-09-01 Google Inc. Speech recognition using repeated utterances
JP2016180917A (ja) 2015-03-25 2016-10-13 日本電信電話株式会社 言い直し検出装置、音声認識システム、言い直し検出方法、プログラム

Also Published As

Publication number Publication date
WO2018217194A1 (en) 2018-11-29
EP3631794A1 (en) 2020-04-08
US11521608B2 (en) 2022-12-06
US20200143806A1 (en) 2020-05-07
KR20220114094A (ko) 2022-08-17
JP2021144250A (ja) 2021-09-24
JP2020522733A (ja) 2020-07-30
CN110663079A (zh) 2020-01-07
JP7119008B2 (ja) 2022-08-16
KR102428911B1 (ko) 2022-08-03
CA3002383A1 (en) 2018-11-24
KR20200010455A (ko) 2020-01-30
US20230138030A1 (en) 2023-05-04

Similar Documents

Publication Publication Date Title
JP7159400B2 (ja) 自動発話認識を使用して生成された入力を発話に基づいて訂正する方法およびシステム
US11792476B2 (en) System and methods for disambiguating an ambiguous entity in a search query based on the gaze of a user
US10182266B2 (en) Systems and methods for automatically enabling subtitles based on detecting an accent
US10564928B2 (en) Systems and methods for generating a volume- based response for multiple voice-operated user devices
US10311862B2 (en) Systems and methods for conversations with devices about media using interruptions and changes of subjects
US10142585B2 (en) Methods and systems for synching supplemental audio content to video content
US9852774B2 (en) Methods and systems for performing playback operations based on the length of time a user is outside a viewing area
US12057103B2 (en) Systems and methods for identifying content corresponding to a language spoken in a household
US20150379132A1 (en) Systems and methods for providing context-specific media assets
US20160309214A1 (en) Method of synchronizing alternate audio content with video content
US12062358B2 (en) Systems and methods for adjusting dubbed speech based on context of a scene
US9398343B2 (en) Methods and systems for providing objects that describe media assets
US11343563B2 (en) Methods and systems for verifying media guidance data
US10405062B2 (en) Systems and methods for generating a set of custom keywords based on a media asset

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220819

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220915

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221012

R150 Certificate of patent or registration of utility model

Ref document number: 7159400

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150