JP7491147B2 - 表示システムの制御方法、表示システム、及び、表示装置の制御方法 - Google Patents

表示システムの制御方法、表示システム、及び、表示装置の制御方法 Download PDF

Info

Publication number
JP7491147B2
JP7491147B2 JP2020145442A JP2020145442A JP7491147B2 JP 7491147 B2 JP7491147 B2 JP 7491147B2 JP 2020145442 A JP2020145442 A JP 2020145442A JP 2020145442 A JP2020145442 A JP 2020145442A JP 7491147 B2 JP7491147 B2 JP 7491147B2
Authority
JP
Japan
Prior art keywords
voice
state
unit
wake word
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020145442A
Other languages
English (en)
Other versions
JP2022040644A5 (ja
JP2022040644A (ja
Inventor
乃那 三村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2020145442A priority Critical patent/JP7491147B2/ja
Priority to US17/462,480 priority patent/US20220068275A1/en
Publication of JP2022040644A publication Critical patent/JP2022040644A/ja
Publication of JP2022040644A5 publication Critical patent/JP2022040644A5/ja
Application granted granted Critical
Publication of JP7491147B2 publication Critical patent/JP7491147B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、表示システムの制御方法、表示システム、及び、表示装置の制御方法に関する。
従来、ユーザー以外の音声によって音声アシスタント機能が誤作動することを抑制する技術が知られている。例えば、特許文献1は、マイクで拾った音声と、外部機器が出力する音声との各々について音声認識を行い、各々の音声にウェイクワードが含まれている場合、音声アシスタント機能を起動させないスマートスピーカーを開示する。
特開2019-184809号公報
しかしながら、特許文献1は、外部機器が出力する音声の音声データを受信することが必須であるため、当該音声データを受信できない場所においてはウェイクワードに応答してしまい、ユーザー以外の音声によって音声アシスタント機能が誤作動し得る。また、特許文献1は、外部機器が出力する音声の音声データを常に解析し続ける必要があるため、処理負荷が大きい。
上記課題を解決する一態様は、音声アシスタントデバイスと、前記音声アシスタントデバイスと通信可能な表示装置を有する表示システムの制御方法であって、前記表示装置は、前記音声アシスタントデバイスに、前記表示装置が音声による第1操作を許可する第1状態と、前記第1操作を許可しない第2状態とのいずれの状態であるかを示す状態情報を送信し、前記音声アシスタントデバイスは、受信した前記状態情報が示す状態が前記第1状態である場合、ウェイクワードに基づく音声アシスタント機能を前記表示装置に対して実行し、受信した前記状態情報が示す状態が前記第2状態である場合、前記ウェイクワードに基づく前記音声アシスタント機能を前記表示装置に対して実行しない、表示システムの制御方法である。
上記課題を解決する別の一態様は、音声アシスタントデバイスと、前記音声アシスタントデバイスと通信可能な表示装置と、を有する表示システムであって、前記表示装置は、音声による第1操作を許可する第1状態と、前記第1操作を許可しない第2状態とのいずれかの状態であり、前記音声アシスタントデバイスに、前記表示装置が音声による第1操作を許可する第1状態と、前記第1操作を許可しない第2状態とのいずれの状態であるかを示す状態情報を送信し、前記音声アシスタントデバイスは、受信した前記状態情報が示す状態が前記第1状態である場合、ウェイクワードに基づく音声アシスタント機能を前記表示装置に対して実行し、受信した前記状態情報が示す状態が前記第2状態である場合、前記ウェイクワードに基づく前記音声アシスタント機能を前記表示装置に対して実行しない、表示システムである。
上記課題を解決するさらに別の一態様は、音声検出部を有し、ウェイクワードに基づく音声アシスタント機能を実行可能な表示装置の制御方法であって、第1状態と、第2状態とのいずれかの状態であり、前記表示装置の状態が音声検出部が検出した音声による操作を許可する前記第1状態であり、且つ、前記音声検出部が検出した音声に前記ウェイクワードが含まれる場合、前記ウェイクワードに応答し、前記表示装置の状態が前記音声検出部が検出した音声による操作を許可しない前記第2状態である場合、前記ウェイクワードに応答しない、表示装置の制御方法である。
プロジェクターの構成を示す図。 プロジェクターの動作を示すフローチャート。 プロジェクターの動作を示すフローチャート。 表示システムの構成を示す図。 表示システムの動作を示すフローチャート。 表示システムの動作を示すフローチャート。 プロジェクターの動作を示すフローチャート。 プロジェクターの動作を示すフローチャート。
[第1実施形態]
第1実施形態について説明する。
図1は、プロジェクター1の構成を示すブロック図である。プロジェクター1は、表示装置の一例に対応する。
プロジェクター1は、外部装置として画像供給装置2が接続される。画像供給装置2は、プロジェクター1に画像データを出力する。プロジェクター1は、画像供給装置2から入力される画像データに基づき、投写面としてのスクリーンSCに画像を投写する。投写は、表示の一例に対応する。
画像供給装置2から入力される画像データは、所定規格に準拠した画像データである。この画像データは、静止画像データであっても動画像データであってもよく、音声データを伴ってもよい。
画像供給装置2は、プロジェクター1に画像データを出力する、いわゆる画像ソースである。画像供給装置2の具体的な構成は制限されず、プロジェクター1に接続可能であって、プロジェクター1に画像データを出力できる機器であればよい。例えば、画像供給装置2としては、ディスク型記録メディア再生装置や、テレビチューナー装置、パーソナルコンピューター、書画カメラ等を用いてもよい。
スクリーンSCは、幕状のスクリーンであってもよいし、建造物の壁面や設置物の平面をスクリーンSCとして利用してもよい。スクリーンSCは平面に限らず、曲面や、凹凸を有する面であってもよい。
プロジェクター1は、PJ制御部10を備える。
PJ制御部10は、CPUやMPU等のプログラムを実行するプロセッサーであるPJプロセッサー110、及び、PJ記憶部120を備え、プロジェクター1の各部を制御する。PJ制御部10は、PJプロセッサー110が、PJ記憶部120に記憶された制御プログラム121を読み出して処理を実行するように、ハードウェア、及びソフトウェアの協働により各種処理を実行する。また、PJ制御部10は、PJプロセッサー110が制御プログラム121を読み出して実行することにより、音声データ取得部111、音声認識部112、ウェイクワード検出部113、音声アシスタント機能実行部114、操作処理部115、及び、投写制御部116として機能する。これら機能ブロックの詳細については後述する。
PJ記憶部120は、PJプロセッサー110が実行するプログラムや、PJプロセッサー110により処理されるデータを記憶する記憶領域を有する。PJ記憶部120は、プログラムやデータを不揮発的に記憶する不揮発性記憶領域を有する。また、PJ記憶部120は、揮発性記憶領域を備え、PJプロセッサー110が実行するプログラムや処理対象のデータを一時的に記憶するワークエリアを構成してもよい。
PJ記憶部120は、PJプロセッサー110が実行する制御プログラム121の他に、設定データ122、音声辞書データ123、及び、ウェイクワードデータ124を記憶する。
設定データ122は、プロジェクター1の動作に関する設定値を含む。設定データ122に含まれる設定値としては、例えば、スピーカー71が出力する音声の音量レベルを示す設定値や、画像処理部40及びOSD処理部50が実行する処理内容を示す設定値、画像処理部40及びOSD処理部50の処理に用いるパラメーター等である。
音声辞書データ123は、音声認識部112がマイク72により検出されたユーザーの音声を認識するためのデータである。例えば、音声辞書データ123は、ユーザーの音声のデジタルデータを、日本語、英語またはその他の設定された言語のテキストに変換するための辞書データを含む。
ウェイクワードデータ124は、予め定められた所定の文言であるウェイクワードを示すデータである。なお、ウェイクワードは、任意の語を含む文言とすることができる。
プロジェクター1は、インターフェース部20、フレームメモリー30、画像処理部40、OSD処理部50、操作部60、及び、音声処理部70を備える。これらの各部は、バス130を介してPJ制御部10とデータ通信可能に接続される。
インターフェース部20は、所定の通信規格に準拠したコネクター及びインターフェース回路等の通信ハードウェアを備える。図1では、コネクター及びインターフェース回路についての図示を省略している。インターフェース部20は、PJ制御部10の制御に従って、所定の通信規格に従って、画像供給装置2との間で画像データや制御データ等を送受信する。インターフェース部20のインターフェースは、例えば、HDMI(High-Definition Multimedia Interface)や、Displayport、HDBaseT、USB Type-C、3G-SDI(Serial Digital Interface)等の映像及び音声をデジタルで伝送可能なインターフェースを用いることができる。HDMIは、登録商標である。HDBaseTは、登録商標である。また、インターフェースとして、イーサネット、IEEE1394、USB等のデータ通信用のインターフェースを用いることができる。イーサネットは、登録商標である。また、インターフェースとして、RCA端子や、VGA端子、S端子、D端子等のアナログの映像端子を備え、アナログの映像信号を送受信可能なインターフェースを用いることができる。
フレームメモリー30、画像処理部40、及び、OSD処理部50は、例えば集積回路により構成される。集積回路には、LSI、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field-Programmable Gate Array)、SoC(System-on-a-chip)等が含まれる。また、集積回路の構成の一部にアナログ回路が含まれてもよく、PJ制御部10と集積回路とが組み合わる構成でもよい。
フレームメモリー30は、複数のバンクを備える。各バンクは、画像データの1フレームを書き込み可能な記憶容量を有する。フレームメモリー30は、例えば、SDRAMにより構成される。なお、SDRAMは、Synchronous Dynamic Random Access Memoryの略である。
画像処理部40は、フレームメモリー30に展開された画像データに対して、例えば、解像度変換処理又はリサイズ処理、歪曲収差の補正、形状補正処理、デジタルズーム処理、画像の色合いや輝度の調整等の画像処理を行う。画像処理部40は、PJ制御部10により指定された処理を実行し、必要に応じて、PJ制御部10から入力されるパラメーターを使用して処理を行う。また、画像処理部40は、上記のうち複数の画像処理を組み合わせて実行することも可能である。
画像処理部40は、処理の終了した画像データをフレームメモリー30から読み出してOSD処理部50に出力する。
OSD処理部50は、PJ制御部10の制御に基づいて、画像処理部40から入力された画データが示す画像上に、プロジェクター1の設定に係るユーザーインターフェースを重畳するための処理を行う。以下の説明では、当該ユーザーインターフェースを、設定UIという。
OSD処理部50は、PJ制御部10が設定UIの重畳を指示すると、画像処理部40から入力された画像データが示す画像上の所定の位置に設定UIが重畳されるように、画像処理部40から入力される画像データに設定UIの画像データを合成する。合成された画像データは、光変調装置駆動回路92に出力される。なお、PJ制御部10から設定UIを重畳する旨の指示がない場合には、OSD処理部50は、画像処理部40から入力される画像データを、加工することなくそのまま光変調装置駆動回路92に出力する。
操作部60は、操作パネル61、リモコン受光部62、及び、入力処理部63を備える。
操作パネル61は、プロジェクター1の筐体に設けられ、ユーザーが操作可能な各種スイッチを備える。入力処理部63は、操作パネル61の各スイッチの操作を検出する。
リモコン受光部62は、リモコン3が送信する赤外線信号を受光する。入力処理部63は、リモコン受光部62が受光した信号をデコードして、操作データを生成し、PJ制御部10に出力する。
入力処理部63は、操作パネル61、及び、リモコン受光部62に接続される。入力処理部63は、操作パネル61またはリモコン受光部62でユーザーの操作を受け付けた場合に、受け付けた操作に対応する操作データを生成してPJ制御部10に出力する。
音声処理部70は、スピーカー71、マイク72、及び、信号処理部73を備える。マイク72は、音声検出部の一例に対応する。
信号処理部73は、PJ制御部10からデジタルの音声データが入力された場合、入力された音声データをデジタルからアナログに変換する。信号処理部73は、変換したアナログの音声データをスピーカー71に出力する。スピーカー71は、入力される音声データに基づいて音声を出力する。
また、信号処理部73は、マイク72が音声を検出すると、マイク72が検出した音声を示すアナログの音声データがマイク72から入力される。信号処理部73は、マイク72から入力された音声データをアナログからデジタルに変換し、変換したデジタルの音声データをPJ制御部10に出力する。
プロジェクター1は、投写部80と、投写部80を駆動する駆動部90とを備える。
投写部80は、光源部81、光変調装置82、及び、投写光学系83を備える。駆動部90は、光源駆動回路91、及び、光変調装置駆動回路92を備える。
光源駆動回路91は、バス130を介してPJ制御部10に接続され、また、光源部81に接続される。光源駆動回路91は、PJ制御部10の制御に従って光源部81を点灯又は消灯させる。
光変調装置駆動回路92は、バス130を介してPJ制御部10に接続され、また、光変調装置82が接続される。光変調装置駆動回路92は、PJ制御部10の制御に従って、光変調装置82を駆動し、光変調装置82が具備する光変調素子にフレーム単位で画像を描画する。光変調装置駆動回路92には、画像処理部40からR、G、Bの各原色に対応する画像データが入力される。光変調装置駆動回路92は、入力された画像データを、光変調装置82が具備する光変調素子である液晶パネルの動作に適したデータ信号に変換する。光変調装置駆動回路92は、変換したデータ信号に基づいて、各液晶パネルの各画素に電圧を印加し、各液晶パネルに画像を描画する。
光源部81は、ハロゲンランプ、キセノンランプ、超高圧水銀ランプ等のランプ、或いは、LEDやレーザー光源等の固体光源で構成される。光源部81は、光源駆動回路91から供給される電力により点灯し、光変調装置82に向けて光を発する。
光変調装置82は、例えば、R、G、及び、Bの三原色に対応した3枚の液晶パネルを備える。Rは赤色を示し、Gは緑色を示し、Bは青色を示す。光源部81から射出される光は、RGBの3色の色光に分離され、それぞれ対応する液晶パネルに入射される。3枚の液晶パネルの各々は、透過型の液晶パネルであり、透過する光を変調して画像光を生成する。各液晶パネルを通過して変調された画像光は、クロスダイクロイックプリズム等の合成光学系によって合成され、投写光学系83に射出される。
本実施形態では、光変調装置82が光変調素子として透過型の液晶パネルを備える場合を例示するが、光変調素子は反射型の液晶パネルであってもよいし、デジタルミラーデバイス(Digital Micromirror Device)でもよい。
投写光学系83は、光変調装置82により変調された画像光をスクリーンSC上に結像させるレンズやミラー等を備える。投写光学系83は、スクリーンSCに投写される画像を拡大又は縮小させるズーム機構や、フォーカスの調整を行うフォーカス調整機構等を備えてもよい。
次に、PJ制御部10の機能ブロックについて説明する。
音声データ取得部111は、音声処理部70から、マイク72が検出した音声を示す音声データを取得する。音声データ取得部111は、取得した音声データを後述する場合に音声認識部112に出力する。
音声認識部112は、音声データ取得部111が音声データに基づいて、マイク72が検出した音声を認識する。音声認識部112は、音声認識の結果を、ウェイクワード検出部113、及び、音声アシスタント機能実行部114に出力する。例えば、音声認識部112は、PJ記憶部120が記憶する音声辞書データ123を参照し、マイク72が収音した音声の音声データを解析して、マイク72が検出した音声をテキスト化する処理を行う。そして、音声認識部112は、テキスト化した音声データを音声認識の結果として、ウェイクワード検出部113、及び、音声アシスタント機能実行部114に出力する。
ウェイクワード検出部113は、音声認識部112が出力した音声認識の結果に、ウェイクワードが含まれているか否かを判定する。より詳細には、ウェイクワード検出部113は、音声認識の結果に、ウェイクワードデータ124が示すウェイクワードと一致する文言が含まれているか否かを判定する。例えば、ウェイクワード検出部113は、テキストの音声データに対して文字列検索を行うことで、ウェイクワードデータ124が示すウェイクワードが含まれている否かを判定する。ウェイクワード検出部113は、判定結果として、ウェイクワードが含まれているか否かを示すウェイクワード検出情報を、音声アシスタント機能実行部114に出力する。
音声アシスタント機能実行部114は、音声アシスタント機能を実行する。音声アシスタント機能とは、ウェイクワードに続く音声に対応する処理を行う機能である。音声アシスタント機能としては、例えば、プロジェクター1の電源のオンオフ、画像投写の開始、画像ソースの切り替え、設定UIの投写、映像や音楽等の情報検索及び情報出力等が挙げられる。音声アシスタント機能実行部114は、ウェイクワード検出部113が出力するウェイクワード検出情報が、ウェイクワードを含むことを示す場合、このウェイクワードに続く音声に対応する処理を実行する。なお、音声アシスタント機能実行部114が実行する音声アシスタント機能に、ネットワークNWを利用した情報検索や情報出力が含まれる場合、プロジェクター1は、機能部として、ネットワークNWに接続する機器と通信可能な通信部を備える。
例えば、「マイプロジェクター 投写開始して」との音声を音声認識部112が認識し、「マイプロジェクター」がウェイクワードであったとする。この例の場合、音声アシスタント機能実行部114は、「投写開始して」との音声に基づいて、画像投写の開始を投写制御部116に要求することで、画像投写を開始する。
また、例えば、「マイプロジェクター 電源オンにして」との音声を音声認識部112が認識し、「マイプロジェクター」がウェイクワードであったとする。この例の場合、音声アシスタント機能実行部114は、「電源オンにして」との音声に基づいて、プロジェクター1の電源をオンにする。
また、例えば、「マイプロジェクター 設定画面を表示して」との音声を音声認識部112が認識し、「マイプロジェクター」がウェイクワードであったとする。この例の場合、音声アシスタント機能実行部114は、「設定画面を表示して」との音声に基づいて、設定UIの投写の開始を投写制御部116に要求することで、設定UIの投写を開始する。
操作処理部115は、操作部60が受け付けた非音声操作に対応する処理を実行する。非音声操作とは、音声以外による操作であり、例えばプロジェクター1の筐体に設けられる各種スイッチに対する操作や、リモコン3に設けられた各種スイッチに対する操作である。非音声操作は、第2操作の一例に対応する。以下の説明において、音声による操作を、音声操作という。音声操作は、第1操作の一例に対応する。
例えば、操作処理部115は、操作部60から出力された操作データが、音量を大きくする操作データである場合、設定データ122における音量レベルの設定値を更新することによって、スピーカー71が出力する音声の音量レベルを現在の音量レベルより大きく設定する。
投写制御部116は、画像処理部40や、OSD処理部50、駆動部90等を制御して、スクリーンSCに画像を投写させる。
具体的には、投写制御部116は、画像処理部40を制御して、フレームメモリー30に展開された画像データを画像処理部40に処理させる。この際、投写制御部116は、画像処理部40が処理に必要なパラメーターをPJ記憶部120から読み出して画像処理部40に出力する。
また、投写制御部116は、OSD処理部50を制御して、画像処理部40から入力された画像データをOSD処理部50に処理させる。
また、投写制御部116は、光源駆動回路91、及び、光変調装置駆動回路92を制御して、光源駆動回路91によって光源部81を点灯させ、光変調装置駆動回路92により光変調装置82を駆動させ、投写部80によって画像光を投写してスクリーンSCに画像を表示する。また、投写制御部116は、投写光学系83を制御してモーターを起動させ、投写光学系83のズームやフォーカスを調整する。
本実施形態のプロジェクター1は、第1状態及び第2状態のいずれかの状態である。
第1状態は、ユーザーによる音声操作及び非音声操作を許可する状態である。すなわち、第1状態は、ユーザーから受け付けた音声操作或いは非音声操作に対応する処理を実行可能な状態である。具体的には、第1状態は、音声を出力していない状態であり、例えば、設定UIのみを投写している状態や、画像投写していない状態、音声を伴わない映像を投写している状態、画像供給装置2から画像データが供給されていない状態、スピーカー71の音量がゼロに設定されている状態、映像投写を一時停止している状態等である。
第2状態は、ユーザーによる音声操作を許可しない一方で、ユーザーによる非音声操作については許可する状態である。すなわち、第2状態は、ユーザーによる音声操作に対応する処理を実行しない一方で、ユーザーによる非音声操作に対応する処理を実行可能な状態である。具体的には、第2状態は、音声を出力している状態であり、例えば、音声出力を伴う画像を投写している状態や、スピーカー71の音量がゼロ以外の音量で画像を投写している状態である。
なお、第2状態は、非音声操作を踏まえた音声操作については許可する。具体的には、第2状態は、音声操作を強制的に有効にするスイッチが操作された場合については音声操作を許可する。
以上の構成の下、本実施形態におけるプロジェクター1は、以下の動作を実行する。
図2は、プロジェクター1の動作を示すフローチャートである。
プロジェクター1のPJ制御部10の音声データ取得部111は、音声処理部70から、マイク72が検出した音声の音声データを取得したか否かを判別する(ステップSA1)。
音声データ取得部111は、音声処理部70から音声データを取得していないと判別した場合(ステップSA1:NO)、再度、ステップSA1の処理を実行する。
一方、音声データ取得部111は、音声処理部70から音声データを取得したと判別した場合(ステップSA1:YES)、プロジェクター1の状態が第1状態であるか第2状態であるかを判別する(ステップSA2)。
音声データ取得部111は、プロジェクター1の状態が第2状態であると判別した場合(ステップSA2:「第2状態」)、音声処理部70から取得した音声データを破棄し(ステップSA3)、本処理を終了する。
一方、音声データ取得部111は、プロジェクター1の状態が第1状態であると判別した場合(ステップSA2:「第1状態」)、ウェイクワード検出部113、及び、音声アシスタント機能実行部114に取得した音声データを出力する(ステップSA4)。
ウェイクワード検出部113は、音声データ取得部111が出力した音声データが示す音声に、ウェイクワードが含まれている否かを判定し、ウェイクワード検出情報を音声アシスタント機能実行部114に出力する(ステップSA5)。
次いで、音声アシスタント機能実行部114は、ウェイクワード検出情報が、ウェイクワードを含むことを示すか、ウェイクワードを含まないことを示すか、を判別する(ステップSA6)。
音声アシスタント機能実行部114は、ウェイクワード検出情報が、ウェイクワードを含まないことを示すと判別した場合(ステップSA6:「ウェイクワードを含まない」)、音声アシスタント機能を実行しない(ステップSA7)。
一方、音声アシスタント機能実行部114は、ウェイクワード検出情報が、ウェイクワードを含むことを示すと判別した場合(ステップSA6:「ウェイクワードを含む」)、ウェイクワードに続いてマイク72が検出した音声に基づいて、音声アシスタント機能を実行する(ステップSA8)。
<変形例>
次に、本実施形態の変形例について説明する。
本変形例は、上述した実施形態と比較して、プロジェクター1の動作が異なる。
図3は、変形例におけるプロジェクター1の動作を示すフローチャートである。
図3においては、図2に示すフローチャートと同じステップについては同一のステップ番号を付し、その詳細な説明を省略する。
プロジェクター1のPJ制御部10の音声データ取得部111は、プロジェクター1の状態が第2状態であると判別した場合(ステップSA2:「第2状態」)、ウェイクワード検出部113及び音声アシスタント機能実行部114に、音声処理部70から取得した音声データを出力する(ステップSA9)。
ウェイクワード検出部113は、音声データ取得部111が出力した音声データが示す音声に、ウェイクワードが含まれている否かを判定し、ウェイクワード検出情報を音声アシスタント機能実行部114に出力する(ステップSA10)。
次いで、音声アシスタント機能実行部114は、ウェイクワード検出情報が、ウェイクワードを含むことを示すか、ウェイクワードを含まないことを示すか、を判別する(ステップSA11)。
音声アシスタント機能実行部114は、ウェイクワード検出情報が、ウェイクワードを含まないことを示すと判別した場合(ステップSA11:「ウェイクワードを含まない」)、音声アシスタント機能を実行しない(ステップSA7)。
一方、音声アシスタント機能実行部114は、ウェイクワード検出情報が、ウェイクワードを含むことを示すと判別した場合(ステップSA11:「ウェイクワードを含む」)、ウェイクワードを検出してから予め定められた所定時間が経過したか否かを判別する(ステップSA12)。
音声アシスタント機能実行部114は、ウェイクワードを検出してから予め定められた所定時間が経過したと判別した場合(ステップSA12:YES)、音声アシスタント機能を実行しない(ステップSA7)。
一方、音声アシスタント機能実行部114は、ウェイクワードを検出してから予め定められた所定時間が経過していないと判別した場合(ステップSA12:NO)、操作を示す音声の音声データを、音声データ取得部111が取得したか否かを判別する(ステップSA13)。すなわち、ステップSA13において、音声アシスタント実行部114は、プロジェクター1が音声操作を受け付けたか否かを判別する。
音声アシスタント機能実行部114は、操作を示す音声の音声データを、音声データ取得部111が取得していないと判別した場合(ステップSA13:NO)、再度、ステップSA12の処理を実行する。
一方で、音声アシスタント機能実行部114は、操作を示す音声の音声データを、音声データ取得部111が取得したと判別した場合(ステップSA13:YES)、音声データ取得部111が取得した音声データに対応する音声操作を示す操作情報を、PJ記憶部120に記憶する(ステップSA14)。
次いで、音声アシスタント機能実行部114は、プロジェクター1の状態が第2状態から第1状態になったか否かを判別する(ステップSA15)。
音声アシスタント機能実行部114は、プロジェクター1の状態が第2状態から第1状態になっていない、すなわち、プロジェクター1の状態が第2状態のままであると判別した場合(ステップSA15:NO)、再度、ステップSA12の処理を実行する。
一方、音声アシスタント機能実行部114は、プロジェクター1の状態が第1状態になったと判別した場合(ステップSA15:YES)、PJ記憶部120に記憶された操作情報が示す音声操作に対応する処理を、音声アシスタント機能として実行する(ステップSA16)。なお、操作情報は、音声アシスタント機能実行部114が音声アシスタント機能を実行すると、PJ記憶部120から消去される。
以上、説明したように、プロジェクター1の制御方法では、プロジェクター1は、マイク72が検出した音声による操作を許可する第1状態と、マイク72が検出した音声による操作を許可しない第2状態とのいずれかの状態である。プロジェクター1の制御方法は、プロジェクター1の状態が第1状態であり、且つ、マイク72が検出した音声にウェイクワードが含まれる場合、このウェイクワードに応答し、プロジェクター1の状態が第2状態である場合、このウェイクワードに応答しない。
この構成によれば、プロジェクター1が音声操作を許可する状態である場合にウェイクワードに応答し、プロジェクター1が音声操作を許可しない状態である場合にウェイクワードに応答しないため、プロジェクター1の設置場所に依ることなく、ユーザー以外の音声によって音声アシスタント機能が誤作動することを抑制できる。また、プロジェクター1の状態に応じてウェイクワードに応答するか否かを異ならせるため、マイク72が検出する音声データを解析し続ける必要がないため、処理負荷を抑えることができる。よって、プロジェクター1は、処理負荷を抑えつつ、ユーザー以外の音声によってウェイクワードに基づく音声アシスタント機能が誤作動することを抑制できる。
[第2実施形態]
次に、第2実施形態について説明する。
第2実施形態では、第1実施形態の構成要素と同じ構成要素については、同一の符号を付して詳細な説明を省略する。
図4は、第2実施形態の表示システム1000の構成を示す図である。
表示システム1000は、スマートスピーカー4と、プロジェクター1とを備える。スマートスピーカー4は、音声アシスタントデバイスの一例に対応する。表示システム100において、スマートスピーカー4とプロジェクター1とは、ネットワークNWを介して通信可能である。ネットワークNWは、インターネット、電話網、その他の通信網を含む。
スマートスピーカー4は、音声アシスタント機能を実行するデバイスであり、内蔵するマイク72により音声を検出し、検出した音声に基づいて、ネットワークNWに接続するプロジェクター1や他の機器の制御、ネットワークNWを利用した情報検索、検索結果の出力等の音声アシスタント機能を実行する。
スマートスピーカー4は、SP制御部400、SP通信部401、及び、音声処理部70を備える。
SP制御部400は、CPUやMPU等のプログラムを実行するプロセッサーであるSPプロセッサー410、及び、SP記憶部420を備え、スマートスピーカー4の各部を制御する。SP制御部400は、SPプロセッサー410が、SP記憶部420に記憶された制御プログラム421を読み出して処理を実行するように、ハードウェア、及びソフトウェアの協働により各種処理を実行する。また、SP制御部400は、SPプロセッサー410が制御プログラム421を読み出して実行することにより、音声データ取得部411、音声認識部412、ウェイクワード検出部413、及び、音声アシスタント機能実行部414として機能する。
SP記憶部420は、SPプロセッサー410が実行するプログラムや、SPプロセッサー410により処理されるデータを記憶する記憶領域を有する。SP記憶部420は、プログラムやデータを不揮発的に記憶する不揮発性記憶領域を有する。また、SP記憶部420は、揮発性記憶領域を備え、SPプロセッサー410が実行するプログラムや処理対象のデータを一時的に記憶するワークエリアを構成してもよい。
SP記憶部420は、SPプロセッサー410が実行する制御プログラム421の他に、スマートスピーカー4の動作に関する設定値を含む設定データ422、及び、ウェイクワードデータ124を記憶する。
SP通信部401は、所定の通信規格に従った通信ハードウェアを備え、SP制御部40の制御により、ネットワークNWと接続する機器と所定の通信規格に従って通信する。本実施形態のSP通信部401は、ネットワークNWを介してプロジェクター1と通信可能である。SP通信部401が使用する通信規格は、無線通信規格でも有線通信規格でもよい。
スマートスピーカー4が備える音声処理部70は、第1実施形態のプロジェクター1が備える音声処理部70と同様に構成される。スマートスピーカー4が備える音声処理部70の信号処理部73は、SP制御部400からデジタルの音声データが入力された場合、入力された音声データをデジタルからアナログに変換し、変換したアナログの音声データをスピーカー71に出力する。スピーカー71は、入力される音声データに基づいて音声を出力する。また、信号処理部73は、マイク72が音声を収音すると、マイク72が収音した音声を示すアナログの音声データがマイク72から入力される。信号処理部73は、マイク72から入力された音声データをアナログからデジタルに変換し、変換したデジタルの音声データをSP制御部400に出力する。
上述した通り、SP制御部400は、音声データ取得部411、音声認識部412、ウェイクワード検出部413、及び、音声アシスタント機能実行部414として機能する。
音声データ取得部411は、音声処理部70から、マイク72が検出した音声を示す音声データを取得する。音声データ取得部411は、音声処理部70から取得した音声データを音声認識部412に出力する。
音声認識部12は、第1実施形態の音声認識部12と同様に、マイク72が検出した音声を認識する。本実施形態の音声認識部412は、ネットワークNWに接続するサーバーやAI(Artificial Intelligence:人工知能)等に音声データを送信し、サーバーやAI等から音声認識の結果を得ることで、マイク72が検出した音声を認識する。音声認識部12は、音声認識の結果を、ウェイクワード検出部13、及び、音声アシスタント機能実行部14に出力する。
ウェイクワード検出部413は、第1実施形態のウェイクワード検出部113と同様、音声認識部412が認識した音声にウェイクワードが含まれているか否か判定し、ウェイクワード検出情報を音声アシスタント機能実行部414に出力する。
音声アシスタント機能実行部414は、第1実施形態の音声アシスタント機能実行部114と同様、ウェイクワード検出情報がウェイクワードを含むことを示す場合、ウェイクワードに続く音声に対応する処理を、音声アシスタント機能として実行する。本実施形態の音声アシスタント機能実行部414は、音声アシスタント機能として、例えば、画像投写の開始や、画像ソースの切り替え、設定UIの投写開始等の処理を実行させる。音声アシスタント機能実行部414は、プロジェクター1に対して音声アシスタント機能を実行する際、プロジェクター1を制御する制御コマンドを送信する。
例えば、「マイプロジェクター 投写開始して」との音声を音声認識部12が認識し、「マイプロジェクター」がウェイクワードであったとする。この例の場合、音声アシスタント機能実行部414は、「投写開始して」との音声に基づいて、プロジェクター1に画像投写を開始させる制御コマンドを、ネットワークNWを介してプロジェクター1に送信する。
次に、プロジェクター1の構成について説明する。
本実施形態も第1実施形態と同様に、プロジェクター1は、第1状態及び第2状態のいずれかの状態である。
本実施形態のプロジェクター1は、第1実施形態のプロジェクター1と比較して、PJ通信部100を備える。また、本実施形態のプロジェクター1は、第1実施形態のプロジェクター1と比較して、PJ制御部10が、通信制御部117、音声操作処理部118、非音声操作処理部119、及び、投写制御部116として機能する。
なお、図4のプロジェクター1は、音声処理部70を備えていない構成を例示しているが、本実施形態のプロジェクター1は、第1実施形態と同様に、音声処理部70、或いは、音声処理部70におけるマイク72以外の構成要素を備えていてもよい。
PJ通信部100は、所定の通信規格に従った通信ハードウェアを備え、PJ制御部10の制御により、ネットワークNWと接続する機器と所定の通信規格に従って通信する。本実施形態のPJ通信部100は、ネットワークNWを介してスマートスピーカー4と通信可能である。PJ通信部100が使用する通信規格は、無線通信規格でも有線通信規格でもよい。
通信制御部117は、PJ通信部100によりスマートスピーカー4と情報を送受信する。通信制御部117は、PJ通信部100により、スマートスピーカー4の音声アシスタント機能実行部414が送信した制御コマンドを受信する。通信制御部117は、受信した制御コマンドを、音声操作処理部118に出力する。また、通信制御部117は、スマートスピーカー4から、プロジェクター1の状態を要求する状態要求情報を受信すると、第1状態及び第2状態のいずれかを示す状態情報をスマートスピーカー4に送信する。
音声操作処理部118は、通信制御部117が出力した制御コマンドに基づいて処理を実行する。例えば、制御コマンドが、画像投写を開始させる制御コマンドである場合、音声操作処理部118は、画像投写の開始を投写制御部116に要求することで、画像投写を開始する。このように、音声操作処理部118は、制御コマンドに基づく処理を実行することで、スマートスピーカー4が受け付けた音声操作に対応する処理を実行する。
非音声操作処理部119は、第1実施形態の操作処理部115と同様の処理を実行する。
以上の構成の下、本実施形態における表示システム1000は、以下の動作を実行する。以下の動作の説明では、スマートスピーカー4が受け付ける音声は、プロジェクター1を対象とした操作を示していることとする。
図5は、プロジェクター1の動作を示すフローチャートである。図5において、フローチャートFBは、スマートスピーカー4の動作を示し、フローチャートFCは、プロジェクター1の動作を示す。
スマートスピーカー4のSP制御部400の音声データ取得部411は、音声処理部70から、マイク72が検出した音声の音声データを取得したか否かを判別する(ステップSB1)。
音声データ取得部411は、音声処理部70から音声データを取得していないと判別した場合(ステップSB1:NO)、再度、ステップSB1の処理を実行する。
一方、音声データ取得部411は、音声処理部70から音声データを取得したと判別した場合(ステップSB1:YES)、ウェイクワード検出部413、及び、音声アシスタント機能実行部414に、取得した音声データを出力する(ステップSB2)。
次いで、ウェイクワード検出部413は、音声データ取得部411が出力した音声データが示す音声に、ウェイクワードが含まれている否かを判定し、ウェイクワード検出情報を音声アシスタント機能実行部414に出力する(ステップSB3)。
次いで、音声アシスタント機能実行部414は、ウェイクワード検出情報が、ウェイクワードを含むことを示すか、ウェイクワードを含まないことを示すか、を判別する(ステップSB4)。
音声アシスタント機能実行部414は、ウェイクワード検出情報が、ウェイクワードを含まないことを示す場合(ステップSB4:「ウェイクワードを含まない」)、音声アシスタント機能を実行しない(ステップSB5)。
一方、音声アシスタント機能実行部414は、ウェイクワード検出情報が、ウェイクワードを含むことを示す場合(ステップSB4:「ウェイクワードを含む」)、プロジェクター1の状態を要求する状態要求情報を、SP通信部401によりプロジェクター1に送信する(ステップSB6)。
フローチャートFCを参照して、プロジェクター1のPJ制御部10の通信制御部117は、PJ通信部100により状態要求情報を受信すると(ステップSC1)、プロジェクター1の状態を示す状態情報を送信する(ステップSC2)。状態情報が示すプロジェクター1の状態は、第1状態か第2状態のいずれかである。
フローチャートFBを参照して、スマートスピーカー4の音声アシスタント機能実行部414は、SP通信部401によりプロジェクター1から状態情報を受信すると(ステップSB7)、受信した状態情報が示すプロジェクター1の状態が第1状態か第2状態かを判別する(ステップSB8)。
音声アシスタント機能実行部414は、プロジェクター1の状態が第2状態であると判別した場合(ステップSB8:「第2状態」)、プロジェクター1に対する音声アシスタント機能を実行しない(ステップSB5)。
一方、音声アシスタント機能実行部414は、プロジェクター1の状態が第1状態であると判別した場合(ステップSB8:「第1状態」)、ウェイクワードに続く音声に基づいて、プロジェクター1に対して音声アシスタント機能を実行する(ステップSB9)。
<変形例>
次に、図5に示す表示システム1000の動作の変形例について説明する。
図6は、表示システム1000の動作の変形例を示すフローチャートである。
図6において、図5に示すフローチャートと同じステップについては同一のステップ番号を付し、その詳細な説明を省略する。
音声アシスタント機能実行部414は、プロジェクター1の状態が第2状態であると判別した場合(ステップSB8:「第2状態」)、ウェイクワードを検出してから予め定められた所定時間が経過したか否かを判別する(ステップSB10)。
音声アシスタント機能実行部414は、ウェイクワードを検出してから予め定められた所定時間が経過したと判別した場合(ステップSB10:YES)、音声アシスタント機能を実行しない(ステップSB5)。
一方、音声アシスタント機能実行部414は、ウェイクワードを検出してから予め定められた所定時間が経過していないと判別した場合(ステップSB10:NO)、操作を示す音声の音声データを音声データ取得部11が取得したか否かを判別する(ステップSB11)。すなわち、ステップSB11において、音声アシスタント実行部414は、スマートスピーカー4が音声操作を受け付けたか否かを判別する。
音声アシスタント機能実行部414は、操作を示す音声の音声データを、音声データ取得部411が取得していないと判別した場合(ステップSB11:NO)、処理をステップS13に移行させる。
一方、音声アシスタント機能実行部414は、操作を示す音声の音声データを、音声データ取得部411が取得したと判別した場合(ステップSB1:YES)、音声データ取得部411が取得した音声データに対応する音声操作を示す操作情報を、SP記憶部420に記憶する(ステップSB12)。
次いで、音声アシスタント機能実行部414は、状態要求情報をSP通信部401によりプロジェクター1に送信する(ステップSB13)。
フローチャートFCを参照して、プロジェクター1のPJ制御部10の通信制御部117は、PJ通信部100により状態要求情報を受信すると(ステップSC3)、プロジェクター1の状態が第1状態及び第2状態のいずれかであることを示す状態情報を送信する(ステップSC4)。
フローチャートFBを参照して、スマートスピーカー4の音声アシスタント機能実行部414は、SP通信部401によりプロジェクター1から状態情報を受信すると(ステップSB14)、受信した状態情報に基づいて、プロジェクター1の状態が第2状態から第1状態になったか否かを判別する(ステップSB15)。
音声アシスタント機能実行部414は、プロジェクター1の状態が第2状態から第1状態になっていない、すなわち、プロジェクター1の状態が第2状態のままであると判別した場合(ステップSB15:NO)、再度、ステップSB10の処理を実行する。
一方、音声アシスタント機能実行部414は、プロジェクター1の状態が第1状態になったと判別した場合(ステップSB15:YES)、音声アシスタント機能として、SP記憶部420に記憶された操作情報が示す音声操作に対応する処理をプロジェクター1に実行させる(ステップSB16)。すなわち、音声アシスタント機能実行部414は、操作情報が示す音声操作に対する処理を実行させる制御コマンドを、プロジェクター1に送信する。なお、操作情報は、音声アシスタント機能実行部414が音声アシスタント機能を実行すると、SP記憶部420から消去される。
上述した図5及び図6は、スマートスピーカー4が主体となって、プロジェクター1の状態に応じて音声アシスタント機能の実行及び不実行を決定する構成の動作である。
次に、図7及び図8を参照し、プロジェクター1が主体となって、プロジェクター1の状態に応じて音声アシスタント機能の実行及び不実行を決定する構成の動作を説明する。
図7は、プロジェクター1の動作を示すフローチャートである。
プロジェクター1の通信制御部117は、プロジェクター1の状態が第1状態か第2状態かを判別する(ステップSD1)。
通信制御部117は、プロジェクター1の状態が第2状態であると判別した場合(ステップSD1:「第2状態」)、ウェイクワードに応答しないことを要求する非応答要求情報を、PJ通信部100によりスマートスピーカー4に送信する(ステップSD)。
スマートスピーカー4は、非応答要求情報をプロジェクター1から受信すると、ウェイクワードに応答しない。すなわち、スマートスピーカー4の音声アシスタント機能実行部414は、ウェイクワードに基づく音声アシスタント機能を実行しない。
ステップSD1の説明に戻り、通信制御部117は、プロジェクター1の状態が第1状態であると判別した場合(ステップSD:「第1状態」)、ウェイクワードに応答することを要求する応答要求情報を、PJ通信部100によりスマートスピーカー4に送信する(ステップSD)。
スマートスピーカー4は、応答要求情報をプロジェクター1から受信すると、ウェイクワードに応答する。すなわち、スマートスピーカー4の音声アシスタント機能実行部414は、ウェイクワードに基づく音声アシスタント機能を実行可能となる。
図8は、プロジェクター1の動作を示すフローチャートである。図8の説明では、スマートスピーカー4は、プロジェクター1に対する音声操作を受け付けると、プロジェクター1の状態判別を行うことなく、受け付けた音声操作に対応する処理を実行させる制御コマンドをプロジェクター1に送信することを前提とする。
プロジェクター1の通信制御部117は、スマートスピーカー4から制御コマンドを受信したか否かを判別する(ステップSE1)。
通信制御部117は、スマートスピーカー4から制御コマンドを受信していないと判別した場合(ステップSE1:NO)、再度、ステップSE1の処理を実行する。
通信制御部117は、スマートスピーカー4から制御コマンドを受信したと判別した場合(ステップSE1:YES)、音声操作処理部118に受信した制御コマンドを出力する(ステップSE2)。
音声操作処理部118は、プロジェクター1の状態が第1状態か第2状態かを判別する(ステップSE3)。
音声操作処理部118は、プロジェクター1の状態が第1状態であると判別した場合(ステップSE3:「第1状態」)、通信制御部117が出力した制御コマンドに基づいて処理を実行する(ステップSE4)。これにより、表示システム1000においては、ウェイクワードに基づく音声アシスタント機能が実行される。
一方、音声操作処理部118は、プロジェクター1の状態が第2状態であると判別した場合(ステップSE3:「第2状態」)、通信制御部117が出力した制御コマンドに基づく処理を実行しない(ステップSE5)。これにより、表示システム1000においては、ウェイクワードに基づく音声アシスタント機能が実行されない。
以上、説明したように、表示システム1000の制御方法では、プロジェクター1は、音声操作を許可する第1状態と、音声操作を許可しない第2状態とのいずれかの状態であり、スマートスピーカー4にプロジェクター1の状態を示す状態情報を送信する。表示システム1000の制御方法では、スマートスピーカー4は、受信した状態情報が示す状態が第1状態である場合、ウェイクワードに基づく音声アシスタント機能をプロジェクター1に対して実行し、受信した状態情報が示す状態が第2状態である場合、ウェイクワードに基づく音声アシスタント機能をプロジェクター1に対して実行しない。
表示システム1000は、スマートスピーカー4と、スマートスピーカー4と通信可能なプロジェクター1とを有する。プロジェクター1は、音声操作を許可する第1状態と、音声操作を許可しない第2状態とのいずれかの状態であり、スマートスピーカー4にプロジェクター1の状態を示す状態情報を送信する。スマートスピーカー4は、受信した状態情報が示す状態が第1状態である場合、ウェイクワードに基づく音声アシスタント機能をプロジェクター1に対して実行し、受信した状態情報が示す状態が第2状態である場合、ウェイクワードに基づく音声アシスタント機能をプロジェクター1に対して実行しない。
表示システム1000の制御方法、及び、表示システム1000によれば、プロジェクター1が音声操作を許可する状態である場合にウェイクワードに基づく音声アシスタント機能を実行し、プロジェクター1が音声操作を許可しない状態である場合に当該音声アシスタント機能を実行しない。そのため、スマートスピーカー4とプロジェクター1の設置場所に依ることなく、ユーザー以外の音声によって音声アシスタント機能が誤作動することを抑制できる。また、プロジェクター1の状態に応じて音声アシスタント機能を実行するか否かを異ならせるため、マイク72が検出する音声データを解析し続ける必要がなく、処理負荷を抑えることができる。よって、表示システム1000の制御方法、及び、表示システム1000は、処理負荷を抑えつつ、ユーザー以外の音声によってウェイクワードに基づく音声アシスタント機能が誤作動することを抑制できる。
第2状態は、非音声操作については許可する状態である。
この構成によれば、プロジェクター1の状態を一切の操作を受け付けない状態となることを回避できる。よって、プロジェクター1の状態が音声操作を許可しない状態であっても、非音声操作によって、ユーザーは、例えば画像投写を開始させる等のプロジェクター1の操作を行うことができる。
スマートスピーカー4は、プロジェクター1が第2状態である際にウェイクワードを検出した場合、ウェイクワードの検出から所定時間内に受け付けた音声操作を記憶し、所定時間内にプロジェクター1が第1状態に変化した場合、音声アシスタント機能として、記憶した音声操作に対応する処理をプロジェクター1に実行させる。
この構成によれば、プロジェクター1の状態が音声操作を許可しない状態であるときに操作を示す音声を発話した場合、ユーザーは、ウェイクワードの発話と操作を示す音声の発話とを再度行わなくても、プロジェクター1の状態を第2状態から第1状態に変えることで、既に発話した音声に基づく音声アシスタント機能を実行させることができる。
第1状態は、プロジェクター1が音声出力していない状態である。第2状態は、プロジェクター1が音声出力している状態である。
この構成によれば、プロジェクター1が発する音声によってウェイクワードに基づく音声アシスタント機能が誤作動することを防止できる。
上述した各実施形態は、本発明の好適な実施の形態である。ただし、上述の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の変形実施が可能である。
例えば、上述した第2実施形態では、音声アシスタントデバイスとしてスマートスピーカー4を例示したが、音声アシスタントデバイスは、音声を検出可能なデバイスであれば、スマートスピーカー4に限定されず、例えばタブレット端末やスマートフォンでもよい。
例えば、上述した第1実施形態では、プロジェクター1が、マイク72が検出した音声の音声データを解析して、音声認識を行う構成である。しかしながら、音声認識は、プロジェクター1と通信可能な外部装置が行ってもよい。例えば、音声認識は、プロジェクター1がローカルネットワークに接続する場合、このローカルネットワークに接続するホスト装置や、プロジェクター1がインターネット等のグローバルネットワークに接続する場合、このグローバルネットワークに接続するサーバーやAI等が行ってもよい。この場合、プロジェクター1は、マイク72が検出した音声の音声データを、外部装置に送信し、外部装置から音声認識の結果を受信する。この場合、PJ記憶部120は、音声辞書データ123を記憶しなくてもよい。
また、PJ制御部10、及び、SP制御部400の機能は、複数のプロセッサー、又は、半導体チップにより実現してもよい。
例えば、図3及図4に示したプロジェクター1の各機能部、及び、図4に示したスマートスピーカー4の各機能部は、機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、また、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクター1及びスマートスピーカー4の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
また、図2、図3、図7、及び、図8に示すフローチャートの処理単位は、プロジェクター1の処理を理解容易にするために、主な処理内容に応じて分割したものである。フローチャートに示す処理単位の分割の仕方や名称によって本発明が制限されることはない。また、プロジェクター1の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、1つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。
また、図5、及び、図6に示すフローチャートの処理単位は、表示システム1000の各部の処理を理解容易にするために、主な処理内容に応じて分割したものである。フローチャートに示す処理単位の分割の仕方や名称によって本発明が制限されることはない。また、表示システム1000の各部の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、1つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。
また、本発明の表示装置は、スクリーンSCに画像を投写するプロジェクター1に限定されない。例えば、表示装置は、液晶表示パネルに画像を表示する液晶表示装置や、有機ELパネルに画像を表示する表示装置など、モニター若しくは液晶テレビ等の自発光型の表示装置を含む。また、その他の各種の表示装置も本発明の表示装置に含まれる。
1…プロジェクター(表示装置)、2…画像供給装置、3…リモコン、4…スマートスピーカー(音声アシスタントデバイス)、10…PJ制御部、20…インターフェース部、30…フレームメモリー、40…画像処理部、50…OSD処理部、60…操作部、61…操作パネル、62…リモコン受光部、63…入力処理部、70…音声処理部、71…スピーカー、72…マイク(音声検出部)、73…信号処理部、80…投写部、81…光源部、82…光変調装置、83…投写光学系、90…駆動部、91…光源駆動回路、92…光変調装置駆動回路、100…PJ通信部、110…PJプロセッサー、116…投写制御部、117…通信制御部、118…音声操作処理部、119…非音声操作処理部、120…PJ記憶部、121…制御プログラム、122…設定データ、124…ウェイクワードデータ、130…バス、411…音声データ取得部、412…音声認識部、413…ウェイクワード検出部、414…音声アシスタント機能実行部、421…制御プログラム、422…設定データ、NW…ネットワーク、SC…スクリーン。

Claims (5)

  1. 音声アシスタントデバイスと、前記音声アシスタントデバイスと通信可能な表示装置を
    有する表示システムの制御方法であって、
    前記表示装置は、
    前記音声アシスタントデバイスに、前記表示装置が音声による第1操作を許可する第1
    状態と、前記第1操作を許可しない第2状態とのいずれの状態であるかを示す状態情報を
    送信し、
    前記音声アシスタントデバイスは、
    受信した前記状態情報が示す状態が前記第1状態である場合、ウェイクワードに基づく
    音声アシスタント機能を前記表示装置に対して実行し、
    受信した前記状態情報が示す状態が前記第2状態である場合、前記ウェイクワードに基
    づく前記音声アシスタント機能を前記表示装置に対して実行せず、
    前記音声アシスタントデバイスは、
    前記表示装置が前記第2状態である際に前記ウェイクワードを検出した場合、前記ウェ
    イクワードの検出から所定時間内に受け付けた前記第1操作を記憶し、
    前記所定時間内に前記表示装置が前記第1状態に変化した場合、前記ウェイクワードに
    基づく前記音声アシスタント機能として、記憶した前記第1操作に対応する処理を前記表
    示装置に実行させる、
    表示システムの制御方法。
  2. 前記第2状態は、音声以外による第2操作については許可する状態である、
    請求項1に記載の表示システムの制御方法。
  3. 前記第1状態は、前記表示装置が音声出力していない状態であり、
    前記第2状態は、前記表示装置が音声出力している状態である、
    請求項1又は2に記載の表示システムの制御方法。
  4. 音声アシスタントデバイスと、前記音声アシスタントデバイスと通信可能な表示装置と
    、を有する表示システムであって、
    前記表示装置は、
    音声による第1操作を許可する第1状態と、前記第1操作を許可しない第2状態とのい
    ずれかの状態であり、
    前記音声アシスタントデバイスに、前記表示装置が音声による第1操作を許可する第1
    状態と、前記第1操作を許可しない第2状態とのいずれの状態であるかを示す状態情報を
    送信し、
    前記音声アシスタントデバイスは、
    受信した前記状態情報が示す状態が前記第1状態である場合、ウェイクワードに基づく
    音声アシスタント機能を前記表示装置に対して実行し、
    受信した前記状態情報が示す状態が前記第2状態である場合、前記ウェイクワードに基
    づく前記音声アシスタント機能を前記表示装置に対して実行せず、
    前記音声アシスタントデバイスは、
    前記表示装置が前記第2状態である際に前記ウェイクワードを検出した場合、前記ウェ
    イクワードの検出から所定時間内に受け付けた前記第1操作を記憶し、
    前記所定時間内に前記表示装置が前記第1状態に変化した場合、前記ウェイクワードに
    基づく前記音声アシスタント機能として、記憶した前記第1操作に対応する処理を前記表
    示装置に実行させる、
    表示システム。
  5. 音声検出部を有し、ウェイクワードに基づく音声アシスタント機能を実行可能な表示装
    置の制御方法であって、
    第1状態と、第2状態とのいずれかの状態であり、
    前記表示装置の状態が音声検出部が検出した音声による操作を許可する前記第1状態で
    あり、且つ、前記音声検出部が検出した音声に前記ウェイクワードが含まれる場合、前記
    ウェイクワードに応答し、前記表示装置の状態が前記音声検出部が検出した音声による操
    作を許可しない前記第2状態である場合、前記ウェイクワードに応答せず、
    前記表示装置の状態が前記第2状態であり、且つ、前記音声検出部が検出した音声に前
    記ウェイクワードが含まれる場合、前記ウェイクワードの検出から所定時間内に受け付け
    た前記音声検出部が検出した音声による第1操作を記憶し、
    前記所定時間内に前記表示装置の状態が前記第1状態に変化した場合、前記ウェイクワ
    ードに基づく前記音声アシスタント機能として、記憶した前記第1操作に対応する処理を
    前記表示装置に実行させる、
    表示装置の制御方法。
JP2020145442A 2020-08-31 2020-08-31 表示システムの制御方法、表示システム、及び、表示装置の制御方法 Active JP7491147B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020145442A JP7491147B2 (ja) 2020-08-31 2020-08-31 表示システムの制御方法、表示システム、及び、表示装置の制御方法
US17/462,480 US20220068275A1 (en) 2020-08-31 2021-08-31 Control method for display system, display system, and control method for display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020145442A JP7491147B2 (ja) 2020-08-31 2020-08-31 表示システムの制御方法、表示システム、及び、表示装置の制御方法

Publications (3)

Publication Number Publication Date
JP2022040644A JP2022040644A (ja) 2022-03-11
JP2022040644A5 JP2022040644A5 (ja) 2023-04-12
JP7491147B2 true JP7491147B2 (ja) 2024-05-28

Family

ID=80358891

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020145442A Active JP7491147B2 (ja) 2020-08-31 2020-08-31 表示システムの制御方法、表示システム、及び、表示装置の制御方法

Country Status (2)

Country Link
US (1) US20220068275A1 (ja)
JP (1) JP7491147B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030220797A1 (en) 2002-05-23 2003-11-27 Toshiyuki Ito Voice Recognition system preventing lowering performance
WO2016174955A1 (ja) 2015-04-28 2016-11-03 クラリオン株式会社 情報処理装置、及び、情報処理方法
WO2019032462A1 (en) 2017-08-07 2019-02-14 Sonos, Inc. REMOVAL OF AWAKENING WORD DETECTION
JP2020064617A (ja) 2018-09-27 2020-04-23 中強光電股▲ふん▼有限公司 インテリジェント音声システム及び投影機制御方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5998861B2 (ja) * 2012-11-08 2016-09-28 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR102058461B1 (ko) * 2013-04-30 2019-12-23 삼성전자 주식회사 사용자 디바이스의 기능 처리 방법 및 장치
EP3962048A4 (en) * 2019-04-26 2022-04-27 Shenzhen Heytap Technology Corp., Ltd. VOICE BROADCAST CONTROL METHOD AND DEVICE, STORAGE MEDIA AND ELECTRONIC DEVICE
US11545148B2 (en) * 2019-06-18 2023-01-03 Roku, Inc. Do not disturb functionality for voice responsive devices
CN110910872B (zh) * 2019-09-30 2023-06-02 华为终端有限公司 语音交互方法及装置
US11211072B2 (en) * 2020-01-23 2021-12-28 International Business Machines Corporation Placing a voice response system into a forced sleep state
JP7465124B2 (ja) * 2020-03-13 2024-04-10 シャープ株式会社 音声処理システム、音声処理方法、及び音声処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030220797A1 (en) 2002-05-23 2003-11-27 Toshiyuki Ito Voice Recognition system preventing lowering performance
WO2016174955A1 (ja) 2015-04-28 2016-11-03 クラリオン株式会社 情報処理装置、及び、情報処理方法
WO2019032462A1 (en) 2017-08-07 2019-02-14 Sonos, Inc. REMOVAL OF AWAKENING WORD DETECTION
JP2020064617A (ja) 2018-09-27 2020-04-23 中強光電股▲ふん▼有限公司 インテリジェント音声システム及び投影機制御方法

Also Published As

Publication number Publication date
US20220068275A1 (en) 2022-03-03
JP2022040644A (ja) 2022-03-11

Similar Documents

Publication Publication Date Title
US20190265847A1 (en) Display apparatus and method for controlling display apparatus
JP5793900B2 (ja) 画像投影装置、機能設定方法、および機能設定プログラム
KR101139085B1 (ko) 화상 표시 장치, 화상 표시 시스템 및 프로그램이 기억된 컴퓨터 판독가능 기록 매체
JP7238492B2 (ja) 表示装置の制御方法及び表示装置
JP2009128386A (ja) 投影装置、投影方法及びプログラム
JP7491147B2 (ja) 表示システムの制御方法、表示システム、及び、表示装置の制御方法
US11862160B2 (en) Control method for display system, and display system
US20210304700A1 (en) Control method for display device and display device
US10462438B2 (en) Display apparatus, display system, and method for controlling display apparatus that is configured to change a set period
CN105635607A (zh) 图像投影装置以及图像投影方法
JP7342820B2 (ja) 表示装置の制御方法、及び、表示装置
US9723568B2 (en) Communication apparatus and display apparatus
JP2006243672A (ja) 画像表示プロジェクタ
JP6232721B2 (ja) プロジェクター、投射システム、およびプロジェクターの制御方法
CN113099195B (zh) 显示装置和显示装置的控制方法
JP2021110836A (ja) 表示装置、およびプログラム
JP2006301214A (ja) 投射型映像表示装置
JP5181696B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2023034635A (ja) 表示システムの制御方法、及び表示システム
JP5386787B2 (ja) 投影装置、投影制御方法及びプログラム
JP2006324841A (ja) 原稿撮像装置
JP2024129959A (ja) 表示システム、画像出力装置、及び、プログラム
JP2023047474A (ja) プロジェクターの制御方法、及び、プロジェクションシステム
JP2024115260A (ja) 投射方法、プロジェクター、及びプログラム
JP2022087571A (ja) 表示装置の制御方法、及び表示装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210916

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230404

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230404

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240429

R150 Certificate of patent or registration of utility model

Ref document number: 7491147

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150