JP6841122B2 - 実行装置、情報処理システム、情報処理方法、及びプログラム - Google Patents

実行装置、情報処理システム、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP6841122B2
JP6841122B2 JP2017065675A JP2017065675A JP6841122B2 JP 6841122 B2 JP6841122 B2 JP 6841122B2 JP 2017065675 A JP2017065675 A JP 2017065675A JP 2017065675 A JP2017065675 A JP 2017065675A JP 6841122 B2 JP6841122 B2 JP 6841122B2
Authority
JP
Japan
Prior art keywords
information
sound wave
output
execution
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017065675A
Other languages
English (en)
Other versions
JP2018170602A (ja
Inventor
章弘 淺井
章弘 淺井
勉 川瀬
勉 川瀬
細川 潤
潤 細川
高史 西藤
高史 西藤
慎吾 松下
慎吾 松下
恭也 落合
恭也 落合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2017065675A priority Critical patent/JP6841122B2/ja
Publication of JP2018170602A publication Critical patent/JP2018170602A/ja
Application granted granted Critical
Publication of JP6841122B2 publication Critical patent/JP6841122B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、実行装置、情報処理システム、情報処理方法、及びプログラムに関する。
デジタルサイネージ等の表示装置を用いて、利用者に映像、音声等のコンテンツを提供すると共に、コンテンツを視聴している利用者に、コンテンツに関する情報を提供する情報提供システムがある。
例えば、コンテンツを表示するデジタルサイネージから、利用者の端末に無線通信でIDを通知し、端末が、通知されたIDを用いて、表示されているコンテンツに関連する情報を取得するシステムが知られている(例えば、特許文献1参照)。
デジタルサイネージ等の表示装置(出力装置)を用いて、映像、音声等のコンテンツを出力すると共に、例えば、スマートロボット等の実行装置に、コンテンツに合わせた所定の動作を実行させたいという要求がある。
しかし、例えば、特許文献1等に示されるような従来の技術では、実行装置は、表示装置から通知される動作IDに対応する動作情報を、サーバ装置等から取得する必要があるため、コンテンツに対して実行装置の動作が遅延してしまうという問題がある。
なお、このような課題は、映像コンテンツを表示する表示装置に限られず、例えば、音声等の映像以外のコンテンツを出力する出力装置にも共通に存在する。
本発明の実施の形態は、上記問題点に鑑みてなされたものであって、出力装置から出力されるコンテンツに合わせて所定の動作を実行する実行装置において、コンテンツに対する所定の動作の遅延を低減させることを目的とする。
上記課題を解決するため、本発明の一実施形態に係る実行装置は、出力装置から出力される音波に応じて所定の動作を実行する実行装置であって、前記出力装置から出力される一の音波から、音波に含まれる第1の情報と、前記一の音波とは独立して出力される他の音波から、該音波に含まれる、前記第1の情報に対応する第2の情報とをそれぞれ取得する音波情報取得部と、前記第1の情報に対応する対応情報であって、1つ以上の前記第2の情報と、前記第2の情報に対応する前記所定の動作とを対応付ける対応情報を記憶する記憶部と、前記音波情報取得部が前記第2の情報を取得したとき、前記音波情報取得部が取得した前記第1の情報に対応する前記対応情報を用いて、前記実行装置に前記第2の情報に対応する前記所定の動作を実行させる実行制御部と、を有する。
本発明の実施の形態によれば、出力装置から出力されるコンテンツに合わせて所定の動作を実行する実行装置において、コンテンツに対する所定の動作の遅延を低減させることができる。
第1の実施形態に係る情報処理システムの構成例を示す図(1)である。 第1の実施形態に係る情報処理システムの構成例を示す図(2)である。 第1の実施形態に係る実行装置のハードウェア構成の例を示す図である。 第1の実施形態に係るコンピュータのハードウェア構成の例を示す図である。 第1の実施形態に係る情報処理システムの機能構成図である。 第1の実施形態に係る対応情報のイメージを示す図である。 第1の実施形態に係る実行装置の処理の例を示すフローチャートである。 第1の実施形態に係る情報処理システムの処理の例を示すシーケンス図である。 第2の実施形態に係る情報処理システムの機能構成図である。 第2の実施形態に係る情報処理システムの処理の例を示すシーケンス図である。 第3の実施形態に係る情報処理システムの機能構成図である。 第3の実施形態に係るコンテンツの作成画面の例を示す図である。 第3の実施形態に係る情報処理システムの処理の例を示すシーケンス図である。 第4の実施形態に係る動作ID取得時の処理の例を示すフローチャートである。 第4の実施形態に係る対応情報のイメージを示す図である。 第4の実施形態に係る情報処理システムの処理の例を示すシーケンス図である。 第5の実施形態に係る情報処理システムの構成例を示す図(1)である。 第5の実施形態に係る情報処理システムの構成例を示す図(2)である。 第5の実施形態に係る情報処理システムの機能構成図である。 第5の実施形態に係る情報処理システムで管理する情報の例を示す図である。 第5の実施形態に係る出力装置の処理の例を示すフローチャートである。 第5の実施形態に係る実行装置の処理の例を示すフローチャートである。 第5の実施形態に係る同期信号について説明するための図である。 第5の実施形態に係るグルーピングについて説明するための図である。 第5の実施形態に係る識別コードについて説明するための図である。 第6の実施形態に係る情報処理システムの機能構成図である。 第6の実施形態に係る出力処理の例を示すフローチャートである。 第6の実施形態に係る実行装置の処理の例を示すフローチャートである。
以下に、本発明の実施の形態について、添付の図面を参照して説明する。
[第1の実施形態]
<システムの構成>
図1は、第1の実施形態に係る情報処理システムの構成例を示す図(1)である。情報処理システム100は、コンテンツを出力する出力装置102a(又は出力装置102b)、出力装置が出力するコンテンツに合わせて所定の動作を実行する実行装置101、及び出力装置にコンテンツを配信するコンテンツ配信サーバ111を含む。なお、以下の説明の中で、出力装置102a、102bのうち、任意の出力装置を示す場合「出力装置102」を用いる。
出力装置102aは、例えば、インターネットや、LAN(Local Area Network)等のネットワーク105に接続され、コンテンツ配信サーバ111から配信されるコンテンツを表示装置103aに表示させるセットトップボックス等の装置である。
出力装置102bは、例えば、ネットワーク105に接続され、コンテンツ配信サーバ111から配信されるコンテンツを表示する、ディスプレイ、プロジェクタ、モニタ、デジタルサイネージ等の表示装置である。
このように、出力装置102は、外部に接続された表示装置103aにコンテンツを表示させる出力装置102aであっても良いし、表示装置103bを備え、自装置でコンテンツを表示する出力装置102bであっても良い。
コンテンツは、例えば、音声等の音波を出力する画像(動画、又は静止画)であり、情報処理システム100は、出力装置102が出力するコンテンツに連携させて、実行装置101に所定の動作を実行させるシステムである。
実行装置101は、出力装置102が出力するコンテンツに含まれる音波に応じて、所定の動作を実行する、例えば、スマートロボット等の装置である。なお、スマートロボットは、出力装置102から、取得した音声情報に応じた所定の動作(例えば、音声の出力、移動、所定の部位を動かす等)を行う実行装置101の一例である。実行装置101は、スマートロボットに限られず、例えば、スマートフォン、タブレット端末、スマートウォッチ等の情報端末であっても良い。
図1の例では、実行装置101、及び出力装置102a、102bは、無線LAN等のアクセスポイント104を介してネットワーク105に接続し、コンテンツ配信サーバ111、対応情報配信サーバ(情報提供装置)112等と通信可能である。
本実施形態では、出力装置102が出力するコンテンツ(映像)は、静止画、又は動画である画像と共に、画像に対応する音波を出力する。この音波には、例えば、アナウンス、音楽、効果音等の可聴音である音声情報に加えて、コンテンツを識別する識別情報(以下、コンテンツIDと呼ぶ)や、所定の動作を識別する識別情報(以下、動作IDと呼ぶ)等の音波IDが含まれる。
好ましくは、音波IDは、所定の周波数(例えば、16kHz程度)より周波数が高い非可聴音領域(例えば、16kHz〜20kHz)で、音声情報と共に出力装置102から出力される。16kHz以上の周波数の音波は、人間にはほとんど聞こえないため、コンテンツの視聴に影響を与えずに、音波IDを実行装置101に伝送するために好適である。
また、別の一例として、音波IDは、電子透かし等の技術を用いて、可聴音領域の音声情報に埋め込まれているものであっても良い。
実行装置101は、例えば、1つ以上の動作IDと、動作IDに対応する所定の動作とを対応付ける情報(以下、対応情報と呼ぶ)を記憶する記憶部を有している。
実行装置101は、出力装置102から出力される音波からコンテンツIDを取得すると、取得したコンテンツIDに対応する対応情報が記憶部に記憶されているかを判断する。取得したコンテンツIDに対応する対応情報が記憶部に記憶されていない場合、実行装置101は、取得したコンテンツIDに対応する対応情報を、例えば、対応情報配信サーバ112から取得し、記憶部に記憶する。これにより、実行装置101は、出力装置102から、新たなコンテンツが出力された場合でも、コンテンツに対応する対応情報を取得することができるようになる。
また、実行装置101は、出力装置102から出力される音波から動作IDを取得すると、記憶部に記憶された、出力装置102から出力されるコンテンツに対応する対応情報を用いて、動作IDに対応する所定の動作を実行する。
なお、所定の動作には、例えば、お辞儀する、手を振る、前へ進む等の動作や、挨拶等の発話等の様々な動作が含まれる。
なお、コンテンツ配信サーバ(配信装置)111が配信するコンテンツ、及び対応情報配信サーバ112が提供する対応情報は、予め作成され、コンテンツ配信サーバ111、及び対応情報配信サーバ112に記憶されているものであっても良い。
また、コンテンツ配信サーバ111が配信するコンテンツ、及び対応情報配信サーバ112が提供する対応情報は、利用者が、情報端末106等を用いて、新たに作成するものであっても良い。例えば、利用者は、情報端末106で実行されるアプリケーションプログラム(以下、アプリと呼ぶ)、又はコンテンツ配信サーバ111で提供されるWebアプリ等を用いて、コンテンツ、及びコンテンツ対応する対応情報を作成する。
作成されたコンテンツは、指定された時刻に出力装置102に配信され、出力装置102は、配信されたコンテンツを出力する。また、作成された対応情報は、コンテンツを識別するコンテンツIDが付与され、対応情報配信サーバ112に記憶される。
上記の構成により、実行装置101は、出力装置102が出力するコンテンツから取得したコンテンツIDを用いて、コンテンツに対応する対応情報を対応情報配信サーバ112から取得する。また、実行装置101は、出力装置102が出力するコンテンツから動作IDを取得すると、コンテンツに対応する対応情報を用いて、コンテンツIDに対応する所定の動作を実行する。
このように、本実施形態に係る実行装置101は、出力装置102から出力されるコンテンツに応じた対応情報を予め取得して記憶部に記憶し、記憶した対応情報を用いて、コンテンツから出力される動作IDに応じた所定の動作を実行する。
従って、本実施形態によれば、出力装置102から出力されるコンテンツに合わせて所定の動作を実行する実行装置101において、コンテンツに対する所定の動作の遅延を低減させることができる。
なお、図1に示すシステム構成は一例である。例えば、コンテンツ配信サーバ111と対応情報配信サーバ112は、1つの配信サーバ110に含まれているものであっても良い。
図2は、第1の実施形態に係る情報処理システムの構成例を示す図(2)である。この図は、情報処理システム100の具体的な構成の一例を示している。
例えば、コンテンツを作成する作成環境200において、利用者201は、情報端末106で実行されるアプリケーション等を用いて、コンテンツを作成し、配信スケジュールを決定する。
配信スケジュールには、例えば、複数の出力装置102であるSTB(Set Top Box)1〜4に対して、作成したコンテンツを配信する時刻等の情報が含まれる。
利用者201が、情報端末106を用いてコンテンツを作成すると、情報端末106は、コンテンツに対応する、配信スケジュール、及び対応情報を作成する。
また、情報端末106は、作成されたコンテンツ、及び配信スケジュールをコンテンツ配信サーバ111に送信し、記憶させる。また、情報端末106は、作成された対応情報を対応情報配信サーバ112に送信し、記憶させる。
コンテンツ配信サーバ111は、配信スケジュールで指定された時刻になると、指定された出力装置102(例えば、STB1)にコンテンツを配信する。
コンテンツが配信された出力装置102であるSTB1は、配信されたコンテンツをモニタに出力し、表示させる。これにより、モニタは、コンテンツの画像を表示しながら、画像に合わせた音波ID(コンテンツID、及び動作ID)を含む音波120を出力する。
実行装置101の一例であるスマートロボットは、音波120に含まれるコンテンツIDを取得し、取得したコンテンツIDに対応する対応情報を対応情報配信サーバ112から取得して記憶部に記憶する。また、スマートロボットは、音波120に含まれる動作IDを取得し、記憶部に記憶したコンテンツに対応する対応情報を用いて、動作IDに対応する所定の動作(例えば、挨拶、移動等)を実行する。
<ハードウェア構成>
続いて、各装置のハードウェア構成について説明する。
(実行装置のハードウェア構成)
図3は、一実施形態に係る実行装置のハードウェア構成の例を示す図である。実行装置101は、例えば、CPU(Central Processing Unit)301、RAM(Random Access Memory)302、フラッシュROM(Read Only Memory)303、通信I/F(Interface)304、音波処理部305、マイク部306、スピーカ部307、動作実行部308、表示入力部309、及びバス310等を有する。
CPU301は、フラッシュROM303等に格納された実行装置101用のプログラムを実行することにより、実行装置101の各機能を実現する演算装置である。RAM302は、CPU301のワークエリア等として用いられる揮発性のメモリである。フラッシュROM303は、実行装置101用のプログラムや、データ等、様々な情報を記憶する不揮発性のメモリである。
通信I/F304は、実行装置101をアクセスポイント104(又はネットワーク105)に接続するための、例えば、無線LAN等の通信インタフェースである。
音波処理部305は、CPU301の制御に従って、例えば、音波に含まれる音波IDの抽出、ノイズレベルの解析、音波IDを含む音波の生成、音波の周波数変更等の様々な音波処理を実行する。
なお、本実施形態では、具体的な音波IDの転送方式について、特に限定しないが、例えば、16kHz以上の非可聴音領域の音波に、公知の変調方式で変調した音波により、音波IDを伝送することができる。
或いは、音波IDの転送方式は、所定の周波数(例えば、19kHz)の音波をオン/オフさせることにより、デジタル値の「1」/「0」を表すもの等であっても良い。この場合、音波を受信した実行装置101は、例えば、所定のサンプリングレートで予め定められた周波数の有無を判断することにより、音波に含まれる音波IDを取得することができる。
なお、音波処理部305は、音声処理用の集積回路等で実現されるものであっても良いし、DSP(Digital Signal Processor)等で実現されるものであっても良い。或いは、音波処理部305は、CPU301で動作するプログラムによって実現されるもの等であっても良い。
マイク部306は、マイク等の収音素子を含み、マイク等により取得した音波を電気信号に変換する。スピーカ部307は、音波信号を音波に変換して出力するスピーカ、及び音波信号を増幅する増幅回路等を含む。
動作実行部308は、実行装置101が実行する所定の動作を実行する。動作実行部308は実行装置101によって異なり、例えば、実行装置101がスマートロボットである場合、発話する、移動する、お辞儀する、手を振る等の動作を実行する。
表示入力部309は、情報を表示する表示部、操作の入力を受付する入力部等を含み、例えば、タッチパネルディスプレイ等によって実現される。なお、表示部と入力部とは別々に設けられているものであっても良い。
バス310は、上記各構成要素に接続され、アドレス信号、データ信号、及び各種制御信号等を伝送する。
(コンピュータのハードウェア構成)
出力装置102、表示装置103a、コンテンツ配信サーバ111、対応情報配信サーバ112、及び情報端末106は、一般的なコンピュータの構成を有しているので、ここでは、一般的なコンピュータの構成について説明する。
図4は、第1の実施形態に係るコンピュータのハードウェア構成の例を示す図である。コンピュータ400は、例えば、CPU401、RAM402、ROM403、ストレージ部404、ネットワークI/F405、外部I/F406、表示部407、入力部408、スピーカ部409、マイク部410、及びバス411等を有している。
CPU401は、ROM403やストレージ部404等に格納されたプログラムやデータをRAM402上に読み出し、処理を実行することで、コンピュータ400の各機能を実現する演算装置である。RAM402は、CPU401のワークエリア等として用いられる揮発性のメモリである。ROM403は、電源を切ってもプログラムやデータを保持することができる不揮発性のメモリである。
ストレージ部404は、例えば、HDD(Hard Disk Drive)や、SSD(Solid State Drive)等のストレージ装置であり、OS(Operation System)、アプリケーションプログラム、及び各種データ等を記憶する。
ネットワークI/F405は、コンピュータ400をネットワーク105に接続する、例えば、有線/無線LAN等の通信インタフェースである。外部I/F406は、外部装置をコンピュータ400に接続するためのインタフェースである。
表示部407はディスプレイ等、コンピュータ400による処理結果等を表示する表示装置である。入力部408は、コンピュータ400に操作信号等を入力するために用いられる入力装置である。
スピーカ部409は、音波信号を音波に変換して出力するスピーカ、及び音波信号を増幅する増幅回路等を含む。マイク部410は、マイク等の収音素子を含み、マイク等により取得した音波を電気信号に変換する。
バス411は、上記各構成要素に接続され、アドレス信号、データ信号、及び各種制御信号等を伝送する。
<機能構成>
図5は、第1の実施形態に係る情報処理システムの機能構成図である。
(実行装置の機能構成)
実行装置101は、例えば、通信部511、音波情報取得部512、対応情報取得部513、実行制御部514、及び記憶部515等を有する。
通信部511は、例えば、図3の通信I/F304、及び図3のCPU301で実行されるプログラム等によって実現され、ネットワーク105を介して、コンテンツ配信サーバ111、対応情報配信サーバ112等と通信を行う。
音波情報取得部512は、例えば、図3のマイク部306、音波処理部305、及び図3のCPU301で実行されるプログラム等によって実現される。音波情報取得部512は、出力装置102から出力される音波から、音波に含まれるコンテンツID(第1の情報)、動作ID(第2の情報)等の音波IDを取得する。
例えば、音波IDは、所定のビット数(例えば、8ビット)の識別情報であり、所定の範囲(例えば、0〜10)のIDをコンテンツIDとして使用し、別の所定の範囲(例えば、11〜255)を動作IDとして用いることができる。ただし、これは一例であり、コンテンツIDと動作IDとは異なるフォーマットの情報であっても良い。
対応情報取得部513は、例えば、図3のCPU301で実行されるプログラムによって実現される。対応情報取得部513は、音波情報取得部512が取得したコンテンツIDに対応する対応情報516が記憶部515に記憶されていない場合、対応情報配信サーバ112等から、コンテンツIDに対応する対応情報516を取得する。
記憶部515は、例えば、図3のRAM302、フラッシュROM303、及び図3のCPU301で実行されるプログラム等によって実現され、対応情報取得部513が取得した対応情報516を記憶する。
実行制御部514は、例えば、図3の動作実行部308、及び図3のCPU301で実行されるプログラム等によって実現される。実行制御部514は、音波情報取得部512が動作IDを取得した場合、音波情報取得部512が取得したコンテンツIDに対応する対応情報516を用いて、動作IDに対応する所定の動作を実行装置101に実行させる。
図6は、第1の実施形態に係る対応情報のイメージを示す図である。
図6(a)は、対応情報516の一例を示している。図6(a)に示すように、対応情報516は、コンテンツIDに対応する、1つ以上の動作IDと、動作IDに対応する動作内容(所定の動作)とを対応付ける情報である。
例えば、出力装置102が、コンテンツID「001」コンテンツを出力しているものとする。この場合、音波情報取得部512が動作ID「011」を取得すると、実行制御部514は、動作ID「011」に対応する動作内容に従って、「お辞儀」を、実行装置101に実行させる。また、音波情報取得部512が動作ID「101」を取得すると、実行制御部514は、動作ID「101」に対応する動作内容に従って「おはよう」を、実行装置101に発話(音声出力)させる。
図6(b)は、対応情報の別の一例を示している。図6(b)の例では、対応情報516は、図6(a)と同様に、コンテンツID毎に、1つ以上の動作IDと、動作IDに対応する動作内容(所定の動作)とを対応付ける情報である。ただし、図6(b)の例では、1つの「動作ID」に対して、複数の「動作内容」(及び「動作番号」)が対応付けられている。
この例では、コンテンツID「011」のコンテンツにおいて、音波情報取得部512が動作ID「011」を取得すると、実行制御部514は、例えば、動作ID「011」に対応する動作番号「1」の動作内容を、実行装置101に実行させる。また、音波情報取得部512が動作ID「011」を再び取得すると、実行制御部514は、動作ID「011」に対応する動作番号「2」の動作内容を、実行装置101に実行させる。このように、実行制御部514は、動作ID「011」を取得する度に、動作ID「011」の対応する複数の動作のうち、1つの動作を、実行装置101に順次に実行させる。
また、別の一例として、実行制御部514は、動作ID「011」を取得する度に、動作ID「011」の対応する複数の動作のうち、1つの動作を、実行装置101にランダムに実行させるものであっても良い。これにより、例えば、実行装置101の一例であるスマートロボットが、同様の処理を繰り返し実行する場合等、スマートロボットの動作にバリエーションを持たせることができるようになる。
(コンテンツ配信サーバの機能構成)
図5に示すように、コンテンツ配信サーバ111は、例えば、通信部531、コンテンツ管理部532、出力制御部533、及び記憶部515等を有する。
通信部531は、例えば、図4のネットワークI/F405、及び図4のCPU401で実行されるプログラム等によって実現され、ネットワーク105を介して、実行装置101、出力装置102、対応情報配信サーバ112、情報端末106等と通信を行う。
コンテンツ管理部532は、例えば、図4のCPU401で実行されるプログラムによって実現され、例えば、情報端末106等を用いて作成されたコンテンツの情報を管理する。
例えば、コンテンツ管理部532は、作成された(又は予め用意された)コンテンツA536a、コンテンツB536b、及び各コンテンツの配信スケジュールを示す配信情報535等を、記憶部534に記憶する。
出力制御部533は、例えば、図4のCPU401で実行されるプログラムによって実現され、記憶部534に記憶された配信情報に基づいて、配信情報で指定された時刻に、指定された出力装置102、指定されたコンテンツを出力させる。例えば、出力制御部533は、指定された時刻に、指定された出力装置102に指定されたコンテンツを配信する。
記憶部534は、例えば、図4のRAM402、ストレージ部404、及び図4のCPU401で実行されるプログラム等によって実現され、コンテンツ管理部532が管理する配信情報535、及びコンテンツA536a、コンテンツB536b等を記憶する。
(対応情報配信サーバの機能構成)
対応情報配信サーバ112は、例えば、通信部541、対応情報管理部542、及び対応情報記憶部543等を有する。
通信部541は、例えば、図4のネットワークI/F405、及び図4のCPU401で実行されるプログラム等によって実現され、ネットワーク105を介して、実行装置101、コンテンツ配信サーバ111、情報端末106等と通信を行う。
対応情報管理部542は、例えば、図4のCPU401で実行されるプログラムによって実現され、情報端末106、又はコンテンツ配信サーバ111等から送信された対応情報A544a、対応情報B544b等を対応情報記憶部543に記憶する。また、対応情報管理部542は、出力装置102が出力するコンテンツの音波からコンテンツIDを取得した実行装置101からの要求に応じて、コンテンツIDに対応する対応情報を、要求元の実行装置101に提供する。
対応情報記憶部543は、例えば、図4のRAM402、ストレージ部404、及び図4のCPU401で実行されるプログラム等によって実現され、対応情報管理部542が管理する対応情報A544a、対応情報B544b等を記憶する。
(出力装置の機能構成)
出力装置102は、例えば、通信部521、コンテンツ記憶部522、及びコンテンツ出力部523等を有する。
通信部541は、例えば、図4のネットワークI/F405、及び図4のCPU401で実行されるプログラム等によって実現され、ネットワーク105を介して、コンテンツ配信サーバ111、及び実行装置101等と通信を行う。
コンテンツ記憶部522は、例えば、図4のストレージ部404、及び図4のCPU401で実行されるプログラム等によって実現され、コンテンツ配信サーバ111から配信されるコンテンツを記憶する。
コンテンツ出力部523は、例えば、図4のCPU401で実行されるプログラムによって実現され、コンテンツ記憶部522に記憶されたコンテンツを、図4の外部I/F406等に接続された表示装置103、又は表示部407等に出力させる。これにより、表示装置103(又は表示部407、及びスピーカ部409)は、コンテンツIDと動作IDとを含む音波120を出力するコンテンツを表示する。
<処理の流れ>
続いて、本実施形態に係る情報処理方法の処理の流れについて説明する。
(実行装置の処理)
図7は、第1の実施形態に係る実行装置の処理の例を示すフローチャートである。この処理は、実行装置101が、出力装置102が出力するコンテンツの音波から音波IDを取得したときに実行する処理の例を示している。
ステップS701において、音波情報取得部512が音波IDを取得すると、実行装置101は、ステップS702以降の処理を実行する。
ステップS702において、対応情報取得部513は、音波情報取得部512が取得した音波IDが、コンテンツIDであるかを判断する。
取得した音波IDがコンテンツIDである場合、対応情報取得部513は、処理をステップS703に移行させる。一方、取得した音波IDがコンテンツIDでない場合、対応情報取得部513は、処理をステップS706に移行させる。
ステップS703に移行すると、対応情報取得部513は、音波情報取得部512が取得したコンテンツIDに対応する対応情報が記憶部515に記憶されているかを判断する。
取得したコンテンツIDに対応する対応情報が記憶部515に記憶されていない場合、対応情報取得部513は、処理をステップS704に移行させる。一方、取得したコンテンツIDに対応する対応情報が記憶部515に記憶されている場合、対応情報取得部513は、処理を終了させる。
ステップS704に移行すると、対応情報取得部513は、例えば、対応情報配信サーバ112から、コンテンツIDに対応する対応情報を取得する。
ステップS705に移行すると、対応情報取得部513は、取得した対応情報を記憶部515に記憶する。
ステップS706に移行すると、実行制御部514は、音波情報取得部512が取得した音波IDが、動作IDであるかを判断する。
取得した音波IDが動作IDである場合、実行制御部514は、処理をステップS707に移行させる。一方、取得した音波IDが動作IDでない場合、実行制御部514は、処理を終了させる。
ステップS707に移行すると、実行制御部514は、記憶部515に対応情報516が記憶されているかを判断する。
記憶部515に対応情報516が記憶されている場合、実行制御部514は、処理をステップS708に移行させる。一方、記憶部515に対応情報516が記憶されていない場合、実行制御部514は、処理を終了させる。
ステップS708に移行すると、実行制御部514は、例えば、図6(a)に示すような対応情報516から、取得した動作IDに対応する動作内容を取得する。
ステップS709に移行すると、実行制御部514は、取得した動作内容を実行装置101に実行させる。
(情報処理システムの処理)
図8は、第1の実施形態に係る情報処理システムの処理の例を示す図である。この処理は、図7の処理に対応する情報処理システム100の処理の例を示している。
ステップS801において、実行装置101の音波情報取得部512は、音波IDの取得を開始しているものとする。
ステップS802において、コンテンツ配信サーバ111の出力制御部533は、例えば、コンテンツAの配信時刻になると、コンテンツAを出力させる出力装置102にコンテンツAを配信する。なお、このコンテンツAには、例えば、コンテンツを識別するコンテンツID「001」が含まれている。
ステップS803において、出力装置102は、コンテンツ配信サーバ111から配信されたコンテンツを、コンテンツ記憶部522に記憶する。
ステップS804において、出力装置102のコンテンツ出力部523は、コンテンツ記憶部522に記憶したコンテンツAの出力を開始する。例えば、コンテンツ出力部523は、表示装置103にコンテンツAを出力し、表示させる。なお、コンテンツAは、コンテンツID「001」と、コンテンツに応じた動作を指示する動作IDとを含む音波120を出力するように、予め作成されている。
例えば、ステップS805において、出力装置102が出力するコンテンツの音波に含まれるコンテンツID「001」が出力される。なお、この音波IDは、例えば、16kHz以上の非可聴音領域で出力されるので、利用者のコンテンツの視聴には、影響が少ない。
ステップS806において、実行装置101の音波情報取得部512は、音波に含まれるコンテンツID「001」を取得する。なお、ここでは、実行装置101の記憶部515には、コンテンツID「001」に対応する対応情報516が記憶されていないものとする。
ステップS807において、実行装置101の対応情報取得部513は、コンテンツID「001」に対応する対応情報の取得を要求する取得要求を、対応情報配信サーバ112に送信する。
ステップS808において、対応情報配信サーバ112の対応情報管理部542は、取得要求に含まれるコンテンツID「001」に対応する対応情報(例えば、対応情報Aとする)を、対応情報記憶部543から取得する。
ステップS809において、対応情報配信サーバ112の対応情報管理部542は、取得した対応情報Aを、取得要求の要求元の実行装置101に配信する。
ステップS810において、実行装置101の対応情報取得部513は、対応情報配信サーバ112から取得した対応情報Aを、記憶部515に記憶する。
続いて、例えば、ステップS811において、出力装置102が出力するコンテンツが、所定のタイミングで動作ID「011」を出力するものとする。
ステップS812において、実行装置101の音波情報取得部512は、音波に含まれる動作ID「011」を取得する。
ステップS813において、実行装置101の実行制御部514は、ステップS810で記憶部515に記憶した対応情報Aを用いて、コンテンツID「011」対応する所定の動作(例えば、「お辞儀する」)を、実行装置101に実行させる。
上記の処理により、実行装置101は、出力装置102から出力されるコンテンツの音波からコンテンツIDを取得し、取得したコンテンツIDに対応する対応情報を対応情報配信サーバ112から取得して記憶する。
また、出力装置102は、出力装置102から出力されるコンテンツの音波から動作IDを取得すると、取得したコンテンツIDに対応する対応情報を用いて、動作IDに対応する所定の動作を実行する。
実行装置101は、記憶部515に記憶した対応情報516を用いて、取得した動作IDに対応する所定の動作を決定することができるので、コンテンツに対する所定の動作の遅延を低減することができる。
このように、本実施形態によれば、出力装置102から出力されるコンテンツに合わせて所定の動作を実行する実行装置101において、コンテンツに対する所定の動作の遅延を低減させることができるようになる。
[第2の実施形態]
第1の実施形態では、対応情報配信サーバ112が、コンテンツに対応する対応情報を配信する場合の例について説明した。第2の実施形態では、出力装置102が、コンテンツに対応する対応情報を配信する場合の例について説明する。
<機能構成>
図9は、第2の実施形態に係る情報処理システムの機能構成図である。図9に示す第2の実施形態に係る出力装置102は、図5に示す第1の実施形態に係る対応情報配信サーバ112が有していた対応情報管理部542、及び対応情報記憶部543を有している。これにより、出力装置102は、実行装置101から送信される、コンテンツIDに対応する対応情報の取得を要求する取得要求に応じて、コンテンツIDに対応する対応情報を、実行装置101に提供することができるようになる。
なお、他の機能構成は、図5に示す第1の実施形態に係る情報処理システム100と同様である。
<処理の流れ>
図10は、第2の実施形態に係る情報処理システムの処理の例を示すシーケンス図である。なお、図10に示す処理のステップS801〜S806の処理は、図8に示す第1の実施形態に係る情報処理システムの処理と同様なので、ここでは、第1の実施形態との相違点を中心に説明を行う。
ステップS1001において、実行装置101の対応情報取得部513は、コンテンツID「001」に対応する対応情報の取得を要求する取得要求を、出力装置102に送信する。
ステップS1002において、出力装置102の対応情報管理部542は、取得要求に含まれるコンテンツID「001」に対応する対応情報(例えば、対応情報A)を取得する。
ステップS1003において、出力装置102の対応情報管理部542は、取得した対応情報Aを、取得要求の要求元の実行装置101に配信する。
ステップS1004において、実行装置101の対応情報取得部513は、出力装置102から取得した対応情報Aを、記憶部515に記憶する。
続いて、例えば、ステップS1005において、出力装置102が出力するコンテンツが、所定のタイミングで動作ID「013」を出力するものとする。
ステップS1006において、実行装置101の音波情報取得部512は、音波に含まれる動作ID「013」を取得する。
ステップS1007において、実行装置101の実行制御部514は、ステップS1004で記憶部515に記憶した対応情報Aを用いて、コンテンツID「013」対応する所定の動作(例えば、「左手を振る」)を、実行装置101に実行させる。
このように、対応情報管理部542、及び対応情報記憶部543は、出力装置102が有していても良い。この場合、例えば、出力装置102にアクセス可能な実行装置101をスマートロボットのみに制限することにより、出力装置102が出力するコンテンツに連動させる実行装置101を、スマートロボットのみに容易に限定することができる。
なお、対応情報管理部542、及び対応情報記憶部543は、コンテンツ配信サーバ111が有しているものであっても良い。
[第3の実施形態]
第3の実施形態では、出力装置102が出力するコンテンツに含まれる音波に応じて、スマートロボットである実行装置101aと、ユーザ端末である実行装置101bに、それぞれ異なる動作を実行させる場合の例について説明する。
<機能構成>
図11は、第3の実施形態に係る情報処理システムの機能構成図である。第3の実施形態に係る情報処理システム100は、出力装置102が出力するコンテンツに合わせて所定の動作を実行する実行装置(スマートロボット)101aと、コンテンツに応じた情報を利用者に提供する実行装置(ユーザ端末)101bとを有する。なお、実行装置101bが、コンテンツに応じた情報を利用者に提供する動作は、実行装置101が、コンテンツに合わせて実行する所定の動作の別の一例である。
コンテンツ配信サーバ111の機能構成は、図5に示す第1の実施形態に係る情報処理システム100の機能構成と同様である。ただし、第3の実施形態に係るコンテンツは、実行装置(スマートロボット)101a用の対応情報である第1の対応情報と、実行装置(ユーザ端末)101b用の対応情報である第2の対応情報とを有している。
図12は、第3の実施形態に係るコンテンツの作成画面の例を示す図である。図12に示すコンテンツの作成画面1200は、例えば、情報端末106で実行されるアプリケーション、又はコンテンツ配信サーバ111のコンテンツ管理部532等によって提供されるWebアプリ等が表示するコンテンツの作成画面の一例である。
図12の例では、コンテンツの作成画面1200には、出力装置102に出力させるコンテンツ(例えば、画像+音声等)を表示するエリア1210と、動作を設定する表1220とを含む。
コンテンツを作成する作成者は、表1220を用いて、コンテンツの再生時間内における所定の時間1221に、実行装置(スマートロボット)101aに実行させる動作である「動作(Private)」1222を設定することができる。同様に、作成者は、表1220を用いて、コンテンツの再生時間内における所定の時間1221に、1つ以上の実行装置(ユーザ端末)101bに実行させる動作である「動作(Public)」1223を設定することができる。
本実施形態に係るコンテンツ管理部532、又は情報端末106は、コンテンツの作成画面1200で、例えば、コンテンツBが作成されると、「動作(Private)」1222で設定された対応情報である対応情報B(第1の対応情報)を、出力装置102に送信し、記憶させる。また、コンテンツ管理部532、又は情報端末106は、「動作(Public)」1223で設定された対応情報である対応情報Y(第2の対応情報)を、対応情報配信サーバ112に送信し、記憶させる。
ここで、図11に戻り、情報処理システム100の機能構成の説明を続ける。
出力装置102の機能構成は、図9に示す第2の実施形態に係る出力装置と同様である。
対応情報管理部(第1の対応情報管理部)542は、コンテンツ配信サーバ111から送信される、実行装置(スマートロボット)101aの対応情報である第1の対応情報(対応情報A、対応情報B、・・・)を、対応情報記憶部543に記憶する。また、対応情報管理部542は、出力装置102が出力するコンテンツの音波からコンテンツIDを取得した実行装置101aからの要求に応じて、コンテンツIDに対応する第1の対応情報を、要求元の実行装置101aに提供する。
対応情報記憶部543は、対応情報管理部542が管理する対応情報A、対応情報B、・・・等を記憶する。
対応情報配信サーバ112は、図5に示す第1の実施形態に係る対応情報配信サーバ112の対応情報管理部542に代えて、対応情報管理部1101を有し、対応情報記憶部543に代えて、対応情報記憶部1102を有している。
対応情報管理部(第2の対応情報管理部)1101は、コンテンツ配信サーバ111から送信される、実行装置(ユーザ端末)101b用の対応情報である第2の対応情報(対応情報X、対応情報Y、・・・)を、対応情報記憶部1102に記憶する。また、対応情報管理部1101は、出力装置102が出力するコンテンツの音波からコンテンツIDを取得した実行装置101bからの要求に応じて、コンテンツIDに対応する第2の対応情報を、要求元の実行装置101bに提供する。
実行装置(スマートロボット)101a、及び実行装置(ユーザ端末)101bの機能構成は、図5に示す第1の実施形態に係る実行装置101と同様である。
なお、第1の実行装置である実行装置101aには、対応情報の取得先として、出力装置102(又は対応情報管理部542)の情報が予め設定されているものとする。また第2の実行装置である実行装置101bには、対応情報の取得先として、対応情報配信サーバ112(又は対応情報管理部1101)の情報が予め設定されているものとする。
<処理の流れ>
図13は、第3の実施形態に係る情報処理システムの処理の例を示すシーケンス図である。この処理は、例えば、図12に示すコンテンツの作成画面1200で作成されたコンテンツBを、出力装置102で出力するときにおける情報処理システム100の処理の一例を示している。
ステップS1301、S1302において、実行装置101a、及び実行装置101bの音波情報取得部512は、音波IDの取得を開始しているものとする。
ステップS1303において、コンテンツ配信サーバ111の出力制御部533は、例えば、コンテンツBの配信時刻になると、コンテンツBを出力させる出力装置102にコンテンツBを配信する。なお、このコンテンツBには、コンテンツBを識別するコンテンツID「002」が含まれる。
ステップS1304において、出力装置102のコンテンツ記憶部522は、コンテンツ配信サーバ111から配信されたコンテンツBを記憶する。
ステップS1305において、出力装置102のコンテンツ出力部523は、コンテンツ記憶部522が記憶したコンテンツBの出力を開始する。例えば、コンテンツ出力部523は、表示装置103にコンテンツBを出力し、表示させる。なお、コンテンツBは、コンテンツID「002」と、コンテンツに応じた動作を指示する動作IDとを含む音波120を出力するように、予め作成されている。
例えば、ステップS1306において、出力装置102が出力するコンテンツの音波に含まれるコンテンツID「002」が出力される。なお、この音波IDは、例えば、16kHz以上の非可聴音領域で出力される。
ステップS1307、S1308において、実行装置101a、及び実行装置101bの音波情報取得部512は、音波に含まれるコンテンツID「002」を取得する。
ステップS1309において、実行装置101aの対応情報取得部513は、コンテンツID「002」に対応する第1の対応情報の取得を要求する取得要求を、出力装置102に送信する。
ステップS1310において、出力装置102の対応情報管理部542は、取得要求に含まれるコンテンツID「002」に対応する第1の対応情報(例えば、対応情報B)を、対応情報記憶部543から取得する。
ステップS1311において、出力装置102の対応情報管理部542は、取得した対応情報Bを、取得要求の要求元の実行装置101aに配信する。
ステップS1312において、実行装置101aの対応情報取得部513は、出力装置102から取得した対応情報Bを、記憶部515に記憶する。
ステップS1313において、実行装置101bの対応情報取得部513は、コンテンツID「002」に対応する第2の対応情報の取得を要求する取得要求を、対応情報配信サーバ112に送信する。
ステップS1314において、対応情報配信サーバ112の対応情報管理部1101は、取得要求に含まれるコンテンツID「002」に対応する第2の対応情報(例えば、対応情報Y)を、対応情報記憶部1102から取得する。
ステップS1315において、対応情報配信サーバ112の対応情報管理部1101は、取得した対応情報Yを、取得要求の要求元の実行装置101bに配信する。
ステップS1316において、実行装置101bの対応情報取得部513は、対応情報配信サーバ112から取得した対応情報Yを、記憶部515に記憶する。
なお、上記のステップS1313〜S1316の処理は、例えば、ステップS1309〜S1312の処理と並行して実行される。
ここで、出力装置102が出力するコンテンツは、図12に示すコンテンツの作成画面1200で設定された所定の時間1221になると、設定された動作に対応する動作IDを出力する。
例えば、ステップS1317において、出力装置102が出力するコンテンツは、実行装置101aによる所定の動作「お辞儀する」に対応する動作ID「511」を出力する。
ステップS1318、S1319において、実行装置101a、実行装置101bの音波情報取得部512は、それぞれ、音波に含まれる動作ID「511」を取得する。
ステップS1320において、実行装置101aの実行制御部514は、ステップS1312で記憶部515に記憶した対応情報Bを用いて、コンテンツID「511」対応する所定の動作「お辞儀する」を、実行装置101aに実行させる。
一方、実行装置101bの実行制御部514は、ステップS1316で記憶部に記憶した対応情報Yには、コンテンツID「511」に対応する動作が記憶されていないので、動作を実行しない。
ステップS1321において、出力装置102が出力するコンテンツは、実行装置101bによる所定の動作「URLを開く:xxx.co.jp」に対応する動作ID「612」を出力する。なお、「xxx.co.jp」は、URL(Uniform Resource Locator)の一例である。
ステップS1322、S1323において、実行装置101a、実行装置101bの音波情報取得部512は、それぞれ、音波に含まれる動作ID「612」を取得する。
ステップS1324において、実行装置101bの実行制御部514は、ステップS1316で記憶部515に記憶した対応情報Yを用いて、コンテンツID「612」対応する所定の動作「URLを開く:xxx.co.jp」を、実行装置101bに実行させる。
一方、実行装置101aの実行制御部514は、ステップS1312で記憶部に記憶した対応情報Bに、コンテンツID「612」に対応する動作が記憶されていないので、動作を実行しない。
上記の処理により、例えば、出力装置102(又は表示装置103)の近くに配置されたスマートロボットにコンテンツに合わせた動作を実行させると共に、1つ以上のユーザ端末に所定の情報(コンテンツに関する情報等)を提供することができるようになる。
[第4の実施形態]
第4の実施形態では、実行装置101が、動作IDに応じた所定の動作を実行中に、次の動作IDを取得した場合の処理の例について説明する。なお、第4の実施形態に係る情報処理システム100の機能構成は、図5に示す第1の実施形態に係る情報処理システム100の機能構成と同様である。
本実施形態に係る実行装置101は、複数の動作モードを有している。一例として、実行装置101は、連続実行モード(第1の動作モード)、中断モード(第2の動作モード)、及び破棄モード(第3の動作モード)の3つの動作モードを有しているものとする。
連続実行モードに設定されている場合、実行装置101は、所定の動作を実行中に、新たな動作IDを取得すると、取得した動作IDに対応する所定の動作(又は動作ID)を、実行待ちのキューに登録する。また、実行装置101は、実行中の所定の動作が終了すると、実行待ちのキューに登録された所定の動作を順次に実行する。
中断モードに設定されている場合、実行装置101は、所定の動作を実行中に、新たな動作IDを取得すると、実行中の所定の動作を中断(又は中止)し、取得した動作IDに対応する所定の動作を実行する。
破棄モードに設定されている場合、実行装置101は、所定の動作を実行中に、新たな動作IDを取得すると、取得した動作IDを破棄(又は無視)し、実行中の所定の動作を継続する。
<処理の流れ>
(動作ID取得時の処理)
図14は、第4の実施形態に係る動作ID取得時の処理の例を示すフローチャートである。
ステップS1401において、実行装置101の音波情報取得部512が、動作IDを取得する。
ステップS1402において、実行装置101の実行制御部514は、取得した動作IDに対応する対応情報が、記憶部515に記憶されているかを判断する。
取得した動作IDに対応する対応情報が記憶されている場合、実行制御部514は、処理をステップS1403に移行させる。一方、取得した動作IDに対応する対応情報が記憶されていない場合、実行制御部514は、処理を終了させる。
ステップS1403に移行すると、実行制御部514は、動作IDに対応する所定の動作を実行中であるかを判断する。
動作を実行中である場合、実行制御部514は、処理をステップS1404に移行させる。一方、動作を実行中でない場合、実行制御部514は、処理をステップS1411に移行させる。
ステップS1404に移行すると、実行制御部514は、実行装置101の動作モードが、連続実行モードであるかを判断する。
連続実行モードである場合、実行制御部514は、処理をステップS1405に移行させる。一方、連続実行モードでない場合、実行制御部514は、処理をステップS1407に移行させる。
ステップS1405に移行すると、実行制御部514は、現在のコンテンツに対応する対応情報から、ステップS1401で取得したコンテンツIDに対応する動作内容を取得する。
ステップS1406において、実行制御部514は、取得した動作内容を実行待ちキューに追加する。
ステップS1407に移行すると、実行制御部514は、実行装置101の動作モードが、中断モードであるかを判断する。
中断モードである場合、実行制御部514は、処理をステップS1408に移行させる。一方、中断モードでない場合、実行制御部514は、処理を終了させる。
ステップS1408に移行すると、実行制御部514は、実行中の所定の動作を中断(又は中止)させる。
ステップS1409において、実行制御部514は、現在のコンテンツに対応する対応情報から、ステップS1401で取得したコンテンツIDに対応する動作内容を取得する。
ステップS1410において、実行制御部514は、取得した動作内容を、実行装置101に実行させる。
ステップS1411に移行すると、実行制御部514は、現在のコンテンツに対応する対応情報から、ステップS1401で取得したコンテンツIDに対応する動作内容を取得する。
ステップS1412において、実行制御部514は、取得した動作内容を、実行装置101に実行させる。
上記の処理により、実行装置101は、設定された動作モードに応じて動作を実行することができるようになる。
また、本実施形態では、コンテンツから出力される音波に含まれる動作IDに対応する所定の動作の一例として、上記の動作モードを設定(切替)することができる。
図15は、第4の実施形態に係る対応情報のイメージを示す図である。図15に示す第4の実施形態に係る対応情報516は、図6(a)に示す第1の実施形態に係る対応情報516に対して、動作モードを設定するための対応情報1501が追加されている。
図15の例では、例えば、コンテンツから出力される音波に動作ID「201」が含まれている場合、実行装置101の実行制御部514は、実行装置101の実行モードを「連続実行モード」に設定(切替)する。
(情報処理システムの処理)
図16は、第4の実施形態に係る情報処理システム100の処理の例を示すシーケンス図である。この処理は、コンテンツから出力される音波に、動作モードの設定動作に対応するコンテンツIDが含まれている場合における情報処理システム100の処理の例を示している。
なお、図16に示す処理の開始時点において、実行装置101は、例えば、図15に示すような対応情報516を、記憶部515に記憶しているものとする。
ステップS1601において、出力装置102が出力するコンテンツは、指定されたタイミングで、動作モードを中断モードに設定するための動作ID「202」を出力する。
ステップS1602において、実行装置101の音波情報取得部512は、コンテンツから出力される音波から、動作ID「202」を取得する。
ステップS1603において、実行装置101の実行制御部514は、記憶部515に記憶した、例えば、図14に示すような対応情報516を用いて、動作ID「202」に対応する動作「設定:中断モード」に従って、動作モードを中断モードに設定する。
ステップS1604において、出力装置102が出力するコンテンツが、指定されたタイミングで、動作ID「015」を出力する。
ステップS1605において、実行装置101の音波情報取得部512は、コンテンツから出力される音波から、動作ID「015」を取得する。
ステップS1606において、実行装置101の実行制御部514は、記憶部515に記憶した、例えば、図14に示すような対応情報516を用いて、動作ID「015」に対応する動作「前へ歩く」を実行する。
ステップS1607において、実行装置101が、「前へ歩く」動作を実行中に、出力装置102が出力するコンテンツが、指定されたタイミングで、動作ID「104」を出力するものとする。
ステップS1608において、実行装置101の音波情報取得部512は、コンテンツから出力される音波から、動作ID「104」を取得する。
ステップS1609において、実行装置101の実行制御部514は、動作モードが中断モードに設定されているため、実行中の動作「前へ歩く」を中断(又は中止)する。
ステップS1610において、実行制御部514は、記憶部515に記憶した、例えば、図14に示すような対応情報516を用いて、動作ID「104」に対応する動作内容に従って、「ようこそ」を発話する。
ステップS1611において、出力装置102が出力するコンテンツが、指定されたタイミングで、動作モードを破棄モードに設定するための動作ID「203」を出力する。
ステップS1612において、実行装置101の音波情報取得部512は、コンテンツから出力される音波から、動作ID「203」を取得する。
ステップS1613において、実行装置101の実行制御部514は、記憶部515に記憶した、例えば、図14に示すような対応情報516を用いて、動作ID「203」に対応する動作「設定:破棄モード」に従って、動作モードを破棄モードに設定する。
ステップS1614において、出力装置102が出力するコンテンツが、指定されたタイミングで、動作ID「015」を出力するものとする。
ステップS1615において、実行装置101の音波情報取得部512は、コンテンツから出力される音波から、動作ID「015」を取得する。
ステップS1616において、実行装置101の実行制御部514は、記憶部515に記憶した、対応情報516を用いて、動作ID「015」に対応する動作「前へ歩く」を再び実行する。
ステップS1617において、実行装置101が、「前へ歩く」動作を実行中に、出力装置102が出力するコンテンツが、指定されたタイミングで、動作ID「104」を出力するものとする。
ステップS1618において、実行装置101の音波情報取得部512は、コンテンツから出力される音波から、動作ID「104」を取得する。
ステップS1619において、実行装置101の実行制御部514は、動作モードが破棄モードに設定されているため、取得した動作ID「104」を破棄し、実行中の動作「前へ歩く」を継続する。
このように、本実施形態に係る実行装置101は、複数の動作モードを有し、コンテンツから出力される動作IDにより、動作モードの設定を行うことができるようになる。
[第5の実施形態]
第5の実施形態では、第1〜4の実施形態とは異なるシステム構成における実施例について説明する。
<システム構成>
図17は、第5の実施形態に係る情報処理システムの構成例を示す図(1)である。図17(a)は、第5の実施形態に係る情報処理システム100の一例を示している。図17(a)の例では、情報処理システム100は、音波120を出力する出力装置102と、出力装置102から出力される音波120に応じて所定の動作を実行する実行装置101とを含む。
図17(b)は、第5の実施形態に係る情報処理システムの別の一例を示している。図17(b)に示すように、出力装置102から出力される音波120に応じて所定の動作を実行する実行装置101a、101bは、複数であっても良い。
図18は、第5の実施形態に係る情報処理システムの構成例を示す図(2)である。この図は、第5の実施形態に係る情報処理システム100の具体的な構成の一例を示している。
図18(a)の例では、出力装置102は、音波120を出力するスマートロボット等の装置である。出力装置102が出力する音波120には、例えば、「おはよう」等の可聴音で出力される音声情報(第1の情報)と、所定の周波数(例えば、16kHz等)以上の非可聴領域で出力される音波ID(第2の情報)とが含まれる。
また、図18(a)の例では、実行装置101は、出力装置102から出力される音波に応じて、例えば、「おはよう。頑張って起きようね!」等の音声情報を出力するスマートロボット等の装置である。
実行装置101は、例えば、出力装置102から出力される音波に含まれる音声情報を、音声認識処理によって取得し、取得した音声情報に対応する音声情報を出力する。なお、図18(a)の例では、説明を容易にするため、出力装置102と実行装置101として説明を行っているが、スマートロボットは、出力装置102の機能と、実行装置101の機能とを有するものであって良い。これにより、2つのスマートロボット間で、音声情報を共有し、スマートロボット同士が双方向にコミュニケーションを行っているように見せることができる。
なお、これに関連する技術として、音波を出力する際に、可聴音周波数帯域、非可聴音周波数帯域に文字コードを割当て、その組合せにより、多様な情報表現を可能にするサウンドエンコーディング装置が知られている(例えば、特許文献2参照)。
しかし、従来の技術では、例えば、出力装置102が、例えば、「おはよう」等の音声情報を出力するときに、出力する音声情報に対応する、例えば、「眠い」、「元気」等の感情を示す情報を通知することはできないという問題がある。
本実施形態では、出力装置102と、出力装置102から出力される音声情報に応じて所定の動作を実行する実行装置101とを含む情報処理システム100において、音声情報に対応する感情等の情報を通知することができるようにする。
例えば、本実施形態に係る情報処理システム100では、出力装置102が音声情報(例えば、「おはよう」)を出力するときに、音声情報に対応する1つ以上の音波IDの中から、少なくとも1つの音波IDを重畳させて出力する。なお、音声情報に対応する1つ以上の音波IDには、例えば、感情を示す情報が含まれる。
これにより、図18(a)に示すように、出力装置102が「おはよう」という音声情報を出力するとき、例えば、「眠い」という感情を示す音波IDが、例えば、非可聴音領域の音波で出力される。
従って、実行装置101は、「おはよう」という音声情報と、「眠い」という感情を示す音IDを用いて、「おはよう!」という応答音声に、出力装置102に応じた音声情報「頑張って起きようね!」を付加することができるようになる。これにより、例えば、スマートロボット間のコミュニケーション能力を向上させることができるようになる。
なお、図18(a)の例では、出力装置102、及び実行装置101がスマートロボットであるものとして説明を行ったが、スマートロボットは、出力装置102、実行装置101の一例である。
例えば、出力装置102、又は実行装置101は、図18(b)に示すように、スマートフォンや、タブレット端末等の情報端末であっても良い。例えば、実行装置101が、情報端末である場合、情報端末で実行されるアプリケーションによって実現されるロボットや、キャラクタ等が、出力装置102から出力される音波に応じて、音声情報を出力するもの等であっても良い。
また、出力装置102、又は実行装置101は、図18(c)に示すように、デジタルサイネージ等の表示装置202であっても良い。例えば、出力装置102が表示装置202である場合、表示装置202が表示するロボットや、キャラクタ等の音声情報を含む音波に応じて、スマートロボットである実行装置101が、音声情報を出力するもの等であっても良い。
<機能構成>
図19は、第5の実施形態に係る情報処理システムの機能構成図である。なお、本実施形態に係る実行装置101、及び出力装置102は、例えば、図3に示す実行装置101、又は図4に示すコンピュータ400のハードウェア構成を有しているものとする。
(実行装置の機能構成)
本実施形態に係る実行装置101は、例えば、音波情報取得部512、実行制御部514、音波出力部1913、記憶部515等を有する。
音波情報取得部512は、例えば、図3のマイク部306、音波処理部305、及び図3のCPU301で実行されるプログラム等によって実現される。音波情報取得部512は、出力装置102から出力される音波に含まれる音声情報(第1の情報)、及び音声情報に対応する音波ID(第2の情報)を取得する。
音波情報取得部512は、例えば、音声認識部1911、及び音波ID取得部1912を含む。
音声認識部1911は、例えば、出力装置102から出力される音波120の可聴音領域(例えば、20Hz以上、16kHz未満の周波数領域)に含まれる音波に対して音声認識処理を行い、音声情報を取得する。
音波ID取得部1912は、例えば、出力装置102から出力される音波120の非可聴音領域(例えば、16kHz以上、20kHz未満の周波数領域)に含まれる音波を解析し、音波IDを取得する。
実行制御部514は、音波情報取得部512が、音声情報、及び音波IDを取得したとき、取得した音声情報に対応する対応情報を用いて、実行装置101に、音波IDに対応する音声情報を出力させる(所定の動作の一例)。
図20(a)に、第5の実施形態に係る対応情報516の一例のイメージを示す。図20(a)の例では、対応情報516には、「動作ID」、「動作内容」、「音声情報」、「意味」、及び「音波ID」等の情報が含まれる。
「音声情報」は、音波情報取得部512の音波情報取得部512が、出力装置102から出力される音波から取得する音声情報(第1の情報)に対応している。図20(a)の例では、「おはよう」という音声情報に対応する対応情報2001として、1つ以上の「音波ID」(第2の情報)と、「音波ID」に対応する「動作内容」(所定の動作)、及び「意味」が対応付けて記憶されている。なお、「意味」の情報は必須ではない。
図20(a)の例では、音波情報取得部512が、音声情報「おはよう」と、音波IDを取得した場合、実行制御部514は、音声情報「おはよう」に対応する対応情報2001を用いて、音波IDに対応する「動作内容」を、実行装置101に実行させる。例えば、音波情報取得部512が、音声情報「おはよう」と、音波ID「0x0001」とを取得した場合、実行制御部514は、動作ID「001」の「おはよう。頑張って起きようね。」という音声情報を、実行装置101に発話(出力)させる。
また、図20(a)の例では、音波情報取得部512が、音波IDのみを取得した場合、実行制御部514は、対応情報516のうち、音声情報を取得できなかった場合の対応情報2002を用いて、音波IDに対応する動作内容を、実行装置に実行させる。例えば、音波情報取得部512が、音波ID「0x0001」のみを取得した場合、実行制御部514は、動作ID「004」の「眠そうだね」という音声情報を、実行装置101に発話(出力)させる。
これにより、本実施形態に係る実行装置101は、例えば、周囲の雑音(例えば、他のスマートロボット同士の会話等)により、音声認識処理ができない状況であっても、音波IDに応じた音声情報を出力することができるようになる。
同様にして、図20(a)の例では、音波情報取得部512が、音声情報「おはよう」を取得し、音波IDを取得できなかった場合には、実行制御部514は、動作ID「003」の「おはよう」という音声情報を、実行装置101に発話させることができる。
ここで、図19に戻り、実行装置101の機能構成の説明を続ける。
音波出力部1913は、例えば、図3のスピーカ部307、音波処理部305、及び図3のCPU301で実行されるプログラム等によって実現され、実行制御部514の制御に従って、音波(音声情報等)を出力する。
記憶部515は、例えば、図3のRAM302、フラッシュROM303、及び図3のCPU301で実行されるプログラム等によって実現され、例えば、図20(a)に示されるような対応情報516を記憶する。
また、記憶部515は、予め登録された登録済識別情報1914等を記憶するものであっても良い。なお、登録済識別情報1914には、実行装置101を識別する識別コード、実行装置101が所属するグループを識別するグループコード、実行装置101と対応関係が登録された1つ以上の出力装置102の識別コードを含む識別コードリスト等が含まれる。
(出力装置の機能構成)
図19に示すように、本実施形態に係る出力装置102は、例えば、出力情報記憶部1921、出力制御部1922、音波生成部1923、及び音波出力部1926等を有する。なお、ここでは、一例として、出力装置102が、図3に示す実行装置101のハードウェア構成を有しているものとして、以下の説明を行う。
出力情報記憶部1921は、例えば、図3のフラッシュROM303、及び図3のCPU301で実行されるプログラム等によって実現される。出力情報記憶部1921は、出力装置102が出力する音声情報(第1の情報)と、出力する音声情報に対応する1つ以上の音波ID(第2の情報)とを対応付ける出力情報を記憶する。
図20(b)は、出力情報記憶部1921に記憶される出力情報1927の一例のイメージを示している。図20(b)の例では、出力情報1927には、音声情報「おはよう」と、音声情報「おはよう」に対応する「音波ID」及び「意味」とが、対応付けて記憶されている。なお、「意味」の情報は必須ではない。
図20(b)の例では、出力装置102の出力制御部1922は、音声情報「おはよう」を出力するときに、音声情報「おはよう」に対応する少なくとも1つの音波IDを、音声情報に重畳させた音波を、出力装置102に出力させる。
なお、音声情報に対応する音波IDの選択方法は任意の方法であって良い。例えば、出力制御部1922は、音声情報に対応する1つ以上の音波IDの中から、ランダムに1つの音波IDを選択するものであっても良いし、時刻等に応じて1つの音波IDを選択するもの等であっても良い。
図19に戻り、出力装置102の機能構成の説明を続ける。
出力制御部1922は、例えば、図3のCPU301で実行されるプログラムによって実現される。出力制御部1922は、出力装置102に音声情報を出力させると共に、音声情報を出力するときに、出力情報1927を用いて、音声情報に対応する少なくとも1つの音波IDを重畳させた音波を、出力装置102に出力させる。
例えば、出力制御部1922は、音声情報「おはよう」を出力すると決定すると、音波生成部1923に、音声情報「おはよう」を生成させると共に、音声情報に対応する音波IDを含む非可聴音を生成させ、音声情報と非可聴音とを含む音波を生成させる。さらに、出力制御部1922は、生成された音波を音波出力部1926に出力させる。
音波生成部1923は、例えば、図3の音波処理部305、及び図3のCPU301で実行されるプログラム等によって実現され、出力制御部1922の制御に従って、音声情報に音波IDを重畳させた音波を生成する。音波生成部1923は、例えば、音声情報生成部1924、及び非可聴音生成部1925等を含む。
音声情報生成部1924は、出力制御部1922から指示された、例えば、「おはよう」、「眠そうだね」等、音声認識処理で認識可能な可聴音である音声情報を生成する。音声情報生成部1924は、例えば、予め録音された音声データを用いて音声情報(可聴音)を生成するものであっても良いし、音声合成等により音声情報を生成するもの等であっても良い。
好ましくは、音声情報は、ユーザが聞いたときに、その意味を把握できるものである。これにより、ユーザは、例えば、スマートロボット同士でどのようなコミュニケーションが行われているかを認識することができる。
非可聴音生成部1925は、出力制御部1922から指示された音波IDを含む非可聴音を生成する。
音波生成部1923は、例えば、音声情報生成部1924が生成した音声情報(可聴音)に、非可聴音生成部1925が生成した非可聴音を重畳させた音波(音波信号)を、音波出力部1926に出力する。
音波出力部1926は、例えば、図3のスピーカ部307、及び図3のCPU301で実行されるプログラム等によって実現され、音波生成部1923から出力された音波120を出力する。
<処理の流れ>
続いて、本実施形態に係る情報処理方法の流れについて説明する。
(出力装置の処理)
図21は、第5の実施形態に係る出力装置の処理の例を示すフローチャートである。この処理は、出力装置102が、音声情報(例えば、「おはよう」等)を出力するときに実行される処理の一例を示している。なお、出力する音声情報の決定方法は、任意の方法であって良い。
ステップS2101において、出力装置102の出力制御部1922は、音声情報を出力するときに、音声情報に付加する音波IDを決定する。例えば、出力制御部1922は、音声情報「おはよう」を出力する場合、図20(b)に示すような出力情報1927を用いて、音声情報「おはよう」に対応する1つ以上の音波IDの中から、音波情報「おはよう」に付加する1つの音波IDを決定する。
ステップS2102において、出力装置102の出力制御部1922は、例えば、音声情報生成部1924に、音声情報「おはよう」を生成させる。
ステップS2103において、出力装置102の出力制御部1922は、例えば、非可聴音生成部1925を用いて、ステップS2101で決定した音波IDを含む非可聴音を生成させる。
ステップS2104において、出力装置102の出力制御部1922は、例えば、音波生成部1923に、ステップS2102で生成した音声情報に、ステップS2103で生成した非可聴音を重畳させて、出力する音波120を生成させる。
ステップS2105において、出力装置102の音波出力部1926は、音波生成部1923で生成された音波120を出力する。
(実行装置の処理)
図22は、第5の実施形態に係る実行装置の処理の例を示すフローチャートである。この処理は、実行装置101が、出力装置102から出力される音波120を取得したときの処理の一例を示している。
ステップS2201において、実行装置101の音波情報取得部512は、実行装置101の周辺の音波を取得する。
一例として、音波情報取得部512は、マイク部306で音波を録音し、音声情報(可聴音)を検知したときに、録音した音波データをRAM302に蓄積する。また、音声情報が所定の時間を超えて検知できなかった場合、蓄積を解除する。
ステップS2202において、実行装置101の音波情報取得部512は、取得した音波を、ハイパスフィルタ、及びローパスフィルタ等を用いて、可聴音と非可聴音とに分ける(分離する)。
ステップS2203において、音波情報取得部512の音声認識部1911は、可聴音に対して音声認識処理を実行し、音声情報(例えば、「おはよう」)を取得する。
ステップS2204において、音波情報取得部512の音波ID取得部1912は、非可聴音を解析し、音波IDを取得する。
ステップS2205において、実行装置101の実行制御部514は、ステップS2203で、音声認識ができたか(音声情報を取得できたか)を判断する。
音声認識ができた場合、実行制御部514は、処理をステップS2206に移行させる。一方、音声認識ができなかった場合、実行制御部514は、処理をステップS2209に移行させる。
ステップS2206に移行すると、実行装置101の実行制御部514は、ステップS2204で、音波IDを取得できたかを判断する。
音波IDを取得できた場合、実行制御部514は、処理をステップS2207に移行させる。一方、音波IDを取得できなかった場合、実行制御部514は、処理をステップS2208に移行させる。
ステップS2207に移行すると、実行装置101の実行制御部514は、アクションAを実行する。
ここで、「アクションA」は、音波情報取得部512が、音声情報(第1の情報)、及び音波ID(第2の情報)を取得した場合に実行される処理を示す。アクションAでは、実行制御部514は、取得した音声情報に対応する対応情報を用いて、取得した音波IDに対応する所定の動作を実行装置101に実行させる。
例えば、音波情報取得部512が、音声情報「おはよう」と、音波ID「0x001」を取得したものとする。この場合、実行制御部514は、図20(a)に示す対応情報516のうち、音声情報「おはよう」に対応する対応情報2001を用いて、音波ID「0x001」に対応する動作ID「001」の動作内容を、実行装置101に実行させる。
ステップS2208に移行すると、実行装置101の実行制御部514は、アクションBを実行する。
ここで、「アクションB」は、音波情報取得部512が、音声情報を取得し、音波IDを取得できなかった場合に実行される処理を示す。例えば、音波情報取得部512が、音声情報「おはよう」のみを取得したものとする。この場合、実行制御部514は、図20(a)に示す対応情報516のうち、音声情報「おはよう」に対応する対応情報2001を用いて、音波IDが取得できなかった場合に対応する動作ID「003」の動作内容を、実行装置101に実行させる。
ステップS2209に移行すると、実行装置101の実行制御部514は、ステップS2204で、音波IDを取得できたかを判断する。
音波ID取得できた場合、実行制御部514は、処理をステップS2210に移行させる。一方、音波IDを取得できなかった場合、実行制御部514は、処理をステップS2211に移行させる。
ステップS2210に移行すると、実行装置101の実行制御部514は、アクションCを実行する。
ここで、「アクションC」は、音波情報取得部512が、音声情報をできず、音波IDを取得した場合に実行される処理を示す。アクションCでは、実行制御部514は、取得した音波IDに応じた所定の動作を実行装置101に実行させる。
例えば、音波情報取得部512が、音波ID「0x001」のみを取得したものとする。この場合、実行制御部514は、図20(a)に示す対応情報516のうち、音声情報を取得できなかった場合の対応情報2002を用いて、音波ID「0x001」に対応する動作ID「004」の動作内容を、実行装置101に実行させる。
ステップS2211に移行すると、実行装置101の実行制御部514は、アクションDを実行する。
ここで、「アクションD」は、例えば、音波情報取得部512が、可聴音領域で音声を取得したが、音声情報、及び音波IDを取得できなかった場合に実行される処理を示す。例えば、音波情報取得部512が、可聴音領域で音声を取得したが、音声情報、及び音波IDを取得できなかったものとする。この場合、実行制御部514は、例えば、「ごめん、わからなかった。もう一度お話ししてね。」等の予め定められたメッセージを、実行装置101に出力させる。或いは、実行制御部514は、何も処理を行わないもの等であっても良い。
上記の処理により、本実施形態によれば、出力装置102から出力される音声情報に応じて所定の動作を実行する実行装置101に対して、音声情報に対応する感情等の情報を通知することができるようになる。
また、本実施形態では、例えば、可聴音領域のノイズレベルが高く、音声認識処理ができない場合でも、音波IDを用いて、感情等の情報を通知することができるようになる。
さらに、本実施形態においても、第1〜4の実施形態と同様に、取得した音波IDに対応する処理を、サーバ装置等から取得する必要がないので、出力装置102から出力される音波(コンテンツ)に対する所定の動作の遅延を低減させることができるようになる。
<応用例>
上記の説明では、出力装置102が出力する音波に含まれる音波IDが、感情を示す情報であるものとして説明を行ったが、音波IDは、感情を示す情報とは異なる情報を伝達することも可能である。
図20(c)は、音波IDの一例のイメージを示す図である。図20(c)の表2010の例では、音波IDは、「感情」2011、「同期信号」2012、「グルーピング」2013、「識別情報」2014等に分類されている。
「感情」2011は、感情を示す情報である。この情報を用いて、実行装置101は、「おはよう」等の音声情報だけではなく、音波IDによって示される感情を示す情報を加味して、実行する所定の動作(例えば発話内容)を制御する。これにより、端末装置にあたかも感情があるかのような、より高いレベルのコミュニケーションが可能になる。
「同期信号」2012は、実行装置101が所定の動作を実行するタイミングを制御するための情報である。
図23は、第5の実施形態に係る同期信号について説明するための図である。例えば、図23(a)に示すように、1台の出力装置102から出力される音波に応じて、2台の実行装置101a、101bが所定の動作を実行するものとする。
このとき、出力装置102は、「同期信号」を用いて、2台の実行装置101a、101bに、所定の動作を、タイミングを合わせて実行させることができる。例えば、図23(a)に示すように、出力装置102は、音声情報「おはよう」と、音波ID「0x1000(同期情報)」とを含む音波を出力する。
続いて、図23(b)に示すように、出力装置102は、所定のタイミングで、音波ID「0x1001(制御開始)」を出力する。これに応じて、実行装置101a、101bは、音波ID「0x1000(同期情報)」と共に取得した音声情報「おはよう」に対応する音声情報「おはよう!」を出力する。
なお、音波ID「0x1000」と共に出力する音声情報は、1つに限られず、出力装置102は、複数の音声情報を出力し、実行装置101は、音波ID「0x1001」に応じて、複数の音声情報に対応する動作を実行するもの等であっても良い。
「グルーピング」2013は、実行装置101が所属するグループを識別するための識別情報(第2の識別情報)である。
図24は、第5の実施形態に係るグルーピングについて説明するための図である。例えば、図24に示すように、1台の出力装置102から出力される音波に応じて、3台の実行装置101a〜101cが所定の動作を実行するものとする。また、各実行装置101は、グループを登録する機能を有しており、実行装置101a、101bはグループAに所属しているものとする。また、実行装置101cは、グループAとは異なるグループ(例えば、グループC)に所属しているものとする。
図24において、例えば、出力装置102が、音声情報「おはよう」と、音波ID「0x2000(グループA)」とを含む音波を出力する。一方、実行装置101a〜101cは、音波ID「0x2000(グループA)」を含む音波を取得すると、グループAが、自装置が所属するグループであるかを判断する。
実行装置101a〜101cは、グループAが、自装置が所属するグループである場合、音声情報「おはよう」に対応する所定の動作を実行する。図24の例では、グループAに所属する実行装置101a、101bは、取得した音声情報「おはよう」対応する、音声情報「おはよう」を出力する。一方、グループAに所属していない実行装置101cは、取得した音声情報「おはよう」対応する所定の動作を実行しない(所定の動作の実行を中止する)。
「識別コード」2014は、実行装置101を識別するための識別情報(第1の識別情報)、又は出力装置を識別するための識別情報(第3の識別情報)である。
図25は、第5の実施形態に係る識別コードについて説明するための図である。
図25(a)の例では、1台の出力装置102から出力される音波に応じて、3台の実行装置101a〜101cが所定の動作を実行するものとする。また、実行装置101a〜101cは、各実行装置101を識別するための識別コード(登録済識別情報1914の一例)を有している。例えば、実行装置101aは「識別コードA」、実行装置101bは「識別コードB」、実行装置101cは「識別コードB」を有しているものとする。
図25(a)において、例えば、出力装置102が、音声情報「おはよう」と、音波ID「0x3000(識別コードA)」とを含む音波を出力する。一方、実行装置101a〜101cは、音波ID「0x3000(識別コードA)」を含む音波を取得すると、識別コードAが、自装置の識別コードであるかを判断する。
実行装置101a〜101cは、識別コードAが、自装置の識別コードである場合、音声情報「おはよう」に対応する所定の動作を実行する。図24の例では、自装置の識別コードが「識別コードA」である実行装置101aは、取得した音声情報「おはよう」対応する、音声情報「おはよう」を出力する。一方、自装置の識別コードが「識別コードA」ではない実行装置101b、101cは、取得した音声情報「おはよう」対応する所定の動作を実行しない(所定の動作の実行を中止する)。
図25(b)の例では、1台の出力装置102から出力される音波に応じて、3台の実行装置101a〜101cが所定の動作を実行するものとする。また、出力装置102は、出力装置102を識別するための識別コード(識別コードD)を有しているものとする。さらに、各実行装置101は、自装置と対応関係(例えば、友達関係等)が登録された1つ以上の出力装置102の識別コードを含む識別コードリスト(登録済識別情報1914の一例)を有しているものとする。図25(b)の例では、実行装置101a、及び実行装置101cの識別コードリストには、出力装置102の識別コードである「識別コードD」が登録済であるものとする。
図25(b)において、例えば、出力装置102が、音声情報「おはよう」と、音波ID「0x3003(識別コードD)」とを含む音波を出力する。一方、実行装置101a〜101cは、音波ID「0x3003(識別コードD)」を含む音波を取得すると、識別コードDが、自装置の識別コードリストに登録済であるかを判断する。
実行装置101a〜101cは、識別コードDが、自装置の識別コードリストに登録済である場合、音声情報「おはよう」に対応する所定の動作を実行する。例えば、図25(b)の例では、識別コードリストに「識別コードD」が登録済である実行装置101a、及び実行装置101cは、取得した音声情報「おはよう」対応する、音声情報「おはよう」を出力する。一方、識別コードリストに「識別コードD」が登録されていない実行装置101bは、取得した音声情報「おはよう」対応する所定の動作を実行しない(所定の動作の実行を中止する)。
さらに、図25(b)に示す処理において、出力装置102は、音声情報「おはよう」を出力する際に、自装置の識別コードを示す音波IDの後に、送信先の実行装置の識別コードを示す音波IDを付加して出力するものであっても良い。
この場合、各実行装置101は、音声情報「おはよう」と共に取得した2つの識別コードのうち、初めに取得した識別コードを出力装置102の識別コードと認識し、次に取得した識別コードを送信先の識別コードとして認識する。また、各実行装置101は、出力装置102の識別コードが識別コードリストに登録されており、かつ送信先が自装置の識別コードである場合に、音声情報「おはよう」に対応する所定の動作を実行する。
[第6の実施形態]
第5の実施形態では、出力装置102が、音声情報(例えば、「おはよう」)を可聴音領域でそのまま出力するものとして説明を行った。第6の実施形態では、例えば、出力装置102が、聴音領域のノイズレベルが高く、音声認識が難しいと判断した場合に、非可聴音領域を用いて音声情報を出力する場合の例について説明する。
<機能構成>
図26は、第6の実施形態に係る情報処理システムの機能構成図である。
(出力装置の機能構成)
図26に示すように、第6実施形態に係る出力装置102は、図19に示す第5の実施形態に係る出力装置102の機能構成に加えて、周辺ノイズ測定部2601、及び第1の周波数変更部2602を含む。なお、他の機能構成は、図19に示す第5の実施形態に係る出力装置102と同様である。また、出力装置102は、例えば、図3に示す実行装置101のハードウェア構成を有しているものとする。
周辺ノイズ測定部2601は、例えば、図3のマイク部306、音波処理部305、及び図3のCPU301で実行されるプログラム等によって実現され、出力装置102の周辺における可聴音領域のノイズレベルを測定する。
第1の周波数変更部2602は、例えば、音波生成部1923に含まれ、出力装置102が音声情報を出力する前に、周辺ノイズ測定部2601を用いて、出力装置102の周辺のノイズレベルを測定する。また、第1の周波数変更部2602は、周辺ノイズ測定部2601を用いて測定したノイズレベルが、予め設定されたしきい値以上である場合、音声認識処理が困難と判断し、音声情報の周波数を、所定の周波数より高い非可聴音領域にシフトさせる。例えば、第1の周波数変更部2602は、非可聴音領域の搬送波(例えば、18kHzの搬送波)に、音声情報を乗せて(変調して)、音声情報を含む非可聴音を生成する。或いは、第1の周波数変更部2602は、音声情報を音波IDや、文字コード等に変換して、非可聴音を生成するもの等であっても良い。
また、出力制御部1922は、音声情報を出力するときに、周辺ノイズ測定部2601を用いて測定したノイズレベルがしきい値以上である場合、音声情報に、第1の周波数変更部2602が生成した、音声情報に対応する非可聴音を重畳させた音波を出力する。
好ましくは、出力制御部1922は、可聴音領域で音声情報を出力すると共に、非可聴音領域で、音波ID、及び第1の周波数変更部2602が生成した、音声情報に対応する非可聴音を含む音波を、出力装置102に出力させる。
(実行装置の機能構成)
図26に示す第6の実施形態に係る実行装置101は、図19に示す第5の実施形態に係る実行装置101の機能構成に加えて、第2の周波数変更部2603を含む。なお、他の機能構成は、図19に示す第5の実施形態に係る実行装置101と同様である。また、実行装置101は、例えば、図3に示す実行装置101のハードウェア構成を有しているものとする。
第2の周波数変更部2603は、例えば、音波情報取得部512に含まれ、出力装置102が出力する音波に含まれる非可聴音領域の音声情報を、可聴音領域にシフトさせる。これにより、出力装置102の第1の周波数変更部2602で周波数が変更された音声情報を、音声認識部1911で音声認識処理が実行できるように復元させることができる。
<処理の流れ>
続いて、第6の実施形態に係る情報処理方法の流れについて説明する。
(出力装置の処理)
図27は、第6の実施形態に係る出力装置の処理の流れを示すフローチャートである。なお、図27のステップS2101、及びステップS2102〜S2105の処理は、図21に示す第5の実施形態に係る実行装置の処理と同様なので、ここでは、第5の実施形態との相違点を中心に説明を行う。
ステップS2701において、出力装置102の周辺ノイズ測定部2601は、出力装置102の周辺の可聴音領域における音波を解析し、ノイズレベルを測定する。
ステップS2702において、出力装置102の音波生成部1923は、ステップS2701で測定したノイズレベルが、予め定められたしきい値未満であるかを判断する。
ノイズレベルがしきい値未満である場合、音波生成部1923は、処理をステップS2102に移行させる。一方、ノイズレベルがしきい値未満でない場合、すなわち、ノイズレベルがしきい値以上である場合、音波生成部1923は、処理をステップS2703に移行させる。
ステップS2703に移行すると、出力装置102の出力制御部1922は、音声情報生成部1924に、音声情報「おはよう」を生成させる。
ステップS2703に移行すると、出力装置102の出力制御部1922は、第1の周波数変更部2602に、音声情報の周波数を、例えば、+18kHzシフトした音声情報を生成させる。
ステップS2705において、出力装置102の出力制御部1922は、例えば、非可聴音生成部1925を用いて、ステップS2101で決定した音波IDを含む非可聴音を生成させる。
ステップS2706において、出力装置102の出力制御部1922は、例えば、音波生成部1923に、音声情報、周波数をシフトした音声情報、及び非可聴音を含む音波を生成させる。これにより、音波生成部1923は、例えば、ステップS2703で生成した音声情報に、ステップS2704で生成した周波数をシフトした音声情報を重畳させ、ステップS2705で生成した非可聴音を付加した音波を生成する。
(実行装置の処理)
図28は、第6の実施形態に係る実行装置の処理の例を示すフローチャートである。なお、図28のステップS2201〜S2208、及びステップS2209〜S2211に示す処理は、図22に示す第5の実施形態に係る実行装置の処理と同様なので、ここでは、第5の実施形態との相違点を中心に説明を行う。
第6の実施形態に係る出力装置は、図28のステップS2205で音声認識ができないと判断した場合、ステップS2801以降の処理を実行する。
ステップS2801において、実行装置101の第2の周波数変更部2603は、周波数がシフトされた音声情報を、−18kHzシフトし、可聴音を復元する。
ステップS2802において、実行装置101の音声認識部1911は、ステップS1801で復元された可聴音に対して音声認識処理を実行し、音声情報を取得する。
ステップS2803において、実行装置101の実行制御部514は、ステップS2803で、音声認識ができたか(音声情報を取得できたか)を判断する。
音声認識ができた場合、実行制御部514は、処理をステップS2206に移行させる。一方、音声認識ができない場合、実行制御部514は、処理をステップS2209に移行させる。
上記の処理により、本実施形態に係る情報処理システム100では、可聴音領域のノイズレベルが高く、音声認識処理が困難な情報においても、出力装置102から実行装置101に音声情報を通知することができるようになる。
なお、上記の説明では、出力装置102は、周辺のノイズレベルがしきい値以上である場合に、第1の周波数変更部2602により、音声情報の周波数をシフトするものとして説明を行った。ただし、これは一例であり、第1の周波数変更部2602は、周辺のノイズレベルによらずに、音声情報の周波数をシフトする処理を実行するものであっても良い。
また、第5、6の実施形態では、音波IDを非可聴音領域で通知するものとして説明を行ったが、音波IDは、例えば、可聴音領域で通知する音声情報に、電子透かし等の技術を用いて重畳させるものであっても良い。
100 情報処理システム
101 実行装置
102 出力装置(情報提供装置の別の一例)
105 ネットワーク
111 コンテンツ配信サーバ(配信装置)
112 対応情報配信サーバ(情報提供装置)
512 音波情報取得部
513 対応情報取得部
514 実行制御部
515 記憶部
533 出力制御部
542 対応情報管理部(第1の対応情報管理部)
1101 対応情報管理部(第2の対応情報管理部)
1921 出力情報記憶部
1922 出力制御部
1927 出力情報
2012 同期信号(タイミングを制御する情報)
2013 グルーピング(第2の識別情報)
2014 識別コード(第1の識別情報、第3の識別情報)
2602 第1の周波数変更部
2603 第2の周波数変更部
特開2017−033441号公報 特開2015−064580号公報

Claims (20)

  1. 出力装置から出力される音波に応じて所定の動作を実行する実行装置であって、
    前記出力装置から出力される一の音波から、音波に含まれる第1の情報と、前記一の音波とは独立して出力される他の音波から、該音波に含まれる、前記第1の情報に対応する第2の情報とをそれぞれ取得する音波情報取得部と、
    前記第1の情報に対応する対応情報であって、1つ以上の前記第2の情報と、前記第2の情報に対応する前記所定の動作とを対応付ける対応情報を記憶する記憶部と、
    前記音波情報取得部が前記第2の情報を取得したとき、前記音波情報取得部が取得した前記第1の情報に対応する前記対応情報を用いて、前記実行装置に前記第2の情報に対応する前記所定の動作を実行させる実行制御部と、
    を有する、実行装置。
  2. コンテンツを出力する出力装置に前記コンテンツを配信する配信装置と、前記出力装置から出力される前記コンテンツに応じて所定の動作を実行する実行装置とを含む情報処理システムであって、
    前記コンテンツを識別する第1の情報と、前記コンテンツに対応する前記所定の動作を識別する第2の情報とを含む音波を出力する前記コンテンツを前記出力装置に出力させる出力制御部と、
    前記第1の情報を取得した前記実行装置からの要求に応じて、前記第1の情報に対応する対応情報であって、1つ以上の前記第2の情報と、前記第2の情報に対応する前記所定の動作とを対応付ける対応情報を提供する対応情報管理部と、
    を有し、
    前記実行装置は、
    前記出力装置から出力される前記音波に含まれる前記第1の情報と前記第2の情報とを取得する音波情報取得部と、
    前記音波情報取得部が取得した前記第1の情報に対応する前記対応情報を記憶する記憶部と、
    前記音波情報取得部が前記第2の情報を取得したとき、前記音波情報取得部が取得した前記第1の情報に対応する前記対応情報を用いて、前記実行装置に前記第2の情報に対応する前記所定の動作を実行させる実行制御部と、
    を有する、情報処理システム。
  3. 前記実行装置は、前記音波情報取得部が取得した前記第1の情報に対応する前記対応情報が前記記憶部に記憶されていないとき、前記第1の情報に対応する前記対応情報を前記対応情報管理部から取得する対応情報取得部を有する、請求項2に記載の情報処理システム。
  4. 前記実行装置、及び前記配信装置とネットワークを介して接続され、前記対応情報管理部を有する情報提供装置を含む、請求項2又は3に記載の情報処理システム。
  5. 前記出力装置は、
    前記実行装置、及び前記配信装置とネットワークを介して通信する通信部と、
    前記対応情報管理部と、
    を有する、請求項2又は3に記載の情報処理システム。
  6. 前記実行装置、及び前記配信装置とネットワークを介して接続され、前記第1の情報を取得した第1の実行装置に、前記第1の情報に対応する第1の対応情報であって、1つ以上の前記第2の情報と、前記第2の情報に対応する第1の動作とを対応付ける第1の対応情報を提供する第1の対応情報管理部を有する情報提供装置と、
    前記実行装置、及び前記配信装置とネットワークを介して接続され、前記第1の情報を取得した第2の実行装置に、前記第1の情報に対応する第2の対応情報であって、1つ以上の前記第2の情報と、前記第2の情報に対応する第2の動作とを対応付ける第2の対応情報を提供する第2の対応情報管理部を有する前記出力装置と、
    を含む、請求項2又は3に記載の情報処理システム。
  7. 前記第1の情報に対応する対応情報には、前記第2の情報と、前記第2の情報に対応する複数の前記所定の動作とが対応付けて記憶され、
    前記実行制御部は、前記音波情報取得部が前記第2の情報を取得したとき、前記第2の情報に対応する前記複数の所定の動作に含まれる、少なくとも1つの所定の動作を前記実行装置に実行させる、請求項2乃至5のいずれか一項に記載の情報処理システム。
  8. 前記実行装置は、1つ以上の動作モードを有し、
    前記1つ以上の動作モードは、
    前記音波情報取得部が取得した複数の前記第2の情報に対応する前記所定の動作を順次に実行する第1の動作モード、
    前記所定の動作を実行中に、前記音波情報取得部が前記第2の情報を取得した場合、実行中の前記所定の動作を中止して、前記音波情報取得部が取得した前記第2の情報に対応する前記所定の動作を実行する第2の動作モード、又は
    前記所定の動作を実行中に、前記音波情報取得部が前記第2の情報を取得した場合、前記音波情報取得部が取得した前記第2の情報を無視する第3の動作モード、
    を含む、請求項2乃至7のいずれか一項に記載の情報処理システム。
  9. 前記第1の情報に対応する対応情報は、前記第2の情報と、前記第2の情報に対応する前記動作モードとを対応付けて記憶し、
    前記実行制御部は、前記音波情報取得部が前記動作モードに対応する前記第2の情報を受信したとき、受信した前記第2の情報に応じて前記動作モードを切替える、請求項8に記載の情報処理システム。
  10. 音波を出力する出力装置と、前記出力装置から出力される前記音波に応じて所定の動作を実行する実行装置とを含む情報処理システムであって、
    前記実行装置は、
    前記出力装置から出力される一の音波から、該音波に含まれる第1の情報と、前記一の音波とは独立して出力される他の音波から、該音波に含まれる、前記第1の情報に対応する第2の情報とをそれぞれ取得する音波情報取得部と、
    前記第1の情報に対応する対応情報であって、1つ以上の前記第2の情報と、前記第2の情報に対応する前記所定の動作とを対応付ける対応情報を記憶する記憶部と、
    前記音波情報取得部が、前記第1の情報及び前記第2の情報を取得したとき、音波情報取得部が取得した前記第1の情報に対応する前記対応情報を用いて、前記実行装置に前記第2の情報に対応する前記所定の動作を実行させる実行制御部と、
    を有する、情報処理システム。
  11. 前記実行制御部は、前記音波情報取得部が、前記第2の情報を取得し、前記第1の情報を取得できないとき、前記実行装置に前記第2の情報に対応する所定の動作を実行させる、請求項10に記載の情報処理システム。
  12. 前記出力装置は、
    前記第1の情報と、前記第1の情報に対応する1つ以上の前記第2の情報とを対応付ける出力情報を記憶する出力情報記憶部と、
    前記第1の情報を含む前記音波を出力するとき、前記第1の情報に対応する少なくとも1つの前記第2の情報を前記音波に重畳させる出力制御部と、
    を有する請求項10又は11に記載の情報処理システム。
  13. 前記第1の情報は、可聴音領域で所定の情報を表す音声情報であり、
    前記第2の情報は、所定の周波数より周波数が高い非可聴音領域で前記第1の情報とは異なる別の情報を示す識別情報である、請求項10乃至12のいずれか一項に記載の情報処理システム。
  14. 前記第2の情報は、感情に関する情報を示す前記識別情報を含み、
    前記実行制御部は、前記所定の情報を表す音声情報と前記感情に関する情報とに対応する前記所定の動作を前記実行装置に実行させる、請求項13に記載の情報処理システム。
  15. 前記第2の情報は、前記所定の動作を実行するタイミングを制御する情報を示す前記識別情報を含み、
    前記実行制御部は、前記タイミングを制御する情報に応じて、前記実行装置に前記所定の動作を実行させる、請求項13又は14に記載の情報処理システム。
  16. 前記第2の情報は、前記実行装置を識別する第1の識別情報、又は前記実行装置が所属するグループを識別する第2の識別情報を含み、
    前記実行制御部は、前記実行装置に対応する前記第1の識別情報又は前記第2の識別情報に応じて、前記実行装置に前記所定の動作を実行させる、請求項13乃至15のいずれか一項に記載の情報処理システム。
  17. 前記実行装置は、予め登録された前記出力装置を識別する第3の識別情報を前記記憶部に記憶し、
    前記第2の情報は、前記第3の識別情報を含み、
    前記実行制御部は、前記記憶部に記憶された前記第3の識別情報に応じて、前記実行装置に前記所定の動作を実行させる、請求項13乃至16のいずれか一項に記載の情報処理システム。
  18. 前記出力装置は、
    前記出力装置の周辺のノイズレベルを測定する周辺ノイズ測定部と、
    前記周辺ノイズ測定部が測定したノイズレベルがしきい値以上である場合、前記所定の情報を表す音声情報を、非可聴音領域の周波数にシフトさせる第1の周波数変更部と、
    を有し、
    前記実行装置は、前記非可聴音領域の周波数にシフトされた前記音声情報を可聴音領域の周波数にシフトさせる第2の周波数変更部を有する、請求項10乃至17のいずれか一項に記載の情報処理システム。
  19. 出力装置から出力される音波に応じて所定の動作を実行する実行装置を、
    前記出力装置から出力される一の音波から、音波に含まれる第1の情報と、前記一の音波とは独立して出力される他の音波から、該音波に含まれる、前記第1の情報に対応する第2の情報とをそれぞれ取得する音波情報取得部と、
    前記第1の情報に対応する対応情報であって、1つ以上の前記第2の情報と、前記第2の情報に対応する前記所定の動作とを対応付ける対応情報を記憶する記憶部と、
    前記音波情報取得部が前記第2の情報を取得したとき、前記音波情報取得部が取得した前記第1の情報に対応する前記対応情報を用いて、前記実行装置に前記第2の情報に対応する前記所定の動作を実行させる実行制御部と、
    として機能させるためのプログラム。
  20. 出力装置から出力される音波に応じて所定の動作を実行する実行装置が、
    前記出力装置から出力される一の音波から、音波に含まれる第1の情報を取得するステップと、
    前記第1の情報に対応する対応情報であって、1つ以上の第2の情報と、前記第2の情報に対応する前記所定の動作とを対応付ける対応情報を取得するステップと、
    前記一の音波とは独立して出力される他の音波から、音波に含まれる、前記第1の情報に対応する第2の情報を取得するステップと、
    前記第2の情報を取得したとき、前記第1の情報に対応する前記対応情報を用いて、前記実行装置に前記第2の情報に対応する前記所定の動作を実行させるステップと、
    を含む情報処理方法。
JP2017065675A 2017-03-29 2017-03-29 実行装置、情報処理システム、情報処理方法、及びプログラム Active JP6841122B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017065675A JP6841122B2 (ja) 2017-03-29 2017-03-29 実行装置、情報処理システム、情報処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017065675A JP6841122B2 (ja) 2017-03-29 2017-03-29 実行装置、情報処理システム、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2018170602A JP2018170602A (ja) 2018-11-01
JP6841122B2 true JP6841122B2 (ja) 2021-03-10

Family

ID=64018947

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017065675A Active JP6841122B2 (ja) 2017-03-29 2017-03-29 実行装置、情報処理システム、情報処理方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6841122B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7187994B2 (ja) * 2018-11-06 2022-12-13 株式会社リコー 受信装置、プログラム、音波処理システム、及び音波処理方法
JP7363334B2 (ja) 2019-10-10 2023-10-18 株式会社リコー 実行装置、情報処理システム、情報処理方法、及びプログラム
JP7368289B2 (ja) 2020-03-26 2023-10-24 株式会社日立国際電気 無線放送システム
JP7160456B1 (ja) * 2021-05-20 2022-10-25 Necプラットフォームズ株式会社 検査システム、検査方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3273550B2 (ja) * 1997-05-29 2002-04-08 オムロン株式会社 自動応答玩具
JP5157477B2 (ja) * 2008-01-25 2013-03-06 ヤマハ株式会社 報知システム
WO2012093642A1 (ja) * 2011-01-07 2012-07-12 ヤマハ株式会社 情報提供システム、携帯端末装置、サーバおよびプログラム
JP6221202B2 (ja) * 2012-02-03 2017-11-01 ヤマハ株式会社 通信システム
JP6043518B2 (ja) * 2012-06-15 2016-12-14 株式会社バンダイ 玩具体、制御方法、プログラム、及び玩具システム
JP6488721B2 (ja) * 2015-01-23 2019-03-27 株式会社リコー 情報配信システム、情報配信装置及びプログラム

Also Published As

Publication number Publication date
JP2018170602A (ja) 2018-11-01

Similar Documents

Publication Publication Date Title
JP6841122B2 (ja) 実行装置、情報処理システム、情報処理方法、及びプログラム
JP7152866B2 (ja) マルチデバイスシステムにおける音声コマンドの実行
CN106782551B (zh) 一种语音识别系统及方法
JP2019518985A (ja) 分散したマイクロホンからの音声の処理
KR20180115628A (ko) 복수의 지능형 개인 비서 서비스를 위한 관리 계층
CN110390927B (zh) 音频处理方法、装置、电子设备及计算机可读存储介质
KR20180014004A (ko) 가라오케 처리 방법, 장치 및 시스템
WO2016188211A1 (zh) 音频处理方法、装置及系统
WO2013024704A1 (ja) 画像処理装置および方法、並びにプログラム
JP7427408B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
CN110047497B (zh) 背景音频信号滤除方法、装置及存储介质
JP2019101754A (ja) 要約装置及びその制御方法、要約システム、プログラム
WO2019098037A1 (ja) 情報処理端末、情報処理装置、および情報処理方法
US20160294892A1 (en) Storage Medium Storing Program, Server Apparatus, and Method of Controlling Server Apparatus
WO2022042634A1 (zh) 音频数据的处理方法、装置、设备及存储介质
CN110413249B (zh) 远程交互系统
CN109600677A (zh) 数据传输方法及装置、存储介质、电子设备
TW201629952A (zh) 同步節拍特效系統及同步節拍特效處理方法
JP2016063477A (ja) 会議システム、情報処理方法、及びプログラム
JP6051075B2 (ja) 通信障害時にデュエット歌唱を継続可能な通信カラオケシステム
EP4322090A1 (en) Information processing device and information processing method
WO2016061890A1 (zh) 一种资源共享方法、终端、系统及计算机存储介质
JP6897565B2 (ja) 信号処理装置、信号処理方法及びコンピュータプログラム
JP2019152758A (ja) 会議システム、会議システムの制御方法、並びにプログラム
JP2013183280A (ja) 情報処理装置、撮像装置、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210201

R151 Written notification of patent or utility model registration

Ref document number: 6841122

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151