JP6600596B2 - 音声ガイド支援システム及びそのプログラム - Google Patents
音声ガイド支援システム及びそのプログラム Download PDFInfo
- Publication number
- JP6600596B2 JP6600596B2 JP2016080118A JP2016080118A JP6600596B2 JP 6600596 B2 JP6600596 B2 JP 6600596B2 JP 2016080118 A JP2016080118 A JP 2016080118A JP 2016080118 A JP2016080118 A JP 2016080118A JP 6600596 B2 JP6600596 B2 JP 6600596B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- voice
- user terminal
- center server
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Telephonic Communication Services (AREA)
Description
従来の技術において、視覚障がい者や外国人観光客等を音声でガイドするシステムがある。
[関連技術]
尚、関連する先行技術として、特許第4190843号公報「個人ナビゲーションシステム」(NECフィールディングシステム株式会社)[特許文献1]、特開2002−098548号公報「ガイド情報送信装置及び記録媒体」(カシオ計算機株式会社)[特許文献2]がある。
特許文献1には、視覚障がい者等の使用者が、携帯電話機を用いて誘導装置に接続して、出発地から目的地までのルートを検索させ、最適なルートを選択すると、監視装置にルートの地図、施設、交通機関等のデータが送られ、監視装置はGPSや携帯電話機で撮影された画像によって使用者の移動を監視して、自動音声でガイドするシステムが示されている。
特許文献2には、カメラ付きのユーザ端末からの映像を情報ガイドサーバが受信して、情報ガイドサーバはその映像を解析して、ユーザの前方の環境ガイド情報や交通標識や信号等の交通ガイド情報を取得して、各ガイド情報を音声情報としてユーザ端末に送信するガイド情報送信装置が示されている。
しかしながら、従来のガイドを行うシステムでは、画像や位置情報に基づいて音声でガイドするものであるから、ユーザの行動に合わせてきめ細かく適切なガイドを行うのは困難であり、ガイドが不十分であれば、特に視覚障がい者のユーザを危険な状態にしてしまう恐れがあるという問題点があった。
本発明は上記実情に鑑みて為されたもので、ユーザのガイドを行う場合にオペレータの端末に、ユーザ端末からのカメラ撮影画像を表示して、オペレータが状況に応じてユーザと会話でき、ユーザの周囲の人にユーザの手助けを要請する場合には、ユーザの周囲の人向けに音声出力でき、的確で安全なガイドを行うことができる音声ガイド支援システム及びそのプログラムを提供することを目的とする。
上記従来例の問題点を解決するための本発明は、カメラを備えるユーザ端末を装着するユーザをガイドするための音声ガイド支援システムであって、ユーザ端末に対してガイドのための音声データを入力して送信するオペレータ端末と、ユーザ端末からネットワークを介してアクセスがあると、ユーザ端末で撮影されたカメラ撮影画像データをユーザ端末から受信してオペレータ端末に提供するセンタサーバとを有し、オペレータ端末が、センタサーバからのカメラ撮影画像データを受信して表示部に表示し、ユーザ向けの音声入力がある場合には、当該音声入力に対してユーザ向けの信号種別を付与し、ユーザ用音声データとしてユーザ端末宛にセンタサーバを介して送信すると共に、ユーザ周囲の人向けの音声入力がある場合には、当該音声入力に対してユーザ周囲の人向けの信号種別を付与し、外部用音声データとしてユーザ端末宛にセンタサーバを介して送信し、ユーザ端末が、通信部、制御部、音声入出力装置及び音声外部出力部を備え、センタサーバを介して通信部で受信したユーザ用音声データ又は外部用音声データに付与された信号種別により、制御部が、受信したユーザ用音声データを音声入出力装置に音声出力し、受信した外部用音声データを音声外部出力部から外部へ音声出力することを特徴とする。
本発明は、上記音声ガイド支援システムにおいて、センタサーバが、ユーザ端末で撮影された前方及び後方のカメラ撮影画像データをユーザ端末から受信してオペレータ端末に提供するものであり、オペレータ端末が、センタサーバからの前方及び後方のカメラ撮影画像データを受信して表示部に表示することを特徴とする。
本発明は、上記音声ガイド支援システムにおいて、ユーザ端末が、カメラで撮影されたハンドジェスチャーのカメラ撮影画像データが予め設定されたガイドプログラムの開始要求であれば、当該ガイドプログラム開始要求をセンタサーバに送信してアクセスし、センタサーバが、ガイドプログラム開始要求をユーザ端末から受信し、対応するオペレータ端末を呼び出すことを特徴とする。
本発明は、上記音声ガイド支援システムにおいて、センタサーバが、ユーザ端末のカメラで読み取られた2次元コードから得られるアクセス情報を取得し、当該アクセス情報から得られる関連情報をオペレータ端末又は特定のコンピュータに提供することを特徴とする。
本発明は、上記音声ガイド支援システムにおいて、センタサーバが、ユーザ端末のカメラで読み取られた2次元コードから得られるアクセス情報によるアクセスがあると、読み聞かせのための標準音声ファイル以外にユーザが生成したユーザ音声ファイルが記憶されているか判定し、記憶されていなければ、ガイダンスに従ってユーザ音声ファイルを生成して記憶し、ユーザ音声ファイルが記憶されている場合には、当該ユーザ音声ファイルを再生してユーザ端末に出力することを特徴とする。
本発明は、カメラを備えるユーザ端末を装着するユーザをガイドするための音声ガイド支援システムにおけるセンタサーバで実行されるプログラムであって、センタサーバを、ユーザ端末からネットワークを介してアクセスがあると、ユーザ端末で撮影されたカメラ撮影画像データをユーザ端末から受信する受信手段と、カメラ撮影画像データをオペレータ端末に提供する提供手段と、オペレータ端末からユーザ向けの音声入力に対してユーザ向けの信号種別を付与したユーザ用音声データをユーザ端末宛に送信すると共に、ユーザ周囲の人向けの音声入力に対してユーザ周囲の人向けの信号種別を付与した外部用音声データをユーザ端末宛に送信する送信手段として機能させることを特徴とする。
本発明は、上記プログラムにおいて、センタサーバを、ユーザ端末のカメラで読み取られた2次元コードから得られるアクセス情報を取得する取得手段と、当該アクセス情報から得られる関連情報をオペレータ端末又は特定のコンピュータに提供する提供手段として機能させることを特徴とする。
本発明は、カメラを備えるユーザ端末を装着するユーザをガイドするための音声ガイド支援システムにおけるオペレータ端末で実行されるプログラムであって、オペレータ端末を、センタサーバから受信した、ユーザ端末で撮影されたカメラ撮影画像データを表示部に表示する表示手段と、ユーザ向けの音声入力がある場合には、当該音声入力に対してユーザ向けの信号種別を付与し、ユーザ用音声データとしてユーザ端末宛にセンタサーバを介して送信すると共に、ユーザ周囲の人向けの音声入力がある場合には、当該音声入力に対してユーザ周囲の人向けの信号種別を付与し、外部用音声データとしてユーザ端末宛にセンタサーバを介して送信する送信手段として機能させることを特徴とする。
本発明によれば、オペレータ端末が、ユーザ端末に対してガイドのための音声データを入力して送信し、センタサーバが、ユーザ端末からネットワークを介してアクセスがあると、ユーザ端末で撮影されたカメラ撮影画像データをユーザ端末から受信してオペレータ端末に提供し、更に、オペレータ端末が、センタサーバからのカメラ撮影画像データを受信して表示部に表示し、ユーザ向けの音声入力がある場合には、当該音声入力に対してユーザ向けの信号種別を付与し、ユーザ用音声データとしてユーザ端末宛にセンタサーバを介して送信すると共に、ユーザ周囲の人向けの音声入力がある場合には、当該音声入力に対してユーザ周囲の人向けの信号種別を付与し、外部用音声データとしてユーザ端末宛にセンタサーバを介して送信し、ユーザ端末が、通信部、制御部、音声入出力装置及び音声外部出力部を備え、センタサーバを介して通信部で受信したユーザ用音声データ又は外部用音声データに付与された信号種別により、制御部が、受信したユーザ用音声データを音声入出力装置に音声出力し、受信した外部用音声データを音声外部出力部から外部へ音声出力する音声ガイド支援システムとしているので、オペレータが状況に応じてユーザと会話でき、ユーザの周囲の人向けに音声出力でき、的確で安全なガイドを行うことができる効果がある。
[実施の形態の概要]
本発明の実施の形態に係る音声ガイド支援システムは、ユーザ端末からの位置情報とカメラ撮影画像データを受信するセンタサーバが、オペレータ端末にユーザ端末の位置情報、その位置情報を対応した地図情報、事前に撮影した基本画像データ、カメラ撮影画像データを提供し、これら情報等を元にユーザ端末への音声ガイド情報を送信するものであり、オペレータが状況に応じて的確で安全なガイドを行うことができるものである。
尚、ガイドする場所は、テーマパーク、鉄道(駅構内及び車内)、空港、競技場、ショッピングセンター、観光地、市街地等が対象になる。
本発明の実施の形態に係る音声ガイド支援システム(本システム)について図1を参照しながら説明する。図1は、本発明の実施の形態に係る音声ガイド支援システムの概略図である。尚、図1では、一例として、視覚障がい者を対象としてテーマパークをガイドする音声ガイド支援システムに本システムを適用した例である。
本システムは、図1に示すように、ユーザ端末1と、センタサーバ2と、オペレータ端末3とがネットワーク4で接続され、テーマパークで視覚障がい者に音声ガイドを提供するものである。
尚、ユーザ端末1とオペレータ端末3は複数、ネットワーク4に接続するものである。図1では、ネットワーク4にユーザ端末1a,1bが接続し、オペレータ端末3a,3bが接続している。
尚、ネットワーク4は、インターネットを利用するものであるが、専用のネットワークを用いて実現してもよい。
次に、本システム(音声ガイド支援システム)の各構成を具体的に説明する。
[ユーザ端末1]
ユーザ端末1は、カメラ、音声入出力装置(マイクとイヤホン)、GPS(Global Positioning System:全地球測位網)機能、通信機能を備えたウエアラブル端末であり、ユーザの近辺(周囲)の人と会話するための音声外部出力装置(スピーカ)も備え、位置情報、カメラ撮影画像データ、音声情報をセンタサーバ2に送信すると共にセンタサーバ2からの音声情報を受信してユーザに音声出力する。
ユーザ端末1の具体的な構成について図2を参照しながら説明する。図2は、ユーザ端末の概略構成図である。
ユーザ端末1は、図2に示すように、具他的には耳に装着できる小型コンピュータであり、内部構成として、制御部11と、記憶部12と、音声処理部13と、音声入出力装置(音声入出力部)14と、音声外部出力装置(音声外部出力部)15と、GPS部16と、通信部17と、画像入力装置(画像入力部)18と、バッテリー19とを備えている。
尚、ユーザ端末1は、耳に装着する形状であるが、メガネ形状であってもよいし、肩乗せ形状であってもよい。
制御部11は、端末内の処理全般を行うと共に、センタサーバ2との通信を制御する。制御部11での処理の詳細は、後述する。
記憶部12は、制御部11が実行する処理プログラムを記憶する。また、記憶部12は、必要なデータ等を一時的に記憶する。
音声処理部13は、音声入出力部14のマイクからの音声アナログ信号を音声デジタル信号に変換して制御部11に出力し、制御部11からの音声デジタル信号を音声アナログ信号に変換して音声入出力部14のイヤホン又は音声外部出力部15の外部スピーカに出力する。
音声入出力部14は、マイクとイヤホンであり、マイクはユーザの音声及びユーザ近辺の音を入力して音声処理部13に音声アナログ信号を出力し、イヤホンは音声処理部13からの音声アナログ信号を音声としてユーザに出力する。
音声外部出力部15は、外部スピーカであり、音声処理部13からの音声アナログ信号を外部に音声として出力する。音声外部出力部15は、オペレータ端末3を操作するオペレータの音声をユーザ周辺の人に出力するものである。
GPS部16は、GPS機能により位置情報を取得し、制御部11に出力する。また、位置情報を取得するのにGPS機能以外の位置検出手段を利用してもよい。
更に、GPS部16とは別に方位情報を出力する電子磁石も備えている。
通信部17は、センタサーバ2との通信を行うもので、制御部11からのデータを無線送信し、無線受信したデータを制御部11に出力する。
画像入力部18は、動画像を撮影して入力するカメラであり、入力された画像データは制御部11により通信部15からセンタサーバ2に送信される。
バッテリー19は、ユーザ端末1内の各部へ電源スイッチのオンにより電源を供給する。尚、バッテリー19は充電可能である。
ユーザ端末1の装着例について図3を参照しながら説明する。図3は、ユーザ端末の装着例を示す図である。
ユーザ端末1は、図3に示すように、耳に装着するものであり、前方にカメラ(画像入力装置)18が設けられ、その近くにマイク(音声入力部)14aとスピーカ(音声外部出力部)15を備えている。
また、ユーザ端末1は、耳孔にイヤホン(音声出力部)14bが挿入できる構造となっている。
尚、図2に示したユーザ端末1のその他の各構成は、本体内部に収納されている。
図3では、カメラ18は、1台としたが、ユーザの後方に向けた2台目のカメラを備えるようにすれば、ユーザの前方と後方の画像をオペレータが認識でき、より安全なガイドを行うことができる。
ユーザ端末1の電源スイッチがオンされ、センタサーバ2へのアクセスが為されると、ユーザ端末1は、ユーザID(若しくは機器ID)、位置情報等をセンタサーバ2に送信し、更に、カメラ18で撮影した画像データ(カメラ撮影画像データ)及びマイク14aから入力された音声データをセンタサーバ2に送信する。カメラ撮影画像データと音声データの送信は継続して行われる。
ユーザ向けの音声データとユーザ周辺の人向けの外部用音声データには、信号の種別が設定されており、その種別によってイヤホン14b又はスピーカ15のいずれかに出力するかを決定する。
次に、センタサーバ2について図4を参照しながら説明する。図4は、センタサーバの概略構成図である。
センタサーバ2は、データベース(DB)25が接続されている。
DB25には、ユーザ端末1の情報、オペレータ端末3の情報、地図情報、事前撮影の基本画像データが記憶されている。
センタサーバ2は、ユーザ端末1がネットワーク4を介してアクセスすると、対応するオペレータ端末3を呼び出し、データの送受信を行い、DB25からガイドに必要な情報及びデータをオペレータ端末3に提供する。
[制御部21]
制御部21は、DB25にユーザ端末1の情報(ユーザID等)、オペレータ端末3の情報(オペレータID等)を記憶すると共に、ユーザ端末1に対してガイドするオペレータ端末3の対応スケジュール情報も記憶する。
また、制御部21は、DB25に対して該当する地図情報、事前撮影された基本画像データ、ガイドに必要な施設等に関する案内情報も記憶する。
また、制御部21は、受信した位置情報等を基にDB25から該当する地図情報を読み込み、オペレータ端末3に送信すると共に、事前に予約されたルート情報と位置情報等に基づいてカメラで撮影された基本画像データもDB25から読み込み、オペレータ端末3に送信する。基本画像データは、ルート情報、ユーザ端末1の位置情報、ユーザ端末1の方向情報によって特定される。
上記の制御部21の処理動作は、記憶部22に記憶された処理プログラムを制御部21が読み込んで実行するものであり、ユーザ端末1の位置情報、方位情報とユーザ端末1で撮影されたカメラ撮影画像データをユーザ端末1から受信する「受信手段」と、DB25から、ユーザ端末1の位置情報及び方位情報に対応する地図情報と基本画像データ、更に関連情報を読み出す「読出手段」と、ユーザ端末1の位置情報及び方位情報、カメラ撮影画像データ、地図情報、及び基本画像データ、更に関連情報をオペレータ端末3に提供する「提供手段」があって、それら手段をセンタサーバ2で機能させている。
記憶部22には、制御部21を実行される処理プログラムを記憶し、その他必要なデータ等も一時的に記憶する。
インタフェース部23は、センタサーバ2をネットワーク4に接続すると共に、DB25に接続するインタフェース部である。
次に、オペレータ端末3について図5を参照しながら説明する。図5は、オペレータ端末の概略構成図である。
オペレータ端末3は、ガイドを行うオペレータが操作するコンピュータで、表示部にはガイドに必要な情報が表示され、ユーザと対話を行ってガイドし、場合によっては、ユーザの周囲の人と会話して、ユーザを安全で、親切丁寧にガイドできるものである。
[制御部31]
制御部31は、センタサーバ2から受信した地図情報、基本画像データ、ガイド情報を記憶部32に記憶し、表示部36に表示する。
制御部31は、地図情報を表示する際には、ユーザ端末1の位置情報、方位情報も重ねて表示する。
また、制御部31は、音声処理部33からの音声データを、センタサーバ2を経由してユーザ端末1に送信する。
ガイド情報は、地図情報の施設等を指示すると表示されるようリンクさせてもよい。
上記の制御部31の処理動作は、記憶部32に記憶された処理プログラムを制御部31が読み込んで実行するものであり、センタサーバ2から受信したカメラ撮影画像データ、地図情報、及び基本画像データを表示部36に表示する「第1の表示手段」と、センタサーバ2から受信したユーザ端末1の位置情報と方位情報に基づいて地図情報上にユーザの位置と方向を表示する「第2の表示手段」があって、それら手段をオペレータ端末3で機能させている。
記憶部32は、制御部31で実行される処理プログラムを記憶し、センタサーバ2から送信された情報、データを記憶する。
音声処理部33は、制御部31からの音声デジタル信号を音声アナログ信号に変換して音声入出力部34に出力し、音声入出力部34からの音声アナログ信号を音声デジタル信号に変換して制御部31に出力する。
音声入出力部34は、マイクとスピーカであり、マイクから入力された音声アナログ信号が音声処理部33に出力し、音声処理部33からの音声アナログ信号をスピーカから出力する。
インタフェース部35は、オペレータ端末3をネットワーク4に接続し、表示部34と入力部37に接続するインタフェース部である。
表示部36は、ユーザ端末1に対応する地図情報、基本画像データ、カメラ撮影画像データ、ガイド情報を表示する。表示部36での表示画面例は後述する。
入力部37は、ユーザの指示を入力し、インタフェース部35に出力する。
次に、オペレータ端末3の表示部36における表示画面例について図6を参照しながら説明する。図6は、オペレータ端末の表示部の表示画面例を示す概略図である。
図6に示すように、表示部36には、ユーザ端末1の位置情報に基づいて関連する地図情報が表示され、その位置情報とユーザ端末1の方位情報に基づいてDB25から取得された基本画像も表示される。
そして、表示部36には、ユーザ端末1のカメラ18で撮影されたカメラ撮影画像が表示される。
また、表示部36には、ユーザ端末1の位置情報に基づいてガイドに関する関連情報が表示可能である。
これら画像、情報は、画面の異なった領域にそれぞれ表示される。
オペレータの声は、音声入出力部34のマイクから入力され、音声処理部33で音声デジタル信号に変換され、ユーザ端末1に送信され、音声入出力部14のイヤホン14bに出力される。
また、ユーザの声は、音声入出力部14のマイク14aから入力され、音声処理部13で音声デジタル信号に変換され、オペレータ端末3に送信され、音声入出力部34のスピーカに出力される。
このようにして、オペレータとユーザの会話が為される。
ユーザ周囲の人向けの音声を音声入出力部34のマイクに入力する場合、例えば、入力部37の特定キーを押しながら音声を入力することで、当該音声データにはユーザ周囲の人向けの信号種別が付加され、特定キーの押下がなく音声が入力されれば、ユーザ向けの信号種別が付加され、当該信号種別によってユーザ端末1の制御部11で音声データのイヤホン14b又はスピーカ15の出力先が特定される。
次に、オペレータ端末3の表示部36における地図情報の表示例について図7を参照しながら説明する。図7は、地図情報の表示例を示す概略図である。
地図情報は、図7に示すように、地図情報領域に、施設A,B,Cが描画され、それに対するルートが表示される。本システムでは、テーマパークにおける音声ガイドであるため、ユーザは予め案内されるルートを選択することになる。
尚、地図情報内に、東西南北の方角を示す情報を含めると分かりやすい。
本システムにおける全体の処理動作について説明する。
テーマパークのガイドコースの画像を予め撮影して基本画像データとしてDB25に記憶しておく。
ユーザは、ユーザ端末1の電源スイッチをオンにして起動すると、ユーザ端末1は、センタサーバ2にユーザID等を送信してアクセスを行う。
オペレータは、オペレータ端末3の表示部36に表示された情報、画像等を参照しながらユーザに対して音声入出力部34のマイクから音声を入力し、ユーザ端末1に音声データを送信してユーザに対する音声ガイドを行う。
更に、センタサーバ2での処理について図8を参照しながら説明する。図8は、センタサーバの処理を示すフローチャートである。
センタサーバ2の制御部21では、記憶部22の処理プログラムを読み込んで実行可能とし、ユーザ端末1からのアクセスがあると、ログイン処理を行う(S1)。
ログイン処理は、ユーザ端末1からアクセスに伴いユーザID(又は機器ID)を受信するので、そのIDがDB25に登録されているか否かをセンタサーバ2が認証し、登録されていればログインを許可し、登録されていなければログインを不許可とする。
通常、ユーザのガイドに対してオペレータが事前に割り当てられているので、割り当てられたオペレータのオペレータ端末3を呼び出すことになる。尚、事前にオペレータの割り当てがなければ、センタサーバ2がスケジュールに空きのあるオペレータ端末3を呼び出して割り当てるようにしてもよい。
処理S3と並行して、センタサーバ2は、ユーザ端末1の位置情報から該当する地図情報をDB25から読み込み、オペレータ端末3に送信する(S4)。地図情報は、位置情報と方位情報を基に、現在地に対して向かう方向の地図情報を中心に選択して読み込むようにしてもよい。
処理S3と処理S5の後に、ユーザからログオフがあったか否かを判定し(S6)、ログオフであれば(Yesの場合)、処理を終了する。
ログオフでなければ(Noの場合)、ユーザ端末1からの信号断を判断し、信号断であれば(Yesの場合)、処理を終了し、信号断でなければ(Noの場合)、処理S3,S4に戻る。
信号断は、ユーザ端末1の電源スイッチをオフにしたような場合で、ユーザ端末1との通話ができなくなるので、処理を終了させることにしている。
本システムでは、テーマパークにおける視覚障がい者向けの音声ガイドの例を説明したが、これは「見ることを補完」するサービスであり、それ以外に本システムは、「聴くことを補完」するサービス、「話すことを補完」するサービスにも応用できる。尚、サービスによっては、「見る」「聴く」「話す」の複合的なものになることがある。
尚、応用例の各動作は、コンピュータプログラムが実行されて機能実現手段により実現されるものである。
まず、「見ることを補完」するサービスについての応用例を説明する。
[応用例1:鉄道利用者向けサービス]
鉄道会社で利用して、改札を入る時にユーザ端末1を貸し出し、電車に乗って改札を出る時に返却してもらい、ユーザ端末1をユーザが装着している間は、ユーザのホームからの転落防止や、オペレータによって安全な誘導を実現できるものである。尚、オペレータ端末3の表示部36に表示される関連情報は、乗り換え案内、乗り換え時間等の情報となる。このサービスは、視覚障がい者だけでなく、電車の乗り継ぎや、大きな駅での利用に不安を感じる乗客にも適用可能である。オペレータは、鉄道会社が監督する社員等が担当することが考えられる。
また、スポーツ観戦で、観客がユーザ端末1を装着し、そのスポーツに詳しいオペレータや同じチームを応援するオペレータがオペレータ端末3を用いてガイドするようにしてもよい。
その場合に、オペレータは、オペレータ端末3の表示部36に表示される画像データを確認しながらゲーム、試合等を解説し、表示部36に表示される関連情報としての選手情報、相手方チームの情報をユーザに提供するもので、ユーザは、臨場感を持って楽しめる。このガイドのサービスのオペレータは、スポーツ観戦のホーム会場の社員等が担当することが考えられる。
また、市街地の画像情報(ビューデータ)を利用すれば、それを基本画像データとしてオペレータ端末3の表示部36に表示して、視覚障がい者にユーザ端末1を装着し、視覚障がい者に対して市街地での音声ガイドを実現できる。
[応用例4:観光地・美術館等案内サービス]
また、視覚障がい者に限らず、観光地や美術館では、外国人や健常者にユーザ端末1を装着し、外国人や健常者に対しても日本語又は外国語のオペレータによる音声ガイドのサービス提供が可能である。
展示会向けサービスでは、展示会場のブースを訪問するユーザがユーザ端末1を装着し、オペレータがブースの会社情報、製品情報をユーザに提供し、ブースの説明者が外国人である場合には、オペレータが通訳を行うことも可能である。
このサービスは、見ること、聴くこと、話すことを補完するものとなる。
高齢者向けサービスでは、高齢者の外出をサポートするもので、例えば、病院、役所、買い物等で外出する場合に、家族が予め外出ルートをセンタサーバ2に登録しておけば、高齢者の外出ルートをオペレータが音声で案内し、必要に応じてオペレータが高齢者に代わり外部の人と直接会話を行うことがある。
視覚障がいの子供向けサービスでは、視覚障がいの子供がユーザ端末1を装着し、子供が遊んだり、学んだりする場合に、オペレータが音声でサポートするものである。具体的には、子供が触れる物をオペレータが説明し、子供に興味を持たせるようにする。
失読症(ディスレクシア)患者向けサービスでは、患者が読書等で書籍の文字を読む場合に、ユーザ端末1を装着し、画像入力部18で書籍のページを撮影し、オペレータ端末3の表示部36にそのページを表示し、オペレータが読み上げて音声入出力部34から音声を入力し、ユーザ端末1の音声入出力部14に音声出力するものである。
尚、ユーザ端末1で撮影されたページの文字を識別して音声データに変換し、ユーザ端末1に返信する処理をセンタサーバ2の制御部21で行うようにしてもよい。
[応用例9:書籍読み聞かせサービス]
書籍の読み聞かせサービスとしては、子供向けにオペレータがリアルタイムで読み聞かせるもの(第1の読み聞かせ方法)と、予め声優などのプロが読んだ内容を録音データとしてセンタサーバ2の記憶部22に記憶しておき、ユーザからの要求により再生するもの(第2の読み聞かせ方法)と、視覚障がいの母親又はディスクレシアの母親が肉声で読んだ内容を録音データとしてセンタサーバ2の記憶部22に記憶させておき、そのデータを再生するもの(第3の読み聞かせ方法)がある。
また、ユーザ端末1に代えて、スマートフォンを用いて2次元コードを読み取り、センタサーバ2にアクセスして録音ファイルをスマートフォンで再生させてもよい。
視覚障がい者の母親の肉声で子供向け書籍を読み聞かせるサービスは、視覚障がい者の母親がユーザ端末1を装着し、オペレータが子供向け書籍を読むと、母親はオペレータの言葉を反復し、反復した言葉を録音してセンタサーバ2の記憶部22に記憶する。そして、ユーザ端末1を装着した子供から「本を読んで」との要求があると、オペレータが該当する書籍の母親の音声を再生して子供のユーザ端末1に送信し、音声出力する。
次に、第3の読み聞かせ方法を実現するための書籍読み上げ録音・再生処理について図9を参照しながら説明する。図9は、書籍読み上げ録音・再生処理を示すフローチャートである。
当該処理の前提として、センタサーバ2にアクセスして書籍読み上げ録音処理を実行するための2次元コードが書籍に付与されている。
図9に示すように、母親が装着したユーザ端末1の画像入力部18で書籍の2次元コードを読み取ってセンタサーバ2にアクセスが為されると(S11)、センタサーバ2は、記憶部22にユーザ端末1のユーザIDに対応する母親の録音済みの音声ファイル(ユーザ音声ファイル)が存在するか否かを判定し(S12)、音声ファイルが存在しない場合(Noの場合)は、母親の肉声を録音するために予め録音された、当該2次元コードに対応した音声ファイル(標準音声ファイル)を再生して音声出力(書籍の読み上げ)処理を行う(S13)。
次に、書籍の読み上げ処理が終了したか否かを判定し(S15)、終了していなければ(Noの場合)、次の文章の音声出力を行い(S16)、処理S14の音声録音処理に移行する。
編集処理S17は、処理S14で録音された母親の声のデータをつなぎ合わせて一つの音声ファイル(ユーザ音声ファイル)を作成するものである。最終的に編集された音声データを再生して母親に確認してもらい、気に入らない場合には、最初から書籍読み上げ処理を行うようにしてもよい。
作成されたユーザ音声ファイル(母親音声ファイル)は、ユーザ端末1のユーザIDに対応付けられてセンタサーバ2の記憶部22に記憶される。
次に、子供に視覚障がい者の母親の声で書籍を読み聴かせる処理について説明する。
子供は、ユーザ端末1を装着して、ユーザ端末1の画像入力部18で書籍の2次元コードを読み取ってセンタサーバ2にアクセスが為される(図9の処理S11に相当)と、図9の判定処理S12が為される。
書籍読み上げ録音処理が為される前に子供が2次元コードを読み取ると、書籍読み上げ録音処理が開始されることになる(図9の判定処理S12でNoの場合)が、録音ファイルの確認作業がなされなければ、母親音声ファイルは生成されない。
つまり、第2のコードを読み取って母親の音声を録音して母親音声ファイルを生成し、その後は第1のコードを子供が読み取って母親音声ファイルの再生を行う。第1のコードには、点字を付与して視覚障がい者の母親が識別できるようにしておくとよい。
聴覚障がい者に対するサービスとして、図2に示したユーザ端末1の代わりにスマートフォンを利用するものが考えられる。この場合、オペレータ端末3は画像入力部を備え、インタフェース部35に接続している。
オペレータ端末3は、聴覚障がい者の手話又はハンドサインを表示部36に表示して、オペレータが手話又はハンドサインで会話する様子を画像入力部で撮影して、ユーザのスマートフォンにその画像を伝送し、スマートフォンの表示画面に表示する。
このようにして、聴覚障がい者とオペレータとの間で手話等による会話が為される。
この例では、手話又はハンドサインをそれ以外の意思伝達手段を用いてもよい。例えば、文字を用いて実現してもよい。
次に、3Dプリンタを用いた接触物提供サービスについて説明する。3Dプリンタは、ユーザ宅に設置され、ユーザ端末となるコンピュータに接続され、当該コンピュータはネットワークを介してセンタサーバ2に接続されるようになっている。
そして、特定の2次元コードをコンピュータの読取装置で読み取ると、センタサーバ2にアクセスし、当該2次元コードに対応した物(模型、フィギュア)を形成するためのデータ(3Dプリンタ用データ)をダウンロードし、接続する3Dプリンタでそのデータに基づいた物を生成する。
また、3Dプリンタに接続するコンピュータ(特定のコンピュータ)とは別のユーザ端末で2次元コードを読み込み、センタサーバ2にアクセスがあると、センタサーバ2が3Dプリンタ用データを特定のコンピュータにダウンロード可能として提供してもよい。
次に、テーマパーク、駅の構内、美術館、観光地等においてガイド途中に2次元コードを地面又は壁に配置しておき、ユーザ端末1の画像入力部18で読み込み、その2次元コードから得られるアクセス情報をユーザ端末1がセンタサーバ2に送信し、センタサーバ2は、アクセス情報から得られる関連情報をオペレータ端末3に提供するようにしてもよい。
ここで、得られる関連情報としては、詳細な位置情報、お店、交通、お天気などの周辺情報が考えられる。
また、2次元コードは、遠くからでも認識できるように通常のサイズより何倍又は何十倍も大きいサイズで配置することが望ましい。
ユーザ端末1とオペレータ端末3を用いてユーザをガイド中であって、ユーザ端末1の音声入力部14から入力された音をセンタサーバ2の制御部21で解析して認識し、ユーザに知らせるべき音の情報であれば、オペレータ端末3の表示部36に表示し、オペレータからユーザ端末1のユーザに通知するようにしてもよい。
ユーザ端末としてスマートフォンを利用する場合に、オペレータからスマートフォンに連絡があった場合に、微弱電波でメガネに取り付けられたLED(Light Emitting Diode)を点滅させて、通知するようにしてもよい。
当該メガネは、メガネの一部にLED、微弱電波受信部とバッテリーを備えた構成であり、微弱電波を受信すると、LEDを点滅させる動作を行うものである。
上記応用例の中で様々なガイドを利用できるようにするための仕組みとして、ユーザは本サービスにアクセスすると、総合オペレータに接続して、ガイド予約を行うようにするとよい。
ガイド予約には、ガイド日時、地域、場所、ルート、言語、希望のオペレータの性別等を予め登録しておく。
本システムによれば、予め施設又は構内の基本画像を撮影してDB25に基本画像データを記憶しておき、ユーザのガイドを行う場合にオペレータ端末3に、ユーザ端末1からのカメラ撮影画像データと、位置情報等を利用した地図情報と、位置情報等に対応する基本画像データとを表示して、ユーザ端末1へ音声ガイド情報を提供するようにしているので、オペレータが状況に応じて的確で安全なガイドを行うことができる効果がある。
Claims (8)
- カメラを備えるユーザ端末を装着するユーザをガイドするための音声ガイド支援システムであって、
前記ユーザ端末に対してガイドのための音声データを入力して送信するオペレータ端末と、
前記ユーザ端末からネットワークを介してアクセスがあると、前記ユーザ端末で撮影されたカメラ撮影画像データを前記ユーザ端末から受信して前記オペレータ端末に提供するセンタサーバとを有し、
前記オペレータ端末は、前記センタサーバからの前記カメラ撮影画像データを受信して表示部に表示し、前記ユーザ向けの音声入力がある場合には、当該音声入力に対して前記ユーザ向けの信号種別を付与し、ユーザ用音声データとして前記ユーザ端末宛に前記センタサーバを介して送信すると共に、前記ユーザ周囲の人向けの音声入力がある場合には、当該音声入力に対して前記ユーザ周囲の人向けの信号種別を付与し、外部用音声データとして前記ユーザ端末宛に前記センタサーバを介して送信し、
前記ユーザ端末は、通信部、制御部、音声入出力装置及び音声外部出力部を備え、前記センタサーバを介して前記通信部で受信した前記ユーザ用音声データ又は前記外部用音声データに付与された信号種別により、前記制御部が、受信した前記ユーザ用音声データを前記音声入出力装置に音声出力し、受信した前記外部用音声データを前記音声外部出力部から外部へ音声出力することを特徴とする音声ガイド支援システム。 - センタサーバは、ユーザ端末で撮影された前方及び後方のカメラ撮影画像データを前記ユーザ端末から受信してオペレータ端末に提供するものであり、
前記オペレータ端末は、前記センタサーバからの前記前方及び後方のカメラ撮影画像データを受信して表示部に表示することを特徴とする請求項1記載の音声ガイド支援システム。 - ユーザ端末は、カメラで撮影されたハンドジェスチャーのカメラ撮影画像データが予め設定されたガイドプログラムの開始要求であれば、当該ガイドプログラム開始要求をセンタサーバに送信してアクセスし、
前記センタサーバは、前記ガイドプログラム開始要求を前記ユーザ端末から受信し、対応するオペレータ端末を呼び出すことを特徴とする請求項1又は2記載の音声ガイド支援システム。 - センタサーバは、ユーザ端末のカメラで読み取られた2次元コードから得られるアクセス情報を取得し、当該アクセス情報から得られる関連情報をオペレータ端末又は特定のコンピュータに提供することを特徴とする請求項1乃至3のいずれか記載の音声ガイド支援システム。
- センタサーバは、ユーザ端末のカメラで読み取られた2次元コードから得られるアクセス情報によるアクセスがあると、読み聞かせのための標準音声ファイル以外にユーザが生成したユーザ音声ファイルが記憶されているか判定し、記憶されていなければ、ガイダンスに従ってユーザ音声ファイルを生成して記憶し、前記ユーザ音声ファイルが記憶されている場合には、当該ユーザ音声ファイルを再生して前記ユーザ端末に出力することを特徴とする請求項1乃至4のいずれか記載の音声ガイド支援システム。
- カメラを備えるユーザ端末を装着するユーザをガイドするための音声ガイド支援システムにおけるセンタサーバで実行されるプログラムであって、
前記センタサーバを、
前記ユーザ端末からネットワークを介してアクセスがあると、前記ユーザ端末で撮影されたカメラ撮影画像データを前記ユーザ端末から受信する受信手段と、
前記カメラ撮影画像データをオペレータ端末に提供する提供手段と、
前記オペレータ端末から前記ユーザ向けの音声入力に対して前記ユーザ向けの信号種別を付与したユーザ用音声データを前記ユーザ端末宛に送信すると共に、前記ユーザ周囲の人向けの音声入力に対して前記ユーザ周囲の人向けの信号種別を付与した外部用音声データを前記ユーザ端末宛に送信する送信手段として機能させることを特徴とするプログラム。 - センタサーバを、
ユーザ端末のカメラで読み取られた2次元コードから得られるアクセス情報を取得する取得手段と、
当該アクセス情報から得られる関連情報をオペレータ端末又は特定のコンピュータに提供する提供手段として機能させることを特徴とする請求項6記載のプログラム。 - カメラを備えるユーザ端末を装着するユーザをガイドするための音声ガイド支援システムにおけるオペレータ端末で実行されるプログラムであって、
前記オペレータ端末を、
センタサーバから受信した、前記ユーザ端末で撮影されたカメラ撮影画像データを表示部に表示する表示手段と、
前記ユーザ向けの音声入力がある場合には、当該音声入力に対して前記ユーザ向けの信号種別を付与し、ユーザ用音声データとして前記ユーザ端末宛に前記センタサーバを介して送信すると共に、前記ユーザ周囲の人向けの音声入力がある場合には、当該音声入力に対して前記ユーザ周囲の人向けの信号種別を付与し、外部用音声データとして前記ユーザ端末宛に前記センタサーバを介して送信する送信手段として機能させることを特徴とするプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014095752 | 2014-05-07 | ||
JP2014095752 | 2014-05-07 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015093097A Division JP5928930B2 (ja) | 2014-05-07 | 2015-04-30 | 音声ガイド支援システム及びそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016183968A JP2016183968A (ja) | 2016-10-20 |
JP6600596B2 true JP6600596B2 (ja) | 2019-10-30 |
Family
ID=54885406
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015093097A Active JP5928930B2 (ja) | 2014-05-07 | 2015-04-30 | 音声ガイド支援システム及びそのプログラム |
JP2016080118A Active JP6600596B2 (ja) | 2014-05-07 | 2016-04-13 | 音声ガイド支援システム及びそのプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015093097A Active JP5928930B2 (ja) | 2014-05-07 | 2015-04-30 | 音声ガイド支援システム及びそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP5928930B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6519463B2 (ja) * | 2015-12-22 | 2019-05-29 | 東芝三菱電機産業システム株式会社 | 指向性音声案内装置 |
JP6773316B2 (ja) * | 2016-08-16 | 2020-10-21 | Necソリューションイノベータ株式会社 | 案内支援装置、案内支援方法、及びプログラム |
JP6372728B1 (ja) * | 2017-03-28 | 2018-08-15 | 株式会社新興グランド社 | 凸部付き二次元コード及びその作成方法 |
JP2020076683A (ja) * | 2018-11-09 | 2020-05-21 | トヨタ自動車株式会社 | 移動体および遠隔ガイドシステム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11253481A (ja) * | 1998-03-11 | 1999-09-21 | Mitsubishi Electric Corp | 視覚障害者誘導装置 |
JP2001023090A (ja) * | 1999-07-02 | 2001-01-26 | Nec Corp | 車両救援システム |
JP2001221649A (ja) * | 2000-02-07 | 2001-08-17 | Mitsubishi Electric Corp | 歩行者誘導システム |
JP2002195850A (ja) * | 2000-12-25 | 2002-07-10 | Sony Corp | 誘導システム、誘導方法及び情報通信端末 |
JP3603118B2 (ja) * | 2001-06-08 | 2004-12-22 | 東京大学長 | 擬似3次元空間表現システム、擬似3次元空間構築システム、ゲームシステム、及び電子地図提供システム |
JP2004078738A (ja) * | 2002-08-21 | 2004-03-11 | Hitachi Electronics Service Co Ltd | 視覚障害者用サポート方法及びサポートシステム、携帯端末 |
JP4581696B2 (ja) * | 2005-01-17 | 2010-11-17 | 株式会社デンソーウェーブ | 位置情報提供システム |
JP2006333114A (ja) * | 2005-05-26 | 2006-12-07 | Yamaha Corp | 警報システムおよびそのための携帯端末装置、基地局、サーバ装置およびプログラム |
JP4611400B2 (ja) * | 2008-04-21 | 2011-01-12 | 株式会社エヌ・ティ・ティ・ドコモ | ナビゲーション支援装置 |
JP2010060712A (ja) * | 2008-09-02 | 2010-03-18 | Asia Air Survey Co Ltd | 案内点案内情報提供システム |
JP5489118B2 (ja) * | 2010-01-28 | 2014-05-14 | 健治 吉田 | 入出力装置、情報入出力システム |
JP5766957B2 (ja) * | 2011-01-14 | 2015-08-19 | オリンパス株式会社 | ジェスチャ入力装置 |
-
2015
- 2015-04-30 JP JP2015093097A patent/JP5928930B2/ja active Active
-
2016
- 2016-04-13 JP JP2016080118A patent/JP6600596B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016183968A (ja) | 2016-10-20 |
JP5928930B2 (ja) | 2016-06-01 |
JP2015227869A (ja) | 2015-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220337693A1 (en) | Audio/Video Wearable Computer System with Integrated Projector | |
JP6600596B2 (ja) | 音声ガイド支援システム及びそのプログラム | |
US20150237300A1 (en) | On Demand Experience Sharing for Wearable Computing Devices | |
CN104509089A (zh) | 信息处理设备、信息处理方法以及程序 | |
US10417925B2 (en) | Guided tour audio communication systems having optical reader programming | |
WO2008016083A1 (fr) | Dispositif et système de présentation d'informations en superposition | |
WO2015178070A1 (ja) | 情報処理システム、記憶媒体及び情報処理方法 | |
WO2018180024A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2018075523A1 (en) | Audio/video wearable computer system with integrated projector | |
JP4218637B2 (ja) | 情報端末装置 | |
Ellis et al. | Reimagining Australia via disability and media: Representation, access and digital integration | |
KR100762414B1 (ko) | 통신 네트워크를 이용한 실시간 동영상 서비스 시스템 및그 방법 | |
JP2016048301A (ja) | 電子機器 | |
CN111611812A (zh) | 翻译成盲文 | |
KR20180101974A (ko) | 실감형 여행 가이드정보 제공 및 스토리 북 생성 장치 | |
KR101856974B1 (ko) | 야외에서 개인방송시 시청자와 크리에이터 간의 소통이 원활하게 이루어지도록 하는 개인방송 어플리케이션이 설치된 스마트단말 | |
JP2019212205A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
KR20180097040A (ko) | 로봇 및 그 동작 방법 | |
JP6559096B2 (ja) | 情報出力システム及び情報出力方法 | |
KR20220034735A (ko) | 정보 처리 시스템, 정보 처리 방법 및 기록 매체 | |
JP2006253894A (ja) | 通訳システム、通訳方法、移動通信端末およびサーバ装置 | |
JP7033729B2 (ja) | ガイド支援システム及びガイド支援方法 | |
JP7093396B2 (ja) | 情報処理端末および自動応答方法 | |
US10887552B1 (en) | Door-knocking for teleconferencing | |
KR20180122802A (ko) | 에이전트를 통한 대리체험 시스템 및 이를 이용한 대리체험 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191001 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191007 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6600596 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |