JP5928930B2 - Voice guide support system and program thereof - Google Patents
Voice guide support system and program thereof Download PDFInfo
- Publication number
- JP5928930B2 JP5928930B2 JP2015093097A JP2015093097A JP5928930B2 JP 5928930 B2 JP5928930 B2 JP 5928930B2 JP 2015093097 A JP2015093097 A JP 2015093097A JP 2015093097 A JP2015093097 A JP 2015093097A JP 5928930 B2 JP5928930 B2 JP 5928930B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- user terminal
- voice
- information
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Telephonic Communication Services (AREA)
Description
本発明は、視覚障がい者や外国人観光客等を音声でガイドするオペレータを支援するシステムに係り、特に、オペレータが状況に応じて的確で安全なガイドを行うことができる音声ガイド支援システム及びそのプログラムに関する。 The present invention relates to a system for supporting an operator who guides a visually impaired person, a foreign tourist or the like by voice, and in particular, a voice guide support system that enables an operator to perform an accurate and safe guide according to the situation and the system Regarding the program.
[従来の技術]
従来の技術において、視覚障がい者や外国人観光客等を音声でガイドするシステムがある。
[関連技術]
尚、関連する先行技術として、特許第4190843号公報「個人ナビゲーションシステム」(NECフィールディングシステム株式会社)[特許文献1]、特開2002−098548号公報「ガイド情報送信装置及び記録媒体」(カシオ計算機株式会社)[特許文献2]がある。
[Conventional technology]
In the prior art, there is a system that guides visually impaired people, foreign tourists, and the like by voice.
[Related technologies]
As related prior art, Japanese Patent No. 4190843 “Individual Navigation System” (NEC Fielding System Co., Ltd.) [Patent Literature 1], Japanese Patent Laid-Open No. 2002-098548 “Guide Information Transmitting Device and Recording Medium” (Casio Computer) Ltd.) [Patent Document 2].
[特許文献1:特許第4190843号公報]
特許文献1には、視覚障がい者等の使用者が、携帯電話機を用いて誘導装置に接続して、出発地から目的地までのルートを検索させ、最適なルートを選択すると、監視装置にルートの地図、施設、交通機関等のデータが送られ、監視装置はGPSや携帯電話機で撮影された画像によって使用者の移動を監視して、自動音声でガイドするシステムが示されている。
[Patent Document 1: Japanese Patent No. 4190843]
In
[特許文献2:特開2002−098548号公報]
特許文献2には、カメラ付きのユーザ端末からの映像を情報ガイドサーバが受信して、情報ガイドサーバはその映像を解析して、ユーザの前方の環境ガイド情報や交通標識や信号等の交通ガイド情報を取得して、各ガイド情報を音声情報としてユーザ端末に送信するガイド情報送信装置が示されている。
[Patent Document 2: JP 2002-098548 A]
In
[従来技術に対する問題点]
しかしながら、従来のガイドを行うシステムでは、画像や位置情報に基づいて音声でガイドするものであるから、ユーザの行動に合わせてきめ細かく適切なガイドを行うのは困難であり、ガイドが不十分であれば、特に視覚障がい者のユーザを危険な状態にしてしまう恐れがあるという問題点があった。
[Problems with conventional technology]
However, since the conventional guidance system guides by voice based on the image and position information, it is difficult to provide a detailed and appropriate guide according to the user's behavior, and the guide is insufficient. In particular, there is a problem in that the visually impaired user may be in a dangerous state.
[発明の目的]
本発明は上記実情に鑑みて為されたもので、予め施設又は構内の基本画像を撮影しておき、ユーザのガイドを行う場合にオペレータの端末に、ユーザ端末からのカメラ撮影画像と、位置情報を利用した地図情報と、カメラ撮影画像に対応する基本画像とを表示して、オペレータが状況に応じて的確で安全なガイドを行うことができる音声ガイド支援システム及びそのプログラムを提供することを目的とする。
[Object of invention]
The present invention has been made in view of the above circumstances, and when a basic image of a facility or premises is taken in advance and a user's guide is provided, a camera-captured image from a user terminal and position information are provided on an operator's terminal. To provide a voice guide support system and a program for displaying a map information using an image and a basic image corresponding to a camera-captured image so that an operator can perform an accurate and safe guide according to the situation. And
(カメラ撮影画像と基本画像、地図情報でガイドするシステム)
上記従来例の問題点を解決するための本発明は、カメラを備えるユーザ端末を装着するユーザをガイドするための音声ガイド支援システムであって、地図情報と、予め撮影された基本画像データとを記憶するデータベースと、ユーザ端末に対してガイドのための音声データを入力して送信するオペレータ端末と、ユーザ端末からネットワークを介してアクセスがあると、ユーザ端末の位置情報とユーザ端末で撮影されたカメラ撮影画像データをユーザ端末から受信してオペレータ端末に提供すると共に、ユーザ端末の位置情報に対応する地図情報と基本画像データをデータベースから読み出してオペレータ端末に提供するセンタサーバとを有し、オペレータ端末は、センタサーバからの地図情報、基本画像データ、カメラ撮影画像データを受信して表示部に表示し、ユーザ向けの音声入力がある場合には、当該音声入力に対してユーザ向けの信号種別を付与し、ユーザ用音声データとしてユーザ端末宛にセンタサーバを介して送信すると共に、ユーザ周囲の人向けの音声入力がある場合には、当該音声入力に対してユーザ周囲の人向けの信号種別を付与し、外部用音声データとしてユーザ端末宛にセンタサーバを介して送信し、ユーザ端末は、音声入出力装置と音声外部出力部を備え、受信したユーザ用音声データを音声入出力装置に音声出力し、受信した外部用音声データを音声外部出力部から外部へ音声出力することを特徴とする。
(Guide system with camera image and basic image, map information)
The present invention for solving the problems of the above conventional example is an audio guide support system for guiding a user wearing a user terminal equipped with a camera, and includes map information and basic image data taken in advance. A database to be stored, an operator terminal that inputs and transmits voice data for guidance to the user terminal, and when the user terminal is accessed via the network, the location information of the user terminal and the user terminal are taken. The camera image data is received from the user terminal and provided to the operator terminal, and the map information corresponding to the position information of the user terminal and the center server that reads the basic image data from the database and provides the operator terminal are provided. The terminal receives map information, basic image data, and camera-captured image data from the center server. Displayed on the display unit and, if there is speech input for the user, and grant signal type for the user with respect to the speech input, it sends via the center server to the addressed user terminal as the audio data for the user At the same time, when there is a voice input for people around the user, a signal type for the people around the user is assigned to the voice input and transmitted as voice data for external use to the user terminal via the center server. The user terminal includes a voice input / output device and a voice external output unit, outputs the received voice data for user to the voice input / output device, and outputs the received external voice data to the outside from the voice external output unit. It is characterized by that.
(方位情報も利用)
本発明は、上記音声ガイド支援システムにおいて、センタサーバが、ユーザ端末の位置情報に加えてユーザ端末の方位情報に基づいて対応する地図情報と基本画像データをデータベースから読み出してオペレータ端末に提供するようにしたことを特徴とする。
(Also use direction information)
The present invention, in the voice guidance support system, the center server is provided to read out the map information and the basic image data from a database corresponding based on the orientation information of the user terminal in addition to location information of the user terminal to the operator terminal It was made to do.
(地図情報上にユーザの位置を表示)
本発明は、上記音声ガイド支援システムにおいて、オペレータ端末が、表示部に表示した地図情報上にユーザ端末の位置情報に基づいてユーザの位置を表示することを特徴とする。
(Displays user position on map information)
The present invention is characterized in that, in the voice guidance support system, the operator terminal displays the position of the user based on the position information of the user terminal on the map information displayed on the display unit.
(地図情報上にユーザの方向を表示)
本発明は、上記音声ガイド支援システムにおいて、オペレータ端末が、表示部に表示した地図情報上にユーザ端末の方位情報に基づいてユーザの方向を表示することを特徴とする。
(Displays user direction on map information)
The present invention is characterized in that, in the voice guidance support system, the operator terminal displays the direction of the user based on the orientation information of the user terminal on the map information displayed on the display unit.
(関連情報も表示)
本発明は、上記音声ガイド支援システムにおいて、データベースには、ガイドに関連する施設の関連情報を記憶しており、センタサーバが、ユーザ端末の位置情報に対応する関連情報をデータベースから読み出し、オペレータ端末に提供するものであり、オペレータ端末が、センタサーバからの地図情報、基本画像データ、カメラ撮影画像データに加えて関連情報も表示部に表示することを特徴とする。
(Related information is also displayed)
The present invention, in the voice guidance support system, the database stores the relevant information of the facilities related to the guide retrieve related information center server, corresponding to the position information of the user terminal from the database, the operator The information is provided to the terminal, and the operator terminal displays related information in addition to the map information, basic image data, and camera-captured image data from the center server.
(前後の撮影画像に対応)
本発明は、上記音声ガイド支援システムにおいて、センタサーバが、ユーザ端末で撮影された前方及び後方のカメラ撮影画像データをユーザ端末から受信してオペレータ端末に提供するものであり、オペレータ端末が、センタサーバからの前方及び後方のカメラ撮影画像データを受信して表示部に表示することを特徴とする。
(ハンドジェスチャー対応)
また、本発明は、上記音声ガイド支援システムにおいて、ユーザ端末が、カメラで撮影されたハンドジェスチャーのカメラ撮影画像データが予め設定されたガイドプログラムの開始要求であれば、当該ガイドプログラム開始要求をセンタサーバに送信してアクセスし、センタサーバが、ガイドプログラム開始要求をユーザ端末から受信し、対応するオペレータ端末を呼び出すことを特徴とする。
(Corresponding images taken before and after)
According to the present invention, in the voice guidance support system, the center server receives the front and rear camera image data captured by the user terminal from the user terminal and provides the data to the operator terminal. The camera-captured image data from the front and rear from the server is received and displayed on the display unit .
(Hand gesture support)
Further, according to the present invention, in the voice guidance support system, if the user terminal is a start request for a guide program in which camera-captured image data of a hand gesture photographed by a camera is set in advance, the guide program start request is centered. A center server receives a guide program start request from a user terminal and calls a corresponding operator terminal.
(2次元コードで得られた情報をオペレータ端末等に出力)
本発明は、上記音声ガイド支援システムにおいて、センタサーバが、ユーザ端末のカメラで読み取られた2次元コードから得られるアクセス情報を取得し、当該アクセス情報から得られる関連情報をオペレータ端末又は特定のコンピュータに提供することを特徴とする。
(Output the information obtained by the two-dimensional code to the operator terminal etc.)
According to the present invention, in the voice guidance support system, the center server acquires access information obtained from a two-dimensional code read by a camera of a user terminal, and related information obtained from the access information is obtained as an operator terminal or a specific computer. It is characterized by providing to.
(ユーザ音声ファイルの生成と再生)
本発明は、上記音声ガイド支援システムにおいて、センタサーバが、ユーザ端末のカメラで読み取られた2次元コードから得られるアクセス情報によるアクセスがあると、読み聞かせのための標準音声ファイル以外にユーザが生成したユーザ音声ファイルが記憶されているか判定し、記憶されていなければ、ガイダンスに従ってユーザ音声ファイルを生成して記憶し、ユーザ音声ファイルが記憶されている場合には、当該ユーザ音声ファイルを再生してユーザ端末に出力することを特徴とする。
(Generation and playback of user audio files)
According to the present invention, in the voice guidance support system, when the center server is accessed by access information obtained from the two-dimensional code read by the camera of the user terminal, the user generates a file other than the standard voice file for reading. If the user voice file is stored, the user voice file is generated and stored according to the guidance. If the user voice file is stored, the user voice file is reproduced. It outputs to a user terminal, It is characterized by the above-mentioned.
(センタサーバの処理プログラム)
本発明は、カメラを備えるユーザ端末を装着するユーザをガイドするための音声ガイド支援システムにおけるセンタサーバで実行されるプログラムであって、センタサーバを、ユーザ端末からネットワークを介してアクセスがあると、ユーザ端末の位置情報、方位情報とユーザ端末で撮影されたカメラ撮影画像データをユーザ端末から受信する受信手段と、地図情報と、予め撮影された基本画像データとを記憶するデータベースから、ユーザ端末の位置情報及び方位情報に対応する地図情報と基本画像データを読み出す読出手段と、ユーザ端末の位置情報及び方位情報、カメラ撮影画像データ、地図情報、及び基本画像データをオペレータ端末に提供する提供手段と、オペレータ端末からユーザ向けの音声入力に対してユーザ向けの信号種別を付与したユーザ用音声データをユーザ端末宛に送信すると共に、ユーザ周囲の人向けの音声入力に対してユーザ周囲の人向けの信号種別を付与した外部用音声データをユーザ端末宛に送信する送信手段として機能させることを特徴とする。
(Center server processing program)
The present invention is a program executed by a center server in a voice guidance support system for guiding a user wearing a user terminal equipped with a camera, and when the center server is accessed from a user terminal via a network, From the database that stores the location information, the orientation information of the user terminal and the camera-captured image data captured by the user terminal from the user terminal, the map information, and the basic image data captured in advance, the user terminal reading means for reading the map information and the basic image data corresponding to the position information and orientation information, and providing means for providing position information and orientation information of the user terminal, the camera captured image data, map information, and the basic image data to an operator terminal , Signal type for user in response to voice input for user from operator terminal Sends impart the audio data for the user addressed user terminal, transmitting means for transmitting the external audio data assigned with signal type of the user around the human-friendly for voice input for surrounding the user person addressed user terminal It is made to function as.
(センタサーバの関連情報提供のプログラム)
本発明は、上記プログラムにおいて、センタサーバを、ガイドに関連する施設等の関連情報を記憶するデータベースからユーザ端末の位置情報及び方位情報に対応する関連情報を読み出す読出手段と、関連情報をオペレータ端末に提供する提供手段として機能させることを特徴とする。
(Center server related information provision program)
According to the present invention, in the above program, the center server reads out the related information corresponding to the position information and the direction information of the user terminal from the database storing the related information such as the facility related to the guide, and the related information is transferred to the operator terminal. It is made to function as a providing means to provide to.
(2次元コードで得られた情報をオペレータ端末に出力するプログラム)
本発明は、上記プログラムにおいて、センタサーバを、ユーザ端末のカメラで読み取られた2次元コードから得られるアクセス情報を取得する取得手段と、当該アクセス情報から得られる関連情報をオペレータ端末又は特定のコンピュータに提供する提供手段として機能させることを特徴とする。
(Program that outputs information obtained by two-dimensional code to operator terminal)
According to the present invention, in the above program, the center server obtains the access information obtained from the two-dimensional code read by the camera of the user terminal, and the related information obtained from the access information as an operator terminal or a specific computer It is made to function as a providing means to provide to.
(オペレータ端末の処理プログラム)
本発明は、カメラを備えるユーザ端末を装着するユーザをガイドするための音声ガイド支援システムにおけるオペレータ端末で実行されるプログラムであって、オペレータ端末を、センタサーバから受信した、ユーザ端末で撮影されたカメラ撮影画像データ、ユーザ端末の位置情報に対応する地図情報、及び予め撮影された基本画像データを表示部に表示する第1の表示手段と、センタサーバから受信したユーザ端末の位置情報と方位情報に基づいて地図情報上にユーザの位置と方向を表示する第2の表示手段と、ユーザ向けの音声入力がある場合には、当該音声入力に対してユーザ向けの信号種別を付与し、ユーザ用音声データとしてユーザ端末宛にセンタサーバを介して送信すると共に、ユーザ周囲の人向けの音声入力がある場合には、当該音声入力に対してユーザ周囲の人向けの信号種別を付与し、外部用音声データとしてユーザ端末宛にセンタサーバを介して送信する送信手段として機能させることを特徴とする。
(Operator terminal processing program)
The present invention provides a program executed by the operator terminal in voice guidance support system for guiding a user to attach the user terminal with a camera, the operator terminal, received from the center server, taken with the user terminal camera shot image data, the map information corresponding to the position information of the user terminal, and a first display means for displaying the pre-captured the basic image data to the display unit, position information and the orientation of the user terminal that has received from the center server has If there is a second display means for displaying the position and direction of the user on the map information based on the information and a voice input for the user, a signal type for the user is assigned to the voice input, and the user When sending voice data for the user terminal to the user terminal via the center server and there is voice input for people around the user, Grant signal type for surrounding the user person against the voice input, characterized in that to function as transmission means for transmitting via the center server to the addressed user terminal as the external audio data.
(カメラ撮影画像と基本画像、地図情報でガイドするシステムの効果)
本発明によれば、データベースが、地図情報と、予め撮影された基本画像データとを記憶し、オペレータ端末が、ユーザ端末に対してガイドのための音声データを入力して送信し、センタサーバが、ユーザ端末からネットワークを介してアクセスがあると、ユーザ端末の位置情報とユーザ端末で撮影されたカメラ撮影画像データをユーザ端末から受信してオペレータ端末に提供すると共に、ユーザ端末の位置情報に対応する地図情報と基本画像データをデータベースから読み出してオペレータ端末に提供し、更に、オペレータ端末が、センタサーバからの地図情報、基本画像データ、カメラ撮影画像データを受信して表示部に表示し、ユーザ向けの音声入力がある場合には、当該音声入力に対してユーザ向けの信号種別を付与し、ユーザ用音声データとしてユーザ端末宛にセンタサーバを介して送信すると共に、ユーザ周囲の人向けの音声入力がある場合には、当該音声入力に対してユーザ周囲の人向けの信号種別を付与し、外部用音声データとしてユーザ端末宛にセンタサーバを介して送信し、ユーザ端末は、音声入出力装置と音声外部出力部を備え、受信したユーザ用音声データを音声入出力装置に音声出力し、受信した外部用音声データを音声外部出力部から外部へ音声出力する音声ガイド支援システムとしているので、オペレータが状況に応じてユーザと会話でき、ユーザの周囲の人にユーザの手助けを要請する場合には、ユーザの周囲の人向けに音声出力できるものであり、的確で安全なガイドを行うことができる効果がある。
(Effect of the system that guides with the camera image and basic image, map information)
According to the present invention, the database stores map information and pre-captured basic image data, the operator terminal inputs and transmits voice data for guidance to the user terminal, and the center server When there is an access from the user terminal via the network, the position information of the user terminal and the camera image data captured by the user terminal are received from the user terminal and provided to the operator terminal, and the position information of the user terminal is supported. The map information and basic image data to be read are read from the database and provided to the operator terminal. Further, the operator terminal receives the map information, basic image data, and camera-captured image data from the center server and displays them on the display unit. If there is a voice input for the user, a signal type for the user is assigned to the voice input, and the user sound When data is transmitted to the user terminal via the center server and there is a voice input for people around the user, a signal type for the people around the user is assigned to the voice input, and external voice The data is transmitted as data to the user terminal via the center server. The user terminal includes a voice input / output device and a voice external output unit, and outputs the received voice data for user to the voice input / output device. Since the voice guide support system outputs voice data to the outside from the voice external output unit , the operator can talk with the user according to the situation, and when requesting the user's help from the people around the user, It can output sound to the people around it, and has the effect of providing accurate and safe guides.
本発明の実施の形態について図面を参照しながら説明する。
[実施の形態の概要]
本発明の実施の形態に係る音声ガイド支援システムは、ユーザ端末からの位置情報とカメラ撮影画像データを受信するセンタサーバが、オペレータ端末にユーザ端末の位置情報、その位置情報を対応した地図情報、事前に撮影した基本画像データ、カメラ撮影画像データを提供し、これら情報等を元にユーザ端末への音声ガイド情報を送信するものであり、オペレータが状況に応じて的確で安全なガイドを行うことができるものである。
尚、ガイドする場所は、テーマパーク、鉄道(駅構内及び車内)、空港、競技場、ショッピングセンター、観光地、市街地等が対象になる。
Embodiments of the present invention will be described with reference to the drawings.
[Outline of the embodiment]
In the audio guide support system according to the embodiment of the present invention, the center server that receives the position information from the user terminal and the camera-captured image data has the operator terminal's position information corresponding to the operator terminal, map information corresponding to the position information, Provides basic image data and camera image data captured in advance, and transmits voice guide information to the user terminal based on these information, etc., and the operator provides accurate and safe guidance according to the situation It is something that can be done.
In addition, the place to guide is a theme park, a railroad (inside a station yard and a car), an airport, a stadium, a shopping center, a sightseeing spot, an urban area, and the like.
[本システム:図1]
本発明の実施の形態に係る音声ガイド支援システム(本システム)について図1を参照しながら説明する。図1は、本発明の実施の形態に係る音声ガイド支援システムの概略図である。尚、図1では、一例として、視覚障がい者を対象としてテーマパークをガイドする音声ガイド支援システムに本システムを適用した例である。
本システムは、図1に示すように、ユーザ端末1と、センタサーバ2と、オペレータ端末3とがネットワーク4で接続され、テーマパークで視覚障がい者に音声ガイドを提供するものである。
尚、ユーザ端末1とオペレータ端末3は複数、ネットワーク4に接続するものである。図1では、ネットワーク4にユーザ端末1a,1bが接続し、オペレータ端末3a,3bが接続している。
尚、ネットワーク4は、インターネットを利用するものであるが、専用のネットワークを用いて実現してもよい。
[This system: Fig. 1]
An audio guide support system (this system) according to an embodiment of the present invention will be described with reference to FIG. FIG. 1 is a schematic diagram of a voice guidance support system according to an embodiment of the present invention. In FIG. 1, as an example, the present system is applied to an audio guide support system that guides a theme park for visually impaired persons.
As shown in FIG. 1, this system connects a
A plurality of
The
[音声ガイド支援システムの各構成]
次に、本システム(音声ガイド支援システム)の各構成を具体的に説明する。
[ユーザ端末1]
ユーザ端末1は、カメラ、音声入出力装置(マイクとイヤホン)、GPS(Global Positioning System:全地球測位網)機能、通信機能を備えたウエアラブル端末であり、ユーザの近辺(周囲)の人と会話するための音声外部出力装置(スピーカ)も備え、位置情報、カメラ撮影画像データ、音声情報をセンタサーバ2に送信すると共にセンタサーバ2からの音声情報を受信してユーザに音声出力する。
[Each component of the voice guidance support system]
Next, each configuration of the present system (voice guidance support system) will be specifically described.
[User terminal 1]
The
[ユーザ端末1の各部:図2]
ユーザ端末1の具体的な構成について図2を参照しながら説明する。図2は、ユーザ端末の概略構成図である。
ユーザ端末1は、図2に示すように、具他的には耳に装着できる小型コンピュータであり、内部構成として、制御部11と、記憶部12と、音声処理部13と、音声入出力装置(音声入出力部)14と、音声外部出力装置(音声外部出力部)15と、GPS部16と、通信部17と、画像入力装置(画像入力部)18と、バッテリー19とを備えている。
尚、ユーザ端末1は、耳に装着する形状であるが、メガネ形状であってもよいし、肩乗せ形状であってもよい。
[Each part of user terminal 1: FIG. 2]
A specific configuration of the
As shown in FIG. 2, the
The
[制御部11、記憶部12]
制御部11は、端末内の処理全般を行うと共に、センタサーバ2との通信を制御する。制御部11での処理の詳細は、後述する。
記憶部12は、制御部11が実行する処理プログラムを記憶する。また、記憶部12は、必要なデータ等を一時的に記憶する。
[
The
The
[音声処理部13]
音声処理部13は、音声入出力部14のマイクからの音声アナログ信号を音声デジタル信号に変換して制御部11に出力し、制御部11からの音声デジタル信号を音声アナログ信号に変換して音声入出力部14のイヤホン又は音声外部出力部15の外部スピーカに出力する。
[Audio processor 13]
The
[音声入出力部14、音声外部出力部15]
音声入出力部14は、マイクとイヤホンであり、マイクはユーザの音声及びユーザ近辺の音を入力して音声処理部13に音声アナログ信号を出力し、イヤホンは音声処理部13からの音声アナログ信号を音声としてユーザに出力する。
音声外部出力部15は、外部スピーカであり、音声処理部13からの音声アナログ信号を外部に音声として出力する。音声外部出力部15は、オペレータ端末3を操作するオペレータの音声をユーザ周辺の人に出力するものである。
[Audio input /
The voice input /
The audio
[GPS部16、通信部17]
GPS部16は、GPS機能により位置情報を取得し、制御部11に出力する。また、位置情報を取得するのにGPS機能以外の位置検出手段を利用してもよい。
更に、GPS部16とは別に方位情報を出力する電子磁石も備えている。
通信部17は、センタサーバ2との通信を行うもので、制御部11からのデータを無線送信し、無線受信したデータを制御部11に出力する。
[
The
In addition to the
The
[画像入力部18、バッテリー19]
画像入力部18は、動画像を撮影して入力するカメラであり、入力された画像データは制御部11により通信部15からセンタサーバ2に送信される。
バッテリー19は、ユーザ端末1内の各部へ電源スイッチのオンにより電源を供給する。尚、バッテリー19は充電可能である。
[
The
The
[ユーザ端末1の装着例:図3]
ユーザ端末1の装着例について図3を参照しながら説明する。図3は、ユーザ端末の装着例を示す図である。
ユーザ端末1は、図3に示すように、耳に装着するものであり、前方にカメラ(画像入力装置)18が設けられ、その近くにマイク(音声入力部)14aとスピーカ(音声外部出力部)15を備えている。
また、ユーザ端末1は、耳孔にイヤホン(音声出力部)14bが挿入できる構造となっている。
[Installation example of user terminal 1: Fig. 3]
A mounting example of the
As shown in FIG. 3, the
Further, the
カメラ18は、前方の画像を撮影するもので、マイク14aは、ユーザの近辺の音を入力し、イヤホン14bは、オペレータの音声を出力し、スピーカ15は、オペレータがユーザ以外の人に向けて音声を外部に出力するものである。
尚、図2に示したユーザ端末1のその他の各構成は、本体内部に収納されている。
図3では、カメラ18は、1台としたが、ユーザの後方に向けた2台目のカメラを備えるようにすれば、ユーザの前方と後方の画像をオペレータが認識でき、より安全なガイドを行うことができる。
The
The other components of the
In FIG. 3, the number of
[ユーザ端末1での処理概略]
ユーザ端末1の電源スイッチがオンされ、センタサーバ2へのアクセスが為されると、ユーザ端末1は、ユーザID(若しくは機器ID)、位置情報等をセンタサーバ2に送信し、更に、カメラ18で撮影した画像データ(カメラ撮影画像データ)及びマイク14aから入力された音声データをセンタサーバ2に送信する。カメラ撮影画像データと音声データの送信は継続して行われる。
[Outline of processing in user terminal 1]
When the power switch of the
センタサーバ2によってユーザ端末1とオペレータ端末3が接続され、ユーザ端末1は、オペレータ端末3からのユーザ向けの音声データを受信してイヤホン14bに出力し、また、オペレータ端末3からのユーザ周辺の人向けの外部用音声データをスピーカ15に出力する。
ユーザ向けの音声データとユーザ周辺の人向けの外部用音声データには、信号の種別が設定されており、その種別によってイヤホン14b又はスピーカ15のいずれかに出力するかを決定する。
The
A type of signal is set in the audio data for the user and the external audio data for the people around the user, and it is determined whether to output to the
[センタサーバ2:図4]
次に、センタサーバ2について図4を参照しながら説明する。図4は、センタサーバの概略構成図である。
センタサーバ2は、データベース(DB)25が接続されている。
DB25には、ユーザ端末1の情報、オペレータ端末3の情報、地図情報、事前撮影の基本画像データが記憶されている。
センタサーバ2は、ユーザ端末1がネットワーク4を介してアクセスすると、対応するオペレータ端末3を呼び出し、データの送受信を行い、DB25からガイドに必要な情報及びデータをオペレータ端末3に提供する。
[Center server 2: FIG. 4]
Next, the
The
The
When the
具体的には、センタサーバ2は、図4に示すように、制御部21と、記憶部22と、インタフェース部23とを基本的に備え、インタフェース部23は、ネットワーク4、DB25に接続するようになっている。
[制御部21]
制御部21は、DB25にユーザ端末1の情報(ユーザID等)、オペレータ端末3の情報(オペレータID等)を記憶すると共に、ユーザ端末1に対してガイドするオペレータ端末3の対応スケジュール情報も記憶する。
また、制御部21は、DB25に対して該当する地図情報、事前撮影された基本画像データ、ガイドに必要な施設等に関する案内情報も記憶する。
Specifically, as shown in FIG. 4, the
[Control unit 21]
The
The
制御部21は、ユーザ端末1からアクセスがあると、対応するオペレータ端末3を呼び出し、ユーザ端末1からの位置情報、方位情報を受信し、当該位置情報等を対応するオペレータ端末3にネットワーク4を介して送信する。
また、制御部21は、受信した位置情報等を基にDB25から該当する地図情報を読み込み、オペレータ端末3に送信すると共に、事前に予約されたルート情報と位置情報等に基づいてカメラで撮影された基本画像データもDB25から読み込み、オペレータ端末3に送信する。基本画像データは、ルート情報、ユーザ端末1の位置情報、ユーザ端末1の方向情報によって特定される。
When accessed from the
Further, the
[センタサーバ2のプログラムの各手段]
上記の制御部21の処理動作は、記憶部22に記憶された処理プログラムを制御部21が読み込んで実行するものであり、ユーザ端末1の位置情報、方位情報とユーザ端末1で撮影されたカメラ撮影画像データをユーザ端末1から受信する「受信手段」と、DB25から、ユーザ端末1の位置情報及び方位情報に対応する地図情報と基本画像データ、更に関連情報を読み出す「読出手段」と、ユーザ端末1の位置情報及び方位情報、カメラ撮影画像データ、地図情報、及び基本画像データ、更に関連情報をオペレータ端末3に提供する「提供手段」があって、それら手段をセンタサーバ2で機能させている。
[Each means of program of center server 2]
The processing operation of the
[記憶部22、インタフェース部23]
記憶部22には、制御部21を実行される処理プログラムを記憶し、その他必要なデータ等も一時的に記憶する。
インタフェース部23は、センタサーバ2をネットワーク4に接続すると共に、DB25に接続するインタフェース部である。
[
The
The
[オペレータ端末3:図5]
次に、オペレータ端末3について図5を参照しながら説明する。図5は、オペレータ端末の概略構成図である。
オペレータ端末3は、ガイドを行うオペレータが操作するコンピュータで、表示部にはガイドに必要な情報が表示され、ユーザと対話を行ってガイドし、場合によっては、ユーザの周囲の人と会話して、ユーザを安全で、親切丁寧にガイドできるものである。
[Operator terminal 3: FIG. 5]
Next, the
The
オペレータ端末3は、図5に示すように、制御部31と、記憶部32と、音声処理部33と、音声入出力部34と、インタフェース部35と、表示部36と、入力部37とを基本的に備えている。
[制御部31]
制御部31は、センタサーバ2から受信した地図情報、基本画像データ、ガイド情報を記憶部32に記憶し、表示部36に表示する。
制御部31は、地図情報を表示する際には、ユーザ端末1の位置情報、方位情報も重ねて表示する。
As shown in FIG. 5, the
[Control unit 31]
The
When displaying the map information, the
制御部31は、ユーザ端末1からの音声データを、センタサーバ2を経由して受信し、音声データを音声処理部33に出力する。
また、制御部31は、音声処理部33からの音声データを、センタサーバ2を経由してユーザ端末1に送信する。
The
In addition, the
また、制御部31は、入力部37からの指示により、地図情報の拡大縮小、移動方向の地図情報、これまで移動してきた地図情報も表示可能であり、基本画像データも、移動方向の場所の画像データ、これまで移動してきた場所の画像データを表示させ、更に、ユーザ端末1からのカメラ撮影画像データを表示させ、ガイド情報も選択可能に表示させる。
ガイド情報は、地図情報の施設等を指示すると表示されるようリンクさせてもよい。
Further, the
The guide information may be linked so as to be displayed when a facility of the map information is designated.
[オペレータ端末3のプログラムの各手段]
上記の制御部31の処理動作は、記憶部32に記憶された処理プログラムを制御部31が読み込んで実行するものであり、センタサーバ2から受信したカメラ撮影画像データ、地図情報、及び基本画像データを表示部36に表示する「第1の表示手段」と、センタサーバ2から受信したユーザ端末1の位置情報と方位情報に基づいて地図情報上にユーザの位置と方向を表示する「第2の表示手段」があって、それら手段をオペレータ端末3で機能させている。
[Each means of program of operator terminal 3]
The processing operation of the
[記憶部32、音声処理部33、音声入出力部34]
記憶部32は、制御部31で実行される処理プログラムを記憶し、センタサーバ2から送信された情報、データを記憶する。
音声処理部33は、制御部31からの音声デジタル信号を音声アナログ信号に変換して音声入出力部34に出力し、音声入出力部34からの音声アナログ信号を音声デジタル信号に変換して制御部31に出力する。
音声入出力部34は、マイクとスピーカであり、マイクから入力された音声アナログ信号が音声処理部33に出力し、音声処理部33からの音声アナログ信号をスピーカから出力する。
[
The
The
The voice input /
[インタフェース部35、表示部36、入力部37]
インタフェース部35は、オペレータ端末3をネットワーク4に接続し、表示部34と入力部37に接続するインタフェース部である。
表示部36は、ユーザ端末1に対応する地図情報、基本画像データ、カメラ撮影画像データ、ガイド情報を表示する。表示部36での表示画面例は後述する。
入力部37は、ユーザの指示を入力し、インタフェース部35に出力する。
[
The
The
The
[表示部36における表示画面:図6]
次に、オペレータ端末3の表示部36における表示画面例について図6を参照しながら説明する。図6は、オペレータ端末の表示部の表示画面例を示す概略図である。
図6に示すように、表示部36には、ユーザ端末1の位置情報に基づいて関連する地図情報が表示され、その位置情報とユーザ端末1の方位情報に基づいてDB25から取得された基本画像も表示される。
そして、表示部36には、ユーザ端末1のカメラ18で撮影されたカメラ撮影画像が表示される。
また、表示部36には、ユーザ端末1の位置情報に基づいてガイドに関する関連情報が表示可能である。
これら画像、情報は、画面の異なった領域にそれぞれ表示される。
[Display screen on display unit 36: FIG. 6]
Next, an example of a display screen on the
As shown in FIG. 6, the
The
Further, the
These images and information are displayed in different areas of the screen.
オペレータは、表示部36に表示画面を参照し、地図情報と基本画像を参考に、カメラ撮影画像の状況に応じてユーザに対してガイドを行い、必要であれば、関連情報も参考にする。
オペレータの声は、音声入出力部34のマイクから入力され、音声処理部33で音声デジタル信号に変換され、ユーザ端末1に送信され、音声入出力部14のイヤホン14bに出力される。
また、ユーザの声は、音声入出力部14のマイク14aから入力され、音声処理部13で音声デジタル信号に変換され、オペレータ端末3に送信され、音声入出力部34のスピーカに出力される。
このようにして、オペレータとユーザの会話が為される。
The operator refers to the display screen on the
The operator's voice is input from the microphone of the voice input /
The user's voice is input from the
In this way, a conversation between the operator and the user is made.
また、オペレータは、ユーザの周囲の人に、ユーザの手助けを要請する場合には、ユーザ周囲の人向けの音声を音声入出力部34のマイクから入力し、音声処理部33で音声デジタル信号に変換して、ユーザ端末1に送信し、スピーカ(外部音声出力部)15に出力させる。
ユーザ周囲の人向けの音声を音声入出力部34のマイクに入力する場合、例えば、入力部37の特定キーを押しながら音声を入力することで、当該音声データにはユーザ周囲の人向けの信号種別が付加され、特定キーの押下がなく音声が入力されれば、ユーザ向けの信号種別が付加され、当該信号種別によってユーザ端末1の制御部11で音声データのイヤホン14b又はスピーカ15の出力先が特定される。
Further, when the operator requests the people around the user to help the user, the operator inputs the voice for the people around the user from the microphone of the voice input /
When inputting voice for people around the user to the microphone of the voice input /
関連情報は、ユーザ端末1の位置情報に基づいて近辺の施設等のリストを表示し、そのリストから施設等の項目が選択されると詳細情報を表示するようにしてもよいし、ユーザの移動によるユーザ端末1の位置情報の変更に伴って施設等の情報の表示を変更してもよいし、位置情報に基づいて表示される地図情報の中から特定施設をクリックすることにより施設等の情報を表示するようにしてもよい。
The related information may display a list of nearby facilities based on the location information of the
[地図情報の表示例:図7]
次に、オペレータ端末3の表示部36における地図情報の表示例について図7を参照しながら説明する。図7は、地図情報の表示例を示す概略図である。
地図情報は、図7に示すように、地図情報領域に、施設A,B,Cが描画され、それに対するルートが表示される。本システムでは、テーマパークにおける音声ガイドであるため、ユーザは予め案内されるルートを選択することになる。
[Display example of map information: Fig. 7]
Next, a display example of map information on the
As shown in FIG. 7, in the map information, facilities A, B, and C are drawn in the map information area, and a route for the facilities is displayed. In this system, since it is an audio guide in a theme park, the user selects a route to be guided in advance.
図7では、ルートで予定の部分を点線で、既に終了した部分を実線で表示し、更に、現在のユーザ端末1の位置を矢印で示している。尚、矢印は、ユーザ端末1の方位情報から先端方向をユーザが向いている方向を示すようになっている。
尚、地図情報内に、東西南北の方角を示す情報を含めると分かりやすい。
In FIG. 7, the planned part of the route is displayed with a dotted line, the already completed part is displayed with a solid line, and the current position of the
In addition, it is easy to understand if the map information includes information indicating the directions of east, west, south, and north.
ユーザ端末1の位置情報と方位情報から、ユーザの進む方向の基本画像が基本画像領域に表示され、カメラ撮影画像領域にはユーザ端末1のカメラ18で撮影された画像が表示され、関連情報領域にはユーザが向かう施設Bの情報が表示されることになる。
From the position information and orientation information of the
[音声ガイド支援システムの処理動作]
本システムにおける全体の処理動作について説明する。
テーマパークのガイドコースの画像を予め撮影して基本画像データとしてDB25に記憶しておく。
ユーザは、ユーザ端末1の電源スイッチをオンにして起動すると、ユーザ端末1は、センタサーバ2にユーザID等を送信してアクセスを行う。
[Processing of voice guidance support system]
The overall processing operation in this system will be described.
An image of a guide course of a theme park is taken in advance and stored in the
When the user turns on the power switch of the
そして、ユーザ端末1のカメラ18の前で、ある一定の時間内に特定のハンドジェスチャー(ハンドサイン)を行うと、予め設定されたガイドプログラム(例えば、ユーザの現在位置の天気予報を読み上げる等)の開始要求をセンタサーバ2に送信する。または、上記一定時間内にハンドジェスチャーがない場合は、音声ガイド開始要求と認識して、当該要求をセンタサーバ2に送信する。その際に、ユーザ端末1は、センタサーバ2にGPS等の位置情報、方位情報とカメラ撮影画像データを送信する。位置情報等とカメラ撮影画像データは、継続してユーザ端末1からセンタサーバ2に送信される。
When a specific hand gesture (hand sign) is performed within a certain period of time in front of the
音声ガイド開始要求を受信したセンタサーバ2は、対応するオペレータ端末3を呼び出し、ユーザ端末1の位置情報、方位情報に対応する地図情報とガイドコースに従った基本画像データをDB25から読み込み、ユーザ端末1の位置情報、方位情報、地図情報、基本画像データ、更にユーザ端末1からのカメラ撮影画像データをオペレータ端末3に送信する。
The
オペレータ端末3は、センタサーバ2からの情報とデータを受信して表示部36に地図情報、基本画像、カメラ撮影画像、関連情報を表示する。
オペレータは、オペレータ端末3の表示部36に表示された情報、画像等を参照しながらユーザに対して音声入出力部34のマイクから音声を入力し、ユーザ端末1に音声データを送信してユーザに対する音声ガイドを行う。
The
The operator inputs voice from the microphone of the voice input /
また、オペレータは、オペレータ端末3の表示部36に表示されるカメラ撮影画像に映し出される第三者と、ユーザ端末1の音声外部出力部(スピーカ)15とマイク14aを利用して、会話を行うことができ、ユーザを第三者の力を借りてサポートすることができる。
Further, the operator has a conversation with a third party displayed on the camera-captured image displayed on the
[センタサーバ2での処理:図8]
更に、センタサーバ2での処理について図8を参照しながら説明する。図8は、センタサーバの処理を示すフローチャートである。
センタサーバ2の制御部21では、記憶部22の処理プログラムを読み込んで実行可能とし、ユーザ端末1からのアクセスがあると、ログイン処理を行う(S1)。
ログイン処理は、ユーザ端末1からアクセスに伴いユーザID(又は機器ID)を受信するので、そのIDがDB25に登録されているか否かをセンタサーバ2が認証し、登録されていればログインを許可し、登録されていなければログインを不許可とする。
[Processing in the center server 2: FIG. 8]
Further, the processing in the
The
In the login process, a user ID (or device ID) is received from the
次に、ユーザ端末1からガイド開始要求があると、ユーザ端末1の位置情報、方位情報を受信し、対応するオペレータ端末3を呼び出す処理を行う(S2)。
通常、ユーザのガイドに対してオペレータが事前に割り当てられているので、割り当てられたオペレータのオペレータ端末3を呼び出すことになる。尚、事前にオペレータの割り当てがなければ、センタサーバ2がスケジュールに空きのあるオペレータ端末3を呼び出して割り当てるようにしてもよい。
Next, when there is a guide start request from the
Usually, since an operator is assigned in advance to the user's guide, the
そして、センタサーバ2は、ユーザ端末1からのカメラ撮影画像データをオペレータ端末3に送信する(S3)。
処理S3と並行して、センタサーバ2は、ユーザ端末1の位置情報から該当する地図情報をDB25から読み込み、オペレータ端末3に送信する(S4)。地図情報は、位置情報と方位情報を基に、現在地に対して向かう方向の地図情報を中心に選択して読み込むようにしてもよい。
Then, the
In parallel with the process S3, the
続いて、センタサーバ2は、ユーザ端末1の位置情報、方位情報から対応する基本画像データをDB25から読み込み、オペレータ端末3に送信する。
処理S3と処理S5の後に、ユーザからログオフがあったか否かを判定し(S6)、ログオフであれば(Yesの場合)、処理を終了する。
ログオフでなければ(Noの場合)、ユーザ端末1からの信号断を判断し、信号断であれば(Yesの場合)、処理を終了し、信号断でなければ(Noの場合)、処理S3,S4に戻る。
Subsequently, the
After steps S3 and S5, it is determined whether or not the user has logged off (S6). If the user is logged off (Yes), the processing is terminated.
If it is not logoff (in the case of No), it is determined that the signal from the
ログオフは、ユーザ端末1でユーザがログオフ処理を行った場合であり、例えば、カメラ18の前でログオフのハンドジェスチャーを行うことで為される。
信号断は、ユーザ端末1の電源スイッチをオフにしたような場合で、ユーザ端末1との通話ができなくなるので、処理を終了させることにしている。
Logoff is when the user performs a logoff process on the
The signal disconnection is a case where the power switch of the
[応用例]
本システムでは、テーマパークにおける視覚障がい者向けの音声ガイドの例を説明したが、これは「見ることを補完」するサービスであり、それ以外に本システムは、「聴くことを補完」するサービス、「話すことを補完」するサービスにも応用できる。尚、サービスによっては、「見る」「聴く」「話す」の複合的なものになることがある。
尚、応用例の各動作は、コンピュータプログラムが実行されて機能実現手段により実現されるものである。
まず、「見ることを補完」するサービスについての応用例を説明する。
[Application example]
In this system, the example of the voice guide for the visually impaired in the theme park was explained, but this is a service that “complements the viewing”, and other than this, the system also provides a service that “complements the listening”, It can also be applied to services that "supplement speaking". Depending on the service, there may be a combination of “see”, “listen”, and “speak”.
Note that each operation of the application example is realized by a function realizing unit by executing a computer program.
First, an application example of a service that “supplements viewing” will be described.
[見ることを補完するサービスの応用例]
[応用例1:鉄道利用者向けサービス]
鉄道会社で利用して、改札を入る時にユーザ端末1を貸し出し、電車に乗って改札を出る時に返却してもらい、ユーザ端末1をユーザが装着している間は、ユーザのホームからの転落防止や、オペレータによって安全な誘導を実現できるものである。尚、オペレータ端末3の表示部36に表示される関連情報は、乗り換え案内、乗り換え時間等の情報となる。このサービスは、視覚障がい者だけでなく、電車の乗り継ぎや、大きな駅での利用に不安を感じる乗客にも適用可能である。オペレータは、鉄道会社が監督する社員等が担当することが考えられる。
[Application examples of services that complement viewing]
[Example 1: Service for railway users]
Use it at a railway company to rent the
[応用例2:スポーツ観戦サービス]
また、スポーツ観戦で、観客がユーザ端末1を装着し、そのスポーツに詳しいオペレータや同じチームを応援するオペレータがオペレータ端末3を用いてガイドするようにしてもよい。
その場合に、オペレータは、オペレータ端末3の表示部36に表示される画像データを確認しながらゲーム、試合等を解説し、表示部36に表示される関連情報としての選手情報、相手方チームの情報をユーザに提供するもので、ユーザは、臨場感を持って楽しめる。このガイドのサービスのオペレータは、スポーツ観戦のホーム会場の社員等が担当することが考えられる。
[Application 2: Sport watching service]
Also, in sports watching, a spectator may wear the
In that case, an operator explains a game, a game, etc., confirming the image data displayed on the
[応用例3:市街地案内サービス]
また、市街地の画像情報(ビューデータ)を利用すれば、それを基本画像データとしてオペレータ端末3の表示部36に表示して、視覚障がい者にユーザ端末1を装着し、視覚障がい者に対して市街地での音声ガイドを実現できる。
[Application example 3: City area guidance service]
If the image information (view data) of the city area is used, it is displayed on the
[聴くことを補完するサービスの応用例]
[応用例4:観光地・美術館等案内サービス]
また、視覚障がい者に限らず、観光地や美術館では、外国人や健常者にユーザ端末1を装着し、外国人や健常者に対しても日本語又は外国語のオペレータによる音声ガイドのサービス提供が可能である。
[Application examples of services that complement listening]
[Application 4: Guidance service for sightseeing spots and museums]
In addition to visually impaired people, tourist sites and art museums are equipped with
[応用例5:展示会向けサービス]
展示会向けサービスでは、展示会場のブースを訪問するユーザがユーザ端末1を装着し、オペレータがブースの会社情報、製品情報をユーザに提供し、ブースの説明者が外国人である場合には、オペレータが通訳を行うことも可能である。
このサービスは、見ること、聴くこと、話すことを補完するものとなる。
[Application Example 5: Exhibition Services]
In the service for the exhibition, the user visiting the booth at the exhibition hall wears the
This service complements viewing, listening and speaking.
[応用例6:高齢者向けサービス]
高齢者向けサービスでは、高齢者の外出をサポートするもので、例えば、病院、役所、買い物等で外出する場合に、家族が予め外出ルートをセンタサーバ2に登録しておけば、高齢者の外出ルートをオペレータが音声で案内し、必要に応じてオペレータが高齢者に代わり外部の人と直接会話を行うことがある。
[Application Example 6: Services for elderly people]
The service for elderly people supports the elderly people going out. For example, when going out at a hospital, a government office, shopping, etc., if the family registers the outing route in the
[応用例7:視覚障がいの子供向けサービス]
視覚障がいの子供向けサービスでは、視覚障がいの子供がユーザ端末1を装着し、子供が遊んだり、学んだりする場合に、オペレータが音声でサポートするものである。具体的には、子供が触れる物をオペレータが説明し、子供に興味を持たせるようにする。
[Application 7: Services for children with visual impairments]
In the service for visually impaired children, when a visually impaired child wears the
[応用例8:失読症患者向けサービス]
失読症(ディスレクシア)患者向けサービスでは、患者が読書等で書籍の文字を読む場合に、ユーザ端末1を装着し、画像入力部18で書籍のページを撮影し、オペレータ端末3の表示部36にそのページを表示し、オペレータが読み上げて音声入出力部34から音声を入力し、ユーザ端末1の音声入出力部14に音声出力するものである。
尚、ユーザ端末1で撮影されたページの文字を識別して音声データに変換し、ユーザ端末1に返信する処理をセンタサーバ2の制御部21で行うようにしてもよい。
[Application 8: Services for patients with dyslexia]
In the service for patients with dyslexia (dyslexia), when the patient reads the text of the book by reading or the like, the
Note that the
[話すことを補完するサービスの応用例]
[応用例9:書籍読み聞かせサービス]
書籍の読み聞かせサービスとしては、子供向けにオペレータがリアルタイムで読み聞かせるもの(第1の読み聞かせ方法)と、予め声優などのプロが読んだ内容を録音データとしてセンタサーバ2の記憶部22に記憶しておき、ユーザからの要求により再生するもの(第2の読み聞かせ方法)と、視覚障がいの母親又はディスクレシアの母親が肉声で読んだ内容を録音データとしてセンタサーバ2の記憶部22に記憶させておき、そのデータを再生するもの(第3の読み聞かせ方法)がある。
[Application examples of services that complement speaking]
[Application Example 9: Book Storytelling Service]
As a reading service for books, what is read in real time by an operator for children (first reading method) and contents previously read by a professional such as a voice actor are recorded in the
第2の読み聞かせ方法と第3の読み聞かせ方法では、ユーザ端末1の画像入力部18で2次元コードを読み取ることで、センタサーバ2にアクセスして再生要求を送信し、録音データを再生することが考えられる。
また、ユーザ端末1に代えて、スマートフォンを用いて2次元コードを読み取り、センタサーバ2にアクセスして録音ファイルをスマートフォンで再生させてもよい。
In the second storytelling method and the third storytelling method, the two-dimensional code is read by the
Moreover, it replaces with the
次に、第3の読み聞かせ方法について、更に具体的に説明する。
視覚障がい者の母親の肉声で子供向け書籍を読み聞かせるサービスは、視覚障がい者の母親がユーザ端末1を装着し、オペレータが子供向け書籍を読むと、母親はオペレータの言葉を反復し、反復した言葉を録音してセンタサーバ2の記憶部22に記憶する。そして、ユーザ端末1を装着した子供から「本を読んで」との要求があると、オペレータが該当する書籍の母親の音声を再生して子供のユーザ端末1に送信し、音声出力する。
Next, the third reading method will be described more specifically.
The service of reading books for children with the voice of the mother of the visually impaired is that the mother of the visually impaired wears the
[書籍読み上げ録音・再生処理:図9]
次に、第3の読み聞かせ方法を実現するための書籍読み上げ録音・再生処理について図9を参照しながら説明する。図9は、書籍読み上げ録音・再生処理を示すフローチャートである。
当該処理の前提として、センタサーバ2にアクセスして書籍読み上げ録音処理を実行するための2次元コードが書籍に付与されている。
図9に示すように、母親が装着したユーザ端末1の画像入力部18で書籍の2次元コードを読み取ってセンタサーバ2にアクセスが為されると(S11)、センタサーバ2は、記憶部22にユーザ端末1のユーザIDに対応する母親の録音済みの音声ファイル(ユーザ音声ファイル)が存在するか否かを判定し(S12)、音声ファイルが存在しない場合(Noの場合)は、母親の肉声を録音するために予め録音された、当該2次元コードに対応した音声ファイル(標準音声ファイル)を再生して音声出力(書籍の読み上げ)処理を行う(S13)。
[Book reading recording / playback processing: Fig. 9]
Next, a book reading recording / playback process for realizing the third reading method will be described with reference to FIG. FIG. 9 is a flowchart showing the book reading-out recording / playback process.
As a premise of the process, a two-dimensional code for accessing the
As shown in FIG. 9, when the
書籍の読み上げ処理は、音声ガイダンスに従って、短い文章が読み上げられ、それに続いて母親の音声を録音する(書籍読み込み)処理を行う(S14)。音声録音に際して、録音した音声データを逐次再生して確認し、気に入らなければ、録音した音声データをキャンセルして再録音できるようにしてもよい。
次に、書籍の読み上げ処理が終了したか否かを判定し(S15)、終了していなければ(Noの場合)、次の文章の音声出力を行い(S16)、処理S14の音声録音処理に移行する。
In the book reading process, a short sentence is read out in accordance with the voice guidance, and then the mother's voice is recorded (book reading) (S14). When recording a voice, the recorded voice data may be reproduced and confirmed sequentially. If the user does not like the recorded voice data, the recorded voice data may be canceled and re-recorded.
Next, it is determined whether or not the reading process of the book has been completed (S15). If it has not been completed (in the case of No), the next sentence is output as a sound (S16), and the sound recording process of process S14 is performed. Transition.
書籍の読み上げ処理が終了したならば(Yesの場合)、編集処理を行い(S17)、処理を終了する。
編集処理S17は、処理S14で録音された母親の声のデータをつなぎ合わせて一つの音声ファイル(ユーザ音声ファイル)を作成するものである。最終的に編集された音声データを再生して母親に確認してもらい、気に入らない場合には、最初から書籍読み上げ処理を行うようにしてもよい。
作成されたユーザ音声ファイル(母親音声ファイル)は、ユーザ端末1のユーザIDに対応付けられてセンタサーバ2の記憶部22に記憶される。
If the reading process of the book is finished (in the case of Yes), the editing process is performed (S17), and the process is finished.
In the editing process S17, one voice file (user voice file) is created by connecting the data of the mother's voice recorded in the process S14. When the edited audio data is finally played back and confirmed by the mother, and the user does not like it, the book reading process may be performed from the beginning.
The created user voice file (mother voice file) is stored in the
[書籍再生処理]
次に、子供に視覚障がい者の母親の声で書籍を読み聴かせる処理について説明する。
子供は、ユーザ端末1を装着して、ユーザ端末1の画像入力部18で書籍の2次元コードを読み取ってセンタサーバ2にアクセスが為される(図9の処理S11に相当)と、図9の判定処理S12が為される。
[Book playback process]
Next, a process for allowing a child to read and listen to a book with the voice of the mother of a visually impaired person will be described.
When the child wears the
つまり、センタサーバ2は、ユーザ端末1のユーザIDに対応した母親音声ファイルが記憶部22に記憶されているか否かを判定し、母親音声ファイルがセンタサーバ2の記憶部22に記憶されている場合(Yesの場合)には、当該音声ファイルの音声再生(書籍の読み聴かせる)処理(S18)を行う。
That is, the
書籍を読み聴かせる処理は、図9の書籍読み上げ録音処理が完了している状態で為されるものであり、つまり、通常は、センタサーバ2の記憶部22に母親音声ファイルが生成されて格納されている状態である。
書籍読み上げ録音処理が為される前に子供が2次元コードを読み取ると、書籍読み上げ録音処理が開始されることになる(図9の判定処理S12でNoの場合)が、録音ファイルの確認作業がなされなければ、母親音声ファイルは生成されない。
The process of reading and listening to the book is performed in the state where the book reading and recording process of FIG. 9 has been completed. That is, normally, a mother voice file is generated and stored in the
If the child reads the two-dimensional code before the book-reading recording process is performed, the book-reading recording process is started (in the case of No in the determination process S12 in FIG. 9). If not done, no mother voice file is generated.
上記の例では、一つの2次元コードを書籍読み上げ録音処理と書籍を読み聴かせる処理に使用したが、書籍読み上げ録音処理の2次元コードと、書籍を読み聴かせる処理の2次元コードとを別のものを準備してもよい。この場合、書籍を読み聴かせる処理の2次元コード(第1のコード)は書籍に印刷し、書籍読み上げ録音処理の2次元コード(第2のコード)は、書籍とは分離してユーザに提供するのが望ましい。
つまり、第2のコードを読み取って母親の音声を録音して母親音声ファイルを生成し、その後は第1のコードを子供が読み取って母親音声ファイルの再生を行う。第1のコードには、点字を付与して視覚障がい者の母親が識別できるようにしておくとよい。
In the above example, one two-dimensional code is used for the book reading and recording process and the process for reading and listening to the book. However, the two-dimensional code for the book reading and recording process is different from the two-dimensional code for the process for reading and listening to the book. You may prepare things. In this case, the two-dimensional code (first code) for processing to read and listen to the book is printed on the book, and the two-dimensional code (second code) for reading and recording the book is provided to the user separately from the book. It is desirable to do.
That is, the second code is read to record the mother's voice to generate a mother voice file, and then the child reads the first code to reproduce the mother voice file. The first code may be given braille so that the mother of the visually impaired can identify it.
[応用例10:手話・ハンドサイン提供サービス]
聴覚障がい者に対するサービスとして、図2に示したユーザ端末1の代わりにスマートフォンを利用するものが考えられる。この場合、オペレータ端末3は画像入力部を備え、インタフェース部35に接続している。
[Example 10: Sign language / hand sign provision service]
As a service for a hearing impaired person, what uses a smart phone instead of the
具体的には、ユーザのスマートフォンとオペレータ端末3を回線接続し、スマートフォンを置いた状態又は誰かに持たせた状態で、スマートフォンのカメラ(画像入力部)で聴覚障がい者の手話又はハンドサインを撮影し、オペレータ端末3にリアルタイムで伝送する。
オペレータ端末3は、聴覚障がい者の手話又はハンドサインを表示部36に表示して、オペレータが手話又はハンドサインで会話する様子を画像入力部で撮影して、ユーザのスマートフォンにその画像を伝送し、スマートフォンの表示画面に表示する。
このようにして、聴覚障がい者とオペレータとの間で手話等による会話が為される。
Specifically, the user's smartphone and
The
In this way, a conversation using sign language or the like is performed between the hearing impaired person and the operator.
そして、聴覚障がい者が手話のできない人(相手)と会話をしたい場合には、まず、オペレータと接続し、話したい内容を手話等でオペレータに伝え、オペレータはそれに応答しつつ、スマートフォンの外部出力スピーカで相手と音声で会話する。相手との会話内容は、オペレータが手話等により表現した画像データがスマートフォンに伝送され、その表示画面に表示される。
この例では、手話又はハンドサインをそれ以外の意思伝達手段を用いてもよい。例えば、文字を用いて実現してもよい。
When a person with hearing disabilities wants to talk to a person (partner) who cannot sign language, first connect to the operator, tell the operator what he / she wants to talk in sign language, etc., and the operator responds to the external output of the smartphone. Talk to the other party using the speaker. The content of the conversation with the other party is displayed on the display screen after image data expressed by the operator in sign language or the like is transmitted to the smartphone.
In this example, other means of communication for sign language or hand sign may be used. For example, it may be realized using characters.
[応用例11:接触物提供サービス]
次に、3Dプリンタを用いた接触物提供サービスについて説明する。3Dプリンタは、ユーザ宅に設置され、ユーザ端末となるコンピュータに接続され、当該コンピュータはネットワークを介してセンタサーバ2に接続されるようになっている。
そして、特定の2次元コードをコンピュータの読取装置で読み取ると、センタサーバ2にアクセスし、当該2次元コードに対応した物(模型、フィギュア)を形成するためのデータ(3Dプリンタ用データ)をダウンロードし、接続する3Dプリンタでそのデータに基づいた物を生成する。
[Application Example 11: Contact Object Providing Service]
Next, a contact object providing service using a 3D printer will be described. The 3D printer is installed in a user's house and connected to a computer serving as a user terminal, and the computer is connected to the
When a specific two-dimensional code is read by a computer reader, the
これは、子供、視覚障がい者、聴覚障がい者に模型、フィギュアを提供することで、それらに接触して形状を学ぶことができるものである。
また、3Dプリンタに接続するコンピュータ(特定のコンピュータ)とは別のユーザ端末で2次元コードを読み込み、センタサーバ2にアクセスがあると、センタサーバ2が3Dプリンタ用データを特定のコンピュータにダウンロード可能として提供してもよい。
By providing models and figures to children, visually impaired persons, and hearing impaired persons, they can learn the shape by touching them.
In addition, when the two-dimensional code is read by a user terminal different from the computer (specific computer) connected to the 3D printer and the
[応用例12:ガイド中の2次元コード読み取り]
次に、テーマパーク、駅の構内、美術館、観光地等においてガイド途中に2次元コードを地面又は壁に配置しておき、ユーザ端末1の画像入力部18で読み込み、その2次元コードから得られるアクセス情報をユーザ端末1がセンタサーバ2に送信し、センタサーバ2は、アクセス情報から得られる関連情報をオペレータ端末3に提供するようにしてもよい。
ここで、得られる関連情報としては、詳細な位置情報、お店、交通、お天気などの周辺情報が考えられる。
また、2次元コードは、遠くからでも認識できるように通常のサイズより何倍又は何十倍も大きいサイズで配置することが望ましい。
[Application Example 12: Reading a two-dimensional code in a guide]
Next, a two-dimensional code is placed on the ground or a wall in the middle of a guide in a theme park, a station premises, a museum, a sightseeing spot, etc., read by the
Here, as the related information obtained, peripheral information such as detailed position information, shops, traffic, and weather can be considered.
In addition, it is desirable that the two-dimensional code is arranged in a size that is several times or several tens of times larger than the normal size so that it can be recognized from a distance.
[応用例13:音を認識・通知]
ユーザ端末1とオペレータ端末3を用いてユーザをガイド中であって、ユーザ端末1の音声入力部14から入力された音をセンタサーバ2の制御部21で解析して認識し、ユーザに知らせるべき音の情報であれば、オペレータ端末3の表示部36に表示し、オペレータからユーザ端末1のユーザに通知するようにしてもよい。
[Application Example 13: Recognizing / notifying sound]
The user is being guided using the
[応用例14:メガネのLED点滅]
ユーザ端末としてスマートフォンを利用する場合に、オペレータからスマートフォンに連絡があった場合に、微弱電波でメガネに取り付けられたLED(Light Emitting Diode)を点滅させて、通知するようにしてもよい。
当該メガネは、メガネの一部にLED、微弱電波受信部とバッテリーを備えた構成であり、微弱電波を受信すると、LEDを点滅させる動作を行うものである。
[Application 14: Glasses LED blinking]
When a smartphone is used as a user terminal, when an operator contacts the smartphone, a LED (Light Emitting Diode) attached to the glasses may be blinked and notified by a weak radio wave.
The glasses have a configuration in which a part of the glasses includes an LED, a weak radio wave receiving unit, and a battery, and when the weak radio wave is received, the LED blinks.
[ガイド予約]
上記応用例の中で様々なガイドを利用できるようにするための仕組みとして、ユーザは本サービスにアクセスすると、総合オペレータに接続して、ガイド予約を行うようにするとよい。
ガイド予約には、ガイド日時、地域、場所、ルート、言語、希望のオペレータの性別等を予め登録しておく。
[Guide reservation]
As a mechanism for making it possible to use various guides in the above application examples, when a user accesses this service, it is preferable to connect to a general operator and make a guide reservation.
In the guide reservation, a guide date and time, a region, a place, a route, a language, a sex of a desired operator, and the like are registered in advance.
DB25には、オペレータのスケジュール、得意な地域、場所、言語、性別が記憶されており、センタサーバ2がガイド予約の登録情報を参照して該当するオペレータを検索してオペレータの割り当てを行い(マッチング)、スケジュールにガイド予約を設定する。
The
センタサーバ2は、ユーザのガイド時間になって、ユーザ端末1からアクセスがあると、DB25のスケジュールを参照し、ガイド予約が設定されたオペレータ端末3を呼び出し、表示部36にユーザの位置情報、方位情報、地図情報、基本画像、カメラ撮影画像を表示させる。
When there is an access from the
[実施の形態の効果]
本システムによれば、予め施設又は構内の基本画像を撮影してDB25に基本画像データを記憶しておき、ユーザのガイドを行う場合にオペレータ端末3に、ユーザ端末1からのカメラ撮影画像データと、位置情報等を利用した地図情報と、位置情報等に対応する基本画像データとを表示して、ユーザ端末1へ音声ガイド情報を提供するようにしているので、オペレータが状況に応じて的確で安全なガイドを行うことができる効果がある。
[Effect of the embodiment]
According to the present system, a basic image of a facility or premises is captured in advance and the basic image data is stored in the
また、本システムによれば、ユーザ端末1に音声外部出力部15を備え、オペレータがカメラ撮影画像を参考に、ユーザの近辺にいる人に音声外部出力部15を介して音声で会話できるようにしているので、突発的なことが起きても臨機応変に対応可能となり、総合的に安全なガイドを行うことができる効果がある。
Further, according to the present system, the
本発明は、予め施設又は構内の基本画像を撮影しておき、ユーザのガイドを行う場合にオペレータの端末に、ユーザ端末からのカメラ撮影画像と、位置情報を利用した地図情報と、カメラ撮影画像に対応する基本画像とを表示して、オペレータが状況に応じて的確で安全なガイドを行うことができる音声ガイド支援システム及びそのプログラムに好適である。 The present invention captures a basic image of a facility or premises in advance, and when performing user guidance, the operator's terminal has a camera-captured image from the user terminal, map information using position information, and a camera-captured image. It is suitable for a voice guide support system and a program thereof that can display a basic image corresponding to the above and allow an operator to perform an accurate and safe guide according to the situation.
1...ユーザ端末、 2...センタサーバ、 3...オペレータ端末、 4...ネットワーク、 11...制御部、 12...記憶部、 13...音声処理部、 14...音声入出力装置(音声入出力部)、14a...マイク、 14b...イヤホン、 15...音声外部出力装置(音声外部出力部)、 16...GPS部、 17...通信部、 18...画像入力装置(画像入力部)、 19...バッテリー、 21...制御部、 22...記憶部、 23...インタフェース部、 25...データベース(DB)、 31...制御部、 32...記憶部、 33...音声処理部、 34...音声入出力部、 35...インタフェース部、 36...表示部、 37...入力部
DESCRIPTION OF
Claims (13)
地図情報と、予め撮影された基本画像データとを記憶するデータベースと、
前記ユーザ端末に対してガイドのための音声データを入力して送信するオペレータ端末と、
前記ユーザ端末からネットワークを介してアクセスがあると、前記ユーザ端末の位置情報と前記ユーザ端末で撮影されたカメラ撮影画像データを前記ユーザ端末から受信して前記オペレータ端末に提供すると共に、前記ユーザ端末の位置情報に対応する地図情報と基本画像データを前記データベースから読み出して前記オペレータ端末に提供するセンタサーバとを有し、
前記オペレータ端末は、前記センタサーバからの前記地図情報、前記基本画像データ、前記カメラ撮影画像データを受信して表示部に表示し、前記ユーザ向けの音声入力がある場合には、当該音声入力に対して前記ユーザ向けの信号種別を付与し、ユーザ用音声データとして前記ユーザ端末宛に前記センタサーバを介して送信すると共に、前記ユーザ周囲の人向けの音声入力がある場合には、当該音声入力に対して前記ユーザ周囲の人向けの信号種別を付与し、外部用音声データとして前記ユーザ端末宛に前記センタサーバを介して送信し、
前記ユーザ端末は、音声入出力装置と音声外部出力部を備え、受信した前記ユーザ用音声データを前記音声入出力装置に音声出力し、受信した前記外部用音声データを前記音声外部出力部から外部へ音声出力することを特徴とする音声ガイド支援システム。 A voice guidance support system for guiding a user wearing a user terminal equipped with a camera,
A database for storing map information and pre-captured basic image data;
An operator terminal for inputting and transmitting voice data for guidance to the user terminal; and
When there is an access from the user terminal via a network, the user terminal receives position information of the user terminal and camera-captured image data captured by the user terminal from the user terminal and provides the user terminal with the user terminal. A map server corresponding to the location information and basic image data is read from the database and provided to the operator terminal, and a center server is provided.
The operator terminal receives the map information, the basic image data, and the camera-captured image data from the center server and displays them on a display unit. When there is a voice input for the user, the operator terminal The user signal type is assigned to the user terminal and transmitted as voice data for the user to the user terminal via the center server. If there is voice input for people around the user, the voice input is performed. For the person around the user to give a signal type, as external audio data to the user terminal is transmitted through the center server,
The user terminal includes a voice input / output device and a voice external output unit, outputs the received voice data for user to the voice input / output device, and receives the received voice data for external use from the voice external output unit. Voice guide support system characterized by voice output to
センタサーバは、ユーザ端末の位置情報に対応する関連情報を前記データベースから読み出し、オペレータ端末に提供するものであり、
前記オペレータ端末は、前記センタサーバからの地図情報、基本画像データ、カメラ撮影画像データに加えて前記関連情報も表示部に表示することを特徴とする請求項1乃至4のいずれか記載の音声ガイド支援システム。 The database stores information related to facilities related to the guide,
The center server reads related information corresponding to the location information of the user terminal from the database and provides it to the operator terminal.
5. The voice guide according to claim 1, wherein the operator terminal displays the related information on the display unit in addition to the map information, basic image data, and camera-captured image data from the center server. Support system.
前記オペレータ端末は、前記センタサーバからの前記前方及び後方のカメラ撮影画像データを受信して表示部に表示することを特徴とする請求項1乃至5のいずれか記載の音声ガイド支援システム。 The center server receives front and rear camera image data captured by the user terminal from the user terminal and provides the data to the operator terminal.
The voice guide support system according to claim 1, wherein the operator terminal receives the front and rear camera image data from the center server and displays them on a display unit.
前記センタサーバは、前記ガイドプログラム開始要求を前記ユーザ端末から受信し、対応するオペレータ端末を呼び出すことを特徴とする請求項1乃至6のいずれか記載の音声ガイド支援システム。 If the camera terminal image data of the hand gesture captured by the camera is a preset guide program start request, the user terminal transmits the guide program start request to the center server for access.
The voice guidance support system according to claim 1, wherein the center server receives the guide program start request from the user terminal and calls a corresponding operator terminal.
前記センタサーバを、
前記ユーザ端末からネットワークを介してアクセスがあると、前記ユーザ端末の位置情報、方位情報と前記ユーザ端末で撮影されたカメラ撮影画像データを前記ユーザ端末から受信する受信手段と、
地図情報と、予め撮影された基本画像データとを記憶するデータベースから、前記ユーザ端末の位置情報及び方位情報に対応する地図情報と基本画像データを読み出す読出手段と、
前記ユーザ端末の位置情報及び方位情報、前記カメラ撮影画像データ、前記地図情報、及び前記基本画像データをオペレータ端末に提供する提供手段と、
前記オペレータ端末から前記ユーザ向けの音声入力に対して前記ユーザ向けの信号種別を付与したユーザ用音声データを前記ユーザ端末宛に送信すると共に、前記ユーザ周囲の人向けの音声入力に対して前記ユーザ周囲の人向けの信号種別を付与した外部用音声データを前記ユーザ端末宛に送信する送信手段として機能させることを特徴とするプログラム。 A program executed by a center server in a voice guidance support system for guiding a user wearing a user terminal equipped with a camera,
The center server,
When there is access via the network from the user terminal, receiving means for receiving, from the user terminal, position information of the user terminal, direction information, and camera-captured image data captured by the user terminal;
Reading means for reading out map information and basic image data corresponding to position information and orientation information of the user terminal from a database storing map information and basic image data photographed in advance;
Providing means for providing position information and orientation information of the user terminal, the camera-captured image data, the map information, and the basic image data to an operator terminal;
User voice data to which a signal type for the user is assigned to the voice input for the user from the operator terminal is transmitted to the user terminal, and the user is input to the voice input for the people around the user. A program which functions as a transmission means for transmitting external audio data to which signal types for surrounding people are assigned to the user terminal.
ガイドに関連する施設の関連情報を記憶するデータベースからユーザ端末の位置情報及び方位情報に対応する関連情報を読み出す読出手段と、
前記関連情報をオペレータ端末に提供する提供手段として機能させることを特徴とする請求項10記載のプログラム。 Center server
Reading means for reading out the related information corresponding to the position information and the direction information of the user terminal from the database storing the related information of the facility related to the guide;
The program according to claim 10, wherein the program functions as providing means for providing the related information to an operator terminal.
ユーザ端末のカメラで読み取られた2次元コードから得られるアクセス情報を取得する取得手段と、
当該アクセス情報から得られる関連情報をオペレータ端末又は特定のコンピュータに提供する提供手段として機能させることを特徴とする請求項10又は11記載のプログラム。 Center server
Obtaining means for obtaining access information obtained from the two-dimensional code read by the camera of the user terminal;
The program according to claim 10 or 11, wherein the program functions as providing means for providing related information obtained from the access information to an operator terminal or a specific computer.
前記オペレータ端末を、
センタサーバから受信した、前記ユーザ端末で撮影されたカメラ撮影画像データ、前記ユーザ端末の位置情報に対応する地図情報、及び予め撮影された基本画像データを表示部に表示する第1の表示手段と、
前記センタサーバから受信した前記ユーザ端末の位置情報と方位情報に基づいて前記地図情報上にユーザの位置と方向を表示する第2の表示手段と、
前記ユーザ向けの音声入力がある場合には、当該音声入力に対して前記ユーザ向けの信号種別を付与し、ユーザ用音声データとして前記ユーザ端末宛に前記センタサーバを介して送信すると共に、前記ユーザ周囲の人向けの音声入力がある場合には、当該音声入力に対して前記ユーザ周囲の人向けの信号種別を付与し、外部用音声データとして前記ユーザ端末宛に前記センタサーバを介して送信する送信手段として機能させることを特徴とするプログラム。 A program executed on an operator terminal in a voice guidance support system for guiding a user wearing a user terminal equipped with a camera,
The operator terminal,
First display means for displaying camera-captured image data captured by the user terminal, map information corresponding to position information of the user terminal , and basic image data captured in advance received from a center server on a display unit When,
Second display means for displaying the position and direction of the user on the map information based on the position information and orientation information of the user terminal received from the center server;
When there is a voice input for the user, a signal type for the user is assigned to the voice input, and the voice data for the user is transmitted to the user terminal via the center server. When there is a voice input for the surrounding people, a signal type for the people around the user is assigned to the voice input, and the voice data for external use is transmitted to the user terminal via the center server. A program characterized by functioning as transmission means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015093097A JP5928930B2 (en) | 2014-05-07 | 2015-04-30 | Voice guide support system and program thereof |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014095752 | 2014-05-07 | ||
JP2014095752 | 2014-05-07 | ||
JP2015093097A JP5928930B2 (en) | 2014-05-07 | 2015-04-30 | Voice guide support system and program thereof |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016080118A Division JP6600596B2 (en) | 2014-05-07 | 2016-04-13 | Voice guide support system and program thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015227869A JP2015227869A (en) | 2015-12-17 |
JP5928930B2 true JP5928930B2 (en) | 2016-06-01 |
Family
ID=54885406
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015093097A Active JP5928930B2 (en) | 2014-05-07 | 2015-04-30 | Voice guide support system and program thereof |
JP2016080118A Active JP6600596B2 (en) | 2014-05-07 | 2016-04-13 | Voice guide support system and program thereof |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016080118A Active JP6600596B2 (en) | 2014-05-07 | 2016-04-13 | Voice guide support system and program thereof |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP5928930B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6519463B2 (en) * | 2015-12-22 | 2019-05-29 | 東芝三菱電機産業システム株式会社 | Directional voice guidance system |
JP6773316B2 (en) * | 2016-08-16 | 2020-10-21 | Necソリューションイノベータ株式会社 | Guidance support device, guidance support method, and program |
JP6372728B1 (en) * | 2017-03-28 | 2018-08-15 | 株式会社新興グランド社 | Protruding two-dimensional code and method for creating the same |
JP2020076683A (en) * | 2018-11-09 | 2020-05-21 | トヨタ自動車株式会社 | Mobile object and remote guide system |
JP7290199B2 (en) * | 2020-03-31 | 2023-06-13 | 日本電気株式会社 | REMOTE MONITORING AND CONTROLLER, SYSTEM, METHOD AND PROGRAM |
WO2024166412A1 (en) * | 2023-02-10 | 2024-08-15 | パイオニア株式会社 | Information processing device, information processing method, information processing program, and storage medium |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11253481A (en) * | 1998-03-11 | 1999-09-21 | Mitsubishi Electric Corp | Guiding device for visually handicapped person |
JP2001023090A (en) * | 1999-07-02 | 2001-01-26 | Nec Corp | Vehicle supporting system |
JP2001221649A (en) * | 2000-02-07 | 2001-08-17 | Mitsubishi Electric Corp | Guiding system for pedestrian |
JP2002195850A (en) * | 2000-12-25 | 2002-07-10 | Sony Corp | Guide system, guide method and information communication terminal |
JP3603118B2 (en) * | 2001-06-08 | 2004-12-22 | 東京大学長 | Pseudo three-dimensional space expression system, pseudo three-dimensional space construction system, game system, and electronic map providing system |
JP2004078738A (en) * | 2002-08-21 | 2004-03-11 | Hitachi Electronics Service Co Ltd | Visually impaired person support method and support system, and portable terminal |
JP4581696B2 (en) * | 2005-01-17 | 2010-11-17 | 株式会社デンソーウェーブ | Location information provision system |
JP2006333114A (en) * | 2005-05-26 | 2006-12-07 | Yamaha Corp | Alarm system and portable terminal device for its system, base station, server device and program |
JP4611400B2 (en) * | 2008-04-21 | 2011-01-12 | 株式会社エヌ・ティ・ティ・ドコモ | Navigation support device |
JP2010060712A (en) * | 2008-09-02 | 2010-03-18 | Asia Air Survey Co Ltd | Guidance point guiding information providing system |
JP5489118B2 (en) * | 2010-01-28 | 2014-05-14 | 健治 吉田 | I / O device, information I / O system |
JP5766957B2 (en) * | 2011-01-14 | 2015-08-19 | オリンパス株式会社 | Gesture input device |
-
2015
- 2015-04-30 JP JP2015093097A patent/JP5928930B2/en active Active
-
2016
- 2016-04-13 JP JP2016080118A patent/JP6600596B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP6600596B2 (en) | 2019-10-30 |
JP2015227869A (en) | 2015-12-17 |
JP2016183968A (en) | 2016-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6600596B2 (en) | Voice guide support system and program thereof | |
US20220337693A1 (en) | Audio/Video Wearable Computer System with Integrated Projector | |
CN108028957B (en) | Information processing apparatus, information processing method, and machine-readable medium | |
JP6862629B2 (en) | Vehicle management server, in-vehicle terminal, watching method, and program in the watching transfer system | |
US20140100773A1 (en) | Method of Assistance for the Visually Impaired | |
WO2018180024A1 (en) | Information processing device, information processing method, and program | |
US20150237300A1 (en) | On Demand Experience Sharing for Wearable Computing Devices | |
CN104509089A (en) | Information processing device, information processing method, and program | |
US10417925B2 (en) | Guided tour audio communication systems having optical reader programming | |
WO2008016083A1 (en) | Overlay information presentation device and overlay information presentation system | |
WO2015178070A1 (en) | Information processing system, storage medium, and information processing method | |
WO2018075523A1 (en) | Audio/video wearable computer system with integrated projector | |
KR100762414B1 (en) | System for serving of real-time picture using communication network and method thereof | |
JP2016048301A (en) | Electronic device | |
CN111611812A (en) | Translating into braille | |
JP2019212205A (en) | Information processing device, information processing system, information processing method and program | |
JP6559096B2 (en) | Information output system and information output method | |
KR20220034735A (en) | Information processing system, information processing method and recording medium | |
JP7163020B2 (en) | Communication system, communication method and program | |
KR100813948B1 (en) | Study and position data providing method using potable study terminal and apparatus for the same | |
JP2006253894A (en) | Interpretation system, interpretation method, mobile communication terminal, and server apparatus | |
US10887552B1 (en) | Door-knocking for teleconferencing | |
WO2023281820A1 (en) | Information processing device, information processing method, and storage medium | |
JP7173530B2 (en) | Navigation device and navigation method | |
US11270682B2 (en) | Information processing device and information processing method for presentation of word-of-mouth information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151013 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160112 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160414 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5928930 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |