JP7033729B2 - ガイド支援システム及びガイド支援方法 - Google Patents

Description

本発明は、グループ体験型イベントにおけるガイド業務を支援するガイド支援システム及びガイド支援方法に関するものである。

昨今の観光ツアーでは、各人の趣味嗜好に合ったオプショナルツアーの要望が高く、特にネイチャーツーリズムの機運から、グループ体験型のアウトドアツアーが増えており、このようなグループ体験型のアウトドアツアーに関するガイド業務を支援する技術が望まれる。

一方、観光ツアーでのガイド業務を支援する技術として、従来、美術館などの展示会場において、見学者が見学エリアに入ると、その見学エリアに関するガイド音声を見学者の端末から出力する技術が知られている（特許文献１参照）。また、団体旅行において、予め録音されたガイド音声や、添乗員が発話した音声を、旅行者の端末から出力する技術が知られている（特許文献２参照）。

特開２００９－２４５３８９号公報 特開２０１４－０９２９４２号公報

さて、グループ体験型のアウトドアツアーでは、ツアーの最中に参加者が自由に会話できる環境を整えることが望まれる。特に、アウトドアツアーでは、参加者が身体を使って様々な体験をすることから、身体を動かす際に邪魔にならないように、ウエアラブルな装置を用いて、ハンズフリー状態で会話できることが望まれる。

また、ツアーの最中の参加者の様子をカメラで撮影して録画するとともに、ツアーの最中の参加者の会話を録音して、ツアー終了後に、ツアーの最中の映像および音声を参加者に提供すると、参加者に大きな満足感を与えることができる。

しかしながら、従来の技術では、参加者の端末に一方的にガイド音声を送信して出力するものであり、ツアーの最中に参加者が支障なく自由に会話できる環境を実現することや、ツアーの最中の映像および音声を参加者に提供することに関しては何ら配慮されておらず、参加者に十分な満足感を与えることができないという問題があった。

そこで、本発明は、グループ体験型イベントにおいて、イベントの最中に参加者が支障なく自由に会話できる環境を実現すると共に、イベント終了後に、イベントの最中の映像および音声を参加者に提供して、参加者に十分な満足感を与えることができるガイド支援システム及びガイド支援方法を提供することを主な目的とする。

本発明のガイド支援システムは、グループ体験型イベントにおけるガイド業務を支援するガイド支援システムであって、グループ体験型イベントでガイドを行うユーザが所持するホスト端末と、グループ体験型イベントに参加するユーザが所持するクライアント端末と、を有し、前記ホスト端末は、ハンズフリー状態で音声を入出力するウエアラブルな音声入出力部と、前記クライアント端末との間で近距離無線通信方式により音声データを通信する無線通信部と、グループ体験型イベントの最中のユーザの様子を撮影するカメラと、制御部と、を備え、前記クライアント端末は、ハンズフリー状態で音声を入出力するウエアラブルな音声入出力部と、前記ホスト端末との間で近距離無線通信方式により音声データを通信する無線通信部と、制御部と、を備え、前記ホスト端末の制御部は、予め設定された認証情報に基づいて、グループ内の前記クライアント端末との間のグループ音声通信を制御し、前記ホスト端末の音声入出力部で入力された音声データ、および前記クライアント端末から受信した音声データを記憶部に蓄積する録音を行うと共に、前記カメラで撮影した映像データを、ユーザの発話期間に対応付けて前記記憶部に蓄積する録画を行う構成とする。

また、本発明のガイド支援方法は、グループ体験型イベントにおけるガイド業務を支援するガイド支援方法であって、グループ体験型イベントでガイドを行うユーザ側に設けられたホスト端末と、グループ体験型イベントに参加するユーザ側に設けられたクライアント端末との間で、ハンズフリー状態で音声を入出力するウエアラブルな音声入出力部で入出力される音声を、近距離無線通信方式により送受信するグループ音声通信を行い、前記ホスト端末において、予め設定された認証情報に基づいて、グループ内のクライアント端末との間の前記グループ音声通信を制御し、前記ホスト端末の音声入出力部で入力された音声データ、および前記クライアント端末から受信した音声データを蓄積する録音を行うと共に、カメラでグループ体験型イベントの最中のユーザの様子を撮影した映像データを、ユーザの発話期間に対応付けて蓄積する録画を行う構成とする。

本発明によれば、グループ体験型イベントにおいて、イベントの最中に参加者が支障なく自由に会話できる環境を実現すると共に、イベント終了後に、イベントの最中の映像および音声を参加者に提供して、参加者に十分な満足感を与えることができる。特に、映像データを、ユーザの発話期間に対応付けて蓄積するため、参加者が会話している最中のベストシーンの映像データおよび音声データを参加者に提供することができ、映像データおよび音声データの編集を手作業で行う手間を省くことができる。

本実施形態に係るガイド支援システムの全体構成図 ホスト端末１の概略構成を示すブロック図 クライアント端末２の概略構成を示すブロック図 管理サーバ３の概略構成を示すブロック図 ロケーション端末７の概略構成を示すブロック図 ホスト端末１、クライアント端末２およびロケーション端末７の取付状態を示す説明図 ホスト端末１の設定部３７で登録される設定情報の登録内容を示す説明図 通常モードでのグループ音声通信の状況を示すシーケンス図 翻訳モードでのグループ音声通信の状況を示すシーケンス図 無線タグ４の設置状況を示す説明図 ホスト端末１において無線タグ４の信号を受信した際の処理の手順を示すフロー図 管理サーバ３の音声編集部６５および映像編集部６６で行われる処理の概要を示す説明図

前記課題を解決するためになされた第１の発明は、グループ体験型イベントにおけるガイド業務を支援するガイド支援システムであって、グループ体験型イベントでガイドを行うユーザが所持するホスト端末と、グループ体験型イベントに参加するユーザが所持するクライアント端末と、を有し、前記ホスト端末は、ハンズフリー状態で音声を入出力するウエアラブルな音声入出力部と、前記クライアント端末との間で近距離無線通信方式により音声データを通信する無線通信部と、グループ体験型イベントの最中のユーザの様子を撮影するカメラと、制御部と、を備え、前記クライアント端末は、ハンズフリー状態で音声を入出力するウエアラブルな音声入出力部と、前記ホスト端末との間で近距離無線通信方式により音声データを通信する無線通信部と、制御部と、を備え、前記ホスト端末の制御部は、予め設定された認証情報に基づいて、グループ内の前記クライアント端末との間のグループ音声通信を制御し、前記ホスト端末の音声入出力部で入力された音声データ、および前記クライアント端末から受信した音声データを記憶部に蓄積する録音を行うと共に、前記カメラで撮影した映像データを、ユーザの発話期間に対応付けて前記記憶部に蓄積する録画を行う構成とする。

これによると、グループ体験型イベントにおいて、イベントの最中に参加者が支障なく自由に会話できる環境を実現すると共に、イベント終了後に、イベントの最中の映像および音声を参加者に提供して、参加者に十分な満足感を与えることができる。特に、映像データを、ユーザの発話期間に対応付けて蓄積するため、参加者が会話している最中のベストシーンの映像データおよび音声データを参加者に提供することができ、映像データおよび音声データの編集を手作業で行う手間を省くことができる。

また、第２の発明は、前記ホスト端末は、さらに、グループ体験型イベントの経路の途中の所定地点に設置された無線タグの信号を受信する無線タグリーダを備え、前記ホスト端末の制御部は、前記無線タグリーダで前記無線タグの信号を受信すると、所定地点に到着したことを表すアラート音声を、前記ホスト端末の音声入出力部から出力する構成とする。

これによると、所定地点（ガイドスポットや撮影スポットなど）に到着したことを案内者に通知するため、案内者が必要な業務を怠りなく実施することができる。

また、第３の発明は、前記ホスト端末は、さらに、グループ体験型イベントの経路の途中の所定地点に設置された無線タグの信号を受信する無線タグリーダを備え、前記ホスト端末の制御部は、前記無線タグリーダで前記無線タグの信号を受信すると、所定地点に関する案内を行う定型文のガイド音声を、前記クライアント端末の音声入出力部から出力する構成とする。

これによると、所定地点（ガイドスポット）に到着すると、その地点に関する必要なガイドを怠りなく実施することができる。

また、第４の発明は、前記ホスト端末の制御部は、ユーザごとの使用言語に関する設定情報に基づいて、ユーザが発話した原言語の音声を、出力先のユーザの使用言語による翻訳音声に変換するための翻訳指示情報を前記無線通信部から前記クライアント端末に送信し、前記クライアント端末は、前記翻訳指示情報に基づき、前記音声入出力部から前記翻訳音声を出力する構成とする。

これによると、参加者が案内者と使用言語が異なる場合に、参加者の使用言語でガイドを行うことができる。

また、第５の発明は、さらに、録音した音声データおよび録画した映像データを編集する編集装置を有し、この編集装置は、各ユーザの発話期間の音声データを結合してグループ全体の発話期間の音声データを生成する構成とする。

これによると、参加者が会話している最中のベストシーンの音声データを参加者に提供することができる。

また、第６の発明は、前記編集装置は、前記発話期間の前後に所定時間内の無声期間を含むように、前記グループ全体の発話期間の音声データを生成する構成とする。

これによると、参加者の会話内容を途切れることなく連続して聞き取ることができる。

また、第７の発明は、前記編集装置は、録画された前記映像データから、前記グループ全体の発話期間の音声データに対応する期間の映像データを抽出する構成とする。

これによると、参加者が会話している最中のベストシーンの映像データを参加者に提供することができる。

また、第８の発明は、前記グループ体験型イベントは、サイクリングツアー、ウオーキングツアー、カヌーツアー、スノーシューツアー、スノーランブリングツアーのいずれかである構成とする。

これによると、グループ体験型イベントとしての各種のアウトドアツアーに関するガイド業務を支援することができる。

また、第９の発明は、グループ体験型イベントにおけるガイド業務を支援するガイド支援方法であって、グループ体験型イベントでガイドを行うユーザ側に設けられたホスト端末と、グループ体験型イベントに参加するユーザ側に設けられたクライアント端末との間で、ハンズフリー状態で音声を入出力するウエアラブルな音声入出力部で入出力される音声を、近距離無線通信方式により送受信するグループ音声通信を行い、前記ホスト端末において、予め設定された認証情報に基づいて、グループ内のクライアント端末との間の前記グループ音声通信を制御し、前記ホスト端末の音声入出力部で入力された音声データ、および前記クライアント端末から受信した音声データを蓄積する録音を行うと共に、カメラでグループ体験型イベントの最中のユーザの様子を撮影した映像データを、ユーザの発話期間に対応付けて蓄積する録画を行う構成とする。

これによると、第１の発明と同様に、グループ体験型イベントにおいて、イベントの最中に参加者が支障なく自由に会話できる環境を実現すると共に、イベント終了後に、イベントの最中の映像および音声を参加者に提供して、参加者に十分な満足感を与えることができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

図１は、本実施形態に係るガイド支援システムの全体構成図である。

このガイド支援システムは、グループ体験型イベントとして、自転車に乗って所定のコースを周遊するサイクリングツアーにおいて、ガイド業務を支援するものであり、ホスト端末１と、クライアント端末２と、管理サーバ３（編集装置）と、無線タグ４と、閲覧端末５と、ユーザ端末６と、ロケーション端末７と、を備えている。

ホスト端末１は、サイクリングツアーでガイドを行う案内者（ホストユーザ）が所持し、サイクリングツアーのグループ内の参加者と会話を行うためのグループ音声通信や、案内者や参加者の音声の録音や、サイクリングツアーの様子を撮影した映像の録画などを行う。

クライアント端末２は、サイクリングツアーに参加する参加者（クライアントユーザ）が所持し、サイクリングツアーのグループ内の案内者および他の参加者と会話を行うためのグループ音声通信などを行う。

管理サーバ３は、ホスト端末１からアップロードされた音声データや映像データの編集処理を行い、編集済みの音声データおよび映像データを、閲覧端末５や参加者のユーザ端末６に配信する。

無線タグ４は、ツアーコースの途中のガイドスポットに設置され、無線タグ４から送信される信号をホスト端末１が受信することで、ガイドスポットに関する通知を案内者および参加者に対して行う。なお、無線タグ４に、無線タグリーダ２２の電波により稼働するパッシブ型のもの（ワイヤレス給電）を採用することで、電池や外部電源が不要になる。

閲覧端末５は、サイクリングツアーの参加者が宿泊する宿泊施設などに設置され、サイクリングツアーが終了した後に、管理サーバ３から配信される映像データおよび音声データを再生する。

ユーザ端末６は、スマートフォンやタブレット端末である。ユーザ端末６には、サイクリングツアー用のアプリケーションが予めインストールされ、このアプリケーションを起動して、サイクリングツアーが終了した後に、管理サーバ３から配信される映像データおよび音声データを再生する。また、所定のブラウザソフトを起動して、管理サーバ３にアクセスし、映像データおよび音声データを再生することもできる。

ロケーション端末７は、タッチパネルを備えたタブレット等で構成される表示デバイスであり、案内者が所持し、サイクリングツアーにおいて案内者を支援する種々の情報を案内者に提供する。また、案内者は、ロケーション端末７により、サイクリングツアーを開始する前に、グループ音声通信などに関する設定や、ホスト端末１の動作モードに関する設定などに関する操作を行う。なお、ロケーション端末７には、設定用のアプリケーションが予めインストールされ、このアプリケーションを起動して設定の操作を行う。

なお、本実施形態では、グループ体験型イベントとして、サイクリングツアーの例について説明するが、グループ体験型イベントはこれに限定されるものではなく、この他のアウトドアツアーでもよい。このようなアウトドアの体験ツアーとしては、例えば、ツアーコースを徒歩で周遊するウオーキングツアーや、カヌーを漕いで河川を周遊するカヌーツアーや、スノーシューで雪原を周遊するスノーシューツアーや、スキーで雪原を周遊するスノーランブリングツアーなどがある。さらに、グループ体験型イベントは、このような所定のコースを周遊するツアーの他に、所定のエリアで開催されるイベントであってもよい。

次に、ホスト端末１の概略構成について説明する。図２は、ホスト端末１の概略構成を示すブロック図である。

ホスト端末１は、ヘッドセット１１（音声入出力部）と、カメラ１２と、コントロールユニット１３と、を備えている。

ヘッドセット１１は、マイク１５と、スピーカー１６と、を備えている。マイク１５は、案内者が発話した音声を収音する。スピーカー１６は、クライアント端末から送信される参加者の音声を出力する。このスピーカー１６には、例えば骨伝導方式のスピーカーを採用するとよく、これにより、スピーカー１６が耳を塞がないため、周囲の音も聞き取ることができることから、自転車を安全に走行させることができる。

なお、ヘッドセット１１は、コントロールユニット１３と無線接続され、その無線通信には、例えばBluetooth（登録商標）などの近距離無線通信方式を採用するとよい。

カメラ１２は、サイクリングツアーの最中の参加者の様子を撮影する。

なお、カメラ１２は、コントロールユニット１３と有線接続すればよいが、接続ケーブルが自転車走行中に邪魔にならないようにヘッドセット１１と同様に、コントロールユニット１３と無線接続するとよい。

コントロールユニット１３は、無線通信部２１と、無線タグリーダ２２と、データ入出力部２３と、記憶部２４と、制御部２５と、を備えている。

無線通信部２１は、Bluetooth（登録商標）などの近距離無線通信方式により、クライアント端末２と通信を行う。

無線タグリーダ２２は、無線タグ４から送信される信号を受信する。

記憶部２４は、制御部２５を構成するプロセッサが実行する各種の制御プログラムを記憶する。また、記憶部２４は、カメラ１２で撮影した映像データや、ヘッドセット１１で収音した案内者の音声データや、クライアント端末２から受信した参加者の音声データを蓄積する。また、記憶部２４は、グループ音声通信および翻訳などに関する設定情報を記憶する。

データ入出力部２３は、案内者のロケーション端末７との間でデータの入出力を行い、例えば、案内者がロケーション端末７で行う設定操作による情報がホスト端末１に入力される。

また、データ入出力部２３は、管理サーバ３との間でデータの入出力を行い、例えば、記憶部２４に蓄積された映像データおよび音声データがホスト端末１から管理サーバ３にアップロードされる。なお、管理サーバ３に対する映像データおよび音声データのアップロードは、メモリカードなどの外部記憶媒体を介して行うようにしてもよい。

制御部２５は、通信制御部３１と、音声制御部３２と、翻訳部３３と、録音部３４と、録画部３５と、ガイドスポット通知部３６と、設定部３７と、を備えている。この制御部２５は、プロセッサで構成され、制御部２５の各部は、記憶部２４に記憶された制御プログラムをプロセッサで実行することで実現される。

通信制御部３１は、無線通信部２１で行われる各クライアント端末２との間の近距離無線通信を制御する。具体的には、予め行われる接続処理（ペアリング）で各クライアント端末２との間で認証情報（パスキー、リンクキーなど）を交換し、この認証情報に基づいて、クライアント端末２との間で行われるグループ音声通信を制御する。

音声制御部３２は、ヘッドセット１１で収音した案内者の音声データを、無線通信部２１からグループ内のクライアント端末２に送信し、無線通信部２１でクライアント端末２から受信した参加者の音声データを、ヘッドセット１１から出力する。

翻訳部３３は、ヘッドセット１１で収音した案内者が発話した音声を定型文のガイド翻訳音声に変換する定型文翻訳の制御を行う。すなわち、案内者は、定型文または定型文に対応するキーワードを発話する。ホスト端末１の翻訳部３３では、案内者が発話した音声の音声認識により取得した文字情報に基づいて、原言語の定型文を検索して、該当する原言語の定型文が見つかると、その原言語の定型文に対応する翻訳指示情報（例えば、定型文番号など）を参加者のクライアント端末２に送信する。そして、参加者のクライアント端末２において、翻訳指示情報にしたがって使用言語の定型文（翻訳定型文）を取得し、その翻訳定型文の音声合成により、翻訳音声の音声データを生成する。

ここで、本実施形態では、案内者が発話した音声をそのままクライアント端末２に送信して出力する通常モードと、翻訳指示情報をクライアント端末２に送信して翻訳音声を出力する翻訳モードとがあり、通常モードおよび翻訳モードのいずれかを案内者が選択することができる。

録音部３４は、ホスト端末１のヘッドセット１１で収音した案内者の音声データと、無線通信部２１でクライアント端末２から受信した参加者の音声データと、を記憶部２４に蓄積する録音を行う。このとき、音声データから発話が検出される度に、各発話期間の音声データを記憶部２４に蓄積する。また、各発話期間の音声データにタイムスタンプ（開始と終了の時刻情報）を付与する。なお、ホスト端末１またはクライアント端末２において、ロードノイズなどの環境音を収音する恐れがあるが、これらの環境音は、公知の音声認識技術を用いて、案内者や参加者の発話と区別して排除することができる。

録画部３５は、カメラ１２で撮影した映像データを記憶部２４に蓄積する録画を行う。このとき、映像データに時刻情報（タイムスタンプ）を付与し、映像データを、ユーザの発話期間に対応付けて記憶部２４に蓄積する。なお、録画部３５では、常に所定時間前（例えば３０秒）の映像を保持しておき、これと音声データのタイムスタンプに連動して録画をスタートし、所定の無声時間（例えば３０秒）を検知して録画をストップするようにしてもよい。

ガイドスポット通知部３６は、無線タグリーダ２２で無線タグ４の信号を受信すると、その無線タグ４に対応するガイドスポットを特定して、そのガイドスポットに関する通知を案内者および参加者に対して行う。

設定部３７は、サイクリングツアーを開始する前に、案内者がロケーション端末７で行う設定操作で入力された情報に基づいて、グループ音声通信および翻訳に関する設定や、ホスト端末１の動作モードに関する設定の処理を行い、設定内容が登録された設定情報（図８参照）を記憶部２４に記憶する。

なお、本実施形態では、カメラ１２をコントロールユニット１３に接続して、カメラ１２の映像データの録画、および管理サーバ３への映像データのアップロードを、コントロールユニット１３で行うようにしたが、カメラ１２をコントロールユニット１３に接続せずに、カメラ１２に録画部を設けて、メモリカードなどの外部記憶媒体を介して、管理サーバ３への映像データのアップロードを行うようにしてもよい。

次に、クライアント端末２の概略構成について説明する。図３は、クライアント端末２の概略構成を示すブロック図である。

クライアント端末２は、ヘッドセット４１（音声入出力部）と、コントロールユニット４２と、を備えている。

ヘッドセット４１は、ホスト端末１のヘッドセット１１と同様に、マイク４５と、スピーカー４６と、を備えている。マイク４５は、参加者が発話した音声を収音する。スピーカー４６は、ホスト端末１から受信した案内者の音声や他の参加者の音声を出力する。

なお、ヘッドセット４１は、コントロールユニット４２と無線接続され、その無線通信には、例えばBluetooth（登録商標）などの近距離無線通信方式を採用するとよい。

コントロールユニット４２は、無線通信部５１と、記憶部５２と、制御部５３と、を備えている。

無線通信部５１は、Bluetooth（登録商標）などの近距離無線通信により、ホスト端末１と通信を行う。

記憶部５２は、制御部５３を構成するプロセッサで実行されるプログラムを記憶する。また、記憶部５２は、ホスト端末１との間で交換したグループ音声通信の認証情報を記憶する。また、記憶部５２は、ホスト端末１が翻訳モードにある場合に、ホスト端末１から受信した翻訳指示情報に基づき、ヘッドセット４１で再生される翻訳定型文を記憶する。なお、翻訳定型文は、参加者の希望する言語設定に合わせて、予めサイクリングツアーを開始する前に、ホスト端末１の翻訳指示情報（定型文番号など）に対応付けて、記憶部５２へダウンロードされる。記憶部５２として、翻訳定型文が格納されたメモリカード等の記憶媒体により構成することも可能である。

制御部５３は、通信制御部５５と、音声制御部５６と、を備えている。この制御部５３は、プロセッサで構成され、制御部５３の各部は、記憶部５２に記憶されたプログラムをプロセッサで実行することで実現される。

通信制御部５５は、無線通信部５１で行われるホスト端末１との間の近距離無線通信を制御する。具体的には、予め行われる接続処理（ペアリング）でホスト端末１との間で認証情報（パスキー、リンクキーなど）を交換し、この認証情報に基づいて、ホスト端末１との間で行われるグループ音声通信を制御する。

音声制御部５６は、ヘッドセット４１で収音した参加者の音声データを、無線通信部５１からグループ内のホスト端末１に送信し、無線通信部５１でホスト端末１から受信した案内者の音声データ（翻訳モードでは、翻訳音声）や他の参加者の音声データを、ヘッドセット４１から出力する。

なお、本実施形態では、カメラ１２をホスト端末１に設けるようにしたが、カメラをクライアント端末２に設けて、クライアント端末２で録画を行うようにしてもよい。また、本実施形態では、参加者の音声の録音をホスト端末１で行うようにしたが、クライアント端末２で参加者の音声の録音を行うようにしてもよい。

次に、管理サーバ３の概略構成について説明する。図４は、管理サーバ３の概略構成を示すブロック図である。

管理サーバ３は、データ入出力部６１と、ネットワーク通信部６２と、記憶部６３と、制御部６４と、を備えている。

データ入出力部６１は、ホスト端末１との間でデータの入出力を行い、ホスト端末１から映像データおよび音声データがアップロードされる。

ネットワーク通信部６２は、ネットワークを介して閲覧端末５および参加者のユーザ端末６と通信を行う。

記憶部６３は、制御部６４を構成するプロセッサで実行されるプログラムを記憶する。また、記憶部６３は、ホスト端末１からアップロードされた映像データおよび音声データを記憶する。

制御部６４は、音声編集部６５と、映像編集部６６と、配信部６７と、を備えている。この制御部６４は、プロセッサで構成され、制御部６４の各部は、記憶部６３に記憶されたプログラムをプロセッサで実行することで実現される。

音声編集部６５は、ホスト端末１からアップロードされた音声データに対して編集処理を行う。具体的には、アップロードされた案内者の発話期間の音声データおよび各参加者の発話期間の音声データを結合（マージ）して、グループ全体の発話期間の音声データを生成する。ここで、各発話期間の音声データの前後には、所定時間（例えば、１０秒）の無声期間を付加し、各発話期間の音声データがそれぞれ独立して認識できるように編集してから、グループ全体の発話期間の音声データを生成する。

映像編集部６６は、ホスト端末１からアップロードされた映像データに対して編集処理を行う。具体的には、アップロードされた映像データから、音声編集部６５で取得したグループ全体の発話期間の音声データに対応する期間の映像データを抽出して、ダイジェスト映像データを生成する。なお、前述のように、ホスト端末１の録画部３５が、音声データのタイムスタンプに連動して録画のスタート／ストップが行われている場合には、無声時間の調整（３０秒から１０秒に変更）を行って、ダイジェスト映像データを生成する。なお、映像データは、ホスト端末１からアップロードされるものに限らず、ツアーコース中の撮影スポット（固定カメラ）で撮影した映像データもネットワークを介して取り込むことができる。

配信部６７は、音声編集部６５で生成した編集済みの音声データ、および映像編集部６６で生成した編集済みの映像データを、閲覧端末５および参加者のユーザ端末６に配信する。なお、音声データおよび映像データの配信に際し、所定のＢＧＭ音を合成した再生コンテンツを生成して閲覧端末５やユーザ端末６に配信することもできる。

次に、ロケーション端末７の概略構成について説明する。図５は、ロケーション端末７の概略構成を示すブロック図である。

ロケーション端末７は、通信部７１と、記憶部７２と、制御部７３と、表示部７４と、を備えている。

通信部７１は、ホスト端末１に設けられたデータ入出力部２３と有線接続、あるいは、無線接続されて、データの送受信を行う。

記憶部７２は、制御部７３を構成するプロセッサで実行されるプログラムを記憶する。また、記憶部７２は、サイクリングツアーにおいて案内者を支援する情報を記憶する。

表示部７４は、サイクリングツアーにおいて案内者を支援する情報を画面表示する。

制御部７３は、通信制御部７５と、設定部７６と、を備えている。この制御部７３は、プロセッサで構成され、制御部７３の各部は、記憶部７２に記憶されたプログラムをプロセッサで実行することで実現される。

通信制御部７５は、通信部７１で行われるホスト端末１との間の通信を制御する。

設定部７６は、サイクリングツアーにおいて案内者を支援する情報、例えば、ツアーコースに関する情報や、ガイドスポットで案内する情報などを設定する。

次に、ホスト端末１、クライアント端末２およびロケーション端末７の取付状態について説明する。図６は、ホスト端末１、クライアント端末２およびロケーション端末７の取付状態を示す説明図である。

図６（Ａ）に示すように、案内者の頭部には、ホスト端末１のヘッドセット１１が装着される。案内者が乗車する自転車には、ホスト端末１のカメラ１２と、ホスト端末１のコントロールユニット１３と、ロケーション端末７と、が搭載される。図６（Ａ）に示す例では、２台のカメラ１２に搭載され、一方のカメラ１２が自転車の前方を撮影し、他方のカメラ１２が自転車の後方を撮影する。撮影方向は、前方、後方に限らず、進行方向に対して、右方、左方であってもよい。また、カメラの台数を、１台、あるいは３台以上で構成するようにしてもよい。

図６（Ｂ）に示すように、参加者の頭部には、クライアント端末２のヘッドセット４１が装着される。参加者が乗車する自転車には、クライアント端末２のコントロールユニット４２が搭載される。

なお、本実施形態では、カメラ１２を自転車に搭載するようにしたが、ユーザの身体に装着されるウェアラブルカメラとしてもよい。また、ヘッドセット１１にカメラを一体的に設けるようにしてもよい。また、ツアーコースの途中の撮影スポットごとに複数の固定カメラを設置するようにしてもよい。

次に、ホスト端末１の設定部３７で登録される設定情報について説明する。図７は、設定情報の登録内容を示す説明図である。

ホスト端末１の設定部３７では、グループ音声通信および翻訳に関する設定を行い、設定内容が登録された設定情報（設定テーブル）を記憶部２４に記憶する。

この設定情報には、ホスト端末１（自装置）およびクライアント端末２に関する、端末ＩＤ（ユーザＩＤ）、グループ音声通信の認証情報、および使用言語などが登録される。端末ＩＤは、ホスト端末１およびクライアント端末２の識別情報である。認証情報は、近距離無線通信（Bluetooth（登録商標））によるグループ音声通信において、ホスト端末１とクライアント端末２との間の接続および音声データの送受信を行う際に必要となる情報（パスキー、リンクキーなど）であり、これにより、グループ音声通信の通信相手を、１つのグループとして予め登録されたホスト端末１およびクライアント端末２に制限することができる。使用言語は、案内者および参加者が使用できる言語である。ここでは、端末ＩＤ１０１（ホスト端末）が日本語、クライアント端末の端末ＩＤ１０２、１０４が英語、端末ＩＤ１０３が中国語に設定されている例を示している。その他、ドイツ語、フランス語、スペイン語、イタリア語、韓国語などが使用言語として登録可能である。

この設定情報の登録は、サイクリングツアーを開始する前に行われ、ホスト端末１およびクライアント端末２を１つのグループとして登録する操作により、端末ＩＤおよびグループ音声通信の認証情報が登録される。また、案内者は、参加者からの希望にしたがって、各参加者の使用言語をユーザ端末６で入力する操作を行うことで、各参加者の使用言語が登録される。また、この登録内容に合わせて、クライアント端末２には、図示しないサーバより、ホスト端末１の翻訳指示情報（定型文番号）と対応付けられた翻訳定型文が、クライアント端末２の記憶部５２へダウンロードされる。

次に、通常モードでのグループ音声通信について説明する。図８は、通常モードでのグループ音声通信の状況を示すシーケンス図である。

ここでは、ホスト端末１を親機とし、クライアント端末２を子機として、グループ音声通信を行う例を示しているが、これ以外に、例えば、ホスト端末１およびクライアント端末２に対して、予め優先順位データを付与し、この順位データにしたがって、各端末が自端末より下位の端末へ順次、音声データを転送するようなグループ音声通信を行うこともできる。

図８（Ａ）は、案内者が発話した場合である。この場合、ホスト端末１では、案内者のヘッドセット１１で、案内者が発話した音声が入力されると、音声制御部３２において、音声データを無線通信部２１からグループ内の各クライアント端末２に送信する。

各クライアント端末２では、ホスト端末１から送信される音声データを無線通信部５１で受信すると、音声制御部５６において、案内者の音声を参加者のヘッドセット４１から出力する。

図８（Ｂ）は、参加者が発話した場合である。この場合、クライアント端末２では、参加者のヘッドセット４１で、参加者が発話した音声が入力されると、音声制御部５６において、音声データを無線通信部５１からホスト端末１に送信する。

ホスト端末１では、クライアント端末２から送信される音声データを無線通信部２１で受信すると、音声制御部３２において、参加者の音声を案内者のヘッドセット１１から出力する。また、クライアント端末２から受信した参加者の音声データを、無線通信部２１から他のクライアント端末２に送信する。

他のクライアント端末２では、ホスト端末１から送信される音声データを無線通信部５１で受信すると、音声制御部５６において、他の参加者の音声を参加者のヘッドセット４１から出力する。

次に、翻訳モードでのグループ音声通信について説明する。図９は、翻訳モードでのグループ音声通信の状況を示すシーケンス図である。

翻訳モードでは、ホスト端末１において、案内者のヘッドセット１１で、定型文または定型文に対応するキーワードを発話して入力する。ホスト端末１の翻訳部３３では、案内者が発話した音声の音声認識により取得した文字情報に基づいて、原言語の定型文を検索して、該当する原言語の定型文が見つかると、その原言語の定型文に対応する翻訳指示情報（例えば、定型文番号など）を参加者のクライアント端末２に送信する。そして、参加者のクライアント端末２において、翻訳指示情報にしたがって、参加者の使用言語の翻訳定型文の音声合成により、翻訳音声の音声データを生成する。

すなわち、各クライアント端末２では、ホスト端末１から送信される翻訳指示情報を無線通信部５１で受信すると、音声制御部５６において、受信した翻訳指示情報に対応した翻訳音声を参加者のヘッドセット４１から出力する。

したがって、参加者同士で使用言語が異なる場合でも、ホスト端末１から送信される翻訳指示情報にしたがって参加者の使用言語に応じた翻訳音声がその参加者のクライアント端末２で略同時に出力することができる。なお、参加者の使用言語が案内者と一致する参加者がいる場合には、案内者が発話した原音声をそのまま、その参加者のクライアント端末２に送信して出力すればよい。

なお、本実施形態では、参加者のクライアント端末２の方で音声合成により翻訳音声の音声データを取得するようにしたが、言語および定型文ごとの翻訳音声の音声データを記憶部２４に予め記憶しておき、該当する言語および定型文の翻訳音声の音声データを記憶部２４から読み出すようにしてもよい。

また、本実施形態では、案内者が発話した音声に対応する定型翻訳音声を参加者のヘッドセット４１で出力するようにしたが、参加者が発話した音声に対応する定型翻訳音声を案内者のヘッドセット１１で出力するようにしてもよい。この場合、参加者の発話内容を文章として精度よく翻訳するには限界があり、また、処理負荷が大きくなるため、参加者が発話した短文、単語レベルでの定型翻訳音声を取得するとよい。これにより、案内者が参加者の発話内容を大まかに理解することができる。

なお、案内者（または参加者）の発話内容の翻訳に関して、ホスト端末１の翻訳部３３により翻訳処理を実行する例を示したが、翻訳処理にかかる負荷を軽減するため、翻訳サーバを設置することもできる。この場合、ツアーコース内に複数の無線接続ユニットを配置し、ホスト端末１やクライアント端末２が無線接続ユニットを介して翻訳サーバと接続し、翻訳サーバから取得した翻訳音声データを用いて、案内者および参加者の間で相互に交換するようにしてもよい。

次に、ホスト端末１において無線タグ４の信号を受信した際の処理について説明する。図１０は、無線タグ４の設置状況を示す説明図である。

ツアーコースの途中の要所には、案内者が案内を行うガイドスポットがあり、このガイドスポットには無線タグ４が設置されている。ホスト端末１の無線タグリーダ２２は、無線タグ４の通信エリアに入ると、無線タグ４から送信される信号を受信する。

ホスト端末１のガイドスポット通知部３６は、無線タグリーダ２２で無線タグ４の信号を受信すると、その無線タグ４に対応するガイドスポットを特定して、そのガイドスポットに関する通知を案内者および参加者に対して行う。

本実施形態では、アラートモードと自動音声ガイドモードとがあり、アラートモードでは、案内者に対する通知として、ガイドスポットに到着したことを表すアラート音声を、案内者のヘッドセット１１から出力する。また、自動音声ガイドモードでは、参加者に対する通知として、現在地のガイドスポットを案内するガイド音声を、参加者のヘッドセット４１から出力する。このアラートモードと自動音声ガイドモードとは、案内者の設定操作で切り替えることができる。

なお、本実施形態では、ツアーコースの途中のガイドスポットに無線タグ４を設置して、ガイドスポットであることを案内者や参加者に通知するようにしたが、ツアーコースの途中の撮影スポットに、無線タグ４と共にカメラを設置して、撮影スポットであること案内者や参加者に通知するようにしてもよい。

次に、ホスト端末１において無線タグ４の信号を受信した際の処理の手順について説明する。図１１は、無線タグ４の信号を受信した際の処理の手順を示すフロー図である。

アラートモードでは、図１１（Ａ）に示すように、ホスト端末１において、まず、無線タグリーダ２２で無線タグ４の信号を受信すると（ＳＴ１０１でＹｅｓ）、ガイドスポット通知部３６において、アラート音声の音声データを記憶部２４から取得し、音声制御部３２において、案内者のヘッドセット１１からアラート音声を出力する（ＳＴ１０２）。これにより、ガイドスポットに到着したことを案内者に知らせることができ、案内者は、発話により、現在地のガイドスポットに関するガイドを行う。

なお、アラート音声は、ガイドスポットに到着した旨の定型文の音声とすればよいが、単なる警告音を出力するようにしてもよい。また、現在地のガイドスポットに関するガイドの具体的な内容を表す音声を出力するようにしてもよい。

自動音声ガイドモードでは、図１１（Ｂ）に示すように、ホスト端末１において、まず、無線タグリーダ２２で無線タグ４の信号を受信すると（ＳＴ１０１でＹｅｓ）、ガイドスポット通知部３６において、現在地のガイドスポットに関する定型文のガイド音声の音声データを記憶部２４から取得し、音声制御部３２において、ガイド音声の音声データを無線通信部２１からクライアント端末２に送信する（ＳＴ１１１）。

クライアント端末２では、ホスト端末１から送信されるガイド音声の音声データを受信すると（ＳＴ２０１でＹｅｓ）、音声制御部５６において、参加者のヘッドセット４１からガイド音声を出力する（ＳＴ２０２）。

なお、本実施形態では、ガイドスポットを案内する定型文の音声データを記憶部２４から取得するようにしたが、定型文の音声合成により、その都度、音声データを生成するようにしてもよい。また、翻訳モードを選択して、参加者の使用言語に応じたガイド音声をクライアント端末２に送信して出力するようにしてもよい。

次に、管理サーバ３の音声編集部６５および映像編集部６６で行われる処理について説明する。図１２は、音声編集部６５および映像編集部６６で行われる処理の概要を示す説明図である。

管理サーバ３の音声編集部６５では、ホスト端末１からアップロードされた音声データに対して編集処理を行う。本実施形態では、サイクリングツアーの最中に発話した案内者や参加者の音声がホスト端末１の録音部３４で録音され、案内者の発話期間の音声データ、および各参加者の発話期間の音声データがホスト端末１から管理サーバ３にアップロードされる。音声編集部６５では、アップロードされた音声データに付加されたタイムスタンプに基づいて、案内者の音声データと各参加者の音声データとを結合（マージ）して、グループ全体の音声データ（結合音声データを）生成する。なお、図１２では、案内者の発話に対して各参加者が発話した一部の結合音声データを生成する例を表わしている。

このとき、発話期間の前後に所定時間内の無声期間を含むように結合音声データを生成する。すなわち、発話期間の間に所定時間以下の無声期間がある場合には、その無声期間が含まれるように音声データを結合する。また、発話期間の前後にある所定時間の無声期間が含まれるように結合音声データを生成する。これにより、案内者および参加者が会話していた期間の一連の発話音声が１つの連続した音声データに格納される。なお、所定時間以上の無声期間が存在する場合には、その所定時間を超えた期間だけ、結合音声データから除かれることになる。

管理サーバ３の映像編集部６６は、ホスト端末１からアップロードされた映像データに対して編集処理を行う。本実施形態では、サイクリングツアーの最中の参加者の様子を撮影した映像がホスト端末１の録画部３５で録画され、その映像データがホスト端末１から管理サーバ３にアップロードされる。映像編集部６６は、アップロードされた映像データに付加されたタイムスタンプに基づいて、映像データから、音声編集部６５で生成した結合音声データに対応する期間の映像データを抽出（切り出し）して、ダイジェスト映像データを生成する。なお、実際には、サイクリングツアーの期間中において、複数の結合音声データが生成されることから、複数のダイジェスト映像データが生成される。そして、これらのダイジェスト映像データを連続再生することで、サイクリングツアーの様子を全般に渡って、振り返ることができる。

管理サーバ３の配信部６７は、閲覧端末５および参加者のユーザ端末６からの要求に応じて、音声編集部６５で生成した編集済みの音声データ、および映像編集部６６で生成した編集済みの映像データを、閲覧端末５および参加者のユーザ端末６に配信する。

また、映像編集部６６は、無線タグ４の信号を受信した時刻を基準にして映像データを抽出する。これにより、ガイドスポットでの参加者の様子が映る映像を参加者に提供することができる。

この場合、ホスト端末１のガイドスポット通知部３６において、無線タグ４の信号を受信した時刻に関するタグ受信時刻情報を記憶部２４に記憶し、映像データおよび音声データを管理サーバ３にアップロードする際に、タグ受信時刻情報も管理サーバ３にアップロードし、このタグ受信時刻情報と一連の結合音声データに対応する期間とを組み合わせて、ダイジェスト映像データを生成してもよい。

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

本発明に係るガイド支援システム及びガイド支援方法は、グループ体験型イベントにおいて、イベントの最中に参加者が支障なく自由に会話できる環境を実現すると共に、イベント終了後に、イベントの最中の映像および音声を参加者に提供して、参加者に十分な満足感を与えることができる効果を有し、グループ体験型イベントにおけるガイド業務を支援するガイド支援システム及びガイド支援方法などとして有用である。

１ ホスト端末
２ クライアント端末
３ 管理サーバ（編集装置）
４ 無線タグ
５ 閲覧端末
６ ユーザ端末
７ ロケーション端末
１１ ヘッドセット（音声入出力部）
１２ カメラ
１３ コントロールユニット
２１ 無線通信部
２２ 無線タグリーダ
２４ 記憶部
２５ 制御部
４１ ヘッドセット（音声入出力部）
４２ コントロールユニット
５１ 無線通信部
５２ 記憶部
５３ 制御部
６３ 記憶部
６４ 制御部

Claims (9)

1. グループ体験型イベントにおけるガイド業務を支援するガイド支援システムであって、
   グループ体験型イベントでガイドを行うユーザが所持するホスト端末と、
   グループ体験型イベントに参加するユーザが所持するクライアント端末と、
   を有し、
   前記ホスト端末は、
   ハンズフリー状態で音声を入出力するウエアラブルな音声入出力部と、
   前記クライアント端末との間で近距離無線通信方式により音声データを通信する無線通信部と、
   グループ体験型イベントの最中のユーザの様子を撮影するカメラと、
   制御部と、
   を備え、
   前記クライアント端末は、
   ハンズフリー状態で音声を入出力するウエアラブルな音声入出力部と、
   前記ホスト端末との間で近距離無線通信方式により音声データを通信する無線通信部と、
   制御部と、
   を備え、
   前記ホスト端末の制御部は、
   予め設定された認証情報に基づいて、グループ内の前記クライアント端末との間のグループ音声通信を制御し、
   前記ホスト端末の音声入出力部で入力された音声データ、および前記クライアント端末から受信した音声データを記憶部に蓄積する録音を行うと共に、前記カメラで撮影した映像データを、ユーザの発話期間に対応付けて前記記憶部に蓄積する録画を行うことを特徴とするガイド支援システム。
2. 前記ホスト端末は、
   さらに、グループ体験型イベントの経路の途中の所定地点に設置された無線タグの信号を受信する無線タグリーダを備え、
   前記ホスト端末の制御部は、
   前記無線タグリーダで前記無線タグの信号を受信すると、所定地点に到着したことを表すアラート音声を、前記ホスト端末の音声入出力部から出力することを特徴とする請求項１に記載のガイド支援システム。
3. 前記ホスト端末は、
   さらに、グループ体験型イベントの経路の途中の所定地点に設置された無線タグの信号を受信する無線タグリーダを備え、
   前記ホスト端末の制御部は、
   前記無線タグリーダで前記無線タグの信号を受信すると、所定地点に関する案内を行う定型文のガイド音声を、前記クライアント端末の音声入出力部から出力することを特徴とする請求項１に記載のガイド支援システム。
4. 前記ホスト端末の制御部は、
   ユーザごとの使用言語に関する設定情報に基づいて、ユーザが発話した原言語の音声を、出力先のユーザの使用言語による翻訳音声に変換するための翻訳指示情報を前記無線通信部から前記クライアント端末に送信し、
   前記クライアント端末は、
   前記翻訳指示情報に基づき、前記音声入出力部から前記翻訳音声を出力することを特徴とする請求項１から請求項３のいずれかに記載のガイド支援システム。
5. さらに、録音した音声データおよび録画した映像データを編集する編集装置を有し、
   この編集装置は、
   各ユーザの発話期間の音声データを結合してグループ全体の発話期間の音声データを生成することを特徴とする請求項１から請求項４のいずれかに記載のガイド支援システム。
6. 前記編集装置は、
   前記発話期間の前後に所定時間内の無声期間を含むように、前記グループ全体の発話期間の音声データを生成することを特徴とする請求項５に記載のガイド支援システム。
7. 前記編集装置は、
   録画された前記映像データから、前記グループ全体の発話期間の音声データに対応する期間の映像データを抽出することを特徴とする請求項５または請求項６に記載のガイド支援システム。
8. 前記グループ体験型イベントは、
   サイクリングツアー、ウオーキングツアー、カヌーツアー、スノーシューツアー、スノーランブリングツアーのいずれかであることを特徴とする請求項１から請求項７のいずれかに記載のガイド支援システム。
9. グループ体験型イベントにおけるガイド業務を支援するガイド支援方法であって、
   グループ体験型イベントでガイドを行うユーザ側に設けられたホスト端末と、グループ体験型イベントに参加するユーザ側に設けられたクライアント端末との間で、ハンズフリー状態で音声を入出力するウエアラブルな音声入出力部で入出力される音声を、近距離無線通信方式により送受信するグループ音声通信を行い、
   前記ホスト端末において、
   予め設定された認証情報に基づいて、グループ内のクライアント端末との間の前記グループ音声通信を制御し、
   前記ホスト端末の音声入出力部で入力された音声データ、および前記クライアント端末から受信した音声データを蓄積する録音を行うと共に、カメラでグループ体験型イベントの最中のユーザの様子を撮影した映像データを、ユーザの発話期間に対応付けて蓄積する録画を行うことを特徴とするガイド支援方法。

Images