JP7163020B2 - 通信システム、通信方法およびプログラム - Google Patents

通信システム、通信方法およびプログラム Download PDF

Info

Publication number
JP7163020B2
JP7163020B2 JP2017236027A JP2017236027A JP7163020B2 JP 7163020 B2 JP7163020 B2 JP 7163020B2 JP 2017236027 A JP2017236027 A JP 2017236027A JP 2017236027 A JP2017236027 A JP 2017236027A JP 7163020 B2 JP7163020 B2 JP 7163020B2
Authority
JP
Japan
Prior art keywords
terminal device
orientation
unit
destination
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017236027A
Other languages
English (en)
Other versions
JP2019102032A (ja
Inventor
浩平 桃崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Digital Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Digital Solutions Corp filed Critical Toshiba Corp
Priority to JP2017236027A priority Critical patent/JP7163020B2/ja
Publication of JP2019102032A publication Critical patent/JP2019102032A/ja
Application granted granted Critical
Publication of JP7163020B2 publication Critical patent/JP7163020B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明の実施形態は、通信システム、通信方法およびプログラムに関する。
従来より、携帯電話やスマートフォン、無線インカム等ネットワークに接続される端末装置を用いることにより、端末装置のユーザ同士がメッセージのやりとり可能となるコミュニケーションシステムが知られている。一般的なコミュニケーションシステムにおいては、たとえ互いに目視可能な距離にいたとしても、音声メッセージは相手方の位置によらずに単に伝達され、テキストメッセージの情報は特に方向を示すことなく送信元ユーザの名前や時刻等の情報を伴って表示される。
実世界では通常、送信元ユーザと送信先ユーザの距離が直接声の届くほど近ければ、どちらから声を掛けられたかわかり、お互いに向き合うことで体を使ったジェスチャや顔表情を併用したコミュニケーションが可能になったり、お互いに歩み寄ることができる。このため、例えば混み合った駅前での待ち合わせで、自身が待ち合わせの相手方を見つけたとき、自身がいる方向を送信先ユーザに示すことができないために、直接声が届く程度まで接近するまで気付いてもらえないようなことが発生する。また、防護服やヘルメットを着用した作業者や騒音下の作業者においては、直接の声が届かないために相手の方向を知ることが困難で、ジェスチャなどを使ったコミュニケーションやお互いの歩み寄りによって共同作業を円滑に行うことができないという問題があった。
これに対し、送信元の方向を送信先に提示する装置がある。例えば、取得したカメラ画像により送信元から見た送信先の顔の向きを検出し、互いの位置関係を求めることにより、送信先から見た送信元の方向を端末に表示するシステムや、GPSを使用して自身(送信元)の位置と送信先の位置、自身の移動している方位とを取得することで、送信元の方位と送信元からの距離を算出し、送信先に方向を矢印表示するシステム等が知られている。
ところが従来技術では、ユーザの向きを撮像するカメラ画像の処理が必要であったため、カメラを装着しない場合や、画像処理の負荷がかけられない場合に適用できないという問題があった。また、送信先の向きによっては安定して方向を求めることが難しいという問題や、各々異なる方位を向いている複数の送信先へ一括送信の対応ができないという問題もあった。さらに、端末装置同士の距離が十分でない場合や、屋内・ビル影等で測位条件がよくない場合には、GPSの精度の影響により安定して方向を求めることが難しいために、送信先が目視可能な距離にいるような条件で適用できないという問題があった。
特許第3952870号公報 特許第3886923号公報 国際公開第07/105436号 特開2012-60285公報 特許第4327822号公報
本発明が解決しようとする課題は、一般的に端末装置に内蔵されているような方位センサの情報を組み合わせることにより、互いに目視可能な距離において、メッセージ(通信)の送信元・送信先の方向関係を掲示可能なコミュニケーションシステムを提供することである。互いの方向を掲示することにより、防護服やヘルメットを着用した作業者や騒音下の作業者相互のコミュニケーションにおいて、単に無線ネットワークを介して送信元の声が聞こえるだけでなく、送信元の位置を認識することでお互いに向き合ったりすることもでき、体を使ったジェスチャや顔表情を併用したコミュニケーションが可能となる。
上記課題を達成するために、実施形態のコミュニケーションシステムは、第一の端末装置が向いている方位を取得する方位取得部と、取得した前記第一の端末装置が向いている方位を送信する第一の通信部と、を備える第一の端末装置と、前記第一の端末装置より前記第一の端末装置が向いている方位を受信する第二の通信部と、第二の端末装置が向いている方位を取得する方位取得部と、受信した前記第一の端末装置が向いている方位と取得した第二の端末装置が向いている方位から、前記第二の端末装置から見た前記第一の端末装置の方向を算出する方向算出部と、算出した前記第一の端末装置の方向を表示する表示部またはおよび音で提示する音声出力部と、を備える第二の端末装置と、を備える。
第一の実施形態に係るコミュニケーションシステムの構成を表すブロック図。 第一の実施形態に係る(a)第一端末装置110(b)第一端末装置120の構成を示すブロック図。 第一の実施形態に係るウェアラブル端末110aおよび端末本体110bの構成を示すブロック図。 (a)ウェアラブル端末110aの装着イメージ図。(b)ウェアラブル端末110aの一例を示す図。 第一の実施形態に係るサーバ200の構成を示すブロック図。 第一の実施形態に係る第一端末装置110の処理フローを示す図。 第一の実施形態に係るサーバ200の処理フローを示す図。 第一の実施形態に係るユーザマスタ231の一例を示す図。 第一の実施形態に係るビーコンマスタ232の一例を示す図。 第一の実施形態に係る場所連動型テーブル233の一例を示す図。 第一の実施形態に係る呼び名辞書234の一例を示す図。 第一の実施形態に係るコミュニケーションシステムの各装置間の通信処理手順の一例を表すシーケンス図。 第一の実施形態に係るコミュニケーションシステムの各装置間の通信処理手順の一例を表すシーケンス図。 第一の実施形態に係るコミュニケーションシステムの各装置間の通信処理手順の一例を表すシーケンス図。 端末装置A(送信元)が端末装置B(送信先=鈴木さん)に向かって呼びかけを行う場合の送信元方向算出方法の一例を示す図。 端末装置D(送信元)がビーコンのある柱番号8番付近に向かって呼びかけを行う場合の送信元方向算出方法の一例を示す図。 端末装置H(送信元)がカメラ画像中で識別された25番のユーザの端末装置J(送信先)に向かって呼びかけを行う場合の送信元方向算出方法の一例を示す図。 本実施形態に係るスマートフォン型の端末装置の画面表示の一例を示す図。 佐藤さんの呼びかけに応じる形で左斜め方向を向いたときのスマートフォン型の端末装置の画面表示の一例を示す図。 本実施形態に係るタブレット型の端末装置の画面表示の一例を示す図。 佐藤さんの呼びかけに応じる形で左斜め方向を向いたときのタブレット型の端末装置の画面表示の一例を示す図。 第二の実施形態に係るコミュニケーションシステムの構成を表すブロック図。 第二の実施形態に係るコミュニケーションシステムの処理フローを示す図。 第三の実施形態に係るコミュニケーションシステムの構成を表すブロック図。 第三の実施形態に係るコミュニケーションシステムの処理フローを示す図。 第四の実施形態に係るコミュニケーションシステムの構成を表すブロック図。 第四の実施形態に係るコミュニケーションシステムの処理フローを示す図。
以下、本発明の実施形態について説明する。
(第一の実施形態)
図1は第一の実施形態に係るコミュニケーションシステムの構成を表すブロック図である。本実施形態のコミュニケーションシステムは、1台以上の端末装置を含む端末装置群100とサーバ200がネットワークを介して接続されて構成される。ここで、ネットワークとは、4G、LTE、3G等の携帯電話用無線や無線LAN、Bluetooth(登録商標)等を含む。
<端末装置の構成>
本実施形態に係る端末装置のブロック図を図2に示す。本実施形態では、メッセージ等の送信元ユーザが持つ端末装置を第一端末装置110、送信先に指定されたユーザが持つ端末装置を第二端末装置120としている。ただし、端末装置群100内の端末装置が持つ構成は同様であり、いずれも送信元・送信先の端末装置となりうるため、第一端末装置110の構成のみ説明し、他の端末装置に関する詳細は省略する。
図2(a)に送信元の端末装置である第一端末装置110を示す。第一端末装置110は、例えば専用の機器やスマートフォン、タブレット、PC等であり、ネットワークインタフェース111、方位情報取得部112、位置情報取得部113、表示部114、制御部115、入力部116、音声取得部117、音声出力部118を備える。
ネットワークインタフェース111は、自端末以外の端末装置あるいはサーバ200とデータの送受信を行う。方位情報取得部112は、第一端末装置110のユーザに関する方位情報を取得する。位置情報取得部113は、第一端末装置110の位置情報を取得する。
方位情報取得部112は、例えば地磁気センサ、ジャイロセンサ、GPS、加速度センサ等やそれらを組み合わせたものを用いるが、適切な精度で二次元または三次元での方位が検出できれば、いずれの方式でもよい。また、第一端末装置110本体に内蔵される方位センサで取得してもよい。さらに、第一端末装置110がユーザの向きとは異なる方位になってしまっている際等に、第一端末装置110にて取得される方位に対して、加速度センサやジャイロセンサ等による端末装置の上下、GPS等によるユーザの進行方向の情報に基づいて、ユーザが向く方位を補正してもよい。また、端末装置の上下方向の角度(仰角)を方位情報に含めても良い。
位置情報取得部113は、例えばGPSにより緯度経度等を含む位置情報を取得する。表示部114は、他の端末装置やサーバ200から受信したデータを表示する。制御部115は、第一端末装置110内の各構成や取得・受信したデータのやりとりを制御する。入力部116は、後述するモードの選択等、ユーザからの入力信号を取得する。音声取得部117は、第一端末装置110のユーザが発した音声を取得する。音声出力部118は、自端末以外の端末装置やサーバ200から受信した音声データを再生する。ここで、表示部114はタッチ入力可能なディスプレイ、つまり入力部116を兼ねていてもよい。
図2(b)に送信先の端末装置である第二端末装置120を示す。構成は第一端末装置110と同様で、ネットワークインタフェース121、方位情報取得部122、位置情報取得部123、表示部124、制御部125、入力部126、音声取得部127、音声出力部128を備え、いずれも第一端末装置と同様であるので、詳細は省略する。
本実施形態に係る端末装置は、図3に示すようにウェアラブル端末110aを用いて構成を分けても良い。ウェアラブル端末110aは、例えばメガネのような形状の装着可能なデバイスで、マイク型の音声取得部117、両耳イヤホン型の音声出力部118、装着しているユーザの向いている方位を取得する方位情報取得部112、ボタンスイッチ型の入力部116を備え、ネットワークインタフェース111、位置情報取得部113、表示部114、制御部115は端末本体110bが備える。装着イメージは図4(a)に示す。端末本体110bの表示部114は、ヘッドマウントディスプレイとしてウェアラブル端末110a側の構成に入れても良い。また、ウェアラブル端末110aは図4(b)に示すようなヘッドフォン型の形状のデバイスでも良い。さらに、方位情報取得部112を端末本体110b側の構成としても良い。加えて、ウェアラブル端末110aにカメラ等の画像取得部を構成として設けても良い。本実施形態に係るコミュニケーションシステムの端末装置群100内の送信元端末装置、送信先端末装置全てあるいは一部がウェアラブル端末100aを用いたものであっても良いし、ウェアラブル端末100aを用いなくても良い。
<サーバ200の構成>
次に、本実施形態に係るサーバ200の構成を図5に示す。サーバ200は、例えばオンプレミスサーバやクラウド型のサービス等を提供するサーバであり、ネットワークインタフェース210、処理部220、記憶部230、を備える。ネットワークインタフェース210は、端末装置群100内の端末装置とデータの送受信を行う。処理部220は、音声認識処理をしたりサーバ200内の各構成や受信したデータのやりとりを制御する。記憶部230は、必要なデータテーブルを記憶する。
≪コミュニケーションシステムの第一端末装置110の処理フロー≫
本実施形態に係るコミュニケーションシステムでは、「呼びかけモード」と「つぶやきモード」の二種類のモードが用意されている。「呼びかけモード」は、送信先が目視可能な場合等にその方向を向いてメッセージ入力(呼びかけ)を行うことで、送信先ユーザまたはグループのメンバーが持つ第一端末装置110から、送信元の方向を伴ってメッセージが出力されるモードである。「つぶやきモード」は、送信元の方向を伴わず、通常のメッセージ出力がなされるモードである。
図6は、本実施形態に係る第一端末装置110の処理フローである。最初にユーザが専用のアプリを起動またはホームページにアクセスする等して、ユーザがシステム起動の要求を行うと、第一端末装置110の制御部115が制御し、表示部114は、システムの初期画面を表示する(S601)。このとき、例えばユーザがログインIDとパスワードを入力することにより、本システムへログインしてもよい。また、システム起動の要求を第一端末装置110の識別情報(以下、端末装置識別IDとする)と共にサーバ200へ送信し、記憶部230のユーザテーブル内でフラグ管理等することで、各ユーザがシステムを起動しているか否か、つまりオンラインかオフラインか確認できるようにしても良い。
次に、ユーザはメッセージの送信を行う相手先のユーザまたはグループを選択し、入力部116よりユーザ氏名やグループ名の入力を行うことで、第一端末装置の制御部115は、選択された送信の相手先を取得する。なお、受信したメッセージにおいても、ここで選択したユーザまたはグループからのメッセージあるいはグループ宛に送信されたメッセージのみが表示されるようにしてもよい。続いて、メッセージを送信したいユーザが「呼びかけモード」と「つぶやきモード」のどちらでシステムを利用するか選択し、入力部116より信号の入力を行うことで、まず、第一端末装置110の制御部115は、入力部116が取得した信号が「呼びかけモード」か否か判定する(S602)。
<第一端末装置110における「呼びかけモード」の処理フロー>
送信元ユーザが送信先であるユーザやグループを目視可能な場合等、送信先から見た自身の方位を伝えたい場合に、送信元ユーザが「呼びかけモード」を選択することで、第一端末装置110の入力部116は、「呼びかけモード」の信号を取得する(S602のYES)。ユーザは、例えば表示部114に表示される「呼びかけモード」ボタンをタップしたり(この場合、表示部114は入力部116を兼ねる)、「呼びかけモード」と音声で入力したり(この場合、音声取得部117は入力部116を兼ね、音声認識処理を実行する)することで、「呼びかけモード」を選択する。入力部116がボタンスイッチの場合には、例えば連続して2回押した場合を呼びかけモードの入力開始ボタンとしてもよい。あるいは、入力部116(音声取得部117)に送信先の名前を(例えば「○○さん」)と呼びかけたり、呼びかけに対応させて予め設定された特定のキーワードを含む発声(例えば「こっち見て!」)をしたりすると、音声認識処理を実行してキーワードを検出し、呼びかけモード動作となるようにしても良い。この音声認識処理は、第一端末装置110内の入力部116(音声取得部117)で行ってもよいが、取得した音声をサーバ200に送信することでサーバ200の処理部220で行っても良い。
次に、方位情報取得部112は、第一端末装置110あるいはヘッドセット110a等が向いている方位を取得する(S603)。このとき、第一端末装置110のユーザ(送信元ユーザ)は第一端末装置110あるいはヘッドセット110a等をつけた顔を送信先の第二端末装置120(送信先ユーザ)に向けている状態である。ここで、第一端末装置110の位置情報取得部113は、第一端末装置110の位置情報、例えば緯度・経度も取得すると良い。
なお、第一端末装置110あるいはヘッドセット110aに、第一端末装置110あるいはヘッドセット110aが向いている方位と同じ方位を撮影するカメラ等図2,3に図示しない画像取得部を設け、取得した画像に対して公知の画像認識処理を行うことで、送信元ユーザの向いている先に存在する送信先の情報(送信先ユーザ、グループまたは端末装置)を特定したり、送信先ユーザの向いている方位を判定したりしても良い。ここで、カメラに代えて指向性のある赤外線センサ等の光学的入力装置を用いて検出するようにしてもよい。この画像認識処理は第一端末装置110側で行っても良いが、取得した画像をサーバ200に送信することでサーバ200の処理部220で行っても良い。
なお、端末装置によるカメラ画像の識別は、送信先ユーザが身に付けているもの、または送信先ユーザが持つ第二端末装置120の発する可視光や赤外線による識別符号の検出等により行う。また、方位情報取得部112で取得した結果と合わせることで、より精度良くユーザが向いている方位や送信先を導出しても良い。
また、端末装置群100が存在する領域を囲む壁等がある場合、例えば南西側の壁に「SW」「225」のような文字や二次元コード、赤外線等による識別符号などの情報を配置し、取得した画像中の文字「SW」「225」等の情報から画像取得部(送信元ユーザ)が向いている方位が南西(北を0度として右回りに225度)であること等を判定するようにし、方位情報取得部112に代えても良い。
続いて、送信元ユーザは音声取得部117より、送信先に送信する音声メッセージを入力、あるいは入力部116(タップ入力の場合、表示部114)よりテキストメッセージを入力する(S604)。このとき、送信先ユーザを特定するような情報を入力しても良い。例えば入力部116(タップ入力の場合、表示部114)から送信先ユーザやグループを選択したり、氏名やグループ名を入力しても良いし、音声メッセージに送信先を特定できるような情報(氏名、グループ名等)を加えても良い。
次に、制御部115は、入力されたメッセージ、メッセージの入力時刻、方位情報、第一端末装置110の識別ID等取得した情報をネットワークインタフェース111を介してサーバ200へ送信する(S605)。ここで、送信先が特定できていれば、送信先情報(送信先ユーザ、グループまたは端末装置)も送信する。方位情報とは、S602にて取得した、送信元ユーザが向いている方位であっても良いし、取得した方位の180度反対とすることで、第二端末装置120から見た第一端末装置110の方位に変換してから送信しても良い。また、テキストや音声メッセージの入力を行わず、単に方位情報のみを送信するようにしてもよい。さらに位置情報取得部113が第一端末装置110の位置情報を取得して送信してもよい。方位情報や位置情報は計測精度の情報を伴ってもよい。
続いて、制御部115は、入力部116が取得する信号がシステム終了要求であるか否か判定する(S606)。ユーザがシステムを終了したい場合には、第一端末装置110の表示部114に表示される「システム終了」ボタンをタップ、あるいはシステムからログアウトする等して、システム終了要求を入力する。システム終了要求がない場合(S606のNO)、S604へ戻る。このとき、例えば「システムを終了しますか?」という表示に対し「はい」を選ぶ等、システムを終了しない旨の入力があっても良い。終了要求がある場合(S606のYES)、システムを終了し、本実施形態に係る第一端末装置110の処理は終了する。ここで、一定時間以上、ユーザによる入力処理や操作がない場合に、システムを終了しても良い。また、各ユーザのオンライン・オフライン管理をしている場合、システム終了要求を第一端末装置110の識別IDと共にサーバ200へ送信する。
なお、本実施形態では、送信元ユーザのメッセージ入力前に方位情報を取得する形としているが、他のタイミングで取得・送信してもよい。また、送信元ユーザがメッセージ入力中に複数回、方位情報を取得して逐次送信してもよい。また、取得した方位情報を送信先と対応付けて制御部115内に保持しておき、繰り返し取得することなく同一の送信先に対して継続的に情報を送信するようにしても良い。
<第一端末装置110における「つぶやきモード」の処理フロー>
送信元ユーザがいる方位を送信先に伝えなくても良い場合、本実施形態では、送信元ユーザが「呼びかけモード」を選択せず(S602のNO)「つぶやきモード」を選択することで、第一端末装置110の入力部116は、「つぶやきモード」の信号を取得する(S607のYES)。ここで、送信元ユーザは、例えば表示部114に表示される「つぶやきモード」ボタンをタップしたり(この場合、表示部114は入力部116を兼ねる)、「つぶやきモード」と音声で入力したり(この場合、音声取得部117は入力部116を兼ねる)することで、「つぶやきモード」を選択する。入力部116がボタンスイッチの場合には、例えば1回押した場合をつぶやきモードの入力開始ボタンとしてもよい。また、「呼びかけモード」「つぶやきモード」のどちらかを選択する形にしても良いし、送信元の方位情報や送信先を指定する情報を取得できなかった場合には自動的に「つぶやきモード」としてもよい。
続いて、S604へ進む。「つぶやきモード」では、S605にて方位情報を送信しないが、方位情報を送信しない点以外は「呼びかけモード」と同様であるので、その後の処理についての詳細は省略する。
「つぶやきモード」を入力しなかった場合(S607のNO)、S606へ進むが、その後の処理は「呼びかけモード」と同様であるので省略する。
なお、第一端末装置110は、無線ネットワークを経由して、例えばREST APIによってサーバ200に接続し、送信を行う。音声メッセージ送信開始時には、音声送信セッション開始要求(PUT voice/start_time)を行い、セッションを識別する情報(セッションキー)がサーバ200から返される。音声メッセージは、逐次送信(POST voice)される。最後に、音声送信セッション終了の送信(PUT voice/end_time)を行う。また、テキストメッセージ送信時には、テキスト情報の送信(POST speech)を行う。音声メッセージの場合は、音声送信セッション開始要求やテキスト情報送信におけるパラメータとして、送信元の方位情報、位置情報などを送信する。
≪コミュニケーションシステムのサーバ200の処理フロー≫
続いて、本実施形態に係るコミュニケーションシステムにおけるサーバ200の処理フローを図7に示す。まず、第一端末装置110から送信されたメッセージ等をサーバ200のネットワークインタフェース210が受信する(S701)。「呼びかけモード」においては、S701にて、入力されたメッセージ、メッセージの入力時刻、方位情報、第一端末装置110の識別ID等を受信する。「つぶやきモード」においては、方位情報は含んでいない。
続いて、処理部220は、第一端末装置110の識別IDから、ユーザマスタ231を参照し、第一端末装置110のユーザ氏名を特定する(S702)。ユーザマスタ231は、少なくとも端末装置識別IDと当該端末装置を使用するユーザ氏名とを関連付けて保存しており、記憶部230に記憶されている。
本実施形態に係るユーザマスタ231の一例を図8に示す。本実施形態のユーザマスタ231は、「端末装置識別ID」、当該端末装置を使用する「ユーザ氏名」、当該ユーザが所属する「グループ名」欄を備える。例えば、受信した第一端末装置110の端末装置識別IDが「ab01」である場合、第一端末装置110のユーザは「佐藤 太郎」さんであることが読み取れる。
なお、ユーザマスタの構成としては、
(1)ユーザを内部的に区別する際にシステムが使用する「ユーザID」と、ユーザがシステムにログインする際に指定する「ログインID」と、「ユーザ氏名」と、当該ユーザが所属する「グループID」と、からなるログインIDマスタ、
(2)グループを内部的に区別する際にシステムが使用する「グループID」と「グループ名」とからなるグループIDマスタ、
(3)「端末装置識別ID」と当該端末装置を使用している「ユーザID」とからなる端末IDマスタ、
のように複数のテーブルであってもよい。
次に、処理部220は、受信したメッセージの送信先である第二端末装置120を特定する(S703)。第一端末装置110から送信先情報(送信先ユーザ、グループまたは端末装置)を受信していれば、記憶部230を参照し、送信先である第二端末装置識別IDを特定する。例えば、受信した送信先情報が「高橋 次郎」であった場合、処理部220は記憶部230内のユーザマスタ231を参照し、対応する端末装置識別ID「cd02」を特定する。受信した送信先情報が「営業」であった場合、処理部220は記憶部230内のユーザマスタ231の「グループ名」欄を参照し、対応する端末装置識別ID「ab01」「cd02」を特定する。あるいは、営業グループに所属するユーザの端末装置識別IDを予めまとめて登録しておいても良い。
また、例えば受信した送信先情報「ユーザID」が「xy07」であった場合、端末IDマスタを参照し、対応する端末装置識別IDを特定する。送信先情報「ユーザ氏名」が「高橋 次郎」であった場合、ログインIDマスタを参照し、対応するユーザID「xy07」を特定したのち、同様に端末装置識別IDを特定する。受信した送信先情報「グループID」が「gh13」であった場合、ログインIDマスタを参照し、対応するユーザID「xx06」「xy07」を特定したのち、端末IDマスタを参照し、対応する端末装置識別IDを特定する。送信先情報「グループ名」が「営業」であった場合、グループIDマスタを参照し、対応するグループID「gh13」を特定したのち、同様に端末装置識別IDを特定する。
場所に連動したグループ(以下、場所グループ)を使用する場合は、Bluetooth Low Energy(登録商標)等の無線や赤外線を用いたビーコン等を場所に対応して設置し、あらかじめビーコンの識別IDと場所の名称を関連付けて、ビーコンマスタ232として保存する。ビーコンとひも付く端末装置は、ビーコンから所定の距離圏内、例えば、半径5m以内に存在するとする。本実施形態に係るビーコンマスタ232の一例は図9に示す。この例では、工事現場あるいは製造現場等で、番号が付与された柱毎にビーコンが設置されているような場合であり、本実施形態のビーコンマスタ232は、「ビーコン識別ID」と場所の名称である「柱番号」を格納する欄を備える。
各ユーザが使用する端末装置がビーコンからの電波を受信することにより、各端末装置の制御部が当該ビーコンの5m以内にいると判定し、受信したビーコンの識別IDと自身の端末装置識別IDとをサーバ200に送信する。サーバ200の処理部220は、受信したビーコンの識別IDに基づいてビーコンマスタ232を参照し、場所の名称を特定し、場所連動型テーブル233に端末装置識別IDと関連付けて保存する。あるいは、場所グループとして各ビーコンの近くに存在する端末装置識別IDをまとめて登録する。また、処理部220は、端末装置の位置情報取得部で取得した位置情報を用いて、ビーコンからの距離を算出し保存しても良い。また、サーバ200で場所グループを管理するのではなく、個々の端末装置(送信先となる第二端末装置120)がビーコンの検出状況に応じて、送信先の場所グループに属するか否かを判定するようにしても良い。
本実施形態に係る場所連動型テーブル233の一例を図10に示す。本実施形態の場所連動型テーブルは、「端末装置識別ID」、場所の名称である「柱番号」、各ビーコンからの距離を示す「柱からの距離」を格納する欄を備える。例えば、端末装置識別IDが「ef30」のユーザは、「柱25」の近くにおり、柱25からは「0.5m」離れていることが読み取れる。
さらに、メッセージ等に含まれるユーザの呼び名よって送信先を特定する場合(詳しくは後述する)は、あらかじめ呼び名辞書234を用意する。本実施形態に係る呼び名辞書の一例を図11に示す。本実施形態の呼び名辞書234は、端末装置識別IDに対して、当該端末装置のユーザを示す呼び名が複数個関連付けて保存されている。例えば、メッセージ等に「太郎さん」が含まれていた場合、呼び名辞書234を参照し、端末装置識別IDID「ab01」のユーザだと推定できる。ここで、端末装置識別IDではなくユーザID等に対応付けたのち、ユーザマスタにて端末装置識別IDに対応付けても良い。
このように、ユーザ等の呼び名(「○○さん」等)やユーザが所属するグループ名(営業グループ等)、場所に連動したグループ等、対応関係を記憶部230にデータテーブルとして保持することで、様々な送信先を設定、特定することが可能である。なお、サーバ200の記憶部230のデータテーブルの全てまたは一部を送信元端末上あるいは送信先端末上に持たせてもよい。
続いて、処理部220は、受信したメッセージの認識処理を行う(S704)。音声メッセージの場合、公知の音声認識処理を行うことで音声メッセージをテキスト化する。ここで、S703にて送信先が特定できていない場合には、テキスト化されたメッセージまたは、受信したテキストメッセージの解析を行い、含まれていれば、ユーザの氏名や呼び名、グループ名、場所の名称等を抽出する。
テキストメッセージを解析した結果、ユーザの氏名や呼び名、グループ名、場所の名称を抽出した場合、処理部220は記憶部230内のデータテーブルを参照し、送信先を特定する。例えば、「鈴木さん」という呼び名を抽出した場合、呼び名辞書234を参照し、端末装置識別ID「ef30」を特定できる。
なお、送信先を特定あるいは推定できなかった場合は、第一端末装置110を除く全ての端末装置を配信先として設定する等してもよいし、第一端末装置110に「送信先は誰にしますか?」と音声あるいはテキストメッセージを送信するようにしても良い。ここで、配信は、送信先端末装置と他の端末装置が区別できなかった場合や、送信先端末装置装ではない他の端末装置に対しても、送信先端末と同じ内容のメッセージを送る場合等、他の端末装置を含む端末装置をメッセージの送り先に設定する場合を指す。また、送信先である第二端末装置120においてメッセージのテキスト表示を行わない場合等は、音声メッセージをテキスト化せず音声データのまま第二端末装置120に送信しても良い。さらに「呼びかけモード」の場合、メッセージがなくても(送信元ユーザの方向に関する情報だけでも)良い。加えて、送信元端末上で音声認識やテキスト解析をしたり、サーバ200での音声認識結果やテキストメッセージ解析結果を第一端末装置110に一旦送るなどして、第一端末装置110において送信先を選択してもよい。
第一端末装置110に画像取得部が存在し、画像データを受信している場合には、画像認識を行い、送信先ユーザの顔の特徴量を算出したり、服やヘルメット等、ユーザが身に付けているものに記載されている番号等を認識、データベース等と照合することで送信先を求めても良い。
続いて、処理部220は、第一端末装置110から受信した情報に方位情報が含まれるか否か判定する(S705)。方位情報が含まれる場合(S705のYES)、受信したモードが「呼びかけモード」であるので、S706に進む。方位情報が含まれない場合(S705のNO)、「つぶやきモード」であるので、S707に進む。
S706において、処理部220は、第二端末装置120の方位情報を取得し、送信先である第二端末装置120における第一端末装置110の方向の算出を行う。処理部220は、受信した方位情報に基づき、第一端末装置110が向いている方位の180度反対の方位と、第二端末装置120の向いている方位との差を算出する。ここで、第一端末装置110より受信した方位情報が、第一端末装置110の向いている方位そのままの場合は、180度反対の方位を用いて算出する。第一端末装置110より受信した方位情報が、第一端末装置110の向いている方位の180度反対の方位に変換されている場合は、そのままの方位を用いて算出する。ここで、第二端末装置の向いている方位を180度反対にすることで算出しても良い。なお、第一端末装置110の方向の算出は、第二端末装置120の制御部125で行っても良い。その場合、第一端末装置110から直接、あるいはサーバ200から少なくとも第一端末装置の方位情報を受信し、方位情報取得部122より取得した第二端末装置120の方位情報を使用して算出する。この場合、サーバ200では第一端末装置の方位情報をそのまま、または180度反対の方位に変換するのみで、第二端末装置に送信する。
≪コミュニケーションシステムの通信処理シーケンス≫
図12のシーケンス図は、本実施形態に係るコミュニケーションシステムの第一端末装置110、サーバ200、第二端末装置120、および他の端末装置の各装置間の通信処理手順の一例を示している。
まず、第一端末装置110のユーザ(送信元ユーザ)がテキストメッセージを入力することで、第一端末装置110はメッセージのテキスト内容を取得する(S1201)、次に、送信元ユーザがボタンを押す等することで、第一端末装置110は「呼びかけモード」の信号を受信する(S1202)。続いて、第一端末装置110は、方位情報取得部112より方位情報を取得し、メッセージのテキスト内容と第一端末装置110の方位情報をサーバに送信する(S1203)。
サーバ200は送信先である第二端末装置120へ、第一端末装置110から受信したメッセージのテキスト内容と方位情報を送信する(S1204)。第二端末装置120は、方位情報取得部122より方位情報を取得して第一端末装置110の方向を算出し、受信したメッセージのテキスト内容と算出した方向を表示する(S1205)。
また、サーバ200は送信先以外の端末装置へ、第一端末装置110から受信したメッセージのテキスト内容を配信する(S1206)。他の端末装置は、受信したメッセージのテキスト内容を表示する(S1207)。ここで、サーバ200はテキスト内容に加えて、方位情報と送信先情報を配信してもよく、他の端末装置は受信した送信先情報によって自端末が送信先でないことを判定し、単に受信したテキスト内容を表示するようにしてもよい。さらに、第一端末装置110は、サーバにセッション開始要求を送信し(S1208)、サーバからセッションIDを受信する。
次に、送信元ユーザは、第一端末装置110に向かって、発話1及び発話2の音声入力を行うことで、第一端末装置110は音声データを取得する(S1209、S1210)。第一端末装置110は、サーバ200へ取得した音声データを送信する(1211、S1212)。送信元ユーザが、発話終了後に「送信」ボタンを押す等することで、第一端末装置110は、発話終了の信号を取得する(S1213)。続いて、第一端末装置110はサーバ200に音声データ終端を通知し(S1214)、取得した方位情報をセッション終了要求に付与してサーバ200に送信する(S1215)。ここで、方位情報は、S1203にて取得した方位情報であっても良いし、再度取得し直した方位情報を使用しても良い。
サーバ200では送信先である第二端末装置120へ、送信元である第一端末110の方位情報付きでセッションIDに対応するデータ送信通知を送る(S1216)。通知を受け取った第二端末装置120では、方位情報を取得して第一端末装置110の方向を算出し、方向を表示する(S1217)。ここで、方位情報は、S1205にて取得した方位情報であっても良いし、再度取得し直した方位情報を使用しても良い。また、サーバ200から当該セッションIDの音声データを取得する(S1218)。ここで、音像の方向を指定して要求することで、サーバ200にて音像制御した音声データを取得してもよい。そして、取得した音声データを再生する(S1219)。
また、サーバ200は送信先以外の端末装置(他のユーザ)へも、セッションIDに対応するデータ配信通知を送る(S1220)。通知を受け取った他の端末装置では、配信があることを表示する(S1221)とともに、サーバから当該セッションIDの音声データを取得し(S1222)、再生する(S1223)。このように、受信した第一端末装置110の方位情報等を使用して、第二端末装置120が方向を算出してもよい。
図13のシーケンス図は、本実施形態に係るコミュニケーションシステムの第一端末装置110、サーバ200、第二端末装置120、および他の端末装置の各装置間の通信処理手順の異なる一例を示している。
S1201からS1203は図12と同様であるので、詳細は省略する。続いて、サーバ200は送信先である第二端末装置120へ、方位情報要求を送信する(S1301)。第二端末装置120は、方位情報取得部122より方位情報を取得して、サーバ200へ返す。
サーバ200では、受信した第一端末装置110および第二端末装置120の方位情報により、第二端末装置120から見た第一端末装置110の方向を算出し、算出した方向情報とテキスト内容とを第二端末装置に送信する(S1302)。S1205からS1207は、図12と同様であるため、詳細は省略する。
S1208からS1214においても、図12と同様であるため詳細は省略する。S1303では、方位情報なしでセッション終了要求をサーバ200に送信する。サーバ200では、第二端末装置120から見た第一端末装置110の方向を表す算出済みの方向情報付きでセッションIDに対応するデータ送信通知を第二端末装置に送信する(S1304)。通知を受け取った第二端末装置120では、第一端末装置110の方向を表示する(S1305)。その後のS1218からS1223は図12と同様であるため詳細は省略する。
なお、第二端末装置120は、S1301およびS1302において、サーバ200からの方向情報要求に応答して第二端末装置120の方位情報を返し、その後にサーバ200から方向情報とテキスト情報を受け取っているが、サーバ200からのテキスト情報通知を受け取った後、サーバ200に第二端末装置120の方位情報を指定して要求し、方向情報とテキスト情報を受け取ってもよい。また、第二端末装置120は、S1218において、サーバ200に音像の方向を指定して要求することもできるとしているが、方位情報を指定して要求し、サーバ200において方向を算出した上で音像制御した音声データを送出するようにしてもよい。
このように、サーバ200が第一端末装置110および第二端末装置120より方位情報を取得することで、方向を算出してもよい。また、所定の方向、例えば、ある端末装置から見て送信元端末装置が所定の角度内(例えばプラスマイナス15度以内)に存在する場合に送信先端末装置として指定されてもよい。さらに、送信先の端末装置および他の端末装置は、取得した方位情報から算出された方向に基づいて送信元端末装置の方向を表示、あるいは音像制御して再生する。
図14のシーケンス図は、本実施形態に係るコミュニケーションシステムの第一端末装置110と第二端末装置120の装置間の通信処理手順の一例を示している。
まず、第一端末装置のユーザ(送信元ユーザ)がテキストメッセージを入力することで、第一端末装置110はメッセージのテキスト内容を取得する(S1401)、次に、送信元ユーザがボタンを押す等することで、第一端末装置110は「呼びかけモード」の信号を受信する(S1402)。次に、第一端末装置110は、方位情報取得部112より方位情報を取得するとともに、方位情報要求を第二端末装置120に送信する(S1403)。第二端末装置120は、方位情報取得部122より方位情報を取得して、第一端末装置110へ返す。
続いて、第一端末装置110は、第一端末装置110および第二端末装置120の方位情報により、第二端末装置120から見た第一端末装置110の方向を算出し、入力されたテキスト内容と算出した方向情報を第二端末装置120へ送信する(S1404)。第二端末装置120は、受信したテキスト内容と方向を表示する(S1405)とともに、受信したテキスト内容と方向を表す文言とを音声合成して読み上げ出力する(S1406)。
次に、第一端末装置110のユーザ(送信元ユーザ)は第一端末装置110に向かって、発話1の音声入力を行うことで、第一端末装置110は音声データ1を取得する(S1407)。第一端末装置110は、第二端末装置120へ取得した音声データ1を送信する(S1408)。第二端末装置120は、第一端末装置の方向に従った音像制御を行って受信した音声データ1を再生する(S1409)。発話2についても同様(S1410、S1411、S1412)。送信元ユーザは発話終了後に「終話」ボタン等を押すことで、第一端末装置110は、発話終了の信号を取得する(S1413)。続いて、第一端末装置110は第二端末装置120に音声データ終端を通知する(S1414)。
次に、送信元ユーザが第一端末装置110にキストメッセージを入力することで、第一端末装置110はメッセージのテキスト内容を取得する(S1415)。次に、送信元ユーザがボタンを押す等することで、第一端末装置110は「つぶやきモード」の信号を受信する(S1416)。すると、第一端末装置110は入力されたテキスト内容を第二端末装置120へ送信する(S1417)。第二端末装置120は、受信したテキスト内容を表示する(S1418)とともに、受信したテキスト内容を音声合成して読み上げ出力する(S1419)。
また、送信元ユーザは第一端末装置110に向かって発話3の音声入力を行うことで、第一端末装置110は音声データ3を取得する(S1420)。第一端末装置110は取得した音声データ3を、第二端末装置120へ送信する(S1421)。第二端末装置120は受信した音声データ3を(音像制御等せず)通常再生する(S1422)。送信者は発話終了後に「終話」ボタン等を押すことで、第一端末装置110は、発話終了の信号を取得する(S1423)。次に、第一端末装置110は第二端末装置120に音声データ終端を通知する(S1424)。
このように、サーバ200を経由せず、第一端末装置110と第二端末装置120とが通信し、方向の算出は第一端末装置あるいは第二端末装置において行っても良い。
次に、端末装置A(送信元であり第一端末装置110にあたる)が端末装置B(送信先=鈴木さんであり第二端末装置120にあたる)に向かって呼びかけを行う場合の方向算出方法の一例を図15に示す。この例では、北方向を0度とし、右回りの角度を正の向きとして計算している。
端末装置A(つまり、送信元ユーザ)の向きである305度(またはその180度反対の125度)が送信元の方位情報として送信され、端末装置Bのユーザ(つまり送信先ユーザ)の向きが90度のとき、125-90=35より送信先ユーザの正面が基準で右35度が送信元ユーザの方向となる。なお、他の端末装置Cは無関係であり、送信元ユーザの方向は提示されない。
また、例えば、端末装置D(送信元)がビーコンのある柱番号8番付近に向かって呼びかけを行う場合を図16に示す。送信元ユーザの向きである300度(またはその180度反対の120度)が方位情報として送信され、柱番号8番のビーコンの近傍の場所グループである端末装置Eと端末装置Fが送信先となる。端末装置Eのユーザの向きが90度のとき、120-90=30より送信先ユーザの正面が基準で右30度が送信元ユーザの方向となる。端末装置Fの向きが180度のとき、120-180=-30より送信先ユーザ正面の基準で左30度が送信元ユーザの方向となる。このように、グループに対して送信する場合は、送信先の端末装置毎に送信元ユーザの方向を算出する。なお、ビーコンの近傍でない端末装置Gはこれらと無関係であり、送信元ユーザの方向は提示されない。
送信元の端末装置に画像取得部が存在し、画像データを受信している場合の方向算出方法の一例を図17に示す。送信先である端末装置Jのユーザは、服に「25」と記載されたゼッケンをつけているものとする。端末装置H(送信元)がカメラ画像中で識別された「25」番のユーザに向かって呼びかけを行う場合、送信元ユーザの向きとして315度(またはその180度反対の135度)が方位情報として送出され、端末装置Jのユーザの向きが90度のとき、135-90=45より送信先ユーザの正面が基準で右45度が送信元ユーザの方向となる。また、カメラ画像中の送信先ユーザの位置により送信元ユーザ正面基準で左10度の場合、送信元ユーザの向き305度(またはその180度反対の125度)が方位情報として送出され、端末装置Jのユーザの向きが90度のとき、125-90=35より送信先ユーザの正面を基準として右35度が送信元ユーザの方向となる。なお、端末装置Kはこれらと無関係であり、送信元ユーザの方向は提示されない。カメラ画像が存在する場合は、画像中で識別された送信先の位置により、カメラ(送信元)の向いている方向に対して送信先の方向の補正を行うようにしても良い。
なお、本実施形態では、方位情報(heading)は、0~359.99の数値(北を0として時計回りに360度、例えば”270”で西向き)を表す文字列である。位置情報は、緯度(location_latitude)と経度(location_longtitude)で、度単位の小数(南緯と西経を負の数、北緯と東経を正の数とし、例えば”35.690300,139.691700”で東京新宿付近、”-22.903400,-43.339300”でリオデジャネイロ付近)を表す文字列である。緯度経度は60進数の分単位の小数等の表現であってもよい。また、付帯情報としてこれらの計測精度(heading_accuracy、location_accuracy)を伴ってもよい。また、サーバ200においては、送信元および送信先の組と対応付けて、方位情報を記憶部230に保持し、同一の組に対して継続的に方位情報を付与するようにしてもよい。
また、第一端末装置110の位置情報取得部で取得した位置情報と、第二端末装置120より取得した位置情報とから距離を算出し、所定の距離より遠い場合(目視確認により正しい方向が与えられていない可能性が高いと判断)や、送信元ユーザとの距離が近く、場所グループ(対応するビーコン)の中心からの距離が遠い場合(送信元が意図する場所グループに合致しないと判断)には、方位情報を使用せず、「つぶやきモード」により出力をするようにしてもよい。また、算出した距離が所定の距離より遠い場合には、位置情報に基づいて算出される方向の精度が確保できるため、方位情報に基づいて算出される方向に代えて使うようにしてもよい。本実施形態では位置情報等の処理をサーバ200で行っているが、第一端末装置110または第二端末装置120側にて方向の算出を行う場合も同様である。
なお、位置情報を用いて2つの緯度経度の間の距離や方向を算出する場合、地球楕円体に基づいて高精度に計算することも可能だが、一般的には球体近似計算で求めてもよい。本実施形態では、距離・方位ともに高い精度は必要とされず、比較的近い距離で使用することが想定されるため、2つの点が平面上にあるとして近似計算しても問題にならない。
さらに、受信したメッセージの時刻情報と現在の時刻との時間差が大きい場合(送信から時間が経過して正しい方向でない可能性が高いと判断)にも、方位情報を使わず、「つぶやきモード」により出力をするようにしてもよい。また「呼びかけモード」において送信先ユーザ以外にもメッセージを配信する場合、送信先情報が自端末に合致しないときは、「つぶやきモード」に切り替え、方位情報を使わず出力をする。例えば、「営業」全員でメッセージを共有して「つぶやきモード」で使用している中で、「高橋さん」に宛てた「呼びかけ」が配信された場合、メッセージは「営業」全員が受信するが、「高橋さん」以外の端末では「つぶやきモード」として出力し、「高橋さん」の端末では「呼びかけモード」として出力する。
続いて、処理部220は、ネットワークインタフェース210を介して、メッセージ、メッセージの入力時刻、送信元ユーザの氏名等、「呼びかけモードの場合」は送信元ユーザの方向を送信先とし、特定した第二端末装置120に送信する(S707)。「呼びかけモード」では、送信先のみに音声やテキストを送信する場合は、送信先の端末装置識別IDを指定するのみでもよいが、他の端末装置にもメッセージを配信する場合には、配信先の指定とは別に、送信先を表す端末装置識別ID(heading_target)も指定する。これにて、サーバ200における「呼びかけモード」の処理は終了する。
≪コミュニケーションシステムの第二端末装置120の動作≫
「呼びかけモード」において、第二端末装置120では、メッセージ、メッセージの入力時刻、送信元ユーザの氏名、送信元ユーザの方向等をサーバ200より受信する。その後、受信したテキストメッセージをはじめ、送信元ユーザ氏名、算出した方向、メッセージの入力時刻等を表示部124に表示、あるいは、音声出力部128がステレオ再生可能なスピーカーや両耳イヤホンの場合には、音声メッセージ(または、テキストメッセージの音声合成音)を音像制御して音声出力部128より再生する。ここで。テキスト表示・音声再生の両方を行っても良い。また、メッセージがない場合は、方向を表示部124に表示したり、合図となる音を音像制御して再生するだけでもよい。片耳イヤホンの場合など音像制御ができない場合は、方向を表す言葉を伴って、例えば「○○さんが右斜め後ろから呼んでいます。」「呼びかけです。左側10時方向。」「右60度の方向の○○さんより。」などの文言を音声合成し、受信した音声メッセージの前または後に追加して再生することによって方向を提示してもよい。また、方向を振動や触覚で示してもよい。
「つぶやきモード」では、送信元の方向に関する情報を伴わず、単に表示部124にテキストメッセージが表示されたり、音声出力部128から音声メッセージが再生される。
送信先端末においては、無線ネットワークを経由して、例えばWebSocketAPIによってサーバ200に接続し、音声メッセージやテキストメッセージが送信されてきたときには通知を受ける。「つぶやきモード」の音声メッセージやテキストメッセージの場合は、セッションを識別する情報(セッションキー)やメッセージの入力時刻、第一端末装置識別ID(または第一端末装置のユーザID)、第二端末装置識別ID(または第二端末装置のユーザIDやグループID)等を伴ってメッセージが取得され、「呼びかけモード」の音声メッセージやテキストメッセージの場合は、送信元の方位情報あるいは方向も取得される。音声メッセージがある場合は、さらにセッションキーに対応する音声データを取得(GET voice)することができる。なお、「呼びかけモード」では、送信元の方位情報あるいは方向さえ取得し、表示または音声によって伝達することができれば、算出された方向から、誰かが呼んでいることを認識することができる。
続いて、スマートフォン型の端末装置の画面表示の一例を図18に示す。この例では、現在メッセージのやりとりがなされている「営業グループ」が画面最上段に表示されている。画面中ほどには、送受信しているテキストや音声の履歴が表示されており、左からの吹き出しは受信、右からの吹き出しは自端末から送信したメッセージで、画面下方が最新となっている。また、吹き出しに合わせて「佐藤>鈴木13:25」のような表示と左斜め方向の矢印があり、13:25に佐藤さんから鈴木さん(自端末)に向けて、左斜め方向から「鈴木さーん」という呼びかけがあったことを表している。
図19の画面表示例は、当該端末装置のユーザが佐藤さんの呼びかけに応じる形で左斜め方向を向いたときの画面表示であり、佐藤さんのところの矢印が画面上方向となり、画面最上段の送信先も「佐藤さん」に変わっている。そして、「よびかけ」ボタンを押して「はい、そっちに行きますね」と応答したことが表示されている。
次に、タブレット型の端末装置の画面表示の一例を図20に示す。左斜め方向からの佐藤さんの呼びかけが表示され、それ以前の佐藤さんのつぶやきなども左斜め上方向に向かって順次流れていく表示になっている。一方、正面方向からの高橋さんの呼びかけなどの以前のものは上方向に向かって順次流れていっている。そして、高橋さんからの呼びかけに応答した「ちょっと待ってください。」が画面下方に表示されている。
図21の画面表示例は、佐藤さんの呼びかけに応じる形で左斜め方向を向いたときの画面表示を示しており、画面が回転して、佐藤さんの発言が画面上方向に、高橋さんの発言が画面右斜め上方向に移っている。そして、「よびかけ」ボタンを押して「はい、そっちに行きますね」と応答したことが表示されている。自端末の発言は画面下方に流れていく。
このような表示や音像制御により、送信先に指定された各端末装置のユーザは、呼びかけの送信元の方向を知ることができ、送信元を目視確認できれば身振りなどによる意思疎通が可能になる。また、位置情報やカメラ画像を取得しなくとも、方位情報さえ取得すれば、サーバあるいは端末装置で簡単な計算処理を行うだけで、送信元の端末装置の方向を提示可能である。
なお、本実施形態においては、第一端末装置110及び第二端末装置120はサーバ200と通信を行い、ユーザマスタや呼び名のデータテーブルの処理、モードの判定、方位情報の処理などを主にサーバ200の処理部220において行うものとして説明したが、これらの処理は端末装置側で実施することが可能であり、サーバ200が介在する構成に限らない。例えば、ネットワークを介して第一端末装置110と第二端末装置120の間で通信を行い、モードの判定や方位情報の処理を第二端末装置120の制御部125で行う構成としてもよい。
また、本実施形態においては、「つぶやきモード」では方位情報を送受信しないものとして説明したが、「呼びかけモード」と「つぶやきモード」の識別はこれに限らない。方位情報をともに含み、別途モードをあらわす情報を追加してもよい。また、送信先を表す情報の有無によりモードを識別してもよい。
(第二の実施形態)
図22は第二の実施形態に係るコミュニケーションシステムの構成を表すブロック図である。本実施形態のコミュニケーションシステムは、1台以上の画像装置130を含む端末装置群100とサーバ200がネットワークを介して接続されて構成される。ただし、端末装置群100内の端末装置の構成は、第一の実施形態で説明した第一端末装置110または画像装置130または後述する可動装置140、移動体150と同様であり、いずれの端末装置も送信元・送信先の端末装置となりうるため、画像装置130の構成のみ説明し、他の端末装置に関する詳細は省略する。また、サーバ200の構成も第一の実施形態と同様であるので、詳細は省略する。
画像装置130は、ネットワークインタフェース131、方位情報取得部132、画像取得部133、表示部134、制御部135、入力部136を備える。ネットワークインタフェース131、方位情報取得部132、表示部134、制御部135、入力部136は第一の実施形態と同様であるので、詳細は省略する。画像取得部133は、カメラや赤外線センサー等、光学的入力装置であり、画像装置130周辺の画像を取得する。
次に図23を用いて、第二の実施形態に係るコミュニケーションシステムの処理フローを説明する。ただし、サーバ200や端末装置内における送信先端末装置の特定、方向算出の方法等は第一の実施形態と同様であるので、詳細は省略する。
まず、送信元端末装置である第一端末装置110の入力部116より「こっちを映して」ボタンがタップされる等して(この場合は表示部114が入力部116を兼ねる)、第一端末装置110を映して欲しい旨の信号を取得する(S2001)。ここで、第一端末装置110のユーザ(送信元ユーザ)は、第一端末装置110あるいはヘッドセット110a等をつけた顔を送信先の画像装置130に向けている状態である。なお、入力信号はボタンによるものに限らず、テキスト入力や音声によるもの等、合図を送ることができれば、どんなものでも良い。続いて、第一端末装置110の方位情報取得部112は第一の端末装置110が向いている方位を取得し、ネットワークインタフェース111を介して、取得した第一端末装置110の方位、第一端末装置110の端末装置識別ID等を送信する(S2002)。
次に、サーバ装置200あるいは送信先端末装置である画像装置130は、端末装置110からの信号等を受信し、サーバ200の処理部220あるいは、送信先端末装置である画像装置130の制御部135は、受信した端末装置識別IDから送信元端末装置である第一端末装置を110特定する(S2003)。次に、画像装置130内の方位情報取得部132は、画像装置130の向いている方位を取得する(S2004)。続いて、サーバ200の処理部220あるいは、画像装置130の制御部135は、取得した方位に基づいて画像装置130から見た第一端末装置110の方向を算出する(S2005)。
最後に、画像装置130の制御部135は、算出した方向に基づき、表示部134に映す画像を変化させる(S2006)。例えば、画像装置130から見た第一端末装置110の方向を中心として画像を拡大(デジタルズーム)する。または、図19に図示しない可動部を設け、画像取得部133が第一端末装置110の方向へ向くよう機械的に回転し、レンズの焦点距離を変化させて画像をズーム(光学ズーム)する。さらに、画像装置130の制御部135は、第一端末装置110の方向を映した画像情報を、第一端末装置110の方向に向いた状態で方位情報取得部132において取得された画像装置130の可動部の方位情報等と合わせて、ネットワークインタフェース131を介して送信する。すると、第一端末装置110では受信した画像情報が画像装置130の方向からのものとして出力される。なお、可動部を設けない場合などは、受信した第一端末装置110の方位の180度反対の方位を、画像装置130の方位情報として送信してもよい。
あるいは、表示部134に複数の表示面を設けており、複数の画像取得部133から取得した画像をそれぞれ表示している場合に、第一端末装置110の方向の画像取得部または第一端末装置110の方向の表示部のみの画像表示に切り替える。これにより、第二の実施形態に係るコミュニケーションシステムの処理は終了する。
このような仕組みにより、送信先に指定された画像装置は、信号の送信元である端末装置の方向を知ることができ、複数の端末装置のユーザが協力した画像の表示等、効果的な演出が可能である。このとき、位置情報を取得しなくとも、方位情報さえ取得すれば、サーバあるいは端末装置で簡単な計算処理を行うだけで、送信元の端末装置の方向を知ることができる。
(第三の実施形態)
図24は第三の実施形態に係るコミュニケーションシステムの構成を表すブロック図である。本実施形態のコミュニケーションシステムは、1台以上の可動装置140を含む端末装置群100とサーバ200がネットワークを介して接続されて構成される。ただし、端末装置群100内の端末装置の構成は、第一の実施形態で説明した第一端末装置110または画像装置130または可動装置140または後述する移動体150と同様であり、いずれの端末装置も送信元・送信先の端末装置となりうるため、可動装置140の構成のみ説明し、他の端末装置に関する詳細は省略する。また、サーバ200の構成も第一の実施形態と同様であるので、詳細は省略する。
可動装置140は、例えば、顔や身体の向きを変えることが可能なロボットや、照らす向きを変えることが可能なライト、ノズルの方向を変えることが可能な水鉄砲、ある場所に向かって手を伸ばすことが可能なロボットアーム等、作用させる向きを変更可能な装置であり、ネットワークインタフェース141、方位情報取得部142、可動部143、制御部144を備える。ネットワークインタフェース141、方位情報取得部142、制御部144は第一の実施形態と同様であるので、詳細は省略する。可動部143は、送信元端末装置の方向に対して、機械的な動作を行う。
次に図25を用いて、第三の実施形態に係るコミュニケーションシステムの処理フローを説明する。ただし、サーバ200や端末装置内における送信先端末装置の特定、方向算出の方法等は第一の実施形態と同様であるので、詳細は省略する。
まず、送信元端末装置である第一端末装置110の入力部116より、「こっちを向いて」ボタンがタップされる等して(この場合は表示部114が入力部116を兼ねる)、第一端末装置110の方向を向いて欲しい旨の信号を取得する(S2201)。ここで、第一端末装置110のユーザ(送信元ユーザ)は第一端末装置110あるいはヘッドセット110a等をつけた顔を送信先の可動装置140に向けている状態である。なお、入力信号はボタンによるものに限らず、テキスト入力や音声によるもの等、合図を送ることができれば、どんなものでも良い。続いて、第一端末装置110の方位情報取得部112は第一の端末装置110が向いている方位を取得し、ネットワークインタフェース111を介して、取得した第一端末装置110の方位、第一端末装置110の端末装置識別ID等を送信する(S2202)。
次に、サーバ装置200あるいは送信先端末装置である可動装置140は、端末装置110からの信号等を受信し、サーバ200の処理部220あるいは、送信先端末装置である可動装置140の制御部144は、受信した端末装置識別IDから送信元端末装置である第一端末装置110を特定する(S2203)。次に、可動装置140内の方位情報取得部142は、可動装置140の向いている方位を取得する(S2204)。続いて、サーバ200の処理部220あるいは、可動装置140の制御部144は、取得した方位に基づいて可動装置140から見た第一端末装置110の方向を算出する(S2205)。
最後に、可動装置140の制御部144は、算出した方向に基づき、可動部143を動作させる(S2206)。例えば、可動装置140から見た第一端末装置110の方向に、ロボットの顔や体が向いたり、ライトが回転して照らしたり、水鉄砲のノズルが回転して水をかけたり、ロボットアームが伸びたりする。さらに、可動装置140の制御部144は、第一端末装置110に対する応答として、例えば「○○さん、見つけた!」等のテキスト情報や音声情報を生成し、方位情報取得部142において取得された可動装置140の方位情報等と共にネットワークインタフェース141を介して送信する。その後、第一端末装置110は、受信した応答のテキスト情報や音声情報を可動装置140の方向を提示しながら出力する。また、第一端末装置110の入力部116より、「あっちを向いて」ボタンがタップされる等して、第一端末装置110の方向以外を向いて欲しい旨の信号を取得した場合には、第一の端末装置110とは異なる方向を選択して動作する(第一の端末装置110の方向を避ける)ようにしても良い。これにより、第三の実施形態に係るコミュニケーションシステムの処理は終了する。
このような仕組みにより、送信先に指定された可動装置は、送信元の方向に基づいた動作が可能になる。また、位置情報やカメラ画像を取得しなくとも、方位情報さえ取得すれば、サーバあるいは端末装置で簡単な計算処理を行うだけで、送信元の端末装置の方向を知ることができる。
(第四の実施形態)
図26は第四の実施形態に係るコミュニケーションシステムの構成を表すブロック図である。本実施形態のコミュニケーションシステムは、1台以上の移動体150を含む端末装置群100とサーバ200がネットワークを介して接続されて構成される。ただし、端末装置群100内の端末装置の構成は、第一の実施形態で説明した第一端末装置110または画像装置130または可動装置140または移動体150と同様であり、いずれの端末装置も送信元・送信先の端末装置となりうるため、移動体150の構成のみ説明し、他の端末装置に関する詳細は省略する。また、サーバ200の構成も第一の実施形態と同様であるので、詳細は省略する。
移動体150は、例えば車輪等が設置されている移動可能な装置であり、ネットワークインタフェース151、方位取得部152、移動部153、制御部154を備える。ネットワークインタフェース151、方位取得部152、制御部154は第一の実施形態と同様であるので、詳細は省略する。移動部153は、送信元端末装置の方向に対して、移動体150を移動させる。
次に図27を用いて、第四の実施形態に係るコミュニケーションシステムの処理フローを説明する。ただし、サーバ200や端末装置内における送信先端末装置の特定、方向算出の方法等は第一の実施形態と同様であるので、詳細は省略する。
まず、送信元端末装置である第一端末装置110の入力部116より「こっちに来て」ボタンがタップされる等して(この場合は表示部114が入力部116を兼ねる)、第一端末装置110の方向に来て欲しい旨の信号を取得する(S2401)。ここで、第一端末装置110のユーザ(送信元ユーザ)は、第一端末装置110あるいはヘッドセット110a等をつけた顔を送信先の移動体150に向けている状態である。なお、入力信号はボタンによるものに限らず、テキスト入力や音声によるもの等、合図を送ることができれば、どんなものでも良い。続いて、第一端末装置110の方位情報取得部112は第一の端末装置110が向いている方位を取得し、ネットワークインタフェース111を介して、取得した第一端末装置110の方位、第一端末装置110の端末装置識別ID等を送信する(S2402)。
次に、サーバ装置200あるいは送信先端末装置である移動体150は、端末装置110からの信号等を受信し、サーバ200の処理部あるいは、送信先端末装置である移動体150の制御部154は、受信した端末装置識別IDから送信元端末装置である第一端末装置110を特定する(S2403)。次に、移動体150内の方位取得部152は、移動体150の向いている方位を取得する(S2404)。続いて、サーバ200の処理部220あるいは、移動体150の制御部154は、取得した方位に基づいて移動体150から見た第一端末装置110の方向を算出する(S2405)。
次に、移動体150の制御部154は、算出した方向に基づき、移動部153を移動させる(S2406)。最後に、第一端末装置110の入力部116より「止まれ」ボタンがタップされる等して、止まって欲しい旨の信号を取得し(S2407)、ネットワークを介して信号を受信した移動体150の制御部154は、移動部153を停止させる。(S2408)。ここで、例えば、移動体150が乗り物であって、移動の方向と乗り口の向きが異なる場合には、S2401にて取得した第一端末装置110の方位あるいは、S2408にて再度取得した第一端末装置110の方位に基づいて、乗り口の向きを調節する。また、移動体がロボットである場合には、第一の端末装置110の向きに顔を向けたり、耳を向けたりしても良い。また、第一端末装置110の入力部116より、「道を空けて」「左へ避けて」ボタンがタップされる等して、第一端末装置110の方向以外へ移動して欲しい旨の信号を取得した場合には、第一の端末装置110とは異なる方向を選択して動作する(例えば第一の端末装置110の方向に対し±90度方向に移動する)ようにしても良い。なお、第一端末装置110や移動体150に、例えばGPS等の位置情報取得部や、カメラや赤外線センサ等の画像取得部を設け、取得あるいは解析した第一端末装置110の位置に基づいて「止まれ」信号がなくとも移動体150が止まるように制御可能にしても良いし、より精度良く移動体150を移動させても良い。また画像より検出した相手移動体150に対して(ボタン等をタップすることなく)直ちに「左へ避けて」(または画像中で右側で検出された場合には「右へ避けて」)信号を送出して退避させるようにしても良い。これにより、第四の実施形態に係るコミュニケーションシステムの処理は終了する。
このような仕組みにより、送信先に指定された移動体は、呼びかけの送信元の方向を知ることができ、送信元の方向に基づいて移動することができる。また、移動体が乗り物である場合は、送信元のユーザが乗りやすいように移動体の向きを調整して止まることができる。さらに、位置情報やカメラ画像を取得しなくとも、方位情報さえ取得すれば、サーバあるいは端末装置で簡単な計算処理を行うだけで、送信元の端末装置の方向を知ることができる。
なお、上記の実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク等)、光ディスク(CD-ROM,DVD等)、光磁気ディスク(MO)、半導体メモリ等の記憶媒体に格納して頒布することもできる。
ここで、記憶媒体としては、プログラムを記憶でき、且つコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。
また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているOS(オペレーティングシステム)や、データベース管理ソフト、ネットワークソフト等のMW(ミドルウェア)等が本実施形態を実現するための各処理の一部を実行しても良い。
さらに、本実施形態における記憶媒体は、コンピュータと独立した媒体に限らず、LANやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。
また、記憶媒体は1つに限らず、複数の媒体から本実施形態における処理が実行される場合も本実施形態における記憶媒体に含まれ、媒体構成は何れの構成であっても良い。
なお、本実施形態におけるコンピュータとは、記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するものであって、パソコン等の1つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であっても良い。
また、本実施形態の各記憶装置は1つの記憶装置で実現しても良いし、複数の記憶装置で実現しても良い。
そして、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態の機能を実現することが可能な機器、装置を総称している。
以上、いくつかの発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、説明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
100…端末装置群
110…第一端末装置
110a…端末本体
110b…ウェアラブル端末
120…第二端末装置
111、121…ネットワークインタフェース
112、122…方位情報取得部
113、123…位置情報取得部
114、124…表示部
115、125…制御部
116、126…入力部
117、127…音声取得部
118、128…音声出力部
130…画像装置
131…ネットワークインタフェース
132…方位情報取得部
133…画像取得部
134…表示部
135…制御部
136…入力部
140…可動装置
141…ネットワークインタフェース
142…方位情報取得部
143…可動部
144…制御部
150…移動体
151…ネットワークインタフェース
152…方位情報取得部
153…移動部
154…制御部
200…サーバ
210…ネットワークインタフェース
220…処理部
230…記憶部
231…ユーザマスタ
232…ビーコンマスタ
233…場所連動型テーブル
234…呼び名辞書

Claims (18)

  1. ネットワークにより接続される第一の端末装置および第二の端末装置を含む通信システムであって、前記第一の端末装置は、第一の端末装置が向いている方位を取得する方位取得部と、取得した前記第一の端末装置が向いている方位を送信する第一の通信部と、を備え、前記第一の端末装置が前記第二の端末装置を向いている場合に、前記第二の端末装置は、前記第一の端末装置より前記第一の端末装置が向いている方位を受信する第二の通信部と、第二の端末装置が向いている方位を取得する方位取得部と、受信した前記第一の端末装置が向いている方位と取得した第二の端末装置が向いている方位から、前記第二の端末装置から見た前記第一の端末装置の方向を算出する方向算出部と、算出した前記第一の端末装置の方向を表示する表示部またはおよび音で提示する音声出力部と、を備える通信システム。
  2. ネットワークにより接続される第一の端末装置および第二の端末装置を含む通信システムであって、前記第一の端末装置が前記第二の端末装置を向いている場合に、前記第一の端末装置は、第一の端末装置が向いている方位を取得する方位取得部と、前記第二の端末装置が向いている方位の受信および方向算出部が算出した前記第一の端末装置の方向を送信する第一の通信部と、前記第一の端末装置が向いている方位と受信した前記第二の端末装置が向いている方位から、前記第二の端末装置から見た前記第一の端末装置の方向を算出する方向算出部と、を備え、前記第二の端末装置は、第二の端末装置が向いている方位を取得する方位取得部と、取得した前記第二の端末装置が向いている方位の送信および前記第一の端末装置の方向算出部で算出した前記第一の端末装置の方向を受信する第二の通信部と、前記第二の通信部で受信した前記第一の端末装置の方向を表示する表示部またはおよび音で提示する音声出力部と、を備える、通信システム。
  3. 前記第一の端末装置は、メッセージを取得する入力部を備え、前記第一の通信部は、取得した前記メッセージを送信し、前記第二の通信部は、第一の通信部より前記メッセージを受信し、前記表示部またはおよび音声出力部は、受信した前記メッセージを提示する、請求項1または請求項2に記載の通信システム。
  4. 前記メッセージは、音声メッセージであり、前記音声出力部は、前記音声メッセージを音像制御し再生することで前記第一の端末装置の方向を提示する請求項3に記載の通信システム。
  5. 前記表示部は、矢印の向きによって前記第一の端末装置の方向を表示する請求項3または請求項4に記載の通信システム。
  6. 前記表示部は、矢印の向きによって前記第一の端末装置の方向を表示する請求項1または請求項2に記載の通信システム。
  7. 前記入力部は、送信先に関する情報を取得し、前記第一の端末装置は、取得した前記送信先に関する情報から送信先を特定する制御部を備え、前記第一の通信部は、前記制御部が特定した送信先に向けてデータを送信する、請求項3ないし請求項5のいずれかに記載の通信システム。
  8. ネットワークにより接続される第一の端末装置およびサーバおよび第二の端末装置を含む複数の端末装置を備える通信システムであって、前記第一の端末装置が前記第二の端末装置を向いている場合に、前記第一の端末装置は、第一の端末装置が向いている方位を取得する方位取得部と、送信先に関する情報を取得する入力部と、取得した第一の端末装置が向いている方向と前記送信先に関する情報と送信する第一の通信部と、を備え、前記サーバは、前記第一の通信部より前記第一の端末装置が向いている方位と前記送信先に関する情報とを受信するサーバ通信部と、受信した前記送信先に関する情報に基づいて送信先である第二の端末装置を特定する処理部と、を備え前記サーバ通信部は、さらに、前記処理部が特定した第二の端末装置より第二の端末装置が向いている方位を取得し、前記サーバは、さらに、受信した前記第一の端末装置が向いている方位と第二の端末装置が向いている方位とから、前記第二の端末装置から見た前記第一の端末装置の方向を算出する方向算出部と、を備え、 前記第二の端末装置は、第二の端末装置が向いている方位を取得する方位取得部と、取得した前記第二の端末装置が向いている方位を前記サーバへ送信し、算出した前記第一の端末装置の方向を受信する第二の通信部と、算出した前記第一の端末装置の方向を表示する表示部またはおよび音で出力する音声出力部と、を備える通信システム。
  9. ネットワークにより接続される第一の端末装置およびサーバおよび第二の端末装置を含む複数の端末装置を備える通信システムであって、前記第一の端末装置が前記第二の端末装置を向いている場合に、前記第一の端末装置は、第一の端末装置が向いている方位を取得する方位取得部と、メッセージを取得する入力部と、取得した第一の端末装置が向いている方位とメッセージとを送信する第一の通信部と、を備え、前記サーバは、前記第一の通信部より前記第一の端末装置が向いている方位と前記メッセージとを受信するサーバ通信部と、受信した前記メッセージを解析し、送信先に関する情報を抽出し、抽出した前記送信先に関する情報に基づいて送信先である第二の端末装置を特定する処理部と、を備え、前記サーバ通信部は、さらに、前記処理部が特定した第二の端末装置より第二の端末装置が向いている方位を取得し、前記サーバは、さらに、受信した前記第一の端末装置が向いている方位と第二の端末装置が向いている方位とから、前記第二の端末装置から見た前記第一の端末装置の方向を算出する方向算出部と、を備え、前記第二の端末装置は、第二の端末装置が向いている方位を取得する方位取得部と、取得した前記第二の端末装置が向いている方位を前記サーバへ送信し、算出した前記第一の端末装置の方向を受信する第二の通信部と、算出した前記第一の端末装置の方向を表示する表示部またはおよび音で出力する音声出力部と、を備える通信システム。
  10. 前記第二の端末装置は、前記第二の端末装置周辺の画像を取得する画像取得部を備え、前記画像取得部は、算出した前記第一の端末装置の方向に基づいて、表示部に表示する画像を変化させる、請求項1ないし請求項9のいずれかに記載の通信システム。
  11. 前記第二の端末装置は、算出した前記第一の端末装置の方向又は位置に基づいて、前記第二の端末装置の向き又は位置を変化させる可動部を備える、請求項1ないし請求項10のいずれかに記載の通信システム。
  12. 前記送信先に関する情報は、送信先端末装置の識別情報またはおよびユーザの識別情報である請求項7ないし請求項9のいずれかに記載の通信システム。
  13. 前記複数の端末装置またはおよび前記サーバは、端末装置の識別情報とユーザ氏名又はユーザが所属するグループ名又はユーザの呼び名とを関連付けて保存する記憶部を備え、前記送信先に関する情報は、ユーザ氏名又はユーザが所属するグループ名又はユーザの呼び名である請求項8,9のいずれかに記載の通信システム。
  14. 前記複数の端末装置は、場所ごとに設置されたビーコンからの信号を受信し、前記端末装置またはおよび前記サーバは、ビーコンとビーコンからの信号を受信した端末装置の識別情報とを関連付けて場所グループとして保存する記憶部を備え、前記送信先に関する情報は、場所グループである請求項8,9、13のいずれかに記載の通信システム。
  15. ネットワークにより接続される第一の端末装置および第二の端末装置を含む通信システムで実行されるプログラムであって、前記第一の端末装置が前記第二の端末装置を向いている場合に、前記第一の端末装置は、第一の端末装置が向いている方位を取得する方位取得機能と、取得した前記第一の端末装置が向いている方位を送信する第一の通信機能と、を備え、前記第二の端末装置は、前記第一の端末装置より前記第一の端末装置が向いている方位を受信する第二の通信機能と、第二の端末装置が向いている方位を取得する方位取得機能と、受信した前記第一の端末装置が向いている方位と取得した第二の端末装置が向いている方位から、前記第二の端末装置から見た前記第一の端末装置の方向を算出する方向算出機能と、算出した前記第一の端末装置の方向を表示する表示機能またはおよび音で提示する音声出力機能と、を備えることをコンピュータに実現させる、通信プログラム。
  16. ネットワークにより接続される第一の端末装置および第二の端末装置を含む通信システムで実行されるプログラムであって、前記第一の端末装置が前記第二の端末装置を向いている場合に、前記第一の端末装置は、第一の端末装置が向いている方位を取得する方位取得機能と、前記第二の端末装置が向いている方位の受信および方向算出機能が算出した前記第一の端末装置の方向を送信する第一の通信機能と、前記第一の端末装置が向いている方位と受信した前記第二の端末装置が向いている方位から、前記第二の端末装置から見た前記第一の端末装置の方向を算出する方向算出機能と、を備え、前記第二の端末装置は、第二の端末装置が向いている方位を取得する方位取得機能と、取得した前記第二の端末装置が向いている方位の送信および前記第一の端末装置の方向算出機能で算出した前記第一の端末装置の方向を受信する第二の通信機能と、前記第二の通信機能で受信した前記第一の端末装置の方向を表示する表示機能またはおよび音で提示する音声出力機能を備えることをコンピュータに実現させる、通信プログラム。
  17. ネットワークにより接続される第一の端末装置およびサーバおよび第二の端末装置を含む複数の端末装置を備える通信システムで実行されるプログラムであって、前記第一の端末装置が前記第二の端末装置を向いている場合に、前記第一の端末装置は、第一の端末装置が向いている方位を取得する方位取得機能と、送信先に関する情報を取得する入力機能と、取得した第一の端末装置が向いている方向と前記送信先に関する情報と送信する第一の通信機能と、を備え、前記サーバは、前記第一の通信機能より前記第一の端末装置が向いている方位と前記送信先に関する情報とを受信するサーバ通信機能と、受信した前記送信先に関する情報に基づいて送信先である第二の端末装置を特定する処理機能と、を備え前記サーバ通信機能は、さらに、前記処理機能が特定した第二の端末装置より第二の端末装置が向いている方位を取得し、前記サーバは、さらに、受信した前記第一の端末装置が向いている方位と第二の端末装置が向いている方位とから、前記第二の端末装置から見た前記第一の端末装置の方向を算出する方向算出機能と、を備え、
    前記第二の端末装置は、第二の端末装置が向いている方位を取得する方位取得機能と、取得した前記第二の端末装置が向いている方位を前記サーバへ送信し、算出した前記第一の端末装置の方向を受信する第二の通信機能と、算出した前記第一の端末装置の方向を表示する表示機能またはおよび音で出力する音声出力機能と、を備えることをコンピュータに実現させる、通信プログラム。
  18. ネットワークにより接続される第一の端末装置およびサーバおよび第二の端末装置を含む複数の端末装置を備える通信システムで実行されるプログラムであって、前記第一の端末装置が前記第二の端末装置を向いている場合に、前記第一の端末装置は、第一の端末装置が向いている方位を取得する方位取得機能と、メッセージを取得する入力機能と、取得した第一の端末装置が向いている方位とメッセージとを送信する第一の通信機能と、を備え、前記サーバは、前記第一の通信機能より前記第一の端末装置が向いている方位と前記メッセージとを受信するサーバ通信機能と、受信した前記メッセージを解析し、送信先に関する情報を抽出し、抽出した前記送信先に関する情報に基づいて送信先である第二の端末装置を特定する処理機能と、を備え、前記サーバ通信機能は、さらに、前記処理機能が特定した第二の端末装置より第二の端末装置が向いている方位を取得し、前記サーバは、さらに、受信した前記第一の端末装置が向いている方位と第二の端末装置が向いている方位とから、前記第二の端末装置から見た前記第一の端末装置の方向を算出する方向算出機能と、を備え、
    前記第二の端末装置は、第二の端末装置が向いている方位を取得する方位取得機能と、取得した前記第二の端末装置が向いている方位を前記サーバへ送信し、算出した前記第一の端末装置の方向を受信する第二の通信機能と、算出した前記第一の端末装置の方向を表示する表示機能またはおよび音で出力する音声出力機能と、を備えることをコンピュータに実現させる、通信プログラム。
JP2017236027A 2017-12-08 2017-12-08 通信システム、通信方法およびプログラム Active JP7163020B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017236027A JP7163020B2 (ja) 2017-12-08 2017-12-08 通信システム、通信方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017236027A JP7163020B2 (ja) 2017-12-08 2017-12-08 通信システム、通信方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2019102032A JP2019102032A (ja) 2019-06-24
JP7163020B2 true JP7163020B2 (ja) 2022-10-31

Family

ID=66977050

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017236027A Active JP7163020B2 (ja) 2017-12-08 2017-12-08 通信システム、通信方法およびプログラム

Country Status (1)

Country Link
JP (1) JP7163020B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7562297B2 (ja) 2019-06-07 2024-10-07 株式会社東芝 通信システム、通信方法およびプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002056490A (ja) 2000-08-09 2002-02-22 Nippon Telegr & Teleph Corp <Ntt> 歩行者探索方法およびシステム
JP2004274653A (ja) 2003-03-12 2004-09-30 Hitachi Ltd 移動端末及びコンピュータ・ソフトウエア
JP2006135372A (ja) 2004-11-02 2006-05-25 Nippon Telegr & Teleph Corp <Ntt> メッセージ表示方法、端末装置およびメッセージ表示プログラム
JP2008160397A (ja) 2006-12-22 2008-07-10 Yamaha Corp 音声通話装置および音声通話システム
JP2008177833A (ja) 2007-01-18 2008-07-31 Ntt Docomo Inc 通信端末装置、通信制御装置、通信処理システム、通信制御プログラム
WO2009084528A1 (ja) 2007-12-27 2009-07-09 Ntt Docomo, Inc. サーバ装置、及び、メッセージ送信方法
JP2012049781A (ja) 2010-08-26 2012-03-08 Sharp Corp 撮像装置の遠隔操作システム、遠隔操作方法、双方向通信システム、および双方向通信方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002056490A (ja) 2000-08-09 2002-02-22 Nippon Telegr & Teleph Corp <Ntt> 歩行者探索方法およびシステム
JP2004274653A (ja) 2003-03-12 2004-09-30 Hitachi Ltd 移動端末及びコンピュータ・ソフトウエア
JP2006135372A (ja) 2004-11-02 2006-05-25 Nippon Telegr & Teleph Corp <Ntt> メッセージ表示方法、端末装置およびメッセージ表示プログラム
JP2008160397A (ja) 2006-12-22 2008-07-10 Yamaha Corp 音声通話装置および音声通話システム
JP2008177833A (ja) 2007-01-18 2008-07-31 Ntt Docomo Inc 通信端末装置、通信制御装置、通信処理システム、通信制御プログラム
WO2009084528A1 (ja) 2007-12-27 2009-07-09 Ntt Docomo, Inc. サーバ装置、及び、メッセージ送信方法
JP2012049781A (ja) 2010-08-26 2012-03-08 Sharp Corp 撮像装置の遠隔操作システム、遠隔操作方法、双方向通信システム、および双方向通信方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7562297B2 (ja) 2019-06-07 2024-10-07 株式会社東芝 通信システム、通信方法およびプログラム

Also Published As

Publication number Publication date
JP2019102032A (ja) 2019-06-24

Similar Documents

Publication Publication Date Title
US20230366692A1 (en) System and method for providing user controlled directional feedback
US10223832B2 (en) Providing location occupancy analysis via a mixed reality device
EP3237991B1 (en) Communication system comprising head wearable devices
US8682346B2 (en) Location sensitive messaging
US8094834B1 (en) Remote auditory spatial communication aid
US11770675B1 (en) Methods for geographic gesturing using a mobile device for interactions with nearby other mobile devices
JPWO2018066191A1 (ja) サーバ、クライアント端末、制御方法、および記憶媒体
US10959051B2 (en) System and method for creating, storing and delivering self-guided audio tours
US20230141166A1 (en) Data Sharing Method and Device
JP6600596B2 (ja) 音声ガイド支援システム及びそのプログラム
KR102079395B1 (ko) 사용자 위치기반 증강현실 컨텐츠 제공방법
US11651562B2 (en) Method and system for enabling enhanced user-to-user communication in digital realities
Kim et al. Beginning of a new standard: Internet of Media Things
JP7163020B2 (ja) 通信システム、通信方法およびプログラム
JP2024138196A (ja) 翻訳管理システム
US11415428B2 (en) Audio information providing system, control method, and non-transitory computer readable medium
JP7562297B2 (ja) 通信システム、通信方法およびプログラム
US20220272502A1 (en) Information processing system, information processing method, and recording medium
RU2764060C2 (ru) Способ определения относительных местоположений по меньшей мере двух мобильных оконечных устройств
KR20180073010A (ko) 시나리오 기반 인공지능 메신저 서비스 제공 장치 및 이의 서비스 제공 방법
KR20130025047A (ko) 다자간 위치 추적 시스템 및 그 방법
CN111870430A (zh) 穿戴式引导设备
WO2024116270A1 (ja) 携帯情報端末及び仮想現実表示システム
US20240187267A1 (en) Method, user terminal, and server for displaying chat room based on location information
JP7028488B1 (ja) 管理サーバ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210917

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220803

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221019

R150 Certificate of patent or registration of utility model

Ref document number: 7163020

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150