WO2021044588A1

WO2021044588A1 - メッセージ送信システム及びメッセージ送信方法

Info

Publication number: WO2021044588A1
Application number: PCT/JP2019/035007
Authority: WO
Inventors: 吉澤　和彦
Original assignee: マクセル株式会社
Priority date: 2019-09-05
Filing date: 2019-09-05
Publication date: 2021-03-11

Abstract

送信端末１００は、撮像部にて取得した外部画像内からメッセージを受信する受信対象者を選択し、受信対象者の位置情報１２を算出して、作成したメッセージ１１とともに管理サーバ３００へ送信する。受信端末２００は、端末識別情報２１を、受信端末の位置情報２２とともに管理サーバ３００へ送信する。管理サーバ３００は、受信端末２００から受信した端末識別情報２１と受信端末位置情報２２を紐付けしてデータベース４０００に登録する。管理サーバ３００は、送信端末１００からメッセージ１１と受信対象者位置情報１２を受信すると、データベース４０００を参照して、受信対象者位置情報１２に対応する（概略一致する）受信端末位置情報２２に紐付けされた端末識別情報２１を抽出し、端末識別情報で識別される受信端末２００に対して、送信端末から受信したメッセージを送信する。

Description

メッセージ送信システム及びメッセージ送信方法

　本発明は、送信端末から受信端末へ管理サーバを介してメッセージを送信するメッセージ送信システム及びメッセージ送信方法に関する。

　ユーザが視野内に存在する人物と意思疎通を行うため、直接対話するのではなくその人物の所持する情報端末にメッセージを送信したい場合がある。その際ユーザは、送信相手の人物が知り合いであって情報端末のメールアドレス等を知っていれば良いが、メールアドレスを知らない人物の場合は送信することができない。これに対処する方法として、例えば特許文献１には、「視野画像取得装置が前記ユーザの視野を画像として取得するステップと、前記取得した視野画像を解析し、人物の特定に係る特徴量を抽出するステップと、前記抽出した特徴量から、前記視野画像内の人物を特定するステップと、前記特定した人物に対して、電子メッセージを送信するステップと、を備えるメッセージ送信方法」が開示されている。

特開２０１４－１０５０２号公報

　特許文献１の方法によれば、抽出した特徴量から人物を特定するための特徴量データベースには、予め各人物の特徴量を登録しておく必要がある。しかし対象とする人物が想定されていればよいが、不特定多数の人物を対象とする場合は、予め各人物の特徴量を登録しておくことは容易ではない。また、視野画像から特徴量を抽出して人物を特定する処理は、処理負荷が大きいだけでなく、顔認識による人物の特定では人物の顔画像が鮮明でないと誤判別の恐れがある。すなわち、相手の顔が見える状態であることが条件となる。

　本発明の目的は、予め人物を特定するための特徴量データベースを用意することなく、視野内に存在する不特定多数の人物を対象にメッセージを送信できるメッセージ送信システム及びメッセージ送信方法を提供することである。

　本発明は、送信端末から受信端末へ管理サーバを介してメッセージを送信するメッセージ送信システムであって、送信端末は、送信端末の現在位置（以下、送信端末位置情報）を算出する端末位置算出部と、送信端末の外部画像を取得する第１撮像部と、送信者の操作を受け、取得した外部画像内からメッセージを受信する受信対象者を選択する受信対象者選択部と、送信端末位置情報を基に、選択された受信対象者の位置情報（以下、受信対象者位置情報）を算出する対象者位置算出部と、受信対象者へのメッセージを作成するメッセージ作成部と、作成されたメッセージを、算出した受信対象者位置情報とともに、管理サーバへ送信するメッセージ送信部と、を備える。受信端末は、受信端末の現在位置（以下、受信端末位置情報）を算出する端末位置算出部と、算出した受信端末位置情報を、受信端末の端末識別情報とともに管理サーバへ送信する端末位置送信部と、管理サーバから送信されたメッセージを受信するメッセージ受信部と、を備える。管理サーバは、受信端末から受信端末位置情報と端末識別情報を受信し、両者を紐付けしてデータベースに登録する端末管理部と、送信端末から送信された受信対象者へのメッセージと受信対象者位置情報を受信するメッセージ受信部と、データベースを参照して、受信した受信対象者位置情報に対応する受信端末位置情報に紐付けされた端末識別情報を抽出し、抽出した端末識別情報で識別される受信端末に対して、送信端末から受信したメッセージを送信するメッセージ送信部と、を備える。

　本発明は、送信端末から受信端末へ管理サーバを介してメッセージを送信するメッセージ送信方法であって、送信端末は、現在位置（以下、送信端末位置情報）を算出する端末位置算出ステップと、送信端末の外部画像を取得する外部画像取得ステップと、送信者の操作を受け、外部画像内からメッセージを受信する受信対象者を選択する受信対象者選択ステップと、送信端末位置情報を基に、選択された受信対象者の位置情報（以下、受信対象者位置情報）を算出する対象者位置算出ステップと、受信対象者へのメッセージを、算出した受信対象者位置情報とともに、管理サーバへ送信するメッセージ送信ステップと、を備える。受信端末は、現在位置（以下、受信端末位置情報）を算出する端末位置算出ステップと、算出した受信端末位置情報を、受信端末の端末識別情報とともに管理サーバへ送信する端末位置送信ステップと、管理サーバから送信されたメッセージを受信するメッセージ受信ステップと、を備える。管理サーバは、受信端末から受信端末位置情報と端末識別情報を受信し、両者を紐付けしてデータベースに登録する端末情報登録ステップと、送信端末から送信された受信対象者へのメッセージと受信対象者位置情報を受信するメッセージ受信ステップと、データベースを参照して、受信した受信対象者位置情報に対応する受信端末位置情報に紐付けされた端末識別情報を抽出し、抽出した端末識別情報で識別される受信端末に対して、送信端末から受信したメッセージを送信するメッセージ送信ステップと、を備える。

　本発明によれば、不特定多数の人物を対象とし、相手の顔が見えない場合であってもメッセージの送信が可能となり、使い勝手が向上する。

メッセージ送信システムの全体構成を示す図（実施例１）。メッセージ送信システムの基本動作を示す図。送信端末のハードウェア構成を示す図。送信端末の機能ブロック構成を示す図。送信端末の外観図（ＨＭＤの場合）。受信端末のハードウェア構成を示す図。受信端末の機能ブロック構成を示す図。受信端末の外観図（スマートフォンの場合）。管理サーバのハードウェア構成を示す図。管理サーバの機能ブロック構成を示す図。端末管理データベースのデータ構成を示す図。送信端末のメッセージ送信処理を示すフローチャート。受信端末の端末位置送信処理を示すフローチャート。管理サーバのメッセージ転送処理を示すフローチャート。ユーザ(送信者)と人物(受信者)の配置の例を示す図。ユーザによるメッセージ受信対象者の選択処理を示す図。メッセージ受信対象者の位置情報の算出法を説明する図。送信端末の撮影画像保存処理を示すフローチャート（実施例２）。送信端末が保存する撮影画像データの構成を示す図。送信端末のメッセージ送信処理を示すフローチャート。管理サーバのメッセージ転送処理を示すフローチャート。メッセージ送信システムの全体構成を示す図（実施例３）。

　以下、本発明の実施形態を図面を用いて説明する。

　図１Ａは、メッセージ送信システムの全体構成を示す図である。また図１Ｂは、メッセージ送信システムの基本動作を示す図である。

　図１Ａに示すように、メッセージ送信システム１は、送信端末１００と受信端末２００と管理サーバ３００とがネットワーク（ＬＡＮ）４００に接続され、送信端末１００から受信端末２００へ管理サーバを介してメッセージを送信できる構成となっている。領域１０（破線で示す）は、本システムにおいて端末間でメッセージの送受信が可能なエリアを示す。管理サーバ３００は、所定の領域１０の内側／外側の何れに設置しても良い。

　送信端末１００と受信端末２００は、ネットワーク（ＬＡＮ）４００を介した無線通信により、管理サーバ３００との間でメッセージを含めた情報の送信／受信が可能である。また、公知の測位システム等により、自身の端末の位置情報を取得可能である。ここでは、領域１０に設置した位置基準信号発生器５００からの信号を受信して、各端末(送信端末１００及び受信端末２００)が自身の位置情報を算出する。

　図１Ｂを用いて、各端末の動作を説明する。
送信端末１００は、ユーザ（送信者）Ｕ１が所持し、他の人物（受信者）Ｕ２，Ｕ３にメッセージ送信を行う装置である。具体的にはヘッドマウントディスプレイ（以下、ＨＭＤ）やスマートフォン等が用いられる。ここでは、ＨＭＤ（１００Ｈ）の例を示している。送信端末１００を所持するユーザＵ１は、送信端末１００の視野画像から、メッセージを送信する相手の人物（受信対象者）（Ｕ２またはＵ３）を選択する。送信端末１００がＨＭＤの場合、内部カメラでユーザＵ１の視線位置を検出することにより、視線位置に対応する人物を受信対象者として選択する。次に送信端末１００は、選択された受信対象者（Ｕ２またはＵ３）の位置情報（対象者位置情報１２）を算出する。そして、ユーザＵ１により作成されたメッセージ１１とともに対象者位置情報１２を管理サーバ３００に送信する。

　受信端末２００は、領域１０内の人物（受信者）Ｕ２，Ｕ３が所持し、ユーザ（送信者）Ｕ１からのメッセージ１１を管理サーバ３００を介して受信する装置である。具体的には、スマートフォンやスマートウォッチ、リストバンド等が用いられる。ここではスマートフォン（２００Ｓ）とスマートウォッチ（２００Ｗ）の例を示している。受信端末２００は、自身の端末識別情報２１と現在の位置情報（端末位置情報２２）とを、随時管理サーバ３００に送信している。そして受信対象者として選択された人物（Ｕ２またはＵ３）は、所持する受信端末２００にて、ユーザＵ１の作成したメッセージ１１を管理サーバ３００を介して受信する。

　管理サーバ３００は、各受信端末２００から受信した端末識別情報２１と端末位置情報２２とを紐付けして、端末管理データベース４０００に登録する。送信端末１００からメッセージ１１と対象者位置情報１２を受信すると、端末管理データベース４０００を参照し、対象者位置情報１２に対応する（概略一致する）端末位置情報２２に紐付けされた端末識別情報２１を取得する。そして、取得した端末識別情報２１で識別される受信端末２００に対して、送信端末１００から受信したメッセージ１１を送信（転送）する。

　このように本実施例のメッセージ送信システム１では、メッセージを送信する相手の人物（Ｕ２またはＵ３）の位置情報（対象者位置情報１２）と受信端末２００の位置情報（端末位置情報２２)とを比較し、両者が対応する（概略一致する）受信端末へメッセージ１１を送信する構成としている。これにより、相手の人物のメールアドレス等が分からない場合に、予め人物を特定するための特徴量データベース等を用意することなく、視野内に存在する不特定多数の人物を対象にメッセージを送信することが可能となる。

　位置基準信号発生器５００は、各端末(送信端末１００及び受信端末２００)が自身の位置情報を算出するための位置基準信号を出力する。例えば屋内で使用する場合は、ビーコン等の信号発生器を領域１０内に複数台設置することで、領域１０内の任意の位置において位置情報の算出が可能となる。もちろん、ＧＰＳ（Global Positioning System）信号が受信できる環境であれば、ＧＰＳ方式を利用する構成でも良い。

　本実施例のメッセージ送信システム１は、予め設定された所定の領域１０内で使用されることを想定している。領域１０の具体例としては、展示会場、イベント会場、パーティ会場、発表会や学会等の会場、等が可能であり、会場内を巡回中のスタッフ（送信者）が、任意の来客（受信者）にメッセージを送信する場合等に適用する。よって領域１０内では、各端末(送信端末１００と受信端末２００)は位置情報の算出が可能であり、各端末は管理サーバ３００との通信が可能である。なお、各端末間の直接の通信は可能でなくとも良い。

　図２Ａは、送信端末１００のハードウェア構成を示す図である。ここでは、ヘッドマウントディスプレイ（ＨＭＤ）を用いた場合の構成を中心に説明し、スマートフォンを用いた場合については説明を付記することにする。送信端末１００は、主制御部１０１、システムバス１０２、ＲＡＭ１０３、ストレージ部１１０、操作入力部１２０、画像処理部１３０、音声処理部１４０、位置情報取得部１５１、測距部１５２、センサ部１６０、ＬＡＮ通信部１７０、拡張インタフェース１８０、を備えて構成される。

　主制御部１０１は、所定の動作プログラムに従って送信端末１００全体を制御するマイクロプロセッサユニットである。システムバス１０２は、主制御部１０１と送信端末１００内の各動作ブロックとの間で各種コマンドやデータの送受信を行うためのデータ通信路である。

　ＲＡＭ（Random Access Memory）１０３は、基本動作プログラムやその他の動作プログラム実行時のワークエリアとなる。ＲＡＭ１０３は、主制御部１０１と一体構成であっても良い。

　ストレージ部１１０は、送信端末１００の動作プログラムや動作設定値等を記憶する。また、ネットワーク上からダウンロードした動作プログラムや該動作プログラムで作成した各種データ等を記憶可能である。ストレージ部１１０は、送信端末１００に外部から電源が供給されていない状態であっても記憶している情報を保持する必要がある。従って、例えば、フラッシュＲＯＭやＳＳＤ（Solid State Drive）などの半導体素子メモリ、ＨＤＤ（Hard Disc Drive）などの磁気ディスクドライブ、等のデバイスが用いられる。

　操作入力部１２０は、送信端末１００に対するユーザの操作入力を受け付けるユーザ操作インタフェースである。具体構成としては、電源キー、音量キー、ホームキー等の操作キー１２１と、ＨＭＤの操作に使用するタッチセンサ（タッチパッド）１２２と、スマートフォンの操作に使用するタッチパネル１２３を有する。なお、スマートフォンにおいて、タッチパネル１２３は表示部１３１に重ねて一体的に配置され、タッチスクリーンと呼ばれる。

　画像処理部１３０は、表示部１３１、画像信号処理部１３２、第１撮像部１３３、第２撮像部１３４で構成される。表示部１３１は、画像信号処理部１３２で生成した画像データ（オブジェクト）を表示する。ＨＭＤでは透過型と非透過型の表示があり、透過型では、透過して見える視野風景にオブジェクトを重畳して表示することが可能である（いわゆる拡張現実（ＡＲ）表示）。一方非透過型では、カメラスルー画像にオブジェクトを重畳して表示することが可能である（いわゆる仮想現実（ＶＲ）表示）。スマートフォンでは、非透過型であり、カメラスルー画像にオブジェクトを重畳して表示することが可能である。画像信号処理部１３２は、入力した画像データに基づいて表示部１３１を駆動する。

　第１撮像部１３３及び第２撮像部１３４は、レンズから入力した光を電気信号に変換し、被写体の画像データを取り込む撮影ユニット（カメラ）である。第１撮像部１３３は、ＨＭＤでは外部カメラ、スマートフォンではアウトカメラ（背面カメラ）である。第２撮像部１３４は、ＨＭＤでは内部カメラ、スマートフォンではインカメラ（前面カメラ）である。第１撮像部１３３で撮影した外部の画像は、非透過型の表示部１３１にカメラスルー画像として表示される。また、ＨＭＤにおいて第２撮像部１３４はユーザの視線を検出するために用いられる。

　音声処理部１４０は、音声出力部１４１、音声信号処理部１４２、音声入力部１４３で構成される。音声出力部１４１はスピーカであり、音声信号処理部１４２で処理した音声を出力する。音声入力部１４３はマイクであり、ユーザの声を入力する。

　位置情報取得部１５１は、位置基準信号発生器５００からの信号を受信して送信端末１００の位置情報を取得する。位置基準信号発生器５００がＧＰＳ信号の場合は位置情報が絶対座標（経度／緯度）であり、屋内に設置したビーコン等の信号の場合は位置情報が相対座標となる。すなわち、測位システムが屋内測位方式かＧＰＳ方式かに応じて、座標値が異なる。

　測距部１５２は、被写体までの距離を測定するデバイスであり、例えばＴＯＦ(Time Of Flight)方式が用いられる。なお、被写体までの距離を、第１撮像部１３３でステレオ撮影することにより測定することもできる。その場合は、第１撮像部１３３は測距部１５２を兼ねている。

　センサ部１６０は、送信端末１００の状態を検出するための各種センサ群であり、ジャイロセンサ１６１、地磁気センサ１６２、加速度センサ１６３を有し、送信端末１００の傾き、方位（指向方向）、動き、を検出する。なお、方位（指向方向）の検出は、地磁気センサ１６２とは異なる方位検出部を用いて行っても良い。

　ＬＡＮ（Local Area Network）通信部１７０は、アクセスポイント等を介してネットワーク４００と接続され、ネットワーク上の管理サーバ３００とデータの送受信を行う。

　拡張インタフェース１８０は、送信端末１００の機能を拡張するためのインタフェース群であり、映像／音声インタフェース、ＵＳＢ（Universal Serial Bus）インタフェース、メモリインタフェース等で構成される。

　なお、図２Ａに示した送信端末１００の構成例は、本実施例の動作に必須ではない構成も多数含んでおり、これらが備えられていない構成であっても本実施例の効果を損なうことはない。

　図２Ｂは、送信端末１００の機能ブロック構成を示す図である。ここでは、図２Ａにおけるストレージ部１１０が記憶し、ＲＡＭ１０３で実行する各種プログラムについて説明する。

　ストレージ部１１０には、ＯＳ等の基本動作プログラム１００１、送信端末１００の各種機能を実行するアプリケーション１００２、及び各種動作設定値や各種情報（動画／静止画／音声等）を記憶しておく各種データ記憶領域１００９を有する。ストレージ部１１０に記憶されているプログラムやアプリケーションは、ＲＡＭ１０３に展開され、主制御部１０１が展開されたプログラム／アプリケーションを実行することにより、送信端末１００の各種機能部が構成される。なお、各種データ記憶領域１００９には、第１撮像部１３３にて撮影された外部の画像が撮影画像データ５０００として記憶される。撮影画像データ５０００の使い方については後述の実施例２で説明する。

　ＲＡＭ１０３は、以下の機能部を有する。
基本動作実行部１１０１は、送信端末１００の基本的な動作を実行する。
端末位置算出部１１１１は、位置情報取得部１５１が位置基準信号発生器５００から受信した信号に基づいて、送信端末１００の現在の位置情報（端末位置情報）を算出する。

　受信対象者選択部１１１２は、メッセージを送信する相手の人物（すなわち受信対象者）を選択する。具体的に言えば、ＨＭＤにおいては、第１撮像部１３３（外部カメラ）が取得した外部画像の中で、第２撮像部１３４（内部カメラ）が検出したユーザＵ１の視線位置に対応する人物を受信対象者として選択する。
一方、スマートフォンにおいては、第１撮像部１３３（アウトカメラ）が取得して表示部１３１（タッチスクリーン）上に表示した外部画像の中で、ユーザＵ１のタッチ操作に対応する人物を受信対象者として選択する。

　対象者位置算出部１１１３は、受信対象者選択部１１１２で選択した受信対象者の位置情報（対象者位置情報）を算出する。そのため、測距部１５２が測定した受信対象者までの距離情報と、地磁気センサ１６２で測定した送信端末１００が指向する方位情報と、端末位置算出部１１１１が算出した端末位置情報に基づいて、受信対象者の位置情報を算出する。

　メッセージ作成部１１１４は、操作入力部１２０に対するユーザ操作指示に応じて、受信対象者に送信するメッセージの作成を行う。具体的には、音声入力部１４３から入力したユーザの発声音をメッセージデータとする。表示部１３１に表示された仮想キーボードに対するジェスチャ入力で、メッセージデータを作成する。あるいは、スマートフォン等の外部情報機器に予め作成済みのメッセージデータを選択することにより行う。

　メッセージ送信部１１１５は、メッセージ作成部１１１４で作成したメッセージデータを、対象者位置算出部１１１３で算出した対象者位置情報とともに、ＬＡＮ通信部１７０を介して管理サーバ３００に送信する。
一時記憶領域１１９９は、アプリケーションにより作成／取得された各種情報の一時的な記憶領域である。

　図２Ｃは、送信端末１００の外観図として、ユーザＵ１がＨＭＤ（１００Ｈ）を装着した状態を示し、（ａ）は正面図、（ｂ）は側面図である。ユーザＵ１は、ＨＭＤ（１００Ｈ）を頭部に装着し、透過型（又は非透過型）の表示部１３１で前方の風景を見ている状態である。

　ＨＭＤ（１００Ｈ）のフレームの前面には、左右端に被写体を撮影する第１撮像部（外部カメラ）１３３Ｌ，１３３Ｒを、中央に被写体までの距離を測定する測距部１５２を有する。フレームの側面には、ユーザの操作を受け付けるタッチセンサ１２２Ｌと音声出力部（スピーカ）１４１Ｌを有する。第１撮像部１３３とタッチセンサ１２２は左右いずれか１つのみでも良い。なお、左右の第１撮像部１３３Ｌ／１３３Ｒでステレオ撮影することにより、被写体までの距離を測定することもできる。その場合には、測距部１５２を省略できる。また、第１撮像部１３３Ｌ／１３３Ｒと測距部１５２の機能を備えた１つの画像入力デバイス、すなわち画像情報と距離情報を同時に取得できるカメラで構成しても良い。

　図３Ａは、受信端末２００のハードウェア構成を示す図である。ここでは、スマートフォンを用いた場合の構成を中心に説明し、スマートウォッチやリストバンドを用いた場合については説明を付記することにする。なお、図２Ａの送信端末１００と同様の構成部分については、詳細な説明を省略する。

　受信端末２００は、主制御部２０１、システムバス２０２、ＲＡＭ２０３、ストレージ部２１０、操作入力部２２０、画像処理部２３０、音声処理部２４０、位置情報取得部２５１、センサ部２６０、ＬＡＮ通信部２７０、拡張インタフェース２８０、を備えて構成される。

　主制御部２０１は、受信端末２００全体を制御する。システムバス２０２は、主制御部２０１と受信端末２００内の各動作ブロックとの間のデータ通信路である。

　ＲＡＭ２０３は、動作プログラム実行時のワークエリアとなる。ストレージ部２１０は、受信端末２００の動作プログラムや動作設定値等を記憶する。

　操作入力部２２０は、受信端末２００に対するユーザの操作入力を受け付けるユーザ操作インタフェースである。具体構成としては、電源キー、音量キー、ホームキー等の操作キー２２１と、タッチセンサ(タッチパッド)２２２と、タッチパネル２２３を有する。なお、タッチセンサ２２２はリストバンドの操作で使用されるが、スマートフォンやスマートウォッチにおいては省略できる。また、タッチパネル２２３は表示部２３１に重ねて一体的に配置され、タッチスクリーンと呼ばれる。

　画像処理部２３０は、表示部２３１、画像信号処理部２３２、第１撮像部２３３、第２撮像部２３４で構成される。表示部２３１は、画像信号処理部２３２で生成した画像データ（オブジェクト）を表示する。画像信号処理部２３２は、入力した画像データに基づいて表示部２３１を駆動する。なお、リストバンドでは表示部２３１を省略できる。

　第１撮像部２３３は、スマートフォンではアウトカメラ（背面カメラ）であり、スマートウォッチやリストバンドでは外部カメラである。第２撮像部２３４は、スマートフォンではインカメラ（前面カメラ）であり、スマートウォッチやリストバンドでは省略できる。

　音声処理部２４０は、音声出力部２４１、音声信号処理部２４２、音声入力部２４３で構成される。音声出力部２４１はスピーカであり、音声信号処理部２４２で処理した音声を出力する。音声入力部２４３はマイクであり、ユーザの声を入力する。

　位置情報取得部２５１は、位置基準信号発生器５００からの信号を受信して受信端末２００の位置情報を取得する。測位システムは、送信端末１００の位置情報取得部１５１で利用する方式と共通であり、屋内測位方式かＧＰＳ方式かに応じて、位置座標が異なる。

　センサ部２６０は、受信端末２００の状態を検出するための各種センサ群であり、ジャイロセンサ２６１、地磁気センサ２６２、加速度センサ２６３を有し、受信端末２００の傾き、方位（指向方向）、動き、を検出する。

　ＬＡＮ通信部２７０はネットワーク４００と接続され、ネットワーク上の管理サーバ３００とデータの送受信を行う。拡張インタフェース２８０は、受信端末２００の機能を拡張するためのインタフェース群である。

　図３Ｂは、受信端末２００の機能ブロック構成を示す図である。ここでは、図３Ａにおけるストレージ部２１０が記憶し、ＲＡＭ２０３で実行する各種プログラムについて説明する。

　ストレージ部２１０には、ＯＳ等の基本動作プログラム２００１、受信端末２００の各種機能を実行するアプリケーション２００２、及び各種動作設定値や各種情報（動画／静止画／音声等）を記憶しておく各種データ記憶領域２００９を有する。各種データ記憶領域２００９には、受信端末２００の端末識別情報（ＭＡＣアドレスやＩＰアドレス）等を記憶している。ストレージ部２１０に記憶されているプログラムやアプリケーションは、ＲＡＭ２０３に展開され、主制御部２０１が展開されたプログラム／アプリケーションを実行することにより、受信端末２００の各種機能部が構成される。

　ＲＡＭ２０３は、以下の機能部を有する。
基本動作実行部２１０１は、受信端末２００の基本的な動作を実行する。
動作設定部２１１１は、操作入力部２２０に対するユーザの操作指示に応じて、受信端末２００の動作に関する設定を行い、設定内容を各種データ記憶領域２００９に記憶する。具体的には、送信端末１００から送信されたメッセージを受信するか否か（許可／拒否）について設定を行う。

　端末位置算出部２１１２は、位置情報取得部２５１が位置基準信号発生器５００から受信した信号に基づいて、受信端末２００の現在の位置情報（端末位置情報）を算出する。

　端末位置送信部２１１３は、端末位置算出部２１１２で算出した現在の端末位置情報を、ＬＡＮ通信部２７０を介して管理サーバ３００に送信する。その際、各種データ記憶領域２００９に記憶されている受信端末２００の端末識別情報と、受信端末２００の動作設定情報（送信端末からのメッセージの受信可否情報）と、を一緒に送信する。

　メッセージ受信部２１１４は、ＬＡＮ通信部２７０を介して管理サーバ３００から送信されたメッセージを受信する。受信したメッセージ（画像／音声）は、画像処理部２３０または音声処理部２４０にて表示／出力される。
一時記憶領域２１９９は、アプリケーションにより作成／取得された各種情報の一時的な記憶領域である。

　図３Ｃは、受信端末２００の外観図として、人物（受信者）Ｕ２，Ｕ３が所持するスマートフォン（２００Ｓ）の場合を示し、（ａ）は前面（正面）図、（ｂ）は背面図である。

　スマートフォン２００Ｓの前面には、表示部２３１とタッチパネル２２３とが重ねて構成されたタッチスクリーン２９０が配置され、受信者は表示部２３１に表示された画像を視認するとともに、タッチパネル２２３に対して操作入力することができる。またスマートフォン２００Ｓの前面には、第２撮像部（前面カメラ／インカメラ）２３４、通話時に使用する音声出力部（モノラルスピーカ）２４１Ｍ、動作状態報知用ＬＥＤ２２５、が配置されている。

　一方、スマートフォン２００Ｓの背面には、第１撮像部（背面カメラ／アウトカメラ）２３３、補助光発光部（フラッシュ／ストロボ）２３５、端末認証用の指紋センサ２２４、ＡＶ再生時に使用する音声出力部（ステレオスピーカ）２４１Ｓ、が配置されている。

　さらにスマートフォン２００Ｓの上端には、操作キーである電源スイッチ２２１Ｐ、下端には、音声入力部（モノラルマイク）２４３Ｍ、充電や他のＵＳＢ機器との接続に使用するＵＳＢ端子（拡張インタフェース）２８０Ｕ、が配置されている。

　図４Ａは、管理サーバ３００のハードウェア構成を示す図である。管理サーバ３００は、各受信端末２００の端末位置情報等をデータベースで管理し、送信端末１００から送信されたメッセージと対象者位置情報を受信して、両者の位置情報が対応する（概略一致する）受信端末へメッセージを送信（転送）する装置である。

　管理サーバ３００は、主制御部３０１、システムバス３０２、ＲＡＭ３０３、ストレージ部３１０、操作入力部３２０、表示部３３１、画像信号処理部３３２、ＬＡＮ通信部３７０、を備えて構成される。この中で、ストレージ部３１０には、領域内に位置する各受信端末を管理する端末管理データベース４０００を有している。端末管理データベース４０００には、各受信端末２００の端末識別情報と端末位置情報を記憶している。またＬＡＮ通信部３７０は、領域内の各端末（送信端末１００と受信端末２００）との間でメッセージや各種情報を送受信する。

　図４Ｂは、管理サーバ３００の機能ブロック構成を示す図である。ここでは、図４Ａにおけるストレージ部３１０が記憶し、ＲＡＭ３０３で実行する各種プログラムについて説明する。

　ストレージ部３１０には、ＯＳ等の基本動作プログラム３００１、管理サーバ３００の各種機能を実行するアプリケーション３００２、及び各受信端末の端末識別情報と端末位置情報とを紐付けして記憶する端末管理データベース４０００を有する。ストレージ部３１０に記憶されているプログラムやアプリケーションは、ＲＡＭ３０３に展開され、主制御部３０１が展開されたプログラム／アプリケーションを実行することにより、管理サーバ３００の各種機能部が構成される。

　ＲＡＭ３０３は、以下の機能部を有する。
基本動作実行部３１０１は、管理サーバ３００の基本的な動作を実行する。
端末管理部３１１１は、領域内の各受信端末２００の管理を行う。各受信端末２００から送信された端末識別情報と端末位置情報とメッセージの受信可否情報とを、ＬＡＮ通信部３７０を介して受信し、受信した各情報を紐付けして、端末管理データベース４０００に登録する。また、新しい情報を受けると端末管理データベース４０００のデータを更新する（または新しい情報を追加して履歴を作成する）。

　メッセージ受信部３１１２は、送信装置１００から送信されたメッセージと対象者位置情報を、ＬＡＮ通信部３７０を介して受信する。
メッセージ送信部３１１３は、端末管理データベース４０００に登録されている端末管理情報を参照して、メッセージ受信部３１１２が受信した対象者位置情報に対応する（概略一致する）端末位置情報に紐付けされた端末識別情報を抽出する。そして、抽出した端末識別情報で識別される受信端末２００に対して、メッセージ受信部３１１２が受信したメッセージを、ＬＡＮ通信部３７０を介して送信する。
一時記憶領域３１９９は、アプリケーションにより作成／取得された各種情報の一時的な記憶領域である。

　図４Ｃは、端末管理データベース４０００のデータ構成を示す図である。端末管理データベース４０００は以下のフィールドで構成される。

　端末識別情報４００１は、受信端末２００を識別可能な一意の識別番号（ＭＡＣアドレス／ＩＰアドレス等）である。受信可否情報４００２は、受信端末２００が送信端末１００からのメッセージの受信を許可するか拒否するかの設定情報である。
登録（更新）時刻情報４００３は、受信端末２００の端末位置情報を登録（更新）した日時（年／月／日／時／分／秒）に関する情報である。端末位置情報４００４は、受信端末２００の位置情報である。

　ここで、登録（更新）時刻情報４００３と端末位置情報４００４は、最新の１つのみの情報（レコード）を登録しても良いし、所定時間内（或いは所定の個数内）の複数のレコードを登録しても良い。なお、後述の実施例２においては、所定期間に渡り過去分のレコードを蓄積している。また、受信可否情報４００２において受信＝拒否に設定された受信端末に関しては、登録（更新）時刻情報４００３と端末位置情報４００４は空欄としても良い。

　次に、送信端末１００、受信端末２００、及び管理サーバ３００の行う処理をフローチャートで説明する。

　図５Ａは、送信端末のメッセージ送信処理を示すフローチャートである。
送信端末（ＨＭＤ）１００を装着したユーザ（送信者）Ｕ１は、送信端末１００を介してメッセージを送りたい受信対象者を選択し、メッセージを作成する。送信端末１００は、選択した受信対象者までの距離情報と方位情報から、受信対象者の位置情報を算出し、ユーザが作成したメッセージを対象者位置情報とともに管理サーバ３００に送信する。

　Ｓ１０１：操作入力部１２０がユーザ（送信者）からのメッセージ送信指示を受け付けると、基本動作実行部１１０１は、以下のメッセージ送信処理を実行する。
Ｓ１０２：位置情報取得部１５１が位置基準信号発生器５００から受信した位置基準信号に基づいて、端末位置算出部１１１１は、送信端末１００の現在の位置情報（端末位置情報）を算出する。
Ｓ１０３：地磁気センサ１６２が取得した地磁気情報に基づいて、送信端末１００が指向する方向（端末方位情報）を算出する。この方向は、ユーザの頭部の指向する方向でもある。

　Ｓ１０４：受信対象者選択部１１１２は、第１撮像部（外部カメラ）１３３から外部画像（前方の風景）を取得する。このときＨＭＤを装着したユーザは、透過型の表示部１３１を介して前方の風景を視認しているので、外部画像はユーザの視野画像と同一である。
Ｓ１０５：受信対象者選択部１１１２は、第２撮像部（内部カメラ）１３４から内部画像（ユーザの顔画像）を取得する。

　Ｓ１０６：受信対象者選択部１１１２は、Ｓ１０５で取得した内部画像を解析して、ユーザの視線位置を検出する。
Ｓ１０７：受信対象者選択部１１１２は、Ｓ１０４で取得した外部画像を解析し、外部画像の中で、Ｓ１０６で検出したユーザの視線位置に対応する人物をメッセージの受信対象者として選択する。

　Ｓ１０８：対象者位置算出部１１１３は、Ｓ１０７で選択した受信対象者までの距離情報を、測距部１５２を用いて取得する。
Ｓ１０９：対象者位置算出部１１１３は、Ｓ１０８で取得した受信対象者までの距離情報と、Ｓ１０２で算出した端末位置情報と、Ｓ１０３で算出した方位情報と、Ｓ１０６で検出した視線位置と、に基づいて、メッセージの受信対象者の位置情報（対象者位置情報）を算出する。なお、対象者位置情報の算出法の詳細については後述する。

　Ｓ１１０：メッセージ作成部１１１４は、操作入力部１２０を介してユーザの操作を受け付け、受信対象者に送信するメッセージを作成する。
Ｓ１１１：メッセージ送信部１１１５は、Ｓ１１０で作成したメッセージとＳ１０９で算出した対象者位置情報とを、ＬＡＮ通信部１７０を介して、管理サーバ３００に送信する。

　図５Ｂは、受信端末の端末位置送信処理を示すフローチャートである。
受信者Ｕ２，Ｕ３の所持する各受信端末２００は、メッセージ受信前の動作として、所定時間（例えば０．５ｓｅｃ）間隔毎に受信端末２００の位置情報（端末位置情報）を算出し、自身の端末識別情報とメッセージの受信可否情報とともに管理サーバ３００へ送信する。受信端末２００の端末識別情報は、ストレージ部２１０の各種データ記憶領域２００９記憶されている。

　Ｓ２０１：動作設定部２１１１は、操作入力部２２０からの受信者の操作指示に応じて、メッセージ受信可否の設定情報を各種データ記憶領域２００９に記憶（または更新）する。
Ｓ２０２：位置情報取得部２５１が位置基準信号発生器５００から受信した位置基準信号に基づいて、端末位置算出部２１１２は、受信端末２００の現在の位置情報（端末位置情報）を算出する。また、前記位置情報を算出した際の時刻情報を取得する。

　Ｓ２０３：端末位置送信部２１１３は、Ｓ２０２で算出した位置情報と、一時記憶領域２１９９に記憶されている過去の位置情報とを比較し、移動量が所定距離（例えば５０ｃｍ）以上かどうかを判定する。所定距離以上の移動があった場合は、Ｓ２０４に進む。所定距離以上の移動がなかった場合は、Ｓ２０５に進む。
Ｓ２０４：Ｓ２０２で算出した位置情報と前記位置情報を算出した際の時刻情報とを一時記憶領域２１９９に記憶（または更新）し、Ｓ２０７に進む。

　Ｓ２０５：端末位置送信部２１１３は、Ｓ２０２で位置情報を算出した際の時刻情報と、一時記憶領域２１９９に記憶されている過去の位置情報を算出した際の時刻情報とを比較し、経過時間が所定時間（例えば１０ｓｅｃ）以上かどうかを判定する。所定時間以上の経過があった場合は、Ｓ２０６に進む。所定時間以上の経過がなかった場合は、Ｓ２０１に戻る。
Ｓ２０６：Ｓ２０２で位置情報を算出した際の時刻情報を一時記憶領域２１９９に記憶（または更新）する。

　Ｓ２０７：端末位置送信部２１１３は、各種データ記憶領域２００９から受信端末２００の端末識別情報を取得する。
Ｓ２０８：端末位置送信部２１１３は、各種データ記憶領域２００９からメッセージ受信可否情報を取得する。

　Ｓ２０９：端末位置送信部２１１３は、一時記憶領域２１９９に記憶されている端末位置情報と、Ｓ２０７で取得した端末識別情報と、Ｓ２０８で取得したメッセージ受信可否情報とを、ＬＡＮ通信部２７０を介して管理サーバ３００に送信する。更に、一時記憶領域２１９９に記憶されている時刻情報を送信しても良い。なお、端末識別情報は毎回送信するが、メッセージ受信可否情報は、前回の送信内容から変更があった場合のみ送信するようにしても良い。その後Ｓ２０１に戻り、メッセージ送受信期間中は上記処理を繰り返して行う。

　以上のように各受信端末２００は、所定距離以上移動した場合、あるいは所定時間以上経過した場合に、自身の端末位置情報を管理サーバ３００に送信する。管理サーバ３００では、各受信端末２００から端末位置情報、端末識別情報、及び受信可否情報を受信すると、図４Ｃの端末管理データベース４０００に、時刻情報とともに登録（更新）する。前記時刻情報は、管理サーバ３００の内部時計の動作に基づくものであっても良いし、各受信端末２００から送信されたものであっても良い。

　なお、Ｓ２０８において取得したメッセージ受信可否情報が受信＝「拒否」の場合は、Ｓ２０９において、端末位置情報と端末識別情報とを管理サーバ３００に送信しないように制御しても良い。すなわち、受信可否情報が受信＝「許可」の場合にのみ、端末位置情報と端末識別情報とを送信する。その結果、図４Ｃの端末管理データベース４０００には、受信端末２００の現在の位置情報が登録されないことになる。

　図５Ｃは、管理サーバのメッセージ転送処理を示すフローチャートである。
管理サーバ３００は、各受信端末２００から受信した端末識別情報と端末位置情報とメッセージ受信可否情報とを紐付けして、端末管理データベース４０００に登録している。送信端末１００から、受信対象者へのメッセージと対象者位置情報を受信すると、端末管理データベース４０００を参照し、対象者位置情報に対応する（概略一致する）端末位置情報に紐付けされた端末識別情報を読み出す。そして、読み出した端末識別情報を有する受信端末２００に対してメッセージを転送する。

　Ｓ３０１：メッセージ受信部３１１２は、送信端末１００から送信されたメッセージと対象者位置情報とを、ＬＡＮ通信部３７０を介して受信する。
Ｓ３０２：メッセージ送信部３１１３は、端末管理データベース４０００に登録されている受信端末２００の端末位置情報４００４を、現在時刻に基づいて、参照する。

　Ｓ３０３：Ｓ３０１で受信した対象者位置情報に対応する（概略一致する）端末位置情報４００４の有無を判定する。ここで、両者の位置の差が所定値以内であれば、「概略一致」と判定する。判定の結果、対応する（概略一致する）端末位置情報がある場合は、Ｓ３０４に進む。対応する（概略一致する）端末位置情報がない場合は、Ｓ３０８に進む。

　Ｓ３０４：メッセージ送信部３１１３は、端末管理データベース４０００から、対応する（概略一致する）と判定された端末位置情報４００４に紐付けされた端末識別情報４００１を取得する。
Ｓ３０５：メッセージ送信部３１１３は、端末管理データベース４０００から、対応する（概略一致する）と判定された端末位置情報４００４に紐付けされた受信可否情報４００２を取得する。

　Ｓ３０６：Ｓ３０５で取得した受信可否情報４００２は受信＝許可であるかを判定する。受信＝許可の場合はＳ３０７に進む。受信＝拒否の場合は、Ｓ３０８に進む。
Ｓ３０７：メッセージ送信部３１１３は、Ｓ３０１で受信したメッセージを、Ｓ３０４で取得した端末識別情報で識別される受信端末２００に対して、ＬＡＮ通信部３７０を介して転送する。

　Ｓ３０８：メッセージ送信部３１１３は、エラーメッセージを、ＬＡＮ通信部３７０を介して送信端末１００に返信する。エラーメッセージでは、Ｓ３０３の判定でＮｏの場合は、メッセージ受信対象となる受信端末２００が見つからない旨を、Ｓ３０６の判定でＮｏの場合は、受信対象者がメッセージ受信を拒否している旨を伝える。

　このように本実施例では、メッセージの受信対象者の位置情報（対象者位置情報）と受信端末２００の位置情報（端末位置情報)とが対応する（概略一致する）受信端末へメッセージを送信するようにしている。これにより、送信相手のメールアドレス等が分からない場合にも送信できるだけでなく、受信対象者が受信を拒否している場合にはメッセージを送信せず、その旨をユーザ（送信者）に返信するようにしたので、使い勝手の良いシステムを提供できる。

　ここで、図５Ａにおける送信端末１００の行う受信対象者の選択処理（Ｓ１０７）と、受信対象者の位置情報の算出処理（Ｓ１０９）について詳細に説明する。

　図６Ａは、ユーザ(送信者)と人物(受信者)の配置の例を示す図である。
メッセージ送信システムで管理される領域内には、送信端末１００を所持（装着）するユーザＵ１と、受信端末２００を所持する人物Ｕ２，Ｕ３，Ｕ４が存在し、それらの位置をＸＹ座標で示している。なお、以下では、説明を簡単にするためにＸＹ平面（水平面）内における位置情報の算出処理のみを説明しているが、鉛直方向に対しても同様の処理を行ってよい。

　ユーザＵ１の位置情報（送信端末１００の位置情報と概略一致）を（Ｘ１，Ｙ１）、各人物Ｕ２，Ｕ３，Ｕ４の位置情報（各送信端末２００の位置情報と概略一致）を（Ｘ２，Ｙ２），（Ｘ３，Ｙ３），（Ｘ４，Ｙ４）とする。
送信端末１００が指向する方位情報（Ｙ方向を基準）をα１、送信端末１００の第１撮像部１３３の撮影画角をβとする。送信端末１００の位置情報（Ｘ１，Ｙ１）は位置情報取得部１５１により、送信端末１００の方位情報α１は地磁気センサ１６２により取得する。

　送信端末１００の指向方向（方位α１）を基準とした、各人物Ｕ２，Ｕ３，Ｕ４の相対方位情報をγ２，γ３，γ４とし、送信端末１００から各人物Ｕ２，Ｕ３，Ｕ４までの距離情報をＬ２，Ｌ３，Ｌ４とする。各人物までの距離情報Ｌ２，Ｌ３，Ｌ４は、測距部１５２により取得する。

　図６Ｂは、ユーザによるメッセージ受信対象者の選択処理（Ｓ１０７）を示す図である。
（ａ）は、ユーザＵ１の所持（装着）する送信端末１００の第１撮像部（外部カメラ／アウトカメラ）１３３が取得した外部画像６００を示す。送信端末１００がＨＭＤの場合は、外部画像６００は、ユーザが透過型の表示部１３１を介して見える視野画像であり、送信端末１００がスマートフォンの場合は、外部画像６００は表示部１３１に表示される。外部画像６００には、第１撮像部１３３の撮影画角βに含まれる人物Ｕ２，Ｕ４が存在し、ユーザＵ１はこの中からメッセージを送る受信対象者を選択する。

　（ｂ）は、送信端末１００がＨＭＤである場合の受信対象者の選択を示す図である。ユーザＵ１は、外部画像６００内の所望の人物に視線を向けることで受信対象者を選択する。受信対象者選択部１１１２は、第２撮像部（内部カメラ）１３４が取得した内部画像（ユーザの顔画像）を解析し、ユーザＵ１の視線位置を検出し、検出した視線位置に十字マーク６０１を表示する。この例では、十字マーク６０１は人物Ｕ２の位置であり、人物Ｕ２が受信対象者として選択されている状態である。ユーザＵ１はこの状態で、「メッセージ送信」等の音声コマンドを発すると、音声入力部１４３でこれを検知し、人物Ｕ２へのメッセージ送信処理が開始される。

　（ｃ）は、送信端末１００がスマートフォンである場合の受信対象者の選択を示す図である。タッチスクリーン１９０（表示部１３１とタッチパネル１２３とを一体化構成）には第１撮像部（アウトカメラ）１３３が取得した外部画像が表示されており、ユーザＵ１は、外部画像内の人物にタッチすることで、受信対象者を選択する。例えば、人物Ｕ２の位置を指６０２等でタッチすると、タッチパネル１２３でこれを検知し、人物Ｕ２が受信対象者として選択される。人物Ｕ２の位置を長タッチした状態で、ポップアップメニューから「メッセージ送信」等のコマンドを選択すると、メッセージ送信処理が開始される。

　図６Ｃは、メッセージ受信対象者の位置情報の算出法（Ｓ１０９）を説明する図である。受信対象者の位置情報は、相対方位情報と距離情報等を用いて算出する。ここでは人物Ｕ２をメッセージ受信対象者として説明する。

　（ａ）は、外部画像（撮影画面）６００内の受信対象者の位置関係を示す。なお、画面内距離は撮像素子の画素数で表現する。第１撮像部１３３による撮影画面６００の水平距離をＷ、画面の左端位置をＬ、中央位置をＣ、右端位置をＲ、受信対象者である人物Ｕ２の位置（すなわち、送信端末１００がＨＭＤの場合はユーザＵ１の視線位置、送信端末１００がスマートフォンの場合は指６０２等によるタッチ位置）をＴとする。撮影画面６００内の人物Ｕ２が選択されると、中央位置Ｃから人物Ｕ２の位置Ｔまでの水平距離Ｍが求められる。

　（ｂ）は、ユーザＵ１から見た人物Ｕ２の相対方位情報γ２の算出法を示す。ユーザＵ１の位置をＯとする。中央位置Ｃから人物Ｕ２の位置Ｔまでの水平距離Ｍが分かると、撮影画面６００の水平距離Ｗ、撮影画角βを用いることで、相対方位情報γ２が算出される。
      ｔａｎ（β／２）＝（長さＬＣ）／（長さＯＣ）
      ｔａｎ（γ２）＝（長さＴＣ）／（長さＯＣ）
      （長さＬＣ）：（長さＴＣ）＝Ｗ／２：Ｍ
      γ２＝ｔａｎ^－１（Ｍ／（Ｗ／２）×ｔａｎ（β／２））
  他の人物Ｕ３，Ｕ４の相対方位情報γ３，γ４についても同様に算出される。

　（ｃ）は、人物Ｕ２の位置情報（Ｘ２，Ｙ２）の算出法を示す。人物Ｕ２の位置情報（Ｘ２，Ｙ２）は、人物Ｕ２までの距離情報Ｌ２と、人物Ｕ２の相対方位情報γ２、ユーザＵ１の位置情報（Ｘ１，Ｙ１）、送信端末１００の方位情報α１を用いて、次のように算出される。なお、角度は時計回り方向を正方向とする。
      Ｘ２＝Ｌ２×ｓｉｎ（α１－γ２）＋Ｘ１
      Ｙ２＝Ｌ２×ｃｏｓ（α１－γ２）＋Ｙ１
  他の人物Ｕ３，Ｕ４の位置情報（Ｘ３，Ｙ３），（Ｘ４，Ｙ４）についても同様に算出される。

　実施例１によれば、受信端末の現在の端末位置情報を登録するとともに、メッセージを送信したい人物（受信対象者）の位置情報を算出することで、両者の位置情報が対応する（概略一致する）受信端末へメッセージを送信する構成としている。これにより、不特定多数の人物を対象とし、相手の顔が見えない場合であってもメッセージの送信が可能となる。

　実施例２では、受信端末２００の過去の端末位置情報と受信対象者の過去の対象者位置情報を基に、位置情報が一致する受信端末２００へメッセージを送信するものである。そのためにユーザ（送信者）は、送信端末１００により受信者を含む画像を撮影して撮影時刻情報等とともに保存しておき、過去の撮影画像からメッセージを送信したい受信対象者を選択して、その対象者位置情報を算出する。管理サーバ３００は、過去に登録された情報から、指定された撮影時刻における受信端末の端末位置情報を参照して、該当する受信端末にメッセージを転送する。実施例２におけるメッセージ送信システム１の構成は実施例１と同様であるが、送信端末１００はスマートフォンの場合に適している。
以下、送信端末１００と管理サーバ３００の行う処理をフローチャートで説明する。

　図７Ａは、送信端末の撮影画像保存処理を示すフローチャートである。
送信端末１００を所持するユーザＵ１は、後でメッセージを送る可能性のある人物を含む風景を撮影して保存する。撮影画像の保存は、図２Ｂの各種データ記憶領域１００９に撮影画像データ５０００として記憶する。

　Ｓ４０１：操作入力部１２０がユーザ（送信者）からの撮影指示を受け付けると、基本動作実行部１１０１は、以下の撮影処理を実行する。
Ｓ４０２：第１撮像部（アウトカメラ）１３３により外部の風景を撮影し外部画像を取得する。

　Ｓ４０３：送信端末１００内のシステムクロック等を参照して、現在の時刻情報を取得する。
Ｓ４０４：位置情報取得部１５１が位置基準信号発生器５００から受信した位置基準信号に基づいて、端末位置算出部１１１１は、送信端末１００の現在の位置情報（端末位置情報）を算出する。
Ｓ４０５：地磁気センサ１６２が取得した地磁気情報に基づいて、送信端末１００が指向する方向（端末方位情報）を算出する。

　Ｓ４０６：受信対象者選択部１１１２は、Ｓ４０２で取得した外部画像を解析して、画像内に写る人物を検出する。
Ｓ４０７：対象者位置算出部１１１３は、Ｓ４０６で検出した人物までの距離情報を、測距部１５２を用いて取得する。複数の人物が検出された場合は、各人物までの距離情報を取得する。

　Ｓ４０８：Ｓ４０２で取得した外部画像とその関連情報を、各種データ記憶領域１００９に保存する。関連情報には、Ｓ４０３で取得した撮影時刻情報と、Ｓ４０４で算出した送信端末１００の端末位置情報と、Ｓ４０５で算出した送信端末１００の端末方位情報と、Ｓ４０７で取得した外部画像に写る各人物までの距離情報と、を含む。
以上の工程を繰り返すことで、送信端末１００の各種データ記憶領域１００９には、ユーザＵ１が撮影した過去の撮影画像とその関連情報が蓄積される。

　図７Ｂは、図７Ａの処理で送信端末の各種データ記憶領域１００９に保存される撮影画像データ５０００の構成を示す図である。

　撮影画像５００１は、Ｓ４０２で取得した外部画像データである。撮影画像５００１に関連する情報として、撮影時刻情報５００２、端末位置情報５００３、端末方位情報５００４を記憶する。さらに、撮影画像５００１に写っている人物情報５００５と、各人物までの距離情報５００６を記憶する。

　図７Ｃは、送信端末のメッセージ送信処理を示すフローチャートである。
送信端末１００を所持したユーザＵ１は、図７Ｂの撮影画像データ５０００を参照し、過去の撮影画像からメッセージを送信したい受信対象者を選択する。送信端末１００は選択された受信対象者の撮影時の位置情報を算出し、ユーザが作成したメッセージを対象者位置情報とともに管理サーバ３００に送信する。

　Ｓ４１１：操作入力部１２０を介しユーザ（送信者）の操作指示を受け、基本動作実行部１１０１は、撮影画像データ５０００から過去に撮影した撮影画像を選択する。例えば、表示部１３１に撮影画像５００１のサムネイルを表示し、ユーザは送信したい人物が写っている画像を選択する。
Ｓ４１２：基本動作実行部１１０１は、撮影画像データ５０００から、Ｓ４１１で選択された撮影画像５００１とその関連情報を読み出す。関連情報には、撮影時刻情報５００２と、端末位置情報５００３と、端末方位情報５００４と、撮影画像５００１に写る各人物５００５までの距離情報５００６が含まれる。

　Ｓ４１３：Ｓ４１２で読み出した撮影画像５００１を、表示部１３１に表示する。
Ｓ４１４：受信対象者選択部１１１２は、撮影画像が表示されたタッチスクリーン１９０（表示部１３１とタッチパネル１２３とを一体化構成）へのユーザのタッチ操作を検出し、タッチ位置に存在する人物をメッセージ受信対象者として選択する。受信対象者の選択は、図６Ｂ（ｃ）の説明と同様に行う。

　Ｓ４１５：対象者位置算出部１１１３は、Ｓ４１４で選択したメッセージ受信対象者の、前記撮影画像を撮影した際の位置情報（対象者位置情報）を算出する。この算出には、Ｓ４１２で読み出した端末位置情報５００３と端末方位情報５００４、撮影画像５００１内の選択した人物５００５（受信対象者）までの距離情報５００６を用いる。具体的な対象者位置情報の算出法は、図６Ｃの説明と同様である。

　Ｓ４１６：メッセージ作成部１１１４は、操作入力部１２０を介してユーザの操作を受け付け、受信対象者に送信するメッセージを作成する。
Ｓ４１７：メッセージ送信部１１１５は、Ｓ４１６で作成したメッセージと、Ｓ４１２で読み出した撮影時刻情報５００２と、Ｓ４１５で算出した対象者位置情報とを、ＬＡＮ通信部１７０を介して、管理サーバ３００に送信する。

　図７Ｄは、管理サーバのメッセージ転送処理を示すフローチャートである。
管理サーバ３００は、実施例１と同様に各受信端末２００から受信した端末識別情報と端末位置情報とメッセージ受信可否情報とを紐付けして、図４Ｃの端末管理データベース４０００に登録している。ただし登録時刻情報４００３と端末位置情報４００４は、所定期間に渡り過去分のレコードを蓄積している。そして送信端末１００から、受信対象者へのメッセージと撮影時刻情報及び対象者位置情報を受信すると、端末管理データベース４０００を参照し、時刻情報と位置情報との両方が対応する（概略一致する）受信端末２００を検索してメッセージを転送する。

　Ｓ５０１：メッセージ受信部３１１２は、送信端末１００から送信されたメッセージと撮影時刻情報と対象者位置情報とを、ＬＡＮ通信部３７０を介して受信する。
Ｓ５０２：メッセージ送信部３１１３は、端末管理データベース４０００に登録されている受信端末２００の登録時刻情報４００３を参照して、Ｓ５０１で受信した撮影時刻情報に対応する管理データ（レコード）を抽出する。ここで対応しているか否かの判定は、受信端末２００から端末位置情報を受信する時間間隔（例えば１０ｓｅｃ）の幅を考慮して決めても良い。
Ｓ５０３：メッセージ送信部３１１３は、Ｓ５０２で抽出した管理データに登録されている受信端末２００の端末位置情報４００４を参照する。

　Ｓ５０４：Ｓ５０１で受信した対象者位置情報に対応する（概略一致する）端末位置情報４００４の有無を判定する。判定の結果、対応する（概略一致する）端末位置情報がある場合は、Ｓ５０５に進む。対応する（概略一致する）端末位置情報がない場合は、Ｓ５０９に進む。

　Ｓ５０５：メッセージ送信部３１１３は、Ｓ５０４で対応する（概略一致する）と判定された端末位置情報４００４に紐付けされた端末識別情報４００１を取得する。
Ｓ５０６：メッセージ送信部３１１３は、Ｓ５０４で対応する（概略一致する）と判定された端末位置情報４００４に紐付けされた受信可否情報４００２を取得する。受信可否情報４００２が登録時刻情報４００３毎に異なっている場合、最新のレコードに紐付された受信可否情報４００２を取得しても良い。

　Ｓ５０７：Ｓ５０６で取得した受信可否情報４００２は受信＝「許可」であるかを判定する。受信＝「許可」の場合はＳ５０８に進む。受信＝「拒否」の場合は、Ｓ５０９に進む。
Ｓ５０８：メッセージ送信部３１１３は、Ｓ５０１で受信したメッセージを、Ｓ５０５で取得した端末識別情報で識別される受信端末２００に対して、ＬＡＮ通信部３７０を介して転送する。

　Ｓ５０９：メッセージ送信部３１１３は、エラーメッセージを、ＬＡＮ通信部３７０を介して送信端末１００に返信する。エラーメッセージでは、Ｓ５０４の判定でＮｏの場合は、メッセージ受信対象となる受信端末２００が見つからない旨を、Ｓ５０７の判定でＮｏの場合は、受信対象者がメッセージ受信を拒否している旨を伝える。なお、Ｓ５０２の工程で、撮影時刻情報に対応する登録時刻情報が存在しなかった場合にも、受信端末２００が見つからない旨のエラーメッセージを返信する。

　実施例２によれば、受信端末の過去の端末位置情報を基に、指定された過去の時刻において位置情報が一致する受信端末へメッセージを送信する構成としている。これにより、メッセージを送信したい人物（受信対象者）が移動して現在の視野内に存在しない場合でも、メッセージの送信が可能となる。

　実施例３では、メッセージ送信システムを監視システムに適用する構成について説明する。

　図８は、実施例３におけるメッセージ送信システムの全体構成を示す図である。本実施例のメッセージ送信システム１’では、送信端末１００として監視カメラ１００Ｃ及び制御装置を用いる。他の受信端末２００と、管理サーバ３００、ネットワーク（ＬＡＮ）４００は実施例１（図１Ａ）の構成と同様である。

　監視カメラ１００Ｃは、監視領域１０内の所定位置に固定して設置され、領域内の監視用画像を取得する。図示を省略した監視カメラ１００Ｃの制御装置（管理サーバ３００と同一であっても良い）は、監視カメラ１００Ｃが取得した監視用画像を図示を省略した表示部（モニタ）に表示する。ユーザ（この場合は監視者）は表示部（モニタ）に表示された監視用画像を確認して、制御装置に指示を与えることにより、メッセージを送信したい人物（受信対象者）を選択する。監視カメラ１００Ｃの制御装置は、選択した受信対象者の対象者位置情報を算出して、受信対象者へのメッセージとともに管理サーバ３００へ送信する。管理サーバ３００は、予め受信・登録されている各受信端末２００の端末位置情報と端末識別情報を参照し、該当する受信端末２００にメッセージを転送する。

　本実施例では、監視カメラ１００Ｃの制御装置が受信対象者の位置情報を算出するとき、監視カメラ１００Ｃが固定設置されているので、端末位置情報及び端末方位情報はその都度算出する必要はなく設置時の所定値を用いれば良い。なお、監視カメラ１００Ｃの指向方向がユーザ操作により変更された場合は、監視カメラ１００Ｃの方位情報を、ユーザ操作分だけ修正して与えれば良い。

　また本実施例の構成を拡張し、監視領域１０の全体をカバーするよう複数台の監視カメラ１００Ｃを設置し、各監視カメラ１００Ｃで撮影した画像をネットワーク４００を介して制御装置に伝送して、制御装置で集中管理する監視システムも可能である。その際ユーザ（監視者）は、制御装置の表示部（モニタ）に一括表示された各監視カメラ１００Ｃからの取得画像を監視して、特定の人物に対してメッセージを送信することができる。この場合、ユーザ（監視者）は、複数の監視カメラ１００Ｃのうちの一台とその取得画像に写る人物の選択を、制御装置に対して指示する。もちろん、実施例２のように、監視カメラ１００Ｃで撮影した過去の画像を保存し、それから特定の人物を抽出することで、監視効果をさらに向上させることができる。

　１，１’：メッセージ送信システム、
　１００：送信端末、
　１００Ｈ：ヘッドマウントディスプレイ（ＨＭＤ）、
　１００Ｃ：監視カメラ、
　１３１：表示部、
　１３３：第１撮像部（外部カメラ）、
　１３４：第２撮像部（内部カメラ）、
　１５１：位置情報取得部、
　１５２：測距部、
　１６２：地磁気センサ、
　１１１１：端末位置算出部、
　１１１２：受信対象者選択部、
　１１１３：対象者位置算出部、
　１１１４：メッセージ作成部、
　１１１５：メッセージ送信部、
　２００：受信端末、
　２００Ｓ：スマートフォン、
　２３１：表示部、
　２５１：位置情報取得部、
　２１１２：端末位置算出部、
　２１１３：端末位置送信部、
　２１１４：メッセージ受信部、
　３００：管理サーバ、
　３１０：ストレージ部、
　３１１１：端末管理部、
　３１１２：メッセージ受信部、
　３１１３：メッセージ送信部、
　４００：ネットワーク、
　４０００：端末管理データベース、
　５００：位置基準信号発生器、
　５０００：撮影画像データ。

Claims

　送信端末から受信端末へ管理サーバを介してメッセージを送信するメッセージ送信システムにおいて、
　前記送信端末は、
　前記送信端末の現在位置（以下、送信端末位置情報）を算出する端末位置算出部と、
　前記送信端末の外部画像を取得する第１撮像部と、
　送信者の操作を受け、前記取得した外部画像内からメッセージを受信する受信対象者を選択する受信対象者選択部と、
　送信端末位置情報を基に、前記選択された受信対象者の位置情報（以下、受信対象者位置情報）を算出する対象者位置算出部と、
　受信対象者へのメッセージを作成するメッセージ作成部と、
　前記作成されたメッセージを、前記算出した受信対象者位置情報とともに、前記管理サーバへ送信するメッセージ送信部と、を備え、
　前記受信端末は、
　前記受信端末の現在位置（以下、受信端末位置情報）を算出する端末位置算出部と、
　前記算出した受信端末位置情報を、前記受信端末の端末識別情報とともに前記管理サーバへ送信する端末位置送信部と、
　前記管理サーバから送信されたメッセージを受信するメッセージ受信部と、を備え、
　前記管理サーバは、
　前記受信端末から受信端末位置情報と端末識別情報を受信し、両者を紐付けしてデータベースに登録する端末管理部と、
　前記送信端末から送信された受信対象者へのメッセージと受信対象者位置情報を受信するメッセージ受信部と、
　前記データベースを参照して、受信した受信対象者位置情報に対応する受信端末位置情報に紐付けされた端末識別情報を抽出し、抽出した端末識別情報で識別される前記受信端末に対して、前記送信端末から受信したメッセージを送信するメッセージ送信部と、を備えることを特徴とするメッセージ送信システム。
　請求項１に記載のメッセージ送信システムにおいて、
　前記送信端末は、
　前記送信端末の指向方向（以下、送信端末方位情報）を検出する方位検出部と、受信対象者までの距離を測定する測距部と、を備え、
　前記対象者位置算出部により、送信端末方位情報を基準とした外部画像内の受信対象者の相対方位情報と、受信対象者までの距離情報と、前記送信端末の送信端末位置情報に基づいて、受信対象者位置情報を算出することを特徴とするメッセージ送信システム。
　請求項１に記載のメッセージ送信システムにおいて、
　前記受信端末は、前記送信端末から送信されたメッセージを受信するか否かについて設定を行う動作設定部を備え、
　前記端末位置送信部により、前記設定したメッセージ受信可否情報を受信端末位置情報と一緒に前記管理サーバへ送信するとともに、
　前記管理サーバは、
　前記端末管理部により、前記受信端末から受信したメッセージ受信可否情報を前記データベースに登録しておき、
　前記メッセージ送信部により、前記データベースを参照して、識別した前記受信端末がメッセージの受信を拒否している場合には、メッセージを送信しないことを特徴とするメッセージ送信システム。
　請求項３に記載のメッセージ送信システムにおいて、
　前記管理サーバは、
　前記メッセージ送信部により、前記データベースを参照して、受信した受信対象者位置情報に対応する受信端末位置情報が存在しないとき、あるいは識別した前記受信端末がメッセージの受信を拒否している場合には、その旨を示すエラーメッセージを前記送信端末に返信することを特徴とするメッセージ送信システム。
　請求項１に記載のメッセージ送信システムにおいて、
　前記送信端末は、送信者が頭部に装着するヘッドマウントディスプレイであって、送信者の顔画像である内部画像を取得する第２撮像部を備え、
　前記受信対象者選択部により、前記第２撮像部が取得した内部画像を解析して送信者の視線位置を検出し、視線位置に対応する前記第１撮像部で取得した外部画像内の人物を受信対象者として選択することを特徴とするメッセージ送信システム。
　請求項２に記載のメッセージ送信システムにおいて、
　前記送信端末は、
　前記第１撮像部により取得した外部画像を、その関連情報である撮影時刻情報、送信端末位置情報、送信端末方位情報、及び外部画像に写っている各人物までの距離情報、とともに各種データ記憶領域に保存し、
　前記受信対象者選択部により、送信者の操作に基づき、前記各種データ記憶領域に保存された外部画像内の人物から受信対象者を選択し、
　前記対象者位置算出部により、前記各種データ記憶領域に保存された関連情報を用いて、選択された受信対象者の撮影時の受信対象者位置情報を算出し、
　前記メッセージ送信部により、作成されたメッセージを、撮影時刻情報と受信対象者位置情報とともに前記管理サーバに送信し、
　前記管理サーバは、
　前記端末管理部により、前記データベースに、前記受信端末からの受信端末位置情報とともに登録時の登録時刻情報を保存しておき、
　前記メッセージ受信部により、前記送信端末からメッセージとともに撮影時刻情報と受信対象者位置情報を受信すると、
　前記メッセージ送信部により、前記データベースを参照して、受信した撮影時刻情報に対応する登録時刻情報を有するとともに、受信した受信対象者位置情報に対応する受信端末位置情報に紐付けされた端末識別情報を抽出し、抽出した端末識別情報で識別される前記受信端末に対して、前記送信端末から受信したメッセージを送信することを特徴とするメッセージ送信システム。
　請求項１に記載のメッセージ送信システムにおいて、
　前記送信端末は、監視カメラであって、監視領域内の所定位置に固定して設置され、送信端末位置情報が一定であることを特徴とするメッセージ送信システム。
　送信端末から受信端末へ管理サーバを介してメッセージを送信するメッセージ送信方法において、
　前記送信端末は、
　現在位置（以下、送信端末位置情報）を算出する端末位置算出ステップと、
　前記送信端末の外部画像を取得する外部画像取得ステップと、
　送信者の操作を受け、前記外部画像内からメッセージを受信する受信対象者を選択する受信対象者選択ステップと、
　送信端末位置情報を基に、前記選択された受信対象者の位置情報（以下、受信対象者位置情報）を算出する対象者位置算出ステップと、
　受信対象者へのメッセージを、前記算出した受信対象者位置情報とともに、前記管理サーバへ送信するメッセージ送信ステップと、を備え、
　前記受信端末は、
　現在位置（以下、受信端末位置情報）を算出する端末位置算出ステップと、
　前記算出した受信端末位置情報を、前記受信端末の端末識別情報とともに前記管理サーバへ送信する端末位置送信ステップと、
　前記管理サーバから送信されたメッセージを受信するメッセージ受信ステップと、を備え、
　前記管理サーバは、
　前記受信端末から受信端末位置情報と端末識別情報を受信し、両者を紐付けしてデータベースに登録する端末情報登録ステップと、
　前記送信端末から送信された受信対象者へのメッセージと受信対象者位置情報を受信するメッセージ受信ステップと、
　前記データベースを参照して、受信した受信対象者位置情報に対応する受信端末位置情報に紐付けされた端末識別情報を抽出し、抽出した端末識別情報で識別される前記受信端末に対して、前記送信端末から受信したメッセージを送信するメッセージ送信ステップと、を備えることを特徴とするメッセージ送信方法。
　請求項８に記載のメッセージ送信方法において、
　前記受信端末は、前記送信端末から送信されたメッセージを受信するか否かについて設定を行う受信可否設定ステップを備え、前記端末位置送信ステップにおいて、前記設定したメッセージ受信可否情報を受信端末位置情報と一緒に前記管理サーバへ送信するとともに、
　前記管理サーバは、前記端末情報登録ステップにおいて、前記受信端末から受信したメッセージ受信可否情報を前記データベースに登録しておき、前記メッセージ送信ステップにおいて、前記データベースを参照して、識別した前記受信端末がメッセージの受信を拒否している場合には、メッセージを送信しないことを特徴とするメッセージ送信方法。
　請求項９に記載のメッセージ送信方法において、
　前記管理サーバは、前記メッセージ送信ステップにおいて、前記データベースを参照して、受信した受信対象者位置情報に対応する受信端末位置情報が存在しないとき、あるいは識別した前記受信端末がメッセージの受信を拒否している場合には、その旨を示すエラーメッセージを前記送信端末に返信することを特徴とするメッセージ送信方法。