JP6899940B1 - 簡易通信システム、簡易通信方法、及びプログラム - Google Patents

Abstract

【課題】利用者の手が使用できない状況において、適切に情報を送信する。【解決手段】簡易通信システム１は、利用者の頭部に装着された場合に、少なくとも利用者の口唇を含む第１画像を撮像可能な第１撮像部と、利用者の目を含む第２画像を撮像可能な第２撮像部と、画像を表示する表示部とを有する表示装置及び携帯端末１０を含む。携帯端末１０は、第１画像に基づいて口唇の動きを検出し、検出した口唇の動きが示す単語を識別する単語識別部１５１と、第１画像に基づいて利用者の表情を識別する表情識別部１５２と、単語と表情とスタンプとを対応付けて記憶する候補記憶部から、識別した単語と表情に基づいてスタンプの候補を取得し、スタンプの候補を含む画像を表示部に表示させる推奨処理部と１５３、第２画像に基づいて検出された利用者の視線によりスタンプの候補のうちからスタンプを選択し、選択したスタンプを送信する送信処理部１５６と、を備える。【選択図】図２

Description

本発明は、簡易通信システム、簡易通信方法、及びプログラムに関する。

近年、音声や口唇の動きを検出して、メッセージなどの入力を行う技術が知られている（例えば、特許文献１を参照）。このような従来技術では、例えば、手に持ったスマートフォンなど携帯端末のマイク及びカメラを利用することで、メッセージなどの入力を行うことが可能である。

特開２０１９−２０８１３８号公報

しかしながら、上述した従来技術では、スマートフォンなど携帯端末を利用者の顔の前に持つ必要があり、例えば、満員電車などの空間が限られている状況において、メッセージなどの入力を行うことができずに、利用者が情報を送信することが困難な場合があった。

本発明は、上記問題を解決すべくなされたもので、その目的は、利用者の手が使用できない状況において、適切に情報を送信することができる簡易通信システム、簡易通信方法、及びプログラムを提供することにある。

上記問題を解決するために、本発明の一態様は、利用者の頭部に装着可能な表示装置であって、前記利用者の頭部に装着された場合に、少なくとも前記利用者の口唇を含む第１画像を撮像可能な第１撮像部と、前記利用者の目を含む第２画像を撮像可能な第２撮像部と、画像を表示する表示部とを有する表示装置と、ネットワークに接続可能な携帯端末とを備え、前記携帯端末は、前記第１撮像部が撮像した前記第１画像に基づいて、前記口唇の動きを検出し、検出した前記口唇の動きに基づいて、前記口唇の動きが示す単語を識別する単語識別部と、前記第１画像に基づいて、前記利用者の表情を識別する表情識別部と、前記単語と、前記表情と、前記利用者の心情を表現するイラストであるスタンプとを対応付けて記憶する候補記憶部から、前記単語識別部が識別した前記単語と、前記表情識別部が識別した前記表情とに基づいて、前記スタンプの候補を取得し、前記スタンプの候補を含む前記画像を前記表示部に表示させる推奨処理部と、前記第２撮像部が撮像した前記第２画像に基づいて検出された前記利用者の視線により、前記表示部に表示されている前記スタンプの候補のうちから前記スタンプを選択し、選択した前記スタンプを、所定の送信先に前記ネットワークを経由して送信する送信処理部とを備えることを特徴とする簡易通信システムである。

また、本発明の一態様は、上記の簡易通信システムにおいて、送信日時と、送信した前記スタンプと、送信先と、前記単語と、前記表情とを対応付けた過去の送信履歴情報を記憶する送信履歴記憶部を備え、前記推奨処理部は、前記送信履歴記憶部が記憶する前記送信履歴情報に基づいて、前記スタンプの候補の優先順位を決定し、当該優先順位に応じた配置にして、前記スタンプの候補を前記表示部に表示させることを特徴とする。

また、本発明の一態様は、上記の簡易通信システムにおいて、前記送信履歴情報には、前記スタンプを送信した場所情報が含まれ、前記推奨処理部は、前記送信履歴情報に基づいて、現在の前記携帯端末の場所に対応した前記スタンプの候補の優先順位を上げることを特徴とする。

また、本発明の一態様は、上記の簡易通信システムにおいて、前記送信履歴情報には、前記スタンプを送信した際の状況を示すスケジュール情報が含まれ、前記推奨処理部は、前記利用者の前記送信履歴情報に基づいて、現在のスケジュールに基づく利用者の状況に対応した前記スタンプの候補の前記優先順位を上げることを特徴とする。

また、本発明の一態様は、上記の簡易通信システムにおいて、前記送信処理部は、送信した前記スタンプに対応する前記送信履歴情報を、前記送信履歴記憶部に追加して記憶させ、前記推奨処理部は、直近に送信された前記スタンプに対する前記スタンプの候補の優先順位を下げることを特徴とする。

また、本発明の一態様は、上記の簡易通信システムにおいて、前記推奨処理部は、前記利用者の前記送信履歴情報に基づいて、前記スタンプの使用頻度が高い程、前記スタンプの候補の前記優先順位を上げることを特徴とする。

また、本発明の一態様は、上記の簡易通信システムにおいて、前記候補記憶部は、前記単語と、前記表情と、前記スタンプと、前記スタンプのグループを示すグループ情報とを対応付けて記憶し、前記推奨処理部は、前記利用者の前記送信履歴情報に基づいて、前回送信した前記スタンプの前記グループ情報と一致する、前記スタンプの候補の前記優先順位を上げることを特徴とする。

また、本発明の一態様は、上記の簡易通信システムにおいて、前記候補記憶部は、前記単語と、前記表情と、前記スタンプとを対応付けたスタンプテーブル情報を、利用者ごとに記憶し、前記候補記憶部に、前記利用者の前記スタンプテーブル情報を記憶させて登録する登録処理部を備えることを特徴とする。

また、本発明の一態様は、上記の簡易通信システムにおいて、前記ネットワークを経由して受信したメッセージを、前記表示部に表示させる受信処理部を備え、前記推奨処理部は、受信した前記メッセージに対する前記スタンプの候補を含む前記画像を前記表示部に表示させ、前記送信処理部は、選択した前記スタンプを、受信した前記メッセージの送信元を含む所定の送信先に送信することを特徴とする。

また、本発明の一態様は、利用者の頭部に装着可能な表示装置であって、前記利用者の頭部に装着された場合に、少なくとも前記利用者の口唇を含む第１画像を撮像可能な第１撮像部と、前記利用者の目を含む第２画像を撮像可能な第２撮像部と、画像を表示する表示部とを有する表示装置と、ネットワークに接続可能な携帯端末とを備える簡易通信システムの簡易通信方法であって、前記携帯端末が、前記第１撮像部が撮像した前記第１画像に基づいて、前記口唇の動きを検出し、検出した前記口唇の動きに基づいて、前記口唇の動きが示す単語を識別する単語識別ステップと、前記携帯端末が、前記第１画像に基づいて、前記利用者の表情を識別する感情識別ステップと、前記携帯端末が、前記単語と、前記表情と、前記利用者の心情を表現するイラストであるスタンプとを対応付けて記憶する候補記憶部から、前記単語識別ステップによって識別された前記単語と、前記感情識別ステップによって識別された前記表情とに基づいて、前記スタンプの候補を取得し、前記スタンプの候補を含む前記画像を前記表示部に表示させる推奨処理ステップと、前記携帯端末が、前記第２撮像部が撮像した前記第２画像に基づいて検出された前記利用者の視線により、前記表示部に表示されている前記スタンプの候補のうちから前記スタンプを選択し、選択した前記スタンプを、所定の送信先に前記ネットワークを経由して送信する送信処理ステップとを含むことを特徴とする簡易通信方法である。

また、本発明の一態様は、利用者の頭部に装着可能な表示装置であって、前記利用者の頭部に装着された場合に、少なくとも前記利用者の口唇を含む第１画像を撮像可能な第１撮像部と、前記利用者の目を含む第２画像を撮像可能な第２撮像部と、画像を表示する表示部とを有する表示装置と、ネットワークに接続可能な携帯端末とを備える簡易通信システムのコンピュータに、前記第１撮像部が撮像した前記第１画像に基づいて、前記口唇の動きを検出し、検出した前記口唇の動きに基づいて、前記口唇の動きが示す単語を識別する単語識別ステップと、前記第１画像に基づいて、前記利用者の表情を識別する感情識別ステップと、前記単語と、前記表情と、前記利用者の心情を表現するイラストであるスタンプとを対応付けて記憶する候補記憶部から、前記単語識別ステップによって識別された前記単語と、前記感情識別ステップによって識別された前記表情とに基づいて、前記スタンプの候補を取得し、前記スタンプの候補を含む前記画像を前記表示部に表示させる推奨処理ステップと、前記第２撮像部が撮像した前記第２画像に基づいて検出された前記利用者の視線により、前記表示部に表示されている前記スタンプの候補のうちから前記スタンプを選択し、選択した前記スタンプを、所定の送信先に前記ネットワークを経由して送信する送信処理ステップとを実行させるためのプログラムである。

本発明によれば、利用者の手が使用できない状況において、適切に情報を送信することができる。

第１の実施形態による簡易通信システムの一例を示すシステム構成図である。 第１の実施形態による簡易通信システムの一例を示す機能ブロック図である。 第１の実施形態おけるスタンプ記憶部のデータ例を示す図である。 第１の実施形態による簡易通信システムの動作の一例を示すフローチャートである。 第１の実施形態におけるメッセージの受信画面の一例を示す図である。 第１の実施形態におけるスタンプの候補の選択画面の一例を示す図である。 第１の実施形態におけるスタンプの送信完了画面の一例を示す図である。 第２の実施形態による簡易通信システムの一例を示す機能ブロック図である。 第２の実施形態おける送信履歴記憶部のデータ例を示す図である。 第２の実施形態による簡易通信システムの動作の一例を示すフローチャートである。 スタンプ記憶部の変形例を示す図である。

以下、本発明の一実施形態による簡易通信システム及び簡易通信方法について図面を参照して説明する。

［第１の実施形態］
図１は、第１の実施形態による簡易通信システム１の一例を示すシステム構成図である。また、図２は、第１の実施形態による簡易通信システム１の一例を示す機能ブロック図である。

図１及び図２に示すように、簡易通信システム１は、携帯端末１０と、眼鏡型表示装置２０と、サーバ装置３０とを備える。
なお、本実施形態による簡易通信システム１では、利用者間でメッセージを送受信するメッセージアプリケーション（以下、メッセージアプリという）を使用する場合の一例について説明する。また、本実施形態において、メッセージアプリは、メッセージの他に、利用者の心情を表現するイラストであるスタンプを、利用者間で互いに送受信できるものとする。ここで、心情とは、例えば、心の中にある思いや感情を示す。

眼鏡型表示装置２０（表示装置の一例）は、図１に示すように利用者Ｕ１の頭部に装着可能なカメラ付きの眼鏡型のディスプレイであり、口唇カメラ２１と、視線カメラ２２と、表示部２３と、ＮＷ（ネットワーク）通信部２４とを備えている。眼鏡型表示装置２０は、例えば、無線通信によりネットワークＮＷ１に接続可能であり、ネットワークＮＷ１を経由して、携帯端末１０との間で通信を行う。

口唇カメラ２１（第１撮像部の一例）は、利用者Ｕ１の口唇の動き及び表情を検出するためのカメラであり、眼鏡型表示装置２０を利用者Ｕ１の頭部に装着した際に、利用者Ｕ１の口唇の周辺（例えば、顔の下半分）の画像を撮像可能に配置されている。口唇カメラ２１は、利用者Ｕ１の頭部に眼鏡型表示装置２０が装着された場合に、少なくとも利用者Ｕ１の口唇を含む口唇周辺画像（第１画像）を撮像する。なお、口唇画像は、例えば、利用者Ｕ１の顔の下半分を撮像した画像である。

視線カメラ２２（第２撮像部の一例）は、例えば、利用者Ｕ１の視線を検出するためのアイトラッキングカメラであり、眼鏡型表示装置２０を利用者Ｕ１の頭部に装着した際に、利用者Ｕ１の目の周辺（例えば、顔の上半分）の画像を撮像可能に配置されている。視線カメラ２２は、利用者Ｕ１の頭部に眼鏡型表示装置２０が装着された場合に、利用者Ｕ１の目を含む目周辺画像（第２画像）を撮像する。

表示部２３は、例えば、透過型の液晶ディスプレイであり、各種情報を表示する。表示部２３は、眼鏡型表示装置２０を利用者Ｕ１の頭部に装着した際に、利用者Ｕ１が表示を視認できるように配置されている。

ＮＷ通信部２４は、例えば、無線ＬＡＮ（Local Area Network）などの無線通信により、ネットワークＮＷ１に接続し、ネットワークＮＷ１を経由して各種通信を行う。ＮＷ通信部２４は、例えば、口唇カメラ２１及び視線カメラ２２が撮像した画像（口唇周辺画像及び目周辺画像）を、携帯端末１０に送信するともに、表示部２３に表示する情報を携帯端末１０から受信する。

サーバ装置３０は、例えば、メッセージアプリなどのサービスを提供するアプリケーションサーバであり、各種情報を記憶する。サーバ装置３０は、例えば、ネットワークＮＷ１を経由して、携帯端末１０と接続し、携帯端末１０との間で各種情報を通信する。サーバ装置３０は、例えば、ＮＷ通信部３１と、スタンプ記憶部３２とを備えている。

ＮＷ通信部３１は、ネットワークＮＷ１に接続し、ネットワークＮＷ１を経由して各種通信を行う。ＮＷ通信部２４は、例えば、後述するスタンプ記憶部３２が記憶する情報を、携帯端末１０との間で送受信する。

スタンプ記憶部３２（候補記憶部の一例）は、登録されているスタンプの情報（スタンプテーブル情報）を記憶する。スタンプ記憶部３２は、例えば、単語と、表情と、スタンプとを対応付けて記憶する。ここで、図３を参照して、スタンプ記憶部３２のデータ例について説明する。

図３は、本実施形態おけるスタンプ記憶部３２のデータ例を示す図である。
図３に示すように、スタンプ記憶部３２は、「ユーザＩＤ」と、「スタンプＩＤ」と、「スタンプ情報」と、「単語」と、「表情」とを対応付けたスタンプテーブル情報を記憶する。

ここで、「ユーザＩＤ」は、利用者Ｕ１を識別する利用者識別情報の一例であり、「スタンプＩＤ」は、スタンプを識別するスタンプ識別情報の一例である。また、「スタンプ情報」は、スタンプの内容であるイラスト画像情報を示している。また、「単語」は、スタンプに関連する単語を示し、「表情」は、スタンプに関連する表情を示している。

図３に示す例では、例えば、「ユーザＩＤ」が“Ｕ００１”のスタンプにおいて、「スタンプＩＤ」が“ＡＡＡ”で、「スタンプ情報」が“スタンプＡ”であるスタンプに対応する「単語」が“いいね”であり、「表情」が“喜び”であることを示している。
なお、スタンプ記憶部３２は、スタンプテーブル情報を、利用者Ｕ１（「ユーザＩＤ」）ごとに記憶している。

図１及び図２の説明に戻り、携帯端末１０は、例えば、スマートフォンやタブレット端末などの端末装置であり、利用者Ｕ１が携帯可能な端末装置である。携帯端末１０は、例えば、ＮＷ通信部１１と、入力部１２と、表示部１３と、端末記憶部１４と、端末制御部１５とを備えている。

ＮＷ通信部１１は、無線ＬＡＮや４Ｇ（第4世代移動通信システム）などの無線通信により、ネットワークＮＷ１に接続し、ネットワークＮＷ１を経由して各種通信を行う。ＮＷ通信部１１は、例えば、眼鏡型表示装置２０の口唇カメラ２１及び視線カメラ２２が撮像した画像（口唇周辺画像及び目周辺画像）を、眼鏡型表示装置２０から受信するともに、表示部２３に表示する情報を眼鏡型表示装置２０に送信する。

また、ＮＷ通信部１１は、例えば、サーバ装置３０のスタンプ記憶部３２が記憶するスタンプテーブル情報をサーバ装置３０から受信するとともに、サーバ装置３０に、スタンプ記憶部３２の登録情報を送信する。

入力部１２は、例えば、タッチセンサなどの入力デバイスであり、利用者Ｕ１からの各種情報の入力を受け付ける。
表示部１３は、例えば、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示デバイスであり、携帯端末１０の各種情報を表示する。
なお、入力部１２及び表示部１３は、例えば、タッチスクリーンとして構成されている。

端末記憶部１４は、携帯端末１０が利用する各種情報を記憶する。端末記憶部１４は、例えば、メッセージアプリにより送受信したメッセージやスタンプ、各種表示情報などを記憶する。

端末制御部１５は、例えば、ＣＰＵ（Central Processing Unit）などを含むプロセッサであり、携帯端末１０を統括的に制御する。端末制御部１５は、例えば、単語識別部１５１と、表情識別部１５２と、推奨処理部１５３と、視線検出部１５４と、受信処理部１５５と、送信処理部１５６と、スタンプ登録処理部１５７とを備えている。

単語識別部１５１は、口唇カメラ２１が撮像した口唇画像に基づいて、口唇の動きを検出し、検出した口唇の動きに基づいて、口唇の動きが示す単語を識別する。単語識別部１５１は、例えば、ＮＷ通信部１１を介して、眼鏡型表示装置２０から口唇カメラ２１が撮像した口唇画像を取得し、取得した口唇画像に基づいて、利用者Ｕ１の口唇の動きを検出する。単語識別部１５１は、例えば、特許文献１などの既存技術を用いて、検出した口唇の動きに基づいて、口唇の動きが示す単語を識別する。ここで、利用者Ｕ１の口唇の動きは、利用者Ｕ１が音声を出した発話を伴うものでなくてよく、口をぱくぱくさせて発話せずに口を動かす口唇の動きであってもよい。

表情識別部１５２は、口唇カメラ２１が撮像した口唇画像に基づいて、利用者Ｕ１の表情を識別する。ここで、表情とは、利用者の感情が表に現れたものであり、例えば、怒り、喜び、悲しみ、などのを示す。表情識別部１５２は、既存技術を用いて、取得した口唇画像に基づいて、利用者Ｕ１の表情を識別する。

推奨処理部１５３は、単語識別部１５１が識別した単語と、表情識別部１５２が識別した表情とに基づいて、上述したスタンプ記憶部３２から、スタンプの候補を取得し、スタンプの候補を含む画像を表示部２３に表示させる。

推奨処理部１５３は、例えば、サーバ装置３０のスタンプ記憶部３２を参照し、単語識別部１５１及び表情識別部１５２が識別した単語及び表情と一致するスタンプを、スタンプの候補として抽出し、抽出した当該スタンプＩＤ及びスタンプ情報を、スタンプ記憶部３２から取得する。推奨処理部１５３は、取得したスタンプ情報を含む表示画像データを生成して、当該表示画像データを、ＮＷ通信部１１を介して、眼鏡型表示装置２０に送信して、表示部２３に表示させる。推奨処理部１６３は、例えば、後述する受信処理部１５５がメッセージを受信した場合に、受信したメッセージに対するスタンプの候補を含む画像を表示部２３に表示させる。

視線検出部１５４は、視線カメラ２２が撮像した目周辺画像に基づいて利用者Ｕ１の視線を検出する。視線検出部１５４は、例えば、ＮＷ通信部１１を介して、眼鏡型表示装置２０から視線カメラ２２が撮像した目周辺画像を取得し、取得した目周辺画像に含まれる瞳（眼球）の動きなどから、既存技術を用いて、利用者Ｕ１の視線を検出する。

受信処理部１５５は、ネットワークＮＷ１を経由して受信したメッセージを、表示部２３に表示させる。受信処理部１５５は、例えば、メッセージアプリにより、ＮＷ通信部１１を介して、メッセージを受信した場合に、受信したメッセージを、ＮＷ通信部１１を介して、眼鏡型表示装置２０に送信して、表示部２３に表示させる。

送信処理部１５６は、視線カメラ２２が撮像した第２画像に基づいて検出された利用者Ｕ１の視線により、表示部２３に表示されているスタンプの候補のうちからスタンプを選択し、選択したスタンプを、所定の送信先にネットワークＮＷ１を経由して送信する。送信処理部１５６は、例えば、視線検出部１５４が検出した視線により、表示部２３に表示されている画像の視線の先に対応する位置に、例えば、十字マークなどのマークを表示させる。

送信処理部１５６は、表示部２３に表示されているスタンプの候補のうちから、選択したいスタンプを所定の期間（例えば、３秒間）、注視することで、スタンプを選択する。送信処理部１５６は、選択したスタンプを、所定の送信先（例えば、受信したメッセージの送信元、あるいは、送信元を含む所定のグループなど）に、ＮＷ通信部１１を介して送信する。

スタンプ登録処理部１５７（登録処理部の一例）は、スタンプ記憶部３２に、利用者Ｕ１のスタンプテーブル情報を記憶させて登録する。なお、スタンプ記憶部３２は、上述した図３に示すように、単語と、表情と、スタンプとを対応付けたスタンプテーブル情報を、利用者Ｕ１ごと（例えば、ユーザＩＤごと）に記憶している。スタンプ登録処理部１５７は、利用者Ｕ１ごとに独自のスタンプを登録する際に、例えば、入力部１２の操作に応じて、指定されたスタンプのスタンプテーブル情報を、ＮＷ通信部１１を介して、サーバ装置３０に送信し、スタンプ記憶部３２に、送信したスタンプテーブル情報を追加して記憶させる。

次に、図面を参照して、本実施形態による簡易通信システム１の動作について説明する。
図４は、本実施形態による簡易通信システム１の動作の一例を示すフローチャートである。

図４に示すように、簡易通信システム１の携帯端末１０は、メッセージアプリによるメッセージの通知を受けると、メッセージの受信処理を実行する（ステップＳ１０１）。携帯端末１０の受信処理部１５５は、ＮＷ通信部１１を介して、例えば、サーバ装置３０からメッセージを受信する。

次に、受信処理部１５５は、受信したメッセージを眼鏡型表示装置２０の表示部２３に表示させる（ステップＳ１０２）。受信処理部１５５は、受信したメッセージを、ＮＷ通信部１１を介して、眼鏡型表示装置２０に送信し、例えば、図５に示すように、メッセージを表示部２３に表示させる。

図５は、本実施形態におけるメッセージの受信画面の一例を示す図である。
図５に示す表示画面Ｇ１は、眼鏡型表示装置２０の表示部２３が表示する画面である。表示部２３は、携帯端末１０がメッセージアプリにより受信したメッセージを、表示画面Ｇ１のように表示する。

次に、携帯端末１０は、口唇カメラ２１の画像を取得する（ステップＳ１０３）。携帯端末１０の単語識別部１５１（又は、表情識別部１５２）は、口唇カメラ２１が撮像した口唇画像を、ＮＷ通信部１１を介して、眼鏡型表示装置２０から取得する。

次に、単語識別部１５１は、画像から口唇の動きが示す単語を識別する（ステップＳ１０４）。単語識別部１５１は、眼鏡型表示装置２０から取得した口唇画像から、口唇の動きを検出し、検出した口唇の動きに基づいて、口唇の動きが示す単語を識別する。

次に、携帯端末１０の表情識別部１５２は、画像から利用者Ｕ１の表情を識別する（ステップＳ１０５）。表情識別部１５２は、眼鏡型表示装置２０から取得した口唇画像から、例えば、怒り、喜び、悲しみ、など感情を示す利用者Ｕ１の表情を、既存技術を用いて識別する。

次に、携帯端末１０の推奨処理部１５３は、単語及び表情に基づいて、スタンプ記憶部３２からスタンプの候補を取得する（ステップＳ１０６）。推奨処理部１５３は、例えば、サーバ装置３０のスタンプ記憶部３２を参照し、単語識別部１５１及び表情識別部１５２が識別した単語及び表情と一致するスタンプを、スタンプの候補として抽出し、抽出した当該スタンプＩＤ及びスタンプ情報を、スタンプ記憶部３２から取得する。

次に、推奨処理部１５３は、スタンプの候補を眼鏡型表示装置２０の表示部２３に表示させる（ステップＳ１０７）。推奨処理部１５３は、取得したスタンプ情報を含む表示画像データを生成して、当該表示画像データを、ＮＷ通信部１１を介して、眼鏡型表示装置２０に送信して、表示部２３に表示させる。眼鏡型表示装置２０の表示部２３は、例えば、図６に示すように、スタンプの候補を表示する。

図６は、本実施形態におけるスタンプの候補の選択画面の一例を示す図である。
図６に示す表示画面Ｇ２は、眼鏡型表示装置２０の表示部２３が表示する画面である。表示部２３は、携帯端末１０から受信した複数のスタンプの候補（例えば、スタンプＳＴＰ１、スタンプＳＴＰ２、スタンプＳＴＰ３、・・・など）を、表示画面Ｇ２のように表示する。

次に、携帯端末１０の視線検出部１５４は、視線カメラ２２の画像を取得し、利用者Ｕ１の視線を検出する（ステップＳ１０８）。視線検出部１５４は、視線カメラ２２が撮像した目周辺画像を、ＮＷ通信部１１を介して、眼鏡型表示装置２０から取得する。視線検出部１５４は、取得した目周辺画像に含まれる瞳（眼球）の動きなどから、既存技術を用いて、利用者Ｕ１の視線を検出する。

次に、携帯端末１０の送信処理部１５６は、利用者Ｕ１の視線の先の画像に、視線マークを表示させる（ステップＳ１０９）。送信処理部１５６は、例えば、図６に示すように、視線マークとして、十字マークＭＫ１を、利用者Ｕ１の視線の先の表示部２３の表示画面Ｇ２に表示させる。

次に、送信処理部１５６は、スタンプの決定操作か否かを判定する（ステップＳ１１０）。送信処理部１５６は、視線検出部１５４による視線の検出により、例えば、３秒間、スタンプの候補が注視されたか否かによって、スタンプの決定操作か否かを判定する。送信処理部１５６は、例えば、３秒間、スタンプの候補が注視された場合（ステップＳ１１０：ＹＥＳ）に、処理をステップＳ１１１に進める。また、送信処理部１５６は、例えば、３秒間、スタンプの候補が注視されていない場合（ステップＳ１１０：ＮＯ）に、処理をステップＳ１０８に戻す。

ステップＳ１１１において、送信処理部１５６は、選択したスタンプをメッセージの送信元を含む送信先（所定の送信先）に送信する。推奨処理部１５３は、選択したスタンプを、ＮＷ通信部１１を介して、メッセージの送信元を含む送信先（所定の送信先）に返信する。ステップＳ１１１の処理後に、送信処理部１５６は、当該処理を終了する。

なお、図７は、本実施形態におけるスタンプの送信完了画面の一例を示す図である。
図７に示す表示画面Ｇ３は、眼鏡型表示装置２０の表示部２３が表示する画面であり、表示部２３は、携帯端末１０が送信したスタンプＳＴＰ４を、表示画面Ｇ２のように表示する。

以上説明したように、本実施形態による簡易通信システム１は、ネットワークＮＷ１に接続可能な携帯端末１０と、利用者Ｕ１の頭部に装着可能な眼鏡型表示装置２０（表示装置）とを備える。眼鏡型表示装置２０は、利用者Ｕ１の頭部に装着された場合に、少なくとも利用者Ｕ１の口唇を含む第１画像を撮像可能な口唇カメラ２１（第１撮像部）と、利用者Ｕ１の目を含む第２画像を撮像可能な視線カメラ２２（第２撮像部）と、画像を表示する表示部２３とを有する。携帯端末１０は、単語識別部１５１と、表情識別部１５２と、推奨処理部１５３と、送信処理部１５６とを備える。単語識別部１５１は、口唇カメラ２１が撮像した第１画像に基づいて、口唇の動きを検出し、検出した口唇の動きに基づいて、口唇の動きが示す単語を識別する。表情識別部１５２は、第１画像に基づいて、利用者Ｕ１の表情を識別する。推奨処理部１５３は、スタンプ記憶部３２（候補記憶部）から、単語識別部１５１が識別した単語と、表情識別部１５２が識別した表情とに基づいて、スタンプの候補を取得し、スタンプの候補を含む画像を表示部２３に表示させる。ここで、スタンプ記憶部３２は、単語と、表情と、利用者Ｕ１の心情を表現するイラストであるスタンプとを対応付けて記憶する。送信処理部１５６は、視線カメラ２２が撮像した第２画像に基づいて検出された利用者Ｕ１の視線により、表示部２３に表示されているスタンプの候補のうちからスタンプを選択し、選択したスタンプを、所定の送信先（例えば、受信したメッセージの送信元）にネットワークＮＷ１を経由して送信する。

これにより、本実施形態による簡易通信システム１は、例えば、満員電車の中など利用者Ｕ１の手が使用できない状況において、利用者Ｕ１の口唇の動きから、利用者Ｕ１の意図する単語を識別するとともに、口唇周辺の画像から表情を識別し、単語及び表情に基づいて、スタンプの候補を表示部２３に表示させる。そして、本実施形態による簡易通信システム１は、視線の検出により、スタンプの候補のうちからスタンプを選択し、選択したスタンプを、所定の送信先に送信するため、適切なスタンプを送信することができる。よって、本実施形態による簡易通信システム１は、利用者Ｕ１の手が使用できない状況において、適切に情報（例えば、スタンプ）を送信することができる。

また、本実施形態では、スタンプ記憶部３２は、単語と、表情と、スタンプとを対応付けたスタンプテーブル情報を、利用者Ｕ１ごとに記憶する。簡易通信システム１（携帯端末１０）は、スタンプ記憶部３２に、利用者Ｕ１のスタンプテーブル情報を記憶させて登録するスタンプ登録処理部１５７（登録処理部）を備える。

これにより、本実施形態による簡易通信システム１は、利用者Ｕ１ごとに、独自のスタンプを登録することが可能であり、例えば、利用者Ｕ１の手が使用できない状況において、利用者Ｕ１の独自のスタンプを送信することができる。よって、本実施形態による簡易通信システム１は、スタンプの選択の自由度を高めることができるとともに、利便性を向上させることができる。

また、本実施形態による簡易通信システム１は、ネットワークＮＷ１を経由して受信したメッセージを、表示部２３に表示させる受信処理部１５５を備える。推奨処理部１６３は、受信したメッセージに対するスタンプの候補を含む画像を表示部２３に表示させる。送信処理部１５６は、選択したスタンプを、受信したメッセージの送信元を含む所定の送信先に送信する。

これにより、本実施形態による簡易通信システム１は、例えば、利用者Ｕ１の手が使用できない状況において、受信したメッセージに対して、適切にスタンプを返信することができる。

また、本実施形態による簡易通信方法は、上述した携帯端末１０と、眼鏡型表示装置２０とを備える簡易通信システム１の簡易通信方法であって、単語識別ステップと、感情識別ステップと、推奨処理ステップと、送信処理ステップとを含む。単語識別ステップにおいて、携帯端末１０が、口唇カメラ２１が撮像した第１画像に基づいて、口唇の動きを検出し、検出した口唇の動きに基づいて、口唇の動きが示す単語を識別する。感情識別ステップにおいて、携帯端末１０が、第１画像に基づいて、利用者Ｕ１の表情を識別する。推奨処理ステップにおいて、携帯端末１０が、スタンプ記憶部３２から、単語識別ステップによって識別された単語と、感情識別ステップによって識別された表情とに基づいて、スタンプの候補を取得し、スタンプの候補を含む画像を表示部２３に表示させる。送信処理ステップにおいて、携帯端末１０が、視線カメラ２２が撮像した第２画像に基づいて検出された利用者Ｕ１の視線により、表示部２３に表示されているスタンプの候補のうちからスタンプを選択し、選択したスタンプを、所定の送信先にネットワークＮＷ１を経由して送信する。

これにより、本実施形態による簡易通信方法は、上述した簡易通信システム１と同様の効果を奏し、利用者Ｕ１の手が使用できない状況において、適切に情報（例えば、スタンプ）を送信することができる。

［第２の実施形態］
次に、図面を参照して、第２の実施形態のよる簡易通信システム１ａについて説明する。本実施形態では、過去のスタンプの送信履歴を利用して、スタンプの候補に、優先順位を付ける変形例について説明する。

図８は、第２の実施形態による簡易通信システム１ａの一例を示す機能ブロック図である。
図８に示すように、簡易通信システム１ａは、携帯端末１０ａと、眼鏡型表示装置２０と、サーバ装置３０ａとを備える。
なお、この図において、図１及び図２と同一の構成には、同一の符号を付与して、ここではその説明を省略する。

サーバ装置３０ａは、例えば、メッセージアプリなどのサービスを提供するアプリケーションサーバであり、各種情報を記憶する。サーバ装置３０ａは、例えば、ネットワークＮＷ１を経由して、携帯端末１０ａと接続し、携帯端末１０ａとの間で各種情報を通信する。サーバ装置３０ａは、例えば、ＮＷ通信部３１と、スタンプ記憶部３２と、送信履歴記憶部３３とを備えている。

送信履歴記憶部３３は、携帯端末１０ａによるスタンプの送信履歴情報を記憶する。送信履歴記憶部３３は、例えば、送信日時と、送信したスタンプと、送信先と、単語と、表情とを対応付けた過去の送信履歴情報を記憶する。ここで、図９を参照して、送信履歴記憶部３３のデータ例について説明する。

図９は、本実施形態おける送信履歴記憶部３３のデータ例を示す図である。
図９に示すように、送信履歴記憶部３３は、「ユーザＩＤ」と、「日時」と、「スタンプＩＤ」と、「送信先」と、「単語」と、「表情」と、「場所」と、「スケジュール」とを対応付けた履歴情報を記憶する。

ここで、「日時」は、スタンプを送信した日時を示し、「スタンプＩＤ」は、スタンプを識別するスタンプ識別情報の一例である。また、「単語」及び「表情」は、スタンプを送信した際の携帯端末１０ａによる単語及び表情の認識結果を示し、「場所」は、スタンプを送信した際の利用者Ｕ１が居た場所に関する位置情報を示している。また、「スケジュール」は、スタンプを送信した際の利用者Ｕ１のスケジュールに基づく利用者Ｕ１の状況を示すスケジュール情報である。「スケジュール」の情報は、後述する携帯端末１０ａのスケジュール記憶部１４１に登録されている情報に基づいて設定される。なお、「スケジュール」の情報は、登録されている情報そのままであってもよい。

図９に示す例では、例えば、「日時」が“２０２０／０１／２０ １０：００”（２０２０年１月２０日１０時０分）に、「スタンプＩＤ」が“ＡＡＡ”のスタンプを、「送信先」の“○○”に送信していることを示している。また、このスタンプを送信した際の「単語」が“いいね”、「表情」が“退屈”、「場所」が“ＸＸＸ市”、及び「スケジュール」が“仕事”であることを示している。すなわち、このスタンプが、利用者Ｕ１が“ＸＸＸ市”にいるときに、仕事中に送信されたことを示している。

図８の説明に戻り、携帯端末１０ａは、例えば、スマートフォンやタブレット端末などの端末装置であり、利用者Ｕ１が携帯可能な端末装置である。携帯端末１０ａは、例えば、ＮＷ通信部１１と、入力部１２と、表示部１３と、端末記憶部１４ａと、端末制御部１５ａと、位置情報検出部１６とを備えている。

端末記憶部１４ａは、携帯端末１０ａが利用する各種情報を記憶する。端末記憶部１４ａは、スケジュール記憶部１４１を備えている。
スケジュール記憶部１４１は、予め登録されている利用者Ｕ１のスケジュールを記憶する。スケジュール記憶部１４１は、例えば、日時情報と、スケジュール内容（“仕事”、“趣味活動”など利用者Ｕ１の状況を示す情報）とを対応付けて記憶する。スケジュール記憶部１４１が記憶するスケジュールは、上述した送信履歴情報や、スタンプの候補の優先順位付け行う際に利用される。

位置情報検出部１６は、例えば、ＧＰＳ（Global Positioning System）により、携帯端末１０ａ（利用者Ｕ１）の位置情報を検出する。位置情報検出部１６が検出した位置情報は、上述した送信履歴情報や、スタンプの候補の優先順位付け行う際に利用される。

端末制御部１５ａは、例えば、ＣＰＵなどを含むプロセッサであり、携帯端末１０ａを統括的に制御する。端末制御部１５ａは、例えば、単語識別部１５１と、表情識別部１５２と、推奨処理部１５３ａと、視線検出部１５４と、受信処理部１５５と、送信処理部１５６ａと、スタンプ登録処理部１５７とを備えている。端末制御部１５ａの機能は、基本的に、上述した第１の実施形態の端末制御部１５と同様であるが、本実施形態では、推奨処理部１５３ａ及び送信処理部１５６ａの処理の一部が異なる。

推奨処理部１５３ａは、送信履歴記憶部３３が記憶する送信履歴情報に基づいて、スタンプの候補の優先順位を決定し、当該優先順位に応じた配置にして、スタンプの候補を表示部２３に表示させる。推奨処理部１５３ａは、例えば、表示の左上を最優先順位として、表示の左から右に進む程、優先順位が低く、表示の上から下に進む程、優先順位が低くなるように、スタンプの候補を表示部２３に表示させる。

ここで、優先順位とは、１番目が最も優先順位が高く、順位の数字が大きくなる程、優先順位が低くなるものとする。すなわち、優先順位の上位の方が、下位よりも順位の数字が小さく、優先順位の下位の方が、上位よりも順位の数字が大きいものとする。
また、本実施形態において、「優先順位を上げる」とは、優先順位を高めることであり、「優先順位を下げる」とは、優先順位を低めることである。

推奨処理部１５３ａは、例えば、識別した「単語」と「表情」との両方が一致するスタンプの候補の優先順位を最上位にし、「単語」と「表情」とのいずれか一方のみが一致するスタンプの候補の優先順位を下げる（低くする）ようにしてもよい。また、「単語」と「表情」とのいずれを優先するのか予め決めておいてもよい。

また、上述した送信履歴記憶部３３の送信履歴情報には、スタンプを送信した場所情報が含まれ、推奨処理部１５３ａは、送信履歴情報に基づいて、現在の携帯端末１０ａの場所に対応したスタンプの候補の優先順位を上げる（高くする）処理を実行する。推奨処理部１５３ａは、例えば、位置情報検出部１６が検出した位置情報に基づいて、現在の携帯端末１０ａの場所を決定し、決定した場所と送信履歴情報に含まれる「場所」とが一致する又は近いものを優先順位を上げる（高くする）ようにする。

また、上述した送信履歴記憶部３３の送信履歴情報には、スタンプを送信した際の状況を示すスケジュール情報が含まれ、推奨処理部１５３ａは、利用者Ｕ１の送信履歴情報に基づいて、現在のスケジュールに基づく利用者Ｕ１の状況に対応したスタンプの候補の優先順位を上げる（高くする）処理を実行する。推奨処理部１５３ａは、例えば、スケジュール記憶部１４１に登録されている現在の利用者Ｕ１のスケジュールに基づいて、現在のスケジュール情報を決定し、決定したスケジュール情報と送信履歴情報に含まれる「スケジュール」とが一致する又は近いものを優先順位を上げる（高くする）ようにする。

また、推奨処理部１５３ａは、利用者Ｕ１の送信履歴情報に基づいて、スタンプの使用頻度が高い程、スタンプの候補の優先順位を上げる（高くする）ようにしてもよいし、連続して同じスタンプを送信しないようにするために、直近に送信されたスタンプに対するスタンプの候補の優先順位を下げる（低くする）ようにしてもよい。

例えば、スタンプを送信しようとしている送信先が“××”であり、単語が“いいね”であり、表情が“退屈”であった場合に、推奨処理部１５３ａは、送信履歴記憶部３３が記憶する送信履歴情報に基づいて、次のように優先順位を決定し、スタンプの候補を表示部２３に表示させる。推奨処理部１５３ａは、例えば、送信先が“××”である場合の使用頻度が高いスタンプの候補の上位○○個（例えば、５個）と、単語が“いいね”である場合の使用頻度が高いスタンプの候補の上位○○個（例えば、５個）と、表情が“退屈”である場合の使用頻度が高いスタンプの候補の上位○○個（例えば、５個）と、を順番にスタンプの候補として表示部２３に表示させる。

送信処理部１５６ａの基本的な機能は、上述した第１の実施形態の送信処理部１５６と同様である。送信処理部１５６ａは、送信したスタンプに対応する送信履歴情報を、送信履歴記憶部３３に追加して記憶させる処理が追加される。送信処理部１５６ａは、スタンプを送信した後に、例えば、図９に示すような送信したスタンプに対応する送信履歴情報を、ＮＷ通信部１１を介して、サーバ装置３０ａに送信し、当該送信履歴情報を送信履歴記憶部３３に記憶させる。

次に、図面を参照して、本実施形態による簡易通信システム１ａの動作について説明する。
図１０は、本実施形態による簡易通信システム１ａの動作の一例を示すフローチャートである。

図１０に示すステップＳ２０１からステップＳ２０６までの処理は、上述した図４に示すステップＳ１０１からステップＳ１０６までの処理と同様であるため、ここではその説明を省略する。
ステップＳ２０７において、携帯端末１０ａの推奨処理部１５３ａは、送信履歴情報に基づいてスタンプの候補の優先順位を決定する。すなわち、推奨処理部１５３ａは、送信履歴記憶部３３が記憶する送信履歴情報に基づいて、上述したように、スタンプの候補の優先順位を決定する。

次に、推奨処理部１５３ａは、スタンプの候補を眼鏡型表示装置２０の表示部２３に表示させる（ステップＳ２０８）。推奨処理部１５３ａは、スタンプの候補を、優先順位に応じた配置（例えば、表示の左から右に進む程、優先順位が低く、表示の上から下に進む程、優先順位が低くなるようにした配置）で、表示部２３に表示させる。

続く、ステップＳ２０９からステップＳ２１２までの処理は、上述した図４に示すステップＳ１０８からステップＳ１１１までの処理と同様であるため、ここではその説明を省略する。
また、ステップＳ２１３において、送信処理部１５６ａは、送信履歴情報を追加する。送信処理部１５６ａは、送信したスタンプに対応する送信履歴情報を、送信履歴記憶部３３に追加して記憶させる。ステップＳ２１３の処理後に、送信処理部１５６ａは、当該処理を終了する。

以上説明したように、本実施形態による簡易通信システム１ａは、送信日時と、送信したスタンプと、送信先と、単語と、表情とを対応付けた過去の送信履歴情報を記憶する送信履歴記憶部３３を備える。推奨処理部１５３ａは、送信履歴記憶部３３が記憶する送信履歴情報に基づいて、スタンプの候補の優先順位を決定し、当該優先順位に応じた配置にして、スタンプの候補を表示部２３に表示させる。

これにより、本実施形態による簡易通信システム１ａは、送信履歴情報に基づいて、スタンプの候補の優先順位を決定し、当該優先順位に応じた配置にして、スタンプの候補を表示部２３に表示させるため、利用者Ｕ１の使用傾向に合わせた適切なスタンプの候補を利用者Ｕ１に勧める（推奨する）ことができる。

また、本実施形態では、上述した送信履歴記憶部３３の送信履歴情報には、スタンプを送信した場所情報が含まれる。推奨処理部１５３ａは、送信履歴情報に基づいて、現在の携帯端末１０ａの場所に対応したスタンプの候補の優先順位を上げる（高める）。
これにより、本実施形態による簡易通信システム１ａは、使用場所に応じて、適切なスタンプの候補を利用者Ｕ１に勧める（推奨する）ことができる。

また、本実施形態では、上述した送信履歴記憶部３３の送信履歴情報には、スタンプを送信した際の状況を示すスケジュール情報が含まれる。推奨処理部１５３ａは、利用者Ｕ１の送信履歴情報に基づいて、現在のスケジュールに基づく利用者Ｕ１の状況に対応したスタンプの候補の優先順位を上げる（高める）。
これにより、本実施形態による簡易通信システム１ａは、例えば、仕事（ビジネス）や趣味活動（プライベート）などの利用者Ｕ１の状況に応じて、適切なスタンプの候補を利用者Ｕ１に勧める（推奨する）ことができる。

また、本実施形態では、送信処理部１５６ａは、送信したスタンプに対応する送信履歴情報を、送信履歴記憶部３３に追加して記憶させる。推奨処理部１５３ａは、直近に送信されたスタンプに対するスタンプの候補の優先順位を下げる（低める）。
これにより、本実施形態による簡易通信システム１ａは、例えば、直近に送信したスタンプを連続して送付してしまうことを抑制することができ、適切なスタンプの候補を利用者Ｕ１に勧める（推奨する）ことができる。

また、本実施形態では、推奨処理部１５３ａは、利用者Ｕ１の送信履歴情報に基づいて、スタンプの使用頻度が高い程、スタンプの候補の優先順位を上げる（高める）。
これにより、本実施形態による簡易通信システム１ａは、使用頻度が高いスタンプの候補を優先的に表示部２３に表示させるため、利用者の使用傾向に合わせた適切なスタンプの候補を利用者Ｕ１に勧める（推奨する）ことができる。

なお、スタンプ記憶部３２は、単語と、表情と、スタンプと、スタンプのグループを示すグループ情報とを対応付けて記憶してもよい。ここで、スタンプのグループとは、例えば、同一のキャラクタを用いたスタンプの集合や、同様の用途に用いるスタンプの集合などである。

図１１は、スタンプ記憶部３２の変形例を示す図である。
図１１に示すように、スタンプ記憶部３２の変形例では、「ユーザＩＤ」と、「グループＩＤ」と、「スタンプＩＤ」と、「スタンプ情報」と、「単語」と、「表情」とを対応付けたスタンプテーブル情報を記憶する。ここで、「グループＩＤ」は、スタンプのグループを識別する識別情報であり、グループ情報の一例である。

このようにスタンプテーブル情報に「グループＩＤ」が含まれる場合に、推奨処理部１５３ａは、利用者Ｕ１の送信履歴情報に基づいて、前回送信したスタンプのグループ情報と一致する、スタンプの候補の優先順位を上げる（高める）ようにしてもよい。
これにより、本実施形態による簡易通信システム１ａは、グループ情報が一致したスタンプの候補の優先的に推薦することで、送信するスタンプに一貫性を持たせること可能であり、利便性を向上させることができる。

なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の実施形態において、スタンプ記憶部３２及び送信履歴記憶部３３をサーバ装置３０（３０ａ）が備える例を説明したが、これに限定されるものではなく、携帯端末１０（１０ａ）が、これらの記憶部を備えるようにしてもよい。

また、上記の実施形態において、携帯端末１０（１０ａ）と、眼鏡型表示装置２０との間の通信は、ネットワークＮＷ１を経由して行う例を説明したが、これに限定されるものではなく、有線インタフェース又は無線インタフェースによりネットワークＮＷ１を経由せずに通信するようにしてもよい。この場合、携帯端末１０（１０ａ）と、眼鏡型表示装置２０との間の無線通信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのインタフェースを用いてもよい。

また、上記の実施形態において、携帯制御部１５（１５ａ）が備える各機能部は、携帯制御部１５（１５ａ）の外部に備えるようにしてもよい。例えば、単語識別部１５１、表情識別部１５２、及び視線検出部１５４の一部又は全部を、眼鏡型表示装置２０に備えるようにしてもよいし、サーバ装置３０（３０ａ）が備えるようにしてもよい。

なお、上述した簡易通信システム１（１ａ）が備える各構成は、内部に、コンピュータシステムを有している。そして、上述した簡易通信システム１（１ａ）が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した簡易通信システム１（１ａ）が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。

また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に簡易通信システム１（１ａ）が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

また、上述した機能の一部又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

１、１ａ 簡易通信システム
１０、１０ａ 携帯端末
１１、２４、３１ ＮＷ通信部
１２ 入力部
１３、２３ 表示部
１４、１４ａ 端末記憶部
１５、１５ａ 端末制御部
１６ 位置情報検出部
２０ 眼鏡型表示装置
２１ 口唇カメラ
２２ 視線カメラ
３０、３０ａ サーバ装置
３２ スタンプ記憶部
３３ 送信履歴記憶部
１４１ スケジュール記憶部
１５１ 単語識別部
１５２ 表情識別部
１５３、１６３ａ 推奨処理部
１５４ 視線検出部
１５５ 受信処理部
１５６、１５６ａ 送信処理部
１５７ スタンプ登録処理部
ＮＷ１ ネットワーク

Claims (11)

1. 利用者の頭部に装着可能な表示装置であって、前記利用者の頭部に装着された場合に、少なくとも前記利用者の口唇を含む第１画像を撮像可能な第１撮像部と、前記利用者の目を含む第２画像を撮像可能な第２撮像部と、画像を表示する表示部とを有する表示装置と、
   ネットワークに接続可能な携帯端末と
   を備え、
   前記携帯端末は、
   前記第１撮像部が撮像した前記第１画像に基づいて、前記口唇の動きを検出し、検出した前記口唇の動きに基づいて、前記口唇の動きが示す単語を識別する単語識別部と、
   前記第１画像に基づいて、前記利用者の表情を識別する表情識別部と、
   前記単語と、前記表情と、前記利用者の心情を表現するイラストであるスタンプとを対応付けて記憶する候補記憶部から、前記単語識別部が識別した前記単語と、前記表情識別部が識別した前記表情とに基づいて、前記スタンプの候補を取得し、前記スタンプの候補を含む前記画像を前記表示部に表示させる推奨処理部と、
   前記第２撮像部が撮像した前記第２画像に基づいて検出された前記利用者の視線により、前記表示部に表示されている前記スタンプの候補のうちから前記スタンプを選択し、選択した前記スタンプを、所定の送信先に前記ネットワークを経由して送信する送信処理部と
   を備えることを特徴とする簡易通信システム。
2. 送信日時と、送信した前記スタンプと、送信先と、前記単語と、前記表情とを対応付けた過去の送信履歴情報を記憶する送信履歴記憶部を備え、
   前記推奨処理部は、前記送信履歴記憶部が記憶する前記送信履歴情報に基づいて、前記スタンプの候補の優先順位を決定し、当該優先順位に応じた配置にして、前記スタンプの候補を前記表示部に表示させる
   ことを特徴とする請求項１に記載の簡易通信システム。
3. 前記送信履歴情報には、前記スタンプを送信した場所情報が含まれ、
   前記推奨処理部は、前記送信履歴情報に基づいて、現在の前記携帯端末の場所に対応した前記スタンプの候補の優先順位を上げる
   ことを特徴とする請求項２に記載の簡易通信システム。
4. 前記送信履歴情報には、前記スタンプを送信した際の状況を示すスケジュール情報が含まれ、
   前記推奨処理部は、前記利用者の前記送信履歴情報に基づいて、現在のスケジュールに基づく利用者の状況に対応した前記スタンプの候補の前記優先順位を上げる
   ことを特徴とする請求項２又は請求項３に記載の簡易通信システム。
5. 前記送信処理部は、送信した前記スタンプに対応する前記送信履歴情報を、前記送信履歴記憶部に追加して記憶させ、
   前記推奨処理部は、直近に送信された前記スタンプに対する前記スタンプの候補の優先順位を下げる
   ことを特徴とする請求項２から請求項４のいずれか一項に記載の簡易通信システム。
6. 前記推奨処理部は、前記利用者の前記送信履歴情報に基づいて、前記スタンプの使用頻度が高い程、前記スタンプの候補の前記優先順位を上げる
   ことを特徴とする請求項２から請求項５のいずれか一項に記載の簡易通信システム。
7. 前記候補記憶部は、前記単語と、前記表情と、前記スタンプと、前記スタンプのグループを示すグループ情報とを対応付けて記憶し、
   前記推奨処理部は、前記利用者の前記送信履歴情報に基づいて、前回送信した前記スタンプの前記グループ情報と一致する、前記スタンプの候補の前記優先順位を上げる
   ことを特徴とする請求項２から請求項６のいずれか一項に記載の簡易通信システム。
8. 前記候補記憶部は、前記単語と、前記表情と、前記スタンプとを対応付けたスタンプテーブル情報を、利用者ごとに記憶し、
   前記候補記憶部に、前記利用者の前記スタンプテーブル情報を記憶させて登録する登録処理部を備える
   ことを特徴とする請求項１から請求項７のいずれか一項に記載の簡易通信システム。
9. 前記ネットワークを経由して受信したメッセージを、前記表示部に表示させる受信処理部を備え、
   前記推奨処理部は、受信した前記メッセージに対する前記スタンプの候補を含む前記画像を前記表示部に表示させ、
   前記送信処理部は、選択した前記スタンプを、受信した前記メッセージの送信元を含む所定の送信先に送信する
   ことを特徴とする請求項１から請求項８のいずれか一項に記載の簡易通信システム。
10. 利用者の頭部に装着可能な表示装置であって、前記利用者の頭部に装着された場合に、少なくとも前記利用者の口唇を含む第１画像を撮像可能な第１撮像部と、前記利用者の目を含む第２画像を撮像可能な第２撮像部と、画像を表示する表示部とを有する表示装置と、ネットワークに接続可能な携帯端末とを備える簡易通信システムの簡易通信方法であって、
    前記携帯端末が、前記第１撮像部が撮像した前記第１画像に基づいて、前記口唇の動きを検出し、検出した前記口唇の動きに基づいて、前記口唇の動きが示す単語を識別する単語識別ステップと、
    前記携帯端末が、前記第１画像に基づいて、前記利用者の表情を識別する感情識別ステップと、
    前記携帯端末が、前記単語と、前記表情と、前記利用者の心情を表現するイラストであるスタンプとを対応付けて記憶する候補記憶部から、前記単語識別ステップによって識別された前記単語と、前記感情識別ステップによって識別された前記表情とに基づいて、前記スタンプの候補を取得し、前記スタンプの候補を含む前記画像を前記表示部に表示させる推奨処理ステップと、
    前記携帯端末が、前記第２撮像部が撮像した前記第２画像に基づいて検出された前記利用者の視線により、前記表示部に表示されている前記スタンプの候補のうちから前記スタンプを選択し、選択した前記スタンプを、所定の送信先に前記ネットワークを経由して送信する送信処理ステップと
    を含むことを特徴とする簡易通信方法。
11. 利用者の頭部に装着可能な表示装置であって、前記利用者の頭部に装着された場合に、少なくとも前記利用者の口唇を含む第１画像を撮像可能な第１撮像部と、前記利用者の目を含む第２画像を撮像可能な第２撮像部と、画像を表示する表示部とを有する表示装置と、ネットワークに接続可能な携帯端末とを備える簡易通信システムのコンピュータに、
    前記第１撮像部が撮像した前記第１画像に基づいて、前記口唇の動きを検出し、検出した前記口唇の動きに基づいて、前記口唇の動きが示す単語を識別する単語識別ステップと、
    前記第１画像に基づいて、前記利用者の表情を識別する感情識別ステップと、
    前記単語と、前記表情と、前記利用者の心情を表現するイラストであるスタンプとを対応付けて記憶する候補記憶部から、前記単語識別ステップによって識別された前記単語と、前記感情識別ステップによって識別された前記表情とに基づいて、前記スタンプの候補を取得し、前記スタンプの候補を含む前記画像を前記表示部に表示させる推奨処理ステップと、
    前記第２撮像部が撮像した前記第２画像に基づいて検出された前記利用者の視線により、前記表示部に表示されている前記スタンプの候補のうちから前記スタンプを選択し、選択した前記スタンプを、所定の送信先に前記ネットワークを経由して送信する送信処理ステップと
    を実行させるためのプログラム。

Images