JP5929698B2 - 通信システムおよびプログラム - Google Patents

Description

本開示は、通信システムおよびプログラムに関する。

近年、ノートＰＣ（パーソナルコンピュータ）、スマートフォン、タブレット端末等のモバイル端末装置が普及している。これらのモバイル端末装置は、操作入力用のボタン、スイッチ、タッチパネルディスプレイ等が設けられ、ユーザによる操作入力に応じて各アプリケーションを実行する。

ここで、モバイル端末装置の操作入力方法は、上述したボタンやスイッチ等からの操作入力の他、モバイル端末装置自身を動かすことでアプリケーション実行のトリガとする方法も提案されている。例えば、下記特許文献１では、モバイルデバイスに設けられた加速度計および近接センサ等から供給されるデータを使用して、ユーザの所定の姿勢や、モバイルデバイスを「シェイク」したり「フリップ」したりするジェスチャを識別することが開示されている。そして、特許文献１のモバイルデバイスは、識別したユーザの姿勢やジェスチャを録音ジェスチャとし、録音アプリケーションを実行する。

また、下記特許文献２、３では、無線ハンドセット等の通信装置において、通信装置に設けられた加速度計の出力に応じて、通信装置の動きを検知し、通信装置の状態を制御することが開示されている。具体的には、特許文献２、３では、例えば通信装置の動き（静止ポジションから移動へ推移）が検知された場合に、通信装置をオフフック状態にして、ユーザが「電話」ボタンを押さないで、かかってきた呼と通信できるようにする。また、通信装置の動き（静止ポジションから移動へ推移）が検知された場合に、即時ＯＮ状態にして、ユーザが「電話」ボタンを押さないで、直ちにダイヤルトーンがあり、発呼できる状態にしてもよい。このように、特許文献２、３では、無線電話機（無線ハンドセット）の動作態様を検知してオフフック状態や即時ＯＮ状態にすることで、有線電話機（有線ハンドセット）と同様に状態の切り替えを行うことができる。

また、下記特許文献４では、画像を比較し、予め登録したキーロック解除用の画像と一致する場合には、キーロックを解除するテレビ電話端末が開示されている。このように、キーロック解除アプリケーションの実行を、ボタンやスイッチから操作入力ではなく、画像比較に基づいて行う技術が提案されている。

特表２０１２−５０８５３０号公報 特開２００１−３６６２８号公報 特許第４９３８１００号公報 特開２０００−１８４０５０号公報

しかしながら、特許文献１〜３に開示されている技術は通信端末（いわゆるガジェット）に設けられた加速度計等の出力に応じて録音動作等を実行するものであって、通信端末を所持しないユーザのジェスチャのみに応じた制御については何ら言及されていない。

また、特許文献４においても、通信端末を所持しないユーザのジェスチャのみに応じた制御については何ら言及されていない。

特に、大量のイメージセンサ、マイク、スピーカ等が広範囲に配され、ユーザの身体拡張を実現する手段として用いる新たなコミュニケーション方法（通信システム）を想定したジェスチャ入力に関する技術は、何ら提案されていない。

そこで、本開示では、ジェスチャに応じて通信制御することが可能な、新規かつ改良された通信システムおよびプログラムを提案する。

本開示によれば、ユーザの通信相手先を指定する通信先指定部と、前記ユーザを撮像した撮像画像に基づいて、ユーザのジェスチャを認識するジェスチャ認識部と、前記ジェスチャ認識部により認識されたジェスチャに応じて、前記通信相手先との通信を制御する制御部と、を備える、通信システムを提案する。

本開示によれば、コンピュータを、ユーザの通信相手先を指定する通信先指定部と、前記ユーザを撮像した撮像画像に基づいて、ユーザのジェスチャを認識する認識部と、前記認識部により認識されたジェスチャに応じて、前記通信相手先との通信を制御する制御部、として機能させるための、プログラムを提案する。

以上説明したように本開示によれば、ジェスチャに応じて通信制御することが可能となる。

本開示の一実施形態による通信システムの概要を説明するための図である。 本実施形態による信号処理装置の主要構成例を示すブロック図である。 第１の実施形態による通信制御の処理を示すフローチャートである。 第１の実施形態による電話通信に関するジェスチャ入力の一例について説明するための図である。 第１の実施形態によるメール通信に関するジェスチャ入力の一例について説明するための図である。 第１の実施形態によるメール通信に関するジェスチャ入力の他の例について説明するための図である。 第２の実施形態によるジェスチャ認識による通信制御の処理を示すフローチャートである。 第３の実施形態によるジェスチャ登録の動作処理を示すフローチャートである。 第３の実施形態によるジェスチャ登録の画面の一例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による通信システムの概要
２．本実施形態による端末装置の主要構成例
３．各実施形態
３−１．第１の実施形態
３−２．第２の実施形態
３−３．第３の実施形態
４．まとめ

＜１．本開示の一実施形態による通信システムの概要＞
まず、本開示の一実施形態による通信システムの概要について、図１を参照して説明する。図１は、本開示の一実施形態による通信システムの概要を説明するための図である。図１に示すように、本実施形態では、屋外や屋内の床、壁、天井等の至る所に複数のマイクロフォン（以下、マイクと称す）２ａ〜２ｄやカメラ３ａ〜３ｂ等のセンサと、スピーカ４ａ〜４ｄ等のアクチュエータとが配置されていることを想定する。

マイク２ａ〜２ｄ（以下、マイク２とも称す）は、ユーザの音声を集音し、信号処理装置１に出力する。カメラ３ａ〜３ｂ（以下、カメラ３とも称す）は、ユーザを撮影し、撮影画像を信号処理装置１に出力する。スピーカ４ａ〜４ｄ（以下、スピーカ４とも称す）は、信号処理装置１から出力されるオーディオ信号（相手先ユーザの音声や、発信音、着信音等）を再生する。

なお、図１では、センサおよびアクチュエータの具体例として、マイク２ａ〜２ｄ、カメラ３ａ〜３ｂ、スピーカ４ａ〜４ｄを示したが、各センサおよびアクチュエータの数は、図１に示す例に限定されない。また、センサおよびアクチュエータの種別は、図１に示す例に限定されない。例えば、センサとして、さらに人感センサが設置されていてもよいし、アクチュエータとしてさらにディスプレイが設置されていてもよい。人感センサは、周囲にユーザが居ることを検知し、検知結果を信号処理装置１に出力する。また、ディスプレイは、信号処理装置１による表示制御に応じて、Ｗｅｂ画面やメール画面を表示する。

信号処理装置１は、これらセンサおよびアクチュエータと接続し、上述したようにデータの入出力を行う。また、信号処理装置１は、遠隔地に居る相手ユーザの周囲に同様に配されたセンサおよびアクチュエータと接続する信号処理装置と通信（データの送受信）したり、相手ユーザが所持する携帯電話端末やスマートフォンと通信したりすることができる。

これにより、ユーザが携帯電話端末やスマートフォン、タブレット端末等の通信端末を所持していなくても遠隔地に居る相手ユーザと通信ができる新たなコミュニケーションシステム（通信システム）が実現される。

ここで、ユーザが通信を開始したり相手ユーザを指定したりするための指示は、例えば音声による入力が考え得る。具体的には、信号処理装置１は、マイク２から集音したユーザの音声を解析し、「ＡＡさんと電話したい」といったコマンドを受け付け、ＡＡが居るエリアの信号処理装置と通信し、呼び出しを行う。

しかしながら、音声入力に限らず、ジェスチャ入力も可能となれば、このような通信端末を持ち歩く必要のない新たなコミュニケーションシステムにおいて、さらに利便性が向上する。

そこで、上記事情を一着眼点にして本開示の各実施形態による通信システムを創作するに至った。本開示の各実施形態による通信システムによれば、ジェスチャに応じて通信の開始／終了や、通信種別を制御することができる。

より具体的には、信号処理装置１は、カメラ３によりユーザを撮影した撮影画像に基づいて、ユーザのジェスチャを認識し、認識したジェスチャに応じて通信制御を行う。例えば、図１に示すように、親指と小指を立てて顔の近くに持っていく電話をかける動作のジェスチャＧ１が認識された場合、信号処理装置１は、電話通信開始の制御を行う。電話通信開始の制御とは、発呼状態（ダイヤルトーンがスピーカ４から鳴る状態、または相手先が既に指定されている場合は相手先への発信音および呼び出し音がスピーカ４から鳴る状態）にしたり、着呼に応じる（電話に出る）状態にしたりする制御である。

また、信号処理装置１は、ジェスチャに応じて、電話通信、インターネット通信、メール通信等のいずれかの通信種別であるかを判断し、電話の場合は発呼状態に制御し、インターネットやメールの場合はディスプレイに所定の画面を表示するよう制御してもよい。このように、ユーザは、ジェスチャにより通信種別を選択することができる。

以下、このような本実施形態による通信システムに含まれる信号処理装置１の主要構成例について図２を参照して説明する。

＜２．本実施形態による信号処理装置の主要構成例＞
図２は、本実施形態による信号処理装置１の主要構成例を示すブロック図である。図２に示すように、信号処理装置１は、制御部１０、アンプ・ＡＤＣ（アナログ−デジタルコンバータ）部１２、ＤＡＣ（デジタル−アナログコンバータ）・アンプ部１４、信号処理部１６、ジェスチャＤＢ（データベース）１８、および通信Ｉ／Ｆ（インタフェース）２０を有する。なお、また、複数のマイク２、スピーカ４、カメラ３は、図２に示す例では、信号処理装置１と別に構成されているが、信号処理装置１に含まれていてもよい。

（制御部）
制御部１０は、信号処理装置１の各構成を制御する機能を有する。具体的には、本実施形態による制御部１０は、図２に示すように、音声認識部１００、通信先指定部１１０、ジェスチャ認識部１２０、および通信制御部１３０として機能する。

・音声認識部
音声認識部１００は、マイク２で集音されたユーザの音声を形態素解析し、通信相手の名称や、電話番号、アドレス等を認識する。また、音声認識部１００は認識結果を通信先指定部１１０に出力する。

・通信先指定部
通信先指定部１１０は、音声認識部１００から出力された認識結果に応じて、ユーザがコンタクトを要求する通信相手先を指定（決定）する機能を有する。具体的には、例えば通信先指定部１１０は、音声認識された通信相手の名称に紐付けられた電話番号や、音声認識された電話番号等に基づいて、通信相手が所持する携帯電話端末を通信相手先に決定する。また、通信先指定部１１０は、音声認識された通信相手が現在居る場所の周辺に配されるマイクやスピーカと接続する信号処理装置を通信相手先に決定してもよい。この場合、通信先指定部１１０は、通信Ｉ／Ｆ２０から管理サーバ（不図示）に問い合わせを行い、通信相手が現在居る場所の周辺に配されるマイクやスピーカと接続する信号処理装置のＩＰアドレス等を取得してもよい。

以上、通信先指定部１１０がユーザに任意で指定された対象を通信相手先として決定する場合について説明したが、本実施形態による通信先の決定はこれに限定されず、通信先指定部１１０は、予め設定されたデフォルトの対象を通信相手先として決定してもよい。

・ジェスチャ認識部
ジェスチャ認識部１２０は、カメラ３で撮影された撮影画像に基づいて、ユーザのジェスチャを認識する。また、ジェスチャ認識部１２０は、認識結果を通信制御部１３０に出力する。ジェスチャ認識部１２０が認識するジェスチャは、予めジェスチャＤＢ１８に登録されていてもよい。例えば、ジェスチャ認識部１２０は、例えば撮影画像とジェスチャＤＢ１８に登録されているジェスチャ画像とを比較し、手の形や動きが一致する場合、ジェスチャとして認識する。

・通信制御部
通信制御部１３０は、ジェスチャ認識部１２０により認識されたジェスチャに応じて、通信先指定部１１０により指定された通信相手先との通信を制御する。具体的には、通信制御部１３０は、電話通信の開始／終了制御や、通信種別に応じた通信プロトコルでの接続を行うよう制御する。また、通信制御部１３０は、ジェスチャＤＢ１８を参照し、認識されたジェスチャに対応付けられた制御を実行する。

（アンプ・ＡＤＣ部）
アンプ・ＡＤＣ部１２は、マイク２から出力された音声情報を増幅するアンプと、アンプにより増幅された音声情報を、アナログ電気信号からデジタル電気信号に変換するＡＤＣを有する。また、アンプ・ＡＤＣ部１２は、デジタル電気信号に変換した音声情報を信号処理部１６に出力する。

（ＤＡＣ・アンプ部）
ＤＡＣ・アンプ部１４は、信号処理部１６から出力された通話相手の音声情報を、デジタル電気信号からアナログ電気信号に変換するＤＡＣと、アナログ電気信号に変換された音声情報を増幅するアンプを有する。また、ＤＡＣ・アンプ部１４は、アナログ電気信号に変換し、増幅した音声情報をスピーカ４に出力する。

（信号処理部）
信号処理部１６は、制御部１０による制御にしたがって、マイク２で集音され、アンプ・ＡＤＣ部１２から出力された音声情報（送話音声）、または通信Ｉ／Ｆ２０により受信した音声情報（受話音声）に対して、所定の信号処理を行う機能を有する。所定の信号処理とは、例えばノイズ除去処理である。

また、信号処理部１６は、マイク２で集音され、ノイズ除去処理等を行ったユーザの音声情報を制御部１０の音声認識部１００に出力する。なお電話通信中においては、信号処理部１６は、マイク２で集音され、ノイズ除去処理等を行ったユーザの音声情報を送話音声として通信Ｉ／Ｆ２０に直接出力し、通信相手先に送信させてもよい。

（ジェスチャＤＢ）
ジェスチャＤＢ１８は、ジェスチャと通信制御とを対応付けたデータを記憶する。具体的には、ジェスチャＤＢ１８は、ジェスチャの画像（静止画、動画）と、対応する通信制御内容（通信開始／終了、通信種別）を紐付けて記憶してもよい。

（通信Ｉ／Ｆ）
通信Ｉ／Ｆ２０は、外部装置とデータを送受信する機能を有する。具体的には、本実施形態による通信Ｉ／Ｆ２０は、信号処理部１６から出力された音声情報（送話音声）を、電話通信相手先に送信する。また、通信Ｉ／Ｆ２０は、電話通信相手先から通話相手の音声情報（受話音声）を受信し、信号処理部１６に出力する。また、通信Ｉ／Ｆ２０は、制御部１０の通信制御部１３０による制御に応じて、通信開始／終了を制御する。また、通信Ｉ／Ｆ２０は、制御部１０の通信制御部１３０による制御に応じて、所定の通信種別に応じた通信プロトコルで接続する。具体的には、通信Ｉ／Ｆ２０は、通信制御部１３０による制御に応じて、電話通信、メール通信、またはインターネット通信等の各通信種別に応じた通信プロトコルで所定の回線に接続する。

以上、本実施形態による信号処理装置１の主要構成例について詳細に説明した。続いて、本実施形態の信号処理装置１によるジェスチャに応じた通信制御について、複数の実施形態を用いて具体的に説明する。

＜３．各実施形態＞
［３−１．第１の実施形態］
図３は、第１の実施形態による通信制御の処理を示すフローチャートである。図３に示すように、まず、ステップＳ１０３において、カメラ３は、特定ユーザを撮影し、撮影した撮影画像を信号処理装置１に出力する。

次いで、ステップＳ１０６において、信号処理装置１のジェスチャ認識部１２０は、撮影画像に基づいて、ジェスチャを認識する。ここで認識するジェスチャは、電話通信、メール通信、またはインターネット通信のいずれかを開始するための共通ジェスチャであってもよいし、電話通信、メール通信、またはインターネット通信のいずれかの開始を示す個別ジェスチャであってもよい。また、ジェスチャ認識部１２０は、継続的にカメラ３から出力される撮影画像に対して、継続的にジェスチャ認識処理を行ってもよい。

次に、ジェスチャを認識できた場合（Ｓ１０６／ＹＥＳ）、ステップＳ１０９において、通信制御部１３０は、電話通信開始か否かを判断する。具体的には、例えばジェスチャ認識部１２０により認識されたジェスチャが、電話通信開始を示す個別ジェスチャであった場合、通信制御部１３０は、電話通信開始と判断する。または、認識されたジェスチャが通信開始を示す共通ジェスチャの場合、通信相手先との通信種別を設定する設定モードに移行され、通信制御部１３０は、例えばマイク２からユーザ音声が集音されたか否かに応じて電話通信開始か否かを判断する。

ここで、電話通信に関するジェスチャ入力の一例について、図４を参照して説明する。図４の状態Ｓ１−１に示すように、まず親指および小指のみを立てた手を耳の近くに持っていくジェスチャＧ１が、カメラ３により撮影され、ジェスチャ認識部１２０よりジェスチャ認識される。かかるジェスチャが電話通信開始を示す個別ジェスチャであった場合、通信制御部１３０は、電話通信開始と判断する。また、かかるジェスチャが何らかの通信開始を示す共通ジェスチャであった場合、通信制御部１３０は、さらにマイク２でユーザの音声（例えば電話番号の発声や通信相手の名称の発声）を集音した場合に電話通信開始と判断してもよい。なお、共通ジェスチャや電話通信開始を示す個別ジェスチャは、様々な態様が考えられ、また、国や文化によってジェスチャが意味するものは異なるので、ジェスチャ認識部１２０は、ユーザの国籍あるいはユーザが居る国に応じてジェスチャ認識を行ってもよい（ジェスチャ認識の切り替え）。ユーザが居る国とは、例えばユーザが居住している国である。具体的には、Ａ国に居住するＢ国籍のユーザは、国籍はＢ国であってもＡ国のジェスチャに慣れ親しんでいる場合が想定されるので、ジェスチャ認識部１２０は、ユーザの居住国に応じて異なるジェスチャ認識を行う。

次いで、電話通信開始と判断されると（Ｓ１０９／ＹＥＳ）、ステップＳ１１５において、通信制御部１３０は、電話通信接続を行い、発呼状態（例えばダイヤルトーンをスピーカ４から出力）にして、さらに通信先指定部１１０において相手先の指定を行う。具体的には、例えばユーザが電話番号や相手先の名称を発した音声をマイク２が集音し、集音した音声情報を音声認識部１００が認識し、かかる認識結果に基づいて、通信先指定部１１０が相手先の指定を行う。また、通信先指定部１１０は、予め設定されたデフォルトの相手先を指定してもよい。

次に、ステップＳ１１８において、通信制御部１３０は、通信先指定部１１０は、通信相手先の呼び出しを行う。この際、制御部１０は、スピーカ４から呼び出し音を出力してもよい。

次いで、ステップＳ１２１において、通信制御部１３０は、相手先が応答した場合に通話を開始する。これにより例えば図４の状態Ｓ１−２に示すように、通信Ｉ／Ｆ２０により受信した相手先の声（受話音声）がスピーカ４から出力され、ユーザが発した声（送話音声）がマイク２から集音されて通信Ｉ／Ｆ２０により相手先に送信される。

続いて、ステップＳ１２４において、ジェスチャ認識部１２０は、通話終了のジェスチャが認識されたか否かを判断する。具体的には、例えば図４の状態Ｓ１−３に示すように、通話開始後に（通話中に）、ユーザが親指および小指のみを立てた手を耳の近くから下に降ろすジェスチャＧ２が、カメラ３により撮影されると、ジェスチャ認識部１２０は通話終了のジェスチャとして認識する。

そして、通話終了のジェスチャが認識された場合（Ｓ１２４／ＹＥＳ）、ステップＳ１３０において、通信制御部１３０は通話を終了するよう制御する。

また、通話終了のジェスチャが認識されない場合（Ｓ１２４／ＮＯ）、ステップＳ１２７において、通信制御部１３０は通話を継続する。

一方、上記Ｓ１０９で電話ではないと判断された場合（Ｓ１０９／ＮＯ）、ステップＳ１１２において、制御部１０はメール通信またはインターネット通信を開始／開始準備する。具体的には、制御部１０は、メールフォームをユーザの周囲に配されているディスプレイに表示してメール通信の開始準備をしたり、インターネット通信を開始して通信Ｉ／Ｆ２０を介してネットワーク上から取得したＷｅｂ画面を同ディスプレイに表示したりする。

また、メール通信かインターネット通信かの判断については、ジェスチャ認識部１２０により認識された個別ジェスチャ（メール通信を指示するジェスチャ、インターネット通信を指示するジェスチャ）に応じて判断されてもよい。また、ジェスチャ認識部１２０により認識されたジェスチャが共通ジェスチャであって、さらにマイク２でユーザの音声が何も集音されなかった場合、制御部２０は、メール通信かインターネット通信をユーザに選択させる選択画面をディスプレイに表示してもよい。

ここで、メール通信に関するジェスチャ入力の一例について、図５を参照して説明する。図５の状態Ｓ２−１に示すように、ユーザがペンを持つようにして文字を書くジェスチャＧ３が、カメラ３により撮影されると、ジェスチャ認識部１２０は、メール通信を指示するジェスチャとして認識する。この場合、信号処理装置１の制御部２０は、図５の状態Ｓ２−２に示すように、ユーザの周囲に配されたタッチパネルディスプレイ５にメールフォームおよび操作画面を表示するよう制御する。ユーザは、かかるタッチパネルディスプレイ５に表示された操作画面に対してタッチ操作を行い、メールフォームに宛先や本文を入力する。ここで、制御部２０は、横書きジェスチャならば英語入力、縦書きジェスチャならば日本語入力といったように、文字を書く方向に応じて異なる言語入力に設定してもよい。

なお、メール通信を指示するジェスチャは、図５に示すジェスチャＧ３に限定されない。例えば、「メールを送る」という意味の手話によるジェスチャや、操作画面を操作するよう手を挙げるジェスチャ（例えば両手を挙げてキーボードを打つジェスチャ）や、指で空中に四角（メールやキーボードの形）を描くジェスチャであってもよい。また、一方の手で他方の掌に文字を書くジェスチャであってもよい。このように、様々なジェスチャが考えられ、また、国や文化によってジェスチャが意味するものが異なるので、ジェスチャ認識部１２０は、ユーザの国籍に応じたジェスチャ認識を行ってもよい。

そして、入力終了後、メール送信を行う場合、ユーザは、操作画面に含まれる送信ボタンをタッチして送信指示を行ってもよいし、ジェスチャ入力により送信指示を行ってもよい。例えば図５の状態Ｓ２−３に示すように、手を身体の前から前方に払うジェスチャＧ４がカメラ３により撮影され、ジェスチャ認識部１２０により送信指示として認識されると、制御部１０は、メール送信を実行して処理を終了させる。

以上、メール通信に関するジェスチャ入力の一例について説明した。なお、図５では、ディスプレイの一例として、ユーザの周囲、例えば壁に設置されたタッチパネルディスプレイ５を用いたが、メールフォーム等を表示するディスプレイはこれに限定されない。例えば、ユーザがＨＭＤ（ヘッドマウンドディスプレイ）を装着している場合、信号処理装置１の制御部１０は、当該ＨＭＤにメールフォーム等を表示するよう通信Ｉ／Ｆ２０からＷｉ−Ｆｉや赤外線通信等の近距離無線通信により制御指示を送信する。このようにＨＭＤがディスプレイの一例として用いられる場合について図６を参照して説明する。

図６は、メール通信に関するジェスチャ入力の他の例について説明するための図である。図６に示すＨＭＤ７は、例えばシースルー型ＨＭＤ（メガネ型ディスプレイ）であって、ユーザの眼の前に配されるレンズ部分には、透過率を制御できるディスプレイが設けられている。かかるディスプレイは、通常時は透明の状態に制御されるので、眼鏡のように常に装着していても日常生活に支障は無い。

本実施形態においては、図６の状態Ｓ３−１に示すように、ユーザがペンを持つようにして文字を書くジェスチャＧ３が、カメラ３により撮影されると、ジェスチャ認識部１２０は、メール通信を指示するジェスチャとして認識する。

この場合、信号処理装置１の制御部２０は、図６の状態Ｓ３−２に示すように、ＨＭＤ７にメールフォーム７１および操作画面７３をＡＲ（拡張現実）表示させるよう、通信Ｉ／Ｆ２０からＨＭＤ７に近距離無線通信により制御指示を送信する。ユーザは、ＨＭＤ７に表示された仮想的な操作画面７３の所定のキー部分の位置に指を重ねることで、メールフォーム７１に宛先や本文を入力できる。具体的には、例えばＨＭＤ７にユーザの視線方向を撮影するカメラが設けられ、かかるカメラによりキー入力を行う指を撮影し、仮想的な操作画面７３の各キーの表示位置と指の位置とを比較することで、ＨＭＤ７は操作入力を受け付けることができる。また、ＨＭＤ７は、入力データを信号処理装置１に送信する。

そして、入力終了後、メール送信を行う場合、ユーザは、操作画面に含まれる仮想的な送信ボタンを操作して送信指示を行ってもよいし、ジェスチャ入力により送信指示を行ってもよい。例えば図５の状態Ｓ３−３に示すように、手を身体の前から前方に払うジェスチャＧ４がカメラ３により撮影され、ジェスチャ認識部１２０により送信指示として認識されると、制御部１０は、メール送信を実行して処理を終了させる。

なお、上述した図６では、ディスプレイをＨＭＤ７で実現する場合について説明したが、ＨＭＤ７にマイク、スピーカ、カメラ、および図２に示す信号処理装置１の各構成を設け、本実施形態に係るジェスチャによる通信制御をＨＭＤ７で実現してもよい。

［３−２．第２の実施形態］
第１の実施形態では、ジェスチャ認識部１２０は、カメラ３で撮影された撮影画像に基づいてユーザのジェスチャを認識しているが、本実施形態によるジェスチャ認識部１２０はこれに限定されず、例えば筋電に基づいてユーザのジェスチャを認識してもよい。以下、図７を参照して筋電に基づいてユーザのジェスチャを認識する場合について説明する。

図７は、第２の実施形態によるジェスチャ認識による通信制御の処理を示すフローチャートである。図７では、一例として電話通信の開始・終了を制御する場合の処理を示す。

図７に示すように、まず、ステップＳ１０４において、信号処理装置１は、ユーザの筋電を検出する。具体的には、ユーザの皮膚に装着された筋電センサにより検出された検知データを、当該筋電センサから受信する。

次いで、ステップＳ１０７において、信号処理装置１のジェスチャ認識部１２０は、筋電センサにより検出された検知データに基づいて、手（腕）が挙がる動作（ジェスチャ）であるか否かを判断する。

次に、手が挙がる動作であると判断された場合（Ｓ１０７／ＹＥＳ）、ステップＳ１１０において、ジェスチャ認識部１２０は、手が挙がっている時間が、予め設定された時間（例えばｔ秒）以上であるか否かを判断する。

次いで、手が挙がっている時間がｔ秒以上である場合（Ｓ１１０／ＹＥＳ）、ジェスチャ認識部１２０は、電話通信開始を示すジェスチャであると認識し、認識結果を通信制御部１３０に出力する。通信制御部１３０は、電話通信を開始するに際して、まず、ステップＳ１１１で、電話通信の相手先が予めデフォルト設定されているか否かを判断する。

次に、相手先がデフォルト設定されていない場合（Ｓ１１１／ＮＯ）、ステップＳ１１６において、通信先指定部１１０は、ユーザ指示に応じて相手先の指定を行う。具体的には、例えばユーザが電話番号や相手先の名称を発した音声をマイク２が集音し、集音した音声情報を音声認識部１００が認識し、かかる認識結果に基づいて、通信先指定部１１０が相手先の指定を行う。

次いで、音声認識等ができず、相手先の指定ができなかった場合（Ｓ１１６／ＮＯ）、ステップＳ１１７において、制御部１０はエラー通知を行う。エラー通知は、例えばスピーカ４から「相手先を指定してください」といったアナウンスを流すものであってもよい。

続いて、相手先の指定ができた場合（Ｓ１１６／ＹＥＳ）、および相手先がデフォルト設定されている場合（Ｓ１１１／ＹＥＳ）、処理はステップＳ１１８に進む。ステップＳ１１８において、通信制御部１３０は、通信先指定部１１０により指定された相手先（デフォルトまたは任意の相手先）の呼び出しを行う。

そして、ステップＳ１２１〜Ｓ１３０において、図３に示す同ステップと同様の処理が行われる。

［３−３．第３の実施形態］
続いて、第３の実施形態として、ジェスチャＤＢ１８に任意のジェスチャを登録する場合について説明する。上述した図４〜図６に示す各ジェスチャは、電話開始／終了や、メール通信を指示するためのジェスチャの一例であって、国や文化、時代によって、ジェスチャの形や、そのジェスチャが意味するものは異なる。そこで、本実施形態では、ジェスチャＤＢ１８に任意のジェスチャを登録できるようにすることで、国や文化、時代に合わせたジェスチャ入力を可能とする。このようなジェスチャ登録は、パーソナルコンピュータ（ＰＣ）、スマートフォン、ノートＰＣ等によって別途行われ、登録データが有線／無線通信を介して信号処理装置１のジェスチャＤＢ１８に格納されもよい。また、図１に示すカメラ３と、図５に示すタッチパネルディスプレイ５を用いて、信号処理装置１のジェスチャＤＢ１８に直接格納させてもよい。

以下、本実施形態によるジェスチャ登録の動作処理について図８〜図９を参照して説明する。なお、以下に説明する例では、ジェスチャ登録がパーソナルコンピュータ（ＰＣ）で別途行われる場合について説明する。

図８は、第３の実施形態によるジェスチャ登録の動作処理を示すフローチャートである。図８に示すように、まず、ステップＳ１４３において、ＰＣは、ＰＣの表示部に、ジェスチャ種別メニュー画面を表示する。ジェスチャ種別メニュー画面とは、これから登録するジェスチャ種別として、電話、ＴＶ電話、メール、インターネット等のいずれかを選択するためのメニュー画面である。

次いで、ステップＳ１４６において、ＰＣは、ユーザによるジェスチャ種別の選択を受け付ける。ユーザは、例えばＰＣの操作部（マウスやキーボード）を操作して任意のジェスチャ種別を選択する。

次に、ステップＳ１４９において、ＰＣは、カメラ（ＰＣに接続されたカメラ）によりユーザのジェスチャ動作を撮影する。

次いで、ステップＳ１５２において、ＰＣは、ジェスチャ動作を撮影した撮影画像を解析し、画像認識（ジェスチャ動作を認識）できたか否かを判断する。また、ＰＣは、撮影した撮影画像を表示部に再生表示し、ユーザによりこのジェスチャでＯＫか否かを判断させてもよい。ユーザは、表示部で再生表示される撮影画像を目視で確認し、ＯＫの場合、ＰＣの表示部に表示される登録ボタンを選択する。

次に、画像認識できた（ユーザによりＯＫと判断された）場合（Ｓ１５２／ＹＥＳ）、ステップＳ１５５において、ＰＣは、ジェスチャの撮影画像と、選択されたジェスチャ種別（制御内容）を対応付けて登録処理を行う。具体的には、例えばＰＣは、ジェスチャの撮影画像と、選択されたジェスチャ種別（制御内容）を対応付けたデータを、信号処理装置１に送信し、信号処理装置１のジェスチャＤＢ１８に格納させてもよい。

そして、ステップＳ１５８において、続けてその他のジェスチャを登録する場合（Ｓ１５８／ＹＥＳ）、ＰＣの処理はＳ１４３に戻る。

以上、本実施形態によるジェスチャ登録処理について説明した。ここで、ジェスチャ登録の画面の一例を図９に示す。図９に示すように、ＰＣの表示部８にジェスチャ登録画面が表示され、ジェスチャ登録画面は、種別メニュー（電話開始／終了、ＴＶ電話開始／終了、メール送信等）、撮影画像の再生表示領域、撮影スタートボタン、および登録ボタンを含む。また、表示部８の上部には、カメラ９が装着されている。これにより、ＰＣは、カメラ９により撮影したジェスチャ動作を、ユーザに選択されたジェスチャ種別と対応つけて登録することができる。

＜４．まとめ＞
上述したように、本実施形態による通信システムでは、ジェスチャに応じて通信の開始／終了や、通信種別を制御することが可能となる。具体的には、信号処理装置１は、カメラ３によりユーザのジェスチャを撮影した撮影画像に基づいて、ジェスチャを認識し、認識したジェスチャに応じて、電話通信の開始／終了、メール通信の準備（メールフォームの表示）、インターネット通信等を行う。

これによりユーザは、手に何ら通信端末を所持しないで遠隔地の相手と通信することが可能な新たなコミュニケーションシステムにおいて、ジェスチャにより通信開始／終了を指示することができる。また、電話、メール、インターネット等を示す個別ジェスチャにより、通信プロトコル（通信種別）を選択することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１）
ユーザの通信相手先を指定する通信先指定部と、
前記ユーザを撮像した撮像画像に基づいて、ユーザのジェスチャを認識するジェスチャ認識部と、
前記ジェスチャ認識部により認識されたジェスチャに応じて、前記通信相手先との通信を制御する制御部と、
を備える、通信システム。
（２）
前記制御部は、前記認識されたジェスチャに応じて、前記通信相手先との通信を開始するよう制御する、前記（１）に記載の通信システム。
（３）
前記制御部は、前記認識されたジェスチャに応じて、発呼状態にするよう制御する、前記（１）または（２）に記載の通信システム。
（４）
前記制御部は、前記認識されたジェスチャに応じて、前記通信相手先との通信を終了するよう制御する、前記（１）〜（３）のいずれか１項に記載の通信システム。
（５）
前記制御部は、前記認識されたジェスチャに応じて、前記通信相手先との通信種別を決定する、前記（１）〜（４）のいずれか１項に記載の通信システム。
（６）
前記通信種別は、電話通信、インターネット通信、またはメール通信である、前記（５）に記載の通信システム。
（７）
前記制御部は、前記ジェスチャに応じて、前記通信相手先との通信種別を設定する設定モードに移行する、前記（１）〜（６）のいずれか１項に記載の通信システム。
（８）
前記通信システムは、
前記ユーザの周囲に配された撮像部をさらに備え、
前記撮像画像は、前記撮像部により取得される、前記（１）〜（７）に記載の通信システム。
（９）
前記通信システムは、
前記ユーザの周囲に配されたアクチュエータをさらに備え、
前記制御部は、前記通信相手先から取得したデータを、前記アクチュエータから出力するよう制御する、前記（１）〜（８）に記載の通信システム。
（１０）
前記通信先指定部は、デフォルトの相手先を通信相手先に指定する、前記（１）〜（９）のいずれか１項に記載の通信システム。
（１１）
前記通信先指定部は、前記ユーザに指定された相手先を通信相手先に指定する、前記（１）〜（９）のいずれか１項に記載の通信システム。
（１２）
前記通信システムは、
前記ユーザの音声を認識する音声認識部をさらに備え、
前記通信先指定部は、前記音声認識部により認識された通信相手の名称、電話番号、またはアドレスに応じて、前記通信相手先を指定する、前記（１１）に記載の通信システム。
（１３）
前記ジェスチャ認識部は、ユーザの国籍あるいはユーザが居る国に応じて異なるジェスチャ認識を行う、前記（１）〜（１２）に記載の通信システム。
（１４）
コンピュータを、
ユーザの通信相手先を指定する通信先指定部と、
前記ユーザを撮像した撮像画像に基づいて、ユーザのジェスチャを認識する認識部と、
前記認識部により認識されたジェスチャに応じて、前記通信相手先との通信を制御する制御部、
として機能させるための、プログラム。

１ 信号処理装置
２、２ａ〜２ｄ マイクロフォン
３、３ａ〜３ｂ カメラ
４、４ａ〜４ｄ スピーカ
５ タッチパネルディスプレイ
７ ＨＭＤ
８ ＰＣの表示部
９ カメラ
１０ 制御部
１００ 音声認識部
１１０ 通信先指定部
１２０ ジェスチャ認識部
１３０ 通信制御部
１２ アンプ・ＡＤＣ部
１４ ＤＡＣ・アンプ部
１６ 信号処理部
１８ ジェスチャＤＢ
２０ 通信Ｉ／Ｆ

Claims (10)

1. ユーザの音声による指示に従って前記ユーザの通信相手先を指定する通信先指定部と、
   前記ユーザを撮像した撮像画像に基づいて、ユーザのジェスチャを認識するジェスチャ認識部と、
   前記ジェスチャ認識部により認識されたジェスチャに応じて、前記通信相手先との通信種別を決定し、さらに前記通信相手先との通信を開始するよう制御する制御部と、
   を備える、通信システム。
2. 前記制御部は、前記認識されたジェスチャに応じて、発呼状態にするよう制御する、請求項１に記載の通信システム。
3. 前記制御部は、前記認識されたジェスチャに応じて、前記通信相手先との通信を終了するよう制御する、請求項１に記載の通信システム。
4. 前記通信種別は、電話通信、インターネット通信、またはメール通信である、請求項１記載の通信システム。
5. 前記制御部は、前記ジェスチャに応じて、前記通信相手先との通信種別を設定する設定モードに移行し、ユーザ音声の有無に応じて通信種別を決定する、請求項１に記載の通信システム。
6. 前記通信システムは、
   前記ユーザの周囲に配された撮像部をさらに備え、
   前記撮像画像は、前記撮像部により取得される、請求項１〜５のいずれか１項に記載の通信システム。
7. 前記通信システムは、
   前記ユーザの周囲に配されたアクチュエータをさらに備え、
   前記制御部は、前記通信相手先から取得したデータを、前記アクチュエータから出力するよう制御する、請求項１〜６のいずれか１項に記載の通信システム。
8. 前記通信システムは、
   前記ユーザの音声を認識する音声認識部をさらに備え、
   前記通信先指定部は、前記音声認識部により認識された通信相手の名称、電話番号、またはアドレスに応じて、前記通信相手先を指定する、請求項１〜７のいずれか１項に記載の通信システム。
9. 前記ジェスチャ認識部は、ユーザの国籍あるいはユーザが居る国に応じて異なるジェスチャ認識を行う、請求項１〜８のいずれか１項に記載の通信システム。
10. コンピュータを、
    ユーザの音声による指示に従って前記ユーザの通信相手先を指定する通信先指定部と、
    前記ユーザを撮像した撮像画像に基づいて、ユーザのジェスチャを認識する認識部と、
    前記認識部により認識されたジェスチャに応じて、前記通信相手先との通信種別を決定し、さらに前記通信相手先との通信を開始するよう制御する制御部、
    として機能させるための、プログラム。

Images