JP7396286B2 - 端末装置、端末装置の制御方法および記憶媒体 - Google Patents

Description

本開示は、端末装置、端末装置の制御方法および記憶媒体に関する。

多機能型携帯電話端末（スマートフォン）やタブレット型コンピュータといった、無線による通信が可能で、携帯容易に構成された装置（モバイルデバイスと呼ぶ）が普及している。一般的に、このようなモバイルデバイスは、電話機能や、インターネットを介した音声通信などにより、音声によるメッセージのやり取りが可能とされている。以下、この音声によるメッセージのやり取りを行う機能を、纏めて音声通信機能と呼ぶ。モバイルデバイスにおいて音声通信機能を利用する場合には、タッチパネルに対する１回以上のタップ操作が必要であり、例えば手に荷物を持っている場合など、そのタップ操作が煩わしいと感じる場面が往々にして起こり得る。

そのため、スマートフォンにおいて、タップ操作を行わずに、非接触で所定の機能を起動させるための操作方法が様々に提案されている。例えば、特許文献１は、複数のセンサを組み合わせて用い、ユーザの動作および発声に応じて装置を操作する構成が開示されている。また、特許文献２は、モバイルデバイスの向きに応じてモバイルデバイスの動作モードを決定する構成が開示されている。

特開２０１７－２１５９７０号公報 特表２０１２－５０８５３０号公報

しかしながら、従来の、非接触の操作方法では、セキュリティに対する配慮がなされていなかった。例えば、あるユーザのモバイルデバイスに対して音声通信機能による着信があった場合に、当該ユーザの近くにいる他のユーザの所定のアクションにより、その着信に応答されてしまうおそれがあった。

本開示は、特定のユーザによる音声通信機能の非接触での起動を可能とする端末装置、端末装置の制御方法および記憶媒体を提供することを目的とする。

上記目的を達成するために、本開示の端末装置は、マイクロフォンと、ネットワークを介した通信を行う通信部と、デプス情報を取得する第１のセンサと、デプス情報に基づき顔および顔までの距離を検出する第１の顔検出を行う第１の顔検出部と、プロセッサと、を備え、プロセッサは、音声メッセージを含むメッセージの送受信をプロセッサに実行させるための通信プログラムであって、マイクロフォンによる音の収音および収音された音による音声メッセージの送信が可能な音入力モードを有する通信プログラムを実行し、実行中の通信プログラムに従った制御に基づき通信部によりメッセージが受信された場合に、第１の顔検出部による第１の顔検出を行い、第１の顔検出の結果に応じて音入力モードのオンおよびオフを制御する。

本開示に適用可能な情報処理システムの例を概略的に示す図である。 各実施形態に適用可能な端末装置の外観の例を示す図である。 既存技術による音声メッセージの送信手順を概略的に示す一例のフローチャートである。 メッセージが受信された端末装置の表示部の表示の例を示す図である。 音声メッセージの送信を行うために表示部に表示される画面の例を示す図である。 第１の実施形態に係る音声メッセージの送信手順を概略的に示す一例のフローチャートである。 第１の実施形態に適用可能な端末装置のハードウェア構成を示す一例のブロック図である。 第１のセンサの構成例をより詳細に示す図である。 第１のセンサにおいて距離を計測する原理について説明するための図である。 第１の実施形態に係る第１のセンサにより出力されたデプス情報の例を示す図である。 第１の実施形態に係る端末装置の機能を説明するための一例の機能ブロック図である。 第１の実施形態に係る端末装置における音声メッセージ送信処理を示す一例のフローチャートである。 第１の実施形態の第１の変形例に係る端末装置における音声メッセージ送信処理を示す一例のフローチャートである。 第１の実施形態の第２の変形例に係る端末装置における音声メッセージ送信処理を示す一例のフローチャートである。 第２の実施形態に係る端末装置における音声メッセージ送信処理を示す一例のフローチャートである。 表示ロック中の表示部に表示されるバナー画像の例を示す図である。 既存技術による、顔認証により表示ロック解除を行う表示ロック解除画面の例を示す図である。 第２の実施形態の第１の変形例に係る端末装置における音声メッセージ送信処理を示す一例のフローチャートである。 第２の実施形態の第２の変形例に係る端末装置における音声メッセージ送信処理を示す一例のフローチャートである。 第３の実施形態に適用可能な、プッシュ通知を実施する場合の情報処理システムの例を概略的に示す図である。 第３の実施形態に係る端末装置の機能を説明するための一例の機能ブロック図である。 第３の実施形態に係る端末装置における音声メッセージ送信処理を示す一例のフローチャートである。 第３の実施形態の第１の変形例に係る端末装置における音声メッセージ送信処理を示す一例のフローチャートである。 第３の実施形態の第２の変形例に係る端末装置における音声メッセージ送信処理を示す一例のフローチャートである。

以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。

［第１の実施形態］
（各実施形態に適用可能な情報処理システム）
図１は、本開示に適用可能な情報処理システムの例を概略的に示す図である。図１において、複数の端末装置１がインターネットなどのネットワーク２を介してサーバ３に接続される。サーバ３は、ハードディスクドライブやフラッシュメモリを利用した大容量の記憶媒体であるストレージ４が接続される。

各端末装置１は、例えばサーバ３が提供するＳＮＳ(Social Networking Service)を利用するためのアプリケーションソフトウェア５（以下、ＳＮＳアプリ５）が搭載される。サーバ３が提供するＳＮＳは、例えば、各端末装置１間でネットワーク２を介して、音声メッセージを含むメッセージの送受信が可能なサービスである。端末装置１のユーザは、例えばストレージ４に格納されるＳＮＳアプリ５をサーバ３から受け取って端末装置１に搭載（インストール）し、サーバ３に対してアカウント情報の登録を行うことで、当該ＳＮＳアプリ５から、サーバ３が提供するＳＮＳを利用することが可能となる。

また、ストレージ４には、本開示の各実施形態およびその変形例による、後述する機能を実現するためプログラムを格納しておくことができる。例えば、ユーザは、端末装置１を用いてサーバ３にアクセスし、サーバ３を介してストレージ４に格納される当該プログラムを取得して、当該端末装置１に搭載することができる。

端末装置１は、小型軽量に構成され、携帯容易とされた情報処理装置であって、例えば多機能型携帯電話端末（スマートフォン）や、タブレット型コンピュータである。以下では、端末装置１がスマートフォンであるものとして説明を行う。

図２は、各実施形態に適用可能な端末装置１の外観の例を示す図である。図２において、端末装置１は、表示部１０と、ホームボタン１１と、マイクロフォン１２と、スピーカ１３と、第１のセンサ１４と、第２のセンサ１５と、が配置される。表示部１０は、例えば表示デバイスと入力デバイスとが一体的に形成されたタッチパネルである。表示デバイスとしては、ＬＣＤ(Liquid Crystal Display)や有機ＥＬ(Electro-Luminescence)が用いられる。入力デバイスは、接触した位置に応じた制御信号を出力する。

ホームボタン１１は、例えば、この端末装置１の全体の動作を制御するためのユーザ操作を受け付けるためのボタンである。例えば、表示部１０の表示がロック状態とされ、表示部１０に対するユーザ操作が制限されている場合、ホームボタン１１を操作することで、表示ロック状態を解除することができる。マイクロフォン１２は、例えばユーザの声を収音して音声信号に変換する。スピーカ１３は、音声信号を音出力に変換する。

第１のセンサ１４は、例えば、測距を行うための素子が適用される。本開示では、第１のセンサ１４として、レーザ光を照射した照射光とそのレーザ光が測距対象において反射した反射光との差分に基づき測距を行う、ＴｏＦ(Time of Flight)センサを用いている。例えば、ユーザが、端末装置１を第１のセンサ１４が設けられる側を自分の顔に向けて保持し、第１のセンサ１４により顔の各部までの距離（デプス）を測定する。端末装置１は、この第１のセンサ１４に取得された顔の各部のデプス情報と、予め登録された顔のデプス情報とに基づき、当該ユーザに対する顔認証を行うことが可能である。

第２のセンサ１５は、例えば、撮像を行い画像を取得するイメージセンサが適用される。

このような情報処理システムにおいて、各端末装置１のユーザは、各端末装置１においてＳＮＳアプリ５を起動させることで、自分の保持する端末装置１と、他のユーザが保持する端末装置１との間で、音声メッセージを含むメッセージの送受信を実行することができる。

（既存技術による音声メッセージ通信）
第１の実施形態の説明に先立って、上述のＳＮＳにおける、既存技術による通信について概略的に説明する。以下では、２台の端末装置１間で音声メッセージの送受信を行う例を中心に説明を行う。なお、２台の端末装置１をそれぞれ端末装置１（Ａ）、端末装置１（Ｂ）とし、端末装置１（Ａ）および端末装置１（Ｂ）のユーザをユーザＡおよびユーザＢとする。

図３は、既存技術による音声メッセージの送信手順を概略的に示す一例のフローチャートである。例えばユーザＡは、端末装置１（Ａ）においてＳＮＳアプリ５を起動させる（ステップＳ１０００）。その後、同じく端末装置１（Ｂ）においてＳＮＳアプリ５を起動させたユーザＢにより、端末装置１（Ａ）に対して例えばテキストデータによるメッセージが送信される。このメッセージは、端末装置１（Ａ）に受信される（ステップＳ１００１）。

図４Ａは、メッセージが受信された端末装置１（Ａ）の表示部１０の表示の例を示す図である。表示部１０の表示は、例えば画面の上から下に向けて時間の経過を示し、受信されたメッセージ２０が画面の上端側に表示される。また、図４Ａの例では、画面の下端側に、音声メッセージ送信のためのボタン２１が表示されている。

ユーザＡは、ステップＳ１００１で受信されたメッセージに対して音声によりメッセージを返信する場合、ボタン２１を操作（タップ）する。端末装置１（Ａ）は、ボタン２１の操作に応じて、表示部１０に表示される画面を、音声メッセージ送信のための画面に切り替える。図４Ｂは、音声メッセージの送信を行うために表示部１０に表示される画面の例を示す図である。表示部１０の画面に対し、会話ボタン３１が配される会話領域３０が表示される。

端末装置１（Ａ）は、この会話ボタン３１の操作（例えばタップ）を検知すると（ステップＳ１００２）、マイクロフォン１２により収音された音の録音を開始する（ステップＳ１００３）。録音は、会話ボタン３１に対する操作が継続されている間、継続して行われる。端末装置１（Ａ）は、会話ボタン３１に対する操作の解除を検知すると（ステップＳ１００４）、録音を終了させ、録音内容を端末装置１（Ｂ）に送信する（ステップＳ１００５）。

このように、既存技術による音声メッセージの送信においては、会話ボタン３１を操作し、その操作が継続されている間、送信したい音声が録音される。そのため、音声メッセージの送信を行いたいユーザＡは、片手で端末装置１を保持し、もう片方の手で会話ボタン３１を操作することになり、例えば片手に荷物を持っている場合など、操作が大変煩わしくなっていた。

なお、上述では、会話ボタン３１に対する操作の継続中に録音を行い、当該操作が解除された時点で録音された音声メッセージを送信しているが、これはこの例に限定されず、会話ボタン３１に対する操作の継続中に、音声メッセージの送信を行う方法も考えられる。しかしながら、この方法であっても、片手で端末装置１を保持し、もう片方の手で会話ボタン３１を操作することには変わりはない。

（第１の実施形態に係る音声メッセージ通信）
次に、第１の実施形態に係る音声メッセージ通信について、概略的に説明を行う。図５は、第１の実施形態に係る音声メッセージの送信手順を概略的に示す一例のフローチャートである。なお、以下において、例えばユーザＡは、端末装置１（Ａ）に対して、自身の顔を第１のセンサ１４により取得させて、顔認証を行っているものとする。認証された顔の情報は、端末装置１（Ａ）に記憶される。

例えばユーザＡは、端末装置１（Ａ）においてＳＮＳアプリ５を起動させる（ステップＳ１１００）。その後、同じく端末装置１（Ｂ）においてＳＮＳアプリ５を起動させたユーザＢにより、端末装置１（Ａ）に対して例えばテキストデータによるメッセージが送信される。このメッセージは、端末装置１（Ａ）に受信される（ステップＳ１１０１）。

ユーザＡは、メッセージが受信されると、端末装置１（Ａ）を、第１のセンサ１４を自身の顔に向けて、自身に顔に近付ける。端末装置１（Ａ）は、第１のセンサ１４による顔の検出結果に基づき、検出された顔が認証済みの顔であるか否かを判定する。検出された顔が認証済みの顔であると判定された場合（ステップＳ１１０２）、マイクロフォン１２により収音された音の録音を開始する（ステップＳ１１０３）。録音は、第１のセンサ１４の検出結果に基づき顔が離脱したと判定されるまで、継続して行われる。端末装置１（Ａ）は、第１のセンサの検出結果に基づき顔が端末装置１（Ａ）から所定以上の距離に離れ、顔が端末装置１（Ａ）から離脱したことを検知すると（ステップＳ１１０４）、録音を終了させ、録音内容を端末装置１（Ｂ）に送信する（ステップＳ１１０５）。

このように、第１の実施形態では、端末装置１（Ａ）に対してボタン操作など行うこと無く、端末装置１（Ａ）に顔を近付けるだけで、音声メッセージの送信を行うことが可能である。したがって、ユーザＡは、ユーザＢからのメッセージ対し、片手のみを用いて容易に音声メッセージによる返信を実行できる。

なお、上述では、顔を端末装置１（Ａ）に近付けている間、録音を行い、顔が端末装置１（Ａ）から所定距離以上に離れた時点で録音された音声メッセージを送信しているが、これはこの例に限定されない。すなわち、顔を端末装置１（Ａ）に近付けている間、音声メッセージの送信を行う方法も考えられる。この場合であっても、片手のみを用いて容易に音声メッセージによる返信を実行可能である点は、変わりはない。

（第１の実施形態のより詳細な説明）
次に、第１の実施形態について、より詳細に説明する。

（第１の実施形態に係る端末装置のより具体的な構成）
先ず、第１の実施形態に係る端末装置１について、より具体的に説明する。図６は、第１の実施形態に適用可能な端末装置１のハードウェア構成を示す一例のブロック図である。図６において、端末装置１は、それぞれバス１０２０に接続される、ＣＰＵ(Central Processing Unit)１０００と、ＲＯＭ(Read Only Memory)１００１と、ＲＡＭ(Random Access Memory)１００２と、撮像部１００３と、測距部１００４と、ストレージ１００６と、入力デバイス１００７と、表示制御部１００９と、データＩ／Ｆ（インタフェース）１０１０と、通信Ｉ／Ｆ１０１１と、オーディオＩ／Ｆ１０１２と、姿勢検知部１０１３と、を含む。また、端末装置１は、端末装置１のこれら各部に電源を供給する電源ユニット１０６０を含む。

また、測距部１００４に対して光源部１００５が接続される。電源ユニット１０６０は、これら測距部１００４に対して光源部１００５に対して、それぞれスイッチ１０６１ａおよび１０６１ｂを介して電源を供給する。また、電源ユニット１０６０は、撮像部１００３に対してスイッチ１０６２を介して電源を供給する。スイッチ１０６１ａおよび１０６１ｂ、ならびに、スイッチ１０６２は、オン（閉）およびオフ（開）を、例えばＣＰＵ１０００により制御される。

ストレージ１００６は、フラッシュメモリやハードディスクドライブといった不揮発性の記憶媒体である。ＣＰＵ１０００は、ストレージ１００６やＲＯＭ１００１に記憶されるプログラムに従い、ＲＡＭ１００２をワークメモリとして用いて、この端末装置１の全体の動作を制御する。

入力デバイス１００７は、ユーザ操作に応じた制御信号を出力する。表示制御部１００９は、ＣＰＵ１０００から渡される表示制御信号に基づき表示デバイス１００８が表示可能な表示信号を生成する。ここで、入力デバイス１００７および表示デバイス１００８は、一体的に形成され、タッチパネル１０３０として機能する。

データＩ／Ｆ１０１０は、端末装置１が外部の機器とデータ通信を行うためのインタフェースであって、例えばＵＳＢ(Universal Serial Bus)やＢｌｕｅｔｏｏｔｈ（登録商標）を適用できる。通信Ｉ／Ｆ１０１１は、ネットワーク２に対する通信を行う。オーディオＩ／Ｆ１０１２は、マイクロフォン１２およびスピーカ１３が接続される。オーディオＩ／Ｆ１０１２は、マイクロフォン１２が収音した音に基づくアナログ方式による音信号をＡＤ(Analog to Digital)変換してディジタル方式の音データを出力する。また、オーディオＩ／Ｆ１０１２は、バス１０２０を介して供給された音データをＤＡ(Digital to Analog)変換してアナログ方式の音信号とし、スピーカ１３に供給する。

姿勢検知部１０１３は、この端末装置１の姿勢を検知する。例えば、姿勢検知部１０１３は、それぞれｘ，ｙ，ｚの３軸にて検知を行うジャイロセンサ（角速度センサ）、加速度センサ、地磁気センサを含む９軸センサを適用することができる。

撮像部１００３は、第２のセンサ１５に対応し、照射された光に応じた画像信号を出力するイメージセンサと、被写体からの光をイメージセンサの受光面に導く光学系と、イメージセンサから出力された画像信号に対して所定の信号処理および画像処理を施す処理部と、を含む。イメージセンサとしては、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)を用いた固体撮像素子（ＣＩＳ：CMOS Image Sensor）を適用することができる。

ここで、この固体撮像素子は、画素がアレイ状に配列されたイメージセンサ部と、処理部とを１の半導体チップ上に形成した構成とすることができる。さらに、この固体撮像素子は、イメージセンサ部が形成される層と、処理部が形成される層と、を貼り合わせた２層構造とすることができる。これに限らず、この固体撮像素子は、イメージセンサ部が形成される層および処理部が形成される層に加えて、メモリが形成される層をさらに貼り合わせた３層構造としてもよい。

測距部１００４および光源部１００５は、第１のセンサ１４であるＴｏＦセンサを構成する。詳細は後述するが、光源部１００５は、例えば赤外光（ＩＲ）の光源を含む。測距部１００４は、光源部１００５から対象に照射された赤外光の反射光を受光する受光素子と、受光素子の出力に基づき各点がデプス情報（光軸方向に沿った距離情報）を持つ点群情報を生成する信号処理部と、を含む。

図７は、第１のセンサ１４の構成例をより詳細に示す図である。第１のセンサ１４において、光源部１００５は、光変調部１０５０と、ＶＣＳＥＬ(Vertical Cavity-Surface Emitting Laser)１０５１と、投光レンズ１０５２を含む。また、測距部１００４は、受光レンズ１０４０と、ＴｏＦセンサ１０４１と、記憶部１０４２と、無影情報生成部１０４３と、演算処理部１０４４と、出力部１０４５とを含む。

光変調部１０５０は、ＶＣＳＥＬ１０５１から出力される光を、例えば、１０ＭＨｚ程度の高周波で変調させるための変調信号を、ＶＣＳＥＬ１０５１に供給する。また、光変調部１０５０は、ＶＣＳＥＬ１０５１の光が変調するタイミングを示すタイミング信号を、ＴｏＦセンサ１０４１および無影情報生成部１０４３に供給する。

ＶＣＳＥＬ１０５１は、光変調部１０５０から供給される変調信号に従って、例えば、赤外光などのような不可視域の光を高速で変調させながら発光し、その光を、第１のセンサ１４により距離の計測が行われる対象となる対象物体に向かって照射する。なお、第１の実施形態では、対象物体に向かって光を照射する光源を、ＶＣＳＥＬ１０５１として説明するが、レーザダイオードなど他の光源を用いてもよい。

投光レンズ１０５２は、ＶＣＳＥＬ１０５１から照射される光が所望の照射角度となるように、光の配光を調節する狭角のレンズにより構成される。

受光レンズ１０４０は、第１のセンサ１４により距離の計測を行うために受光される受光範囲を視野に収める広角のレンズにより構成される。そして、受光レンズ１０４０は、受光範囲の画角で集光した光を、ＴｏＦセンサ１０４１のセンサ面に結像させる。

ＴｏＦセンサ１０４１は、ＶＣＳＥＬ１０５１から照射される光の波長域に感度を有する受光素子（画素）により構成され、受光レンズ１０４０によって結像される光を、センサ面にアレイ状に配置される複数の受光素子により受光する。例えば、ＴｏＦセンサ１０４１は、１８０個×２４０個程度の配列で受光素子を備える。ＴｏＦセンサ１０４１は、ＶＣＳＥＬ１０５１の近傍に配置され、ＶＣＳＥＬ１０５１により光が照射される照射範囲を含む受光範囲からの光を受光する。そして、ＴｏＦセンサ１０４１は、それぞれの受光素子が受光した光の光量を計測値としたＲＡＷ信号を出力する。

記憶部１０４２は、ＴｏＦセンサ１０４１から出力されるＲＡＷ信号により構築される点群情報を記憶する。例えば、記憶部１０４２は、受光範囲内で変化があったときの最新の点群情報を記憶したり、受光範囲内に対象物体が存在していない状態の点群情報を背景情報として記憶したりすることができる。

無影情報生成部１０４３は、光変調部１０５０から供給されるタイミング信号に従って、ＴｏＦセンサ１０４１から供給されるＲＡＷ信号から環境光の影響を排除する。これにより、無影情報生成部１０４３は、ＶＣＳＥＬ１０５１から照射された光（変調光）に対応する反射光成分のみを計測値とする点群情報（以下、無影情報と称する）を生成して、演算処理部１０４４に供給する。また、無影情報生成部１０４３は、記憶部１０４２に記憶されている背景情報を読み出して、ＴｏＦセンサ１０４１から供給されるＲＡＷ信号により構築される点群情報との差分を求めることで、受光範囲における対象物体だけの無影情報を生成することができる。

演算処理部１０４４は、無影情報生成部１０４３から無影情報が供給される毎に、無影情報の点毎に対象物体までの距離を求める演算を行い、その演算により求められる距離を示すデプス信号を出力部１０４５に供給する。また、演算処理部１０４４は、必要に応じて、記憶部１０４２に記憶されている最新の点群情報を読み出し、その点群情報を用いて対象物体までの距離を求めてもよい。

出力部１０４５は、演算処理部１０４４から供給されるデプス信号に基づいて、被写体までの距離が受光素子の配置に応じて並べられたデプス情報を生成し、そのデプス情報をバス１０２０に対して出力する。

なお、上述では、光源部１００５に用いられる光源素子がＶＣＳＥＬであるとして説明したが、これはこの例に限定されない。例えば、光源部１００５に用いられる光源素子として、ＬＥＤ(Light Emitting Diode)を適用することもできる。

図８を参照して、第１のセンサ１４において距離を計測する原理について説明する。例えば、ＶＣＳＥＬ１０５１から対象物体に向かって照射光が照射され、その照射光が対象物体で反射した反射光は、対象物体までの距離に応じて照射光が照射されたタイミングから時間φだけ遅れてＴｏＦセンサ１０４１により受光される。このとき、ＴｏＦセンサ１０４１では、ＶＣＳＥＬ１０５１が照射光を照射している間隔で受光を行う受光部Ａと、受光部Ａの受光が終了したときから同じ間隔で受光を行う受光部Ｂとにより反射光が受光され、それぞれ電荷が蓄積される。

従って、受光部Ａが蓄積した電荷と、受光部Ｂが蓄積した電荷との比率に基づいて、反射光が受光されるまでの時間φを求めることができ、光の速度に従って、対象物体までの距離を算出することができる。このように、電荷の比率に基づき対象物体までの距離を算出するＴｏＦ方式を、インダイレクトＴｏＦと呼ぶ。

これに対して、照射光と反射光との時間差に基づき対象物体までの距離を算出するＴｏＦ方式を、ダイレクトＴｏＦと呼ぶ。本開示には、これらインダイレクトＴｏＦおよびダイレクトＴｏＦの何れも適用することができる。

図９は、第１の実施形態に係る第１のセンサ１４により出力されたデプス情報の例を示す図である。図９の例では、デプス情報を、各点の間を補間してグラデーションとして表している。図９において、背景部分を除き、より色の濃い（黒い）部分がより近い距離を示し、より色の薄い（白い）部分がより遠い距離を示している。

より具体的には、図９に示される横向きの顔において、側頭部５０、耳介の外縁部５１ａおよび耳飾り部５２がより色が濃く、最も近距離にあるのが分かる。また、顎部５３は、側頭部５０に比べて色が薄く、側頭部５０に対してより遠距離にあることが分かる。さらに、後頭部の髪部５４は、最も色が薄く、顔の他の領域に対して最も遠距離にあることが分かる。さらにまた、耳介の外縁部５１ａと内側部５１ｂとで色の濃さが異なり、外縁部５１ａに比べて内側部５１ｂの方がより遠距離であることが分かる。

このように、第１のセンサ１４による測距結果に基づき、対象の凹凸形状を詳細に取得することが可能である。

図１０は、第１の実施形態に係る端末装置１の機能を説明するための一例の機能ブロック図である。図１０において、端末装置１は、ＳＮＳアプリ部１００と、検出・制御部１１０と、全体制御部１２０と、通信部１２１と、表示部１２２と、入力受付部１２３と、認証部１２４と、ユーザ情報記憶部１２５と、を含む。

これらのうち、ＳＮＳアプリ部１００は、上述したサーバ３により提供されるＳＮＳアプリ５に対応するもので、サーバ３から取得したインストールプログラムを端末装置１にインストールすることで、端末装置１上に形成される。また、検出・制御部１１０は、第１の実施形態に係る処理を実行するためのもので、サーバ３あるいは他のサーバから取得したインストールプログラムを端末装置１にインストールすることで、端末装置１上に形成される。これに限らず、ＳＮＳアプリ部１００を形成するためのインストールプログラムに、検出・制御部１１０を形成するためのインストールプログラムを含めてもよい。

一方、全体制御部１２０、通信部１２１、表示部１２２、入力受付部１２３および認証部１２４は、端末装置１に予め搭載される。また、ユーザ情報記憶部１２５は、例えばストレージ１００６の所定領域が用いられる。

全体制御部１２０は、例えば、端末装置１の全体の動作を制御するＯＳ(Operating System)である。通信部１２１は、ネットワーク２を介した通信を制御する。表示部１２２は、表示デバイス１００８に表示させるための表示制御信号を生成する。入力受付部１２３は、入力デバイス１００７に対するユーザ操作を受け付ける。

認証部１２４は、ユーザ情報記憶部１２５に記憶されたユーザ情報に基づき、端末装置１を使用するユーザの認証を行う。認証部１２４がユーザ認証に用いるユーザ情報は、ユーザＩＤ、パスワード、ＰＩＮ(Personal Identification Number)コード、後述する第１顔検出部１１２により検出されたデプス情報に基づく顔情報、後述する第２顔検出部１１４により検出された撮像画像に基づく顔情報などを含む。

ＳＮＳアプリ部１００は、ＵＩ(User Interface)部１０１と、通信処理部１０２と、音処理部１０３と、を含む。ＵＩ部１０１は、ユーザが端末装置１を走査するためのユーザインタフェースを提供するもので、表示部１２２により表示デバイス１００８に表示される表示画面の構成と、入力受付部１２３が受け付ける入力デバイス１００７に対するユーザ操作を定義する。通信処理部１０２は、当該ＳＮＳによる通信に関する処理を行う。音処理部１０３は、当該ＳＮＳによる音声メッセージの送受信に関する処理を行う。

検出・制御部１１０は、測距処理部１１１と、第１顔検出部１１２と、撮像処理部１１３と、第２顔検出部１１４と、動き推測部１１５と、アプリ制御部１１６と、を含む。

測距処理部１１１は、第１のセンサ１４、すなわち、測距部１００４および光源部１００５により測距を行い、デプス情報を取得する。第１顔検出部１１２は、測距処理部１１１で取得されたデプス情報に基づき顔を検出する。第１顔検出部１１２は、時系列に沿って取得された複数のデプス情報を比較することで、顔の動きを検出することもできる。

撮像処理部１１３は、撮像部１００３により撮像を行い、撮像画像を取得する。第２顔検出部１１４は、撮像処理部１１３により取得された撮像画像に基づき顔を検出する。第２顔検出部１１４は、時系列に沿って取得された複数の撮像画像を比較することで、顔の動きを検出することもできる。

動き推測部１１５は、姿勢検知部１０１３の出力に基づき、端末装置１の動きを推測する。例えば、ユーザが端末装置１を手で保持して移動させた場合に、動き推測部１１５による、姿勢検知部１０１３の出力に基づく動きの推測結果に基づき、移動されたことを検知できる。

アプリ制御部１１６は、ＳＮＳアプリ部１００の動作の制御、および、ＳＮＳアプリ部１００の状態の取得を行う。アプリ制御部１１６は、例えば、第１顔検出部１１２および第２顔検出部１１４による顔検出の結果に基づき、ＳＮＳアプリ部１００の動作を制御する。

これら端末装置１におけるＳＮＳアプリ部１００および検出・制御部１１０に係る処理を実行するための各プログラムは、インターネットなどのネットワーク２に接続されたコンピュータ（例えばサーバ３）上に格納し、当該ネットワーク２を介してダウンロードさせることにより提供される。また、当該各プログラムをインターネットなどのネットワーク２を経由して提供または配布するように構成してもよい。さらに、当該各プログラムを、インストール可能な形式または実行可能な形式のファイルでＣＤ(Compact Disk)、フレキシブルディスク（ＦＤ）、ＤＶＤ(Digital Versatile Disk)などのコンピュータで読み取り可能な記録媒体に記録して提供してもよい。

当該各プログラムのうち、ＳＮＳアプリ部１００を構成するためのプログラム（ＳＮＳアプリ５）は、ＵＩ部１０１、通信処理部１０２および音処理部１０３を含むモジュール構成となっている。また、検出・制御部１１０を構成するためのプログラム（制御プログラム）は、測距処理部１１１、第１顔検出部１１２、撮像処理部１１３、第２顔検出部１１４およびアプリ制御部１１６を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ１０００がＲＯＭ１００１やストレージ１００６などの記憶媒体から当該各プログラムを読み出して実行することにより、上述した各部がＲＡＭ１００２などの主記憶装置上にロードされ、当該各部が主記憶装置上に生成されるようになっている。

なお、検出・制御部１１０に含まれる各機能において、端末装置１が予め備える機能と共通する機能については、端末装置１の当該機能を適用させることができる。例えば、端末装置１がデプス情報に基づく顔認証を行う機能を予め備える場合、この顔認証に用いる機能を、測距処理部１１１および第１顔検出部１１２に適用させることができる。

（第１の実施形態に係る処理の詳細）
次に、第１の実施形態に係る端末装置１における処理について、より詳細に説明する。図１１は、第１の実施形態に係る端末装置１における音声メッセージ送信処理を示す一例のフローチャートである。なお、図１１のフローチャートによる処理の開始時には、スイッチ１０６１ａおよび１０６１ｂがオフ（開）状態とされているものとする。これにより、測距部１００４および光源部１００５に電源が供給されず、測距部１００４および光源部１００５の機能が無効とされる。同様に、スイッチ１６２がオフ状態とされ、撮像部１００３に電源が供給されず、撮像部１００３の機能が無効とされる。

ステップＳ１００で、アプリ制御部１１６は、ＳＮＳアプリ部１００の状態を取得し、ＳＮＳアプリ５が起動中であるか否かを判定する。アプリ制御部１１６は、起動中ではないと判定した場合（ステップＳ１００、「Ｎｏ」）、処理をステップＳ１００に戻し、起動中であると判定した場合（ステップＳ１００、「Ｙｅｓ」）、処理をステップＳ１０１に移行する。

ステップＳ１０１で、アプリ制御部１１６は、設定において音声入力自動検出モードがオン（ＯＮ）となっているか否かを判定する。これは、例えば全体制御部１２０により提示される設定画面により設定される項目であって、音声入力自動検出モードがオンの状態で、検出・制御部１１０による音声入力に対する自動検出機能が有効となる。アプリ制御部１１６は、設定で音声入力自動検出モードがオンとなっていないと判定した場合（ステップＳ１０１、「Ｎｏ」）、処理をステップＳ１２０に移行させる。

ステップＳ１２０で、アプリ制御部１１６は、ＳＮＳアプリ部１００に対して、メッセージを入力するための動作モードを通常の文字入力モードで維持するように指示する。アプリ制御部１１６は、ステップＳ１２０の処理の後、この図１１のフローチャートによる一連の処理を終了させる。

ステップＳ１０１で、アプリ制御部１１６は、設定で音声入力自動検出モードがオンとなっていると判定した場合（ステップＳ１０１、「Ｙｅｓ」）、処理をステップＳ１０２に移行する。ステップＳ１０２で、アプリ制御部１１６は、ＳＮＳアプリ部１００において、他の端末装置１からＳＮＳアプリ５を用いて送信されたメッセージが受信されたか否かを判定する。この場合、メッセージは、文字入力によるテキストメッセージと、音声入力による音声メッセージとを含む。

アプリ制御部１１６は、ＳＮＳアプリ部１００においてメッセージが受信されていないと判定した場合（ステップＳ１０２、「Ｎｏ」）、処理をステップＳ１０２に戻す。一方、アプリ制御部１１６は、ＳＮＳアプリ部１００においてメッセージが受信されていると判定した場合（ステップＳ１０２、「Ｙｅｓ」）、処理をステップＳ１０３に移行させる。

ステップＳ１０３で、アプリ制御部１１６は、測距部１００４と、光源部１００５とをオンとする。より具体的には、アプリ制御部１１６は、例えば全体制御部１２０に対して、スイッチ１０６１ａおよび１０６１ｂをオン（閉）状態に制御するように指示する。スイッチ１０６１ａおよび１０６１ｂがオンとなることで、測距部１００４および光源部１００５に電源ユニット１０６０から電源が供給され、測距部１００４および光源部１００５の機能が有効とされる。測距部１００４および光源部１００５の機能が有効とされると、測距部１００４から出力されたデプス情報に基づき、測距処理部１１１による測距処理が開始される。

次のステップＳ１０４で、アプリ制御部１１６は、当該端末装置１が、ステップＳ１０２でメッセージが受信された時点から所定時間が経過するまでの間に移動されたか否かを判定する。アプリ制御部１１６は、例えば、動き推測部１１５の出力に基づき、端末装置１の移動を判定することができる。

なお、ここでは、ステップＳ１０４において端末装置１が移動されたか否かを判定するように説明するが、これはこの例に限定されない。例えば、ステップＳ１０４では、測距処理部１１１により取得されたデプス情報に基づき顔を検出し、検出された顔が端末装置１に近付いたか否かを判定することもできる。この場合、端末装置１と、測距対象としての顔との相対的な位置関係の変化を求めることになる。

アプリ制御部１１６は、ステップＳ１０４で端末装置１が所定時間内に移動していないと判定した場合（ステップＳ１０４、「Ｎｏ」）、処理をステップＳ１１２に移行させる。一方、アプリ制御部１１６は、ステップＳ１０４で端末装置１が所定時間内に移動したと判定した場合（ステップＳ１０４、「Ｙｅｓ」）、処理をステップＳ１０５に移行させる。

ステップＳ１０５で、アプリ制御部１１６は、第１顔検出部１１２による顔検出結果に基づき、物体（顔）との距離を取得する。次のステップＳ１０６で、アプリ制御部１１６は、ステップＳ１０５で取得された距離に基づき、物体（顔）が所定時間を経過する間に所定距離内に近付いたか否かを判定する。

アプリ制御部１１６は、ステップＳ１０６で、物体（顔）が所定時間を経過する間に所定距離内に近付かなかったと判定した場合（ステップＳ１０６、「Ｎｏ」）、処理をステップＳ１１２に移行させる。すなわち、この場合、ユーザに、音声入力を行い音声メッセージを送信する意志が無いと考えることができる。そのため、以降の音声メッセージ送信に係る処理をキャンセルする。

アプリ制御部１１６は、ステップＳ１０６で、物体（顔）が所定時間が経過する間に所定距離内に近付いたと判定した場合（ステップＳ１０６、「Ｙｅｓ」）、処理をステップＳ１０７に移行させる。

なお、図１１では、ステップＳ１０５およびステップＳ１０６の処理が１回の処理で完結しているが、実際には、ステップＳ１０５およびステップＳ１０６は、ステップＳ１０６の条件を満たすまで繰り返すループ処理となる。

ステップＳ１０７で、アプリ制御部１１６は、ＳＮＳアプリ部１００に対して、動作モードを音声入力モードとする（音声入力モードをオンとする）ように指示する。ＳＮＳアプリ部１００は、この指示を受けて、動作モードを音声入力モードとし、音処理部１０３においてマイクロフォン１２により収音された音に基づく音声入力処理を開始させる。

次のステップＳ１０８で、ＳＮＳアプリ部１００において、通信処理部１０２により、音処理部１０３により処理された音声データを、音声メッセージとして、ステップＳ１０２で受信したメッセージの送信元に送信する。

次のステップＳ１０９で、アプリ制御部１１６は、第１顔検出部１１２による顔検出結果に基づき、物体（顔）が端末装置１に対して所定距離から離れたか否かを判定する。アプリ制御部１１６は、物体（顔）が所定距離から離れていないと判定した場合（ステップＳ１０９、「Ｎｏ」）、処理をステップＳ１０８に戻す。

一方、アプリ制御部１１６は、ステップＳ１０９で、物体（顔）が所定距離から離れたと判定した場合（ステップＳ１０９、「Ｙｅｓ」）、処理をステップＳ１１０に移行させる。すなわち、この場合、ユーザが音声メッセージの送信を中断または終了させる意志があると考えることができる。ステップＳ１１０で、アプリ制御部１１６は、ＳＮＳアプリ部１００に対して、音声入力モードを終了（オフ）させるよう指示する。ＳＮＳアプリ部１００は、この指示を受けて、音処理部１０３における音声入力処理と、通信処理部１０２における音声メッセージの送信処理とを終了させる。

次のステップＳ１１１で、アプリ制御部１１６は、ステップＳ１１０で音声入力モードを終了させてから所定時間内に次のメッセージを受信したか否かを判定する。アプリ制御部１１６は、受信したと判定した場合（ステップＳ１１１、「Ｙｅｓ」）、処理をステップＳ１０４に戻す。一方、アプリ制御部１１６は、当該所定時間内に次のメッセージを受信しなかったと判定した場合（ステップＳ１１１、「Ｎｏ」）、処理をステップＳ１１２に移行させる。

ステップＳ１１２で、アプリ制御部１１６は、測距部１００４と、光源部１００５とをオフとする。より具体的には、アプリ制御部１１６は、例えば全体制御部１２０に対して、スイッチ１０６１ａおよび１０６１ｂをオフ（開）状態に制御するように指示する。スイッチ１０６１ａおよび１０６１ｂがオフとなることで、測距部１００４および光源部１００５に対する電源ユニット１０６０からの電源の供給が停止され、測距部１００４および光源部１００５の機能が無効とされる。

ステップＳ１１２の処理が終了すると、図１１のフローチャートによる一連の処理が終了される。

このように、第１の実施形態では、ＳＮＳアプリ部１００による音声入力モードをオンおよびオフとする処理を、端末装置１と顔との距離に基づき制御している。そのため、ユーザは、音声入力モードをオンあるいはオフとするために、端末装置１のタッチパネル１０３０をタップするといった操作を行う必要が無く、例えば片手で端末装置１を保持し顔に近付けるという動作のみで、音声メッセージの送信を実行できる。すなわち、ユーザは、端末装置１を保持する以外は無接触で、音声メッセージの送信を実行することが可能である。

また、第１の実施形態では、ＳＮＳアプリ部１００による音声入力モードのオン／オフを、赤外光を光源として用いたＴｏＦセンサ１０４１の出力に基づき制御している。そのため、夜間など周囲が暗い環境でも音声入力モードのオン／オフ制御が可能である。例えば、ＣＩＳなどのイメージセンサを用いて当該制御を行う場合、ある程度の明るさの外光が必要となり、暗い環境での使用には適さない。

さらにまた、第１の実施形態では、音声メッセージ送信のための音声入力の際に、顔までの距離を計測している。そのため、マイクロフォン１２の感度（マイクロフォン１２の出力に対するゲイン）を、顔までの距離に基づき調整することが可能であり、適切な音量による音声メッセージの送信が可能である。

［第１の実施形態の第１の変形例］
次に、第１の実施形態の第１の変形例について説明する。上述した第１の実施形態では、ＳＮＳアプリ部１００における音声入力モードの制御を、端末装置１に対する顔の距離に基づき行っていた。これに対して、第１の実施形態の第１の変形例では、ＳＮＳアプリ部１００における音声入力モードの制御を、デプス情報に基づき口の動きを検出することで行う。

なお、第１の実施形態の第１の変形例では、上述の第１の実施形態において図６～図１０などを用いて説明した端末装置１の構成をそのまま適用できる。

図１２は、第１の実施形態の第１の変形例に係る端末装置１における音声メッセージ送信処理を示す一例のフローチャートである。なお、図１２において、上述した図１１のフローチャートと共通する処理には同一の符号を付し、適宜、簡略な説明とする。また、図１２のフローチャートにおいて、処理の開始時には、スイッチ１０６１ａおよび１０６１ｂがオフ状態とされているものとする。同様に、スイッチ１６２がオフ状態とされ、撮像部１００３に電源が供給されず、撮像部１００３の機能が無効とされる。

図１２のフローチャートにおいて、ステップＳ１００～ステップＳ１０７の処理は、上述した図１１のフローチャートのステップＳ１００～ステップＳ１０７と共通の処理である。すなわち、ステップＳ１００で、アプリ制御部１１６は、ＳＮＳアプリ５が起動中であるか否かを判定し、起動中ではないと判定した場合（ステップＳ１００、「Ｎｏ」）、処理をステップＳ１００に戻し、起動中であると判定した場合（ステップＳ１００、「Ｙｅｓ」）、処理をステップＳ１０１に移行する。

ステップＳ１０１で、アプリ制御部１１６は、設定において音声入力自動検出モードがオン（ＯＮ）となっているか否かを判定する。アプリ制御部１１６は、設定で音声入力自動検出モードがオンとなっていないと判定した場合（ステップＳ１０１、「Ｎｏ」）、処理をステップＳ１２０に移行させる。ステップＳ１２０で、アプリ制御部１１６は、ＳＮＳアプリ部１００に対して、メッセージを入力するための動作モードを通常の文字入力モードで維持するように指示し、この図１２のフローチャートによる一連の処理を終了させる。

ステップＳ１０１で、アプリ制御部１１６は、設定で音声入力自動検出モードがオンとなっていると判定した場合（ステップＳ１０１、「Ｙｅｓ」）、処理をステップＳ１０２に移行する。ステップＳ１０２で、アプリ制御部１１６は、ＳＮＳアプリ部１００において、他の端末装置１からＳＮＳアプリ５を用いて送信されたメッセージが受信されたか否かを判定し、メッセージが受信されていないと判定した場合（ステップＳ１０２、「Ｎｏ」）、処理をステップＳ１０２に戻す。

一方、アプリ制御部１１６は、ＳＮＳアプリ部１００においてメッセージが受信されていると判定した場合（ステップＳ１０２、「Ｙｅｓ」）、処理をステップＳ１０３に移行させ、測距部１００４と、光源部１００５とをオンとする。

次のステップＳ１０４で、アプリ制御部１１６は、ジャイロなどを用いて当該端末装置１の動きを検出し、当該端末装置１が、ステップＳ１０２でメッセージが受信された時点から所定時間が経過するまでの間に移動されたか否かを判定し、移動していないと判定した場合（ステップＳ１０４、「Ｎｏ」）、処理をステップＳ２０５に移行させる。

一方、アプリ制御部１１６は、ステップＳ１０４で端末装置１が所定時間内に移動したと判定した場合（ステップＳ１０４、「Ｙｅｓ」）、処理をステップＳ１０５に移行させ、第１顔検出部１１２による顔検出結果に基づき、物体（顔）との距離を取得する。

次のステップＳ１０６で、アプリ制御部１１６は、ステップＳ１０５で取得された距離に基づき、物体（顔）が所定時間が経過する間に所定距離内に近付いたか否かを判定する。図１１における説明と同様に、実際には、ステップＳ１０５およびステップＳ１０６は、ステップＳ１０６の条件を満たすまで繰り返すループ処理となる。

アプリ制御部１１６は、ステップＳ１０６で、物体（顔）が所定時間を経過する間に所定距離内に近付かなかったと判定した場合（ステップＳ１０６、「Ｎｏ」）、処理をステップＳ２０５に移行させ、以降の音声メッセージ送信に係る処理をキャンセルする。

アプリ制御部１１６は、ステップＳ１０６で、物体（顔）が所定時間を経過する間に所定距離内に近付いたと判定した場合（ステップＳ１０６、「Ｙｅｓ」）、処理をステップＳ１０７に移行させ、ＳＮＳアプリ部１００に対して、音声入力モードをオンとするように指示する。

次のステップＳ２００で、アプリ制御部１１６は、第１顔検出部１１２に対し、デプス情報に基づく顔検出結果を用いた、顔における口の動きの検出を開始するよう指示する。第１顔検出部１１２は、この指示に応じて、口の動きを、例えば時系列に沿って取得された複数のデプス情報を比較することで検出する。

次のステップＳ２０１で、ＳＮＳアプリ部１００において、通信処理部１０２により、音処理部１０３により処理された音声データを、音声メッセージとして、ステップＳ１０２で受信したメッセージの送信元に送信する。

次のステップＳ２０２で、アプリ制御部１１６は、ステップＳ２００で開始された、第１顔検出部１１２による口の動きの検出結果に基づき、所定時間の間、口の動きが止まったか否かを判定する。ステップＳ２０２で、アプリ制御部１１６は、口の動きが所定時間の間止まっていないと判定した場合（ステップＳ２０２、「Ｎｏ」）、処理をステップＳ２０１に戻す。一方、アプリ制御部１１６は、所定時間の間、口の動きが止まっていると判定した場合（ステップＳ２０２、「Ｙｅｓ」）、処理をステップＳ２０３に移行させる。

なお、図１２では、ステップＳ２０１およびステップＳ２０２の処理が１回の処理で完結しているが、実際には、ステップＳ２０１およびステップＳ２０２の処理は、ステップＳ２０２の条件を満たすまで繰り返すループ処理となる。

ステップＳ２０３以降の処理は、第１の実施形態による図１１のフローチャートにおけるステップＳ１１０以降の処理と共通である。すなわち、ステップＳ２０３で、アプリ制御部１１６は、ＳＮＳアプリ部１００に対して、音声入力モードを終了（オフ）させるよう指示する。ＳＮＳアプリ部１００は、この指示を受けて、音処理部１０３における音声入力処理と、通信処理部１０２における音声メッセージの送信処理とを終了させる。

次のステップＳ２０４で、アプリ制御部１１６は、ステップＳ２０３で音声入力モードを終了させてから所定時間内に次のメッセージを受信したか否かを判定し、受信したと判定した場合（ステップＳ２０３、「Ｙｅｓ」）、処理をステップＳ１０４に戻す。

一方、アプリ制御部１１６は、当該所定時間内に次のメッセージを受信しなかったと判定した場合（ステップＳ２０４、「Ｎｏ」）、処理をステップＳ２０５に移行させる。ステップＳ２０５で、アプリ制御部１１６は、測距部１００４と、光源部１００５とをオフとする。ステップＳ２０５の処理が終了すると、図１１のフローチャートによる一連の処理が終了される。

このように、第１の実施形態の第１の変形例では、音声入力モードをオフとする制御を、デプス情報に基づく口の動きの検出結果に応じて行っている。そのため、音声メッセージの送信を、より高精度に制御できる。

また、第１の実施形態の第１の変形例では、上述した第１の実施形態と同様に、ユーザは、音声入力モードをオンあるいはオフとするために、端末装置１のタッチパネル１０３０をタップするといった操作を行う必要が無く、例えば片手で端末装置１を保持し顔に近付けるという動作のみで、音声メッセージの送信を実行できる。

さらに、第１の実施形態の第１の変形例では、上述した第１の実施形態と同様に、ＳＮＳアプリ部１００による音声入力モードのオン／オフを、赤外光を光源として用いたＴｏＦセンサ１０４１の出力に基づき制御しているため、夜間など周囲が暗い環境でも音声入力モードのオン／オフ制御が可能である。

［第１の実施形態の第２の変形例］
次に、第１の実施形態の第２の変形例について説明する。上述した第１の実施形態の第１の変形例では、ＳＮＳアプリ部１００における音声入力モードの制御を、デプス情報に基づき口の動きを検出することで行っていた。これに対して、第１の実施形態の第２の変形例では、撮像画像に基づき口の動きを検出することで、ＳＮＳアプリ部１００における音声入力モードの制御を行う。

なお、第１の実施形態の第１の変形例では、上述の第１の実施形態において図６～図１０などを用いて説明した端末装置１の構成をそのまま適用できる。

図１３は、第１の実施形態の第２の変形例に係る端末装置１における音声メッセージ送信処理を示す一例のフローチャートである。なお、図１３において、上述した図１１のフローチャートと共通する処理には同一の符号を付し、適宜、簡略な説明とする。また、図１３のフローチャートにおいて、処理の開始時には、スイッチ１０６１ａおよび１０６１ｂがオフ状態とされる。同様に、スイッチ１６２がオフ状態とされ、撮像部１００３に電源が供給されず、撮像部１００３の機能が無効とされる。

図１３のフローチャートにおいて、ステップＳ１００～ステップＳ１０７の処理は、上述した図１１のフローチャートのステップＳ１００～ステップＳ１０７と共通の処理である。すなわち、ステップＳ１００で、アプリ制御部１１６は、ＳＮＳアプリ５が起動中であるか否かを判定し、起動中ではないと判定した場合（ステップＳ１００、「Ｎｏ」）、処理をステップＳ１００に戻し、起動中であると判定した場合（ステップＳ１００、「Ｙｅｓ」）、処理をステップＳ１０１に移行する。

ステップＳ１０１で、アプリ制御部１１６は、設定において音声入力自動検出モードがオンとなっているか否かを判定し、音声入力自動検出モードがオンとなっていないと判定した場合（ステップＳ１０１、「Ｎｏ」）、処理をステップＳ１２０に移行させる。ステップＳ１２０で、アプリ制御部１１６は、ＳＮＳアプリ部１００に対して、メッセージを入力するための動作モードを通常の文字入力モードで維持するように指示し、この図１３のフローチャートによる一連の処理を終了させる。

ステップＳ１０１で、アプリ制御部１１６は、設定で音声入力自動検出モードがオンとなっていると判定した場合（ステップＳ１０１、「Ｙｅｓ」）、処理をステップＳ１０２に移行する。ステップＳ１０２で、アプリ制御部１１６は、ＳＮＳアプリ部１００において、他の端末装置１からＳＮＳアプリ５を用いて送信されたメッセージが受信されたか否かを判定し、メッセージが受信されていないと判定した場合（ステップＳ１０２、「Ｎｏ」）、処理をステップＳ１０２に戻す。

一方、アプリ制御部１１６は、ＳＮＳアプリ部１００においてメッセージが受信されていると判定した場合（ステップＳ１０２、「Ｙｅｓ」）、処理をステップＳ１０３に移行させ、測距部１００４と、光源部１００５とをオンとする。

次のステップＳ１０４で、アプリ制御部１１６は、動き推測部１１５の出力に基づき当該端末装置１の動きを検出し、当該端末装置１が、ステップＳ１０２でメッセージが受信された時点から所定時間が経過するまでの間に移動されたか否かを判定し、移動していないと判定した場合（ステップＳ１０４、「Ｎｏ」）、処理をステップＳ３０６に移行させる。

一方、アプリ制御部１１６は、ステップＳ１０４で端末装置１が所定時間内に移動したと判定した場合（ステップＳ１０４、「Ｙｅｓ」）、処理をステップＳ１０５に移行させ、第１顔検出部１１２による顔検出結果に基づき、物体（顔）との距離を取得する。

次のステップＳ１０６で、アプリ制御部１１６は、ステップＳ１０５で取得された距離に基づき、物体（顔）が所定時間が経過する間に所定距離内に近付いたか否かを判定する。図１１における説明と同様に、実際には、ステップＳ１０５およびステップＳ１０６は、ステップＳ１０６の条件を満たすまで繰り返すループ処理となる。

アプリ制御部１１６は、ステップＳ１０６で、物体（顔）が所定時間を経過する間に所定距離内に近付かなかったと判定した場合（ステップＳ１０６、「Ｎｏ」）、処理をステップＳ３０６に移行させ、以降の音声メッセージ送信に係る処理をキャンセルする。

アプリ制御部１１６は、ステップＳ１０６で、物体（顔）が所定時間を経過する間に所定距離内に近付いたと判定した場合（ステップＳ１０６、「Ｙｅｓ」）、処理をステップＳ１０７に移行させ、ＳＮＳアプリ部１００に対して、音声入力モードをオンとするように指示する。

次のステップＳ３００で、アプリ制御部１１６は、撮像部１００３の機能をオンとする。より具体的には、アプリ制御部１１６は、例えば全体制御部１２０に対して、撮像部１００３に対する電源の供給を開始するように指示する。全体制御部１２０は、この指示に応じて、スイッチ１０６２をオン状態とし、電源ユニット１０６０から撮像部１００３への電源の供給を開始する。これにより、撮像部１００３の機能がオンとされて撮像が開始され、撮像処理部１１３による撮像画像の取得が開始される。

次のステップＳ３０１で、アプリ制御部１１６は、第２顔検出部１１４に対し、撮像画像に基づく顔検出結果を用いた、顔における口の動きの検出を開始するよう指示する。第２顔検出部１１４は、この指示に応じて、口の動きを、例えば時系列に沿って取得された複数の撮像画像を比較することで検出する。

次のステップＳ３０２で、ＳＮＳアプリ部１００において、通信処理部１０２により、音処理部１０３により処理された音声データを、音声メッセージとして、ステップＳ１０２で受信したメッセージの送信元に送信する。

次のステップＳ３０３で、アプリ制御部１１６は、ステップＳ３０１で開始された、第２顔検出部１１４による口の動きの検出結果に基づき、所定時間の間、口の動きが止まったか否かを判定する。ステップＳ３０３で、アプリ制御部１１６は、口の動きが所定時間の間止まっていないと判定した場合（ステップＳ３０３、「Ｎｏ」）、処理をステップＳ３０２に戻す。一方、アプリ制御部１１６は、所定時間の間、口の動きが止まっていると判定した場合（ステップＳ３０３、「Ｙｅｓ」）、処理をステップＳ３０４に移行させる。

なお、図１３では、ステップＳ３０２およびステップＳ３０３の処理が１回の処理で完結しているが、実際には、ステップＳ３０２およびステップＳ３０３の処理は、ステップＳ３０３の条件を満たすまで繰り返すループ処理となる。

ステップＳ３０４以降の処理は、第１の実施形態による図１１のフローチャートにおけるステップＳ１１０以降の処理と共通である。すなわち、ステップＳ３０４で、アプリ制御部１１６は、ＳＮＳアプリ部１００に対して、音声入力モードを終了（オフ）させるよう指示する。ＳＮＳアプリ部１００は、この指示を受けて、音処理部１０３における音声入力処理と、通信処理部１０２における音声メッセージの送信処理とを終了させる。

次のステップＳ３０４で、アプリ制御部１１６は、ステップＳ３０４で音声入力モードを終了させてから所定時間内に次のメッセージを受信したか否かを判定し、受信したと判定した場合（ステップＳ３０４、「Ｙｅｓ」）、処理をステップＳ１０４に戻す。

一方、アプリ制御部１１６は、当該所定時間内に次のメッセージを受信しなかったと判定した場合（ステップＳ３０５、「Ｎｏ」）、処理をステップＳ３０６に移行させる。ステップＳ３０６で、アプリ制御部１１６は、撮像部１００３、測距部１００４および光源部１００５をオフとする。より具体的には、アプリ制御部１１６は、例えば全体制御部１２０に対して、撮像部１００３、測距部１００４および光源部１００５に対する電源の供給を停止するように指示する。全体制御部１２０は、この指示に応じて、スイッチ１０６１ａ、１０６１ｂおよび１０６２をオフ状態とし、電源ユニット１０６０から撮像部１００３、測距部１００４および光源部１００５への電源の供給を停止する。

ステップＳ３０６の処理が終了すると、図１３のフローチャートによる一連の処理が終了される。

このように、第１の実施形態の第２の変形例では、音声入力モードをオフとする制御を、撮像画像に基づく口の動きの検出結果に応じて行っている。ここで、ＴｏＦセンサ１０４１は、あくまで点群情報に基づくデプス情報を取得するものであるのに対し、撮像部１００３が有するイメージセンサは、例えばＲ（赤）色、Ｇ（緑）色およびＢ（青）色を用いたフルカーラ画像による撮像画像を出力できる。したがって、口の動きをより高精度に検出することが可能になる。これにより、第１の実施形態の第２の変形例では、音声メッセージの送信を、第１の実施形態の第１の変形例と比べてより高精度に制御できる。

また、第１の実施形態の第２の変形例では、上述した第１の実施形態と同様に、ユーザは、音声入力モードをオンあるいはオフとするために、端末装置１のタッチパネル１０３０をタップするといった操作を行う必要が無く、例えば片手で端末装置１を保持し顔に近付けるという動作のみで、音声メッセージの送信を実行できる。

［第２の実施形態］
次に、第２の実施形態について説明する。第２の実施形態は、ＯＳ（全体制御部１２０）による表示ロック中にＳＮＳアプリ５によりメッセージが受信された際に、デプス情報に基づく顔認証を行い当該表示ロックを解除する例である。

なお、第２の実施形態では、上述の第１の実施形態において図６～図１０などを用いて説明した端末装置１の構成をそのまま適用できる。

図１４は、第２の実施形態に係る端末装置１における音声メッセージ送信処理を示す一例のフローチャートである。なお、図１２４フローチャートにおいて、処理の開始時には、スイッチ１０６１ａおよび１０６１ｂ、ならびに、スイッチ１０６２がオフ状態とされているものとする。

図１４のフローチャートにより処理に先立って、端末装置１は、ＯＳ（全体制御部１２０）により、表示部１０の表示がロック状態とされ、例えば入力デバイス１００７に対するユーザ操作において、入力受付部１２３が受け付ける操作が制限される。また、ＳＮＳアプリ５は、表示ロック状態において、例えば一部の機能（例えば通信処理部１０２）が起動され、バックグラウンドで実行される。

ステップＳ５００で、アプリ制御部１１６は、ＳＮＳアプリ部１００において、他の端末装置１からＳＮＳアプリ５を用いて送信されたメッセージが受信されたか否かを判定し、メッセージが受信されていないと判定した場合（ステップＳ５００、「Ｎｏ」）、処理をステップＳ５００に戻す。一方、アプリ制御部１１６は、メッセージが受信されたと判定した場合（ステップＳ５００、「Ｙｅｓ」）、処理をステップＳ５０１に移行させる。

このとき、例えばＳＮＳ１００部におけるＵＩ部１０１は、表示部１０に対して、メッセージが受信されたことを示すバナー画像を表示させる。図１５Ａは、表示ロック中の表示部１０に表示されるバナー画像１６の例を示す図である。図１５Ａの例では、表示部１０の上端に、受信したメッセージの概要を含むバナー画像１６が表示されている。既存技術では、例えばこのバナー画像１６をタップ（手指にて接触）することで、表示ロックを解除するための情報を入力するための表示ロック解除画面が表示部１０に表示される。図１５Ｂは、既存技術による、顔認証により表示ロック解除を行う表示ロック解除画面１７の例を示す図である。

ステップＳ５０１で、アプリ制御部１１６は、設定において音声入力自動検出モードがオン（ＯＮ）となっているか否かを判定する。アプリ制御部１１６は、設定で音声入力自動検出モードがオンとなっていないと判定した場合（ステップＳ５０１、「Ｎｏ」）、処理をステップＳ５２０に移行させる。ステップＳ５２０で、アプリ制御部１１６は、ＳＮＳアプリ部１００に対して、メッセージを入力するための動作モードを通常の文字入力モードで維持するように指示し、この図１４のフローチャートによる一連の処理を終了させる。

一方、アプリ制御部１１６は、設定で音声入力自動検出モードがオンとなっていると判定した場合（ステップＳ５０１、「Ｙｅｓ」）、処理をステップＳ５０２に移行させる。ステップＳ５０２で、アプリ制御部１１６は、測距部１００４と、光源部１００５とをオンとする。

次のステップＳ５０３で、アプリ制御部１１６は、認証部１２４に対して、第１顔検出部１１２により取得されるデプス情報に基づく顔認証を実行するよう指示する。このとき、アプリ制御部１１６は、全体制御部１２０に対して、上述した図１５Ｂに示したような表示ロック解除画面１７を表示するように指示し、顔認証の実行をユーザに促すようにすると好ましい。

次のステップＳ５０４で、アプリ制御部１１６は、認証部１２４による顔に認証が成功したか否かを判定する。アプリ制御部１１６は、認証が失敗したと判定した場合（ステップＳ５０４、「Ｎｏ」）、図１４のフローチャートによる一連の処理を終了させる。一方、アプリ制御部１１６は、認証が成功したと判定した場合（ステップＳ５０４、「Ｙｅｓ」）、処理をステップＳ５０５に移行させる。ステップＳ５０５で、アプリ制御部１１６は、全体制御部１２０に対して、表示ロックを解除するよう指示する。次のステップＳ５０６で、アプリ制御部１１６は、ＳＮＳアプリ５の本体（ＵＩ部１０１、通信処理部１０２および音処理部１０３を含む、ＳＮＳアプリ部１００の全体）を起動させる。

次のステップＳ５０７以降の処理は、上述した第１の実施形態による図１１のステップＳ１０４以降の処理と共通である。すなわち、ステップＳ５０７で、アプリ制御部１１６は、動き推測部１１５の出力に基づき当該端末装置１の動きを検出し、当該端末装置１が、ステップＳ１０２でメッセージが受信された時点から所定時間が経過するまでの間に移動されたか否かを判定し、移動していないと判定した場合（ステップＳ５０７、「Ｎｏ」）、処理をステップＳ５１５に移行させる。

一方、アプリ制御部１１６は、ステップＳ５０７で端末装置１が所定時間内に移動したと判定した場合（ステップＳ５０７、「Ｙｅｓ」）、処理をステップＳ５０８に移行させ、第１顔検出部１１２による顔検出結果に基づき、物体（顔）との距離を取得する。

次のステップＳ５０９で、アプリ制御部１１６は、ステップＳ５０８で取得された距離に基づき、物体（顔）が所定時間が経過する間に所定距離内に近付いたか否かを判定する。なお、図１４では、ステップＳ５０８およびステップＳ５０９の処理が１回の処理で完結しているが、実際には、ステップＳ５０８およびステップＳ５０９は、ステップＳ５０９の条件を満たすまで繰り返すループ処理となる。

アプリ制御部１１６は、ステップＳ５０９で、物体（顔）が所定時間を経過する間に所定距離内に近付かなかったと判定した場合（ステップＳ５０９、「Ｎｏ」）、処理をステップＳ５１５に移行させ、以降の音声メッセージ送信に係る処理をキャンセルする。

アプリ制御部１１６は、ステップＳ５０９で、物体（顔）が所定時間が経過する間に所定距離内に近付いたと判定した場合（ステップＳ５０９、「Ｙｅｓ」）、処理をステップＳ５１０に移行させ、ＳＮＳアプリ部１００に対して、音声入力モードをオンとするように指示する。次のステップＳ５１１で、ＳＮＳアプリ部１００において、通信処理部１０２により、音処理部１０３により処理された音声データを、音声メッセージとして、ステップＳ５００で受信したメッセージの送信元に送信する。

次のステップＳ５１２で、アプリ制御部１１６は、第１顔検出部１１２による顔検出結果に基づき、物体（顔）が端末装置１に対して所定距離から離れたか否かを判定する。アプリ制御部１１６は、物体（顔）が所定距離から離れていないと判定した場合（ステップＳ５１２、「Ｎｏ」）、処理をステップＳ５１１に戻す。一方、アプリ制御部１１６は、ステップＳ５１２で、物体（顔）が所定距離から離れたと判定した場合（ステップＳ５１２、「Ｙｅｓ」）、処理をステップＳ５１３に移行させる。

なお、図１４では、ステップＳ５１１およびステップＳ５１２の処理が１回の処理で完結しているが、実際には、ステップＳ５１１およびステップＳ５１２の処理は、ステップＳ５１２の条件を満たすまで繰り返すループ処理となる。

ステップＳ５１３で、アプリ制御部１１６は、ＳＮＳアプリ部１００に対して、音声入力モードを終了（オフ）させるよう指示する。ＳＮＳアプリ部１００は、この指示を受けて、音処理部１０３における音声入力処理と、通信処理部１０２における音声メッセージの送信処理とを終了させる。

次のステップＳ５１４で、アプリ制御部１１６は、ステップＳ５１３で音声入力モードを終了させてから所定時間内に次のメッセージを受信したか否かを判定し、受信したと判定した場合（ステップＳ５１３、「Ｙｅｓ」）、処理をステップＳ５０７に戻す。

一方、アプリ制御部１１６は、当該所定時間内に次のメッセージを受信しなかったと判定した場合（ステップＳ５１４、「Ｎｏ」）、処理をステップＳ５１５に移行させる。ステップＳ５１５で、アプリ制御部１１６は、測距部１００４と、光源部１００５とをオフとする。ステップＳ５１５の処理が終了すると、図１４のフローチャートによる一連の処理が終了される。

このように、第２の実施形態では、表示ロックの状態においてバックグラウンドで動作するＳＮＳアプリ５によりメッセージを受信した場合に、デプス情報を用いた顔認証により表示ロックを解除して、ＳＮＳアプリ５の本体を起動させる。したがって、ユーザは、表示ロック状態においてＳＮＳアプリ５によりメッセージが受信された場合であっても、端末装置１のタッチパネル１０３０をタップするといった操作無しに、例えば片手で端末装置１を保持し顔認証を行うという動作のみで、表示ロックを解除してＳＮＳアプリ５による音声メッセージの送信を行うことが可能である。

このとき、顔認証を、赤外光を光源として用いたＴｏＦセンサ１０４１の出力に基づき行っている。そのため、夜間など周囲が暗い環境でも、表示ロック状態におけるＳＮＳアプリ５によるメッセージ受信の際の表示ロック解除を実行できる。また、ＳＮＳアプリ部１００による音声入力モードのオン／オフについても、赤外光を光源として用いたＴｏＦセンサ１０４１の出力に基づき制御しているため、夜間など周囲が暗い環境でも音声入力モードのオン／オフ制御が可能である。

また、第２の実施形態では、上述した第１の実施形態と同様に、ＳＮＳアプリ部１００による音声入力モードをオンおよびオフとする処理を、端末装置１と顔との距離に基づき制御している。そのため、ユーザは、音声入力モードをオンあるいはオフとするために、端末装置１のタッチパネル１０３０をタップするといった操作を行う必要が無く、例えば片手で端末装置１を保持し顔に近付けるという動作のみで、音声メッセージの送信を実行できる。

さらにまた、第２の実施形態では、音声メッセージ送信のための音声入力の際に、顔までの距離を計測している。そのため、マイクロフォン１２の感度（マイクロフォン１２の出力に対するゲイン）を、顔までの距離に基づき調整することが可能であり、適切な音量による音声メッセージの送信が可能である。

［第２の実施形態の第１の変形例］
次に、第２の実施形態の第１の変形例について説明する。第２の実施形態の第１の変形例は、ＯＳ（全体制御部１２０）による表示ロック中にＳＮＳアプリ５によりメッセージが受信された際に、デプス情報に基づく顔認証を行い当該表示ロックを解除する。それと共に、上述した第１の実施形態の第１の変形例と同様に、ＳＮＳアプリ部１００における音声入力モードの制御を、デプス情報に基づき口の動きを検出することで行うようにした例である。

なお、第２の実施形態の第１の変形例では、上述の第１の実施形態において図６～図１０などを用いて説明した端末装置１の構成をそのまま適用できる。

図１６は、第２の実施形態の第１の変形例に係る端末装置１における音声メッセージ送信処理を示す一例のフローチャートである。なお、図１６において、上述した図１４のフローチャートと共通する処理には同一の符号を付して、適宜、簡略な説明とする。また、図１６フローチャートにおいて、処理の開始時には、スイッチ１０６１ａおよび１０６１ｂ、ならびに、スイッチ１０６２がオフ状態とされているものとする。

図１６のフローチャートによる処理に先立って、端末装置１は、ＯＳ（全体制御部１２０）により、表示部１０の表示がロック状態とされ、ＳＮＳアプリ５は、例えば一部の機能がバックグラウンドで実行される。

ステップＳ５００～ステップＳ５１０の処理は、図１４のフローチャートのステップＳ５００～ステップＳ５１０と共通の処理である。すなわち、ステップＳ５００で、アプリ制御部１１６は、ＳＮＳアプリ部１００において、他の端末装置１からＳＮＳアプリ５を用いて送信されたメッセージが受信されたか否かを判定し、メッセージが受信されていないと判定した場合（ステップＳ５００、「Ｎｏ」）、処理をステップＳ５００に戻す。

一方、アプリ制御部１１６は、メッセージが受信されたと判定した場合（ステップＳ５００、「Ｙｅｓ」）、処理をステップＳ５０１に移行させる。このとき、例えばＳＮＳ１００部におけるＵＩ部１０１は、表示部１０に対して、図１５Ａに例示したような、メッセージが受信されたことを示すバナー画像１６を表示させる。

ステップＳ５０１で、アプリ制御部１１６は、設定において音声入力自動検出モードがオン（ＯＮ）となっているか否かを判定する。判定の結果、音声入力自動検出モードがオンとなっていないと判定した場合（ステップＳ５０１、「Ｎｏ」）、処理をステップＳ５２０に移行させ、ＳＮＳアプリ部１００に対して、メッセージを入力するための動作モードを通常の文字入力モードで維持するように指示し、この図１６のフローチャートによる一連の処理を終了させる。

一方、アプリ制御部１１６は、設定で音声入力自動検出モードがオンとなっていると判定した場合（ステップＳ５０１、「Ｙｅｓ」）、処理をステップＳ５０２に移行させ、測距部１００４と、光源部１００５とをオンとする。

次のステップＳ５０３で、アプリ制御部１１６は、認証部１２４に対して、第１顔検出部１１２により取得されるデプス情報に基づく顔認証を実行するよう指示する。このとき、アプリ制御部１１６は、全体制御部１２０に対して、上述した図１５Ｂに示したような表示ロック解除画面１７を表示するように指示し、顔認証の実行をユーザに促すようにすると好ましい。

次のステップＳ５０４で、アプリ制御部１１６は、認証部１２４による顔に認証が成功したか否かを判定し、認証が失敗したと判定した場合（ステップＳ５０４、「Ｎｏ」）、図１６のフローチャートによる一連の処理を終了させる。一方、アプリ制御部１１６は、認証が成功したと判定した場合（ステップＳ５０４、「Ｙｅｓ」）、処理をステップＳ５０５に移行させ、全体制御部１２０に対して、表示ロックを解除するよう指示する。次のステップＳ５０６で、アプリ制御部１１６は、ＳＮＳアプリ５の本体を起動させる。

次のステップＳ５０７以降の処理は、上述した第１の実施形態の第１の変形例による図１２のステップＳ１０４以降の処理と共通である。すなわち、ステップＳ５０７で、アプリ制御部１１６は、動き推測部１１５の出力に基づき当該端末装置１の動きを検出し、当該端末装置１が、ステップＳ５００でメッセージが受信された時点から所定時間が経過するまでの間に移動されたか否かを判定し、移動していないと判定した場合（ステップＳ５０７、「Ｎｏ」）、処理をステップＳ５３５に移行させる。

一方、アプリ制御部１１６は、ステップＳ５０７で端末装置１が所定時間内に移動したと判定した場合（ステップＳ５０７、「Ｙｅｓ」）、処理をステップＳ５０８に移行させ、第１顔検出部１１２による顔検出結果に基づき、物体（顔）との距離を取得する。

次のステップＳ５０９で、アプリ制御部１１６は、ステップＳ５０８で取得された距離に基づき、物体（顔）が所定時間が経過する間に所定距離内に近付いたか否かを判定する。図１１における説明と同様に、実際には、ステップＳ５０８およびステップＳ５０９は、ステップＳ５０９の条件を満たすまで繰り返すループ処理となる。

アプリ制御部１１６は、ステップＳ５０９で、物体（顔）が所定時間を経過する間に所定距離内に近付かなかったと判定した場合（ステップＳ５０９、「Ｎｏ」）、処理をステップＳ５３５に移行させ、以降の音声メッセージ送信に係る処理をキャンセルする。

アプリ制御部１１６は、ステップＳ５０９で、物体（顔）が所定時間を経過する間に所定距離内に近付いたと判定した場合（ステップＳ５０９、「Ｙｅｓ」）、処理をステップＳ５１０に移行させ、ＳＮＳアプリ部１００に対して、音声入力モードをオンとするように指示する。

次のステップＳ５３０で、アプリ制御部１１６は、第１顔検出部１１２に対し、デプス情報に基づく顔検出結果を用いた、顔における口の動きの検出を開始するよう指示する。第１顔検出部１１２は、この指示に応じて、口の動きを、例えば時系列に沿って取得された複数のデプス情報を比較することで検出する。

次のステップＳ５３１で、ＳＮＳアプリ部１００において、通信処理部１０２により、音処理部１０３により処理された音声データを、音声メッセージとして、ステップＳ５００で受信したメッセージの送信元に送信する。

次のステップＳ５３２で、アプリ制御部１１６は、ステップＳ５３０で開始された、第１顔検出部１１２による口の動きの検出結果に基づき、所定時間の間、口の動きが止まったか否かを判定する。ステップＳ５３２で、アプリ制御部１１６は、口の動きが所定時間の間止まっていないと判定した場合（ステップＳ５３２、「Ｎｏ」）、処理をステップＳ５３１に戻す。一方、アプリ制御部１１６は、所定時間の間、口の動きが止まっていると判定した場合（ステップＳ５３２、「Ｙｅｓ」）、処理をステップＳ５３３に移行させる。

なお、図１６では、ステップＳ５３１およびステップＳ５３２の処理が１回の処理で完結しているが、実際には、ステップＳ５３１およびステップＳ５３２の処理は、ステップＳ２０２の条件を満たすまで繰り返すループ処理となる。

ステップＳ５３３以降の処理は、第１の実施形態による図１１のフローチャートにおけるステップＳ１１０以降の処理と共通である。すなわち、ステップＳ５３３で、アプリ制御部１１６は、ＳＮＳアプリ部１００に対して、音声入力モードを終了（オフ）させるよう指示する。ＳＮＳアプリ部１００は、この指示を受けて、音処理部１０３における音声入力処理と、通信処理部１０２における音声メッセージの送信処理とを終了させる。

次のステップＳ５３４で、アプリ制御部１１６は、ステップＳ５３３で音声入力モードを終了させてから所定時間内に次のメッセージを受信したか否かを判定し、受信したと判定した場合（ステップＳ５３３、「Ｙｅｓ」）、処理をステップＳ５０７に戻す。

一方、アプリ制御部１１６は、当該所定時間内に次のメッセージを受信しなかったと判定した場合（ステップＳ５３４、「Ｎｏ」）、処理をステップＳ５３５に移行させる。ステップＳ５３５で、アプリ制御部１１６は、測距部１００４と、光源部１００５とをオフとする。ステップＳ５３５の処理が終了すると、図１６のフローチャートによる一連の処理が終了される。

このように、第２の実施形態の第１の変形例では、上述した第２の実施形態と同様に、表示ロックの状態においてバックグラウンドで動作するＳＮＳアプリ５によりメッセージを受信した場合に、デプス情報を用いた顔認証により表示ロックを解除して、ＳＮＳアプリ５の本体を起動させる。したがって、ユーザは、表示ロック状態においてＳＮＳアプリ５によりメッセージが受信された場合であっても、端末装置１のタッチパネル１０３０をタップするといった操作無しに、例えば片手で端末装置１を保持し顔認証を行うという動作のみで、表示ロックを解除してＳＮＳアプリ５による音声メッセージの送信を行うことが可能である。

また、第２の実施形態の第１の変形例では、音声入力モードをオフとする制御を、デプス情報に基づく口の動きの検出結果に応じて行っている。そのため、音声メッセージの送信を、より高精度に制御できる。

また、第２の実施形態の第１の変形例では、上述した第２の実施形態と同様に、ユーザは、音声入力モードをオンあるいはオフとするために、端末装置１のタッチパネル１０３０をタップするといった操作を行う必要が無く、例えば片手で端末装置１を保持し顔に近付けるという動作のみで、音声メッセージの送信を実行できる。

さらに、第２の実施形態の第１の変形例では、上述した第２の実施形態と同様に、ＳＮＳアプリ部１００による音声入力モードのオン／オフを、赤外光を光源として用いたＴｏＦセンサ１０４１の出力に基づき制御しているため、夜間など周囲が暗い環境でも音声入力モードのオン／オフ制御が可能である。

また、第２の実施形態の第１の変形例では、上述した第２の実施形態と同様に、音声メッセージ送信のための音声入力の際に、顔までの距離を計測しているため、マイクロフォン１２の感度（マイクロフォン１２の出力に対するゲイン）を、顔までの距離に基づき調整することが可能であり、適切な音量による音声メッセージの送信が可能である。

［第２の実施形態の第２の変形例］
次に、第２の実施形態の第２の変形例について説明する。第２の実施形態の第２の変形例は、ＯＳ（全体制御部１２０）による表示ロック中にＳＮＳアプリ５によりメッセージが受信された際に、デプス情報に基づく顔認証を行い当該表示ロックを解除する。それと共に、上述した第１の実施形態の第２の変形例と同様に、ＳＮＳアプリ部１００における音声入力モードの制御を、撮像画像に基づき口の動きを検出することで行うようにした例である。

なお、第２の実施形態の第２の変形例では、上述の第１の実施形態において図６～図１０などを用いて説明した端末装置１の構成をそのまま適用できる。

図１７は、第２の実施形態の第２の変形例に係る端末装置１における音声メッセージ送信処理を示す一例のフローチャートである。なお、図１７において、上述した図１４のフローチャートと共通する処理には同一の符号を付して、適宜、簡略な説明とする。また、図１７フローチャートにおいて、処理の開始時には、スイッチ１０６１ａおよび１０６１ｂ、ならびに、スイッチ１０６２がオフ状態とされているものとする。

図１７のフローチャートによる処理に先立って、端末装置１は、ＯＳ（全体制御部１２０）により、表示部１０の表示がロック状態とされ、ＳＮＳアプリ５は、例えば一部の機能がバックグラウンドで実行される。

ステップＳ５００～ステップＳ５１０の処理は、図１４のフローチャートのステップＳ５００～ステップＳ５１０と共通の処理である。すなわち、ステップＳ５００で、アプリ制御部１１６は、ＳＮＳアプリ部１００において、他の端末装置１からＳＮＳアプリ５を用いて送信されたメッセージが受信されたか否かを判定し、メッセージが受信されていないと判定した場合（ステップＳ５００、「Ｎｏ」）、処理をステップＳ５００に戻す。

一方、アプリ制御部１１６は、メッセージが受信されたと判定した場合（ステップＳ５００、「Ｙｅｓ」）、処理をステップＳ５０１に移行させる。このとき、例えばＳＮＳ１００部におけるＵＩ部１０１は、表示部１０に対して、図１５Ａに例示したような、メッセージが受信されたことを示すバナー画像１６を表示させる。

ステップＳ５０１で、アプリ制御部１１６は、設定において音声入力自動検出モードがオン（ＯＮ）となっているか否かを判定する。判定の結果、音声入力自動検出モードがオンとなっていないと判定した場合（ステップＳ５０１、「Ｎｏ」）、処理をステップＳ５２０に移行させ、ＳＮＳアプリ部１００に対して、メッセージを入力するための動作モードを通常の文字入力モードで維持するように指示し、この図１６のフローチャートによる一連の処理を終了させる。

一方、アプリ制御部１１６は、設定で音声入力自動検出モードがオンとなっていると判定した場合（ステップＳ５０１、「Ｙｅｓ」）、処理をステップＳ５０２に移行させ、測距部１００４と、光源部１００５とをオンとする。

次のステップＳ５０３で、アプリ制御部１１６は、認証部１２４に対して、第１顔検出部１１２により取得されるデプス情報に基づく顔認証を実行するよう指示する。このとき、アプリ制御部１１６は、全体制御部１２０に対して、上述した図１５Ｂに示したような表示ロック解除画面１７を表示するように指示し、顔認証の実行をユーザに促すようにすると好ましい。

次のステップＳ５０４で、アプリ制御部１１６は、認証部１２４による顔に認証が成功したか否かを判定し、認証が失敗したと判定した場合（ステップＳ５０４、「Ｎｏ」）、図１７のフローチャートによる一連の処理を終了させる。一方、アプリ制御部１１６は、認証が成功したと判定した場合（ステップＳ５０４、「Ｙｅｓ」）、処理をステップＳ５０５に移行させ、全体制御部１２０に対して、表示ロックを解除するよう指示する。次のステップＳ５０６で、アプリ制御部１１６は、ＳＮＳアプリ５の本体を起動させる。

次のステップＳ５０７以降の処理は、上述した第１の実施形態の第２の変形例による図１３のステップＳ１０４以降の処理と共通である。すなわち、ステップＳ５０７で、アプリ制御部１１６は、動き推測部１１５の出力に基づき当該端末装置１の動きを検出し、当該端末装置１が、ステップＳ５００でメッセージが受信された時点から所定時間が経過するまでの間に移動されたか否かを判定し、移動していないと判定した場合（ステップＳ５０７、「Ｎｏ」）、処理をステップＳ５４６に移行させる。

一方、アプリ制御部１１６は、ステップＳ５０７で端末装置１が所定時間内に移動したと判定した場合（ステップＳ５０７、「Ｙｅｓ」）、処理をステップＳ５０８に移行させ、第１顔検出部１１２による顔検出結果に基づき、物体（顔）との距離を取得する。

次のステップＳ５０９で、アプリ制御部１１６は、ステップＳ５０８で取得された距離に基づき、物体（顔）が所定時間が経過する間に所定距離内に近付いたか否かを判定する。図１３における説明と同様に、実際には、ステップＳ５０８およびステップＳ５０９は、ステップＳ５０９の条件を満たすまで繰り返すループ処理となる。

アプリ制御部１１６は、ステップＳ５０９で、物体（顔）が所定時間を経過する間に所定距離内に近付かなかったと判定した場合（ステップＳ５０９、「Ｎｏ」）、処理をステップＳ５４６に移行させ、以降の音声メッセージ送信に係る処理をキャンセルする。

アプリ制御部１１６は、ステップＳ５０９で、物体（顔）が所定時間を経過する間に所定距離内に近付いたと判定した場合（ステップＳ５０９、「Ｙｅｓ」）、処理をステップＳ５１０に移行させ、ＳＮＳアプリ部１００に対して、音声入力モードをオンとするように指示する。

次のステップＳ５４０以降の処理は、第１の実施形態の第２の変形例による図１３のフローチャートにおけるステップＳ３００以降の処理と共通である。すなわち、ステップＳ５４０で、アプリ制御部１１６は、撮像部１００３の機能をオンとし、撮像処理部１１３による撮像画像の取得を開始させる。次のステップＳ５４１で、アプリ制御部１１６は、第２顔検出部１１４に対し、撮像画像に基づく顔検出結果を用いた、顔における口の動きの検出を開始するよう指示する。

次のステップＳ５４２で、ＳＮＳアプリ部１００において、通信処理部１０２により、音処理部１０３により処理された音声データを、音声メッセージとして、ステップＳ１０２で受信したメッセージの送信元に送信する。

次のステップＳ５４３で、アプリ制御部１１６は、ステップＳ５４１で開始された、第２顔検出部１１４による口の動きの検出結果に基づき、所定時間の間、口の動きが止まったか否かを判定する。ステップＳ５４３で、アプリ制御部１１６は、口の動きが所定時間の間止まっていないと判定した場合（ステップＳ５４３、「Ｎｏ」）、処理をステップＳ５４２に戻す。一方、アプリ制御部１１６は、所定時間の間、口の動きが止まっていると判定した場合（ステップＳ５４３、「Ｙｅｓ」）、処理をステップＳ５４４に移行させる。

なお、上述した図１３の説明と同様に、実際には、ステップＳ５４２およびステップＳ５４３の処理は、ステップＳ５４３の条件を満たすまで繰り返すループ処理となる。

ステップＳ５４４で、アプリ制御部１１６は、ＳＮＳアプリ部１００に対して、音声入力モードを終了（オフ）させるよう指示する。ＳＮＳアプリ部１００は、この指示を受けて、音処理部１０３における音声入力処理と、通信処理部１０２における音声メッセージの送信処理とを終了させる。

次のステップＳ５４４で、アプリ制御部１１６は、ステップＳ５４４で音声入力モードを終了させてから所定時間内に次のメッセージを受信したか否かを判定し、受信したと判定した場合（ステップＳ５４４、「Ｙｅｓ」）、処理をステップＳ５０７に戻す。

一方、アプリ制御部１１６は、当該所定時間内に次のメッセージを受信しなかったと判定した場合（ステップＳ５４５、「Ｎｏ」）、処理をステップＳ５４６に移行させる。ステップＳ５４６で、アプリ制御部１１６は、撮像部１００３、測距部１００４および光源部１００５をオフとする。ステップＳ５４６の処理が終了すると、図１７のフローチャートによる一連の処理が終了される。

このように、第２の実施形態の第２の変形例では、上述した第２の実施形態と同様に、表示ロックの状態においてバックグラウンドで動作するＳＮＳアプリ５によりメッセージを受信した場合に、デプス情報を用いた顔認証により表示ロックを解除して、ＳＮＳアプリ５の本体を起動させる。したがって、ユーザは、表示ロック状態においてＳＮＳアプリ５によりメッセージが受信された場合であっても、端末装置１のタッチパネル１０３０をタップするといった操作無しに、例えば片手で端末装置１を保持し顔認証を行うという動作のみで、表示ロックを解除してＳＮＳアプリ５による音声メッセージの送信を行うことが可能である。

また、第２の実施形態の第２の変形例では、音声入力モードをオフとする制御を、撮像画像に基づく口の動きの検出結果に応じて行っている。ここで、ここで、ＴｏＦセンサ１０４１が点群情報に基づくデプス情報を取得するものであるのに対し、撮像部１００３が有するイメージセンサは、例えばＲＧＢ各色を用いたフルカーラ画像による撮像画像を出力できる。したがって、口の動きをより高精度に検出することが可能になる。これにより、第２の実施形態の第２の変形例では、音声メッセージの送信を、第２の実施形態の第１の変形例と比べてより高精度に制御できる。

さらに、第２の実施形態の第２の変形例では、上述した第２の実施形態と同様に、ユーザは、音声入力モードをオンあるいはオフとするために、端末装置１のタッチパネル１０３０をタップするといった操作を行う必要が無く、例えば片手で端末装置１を保持し顔に近付けるという動作のみで、音声メッセージの送信を実行できる。

［第３の実施形態］
次に、第３の実施形態について説明する。第３の実施形態は、他の端末装置１ａからのＳＮＳアプリ５によるメッセージ受信の通知を、ＯＳ（全体制御部１２０）による表示ロック中にプッシュ通知により受け取る場合の例である。図１８は、第３の実施形態に適用可能な、プッシュ通知を実施する場合の情報処理システムの例を概略的に示す図である。図１８において、複数の端末装置１ａがインターネットなどのネットワーク２を介してＳＮＳシステム３ａに接続される。ネットワーク２に対して、さらに、既知のプッシュ通知サービスを提供するプッシュ通知サーバ６が接続される。

（第３の実施形態に適用可能な構成）
端末装置１ａは、ハードウェア構成は、図６および図７を用いて説明した構成をそのまま適用できる。端末装置１ａは、ＳＮＳシステム３ａにより提供されるＳＮＳを利用するためのＳＮＳアプリ５と、第３の実施形態に係るドライバプログラム５００とが搭載される。ドライバプログラム５００は、ＳＮＳアプリ５と連携して動作し、端末装置１ａにおいてＯＳ(Operating System)と測距部１００４とを仲介して、測距部１００４を制御する。

ＳＮＳシステム３ａは、ＳＮＳサーバ３００と、ストレージ３０１と、通知サーバ３１０と、メッセージサーバ３１１と、を含む。ＳＮＳサーバ３００は、上述したサーバ３と同等の機能を有し、例えば、各端末装置１ａ間でネットワーク２を介して、音声メッセージを含むメッセージの送受信が可能なサービスを提供する。ストレージ３０１は、図１のストレージ４に対応する。

通知サーバ３１０およびメッセージサーバ３１１は、プッシュ通知を行うための構成である。各端末装置１ａからＳＮＳアプリ５によりＳＮＳシステム３ａに対して送信されたメッセージは、メッセージサーバ３１１に受信される。通知サーバ３１０は、メッセージサーバ３１１にメッセージが受信されると、プッシュ通知サーバ６に対して、当該メッセージのプッシュ通知を依頼する。

既知のプッシュ通知について、図１８の構成を例にとって概略的に説明する。プッシュ通知は、プッシュ通知サーバ６から、プッシュ通知に対応するアプリケーションプログラムが搭載された機器（端末装置１ａ）に対して行われる。第３の実施形態では、ＳＮＳアプリ５がプッシュ通知に対応するアプリケーションプログラムであるものとする。ＳＮＳアプリ５は、ユーザ操作により、当該端末装置１ａに搭載されるＳＮＳアプリ５に対するプッシュ通知が許可されると、端末装置１ａや当該ＳＮＳアプリ５の起動時など所定のタイミングで、プッシュ通知サーバ６にＳＮＳアプリ５自身を識別する識別情報を送信し、通知ＩＤを要求する。

プッシュ通知サーバ６は、要求に応じて、端末装置１ａに固有の通知ＩＤを発行し、発行した通知ＩＤを記憶すると共に、通知ＩＤを、ＳＮＳアプリの識別情報と共に通知ＩＤの要求元の機器に送信する。通知ＩＤは、プッシュ通知を許可するＳＮＳアプリ５および当該ＳＮＳアプリ５が搭載される端末装置１ａをプッシュ通知サーバ６が識別するための識別情報である。通知ＩＤは、機器のＯＳ(Operating System)が米国Ａｐｐｌｅ社により提供されるｉＯＳ（登録商標）である場合は、デバイストークンである。

ＳＮＳアプリ５は、取得した通知ＩＤを当該端末装置１ａの記憶部（例えばＲＡＭ１００２）に記憶する。また、ＳＮＳアプリ５は、当該通知ＩＤを、ＳＮＳアプリ５の提供元、あるいは、ＳＮＳアプリ５にプッシュ通知するためのメッセージを提供するプロバイダであるＳＮＳシステム３ａに送信する。ＳＮＳシステム３ａは、送信された通知ＩＤを通知サーバ３１０に記憶する。

ＳＮＳシステム３ａにおいて通知サーバ３１０は、例えば特定の機器に対してプッシュ通知を行いたい場合、当該機器に対応する通知ＩＤをプッシュ通知サーバ６に送信すると共に、プッシュ通知したいメッセージをメッセージサーバ３１１から受け取ってプッシュ通知サーバ６に送信し、プッシュ通知をプッシュ通知サーバ６に依頼する。プッシュ通知サーバ６は、依頼に応じて、通知ＩＤにて識別される端末装置１ａに対して、通知ＩＤとメッセージとを送信する。

端末装置１ａは、これら通知ＩＤおよびメッセージを受信すると、ＳＮＳアプリ５が起動中であれば、端末装置１ａのＯＳにより通知ＩＤに対応するＳＮＳアプリ５が検出され、検出されたＳＮＳアプリ５により、所定の方法でメッセージの表示が行われる。また、端末装置１ａは、ＯＳにより表示部１０の表示がロック状態とされており、ＳＮＳアプリ５が起動していない状態であれば、ロック中の表示部１０に、メッセージの受信を示すバナー画像１６（図１５Ａ参照）を、例えばＯＳにより表示させる。

図１９は、第３の実施形態に係る端末装置１ａの機能を説明するための一例の機能ブロック図である。端末装置１ａにおいて、検出・制御部１１０’は、図１０を用いて説明した検出・制御部１１０に対して、起動制御部１１７が追加されている。起動制御部１１７は、図１８を用いて説明したドライバプログラム５００に対応するもので、全体制御部１２０と測距部１００４とを仲介して測距部１００４の動作を制御する。起動制御部１１７は、ネットワーク２を介してダウンロードされる、あるいは、ＣＤ、ＦＤ、ＤＶＤといったコンピュータに読み取り可能な記録媒体に記録されるドライバインストールプログラムを端末装置１ａにインストールすることで、端末装置１ａ上に形成される。

なお、第３の実施形態では、端末装置１ａのハードウェア構成は、上述の第１の実施形態において図６、図７などを用いて説明した端末装置１の構成をそのまま適用できる。

（第３の実施形態の処理の詳細）
図２０は、第３の実施形態に係る端末装置１ａにおける音声メッセージ送信処理を示す一例のフローチャートである。

なお、図２０のフローチャートにおいて、処理の開始時には、スイッチ１０６１ａおよび１０６１ｂ、ならびに、スイッチ１０６２がオフ状態とされているものとする。また、この図２０のフローチャートによる処理に先立って、端末装置１ａにおいて、ＯＳ（全体制御部１２０）により、表示部１０の表示がロック状態とされているものとする。このとき、ＳＮＳアプリ５は、バックグラウンドにおいても実行されていないものとする。

ステップＳ６００で、起動制御部１１７は、全体制御部１２０に対して、プッシュ通知によるメッセージ受信の通知の有無を問い合わせる。起動制御部１１７は、この問い合わせの結果、通知が無いと判定した場合（ステップＳ６００、「Ｎｏ」）、起動制御部１１７は、処理をステップＳ６００に戻す。一方、起動制御部１１７は、問い合わせの結果、メッセージ受信の通知があったと判定した場合（ステップＳ６００、「Ｙｅｓ」）、処理をステップＳ６０１に移行させる。このとき、例えば全体制御部１２０は、表示部１０に対して、メッセージが受信されたことを示すバナー画像１６を表示させる（図１５Ａ参照）。

ステップＳ６０１で、起動制御部１１７は、全体制御部１２０に対して、設定において音声入力自動検出モードがオン（ＯＮ）となっているか否かを問い合わせる。起動制御部１１７は、この問い合わせの結果、設定で音声入力自動検出モードがオンとなっていないと判定した場合（ステップＳ６０１、「Ｎｏ」）、この図２０のフローチャートにおける一連の処理を終了させる。

この場合、全体制御部１２０の通常の制御に従い、例えば表示部１０に表示されるバナー画像１６の位置をタップすることで、全体制御部１２０により表示ロック解除画面が表示部１０に表示される。全体制御部１２０は、所定の表示ロック解除操作に応じてＳＮＳアプリ５を起動する。これにより、ＳＮＳアプリ５によるメッセージ送受信が可能になる。

一方、起動制御部１１７は、問い合わせの結果、設定で音声入力自動検出モードがオンとなっていると判定した場合（ステップＳ６０１、「Ｙｅｓ」）、処理をステップＳ６０２に移行させる。ステップＳ６０２で、起動制御部１１７は、測距部１００４と、光源部１００５とをオンとする。

次のステップＳ６０３で、起動制御部１１７は、全体制御部１２０に対して、認証部１２４による、第１顔検出部１１２により取得されるデプス情報に基づく顔認証を実行するよう依頼する。全体制御部１２０は、この依頼に応じて、デプス情報に基づく顔認証を実行する。このとき、全体制御部１２０は、上述した図１５Ｂに例示したような表示ロック解除画面１７を表示部１０に表示させて顔認証の実行をユーザに促すことができる。

次のステップＳ６０４で、起動制御部１１７は、全体制御部１２０に対して、認証部１２４による顔に認証が成功したか否かを問い合わせる。起動制御部１１７は、問い合わせの結果、認証が失敗したと判定した場合（ステップＳ６０４、「Ｎｏ」）、図２０のフローチャートによる一連の処理を終了させる。一方、起動制御部１１７は、問い合わせの結果、認証が成功したと判定した場合（ステップＳ６０４、「Ｙｅｓ」）、処理をステップＳ６０５に移行させる。

ステップＳ６０５で、起動制御部１１７は、全体制御部１２０に対して、表示ロックを解除するよう依頼する。全体制御部１２０は、この依頼に応じて、表示ロックを解除する。次のステップＳ６０６で、起動制御部１１７は、ＳＮＳアプリ５の本体を起動させる。ＳＮＳアプリ５の本体の起動は、全体制御部１２０が行うこともできる。

次のステップＳ６０７以降の処理は、上述した第１の実施形態による図１１のステップＳ１０４以降の処理と共通である。すなわち、ステップＳ６０７で、アプリ制御部１１６は、動き推測部１１５の出力に基づき当該端末装置１ａの動きを検出し、当該端末装置１ａが、例えばステップＳ６００でメッセージが受信された時点から所定時間が経過するまでの間に移動されたか否かを判定し、移動していないと判定した場合（ステップＳ６０７、「Ｎｏ」）、処理をステップＳ６１５に移行させる。

一方、アプリ制御部１１６は、ステップＳ６０７で端末装置１ａが所定時間内に移動したと判定した場合（ステップＳ６０７、「Ｙｅｓ」）、処理をステップＳ６０８に移行させ、第１顔検出部１１２による顔検出結果に基づき、物体（顔）との距離を取得する。

次のステップＳ６０９で、アプリ制御部１１６は、ステップＳ６０８で取得された距離に基づき、物体（顔）が所定時間が経過する間に所定距離内に近付いたか否かを判定する。なお、図２０では、ステップＳ６０８およびステップＳ６０９の処理が１回の処理で完結しているが、実際には、ステップＳ６０８およびステップＳ６０９は、ステップＳ６０９の条件を満たすまで繰り返すループ処理となる。

アプリ制御部１１６は、ステップＳ６０９で、物体（顔）が所定時間を経過する間に所定距離内に近付かなかったと判定した場合（ステップＳ６０９、「Ｎｏ」）、処理をステップＳ６１５に移行させ、以降の音声メッセージ送信に係る処理をキャンセルする。

アプリ制御部１１６は、ステップＳ６０９で、物体（顔）が所定時間を経過する間に所定距離内に近付いたと判定した場合（ステップＳ６０９、「Ｙｅｓ」）、処理をステップＳ６１０に移行させ、ＳＮＳアプリ部１００に対して、音声入力モードをオンとするように指示する。次のステップＳ６１１で、ＳＮＳアプリ部１００において、通信処理部１０２により、音処理部１０３により処理された音声データを、音声メッセージとして、ステップＳ６００で受信したメッセージの送信元に送信する。

次のステップＳ６１２で、アプリ制御部１１６は、第１顔検出部１１２による顔検出結果に基づき、物体（顔）が端末装置１ａに対して所定距離から離れたか否かを判定する。アプリ制御部１１６は、物体（顔）が所定距離から離れていないと判定した場合（ステップＳ６１２、「Ｎｏ」）、処理をステップＳ６１１に戻す。一方、アプリ制御部１１６は、ステップＳ６１２で、物体（顔）が所定距離から離れたと判定した場合（ステップＳ６１２、「Ｙｅｓ」）、処理をステップＳ６１３に移行させる。

なお、図２０では、ステップＳ６１１およびステップＳ６１２の処理が１回の処理で完結しているが、実際には、ステップＳ６１１およびステップＳ６１２の処理は、ステップＳ６１２の条件を満たすまで繰り返すループ処理となる。

ステップＳ６１３で、アプリ制御部１１６は、ＳＮＳアプリ部１００に対して、音声入力モードを終了（オフ）させるよう指示する。ＳＮＳアプリ部１００は、この指示を受けて、音処理部１０３における音声入力処理と、通信処理部１０２における音声メッセージの送信処理とを終了させる。

次のステップＳ６１４で、アプリ制御部１１６は、ステップＳ６１３で音声入力モードを終了させてから所定時間内に次のメッセージを受信したか否かを判定し、受信したと判定した場合（ステップＳ６１３、「Ｙｅｓ」）、処理をステップＳ６０７に戻す。

一方、アプリ制御部１１６は、当該所定時間内に次のメッセージを受信しなかったと判定した場合（ステップＳ６１４、「Ｎｏ」）、処理をステップＳ６１５に移行させる。ステップＳ６１５で、起動制御部１１７は、測距部１００４と、光源部１００５とをオフとする。ステップＳ６１５の処理が終了すると、図２０のフローチャートによる一連の処理が終了される。

このように、第３の実施形態では、プッシュ通知に応じて測距部１００４および光源部１００５がオンとされ、デプス情報に基づく顔認証が行われる。したがって、ユーザは、表示ロック状態において他の端末装置１ａからＳＮＳアプリ５を用いて送信されたメッセージが受信された場合であっても、端末装置１ａのタッチパネル１０３０をタップするといった操作無しに、例えば片手で端末装置１ａを保持し顔認証を行うという動作のみで、表示ロックを解除してＳＮＳアプリ５による音声メッセージの送信を行うことが可能である。

また、第３の実施形態では、上述した第１の実施形態と同様に、ＳＮＳアプリ部１００による音声入力モードをオンおよびオフとする処理を、端末装置１ａと顔との距離に基づき制御している。そのため、ユーザは、音声入力モードをオンあるいはオフとするために、端末装置１ａのタッチパネル１０３０をタップするといった操作を行う必要が無く、例えば片手で端末装置１ａを保持し顔に近付けるという動作のみで、音声メッセージの送信を実行できる。

さらにまた、第３の実施形態では、音声メッセージ送信のための音声入力の際に、顔までの距離を計測している。そのため、マイクロフォン１２の感度（マイクロフォン１２の出力に対するゲイン）を、顔までの距離に基づき調整することが可能であり、適切な音量による音声メッセージの送信が可能である。

［第３の実施形態の第１の変形例］
次に、第３の実施形態の第１の変形例について説明する。第３の実施形態の第１の変形例は、他の端末装置１ａからのＳＮＳアプリ５によるメッセージ受信の通知を、ＯＳ（全体制御部１２０）による表示ロック中にプッシュ通知により受け取る場合の例である。それと共に、上述した第１の実施形態の第１の変形例と同様に、ＳＮＳアプリ部１００における音声入力モードの制御を、デプス情報に基づき口の動きを検出することで行うようにした例である。

なお、第３の実施形態の第１の変形例において、端末装置１ａは、ハードウェア構成は、図６および図７を用いて説明した構成をそのまま適用できる。

図２１は、第３の実施形態の第１の変形例に係る端末装置１ａにおける音声メッセージ送信処理を示す一例のフローチャートである。

なお、図２１において、上述した図２０のフローチャートと共通する処理には同一の符号を付して、適宜、簡略な説明とする。また、図２１フローチャートにおいて、処理の開始時には、スイッチ１０６１ａおよび１０６１ｂ、ならびに、スイッチ１０６２がオフ状態とされているものとする。また、上述した図２０のフローチャートと同様に、この図２１のフローチャートによる処理に先立って、端末装置１ａにおいて、ＯＳ（全体制御部１２０）により、表示部１０の表示がロック状態とされているものとする。このとき、ＳＮＳアプリ５は、バックグラウンドにおいても実行されていないものとする。

図２１において、ステップＳ６００～ステップＳ６０６の処理は、上述した図２０のフローチャートにおけるステップＳ６００～ステップＳ６０６の処理と同様である。すなわち、ステップＳ６００で、起動制御部１１７は、全体制御部１２０に対して、プッシュ通知によるメッセージ受信の通知の有無の問い合わせを行い、その結果、通知が無いと判定した場合（ステップＳ６００、「Ｎｏ」）、処理をステップＳ６００に戻す。一方、起動制御部１１７は、問い合わせの結果、メッセージ受信の通知があったと判定した場合（ステップＳ６００、「Ｙｅｓ」）、処理をステップＳ６０１に移行させる。このとき、例えば全体制御部１２０は、表示部１０に対して、メッセージが受信されたことを示すバナー画像１６を表示させる（図１５Ａ参照）。

ステップＳ６０１で、起動制御部１１７は、全体制御部１２０に対して、設定において音声入力自動検出モードがオン（ＯＮ）となっているか否かの問い合わせを行い、その結果、設定で音声入力自動検出モードがオンとなっていないと判定した場合（ステップＳ６０１、「Ｎｏ」）、この図２０のフローチャートにおける一連の処理を終了させる。

この場合、全体制御部１２０の通常の制御に従い、例えば表示部１０に表示されるバナー画像１６の位置をタップすることで、全体制御部１２０により表示ロック解除画面が表示部１０に表示される。全体制御部１２０は、所定の表示ロック解除操作に応じてＳＮＳアプリ５を起動する。これにより、ＳＮＳアプリ５によるメッセージ送受信が可能になる。

一方、起動制御部１１７は、問い合わせの結果、設定で音声入力自動検出モードがオンとなっていると判定した場合（ステップＳ６０１、「Ｙｅｓ」）、処理をステップＳ６０２に移行させる。ステップＳ６０２で、起動制御部１１７は、測距部１００４と、光源部１００５とをオンとする。

次のステップＳ６０３で、起動制御部１１７は、全体制御部１２０に対して、認証部１２４による、第１顔検出部１１２により取得されるデプス情報に基づく顔認証を実行するよう依頼する。全体制御部１２０は、この依頼に応じて、デプス情報に基づく顔認証を実行する。

次のステップＳ６０４で、起動制御部１１７は、全体制御部１２０に対して、認証部１２４による顔に認証が成功したか否かを問い合わせる。起動制御部１１７は、問い合わせの結果、認証が失敗したと判定した場合（ステップＳ６０４、「Ｎｏ」）、図２０のフローチャートによる一連の処理を終了させる。一方、起動制御部１１７は、問い合わせの結果、認証が成功したと判定した場合（ステップＳ６０４、「Ｙｅｓ」）、処理をステップＳ６０５に移行させる。

ステップＳ６０５で、起動制御部１１７は、全体制御部１２０に対して、表示ロックを解除するよう依頼する。全体制御部１２０は、この依頼に応じて、表示ロックを解除する。次のステップＳ６０６で、起動制御部１１７は、ＳＮＳアプリ５の本体を起動させる。ＳＮＳアプリ５の本体の起動は、全体制御部１２０が行うこともできる。

次のステップＳ６０７以降の処理は、上述した第１の実施形態の第１の変形例による図１２のステップＳ１０４以降の処理と共通である。すなわち、ステップＳ６０７で、アプリ制御部１１６は、動き推測部１１５の出力に基づき当該端末装置１の動きを検出し、当該端末装置１が、ステップＳ６００でメッセージが受信された時点から所定時間が経過するまでの間に移動されたか否かを判定し、移動していないと判定した場合（ステップＳ６０７、「Ｎｏ」）、処理をステップＳ６２５に移行させる。

一方、アプリ制御部１１６は、ステップＳ６０７で端末装置１が所定時間内に移動したと判定した場合（ステップＳ６０７、「Ｙｅｓ」）、処理をステップＳ６０８に移行させ、第１顔検出部１１２による顔検出結果に基づき、物体（顔）との距離を取得する。

次のステップＳ６０９で、アプリ制御部１１６は、ステップＳ６０８で取得された距離に基づき、物体（顔）が所定時間が経過する間に所定距離内に近付いたか否かを判定する。図１１における説明と同様に、実際には、ステップＳ６０８およびステップＳ６０９は、ステップＳ６０９の条件を満たすまで繰り返すループ処理となる。

アプリ制御部１１６は、ステップＳ６０９で、物体（顔）が所定時間を経過する間に所定距離内に近付かなかったと判定した場合（ステップＳ６０９、「Ｎｏ」）、処理をステップＳ６２５に移行させ、以降の音声メッセージ送信に係る処理をキャンセルする。

アプリ制御部１１６は、ステップＳ６０９で、物体（顔）が所定時間を経過する間に所定距離内に近付いたと判定した場合（ステップＳ６０９、「Ｙｅｓ」）、処理をステップＳ６１０に移行させ、ＳＮＳアプリ部１００に対して、音声入力モードをオンとするように指示する。

次のステップＳ６２０で、アプリ制御部１１６は、第１顔検出部１１２に対し、デプス情報に基づく顔検出結果を用いた、顔における口の動きの検出を開始するよう指示する。第１顔検出部１１２は、この指示に応じて、口の動きを、例えば時系列に沿って取得された複数のデプス情報を比較することで検出する。

次のステップＳ６２１で、ＳＮＳアプリ部１００において、通信処理部１０２により、音処理部１０３により処理された音声データを、音声メッセージとして、ステップＳ６００で受信したメッセージの送信元に送信する。

次のステップＳ６２２で、アプリ制御部１１６は、ステップＳ６２０で開始された、第１顔検出部１１２による口の動きの検出結果に基づき、所定時間の間、口の動きが止まったか否かを判定する。ステップＳ６２２で、アプリ制御部１１６は、口の動きが所定時間の間止まっていないと判定した場合（ステップＳ６２２、「Ｎｏ」）、処理をステップＳ６２１に戻す。一方、アプリ制御部１１６は、所定時間の間、口の動きが止まっていると判定した場合（ステップＳ６２２、「Ｙｅｓ」）、処理をステップＳ６２３に移行させる。

なお、図２１では、ステップＳ６２１およびステップＳ６２２の処理が１回の処理で完結しているが、実際には、ステップＳ６２１およびステップＳ６２２の処理は、ステップＳ２０２の条件を満たすまで繰り返すループ処理となる。

ステップＳ６２３以降の処理は、第１の実施形態による図１１のフローチャートにおけるステップＳ１１０以降の処理と共通である。すなわち、ステップＳ６２３で、アプリ制御部１１６は、ＳＮＳアプリ部１００に対して、音声入力モードを終了（オフ）させるよう指示する。ＳＮＳアプリ部１００は、この指示を受けて、音処理部１０３における音声入力処理と、通信処理部１０２における音声メッセージの送信処理とを終了させる。

次のステップＳ６２４で、アプリ制御部１１６は、ステップＳ６２３で音声入力モードを終了させてから所定時間内に次のメッセージを受信したか否かを判定し、受信したと判定した場合（ステップＳ６２３、「Ｙｅｓ」）、処理をステップＳ６０７に戻す。

一方、アプリ制御部１１６は、当該所定時間内に次のメッセージを受信しなかったと判定した場合（ステップＳ６２４、「Ｎｏ」）、処理をステップＳ６２５に移行させる。ステップＳ６２５で、起動制御部１１７は、測距部１００４と、光源部１００５とをオフとする。ステップＳ６２５の処理が終了すると、図２１のフローチャートによる一連の処理が終了される。

このように、第３の実施形態の第１の変形例では、プッシュ通知に応じて測距部１００４および光源部１００５がオンとされ、デプス情報に基づく顔認証が行われる。したがって、ユーザは、表示ロック状態において他の端末装置１ａからＳＮＳアプリ５を用いて送信されたメッセージが受信された場合であっても、端末装置１ａのタッチパネル１０３０をタップするといった操作無しに、例えば片手で端末装置１ａを保持し顔認証を行うという動作のみで、表示ロックを解除してＳＮＳアプリ５による音声メッセージの送信を行うことが可能である。

また、第３の実施形態の第１の変形例では、音声入力モードをオフとする制御を、デプス情報に基づく口の動きの検出結果に応じて行っている。そのため、音声メッセージの送信を、より高精度に制御できる。

また、第３の実施形態の第１の変形例では、上述した第２の実施形態と同様に、ユーザは、音声入力モードをオンあるいはオフとするために、端末装置１のタッチパネル１０３０をタップするといった操作を行う必要が無く、例えば片手で端末装置１を保持し顔に近付けるという動作のみで、音声メッセージの送信を実行できる。

さらに、第３の実施形態の第１の変形例では、上述した第２の実施形態と同様に、ＳＮＳアプリ部１００による音声入力モードのオン／オフを、赤外光を光源として用いたＴｏＦセンサ１０４１の出力に基づき制御しているため、夜間など周囲が暗い環境でも音声入力モードのオン／オフ制御が可能である。

また、第３の実施形態の第１の変形例では、上述した第２の実施形態と同様に、音声メッセージ送信のための音声入力の際に、顔までの距離を計測しているため、マイクロフォン１２の感度（マイクロフォン１２の出力に対するゲイン）を、顔までの距離に基づき調整することが可能であり、適切な音量による音声メッセージの送信が可能である。

［第３の実施形態の第２の変形例］
次に、第３の実施形態の第２の変形例について説明する。第３の実施形態の第２の変形例は、他の端末装置１ａからのＳＮＳアプリ５によるメッセージ受信の通知を、ＯＳ（全体制御部１２０）による表示ロック中にプッシュ通知により受け取る場合の例である。それと共に、上述した第１の実施形態の第２の変形例と同様に、ＳＮＳアプリ部１００における音声入力モードの制御を、撮像画像に基づき口の動きを検出することで行うようにした例である。

なお、第３の実施形態の第２の変形例において、端末装置１ａは、ハードウェア構成は、図６および図７を用いて説明した構成をそのまま適用できる。

図２２は、第３の実施形態の第２の変形例に係る端末装置１ａにおける音声メッセージ送信処理を示す一例のフローチャートである。

なお、図２２において、上述した図２０のフローチャートと共通する処理には同一の符号を付して、適宜、簡略な説明とする。また、図２２フローチャートにおいて、処理の開始時には、スイッチ１０６１ａおよび１０６１ｂ、ならびに、スイッチ１０６２がオフ状態とされているものとする。また、上述した図２０のフローチャートと同様に、この図２１のフローチャートによる処理に先立って、端末装置１ａにおいて、ＯＳ（全体制御部１２０）により、表示部１０の表示がロック状態とされているものとする。このとき、ＳＮＳアプリ５は、バックグラウンドにおいても実行されていないものとする。

図２１において、ステップＳ６００～ステップＳ６０６の処理は、上述した図２０のフローチャートにおけるステップＳ６００～ステップＳ６０６の処理と同様である。すなわち、ステップＳ６００で、起動制御部１１７は、全体制御部１２０に対して、プッシュ通知によるメッセージ受信の通知の有無の問い合わせを行い、その結果、通知が無いと判定した場合（ステップＳ６００、「Ｎｏ」）、処理をステップＳ６００に戻す。一方、起動制御部１１７は、問い合わせの結果、メッセージ受信の通知があったと判定した場合（ステップＳ６００、「Ｙｅｓ」）、処理をステップＳ６０１に移行させる。このとき、例えば全体制御部１２０は、表示部１０に対して、メッセージが受信されたことを示すバナー画像１６を表示させる（図１５Ａ参照）。

ステップＳ６０１で、起動制御部１１７は、全体制御部１２０に対して、設定において音声入力自動検出モードがオン（ＯＮ）となっているか否かの問い合わせを行い、その結果、設定で音声入力自動検出モードがオンとなっていないと判定した場合（ステップＳ６０１、「Ｎｏ」）、この図２２のフローチャートにおける一連の処理を終了させる。

この場合、全体制御部１２０の通常の制御に従い、例えば表示部１０に表示されるバナー画像１６の位置をタップすることで、全体制御部１２０により表示ロック解除画面が表示部１０に表示される。全体制御部１２０は、所定の表示ロック解除操作に応じてＳＮＳアプリ５を起動する。これにより、ＳＮＳアプリ５によるメッセージ送受信が可能になる。

一方、起動制御部１１７は、問い合わせの結果、設定で音声入力自動検出モードがオンとなっていると判定した場合（ステップＳ６０１、「Ｙｅｓ」）、処理をステップＳ６０２に移行させる。ステップＳ６０２で、起動制御部１１７は、測距部１００４と、光源部１００５とをオンとする。

次のステップＳ６０３で、起動制御部１１７は、全体制御部１２０に対して、認証部１２４による、第１顔検出部１１２により取得されるデプス情報に基づく顔認証を実行するよう依頼する。全体制御部１２０は、この依頼に応じて、デプス情報に基づく顔認証を実行する。

次のステップＳ６０４で、起動制御部１１７は、全体制御部１２０に対して、認証部１２４による顔に認証が成功したか否かを問い合わせる。起動制御部１１７は、問い合わせの結果、認証が失敗したと判定した場合（ステップＳ６０４、「Ｎｏ」）、図２２のフローチャートによる一連の処理を終了させる。一方、起動制御部１１７は、問い合わせの結果、認証が成功したと判定した場合（ステップＳ６０４、「Ｙｅｓ」）、処理をステップＳ６０５に移行させる。

ステップＳ６０５で、起動制御部１１７は、全体制御部１２０に対して、表示ロックを解除するよう依頼する。全体制御部１２０は、この依頼に応じて、表示ロックを解除する。次のステップＳ６０６で、起動制御部１１７は、ＳＮＳアプリ５の本体を起動させる。ＳＮＳアプリ５の本体の起動は、全体制御部１２０が行うこともできる。

次のステップＳ６０７以降の処理は、上述した第１の実施形態の第２の変形例による図１３のステップＳ１０４以降の処理と共通である。すなわち、ステップＳ６０７で、アプリ制御部１１６は、動き推測部１１５の出力に基づき当該端末装置１ａの動きを検出し、当該端末装置１ａが、ステップＳ６００でメッセージが受信された時点から所定時間が経過するまでの間に移動されたか否かを判定し、移動していないと判定した場合（ステップＳ６０７、「Ｎｏ」）、処理をステップＳ６３６に移行させる。

一方、アプリ制御部１１６は、ステップＳ６０７で端末装置１ａが所定時間内に移動したと判定した場合（ステップＳ６０７、「Ｙｅｓ」）、処理をステップＳ６０８に移行させ、第１顔検出部１１２による顔検出結果に基づき、物体（顔）との距離を取得する。

次のステップＳ６０９で、アプリ制御部１１６は、ステップＳ６０８で取得された距離に基づき、物体（顔）が所定時間が経過する間に所定距離内に近付いたか否かを判定する。図１３における説明と同様に、実際には、ステップＳ６０８およびステップＳ６０９は、ステップＳ６０９の条件を満たすまで繰り返すループ処理となる。

アプリ制御部１１６は、ステップＳ６０９で、物体（顔）が所定時間を経過する間に所定距離内に近付かなかったと判定した場合（ステップＳ６０９、「Ｎｏ」）、処理をステップＳ６３６に移行させ、以降の音声メッセージ送信に係る処理をキャンセルする。

アプリ制御部１１６は、ステップＳ６０９で、物体（顔）が所定時間を経過する間に所定距離内に近付いたと判定した場合（ステップＳ６０９、「Ｙｅｓ」）、処理をステップＳ６１０に移行させ、ＳＮＳアプリ部１００に対して、音声入力モードをオンとするように指示する。

次のステップＳ６３０以降の処理は、第１の実施形態の第２の変形例による図１３のフローチャートにおけるステップＳ３００以降の処理と共通である。すなわち、ステップＳ６３０で、アプリ制御部１１６は、撮像部１００３の機能をオンとし、撮像処理部１１３による撮像画像の取得を開始させる。次のステップＳ６３１で、アプリ制御部１１６は、第２顔検出部１１４に対し、撮像画像に基づく顔検出結果を用いた、顔における口の動きの検出を開始するよう指示する。

次のステップＳ６３２で、ＳＮＳアプリ部１００において、通信処理部１０２により、音処理部１０３により処理された音声データを、音声メッセージとして、ステップＳ６００で受信したメッセージの送信元に送信する。

次のステップＳ６３３で、アプリ制御部１１６は、ステップＳ６３１で開始された、第２顔検出部１１４による口の動きの検出結果に基づき、所定時間の間、口の動きが止まったか否かを判定する。ステップＳ６３３で、アプリ制御部１１６は、口の動きが所定時間の間止まっていないと判定した場合（ステップＳ６３３、「Ｎｏ」）、処理をステップＳ６３２に戻す。一方、アプリ制御部１１６は、所定時間の間、口の動きが止まっていると判定した場合（ステップＳ６３３、「Ｙｅｓ」）、処理をステップＳ６３４に移行させる。

なお、上述した図１３の説明と同様に、実際には、ステップＳ６３２およびステップＳ６３３の処理は、ステップＳ６３３の条件を満たすまで繰り返すループ処理となる。

ステップＳ６３４で、アプリ制御部１１６は、ＳＮＳアプリ部１００に対して、音声入力モードを終了（オフ）させるよう指示する。ＳＮＳアプリ部１００は、この指示を受けて、音処理部１０３における音声入力処理と、通信処理部１０２における音声メッセージの送信処理とを終了させる。

次のステップＳ６３４で、アプリ制御部１１６は、ステップＳ６３４で音声入力モードを終了させてから所定時間内に次のメッセージを受信したか否かを判定し、受信したと判定した場合（ステップＳ６３４、「Ｙｅｓ」）、処理をステップＳ６０７に戻す。

一方、アプリ制御部１１６は、当該所定時間内に次のメッセージを受信しなかったと判定した場合（ステップＳ６３５、「Ｎｏ」）、処理をステップＳ６３６に移行させる。ステップＳ６３６で、起動制御部１１７は、撮像部１００３、測距部１００４および光源部１００５をオフとする。ステップＳ６３６の処理が終了すると、図２２のフローチャートによる一連の処理が終了される。

このように、第３の実施形態の第２の変形例では、プッシュ通知に応じて測距部１００４および光源部１００５がオンとされ、デプス情報に基づく顔認証が行われる。したがって、ユーザは、表示ロック状態において他の端末装置１ａからＳＮＳアプリ５を用いて送信されたメッセージが受信された場合であっても、端末装置１ａのタッチパネル１０３０をタップするといった操作無しに、例えば片手で端末装置１ａを保持し顔認証を行うという動作のみで、表示ロックを解除してＳＮＳアプリ５による音声メッセージの送信を行うことが可能である。

また、第３の実施形態の第２の変形例では、音声入力モードをオフとする制御を、撮像画像に基づく口の動きの検出結果に応じて行っている。ここで、ここで、ＴｏＦセンサ１０４１が点群情報に基づくデプス情報を取得するものであるのに対し、撮像部１００３が有するイメージセンサは、例えばＲＧＢ各色を用いたフルカーラ画像による撮像画像を出力できる。したがって、口の動きをより高精度に検出することが可能になる。これにより、第３の実施形態の第２の変形例では、音声メッセージの送信を、第３の実施形態の第１の変形例と比べてより高精度に制御できる。

さらに、第３の実施形態の第２の変形例では、上述した第３の実施形態と同様に、ユーザは、音声入力モードをオンあるいはオフとするために、端末装置１ａのタッチパネル１０３０をタップするといった操作を行う必要が無く、例えば片手で端末装置１ａを保持し顔に近付けるという動作のみで、音声メッセージの送信を実行できる。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
マイクロフォンと、
ネットワークを介した通信を行う通信部と、
デプス情報を取得する第１のセンサと、
前記デプス情報に基づき顔および該顔までの距離を検出する第１の顔検出を行う第１の顔検出部と、
プロセッサと、
を備え、
前記プロセッサは、
音声メッセージを含むメッセージの送受信を前記プロセッサに実行させるための通信プログラムであって、前記マイクロフォンによる音の収音および収音された該音による該音声メッセージの送信が可能な音入力モードを有する該通信プログラムを実行し、実行中の該通信プログラムに従った制御に基づき前記通信部によりメッセージが受信された場合に、
前記第１の顔検出部による前記第１の顔検出を行い、該第１の顔検出の結果に応じて前記音入力モードのオンおよびオフを制御する
端末装置。
（２）
前記プロセッサは、
前記第１の顔検出部により所定距離未満の前記距離が検出された場合に、前記音入力モードをオンに制御する
前記（１）に記載の端末装置。
（３）
前記プロセッサは、
前記第１の顔検出部により所定距離以上の前記距離が検出された場合に、前記音入力モードをオフに制御する
前記（１）または（２）に記載の端末装置。
（４）
前記第１の顔検出部により検出された前記顔に基づき認証を行う顔認証部をさらに備え、
前記プロセッサは、
前記通信プログラムが実行され、且つ、当該端末装置による表示に対して該プロセッサにより表示制限が掛けられた状態で、前記通信部により前記メッセージが受信された場合に、前記顔認証部による顔認証を行い、
前記顔認証により顔が認証された場合に、前記表示制限を解除する
前記（１）乃至（３）の何れかに記載の端末装置。
（５）
前記プロセッサは、
前記通信部により前記メッセージが受信された場合に、前記第１のセンサの機能をオンに制御する
前記（１）乃至（４）の何れかに記載の端末装置。
（６）
当該端末装置の動きを検出する動き検出を行う動き検出部をさらに備え、
前記プロセッサは、
前記動き検出部による前記動き検出により所定の動きが検出された場合に、前記第１の顔検出部による前記第１の顔検出を行い、該第１の顔検出の結果に応じて前記音入力モードのオンおよびオフを制御する
前記（１）乃至（５）の何れかに記載の端末装置。
（７）
画像情報を取得する第２のセンサと、
前記画像情報に基づき顔を検出する第２の顔検出を行う第２の顔検出部と、
をさらに備え、
前記プロセッサは、
前記第１の顔検出部により所定距離未満の前記距離が検出され前記音入力モードがオンに制御された場合に、前記第２の顔検出部により前記第２の顔検出を行い顔における口の動きを検出し、該口の動きが所定時間検出されなかった場合に、該音入力モードをオフに制御する
前記（１）に記載の端末装置。
（８）
前記プロセッサは、
前記第１の顔検出部により所定距離未満の前記距離が検出され前記音入力モードがオンに制御された場合に、前記第１の顔検出部により前記第１の顔検出を行う顔における口の動きを検出し、該口の動きが所定時間検出されなかった場合に、該音入力モードをオフに制御する
前記（１）に記載の端末装置。
（９）
第１のセンサによりデプス情報を取得するデプス情報取得ステップと、
前記デプス情報取得ステップにより取得された前記デプス情報に基づき顔および該顔までの距離を検出する第１の顔検出を行う第１の顔検出ステップと、
音声メッセージを含むメッセージの送受信をプロセッサに実行させるための通信プログラムであって、マイクロフォンによる音の収音および収音された該音による該音声メッセージの送信が可能な音入力モードを有する該通信プログラムを実行する実行ステップと、
前記実行ステップにより実行された前記通信プログラムに基づきメッセージが受信されたか否かを、該プロセッサが判定する判定ステップと、
前記判定ステップにより前記メッセージが受信されたと判定された場合に、前記第１の顔検出ステップによる前記第１の顔検出を行い、該第１の顔検出の結果に応じて前記音入力モードのオンおよびオフを前記プロセッサが制御する制御ステップと、
を有する
端末装置の制御方法。
（１０）
前記制御ステップは、
前記第１の顔検出ステップにより所定距離未満の前記距離が検出された場合に、前記音入力モードをオンに制御する
前記（９）に記載の端末装置の制御方法。
（１１）
前記制御ステップは、
前記第１の顔検出ステップにより所定距離以上の前記距離が検出された場合に、前記音入力モードをオフに制御する
前記（９）または（１０）に記載の端末装置の制御方法。
（１２）
前記第１の顔検出ステップにより検出された前記顔に基づき認証を行う顔認証ステップをさらに備え、
前記制御ステップは、
前記通信プログラムが実行され、且つ、当該端末装置による表示に対して該プロセッサにより表示制限が掛けられた状態で、ネットワークを介した通信を行う通信部により前記メッセージが受信された場合に、前記顔認証ステップによる顔認証を行い、
前記顔認証により顔が認証された場合に、前記表示制限を解除する
前記（９）乃至（１１）の何れかに記載の端末装置の制御方法。
（１３）
前記制御ステップは、
ネットワークを介した通信を行う通信部により前記メッセージが受信された場合に、前記第１のセンサの機能をオンに制御する
前記（９）乃至（１２）の何れかに記載の端末装置の制御方法。
（１４）
当該端末装置の動きを検出す動き検出を行う動き検出ステップをさらに有し、
前記制御ステップは、
前記動き検出ステップによる前記動き検出により所定の動きが検出された場合に、前記第１の顔検出ステップによる前記第１の顔検出を行い、該第１の顔検出の結果に応じて前記音入力モードのオンおよびオフを制御する
前記（９）乃至（１３）の何れかに記載の端末装置の制御方法。
（１５）
第２のセンサにより画像情報を取得する画像情報取得ステップと、
前記画像情報取得ステップにより取得された画像情報に基づき顔を検出する第２の顔検出を行う第２の顔検出ステップと、
をさらに有し、
前記制御ステップは、
前記第１の顔検出ステップにより所定距離未満の前記距離が検出され前記音入力モードがオンに制御された場合に、前記第２の顔検出ステップにより前記第２の顔検出を行い顔における口の動きを検出し、該口の動きが所定時間検出されなかった場合に、該音入力モードをオフに制御する
前記（９）に記載の端末装置の制御方法。
（１６）
前記制御ステップは、
前記第１の顔検出ステップにより所定距離未満の前記距離が検出され前記音入力モードがオンに制御された場合に、前記第１の顔検出ステップにより前記第１の顔検出を行う顔における口の動きを検出し、該口の動きが所定時間検出されなかった場合に、該音入力モードをオフに制御する
前記（９）に記載の端末装置の制御方法。
（１７）
センサに取得されたデプス情報に基づき顔および該顔までの距離を検出する顔検出を行う顔検出ステップと、
音声メッセージを含むメッセージの送受信をプロセッサに実行させるための通信プログラムであって、該プロセッサ上で実行される際の動作モードとしてマイクロフォンによる音の収音および収音された該音による該音声メッセージの送信が可能な音入力モードを有する該通信プログラムを実行する実行ステップと、
前記実行ステップにより実行された前記通信プログラムに基づき該メッセージが受信されたか否かを判定する判定ステップと、
前記判定ステップにより前記メッセージが受信されたと判定された場合に、前記顔検出ステップによる前記顔検出を行い、該顔検出の結果に応じて前記音入力モードのオンおよびオフを制御する制御ステップと、
を前記プロセッサに実行させるための制御プログラムが記憶された、コンピュータに読み取り可能な記憶媒体。

１ 端末装置
２ ネットワーク
３ サーバ
５ ＳＮＳアプリ
１０ 表示部
１２ マイクロフォン
１３ スピーカ
１４ 第１のセンサ
１５ 第２のセンサ
１６ バナー画像
１７ 表示ロック解除画面
１００ ＳＮＳアプリ部
１０１ ＵＩ部
１０２ 通信処理部
１０３ 音処理部
１１０ 検出・制御部
１１１ 測距処理部
１１２ 第１顔検出部
１１３ 撮像処理部
１１４ 第２顔検出部
１１５ 動き推測部
１１６ アプリ制御部
１１７ 起動制御部
１２０ 全体制御部
１２４ 認証部
５００ ドライバプログラム
１００３ 撮像部
１００４ 測距部
１００５ 光源部
１０１３ 姿勢検知部
１０４１ ＴｏＦセンサ
１０５１ ＶＣＳＥＬ

Claims (17)

1. マイクロフォンと、
   ネットワークを介した通信を行う通信部と、
   デプス情報を取得する第１のセンサと、
   前記デプス情報に基づき顔および該顔までの距離を検出する第１の顔検出を行う第１の顔検出部と、
   プロセッサと、
   を備え、
   前記プロセッサは、
   音声メッセージを含むメッセージの送受信を前記プロセッサに実行させるための通信プログラムであって、前記マイクロフォンによる音の収音および収音された該音による該音声メッセージの送信が可能な音入力モードを有する該通信プログラムを実行し、実行中の該通信プログラムに従った制御に基づき前記通信部によりメッセージが受信された場合に、
   前記第１の顔検出部による前記第１の顔検出を行い、該第１の顔検出の結果に応じて前記音入力モードのオンおよびオフを制御する
   端末装置。
2. 前記プロセッサは、
   前記第１の顔検出部により所定距離未満の前記距離が検出された場合に、前記音入力モードをオンに制御する
   請求項１に記載の端末装置。
3. 前記プロセッサは、
   前記第１の顔検出部により所定距離以上の前記距離が検出された場合に、前記音入力モードをオフに制御する
   請求項１に記載の端末装置。
4. 前記第１の顔検出部により検出された前記顔に基づき認証を行う顔認証部をさらに備え、
   前記プロセッサは、
   前記通信プログラムが実行され、且つ、当該端末装置による表示に対して該プロセッサにより表示制限が掛けられた状態で、前記通信部により前記メッセージが受信された場合に、前記顔認証部による顔認証を行い、
   前記顔認証により顔が認証された場合に、前記表示制限を解除する
   請求項１に記載の端末装置。
5. 前記プロセッサは、
   前記通信部により前記メッセージが受信された場合に、前記第１のセンサの機能をオンに制御する
   請求項１に記載の端末装置。
6. 当該端末装置の動きを検出する動き検出を行う動き検出部をさらに備え、
   前記プロセッサは、
   前記動き検出部による前記動き検出により所定の動きが検出された場合に、前記第１の顔検出部による前記第１の顔検出を行い、該第１の顔検出の結果に応じて前記音入力モードのオンおよびオフを制御する
   請求項１に記載の端末装置。
7. 画像情報を取得する第２のセンサと、
   前記画像情報に基づき顔を検出する第２の顔検出を行う第２の顔検出部と、
   をさらに備え、
   前記プロセッサは、
   前記第１の顔検出部により所定距離未満の前記距離が検出され前記音入力モードがオンに制御された場合に、前記第２の顔検出部により前記第２の顔検出を行い顔における口の動きを検出し、該口の動きが所定時間検出されなかった場合に、該音入力モードをオフに制御する
   請求項１に記載の端末装置。
8. 前記プロセッサは、
   前記第１の顔検出部により所定距離未満の前記距離が検出され前記音入力モードがオンに制御された場合に、前記第１の顔検出部により前記第１の顔検出を行う顔における口の動きを検出し、該口の動きが所定時間検出されなかった場合に、該音入力モードをオフに制御する
   請求項１に記載の端末装置。
9. 第１のセンサによりデプス情報を取得するデプス情報取得ステップと、
   前記デプス情報取得ステップにより取得された前記デプス情報に基づき顔および該顔までの距離を検出する第１の顔検出を行う第１の顔検出ステップと、
   音声メッセージを含むメッセージの送受信をプロセッサに実行させるための通信プログラムであって、マイクロフォンによる音の収音および収音された該音による該音声メッセージの送信が可能な音入力モードを有する該通信プログラムを実行する実行ステップと、
   前記実行ステップにより実行された前記通信プログラムに基づきメッセージが受信されたか否かを、該プロセッサが判定する判定ステップと、
   前記判定ステップにより前記メッセージが受信されたと判定された場合に、前記第１の顔検出ステップによる前記第１の顔検出を行い、該第１の顔検出の結果に応じて前記音入力モードのオンおよびオフを前記プロセッサが制御する制御ステップと、
   を有する
   端末装置の制御方法。
10. 前記制御ステップは、
    前記第１の顔検出ステップにより所定距離未満の前記距離が検出された場合に、前記音入力モードをオンに制御する
    請求項９に記載の端末装置の制御方法。
11. 前記制御ステップは、
    前記第１の顔検出ステップにより所定距離以上の前記距離が検出された場合に、前記音入力モードをオフに制御する
    請求項９に記載の端末装置の制御方法。
12. 前記第１の顔検出ステップにより検出された前記顔に基づき認証を行う顔認証ステップをさらに備え、
    前記制御ステップは、
    前記通信プログラムが実行され、且つ、当該端末装置による表示に対して該プロセッサにより表示制限が掛けられた状態で、ネットワークを介した通信を行う通信部により前記メッセージが受信された場合に、前記顔認証ステップによる顔認証を行い、
    前記顔認証により顔が認証された場合に、前記表示制限を解除する
    請求項９に記載の端末装置の制御方法。
13. 前記制御ステップは、
    ネットワークを介した通信を行う通信部により前記メッセージが受信された場合に、前記第１のセンサの機能をオンに制御する
    請求項９に記載の端末装置の制御方法。
14. 当該端末装置の動きを検出す動き検出を行う動き検出ステップをさらに有し、
    前記制御ステップは、
    前記動き検出ステップによる前記動き検出により所定の動きが検出された場合に、前記第１の顔検出ステップによる前記第１の顔検出を行い、該第１の顔検出の結果に応じて前記音入力モードのオンおよびオフを制御する
    請求項９に記載の端末装置の制御方法。
15. 第２のセンサにより画像情報を取得する画像情報取得ステップと、
    前記画像情報取得ステップにより取得された画像情報に基づき顔を検出する第２の顔検出を行う第２の顔検出ステップと、
    をさらに有し、
    前記制御ステップは、
    前記第１の顔検出ステップにより所定距離未満の前記距離が検出され前記音入力モードがオンに制御された場合に、前記第２の顔検出ステップにより前記第２の顔検出を行い顔における口の動きを検出し、該口の動きが所定時間検出されなかった場合に、該音入力モードをオフに制御する
    請求項９に記載の端末装置の制御方法。
16. 前記制御ステップは、
    前記第１の顔検出ステップにより所定距離未満の前記距離が検出され前記音入力モードがオンに制御された場合に、前記第１の顔検出ステップにより前記第１の顔検出を行う顔における口の動きを検出し、該口の動きが所定時間検出されなかった場合に、該音入力モードをオフに制御する
    請求項９に記載の端末装置の制御方法。
17. センサに取得されたデプス情報に基づき顔および該顔までの距離を検出する顔検出を行う顔検出ステップと、
    音声メッセージを含むメッセージの送受信をプロセッサに実行させるための通信プログラムであって、該プロセッサ上で実行される際の動作モードとしてマイクロフォンによる音の収音および収音された該音による該音声メッセージの送信が可能な音入力モードを有する該通信プログラムを実行する実行ステップと、
    前記実行ステップにより実行された前記通信プログラムに基づき該メッセージが受信されたか否かを判定する判定ステップと、
    前記判定ステップにより前記メッセージが受信されたと判定された場合に、前記顔検出ステップによる前記顔検出を行い、該顔検出の結果に応じて前記音入力モードのオンおよびオフを制御する制御ステップと、
    を前記プロセッサに実行させるための制御プログラムが記憶された、コンピュータに読み取り可能な記憶媒体。

Images