以下、本開示の実施形態について、図面を参照して説明する。
図1、2に示すように、本開示の携帯端末11および充電台12を含むコミュニケーションシステム10は、携帯端末11および充電台12を含んでいる。充電台12には携帯端末11が載置され得る。携帯端末11を充電台12に載置している間、充電台12は携帯端末11の内臓のバッテリを充電する。また、携帯端末11を充電台12に載置する場合、コミュニケーションシステム10はユーザと対話し得る。
図3に示すように、携帯端末11は、通信部13、受電部14、バッテリ15、マイク16、スピーカ17、カメラ18、ディスプレイ19、入力部20、記憶部21、および制御部22などを含んでいる。
通信部13は、音声、文字、および画像などを通信可能な通信インタフェースを含む。本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、IEC60603に準拠するコネクタ、USB規格に準拠するコネクタ、RCA端子に対応するコネクタ、EIAJ CP−1211Aに規定されるS端子に対応するコネクタ、EIAJ RC−5237に規定されるD端子に対応するコネクタ、HDMI(登録商標)規格に準拠するコネクタ、およびBNC(British Naval Connector、またはBaby‐series N Connectorなど)を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、IEC 61754に準拠する種々のコネクタを含んでよい。無線通信機は、Bluetooth(登録商標)、およびIEEE802.11を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも1つのアンテナを含む。
通信部13は、自身の携帯端末11の外部機器、例えば充電台12と通信する。通信部13は、有線通信または無線通信により、外部機器と通信する。なお、通信部13は、充電台12と有線通信をする構成においては、携帯端末11を充電台12の正規の位置及び姿勢で載置することにより、充電台12の通信部23に接続され、通信し得る。また、通信部13は、無線通信により、直接的に、または、例えば、基地局、およびインターネット回線または電話回線を介して間接的に、外部機器と通信してよい。
受電部14は、充電台12から供給する電力を受電する。受電部14は、例えば、コネクタを有し、有線を介して充電台12から電力を受電する。または、受電部14は、例えば、コイルなどを有し、電磁誘導方式および磁界共振方式などの無線給電方法により充電台12から電力を受電する。受電部14は、受電した電力をバッテリ15に蓄電する。
バッテリ15は、受電部14から供給される電力を蓄電する。バッテリ15は、蓄電した電力を放電することにより、携帯端末11の各構成要素に、当該構成要素を機能させるために必要な電力を供給する。
マイク16は、携帯端末11の周囲で発生する音声を検出して、電気信号に変換する。マイク16は、検出した音声を制御部22に出力する。
スピーカ17は、制御部22の制御に基づいて、音声を発する。スピーカ17は、例えば、後述する発話機能を実行している場合、制御部22が発話を決定した言葉を発する。また、スピーカ17は、例えば、他の携帯端末との通話を実行している場合、当該携帯端末から取得する音声を発する。
カメラ18は、撮像範囲内の被写体を撮像する。カメラ18は、静止画像および動画像のいずれも撮像可能である。カメラ18は、動画像の撮像時に、例えば60fpsで、被写体を連続的に撮像する。カメラ18は、撮像した画像を制御部22に出力する。
ディスプレイ19は、例えば液晶ディスプレイ(LCD(Liquid Crystal Display))、または、有機若しくは無機ELディスプレイである。ディスプレイ19は、制御部22の制御に基づいて、画像を表示する。
入力部20は、例えば、ディスプレイ19と一体化したタッチパネルである。入力部20は、ユーザによる携帯端末11に関する多様な要求または情報の入力を検出する。入力部20は、検出した入力を制御部22に出力する。
記憶部21は、例えば、半導体メモリ、磁気メモリ、および光メモリなどを用いて構成されてよい。記憶部21は、例えば、後述する、登録処理、発話処理、音声認識処理、見守り処理、データ通信処理、および通話処理などを実行するための多様な情報を記憶する。
制御部22は、1又は複数のプロセッサを含む。制御部22は、種々の処理のためのプログラム及び演算中の情報を記憶する1又は複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。メモリは、プロセッサから独立しているメモリ、及びプロセッサの内蔵メモリが含まれる。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けIC(ASIC; Application Specific Integrated Circuit)が含まれる。プロセッサには、プログラマブルロジックデバイス(PLD; Programmable Logic Device)が含まれる。PLDには、FPGA(Field−Programmable Gate Array)が含まれる。制御部22は、一つ又は複数のプロセッサが協働するSoC(System on a Chip)、及びSiP(System In a Package)のいずれかであってよい。
制御部22は、例えば、後述するように充電台12からコミュニケーションモードへの移行指令を取得すると、コミュニケーションモードにおける多様な機能を実行するために、携帯端末11の各構成要素を制御する。なお、コミュニケーションモードとは、携帯端末11を充電台12とともにコミュニケーションシステム10として、特定のユーザとの対話、特定ユーザの観察、および当該ユーザへのメッセージ発信などを実行させるモードである。
制御部22は、コミュニケーションモードを実行するユーザの登録のための登録処理を実行する。制御部22は、例えば、入力部20へのユーザ登録を要求する入力の検出などにより、登録処理を開始する。
例えば、制御部22は、登録処理において、ユーザにカメラ18のレンズを見るようにメッセージを発し、カメラ18を駆動することによりユーザの顔を撮像する。さらに、制御部22は、撮像した画像を、ユーザの名称および属性などのユーザ情報と関連付けて記憶する。属性とは、例えば、携帯端末11の所有者および当該所有者に対する続柄、性別、年齢層、身長、体重などである。制御部22は、ユーザ情報を、入力部20へのユーザによる入力により取得する。
制御部22は、登録処理において、さらに、登録された画像を関連付けたユーザ情報とともに充電台12に転送する。充電台12に付与するために、制御部22は、携帯端末11と通信可能であるかを判別する。
制御部22は、充電台12と通信できない場合に、通信可能とさせるメッセージをディスプレイ19に表示させる。例えば、携帯端末11が充電台12と有線通信を行う構成において携帯端末11と充電台12とが接続されていない場合、制御部22は接続を要求するメッセージをディスプレイ19に表示させる。また、携帯端末11が充電台12と無線通信を行う構成において携帯端末11と充電台12とが通信できない程度に離れている場合、制御部22は充電台12に近付くことを要求するメッセージをディスプレイ19に表示させる。
制御部22は、携帯端末11および充電台12が通信可能である場合、登録された画像およびユーザ情報を充電台12に向けて転送させ、転送中であることをディスプレイ19に表示させる。さらに、制御部22は、転送の完了の通知を充電台12から取得する場合、初期設定完了のメッセージをディスプレイ19に表示させる。
制御部22は、コミュニケーションモードに移行している間、発話処理および音声認識処理の少なくとも一方を実行することにより、コミュニケーションシステム10を特定のユーザと対話させる。
制御部22は、発話処理において、現在時刻、充電台12の設置された場所、充電台12への載置または離脱、対話対象のユーザの属性、対話対象のユーザ、通信部13が取得した外部情報、対話対象のユーザの動作、携帯端末11が受信したメールおよび電話、携帯端末11に登録されたメモおよびスケジュール、当該ユーザの発した音声、ならびに当該ユーザの過去の会話内容に応じて、発話する内容を決定する。なお、充電台12の設置された場所、充電台12への載置または離脱、対話対象のユーザの属性、および外部情報については、後述する。制御部22は、決定した内容の音声を発するように、スピーカ17を駆動する。
制御部22は、発話内容の決定のために、充電台12の設置された場所を判別する。制御部22は、通信部13を介して充電台12から取得する場所の通知に基づいて、充電台12の設置された場所を判別する。または、制御部22は、充電台12に載置された場合、マイク16およびカメラ18の少なくとも一方がそれぞれ検出する音声および画像の少なくとも一方に基づいて、充電台12の設置された場所を判別してよい。
制御部22は、充電台12の設置場所が、例えば、玄関である場合、外出または帰宅に際して適した言葉を、発話する内容に決定する。また、制御部22は、充電台12の設置場所が、例えば、食卓である場合、食事および調理などの食卓で行われる行為に適した言葉を、発話する内容に決定する。また、制御部22は、充電台12の設置場所が、例えば子供部屋である場合、子供の話題および子供への注意の呼びかけなどに適した言葉を、発話する内容に決定する。また、制御部22は、充電台12の設置場所が、寝室である場合、就寝時または起床時に適した言葉を、発話する内容に決定する。
制御部22は、発話内容の決定のために、充電台12に載置した場合および充電台12から離脱させた場合のいずれであるかを判別する。制御部22は、充電台12から取得する載置の通知に基づいて、載置した場合か離脱した場合かを判別する。例えば、制御部22は、載置されていることを示す通知を充電台12から取得している間は充電台12に載置されている場合であると判別し、当該通知を取得出来なくなる時に離脱されたと判別する。または、制御部22は、受電部14が充電台12から電力を取得可能か否か、または通信部13が充電台12と通信可能であるか否かに基づいて携帯端末11の充電台12に対する載置関係を判別してよい。
制御部22は、携帯端末11が充電台12に載置された場合、充電台12の設置場所に入るユーザに適した言葉を、発話する内容に決定する。また、制御部22は、携帯端末11が充電台12から離脱させた場合、充電台12の設置場所から出て行くユーザに適した言葉を、発話する内容に決定する。
制御部22は、発話内容の決定のために、対話対象のユーザの動作を判別する。制御部22は、例えば、充電台12の玄関への設置を判別する場合、充電台12から取得する画像またはカメラ18から取得する画像に基づいて、対話対象のユーザが外出する動作か、帰宅する動作であるかを判別する。または、制御部22は、カメラ18が検出する画像などに基づいて、対話対象のユーザが外出する動作であるか、帰宅する動作であるかを判別してよい。制御部22は、前述の携帯端末11の充電台12への載置状態に、外出および帰宅のいずれであるかを組合わせて、適切な言葉を、発話する内容に決定する。
制御部22は、発話内容の決定のために、前述のように対話対象のユーザの属性を判別する。制御部22は、充電台12からの対話対象であるユーザ通知および記憶部21に記憶したユーザ情報に基づいて、対話対象のユーザの属性を判別する。また、制御部22は、マイク16およびカメラ18の少なくとも一方がそれぞれ検出する音声および画像の少なくとも一方に基づいて、対話対象のユーザまたはユーザの属性を判別してよい。制御部22は、対話対象のユーザの例えば、性別および世代などの属性に適した言葉を、発話する内容に決定する。
制御部22は、発話内容の決定のために、通信部13を駆動して、天気予報および交通状況などの外部情報を取得する。制御部22は、取得した外部情報に応じて、例えば天候またはユーザの使用する交通機関の混雑状況に関する注意喚起する言葉を、発話する内容に決定する。
また、制御部22は、音声認識処理において、充電台12の設置された場所に応じて、マイク16が検出する音声の形態素解析を行い、ユーザの発話内容を認識する。制御部22は、認識した発話内容に基づいて、所定の処理を実行する。所定の処理は、例えば、前述のように認識した発話内容に対する発話処理、ならびに所望の情報の探索、所望の画像の表示、および所望の相手への電話およびメールの発信を実行するための処理である。
また、制御部22は、コミュニケーションモードに移行している間、連続的に実行した、上述の発話処理および音声認識処理を記憶部21に記憶させ、特定された対話対象のユーザに対する会話内容を学習する。制御部22は、学習した会話内容に基づいて、以後の発話処理において発話する言葉の決定に活用する。また、制御部22は、学習した会話内容を、充電台12に転送してよい。
また、制御部22は、コミュニケーションモードに移行している間、特定された対話対象のユーザに対する会話内容および当該ユーザとの対話時にカメラ18に撮像させる画像などから、当該ユーザの生活習慣などを学習する。制御部22は、学習した生活習慣に基づいて、当該ユーザに対するアドバイスなどを報知する。アドバイスの報知は、スピーカ17による音声の発話でも、ディスプレイ19への画像の表示であってもよい。なお、アドバイスは、例えば、薬を飲むべき時の通知、当該ユーザの好みの食事の提案、当該ユーザの健康のための食事内容の提案、および当該ユーザが継続可能かつ効果的な運動の提案などである。
また、制御部22は、コミュニケーションモードに移行している間、携帯端末11の現在位置を検出する。現在位置の検出は、例えば、通信中の基地局の設置位置または携帯端末11が備え得るGPSに基づく。制御部22は、検出した現在位置に関連付けられた地域情報をユーザに報知する。地域情報の報知は、スピーカ17による音声の発話でも、ディスプレイ19への画像の表示であってもよい。なお、地域情報は、例えば、近隣店舗の特売情報などである。
また、制御部22は、コミュニケーションモードに移行している間に特定の対象に対する見守り処理の開始要求を入力部20が検出する場合、当該開始要求を充電台12に通知する。特定の対象とは、例えば、登録された特定のユーザ、および充電台12が設置された部屋などである。
見守り処理は携帯端末11の載置の有無に関わらず、充電台12により実行される。制御部22は、見守り処理を実行させている充電台12から特定の対象が異常状態である通知を取得する場合、その旨をユーザに報知する。ユーザへの報知は、スピーカ17による音声の発信でも、ディスプレイ19への警告画像の表示であってもよい。
また、制御部22は、コミュニケーションモードへの移行の有無に関わらず、入力部20への入力に基づいて、メールの送受信およびブラウザを用いた画像表示などのデータ通信処理、ならびに他の電話との通話処理を実行する。
充電台12は、通信部23、給電部24、変動機構25、マイク26、スピーカ27、カメラ28、人感センサ29、載置センサ30、記憶部31、および制御部32などを含んでいる。
通信部23は、携帯端末11の通信部13と同様に、音声、文字、および画像などを通信可能な通信インタフェースを含む。通信部23は、有線通信または無線通信により、携帯端末11と通信する。通信部23は、有線通信または無線通信により、外部機器と通信してもよい。
給電部24は、充電台12に載置された携帯端末11の受電部14に電力を供給する。給電部24は、上述のように、有線または無線により受電部14に電力を供給する。
変動機構25は、充電台12に載置される携帯端末11の向きを変動させる。変動機構25は、充電台12に対して定められる下底面bs(図1、2参照)に対して定められる上下方向および左右方向の少なくとも一方に沿って、携帯端末11の向きを変動可能である。変動機構25はモータを内蔵しており、モータの駆動により携帯端末11の向きを変動させる。
マイク26は、充電台12の周囲で発生する音声を検出して、電気信号に変換する。マイク26は、検出した音声を制御部32に出力する。
スピーカ27は、制御部32の制御に基づいて、音声を発する。
カメラ28は、撮像範囲内の被写体を撮像する。カメラ28は、静止画像および動画像のいずれも撮像可能である。カメラ28は、動画像の撮像時に、例えば60fpsで、被写体を連続的に撮像する。カメラ28は、撮像した画像を制御部32に出力する。
人感センサ29は、例えば、赤外線センサであり、熱の変化を検出することにより、充電台12の周囲における人の存在を検出する。人感センサ29は、人の存在を検出する場合、その旨を制御部32に通知する。なお、人感センサ29は、赤外線センサ以外のセンサであってよく、例えば、超音波センサであってもよい。または、人感センサ29は、連続的に撮像される画像の変化に基づいて人の存在を検出するようにカメラ28を機能させる構成であってよい。
載置センサ30は、充電台12において、例えば、携帯端末11の載置面に設けられており、携帯端末11の載置の有無を検出する。載置センサ30は、例えば圧電素子などにより構成されている。載置センサ30は、携帯端末11が載置されるとき、その旨を制御部32に通知する。
記憶部31は、例えば、半導体メモリ、磁気メモリ、および光メモリなどを用いて構成されてよい。記憶部31は、例えば、充電台12の設置場所を判別するめに、予め想定される各設置場所に特有な音声および画像の少なくとも一方を記憶する。また、記憶部31は、例えば、制御部32が判別した設置場所を記憶する。また、記憶部31は、例えば、携帯端末11から取得するユーザの登録に係る画像およびユーザ情報を、携帯端末11毎および登録したユーザ毎に記憶する。また、記憶部31は、例えば、携帯端末11から取得する会話内容をユーザ毎に記憶する。また、記憶部31は、例えば、後述するように、カメラ28による撮像結果に基づく変動機構25の駆動のための情報を記憶する。
制御部32は、携帯端末11の制御部22と同様に、1又は複数のプロセッサを含む。制御部32は、携帯端末11の制御部22と同様に、種々の処理のためのプログラム及び演算中の情報を記憶する1又は複数のメモリを含んでよい。
制御部32は、充電台12に、例えば商用系統などから電力を受電する場合、マイク26およびカメラ28の少なくとも一方がそれぞれ検出する音声および画像の少なくとも一方に基づいて、充電台12の設置された場所を判別する。制御部32は、例えば、設置が想定される複数の場所毎の特徴的な会話パターンまたは音を記憶部31などから取得し、マイク26が検出する複数のユーザの会話内容または音などと比較することにより、設置場所を判別する。また、制御部32は、例えば、設置が想定される複数の場所毎の特徴的な物体の輪郭などを記憶部31などから取得し、カメラ28が検出する画像に含まれる輪郭などと比較することにより、設置場所を判別する。制御部32は、設置された場所を、充電台12に載置される携帯端末11に通知する。
制御部32は、少なくとも載置センサ30が携帯端末11の載置を検出してから離脱を検出するまでの間、さらには離脱を検出してから所定時間が経過するまでの間、コミュニケーションシステム10をコミュニケーションモードに維持させる。したがって、制御部32は、充電台12に携帯端末11が載置されている場合、携帯端末11に発話処理および音声認識処理の少なくとも一方を実行させ得る。また、制御部32は、充電台12から携帯端末11が離脱してからの所定時間が経過するまでの間、携帯端末11に発話処理および音声認識処理の少なくとも一方を実行させ得る。
制御部32は、発話処理および音声認識処理の少なくとも一方を携帯端末11の制御部22に実行させている間、カメラ28を起動して、周囲の画像を撮像させる。制御部32は、撮像した画像中の人の顔を検出する。制御部32は、検出した人の顔の画像を、記憶部31に記憶させた顔の画像と比較することにより、撮像されたユーザを特定する。制御部32は、特定したユーザを携帯端末11に通知する。
制御部32は、撮像されたユーザの認識後、カメラ28による撮像を継続させ、当該ユーザの顔を画像毎に探索する。制御部32は、画像の中で探索された顔の位置に基づいて、携帯端末11のディスプレイ19が当該ユーザの方向を向くように、変動機構25を駆動する。
制御部32は、載置センサ30が携帯端末11の載置を検出する時、コミュニケーションシステム10のコミュニケーションモードへの移行を開始させる。したがって、制御部32は、充電台12に携帯端末11が載置される時、携帯端末11に発話処理および音声認識処理の少なくとも一方の実行を開始させる。また、制御部32は、載置センサ30が携帯端末11の載置を検出する場合、載置されていることを携帯端末11に通知する。
制御部32は、発話処理および音声認識処理の少なくとも一方の開始指示の条件に、人感センサ29による人の検知を付加してよい。例えば、制御部32は、携帯端末11の載置の認識後に、人感センサ29が人を検出する場合に、発話処理などを開始させてもよい。
また、制御部32は、載置センサ30が携帯端末11の離脱を検出する時または検出後の所定時間の経過後に、コミュニケーションシステム10におけるコミュニケーションモードを終了させる。したがって、制御部32は、充電台12から携帯端末11が離脱する時または検出後の所定時間の経過後に、携帯端末11に発話処理および音声認識処理の少なくとも一方の実行を終了させる。
また、制御部32は、携帯端末11からユーザ毎の会話内容を取得する場合、当該会話内容を携帯端末11毎に記憶部31に記憶させる。制御部32は、必要に応じて、充電台12と直接または間接的に通信する異なる携帯端末11間において記憶した会話内容を共有させる。なお、充電台12と間接的に通信するとは、充電台12が電話回線に繋がれており、当該電話回線を介して通信すること、および充電台12に載置された携帯端末11を介して通信することの少なくとも一方を含む。
また、制御部32は、携帯端末11から見守り処理を実行する指令を取得する場合、見守り処理を実行する。制御部32は、見守り処理において、カメラ28を起動して、特定の対象の連続的な撮像を実行する。制御部32は、カメラ28が撮像した画像の中で特定の対象を抽出する。制御部32は、抽出した特定の対象の状態を、画像認識などに基づいて、判断する。特定の対象の状態とは、例えば、特定のユーザが倒れたままなどの異常状態、留守中の部屋における動体の検出状態である。制御部32は、特定の対象が異常状態であると判断する場合、見守り処理の実行を指令した携帯端末11に、特定の対象が異常状態であることを通知する。
次に、本開示において携帯端末11の制御部22が実行する、初期設定処理について、図4のフローチャートを用いて説明する。初期設定処理は、ユーザによる初期設定を開始する入力を入力部20が検出する場合に開始する。
ステップS100において、制御部22は、携帯端末11のカメラ18に顔を合わせるように要求するメッセージをディスプレイ19に表示させる。ディスプレイ19への表示後に、プロセスはステップS101に進む。
ステップS101では、制御部22は、カメラ18に撮像を実行させる。撮像後、プロセスはステップS102に進む。
ステップS102では、制御部22は、ユーザの名称および属性を尋ねる質問をディスプレイ19に表示させる。質問の表示後、プロセスはステップS103に進む。
ステップS103では、制御部22は、ステップS102における質問に対する回答の有無を判別する。回答が無い時、プロセスはステップS103を繰返す。回答がある時、プロセスはステップS104に進む。
ステップS104では、制御部22は、ステップS101において撮像した顔の画像を、ステップS103において検出された質問に対する回答をユーザ情報として関連付けて、記憶部21に記憶させる。記憶後、プロセスはステップS105に進む。
ステップS105では、制御部22は、充電台12と通信可能であるか否かを判別する。通信不可能である時、プロセスはステップS106に進む。通信可能である時、プロセスはステップS107に進む。
ステップS106では、制御部22は、ディスプレイ19に充電台12との通信を可能にさせる行動を要求するメッセージをディスプレイ19に表示させる。通信を可能にさせる行動を要求するメッセージは、携帯端末11が充電台12と有線通信を行う構成において、例えば、“充電台に載置してください”である。また、通信を可能にさせる行動を要求するメッセージは、携帯端末11が充電台12と無線通信を行う構成において、例えば、“充電台12に近付けてください”である。メッセージの表示後、プロセスはステップS105に戻る。
ステップS107では、制御部22は、ステップS104において記憶した顔の画像、およびユーザ情報を充電台12に転送する。また、制御部22は、転送中であることを示すメッセージをディスプレイ19に表示させる。転送の開始後にプロセスはステップS108に進む。
ステップS108では、制御部22は、充電台12から転送完了の通知を取得したか否かを判別する。取得していない時、プロセスはステップS108を繰返す。取得している時、プロセスはステップS109に進む。
ステップS109では、制御部22は、初期設定の完了を示すメッセージをディスプレイ19に表示させる。表示後、初期設定処理は終了する。
次に、本開示において充電台12の制御部32が実行する、設置場所判別処理について、図5のフローチャートを用いて説明する。設置場所判別処理は、例えば、充電台12の電源がONになった後の任意の時間の経過時に開始する。
ステップS200において、制御部32は、マイク26およびカメラ28の少なくとも一方を駆動させる。駆動を開始させると、プロセスはステップS201に進む。
ステップS201では、制御部32は、記憶部31から、設置場所を判別するための、想定される各設置場所に特有な音声および画像の少なくとも一方を読出す。読出し後、プロセスはステップS202に進む。
ステップS202では、制御部32は、ステップS200において起動したマイク26およびカメラ28の少なくとも一方が検出する音声および画像の少なくとも一方を、ステップS201において記憶部31から読出した音声および画像の少なくとも一方と比較する。制御部32は、当該比較により、充電台12の設置場所を判別する。判別後、プロセスはステップS203に進む。
ステップS203では、制御部32は、ステップS203において判別した充電台12の設置場所を記憶部31に記憶させる。記憶後、設置場所判別処理は終了する。
次に、本開示において充電台12の制御部32が実行する、発話等実行判別処理について、図6のフローチャートを用いて説明する。発話等実行判別処理は、周期的に開始する。
ステップS300において、制御部32は、携帯端末11の載置を載置センサ30が検出しているか否かを判別する。検出している時、プロセスはステップS301に進む。検出していない時、発話等実行判別処理は終了する。
ステップS301では、制御部32は、充電台12の設置場所を記憶部31から読出して、携帯端末11に通知する。通知後、プロセスはステップS302に進む。
ステップS302では、制御部32は、変動機構25および人感センサ29を駆動して、充電台12の周囲に人がいるか否かの検出を行う。変動機構25および人感センサ29を駆動させた後、プロセスはステップS303に進む。
ステップS303では、充電台12の周囲の人を人感センサ29が検出しているか否かを判別する。周囲の人を検出する時、プロセスはステップS304に進む。周囲の人を検出しない時、発話等実行判別処理は終了する。
ステップS304では、制御部32は、カメラ28に周辺光景を撮像させる。撮像後、プロセスはステップS305に進む。
ステップS305では、制御部32は、ステップS304において撮像により取得した画像内に含まれる人の顔を探索する。また、制御部32は、探索した顔の画像内の位置を検出する。顔の探索後、プロセスはステップS306に進む。
ステップS306では、制御部32は、ステップS305において探索した顔を、記憶部31に記憶した登録済みの顔の画像と比較することにより、撮像されたユーザを特定する。特定後、プロセスはステップS307に進む。
ステップS307では、制御部32は、ステップS305において探索した顔の位置に基づいて、携帯端末11のディスプレイ19がステップS304において撮像されたユーザの顔の方向を向くように、変動機構25を駆動させる。変動機構25の駆動後、プロセスはステップS308に進む。
ステップS308では、制御部32は、発話処理および音声認識処理の少なくとも一方を開始させる指令を携帯端末11に通知する。携帯端末11に通知後、プロセスはステップS309に進む。
ステップS309では、制御部32は、ステップS306において特定したユーザを携帯端末11に通知する。通知後、プロセスはステップS308に進む。
ステップS310では、制御部32は、携帯端末11の離脱を載置センサ30が検出しているか否かを判別する。検出していない時、プロセスはステップS304に戻る。検出している時、プロセスはステップS311に進む。
ステップS311では、制御部32は、発話処理および音声認識処理の少なくとも一方を終了させる指令を携帯端末11に通知する。携帯端末11に通知後、発話等実行判別処理は終了する。
次に、本開示において携帯端末11の制御部22が実行する、場所判別処理について、図7のフローチャートを用いて説明する。場所判別処理は、充電台12に携帯端末11を載置する時に開始する。
ステップS400において、制御部22は、充電台12から取得する設置場所を解析する。解析後、プロセスはステップS401に進む。
ステップS401では、制御部22は、ステップS400において解析した充電台12の設置場所が玄関であるか否かを判別する。玄関である場合、プロセスはステップS500に進む。玄関でない場合、プロセスはステップS402に進む。
ステップS500では、制御部22は、後述する玄関対話のサブルーチンを実行する。玄関対話のサブルーチンの実行後、場所判別処理は終了する。
ステップS402では、制御部22は、ステップS400において解析した充電台12の設置場所が食卓であるか否かを判別する。食卓である場合、プロセスはステップS600に進む。食卓でない場合、プロセスはステップS403に進む。
ステップS600では、制御部22は、後述する食卓対話のサブルーチンを実行する。食卓対話のサブルーチンの実行後、場所判別処理は終了する。
ステップS403では、制御部22は、ステップS400において解析した充電台12の設置場所が子供部屋であるか否かを判別する。子供部屋である場合、プロセスはステップS700に進む。子供部屋でない場合、プロセスはステップS404に進む。
ステップS700では、制御部22は、後述する子供部屋対話のサブルーチンを実行する。子供部屋対話のサブルーチンの実行後、場所判別処理は終了する。
ステップS404では、制御部22は、ステップS400において解析した充電台12の設置場所が寝室であるか否かを判別する。寝室である場合、プロセスはステップS800に進む。寝室でない場合、プロセスはステップS405に進む。
ステップS800では、制御部22は、後述する寝室対話のサブルーチンを実行する。寝室対話のサブルーチンの実行後、部屋判別処理は終了する。
ステップS405では、制御部22は、対話内容の決定に設置場所を用いない一般対話を行う発話処理および音声認識処理を実行する。一般対話の発話処理および音声認識処理を行うと、部屋判別処理は終了する。
次に、本開示において携帯端末11の制御部22が実行する、玄関対話のサブルーチンS500について、図8のフローチャートを用いて説明する。
ステップS501において、制御部22は、対話対象である特定のユーザの属性を判別する。判別後、プロセスはステップS502に進む。
ステップS502では、制御部22は、外部情報を解析する。解析後、プロセスはステップ503に進む。
ステップS503では、制御部22は、対話対象のユーザの動作に基づいて、当該ユーザの行動が帰宅および外出のいずれであるかを判別する。帰宅である場合、プロセスはステップS504に進む。外出である場合、プロセスはステップS505に進む。
ステップS504では、制御部22は、ステップS501において判別したユーザの属性およびステップS502において解析した外部情報に基づいて、帰宅用の対話を実行させる。制御部22は、例えば、ユーザの属性および外部情報に関わらず、スピーカ17に“お帰り”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの属性が子供である場合、スピーカ17に“勉強、頑張った?”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの属性が大人である場合、スピーカ17に“お疲れ様”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき雨であることを判別した場合、スピーカ17に“雨に濡れなかった?”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき通勤電車の遅延を判別した場合、スピーカ17に“電車、大変だったね”などの言葉を発せさせる。帰宅用の対話の実行後、プロセスはステップS506に進む。
ステップS505では、制御部22は、短期外出用の注意を喚起する対話を実行させる。制御部22は、例えば、スピーカ17に“携帯端末を忘れているよ”、“すぐに戻ってくるの?”、および“念のため、鍵をかけよう”などの言葉を発せさせる。短期外出用の注意を喚起する対話の実行後、プロセスはステップS506に進む。
ステップS506では、制御部22は、携帯端末11が充電台12から離脱しているか否かを判別する。離脱していない場合、プロセスはステップS506を繰返す。離脱している場合、プロセスはステップS507に進む。
ステップS507では、制御部22は、対話対象のユーザの動作に基づいて、当該ユーザの行動が帰宅および外出のいずれであるかを判別する。なお、携帯端末11および充電台12が有線通信により通信する構成においては、制御部22は、カメラ18が検出する画像に基づいて帰宅および外出のいずれであるかを判別する。帰宅である場合、プロセスはステップS508に進む。外出である場合、プロセスはステップS509に進む。
ステップS508では、制御部22は、ステップS501において判別したユーザの属性およびステップS502において解析した外部情報に基づいて、外出用の対話を実行させる。制御部22は、例えば、ユーザの属性および外部情報に関わらず、スピーカ17に“今日も頑張ろう”および“いってらっしゃい”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの属性が子供である場合、スピーカ17に“知らない人について行かないでね”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの属性が大人である場合、スピーカ17に“鍵かけた?”および“火の元、大丈夫?”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき雨であることを判別した場合、スピーカ17に“傘を持った?”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの属性が大人であってかつ外部情報に基づき雨であることを判別した場合、スピーカ17に“洗濯物は大丈夫?”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき当日の冷込みを判別した場合、スピーカ17に“上着はあるの?”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき通学電車または通勤電車が遅延していた場合、スピーカ17に“山手線は後れているよ”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの属性が大人であってかつ外部情報に基づき通勤経路が渋滞している場合、スピーカ17に“家から駅まで渋滞しているよ”などの言葉を発せさせる。外出用の対話の実行後、玄関対話のサブルーチンS500を終了して、図7に示す制御部22が実行する部屋判別処理に戻る。
ステップS509では、制御部22は、長期外出用の注意を喚起する対話を実行させる。制御部22は、例えば、スピーカ17に“鍵、大丈夫だった?”および“火の元、大丈夫だった?”などの言葉を発せさせる。長期外出用の注意を喚起する対話の実行後、玄関対話のサブルーチンS500を終了して、図7に示す制御部22が実行する部屋判別処理に戻る。
次に、本開示において携帯端末11の制御部22が実行する、食卓対話のサブルーチンS600について、図9のフローチャートを用いて説明する。
ステップS601において、制御部22は、対話対象である特定のユーザの属性を判別する。判別後、プロセスはステップS602に進む。
ステップS602では、制御部22は、特定のユーザの行動の判別を開始する。判別開始後、プロセスはステップ603に進む。
ステップS603では、制御部22は、ステップS601において判別したユーザの属性およびステップS602において開始したユーザの行動に基づいて、食事用の対話を実行させる。制御部22は、例えば、ユーザの属性が子供であってかつ過去の行動履歴における食事時刻の直前である場合、スピーカ17に“お腹が空いてきたね”などの言葉を発せさせる。なお、過去の行動履歴は、例えば、制御部22が過去に判別したユーザの動作、および学習した生活習慣などに基づく。また、制御部22は、例えば、ユーザの行動が配膳である場合、スピーカ17に“今日のご飯は何?などの言葉を発せさせる。また、制御部22は、例えば、ユーザの行動が食事開始直後である場合、スピーカ17に“色々な物を食べようね”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの行動がユーザの属性に対して適量を超えた食事の摂取の開始である場合、スピーカ17に“食べ過ぎ注意しよう”などの言葉を発せさせる。食事用の対話の実行後、プロセスはステップS604に進む。
ステップS604では、制御部22は、携帯端末11が充電台12から離脱しているか否かを判別する。離脱していない場合、プロセスはステップS604を繰返す。離脱している場合、プロセスはステップS605に進む。
ステップS605では、制御部22は、ステップS601において判別したユーザの属性に基づいて、買物用の対話を実行させる。制御部22は、例えば、ユーザの属性が大人である場合、スピーカ17に“今の旬は鰯だよ”および“何を買うかメモした?”などの言葉を発せさせる。買物用の対話の実行後、食卓対話のサブルーチンS600を終了して、図7に示す制御部22が実行する部屋判別処理に戻る。
次に、本開示において携帯端末11の制御部22が実行する、子供部屋対話のサブルーチンS700について、図10のフローチャートを用いて説明する。
ステップS701において、制御部22は、対話対象である特定のユーザの属性を判別する。判別後、プロセスはステップS702に進む。
ステップS702では、制御部22は、特定のユーザの行動の判別を開始する。判別開始後、プロセスはステップ703に進む。
ステップS703では、制御部22は、ステップS701において判別したユーザの属性およびステップS702において開始したユーザの行動に基づいて、子供との対話を実行させる。制御部22は、例えば、ユーザの属性が小学生または中学生であってかつ現在時刻が過去の行動履歴における帰宅時刻である場合、スピーカ17に“学校楽しかった?”、“両親に連絡ある?”、および“両親宛のプリントはある?”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの行動が遊びである場合、スピーカ17に“宿題は大丈夫なの?などの言葉を発せさせる。また、制御部22は、例えば、ユーザの行動が勉強開始直後である場合、スピーカ17に“いつでも質問して”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの行動が勉強であると判別してから所定の時間経過した場合、スピーカ17に“少し息抜きしたら”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの属性が幼児または小学校の低学年である場合、スピーカ17に簡単な加算、減算、乗算などを問う質問を発せさせる。また、制御部22は、例えば、ユーザの属性における性別および幼児、小学校低学年、中学年、および高学年、中学生、ならびに高校生毎に流行している話題を提示する言葉を発せさせる。子供との対話の実行後、プロセスはステップS704に進む。
ステップS704では、制御部22は、携帯端末11が充電台12から離脱しているか否かを判別する。離脱していない場合、プロセスはステップS704を繰返す。離脱している場合、プロセスはステップS705に進む。
ステップS705では、制御部22は、ステップS701において判別したユーザの属性に基づいて、子供外出用の対話を実行させる。制御部22は、例えば、現在時刻が過去の行動履歴における通学直前の時刻である場合、スピーカ17に“忘れ物は無い?”および“宿題を持った?”などの言葉を発せさせる。また、制御部22は、例えば、季節が夏季である場合、スピーカ17に“帽子を被った?”などの言葉を発せさせる。また、制御部22は、例えば、スピーカ17に“ハンカチを持った?”などの言葉を発せさせる。子供外出用の対話の実行後、子供部屋対話のサブルーチンS700を終了して、図7に示す制御部22が実行する部屋判別処理に戻る。
次に、本開示において携帯端末11の制御部22が実行する、寝室対話のサブルーチンS800について、図11のフローチャートを用いて説明する。
ステップS801では、制御部22は、外部情報を解析する。解析後、プロセスはステップ802に進む。
ステップS802では、制御部22は、ステップS801において解析した外部情報に基づいて、就寝用の対話を実行させる。制御部22は、例えば、外部情報に関わらず、スピーカ17に“おやすみなさい”、“鍵は大丈夫?”、および“火の元は確認した?”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき前日の気温より予想気温が低い場合、スピーカ17に“今晩冷え込むよ”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき前日の気温より予想気温が高い場合、スピーカ17に“今晩は暑くなるよ”などの言葉を発せさせる。就寝用の対話の実行後、プロセスはステップS803に進む。
ステップS803では、制御部22は、携帯端末11が充電台12から離脱しているか否かを判別する。離脱していない場合、プロセスはステップS803を繰返す。離脱している場合、プロセスはステップS804に進む。
ステップS804では、制御部22は、ステップS801において解析したユーザの外部情報に基づいて、起床用の対話を実行させる。制御部22は、例えば、外部情報に関わらず、スピーカ17に“おはよう”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき前日の気温より予想気温が低いと判別する場合、スピーカ17に“今日、寒くなるよ。セーターあるといいよ”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき前日の気温より予想気温が高いと判別する場合、スピーカ17に“今日、暑くなるよ。薄着がいいよ”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき雨が降っていることを判別する場合、スピーカ17に“今日は雨だよ。早く出かけなくちゃね”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき通勤電車または通学電車の遅延を判別する場合、スピーカ17に“電車遅れているよ。早く出かけなくちゃね”などの言葉を発せさせる。起床用の対話の実行後、寝室対話のサブルーチンS800を終了して、図7に示す制御部22が実行する部屋判別処理に戻る。
以上のような構成の本実施形態に係る携帯端末11は、携帯端末11に電力を供給する充電台12の設置された場所に応じた内容で、発話処理および音声認識処理の少なくとも一方を実行する。通常の人間同士の対話では、場所に応じて話題が変わり得る。それゆえ、このような構成により、携帯端末11は、コミュニケーションシステム10に、対話における状況に対して、より適切な対話をさせ得る。このように、携帯端末11では、従来の携帯端末に比べて、機能が改善される。
また、本実施形態に係る携帯端末11は、充電台12に載置される場合および充電台12から離脱する場合に応じた内容で、発話処理および音声認識処理の少なくとも一方を実行する。携帯端末11の充電台12への着脱は、ユーザの特定の行動に関連することがある。それゆえ、このような構成により、携帯端末11は、コミュニケーションシステム10に、ユーザの特定の行動に対して、より適切な対話をさせ得る。このように、携帯端末11では、従来の携帯端末に比べて、機能が改善される。
また、本実施形態に係る携帯端末11は、対話対象のユーザの属性に応じた内容で、発話処理および音声認識処理の少なくとも一方を実行する。通常の人間同士の対話では、性別および世代などの属性によって話題が変わり得る。それゆえ、このような構成により、携帯端末11は、コミュニケーションシステム10に、対話対象のユーザに対して、より適切な対話をさせ得る。
また、本実施形態に係る携帯端末11は、外部情報に応じた内容で、発話処理および音声認識処理の少なくとも一方を実行する。このような構成により、携帯端末11は、コミュニケーションシステム10の構成要素として、対話する場所における充電台12から携帯端末11の着脱する状況で望まれる外部情報に基づくアドバイスを提供し得る。
また、本実施形態に係る充電台12は、携帯端末11が載置されている場合、携帯端末11に発話処理および音声認識処理の少なくとも一方を実行させている。このような構成により、充電台12は、単体で所定の機能を実行する携帯端末11とともにユーザとの対話相手になり得る。したがって、充電台12は、例えば、一人暮らしの高齢者の食事中の対話相手となり、高齢者の孤食を防ぎ得る。このように、充電台12は、従来の充電台に比べて、機能が改善されている。
また、本実施形態に係る充電台12は、携帯端末11が載置される時、携帯端末11に発話処理および音声認識処理の少なくとも一方の実行を開始させている。したがって、充電台12は、携帯端末11の載置により、煩雑な入力などを必要とすること無く、ユーザとの対話などを開始させ得る。
また、本実施形態に係る充電台12は、携帯端末11が離脱する時、携帯端末11に発話処理及び音声認識処理の少なくとも一方の実行を終了させている。したがって、充電台12は、携帯端末11の離脱のみにより、煩雑な入力などを必要とすること無く、ユーザとの対話などを終了させ得る。
また、本実施形態に係る充電台12は、携帯端末11のディスプレイ19が発話処理および音声認識処理の少なくとも一方の実行対象のユーザの方向を向くように変動機構25を駆動する。したがって、充電台12は、ユーザとの対話時に、コミュニケーションシステム10を、実際に会話をする人のように、当該ユーザに認識させ得る。
また、本実施形態に係る充電台12は、ユーザとの会話内容を、充電台12と通信する異なる携帯端末11間において共有させ得る。このような構成により、充電台12は、特定のユーザの会話内容を他のユーザに把握させ得る。したがって、充電台12は、会話内容を遠隔地にいる家族などと共有させ得、家族間のコミュニケーションを円滑化し得る。
また、本実施形態に係る充電台12は、特定の対象の状態を判断して異常状態である場合に携帯端末11のユーザに報知する。したがって、充電台12は、特定の対象を見守りし得る。
また、本実施形態に係るコミュニケーションシステム10は、対話対象のユーザに対して、過去の会話内容、発した音声、および充電台12の設置された場所などに基づいて、発する言葉を決める。このような構成により、コミュニケーションシステム10は、対話中のユーザの現在の会話内容および過去の会話内容ならびに設置場所に合わせた会話を行い得る。
また、本実施形態に係るコミュニケーションシステム10は、特定のユーザの生活習慣などを学習して、ユーザへのアドバイスを出力する。このような構成により、コミュニケーションシステム10は、薬を飲むべき時の通知、当該ユーザの好みの食事の提案、当該ユーザの健康のための食事内容の提案、および当該ユーザが継続可能かつ効果的な運動の提案を行うことにより、ユーザの忘却し易いこと、ユーザに未知のことを認識させ得る。
また、本実施形態に係るコミュニケーションシステム10は、現在位置に関連付けられた情報を報知する。このような構成により、コミュニケーションシステム10は、ユーザの居住地近辺に特化した地域情報をユーザに教示し得る。
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
例えば、本実施形態において、携帯端末11の制御部22が、発話処理、音声認識処理、会話内容の学習、生活習慣の学習および当該生活習慣の学習に基づくアドバイス、ならびに現在位置に関連付けられた情報の報知を実行するが、これらを充電台12の制御部32が実行してもよい。充電台12の制御部32が実行する構成においては、ユーザとの対話において充電台12のマイク26、スピーカ27、およびカメラ28を駆動してもよいし、携帯端末11のマイク16、スピーカ17、およびカメラ18を通信部23、13を介して駆動してもよい。
また、本実施形態において、充電台12の制御部32が、発話処理および音声認識処理の少なくとも一方の実行の可否を判別するが、判別を携帯端末11の制御部22に実行させてもよい。また、本実施形態において、充電台12の制御部32が充電台12の設置された場所を判別するが、充電台12に載置された携帯端末11の制御部22が判別してもよい。
また、本実施形態において、上記変形例を組合わせて、充電台12の制御部32が発話処理、音声認識処理、会話内容の学習、生活習慣の学習および当該生活習慣の学習に基づくアドバイス、ならびに現在位置に関連付けられた情報の報知を実行し、かつ携帯端末11の制御部22が発話処理および音声認識処理の少なくとも一方の実行の可否を判別してもよい
また、本実施形態において、携帯端末11の制御部22が、登録処理を実行するが、充電台12の制御部32が実行してもよい。