以下、本開示の実施形態について、図面を参照して説明する。
図1、2に示すように、本開示の対話型電子機器として携帯端末11を含むコミュニケーションシステム10は、携帯端末11および充電台12を含んでいる。充電台12には携帯端末11が載置され得る。携帯端末11を充電台12に載置している間、充電台12は携帯端末11の内蔵のバッテリを充電する。また、携帯端末11を充電台12に載置する場合、コミュニケーションシステム10はユーザと対話し得る。また、充電台12は、伝言機能を有しており、指定したユーザに対する伝言を当該ユーザに報知する。
図3に示すように、携帯端末11は、通信部13、受電部14、バッテリ15、マイク16、スピーカ17、カメラ18、ディスプレイ19、入力部20、記憶部21、および制御部22などを含んでいる。
通信部13は、音声、文字、および画像などを通信可能な通信インタフェースを含む。本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、IEC60603に準拠するコネクタ、USB規格に準拠するコネクタ、RCA端子に対応するコネクタ、EIAJ CP−1211Aに規定されるS端子に対応するコネクタ、EIAJ RC−5237に規定されるD端子に対応するコネクタ、HDMI(登録商標)規格に準拠するコネクタ、およびBNC(British Naval Connector、またはBaby‐series N Connectorなど)を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、IEC 61754に準拠する種々のコネクタを含んでよい。無線通信機は、Bluetooth(登録商標)、およびIEEE802.11を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも1つのアンテナを含む。
通信部13は、自身の携帯端末11の外部機器、例えば充電台12と通信する。通信部13は、有線通信または無線通信により、外部機器と通信する。なお、通信部13は、充電台12と有線通信をする構成においては、携帯端末11を充電台12の正規の位置及び姿勢で載置することにより、充電台12の通信部23に接続され、通信し得る。また、通信部13は、無線通信により、直接的に、または、例えば、基地局、およびインターネット回線または電話回線を介して間接的に、外部機器と通信してよい。
受電部14は、充電台12から供給する電力を受電する。受電部14は、例えば、コネクタを有し、有線を介して充電台12から電力を受電する。または、受電部14は、例えば、コイルなどを有し、電磁誘導方式および磁界共振方式などの無線給電方法により充電台12から電力を受電する。受電部14は、受電した電力をバッテリ15に蓄電する。
バッテリ15は、受電部14から供給される電力を蓄電する。バッテリ15は、蓄電した電力を放電することにより、携帯端末11の各構成要素に、当該構成要素を機能させるために必要な電力を供給する。
マイク16は、携帯端末11の周囲で発生する音声を検出して、電気信号に変換する。マイク16は、検出した音声を制御部22に出力する。
スピーカ17は、制御部22の制御に基づいて、音声を発する。スピーカ17は、例えば、後述する発話機能を実行している場合、制御部22が発話を決定した言葉を発する。また、スピーカ17は、例えば、他の携帯端末との通話を実行している場合、当該携帯端末から取得する音声を発する。
カメラ18は、撮像範囲内の被写体を撮像する。カメラ18は、静止画像および動画像のいずれも撮像可能である。カメラ18は、動画像の撮像時に、例えば60fpsで、被写体を連続的に撮像する。カメラ18は、撮像した画像を制御部22に出力する。
ディスプレイ19は、例えば液晶ディスプレイ(LCD(Liquid Crystal Display))、または、有機若しくは無機ELディスプレイである。ディスプレイ19は、制御部22の制御に基づいて、画像を表示する。
入力部20は、例えば、ディスプレイ19と一体化したタッチパネルである。入力部20は、ユーザによる携帯端末11に関する多様な要求または情報の入力を検出する。入力部20は、検出した入力を制御部22に出力する。
記憶部21は、例えば、半導体メモリ、磁気メモリ、および光メモリなどを用いて構成されてよい。記憶部21は、例えば、後述する、登録処理、発話処理、音声認識処理、見守り処理、データ通信処理、および通話処理などを実行するための多様な情報、ならびに上記の処理において制御部22が取得する、ユーザの画像、ユーザ情報、充電台12の設置場所、外部情報、会話内容、行動履歴、地域情報、見守り処理の特定の対象などを記憶する。
制御部22は、1又は複数のプロセッサを含む。制御部22は、種々の処理のためのプログラム及び演算中の情報を記憶する1又は複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。メモリは、プロセッサから独立しているメモリ、及びプロセッサの内蔵メモリが含まれる。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けIC(ASIC; Application Specific Integrated Circuit)が含まれる。プロセッサには、プログラマブルロジックデバイス(PLD; Programmable Logic Device)が含まれる。PLDには、FPGA(Field−Programmable Gate Array)が含まれる。制御部22は、一つ又は複数のプロセッサが協働するSoC(System on a Chip)、及びSiP(System In a Package)のいずれかであってよい。
制御部22は、例えば、後述するように充電台12からコミュニケーションモードへの移行指令を取得すると、コミュニケーションモードにおける多様な機能を実行するために、携帯端末11の各構成要素を制御する。なお、コミュニケーションモードとは、携帯端末11を充電台12とともにコミュニケーションシステム10として、不特定のユーザを含む対話対象のユーザとの対話、特定のユーザの観察、および特定のユーザへのメッセージ発信などを実行させるモードである。
制御部22は、コミュニケーションモードを実行するユーザの登録のための登録処理を実行する。制御部22は、例えば、入力部20へのユーザ登録を要求する入力の検出などにより、登録処理を開始する。
例えば、制御部22は、登録処理において、ユーザにカメラ18のレンズを見るようにメッセージを発し、カメラ18を駆動することによりユーザの顔を撮像する。さらに、制御部22は、撮像した画像を、ユーザの名称および属性などのユーザ情報と関連付けて記憶する。属性とは、例えば、携帯端末11の所有者および当該所有者に対する続柄、性別、年齢層、身長、体重などである。制御部22は、ユーザ情報を、入力部20へのユーザによる入力により取得する。
制御部22は、登録処理において、さらに、登録された画像を関連付けたユーザ情報とともに充電台12に転送する。充電台12に付与するために、制御部22は、携帯端末11と通信可能であるかを判別する。
制御部22は、充電台12と通信できない場合に、通信可能とさせるメッセージをディスプレイ19に表示させる。例えば、携帯端末11が充電台12と有線通信を行う構成において携帯端末11と充電台12とが接続されていない場合、制御部22は接続を要求するメッセージをディスプレイ19に表示させる。また、携帯端末11が充電台12と無線通信を行う構成において携帯端末11と充電台12とが通信できない程度に離れている場合、制御部22は充電台12に近付くことを要求するメッセージをディスプレイ19に表示させる。
制御部22は、携帯端末11および充電台12が通信可能である場合、登録された画像およびユーザ情報を充電台12に向けて転送させ、転送中であることをディスプレイ19に表示させる。さらに、制御部22は、転送の完了の通知を充電台12から取得する場合、初期設定完了のメッセージをディスプレイ19に表示させる。
制御部22は、コミュニケーションモードに移行している間、発話処理および音声認識処理の少なくとも一方を実行することにより、コミュニケーションシステム10を対話対象のユーザと対話させる。
制御部22が実行する発話処理における発話内容は、対話対象のユーザの特定レベルに応じて、予め分類されている。特定レベルは、対話対象のユーザの特定性を示す度合いである。特定レベルは、例えば、対話対象のユーザが完全に不特定である第1のレベルから、年齢および性別などの一部の属性が特定される第2のレベルを経て、登録されたユーザの中の一人に特定可能な第3のレベルまでを含む。特定レベルが対話対象のユーザを特定する方向に向かう程発話内容と対話対象のユーザとの関わり度合いが増加するように、発話内容は特定レベルに対して分類されている。
第1のレベルに対して分類されている発話内容は、例えば、不特定のユーザを対象にした内容、または不特定のユーザに対して開示が許可された内容である。第1のレベルに対して分類されている発話内容は、例えば、「おはよう」、「こんばんわ」、「おーい」、および「お話しましょう」のような挨拶および単なる呼び掛けなどである。
第2のレベルに対して分類されている発話内容は、例えば、対話対象のユーザが属している属性を対象にした内容、または当該属性に対して開示が許可された内容である。第2のレベルに対して分類されている発話内容は、例えば、特定の属性に対する呼び掛けおよび特定の属性への提案などである。第2のレベルに対して分類されている発話内容は、例えば、属性が母親である場合、「あっ、お母さんですか?」および「今日のお料理はカレーなんて、どうでしょう?」などである。また、第2のレベルに対して分類されている発話内容は、例えば、属性が男児である場合、「太朗君だね」および「宿題は終ったかな?」などである。
第3のレベルに対して分類されている発話内容は、例えば、特定されたユーザを対象にした、当該特定のユーザのみに開示が許可された内容である。第3のレベルに対して分類されている発話内容は、例えば、当該ユーザ宛のメールまたは電話の受信の通知、当該受信内容、当該ユーザのメモまたはスケジュール、ならびに当該ユーザの行動履歴などである。第3のレベルに対して分類されている発話内容は、例えば、「明日は医者に予約しているよ」および「佐藤さんからメールが来ているよ」などである。
なお、第1のレベルから第3のレベルにおける開示が許可される内容は、入力部20の検出に基づいて、ユーザに設定され得る。
制御部22は、発話処理のために、対話対象のユーザの特定レベルを充電台12から取得する。制御部22は、対話対象のユーザの特定レベルを認識し、それぞれの特定レベルに対して分類されている発話内容の中から、現在時刻、充電台12の設置された場所、充電台12への載置または離脱、対話対象のユーザの属性、対話対象のユーザ、通信部13が取得した外部情報、対話対象のユーザの動作、携帯端末11が受信したメールおよび電話、携帯端末11に登録されたメモおよびスケジュール、当該ユーザの発した音声、ならびに当該ユーザの過去の会話内容の少なくとも1つに応じて、発話する内容を決定する。なお、充電台12の設置された場所、充電台12への載置または離脱、対話対象のユーザの属性、および外部情報については、後述する。制御部22は、決定した内容の音声を発するように、スピーカ17を駆動する。
制御部22は、例えば、第1のレベルに対して分類されている発話内容の中から、現在時刻、充電台12の設置された場所、充電台12に載置した場合および充電台12から離脱させた場合のいずれであるか、外部情報、対話対象のユーザの動作、対話対象のユーザの発した音声に応じて、発話内容を決定する。
また、制御部22は、例えば、第2のレベルに対して分類されている発話内容の中から、現在時刻、充電台12の設置された場所、充電台12に載置した場合および充電台12から離脱させた場合のいずれであるか、対話対象のユーザの属性、外部情報、対話対象のユーザの動作、対話対象ユーザの発した音声に応じて、発話内容を決定する。
また、制御部22は、例えば、第3のレベルに対して分類されている発話内容の中から、現在時刻、充電台12の設置された場所、充電台12に載置した場合および充電台12から離脱させた場合のいずれであるか、対話対象のユーザの属性、対話対象のユーザ、外部情報、対話対象のユーザの動作、携帯端末11が受信した対話対象のユーザ宛のメールおよび電話、携帯端末11に登録された対話対象のユーザのメモおよびスケジュール、対話対象のユーザの発した音声、ならびに対話対象のユーザの過去の会話内容の少なくともいずれかに応じて、発話内容を決定する。
制御部22は、発話内容の決定のために、充電台12の設置された場所を判別する。制御部22は、通信部13を介して充電台12から取得する場所の通知に基づいて、充電台12の設置された場所を判別する。または、制御部22は、充電台12に載置された場合、マイク16およびカメラ18の少なくとも一方がそれぞれ検出する音声および画像の少なくとも一方に基づいて、充電台12の設置された場所を判別してよい。
制御部22は、充電台12の設置場所が、例えば、玄関である場合、外出または帰宅に際して適した言葉を、発話する内容に決定する。また、制御部22は、充電台12の設置場所が、例えば、食卓である場合、食事および調理などの食卓で行われる行為に適した言葉を、発話する内容に決定する。また、制御部22は、充電台12の設置場所が、例えば子供部屋である場合、子供の話題および子供への注意の呼びかけなどに適した言葉を、発話する内容に決定する。また、制御部22は、充電台12の設置場所が、寝室である場合、就寝時または起床時に適した言葉を、発話する内容に決定する。
制御部22は、発話内容の決定のために、充電台12に載置した場合および充電台12から離脱させた場合のいずれであるかを判別する。制御部22は、充電台12から取得する載置の通知に基づいて、載置した場合か離脱した場合かを判別する。例えば、制御部22は、載置されていることを示す通知を充電台12から取得している間は充電台12に載置されている場合であると判別し、当該通知を取得出来なくなる時に離脱されたと判別する。または、制御部22は、受電部14が充電台12から電力を取得可能か否か、または通信部13が充電台12と通信可能であるか否かに基づいて携帯端末11の充電台12に対する載置関係を判別してよい。
制御部22は、携帯端末11が充電台12に載置された場合、充電台12の設置場所に入るユーザに適した言葉を、発話する内容に決定する。また、制御部22は、携帯端末11が充電台12から離脱させた場合、充電台12の設置場所から出て行くユーザに適した言葉を、発話する内容に決定する。
制御部22は、発話内容の決定のために、対話対象のユーザの動作を判別する。制御部22は、例えば、充電台12の玄関への設置を判別する場合、充電台12から取得する画像またはカメラ18から取得する画像に基づいて、対話対象のユーザが外出する動作か、帰宅する動作であるかを判別する。または、制御部22は、カメラ18が検出する画像などに基づいて、対話対象のユーザが外出する動作であるか、帰宅する動作であるかを判別してよい。制御部22は、前述の携帯端末11の充電台12への載置状態に、外出および帰宅のいずれであるかを組合わせて、適切な言葉を、発話する内容に決定する。
制御部22は、発話内容の決定のために、特定された対話対象のユーザの属性を判別する。制御部22は、充電台12からの対話対象であるユーザ通知および記憶部21に記憶したユーザ情報に基づいて、特定された対話対象のユーザの属性を判別する。制御部22は、対話対象のユーザの例えば、性別、世代、通勤先、および通学先などの属性に適した言葉を、発話する内容に決定する。
制御部22は、発話内容の決定のために、通信部13を駆動して、天気予報および交通状況などの外部情報を取得する。制御部22は、取得した外部情報に応じて、例えば天候またはユーザの使用する交通機関の混雑状況に関する注意喚起する言葉を、発話する内容に決定する。
また、制御部22は、音声認識処理において、充電台12の設置された場所に応じて、マイク16が検出する音声の形態素解析を行い、ユーザの発話内容を認識する。制御部22は、認識した発話内容に基づいて、所定の処理を実行する。所定の処理は、例えば、前述のように認識した発話内容に対する発話処理、ならびに所望の情報の探索、所望の画像の表示、および所望の相手への電話およびメールの発信を実行するための処理である。
また、制御部22は、コミュニケーションモードに移行している間、連続的に実行した、上述の発話処理および音声認識処理を記憶部21に記憶させ、特定された対話対象のユーザに対する会話内容を学習する。制御部22は、学習した会話内容に基づいて、以後の発話処理において発話する言葉の決定に活用する。また、制御部22は、学習した会話内容を、充電台12に転送してよい。
また、制御部22は、コミュニケーションモードに移行している間、特定された対話対象のユーザに対する会話内容および当該ユーザとの対話時にカメラ18に撮像させる画像などから、当該ユーザの行動履歴などを学習する。制御部22は、学習した行動履歴に基づいて、当該ユーザに対するアドバイスなどを報知する。アドバイスの報知は、スピーカ17による音声の発話でも、ディスプレイ19への画像の表示であってもよい。なお、アドバイスは、例えば、薬を飲むべき時の通知、当該ユーザの好みの食事の提案、当該ユーザの健康のための食事内容の提案、および当該ユーザが継続可能かつ効果的な運動の提案などである。また、制御部22は、学習した行動履歴を当該ユーザと関連付けて、充電台12に通知する。
また、制御部22は、コミュニケーションモードに移行している間、携帯端末11の現在位置を検出する。現在位置の検出は、例えば、通信中の基地局の設置位置または携帯端末11が備え得るGPSに基づく。制御部22は、検出した現在位置に関連付けられた地域情報をユーザに報知する。地域情報の報知は、スピーカ17による音声の発話でも、ディスプレイ19への画像の表示であってもよい。なお、地域情報は、例えば、近隣店舗の特売情報などである。
また、制御部22は、コミュニケーションモードに移行している間に特定の対象に対する見守り処理の開始要求を入力部20が検出する場合、当該開始要求を充電台12に通知する。特定の対象とは、例えば、登録された特定のユーザ、および充電台12が設置された部屋などである。
見守り処理は携帯端末11の載置の有無に関わらず、充電台12により実行される。制御部22は、見守り処理を実行させている充電台12から特定の対象が異常状態である通知を取得する場合、その旨をユーザに報知する。ユーザへの報知は、スピーカ17による音声の発信でも、ディスプレイ19への警告画像の表示であってもよい。
また、制御部22は、コミュニケーションモードへの移行の有無に関わらず、入力部20への入力に基づいて、メールの送受信およびブラウザを用いた画像表示などのデータ通信処理、ならびに他の電話との通話処理を実行する。
充電台12は、通信部23、給電部24、変動機構25、マイク26、スピーカ27、カメラ28、人感センサ29、載置センサ30、記憶部31、および制御部32などを含んでいる。
通信部23は、携帯端末11の通信部13と同様に、音声、文字、および画像などを通信可能な通信インタフェースを含む。通信部23は、有線通信または無線通信により、携帯端末11と通信する。通信部23は、有線通信または無線通信により、外部機器と通信してもよい。
給電部24は、充電台12に載置された携帯端末11の受電部14に電力を供給する。給電部24は、上述のように、有線または無線により受電部14に電力を供給する。
変動機構25は、充電台12に載置される携帯端末11の向きを変動させる。変動機構25は、充電台12に対して定められる下底面bs(図1、2参照)に対して定められる上下方向および左右方向の少なくとも一方に沿って、携帯端末11の向きを変動可能である。変動機構25はモータを内蔵しており、モータの駆動により携帯端末11の向きを変動させる。
マイク26は、充電台12の周囲で発生する音声を検出して、電気信号に変換する。マイク26は、検出した音声を制御部32に出力する。
スピーカ27は、制御部32の制御に基づいて、音声を発する。
カメラ28は、撮像範囲内の被写体を撮像する。カメラ28は、静止画像および動画像のいずれも撮像可能である。カメラ28は、動画像の撮像時に、例えば60fpsで、被写体を連続的に撮像する。カメラ28は、撮像した画像を制御部32に出力する。
人感センサ29は、例えば、赤外線センサであり、熱の変化を検出することにより、充電台12の周囲における人の存在を検出する。人感センサ29は、人の存在を検出する場合、その旨を制御部32に通知する。なお、人感センサ29は、赤外線センサ以外のセンサであってよく、例えば、超音波センサであってもよい。または、人感センサ29は、連続的に撮像される画像の変化に基づいて人の存在を検出するようにカメラ28を機能させる構成であってよい。または、人感センサ29は、検出する音声に基づいて人の存在を検出するようにマイク26を機能させる構成であってよい。
載置センサ30は、充電台12において、例えば、携帯端末11の載置面に設けられており、携帯端末11の載置の有無を検出する。載置センサ30は、例えば圧電素子などにより構成されている。載置センサ30は、携帯端末11が載置されるとき、その旨を制御部32に通知する。
記憶部31は、例えば、半導体メモリ、磁気メモリ、および光メモリなどを用いて構成されてよい。記憶部31は、例えば、充電台12の設置場所を判別するために、予め想定される各設置場所に特有な音声および画像の少なくとも一方を記憶する。また、記憶部31は、例えば、制御部32が判別した設置場所を記憶する。また、記憶部31は、例えば、携帯端末11から取得するユーザの登録に係る画像およびユーザ情報を、携帯端末11毎および登録したユーザ毎に記憶する。また、記憶部31は、例えば、携帯端末11から取得する会話内容をユーザ毎に記憶する。また、記憶部31は、例えば、後述するように、カメラ28による撮像結果に基づく変動機構25の駆動のための情報を記憶する。また、記憶部31は、例えば、携帯端末11から取得する行動履歴をユーザ毎に記憶する。
制御部32は、携帯端末11の制御部22と同様に、1又は複数のプロセッサを含む。制御部32は、携帯端末11の制御部22と同様に、種々の処理のためのプログラム及び演算中の情報を記憶する1又は複数のメモリを含んでよい。
制御部32は、充電台12に、例えば商用系統などから電力を受電する場合、マイク26およびカメラ28の少なくとも一方がそれぞれ検出する音声および画像の少なくとも一方に基づいて、充電台12の設置された場所を判別する。制御部32は、設置された場所を、充電台12に載置される携帯端末11に通知する。
制御部32は、少なくとも載置センサ30が携帯端末11の載置を検出してから離脱を検出するまでの間、さらには離脱を検出してから所定時間が経過するまでの間、コミュニケーションシステム10をコミュニケーションモードに維持させる。したがって、制御部32は、充電台12に携帯端末11が載置されている場合、携帯端末11に発話処理および音声認識処理の少なくとも一方を実行させ得る。また、制御部32は、充電台12から携帯端末11が離脱してからの所定時間が経過するまでの間、携帯端末11に発話処理および音声認識処理の少なくとも一方を実行させ得る。
制御部32は、コミュニケーションシステム10をコミュニケーションモードに維持させている間、人感センサ29の検出結果に基づいて、充電台12の周囲における人の存在の有無を判別する。制御部32は、人が存在すると判別する場合、マイク26およびカメラ28の少なくとも一方を起動して、それぞれ音声および画像の少なくとも一方を検出させる。制御部32は、検出された音声および画像の少なくとも一方に基づいて、対話対象のユーザの特定レベルを決定する。なお、本実施形態においては、制御部32は、音声および画像の両者に基づいて、対話対象のユーザの特定レベルを決定する。
制御部32は、例えば、取得する音声における声の大きさ、高さ、および声質に基づいて、対話対象のユーザの年齢および性別などの属性を判別する。また、制御部32は、例えば、取得する画像内に含まれる対話対象のユーザの背格好および全体輪郭などから、対話対象のユーザの年齢および性別などの属性を判別する。さらに、制御部32は、取得する画像中の対話対象のユーザの顔に基づいて対話対象のユーザを特定する。
制御部32は、対話対象のユーザを特定した場合、特定レベルを第3のレベルに決定し、特定した対話対象のユーザとともに携帯端末11に通知する。制御部32は、対話対象のユーザの属性の一部を判別した場合、特定レベルを第2のレベルに決定し、当該属性とともに携帯端末11に通知する。制御部32は、対話対象ユーザの属性をまったく判別できなかった場合、特定レベルを第1のレベルに決定し、携帯端末11に通知する。
制御部32は、特定のレベルを第3のレベルに決定し続ける間、カメラ28による撮像を継続させ、特定の対話対象のユーザの顔を画像毎に探索する。制御部32は、画像の中で探索された顔の位置に基づいて、携帯端末11のディスプレイ19が当該ユーザの方向を向くように、変動機構25を駆動する。
制御部32は、載置センサ30が携帯端末11の載置を検出する時、コミュニケーションシステム10のコミュニケーションモードへの移行を開始させる。したがって、制御部32は、充電台12に携帯端末11が載置される時、携帯端末11に発話処理および音声認識処理の少なくとも一方の実行を開始させる。また、制御部32は、載置センサ30が携帯端末11の載置を検出する場合、載置されていることを携帯端末11に通知する。
また、制御部32は、載置センサ30が携帯端末11の離脱を検出する時または検出後の所定時間の経過後に、コミュニケーションシステム10におけるコミュニケーションモードを終了させる。したがって、制御部32は、充電台12から携帯端末11が離脱する時または検出後の所定時間の経過後に、携帯端末11に発話処理および音声認識処理の少なくとも一方の実行を終了させる。
また、制御部32は、携帯端末11からユーザ毎の会話内容を取得する場合、当該会話内容を携帯端末11毎に記憶部31に記憶させる。制御部32は、必要に応じて、充電台12と直接または間接的に通信する異なる携帯端末11間において記憶した会話内容を共有させる。なお、充電台12と間接的に通信するとは、充電台12が電話回線に繋がれており、当該電話回線を介して通信すること、および充電台12に載置された携帯端末11を介して通信することの少なくとも一方を含む。
また、制御部32は、携帯端末11から見守り処理を実行する指令を取得する場合、見守り処理を実行する。制御部32は、見守り処理において、カメラ28を起動して、特定の対象の連続的な撮像を実行する。制御部32は、カメラ28が撮像した画像の中で特定の対象を抽出する。制御部32は、抽出した特定の対象の状態を、画像認識などに基づいて、判断する。特定の対象の状態とは、例えば、特定のユーザが倒れたままなどの異常状態、留守中の部屋における動体の検出状態である。制御部32は、特定の対象が異常状態であると判断する場合、見守り処理の実行を指令した携帯端末11に、特定の対象が異常状態であることを通知する。
また、制御部32は、携帯端末11が離脱する場合、伝言の有無のユーザへの問合せをスピーカ27に発せさせる。制御部32は、マイク26が検出した音声に対して、音声認識処理を行い、当該音声が伝言であるか否かを判別する。なお、制御部32は、伝言の有無の問合せをすること無く、マイク26が検出した音声が伝言であるか否かを判別可能である。制御部32は、マイク26が検出した音声が伝言である場合、当該伝言を記憶部31に記憶させる。
制御部32は、伝言と判別した音声において、伝言するべきユーザの指定があるか否かを判別する。指定が無い場合、制御部32は、ユーザの指定を促す要求を出力させる。要求の出力は、例えばスピーカ27からの発話である。制御部32は、音声認識処理を行い、伝言するべきユーザの指定を認識する。
制御部32は、指定されたユーザの属性を記憶部31から読出す。制御部32は、記憶部31から読出したユーザの属性において当該ユーザが記憶部31に記憶された携帯端末11の所有者である場合、載置センサ30に携帯端末11が載置されるまで待機する。制御部32は、載置センサ30が携帯端末11の載置を検出する場合、通信部23に当該携帯端末11の所有者が指定されたユーザであるか否かを判別する。制御部32は、載置された携帯端末11の所有者が指定されたユーザである場合、記憶部31に記憶させた伝言を出力させる。伝言の出力は、例えば、スピーカ27による発話である。
また、制御部32は、伝言の取得後の第1の時間の経過時までに携帯端末11の載置を検出しなかった場合、通信部23を介して、指定されたユーザが所有者である携帯端末11に伝言を送信する。制御部32は、伝言を音声形式のデータとして送信しても、文字形式のデータとして送信してもよい。第1の時間は、例えば、伝言の保持時間として考えられる時間であって、統計データなどに基づいて、製造時には定められている。
また、制御部32は、記憶部31から読出したユーザの属性において当該ユーザが携帯端末11の所有者でない場合、カメラ28を起動して、撮像する画像に指定されたユーザの顔が含まれるか否かの判別を開始する。制御部32は、ユーザの顔が含まれる場合、記憶部31に記憶させた伝言を出力させる。
さらに、制御部32は、記憶した伝言の内容を解析する。制御部32は、伝言の内容に関連したメッセージが記憶部31に記憶されているか否か判別する。伝言の内容に関連したメッセージは、伝言に関する事柄が特定のユーザに対して特定の時期に発生または実行することが推定される伝言に対して予め想定され、記憶部31に記憶されている。当該メッセージは、例えば、“行ってきます”、“薬飲んでね”、“手を洗ってね”、“早く寝なさい”、および“歯を磨きなさい”のそれぞれの伝言に対する、“そろそろ帰ってくるよ”、“もう、飲んだ?”、“ちゃんと洗った?”、“アラームはセットした?”、および“もう磨いた?”のメッセージである。
なお、伝言の内容に関連したメッセージの一部は、充電台12の設置場所と関連付けられている。例えば、“早く寝なさい”に対する“アラームはセットした?”のように、寝室で知らせるべきメッセージは、充電台12の設置場所が寝室である場合にのみ、選択される。
制御部32は、伝言の内容に関連したメッセージが記憶されている場合、当該伝言に関する事柄の発生または実行に関係する特定のユーザを判別する。制御部32は、特定のユーザの行動履歴を分析し、当該伝言に関する事柄の発生または実行する時期を想定する。
制御部32は、例えば、“行ってきます”の伝言に対して、当該伝言を入力したユーザの行動履歴に基づいて、伝言の入力後から帰宅までかかる時間を分析し、当該時間の経過時期を想定する。また、制御部32は、例えば、“薬飲んでね”の伝言に対して、伝言をすべきユーザの行動履歴に基づいて、薬を飲むべき時期を想定する。また、制御部32は、“手を洗ってね”の伝言に対して、伝言をすべきユーザの行動履歴に基づいて、次の食事の開始時期を想定する。また、制御部32は、例えば、“早く寝なさい”の伝言に対して、伝言をすべきユーザの行動履歴に基づいて、就寝時期を想定する。また、制御部32は、例えば、“歯を磨きなさい”の伝言に対して、伝言をすべきユーザの行動履歴に基づいて、次の食事の終了時期および就寝時期を想定する。
制御部32は、想定した当該時期に、カメラ28を起動して、撮像する画像に指定されたユーザの顔が含まれるか否かの判別を開始する。制御部32は、ユーザの顔が含まれる場合、伝言の内容に関連したメッセージを出力させる。メッセージの出力は、例えば、スピーカ27による発話である。
制御部32は、伝言をすべきユーザが携帯端末11の所有者であって、かつ想定した当該時期から第2の時間が経過した場合、当該携帯端末11に、伝言の内容に関連したメッセージを送信する。制御部32は、メッセージを音声形式のデータとして送信しても、文字形式のデータとして送信してもよい。第2の時間は、例えば、想定された時期から、伝言に関する事柄の発生または実行が確実に行われていると想定される時期までの間隔であって、統計データなどに基づいて、製造時には定められている。
次に、本開示において携帯端末11の制御部22が実行する、初期設定処理について、図4のフローチャートを用いて説明する。初期設定処理は、ユーザによる初期設定を開始する入力を入力部20が検出する場合に開始する。
ステップS100において、制御部22は、携帯端末11のカメラ18に顔を合わせるように要求するメッセージをディスプレイ19に表示させる。ディスプレイ19への表示後に、プロセスはステップS101に進む。
ステップS101では、制御部22は、カメラ18に撮像を実行させる。撮像後、プロセスはステップS102に進む。
ステップS102では、制御部22は、ユーザの名称および属性を尋ねる質問をディスプレイ19に表示させる。質問の表示後、プロセスはステップS103に進む。
ステップS103では、制御部22は、ステップS102における質問に対する回答の有無を判別する。回答が無い時、プロセスはステップS103を繰返す。回答がある時、プロセスはステップS104に進む。
ステップS104では、制御部22は、ステップS101において撮像した顔の画像を、ステップS103において検出された質問に対する回答をユーザ情報として関連付けて、記憶部21に記憶させる。記憶後、プロセスはステップS105に進む。
ステップS105では、制御部22は、充電台12と通信可能であるか否かを判別する。通信不可能である時、プロセスはステップS106に進む。通信可能である時、プロセスはステップS107に進む。
ステップS106では、制御部22は、ディスプレイ19に充電台12との通信を可能にさせる行動を要求するメッセージをディスプレイ19に表示させる。通信を可能にさせる行動を要求するメッセージは、携帯端末11が充電台12と有線通信を行う構成において、例えば、“充電台に載置してください”である。また、通信を可能にさせる行動を要求するメッセージは、携帯端末11が充電台12と無線通信を行う構成において、例えば、“充電台12に近付けてください”である。メッセージの表示後、プロセスはステップS105に戻る。
ステップS107では、制御部22は、ステップS104において記憶した顔の画像、およびユーザ情報を充電台12に転送する。また、制御部22は、転送中であることを示すメッセージをディスプレイ19に表示させる。転送の開始後にプロセスはステップS108に進む。
ステップS108では、制御部22は、充電台12から転送完了の通知を取得したか否かを判別する。取得していない時、プロセスはステップS108を繰返す。取得している時、プロセスはステップS109に進む。
ステップS109では、制御部22は、初期設定の完了を示すメッセージをディスプレイ19に表示させる。表示後、初期設定処理は終了する。
次に、本開示において充電台12の制御部32が実行する、設置場所判別処理について、図5のフローチャートを用いて説明する。設置場所判別処理は、例えば、充電台12の電源がONになった後の任意の時間の経過時に開始する。
ステップS200において、制御部32は、マイク26およびカメラ28の少なくとも一方を駆動させる。駆動を開始させると、プロセスはステップS201に進む。
ステップS201では、制御部32は、記憶部31から、設置場所を判別するための、想定される各設置場所に特有な音声および画像の少なくとも一方を読出す。読出し後、プロセスはステップS202に進む。
ステップS202では、制御部32は、ステップS200において起動したマイク26およびカメラ28の少なくとも一方が検出する音声および画像の少なくとも一方を、ステップS201において記憶部31から読出した音声および画像の少なくとも一方と比較する。制御部32は、当該比較により、充電台12の設置場所を判別する。判別後、プロセスはステップS203に進む。
ステップS203では、制御部32は、ステップS203において判別した充電台12の設置場所を記憶部31に記憶させる。記憶後、設置場所判別処理は終了する。
次に、本開示において充電台12の制御部32が実行する、発話等実行判別処理について、図6のフローチャートを用いて説明する。発話等実行判別処理は、周期的に開始する。
ステップS300において、制御部32は、携帯端末11の載置を載置センサ30が検出しているか否かを判別する。検出している時、プロセスはステップS301に進む。検出していない時、発話等実行判別処理は終了する。
ステップS301では、制御部32は、発話処理および音声認識処理の少なくとも一方を開始させる指令を携帯端末11に通知する。通知後、プロセスはステップS302に進む。
ステップS302では、変動機構25および人感センサ29を駆動して、充電台12の周囲に人がいるか否かの検出を行う。変動機構25および人感センサ29を駆動させた後、プロセスはステップS303に進む。
ステップS303では、制御部32は、充電台12の周囲の人を人感センサ29が検出しているか否かを判別する。周囲の人を検出する時、プロセスはステップS304に進む。周囲の人を検出しない時、発話等実行判別処理は終了する。
ステップS304では、制御部32は、マイク26およびカメラ28を駆動し、周囲の音声および画像を検出させる。検出した音声および画像の取得後、プロセスはステップS305に進む。
ステップS305では、制御部32は、ステップS304において取得した音声および画像に基づいて、対話対象のユーザの特定レベルを決定する。決定後、プロセスはステップS306に進む。
ステップS306では、制御部32は、ステップS304において決定した特定レベルを携帯端末11に通知する。通知後、プロセスはステップS307に進む。
ステップS307では、制御部32は、ステップS305において決定した特定レベルが第3のレベルであるか否かを判別する。特定レベルが第3のレベルである場合、プロセスはステップS308に進む。特定レベルが第3のレベルでない場合、プロセスはステップS310に進む。
ステップS308では、制御部32は、撮像により取得した画像内に含まれる人の顔を探索する。また、制御部32は、探索した顔の画像内の位置を検出する。顔の探索後、プロセスはステップS309に進む。
ステップS309では、制御部32は、ステップS308において検出した顔の位置に基づいて、携帯端末11のディスプレイ19がステップS303において撮像された対話対象のユーザの顔の方向を向くように、変動機構25を駆動させる。変動機構25の駆動後、プロセスはステップS310に進む。
ステップS310では、制御部32は、充電台12の設置場所を記憶部31から読出して、携帯端末11に通知する。携帯端末11に通知後、プロセスはステップS311に進む。
ステップS311では、制御部32は、携帯端末11の離脱を載置センサ30が検出しているか否かを判別する。検出していない時、プロセスはステップS304に戻る。検出している時、プロセスはステップS312に進む。
ステップS312では、制御部32は、離脱の検出後から所定時間が経過しているか否かを判別する。所定時間が経過していない場合、プロセスはステップS312に戻る。所定時間が経過している場合、プロセスはステップS313に進む。
ステップS313では、制御部32は、発話処理および音声認識処理の少なくとも一方を終了させる指令を携帯端末11に通知する。また、制御部32は、伝言の有無の問合せをスピーカ27に実行させる。携帯端末11への通知後、発話等実行判別処理は終了する。
次に、本開示において携帯端末11の制御部22が実行する、特定レベル認識処理について、図7のフローチャートを用いて説明する。特定レベル認識処理は、充電台12が通知する特定レベルを取得する時に開始する。
ステップS400において、制御部22は取得した特定レベルを認識して、当該特定レベルに対して分類されている発話内容の中から、以後の発話処理における発話内容の決定に用いる。特定レベルの認識後、特定レベル認識処理は終了する。
次に、本開示において携帯端末11の制御部22が実行する、場所判別処理について、図8のフローチャートを用いて説明する。場所判別処理は、充電台12が通知する設置場所を取得する時に開始する。
ステップS500において、制御部22は、充電台12から取得する設置場所を解析する。解析後、プロセスはステップS501に進む。
ステップS501では、制御部22は、ステップS500において解析した充電台12の設置場所が玄関であるか否かを判別する。玄関である場合、プロセスはステップS600に進む。玄関でない場合、プロセスはステップS502に進む。
ステップS600では、制御部22は、後述する玄関対話のサブルーチンを実行する。玄関対話のサブルーチンの実行後、場所判別処理は終了する。
ステップS502では、制御部22は、ステップS500において解析した充電台12の設置場所が食卓であるか否かを判別する。食卓である場合、プロセスはステップS700に進む。食卓でない場合、プロセスはステップS503に進む。
ステップS700では、制御部22は、後述する食卓対話のサブルーチンを実行する。食卓対話のサブルーチンの実行後、場所判別処理は終了する。
ステップS503では、制御部22は、ステップS500において解析した充電台12の設置場所が子供部屋であるか否かを判別する。子供部屋である場合、プロセスはステップS800に進む。子供部屋でない場合、プロセスはステップS504に進む。
ステップS800では、制御部22は、後述する子供部屋対話のサブルーチンを実行する。子供部屋対話のサブルーチンの実行後、場所判別処理は終了する。
ステップS504では、制御部22は、ステップS500において解析した充電台12の設置場所が寝室であるか否かを判別する。寝室である場合、プロセスはステップS900に進む。寝室でない場合、プロセスはステップS505に進む。
ステップS900では、制御部22は、後述する寝室対話のサブルーチンを実行する。寝室対話のサブルーチンの実行後、部屋判別処理は終了する。
ステップS505では、制御部22は、対話内容の決定に設置場所を用いない一般対話を行う発話処理および音声認識処理を実行する。一般対話の発話処理および音声認識処理を行うと、部屋判別処理は終了する。
次に、本開示において携帯端末11の制御部22が実行する、玄関対話のサブルーチンS600について、図9のフローチャートを用いて説明する。
ステップS601において、制御部22は、特定レベルが第2のレベルまたは第3のレベルであるか否かを判別する。第2のレベルまたは第3のレベルである場合、プロセスはステップS602に進む。第2のレベルでも第3のレベルでもない場合、プロセスはステップS603に進む。
ステップS602において、制御部22は、対話対象であるユーザの属性を判別する。なお、制御部22は、特定レベルが第2のレベルの場合、特定レベルと共に充電台12から通知される属性に基づいて、当該ユーザの属性を判別する。また、制御部22は、特定レベルが第3のレベルの場合、特定レベルと共に充電台12から通知されるユーザと、記憶部31から読出す当該ユーザのユーザ情報に基づいて、当該ユーザの属性を判別する。判別後、プロセスはステップS603に進む。
ステップS603では、制御部22は、外部情報を解析する。解析後、プロセスはステップ604に進む。
ステップS604では、制御部22は、対話対象のユーザの動作に基づいて、当該ユーザの行動が帰宅および外出のいずれであるかを判別する。帰宅である場合、プロセスはステップS605に進む。外出である場合、プロセスはステップS606に進む。
ステップS605では、制御部22は、特定レベル認識処理において認識した特定レベル、ステップS602において判別したユーザの属性、およびステップS603において解析した外部情報に基づいて、帰宅用の対話を実行させる。制御部22は、例えば、ユーザの属性および外部情報に関わらず、スピーカ17に“お帰り”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの属性が子供である場合、スピーカ17に“勉強、頑張った?”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの属性が大人である場合、スピーカ17に“お疲れ様”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき雨であることを判別した場合、スピーカ17に“雨に濡れなかった?”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき通勤電車の遅延を判別した場合、スピーカ17に“電車、大変だったね”などの言葉を発せさせる。帰宅用の対話の実行後、プロセスはステップS607に進む。
ステップS606では、制御部22は、特定レベル認識処理において認識した特定レベルに基づいて、短期外出用の注意を喚起する対話を実行させる。制御部22は、例えば、スピーカ17に“携帯端末を忘れているよ”、“すぐに戻ってくるの?”、および“念のため、鍵をかけよう”などの言葉を発せさせる。短期外出用の注意を喚起する対話の実行後、プロセスはステップS607に進む。
ステップS607では、制御部22は、携帯端末11が充電台12から離脱しているか否かを判別する。離脱していない場合、プロセスはステップS607を繰返す。離脱している場合、プロセスはステップS608に進む。
ステップS608では、制御部22は、対話対象のユーザの動作に基づいて、当該ユーザの行動が帰宅および外出のいずれであるかを判別する。なお、携帯端末11および充電台12が有線通信により通信する構成においては、制御部22は、カメラ18が検出する画像に基づいて帰宅および外出のいずれであるかを判別する。帰宅である場合、プロセスはステップS609に進む。外出である場合、プロセスはステップS610に進む。
ステップS609では、制御部22は、特定レベル認識処理において認識した特定レベル、ステップS602において判別したユーザの属性、およびステップS603において解析した外部情報に基づいて、外出用の対話を実行させる。制御部22は、例えば、ユーザの属性および外部情報に関わらず、スピーカ17に“今日も頑張ろう”および“いってらっしゃい”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの属性が子供である場合、スピーカ17に“知らない人について行かないでね”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの属性が大人である場合、スピーカ17に“鍵かけた?”および“火の元、大丈夫?”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき雨であることを判別した場合、スピーカ17に“傘を持った?”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの属性が大人であってかつ外部情報に基づき雨であることを判別した場合、スピーカ17に“洗濯物は大丈夫?”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき当日の冷込みを判別した場合、スピーカ17に“上着はあるの?”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき通学電車または通勤電車が遅延していた場合、スピーカ17に“山手線は後れているよ”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの属性が大人であってかつ外部情報に基づき通勤経路が渋滞している場合、スピーカ17に“家から駅まで渋滞しているよ”などの言葉を発せさせる。外出用の対話の実行後、玄関対話のサブルーチンS600を終了して、図8に示す制御部22が実行する部屋判別処理に戻る。
ステップS610では、制御部22は、特定レベル認識処理において認識した特定レベルに基づいて、長期外出用の注意を喚起する対話を実行させる。制御部22は、例えば、スピーカ17に“鍵、大丈夫だった?”および“火の元、大丈夫だった?”などの言葉を発せさせる。長期外出用の注意を喚起する対話の実行後、玄関対話のサブルーチンS600を終了して、図8に示す制御部22が実行する部屋判別処理に戻る。
次に、本開示において携帯端末11の制御部22が実行する、食卓対話のサブルーチンS600について、図10のフローチャートを用いて説明する。
ステップS701において、制御部22は、特定レベルが第2のレベルまたは第3のレベルであるか否かを判別する。第2のレベルまたは第3のレベルである場合、プロセスはステップS702に進む。第2のレベルでも第3のレベルでもない場合、プロセスはステップS703に進む。
ステップS702において、制御部22は、対話対象であるユーザの属性を判別する。なお、制御部22は、特定レベルが第2のレベルの場合、特定レベルと共に充電台12から通知される属性に基づいて、当該ユーザの属性を判別する。また、制御部22は、特定レベルが第3のレベルの場合、特定レベルと共に充電台12から通知されるユーザと、記憶部31から読出す当該ユーザのユーザ情報に基づいて、当該ユーザの属性を判別する。判別後、プロセスはステップS703に進む。
ステップS703では、制御部22は、特定のユーザの行動の判別を開始する。判別開始後、プロセスはステップ704に進む。
ステップS704では、制御部22は、特定レベル認識処理において認識した特定レベル、ステップS702において判別したユーザの属性、およびステップS703において開始したユーザの行動に基づいて、食事用の対話を実行させる。制御部22は、例えば、ユーザの属性が子供であってかつ過去の行動履歴における食事時刻の直前である場合、スピーカ17に“お腹が空いてきたね”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの行動が配膳である場合、スピーカ17に“今日のご飯は何?などの言葉を発せさせる。また、制御部22は、例えば、ユーザの行動が食事開始直後である場合、スピーカ17に“色々な物を食べようね”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの行動がユーザの属性に対して適量を超えた食事の摂取の開始である場合、スピーカ17に“食べ過ぎ注意しよう”などの言葉を発せさせる。食事用の対話の実行後、プロセスはステップS705に進む。
ステップS705では、制御部22は、携帯端末11が充電台12から離脱しているか否かを判別する。離脱していない場合、プロセスはステップS705を繰返す。離脱している場合、プロセスはステップS706に進む。
ステップS706では、制御部22は、特定レベル認識処理において認識した特定レベルおよびステップS702において判別したユーザの属性に基づいて、買物用の対話を実行させる。制御部22は、例えば、ユーザの属性が大人である場合、スピーカ17に“今の旬は鰯だよ”および“何を買うかメモした?”などの言葉を発せさせる。買物用の対話の実行後、食卓対話のサブルーチンS700を終了して、図8に示す制御部22が実行する部屋判別処理に戻る。
次に、本開示において携帯端末11の制御部22が実行する、子供部屋対話のサブルーチンS700について、図11のフローチャートを用いて説明する。
ステップS801において、制御部22は、特定レベルが第2のレベルまたは第3のレベルであるか否かを判別する。第2のレベルまたは第3のレベルである場合、プロセスはステップS802に進む。第2のレベルでも第3のレベルでもない場合、プロセスはステップS803に進む。
ステップS802において、制御部22は、対話対象である特定のユーザの属性を判別する。判別後、プロセスはステップS803に進む。
ステップS803では、制御部22は、特定のユーザの行動の判別を開始する。判別開始後、プロセスはステップ804に進む。
ステップS804では、制御部22は、特定レベル認識処理において認識した特定レベル、ステップS802において判別したユーザの属性、およびステップS803において開始したユーザの行動に基づいて、子供との対話を実行させる。制御部22は、例えば、ユーザの属性が小学生または中学生であってかつ現在時刻が過去の行動履歴における帰宅時刻である場合、スピーカ17に“学校楽しかった?”、“両親に連絡ある?”、および“両親宛のプリントはある?”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの行動が遊びである場合、スピーカ17に“宿題は大丈夫なの?などの言葉を発せさせる。また、制御部22は、例えば、ユーザの行動が勉強開始直後である場合、スピーカ17に“いつでも質問して”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの行動が勉強であると判別してから所定の時間経過した場合、スピーカ17に“少し息抜きしたら”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの属性が幼児または小学校の低学年である場合、スピーカ17に簡単な加算、減算、乗算などを問う質問を発せさせる。また、制御部22は、例えば、ユーザの属性における性別および幼児、小学校低学年、中学年、および高学年、中学生、ならびに高校生毎に流行している話題を提示する言葉を発せさせる。子供との対話の実行後、プロセスはステップS805に進む。
ステップS805では、制御部22は、携帯端末11が充電台12から離脱しているか否かを判別する。離脱していない場合、プロセスはステップS704を繰返す。離脱している場合、プロセスはステップS806に進む。
ステップS806では、制御部22は、特定レベル認識処理において認識した特定レベルおよびステップS802において判別したユーザの属性に基づいて、子供外出用の対話を実行させる。制御部22は、例えば、現在時刻が過去の行動履歴における通学直前の時刻である場合、スピーカ17に“忘れ物は無い?”および“宿題を持った?”などの言葉を発せさせる。また、制御部22は、例えば、季節が夏季である場合、スピーカ17に“帽子を被った?”などの言葉を発せさせる。また、制御部22は、例えば、スピーカ17に“ハンカチを持った?”などの言葉を発せさせる。子供外出用の対話の実行後、子供部屋対話のサブルーチンS700を終了して、図8に示す制御部22が実行する部屋判別処理に戻る。
次に、本開示において携帯端末11の制御部22が実行する、寝室対話のサブルーチンS900について、図12のフローチャートを用いて説明する。
ステップS901では、制御部22は、外部情報を解析する。解析後、プロセスはステップ902に進む。
ステップS902では、制御部22は、特定レベル認識処理において認識した特定レベルおよびステップS901において解析した外部情報に基づいて、就寝用の対話を実行させる。制御部22は、例えば、外部情報に関わらず、スピーカ17に“おやすみなさい”、“鍵は大丈夫?”、および“火の元は確認した?”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき前日の気温より予想気温が低い場合、スピーカ17に“今晩冷え込むよ”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき前日の気温より予想気温が高い場合、スピーカ17に“今晩は暑くなるよ”などの言葉を発せさせる。就寝用の対話の実行後、プロセスはステップS903に進む。
ステップS903では、制御部22は、携帯端末11が充電台12から離脱しているか否かを判別する。離脱していない場合、プロセスはステップS803を繰返す。離脱している場合、プロセスはステップS904に進む。
ステップS904では、制御部22は、特定レベル認識処理において認識した特定レベルおよびステップS701において判別したユーザの属性に基づいて、起床用の対話を実行させる。制御部22は、例えば、外部情報に関わらず、スピーカ17に“おはよう”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき前日の気温より予想気温が低いと判別する場合、スピーカ17に“今日、寒くなるよ。セーターあるといいよ”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき前日の気温より予想気温が高いと判別する場合、スピーカ17に“今日、暑くなるよ。薄着がいいよ”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき雨が降っていることを判別する場合、スピーカ17に“今日は雨だよ。早く出かけなくちゃね”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき通勤電車または通学電車の遅延を判別する場合、スピーカ17に“電車遅れているよ。早く出かけなくちゃね”などの言葉を発せさせる。起床用の対話の実行後、寝室対話のサブルーチンS900を終了して、プロセスは図8に示す制御部22が実行する部屋判別処理に戻る。
次に、本開示において充電台12の制御部32が実行する、伝言処理について、図13のフローチャートを用いて説明する。伝言処理は、例えば、マイク26が検出する音声を制御部32が伝言であると判別する時、開始する。
ステップS1000において、制御部32は、伝言にユーザの指定があるか否かを判別する。ユーザの指定がない場合、プロセスはステップS1001に進む。ユーザの指定がある場合、プロセスはステップS1002に進む。
ステップS1001では、制御部32は、ユーザ指定の要求をスピーカ27に出力させる。要求の出力後、プロセスはステップS1000に戻る。
ステップS1002では、制御部32は、指定されたユーザの属性を記憶部31から読出す。属性の読出し後、プロセスはステップS1003に進む。
ステップS1003では、制御部32は、ステップS902において読出したユーザの属性に基づいて、ユーザが充電台12に把握されている携帯端末11の所有者であるか否かを判別する。所有者である場合、プロセスはステップS1004に進む。所有者でない場合、プロセスはステップS1007に進む。
ステップS1004では、制御部32は、指定されたユーザの携帯端末11が載置されているか否かを判別する。当該携帯端末11が載置されている場合、プロセスはステップS1010に進む。当該携帯端末11が載置されていない場合、プロセスはステップS1005に進む。
ステップS1005では、制御部32は、伝言の取得後から第1の時間が経過しているか否かを判別する。第1の時間が経過していない場合、プロセスはステップS1004に戻る。第1の時間が経過している場合、プロセスはステップS1006に進む。
ステップS1006では、制御部32は、通信部23を介して、指定されたユーザの携帯端末11に向けて伝言を送信する。伝言の送信後、伝言処理は終了する。
ステップS1003におけるユーザが携帯端末11の所有者でないと判別した時に進むステップS1007では、制御部32は、指定されたユーザの顔の画像を記憶部31から読出す。顔の画像の読出し後、プロセスはステップS1008に進む。
ステップS1008では、制御部32は、カメラ28に周辺光景を撮像させる。撮像後、プロセスはステップS1009に進む。
ステップS1009では、制御部32は、ステップS1008において撮像した画像内に、ステップS1007で読出した顔の画像があるか否かを判別する。顔の画像がない場合、プロセスはステップS1008に戻る。顔の画像がある場合、プロセスはステップS1010に進む。
ステップS1010では、制御部32は、伝言をスピーカ27に出力させる。伝言の出力後、伝言処理は終了する。
次に、本開示において充電台12の制御部32が実行する、メッセージ処理について、図14のフローチャートを用いて説明する。伝言処理は、例えば、マイク26が検出する音声を制御部32が伝言であると判別する時、開始する。
ステップS1100において、制御部32は、伝言の内容を解析する。解析後、プロセスはステップS1101に進む。
ステップS1101では、制御部32は、ステップS1100において解析した伝言に関連したメッセージが記憶部31に記憶されているか否かを判別する。記憶されている場合、プロセスはステップS1102に進む。記憶されていない場合、メッセージ処理は終了する。
ステップS1102では、制御部32は、ステップS1001において記憶されていることが判別された関連メッセージが、充電台12の現在の設置場所に対応しているか否か判別する。対応している場合、プロセスはステップS1103に進む。対応していない場合、メッセージ処理は終了する。
ステップS1103では、制御部32は、ステップS1100で解析した伝言に関する事項の発生または実行に関係する特定のユーザを判別する。さらに、制御部32は、特定したユーザの顔画像を記憶部31から読出す。また、制御部32は、特定のユーザの行動履歴を分析することにより、伝言に関する事項の発生または実行する時期を想定する。時期の想定後、プロセスはステップS1104に進む。
ステップS1104では、制御部32は、ステップS1103において想定した時期に到達しているか否かを判別する。到達していない場合、プロセスはステップS1104に戻る。到達している場合、プロセスはステップS1105に進む。
ステップS1105では、制御部32は、カメラ28に周辺光景を撮像させる。撮像後、プロセスはステップS1106に進む。
ステップS1106では、制御部32は、ステップS1105において撮像した画像内に、ステップS1103で読出した顔の画像があるか否かを判別する。顔の画像がある場合、プロセスはステップS1107に進む。顔の画像がない場合、プロセスはステップS1108に進む。
ステップS1107では、制御部32は、ステップS1101において記憶されていると判別されたメッセージをスピーカ27に出力させる。出力後、メッセージ処理は終了する。
ステップS1108では、制御部32は、ステップS1104において、想定した時期に到達したと判別した時から第2の時間が経過しているか否かを判別する。第2の時間が経過していない場合、プロセスはステップS1105に戻る。第2の時間が経過している場合、プロセスはステップS1109に進む。
ステップS1109では、制御部32は、伝言をすべきユーザが充電台12に把握されている携帯端末11の所有者であるか否かを判別する。所有者である場合、プロセスはステップS1110に進む。所有者でない場合、メッセージ処理は終了する。
ステップS1110では、制御部32は、通信部23を介して、伝言をすべきユーザの携帯端末11に向けてメッセージを送信する。メッセージの送信後、メッセージ処理は終了する。
以上のような構成の本実施形態に係る対話型電子機器11は、対話対象のユーザの特定レベルに応じた内容で発話処理を実行する。対話型電子機器11では、実際の人と会話しているとユーザに知覚させ得る内容の会話を行うことが好ましく、そのためには特定されたユーザに対して当該ユーザの個人情報を含む内容で会話する必要もあり得る。一方で、対話型電子機器11は、コミュニケーションシステム10に近付く多様なユーザと、当該ユーザに適した内容の会話をすることが好ましい。しかし、多様なユーザとの会話において、特定のユーザの個人情報を秘匿することが求められる。そこで、上述のような構成により、本実施形態の対話型電子機器11は、多様なユーザと会話可能でありながら、特定されたユーザに対しては、当該ユーザに適切な内容で会話し得る。このように、対話型電子機器11は、従来の対話型電子機器に比べて機能が改善される。
また、本実施形態に係る対話型電子機器11は、特定レベルが対話対象のユーザを特定する方向に向かう程、発話処理の内容と対話対象のユーザとの関わり度合いが増加させる。このような構成により、対話型電子機器11は、対話対象のユーザに対して、開示が許可され得る内容で対話するので、当該ユーザに実際の人と会話していると知覚させ得る。
また、本実施形態に係る充電台12は、携帯端末11が載置される場合、携帯端末11に登録されたユーザへの伝言を出力させる。一般的に、外出中の携帯端末11のユーザは、帰宅後早急に携帯端末11の充電を開始することが多い。それゆえ、前述の構成の充電台12は、ユーザの帰宅時に当該ユーザ宛の伝言をユーザに報知し得る。このように、充電台12は、従来の充電台に比べて機能が改善される。
また、本実施形態に係る充電台12は、カメラ28が撮像する画像に指定されたユーザが含まれる場合、該ユーザへの伝言を出力させる。このような構成により、充電台12は、携帯端末11を所有しないユーザにも伝言を報知し得る。このように、充電台12は、従来の充電台に比べて、より機能が改善される。
また、本実施形態に係る充電台12は、ユーザへの伝言に関連したメッセージを、ユーザの行動履歴に基づく時期に出力させる。このような構成により、充電台12は、伝言に関連した事項を、思出させるべき時期にユーザに報知し得る。
また、本実施形態に係る携帯端末11は、携帯端末11に電力を供給する充電台12の設置された場所に応じた内容で、発話処理および音声認識処理の少なくとも一方を実行する。通常の人間同士の対話では、場所に応じて話題が変わり得る。それゆえ、このような構成により、携帯端末11は、コミュニケーションシステム10に、対話における状況に対して、より適切な対話をさせ得る。このように、携帯端末11では、従来の携帯端末に比べて、機能が改善される。
また、本実施形態に係る携帯端末11は、充電台12に載置される場合および充電台12から離脱する場合に応じた内容で、発話処理および音声認識処理の少なくとも一方を実行する。携帯端末11の充電台12への着脱は、ユーザの特定の行動に関連することがある。それゆえ、このような構成により、携帯端末11は、コミュニケーションシステム10に、ユーザの特定の行動に対して、より適切な対話をさせ得る。このように、携帯端末11では、従来の携帯端末に比べて、より機能が改善される。
また、本実施形態に係る携帯端末11は、対話対象のユーザの属性に応じた内容で、発話処理および音声認識処理の少なくとも一方を実行する。通常の人間同士の対話では、性別および世代などの属性によって話題が変わり得る。それゆえ、このような構成により、携帯端末11は、コミュニケーションシステム10に、対話対象のユーザに対して、より適切な対話をさせ得る。
また、本実施形態に係る携帯端末11は、外部情報に応じた内容で、発話処理および音声認識処理の少なくとも一方を実行する。このような構成により、携帯端末11は、コミュニケーションシステム10の構成要素として、対話する場所における充電台12から携帯端末11の着脱する状況で望まれる外部情報に基づくアドバイスを提供し得る。
また、本実施形態に係る充電台12は、携帯端末11が載置されている場合、携帯端末11に発話処理および音声認識処理の少なくとも一方を実行させている。このような構成により、充電台12は、単体で所定の機能を実行する携帯端末11とともにユーザとの対話相手になり得る。したがって、充電台12は、例えば、一人暮らしの高齢者の食事中の対話相手となり、高齢者の孤食を防ぎ得る。このように、充電台12は、従来の充電台に比べて、機能が改善されている。
また、本実施形態に係る充電台12は、携帯端末11が載置される時、携帯端末11に発話処理および音声認識処理の少なくとも一方の実行を開始させている。したがって、充電台12は、携帯端末11の載置により、煩雑な入力などを必要とすること無く、ユーザとの対話などを開始させ得る。
また、本実施形態に係る充電台12は、携帯端末11が離脱する時、携帯端末11に発話処理及び音声認識処理の少なくとも一方の実行を終了させている。したがって、充電台12は、携帯端末11の離脱のみにより、煩雑な入力などを必要とすること無く、ユーザとの対話などを終了させ得る。
また、本実施形態に係る充電台12は、携帯端末11のディスプレイ19が発話処理および音声認識処理の少なくとも一方の実行対象のユーザの方向を向くように変動機構25を駆動する。したがって、充電台12は、ユーザとの対話時に、コミュニケーションシステム10を、実際に会話をする人のように、当該ユーザに認識させ得る。
また、本実施形態に係る充電台12は、ユーザとの会話内容を、充電台12と通信する異なる携帯端末11間において共有させ得る。このような構成により、充電台12は、特定のユーザの会話内容を他のユーザに把握させ得る。したがって、充電台12は、会話内容を遠隔地にいる家族などと共有させ得、家族間のコミュニケーションを円滑化し得る。
また、本実施形態に係る充電台12は、特定の対象の状態を判断して異常状態である場合に携帯端末11のユーザに報知する。したがって、充電台12は、特定の対象を見守りし得る。
また、本実施形態に係るコミュニケーションシステム10は、対話対象のユーザに対して、過去の会話内容、発した音声、および充電台12の設置された場所などに基づいて、発する言葉を決める。このような構成により、コミュニケーションシステム10は、対話中のユーザの現在の会話内容および過去の会話内容ならびに設置場所に合わせた会話を行い得る。
また、本実施形態に係るコミュニケーションシステム10は、特定のユーザの行動履歴などを学習して、ユーザへのアドバイスを出力する。このような構成により、コミュニケーションシステム10は、薬を飲むべき時の通知、当該ユーザの好みの食事の提案、当該ユーザの健康のための食事内容の提案、および当該ユーザが継続可能かつ効果的な運動の提案を行うことにより、ユーザの忘却し易いこと、ユーザに未知のことを認識させ得る。
また、本実施形態に係るコミュニケーションシステム10は、現在位置に関連付けられた情報を報知する。このような構成により、コミュニケーションシステム10は、ユーザの居住地近辺に特化した地域情報をユーザに教示し得る。
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
例えば、本実施形態において、携帯端末11の制御部22が、対話対象のユーザの特定レベルに応じた内容での発話処理、音声認識処理、会話内容の学習、行動履歴の学習および当該行動履歴の学習に基づくアドバイス、ならびに現在位置に関連付けられた情報の報知を実行するが、これらを充電台12の制御部32が実行してもよい。充電台12の制御部32が実行する構成においては、ユーザとの対話において充電台12のマイク26、スピーカ27、およびカメラ28を駆動してもよいし、携帯端末11のマイク16、スピーカ17、およびカメラ18を、通信部23、13を介して駆動してもよい。
また、本実施形態において、充電台12の制御部32が、発話処理および音声認識処理の少なくとも一方の実行の可否の判別、伝言処理、およびメッセージ処理を実行するが、これらの少なくとも一部を携帯端末11の制御部22に実行させてもよい。
また、本実施形態において、上記変形例を組合わせて、充電台12の制御部32が発話処理、音声認識処理、会話内容の学習、行動履歴の学習および当該行動履歴の学習に基づくアドバイス、ならびに現在位置に関連付けられた情報の報知を実行し、かつ携帯端末11の制御部22が発話処理および音声認識処理の少なくとも一方の実行の可否を判別してもよい。
また、本実施形態において、携帯端末11の制御部22が、登録処理を実行するが、充電台12の制御部32が実行してもよい。