JP6883487B2 - 充電台、コミュニケーションシステムおよびプログラム - Google Patents

充電台、コミュニケーションシステムおよびプログラム Download PDF

Info

Publication number
JP6883487B2
JP6883487B2 JP2017153626A JP2017153626A JP6883487B2 JP 6883487 B2 JP6883487 B2 JP 6883487B2 JP 2017153626 A JP2017153626 A JP 2017153626A JP 2017153626 A JP2017153626 A JP 2017153626A JP 6883487 B2 JP6883487 B2 JP 6883487B2
Authority
JP
Japan
Prior art keywords
control unit
mobile terminal
charging stand
user
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017153626A
Other languages
English (en)
Other versions
JP2019033396A (ja
Inventor
岡本 浩
浩 岡本
譲二 吉川
譲二 吉川
雄紀 山田
雄紀 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2017153626A priority Critical patent/JP6883487B2/ja
Priority to US16/634,120 priority patent/US11380319B2/en
Priority to PCT/JP2018/025391 priority patent/WO2019021771A1/ja
Publication of JP2019033396A publication Critical patent/JP2019033396A/ja
Application granted granted Critical
Publication of JP6883487B2 publication Critical patent/JP6883487B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephone Function (AREA)

Description

本発明は、充電台、携帯端末、コミュニケーションシステム、方法、およびプログラムに関するものである。
スマートホン、タブレット、ノートパソコンなどの携帯端末が普及している。携帯端末は内蔵するバッテリに充電された電力を用いて駆動する。携帯端末のバッテリは、載置した携帯端末に給電を行う充電台により充電される。
充電台に関しては、充電に関する機能の改善(特許文献1参照)、小型化(特許文献2参照)、および構成の簡潔化(特許文献3参照)などが提案されている。
特開2014−217116号公報 特開2015−109764号公報 特開2014−079088号公報
しかし、互いに組合せられる携帯端末および充電台の機能には改善の余地があった。
本開示は、機能を改善した充電台、携帯端末、コミュニケーションシステム、方法、およびプログラムを提供する。
本開示の第1の観点に係る充電台は、
携帯端末が載置される場合、前記携帯端末に登録されたユーザへの伝言を出力させる制御部を備える。
本開示の第2の観点に係る携帯端末は、
充電台に載置される場合、登録されたユーザへの伝言を出力させる制御部を備える。
本開示の第3の観点に係るコミュニケーションシステムは、
携帯端末と、
前記携帯端末を載置可能な充電台と、を備え、
前記携帯端末および前記充電台のいずれかにおいて、前記充電台に前記携帯端末が載置される場合、前記携帯端末に登録されたユーザへの伝言を出力する。
上述したように本開示の解決手段を装置、及びシステムとして説明してきたが、本開示は、これらを含む態様としても実現し得るものであり、また、これらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本開示の範囲にはこれらも包含されるものと理解されたい。
本開示の第4の観点に係る方法は、
携帯端末に登録されたユーザへの伝言を取得するステップと、
前記携帯端末が充電台に設置される場合、前記携帯端末に登録されたユーザへの伝言を出力させるステップと、を備える。
本開示の第5の観点に係るプログラムは、
携帯端末が充電台に載置される場合、前記携帯端末に登録されたユーザへの伝言を出力するように前記充電台または前記携帯端末を機能させる。
本開示に係る充電台、携帯端末、コミュニケーションシステム、方法、およびプログラムによれば、互いに組合せられる充電台および携帯端末の機能が改善する。
一実施形態に係る充電台を含むコミュニケーションシステムの外観を示す正面図である。 図1のコミュニケーションシステムの側面図である。 図1の携帯端末および充電台の内部構成を概略的に示す機能ブロック図である。 図3における携帯端末の制御部が実行する初期設定処理を説明するためのフローチャートである。 図3における充電台の制御部が実行する設置場所判別処理を説明するためのフローチャートである。 図3における充電台の制御部が実行する発話等実行判別処理を説明するためのフローチャートである。 図3における携帯端末の制御部が実行する場所判別処理を説明するためのフローチャートである。 図3における携帯端末の制御部が実行する玄関対話のサブルーチンを説明するためのフローチャートである。 図3における携帯端末の制御部が実行する食卓対話のサブルーチンを説明するためのフローチャートである。 図3における携帯端末の制御部が実行する子供部屋対話のサブルーチンを説明するためのフローチャートである。 図3における携帯端末の制御部が実行する寝室対話のサブルーチンを説明するためのフローチャートである。 図3における充電台の制御部が実行する伝言処理を説明するためのフローチャートである。 図3における充電台の制御部が実行するメッセージ処理を説明するためのフローチャートである。
以下、本開示の実施形態について、図面を参照して説明する。
図1、2に示すように、本開示の携帯端末11および充電台12を含むコミュニケーションシステム10は、携帯端末11および充電台12を含んでいる。充電台12には携帯端末11が載置され得る。携帯端末11を充電台12に載置している間、充電台12は携帯端末11の内臓のバッテリを充電する。また、携帯端末11を充電台12に載置する場合、コミュニケーションシステム10はユーザと対話し得る。また、充電台12は、伝言機能を有しており、指定したユーザに対する伝言を当該ユーザに報知する。
図3に示すように、携帯端末11は、通信部13、受電部14、バッテリ15、マイク16、スピーカ17、カメラ18、ディスプレイ19、入力部20、記憶部21、および制御部22などを含んでいる。
通信部13は、音声、文字、および画像などを通信可能な通信インタフェースを含む。本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、IEC60603に準拠するコネクタ、USB規格に準拠するコネクタ、RCA端子に対応するコネクタ、EIAJ CP−1211Aに規定されるS端子に対応するコネクタ、EIAJ RC−5237に規定されるD端子に対応するコネクタ、HDMI(登録商標)規格に準拠するコネクタ、およびBNC(British Naval Connector、またはBaby‐series N Connectorなど)を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、IEC 61754に準拠する種々のコネクタを含んでよい。無線通信機は、Bluetooth(登録商標)、およびIEEE802.11を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも1つのアンテナを含む。
通信部13は、自身の携帯端末11の外部機器、例えば充電台12と通信する。通信部13は、有線通信または無線通信により、外部機器と通信する。なお、通信部13は、充電台12と有線通信をする構成においては、携帯端末11を充電台12の正規の位置及び姿勢で載置することにより、充電台12の通信部23に接続され、通信し得る。また、通信部13は、無線通信により、直接的に、または、例えば、基地局、およびインターネット回線または電話回線を介して間接的に、外部機器と通信してよい。
受電部14は、充電台12から供給する電力を受電する。受電部14は、例えば、コネクタを有し、有線を介して充電台12から電力を受電する。または、受電部14は、例えば、コイルなどを有し、電磁誘導方式および磁界共振方式などの無線給電方法により充電台12から電力を受電する。受電部14は、受電した電力をバッテリ15に蓄電する。
バッテリ15は、受電部14から供給される電力を蓄電する。バッテリ15は、蓄電した電力を放電することにより、携帯端末11の各構成要素に、当該構成要素を機能させるために必要な電力を供給する。
マイク16は、携帯端末11の周囲で発生する音声を検出して、電気信号に変換する。マイク16は、検出した音声を制御部22に出力する。
スピーカ17は、制御部22の制御に基づいて、音声を発する。スピーカ17は、例えば、後述する発話機能を実行している場合、制御部22が発話を決定した言葉を発する。また、スピーカ17は、例えば、他の携帯端末との通話を実行している場合、当該携帯端末から取得する音声を発する。
カメラ18は、撮像範囲内の被写体を撮像する。カメラ18は、静止画像および動画像のいずれも撮像可能である。カメラ18は、動画像の撮像時に、例えば60fpsで、被写体を連続的に撮像する。カメラ18は、撮像した画像を制御部22に出力する。
ディスプレイ19は、例えば液晶ディスプレイ(LCD(Liquid Crystal Display))、または、有機若しくは無機ELディスプレイである。ディスプレイ19は、制御部22の制御に基づいて、画像を表示する。
入力部20は、例えば、ディスプレイ19と一体化したタッチパネルである。入力部20は、ユーザによる携帯端末11に関する多様な要求または情報の入力を検出する。入力部20は、検出した入力を制御部22に出力する。
記憶部21は、例えば、半導体メモリ、磁気メモリ、および光メモリなどを用いて構成されてよい。記憶部21は、例えば、後述する、登録処理、発話処理、音声認識処理、見守り処理、データ通信処理、および通話処理などを実行するための多様な情報、ならびに上記の処理において制御部22が取得する、ユーザの画像、ユーザ情報、充電台12の設置場所、外部情報、会話内容、行動履歴、地域情報、見守り処理の特定の対象などを記憶する。
制御部22は、1又は複数のプロセッサを含む。制御部22は、種々の処理のためのプログラム及び演算中の情報を記憶する1又は複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。メモリは、プロセッサから独立しているメモリ、及びプロセッサの内蔵メモリが含まれる。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けIC(ASIC; Application Specific Integrated Circuit)が含まれる。プロセッサには、プログラマブルロジックデバイス(PLD; Programmable Logic Device)が含まれる。PLDには、FPGA(Field−Programmable Gate Array)が含まれる。制御部22は、一つ又は複数のプロセッサが協働するSoC(System on a Chip)、及びSiP(System In a Package)のいずれかであってよい。
制御部22は、例えば、後述するように充電台12からコミュニケーションモードへの移行指令を取得すると、コミュニケーションモードにおける多様な機能を実行するために、携帯端末11の各構成要素を制御する。なお、コミュニケーションモードとは、携帯端末11を充電台12とともにコミュニケーションシステム10として、特定のユーザとの対話、特定ユーザの観察、および当該ユーザへのメッセージ発信などを実行させるモードである。
制御部22は、コミュニケーションモードを実行するユーザの登録のための登録処理を実行する。制御部22は、例えば、入力部20へのユーザ登録を要求する入力の検出などにより、登録処理を開始する。
例えば、制御部22は、登録処理において、ユーザにカメラ18のレンズを見るようにメッセージを発し、カメラ18を駆動することによりユーザの顔を撮像する。さらに、制御部22は、撮像した画像を、ユーザの名称および属性などのユーザ情報と関連付けて記憶する。属性とは、例えば、携帯端末11の所有者および当該所有者に対する続柄、性別、年齢層、身長、体重などである。制御部22は、ユーザ情報を、入力部20へのユーザによる入力により取得する。
制御部22は、登録処理において、さらに、登録された画像を関連付けたユーザ情報とともに充電台12に転送する。充電台12に付与するために、制御部22は、携帯端末11と通信可能であるかを判別する。
制御部22は、充電台12と通信できない場合に、通信可能とさせるメッセージをディスプレイ19に表示させる。例えば、携帯端末11が充電台12と有線通信を行う構成において携帯端末11と充電台12とが接続されていない場合、制御部22は接続を要求するメッセージをディスプレイ19に表示させる。また、携帯端末11が充電台12と無線通信を行う構成において携帯端末11と充電台12とが通信できない程度に離れている場合、制御部22は充電台12に近付くことを要求するメッセージをディスプレイ19に表示させる。
制御部22は、携帯端末11および充電台12が通信可能である場合、登録された画像およびユーザ情報を充電台12に向けて転送させ、転送中であることをディスプレイ19に表示させる。さらに、制御部22は、転送の完了の通知を充電台12から取得する場合、初期設定完了のメッセージをディスプレイ19に表示させる。
制御部22は、コミュニケーションモードに移行している間、発話処理および音声認識処理の少なくとも一方を実行することにより、コミュニケーションシステム10を特定のユーザと対話させる。
制御部22は、発話処理において、現在時刻、充電台12の設置された場所、充電台12への載置または離脱、対話対象のユーザの属性、対話対象のユーザ、通信部13が取得した外部情報、対話対象のユーザの動作、携帯端末11が受信したメールおよび電話、携帯端末11に登録されたメモおよびスケジュール、当該ユーザの発した音声、ならびに当該ユーザの過去の会話内容に応じて、発話する内容を決定する。なお、充電台12の設置された場所、充電台12への載置または離脱、対話対象のユーザの属性、および外部情報については、後述する。制御部22は、決定した内容の音声を発するように、スピーカ17を駆動する。
制御部22は、発話内容の決定のために、充電台12の設置された場所を判別する。制御部22は、通信部13を介して充電台12から取得する場所の通知に基づいて、充電台12の設置された場所を判別する。または、制御部22は、充電台12に載置された場合、マイク16およびカメラ18の少なくとも一方がそれぞれ検出する音声および画像の少なくとも一方に基づいて、充電台12の設置された場所を判別してよい。
制御部22は、充電台12の設置場所が、例えば、玄関である場合、外出または帰宅に際して適した言葉を、発話する内容に決定する。また、制御部22は、充電台12の設置場所が、例えば、食卓である場合、食事および調理などの食卓で行われる行為に適した言葉を、発話する内容に決定する。また、制御部22は、充電台12の設置場所が、例えば子供部屋である場合、子供の話題および子供への注意の呼びかけなどに適した言葉を、発話する内容に決定する。また、制御部22は、充電台12の設置場所が、寝室である場合、就寝時または起床時に適した言葉を、発話する内容に決定する。
制御部22は、発話内容の決定のために、充電台12に載置した場合および充電台12から離脱させた場合のいずれであるかを判別する。制御部22は、充電台12から取得する載置の通知に基づいて、載置した場合か離脱した場合かを判別する。例えば、制御部22は、載置されていることを示す通知を充電台12から取得している間は充電台12に載置されている場合であると判別し、当該通知を取得出来なくなる時に離脱されたと判別する。または、制御部22は、受電部14が充電台12から電力を取得可能か否か、または通信部13が充電台12と通信可能であるか否かに基づいて携帯端末11の充電台12に対する載置関係を判別してよい。
制御部22は、携帯端末11が充電台12に載置された場合、充電台12の設置場所に入るユーザに適した言葉を、発話する内容に決定する。また、制御部22は、携帯端末11が充電台12から離脱させた場合、充電台12の設置場所から出て行くユーザに適した言葉を、発話する内容に決定する。
制御部22は、発話内容の決定のために、対話対象のユーザの動作を判別する。制御部22は、例えば、充電台12の玄関への設置を判別する場合、充電台12から取得する画像またはカメラ18から取得する画像に基づいて、対話対象のユーザが外出する動作か、帰宅する動作であるかを判別する。または、制御部22は、カメラ18が検出する画像などに基づいて、対話対象のユーザが外出する動作であるか、帰宅する動作であるかを判別してよい。制御部22は、前述の携帯端末11の充電台12への載置状態に、外出および帰宅のいずれであるかを組合わせて、適切な言葉を、発話する内容に決定する。
制御部22は、発話内容の決定のために、前述のように対話対象のユーザの属性を判別する。制御部22は、充電台12からの対話対象であるユーザ通知および記憶部21に記憶したユーザ情報に基づいて、対話対象のユーザの属性を判別する。また、制御部22は、マイク16およびカメラ18の少なくとも一方がそれぞれ検出する音声および画像の少なくとも一方に基づいて、対話対象のユーザまたはユーザの属性を判別してよい。制御部22は、対話対象のユーザの例えば、性別および世代などの属性に適した言葉を、発話する内容に決定する。
制御部22は、発話内容の決定のために、通信部13を駆動して、天気予報および交通状況などの外部情報を取得する。制御部22は、取得した外部情報に応じて、例えば天候またはユーザの使用する交通機関の混雑状況に関する注意喚起する言葉を、発話する内容に決定する。
また、制御部22は、音声認識処理において、充電台12の設置された場所に応じて、マイク16が検出する音声の形態素解析を行い、ユーザの発話内容を認識する。制御部22は、認識した発話内容に基づいて、所定の処理を実行する。所定の処理は、例えば、前述のように認識した発話内容に対する発話処理、ならびに所望の情報の探索、所望の画像の表示、および所望の相手への電話およびメールの発信を実行するための処理である。
また、制御部22は、コミュニケーションモードに移行している間、連続的に実行した、上述の発話処理および音声認識処理を記憶部21に記憶させ、特定された対話対象のユーザに対する会話内容を学習する。制御部22は、学習した会話内容に基づいて、以後の発話処理において発話する言葉の決定に活用する。また、制御部22は、学習した会話内容を、充電台12に転送してよい。
また、制御部22は、コミュニケーションモードに移行している間、特定された対話対象のユーザに対する会話内容および当該ユーザとの対話時にカメラ18に撮像させる画像などから、当該ユーザの行動履歴などを学習する。制御部22は、学習した行動履歴に基づいて、当該ユーザに対するアドバイスなどを報知する。アドバイスの報知は、スピーカ17による音声の発話でも、ディスプレイ19への画像の表示であってもよい。なお、アドバイスは、例えば、薬を飲むべき時の通知、当該ユーザの好みの食事の提案、当該ユーザの健康のための食事内容の提案、および当該ユーザが継続可能かつ効果的な運動の提案などである。また、制御部22は、学習した行動履歴を当該ユーザと関連付けて、充電台12に通知する。
また、制御部22は、コミュニケーションモードに移行している間、携帯端末11の現在位置を検出する。現在位置の検出は、例えば、通信中の基地局の設置位置または携帯端末11が備え得るGPSに基づく。制御部22は、検出した現在位置に関連付けられた地域情報をユーザに報知する。地域情報の報知は、スピーカ17による音声の発話でも、ディスプレイ19への画像の表示であってもよい。なお、地域情報は、例えば、近隣店舗の特売情報などである。
また、制御部22は、コミュニケーションモードに移行している間に特定の対象に対する見守り処理の開始要求を入力部20が検出する場合、当該開始要求を充電台12に通知する。特定の対象とは、例えば、登録された特定のユーザ、および充電台12が設置された部屋などである。
見守り処理は携帯端末11の載置の有無に関わらず、充電台12により実行される。制御部22は、見守り処理を実行させている充電台12から特定の対象が異常状態である通知を取得する場合、その旨をユーザに報知する。ユーザへの報知は、スピーカ17による音声の発信でも、ディスプレイ19への警告画像の表示であってもよい。
また、制御部22は、コミュニケーションモードへの移行の有無に関わらず、入力部20への入力に基づいて、メールの送受信およびブラウザを用いた画像表示などのデータ通信処理、ならびに他の電話との通話処理を実行する。
充電台12は、通信部23、給電部24、変動機構25、マイク26、スピーカ27、カメラ28、人感センサ29、載置センサ30、記憶部31、および制御部32などを含んでいる。
通信部23は、携帯端末11の通信部13と同様に、音声、文字、および画像などを通信可能な通信インタフェースを含む。通信部23は、有線通信または無線通信により、携帯端末11と通信する。通信部23は、有線通信または無線通信により、外部機器と通信してもよい。
給電部24は、充電台12に載置された携帯端末11の受電部14に電力を供給する。給電部24は、上述のように、有線または無線により受電部14に電力を供給する。
変動機構25は、充電台12に載置される携帯端末11の向きを変動させる。変動機構25は、充電台12に対して定められる下底面bs(図1、2参照)に対して定められる上下方向および左右方向の少なくとも一方に沿って、携帯端末11の向きを変動可能である。変動機構25はモータを内蔵しており、モータの駆動により携帯端末11の向きを変動させる。
マイク26は、充電台12の周囲で発生する音声を検出して、電気信号に変換する。マイク26は、検出した音声を制御部32に出力する。
スピーカ27は、制御部32の制御に基づいて、音声を発する。
カメラ28は、撮像範囲内の被写体を撮像する。カメラ28は、静止画像および動画像のいずれも撮像可能である。カメラ28は、動画像の撮像時に、例えば60fpsで、被写体を連続的に撮像する。カメラ28は、撮像した画像を制御部32に出力する。
人感センサ29は、例えば、赤外線センサであり、熱の変化を検出することにより、充電台12の周囲における人の存在を検出する。人感センサ29は、人の存在を検出する場合、その旨を制御部32に通知する。なお、人感センサ29は、赤外線センサ以外のセンサであってよく、例えば、超音波センサであってもよい。または、人感センサ29は、連続的に撮像される画像の変化に基づいて人の存在を検出するようにカメラ28を機能させる構成であってよい。
載置センサ30は、充電台12において、例えば、携帯端末11の載置面に設けられており、携帯端末11の載置の有無を検出する。載置センサ30は、例えば圧電素子などにより構成されている。載置センサ30は、携帯端末11が載置されるとき、その旨を制御部32に通知する。
記憶部31は、例えば、半導体メモリ、磁気メモリ、および光メモリなどを用いて構成されてよい。記憶部31は、例えば、充電台12の設置場所を判別するめに、予め想定される各設置場所に特有な音声および画像の少なくとも一方を記憶する。また、記憶部31は、例えば、制御部32が判別した設置場所を記憶する。また、記憶部31は、例えば、携帯端末11から取得するユーザの登録に係る画像およびユーザ情報を、携帯端末11毎および登録したユーザ毎に記憶する。また、記憶部31は、例えば、携帯端末11から取得する会話内容をユーザ毎に記憶する。また、記憶部31は、例えば、後述するように、カメラ28による撮像結果に基づく変動機構25の駆動のための情報を記憶する。また、記憶部31は、例えば、携帯端末11から取得する行動履歴をユーザ毎に記憶する。
制御部32は、携帯端末11の制御部22と同様に、1又は複数のプロセッサを含む。制御部32は、携帯端末11の制御部22と同様に、種々の処理のためのプログラム及び演算中の情報を記憶する1又は複数のメモリを含んでよい。
制御部32は、充電台12に、例えば商用系統などから電力を受電する場合、マイク26およびカメラ28の少なくとも一方がそれぞれ検出する音声および画像の少なくとも一方に基づいて、充電台12の設置された場所を判別する。制御部32は、例えば、設置が想定される複数の場所毎の特徴的な会話パターンまたは音を記憶部31などから取得し、マイク26が検出する複数のユーザの会話内容または音などと比較することにより、設置場所を判別する。また、制御部32は、例えば、設置が想定される複数の場所毎の特徴的な物体の輪郭などを記憶部31などから取得し、カメラ28が検出する画像に含まれる輪郭などと比較することにより、設置場所を判別する。制御部32は、設置された場所を、充電台12に載置される携帯端末11に通知する。
制御部32は、少なくとも載置センサ30が携帯端末11の載置を検出してから離脱を検出するまでの間、さらには離脱を検出してから所定時間が経過するまでの間、コミュニケーションシステム10をコミュニケーションモードに維持させる。したがって、制御部32は、充電台12に携帯端末11が載置されている場合、携帯端末11に発話処理および音声認識処理の少なくとも一方を実行させ得る。また、制御部32は、充電台12から携帯端末11が離脱してからの所定時間が経過するまでの間、携帯端末11に発話処理および音声認識処理の少なくとも一方を実行させ得る。
制御部32は、充電台12に携帯端末11が載置されている間、カメラ28を起動して、周囲の画像を撮像させる。制御部32は、撮像した画像中の人の顔を検出する。制御部32は、検出した人の顔の画像を、記憶部31に記憶させた顔の画像と比較することにより、撮像されたユーザを特定する。制御部32は、特定したユーザを携帯端末11に通知する。
制御部32は、撮像されたユーザの認識後、カメラ28による撮像を継続させ、当該ユーザの顔を画像毎に探索する。制御部32は、画像の中で探索された顔の位置に基づいて、携帯端末11のディスプレイ19が当該ユーザの方向を向くように、変動機構25を駆動する。
制御部32は、載置センサ30が携帯端末11の載置を検出する時、コミュニケーションシステム10のコミュニケーションモードへの移行を開始させる。したがって、制御部32は、充電台12に携帯端末11が載置される時、携帯端末11に発話処理および音声認識処理の少なくとも一方の実行を開始させる。また、制御部32は、載置センサ30が携帯端末11の載置を検出する場合、載置されていることを携帯端末11に通知する。
制御部32は、発話処理および音声認識処理の少なくとも一方の開始指示の条件に、人感センサ29による人の検知を付加してよい。例えば、制御部32は、携帯端末11の載置の認識後に、人感センサ29が人を検出する場合に、発話処理などを開始させてもよい。
また、制御部32は、載置センサ30が携帯端末11の離脱を検出する時または検出後の所定時間の経過後に、コミュニケーションシステム10におけるコミュニケーションモードを終了させる。したがって、制御部32は、充電台12から携帯端末11が離脱する時または検出後の所定時間の経過後に、携帯端末11に発話処理および音声認識処理の少なくとも一方の実行を終了させる。
また、制御部32は、携帯端末11からユーザ毎の会話内容を取得する場合、当該会話内容を携帯端末11毎に記憶部31に記憶させる。制御部32は、必要に応じて、充電台12と直接または間接的に通信する異なる携帯端末11間において記憶した会話内容を共有させる。なお、充電台12と間接的に通信するとは、充電台12が電話回線に繋がれており、当該電話回線を介して通信すること、および充電台12に載置された携帯端末11を介して通信することの少なくとも一方を含む。
また、制御部32は、携帯端末11から見守り処理を実行する指令を取得する場合、見守り処理を実行する。制御部32は、見守り処理において、カメラ28を起動して、特定の対象の連続的な撮像を実行する。制御部32は、カメラ28が撮像した画像の中で特定の対象を抽出する。制御部32は、抽出した特定の対象の状態を、画像認識などに基づいて、判断する。特定の対象の状態とは、例えば、特定のユーザが倒れたままなどの異常状態、留守中の部屋における動体の検出状態である。制御部32は、特定の対象が異常状態であると判断する場合、見守り処理の実行を指令した携帯端末11に、特定の対象が異常状態であることを通知する。
また、制御部32は、携帯端末11が離脱する場合、伝言の有無のユーザへの問合せをスピーカ27に発せさせる。制御部32は、マイク26が検出した音声に対して、音声認識処理を行い、当該音声が伝言であるか否かを判別する。なお、制御部32は、伝言の有無の問合せをすること無く、マイク26が検出した音声が伝言であるか否かを判別可能である。制御部32は、マイク26が検出した音声が伝言である場合、当該伝言を記憶部31に記憶させる。
制御部32は、伝言と判別した音声において、伝言するべきユーザの指定があるか否かを判別する。指定が無い場合、制御部32は、ユーザの指定を促す要求を出力させる。要求の出力は、例えばスピーカ27からの発話である。制御部32は、音声認識処理を行い、伝言するべきユーザの指定を認識する。
制御部32は、指定されたユーザの属性を記憶部31から読出す。制御部32は、記憶部31から読出したユーザの属性において当該ユーザが記憶部31に記憶された携帯端末11の所有者である場合、載置センサ30に携帯端末11が載置されるまで待機する。制御部32は、載置センサ30が携帯端末11の載置を検出する場合、通信部23に当該携帯端末11の所有者が指定されたユーザであるか否かを判別する。制御部32は、載置された携帯端末11の所有者が指定されたユーザである場合、記憶部31に記憶させた伝言を出力させる。伝言の出力は、例えば、スピーカ27による発話である。
また、制御部32は、伝言の取得後の第1の時間の経過時までに携帯端末11の載置を検出しなかった場合、通信部23を介して、指定されたユーザが所有者である携帯端末11に伝言を送信する。制御部32は、伝言を音声形式のデータとして送信しても、文字形式のデータとして送信してもよい。第1の時間は、例えば、伝言の保持時間として考えられる時間であって、統計データなどに基づいて、製造時には定められている。
また、制御部32は、記憶部31から読出したユーザの属性において当該ユーザが携帯端末11の所有者でない場合、カメラ28を起動して、撮像する画像に指定されたユーザの顔が含まれるか否かの判別を開始する。制御部32は、ユーザの顔が含まれる場合、記憶部31に記憶させた伝言を出力させる。
さらに、制御部32は、記憶した伝言の内容を解析する。制御部32は、伝言の内容に関連したメッセージが記憶部31に記憶されているか否か判別する。伝言の内容に関連したメッセージは、伝言に関する事柄が特定のユーザに対して特定の時期に発生または実行することが推定される伝言に対して予め想定され、記憶部31に記憶されている。当該メッセージは、例えば、“行ってきます”、“薬飲んでね”、“手を洗ってね”、“早く寝なさい”、および“歯を磨きなさい”のそれぞれの伝言に対する、“そろそろ帰ってくるよ”、“もう、飲んだ?”、“ちゃんと洗った?”、“アラームはセットした?”、および“もう磨いた?”のメッセージである。
なお、伝言の内容に関連したメッセージの一部は、充電台12の設置場所と関連付けられている。例えば、“早く寝なさい”に対する“アラームはセットした?”のように、寝室で知らせるべきメッセージは、充電台12の設置場所が寝室である場合にのみ、選択される。
制御部32は、伝言の内容に関連したメッセージが記憶されている場合、当該伝言に関する事柄の発生または実行に関係する特定のユーザを判別する。制御部32は、特定のユーザの行動履歴を分析し、当該伝言に関する事柄の発生または実行する時期を想定する。
制御部32は、例えば、“行ってきます”の伝言に対して、当該伝言を入力したユーザの行動履歴に基づいて、伝言の入力後から帰宅までかかる時間を分析し、当該時間の経過時期を想定する。また、制御部32は、例えば、“薬飲んでね”の伝言に対して、伝言をすべきユーザの行動履歴に基づいて、薬を飲むべき時期を想定する。また、制御部32は、“手を洗ってね”の伝言に対して、伝言をすべきユーザの行動履歴に基づいて、次の食事の開始時期を想定する。また、制御部32は、例えば、“早く寝なさい”の伝言に対して、伝言をすべきユーザの行動履歴に基づいて、就寝時期を想定する。また、制御部32は、例えば、“歯を磨きなさい”の伝言に対して、伝言をすべきユーザの行動履歴に基づいて、次の食事の終了時期および就寝時期を想定する。
制御部32は、想定した当該時期に、カメラ28を起動して、撮像する画像に指定されたユーザの顔が含まれるか否かの判別を開始する。制御部32は、ユーザの顔が含まれる場合、伝言の内容に関連したメッセージを出力させる。メッセージの出力は、例えば、スピーカ27による発話である。
制御部32は、伝言をすべきユーザが携帯端末11の所有者であって、かつ想定した当該時期から第2の時間が経過した場合、当該携帯端末11に、伝言の内容に関連したメッセージを送信する。制御部32は、メッセージを音声形式のデータとして送信しても、文字形式のデータとして送信してもよい。第2の時間は、例えば、想定された時期から、伝言に関する事柄の発生または実行が確実に行われていると想定される時期までの間隔であって、統計データなどに基づいて、製造時には定められている。
次に、本開示において携帯端末11の制御部22が実行する、初期設定処理について、図4のフローチャートを用いて説明する。初期設定処理は、ユーザによる初期設定を開始する入力を入力部20が検出する場合に開始する。
ステップS100において、制御部22は、携帯端末11のカメラ18に顔を合わせるように要求するメッセージをディスプレイ19に表示させる。ディスプレイ19への表示後に、プロセスはステップS101に進む。
ステップS101では、制御部22は、カメラ18に撮像を実行させる。撮像後、プロセスはステップS102に進む。
ステップS102では、制御部22は、ユーザの名称および属性を尋ねる質問をディスプレイ19に表示させる。質問の表示後、プロセスはステップS103に進む。
ステップS103では、制御部22は、ステップS102における質問に対する回答の有無を判別する。回答が無い時、プロセスはステップS103を繰返す。回答がある時、プロセスはステップS104に進む。
ステップS104では、制御部22は、ステップS101において撮像した顔の画像を、ステップS103において検出された質問に対する回答をユーザ情報として関連付けて、記憶部21に記憶させる。記憶後、プロセスはステップS105に進む。
ステップS105では、制御部22は、充電台12と通信可能であるか否かを判別する。通信不可能である時、プロセスはステップS106に進む。通信可能である時、プロセスはステップS107に進む。
ステップS106では、制御部22は、ディスプレイ19に充電台12との通信を可能にさせる行動を要求するメッセージをディスプレイ19に表示させる。通信を可能にさせる行動を要求するメッセージは、携帯端末11が充電台12と有線通信を行う構成において、例えば、“充電台に載置してください”である。また、通信を可能にさせる行動を要求するメッセージは、携帯端末11が充電台12と無線通信を行う構成において、例えば、“充電台12に近付けてください”である。メッセージの表示後、プロセスはステップS105に戻る。
ステップS107では、制御部22は、ステップS104において記憶した顔の画像、およびユーザ情報を充電台12に転送する。また、制御部22は、転送中であることを示すメッセージをディスプレイ19に表示させる。転送の開始後にプロセスはステップS108に進む。
ステップS108では、制御部22は、充電台12から転送完了の通知を取得したか否かを判別する。取得していない時、プロセスはステップS108を繰返す。取得している時、プロセスはステップS109に進む。
ステップS109では、制御部22は、初期設定の完了を示すメッセージをディスプレイ19に表示させる。表示後、初期設定処理は終了する。
次に、本開示において充電台12の制御部32が実行する、設置場所判別処理について、図5のフローチャートを用いて説明する。設置場所判別処理は、例えば、充電台12の電源がONになった後の任意の時間の経過時に開始する。
ステップS200において、制御部32は、マイク26およびカメラ28の少なくとも一方を駆動させる。駆動を開始させると、プロセスはステップS201に進む。
ステップS201では、制御部32は、記憶部31から、設置場所を判別するための、想定される各設置場所に特有な音声および画像の少なくとも一方を読出す。読出し後、プロセスはステップS202に進む。
ステップS202では、制御部32は、ステップS200において起動したマイク26およびカメラ28の少なくとも一方が検出する音声および画像の少なくとも一方を、ステップS201において記憶部31から読出した音声および画像の少なくとも一方と比較する。制御部32は、当該比較により、充電台12の設置場所を判別する。判別後、プロセスはステップS203に進む。
ステップS203では、制御部32は、ステップS203において判別した充電台12の設置場所を記憶部31に記憶させる。記憶後、設置場所判別処理は終了する。
次に、本開示において充電台12の制御部32が実行する、発話等実行判別処理について、図6のフローチャートを用いて説明する。発話等実行判別処理は、周期的に開始する。
ステップS300において、制御部32は、携帯端末11の載置を載置センサ30が検出しているか否かを判別する。検出している時、プロセスはステップS301に進む。検出していない時、発話等実行判別処理は終了する。
ステップS301では、制御部32は、充電台12の設置場所を記憶部31から読出して、携帯端末11に通知する。通知後、プロセスはステップS302に進む。
ステップS302では、制御部32は、変動機構25および人感センサ29を駆動して、充電台12の周囲に人がいるか否かの検出を行う。変動機構25および人感センサ29を駆動させた後、プロセスはステップS303に進む。
ステップS303では、制御部32は、充電台12の周囲の人を人感センサ29が検出しているか否かを判別する。周囲の人を検出する時、プロセスはステップS304に進む。周囲の人を検出しない時、発話等実行判別処理は終了する。
ステップS304では、制御部32は、カメラ28に周辺光景を撮像させる。撮像後、プロセスはステップS305に進む。
ステップS305では、制御部32は、ステップS304において撮像により取得した画像内に含まれる人の顔を探索する。また、制御部32は、探索した顔の画像内の位置を検出する。顔の探索後、プロセスはステップS306に進む。
ステップS306では、制御部32は、ステップS305において探索した顔を、記憶部31に記憶した登録済みの顔の画像と比較することにより、撮像されたユーザを特定する。特定後、プロセスはステップS307に進む。
ステップS307では、制御部32は、ステップS305において探索した顔の位置に基づいて、携帯端末11のディスプレイ19がステップS304において撮像されたユーザの顔の方向を向くように、変動機構25を駆動させる。変動機構25の駆動後、プロセスはステップS308に進む。
ステップS308では、制御部32は、発話処理および音声認識処理の少なくとも一方を開始させる指令を携帯端末11に通知する。携帯端末11に通知後、プロセスはステップS309に進む。
ステップS309では、制御部32は、ステップS306において特定したユーザを携帯端末11に通知する。通知後、プロセスはステップS310に進む。
ステップS310では、制御部32は、携帯端末11の離脱を載置センサ30が検出しているか否かを判別する。検出していない時、プロセスはステップS304に戻る。検出している時、プロセスはステップS311に進む。
ステップS311では、制御部32は、離脱の検出後から所定時間が経過しているか否かを判別する。所定時間が経過していない場合、プロセスはステップS310に戻る。所定時間が経過している場合、プロセスはステップS312に進む。
ステップS313では、制御部32は、発話処理および音声認識処理の少なくとも一方を終了させる指令を携帯端末11に通知する。また、制御部32は、伝言の有無の問合せをスピーカ27に実行させる。携帯端末11への通知後、発話等実行判別処理は終了する。
次に、本開示において携帯端末11の制御部22が実行する、場所判別処理について、図7のフローチャートを用いて説明する。場所判別処理は、充電台12に携帯端末11を載置する時に開始する。
ステップS400において、制御部22は、充電台12から取得する設置場所を解析する。解析後、プロセスはステップS401に進む。
ステップS401では、制御部22は、ステップS400において解析した充電台12の設置場所が玄関であるか否かを判別する。玄関である場合、プロセスはステップS500に進む。玄関でない場合、プロセスはステップS402に進む。
ステップS500では、制御部22は、後述する玄関対話のサブルーチンを実行する。玄関対話のサブルーチンの実行後、場所判別処理は終了する。
ステップS402では、制御部22は、ステップS400において解析した充電台12の設置場所が食卓であるか否かを判別する。食卓である場合、プロセスはステップS600に進む。食卓でない場合、プロセスはステップS403に進む。
ステップS600では、制御部22は、後述する食卓対話のサブルーチンを実行する。食卓対話のサブルーチンの実行後、場所判別処理は終了する。
ステップS403では、制御部22は、ステップS400において解析した充電台12の設置場所が子供部屋であるか否かを判別する。子供部屋である場合、プロセスはステップS700に進む。子供部屋でない場合、プロセスはステップS404に進む。
ステップS700では、制御部22は、後述する子供部屋対話のサブルーチンを実行する。子供部屋対話のサブルーチンの実行後、場所判別処理は終了する。
ステップS404では、制御部22は、ステップS400において解析した充電台12の設置場所が寝室であるか否かを判別する。寝室である場合、プロセスはステップS800に進む。寝室でない場合、プロセスはステップS405に進む。
ステップS800では、制御部22は、後述する寝室対話のサブルーチンを実行する。寝室対話のサブルーチンの実行後、部屋判別処理は終了する。
ステップS405では、制御部22は、対話内容の決定に設置場所を用いない一般対話を行う発話処理および音声認識処理を実行する。一般対話の発話処理および音声認識処理を行うと、部屋判別処理は終了する。
次に、本開示において携帯端末11の制御部22が実行する、玄関対話のサブルーチンS500について、図8のフローチャートを用いて説明する。
ステップS501において、制御部22は、対話対象である特定のユーザの属性を判別する。判別後、プロセスはステップS502に進む。
ステップS502では、制御部22は、外部情報を解析する。解析後、プロセスはステップ503に進む。
ステップS503では、制御部22は、対話対象のユーザの動作に基づいて、当該ユーザの行動が帰宅および外出のいずれであるかを判別する。帰宅である場合、プロセスはステップS504に進む。外出である場合、プロセスはステップS505に進む。
ステップS504では、制御部22は、ステップS501において判別したユーザの属性およびステップS502において解析した外部情報に基づいて、帰宅用の対話を実行させる。制御部22は、例えば、ユーザの属性および外部情報に関わらず、スピーカ17に“お帰り”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの属性が子供である場合、スピーカ17に“勉強、頑張った?”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの属性が大人である場合、スピーカ17に“お疲れ様”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき雨であることを判別した場合、スピーカ17に“雨に濡れなかった?”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき通勤電車の遅延を判別した場合、スピーカ17に“電車、大変だったね”などの言葉を発せさせる。帰宅用の対話の実行後、プロセスはステップS506に進む。
ステップS505では、制御部22は、短期外出用の注意を喚起する対話を実行させる。制御部22は、例えば、スピーカ17に“携帯端末を忘れているよ”、“すぐに戻ってくるの?”、および“念のため、鍵をかけよう”などの言葉を発せさせる。短期外出用の注意を喚起する対話の実行後、プロセスはステップS506に進む。
ステップS506では、制御部22は、携帯端末11が充電台12から離脱しているか否かを判別する。離脱していない場合、プロセスはステップS506を繰返す。離脱している場合、プロセスはステップS507に進む。
ステップS507では、制御部22は、対話対象のユーザの動作に基づいて、当該ユーザの行動が帰宅および外出のいずれであるかを判別する。なお、携帯端末11および充電台12が有線通信により通信する構成においては、制御部22は、カメラ18が検出する画像に基づいて帰宅および外出のいずれであるかを判別する。帰宅である場合、プロセスはステップS508に進む。外出である場合、プロセスはステップS509に進む。
ステップS508では、制御部22は、ステップS501において判別したユーザの属性およびステップS502において解析した外部情報に基づいて、外出用の対話を実行させる。制御部22は、例えば、ユーザの属性および外部情報に関わらず、スピーカ17に“今日も頑張ろう”および“いってらっしゃい”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの属性が子供である場合、スピーカ17に“知らない人について行かないでね”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの属性が大人である場合、スピーカ17に“鍵かけた?”および“火の元、大丈夫?”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき雨であることを判別した場合、スピーカ17に“傘を持った?”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの属性が大人であってかつ外部情報に基づき雨であることを判別した場合、スピーカ17に“洗濯物は大丈夫?”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき当日の冷込みを判別した場合、スピーカ17に“上着はあるの?”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき通学電車または通勤電車が遅延していた場合、スピーカ17に“山手線は後れているよ”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの属性が大人であってかつ外部情報に基づき通勤経路が渋滞している場合、スピーカ17に“家から駅まで渋滞しているよ”などの言葉を発せさせる。外出用の対話の実行後、玄関対話のサブルーチンS500を終了して、図7に示す制御部22が実行する部屋判別処理に戻る。
ステップS509では、制御部22は、長期外出用の注意を喚起する対話を実行させる。制御部22は、例えば、スピーカ17に“鍵、大丈夫だった?”および“火の元、大丈夫だった?”などの言葉を発せさせる。長期外出用の注意を喚起する対話の実行後、玄関対話のサブルーチンS500を終了して、図7に示す制御部22が実行する部屋判別処理に戻る。
次に、本開示において携帯端末11の制御部22が実行する、食卓対話のサブルーチンS600について、図9のフローチャートを用いて説明する。
ステップS601において、制御部22は、対話対象である特定のユーザの属性を判別する。判別後、プロセスはステップS602に進む。
ステップS602では、制御部22は、特定のユーザの行動の判別を開始する。判別開始後、プロセスはステップ603に進む。
ステップS603では、制御部22は、ステップS601において判別したユーザの属性およびステップS602において開始したユーザの行動に基づいて、食事用の対話を実行させる。制御部22は、例えば、ユーザの属性が子供であってかつ過去の行動履歴における食事時刻の直前である場合、スピーカ17に“お腹が空いてきたね”などの言葉を発せさせる。なお、過去の行動履歴は、例えば、制御部22が過去に判別したユーザの動作、および学習した生活習慣などに基づく。また、制御部22は、例えば、ユーザの行動が配膳である場合、スピーカ17に“今日のご飯は何?などの言葉を発せさせる。また、制御部22は、例えば、ユーザの行動が食事開始直後である場合、スピーカ17に“色々な物を食べようね”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの行動がユーザの属性に対して適量を超えた食事の摂取の開始である場合、スピーカ17に“食べ過ぎ注意しよう”などの言葉を発せさせる。食事用の対話の実行後、プロセスはステップS604に進む。
ステップS604では、制御部22は、携帯端末11が充電台12から離脱しているか否かを判別する。離脱していない場合、プロセスはステップS604を繰返す。離脱している場合、プロセスはステップS605に進む。
ステップS605では、制御部22は、ステップS601において判別したユーザの属性に基づいて、買物用の対話を実行させる。制御部22は、例えば、ユーザの属性が大人である場合、スピーカ17に“今の旬は鰯だよ”および“何を買うかメモした?”などの言葉を発せさせる。買物用の対話の実行後、食卓対話のサブルーチンS600を終了して、図7に示す制御部22が実行する部屋判別処理に戻る。
次に、本開示において携帯端末11の制御部22が実行する、子供部屋対話のサブルーチンS700について、図10のフローチャートを用いて説明する。
ステップS701において、制御部22は、対話対象である特定のユーザの属性を判別する。判別後、プロセスはステップS702に進む。
ステップS702では、制御部22は、特定のユーザの行動の判別を開始する。判別開始後、プロセスはステップ703に進む。
ステップS703では、制御部22は、ステップS701において判別したユーザの属性およびステップS702において開始したユーザの行動に基づいて、子供との対話を実行させる。制御部22は、例えば、ユーザの属性が小学生または中学生であってかつ現在時刻が過去の行動履歴における帰宅時刻である場合、スピーカ17に“学校楽しかった?”、“両親に連絡ある?”、および“両親宛のプリントはある?”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの行動が遊びである場合、スピーカ17に“宿題は大丈夫なの?などの言葉を発せさせる。また、制御部22は、例えば、ユーザの行動が勉強開始直後である場合、スピーカ17に“いつでも質問して”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの行動が勉強であると判別してから所定の時間経過した場合、スピーカ17に“少し息抜きしたら”などの言葉を発せさせる。また、制御部22は、例えば、ユーザの属性が幼児または小学校の低学年である場合、スピーカ17に簡単な加算、減算、乗算などを問う質問を発せさせる。また、制御部22は、例えば、ユーザの属性における性別および幼児、小学校低学年、中学年、および高学年、中学生、ならびに高校生毎に流行している話題を提示する言葉を発せさせる。子供との対話の実行後、プロセスはステップS704に進む。
ステップS704では、制御部22は、携帯端末11が充電台12から離脱しているか否かを判別する。離脱していない場合、プロセスはステップS704を繰返す。離脱している場合、プロセスはステップS705に進む。
ステップS705では、制御部22は、ステップS701において判別したユーザの属性に基づいて、子供外出用の対話を実行させる。制御部22は、例えば、現在時刻が過去の行動履歴における通学直前の時刻である場合、スピーカ17に“忘れ物は無い?”および“宿題を持った?”などの言葉を発せさせる。また、制御部22は、例えば、季節が夏季である場合、スピーカ17に“帽子を被った?”などの言葉を発せさせる。また、制御部22は、例えば、スピーカ17に“ハンカチを持った?”などの言葉を発せさせる。子供外出用の対話の実行後、子供部屋対話のサブルーチンS700を終了して、図7に示す制御部22が実行する部屋判別処理に戻る。
次に、本開示において携帯端末11の制御部22が実行する、寝室対話のサブルーチンS800について、図11のフローチャートを用いて説明する。
ステップS801では、制御部22は、外部情報を解析する。解析後、プロセスはステップ802に進む。
ステップS802では、制御部22は、ステップS801において解析した外部情報に基づいて、就寝用の対話を実行させる。制御部22は、例えば、外部情報に関わらず、スピーカ17に“おやすみなさい”、“鍵は大丈夫?”、および“火の元は確認した?”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき前日の気温より予想気温が低い場合、スピーカ17に“今晩冷え込むよ”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき前日の気温より予想気温が高い場合、スピーカ17に“今晩は暑くなるよ”などの言葉を発せさせる。就寝用の対話の実行後、プロセスはステップS803に進む。
ステップS803では、制御部22は、携帯端末11が充電台12から離脱しているか否かを判別する。離脱していない場合、プロセスはステップS803を繰返す。離脱している場合、プロセスはステップS804に進む。
ステップS804では、制御部22は、ステップS801において解析したユーザの外部情報に基づいて、起床用の対話を実行させる。制御部22は、例えば、外部情報に関わらず、スピーカ17に“おはよう”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき前日の気温より予想気温が低いと判別する場合、スピーカ17に“今日、寒くなるよ。セーターあるといいよ”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき前日の気温より予想気温が高いと判別する場合、スピーカ17に“今日、暑くなるよ。薄着がいいよ”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき雨が降っていることを判別する場合、スピーカ17に“今日は雨だよ。早く出かけなくちゃね”などの言葉を発せさせる。また、制御部22は、例えば、外部情報に基づき通勤電車または通学電車の遅延を判別する場合、スピーカ17に“電車遅れているよ。早く出かけなくちゃね”などの言葉を発せさせる。起床用の対話の実行後、寝室対話のサブルーチンS800を終了して、図7に示す制御部22が実行する部屋判別処理に戻る。
次に、本開示において充電台12の制御部32が実行する、伝言処理について、図12のフローチャートを用いて説明する。伝言処理は、例えば、マイク26が検出する音声を制御部32が伝言であると判別する時、開始する。
ステップS900において、制御部32は、伝言にユーザの指定があるか否かを判別する。ユーザの指定がない場合、プロセスはステップS901に進む。ユーザの指定がある場合、プロセスはステップS902に進む。
ステップS901では、制御部32は、ユーザ指定の要求をスピーカ27に出力させる。要求の出力後、プロセスはステップS900に戻る。
ステップS902では、制御部32は、指定されたユーザの属性を記憶部31から読出す。属性の読出し後、プロセスはステップS903に進む。
ステップS903では、制御部32は、ステップS902において読出したユーザの属性に基づいて、ユーザが充電台12に把握されている携帯端末11の所有者であるか否かを判別する。所有者である場合、プロセスはステップS904に進む。所有者でない場合、プロセスはステップS907に進む。
ステップS904では、制御部32は、指定されたユーザの携帯端末11が載置されているか否かを判別する。当該携帯端末11が載置されている場合、プロセスはステップS910に進む。当該携帯端末11が載置されていない場合、プロセスはステップS905に進む。
ステップS905では、制御部32は、伝言の取得後から第1の時間が経過しているか否かを判別する。第1の時間が経過していない場合、プロセスはステップS904に戻る。第1の時間が経過している場合、プロセスはステップS906に進む。
ステップS906では、制御部32は、通信部23を介して、指定されたユーザの携帯端末11に向けて伝言を送信する。伝言の送信後、伝言処理は終了する。
ステップS903におけるユーザが携帯端末11の所有者でないと判別した時に進むステップS907では、制御部32は、指定されたユーザの顔の画像を記憶部31から読出す。顔の画像の読出し後、プロセスはステップS908に進む。
ステップS908では、制御部32は、カメラ28に周辺光景を撮像させる。撮像後、プロセスはステップS909に進む。
ステップS909では、制御部32は、ステップS908において撮像した画像内に、ステップS907で読出した顔の画像があるか否かを判別する。顔の画像がない場合、プロセスはステップS908に戻る。顔の画像がある場合、プロセスはステップS910に進む。
ステップS910では、制御部32は、伝言をスピーカ27に出力させる。伝言の出力後、伝言処理は終了する。
次に、本開示において充電台12の制御部32が実行する、メッセージ処理について、図13のフローチャートを用いて説明する。伝言処理は、例えば、マイク26が検出する音声を制御部32が伝言であると判別する時、開始する。
ステップS1000において、制御部32は、伝言の内容を解析する。解析後、プロセスはステップS1001に進む。
ステップS1001では、制御部32は、ステップS1000において解析した伝言に関連したメッセージが記憶部31に記憶されているか否かを判別する。記憶されている場合、プロセスはステップS1002に進む。記憶されていない場合、メッセージ処理は終了する。
ステップS1002では、制御部32は、ステップS1001において記憶されていることが判別された関連メッセージが、充電台12の現在の設置場所に対応しているか否か判別する。対応している場合、プロセスはステップS1003に進む。対応していない場合、メッセージ処理は終了する。
ステップS1003では、制御部32は、ステップS1000で解析した伝言に関する事項の発生または実行に関係する特定のユーザを判別する。さらに、制御部32は、特定したユーザの顔画像を記憶部31から読出す。また、制御部32は、特定のユーザの行動履歴を分析することにより、伝言に関する事項の発生または実行する時期を想定する。時期の想定後、プロセスはステップS1004に進む。
ステップS1004では、制御部32は、ステップS1003において想定した時期に到達しているか否かを判別する。到達していない場合、プロセスはステップS1004に戻る。到達している場合、プロセスはステップS1005に進む。
ステップS1005では、制御部32は、カメラ28に周辺光景を撮像させる。撮像後、プロセスはステップS1006に進む。
ステップS1006では、制御部32は、ステップS1005において撮像した画像内に、ステップS1003で読出した顔の画像があるか否かを判別する。顔の画像がある場合、プロセスはステップS1007に進む。顔の画像がない場合、プロセスはステップS1008に進む。
ステップS1007では、制御部32は、ステップS1001において記憶されていると判別されたメッセージをスピーカ27に出力させる。出力後、メッセージ処理は終了する。
ステップS1008では、制御部32は、ステップS1004において、想定した時期に到達したと判別した時から第2の時間が経過しているか否かを判別する。第2の時間が経過していない場合、プロセスはステップS1005に戻る。第2の時間が経過している場合、プロセスはステップS1009に進む。
ステップS1009では、制御部32は、伝言をすべきユーザが充電台12に把握されている携帯端末11の所有者であるか否かを判別する。所有者である場合、プロセスはステップS1010に進む。所有者でない場合、メッセージ処理は終了する。
ステップS1010では、制御部32は、通信部23を介して、伝言をすべきユーザの携帯端末11に向けてメッセージを送信する。メッセージの送信後、メッセージ処理は終了する。
以上のような構成の本実施形態に係る充電台12は、携帯端末11が載置される場合、携帯端末11に登録されたユーザへの伝言を出力させる。一般的に、外出中の携帯端末11のユーザは、帰宅後早急に携帯端末11の充電を開始することが多い。それゆえ、前述の構成の充電台12によれば、ユーザの帰宅時に当該ユーザ宛の伝言をユーザに報知し得る。このように、充電台12は、従来の充電台に比べて機能が改善される。
また、本実施形態に係る充電台12は、カメラ28が撮像する画像に指定されたユーザが含まれる場合、該ユーザへの伝言を出力させる。このような構成により、充電台12は、携帯端末11を所有しないユーザにも伝言を報知し得る。このように、充電台12は、従来の充電台に比べて、より機能が改善される。
また、本実施形態に係る充電台12は、ユーザへの伝言に関連したメッセージを、ユーザの行動履歴に基づく時期に出力させる。このような構成により、充電台12は、伝言に関連した事項を、思出させるべき時期にユーザに報知し得る。
また、本実施形態に係る携帯端末11は、携帯端末11に電力を供給する充電台12の設置された場所に応じた内容で、発話処理および音声認識処理の少なくとも一方を実行する。通常の人間同士の対話では、場所に応じて話題が変わり得る。それゆえ、このような構成により、携帯端末11は、コミュニケーションシステム10に、対話における状況に対して、より適切な対話をさせ得る。このように、携帯端末11では、従来の携帯端末に比べて、機能が改善される。
また、本実施形態に係る携帯端末11は、充電台12に載置される場合および充電台12から離脱する場合に応じた内容で、発話処理および音声認識処理の少なくとも一方を実行する。携帯端末11の充電台12への着脱は、ユーザの特定の行動に関連することがある。それゆえ、このような構成により、携帯端末11は、コミュニケーションシステム10に、ユーザの特定の行動に対して、より適切な対話をさせ得る。このように、携帯端末11では、従来の携帯端末に比べて、より機能が改善される。
また、本実施形態に係る携帯端末11は、対話対象のユーザの属性に応じた内容で、発話処理および音声認識処理の少なくとも一方を実行する。通常の人間同士の対話では、性別および世代などの属性によって話題が変わり得る。それゆえ、このような構成により、携帯端末11は、コミュニケーションシステム10に、対話対象のユーザに対して、より適切な対話をさせ得る。
また、本実施形態に係る携帯端末11は、外部情報に応じた内容で、発話処理および音声認識処理の少なくとも一方を実行する。このような構成により、携帯端末11は、コミュニケーションシステム10の構成要素として、対話する場所における充電台12から携帯端末11の着脱する状況で望まれる外部情報に基づくアドバイスを提供し得る。
また、本実施形態に係る充電台12は、携帯端末11が載置されている場合、携帯端末11に発話処理および音声認識処理の少なくとも一方を実行させている。このような構成により、充電台12は、単体で所定の機能を実行する携帯端末11とともにユーザとの対話相手になり得る。したがって、充電台12は、例えば、一人暮らしの高齢者の食事中の対話相手となり、高齢者の孤食を防ぎ得る。このように、充電台12は、従来の充電台に比べて、機能が改善されている。
また、本実施形態に係る充電台12は、携帯端末11が載置される時、携帯端末11に発話処理および音声認識処理の少なくとも一方の実行を開始させている。したがって、充電台12は、携帯端末11の載置により、煩雑な入力などを必要とすること無く、ユーザとの対話などを開始させ得る。
また、本実施形態に係る充電台12は、携帯端末11が離脱する時、携帯端末11に発話処理及び音声認識処理の少なくとも一方の実行を終了させている。したがって、充電台12は、携帯端末11の離脱のみにより、煩雑な入力などを必要とすること無く、ユーザとの対話などを終了させ得る。
また、本実施形態に係る充電台12は、携帯端末11のディスプレイ19が発話処理および音声認識処理の少なくとも一方の実行対象のユーザの方向を向くように変動機構25を駆動する。したがって、充電台12は、ユーザとの対話時に、コミュニケーションシステム10を、実際に会話をする人のように、当該ユーザに認識させ得る。
また、本実施形態に係る充電台12は、ユーザとの会話内容を、充電台12と通信する異なる携帯端末11間において共有させ得る。このような構成により、充電台12は、特定のユーザの会話内容を他のユーザに把握させ得る。したがって、充電台12は、会話内容を遠隔地にいる家族などと共有させ得、家族間のコミュニケーションを円滑化し得る。
また、本実施形態に係る充電台12は、特定の対象の状態を判断して異常状態である場合に携帯端末11のユーザに報知する。したがって、充電台12は、特定の対象を見守りし得る。
また、本実施形態に係るコミュニケーションシステム10は、対話対象のユーザに対して、過去の会話内容、発した音声、および充電台12の設置された場所などに基づいて、発する言葉を決める。このような構成により、コミュニケーションシステム10は、対話中のユーザの現在の会話内容および過去の会話内容ならびに設置場所に合わせた会話を行い得る。
また、本実施形態に係るコミュニケーションシステム10は、特定のユーザの行動履歴などを学習して、ユーザへのアドバイスを出力する。このような構成により、コミュニケーションシステム10は、薬を飲むべき時の通知、当該ユーザの好みの食事の提案、当該ユーザの健康のための食事内容の提案、および当該ユーザが継続可能かつ効果的な運動の提案を行うことにより、ユーザの忘却し易いこと、ユーザに未知のことを認識させ得る。
また、本実施形態に係るコミュニケーションシステム10は、現在位置に関連付けられた情報を報知する。このような構成により、コミュニケーションシステム10は、ユーザの居住地近辺に特化した地域情報をユーザに教示し得る。
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
例えば、本実施形態において、携帯端末11の制御部22が、発話処理、音声認識処理、会話内容の学習、行動履歴の学習および当該行動履歴の学習に基づくアドバイス、ならびに現在位置に関連付けられた情報の報知を実行するが、これらを充電台12の制御部32が実行してもよい。充電台12の制御部32が実行する構成においては、ユーザとの対話において充電台12のマイク26、スピーカ27、およびカメラ28を駆動してもよいし、携帯端末11のマイク16、スピーカ17、およびカメラ18を、通信部23、13を介して駆動してもよい。
また、本実施形態において、充電台12の制御部32が、発話処理および音声認識処理の少なくとも一方の実行の可否の判別、伝言処理、およびメッセージ処理を実行するが、これらの少なくとも一部を携帯端末11の制御部22に実行させてもよい。また、本実施形態において、充電台12の制御部32が充電台12の設置された場所を判別するが、充電台12に載置された携帯端末11の制御部22が判別してもよい。
また、本実施形態において、上記変形例を組合わせて、充電台12の制御部32が発話処理、音声認識処理、会話内容の学習、行動履歴の学習および当該行動履歴の学習に基づくアドバイス、ならびに現在位置に関連付けられた情報の報知を実行し、かつ携帯端末11の制御部22が発話処理および音声認識処理の少なくとも一方の実行の可否を判別してもよい。
また、本実施形態において、携帯端末11の制御部22が、登録処理を実行するが、充電台12の制御部32が実行してもよい。
10 コミュニケーションシステム
11 携帯端末
12 充電台
13 通信部
14 受電部
15 バッテリ
16 マイク
17 スピーカ
18 カメラ
19 ディスプレイ
20 入力部
21 記憶部
22 制御部
23 通信部
24 給電部
25 変動機構
26 マイク
27 スピーカ
28 カメラ
29 人感センサ
30 載置センサ
31 記憶部
32 制御部

Claims (5)

  1. 携帯端末が載置される場合、前記携帯端末に登録されたユーザへの、充電台の設置場所に関連付けられた、取得後から前記携帯端末に送信されるまでの保持時間が経過していない伝言を出力させる制御部を備える
    充電台。
  2. 請求項1に記載の充電台において、
    画像を撮像するカメラを、さらに備え、
    前記制御部は、指定されたユーザが前記画像に含まれる場合、該ユーザへの伝言を出力させる
    充電台。
  3. 請求項1または2に記載の充電台において、
    前記制御部は、前記ユーザへの伝言に関連したメッセージを、前記ユーザの行動履歴に基づく時期に出力させる
    充電台。
  4. 携帯端末と、
    前記携帯端末を載置可能な充電台と、を備え、
    前記携帯端末および前記充電台のいずれかにおいて、前記充電台に前記携帯端末が載置される場合、前記携帯端末に登録されたユーザへの、前記充電台の設置場所に関連付けられた、取得後から前記携帯端末に送信されるまでの保持時間が経過していない伝言を出力する
    コミュニケーションシステム。
  5. 携帯端末が充電台に載置される場合、前記携帯端末に登録されたユーザへの、前記充電台の設置場所に関連付けられた、取得後から前記携帯端末に送信されるまでの保持時間が経過していない伝言を出力するように前記充電台または前記携帯端末を機能させる
    プログラム。
JP2017153626A 2017-07-24 2017-08-08 充電台、コミュニケーションシステムおよびプログラム Active JP6883487B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017153626A JP6883487B2 (ja) 2017-08-08 2017-08-08 充電台、コミュニケーションシステムおよびプログラム
US16/634,120 US11380319B2 (en) 2017-07-24 2018-07-04 Charging stand, mobile terminal, communication system, method, and program
PCT/JP2018/025391 WO2019021771A1 (ja) 2017-07-24 2018-07-04 充電台、携帯端末、コミュニケーションシステム、方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017153626A JP6883487B2 (ja) 2017-08-08 2017-08-08 充電台、コミュニケーションシステムおよびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021001684A Division JP2021061636A (ja) 2021-01-07 2021-01-07 携帯端末および方法

Publications (2)

Publication Number Publication Date
JP2019033396A JP2019033396A (ja) 2019-02-28
JP6883487B2 true JP6883487B2 (ja) 2021-06-09

Family

ID=65524450

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017153626A Active JP6883487B2 (ja) 2017-07-24 2017-08-08 充電台、コミュニケーションシステムおよびプログラム

Country Status (1)

Country Link
JP (1) JP6883487B2 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001313846A (ja) * 2000-04-28 2001-11-09 Noriko Matsushita 日常生活活性化支援装置
JP3884902B2 (ja) * 2000-08-09 2007-02-21 株式会社日立製作所 携帯端末装置
JP4049244B2 (ja) * 2002-01-10 2008-02-20 富士フイルム株式会社 伝言装置
JP2008117166A (ja) * 2006-11-06 2008-05-22 Daikin Ind Ltd 報知装置および空気調和機
JP5592499B2 (ja) * 2009-11-19 2014-09-17 アボット ダイアベティス ケア インコーポレイテッド 検体データ送信及びレポート生成のための方法及びシステム
JP5949372B2 (ja) * 2012-09-19 2016-07-06 株式会社ナカヨ 情報入力装置および携帯端末
JP2015210797A (ja) * 2014-04-30 2015-11-24 シャープ株式会社 表示装置

Also Published As

Publication number Publication date
JP2019033396A (ja) 2019-02-28

Similar Documents

Publication Publication Date Title
JP7103769B2 (ja) 電子機器、携帯端末、コミュニケーションシステム、見守り方法、およびプログラム
US10244097B2 (en) Method and device to set household parameters based on the movement of items
US20200410980A1 (en) Interactive electronic apparatus, communication system, method, and program
US20150162000A1 (en) Context aware, proactive digital assistant
JP6977811B2 (ja) 情報処理システムおよび情報処理方法
WO2019021771A1 (ja) 充電台、携帯端末、コミュニケーションシステム、方法、およびプログラム
WO2016173243A1 (zh) 信息播报的方法及装置
CN106313082B (zh) 陪护机器人
CN104038742A (zh) 一种基于人脸识别技术的门铃系统
JP6942557B2 (ja) 対話型電子機器、コミュニケーションシステム、方法、およびプログラム
US11707694B2 (en) Message delivery apparatus and methods
JP6883487B2 (ja) 充電台、コミュニケーションシステムおよびプログラム
JP6883485B2 (ja) 携帯端末およびプログラム
JP2021061636A (ja) 携帯端末および方法
KR101298482B1 (ko) 상황 인지 기반의 영상전화 서비스 로봇
JP6974073B2 (ja) 電子機器、充電台、コミュニケーションシステム、方法、およびプログラム
JP6971088B2 (ja) 対話型電子機器、コミュニケーションシステム、方法、およびプログラム
JP6974058B2 (ja) 充電台、コミュニケーションシステム、方法およびプログラム
JP2021064947A (ja) 携帯端末およびプログラム
JP2021072508A (ja) 携帯型通信端末
KR20170024436A (ko) 웨어러블 디바이스 및 그 제어 방법
JP6783492B1 (ja) 電話機、報知システム及びコンピュータプログラム
US10887552B1 (en) Door-knocking for teleconferencing
KR20200050441A (ko) 인공지능 기능이 내장된 스마트 캐릭터 장난감
CN110825911A (zh) 内容显示方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210420

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210510

R150 Certificate of patent or registration of utility model

Ref document number: 6883487

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150