JP4497346B2 - 電子機器制御装置、電子機器制御システム - Google Patents

Description

本発明は、例えば携帯電話端末やＰＤＡ（Personal Digital Assistant）等のように、ユーザが常時携帯する携帯型端末に好適な電子機器制御装置、及び、その電子機器制御装置と他の電子機器とからなる電子機器制御システムに関する。

近年は、例えば、テレビジョン受像機、ビデオディスクレコーダ、オーディオ機器、パーソナルコンピュータとその周辺機器などの各種電子機器や、エアコンディショナ、除湿機、加湿器、空気清浄機、マイナスイオン発生器、パネルヒータやホットカーペット等の暖房機、照明器具などの各種家庭用の電子機器が、人々の周囲に溢れている。それら各種機器は殆どが電子制御化されており、例えばリモートコントローラや、ワンプッシュボタン等により電源のオン／オフだけでなく、その他の各種の操作が可能となっている。

ここで、ユーザは、一般に、例えば外出するときには、それら各種機器の電源スイッチをオフし、一方、帰宅した際には、それら各種機器のうち所望の機器の電源スイッチをオンした上で、さらに例えばテレビジョン受像機ならば所望のチャンネルに合わせてボリュームを調整したり、また、暖房機ならば所望の温度に調整する等、その時々の状況に応じた所望の操作を行うことになる。なお、これら各操作は、それぞれの機器に別個に対応したリモートコントローラを用いて行われることが多い。

また、上記各種の電子機器の使用の仕方として、例えばユーザが心身共に疲れていているような場合、ユーザは、例えば、照明を暗くすると同時にテレビジョン受像機を消し、また、オーディオ機器にて静かな曲を再生したり音量を小さくするなど、それぞれの機器をユーザが望む設定に操作することで、疲れた心身を癒すようなことがある。逆に、ユーザが心身共に元気で充実しているような場合、ユーザは、例えば、照明を明るくすると共に明るい内容のテレビジョン放送番組を視聴したり、オーディオ機器にてアップテンポの曲を流すような操作を行うことがある。

なお、特開２００３−１２２９９２の公開特許公報（特許文献１）には、ユーザの状況に応じた自動制御の技術が開示されている。この公報には、ユーザの状況に応じて取得すべき情報の種類や情報量を自動的に変え、また、ユーザの状況に応じて取得するメディア（画像や音声等）を自動的に選択するための技術が開示されている。なお、この公報に記載されているユーザの状況とは、例えばユーザが車両を運転中である状況や、歩行中である状況などであり、この公報記載のモバイル端末は、当該ユーザの状況が例えば車両運転中であるときには、サーバに対して交通情報や天気予報情報など自動的に要求するようになっている。

特開２００３−１２２９９２公報（第１図）

ところで、例えばユーザが心身共に疲れていているような場合や、ユーザが心身共に元気で充実しているような場合などにおいて、ユーザは、上述したように、照明の明るさ調整、テレビジョン受像機のオン／オフやチャンネル選択等、オーディオ機器の再生曲の選択や音量調整等のような各種の操作を行うことになるが、それら多数の電子機器をそれぞれ好みの設定に操作することは、非常に大変である。つまり、ユーザを取り巻く環境を、それら各機器を用いてユーザの好みの環境にしようとする場合、ユーザは、各機器を個々に調整及び設定するための煩雑な操作を行わなければならなくなる。

一方、上述した公報記載の技術のように、ユーザの状況に応じて自動制御される機器であれば、その機器についてはユーザは操作しなくても良くなるかもしれないが、それら自動制御による各機器は、あくまでユーザの状況に合った情報を提供するものであり、ユーザを取り巻く環境に対して影響を与えるものではない。

本発明は、上述の課題に鑑みてなされたものであり、例えば、ユーザによる操作を必要とせずに、ユーザを取り巻く環境をそのユーザが望む環境にすることを可能にする、電子機器制御装置及び電子機器制御システムを提供することを目的とする。

本発明の電子機器制御装置は、この装置より送られる制御情報に対応して所定の動作を行う他の電子機器と通信するための通信部と、スケジュール情報保持部に保持しているユーザのスケジュール情報の中から時間検知部にて計測した時間に応じてスケジュール検知部が検知したスケジュール情報とカメラ部がユーザの着衣を撮影した撮影データとに基づいてユーザの肉体的及び精神的な状態を判定してそのユーザの肉体的及び精神的な状態を表す情報をユーザ状態情報とする状態検出部と、そのユーザ状態情報に対応した動作を行うように他の電子機器を制御するための制御情報を生成する情報生成部と、その制御情報を通信部から他の電子機器へ送信させる送信制御部とを有することにより、上述した課題を解決する。

また、本発明の電子機器制御システムは、電子機器制御装置より送られてくる制御情報に対応して所定の動作を行う電子機器と、電子機器制御装置とからなり、電子機器制御装置は、電子機器と通信を行うための通信部と、スケジュール情報保持部に保持しているユーザのスケジュール情報の中から時間検知部にて計測した時間に応じて検出したスケジュール情報とカメラ部がユーザの着衣を撮影した撮影データとに基づいてユーザの肉体的及び精神的な状態を判定してそのユーザの肉体的及び精神的な状態を表す情報をユーザ状態情報とする状態検出部と、そのユーザ状態情報に対応した動作を行うように電子機器を制御するための制御情報を生成する情報生成部と、制御情報を通信部から電子機器へ送信させる送信制御部とを有することにより、上述した課題を解決する。

すなわち本発明によれば、電子機器は、電子機器制御装置が検出したユーザ状態情報に基づいて、所定の動作を行うようになされている。

本発明においては、電子機器制御装置が検出したユーザ状態情報に応じて、電子機器が所定の動作を行うことにより、ユーザが自ら各電子機器を操作しなくても、ユーザを取り巻く環境がユーザの望む環境になされる。

以下、図面を参照しながら、本発明実施形態の電子機器制御装置及び電子機器制御システムについて説明する。なお、本実施形態では、電子機器制御装置の一例として携帯電話端末を挙げ、その電子機器制御装置により制御される電子機器の一例として、テレビジョン受像機、照明器、オーディオ装置を挙げており、電子機器制御システムとしてそれらからなるシステムを挙げて説明する。

〔電子機器制御システムの概略構成〕
図１には、本発明実施形態の電子機器制御システムの概略構成を示す。

この図１において、本実施形態のテレビジョン受像機２は、通常のテレビジョン受像機が備えている基本機能の他に、本実施形態の携帯電話端末１との間で近距離無線通信を行う機能や、例えばインターネットやテレビジョンデータ放送を介してＥＰＧ（Electronic Program Guide）データを受信する機能、テレビジョン番組を予約録画する機能等を備えている。また、テレビジョン受像機２は、本実施形態の携帯電話端末１からの制御情報に基づいて、電源オン／オフ、音量調整、受信チャンネルの切り換え、録画、再生等の所定の動作を行う機能をも備えている。

本実施形態の照明器３は、一般の照明器が備えている基本機能の他に、本実施形態の携帯電話端末１との間で近距離無線通信を行う機能、明るさの調整機能等を備えている。また、照明器３は、本実施形態の携帯電話端末１からの制御情報に基づいて、点灯／消灯、明るさの調整等の所定の動作を行う機能をも備えている。

本実施形態のオーディオ装置４は、一般のオーディオ装置が備えている基本機能の他に、本実施形態の携帯電話端末１との間で近距離無線通信を行う機能、例えばインターネットやオーディオデータ放送を介してラジオ番組データを受信する機能、ラジオ番組を録音する機能、ＣＤ（コンパクトディスク）等の複数のメディアを切り換えて再生する機能等を備えている。また、オーディオ装置４は、本実施形態の携帯電話端末１からの制御情報に基づいて、電源オン／オフ、音量調整、ラジオ受信チャンネルの切り換え、録音、再生等の所定の動作を行う機能をも備えている。

このように、本発明実施形態の電子機器は、本実施形態の携帯電話端末１からの制御情報に基づいて、所定の動作、すなわち例えば、テレビジョン番組を受信して映し出したり、ユーザが居る部屋を照明したり、音楽を再生するなどの動作を行う電子機器となっている。

本実施形態の携帯電話端末１は、一般的な携帯電話端末が備えている機能の他に、本発明実施形態のテレビジョン受像機２や照明器３、オーディオ装置４等の周囲の電子機器との間で近距離無線通信を行う機能と、本発明にかかるユーザ自身の状態情報として、ユーザ自身の状態とユーザ周囲の状態と端末内部の状態をそれぞれ検出する機能と、それら各状態に基づいて、テレビジョン受像機２や照明器３、オーディオ装置４等の周囲の電子機器が所定の動作を行うための制御情報を生成する機能とを備えている。本実施形態の携帯電話端末１の具体的構成については後述する。

ここで、ユーザ自身の状態とは、例えば、ユーザの体温が何度か、ユーザの脈拍が速いか遅いか、ユーザの移動速度はどの程度か、ユーザが着ている衣服の色や柄はどのようなものか、ユーザの現在位置は何処か、ユーザのスケジュールがどのようになっているか等であり、さらには、「楽しい」状態、「疲れている」状態、「普通」の状態等のようなユーザの肉体的，精神的な状態や、「就寝」、「食事中」のようなユーザ自身の行動を表す状態も含まれる。また、ユーザ周囲の状態とは、現在の時間（朝、昼、夜などの時間帯も含む）や、ユーザの現在位置、ユーザの周囲の景色，場景、ユーザ周囲の音環境、ユーザの周囲にどのような電子機器が存在するのかなどである。さらに、端末内部の状態とは、例えば通話アプリケーションを実行中であるのか、メールアプリケーションを実行中であるのか、カメラアプリケーションを実行中であるのかなどである。なお、これらユーザ自身の状態、ユーザ周囲の状態、端末内部の状態をそれぞれ検出するための具体的構成については後述する。

また、本実施形態の携帯電話端末１からの制御情報により、その周囲の電子機器が所定の動作を行う際の制御形態としては、以下の二つが考えられる。その一方は、例えば、携帯電話端末１が、上記ユーザ自身の状態、ユーザ周囲の状態、端末内部の状態の各状態に基づいて、各電子機器の動作を制御するための制御コマンドを生成し、その制御コマンドをそれら各電子機器に制御情報として直接送信することによる制御形態であり、他方は、例えば、上記ユーザ自身の状態、ユーザ周囲の状態、端末内部の状態の各状態を表す情報を、携帯電話端末１から各電子機器への制御情報として送信し、各電子機器が当該制御情報に基づいてそれぞれ自己の動作を制御するような制御形態である。本発明実施形態の電子機器制御システムは、それら制御形態の何れをも適用可能である。

なお、以下の説明では、携帯電話端末１からの制御情報により電子機器が所定の動作を行う際の制御形態として、携帯電話端末から上記ユーザ自身の状態、ユーザ周囲の状態、端末内部の状態の各状態を表す情報を制御情報として各電子機器に送信し、各電子機器がその制御情報に基づいて各々自己の動作を制御する制御形態を例に挙げて説明する。また、ユーザ自身の状態、ユーザ周囲の状態、端末内部の状態の各状態を表す情報は、何れもユーザの状態を表す情報と言えるため、以下、その情報を、ユーザ状態情報と呼ぶことにする。

〔携帯電話端末の構成例〕
図２には、本発明実施形態の携帯電話端末１の内部構成例を示す。

制御部１１は、携帯電話端末１全体を制御するプログラムに基づいて動作する例えばＣＰＵであり、当該プログラムに従ってバス１０を介して各種機能を制御する。また制御部１１は、自己が実行しているプログラムにより、ユーザが何れのアプリケーションを当該携帯電話端末１に対して実行させているのかを認識することも可能となっている。すなわち、制御部１１は、例えば、通話アプリケーションが起動中である場合にはユーザが通話中であることを、また、メールアプリケーションが起動中である場合にはユーザがメール操作を行っていることを、テレビジョン視聴アプリケーションが起動中である場合にはユーザがテレビジョンを視聴していることを、カメラアプリケーションが起動中である場合にはユーザがカメラ操作を行っていること等の、端末状態を認識可能となっている。

通信回路１２は、アンテナ６を通じて基地局と通信を行う。また、本実施の形態の携帯電話端末１は、当該アンテナ６と通信回路１２を通じてインターネット等へ接続することも可能であり、したがって、当該インターネット上の所望のサイトから、ユーザが居る場所の周囲にどのような店等があるのかや、天気予報の情報などを取得することができる。

表示部１３は、バス１０を介して制御部１１から供給された画像信号をモニタ画面上に表示する。

操作部１４は、テンキーやジョグダイヤル等の操作デバイスを有し、それら操作デバイスの操作に応じた操作信号を生成し、バス１０を介して制御部１１へ送る。

メモリ１５は例えば記憶保持型の書き換え型メモリであり、電話帳データ、スケジュール管理ソフト、制御部１１が動作するためのプログラムなどを保持している。

データ保持部１６は、メモリ１５と同様に記憶保持型の書き換え型メモリであり、後述するようにして検出されるユーザ自身の状態やユーザ周囲の状態或いは端末内部の状態を表すユーザ状態情報を一時的に保持する。また、データ保持部１６は、ユーザ自身の状態やユーザ周囲の状態或いは端末内部の状態を表すユーザ状態情報と、そのユーザ状態情報に応じて電子機器が所定の動作を行う際の制御内容との対応を表すマップを記憶していても良い。さらに、データ保持部１６は、ユーザのスケジュールデータ、各種様々な画像データ、例えばインターネット等を介して取得した天気予報情報、当該携帯電話端末がいわゆる電子マネー機能を備えているときの買い物情報、インターネット等に接続してネット購入した際の買い物情報等も記憶する。その他、データ保持部１６には、後述するＧＰＳ受信回路２２からの位置データと照らし合わせて現在の場所を検出するための地図データも記録されている。なお、本実施形態のシステムにおいて、携帯電話端末１からの制御情報に基づいて周囲の電子機器が所定の動作を行う際の制御形態として、当該携帯電話端末１がユーザの各状態に基づいて、各電子機器の動作を制御するための制御コマンドを生成し、その制御コマンドを制御情報としてそれら各電子機器に直接送信するような制御形態をとる場合、当該データ保持部１６には、ユーザ状態情報とそれに対応する各電子機器の制御コマンドの対応テーブルが記憶されることになる。当該データ保持部１６は、メモリ１５に含まれていても良い。

スピーカ駆動回路１７は、スピーカ４を駆動して通話音や着信音などを出力する。

マイク入力信号発生部１８は、マイクロホン５で集音した音声を増幅し、アナログ／ディジタル変換してディジタル音声データを生成する。

近距離通信回路１９は、例えばブルートゥース（Bluetooth：商標）や、赤外線通信（ＩｒＤＡ）、ＵＷＢ（Ultra Wide Band）などの近距離無線を行うための回路であり、必要に応じてアンテナ１９ａ（赤外線通信の場合は赤外線送受信部）を介して、上述したテレビジョン受像機２や照明器３，オーディオ装置４等の電子機器との通信を行う。本実施形態の携帯電話端末は、現在のユーザ自身の状態やユーザ周囲の状態、或いは端末内部の状態を表すユーザ状態情報を、制御情報として当該近距離通信回路１９から各電子機器へ送信可能となっている。

センサ２５は、例えば、体温や脈拍等のユーザの身体的，心理的な状態が反映される身体状態パラメータを検知するセンサ、気温センサ、湿度センサ、加速度センサなどであり、設置スペースが許す限りこれらが複数個備えられている。なお、体温や脈拍を検知するセンサは、ユーザが携帯電話端末１を持ったときに当該ユーザの指が触れる位置に設けられたり、当該携帯電話端末１が例えば腕時計型端末である場合にはユーザの手首と接触する部分に設けられる。その他、センサ２５には、例えば人体から発せられる微弱な電磁波を検知することなどにより、ユーザの脳波を検知するセンサが含まれていても良い。

センサ検知信号発生部２０は、上記センサ２５からの検知信号をアナログ／ディジタル変換し、そのディジタル信号をバス１０を介して制御部１１へ送る。

カメラ７は、レンズ系と例えばＣＣＤ（Charge Coupled Diode）等の撮像素子を備えており、レンズ系を介して例えばユーザの衣服や、ユーザが居る場所などのユーザの周囲の画像を取り込むことができるものである。

カメラ駆動回路２１は、カメラ７を駆動すると共に、カメラ７からの撮像信号を受け取り、その撮像信号をバス１０を介して制御部１１へ送る。この時の制御部１１は、カメラ７の撮像信号から画像解析を行うことにより、例えばユーザがどのような種類で何れの色の服を着ているのか、ユーザがどのような場所に居るのか、撮影画像の明るさや色合いから現在の天気や時間帯がどうなのか、ユーザの周囲にどのような電子機器が存在しているのか等を認識することも可能となっている。

タイマ２３は、時刻カウント値を出力し、その時刻カウント値をバス１０を介して制御部１１に送る。これにより、制御部１１は、現在の時刻や時間帯（例えば朝、昼、夜等）を検知することができる。また、制御部１１は、タイマ２３からの時刻カウント値により、過去に何らかの処理や操作が行われてから現在までの経過時間等を知ることもできる。

ＧＰＳ受信回路２２は、アンテナ２２ａを介してＧＰＳ衛星からの信号を受信し、そのＧＰＳ受信信号を制御部１１へ送る。したがって、この時の制御部１１は、ＧＰＳ受信信号から現在位置の緯度経度を認識し、またデータ保持部１６に保持されている地図データと上記現在位置の緯度経度とから、ユーザ（つまり携帯電話端末１）が存在している場所を検出することができる。また、携帯電話端末１は、ＧＰＳ受信信号とタイマ２３の時刻カウント値とから、ユーザがどの程度の速さでどの方向へ移動しているのか、さらにその移動速度と地図データとに基づいて、ユーザが歩いているのか、走っているのか、自転車に乗っているのか、或いは、自動車や電車、飛行機、船等に乗っているのか、ユーザがどの程度の距離を移動したのか等を検知することもできる。

その他、図示は省略しているが、本実施形態の携帯電話端末は、例えばインターネットを介してダウンロードされた音楽データや、メモリカード等に保持された音楽データを再生する機能も備えている。

〔電子機器の構成例〕
図３には、本発明実施形態の電子機器制御システムに含まれる各電子機器の内部構成例を示す。なお、この図３は、テレビジョン受像機２、照明器３、オーディオ装置４が共通に有する構成部のみを示している。

図３において、制御部３１は、電子機器全体を制御するプログラムを内蔵しており、このプログラムに従ってバス３０を介して各種機能を制御する。

基本機能部３４は、当該電子機器が通常備えている基本的な動作を実行するための各種構成であり、この電子機器がテレビジョン受像機２である場合にはテレビジョン放送を受信するチューナやその受信したテレビジョン番組を映し出すためのモニタやスピーカ等の各構成、照明器３である場合には光を発するため等の各構成、オーディオ装置４である場合にはラジオ受信チューナやディスク再生装置、スピーカ、アンプ等の各構成である。

メモリ３２は、例えば記憶保持型の書き換え型メモリであり、制御部３１が当該電子機器を動作させるのに必要なプログラムやデータ、携帯電話端末１から制御情報として送られてくるユーザ状態情報に応じた動作を実行するのに必要なプログラム等をも記憶している。

データ保持部３３は、例えば記憶保持型の書き換え型メモリであり、携帯電話端末１から制御情報として送られてくるユーザ状態情報と、そのユーザ状態情報に応じて当該電子機器をどのように動作させるかを表す制御内容との対応テーブルなどを保持している。なお、本実施形態のシステムにおいて、ユーザの各状態に基づいて、携帯電話端末１が各電子機器の動作を制御するための制御コマンドを生成し、その制御コマンドを制御情報としてそれら各電子機器に直接送信するような制御形態をとる場合、当該データ保持部３３には、携帯電話端末１からの制御コマンドとそれに対応する当該電子機器の制御内容との対応テーブルが記憶されることになる。当該データ保持部３３はメモリ３２に含まれていても良い。

インターフェイス３５は、必要に応じて設けられており、例えばインターネット回線と接続等するための構成である。

近距離通信回路３６は、例えばブルートゥースや、赤外線通信、ＵＷＢなどの近距離無線を行うための回路であり、必要に応じてアンテナ３６ａ（赤外線通信の場合は赤外線送受信部）を介して、本実施形態の携帯電話端末１との通信を行う。なお、本実施形態の電子機器は、当該近距離通信回路３６により、互いに他の電子機器間で通信を行うことも可能となされている。

タイマ３７は、時刻カウント値を出力し、その時刻カウント値をバス３０を介して制御部３１に送る。これにより、制御部３１は、現在の時刻や時間帯を検知することができる。また、制御部３１は、タイマ３７からの時刻カウント値により、過去に何らかの処理や操作が行われてから現在までの経過時間等を知ることもできる。

〔本発明実施形態における電子機器の制御フロー〕
次に、本発明実施の形態の携帯電話端末１による具体的な電子機器制御処理について説明する。

図４には、携帯電話端末１が制御情報を生成して電子機器へ送信するまでの、制御部１１における処理のフローチャートを示す。なお、このフローチャートに示す処理は、一定時間間隔でループされる。

図４において、先ず、ステップＳ１において、制御部１１は、センサ２５の体温，脈拍センサからの検知信号、加速度センサからの検知信号、カメラ７からの撮像信号、ＧＰＵ受信回路からのＧＰＳ受信信号、タイマ２３からの時刻カウント値等に基づいて、ユーザ自身の状態がどのような状態であるかを検出する。

すなわち、制御部１１は、一例として、体温，脈拍の検知信号と時刻カウント値とから体温が高く且つ脈拍も速い状態が長時間続いたことを検出した場合、或いは、ＧＰＳ受信信号と時刻カウント値とから、ユーザが長時間且つ長距離を移動したことや遅い帰宅時間であることを検出した場合、或いは、スケジュールから「仕事」が連続していることを検出した場合等のときには、ユーザ自身の状態は「疲れている」状態であると判定するようなユーザ自身の状態検出を行う。一方、制御部１１は、体温が高くて脈拍も速い状態となっているが、スケジュールから「遊び中」であることを検出した場合や、カメラ７の撮像信号を解析して、ユーザの着衣が明るい色の成分を多く含むことを検出し且つスケジュールが「休日」であることを検出した場合、データ保持部１６内の買い物情報からユーザがその日「好きな買い物を一定額以上した」ことを検出した場合等のときには、ユーザ自身の状態は「楽しい」状態であると判定するようなユーザ自身の状態検出を行う。また、制御部１１は、カメラ７の撮像信号からユーザが寝室に居ることを認識し、体温，脈拍が安定していることを検出した場合には、ユーザ自身の状態は「就寝」の状態であることを検出する。勿論、これらの検出例は一例であり、本発明はこれら検出例に限定されない。なお、それらユーザ自身の各状態のうち、何れの状態を検出するか、或いはそれらの幾つの状態を検出するのかは、例えばユーザが設定可能となっており、その設定データも上記データ保持部１６に保持される。このステップＳ１の後、制御部１１は、ステップＳ２へ処理を進める。

ステップＳ２の処理に進むと、制御部１１は、センサ２５の気温センサや湿度センサからの検知信号、予め取得してデータ保持部１６に保持されている天気予報データ、タイマ２３からの時刻カウント値、カメラ７からの撮像信号、ＧＰＳ受信回路２２からのＧＰＳ受信信号、マイクロホン５からの入力音声信号等に基づいて、ユーザの周囲の状態がどのような状態であるのかを検出する。

すなわち、制御部１１は、一例として、ユーザ周囲の状態として、時刻カウント値から現在の時間帯が「朝」「昼」「夜」等であることを検出したり、湿度センサからの検知信号やデータ保持部１６に保持されている天気予報データから「雨」であることを検出したりする。また、制御部１１は、例えば、カメラ７の撮像信号から、ユーザ自身や家族とは異なる人物を検出することで、ユーザ周囲の状態として、「来客」中であることを検出したりする。勿論、これらの検出例は一例であり、本発明はこれら検出例に限定されない。なお、それらユーザ周囲の各状態のうち、何れの状態を検出するか、或いはそれらの幾つの状態を検出するのかは、例えばユーザが設定可能となっており、その設定データも上記データ保持部１６に保持される。このステップＳ２の後、制御部１１は、ステップＳ３へ処理を進める。

ステップＳ３の処理に進むと、制御部１１は、どのようなアプリケーションが起動実行されているのかにより、端末内部の状態がどのような状態となっているのかを検出する。

すなわち、制御部１１は、自己が実行しているアプリケーションを認識可能であるため、例えばメールアプリケーションを実行しているときにはメール操作中であると認識し、例えば通話アプリケーションを実行しているときには通話中であると認識できる。なお、それら端末内部の各状態のうち、何れを検出するか、或いはそれらの幾つを検出するのかは、ユーザが設定可能となっており、その設定データも上記データ保持部１６に保持される。このステップＳ３の後、制御部１１は、ステップＳ４へ処理を進める。

ステップＳ４の処理に進むと、制御部１１は、近距離通信回路１９により通信可能な範囲内をサーチして、制御情報に応じて動作可能な電子機器が周囲に存在するかを検出する。また、制御部１１は、カメラ７の撮像信号の画像解析を行うことで、制御情報に応じて動作可能な電子機器が周囲に存在するのかを検出しても良い。このステップＳ４の後、制御部１１は、ステップＳ５へ処理を進める。

ステップＳ５の処理に進むと、制御部１１は、周囲に存在する動作可能な電子機器に対して制御情報を送信可能であるかを判断する。この判断基準としては、例えば、前回送信してから所定時間が経過したかどうかや、先のステップＳ１〜ステップＳ３でそれぞれ検出したユーザ自身の状態、ユーザ周囲の状態、端末内部の状態と、前回の電子機器制御の際の各状態と今回の状態の差分、前回の制御内容と今回の制御内容の差分等を用い、例えば、経過時間が所定時間以上になったか、各状態の変化が大きいか、今回の制御内容は前回の制御内容と同じか否かなどが考えられる。そして、このステップＳ５において、制御部１１は、例えば、経過時間が所定時間以上になったり、前回の電子機器制御の際の各状態と今回の状態の差分や前回の制御内容と今回の制御内容の差分が大きいと判定した場合には、制御情報を送信すると判定する。制御部１１は、ステップＳ５にて制御情報を送信すべき、つまり制御情報の送信タイミングであると判定した場合にはステップＳ６へ処理を進め、そうでないときにはこのフローチャートの処理を終了する。

ステップＳ６に進むと、制御部１１は、ステップＳ１〜ステップＳ３での検出により得られたユーザ状態情報である制御情報を、ステップＳ４で検出された電子機器へ、近距離通信回路１９を介して送信させる。なお、本実施形態のシステムにおいて、携帯電話端末１が各電子機器の制御コマンドを送信する制御形態をとる場合、ステップＳ６では、当該制御コマンドである制御情報が電子機器へ送信される。

以下、本実施形態の携帯電話端末１からの制御情報による各電子機器の制御内容の具体例について説明する。

〔ユーザ自身の状態に対応した電子機器の具体的制御例〕
図５には、現在のユーザ自身の状態と各電子機器の制御内容との対応を示すマップの一例を示す。

図５において、自宅にて携帯電話端末１がユーザ自身の状態を「楽しい」と判定したとき、当該携帯電話端末１は、その「楽しい」というユーザ自身の状態に対応した制御情報を、テレビジョン受像機２，照明器３，オーディオ装置４に無線送信する。当該「楽しい」のユーザ自身の状態に対応した制御情報を受け取ったテレビジョン受像機２は、「楽しい」というユーザ自身の状態に合ったテレビジョン放送番組（例えば「バラエティ」の番組）を流す。なお、この番組は、あらかじめ録画しておいたものでもよいし、リアルタイムで放送されているのであれば、そのチャンネルをそのまま流せばよい。またこの時の照明器２は、「楽しい」というユーザ自身の状態に合わせて、例えば「明るく」点灯する。同様に、オーディオ装置４は、「楽しい」というユーザ自身の状態に合わせて、例えば「明るい曲」を流す。

また、携帯電話端末１がユーザ自身の状態を「疲れている」と判定したとき、当該携帯電話端末１は、その「疲れている」というユーザ自身の状態に対応した制御情報を、テレビジョン受像機２，照明器３，オーディオ装置４に無線送信する。当該「疲れている」のユーザ自身の状態に対応した制御情報を受け取ったテレビジョン受像機２は、「疲れている」というユーザ自身の状態に合った動作（例えば電源をオフして何も映さない）を取る。またこの時の照明器２は、「疲れている」というユーザ自身の状態に合わせて、例えば「暗め」に点灯する。同様に、オーディオ装置４は、「疲れている」というユーザ自身の状態に合わせて、例えば心身を癒す効果のあるいわゆる「ヒーリング曲」を流す。この音楽は、複数のメディアの中から「ヒーリング曲」に分類されている曲を再生しても良いし、ラジオにより放送されているのであればそのラジオチャンネルをそのまま流せば良い。

また、携帯電話端末１がユーザ自身の状態を「普通」と判定したとき、当該携帯電話端末１は、その「普通」というユーザ自身の状態に対応した制御情報を、テレビジョン受像機２，照明器３，オーディオ装置４に無線送信する。当該「普通」のユーザ自身の状態に対応した制御情報を受け取ったテレビジョン受像機２は、「普通」というユーザ自身の状態に合った動作（例えば予め設定されている動作）を取る。またこの時の照明器２は、「普通」というユーザ自身の状態に合わせて、例えば「普通」の明るさに点灯する。同様に、オーディオ装置４は、「普通」というユーザ自身の状態に合わせて、例えば電源をオフして何も音楽等を流さないようにする。

さらに、携帯電話端末１がユーザ自身の状態を「就寝」していると判定したとき、当該携帯電話端末１は、その「就寝」というユーザ自身の状態に対応した制御情報を、テレビジョン受像機２，照明器３，オーディオ装置４に無線送信する。当該「就寝」に対応した制御情報を受け取ったテレビジョン受像機２は、「就寝」というユーザ自身の状態に合った動作（例えば電源をオフする動作）を取る。同様に、この時の照明器２は「普通」というユーザ自身の状態に合わせて消灯（オフ）し、オーディオ装置４も電源をオフして何も音楽等を流さないようにする。

その他、携帯電話端末１がユーザ自身の状態を「食事中」であると判定したとき、携帯電話端末１はテレビジョン受像機２の電源を「オフ」し、照明器３は「明るく」点灯し、オーディオ装置４は「クラッシック」の曲を流す。

以上のように、この図５の例のシステムによれば、携帯電話端末１からの制御情報により、各電子機器が所定の動作を行うことで、ユーザの周囲の環境をユーザが望む環境にすることが可能となっている。すなわち本実施形態のシステムによれば、ユーザが「楽しい」，「疲れている」，「普通」等の状態の時には、それらユーザの「楽しい」，「疲れている」，「普通」等の状態に合わせた環境を実現するために、テレビジョン受像機２、照明器３、オーディオ装置４が自動的に動作するようになっている。

〔ユーザ周囲の状態に対応した電子機器の具体的制御例〕
図６には、現在のユーザの周囲の状態と各電子機器の制御内容との対応を示すマップの一例を示す。

図６において、自宅にて携帯電話端末１がユーザ周囲の状態を「朝」の時間帯であると判定したとき、当該携帯電話端末１は、その「朝」の時間帯というユーザ周囲の状態に対応した制御情報を、テレビジョン受像機２，照明器３，オーディオ装置４に無線送信する。当該「朝」の時間帯に対応した制御情報を受け取ったテレビジョン受像機２は、「朝」の時間帯というユーザ周囲の状態に合ったテレビジョン放送番組（例えば「ニュース」番組）を流す。またこの時の照明器２は、「朝」の時間帯に合わせて、例えば「消灯」する。同様に、オーディオ装置４は、「朝」の時間帯に合わせて、例えば電源を「オフ」する。

同様に、携帯電話端末１がユーザ周囲の状態を「昼」や「夜」と判定したとき、当該携帯電話端末１は、それら「昼」や「夜」に対応した制御情報を、テレビジョン受像機２，照明器３，オーディオ装置４に無線送信する。「昼」に対応した制御情報を受け取ったテレビジョン受像機２は例えば「昼ドラマ」を流し、照明器２は「消灯」し、オーディオ装置４は「音量大」にて音楽等を流す。「夜」を表すユーザ状態情報を受け取ったテレビジョン受像機２は例えば「スポーツ」の番組を流し、照明器２は「点灯」し、オーディオ装置４は「音量小」にて音楽等を流す。

また、携帯電話端末１がユーザ周囲の状態を「雨」や「来客」中と判定したとき、当該携帯電話端末１は、それら「雨」や「来客」中というユーザ自身の状態に対応した制御情報を、テレビジョン受像機２，照明器３，オーディオ装置４に無線送信する。「雨」に対応した制御情報を受け取ったテレビジョン受像機２は例えば「天気予報」を流し、照明器２は「点灯」し、オーディオ装置４は「変更無し」とする。「来客」を表すユーザ状態情報を受け取ったテレビジョン受像機２は例えば電源を「オフ」し、照明器２は「明るく」点灯し、オーディオ装置４は電源を「オフ」する。

以上のように、この図６の例のシステムによれば、各電子機器が所定の動作を行うことで、ユーザ周囲の環境をユーザの状態に合うような環境にすることが可能となっている。すなわち本実施形態のシステムによれば、ユーザ周囲の状態が「朝」，「昼」，「夜」等の状態の時には、それらユーザ周囲の「朝」，「昼」，「夜」等の状態に合わせた環境を実現するために、テレビジョン受像機２、照明器３、オーディオ装置４が自動的に調整されるようになっている。

〔端末内部の状態に対応した電子機器の具体的制御例〕
図７には、現在の端末内部の状態と各電子機器の制御内容との対応を示すマップの一例を示す。

図７において、自宅にて携帯電話端末１が端末内部の状態を「通話」中であると判定したとき、当該携帯電話端末１は、その「通話」中という端末内部の状態に対応した制御情報を、テレビジョン受像機２，照明器３，オーディオ装置４に無線送信する。当該「通話」に対応した制御情報を受け取ったテレビジョン受像機２は、例えば「音量小」に設定する。またこの時の照明器２は「普通」の明るさとし、オーディオ装置４は「音量小」に設定する。同様に、携帯電話端末１が内部の状態を「メール」中や「カメラ」使用中と判定したとき、当該携帯電話端末１は、それら「メール」や「カメラ」に対応した制御情報を、テレビジョン受像機２，照明器３，オーディオ装置４に無線送信する。「メール」に対応した制御情報を受け取ったテレビジョン受像機２は例えば「変更無し」として現状維持し、照明器２は「普通」の明るさとし、オーディオ装置４は「変更無し」として現状維持する。また「カメラ」に対応した制御情報を受け取ったテレビジョン受像機２は例えば「変更無し」として現状維持し、照明器２は「明るく」設定し、オーディオ装置４は「変更無し」として現状維持する。

以上のように、この図７の例のシステムによれば、各電子機器が所定の動作を行うことでユーザ周囲の環境をユーザが望む環境にすることが可能となっている。すなわち本実施形態のシステムによれば、端末内部の状態が「通話」や「メール」，「カメラ」等の状態の時には、それら端末内部の状態が「朝」，「昼」，「夜」等の状態に合わせた環境を実現するために、テレビジョン受像機２、照明器３、オーディオ装置４が自動的に動作するようになっている。

〔まとめ〕
以上説明したように、本発明実施形態のシステムによれば、ユーザ自身の状態、ユーザ周囲の状態、端末内部の状態等の検出結果に基づいて、周囲の各電子機器が所定の動作を行うため、ユーザが自ら各電子機器を操作することなく、ユーザを取り巻く環境をそのユーザが望む環境にすることが可能となっている。

なお、上述した例では、各電子機器は、各電子機器のデータ保持部３３或いは携帯電話端末１のデータ保持部１６にあらかじめ格納された対応テーブルやマップ等に従って制御されるようになされているが、それらユーザ自身の状態、ユーザ周囲の状態、端末内部の状態の各状態と電子機器の制御内容との対応付けは、ユーザが好みに応じて設定を変更することも可能であり、また、通信手段等を使って他の端末装置や電子機器から当該対応付けの情報を取得することも可能である。

さらに、各状態と制御内容のと対応関係は、例えばユーザからのフィードバックや電子機器からのフィードバックにより適宜変更することも可能であり、各状態や制御内容には、ユーザ設定により優先順位をつけることも可能である。また、各状態と各電子機器の制御内容の対応付けは一対一対応でも、或いは各状態と制御内容が複合的に組み合わせられていても良い。

また、携帯電話端末１から電子機器への制御情報の送信頻度、どのような制御内容にするのか、何れの電子機器を制御するのかの設定等は、ユーザにより任意に変更可能としても良い。制御情報の送信頻度は、電子機器毎に設定することができ、特に、送信頻度を高くした場合、図４のステップＳ５での送信タイミングの判定基準が緩やかになる。また、送信頻度は、制御内容毎に設定しても良い。

その他、ユーザの状態としては、例えば「疲れているけれども楽しい」などのような状態であっても良い。また、ユーザの状態の判断の際に、例えば実行中のアプリケーションやメールの単語を解析することにより、「仕事中」である「リラックスしている」などの判断を行うようにしても良い。

最後に、上述した実施形態の説明は、本発明の一例である。このため、本発明は上述した実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることはもちろんである。

本実施形態は、携帯電話端末に限らず、例えばＰＤＡ等の各種の携帯型電子機器にも適用可能である。

また、本実施形態では、携帯電話端末からの制御情報に基づいて各電子機器が所定の動作を行う例を挙げているが、各電子機器からの制御情報に基づいて携帯電話端末が所定の動作を行っても良いし、或る電子機器からの制御情報に基づいて別の電子機器が所定の動作を行っても良い。

本発明を適用した一実施形態となる電子機器制御システムの概略構成を示す図である。 本発明実施形態の携帯電話端末の内部概略構成を示すブロック図である。 本実施形態の電子機器の内部概略構成を示すブロック図である。 本発明実施形態の携帯電話端末が電子機器を制御するための制御情報を生成して送信するまでの、制御部における処理のフローチャートである。 現在のユーザ自身の状態と各電子機器の制御内容との対応を示すマップの一例を示す図である。 現在のユーザ周囲の状態と各電子機器の制御内容との対応を示すマップの一例を示す図である。 現在の端末内部の状態と各電子機器の制御内容との対応を示すマップの一例を示す図である。

符号の説明

１ 携帯電話端末、２ テレビジョン受像機、３ 照明器、４ オーディオ装置、４ スピーカ、５ マイクロホン、６ アンテナ、７ カメラ、１１，３１ 制御部、１２ 通信回路、１３ 表示部、１４ 操作部、１５，３２ メモリ、１６，３３ データ保持部、１７ スピーカ駆動回路、１８ マイク入力信号発生部、１９，３６ 近距離通信回路、２０ センサ検知信号発生部、２１ カメラ駆動回路、２２ ＧＰＳ受信回路、２３，３７ タイマ、２５ センサ、３４ 基本機能部、３５ インターフェイス

Claims (6)

1. この電子機器制御装置より送られる制御情報に対応して所定の動作を行う他の電子機器と通信するための通信部と、
   ユーザのスケジュール情報を保持するスケジュール情報保持部と、時間を計測する時間計測部と、上記時間計測部にて計測された時間に応じて上記スケジュール情報保持部からスケジュール情報を検知するスケジュール検知部と、画像を撮影するカメラ部とを有し、上記スケジュール検知部が検知したスケジュール情報と上記カメラ部がユーザの着衣を撮影した撮影データとに基づいてユーザの肉体的及び精神的な状態を判定し、そのユーザの肉体的及び精神的な状態を表す情報をユーザ状態情報とする状態検出部と、
   上記状態検出部にて得られた上記ユーザ状態情報に対応した動作を行うように上記他の電子機器を制御するための制御情報を生成する情報生成部と、
   上記情報生成部にて生成された制御情報を上記通信部から他の電子機器へ送信させる送信制御部と
   を有する電子機器制御装置。
2. 上記状態検出部は、ユーザの身体的，心理的状態に起因して変動するユーザの身体状態パラメータを検知する身体状態パラメータ検知部を有し、当該検知した身体状態パラメータをも上記ユーザの肉体的及び精神的な状態の判定に用い、
   上記情報生成部は、上記身体状態パラメータ検知部が検知した身体状態パラメータをも用いた判定により得られた上記ユーザ状態情報に基づいて上記制御情報を生成する請求項１記載の電子機器制御装置。
3. 上記状態検出部は、この電子機器制御装置の位置を検知する位置検知部と、時間を計測する時間検知部と、上記位置検知部が検知した位置の情報と上記時間検知部にて計測された時間とに基づいてユーザの移動距離と移動時間を求める移動検知部とを有し、当該移動検知部が検知したユーザの移動距離と移動時間の情報をも上記ユーザの肉体的及び精神的な状態の判定に用い、
   上記情報生成部は、上記移動検知部が検知したユーザの移動距離と移動時間の情報をも用いた判定により得られた上記ユーザ状態情報に基づいて上記制御情報を生成する請求項１記載の電子機器制御装置。
4. 上記状態検出部は、ユーザの身体的，心理的状態に起因して変動するユーザの身体状態パラメータを検知する身体状態パラメータ検知部と、時間を計測する時間検知部と、ユーザの移動距離と移動時間を求める移動検知部との、少なくとも一つ以上の検知部をさらに有し、当該一つ以上の検知部が検知した情報をも上記ユーザの肉体的及び精神的な状態の判定に用い、
   上記情報生成部は、上記状態検出部の上記一つ以上の検知部が検知した情報をも用いた判定により得られた上記ユーザ状態情報に基づいて上記制御情報を生成する請求項１記載の電子機器制御装置。
5. 上記状態検出部は、この電子機器制御装置の現在位置と現在時間と周囲画像と周囲環境音の少なくとも一つをユーザ周囲の状態として検知する検知部を有し、当該検知部が検知したユーザ周囲の状態とこの電子機器制御装置内部の動作状態を表す情報を上記ユーザ状態情報に含め、
   上記情報生成部は、上記ユーザ周囲の状態と電子機器制御装置内部の動作状態を表す情報を含んだ上記ユーザ状態情報に基づいて上記制御情報を生成する請求項１記載の電子機器制御装置。
6. 電子機器制御装置より送られてくる制御情報に対応して所定の動作を行う電子機器と、
   上記電子機器と通信を行うための通信部と、スケジュール情報保持部に保持しているユーザのスケジュール情報の中から時間検知部にて計測した時間に応じてスケジュール検知部が検知したスケジュール情報とカメラ部がユーザの着衣を撮影した撮影データとに基づいてユーザの肉体的及び精神的な状態を判定してそのユーザの肉体的及び精神的な状態を表す情報をユーザ状態情報とする状態検出部と、上記状態検出部にて検出された上記ユーザ状態情報に対応した動作を行うように上記電子機器を制御するための制御情報を生成する情報生成部と、上記情報生成部にて生成された制御情報を上記通信部から上記電子機器へ送信させる送信制御部とを有する電子機器制御装置と
   からなる電子機器制御システム。

Images