第1の実施の形態.
<1.システム>
図1は、電子機器10が使用されるシステムの一例を示す図である。電子機器10は、例えば、スマートフォン等の携帯電子機器である。電子機器10は、例えば、高度道路交通システム(ITS:Intelligent Transport Systems)、具体的には、安全運転支援通信システム1で使用されることが可能である。安全運転支援通信システム1は、安全運転支援システムと呼ばれたり、安全運転支援無線システムと呼ばれたりする。
図1に示されるように、安全運転支援通信システム1では、交差点2等に配置されている路側機5と、車道7を走る自動車等の車両6と、歩行者であるユーザ9が持つ電子機器10とが、互いに無線通信を行うことが可能である。これにより、路側機5、車両6および電子機器10は、互いに情報をやり取りすることが可能である。また、複数の車両6は、互いに無線通信を行うことが可能である。これにより、複数の車両6は、互いに情報をやり取りすることが可能である。路側機5と車両6との間の通信、車両6間の通信、路側機5と歩行者の電子機器10との間の通信、歩行者の電子機器10と車両6の間の通信は、それぞれ、路車間通信、車車間通信、路歩間通信、歩車間通信と呼ばれる。
路側機5は、例えば、信号機4の点灯に関する情報、および、道路規制に関する情報などを車両6および電子機器10に通知することが可能である。また、路側機5は、その近くの車両6および歩行者を検知することが可能である。交差点2に配置された路側機5は、例えば、横断歩道3を渡る歩行者を検知することが可能である。そして、路側機5は、検知した車両6および歩行者に関する情報を、車両6および電子機器10に通知することが可能である。また、路側機5は、車両6および電子機器10から通知される情報を、他の車両6および他の電子機器10に通知することが可能である。
車両6は、自身の位置、速度、および、ウィンカーに関する情報などを、他の車両6、路側機5および電子機器10に対して通知することが可能である。そして、車両6は、通知される情報に基づいて警告等の各種通知を運転者に行うことによって、運転者の安全運転を支援することが可能である。車両6は、スピーカおよび表示装置等を利用して、運転者に各種通知を行うことが可能である。
電子機器10は、そのユーザ9の状態(以下、ユーザ状態と呼ぶ)を特定することが可能である。電子機器10は、特定したユーザ状態に関する情報などを路側機5および車両6等に通知することが可能である。電子機器10の具体的な動作については後で詳細に説明するものの、例えば、電子機器10はユーザ9が自転車に乗って移動していることを、ユーザ状態として特定することができる。このとき電子機器10は、その旨を示す情報を路側機5および車両6等に通知してもよい。車両6は当該情報を受信したときに、その旨を運転者に通知してもよい。これにより、運転者は、ユーザ9が自転車に乗って移動していることを了知できる。したがって、運転者はユーザ9に注意を払いながら、車両を運転することができる。
このように、安全運転支援通信システム1では、路車間通信、車車間通信、路歩間通信および歩車間通信が行われることによって、車両6の運転者の安全運転が支援される。
<2.電子機器の外観>
図2および図3は、それぞれ、電子機器10の外観の一例を概略的に示す斜視図および背面図である。図2および図3に示されるように、電子機器10は、平面視で例えば略長方形の板状の機器ケース11を備えている。機器ケース11は電子機器10の外装を構成している。
機器ケース11の前面11aには、文字、記号、図形等の各種情報が表示される表示領域12が位置している。表示領域12の背面側にはタッチパネル130(後述の図4参照)が位置している。これにより、ユーザ9は、電子機器10の前面の表示領域12を指等で操作することによって、電子機器10に対して各種情報を入力することができる。なお、ユーザ9は、指以外の操作子、例えば、スタイラスペンなどのタッチパネル用ペンで表示領域12を操作することによっても、電子機器10に対して各種情報を入力することができる。
機器ケース11の前面11aの上端部にはレシーバ穴13が位置している。機器ケース11の前面11aの下端部にはスピーカ穴14が位置している。機器ケース11の下側の側面11cにはマイク穴15が位置している。
機器ケース11の前面11aの上端部においては、後述する第1カメラ180が有するレンズ181が視認可能となっている。図3に示されるように、機器ケース11の背面11bの上端部においては、後述する第2カメラ190が有するレンズ191が視認可能となっている。
電子機器10は、複数の操作ボタン22から成る操作ボタン群220(後述の図4参照)を備えている。複数の操作ボタン22のそれぞれはハードウェアボタンである。具体的には、複数の操作ボタン22のそれぞれは押しボタンである。なお、操作ボタン群220に含まれる少なくとも一つの操作ボタン22は、表示領域12に表示されるソフトウェアボタンであってもよい。
操作ボタン群220には、機器ケース11の前面11aの下端部に位置する操作ボタン22a,22b,22cが含まれる。また、操作ボタン群220には、機器ケース11の表面に位置する図示しない電源ボタンおよびボリュームボタンが含まれる。
操作ボタン22aは、例えばバックボタンである。バックボタンは、表示領域12の表示を一つ前の表示に切り替えるための操作ボタンである。ユーザ9が操作ボタン22aを操作することよって、表示領域12の表示が一つ前の表示に切り替わる。操作ボタン22bは、例えばホームボタンである。ホームボタンは、表示領域12にホーム画面を表示させるための操作ボタンである。ユーザ9が操作ボタン22bを操作することよって、表示領域12にホーム画面が表示される。操作ボタン22cは、例えば履歴ボタンである。履歴ボタンは、電子機器10で実行されたアプリケーションの履歴を表示領域12に表示させるための操作ボタンである。ユーザ9が操作ボタン22cを操作することよって、表示領域12には、電子機器10で実行されたアプリケーションの履歴が表示される。
<3.電子機器の電気的構成>
図4は、電子機器10の電気的構成の一例を概略的に示すブロック図である。図4に示されるように、電子機器10は、制御部100、無線通信部110、表示部120、タッチパネル130および操作ボタン群220を備える。さらに電子機器10は、衛星信号受信部140、レシーバ150、スピーカ160、マイク170、第1カメラ180、第2カメラ190、加速度センサ200、気圧センサ210および電池230を備える。電子機器10が備えるこれらの構成要素は、機器ケース11内に収められている。
制御部100は、電子機器10の他の構成要素を制御することによって、電子機器10の動作を統括的に管理することが可能である。制御部100は制御回路とも言える。制御部100は、以下にさらに詳細に述べられるように、種々の機能を実行するための制御および処理能力を提供するために、少なくとも1つのプロセッサを含む。
種々の実施形態によれば、少なくとも1つのプロセッサは、単一の集積回路(IC)として、または複数の通信可能に接続された集積回路ICおよび/またはディスクリート回路(discrete circuits)として実行されてもよい。少なくとも1つのプロセッサは、種々の既知の技術に従って実行されることが可能である。
1つの実施形態において、プロセッサは、例えば、関連するメモリに記憶された指示を実行することによって1以上のデータ計算手続または処理を実行するように構成された1以上の回路またはユニットを含む。他の実施形態において、プロセッサは、1以上のデータ計算手続きまたは処理を実行するように構成されたファームウェア(例えば、ディスクリートロジックコンポーネント)であってもよい。
種々の実施形態によれば、プロセッサは、1以上のプロセッサ、コントローラ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路(ASIC)、デジタル信号処理装置、プログラマブルロジックデバイス、フィールドプログラマブルゲートアレイ、またはこれらのデバイス若しくは構成の任意の組み合わせ、または他の既知のデバイスおよび構成の組み合わせを含み、以下に説明される機能を実行してもよい。
本例では、制御部100は、CPU(Central Processing Unit)101、DSP(Digital Signal Processor)102および記憶部103を備えている。記憶部103は、ROM(Read Only Memory)およびRAM(Random Access Memory)などの、CPU101およびDSP102が読み取り可能な非一時的な記録媒体を含む。記憶部103が有するROMは、例えば、不揮発性メモリであるフラッシュROM(フラッシュメモリ)である。記憶部103には、電子機器10を制御するための複数の制御プログラム103a等が記憶されている。制御部100の各種機能は、CPU101およびDSP102が記憶部103内の各種の制御プログラム103aを実行することによって実現される。
なお、制御部100の全ての機能あるいは制御部100の一部の機能は、その機能の実現にソフトウェアが不要なハードウェア回路によって実現されてもよい。また、記憶部103は、ROMおよびRAM以外の、コンピュータが読み取り可能な非一時的な記録媒体を備えていてもよい。記憶部103は、例えば、小型のハードディスクドライブおよびSSD(Solid State Drive)などを備えていてもよい。
記憶部103内の複数の制御プログラム103aには、様々なアプリケーション(アプリケーションプログラム)が含まれている。記憶部103には、例えば、音声通話およびビデオ通話を行うための通話アプリケーション、ウェブサイトを表示するためのブラウザ、電子メールの作成、閲覧および送受信を行うためのメールアプリケーションが記憶されている。また記憶部103には、第1カメラ180および第2カメラ190を利用して被写体を撮影するためのカメラアプリケーション、記憶部103に記録されている静止画および動画を表示するための記録画像表示アプリケーション、記憶部103に記憶されている音楽データの再生制御を行うための音楽再生制御アプリケーションなどが記憶されている。記憶部103内の少なくとも一つのアプリケーションは、記憶部103内にあらかじめ記憶されているものであってよい。また、記憶部103内の少なくとも一つのアプリケーションは、電子機器10が他の装置からダウンロードして記憶部103内に記憶したものであってよい。
また電子機器10は記憶部103とは別の記憶部を備えていてもよい。記憶部103に記憶される前述の情報、または、記憶部103に記憶される後述の情報は、当該別の記憶部に記憶されても構わない。
無線通信部110は、アンテナ111を有している。無線通信部110は、アンテナ111を用いて、例えば複数種類の通信方式で無線通信することが可能である。無線通信部110の無線通信は、制御部100によって制御される。
無線通信部110は、携帯電話システムの基地局と無線通信することが可能である。無線通信部110は、当該基地局およびインターネット等のネットワークを通じて、電子機器10とは別の携帯電話機およびウェブサーバ等と通信することが可能である。また、無線通信部110は、無線LANに設けられるアクセスポイントと通信することが可能である。無線通信部110は、このアクセスポイントおよびインターネット等のネットワークを通じて、電子機器10とは別の携帯電話機およびウェブサーバ等と通信することが可能である。電子機器10は、他の携帯電話機等と、データ通信、音声通話およびビデオ通話等を行うことが可能である。また、無線通信部110は、路側機5および車両6と無線通信することが可能である。無線通信部110は、アンテナ111で受信した信号に対して増幅処理等の各種処理を行い、処理後の受信信号を制御部100に出力する。制御部100は、入力される受信信号に対して各種処理を行って、当該受信信号に含まれる情報を取得する。また、制御部100は、情報を含む送信信号を無線通信部110に出力する。無線通信部110は、入力される送信信号に対して増幅処理等の各種処理を行って、処理後の送信信号をアンテナ111から無線送信する。
表示部120は、電子機器10の前面に位置する表示領域12と、表示パネル121とを備えている。表示部120は、表示領域12に各種情報を表示することが可能である。表示パネル121は、例えば、液晶表示パネルあるいは有機ELパネルである。表示パネル121は、制御部100によって制御されることによって、文字、記号、図形などの各種情報を表示することが可能である。表示パネル121は、機器ケース11内において、表示領域12と対向している。表示パネル121に表示される情報は表示領域12に表示される。
タッチパネル130は、表示領域12に対する指等の操作子による操作を検出することが可能である。タッチパネル130は、例えば、投影型静電容量方式のタッチパネルである。タッチパネル130は、例えば、表示領域12の裏側に位置する。ユーザ9が指等の操作子によって表示領域12に対して操作を行ったとき、その操作に応じた電気信号をタッチパネル130は制御部100に出力することが可能である。制御部100は、タッチパネル130からの電気信号(出力信号)に基づいて、表示領域12に対して行われた操作の内容を特定することが可能である。そして制御部100は、特定した操作内容に応じた処理を行うことが可能である。
操作ボタン群220の各操作ボタン22は、ユーザ9によって操作されると、操作されたことを示す操作信号を制御部100に出力することが可能である。これにより、制御部100は、各操作ボタン22について、当該操作ボタン22が操作されたか否かを判断することができる。操作信号が入力された制御部100が他の構成要素を制御することによって、電子機器10では、操作された操作ボタン22に割り当てられている機能が実行される。
衛星信号受信部140は、測位衛星が送信する衛星信号を受信することが可能である。そして、衛星信号受信部140は、受信した衛星信号に基づいて、電子機器10の位置情報を取得することが可能である。この位置情報には、例えば、電子機器10の位置を示す緯度経度が含まれる。制御部100は、衛星信号受信部140を動作させたり、その動作を停止したりすることが可能である。
衛星信号受信部140は、例えばGPS受信機であって、GPS(Global Positioning System)の測位衛星からの無線信号を受信することが可能である。衛星信号受信部140は、受信した無線信号に基づいて電子機器10の現在位置を例えば緯度経度で算出し、算出した緯度経度を含む位置情報を制御部100に出力する。電子機器10の位置情報は、当該電子機器10を持つユーザ9の位置情報であるともいえる。
なお、衛星信号受信部140は、GPS以外のGNSS(Global Navigation Satellite System)の測位衛星からの信号に基づいて電子機器10の位置情報を求めてもよい。例えば、衛星信号受信部140は、GLONASS(Global Navigation Satellite System)、IRNSS(Indian Regional Navigational Satellite System)、COMPASS、Galileoあるいは準天頂衛星システム(QZSS:Quasi-Zenith Satellites System)の測位衛星からの信号に基づいて電子機器10の位置情報を求めてもよい。
マイク170は、電子機器10の外部から入力される音を電気的な音信号(音情報とも呼ぶ)に変換し、この音信号を制御部100に出力することが可能である。電子機器10の外部からの音は、マイク穴15から電子機器10の内部に取り込まれてマイク170に入力される。
スピーカ160は、例えばダイナミックスピーカである。スピーカ160は、制御部100からの電気的な音信号を音に変換し、この音を外部に出力することが可能である。スピーカ160から出力される音は、スピーカ穴14から外部に出力される。ユーザ9は、スピーカ穴14から出力される音を、電子機器10から離れた場所でも聞くことが可能である。
レシーバ150は受話音を出力することが可能である。レシーバ150は例えばダイナミックスピーカである。レシーバ150は、制御部100からの電気的な音信号を音に変換し、この音を外部に出力することが可能である。レシーバ150から出力される音はレシーバ穴13から外部に出力される。レシーバ穴13から出力される音の音量は、スピーカ穴14から出力される音の音量よりも小さくなっている。ユーザ9は、レシーバ穴13から出力される音を、当該レシーバ穴13に耳を近づけることによって聞くことができる。なお、レシーバ150の代わりに、機器ケース11の前面部分を振動させる、圧電振動素子等の振動素子を設けてもよい。この場合には、音は、当該前面部分の振動によりユーザに伝達される。よって、レシーバ穴13は不要である。
第1カメラ180は、レンズ181およびイメージセンサなどを備えている。第2カメラ190は、レンズ191およびイメージセンサなどを備えている。第1カメラ180および第2カメラ190のそれぞれは、制御部100による制御に基づいて被写体を撮影し、撮影した被写体を示す静止画像あるいは動画像を生成し、この画像を制御部100に出力することが可能である。
第1カメラ180のレンズ181は、機器ケース11の前面11aから視認可能となっている。したがって、第1カメラ180は、電子機器10の前面側(表示領域12側)に存在する被写体を撮影することが可能である。この第1カメラ180はインカメラと呼ばれる。第2カメラ190のレンズ191は、機器ケース11の背面11bから視認可能となっている。したがって、第2カメラ190は、電子機器10の背面側に存在する被写体を撮影することが可能である。第2カメラ190はアウトカメラと呼ばれる。
加速度センサ200は、電子機器10の加速度を検出し、検出した加速度を示す加速度情報を制御部100へと出力することが可能である。加速度センサ200は例えば3軸加速度センサである。加速度センサ200は、x軸方向、y軸方向およびz軸方向の電子機器10の加速度を検出することが可能である。x軸方向、y軸方向およびz軸方向は、例えば、電子機器10の長手方向、短手方向および厚み方向にそれぞれ設定される。
気圧センサ210は、電子機器10の周囲の気圧を検出し、検出した気圧を示す気圧情報を制御部100へと出力することが可能である。なお、電子機器10は、加速度センサ200および気圧センサ210以外のセンサを備えてもよい。例えば、電子機器10は、方位センサ、近接センサ、照度センサおよびジャイロセンサの少なくとも一つを備えてもよい。
電池230は電子機器10の電源を出力することが可能である。電池230は例えば充電式の電池である。電池230から出力される電源は、電子機器10が備える制御部100および無線通信部110などの各種構成に対して供給される。
<4.制御部>
制御部100は、無線通信部110を介して所定情報を外部へと送信するか否かを、加速度センサ200によって検出された加速度、および、マイク170から出力される音情報に基づいて判断することが可能である。ここでいう外部とは、例えば路側機5または車両6である。所定情報が路側機5へと送信された場合には、路側機5はこの所定情報を車両6へと送信してもよい。つまり、所定情報は路側機5を介して、または、直接に車両6へと送信され得る。
図5は、電子機器10の動作の一例を示すフローチャートである。まずステップS1にて、制御部100は加速度センサ200から加速度情報を取得する。次にステップS2にて、マイク170からの音情報が制御部100へ入力される。例えばユーザ9が他の人と会話をしている場合には、そのユーザ9が発した音声がマイク170に入力されたり、あるいは、周囲の環境に応じた音がマイク170に入力される。マイク170は、入力された音を音情報に変換し、この音情報を制御部100へと出力する。なおステップS2はステップS1よりも前に、あるいは、ステップS2と並行して行われてもよい。次にステップS3にて、制御部100はステップS1の加速度情報およびステップS2の音情報に基づいて、所定情報の送信の要否を判断する。
これによれば、一種類の情報(例えば加速度情報のみ)に基づいて所定情報の送信の要否を判断する場合に比べて、その要否の判断をより多くの情報に基づいて行うことができる。よってその判断をより精細に行うことができる。また、ここでは音情報を用いているので、どのような音が生じているかに基づいて、送信要否を判断できる。以下、より具体的な制御部100の一例を説明する。
図6は、電子機器10の構成の一例を概略的に示す機能ブロック図である。制御部100の各機能ブロックは、例えば、CPU101およびDSP102が記憶部103内の制御プログラム103aを実行することによって形成される。図6に示されるように、制御部100は、機能ブロックとして、状態特定部400および通知判断部500を備えている。なお、状態特定部400および通知判断部500の少なくとも一つは、その機能の実行にソフトウェアが不要なハードウェア回路で実現されてもよい。この点は後述する他の機能部についても同様である。
ここでは一例として、制御部100はユーザの現在のユーザ状態を加速度情報および音情報に基づいて特定し、そのユーザ状態に応じて所定情報の送信の要否を判断する。
<4−1.状態特定部>
状態特定部400は、ユーザ9についての様々なユーザ状態を、加速度情報および音情報に基づいて特定することが可能である。このユーザ状態には、ユーザ9の移動状態が含まれる。具体的には、ユーザ状態には、例えば、ユーザ9が自力で移動する状態(例えば歩行および走行)、ユーザ9が乗り物に乗って移動する状態、および、ユーザ9が歩道橋を移動する状態等が含まれる。乗り物としては、自転車、自動車、バスおよび電車等が例示される。
以下では、ユーザ状態の例として、「歩行状態」、「走行状態」、「自転車状態」、「バス状態」、「電車状態」および「歩道橋状態」を導入する。例えば、ユーザ9が走行状態にある、との説明は、ユーザ9が走行する状態にあることを意味し、ユーザ9が自動車状態にある、との説明は、ユーザ9が自動車に乗って移動する状態にあることを意味する。また、ユーザ9が歩道橋状態にある、との説明は、ユーザ9が歩道橋を移動する状態にあることを意味する。他も同様である。
ところで、電子機器10の加速度は、当該電子機器10を持つユーザ9の各状態に応じた固有の時間変化のパターンを示すことが知られている。具体的には、この加速度は時間の経過とともに、ユーザ状態に応じて周期的に変動する。よって、加速度センサ200から出力される加速度情報は、ユーザ状態に応じて変化する情報であると言える。また、加速度センサ200は当該情報を取得する取得部であると言える。
本実施の形態では、例えば各状態に応じた加速度の典型的なパターンを登録パターンとして設定する。この登録パターンを示す登録パターン情報は例えば予め設定されて、記憶部103に記憶されていてもよい。この場合、制御部100は記憶部103から登録パターン情報を取得する。また登録パターン情報が、例えばインターネットに設けられた外部のサーバなどに格納されていてもよい。この場合、制御部100が無線通信部110を介して、このサーバから登録パターン情報を取得する。
加速度センサ200によって検出された加速度の時間変化のパターン(以下、検出パターンと呼ぶ)が、所定状態の登録パターンを示しているときには、ユーザ9は、当該所定状態にある可能性が高い。例えば検出パターンが自動車状態の登録パターンを示すときには、ユーザ9は自動車状態にある可能性が高い。また検出パターンが長期間に亘って所定状態の登録パターンを示す場合、ユーザ9が当該所定状態にある可能性は、より高い。
例えば状態特定部400は、図6に示すように、確度算出部410、登録音検出部420および状態判断部430を備える。
<4−1−1.確度算出部>
確度算出部410は、ユーザ9が所定状態にある可能性に関する第1確度を、例えば加速度センサ200からの加速度情報に基づいて、算出することが可能である。この第1確度が高いほど、ユーザ9が所定状態にある可能性は高い。
第1確度の算出方法の一例を具体的に説明するにあたって、まず、その基本的な考え方の概要を説明する。ユーザ9が所定状態にある場合には、検出パターンは、その所定状態の登録パターンを示し続ける可能性が高い。例えばユーザ9が自動車状態にある場合、ある期間における検出パターンは自動車状態の登録パターンを示す可能性が高く、また次の期間における検出パターンも自動車状態の登録パターンを示す可能性が高い。このように連続する複数の期間において、検出パターンは同じ登録パターンを示す可能性が高い。
逆に言えば、ユーザ9が自動車状態にあっても、その検出パターンは常に自動車状態の登録パターンを示すわけではない。検出パターンは、実際には、いくつかの期間において自動車状態の登録パターンから逸脱し得る。また検出パターンは、いくつかの期間において自動車状態とは別の状態の登録パターンに類似し得る。例えばユーザ9が自動車状態であっても、いくつかの期間において、検出パターンは例えば電車状態の登録パターンに類似し得る。
つまり、登録パターンが検出パターンによって示された回数が多いほど、ユーザ9は、その登録パターンに対応する状態にある可能性は高いと言える。例えば、連続する5つの期間のうち、4つの期間において検出パターンが自動車状態の登録パターンを示し、一つの期間において検出パターンが電車状態の登録パターンを示しているときには、ユーザ9は自動車状態にある可能性が高い。よって、この回数は第1確度とみなすことができる。この回数が多いほど、第1確度は高い。
そこで、確度算出部410は例えば次のようにして第1確度を算出してもよい。例えば確度算出部410は、まず、検出パターンと各状態の登録パターンとを対比して、検出パターンが示す登録パターンを特定する。確度算出部410はこの動作を所定期間ごとにN回実行する。各動作において、検出パターンは更新される。そして確度算出部410は各状態の第1確度を、N回のうちその状態が特定された回数に基づいて算出する。以下に、この例について具体的に説明する。
図7は、電子機器10の動作の一例を示すフローチャートである。この一連の動作は繰り返し実行されてもよい。まずステップS11にて、確度算出部410は加速度センサ200から加速度情報(加速度の時系列データ)を取得する。次にステップS12にて、確度算出部410は加速度情報に基づいて、ユーザ状態を仮特定する。具体的には、確度算出部410は検出パターンと登録パターンとを対比して、検出パターンが示す登録パターンを特定する。
この登録パターンは例えば加速度の時系列データで表現されてもよいものの、より簡易的に、加速度の振幅および周期によって表現されてもよい。加速度は、各状態に応じた周期性で変化するので、その典型的なパターンは、その状態における加速度の典型的な振幅範囲および典型的な周期範囲を用いて簡易に表現することができるからである。下表は、ユーザ状態、振幅範囲および周期範囲の一例を示す表である。
このように登録パターンを加速度の振幅範囲および周期範囲で表現すれば、登録パターンを加速度の時系列データで示す場合に比較して、登録パターン情報のデータ量を低減することができる。
図8は、電子機器10の動作の一例を示すフローチャートであり、仮特定の方法の一例を示している。まずステップS121にて、確度算出部410は、加速度センサ200によって検出された加速度の振幅および周期を加速度情報に基づいて算出する。振幅および周期の算出は任意の手法によって行われればよい。例えば確度算出部410は、加速度が低減から増大に切り替わるときのボトム値と、増大から低減に切り替わるときのピーク値を、加速度情報に基づいて特定し、これらの差を振幅として算出してもよい。同様に、確度算出部410は、加速度がピーク値をとる時点から、次にピーク値をとる時点を、加速度情報に基づいて特定し、これらの時点の差を周期として算出してもよい。また確度算出部410は振幅および周期についての統計値(例えば平均値など)を、それぞれ振幅および周期として算出してもよい。
次にステップS122にて、確度算出部410は、算出した振幅および周期が、それぞれ、振幅範囲内および周期範囲内にある否を、例えば全ての状態について判断する。つまり、確度算出部410は、振幅および周期がそれぞれ振幅範囲内および周期範囲内にある登録パターンが存在するか否かを、判断する。当該登録パターンが存在すると判断したときには、ステップS123にて、確度算出部410は、ユーザ状態を、当該登録パターンに対応する状態と仮特定する。例えば、算出した振幅および周期がそれぞれ振幅範囲A4内および周期範囲T4内にあると判断したときには、確度算出部410は、検出パターンは電車状態の登録パターンを示すと判断し、ユーザ9が電車状態にあると仮判断する。つまり、確度算出部410は、ユーザ状態を電車状態と仮特定する。確度算出部410は、どの状態が仮特定されたのかを示す情報を、記憶部103(例えばRAMなど)に記憶する。
ステップS122にて、登録パターンが存在しないと判断したときには、確度算出部410は仮特定の動作を終了してもよい。
再び図7を参照して、ステップS13にて、確度算出部410はステップS12の仮特定がN(Nは2以上の整数)回行われたか否かを判断する。仮特定が未だN回行われていないと判断した場合には、確度算出部410はステップS11を再び実行する。仮特定がN回行われたと判断したときには、ステップS14にて、確度算出部410は各状態の第1確度を各状態の仮特定回数に基づいて算出する。なお所定状態の仮特定回数とは、所定状態が仮特定された回数を示す。
図9は、電子機器10の動作のタイミングの一例を概略的に示す図である。図9の例では、上記ステップS12の仮特定を行うタイミングが例えば時点t10〜t14によって模式的に示されている。つまり、図9の例においては、上記仮特定が5回行われている。下表は、各時点t10〜t14において行われた仮特定の結果の一例を示す表である。
表2において、「○」を付記された状態が、ユーザ状態として仮特定された状態を示している。例えば第1回目のステップS12(時点t10)においては、ユーザ状態が電車状態に仮特定され、第2回目から第4回目のステップS12(時点t11〜t13)においては、ユーザ状態が自動車状態に仮特定され、第5回目のステップS12(時点t14)においては、ユーザ状態が再び電車状態に仮特定される。
確度算出部410は、このN(上述の例では5)回の仮特定の結果に基づいて、各状態の第1確度を算出する。具体的には、確度算出部410は、各状態の仮特定回数をNで除算して、その状態の第1確度を算出する。表2には、第1確度も示されている。ただし表2においては、第1確度を「%」で示している。表2の例では、自動車状態の仮特定回数は3であるので、自動車状態の第1確度は60%(=3/5×100)である。電車状態の特定回数は2であるので、電車状態の第1確度は40%(=2/5×100)である。その他の状態の特定回数は0であるので、その他の状態の第1確度は0%である。
<4−1−2.登録音検出部>
本実施の形態では、ユーザ状態を特定するために、マイク170から出力される音情報も用いる。具体的には、まず各状態に関連した音が登録音として設定される。ここでいう各状態に関連した音とは、ユーザがその状態にあるときに生じる可能性が高い音である。例えば、自動車状態に関連する登録音として、次の言葉、即ち、「渋滞」、「ガソリン」、「駐車場」、「高速道路」、「ナビゲーション」、「信号」、「右」、「左」、「直進」、「FM」および「FMラジオ」などの言葉、或は、エンジン音を採用できる。また、例えばバス状態に関連する登録音としては、「バス停」、「路線」、「**循環」、「停留所」、「観光」、「観光バス」、「スクールバス」、「遅れ」、「系統」およびバス用IC(Integrated Circuit)カードの名称などの言葉を採用できる。また、例えば電車状態に関連する登録音として、「急行」、「各駅停車」、「改札」、「始発」、「終電」、「次発」、電車用ICカードの名称、「駅地下」、「乗換」および「時刻表」などの言葉を採用できる。また、例えば歩道橋状態に関連する登録音として、「渡る」、「渡ろう」、「歩道橋」、「信号」および「階段」などの言葉を採用できる。
登録音および状態の対応関係は登録音情報として例えば予め設定されており、記憶部103に記憶されていてもよい。この場合、制御部100は記憶部103から登録音情報を取得する。また登録音情報が、例えばインターネットに設けられた外部のサーバに格納されていてもよい。この場合、制御部100は無線通信部110を介して、このサーバから登録音情報を取得する。
登録音検出部420は、マイク170に入力される音に登録音が含まれているか否を、音情報および登録音情報に基づいて判断することが可能である。このような音声認識の手法としては、任意の方法を採用すればよい。例えば登録音が言葉である場合には、ワードスポッティング、または、フレーズスポッティングと呼ばれる手法を採用することができる。例えば登録音検出部420は音情報を解析して特徴量を求め、当該特徴量に基づいて音節などを認識し、その音節間に含まれる音と、各登録音との類似度(例えば距離)を算出し、類似度が類似度基準値よりも高いときに、その登録音が含まれていると判断することができる。類似度基準値は例えば予め設定されて記憶部103に記憶されていてもよい。登録音検出部420はこの登録音を検出音として記憶部103に記憶する。
図10は、電子機器10の動作の一例を示すフローチャートである。この一連の動作は繰り返し実行されてもよい。まずステップS21にて、登録音検出部420はマイク170からの音情報を解析する。例えば、ワードスポッティング、または、フレーズスポッティングと呼ばれる手法を用いる。次にステップS22にて、登録音検出部420は、入力された音に登録音が含まれているか否かを、登録音ごとに判断する。全ての登録音が当該音に含まれていないと判断したときには、登録音検出部420はステップS21を再び実行する。ある登録音が当該音に含まれていると判断したときには、ステップS23にて、登録音検出部420は、当該音に含まれていると判断された登録音を、検出音として記憶部103に記憶する。
<4−1−3.状態判断部>
状態判断部430は、確度算出部410によって算出された各状態の第1確度と、登録音検出部420による登録音の検出結果とに基づいて、ユーザ状態を特定することが可能である。以下、その具体的な一例について説明する。
図11は、電子機器10の動作の一例を示すフローチャートである。図11の一連の動作は、例えば図7の動作に続けて実行されてもよい。まずステップS15にて、状態判断部430は、第1確度基準値よりも高い第1確度を有する状態が存在するか否かを判断する。具体的には、状態判断部430は、確度算出部410によって算出された第1確度が第1確度基準値よりも高いか否かを、例えば全ての状態について判断する。そして、状態判断部430は、いずれかの状態の第1確度が第1確度基準値よりも高いと判断されたときに、ステップS22において肯定的な判断を行う。第1確度基準値は例えば予め設定されて、記憶部103などに記憶されてもよい。第1確度基準値は例えば90%に設定され得る。
ある状態の第1確度が第1確度基準値よりも高いと判断したときには、ステップS16にて、状態判断部430はユーザ9がその状態にあると判断する。例えば自動車状態の第1確度が第1確度基準値よりも高いと判断したときには、状態判断部430はユーザ9が自動車状態にあると判断する。言い換えれば、状態判断部430はユーザ状態を自動車状態と特定する。複数の状態の第1確度が第1確度基準値よりも高い場合には、例えば状態判断部430は、ユーザ9が、最も高い第1確度を有する状態にあると判断してもよい。
第1確度基準値よりも高い第1確度を有する状態が存在しないと判断したときには、ステップS17にて、状態判断部430は、第2確度基準値よりも高い第1確度を有する状態が存在するか否かを判断する。この第2確度基準値は第1確度基準値よりも小さく設定される。第2確度基準値は例えば予め設定されて、記憶部103などに記憶されてもよい。第2確度基準値は例えば50%に設定され得る。
ある状態の第1確度が第2確度基準値よりも高いと判断したときには、ステップS18にて、状態判断部430はその状態に関連する検出音が記憶部103に記憶されているか否かを判断する。ここでいう「その状態」とは、ステップS17において第1確度が第2確度基準値よりも高いと判断された状態である。
例えば表2においては、自動車状態の第1確度は60%であり、これは、第1確度基準値(例えば90%)より低いものの、第2確度基準値(50%)よりは高い。したがって、この場合、状態判断部430はステップS18において、自動車状態についての検出音が記憶部103に記憶されているか否かを判断する。
検出音が記憶されていると判断したときには、ステップS19にて、状態判断部430はユーザ9がその検出音に関連する状態にあると判断する。例えば自動車状態についての検出音が記憶部103に記憶されているときには、状態判断部430はユーザ状態を自動車状態に特定する。
図9の例においては、時点t11,t12の間において、自動車状態の登録音に一致する音がマイク170に入力されている。よって、このタイミングにおいて、当該登録音が検出音として記憶部103に記憶される。また図9には、図11の動作が実行されるタイミングが時点t1で模式的に示されている。時点t1は、時点t14の後に実行される。表2の例では、時点10〜t14における仮特定の結果として、自動車状態の第1確度が60%に算出され、かつ、図11に示すように、自動車状態に関連する登録音が検出されるので、ユーザ状態は自動車状態に特定される。
以上のように、この制御部100においては、加速度の検出パターンが自動車状態の登録パターンに類似すると言い切れない場合であっても、自動車状態に関連する音がマイク170に入力された場合には、ユーザ9が自動車状態にある可能性が高いので、ユーザ状態を自動車状態に特定している。これにより、ユーザ状態をより高い精度で特定することができる。
ステップS17にて第2確度基準値よりも高い第1確度を有する状態が存在しないと判断したとき、または、ステップS18にて、当該状態に関連する検出音が記憶部103に記憶されていないと判断したときには、状態判断部430は動作を終了してもよい。つまり、以前に特定したユーザ状態をそのまま維持してもよい。或いは、状態判断部430はユーザ状態を不明状態に設定してもよい。
図9の例においては、図7および図11の動作が繰り返し実行される場合の各動作のタイミングが、時点t2,t20〜t24で模式的に示されている。時点t20〜t24の各々において図7のステップS11〜S13が実行される。これにより、各状態の第1確度を適切に更新できる。そして、時点t24の後の時点t2において、例えばステップS14、および、図11の動作が実行される。これにより、ユーザ状態を適切に更新することができる。
なお記憶部103に記憶された検出音は、制御部100によって、所定時間経過後に消去されてもよい。あるいは、制御部100は、ユーザ状態を新たな状態に特定したときに、その新たな状態以外の状態についての検出音を記憶部103から消去してもよい。例えば、ユーザ状態が自動車状態から歩行状態へと更新された場合、制御部100は、歩行状態以外の状態についての検出音を記憶部103から消去してもよい。
このような消去方法によれば、例えば時点t2においても、自動車状態についての検出音が記憶部103に記憶されている場合がある。この場合、当該検出音はユーザ状態の時点t2における特定動作において有効に作用する。
以上のように、本実施の形態によれば、加速度情報に基づいて算出される各状態の第1確度が第1確度基準値よりも低い場合であっても、第2確度基準値よりも高い場合には、その状態に関連した音がマイク170に入力されたときには、ユーザ9はその状態にあると判断される。よって、ユーザ9が所定状態にあるときに、加速度の検出パターンが所定状態の登録パターンから少し逸脱したとしても、制御部100はユーザ9の状態を適切に特定しやすいのである。つまり、高い精度でユーザ状態を特定することができる。
<4−2.通知判断部>
通知判断部500は、マイク170に入力される音に登録音が含まれているか否かの判断結果、および、第1確度に基づいて、所定情報の送信要否を判断する。具体的には、例えば通知判断部500は所定情報の送信要否を、状態特定部400によって特定されたユーザ状態に基づいて判断する。図12は、電子機器10の動作の一例を示すフローチャートである。この動作は、図11の動作に続けて行ってもよい。ステップS20にて、通知判断部500は所定情報を外部に送信するか否かを、状態特定部400によって特定されたユーザ状態に基づいて判断する。例えば通知判断部500はユーザ状態が自動車状態、バス状態、電車状態または歩道橋状態に特定されたときには、所定情報を送信しないと判断してもよい。また例えば通知判断部500はユーザ状態が歩行状態、走行状態または自転車状態と特定されたときには、所定情報を送信すると判断してもよい。
通知判断部500が所定情報を送信すると判断したときには、制御部100は無線通信部110を介して、所定情報を外部へと送信する。例えば制御部100は路側機5を介して、または直接に、所定情報を車両6へと送信する。所定情報を受け取った車両6はこれを運転者に通知してもよい。
所定情報は特に制限されないものの、例えばユーザ状態を示す情報であってもよい。車両6がユーザ状態を運転者に報知すれば、運転者はユーザ9がどのような状態にいるか了知することができる。
本実施の形態では、高い精度でユーザ状態を特定できるので、所定情報の送信の要否をより精度よく判断することができる。
なお通知判断部500は他の情報をも用いて、所定情報の送信要否の判断を行ってもよい。例えば通知判断部500は電子機器10の位置情報も用いて判断を行ってもよい。この位置情報は、例えば衛星信号受信部140によって算出される。通知判断部500は地図情報を取得する。この地図情報は例えば記憶部103などに予め記憶されていてもよく、あるいは、無線通信部110を介して外部のサーバなどから取得してもよい。この地図情報には、例えば、道路の位置および形状を示す道路データと、区画された土地の位置および広さを示す建物情報とを含まれている。
通知判断部500は、ユーザ9が所定領域に位置しているか否かを、現在位置情報および地図情報に基づいて判断する。所定領域としては、例えば、交差点2付近の領域を採用することができる。通知判断部500は、例えば、ユーザ9が所定領域に位置していると判断し、かつ、ユーザ状態が歩行状態、走行状態または自転車状態と特定されたときに、所定情報を送信すると判断してもよい。
これによれば、例えば交差点2などの、特にユーザ9の動きに注意する必要性が高い領域において、車両6の運転者はユーザ9の存在を了知できる。
あるいは、交差点2近傍に設けられる路側機5と、電子機器10とが通信可能であるときに、通知判断部500はユーザ9が交差点2付近の領域に居ると判断してもよい。
<5.登録音に対応した第2確度>
上述のように、各状態において複数の登録音が設定される場合、その複数の登録音に応じた第2確度を導入してもよい。例えば自動車状態に関連する登録音として、「渋滞」および「ガソリン」などの複数の登録音が採用され得る。第2確度は「渋滞」および「ガソリン」などに登録音に応じて設定される。この第2確度は、ユーザ9がその状態にあるときに、その登録音が生じる可能性に関する確度である。この第2確度が高いほど、ユーザ9がその状態にあるときに、その登録音が発生する可能性は高い、と考えることができる。下表は、ユーザ状態、登録音および第2確度の一例を示している。
表3においては、一例として、自動車状態に関連する登録音および第2確度が示されている。他の状態においても、同様に複数の登録音に応じて、第2確度を設定するとよい。例えば、バス状態において、「バス停」、「停留所」および「遅れ」の第2確度をそれぞれ90%、80%および70%に設定し、電車状態において、「急行」および「各駅停車」の第2確度を90%に設定し、「始発」、「終電」および「次発」の第2確度を80%に設定し、歩道橋状態において、「歩道橋」を90%に設定し、「信号」および「階段」を80%に設定してもよい。
登録音に対応する第2確度を示す確度情報は予め設定されて、記憶部103に記憶されていてもよし、或いは、外部のサーバに格納されていてもよい。制御部100は記憶部103または外部のサーバから確度情報を取得する。
第1確度および第2確度のいずれもが、ユーザ9がその状態にある可能性に関する確度であるものの、第1確度は上述のように加速度情報に基づいて導出される確度であり、第2確度は、マイク170に入力される音に基づいて決定される確度である。ここでは、第1確度および第2確度に基づく総合確度を導入する。総合確度は例えば第1確度と第2確度との和である。所定状態の総合確度が高いときには、ユーザ9は所定状態にあると考えることができる。
<5−1.確度算出部>
図13は、電子機器10の構成の一例を概略的に示す機能ブロック図であり、図14は、電子機器10の動作の一例を示すフローチャートである。確度算出部410は、第1確度算出部411、第2確度決定部412および総合確度算出部413を備えている。
第1確度算出部411は、加速度センサ200からの加速度情報に基づいて、第1確度P1を状態ごとに算出することが可能である。この算出方法の一例は上記の通りであり、例えば第1確度算出部411は、図14のステップS111〜S114を実行する。図14のステップS111〜S114はそれぞれ図7のステップS11〜S14と同様であるので、繰り返しの説明を避ける。第1確度算出部411の結果の一例は表2に示されており、例えば自動車状態の第1確度P1は60%である。
第2確度決定部412は、検出音が記憶部103に記憶されている場合に、その検出音に関連する状態の第2確度P2を、確度情報を用いて決定することが可能である。なお、この検出音は登録音検出部420によって記憶部103に記憶される。登録音検出部420の動作自体は図10と同様あるので、繰り返しの説明を避ける。
例えばステップS114の次のステップS115にて、第2確度決定部412は、記憶部103に検出音が記憶されているか否かを判断する。検出音が記憶されていると判断したときには、ステップS116にて、第2確度決定部412は確度情報も参照して、その検出音に関連する状態の第2確度P2を決定する。
例えばユーザ9が「高速道路」という言葉を発した場合、その言葉は音声としてマイク170に入力され、これが音情報に変換されて、当該音情報が登録音検出部420に入力される。登録音検出部420はこの音に含まれた「高速道路」という言葉を検出し、これを検出音として記憶部103に記憶する。一例として、記憶部103には、この検出音のみが記憶されていると仮定する。
確度算出部410は、この記憶部103に記憶された検出音(「高速道路」)を読み出す。第2確度決定部412は、この検出音に関連する状態の第2確度P2を、登録音情報および確度情報に基づいて決定する。例えば「高速道路」は自動車状態についての検出音であって、その第2確度は81%である。記憶部103には、自動車状態以外の状態についての検出音は記憶されていないので、第2確度決定部412は自動車状態以外の状態の第2確度P2を零に決定する。下表は、検出音、検出音に関連する状態、および、検出音に対応する第2確度の一例が示されている。
ステップS115において、記憶部103に検出音が記憶されていないと判断したときには、全ての状態についての検出音が記憶されていないので、ステップS117にて、第2確度決定部412は全ての状態の第2確度P2を零に決定する。
総合確度算出部413は第1確度P1および第2確度P2に基づいて、状態ごとに総合確度を算出することが可能である。例えば総合確度算出部413は複数の加算器4131を備えている。なお図13においては、簡単のために、加算器4131を一つのみ示している。加算器4131は例えば状態の数だけ設けられる。加算器4131には、同じ状態の第1確度P1および第2確度P2がそれぞれ第1確度算出部411および第2確度決定部412から入力される。加算器4131は当該状態の第1確度P1および第2確度P2を加算し、その結果を当該状態の総合確度Pとして出力する。例えば自動車状態の第1確度が60%であり、自動車状態の第2確度が81%である場合、総合確度Pは141(=60+81)%である。下表は、各状態の第1確度、第2確度および総合確度の一例を示している。
図14においては、ステップS116またはステップS117の次のステップS118にて、総合確度算出部413は、第1確度P1および第2確度P2に基づいて、状態ごとに総合確度Pを算出する。
<5−2.状態判断部>
状態判断部430は総合確度Pに基づいてユーザ状態を特定することが可能である。図15は、電子機器10の動作の一例を示すフローチャートである。この一連の動作は、例えば図14の動作に続けて行われてもよい。ステップS119にて、状態判断部430は、総合基準値よりも高い総合確度Pを有する状態が存在するか否かを判断する。総合基準値は予め設定されて記憶部103に記憶されてもよい。総合基準値は例えば90%に設定され得る。
総合基準値よりも高い総合確度Pを有する状態が存在すると判断したとき、ステップS120にて、状態判断部430はユーザ状態を当該状態に特定する。つまり、状態判断部430は、総合確度が総合基準値よりも高いと判断された状態に、ユーザ状態を特定する。
総合基準値よりも高い総合確度Pを有する状態が存在しないと判断したときには、状態判断部430は動作を終了してもよい。つまり、状態判断部430はユーザ状態を以前に特定した状態に維持してもよい。あるいは、状態判断部430はユーザ状態を不明状態に設定してもよい。
<5−3.通知判断部>
通知判断部500は、総合確度Pが確度基準値よりも高いか低いかの判断に基づいて、所定情報の送信要否を判断する。具体的には、通知判断部500は、状態特定部400によって特定されたユーザ状態に基づいて、所定情報の送信要否を判断する。通知判断部500の具体的な動作の一例は上述した動作、即ち図12と同様である。例えば図15の動作に続けて図12の動作を実行してもよい。通知判断部500の動作については、繰り返しの説明を避ける。
以上のように、この制御部100は、加速度情報に基づいた第1確度P1と、検出音に応じた第2確度P2とに基づいて算出される総合確度Pを用いて、ユーザ状態を特定している。したがって、所定状態の第1確度P1がある程度低い場合であっても、当該所定状態の第2確度P2がある程度以上に高ければ、ユーザ9が所定状態にあると判断される。また所定状態の第1確度P1が非常に小さい場合であっても、当該所定状態の第2確度P2が非常に高い場合には、ユーザ9が当該所定状態にあると判断される。よって、適切にユーザ状態を特定できる。逆に、所定状態の第1確度P1および第2確度P2の両方が低い場合、ユーザ状態が所定状態にあると判断されない。よって、ユーザ状態を誤って特定することを抑制できる。これにより、ユーザの特定精度を更に向上することができる。
<5−4.第2確度の設定>
異なる意味を有する複数の登録音に対して共通の第2確度P2を設定してもよい。例えば表3の自動車状態において、「渋滞」、「ガソリン」および「高速道路」の第2確度P2を85%に設定し、「駐車場」、「ナビゲーション」および「信号」の第2確度P2を75%に設定し、「左」、「左折」、「右」、「右折」、「直進」、「FM」および「FMラジオ」の第2確度P2を65%に設定してもよい。
また例えば電車状態においては、「急行」、「各駅停車」および「改札」の第2確度P2を85%に設定し、「始発」、「終電」、「次発」および電車用のICカードの名称の第2確度P2を75%に設定し、「駅地下」、「乗り換え」および「時刻表」の第2確度P2を65%に設定してもよい。
また例えばバス状態においては、「バス停」、「路線」および「**循環」の第2確度P2を85%に設定し、「停留所」、「観光」、「観光バス」および「スクールバス」の第2確度P2を75%に設定し、「遅れ」、「系統」およびバス用のICカードの名称の第2確度P2を65%に設定してもよい。
以上のように、異なる意味を有する登録音を一つのグループに纏めることができる。また複数の登録音に対して共通の値を第2確度P2に採用するので、登録音情報のデータ量を低減できる。
<6.重み付け>
確度算出部410は、各状態について、第1確度P1および第2確度P2に対して重み付けを行って総合確度Pを算出してもよい。図16は、電子機器10の構成の一例を概略的に示す機能ブロック図である。確度算出部410は、第1確度算出部411、第2確度決定部412、総合確度算出部413および重み係数決定部414を備えている。第1確度算出部411および第2確度決定部412の動作は上述の通りであるので、繰り返しの説明を避ける。
総合確度算出部413は、加算器4131および乗算器4132,4133を備えている。加算器4131および乗算器4132,4133の組は、状態の数だけ設けられているものの、図16の例においては、簡単のために一組のみを示している。乗算器4132には、所定状態の第1確度P1が第1確度算出部411から入力され、重み係数W1が重み係数決定部414から入力される。乗算器4132は、入力された第1確度P1および重み係数W1の積(W1・P1)を算出して、その結果を加算器4131へ出力する。乗算器4133には、当該所定状態の第2確度P2が第2確度決定部412から入力され、重み係数W2が重み係数決定部414から入力される。乗算器4133は、入力された第2確度P2および重み係数W2の積(W2・P2)を算出して、その結果を加算器4131へ出力する。加算器4131は、入力された積(W1・P1)および積(W2・P2)の和を、当該所定状態の総合確度Pとして出力する。
以上のように、総合確度算出部413は、各状態について、第1確度P1と第1重み係数W1との積、および、第2確度P2と第2重み係数W2との積を、加算して、総合確度P(=P1・W1+P2・W2)を算出する。
第1重み係数W1と第2重み係数W2との比を適宜に設定することで、第1確度P1を重視して総合確度Pを算出したり、第2確度P2を重視して総合確度Pを算出できる。例えば、第1重み係数W1に対する第2重み係数W2の比(W2/W1)を小さく設定することで、第1確度P1を重視して総合確度Pを算出できる。また、当該比(W2/W1)を大きく設定することで、第2確度P2を重視して総合確度Pを算出できる。
重み係数決定部414は、例えば加速度情報に基づいて当該比(W2/W1)を設定してもよい。図16の例においては、重み係数決定部414には、加速度センサ200から加速度情報が入力されている。
加速度センサ200によって検出された加速度の振幅が小さいときには、例えば当該加速度に生じるノイズの影響が相対的に大きくなり、第1確度算出部411による第1確度P1の算出精度が低下し得る。一方で、加速度の振幅が大きい場合には、振動が大きいので、騒音が大きい場合があり得る。この場合、登録音検出部420の検出精度が低下し得る。
そこで、重み係数決定部414は、加速度センサ200によって検出された加速度の振幅が小さいときの比(W2/W1)を、当該加速度の振幅が大きいときの比(W2/W1)よりも大きく設定してもよい。つまり、加速度の振幅が小さくノイズの影響が大きいときには、加速度情報に基づく第1確度P1よりも音情報に基づく第2確度P2を重視して、総合確度Pを算出する。一方で、加速度の振幅が大きく騒音が大きいときには、音情報に基づく第2確度P2よりも加速度情報に基づく第1確度P1を重視して、総合確度Pを算出する。これにより、状況に応じて、より適切に総合確度Pを算出することができる。ひいては、状況に応じて、より適切にユーザ状態を特定することができる。
図17は、電子機器10の上記動作の一例を示すフローチャートである。ステップS31にて、重み係数決定部414は、加速度センサ200によって検出された加速度の振幅が振幅基準値よりも大きいか否かを判断する。なおここでいう振幅としては、振幅の統計値(例えば平均値)を採用してもよい。振幅基準値は予め設定されて、例えば記憶部103に記憶されていてもよい。
振幅が振幅基準値よりも大きいと判断したときには、ステップS32にて、重み係数決定部414は比(W2/W1)を第1値に設定する。第1値は例えば予め設定されて記憶部103に記憶されていてもよい。あるいは、比(W2/W1)が第1値となるような重み係数W1,W2が記憶されていてもよい。第1値は例えば0.5であってもよい。この場合、重み係数W1,W2は例えばそれぞれ1および0.5であってもよい。
振幅が振幅基準値よりも小さいと判断したときには、ステップS33にて、重み係数決定部414は比(W2/W1)を第2値に設定する。第2値は第1値よりも大きく、例えば予め設定されて記憶部103に記憶されていてもよい。あるいは、比(W2/W1)が第2値となるような重み係数W1,W2が記憶されていてもよい。第2値は例えば2であってもよい。この場合、重み係数W1,W2は例えばそれぞれ0.5および1あってもよい。
これによれば、振動が大きく騒音が大きいと推定される場合には、音情報に基づく第2確度P2よりも、加速度に基づく第1確度P1を重視して、総合確度Pを算出できる。また、振動が小さく、加速度のノイズが相対的に影響しやすい場合には、加速度情報に基づく第1確度P1よりも、音情報に基づく第2確度P2を重視して、総合確度Pを算出できる。したがって、ユーザ状態をより精度よく特定することができる。
なお図17の動作によれば、重み係数決定部414は、重み係数の比(W2/W1)を二値で変更しているものの、多値で変更してもよい。例えば、加速度の振幅が第1振幅基準値よりも大きいときに、比(W2/W1)として第1値を採用し、当該振幅が第1振幅基準値よりも小さく第2振幅基準値よりも大きいときには、比(W2/W1)として第2値(>第1値)を採用し、当該振幅が第2振幅基準値よりも小さいときには、比(W2/W1)として第3値(>第2値)を採用してもよい。あるいは、重み係数決定部414は、加速度の振幅の低減に応じて重み係数の比(W2/W1)を連続的に増大させてもよい。
また、上述の例においては、電子機器10が高度道路交通システムに用いられる態様について説明したものの、必ずしもこれに限らない。電子機器10は他の通信システムに用いられてもよい。また上述の例では、電子機器10は、ユーザ状態に応じて所定情報の送信の要否を判断した。しかるに、電子機器10は、特定したユーザ状態に基づいて他の処理を実行してもよい。例えば、電子機器10は、ユーザ状態が所定状態を維持する累積時間を、状態ごとに算出し、その結果を表示領域12に表示してもよい。これによれば、ユーザ9は、どの程度、自力で移動したかなどの情報を、電子機器10から得ることができる。この点は、後述する電子機器10でも同様である。
<7.乗り物状態>
複数のユーザ状態の登録パターンが互いに類似している場合がある。例えば自動車およびバスが同じ種類の動力源(例えばエンジン)を採用している場合、その振動が類似するので、自動車状態の登録パターンとバス状態の登録パターンとは互いに類似し得る。よって、加速度に基づいて、これらを精度よく区別してユーザ状態を特定することが難しい場合がある。この場合には、より上位となる上位状態を導入してもよい。例えば上位状態として「乗り物状態」を導入する。この乗り物状態には、例えば、自動車状態、バス状態および電車状態が下位状態として含まれる。
登録パターン情報には、自動車状態、バス状態および電車状態に個別の登録パターンは含まれておらず、乗り物状態の登録パターンが含まれる。この場合、制御部100はユーザ状態が乗り物状態であることを、加速度の検出パターンと登録パターンとの対比に基づいて特定できるものの、加速度情報のみでは、ユーザ状態が自動車状態、バス状態または電車状態であることまでは特定できない。
そこで、音情報を用いて下位状態を特定することを企図する。まず下位状態に関連する登録音(ここでは下位登録音とも呼ぶ)が設定される。各下位状態に関連する下位登録音は登録音情報に含まれている。自動車状態、バス状態および電車状態に関連する登録音の具体的な一例は、上述したとおりである。
制御部100は、ユーザ状態が乗り物状態と特定された場合、マイク170に入力される音に下位登録音が含まれたか否かを、音情報および登録音情報に基づいて判断する。そして、制御部100は下位登録音が含まれていると判断したときに、ユーザが、その下位登録音に対応する下位状態にあると判断する。これにより、乗り物状態よりも詳細な状態を特定することができる。
制御部100の内部の機能ブロックの一例は図6と同様である。図18は、電子機器10の上記動作の一例を示すフローチャートである。なお登録音検出部420の動作自体は図10と同様あるので、繰り返しの説明を避ける。ステップS201にて、状態判断部430はユーザ状態を特定する。例えば、状態判断部430は、確度算出部410によって算出された第1確度に基づいてユーザ状態を特定する。具体的には、例えば状態判断部430は、ある状態の第1確度が第1確度基準値よりも高いときに、ユーザ状態をその状態に特定する。
次にステップS202にて、状態判断部430は、特定されたユーザ状態が乗り物状態か否かを判断する。ユーザ状態が乗り物状態ではないと判断されたときには、状態判断部430は動作を終了する。ユーザ状態が乗り物状態であると判断したときには、ステップS203にて、状態判断部430は、自動車状態についての検出音が記憶部103に記憶されているか否かを判断する。当該検出音が記憶されていると判断したときには、ステップS204にて、状態判断部430はユーザ状態を自動車状態と判断する。
ステップS203において自動車状態についての検出音が記憶されていないと判断したときには、ステップS205にて、状態判断部430はバス状態についての検出音が記憶部103に記憶されているか否かを判断する。バス状態についての検出音が記憶されていると判断したときには、ステップS206にて、状態判断部430はユーザ状態をバス状態に特定する。
ステップS205においてバス状態についての検出音が記憶されていないと判断したときには、ステップS207にて、状態判断部430は電車状態についての検出音が記憶部103に記憶されているか否かを判断する。電車状態についての検出音が記憶されていると判断したときには、ステップS208にて、状態判断部430はユーザ状態を電車状態に特定する。
ステップS207にて電車状態の検出音が記憶されていないと判断したときには、乗り物状態よりも詳細な下位状態を特定することができないとして、状態判断部430は動作を終了する。
以上のように、この制御部100によれば、より詳細な下位状態を特定することができる場合がある。
<8.受信情報の有無および音情報に基づく状態判断>
上述の例では、ユーザ状態として種々の状態を例示した。電子機器10の加速度はこれら種々の状態に応じたパターンで変化することから、上述の通り、制御部100は加速度センサ200からの加速度情報を用いて、更には音情報をも用いて、ユーザ状態を特定した。
しかしながら、ユーザ状態によっては加速度情報を用いる必要はない。例えばユーザ状態として、ユーザの周囲環境を特定することを企図する。より具体的な一例として、ユーザが所定の建物の中に居るか否かを特定することを企図する。言い換えれば、ユーザの周囲環境が所定の建物の中の環境であるか否かを特定する。ここで、周囲環境として「建物環境」を導入する。制御部100がユーザの周囲環境を建物環境に特定する、との説明は、ユーザ9が建物の中に居ると制御部100が判断することを意味する。
図19は、電子機器10と無線装置との通信の様子の一例を概略的に示す図である。図19の建物300は例えばユーザ9の自宅である。この建物300には、電子機器10と無線通信可能な無線装置310が設置されている。例えば無線装置310は、無線LAN方式に準拠して動作するアクセスポイントであってもよい。電子機器10がこの無線装置310と無線により直接に通信可能である場合には、ユーザ9はその建物300の中に居る可能性が高い。
なお、電子機器10は無線装置310の近くの環境でのみ無線装置310から直接に情報を受信できるので、無線装置310から直接受信する情報は、ユーザの周囲環境に応じた情報であると言える。また、当該情報を受信する無線通信部110は、当該情報を取得する取得部であるともいえる。
ところで、無線装置310の通信可能圏内は、その設置場所によっては、建物300の周辺領域を含み得る。つまり、屋外であってもその建物300の近辺においては、ユーザ9の電子機器10と無線装置310とが通信し得る。したがって、たとえ電子機器10が当該無線装置310と通信できるからといって、ユーザ9が必ずしもその建物300の中に居るとは限らない。
そこで、電子機器10は音情報も用いて、ユーザ9がその建物300の中に居るか否かを判断してもよい。以下、制御部100の機能および動作について、具体的に説明する。
図20は、電子機器10の構成の一例を概略的に示す機能ブロック図である。図20の制御部100は、確度算出部410の替わりに通信相手識別部440を備えている。
通信相手識別部440は、無線通信部110を介して無線装置310と通信可能か否かを判断することができる。具体的には、通信相手識別部440は無線通信部110を介して信号を受信し、その受信信号を解析して、通信相手を識別することができる。例えば、通信相手識別部440は、無線装置310の識別情報が含まれた信号を受信し、この信号を解析して識別情報を抽出する。この識別情報が無線装置310の識別情報を示すときには、電子機器10は無線装置310と通信可能であると判断する。この場合、電子機器10は無線装置310の通信可能圏内に存在する。
無線装置310の識別情報は、登録識別情報として予め設定されて、記憶部103に記憶されている。通信相手識別部440は、受信信号から抽出した識別情報が登録識別情報と一致するか否を判断する。識別情報が登録識別情報と一致する場合には、ユーザ9は建物300の中に居る可能性がある。つまり電子機器10が、ある環境(例えば建物300の中)に設置された無線装置と無線で直接に通信可能であるときには、ユーザ9がその環境に居る可能性が高い。
さて、ユーザ9がその建物300の外から中に入る場合、その行為に伴った音が生じる可能性がある。例えばユーザ9は、建物300の中に入る際に、建物への進入時の定型句(例えば「ただいま」)を発する可能性がある。或いは、ユーザ9が、建物300の中と外とを隔てる扉(ドア)を開閉する際に、その扉に固有の音が生じる可能性がある。ユーザ9が建物300の中に居る場合には、その状況に伴った音が生じる可能性がある。例えばユーザ9は家族の名前を発する可能性があり、また例えば、来訪者による呼び鈴(いわゆるインターホン)の音が生じる可能性がある。
そこで、ユーザの周囲環境に関連する登録音として、これらの音を設定する。当該登録音を示す登録音情報は予め設定されて、例えば記憶部103或いは外部のサーバに記憶される。
登録音検出部420は、マイク170に入力される音に登録音(例えば「ただいま」など)が含まれているか否かを、音情報および登録音情報に基づいて判断することが可能である。登録音が含まれていると判断したときには、登録音検出部420は当該登録音を検出音として、記憶部103に記憶する。
状態判断部430は、通信相手識別部440の判断結果と、記憶部103に検出音が含まれているか否かの判断結果とに基づいて、ユーザの周囲環境を特定することが可能である。例えば、通信相手が無線装置310であり、かつ、建物環境についての検出音が記憶されているときには、状態判断部430は、ユーザ9が建物300の中に居ると判断する。つまり、状態判断部430は周囲環境を建物環境と特定する。
以上のように、この制御部100によれば、無線装置310との通信可否のみならず、音情報にも基づいて、ユーザ9が建物300の中に居るか否かを判断する。したがって、ユーザ状態(周囲環境)の特定精度を向上することができる。
図21は、電子機器10の上記動作の一例を示すフローチャートである。なお登録音検出部420の動作自体は図10と同様あるので、繰り返しの説明を避ける。まずステップS41にて、制御部100は、無線通信部110を介して受信信号を受信したか否かを判断する。受信信号を受信していないと判断したときには、制御部100は再びステップS41を実行する。受信信号を受信したと判断したときには、ステップS42にて、通信相手識別部440は、受信信号に含まれる識別情報を抽出し、この識別情報が登録識別情報と一致するか否かを判断する。識別情報が登録識別情報と一致しないと判断したときには、制御部100は再びステップS41を実行する。識別情報が登録識別情報と一致すると判断したときには、ステップS43にて、状態判断部430は、建物環境ついての検出音が記憶部103に記憶されているか否かを判断する。当該検出音が記憶部103に記憶されていないと判断したときには、制御部100は再びステップS41を実行する。当該検出音が記憶されていると判断したときには、ステップS44にて、状態判断部430は、ユーザ9が建物300の中に居ると判断する。つまり、周囲環境が建物環境に特定される。
通知判断部500は、所定情報を送信するか否かを、状態判断部430の判断結果に基づいて判断する。この判断結果は、無線通信部110が無線装置310と通信できるか否かの判断結果、および、マイク170に入力された音に、建物環境に関連する音が含まれているか否かの判断結果である。つまり、通知判断部500は、ユーザ9が建物300の中に居るか否かの判断結果に基づいて送信要否を判断する。具体的な一例として、通知判断部500は、状態判断部430によってユーザ9が建物の中に居ると判断されたときには、所定情報を送信しないと判断してもよい。
なお建物300の中に複数の無線装置310が設置されている場合には、これら複数の無線装置310の識別情報が、登録識別情報として記憶されればよい。また、異なる建物300の中にそれぞれ異なる無線装置310が設けられている場合には、その無線装置310の識別情報を建物300ごとに設定しても構わない。この場合、建物300ごとに登録音を設定してもよい。そして、制御部100は、ある建物300に属する無線装置310と通信可能であり、かつ、その建物300に関連した登録音が生じたときに、ユーザ9がその建物300に居ると判断してもよい。これによれば、ユーザ9がどの建物300の中に居るのかも特定できる。
第2の実施の形態.
第2の実施の形態にかかる電子機器10は、制御部100の替わりに制御部100Aが設けられるという点で、第1の実施の形態にかかる電子機器10と相違する。第2の実施の形態にかかる制御部100Aのハードウェア構成は制御部100と同様である。
この制御部100Aは、例えば、加速度情報および音情報に応じた通知内容を含む所定情報を、無線通信部110を介して外部へと送信することが可能である。これにより、電子機器10の加速度およびマイク170に入力される音に関する情報を、より細かく通知することが可能である。例えば、加速度情報および音情報に基づいてユーザの状態をより精度よく特定し、そのユーザの状態を所定情報に含めて送信してもよい。
<9.会話の有無に応じた通知内容>
制御部100Aは会話についての判断を音情報に基づいて行い、その判断結果に応じて通知内容を異ならせてもよい。以下、具体的に説明する。図22は、電子機器10の構成の一例を概略的に示す機能ブロック図である。例えば制御部100Aは、状態特定部600と、通知内容決定部700とを備えている。状態特定部600は、移動状態特定部610と、会話判断部620とを備えている。
<9−1.移動状態特定部>
移動状態特定部610はユーザの移動状態を、例えば加速度センサ200からの加速度情報に基づいて特定することが可能である。ユーザの移動状態には、自力移動が含まれる。ここでいう自力移動とは、ユーザが自力で移動する状態であって、例えばユーザが歩いて移動する状態、ユーザが走って移動する状態およびユーザが自転車に乗って移動する状態を含む。つまり、移動状態には、例えば「歩行状態」、「走行状態」および「自転車状態」が含まれる。
第1の実施の形態で述べたように、電子機器10の加速度の時間変化はユーザの移動状態に応じた固有のパターンを含む。よって、移動状態特定部610は第1の実施の形態で述べたように、加速度情報に基づいてユーザの移動状態を特定することができる。例えば移動状態特定部610は加速度の検出パターンと各登録パターンとを対比し、検出パターンが示す登録パターンを特定する。例えば検出パターンが「自転車状態」の登録パターンを示すときには、移動状態特定部610は移動状態を「自転車状態」と特定する。
なお移動状態特定部610は第1の実施の形態で述べたように、加速度情報のみならず、マイク170からの音情報をも用いて、ユーザの移動状態を特定してもよい。具体的には、「歩行状態」、「走行状態」および「自転車状態」の各々に関連した少なくとも一つの登録音が設定される。移動状態特定部610は、マイク170に入力される音が登録音を含んでいるか否かの判断を行う。また、移動状態特定部610は、加速度情報に基づいて各状態の第1確度を算出する。そして移動状態特定部610は、この第1確度と、上記判断の結果に基づいて、ユーザの移動状態を特定してもよい。
<9−2.会話判断部>
会話判断部620には、マイク170からの音情報が入力される。会話判断部620は、会話が行われているか否かを、この音情報に基づいて判断することが可能である。例えば会話判断部620は、マイク170に入力された音に人の声が含まれているか否かを判断し、人の声が含まれているときに、会話が行われていると判断してもよい。具体的な一例として、まず人の声の特徴(以下、登録特徴と呼ぶ:例えば音素など)を示す登録特徴情報が例えば予め設定される。この登録特徴情報は、例えば記憶部103に記憶されてもよく、あるいは、外部のサーバに格納されていてもよい。会話判断部620は、記憶部103または外部のサーバから登録特徴情報を取得する。会話判断部620は、マイク170からの音情報を解析し、その音情報に含まれる特徴と登録特徴とを対比し、これらが類似していると判断したときに、人の声が含まれていると判断してもよい。或いは、任意の言葉を登録音として登録しておき、マイク170に入力される音にその登録音が含まれているときに、会話判断部620は会話が行われていると判断してもよい。このような判断は例えば音声認識の技術を用いて行うことができる。
以上のように、状態特定部600は、ユーザの移動状態と会話の有無とを特定することができる。例えば移動状態が「自転車状態」であり、会話が行われている場合には、ユーザ9は会話を行いながら自転車に乗って移動している可能性が高い。
<9−3.通知内容決定部>
通知内容決定部700は、外部(路側機5または車両6)に送信する所定情報に含まれる通知内容を、特定されたユーザの移動状態および会話の有無に応じて決定する。例えば通知内容として、通知レベルを導入する。この通知レベルは、例えば通知の必要性、緊急性または重要性を意味する。会話を伴う自力移動は、会話を伴わない自力移動に比べて、通知の必要性、緊急性または重要性が高い。なぜなら、ユーザ9が会話を行っている場合には、周囲への注意が散漫になり得るからである。よって、通知内容決定部700は、特定された移動状態が自力移動である場合、会話が行われていると判断したときの通知レベルを、会話が行われていないと判断したときの通知レベルよりも高く設定してもよい。
制御部100は、この通知レベルを含んだ所定情報を、無線通信部110を介して外部(例えば路側機5を介して、または、直接に、車両6)へと送信する。この所定情報を受け取った車両6は、例えばこの通知レベルを運転者に通知する。これにより、運転者はユーザ9へと注意を払う必要性をより細かく認識することができる。
図23は、電子機器10の動作の一例を示すフローチャートである。ステップS51にて、移動状態特定部610は加速度センサ200から加速度情報を取得する。次にステップS52にて、移動状態特定部610はユーザの移動状態を少なくとも加速度情報に基づいて特定する。次にステップS53にて、通知内容決定部700は、移動状態特定部610によって特定された移動状態が自力移動であるか否かを判断する。なお、以下では、移動状態特定部610によって特定された移動状態を特定移動状態とも呼ぶ。特定移動状態が自力移動ではないと判断されたときには、移動状態特定部610は再びステップS51を実行する。
特定移動状態が自力移動であると判断されたときには、ステップS54にて、会話判断部620はマイク170からの音情報に基づいて、会話の有無を判断する。会話が行われていないと判断されたときには、ステップS55にて、通知内容決定部700は通知レベルを第1レベルに設定する。会話が行われていると判断されたときには、ステップS56にて、通知内容決定部700は通知レベルを、第1レベルよりも高い第2レベルに設定する。
<10.移動状態に応じた通知内容>
例えば、ユーザ9が会話を行いつつ自転車に乗っている第1の場合には、ユーザ9が会話を行いつつ走っている第2の場合に比べて、通知の必要性、緊急性または重要性は高い。同様に第2の場合には、ユーザ9が会話を行いつつ歩いている第3の場合に比べて、通知の必要性、緊急性または重要性は高い。
そこで、通知内容決定部700は、会話判断部620によって会話が行われていると判断されたときには、移動状態特定部610によって特定された移動状態に応じて、通知レベルを設定してもよい。
図24は、電子機器10の動作の一例を示すフローチャートである。ステップS61〜ステップS64はそれぞれステップS51〜S54と同様であるので、繰り返しの説明を避ける。
図24の例においては、会話が行われていないとき(ステップS64でNO)にも、通知内容決定部700は通知レベルを特定移動状態に応じて設定する。例えばステップS64にて会話が行われていないと判断したときには、ステップS65にて、通知内容決定部700は、特定移動状態が歩行状態であるか否かを判断する。特定移動状態が歩行状態であると判断したときには、ステップS66にて、通知内容決定部700は通知レベルを第1レベルに設定する。特定移動状態が歩行状態ではないと判断したときには、ステップS67にて、通知内容決定部700は特定移動状態が走行状態であるか否かを判断する。特定移動状態が走行状態であると判断したときには、ステップS68にて、通知内容決定部700は通知レベルを、第1レベルよりも高い第2レベルに設定する。特定移動状態が走行状態でないと判断されたときには、特定移動状態は自転車状態であるので、ステップS69にて、通知内容決定部700は、通知レベルを第2レベルよりも高い第3レベルに設定する。
ステップS64にて会話が行われていると判断されたときには、ステップS70にて、通知内容決定部700は特定移動状態が歩行状態であるか否かを判断する。特定移動状態が歩行状態であると判断したときには、ステップS71にて、通知内容決定部700は通知レベルを、第3レベルよりも高い第4レベルに設定する。特定移動状態が歩行状態ではないと判断したときには、ステップS72にて、通知内容決定部700は特定移動状態が走行状態であるか否かを判断する。特定移動状態が走行状態であると判断したときには、ステップS73にて、通知内容決定部700は通知レベルを、第4レベルよりも高い第5レベルに設定する。特定移動状態が走行状態でないと判断したときには、特定移動状態は自転車状態であるので、ステップS74にて、通知内容決定部700は、通知レベルを第5レベルよりも高い第6レベルに設定する。
以上のように、通知レベルを移動状態に応じて設定している。よって、より詳細に通知レベルを設定することができる。また図24の例によれば、会話の有無に応じても、通知レベルを設定している。具体的には、会話がないときにも移動態様に応じて通知レベルを設定し、また、会話があるときには、会話がないときよりも高いレベル範囲で移動状態に応じて通知レベルを設定している。これによれば、より詳細に通知レベルを設定できる。
<11.会話への集中に基づく通知内容>
人は会話に集中するほど、周囲への注意が散漫になり得る。よって、ユーザ9が会話に集中しながら自力で移動している場合、通知の必要性、緊急性または重要性は高い。
会話判断部620は、マイク170からの音情報に基づいて、会話の集中度を特定することが可能である。例えば、会話判断部620はユーザ9が会話に集中しているか否かを判断することができる。
例えば人は会話に集中すると、声が大きくなったり、あるいは、声が高くなり得る。例えば人が楽しんで会話に集中しているときには、大きな、或いは、高い笑い声が生じ得る。また例えば人が怒って会話に集中しているとき、つまり口論をしているときには、大きな怒鳴り声が生じ得る。
<11−1.音レベル>
そこで、会話判断部620は、マイク170からの音情報に含まれる音の大きさ、または、高さを算出する。音の大きさは、音を示すパラメータの振幅(あるいは強度)で表現され、音の高さは当該パラメータの周波数で表現される。以下では、音の大きさおよび高さのいずれを用いてもよいので、これらを総称した用語として音レベルを導入する。
例えば会話判断部620はユーザ9が会話をしているか否かを、音レベルに基づいて判断してもよい。具体的には、会話判断部620は音レベルが音基準値よりも高いか否かを判断する。音レベルが音基準値よりも高い場合には、会話判断部620はユーザ9が会話に集中していると判断する。
図25は、電子機器10の動作の一例を示すフローチャートである。ステップS81〜S85はステップS51〜S55とそれぞれ同一であるので、繰り返しの説明を避ける。
ステップS84において会話が行われていると判断されたときには、ステップS86にて、会話判断部620は音情報の音レベルを算出する。例えば音レベルが強度であるときには、音情報のパラメータの瞬時値を音レベルとして採用できる。音レベルが周波数であるときには、会話判断部620は当該パラメータのピーク値とボトム値とを音情報から抽出し、これらに基づいて算出する。
次にステップS87にて、会話判断部620は音レベルが音基準値よりも高いか否かを判断する。音レベルが音基準値よりも低いと判断されたときには、ステップS88にて、通知内容決定部700は通知レベルを、第1レベルよりも高い第2レベルに設定する。音レベルが音基準値よりも高いと判断したときには、ステップS89にて、通知内容決定部700は通知レベルを、第2レベルよりも高い第3レベルに設定する。
以上のように、この制御部100によれば、ユーザ9が会話に集中している可能性が高いときの通知レベルを、ユーザ9が会話に集中していない可能性が高いときの通知レベルよりも高く設定する。これにより、より適切に通知レベルを設定することができる。
通知内容決定部700は会話の集中度に応じて通知レベルを設定してもよい。具体的には、通知内容決定部700は会話の集中度が高いほど、通知レベルを高く設定してもよい。これによれば、より細かく通知レベルを設定することができる。
音レベルは、会話の集中度と正の相関関係があると考えることができる。よって、通知内容決定部700は、音レベルが高いほど、通知レベルを高く設定してもよい。
<11−2.登録音>
例えば人が楽しく会話に集中しているときには、人は楽しい会話の口癖として特定の言葉(例えば「楽しい」)を発し得る。同様に、人が怒って会話に集中しているときには、人は怒りを伴う会話の口癖として特定の言葉(例えば「ふざけるな」)を発し得る。
そこで、会話の状態に関連する言葉を、その会話状態に関連する登録音として設定しておく。この登録音を示す登録音情報は例えば予め設定されて記憶部103に記憶されてもよく、あるいは、例えば外部のサーバなどに格納されていてもよい。会話判断部620は、例えば記憶部103または外部のサーバから登録音情報を取得する。
会話判断部620は、マイク170に入力される音に登録音のいずれかが含まれているか否かを、音情報および登録音情報に基づいて判断する。例えば当該音に、楽しい会話に関連した登録音が含まれていると判断したときには、会話判断部620は楽しい会話が行われていると判断する。同様に、当該音に、怒りを伴う口論に関連した登録音が含まれていると判断したときには、会話判断部620は怒りを伴う口論が行われていると判断する。
ところで、人は楽しく会話しているときよりも、怒って口論しているときの方が、より会話に没頭しているとみなすことができる。この考えに基づく場合には、怒りを伴う口論における集中度は、楽しい会話における集中度よりも高く設定してもよい。この場合には、楽しい会話はより集中度の低い会話状態であり、怒りを伴う会話はより集中度の高い会話状態であると言える。
通知内容決定部700は、マイク170に入力される音に含まれる登録音に関連する会話の状態に応じて、通知レベルを設定する。例えば通知内容決定部700は、怒りを伴う口論に対応する通知レベルを、楽しい会話に対応する通知レベルよりも高く設定する。また、通知内容決定部700は、通常の会話(楽しい会話および怒りを伴う口論以外の会話)に対応する通知レベルを、楽しい会話に対応する通知レベルよりも低く設定するとよい。これによっても、会話の集中度に応じて通知レベルを設定することができる。
図26は、電子機器10の動作の一例を概略的に示すフローチャートである。ステップS91〜S95はそれぞれステップS81〜S85と同様であるので、繰り返しの説明を避ける。ステップS94において会話が行われていると判断したときには、ステップS96にて、会話判断部620は、マイク170に入力された音に登録音が含まれているか否かを、マイク170からの音情報、および、記憶部103からの登録音情報に基づいて判断する。登録音が含まれていないと判断されたときには、ステップS97にて、通知内容決定部700は通知レベルを、第1レベルよりも高い第2レベルに設定する。
登録音が含まれると判断したときには、ステップS98にて、会話判断部620は当該登録音が第1会話状態(例えば楽しい会話)に関連する音であるか否かを判断する。当該登録音が第1会話状態に関連する音であると判断されたときには、ステップS99にて、通知内容決定部700は通知レベルを、第2レベルよりも高い第3レベルに設定する。当該登録音が第1会話状態に関連する音ではないと判断したときには、当該登録音は第2会話状態(例えば怒りを伴う口論)に関連する音であるので、ステップS100にて、通知内容決定部700は通知レベルを、第3レベルよりも高い第4レベルに設定する。
<12.ユーザの声>
ユーザ9が声を発していない状態で、電子機器10が会話の有無の判断を行ったり、会話の集中度を行う動作は不要である。そこで、会話判断部620は、マイク170に入力された音に、ユーザ9が発した音声が含まれているときに、上記の会話に関する判断(会話の有無または集中度の判断)を行ってもよい。これにより、不要な動作を回避できる。
図27は、電子機器10の上記動作の一例を示すフローチャートである。ステップS221にて、会話判断部620は、マイク170に入力された音に、ユーザ9が発した音声が含まれているか否かを判断する。この判断は、話者認識あるいは音声認証の技術を用いて判断することができる。例えばユーザ9の声の特徴が登録音声特徴として設定される。この登録音声特徴を示す登録音声情報は例えば記憶部103または外部のサーバに記憶される。会話判断部620はこの登録音声情報を記憶部103または外部のサーバから取得する。
会話判断部620は、マイク170からの音情報を解析し、その音情報に含まれる特徴と登録音声特徴とを対比し、これらが類似していると判断したときに、ユーザ9の声が含まれていると判断してもよい。
ユーザ9の声が含まれていると判断したときには、ステップS222にて、会話判断部620は会話の有無の判断を、マイク170からの音情報に基づいて、上記のように行う。この判断結果として、会話判断部620は、ステップS223において会話が行われている判断し、ステップS224にて会話が行われていないと判断する。
この動作は上述の図23〜図26の動作のいずれにも適用可能である。つまり、会話が行われているか否かを判断する処理(S54,S64,S84,S94)は、マイク170に入力される音にユーザの声が含まれていると判断されたときに、実行される。言い換えれば、ユーザの声が含まれていないときには、この処理は実行されなくてよい。同様に、ユーザの会話への集中度を判断する処理(具体的には、音レベルの高低を判断する処理(S87)、または、会話状態に関連した登録音が含まれているかを判断する処理(S96,S98))は、マイク170に入力される音にユーザの声が含まれていると判断されたときに、実行される。言い換えれば、ユーザの声が含まれていないときには、この処理は実行されなくてもよい。
以上のように、電子機器、電子機器の動作方法および制御プログラムは詳細に説明されたが、上記した説明は、全ての局面において例示であって、この開示がそれに限定されるものではない。また、上述した各種変形例は、相互に矛盾しない限り組み合わせて適用可能である。そして、例示されていない多数の変形例が、この開示の範囲から外れることなく想定され得るものと解される。