JP6078952B2

JP6078952B2 - 電子機器

Info

Publication number: JP6078952B2
Application number: JP2012025943A
Authority: JP
Inventors: 研吾水井; 寿田井; 隆文豊田; 繭子伊藤; 有紀木ノ内; 政一関口
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2012-02-09
Filing date: 2012-02-09
Publication date: 2017-02-15
Anticipated expiration: 2032-02-09
Also published as: JP2013165310A

Description

本発明は、電子機器に関する。

近年、ユーザの生体情報を取得して、各種のサポートをすることが提案されており、ユーザが音楽に集中しているかどうかを検出して、音楽に集中していない場合には音量を低くする音響再生装置が提案されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２００５−３４４８４号公報

ユーザに音等の出力が外部から与えられた場合に、ユーザの状態に応じて適切な情報を提供することができないという課題があった。

本発明の第１の態様においては、電子機器は、音を検出する音検出部と、ユーザの生体情報を検出する生体情報検出部と、音検出部が予め定められた値以上の音量の音の検出に応じて生体情報検出部が生体情報の変化を検出した場合に、現在位置に基づく情報を取得してユーザへ提示する提示部と、を備える。

本発明の第２の態様においては、電子機器は、出力装置の周囲の人を撮像する撮像装置と、撮像装置が撮像した画像から顔が検出された場合に、音出力部から音を出力させる制御部と、を備える。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

一実施形態にかかるスマートフォン１００の利用環境の一例を示す。スマートフォン１００の概要の一例を示す。スマートフォン１００のブロック構成の一例を示す。スマートフォン１００における制御フローの一例を示す。表示部２６０に表示される画面５００の一例を示す。一実施形態にかかるシステム６００の利用場面の一例を模式的に示す。システム６００のブロック構成の一例を示す。システム６００における制御フローの一例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態にかかるスマートフォン１００の利用環境の一例を示す。本例において、スマートフォン１００は、電車内で使用される。スマートフォン１００は、スマートフォン１００を持つユーザ１０の手から生体情報を検出する。例えば、スマートフォン１００は、ユーザ１０の脈拍、発汗量、血圧、圧力等を検出する。スマートフォン１００は、生体情報の検出結果に応じてユーザ１０に適した情報を、外部と通信することにより取得する。スマートフォン１００は、取得した情報を表示してユーザ１０に提示する。

スマートフォン１００は、周囲の音を検出する機能を有する。また、スマートフォン１００は、位置を検出する機能を有する。スマートフォン１００は、予め定められた閾値より大きい音量の音が検出された場合に、生体情報が変化したか否かを判断する。予め定められた閾値より大きい音量の音が検出された場合に生体情報が変化したときは、ユーザ１０が緊急の運行情報等の車内放送等を聞き逃した可能性がある。このため、スマートフォン１００は、予め定められた閾値より大きい音量の音の検出に応じて生体情報の変化を検出した場合には、現在位置に対応する運行情報等の情報を取得して、ユーザ１０に提示する。例えば、現在位置が電車の路線内に該当する場合には、現在位置に対応する路線や近隣の路線における電車の運行情報を取得して、ユーザ１０に提示する。

一方、予め定められた閾値より大きい音量の音が検出されていない場合に生体情報の変化が検出されたときには、ユーザ１０が乗り過ごしに気付いた可能性や、体調不良を起こした可能性がある。この場合、スマートフォン１００は、生体情報に基づいてユーザ１０の状況を解析して、ユーザ１０が乗り過ごしたと判断した場合は、折り返しの時刻情報等を取得して、ユーザ１０に提示する。また、スマートフォン１００は、ユーザ１０が体調不良を起こしたと判断した場合は、症状に関する情報等を取得して、ユーザ１０に提示する。

スマートフォン１００によれば、電車内での放送内容がある種の要因でユーザ１０に聞こえなかったりユーザ１０が聞き逃したりしても、情報のリクエストを自動的に行うことができる。また、ユーザ１０が乗り過ごしてしまったり、体調不良を起こしたりしても、情報のリクエストを自動的に行うことができる。このため、ユーザ１０の利便性を高めることができる。

図２は、スマートフォン１００の概要の一例を示す。スマートフォン１００は、縦長の略矩の形状を持つ。スマートフォン１００は、表示部２６０、撮像部２１０、マイク２９４、生体センサ２２０、集音マイク２５０およびスピーカ２９２を備える。

表示部２６０の表面は、ユーザ１０がタッチすることにより種々の指示を受け付けるタッチパネルが設けられる。撮像部２１０は、表示部２６０が設けられた側に設けられる。撮像部２１０は、レンズおよび撮像素子を有する。レンズの光軸の方向は、表示部２６０の表示面の垂直方向に略一致する。したがって、撮像部２１０は、ユーザ１０がスマートフォン１００を操作している場合に、ユーザ１０の顔を撮像することができる。例えば、スマートフォン１００は、ユーザ１０の顔から、ユーザ１０の表情等を検出することができる。なお、撮像部２１０は、ユーザ１０の生体情報を非接触で検出する生体情報検出部の一例である。

ユーザ１０がスマートフォン１００を保持したときに、マイク２９４がユーザ１０の口と対向し、スピーカ２９２がユーザ１０の耳と対向するように、マイク２９４がスマートフォン１００の下方に設けられ、スピーカ２９２がスマートフォン１００の上方に設けられる。

生体センサ２２０は、ユーザ１０に接触する生体センサの一例である。すなわち、生体センサ２２０は、ユーザ１０の生体情報を検出する生体情報検出部の一例である。生体センサ２２０は、ユーザ１０がスマートフォン１００を手で保持するときに、ユーザ１０の手に触れるように長辺側の側面に設けられる。生体センサ２２０としては、脈拍センサを例示することができる。脈拍センサとしては、ＬＥＤにより生体に向けて照射光を照射し、当該照射光に対して生体から反射した光を受光することにより、脈拍を検出するセンサを適用できる。生体センサ２２０は、脈拍センサの他にも、発汗量を検出する発汗量センサを有してよい。発汗量センサとしては、複数の電極を配した発汗センサを設けることによりユーザの発汗量を検出する構成を適用できる。生体センサ２２０として更に、体温を測る温度センサ、血圧を測る血圧センサ等が設けられる。

なお、本例においては、生体センサ２２０は、スマートフォン１００の本体に設けられる。しかし、スマートフォン１００とは分離した生体センサを適用することもできる。例えば、腕時計型の生体センサを適用することもできる。ユーザの生体に接触して設けられた生体センサを、スマートフォン１００における制御に適用できる。例えば、スマートフォン１００が、当該生体センサの検出結果を通信により取得して、取得した検出結果を制御に利用してよい。

また、生体センサ２２０は、圧力センサを有してもよい。圧力センサによりユーザ１０がスマートフォン１００を保持したことを検出して、上述した生体情報の検出を開始するようにしてもよい。すなわち、スマートフォン１００の電源がオンになっている場合には、圧力センサはオンにしておき、他の生体センサや各種センサ、スマートフォン１００内の各種解析を行う各種の解析部はオフの状態にしてもよい。また、当該圧力センサの出力に基づいてユーザ１０がスマートフォン１００を通常よりも強く握っているかどうかを判別することもできる。生体センサ２２０により検出された生体情報は、スマートフォン１００内のフラッシュメモリ（後述のＲＯＭ２０２）に記憶される。この場合、フラッシュメモリ（後述のＲＯＭ２０２）に記憶される生体情報は、検出された値に加えて、ユーザ１０の各種生体情報の平均値も記憶される。

図３は、スマートフォン１００のブロック構成の一例を示す。本ブロック図を用いてスマートフォン１００の構成要素を説明する。スマートフォン１００は、図２に関連して説明した構成要件に加えて、操作入力部２９０、通信部２７０、ＲＯＭ２０２、ＣＰＵ２００、タイマ２８０、ＧＰＳモジュール２８２、画像解析部２３０および音解析部２４０を有する。

タイマ２８０は、年月日、時刻等の時間情報をＣＰＵ２００に出力する。また、タイマ２８０は、計時機能を有する。ＲＯＭ２０２は、例えばフラッシュメモリなどの不揮発性メモリである。ＲＯＭ２０２は、スマートフォン１００を制御するプログラム、各種パラメータなどを記憶する。また、ＲＯＭ２０２は、顔表情に関する顔表情データ等を記憶する。顔表情データとしては、笑顔、驚き顔、眉間に皺を寄せている顔、苦しんでいる顔等の画像データを例示することができる。当該画像データは、テンプレート画像のデータであってよい。

音解析部２４０は、集音マイク２５０から取り込まれた音声を解析する。音解析部２４０は、集音マイク２５０から出力された音声データの音量、音の周波数等を解析する。集音マイク２５０は、音を検出する音検出部の一例である。

画像解析部２３０は、撮像部２１０が撮像した画像を分析する。画像解析部２３０は、撮像部２１０が撮像した画像から顔を検出する。画像解析部２３０は、検出された顔領域の画像と、ＲＯＭ２０２に記憶されている顔表情データとを比較することにより、撮像部２１０が撮像した人の表情を検出する。画像解析部２３０は、検出した顔領域の画像とテンプレート画像データとのパターンマッチングにより、顔の比較を行う。

ＧＰＳモジュール２８２は、ＧＰＳ衛星から発信されるＧＰＳ信号を受信して、受信したＧＳＰ信号から緯度情報および経度情報を算出することにより、ユーザ１０の現在位置を検出する。ＧＰＳモジュール２８２は、算出した緯度情報および経度情報を、ＣＰＵ２００へ出力する。

通信部２７０は、外部と通信して情報を取得する。具体的には、通信部２７０は、無線通信を行う。例えば、通信部２７０は、ＩＥＥＥ８０２．１１規格に従って無線通信を行う。なお、通信部２７０は、電車に設けられた中継サーバ等と通信を行うことにより、中継サーバを介して無線通信を行ってもよい。スマートフォン１００は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信を有しており、近距離無線通信により中継サーバから情報を取得してもよい。

操作入力部２９０は、スマートフォン１００に設けられたキーを含む。また、操作入力部２９０は、表示部２６０にタッチパネルの一部として設けられた入力部材を含む。操作入力部２９０は、受け付けたユーザ操作を示す情報をＣＰＵ２００へ出力する。

ＣＰＵ２００は、スマートフォン１００全体を制御する。本実施形態においては、ＣＰＵ２００は、予め定められた値（電車内の場合例えば８０ｄＢ）以上の音量の音声の検出に応じて、生体情報が変化したか否かを判断する。また、ＣＰＵ２００は、当該判断に応じて、上述したような現在位置に基づく運行情報等、通信部２７０を通じて取得するべき情報の種類を決定する。ＣＰＵ２００は、通信部２７０を制御して、決定した種類の情報を外部から取得する。ＣＰＵ２００は、取得した情報を表示部２６０に表示させる。このように、ＣＰＵ２００は、集音マイク２５０が予め定められた値以上の音量の音の検出に応じて生体情報の変化が検出された場合に、現在位置に基づく情報を取得してユーザへ提示する。

図４は、スマートフォン１００における制御フローの一例を示す。本フローにかかる処理は、ＣＰＵ２００が主体となって各部を制御することにより実行される。本フローは、生体情報の監視を開始するタイミングで開始される。例えば、ユーザ１０がスマートフォン１００を握ったタイミングで開始される。

本フローが開始されると、ステップＳ４０２で、生体情報の変化があったかを検出する。具体的には、ＣＰＵ２００が、生体センサ２２０で検出された情報、撮像部２１０で検出された顔情報等から得られた情報を元に、生体情報の変化の有無を検出する。生体情報の変化は、生体センサ２２０により継続的にユーザ１０の生体情報を検出する中で検出してもよく、また、ＲＯＭ２０２に記憶されているユーザ１０の平均的な生体情報との差異から検出してもよい。生体情報に変化がない場合に、ＣＰＵ２００は、生体情報の変化を監視すべく、本判断を繰り返す。

ＣＰＵ２００は、生体情報に変化があった場合、ステップＳ４０４で、直前に社内放送があったか確認する。具体的には、ＣＰＵ２００は、集音マイク２５０で検出された音声に基づいて、直前に社内放送があったか否かを判断する。例えば、ＣＰＵ２００は、予め定められた閾値を超える音量の音声が検出された場合に、車内放送があった旨を判断する。また、車内放送に特有の予め定められた周波数（例えば２０００〜４０００Ｈｚ）の音声が検出された場合に、車内放送があった旨を判断する。

直前に車内放送があった場合に、ＣＰＵ２００は、ステップＳ４０６で、位置および時刻を検出する。車内放送があった直後に生体情報が変化したことから、ＣＰＵ２００は、車内放送の内容をユーザ１０が聞き逃したと判定する。聞き逃しと判定されると、ＣＰＵ２００は、ＧＰＳモジュール２８２から現在の位置を取得するとともに、現在の時刻をタイマ２８０から取得する。

ＣＰＵ２００は、ステップＳ４０８で、取得した現在時刻および現在位置を元に、通信部２７０を利用して、ユーザをガイドするガイド情報の一例としての運行中の電車に関連する情報を、インターネットを通じて取得する。例えば、ＣＰＵ２００は、次駅での乗り換え案内情報や、現在における交通トラブルの発生情報等を取得する。またスマートフォン１００のＲＯＭ２０２内に定期券情報が登録されていれば、ＣＰＵ２００は、自動的に迂回経路および迂回時間等の情報も先取りして取得することができる。ＣＰＵ２００は、ステップＳ４１０で、得られた情報を表示部２６０に表示して、ユーザ１０へ情報の提供を行い、処理を終了する。このように、ＣＰＵ２００は、現在位置および現在時刻の組み合わせに基づく情報を取得してユーザへ提示する。

ＣＰＵ２００は、ステップＳ４０４で、車内放送がないと判断された場合、ユーザ１０自身に対して変化があったと判断することができる。そのため、ステップＳ４１２で、ＣＰＵ２００は生体情報を解析する。ステップＳ４０２では生体情報の検出を行ったのに対して、本ステップでは生体センサ２２０で検出された情報を解析する。例えば、ＣＰＵ２００は、生体センサ２２０および生体センサ２２０で検出された情報から、次に記載するような判定を行う。

例えば、ＣＰＵ２００は、撮像部２１０で撮像されたユーザ１０の顔情報から、集中度を検出する。例えば、ユーザ１０の目線が大きく変化した場合に、集中力が切れたことを検出する。また、ＣＰＵ２００は、ユーザ１０の目線の変化量が大きいほど、低い集中力を検出する。また、ＣＰＵ２００は、生体センサ２２０の一部としての圧力センサから、イライラ度を検出する。検出した圧力が高いほど、高いイライラ度を検出する。また、生体センサ２２０の一部としての発汗センサから、冷や汗等の発汗量を検出する。

ステップＳ４１４で、ＣＰＵ２００は、生体情報の解析結果を組み合わせることにより、ユーザ１０の状態を判定する。例えば、ＣＰＵ２００は、圧力センサおよび発汗センサの出力から、痛みを伴う体調不良が生じたと判定する。例えば、圧力センサで検出された圧力が予め定められた値を超え、かつ、発汗センサで検出された発汗量が予め定められた値を超える場合に、痛みを伴う体調不良が生じたと判断する。また、発汗センサおよび顔の検出結果に基づいて、居眠りまたは集中等による乗り過ごしの有無を判定する。例えば、ＣＰＵ２００は、発汗センサで検出された発汗量が予め定められた値を超え、かつ、驚いた表情の顔が検出された場合に、乗り過ごしと判定する。

ステップＳ４１４を経てステップＳ４０８に進んだ場合、ステップＳ４０８では、ＣＰＵ２００は通信部２７０を制御して、ステップＳ４１４で判定したユーザ１０の状態等にふさわしい情報を、インターネットから取得する。具体的には、ステップＳ４１４で、痛みを伴う体調不良と判定された場合、痛みに関する情報を取得する。例えば、痛みの症状に関する情報や、痛みに効くツボ等の情報を取得する。また、現在位置から最寄りの病院等の情報を取得してもよい。また、乗り過ごしと判断した場合は、折り返しをする駅の時刻表情報や最速で乗り換え情報を取得する。また、単にユーザ１０のイライラ度が高い状態と判断された場合は、エンターテイメント情報等を取得してよい。

このように、撮像部２１０、生体センサ２２０は、異なる種類の生体情報を検出する。そして、ＣＰＵ２００は、生体情報の検出結果の組み合わせに基づく情報を取得して、ユーザへ提示する。

図５は、表示部２６０に表示される画面５００の一例を示す。本画面５００は、ユーザ１０が車内放送を聞き逃したと判定された場合に表示される画面の一例である。本画面５００に示すように、ＣＰＵ２００は、電車の運行情報を提供するサイトから、現在位置に対応する路線の運行情報５１０を取得して、表示部２６０へ表示させる。

また、ＣＰＵ２００は、現在からの乗り換え案内情報５３０を取得して、表示部２６０へ表示させる。乗り換え案内情報５３０は、各乗り換え駅の駅名および各駅の発車時刻を含むコンテンツ５２０と、時刻表情報のアイコン５４０とを含む。ＣＰＵ２００は、ＲＯＭ２０２に格納された定期情報等から、終点の駅を特定してよい。また、ＣＰＵ２００は、ユーザ１０がアイコン５４０をタッチすることで時刻表情報へのアクセスが指示されると、指示された駅の時刻表情報を表示部２６０に表示する。

以上に説明したスマートフォン１００によれば、ユーザ１０の状態に応じて適切な情報をユーザへ提供することができる。このため、ユーザ１０の利便性を高めることができる。

図６は、一実施形態にかかるシステム６００の利用場面の一例を模式的に示す。システム６００は、電車等の車内において情報のリクエストを行う。具体的には、スピーカに撮像装置が付いた構成にて、スピーカから出力される音声の聞き逃しの検出を行い、聞き逃し検出に応じて情報のリクエストを行う。

システム６００は、本実施形態では電車６１０内で適用され、制御装置７００、マイク６８０、出力ユニット７１０ａおよび７１０ｂを備える。システム６００の説明において、出力ユニット７１０ａおよび７１０ｂを出力ユニット７１０と総称する場合がある。制御装置７００は、例えば電車６１０の車掌室に設けられる。マイク６８０は、車掌６９０が発した音声を入力して、制御装置７００に出力する。制御装置７００は、入力された音声を出力ユニット７１０へ供給して、車内放送を行う。

出力ユニット７１０ａは、撮像装置７４０ａ、指向性スピーカ７２０ａおよび無指向性スピーカ７３０ａを有する。出力ユニット７１０ｂは、撮像装置７４０ｂ、指向性スピーカ７２０ｂおよび無指向性スピーカ７３０ｂを有する。システム６００の説明において、指向性スピーカ７２０ａおよび指向性スピーカ７２０ｂを、指向性スピーカ７２０と総称する場合がある。また、無指向性スピーカ７３０ａおよび無指向性スピーカ７３０ｂを、無指向性スピーカ７３０と総称する場合がある。また、撮像装置７４０ａおよび撮像装置７４０ｂを、撮像装置７４０と総称する場合がある。なお、出力ユニット７１０の数や配置場所は、各車両の面積や、撮像装置７４０の撮像範囲から適宜設定することができる。

指向性スピーカ７２０および無指向性スピーカ７３０は、それぞれ音出力部の一例である。指向性スピーカ７２０は、例えば、超音波トランスデューサを備えており、これにより限られた方向のみに音声を伝達するスピーカであり、無指向性スピーカ７３０は、指向性スピーカ７２０よりも広域な方向に音声を伝達するスピーカである。なお、不図示の駆動部により指向性スピーカ７２０が音を伝達する方向を調節するようになっている。

撮像装置７４０は、指向性スピーカ７２０および無指向性スピーカ７３０の周囲を撮像するようなレンズ（例えば広角レンズ）および撮像素子などを有している。撮像装置７４０は、図６に示してあるように車内の天井に設けられているので、通常は乗客の頭部の画像や、額や目など顔の一部しか撮像していない。すなわち、撮像装置７４０は、乗客が乗客の上部に設けられた出力ユニット７１０に注目したときに、乗客の顔を撮像することになる。制御装置７００は、撮像装置７４０が撮像した画像から顔が検出された場合に、音出力部から音を出力させる制御部の一例である。具体的には、制御装置７００は、無指向性スピーカ７３０からの音の出力に応じて当該画像から顔が検出された場合に、指向性スピーカ７２０または無指向性スピーカ７３０から再度音を出力させる。

より具体的には、システム６００において、制御装置７００が、車内放送の音声を出力ユニット７１０から出力させた場合に、制御装置７００は、撮像装置７４０で撮像された画像から、出力ユニット７１０の方向を向く顔を検出する。出力ユニット７１０の方向を向いた顔が検出された場合には、制御装置７００は、再度同じ音声を出力ユニット７１０から出力させる。

乗客が車内放送を聞き逃した場合等のように、人が音を聞くことができなかった場合、行動心理により、音が出る方向すなわち出力ユニット７１０を見る習性がある。このため、車内放送をした後に出力ユニット７１０へ向いた顔が検出された場合、聞き逃した乗客がいる可能性が高い。このような場合に、制御装置７００は、再度車内放送をすることができるので、乗客に適切に情報を提供することができる。例えば、制御装置７００は、出力ユニット７１０へ向く顔が複数検出された場合、無指向性スピーカ７３０から音声を出力させる。一方、制御装置７００は、出力ユニット７１０へ向く顔が一つしか検出されなかった場合、指向性スピーカ７２０から、検出された顔の位置に対応する客車内の位置に向けて音声を出力させる。このため、聞き逃した人が一人しかいない場合に、多くの乗客に同じ車内放送を再度聞かせてしまうことを防ぐことができる。

図７は、システム６００のブロック構成の一例を示す。本ブロック図を用いてシステム６００の構成要素を説明する。システム６００は、図６に関連して説明した構成要件に加えて、ＣＰＵ７７０、顔検出部７８０、表示部７５０、入出力部７９０、ＲＡＭ７７４およびＲＯＭ７７２を有する。これらの機能ブロックは、制御装置７００が有する。

ＲＯＭ２０２は、例えばフラッシュメモリなどの不揮発性メモリである。ＲＯＭ７７２は、制御装置７００を制御するプログラム、各種パラメータなどを記憶する。また、ＲＯＭ７７２は、人間の顔に関する顔データ等を記憶する。顔データとしては、人間の顔のテンプレート画像のデータ等であってよい。例えば、ＲＯＭ７７２は、指向性スピーカ７２０および無指向性スピーカ７３０が設けられた方向を向いた場合に、撮像装置７４０で撮像される向きの顔の顔データを記憶してよい。

入出力部７９０は、情報の入出力を制御する。入出力部７９０は、マイク６８０から音声情報を取得して、ＣＰＵ７７０に出力する。また、入出力部７９０は、車掌６９０へ通知する情報を出力する。入出力部７９０は、音、光等により、車掌６９０へ通知（報知）してよい。表示部７５０は、車掌６９０へ通知する情報を表示する。車掌６９０へ通知する情報としては、車内放送を再度行うべき旨の情報を例示することができる。

顔検出部７８０は、ＲＯＭ７７２に記憶されている顔の主要なパーツ（目、眉毛、鼻、口）を参照パターンとして、撮像装置７４０により撮像された画像とのパターンマッチングにより顔の検出を行なっている。本実施の形態においては、上を見たとき（向いたとき）の顔の主要パーツ（目、眉毛、鼻、口）を参照パターンとしてＲＯＭ７７２に記憶している。また、顔検出部７８０は、車内放送前後の顔や頭の向きの変化を検出するようにしてもよい。

ＲＡＭ７７４は、ＣＰＵ７７０の動作に使用する情報を一時的に記憶する。ＲＡＭ７７４は、入出力部７９０を通じて入力された情報を一時的に記憶してよい。例えば、ＲＡＭ７７４は、入出力部７９０を通じて入力された音声データを一時的に記憶してよい。ＲＡＭ７７４に記憶された音声データは、車内放送を再度行う場合に使用されてよい。

ＣＰＵ７７０は、制御装置７００および出力ユニット７１０の全体を制御する。本実施形態においては、ＣＰＵ７７０は、出力ユニット７１０への音声の出力に応じて、顔検出部７８０で顔が検出されたか否かを判断する。例えば、ＣＰＵ７７０は、出力ユニット７１０から音声の出力を開始してから予め定められた時間が経過するまでの間に、顔が検出されたか否かを判断する。また、ＣＰＵ７７０は、当該判断に応じて、車掌６９０に再度の車内放送をするよう通知する。ＣＰＵ７７０は、ＲＡＭ７７４に記憶されている音声データを再度出力ユニット７１０に出力することにより、自動的に再度の車内放送をさせることもできる。

システム６００によれば、乗客等のユーザの動作を検出して情報を的確に伝えることが可能となる。このため、ユーザの動作から予測されるユーザの状態に応じて、ユーザへ情報を的確に提供することができる。

図８は、システム６００における制御フローの一例を示す。本フローにかかる処理は、ＣＰＵ７７０が主体となって各部を制御することにより実行される。本フローが開始されると、ステップＳ８０２で、ＣＰＵ７７０は、車内放送があったかどうかを判定する。例えば、ＣＰＵ７７０は、マイク６８０から入力される音声を出力ユニット７１０へ出力すべき旨の指示が入出力部７９０に対してなされたか否かを判断する。車内放送がない場合は、車内放送の出力を監視すべく、本ステップを繰り返す。

車内放送があった場合、ステップＳ８０４で、ＣＰＵ７７０は、車内放送の直後に、出力ユニット７１０を見た人がいるかどうかを判定する。具体的には、ＣＰＵ７７０は、スピーカ内に取り付けられた撮像装置７４０で撮像された画像から顔検出部７８０で顔が検出されたか否かを判定する。出力ユニット７１０を見た人がいない場合は、動作を終了する。

ＣＰＵ７７０は、出力ユニット７１０を見た人物が検出された場合、スピーカを見た人がいると判断することができ、これにより、検出された人物が、車内放送を聞き逃したと判定することができる。ＣＰＵ７７０は、ステップＳ８０６で、出力ユニット７１０を見た人の位置を確認する。例えば、ＣＰＵ７７０は、検出した人物の方向に関する位置情報を得る。例えば、撮像装置７４０が設けられた位置および撮像装置７４０の方向ならびに画角内の顔の位置から、当該位置情報を得る。

ステップＳ８０８で、ＣＰＵ７７０は、検出した人物が複数かどうかを判定する。具体的には、ＣＰＵ７７０は、顔検出部７８０にて検出された顔の数をカウントする。

ＣＰＵ７７０は、検出した人物が複数でない場合、その人物に向けて指向性スピーカ７２０にて再度車内放送を実行する。この時、ＣＰＵ７７０は、1回目の車内放送をＲＡＭ７７４に自動録音しておき、再放送に使用しても良い。また、ステップＳ８０６で確認した人物に向けて、指向性スピーカ７２０から車内放送を実行してよい。ＣＰＵ７７０は、指向性スピーカ７２０の指向性の向きを調節することにより、ステップＳ８０６で確認した人物に向けて車内放送を実行してよい。このように、ＣＰＵ７７０は、指向性スピーカ７２０により出力される音声の向きを調節する。

検出された人物が複数であった場合、ステップＳ８１２で、ＣＰＵ７７０は、車掌６９０に状況を伝え、車掌６９０より再度の車内放送を指示する。例えば、ＣＰＵ７７０は、1回目の車内放送を解析して、声が小さかったか否か、周囲の雑音が大きい状態でタイミングが悪かったか否か等の分析を行い、車掌６９０に伝える。また、ＣＰＵ７７０は、車両毎の出力ユニット７１０の検出結果から、特定の車両での現象か、電車全体での減少かを分析することができる。ＣＰＵ７７０は、分析結果を表示部７５０に表示することにより、車掌６９０に通知する。

なお、ステップＳ８０８では、検出された人物が複数であるか否かを判断するとした。しかし、ＣＰＵ７７０は、検出された人物が予め定められた数より多いか否かを判断してもよい。そして、検出された人物が予め定められた数より少ない場合に、ステップＳ８１０に進み、検出された人物が予め定められた数より多い場合に、ステップＳ８１２に進んでよい。すなわち、制御装置７００は、検出された顔の数が予め定められた数よりも多い場合（例えば、１つの出力ユニット７１０に対して３つ以上）に、無指向性スピーカ７３０から音を出力させる。また、制御装置７００は、検出された顔の数が予め定められた数よりも少ない場合に、指向性スピーカ７２０から音を出力させる。更に、ＣＰＵ７７０は、上述したように車両毎の出力ユニット７１０の検出結果に応じて、指向性スピーカ７２０と無指向性スピーカ７３０とを使い分けるようにしてもよい。

システム６００において、出力ユニット７１０は指向性スピーカ７２０および無指向性スピーカ７３０を有するとした。しかし、出力ユニット７１０は、指向性を変化させることができる一のスピーカを有してよい。ＣＰＵ７７０は、検出された人数に応じて当該スピーカの指向性を変化させてよい。例えば、ＣＰＵ７７０は、１回目の放送時や、ステップＳ８０８の判断で検出された人数が複数と判断された場合は、当該スピーカを無指向性に制御して、車内放送を実行させてよい。また、ステップＳ８０８の判断で検出された人数が複数でないと判断された場合は、当該スピーカを有指向性に制御して、車内放送を実行させてよい。

システム６００において、出力装置としての、指向性スピーカ７２０および無指向性スピーカ７３０を例示した。しかし、出力装置としては、スピーカの他に、ディスプレイを適用することができる。システム６００においては、電車の運行情報等を表示するディスプレイを、出力装置の一例として適用できる。

システム６００によれば、乗客としてのユーザの動作を検出して情報をユーザに的確に伝えることが可能となる。このため、ユーザの動作に基づくユーザの状態に応じて、適切な情報をユーザへ提供することができる。

上記の説明において、ＣＰＵ２００の動作として説明した処理は、ＣＰＵ２００がプログラムに従ってスマートフォン１００が有する各ハードウェアを制御することにより実現される。また、ＣＰＵ７７０の動作として説明した処理は、ＣＰＵ７７０がプログラムに従ってシステム６００が有する各ハードウェアを制御することにより実現される。このように、上記実施形態のスマートフォン１００およびシステム６００に関連して説明した処理は、プロセッサがプログラムに従って動作して各ハードウェアを制御することにより、プロセッサ、メモリ等を含む各ハードウェアとプログラムとが協働して動作することにより実現することができる。すなわち、当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体から当該プログラムをロードすることができる。

なお、図１から図５に関連して説明した実施形態では、通話装置の一例としてのスマートフォン１００を取り上げて説明した。しかし、通話装置としては、スマートフォンに限らず、種々の形態の携帯電話機を適用できる。また、通話装置に限らず、携帯情報端末、タブレット等の小型コンピュータ等、通信機能およびユーザへの提示機能を有する種々の電子機器を、当該実施形態の適用の対象とすることができる。

また、当該実施形態では、電車においてスマートフォン１００を使用する場面を主として説明した。また、図６から図８に関連して説明した実施形態では、制御装置７００、出力ユニット７１０およびマイク６８０を電車に適用する場面を主として説明した。しかし、スマートフォン１００や、制御装置７００、出力ユニット７１０およびマイク６８０等の電子機器を使用する場面としては、電車に限らず、電車以外の列車やバス等の車両等に適用することができる。また、店舗等の建物や、建物外も適用の対象とすることができる。例えば、建物内の館内放送や公衆の放送が行われる場所に適用することができる。更に、図１から図８を用いて説明した実施形態を適宜組合せて使用することも可能である。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００スマートフォン、１０ユーザ、２００ＣＰＵ、２０２ＲＯＭ、２１０撮像部、２２０生体センサ、２３０画像解析部２４０音解析部、２５０集音マイク、２６０表示部、２７０通信部、２８０タイマ、２８２ＧＰＳモジュール、２９０操作入力部、２９２スピーカ、２９４マイク、５００画面、５１０運行情報、５３０案内情報、５４０アイコン、６００システム、６１０電車、６８０マイク、６９０車掌、７００制御装置、７１０出力ユニット、７２０指向性スピーカ、７３０無指向性スピーカ、７４０撮像装置、７５０表示部、７７０ＣＰＵ、７７２ＲＯＭ、７７４ＲＡＭ、７８０顔検出部、７９０入出力部

Claims

音を検出する音検出部と、
ユーザの生体情報の検出結果の入力を受け付ける入力部と、
前記音検出部が予め定められた値以上の音量の音を検出した後に、前記入力された検出結果から前記生体情報の変化を検出すると、前記予め定められた値以上の音量の音と前記生体情報の変化を検出した以降の前記ユーザの位置と前記ユーザの状態の情報に基づく情報を取得して、取得した前記情報を前記ユーザへ提示する提示部と、
を備える電子機器。
前記提示部は、前記位置と前記ユーザの移動手段とに関連する情報に基づく情報を取得する
請求項１に記載の電子機器。
前記提示部は、前記予め定められた値以上の音量の音と前記生体情報の変化を検出した以降の前記位置および時刻の組み合わせに基づく情報を取得する
請求項１または２に記載の電子機器。
外部と通信して、前記ユーザへ提示される前記情報を取得する通信部
をさらに備える請求項１から３のいずれか一項に記載の電子機器。
前記ユーザへ提示される前記情報は、前記ユーザをガイドするガイド情報を含む
請求項１から４のいずれか一項に記載の電子機器。
前記入力部は、前記ユーザに接触する生体センサによる検出結果の入力を受け付ける
請求項１から５のいずれか一項に記載の電子機器。
前記入力部は、撮像部による検出結果の入力を受け付ける
請求項１から６のいずれか一項に記載の電子機器。
前記入力部は、異なる種類の生体情報の検出結果の入力を受け付け、
前記提示部はさらに、前記生体情報の変化を検出した場合に、前記生体情報の検出結果の組み合わせに基づく情報を取得して、取得した前記情報を前記ユーザへ提示する
請求項１から７のいずれか一項に記載の電子機器。