JP4052274B2 - 情報提示装置 - Google Patents

Description

本発明は、ユーザに適した情報を提示する情報提示装置に関する。

従来、携帯型の音楽再生装置が普及し、電車での移動中、徒歩による移動中、ジョギング中など、ユーザが移動しながら音楽を楽しむことができる。携帯型の音楽再生装置には、ＭＤ（ミニディスク；登録商標）、ＣＤ（コンパクトディスク）などの記録媒体に記録された音楽コンテンツを再生するものや音楽コンテンツを記録したＨＤ（ハードディスク）や半導体メモリなどを内蔵するものがある。

ところで、携帯型音楽再生装置の音楽の再生環境は、ユーザの移動した場所及び時間によって変化する。また、ユーザの気分も常に変化している。これに応じて、ユーザに適した音楽も変化している。

上述したように、音楽再生装置は、記録媒体や記録装置に記録された音楽コンテンツをそのまま再生するものであるが、既に記録された音楽コンテンツを記録順に連続再生するのみでは、ユーザのいる場所、時間、ユーザの気分に適した音楽を提示することはできない。そこで、従来、ユーザが音楽との一体感を得られるようにするために、ユーザの歩行ピッチを検出し、ユーザの歩行ピッチと再生音楽の音楽テンポとを同期させる音楽再生装置が存在する（例えば、特許文献１参照。）。

しかしながら、再生音楽の音楽テンポとユーザの歩行ピッチとを同期させるだけでは、ユーザのいる場所、時間などユーザの環境に適した音楽を提示していることにはならない。これは、音楽コンテンツのみに当てはまることではなく、映像やその他の情報についても同じであるといえる。

特開２００３−８５８８８号公報

本発明は、上述した課題に鑑みてなされたものであって、ユーザの環境に適した情報をユーザに提示する情報提示装置を提示することを目的とする。

上述した目的を達成するために本発明にかかる情報提示装置は、スケジュール入力手段においてユーザのスケジュール及び少なくとも位置に対応付けられたコンテンツの再生スケジュールの入力を受け付け、位置検出手段においてユーザの位置を検出し、検出した信号からユーザの歩行動作を特定し、動作検出手段においてユーザの歩行動作を検出する。情報生成手段は、ユーザのスケジュールと、再生スケジュールと、ユーザの位置と、ユーザの歩行動作とに基づいてユーザの心理的な状態又はユーザの周囲の環境を解析し、当該解析結果に基づいて情報を生成する。生成された情報は、情報提示手段によってユーザに提示される。

本発明によれば、ユーザのスケジュールと再生スケジュールとユーザの位置とユーザの歩行動作とを基に情報を生成するため、散歩やジョギングなどユーザが移動するときに、ユーザの歩行スピードや周囲の環境に応じて情報が変化し、ユーザに適した情報を提示することができる。また、ユーザの移動や動作に応じて情報が変化するため、ユーザは情報との一体感が得られ、エンターテインメント性が向上する。

本発明は、音楽再生装置、映像再生装置、携帯電話、ＰＤＡ、ラップトップコンピュータ、ウェアラブルコンピュータなどの携帯型の情報提示装置に適用される。本発明は、情報提示装置を携帯して、移動するユーザの動きやユーザの位置に応じて、ユーザに提示する情報を生成したり、ユーザに提示する情報に変化を与えたりすることを特徴する。

以下、本発明をコンテンツ再生装置１に適用した例について、図１を参照して説明する。コンテンツ再生装置１は、音声コンテンツ及び映像コンテンツを再生する装置である。コンテンツ再生装置１は、音声を出力する音声出力部１０と、画像を出力する表示部１１とを備える。音声コンテンツや映像コンテンツなどは、ストレージ１２に格納されている。ストレージ１２には、ＨＤ（Hard Disk）、光ディスク、半導体メモリなどがある。音声コンテンツや映像コンテンツは、ネットワーク接続部１３を介してインターネット経由でダウンロードすることもできる。

コンテンツ再生装置１は、キー入力部１４と、マイク１５とを備える。キー入力部１４は、“再生”、“停止”、“一時停止”、“選曲”などのコマンドの入力を受け付ける。無線インターフェース１６は、後述する歩行センサ２及びＧＰＳユニット３と無線通信を行い、歩行データや位置データを受信する。

ＣＰＵ（Central Processing Unit）１７は、コンテンツ再生装置１を制御する。ＲＯＭ（Read Only Memory）１８やストレージ１２には、コンテンツ再生装置１の制御に必要なプログラムや設定情報を格納している。ＣＰＵ１７は、ＲＡＭ（Random Access Memory）１９をワークエリアとして、ユーザの歩行動作の解析、ユーザの環境解析、ユーザの環境に応じた情報の作成及び加工を行う。

図２は、コンテンツ再生装置１のソフトウェア構成を示す。コンテンツ再生装置１は、歩行センサ２の出力を基にユーザの歩行動作を解析する歩行解析部２０と、ＧＰＳユニット３の出力と地図データとを基にユーザの存在する場所を特定する位置特定部２１と、ユーザのスケジュールの入力を受け付けるスケジュール入力部２２と、ユーザの歩行動作とユーザの位置とユーザのスケジュールとを基にユーザの環境を解析する環境解析部２３と、ユーザの環境に応じた情報の生成やユーザの環境に応じた情報の加工を行う提示情報生成部２４とを備える。

歩行解析部２０は、歩行センサ２から出力される歩行データを基にユーザの歩行動作を解析する。歩行センサ２の具体例としては、ユーザの上下動を検出する加速度センサ４と、ユーザの足の踏み込みを検出する汎用箔ひずみゲージ５とがある。

加速度センサ４は、コンテンツ再生装置１のヘッドホン４０に取り付けられる。ヘッドホン４０は、図１に示す音声出力部１０の1つである。図３は、加速度センサ４の取り付け例を示している。左右のスピーカ４１，４２を繋ぐ連結部３３をユーザの頭頂部にかけまわすタイプのヘッドホンである頭上型ヘッドホン４０ａでは、連結部４３の中心、すなわち、ユーザの頭頂部の上部に加速度センサ４が取り付けられる。左右のスピーカ４４，４５を繋ぐ連結部４６をユーザの後頭部にかけまわすタイプのヘッドホンであるネックバンド型ヘッドホン４０ｂでは、連結部４６の中心、すなわち、ユーザの後頭部の後に加速度センサ４が取り付けられている。ユーザの耳の穴にスピーカを挿入するタイプのヘッドホンであるインナーイヤー型ヘッドホン４０ｃでは、左右のそれぞれのスピーカ４７，４８に加速度センサ４が取り付けられている。

加速度センサ４は、垂直一軸の振動を検出する。図４は、歩行中における加速度センサ１２の出力例である。この図では、横軸に時間、縦軸に加速度の値をプロットしている。図４では、計測を開始してから０〜６秒の間で“速く小さい振動”が検出され、６〜１５秒の間で“遅く小さな振動”が検出され、１８〜２２秒の間で“速く強い振動”が検出され、２３〜３２秒の間で“ゆっくり大きな振動”が検出され、３２〜３４秒の間で“速く強い振動”が検出される。

歩行動作解析部は、振動の周期及び振り幅を基にユーザの歩行動作を解析する。例えば、“速く小さい振動”を小刻みな歩行、“遅く小さな振動”を大またでゆっくりした歩行、“速く強いゆれ”を小走り、“ゆっくり大きなゆれ”をスキップ、“速く強いゆれ”を全力疾走と判断する。また、振動が検出されないときは静止していると判断する。

また、ヘッドホン４０には、ＧＰＳユニット３が取り付けられる。頭上にＧＰＳユニット３を取り付けると、電波の遮断が少なく、精度が向上する。なお、このＧＰＳユニット３は、衛星から出力される電波のほかに無線通信網、携帯電話用衛星通信網から発せられる電波も位置情報として受信する。

なお、ＧＰＳユニット３及び加速度センサ４の取り付け位置は、ヘッドマウントディスプレイ、腕時計、靴、衣服、装飾品などでもよい。

図５は、歩行センサ２の具体例としての汎用箔ひずみゲージ５を示している。汎用箔ひずみゲージ５は、曲げ方向の力を電気信号に変換する。電気信号のプラスマイナスは、曲げの方向に対応している。この歩行センサ２は、足を踏み込んだときのプラスの電気信号、足を地面から離したときにマイナスに電気信号を出力するように取り付けられている。汎用箔ひずみゲージ５は、燐青銅板５１に貼り付けられている。汎用箔ひずみゲージ５の出力端子５２は、補強材５３で補強されて燐青銅板５１の外部に延出している。汎用箔ひずみゲージ５の出力端子５２はアンプ５４に接続されており、アンプ５４は無線インターフェース５５に接続されている。無線インターフェース５５は、ユーザの歩行データをコンテンツ再生装置１に送信する。

図６は、汎用箔ひずみゲージ５の出力例を示す。この例では、ユーザが通常の歩行テンポで歩いたときの出力と、ゆっくりとした歩行テンポで歩いたときの出力と、速めの歩行テンポで歩いたときの出力とが表示されている。汎用箔ひずみゲージ５の出力は、ユーザの足が接地した瞬間に極大になり、ユーザの足が地面から離れた瞬間に出力が極小になる。汎用箔ひずみゲージ５は、左右の足に１つずつ設けてもよいし、片足のみに取り付けて、接地間隔の２分の１を歩行テンポとして利用してもよい。図６（ａ）は左脚の靴底に取り付けられた汎用箔ひずみゲージ５の出力を示し、図６（ｂ）は右脚の靴底に取り付けられた汎用箔ひずみゲージ５の出力を示している。ユーザの歩行テンポは、一方の足が接地してから他方の足が接地するまでの時間間隔、すなわち、一方の足の汎用箔ひずみゲージ５の値が極大になったときから他方の足の汎用箔ひずみゲージ５の値が極大になるまでの時間間隔である。

なお、腕や手首に取り付けた加速度センサや、ユーザの体の一部に取り付けた方位計によって、歩行データを検出することもできる。腕や手首に取り付けた加速度センサは足の踏み出しに同期した手のゆれを検出し、方位計はユーザの移動方向を検出することができる。

位置特定部２１は、ＧＰＳユニット３からユーザの位置情報を入力すると、ストレージ１２に記録された地図情報を読み出し、位置情報を地図情報に照らし合わせて。ユーザが存在する場所を特定する。

スケジュール入力部２２は、ユーザのスケジュール入力を受け付ける。ユーザのスケジュールには、いつ、どこで、なにをするといった通常のスケジュール帳に記入するスケジュールのほかに、なにをしているときどの曲を再生し、どんな気分のときどの曲を再生するかといったコンテンツのスケジュールを入力することができるようになっている。

音楽のスケジュールは、場所、時刻、曜日、気分などと関連づけて記録される。音楽のスケジュールの一例として、ジョギングコースと、ジョギング中にかける曲のスケジュールを説明する。このスケジュールには、ジョギングコースと、音楽を変えるトリガとなる場所（建物、道標）と、その間に再生する曲を指定することができる。このスケジュールでは、あるポイントと次のポイントとの間は、同じ曲が繰り返し再生されるように設定する。同じ曲を再生させたとしても、ユーザの歩行テンポに合わせて曲調が変化するため、ユーザを飽きさせることはない。

また、スケジュールとして、再生する曲のほかに、音楽のどの要素を変化させるかという情報を入力することができる。入力項目には、テンポ、曲調、音程、音色、強さなどがある。これにより、ユーザは、テンポだけの変更、音程だけの変更、曲調だけの変更、コンテンツそのものの変更などを選ぶことができ、選択の自由度が広がる。

また、入力したスケジュールは、学習によって更新される。再生した曲の停止や曲調の変化、再生する曲目の変更などをユーザから指示されたとき、この指示を学習データとして、同じ環境で音楽を再生するときに音楽を選択及び変化させるときの判断材料となる。

環境解析部２３は、位置特定部２１が特定したユーザの位置と、スケジュール入力部２２に入力されたユーザのスケジュールと、歩行解析部２０が解析したユーザの歩行動作からユーザの周囲の環境やユーザの心理的な状態を解析する。例えば、６時に百貨店の入口で待ち合わせというスケジュールが記録されているとする。時計の時刻が５時５０分であり、ユーザが百貨店の周辺におり、ユーザの歩行動作が小走りであるとき、環境解析部２３は、これらの情報を基にユーザが待ち合わせ場所に急いで向かっていると判断する。

提示情報生成部２４は、環境解析部２３の解析結果に適した情報の生成及び情報の加工を行う。上述の例のように、解析の結果、ユーザが急いでいると判断したときには、ユーザの歩行ペースを上げるために、音楽のリズムを速くしたり、ビートの速い音楽を選択したりする。音楽コンテンツがＭＩＤＩ（Music Instruments Digital Interface）の場合、音楽のテンポや曲調の制御を容易にすることができる。また、提示情報生成部２４は、待ち合わせ時間までの所要時間や現在の時刻など有用な情報を作成して提示する。

コンテンツ再生装置１の動作を図７のフローチャートを参照して説明する。コンテンツ再生装置１の動作は、ユーザによるスケジュールの入力から開始する。スケジュール入力部２２は、ユーザからの入力をストレージ１２に記録する（ステップＳ１１）。そして、ユーザは、コンテンツ再生装置１を携帯して移動を開始する。コンテンツ再生装置１は、ユーザが移動している間、音楽コンテンツや映像コンテンツを再生する（ステップＳ１２）。

また、コンテンツ再生装置１は、歩行センサ２による歩行データの検出と、ＧＰＳユニット３による位置データの検出する（ステップＳ１３）。歩行解析部２０は、歩行データを基にユーザの歩行動作を解析する。位置特定部２１は、ＧＰＳユニット３の出力を基にユーザの位置を特定する（ステップＳ１４）。

環境解析部２３は、ユーザの歩行動作と、ユーザの居場所と、ユーザのスケジュールとを基にユーザの心理的な状態やユーザの周囲の環境を解析し、解析結果を提示情報生成部２４に出力する。提示情報生成部２４は、ユーザの心理状態や周囲の環境に合わせて現在再生しているコンテンツの曲調やリズムを変化させたり、適当な情報を生成してユーザに提示する。ユーザに提示する情報は、文字データであってもよいし、画像データであってもよい。また、バイブレーション機能やＬＥＤ（Light-Emitting Diode）の点滅、点灯などによってユーザに情報を提示してもよい（ステップＳ１５）。

コンテンツ再生装置１は、ユーザが動作の停止を指示しないときには（ステップＳ１６；ＮＯ）、ステップＳ１２に処理を移行する。コンテンツ再生装置１が再生しているコンテンツは、この処理により、動的に変化する。一方、ユーザが動作の停止を指示すると（ステップＳ１６；ＹＥＳ）、コンテンツ再生装置１は、処理を完了する。

上述の動作を、さらに具体的に説明する。この例には、ユーザが図書館と友人の家に立ち寄り、ある時刻までに家に帰らなくてはならないというスケジュールが記録されているものとする。ユーザは、図８に示すように、図書館に立ち寄ったのち、友人の家に向かう。但し、図書館から友人の家に向かうまでの間には、公園があり、ユーザは、友人の家に向かう途中で公園に立ち寄る。上述した経路を移動する間、ユーザは、コンテンツ再生装置１のイヤホンを耳に装着し音楽を聞いているものとする。

まず、ユーザが出発地点である自宅を出発して図書館に向かうまでの区間におけるコンテンツ再生装置の動作について説明する。コンテンツ再生装置１は、ユーザが図書館まで移動する間、どのような歩調でどこに向かっているかを検出する。自宅から図書館までは、平坦な道で、特に際立った建物や風景もない。そのため、ユーザの歩調は、単調になる。環境解析部２３は、ユーザが平常状態であると判断する。提示情報生成部２４も環境解析部２３の判断に従いユーザの聴いている音楽を変更せず、通常の連続再生を行う。そして、位置特定部２１が図書館の到着を検出すると、提示情報生成部２４は、音楽コンテンツのボリュームをフェードアウトさせる。

提示情報生成部は、ユーザが図書館にいる間、音楽コンテンツの再生を停止する。そして、位置特定部２１がユーザの図書館からの退出を検出すると、提示情報生成部２４は、音楽コンテンツのボリュームをフェードインし、元のボリュームで音楽を再生させる。なお、ユーザが図書館に返却する本などを持っているときには、返却を促すようなメッセージを表示部１１に表示させる。逆に必要な本があるときには、本の題名や関連するキーワードなどを表示部１１に表示させる。このような警告メッセージは、予め、ユーザがスケジュールに入力してあるものとする。

位置特定部２１は、ユーザが図書館を退出し公園に向かって歩きだすと、川沿いの道を歩きはじめたことを検出し、歩行解析部２０はユーザの歩行テンポが下がったことを検出する。環境解析部２３は、この検出結果から、ユーザが気分よく、ゆっくり歩いていると判断する。提示情報生成部２４は、環境解析部２３の解析結果に従い、歩行テンポにあわせて音楽のテンポを下げたり、ユーザの歩行テンポにあった曲を選択する。上とは逆に、ユーザが川沿いの道を小走りで移動しているときには、ユーザの歩行動作に合わせてテンポの速い曲を選択したり、再生中の曲のテンポを上げたりする。

ユーザが公園に到着したとき、歩行動作が停止すると、環境解析部２３は、ユーザが公園の中で休憩していると判断する。提示情報生成部２４は、公園での休憩にふさわしい音楽、例えば、ヒーリングミュージックなどを再生する。また、ユーザが休憩しているときには、表示部１１にビデオやテレビ、メールや天気予報などを表示してもよい。

公園から友人の家に向かう道は、比較的緑の多いゆったりとした道である。このような道であるにも関わらず、ユーザの歩行テンポが速くなると、環境解析部２３は、ユーザが急いでいると判断する。提示情報生成部２４は、解析結果に従い、ユーザの歩行を早める曲、アップテンポな曲を再生したり、再生中の音楽のテンポを速くさせる。ユーザの移動方向に交通量が多い場所がある時には、「車に注意」などの警告を表示部１１に表示させたり、再生している曲にアラート音を挿入したりする。

友人の家に到着すると、提示情報生成部２４は、再生中の音楽をフェードアウトさせる。そして、友人の家にいる間は、音楽を停止する。提示情報生成部２４は、ユーザが友人の家を退出するときに、停止した音楽をフェードインさせ、停止前の状態で音楽を再生させる。

ユーザが友人の家を退出するときには、ユーザは一日のスケジュールを終わらせている。環境解析部２３は、ユーザがスケジュールを消化して帰路についていると解析する。提示情報生成部２４は、環境解析部２３の解析結果に従い、一日の終わりにふさわしい音楽を選択して再生する。また、帰宅時間が決められているときには、帰宅時間に間に合うように、アラート音を挿入したり、テンポの速い音楽を選択する。

以上説明したように、本発明を適用したコンテンツ再生装置１は、ユーザの歩行動作とユーザの位置とに適した情報をユーザに提示する。ユーザの歩行動作やユーザの位置に応じて情報が変化する。そのため、ジョギング、散歩など外出中に提示される音楽のエンターテインメント性を向上させることができる。

また、ユーザの気分やスケジュールに合わせて提示する情報を変化させるため、ユーザが快適になる情報を提示したり、ユーザがスケジュールに合った行動をするため情報を提示したりすることができる。

コンテンツ再生装置の構成を示すブロック図である。 コンテンツ再生装置のソフトウェア構成を示すブロック図である。 加速度センサ及びＧＰＳユニットの取り付け位置を示す図である。 加速度センサの出力例を示す図である。 汎用箔ひずみゲージの構成及び取り付け位置を示す図である。 汎用箔ひずみゲージの出力例を示す図である。 コンテンツ再生装置の動作を示すフローチャートである。 ユーザの移動経路を示す図である。

符号の説明

１ コンテンツ再生装置、２ 歩行センサ、３ ＧＰＳユニット、１１ 表示部、１２ ストレージ、１４ キー入力部、１６ 無線インターフェース、１７ ＣＰＵ、１８ ＲＯＭ、１９ ＲＡＭ、２０ 歩行解析部、２１ 位置特定部、２２ スケジュール入力部、２３ 環境解析部、２４ 提示情報生成部

Claims (2)

1. ユーザのスケジュール及び少なくとも位置に対応付けられたコンテンツの再生スケジュールの入力を受け付けるスケジュール入力手段と、
   ユーザの位置を検出する位置検出手段と、
   ユーザの体の動きを検出し、検出した信号からユーザの歩行動作を特定する動作検出手段と、
   上記ユーザのスケジュールと、上記再生スケジュールと、上記ユーザの位置と、上記ユーザの歩行動作とに基づいてユーザの心理的な状態又はユーザの周囲の環境を解析し、当該解析結果に基づいて情報を生成する情報生成手段と、
   上記生成した情報を提示する情報提示手段と
   を備えることを特徴する情報提示装置。
2. 上記コンテンツは、音楽コンテンツであって、
   上記情報生成手段は、上記ユーザのスケジュールと、上記再生スケジュールと、上記ユーザの位置と、上記ユーザの歩行動作とに基づいてユーザの心理的な状態又はユーザの周囲の環境を解析し、上記解析結果に基づいて上記音楽コンテンツのテンポ、曲調、音程、音色、強弱、音量のうち少なくとも１つを変化させることを特徴とする請求項１記載の情報提示装置。

Images