JP4595555B2 - コンテンツ再生装置およびコンテンツ再生方法 - Google Patents

Description

この発明は、音楽や映像などのコンテンツを再生する方法および装置に関する。

種々の機器の制御装置として用いられるコンピュータの小型化、高機能化が図られている。このようなコンピュータを音声や映像の再生装置に搭載することによって、日常生活において用いられる音声や映像の再生装置の高性能化も実現されている。そして、音声や映像の再生装置の高性能化が実現されることによって、再生対象の音声や映像などのコンテンツの楽しみ方の幅が広がっている。

例えば、ユーザーが意図的に再生ボタンや終了ボタンを押さなくても、室内でのユーザーの動きを感知して自動的にコンテンツの再生を開始するようにするＡＶ（Audio/Visual）装置や、再生するコンテンツに対してユーザーの動作に合わせて変化をつけたりするＡＶ装置やＤＪ（Disk Jockey）/ＶＪ（Video Jockey）ツールなどが考えられている。

また、後に記す特許文献１には、ユーザーの感情状態や心理状態をセンシングするようにし、これらの情報あるいはこれらの情報を解析することにより得られる情報から、適したコンテンツデータをユーザーに対して提示できるようにする技術が開示されている。

このように、ユーザーの動作を検出して、あるいは、ユーザーの生体情報に基づいて、再生すべきコンテンツを変化させたり、選択したりすることが考えられており、再生対象の音声や映像などのコンテンツの利用の仕方や楽しみ方の幅が広がっているのである。

なお、上述した特許文献１は、以下のとおりである。
特開２００４−２４６５３５号公報

ところで、ユーザーの歩行テンポに同期させて音楽の再生スピードを変えるようなポータブルオーディオ装置やフィットネスマシンなどを実現し、音声や映像などの利用の仕方や楽しみ方の幅を更に広げるようにしたいとする要求がある。これらの装置を実現する上で鍵となるのが、ユーザーの状態をどのようにセンシングし、コンテンツに反映させるかという技術である。

センシング方法の一つとして、加速度センサやカメラ画像、床に埋め込まれた圧力センサなどから、ユーザーの体動の特徴点（部屋に入ったタイミング、体を動かしたタイミング、足を踏み込むタイミングなど）を検出し、コンテンツの開始点やビートを合わせる方法が考えられる。これらの方法は場合によってはユーザーが感じるトリガータイミング（手を伸ばした瞬間や足を踏み込んだ瞬間など）とセンサ信号の特徴点（極大点など）とが一致しないこともあるため、センサ信号の特徴点の前後にコンテンツの再生タイミングを合わせなくてはならない場合があるなど、細かな調整が必要になることが多い。

しかしながら、センサから得られる信号の逐次処理を行い、トリガーを検出した後にコンテンツの再生方法を決定する場合、時間の遅れが発生して、ユーザーが自分の行動／行為と、再生されるコンテンツとの一体感を感じることができない場合があると考えられる。コンテンツとの同期感やリアルタイム応答性はエンターテインメント性において重要な役割を果たすものであり、ユーザーの動作に同期して音声や映像などのコンテンツを再生し、効果的に利用できるようにするためには、ユーザーの動作と再生されるコンテンツとの同期感や応答性をできるだけ良好にすることが重要な課題である。

以上のことにかんがみ、この発明は、ユーザーの動作／行動と再生対象のコンテンツの再生タイミングとを合わせることにより、同期感や応答性が良好になるようにコンテンツを再生して、効果的にコンテンツを利用できるようにする装置、方法を提供することを目的とする。

上記課題を解決するため、請求項１に記載の発明のコンテンツ再生装置は、
コンテンツを再生する再生処理手段と、
ユーザーの動作／行動／状態についての変化を検出する検出手段と、
前記検出手段からの検出出力に基づいて、前記ユーザーの動作／行動／状態についての変化のタイミングを予測する予測手段と、
再生対象の前記コンテンツに対応するタイミング情報により示されるタイミングと前記予測手段により予億された前記ユーザーの動作／行動／状態についての変化のタイミングとを一致させるようにして、前記コンテンツを再生するように前記再生処理手段を制御する制御手段と
を備えることを特徴とする。

この請求項１に記載の発明のコンテンツ再生装置によれば、コンテンツは再生処理手段によって再生するようにされるが、その一方で、検出手段によってユーザーの動作／行動／状態の変化を検出し、この検出結果に基づいて、予測手段によって、ユーザーの動作／行動／状態の変化のタイミング（例えば周期性）が予測される。

この予測手段により予測されるユーザーの動作／行動／状態の変化のタイミングと、再生対象のコンテンツをそのタイミング情報に応じて決まるタイミングとが同期するように、制御手段により再生処理手段が制御されることにより、コンテンツの再生処理のタイミングが制御するようにされる。

これにより、ユーザーの動作／行動と再生対象のコンテンツの再生タイミングとを合わせることができるようにされ、ユーザーの動作／行動に対して、同期感や応答性が良好となるようにコンテンツを再生して、再生されるコンテンツのエンターテイメント性を向上させるなどして、効果的にコンテンツを利用することができるようにされる。

この発明によれば、コンテンツを再生して利用するユーザーの体の動きのリズムや変化タイミングを予測し、当該ユーザーの体の動きのリズムや変化タイミングにコンテンツの再生タイミングを合わせることができる。これにより、音楽などのコンテンツを利用しながら体を動かすユーザーの気持ちよさや娯楽性を促進し、効果的にコンテンツを利用できるようにすることができる。

以下、図を参照しながら、この発明による装置、方法の一実施の形態について説明する。

［コンテンツ利用装置（記録再生装置）について］
図１は、この発明による装置、方法の一実施の形態が適用されたこの実施の形態のコンテンツ再生装置を説明するためのブロック図である。図１に示すように、この実施の形態のコンテンツ再生装置は、制御部１０と、出力部２０と、記憶部３０と、外部インターフェース（以下、外部Ｉ／Ｆと略称する。）４１と、入力インターフェース（以下、入力Ｉ／Ｆと略称する。）４２と、デジタルインターフェース（以下、デジタルＩ／Ｆと略称する。）４３と、無線インターフェース（以下、無線Ｉ／Ｆと略称する。）４４と、送受信アンテナ４５、センサ部５０とを備えたものである。

制御部１０は、ＣＰＵ（Central Processing Unit）１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３とが、ＣＰＵバス１４を通じて接続されて構成されたマイクロコンピュータであり、この実施の形態の記録再生装置の各部を制御するものである。

また、出力部２０は、音声デコーダ２１と、音声出力部２２と、映像デコーダ２３と、映像表示部２４とを備えたものである。音声出力部２２は、スピーカーであり、映像表示部２４は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode-Ray Tube）等の表示素子である。また、音声デコーダ２１は、再生対象の音声データから音声出力部２２に供給するアナログ音声信号を形成するものであり、映像デコーダ２３は、再生対象の映像データから映像表示部２４に供給するアナログ映像信号を形成するものである。

記憶部３０は、インターフェース（以下、Ｉ／Ｆと略称する。）３１と、記録媒体３２とを備えたものである。記録媒体３２としては、例えば、ハードディスク、光ディスク、光磁気ディスク、半導体メモリー、フレキシブルディスクなどの種々の記録媒体を用いることが可能である。

また、記録媒体３２として、例えば、複数のハードディスクを用いる構成としたり、複数の光ディスクを用いる構成としたりするなど、同種の記録媒体を複数用いるようにしたり、あるいは、ハードディスクと光ディスクとを用いる構成としたり、光ディスクと光磁気ディスクとを用いる構成としたりするなど、種類の異なる複数の記録媒体を用いる構成とすることが可能である。また、記録媒体３２は、内蔵するようにされたものとすることもできるし、着脱可能（交換可能）な態様とすることも可能である。

そして、記録媒体３２は、後述もするように、再生対象の音声データ、映像データ、ＡＶ（Audio/Visual）データ、プログラム、その他各種のコンテンツデータなどを記憶保持することができるものである。なお、ＡＶデータは、映像データと音声データとが同期を取って再生することができるようにされたものであり、例えば、映像などのコンテンツデータである。

また、記録媒体３２は、各コンテンツデータに対応するコンテンツ属性情報であって、コンテンツデータの種々の区切りの位置を示す区切り情報をも記憶保持する。この区切り情報は、各コンテンツデータに個別に設けられるものであり、コンテンツデータとペアで記録媒体に記録されて提供される他、後述もするように、インターネット上に設けられたサーバー装置などから外部Ｉ／Ｆ４１を通じてダウンロードするようにしたり、デジタルＩ／Ｆや無線Ｉ／Ｆ４３を通じて外部機器から提供を受けたり、コンテンツデータと共に、あるいは、コンテンツデータとは別個独立に取得するようにすることができるものである。

外部Ｉ／Ｆ４１は、上述もしたように、この実施の形態の記録再生装置においては、インターネット１００に接続するためのものである。したがって、この実施の形態の記録再生装置は、インターネット１００から音声データ、映像データ、ＡＶデータ、テキストデータ、その他の種々のコンテンツデータをダウンロードしてきて、Ｉ／Ｆ３１を通じて記録媒体３２に記憶保持させることができるようにしている。逆に、この実施の形態の記録再生装置から、目的とするサーバー装置に情報を送信して、当該情報を記憶保持させるようにすることも可能である。

入力Ｉ／Ｆ４２は、ユーザーからの操作入力を受け付けるキー操作部である。入力Ｉ／Ｆ４２を通じて受け付けられた操作入力は、電気信号に変換されて制御部１０に供給される。これにより、制御部１０は、ユーザーからの操作入力に応じて、この実施の形態の記録再生装置を制御することができるようにされる。

デジタルＩ／Ｆ４３は、例えば、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４、あるいは、ＵＳＢ（Universal Serial Bus）、あるいは、その他のデジタルインターフェースに準拠したものであり、専用線を通じて、他の電子機器に接続し、例えば、コンテンツデータや区切り情報などのデータの送受を行うことができるようにしている。

また、無線Ｉ／Ｆ４４、および、送受信アンテナ４５は、例えば、無線ＬＡＮなどに接続し、相互に情報の送受を行うことができる。また、この無線Ｉ／Ｆ４４、および、送受信アンテナ４５を通じて、コンテンツデータや区切り情報を無線ＬＡＮシステムから提供を受けることもできるようにしている。

そして、この実施の形態の記録再生装置においては、記憶部３０の記憶媒体３２にコンテンツデータが記憶保持されるとともに、記憶保持されているコンテンツデータに対応する区切り情報が取得されて記憶保持される。上述もしたように、コンテンツ属性情報である区切り情報は、外部Ｉ／Ｆ４１、デジタルＩ／Ｆ４３、無線Ｉ／Ｆ４４などを通じて外部から対応するコンテンツデータとは別個独立に取得することができるものである。

なお、各コンテンツデータと、これに対応する区切り情報とは、予め決められた識別情報によって対応付けることができるようにされている。また、目的とするコンテンツデータに対応する区切り情報は、各種の記録媒体を通じて提供を受けるようにすることも可能であるし、コンテンツデータのファイル内の別領域（別チャンク）に格納されて提供される場合もあり、このような場合であっても、区切り情報を正確に取得し、利用することが可能である。

また、この実施の形態の記録再生装置から、コンテンツデータや区切り情報を、外部Ｉ／Ｆ４１、デジタルＩ／Ｆ４３、無線Ｉ／Ｆ４４などを通じて他の機器へ伝送することもできるようにしている。

センサ部５０は、体動センサ５１と、体動エンコーダ５２と、環境センサ５３と、環境エンコーダ５４とを備えたものである。体動センサ５１は、例えば、歪みセンサ、加速度センサ、ショックセンサ、振動センサ、方位センサ、曲げセンサ、圧力センサ、画像センサ、焦電センサ、赤外線センサ、帯電位センサなどのユーザーの身体に取り付けられ、あるいは、ユーザーの近辺にあって、ユーザーの動きを検出し、これを電気信号に変換して取り込むことができるものである。

このほか、ユーザーの映像を撮像するビデオカメラなどでもよい。ビデオカメラで撮像されたビデオデータを解析することにより、ユーザーの動きを検出することができるからである。また、ＧＰＳ（Global Positioning System）も体動センサ５１として利用することが可能である。ユーザーの位置を正確に把握することができるので、ユーザーの移動の状態などを把握することができるからである。

ここでユーザーの動作とは、この例の記録再生装置の使用者であるユーザーの、歩行運動、体の上下運動、頭部の前後左右への振り運動、腕の振り運動、胴部の前後左右方向への振り運動、室内などの所定のエリアへの進入／退出、姿勢変化などである。細かくは、手の動き、体幹部の上下運動や前後左右運動、足の動き、手拍子、歩行時の足の踏み込みなどのユーザーの体の各部の種々の運動ももちろんユーザーの動作に含まれる。また、姿勢変化は、立つ、座る、寝るなどについてのユーザーの姿勢の状態の変化を意味する。

また、ＧＰＳによって把握可能な情報であるユーザーの位置や移動の状態、例えば、目的とする地点に到達したなどの情報もユーザーの動作を示すものである。また、ボタンやキーボード、打楽器型の専用インターフェースなどからのユーザーからの入力指示なども、ユーザーの動きの情報として用いることも可能である。

エンコーダ５２は、体動センサ５１からの検出データを制御部１０に提供する形式のデータに変換するものであり、体動センサ５１と、記録再生装置１０の制御部１０との間を接続するインターフェースの役割を有するものである。

また、環境センサ５３は、気温センサ、湿度センサ、風力センサ、明度センサなどのユーザーの置かれた環境に関する情報を検出して、これを電気信号として取り込むことができるものである。エンコーダ５４は、環境センサ５３からの検出データを制御部１０に提供する形式のデータに変換するものであり、環境センサ５３と、記録再生装置１０の制御部１０との間を接続するインターフェースの役割を有するものである。

そして、体動センサ５１、環境センサ５３からの検出出力（センサ信号）は、それぞれ対応するエンコーダ５２、エンコーダ５４を通じて、記録再生装置の制御部１０に入力される。そして、制御部１０は、詳しくは後述もするように、センサ部５０からのセンサ信号を考慮して、再生対象のコンテンツデータの再生制御を行うようにしている。

図２は、この実施の形態のコンテンツ再生装置について詳細に説明するためのブロック図である。この実施の形態のコンテンツ再生装置は、記録媒体３２と、４０番台の参照符号を付した各Ｉ／Ｆ部を除いた部分が再生部としての機能を実現する。

記録媒体３２には、コンテンツデータ記憶部と属性情報記憶部とを備え、コンテンツデータとその属性情報とを関連付けて記憶保持している。そして、制御部１０は、制御処理部１０Ａ、コンテンツデータのデコード部１０Ｂ、ミキサー及びエフェクト処理部１０Ｃとしての機能を実現すると共に、この例の場合には、ＲＡＭ１３が、再生履歴情報保持部としての機能を実現するようにしている。

そして、体動センサ５１からのセンサ信号は、生体情報取得部としてのエンコーダ５２を通じて制御部１０の制御処理部１０Ａに供給され、環境センサ５３からのセンサ信号は、周辺環境情報取得部としてのエンコーダ５４を通じて制御部１０の制御処理部１０１Ａに供給される。

一方、入力Ｉ／Ｆ４２を通じて受け付けた再生指示に応じたコンテンツデータは、制御部１０の制御処理部１０Ａからの再生指示に応じて、デコード回路３１１、属性情報取得部３１２、コンテンツデータ取得部３１３としての機能を実現するＩ／Ｆ３１を通じて読み出され、コンテンツ属性情報である区切り情報は制御部１０の制御処理部１０Ａに供給され、コンテンツデータは制御部１０のデコード部１０Ｂに供給される。

そして、制御部１０の制御処理部１０Ａは、体動センサ５１から順次に供給されるセンサ信号に基づいてユーザーの動作タイミング（動作の変化のタイミング）を予測し、この予測したユーザーの動作タイミングと、再生対象のコンテンツの目的とする区切り位置（区切りのタイミング）とを同期させるようにすることによって、再生対象のコンテンツの同期感や応答性を向上させるようにしている。

すなわち、この実施の形態のコンテンツ再生装置の制御処理部１０Ａは、体動センサ５１から順次に供給されるセンサ信号を解析することによって、ユーザーの動作タイミング（動作の変化のタイミング）を予測し、この動作タイミングと、再生対象のコンテンツの目的とする区切り位置とが同期するように当該コンテンツの再生処理のタイミングを制御することにより、ユーザーの動作タイミングと再生されるコンテンツの再生タイミングとが同期するようにしている。

なお、この実施の形態のコンテンツ再生装置においては、上述もしたように、環境センサ５３からのセンサ信号も制御処理部１０Ａに供給するようにされている。このため、環境センサ５３からのセンサ信号についても考慮して、再生対象のコンテンツの再生処理を制御することができるようにされる。例えば、環境センサ５３が気温センサである場合には、気温に応じて、再生対象のコンテンツの再生速度を調整するなどのことができるようにされる。

そして、制御部１０の制御処理部１０Ａは、デコード部１０Ｂ、ミキサー及びエフェクト処理部１０Ｃを制御し、再生対象のコンテンツデータの再生処理を行う。すなわち、再生対象のコンテンツデータは、デコード部１０Ｂにおいて、圧縮解凍されるなどの処理が施された後に、ミキサー及びエフェクト処理部１０Ｃに供給され、ここで制御処理部１０Ａからの制御信号に基づいて、ユーザーの動作タイミングと、区切り情報により示されるコンテンツの各区切りのタイミングとが同期するようにして再生タイミングがユーザーの動きの変化に同期するようにされる。

ミキサー及びエフェクト処理部１０Ｃからの音声信号は、音声出力装置を構成するデコーダ２１、音声出力部２２に供給されて再生音声が放音するようにされ、ミキサー及びエフェクト処理部１０Ｃから映像信号は、映像出力装置を構成するデコーダ２３、映像表示部２４に供給されて再生映像が映出するようにされる。

このように、図１、図２を用いて説明したように構成されるこの実施の形態のコンテンツ再生装置は、体動センサ５１からの検出出力に基づいて、ユーザーの動作タイミングを予測し、この予測したタイミングにコンテンツの再生タイミングを同期させるようにすることによって、再生されるコンテンツに対してユーザーが感じる同期感や応答性を向上させるようにすることができるようにしている。

なお、この発明におけるコンテンツは、音楽、音楽以外の音声、動画像、静止画像（グラフィックス、図形、文字を含む）、振動、照明光などの光、後述もする種々のフィットネスマシンにより可能となる運動など、人が鑑賞または感知し得るものを全て含むが、図１の例では音楽または映像である。

［コンテンツ再生装置の具体的な態様］
そして、図１、図２を用いて説明したように構成されるコンテンツ再生装置は、以下に説明するように、携帯型の態様にも、据え置き型の態様にも構成することが可能である。図３は、この実施の形態のコンテンツ再生装置を携帯型の態様で構成した場合の利用例について説明するための図であり、図４は、この実施の形態のコンテンツ再生装置を据え置き型の態様で構成した場合の利用例について説明するための図である。

まず、ユーザー１が歩行中に音楽を聴く場合について示すと、図３に示すように、体動センサ５１として歩行中のユーザー１に取り付けられる歩行センサによって、走行中のユーザー１の足の踏み込み（接地）タイミングが検出され、これが体動検出信号として、携帯型の態様とされたコンテンツ再生装置１００に供給するようにされている。

そして、上述もしたように、コンテンツ再生装置１００の制御部１０は、体動センサ５１から順次に供給されるユーザーの足の踏み込みタイミング（動作タイミング）の検出出力（センサ信号）を解析してユーザーの足の踏み込むタイミングを予測し、この予測したユーザーの足の踏み込みタイミングと、再生対象のコンテンツの所定の区切り情報が示すタイミング（例えば、楽曲の拍（ｂｅａｔ）または小節（ｍｅａｓｕｒｅ，ｂａｒ）のタイミングなど）とが同期するようにコンテンツの再生タイミングを制御し、再生されるコンテンツ（音楽）に対してユーザーが感じる同期感や応答性を向上させることができるようにしている。

なお、体動センサ５１は、後述もするがユーザーの脚、腕、頭などの所定の部位に付けて用いるものが利用可能である。また、図３に示した例の場合、音声出力装置２２としてヘッドフォンを用いる場合を示している。しかし、これに限るものではない。

例えば、ＬＣＤなどの映像表示装置２４を用いるようにし、コンテンツ再生装置１００において、映像コンテンツを再生するようにした場合においては、ユーザーの体動の変化タイミングと映像コンテンツの区切り情報によって示されるタイミングとを同期させるように映像コンテンツの再生を制御することももちろん可能である。

また、据え置き型の態様のコンテンツ再生装置の一例を示すと、図４に示すように、ＰＤＰ（Plasma Display Panel）やＬＣＤ（Liquid crystal Display）からなる表示画面の大きな映像表示部２４と、左右２チャンネルのスピーカーからなる音声出力部２３と、制御部１０などからなる処理装置部と、体動センサ５１を備えた構成のものを考えることができる。

この場合、体動センサ５１は、例えば、ビデオカメラや赤外線センサであり、画像を取り込んでその変化を検出するなどのことを行うことによりユーザーの動きを検出するようにするものである。体動センサ５１からのセンサ信号が処理装置部の制御部１０に供給される。

この場合においても、制御部１０は、体動センサ５１からのセンサ信号に基づいて、ユーザーの動作タイミングを予測し、この動作タイミングと再生対象のコンテンツデータに対応する区切り情報が示すタイミングとを同期させるように、当該コンテンツデータを再生制御できるようにされる。

このように、コンテンツ再生装置が図３に示したようなポータブル型音楽・映像再生装置や携帯電話の場合、歩行センサ、体動センサ、腕の振りセンサなどを利用する事によって、予測された歩行動作や体の動きの変化点にコンテンツの区切り（タイミング）を合わせるようにすることができ、再生されるコンテンツに対して同期感を向上させ、再生されるコンテンツのリアルタイムな応答性を良好にすることができる。

また、コンテンツ再生装置が図４に示したような室内の据え置き型のコンテンツ再生装置の場合、カメラ映像や、床に設置された圧力センサなどを利用する事によって、予測された歩行動作や体の動きの変化点にコンテンツの区切りを合わせるようにすることができ、再生されるコンテンツに対して同期感を向上させ、再生されるコンテンツのリアルタイムな応答性を良好にすることができる。

［コンテンツ再生装置の機能構成について］
上述のように、携帯型にも、据え置き型にも形成可能なこの実施の形態のコンテンツ再生装置１００の機能構成について説明する。図５に、図１の例のコンテンツ再生装置１００の機能構成を示す。体動検出部６１は、体動センサ５１およびエンコーダ５２によって構成され、ユーザーの体動、例えば、走行中の足の動きや、音楽を聴いているときの頭の動きを検出する。

動作／行動予測部６２は、ＣＰＵ１１、ＲＯＭ１１２およびＲＡＭ１３によって構成され、体動検出部６１からバス１４に取り込んだ体動検出データを分析することによって、ユーザーの体動の特徴点、周期またはリズム（テンポ）を予測する。

体動の特徴点は、体動の開始点（体を静止させている状態から動かし始める点）、終了点（体を動かしている状態から静止させる点）、極大点、極小点、最大ピーク点、または最小ピーク点のタイミングであり、具体的には、上記のような歩行中の足の踏み込みタイミングや、体を揺すっているときの揺れや振っているときの振りの折り返しタイミングなどである。

コンテンツタイミング調整部６３は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、および出力部２０によって構成され、動作／行動予測部６２からの予測結果と、コンテンツ素材読み出し部６４によって、コンテンツ素材／タイミング情報データベース６５から読み出されるコンテンツ素材およびこれに付随するタイミング情報に基づいて、リアルタイムにコンテンツを生成する。

コンテンツ素材読み出し部６４は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、Ｉ／Ｆ３１、外部Ｉ／Ｆ４１、デジタルＩ／Ｆ４３、無線Ｉ／Ｆ４４などによって構成され、コンテンツ素材／タイミング情報データベース６５は、コンテンツ素材データおよびタイミング情報が記録された記録媒体３２、またはコンテンツ素材データおよびタイミング情報の送信元のサーバーなどに設けられたデータベースである。

コンテンツ出力部６６は、コンテンツタイミング調整部６３によってタイミングが調整されて生成するようにされたコンテンツを出力するもので、音声出力部２２、映像表示部２４によって構成される。

コンテンツ素材は、最終的なコンテンツを生成するための素材であって、通常のコンテンツ（ＣＤやＤＶＤに記録された楽曲データや映像データ、またはＭＰ３によって圧縮された楽曲データなど）そのものでもよいが、小節単位（数小節）の短い楽曲や、シーン単位またはカット単位の短い映像などであれば、より好適である。

これらのコンテンツ素材は、それぞれのコンテンツ素材データに、拍タイミングやシーンチェンジタイミングなどのタイミングを示すタイミング情報等の区切り情報がメタ情報として付加されて、記録または送信される。ただし、コンテンツ素材の読み出しと同時にタイミング情報が生成されるようにしてもよい。

コンテンツ素材が小節単位の短い楽曲やシーン単位またはカット単位の短い映像などである場合には、それらコンテンツ素材を、時間的な前後関係を決めて、つなぎ合わせ、必要に応じてコンテンツ素材の再生時間長を伸縮することによって、最終的な一つのコンテンツをリアルタイムに生成する。

［ユーザーの動作の予測について］
次に、この実施の形態のコンテンツ再生装置１００の制御部１０において、体動センサ５１からの検出出力（センサ信号）に基づいて行う、ユーザーの動作タイミングの予測処理について説明する。なお、この実施の形態において、ユーザーの動作には、ユーザーが歩いている、手を上げた、頭を振っているなどのユーザーの動作全般、ユーザーが部屋に入ってきた、あるいは、部屋から出て行ったなどのユーザーの行動全般、ユーザーが横になった、立ち上がったなどのユーザーの状態全般が含まれる。

ここでは、ユーザーによって着用されるヘッドフォンに取り付けられた体動センサ５１として加速度センサを用いる場合について説明する。図６は、ヘッドフォンに取り付けられて利用される加速度センサからのセンサ出力（センサ波形）について説明するための図である。

この実施の形態のコンテンツ再生装置１００の制御部１０においては、加速度センサ５１から得られる過去の時系列信号を元に、未来の体動タイミングを予測する。この場合のユーザーの動作タイミングの周期の検出は、自己相関関数や周波数フーリエ変換（詳しくはＦＦＴ（Fast Fourier Transform））などの解析手法を用いることによって行うことが可能である。ここでは自己相関関数の解析手段を用いる場合について説明する。

図６において、現在時を０ｍｓｅｃ（０ミリ秒）とし、これよりも過去のセンサ信号から自己相関関数の波形をとる。図７は、図６に示したセンサ信号を自己相関関数によって変換することにより得られた自己相関波形である。この図７に示した自己相関波形のピーク間の時間間隔は、６００ｍｓｅｃである。したがって、当該角速度センサ５１のセンサ信号の周期、すなわち、ユーザーの動作タイミング（変化の周期）は、６００ｍｓｅｃであることがわかる。

このように、図６に示したセンサ波形は、６００ｍｓｅｃの周期をもっているので、現在より直近の過去６００ｍｓｅｃ分の波形Ａを予測波形とする。すなわち、図６に示したように、現在から６００ｍｓｅｃ分過去の波形Ａを、現在から６００ｍｓｅｃ分未来の予測波形とすることができる。

このように、この例の場合、未来においても、過去のセンサ信号の場合とほぼ同様に変化するものであることが予測できる。そして、６００ｍｓｅｃで周期が繰り返される場合、予測波形の中に極大値（踏み込みタイミング）が存在するので、次の踏み込みタイミングを予測することができる。

なお、ＦＦＴを用いることにより、時系列データである体動センサ５１からのセンサ信号を周波数成分のデータに変換し、元の時系列データの周期を検出するようにすることが可能である。もちろん、自己相関関数やＦＦＴの他の手法を用いて、センサ信号の周期性を検出し、これに基づいて、ユーザーの動作タイミングを予測するようにしてもよい。

また、自己相関関数などの手法を使わなくても波形予測ができる場合がある。センサ信号がある値になったあとに必ず一定の時間後に動作タイミングがあるような場合がこれに該当する。例えば、ＧＰＳ（Global Positioning System）から得られるユーザーの移動速度・位置・移動方向などの情報から、ある地点に到達する時刻を予測することができ、これに同期するように、コンテンツの再生を制御するようにすることも可能である。

［区切り情報の具体例について］
上述したように、体動センサ５１のセンサ信号を解析することにより得られるユーザーの動作タイミング（変化の周期）に同期させるようにするコンテンツデータについてのタイミングを提供する区切り情報の具体例について説明する。なお、上述もしたように、区切り情報は、対応するコンテンツデータのメタ情報であり、コンテンツデータ共に提供される場合もあれば、コンテンツデータとは別個に取得することもできるようにされる。また、場合によっては、コンテンツデータを解析することによってそのコンテンツデータに対応する区切り情報を生成することも可能である。

図８は、コンテンツデータが音楽コンテンツデータであり、その区切り情報が小節である場合の例を説明するための図である。すなわち、小節区切り位置を示す情報（小節区切り位置情報）が区切り情報Ｍ１である場合、上述もしたように、コンテンツデータが光ディスクに記録された音楽コンテンツデータなどの場合には、その区切り情報は、例えば、サブコードの時間情報や、光ディスクのセクタアドレス、クラスタアドレス、先頭からのバイト数やビット数、サンプル数、基準クロック数、当該音楽コンテンツデータがデータ圧縮されたものである場合には、先頭からの圧縮ブロックの数などで表現される。

バイト数やビット数、サンプル数、圧縮ブロックの数を用いる場合には、先頭からの数で表すものに限らず、直前の区切り情報からの差分として表現される場合もあるし、また、予め決められた所定の位置、例えば、最後尾の位置などを基準として、表すようにされる場合もある。このような区切り情報が、コンテンツデータと対応付けられて管理され利用することができるようにされる。

そして、この区切り情報を用いて、図８Ａに示す当該音楽コンテンツデータを区切ると、図８Ｂに示すように、データ上において小節ごとに区切ることができ、区切られた個々の小節を特定して、その個々の小節を独立したデータとして扱うことができるようにされる。この区切り情報としての小節区切り情報を用いることによって、各小節の演奏時間をユーザーの例えば歩いている脚の動きに同期させるなどのことができるようにされる。

なお、ここでは、音声コンテンツデータに対する区切り情報の一例として、小節区切りについて説明したが、区切り情報はこれに限るものではない。例えば、音楽コンテンツの複数小節毎の区切り情報、ビート情報、メロディの変化情報、さびの出だし、さびの終了、歌い出し、歌い終わりなどの音楽的に特徴のある変化点を示す区切り情報など、種々の区切り情報を用いるようにすることができる。また、コンテンツデータが映像データである場合には、映像のシーンチェンジ、カットチェンジなどの映像的に特徴のある変化点を示す情報等を用いることもできる。

また、区切り情報は、再生対象のコンテンツを形成するコンテンツデータがどのように提供されるか、また、コンテンツデータの種類などに応じて種々の態様で表現される。例えば、コンテンツデータが、光ディスクを媒体として提供されるものである場合には、上述もしたように、光ディスクのサブコード時間情報、光ディスクのセクタアドレスを用いて表現することが可能であるし、ハードディスクに記録されたものであれば、クラスタアドレスを用いて表現することが可能である。

また、コンテンツデータが映像データである場合には、ＴＶ／Ｖｉｄｅｏのタイムコードによって表現することも可能である。その他、コンテンツ先頭からのバイト数、サンプル数、ＧＯＰ（Group of Picture）単位、映像フレーム単位、サウンドフレーム単位、圧縮オーディオの圧縮ブロック単位、ならびにそれぞれの前の区切り情報からの差分量で表現することも可能である。

［コンテンツ素材の例について］
この実施の形態のコンテンツ再生装置においては、上述したように、体動センサ５１の検出出力からユーザーの動作タイミングを予測し、この動作タイミングと、上記の区切り情報（タイミング情報）をもとに、ユーザーの体動の特徴点、周期またはリズムに、コンテンツの再生タイミングを合わせるようにして、コンテンツを再生する。

上述したように、体動の特徴点は、体動の開始点、終了点、極大点、極小点、最大ピーク点、または最小ピーク点であり、具体的には、走行中の足の踏み込みタイミングや、体の揺れまたは振りの折り返しタイミングなどである。

音楽コンテンツの場合、コンテンツ再生にあたっては、例えば、図９に示すように、４つのコンテンツ素材Ａ，Ｂ，Ｃ，Ｄとして、それぞれ１小節分の楽曲を用い、これらコンテンツ素材Ａ，Ｂ，Ｃ，Ｄをつなぎ合わせて、一つの音楽コンテンツを生成する。

コンテンツ素材Ａ〜Ｄからなるフレーズは、ＭＩＤＩ（Music Instrument Digital Interface）でもＰＣＭ（Pulse Code Modulation）データでもよいが、ＭＩＤＩであれば、そのまま拍タイミング情報が得られるとともに、後述のコンテンツ生成にあたっての伸縮の計算量が少なくて済む。ＰＣＭデータである場合には、コンテンツ素材Ａ〜Ｄは純粋な音の波形であり、それとは別にあらかじめ拍タイミング情報が生成され、コンテンツ素材Ａ〜Ｄとともに記録または送信される。

ただし、拍タイミング情報は、コンテンツ素材の再生直前にコンテンツ素材の波形から計算して求めることもできる。その計算方法としては、参考文献１（ＰＤＦファイルとして、Ｍａｓａｔａｋａ Ｇｏｔｏ：Ａｎ Ａｕｄｉｏ−ｂａｓｅｄ Ｒｅａｌ−ｔｉｍｅ Ｂｅａｔ Ｔｒａｃｋｉｎｇ Ｓｙｓｔｅｍ ｆｏｒ Ｍｕｓｉｃ Ｗｉｔｈ ｏｒ Ｗｉｔｈｏｕｔ Ｄｒｕｍ−ｓｏｕｎｄｓ，Ｊｏｕｒｎａｌ ｏｆ Ｎｅｗ Ｍｕｓｉｃ Ｒｅｓｅａｒｃｈ，Ｖｏｌ．３０，Ｎｏ．２，ｐｐ．１５９−１７１，Ｊｕｎｅ２００１）または参考文献２（書籍として、後藤真孝：拍節認識（ビートトラッキング），ｂｉｔ別冊，コンピュータと音楽の世界…基礎からフロンティアまで…，ｐｐ．１００−１１６，共立出版，Ａｕｇｕｓｔ１９９８）に記載の方法を用いることができる。

以下に、図９に示すようなコンテンツ素材Ａ，Ｂ，Ｃ，Ｄをつなぎ合わせて一つの音楽コンテンツを生成する場合の例を示す。コンテンツ素材Ａ，Ｂ，Ｃ，Ｄは、全て１小節分で、同じ時間Ｔｍの長さを持つものとする。

＜第１の例＞
図１０に、歩行テンポにコンテンツのタイミングを合わせる方法の第１の例を示す。この例は、歩行テンポが一定の場合に適した方法で、コンテンツ素材を伸縮して各コンテンツ素材の開始タイミングを踏み込みタイミングに合わせるものである。

具体的に、図９の例では各小節Ａ〜Ｄの先頭に拍があるので、４歩ごとに各小節Ａ〜Ｄの先頭を踏み込みタイミングに合わせる。小節を合わせる歩数は４歩でなくてもよいが、例えば、多くのマーチ（行進曲）は、テンポが１２０すなわち、１拍＝１歩＝０．５秒に対応し、４歩（４拍）で１小節になる。そのため、小節を合わせる歩数を４歩とすることによって、コンテンツ素材を大きく伸縮しなくても、各小節Ａ〜Ｄの先頭を踏み込みタイミングに合わせることができる。また、ここではコンテンツ素材の再生順序は、A→B→C→D→A→B…の順で行うものとする。

この例では、図１０に示すように、時点ｔ０でユーザーがコンテンツ再生開始を指示することによって、まず、１番目の小節Ａを、そのまま、すなわち時間Ｔｍの長さで再生する。 次に、コンテンツ再生開始時点ｔ０の後に最初に検出された踏み込みを１歩目として５歩目の踏み込みが検出されたら、１歩目から５歩目までの４歩分の時間Ｔ１を計算する。

次に、１番目の小節Ａの再生終了時点ｔａと５歩目の踏み込みが検出された時点との間の時間Ｄ１を計算して、時間Ｔ１と時間Ｄ１との差分（Ｔ１−Ｄ１）を求め、その差分（Ｔ１−Ｄ１）を２番目の小節Ｂの再生時間長とするように、小節Ｂを（Ｔ１−Ｄ１）／Ｔｍ倍に伸縮して再生する。

図１０において、５歩目の踏み込みが検出された時点の後に１番目の小節Ａの再生が終了し、Ｄ１＞０で、差分（Ｔ１−Ｄ１）が時間Ｔ１および時間Ｔｍより短く、（Ｔ１−Ｄ１）／Ｔｍ＜１で、小節Ｂが圧縮されて再生される場合である。

逆に５歩目の踏み込みが検出される前に１番目の小節Ａの再生が終了した場合には、その時点で再度、小節Ａの再生を開始し、５歩目の踏み込みが検出された時点で、小節Ａの再生を中止する。この場合には、Ｄ１＜０で、差分（Ｔ１−Ｄ１）が時間Ｔ１より長くなり、さらには時間Ｔｍより長くなる可能性がある。このように差分（Ｔ１−Ｄ１）が時間Ｔｍより長く、（Ｔ１−Ｄ１）／Ｔｍ＞１であるときには、小節Ｂが伸長されて再生される。

以下同様に、差分（Ｔｎ−Ｄｎ）〔ｎ＝１，２，３，４…〕を次の（ｎ＋１）番目の小節の再生時間長とするように、各小節を順次再生する。４番目の小節Ｄを再生したら、１番目の小節Ａに戻って再生を繰り返す。

図１０のように歩行テンポが変化しない場合には、Ｔ１＝Ｔ２＝Ｔ３＝Ｔ４…であり、Ｄ１を除いてＤｎ＝０となって、小節の先頭が４歩ごとに踏み込みタイミングに一致するようになる。

しかも、この例では、コンテンツ素材である小節を伸縮して再生するので、楽曲としての連続性を保つことができる。

＜第２の例＞
図１１に、歩行テンポにコンテンツのタイミングを合わせる方法の第２の例を示す。この例は、歩行テンポが大きく変化する場合に適した方法で、コンテンツ素材を伸縮することなく、各コンテンツ素材の開始タイミングを強制的に踏み込みタイミングに合わせるものである。

具体的に、図１１の例では各小節Ａ〜Ｄの先頭に拍があるので、図１０の例と同様に、４歩ごとに各小節Ａ〜Ｄの先頭を踏み込みタイミングに合わせる。この例では、時点ｔ０でユーザーがコンテンツ再生開始を指示したら、その直後の最初の（１歩目の）踏み込みが検出された時点ｔ１で小節Ａの再生を開始し、小節Ａを時間Ｔｍの長さで再生する。

図示するように、１歩目から５歩目までの時間が時間Ｔｍより長く、５歩目の踏み込みが検出される前に小節Ａの再生が終了したら、その時点ｔ２で再度、小節Ａの再生を開始し、５歩目の踏み込みが検出された時点ｔ３で小節Ａの再生を中止して、直ちに小節Ｂの再生を開始する。

逆に１歩目から５歩目までの時間が時間Ｔｍより短く、小節Ａの再生が終了する前に５歩目の踏み込みが検出された場合には、その時点で小節Ａの再生を中止して、直ちに小節Ｂの再生を開始する。

小節Ｂも、伸縮することなく、９歩目の踏み込みが検出される時点まで再生する。すなわち、図示するように、５歩目から９歩目までの時間が時間Ｔｍより短く、小節Ｂの再生が終了する前に９歩目の踏み込みが検出されたら、その時点で小節Ｂの再生を中止して、直ちに小節Ｃの再生を開始し、逆に５歩目から９歩目までの時間が時間Ｔｍより長く、９歩目の踏み込みが検出される前に小節Ｂの再生が終了したら、その時点で再度、小節Ｂの再生を開始し、９歩目の踏み込みが検出された時点で小節Ｂの再生を中止して、直ちに小節Ｃの再生を開始する。

以下同様に、各小節を伸縮することなく順次再生する。４番目の小節Ｄを再生したら、１番目の小節Ａに戻って再生を繰り返す。

図１１は、歩行テンポが漸次速くなる場合で、２番目以降は各小節が最後まで再生されない場合である。

この例では、各小節のつなぎ目部分で楽曲としての連続性が得られなくなるが、つなぎ目部分で前後の小節をフェードアウト・フェードインすることによって、違和感を軽減することができる。コンテンツ素材がつなぎ目の連続性を保持する必要のない短い音（ドラムなどの単音など）であれば、なお好適である。

［コンテンツ素材が映像データである場合の例］
上述した第１、第２の例は、コンテンツが音楽（楽曲）の場合であるが、コンテンツが動画像または静止画像である場合にも、そのタイミングをユーザーの体動に合わせるように動画像または静止画像を再生すると、好適である。

具体的に、動画像の場合には、動画像のシーンチェンジまたはカットチェンジのタイミングを、ユーザーの体の揺れまたは振りの折り返しタイミングに合わせるようにする。この場合、コンテンツ素材としては、１シーン単位または１カット単位の動画像を用いる。

また、静止画像の場合には、例えば、スライドショー表示のように複数の静止画像を順次再生する場合に、一の静止画像から次の静止画像に切り替えるタイミングを、ユーザーの体の揺れまたは振りの折り返しタイミングに合わせるようにする。この場合、コンテンツ素材としては、一枚単位（ファイル単位）の静止画像を用いる。

コンテンツデータが映像データである場合の例を示す。図１２は、映像コンテンツの切り替えタイミングをユーザーの予測動作に合わせるようにする場合の例である。図１２に示す例の場合には、図１２Ａにおいてｔ１、ｔ２、ｔ３、…が示すように、ユーザーの予測された動作タイミング、すなわち、ユーザーの体の周期的な動き（頭の動きや手の動きなど）を検出して、そのタイミングに図１２に示すように、映像コンテンツＧ１（１）、Ｇ１（２）、Ｇ１（３）、…のように、動画像のシーンチェンジまたはカットチェンジのタイミングを合わせ込むようにしたり、静止画像を切り替えて表示するようにしたりすることにより、ユーザーの動作タイミングに映像コンテンツの再生タイミングを合わせ込むようにすることができる。

［音楽、映像以外の他のコンテンツの場合］
さらに、コンテンツが振動や光である場合にも、この発明を適用することができる。すなわち、コンテンツが振動である場合には、体動センサの検出出力に基づいて予測される、例えば、ユーザーの体の揺れまたは振りの折り返しタイミングに合わせて、振動の周波数（周期）や強度（振幅）の変化タイミングを合わせこむようにする。この場合、コンテンツ素材としては、ある振動パターンの振動を発生させるデータを用いる。

また、コンテンツが光である場合には、体動センサの検出出力に基づいて予測される、例えば、ユーザーの体の揺れまたは振りの折り返しタイミングに合わせて、光の色（波長）や明度（照度）の変化を合わせ込むようにする。この場合、コンテンツ素材としては、ある色や明度の光を発生させるデータを用いる。

また、コンテンツが、例えば時間の進行に伴って駆動速度が変化するようにされるランニングマシンや時間の進行に伴ってかけられる力が変化するようにされる筋力トレーニングマシンなどのいわゆるフィットネスマシンである場合には、体動センサの検出出力に基づいて予測されるユーザーの動作タイミング（動作の変化のタイミング）に対して、フィットネスマシンの駆動速度の変化のタイミングやかけられる力の変化のタイミングなどの駆動制御のタイミング（再生制御のタイミング）を合わせ込むようにする。

この場合、コンテンツ素材としては、ランニングマシンや筋力トレーニングマシンなどのフィットネスマシンの駆動制御データを用いる。また、フィットネスマシンの駆動制御のタイミングは、ユーザーに対して与える付加が、強くなる方向への変化のタイミングと弱くなる方向への変化のタイミングとの両方を含む。

このように、再生対象のコンテンツデータは、音声データ、映像データ、ＡＶデータのほか、振動、光、フィットネスマシンの駆動制御データなど、種々のアクチュエータ（駆動装置）を駆動させるようにするための制御用データなどが再生対象のコンテンツである場合にもこの発明を適用することが可能である。

更に、コンサートホールにおけるレーザ照明をコンテンツとして位置付け、演奏家や観客の予測される動作タイミングに、レーザ照明の変化を同期させるようにしたり、あるいは、ミラーボールの動きをコンテンツとして位置付け、演奏家や観客の予測される動作タイミングに、ミラーボールの回転動作などを同期させるようにしたり、いわゆるコンピュータゲームの進行などをプレーヤの予測される動作タイミングに同期させるようにしたりするなど、種々の態様の制御が可能である。

また、上述のように、コンサートホールにおけるレーザ照明やミラーボールの動作の制御は、レーザ照明のアクチュエータ、ミラーボールのアクチュエータを制御することにより実現される。同様に、ロボットの動作など、ユーザーが知覚可能な種々のものを駆動させるアクチュエータを制御することにより、ユーザーの予測される動作タイミングにそれらの動作を同期させるようにすることが可能であり、種々のものを駆動させる種々のアクチュエータを制御することにより、ユーザーの予測される動作タイミングに対して、アクチュエータによって駆動されるものの動作のタイミングを合わせ込むことが可能である。

［コンテンツ再生装置におけるコンテンツ再生処理について］
次に、上述した実施の形態のコンテンツ再生装置１００およびこの発明が適用される種々のコンテンツ再生装置においてのコンテンツ再生処理について、図１３のフローチャートを用いて説明する。なお、ここでは、説明を簡単にするため、図１３に示すフローチャートに示す処理は、図１、図２を用いて説明したこの実施の形態のコンテンツ再生装置１００において実行されるものとして説明する。

図１３に示す処理は、コンテンツ再生装置に電源が投入された場合に、コンテンツ再生装置１００の制御部１０において実行される。電源が投入されると、コンテンツ再生装置１００の制御部１０は、入力Ｉ／Ｆ４２を通じてユーザーからのコンテンツ再生指示入力を受け付けるようにする（ステップＳ１０１）。

ステップＳ１０１において、ユーザーからのコンテンツ再生指示を受け付けると、制御部１０は、体動センサ５１、デコーダ５２を通じて体動センサ５１からの検出出力（センサ信号）を受け付けるようにし、ユーザーの体動のセンシング（検出処理）を開始する（ステップＳ１０２）。

そして、制御部１０は、体動センサ５１、デコーダ５２を通じて順次に供給される体動センサ５１からの検出出力を受け付けて、ユーザーの動作波形の予測を行って、動作の変化のタイミング（動作タイミング）を予測する（ステップＳ１０３）。制御部１０は、ステップＳ１０３においての予測結果に基づいて、予測波形の中に所定の周期の動作タイミングが存在するか否かを判断する（ステップＳ１０４）。

ステップＳ１０４の判断処理において、予測波形の中に動作タイミングが存在していないと判断したときには、ステップＳ１０３からの処理を繰り返す。またステップＳ１０４の判断処理において、予測波形の中に動作タイミングが存在していると判断したときには、予測した動作タイミングの時刻になったか否かを判断する（ステップＳ１０５）。

ステップＳ１０５の判断処理において、予測した動作タイミングの時刻が到来していないと判断したときには、ステップＳ１０５からの処理を繰り返し、予測した動作タイミングの時刻の到来を待つ。ステップＳ１０５の判断処理において、予測した動作タイミングの時刻が到来したと判断したときには、当該予測した動作タイミングに対して、再生対象のコンテンツの区切り情報により特定される所定のタイミングが同期するように再生タイミングを制御するようにしてコンテンツを再生する（ステップＳ１０６）。

そして、コンテンツの再生が終了したか否かを判断し（ステップＳ１０７）、終了していないと判断したときには、ステップＳ１０３からの処理を繰り返すことにより、上述のように、ユーザーの動作状態をセンシングしながらユーザーの動作タイミングを予測し、これにコンテンツの再生タイミングを合わせ込む処理を繰り返す。ステップＳ１０７の判断処理において、コンテンツの再生が終了したと判断したときには、この図１３に示す処理を終了する。

このように、この実施の形態のコンテンツ再生装置１００およびこの発明が適用されるコンテンツ再生装置においては、ユーザー（利用者）の動作状況を体動センサを通じてセンシングしてユーザーの動作タイミングを予測し、これに再生対象の再生タイミングを合わせ込むことによって、再生されるコンテンツに対しする同期感や応答性を向上させるようにすることができる。これによって、再生対象のコンテンツのより有効な活用が図られることになる。

［体動センサの具体例について］
上述もしたように、ユーザーの動作の状況を検出するための体動センサ５１としては種々のものが利用可能である。ここでは、体動センサの具体例のいくつかについて説明する。図１４に、靴３の踵部分の内側に歩行センサ６を配置する場合を示す。この場合の歩行センサ（ステップセンサ）６としては、歪みセンサ、加速度センサ、曲げセンサ、圧力センサ、測距センサ、傾斜センサ、磁気センサ、電流センサ、帯電位センサ、静電容量センサ、電磁誘導センサなどを用いることができる。マイクロフォンで収音することによって、足の踏み込みタイミングを検出することも可能である。

以上の例は、歩行を検出し、足の踏み込みタイミングを検出する場合であるが、頭や手の動きを検出し、頭や手の揺れや振りの折り返しタイミングを検出する場合などには、以下のように構成することができる。

例えば、頭の動きを検出し、頭の揺れの折り返しタイミングを検出する場合には、図１５に示すように、頭部に装着するヘッドフォンに加速度センサを取り付ければよい。加速度センサにより歩行を検出するには、センサ信号の自己相関を計算すればよい。ヘッドフォンの他にも、携帯型の装置であれば本体に加速度センサを取り付けることによってユーザーの体の動きを検出することができる。ハードディスクを使用した携帯型音楽再生装置には多くの場合落下検出用の加速度センサが搭載されており、そのセンサ出力を利用することができる。

図１５（Ａ）は、頭上型ヘッドフォンの、左右のスピーカー部８１，８２を連結するヘッドバンド部８３に、加速度センサ７を取り付ける場合であり、図１５（Ｂ）は、ネックバンド型ヘッドフォンの、左右のスピーカー部８４，８５を連結するネックバンド部８６に、加速度センサ７を取り付ける場合であり、図１５（Ｃ）は、インナーイヤー型ヘッドフォンの、左右の耳穴に挿入されるスピーカー部８７，８８に、加速度センサ７ａ，７ｂを取り付ける場合である。

また、手の動きを検出し、手の振りの折り返しタイミングを検出する場合には、図１６に示すように、手首に腕時計型の加速度センサ８を装着するようにすればよい。

体動センサは、検出する体動の態様に応じて、上述した足、頭、首、手のほか、ふくらはぎ、膝、腿、腰、体幹部、上腕、肘などに取り付けることができ、足についても、踵のほか、足の指、足の甲、足首などに取り付けることができ、手についても、手首のほか、手の指、手の甲などに取り付けることができる。また、体動センサは、靴などのようにユーザーが装着または携帯する物品に取り付けてもよい。

このように、この実施の形態のコンテンツ再生装置においては、センサ情報からユーザーの体動や行動タイミングを予測し、予測タイミングに合わせてコンテンツを再生する。これにより、ユーザーの体の動きや行動に対して、コンテンツの区切りのタイミングを正確に合わせることができ、コンテンツを再生して利用するユーザーに対して、より高揚感やエンターテインメント性を強めることができる。

なお、再生対象のコンテンツデータは、データ圧縮されていてもよいし、非圧縮のままであってもよい。データ圧縮されている場合には、再生時において圧縮解凍処理（デコード処理）を行うようにすればよい。

また、再生対象のコンテンツデータは、例えばＣＤやＤＶＤなどに記録されて提供されるものの他、インターネットなどのネットワークを通じて提供されるもの、無線Ｉ／Ｆを通じて提供されるもの、外部Ｉ／Ｆを通じて外部装置から提供されるものなどを利用することができるようにされている。

このため、各コンテンツデータに対応するメタ情報である区切り情報は、再生対象の前記コンテンツを形成するコンテンツデータと同一ないしは異なる記録媒体に記録されて提供される場合もあり、主に制御部１０とＩ／Ｆ３２、あるいは、制御部１０とデジタルＩ／Ｆ４３などが区切り情報を取得する取得手段としての機能を実現する。

また、各コンテンツデータに対応するメタ情報である区切り情報は、インターネットや外部機器などから提供されるものを用いるようにしたりすることができる。この場合、制御部１０と外部Ｉ／Ｆ４１、制御部１０と無線Ｉ／Ｆ４４などが区切り情報を取得する取得手段としての機能を実現する。

また、コンテンツデータとこれに対応する区切り情報とは、別々に提供されることも考慮して、例えば、所定の識別情報によって関連付けられるようにされる。

また、タイミング制御は コンテンツに対応する区切り情報をタイミング情報として用いて行うものとして説明したが、これに限るものではない。再生対象のコンテンツデータに対応するメタ情報である区切り情報がない場合であっても、コンテンツの再生開始／停止タイミングを、ユーザーの動作タイミングに合わせるようにすることによって、再生されるコンテンツに対して同期感を向上させ、再生されるコンテンツのリアルタイムな応答性を良好にすることができる。この場合、主に制御部１０がコンテンツデータに対する区切り情報を生成する生成手段としての機能を実現することになる。

また、コンテンツデータと区切り情報とは、同じ記録媒体に記録されて提供するようにされる場合であっても、また、別々の記録媒体に適用される場合であっても、更に、種々のネットワークや外部機器から、同時にあるいは別個に提供される場合であってももちろんよく、それらを記録媒体３２に記録保持して利用することが可能である。

また、コンテンツデータと区切り情報とは、同じ記録媒体に記録されて提供される場合において、それぞれが別ファイルとして提供される場合のみならず、同一ファイル内にそれぞれ異なる領域（チャンク）に記憶するようにされて提供される場合にも、例えば制御部１０がそのそれぞれを分離して読み出すことにより、そのそれぞれを独立して利用することができる。

また、コンテンツデータから例えば制御部１０の機能により、当該コンテンツデータの区切り情報を生成するようにすることももちろん可能である。この場合の生成方式は種々の方式を用いることが可能である。例えば、コンテンツデータが音声データである場合には、拍やリズムに基づいて区切り情報を生成したり、映像データの場合には画像分析を行うことにより、シーンチェンジ点を検出し、これを用いて区切り情報を生成したりするなどのことが可能である。

また、例えば、記録媒体３２に記憶保持された各コンテンツデータに対する区切り情報は、例えば、入力Ｉ／Ｆ４２を通じて受け付けるユーザーからの指示入力に応じて、制御部１０の機能により、追加したり、変更したり、削除したりすることもできるようにされる。

この発明による装置、方法の一実施の形態が適用されたコンテンツ再生装置を説明するためのブロック図である。 図１に示したコンテンツ再生装置について詳細に説明するためのブロック図である。 図１に示したコンテンツ再生装置を携帯型の態様で構成した場合の利用例について説明するための図である。 図１に示したコンテンツ再生装置を据え置き型の態様で構成した場合の利用例について説明するための図である。 図１に示したコンテンツ再生装置１００の機能構成を説明するためのブロック図である。 ヘッドフォンに取り付けられて利用される加速度センサからのセンサ出力（センサ波形）について説明するための図である。 図６に示したセンサ信号を自己相関関数によって変換することにより得られた自己相関波形である。 コンテンツデータが音楽コンテンツデータであり、その区切り情報が小節である場合の例を説明するための図である。 コンテンツ素材として小節単位の短い楽曲を用いる場合を示す図である。 音楽コンテンツの再生方法の第１の例を示す図である。 音楽コンテンツの再生方法の第２の例を示す図である。 映像コンテンツの切り替えタイミングをユーザーの予測動作に合わせるようにする場合の例を示す図である。 コンテンツ再生装置においてのコンテンツ再生処理について説明するためのフローチャートである。 歩行センサの別の配置例を示す図である。 頭の動きを検出する場合の一例を示す図である。 手の動きを検出する場合の一例を示す図である。

符号の説明

１００…コンテンツ再生装置、１０…制御部、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…ＣＰＵバス、２０…出力部、２１…デコーダ、２２…音声出力部、２３…デコーダ、２４…映像表示部、３０…記憶部、３１…インターフェース、３２…記録媒体、４１…外部インターフェース、４２…入力インターフェース、４３…デジタルインターフェース、４４…無線インターフェース、４５…送受信アンテナ、４６…インターネット

Claims (28)

1. コンテンツを再生する再生処理手段と、
   ユーザーの体動から認識されるユーザーの動作／行動／状態を検出する検出手段と、
   前記検出手段からの検出出力に基づいて得られる前記ユーザーの動作／行動／状態の変化を表す時系列データから体動の特徴点の周期性を検出し、前記ユーザーの動作／行動／状態が変化するタイミングを予測する予測手段と、
   再生対象の前記コンテンツにおける特徴のある変化点を表すタイミング情報により示されるタイミングと前記予測手段により予測された前記ユーザーの動作／行動／状態についての変化のタイミングとを一致させるようにして、前記コンテンツを再生するように前記再生処理手段を制御する制御手段と
   を備えることを特徴とするコンテンツ再生装置。
2. 請求項１に記載のコンテンツ再生装置であって、
   前記検出手段は、加速度センサ、ショックセンサ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、方位センサ、曲げセンサ、圧力センサ、画像センサ、焦電センサ、赤外線センサ、帯電位センサ、歪みセンサ、測距センサ、傾斜センサ、磁気センサ、電流センサ、静電容量センサ、電磁誘導センサの内の少なくとも１つを用いるものであることを特徴とするコンテンツ再生装置。
3. 請求項１に記載のコンテンツ再生装置であって、
   前記予測手段は、自己相関関数ないしは周波数フーリエ変換を用いて予測処理を行うことを特徴とするコンテンツ再生装置。
4. 請求項１に記載のコンテンツ再生装置であって、
   再生対象の前記コンテンツは、音声、映像、光、アクチュエータによる物理的動作であることを特徴とするコンテンツ再生装置。
5. 請求項１に記載のコンテンツ再生装置であって、
   前記タイミング情報は、再生対象の前記コンテンツを形成するコンテンツデータと同一ないしは異なる記録媒体に記録されて提供されるものであり、
   前記記録媒体から再生態様のコンテンツに対応する前記タイミング情報を取得する取得手段を備えることを特徴とするコンテンツ再生装置。
6. 請求項１に記載のコンテンツ再生装置であって、
   前記タイミング情報は、再生対象の前記コンテンツを形成するコンテンツデータから生成することができるものであり、
   前記コンテンツデータを解析することにより、前記タイミング情報を生成する生成手段を備えることを特徴とするコンテンツ再生装置。
7. 請求項１に記載のコンテンツ再生装置であって、
   前記タイミング情報は、再生対象の前記コンテンツを形成するコンテンツデータと同じファイルの別領域に記録されて提供されるものであり、
   前記コンテンツデータが記録された前記ファイルの当該別領域から前記タイミング情報を取得する取得手段を備えることを特徴とするコンテンツ再生装置。
8. 請求項１に記載のコンテンツ再生装置であって、
   前記タイミング情報は、ネットワーク上のサーバー装置に蓄積するようにされており、
   前記ネットワークを通じて前記サーバー装置に接続し、所定の識別子を用いて、再生対象の前記コンテンツに対応する前記タイミング情報を取得する接続取得手段を備えることを特徴とするコンテンツ再生装置。
9. 請求項１、請求項２、請求項３、請求項４、請求項５、請求項６、請求項７または請求項８に記載のコンテンツ再生装置であって、
   再生対象の前記コンテンツは、音楽コンテンツであり、
   前記タイミング情報は、前記音楽コンテンツの１小節ないしは複数小節の区切り情報、ビート情報、メロディの変化情報、さびの出だし、さびの終了、歌い出し、歌い終わりなどの音楽的に特徴のある変化点であることを特徴とするコンテンツ再生装置。
10. 請求項１、請求項２、請求項３、請求項４、請求項５、請求項６、請求項７または請求項８に記載のコンテンツ再生装置であって、
    前記タイミング情報は、再生対象のコンテンツを形成するコンテンツデータの提供手段、あるいは、当該コンテンツデータの種類に応じて用いられるものであり、
    光ディスクのサブコード時間情報、光ディスクのセクタアドレス、クラスタアドレス、ＴＶ／ＶＩＤＥＯのタイムコード、コンテンツ先頭からのバイト数、サンプル数、基準クロック数、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）単位、映像フレーム単位、サウンドフレーム単位、圧縮オーディオの圧縮ブロック単位、ならびにそれぞれの前の区切り情報からの差分量で表現されることを特徴とするコンテンツ再生装置。
11. 請求項１、請求項２、請求項３、請求項４、請求項５、請求項６、請求項７または請求項８に記載のコンテンツ再生装置であって、
    再生対象の前記コンテンツは、映像コンテンツであり、
    前記タイミング情報は、映像のシーンチェンジ、カットチェンジなどの映像的に特徴のある変化点であることを特徴とするコンテンツ再生装置。
12. 請求項１、請求項２、請求項３、請求項４、請求項５、請求項６、請求項７または請求項８に記載のコンテンツ再生装置であって、
    前記タイミング情報を記憶保持する書き換え可能な記録媒体と、
    前記記録媒体に記録された前記タイミング情報の変更、削除の指示入力、あるいは、前記記録媒体へのタイミング情報の追加の指示入力を受け付ける受付手段と、
    前記受付手段を通じて受け付けた前記指示入力に応じて、前記記録媒体に記録されている前記タイミング情報の変更、削除、あるいは、前記記録媒体へのタイミング情報の追加を行う更新手段と
    を備えることを特徴とするコンテンツ再生装置。
13. 請求項１に記載のコンテンツ再生装置であって、
    前記制御手段は、前記ユーザーの動作／行動／状態についての変化のタイミングが、再生対象の前記コンテンツの再生開始タイミングに合うように制御することを特徴とするコンテンツ再生装置。
14. 請求項１に記載のコンテンツ再生装置であって、
    前記ユーザーの動作／行動／状態についての変化は、歩行運動、体の上下運動、頭の前後左右方向への振り運動、腕の振り運動、胴部の前後左右方向への振り運動、室内への進入／退出、姿勢の変化であり、
    前記検出手段は、ユーザーの目的とする動作／行動／状態についての１つ以上の変化を検出することができるものであることを特徴とするコンテンツ再生装置。
15. ユーザーの体動から認識されるユーザーの動作／行動／状態を検出する検出ステップと、
    前記検出ステップにおいて検出した検出出力に基づいて得られる前記ユーザーの動作／行動／状態の変化を表す時系列データから体動の特徴点の周期性を検出し、前記ユーザーの動作／行動／状態が変化するタイミングを予測する予測ステップと、
    再生対象の前記コンテンツにおける特徴のある変化点を表すタイミング情報により示されるタイミングと前記予測ステップにおいて予測した前記ユーザーの動作／行動／状態についての変化のタイミングとを一致させるようにして、前記コンテンツを再生するように制御する制御ステップと
    を有することを特徴とするコンテンツ再生方法。
16. 請求項１５に記載のコンテンツ再生方法であって、
    前記検出ステップにおいては、加速度センサ、ショックセンサ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、方位センサ、曲げセンサ、圧力センサ、画像センサ、焦電センサ、赤外線センサ、帯電位センサ、歪みセンサ、測距センサ、傾斜センサ、磁気センサ、電流センサ、静電容量センサ、電磁誘導センサ、音声センサの内の少なくとも１つを用いて前記ユーザーの動作／行動／状態についての変化を検出することを特徴とするコンテンツ再生方法。
17. 請求項１５に記載のコンテンツ再生方法であって、
    前記予測ステップにおいては、自己相関関数ないしは周波数フーリエ変換を用いて予測処理を行うことを特徴とするコンテンツ再生方法。
18. 請求項１５に記載のコンテンツ再生方法であって、
    再生対象の前記コンテンツは、音声、映像、光、アクチュエータによる物理的動作であることを特徴とするコンテンツ再生方法。
19. 請求項１５に記載のコンテンツ再生方法であって、
    前記タイミング情報は、再生対象の前記コンテンツを形成するコンテンツデータと同一ないしは異なる記録媒体に記録されて提供されるものであり、
    前記記録媒体から再生態様のコンテンツに対応する前記タイミング情報を取得する取得ステップを有することを特徴とするコンテンツ再生方法。
20. 請求項１５に記載のコンテンツ再生方法であって、
    前記タイミング情報は、再生対象の前記コンテンツを形成するコンテンツデータから生成することができるものであり、
    前記コンテンツデータを解析することにより、前記タイミング情報を生成する生成ステップを有することを特徴とするコンテンツ再生方法。
21. 請求項１５に記載のコンテンツ再生方法であって、
    前記タイミング情報は、再生対象の前記コンテンツを形成するコンテンツデータと同じファイルの別領域に記録されて提供されるものであり、
    前記コンテンツデータが記録された前記ファイルの当該別領域から前記タイミング情報を取得する取得ステップを有することを特徴とするコンテンツ再生方法。
22. 請求項１５に記載のコンテンツ再生方法であって、
    前記タイミング情報は、ネットワーク上のサーバー装置に蓄積するようにされており、
    前記ネットワークを通じて前記サーバー装置に接続し、所定の識別子を用いて、再生対象の前記コンテンツに対応する前記タイミング情報を取得する接続取得ステップを有することを特徴とするコンテンツ再生方法。
23. 請求項１５、請求項１６、請求項１７、請求項１８、請求項１９、請求項２０、請求項２１または請求項２２に記載のコンテンツ再生方法であって、
    再生対象の前記コンテンツは、音楽コンテンツであり、
    前記タイミング情報は、前記音楽コンテンツの１小節ないしは複数小節の区切り情報、ビート情報、メロディの変化情報、さびの出だし、さびの終了、歌い出し、歌い終わりなどの音楽的に特徴のある変化点であることを特徴とするコンテンツ再生方法。
24. 請求項１５、請求項１６、請求項１７、請求項１８、請求項１９、請求項２０、請求項２１または請求項２２に記載のコンテンツ再生方法であって、
    前記タイミング情報は、再生対象のコンテンツを形成するコンテンツデータの提供手段、あるいは、当該コンテンツデータの種類に応じて用いられるものであり、
    光ディスクのサブコード時間情報、光ディスクのセクタアドレス、クラスタアドレス、ＴＶ／ＶＩＤＥＯのタイムコード、コンテンツ先頭からのバイト数、サンプル数、基準クロック数、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）、映像フレーム、サウンドフレーム、圧縮オーディオの圧縮ブロック単位、ならびにそれぞれの前の区切り情報からの差分量で表現されることを特徴とするコンテンツ再生方法。
25. 請求項１５、請求項１６、請求項１７、請求項１８、請求項１９、請求項２０、請求項２１または請求項２２に記載のコンテンツ再生方法であって、
    再生対象の前記コンテンツは、映像コンテンツであり、
    前記タイミング情報は、映像のシーンチェンジ、カットチェンジなどの映像的に特徴のある変化点であることを特徴とするコンテンツ再生方法。
26. 請求項１５、請求項１６、請求項１７、請求項１８、請求項１９、請求項２０、請求項２１または請求項２２に記載のコンテンツ再生方法であって、
    前記タイミング情報を記憶保持する書き換え可能な記録媒体を備えており、
    前記記録媒体に記録された前記タイミング情報の変更、削除の指示入力、あるいは、前記記録媒体へのタイミング情報の追加の指示入力を受け付ける受付ステップと、
    前記受付ステップにおいて受け付けた前記指示入力に応じて、前記記録媒体に記録されている前記タイミング情報の変更、削除、あるいは、前記記録媒体へのタイミング情報の追加を行う更新ステップと
    を有することを特徴とするコンテンツ再生方法。
27. 請求項１５に記載のコンテンツ再生方法であって、
    前記制御ステップにおいては、前記ユーザーの動作／行動／状態についての変化のタイミングが、再生対象の前記コンテンツの再生開始タイミングに合うように制御することを特徴とするコンテンツ再生方法。
28. 請求項１５に記載のコンテンツ再生方法であって、
    前記ユーザーの動作／行動／状態についての変化は、歩行運動、体の上下運動、頭の前後左右方向への振り運動、腕の振り運動、胴部の前後左右方向への振り運動、室内への進入／退出、姿勢の変化であり、
    前記検出ステップにおいては、ユーザーの目的とする動作／行動／状態についての１つ以上の変化を検出することを特徴とするコンテンツ再生方法。

Images