JPWO2007029479A1 - 記録再生装置、記録再生方法、記録再生プログラムおよびコンピュータに読み取り可能な記録媒体 - Google Patents

Abstract

まず、判定部（１０１）は、車両が走行状態にあるか停止状態にあるかを判定する。次に、指示部（１０２）は、判定部（１０１）によって車両が走行状態にあると判定された場合、再生対象となるコンテンツにおける所定のタイミングを指示する。そして、特定部（１０３）は、指示部（１０２）によって指示されたタイミングに直近する位置において、コンテンツのうち代表的なシーンの範囲を特定する。そして、再生部（１０４）は、判定部（１０１）によって車両が停止状態にあると判定された場合、特定部（１０３）によって特定された範囲で指定される、このコンテンツの代表的なシーンを再生する。

Description

この発明は、記録した映像のハイライト映像を再生する記録再生装置、記録再生方法、記録再生プログラムおよびコンピュータに読み取り可能な記録媒体に関する。ただし、この発明の利用は、上述の記録再生装置、記録再生方法、記録再生プログラムおよびコンピュータに読み取り可能な記録媒体に限らない。

記録した映像を再生する手法として、ハイライト再生というものがあった。このハイライト再生では、記録した映像のハイライト部分を抜粋して再生することにより、全ての場面を視聴していなくても、短い時間で記録した映像の概要をつかむことができる。従来、このハイライト検出は、背景音声のレベル、テロップ情報の有無、音声認識した文章からのキーワード抽出などの、情報を解析することによってなされていた。

ハイライト再生の手法として、前回視聴時に視聴者がハイライト箇所を指定して、このハイライト箇所から一定時間の再生を繰り返すことにより、ハイライト再生するものがある（たとえば、特許文献１参照。）。また、視聴時に視聴者がハイライト箇所を指定して、ボタンが押された時点から、設定されたオフセット時間だけ前後の区間を、ハイライト区間として設定するものがある（たとえば、特許文献２参照。）。また、動画像をカット点や音声／音楽区間検出などによりシーン分割し、視聴動作を監視した上で各シーンの興味強度を算出するものがある。そして、この興味強度が閾値以上の区間を要約映像としているものがある（たとえば、特許文献３参照。）。

特開平１１−２７３２２７号公報 特開２００１−５７６６０号公報 特開２００４−１５９１９２号公報

ここで、車両の走行中には、安全運転のために走行中ＴＶを視聴できない。その一方で運転中の放送番組のハイライトシーン、たとえば野球のホームランシーンやサッカーのゴールシーンなどを見ることができない。そこでＴＶ番組受信と同時に番組を録画し、停車状態になったときに視聴者がＴＶを操作して、目的のハイライトシーンをリプレイすることが考えられる。しかし、この操作をする場合には、巻き戻しボタンを押す、目的のシーンを探し出す、再生ボタンを押すなど、かなり面倒な操作が必要となってしまうという問題が一例として挙げられる。

また、従来の自動ハイライト検出技術では、動画像情報や付随する音響情報から得られる特徴量、あるいはコンテンツに付与されたメタデータのみを指標としてハイライト検出がされており、視聴者の意思を反映する情報は利用されていなかった。また、自動ハイライト再生技術自体に完全な検出を求めることは困難でもあった。よって、視聴者の要求を十分満足するハイライトの検出は実現困難だった、という問題が一例として挙げられる。

また、ハイライト位置を指定してからハイライト再生する場合、ハイライトイベントが発生してから視聴者がこれを指定するので、正しいハイライトイベントの開始位置を指定することは困難である。また、ハイライトイベントの終了位置も指定しない限り分からなかったという問題が一例として挙げられる。

また、視聴者によってボタンを押されたショットを、視聴者が興味を持っているショットであると判断する場合、ハイライトイベント自体を指定するのと大きくは違わない。さらにはボタンの押し下げの圧力、押し下げの速度や連射検出に応じた興味強度を算出する場合であっても、ショットの興味の程度に応じた視聴者のボタン操作を期待するものであり、操作内容にしたがったハイライトイベントの指定とは趣旨が異なる。さらに、興味強度の値によってショット単位で評価するので、ハイライトイベントの正確な開始および終了位置を知ることができなかったという問題が一例として挙げられる。

請求項１の発明にかかる記録再生装置は、車両が走行状態にあるか停止状態にあるかを判定する判定手段と、前記判定手段によって前記車両が走行状態にあると判定された場合、再生対象となるコンテンツにおける所定のタイミングを指示する指示手段と、前記指示手段によって指示されたタイミングに直近する位置において、前記コンテンツのうち代表的なシーンの範囲を特定する特定手段と、前記判定手段によって前記車両が停止状態にあると判定された場合、前記特定手段によって特定された範囲で指定される、前記コンテンツの代表的なシーンを再生する再生手段と、を備えることを特徴とする。

また、請求項６の発明にかかる記録再生装置は、再生対象となるコンテンツから代表的なシーンを抽出する抽出手段と、車両の走行情報を取得する取得手段と、前記取得手段によって取得された走行情報にしたがって前記車両の停車時間を予測する予測手段と、前記予測手段によって予測される前記停車時間に終了する時間の範囲に、前記抽出手段によって抽出されたコンテンツの代表的なシーンを短縮する短縮手段と、前記短縮手段によって短縮された前記コンテンツの代表的なシーンを再生する再生手段と、を備えることを特徴とする。

また、請求項７の発明にかかる記録再生装置は、再生対象となるコンテンツにおける所定のタイミングを指示する指示手段と、前記指示手段によって指示されたタイミングに直近する位置において、前記コンテンツのうち代表的なシーンの範囲を特定する特定手段と、前記特定手段によって特定された範囲で指定される前記コンテンツの代表的なシーンを再生対象として出力する出力手段と、を備えることを特徴とする。

また、請求項８の発明にかかる記録再生装置は、再生対象となるコンテンツを記録する記録手段と、前記記録手段によって記録されたコンテンツの代表的なシーンを再生する再生手段と、前記記録手段によってコンテンツを記録するとともに前記再生手段によって前記代表的なシーンを再生している場合、前記記録手段によって記録しているコンテンツに代表的なシーンが含まれているか否かを判定する判定手段と、前記判定手段によって代表的なシーンが含まれていると判定された場合、前記記録手段に該代表的なシーンを記録させる制御手段と、を備えることを特徴とする。

また、請求項９の発明にかかる記録再生装置は、再生対象となるコンテンツを記録する記録手段と、前記記録手段によって記録されるコンテンツの重要度を検出する検出手段と、前記検出手段によって検出された重要度にしたがって、前記コンテンツの代表的なシーンの範囲を特定する特定手段と、前記特定手段によって特定された範囲で指定される前記コンテンツの代表的なシーンを再生する再生手段と、を備えることを特徴とする。

また、請求項１０の発明にかかる記録再生方法は、車両が走行状態にあるか停止状態にあるかを判定する判定工程と、前記判定工程によって前記車両が走行状態にあると判定された場合、再生対象となるコンテンツにおける所定のタイミングを指示する指示工程と、前記指示工程によって指示されたタイミングに直近する位置において、前記コンテンツのうち代表的なシーンの範囲を特定する特定工程と、前記判定工程によって前記車両が停止状態にあると判定された場合、前記特定工程によって特定された範囲で指定される、前記コンテンツの代表的なシーンを再生する再生工程と、を含むことを特徴とする。

また、請求項１１の発明にかかる記録再生プログラムは、請求項１０に記載の記録再生方法をコンピュータに実行させることを特徴とする。

また、請求項１２の発明にかかるコンピュータに読み取り可能な記録媒体は、請求項１１に記載の記録再生プログラムを記録したことを特徴とする。

図１は、この発明の実施の形態にかかる記録再生装置の機能的構成を示すブロック図である。 図２は、この発明の実施の形態にかかる記録再生方法の処理を示すフローチャートである。 図３は、記録再生装置の機能的構成を説明するブロック図である。 図４は、車載応用する場合のハイライト記録処理を説明するフローチャートである。 図５は、ブレーキ検出状態にしたがった処理を説明するフローチャートである。 図６は、停車時刻データベースを説明する説明図である。 図７は、ハイライト検出処理を説明するフローチャートである。 図８は、ハイライトシーンの開始位置と終了位置を説明する説明図である。 図９は、ＶＩＣＳ／ビーコンを使用する場合のハイライト再生処理を説明するフローチャートである。 図１０は、ヒント情報をもとにしたハイライト再生処理を説明するフローチャートである。 図１１は、リプレイ間のハイライト検出を考慮したハイライト再生処理を説明するフローチャートである。 図１２は、ハイライトシーンと重要度をＨＤＤに記録する場合の機能的構成を説明するブロック図である。 図１３は、ハイライトシーンと重要度をＨＤＤに記録する場合の処理を説明するフローチャートである。 図１４は、ハイライトシーンの開始位置／終了位置と重要度を説明する説明図である。 図１５は、ハイライトイベントの指示を受けて行うハイライト検出処理を説明するフローチャートである。

符号の説明

１０１ 判定部
１０２ 指示部
１０３ 特定部
１０４ 再生部
３０１ アンテナ
３０２ チューナ
３０３ ＩＦ回路
３１０ 映像復調部
３１１ 映像合成部
３１２ 映像出力部
３１３ Ａ／Ｄ変換部
３１４ 映像符号化部
３１５ 映像復号部
３１６ 映像処理部
３１７ Ｄ／Ａ変換部
３１９ バス
３２０ 音声復調部
３２１ 音声選択部
３２２ 音声出力部
３２３ Ａ／Ｄ変換部
３２４ 音声符号化部
３２５ 音声復号部
３２７ Ｄ／Ａ変換部
３３０ 特徴量抽出部
３３１ ＨＤＤ
３３２ ハイライト検出部
３３３ 制御部
３３４ 操作部
３３５ サイドブレーキ状態検出部
３３６ ＶＩＣＳ／ビーコン情報取得部

以下に添付図面を参照して、この発明にかかる記録再生装置、記録再生方法、記録再生プログラムおよびコンピュータに読み取り可能な記録媒体の好適な実施の形態を詳細に説明する。

図１は、この発明の実施の形態にかかる記録再生装置の機能的構成を示すブロック図である。この実施の形態の記録再生装置は、判定部１０１、指示部１０２、特定部１０３、再生部１０４により構成されている。

判定部１０１は、車両が走行状態にあるか停止状態にあるかを判定する。たとえば、サイドブレーキの状態によって車両が走行状態にあるか停止状態にあるかを判定する。指示部１０２は、判定部１０１によって車両が走行状態にあると判定された場合、再生対象となるコンテンツにおける所定のタイミングを指示する。具体的には、コンテンツ中のハイライトイベントの指示を受け付ける。

特定部１０３は、指示部１０２によって指示されたタイミングに直近する位置において、このコンテンツのうち代表的なシーンの範囲を特定する。具体的には、ハイライトイベントが指示された場合、コンテンツからハイライトイベントの範囲を特定する。特定部１０３は、コンテンツに含まれる各シーンが特徴的なシーンであるか否かを判別し、そのシーンが特徴的なシーンである区間を代表的なシーンの範囲と特定することもできる。

また、特定部１０３は、コンテンツに含まれる各シーンについてコンテンツの特徴量を抽出し、特徴量にしたがってそのシーンが特徴的なシーンであるか否かを判別することもできる。また、特定部１０３は、指示部１０２によって指定されたタイミングより所定時間前の位置以降のシーンが特徴的なシーンに含まれるか否かを判別して代表的なシーンの範囲を特定することもできる。

再生部１０４は、判定部１０１によって車両が停止状態にあると判定された場合、特定部１０３によって特定された範囲で指定される、このコンテンツの代表的なシーンを再生する。具体的には、範囲が特定されたハイライトイベントを再生する。また、判定部１０１で車両が前回停車した時刻を記録し、再生部１０４は、判定部１０１によって記録された前回停車した時刻以降のハイライトイベントを再生することもできる。

なお、この記録再生装置において、再生対象となるコンテンツから代表的なシーンを抽出しておき、車両の走行情報を取得して、取得された走行情報にしたがって車両の停車時間を予測し、予測された停車時間に終了する時間の範囲に、抽出されたコンテンツの代表的なシーンを短縮し、再生部１０４が、短縮されたコンテンツの代表的なシーンを再生するよう構成することもできる。

また、この記録再生装置において、指示部１０２が、再生対象となるコンテンツにおける所定のタイミングを指示し、特定部１０３が、指示部１０２によって指示されたタイミングに直近する位置において、このコンテンツのうち代表的なシーンの範囲を特定し、再生部１０４が、特定部１０３によって特定された範囲で指定される前記コンテンツの代表的なシーンを再生対象として出力することもできる。

また、この記録再生装置において、再生対象となるコンテンツを記録しておき、再生部１０４が、記録されたコンテンツの代表的なシーンを再生し、判定部１０１が、コンテンツを記録するとともに再生部１０４によって代表的なシーンを再生しているときに、記録されているコンテンツに代表的なシーンが含まれているか否かを判定し、判定部１０１によってハイライトシーンが含まれていると判定された場合、代表的なシーンを記録させることもできる。

また、この記録再生装置において、再生対象となるコンテンツを記録して、記録されたコンテンツの重要度を検出し、特定部１０３が、検出された重要度にしたがって、このコンテンツの代表的なシーンの範囲を特定し、再生部１０４が、特定部１０３によって特定されたハイライトシーンを再生するように構成することもできる。

図２は、この発明の実施の形態にかかる記録再生方法の処理を示すフローチャートである。まず、判定部１０１は、車両が走行状態にあるか停止状態にあるかを判定する（ステップＳ２０１）。たとえば、サイドブレーキの状態によって車両が走行状態にあるか停止状態にあるかを判定する。指示部１０２は、判定部１０１によって車両が走行状態にあると判定された場合（ステップＳ２０１：走行状態）、再生対象となるコンテンツにおいて所定のタイミングを指示する（ステップＳ２０２）。

特定部１０３は、指示部１０２によって指示されたタイミングに直近する位置において、コンテンツのうち代表的なシーンの範囲を特定する（ステップＳ２０３）。特定部１０３は、コンテンツに含まれる各シーンが特徴的なシーンであるか否かを判別し、そのシーンが特徴的なシーンである区間を代表的なシーンの範囲と特定することもできる。

また、特定部１０３は、コンテンツに含まれる各シーンについてコンテンツの特徴量を抽出し、特徴量にしたがってそのシーンが代表的なシーンであるか否かを判別することもできる。また、特定部１０３は、指示部１０２によって指定されたタイミングより所定時間前の位置以降のシーンが特徴的なシーンに含まれるか否かを判別して代表的なシーンの範囲を特定することもできる。特定後、一連の処理を終了する。

再生部１０４は、判定部１０１によって車両が停止状態にあると判定された場合（ステップＳ２０１：停止状態）、特定部１０３によって特定された範囲で指定される、このコンテンツの代表的なシーンを再生する（ステップＳ２０４）。そして、一連の処理を終了する。

以上説明した実施の形態により、車両が走行状態のときに所定のタイミングを指示し、車両が停止状態のときにハイライトシーンなどの代表的なシーンを再生することができる。それにより、運転者の運転の邪魔をしない形でのコンテンツの視聴を支援することができる。また、停車時刻を記録しておくことにより、前回停車時以降のハイライトイベントのみを再生できるので、代表的なシーンのうち重複したものの再生を防ぐことができる。

（実施例１）
図３は、記録再生装置の機能的構成を説明するブロック図である。テレビ電波は、アンテナ３０１を介して受信される。ここで、チューナ３０２は、選局して同調操作することにより、アンテナ３０１から映像音声信号を受信する。そしてＩＦ回路３０３は、映像音声信号を映像信号と音声信号に分離する。

映像復調部３１０は映像信号を復調し、音声復調部３２０は音声信号を復調する。復調された映像信号および音声信号は、それぞれＡ／Ｄ変換部３１３，３２３でデジタル信号に変換する。映像信号および音声信号をデジタル信号に変換した映像データおよび音声データは、それぞれ映像符号化部３１４、音声符号化部３２４に入力される。また、映像データおよび音声データは、ともに特徴量抽出部３３０に入力される。また、映像データおよび音声データは、それぞれ映像処理部３１６、Ｄ／Ａ変換部３２７にそれぞれ入力される。

映像符号化部３１４、映像復号部３１５、音声符号化部３２４、音声復号部３２５、特徴量抽出部３３０、ＨＤＤ３３１、ハイライト検出部３３２は、バス３１９によって接続されている。ＨＤＤ３３１は、ハードディスクドライブである。ＨＤＤ３３１は、コンテンツを記録し、また、ハイライトシーンデータベース、停車時刻を記録した停車時刻データベースを備える。

映像符号化部３１４では、デジタル化された映像データを圧縮する。それにより、ＨＤＤ３３１に長い時間のコンテンツを記録する。圧縮方式としては、ＭＰＥＧ−２が標準的であるが、より高い圧縮効率の高い符号化方式を選択する場合、たとえばＭＰＥＧ−４やＩＴＵ−Ｔ＿Ｈ．２６４などを使用することが考えられる。映像復号部３１５は、ＨＤＤ３３１に記録された符号化された映像データを読み出して復号する。映像復号部３１５は、復号した映像データを、映像処理部３１６に送って映像処理するとともに、特徴量抽出部３３０に送る。映像データを映像処理部３１６で映像処理した後、Ｄ／Ａ変換部３１７でアナログ信号に変換し、映像合成部３１１に入力する。映像合成部３１１は、Ｄ／Ａ変換部３１７と映像復調部３１０の入力の一方を選択して映像出力部３１２に出力する。映像出力部３１２からは、映像信号がディスプレイに出力される。

音声符号化部３２４は、映像データと同様に音声データを圧縮符号化する。符号化方式としては、ＭＰＥＧ−１＿Ｌａｙｅｒ２、ＭＰＥＧ−１＿ｌａｙｅｒ３（ＭＰ３）、ＭＰＥＧ−２＿ＡＡＣ、Ｄｏｌｂｙ＿ＡＣ３などが考えられる。音声復号部３２５は、ＨＤＤ３３１に記録された符号化された音声データを復号する。復号された音声データは、Ｄ／Ａ変換部３２７でアナログ信号に変換され、音声選択部３２１に入力される。音声選択部３２１は、Ｄ／Ａ変換部３２７と音声復調部３２０の入力の一方を選択して音声出力部３２２に出力する。音声出力部３２２からは、音声信号がスピーカに出力される。

特徴量抽出部３３０は、特徴量を映像データあるいは音声データから検出する。この特徴量は、動画像コンテンツから、ハイライト、つまり意味的に重要な部分を検出するために必要なパラメータである。抽出すべき特徴量は、たとえばシーンチェンジ、動き情報、カメラワーク、テロップ、音声レベル、音声情報を、音声認識して作成されるテキストなどが考えられる。このような映像・音声の特徴を示すデータを抽出し、その量を求めることにより特徴量を抽出している。この映像、音声、またはその両方を含む情報をコンテンツといい、テレビ番組や映像のみ、音声のみの情報などが挙げられる。

ハイライト検出部３３２は、特徴量抽出部３３０によって抽出された特徴量を利用して、映像データおよび音声データの集合により構成される動画像コンテンツからハイライト部分を抽出する。ハイライト検出の手法には様々な方法が考えられ、音声レベルの高い区間あるいは無音区間を利用することで、ハイライト区間を検出する方法が考えられる。

制御部３３３は、ハイライト検出部３３２による検出結果および、操作部３３４、サイドブレーキ状態検出部３３５、ＶＩＣＳ／ビーコン情報取得部３３６からの出力に基づいてハイライト場面に関する情報をＨＤＤ３３１に記録する。

操作部３３４は、ハイライトイベント指示、リプレイ実行、ダイジェスト再生開始などの、視聴者からの操作指示を受け付ける。操作部３３４の操作としては、リモコン、ボタン、キーボード、マウスなどの機器操作の他に、音声認識、ジェスチャー認識などのユーザインターフェースを使用することも考えられる。また、その他、アプリケーションに応じて、様々な操作方法を使用することができる。

サイドブレーキ状態検出部３３５は、車両のサイドブレーキの固定／解放状態を検出する。そしてこの固定／解放状態にしたがって、映像のディスプレイ上での表示状態を制御する。通常、車載用ＴＶでは、サイドブレーキを引くなど停車状態でないと視聴できない仕様になっている。それにより、走行中の運転者の注意が、ＴＶに向けられることによる事故の発生を防止している。つまり、走行中はＴＶ画面が消え、音声のみの状態となる。

以上の構成により、車両の走行中、視聴者によるハイライトイベントの指示を受け付け、停車時にハイライトシーンのリプレイを実行するが、この処理について説明する。

図４は、車載応用する場合のハイライト記録処理を説明するフローチャートである。まず、番組受像とともに、ＨＤＤ３３１に番組コンテンツを録画する（ステップＳ４０１）。そして、番組コンテンツの録画にあたって、ハイライト検出に使用される特徴量を抽出し、ＨＤＤ３３１に記録する（ステップＳ４０２）。なお、記録すべき特徴量は、ハイライト検出アルゴリズムに依存し、このハイライト検出アルゴリズムは、固有のものには限定しない。そして、受像が終了したか否かを判定する（ステップＳ４０３）。ここで、受像が終了していた場合（ステップＳ４０３：Ｙｅｓ）、一連の処理を終了する。ここで受像が終了していない場合（ステップＳ４０３：Ｎｏ）、図５に示すブレーキ検出状態にしたがった処理を実行する（ステップＳ４０４）。

図５は、ブレーキ検出状態にしたがった処理を説明するフローチャートである。まず、サイドブレーキの状態を判定する（ステップＳ５０１）。サイドブレーキの状態が解放状態であると判定された場合（ステップＳ５０１：解放状態）、ＴＶ画面を消去する（ステップＳ５０２）。そして、ハイライトイベントの指示があるか否かを判定する（ステップＳ５０３）。ハイライトイベントの指示がない場合（ステップＳ５０３：Ｎｏ）、一連の処理を終了する。ハイライトイベントの指示があった場合（ステップＳ５０３：Ｙｅｓ）、図７に示すハイライト検出処理を実行する（ステップＳ５０４）。実行後、一連の処理を終了する。

視聴者は、車両を運転中に、ハイライトイベントの発生をＴＶ音声によって確認した場合には、ハイライトイベントを指示する。視聴者によるハイライトイベント指示は、特に限定しないが、リモコンによる操作や音声認識による方法が考えられる。それにより、運転への影響を最小化することができる。

一方、サイドブレーキの状態が固定状態であると判定された場合（ステップＳ５０１：固定状態）、ＴＶ画面を表示する（ステップＳ５０５）。このとき、ＴＶ音声の出力も継続する。そして、車両は停止状態に入っているので、この停車時刻を図６に示すように停車時刻データベースに保存する（ステップＳ５０６）。そして、リプレイ指示があったか否かを判定する（ステップＳ５０７）。リプレイ指示がなかった場合（ステップＳ５０７：Ｎｏ）、一連の処理を終了する。

リプレイ指示があった場合（ステップＳ５０７：Ｙｅｓ）、停車時刻データベースを確認して、前回停車時刻以降のハイライトシーン情報をＨＤＤ３３１から読み出す（ステップＳ５０８）。そして、リプレイ処理を実行する（ステップＳ５０９）。それにより、前回停車時刻以降の番組のハイライトシーンを短時間に楽しむことができる。そして、リプレイ後、一連の処理を終了する。

上述の処理により、サイドブレーキを引き、車両の停車が確認されたあと、視聴者が指示したハイライトをリプレイする。これにより、ＴＶ画面つきで番組のダイジェストを短時間で楽しむことができる。このリプレイ開始は、視聴者によるリプレイ開始指示でもよく、サイドブレーキと連動した自動リプレイ開始でもよい。

また、停車時刻を管理する停車時刻データベースを実装し、サイドブレーキと連動つまり固定状態になると自動的にリプレイを開始することもできる。そして、車両の停車時刻をデータベースで管理する。これにより、前回停車以降から、ここまでに視聴者によって指示されたハイライトだけをリプレイすることができる。前回停車時以前のハイライトは、前回以前の停車時に視聴済みであると考えられる。つまり、停車時間の管理により、必要最小限のダイジェストを実現することができる。

なお、サイドブレーキの状態検出によって車両の停止状態を検出する方法は、車載ＴＶ視聴を制限する一般的な方法であるが、車両のキーの位置が停止状態であるか否か、速度計、車速パルス検出、加速度センサなどの手法をとることもできる。また、ハイライトシーンのリプレイは、視聴者の指示によって開始することもできるが、サイドブレーキと連動、すなわちサイドブレーキが固定状態になった場合に自動的にリプレイを開始させることもできる。また、リプレイ対象のハイライトシーンについても、前回停車時以降としたが、全ハイライトシーンを再生するようにすることもできる。

それにより、視聴者の車両運転を邪魔しない形での車載ＴＶ視聴支援を実現することができる。また、停車時刻データベースにより、前回停車時以降のハイライトシーンのみをリプレイすることができ、重複したハイライトのリプレイを排除することができる。

図６は、停車時刻データベースを説明する説明図である。それぞれＩＤに対応させて停車時刻の開始時刻と終了時刻を記録する。データ６００〜６０３は、それぞれＩＤ０〜３に対応付けて開始時刻および終了時刻を記録しているが、これ以降の停車時刻についても、ＩＤを４、５、・・と用意しておくことにより、開始時刻および終了時刻を記録していくことができる。

データ６００は、ＩＤ０に対応付けて記録されており、開始時刻は０時３０分１０秒０５である。また、終了時刻は０時１分１２秒０４である。データ６０１は、ＩＤ１に対応付けて記録されており、開始時刻は５時２２分２１秒０５である。また、終了時刻は０時２分５７秒１３である。データ６０２は、ＩＤ２に対応付けて記録されており、開始時刻は８時３分１１秒０４である。また、終了時刻は０時３分４７秒０１である。データ６０３は、ＩＤ３に対応付けて記録されており、開始時刻は１７時１４分１秒０４である。また、終了時刻は０時４分４３秒２０である。

図７は、ハイライト検出処理を説明するフローチャートである。まず、Ｔｃを現在の再生位置として保存する（ステップＳ７０１）。次に、一定時間の処理を待つ（ステップＳ７０２）。それにより、ハイライト検出処理の開始を遅らせる。遅らせることにより、ハイライトイベントの終了を待ち、ハイライトの開始時間／終了時間を検出できるようにする。

そして、ハイライト検出区間を設定する（ステップＳ７０３）。ここで、ハイライト検出開始時間をｓ、ハイライト検出終了時間をｅとする。ハイライト検出区間については、たとえば、ｓ＝Ｔｃ−３０秒とする。また、ｅ＝Ｔｃ＋１２０秒とする。この長さは、それぞれアプリケーションに応じて様々に設定することができる。

次に、区間［ｓ，ｅ］の特徴量をＨＤＤ３３１から読み出す（ステップＳ７０４）。次に、読み出された特徴量からハイライトシーンを検出する（ステップＳ７０５）。ここで、ハイライト検出アルゴリズムについては特に限定しない。そして、ハイライト情報をＨＤＤ３３１に記録する（ステップＳ７０６）。具体的には、ハイライトシーンの開始位置と終了位置をデータベースに記録する。そして、記録後、一連の処理を終了する。

図８は、ハイライトシーンの開始位置と終了位置を説明する説明図である。それぞれＩＤに対応させてハイライトシーンの開始位置と終了位置を記録する。データ８００〜８０４は、それぞれＩＤ０〜４に対応付けて開始位置および終了位置を記録しているが、これ以降のハイライトシーンについても、ＩＤを５、６、・・と用意しておくことにより、開始位置および終了位置を記録していくことができる。それにより、新たなハイライトシーンを検出する毎にＩＤを１ずつ増加して追記していく。図８は、このように検出されたハイライトシーン情報の一例である。ＩＤは、各ハイライトシーンを識別するために付与される番号である。また終了時間は、ハイライトシーンの継続時間の形で記録してもよい。

データ８００は、ＩＤ０に対応付けて記録されており、開始位置は０時０分３０秒１５である。また、終了位置は０時１分１２秒０４である。データ８０１は、ＩＤ１に対応付けて記録されており、開始位置は０時２分２１秒２５である。また、終了位置は０時２分５７秒１３である。データ８０２は、ＩＤ２に対応付けて記録されており、開始位置は０時３分１秒１４である。また、終了位置は０時３分４７秒０１である。データ８０３は、ＩＤ３に対応付けて記録されており、開始位置は０時４分１１秒０４である。また、終了位置は０時４分４３秒２０である。データ８０４は、ＩＤ４に対応付けて記録されており、開始位置は０時５分５秒１７である。また、終了位置は０時０分０秒０である。

また、ハイライトシーンの検出は、特徴量をＨＤＤ３３１に記録して、記録した特徴量を利用することによって実現することもできるが、その他、ハイライトシーン候補とその重要度を検出してＨＤＤ３３１に記録し、これを利用してハイライトシーンを検出することもできる。また、ハイライト検出処理については、後述する実施例５で説明する部分に置き換えることもできる。それにより、ハイライト検出に必要となるＨＤＤ３３１に記録すべきデータを削減することができる。

以上のように、実施例１によれば、車両の走行中に、たとえば番組の音声を聴きながら番組のハイライトシーンであることを認識して、その番組中のあるタイミングを指定することにより、そのタイミングの直近する位置でコンテンツのハイライトシーンの範囲を特定することができる。従来であれば、指定した時点を開始時点とし、また別の指定した時点を終了時点として範囲を決めていたので実際のハイライトシーンの範囲を特定することができなかった。とくに、運転中の場合は運転に集中しているので、指定したタイミングと実際のハイライトシーンの開始時点の間にはズレが発生しやすかった。それに対して、指定したタイミングをヒント情報としてハイライトシーンを特定するので、的確に範囲を特定することができる。

また運転中には、番組自体はもちろん、ハイライトシーンを視聴することは安全面を考慮すると不可能であるものの、車両が停止状態にある場合は、その間に発生した番組を把握しておきたいというニーズがある。これに対して、車両が停止状態にあるときに、このハイライトシーンを再生する。それにより、たとえばスポーツ番組を視聴している場合に、試合の進行に合わせたハイライトシーンを視聴することにより、運転中に視聴できなかった番組のうち必要な部分を視聴することができる。

（実施例２）
図９は、ＶＩＣＳ／ビーコンを使用する場合のハイライト再生処理を説明するフローチャートである。この実施例２のハイライト再生処理は、図３に示した記録再生装置において実行することができる。まず、サイドブレーキの状態を判定する（ステップＳ９０１）。サイドブレーキが解放状態の場合（ステップＳ９０１：解放状態）、ＴＶ画面を消去する（ステップＳ９０２）。そして、ハイライトイベントの指示があったか否かを判定し（ステップＳ９０３）、ハイライトイベントの指示がない場合（ステップＳ９０３：Ｎｏ）、一連の処理を終了する。ハイライトイベントの指示があった場合（ステップＳ９０３：Ｙｅｓ）、図７に示したハイライト検出処理を実行する（ステップＳ９０４）。そして、一連の処理を終了する。

一方、サイドブレーキの状態が固定状態であると判定された場合（ステップＳ９０１：固定状態）、ＴＶ画面を表示する（ステップＳ９０５）。そして、車両は停止状態に入っているので、この停車時刻を保存する（ステップＳ９０６）。そして、リプレイ指示があったか否かを判定する（ステップＳ９０７）。リプレイ指示がなかった場合（ステップＳ９０７：Ｎｏ）、一連の処理を終了する。リプレイ指示があった場合（ステップＳ９０７：Ｙｅｓ）、ハイライトシーン情報をＨＤＤ３３１から読み出す（ステップＳ９０８）。そして、ＶＩＣＳ／ビーコン情報を取得し、この情報をもとに停車時間の予測を行う（ステップＳ９０９）。そしてこの予測される停車時間に応じて、ハイライトシーンを選択／短縮する（ステップＳ９１０）。そして、リプレイ処理を実行し（ステップＳ９１１）、一連の処理を終了する。

以上の処理により、リプレイ対象となるリプレイ時間が、予測される停車時間よりも長い場合は、（１）リプレイ対象となるハイライトシーンを、たとえば過去順、重要度順などにしたがって選択する。そして残ったハイライトシーンは、次回停車時のリプレイで再生する。（２）リプレイ対象となるハイライトシーンを一律に短縮し、リプレイ総時間を停車時間内に収める。（３）リプレイ対象となるハイライトシーンで、重要度の低いものから優先的に時間を短縮し、リプレイ総時間を停車時間内に収める。

以上のように、実施例２によれば、ＶＩＣＳ／ビーコンなどから車両の走行情報を取得し、取得した走行情報から車両の停車時間を予測する。具体的には交差点での信号待ち時間や、渋滞による停車時間などである。そして、予測される停車時間に合わせてハイライトシーンを選択／短縮する。それにより、車両の停車時間内にリプレイが終了することを保証することができる。運転者は走行と停車を繰り返しながら運転していくが、視聴し終わるまでに走行を開始してしまうことなく、停車時間中に走行中に見ることができなかったシーンを視聴し終わることができる。それにより、次に走行して停車したときには、前に停車したとき以前のシーンを再生する必要がなくなり、視聴すべきシーンに遅れていってしまうことを防ぐことができる。

（実施例３）
図１０は、ヒント情報をもとにしたハイライト再生処理を説明するフローチャートである。この実施例３のハイライト再生処理は、図３に示した記録再生装置において実行することができる。まず、ＨＤＤ３３１に番組コンテンツを録画する（ステップＳ１００１）。次に、ハイライト検出のための特徴量を抽出してＨＤＤ３３１に記録する（ステップＳ１００２）。そして、ハイライトイベントの指示があったか否かを判定し（ステップＳ１００３）、ハイライトイベントの指示があった場合（ステップＳ１００３：Ｙｅｓ）、図７に示したハイライト検出処理を実行する（ステップＳ１００４）。

ハイライトイベントの指示がない場合（ステップＳ１００３：Ｎｏ）、またはハイライト検出処理が終了した後、受像が終了したか否かを判定する（ステップＳ１００５）。受像が終了していない場合（ステップＳ１００５：Ｎｏ）、ステップＳ１００１に戻って処理を再開する。受像が終了している場合（ステップＳ１００５：Ｙｅｓ）、一連の処理を終了する。

すなわち、番組受像と同時に、ハイライトシーンの検出に利用される特徴量を抽出し、ＨＤＤ３３１に記録する。そして、視聴者のハイライトイベント指示に応じて、所定のハイライト検出区間の特徴量をＨＤＤ３３１から読み出し、ハイライト検出する。そして、ハイライトシーンの終了時間を検出する。それにより、視聴者によるハイライトイベント指示をハイライトシーンの自動検出のヒント情報として利用し、ハイライトシーンの終了時間を検出している。

以上の処理により、視聴者によるハイライトイベント指示にあいまいさがあっても、正確にハイライトシーンを検出できる。また、ハイライトシーンの終了時間も検出するので、たとえばハイライトシーンのリプレイ時には、視聴者によるリプレイ終了指示の必要がなく、リプレイの自動終了も可能である。また、ハイライトシーンの自動繰り返しも可能になる。

ハイライトシーンの自動検出では、視聴者の意思に完全に即した検出は困難であるという問題が挙げられる。そこで、ハイライトイベントの発生を視聴者から指示され、これをヒントとしてハイライトシーンを検出する。このようにハイライト検出することにより、ハイライトシーンの自動リプレイ、あるいはハイライトシーンのみを再生することによる、ハイライト再生、要約再生、ダイジェスト再生を含む短時間再生を行う。

ハイライトイベントを視聴者に指示してもらい、指示内容を記録して利用することも考えられるが、これだけでは、第１に視聴者がハイライトイベントを指示できるのは、ハイライトイベントが発生した後であるので、正確なハイライトシーン開始時間を得ることができないという問題が一例として挙げられる。また第２に、ハイライトシーン終了時間を指定することができず、指定したとしても指示操作を視聴者に煩わせた上にその操作が正確ではないという問題が一例として挙げられる。

以上のように、実施例３によれば、視聴者によってハイライトイベントを指示させ、この視聴者による指示をハイライトシーン自動検出のヒント情報で利用する。つまり、視聴者の指示により希望に沿ったハイライトシーンを指定することができ、かつ視聴者指示の不完全さをハイライト検出処理で補完することにより、単一ボタン操作での正確なハイライトシーン指定を可能として、このための面倒な操作を排除することができる。

さらに、得られたハイライト情報を利用することにより、ハイライト再生することができる。つまり検出されたハイライトシーンを時間順に順次再生することにより、番組全体をハイライト再生することができる。これにより、番組全体を短い時間で内容理解、あるいは興味の有無の判断に役立てることができる。

なお、視聴者からのハイライトイベント指示に応じてこの指示時間に近いハイライトシーンを検出したが、この検出されたハイライトシーンの検出条件を記憶しておき、以降はこの記憶した条件に近いハイライトシーンを検出したときに自動的にハイライトシーンを決定するようにしてもよい。

（実施例４）
図１１は、リプレイ間のハイライト検出を考慮したハイライト再生処理を説明するフローチャートである。この実施例４のハイライト再生処理は、図３に示した記録再生装置において実行することができる。まず、ＨＤＤ３３１に番組コンテンツを録画する（ステップＳ１１０１）。次に、ハイライト検出のための特徴量を抽出し、ＨＤＤ３３１に記録する（ステップＳ１１０２）。次に、受像が終了したか否かを判定する（ステップＳ１１０３）。終了していた場合（ステップＳ１１０３：Ｙｅｓ）、一連の処理を終了する。

終了していない場合（ステップＳ１１０３：Ｎｏ）、ハイライトイベントの指示があったか否かを判定する（ステップＳ１１０４）。ハイライトイベントの指示があった場合（ステップＳ１１０４：Ｙｅｓ）、図７に示したハイライト検出処理を実行し（ステップＳ１１０５）、ステップＳ１１０１に戻る。ハイライトイベントの指示がなかった場合（ステップＳ１１０４：Ｎｏ）、リプレイ指示があったか否かを判定する（ステップＳ１１０６）。

リプレイ指示がなかった場合（ステップＳ１１０６：Ｎｏ）、ステップＳ１１０１に戻る。リプレイ指示があった場合（ステップＳ１１０６：Ｙｅｓ）、ハイライトシーン情報をＨＤＤ３３１から読み出す（ステップＳ１１０７）。このとき、リプレイ対象となるハイライトシーンは、直前のハイライトシーン、前回リプレイ指示以降のハイライトシーン、全てのハイライトシーン、など様々な場合を考えることができる。前回リプレイ指示以降のハイライトシーンを決定する場合、リプレイ実施時刻データベースの情報を利用することにより可能となる。

次に、リプレイ処理を実行する（ステップＳ１１０８）。ここで、今回リプレイを視聴した時刻、つまりリプレイによってリアルタイムのＴＶ番組の視聴ができなかった時刻を、リプレイ実施時刻データベースに記録する（ステップＳ１１０９）。この例は、図６に示したとおりである。そして、このデータベース形式は、実施例１で説明した停車時刻データベースと同じになる。そして、リプレイ直後にハイライトイベント指示があったか否かを判定する（ステップＳ１１１０）。このリプレイ直後というタイミングは、リプレイ視聴終了後１分以内とする。ただし、この時間は、アプリケーションに応じた長さを設定することができる。

指示がなかった場合（ステップＳ１１１０：Ｎｏ）、ステップＳ１１０１に戻る。指示があった場合（ステップＳ１１１０：Ｙｅｓ）、リプレイ時ハイライト検出処理を実行する（ステップＳ１１１１）。このハイライトシーン検出処理は、図７に示すハイライト検出処理と基本的には同じである。相違点は、ハイライト検出区間を、リプレイ実施時刻データベースから読み出される前回リプレイ視聴開始／終了時刻とする点である。処理後、ステップＳ１１０１に戻る。

リプレイ時ハイライト検出処理について説明する。リプレイ中にハイライトイベントが発生した場合でも、リプレイを終了して通常のＴＶ視聴に戻った時点で、視聴者はなんらかのハイライトシーンがあったと推測する。たとえば、リプレイ開始前と比べて何らかの変化があった場合である。この変化の例としては、（１）スポーツ番組でスコアに変化があった場合、（２）映画やドラマなどでストーリーのつながりが把握できない、つまりストーリーに変化があった場合、（３）番組内の情報、たとえば登場人物、撮影場所、時刻、天気などに変化があった場合、などが挙げられる。そこでリプレイ終了直後、たとえば１分以内にハイライトイベントが指示された場合、リプレイ視聴の間に発生したはずのハイライト検出を指示していると判断して、この区間からハイライトシーンを検出する。

なお、ハイライトシーンのリプレイ機能に関連して、視聴者のハイライトイベント指示によりハイライトシーンを検出し、視聴者のリプレイ指示によって直前のハイライトシーン、前回リプレイ指示以降のハイライトシーン、全てのハイライトシーンのいずれかをリプレイする方法も考えられる。しかしこの場合、リプレイ視聴中に発生したハイライトイベントを見損ねてしまうという問題が発生することがある。

一方で、２画面表示、あるいはピクチャ・イン・ピクチャ（ＰｉｎＰ）にして、１つの画面をリアルタイムのＴＶ番組表示、もう１つの画面をリプレイ画面表示にする方法がある。それによってリアルタイムのＴＶ番組を見逃すことはないが、これを実現するために追加のハードウェアが必要となり、商品がコストアップしてしまうという問題が挙げられる。そこで、最小限のコストで上述の機能を実現することが望まれている。

そこでリプレイ視聴中のハイライトシーンの検出を、リプレイ直後のハイライトイベント指示で行うほか、リプレイ視聴終了後、自動的にリプレイ視聴期間のハイライトシーンを検出してもよい。また、ハイライトシーンの検出は、特徴量をＨＤＤ３３１に記録して、記録した特徴量を利用することによって実現することもできるが、その他、ハイライトシーン候補とその重要度を検出してＨＤＤ３３１に記録し、これを利用してハイライトシーンを検出することもできる。また、ハイライト検出処理については、図７で説明した処理ではなく、後述する実施例５で説明する処理で置き換えることもできる。それにより、ハイライト検出に必要となるＨＤＤ３３１に記録すべきデータを削減することができる。

以上のように、実施例４によれば、リプレイ視聴によって見逃してしまったハイライトシーンを視聴することができるようになる。そして、視聴者はこのハイライトシーンの指示を簡単にすることができる。また、リプレイ実施時刻を記録しておくことにより、前回停車時のハイライトシーンのみをリプレイすることが可能となり、ハイライトシーンを繰り返しリプレイしてしまうことを防ぐことができる。

（実施例５）
図１２は、ハイライトシーンと重要度をＨＤＤ３３１に記録する場合の機能的構成を説明するブロック図である。特徴量抽出部３３０、ＨＤＤ３３１、制御部３３３、操作部３３４の構成は、図３に示した構成と同様であり、図３に示したバス接続の部分のみを説明している。そして、他の構成は図３と同じである。特徴量抽出部３３０には、Ａ／Ｄ変換部３１３，３２３、映像復号部３１５、音声復号部３２５からの出力が入力されている。

特徴量抽出部３３０で抽出された特徴量は、ハイライト検出部１２００に入力される。ハイライト検出部１２００ではハイライトシーンを検出してＨＤＤ３３１に記録する。一方、制御部３３３は、操作部３３４からの入力に基づいてＨＤＤ３３１からハイライトシーンを読み出し、図３に示した映像復号部３１５、音声復号部３２５に出力する。

なお、このハイライト検出部１２００は、特徴量抽出部３３０の次に配置される。この場合、特徴量抽出部３３０によって抽出された特徴量を使用して、動画像コンテンツからハイライト部分を検出、同時にそのハイライト区間の重要度も算出する。ここで、最高重要度を１００、最低重要度を０として、重要度を１００〜０の間の整数値で表現する。重要度の表現方法は、この方法に限定するものではなく、様々な方法が考えられる。ハイライト検出の具体的な方法についても、いかなる方法を使用してもよい。

図１３は、ハイライトシーンと重要度をＨＤＤに記録する場合の処理を説明するフローチャートである。まず、ＨＤＤ３３１に番組コンテンツを録画する（ステップＳ１３０１）。番組コンテンツの録画は、番組受像とともに行う。次に、特徴量を抽出する（ステップＳ１３０２）。抽出した特徴量は、メモリ（図示しない）に記憶して、ＨＤＤ３３１には記録しない。ただし、記憶しておくべき特徴量は、ハイライト検出に必要な時間分で十分であり、必要なメモリ容量はアプリケーションに依存する。

そして、ハイライト候補を検出してＨＤＤ３３１に記録する（ステップＳ１３０３）。ここでは、ＨＤＤ３３１中のハイライトシーンデータベースに記録する。具体的には、ハイライトシーンの開始位置と終了位置、検出されたハイライトシーンの重要度を算出する。このハイライトシーンの開始位置／終了位置と重要度を、ともにデータベースに記録する。

次に、ハイライトイベントの指示があったか否かを判定する（ステップＳ１３０４）。ハイライトイベントの指示があった場合（ステップＳ１３０４：Ｙｅｓ）、図１５に示すハイライト検出処理を実行する（ステップＳ１３０５）。ハイライトイベントの指示がなかった場合（ステップＳ１３０４：Ｎｏ）、またはハイライト検出処理が終了したあと、受像が終了したか否かを判定する（ステップＳ１３０６）。受像が終了していない場合（ステップＳ１３０６：Ｎｏ）、ステップＳ１３０１に戻って処理を再開する。受像が終了した場合（ステップＳ１３０６：Ｙｅｓ）、一連の処理を終了する。

図１４は、ハイライトシーンの開始位置／終了位置と重要度を説明する説明図である。それぞれＩＤに対応させて停車時刻の開始位置、終了位置、重要度、選択フラグを記録する。ここで、「選択フラグ」は視聴者によって選択されたハイライトシーンか否かを意味する。ここで、０はハイライトシーン候補を、１は視聴者によって指示された選択ハイライトシーンを意味する。

データ１４００〜１４０４は、それぞれＩＤ０〜４に対応付けて開始位置および終了位置を記録しているが、これ以降のハイライトシーンについても、ＩＤを５、６、・・と用意しておくことにより、開始位置および終了位置を記録していくことができる。それにより、新たなハイライトシーンを検出する毎にＩＤを１ずつ増加して追記していく。図１４は、このように検出されたハイライトシーン情報の一例である。ＩＤは、各ハイライトシーンを識別するために付与される番号である。また終了時間は、ハイライトシーンの継続時間の形で記録してもよい。

データ１４００は、ＩＤ０に対応付けて記録されており、開始位置は０時０分３０秒１５である。また、終了位置は０時１分１２秒０４である。そして、重要度は３０、選択フラグは０である。データ１４０１は、ＩＤ１に対応付けて記録されており、開始位置は０時２分２１秒２５である。また、終了位置は０時２分５７秒１３である。そして、重要度は４５、選択フラグは１である。データ１４０２は、ＩＤ２に対応付けて記録されており、開始位置は０時３分１秒１４である。また、終了位置は０時３分４７秒０１である。そして、重要度は３７、選択フラグは０である。データ１４０３は、ＩＤ３に対応付けて記録されており、開始位置は０時４分１１秒０４である。また、終了位置は０時４分４３秒２０である。そして、重要度は６０、選択フラグは１である。データ１４０４は、ＩＤ４に対応付けて記録されており、開始位置は０時５分５秒１７である。また、終了位置は０時０分０秒０である。そして、重要度は２２、選択フラグは０である。

図１５は、ハイライトイベントの指示を受けて行うハイライト検出処理を説明するフローチャートである。まず、Ｔｃを現在の再生位置として保存する（ステップＳ１５０１）。次に、一定時間の処理を待つ（ステップＳ１５０２）。それにより、ハイライト検出処理の開始を遅らせる。遅らせることにより、ハイライト候補の終了を待ち、ハイライト候補の開始時間／終了時間を検出できるようにする。

そして、ハイライト検出区間を設定する（ステップＳ１５０３）。ここで、ハイライト検出開始時間をｓ、ハイライト検出終了時間をｅとする。ハイライト検出区間については、たとえば、ｓ＝Ｔｃ−３０秒とする。また、ｅ＝Ｔｃ＋１２０秒とする。この長さは、それぞれアプリケーションに応じて様々に設定することができる。次に、区間［ｓ，ｅ］のハイライト候補をＨＤＤ３３１から読み出す（ステップＳ１５０４）。次に、最高重要度のハイライト候補を選択ハイライトとする（ステップＳ１５０５）。次に、選択ハイライトに選択フラグを設定する（ステップＳ１５０６）。たとえば、選択フラグを１にする。設定後、一連の処理を終了する。

ここで実施例１においては、ハイライトシーンの検出に必要な特徴量を保存した。よって状況に応じたより最適なハイライト検出手法の選択が可能となる。一方で、画像データに比べたとき、圧倒的に少ないデータ量ではあるものの、抽出された特徴量データを保存しておく必要があった。このＨＤＤに記録するデータ量を削減する１つの方法として、リアルタイムにハイライトシーンを検出して、ＨＤＤに記録することが考えられる。しかし、システムのハイライト検出アルゴリズムに完全に依存した形でハイライト検出されるので、視聴者の好きなタイミング、すなわちハイライトイベント指示によるタイミングでは、ハイライト検出することができないという問題があった。

この問題点に対しては、実施例５で示すように、ハイライトシーンの検出と、この重要度をともに検出し、ＨＤＤ３３１に記録するようにすることができる。すなわち、リアルタイムにはハイライトシーン候補とそのハイライトシーンの重要度を検出して、ＨＤＤ３３１に記録する。このとき、ハイライトシーンの検出は、閾値を低く設定し、多めに検出するようにしておくことにより、ハイライトシーンの見落としをより少なくすることができる。そして、ハイライトイベント指示時にはハイライト検出区間内で最も重要度の高いハイライトシーン候補を、所望のハイライトシーンとする。なお、ここではハイライトシーンの重要度付与の方法を特には限定しない。その手法として、音声レベルの高い区間でより高く持続する区間、音声レベルの値がより高い区間、長い無音区間のあとの区間を、重要度の高いハイライトシーンとすることができる。

このように、視聴者からのハイライトイベント指示に応じてこの指示時間に近いハイライトシーンを検出した。ここでさらに、検出されたハイライトシーンの検出条件を記憶しておき、以降はこの条件に近いハイライトシーンを検出した場合に、自動的にハイライトシーンを決定するようにしてもよい。

以上説明した実施例１〜５により、あるタイミングで指示を受け、指示されたタイミングをヒントとして、ハイライトシーンとすることができる。そして、そのハイライトシーンを後に再生することができる。たとえば、車両が走行状態のときに指示を受け、車両が停止状態のときにハイライトシーンを再生することができる。それにより、運転者の運転の邪魔をしない形でコンテンツを視聴できるように支援できる。

リプレイ再生中の場合、リプレイ再生後に指示することにより、視聴できなかった場合でも、後にハイライトシーンとして視聴することができる。それにより、リプレイ中に見逃してしまったシーンがあった場合であっても、ハイライト再生として視聴し直すことができ、視聴中断中の見逃しを最小限にすることができる。

また、運転中やリプレイ中など、視聴者が視聴することができない場合に、視聴者の指示によってハイライトシーンを特定することができる。それにより、たとえばコンピュータによって一方的にハイライトシーンが決められることを防ぎ、視聴者の必要に応じて、かつ視聴者に負担をかけることなく、適切なハイライトシーンを、視聴できる状態のときに視聴することができる。

なお、本実施の形態で説明した記録再生方法は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネットなどのネットワークを介して配布することが可能な伝送媒体であってもよい。

Claims (12)

1. 車両が走行状態にあるか停止状態にあるかを判定する判定手段と、
   前記判定手段によって前記車両が走行状態にあると判定された場合、再生対象となるコンテンツにおける所定のタイミングを指示する指示手段と、
   前記指示手段によって指示されたタイミングに直近する位置において、前記コンテンツのうち代表的なシーンの範囲を特定する特定手段と、
   前記判定手段によって前記車両が停止状態にあると判定された場合、前記特定手段によって特定された範囲で指定される、前記コンテンツの代表的なシーンを再生する再生手段と、
   を備えることを特徴とする記録再生装置。
2. 前記特定手段は、前記コンテンツに含まれる各シーンが前記特徴的なシーンであるか否かを判別し、該シーンが前記特徴的なシーンである区間を前記代表的なシーンの範囲と特定することを特徴とする請求項１に記載の記録再生装置。
3. 前記特定手段は、前記コンテンツに含まれる各シーンについてコンテンツの特徴量を抽出し、該特徴量にしたがって前記シーンが前記特徴的なシーンであるか否かを判別することを特徴とする請求項２に記載の記録再生装置。
4. 前記特定手段は、前記指示手段によって指定されたタイミングより所定時間前の位置以降のシーンが特徴的なシーンに含まれるか否かを判別して前記代表的なシーンの範囲を特定することを特徴とする請求項１に記載の記録再生装置。
5. 前記判定手段は、前記車両が前回停車した時刻を記録し、前記再生手段は、前記代表的なシーンのうち、前記判定手段によって記録された前回停車した時刻以降の位置を再生することを特徴とする請求項１〜４のいずれか一つに記載の記録再生装置。
6. 再生対象となるコンテンツから代表的なシーンを抽出する抽出手段と、
   車両の走行情報を取得する取得手段と、
   前記取得手段によって取得された走行情報にしたがって前記車両の停車時間を予測する予測手段と、
   前記予測手段によって予測される前記停車時間に終了する時間の範囲に、前記抽出手段によって抽出されたコンテンツの代表的なシーンを短縮する短縮手段と、
   前記短縮手段によって短縮された前記コンテンツの代表的なシーンを再生する再生手段と、
   を備えることを特徴とする記録再生装置。
7. 再生対象となるコンテンツにおける所定のタイミングを指示する指示手段と、
   前記指示手段によって指示されたタイミングに直近する位置において、前記コンテンツのうち代表的なシーンの範囲を特定する特定手段と、
   前記特定手段によって特定された範囲で指定される前記コンテンツの代表的なシーンを再生対象として出力する出力手段と、
   を備えることを特徴とする記録再生装置。
8. 再生対象となるコンテンツを記録する記録手段と、
   前記記録手段によって記録されたコンテンツの代表的なシーンを再生する再生手段と、
   前記記録手段によってコンテンツを記録するとともに前記再生手段によって前記代表的なシーンを再生している場合、前記記録手段によって記録しているコンテンツに代表的なシーンが含まれているか否かを判定する判定手段と、
   前記判定手段によって代表的なシーンが含まれていると判定された場合、前記記録手段に該代表的なシーンを記録させる制御手段と、
   を備えることを特徴とする記録再生装置。
9. 再生対象となるコンテンツを記録する記録手段と、
   前記記録手段によって記録されるコンテンツの重要度を検出する検出手段と、
   前記検出手段によって検出された重要度にしたがって、前記コンテンツの代表的なシーンの範囲を特定する特定手段と、
   前記特定手段によって特定された範囲で指定される前記コンテンツの代表的なシーンを再生する再生手段と、
   を備えることを特徴とする記録再生装置。
10. 車両が走行状態にあるか停止状態にあるかを判定する判定工程と、
    前記判定工程によって前記車両が走行状態にあると判定された場合、再生対象となるコンテンツにおける所定のタイミングを指示する指示工程と、
    前記指示工程によって指示されたタイミングに直近する位置において、前記コンテンツのうち代表的なシーンの範囲を特定する特定工程と、
    前記判定工程によって前記車両が停止状態にあると判定された場合、前記特定工程によって特定された範囲で指定される、前記コンテンツの代表的なシーンを再生する再生工程と、
    を含むことを特徴とする記録再生方法。
11. 請求項１０に記載の記録再生方法をコンピュータに実行させることを特徴とする記録再生プログラム。
12. 請求項１１に記載の記録再生プログラムを記録したことを特徴とするコンピュータに読み取り可能な記録媒体。

Images