WO2006082787A1

WO2006082787A1 - 記録再生装置および記録再生方法および記録再生プログラムを格納した記録媒体および記録再生装置において用いられる集積回路

Info

Publication number: WO2006082787A1
Application number: PCT/JP2006/301468
Authority: WO
Inventors: Takashi Kawamura; Masayuki Misaki; Meiko Masaki
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2005-02-03
Filing date: 2006-01-30
Publication date: 2006-08-10
Also published as: US20080037953A1; JP4717060B2; CN1954604A; JPWO2006082787A1; EP1845724A1

Abstract

　利用者の番組録画予約等に基づき、放送番組を蓄積部１１に録画する。次に、利用者が当該番組について早送り再生を指示する。ＡＶ分析部１２は当該録画した番組の映像・音声信号を分析する。次に、速度決定部１３は、当該分析結果に基づいて当該番組を構成する映像・音声信号の再生速度を決定する。音声再生速度変換部１４、映像再生速度変換部１５は、当該決定された再生速度に基づいて、映像信号および音声信号を早送り再生する。

Description

記録再生装置および記録再生方法および記録再生プログラムを格納した記録媒体および記録再生装置において用いられる集積回路

技術分野

[0001] 本発明は、記録再生装置および記録再生方法および記録再生プログラムを格納した記録媒体に関し、より特定的には、可変速再生機能を有する記録再生装置及び記録再生方法および記録再生プログラムを格納した記録媒体および記録再生装置にお!、て用いられる集積回路に関するものである。

背景技術

[0002] 従来、音程を変えることなく AVデータを一定の速度で早見再生または遅見再生する記録再生装置がある。このような記録再生装置においては、例えば、音声と映像の再生速度を常に一致させることで、違和感なく早見再生または遅見再生への移行を実現することができる。その一方で、効率的な視聴のため、再生速度をより高速化するニーズも高まっている。しかし、再生速度を上げすぎると、逆に文章了解度が低下する（早口で再生されるため、何を言って、るのか聞き取りに《なる） t 、う問題が発生する。このような問題に関して、音声'非音声部分によって再生速度を適宜変えるような可変速再生方法が知られている。これは、例えば音声部分ではより遅い速度で、非音声部分ではより速い速度で再生することによって、文章了解度を低下させることなく高速再生を実現できる (例えば特許文献 1)。

[0003] また、リアルタイムに再生することが要求されるテレビ放送のような場合でも、可変速再生は有効に用いられている。具体的には、主に高齢者向けにテレビ放送の音声の文章了解度を改善するため、音声部分の再生速度を下げて遅見再生とし、非音声部分の再生速度は早見再生することで、大容量記憶装置を持たな、テレビでのリアルタイム再生と明瞭再生を両立する方法が知られている。このような方式では、映像信号の速度については、固定速度にするか、音声速度の変化に追随させるかのいずれかの手法が用いられる（例えば特許文献 2)。

[0004] 上述のような従来の記録再生装置の構成について、図 16を用いて説明する。図 16 は、従来の記録再生装置の構成を示すブロック図である。図 16において、 AVデータ蓄積手段 101は、 AVデータを蓄積する。具体的な例としては、 AVデータ蓄積手段 101は、ハードディスクや DVDなどの大容量ディスクメディア、半導体メモリなどが挙げられる。オーディオデータ分析手段 102は、 AVデータ蓄積手段 101で蓄積された AVデータの音声部分のみを分析する。オーディオデータ分析手段 102が行う分析内容としては、音声信号の音声，非音声判定等がある。速度決定手段 103は、ォーディォデータ分析手段で分析された結果に基づき音声と映像の再生速度を決定する。速度決定手段 103が行う速度決定方法としては、例えば、音声'非音声の判定結果に基づき、音声区間では 1. 3倍という比較的聴き取りやすい速度に設定し、非音声区間では 4倍速という高速性を重視した速度に設定する方法がある。また、音声区間と非音声区間の占める時間の割合に基づき、例えば 2倍速というような目標速度に収まるよう、音声区間や非音声区間の速度を設定あるいは適応制御する方法もある。ただし、この場合でも、音声区間は聴き取りやすい速度に設定し、非音声区間では高速性を重視した速度に設定する。音声再生速度変換手段 104は、速度決定手段 103で決定された再生速度に基づき、 AVデータ蓄積手段 101から読み出してきた音声信号の再生速度を、音程を変えることなく適応的に変化させる。具体的な例としては、ピッチ検出を行、クロスフェード処理を行うことで時間軸圧伸を実現する PICO LAや、定期的に十数〜数十ミリ秒分のクロスフェード処理を行うことで時間軸圧伸を実現する OLA、 OLAにさらに相関処理をカ卩えることでクロスフェード部の滑らかな音質を実現する SOLAなどの音声速度変換方式が知られて、る。画像再生速度変換手段 105は、速度決定手段 103で決定された映像再生速度に応じて、 AVデータ蓄積手段 101から読み出してきた映像信号の再生速度を変換する。画像再生速度変換手段 105で行われる速度制御方法としては、音声再生速度変換手段 104と同じ速度に追従させる制御方法や、平均速度 (前述の目標速度)や最低速度 (前記の例の場合 1. 3倍)で一定に保持する制御方法などがある。

上述のような構成を有する記録再生装置において、音声の分析を行い音声'非音声部分によって再生速度を変える (例えば音声部分ではより低い速度で、非音声部分ではより高い速度で再生する）ことによって、文章了解度を低下させることなく早見再生を行うことができ、効率的な視聴を実現することができる。

特許文献 1：特開 2001— 290500号公報

特許文献 2：特開 2001 - 298710号公報

発明の開示

発明が解決しょうとする課題

[0006] し力しながら、上述のような記録再生装置では、映像再生速度については、音声再生速度に追随させるか、または一定の速度に固定するかのいずれかの速度に設定せざるを得ない。そのため、例えば前者の場合、音声再生速度が音声'非音声によつて変化するのに伴い映像再生速度も頻繁に変わることになる。その結果、スポーツなどの動きの激しいシーンや風景をパンしているシーンなどでは動きに滑らかさがなくなつてしまい、利用者に違和感を与える。図 17は、このような場合の映像と音声の再生速度制御例を示したものである。横軸が再生に要する実時間、縦軸が再生コンテンッの記録時間である。図 17では、映像再生速度を音声速度に追従させた結果、例えばスポーツシーンでは映像の再生速度が 2度切り替わっており、滑らかな映像が視聴できない。一方、後者の場合、映像が一定の速度で再生されるため、スポーツや風景シーンでの違和感はなくなるものの、ニュースなどのアナウンサーが話しているシーンで口の動きと音声にずれが発生してしま、、利用者に違和感を与えることになる。図 18は、このような場合の映像と音声の再生速度制御例を示したものである。図 18では、例えばアナウンサーのアップシーンにおいては、映像と音声の再生速度がー致していない。

[0007] それ故に、本発明の目的は、テレビ放送番組や撮影動画などを記録'再生する記録再生装置および記録再生方法にぉ、て、シーンに応じて音声と画像の両方の再生速度を制御することで、違和感のな!、可変速再生を実現する記録再生装置および記録再生方法を提供することである。

課題を解決するための手段

[0008] 上記目的を達成するために、本発明は以下のような構成を採用した。

[0009] 本発明の第 1の局面は、音声信号および映像信号を蓄積する AVデータ蓄積部と

、AVデータ蓄積部に蓄積された音声信号および映像信号の特徴量を分析する AV データ分析部と、 AVデータ分析部で分析された音声信号および映像信号の特徴量に基づき音声信号および映像信号の再生速度を決定する速度決定部と、速度決定部で決定された音声再生速度に基づき音声信号の再生速度を変化させる音声再生速度変換部と、速度決定部で決定された映像再生速度に基づき、映像信号の再生速度を変化させる画像再生速度変換部とを備える記録再生装置である。

[0010] 本発明の第 2の局面は、第 1の発明において、 AVデータ分析部は、 AVデータ蓄積部に音声信号および映像信号が蓄積されるときに併せて前記分析を行い、当該分析結果を音声信号および映像信号と関連付けて保存し、速度決定部は、分析結果に基づき音声信号および映像信号の再生速度を決定することを特徴とする。

[0011] 本発明の第 3の局面は、第 1の発明において、再生中の音声信号および映像信号の時間差を算出する時間差算出部をさらに備え、速度決定部は、時間差算出部が算出した時間差に応じて音声信号と映像信号とのいずれか一方の再生速度を決定することを特徴とする。

[0012] 本発明の第 4の局面は、第 2の発明において、 AVデータ分析部で分析された音声信号および映像信号の特徴量に基づき、音声信号および映像信号の同期を取るための同期情報を生成する AV同期部をさらに備え、音声再生速度変換部および映像再生速度変換部は、同期情報に基づいて音声信号および映像信号の同期を取ることを特徴とする。

[0013] 本発明の第 5の局面は、第 1の発明において、 AVデータ分析部は、映像信号の特徴量から顔画像を検出する顔画像検出部を有する。また、速度決定部は、顔画像の検出結果に応じて再生速度を決定する。

[0014] 本発明の第 6の局面は、第 1の発明において、 AVデータ分析部は、映像信号の特徴量カも動きベクトルを検出する動きベクトル検出部を有する。また、速度決定部は、動きベクトルの検出結果に応じて再生速度を決定する。

[0015] 本発明の第 7の局面は、第 1の発明において、速度決定部は、 AVデータ分析部で分析された特徴量に基づき、映像信号の再生速度を予め定められた速度で再生する第 1の再生モードと映像信号の再生速度を音声信号の再生速度に追従させて再生する第 2の再生モードとの間で再生モードを切替える指示信号を画像再生速度変換部に出力し、画像再生速度変換部は、速度決定部から指示された再生モード〖こ基づいて映像信号の再生速度を変化させることを特徴とする。

[0016] 本発明の第 8の局面は、第 7の発明において、 AVデータ分析部は、映像信号の特徴量から顔画像を検出する顔画像検出部を有する。また、速度決定部は、顔画像が検出されていない映像信号は第 1の再生モードで再生し、顔画像が検出された映像信号は第 2の再生モードで再生する指示信号を画像再生速度変換部に出力する。

[0017] 本発明の第 9の局面は、第 7の発明において、 AVデータ分析部は、映像信号の特徴量から映像の動きベクトルを検出する動きベクトル検出部を有する。また、速度決定部は、動きベクトルが所定値以上の映像信号は第 1の再生モードで再生し、動きベクトルが当該所定値以下の映像信号は第 2の再生モードで再生する指示信号を画像再生速度変換部に出力する。

[0018] 本発明の第 10の局面は、音声信号および映像信号を蓄積する AVデータ蓄積ステップと、 AVデータ蓄積ステップが蓄積した音声信号および映像信号の特徴量を分析する AVデータ分析ステップと、 AVデータ分析ステップで分析された音声信号および映像信号の特徴量に基づき音声信号および映像信号の再生速度を決定する速度決定ステップと、速度決定ステップで決定された音声再生速度に基づき、音声信号の再生速度を変化させる音声再生速度変換ステップと、速度決定ステップで決定された映像再生速度に基づき、映像信号の再生速度を変化させる画像再生速度変換ステップとを備える記録再生方法である。

[0019] 本発明の第 11の局面は、音声信号および映像信号を蓄積する AVデータ蓄積部を備える記録再生装置のコンピュータに、音声信号および映像信号を AVデータ蓄積部に蓄積する AVデータ蓄積ステップと、 AVデータ蓄積部に蓄積された音声信号および映像信号の特徴量を分析する AVデータ分析ステップと、 AVデータ分析手段で分析された音声信号および映像信号の特徴量に基づき音声信号および映像信号の再生速度を決定する速度決定ステップと、速度決定ステップで決定された音声再生速度に基づき、音声信号の再生速度を変化させる音声再生速度変換ステップと、速度決定ステップで決定された映像再生速度に基づき、映像信号の再生速度を変化させる画像再生速度変換ステップとを実行させるための記録再生プログラムを格納した記録媒体である。

[0020] 本発明の第 12の局面は、音声信号および映像信号を蓄積する AVデータ蓄積部を備える記録再生装置において用いられる集積回路であって、 AVデータ蓄積部に蓄積された音声信号および映像信号の特徴量を分析する AVデータ分析部と、 AV データ分析部で分析された音声信号および映像信号の特徴量に基づき音声信号および映像信号の再生速度を個別に決定する速度決定部と、速度決定部で決定された音声再生速度に基づき音声信号の再生速度を変化させる音声再生速度変換部と、速度決定部で決定された映像再生速度に基づき映像信号の再生速度を変化させる画像再生速度変換部とを備える、集積回路である。

発明の効果

[0021] 上記第 1の局面によれば、音声と映像の両方を分析することで、音声と映像との両方の再生速度をシーンに応じて個別に制御できるようになる。

[0022] 上記第 2の局面によれば、音声と映像を蓄積するときに分析も済ませておくため、再生時に分析をするときにくらべ、再生時における処理負荷が軽減される。

[0023] 上記第 3の局面によれば、速度変換後の音声'映像の再生時間差を適宜測定し、時間差が拡大しな、ように再生中に随時音声あるいは映像再生速度を制御することで、音声と画像が大きくずれることのな、可変速再生を実現することができる。

[0024] 上記第 4の局面によれば、分析結果に基づいて、例えばシーンが切り替わる場面で映像と音声との同期を取る等の同期情報を、再生に先立って予め生成する。そして、上記同期情報に基づいて再生することで、同期ずれによる違和感を与えることをより軽減した再生を行うことができる。

[0025] 上記第 5の局面によれば、シーン中の顔画像の有無に応じて、再生速度を変化させることができる。そのため、例えば人間が話しているシーンでは再生速度を遅くし、それ以外のシーンでは再生速度を速めるなど、シーンに応じた再生速度の調整が可能となる。

[0026] 上記第 6の局面によれば、シーン中における動きの激しさに応じて再生速度を変化させることができる。そのため、例えば動きが激しいシーンでは再生速度を遅くし、それ以外のシーンでは再生速度を速めるなど、シーンに応じた再生速度の調整が可能となる。

[0027] 上記第 7の局面によれば、上記第 1の局面と同様の効果が得られる。

[0028] 上記第 8の局面によれば、上記第 5の局面と同様の効果が得られる。

[0029] 上記第 9の局面によれば、上記第 6の局面と同様の効果が得られる。

[0030] また、本発明の記録再生方法、記録再生プログラムを格納した記録媒体および記録再生装置に用いる集積回路によれば、上述した第 1の局面と同様の効果を得ることがでさる。

図面の簡単な説明

[0031] [図 1]図 1は、本発明の実施形態に係る記録再生装置のハードウェア構成を示す図である。

[図 2]図 2は、本発明の第 1の実施形態に係る記録再生装置を示す機能ブロック図である。

[図 3]図 3は、本発明の第 1の実施形態に係る記録再生処理を示すフローチャートである。

[図 4]図 4は、図 3のステップ S4で示した再生速度決定処理の詳細を示したフローチヤートである。

[図 5]図 5は、図 4のステップ S 11で示した音声速度決定処理の詳細を示したフローチャートである。

[図 6]図 6は、図 4のステップ S 12で示した映像速度決定処理の詳細を示したフローチャートである。

[図 7]図 7は、シーンに応じて画像再生速度を制御した場合の例である。

[図 8]図 8は、本発明の第 2の実施形態に係る記録再生装置を示す機能ブロック図である。

[図 9]図 9は、本発明の第 2の実施形態に係る記録再生処理を示すフローチャートである。

[図 10]図 10は、本発明の第 3の実施形態に係る記録再生装置を示す機能ブロック図である。 [図 11]図 11は、本発明の第 3の実施形態に係る記録再生処理を示すフローチャートである。

[図 12]図 12は、図 4のステップ S 11で示した音声速度決定処理の詳細を示したフロ一チャートである。

[図 13]図 13は、本発明の第 4の実施形態に係る記録再生装置を示す機能ブロック図である。

[図 14]図 14は、本発明の第 4の実施形態に係る記録再生処理を示すフローチャートである。

[図 15]図 15は、同期処理を行って再生速度を制御した場合の例である。

[図 16]図 16は、従来の記録再生装置を示す機能ブロック図である。

[図 17]図 17は、従来の記録再生装置での再生速度の例である。

[図 18]図 18は、従来の記録再生装置での再生速度の例である。

符号の説明

1 バス

2 CPU

3 主記憶部

4 二次記憶部

5 操作部

6 表示部

7 人出力インターフェース部

10、 20、 30、 40、 100 記録再生装置

11 蓄積部

12 AV分析部

13 速度決定部

14 音声再生速度変換部

15 映像再生速度変換部

21 時間差測定部

31 AV同期部 101 AVデータ蓄積手段

102 オーディオデータ分析手段

103 速度決定手段

104 音声再生速度決定手段

105 画像再生速度決定手段

発明を実施するための最良の形態

[0033] (第 1の実施形態）

以下、本発明の実施の形態について、図面を参照して説明する。尚、この実施例により本発明が限定されるものではない。

[0034] 図 1は、本発明の第 1の実施形態に係る記録再生装置のハードウェア構成の示すブロック図である。記録再生装置 10は、 CPU2、主記憶部 3、二次記憶部 4、操作部 5、表示部 6、および入出力インターフェース部 7を備えており、互いにバス 1を介して接続される。主記憶部 3は、 ROMや RAMなどのメモリ用媒体で実現される。また、主記憶部 3には、 CPU2が実行すべき記録再生プログラムが読み込まれる。なお、記録再生プログラムは、あら力じめ ROMの形で主記憶部 3に記憶されていても構わないし、二次記憶部 4から主記憶部 3に読み込まれても構わないし、通信回線を通じて外部より主記憶部 3に供給されても構わない。 CPU2は、記録再生プログラムを実行すること〖こよって、音声'映像信号 (以下、 AV信号)の分析や AV信号の記録再生等を行う。二次記憶部 4は、ハードディスクや DVD— RAM等の記憶媒体で実現される。また、二次記憶部 4には、上記記録再生プログラムや各種データや AV信号 (より正確には AV信号を変換した AVデータ）が格納される。操作部 5は、キーボードゃリモコン等の操作用装置で実現される。表示部 6は、液晶ディスプレイ等の装置で実現される。入出力インターフェース部 7は、ビデオ出力端子や S端子やスピーカー端子やヘッドホン端子等で実現される。具体的には、記録再生装置 10は、上述のハードウエア構成を有するパーソナルコンピュータ等の汎用コンピュータ、ハードディスクレコーダ、 DVDレコーダ一等のデジタノレ AVプレーヤ一等である。

[0035] 図 2は、本発明の第 1の実施形態に係る記録再生装置 10の一例を示すブロック図である。図 2において、記録再生装置 10は、蓄積部 11、 AV分析部 12、速度決定部 13、音声再生速度変換部 14、および映像再生速度変換部 15で構成される。

[0036] 蓄積部 11は、二次記憶部 4上で実現される。蓄積部 11には、録画した番組や撮影動画等の映像信号および音声信号が MPEG形式等の映像データ'音声データ（以下、 AVデータと称す）にエンコードされて格納される。

[0037] AV分析部 12は、蓄積部 11に蓄積された映像'音声信号を分析する。ここで、分析する内容については、例えば、音声信号の場合は音声区間'非音声区間の検出等

1S また映像信号の場合は、顔画像の検出、画像の輝度検出、動きベクトルの検出等が考えられる。また、 AV分析部 12は、上記分析した結果を、速度決定部 13へ出力する。

[0038] 速度決定部 13は、上記 AV分析部 12による分析結果に基づいて、映像 ·音声信号の再生速度を決定する。また、速度決定部 13は、当該決定した再生速度を、音声再生速度変換部 14および映像再生速度変換部 15へ通知する。また、速度決定部 13 は、後述するコマ落ち再生を行う旨の指示を映像再生速度変換部 15に出力する。音声再生速度変換部 14は、蓄積部 11に蓄積された音声信号を、上記速度決定部 1 3から通知される再生速度に基づいて変換して入出力インターフェース部 7へ出力する。同様に、映像再生速度変換部 15は、蓄積部 11に蓄積された映像信号を、上記速度決定部 13から通知される再生速度に基づいて変換して入出力インターフェース部 7へ出力する。また、映像再生速度変換部 15は、速度決定部 13からの指示を受け、後述するコマ落ち再生の制御を行う。

[0039] なお、図 2に示す AV分析部 12、速度決定部 13、音声再生速度変換部 14、および映像再生速度変換部 15は、典型的には集積回路である LSIとして実現してもよ、。これらは、個別に 1チップィ匕されても良いし、一部または全てを含むように 1チップィ匕されても良い。また、集積回路化の手法は、 LSIに限るものではなぐ専用回路または汎用プロセッサで実現してもよい。また、 LSI製造後に、プログラムすることが可能な F PGA (Field Programmable Gate Array)や、 LSI内部の回路セルの接続ゃ設定を再構成可能なリコンフィギユラブル 'プロセッサーを利用しても力まわない。さらに、半導体技術の進歩または派生する別技術により、 LSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積ィ匕を行ってもよい。ノィォ技術の適応等が可能性としてありえる。なお、このような集積回路である LSIとしての実現については、後述する第 2の実施形態以降についても同様である。

[0040] ここで、第 1の実施形態に力かる記録再生装置 10の動作の概略について説明する。まず、利用者の番組録画予約等に基づき、図示しない受信部で受信した放送番組を蓄積部 11に録画する。次に、利用者が当該番組について早見再生を指示する。 AV分析部 12は、当該録画した番組の映像'音声信号の特徴量を分析する。次に、速度決定部 13は、当該分析結果に基づいて当該番組を構成する映像'音声信号の再生速度を決定する。そして、当該決定された再生速度に基づいて、映像信号および音声信号が再生される。

[0041] 以下、図 3〜図 7を用いて、記録再生装置 10が行う記録再生処理の詳細動作を説明する。図 3は、第 1の実施形態に係る記録再生処理を示すフローチャートである。図 3において、まず、 CPU2は、利用者力の録画指示等に基づいて、蓄積部 11に番組を録画する (ステップ Sl)。次に、 CPU2は、利用者から録画した番組の再生指示を受けて、指定された番組の蓄積部 11からの読み出しを AV分析部 12、音声再生速度変換部 14および映像再生速度変換部 15に開始させる (ステップ S2)。このとき、利用者は、再生する番組等の再生終了までの目標時間を指定してもよい。例えば、 60分の番組を 30分で再生するよう指定して再生を開始してもよい。ここで、蓄積部 11から読み出されるデータについては、一度で 5秒分のデータが読み出されて、以下に述べる各処理が行われるものとする。

[0042] 次に、 AV分析部 12は、蓄積部 11から読み出した番組の映像'音声データの分析を行い、速度決定部 13に分析結果を出力する (ステップ S3)。このステップ S3の処理をより具体的に説明すると、 AV分析部 12は、読み出された映像 ·音声データのうち、映像データを構成する各画像フレームについて、例えば、画像の輝度、顔画像の有無、動きベクトル、シーンチェンジ点等の画像の特徴量を分析する。同様に、音声データについても、例えば音声であるか非音声である力、音声を S、それ以外の音を Nとした SZN比がいくらか等の、音声の特徴量の分析を行う。そして、 AV分析部 1 2は、分析した画像'音声データのタイムスタンプと上記画像'音声の各特徴量の情報とを関連付け、分析結果として速度決定部 13に出力する。 [0043] ここで、上記映像の特徴量の分析における輝度検出とは、ある時点における画像フレームの輝度を検出することである。これは、例えば各画像フレームの輝度情報そのものを検出してもよいし、所定時間内の画像フレーム間における輝度の変化が激しい場面の有無を閾値判定して検出してもよい。顔画像検出とは、ある時点における画像フレーム力も人の顔を検出することである。これは、上記の画像フレームの輝度に加え、色差情報や輪郭の丸さ等に基づいて検出すること等が考えられる。なお、顔画像検出について、画像フレーム内に顔が占める割合に基づいて、顔画像の「有 Z無」を分析結果として出力する他、顔画像である「可能性」を分析結果として出力してもよい (例えば、顔画像が存在する確率が 75%である旨等)。動きベクトル検出とは、映像の動きの激しさを示す動きベクトルを検出することである。また、シーンチェンジ点とは、例えば-ユース番組で外ロケのシーンからアナウンサーのアップのシーンに切り替わるなどの、番組において場面が切り替わる点であり、輝度の時間変化量が大きいときは場面が変わったものと推測することが考えられる。

[0044] 次に、速度決定部 13は、上記 AV分析部 12より出力された分析結果に基づいて、音声信号および映像信号それぞれの再生速度を決定し、当該決定した音声再生速度 ·映像再生速度を音声再生速度変換部 14、映像再生速度変換部 15に通知する（ステップ S4)。このステップ S4の処理を、図 4〜図 6を使ってより具体的に説明する。図 4は、上記ステップ S4で示した再生速度決定処理の詳細を示すフローチャートである。図 4において、まず、速度決定部 13は、音声速度決定処理を行う（ステップ S1 Do音声速度の決定については、例えば非音声区間であれば 4倍速という高速性を重視した速度に設定し、音声区間であれば 1. 3倍速という聴き取りやすい速度に設定することが考免られる。

[0045] 図 5は、上記ステップ S 11で示した音声速度決定処理のフローチャートである。図 5 において、まず速度決定部 13は、分析結果を参照して、処理対象となる区間が音声区間か否かを判定する (ステップ S21)。その結果、音声区間であれば (ステップ S21 で YES)、速度決定部 13は、当該区間の音声再生速度を 1. 3倍速に設定する (ステップ S22)。一方、非音声区間であれば (ステップ S21で NO)、速度決定部 13は、当該区間の音声再生速度を 4倍速に設定する (ステップ S23)。以上で音声速度決定処理は終了する。

[0046] 図 4に戻り、ステップ S11の音声速度決定処理が終了すると、速度決定部 13は、映像速度決定処理を行う（ステップ S 12)。ステップ S 12で行われる映像再生速度の決定の方法については、上記分析結果で顔画像が検出されている場面は、映像信号の再生速度を音声信号に追従させると、うように設定することが考えられる。これは、例えば-ユース番組においてアナウンサーが-ユースを読み上げている場面等に適用される。また、所定の時間内における映像の動きベクトルの総和力も動きが激しい場面であると判定されるような場合、音声信号の再生速度とは切り離して、例えば 2倍速という固定速度に設定することが考えられる。これは、例えば映画のアクションシーン等では、映像の再生速度を音声に追従させると、一連のアクションシーン内で動きが急に速くなつたり遅くなつたりし、結果として滑らかなアクションを観る事ができないこと力ら、固定速度に設定するものである。また、動きベクトルの総和は小さいが、ベタトルの向きと大きさが一定である画像フレームが任意の時間継続されているような場合は、風景が流れているような、いわゆるパン映像と推測される。そのため、このような場合も映像の滑らかな動きを重視し、上述のような固定速度に設定することが考えられる。

[0047] なお、上述のような映像を固定速度化する方式では映像，音声が非同期再生となる。し力しながら、このような非同期再生の実施が困難なケースもある。例えば MPEG などの圧縮動画形式の場合、同一時刻付近の映像'音声ストリームはマルチプレックス処理されたうえで 1本のストリームとしてメディアに記録される。そのため、再生時にはメディア力ものデータ読出しの後、映像'音声いずれかのストリームをメモリ等にバッファリングし、それぞれ適切なタイミングでデコード '出力再生する必要が生じる。機器によっては、上記処理のうち、コスト面の理由で大容量のメモリを保持しえないケースゃ、再生時間管理の都合上、非同期再生そのものが不可能な設計となっているケースなども考えられる。このような場合は、上記非同期再生ではなぐコマ落ち再生方法を用いても良い。コマ落ち再生方法とは、動画再生において、ある任意の間隔ごとにフレームまたはフィールドを飛び飛びに表示させる方法である。この場合、表示する映像の出力タイミングは、音声と同じ (すなわち同期出力再生)であってもよい。このように、コマ落ち再生方法を用いれば、滑らかな映像にはならないが、映像と音声とがある程度同期しているため、上述の非同期再生を用いるときほどの不自然さは無ぐ視聴者に与える違和感を低減することができる。

[0048] また、シーンチェンジ点を利用して、映像と音声の同期を取るように映像再生速度を調整することも考えられる。例えば、動きの激しい場面で上述のような非同期再生を用いた場合、映像の再生が音声より遅れているときにおいて、外ロケのシーンからスタジオ内のアナウンサーのアップシーンに切り替わると、アナウンサーが-ユースを読み上げる音声が流れて、るにも関わらず外ロケの映像が流れることになり、利用者に違和感を与えてしまう。そのため、このような場合はシーンが切り替わるタイミング（シーンチェンジ点）で、遅れている分の外ロケの映像をスキップしてアナウンサーの映像が出力されるようにすることで、映像と音声とが同期するように調整する等の処理が考えられる。

[0049] 図 6は、上記ステップ S 12で示した映像速度決定処理の一例を示すフローチャートである。図 6において、まず、速度決定部 13は、分析結果から処理対象となる画像がパン映像あるいは動きが激しい場面力否かを判定する (ステップ S31)。その結果、パン映像あるいは動きが激しい場面であれば (ステップ S31で YES)、速度決定部 13 は、上記分析結果を参照して、処理対象場面がシーンチェンジ点力否かを判定する (ステップ S32)。当該判定の結果、シーンチェンジ点でなければ (ステップ S32で N 0)、映像再生速度を予め指定されている固定速度 (例えば 2倍速）に決定する。または、映像は音声再生速度に追従（同期）しつつも、予め指定されている映像のコマ落ち再生に移行する（ステップ S33)。一方、シーンチェンジ点であれば (ステップ S32 で YES)、その時点での再生に力かる音声と映像との時間差に応じて、両者の時間差が縮まるように (例えば音声が先行して再生されているときは、画像の再生速度を現在よりも速ヽ速度にする）画像速度を決定する (ステップ S34)。

[0050] 一方、ステップ 31の判定の結果、パン映像でも動きの激、場面でもなければ (ステツプ S31で NO)、速度決定部 13は、分析結果力も顔映像があるか否かを判定する（ステップ S35)。その結果、顔画像がないときは (ステップ S35で NO)、ステップ S3 2の処理へ進む。一方、顔画像があれば (ステップ S35で YES)、シーンチェンジ点か否かを判定する（ステップ S36)。ステップ S36の判定の結果、シーンチェンジ点でないときは (ステップ S36で NO)、画像速度を音声速度に追従する速度に設定する（ステップ S39)。一方、ステップ S36の判定の結果、シーンチェンジ点であるときは（ステツプ S36で YES)、再生に力かる音声と映像との時間差が所定値以上か否力判定する (ステップ S37)。当該判定の結果、時間差が所定値以上なら (ステップ S37で Y ES)、音声と同期するように画像の再生速度を調整する。例えば、映像の再生が遅れているときは、遅れている分の映像をスキップする旨を、また、映像が先行して再生されているときは、音声が追いつくまで映像の再生を一時停止させる旨を、画像速度として設定する (ステップ S38)。一方、時間差が所定値以下なら、速度決定部 13は、上述したステップ S39の処理へと進む。以上で、映像速度決定処理は終了する。

[0051] 図 4に戻り、ステップ S12の映像速度決定処理が終了すると、速度決定部 13は、上記ステップ S11で決定した音声再生速度を音声再生速度変換部 14に通知する。併せて、上記ステップ S 12で決定した映像再生速度を映像再生速度変換部 15に通知する。以上で、再生速度決定処理が終了する。

[0052] 図 3に戻り、ステップ S4の速度決定処理処理が終了すると、 CPU2は、音声再生速度変換部 14に音声信号の速度変換および出力処理を行わせる。併せて、 CPU2は、映像信号の速度変換および出力処理を映像再生速度変換部 15に行わせる (ステップ S5)。このステップ S5の処理をより具体的に説明すると、まず、音声再生速度変換部 14は、蓄積部から読みだした音声データを音声信号にデコードする。そして、音声再生速度変換部 14は、速度決定部 13から通知された音声再生速度に基づく再生速度に当該音声信号を変換して、入出力インターフェース部 7に出力する。併せて、映像再生速度変換部 15は、蓄積部から読みだした映像データを映像信号にデコードする。そして、映像再生速度変換部 15は、速度決定部 13から通知された映像再生速度に基づく再生速度に当該映像信号を変換して、入出力インターフェース部 7に出力する。以上で、第 1の実施形態に力かる記録再生処理は終了する。

[0053] このように、第 1の実施形態では、蓄積部 11に記録されている番組ごとの映像 '音声を分析し、再生速度を決定することで、シーンに応じて適宜、音声と画像の両方の再生速度を適応制御することで、違和感のな、可変速再生を実現することができる。 [0054] 図 7は、ある番組の再生時間が最終的に半分 (すなわち目標速度 2倍速）になるように、シーンに応じて画像再生速度を制御した場合の例である。図 7において、横軸は再生に要する実時間、縦軸は再生コンテンツの記録時間を示す。また、再生される番組は大きく 3つのシーンで構成されており、動きが激しい外ロケシーン (以下、シーン 1)、パン映像を含む外ロケシーン（以下、シーン 2)、アナウンサーがアップで話して、る（顔画像が検出される）アップシーン (以下、シーン 3)の 3つに分かれて、る。図 7では、例えば、シーン 1および 2では、音声については、音声区間では再生速度を遅めにし、非音声区間では再生速度を音声区間での再生速度より速めている。また、映像については、映像の動きを滑らかにして観やすくするために、映像再生速度を一定に保ったり、あるいはコマ落ち再生させるような制御を行っている。一方、シーン 3では、映像再生速度を音声再生速度に追従させるような制御を行っている。また、シーン 2からシーン 3に切り替わる点（シーンチェンジ点 2)では、再生が遅れている映像をスキップすることで、音声と映像との同期を取っている。その結果、シーン 3においては、当該シーンの開始時点力音声と映像の同期が取られた状態 (アナゥンサ一の口の動きと音声が一致する）で視聴することができる。

[0055] なお、上述した AV分析部 12が行う顔画像検出の判定閾値について、再生中の番組内で固定的に設定するだけでなぐ再生中に随時閾値が変化するような、可変閾値にしてもよい。例えば、上記検出した動きベクトル力も動きの激しさを判定し、動きが激、場面 (人が話して、る可能性が少な、と考えられる）であれば顔画像が検出されにく!、ような閾値を設定し、動きが激しくな、場面 (人が話して、る可能性が高くなると考えられる）になるにつれ顔画像が検出されやすいような閾値を設定しても力まわない。また、例えば、風景をパンしている映像（以下、パン映像）のようなとき、むやみに顔画像を検出をすると、一連のパン映像中に映像再生速度が速くなつたり遅くなったりして、いわば必要以上に再生速度の変化を行ってしまう。そのため、パン映像のときは、顔検出されにくいような閾値を設定するようにしてもよい。また、例えば、所定時間内において音声区間の占める割合が大きぐ且つ音声と非音声の SZN比が大き、場合は、画面内に話者 (すなわち二人以上の人物）カ^、る可能性が高、と考えられる。そのため、このような場合も、顔画像が検出されやすいような閾値を設定するようにすることも考えられる。また、予め電子番組表等を用いて録画する番組のジヤンルなどを調べておき、当該番組のジャンルを考慮した分析を行ってもよい。例えば、ニュース番組等は、一般的にアナウンサーの顔が占める画像面積の割合に変動が少ない。そのため、上述した顔検出に用いる判定閾値を固定値にすることが考えられる。

[0056] また、上記ステップ S3で行われる音声の特徴量の分析にぉヽて、非音声を判別されたものを、 HMM (Hidden Markov Model)や GMM (Gaussian Mixture Model)に基づく音声信号推定法等を用いて、更に拍手 '歓声'雑音などに分類し、ステップ S4におヽて、当該分類に応じて音声再生速度を決定することも考えられる。

[0057] また、上記ステップ S22あるいは S23で設定する音声再生速度についても、 1. 3倍や 4倍に限らずに、その時点の状況に応じて適応的に設定してもよい。例えば、 SZ N比が悪いときは、一般的に音質が悪く聴き取りにくいと考えられることから、このような場合は聴き取りやすくするために音声区間の再生速度をより低く設定することも考えられる。また、音声'非音声の時間を累計しておき、再生速度を決定する時点より以前の音声'非音声の時間の比率等に基づいて、番糸且全体を予め設定した上記目標時間で再生できるように適応的に速度を決定してもよい。例えば、 60分の番組を 3 0分で再生するよう指定して再生を開始した場合、番組内時間が 20分経過した時点で、その時点での再生速度と 20分間の音声 ·非音声区間の比率 (例えば 20分のうち 15分は音声区間→今後も音声区間が多い可能性が高い、等）に基づき、現状の速度設定で 30分以内に再生しきれるか否力を算出する。そして、 30分で再生しきれないときは、非音声区間の音声再生速度を更に速める設定を行う、等が考えられる。

[0058] また、上記ステップ S12における映像再生速度の決定について、電子番組表等を用いて、録画した番組のジャンルを予め調べておき、当該番組のジャンルを考慮して映像再生速度を決定してもよい。例えば、ニュース番組では、原則として映像の再生速度は音声の再生速度に追従させるよう設定にし、スポーツ番組やバラエティ番組等は、原則として映像の再生速度を、例えば 2倍速に固定する設定が考えられる。また、上述の分析結果として出力される顔画像である「可能性」を用いて、例えば顔画像である「可能性」が 80%以上で且つ動きが激しい場面であれば、速度は 1. 5倍に決定し、顔画像の「可能性」が 30%で且つ動きが激しい場面であれば、速度は 3倍、 t 、うように速度を決定してもよ、。

[0059] 更に、映像再生速度の決定に関して、予め指定された速度で映像を再生する第 1 の再生モードと、音声の再生速度に追従した速度で映像を再生する第 2の再生モードとの 2つの映像再生モードを記録再生装置 10に持たせておいてもよい。この場合、速度決定部 13は、上述した分析結果に基づいて、上記 2つの映像再生モードの切替えを映像再生速度変換部 15に指示する。そして、映像再生速度変換部 15は、上記指示に基づ、て随時映像再生モードを切替えて映像を出力すればょ、。

[0060] (第 2の実施形態）

次に、図 8から図 9を参照して、本発明の第 2の実施形態について説明する。上述の第 1の実施形態では、番組の再生時に、映像 ·音声を分析している。これに対して、第 2の実施形態では、番組の録画時に併せて映像 ·音声の分析を行い、分析結果を保存しておくものである。なお、当該実施形態に係る記録再生装置 20は、上述した第 1の実施形態で図 1を用いて説明した記録再生装置 10と同様であるため、同一の参照符号を付して詳細な説明を省略する。

[0061] 図 8は、本発明の第 2の実施形態に係る記録再生装置 20の構成を示したブロック図である。図 8において、 AV分析部 12は、上述した第 1の実施形態と同様の分析処理を行うが、その分析結果を蓄積部 11に保存する。また、速度決定部 13は、蓄積部 11に保存されて、る分析結果を読み出して、再生速度決定処理（図 4参照）を行う。

[0062] 以下、図 9を用いて、本発明の第 2の実施形態に力かる記録再生処理の詳細動作を説明する。図 9は、第 2の実施形態に力かる記録再生処理を示すフローチャートである。図 9において、まず、 CPU2は、利用者力の録画指示等に基づいて、蓄積部 11に番組を録画する。併せて、 CPU2は、 AV分析部 12に、音声'映像の分析処理を開始させる。 AV分析部 12は、音声'映像の分析を行い、当該録画している番組と関連付けて蓄積部に保存していく（ステップ S41)。なお、ここで行われる分析処理については、第 1の実施形態で図 3を用、て説明したステップ S 3での分析処理と同様の内容である。なお、当該分析対象としては、 MPEG等に変換されて蓄積部 11に録画される前の録画対象番組の映像 ·音声信号でもよ!、し、蓄積部 11に録画された後の AVデータであってもよ!、。

[0063] 次に、 CPU2は、利用者から録画した番組の再生指示を受けて、指定された番組の AVデータの蓄積部からの読み出しを音声再生速度変換部 14および映像再生速度変換部 15に開始させる。更に、 CPU2は、速度決定部 13に再生速度決定処理を開始させる (ステップ S42)。

[0064] 次に、速度決定部 13は上記蓄積部 11から再生対象の番組の分析結果を読み出し、当該分析結果に基づいて、音声信号および映像信号それぞれの再生速度を決定し、当該決定した音声再生速度，映像再生速度を音声再生速度変換部 14および映像再生速度変換部 15に通知する (ステップ S43)。なお、再生速度決定処理の具体的内容は、上述した第 1の実施形態における再生速度決定処理（図 4参照）と同様であるため、詳細な説明は省略する。

[0065] ステップ S43の処理が終われば、 CPU2は、音声再生速度変換部 14に音声信号の速度変換および出力処理を行わせる。併せて、 CPU2は、映像信号の速度変換および出力処理を映像再生速度変換部 15に行わせる (ステップ S44)。ステップ S44 の動作は、上述の第 1の実施形態で図 3を用いて説明したステップ S5と同様であるため、詳細な説明を省略する。以上で、第 2の実施形態に係る記録再生処理は終了する。

[0066] このように、第 2の実施形態では、番組等の録画時に音声および映像の分析を行い、その分析結果を記録データと関連付けて保存しておく。これにより、再生するときにその都度分析処理を行う必要がなくなり、再生時の記録再生装置の処理負荷を軽減することができる。

[0067] なお、本実施形態では、番組の録画に併せて分析処理を行って!/ヽるが、例えば真夜中の時間帯等の、記録再生装置が録画.再生処理を行っていない、いわばアイドル時間中に分析処理を行わせ、当該分析結果を保存させるようにしてもょヽ。

[0068] 更に、分析処理だけでなぐ速度決定処理も併せて行っておき、再生速度の指示についても蓄積部 11に保存しておいてもよい。これにより、再生する際は、音声再生速度変換部 14および映像再生速度変換部 15は、蓄積部 11から再生速度の指示のみ読み出し、当該指示に従って音声、映像の再生速度を調整して出力するようにしてもよい。

[0069] (第 3の実施形態）

次に、図 10から図 12を参照して、本発明の第 3の実施形態について説明する。第 3の実施形態では、速度変換後の映像'音声の再生時刻の時間差を検出する。そして、検出した時間差が所定値以上になったときは、例えば非音声区間の再生速度を更に速める、あるいは音声区間の再生速度をより遅くする等の調整を行い、映像と音声の再生時刻のずれを軽減するものである。なお、当該実施形態に係る記録再生装置 30は、上述した第 1の実施形態で図 1を用いて説明した記録再生装置 10と同様であるため、同一の参照符号を付して詳細な説明を省略する。

[0070] 図 10は、本発明の第 3の実施形態に係る記録再生装置 30の構成を示したブロック図である。図 10において、記録再生装置 30は、時間差測定部 21を備えている力これを除けば記録再生装置 30は、基本的に上述した第 1の実施形態で図 2を用いて説明した記録再生装置 10を同じ構成を成している。そのため、同一の参照符号を付して詳細な説明を省略する。図 10において、時間差測定部 21は、音声再生速度変換部 14から出力される速度変換後の音声と、映像再生速度変換部 15から出力される速度変換後の映像との時間差を測定し、当該時間差を速度決定部 13に時間差情報として出力する。

[0071] 以下、図 11〜図 12を用いて、本発明の第 3の実施形態にかかる記録再生処理の詳細動作を説明する。図 11は、第 3の実施形態にかかる記録再生処理を示すフローチャートである。図 11において、ステップ S51〜S55の動作は、上述の第 1の実施形態で図 3を用いて説明したステップ S1〜S5と同様であるため、詳細な説明を省略する。

[0072] ステップ S55の次に、時間差測定部 21は、音声再生速度変換部 14から出力される速度変換後の音声と、映像再生速度変換部 15から出力される速度変換後の画像との再生時刻の時間差を測定し、当該時間差を時間差情報として速度決定部 13に出力する (ステップ S56)。当該時間差は、例えば、音声 ·画像それぞれのデータに付与されているタイムスタンプ情報に基づき算出される。

[0073] 速度決定部 13は、ステップ S54における再生速度決定処理（図 4参照）で、当該時間差情報を用いて再生速度の調整を行う。例えば、音声が映像よりも大きく進んでいるときには、音声再生速度を下げ、映像が音声よりも大きく進んでいるときには、音声再生速度を上げる。図 12は、時間差情報を用いて音声再生速度を決定する場合の音声速度決定処理（図 4のステップ S 11に相当）を示すフローチャートである。なおここでは、音声区間は 1. 3倍、非音声区間は 4倍の速度が標準の速度設定であるとする。図 12において、まず、速度決定部 13は、分析結果を参照して、処理対象となる区間が音声区間力否かを判定する (ステップ S61)。その結果、音声区間であれば（ステップ S61で YES)、上記時間差情報を参照し、時間差が所定値以上力否かを判定する (ステップ S62)。時間差が所定値未満 (すなわち、映像と音声とのずれが少ない）のときは (ステップ S62で NO)、音声再生速度を 1. 3倍と決定する（ステップ S64 )。一方、時間差が所定値以上 (すなわち、映像と音声とのずれが大きい)のときは（ステップ S62で YES)、速度決定部 13は、音声の再生が映像の再生よりも進んでいる力否かを判定する (ステップ S63)。当該判定の結果、映像の再生のほうが音声再生より先行しているときは (ステップ S63で NO)、速度決定部 13は、音声再生速度を 1. 3倍と決定する (ステップ S64)。一方、当該判定の結果、音声の再生のほうが映像再生より先行しているときは (ステップ S63で YES)、音声再生速度を 1. 1倍と決定する (ステップ S65)。すなわち、音声再生速度を落として、映像再生との時間差を小さくするためである。

一方、ステップ S61の判定の結果、非音声区間と判定したときは (ステップ S61で N 0)、上記時間差情報を参照し、時間差が所定値以上力否かを判定する (ステップ S 66)。時間差が所定値未満のときは (ステップ S66で NO)、音声再生速度を 4倍と決定する (ステップ S 70)。一方、時間差が所定値以上のときは (ステップ S66で YES)、速度決定部 13は、音声の再生が映像の再生よりも進んでいるか否かを判定する (ステツプ S67)。当該判定の結果、映像の再生のほうが音声再生より先行しているときは (ステップ S67で NO)、速度決定部 13は、音声再生速度を 6倍と決定する (ステツプ S68)。すなわち、音声再生速度を上げて、映像再生に追いつ力せるためである。一方、当該判定の結果、音声の再生のほうが映像再生より先行しているときは (ステツプ S67で YES)、映像再生を追いつ力せるため、音声再生速度を 2倍に落とす (ステップ S69)。以上で、音声速度決定処理は終了する。

[0075] このように、第 3の実施形態では、ー且速度を変更して早見再生しているときに、映像と音声との時間差を測定し、補正する処理を行う。これにより、再生中に音声と画像の時間差が大きくなり、両者が力 4ナ離れた内容のまま再生されることを防ぐことができる。

[0076] (第 4の実施形態）

次に、図 13から図 15を参照して、本発明の第 4の実施形態について説明する。第 4の実施形態では、上述した第 2の実施形態において蓄積部に保存した分析結果に基づいて、番組中の任意の場所に同期点を設定し、再生中に当該同期点において、映像と音声の同期を合わせる。

[0077] 図 13は、本発明の第 4の実施形態に係る記録再生装置 40の構成を示したブロック図である。図 13において、記録再生装置 40は、 AV同期部 31を備えている力これを除けば記録再生装置 40は、基本的に上述した第 2の実施形態で図 2を用いて説明した記録再生装置 20を同じ構成を成している。そのため、同一の参照符号を付して詳細な説明を省略する。図 13において、 AV同期部 31は、蓄積部 11に保存された分析結果を取得し、例えばシーンチェンジ点と判定される場所を同期点と設定し、同期情報として蓄積部 11に保存する。音声再生速度変換部 14、映像再生速度変換部 15は、再生時に当該同期情報を読み出し、これに基づいて映像と音声の同期を行う。ここで、同期の取り方としては、例えば、音声'映像いずれかが遅れている場合に、遅れている分の音声あるいは映像をスキップさせ、早いほうに合わせるという方法が考えられる。

[0078] 以下、図 14〜図 15を用いて、本発明の第 4の実施形態にかかる記録再生処理の詳細動作を説明する。図 14は、第 4の実施形態にかかる記録再生処理を示すフローチャードである。図 14【こお!ヽて、ステップ S61、 S63〜S64、 S66の動作 ίま、上述の第 2の実施形態で図 9を用いて説明したステップ S41〜S43、 S45と同様であるため、詳細な説明を省略する。

[0079] 図 14において、ステップ S61の次に、 AV同期部 31は、同期情報を生成する（ステップ S62)。このステップ S62の処理をより具体的に説明すると、まず、 AV同期部 31 は、蓄積部 11に保存されている分析結果を読み込む。次に、 AV同期部 31は、例えばシーンチェンジ点であると分析された番組内の場所を抽出する。次に、 AV同期部 31は、各シーンチェンジ点において、映像と音声とのいずれが先行している力（同期ずれの度合いや時間差等）を検出する。次に、 AV同期部 31は、各シーンチェンジ点で、映像あるいは音声のいずれをどの程度スキップさせれば両者の同期が取れるかを算出する。そして、 AV同期部 31は、上記抽出した各シーンチェンジ点を同期点と設定する。更に、 AV同期部 31は、各同期点における上記スキップ内容を示す情報 (以下スキップ情報)を当該各同期点に関連付ける。そして、当該同期点およびスキップ情報を同期情報として蓄積部 11に保存する。以上でステップ S62にかかる処理は終了する。

[0080] 上記ステップ S62に続いて、ステップ S63〜64の処理が行われた後、ステップ S65 において、音声再生速度変換部 14、映像再生速度変換部 15は、上述の第 2の実施形態におけるステップ S43と同様の処理を行い映像'音声を再生していく。この際、音声再生速度変換部 14、映像再生速度変換部 15は、上記同期情報を参照し、再生中の映像あるいは音声が同期点に到達すれば、当該同期点に関連付けられている上記スキップ情報に基づ、て、映像ある、は音声をスキップして再生する。

[0081] このように、第 4の実施形態では、分析結果に基づ!/、て予め同期点を設定しておくことができる。そして、再生される番組等の映像と音声のずれを同期点で補正していく。これにより、映像と音声のずれを細力べ補正することが可能となる。

[0082] 図 15は、第 4の実施形態に力かる同期処理を行った場合の再生速度の例を示す図である。図 15において、同期点（シーンチェンジ部分）において、音声が映像より遅れている。そのため、音声をスキップさせて、映像と音声の同期を合わせている。

[0083] なお、上記同期点の設定に関して、音声と映像の同期ずれ許容範囲を設け、許容範囲を越えたときにのみ同期点として設定するようにしてもよい。更に、当該許容範囲についても、 AV分析部 12から得られる分析結果に基づいて、シーンに応じて適宜変化させるようにしてもよい。例えば、スポーツなどの動きの激しいシーンや風景などのパン映像のシーンのときには、同期ずれの許容範囲を数秒程度まで大きく取り、逆にアナウンサーの話すシーンなどでは、同期ずれの許容範囲を数十〜数百ミリ秒程度まで小さくするような制御を行うことが考えられる。また、例えば同期点の数（同期を合わせる頻度)や上記同期ずれ許容範囲について、利用者が事前に設定できるようにしてちょい。

産業上の利用可能性

本発明にかかる記録再生方法および記録再生装置および記録再生プログラムを格納した記録媒体は、音声と画像の両方を分析することで、シーンに応じて音声と画像の両方の再生速度を制御でき、蓄積型ビデオレコーダ、編集用パソコンソフト等の用途に有用である。

Claims

請求の範囲

[1] 音声信号および映像信号を蓄積する AVデータ蓄積部と、

前記 AVデータ蓄積部に蓄積された前記音声信号および映像信号の特徴量を分析する AVデータ分析部と、

前記 AVデータ分析部で分析された前記音声信号および映像信号の特徴量に基づき前記音声信号および映像信号の再生速度を個別に決定する速度決定部と、前記速度決定部で決定された音声再生速度に基づき前記音声信号の再生速度を変化させる音声再生速度変換部と、

前記速度決定部で決定された映像再生速度に基づき前記映像信号の再生速度を変化させる画像再生速度変換部とを備える記録再生装置。

[2] 前記 AVデータ分析部は、前記 AVデータ蓄積部に前記音声信号および映像信号が蓄積されるときに併せて前記分析を行ヽ、当該分析結果を前記音声信号および映像信号と関連付けて保存し、

前記速度決定部は、前記分析結果に基づき前記音声信号および映像信号の再生速度を決定することを特徴とする、請求項 1記載の記録再生装置。

[3] 再生中の前記音声信号および映像信号の時間差を算出する時間差算出部をさらに備え、

前記速度決定部は、前記時間差算出部が算出した時間差に応じて前記音声信号と映像信号とのいずれか一方の再生速度を決定することを特徴とする、請求項 1または 2記載の記録再生装置。

[4] 前記 AVデータ分析部で分析された前記音声信号および映像信号の特徴量に基づき、前記音声信号および映像信号の同期を取るための同期情報を生成する AV同期部をさらに備え、

前記音声再生速度変換部および前記映像再生速度変換部は、前記同期情報に基づいて前記音声信号および前記映像信号の同期を取ることを特徴とする、請求項 2記載の記録再生装置。

[5] 前記 AVデータ分析部は、映像信号の特徴量から顔画像を検出する顔画像検出部を有し、前記速度決定部は、前記顔画像の検出結果に応じて前記再生速度を決定する、請求項 1に記載の記録再生装置。

[6] 前記 AVデータ分析部は、前記映像信号の特徴量から動きベクトルを検出する動きベクトル検出部を有し、

前記速度決定部は、前記動きベクトルの検出結果に応じて前記再生速度を決定する、請求項 1に記載の記録再生装置。

[7] 前記速度決定部は、前記 AVデータ分析部で分析された前記特徴量に基づき、前記映像信号の再生速度を予め定められた速度で再生する第 1の再生モードと前記映像信号の再生速度を前記音声信号の再生速度に追従させて再生する第 2の再生モードとの間で再生モードを切替える指示信号を前記画像再生速度変換部に出力し、

前記画像再生速度変換部は、前記速度決定部から指示された再生モードに基づ V、て前記映像信号の再生速度を変化させることを特徴とする、請求項 1記載の記録再生装置。

[8] 前記 AVデータ分析部は、映像信号の特徴量から顔画像を検出する顔画像検出部を有し、

前記速度決定部は、

前記顔画像が検出されていない映像信号は前記第 1の再生モードで再生し、前記顔画像が検出された映像信号は前記第 2の再生モードで再生する指示信号を前記画像再生速度変換部に出力する、請求項 7に記載の記録再生装置。

[9] 前記 AVデータ分析部は、映像信号の特徴量から映像の動きベクトルを検出する動きベクトル検出部を有し、

前記速度決定部は、前記動きベクトルが所定値以上の映像信号は前記第 1の再生モードで再生し、前記動きベクトルが当該所定値以下の映像信号は前記第 2の再生モードで再生する指示信号を前記画像再生速度変換部に出力する、請求項 7に記載の記録再生装置。

[10] 音声信号および映像信号を蓄積する AVデータ蓄積ステップと、

前記 AVデータ蓄積ステップが蓄積した前記音声信号および映像信号の特徴量を分析する AVデータ分析ステップと、

前記 AVデータ分析ステップで分析された前記音声信号および映像信号の特徴量に基づき前記音声信号および映像信号の再生速度を決定する速度決定ステップと、前記速度決定ステップで決定された音声再生速度に基づき、前記音声信号の再生速度を変化させる音声再生速度変換ステップと、

前記速度決定ステップで決定された映像再生速度に基づき、前記映像信号の再生速度を変化させる画像再生速度変換ステップとを備える記録再生方法。

[11] 音声信号および映像信号を蓄積する AVデータ蓄積部を備える記録再生装置のコンピュータに、

音声信号および映像信号を前記 AVデータ蓄積部に蓄積する AVデータ蓄積ステツプと、

前記 AVデータ蓄積部に蓄積された前記音声信号および映像信号の特徴量を分析する AVデータ分析ステップと、

前記 AVデータ分析手段で分析された前記音声信号および映像信号の特徴量に基づき前記音声信号および映像信号の再生速度を決定する速度決定ステップと、前記速度決定ステップで決定された音声再生速度に基づき、前記音声信号の再生速度を変化させる音声再生速度変換ステップと、

前記速度決定ステップで決定された映像再生速度に基づき、前記映像信号の再生速度を変化させる画像再生速度変換ステップとを実行させるための記録再生プログラムを格納した記録媒体。

[12] 音声信号および映像信号を蓄積する AVデータ蓄積部を備える記録再生装置にお V、て用いられる集積回路であって、

前記 AVデータ分析部で分析された前記音声信号および映像信号の特徴量に基づき前記音声信号および映像信号の再生速度を個別に決定する速度決定部と、前記速度決定部で決定された音声再生速度に基づき前記音声信号の再生速度を変化させる音声再生速度変換部と、前記速度決定部で決定された映像再生速度に基づき前記映像信号の再生速度を変化させる画像再生速度変換部とを備える、集積回路。