JP5213630B2 - 映像信号再生装置 - Google Patents

Description

本発明は、入力された映像信号を再生する映像信号再生装置に関するものである。

映像を短い時間で視聴する場合、映像のうち重要な部分と重要でない部分を区別せず一律に高いフレームレートで再生すると、重要な部分の動きが不自然であったり、音声が聴き取りにくかったりと視聴性が悪くなる。そこで、映像のうち重要な部分と重要でない部分を判別し、重要な部分はフレームレートを比較的高くせずに再生し、重要でない部分はフレームレートを比較的高くして再生することで、重要な部分の視聴性を確保しつつ映像を短い時間で視聴できる映像再生技術が考案されてきた。例えば、シーンチェンジ点を検出してシーンの区切りを判定し、シーンごとに、そのシーンでの会話の有無と画像の変化の大きさに基づいてフレームレート設定を行う技術（特許文献１参照）や、音声信号に基づいて人の発声区間とそれ以外の区間とを判定し、それぞれ異なるフレームレートに設定する技術（特許文献２参照）があった。

特開２００６−１２１５７０号公報（第４−６頁、第４図） 特開２００３−３０９８１４号公報（第５−６頁、第１図）

特許文献１、２では視聴の途中でフレームレートを変更するため、視聴者に違和感、不快感を与える。とくにフレームレートの変更が頻繁であったり、変更前後のフレームレートの落差が激しかったりした場合に、違和感、不快感は大きくなる。本発明は上記の課題を解決するためになされたもので、途中でフレームレートを変更せずに重要なシーンのみを短時間で再生することを目的とする。

上記の目的を達成するために、本発明に係る映像信号再生装置は、入力される映像信号を解析して間引くべきフレームと間引かざるべきフレームとを決定する重要フレーム決定手段と、前記重要フレーム決定手段により決定した間引くべきフレームを間引くフレーム間引き手段と、外部から要求される再生速度を満足するために、前記重要フレーム決定手段により決定した間引かざるべきフレームのみから構成される画像信号の再生速度の調整を行う画像信号再生速度調整手段と、前記重要フレーム決定手段により決定した間引くべきフレームに対応する音声信号を間引く音声間引き手段と、外部から要求される再生速度を満足するために、前記重要フレーム決定手段により決定した間引かざるべきフレームに対応する音声信号のみから構成される音声信号の再生速度の調整を行う音声信号再生速度調整手段とを備え、前記重要フレーム決定手段は、画像信号を解析し、シーンチェンジの位置を検出してその情報を出力するシーンチェンジ検出手段と、音声信号を解析し、無音区間を検出してその情報を出力する無音検出手段と、前記シーンチェンジ検出手段から出力されたシーンチェンジの位置情報と前記無音検出手段から出力された無音区間の情報に基づき、間引くべきフレームを決定する重要フレーム判定手段とを有し、前記無音検出手段は、音声信号を解析し、音量レベルが所定の時間において所定の閾値以下である区間と、音量レベルが所定の時間において所定の閾値以上であり、かつ、音量レベルの変化が所定の閾値未満である区間とを無音声区間として検出し、前記重要フレーム判定手段は、前記シーンチェンジ検出手段から出力されたシーンチェンジの位置の前後のフレームであって、かつ、前記無音検出手段から出力された無音声区間にあるフレームを、間引くべきフレームと判定することを特徴とする。

本発明に係る映像信号再生装置では、フレームレートの変更にともなう違和感、不快感を視聴者に与えずに、重要なシーンのみを短時間で再生することすることができる。

実施の形態１.
以下、本発明の実施の形態について説明する。本実施の形態１における映像信号再生装置では、情報の少ないフレームを判別し、それらを間引いてから、映像全体を所望のフレームレートで再生することにより、フレームレートの変更にともなう違和感、不快感を視聴者に与えずに、重要なシーンのみを短時間で再生することを可能にした。

図１は実施の形態１における映像信号再生装置の構成を示すブロック図、図２は重要フレーム決定手段３の構成を示すブロック図、図３は音声信号再生速度変換手段９の構成を示すブロック図、図４は画像信号再生速度変換手段７の構成を示すブロック図である。

図１から４を用いて、実施の形態１における映像信号再生装置の動作について説明する。この映像信号再生装置にＤＶＤなどの映像記録媒体などから入力される映像信号は、画像信号と音声信号とから構成され、画像信号は複数のフレームから構成されているものとする。まず、映像信号が映像信号蓄積手段１に入力され、蓄積される。一方、この映像信号は第一のＡＶ分離手段２にも入力され、画像信号と音声信号に分離されて重要フレーム決定手段３に出力される。

画像信号と音声信号を入力された、図２に示す重要フレーム決定手段３では、次のような処理が施される。まずシーンチェンジ検出手段３１は、第一のＡＶ分離手段２から出力された画像信号から、後述する検出方法によりシーンチェンジ点を検出し、それを重要フレーム判定手段３３に入力する。一方、無音検出手段３２は第一のＡＶ分離手段２から出力された音声信号から、音量レベルが所定の閾値より小さい区間を検出し、無音区間として、重要フレーム判定手段３３に入力する。

重要フレーム判定手段３３は、シーンチェンジ検出手段３１から出力されたシーンチェンジ点と無音検出手段３２から出力された無音区間の情報に基づき、後述する判定方法により、内容に係る情報が少ないフレームを非出力フレーム、残ったフレームを重要フレームと判定し、重要フレームのフレーム番号のリストである重要フレームリストを作成する。非出力フレームと判定されたフレームは後で間引かれる。また、重要フレーム決定手段３は、重要フレームだけを通常のフレームレートで再生した場合の再生速度（第一の再生速度）を算出する。そのため、第一の再生速度は１．０倍速以上の値になる。重要フレームリストと第一の再生速度は解析情報蓄積手段４に対して出力される。

解析情報蓄積手段４は重要フレーム決定手段３から入力される重要フレームリストと第一の再生速度を蓄積しておく。

この時点で、映像信号蓄積手段１には映像信号が、解析情報蓄積手段４には重要フレームリストと第一の再生速度が蓄積されている。

次に、調整速度決定手段５が要求再生速度情報の入力を受けると、速度問い合わせ信号を解析情報蓄積手段４に対して送る。ここで要求再生速度は、視聴者などが要求する再生速度であり、要求再生速度情報は、例えば、視聴者がリモコンや映像信号装置付属の操作ボタンなどを用いて入力する情報である。これを受けた解析情報蓄積手段４は、もし重要フレームリストの蓄積が十分であれば、調整速度決定手段５に対しては第一の再生速度を、画像信号再生速度変換手段７と音声信号再生速度変換手段９に対しては重要フレームリストを、映像信号蓄積手段１に対しては制御信号を、それぞれ出力する。重要フレームリストの蓄積が十分でない場合は、十分に蓄積されるのを待ってから出力する。第一の再生速度の入力を受けた調整速度決定手段５は、要求再生速度情報で要求される再生速度を第一の再生速度で割り、第二の再生速度を算出する。本発明における映像信号再生装置では、重要フレーム決定手段３で決定した間引くべきフレームの間引きによる再生速度変換と、その後、要求再生速度情報で要求される再生速度を満足するために行う再生速度調整の二段階の再生速度変換を行う。第二の再生速度は、二段階目の再生速度変換で用いる値であって、要求再生速度情報で要求される再生速度を満足するために非出力フレームを間引いた後の画像信号を何倍速で再生するべきかを示す値である。調整速度決定手段５が算出した第二の再生速度は、画像信号再生速度変換手段７と音声信号再生速度変換手段９へ出力される。

一方、制御信号を受信した映像信号蓄積手段１は、蓄積していた映像信号を第二のＡＶ分離手段６へ出力する。第二のＡＶ分離手段６は映像信号蓄積手段１から出力される映像信号を画像信号と音声信号に分離し、音声信号は音声信号再生速度変換手段９へ、画像信号は画像信号再生速度変換手段７へそれぞれ出力する。

音声信号を入力された図３に示す音声信号再生速度変換手段９では、音声間引き手段９１が、重要フレーム決定手段３から入力される重要フレームリストのフレーム番号を参照し、第二のＡＶ分離手段６から入力される音声信号のうち、重要フレーム以外のフレームに対応する部分の音声信号を間引いて音声ピッチ変更手段９２へ出力する。音声ピッチ変更手段９２は調整速度決定手段５で決定された第二の再生速度となるように、音声間引き手段９１から入力された音声信号のデータの音声ピッチを書き換えて変更し、ピッチを変更した音声信号をスピーカー１０へ出力する。スピーカー１０は音声信号再生速度変換手段９から入力された再生速度変換後の音声信号を出力する。

一方、画像信号を入力された図４に示す画像信号再生速度変換手段７では、フレーム間引き手段７１が、重要フレーム決定手段３から入力される重要フレームリストのフレーム番号を参照し、第二のＡＶ分離手段６から出力された画像信号のフレームから重要フレーム以外のフレームを間引いてフレームレート変更手段７２へ出力する。フレームレート変更手段７２は、調整速度決定手段５から出力された第二の再生速度となるように、フレーム間引き手段７１から入力された画像信号のデータのフレームレートを書き換えて変更し、フレームレートを変更した画像信号をディスプレイ８へ出力する。ディスプレイ８は画像信号再生速度変換手段７から入力された再生速度変換後の画像信号を表示する。

次に、図５に基づいて、フレームレート変更手段７２の動作について詳細説明する。図５（ａ）はフレーム間引き手段７１が出力した画像信号の例を示す。この例でのフレーム数は１０とした。図５（ｂ）は第二の再生速度が１．０倍速以上の場合のフレームレート変更手段７２から出力される画像信号を示す。図５（ｃ）は第二の再生速度が１．０倍速未満の場合のフレームレート変更手段７２にから出力される画像信号を示す。

調整速度決定手段５から出力される第二の再生速度が１．０倍速以上の場合、フレームを表示する間隔を短くする。つまり、フレームレートを上げることで、再生時間を短縮して再生速度を速くする。逆に、第二の再生速度が１．０倍速未満の場合、フレームを表示する間隔を長くする。つまり、フレームレートを下げることで、再生時間を延長し再生速度を遅くする。

次に、図２に示した重要フレーム決定手段３について詳細説明する。まず、シーンチェンジ検出手段３１で行うシーンチェンジの検出方法について説明する。シーンチェンジ検出手段３１において検出されるシーンチェンジ点とはシーンの変わり目であるため、たとえば、シーンＡからシーンＢに変わる場合、シーンＡの最終フレーム、もしくは、シーンＢの先頭フレームの位置とする。このシーンチェンジ点の検出方法としては、たとえば、フレームの平均輝度の変化を用いる方法がある。フレーム全体、または、フレームを複数のブロックに分割した各ブロックの平均輝度の変化量が、所定の閾値を超える場合を検出することで、シーンチェンジ点の検出が可能である。

また、無音検出手段３２において検出される無音区間は、画像信号の１フレームに相当する音声信号を基準にしてもよい。たとえば、画像信号が２９．９７ｆｐｓの場合、音量レベルは３３ｍｓｅｃに含まれる音声データの振幅の平均値を使用する。

なお、無音検出手段３２は音量レベルが所定の閾値以下である無音区間に加えて、人が話している部分を検出し、話していない部分を無音区間としてもよい。たとえば、ＢＧＭのみのシーン、とくに番組のオープニングやエンディングなどである。このようなシーンは内容と繋がりが薄い場合が多いので、違和感なく映像信号を短い時間で再生することができる。とくに番組のオープニングやエンディングのシーンは時間が長いことが多いので、間引いた場合の再生時間短縮効果が大きい。さらに、拍手や笑い声など話している声がかき消されている部分も、内容に係る音の情報がないため、無音区間としてもよい。拍手や笑い声などは、所定の時間を越えて、音量レベルが高く、かつ、音量レベルの変化が小さい状態が続くため、音声信号から自動検出が可能である。また、音量レベルが低い部分を全て間引いてしまうと言葉の初めや終わりが聞こえなくなるため、無音区間の前後数百ｍｓｅｃは無音区間としない処理を施してもよい。

なお、無音検出手段３２は音量レベルの代わりに周波数を解析し、周波数の特徴で無音区間を定義してもよい。たとえば、高周波数成分が多い区間を無音区間としてもよい。

なお、重要フレーム判定手段３３において内容に係る情報が少なく、非出力フレームと判定されるフレームは、たとえば、シーンチェンジ点の前後であって、且つ、無音区間のフレームとする。シーンチェンジの前後はシーンの切り替わり部分であるため、それ以外の部分と比較して内容に係る重要な情報が少ないことが多く、シーンチェンジ点の前後の画像を間引いても間引き後の画像に違和感は生じない。無音区間は音の情報がないため、間引いても内容の理解に及ぼす影響が少ない。

しかし、シーンチェンジの前後であっても重要な言葉が発せられていることがある。話題の切り替わりとは関係なくシーンの切り替わる場合である。これはニュース番組などに多く見られ、具体的には複数の出演者がいる場合、話し手と聞き手の様子をカメラを切り替えながら映すといった場面である。この場合、音量レベルが所定の閾値よりも大きい場合はシーンチェンジの前後であっても間引かないことにすると、情報を欠落させることなく、必要な情報のみの視聴が可能となる。

なお、シーンチェンジ前後のフレームを非出力フレームとする際、シーンチェンジの間隔の長さに応じて間引く量を調整してもよい。たとえば、シーンチェンジとシーンチェンジの間が３０フレーム程度で短い場合、シーンチェンジの前後を非出力フレームとすると、間引き後のシーンチェンジ間がさらに短くなり、視認が困難になるため、間引くフレーム数を減らす。

また、映像信号のうち「動きが少ない部分」や「重複している部分」を検出して、その部分を間引くようにしてもよい。ここで、「動きが少ない部分」とは、画像信号のフレームの変化が小さい部分のことである。この部分を間引けば、さらに短い時間で映像信号を再生することができる。また、「重複している部分」は例えば、クイズ番組等でＣＭ後にＣＭ前の画像が重複して再生される部分、シリーズで録画しているドラマにおける、第n話の次回予告と第（n+1）の前回のあらすじなどの部分である。この部分を間引けば、同じ映像を繰り返し再生することなく、さらに短い時間で映像信号を再生することができる。
また、ニュース番組のスタジオシーンを検出して、そのシーンを間引くことで、ニュース番組においてスタジオシーン以外のみの映像を作成してもよい。これによってニュース部分のみを伝える時短映像とすることができる。

なお、非出力フレームの判定は、シーンチェンジの位置情報と「動きが少ない部分」の情報と「重複している部分」の情報と無音区間の位置情報を組み合わせて判定できる方法であれば他の方法でもよい。以上のことは他の実施の形態においても同様である。

以上のように、実施の形態１の映像信号再生装置によると、画像信号と音声信号を解析し、情報が少ないフレームを特定して間引いた後、画像信号再生速度調整手段としてフレームレート変更手段７２を用いて所望の再生速度に変換するよう構成したので、情報が多く内容の理解に必要なフレームのみを所望の再生速度で違和感なく視聴できるという効果がある。

また、再生速度を変換する際、まず映像信号を間引き重要な部分のみの映像信号に変換しているため、間引き後の画像は、再生速度を遅くした場合に動きも音もないような情報の少ない部分まで延長されたり、再生速度を速くした場合に情報の少ない部分を再生したりすることがないという効果がある。

実施の形態２．
次に、本発明の実施の形態２について、図１、図６に基づいて説明する。実施の形態２では、フレーム間引き後に再生速度をさらに速くするための画像再生速度調整手段として、実施の形態１のようにフレームレートを変更する代わりに、間引くフレームを追加する。

実施の形態２における映像信号再生装置の基本的な構成は、図１に示した実施の形態１における映像信号再生装置の構成と同様である。実施の形態１との相違点は、画像信号再生速度変換手段７の構成である。図６は実施の形態２における画像信号再生速度変換手段７の構成を示すブロック図である。実施の形態２における画像信号再生速度変換手段７は、フレーム間引き手段７１を有する点は図４に示した実施の形態１の画像信号再生速度変換手段７と同様であるが、フレームレート変更手段７２の代わりに、間引くべき非出力フレームとするフレームを追加決定する非出力フレーム決定手段７３を画像信号再生速度調整手段として備える。

次に、実施の形態２における映像信号再生装置の動作について説明する。画像信号再生速度変換手段７に、調整速度決定手段５から第二の再生速度が、解析情報蓄積手段４から重要フレームリストが、第二のＡＶ分離手段６から画像信号が、それぞれ入力されるところまでは実施の形態１と同様である。ただし、第二の再生速度は１．０倍速以上とする。以下、実施の形態３における画像信号再生速度変換手段７の動作について図６を用いて説明する。

非出力フレーム決定手段７３は、画像信号を調整速度決定手段５から出力された第二の再生速度とするため、解析情報蓄積手段４から出力された重要フレームリスト中のフレームのうち、さらに間引くべき非出力フレームとするフレームを追加決定し、新たな重要フレームリストを作成する。

図７は非出力フレーム決定手段７３の動作を示すフロー図である。図８は非出力フレーム決定手段７３の非出力フレームの動作の例を説明する説明図であり、画像信号を構成するフレームを示している。白色で示すフレームは「非出力フレーム」、斜線で示すフレームは「重要フレーム」を表す。図８（ａ）は、解析情報蓄積手段４が出力したフレームの重要フレームリストを示す。図８（ａ）では、非出力フレームはフレーム番号１〜４のフレームであり、重要フレームはフレーム番号５〜１６のフレームである。以下、図７と図８に基づいて、非出力フレーム決定手段７３の動作を詳細説明する。まず、図７のＳ３０１で、重要フレームリストにおける重要フレームを、第二の再生速度となるように所定の間隔で非出力フレームに追加決定する。図８の例では、重要フレームリストにおける重要フレームは、番号５〜１６のフレームであり、第二の再生速度を１．３倍とすると、図８の（ｂ）が示すように４フレームに１フレームを非出力フレームに追加決定する。この結果、非出力フレームはフレーム番号１，２，３，４，８，１２，１６となる。次にＳ３０２で重要フレームリストを更新する。これにより重要フレームリストから新たに非出力フレームとなったフレーム番号８，１２，１６が削除される。新たな重要フレームリストはＳ３０３でフレーム間引き手段７１へ出力される。

非出力フレーム決定手段７３は、重要フレーム決定手段３で情報が少ないフレームを決定した後に、非出力フレームを再決定しているが、フレーム間引き手段７１で画像信号を間引く前に非出力フレームを再決定しているため、間引く処理が一回で済み、二回に分けて間引くより効率が良い。

フレーム間引き手段７１は、非出力フレーム決定手段７３から入力された新たな重要フレームリストのフレーム番号を参照し、第二のＡＶ分離手段６から入力された画像信号のフレームを間引き、間引き後の画像信号をディスプレイ８に入力する。

ディスプレイ８は、画像信号再生速度変換手段７から出力された再生速度変換後の画像信号を表示する。

音声信号再生速度変換手段９など他の構成要素の動作は実施の形態１と同様である。

以上のように、実施の形態１ではフレームを間引いた後にフレームレートを変更して再生速度を調整しているのに対し、実施の形態２の映像信号再生装置ではフレームレートを変更する代わりに間引くフレームを追加することで再生速度を調整しているため、フレームレートが変更できない場合においても所望の再生速度で再生が可能であるという効果がある。

また、画像信号および音声信号を高速に再生する高速再生は、速度が速くになるにつれて動きおよび音声に違和感が大きくなる。実施の形態２では再生速度を変換する際、映像信号を間引いて再生時間を短縮し、間引き後の映像信号を通常のフレームレートで再生している。よって、短い時間で違和感のない再生が可能であるという効果がある。

実施の形態３．
次に、本発明の実施の形態３について、図１、図９に基づいて説明する。実施の形態３では、実施の形態２のように再生速度を速くするためにフレームをさらに間引くのとは反対に、再生速度を遅くするためにフレームを挿入して画像信号を補間し、重要なシーンのみをゆっくり視聴できる構成とした。

実施の形態３における映像信号再生装置の基本的な構成は、図１に示した実施の形態１における映像信号再生装置の構成と同様である。実施の形態１との相違点は、画像信号再生速度変換手段７の構成である。図９は実施の形態３における画像信号再生速度変換手段７の構成を示すブロック図である。実施の形態３における画像信号再生速度変換手段７は、フレーム間引き手段７１を有する点は図６に示した実施の形態２の画像信号再生速度変換手段７と同様であるが、画像信号再生速度調整手段として、非出力フレーム決定手段７３の代わりに、画像信号にフレームを挿入して補間するフレーム補間手段７４を備える。

次に、実施の形態３における映像信号再生装置の動作について説明する。図１に示すように、画像信号再生速度変換手段７に、調整速度決定手段５から第二の再生速度が、解析情報蓄積手段４から重要フレームリストが、第二のＡＶ分離手段６から画像信号が、それぞれ入力されるところまでは実施の形態１と同様である。ただし、第二の再生速度は１．０倍速未満とする。以下、実施の形態３における画像信号再生速度変換手段７の動作について図９を用いて説明する。

フレーム間引き手段７１は、解析情報蓄積手段４から出力された重要フレームリストのフレーム番号を参照し、第二のＡＶ分離手段６から出力された画像信号のフレームを間引き、間引き後の画像信号をフレーム補間手段７４に入力する。

図１０はフレーム補間手段７４の動作を示すフロー図である。図１１はフレーム補間手段７４の動作の例を説明する説明図である。以下、図１０と図１１に基づいて、フレーム補間手段７４の動作を説明する。図１１（ａ）はフレーム間引き手段７１から入力される画像信号を示す。図１１（ｂ）は第二の再生速度が０．７５倍の場合にフレーム補間手段７４から出力される画像信号を示す。フレーム補間手段７４は、重要フレームリストと第二の再生速度が入力されると、まず図１０のＳ４０１で、フレームの挿入位置を決定する。図１１の例では、図１１（ａ）の第二の再生速度が０．７５倍、つまり、再生時間が１．３倍になるように３フレームに１フレームの割合で、フレーム番号３、６、９のフレームの直後を挿入位置とし、それぞれフレーム番号３´、６´、９´のフレームが挿入される。次のＳ４０２では、挿入する補間フレームを作成する。補間フレームは、挿入位置の前後のフレームの画像データをもとに作成したり、前後のフレームのいずれかを複製したものを用いることで、補間による違和感を抑えることができる。この例では、フレーム番号３´、６´、９´の補間フレームはフレーム番号３、６、９のフレームの複製とした。次にＳ４０３で、Ｓ４０１において決定した挿入位置に作成した補間フレームを挿入する。図１１の例では図１１（ｂ）に示すようにフレーム番号３、６、９のフレームの後に、それぞれフレーム番号３´、６´、９´のフレームが挿入される。その後、補間された画像信号はフレーム補間手段７４から出力される。

補間された画像信号画像信号はディスプレイ８に表示される。他の構成要素の動作は実施の形態１と同様である。

実施の形態１ではフレームを間引いた後にフレームレートを変更して再生速度を調整しているのに対し、実施の形態３では、画像信号と音声信号を解析し、情報の少ないフレームを決定して間引いた後、フレームを補間することにより低速に再生するよう構成したので、違和感が少なく、かつ、内容に係る重要なシーンを見逃したり、聞き逃したりすることなく重要なシーンのみを違和感なく視聴することが可能であるという効果がある。

なお、外部から入力する要求再生速度は、ユーザが自由に設定可能なため、普段話している速度に設定するなど、ユーザの好みに合わせることが可能という効果がある。

また、再生速度を遅くするためにフレームを挿入して補間するため、とくに、早口で聞き取りにくい発話がある映像を視聴する場合、英会話などゆっくり聞きたい場合、スポーツなどの動きが早いシーンをじっくり見たい場合などに有効である。

また、再生速度を遅くするためにフレームを挿入して補間するため、フレームレートが変更できない場合においても再生が可能であるという効果がある。

実施の形態４．
次に、本発明の実施の形態４について、図１、図１２に基づいて説明する。実施の形態４では、実施の形態２と実施の形態３を組み合わせ、間引くフレームの追加、フレームの補間の両方を行えるようにした。

実施の形態４における映像信号再生装置の基本的な構成は、図１に示した実施の形態１における映像信号再生装置の構成と同様である。実施の形態１との相違点は、画像信号再生速度変換手段７の構成である。図１２は実施の形態４における画像信号再生速度変換手段７の構成を示すブロック図である。実施の形態４における画像信号再生速度変換手段７を構成する構成要素は、フレームを間引くフレーム間引き手段７１、実施の形態２と同様に間引くフレームを追加決定する非出力フレーム決定手段７３、実施の形態３と同様に画像信号にフレームを補間するフレーム補間手段７４、第二の再生速度の出力先の切り替えを行う速度変換処理切替手段７５、重要フレームリストの出力先の切り替えを行う解析情報入出力切替手段７６、画像信号の出力先の切り替えを行う画像信号入出力切替手段７７である。

次に、実施の形態４における映像信号再生装置の動作について説明する。図１に示すように、画像信号再生速度変換手段７に、調整速度決定手段５から第二の再生速度を、解析情報蓄積手段４から重要フレームリストを、第二のＡＶ分離手段６から画像信号を、それぞれ入力されるところまでは実施の形態１と同様である。

以下、画像信号再生速度変換手段７の動作について図１２を用いて説明する。調整速度決定手段５から出力された調整速度は速度変換処理切替手段７５に入力される。速度変換処理切替手段７５は、第二の再生速度が１．０倍速以上の場合と１．０倍速未満の場合とで動作が異なる。

第二の再生速度が１．０倍速以上の場合、速度変換処理切替手段７５は、調整速度決定手段５から出力された第二の再生速度を非出力フレーム決定手段７３へ出力する。また、解析情報蓄積手段４から出力された重要フレームリストが、非出力フレーム決定手段７３に入力されるよう解析情報入出力切替手段７６を制御する制御信号を出力し、フレーム間引き手段７１から出力された画像信号がディスプレイ８に入力されるよう画像信号入出力切替手段７７を制御する制御信号を出力する。

解析情報入出力切替手段７６は、速度変換処理切替手段７５の制御により、重要フレームリストを非出力フレーム決定手段７３に入力する。非出力フレーム決定手段７３は、速度変換処理切替手段７５から出力された第二の再生速度となるように、解析情報入出力切替手段７６から入力される重要フレーム中のフレームから、実施の形態２と同様の方法により非出力フレームを決定し、重要フレームリストを更新して送り返す。こうして更新された新たな重要フレームリストはフレーム間引き手段７１に入力される。

フレーム間引き手段７１は、解析情報入出力切替手段７６から出力された新たな重要フレームリストのフレーム番号を参照し、第二のＡＶ分離手段６から出力された画像信号の重要フレーム以外のフレームを間引く。間引き後の画像信号は画像信号入出力切替手段７７へと出力される。画像信号入出力切替手段７７は、速度変換処理切替手段７５の制御により、フレーム間引き手段７１から出力された画像信号をディスプレイ８に入力する。

第二の再生速度が１．０倍速以上の場合、このようにして、第二のＡＶ分離手段６から出力された画像信号は、非出力フレーム決定手段７３とフレーム間引き手段７１で、再生速度を変換される。

一方、第二の再生速度が１．０倍速未満の場合、速度変換処理切替手段７５は、調整速度決定手段５から出力された第二の再生速度をフレーム補間手段７４へ出力する。また、解析情報蓄積手段４から出力された重要フレームが、フレーム間引き手段７１に入力されるよう解析情報入出力切替手段７６を制御する制御信号を出力し、フレーム間引き手段７１から出力された画像信号がフレーム補間手段７４に入力されるよう画像信号入出力切替手段７７を制御する制御信号を出力する。

解析情報入出力切替手段７６は、速度変換処理切替手段７５の制御により、重要フレームリストをフレーム間引き手段７１に入力する。フレーム間引き手段７１は、解析情報入出力切替手段７６から出力された重要フレームリストのフレーム番号を参照し、第二のＡＶ分離手段６から出力された画像信号の重要フレーム以外のフレームを間引く。

画像信号入出力切替手段７７は、フレーム間引き手段７１から出力された画像信号を、速度変換処理切替手段７５の制御に従って、フレーム補間手段７４に入力する。フレーム補間手段７４は、速度変換処理切替手段７５から出力された第二の再生速度となるように、実施の形態３で述べた方法により画像信号に所定の間隔でフレームを挿入して画像信号を補間する。補間処理された画像信号はディスプレイ８に入力される。

第二の再生速度が１．０倍速未満の場合、このようにして、第二のＡＶ分離手段６から出力された画像信号は、フレーム間引き手段７１とフレーム補間手段７４で、再生速度を変換される。

以上のように、実施の形態４の映像信号再生装置によると、情報が少ないフレームを特定して間引いた後、第二の再生速度に応じて、高速または低速に再生速度を調整するよう構成したので、情報が多く内容の理解に必要なフレームのみを所望の再生速度で違和感なく視聴できるという効果がある。

また、再生速度を速くするためにフレームを間引き、遅くするためにフレームを挿入して補間するため、フレームレートが変更できない場合においても所望の再生速度で再生が可能であるという効果がある。

また、一つの再生機器において、再生速度を速くも遅くもできるという効果がある。

なお、実施の形態１から４において、調整速度決定手段５に入力される要求再生速度情報は、要求再生速度が算出できる情報であれば他の情報でもよい。例えば、要求される再生時間でもよい。１．０倍速で再生した場合の再生時間を要求される再生時間で割ることにより、要求再生速度が算出されるからである。あるいは、視聴終了時刻を指定する情報でもよい。視聴終了時刻から要求再生速度情報入力時の時刻を引くことで要求される再生時間が算出されるからである。以上の算出処理は調整速度決定手段５で行えばよい。

また、実施の形態１から４において、重要フレームリストの代わりに、間引くべきフレームが識別できる情報であれば他の情報を用いてもよい。例えば、非出力フレームのフレーム番号のリスト（非出力フレームリスト）を用いてもよい。これにより、非出力フレームの数が重要フレームの数より少ない場合、解析情報蓄積手段４が蓄積しなければならない情報量が小さくなる。また、重要フレーム（非出力フレーム）が連続する場合、重要フレームリスト（非出力フレームリスト）の代わりに重要フレーム（非出力フレーム）の開始フレームと終了フレームのフレーム番号を用いてもよい。これにより、解析情報蓄積手段４が蓄積しなければならない情報量が、重要フレーム（非出力フレーム）のフレーム番号を１つずつ羅列したリストより小さくなる。これらの方法によれば、解析情報蓄積手段４として用いるメモリの容量が小さくてすみ、コストダウンにつながるという効果がある。

また、実施の形態１から４において、音声ピッチ変更手段９２は、ピッチを変更する際、音程が変わらないように処理を施してもよい。たとえば、再生速度が１．０倍以上の場合は音声信号のピッチを上げるが、そのまま出力すると音程が上がった音声が出力されてしまうので、音程が変わらないように音程を下げるデータ処理を施す。また、ビットレートを変更することでも再生速度を変更できる。

また、実施の形態１から４において、映像信号再生装置に入力される映像信号は、アンテナから受信しチューナで復調したＴＶ信号であってもよい。また、映像信号再生装置に入力される映像信号は、画像信号のみから構成されているものであってもよい。

この発明の実施の形態１から４に係る映像信号再生装置の構成を示すブロック図である。 この発明の実施の形態１に係る重要フレーム決定手段３の構成を示すブロック図である この発明の実施の形態１に係る音声信号再生速度変換手段９の構成を示すブロック図である。 この発明の実施の形態１に係る画像信号再生速度変換手段７の構成を示すブロック図である。 この発明の実施の形態１に係るフレームレート変更手段７２の動作を説明する説明図である。 この発明の実施の形態２に係る画像信号再生速度変換手段７の構成を示すブロック図である。 この発明の実施の形態２に係る非出力フレーム決定手段７３の動作を示すフロー図である。 この発明の実施の形態２に係る非出力フレーム決定手段７３の動作を説明する説明図である。 この発明の実施の形態３に係る画像信号再生速度変換手段７の構成を示すブロック図である。 この発明の実施の形態３に係るフレーム補間手段７４の動作を示すフロー図である。 この発明の実施の形態３に係るフレーム補間手段７４の動作を説明する説明図である。 この発明の実施の形態４に係る画像信号再生速度変換手段７の構成を示すブロック図である。

符号の説明

１ 映像信号蓄積手段、
２ 第一のＡＶ分離手段、
３ 重要フレーム決定手段、
４ 解析情報蓄積手段、
５ 調整速度決定手段、
６ 第二のＡＶ分離手段、
７ 画像信号再生速度変換手段、
８ ディスプレイ、
９ 音声信号再生速度変換手段、
１０ スピーカー、
３１ シーンチェンジ検出手段、
３２ 無音検出手段、
３３ 重要フレーム判定手段、
７１ フレーム間引き手段、
７２ フレームレート変更手段、
７３ 非出力フレーム決定手段、
７４ フレーム補間手段、
７５ 速度変換処理切替手段、
７６ 解析情報入出力切替手段、
７７ 画像信号入出力切替手段、
９１ 音声間引き手段、
９２ 音声ピッチ変更手段

Claims (7)

1. 入力される映像信号を解析して間引くべきフレームと間引かざるべきフレームとを決定する重要フレーム決定手段と、
   前記重要フレーム決定手段により決定した間引くべきフレームを間引くフレーム間引き手段と、
   外部から要求される再生速度を満足するために、前記重要フレーム決定手段により決定した間引かざるべきフレームのみから構成される画像信号の再生速度の調整を行う画像信号再生速度調整手段と、
   前記重要フレーム決定手段により決定した間引くべきフレームに対応する音声信号を間引く音声間引き手段と、
   外部から要求される再生速度を満足するために、前記重要フレーム決定手段により決定した間引かざるべきフレームに対応する音声信号のみから構成される音声信号の再生速度の調整を行う音声信号再生速度調整手段とを備え、
   前記重要フレーム決定手段は、
   画像信号を解析し、シーンチェンジの位置を検出してその情報を出力するシーンチェンジ検出手段と、
   音声信号を解析し、無音区間を検出してその情報を出力する無音検出手段と、
   前記シーンチェンジ検出手段から出力されたシーンチェンジの位置情報と前記無音検出手段から出力された無音区間の情報に基づき、間引くべきフレームを決定する重要フレーム判定手段とを有し、
   前記無音検出手段は、音声信号を解析し、音量レベルが所定の時間において所定の閾値以下である区間と、音量レベルが所定の時間において所定の閾値以上であり、かつ、音量レベルの変化が所定の閾値未満である区間とを無音声区間として検出し、
   前記重要フレーム判定手段は、前記シーンチェンジ検出手段から出力されたシーンチェンジの位置の前後のフレームであって、かつ、前記無音検出手段から出力された無音声区間にあるフレームを、間引くべきフレームと判定する
   ことを特徴とする映像信号再生装置。
2. 前記重要フレーム判定手段は、前記シーンチェンジ検出手段により検出された或るシーンチェンジと次のシーンチェンジとの間隔が所定の間隔よりも短い場合に、前記或るシーンチェンジの後のフレームと前記次のシーンチェンジの前のフレームとを間引かざるべきフレームと判定することを特徴とする請求項１に記載の映像信号再生装置。
3. 前記画像信号再生速度調整手段は、１フレームあたりの表示時間を変更することにより、画像信号のフレームレートを変更するフレームレート変更手段であることを特徴とする請求項１または２に記載の映像信号再生装置。
4. 前記画像信号再生速度調整手段は、前記重要フレーム決定手段の決定した間引くべきフレームに加えてさらに間引くべきフレームを追加決定してフレーム間引き手段に間引かせる非出力フレーム決定手段であることを特徴とする請求項１または２に記載の映像信号再生装置。
5. 前記画像信号再生速度調整手段は、再生速度を遅くするために、画像信号にフレームを挿入して補間するフレーム補間手段であることを特徴とする請求項１または２に記載の映像信号再生装置。
6. 前記画像信号再生速度調整手段は、
   前記重要フレーム決定手段により決定した間引くべきフレームに加えてさらに間引くべきフレームを追加決定する非出力フレーム決定手段と、
   再生速度を遅くするために、画像信号に所定の間隔でフレームを挿入して補間するフレーム補間手段とを有し、
   前記非出力フレーム決定手段と前記フレーム補間手段のどちらを用いて画像信号の再生速度を調整するかを、外部から要求される再生速度に応じて切り替え可能であることを特徴とする請求項１または２に記載の映像信号再生装置。
7. 前記音声信号再生速度調整手段は、前記音声間引き手段で間引いた後の音声信号のピッチを変更する音声ピッチ変更手段を有することを特徴とした請求項１ないし６のいずれか１項に記載の映像信号再生装置。

Images