JP3877371B2 - 映像再生装置 - Google Patents
映像再生装置 Download PDFInfo
- Publication number
- JP3877371B2 JP3877371B2 JP04263797A JP4263797A JP3877371B2 JP 3877371 B2 JP3877371 B2 JP 3877371B2 JP 04263797 A JP04263797 A JP 04263797A JP 4263797 A JP4263797 A JP 4263797A JP 3877371 B2 JP3877371 B2 JP 3877371B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- reproduction
- signal
- moving image
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Description
【発明の属する技術分野】
本発明は、例えばビデオテープレコーダ(VTR―Video Tape Recorder ―)またはDVD(Digital Versatile Disc)装置等のように映像を再生する装置に係り、特に動画像と音声とを含んでディジタル記録された映像情報における記録上の特徴を抽出してその特徴に見合うように動画または音声の再生速度を制御することのできる映像再生装置に関する。
【0002】
【従来の技術】
一般に、動画像と音声とを含む映像情報は、ビデオテープやDVD等の記録媒体を用いて記録することができ、上記VTRやDVD装置等の再生装置を用いて再生することが可能となっている。このような映像再生装置においては、通常の再生速度による再生モードに加えて、最低でも倍速から数百倍速までの高速再生速度による早送り再生モードと、高速逆転による早戻し再生モードとの2つのモードが、通常設けられている。
【0003】
このような従来の映像再生装置では、早送り再生モードに際して音声は無音にして動画像のみ再生するのが一般的である。また、機種によっては倍速または3倍速程度の早送り再生モードを時短モードとして設定し、この時短モードの際のみに、動画像を倍速または3倍速程度の速さで再生すると共に、音声は所定の時間例えば3秒間再生すると次の所定時間例えば3秒間をカットし、これを繰り返すことにより音声のみは跳び跳びに再生するものも、提案されている。
【0004】
また、従来の映像再生装置においては、早送り再生モードで映像を再生する際に、装置の設計時に予め設定された一定の速度により動画像を再生するものが一般的であった。機種によっては再生速度を可変とするものも提案されているが、その方法としては速度設定ダイヤル等により再生速度を設定し、検索すべき映像場面等を検索可能な程度にまで検索者の好みで再生速度を遅らせるようにしており、あくまでもマニュアル操作によって再生速度の調整を行なっていた。
【0005】
【発明が解決しようとする課題】
しなしながら、上述した従来の映像再生装置においては、早送り再生が無音のままで行なわれているため、映像の内容を把握するのが困難であり、また、映像に同期させて音声を再生すると、再生音声が余りに高速であるため映像内の人物が何を言っているか分からなかった。また、倍速または3倍速程度の再生速度により音声を細切れにして部分的に再生する再生装置では、意味のある音声部分のみ飛び飛びに再生されている場合はまだしも、意味のある音声部分が再生されずに意味のない音声部分が不規則に再生された場合には内容を完全に把握できない場合があった。
【0006】
また、一定の速度でしかもある程度の高速で映像が再生されるだけの早送り機能だと動きの速い部分で視認性が悪く内容を効果的に把握することが難しいという問題があった。マニュアル操作により再生速度を必要に応じて可変とする映像再生装置においては、検索者が常時画面を注視して検索場面を探さなくてはならず、応答性は向上するものの再生速度を可変に設定しながら検索を続けなくてはならないという煩雑さがあった。
【0007】
本発明は上記問題点に鑑み、動画像と音声を含むディジタル映像の場面における音声の有音部分や動画像が大幅に変化する部分等の映像特徴を検出し、この映像特徴に応じて自動的に再生速度を調整しながら映像の再生を行なうことのできる映像再生装置を提供することを目的としている。
【0008】
【課題を解決するための手段】
上記課題を解決するため、請求項1に係る映像再生装置は、動画像信号と音声信号とを含むディジタル映像信号を通常再生、早送り再生および逆回し再生することにより所望の映像を表示する映像再生装置において、入力された前記ディジタル映像信号を動画像信号と音声信号とに分離する信号分離手段と、前記信号分離手段により分離された動画像信号と音声信号のうちの少なくとも一方の特徴を抽出する映像特徴抽出手段と、前記映像特徴抽出手段により抽出された映像特徴に基づいて前記映像特徴が存在する場面の映像に所定の加工を行ないながら前記動画像信号と前記音声信号とを同期させつつ早送り再生映像信号を生成して出力する早送り映像再生手段と、を少なくとも備え、前記映像特徴抽出手段は、前記信号分離手段により分離された前記動画像信号を複数の静止画像であるフレームに分割するフレーム分割手段と、このフレーム分割手段により分割されたフレーム間における画像の変化量を検出するフレーム間変化量検出手段と、を含む動画特徴抽出手段より構成され、さらに、前記早送り映像再生手段は、前記フレーム間変化量検出手段により検出された前記フレーム間における画像の変化量に応じて前記フレームの齣送り速度を変化させることにより動画像信号の再生速度を変更して早送り再生映像信号を再生する動画像再生手段より構成され、かつ、前記動画像再生手段は、前記フレーム分割手段により分割された動画像におけるフレームと指定された参照画像との間の類似度を求める類似度検出手段と、検出されたフレームおよび参照画像間の類似度に基づいてこの類似度が高いほど再生速度を遅くすると共に類似度が低いほど再生速度を速く再生するように再生速度を調整する速度調整手段と、この速度調整手段により調整された再生速度に基づいて前記フレーム分割手段より送られてきた動画像信号の早送り再生速度を変更する動画像再生速度変更手段と、を備えることを特徴としている。
【0009】
請求項2に係る映像再生装置は、請求項1に記載の映像再生装置において、前記映像特徴抽出手段が、前記信号分離手段により分離された前記音声信号における無音部分の開始時点から終了時点までの所定範囲を音声特徴として抽出する音声特徴抽出手段により構成されると共に、前記早送り映像再生手段が、前記信号分離手段により分離された動画像信号を所定の速度で再生して早送り動画像信号を出力する動画像再生手段と、前記音声特徴抽出手段により抽出された無音部分を除去して少なくとも有音部分を含む音声再生信号を加工すると共に前記早送り動画像信号の再生速度にこの音声再生信号を同期させて同期音声信号を出力する音声再生手段と、前記同期音声信号と前記早送り動画像信号とを合成して早送り再生映像信号を出力する合成手段と、を備えることを特徴としている。
【0010】
また、請求項3に係る映像再生装置は、請求項2に記載の映像再生装置において、前記音声再生手段が、前記音声特徴抽出手段により抽出された無音部分を除去して有音部分を連続させる音声信号加工手段と、加工された音声再生信号を前記動画像再生手段により再生された早送り動画像信号の再生速度に同期させる同期手段と、を含むことを特徴としている。
【0011】
また、請求項4に係る映像再生装置は、請求項3に記載の映像再生装置において、前記音声再生手段が、前記加工手段により加工されて現在再生中の前記音声再生信号の再生を打ち切って、その次に加工された音声再生信号を前記早送り動画像信号の再生速度に同期させて再生するように構成されていることを特徴としている。
【0012】
また、請求項5に係る映像再生装置は、請求項3に記載の映像再生装置において、前記音声再生手段が、前記加工手段により加工されて現在再生中の前記音声再生信号による再生音を徐々に小音量にすると共に、次に加工された音声再生信号に重ね合わせて再生ながらこの次抽出の音声再生信号による再生音の音量を徐々に高くするように構成されていることを特徴としている。
【0013】
また、請求項6に係る映像再生装置は、請求項3に記載の映像再生装置において、前記音声再生手段が、前記早送り再生映像信号が撮影された方向とは時間的に逆方向に再生されたときに、再生されている映像に同期させて加工された前記音声再生信号の先頭から順方向に再生するように構成されていることを特徴としている。
【0014】
また、請求項7に係る映像再生装置は、請求項3に記載の映像再生装置において、前記同期手段が、前記音声再生手段により再生された前記音声再生信号の再生速度に同期させながら前記動画像再生手段により再生された早送り再生動画像信号の再生速度を決定して前記合成手段に出力することを特徴としている。
【0016】
また、請求項8に係る映像再生装置は、請求項1に記載の映像再生装置において、前記フレーム間変化量検出手段は、圧縮符号化された映像データから動きの変化量を求めるように構成されていることを特徴としている。
【0018】
また、請求項9に係る映像再生装置は、請求項1に記載の映像再生装置において、前記フレーム間変化量検出手段が、動画像信号におけるフレーム間の動画像が速い動きから遅い動きへまたは遅い動きから速い動きへとその変化量が急速に変化する量である画像の加速度を求める加速度検出手段を備えることを特徴としている。
【0019】
また、請求項10に係る映像再生装置は、請求項1に記載の映像再生装置において、前記フレーム間変化量検出手段が、前記動画像の中から背景と動きのある物体とを分離する背景・動き分離手段と、分離された背景と動きのある物体との相対速度の変化量を求める背景・動き間相対速度検出手段と、を備えることを特徴としている。
【0020】
【発明の実施の形態】
以下、本発明に係る映像再生装置の好適な実施形態について添付図面を参照しながら詳細に説明する。まず、本発明の最も基本的な概念を示す第1実施形態に係る映像再生装置について、図1を参照しながら説明する。図1において、映像再生装置は、動画像信号および音声信号を含むディジタル映像信号を入力してこのディジタル映像信号を動画像信号と音声信号とに分離する信号分離手段1と、この信号分離手段1により分離された動画像信号と音声信号のうちの少なくとも一方の映像特徴を抽出する映像特徴抽出手段5と、前記映像特徴抽出手段5により抽出された映像特徴に基づいて、前記映像特徴が存在する場面の映像に所定の加工処理を行ないながら前記動画像信号と前記音声信号とを同期させつつ早送り再生映像信号を生成して出力する早送り映像再生手段10と、を備えている。
【0021】
この明細書においては、映像とは動画像と音声とが複合されたものであると定義して用いるので、映像特徴とは、動画像が例えば急激に変化することにより他の部分とは著しく異なった部分である動画像特徴と、音声が無音状態または有音状態が継続する部分や例えば映像中の山場により歓声等が急激に高まった部分である音声特徴と、の両者を含んだものとして定義する。したがって、前記映像特徴抽出手段5は、前記信号分離手段1により分離された前記音声信号における無音部分の開始時点から終了時点までの所定範囲を音声特徴として抽出する音声特徴抽出手段6と、前記信号分離手段1により分離された前記動画像信号を複数の静止画像であるフレームに分割して分割されたフレーム間における変化量を検出する動画特徴抽出手段6と、の少なくとも何れか一方を備えている。
【0022】
また、早送り映像再生手段10は、前記動画特徴抽出手段6が動画特徴を供給する場合にはその動画特徴に基づいて再生速度等を変化させて動画像の早送り再生を行なう動画像再生手段11と、前記音声特徴抽出手段7が音声特徴を供給する場合にはその音声特徴に基づいて音声信号に所定の加工を加えると共に前記動画像再生手段11の出力する動画像の早送り再生信号に同期させて音声再生信号を出力する音声再生手段12と、早送り再生された動画像と再生された音声とを合成する合成手段18と、を備えている。
【0023】
本発明の基本概念は上述したように、映像の特徴を抽出して映像の早送り再生の際にこの特徴を用いるものであるので、映像特徴としての音声特徴を抽出する第2実施形態に係る映像再生装置について説明する。図2において、映像特徴抽出手段5は、信号分離手段1により分離された音声信号における音声特徴を抽出する音声特徴抽出手段7より構成されており、また、早送り映像再生手段10を構成する音声再生手段12は抽出された前記音声特徴としての無音部分を除去して少なくとも有音部分を含む音声再生信号を加工する音声信号加工手段13と、前記動画像再生手段11より出力される早送り動画像信号の再生速度にこの音声再生信号を同期させて同期音声信号を出力する同期手段14とを備えている。
【0024】
また、映像特徴としての動画特徴を抽出する第3実施形態に係る映像再生装置について、図3を参照しながら説明する。前記映像特徴抽出手段5は、前記信号分離手段1により分離された前記動画像信号を複数の静止画像であるフレームに分割するフレーム分割手段20と、このフレーム分割手段20により分割されたフレーム間における変化量を検出するフレーム間変化量検出手段21と、を含む動画特徴抽出手段6より構成されている。フレーム間変化量検出手段21は、圧縮符号化された映像データから動きの変化量を求めるように構成されていても良いし、動画像信号における変化量が変化する量である加速度を求める加速度検出手段22を備えていても良い。また、フレーム間変化量検出手段21は、前記動画像の中から背景と動きのある物体とを分離する背景・動き分離手段(図示されず)と、分離された背景と動きのある物体との相対速度の変化量を求める背景・動き間相対速度検出手段23と、を備えるように構成しても良い。
【0025】
また、早送り映像再生手段10は、前記フレーム間変化量検出手段21により検出された前記フレーム間の変化量に応じて前記フレームの齣送り速度を変化させることにより動画像信号の再生速度を変更して早送り再生映像信号を再生する動画像再生手段11を備えており、この動画像再生手段11は、前記フレーム分割手段20により分割された動画像におけるフレームと指定された参照画像との間の類似度を求める類似度検出手段25と、検出されたフレームと参照画像との類似度に基づいてこの類似度が高いほど再生速度を遅くすると共に類似度が低いほど再生速度を速く再生するように再生速度を調整する速度調整手段26と、この速度調整手段26により調整された再生速度に基づいて前記フレーム分割手段20より送られてきた動画像信号の早送り再生速度を変更する動画像再生速度変更手段27と、を備えている。
【0026】
上記第1ないし第3実施形態に係る映像再生装置を、音声特徴抽出において更に具体化した第4実施形態に係る映像再生装置を図4ないし図9を参照しながら詳細に説明する。図4は、この第4実施形態に係る映像再生装置のシステム構成を示すブロック図である。図4において、映像再生装置の基本システムは、動画像データを蓄積する動画像データベース31と、この動画像データベース31に蓄積された動画像データの音声部分を解析して所定範囲の音声を分割する音声解析部32と、この音声解析部32の結果から音声と動画像の対応関係をテーブル情報として生成する動画像解析部33と、分割された音声と動画像の同期をとってそれぞれを再生する音声再生部34および動画像再生部35と、ユーザのオペレーションを受け付ける入力部36と、すべての機器を制御する制御部37と、映像データを表示および音を鳴らす表示部38とより構成されている。
【0027】
音声特徴抽出としての音声の分割は、図5に示すように、音声のパワー(音声の大きさ)を見ることによって無音部の開始点t2 およびt4 と終了点t3 およびt5 とを検知する。音声があると判断された有音部分30は分割され、その情報を動画像データベース31に格納する。音声を分割すると同時に音声が存在する映像フレームとの対応関係を動画像分析部33において計算し、対応表としてその情報を動画像データベース31に格納する。表示部38を用いてユーザが映像を鑑賞しているときに、入力部36(キーボード、シャトル、ボタン、リモートコントローラ等)からの指示により映像を早送りすることができる。
【0028】
次に、映像を早送りしながら音声を再生する方法の一例を説明する。図6に示すように、ある区間の映像を2倍速で再生する場合、普通は音声も2倍速で再生する必要がある。しかし、早送りを行なうフレーム中に、例えば音声が発せられた有音部30が3つ存在し無音部39も同数程度存在する場合、無音部39を省いて音声を図6(b)のように縮めることができる。しかし、無音部39が十分多くない場合は図6(c)のように音声は重なってしまうことになる。そこで、動画像解析部33において作成された音声の分割された所定範囲の開始点に対応する映像フレームの対応表を用いて早送り再生において分割された音声の再生を開始するタイミングを計算する。
【0029】
次に、制御部37を用いて映像と音声を同時に再生を開始する。そのとき、映像は2倍速で再生し、音声はそのままの速度で無音部を取り除いて第1の分割音声の再生を開始する。このとき、制御部37は対応表を身ながら第2の分割音声を再生するタイミングにきたとき、第1の分割音声の再生を打ち切って、第2の音声の再生を開始する。以後同様に、第3の分割音声を再生するタイミングがきたときには、第2の分割音声を打ち切って第3の分割音声を再生する。次々に第5の分割音声の再生と第4の分割音声の途中打ち切りを繰り返すことによって、聞きとれる音声で再生が可能になる。無音部39が多数あって、打ち切る必要がない場合は、その分割音声を打ち切らずに次の分割音声のタイミングまで音声再生部34は音声を再生しない。
【0030】
さらに、音がとぎれて聞こえにくい場合があるので、別のモードを入力部36(例えばマウス)により選択して設定することにより、音声を完全に打ち切ることなく次の分割音声が始まった時には前の音声を徐々に小さくして音を重ねて再生することもできる。ユーザに同時に2つの音を聞かせることにより、話されている言葉またはその他の音を継続して聞かせることができる。人間の聴覚は、小さくなっていく方の音声が前の分割音声であり、普通に聞こえてくる方の音声が新しく開始された音声であると認識できるので、同時にふたつの音声を聞き分けることができる。音を小さくさせる傾向はあらかじめ入力部36から設定するパラメータでコントロールできるので急に小さくするものやほとんど小さくならないものなどが選べる。
【0031】
図7に示すように、順方向44の音声再生の場合は、分割音声の有音部41、42および43の先頭が早送りの映像フレームの再生速度45に同期して再生される。また、図8に示すように、映像の逆早送り54の場合には映像フレームは逆方向に再生されるが、分割された音声と映像の対応表を用いて、分割された有音部51、52および53の音声の終了点と音声の開始点に対応する映像フレームとの対応関係を入れ替えて、音声は順方向54に再生する。これにより、映像と音声とはほぼ同期がとれて、しかも音声が充分明瞭に理解できる程度の再生が可能となる。再生方法は順方向に再生したときと同様に次に分割された音声を再生するタイミングがきた時に、モードによって、前の音声を打ち切るか、小さくするかの選択を行ない、次の音声を再生する。
【0032】
図9に示すように、入力部36においてモードを選び音声優先で映像を再生する場合、分割された有音部61、62および63の音声の先頭と末尾までに該当する映像フレームと前または後の無音部64、65、66および67に対応する映像フレームを対応表から選び、分割された音声に同期させて映像を早送り再生する。たとえば、音声61に該当するのは映像フレームF1〜F20であるが、その直後の無音部65に対応するフレームF21〜F30の映像フレームも合わせて音声再生時間内に早送りして映像再生する。これにより音声を明瞭に聞き取ることができ、2倍速程度の早送りにより映像も確認することができる。
【0033】
次に、前記第3実施形態と同様に、映像特徴を動画特徴により抽出して早送りの速度を画面の変化の度合いで制御する第5実施形態に係る映像再生装置について説明する。図7は第5実施形態に係る映像再生装置のシステム構成を示すブロック図である。このシステムは、動画像を格納する動画像データベース71と、前記動画像のフレーム間の変化を参照画像と比較して動画像を解析する動画像解析部72と、動画像解析結果によって動画像データベース71から動画像フレームを選択して同期再生する制御部75と、選択された動画像を再生する映像再生部76と、動画像再生のモードを選択しまたは参照画像を指定するための入力部77と、動画像を表示する表示部78とから構成されており、前記動画像解析部72は、動画像のフレーム間の変化と与えられた参照画像を格納する参照画像記憶部73と、動画像フレームと参照画像とを比較計算する映像比較部74と、を備えている。
【0034】
前記入力部77からのモードの指定で映像再生の早送りの指示命令が入り、動画像データベース71の所望の格納場所から動画像フレームが動画像解析部72へ転送され前後の映像フレームの動きの変化量が計算される。例えば、図11に示すように、相撲の力士同士が立ち会っている動画像フレーム81と、次の瞬間の映像フレームとが比較される。次のフレームが同じく立ち会いの動画像フレーム82の場合には、映像の変化量は少なく、取り組みがはじまれば動画像フレーム83は少し変化する。また、電光掲示板の取組表の動画像フレーム84に場面が切り替われば2つの映像フレームの変化量は大きくなる。変化量としては、動画像フレームの画素ごとの輝度変化量の和または、色相の変化量の和をとり、映像がMPEG(Moving Picture Experts Group―カラー動画像蓄積用符号化方式の標準化作業を進める組織により標準化が行なわれている符号化方式―)で圧縮されている場合は変化量として動き補償ベクトルの長さの和などが利用できる。変化量が多いか少ないかの情報は、制御部75に送られ、変化量が多い場合には再生を遅くし、変化量が少ない場合には再生速度を速くする。その命令が動画像再生部76に送られ、動画像データベース71から対応するデータを取得し、表示部78に映像が表示される。
【0035】
図12は変化量に応じて再生スピードを制御する例で、最上段に示す動画像の変化量に対して、中段に示すように、再生スピードを反転させて制御した例である。下段では段階的な閾値でスピードを変えた例である。変化量に応じて変化させる再生スピードの設定方法は種々考えられる。例えば、変化量に対して反比例させた再生スピードや静止部だけは一定の長さにして再生するようにスピードを制御する方法などである。また、極端に変化が激しい部分では再生速度が極端に遅くなったり、極端に変化の少ない部分では再生速度が極端に速くなったりすることがあるので、再生スピードの上限や下限を設定しておいて再生を行なう方法も考えられる。
【0036】
入力部77からの指示により、動画像データベース71から動画像の静止フレームが呼び出され表示部78に表示される。入力部77の例えばマウスを用いて参照画像を指定すると、参照画像は動画像解析部72に送られて参照画像記憶部73に蓄えられる。入力部77で選択されるモードによって動画像の再生が起動される。動画像データベース71から読み出された映像フレームが、動画像解析部72に送られ、参照画像記憶部73の参照画像と比較される。前記動画像解析部72のフレーム比較部74で類似度が計算される。例えば、類似度は上述した動画像の変化量の逆数で代表される。図13はその類似度の変化を示した図で、その情報は制御部75に送られ、その情報に基づいて再生スピードを制御し、類似度が高い場合は再生を遅く類似度が低い場合は早く再生を制御する。その再生スピードの制御が、図10に示されている。類似度がある閾値よりも低い場合は映像を再生しないようにもできる。映像の無再生の部分は無限大に再生スピードが速いと解釈すれば時間的に飛び越した再生となる。
【0037】
図14の動画像の変化量が変化する量を求めると加速度が得られる。これは、動画像が速い動きから遅い動きへまたは遅い動きから速い動きへ変化する部分でカットのように映像が急に変化する部分を含む。このような加速度に応じて再生スピードを制御することによって映像の内容が切り替わる部分を拾い見することができる。この図14においては、加速度の絶対値によって再生スピードが制御されている。加速度が0の場合は、再生スピードが無限大となり映像フレームが読み飛ばされることになる。
【0038】
以上の説明においては、動画像全体の変化量に応じて動画像の再生スピードを制御する方法を述べてきたが、動画像には被写体と背景が含まれているため、背景と被写体とが異なる動きをしている場合には、これらを分離することが可能である。その方法の1つに、オプィカルフローと呼ばれる小領域の動きの変化を表す量を求め、その動きをクラスタリングすることにより、背景と被写体を分離できる(例えば、COMPUTER GRAPHICS AND IMAGE PROCESSING, pp.301-315, VOL.9,1979など)。分離されたそれぞれの変化量を求めその変化量の差が大きいほど再生スピードを遅くし、小さいほど再生スピードを大きくすることにより、被写体が激しく動いている場合のみ詳しく映像を鑑賞することが可能となる。
【0039】
【発明の効果】
本発明によれば、早送りをした場合でも音声を聞き取ることができ、内容をより明瞭に理解することが可能になり、短い時間で映像の内容を把握することができる。また、映像の変化に応じて再生スピードを制御するため、スポーツなどで動きのない場面では速く再生がなされ、時間的に冗長な場面を早見することができる。また、動きの激しい場面では再生速度が緩慢になるのでじっくり映像の鑑賞を行なうことができる。
【図面の簡単な説明】
【図1】本発明の基本概念である第1実施形態に係る映像再生装置の構成を示すブロック図である。
【図2】音声特徴抽出の基本概念である第2実施形態に係る映像再生装置を示すブロック図である。
【図3】動画特徴抽出の基本概念である第3実施形態に係る映像再生装置を示すブロック図である。
【図4】本発明の第4実施形態に係る映像再生装置のシステム構成を示すブロック図である。
【図5】第4実施形態における映像特徴抽出としての音声の分割を説明する特性図である。
【図6】第4実施形態における分割音声から無音部を取り除き2倍の早送りに同期させて音声を結合した例を示す特性図である。
【図7】第4実施形態における順方向の早送りのときの音声の再生例を示す特性図である。
【図8】第4実施形態における逆方向の早送りのときの音声の再生例を示す特性図である。
【図9】第4実施形態において音声に同期させて動画像を再生する例を示す(a)特性図および(b)図表である。
【図10】本発明の第5実施形態に係る映像再生装置のシステム構成を示すブロック図である。
【図11】第5実施形態における前後のフレームの変化例を示す説明図である。
【図12】第5実施形態における動画像の変化量と再生スピードの関係を示す特性図である。
【図13】第5実施形態における参照画像との類似度と再生スピードの関係を示す特性図である。
【図14】第5実施形態における加速度と再生スピードの関係を示す特性図である。
【符号の説明】
1 信号分離手段
5 映像特徴抽出手段
6 動画特徴抽出手段
7 音声特徴抽出手段
10 早送り映像再生手段
11 動画像再生手段
12 音声再生手段
13 音声信号加工手段
14 同期手段
18 合成手段
20 フレーム分割手段
21 フレーム間変化量検出手段
25 類似度検出手段
26 速度調整手段
27 動画像再生速度変更手段
Claims (10)
- 動画像信号と音声信号とを含むディジタル映像信号を通常再生、早送り再生および逆回し再生することにより所望の映像を表示する映像再生装置において、
入力された前記ディジタル映像信号を動画像信号と音声信号とに分離する信号分離手段と、
前記信号分離手段により分離された動画像信号と音声信号のうちの少なくとも一方の特徴を抽出する映像特徴抽出手段と、
前記映像特徴抽出手段により抽出された映像特徴に基づいて、前記映像特徴が存在する場面の映像に所定の加工処理を行ないながら前記動画像信号と前記音声信号とを同期させつつ早送り再生映像信号を生成して出力する早送り映像再生手段と、
を少なくとも備え、
前記映像特徴抽出手段は、前記信号分離手段により分離された前記動画像信号を複数の静止画像であるフレームに分割するフレーム分割手段と、このフレーム分割手段により分割されたフレーム間における画像の変化量を前記所定の加工処理として検出するフレーム間変化量検出手段と、を含む動画特徴抽出手段より構成され、
前記早送り映像再生手段は、前記フレーム間変化量検出手段により検出された前記フレーム間における画像の変化量に応じて前記フレームの齣送り速度を変化させることにより動画像信号の再生速度を変更して早送り再生映像信号を再生する動画像再生手段より構成され、かつ、
前記動画像再生手段は、前記フレーム分割手段により分割された動画像におけるフレームと指定された参照画像との間の類似度を求める類似度検出手段と、検出されたフレームおよび参照画像間の類似度に基づいてこの類似度が高いほど再生速度を遅くすると共に類似度が低いほど再生速度を速く再生するように再生速度を調整する速度調整手段と、この速度調整手段により調整された再生速度に基づいて前記フレーム分割手段より送られてきた動画像信号の早送り再生速度を変更する動画像再生速度変更手段と、を備えることを特徴とする映像再生装置。 - 前記映像特徴抽出手段は、前記信号分離手段により分離された前記音声信号における無音部分の開始時点から終了時点までの所定範囲を音声特徴として抽出する音声特徴抽出手段により構成されると共に、
前記早送り映像再生手段は、前記信号分離手段により分離された動画像信号を所定の速度で再生して早送り動画像信号を出力する動画像再生手段と、前記音声特徴抽出手段により抽出された無音部分を除去して少なくとも有音部分を含む音声再生信号を加工すると共に前記早送り動画像信号の再生速度にこの音声再生信号を同期させて同期音声信号を出力する音声再生手段と、前記同期音声信号と前記早送り動画像信号とを合成して早送り再生映像信号を出力する合成手段と、を備えることを特徴とする請求項1に記載の映像再生装置。 - 前記音声再生手段は、前記音声特徴抽出手段により抽出された無音部分を除去して有音部分を連続させる音声信号加工手段と、加工された音声再生信号を前記動画像再生手段により再生された早送り動画像信号の再生速度に同期させる同期手段と、を含むことを特徴とする請求項2に記載の映像再生装置。
- 前記音声再生手段は、前記加工手段により加工されて現在再生中の前記音声再生信号の再生を打ち切って、その次に加工された音声再生信号を前記早送り動画像信号の再生速度に同期させて再生するように構成されていることを特徴とする請求項3に記載の映像再生装置。
- 前記音声再生手段は、前記加工手段により加工されて現在再生中の前記音声再生信号による再生音を徐々に小音量にすると共に、次に加工された音声再生信号に重ね合わせて再生しながらこの次に加工された音声再生信号による再生音の音量を徐々に高くするように構成されていることを特徴とする請求項3に記載の映像再生装置。
- 前記音声再生手段は、前記早送り再生映像信号が撮影された方向とは時間的に逆方向に再生されたときに、再生されている映像に同期させて加工された前記音声再生信号の先頭から順方向に再生するように構成されていることを特徴とする請求項3に記載の映像再生装置。
- 前記同期手段は、前記音声再生手段により再生された前記音声再生信号の再生速度に同期させながら前記動画像再生手段により再生された早送り再生動画像信号の再生速度を決定して前記合成手段に出力することを特徴とする請求項3に記載の映像再生装置。
- 前記フレーム間変化量検出手段は、圧縮符号化された映像データから動きの変化量を求めるように構成されていることを特徴とする請求項1に記載の映像再生装置。
- 前記フレーム間変化量検出手段は、動画像信号におけるフレーム間の動画像が速い動きから遅い動きへまたは遅い動きから速い動きへとその変化量が急速に変化する量である画像の加速度を求める加速度検出手段を備えることを特徴とする請求項1に記載の映像再生装置。
- 前記フレーム間変化量検出手段は、前記動画像の中から背景と動きのある物体とを分離する背景・動き分離手段と、分離された背景と動きのある物体との相対速度の変化量を求める背景・動き間相対速度検出手段と、を備えることを特徴とする請求項1に記載の映像再生装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04263797A JP3877371B2 (ja) | 1997-02-26 | 1997-02-26 | 映像再生装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04263797A JP3877371B2 (ja) | 1997-02-26 | 1997-02-26 | 映像再生装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10243351A JPH10243351A (ja) | 1998-09-11 |
JP3877371B2 true JP3877371B2 (ja) | 2007-02-07 |
Family
ID=12641537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP04263797A Expired - Fee Related JP3877371B2 (ja) | 1997-02-26 | 1997-02-26 | 映像再生装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3877371B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3063682B2 (ja) * | 1997-06-05 | 2000-07-12 | 日本電気株式会社 | 音声再生時刻の制御機能を有する画像音声デコーダ |
DE60040184D1 (de) | 1999-01-28 | 2008-10-23 | Toshiba Kawasaki Kk | Verfahren zum Beschreiben von Bildinformationen, Wiederauffinden und Wiedergeben von Videodaten und Vorrichtung zum Wiedergeben von Videodaten |
JP4504322B2 (ja) * | 2005-03-03 | 2010-07-14 | 富士フイルム株式会社 | 画像抽出装置、画像抽出方法、及び画像抽出プログラム |
EP1862106A1 (en) | 2005-03-22 | 2007-12-05 | Osaka University | Capsule endoscope image display controller |
JP4720544B2 (ja) * | 2006-03-01 | 2011-07-13 | ソニー株式会社 | 画像処理装置および方法、プログラム記録媒体、並びにプログラム |
JP4839952B2 (ja) * | 2006-05-01 | 2011-12-21 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP4957960B2 (ja) * | 2007-01-29 | 2012-06-20 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP5070990B2 (ja) | 2007-08-21 | 2012-11-14 | ソニー株式会社 | 情報提示装置及び情報提示方法 |
JP5058780B2 (ja) * | 2007-12-25 | 2012-10-24 | キヤノン株式会社 | 画像処理装置 |
TWI525454B (zh) * | 2009-06-19 | 2016-03-11 | 國立台灣大學 | 視訊播放系統與方法 |
MX2012010634A (es) | 2010-03-31 | 2012-11-29 | Thomson Licensing | Reproduccion trucada de datos de video. |
KR101681176B1 (ko) * | 2010-09-17 | 2016-11-30 | 톰슨 라이센싱 | 비디오 시스템에서 의미 기반 트릭 모드 플레이를 위한 방법 |
KR101958921B1 (ko) * | 2012-11-26 | 2019-03-15 | 에스케이 텔레콤주식회사 | 영상 내 프레임의 중요도에 따른 재생속도 조절 장치 및 방법 |
JP6075624B2 (ja) * | 2013-01-16 | 2017-02-08 | 株式会社リコー | 位置情報取得装置及び画像表示システム |
-
1997
- 1997-02-26 JP JP04263797A patent/JP3877371B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH10243351A (ja) | 1998-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100403238B1 (ko) | 비디오의 지능형 빨리 보기 시스템 | |
JP4717060B2 (ja) | 記録再生装置および記録再生方法および記録再生プログラムを格納した記録媒体および記録再生装置において用いられる集積回路 | |
JP3877371B2 (ja) | 映像再生装置 | |
US8320743B2 (en) | Dynamic variation of output media signal in response to input media signal | |
JP4679647B2 (ja) | 映像音声再生装置および映像音声再生方法 | |
US20060104609A1 (en) | Reproducing device and method | |
KR100555426B1 (ko) | 비디오 콘텐트의 동적 탐색 방법 및 장치 | |
US8391669B2 (en) | Video processing apparatus and video processing method | |
EP1531474A1 (en) | Video signal playback apparatus and method | |
JP2008178090A (ja) | 映像処理装置 | |
KR100581156B1 (ko) | 영상 신호 재생을 위한 장치 및 방법 | |
KR0176961B1 (ko) | 캡션지향 화면 검색기능의 비디오cd재생장치 및 캡션지향 화면 검색방법 | |
JP2010246000A (ja) | 映像サーチ再生装置 | |
JP2980387B2 (ja) | 映像内容圧縮表示処理方法 | |
JP2002262228A (ja) | ダイジェスト作成装置 | |
JP3848144B2 (ja) | 映像短縮再生装置、映像短縮再生方法、この方法のプログラムおよびこのプログラムを記録した記録媒体 | |
JP2982697B2 (ja) | テロップ表示装置 | |
JP2002084505A (ja) | 映像閲覧時間短縮装置及び方法 | |
JP4086886B2 (ja) | 動画再生装置、動画再生方法及びそのコンピュータ・プログラム | |
JP4509188B2 (ja) | 動画再生装置、動画再生方法及びそのコンピュータ・プログラム | |
JPH0879674A (ja) | 動画像検索方式 | |
JP2001103401A (ja) | 信号再生方法および信号再生装置 | |
JP2003023607A (ja) | 再生装置 | |
JP3970080B2 (ja) | 動画再生装置、動画再生方法及びそのコンピュータ・プログラム | |
JP5097149B2 (ja) | コンテンツデータ再生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060801 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061024 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061031 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111110 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |