JP4679647B2 - 映像音声再生装置および映像音声再生方法 - Google Patents

映像音声再生装置および映像音声再生方法 Download PDF

Info

Publication number
JP4679647B2
JP4679647B2 JP2009046867A JP2009046867A JP4679647B2 JP 4679647 B2 JP4679647 B2 JP 4679647B2 JP 2009046867 A JP2009046867 A JP 2009046867A JP 2009046867 A JP2009046867 A JP 2009046867A JP 4679647 B2 JP4679647 B2 JP 4679647B2
Authority
JP
Japan
Prior art keywords
speed
playback
video
audio
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009046867A
Other languages
English (en)
Other versions
JP2010206279A (ja
Inventor
道生 山下
耕一 中里
貴史 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2009046867A priority Critical patent/JP4679647B2/ja
Priority to US12/708,454 priority patent/US8116608B2/en
Publication of JP2010206279A publication Critical patent/JP2010206279A/ja
Application granted granted Critical
Publication of JP4679647B2 publication Critical patent/JP4679647B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005Reproducing at a different information rate from the information rate of recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Description

この発明は、映像および音声の再生速度を独立して変化することのできる映像音声再生装置およびその方法に関する。
映像および音声の記録方法の多様化に伴い、ユーザーは、さまざまなコンテンツを再生する機会を得ている。
反面、コンテンツを再生することのできる時間は必ずしも十分ではなく、再生速度を一定の割合で高める、例えば早見早聞モード等が既に実用化されている。
しかしながら、再生速度を単純に高めた場合、映像については、シーンの切り替わり等において不連続性が顕著となることがあり、音声およびオーディオについては、必ずしも聞き取り易い状態で再生されないことがありことがある。
このような背景から、映像および音声の再生速度をそれぞれ別々に設定する方法が提案されている。
特許文献1には、AVデータ分析部で分析された音声信号および映像信号の特徴量に基づき前記音声信号および映像信号の再生速度を個別に決定する速度決定部と、前記速度決定部で決定された音声再生速度に基づき前記音声信号の再生速度を変化させる音声再生速度変換部と、前記速度決定部で決定された映像再生速度に基づき前記映像信号の再生速度を変化させる画像再生速度変換部とを備える記録再生装置および記録再生方法が示されている。
国際公開2006/082787パンフレット
特許文献1は、現在録画中のコンテンツの映像および音声を独立して通常速度(等倍)よりも高めて再生することを開示する。なお、映像と音声を独立して再生する際に、両者をリンクさせる際の条件に関する記載は見当たらない。
この発明の目的は、コンテンツを再生する際に、映像および音声の再生速度を独立して変化するとともに、それぞれを等速で再生することが好ましい区間の近傍で、等速再生時と違和感が少なくなるよう、再生速度を制御する映像音声再生装置およびその方法を提供することである。
この発明は、上記問題点に基づきなされたもので、コンテンツを映像信号と音声信号に分離する分離モジュールと、前記分離モジュールが分離した映像信号を復調する映像復調モジュールと、前記分離モジュールが分離した音声信号を復調する音声復調モジュールと、映像信号の再生速度を、等速再生に比較して再生速度の速い高速再生シーンから等速再生シーンの開始点に対して時間軸上で一定時間手前となる任意の時間から等速再生シーンの開始点まで、単位時間当たりに再生する単位ブロック数を次第に低下させる映像再生速度設定モジュールと、
音声信号の再生速度を、等速再生に比較して再生速度の速い高速再生シーンから等速再生シーンの開始点に対して時間軸上で一定時間手前となる任意の時間から等速再生シーンの開始点まで、単位時間当たりに再生する単位ブロック数を次第に低下させとともに、音声の再生速度を映像の再生速度よりも緩やかに変化させながら等速再生シーンの開始点で音声の再生速度と映像の再生速度を一致させる音声再生速度設定モジュールと、前記映像復調モジュールが復調した映像信号を前記映像再生速度設定モジュールが設定した再生速度で再生可能な映像出力と前記音声復調モジュールが復調した音声信号を前記音声再生速度設定モジュールが設定した再生速度で再生可能な音声出力とを映像音声出力装置が再生可能に処理する信号処理モジュールと、を具備する映像音声再生装置である。
この発明の一つの実施の形態によれば、映像および音声の再生速度を独立して変化するとともに、それぞれを等速で再生することが好ましい区間の近傍において、等速再生時と違和感が少なくなるよう、再生速度を制御する映像音声再生装置が得られる。
またこの発明の一つの実施の形態によれば、映像および音声の再生速度を独立して変化しながら、任意区間を「等速再生」よりも高速な「高速再生」により再生する際に、等速再生すなわち倍速の程度を示す倍率「X」が1となるシーン2の開始点に対して時間軸上で一定時間手前となる任意の時間から、音声の再生速度を映像の再生速度よりも遅くすることにより、音声が聞き取りにくくなることを解消できる。
さらにこの発明の一つの実施の形態を適用することにより、映像および音声の再生速度を独立して変化しながら、任意区間を「等速再生」よりも高速な「高速再生」により再生する際に、高速再生の度合いである単位時間当たりの再生ブロック数(倍速の程度を示す倍率「X(Xは任意数)」)を次第に低下させ、さらに音声について、「高速再生」中には、音量を低減し、音声の再生速度が、例えば2倍速程度まで低下するタイミングで、音量を次第に増加することにより、比較的聞き取りにくい条件で音声が再生されている時間が低減される。
このように、視聴者が再生中のコンテンツの音声の聞き取りに集中できないような急激な音量変化を伴う音声再生状態や、明暗を伴う映像再生状態が生じることを抑止することで、等速で再生することが好ましい区間の近傍において等速再生時と違和感が少なくなるよう、再生速度を制御することができる。
従って、映像音声再生装置を用いる非等速再生における利便性が向上され、ユーザーの負担が低減される。
この発明の実施の形態が適用可能な映像音声再生装置の構成の一例を示す概略図。 図1に示した映像音声再生装置が取得可能な「おすすめメニュー」/「おすすめサービス」等のコンテンツから直接取得できる情報に限らない情報(再生条件設定要件)の一例を説明する概略図。 図1に示す映像音声再生装置において、「映像信号」と「音声信号」との同期値を説明する概略図。 図1に示す映像音声再生装置において、単純に「高速再生」と「等速再生」とを切り換えた際の影響の一例を示す概略図。 図4に示す「高速再生」が、例えば3倍速である場合に、「映像信号」と「音声信号」との同期を合わせる方法の一例を説明する概略図。 図1に示す映像音声再生装置において、「高速再生」と「等速再生」とを、切り換えた時の映像および音声に影響が生じることを低減可能なシームレス再生の一例を説明する概略図。 図6に示す「高速再生」と「等速再生」とを、切り換えた時の映像および音声のシームレス再生において、同期を合わせる方法の一例を説明する概略図。 図1に示す映像音声再生装置において、「高速再生」と「等速再生」とを、切り換えた時の映像および音声に影響が生じることを低減可能なシーン別再生速度制御の一例を説明する概略図。 図8に示す「高速再生」と「等速再生」とを、切り換えた時の映像および音声のシーン別再生速度制御において、同期を合わせる方法の一例を説明する概略図。 図1に示す映像音声再生装置において、「高速再生」と「等速再生」とを切り換えた時の映像および音声に影響が生じることを低減可能なシーン別再生速度制御と音量の変化を併用する説明する概略図。 図1に示す映像音声再生装置において、「高速再生」と「等速再生」とを切り換えた時の映像および音声に影響が生じることを低減可能なシーン別再生速度制御と音声(フレーズ、文章)の区切りと音量の変化を併用する説明する概略図。 図1に示した映像音声再生装置において、番組情報に基づいて、「高速再生」と「等速再生」とを実現する一例を説明する概略図。 図1に示した映像音声再生装置において、インデックス情報に基づいて、映像の「高速再生」と「等速再生」とを切り換える(再生速度)を設定する方法の一例を説明する概略図。 図1に示した映像音声再生装置において、インデックス情報に基づいて、音声の「高速再生」と「等速再生」とを切り換える(再生速度)を設定する方法の一例を説明する概略図。 図1に示した映像音声再生装置において、「高速再生」と「等速再生」とを、切り換えながら映像および音声を再生する際に、映像および音声の時間軸を、再生画面に表示する例を説明する概略図。 図1に示した映像音声再生装置において、任意の区間を抽出する方法の一例を示す概略図。 図1に示した映像音声再生装置において、任意の区間(CM区間)を抽出する方法の一例を示す概略図。
以下、図面を参照して、本発明の実施の形態の一例について説明する。
図1は、この発明を適用した映像音声再生装置、例えばHDD(Hard Disk Drive)に記録されたコンテンツを再生するプレーヤー装置に関する。なお、記録媒体の記録方式および記録媒体から信号を再生する形態は任意であり、例えばDVD(Digital Versatile Disk)規格の光ディスクとプレーヤー装置、HDDまたはDVDドライブが実装されたPC(Personal Computer)、HDDまたはDVDドライブが組み込まれたテレビ受信装置、SD(Secure Digital)カードのようなカード状の半導体メモリからコンテンツを再生する携帯型メディアプレーヤー等、に利用可能であることはいうまでもない。また、コンテンツは、任意の形式で圧縮された形式であってもよいことはいうまでもない。
図1に示す映像音声再生装置10は、任意の記録媒体が保持するコンテンツを再生する再生モジュール20、再生モジュール20により、例えば圧縮状態から伸長された再生用信号から映像データおよび音声(オーディオ)データを分離する分離モジュール30、分離モジュール30が分離した映像データを復調する映像復調モジュール31、分離モジュール30が分離した音声(オーディオ)データを復調する音声復調モジュール32、映像復調モジュール31と音声復調モジュール32のそれぞれから供給される映像信号および音声信号を処理する信号処理モジュール40を含む。なお、信号処理モジュール40から出力される映像出力および音声出力(オーディオ出力)を再生する映像音声出力装置50が、一体にまたは独立に設けられる。
信号処理モジュール40には、<<映像復調モジュール31からの>>映像信号に適用する非等速再生(再生速度変更)時の映像再生速度を設定する映像速度演算モジュール101、<<音声復調モジュール32からの>>音声信号に適用する非等速再生(再生速度変更)時の音声再生速度を設定する音声速度演算モジュール102、を含む再生速度設定モジュール100から、映像信号および音声信号を再生する際の速度情報が入力される。
再生速度設定モジュール100(映像速度演算モジュール101/音声速度演算モジュール102)が映像速度および音声速度を演算するための情報としては、例えば外部から取得可能な「番組情報」と、例えばコンテンツ記録時に取得した「インデックス情報」等を用いることができる。
「番組情報」は、例えばEPG(Electrical Program Guide)から取得可能なキーワード、例えば出演者情報、分野および放送時間等、あるいはプレーヤー装置を提供するメーカー(製造者)またはそのユーザー(利用者)ら等が組織するもので、例えばネットワーク上のサーバー等から取得可能な「おすすめメニュー」/「おすすめサービス」等のコンテンツから直接、取得できる情報に限らない情報(再生条件設定要件)を含む。図2に、製造者が提供するサーバーから取得でき、図1に示した映像音声再生装置10と接続される映像音声出力装置50の画面に表示されるサービス画面(「おすすめサービス」)の一例を示す。
図3は、等速(等倍)再生時の「映像信号」と「音声信号」の同機軸、すなわち映像と音声の時間軸に対する同期値の関連を示す。
図示する通り、等速(等倍)再生においては、映像信号と音声信号のそれぞれに、信号の同期を行うために信号同期値を付与する。等倍再生時には、この信号同期値に従って同期再生を行う。すなわち、「映像信号」と「音声信号」の同期軸、すなわち映像と音声の時間軸に対する同期値は、通常は、完全に一致する。
図4は、シーン1とシーン3との間に位置するシーン2について、シーン1とシーン3を「高速再生」し、シーン2を「等速再生」する例を模式的に示す。
図4に示すように、「高速再生」されているシーン1からシーン2とシーン1との切り換え点で急激に速度を変化させてシーン2を「等速再生」する場合に、シーン2の開始点で、例えば音声がフレーズの途中から再生される等の理由により、突然大きな音量で再生される等の視聴者が再生中のコンテンツの音声の聞き取りに集中できることを妨げる要因がある。また、映像についても同様に、例えば明暗の差が大きな映像が出現する等の視聴者が再生中のコンテンツの映像を注視しがたい要因が生じることがある。
図5は、「高速再生」の速度が3倍速である場合に「映像信号」と「音声信号」との同期を合わせる方法の一例を示し、映像信号については、単位ブロックのうち、任意の3つのブロック毎に2つのブロック分の映像データを読み捨てる(再生しない)ことが一般的である。一方、音声信号については、単位ブロックのうち、任意の3つのブロック毎に、1つのブロックの時間に相当する時間で再生が終了するよう、圧縮することが一般的である。
すなわち、信号処理モジュール4において信号同期値を参照し、映像信号については指定倍数について、読み捨てることで映像の高速再生を実現する。また、音声信号については、信号処理モジュール40において、音声信号を圧縮することで音程を保ったまま音声の高速再生を実現する。なお、音声信号の圧縮については、詳述しないが、既に広く実用化されているさまざまな手法が利用可能である。
図6は、図1に示す映像音声再生装置において、「高速再生」と「等速再生」とを切り換えて再生する際に、映像および音声に影響が生じることを低減可能な再生方法の一例であるシームレス再生の原理を示す。
シーン1とシーン3とが「高速再生」で、間に位置するシーン2が「等速再生」である場合、等速再生(すなわち倍速の程度を示す倍率「X」が1となる)シーン2の開始点に対して時間軸上で一定時間手前となる任意の単位ブロックにおいて、高速再生の度合いである単位時間当たりの再生ブロック数(倍速の程度を示す倍率「X(Xは任意数)」)を次第に低下させる例を、模式的に示す。すなわち、高速再生から等倍再生へ、コンテンツ再生速度を推移する際、滑らかな速度変化で移行することで、再生速度が等倍再生に移行する際の視聴者への違和感を緩和することができる。
図6に示す例は、図7により詳細に説明するように、「映像信号」および「音声信号」ともに、等倍(x1)再生の直前において、x5倍速から、x4倍速、x3倍速、およびx2倍速の順に単位時間当たりの再生ブロック数を減少することで、等速(等倍)再生の直前の速度を低下している。すなわち、映像と音声の同期軸の幅を狭めていくことにより滑らかに速度を変化させることができる。
図8は、図1に示す映像音声再生装置において、「高速再生」と「等速再生」とを切り換えて再生する際に、映像および音声に影響が生じることを低減可能な再生方法の一例であるシーン別再生速度変化(映像音声ずらし)方式の原理を示す。
シーン1とシーン3とが「高速再生」で、間に位置するシーン2が「等速再生」である場合、等速再生(すなわち倍速の程度を示す倍率「X」が1となる)シーン2の開始点に対して時間軸上で一定時間手前となる任意の時間から、音声の再生速度を映像の再生速度よりも遅くすることにより、音声が聞き取りにくくなることを解消できる。なお、シーン2の開始点において、音声と映像が一致するよう、音声の再生速度が制御される。
図8に示す例は、図9により詳細に説明するように、例えば「映像信号」については、x3倍速を適用し、「音声信号」については、x2倍速を適用することにより音声が聞き取りにくくなることを解消できることを模式的に説明している。
すなわち、映像の同期軸と音声の同期軸のそれぞれを、同期値に対して所定量ずらして設定することで、映像と音声とを別々の速度で再生することができ、滑らかに速度を変化させることができる。
また、後段に説明するが、取得したインデックス情報を参照してシーン切り替わり時の信号同期値を参照可能であるため、映像速度演算モジュール101あるいは音声速度演算モジュール102にて逆算した同期軸を元に、容易に同期を取ることができる。
図10は、図1に示す映像音声再生装置において、「高速再生」と「等速再生」とを切り換えて再生する際に、映像および音声に影響が生じることを低減可能な再生方法の一例であり、「シームレス再生」と「シーン別再生速度変化(映像音声ずらし)方法」の原理を示す。
シーン1とシーン3とが「高速再生」で、間に位置するシーン2が「等速再生」である場合、等速再生(すなわち倍速の程度を示す倍率「X」が1となる)シーン2の開始点に対して時間軸上で一定時間手前となる任意の単位ブロックにおいて、はじめに、高速再生の度合いである単位時間当たりの再生ブロック数(倍速の程度を示す倍率「X(Xは任意数)」)を次第に低下させ、さらに音声について、「高速再生」中には、音量を低減し、音声の再生速度が、例えば2倍速程度まで低下するタイミングで、音量を次第に増加することにより、比較的聞き取りにくい条件で音声が再生されている時間が低減される。これにより、視聴者が再生中のコンテンツの音声の聞き取りに集中できないような急激な音量変化を伴う音声再生が生じることが抑制される。
すなわち、図10に示す例では、「映像信号」および「音声信号」を、等倍(x1倍)再生(シーン2の開始点)の直前までの一定の時間内にxX倍速(Xは任意数)からx2倍速まで、順に単位時間当たりの再生ブロック数を減少するとともに、音声速度が、例えばx2倍速相当に低下するタイミングで、音声信号の音量を増加することで、音声が聞き取りにくくなることを解消している
より詳細には、シーンの切り換わり時に、音声信号の音量を、フェードイン(次第に増加)/フェードアウト(次第に減少)処理を行うことで、急激な音量変化による雑音または視聴者が違和感を感じるような音声(音量)の発生を抑制することができる。なお、図11に一例を示すが、音声信号の音量増のタイミングとして、既に広く実用化されている音声認識の手法に従い、フレーズまたは文章のきれ目を検出して、音量を増減することも可能である。
図12は、番組情報を参照して、予め「高速再生」と「等速再生」を切り換える一例を示す。
図2に示した通り、例えばEPGから取得可能なキーワード、例えば出演者情報、分野および放送時間等、あるいはプレーヤー装置を提供するメーカー(製造者)、またはそのユーザー(利用者)ら等が組織するもので、例えばネットワーク上のサーバー等から取得可能な「おすすめメニュー」/「おすすめサービス」等のコンテンツから直接、取得できる情報に限らない情報(再生条件設定要件)が存在する。
例えば「おすすめサービス」等に記録された情報を参照することで、図12のシーン2であり、例えば「得点シーン」含む時刻情報が取得できた場合には、そのシーンの直前で再生速度を低下させ、取得した時刻を開始点として「等速再生」すればよい。
なお、図12において、シーン4は、コンテンツ(番組)の本編に引き続く「CM(コマーシャル)」であることが「番組情報」から取得できるので、(シーン4については)最も再生速度の高い「高速再生」を適用することができる。
すなわち、インデックス情報として、シーン毎に重要度を付与し、番組(コンテンツ)のシーンに応じて、シーンの再生方法(速度)を変更する。例えば得点シーンなどでは、等倍再生を適用し、通常のシーン(必ずしも等速再生を継続する必要が高いとは限らないシーン)は通常よりも早く再生する。また、重要なシーンからの切り替わりには、映像と音声を別々の速度で移行する。最も重要ではない、と判定可能なシーン、例えばCM等については、コンテンツとの関わりが小さいため、速やかに高速再生へ移行する。
図13は、「映像信号」に関し、インデックス情報(あるいはインデックス情報と番組情報)を参照して「高速再生」すべき区間とその区間の再生速度を算出する方法の一例を示す。
図13から明らかなように、始めに「インデックス情報(番組情報)」を取得し[ブロック1]、映像の再生速度の倍率「T」を演算する[ブロック2]。
ブロック2において求められた映像の再生速度の倍率「T」に従い、映像信号を「T」倍に増大する[ブロック3]。
以下、インデックス(番組情報)がなくなった(情報が残っていない)ことを示す『終了通知』を取得する([ブロック5−NO])まで、次のインデックス(番組情報)に基づいて、ブロック2とブロック3の処理が繰り返される[ブロック4]。
なお、インデックス(番組情報)がなくなった(情報が残っていない)ことを示す『終了通知』を取得した([ブロック5−YES])時点で、再生速度の演算が終了することはいうまでもない。
図14は、「音声信号」に関し、インデックス情報(あるいはインデックス情報と番組情報)を参照して「高速再生」すべき区間とその区間の再生速度を算出する方法の一例を示す。
図14から明らかなように、始めに「インデックス情報(番組情報)」を取得し[ブロック11]、音声の再生速度の倍率「T」を演算する[ブロック12]。
ブロック12において求められた音声の再生速度の倍率「T」に基づいて、音声信号を「T」倍に増大する[ブロック13]。
以下、インデックス(番組情報)がなくなった(情報が残っていない)ことを示す『終了通知』を取得する([ブロック15−NO])まで、次のインデックス(番組情報)に基づいて、ブロック12とブロック13の処理が繰り返される[ブロック14]。
なお、インデックス(番組情報)がなくなった(情報が残っていない)ことを示す『終了通知』を取得した([ブロック15−YES])時点で、再生速度の演算が終了することはいうまでもない。
図15は、図1に示した映像音声再生装置において、「高速再生」と「等速再生」とを切り換えながら映像および音声を再生する際に、映像および音声の時間軸を、再生画面に表示する例を示す。
図15から明らかなように、表示装置に表示される画面の所定の位置、例えば画面の下方の通常は字幕(文字情報)等が表示される領域の下方に、「映像信号」の再生速度(倍率)15Aと現在再生されている映像の時間軸上の位置15Bとを、バーグラブ15C等により表示することで、視聴者は、コンテンツの残りの時間がどの程度であるかを容易に把握できる。
また、バーグラフ15Cを挟んで「映像信号」の再生速度15Aおよび時間軸上の位置15Bと比較可能に、「音声信号」の再生速度(倍率)15Dと現在再生されている音声の時間軸上の位置15Eを、「映像信号」と同様に表示することにより、時間軸上の位置15E(音声)と時間軸上の位置15B(映像)との間隔が狭くなると、『ハイライト』シーンまたは注視すべき再生位置(時間)が近づいていることを認識できる。すなわち、映像速度または音声速度の演算結果やインデックス情報を、再生映像と同時にまたは同一画面に表示することで、視聴者へ再生状態を視覚的にも伝えることが可能である。
なお、図16および図17に示すように、既に実用化されている「映像の構造化」方法と「任意区間検出」方法を用いて、コンテンツ(番組)の本編に含まれる「CM(コマーシャル)」区間については、高速再生とすることもできる。
一例としては、図16に示す「映像の構造化」処理パートにより、c1、c2、…、c5としてあらわすことのできるチャプタ分割点(第1の区切り情報)を検出し、「任意区間検出」処理パートにより、同じ番組(コンテンツ)の時間方向に対して第2の区切り情報m1、m2、m3、m4(無音区間)を検出し、例えば音声モードが変化せず連続している区間、あるいはステレオモードが連続している区間であるm1とm2との間ならびにm3とm4との間を任意区間に設定することで、特定された任意区間を、CM区間として検出できる。なお、無音部と次の無音部との時間間隔が一定時間(A)の倍数であるかどうかを判定することで、より高い精度で「CM区間」を検出できる。
このようにして検出できた「CM区間」については、図6および図7あるいは図8および図9もしくは図10により説明したように「高速再生」を適用することで、「視聴者の集中を妨げる要因」が生じることを抑制しながら、「高速再生」と「等速再生」とを切り換えることができる。
以上説明したように、この発明の一つの実施の形態によれば、映像および音声の再生速度を独立して変化するとともに、それぞれを等速で再生することが好ましい区間の近傍において、等速再生時と違和感が少なくなるよう、再生速度を制御する映像音声再生装置が得られる。
またこの発明の一つの実施の形態によれば、映像および音声の再生速度を独立して変化しながら、任意区間を「等速再生」よりも高速な「高速再生」により再生する際に、等速再生すなわち倍速の程度を示す倍率「X」が1となるシーン2の開始点に対して時間軸上で一定時間手前となる任意の時間から、音声の再生速度を映像の再生速度よりも遅くすることにより、音声が聞き取りにくくなることを解消できる。
さらにこの発明の一つの実施の形態を適用することにより、映像および音声の再生速度を独立して変化しながら、任意区間を「等速再生」よりも高速な「高速再生」により再生する際に、高速再生の度合いである単位時間当たりの再生ブロック数(倍速の程度を示す倍率「X(Xは任意数)」)を次第に低下させ、さらに音声について、「高速再生」中には、音量を低減し、音声の再生速度が、例えば2倍速程度まで低下するタイミングで、音量を次第に増加することにより、比較的聞き取りにくい条件で音声が再生されている時間が低減される。
このように、視聴者が再生中のコンテンツの音声の聞き取りに集中できないような急激な音量変化を伴う音声再生状態や、明暗を伴う映像再生状態が生じることを抑止することで、等速で再生することが好ましい区間の近傍において等速再生時と違和感が少なくなるよう、再生速度を制御することができる。
従って、映像音声再生装置を用いる非等速再生における利便性が向上され、ユーザーの負担が低減される。
なお、この発明は、上述した各実施の形態に限定されるものではなく、その実施の段階ではその要旨を逸脱しない範囲で種々な変形もしくは変更が可能である。また、各実施の形態は、可能な限り適宜組み合わせて、もしくは一部を削除して実施されてもよく、その場合は、組み合わせもしくは削除に起因したさまざまな効果が得られる。
1…映像音声再生装置、20…再生モジュール、30…分離モジュール、31…映像復調モジュール、32…音声復調モジュール、40…信号処理モジュール、50…映像音声出力装置、100…再生速度設定モジュール、101…映像速度演算モジュール、102…音声速度演算モジュール。

Claims (10)

  1. コンテンツを映像信号と音声信号に分離する分離モジュールと、
    前記分離モジュールが分離した映像信号を復調する映像復調モジュールと、
    前記分離モジュールが分離した音声信号を復調する音声復調モジュールと、
    映像信号の再生速度を、等速再生に比較して再生速度の速い高速再生シーンから等速再生シーンの開始点に対して時間軸上で一定時間手前となる任意の時間から等速再生シーンの開始点まで、単位時間当たりに再生する単位ブロック数を次第に低下させる映像再生速度設定モジュールと、
    音声信号の再生速度を、等速再生に比較して再生速度の速い高速再生シーンから等速再生シーンの開始点に対して時間軸上で一定時間手前となる任意の時間から等速再生シーンの開始点まで、単位時間当たりに再生する単位ブロック数を次第に低下させとともに、音声の再生速度を映像の再生速度よりも緩やかに変化させながら等速再生シーンの開始点で音声の再生速度と映像の再生速度を一致させる音声再生速度設定モジュールと、
    前記映像復調モジュールが復調した映像信号を前記映像再生速度設定モジュールが設定した再生速度で再生可能な映像出力と前記音声復調モジュールが復調した音声信号を前記音声再生速度設定モジュールが設定した再生速度で再生可能な音声出力とを映像音声出力装置が再生可能に処理する信号処理モジュールと、
    を具備する映像音声再生装置。
  2. 前記音声再生速度設定モジュールは、等速再生シーンの開始点に対して時間軸上で映像よりも一定時間手前となる任意の時間から等速再生シーンの開始点まで、単位時間当たりに再生する単位ブロック数を次第に低下させるとともに、音声の再生速度を映像の再生速度よりも緩やかに変化させながら等速再生シーンの開始点で音声の再生速度と映像の再生速度を一致させるとともに、音量を次第に増大する請求項1記載の映像音声再生装置。
  3. 前記音声再生速度設定モジュールは、等速再生シーンの開始点に対して時間軸上で一定時間手前となる任意の時間から、音声再生速度を次第に低下させ、高速再生中には音量を低減し、音声の再生速度が所定の速度に低下した時間から、音量を次第に増加する請求項1記載の映像音声再生装置。
  4. 前記映像再生速度設定モジュールは、外部から取得可能な番組情報から直接取得できる情報に限らない情報とコンテンツから直接取得できる番組情報とに基づいて、時間軸上で一定時間手前となる任意の時間から、映像再生速度を次第に低下させる請求項1記載の映像音声再生装置。
  5. 前記音声再生速度設定モジュールは、外部から取得可能な番組情報から直接取得できる情報に限らない情報とコンテンツから直接取得できる番組情報とに基づいて、時間軸上で一定時間手前となる任意の時間から、音声再生速度を次第に低下させる請求項1または2に記載の映像音声再生装置。
  6. 前記映像再生速度設定モジュールは、任意数のシーンの切り替わりを示す情報に従って、時間軸上で一定時間手前となる任意の時間から、再生速度を低下させる請求項1記載の映像音声再生装置。
  7. 前記音声再生速度設定モジュールは、任意数のシーンの切り替わりを示す情報に従って、時間軸上で一定時間手前となる任意の時間から、再生速度を低下させる請求項1または2に記載の映像音声再生装置。
  8. 前記信号処理モジュールは、映像信号の再生速度と現在再生中の映像の時間軸上の位置と、音声信号の再生速度と現在再生中の音声の時間軸上の位置映像信号の時間軸上の位置と比較可能に、表示する請求項1記載の映像音声再生装置。
  9. コンテンツを映像信号と音声信号に分離し、
    分離した映像信号を復調し、
    分離した音声信号を復調し、
    復調した映像信号について、その再生速度を、等速再生に比較して再生速度の速い高速再生シーンから等速再生シーンの開始点に対して時間軸上で一定時間手前となる任意の時間から等速再生シーンの開始点まで、単位時間当たりに再生する単位ブロック数を次第に低下するように設定し、
    復調した音声信号について、その再生速度を、等速再生に比較して再生速度の速い高速再生シーンから等速再生シーンの開始点に対して時間軸上で一定時間手前となる任意の時間から等速再生シーンの開始点まで、単位時間当たりに再生する単位ブロック数を次第に低下させとともに、音声の再生速度を映像の再生速度よりも緩やかに変化させながら等速再生シーンの開始点で音声の再生速度と映像の再生速度を一致させるように設定し、
    再生速度が設定された映像信号と再生速度が設定された音声信号を出力する映像音声再生方法。
  10. 等速再生シーンの開始点に対して時間軸上で一定時間手前となる任意の時間から、音声再生速度を次第に低下させるとともに、音量を低減し、音声の再生速度が所定の速度に低下した時間から、音量を増加する請求項記載の映像音声再生方法。
JP2009046867A 2009-02-27 2009-02-27 映像音声再生装置および映像音声再生方法 Expired - Fee Related JP4679647B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009046867A JP4679647B2 (ja) 2009-02-27 2009-02-27 映像音声再生装置および映像音声再生方法
US12/708,454 US8116608B2 (en) 2009-02-27 2010-02-18 Method and apparatus for reproducing video and audio

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009046867A JP4679647B2 (ja) 2009-02-27 2009-02-27 映像音声再生装置および映像音声再生方法

Publications (2)

Publication Number Publication Date
JP2010206279A JP2010206279A (ja) 2010-09-16
JP4679647B2 true JP4679647B2 (ja) 2011-04-27

Family

ID=42667135

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009046867A Expired - Fee Related JP4679647B2 (ja) 2009-02-27 2009-02-27 映像音声再生装置および映像音声再生方法

Country Status (2)

Country Link
US (1) US8116608B2 (ja)
JP (1) JP4679647B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5245919B2 (ja) * 2009-03-04 2013-07-24 富士通株式会社 情報処理装置およびプログラム
JP6150320B2 (ja) * 2011-12-27 2017-06-21 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
KR101909030B1 (ko) 2012-06-08 2018-10-17 엘지전자 주식회사 비디오 편집 방법 및 이를 위한 디지털 디바이스
US9633262B2 (en) * 2014-11-21 2017-04-25 Microsoft Technology Licensing, Llc Content interruption point identification accuracy and efficiency
CN107251551B (zh) * 2015-02-10 2020-10-13 索尼半导体解决方案公司 图像处理设备、图像捕获装置、图像处理方法和存储介质
CN107736017B (zh) * 2015-06-25 2020-07-28 三菱电机株式会社 影像再现装置和影像再现方法
CN107241571B (zh) * 2016-03-29 2019-11-22 杭州海康威视数字技术股份有限公司 一种多媒体文件封装、播放方法及装置
US10129574B2 (en) 2016-05-24 2018-11-13 Divx, Llc Systems and methods for providing variable speeds in a trick-play mode
US10701447B2 (en) 2016-11-18 2020-06-30 Rovi Guides, Inc. Systems and methods for slowing down fast-access playback operations
JP2019020530A (ja) * 2017-07-13 2019-02-07 キヤノン株式会社 信号処理装置、制御方法、及びプログラム
CN107679115A (zh) * 2017-09-18 2018-02-09 惠州Tcl移动通信有限公司 一种音频回放的实现方法、移动终端及其存储介质
CN107959881A (zh) * 2017-12-06 2018-04-24 安徽省科普产品工程研究中心有限责任公司 一种基于儿童情绪的视频教学系统
US10734024B1 (en) * 2018-09-04 2020-08-04 Adobe, Inc. Systems and methods of appending metadata to a media file for playing time-lapsed audio
US10885941B1 (en) * 2019-08-28 2021-01-05 Rovi Guides, Inc. Adapting runtime and providing content during an activity
JP2021057847A (ja) * 2019-10-01 2021-04-08 株式会社Voicy コンテンツ配信システム
US20220262407A1 (en) * 2021-02-15 2022-08-18 Steve Haoxiang Zhang Audio/video outroduction by reusing content from introduction and other parts

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002084505A (ja) * 2000-09-07 2002-03-22 Nippon Telegr & Teleph Corp <Ntt> 映像閲覧時間短縮装置及び方法
JP2003309814A (ja) * 2002-04-16 2003-10-31 Canon Inc 動画再生装置、動画再生方法及びそのコンピュータ・プログラム
JP2005236527A (ja) * 2004-02-18 2005-09-02 Sharp Corp 映像再生装置、再生スクリプト生成装置、映像配信装置、映像切出し装置、及び映像蓄積装置
JP2006054746A (ja) * 2004-08-13 2006-02-23 Sony Corp 情報処理装置および情報処理方法、並びに、プログラム
JP2007318200A (ja) * 2006-05-23 2007-12-06 Sony Corp コンテンツ再生装置およびコンテンツ再生方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215505B1 (en) 1997-06-20 2001-04-10 Nippon Telegraph And Telephone Corporation Scheme for interactive video manipulation and display of moving object on background image
JP3439101B2 (ja) 1997-12-19 2003-08-25 日本電信電話株式会社 可変速映像再生方法、装置、および可変速映像再生プログラムを記録した記録媒体
JP2001307431A (ja) 2000-04-20 2001-11-02 Matsushita Electric Ind Co Ltd 映像再生装置の再生速度制御装置
US7286749B2 (en) 2002-04-16 2007-10-23 Canon Kabushiki Kaisha Moving image playback apparatus, moving image playback method, and computer program thereof with determining of first voice period which represents a human utterance period and second voice period other than the first voice period
JP4717060B2 (ja) 2005-02-03 2011-07-06 パナソニック株式会社 記録再生装置および記録再生方法および記録再生プログラムを格納した記録媒体および記録再生装置において用いられる集積回路
JP4509188B2 (ja) 2008-01-16 2010-07-21 キヤノン株式会社 動画再生装置、動画再生方法及びそのコンピュータ・プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002084505A (ja) * 2000-09-07 2002-03-22 Nippon Telegr & Teleph Corp <Ntt> 映像閲覧時間短縮装置及び方法
JP2003309814A (ja) * 2002-04-16 2003-10-31 Canon Inc 動画再生装置、動画再生方法及びそのコンピュータ・プログラム
JP2005236527A (ja) * 2004-02-18 2005-09-02 Sharp Corp 映像再生装置、再生スクリプト生成装置、映像配信装置、映像切出し装置、及び映像蓄積装置
JP2006054746A (ja) * 2004-08-13 2006-02-23 Sony Corp 情報処理装置および情報処理方法、並びに、プログラム
JP2007318200A (ja) * 2006-05-23 2007-12-06 Sony Corp コンテンツ再生装置およびコンテンツ再生方法

Also Published As

Publication number Publication date
US20100220974A1 (en) 2010-09-02
US8116608B2 (en) 2012-02-14
JP2010206279A (ja) 2010-09-16

Similar Documents

Publication Publication Date Title
JP4679647B2 (ja) 映像音声再生装置および映像音声再生方法
JP4170808B2 (ja) 情報表示装置、情報表示方法及びプログラム
US20050180462A1 (en) Apparatus and method for reproducing ancillary data in synchronization with an audio signal
JP3877371B2 (ja) 映像再生装置
JP2007336593A (ja) 情報表示装置、情報表示方法及びプログラム
KR20070104131A (ko) 오디오/비디오 동기 보정 방법 및 장치
JPWO2007094143A1 (ja) 情報処理装置、その方法、そのプログラム、そのプログラムを記録した記録媒体、dj用再生装置、および再生装置
JP2010074258A (ja) 表示装置及び表示方法
JP2008141693A (ja) コンテンツ再生装置及びコンテンツ再生方法
JP4854339B2 (ja) 映像再生装置
JP2007097015A (ja) 再生装置、記録再生装置、データ処理方法及びそのプログラム
JP4509188B2 (ja) 動画再生装置、動画再生方法及びそのコンピュータ・プログラム
JP4086886B2 (ja) 動画再生装置、動画再生方法及びそのコンピュータ・プログラム
JP4666175B2 (ja) 記録再生装置および再生装置
JP2002084505A (ja) 映像閲覧時間短縮装置及び方法
JP2002016858A (ja) デジタル放送受信装置
JP3848144B2 (ja) 映像短縮再生装置、映像短縮再生方法、この方法のプログラムおよびこのプログラムを記録した記録媒体
JP2010093614A (ja) 映像信号再生装置
JP2013038568A (ja) 映像再生装置およびその再生方法
JP4481911B2 (ja) 記録再生装置
JPH08251531A (ja) 記録媒体および記録媒体再生装置
JP2006245936A (ja) サウンド加工装置、サウンド加工装置の制御方法、プログラム、集積回路および再生装置
KR20010054297A (ko) 디지탈동영상 맵핑방법 및 이것을 이용한 반복재생방법
JPH1155603A (ja) 対話型映像圧縮方法および装置およびこの方法を記録した記録媒体
JP2004289277A (ja) デジタルデータ再生装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100712

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20100811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100817

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110201

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140210

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees