JPWO2009040950A1 - 音信号制御装置 - Google Patents

Abstract

一致度が高い動画像が続いている場合に、音出力をミュートし、再生速度を切り替えることにより、ノイズの発生を抑える技術を提供する。このため、音及び動画像の再生装置が、動画信号及び音信号を含む入力データの再生速度の変更を決定し、前記再生中に前記変更決定部が異なる再生速度への変更を決定した場合に、動画像の一致度が所定値以上の期間を切り替えタイミングとして検出し、前記入力データに基づいて音及び動画像を再生し、前記変更決定部によって再生速度の変更が決定された場合に、前記切り替えタイミングで再生速度を切り替え、前記切り替えタイミングで前記音信号に基づく音出力をミュートする。

Description

本発明は、動画再生時の音出力を制御する技術に関する。

動画像を倍速やスローなど１倍速以外に変倍して再生する場合、この動画像に合わせて音出力も制御していた。このため、再生速度を変倍から１倍へ戻す（切り替える）場合にも音出力を通常状態に戻す制御を行っていた。このとき、音量や音の周波数に大きな変動があると、ノイズが発生することがあった。

このノイズの発生を避けるため、再生速度を切り替える場合に、無音期間を待って切り替えを実行する手法も提案されている。

また、本願発明に関連する先行技術として、例えば、下記の特許文献に開示される技術がある。

特開２００４−２１４９０２号公報 特開平０６−３３７６９６号公報 特開平０７−２１２３１９号公報

しかし、上記のように無音期間を待って再生速度の切り替えを行う場合、通常の動画では、ＢＧＭ（back ground music）や効果音が絶えず流れ、完全に無音になることが稀であるため、適切なタイミングで切り替えを行えないという問題があった。

そこで本発明は、一致度が高い動画像が続いている場合に、音出力の変動が少ないと類推し、このタイミングで音出力をミュートし、再生速度を切り替えることにより、ノイズの発生を抑える技術を提供する。

上記課題を解決するため、本発明は、以下の構成を採用した。
即ち、本発明の音信号制御装置は、
動画信号及び音信号を含む入力データの再生速度の変更を決定する変更決定部と、
前記再生中に前記変更決定部が異なる再生速度への変更を決定した場合に、動画像の一致度が所定値以上の期間を切り替えタイミングとして検出する切り替え検出部と、
前記入力データに基づいて音及び動画像を再生し、前記変更決定部によって再生速度の変更が決定された場合に、前記切り替えタイミングで再生速度を切り替える再生部と、
前記切り替えタイミングで前記音信号に基づく音出力をミュートする音制御部と、
を備えた。

前記検出部は、動画信号のうち、Ｎフレームと該Ｎフレームから所定フレーム後のＮ＋ｘフレームまでを比較して一致度が所定値以上の場合に、Ｎ＋１フレームからＮ＋ｘフレームまでを切り替えタイミングとして検出しても良い。

前記変更決定部が、１倍未満の再生速度から１倍速へ変更、或は１倍を超えた再生速度から１倍速へ変更した場合に、前記音制御部は、音出力をミュートしても良い。

前記音信号制御装置は、
前記入力データの欠落を検出する欠落検出部と、
前記欠落検出部によって前記入力データの欠落が検出された場合に、欠落が検出された部分を除く、欠落部分の前方の入力データおよび後方の入力データのうち少なくとも何れか一方の入力データを、該入力データに係る再生時間と該欠落部分に係る再生時間とを合わせた再生時間分のデータとして平均化することで代替データを生成する代替データ生成部と、を更に備え、
前記検出部によって前記入力データの欠落が検出された場合に、前記変更決定部が１倍未満の再生速度への変更を決定し、前記再生部が、前記画像信号と前記代替データに基づいて音及び動画像を再生し、前記検出部によって前記入力データの欠落が検出されなくなった場合に、前記変更決定部が１倍の再生速度への変更を決定しても良い。

また、本発明の音信号制御方法は、
音及び動画像の再生装置が、
動画信号及び音信号を含む入力データの再生速度の変更を決定するステップと、
前記再生中に前記変更決定部が異なる再生速度への変更を決定した場合に、動画像の一致度が所定値以上の期間を切り替えタイミングとして検出するステップと、
前記入力データに基づいて音及び動画像を再生し、前記変更決定部によって再生速度の変更が決定された場合に、前記切り替えタイミングで再生速度を切り替えるステップ、
前記切り替えタイミングで前記音信号に基づく音出力をミュートするステップと、
を実行する。

前記音信号制御方法において、前記動画信号のうち、Ｎフレームと該Ｎフレームから所定フレーム後のＮ＋ｘフレームまでを比較して一致度が所定値以上の場合に、Ｎ＋１フレームからＮ＋ｘフレームまでを切り替えタイミングとして検出しても良い。

前記音信号制御方法において、前記再生速度を１倍未満の再生速度から１倍速へ変更、或は１倍を超えた再生速度から１倍速へ変更した場合に、前記音出力をミュートしても良い。

前記音信号制御方法において、前記入力データの欠落を検出するステップと、
前記欠落検出部によって前記入力データの欠落が検出された場合に、欠落が検出された部分を除く、欠落部分の前方の入力データおよび後方の入力データのうち少なくとも何れか一方の入力データを、該入力データに係る再生時間と該欠落部分に係る再生時間とを合わせた再生時間分のデータとして平均化することで代替データを生成するステップと、を更に備え、
前記入力データの欠落が検出された場合に、１倍未満の再生速度への変更を決定し、前記画像信号と前記代替データに基づいて音及び動画像を再生し、前記入力データの欠落が検出されなくなった場合に、１倍の再生速度への変更を決定しても良い。

また、本発明は、上記音信号制御方法をコンピュータに実行させる音信号制御プログラムであっても良い。更に、本発明は、この音信号制御プログラムをコンピュータが読み取り可能な記録媒体に記録したものであっても良い。コンピュータに、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。

ここで、コンピュータが読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータから読み取ることができる記録媒体をいう。このような記録媒体の内コンピュータから取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、CD-ROM、CD-R/W、DVD、DAT、８mmテープ、メモリカード等がある。

また、コンピュータに固定された記録媒体としてハードディスクやＲＯＭ（リードオンリーメモリ）等がある。

本発明によれば、一致度が高い動画像が続いている場合に、音出力をミュートし、再生速度を切り替えることにより、ノイズの発生を抑える技術を提供できる。

本実施形態の概要を示す図である。 実施形態に係るパーソナルコンピュータの機能構成図である。 実施形態に係るパーソナルコンピュータの詳細構成の例を示す図である。 実施形態における代替データ生成処理の概要を示す図である。 実施形態における代替データ生成処理の概要を示す図である。 図５に示す代替データ生成処理を行った場合に表示される映像の例を示す図である。 実施形態における信号出力処理の全体の流れを示すフローチャートである。 実施形態における代替データ生成処理の流れを示すフローチャートである。 実施形態における代替データ生成処理及び再生速度切替処理の流れを示すフローチャートである。 ユーザ操作に応じた再生速度切替処理の説明図である。 音声ポップノイズの発生原因の説明図である。 音声ポップノイズの発生原因の説明図である。 音声ポップノイズの発生原因の説明図である。 Ｈ．２６４／ＡＶＣのデータ構成を示す図である。

符号の説明

１４ 放送受信部
１８ 操作部
２１ 出力制御部
２２ 検知部
２３ 出力信号生成部
２６ バッファ部
２７ 検出部
２８ 代替データ生成部
４０ 表示部

〈概要〉
動画信号及び音信号を含む入力データに基づいて動画を再生する装置において、動画の再生中に、早送り、コマ送りなど、１倍速以外の変倍速度に切り替えることがある。この場合、音信号についても動画像の変倍に合わせた制御となる。例えば、１倍未満の再生速度であれば、音を伸長して再生時間を延ばし、１倍以上の再生速度であれば無音期間を省くなどして再生時間を短くすることによって動画像に合わせる制御を行う。このため、再生速度を変更した場合、変更前と変更後とで音の状態が急激に変化するので音声ノイズが発生することがある。

ここで再生スピードの急激な変更によって発生する音声ポップノイズについて、図１１を参照して説明する。なお、以下の説明において、音信号は、どのような音の信号であっても良いが、テレビ放送等においては、人の声が主要な要素であり、また、ＢＧＭや効果音が統合された音響であることが一般的であるので、便宜上、音声信号、音響信号とも記す。同様に、音信号に基づく音を音声或は音響とも記す。

図１１中、期間３Ａは１倍速未満の低速再生している部分、期間３Ｂは１倍速で通常再生している部分である。”Nxx”は1秒間のフレームＮ０１〜Ｎ１５を示す。

期間Ａでは、音声の再生速度も１倍速未満として周波数を低くする、或は音声を所定単位でサンプリングして該単位毎の再生時間を延ばすことで周波数を変えずに音声を再生する。何れにしても期間３Ａの音声と期間３Ｂの音声とでは異なる状態となる。図１２Ａと図１２Ｂは、１／２倍の速度で再生した音声の周波数と、通常（１倍）の速度で再生した音声の周波数との違いを示している。図１２Ａ，Ｂ中、横軸が周波数、縦軸が音の大きさ（ｄＢ）を示している。

そして、この1倍速未満の再生から1倍速に変更するポイントを”３Ｃ”とする。即ち、ポイント３Ｃで突然に音声の周波数が変更される。従来ではこの期間をミュートすることはない。よって、大きな音声レベルの違いが発生する。ここで周波数の隔たりは音質の変化として現れ、デシベル[dB]の隔たりは音量の変化として現れる。従って、これらがある時間を持って現れると音声ノイズとして聞こえる。

そこで、本実施形態では、図１に示すように再生速度の切り替え時に音出力をミュートしてノイズの発生を抑えた。図１は本実施形態の概略の説明図である。

まず、入力データに基づいて動画を再生している際に、ユーザの操作或いは装置によって再生速度の変更を決定する。例えば、変倍速から１倍速への切り替えを決定する。

この場合、入力データをサーチし、動画を構成する各フレーム（動画像）の一致度が所定値以上の期間４Ｃを検出する。このように同じようなフレームが続いている場合には、音声も同じ状況が続いており、変化が少ないことが類推できるので、ここを再生スピードの切り替えタイミングとする。

そして、この切り替えタイミングで、音声のミュート及び再生速度の切り替えを行う。このミュート及び再生速度の切り替えは、図１に示すように、ミュートの開始時１０１に、時間軸に対して、レベルを漸減しながら無音声にする。よって、いきなり無音になることがないため、これによる音声ノイズは発生しない。

その後、再生速度の切り替え１０２を行い、音声レベルを漸増してミュートを解除１０３する。

この切り替えタイミングでは、N frameと(N+1) frameから(N+5) frame（図１では、Ｎ０６〜Ｎ１０）までが所定以上の画面の一致があるため急激な音声の音圧或いは周波数の変動はない。即ち、ここでは同じシーンが続くため、爆発音等の激しい音の切り替わりはない。よってアプリケーションによる一時的な無音声区間を作成してもその動画を視聴するときに違和感はない。このため、短い期間でミュートの開始及びミュートの解除を行ってもノイズとして認識されない。

従って、本実施形態によれば、ノイズの発生を抑えつつ適時に再生速度の切り替えを行うことができる。

ここで記述した所定以上の動画像の一致とは、決まった値ではなく、アプリ（音制御プログラム）の設計者がその再生コンテンツによって設定するものである。

例えば動画を構成する各フレームを画素単位で比較し、所定値(本例では90%)以上の画素が一致するか否かによって判定する。即ち、一致度が90%以上の映像が続く場合に再生速度を1倍に切り替える。

〈実施形態１〉
以下にデジタルテレビ(ワンセグ)放送の視聴機能を備えるコンピュータ（パーソナルコンピュータ）として実施した場合の実施の形態を説明する。以下の実施形態の構成は例示であり、本実施形態は実施形態の構成には限定されない。

ワンセグ放送では、動画データの圧縮符号化方式としてＨ．２６４／ＡＶＣ（レベル１．２、３２０ｘ２４０または３２０ｘ１８０、最小フレーム間隔１／１５秒）が用いられている。この方式では、圧縮された動画データよりピクチャを生成する方法として、フレーム間予測によるピクチャ生成が採用されている。

図１３は、Ｈ．２６４／ＡＶＣのデータ構成を示す図である。Ｈ．２６４／ＡＶＣのデータには、シーケンス全体の符号に関わる情報が含まれるヘッダであるＳＰＳ（Sequence Parameter Set）、ピクチャ全体の符号化モードを示すヘッダであるＰＰＳ（Picture Parameter Set）、必要な場合に付加されるＳＥＩ（Supplemental Enhancement Information）、ＩＤＲピクチャ（Instantaneous Decoding Refresh Picture）等が含まれる。ワンセグ放送では、３枚以内の参照ピクチャからフレーム間予測が行われ、Ｐピクチャ（Predictive Picture）が生成される。また、ＩＤＲピクチャによって区切られる、ひとまとまりのフレーム群は、ＧＯＰ（Group Of Picture）と呼ばれる。本実施形態では、ＧＯＰは原則として再生時間にして１秒分の１５フレームとする。

本実施形態に係るパーソナルコンピュータは、ワンセグ放送の受信チューナ、および復号手段を備え、表示部（ディスプレイ）に復号した映像信号に基づく画像を表示し、復号した音響信号に基づく音響を再生することによってワンセグ放送を視聴することが可能なパーソナルコンピュータである。このようなパーソナルコンピュータでは、パーソナルコンピュータに備えられた機器自体が発する電波や周囲の電波の状況等により、一時的にフレームの受信等に失敗し、データに欠落が発生することが考えられる。

ここで、従来のワンセグ放送視聴装置では、データに欠落が発生した場合、そのまま情報不足の映像または音響が出力されるか、映像または音響が出力されない（ブラックアウト）という問題が発生する。

そこで、本実施形態に係るパーソナルコンピュータは、再生時間にして３秒分のデータをバッファ（即ち、コンピュータ上のメモリから削除しない）しつつ遅延出力を行い、動画データまたは音響データに欠落がある場合には、バッファされたデータに基づいてスロー再生を行うことで、欠落部分に映像途切れや音途切れ等が発生しないようにする。

即ち、本実施形態に係るパーソナルコンピュータに拠れば、動画データまたは音響データに欠落が発生した場合でも、情報不足の映像が出力されたり、映像がブラックアウトしたり、音声が途切れたりすることなく、視聴者に違和感を殆ど与えない映像が表示され、音響が再生されるような映像信号および音響信号を出力することが可能である。

本実施形態において、バッファされる入力データの量は、動画および音響として再生する場合の時間に換算して３秒分とする。例えば、動画データでは、ワンセグ放送は毎秒１５フレームであるため、おおよそ４５フレームの動画データがバッファされる。このバッファ量および遅延時間は、可能な限り多くすることが好ましいが、実際に視聴する際の遅延の許容範囲や、パーソナルコンピュータ上に確保できるバッファ領域のサイズを考慮して、本実施形態では３秒とした。但し、このバッファ量および遅延時間は、実施の形態毎に適宜最適な値に設定されることが好ましい。例えば、常駐するアプリケーションや不要なアプリケーションを終了させるか、メインメモリの一部をビデオメモリとして使用しない（単独のビデオメモリを設ける）ことで確保可能なメインメモリの容量を増やし、バッファ量を増やすこと等が考えられる。

また、本実施形態に係るパーソナルコンピュータは、このバッファを利用して３秒間の遅延出力を行う。遅延出力を行うことによって、データの欠落によって動画データまたは音響データが欠落している場合にも、欠落している映像信号または音響信号をそのまま出力してしまうことなく、バッファされた未出力のデータをスロー再生することで、欠落部分の映像または音響を補間することが可能となる。

＜パーソナルコンピュータの機能構成＞
図２は、本実施形態に係るパーソナルコンピュータ１０の機能構成図である。本パーソナルコンピュータ１０は、ユーザの操作を受けて、パーソナルコンピュータ１０を操作する操作部１８と、操作部１８における操作を検知する検知部２２と、テレビジョン放送を受信する放送受信部１４と、放送受信部１４より出力されたデータに基づいて復号された映像信号および音響信号を表示部（音出力部を含む）４０へ出力する信号出力装置１０Ａと、入力された映像信号に基づいて放送受信部１４で受信された放送番組を表示する表示部４０、とを有する。

さらに、信号出力装置１０Ａは、放送受信部１４より出力されたデータを一定量記憶するバッファ部２６と、放送受信部１４より出力されたデータを復号することで映像信号および音響信号を生成する出力信号生成部２３と、データの欠落を検出する検出部（欠落検出部）２７と、検出部２７によって欠落が検出された場合に代替データを生成する代替データ生成部２８と、映像信号および音響信号を表示部４０へ出力する出力制御部（再生部に相当）２１と、入力データの再生速度の変更を決定する変更決定部３１と、切り替えタイミングを検出する切り替え検出部３２と、音出力をミュートする音制御部３３を有する。

これらの各機能部は、ＣＰＵ、メモリ等を含むコンピュータとコンピュータ上で実行されるプログラムによって実現することができる。

ここで、操作部１８は、コンピュータの入力装置や、赤外線受光部と赤外線リモコンとの組み合わせによるリモコン操作部、チャンネル操作用のつまみ、操作ボタン等である。

検知部２２は、操作部１８とＣＰＵとのインターフェースと、インターフェースの信号を処理するデバイスドライバと、デバイスドライバを通じて操作部１８との間で信号を授受するＯＳ（オペレーティングシステム）と、を通じて、操作部１８への操作（例えば、受信チャンネルの切り替え）を検知する。ただし、検知部２２として、専用のハードウェアを設けてもよい。例えば、操作部用の入力信号処理回路を設けて、ＣＰＵの処理を分担してもよい。このような処理回路としては、キーボードコントローラ、マウスコントローラ等が知られている。

また、例えば、操作部１８からの信号を処理する専用の入力制御プロセッサを別途設けてもよい。入力制御プロセッサは、操作部１８の信号を所定の信号に変換し、出力制御部２１に信号を伝達すればよい。

放送受信部１４は、所謂ワンセグチューナである。放送受信部１４は、アンテナで放送波を受信し、受信した放送波に基づいたデータストリーム（例えば、ＴＳ信号）を出力する。

出力信号生成部２３は、放送受信部１４より出力されたデータを、直接またはバッファ部２６を介して取得し、取得したデータに基づいて、映像信号および音響信号を生成する。出力信号生成部２３は、ＣＰＵ上で実行されるコンピュータプログラムとして構成すればよい。ただし、出力信号生成部２３は、入力データに基づいて映像信号および音響信号を生成し、生成した映像信号および音響信号を出力する専用プロセッサとして構成されてもよい。

バッファ部２６は、入力されたデータを一時的に記憶する。バッファ部２６は、放送受信部１４より出力されたデータの入力を受け付け、再生時間にして３秒分の入力データをバッファする。バッファ部２６は、ＣＰＵ上で実行されるコンピュータプログラムによって制御される電源バックアップされた揮発性メモリ、フラッシュメモリ等の不揮発性のメモリ、ハードディスクあるいは可搬媒体等の記録媒体として構成すればよい。ただし、バッファ部２６は、入力された入力データをバッファする専用メモリとして構成されてもよい。

出力制御部２１は、表示部４０とのインターフェースを有し、表示部４０へ出力する映像信号および音響信号を制御する。出力制御部２１は、検知部２２によって検知された信号に従って、出力信号生成部２３によって生成された映像信号および音響信号を、表示部４０へ出力する。この際、出力制御部２１は、放送が受信された時間から３秒遅延させて出力を行う。また、出力制御部２１は、変更決定部３１から通知された再生速度に基づいて出力を制御する。即ち、１倍速未満であれば各フレームの出力時間を延ばし、１倍速以上であればフレームを間引くなどして動画像の再生速度を変更する。これに伴い音響信号も伸長或は間引いて動画像に合わせる。出力制御部２１は、ＣＰＵ上で実行されるコンピュータプログラムとして構成すればよい。ただし、出力制御部２１は、映像信号および音響信号を出力する専用プロセッサとして構成されてもよい。

検出部２７は、放送受信部１４より入力されたデータ（入力データ）の完全性を監視し、データの欠落を検出する。欠落が検出された場合、検出部２７は、欠落の発生しているデータブロック（動画であればＧＯＰ）を特定し、代替データ生成部２８及び変更決定部３１へ通知する。代替データ生成部２８は、この通知を受けて、代替データ生成処理を開始する。

代替データ生成部２８は、検出部２７によってデータの欠落が通知された場合に、変換用データブロックを取得し、これを平均化することで、欠落部分の映像または音響を補間するための代替データを生成する。代替データ生成部２８による処理の詳細については、図４および図５を用いて説明する。また、表示部４０は、いわゆるモニタおよびスピーカであり、出力制御部２１より出力された映像信号および音響信号の入力を受けて映像を表示し、音響を再生する。

変更決定部３１は、ユーザの操作或は変更決定部３１の通知に基づき動画信号及び音信号を含む入力データの再生速度の変更を決定する。例えば、ユーザが操作部１８の操作により早送りやスロー再生等の変倍を指示した場合に、検知部２２で検知した該指示に応じて再生速度を決定して出力制御部２１に通知する。また、検出部２７によってデータの欠落が検出された場合、動画像が代替データによって平均化され、１倍未満の再生速度になるため、この再生速度を欠落したフレーム数に応じて求めて出力制御部２１に通知する。また、検出部２７によってデータの欠落が検出されなくなった場合、再生速度を１倍に決定する、即ち１倍速に戻す（変更する）ことを決定し、出力制御部１２へ通知する。

切り替え検出部３２は、前記再生中に前記変更決定部が異なる再生速度への変更を決定した場合に、映像信号をサーチし、フレーム（動画像）の一致度が所定値以上の期間を切り替えタイミングとして検出する。この一致度の検出としては、例えば、出力信号生成部２３で生成した映像信号のうち、あるフレーム（Ｎフレーム）と該Ｎフレームから所定フレーム後のＮ＋ｘフレームまでを画素単位で比較して相関を求め、一致度が所定値以上（例えば９０％以上）の場合に、Ｎ＋１フレームからＮ＋ｘフレームまでを切り替えタイミングとして検出する。また、放送受信部１４で受信した入力データのうち、ＩＢＰフレームのＰピクチャのデータ量（差分量）をモニタし、連続する所定数（例えば５枚）のＰピクチャのデータ量が所定数以下或はＧＯＰ内で最も少なくなる期間を求め、この期間のピクチャに基づくフレームＮ＋１フレームからＮ＋ｘの再生期間を切り替えタイミングとしても良い。

音制御部３３は、前記切り替え検出部３２で検出した切り替えタイミングに基づき、前記音信号に基づく音出力をミュートする。具体的には、出力制御部２１から表示部４０のスピーカに出力される音響信号を減衰させる構成でも良いし、出力制御部２１にミュートのタイミングを通知して音響信号をミュートさせる構成でも良い。

＜パーソナルコンピュータの構成＞
図３は、本発明の一実施形態に係るパーソナルコンピュータ１０の詳細構成の例を示す図である。図３のように、パーソナルコンピュータ１０は、コンピュータプログラムを実行し、パーソナルコンピュータ１０を制御するＣＰＵ１１と、ＣＰＵ１１で実行されるコンピュータプログラム、あるいはＣＰＵ１１が処理するデータを記憶するメモリ１２と、ＣＰＵ１１を各種の装置に接続するインターフェース１３と、インターフェース１３を通じて接続される放送受信部１４、通信部１５、ハードディスク駆動装置１６、可搬媒体駆動装置１７、操作部１８、および表示部４０等の装置を有している。

ここで、ＣＰＵ１１は、コンピュータプログラム（音信号制御プログラム等）を実行し、パーソナルコンピュータ１０の各部を制御することで、パーソナルコンピュータ１０を、検知部２２、放送受信部１４、出力制御部２１、出力信号生成部２３、バッファ部２６、検出部２７、代替データ生成部２８、出力制御部２１、変更決定部３１、切り替え検出部３２、及び音制御部３３等の各機能部を有する装置として機能させる。メモリ１２は、ＣＰＵ１１で実行されるプログラム、およびＣＰＵ１１で処理されるデータを記憶する。メモリ１２は、揮発性のＲＡＭ（Random Access Memory）と、不揮発性のＲＯＭ（Read Only Memory）を含む。ＲＯＭには、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）のような書き換え可能な半導体メモリを含む。

インターフェース１３は、ＵＳＢ等のシリアルインターフェース、あるいは、ＰＣＩ（Peripheral Component Interconnect）、ＩＳＡ（Industry Standard Architecture）、ＥＩＳＡ（Extended ISA)、ＡＴＡ（AT Attachment)、ＩＤＥ（Integrated Drive Electronics)、ＩＥＥＥ１３９４、ＳＣＳＩ（Small Computer System Interface)等のパラレルインターフェースのいずれでもよい。

なお、図３では、インターフェース１３と記載されているが、ＣＰＵ１１と各装置との間を異なるインターフェースで接続してもよい。また、複数のインターフェースをブリッジ接続してもよい。

放送受信部１４は、ワンセグ放送用のテレビジョンチューナである。放送受信部１４は、同調回路と増幅器を含む高周波部の他、デジタル信号の復号器（ＯＦＤＭ（Orthogonal Frequency Division Multiplexing）の復調器）等を含む。

ここで、高周波部は、高周波の電磁波をベースバンド信号に変換する。また、ＯＦＤＭの復調器は、ＦＦＴ（Fast Fourier Transform）処理回路および直交復調器を含み、ベースバンド信号からデジタル信号を生成する。これらの処理は、積和演算を実行する専用のデジタル回路で構成されてもよい。また、ＤＳＰのようなプロセッサとプログラムで構成されてもよい。また、テレビジョン放送の規格にしたがって製造され販売されている復調用ＬＳＩを用いてもよい。

通信部１５は、ブロードバンドネットワークとのインターフェースである。ブロードバンドネットワークは、例えば、ＬＡＮ（Local Area Network ）、ケーブルテレビネットワーク、ｘＤＳＬ（x Digital Subscriber Line）、ＡＤＳＬ、光ネットワーク等の有線ネットワーク、あるいは、無線ＬＡＮ、固定無線アクセス（ＦＷＡ）等の無線アクセス可能なネットワークである。通信部１５は、例えば、ネットワーク上のサーバから、ハードディスク駆動装置１６にインストールされるコンピュータプログラムや、テレビジョン放送の電子番組表等を取得する。これらのブロードバンドネットワークは、一般的には、インターネットに接続可能である。

ハードディスク駆動装置１６は、メモリ１２にロードされるプログラムを格納する。また、ハードディスク駆動装置１６は、ＣＰＵ１１で処理されるデータを記憶する。

なお、ハードディスク駆動装置１６は、１台に限定されず、複数台設けられてもよい。また、例えば、ハードディスク駆動装置１６は、ネットワーク上の他のコンピュータ、例えば、ディスクサーバが管理するものであってもよい。その場合には、ＣＰＵ１１が、通信部１５を介してディスクサーバと通信するようにすればよい。そして、ＣＰＵ１１が、ディスクサーバから取得したＥＰＧ等を表示部４０に表示すればよい。

可搬媒体駆動装置１７は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＨＤ−ＤＶＤ、ブルーレイディスク等の駆動装置である。また、可搬媒体駆動装置１７は、フラッシュメモリ等の不揮発性メモリを有するカード媒体の入出力装置であってもよい。可搬媒体駆動装置１７が駆動する媒体は、例えば、ハードディスク駆動装置１６にインストールされるコンピュータプログラム、入力データ等を保持する。

操作部１８は、コンピュータの入力装置、例えば、キーボード、ポインティングデバイス等である。また、操作部１８として、赤外線受光部と赤外線リモコンとの組み合わせによるリモコン操作部や、各種のスイッチ、チャンネル操作用のつまみ等が含まれる。ポインティングデバイスの種類には特に限定はなく、マウス、トラックボール、ダイヤル式操作部、スティック形式で表示部４０上のポインタを移動する装置、静電容量によってユーザの指の操作を検出するデバイス、タッチパネル、ジョイスティック等、パーソナルコンピュータ１０の特性、ユーザのニーズ等に応じて、適切なものを使用すればよい。

キーボードは、ユーザの入力操作に応じて、入力されたキーに対応する電気信号を不図示のキーボードコントローラに送信する。キーボードコントローラは、その電気信号に対応する符号をＣＰＵ１１に送信する。

ポインティングデバイスは、ユーザ操作を検知して、操作信号を不図示のポインティングデバイス制御装置（例えば、不図示のマウスコントローラ、または、インターフェース１３等）に送信する。操作信号を受けたポインティングデバイス制御装置は、操作の方向および操作量を生成するための情報をＣＰＵ１１に送信する。ＣＰＵ１１のデバイスドライバは、ポインティングデバイス制御装置からの操作信号に基づき、表示部４０上の画面にポインタを表示し、画面上を移動させる。

また、ＣＰＵ１１のＯＳは、ポインタと、画面上のオブジェクト（ウィンドウ、ボタン、メニュー、リスト等）との位置関係を判定する。そして、そして、ポインタが存在する位置にあるオブジェクトを選択状態、あるいは、フォーカス状態にする。さらに、ポインティングデバイスに対する選択確定操作、例えば、マウスボタンの押下によって、そのオブジェクトの選択を確定する。

表示部４０は、例えば、液晶表示装置、プラズマディスプレイパネル、ＣＲＴ（Cathode Ray Tube）、エレクトロルミネッセンスパネル等である。なお、図示されていないが、表示部４０には、画像データを格納するＲＡＭ、およびＲＡＭのデータに基づき表示部４０を駆動する駆動回路が含まれる。ただし、画像データを格納するＲＡＭ、表示部４０を駆動する駆動回路等は、画像処理基板として独立に設けても良い。その場合に、画像処理基板には、ＣＰＵ１１からの画面情報を構成するデータが入力される。

また、表示部４０には、スピーカ（音出力部）が付属し、出力制御部２１より出力された音響信号に基づく音響、ハードディスク駆動装置１６または可搬媒体駆動装置１７から読み出され、不図示の音声合成基板で再生された音を出力する。音声合成基板は、例えば、ＭＰ３等のデジタルデータを音に変換する。

本発明に係る情報機器は、以上のようなパーソナルコンピュータ１０として構成できる。ただし、本発明に係る情報機器は、パーソナルコンピュータに限定されず、同等の機能を有する他の装置、例えば、テレビジョン受信装置であってもよい。また、テレビジョン放送受信用のチューナ、セットトップボックス、テレビジョン放送受信機能付きの携帯電話、携帯情報端末（ＰＤＡ）、ゲーム機、テレビジョン放送受信機能付きの車載器等によっても実現できる。

図４は、本実施形態における代替データ生成処理（１）の概要を示す図である。代替データ生成処理は、代替データ生成部２８によって行われる。図４の（ａ）は、正常な入力データが受信され、出力されている状態を示す。図中の長方形は１秒分のデータブロックを表し、Ｎ１、Ｎ２、Ｎ３・・・の順に入力される。本実施形態に係るパーソナルコンピュータは、３秒分のデータをバッファするため、Ｎ４が入力される時に、３秒前に入力されたＮ１が出力される。

図４の（ｂ）は、（ａ）から１秒後の状態を示す。ここで、入力されるＮ５のデータが正常でない場合、このまま処理を続けると３秒後に正常でないデータが出力されてしまう。そこで、本実施形態では、正常でないＮ５よりも後方、且つ現在の出力ポイントであるＮ２よりも前方のデータブロックＮ３およびＮ４を、Ｎ３−Ｎ５の代替となる代替データブロックＭ３−Ｍ５へ平均化する。

図４の（ｃ）は、（ｂ）から１秒後の状態を示す。ここでは、Ｎ３に代えて、Ｍ３に基づいて生成された出力信号（映像信号および音響信号）が出力される。出力、再生された動画および音響は、代替データ生成処理（１）が行われなかった場合の２／３の速度のスロー再生となる。以降、Ｍ４、Ｍ５が続いて出力される。Ｍ４およびＭ５が出力されて表示された動画および音響についても、通常の２／３の速度のスロー再生である。

上記説明した代替データ生成処理（１）によって、欠落したデータブロック分の再生時間を補間することが可能である。但し、このまま通常の再生処理に戻り、入力されたデータに基づく出力を行うこととすると、欠落したデータブロック（図４におけるＮ５）分の動きがスキップされてしまい、また、通常の２／３倍の速度のスロー再生から瞬時に通常の等倍の再生に戻るため、表示される動画および音響を視聴する視聴者に与える違和感が大きくなってしまう。このため、本実施形態では、代替データ生成処理（１）に続いて、以下に説明する代替データ生成処理（２）を実行する。

図５は、本実施形態における代替データ生成処理の概要を示す図である。また、図６は、図５に示す代替データ生成処理を行った場合に表示される映像の例を示す図である。図５に示す処理では、代替データ生成処理（１）において、Ｎ３が欠落し、Ｎ１およびＮ２がＭ１−Ｍ３へ平均化されたものとする。ここで、正常なＮ４が入力されるが、上記した理由から視聴者に与える違和感が大きくなってしまうため、データブロックＮ４はそのまま出力されない。代替データ生成部２８は、代替データ生成処理（１）で平均化された代替データブロックＭ２、Ｍ３およびデータブロックＮ４のデータを、代替データブロックＭ４へ平均化する。なお、平均化処理の際、欠落したデータブロックＮ３に係るピクチャまたは音響は、平均化処理に伴う予測処理によって生成される。例えば、動画データの平均化処理においては、先述したフレーム間予測と同様の予測処理によって、欠落した動き（フレーム）が補完される。

このとき、代替データブロックＭ２およびＭ３の情報量は、通常のデータブロックに比較して２／３であるため、Ｍ４の情報量は、通常のデータブロックの（２／３＋２／３＋１）／３＝７／９倍となる。即ち、Ｍ４に基づく出力は、代替データ生成処理が行われなかった場合の７／９倍の速度のスロー再生となる。この速度は、Ｍ１からＭ３に基づく出力信号が再生された場合の見た目の速度が通常の２／３倍であったのと比較して若干速い。以降、同様の方法で、代替データブロックＭ５、Ｍ６への平均化を行う。この際、再び入力データに欠落が発生しない限り、平均化に使用される新規入力データは常に通常の等倍の情報量を有するため、代替データブロックは徐々に通常の情報量、即ち、通常の速度に近づいていく（図６を参照）。本実施形態の場合、代替データブロックＭ５は通常の２３／２７倍の情報量（速度）、代替データブロックＭ６は通常の７３／８１倍の情報量（速度）となる（図５の計算式を参照）。

なお、図５に示す計算式では、再計算された代替データブロックを、「´（ダッシュ）」を付して示している。例えば、代替データブロックＭ５の生成に用いられているＭ３´は、代替データブロックＭ４の生成に伴う平均化処理において生成されたデータブロックである。このため、Ｍ３´の情報量は、代替データブロックＭ３の情報量が通常の２／３倍であるのと異なり、通常の７／９倍である。

上記代替データ生成処理（２）によって新規入力データを追加しながら代替データブロックへの平均化を行ったとしても、代替データブロックの生成方法がデータの平均化である以上、生成される代替データブロックの情報量が通常の等倍となることはない。即ち、見た目の再生速度が通常の再生速度に追いつかない状態が継続してしまうこととなる。そこで、本実施形態では、再生速度が所定速度（例えば７３／８１倍）以上となった場合、動画を構成するフレームの一致度をモニタし、一致度が所定値（例えば９０％）以上のフレームが所定数（例えば５フレーム）続く期間を切り替えタイミングとして検出し、この切り替えタイミングで１倍速に変更する。これを代替データ生成処理（３）と称する。例えば、図５の例に拠れば、代替データブロックＭ６で７３／８１倍速に達するので、データブロックＮ７のフレームをサーチし、あるフレーム（Ｎフレーム）と該Ｎ＋１以降のフレームとを比較し、一致度が９０％から所定フレーム後のＮ＋ｘフレームまでを画素単位で比較して相関を求め、一致度が所定値以上（例えば９０％以上）の場合に、Ｎ＋１フレームからＮ＋ｘフレームまでを切り替えタイミングとして検出する。

該切り替えタイミングが検出された場合には、前述のとおり、音出力をミュートし、１倍速に切り替える。以降、次にデータの欠落が検出されるまで代替データ生成処理は行われず、入力データに基づく出力信号が出力される。

＜処理フロー＞
図７〜図９に、パーソナルコンピュータ１０の処理フローを示す。図７は、本実施形態における信号出力処理の全体の流れを示すフローチャートである。本フローチャートに示される信号出力処理は、操作部１８におけるテレビジョン視聴開始操作を検知部２２が受信し、検知部２２によって信号出力処理の開始指示が出力制御部２１に対して出されたことによって実行される。

ステップＳ１０１では、放送受信部１４より出力された３秒分のデータがバッファされる。バッファ部２６は、放送受信部１４より出力されたデータを、再生時間にして３秒分バッファする。その後、処理はステップＳ１０２へ進む。

ステップＳ１０２では、出力信号が生成される。出力信号生成部２３は、バッファ部２６より入力データを取得し、取得した入力データに基づいて、映像信号および音響信号を生成する。ここで、映像信号とは、動画表示に必要な各フレームのピクチャを含む情報である。その後、処理はステップＳ１０３へ進む。

ステップＳ１０３では、映像信号が遅延出力される。出力制御部２１は、３秒分の入力データがバッファされた状態で、出力信号生成部２３によって生成された映像信号および音響信号を、放送が受信された時間から３秒遅延させて、表示部４０へ出力する。即ち、出力制御部２１は、バッファ部２６を利用して３秒間の遅延出力を行う。その後、処理はステップＳ１０４へ進む。

ステップＳ１０４では、データの欠落が監視される。検出部２７は、バッファ部２６によってバッファされた入力データに、情報不足のデータブロックがあるか否か、即ち、データの欠落の有無を監視する。データの欠落が発見されない場合、ステップＳ１０１からステップＳ１０４に示された処理が繰り返される。データの欠落が発見された場合、処理はステップＳ１０５へ進む。

ステップＳ１０５では、欠落を有するデータブロックが１つ（即ち、１秒分）であるか否かが判定される。検出部２７は、ステップＳ１０４で検出された欠落部分を含むデータブロックを特定して、代替データ生成部２８及び変更決定部３１へ通知する。また、欠落の通知を受けた変更決定部３１は、該欠落部分を含むデータブロックが１つであるか否かを判定する。ここで、欠落したデータブロックが１つであると判定した場合、スロー再生（本例では２／３倍）への再生速度の変更を決定し、ステップＳ１０８へ進む。一方、欠落したデータブロックが１つではない（２つ以上である）と判定した場合、これを出力制御部２１に通知し、ステップＳ１０６へ進む。

ステップＳ１０６では、正常な表示が出来ない旨のメッセージが表示される。出力制御部２１は、代替データ生成部２８において代替データの生成ができないことを検知して、表示部４０へ正常な表示が出来ない旨のメッセージを含む映像信号を出力する。これをうけて表示部４０には正常な表示が出来ない旨のメッセージが表示され、視聴者は何らかの要因により視聴が出来ない状況となっていることを把握することが出来る。その後、処理はステップＳ１０７へ進む。

ステップＳ１０７では、正常なデータが受信されるまでの待機処理が行われる。放送受信部１４によって正常なデータが受信された場合、処理はステップＳ１０１へ進み、映像の出力および表示が再開される。

ステップＳ１０８では、代替データ生成処理が行われる。代替データ生成部２８は、バッファ部２６によってバッファされた入力データより、欠落データブロックの後方、且つ出力制御部のその時点の出力に係るデータブロックの前方のデータブロックを変換用データブロックとして取得し、この変換用データブロックを、変換用データブロックに係る再生時間（本実施形態では２秒）に欠落部分のデータブロックの再生時間（本実施形態では１秒）を加えた再生時間（本実施形態では３秒）分の代替データブロックへ平均化し、代替データの生成を行う。代替データ生成処理の詳細については、図８を用いて後述する。その後、処理はステップＳ１０１へ進む。

図８，９は、本実施形態における代替データ生成処理の流れを示すフローチャートである。本フローチャートに示される代替データ生成処理は、図７に示されたステップＳ１０８に相当する。

ステップＳ２０１では、変換用データブロックが取得される。代替データ生成部２８は、バッファ部２６によってバッファされた入力データより、欠落しているデータブロックの１つ前および２つ前のデータブロック（即ち、２秒分のデータブロック）を、変換用データブロックとして取得する。図４を例として用いて説明すると、データブロックＮ５が欠落している場合、変換用データブロックとしてＮ３およびＮ４を取得する。その後、処理はステップＳ２０２へ進む。

ステップＳ２０２では、取得した変換用データブロックが使用可能であるか否かが判定される。代替データ生成部２８は、ステップＳ２０１で取得した変換用データブロックが代替データの生成に使用可能な正常なデータブロックであるか否かを判定する。取得された変換用データブロックがデータの欠落部分を含む等、変換用データブロックとして使用出来ないと判定された場合、処理はステップＳ２１３へ進む。取得されたデータブロックが変換用データブロックとして使用出来ると判定された場合、処理はステップＳ２０３へ進む。

ステップＳ２０３では、変換用データブロックとして取得された２秒分のデータブロックが、３秒分の代替データブロックへ平均化される。代替データ生成部２８は、変換用データブロックとして取得された２秒分のデータブロックを、変換用データブロックに係る再生時間（本実施形態では２秒）に欠落部分のデータブロックの再生時間（本実施形態では１秒）を加えた再生時間（本実施形態では３秒）分の代替データブロックへ平均化する。図４の例に拠れば、合わせて２秒分（２ブロック分）のデータブロックＮ３およびＮ４を、３秒分の代替データブロックＭ３、Ｍ４、Ｍ５へ平均化する。その後、処理はステップＳ２０４へ進む。

ステップＳ２０４では、代替データブロックに基づく映像信号が出力される。代替データ生成部２８は、ステップＳ２０３で得られた代替データブロックＭ３、Ｍ４、Ｍ５に基づいて出力信号を生成する。生成された出力信号は、順次出力制御部２１によって映像信号および音響信号として表示部４０へ出力される。その後、処理はステップＳ２０５へ進む。

ステップＳ２０５では、次のデータブロックが取得される。代替データ生成部２８は、バッファ部２６より次に出力の対象となるデータブロックを取得する。その後、処理はステップＳ２０６へ進む。

ステップＳ２０６では、再生速度が所定値（例えば７３／８１倍）に達したか否かを変更決定部３１が判定する。ここで、所定値は、スロー再生を終了しても視聴者に違和感を起こさせない程度の値に設定される。所定値以上の再生速度の場合、変更決定部３１は、１倍速へ変更することを決定し、ステップＳ２０９へ進む。一方、再生速度が所定値未満である場合、変更決定部は、ステップＳ２０７へ進み、代替データ生成処理（２）を行って速度を上げる、即ち再生速度を１倍に近づけることを決定する。

ステップＳ２０７では、次の変換用データブロックが取得される。代替データ生成部２８は、前回の代替データ生成処理で得られた３つの代替データブロックのうち前方（即ち、出力対象データブロックに近い側）の２つの代替データブロックを取得する。図５の例に拠れば、ステップＳ２０５で取得されたデータブロックＮ４に代えて出力される代替データブロックＭ４を得るために、代替データ生成部２８は、前回の代替データ生成処理で得られた代替データブロックＭ２およびＭ３を取得する。その後、処理はステップＳ２０８へ進む。

ステップＳ２０８では、変換用データブロックおよび出力対象データブロックが、３秒分の代替データブロックへ平均化される。代替データ生成部２８は、ステップＳ２０５およびステップＳ２０７で取得されたデータブロックを平均化することで、次の出力対象データブロックに代えて出力される代替データブロックを得る。図５の例に拠れば、データブロックＮ４に代えて出力される代替データブロックＭ４を得るために、代替データ生成部２８は、データブロックＮ４、前回の代替データ生成処理で得られた代替データブロックＭ２およびＭ３を取得し、これらの３つのデータブロックを平均化することで、直前に出力された代替データブロックＭ３に連続して出力された場合に、視聴者にとって違和感を与えない代替データブロックＭ４を得る。その後、処理はステップＳ２０４へ進む。

そして、代替データ生成処理（２）を繰り返し、ステップＳ２０６で、再生速度が所定値以上と判定された場合、ステップＳ２０９で、切り替え検出部３２がステップＳ２０５で取得したデータブロック（例えばＮ７）をサーチし、該データブロックの各フレーム（動画像）の一致度が所定値以上の期間を検出する（Ｓ２１０）。このように同じようなフレームが続いている場合には、音声も同じ状況が続いており、変化が少ないことが類推できるので、ここを再生スピードの切り替えタイミングとする。なお、切り替えタイミングを検出できなかった場合は、ステップＳ２０７へ進み、代替データ生成処理（２）を行い、次のデータブロックをサーチし（Ｓ２０９）、再度切り替えタイミングを検出する。

そして、この検出した期間内、即ち一致度が所定値以上のフレームの再生時に、ミュートを開始し（Ｓ２１１）、再生速度を１倍に切り替え（Ｓ２１２）、ミュートを解除する（Ｓ２１３）。即ち、ここで代替データ生成処理は終了し、以降は再びデータ欠落が発生するまで通常の出力処理が行われる。その後、本フローチャートに示された処理は終了し、図７のステップＳ１０１へ進む。

＜変形例＞
なお、本実施形態では、入力データは１秒単位のデータブロックを有し、３秒分のバッファを行い、代替データ生成は３ブロック単位で行われることとしているが、これらの値は、実施の形態によって適宜最適な値が選択されることが好ましい。例えば、入力データが０．５秒単位のデータブロックを有する場合、バッファ時間を２秒、代替データ生成を４ブロック単位とすれば、データの欠落を受けて生成される代替データブロックの初期情報量が通常の３／４倍となり、より視聴者に違和感を与えにくい補間を行うことが可能となる。

図７〜図９では、図２に示したパーソナルコンピュータ１０の内部構成、すなわち、検知部２２、放送受信部１４、出力制御部２１、出力信号生成部２３、バッファ部２６、検出部２７、代替データ生成部２８、および出力制御部２１等をＣＰＵ１１で実行されるプログラムで実現する例を示した。しかし、このような構成に代えて、＜パーソナルコンピュータの概要構成＞で説明したように、パーソナルコンピュータ１０の内部構成のいずれか１以上をＣＰＵ１１とは異なるプロセッサ、ハードウェア回路等によって実現してもよい。すなわち、ＣＰＵ１１の処理能力と、処理量によっては、図２のそれぞれの構成要素を異なるプロセッサ、あるいは、デジタル回路で構成すればよい。ＣＰＵ１１以外のプロセッサあるいはデジタル回路を含む場合であっても、それらの処理手順は、図７および図８に示したものと同様である。すなわち、本実施形態のパーソナルコンピュータ１０は、ＣＰＵ１１のプログラムとして、あるいは、専用プロセッサによって、さらには、専用のデジタル回路によって実現できる。

＜ユーザの操作による再生速度の切替え例＞
上述の例では、データの欠落を検知して自動的に再生速度の切り替えを検出した場合に音出力をミュートしたが、ユーザの操作に応じて再生速度を切り替える場合にも音出力のミュートを行う。

図１０はユーザ操作に応じた切り替え方法の説明図である。
まず、装置を起動し、入力データに基づいて動画を再生する（Ｓ３０１）。

次に、検知部２２がユーザの操作、例えば再生（１倍）、早送り、スロー再生のボタンが押されたこと等を検知し、変更決定部３１に通知する（Ｓ３０２）。

変更決定部３１は、通知された操作が、現在の再生速度と異なる速度の再生であれば、再生速度の変更を決定し、切替検出部３２及び出力制御部２２に通知する（Ｓ３０３）。例えば、変倍速から１倍速、１倍速から変倍速、変倍速から異なる変倍速への切り替えを通知する。

この通知を契機に切替検出部３２は、入力データをサーチし（Ｓ３０４）、動画を構成する各フレーム（動画像）の一致度が所定値以上の期間を切り替えタイミングとして検出し、これを出力制御部２２へ通知する（Ｓ３０５）。なお、検出できなかった場合にはステップ３０４に戻って次のデータブロックをサーチする。

そして、これらフレームの再生を開始する際に、音制御部３３が音出力のミュートを開始（フェードアウト）し（Ｓ３０６）、該ミュート開始後、出力制御部２２が変更決定部から通知に従い再生速度を変更する（Ｓ３０７）。

出力制御部２２は、このタイミングで、例えば、動画信号を１フレームおきに間引いて２倍速で再生している状態から、間引かずに全てのフレームを出力することに変えて１倍速にする、或は２フレームおきに出力することに変えて３倍速にする。また、同じフレームを２度づつ出力して１／２倍速で再生している状態から、各フレームを１度づつ出力することに変えて１倍速にする、或は各フレームを３度づつ出力することに変えて１／３倍速にする。

該再生速度の切り替え後、再生音制御部３３が音出力のミュートを終了（フェードイン）させる（Ｓ３０８）。

このように本例によれば、再生速度を変更する際、一致度の高いフレームが連続する期間内に、ミュート開始、再生速度の切り替え、そしてミュートの解除を行うので、ノイズを発生させること無く適時に切り替えを行うことができる。

即ち、音のミュート中に切り替えを行うので、ノイズの発生が無い。そして、従来のように無音期間を待つのでは無く、一致度の高いフレームの連続を検出してミュートを行う、即ち無音期間を作成するので、適時に切り替えを行うことができる。更に、一致度の高いフレームの連続を検出して切り替えを行うので、違和感なく切り替えを行うことができる。また、一致度の高いフレームの連続している場合には、音声についても同じような状態がつづき、変動が少ないため、ミュート開始及びミュート解除を短い期間で行っても違和感が少なく、ノイズとして認識されることがない。

〈その他〉
本発明は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。また、上記構成要素は可能な限り組み合わせることができる。

Claims (12)

1. 動画信号及び音信号を含む入力データの再生速度の変更を決定する変更決定部と、
   前記再生中に前記変更決定部が異なる再生速度への変更を決定した場合に、動画像の一致度が所定値以上の期間を切り替えタイミングとして検出する切り替え検出部と、
   前記入力データに基づいて音及び動画像を再生し、前記変更決定部によって再生速度の変更が決定された場合に、前記切り替えタイミングで再生速度を切り替える再生部と、
   前記切り替えタイミングで前記音信号に基づく音出力をミュートする音制御部と、
   を備えた音信号制御装置。
2. 前記検出部が、動画信号のうち、Ｎフレームと該Ｎフレームから所定フレーム後のＮ＋ｘフレームまでを比較して一致度が所定値以上の場合に、Ｎ＋１フレームからＮ＋ｘフレームまでを切り替えタイミングとして検出する請求項１に記載の音信号制御装置。
3. 前記変更決定部が、１倍未満の再生速度から１倍速へ変更、或は１倍を超えた再生速度から１倍速へ変更した場合に、
   前記音制御部が、音出力をミュートする請求項１又は２に記載の音信号制御装置。
4. 前記入力データの欠落を検出する欠落検出部と、
   前記欠落検出部によって前記入力データの欠落が検出された場合に、欠落が検出された部分を除く、欠落部分の前方の入力データおよび後方の入力データのうち少なくとも何れか一方の入力データを、該入力データに係る再生時間と該欠落部分に係る再生時間とを合わせた再生時間分のデータとして平均化することで代替データを生成する代替データ生成部と、を更に備え、
   前記検出部によって前記入力データの欠落が検出された場合に、前記変更決定部が１倍未満の再生速度への変更を決定し、前記再生部が、前記画像信号と前記代替データに基づいて音及び動画像を再生し、前記検出部によって前記入力データの欠落が検出されなくなった場合に、前記変更決定部が１倍の再生速度への変更を決定する請求項１から３の何れか１項に記載の音信号制御装置。
5. 音及び動画像の再生装置が、
   動画信号及び音信号を含む入力データの再生速度の変更を決定するステップと、
   前記再生中に前記変更決定部が異なる再生速度への変更を決定した場合に、動画像の一致度が所定値以上の期間を切り替えタイミングとして検出するステップと、
   前記入力データに基づいて音及び動画像を再生し、前記変更決定部によって再生速度の変更が決定された場合に、前記切り替えタイミングで再生速度を切り替えるステップ、
   前記切り替えタイミングで前記音信号に基づく音出力をミュートするステップと、
   を実行する音信号制御方法。
6. 前記動画信号のうち、Ｎフレームと該Ｎフレームから所定フレーム後のＮ＋ｘフレームまでを比較して一致度が所定値以上の場合に、Ｎ＋１フレームからＮ＋ｘフレームまでを切り替えタイミングとして検出する請求項５に記載の音信号制御方法。
7. 前記再生速度を１倍未満の再生速度から１倍速へ変更、或は１倍を超えた再生速度から１倍速へ変更した場合に、
   前記音出力をミュートする請求項５又は６に記載の音信号制御方法。
8. 前記入力データの欠落を検出するステップと、
   前記欠落検出部によって前記入力データの欠落が検出された場合に、欠落が検出された部分を除く、欠落部分の前方の入力データおよび後方の入力データのうち少なくとも何れか一方の入力データを、該入力データに係る再生時間と該欠落部分に係る再生時間とを合わせた再生時間分のデータとして平均化することで代替データを生成するステップと、を更に備え、
   前記入力データの欠落が検出された場合に、１倍未満の再生速度への変更を決定し、前記画像信号と前記代替データに基づいて音及び動画像を再生し、前記入力データの欠落が検出されなくなった場合に、１倍の再生速度への変更を決定する請求項５から７の何れか１項に記載の音信号制御方法。
9. 音及び動画像の再生装置に、
   動画信号及び音信号を含む入力データの再生速度の変更を決定するステップと、
   前記再生中に前記変更決定部が異なる再生速度への変更を決定した場合に、動画像の一致度が所定値以上の期間を切り替えタイミングとして検出するステップと、
   前記入力データに基づいて音及び動画像を再生し、前記変更決定部によって再生速度の変更が決定された場合に、前記切り替えタイミングで再生速度を切り替えるステップ、
   前記切り替えタイミングで前記音信号に基づく音出力をミュートするステップと、
   を実行させる音信号制御プログラム。
10. 前記動画信号のうち、Ｎフレームと該Ｎフレームから所定フレーム後のＮ＋ｘフレームまでを比較して一致度が所定値以上の場合に、Ｎ＋１フレームからＮ＋ｘフレームまでを切り替えタイミングとして検出する請求項９に記載の音信号制御プログラム。
11. 前記再生速度を１倍未満の再生速度から１倍速へ変更、或は１倍を超えた再生速度から１倍速へ変更した場合に、
    前記音出力をミュートする請求項９又は１０に記載の音信号制御プログラム。
12. 前記入力データの欠落を検出するステップと、
    前記欠落検出部によって前記入力データの欠落が検出された場合に、欠落が検出された部分を除く、欠落部分の前方の入力データおよび後方の入力データのうち少なくとも何れか一方の入力データを、該入力データに係る再生時間と該欠落部分に係る再生時間とを合わせた再生時間分のデータとして平均化することで代替データを生成するステップと、を更に備え、
    前記入力データの欠落が検出された場合に、１倍未満の再生速度への変更を決定し、前記画像信号と前記代替データに基づいて音及び動画像を再生し、前記入力データの欠落が検出されなくなった場合に、１倍の再生速度への変更を決定する請求項９から１１の何れか１項に記載の音信号制御プログラム。

Images