JP4933145B2 - ネットワーク受信機 - Google Patents

Description

本発明は、例えば、ＩＰ（Internet Protocol）放送などのネットワークを通じてリアルタイムで配信または放送される映像データを受信し、映像再生するネットワーク受信機に関する。

従来、送信側通信端末から受信側通信端末に画像データや音声データをリアルタイムで（即ち、送信側通信端末から一方的に）送信し、受信側通信端末でこれを受信して視聴するシステムが知られている。ＩＰ放送では、かかるリアルタイムで送信される画像データや音声データ（即ち、リアルタイムデータ）は、パケット化され、ＩＰの規格に従って送信側通信端末から受信側通信端末への送信が行なわれ、番組の放送が行なわれる。

このように、通信端末間でかかるリアルタイムデータをパケット化して通信する場合、送信側通信端末では、リアルタイムデータがエンコードされ、パケット化されて送信され、受信側通信端末では、受信されたリアルタイムデータが受信したパケット順にバッファに書き込まれて一時保存され、書き込み順に読み出されてデコードされる。この場合、パケットのデコード順は受信時のパケットの順序と一致しなければならない。

通信端末間でリアルタイムデータをパケット化して通信する場合、送信側通信端末と受信側通信端末とのクロックの同期を取るために、送信側通信端末では、リアルタイムデータをエンコードするためのクロックをカウントして、パケット毎にその送信時のクロックのカウント値をタイムスタンプとして付加し、受信側通信端末では、ここでも、デコードするためのクロックをカウントして、そのカウント値と受信したパケットのタイムスタンプとの差分を検出し、受信されるパケット毎のかかる差分値の変化状態から、送信側通信端末のクロックに受信側通信端末のクロックが同期しているか否か（即ち、周波数が一致しているか否か）を判定し、同期していなければ、クロックの周波数を制御するようにした技術が提案されている（例えば、特許文献１参照）。

また、映像受信端末からの要求により、映像配信サーバから映像コンテンツファイルをこの要求した映像受信端末にダウンロードするようにしたシステムにおいて、映像配信サーバで配信する映像コンテンツファイルの映像データのフレーム毎にタイムスタンプを付加し、映像受信端末でかかる映像データを受信してバッファに一時記憶し、クロックのカウント値とこのタイムスタンプとを基に、このバッファから映像データの各フレームをそのバッファへの書込み順に読み出してデコードする技術が開示されている（例えば、特許文献２参照）。

そして、この特許文献２に記載の技術では、映像受信端末でバッファから映像データを読み出し、デコードして映像再生が行なわれているときに、通信障害が発生した映像受信端末で映像データが受信できなくなり、バッファでの映像データの蓄積データ量が次第に減少して設定された下限閾値（アンダーフロー用閾値）以下になってバッファがアンダーフローすると、通信障害が回復して映像データのダウンロートを再開できるまで、バッファからの映像データの読み出しを停止して映像再生を中断し、また、映像受信端末でバッファから映像データを読み出し、デコードして映像再生が行なわれているときに、バッファで映像データの蓄積データ量が次第に増加して設定された上限閾値（オーバーフロー用閾値）以上のオーバーフロー状態となると、映像配信サーバからの配信を停止させ、バッファからの映像データの読み出しと映像再生をそのまま継続し、バッファでの映像データの蓄積データ量がオーバーフロー用閾値以下となると、映像配信サーバからのダウンロートを再開させるようにしている。

なお、以上のように使用されるバッファでは、映像データが先頭のアドレスから書き込まれ、最終アドレスまで書き込まれると、先頭のアドレスに戻ってそこから再び書込みが行なわれるものであって、映像データの読み出しも同様である。このように、バッファは機能的にリング状をなしているものであって、書込みが先行し、読出しがその後から追い掛けるように動作する。ここで、かかるバッファでの上記の蓄積データ量は、バッファに書き込まれたが、まだ読み出されていない映像データのデータ量であり、バッファのアンダーフローは、バッファでの蓄積データ量が減少し過ぎてバッファでの読出し位置（アドレス）が書込み位置を追い越してしまう状態をいう。また、バッファのオーバーフローは、バッファでの蓄積データ量が増加し過ぎてバッファでの書込み位置が読出し位置を追い越してしまう状態をいう。
特開２０００−３３２８０２号公報 特開２００３−２８９５２６号公報

ところで、通信端末間で映像データの通信を行なうと、通信ネットワーク上でジッタが生ずると、等価的に伝送レートが変化した状態となる。かかるジッタによると、受信側通信端末でのデコードのためのバッファへの映像データの書込み速度が変化することになり、この書込み速度の変化が加算されることにより、バッファはアンダーフローし、あるいはオーバーフローする。また、送信側通信端末と受信側通信端末とでのクロックの周波数にずれ（同期ずれ）があると、かかる同期ずれが微小なものであっても、受信側通信端末の上記バッファでは、映像データの書込み速度と読み出し速度との違いが生じ、この速度の違いが累積されて、バッファがアンダーフローし、あるいはオーバーフローする。

そこで、上記特許文献１に記載の技術のように、リアルタイムデータを受信する場合には、受信側通信端末のバッファにおいて、カウンタによるクロックのカウント値に一致したタイムスタンプが付加されたパケットを読み出すものであるから、通信ネットワークでのジッタや送信側と受信側通信端末とのクロックの同期ずれによってバッファがアンダーフローし、上記のように、バッファでの読出し位置が書込み位置を追い越すと、クロックのカウント値にタイムスタンプが一致するパケットのバッファへの書込みタイミングがこのクロックのカウント値のタイミングよりも遅れることになって、クロックのカウント値に一致するタイムスタンプのパケットがバッファ内に存在しなくなり、バッファからパケットを読み出すことができなくなって映像再生ができなくなる。

また、バッファがオーバーフローしたときには、逆に、バッファでの書込み位置が読出し位置を追い越すことになるので、この追越しの位置からは、クロックのカウント値とはかけ離れたタイムスタンプのパケットに書き換えられることになり、クロックのカウント値に一致したタイムスタンプのパケットが失われてしまう。これにより、バッファからパケットを読み出すことができず、映像再生ができなくなる。

また、上記特許文献２に記載の技術では、バッファの蓄積データ量がアンダーフロー制御用の閾値以下となると、このバッファからの映像データの読出しが禁止されてバッファへの映像データの蓄積が行なわれるから、バッファのアンダーフローを回避できるし、また、バッファの蓄積データ量がオーバーフロー制御用の閾値以上となると、映像配信サーバからのダウンロードを禁止してバッファへの映像データの蓄積を禁止して映像データの読み出しを継続するから、オーバーフロー状態も回避できる。

しかし、このことは、映像配信サーバからの映像コンテンツファイルのダウンロードが映像受信端末からの要求によって行なわれるものであるから可能であり、上記特許文献１に記載のような一方的に送信されるリアルタイムの映像データや音声データを扱うシステムに適用することはできない。

即ち、ＩＰ放送システムのような送信装置側から一方的に映像データや音声データが送信されるリアルタイムデータの通信システムでは、受信側通信端末側の受信状態に関係なく、リアルタイムデータの送信が行なわれるものであるから、通信ネットワークでのジッタや送信側，受信側でのクロックの微小な周波数ずれの蓄積により、受信側通信端末のデコードのためのバッファにオーバーフローが生じても、上記特許文献２に記載の発明のように、送信装置でのリアルタイムデータの送信を中断させることができず、受信側通信端末でリアルタイムデータの受信を中断せざるを得ず、この結果、この受信中断期間でリアルタイムデータが失われることになる。バッファにアンダーフローが生じた場合には、受信側通信端末でのリアルタイムデータの受信の中断はないから、リアルタイムデータが失われることはないが、アンダーフローが解除するまで映像再生が中断されることになり、この間、ユーザは映像を視聴することができず、ＩＰ放送などのリアルタイムデータの映像，音声の再生の連続性が損なわれてユーザに不自然な感じを与えることになる。

本発明の目的は、かかる問題を解消し、通信ネットワークを通じて映像データや音声データのリアルタイムデータを受信する際、通信ネットワークでのジッタや送信側でのクロックとのクロック同期ずれ（周波数のずれ）が発生しても、受信したリアルタイムデータの映像や音声を滑らかに再生可能としたネットワーク受信機を提供することにある。

上記目的を達成するために、本発明は、ネットワークを通じてリアルタイムで配信または放送される映像データを受信して再生するネットワーク受信機であって、受信した該映像データを一時蓄積するバッファと、該バッファから読み出された該映像データをデコードするデコーダと、該デコーダでデコードされた該映像データが供給されて映像再生するディスプレイと、該バッファや該デコーダを制御する制御部とを備え、該制御部の制御により、該映像データによる通常速の再生中での該バッファでの該映像データの蓄積データ量を管理し、該バッファの蓄積データ量の増減に応じた短い所定期間特殊再生を実行し、該所定時間の経過とともに、該特殊再生から該通常速の再生に復帰させるようにしたネットワーク受信機において、前記通常速の再生から前記特殊再生への切り替えを、前記映像データによる映像のシーンの切り替え部分または前記映像データによる映像の無音部分の何れかで実行するように構成したことを特徴とするものである。

また、本発明は、通常速の再生時に前記バッファの蓄積データ量が設定された許容下限閾値よりも少ないアンダーフロー傾向になったときに、前記特殊再生としてスロー再生を実行し、通常速の再生時に前記バッファの蓄積データ量が設定された許容上限閾値よりも多いオーバーフロー傾向になったときに、前記特殊再生として速見再生を実行することを特徴とするものである。

また、本発明は、前記スロー再生が、前記通常速の再生に対して約０．８倍速の再生であって、前記速見再生が、前記通常速の再生に対して約１．５倍速の再生であることを特徴とするものである。

また、本発明は、前記所定期間がタイマによって設定されることを特徴とするものである。

また、本発明は、前記所定期間が、前記アンダーフロー傾向もしくは前記オーバーフローが前記特殊再生の実行によって解消したことを検出することにより、終了することを特徴とするものである。

上記目的を達成するために、ネットワークを通じてリアルタイムで配信または放送される映像データを受信して再生するネットワーク受信機であって、受信した該映像データを一時蓄積するバッファと、該バッファから読み出された該映像データをデコードするデコーダと、該デコーダでデコードされた該映像データが供給されて映像再生するディスプレイと、該バッファや該デコーダを制御する制御部とを備え、該制御部の制御により、該映像データによる通常速の再生中に該バッファでの該映像データの蓄積データ量を管理し、（１）通常速の再生時に前記バッファの蓄積データ量が設定された許容下限閾値よりも少ないアンダーフロー傾向になったときに、短い所定期間前記バッファからの前記映像データの読み出しを停止して、前記ディスプレイでの再生画像をフリーズ状態とする特殊再生を行ない、該所定期間の経過後、該通常速の再生に復帰し、（２）通常速の再生時に前記バッファの蓄積データ量が設定された許容上限閾値よりも多いオーバーフロー傾向になったときに、前記特殊再生として、前記バッファでの映像データの読み出しをフレーム単位でスキップし、該スキップの終了とともに、該通常速の再生に復帰させるようにしたネットワーク受信機において、前記通常速の再生から前記特殊再生への切り替えを、前記映像データによる映像のシーンの切り替え部分または前記映像データによる映像の無音部分の何れかで実行するように構成したことを特徴とするものである。

また、本発明は、前記バッファがアンターフロー傾向となって前記再生画像をフリーズ状態とする前記所定期間は、タイマによって設定することを特徴とするものである。

また、本発明は、前記特殊再生を行なう前記所定期間は、ＧＯＰでのＩピクチャの周期以下とすることを特徴とするものである。

本発明によると、通信ネットワークでリアルタイムデータにジッタが発生したり、送信側と受信側とのクロックに同期ずれがあったりすることにより、受信したリアルタイムデータのデコードのためのバッファがアンダーフロー傾向やオーバーフロー傾向になっても、短い時間だけ特殊再生を行なうことにより、映像の再生に乱れや違和感をほとんど生じることなく、アンダーフロー傾向やオーバーフロー傾向解消して再生を継続させることができる。

以下、本発明の実施形態を図面を参照して説明する。

図１は本発明によるネットワーク受信機の第１の実施形態を用いた通信システムを示す構成図であって、１はこの実施形態のネットワーク受信機、２はデータ送出装置、３は通信ネットワーク、４はエンコーダ、５は送出部、６はクロック発生部、７は受信部、８はバッファ、９はデコーダ、１０はディスプレイ、１１は制御部、１２はクロック発生部である。

同図において、データ送出装置２では、図示しない信号源からのリアルタイムの画像データや音声データ（以下、これらを映像データという）がエンコーダ４に供給され、クロック発生部６からのクロック（送信側のクロック）φ１を用いてエンコードされる。かかるエンコードの方式としては、例えば、ＭＰＥＧ（Moving Picture Experts Group phase）２または４の規格に基づく圧縮符号化方式が用いられる。エンコードされた映像データは送出部５に供給され、例えば、ＩＰ（Internet Protocol）に従ってパケット化されてインターネットなどの通信ネットワーク３に送出され、ネットワーク受信機１に配信または放送される。映像データのかかる送信は、データ送出装置２によって一方的に規定される送り出し下で行なわれる。なお、ここでは、代表として、ネットワーク受信機１を１つのみ示している。

ネットワーク受信機１では、通信ネットワーク３を通して送られてくるＩＰによる映像データが受信部７で受信される（ここでは、映像データが画像データと音声データとに分離されるが、ここでは、まとめて映像データとして説明する）。この映像データは、制御部１１の制御のもとに、そのパケットが順次バッファ８に蓄積され、順次読み出されてデコーダ９に供給される。デコーダ９では、制御部１１の制御のもとに、バッファ８から順次供給される映像データのパケットがクロック発生部１２からのクロックφ２を用いてデコードされる。デコードされた映像データはディスプレイ１０に供給され、例えば、ＩＰ放送の映像として、映像表示される。

バッファ８では、受信された映像データがそのクロックφのタイミングで書き込まれ、クロック発生部１２からのクロック（受信側のクロック）φ２のタイミングで読み出されるのであるが、通信ネツトワーク３での伝送中、この映像データにジッタ（周波数変動）が生ずると（この場合には、この受信された映像データのクロックφが周波数変動する）、あるいはまた、送信側でのクロックφ１と受信側のクロックφ２とに周波数のずれ（クロックの同期ずれ）があると、かかるクロックの同期ずれが微小であっても、バッファ８での映像データの書込みレートと読出しレートとに差が生ずることになり、かかるレートの差が加算されることにより、バッファ８にアンダーフローやオーバーフローが生ずることになる。

図２（ａ）はバッファ８がアンダーフローの傾向になった状態を示すものであって、これは、蓄積データ量Ｖがバッファ８に設定されている蓄積データ量の許容下限閾値ＴＨ１以下となったときの状態をいうものである。ここで、バッファ８は、上記のように、機能的にリング状をなしているものであって、その蓄積データ量Ｖはバッファ８内での読出しが行なわれていない映像データのデータ量をいうものである。

上記のように、受信された映像データにジッタが含まれ、あるいは送信側のクロックφ１と受信側のクロックφ２との間に同期ずれがあり、これにより、バッファ８への映像データの書込みレートがバッファ８からの読出しレートよりも小さいと、バッファ８内の蓄積データ量Ｖが時間経過とともに減少する。制御部１１はバッファ８での蓄積データ量Ｖを常時監視しており、図２（ａ）に示すように、この蓄積データ量Ｖが許容下限閾値ＴＨ１以下となると、制御部１１は、バッファ８がアンダーフローの傾向になったと判定し、このアンダーフロー傾向を解除するための後述する制御処理を行なう。

また、図２（ｂ）はバッファ８がオーバーフローの傾向になった状態を示すものであって、これは、蓄積データ量Ｖがバッファ８に設定されている蓄積データ量の許容上限閾値ＴＨ２以下となったときの状態をいうものである。

上記のように、受信された映像データにジッタが含まれ、あるいは送信側のクロックφ１と受信側のクロックφ２との間に同期ずれがあり、これにより、バッファ８への映像データの書込みレートがバッファ８からの読出しレートよりも大きいと、バッファ８内の蓄積データ量Ｖが時間経過とともに増加し、図２（ｂ）に示すように、この蓄積データ量Ｖが許容上限閾値ＴＨ２以上となると、制御部１１は、バッファ８がオーバーフローの傾向になったと判定し、このオーバフロー傾向を解除するための後述する制御処理を行なう。

図３は図１におけるネットワーク受信機１の第１の実施形態での制御部１１の制御ルーチンを示すフローチャートである。

同図において、バッファ８から映像データが読み出され、デコーダ９でデコードされてディスプレイ１０で通常速の映像再生が行なわれているときには（ステップＳ１０１の“Ｙ”）、バッファ８での蓄積データ量Ｖが許容下限閾値ＴＨ１よりも少ないか否か判定する（ステップＳ１０２）。図２（ａ）に示すように少なくなった場合には（ステップＳ１０２の“Ｙ”）、バッファ８がアンダーフローの傾向になったとして、例えば、通常速の映像再生の０．８倍速のスロー再生を短時間行なうように、バッファ８での読み出しやデコーダ９などを制御する（ステップＳ１０３）。このスロー再生の実行時間は図示しないタイマによって計測するものであって、このスロー再生の開始とともに、このタイマをスタートさせて（ステップＳ１０６）、短い所定の設定時間経過してタイマから割込みがあると（ステップＳ１０７）、バッファ８の読み出しやデコーダ９などを制御して通常速の映像再生に戻す（ステップＳ１０８）。

通常速の映像再生の場合には、バッファ８から各フレームの映像データを順に規定のフレーム周期（例えば、１／３０秒）で読み出し、この周期で各フレームの映像をデコードして順にディスプレイ１０で再生するが、スロー再生の場合には、クロック発生部１２からのクロックφ２を通常速の再生よりも遅くし、これによってバッファ８からの映像データの読み出しとデコードするフレームの数を減らす。例えば、上記の０．８倍速のスロー再生の場合には、１０フレームに相当する期間に８フレームのデコードが行なわれる。但し、画像の表示は１０回行なわれるので、２回分は同じフレームが繰り返し表示されることになる。

このように、スロー再生の期間中、バッファ８への受信した映像データの書込みは通常通り行なわれるのに対し、映像データの読み出しは通常より減少する。

図４（ａ）はアンダーフローの傾向になったときのバッファ８での蓄積データ量Ｖの変化を示す図である。

図４（ａ）において、通常速の再生中バッファ８の蓄積データ量Ｖが許容下限閾値ＴＨ１よりも少ないＶ１となってアンダーフローの傾向になったことが検出されると、スロー再生が行なわれるが、このときも、バッファ８から映像データの読み出しが、減少はするが、行なわれるから、このスロー再生期間（上記のタイマで規定される期間）でのバッファ８からの映像データの読み出し量をΔＶｒとすると、この読み出しによってバッファ８での蓄積データ量Ｖ２はＶ１−ΔＶｒとなる。このスロー再生期間、バッファ８への映像データの書き込みが連続して行なわれるから、かかる書み込み量をΔＶｗとすると、スロー再生期間が終了した直後のバッファ８の蓄積データ量Ｖは、
Ｖ＝Ｖ２＋ΔＶｗ＝Ｖ１＋（ΔＶｗ−ΔＶｒ）
となる。ここで、スロー再生期間では、バッファ８からの映像データの読み出し量は減少するので、ΔＶｗ＞ΔＶｒであり、
スロー再生終了時の蓄積データ量Ｖ＞スロー再生開始時の蓄積データ量Ｖ１
となる。これにより、スロー再生終了開始時の蓄積データ量Ｖが許容下限閾値ＴＨ１を超えて、バッファ８のアンダーフロー傾向を解消することが可能となる。

このようにして、アンダーフローの傾向となっても、映像が途切れることなく再生されることになり、また、スロー再生の期間をできるだけ短くすることにより、スロー再生を目立たなくしてアンダーフローの傾向を解消することが可能となる。

また、図３において、通常速の映像再生時（ステップＳ１０１の“Ｙ”）、図２（ｂ）に示すように、バッファ８での蓄積データ量Ｖがこのバッファ８の許容上限閾値ＴＨ２よりも多くなってオーバーフローの傾向になると（ステップＳ１０２が“Ｎ”でステップＳ１０４が“Ｙ”）、例えば、通常速の映像再生の１．５倍速の速見再生を短時間行なうように、バッファ８での読み出しやデコーダ９などを制御する（ステップＳ１０５）。この速見再生の実行時間も図示しないタイマによって計測し、この速見再生の開始とともに、このタイマをスタートさせて（ステップＳ１０６）、短い所定の設定時間経過してタイマから割込みがあると（ステップＳ１０７）、バッファ８での読み出しやデコーダ９などを制御して通常速の映像再生に戻す（ステップＳ１０８）。

この速見再生は、クロックφ２を通常速の再生よりも速くすることにより、バッファ８からの映像データの読み出しとデコードするフレーム数を増加させる。上記の１．５倍速の速見再生の場合には、２フレームに相当する期間に３フレーム分の映像データがバッファ８から読み出されてデコードされる。但し、画像の表示は２回のみ行なわれるため、１フレームは飛ばされ、これが繰り返されるものである。このように、速見再生の期間中、バッファ８からの映像データの読み出しは、通常よりも増加する。

図４（ｂ）はオーバーフローの傾向になったときのバッファ８での蓄積データ量Ｖの変化を示す図である。

図４（ｂ）において、バッファ８の蓄積データ量Ｖが許容上限閾値ＴＨ２よりも多いＶ１となってオーバーフローの傾向になると、上記のように、速見再生が行なわれるが、このときも、バッファ８から映像データの読み出しが行なわれるから、この速見再生期間（上記のタイマで規定される期間）でのバッファ８からの映像データの読み出し量をΔＶｒとすると、この読み出しによってバッファ８での蓄積データ量Ｖ２＝Ｖ１−ΔＶｒとなるが、この速見再生期間、バッファ８への映像データの書込みが連続して行なわれるから、かかる書込み量をΔＶｗとすると、速見再生期間が終了した直後のバッファ８の蓄積データ量Ｖは、
Ｖ＝Ｖ２＋ΔＶｗ＝Ｖ１−（ΔＶｒ−ΔＶｗ）
となる。ここで、速見再生期間では、バッファ８で映像データの書き込みよりも読み出しが多いので、ΔＶｗ＜ΔＶｒであり、
速見再生終了時の蓄積データ量Ｖ＜速見再生開始時の蓄積データ量Ｖ１
となる。これにより、速見再生終了時の蓄積データ量Ｖが許容上限閾値ＴＨ２よりも少なくなって、バッファ８のオーバーフローの傾向を解消することが可能となる。

このようにして、バッファ８がオーバーフローの傾向になっても、映像再生が途切れることなく行なわれることになり、また、速見再生期間をできるだけ短くすることにより、速見再生を目立たなくしてオーバーフローの傾向を解消することができる。

なお、図３において、通常速の映像再生時（ステップＳ１０１の“Ｙ”）、バッファ８の蓄積データ量Ｖが許容下限閾値ＴＨ１以上で（ステップＳ１０２の“Ｎ”）、かつ許容上限閾値ＴＨ２以上であるときには（ステップＳ１０４の“Ｎ”）、この通常速の映像再生がそのまま継続する（即ち、ステップＳ１０１，１０２，１０４の一連の動作を繰り返す）。また、スロー再生や速見再生などの特殊再生時では（ステップＳ１０１の“Ｎ”）、ユーザからのその再生の終了の指示があるまでは、この制御ルーチンからはずれてその特殊再生を継続するし、ユーザからの通常速の再生の停止の指示があると（ステップＳ１０１の“Ｎ”）、この制御ルーチンからはずれる。

以上のように、この第１の実施形態では、スロー再生や速見再生などの特殊再生を行なう期間に、バッファ８の蓄積データ量がアンダーフロー傾向やオーバーフロー傾向から回復することになる。

これにより、通信ネットワーク３を通じて受信した映像データのジッタや送・受信側のクロックの同期ずれに起因する受信データ量の揺らぎ、従って、バッファ８での映像データの書込レートの揺らぎが生じても、オーバーフローやアンダーフローによるバッファ８の破綻（表示される映像がデコード不良となったり、映像が途切れること）を招くことなく、滑らかな映像再生を実現できる。

なお、スロー再生や速見再生の通常速の再生に対する上記の再生速度の比率は一例として示すものであって、使用するデコーダ９が動作可能な値であれば、これに限るものではない。

図５は本発明によるネットワーク受信機の第２の実施形態での制御部の制御ルーチンを示すフローチャートである。

この第２の実施形態も、その構成は図１に示すものと同様である。図５に示すこの制御ルーチンは、バッファ８がアンダーフロー傾向あるいはオーバフロー傾向となったときに実行する特殊再生が異なるものであって、これ以外については、図３に示す第１の制御ルーチンと同様である。即ち、図５においては、図３でのステップＳ１０３をステップＳ２０３とし、図３でのステップＳ１０５をステップＳ２０５とするものであり、これら以外のステップは図３でのステップと同じであって、同じステップには図３と同じステップ番号を付けている。以下では、図３と重複する説明は省略する。

図５において、バッファ８から映像データが読み出され、デコーダ９でデコードされてディスプレイ１０で通常速の映像再生が行なわれていて（ステップＳ１０１の“Ｙ”）、このときのバッファ８での蓄積データ量Ｖが、図２（ａ）に示すように、許容下限閾値ＴＨ１よりも少なくなった場合には（ステップＳ１０２の“Ｙ”）、アンダーフローの傾向になったと判定して、ディスプレイ１０での表示画像をフリーズし（即ち、静止画再生状態とし）、バッファ８からの映像データの読み出しを停止してデコーダ９でのデコードを停止する（ステップＳ２０３）。このフリーズ状態も、タイマによって決められた所定の設定時間行なわれ（ステップＳ１０６〜Ｓ１０７）、この所定の設定時間が経過すると、通常速の映像再生に戻る（ステップＳ１０８）。

図６（ａ）はこの第２の実施形態でのアンダーフロー傾向になったときのバッファ８での蓄積データ量Ｖの変化を示す図である。

図６（ａ）において、バッファ８の蓄積データ量Ｖが許容下限閾値ＴＨ１よりも少ないＶ１となってアンダーフローの傾向になると、ディスプレイ１０での再生画像がフリーズ状態となる。しかし、再生画像がフリーズしているときには、バッファ８で映像データの読み出しは行なわれないが、バッファ８での映像データの書き込みはそのまま継続している。そして、上記タイマで決まる所定の設定時間が経過すると、このフリーズ状態から通常速の映像再生状態に戻るが、この所定の設定時間にバッファ８に書き込まれた映像データのデータ量をΔＶｗとすると、このときのバッファ８の蓄積データ量Ｖは、
Ｖ＝Ｖ１＋ΔＶｗ
従って、Ｖ＞Ｖ１となる。これにより、この蓄積データ量Ｖが許容下限閾値ＴＨ１を超えるようにすることが可能である。

このようにして、バッファ８がアンダーフローの傾向となっても、映像が途切れることなく再生されることになり、また、フリーズ再生の期間をできるだけ短くすることにより、このフリーズ再生を目立たなくしてアンダーフローの傾向を解消することができる。

また、図５において、ディスプレイ１０で通常速の映像再生が行なわれていて（ステップＳ１０１の“Ｙ”）、このときのバッファ８での蓄積データ量Ｖが、図２（ａ）に示すように、許容上限閾値ＴＨ２よりも多くなった場合には（ステップＳ１０２の“Ｎ”とステップＳ１０４の“Ｙ”）、バッファ８がオーバーフローの傾向になったと判定して、バッファ８での読み出し位置を複数フレーム飛ばしてスキップする（ステップＳ２０５）。バッファ８での複数フレーム分スキップして映像データの読み出しを開始すると、この読み出しを開始した映像データのフレームから通常速の映像再生に戻る（ステップＳ１０８）。スキップされた複数フレームは読み出されないが、読み出されたものとして扱われる。

図６（ｂ）はオーバーフローの傾向になったときのバッファ８での蓄積データ量Ｖの変化を示す図である。

図６（ｂ）において、バッファ８の蓄積データ量Ｖが許容上限閾値ＴＨ２よりも多いＶ１となってオーバーフローの傾向になると、上記のように、ディスプレイ１０での表示画像をフリーズ状態とするとともに、バッファ８では、読み出し位置が複数フレーム分スキップされ、この複数フレームを読み出さないで破棄する（即ち、既に読み出し済みのものとみなす）。

ここで、スキップされた複数フレームのデータ量をΔＶｓとすると、このスキップによってバッファ８での蓄積データ量Ｖ２はＶ１−ΔＶｓとなるが、このスキップの間もバッファ８への映像データの書込みが連続して行なわれるから、かかる書込みデータ量をΔＶｗとすると、スキップが終了して通常速の映像再生に戻ったときのバッファ８の蓄積データ量Ｖは、
Ｖ＝Ｖ２＋ΔＶｗ＝Ｖ２−（ΔＶｓ−ΔＶｗ）
となる。ここで、スキップは短時間で行なわれるから、スキップによって失われるデータ量ΔＶｓがその間の映像データの書込データ量ΔＶｗよりも多いので、ΔＶｗ＜ΔＶｓであり、
スキップ終了時の蓄積データ量Ｖ＜スキップ開始時の蓄積データ量Ｖ１
となる。これにより、スキップ終了時の蓄積データ量Ｖが許容上限閾値ＴＨ２よりも少なくなって、バッファ８のオーバーフロー傾向を解消することが可能となる。

このようにして、バッファ８がオーバーフロー傾向となっても、映像再生が途切れることなく行なわれることになり、また、スキップの期間をできるだけ短くすることにより、表示画像のフリーズを目立たなくしてオーバーフローの傾向を解消することができる。

この第２の実施形態では、バッファ８がアンダーフロー傾向になったときには、バッファ８からの映像データの読み出しを停止し、また、オーバーフロー傾向になったときには、バッファ８での読み出し位置を複数フレーム分スキップするものであるから、アンダーフロー傾向になったときも、また、オーバーフロー傾向になったときも、第１の実施形態よりも早くその傾向を解消でき、オーバーフローやアンダーフローによる破綻を生じることがなく、映像（画像・音声）を滑らかに再生することができる。

なお、上記各実施形態では、バッファ８がオーバーフロー傾向もしくはアンダーフロー傾向になってときに行なう特殊再生を、シーンの変わり目や無音声部分で開始するようにしてもよい。これによると、特殊再生したことを視聴者がより気づきにくくできすることができ、違和感を少なくすることができる。

また、上記各実施形態では、タイマを用いて短時間の特殊再生を行なうように制御するものであったが、その代わりに、バッファ８の蓄積データ量がオーバーフロー傾向もしくはアンダーフロー傾向を解消した値になったことを検出して、特殊再生から通常速の再生に切り替えるようにしてもよい。なお、バッファ８の許容下限，上限閾値やタイマの選び方によって特殊再生の時間は異なるが、受信映像データのＧＯＰ(Group Of Picture)毎にＩピクチャ（フレーム内符号化画面）の周期（約１／２秒）以下、好ましくは１フレームの周期（１／３０秒）程度にすることが（１フレームの周期（１／３０秒）程度とは、この期間ディスプレイ１０では、１フレームの画像を表示する）、視聴者が気づきにくく違和感を与えないようにする上で望ましい。

また、上記各実施形態では、図１における映像データ送出装置２として、その中のエンコーダ４にリアルタイムエンコーダを使用して、エンコード後、そのままデータを送出例を示したが、エンコードしたデータを一旦蓄積して準備し、そのデータを送出配信するサーバ装置としても、同様の効果が得られることは明らかである。

本発明によるネットワーク受信機の第１の実施形態を示すブロック構成図である。 図１におけるバッファにアンダーフロー傾向とオーバーフロー傾向とを示す図である。 本発明によるネットワーク受信機の第１の実施形態の制御ルーチンを示すフローチャートである。 図３に示す制御ルーチンによるバッファのアンダーフロー傾向とオーバーフロー傾向との解消動作を示す図である。 本発明によるネットワーク受信機の第２の実施形態での制御ルーチンを示すフローチャートである。 図５に示す制御ルーチンによるバッファのアンダーフロー傾向とオーバーフロー傾向との解消動作を示す図である。

符号の説明

１ ネットワーク受信機
２ 映像データ送出装置
３ 通信ネットワーク
４ エンコーダ
５ 送出部
６ クロック発生部
７ 受信部
８ バッファ
９ デコーダ
１０ ディスプレイ
１１ 制御部
１２ クロック発生部
Ｖ 蓄積データ量

Claims (8)

1. ネットワークを通じてリアルタイムで配信または放送される映像データを受信して再生するネットワーク受信機であって、
   受信した該映像データを一時蓄積するバッファと、
   該バッファから読み出された該映像データをデコードするデコーダと、
   該デコーダでデコードされた該映像データが供給されて映像再生するディスプレイと、
   該バッファや該デコーダを制御する制御部と
   を備え、
   該制御部の制御により、該映像データによる通常速の再生中での該バッファでの該映像データの蓄積データ量を管理し、該バッファの蓄積データ量の増減に応じた短い所定期間特殊再生を実行し、該所定時間の経過とともに、該特殊再生から該通常速の再生に復帰させるようにしたネットワーク受信機において、
   前記通常速の再生から前記特殊再生への切り替えを、前記映像データによる映像のシーンの切り替え部分または前記映像データによる映像の無音部分の何れかで実行するように構成したことを特徴とするネットワーク受信機。
2. 請求項１において、
   通常速の再生時に前記バッファの蓄積データ量が設定された許容下限閾値よりも少ないアンダーフロー傾向になったときに、前記特殊再生としてスロー再生を実行し、
   通常速の再生時に前記バッファの蓄積データ量が設定された許容上限閾値よりも多いオーバーフロー傾向になったときに、前記特殊再生として速見再生を実行することを特徴とするネットワーク受信機。
3. 請求項２において、
   前記スロー再生は、前記通常速の再生に対して約０．８倍速の再生であって、
   前記速見再生は、前記通常速の再生に対して約１．５倍速の再生であることを特徴とするネットワーク受信機。
4. 請求項１〜３のいずれか１つにおいて、
   前記所定期間は、タイマによって設定されることを特徴とするネットワーク受信機。
5. 請求項２または３において、
   前記所定期間は、前記アンダーフロー傾向もしくは前記オーバーフロー傾向が前記特殊再生の実行によって解消したことを検出することにより、終了することを特徴とするネットワーク受信機。
6. ネットワークを通じてリアルタイムで配信または放送される映像データを受信して再生するネットワーク受信機であって、
   受信した該映像データを一時蓄積するバッファと、
   該バッファから読み出された該映像データをデコードするデコーダと、
   該デコーダでデコードされた該映像データが供給されて映像再生するディスプレイと、
   該バッファや該デコーダを制御する制御部と
   を備え、
   該制御部の制御により、該映像データによる通常速の再生中に該バッファでの該映像データの蓄積データ量を管理し、
   （１）通常速の再生時に前記バッファの蓄積データ量が設定された許容下限閾値よりも少ないアンダーフロー傾向になったときに、短い所定期間前記バッファからの前記映像データの読み出しを停止して、前記ディスプレイでの再生画像をフリーズ状態とする特殊再生を行ない、該所定期間の経過後、該通常速の再生に復帰し、
   （２）通常速の再生時に前記バッファの蓄積データ量が設定された許容上限閾値よりも多いオーバーフロー傾向になったときに、前記特殊再生として、前記バッファでの映像データの読み出しをフレーム単位でスキップし、該スキップの終了とともに、該通常速の再生に復帰させるようにしたネットワーク受信機において、
   前記通常速の再生から前記特殊再生への切り替えを、前記映像データによる映像のシーンの切り替え部分または前記映像データによる映像の無音部分の何れかで実行するように構成したことを特徴とするネットワーク受信機。
7. 請求項６において、
   前記バッファがアンダーフロー傾向となって前記再生画像をフリーズ状態とする前記所定期間は、タイマによって設定することを特徴とするネットワーク受信機。
8. 請求項１〜７のいずれか１つにおいて、
   前記特殊再生を行なう前記所定期間は、ＧＯＰでのＩピクチャの周期以下とすることを特徴とするネットワーク受信機。

Images