JP4025533B2

JP4025533B2 - Stream video reception control method, stream video distribution system, and stream video reception device

Info

Publication number: JP4025533B2
Application number: JP2001341819A
Authority: JP
Inventors: 知志松田; 健太小合; 好江山口
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2001-11-07
Filing date: 2001-11-07
Publication date: 2007-12-19
Anticipated expiration: 2021-11-07
Also published as: JP2003143582A

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオ・オン・デマンド（ＶＯＤ）システムのように、配信装置に蓄積されたディジタル符号化映像データに対し、再生装置からネットワークを介して検索と送信要求を行い、配信装置からストリーム送信されるディジタル符号化映像データを再生装置で順次復号化しながらユーザヘ動画として表示する、ストリーム映像配信システム、およびそのシステムにおける再生装置であるストリーム映像受信装置とその受信制御方法に関するものである。特に、パーソナルコンピュータ等の普及型情報処理装置で近年開発の進んでいるマルチメディア対応デファクト標準ＡＰＩに準拠することで、再生装置を広範な動作環境で共通に動作可能とすることに有効な技術を提供するものである。
【０００２】
【従来の技術】
従来のストリーム映像配信システムにおける再生装置の一般的構成を図３に示す。
【０００３】
従来の再生装置は、例えば特願平９−１６３６３４号などに開示されており、再生制御部が通信制御部、復号・表示制御部を各々個別に制御する集中制御の形態であった。図３を用いて具体的に説明する。
【０００４】
再生制御部６が配信要求制御信号７５で配信装置２に対する処理を通信制御部４に要求し、通信制御部４内の配信要求処理部４０が配信装置２との通信プロトコルに沿って配信要求信号７１を送信する。配信装置２からは映像データ配信信号７２を通じて符号化映像データがストリーム送信され、これを通信制御部４が内部の受信データキュー４２に蓄積する。一方、再生制御部６は、自身で管理する映像の再生進行に従って受信データキュー４２に蓄積された符号化映像データから再生表示する部分を取り出して、映像データ転送信号７６を介して自身の中の表示データバッファ６１へ一時蓄積し、表示制御信号７０とともに映像データ表示信号７７を通じて復号・表示制御部５へ送信する、いわゆるプッシュ型制御を行う。
【０００５】
もし、ユーザが映像の再生位置を任意の位置へ変更する、いわゆるジャンプ操作を行った場合、再生制御部６は、復号・表示制御部５で表示中の映像を停止させ、進行中の処理を取り消して初期化させるとともに、通信制御部４に対しては、配信装置２ヘジャンプを指示する配信要求信号７１の送信と、受信データキュー４２の初期化、所望の符号化映像データを受信するまでの途中データの廃棄などを指示する。所望の符号化映像データを受信すると、復号・表示制御部５に対して表示の停止解除、新規データからの復号・表示処理再開などの表示制御信号７０とともに新たな符号化映像データを送信する。
【０００６】
このように、従来技術では、再生制御部が制御の主体となって、特に復号・表示制御部に対する詳細な制御を行うことにより、ユーザにとってスムーズで自然な映像表示を実現していた。
【０００７】
【発明が解決しようとする課題】
従来技術では、上記の通り復号・表示制御部５に対し詳細な制御の必要がある。復号・表示制御部５は、一般に専門技術を有する第三者が開発・供給するディジタル映像復号器製品を部品として組み込んで構成するが、その詳細な制御のためには、開発者が提供する開発ユーティリティ群、いわゆるＳＤＫ（ソフトウェア開発キット）を利用する必要がある。このようなＳＤＫ等は、開発者が独自に設計・開発し提供しているものであり、標準化あるいは実質業界標準化が図られているものではない。したがって、復号・表示制御部５および再生制御部６は、必然的に特定のディジタル映像復号器製品に特化して設計・開発されることとなり、ある時点で採用したディジタル映像復号器製品の開発者からの供給が終了すれば、再び新たな製品を選択してその製品にあわせて再度設計・開発を行わなければならない。しかるに、ディジタル映像符号器製品は技術進歩の急速な製品分野であるため、一つの製品のライフサイクルが１〜２年程度と短いことも多い。このように、一度開発した再生装置の製品寿命が、採用するディジタル映像復号器の製品ライフサイクルに強く影響されるというのが、従来技術の第一の問題点である。
【０００８】
他方、インターネット等を介する映像・音声配信の活発化に伴い、映像・音声等の種々のメディアに対応する多様なディジタル符号とその復号器を、パーソナルコンピュータ等の普及型情報処理機器で共通的に利用可能とする要求が起き、近年になって、ディジタル映像復号器等の開発者とパーソナルコンピュータ等の開発者間で共通のインタフェース規格が定められている。このような共通規格では、共通性を高めるためにインタフェース上での機能を簡素化し、ディジタル映像復号器に対する詳細な制御機能を厳選してパーソナルコンピュータの共通ソフトウェア内に隠蔽化するという方法がとられている。Ｍｉｃｒｏｓｏｆｔ社のＤｉｒｅｃｔＳｈｏｗや、ＳｕｎＭｉｃｒｏｓｙｓｔｅｍｓ社のＪａｖａＭｅｄｉａＦｒｏｍｅｗｏｒｋなどはその実装例である。これは、言い換えれば、従来技術における復号・表示制御部が、パーソナルコンピュータの共通ソフトウェアとして提供されるようになったということである。このような共通ソフトウェアで特徴的なことは、再生するディジタル符号化データに対し、再生制御部を介さず共通ソフトウェアが自律的に直接アクセスする、いわゆるプル型動作を行うことである。再生制御部６による集中制御と、復号・表示制御部５に対する詳細な制御を前提とする従来技術は、今後の普及拡大が予想される上記の共通インタフェース化へ適合困難である。これが、従来技術の第二の問題点である。
【０００９】
ネットワークを介するストリーミング配信の通信プロトコルに関しては、多数の標準や開発者個別規格が並存して、相互運用性が確立されていない現状にある。このため、上記の共通ソフトウェアでは、共通的な再生対象を符号化データの格納されているデータファイルに限定している。データファイルを前提とするため、共通ソフトウェアはデータファイル内の任意の符号化データに対して、任意の時点でランダムアクセスを行う可能性がある。代表的なものとして、通常の再生時に共通ソフトウェアがデータファイルをアクセスする位置は、符号化データの論理構造とは独立に、共通ソフトウェアが恣意的に指定するバイト位置である可能性がある。また、ユーザが任意に指定する時間位置へ再生位置を移動させる、いわゆるジャンプ操作の場合においては、指定時間位置をデータファイル内のバイト位置へ換算するためにデータファイルの先頭と末尾のデータが参照され、かつ実際にアクセスするバイト位置は、上記の通常再生の場合と同様に共通ソフトウェアが恣意的に決定する位置である可能性がある。
【００１０】
これに対し従来技術では、復号・表示制御部５の詳細な制御のために、再生制御部６は符号化映像データの論理構造を解析し、通信制御部４からの符号化映像データ取り出しや復号・表示制御部５への送信をその論理構造単位で厳密に管理している。例えば、通常再生時には符号化映像データファイルに対するシーケンシャルアクセスであるというストリーミング配信の特性を前提として、現在の再生位置から将来の符号化映像データを厳密な論理構造単位で先読みし受信キューに蓄積する制御を行っている。ジャンプ時にも、ユーザの指定時間位置に該当する符号化映像データの先頭位置を、論理構造に基づいて厳密に判別し、復号・表示制御部へその論理構造単位で送信する制御を行っている。
【００１１】
従来技術にこのような共通ソフトウェアを適用した場合、符号化映像データの論理構造と整合しない任意バイト位置へのアクセスや、ファイル先頭と末尾に対するアクセスが各々ジャンプとして処理されるため、レスポンス性能の低下や同時接続端末数の低下などの性能劣化を発生させる可能性がある。前記の、従来技術の第二の問題点を解決して、今後の普及が予想される共通ソフトウェア対応を図ったとしても、このような性能劣化の可能性があることが従来技術の第三の問題点である。
【００１２】
本発明は、以上の従来技術の問題点を解決し、ディジタル映像復号器製品のライフサイクルに影響されずに技術継承と維持管理が可能で、かつディジタル映像符号化技術進歩を随時取り込んで発展可能な、ストリーム映像受信制御方法、およびストリーム映像配信システム、およびストリーム映像受信装置の実現を図ることを課題とするものである。
【００１３】
【課題を解決するための手段】
前記の課題を解決するために、本発明は、配信装置へ配信要求信号を送信し、配信装置から一定レートで受信する符号化映像データを順次復号化し、映像信号へ変換して表示装置へ送信する、ストリーム再生を行うストリーム映像受信制御方法であって、再生するディジタル符号化データに対し、再生制御部を介さずに自律的に直接配信装置にアクセスする共通ソフトウェアを用いた復号・表示制御部からデータ要求信号を受信した場合には、要求されたデータが先頭データであり、かつ先頭データバッファ手段が空であれば、配信装置に対し先頭データのストリーム送信を要求する配信要求信号を送信し、要求されたデータが先頭データであり、かつ先頭データバッファ手段に存在すれば、先頭データバッファ手段から復号・表示制御部へ送信し、要求されたデータが末尾データであれば、末尾データバッファ手段から復号・表示制御部へ送信し、要求されたデータが先頭データ、末尾データのいずれでもなければ、配信装置からストリーム受信する符号化映像データの一定量を一時的に記憶する受信データキュー内のデータの有無を調べ、受信データキューに存在しなければ、配信装置に対し当該データからのストリーム送信を要求する配信要求信号を送信し、受信データキューに存在すれば、受信データキューから当該データを取り出して復号・表示制御部へ送信するとともに、受信データキューから要求データを取り出すことによって格納データ量がある比率以下となったことを下位リミット検出手段が検出し、かつその時点で配信装置からのストリーム送信が一時中止されていれば、配信装置に対し符号化映像データのストリーム送信を再開する配信要求信号を送信する制御を行い、配信装置からストリーム送信される符号化映像データを受信した場合には、受信したデータが先頭データであれば、先頭データバッファ手段へ格納するとともに、該先頭データと該符号化映像データの全長データから擬似的な末尾データを生成し、生成された擬似的な末尾データを末尾データバッファ手段に格納し、受信したデータが末尾データであれば、末尾データバッファ手段へ格納し、受信したデータが先頭データ、末尾データのいずれでもなければ、受信データキューに格納するとともに、受信データキューに当該データを格納することによって格納データ量がある比率以上になったことを上位リミット検出手段が検出し、かつその時点で配信装置からストリーム送信中であれば、配信装置に対し符号化映像データのストリーム送信を一時中止する配信要求信号を送信する制御を行うことを特徴とするストリーム映像受信制御方法を手段とする。
【００１５】
あるいは、配信装置へ配信要求信号を送信し、配信装置から一定レートで受信する符号化映像データを順次復号化し、映像信号へ変換して表示装置へ送信する、ストリーム再生機能を有するストリーム映像受信装置であって、ユーザの操作に基づき通信制御および復号・表示制御を行う再生制御部と、配信装置に直接アクセスする共通ソフトウェアが用いられ、再生制御部の制御を受け、符号化映像データを映像信号へ変換する復号・表示制御部と、再生制御部の制御を受け、配信装置への配信要求送信および符号化映像データの受信を行う通信制御部とを備え、通信制御部は、復号・表示制御部からのデータ要求信号を受信して処理するデータ要求処理手段と、配信装置に蓄積されている符号化映像データファイルの先頭データを記憶する先頭データバッファ手段と、末尾データを記憶する末尾データバッファ手段と、配信装置からストリーム受信する符号化映像データの一定量を一時的に記憶する受信データキューと、受信データキューの格納データ量がある比率以上になることを検出する上位リミット検出手段と、受信データキューの格納データ量がある比率以下となることを検出する下位リミット検出手段とを備え、データ要求処理手段は、復号・表示制御部からデータ要求信号を受信した場合には、要求されたデータが先頭データであり、かつ先頭データバッファ手段が空であれば、配信装置に対し先頭データのストリーム送信を要求する配信要求信号を送信し、要求されたデータが先頭データであり、かつ先頭データバッファ手段に存在すれば、先頭データバッファ手段から復号・表示制御部へ送信し、要求されたデータが末尾データであれば、末尾データバッファ手段から復号・表示制御部へ送信し、要求されたデータが先頭データ、末尾データのいずれでもなければ、受信データキュー内の有無を調べ、受信データキューに存在しなければ、配信装置に対し当該データからのストリーム送信を要求する配信要求信号を送信し、受信データキューに存在すれば、受信データキューから当該データを取り出して復号・表示制御部へ送信するとともに、受信データキューから要求データを取り出すことによって格納データ量がある比率以下になったことを下位リミット検出手段が検知し、かつその時点で配信装置からのストリーム送信が一時中止されていれば、配信装置に対し符号化映像データのストリーム送信を再開する配信要求信号を送信する制御を行い、配信装置からストリーム送信される符号化映像データを受信した場合には、受信したデータが先頭データであれば、先頭データバッファ手段へ格納し、受信したデータが末尾データであれば、末尾データバッファ手段へ格納するとともに、擬似末尾データ生成手段で生成された擬似的な末尾データを末尾データバッファ手段に格納し、受信したデータが先頭データ、末尾データのいずれでもなければ、受信データキューに格納するとともに、受信データキューに当該データを格納することによって格納データ量がある比率以上になったことを上位リミット検出手段が検出し、かつその時点で配信装置からストリーム送信中であれば、配信装置に対し符号化映像データのストリーム送信を一時中止する配信要求信号を送信する制御を行ない、擬似末尾データ生成手段は、データ要求処理手段が配信装置からストリーム送信される符号化映像データを受信し、受信したデータが先頭データであった場合に、該先頭データと該符号化映像データの全長データから擬似的な末尾データを生成するものであることを特徴とするストリーム映像受信装置を手段とする。
【００１７】
あるいは、符号化映像データを蓄積し配信要求に基づいてネットワークを通じ一定の通信レートでストリーム送信する、ストリーム送信機能を有する配信装置と、配信装置に対しネットワークを通じ配信要求とストリーム送信された符号化映像データの受信、復号、及び表示を行う上記のストリーム映像受信装置とを有し、上記配信装置と上記ストリーム映像受信装置とがネットワークで接続されていることを特徴とするストリーム映像配信システムを手段とする。
【００１８】
本発明では、復号・表示制御部として前記の共通ソフトウェアを適用することで、技術進歩が激しく、ライフサイクルの短いディジタル映像復号器製品の変遷に柔軟に対応しながら技術継承を図ることを可能とする。
【００１９】
また、パーソナルコンピュータのデファクト標準であるが本来ネットワーク通信に対応していない共通ソフトウェア規格に準拠しながら、ネットワークを介するストリーム通信の受信を可能とすることで、特にハードウェア環境を限定することなく広範なパーソナルコンピュータでストリーム配信映像の受信を可能とする。
【００２０】
さらに、特定の符号化映像データの論理構造に依存しない方式とすることで、任意の符号化方式による符号化映像データのストリーム配信を受信可能とすることで、不特定の複数の映像符号化方式に対応するＶＯＤシステムを構成可能とし、従来のＶＯＤシステム等が独自の符号化映像データ形式でしかストリーム配信できなかった制約を取り除くことを可能とする。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００２２】
本発明では、前記の第一の問題点については、復号・表示制御部として前記の共通ソフトウェアを適用することで解決を図る。この場合のシステムおよび再生装置（ストリーム映像受信装置）の構成図を、図１および図２に示す。図１は本発明の第１の実施形態例を示し、図２は本発明の第２の実施形態例を示す。
【００２３】
図１、図２において、１は再生装置、２は配信装置、３は表示装置、４は通信制御部、４０は配信要求処理手段、４１はデータ要求処理手段、４２は受信データキュー、４３は先頭データバッファ手段、４４は末尾データバッファ手段、４５は上位リミット検出手段、４６は下位リミット検出手段、４７は擬似末尾データ生成手段、５は復号・表示制御部、６は再生制御部、７０は表示制御信号、７１は配信要求信号、７２は映像データ配信信号、７３はデータ要求信号、７４はデータ応答信号、７８は映像信号である。
【００２４】
前記の第二の問題点については、図１および図２に示す通り、通信制御部４ヘデータ要求処理手段４１、上位リミット検出手段４５、下位リミット検出手段４６を設けることで解決を図る。
【００２５】
データ要求処理手段４１は、復号・表示制御部５から直接に通信制御部４へ送信されるデータ要求信号７３を受信して、受信データキュー４２内に既に格納されているデータで応答するか、あるいは受信データキュー４２内に要求されたデータが存在しない場合には、配信要求信号７１を配信装置２へ送信して必要なデータを受信してから応答するかのいずれかの制御を行う。上位リミット検出手段４５は、配信装置２から受信して受信データキュー４２に蓄積されるデータ量が、受信データキュー４２の容量に対するある一定量以上となったことを検出し、データ要求処理手段４１へ通知するものである。下位リミット検出手段４６は、配信装置２から受信して受信データキュー４２へ蓄積されるデータ量が、受信データキュー４２の容量に対するある一定量以下となってことを検出し、データ要求処理手段４１へ通知するものである。
【００２６】
前記の第三の問題点については、図１に示す通り、先頭データバッファ手段４３、末尾データバッファ手段４４、および図２に示す通り、擬似末尾データ生成手段４７を設けることによって解決を図る。
【００２７】
先頭データバッファ手段４３は、配信装置２に格納されている符号化映像データの先頭部分を格納し、その符号化映像データの再生中にわたって保持するものである。末尾データバッファ手段４４は、配信装置２に格納されている符号化映像データの末尾部分、または擬似末尾データ生成手段４７によって上記先頭データから生成される擬似末尾データを格納し、その符号化映像データの再生中にわたって保持するものである。
【００２８】
配信装置２内の符号化映像データが再生開始時点で蓄積完了したものであれば、その末尾データは配信装置２から配信を要求することができる。本発明の第１の実施形態例は、このような再生する符号化映像データが配信装置２で蓄積完了している場合のみを対象としたものである。これに対し、再生する符号化映像データが再生開始時点に配信装置２で蓄積中である場合には、その末尾データは配信装置２に存在しないため配信を要求することができない。本発明の第２の実施形態例は、このような場合に、末尾データを配信装置２から配信を受けることなく擬似的に再生装置１で生成することによって、再生開始時点に配信装置２で蓄積中の符号化映像データも再生装置１で再生可能とするものである。
【００２９】
擬似末尾データ生成手段４７は、本発明と独立の別の手段によって配信装置２または他の装置から取得する当該符号化映像データの全長の情報をもとに、上記先頭データを変換して当該符号化映像データの末尾部分を擬似的に生成する処理を行うものである。生成された擬似的な末尾データは、末尾データバッファ手段４４に格納される。復号・表示制御部５が符号化映像データの先頭部分、および末尾部分のデータを必要とするのは、前記の時間によるジャンプ位置指定を符号化映像データファイル中のバイト位置等の任意の単位での位置情報へ換算するために、映像表示の時間進行や、映像と音声の同期等を制御するために符号化映像データ中に設定されている時刻情報を参照するからである。したがって、擬似末尾データは、符号化映像データの規格に準拠して末尾部分に相当する時刻情報を算出して設定するという容易な論理で生成可能であり、その実現方法は自明である。
【００３０】
図１の本発明の第１の実施形態例は、データ要求処理手段４１、上位リミット検出手段４５、下位リミット検出手段４６、先頭データバッファ手段４３、末尾データバッファ手段４４で構成する。図２の本発明の第２の実施形態例は、さらに擬似末尾データ生成手段４７を加えて構成する。
【００３１】
まず、本発明の第１の実施形態例の作用を図１を用いて具体的に説明する。
【００３２】
再生開始時には、再生制御部６が表示制御信号７０で復号・表示制御部５に対し、配信装置２に蓄積されている符号化映像データの再生表示を要求し、復号・表示制御部５は処理に必要な当該符号化映像データ内の先頭の位置を指定してデータ要求信号７３を通信制御部４へ送信する。通信制御部４内のデータ要求処理手段４１は、復号・表示制御部５から受信したデータ要求信号７３に基づき、配信装置２との通信プロトコルに沿って配信要求信号７１を生成して送信する。配信装置２から映像データ配信信号７２を通じてストリーム送信された映像データは、通信制御部４内のデータ要求処理手段４１がデータ応答信号７４を介して復号・表示制御部５へ送信するとともに、先頭データバッファ手段４３へ格納する。復号・表示制御部５は続いて当該符号化映像データ内の末尾位置を指定してデータ要求信号７３を通信制御部４へ送信する。通信制御部４内のデータ要求処理手段４１は前記と同様に配信装置２から末尾の映像データを受信し、復号・表示制御部５へ送信するとともに、末尾データバッファ手段４４へ格納する。最後にデータ要求処理手段４１は、先頭のデータ以後の映像データをストリーム配信する要求を配信要求信号７１を介して配信装置２へ送信する。
【００３３】
これ以後、通常再生時には、復号・表示制御部５は、自身で管理する映像の再生進行に従って必要な映像データを要求するデータ要求信号７３を通信制御部４へ送信し、その応答として通信制御部４から対応する映像データをデータ応答信号７４を介して受信して復号・表示を行う、いわゆるプル型制御を行う。これに対して通信制御部４内のデータ要求処理手段４１は、データ要求信号７３で要求された映像データが先頭データバッファ手段４３、末尾データバッファ手段４４、受信データキュー４２のいずれかに存在すれば、そこから読み出してデータ応答信号７４を介して応答し、さもなければ、復号・表示制御部５への応答を保留して配信装置２から該当する映像データの受信を待機する。データ要求処理手段４１は、配信装置２からストリーム配信される映像データを受信データキュー４２へ順次蓄積し、復号・表示制御部５へ送信した映像データを順次削除する。受信データキュー４２への映像データ蓄積が進み、上位リミット検出手段４５が一定量以上の映像データ蓄積を検出した場合は、データ要求処理手段４１は配信要求信号７１を介して配信の一次停止を配信装置２へ要求する。復号・表示制御部５からのデータ要求への応答として、映像データを受信データキュー４２から読み出して送信する結果として、受信データキュー４２の蓄積データ量が減少し下位リミット検出手段４６が映像データ蓄積量が一定量以下となったことを検出した場合は、データ要求処理手段４１は配信要求信号７１を介して配信の再開を配信装置２へ要求する。
【００３４】
通常再生中にユーザが映像の再生位置を任意の位置へ変更する、いわゆるジャンプ操作等の再生制御を行った場合（再生制御時）、再生制御部６は、復号・表示制御部５に対し新しい再生位置からの再生開始を表示制御信号７０を通じて指示する。復号・表示制御部５は、表示中の映像再生を停止させ、通信制御部４に対して、必要に応じて先頭の映像データ、末尾の映像データ、またはその両方をデータ要求信号７３を介して要求し、次に新しい再生位置に相当する映像データをデータ要求信号７３で要求する。通信制御部４内のデータ要求処理手段４１は、先頭の映像データ要求に対しては先頭データバッファ手段４３から、末尾の映像データ要求に対しては末尾データバッファ手段４４から読み出して復号・表示制御部５へ応答する。新たな再生位置の映像データ要求に対しては、受信データキュー４２に存在すれば、そこから読み出してデータ応答信号７４を介して応答し、さもなければ、該当する映像データからのストリーミング配信を要求する配信要求信号７１を配信装置２へ送信し、映像データ配信信号７２を介して配信装置２から受信する映像データを、データ応答信号７４を介して復号・表示制御部５へ送信するとともに、受信データキュー４２へ蓄積する。以後は、通常再生時の処理に復帰する。
【００３５】
次に、本発明の第２の実施形態例の作用を図２を用いて具体的に説明する。
【００３６】
第１の実施形態例の発明との相違点は、上記の第１の実施形態例の発明の作用に関する説明において、再生開始時に先頭の映像データを先頭データバッファ手段４３へ格納してから以後の処理である。第２の実施形態例による作用は以下の通りである。データ要求処理手段４１は、当該先頭データを先頭データバッファ手段４３から読み出し、擬似末尾データ生成手段４７によって擬似末尾データを作成させ、末尾データバッファ手段４４へ格納する。最後にデータ要求処理手段４１は、先頭のデータ以後の映像データをストリーム配信する要求を配信要求信号７１を介して配信装置２へ送信する。なお、通常再生時、再生制御時の作用は、上記の第１の実施形態例の発明の作用と同様である。
【００３７】
次に、図４から図６の処理フローを用いて上記の本発明の実施形態例により実現される制御方法の処理手順を説明する。なお、本実施形態例は、上記の第１の実施形態例による処理手順に加えて第２の実施形態例の処理手順についても一緒に説明する。第１の実施形態例による処理手順のみについては、上記の相違点により容易に推測可能である。
【００３８】
図１において、ユーザが再生制御部６を操作して再生開始を指示すると、再生開始を指示する表示制御信号７０が復号・表示制御部５へ送信されて復号・表示制御部５が動作を開始する。復号・表示制御部５は動作を開始すると、通信制御部４へ再生開始を指示するデータ要求信号７３を送信する。通信制御部４が受信したデータ要求信号７３は、データ要求処理手段４１で以下のステップで処理される。
【００３９】
図４は再生開始処理時のデータ要求処理手段４１の制御動作を示すフローチャートである。本図に従い、再生開始時にデータ要求処理手段４１が行う制御を以下に示す。
【００４０】
（１）再生開始の動作例
〔１０１〕復号・表示制御部５から再生開始指示のデータ要求信号７３の受信を待機する。
〔１０２〕配信装置２へ配信開始を指示する配信要求信号７１を送信する。
〔１０３〕復号・表示制御部５から先頭データ送信指示のデータ要求信号７３の受信を待機する。
〔１０４〕配信装置２へ先頭データ送信を指示する配信要求信号７１を送信する。
〔１０５〕配信装置２から先頭データの映像データ配信信号７２の受信を待機する。
〔１０６〕配信装置２からの受信データを先頭データバッファ手段４３へ格納する。
〔１０７〕先頭データバッファ手段４３から復号・表示制御部５へ先頭データのデータ応答信号７４を送信する。
〔１０８〕先頭データバッファ手段４３から擬似末尾データ生成手段４７へ先頭データを送信して、生成された擬似末尾データを末尾データバッファ手段４４へ格納する。
〔１０９〕復号・表示制御部５から末尾データ送信指示のデータ要求信号７３の受信を待機する。
〔１１０〕末尾データバッファ手段４４から復号・表示制御部５へ擬似末尾データのデータ応答信号７４を送信する。
〔１１１〕配信装置２へ先頭以後の後続データのストリーム送信を指示する配信要求信号７１を送信する。
【００４１】
再生開始の後は後続の映像データが順次ユーザヘ表示される通常再生となる。通常再生時においては、図１において配信装置２から通信制御部４へ映像データが順次ストリーミング送信され、受信データキュー４２へ格納される。これと並行して、復号・表示制御部５は、通信制御部４へ必要な映像データをデータ要求信号７３で要求し、データ応答信号７４で受信したデータを復号して映像信号７８として表示装置３へ送信する。表示装置３は映像信号７８で受信する信号をユーザヘ映像表示する。
【００４２】
図５は通常再生時のデー夕要求処理手段４１の制御動作を示すフローチャートである。本図に沿って、通常再生時のデータ要求処理手段４１の動作例を以下に示す。
【００４３】
（２）通常再生の動作例
〔２０１〕配信装置２から映像データ配信信号７２の受信有無を調べる。データ受信が無い場合、〔２０７〕へ行く。
〔２０２〕受信したデータを格納する余地の受信データキュー４２における有無を判断する。格納余地が無い場合には、〔２０６〕へ行く。
〔２０３〕受信したデータを受信データキュー４２へ格納する。
〔２０４〕応答を保留している復号・表示制御部５からのデータ要求信号７３の有無を調べる。保留しているデータ要求信号７３が無ければ〔２０１〕へ行く。
〔２０５〕応答を保留している復号・表示制御部５からのデータ要求信号７３に対応する映像データの、受信データキュー４２内有無を調べる。受信データキュー４２内に要求された映像データが無ければ〔２０１〕へ行く。受信データキュー４２内に要求された映像データが有れば〔２１１〕へ行く。
〔２０６〕配信装置２に対し配信一時停止を要求する配信要求信号７１を送信する。
〔２０７〕復号・表示制御部５からのデータ要求信号７３の受信有無を調べる。信号受信が無い場合、〔２０１〕へ行く。
〔２０８〕復号・表示制御部５から受信したデータ要求信号７３が再生制御指示がどうか調べる。再生制御指示であれば、再生制御の処理へ行く。
〔２０９〕受信データキュー４２が空であるかどうか調べる。空であれば〔２１２〕へ行＜。
〔２１０〕復号・表示制御部５からのデータ要求信号７３で要求されたデータの受信データキュー４２内における有無を調べる。受信データキュー４２内に無ければ〔２１４〕へ行く。
〔２１１〕復号・表示制御部５からのデータ要求信号７３で要求されたデータを受信データキュー４２から読み出し、データ応答信号７４として復号・表示制御部５へ送信する。その後、〔２０１〕へ行く。
〔２１２〕配信装置２からの配信一時停止となっているかどうかを調べる。配信一時停止となっていないなら〔２１４〕へ行く。
〔２１３〕配信装置２に対し配信再開を要求する配信要求信号７１を送信する。その後、〔２０１〕へ行く。
〔２１４〕復号・表示制御部５から受信したデータ要求信号７３の応答を保留する。その後、〔２０１〕へ行く。
【００４４】
再生制御は、図１においてユーザが再生制御部６にジャンプ等の要求を行うことにより、表示制御信号７０によって復号・表示制御部５にその要求が送信され、復号・表示制御部５が再生制御を要求するデータ要求信号７３を通信制御部４へ送信することで開始される制御である。
【００４５】
図６は、再生制御時のデータ要求処理手段４１の制御動作を示すフローチャートである。本図に従って、再生制御時のデータ要求処理手段４１の動作例を以下に示す。
【００４６】
（３）再生制御の動作例
〔３０１〕復号・表示制御部５からデータ要求信号７３で要求されたデータは先頭データかどうか調べる。要求されたデータが先頭データで無い場合、〔３０３〕へ行く。
〔３０２〕先頭データバッファ手段４３からデータを読み出し、データ応答信号７４で復号・表示制御部５へ送信する。その後、通常再生へ行く。
〔３０３〕復号・表示制御部５からデータ要求信号７３で要求されたデータは末尾データかどうか調べる。要求されたデータが末尾データで無い場合、〔３０５〕へ行く。
〔３０４〕末尾データバッファ手段４４からデータを読み出し、データ応答信号７４で復号・表示制御部５へ送信する。その後、通常再生へ行く。
〔３０５〕復号・表示制御部５からデータ要求信号７３で要求されたデータの受信データキュー４２内有無を調べる。要求されたデータが受信データキュー４２内に無い場合、〔３０７〕へ行く。
〔３０６〕受信データキュー４２からデータを読み出し、データ応答信号７４で複号・表示制御部５へ送信する。通常再生へ行く。
〔３０７〕復号・表示制御部５からデータ要求信号７３で要求されたデータの配信を要求する配信要求信号７１を、配信装置２へ送信する。
〔３０８〕配信装置２からの映像データ配信信号７２の受信を待機する。
〔３０９〕配信装置２から受信した映像データ配信信号７２が、配信を要求したデータであるかどうか調べる。配信を要求したデータでなければ、〔３０８〕へ行く。配信を要求したデータであれば、通常再生へ行く。
【００４７】
【発明の効果】
以上で述べた通り、本発明によれば技術進歩が激しく、ライフサイクルの短いディジタル映像復号器製品の変遷に柔軟に対応しながら技術継承を図ることが可能である。
【００４８】
また、パーソナルコンピュータのデファクト標準であるが、本来ネットワーク通信に対応していない共通ソフトウェア規格に準拠しながら、ネットワークを介するストリーム通信の受信が可能となるため、特にハードウェア環境を限定することなく、広範なパーソナルコンピュータでストリーム配信映像の受信が可能となる。
【００４９】
本発明でさらに得られる効果としては、特定の符号化映像データの論理構造に依存しない方式となっているため、任意の符号化方式による符号化映像データのストリーム配信を受信可能であり、不特定の複数の映像符号化方式に対応するＶＯＤシステムを構成可能となることである。すなわち、従来のＶＯＤシステム等が独自の符号化映像データ形式でしかストリーム配信できなかった制約を取り除くことが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態例によるストリーム映像配信システムの構成図である。
【図２】本発明の第２の実施形態例によるストリーム映像配信システムの構成図である。
【図３】従来技術によるストリーム映像配信システムの構成図である。
【図４】本発明の実施形態例における再生開始時のデータ要求処理手段の処理フロー図である。
【図５】本発明の実施形態例における通常再生時のデータ要求処理手段の処理フロー図である。
【図６】本発明の実施形態例における再生制御時のデータ要求処理手段の処理フロー図である。
【符号の説明】
１…再生装置（ストリーム映像受信装置）
２…配信装置
３…表示装置
４…通信制御部
４０…配信要求処理手段
４１…データ要求処理手段
４２…受信データキュー
４３…先頭データバッファ手段
４４…末尾データバッファ手段
４５…上位リミット検出手段
４６…下位リミット検出手段
４７…擬似末尾データ生成手段
５…復号・表示制御部
６…再生制御部
６１…表示データバッファ
７０…表示制御信号
７１…配信要求信号
７２…映像データ配信信号
７３…データ要求信号
７４…データ応答信号
７５…配信要求制御信号
７６…映像データ転送信号
７７…映像データ表示信号
７８…映像信号
１０１〜１１１…データ要求処理手段の再生開始時の処理手順
２０１〜２１４…データ要求処理手段の通常再生時の処理手順
３０１〜３０９…データ要求処理手段の再生制御時の処理手順[0001]
BACKGROUND OF THE INVENTION
In the present invention, as in a video-on-demand (VOD) system, a search and transmission request is performed from a playback device via a network to a digitally encoded video data stored in a distribution device, and a stream is transmitted from the distribution device. The present invention relates to a stream video distribution system for displaying digital encoded video data as a moving image while sequentially decoding the encoded digital video data with a playback device, a stream video receiving device that is a playback device in the system, and a reception control method thereof. In particular, a technology effective for enabling a playback device to operate in a wide range of operating environments by conforming to the multimedia de facto standard API developed in recent years in popular information processing devices such as personal computers. It is to provide.
[0002]
[Prior art]
FIG. 3 shows a general configuration of a playback device in a conventional stream video distribution system.
[0003]
A conventional playback device is disclosed in, for example, Japanese Patent Application No. 9-163634, and is in the form of centralized control in which a playback control unit individually controls a communication control unit and a decoding / display control unit. This will be specifically described with reference to FIG.
[0004]
The reproduction control unit 6 requests the communication control unit 4 to process the distribution device 2 with the distribution request control signal 75, and the distribution request processing unit 40 in the communication control unit 4 distributes the distribution request signal according to the communication protocol with the distribution device 2. 71 is transmitted. Encoded video data is stream-transmitted from the distribution device 2 through the video data distribution signal 72, and the communication control unit 4 accumulates this in the internal reception data queue 42. On the other hand, the reproduction control unit 6 takes out a portion to be reproduced and displayed from the encoded video data stored in the reception data queue 42 in accordance with the reproduction progress of the video managed by itself, and uses the video data transfer signal 76 to retrieve A so-called push-type control is performed in which the data is temporarily stored in the display data buffer 61 and transmitted to the decoding / display control unit 5 through the video data display signal 77 together with the display control signal 70.
[0005]
If the user performs a so-called jump operation to change the playback position of the video to an arbitrary position, the playback control unit 6 stops the video being displayed by the decoding / display control unit 5 and performs the process in progress. In addition to canceling and initializing, the communication control unit 4 transmits a distribution request signal 71 instructing the jump to the distribution apparatus 2, initialization of the reception data queue 42, and reception of desired encoded video data. Instruct to discard the data on the way. When the desired encoded video data is received, new encoded video data is transmitted to the decoding / display control unit 5 together with a display control signal 70 for canceling the display stop and restarting decoding / display processing from new data.
[0006]
As described above, in the prior art, the playback control unit is the main control, and in particular, detailed control of the decoding / display control unit is performed, thereby realizing a smooth and natural video display for the user.
[0007]
[Problems to be solved by the invention]
In the prior art, it is necessary to control the decoding / display control unit 5 in detail as described above. The decoding / display control unit 5 is generally configured by incorporating a digital video decoder product developed and supplied by a third party having specialized technology as a component. For detailed control, the decoding / display control unit 5 is provided by a developer. It is necessary to use a utility group, so-called SDK (software development kit). Such SDK and the like are designed, developed, and provided by developers independently, and are not standardized or actual industry standardized. Accordingly, the decoding / display control unit 5 and the reproduction control unit 6 are inevitably designed and developed specifically for a specific digital video decoder product, and the developer of the digital video decoder product adopted at a certain point in time. When the supply from is completed, a new product must be selected again and designed and developed again according to the product. However, since the digital video encoder product is a product field in which technological progress is rapid, the life cycle of one product is often as short as about 1 to 2 years. As described above, the first problem of the prior art is that the product life of the reproduction apparatus once developed is strongly influenced by the product life cycle of the adopted digital video decoder.
[0008]
On the other hand, with the increase of video / audio distribution over the Internet, etc., various digital codes and decoders corresponding to various media such as video / audio are commonly used in popular information processing equipment such as personal computers. In recent years, a common interface standard has been established between developers such as digital video decoders and developers such as personal computers. In such a common standard, in order to increase commonality, the function on the interface is simplified, and the detailed control function for the digital video decoder is carefully selected and concealed in the common software of the personal computer. ing. Microsoft's DirectShow, Sun Microsystems' Java Media Framework, etc. are examples of such implementations. In other words, the decoding / display control unit in the prior art has been provided as common software for personal computers. What is characteristic of such common software is that a so-called pull-type operation is performed in which the common software autonomously directly accesses the digital encoded data to be reproduced without going through the reproduction control unit. The conventional technology based on the centralized control by the reproduction control unit 6 and the detailed control on the decoding / display control unit 5 is difficult to adapt to the above-described common interface which is expected to spread widely in the future. This is the second problem of the prior art.
[0009]
As for the communication protocol for streaming delivery via the network, there are many standards and individual developer standards, and interoperability has not been established. For this reason, in the common software, the common reproduction target is limited to the data file in which the encoded data is stored. Since the data file is assumed, the common software may randomly access arbitrary encoded data in the data file at an arbitrary time. As a typical example, the position at which the common software accesses the data file during normal reproduction may be a byte position arbitrarily designated by the common software independently of the logical structure of the encoded data. In the case of a so-called jump operation in which the playback position is moved to a time position that is arbitrarily specified by the user, the data at the beginning and end of the data file are referred to in order to convert the specified time position into a byte position in the data file. The byte position to be actually accessed may be a position arbitrarily determined by the common software as in the case of the normal reproduction described above.
[0010]
On the other hand, in the prior art, for detailed control of the decoding / display control unit 5, the reproduction control unit 6 analyzes the logical structure of the encoded video data, and extracts and decodes the encoded video data from the communication control unit 4. The transmission to the display control unit 5 is strictly managed in units of the logical structure. For example, on the premise of the streaming distribution characteristic of sequential access to the encoded video data file during normal playback, control to pre-read future encoded video data from the current playback position in a strict logical structure unit and store it in the reception queue It is carried out. Even at the time of jump, control is performed such that the head position of the encoded video data corresponding to the position specified by the user is strictly determined based on the logical structure and transmitted to the decoding / display control unit in the logical structure unit.
[0011]
When such common software is applied to the prior art, access to an arbitrary byte position that does not match the logical structure of the encoded video data and access to the beginning and end of the file are processed as jumps, resulting in degraded response performance. And performance degradation such as a decrease in the number of simultaneously connected terminals may occur. Even if the second problem of the prior art is solved and compatibility with common software, which is expected to become popular in the future, is attempted, there is a possibility that such a performance degradation may occur. It is a problem.
[0012]
The present invention solves the above-mentioned problems of the prior art, enables technology succession and maintenance management without being affected by the life cycle of digital video decoder products, and can be developed by incorporating digital video coding technology advances as needed. It is another object of the present invention to realize a stream video reception control method, a stream video distribution system, and a stream video reception device.
[0013]
[Means for Solving the Problems]
In order to solve the above-mentioned problems, the present invention transmits a distribution request signal to a distribution apparatus, sequentially decodes encoded video data received from the distribution apparatus at a constant rate, converts it into a video signal, and transmits it to the display apparatus Do , Su A stream video reception control method for performing stream reproduction, wherein data from a decoding / display control unit using common software that autonomously directly accesses a distribution device without going through the reproduction control unit for digitally encoded data to be reproduced. When the request signal is received, if the requested data is the head data and the head data buffer means is empty, a delivery request signal for requesting the stream transmission of the head data is transmitted to the delivery device, and the request is made. If the requested data is the head data and exists in the head data buffer means, it is transmitted from the head data buffer means to the decoding / display control unit, and if the requested data is the tail data, it is decoded from the tail data buffer means.・ Send to the display controller, and if the requested data is neither the head data nor the tail data, Distribution that requests a stream transmission from the data to the distribution device if the presence or absence of data in the reception data queue that temporarily stores a certain amount of encoded video data to be received is checked. If a request signal is transmitted and exists in the reception data queue, the data is extracted from the reception data queue and transmitted to the decoding / display control unit. If the lower limit detection means detects that the stream has been detected, and the stream transmission from the distribution device has been suspended at that time, a distribution request signal for restarting the stream transmission of the encoded video data is transmitted to the distribution device. If encoded video data streamed from the distribution device is received, receive If the data is first data, stored in the first data buffer means And generating pseudo tail data from the head data and the full length data of the encoded video data, and storing the generated pseudo tail data in the tail data buffer means. If the received data is tail data, it is stored in the tail data buffer means. If the received data is neither head data nor tail data, it is stored in the reception data queue and the data is stored in the reception data queue. If the upper limit detection means detects that the amount of stored data has exceeded a certain ratio and stream transmission is being performed from the distribution device at that time, the stream transmission of the encoded video data to the distribution device is temporarily performed. The stream video reception control method is characterized in that it performs control to transmit a distribution request signal to be canceled.
[0015]
Alternatively, a distribution request signal is transmitted to the distribution apparatus, encoded video data received from the distribution apparatus at a constant rate is sequentially decoded, converted into a video signal, and transmitted to the display apparatus. , Su A stream video receiving device having a stream playback function, which uses a playback control unit that performs communication control and decoding / display control based on a user's operation, and common software that directly accesses the distribution device, and is controlled by the playback control unit. A decoding / display control unit that converts the encoded video data into a video signal, and a communication control unit that receives the control of the reproduction control unit and transmits a distribution request to the distribution device and receives the encoded video data. The control unit includes a data request processing unit that receives and processes a data request signal from the decoding / display control unit, a head data buffer unit that stores head data of an encoded video data file stored in the distribution device, A tail data buffer means for storing tail data and a receiving unit for temporarily storing a certain amount of encoded video data received as a stream from the distribution device. A data queue, upper limit detection means for detecting that the amount of data stored in the reception data queue is equal to or greater than a certain ratio, and lower limit detection means for detecting that the amount of data stored in the reception data queue is equal to or less than the certain ratio. The data request processing means, when receiving the data request signal from the decoding / display control section, if the requested data is the head data and the head data buffer means is empty, A distribution request signal for requesting data stream transmission is transmitted, and if the requested data is the first data and exists in the first data buffer means, the first data buffer means transmits it to the decoding / display control unit, and is requested. If the received data is the end data, it is transmitted from the end data buffer means to the decoding / display control unit, and the requested data is sent to the start data. If there is neither data nor tail data, the presence or absence in the reception data queue is checked, and if it does not exist in the reception data queue, a distribution request signal for requesting a stream transmission from the data is transmitted to the distribution device, and the received data If it exists in the queue, the data is extracted from the received data queue and transmitted to the decoding / display control unit, and the request data is extracted from the received data queue to detect that the stored data amount has fallen below a certain ratio. If the means detects and stream transmission from the distribution device is suspended at that time, the distribution device is controlled to transmit a distribution request signal for resuming stream transmission of the encoded video data. When the encoded video data to be streamed is received, if the received data is the top data , Store in the head data buffer means, and if the received data is tail data, store it in the tail data buffer means And storing the pseudo tail data generated by the pseudo tail data generating means in the tail data buffer means, If the received data is neither the head data nor the end data, it is stored in the reception data queue, and when the data is stored in the reception data queue, the upper limit detection means that the stored data amount exceeds a certain ratio Is detected and stream transmission from the distribution device is in progress at that time, control is performed to transmit a distribution request signal for temporarily stopping transmission of the encoded video data stream to the distribution device. The pseudo tail data generating means receives the encoded video data stream-transmitted from the distribution apparatus by the data request processing means, and when the received data is the leading data, the leading data and the encoded video data Generate pseudo tail data from full length data The stream video receiving apparatus is characterized by being a device.
[0017]
Alternatively, the encoded video data is stored and streamed at a constant communication rate over the network based on the distribution request. , Su A distribution apparatus having a stream transmission function; and the stream video reception apparatus that receives, decodes, and displays encoded video data that is streamed and transmitted to the distribution apparatus through a network, and the distribution apparatus; The stream video distribution system is characterized in that the stream video receiving device is connected to the network via a network.
[0018]
In the present invention, by applying the common software as the decoding / display control unit, it is possible to succeed the technology while flexibly adapting to the transition of digital video decoder products with a short life cycle due to the great technological progress. To do.
[0019]
In addition, it is capable of receiving stream communications over a network while complying with a common software standard that is a de facto standard for personal computers but is not inherently compatible with network communications. Stream distribution video can be received by a personal computer.
[0020]
Furthermore, by adopting a method that does not depend on the logical structure of specific encoded video data, it is possible to receive stream distribution of encoded video data by an arbitrary encoding method, so that a plurality of unspecified video encoding methods It is possible to configure a VOD system corresponding to the above, and it is possible to remove the restriction that a conventional VOD system or the like can only stream-distribute in a unique encoded video data format.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0022]
In the present invention, the first problem is solved by applying the common software as a decoding / display control unit. Configuration diagrams of the system and the playback device (stream video receiving device) in this case are shown in FIGS. FIG. 1 shows a first embodiment of the present invention, and FIG. 2 shows a second embodiment of the present invention.
[0023]
1 and 2, 1 is a playback device, 2 is a distribution device, 3 is a display device, 4 is a communication control unit, 40 is a distribution request processing unit, 41 is a data request processing unit, 42 is a reception data queue, and 43 is First data buffer means, 44 is tail data buffer means, 45 is upper limit detection means, 46 is lower limit detection means, 47 is pseudo tail data generation means, 5 is decoding / display control section, 6 is playback control section, 70 is A display control signal, 71 is a distribution request signal, 72 is a video data distribution signal, 73 is a data request signal, 74 is a data response signal, and 78 is a video signal.
[0024]
The second problem is solved by providing the communication control unit 4 with data request processing means 41, upper limit detection means 45, and lower limit detection means 46 as shown in FIGS.
[0025]
The data request processing means 41 receives the data request signal 73 transmitted directly from the decoding / display control unit 5 to the communication control unit 4 and responds with data already stored in the reception data queue 42, or Alternatively, if the requested data does not exist in the reception data queue 42, one of the control is performed to transmit the distribution request signal 71 to the distribution apparatus 2 and receive the necessary data before responding. The upper limit detection unit 45 detects that the amount of data received from the distribution apparatus 2 and accumulated in the reception data queue 42 is equal to or larger than a certain amount with respect to the capacity of the reception data queue 42, and the data request processing unit 41 To notify. The lower limit detection means 46 detects that the amount of data received from the distribution device 2 and accumulated in the reception data queue 42 is less than a certain amount with respect to the capacity of the reception data queue 42, and the data request processing means 41 To notify.
[0026]
The third problem is solved by providing the head data buffer means 43, the tail data buffer means 44, and the pseudo tail data generating means 47 as shown in FIG. 2, as shown in FIG.
[0027]
The head data buffer means 43 stores the head portion of the encoded video data stored in the distribution apparatus 2 and holds it during the reproduction of the encoded video data. The tail data buffer means 44 stores the tail part of the encoded video data stored in the distribution apparatus 2 or the pseudo tail data generated from the head data by the pseudo tail data generation means 47, and the encoded video data. It is to be held throughout the playback.
[0028]
If the encoded video data in the distribution device 2 has been accumulated at the start of reproduction, the tail data can be requested to be distributed from the distribution device 2. The first embodiment of the present invention is intended only for the case where such encoded video data to be reproduced has been accumulated in the distribution device 2. On the other hand, when the encoded video data to be reproduced is being stored in the distribution apparatus 2 at the time of reproduction start, the tail data does not exist in the distribution apparatus 2 and therefore distribution cannot be requested. In such a case, the second exemplary embodiment of the present invention stores the tail data in the distribution device 2 at the reproduction start time by generating the tail data in a pseudo manner in the reproduction device 1 without receiving the distribution from the distribution device 2. The encoded video data therein can also be reproduced by the reproducing apparatus 1.
[0029]
The pseudo tail data generation means 47 converts the head data by converting the head data based on the information on the total length of the encoded video data acquired from the distribution apparatus 2 or another apparatus by another means independent of the present invention. The process which produces | generates the tail part of digitized video data artificially is performed. The generated pseudo tail data is stored in the tail data buffer means 44. The reason why the decoding / display control unit 5 needs the data of the head portion and the tail portion of the encoded video data is that the jump position designation by the time is specified in an arbitrary unit such as a byte position in the encoded video data file. This is because the time information set in the encoded video data is referred to in order to control the time progress of the video display, the synchronization of the video and the audio, etc. in order to convert to the position information. Therefore, the pseudo tail data can be generated with an easy logic of calculating and setting time information corresponding to the tail portion in accordance with the standard of the encoded video data, and the realization method is self-evident.
[0030]
The first embodiment of the present invention shown in FIG. 1 includes data request processing means 41, upper limit detection means 45, lower limit detection means 46, head data buffer means 43, and tail data buffer means 44. The second embodiment of the present invention shown in FIG. 2 is further configured by adding pseudo tail data generating means 47.
[0031]
First, the operation of the first embodiment of the present invention will be specifically described with reference to FIG.
[0032]
At the start of reproduction, the reproduction control unit 6 requests the decoding / display control unit 5 to reproduce and display the encoded video data stored in the distribution device 2 using the display control signal 70, and the decoding / display control unit 5 performs processing. The data request signal 73 is transmitted to the communication control unit 4 by designating the head position in the encoded video data necessary for the transmission. Based on the data request signal 73 received from the decoding / display control unit 5, the data request processing unit 41 in the communication control unit 4 generates and transmits a distribution request signal 71 according to the communication protocol with the distribution device 2. The video data stream-transmitted from the distribution apparatus 2 through the video data distribution signal 72 is transmitted to the decoding / display control unit 5 by the data request processing means 41 in the communication control unit 4 via the data response signal 74 and the head data. Store in the buffer means 43. Subsequently, the decoding / display control unit 5 designates the end position in the encoded video data and transmits a data request signal 73 to the communication control unit 4. The data request processing unit 41 in the communication control unit 4 receives the end video data from the distribution apparatus 2 in the same manner as described above, transmits it to the decoding / display control unit 5, and stores it in the end data buffer unit 44. Finally, the data request processing means 41 transmits a request for stream distribution of video data after the head data to the distribution apparatus 2 via the distribution request signal 71.
[0033]
Thereafter, during normal playback, the decoding / display control unit 5 transmits a data request signal 73 for requesting necessary video data to the communication control unit 4 in accordance with the progress of playback of the video managed by itself. 4 performs the so-called pull-type control in which the corresponding video data from 4 is received via the data response signal 74 and is decoded and displayed. On the other hand, in the data request processing means 41 in the communication control unit 4, the video data requested by the data request signal 73 is present in any one of the head data buffer means 43, the tail data buffer means 44, and the reception data queue 42. For example, the response is made by reading from the data response signal 74, otherwise, the response to the decoding / display control unit 5 is suspended and the reception of the corresponding video data from the distribution device 2 is waited. The data request processing means 41 sequentially accumulates the video data stream-distributed from the distribution device 2 in the reception data queue 42 and sequentially deletes the video data transmitted to the decoding / display control unit 5. When the video data accumulation in the reception data queue 42 progresses and the upper limit detection means 45 detects the accumulation of video data of a certain amount or more, the data request processing means 41 delivers a primary stop of delivery via the delivery request signal 71 Request to device 2. As a result of reading and transmitting the video data from the reception data queue 42 in response to the data request from the decoding / display control unit 5, the amount of data stored in the reception data queue 42 decreases and the lower limit detection means 46 stores the video data. When it is detected that the amount has become a certain amount or less, the data request processing means 41 requests the distribution apparatus 2 to resume distribution via the distribution request signal 71.
[0034]
When the user performs playback control such as a so-called jump operation in which the user changes the video playback position to an arbitrary position during normal playback (during playback control), the playback control unit 6 is new to the decoding / display control unit 5. The start of reproduction from the reproduction position is instructed through the display control signal 70. The decoding / display control unit 5 stops the reproduction of the video being displayed, and sends the top video data, the last video data, or both to the communication control unit 4 via the data request signal 73 as necessary. Next, video data corresponding to a new reproduction position is requested by the data request signal 73. The data request processing means 41 in the communication control unit 4 reads out the head video data request from the head data buffer means 43 and reads out the tail video data request from the tail data buffer means 44 to perform decoding / display control. Respond to part 5. In response to a request for video data at a new playback position, if it exists in the reception data queue 42, it is read from it and responds via a data response signal 74, otherwise streaming delivery from the corresponding video data is requested. The distribution request signal 71 to be transmitted is transmitted to the distribution apparatus 2 and the video data received from the distribution apparatus 2 via the video data distribution signal 72 is transmitted to the decoding / display control unit 5 via the data response signal 74 and received. Accumulate in the data queue 42. Thereafter, the process returns to the normal playback process.
[0035]
Next, the operation of the second embodiment of the present invention will be specifically described with reference to FIG.
[0036]
The difference from the invention of the first embodiment is that in the description of the operation of the invention of the first embodiment, the first video data is stored in the first data buffer means 43 at the start of reproduction and thereafter It is processing. The operation according to the second embodiment is as follows. The data request processing means 41 reads the head data from the head data buffer means 43, causes the pseudo tail data generation means 47 to create pseudo tail data, and stores it in the tail data buffer means 44. Finally, the data request processing means 41 transmits a request for stream distribution of video data after the head data to the distribution apparatus 2 via the distribution request signal 71. Note that the operation during normal reproduction and during reproduction control is the same as the operation of the first embodiment described above.
[0037]
Next, the processing procedure of the control method realized by the above-described embodiment of the present invention will be described using the processing flows of FIGS. In this embodiment, in addition to the processing procedure according to the first embodiment, the processing procedure of the second embodiment will be described together. Only the processing procedure according to the first embodiment can be easily estimated from the above differences.
[0038]
In FIG. 1, when the user operates the playback control unit 6 to instruct the start of playback, a display control signal 70 instructing the start of playback is transmitted to the decoding / display control unit 5 and the decoding / display control unit 5 starts operating. To do. When the decoding / display control unit 5 starts its operation, it transmits a data request signal 73 instructing the communication control unit 4 to start reproduction. The data request signal 73 received by the communication control unit 4 is processed by the data request processing means 41 in the following steps.
[0039]
FIG. 4 is a flowchart showing the control operation of the data request processing means 41 during the reproduction start process. The control performed by the data request processing means 41 at the start of reproduction according to this figure is shown below.
[0040]
(1) Playback start operation example
[101] Wait for reception of the data request signal 73 for instructing reproduction start from the decoding / display control unit 5.
[102] A distribution request signal 71 for instructing the distribution apparatus 2 to start distribution is transmitted.
[103] Waiting for the reception of the data request signal 73 instructing the start data transmission from the decoding / display control unit 5.
[104] A distribution request signal 71 for instructing the distribution apparatus 2 to transmit head data is transmitted.
[105] Wait for reception of the video data distribution signal 72 of the head data from the distribution apparatus 2.
[106] The received data from the distribution apparatus 2 is stored in the head data buffer means 43.
[107] The data response signal 74 of the head data is transmitted from the head data buffer means 43 to the decoding / display control section 5.
[108] The head data is transmitted from the head data buffer means 43 to the pseudo tail data generating means 47 and the generated pseudo tail data is stored in the tail data buffer means 44.
[109] Waiting for the reception of the data request signal 73 instructing the end data transmission from the decoding / display control section 5.
[110] The data response signal 74 of pseudo tail data is transmitted from the tail data buffer means 44 to the decoding / display control section 5.
[111] A distribution request signal 71 is transmitted to the distribution apparatus 2 for instructing transmission of a stream of subsequent data after the head.
[0041]
After the start of playback, normal video playback is performed in which subsequent video data is sequentially displayed to the user. During normal playback, video data is sequentially streamed from the distribution device 2 to the communication control unit 4 in FIG. 1 and stored in the reception data queue 42. In parallel with this, the decoding / display control unit 5 requests the communication control unit 4 for necessary video data with the data request signal 73, decodes the data received with the data response signal 74, and displays it as a video signal 78. 3 to send. The display device 3 displays a signal received as a video signal 78 to the user.
[0042]
FIG. 5 is a flowchart showing the control operation of the data request processing means 41 during normal reproduction. An example of the operation of the data request processing means 41 during normal reproduction is shown below along this figure.
[0043]
(2) Example of normal playback operation
[201] Check whether the video data distribution signal 72 is received from the distribution apparatus 2. If there is no data reception, go to [207].
[202] It is determined whether or not there is room in the received data queue 42 for storing the received data. If there is no room for storage, go to [206].
[203] The received data is stored in the reception data queue 42.
[204] The presence / absence of the data request signal 73 from the decoding / display control unit 5 holding the response is checked. If there is no pending data request signal 73, go to [201].
[205] The presence / absence of video data corresponding to the data request signal 73 from the decoding / display control unit 5 holding the response in the reception data queue 42 is checked. If there is no requested video data in the reception data queue 42, go to [201]. If there is the requested video data in the reception data queue 42, go to [211].
[206] A distribution request signal 71 for requesting distribution suspension is transmitted to the distribution apparatus 2.
[207] Whether or not the data request signal 73 is received from the decoding / display control unit 5 is checked. If there is no signal reception, go to [201].
[208] The data request signal 73 received from the decoding / display control unit 5 checks whether there is a reproduction control instruction. If it is a reproduction control instruction, the process proceeds to a reproduction control process.
[209] Check whether the reception data queue 42 is empty. If it is empty, go to [212].
[210] The presence or absence of data requested by the data request signal 73 from the decoding / display control unit 5 in the reception data queue 42 is checked. If it is not in the reception data queue 42, go to [214].
[211] The data requested by the data request signal 73 from the decoding / display control unit 5 is read from the reception data queue 42 and transmitted to the decoding / display control unit 5 as a data response signal 74. Then go to [201].
[212] It is checked whether or not the distribution from the distribution apparatus 2 is suspended. If distribution is not paused, go to [214].
[213] A distribution request signal 71 requesting the distribution apparatus 2 to resume distribution is transmitted. Then go to [201].
[214] The response of the data request signal 73 received from the decoding / display control unit 5 is suspended. Then go to [201].
[0044]
In the reproduction control, when the user makes a request such as a jump to the reproduction control unit 6 in FIG. 1, the request is transmitted to the decoding / display control unit 5 by the display control signal 70, and the decoding / display control unit 5 performs the reproduction control. Is started by transmitting a data request signal 73 for requesting to the communication control unit 4.
[0045]
FIG. 6 is a flowchart showing the control operation of the data request processing means 41 during playback control. An example of the operation of the data request processing means 41 at the time of reproduction control is shown below according to this figure.
[0046]
(3) Example of playback control operation
[301] It is checked whether the data requested by the data request signal 73 from the decoding / display control unit 5 is the head data. If the requested data is not the top data, go to [303].
[302] Data is read from the head data buffer means 43 and transmitted to the decoding / display control unit 5 by the data response signal 74. Then go to normal playback.
[303] It is checked whether the data requested by the data request signal 73 from the decoding / display control unit 5 is the end data. If the requested data is not tail data, go to [305].
[304] Data is read from the tail data buffer means 44 and transmitted to the decoding / display control unit 5 by the data response signal 74. Then go to normal playback.
[305] The presence / absence of the data requested by the data request signal 73 from the decoding / display control unit 5 in the received data queue 42 is checked. If the requested data is not in the received data queue 42, go to [307].
[306] The data is read from the reception data queue 42 and transmitted to the decoding / display control unit 5 by the data response signal 74. Go to normal playback.
[307] A distribution request signal 71 for requesting distribution of data requested by the data request signal 73 from the decoding / display control unit 5 is transmitted to the distribution apparatus 2.
[308] Wait for reception of the video data distribution signal 72 from the distribution apparatus 2.
[309] It is checked whether the video data distribution signal 72 received from the distribution apparatus 2 is data for which distribution is requested. If it is not the data requested to be delivered, go to [308]. If the data is requested to be delivered, go to normal playback.
[0047]
【The invention's effect】
As described above, according to the present invention, technological progress is rapid, and it is possible to succeed the technology while flexibly responding to the transition of digital video decoder products with a short life cycle.
[0048]
In addition, although it is a de facto standard for personal computers, it is possible to receive stream communications over a network while complying with a common software standard that is not inherently compatible with network communications. Stream distribution video can be received by a wide range of personal computers.
[0049]
As an effect obtained by the present invention, since it is a system that does not depend on the logical structure of specific encoded video data, it is possible to receive stream distribution of encoded video data by an arbitrary encoding system, and it is not specified. It is possible to configure a VOD system corresponding to a plurality of video encoding methods. That is, it is possible to remove the restriction that the conventional VOD system or the like can only stream-distribute in a unique encoded video data format.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a stream video distribution system according to a first exemplary embodiment of the present invention.
FIG. 2 is a configuration diagram of a stream video distribution system according to a second exemplary embodiment of the present invention.
FIG. 3 is a configuration diagram of a conventional stream video distribution system.
FIG. 4 is a processing flow diagram of data request processing means at the start of reproduction in the embodiment of the present invention.
FIG. 5 is a processing flowchart of data request processing means during normal playback in an embodiment of the present invention.
FIG. 6 is a processing flowchart of data request processing means at the time of reproduction control in the embodiment of the present invention.
[Explanation of symbols]
1 ... Playback device (stream video receiver)
2. Distribution device
3. Display device
4. Communication control unit
40: Distribution request processing means
41. Data request processing means
42 ... Receive data queue
43 ... Lead data buffer means
44. Tail data buffer means
45 ... Upper limit detection means
46: Lower limit detection means
47. Pseudo tail data generation means
5. Decoding / display control unit
6 ... Reproduction control unit
61 ... Display data buffer
70: Display control signal
71: Distribution request signal
72 ... Video data distribution signal
73 ... Data request signal
74: Data response signal
75 ... Delivery request control signal
76 ... Video data transfer signal
77 ... Video data display signal
78 ... Video signal
101-111: Processing procedure at the start of reproduction by the data request processing means
201-214: Processing procedure during normal reproduction of data request processing means
301 to 309... Processing procedure during reproduction control of the data request processing means

Claims

Transmits a delivery request signal to the delivery apparatus, sequentially decodes the encoded video data received from the distribution apparatus at a constant rate, and transmits to the display device and converted into a video signal, a stream video reception control method for performing stream reproduction There,
If the data request signal is received from the decoding / display control unit using the common software that autonomously directly accesses the distribution device without going through the reproduction control unit for the digital encoded data to be reproduced, the requested data Is the first data and the first data buffer means is empty, the distribution request signal for requesting the stream transmission of the first data is transmitted to the distribution device, the requested data is the first data, and the first data buffer If it is present in the means, it is transmitted from the head data buffer means to the decoding / display control section, and if the requested data is tail data, it is transmitted from the tail data buffer means to the decoding / display control section, and the requested data is If there is neither head data nor tail data, a certain amount of encoded video data stream-received from the distribution device is temporarily stored. If there is no data in the reception data queue, if it does not exist in the reception data queue, it sends a distribution request signal requesting the stream transmission from the data to the distribution device. While retrieving the data from the data queue and sending it to the decoding / display control unit,
If the lower limit detection means detects that the amount of stored data is less than a certain ratio by extracting the request data from the reception data queue, and the stream transmission from the distribution device is suspended at that time, the distribution device Control to send a distribution request signal to resume transmission of encoded video data stream,
When the encoded video data stream-transmitted from the distribution device is received, if the received data is the head data, the data is stored in the head data buffer means , and from the head data and the full length data of the encoded video data. Generate pseudo tail data, store the generated pseudo tail data in the tail data buffer means, and if the received data is tail data, store it in the tail data buffer means, and the received data is the top data If it is not any of the end data, the upper limit detection means detects that the stored data amount has exceeded a certain ratio by storing the data in the received data queue and storing the data in the received data queue, and If a stream is being transmitted from the distribution device at the time, a stream of encoded video data is transmitted to the distribution device Stream video reception control method and performing control for transmitting a distribution request signal to suspend.

Transmits a delivery request signal to the delivery apparatus, sequentially decodes the encoded video data received from the distribution apparatus at a constant rate, and transmits to the display device and converted into a video signal, the stream video receiving device having a stream reproduction function There,
A playback control unit that performs communication control and decoding / display control based on a user operation and common software that directly accesses the distribution device are used. Under the control of the playback control unit, decoding / decoding that converts encoded video data into a video signal is performed. A display control unit, and a communication control unit that receives control of a distribution request and receives encoded video data under the control of the reproduction control unit, and the communication control unit receives a data request from the decoding / display control unit Data request processing means for receiving and processing a signal, head data buffer means for storing head data of an encoded video data file stored in the distribution apparatus, tail data buffer means for storing tail data, and distribution apparatus A ratio of the received data queue that temporarily stores a certain amount of encoded video data received from the stream and the amount of data stored in the received data queue. And a lower limit detection means for detecting that the following ratio is high and limit detection means, storing the data amount of the received data queue to detect that becomes more,
When the data request processing means receives the data request signal from the decoding / display control section, if the requested data is the head data and the head data buffer means is empty, the data request processing means Send a distribution request signal requesting stream transmission, and if the requested data is head data and exists in the head data buffer means, send it from the head data buffer means to the decoding / display control unit and request the data If the data is tail data, it is sent from the tail data buffer means to the decoding / display control unit, and if the requested data is neither the head data nor the tail data, the presence or absence in the reception data queue is checked and the reception data queue is entered. If it does not exist, a distribution request signal for requesting the stream transmission from the data is transmitted to the distribution apparatus, and the distribution request signal exists in the reception data queue. Then, the lower limit detection means detects that the amount of stored data falls below a certain ratio by taking out the data from the received data queue and sending it to the decoding / display control unit and taking out the requested data from the received data queue. If stream transmission from the distribution device is suspended at that time, the distribution device is controlled to transmit a distribution request signal for resuming stream transmission of the encoded video data, and the stream transmission from the distribution device is performed. If the received data is the head data, the received data is stored in the head data buffer means, and the pseudo tail data generated by the pseudo tail data generating means is stored in the tail data buffer means. storing the received data if the last data, stores the last data buffer means, If the received data is neither the head data nor the end data, it is stored in the reception data queue, and when the data is stored in the reception data queue, the upper limit detection means that the stored data amount exceeds a certain ratio There was detected, and if the stream transmitted from the distribution apparatus at that time, no line control to transmit the delivery request signal to suspend stream transmission of encoded video data to the distribution device,
The pseudo tail data generation means receives the encoded video data stream-transmitted from the distribution device by the data request processing means, and when the received data is the top data, the total length of the top data and the encoded video data A stream video receiving apparatus for generating pseudo tail data from data .

Stream transmitted at a constant communication rate via the network based on the accumulated encoded video data distribution request, a distribution apparatus having a stream transmission function,
The stream video receiving device according to claim 2 , which receives, decodes, and displays encoded video data that is stream-transmitted to the distribution device via a distribution request,
A stream video distribution system, wherein the distribution device and the stream video reception device are connected via a network.