JP4858389B2 - 動画像受信装置、動画像受信方法、及びプログラム - Google Patents

動画像受信装置、動画像受信方法、及びプログラム Download PDF

Info

Publication number
JP4858389B2
JP4858389B2 JP2007255204A JP2007255204A JP4858389B2 JP 4858389 B2 JP4858389 B2 JP 4858389B2 JP 2007255204 A JP2007255204 A JP 2007255204A JP 2007255204 A JP2007255204 A JP 2007255204A JP 4858389 B2 JP4858389 B2 JP 4858389B2
Authority
JP
Japan
Prior art keywords
channel
prediction
intra
moving image
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007255204A
Other languages
English (en)
Other versions
JP2009088926A (ja
Inventor
克典 田中
敦史 幡生
裕三 仙田
克敏 関
友義 小堀
康介 西原
創司 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2007255204A priority Critical patent/JP4858389B2/ja
Priority to TW97134847A priority patent/TW200922330A/zh
Priority to US12/680,491 priority patent/US8446951B2/en
Priority to PCT/JP2008/066993 priority patent/WO2009041363A1/ja
Publication of JP2009088926A publication Critical patent/JP2009088926A/ja
Application granted granted Critical
Publication of JP4858389B2 publication Critical patent/JP4858389B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device

Description

本発明は、動画像受信装置、動画像受信方法、及びプログラムに関し、特に、代表画像自動収集に利用することが可能なものに関する。
地上波や衛星波等の公衆無線放送あるいは各種の有線/無線通信網を経由して動画像コンテンツをデジタル伝送するテレビ放送・動画像配信サービスが普及しつつある。
MPEG等の動画像圧縮技術の向上は、同時配信可能なチャネル数の増加をもたらし、視聴者の多様な配信ニーズに応えることを可能にしている。その一方で、配信チャネル数の増加は利用者の視聴チャネル選択の判断を難しくさせる問題を生じさせており、これを解決するために利用者のチャネル選択判断を支援する機能を受信装置に搭載する例が増えている。
代表画像(サムネイル)の自動収集は、このような支援機能の代表例である。これは例えば、利用者が視聴していない他のチャネルで配信中の動画像ストリームをバックグラウンドで受信復号し、その内容を表す代表画像を作成してメモリに記憶する。収集された代表画像は、例えば利用者がボタン操作を行ったときにディスプレイ画面に一覧表示され、視聴者はこの情報を元に次に見たいチャネルの判断を容易に行うことが可能である。
巡回的なストリーム受信を行う単純な方法は、受信復号するチャネルを適当な順番で切り替えながら、収集対象として指定された全てのチャネルのストリームを集める方法である。この手法は、従来のアナログ信号伝送による動画像システムに対しては有効であり、受信可能なチャネル数が少ない受信手段を用いる場合であっても、代表画像の即時性を悪化させることなく画像収集が可能である。例えば、30[frame/sec]の動画像信号が伝送されている15個のチャネルから代表画像を収集するために1チャネルの同時受信が可能な受信手段を用いる場合、仮に、チャネル切替時のフレーム同期に最悪の1/30秒を要したとしても、全30チャネルのストリーム収集を1秒以内に終わらせることが可能である。各チャネルの代表画像の表示要求時に1秒前の画像が提示されたとしても、利用者のチャネル選択に大きな不都合は生じない。
しかしながら、MPEG等のフレーム間予測に基づく符号化方式を用いて動画像伝送が行われる場合は、チャネル切替後に受信したピクチャストリームを即座に復号できるとは限らない。フレーム間予測符号化が行われたピクチャは、予測参照するピクチャの復号画像が得られていないと正常な画像を復元できないためである。この場合、受信ストリーム切替後に復号を開始できるのはフレーム内符号化ピクチャを受信したタイミングに限定されるため、全ての収集対象チャネルのストリームを収集するまでに時間がかかり、例えば代表画像を収集する場合は得られる画像の即時性が低下する。
具体例を挙げると、非1セグの地上波デジタル放送(ISDB−T)(非特許文献1を参照)では、時間解像度30[frame/sec](インターレスまたはプログレッシブ)の動画像データがMPEG−2方式で符号化されて、TS(Transport System)形式のデータに多重化されて伝送される。シーンの切替時等の特殊な場合を除き、単独復号可能なフレーム内符号化ピクチャ(Iピクチャ)は0.5秒に1回の割合で挿入され、他は、PピクチャまたはBピクチャと呼ばれるフレーム間予測符号化ピクチャとして符号化される。このため、受信チャネルを切り替えてからIピクチャのストリームを受信するまでに、最大約0.5秒、平均0.25秒の待機時間が確率的に発生する。その結果、例えば15個のチャネルからストリームを収集するのに、最大で約7.5秒、平均3.75秒の待機時間が生じることになり、Iピクチャの復号時間も合わせると最悪で8秒を超える時間を要する可能性がある。
別の例としては、同じくISDB−Tの携帯機器向け1セグ放送では、時間解像度15[frame/sec](プログレッシブ)の動画像データがH.264方式で符号化伝送され、Iピクチャの挿入は最大5秒の時間間隔を空けることが許されている。従って、代表画像を収集するチャネル数がわずか5個であっても最悪の条件が重なると、全チャネルのストリーム受信に25秒の時間を要する。
このような課題の発生は、公衆電波を用いたテレビ放送に限らない。インターネット網から動画像配信を受けるシステムであっても、配信サーバーが代表画像伝送用の特別機能を備えておらず、チャネル間でIピクチャ挿入に関する同期が取れていない場合に同様の問題が発生する。フレーム間予測符号化の特性上、ストリーム収集時間がIピクチャ挿入間隔に比例して増加する問題は不可避である。
前記したIピクチャ挿入の周期性に関して、ストリームデータが実際に伝送される時刻、受信時刻は一定ではない。各ピクチャを符号化したストリームデータの長さは、所定の範囲内で変動する。
また、このような関連技術として、例えば以下に示す特許文献1が挙げられる。
特許文献1では、一つの画面に複数のチャンネルの番組映像を擬似的に表示する映像表示装置が開示されている。この映像表示装置は、フレーム内符号化画像とフレーム間符号化画像を含む番組映像を切替表示可能なものであって、処理対象となる各番組映像のフレーム内符号化画像の出現タイミングを検出する検出手段と、検出した出現タイミングを示す出現情報を記憶する記憶手段と、第1の番組映像から第2の番組映像に表示を切り替えるにあたり、第2の番組映像を出現情報を記憶手段から参照する参照手段と、参照した出現情報に基づいて、第2の番組映像のフレーム内符号化画像の出現タイミングに合わせて表示が切り替わるように、第1の番組映像から第2の番組映像に処理対象を切り替える切替手段と、を含むものである。
前記参照手段は、前記切替候補となる複数の番組映像の出現情報を参照し、各番組映像のフレーム内符号化画像が出現するまでの時間を比較して、最も短い時間で切替可能な番組映像を前記第2の番組映像として選ぶものである。
このようにして、フレーム内符号化画像であるIピクチャの出現タイミングに合わせて番組映像を切り替える処理を実行し、表示不能期間を極力発生させないようにするものである。
また、Iピクチャの出現時刻の予測は、例えば、次のように行う。まず、マルチ画面表示において一定時間ごとにチャンネルを切り替え、マルチ画面表示の処理対象となる各番組映像を順番に表示する。このとき、各番組映像のIピクチャの出現タイミング(例えば、Iピクチャの出現傾向(GOPのピクチャ構成)と最後に出現したIピクチャの出現時刻)を検出し、その出現タイミングを示す出現情報を記憶手段に格納していく。チャンネル切替が一巡して再び最初のチャンネルに戻れば、以降は、記憶手段に格納された出現情報を参照することでIピクチャの出現時刻を予測している。
具体的には、番組Aから番組Bに表示を切り替えるにあたっては、番組Bの出現情報を記憶手段から参照する。そして、出現情報に含まれる「最後のIピクチャの出現時刻Bl」及び「Iピクチャの間隔Bd」と、「現在時刻(=チャンネル切替時刻)C0」とから、式1を満たす整数Nを算出する。
|Bl+Bd×N−C0|<Bd・・・式1
次に、算出された整数Nを用いて、式2からIピクチャの出現時刻C1′を算出する。
C1′=Bl+Bd×N ・・・ 式2
マルチ画面表示のように比較的短い周期で同じチャンネルに切り替わる場合には、前回の表示から次の表示までの間にシーンチェンジ等が発生する可能性が低い。したがって、前回の表示における出現情報を参照すれば、高い精度でIピクチャの出現時刻を予測することができる。シーンチェンジ等でIピクチャの出現時刻にずれが生じた場合には、出現傾向及び出現時刻を補正して記憶しておく。
特開2005−184457 改訂版・デジタル放送教科書・上、インプレス、66〜73ページ、120〜130ページ、2004年
しかしながら、関連技術においては、次のような不都合がある。すなわち、フレーム間予測符号化に基づく動画像伝送が行われる放送配信において、多数チャネルの代表画像を表示するための自動収集を行うような場合に、多数のチャネルのストリーム受信を行う際に、処理時間がかかり、即時性の高い代表画像を提示できないという、不都合があった。
また、多数のチャネルの受信を行うには、受信手段に要求される処理能力や、発生する通信量を抑えることができない、という改善すべき点があった。例えば、公衆無線放送の受信装置の場合、放送電波を受信するアンテナの本数や受信感度、受信信号からビットストリームの復調処理を行うデバイスの回路規模や消費電力を増加させたり、あるいはインターネット網を経由した動画像配信の場合、伝送要求するチャネル本数を増やしたり、通信路に流れるデータの流量を増大させなければならなかった。
また、特許文献1は、「最後のIピクチャの出現時刻Bl」及び「Iピクチャの間隔Bd」から、Iピクチャの間隔は固定であるとして、他の要素を考慮することなく、Iピクチャの出現時刻を予測しており、実際のIピクチャの出現は一定間隔ではないため、予測値と実際の間隔との間の誤差が生じやすく、予測精度が劣り処理時間がかかる、という不都合があった。
本発明は、上記した技術の不都合を解決することを課題としてなされたものであって、その目的とするところは、フレーム間予測符号化に基づく動画像伝送が行われる放送配信において、必要とする処理能力や通信量を増やさずに、各多数のチャネルから復号可能なストリームを短時間で受信することのできる動画像受信装置、動画像受信方法およびプログラムを提供することにある。
上記目的を達成するために、本発明の動画像受信装置は、動画像ストリームのフレーム内符号化ピクチャを受信する符号受信時刻と、前記動画像ストリームに含まれる再生時刻情報及び復号時刻情報のいずれか一方又は双方を含む周期性時刻情報とを、複数チャネルの各前記動画像ストリーム毎に各々蓄積処理する時刻情報蓄積処理手段と、前記時刻情報蓄積処理手段の前記周期性時刻情報に基づいて、前記フレーム内符号化ピクチャの符号受信時刻を予測する符号受信時刻予測手段と、前記符号受信時刻予測手段にて予測された予測符号受信時刻情報に基づいて、受信すべき前記動画像ストリームのチャネルを選択制御するチャネル選択制御手段と、を含むことを特徴としている。
本発明の動画像受信方法は、動画像ストリームのフレーム内符号化ピクチャを受信する符号受信時刻と、前記動画像ストリームに含まれる再生時刻情報及び復号時刻情報のいずれか一方又は双方を含む周期性時刻情報とを、複数チャネルの各前記動画像ストリーム毎に各々蓄積処理する時刻情報蓄積処理ステップと、前記時刻情報蓄積処理ステップの前記周期性時刻情報に基づいて、前記フレーム内符号化ピクチャの符号受信時刻を予測する符号受信時刻予測ステップと、前記符号受信時刻予測ステップにて予測された予測符号受信時刻情報に基づいて、受信すべき前記動画像ストリームのチャネルを選択制御するチャネル選択制御ステップと、を含むことを特徴としている。
本発明のプログラムは、コンピュータが実行可能なプログラムであって、動画像ストリームのフレーム内符号化ピクチャを受信する符号受信時刻と、前記動画像ストリームに含まれる再生時刻情報及び復号時刻情報のいずれか一方又は双方を含む周期性時刻情報とを、複数チャネルの各前記動画像ストリーム毎に各々蓄積処理する時刻情報蓄積処理機能と、前記時刻情報蓄積処理機能の前記周期性時刻情報に基づいて、前記フレーム内符号化ピクチャの符号受信時刻を予測する符号受信時刻予測機能と、前記符号受信時刻予測機能にて予測された予測符号受信時刻情報に基づいて、受信すべき前記動画像ストリームのチャネルを選択制御するチャネル選択制御機能と、を含む機能をコンピュータに実行させることを特徴としている。
本発明によれば、動画像ストリームの受信対象とする各チャネルについて過去に受信したフレーム内符号化ピクチャの符号受信時刻と、周期性時刻情報(例えばPTS、DTSなど)とから、現在以降にフレーム内符号化ピクチャの符号受信時刻を予測し、この予測結果に基づいて、チャネルの画像収集に要する時間が短くなるチャネルを選択する。
その結果、2巡目以降の収集では、選択チャネルのストリームに切り替えてからフレーム内符号化ピクチャを受信するまでの待機時間が短くなり、固定順序でチャネル巡回するものに比して、各チャネルのストリームを収集するのに要する時間を短縮することができるという従来にはない優れた動画像受信装置、動画像受信方法およびプログラムを提供することができる。
〔動画像受信装置の基本的構成〕
先ず最初に、本発明における動画像受信装置の基本的構成について説明する。本発明の動画像受信装置は、基本的構成として、動画像ストリームのフレーム内符号化ピクチャを受信する符号受信時刻と、前記動画像ストリームに含まれる再生時刻情報及び復号時刻情報のいずれか一方又は双方を含む周期性時刻情報とを、複数チャネルの各前記動画像ストリーム毎に各々蓄積処理する時刻情報蓄積処理手段(例えば図1に示す符号12)と、前記時刻情報蓄積処理手段の前記周期性時刻情報に基づいて、前記フレーム内符号化ピクチャの符号受信時刻を予測する符号受信時刻予測手段(例えば図2に示す符号22、24、25からなる構成)と、前記符号受信時刻予測手段にて予測された予測符号受信時刻情報に基づいて、受信すべき前記動画像ストリームのチャネルを選択制御するチャネル選択制御手段(例えば図2に示す符号26など)と、を含むものである。
このような構成の動画像受信装置によれば、符号受信時刻予測手段により、符号受信時刻を予測し、チャネル選択制御手段により、チャネルの画像収集に要する時間が短くなるようにチャネルを選択するので、各チャネルのストリームを収集するのに要する時間が短縮される。
すなわち、動画像ストリームの受信対象とする各チャネルについて過去に受信したフレーム内符号化ピクチャの符号受信時刻、および周期性時刻情報の一例である復号時刻情報(DTS)又は再生時刻情報(PTS)などから、現在以降にフレーム内符号化ピクチャの符号受信時刻を予測し、この予測結果に基づいて、チャネルの画像収集に要する時間が短くなるように、代表画像作成用にストリーム受信復号を行うチャネルを選択する。その結果、2巡目以降の収集では、選択チャネルのストリームに切り替えてからフレーム内符号化ピクチャを受信するまでの待機時間が短くなり、固定順序でチャネル巡回するものに比して、各チャネルのストリームを収集するのに要する時間が短縮される。
以下、本発明の好適な実施の形態について、図面を参照して具体的に説明する。
〔第1の実施の形態〕
(動画像受信装置の全体構成)
図1は、本発明における第1の実施の形態の装置の全体の概略構成の一例を示すブロック図である。
この図1において、本実施の形態の動画像受信装置1は、デジタルテレビ放送の各チャネルのフレーム内符号化ピクチャを当該チャネルの放送内容を示す代表画像として収集するものであり、動画像符号化ストリームを受信する動画像符号化ストリーム受信手段(以下、符号化ストリーム受信手段と略す)10と、符号受信時刻、再生時刻情報(PTS)、復号時刻情報(DTS)を各チャネル毎に蓄積処理する蓄積処理手段12と、システム時計14と、符号受信時刻を予測しチャネル選択を行うフレーム内符号化ピクチャ受信時刻予測・チャネル選択手段(以下、時刻予測・チャネル選択手段と略す)20と、これらの各部を司る制御手段30と、含んで構成される。
符号化ストリーム受信手段10は、動画像受信装置1外からの動画像符号化ストリームの符号を受信して、前記符号中にフレーム内符号化ピクチャの符号がある場合は、システム時計14を参照して当該ピクチャの受信時刻を取得して、前記フレーム内符号化ピクチャの符号受信時刻、および、周期性時刻情報の一例である復号時刻情報(DTS)あるいは再生時刻情報(PTS)を蓄積処理手段12に転送する。
蓄積処理手段12は、動画像ストリームのフレーム内符号化ピクチャを受信する符号受信時刻と、前記動画像ストリームに含まれる再生時刻情報及び復号時刻情報のいずれか一方又は双方を含む周期性時刻情報とを、複数チャネルの各前記動画像ストリーム毎に各々蓄積処理する。この蓄積処理手段12としては、例えばメモリ、ハードディスクなどの記憶部により構成することができる。
システム時計14は、前記符号中にSCRがあった場合にSCR時刻に合わせられて、前記符号中にフレーム内符号化ピクチャの符号の受信時刻の取得時に符号化ストリーム受信手段10により参照されて、時刻予測・チャネル選択手段20による予測受信時刻での符号化ストリーム受信手段10のチャネル合わせの際に参照される。
時刻予測・チャネル選択手段20は、蓄積処理手段12に記憶された各チャネルの過去のフレーム内符号化ピクチャの符号受信時刻、および周期性時刻情報の一例である再生時刻情報(PTS)あるいは復号時刻情報(DTS)から現在時刻以降のフレーム内符号化ピクチャの符号受信時刻を予測して、予測符号受信時刻に符号化ストリーム受信手段10のチャネル合わせを行う。
ここで、時刻予測・チャネル選択手段20は、フレーム内符号化ピクチャの符号受信時刻を予測する符号受信時刻予測機能(符号受信時刻予測手段)と、該符号受信時刻予測機能による予測結果に基づいて、チャネル巡回順序を決定し選択を行いチャネル巡回の制御を行うチャネル選択制御機能(チャネル選択制御手段)とを備えている。
動画像受信装置1は、プログラム制御により動作するものであり、ネットワーク関連の機能を有していれば、無線・有線通信機能を有する情報機器(情報処理装置・通信装置)、またはこれに類するコンピュータなどいかなるコンピュータでもよく、移動式・固定式を問わない。
この場合、動画像受信装置1のハードウエア構成は、種々の情報等を表示するための表示手段(スクリーン)、この表示手段の表示画面上(の各種入力欄等)にデータを操作入力するための操作入力手段(例えばキー等)、各種信号・データを送受信するための送受信手段(通信手段)、各種プログラム・各種データを記憶しておく記憶手段ないしは蓄積処理手段(例えばメモリ等)、これらの制御を司る制御手段(例えばCPU等)などを有することができる。
また、例えば、非1セグの地上波デジタル放送(ISDB−T)では、MPEG−2やH.264方式で符号化されたピクチャデータに対して、復号時刻情報である復号時刻スタンプ(DTS:Decoding Time Stamp)、再生時刻情報である再生時刻スタンプ(PTS:Presentation Time Stamp)と呼ばれる2種類の時刻情報が付加されて、MPEG−2TS形式に多重化されたストリームデータが送信側から受信側に伝送される。DTSは、受信側がMPEG−2TSを分離して得られたピクチャデータを復号すべき時刻を表し、PTSは復号処理により得られたピクチャデータを表示する時刻を表す。
DTSおよびPTSの数値は送信側の基準時計に基づいて付けられるため、受信側は復号および表示制御の基準時計を送信側に同期させる必要がある。この調整は、MPEG−2TSに格納された、PCR(Program Clock Reference)と呼ばれる情報をもとに行われる。
フレーム符号化ピクチャ(Iピクチャ)挿入の周期性に関して、間隔一定となるのはフレーム符号化ピクチャ(Iピクチャ)に付加されたDTSおよびPTSが示す時刻情報であって、ストリームデータが実際に伝送される符号送信時刻、符号受信時刻は一定ではない。各ピクチャを符号化したストリームデータの長さは、所定の範囲内で変動する。
このため、本実施の形態では、この符号受信時刻を、時刻予測・チャネル選択手段20によって予測する。しかも、この時刻予測・チャネル選択手段20は、周期性時刻情報の一例であるPTS又はDTSに基づいて予測PTS又は予測DTSを求め、これに基づき符号受信時刻を予測するようにしている。
以上のような構成からなる本実施の形態の図1の動画像受信装置1における動作は、概略以下のように行われる。
先ず、符号化ストリーム受信手段10は、当該装置外からの動画像符号化ストリームの符号を受信して、前記符号中にフレーム内符号化ピクチャの符号がある場合は、システム時計14を参照して当該ピクチャの受信時刻を取得して、前記フレーム内符号化ピクチャの受信時刻およびDTSあるいはPTSを蓄積処理手段12に転送する。
システム時計14は、前記符号中にSCRがあった場合にSCR時刻に合わせられて、前記符号中にフレーム内符号化ピクチャの符号の受信時刻の取得時に符号化ストリーム受信手段10により参照されて、時刻予測・チャネル選択手段20による予測受信時刻での符号化ストリーム受信手段10のチャネル合わせの際に参照される。
時刻予測・チャネル選択手段20は、蓄積処理手段12に記憶された各チャネルの過去のフレーム内符号化ピクチャの受信時刻およびPTSあるいはDTSから現在時刻以降のフレーム内符号化ピクチャの受信時刻を予測して、予測受信時刻に符号化ストリーム受信手段10のチャネル合わせを行う。
(処理手順について)
(全体処理)
次に、上述のような構成を有する動画像受信における各種の処理手順について、図7を参照しつつ説明する。
本実施の形態に係る動画像の受信方法は、基本的構成として、動画像ストリームのフレーム内符号化ピクチャを受信する符号受信時刻と、前記動画像ストリームに含まれる再生時刻情報及び復号時刻情報のいずれか一方又は双方を含む周期性時刻情報とを、複数チャネルの各前記動画像ストリーム毎に各々蓄積処理する時刻情報蓄積処理ステップ(例えば図7に示すステップS103)と、前記時刻情報蓄積処理ステップの前記周期性時刻情報に基づいて、前記フレーム内符号化ピクチャの符号受信時刻を予測する符号受信時刻予測ステップ(例えば図7に示すステップS104)と、前記符号受信時刻予測ステップにて予測された予測符号受信時刻情報に基づいて、受信すべき前記動画像ストリームのチャネルを選択制御するチャネル選択制御ステップ(例えば図7に示すステップS104)と、を含むことを特徴とするものである。
まず、前記動画像の受信方法における手順の概略を説明すると、図7のフローチャートに示される各ステップは、大きく2つに分けられる。
ステップS101〜ステップS103では、動画像受信装置1は、動画像放送中のチャネルにおいてフレーム内符号化ピクチャの符号の受信時刻とDTSあるいはPTSの履歴を蓄積処理手段12に蓄積する。
ステップS104〜ステップS107では、動画像受信装置1は、時刻予測・チャネル選択手段20により前記チャネルの各々に対して前記履歴からの現在以降のフレーム内符号化ピクチャの符号の受信時刻の予測とチャネル選択を行って、符号化ストリーム受信手段10で選択チャネルにおける動画像ストリームを受信する。
(詳細処理について)
次に、前記処理の詳細を説明する。
まず、動画像受信装置1は、符号化ストリーム受信手段10により、動画像符号化ストリームの受信を行う(図7のステップS101)。
当該動画像受信装置1は、前記ストリーム中の符号の中にフレーム内符号化ピクチャの符号がある場合に(ステップS102でYesとなる場合)、システム時計14を参照してフレーム内符号化ピクチャの符号を受信した時刻を取得して、前記ステップS101にて受信していたチャネルと当該フレーム内符号化ピクチャの符号の受信時刻とDTSあるいはPTSを蓄積処理手段12に記憶する(ステップS103)。
ステップS103の後、ステップS101へ戻り、符号化ストリーム受信手段10によって、同一チャネル乃至異なるチャネルにおいて次の動画像ストリームの受信を行う。
ステップS102でNoだった場合、ステップS101へ戻り、符号化ストリーム受信手段10によって、同一チャネル乃至異なるチャネルにおいて次の動画像ストリームの受信を行う。
動画像受信装置1は、時刻予測・チャネル選択手段20により、チャネル選択対象チャネルの各々について蓄積処理手段12に記憶された過去のフレーム内符号化ピクチャの受信時刻およびDTSあるいはPTSから現在以降のフレーム内符号化ピクチャの受信時刻を予測して、当該予測時刻にフレーム内符号化ピクチャを受信するようにチャネルを選択する(ステップS104)。
動画像受信装置1は、システム時計14の時刻を参照して(ステップS105)、前記システム時刻と前記予測受信時刻を比較し、その結果が、システム時刻の値が予測受信時刻の値未満の場合であれば(ステップS106でNoの場合)、ステップS105に戻り、当該システム時刻と前記予測受信時刻を比較し、その結果が、システム時刻の値が予測受信時刻の値以上であれば(ステップS106でYesの場合)、符号化ストリーム受信手段10を前記選択チャネルに合わせて、当該チャネルにおける動画像ストリームを受信し出力して(ステップS107)、ステップS104に戻る。
(効果について)
次に、本実施の形態の効果について説明する。
本実施の形態によれば、動画像ストリームの受信対象とする各チャネルについて過去に受信したフレーム内符号化ピクチャの受信時刻およびタイムスタンプ(DTSあるいはPTS)から、現在以降にフレーム内符号化ピクチャを受信する時刻を予測し、この予測結果に基づいて対象チャネルの画像収集に要する時間が短くなるように、代表画像作成用にストリーム受信復号を行うチャネルを選択する。その結果、2巡目以降の収集では選択チャネルのストリームに切り替えてからフレーム内符号化ピクチャを受信するまでの待機時間が短くなるため、固定の順序でチャネルを巡回するような単純な方法に比較して、各チャネルのストリームを収集するのに要する時間が短縮される効果が得られる。
また、本実施の形態では、現在以降にフレーム内符号化ピクチャを受信する時刻を、そのピクチャのタイムスタンプ(周期性時刻情報の一例であるDTSまたはPTS)と、タイムスタンプと受信時刻の差分の2種類に分けて予測する。フレーム内符号化ピクチャの周期性をもとに正確に予測可能な前者と、ピクチャ符号量変動の影響をする後者を分けて予測するため、予測の精度が向上し結果的に、ストリーム収集時間が短縮される効果が得られる。
本実施の形態では、動画像受信装置は、放送中の各チャネルにおける動画像ストリームの符号中の単独で復号化可能なフレーム内符号化ピクチャの符号の受信時刻とDTSあるいはPTSを履歴として蓄積して、前記履歴から現在以降のフレーム内符号化ピクチャの符号の受信時刻を予測して、前記予測符号受信時刻に基づきチャネルを選択することが可能なように構成されている。
多くのデジタル動画像放送では、フレーム内符号化ピクチャの符号受信時刻とDTSあるいはPTSの周期性があるため、過去に受信されたフレーム内符号化ピクチャの符号受信時刻とDTSあるいはPTSの履歴情報を用いることによって、現在以降のフレーム内符号化ピクチャの符号受信時刻を予測することが可能になる。
前記予測受信時刻を用いることによって、チャネル切替からフレーム内符号化ピクチャの符号受信までの時間を最短にできるチャネル選択が可能となる。
放送中のチャネルの全てについてのチャネル切替からフレーム内符号化ピクチャの符号受信までの時間の和を最短にするようなチャネル選択を行うことによって、即時に復号化が可能な動画像ストリームの収集時間を短縮するという効果が得られる。
一方で、本発明による動画像受信装置の持つ時刻予測・チャネル選択手段を用いずに、例えば単純に巡回を行うことによって、動画像ストリーム収集を行う場合、符号化ストリーム受信手段のチャネル選択でチャネル切替からフレーム内符号化ピクチャの受信までの時間が最長となるチャネルを選択する可能性がある。よって、前記効果を得るためには、本実施の形態による動画像受信装置の持つフレーム内符号化ピクチャ符号受信時刻予測・チャネル選択手段が必要である。
本実施の形態では、選択対象チャネルを限定することによって、動画像ストリーム収集時間をさらに短縮する効果が得られる。
視聴者が動画像ストリーム収集を行う目的が嗜好する番組を探すことである場合、前記番組のジャンルが限定されていることがある。
また、放送局は放送番組を特定のジャンルに特化することがある。以上により、動画像ストリーム収集対象チャネルを限定することによって、視聴者の利便性を損なうことなく動画像ストリーム収集時間をさらに短縮することができる。
さらに、本実施の形態では、フレーム内符号化ピクチャのDTSあるいはPTSの周期性を用いて同一動画像ストリーム上において隣接するフレーム内符号化ピクチャのDTSあるいはPTSの間隔値を予測して、当該予測PTS間隔値の自然数倍を前記履歴内の最近のDTSあるいはPTSに加えることで現在以降のフレーム内符号化ピクチャのDTSあるいはPTSを予測して、前記履歴内のフレーム内符号化ピクチャの受信時刻とDTSあるいはPTSの差分から現在以降のフレーム内符号化ピクチャの符号受信時刻とPTSの差分を予測して、前記予測PTSから前記予測差分を減ずることによって、現在以降のフレーム内符号化ピクチャの符号受信時刻の予測を行っている。
フレーム内符号化ピクチャの符号受信時刻を直接予測する場合には、動画像ストリームの伝送路の環境変化などによる誤差を考慮する必要がある。
フレーム内符号化ピクチャの符号受信時刻の予測誤差は、フレーム内符号化ピクチャの符号受信時刻予測をPTS間隔値予測および符号受信時刻とPTSの差分予測に分けることによって、PTS間隔値の予測誤差および符号受信時刻とPTSの差分予測誤差に分けることができる。
フレーム内符号化ピクチャのPTSの周期の規則性が高いため、PTS間隔値は誤差なく予測することが可能であるので、前記受信時刻予測誤差を前記差分予測誤差のみに縮小することができる。
フレーム内符号化ピクチャの受信時刻の予測において誤差を小さく想定してもよい場合、フレーム内符号化ピクチャの予測受信時刻と実際に受信される時刻の間の時間を小さくできる。そのため、誤差を考慮するために追加されるチャネル切替からフレーム内符号化ピクチャ受信までの待ち時間をさらに短縮できる。
また、上記の説明において、上述した各ステップの動作内容及び各部の構成要素をプログラム化し、コンピュータに実行させてもよい。
[第2の実施の形態]
次に、本発明にかかる第2の実施の形態について、図2乃至図9に基づいて説明する。以下には、前記第1の実施の形態の実質的に同様の構成に関しては説明を省略し、異なる部分についてのみ述べる。図2は、本発明の動画像受信装置の第2の実施の形態の一例を示すブロック図である。
本実施の形態の動画像受信装置は、前記時刻予測・チャネル選択手段20における予測およびチャネル選択の具体的な構成例を開示するものである。
ここで、動画像受信装置は、デジタルテレビ放送の各チャネルのフレーム内符号化ピクチャを当該チャネルの放送内容を示す代表画像として収集することを対象とするものである。
図4は、本実施の形態で用いられるm個のチャネル(チャネル1〜チャネルm、mは3以上の自然数)によるデジタルテレビ放送の動画像ストリームの例を示している。
本実施の形態では、前記m個のチャネルのうち、チャネル1とチャネル2とチャネルmが代表画像収集対象チャネルとして指定されているとする。
図4において、各平行四辺形は1つのピクチャを示しており、ピクチャ内の数字は便宜的につけられたピクチャ番号を示している。図4において、白抜き文字の黒い平行四辺形はフレーム内符号化ピクチャを示しており、黒抜き文字の白い平行四辺形はフレーム間符号化ピクチャを示している。
ここにおいて、図4の例では、同一チャネル内のピクチャ番号の大小関係は当該ピクチャ間の受信順序を示すものであるが、異なるチャネル間でのピクチャ番号の大小関係は当該ピクチャ間の受信順序も示すものではないとする。
また、図4の例において、チャネル1おける動画像ストリームは6個に1個のピクチャがフレーム内符号化ピクチャで、チャネル2おける動画像ストリームは7個に1個のピクチャがフレーム内符号化ピクチャで、チャネルmおける動画像ストリームは4個に1個のピクチャがフレーム内符号化ピクチャであるが、図1の動画像受信装置1は、各チャネルについてフレーム内符号化ピクチャの挿入間隔が一定であることを全体としているが、どのチャネルについてもフレーム内符号化ピクチャの挿入間隔の情報を取得していない仮定する。
本実施の形態における図1の動画像受信装置1の持つ符号化ストリーム受信手段10は、1つであるとする。
(構成について)
次に、動画像受信装置1の詳細構成について、図2を参照しつつ説明する。図2は、本実施の形態の動画像受信装置の時刻予測・チャネル選択手段の詳細構成の一例を示すブロック図である。先ず、フレーム内符号化ピクチャ受信時刻予測・チャネル選択手段(以下、時刻予測・チャネル選択手段と省略する)の構成について説明し、続いて制御手段の構成について説明する。
本実施の形態の動画像受信装置は、図1における時刻予測・チャネル選択手段20が図2に示す時刻予測・チャネル選択手段20として構成される場合の例を開示しており、他の各部の構成は、前記第1の実施の形態と同一となっている。
(時刻予測・チャネル選択手段)
本実施の形態の動画像受信装置における時刻予測・チャネル選択手段20は、図2に示すように、過去の前記再生時刻情報に基づいて、現在以降の前記フレーム内符号化ピクチャの前記再生時刻情報を予測する第1の予測部22と、第1の予測部22にて予測された予測再生時刻に基づいて、符号受信時刻を予測する第2の予測部24と、これらの予測を各チャネル毎に行うよう演算手順を制御する予測演算モジュール制御部25と、予測された符号時刻情報に基づいてチャネル選択の制御を行うチャネル選択部26と、を含んで構成される。
ここで、第1の予測部22、第2の予測部24、予測演算モジュール制御部25とで、予測手段(符号受信時刻予測手段)を構成することもできる。
第1の予測部22は、各前記再生時刻情報の値の増分の公約数を、前記再生時刻情報の間隔値として予測し、この予測再生時刻情報間隔値と過去の前記再生時刻情報とに基づいて現在以降の前記フレーム内符号化ピクチャの前記再生時刻情報を予測するものである。この第1の予測部22は、第1の予測手段ということもできる。
より具体的には、第1の予測部22は、各チャネルのフレーム内符号化ピクチャのPTSの値の増分を利用して、該増分の公約数をフレーム内符号化ピクチャのPTSの間隔値として予測するPTS間隔値予測部22aと、直近の過去に記憶されたフレーム内符号化ピクチャのPTSに、前記PTS間隔値予測部22aでのPTSの間隔値の自然数倍を加算することによって、現在時刻以降のフレーム内符号化ピクチャのPTSの予測値を計算するPTS値予測部22bと、を含んで構成される。
PTS間隔値予測部22aは、各チャネルのフレーム内符号化ピクチャのPTSの値の増分を算出するPTS増分算出部22a―1と、PTS増分算出部22a―1にて算出された各増分のうち公約数となる数値(予測PTS間隔値)を算出する公約数算出部22a−2とを含んで構成される。
PTS値予測部22bは、如何なる自然数倍までの予測値を算出するのかに関し自然数倍を決定する自然数倍決定部22b−1と、公約数算出部22aにて算出された公約数の数値(予測PTS間隔値)に自然数倍決定部22b−1にて決定された自然数倍を乗じ、これに過去に記憶されたフレーム内符号化ピクチャのPTS値を加算する過去PTS加算部22b−2と、を含んで構成される。
第2の予測部24は、過去に受信された前記フレーム内符号化ピクチャの前記符号受信時刻と前記再生時刻情報とに基づいて、現在以降に受信される前記フレーム内符号化ピクチャの前記符号受信時刻と前記再生時刻情報との差分を予測し、この予測した差分と前記第1の予測部22にて予測された前記再生時刻情報とに基づいて、現在以降の前記フレーム内符号化ピクチャの前記符号受信時刻を予測するものである。
さらに、第2の予測部24は、過去の前記符号受信時刻と前記再生時刻情報との差分の平均値に特定のマージンを加えた値を、現在以降に受信される前記フレーム内符号化ピクチャの前記符号受信時刻と前記再生時刻情報との差分であると予測するものである。この第2の予測部24は、第2の予測手段ということもできる。
第2の予測部24は、過去に受信されたフレーム内符号化ピクチャの符号の符号受信時刻とPTSから、現在以降に受信されるフレーム内符号化ピクチャの符号の符号受信時刻とPTSの差分を予測する受信時刻―PTS差分予測部24a(以下、PTS差分予測部と略す場合がある)と、PTS差分予測部24aにて算出された差分の平均値に所定のマージンを加えた値と前記第1の予測部22のPTS値予測部22bにて算出された予測PTSとの差によりフレーム内符号化ピクチャの符号受信時刻の予測値を算出する受信時刻予測値算出部24bと、を含んで構成される。
PTS差分予測部24aは、過去に受信されたフレーム内符号化ピクチャの符号の符号受信時刻とPTSの差分の平均値を算出する差分平均値算出部24a―1と、差分平均値算出部24a―1にて算出された差分平均値に所定のマージンを加えた値を、予測差分とするようにマージンの設定及び演算処理を行うマージン設定処理部24a―2と、を含んで構成される。
予測演算モジュール制御部25は、各部の実行手順を制御する機能を有する。例えば、一つのチャネルに対してフレーム内符号化ピクチャの符号受信時刻の予測値を算出する過程のうち例えば第2の予測部の演算を実行中に、他のチャネルに対してフレーム内符号化ピクチャの符号受信時刻の予測値を算出する過程のうち第1の予測部の演算を行うように制御する機能が想定される。
チャネル選択部26は、符号受信時刻予測手段に含まれる第2の予測部24にて予測された予測符号受信時刻に基づき、代表画像収集対象チャネル巡回時間が最短になるように当該チャネル巡回順序を決定しチャネル選択を行うものである。このチャネル選択部26は、チャネル選択制御手段ということもできる。
また、チャネル選択部26は、代表画像収集対象チャネルの選択を繰り返して深さ優先探索を行うことによりチャネル巡回順序の近似解を求めることができる。チャネル選択部26は、前記予測符号受信時刻に基づいて、チャネル選択順序に対して評価値を計算し、前記評価値の高いものから順にチャネルを選択するものであり、前記評価値を、収集される代表画像の即時性あるいは収集時間に基づいて計算することによりチャネルの選択順序を決定することができる。その際に、チャネル選択部26は、前記評価値を前記チャネルを巡回する巡回所要時間として計算することができる。
チャネル選択部26は、予測符号受信時刻に基づき代表画像収集対象チャネルのチャネル巡回順序を決定するチャネル巡回順序決定処理部26a(以下、チャネル順序決定処理部と略す場合がある)と、このチャネル順序決定処理部26aにて決定されたチャネル巡回順序に基づいて、チャネル巡回に必要な処理を行うチャネル選択処理部26bと、を含んで構成される。
チャネル順序決定処理部26aは、未選択チャネルの巡回順序を決定するための第1の評価関数F1を演算する第1の評価関数演算部26a―1と、前記第1の評価関数演算部26a―1にて演算された第1の評価関数演算結果に基づいて、未選択チャネルの中から巡回順序を決定して選択を行う第1の未選択チャネル選択部26a―2と、を含んで構成される。
また、チャネル順序決定処理部26aは、第1の評価関数F1の演算結果が同一となる複数の未選択チャネルがある場合に、それらの巡回順序を決定するための第2の評価関数F2を演算する第2の評価関数演算部26a―3と、前記第2の評価関数演算部26a―3にて演算された第2の評価関数演算結果に基づいて、未選択チャネルの中から巡回順序を決定して選択を行う第2の未選択チャネル選択部26a―4と、を含んで構成される。
さらに、チャネル順序決定処理部26aは、第1の評価関数F1・第2の評価関数F2の演算結果を考慮して最終的な巡回順序を決定するとともに、これらの各部の実行手順の制御を行うチャネル決定処理制御部26a―5を含んで構成される。
第1の評価関数演算部26a―1では、探索において、次に巡回されるチャネルを選択する際に、直前に選択されたチャネルにおける前記フレーム内符号化ピクチャの予測符号受信時刻をT_Pとし、チャネル(CH)において前記時刻T_P以降に受信される前記フレーム内符号化ピクチャの前記予測符号受信時刻をT_I(CH,T_P)とすると、各未選択チャネル(CH)に対して第1の評価関数F1を、
F1(CH)=T_I(CH,T_P)−T_P
として算出する。
第1の未選択チャネル選択部26a―2は、前記第1の評価関数F1の演算結果が最小となる未選択チャネルを最初にあわせるチャネルとして選択する。
第2の評価関数演算部26a―3は、前記第1の評価関数F1の演算結果が最小となる未選択チャネルが複数存在する場合、チャネル(CH)において前記時刻T_P以降に受信される前記フレーム内符号化ピクチャの2枚目の前記予測符号受信時刻をT_II(CH,T_P)とすると、各未選択チャネル(CH)に対して第2の評価関数F2を、
F2(CH)=T_II(CH,T_P)
として算出する。
第2の未選択チャネル選択部26a―4は、前記第2の評価関数F2の演算結果が最大となる未選択チャネルを最初にあわせるチャネルとして選択するものである。
チャネル決定処理制御部26a―5は、第1の未選択チャネル選択部26a―2にて巡回順序が決定されたチャネルと、第2の未選択チャネル選択部26a―4にて巡回順序が決定されたチャネルとを考慮して、最終的な巡回順序を決定することができる。
チャネル選択処理部26bは、チャネル巡回順序決定処理部26aにて決定されたチャネル巡回順序に基づいて、チャネル巡回に必要な制御処理を行うことができる。
上述のような構成を有する動画像受信装置1の時刻予測・チャネル選択手段20は、概略以下のように動作する。すなわち、時刻予測・チャネル選択手段20の予測演算モジュール制御部25は、一つのチャネルに対して第1の予測部22、第2の予測部24を実行させ、フレーム内符号化ピクチャの予測符号受信時刻、予測PTSを算出する。同様に、予測演算モジュール制御部25は、他のチャネルに対して第1の予測部22、第2の予測部24を実行させ、フレーム内符号化ピクチャの予測符号受信時刻、予測PTSを算出する。
具体的には、第1の予測部22は、PTS間隔値予測部22aを実行させ、フレーム内符号化ピクチャのPTSの値の増分を利用して、該増分の公約数をフレーム内符号化ピクチャのPTSの間隔値として予測する。
続いて、第1の予測部22は、PTS値予測部22bを実行させ、直近の過去に記憶されたフレーム内符号化ピクチャのPTSに、前記PTS間隔値予測部22aでのPTSの間隔値の自然数倍を加算することによって、現在時刻以降のフレーム内符号化ピクチャのPTSの予測値を計算する。
さらに、第2の予測部24は、受信時刻―PTS差分予測部24aを実行させ、過去に受信されたフレーム内符号化ピクチャの符号の符号受信時刻とPTSから、現在以降に受信されるフレーム内符号化ピクチャの符号の符号受信時刻とPTSの差分を予測する。
そして、第2の予測部24は、受信時刻予測値算出部24bを実行させ、受信時刻―PTS差分予測部24aにて算出された差分の平均値に所定のマージンを加えた値と前記第1の予測部22のPTS値予測部22bにて算出された予測PTSとの差によりフレーム内符号化ピクチャの符号受信時刻の予測値を算出する。
このようにして、各チャネル毎に、フレーム内符号化ピクチャの予測符号受信時刻、予測PTSが算出されると、時刻予測・チャネル選択手段20は、チャネル選択部26を実行させ、チャネル巡回順序の決定を行う。
具体的には、チャネル選択部26は、チャネル巡回順序決定処理部26aを実行させ、先ず、各チャネルについて第1の評価関数演算部26a―1により第1の評価関数F1を演算し、第1の未選択チャネル選択部26a―2により第1の評価関数F1が最小となるチャネルを最初に選択されるべきチャネルとして決定する。
この際、第1の評価関数F1が等しいチャネルが複数存在する場合には、第2の評価関数演算部26a―3により第2の評価関数F2を演算し、第2の未選択チャネル選択部26a―4により、第2の評価関数F2が最大となるチャネルを、第1の評価関数F1が等しいチャネルのうちの優先的に選択されるチャネルとして決定する。
このようにして、チャネル決定処理制御部26a―5により、第1の評価関数F1・第2の評価関数F2の演算結果を考慮して最終的な巡回順序を決定する。
(制御手段)
本実施の形態の動画像受信装置における制御手段30は、上述の各部の制御を司るものであり、図3に示すように、時刻情報取得制御部32と、チャネル巡回制御部34と、を含んで構成される。
時刻情報取得制御部32は、符号化ストリーム受信手段10にて動画像符号化ストリームの符号を受信するように制御し、該動画像符号化ストリーム内にフレーム内符号化ピクチャの符号があるか否かを判定し、符号がある場合には、システム時計14を参照して当該フレーム内符号化ピクチャの符号受信時刻を取得し、該符号受信時刻を蓄積処理手段12に記憶するとともに、前記動画像符号化ストリームに含まれる前記フレーム内符号化ピクチャに付与されているPTS情報、DTS情報を蓄積処理手段12に記憶するように制御するものである。
また、時刻情報取得制御部32は、前記判定にて符号がない場合、前記蓄積処理手段12への記憶制御処理が終了した場合には、符号化ストリーム受信手段10にて同一チャネル乃至異なるチャネルにおいて次の動画像ストリームの受信を行うように制御するものである。
具体的には、時刻情報取得制御部32は、符号化ストリーム受信手段10にて動画像符号化ストリームの符号を受信するように制御する動画像符号化ストリーム受信処理部32aと、符号化ストリーム受信手段10にて受信された前記動画像符号化ストリーム内にフレーム内符号化ピクチャの符号があるか否かを判定制御する符号化ピクチャ符号判定処理部32bと、この符号化ピクチャ符号判定処理部32bにて前記フレーム内符号化ピクチャの符号があると判定された場合に、システム時計14を参照して当該フレーム内符号化ピクチャの符号受信時刻を取得し、該符号受信時刻を蓄積処理手段12に記憶するとともに、前記動画像符号化ストリームに含まれる前記フレーム内符号化ピクチャに付与されているPTS情報、DTS情報を蓄積処理手段12に記憶するように制御する受信時刻・PTS/DTS取得処理部32cと、を含んで構成される。
チャネル巡回制御部34は、時刻予測・チャネル選択手段20にて決定されたチャネル巡回順序(探索の結果)に基づいて、各々の時刻に符号化ストリーム受信手段10を各々のチャネルに合わせるようにチャネル巡回制御を行うものである。
チャネル巡回制御処理部34は、時刻予測・チャネル選択手段20にて代表画像収集対象チャネルから特定のチャネルを選択するように制御する時刻予測・チャネル選択処理部34aと、システム時計14を参照してシステム時刻を取得するシステム時刻取得処理部34bと、システム時刻取得処理部34bにて取得された前記システム時刻が、前記特定のチャネルにおけるフレーム内符号化ピクチャの符号の予測受信時刻であるか否かを判定制御する時刻判定処理部34cと、時刻判定処理部34cにて前記システム時刻が前記特定のチャネルにおけるフレーム内符号化ピクチャの符号の予測受信時刻であると判定された場合に、符号化ストリーム受信手段10を特定のチャネルに合わせて、該特定のチャネルにおける動画像ストリームの受信および出力を行う制御をするストリーム受信処理部34dと、これらの各部の制御を司るとともに実行手順を制御するモジュール制御部34eと、を含んで構成される。
ストリーム受信処理部34dでは、出力される出力動画像ストリームの符号は、フレーム内符号化ピクチャの符号を含んでいるため、当該出力動画像ストリームを受信した外部装置によって代表画像を生成することが可能である。
モジュール制御部34eは、ストリーム受信処理部34dでの該特定のチャネルにおける動画像ストリームの出力を行うと、再び、時刻予測・チャネル選択処理部34aを実行させて、時刻予測・チャネル選択手段20にて代表画像収集が未収集である代表画像収集対象チャネルから、他のチャネルを選択する制御を行う。
すなわち、モジュール制御部34eは、他のチャネルについても、時刻予測・チャネル選択処理部34a、システム時刻取得処理部34b、時刻判定処理部34c、ストリーム受信処理部34dをそれぞれ実行させて、該他のチャネルの代表画像を生成するように制御する。
このようにして、モジュール制御部34eは、代表画像収集対象チャネル全てに対してフレーム内符号化ピクチャの符号を含む動画像符号化ストリームの受信が行われ、全チャネルの代表画像を生成するようにすると、処理を完了する。
ここで、図1、図2、図3に示すブロック図における一部の各ブロックは、コンピュータが適宜なメモリに格納された各種プログラムを実行することにより、該プログラムにより機能化された状態を示すソフトウエアモジュール構成と考えることができる。すなわち、物理的構成は例えば一又は複数のCPU(或いは一又は複数のCPUと一又は複数のメモリ)等ではあるが、各部(手段)によるソフトウエア構成は、プログラムの制御によってCPUが発揮する複数の機能を、それぞれ複数の部(手段)による構成要素として表現したものである。
CPUがプログラムによって実行されている動的状態(プログラムを構成する各手順を実行している状態)を機能表現した場合、CPU内に各部(手段)が構成されることになる。プログラムが実行されていない静的状態にあっては、各手段の構成を実現するプログラム全体(或いは各手段の構成に含まれるプログラム各部)は、メモリなどの記憶領域に記憶されている。
以上に示した各部(手段)の説明は、プログラムにより機能化されたコンピュータをプログラムの機能と共に説明したものと解釈することも出来るし、また、固有のハードウエアにより恒久的に機能化された複数の電子回路ブロックからなる装置を説明したものとも解釈することが出来ることは、当然である。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現でき、いずれかに限定されるものではない。
上述のような構成を有する動画像受信装置1の制御手段30は、概略以下のように動作する。すなわち、制御手段30の時刻情報取得制御部32は、符号化ストリーム受信処理部32aを実行させ、符号化ストリーム受信手段10にて動画像符号化ストリームの符号を受信するように制御する。
続いて、制御手段30の時刻情報取得処理部32は、符号化ピクチャ符号判定処理部32bを実行させ、符号化ストリーム受信手段10にて受信された前記動画像符号化ストリーム内にフレーム内符号化ピクチャの符号があるか否かを判定する。
そして、フレーム内符号化ピクチャ符号判定処理部32bにて前記フレーム内符号化ピクチャの符号があると判定された場合には、制御手段30の時刻情報取得制御部32は、受信時刻・PTS/DTS取得処理部32cを実行させ、システム時計14を参照して当該フレーム内符号化ピクチャの符号受信時刻を取得し、該符号受信時刻を蓄積処理手段12に記憶するとともに、前記動画像符号化ストリームに含まれる前記フレーム内符号化ピクチャに付与されているPTS情報、DTS情報を蓄積処理手段12に記憶するように制御する。
また、制御手段30の時刻情報取得制御部32は、前記判定にて符号がない場合、前記蓄積処理手段12への記憶制御処理が終了した場合には、ピクチャ符号判定処理部32bを実行させ、符号化ストリーム受信手段10にて同一チャネル乃至異なるチャネルにおいて次の動画像ストリームの受信を行うように制御する。
次に、制御手段30のチャネル巡回制御部34は、モジュール制御部34eにより、時刻予測・チャネル選択処理部34aを実行させ、時刻予測・チャネル選択手段120にて代表画像収集対象チャネルから特定のチャネルを選択するように制御する。
さらに、制御手段30のチャネル巡回制御部34は、モジュール制御部34eにより、システム時刻取得処理部34bを実行させ、システム時計14を参照してシステム時刻を取得する制御を行う。
また、制御手段30のチャネル巡回制御部34は、モジュール制御部34eにより、時刻判定処理部34cを実行させ、システム時刻取得処理部34bにて取得された前記システム時刻が、前記特定のチャネルにおけるフレーム内符号化ピクチャの符号の予測受信時刻であるか否かを判定制御する。
そして、制御手段30のチャネル巡回制御部34は、モジュール制御部34eにより、ストリーム受信処理部34dを実行させ、時刻判定処理部34cにて前記システム時刻が前記特定のチャネルにおけるフレーム内符号化ピクチャの符号の予測受信時刻であると判定された場合に、符号化ストリーム受信手段10を特定のチャネルに合わせて、該特定のチャネルにおける動画像ストリームの受信および出力を行う制御をする。これにより、出力される出力動画像ストリームの符号は、フレーム内符号化ピクチャの符号を含んでいるため、当該出力動画像ストリームを受信した外部装置によって代表画像を生成できる。
(処理手順について)
次に、上述のような構成を有する動画像受信装置1における各種の処理手順について、図7及び図8を参照しつつ説明する。図7は、本実施の形態による動画像受信装置の全体の処理手順の一例を示すフローチャートである。図8は、本実施の形態による動画像受信装置の詳細な処理手順の一例を示すフローチャートである。
先ず、全体処理から説明し、続いて各詳細処理(符号受信時刻予測ステップ、チャネル選択制御ステップ、巡回制御ステップ)について説明する。
(全体処理)
前記動画像ストリームは、図1の符号化ストリーム受信手段10により動画像受信装置1に受信される(図7に示すステップS101)。そして、前記ストリーム中の符号内にフレーム内符号化ピクチャの符号が存在すれば(図7に示すステップS102)、当該フレーム内符号化ピクチャの符号の受信時刻がシステム時計14を参照して取得され、前記受信時刻および前記ピクチャのPTSは蓄積処理手段12に記憶される(図7に示すステップS103)。
そして、図1の時刻予測・チャネル選択手段20は、蓄積処理手段12に記憶された図6の値から、前記代表画像収集対象チャネルの各々に対して現在時刻以降のフレーム内符号化ピクチャの受信時刻を予測して、当該予測受信時刻に基づき符号化ストリーム受信手段10を合わせるチャネルを選択する(図7に示すステップS104)。
本実施の形態では、時刻は秒単位で得られていると仮定するが、本発明の適用にあたっては時刻の単位時間および表記形式は限定しない。
また、図6に示す値は、前記符号化ストリーム受信手段10が、放送中のチャネルを適宜巡回することによって得られる値で、各チャネルにおいて全てのフレーム内符号化ピクチャについてその符号受信時刻とPTSが得られているわけではなく、例えば、図6のチャネル1において最初に符号受信時刻とPTS(0:00と0:05)が得られているフレーム内符号化ピクチャが図5のピクチャ「101」だとしても、2番目の符号受信時刻とPTS(0:11と0:17)が得られているフレーム内符号化ピクチャは図5の前記フレーム内符号化ピクチャ「101」に後続するフレーム内符号化ピクチャ「107」であるとは限らない。
(符号受信時刻予測ステップ)
ここで、ステップS104のさらに詳細な処理手順について、図8を参照しつつ説明する。
先ず、各前記再生時刻情報(PTS)の値の増分である前記再生時刻情報の間隔値(PTS間隔値)を予測し、この予測再生時刻情報間隔値と過去の前記再生時刻情報とに基づいて現在以降の前記フレーム内符号化ピクチャの前記再生時刻情報(PTS)を予測する第1の予測ステップ(例えば、図8に示すステップS210とステップS211とからなるステップ)を行う。
ここで、図6に示される各チャネルのフレーム内符号化ピクチャのPTSの値の増分を利用した前記PTS間隔値の予測手法の一例としては、増分の公約数を利用する手法が挙げられる。
すなわち、各チャネルのフレーム内符号化ピクチャのPTSの値の増分を利用して、該増分の公約数をフレーム内符号化ピクチャのPTSの間隔値として予測する(ステップS210)<PTS間隔値予測処理ステップないしはPTS間隔値予測機能>。
より具体的には、図6に示す例において、チャネル1に関しては、フレーム内符号化ピクチャのPTSの増分を算出すると、それぞれ、
0:17−0:05=0:12、
0:35−0:17=0:18、
0:59−0:35=0:24、
となる(ステップS210a)<PTS増分算出処理ステップないしはPTS増分算出機能>。
このため、前記増分の公約数を算出すると0:06となる(ステップS210b)<公約数算出処理ステップないしは公約数算出機能>。ここにおいて、公約数のうち0:06をフレーム内符号化ピクチャのPTSの間隔値として予測し、0:06が予測PTS間隔値となる。
ここで、本ステップS210におけるPTS間隔値予測処理は、一つのチャネルについて終了後、他のチャネルについて行う場合には、以降に示すステップS213終了後、改めてステップS210に戻り処理を行ってもよいし、本ステップS210にて他のチャネルについて繰り返し行ってもよい。
いずれにしても、前記チャネル1の場合と同様に、図6に示される例において、チャネル2に関して、ステップS210aのPTS増分算出処理ステップを行い、フレーム内符号化ピクチャのPTSの増分を算出すると、それぞれ、
0:10−0:03=0:07、
0:31−0:10=0:21、
0:45−0:31=0:14、
となる。このため、チャネル2に関して、ステップS210bの公約数算出処理ステップを行い、前記増分の公約数を算出すると0:07となる。従って、チャネル2に関しては、0:07がフレーム内符号化ピクチャの予測PTS間隔値となる。
同様に、図6に示される例において、チャネルmに関して、ステップS210aのPTS増分算出処理ステップを行い、フレーム内符号化ピクチャのPTSの増分を算出すると、それぞれ、
0:23−0:07=0:16、
0:35−0:23=0:12、
0:51−0:35=0:16、
となる。このため、チャネルmに関して、ステップS210bの公約数算出処理ステップを行い、前記増分の公約数を算出すると0:04となる。従って、チャネルmに関しては、0:04がフレーム内符号化ピクチャの予測PTS間隔値となる。
次に、直近の過去に記憶されたフレーム内符号化ピクチャのPTSに、前記PTS間隔値予測部22aでの予測PTS間隔値の自然数倍を加算することによって、現在時刻以降のフレーム内符号化ピクチャのPTSの予測値(予測PTS)を計算する(ステップS211)<PTS値予測処理ステップないしはPTS値予測機能>。
より具体的には、図6に示される例において、チャネル1に関しては、現在時刻を1:00とすると、直近の過去に記憶されたフレーム間符号化ピクチャのPTS(直近過去PTS)は、0:59であるから、PTS間隔の予測値0:06の自然数倍(n=1)を、直近過去PTSの0:59に加算すると、
0:59+0:06×1=1:05
となる(ステップS211a)<過去PTS加算処理ステップないし過去PTS加算機能>。この加算値1:05を予測PTSとする。
さらに、自然数倍(n=2)についても、ステップS211aの過去PTS加算処理ステップを行い、
0:59+0:06×2=1:11となり、1:11を予測PTSとする。
さらに、自然数倍(n=3)についても、ステップS211aの過去PTS加算処理ステップを行い、
0:59+0:06×3=1:17となり、1:17を予測PTSとする。
以降同様にして、自然数倍(n=k)となるまでステップS211aの過去PTS加算処理ステップを行う。例えば、自然数倍(n=k)において、予め設定された自然数倍まで予測PTSを算出したか否か判定を行う(ステップS211b)<設定自然数倍判定処理ステップないしは設定自然数倍判定機能>。
この判定処理において、自然数倍(n=k)において、予測PTSを算出していないものと判定された場合には、ステップS211aの過去PTS加算処理ステップを行い、この判定処理において、自然数倍(n=k)において、予測PTSを算出したものと判定された場合には、次のステップに進む。
同様に、図6に示される例において、チャネル2に関しては、現在時刻を1:00とすると、直近の過去に記憶されたフレーム間符号化ピクチャのPTS(直近過去PTS)は、0:45であるから、PTS間隔の予測値0:07の自然数倍(n=3)を、直近過去PTSの0:45に加算すると、
0:45+0:07×3=1:06
となる。この加算値1:06を予測PTSとする。
さらに、自然数倍(n=4)についても、ステップS211aの過去PTS加算処理ステップを行い、
0:45+0:07×4=1:13となり、1:13を予測PTSとする。
さらに、自然数倍(n=5)についても、ステップS211aの過去PTS加算処理ステップを行い、
0:45+0:07×5=1:20となり、1:20を予測PTSとする。
以降同様に算出していく。
同様に、図6に示される例において、チャネルmに関しては、現在時刻を1:00とすると、直近の過去に記憶されたフレーム間符号化ピクチャのPTS(直近過去PTS)は、0:51であるから、PTS間隔の予測値0:04の自然数倍(n=3)を、直近過去PTSの0:51に加算すると、
0:51+0:04×3=1:03
となる。この加算値1:03を予測PTSとする。
さらに、自然数倍(n=4)についても、ステップS211aの過去PTS加算処理ステップを行い、
0:51+0:04×4=1:07となり、1:07を予測PTSとする。
さらに、自然数倍(n=5)についても、ステップS211aの過去PTS加算処理ステップを行い、
0:51+0:04×5=1:11となり、1:11を予測PTSとする。
以降同様に算出していく。
以上まとめると、前記現在時刻を1:00とすると、チャネル1に対しては、前記予測PTSは1:05、1:11、1:17、・・・、となる。チャネル2に対しては、前記予測PTSは1:06、1:13、1:20、・・・、となる。チャネルmに対しては、前記予測PTSは1:03、1:07、1:11、・・・、となる。
次に、予測PTS間隔値に基づいて、符号受信時刻とPTSとの差分である予測差分値を予測し、この予測差分値から予測符号受信時刻を予測する第2の予測ステップ(例えば、図8に示すステップS212とステップS213とからなるステップ)を行う。
先ず、過去に受信されたフレーム内符号化ピクチャの符号の受信時刻とPTSから、現在以降に受信されるフレーム内符号化ピクチャの符号の受信時刻とPTSの差分を予測する(ステップS212)<受信時刻―PTS差分予測処理ステップないしは受信時刻―PTS差分予測機能>。
前記差分の予測方法の一例として、過去に受信されたフレーム内符号化ピクチャの符号受信時刻とPTSとの差分の平均値に特定のマージンを加えた値と、前記ステップS211にて算出された予測PTSと、の差によりフレーム内符号化ピクチャの符号受信時刻の予測値を算出する計算方法などが挙げられる。
この場合、前記第2の予測ステップでは、過去の前記符号受信時刻と前記再生時刻情報との差分の平均値に特定のマージンを加えた値を、現在以降に受信される前記フレーム内符号化ピクチャの前記符号受信時刻と前記再生時刻情報との差分であると予測することができるということもできる。
より具体的には、図6に示される例において、チャネル1に関して、フレーム内符号化ピクチャの符号受信時刻とPTSとの差分を算出すると、
0:05―0:00=0:05、
0:17―0:11=0:06、
0:35―0:31=0:04、
0:59―0:54=0:05、
となる<差分算出ステップないしは差分算出機能>。
そして、これらの各差分の平均値を算出すると、
(0:05+0:06+0:04+0:05)/4=0:05となる(ステップS211a)<差分平均値算出処理ステップないしは差分平均値算出機能>。
さらに、本実施の形態での前記差分平均値に加える特定のマージンを0:01とする(ステップS211b)<マージン設定処理ステップないしはマージン設定処理機能>。
従って、チャネル1に関し、前記予測PTSと、前記ステップS212aの差分平均値と、前記ステップS211bの特定マージンとに基づいて、フレーム内符号化ピクチャの符号受信時刻の予測値を計算すると、
1:05−(0:05+0:01)=0:59、
1:11−(0:05+0:01)=1:05、
1:17−(0:05+0:01)=1:11、・・・、
となる(ステップS213)<受信時刻予測値算出処理ステップないしは受信時刻予測値算出機能>。
このため、現在(1:00)以降のフレーム内符号化ピクチャの符号受信時刻の予測値は、1:05+0:06×(n−1)(nは自然数)である。
同様に、図6に示される例において、チャネル2に関して、ステップS211aの差分平均値算出処理ステップを行う。先ず、フレーム内符号化ピクチャの符号受信時刻とPTSとの差分を算出すると、
0:03―0:01=0:02、
0:10―0:07=0:03、
0:31―0:28=0:03、
0:45―0:41=0:04、
となる。
そして、これらの各差分の平均値を算出すると、
(0:02+0:03+0:03+0:04)/4=0:03となる。
ここで、本実施の形態での前記差分平均値に加える特定のマージンを0:01とする。
従って、チャネル2に関し、前記予測PTSと、前記ステップS212aの差分平均値と、前記ステップS211bの特定マージンとに基づいて、フレーム内符号化ピクチャの符号受信時刻の予測値を計算するステップS213の受信時刻予測値算出処理ステップを行うと、
1:06−(0:03+0:01)=1:02、
1:13−(0:03+0:01)=1:09、
1:20−(0:03+0:01)=1:16、・・・、
となる。
このため、現在以降のフレーム内符号化ピクチャの符号受信時刻の予測値は、1:02+0:07×(n−1)(nは自然数)である。
同様に、図6に示される例において、チャネルmに関して、ステップS211aの差分平均値算出処理ステップを行う。先ず、フレーム内符号化ピクチャの符号受信時刻とPTSとの差分を算出すると、
0:07―0:03=0:04、
0:23―0:18=0:05、
0:35―0:31=0:04、
0:51―0:48=0:03、
となる。
そして、これらの各差分の平均値を算出すると、
(0:04+0:05+0:04+0:03)/4=0:04となる。
ここで、本実施の形態での前記差分平均値に加える特定のマージンを0:01とする。
従って、チャネルmに関し、前記予測PTSと、前記ステップS212aの差分平均値と、前記ステップS211bの特定マージンとに基づいて、フレーム内符号化ピクチャの符号受信時刻の予測値を計算するステップS213の受信時刻予測値算出処理ステップを行うと、
1:03−(0:04+0:01)=0:58、
1:07−(0:04+0:01)=1:02、
1:11−(0:04+0:01)=1:06、・・・、
となる。
このため、現在以降のフレーム内符号化ピクチャの符号受信時刻の予測値は、1:02+0:04×(n−1)(nは自然数)である。
このようにして、各チャネルに対して、予測符号受信時刻を算出することになる。そして、例えば、予測値を算出していない他のチャネルがあるか否かを判定する(ステップS214)<予測符号受信時刻算出可否判定処理ステップないしは予測符号受信時刻算出可否判定機能>。
この判定処理において、予測符号受信時刻が算出されていない他のチャネルがある場合には、ステップS210に戻り、各ステップを処理することとなる。一方、この判定処理において、予測符号受信時刻が算出されていない他のチャネルがない場合には、次のステップに進む。
ここで、このような(他のチャネルについて処理がなされたか否かを判定する)判定処理を、ステップS213の後段に入れるのは一例であって、他の種々の手法があることは言うまでもない。例えば、ステップS210の後段、ステップS211の後段、ステップS212の後段、ステップS213の後段のそれぞれに処理を行う場合であってもよいし、さらに、ステップS210aの後段、ステップS210bの後段、ステップS211aの後段、ステップS211bの後段、ステップS212aの後段、ステップS212bの後段、ステップS213の後段、のそれぞれに処理を行う場合であってもよい。
(チャネル選択制御ステップ)
次に、各チャネル毎の予測符号受信時刻に基づいて、チャネル巡回順序を選択決定するための選択制御ステップの詳細処理について説明する。
チャネル選択制御ステップでは、前記符号受信時刻予測ステップにて予測された予測符号受信時刻に基づき、代表画像収集対象チャネル巡回時間が最短になるように当該チャネル巡回順序を決定しチャネル選択を行うようする(ステップS215とステップS216よりなるステップ)。
先ず、時刻予測・チャネル選択手段20は、前記フレーム内符号化ピクチャの予測受信時刻に基づき、代表画像収集対象チャネル巡回時間が最短になるように、チャネル巡回順序を決定し、その巡回順序にてチャネル選択を行う(ステップS215)<チャネル巡回順序決定処理ステップないしはチャネル巡回順序決定処理機能>。
当該チャネル巡回順序を決定する手法としては、例えば組合せ最適化アルゴリズムなどを用いて決定することができる。
本実施の形態では、代表画像収集対象チャネルの選択を繰り返すことによって、深さ優先探索を行うことによりチャネル巡回順序の近似解を求める。
さらに、チャネル選択制御ステップでは、前記予測符号受信時刻に基づいて、チャネル選択順序に対して評価値を計算し、前記評価値の高いものから順にチャネルを選択するものであり、前記評価値を、収集される代表画像の即時性あるいは収集時間に基づいて計算することによりチャネルの選択順序を決定するようにしている。また、チャネル選択制御ステップでは、前記評価値を前記チャネルを巡回する巡回所要時間として計算するようにしている。
前記深さ優先探索において、次に巡回されるチャネルを選択するときに、各未選択チャネルCHに対して、以下に示す評価関数F1[第1の評価関数]

F1(CH)=T_I(CH,T_P)−T_P・・・[第1の評価関数]

を計算する(ステップS215a)<第1の評価関数演算処理ステップないしは第1の評価関数演算機能>。
ここで、T_Pは、直前に選択されたチャネルにおけるフレーム内符号化ピクチャの予測符号受信時刻である。また、最初の巡回チャネルを選択するときは、T_Pを現在時刻とする。さらに、T_I(CH,T_P)は、チャネルCHにおいて前記時刻T_P以降に受信されるフレーム内符号化ピクチャの予測符号受信時刻である。
次の巡回対象チャネルを選択する際には、前記ステップS215の第1の評価関数演算処理ステップでの各チャネル毎の第1の評価関数F1(1)、F1(2)、・・・、F1(m)の演算結果に基づいて、F1(1)、F1(2)、・・・、F1(m)の値が最小値となる未選択チャネルを選択する(ステップS215b)<第1のチャネル選択処理ステップないしは第1のチャネル選択機能>。
第1の評価関数F1(1)、F1(2)、・・・、F1(m)の値が、最小となる未選択チャネルが複数存在するか否かを判定する(ステップS215c)<最小値チャネル数判定処理ステップないしは最小値チャネル数判定機能>。
このステップS215cにおいて、第1の評価関数F1が最小となる未選択チャネルが複数存在しないと判定された場合には、ステップS215fに進む。一方、ステップS215cにおいて、第1の評価関数F1が最小となる未選択チャネルが複数存在すると判定された場合には、以下に示す評価関数F2[第2の評価関数]

F2(CH)=T_II(CH,T_P)・・・[第2の評価関数]

を計算する(ステップS215c)<第2の評価関数演算処理ステップないしは第2の評価関数演算機能>。
ここで、T_II(CH,T_P)は、チャネルCHにおいて前記時刻T_P以降に受信されるフレーム内符号化ピクチャの2枚目の予測符号受信時刻である。
第1の評価関数F1が最小値となる複数の未選択チャネルのうち、第2の評価関数F2が最大値となるチャネルを選択する(ステップS215d)<第2のチャネル選択処理ステップないしは第2のチャネル選択機能>。
このようにして、第1の評価関数F1、第2の評価関数F2の演算結果に基づき、最終的なチャネル巡回順序を決定する処理を行う(ステップS215f)<順序決定処理ステップないしは順序決定機能>。
より具体的には、まず、符号化ストリーム受信手段10が最初に合わせるチャネルを決定する。
すなわち、前記ステップS213において、時刻予測・チャネル選択手段20にて得られた予測結果が、
チャネル1については1:05+0:06×(n−1)(nは自然数)、
チャネル2については1:02+0:07×(n−1)(nは自然数)、
チャネルmについては1:02+0:04×(n−1)(nは自然数)、
である。
このため、前記ステップS215aにおいて算出された第1の評価関数F1の値は、
F1(1)=0:05、
F1(2)=0:02、
F1(m)=0:02
となる。
ここで、F1(2)=F1(m)であるため、前記ステップS215dにおいてチャネル2とチャネルmについて第2の評価関数F2の値を計算すると、
F2(2)=1:09、
F2(m)=1:06
となる。この際、F2(2)>F2(m)であるため、最初に合わせるチャネルをチャネル2と決定する。
次に、符号化ストリーム受信手段10を、2番目に合わせるチャネルを選択する。
未選択であるチャネル1およびチャネルmに対してステップS215aにおいて第1の評価関数F1の値を計算すると、
F1(1)=0:03、
F1(m)=0:04
となる。
この際、F1(1)<F1(m)であるため、2番目に合わせるチャネルをチャネル1と決定する。
従って、ステップS215fにおいて、最終的な巡回順序は、チャネル2、チャネル1、チャネルmの順となる。
(巡回制御ステップ)
上記の探索の結果から、時刻1:02、1:05、1:06に、符号化ストリーム受信手段10をそれぞれチャネル2、チャネル1、チャネルmに合わせるようにチャネル巡回を行い、チャネルを順序選択する(ステップS216)<チャネル選択処理ステップないしはチャネル選択処理機能>。
本ステップでは、巡回のために、一のチャネルが選択されると、その一のチャネルについて図7に示すステップS104、S105、S106、S107を繰り返し、次に選択される他のチャネルについて、図7に示すステップS104、S105、S106、S107を繰り返し、以降同様にして各チャネルに対して処理が繰り返されるものである。
まず、時刻予測・チャネル選択手段20は、代表画像収集対象チャネルからチャネル2を選択する(図7のステップS104)。
当該代表画像受信装置である動画像受信装置1は、システム時計14を参照してシステム時刻を取得する(図7のステップS105)。
前記システム時刻がチャネル2におけるフレーム内符号化ピクチャの符号の予測受信時刻である1:02であるとき(図7のステップS106)、
時刻予測・チャネル選択手段20は、符号化ストリーム受信手段10をチャネル2に合わせて、チャネル2における動画像ストリームの受信および出力を行い(図7のステップS107)、ステップS104に戻る。
前記出力動画像ストリームの符号はフレーム内符号化ピクチャの符号を含んでいるため、当該出力動画像ストリームを受信した外部装置によって代表画像を生成することが可能である。
次に、代表画像収集未収集の代表画像収集対象チャネルから、チャネル1を選択する(図7のステップS104)。
当該代表画像受信装置である動画像受信装置1は、システム時計14を参照してシステム時刻を取得する(図7のステップS105)。
前記システム時刻がチャネル1におけるフレーム内符号化ピクチャの符号の予測受信時刻である1:05であるとき(図7のステップS106)、時刻予測・チャネル選択手段20は、符号化ストリーム受信手段10をチャネル1に合わせて、チャネル1における動画像ストリームの受信および出力を行い(図7のステップS107)、ステップS104に戻る。
次に、代表画像収集未収集の代表画像収集対象チャネルから、チャネルmを選択する(図7のステップS104)。当該代表画像受信装置である動画像受信装置1は、システム時計14を参照してシステム時刻を取得する(図7のステップS105)。
前記システム時刻がチャネルmにおけるフレーム内符号化ピクチャの符号の予測受信時刻である1:06であるとき(図7のステップS106)、時刻予測・チャネル選択手段20は、符号化ストリーム受信手段10をチャネルmに合わせて、チャネルmにおける動画像ストリームの受信および出力を行い(図7のステップS107)、ステップS104に戻り、代表画像収集対象チャネル全てに対してフレーム内符号化ピクチャの符号を含む動画像符号化ストリームの受信が行われたため、処理を完了する。
(効果について)
以上のように本実施の形態によれば、前記第1の実施の形態と同様の作用効果を奏することができる。
ここで、本実施の形態の動画像受信装置を用いることなく、チャネル番号順にチャネル1、チャネル2、チャネルmの順に代表画像生成に利用できる単独で復号化が可能なフレーム内符号化ピクチャを得る場合、前記フレーム内符号化ピクチャの符号が予測時刻に受信される場合では、前記フレーム内復号化ピクチャの符号の受信時刻は1:05、1:09、1:10となり、代表画像収集命令入力から10秒を要する。
これに対して本実施の形態の動画像受信装置を用いる場合は、代表画像収集命令から6秒で代表画像収集を完了しており、本実施例では代表画像収集時間の4秒の短縮が実現されている。
本実施の形態では、多チャネル化による各チャネルの放送内容の専門化により放送内容のジャンルが既知であるが前記放送内容の詳細が不明であるときに、放送中のチャネルのうち代表画像収集対象チャネルを指定することによって、動画像受信装置100により代表画像収集を行う視聴者の意図を反映しつつ代表画像収集に要する時間の短縮と動画像ストリーム受信手段数の抑制と動画像ストリームの伝送路の必要帯域幅を抑制する効果が得られる。
過去に受信されたフレーム内符号化ピクチャのPTSの履歴と同一動画像ストリーム内の隣接するフレーム内符号化ピクチャのPTSの間隔値が一定であることから現在以降のフレーム内符号化ピクチャのPTSを正確に予測して、過去に受信されたフレーム内符号化ピクチャの符号受信時刻とPTSの履歴から現在以降のフレーム内符号化ピクチャの符号受信時刻とPTSの差分を予測して、前記予測PTSから前記予測差分を減じることで現在以降のフレーム内符号化ピクチャの符号受信時刻を予測することによって、現在以降のフレーム内符号化ピクチャの符号受信時刻の予測の高い正確性を実現する効果が得られる。
現在以降のフレーム内符号化ピクチャのPTSの予測において過去に受信されたフレーム内符号化ピクチャのPTSの増分の公約数を用いることで、前記履歴内に同一動画像ストリーム内の隣接するフレーム内符号化ピクチャのPTSが得られていなくても、同一動画像ストリーム内の時間的に隣接するフレーム内符号化ピクチャのPTSの間隔値を高い正確度で予測することができる効果が得られる。
現在以降のフレーム内符号化ピクチャの符号受信時刻とPTSの差分の予測で、過去に受信されたフレーム内符号化ピクチャの符号受信時刻とPTSの差分の平均値に所定のマージンを加えることで、前記予測を正確に行うとともに、現在以降のフレーム内符号化ピクチャの予測符号受信時刻より前に前記ピクチャの符号が当該動画像受信装置に到達してしまい受信を試みたフレーム内符号化ピクチャを逃してしまう確率の低減を実現する効果が得られる。
前記予測符号受信時刻に符号化ストリーム受信手段のチャネルを合わせることで、チャネル合わせからフレーム内符号化ピクチャの符号受信までの時間を短縮する効果が得られる。
さらに、前記予測符号受信時刻から代表画像収集対象チャネルの巡回順序を組合せ最適化アルゴリズムによって決定することによって、代表画像収集のためのチャネル巡回に要する時間を短縮する効果が得られる。
本実施の形態では、組合せ最適化のためにフレーム内符号化ピクチャの予測符号受信時刻から計算される評価関数に基づく深さ優先探索を用いたが、シミュレーティッド・アニーリング法や遺伝アルゴリズムなどの組合せ最適化手法を用いることも可能である。
また、動画像受信装置として、複数のチャネルで伝送された動画像ストリームを、チャネルを切り替えながら断片的に受信し、特にフレーム間予測符号化された動画像ストリームが伝送される場合に、受信手段に要求される処理能力や通信量を増やさずに、短時間で各チャネルのストリームを受信することができる。
時間間隔の周期性を有するPTS或いはDTSを考慮して、フレーム内符号化ピクチャの符号受信時刻の予測を行うので、フレーム内符号化ピクチャの符号受信時刻のみにより予測する場合に比して予測精度の向上を図ることができる。
その他の構成およびその他のステップ並びにその作用効果については、前述した第1の実施の形態の場合と同一となっている。また、上記の説明において、上述した各ステップの動作内容及び各部の構成要素をプログラム化し、コンピュータに実行させてもよい。
[第3の実施の形態]
次に、本発明にかかる第3の実施の形態について、図9に基づいて説明する。以下には、前記第1の実施の形態の実質的に同様の構成に関しては説明を省略し、異なる部分についてのみ述べる。図9は、本発明の動画像受信装置の第3の実施の形態の一例を示すブロック図である。
本実施の形態では、第2の予測部124においてヒストグラムを利用して予測を行い、チャネル選択部126においては、前記第1、第2の評価関数に加えて第3の評価関数を用いてチャネル選択を行う構成としている。以下、これを詳述する。
(構成について)
先ず、動画像受信装置1の詳細構成を、図9に基づいて説明する。図9は、本実施形態の動画像受信装置における時刻予測・チャネル選択手段の詳細構成の一例を示すブロック図である。
本実施の形態の動画像受信装置は、図1における時刻予測・チャネル選択手段20が図9に示す時刻予測・チャネル選択手段120として構成される場合の例を開示しており、他の各部の構成は、前記第1の実施の形態と同一となっている。
(時刻予測・チャネル選択手段)
図9において、時刻予測・チャネル選択手段120は、第1の予測部122と、第2の予測部124と、予測演算モジュール制御部125と、チャネル選択部126と、を含んで構成されている。
第1の予測部122は、過去の前記再生時刻に基づいて、現在以降の前記フレーム内符号化ピクチャの前記再生時刻を予測するものである。
また、第1の予測部122は、各前記再生時刻情報の値の増分の最小値を、前記再生時刻情報の間隔値として予測し、この予測再生時刻情報間隔値と最後に受信された前記フレーム内符号化ピクチャの前記再生時刻情報とに基づいて現在以降の前記フレーム内符号化ピクチャの前記再生時刻情報を予測するものである。この第1の予測部122は、第1の予測手段ということもできる。
より具体的には、第1の予測部22は、特定のチャネルにおいて、過去に受信したフレーム内符号化ピクチャのPTSの値の増分を利用して、該増分の最小値をフレーム内符号化ピクチャのPTSの間隔値として予測するPTS間隔値予測部122aと、
直近の過去に記憶された(最後に受信された)フレーム内符号化ピクチャのPTSに、前記PTS間隔値予測部122aでのPTSの間隔値の自然数倍を加算することによって、現在時刻以降のフレーム内符号化ピクチャのPTSの予測値を計算するPTS値予測部122bと、を含んで構成される。
PTS間隔値予測部122aは、各チャネルのフレーム内符号化ピクチャのPTSの値の増分を算出するPTS増分算出部122a―1と、PTS増分算出部122a―1にて算出された各増分のうち最小値となる数値(予測PTS間隔値)を算出する最小値算出部122a−2と、を含んで構成される。
PTS値予測部122bは、如何なる自然数倍までの予測値を算出するのかに関し自然数倍を決定する自然数倍決定部と、最小値算出部122aにて算出された最小値の数値(予測PTS間隔値)に自然数倍決定部にて決定された自然数倍を乗じ、これに過去に記憶されたフレーム内符号化ピクチャのPTS値を加算する過去PTS加算部と、を含んで構成される。
第2の予測部124は、第1の予測部122にて予測された予測再生時刻に基づいて、前記符号受信時刻を予測するものである。
また、第2の予測部124は、過去に受信された前記フレーム内符号化ピクチャの前記符号受信時刻と前記再生時刻情報とに基づいて、現在以降に受信される前記フレーム内符号化ピクチャの前記符号受信時刻と前記再生時刻情報との差分を予測し、この予測した差分と前記第1の予測部122にて予測された前記再生時刻情報とに基づいて、現在以降の前記フレーム内符号化ピクチャの前記符号受信時刻を予測するものである。
さらに、第2の予測部124は、過去の前記符号受信時刻と前記再生時刻情報との差分のヒストグラムを生成し、このヒストグラムのうち累積確率が特定のパーセント以上となるパーセント点の階級を選択し、この階級の代表値を、現在以降に受信される前記フレーム内符号化ピクチャの前記符号受信時刻と前記再生時刻情報との差分であると予測するものである。この第2の予測部124は、第2の予測手段ということもできる。
第2の予測部124は、過去に受信されたフレーム内符号化ピクチャの符号の符号受信時刻とPTSから、現在以降に受信されるフレーム内符号化ピクチャの符号の符号受信時刻とPTSの差分を予測する受信時刻―PTS差分予測部124aと、受信時刻―PTS差分予測部124aにて算出された予測差分値と、現在時刻以降のフレーム内符号化ピクチャのPTSの予測値と、によりフレーム内符号化ピクチャの符号受信時刻の予測値を算出する受信時刻予測値算出部124bと、を含んで構成される。
受信時刻―PTS差分予測部124aは、過去に受信されたフレーム内符号化ピクチャの符号の符号受信時刻とPTSの差分のヒストグラムを演算生成する差分ヒストグラム演算部124a―1と、前記差分ヒストグラム演算部124a―1にて演算生成されたヒストグラムのうち累積確率が特定のパーセント以上となるパーセント点の階級を選択するための演算を行うパーセント点演算部124a―2と、前記パーセント点演算部124a―2にて演算されたパーセント点の階級の代表値を算出し、この代表値を現在以降に受信される前記フレーム内符号化ピクチャの前記符号受信時刻と前記再生時刻情報との差分であると予測する予測差分値決定部124a―3と、を含んで構成される。
予測演算モジュール制御部125は、各部の実行手順を制御するものである。例えば、一つのチャネルに対してフレーム内符号化ピクチャの符号受信時刻の予測値を算出する過程のうち例えば第2の予測部の演算を実行中に、他のチャネルに対してフレーム内符号化ピクチャの符号受信時刻の予測値を算出する過程のうち第1の予測部の演算を行うように制御する機能が想定される。
チャネル選択部126は、符号受信時刻予測手段に含まれる第2の予測部124にて予測された予測符号受信時刻に基づき、代表画像収集対象チャネル巡回時間が最短になるように当該チャネル巡回順序を決定しチャネル選択を行うものである。このチャネル選択部126は、チャネル選択制御手段ということもできる。
また、チャネル選択部126は、代表画像収集対象チャネルの選択を繰り返して深さ優先探索を行うことによりチャネル巡回順序の近似解を求めることができる。チャネル選択部126は、前記予測符号受信時刻に基づいて、チャネル選択順序に対して評価値を計算し、前記評価値の高いものから順にチャネルを選択するものであり、前記評価値を、収集される代表画像の即時性あるいは収集時間に基づいて計算することによりチャネルの選択順序を決定することができる。その際に、チャネル選択部126は、前記評価値を前記チャネルを巡回する巡回所要時間として計算することができる。
チャネル選択部126は、予測符号受信時刻に基づき代表画像収集対象チャネルのチャネル巡回順序を決定するチャネル巡回順序決定処理部126aと、チャネル巡回順序決定処理部26aにて決定されたチャネル巡回順序に基づいて、チャネル巡回に必要な処理を行うチャネル選択処理部126bと、を含んで構成される。
チャネル巡回順序決定処理部126aは、未選択チャネルの巡回順序を決定するための第3の評価関数F3を演算する第3の評価関数演算部126a―5と、第3の評価関数F3の演算結果が同一となる複数の未選択チャネルがある場合に、同一値となるチャネルの中で巡回順序を決定するための第1の評価関数F1を演算する第1の評価関数演算部126a―1と、前記第1の評価関数演算部126a―1にて演算された第1の評価関数演算結果に基づいて、第3の評価関数F3の演算結果が同一値となるチャネルの中から巡回順序の優先度を決定する選択制御を行う第1の未選択チャネル選択部126a―2と、を含んで構成される。
また、チャネル巡回順序決定処理部126aは、第1の評価関数F1の演算結果が同一となる複数の未選択チャネルがある場合に、同一値となるチャネルの中で巡回順序の優先度を決定するための第2の評価関数F2を演算する第2の評価関数演算部126a―3と、前記第2の評価関数演算部126a―3にて演算された第2の評価関数演算結果に基づいて、第3の評価関数F3の演算結果が同一であって、第1の評価関数F1の演算結果が同一値となるチャネルの中から巡回順序を決定する選択制御を行う第2の未選択チャネル選択部126a―4と、を含んで構成される。
さらに、チャネル巡回順序決定処理部126aは、第3の評価関数演算部126a―5にて演算された第3の評価関数F3の演算結果に基づいて、チャネル巡回順序の優先度を各未選択チャネルに割り当てるとともに、第3の評価関数F3による優先度と、第1の未選択チャネル選択部126a―2の優先度と、第2の未選択チャネル選択部126a―4の優先度とを総合的に考慮して、最終的な巡回順序の優先度を決定するチャネル優先度決定部126a―6と、これらの各部の実行手順の制御を行うチャネル決定処理制御部126a―7と、を含んで構成される。
第3の評価関数演算部126a―5は、代表画像収集対象チャネルCHに関して、フレーム内符号化ピクチャのPTS(又はDTS)と現在時刻との差分に基づいて、以下のように定義される第3の評価関数F3(CH)を演算する。
すなわち、特定のチャネル(CH)における第3の評価関数F3(CH)は、
代表画像収集が過去に行われていない場合には、F3(CH)=∞ とし、
代表画像収集が過去に行われた場合には、F3(CH)=T_C−T_Prv(CH)
と定義する。
ここで、T_Cは、現在時刻を示す。T_Prv(CH)は、チャネルCHにおいて過去に収集された代表画像のPTS(又はDTS)を示す。
チャネル優先度決定部126a―6は、第3の評価関数F3(CH)、前記第1の評価関数F1(CH)、及び前記第2の評価関数F2(CH)を用いて設定される優先度の高い順にチャネルを選択する。より詳細には、チャネルCHにおける優先度P(CH)は、F3(CH)の大きいチャネルほど高くなるように設定され、F3(CH)が同一の値のチャネルが複数存在する場合は、F1(CH)の大きいチャネルほど高くなるように設定される。さらに、F1(CH)が同一の値のチャネルが複数存在する場合は、F2(CH)の大きいチャネルほど高くなるように設定される。
このように、チャネル選択部126は、チャネル選択制御手段ということもできる。このチャネル選択制御手段は、前記フレーム内符号化ピクチャの前記予測再生時刻情報又は復号時刻情報と現在時刻との差分に基づいて、現在時刻をT_C、チャネル(CH)において過去に収集された代表画像の前記フレーム内符号化ピクチャの前記予測再生時刻情報又は復号時刻情報をT_Prv(CH)とすると、代表画像収集対象チャネル(CH)に対して第3の評価関数F3(CH)を、代表画像収集が過去に行われた場合、F3(CH)=T_C−T_Prv(CH)とし、代表画像収集が過去に行われていない場合、F3(CH)=∞として算出し、前記第3の評価関数F3の演算結果の値が大きいものをチャネル選択の優先度の高いものとして設定し、該優先度の高い順に前記チャネルを選択制御するものである。
また、前記チャネル選択制御手段は、前記第3の評価関数F3の演算結果が同一となるチャネルが複数存在する場合、前記第1の評価関数F1の大きいチャネルほど前記優先度が高くなるように設定するものである。
さらに、前記チャネル選択制御手段は、前記第3の評価関数F3を用いて前記優先度を設定する際に、前記第1の評価関数F1の演算結果が同一となるチャネルがさらに複数存在する場合、前記第2の評価関数F2の演算結果の大きいチャネルほど前記優先度が高くなるように設定するものである。
上述のような構成を有する動画像受信装置1の時刻予測・チャネル選択手段20は、概略以下のように動作する。すなわち、時刻予測・チャネル選択手段120の予測演算モジュール制御部125は、一つのチャネルに対して第1の予測部122、第2の予測部124を実行させ、フレーム内符号化ピクチャの予測符号受信時刻、予測PTSを算出する。同様に、予測演算モジュール制御部125は、他のチャネルに対して第1の予測部122、第2の予測部124を実行させ、フレーム内符号化ピクチャの予測符号受信時刻、予測PTSを算出する。
具体的には、第1の予測部122は、PTS間隔値予測部122aを実行させ、フレーム内符号化ピクチャのPTSの値の増分を利用して、該増分の最小値をフレーム内符号化ピクチャのPTSの間隔値として予測する。
続いて、第1の予測部122は、PTS値予測部122bを実行させ、直近の過去に記憶されたフレーム内符号化ピクチャのPTSに、前記PTS間隔値予測部122aでのPTSの間隔値の自然数倍を加算することによって、現在時刻以降のフレーム内符号化ピクチャのPTSの予測値を計算する。
さらに、第2の予測部124は、受信時刻―PTS差分予測部124aを実行させ、過去に受信されたフレーム内符号化ピクチャの符号の符号受信時刻とPTSから、現在以降に受信されるフレーム内符号化ピクチャの符号の符号受信時刻とPTSの差分を予測する。
具体的には、第2の予測部124の受信時刻―PTS差分予測部124aは、過去の前記符号受信時刻と前記再生時刻情報との差分のヒストグラムを生成し、このヒストグラムのうち累積確率が特定のパーセント以上となるパーセント点の階級を選択し、この階級の代表値を、現在以降に受信される前記フレーム内符号化ピクチャの前記符号受信時刻と前記再生時刻情報との差分であると予測する。
そして、第2の予測部124の受信時刻予測値算出部124bは、受信時刻―PTS差分予測部124aにて算出された予測差分値を自然数倍した値と、現在時刻以降のフレーム内符号化ピクチャのPTSの予測値に加算することによりフレーム内符号化ピクチャの符号受信時刻の予測値を算出する。
このようにして、各チャネル毎に、フレーム内符号化ピクチャの予測符号受信時刻、予測PTSが算出されると、時刻予測・チャネル選択手段120は、チャネル選択部126を実行させ、チャネル巡回順序の決定を行う。
具体的には、チャネル選択部126のチャネル巡回順序決定処理部126aは、チャネル決定処理制御部126a―7を実行させ、先ず、各チャネルについて第3の評価関数演算部126a―5により第3の評価関数F3を演算し、チャネル優先度決定部126a―6により、各チャネルの各第3の評価関数F3の値のうち大きい値のチャネルほど高い優先度を割り当てるようにする。
この際、チャネル決定処理制御部126a―7は、チャネル優先度決定部126a―6により第3の評価関数F3の値が同一となる複数のチャネルが存在することが判明した場合には、第1の評価関数演算部126a―1を実行させ、前記同一となる複数のチャネルについて第1の評価関数F1を算出させる。
そして、チャネル決定処理制御部126a―7は、第1の未選択チャネル選択部126a―2を実行させ、第1の評価関数F1が最小となるチャネルを最初に選択されるべきチャネルとしとて優先度を決定する。
この際、チャネル決定処理制御部126a―7は、第1の未選択チャネル選択部126a―2により第1の評価関数F1の値が同一となる複数のチャネルが存在することが判明した場合には、第2の評価関数演算部126a―3を実行させ、前記同一となる複数のチャネルについて第2の評価関数F2を算出させる。
そして、チャネル決定処理制御部126a―7は、第2の未選択チャネル選択部126a―4を実行させ、第2の評価関数F2が最大となるチャネルを最初に選択されるべきチャネルとしとて優先度を決定する。
このようにして、チャネル決定処理制御部126a―7は、チャネル優先度決定部126a―6を実行させ、第3の評価関数F3の演算結果による優先度とともに、第1の未選択チャネル選択部126a―2での優先度、第2の未選択チャネル選択部126a―4での優先度を考慮して、チャネル巡回順序における最終的な優先度の割り当て(巡回順序の決定)を行う。
(処理手順について)
次に、上述のような構成を有する動画像受信装置1における各種の処理手順について、図10乃至図13を参照しつつ説明する。図13は、本実施の形態による動画像受信装置の詳細な処理手順の一例を示すフローチャートである。
本実施の形態の処理手順において、全体処理は、前記第1の実施の形態と共通するので省略し、各詳細処理(予測ステップ、選択制御ステップ、巡回制御ステップ)について説明する。
ここで、本実施の形態における前提条件について説明する。図1の動画像受信装置1が、図4および図5のm個の動画像ストリーム例を受信しており(mは4以上の自然数)、代表画像収集対象チャネルがチャネル1、チャネル2、チャネル3、チャネルmに指定されているものとする。
また、前記動画像ストリームに対して図7のステップS101〜S103を適用した結果、当該動画像受信装置の蓄積処理手段12に記憶された過去のフレーム内符号化ピクチャの符号の受信時刻とPTSが図10のように得られているとする。
ここで、当該代表画像収集命令入力の時点での時刻を3:00として、当該時刻を現在時刻とする。
また、前記代表画像収集対象チャネルのうち、チャネル1、チャネル2、チャネルmは、図10において白抜きで示される受信時刻およびPTSのフレーム内符号化ピクチャが代表画像として過去に収集されており、チャネル3は過去に代表画像を収集されたことがないとする。
(符号受信時刻予測ステップ)
図7のステップS104におけるフレーム内符号化ピクチャ受信時刻予測・チャネル選択処理の詳細について、図13を参照しつつ説明する。
この符号受信時刻予測ステップでは、各前記再生時刻情報の値の増分の最小値を、前記再生時刻情報の間隔値として予測し、この予測再生時刻情報間隔値と最後に受信された前記フレーム内符号化ピクチャの前記再生時刻情報とに基づいて現在以降の前記フレーム内符号化ピクチャの前記再生時刻情報を予測するようにした第1の予測ステップ(図13に示すステップS310とステップS311よりなるステップ)を行う。
先ず、時刻予測・チャネル選択手段120が、代表画像収集対象チャネルの各々に対して、過去に受信したフレーム内符号化ピクチャのPTSから現在時刻以降に受信されるフレーム内符号化ピクチャのPTSを予測して、前記予測PTSから現在時刻以降に受信されるフレーム内符号化ピクチャの符号の受信時刻を予測する。
より詳細には、代表画像収集対象チャネルの各々に対しての現在時刻以降に受信されるフレーム内符号化ピクチャのPTSの予測手法としては、以下のような手法が挙げられる。例えば、過去に受信したフレーム内符号化ピクチャのPTSの増分の最小値を当該チャネルにおけるフレーム内符号化ピクチャのPTSの間隔値として予測して、当該PTS間隔値の自然数倍を、最後に受信されたフレーム内符号化ピクチャのPTSに加算する手法が挙げられる。
ここにおいて、各チャネルのフレーム内符号化ピクチャのPTSの値の増分を利用して、該増分の最小値をフレーム内符号化ピクチャのPTSの間隔値として予測する(ステップS310)<PTS間隔値予測処理ステップないしはPTS間隔値予測機能>。
より具体的には、図11に示す例において、チャネル1に関しては、フレーム内符号化ピクチャのPTSの増分を算出すると、それぞれ、
0:23−0:11=0:12、
0:47−0:23=0:24、
0:53−0:47=0:06、
0:59−0:53=0:06、
1:29−0:59=0:30、
1:53−1:29=0:24、
2:17−1:53=0:24、
2:35−2:17=0:18、
2:47−2:35=0:12、
となる(ステップS310a)<PTS増分算出処理ステップないしはPTS増分算出機能>。
このため、前記増分の最小値を算出すると0:06となる(ステップS310b)<最小値算出処理ステップないしは最小値算出機能>。ここにおいて、最小値の0:06をフレーム内符号化ピクチャのPTSの間隔値として予測し、0:06が予測PTS間隔値となる。
同様に、図11に示される例において、チャネル2に関して、ステップS310aのPTS増分算出処理ステップを行い、フレーム内符号化ピクチャのPTSの増分を算出すると、それぞれ、
0:34−0:13=0:21、
0:48−0:34=0:14、
1:44−0:48=0:58、
2:05−1:44=0:21、
2:12−2:05=0:07、
2:19−2:12=0:07、
2:33−2:19=0:14、
2:47−2:33=0:14、
3:01−2:47=0:14、
となる。このため、チャネル2に関して、ステップS310bの最小値算出処理ステップを行い、前記増分の最小値を算出すると0:07となる。従って、チャネル2に関しては、0:07がフレーム内符号化ピクチャの予測PTS間隔値となる。
同様に、図11に示される例において、チャネル3に関して、ステップS310aのPTS増分算出処理ステップを行い、フレーム内符号化ピクチャのPTSの増分を算出すると、それぞれ、
0:28−0:13=0:15、
0:48−0:28=0:20、
1:03−0:48=0:15、
1:28−1:03=0:25、
1:48−1:28=0:20、
2:08−1:48=0:20、
2:28−2:08=0:20、
2:33−2:28=0:05、
2:48−2:33=0:15、
となる。このため、チャネル3に関して、ステップS310bの最小値算出処理ステップを行い、前記増分の最小値を算出すると0:05となる。従って、チャネル3に関しては、0:05がフレーム内符号化ピクチャの予測PTS間隔値となる。
同様に、図11に示される例において、チャネルmに関して、ステップS310aのPTS増分算出処理ステップを行い、フレーム内符号化ピクチャのPTSの増分を算出すると、それぞれ、
0:17−0:13=0:04、
0:37−0:17=0:20、
0:53−0:37=0:16、
1:13−0:53=0:20、
1:33−1:13=0:20、
1:53−1:33=0:20、
2:17−1:53=0:24、
2:37−2:17=0:20、
3:01−2:37=0:24、
となる。このため、チャネルmに関して、ステップS310bの最小値算出処理ステップを行い、前記増分の最小値を算出すると0:04となる。従って、チャネルmに関しては、0:04がフレーム内符号化ピクチャの予測PTS間隔値となる。
このように、図11の例においてチャネル1、チャネル2、チャネル3、チャネルmにおけるフレーム内符号化ピクチャの予測PTS間隔値は、それぞれ、0:06、0:07、0:05、0:04となる。
次に、直近の過去に記憶されたフレーム内符号化ピクチャのPTSに、前記PTS間隔値予測部122aでの予測PTS間隔値の自然数倍を加算することによって、現在時刻以降のフレーム内符号化ピクチャのPTSの予測値(予測PTS)を計算する(ステップS311)<PTS値予測処理ステップないしはPTS値予測機能>。
より具体的には、図11に示される例において、チャネル1に関しては、現在時刻を3:00とすると、直近の過去に記憶されたフレーム間符号化ピクチャのPTS(直近過去PTS)は、2:47であるから、PTS間隔の予測値0:06の自然数倍(n=3)を、直近過去PTSの2:47に加算すると、
2:47+0:06×3=3:05
となる<過去PTS加算処理ステップないし過去PTS加算機能>。この加算値3:05を予測PTSとする。
さらに、自然数倍(n=4)についても、過去PTS加算処理ステップを行い、
2:47+0:06×4=3:11となり、3:11を予測PTSとする。
さらに、自然数倍(n=5)についても、過去PTS加算処理ステップを行い、
2:47+0:06×5=3:17となり、3:17を予測PTSとする。
以降同様にして、自然数倍(n=k)となるまで過去PTS加算処理ステップを行う。例えば、自然数倍(n=k)において、予め設定された自然数倍まで予測PTSを算出したか否か判定を行う<設定自然数倍判定処理ステップないしは設定自然数倍判定機能>。
この判定処理において、自然数倍(n=k)において、予測PTSを算出していないものと判定された場合には、過去PTS加算処理ステップを行い、この判定処理において、自然数倍(n=k)において、予測PTSを算出したものと判定された場合には、次のステップに進む。
同様に、図11に示される例において、チャネル2に関しては、現在時刻を3:00とすると、直近の過去に記憶されたフレーム間符号化ピクチャのPTS(直近過去PTS)は、2:47であるから、PTS間隔の予測値0:07の自然数倍(n=2)を、直近過去PTSの2:47に加算すると、
2:47+0:07×2=3:01
となる。この加算値3:01を予測PTSとする。
さらに、自然数倍(n=3)についても、過去PTS加算処理ステップを行い、
2:47+0:07×3=3:08となり、3:08を予測PTSとする。
さらに、自然数倍(n=3)についても、過去PTS加算処理ステップを行い、
2:47+0:07×4=3:15となり、3:15を予測PTSとする。
以降同様に算出していく。
同様に、図11に示される例において、チャネル3に関しては、現在時刻を3:00とすると、直近の過去に記憶されたフレーム間符号化ピクチャのPTS(直近過去PTS)は、2:48であるから、PTS間隔の予測値0:05の自然数倍(n=3)を、直近過去PTSの2:48に加算すると、
2:48+0:05×3=3:03
となる。この加算値3:03を予測PTSとする。
さらに、自然数倍(n=4)についても、過去PTS加算処理ステップを行い、
2:48+0:05×4=3:08となり、3:08を予測PTSとする。
さらに、自然数倍(n=5)についても、過去PTS加算処理ステップを行い、
2:48+0:05×5=3:13となり、3:13を予測PTSとする。
以降同様に算出していく。
同様に、図11に示される例において、チャネルmに関しては、現在時刻を3:00とすると、直近の過去に記憶されたフレーム間符号化ピクチャのPTS(直近過去PTS)は、2:37であるから、PTS間隔の予測値0:04の自然数倍(n=6)を、直近過去PTSの2:37に加算すると、
2:37+0:04×6=3:01
となる。この加算値3:01を予測PTSとする。
さらに、自然数倍(n=7)についても、過去PTS加算処理ステップを行い、
2:37+0:04×7=3:05となり、自然数倍(n=8)についても、過去PTS加算処理ステップを行い、
2:37+0:04×8=3:09となり、3:09を予測PTSとする。
以降同様に算出していく。
以上まとめると、前記現在時刻を3:00とすると、チャネル1に対しては、前記予測PTSは3:05、3:11、3:17、・・・、となる。チャネル2に対しては、前記予測PTSは3:01、3:08、3:05、・・・、となる。チャネル3に対しては、3:03、3:08、3:13、・・・、となる。チャネルmに対しては、前記予測PTSは3:01、3:05、3:09、・・・、となる。
次に、過去の前記符号受信時刻と前記再生時刻情報との差分のヒストグラムを生成し、このヒストグラムのうち累積確率が特定のパーセント以上となるパーセント点の階級を選択し、この階級の代表値を、現在以降に受信される前記フレーム内符号化ピクチャの前記符号受信時刻と前記再生時刻情報との差分であると予測するようにした第2の予測ステップ(図13に示すステップS312とステップS313とからなるステップ)を行う。
先ず、過去に受信されたフレーム内符号化ピクチャの符号の受信時刻とPTSとから、現在以降に受信されるフレーム内符号化ピクチャの符号の受信時刻とPTSの差分を予測する(ステップS312)<受信時刻―PTS差分予測処理ステップないしは受信時刻―PTS差分予測機能>。
前記差分の予測方法の一例として、蓄積処理手段12に記憶された過去に受信されたフレーム内符号化ピクチャの符号の受信時刻とPTSの差分のヒストグラムにおけるパーセント点を、前記予測差分とする計算方法などが挙げられる。
より具体的には、図11に示される例において、チャネル1に関して、フレーム内符号化ピクチャの符号受信時刻とPTSとの差分を算出すると、
0:11−0:04=0:07、
0:23−0:18=0:05、
0:47−0:43=0:04、
0:53−0:50=0:03、
0:59−0:54=0:05、
1:29−1:23=0:06、
1:53−1:48=0:05、
2:17−2:12=0:05、
2:35−2:29=0:06、
2:47−2:43=0:04、
となる<差分算出ステップないしは差分算出機能>。
これによって、これらの差分情報に基づいて、例えば図12に示すようなヒストグラムが演算される(ステップS312a)<差分ヒストグラム演算処理ステップないしは差分ヒストグラム演算処理機能>。
そして、本実施の形態では、下側累積確率が80パーセント以上になるパーセント点を、フレーム内符号化ピクチャの符号の受信時刻とPTSの予測差分とする。具体的には、下側累積確率が80パーセント以上になるパーセント点を演算決定する(ステップS312b)<パーセント点演算処理ステップないしはパーセント点演算機能>。
図12の例では、パーセント点は、階級0:05.5以上0:06.5未満の領域となる。
前記パーセント点の階級が決定されると、当該階級の代表値を予測差分値として決定する(ステップS312c)<予測差分値決定処理ステップないしは予測差分値決定処理機能>。図12の例では、チャネル1に対しての予測差分値は、前記階級の代表値である0:06となる。
同様に、図11に示される例において、チャネル2に関して、フレーム内符号化ピクチャの符号受信時刻とPTSとの差分を算出すると、
0:13−0:07=0:04、
0:34−0:30=0:04、
0:48−0:43=0:05、
1:44−1:39=0:05、
2:05−1:58=0:07、
2:12−2:06=0:06、
2:19−2:13=0:06、
2:33−2:25=0:08、
2:47−2:40=0:07、
3:01−2:54=0:07、
となる。
これによって、これらの差分情報に基づいて、ヒストグラムが演算される。そして、本実施の形態では、下側累積確率が80パーセント以上になるパーセント点を、フレーム内符号化ピクチャの符号の受信時刻とPTSの予測差分とする。
具体的には、前記ステップS312bのパーセント点演算処理ステップにて、下側累積確率が80パーセント以上になるパーセント点を演算決定する。チャネル2においては、
階級0:03.5以上0:04.5未満である0:04が2つ、
階級0:04.5以上0:05.5未満である0:05が2つ、
階級0:05.5以上0:06.5未満である0:06が2つ、
階級0:06.5以上0:07.5未満である0:07が3つ、
階級0:07.5以上0:08.5未満である0:08が1つ、
であるから、下側累積確率が80パーセントとなるパーセント点は、階級0:06.5以上0:07.5未満の領域となる。
前記パーセント点の階級が決定されると、前記ステップS312cの予測差分値決定処理ステップにて、当該階級の代表値を予測差分値として決定する。本例では、チャネル2に対しての予測差分値は、前記階級の代表値である0:07となる。
同様に、図11に示される例において、チャネル3に関して、フレーム内符号化ピクチャの符号受信時刻とPTSとの差分を算出すると、
0:13−0:09=0:04、
0:28−0:21=0:07、
0:48−0:42=0:06、
1:03−0:58=0:05、
1:28−1:23=0:05、
1:48−1:42=0:06、
2:08−2:03=0:05、
2:28−2:23=0:05、
2:33−2:29=0:04、
2:48−2:45=0:03、
となる。
これによって、これらの差分情報に基づいて、ヒストグラムが演算される。そして、本実施の形態では、下側累積確率が80パーセント以上になるパーセント点を、フレーム内符号化ピクチャの符号の受信時刻とPTSの予測差分とする。
具体的には、前記ステップS312bのパーセント点演算処理ステップにて、下側累積確率が80パーセント以上になるパーセント点を演算決定する。チャネル3においては、
階級0:02.5以上0:03.5未満である0:03が1つ、
階級0:03.5以上0:04.5未満である0:04が2つ、
階級0:04.5以上0:05.5未満である0:05が4つ、
階級0:05.5以上0:06.5未満である0:06が2つ、
階級0:06.5以上0:07.5未満である0:07が1つ、
であるから、下側累積確率が80パーセントとなるパーセント点は、階級0:05.5以上0:06.5未満の領域となる。
前記パーセント点の階級が決定されると、前記ステップS312cの予測差分値決定処理ステップにて、当該階級の代表値を予測差分値として決定する。本例では、チャネル3に対しての予測差分値は、前記階級の代表値である0:06となる。
同様に、図11に示される例において、チャネルmに関して、フレーム内符号化ピクチャの符号受信時刻とPTSとの差分を算出すると、
0:13−0:07=0:06、
0:17−0:11=0:06、
0:37−0:30=0:07、
0:53−0:44=0:09、
1:13−1:05=0:08、
1:33−1:26=0:07、
1:53−1:45=0:08、
2:17−2:10=0:07、
2:37−2:30=0:07、
3:01−2:55=0:06、
となる。
これによって、これらの差分情報に基づいて、ヒストグラムが演算される。そして、本実施の形態では、下側累積確率が80パーセント以上になるパーセント点を、フレーム内符号化ピクチャの符号の受信時刻とPTSの予測差分とする。
具体的には、前記ステップS312bのパーセント点演算処理ステップにて、下側累積確率が80パーセント以上になるパーセント点を演算決定する。チャネルmにおいては、
階級0:05.5以上0:06.5未満である0:06が3つ、
階級0:06.5以上0:07.5未満である0:07が4つ、
階級0:07.5以上0:08.5未満である0:08が2つ、
階級0:08.5以上0:09.5未満である0:09が1つ、
であるから、下側累積確率が80パーセントとなるパーセント点は、階級0:07.5以上0:08.5未満の領域となる。
前記パーセント点の階級が決定されると、前記ステップS312cの予測差分値決定処理ステップにて、当該階級の代表値を予測差分値として決定する。本例では、チャネル3に対しての予測差分値は、前記階級の代表値である0:08となる。
以上のように、図11の例において、チャネル1、チャネル2、チャネル3、チャネルm、におけるフレーム内符号化ピクチャの符号受信時刻とPTSの差分である予測差分値は、それぞれ、0:06、0:07、0:06、0:08である。
本実施の形態では、下側累積確率が80パーセントとなるパーセント点により予測差分値を算出したが、これに限らず、90パーセントとなるパーセント点であってもよいし、70パーセントとなるパーセント点であってもよい。
そして、予測PTSと予測差分値とに基づいて、フレーム内符号化ピクチャの符号受信時刻の予測値を計算する(ステップS313)<受信時刻予測値算出処理ステップないしは受信時刻予測値算出処理機能>。
具体的には、前記予測PTSと前記予測差分より、チャネル1に関して、現在以降のフレーム内符号化ピクチャの符号受信時刻の予測値は、
3:05+0:06×(n−1)(nは自然数)、
となる。
同様に、チャネル2に関して、現在以降のフレーム内符号化ピクチャの符号受信時刻の予測値は、
3:01+0:07×(n−1)(nは自然数)、
となる。
同様に、チャネル3に関して、現在以降のフレーム内符号化ピクチャの符号受信時刻の予測値は、
3:03+0:06×(n−1)(nは自然数)、
となる。
同様に、チャネルmに関して、現在以降のフレーム内符号化ピクチャの符号受信時刻の予測値は、
3:01+0:08×(n−1)(nは自然数)、
となる。
このようにして、各チャネルに対して、予測符号受信時刻を算出することになる。そして、例えば、予測値を算出していない他のチャネルがあるか否かを判定する(ステップS314)<予測符号受信時刻算出可否判定処理ステップないしは予測符号受信時刻算出可否判定機能>。
この判定処理において、予測符号受信時刻が算出されていない他のチャネルがある場合には、ステップS310に戻り、各ステップを処理することとなる。一方、この判定処理において、予測符号受信時刻が算出されていない他のチャネルがない場合には、次のステップに進む。
ここで、このような(他のチャネルについて処理がなされたか否かを判定する)判定処理を、ステップS313の後段に入れるのは一例であって、他の種々の手法があることは言うまでもない。例えば、ステップS310の後段、ステップS311の後段、ステップS312の後段、ステップS313の後段のそれぞれに処理を行う場合であってもよいし、さらに、ステップS310aの後段、ステップS310bの後段、ステップS312aの後段、ステップS312bの後段、ステップS312cの後段、のそれぞれに処理を行う場合であってもよい。
(チャネル選択制御ステップ)
次に、各チャネル毎の予測符号受信時刻に基づいて、チャネル巡回順序を選択決定するための選択制御ステップの詳細処理について説明する。
先ず、時刻予測・チャネル選択手段120は、前記フレーム内符号化ピクチャの予測受信時刻に基づき、代表画像収集対象チャネル巡回時間が最短になるように、チャネル巡回順序を決定し、その巡回順序にてチャネル選択を行う(ステップS315)<チャネル巡回順序決定処理ステップないしはチャネル巡回順序決定処理機能>。
具体的には、チャネル巡回順序決定処理ステップにおいては、代表画像収集対象チャネルCHに対して、前記実施の形態で定義したF1(CH)とF2(CH)および、フレーム内符号化ピクチャの予測DTSあるいはPTSと現在時刻の差分を基に、以下のように定義される第3の評価関数F3(CH)を用いて設定される優先度の高い順にチャネルを選択する。
ここにおいて、チャネルCHにおける第3の評価関数F3(CH)は、
代表画像収集が過去に行われていない場合には、F3(CH)=∞とし、
代表画像収集が過去に行われた場合には、F3(CH)=T_C−T_Prv(CH)と定義する。
ここで、T_Cは現在時刻を示す。T_Prv(CH)は、チャネルCHにおいて過去に収集された代表画像のPTS(又はDTS)を示す。
前記第3の評価関数の演算結果に基づいて、チャネルCHにおける優先度P(CH)は、F3(CH)の大きいチャネルほど高くなるように設定され、F3(CH)が同一の値のチャネルが複数存在する場合は、第1の評価関数F1(CH)の大きいチャネルほど優先度は高くなるように設定される。さらに、第1の評価関数F1(CH)が同一の値のチャネルが複数存在する場合は、第2の評価関数F2(CH)の大きいチャネルほど優先度は高くなるように設定される。
すなわち、先ず、各チャネルについて各々第3の評価関数F3の演算処理を行う(ステップS315a)<第3の評価関数演算処理ステップないしは第3の評価関数演算機能>。
続いて、各チャネルの各々の第3の評価関数F3の演算結果を比較する処理を行う(ステップS315b)<第3評価関数比較処理ステップないしは第3評価関数比較処理機能>。
そして、第3の評価関数F3の演算結果が同一値となる複数のチャネルがあるか否かを判定する処理を行う(ステップS315c)<第3評価関数演算結果分析判定ステップないしは第3評価関数演算結果分析判定機能>。
前記ステップS315cにおいて、第3の評価関数F3の演算結果が同一値となる複数のチャネルがないと判定された場合には、ステップS315iに進む。
一方、前記ステップS315cにおいて、第3の評価関数F3の演算結果が同一値となる複数のチャネルがあると判定された場合には、その同一値となる複数のチャネルについて、第1の評価関数F1を演算する処理を行う(ステップS315d)<第1の評価関数演算処理ステップないしは第1の評価関数演算処理機能>。
続いて、各チャネルの各々の第1の評価関数F1の演算結果を比較する処理を行う(ステップS315e)<第1評価関数比較処理ステップないしは第1評価関数比較処理機能>。
そして、第1の評価関数F1の演算結果が同一値となる複数のチャネルがあるか否かを判定する処理を行う(ステップS315f)<第1評価関数演算結果分析判定ステップないしは第1評価関数演算結果分析判定機能>。
前記ステップS315fにおいて、第1の評価関数F1の演算結果が同一値となる複数のチャネルがないと判定された場合には、ステップS315iに進む。
一方、前記ステップS315fにおいて、第1の評価関数F1の演算結果が同一値となる複数のチャネルがあると判定された場合には、その同一値となる複数のチャネルについて、第2の評価関数F2を演算する処理を行う(ステップS315g)<第2の評価関数演算処理ステップないしは第2の評価関数演算処理機能>。
続いて、各チャネルの各々の第2の評価関数F2の演算結果を比較する処理を行う(ステップS315h)<第2評価関数比較処理ステップないしは第2評価関数比較処理機能>。
この結果、第3の評価関数F3の演算結果による優先度、第2の評価関数F2の演算結果による優先度、第1の評価関数F1の演算結果による優先度をそれぞれ考慮して、最終的なチャネル巡回順序における優先度を決定する制御処理を行う(ステップS315i)<チャネル優先度決定処理ステップないしはチャネル優先度決定処理機能>。
以上のステップS315a〜ステップS315iについて、具体的数値例を挙げて説明すると、本実施の形態では、チャネル3が過去に代表画像を収集されなかったため、
F3(3)=∞となり、過去に代表画像が収集されたチャネル1、チャネル2、チャネルmについては、F3(1)=2:07、F3(2)=2:12、F3(m)=2:07となる。
この結果、F3(3)>F3(2)>F3(1)=F3(m)であるため、最初にチャネル3においてフレーム内符号化ピクチャを代表画像として収集して、次にチャネル2においてフレーム内符号化ピクチャを代表画像として収集する。
チャネル2のフレーム内符号化ピクチャの予測符号受信時刻を基に、チャネル1およびチャネルmにおける評価関数F1の値を計算すると、F1(1)=F1(m)=0:02である。
そこで、第2の評価関数F2を計算すると、F2(1)=0:08>F1(m)=0:06である。
そのため、動画像受信装置は、P(3)>P(2)>P(1)>P(m)となるように優先度付けを行う。
そして、前記優先度の高い順番に代表画像収集対象チャネルを選択するように動作する(図2のステップS104〜S107)。
(巡回制御ステップ)
このようなチャネル優先度が決定すると、それらの優先度に基づいて、符号化ストリーム受信手段10がチャネル選択をするように制御する処理を行う(ステップS316)<チャネル選択処理ステップないしはチャネル選択処理機能>。
より詳細には、上記の優先度決定の結果から、符号化ストリーム受信手段10をそれぞれチャネル3、チャネル2、チャネル1、チャネルmに合わせるようにチャネル巡回を行い、チャネルを順序選択する。
本ステップでは、巡回のために、一のチャネルが選択されると、その一のチャネルについて図7に示すステップS104、S105、S106、S107を繰り返し、次に選択される他のチャネルについて、図7に示すステップS104、S105、S106、S107を繰り返し、以降同様にして各チャネルに対して処理が繰り返されるものである。
まず、時刻予測・チャネル選択手段20は、代表画像収集対象チャネルからチャネル3を選択する(図7のステップS104)。
当該代表画像受信装置である動画像受信装置1は、システム時計14を参照してシステム時刻を取得する(図7のステップS105)。
前記システム時刻がチャネル3におけるフレーム内符号化ピクチャの符号の予測受信時刻であるとき(図7のステップS106)、時刻予測・チャネル選択手段120は、符号化ストリーム受信手段をチャネル3に合わせて、チャネル3における動画像ストリームの受信および出力を行い(図7のステップS107)、ステップS104に戻る。
前記出力動画像ストリームの符号はフレーム内符号化ピクチャの符号を含んでいるため、当該出力動画像ストリームを受信した外部装置によって代表画像を生成することが可能である。
次に、代表画像収集未収集の代表画像収集対象チャネルから、チャネル2を選択する(図7のステップS104)。
当該代表画像受信装置である動画像受信装置1は、システム時計14を参照してシステム時刻を取得する(図7のステップS105)。
前記システム時刻がチャネル2におけるフレーム内符号化ピクチャの符号の予測受信時刻であるとき(図7のステップS106)、時刻予測・チャネル選択手段120は、符号化ストリーム受信手段10をチャネル1に合わせて、チャネル2における動画像ストリームの受信および出力を行い(図7のステップS107)、ステップS104に戻る。
次に、代表画像収集未収集の代表画像収集対象チャネルから、チャネル1を選択する(図7のステップS104)。
当該代表画像受信装置である動画像受信装置1は、システム時計14を参照してシステム時刻を取得する(図7のステップS105)。
前記システム時刻がチャネル1におけるフレーム内符号化ピクチャの符号の予測受信時刻であるとき(図7のステップS106)、時刻予測・チャネル選択手段120は、符号化ストリーム受信手段10をチャネル1に合わせて、チャネル1における動画像ストリームの受信および出力を行い(図7のステップS107)、ステップS104に戻る。
次に、代表画像収集未収集の代表画像収集対象チャネルから、チャネルmを選択する(図7のステップS104)。当該代表画像受信装置である動画像受信装置1は、システム時計14を参照してシステム時刻を取得する(図7のステップS105)。
前記システム時刻がチャネルmにおけるフレーム内符号化ピクチャの符号の予測受信時刻であるとき(図7のステップS106)、時刻予測・チャネル選択手段120は、符号化ストリーム受信手段10をチャネルmに合わせて、チャネルmにおける動画像ストリームの受信および出力を行い(図7のステップS107)、ステップS104に戻り、代表画像収集対象チャネル全てに対してフレーム内符号化ピクチャの符号を含む動画像符号化ストリームの受信が行われたため、処理を完了する。
(効果について)
以上のように本実施の形態によれば、前記第1の実施の形態と同様の作用効果を奏しながらも、現在以降のフレーム内符号化ピクチャのPTSの予測で、過去に受信されたフレーム内符号化ピクチャのPTSの増分の最小値を用いることで、前記履歴内に同一動画像ストリーム内の隣接するフレーム内符号化ピクチャのPTSが得られていた場合に同一動画像ストリーム内の隣接するフレーム内符号化ピクチャのPTSの間隔値を正確に少ない計算量で得ることができる。
現在以降のフレーム内符号化ピクチャの符号受信時刻とPTSの差分の予測で、過去に受信されたフレーム内符号化ピクチャの符号受信時刻とPTSの差分のヒストグラムにおけるパーセント点を用いることで、前記予測を正確に行うとともに、現在以降のフレーム内符号化ピクチャの予測符号受信時刻より後に前記フレーム内符号化ピクチャの符号が当該動画像受信装置に到達して受信される確率を所定の確率以上であることを保証する効果が得られる。
さらに、前記優先度付けを行ってチャネル選択を行うことで、代表画像収集済みのチャネルに対しては以前に収集された代表画像を新しい代表画像が収集されるまでの間に代用している間に代表画像未収集のチャネルに対する代表画像を優先的に収集することが行われるため、代表画像収集命令から全代表画像収集対象チャネルにおける代表画像の提示までの時間をさらに短縮する効果が得られる。
前記提示の後に低い優先度が与えられたチャネルに対する代表画像を以前に収集されたものから新しく得られたものへ更新するような視聴者への提示が可能となり、代表画像の即時性が維持される。
その他の構成およびその他のステップ並びにその作用効果については、前述した第1の実施の形態の場合と同一となっている。また、上記の説明において、上述した各ステップの動作内容及び各部の構成要素をプログラム化し、コンピュータに実行させてもよい。
[第4の実施の形態]
次に、本発明にかかる第4の実施の形態について、図14及び図15に基づいて説明する。図14は、本発明の動画像受信装置の第4の実施の形態の一例を示すブロック図である。
本実施の形態では、第2の予測部224において確率分布を利用して予測を行い、チャネル選択部226においては、チャネル集合による優先度を考慮したチャネル選択を行う構成としている点に特徴を有する。
(構成について)
先ず、動画像受信装置1の詳細構成について、図14を参照しつつ説明する。図14は、本実施の形態の動画像受信装置の時刻予測・チャネル選択手段の詳細構成の一例を示すブロック図である。
本実施の形態の動画像受信装置1は、図1における時刻予測・チャネル選択手段20が図14に示す時刻予測・チャネル選択手段220として構成される場合の例を開示しており、他の各部の構成は、前記第1の実施の形態と同一となっている。
ここで、本実施の形態では、前記第3の実施の形態と同様に、図1の動画像受信装置1が図4および図6のm個の動画像ストリーム例の受信を行っており(mは4以上の自然数)、代表画像収集対象チャネルがチャネル1、チャネル2、チャネル3、チャネルmに指定されているとする。
また、前記動画像ストリームに対して、図7に示すステップS101〜ステップS107を適用した結果、当該動画像受信装置の蓄積処理手段12に記憶された過去のフレーム内符号化ピクチャの符号の受信時刻とPTSが図11のように得られているとする。さらに、当該代表画像収集命令入力の時点での時刻を3:00として、当該時刻を現在時刻とする。
また、前記代表画像収集対象チャネルのうち、チャネル1、チャネル2、チャネルmは図11において白抜きで示される受信時刻およびPTSのフレーム内符号化ピクチャが代表画像として過去に収集されており、チャネル3は過去に代表画像を収集されたことがないとする。
(時刻予測・チャネル選択手段)
本実施の形態の動画像受信装置における時刻予測・チャネル選択手段220は、図14に示すように、第1の予測部222と、第2の予測部224と、予測演算モジュール制御部225と、チャネル選択部226と、を含んで構成される。
第1の予測部222は、過去の前記再生時刻に基づいて、現在以降の前記フレーム内符号化ピクチャの前記再生時刻を予測するものである。
また、第1の予測部222は、各前記再生時刻情報の値の増分の中から、既知の情報から得られる特定範囲再生時刻情報間隔値の範囲内に適合する前記増分を選択することで前記再生時刻情報の間隔値を予測し、この予測再生時刻情報間隔値と最後に受信された前記フレーム内符号化ピクチャの前記再生時刻情報とに基づいて現在以降の前記フレーム内符号化ピクチャの前記再生時刻情報を予測するものである。この第1の予測部222は、第1の予測手段ということもできる。
より具体的には、第1の予測部222は、特定のチャネルにおいて、過去に受信したフレーム内符号化ピクチャのPTSの値の増分を利用して、フレーム内符号化ピクチャのPTSの間隔値として予測するPTS間隔値予測部222aと、直近の過去に記憶された(最後に受信された)フレーム内符号化ピクチャのPTSに、前記PTS間隔値予測部222aでのPTSの間隔値の自然数倍を加算することによって、現在時刻以降のフレーム内符号化ピクチャのPTSの予測値を計算するPTS値予測部222bと、を含んで構成される。
PTS間隔値予測部222aは、各チャネルのフレーム内符号化ピクチャのPTSの値の増分を算出するPTS増分算出部222a―1と、PTS増分算出部222a―1にて算出された各増分のうち、特定範囲内にあるものを選択する処理を行うPTS間隔値範囲内選択部222a―2と、を含んで構成される。
PTS値予測部222bは、如何なる自然数倍までの予測値を算出するのかに関し自然数倍を決定する自然数倍決定部と、PTS間隔値範囲内選択部222a―2にて選択された数値(予測PTS間隔値)に自然数倍決定部にて決定された自然数倍を乗じ、これに過去に記憶されたフレーム内符号化ピクチャのPTS値を加算する過去PTS加算部と、を含んで構成される。
第2の予測部224は、第1の予測部222にて予測された予測再生時刻に基づいて、前記符号受信時刻を予測するものである。
また、第2の予測部224は、過去に受信された前記フレーム内符号化ピクチャの前記符号受信時刻と前記再生時刻情報とに基づいて、現在以降に受信される前記フレーム内符号化ピクチャの前記符号受信時刻と前記再生時刻情報との差分を予測し、この予測した差分と前記第1の予測部222にて予測された前記再生時刻情報とに基づいて、現在以降の前記フレーム内符号化ピクチャの前記符号受信時刻を予測するものである。
さらに、第2の予測部224は、過去の前記符号受信時刻と前記再生時刻情報との差分の期待値と分散を各々算出し、前記差分が従う確率分布モデルにおける累積確率が特定の確率となるパーセント点の値を算出し、そのパーセント点の値を係数として、前記分散の平方根に前記係数を乗じた値と前記期待値との和を算出することで、現在以降の前記フレーム内符号化ピクチャの前記符号受信時刻と前記再生時刻情報との差分を予測するものである。この第2の予測部224は、第2の予測手段ということもできる。
第2の予測部224は、過去に受信されたフレーム内符号化ピクチャの符号の符号受信時刻とPTSから、現在以降に受信されるフレーム内符号化ピクチャの符号の符号受信時刻とPTSの差分を予測する受信時刻―PTS差分予測部224aと、受信時刻―PTS差分予測部224aにて算出された予測差分値と、現在時刻以降のフレーム内符号化ピクチャのPTSの予測値と、によりフレーム内符号化ピクチャの符号受信時刻の予測値を算出する受信時刻予測値算出部224bと、を含んで構成される。
受信時刻―PTS差分予測部224aは、過去のフレーム内符号化ピクチャの符号の符号受信時刻とPTSの差分の期待値を算出する差分期待値算出部224a―1と、前記差分の分散を算出する差分分散算出部224a―2と、前記差分が従う確率分布モデルに関する情報を取得演算を行う確率分布情報取得演算部224a―3と、確率分布情報取得演算部224a―3にて演算された確率分布モデルにおける累積確率が特定の確率となるパーセント点の値を算出するパーセント点演算部224a―4と、前記パーセント点演算部224a―4にて演算されたパーセント点の値を係数として、前記分散の平方根に前記係数を乗じた値と前記期待値との和を算出することで、現在以降の前記フレーム内符号化ピクチャの前記符号受信時刻と前記再生時刻情報との差分を予測する予測差分値算出部224a―5と、を含んで構成される。
予測演算モジュール制御部225は、各部の実行手順を制御するものである。例えば、一つのチャネルに対してフレーム内符号化ピクチャの符号受信時刻の予測値を算出する過程のうち例えば第2の予測部の演算を実行中に、他のチャネルに対してフレーム内符号化ピクチャの符号受信時刻の予測値を算出する過程のうち第1の予測部の演算を行うように制御する機能が想定される。
チャネル選択部226は、符号受信時刻予測手段に含まれる第2の予測部224にて予測された予測符号受信時刻に基づき、代表画像収集対象チャネル巡回時間が最短になるように当該チャネル巡回順序を決定しチャネル選択を行うものである。このチャネル選択部226は、チャネル選択制御手段ということもできる。
また、チャネル選択部226は、代表画像収集対象チャネルの選択を繰り返して深さ優先探索を行うことによりチャネル巡回順序の近似解を求めることができる。チャネル選択部126は、前記予測符号受信時刻に基づいて、チャネル選択順序に対して評価値を計算し、前記評価値の高いものから順にチャネルを選択するものであり、前記評価値を、収集される代表画像の即時性あるいは収集時間に基づいて計算することによりチャネルの選択順序を決定することができる。その際に、チャネル選択部226は、前記評価値を前記チャネルを巡回する巡回所要時間として計算することができる。
チャネル選択部226は、予測符号受信時刻に基づき代表画像収集対象チャネルのチャネル巡回順序を決定するチャネル巡回順序決定処理部226aと、チャネル巡回順序決定処理部226aにて決定されたチャネル巡回順序に基づいて、チャネル巡回に必要な処理を行うチャネル選択処理部226bと、を含んで構成される。
チャネル巡回順序決定処理部226aは、予め任意に設定され、過去に収集済み代表画像の符号受信時刻から現在時刻までの時間間隔に対する閾値T_TH(特定閾値)に関する情報を取得する閾値情報取得処理部226a―1と、各代表画像収集対象チャネルについて過去に収集済みの代表画像の符号受信時刻と現在時刻との差分(時刻差)を計算する受信時刻―現在時刻差分演算部226a―2と、前記代表画像収集対象チャネルを、前記時刻差が前記閾値T_TH以上の集合S_H(第1チャネル集合)と、前記時刻差が前記閾値T_TH未満の集合S_L(第2チャネル集合)とに分割するチャネル集合分割処理部226a―3と、チャネル集合分割処理部226a―3にて分割処理された各チャネル集合S_H(第1チャネル集合)、およびチャネル集合S_L(第2チャネル集合)のそれぞれについて前記第3の実施の形態と同様の優先度付け(チャネル巡回順序の優先順位)の決定に関する処理を行う優先度決定処理部226a―4と、を含んで構成される。
チャネル集合分割処理部226a―3では、代表画像未収集のチャネルは、集合S_H(第1チャネル集合)に含めるよう処理する。
優先度決定処理部226a―4は、チャネル集合に対する優先度付けに関する処理を行うチャネル集合優先度付け処理部226a―5と、前記チャネル集合内に含まれるチャネルに対する優先度付けに関する処理を行うチャネル優先度付け処理部226a―6と、これらのチャネル集合優先度付け処理部226a―6での集合優先度と、チャネル優先度付け処理部226a―5でのチャネル優先度とを考慮して、最終的なチャネル優先度決定に関する処理を行う最終チャネル優先度決定部226a―7と、を含んで構成される。
優先度決定処理部226a―4のチャネル集合優先度付け処理部226a―5は、チャネル集合S_H(第1チャネル集合)に含まれるチャネルCH_Hと、チャネル集合S_L(第2チャネル集合)に含まれるチャネルCH_Lとのどの組合せに対しても、優先度Pの関係が、
P(CH_H)>P(CH_L)
となる(第1チャネル集合のチャネルを優先する)ように優先度付けを行う。
例えば、前記閾値がT_TH=2:15と指定されているとする。
このとき、チャネル集合分割処理部226a―3は、代表画像収集チャネルを、前記チャネル集合S_H(第1チャネル集合)、およびチャネル集合S_L(第2チャネル集合)の各集合に分割してグループ分けすると、
チャネル集合S_H={2,3,m}、
チャネル集合S_L={1}
となる。
優先度決定処理部226a―4のチャネル優先度付け処理部226a―5は、前記チャネル集合S_H(第1チャネル集合)、およびチャネル集合S_L(第2チャネル集合)のそれぞれのチャネルについて、前記第3の実施の形態と同様の優先度付けを行う。
例えば、チャネル集合S_H(第1チャネル集合)に含まれるチャネルについては、
P(3)>P(2)>P(m)
が成り立つように優先度付けが行われる。
チャネル集合優先度付け処理部226a―6は、チャネル集合S_H(第1チャネル集合)に含まれるチャネルの優先度が、チャネル集合S_L(第2チャネル集合)に含まれるチャネルの優先度よりも高くするように決定する。
最終チャネル優先度決定部226a―7は、チャネル集合優先度付け処理部226a―6での集合優先度、チャネル優先度付け処理部226a―5でのチャネル優先度とを考慮して、全代表画像収集対象チャネルについての優先度を、
P(3)>P(2)>P(m)>P(1)
となるように決定する。
このように、チャネル選択部226は、チャネル選択制御手段ということもできる。このチャネル選択制御手段は、各代表画像収集対象チャネルについて過去に収集済みの代表画像の前記符号受信時刻と現在時刻の差を計算し、前記時刻差を基準として、各前記代表画像収集対象チャネルを複数のチャネル集合に分割し、各チャネル単位のチャネル優先度よりも優先される各チャネル集合の集合優先度を設定して、最終的なチャネル選択の優先度を決定するものである。
さらに、前記チャネル選択制御手段は、各代表画像収集対象チャネルについて過去に収集済みの代表画像の前記符号受信時刻と現在時刻の差を計算し、代表画像収集対象チャネルを、前記時刻差が特定閾値以上の前記代表画像収集対象チャネルと代表画像未収集のチャネルとを第1チャネル集合とし、前記時刻差が前記特定閾値未満の前記代表画像収集対象チャネルを第2チャネル集合とし、第1チャネル集合を第2のチャネル集合より優先度を高くする集合優先度設定条件の下、各チャネル集合内の各チャネルのチャネル優先度の設定を行うものである。
上述のような構成を有する動画像受信装置1の時刻予測・チャネル選択手段220は、概略以下のように動作する。すなわち、時刻予測・チャネル選択手段220の予測演算モジュール制御部225は、一つのチャネルに対して第1の予測部222、第2の予測部224を実行させ、フレーム内符号化ピクチャの予測符号受信時刻、予測PTSを算出する。同様に、予測演算モジュール制御部225は、他のチャネルに対して第1の予測部222、第2の予測部224を実行させ、フレーム内符号化ピクチャの予測符号受信時刻、予測PTSを算出する。
具体的には、第1の予測部222は、PTS間隔値予測部222aを実行させ、フレーム内符号化ピクチャのPTSの値の増分を利用して、各増分のうち特定範囲内にあるものを選択してフレーム内符号化ピクチャのPTSの間隔値として予測する。
続いて、第1の予測部222は、PTS値予測部222bを実行させ、直近の過去に記憶されたフレーム内符号化ピクチャのPTSに、前記PTS間隔値予測部222aでのPTSの間隔値の自然数倍を加算することによって、現在時刻以降のフレーム内符号化ピクチャのPTSの予測値を計算する。
さらに、第2の予測部224は、受信時刻―PTS差分予測部224aを実行させ、過去に受信されたフレーム内符号化ピクチャの符号の符号受信時刻とPTSから、現在以降に受信されるフレーム内符号化ピクチャの符号の符号受信時刻とPTSの差分を予測する。
具体的には、第2の予測部224の受信時刻―PTS差分予測部224aは、過去の前記符号受信時刻と前記再生時刻情報との差分の期待値と分散を各々算出し、前記差分が従う確率分布モデルにおける累積確率が特定の確率となるパーセント点の値を算出し、そのパーセント点の値を係数として、前記分散の平方根に前記係数を乗じた値と前記期待値との和を算出することで、現在以降の前記フレーム内符号化ピクチャの前記符号受信時刻と前記再生時刻情報との差分を予測する。
すなわち、差分期待値算出部224a―1により過去のフレーム内符号化ピクチャの符号の符号受信時刻とPTSの差分の期待値を算出する。また、差分分散算出部224a―2により前記差分の分散ないしは分散の平方根を算出する。そして、確率分布情報取得演算部224a―3により、前記差分が従う確率分布モデルに関する情報を取得演算を行う。また、パーセント点演算部224a―4により、確率分布情報取得演算部224a―3にて演算された確率分布モデルにおける累積確率が特定の確率となるパーセント点の値を算出する。これによって、予測差分値算出部224a―5により、前記パーセント点演算部224a―4にて演算されたパーセント点の値を係数として、前記分散の平方根に前記係数を乗じた値と前記期待値との和を算出することで、現在以降の前記フレーム内符号化ピクチャの前記符号受信時刻と前記再生時刻情報との差分を予測する。
そして、第2の予測部224の受信時刻予測値算出部224bは、受信時刻―PTS差分予測部224aにて算出された予測差分値を自然数倍した値と、現在時刻以降のフレーム内符号化ピクチャのPTSの予測値に加算することによりフレーム内符号化ピクチャの符号受信時刻の予測値を算出する。
このようにして、各チャネル毎に、フレーム内符号化ピクチャの予測符号受信時刻、予測PTSが算出されると、時刻予測・チャネル選択手段220は、チャネル選択部226を実行させ、チャネル巡回順序の決定を行う。
具体的には、チャネル選択部226のチャネル巡回順序決定処理部226aは、閾値情報取得処理部226a―1を実行させ、予め任意に設定され、過去に収集済み代表画像の符号受信時刻から現在時刻までの時間間隔に対する閾値T_TH(特定閾値)に関する情報を取得する。
さらに、チャネル巡回順序決定処理部226aは、受信時刻―現在時刻差分演算部226a―2を実行させ、各代表画像収集対象チャネルについて過去に収集済みの代表画像の符号受信時刻と現在時刻との差分(時刻差)を計算する。
そして、チャネル巡回順序決定処理部226aは、チャネル集合分割処理部226a―3を実行させ、前記代表画像収集対象チャネルを、前記時刻差が前記閾値T_TH以上の集合S_H(第1チャネル集合)と、前記時刻差が前記閾値T_TH未満の集合S_L(第2チャネル集合)とに分割する。
例えば、前記閾値がT_TH=2:15と指定されているとする。
このとき、チャネル巡回順序決定処理部226aは、チャネル集合分割処理部226a―3を実行させ、代表画像収集チャネルを、前記チャネル集合S_H(第1チャネル集合)、およびチャネル集合S_L(第2チャネル集合)の各集合に分割してグループ分けして、
チャネル集合S_H={2,3,m}、
チャネル集合S_L={1}
とする。
次に、チャネル巡回順序決定処理部226aは、優先度決定処理部226a―4を実行させ、チャネル集合S_H(第1チャネル集合)に含まれるチャネルCH_Hと、チャネル集合S_L(第2チャネル集合)に含まれるチャネルCH_Lとのどの組合せに対しても、優先度Pの関係が、
P(CH_H)>P(CH_L)
となるように優先度付けを行う。
具体的には、チャネル巡回順序決定処理部226aは、優先度決定処理部226a―4を実行させ、前記チャネル集合S_H(第1チャネル集合)、およびチャネル集合S_L(第2チャネル集合)のそれぞれのチャネルについて、前記第3の実施の形態と同様の優先度付けを行う。
例えば、チャネル集合S_H(第1チャネル集合)に含まれるチャネルについては、
P(3)>P(2)>P(m)
が成り立つように優先度付けが行われる。
また、チャネル巡回順序決定処理部226aは、優先度決定処理部226a―4を実行させ、チャネル集合S_H(第1チャネル集合)に含まれるチャネルの優先度が、チャネル集合S_L(第2チャネル集合)に含まれるチャネルの優先度よりも高くするように決定する。
さらに、チャネル巡回順序決定処理部226aは、優先度決定処理部226a―4を実行させ、チャネル集合優先度付け処理部226a―6での集合優先度、チャネル優先度付け処理部226a―5でのチャネル優先度とを考慮して、全代表画像収集対象チャネルについての優先度を、
P(3)>P(2)>P(m)>P(1)
となるように決定する。
このようにして、優先度決定処理部226a―4は、チャネル巡回順序における最終的な優先度の割り当て(巡回順序の決定)を行う。
(処理手順について)
次に、上述のような構成を有する動画像受信装置1における各種の処理手順について、図10乃至図13を参照しつつ説明する。図13は、本実施の形態による動画像受信装置の詳細な処理手順の一例を示すフローチャートである。
本実施の形態の処理手順において、全体処理は、前記第1の実施の形態と共通するので省略し、各詳細処理(予測ステップ、選択制御ステップ、巡回制御ステップ)について説明する。
ここで、本実施の形態における前提条件について説明する。本実施の形態では、前記第3の実施の形態と同様に、図1の動画像受信装置1が図4および図6のm個の動画像ストリーム例の受信を行っており(mは4以上の自然数)、代表画像収集対象チャネルがチャネル1、チャネル2、チャネル3、チャネルmに指定されているとする。
また、前記動画像ストリームに対して、図7に示すステップS101〜ステップS107を適用した結果、当該動画像受信装置の蓄積処理手段12に記憶された過去のフレーム内符号化ピクチャの符号の受信時刻とPTSが図11のように得られているとする。さらに、当該代表画像収集命令入力の時点での時刻を3:00として、当該時刻を現在時刻とする。
また、前記代表画像収集対象チャネルのうち、チャネル1、チャネル2、チャネルmは図11において白抜きで示される受信時刻およびPTSのフレーム内符号化ピクチャが代表画像として過去に収集されており、チャネル3は過去に代表画像を収集されたことがないとする。
(符号受信時刻予測ステップ)
図7に示すステップS104におけるフレーム内符号化ピクチャ受信時刻予測・チャネル選択処理の詳細について、図15を参照しつつ説明する。
先ず、時刻予測・チャネル選択手段220が、代表画像収集対象チャネルの各々に対して、過去に受信されたフレーム内符号化ピクチャのPTSから現在時刻以降に受信されるフレーム内符号化ピクチャのPTSを予測して、前記予測PTSから現在時刻以降に受信されるフレーム内符号化ピクチャの符号の受信時刻を予測する。
より詳細には、代表画像収集対象チャネルの各々に対しての現在以降に受信されるフレーム内符号化ピクチャのPTSの予測手法としては、以下のような手法が挙げられる。例えば、過去に受信されたフレーム内符号化ピクチャのPTSの増分や、前記増分の公約数など、当該チャネルにおけるフレーム内符号化ピクチャのPTSの間隔値の予測値の候補を挙げて、既知の情報から得られる所定の範囲内の値をPTS間隔値として予測して、当該PTS間隔値の自然数倍を最後に受信されたフレーム内符号化ピクチャのPTSに加算する手法が挙げられる。
すなわち、符号受信時刻予測ステップでは、各前記再生時刻情報の値の増分の中から、既知の情報から得られる特定範囲再生時刻情報間隔値の範囲内に適合する前記増分を選択することで前記再生時刻情報の間隔値を予測し、この予測再生時刻情報間隔値と最後に受信された前記フレーム内符号化ピクチャの前記再生時刻情報とに基づいて現在以降の前記フレーム内符号化ピクチャの前記再生時刻情報を予測するようにした第1の予測ステップ(図15に示すステップS410とステップS411とからなるステップ)を行う。
先ず、本実施の形態では、前記PTS間隔値の特定範囲が0:04以上0:08未満と規定されているという前提条件の下、過去に受信されたフレーム内符号化ピクチャのPTSの増分のなかから前記範囲内のものを選び、予測PTS間隔値とする(ステップS410)<PTS間隔値予測処理ステップないしはPTS間隔値予測機能>。
より具体的には、図11に示す例において、チャネル1に関しては、フレーム内符号化ピクチャのPTSの増分を算出すると、それぞれ、
0:23−0:11=0:12、
0:47−0:23=0:24、
0:53−0:47=0:06、
0:59−0:53=0:06、
1:29−0:59=0:30、
1:53−1:29=0:24、
2:17−1:53=0:24、
2:35−2:17=0:18、
2:47−2:35=0:12
となる(ステップS410a)<PTS増分算出処理ステップないしはPTS増分算出機能>。
このため、前記増分の中で、PTS間隔値の特定範囲が0:04以上0:08未満と規定されているという前提条件に適合するものを選択すると、0:06となる(ステップS410b)<PTS間隔値範囲内選択処理ステップないしはPTS間隔値範囲内選択機能>。ここにおいて、前記条件を満たす0:06をフレーム内符号化ピクチャのPTSの間隔値として予測し、0:06が予測PTS間隔値となる。
同様に、図11に示される例において、チャネル2に関して、ステップS410aのPTS増分算出処理ステップを行い、フレーム内符号化ピクチャのPTSの増分を算出すると、それぞれ、
0:34−0:13=0:21、
0:48−0:34=0:14、
1:44−0:48=0:58、
2:05−1:44=0:21、
2:12−2:05=0:07、
2:19−2:12=0:07、
2:33−2:19=0:14、
2:47−2:33=0:14、
3:01−2:47=0:14、
となる。このため、チャネル2に関して、ステップS410bのPTS間隔値範囲内選択処理ステップを行い、前記条件に適合する前記増分を算出すると0:07となる。従って、チャネル2に関しては、0:07がフレーム内符号化ピクチャの予測PTS間隔値となる。
同様に、図11に示される例において、チャネル3に関して、ステップS410aのPTS増分算出処理ステップを行い、フレーム内符号化ピクチャのPTSの増分を算出すると、それぞれ、
0:28−0:13=0:15、
0:48−0:28=0:20、
1:03−0:48=0:15、
1:28−1:03=0:25、
1:48−1:28=0:20、
2:08−1:48=0:20、
2:28−2:08=0:20、
2:33−2:28=0:05、
2:48−2:33=0:15、
となる。このため、チャネル3に関して、ステップS410bのPTS間隔値範囲内選択処理ステップを行い、前記条件に適合する前記増分を算出すると、0:05となる。従って、チャネル3に関しては、0:05がフレーム内符号化ピクチャの予測PTS間隔値となる。
同様に、図11に示される例において、チャネルmに関して、ステップS410aのPTS増分算出処理ステップを行い、フレーム内符号化ピクチャのPTSの増分を算出すると、それぞれ、
0:17−0:13=0:04、
0:37−0:17=0:20、
0:53−0:37=0:16、
1:13−0:53=0:20、
1:33−1:13=0:20、
1:53−1:33=0:20、
2:17−1:53=0:24、
2:37−2:17=0:20、
3:01−2:37=0:24、
となる。このため、チャネルmに関して、ステップS410bの最小値算出処理ステップを行い、前記条件に適合する前記増分を算出すると、0:04となる。従って、チャネルmに関しては、0:04がフレーム内符号化ピクチャの予測PTS間隔値となる。
このように、図11の例においてチャネル1、チャネル2、チャネル3、チャネルmにおけるフレーム内符号化ピクチャの予測PTS間隔値は、それぞれ、0:06、0:07、0:05、0:04となる。
次に、直近の過去に記憶されたフレーム内符号化ピクチャのPTSに、前記PTS間隔値予測部222aでの予測PTS間隔値の自然数倍を加算することによって、現在時刻以降のフレーム内符号化ピクチャのPTSの予測値(予測PTS)を計算する(ステップS411)<PTS値予測処理ステップないしはPTS値予測機能>。
より具体的には、図11に示される例において、チャネル1に関しては、現在時刻を3:00とすると、直近の過去に記憶されたフレーム間符号化ピクチャのPTS(直近過去PTS)は、2:47であるから、PTS間隔の予測値0:06の自然数倍(n=3)を、直近過去PTSの2:47に加算すると、
2:47+0:06×3=3:05
となる<過去PTS加算処理ステップないし過去PTS加算機能>。この加算値3:05を予測PTSとする。
さらに、自然数倍(n=4)についても、過去PTS加算処理ステップを行い、
2:47+0:06×4=3:11となり、3:11を予測PTSとする。
さらに、自然数倍(n=5)についても、過去PTS加算処理ステップを行い、
2:47+0:06×5=3:17となり、3:17を予測PTSとする。
以降同様にして、自然数倍(n=k)となるまで過去PTS加算処理ステップを行う。例えば、自然数倍(n=k)において、予め設定された自然数倍まで予測PTSを算出したか否か判定を行う<設定自然数倍判定処理ステップないしは設定自然数倍判定機能>。
この判定処理において、自然数倍(n=k)において、予測PTSを算出していないものと判定された場合には、過去PTS加算処理ステップを行い、この判定処理において、自然数倍(n=k)において、予測PTSを算出したものと判定された場合には、次のステップに進む。
同様に、図11に示される例において、チャネル2に関しては、現在時刻を3:00とすると、直近の過去に記憶されたフレーム間符号化ピクチャのPTS(直近過去PTS)は、2:47であるから、PTS間隔の予測値0:07の自然数倍(n=2)を、直近過去PTSの2:47に加算すると、
2:47+0:07×2=3:01
となる。この加算値3:01を予測PTSとする。
さらに、自然数倍(n=3)についても、過去PTS加算処理ステップを行い、
2:47+0:07×3=3:08となり、3:08を予測PTSとする。
さらに、自然数倍(n=3)についても、過去PTS加算処理ステップを行い、
2:47+0:07×4=3:15となり、3:15を予測PTSとする。
以降同様に算出していく。
同様に、図11に示される例において、チャネル3に関しては、現在時刻を3:00とすると、直近の過去に記憶されたフレーム間符号化ピクチャのPTS(直近過去PTS)は、2:48であるから、PTS間隔の予測値0:05の自然数倍(n=3)を、直近過去PTSの2:48に加算すると、
2:48+0:05×3=3:03
となる。この加算値3:03を予測PTSとする。
さらに、自然数倍(n=4)についても、過去PTS加算処理ステップを行い、
2:48+0:05×4=3:08となり、3:08を予測PTSとする。
さらに、自然数倍(n=5)についても、過去PTS加算処理ステップを行い、
2:48+0:05×5=3:13となり、3:13を予測PTSとする。
以降同様に算出していく。
同様に、図11に示される例において、チャネルmに関しては、現在時刻を3:00とすると、直近の過去に記憶されたフレーム間符号化ピクチャのPTS(直近過去PTS)は、2:37であるから、PTS間隔の予測値0:04の自然数倍(n=6)を、直近過去PTSの2:37に加算すると、
2:37+0:04×6=3:01
となる。この加算値3:01を予測PTSとする。
さらに、自然数倍(n=7)についても、過去PTS加算処理ステップを行い、
2:37+0:04×7=3:05となり、自然数倍(n=8)についても、過去PTS加算処理ステップを行い、
2:37+0:04×8=3:09となり、3:09を予測PTSとする。
以降同様に算出していく。
以上まとめると、前記現在時刻を3:00とすると、チャネル1に対しては、前記予測PTSは3:05、3:11、3:17、・・・、となる。チャネル2に対しては、前記予測PTSは3:01、3:08、3:15、・・・、となる。チャネル3に対しては、前記予測PTSは3:03、3:08、3:13、・・・、となる。チャネルmに対しては、前記予測PTSは3:01、3:05、3:09、・・・、となる。
次に、符号受信時刻予測ステップでは、過去の前記符号受信時刻と前記再生時刻情報との差分の期待値と分散を各々算出し、前記差分が従う確率分布モデルにおける累積確率が特定の確率となるパーセント点の値を算出し、そのパーセント点の値を係数として、前記分散の平方根に前記係数を乗じた値と前記期待値との和を算出することで、現在以降の前記フレーム内符号化ピクチャの前記符号受信時刻と前記再生時刻情報との差分を予測するようにした第2の予測ステップ(図15に示すステップS412とステップS413とからなるステップ)を行う。
この前記第2の予測ステップでは、前記確率分布モデルを標準正規分布として前記差分を予測するようにしている。
先ず、過去に受信されたフレーム内符号化ピクチャの符号の受信時刻とPTSとから、現在以降に受信されるフレーム内符号化ピクチャの符号の受信時刻とPTSの差分を予測する(ステップS412)<受信時刻―PTS差分予測処理ステップないしは受信時刻―PTS差分予測機能>。
前記差分の予測方法の一例として、蓄積処理手段12に記憶された過去に受信されたフレーム内符号化ピクチャの符号の受信時刻とPTSの差分の期待値と分散を求めて、フレーム内符号化ピクチャの符号の受信時刻とPTSの差分が従う標準正規分布における下側累積確率が所定の確率となるパーセント点を係数として現在以降のフレーム内符号化ピクチャの符号の受信時刻とPTSの差分の推定値を前記期待値と前記分散の平方根に前記係数を乗じた値の和とする方法などが挙げられる。
より具体的には、図11に示される例において、チャネル1に関して、フレーム内符号化ピクチャの符号受信時刻とPTSとの差分を算出すると、
0:11−0:04=0:07、
0:23−0:18=0:05、
0:47−0:43=0:04、
0:53−0:50=0:03、
0:59−0:54=0:05、
1:29−1:23=0:06、
1:53−1:48=0:05、
2:17−2:12=0:05、
2:35−2:29=0:06、
2:47−2:43=0:04、
となる<差分算出ステップないしは差分算出機能>。
これによって、過去のフレーム内符号化ピクチャの符号の符号受信時刻とPTSの差分の期待値を算出する(ステップS412a)<差分期待値算出処理ステップないしは差分期待値算出処理機能>。すなわち、これらの差分情報に基づいて、差分の期待値を算出すると、
期待値=(0:07+0:05+0:04+0:03+0:05+0:06
+0:05+0:05+0:06+0:04)/10=0:05となる。
さらに、前記差分の分散の平方根(標準偏差)を算出する(ステップS412b)<差分分散算出処理ステップないしは差分分散算出処理機能>。すなわち、前記差分情報に基づいて、差分の分散の平方根を算出すると、以下のようになる。
先ず、相加平均は0:05となるから、分散σは、
σ={(0:05―0:07)+(0:05―0:05)
+(0:05―0:04)+(0:05―0:03)
+(0:05―0:05)+(0:05―0:06)
+(0:05―0:05)+(0:05―0:05)
+(0:05―0:06)+(0:05―0:04)}/10
=0:00012
となり、このため分散の平方根σは、およそ0:01.1となる。
次に、前記差分が従う確率分布モデルに関する情報を取得演算し、演算された確率分布モデルにおける累積確率が特定の確率となるパーセント点の値を算出する(ステップS412c)。すなわち、前記特定の確率を80パーセントとすると、確率分布モデルの一例である正規分布における当該確率のパーセント点は約0.87となる。
そして、パーセント点の値を係数として、前記分散の平方根に前記係数を乗じた値と前記期待値との和を算出することで、現在以降の前記フレーム内符号化ピクチャの前記符号受信時刻と前記再生時刻情報との差分を予測する(ステップS412d)<予測差分値算出処理ステップないしは予測差分値算出処理機能>。
すなわち、本ステップでは、前記特定の確率のパーセント点は約0.87であるため、チャネル1に関しては、フレーム内符号化ピクチャの符号受信時刻とPTSの差分(予測差分値)を、
0:05+0.87×0:01.1=(およそ)0:06
と予測する。
同様に、図11に示される例において、チャネル2に関して、前記ステップ412を行うと以下のようになる。
先ず、フレーム内符号化ピクチャの符号受信時刻とPTSとの差分を算出すると、
0:13−0:07=0:04、
0:34−0:30=0:04、
0:48−0:43=0:05、
1:44−1:39=0:05、
2:05−1:58=0:07、
2:12−2:06=0:06、
2:19−2:13=0:06、
2:33−2:25=0:08、
2:47−2:40=0:07、
3:01−2:54=0:07、
となる。
これによって、これらの差分情報に基づいて、差分の期待値を算出すると、
期待値=(0:04+0:04+0:05+0:05+0:07+0:06
+0:06+0:08+0:07+0:07)/10=(およそ)0:06となる。
さらに、前記差分情報に基づいて、差分の分散の平方根を算出すると、以下のようになる。
先ず、相加平均は0:06となるから、分散σは、
σ={(0:06―0:04)+(0:06―0:04)
+(0:06―0:05)+(0:06―0:05)
+(0:06―0:07)+(0:06―0:06)
+(0:06―0:06)+(0:06―0:08)
+(0:06―0:07)+(0:06―0:07)}/10
=0:00017
となり、このため分散の平方根σは、およそ0:013となる。
そして、特定の確率のパーセント点を約0.87とすると、チャネル2に関しては、フレーム内符号化ピクチャの符号受信時刻とPTSの差分(予測差分値)を、
0:06+0.87×0:013=(およそ)0:07
と予測する。
同様に、図11に示される例において、チャネル3に関して、前記ステップ412を行うと以下のようになる。
先ず、フレーム内符号化ピクチャの符号受信時刻とPTSとの差分を算出すると、
0:13−0:09=0:04、
0:28−0:21=0:07、
0:48−0:42=0:06、
1:03−0:58=0:05、
1:28−1:23=0:05、
1:48−1:42=0:06、
2:08−2:03=0:05、
2:28−2:23=0:05、
2:33−2:29=0:04、
2:48−2:45=0:03、
となる。
これによって、これらの差分情報に基づいて、差分の期待値を算出すると、
期待値=(0:04+0:07+0:06+0:05+0:05+0:06
+0:05+0:05+0:04+0:03)/10=0:05となる。
さらに、前記差分情報に基づいて、差分の分散の平方根を算出すると、以下のようになる。
先ず、相加平均は0:05となるから、分散σは、
σ={(0:05―0:04)+(0:05―0:07)
+(0:05―0:06)+(0:05―0:05)
+(0:05―0:05)+(0:05―0:06)
+(0:05―0:05)+(0:05―0:05)
+(0:05―0:04)+(0:05―0:03)}/10
=0:00012
となり、このため分散の平方根σは、およそ0:011となる。
そして、特定の確率のパーセント点を約0.87とすると、チャネル2に関しては、フレーム内符号化ピクチャの符号受信時刻とPTSの差分(予測差分値)を、
0:05+0.87×0:011=(およそ)0:06
と予測する。
同様に、図11に示される例において、チャネルmに関して、前記ステップ412を行うと以下のようになる。
先ず、フレーム内符号化ピクチャの符号受信時刻とPTSとの差分を算出すると、
0:13−0:07=0:06、
0:17−0:11=0:06、
0:37−0:30=0:07、
0:53−0:44=0:09、
1:13−1:05=0:08、
1:33−1:26=0:07、
1:53−1:45=0:08、
2:17−2:10=0:07、
2:37−2:30=0:07、
3:01−2:55=0:06、
となる。
これによって、これらの差分情報に基づいて、差分の期待値を算出すると、
期待値=(0:06+0:06+0:07+0:09+0:08+0:07
+0:08+0:07+0:07+0:06)/10=(およそ)0:07となる。
さらに、前記差分情報に基づいて、差分の分散の平方根を算出すると、以下のようになる。
先ず、相加平均は0:07となるから、分散σは、
σ={(0:07―0:06)+(0:07―0:06)
+(0:07―0:07)+(0:07―0:09)
+(0:07―0:08)+(0:07―0:07)
+(0:07―0:08)+(0:07―0:08)
+(0:07―0:07)+(0:07―0:06)}/10
=0:0001
となり、このため分散の平方根σは、およそ0:01となる。
そして、特定の確率のパーセント点を約0.87とすると、チャネル2に関しては、フレーム内符号化ピクチャの符号受信時刻とPTSの差分(予測差分値)を、
0:07+0.87×0:01=(およそ)0:08
と予測する。
以上のように、図11の例において、チャネル1、チャネル2、チャネル3、チャネルm、におけるフレーム内符号化ピクチャの符号受信時刻とPTSの差分である予測差分値は、それぞれ、0:06、0:07、0:06、0:08である。
本実施の形態では、累積確率が80パーセントとなるパーセント点により予測差分値を算出したが、これに限らず、90パーセントとなるパーセント点であってもよいし、70パーセントとなるパーセント点であってもよい。
そして、予測PTSと予測差分値とに基づいて、フレーム内符号化ピクチャの符号受信時刻の予測値を計算する(ステップS413)<受信時刻予測値算出処理ステップないしは受信時刻予測値算出処理機能>。
具体的には、前記予測PTSと前記予測差分より、チャネル1に関して、現在以降のフレーム内符号化ピクチャの符号受信時刻の予測値は、
3:05+0:06×(n−1)(nは自然数)、
となる。
同様に、チャネル2に関して、現在以降のフレーム内符号化ピクチャの符号受信時刻の予測値は、
3:01+0:07×(n−1)(nは自然数)
となる。
同様に、チャネル3に関して、現在以降のフレーム内符号化ピクチャの符号受信時刻の予測値は、
3:03+0:06×(n−1)(nは自然数)、
となる。
同様に、チャネルmに関して、現在以降のフレーム内符号化ピクチャの符号受信時刻の予測値は、
3:01+0:08×(n−1)(nは自然数)
となる。
このようにして、各チャネルに対して、予測符号受信時刻を算出することになる。そして、例えば、予測値を算出していない他のチャネルがあるか否かを判定する(ステップS414)<予測符号受信時刻算出可否判定処理ステップないしは予測符号受信時刻算出可否判定機能>。
この判定処理において、予測符号受信時刻が算出されていない他のチャネルがある場合には、ステップS410に戻り、各ステップを処理することとなる。一方、この判定処理において、予測符号受信時刻が算出されていない他のチャネルがない場合には、次のステップに進む。
ここで、このような(他のチャネルについて処理がなされたか否かを判定する)判定処理を、ステップS413の後段に入れるのは一例であって、他の種々の手法があることは言うまでもない。例えば、ステップS410の後段、ステップS411の後段、ステップS412の後段、ステップS413の後段のそれぞれに処理を行う場合であってもよいし、さらに、ステップS410aの後段、ステップS410bの後段、ステップS412aの後段、ステップS412bの後段、ステップS412cの後段、ステップS412dの後段、のそれぞれに処理を行う場合であってもよい。
(選択制御ステップ)
次に、各チャネル毎の予測符号受信時刻に基づいて、チャネル巡回順序を選択決定するための選択制御ステップの詳細処理について説明する。
先ず、時刻予測・チャネル選択手段220は、前記フレーム内符号化ピクチャの予測受信時刻に基づき、代表画像収集対象チャネル巡回時間が最短になるように、チャネル巡回順序を決定し、その巡回順序にてチャネル選択を行う(ステップS415)<チャネル巡回順序決定処理ステップないしはチャネル巡回順序決定処理機能>。
具体的には、チャネル巡回順序決定処理ステップにおいては、以下のように設定される優先度の高い順にチャネル選択を行う。
すなわち、予め任意に設定され、過去に収集済み代表画像の符号受信時刻から現在時刻までの時間間隔に対する閾値T_TH(特定閾値)に関する情報を取得する処理を行う(ステップS415a)<閾値情報取得処理ステップないしは閾値情報取得処理機能>。
さらに、各代表画像収集対象チャネルについて過去に収集済みの代表画像の符号受信時刻と現在時刻との差分(時刻差)を計算する処理を行う(ステップS415b)<受信時刻―現在時刻差分演算処理ステップないしは受信時刻―現在時刻差分演算処理機能>。
そして、前記代表画像収集対象チャネルを、前記時刻差が前記閾値T_TH以上の集合S_H(第1チャネル集合)と、前記時刻差が前記閾値T_TH未満の集合S_L(第2チャネル集合)とに分割する処理を行う(ステップS415c)<チャネル集合分割処理ステップないしはチャネル集合分割処理機能>。
例えば、前記閾値がT_TH=2:15と指定されているとする。
このとき、代表画像収集チャネルを、前記チャネル集合S_H(第1チャネル集合)、およびチャネル集合S_L(第2チャネル集合)の各集合に分割してグループ分けして、
チャネル集合S_H={2,3,m}、
チャネル集合S_L={1}
とする。
次に、前記チャネル集合S_H(第1チャネル集合)、およびチャネル集合S_L(第2チャネル集合)のそれぞれのチャネルについて、前記第3の実施の形態と同様の優先度付けを行う(ステップS415d)<チャネル優先度付け処理ステップないしはチャネル優先度付け機能>。
例えば、チャネル集合S_H(第1チャネル集合)に含まれるチャネルについては、
P(3)>P(2)>P(m)
が成り立つように優先度付けが行われる。
また、チャネル集合S_H(第1チャネル集合)に含まれるチャネルの優先度が、チャネル集合S_L(第2チャネル集合)に含まれるチャネルの優先度よりも高くするように決定する(ステップS415e)<チャネル集合優先度付け処理ステップないしはチャネル集合優先度付け機能>。
すなわち、チャネル集合S_H(第1チャネル集合)に含まれるチャネルCH_Hと、チャネル集合S_L(第2チャネル集合)に含まれるチャネルCH_Lとのどの組合せに対しても、優先度Pの関係が、
P(CH_H)>P(CH_L)
となるように優先度付けを行う。
このようにして優先度を決め、集合優先度、チャネル優先度とを考慮して、全代表画像収集対象チャネルについての最終的な優先度を、
P(3)>P(2)>P(m)>P(1)
となるように決定する(ステップS415f)<最終チャネル優先度決定処理ステップないしは最終チャネル優先度決定処理機能>。このようにして、チャネル巡回順序における最終的な優先度の割り当て(巡回順序の決定)を行う。
以上まとめると、前記チャネル選択制御ステップでは、各代表画像収集対象チャネルについて過去に収集済みの代表画像の前記符号受信時刻と現在時刻の差を計算し、前記時刻差を基準として、各前記代表画像収集対象チャネルを複数のチャネル集合に分割し、各チャネル単位のチャネル優先度よりも優先される各チャネル集合の集合優先度を設定して、最終的なチャネル選択の優先度を決定するようにした。
また、前記チャネル選択制御ステップでは、各代表画像収集対象チャネルについて過去に収集済みの代表画像の前記符号受信時刻と現在時刻の差を計算し、代表画像収集対象チャネルを、前記時刻差が特定閾値以上の前記代表画像収集対象チャネルと代表画像未収集のチャネルとを第1チャネル集合とし、前記時刻差が前記特定閾値未満の前記代表画像収集対象チャネルを第2チャネル集合とし、第1チャネル集合を第2のチャネル集合より優先度を高くする集合優先度設定条件の下、各チャネル集合内の各チャネルのチャネル優先度の設定を行うようにした。
(巡回制御ステップ)
このようなチャネル優先度が決定すると、それらの優先度に基づいて、符号化ストリーム受信手段10がチャネル選択をするように制御する処理を行う(ステップS416)<チャネル選択処理ステップないしはチャネル選択処理機能>。
より詳細には、上記の優先度決定の結果から、符号化ストリーム受信手段10をそれぞれチャネル3、チャネル2、チャネルm、チャネル1に合わせるようにチャネル巡回を行い、チャネルを順序選択する。
本ステップでは、巡回のために、一のチャネルが選択されると、その一のチャネルについて図7に示すステップS104、S105、S106、S107を繰り返し、次に選択される他のチャネルについて、図7に示すステップS104、S105、S106、S107を繰り返し、以降同様にして各チャネルに対して処理が繰り返されるものである。
まず、時刻予測・チャネル選択手段220は、代表画像収集対象チャネルからチャネル3を選択する(図7のステップS104)。
当該代表画像受信装置である動画像受信装置1は、システム時計14を参照してシステム時刻を取得する(図7のステップS105)。
前記システム時刻がチャネル3におけるフレーム内符号化ピクチャの符号の予測受信時刻であるとき(図7のステップS106)、時刻予測・チャネル選択手段220は、符号化ストリーム受信手段をチャネル3に合わせて、チャネル3における動画像ストリームの受信および出力を行い(図7のステップS107)、ステップS104に戻る。
前記出力動画像ストリームの符号はフレーム内符号化ピクチャの符号を含んでいるため、当該出力動画像ストリームを受信した外部装置によって代表画像を生成することが可能である。
次に、代表画像収集未収集の代表画像収集対象チャネルから、チャネル2を選択する(図7のステップS104)。
当該代表画像受信装置である動画像受信装置1は、システム時計14を参照してシステム時刻を取得する(図7のステップS105)。
前記システム時刻がチャネル2におけるフレーム内符号化ピクチャの符号の予測受信時刻であるとき(図7のステップS106)、時刻予測・チャネル選択手段220は、符号化ストリーム受信手段10をチャネル2に合わせて、チャネル2における動画像ストリームの受信および出力を行い(図7のステップS107)、ステップS104に戻る。
次に、代表画像収集未収集の代表画像収集対象チャネルから、チャネルmを選択する(図7のステップS104)。
当該代表画像受信装置である動画像受信装置1は、システム時計14を参照してシステム時刻を取得する(図7のステップS105)。
前記システム時刻がチャネルmにおけるフレーム内符号化ピクチャの符号の予測受信時刻であるとき(図7のステップS106)、時刻予測・チャネル選択手段220は、符号化ストリーム受信手段10をチャネルmに合わせて、チャネルmにおける動画像ストリームの受信および出力を行い(図7のステップS107)、ステップS104に戻る。
次に、代表画像収集未収集の代表画像収集対象チャネルから、チャネル1を選択する(図7のステップS104)。当該代表画像受信装置である動画像受信装置1は、システム時計14を参照してシステム時刻を取得する(図7のステップS105)。
前記システム時刻がチャネル1におけるフレーム内符号化ピクチャの符号の予測受信時刻であるとき(図7のステップS106)、時刻予測・チャネル選択手段220は、符号化ストリーム受信手段10をチャネル1に合わせて、チャネル1における動画像ストリームの受信および出力を行い(図7のステップS107)、ステップS104に戻り、代表画像収集対象チャネル全てに対してフレーム内符号化ピクチャの符号を含む動画像符号化ストリームの受信が行われたため、処理を完了する。
(効果について)
以上のように本実施の形態によれば、前記第1の実施の形態と同様の作用効果を奏しながらも、本実施の形態では、現在以降のフレーム内符号化ピクチャのPTSの予測で、フレーム内符号化ピクチャのPTSの間隔値の既知の範囲を用いることで、現在以降のフレーム内符号化ピクチャのPTS予測の正確性を向上させる効果が得られる。
また、現在以降のフレーム内符号化ピクチャの符号受信時刻とPTSの差分の予測で、フレーム内符号化ピクチャの符号受信時刻とPTSの差分の確率分布モデルを正規分布として、下側累積確率が所定の確率以上となるパーセント点における係数を過去に受信されたフレーム内符号化ピクチャの符号受信時刻とPTSの差分の分散値の平方根に乗じて、前記積に前記差分の期待値を加算した結果を現在以降のフレーム内符号化ピクチャの符号受信時刻とPTSの差分の予測値とすることによって、前記差分が一定範囲内でランダムである場合に、前記予測を正確に行うとともに、現在以降のフレーム内符号化ピクチャの予測符号受信時刻より前に前記ピクチャの符号が当該動画像受信装置に到達する確率を所定の確率未満に抑える効果が得られる。
さらに、前記優先度付けを行ってチャネル選択を行うことで、代表画像収集済みのチャネルのうち収集済みの代表画像の受信時刻と現在時刻の差分が前記閾値以上の場合に当該収集済み代表画像が古過ぎると判定して優先的に新規代表画像の収集を行い、前記閾値未満の場合には収集済み代表画像を再利用して新規代表画像収集の省略あるいは後回しが可能となる。
このことにより、前記再利用による新規代表画像収集を省略する場合は、所定以上の即時性を持つ代表画像の利用が可能となるまでの時間の短縮が可能となる。
また、前記再利用による新規代表画像収集を後回しにする場合は、利用する代表画像の即時性を所定以上に維持しつつ、さらなる改善を図ることが可能となる。
その他の構成およびその他のステップ並びにその作用効果については、前述した第1の実施の形態の場合と同一となっている。また、上記の説明において、上述した各ステップの動作内容及び各部の構成要素をプログラム化し、コンピュータに実行させてもよい。
[各種変形例]
また、本発明にかかる装置及び方法は、そのいくつかの特定の実施の形態に従って説明してきたが、本発明の主旨および範囲から逸脱することなく本発明の本文に記述した実施の形態に対して種々の変形が可能である。
例えば、上述の実施の形態では、周期性時刻情報の一例である過去のPTS(再生時刻情報)に基づいて、PTS間隔値から予測PTSを算出するとともに、過去の符号受信時刻とPTSとの差分から予測差分値を算出する構成としたが、これに限らない。例えば、周期性時刻情報の他の例である過去のDTS(復号時刻情報)に基づいて、DTS間隔値から予測DTSを算出するとともに、過去の符号受信時刻とDTSとの差分から予測差分値を算出する構成としてもよい。
具体的には、DTSの一例としては、例えば図18に示すようなものが挙げられる。DTSも前記第2の実施の形態のPTSと同様に予測することができる。一例として、図16は構成、図17は処理手順を示す。
図16の時刻予測・チャネル選択手段320の各部の構成と、図17のステップS510〜ステップS514、ステップS215〜ステップS216の処理手順と、それらによる作用効果とは、前記第2の実施の形態における構成及び処理手順においてPTSをDTSとすること以外は前記第2の実施の形態と同一となっている。
また、他の例として、図19は構成、図20は処理手順を示す。図19の時刻予測・チャネル選択手段420の各部の構成と、図20のステップS610〜ステップS614、ステップS315〜ステップS316の処理手順と、それらによる作用効果とは、前記第3の実施の形態における構成及び処理手順においてPTSをDTSとすること以外は前記第3の実施の形態と同一となっている。
さらに、他の例として、図21は構成、図22は処理手順を示す。図21の時刻予測・チャネル選択手段520の各部の構成と、図22のステップS710〜ステップS714、ステップS415〜ステップS416の処理手順と、それらによる作用効果とは、前記第4の実施の形態における構成及び処理手順においてPTSをDTSとすること以外は前記第4の実施の形態と同一となっている。
この他、前記予測の際に、PTSとDTSとを組み合わせて予測を行う構成であってもよい。
さらにまた、以上の第4の実施の形態では、履歴内のフレーム内符号化ピクチャのPTS増分の一つが既知の範囲内に収まっているが、履歴内のフレーム内符号化ピクチャのPTS増分全てが既知の範囲外の場合もある。
その場合には、履歴内のフレーム内符号化ピクチャのPTS増分は実際のPTS間隔値の自然数倍であると推定されるので、前記増分のうちの一つに対して約数を計算して、約数のなかから既知の範囲内のものを選択して、フレーム内符号化ピクチャのPTSの間隔値を予測することができる。
また、第4の実施の形態において、履歴内のフレーム内符号化ピクチャのPTS増分の複数の増分に対しての公約数を計算して、前記公約数のうち既知の範囲内のものを選択して、フレーム内符号化ピクチャのPTSの間隔値を予測することもできる。
また、以上の第4の実施の形態では、確率分布モデルとして正規分布(ガウス分布)が用いられているが、他に好適な確率分布モデル(確率密度関数)があればそれを利用することも可能である。
例えば、第2の予測部は、連続分布であるカイ2乗分布、ベータ分布、ガンマ分布、指数分布、対数正規分布、パレート分布、混合分布、一様分布、離散分布である二項分布、ポアソン分布、幾何分布、負の二項分布、多次元分布である多項分布、多変量正規分布、その他の条件付き分布、複合ポアソン分布などを用いて予測を行ってもよい。
さらに、利用する確率分布モデルに応じて、履歴中のフレーム内符号化ピクチャの符号受信時刻とPTSの差分に対してのいかなる統計量を用いてもよい。
また、上記構成部材の数、位置、形状等は上記実施の形態に限定されず、本発明を実施する上で好適な数、位置、形状等にすることができる。すなわち、上記実施の形態では、チャネル数として、チャネル1、チャネル2、チャネルmの場合と、チャネル1、チャネル2、チャネル3、チャネルmの場合を示したが、本発明は、これらのチャネルの個数を制限するものではない。
さらに、上述の実施の形態で説明した動画像受信装置1の動作は、本発明が効果を得るための一つの例であり、時刻予測・チャネル選択手段20がフレーム内符号化ピクチャの受信時刻およびDTSあるいはPTSを予測して、当該予測の結果に基づき符号化ストリーム受信手段10におけるチャネル合わせを行うのであれば、他の構成でも構わない。
具体的には、時刻予測・チャネル選択手段20が既知のあるいは正確に予測可能な時刻/時間情報から複合的に算出してフレーム内符号化ピクチャの受信時刻を正確に予測するように動作する構成も一例である。
また、時刻予測・チャネル選択手段20が、視聴者の嗜好情報や各チャネルの放送番組の傾向情報に基づき代表画像収集対象チャネルを決定してチャネル選択範囲を限定するように動作する構成も一例である。
また、時刻予測・チャネル選択手段20がが、過去に収集された代表画像の再利用を効果的に行えるように、各チャネルにおける代表画像収集歴や過去に収集された代表画像の時刻情報に基づいて代表画像収集対象チャネルの優先度付けを行う動作をする構成でもよい。
前記具体的構成例に加えて、符号化ストリーム受信手段10が複数のチャネルの同時受信が可能である構成も一例として挙げられる。
また、符号化ストリーム受信手段10がインターネット経由での動画像ストリーム放送(IP放送)を受信できる構成も一例である。
蓄積処理手段12が、過去に受信されたフレーム内符号化ピクチャの受信時刻とPTSあるいはDTSだけでなく、取得可能であればフレーム内符号化ピクチャのピクチャ番号など、フレーム内符号化ピクチャの受信時刻予測に利用可能なあらゆる情報を記憶できる構成も一例である。
(プログラム)
また、前述した実施形態の機能を実現する本発明のソフトウエアのプログラムは、前述した各実施の形態における各種ブロック図などに示された処理部(処理手段)、機能などに対応したプログラムや、フローチャートなどに示された処理手順、処理手段、機能などに対応したプログラムや、図に示すデータ構造を利用するプログラムなどにおいて各々処理される各処理プログラム、本明細書で全般的に記述される方法(ステップ)、説明された処理、データ(例えば、各チャネル毎のDTS、PTS、予測DTS、予測PTS、符号受信時刻、予測符号受信時刻等)の全体もしくは各部を含む。
具体的には、本発明のプログラムは、コンピュータが実行可能なプログラムであって、動画像ストリームのフレーム内符号化ピクチャを受信する符号受信時刻と、前記動画像ストリームに含まれる再生時刻情報及び復号時刻情報のいずれか一方又は双方を含む周期性時刻情報とを、複数チャネルの各前記動画像ストリーム毎に各々蓄積処理する時刻情報蓄積処理機能(例えば図1に示す符号12)と、前記時刻情報蓄積処理機能の前記周期性時刻情報に基づいて、前記フレーム内符号化ピクチャの符号受信時刻を予測する符号受信時刻予測機能(例えば図2に示す符号22、24、25からなる構成)と、前記符号受信時刻予測手段にて予測された予測符号受信時刻情報に基づいて、受信すべき前記動画像ストリームのチャネルを選択制御するチャネル選択制御機能(例えば図2に示す符号26など)と、を含む機能をコンピュータに実行させるものである。
また、データ構造は、コンピュータが行う動画像受信処理に用いられる時刻情報のデータ構造を対象とすることができる。このデータ構造は、動画像ストリームのフレーム内符号化ピクチャを受信する符号受信時刻と、前記動画像ストリームに含まれる再生時刻情報及び復号時刻情報のいずれか一方又は双方を含む周期性時刻情報とを、複数チャネルの各前記動画像ストリーム毎に各々対応づけて格納(蓄積)した第1構造を有することができる。
そして、前記第1構造は、コンピュータが、符号受信時刻予測処理(例えば図8に示すステップS210〜ステップS214を含む処理)と、チャネル選択制御処理(例えば図8に示すステップS215〜ステップS216を含む処理)と、を行うのに利用される。
この符号受信時刻予測処理は、前記周期性時刻情報に基づいて、前記フレーム内符号化ピクチャの符号受信時刻を予測することができる。また、チャネル選択制御処理は、前記符号受信時刻予測機能にて予測された予測符号受信時刻情報に基づいて、受信すべき前記動画像ストリームのチャネルを選択制御することができる。
ここにおいて、データ構造は、符号時刻情報と再生時刻情報とが各チャネル毎に形成される構造、符号時刻情報と復号時刻情報とが各チャネル毎に形成される構造、符号時刻情報と再生時刻情報と復号時刻情報とが各チャネル毎に形成される構造、のいずれの構造であってもよい。
また、上述したプログラムは、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムは、高水準プロシージャ型またはオブジェクト指向プログラミング言語で、あるいは必要に応じてアセンブリまたはマシン言語で実装することができる。いずれの場合も、言語はコンパイラ型またはインタープリタ型言語であってもよい。上述のプログラムを、一般のパソコンや携帯型情報端末などで動作可能なアプリケーションソフトに組み込んだものも含む。
プログラムを供給する手法としては、電気通信回線(有線、無線を問わない)によってコンピュータと通信可能に接続された外部の機器から前記電気通信回線を通じて提供することも可能である。また、プログラムを構成するプログラムコードを複数のファイルに分割した構成としてもよい。
本発明のプログラムによれば、当該制御プログラムを格納するROM等の記憶媒体から、当該プログラムをコンピュータ(CPU)に読み込んで実行させれば、或いは、当該プログラムを、通信手段を介してコンピュータにダウンロードさせた後に実行させれば、上述した本発明に係る動画像受信装置を比較的簡単に実現できる。発明の思想の具現化例として動画像受信装置のソフトウェアとなる場合には、かかるソフトウェアを記憶した記憶媒体上においても当然に存在し、利用される。
また、プログラムは、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。プログラムの供給方法として通信回線を利用して行なう場合であれば通信回線が伝送媒体となって本発明が利用されることになる。
(情報記録媒体)
また、プログラムを、情報記録媒体に記録した構成であってもよい。情報記録媒体には、プログラムを含むアプリケーションプログラムが格納されており、コンピュータが当該情報記録媒体からアプリケーションプログラムを読み出し、当該アプリケーションプログラムをハードディスクにインストールすることが可能である。これにより、上述のプログラムは、磁気記録媒体、光記録媒体あるいはROMなどの情報記録媒体に記録してプログラムを提供することができる。そのようなプログラムが記録された情報記録媒体を、コンピュータにおいて使用することは、好都合な情報処理装置を構成する。
プログラムを供給するための情報記録媒体としては、例えばROM、RAM、フラッシュメモリやSRAM等の半導体メモリ並びに集積回路、あるいはそれらを含むUSBメモリやメモリカード、光ディスク、光磁気ディスク、磁気記録媒体等を用いてよく、さらに、フレキシブルディスク、CD−ROM、CD―R、CD―RW、FD、DVDROM、HDDVD(HDDVD−R−SL<1層>、 HDDVD−R−DL<2層>、HDDVD−RW−SL、HDDVD−RW−DL、HDDVD−RAM−SL)、DVD±R−SL、DVD±R−DL、DVD±RW−SL、DVD±RW−DL、DVD−RAM、Blu−Ray Disk<登録商標>(BD−RーSL、BD−R−DL、BD−RE−SL、BD−RE−DL)、MO、ZIP、磁気カード、磁気テープ、SDカード、メモリスティック、不揮発性メモリカード、ICカード、等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置、等に記録して構成して用いてよい。
さらに「情報記録媒体」は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの(伝送媒体ないしは伝送波)、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
また、コンピュータ上で稼働しているOS、端末(例えば携帯電話など)上のRTOS等が処理の一部又は全部を行う場合にも、上記実施の形態と同等の機能を実現できると共に、同等の効果を得ることができる。
さらに、プログラムを暗号化してCD−ROM等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。この場合、本発明の構成は、プログラムの各構成要素(各種の手段、ステップ及びデータ)と、前記プログラム(各種の手段、ステップ及びデータ)を暗号化する暗号化手段と、を含んでよい。
また、上記実施の形態の装置を、クライアントサーバーシステムや、サーバを介さずに端末同士がネットワークを組み、相互にデータを送受信するピアツーピア(Peer To Peer)通信によるシステムの一部として構成してもよい。その際、「システム」を、他の「情報処理システム」と統合したシステムとして構成することも一向に構わない。この「システム」には、OSや周辺機器等のハードウェアを含むものとする。
さらに、上述のプログラムなどが搭載される情報処理装置としては、サーバは、例えばパーソナルコンピュータに限らず、各種サーバー、EWS(エンジニアリングワークステーション)、中型コンピュータ、メインフレームなどが挙げられる。情報端末は、以上の例に加えて、携帯型情報端末、各種モバイル端末、PDA、携帯電話機、ウエアラブル情報端末、種々の(携帯型などの)テレビ・DVDレコーダ・各種音響機器、各種情報通信機能を搭載した家電機器、ネットワーク機能を有するゲーム機器等からも利用できる構成としても構わない。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
さらに、本明細書において、フローチャートに示されるステップは、記載された手順に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。また、実装では、プログラム手順(ステップ)が実行される順序を変更することができる。さらに、実装の必要に応じて、本明細書で説明した特定の手順(ステップ)を、組み合わされた手順(ステップ)として実装、除去、追加、または再配置することができる。
さらに、動画像受信装置の各手段、各機能、各ステップの手順の機能などのプログラムの機能を、専用のハードウエア(例えば専用の半導体回路等)によりその機能を達成してもよく、プログラムの全機能のうち一部の機能をハードウエアで処理し、全機能のうちさらに他の機能をソフトウエアで処理するようにしてもよい。専用のハードウエアの場合、各部を集積回路例えばLSIにて形成されてもよい。これらは個別に1チップ化されても良いし、一部または全部を含むように1チップ化されても良い。また、LSIには、ストリーミングエンジンなど他の機能ブロックが含まれていても良い。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
さらに、「通信」では、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであってもよい。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであってもよい。
そして、この通信には通信網が含まれる。通信網を構成するネットワークとしては、例えば携帯電話回線網(基地局及び交換システムを含む)、公衆電話回線網、IP電話網、ISDN回線網などこれに類する各種回線網、インターネット(乃ち、TCP・IPプロトコルを用いた通信態様)やイントラネット、LAN(イーサネット:登録商標、やギガビットイーサネットなどを含む)、WAN、光ファイバー通信網、電力線通信網、ブロードバンド対応可能な各種専用回線網などいずれのハードウエア構成でもよい。さらに、ネットワークは、TCP・IPプロトコルの他、種々の通信プロトコルを用いたネットワークあるいはソフトウエア的に構築された仮想ネットワークやこれに類するあらゆるネットワークを含むネットワークなどいかなる通信プロトコルであってもよい。また、ネットワークは、有線に限らず、無線(衛星通信、各種高周波通信手段等を含む)ネットワーク(例えば、簡易電話システムや携帯電話のようなシングルキャリア通信システム、W―CDMAやIEEE802.11bに準拠した無線LANのようなスペクトラム拡散通信システム、IEEE802.11aやHiperLAN/2のようなマルチキャリア通信システム、などを含むネットワーク)であっても構わず、これらの組み合わせを利用してもよく、他のネットワークと接続されたシステムであってもよい。さらに、ネットワークは、ポイントツーポイント、ポイントツーマルチポイント、マルチポイントツーマルチポイントなど如何なる形態でもよい。
また、動画像受信装置と他の通信装置との間の通信構造に際し、いずれか一方又は双方に形成されるインタフェースの種類は、例えばパラレルインタフェース、USBインタフェース、IEEE1394、LANやWAN等のネットワークやその他これに類するもの、もしくは今後開発される如何なるインタフェースであっても構わない。
さらに、符号時刻情報を予測する手法は、必ずしも実体のある装置に限られる必要はなく、その方法としても機能することは容易に理解できる。このため、方法にかかる発明も、必ずしも実体のある装置に限らず、その方法としても有効であることに相違はない。この場合、方法を実現するための一例として動画像受信装置、通信装置なども含めることができる。
ところで、このような動画像受信装置は、単独で存在する場合もあるし、ある機器(例えば電子機器)に組み込まれた状態で利用されることもあるなど、発明の思想としてはこれに限らず、各種の態様を含むものである。従って、ソフトウェアであったりハードウェアであったりするなど、適宜、変更可能である。発明の思想の具現化例として分岐予測装置のソフトウェアとなる場合には、かかるソフトウェアを記憶した記憶媒体上においても当然に存在し、利用されるといわざるをえない。
さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合であってもよく、一部を記憶媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。本発明をソフトウェアで実現する場合、ハードウェアやオペレーティングシステムを利用する構成とすることも可能であるし、これらと切り離して実現することもできる。
さらに、装置における従属請求項を、方法,プログラムにおける従属請求項として装置の従属請求項に対応した構成にすることも可能である。
さらに、上記各実施の形態には種々の段階が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。つまり、上述の各実施の形態同士、あるいはそれらのいずれかと各変形例のいずれかとの組み合わせによる例をも含む。この場合において、本実施形態において特に記載しなくとも、各実施の形態及びそれらの変形例に開示した各構成から自明な作用効果については、当然のことながら実施の形態の作用効果として含めることができる。逆に、本実施の形態に記載されたすべての作用効果を奏することのできる構成が、本発明の本質的特徴部分の必須構成要件であるとは限らない。また、実施の形態に示される全構成要件から幾つかの構成要件が削除された構成による実施の形態並びにその構成に基づく技術的範囲も発明になりうる。
そして、各実施の形態及びそれらの変形例を含むこれまでの記述は、本発明の理解を容易にするために、本発明の多様な実施の形態のうちの一例の開示、すなわち、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、例証するものであり、制限するものではなく、適宜変形及び/又は変更が可能である。本発明は、その技術思想、またはその主要な特徴に基づいて、様々な形で実施することができ、各実施の形態及びその変形例によって本発明の技術的範囲が限定的に解釈されてはならないものである。
従って、上記に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物を含む趣旨である。
本発明は、コンピュータ産業、通信業界、その他これに類する情報処理産業に適用可能であり、より詳細には、複数のチャネルで伝送された動画像ストリームを、チャネルを切り替えながら断片的に受信する受信装置といった用途に適用できる。
本発明の第1の実施の形態による動画像受信装置の全体構成の一例を示すブロック図である。 本発明の第2の実施の形態による動画像受信装置のフレーム内符号化ピクチャ受信時刻予測・チャネル選択部の詳細構成の一例を示すブロック図である。 本発明の第2の実施の形態による動画像受信装置の制御手段の詳細構成の一例を示すブロック図である。 フレーム間予測を用いて符号化される動画像符号化ストリームの構成の一例を示す説明図である。 本発明の動画像受信装置における動画像ストリームの一例を説明するための説明図である。 本発明の第2の実施の形態によるフレーム内符号化ピクチャの符号受信時刻およびPTSの一例を説明するための説明図である。 本発明の第2の実施の形態による動画像受信装置の全体の処理手順の一例を示すフローチャートである。 本発明の第2の実施の形態による動画像受信装置の詳細な処理手順の一例を示すフローチャートである。 本発明の第3の実施の形態による動画像受信装置のフレーム内符号化ピクチャ受信時刻予測・チャネル選択部の詳細構成の一例を示すブロック図である。 本発明の第3の実施の形態による動画像受信装置において、付け加えて用いられる動画像ストリームの一例を説明するための説明図である。 本発明の第3の実施の形態による動画像受信装置において、フレーム内符号化ピクチャの符号受信時刻およびPTSの一例を説明するための説明図である。 本発明の第3の実施の形態による動画像受信装置において、チャネル1において過去に受信されたフレーム内符号化ピクチャの符号受信時刻およびPTSの差分のヒストグラムの一例を説明するための説明図である。 本発明の第3の実施の形態による動画像受信装置の詳細な処理手順の一例を示すフローチャートである。 本発明の第4の実施の形態による動画像受信装置のフレーム内符号化ピクチャ受信時刻予測・チャネル選択部の詳細構成の一例を示すブロック図である。 本発明の第4の実施の形態による動画像受信装置の詳細な処理手順の一例を示すフローチャートである。 本発明の動画像受信装置のフレーム内符号化ピクチャ受信時刻予測・チャネル選択部の詳細構成の一例を示すブロック図である。 本発明の動画像受信装置の詳細な処理手順の一例を示すフローチャートである。 本発明の動画像受信装置において、フレーム内符号化ピクチャの符号受信時刻およびDTSの一例を説明するための説明図である。 本発明の動画像受信装置のフレーム内符号化ピクチャ受信時刻予測・チャネル選択部の詳細構成の一例を示すブロック図である。 本発明の動画像受信装置の詳細な処理手順の一例を示すフローチャートである。 本発明の動画像受信装置のフレーム内符号化ピクチャ受信時刻予測・チャネル選択部の詳細構成の一例を示すブロック図である。 本発明の動画像受信装置の詳細な処理手順の一例を示すフローチャートである。
符号の説明
1 動画像受信装置
10 符号化ストリーム受信手段
12 蓄積処理手段
14 システム時計(計時部)
20 時刻予測・チャネル選択手段
22 第1の予測部
24 第2の予測部
26 チャネル選択部

Claims (25)

  1. 動画像ストリームのフレーム内符号化ピクチャを受信する符号受信時刻と、前記動画像ストリームに含まれる再生時刻情報及び復号時刻情報のいずれか一方又は双方を含む周期性時刻情報とを、複数チャネルの各前記動画像ストリーム毎に各々蓄積処理する時刻情報蓄積処理手段と、
    前記時刻情報蓄積処理手段の前記周期性時刻情報に基づいて、前記フレーム内符号化ピクチャの符号受信時刻を予測する符号受信時刻予測手段と、
    前記符号受信時刻予測手段にて予測された予測符号受信時刻情報に基づいて、受信すべき前記動画像ストリームのチャネルを選択制御するチャネル選択制御手段と、
    を含むことを特徴とする動画像受信装置。
  2. 請求項1に記載の動画像受信装置において、
    前記符号受信時刻予測手段は、
    過去の各前記周期性時刻情報の各々の増分を考慮して、各前記周期性時刻情報の間隔値を予測し、この予測された周期性時刻情報の間隔値と最後に受信された過去の前記周期性時刻情報とに基づいて、現在以降の前記フレーム内符号化ピクチャの前記周期性時刻情報を予測する第1の予測手段と、
    過去に受信された前記フレーム内符号化ピクチャの前記符号受信時刻と前記周期性時刻情報とに基づいて、現在以降に受信される前記フレーム内符号化ピクチャの前記符号時刻情報と前記周期性時刻情報との差分を予測し、この予測した差分と前記第1の予測手段にて予測された前記予測周期性時刻情報とに基づいて、現在以降の前記フレーム内符号化ピクチャの前記符号受信時刻を予測する第2の予測手段と、
    を含むことを特徴とする動画像受信装置。
  3. 請求項2に記載の動画像受信装置において、
    前記第1の予測手段は、
    各前記周期性時刻情報の各々の増分の公約数に基づいて、前記周期性時刻情報の間隔値を予測するものであることを特徴とする動画像受信装置。
  4. 請求項2に記載の動画像受信装置において、
    前記第1の予測手段は、
    各前記周期性時刻情報の各々の増分の最小値に基づいて、前記周期性時刻情報の間隔値を予測するものであることを特徴とする動画像受信装置。
  5. 請求項2に記載の動画像受信装置において、
    前記第1の予測手段は、
    各前記周期性時刻情報の各々の増分の中から、既知の情報から得られる特定範囲周期性時刻情報間隔値の範囲内に適合する前記増分を選択することで、前記周期性時刻情報の間隔値を予測するものであることを特徴とする動画像受信装置。
  6. 請求項2に記載の動画像受信装置において、
    前記第2の予測手段は、
    過去の前記符号受信時刻と前記周期性時刻情報との差分の平均値に特定のマージンを加えた値を、現在以降に受信される前記フレーム内符号化ピクチャの前記符号受信時刻と前記周期性時刻情報との差分であると予測するものであることを特徴とする動画像受信装置。
  7. 請求項2に記載の動画像受信装置において、
    前記第2の予測手段は、
    過去の前記符号受信時刻と前記周期性時刻情報との差分のヒストグラムを生成し、このヒストグラムのうち累積確率が特定のパーセント以上となるパーセント点の階級を選択し、この階級の代表値を、現在以降に受信される前記フレーム内符号化ピクチャの前記符号受信時刻と前記周期性時刻情報との差分であると予測するものであることを特徴とする動画像受信装置。
  8. 請求項2に記載の動画像受信装置において、
    前記第2の予測手段は、
    過去の前記符号受信時刻と前記周期性時刻情報との差分の期待値と分散を各々算出し、前記差分が従う確率分布モデルにおける累積確率が特定の確率となるパーセント点の値を算出し、そのパーセント点の値を係数として、前記分散の平方根に前記係数を乗じた値と前記期待値との和を算出することで、現在以降の前記フレーム内符号化ピクチャの前記符号受信時刻と前記周期性時刻情報との差分を予測するものであることを特徴とする動画像受信装置。
  9. 請求項8に記載の動画像受信装置において、
    前記第2の予測手段は、
    前記確率分布モデルを標準正規分布として前記差分を予測するものであることを特徴とする動画像受信装置。
  10. 請求項1に記載の動画像受信装置において、
    前記チャネル選択制御手段は、
    前記符号受信時刻予測手段にて予測された予測符号受信時刻に基づき、代表画像収集対象チャネル巡回時間が最短になるように当該チャネル巡回順序を決定しチャネル選択を行うものであることを特徴とする動画像受信装置。
  11. 請求項10に記載の動画像受信装置において、
    前記チャネル選択制御手段は、
    前記代表画像収集対象チャネルの選択を繰り返して深さ優先探索を行うことによりチャネル巡回順序の近似解を求めるものであることを特徴とする動画像受信装置。
  12. 請求項10に記載の動画像受信装置において、
    前記チャネル選択制御手段は、
    前記予測符号受信時刻に基づいて、チャネル選択順序に対して評価値を計算し、前記評価値の高いものから順にチャネルを選択するものであり、前記評価値を、収集される代表画像の即時性あるいは収集時間に基づいて計算することによりチャネルの選択順序を決定するものであることを特徴とする動画像受信装置。
  13. 請求項12に記載の動画像受信装置において、
    前記チャネル選択制御手段は、
    前記評価値を前記チャネルを巡回する巡回所要時間として計算するものであることを特徴とする動画像受信装置。
  14. 請求項12に記載の動画像受信装置において、
    前記チャネル選択制御手段は、
    直前に選択されたチャネルにおける前記フレーム内符号化ピクチャの直前符号受信時刻と、前記直前符号受信時刻以降に受信される前記フレーム内符号化ピクチャの前記符号受信時刻との関係を示す第1の評価関数を算出し、前記第1の評価関数の演算結果が最小となる未選択チャネルを最初にあわせるチャネルとして選択するものであることを特徴とする動画像受信装置。
  15. 請求項14に記載の動画像受信装置において、
    前記チャネル選択制御手段は、
    前記第1の評価関数の演算結果が最小となる未選択チャネルが複数存在する場合、前記直前符号受信時刻以降に受信される前記フレーム内符号化ピクチャの2枚目の符号受信時刻を示す第2の評価関数を算出し、前記第2の評価関数の演算結果が最大となる未選択チャネルを最初にあわせるチャネルとして選択するものであることを特徴とする動画像受信装置。
  16. 請求項14に記載の動画像受信装置において、
    前記チャネル選択制御手段は、
    前記フレーム内符号化ピクチャの予測周期性時刻情報と現在時刻との関係を示すとともに、代表画像収集が過去に行われた否かを考慮した第3の評価関数を演算し、前記第3の評価関数の演算結果の値が大きいものをチャネル選択の優先度の高いものとして設定し、該優先度の高い順に前記チャネルを選択制御するものであることを特徴とする動画像受信装置。
  17. 請求項16に記載の動画像受信装置において、
    前記チャネル選択制御手段は、
    前記第3の評価関数の演算結果が同一となるチャネルが複数存在する場合、前記第1の評価関数の大きいチャネルほど前記優先度が高くなるように設定するものであることを特徴とする動画像受信装置。
  18. 請求項17に記載の動画像受信装置において、
    前記チャネル選択制御手段は、
    前記第3の評価関数を用いて前記優先度を設定する際に、前記第1の評価関数の演算結果が同一となるチャネルがさらに複数存在する場合、前記第2の評価関数の演算結果の大きいチャネルほど前記優先度が高くなるように設定するものであることを特徴とする動画像受信装置。
  19. 請求項10に記載の動画像受信装置において、
    前記チャネル選択制御手段は、
    各代表画像収集対象チャネルについて過去に収集済みの代表画像の前記符号受信時刻と現在時刻の差を計算し、前記時刻差を基準として、各前記代表画像収集対象チャネルを複数のチャネル集合に分割し、各チャネル単位のチャネル優先度よりも優先される各チャネル集合の集合優先度を設定して、最終的なチャネル選択の優先度を決定するものであることを特徴とする動画像受信装置。
  20. 動画像ストリームのフレーム内符号化ピクチャを受信する符号受信時刻と、前記動画像ストリームに含まれる再生時刻情報及び復号時刻情報のいずれか一方又は双方を含む周期性時刻情報とを、複数チャネルの各前記動画像ストリーム毎に各々蓄積処理する時刻情報蓄積処理ステップと、
    前記時刻情報蓄積処理ステップの前記周期性時刻情報に基づいて、前記フレーム内符号化ピクチャの符号受信時刻を予測する符号受信時刻予測ステップと、
    前記符号受信時刻予測ステップにて予測された予測符号受信時刻情報に基づいて、受信すべき前記動画像ストリームのチャネルを選択制御するチャネル選択制御ステップと、
    を含むことを特徴とする動画像受信方法。
  21. 請求項20に記載の動画像受信方法において、
    前記符号受信時刻予測ステップは、
    過去の各前記周期性時刻情報の増分を考慮して、各前記周期性時刻情報の間隔値を予測し、この予測された周期性時刻情報の間隔値と過去の前記周期性時刻情報とに基づいて、現在以降の前記フレーム内符号化ピクチャの前記周期性時刻情報を予測する第1の予測ステップと、
    前記第1の予測ステップにて予測された予測周期性時刻情報に基づいて、前記符号受信時刻を予測する第2の予測ステップと、
    を含むことを特徴とする動画像受信方法。
  22. 請求項21に記載の動画像受信方法において、
    前記第2の予測ステップでは、
    過去の前記符号受信時刻と前記周期性時刻情報との差分のヒストグラムを生成し、このヒストグラムのうち累積確率が特定のパーセント以上となるパーセント点の階級を選択し、この階級の代表値を、現在以降に受信される前記フレーム内符号化ピクチャの前記符号受信時刻と前記周期性時刻情報との差分であると予測するようにしたことを特徴とする動画像受信方法。
  23. 請求項21に記載の動画像受信方法において、
    前記第2の予測ステップでは、
    過去の前記符号受信時刻と前記再生時刻情報との差分の期待値と分散を各々算出し、前記差分が従う確率分布モデルにおける累積確率が特定の確率となるパーセント点の値を算出し、そのパーセント点の値を係数として、前記分散の平方根に前記係数を乗じた値と前記期待値との和を算出することで、現在以降の前記フレーム内符号化ピクチャの前記符号受信時刻と前記周期性時刻情報との差分を予測するようにしたことを特徴とする動画像受信方法。
  24. 請求項20に記載の動画像受信方法において、
    前記チャネル選択制御ステップでは、
    前記予測符号受信時刻に基づいて、チャネル選択順序に対して評価値を計算し、前記評価値の高いものから順にチャネルを選択するものであり、前記評価値を、収集される代表画像の即時性あるいは収集時間に基づいて計算することによりチャネルの選択順序を決定することを特徴とする動画像受信方法。
  25. コンピュータが実行可能なプログラムであって、
    動画像ストリームのフレーム内符号化ピクチャを受信する符号受信時刻と、前記動画像ストリームに含まれる再生時刻情報及び復号時刻情報のいずれか一方又は双方を含む周期性時刻情報とを、複数チャネルの各前記動画像ストリーム毎に各々蓄積処理する時刻情報蓄積処理機能と、
    前記時刻情報蓄積処理機能の前記周期性時刻情報に基づいて、前記フレーム内符号化ピクチャの符号受信時刻を予測する符号受信時刻予測機能と、
    前記符号受信時刻予測機能にて予測された予測符号受信時刻情報に基づいて、受信すべき前記動画像ストリームのチャネルを選択制御するチャネル選択制御機能と、
    を含む機能をコンピュータに実行させることを特徴とするプログラム。

JP2007255204A 2007-09-28 2007-09-28 動画像受信装置、動画像受信方法、及びプログラム Expired - Fee Related JP4858389B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007255204A JP4858389B2 (ja) 2007-09-28 2007-09-28 動画像受信装置、動画像受信方法、及びプログラム
TW97134847A TW200922330A (en) 2007-09-28 2008-09-11 Dynamic image receiving apparatus, dynamic image receiving method and program
US12/680,491 US8446951B2 (en) 2007-09-28 2008-09-19 Dynamic image receiving apparatus, dynamic image receiving method and program
PCT/JP2008/066993 WO2009041363A1 (ja) 2007-09-28 2008-09-19 動画像受信装置、動画像受信方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007255204A JP4858389B2 (ja) 2007-09-28 2007-09-28 動画像受信装置、動画像受信方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2009088926A JP2009088926A (ja) 2009-04-23
JP4858389B2 true JP4858389B2 (ja) 2012-01-18

Family

ID=40511248

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007255204A Expired - Fee Related JP4858389B2 (ja) 2007-09-28 2007-09-28 動画像受信装置、動画像受信方法、及びプログラム

Country Status (4)

Country Link
US (1) US8446951B2 (ja)
JP (1) JP4858389B2 (ja)
TW (1) TW200922330A (ja)
WO (1) WO2009041363A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9137502B2 (en) * 2004-08-25 2015-09-15 Broadcom Corporation Method and system for fast digital channel change utilizing time-stamp management
JP4748245B2 (ja) * 2009-04-10 2011-08-17 株式会社デンソー 回転機の制御装置
JP5782705B2 (ja) * 2009-11-26 2015-09-24 三菱電機株式会社 デジタル放送受信装置及びその受信方法
KR101217896B1 (ko) * 2010-09-09 2013-01-02 중앙대학교 산학협력단 이동 단말기 및 이동 단말기의 핸드오버 방법
JP5857273B2 (ja) * 2011-05-17 2016-02-10 パナソニックIpマネジメント株式会社 ストリーム処理装置
US8917745B2 (en) * 2012-03-11 2014-12-23 Broadcom Corporation Channel bonding with orbital angular momentum
WO2014186886A1 (en) * 2013-05-24 2014-11-27 En-Hui Yang System and method having transparent composite model for transform coefficients
US9773155B2 (en) * 2014-10-14 2017-09-26 Microsoft Technology Licensing, Llc Depth from time of flight camera
US10110881B2 (en) * 2014-10-30 2018-10-23 Microsoft Technology Licensing, Llc Model fitting from raw time-of-flight images
KR102301232B1 (ko) * 2017-05-31 2021-09-10 삼성전자주식회사 다채널 특징맵 영상을 처리하는 방법 및 장치
CN109739607B (zh) * 2018-12-29 2021-11-09 深圳乐信软件技术有限公司 动态图像加载方法、装置、设备及存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08102945A (ja) * 1994-09-30 1996-04-16 Toshiba Corp 階層符号復号化装置
JP3812016B2 (ja) 1996-04-09 2006-08-23 カシオ計算機株式会社 多重放送受信装置
US6337715B1 (en) * 1997-07-04 2002-01-08 Matsushita Electric Industrial Co., Ltd. Broadcasting reception apparatus and data broadcasting method
US5959684A (en) * 1997-07-28 1999-09-28 Sony Corporation Method and apparatus for audio-video synchronizing
JP2001346204A (ja) 2000-06-06 2001-12-14 Matsushita Electric Ind Co Ltd トランスポートストリームデコーダ
US6473137B1 (en) * 2000-06-28 2002-10-29 Hughes Electronics Corporation Method and apparatus for audio-visual cues improving perceived acquisition time
JP2002320153A (ja) * 2001-02-14 2002-10-31 Matsushita Electric Ind Co Ltd 選局方法及び選局装置
US7483867B2 (en) * 2001-06-26 2009-01-27 Intuition Intelligence, Inc. Processing device with intuitive learning capability
JP2003087668A (ja) * 2001-09-13 2003-03-20 Mitsubishi Electric Corp デジタル放送受信方法およびデジタル放送受信装置
US8745689B2 (en) * 2002-07-01 2014-06-03 J. Carl Cooper Channel surfing compressed television sign method and television receiver
JP4294933B2 (ja) * 2002-10-16 2009-07-15 富士通株式会社 マルチメディアコンテンツ編集装置およびマルチメディアコンテンツ再生装置
JP2004215201A (ja) * 2003-01-09 2004-07-29 Sony Corp 情報処理装置および情報処理方法、データ通信システム、記録媒体、並びにプログラム
KR20050117526A (ko) * 2003-02-28 2005-12-14 마쯔시다덴기산교 가부시키가이샤 디지털 권리 관리용 콘텐츠 이용 실적 수집을 위한 시스템 및 방법
AU2004250927B2 (en) * 2003-06-16 2010-04-08 Interdigital Vc Holdings, Inc. Decoding method and apparatus enabling fast channel change of compressed video
US7372867B2 (en) * 2003-06-30 2008-05-13 Intel Corporation Method and apparatus to provide channel access parameter
JP2005033556A (ja) * 2003-07-14 2005-02-03 Toshiba Corp データ送信装置、データ送信方法、データ受信装置、データ受信方法
US7562375B2 (en) * 2003-10-10 2009-07-14 Microsoft Corporation Fast channel change
JP4383844B2 (ja) * 2003-12-19 2009-12-16 キヤノン株式会社 映像表示装置及び映像表示装置の制御方法
JP2006148825A (ja) * 2004-11-25 2006-06-08 Matsushita Electric Ind Co Ltd デジタル放送受信装置
KR100640424B1 (ko) * 2005-03-16 2006-11-01 삼성전자주식회사 디지털 멀티미디어 방송 수신기에서 방송 채널의 전환을 제어하는 장치 및 방법
US7793329B2 (en) * 2006-02-06 2010-09-07 Kasenna, Inc. Method and system for reducing switching delays between digital video feeds using multicast slotted transmission technique

Also Published As

Publication number Publication date
US20100246673A1 (en) 2010-09-30
US8446951B2 (en) 2013-05-21
JP2009088926A (ja) 2009-04-23
WO2009041363A1 (ja) 2009-04-02
TW200922330A (en) 2009-05-16

Similar Documents

Publication Publication Date Title
JP4858389B2 (ja) 動画像受信装置、動画像受信方法、及びプログラム
US10785529B2 (en) Anticipatory video signal reception and processing
Petrangeli et al. An http/2-based adaptive streaming framework for 360 virtual reality videos
US20190075342A1 (en) Codec techniques for fast switching
KR102099357B1 (ko) 스크린 샷을 제공하는 장치 및 시스템, 그리고 방법
WO2016029804A1 (zh) 一种视频播放方法、媒体设备、播放设备以及多媒体系统
US20120246335A1 (en) Method, terminal, and server for implementing fast playout
US20140026052A1 (en) Systems and methods for rapid content switching to provide a linear tv experience using streaming content distribution
US10638180B1 (en) Media timeline management
EP2875417B1 (en) Systems and methods for rapid content switching to provide a linear tv experience using streaming content distribution
JP4475336B2 (ja) タイムスタンプ付加装置およびタイムスタンプ付加方法、並びにプログラム
CN103858440A (zh) 在针对自适应http流的表示之间提供改进切换的切换信令方法
JP2006217343A (ja) 信号処理装置および録画方法
JP2008259119A (ja) 映像配信装置、映像受信装置およびキーフレーム配信方法
WO2009119394A1 (ja) 映像取得方法、映像取得装置、映像取得システム及び映像取得用プログラム
JP2005244948A (ja) 画像記録装置、画像再生装置、画像処理装置、画像記録方法、画像再生方法、及びプログラム
JP2012023734A (ja) ファイル位置高速検索方法
US8670464B2 (en) Multi-view video coding/decoding method
KR100960896B1 (ko) 콘텐츠 데이터를 업컨버트하는 장치 및 방법
JP4548233B2 (ja) 映像コンテンツ処理方法、映像コンテンツ処理プログラム、映像コンテンツ処理プログラムを記録した記録媒体及び映像コンテンツ処理装置
CN103997694A (zh) 一种视频退播方法及系统
JP2011087333A (ja) 画像再生装置
EP3796664A1 (en) Methods and apparatuses for broadcasting additional content services
TWI568254B (zh) 無線端對端串流的隨選廣播方法
JP2007060001A (ja) コンテンツ再生装置およびコンテンツ再生方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111004

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111017

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4858389

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141111

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees