JP4869330B2 - デジタル画像データ処理装置及び処理方法 - Google Patents
デジタル画像データ処理装置及び処理方法 Download PDFInfo
- Publication number
- JP4869330B2 JP4869330B2 JP2008505143A JP2008505143A JP4869330B2 JP 4869330 B2 JP4869330 B2 JP 4869330B2 JP 2008505143 A JP2008505143 A JP 2008505143A JP 2008505143 A JP2008505143 A JP 2008505143A JP 4869330 B2 JP4869330 B2 JP 4869330B2
- Authority
- JP
- Japan
- Prior art keywords
- reference frame
- frame data
- decoding
- idr
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
- H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【0001】
本発明は、符号化データを可変長にてパケット化した複数のデータパケットをデジタル処理するデジタル画像データ処理装置及び処理方法に関するものである。
【背景技術】
【0002】
例えばデジタル又はインターネット放送受信機を用いて、ビデオデータやオーディオデータをデジタル化して多重伝送するデジタル放送が既に開始されている。このデジタル放送においては、所定の圧縮符号化方式(例えばMPEG;Moving Picture Expert Group方式等)が採用され、複数の番組のデータが、当該符号化方式に対応したストリーム(例えばMPEGトランスポートストリーム;MPEG−TS等)に多重化して伝送される。このように多重化しストリームとして伝送されたデータは、これを受信した受信機側において所望のデータが選択的に抽出される。このとき、受信データには、例えば画像フレームごとに時刻情報(再生時刻情報)が連続的に付与されており、この時刻情報を用いて復号装置にデコード処理を行わせることにより、時間順序に沿った整合性を保持しつつ、フレームの復号化及び再生が行われるようになっている。
【0003】
このような再生時刻情報に関し、従来、復号化のための指示信号により復号化対象を切り替えたときの表示待ち時間を低減するための技術として、例えば特許文献1記載のものが提唱されている。この従来技術では、同一ストリーム内においてチャンネルを切り替えた時の待ち時間をなくすために、一時保存用のバッファーを設けてフレーム群の先頭を保持しておき、上記切り替えの際に当該先頭のフレームから復号化を行うようになっている。
【0004】
【特許文献1】
特開平10−190617号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
近年、ブロードバンド化の一層の進展に伴い、携帯電話機やその他の携帯端末等、比較的簡素な構造のデジタル又はインターネット放送受信機を用い、簡易的な動画配信を行うことが計画されている。一般に動画配信を行う場合画像を圧縮して送付する。この場合、動画を構成する各画像はそれ自身で一枚の絵を生成できるIDRピクチャー(基準フレームデータ)と、参照画像を要するnonIDRピクチャー(非基準フレームデータ)とに分けられる。狭帯域で動画を送ろうとした場合にはIDRピクチャーの挿入間隔が長くなってしまうことが多い。
[0006]
この伝送方式では、トータルの伝送量を削減できる一方で、復号化は上記基準フレームデータからしか行うことができない。このため、復号化のための指示信号(例えば簡易動画配信サービスへの切替信号)が上記基準フレームデータと次の基準フレームデータとの間に入力された場合、当該次の基準フレームデータを受信し復号化するまでの間、画像を再生することができず、操作者を長く待たせることとなってその利便性を阻害する。
[0007]
このとき、上記従来技術を適用し、表示待ち時間をなくすことも考えられるが、上記従来技術では、非表示の時間を回避することのみに主眼がおかれており、各フレームデータの再生時刻情報と実際の再生時刻との一致については特に配慮されていない。このため、切り替えのタイミングで本来提示すべき画像より過去の映像を出力することになる。例えば地上波デジタルワンセグ放送ではARIB TR−B14によると上記基準フレームデータが約2秒に1回発生するとされているが、このような場合、切り替えのタイミングによって、本来表示するべき時刻に対し最大2秒古い過去の映像を表示するというずれが発生する。
[0008]
本発明が解決しようとする課題には、上記に示した問題が一例として挙げられる。
課題を解決するための手段
【0009】
上記課題を解決するために、請求項1記載の発明は、符号化データを可変長にてパケット化されて形成され、時間軸に沿い復号化を行う際の復号化起点となりうる基準フレームデータとそれ以外の非基準フレームデータとを含む複数のデータパケットのストリームを処理するデジタル画像データ処理装置であって、前記複数のデータパケットに備えられる前記基準フレームデータ及び前記非基準フレームデータを順次蓄積する蓄積手段と、前記蓄積手段に順次蓄積される最新の特定の前記基準フレームデータの再生時刻情報を保持する保持手段と、所定方式のデジタルTVサービスから簡易動画サービスへの移行切替指示信号が入力されたとき、前記保持手段で保持された前記特定の前記基準フレームデータを復号化起点に、当該特定の基準フレームデータ及びそれ以降の複数の前記非基準フレームデータの復号化を順次開始するとともに、順次復号化された前記複数の非基準フレームデータにそれぞれ備えられる再生時刻情報から作成した再生時刻が、前記時間軸に沿って時々刻々と経過する実際の動作挙動タイミングを表す時刻である現在時刻より未来とならない範囲において当該復号化を継続する、復号化手段と、前記再生時刻が前記現在時刻より未来になった場合に、表示手段の表示動作を開始させるための開始手段と、前記復号化手段が前記復号化を継続している間に、前記特定の基準フレームデータの次の基準フレームデータが前記蓄積手段に蓄積されたかどうかを判定する判定手段と、を有し、前記判定手段により前記次の基準フレームデータが蓄積されたと判定された場合には、前記保持手段は、前記次の基準フレームデータの再生時刻情報を保持し、前記復号化手段は、前記保持手段で保持された前記次の基準フレームデータを復号化起点に、当該次の基準フレームデータ及びそれ以降の複数の前記非基準フレームデータの復号化を順次開始するとともに、順次復号化された前記複数の非基準フレームデータにそれぞれ備えられる再生時刻情報から作成した再生時刻が前記現在時刻より未来とならない範囲において当該復号化を継続する。
【0010】
また、請求項3記載の発明は、符号化データを可変長にてパケット化されて形成され、時間軸に沿い復号化を行う際の復号化起点となりうる基準フレームデータとそれ以外の非基準フレームデータとを含む複数のデータパケットのストリームを処理するデジタル画像データ処理方法であって、前記複数のデータパケットに備えられる前記基準フレームデータ及び前記非基準フレームデータを順次蓄積する蓄積手順と、前記順次蓄積される最新の特定の前記基準フレームデータの再生時刻情報を保持する保持手順と、所定のデジタルTVサービスから簡易動画サービスへの移行切替指示信号が入力されたとき、前記保持された前記特定の前記基準フレームデータを復号化起点に、当該特定の基準フレームデータ及びそれ以降の複数の前記非基準フレームデータの復号化を順次開始するとともに、順次復号化された前記複数の非基準フレームデータにそれぞれ備えられる再生時刻情報から作成した再生時刻が、前記時間軸に沿って時々刻々と経過する実際の動作挙動タイミングを表す時刻である現在時刻より未来とならない範囲において当該復号化を継続する、復号化手順と、前記再生時刻が前記現在時刻より未来になった場合に、表示動作を開始させるための開始手順と、前記復号化手順で前記復号化を継続している間に、前記特定の基準フレームデータの次の基準フレームデータが蓄積されたかどうかを判定する判定手順と、を有し、前記判定手順で前記次の基準フレームデータが蓄積されたと判定された場合には、前記保持手順は、前記次の基準フレームデータの再生時刻情報を保持し、前記復号化手順は、前記保持手順で保持された前記次の基準フレームデータを復号化起点に、当該次の基準フレームデータ及びそれ以降の複数の前記非基準フレームデータの復号化を順次開始するとともに、順次復号化された前記複数の非基準フレームデータにそれぞれ備えられる再生時刻情報から作成した再生時刻が前記現在時刻より未来とならない範囲において当該復号化を継続する。
発明を実施するための最良の形態
[0011]
以下、本発明の一実施の形態を図面を参照しつつ説明する。この実施形態は、デジタル画像データ処理装置の一例として、MPEG2システムを用いた地上波デジタル放送の受信機、特に、HDTVサービスと簡易動画サービス(例えば映像符号化方式としてH.264が使用される)を含む放送を受信可能な受信機に適用した場合の実施形態である。
[0012]
図1は、本実施形態の受信機の全体機能構成を表す機能ブロック図である。
[0013]
図1において、デジタル画像データ処理装置としてのこの受信機1は、RF信号を受信するチューナ10と、受信されたRF信号を例えばOFDM復調する復調部20と、復調部20からのトランスポートストリーム(TS)を一次格納するTSBuffer30と、TSDemux(デマルチプレクサ)40と、有限サイズであって例えばリングバッファーなどで構成されるESBuffer50(蓄積手段)と、H.264デコーダ60と、最終的に画像データを出力するビデオ送出器70と、ESBuffer50内の簡易動画映像ESについてIDR−AUを検出するIDR検出器80と、IDRポインタ保持器90と、PTS判定器110とを有している。
【0014】
復調部20は、チューナ10で受信されたRF信号に対し、FFT、デインターリーブ、デマッピング等の公知の手法によりチャネルデコード(復調)を行いTSBuffer30に格納する。
【0015】
TSDemux40は、上記TSBuffer30からのTSパケットを解析し、指定されたPIDのTSパケットを抽出し特定のエレメンタリストリーム(ES)を抜き出し、ESBuffer50に格納する。また一方、再生時刻情報としてのPTS(Presentation Time Stamp)を抽出し、対応する上記ESの保持領域を指し示す情報とともにPTS保持器100へと出力する。なお、TSDemux40では、簡易動画サービスの映像ESと時刻情報(PCR)については常にDemux(多重分離)を行っており、常にデータをESBuffer50へ供給する。
【0016】
IDR検出器80は、ESBuffer50に時々刻々と格納されるESデータを常に検査し、IDR−AUの検出を行う。IDR−AUが検出された際には、その領域を指し示す情報をIDRポインタ保持器90に格納する。
【0017】
IDRポインタ保持器90は、IDR検出器80で検出したIDR−AUに基づき、最新のIDR−AUの先頭格納位置を保持する。すなわち、新しいIDR−AUが検出された場合にはそのIDR−AUのアドレスに差し替えられる。
【0018】
PTS保持器100は、IDRポインタ保持器90と連携し、上記PESから抽出されたPTSを、対応するESの領域情報と併せて(関連付けて)保持する。
【0019】
H.264デコーダ60は、例えば操作者による操作手段(図示せず)の操作や電波状況の悪化等に基づく切替指示信号(切替要求)によってデコード動作の開始・停止が制御される。すなわち、簡易動画表示を行うための切替指示信号が入力されたら、上記IDRポインタ保持器90に格納された情報に基づき、ESBuffer50のうち対応する領域から1AUごとにデコード(復号化)を行う。なお、このデコードはリソースが許す限りにおいて高速に行っている。なお、PTSが存在しないアクセスユニットに関しては、H.264の仕様に従いPTSを生成して、PTS判定器110へ供給する。
【0020】
PTS判定器110は各AUごとにPTSと現在の時刻とを比較し、PTSが現在の時刻より未来になったら、ビデオ送出器70にイネーブル信号(PTSと画像データ)とを送出する。
【0021】
ビデオ送出器70は、PTS判定器110からのイネーブル信号に基づき、PTSが指定した時刻になったらデコード後の画像信号を送出する。
【0022】
図2(a)及び図2(b)は、上記構成の受信機1により実行される、簡易動画画像への切替直後のデコード動作の原理を概念的に表す説明図である。
【0023】
図2(a)は、横軸に時間軸をとった(但し時刻は後述のPTSに対応させるための概念値である)動作挙動タイミングを表す図である。この図2(a)において、例えば、時刻125において、HDTVサービスから簡易動画サービスへの切替信号が入力された場合を考える。
【0024】
図2(b)は、この時刻125の時点で、チューナ10で受信され復調部20及びTSDemux40を経てESBuffer50に蓄積されたAUを、時間軸に沿って下から上へと「P○」(○は数字)の形式で便宜的に表したものであり、各AUのPTS(上記時刻概念値で表す)がその横に表されている。この例では、図中の「P0」がIDR−AUであり、他の「P−1」「P1」‥等がnonIDR−AUである。
【0025】
前述した簡易動画サービスで映像符号化方式として用いられるH.264のARIB、TR−B14での運用ではIDR周期が通常約2秒となっているが、本実施形態では、前述したように、次のIDR−AUが蓄積されるまで、その時点で一番新しいIDR−AU又はこれに関する情報(この例ではIDRポインタ)がIDRポインタ保持器90で常に保持されている。この時点で一番新しいIDR−AUは「P0」であり(図2(b)参照)これが保持されている。したがって、図2(a)において、時刻125で切替信号が入力された後はIDR−AUである「P0」からデコードを開始する。
【0026】
「P0」のデコードが完了した時点では少し時間が経過し現在時刻が時刻128になっており、これと当該「P0」のPTS110とを比較した場合、PTS110は現在時刻128よりも古い(過去)であるため、画像表示は行わず、次のAUのデコード処理に移行する。
【0027】
次の「P1」のデコードが完了したときの現在時刻は132となっており、この「P1」のPTS120のほうが過去であるため、上記同様、画像表示が行わない。同様に、「P2」についてもデコード完了時の現在時刻よりPTSのほうが過去であり画像表示は行わない。しかしながら、P0→P1→P2と、デコード完了時の現在時刻とPTSとの差が徐々に縮まり、デコード処理が追いついてくる挙動となる。
【0028】
そしてついに、「P3」のデコード完了時の現在時刻は137となり、「P3」のPTS140よりも新しい(未来の)時刻となる。これにより映像表示予約を行って(=具体的にはイネーブル信号をPTS判定器110からビデオ送出器70へ発して、詳細は後述)PTSの表す時刻140になったら当該「P3」AUのフレームを表示させるようにし、以降は通常のデコード処理を行う。
【0029】
図3は、上記図2に示した挙動を実現するために受信機1全体で実行される制御手順を表すフローチャートである。
【0030】
図3において、まず初期状態として、HDTVサービスと簡易動画サービスとを含む地上デジタル放送をチューナ10で受信し、上記復調部20による復調、H.264デコーダ60による復号化を経て、HDTVサービスによる画像が表示部に表示されている状態で、このフローが起動される。
【0031】
まずステップS5において、H.264デコーダ60で、前述の操作手段(図示せず)の操作や電波状況の悪化に基づく切替指示信号が入力されたかどうかを判定する。
【0032】
切替指示信号が入力されていない場合は判定が満たされずステップS10に移り、IDR検出器80で、ESBuffer50に新しいPESデータが格納されたかどうかを判定する。TSDemux40で抽出されESBuffer50に格納された新しいPESがあった場合には判定が満たされ、ステップS15に移る。新しいPESがなかった場合には判定が満たされず、ステップS5に戻り同様の手順を繰り返す。
【0033】
ステップS15では、IDR検出器80で、ESBuffer50に蓄積された新しいPESデータの解析を行い、続くステップS20においてIDR−AUが存在するかどうかを判定する。IDR−AUが存在しない場合(nonIDR−AUであった場合)は判定が満たされず、ステップS10に戻って同様の手順を繰り返す。IDR−AUが存在した場合は、判定が満たされ、ステップS25に移る。
【0034】
ステップS25では、IDRポインタ保持器90で、当該検出したIDR−AUのESBufferにおけるポインタデータの保持(いいかえれば保持していたそれまでの最新ポインタデータの上書き更新)を行うとともに、続くステップS30において、PTS保持器100で、対応するIDR−AUのPTSを保存し、ステップS10に戻る。
【0035】
一方、前述のステップS5において、簡易動画サービスへの切替指示信号が入力されていた場合、H.264デコーダ60によるこの判定が満たされ、ステップS35へ移る。
【0036】
ステップS35では、H.264デコーダ60で、IDRポインタ保持器90でポインタデータを保持していたIDR−AUから順次AUをESBuffer50より取得し、各AUのデコード処理を開始する(復号化手順)。
【0037】
その後、ステップS40において、PTS判定器110で、上記ステップS35で順次デコードしていくAU(言い換えれば、上記IDRポインタ保持器90がポインタデータを保持していたIDR−AU及びそれ以降のAU)のPTSをPTS保持器100又はH.264デコーダ60より取得する。
【0038】
そして、ステップS45において、PTS判定器110で、順次デコードした各AUのPTSと現在時刻とを比較し、AUのPTSが現在時刻より先(未来)の時刻であるかどうかを判定する(比較手順)。PTSが過去の時刻であった場合、判定が満たされず、ステップS35に戻り、PTSが映像送出可能な未来の時刻になるまでステップS35のデコード手順とステップS40のPTS取得手順とを繰り返す。
【0039】
PTSが未来の時刻(言い換えればこれから画像送出可能な時刻)であれば、ステップS50に移り、PTS判定器110でビデオ送出器70に対して映像出力予約を行う(開始手順)。これ以降は、通常と同様のデコードシーケンスへ遷移することとなるので、説明を省略する。
【0040】
以上において、H.264デコーダ60が、各請求項記載の、所定の指示信号に応じ、蓄積手段に蓄積された最新の基準フレームデータを復号化起点に、当該基準フレームデータ及びそれ以降の複数の非基準フレームデータの復号化を順次行う復号化手段を構成する。
【0041】
また、PTS判定器110が、復号化手段により順次復号化された複数の非基準フレームデータにそれぞれ備えられる再生時刻情報から作成した再生時刻と現在時刻との前後関係に応じて、復号化手段で復号化されたフレームデータに基づく表示手段の表示動作の制御を行う制御手段を構成する。このPTS判定器110が実行する図2のステップS45が、複数の非基準フレームデータにそれぞれ備えられる再生時刻情報から作成した再生時刻と現在時刻を比較する比較手段を構成し、ステップS50が、比較手段比較結果で、再生時刻情報から作成した再生時刻が現在時刻より未来になった場合に、表示手段の表示動作を開始させるための開始手段を構成する。
【0042】
以上説明したように、本実施形態におけるデジタル画像データ処理装置(この例では受信機)1は、符号化データを可変長にてパケット化されて形成され、時間軸に沿い復号化を行う際の復号化起点となりうる基準フレームデータ(この例ではIDR−AU)とそれ以外の非基準フレームデータ(この例ではnonIDR−AU)とを含む複数のデータパケット(この例ではPESパケット)のストリーム(この例ではTSストリーム)を処理するデジタル画像データ処理装置1であって、複数のデータパケット(PESパケット)に備えられる基準フレームデータIDR−AU及び非基準フレームデータnonIDR−AUを順次蓄積する蓄積手段(この例ではESBuffer50)と、所定の指示信号に応じ、蓄積手段50に蓄積された最新の基準フレームデータIDR−AUを復号化起点に、当該基準フレームデータIDR−AU及びそれ以降の複数の非基準フレームデータnonIDR−AUの復号化を順次行う復号化手段(この例ではH.264デコーダ60)と、この復号化手段60により順次復号化された複数の非基準フレームデータnonIDR−AUにそれぞれ備えられる再生時刻情報PTSから作成した再生時刻と現在時刻との前後関係に応じて、復号化手段60で復号化されたフレームデータ(この例ではIDR−AU及びnonIDR−AU)に基づく表示手段の表示動作の制御を行う制御手段(この例ではPTS判定器110)とを有することを特徴とする。
【0043】
簡易動画サービス等、伝送容量に制限のある伝送方式の場合、時間軸に沿い復号化を行う際の復号化起点となりうる基準フレームデータIDR−AUは、所定の時間間隔をもって送信される場合がある。本実施形態においてはこれに対応し、蓄積手段50が基準フレームデータIDR−AU及び非基準フレームデータnonIDR−AUを順次蓄積しておき、所定の指示信号が入力されると、その蓄積された基準フレームデータIDR−AUのうち最新のものを起点として、復号化手段60がその基準フレームデータIDR−AU及びそれ以降の非基準フレームデータnonIDR−AUの復号化を順次開始する。これにより、復号化開始のために入力される上記指示信号が先の基準フレームデータIDR−AUと次の基準フレームデータIDR−AUとの間に入力されたとしても、蓄積手段50に蓄積された先の基準フレームデータIDR−AUから復号化を行うことができる。
【0044】
このとき、制御手段110は、その順次復号化された各非基準フレームデータnonIDR−AUの再生時刻情報PTSから作成した再生時刻と現在時刻との前後関係に応じて、表示手段による復号化フレームデータの表示制御を行う。これにより、上記のようにして先の基準フレームデータIDR−AUから順次復号化を行っていき、復号化の進展とともに各フレームデータAUの再生時刻が過去側から現在時刻側に徐々に追いついて現在時刻よりも未来になったときに、表示開始させることが可能となる。
【0045】
以上のような復号化及び表示制御を行うことにより、所定の時間間隔の基準フレームデータIDR−AUが受信されるのを待って復号化及び表示を行う通常の場合と異なり、指示信号が先の基準フレームデータIDR−AUと次の基準フレームデータIDR−AUとの間に入力されたとしても操作者を長く待たせることなく、速やかに復号化した画像を表示することができる。またこのとき、各フレームAUの再生時刻情報と当該フレームAUが実際に表示される時刻との間にずれが生じることもなく、正しい時刻に各フレームAUを表示させることができる。
【0046】
本実施形態のデジタル画像データ処理装置1で実施されるデジタル画像データ処理方法は、符号化データを可変長にてパケット化されて形成され、時間軸に沿い復号化を行う際の復号化起点となりうる基準フレームデータ(この例ではIDR−AU)とそれ以外の非基準フレームデータ(この例ではnonIDR−AU)とを含む複数のデータパケット(この例ではPESパケット)のストリーム(この例ではTSストリーム)を処理するデジタル画像データ処理方法であって、複数のデータパケット(PESパケット)に備えられる基準フレームデータIDR−AU及び非基準フレームデータnonIDR−AUを順次蓄積する蓄積手順(この例ではESBuffer50で実行する)と、所定の指示信号に応じ、蓄積手順に蓄積された最新の基準フレームデータIDR−AUを復号化起点に、当該基準フレームデータIDR−AU及びそれ以降の複数の非基準フレームデータnonIDR−AUの復号化を順次行う復号化手順(この例ではステップS35の手順)と、この復号化手順S35により順次復号化された複数の非基準フレームデータnonIDR−AUにそれぞれ備えられる再生時刻情報PTSから作成した再生時刻と現在時刻との前後関係に応じて、復号化手順S35で復号化されたフレームデータ(この例ではIDR−AU及びnonIDR−AU)に基づく表示手段の表示動作の制御を行う制御手順(この例ではステップS45及びステップS50の手順)とを有することを特徴とする。
【0047】
簡易動画サービス等、伝送容量に制限のある伝送方式の場合、時間軸に沿い復号化を行う際の復号化起点となりうる基準フレームデータIDR−AUは、所定の時間間隔をもって送信される場合がある。本実施形態においてはこれに対応し、蓄積手順で基準フレームデータIDR−AU及び非基準フレームデータnonIDR−AUを順次蓄積しておき、所定の指示信号が入力されると、その蓄積された基準フレームデータIDR−AUのうち最新のものを起点として、復号化手順S35でその基準フレームデータIDR−AU及びそれ以降の非基準フレームデータnonIDR−AUの復号化を順次開始する。これにより、復号化開始のために入力される上記指示信号が先の基準フレームデータIDR−AUと次の基準フレームデータIDR−AUとの間に入力されたとしても、蓄積手順で蓄積された先の基準フレームデータIDR−AUから復号化を行うことができる。
【0048】
このとき、制御手順S45,S50で、その順次復号化された各非基準フレームデータnonIDR−AUの再生時刻情報PTSから作成した再生時刻と現在時刻との前後関係に応じて、復号化フレームデータの表示制御を行う。これにより、上記のようにして先の基準フレームデータIDR−AUから順次復号化を行っていき、復号化の進展とともに各フレームデータAUの再生時刻が過去側から現在時刻側に徐々に追いついて現在時刻よりも未来になったときに、表示開始させることが可能となる。
【0049】
以上のような復号化及び表示制御を行うことにより、所定の時間間隔の基準フレームデータIDR−AUが受信されるのを待って復号化及び表示を行う通常の場合と異なり、指示信号が先の基準フレームデータIDR−AUと次の基準フレームデータIDR−AUとの間に入力されたとしても操作者を長く待たせることなく、速やかに復号化した画像を表示することができる。またこのとき、各フレームAUの再生時刻情報と当該フレームAUが実際に表示される時刻との間にずれが生じることもなく、正しい時刻に各フレームAUを表示させることができる。
【0050】
上記実施形態におけるデジタル画像データ処理装置1においては、制御手段110は、複数の非基準フレームデータnonIDR−AUにそれぞれ備えられる再生時刻情報PTSから作成した再生時刻と現在時刻を比較する比較手段(この例ではPTS判定器110で実行されるS45の手順)と、この比較手段S45の比較結果で、再生時刻情報PTSから作成した再生時刻が現在時刻より未来になった場合に、表示手段の表示動作を開始させるための開始手段(この例ではPTS判定器110で実行されるS50の手順)とを備えることを特徴とする。
【0051】
これにより、上記のようにして先の基準フレームデータIDR−AUから順次復号化を行っていくとき、比較手段S45で各フレームデータAUの再生時刻情報PTSから作成した再生時刻と現在時刻との比較を行い、復号化の進展とともに各フレームデータAUの再生時刻が過去側から現在時刻側に徐々に追いついて現在時刻よりも未来になったときに、開始手段S50で表示手段の表示を開始させることができる。
【0052】
上記実施形態におけるデジタル画像データ処理方法においては、制御手順S45,S50は、複数の非基準フレームデータnonIDR−AUにそれぞれ備えられる再生時刻情報PTSから作成した再生時刻と現在時刻を比較する比較し、その比較結果で、再生時刻情報PTSから作成した再生時刻が現在時刻より未来になった場合に、表示動作を開始させることを特徴とする。
【0053】
これにより、上記のようにして先の基準フレームデータIDR−AUから順次復号化を行っていくとき、各フレームデータAUの再生時刻情報PTSと現在時刻との比較を行い、復号化の進展とともに各フレームデータAUの再生時刻が過去側から現在時刻側に徐々に追いついて現在時刻よりも未来になったときに、表示手段の表示を開始させることができる。
【0054】
上記実施形態におけるデジタル画像データ処理装置1においては、復号化手段60は、所定の指示信号としての、HDTVサービスから簡易動画サービスへの移行切替指示信号が入力されたとき、基準フレームデータIDR−AU及び複数の非基準フレームデータnonIDR−AUの復号化を順次行うことを特徴とする。
【0055】
これにより、操作者がHDTVの視聴から簡易動画の視聴への切替を意図して対応する操作をしたとき、その操作に基づく指示信号が先の基準フレームデータIDR−AUと次の基準フレームデータIDR−AUとの間に入力されたとしても、操作者を長く待たせることなく、復号化した簡易動画の画像を速やかに表示することができる。
【0056】
上記実施形態におけるデジタル画像データ処理方法においては、復号化手順S35は、所定の指示信号としての、HDTVサービスから簡易動画サービスへの移行切替指示信号が入力されたとき、基準フレームデータIDR−AU及び複数の非基準フレームデータnonIDR−AUの復号化を順次行うことを特徴とする。
【0057】
これにより、操作者がHDTVの視聴から簡易動画の視聴への切替を意図して対応する操作をしたとき、その操作に基づく指示信号が先の基準フレームデータIDR−AUと次の基準フレームデータIDR−AUとの間に入力されたとしても、操作者を長く待たせることなく、復号化した簡易動画の画像を速やかに表示することができる。
【0058】
上記実施形態におけるデジタル画像データ処理装置1においては、蓄積手段50に順次蓄積される最新の基準フレームデータIDR−AUの再生時刻情報PTSを保持する保持手段(この例ではPTS保持器100)を有し、復号化手段60は、保持手段100で保持された最新の基準フレームデータIDR−AUの再生時刻情報PTSから作成した再生時刻に基づき、所定の指示信号に応じ最新の基準フレームデータIDR−AU及びそれ以降の複数の非基準フレームデータnonIDR−AUの復号化を順次行うことを特徴とする。
【0059】
蓄積手段50が基準フレームデータIDR−AU及び非基準フレームデータnonIDR−AUを順次蓄積するとき、保持手段S100が最新の基準フレームIDR−AUの再生時刻情報PTSを保持しておき、復号化手段60がその保持された再生時刻情報PTSから作成した再生時刻を用いて当該最新の基準フレームデータIDR−AUより復号化を開始し、さらにそれ以降の非基準フレームデータnonIDR−AUの復号化を順次行う。このようにして、復号化開始のために入力される指示信号が先の基準フレームデータIDR−AUと次の基準フレームデータIDR−AUとの間に入力されたとしても、蓄積手段50に蓄積された先の基準フレームデータIDR−AUから復号化を行うことができる。
【0060】
上記実施形態におけるデジタル画像データ処理方法においては、順次蓄積される最新の基準フレームデータIDR−AUの再生時刻情報PTSを保持する保持手順(この例ではステップS30の手順)を有し、復号化手順S35は、保持手順S30で保持された最新の基準フレームデータIDR−AUの再生時刻情報PTSから作成した再生時刻に基づき、所定の指示信号に応じ最新の基準フレームデータIDR−AU及びそれ以降の複数の非基準フレームデータnonIDR−AUの復号化を順次行うことを特徴とする。
【0061】
蓄積手順で基準フレームデータIDR−AU及び非基準フレームデータnonIDR−AUを順次蓄積するとき、保持手順S30で最新の基準フレームIDR−AUの再生時刻情報PTSを保持しておき、復号化手順S35でその保持された再生時刻情報PTSから作成した再生時刻を用いて当該最新の基準フレームデータIDR−AUより復号化を開始し、さらにそれ以降の非基準フレームデータnonIDR−AUの復号化を順次行う。このようにして、復号化開始のために入力される指示信号が先の基準フレームデータIDR−AUと次の基準フレームデータIDR−AUとの間に入力されたとしても、蓄積された先の基準フレームデータIDR−AUから復号化を行うことができる。
【0062】
上記実施形態におけるデジタル画像データ処理装置1においては、データパケットは、再生時刻情報としてのPTSを備えたPESヘッダを有するPESパケットであることを特徴とする。
【0063】
これにより、PTSを備えたPESヘッダをそれぞれ有する複数のPESパケットストリームのデジタル処理を行う際、復号化のための指示信号が先の基準フレームデータIDR−AUと次の基準フレームデータIDR−AUとの間に入力されたとしても、操作者を長く待たせることなく、速やかに復号化した画像を表示することができる。
【0064】
上記実施形態におけるデジタル画像データ処理方法においては、データパケットとして、再生時刻情報としてのPTSを備えたPESヘッダを有するPESパケットを用いることを特徴とする。
【0065】
これにより、PTSを備えたPESヘッダをそれぞれ有する複数のPESパケットストリームのデジタル処理を行う際、復号化のための指示信号が先の基準フレームデータIDR−AUと次の基準フレームデータIDR−AUとの間に入力されたとしても、操作者を長く待たせることなく、速やかに復号化した画像を表示することができる。
【0066】
なお、本実施形態は、上記に限られず、種々の変形が可能である。図4は、そのような変形例の1つにおける動作手順を表す制御フローである。この変形例は、デコードに必要な所要時間が0ではなくある程度の時間を要することを考慮し、その間に次の新しいIDR−AUが蓄積された場合に対応したものである。この図4は前述の図2に対応する図であり、図2と同等の手順には同一の符号を付し、説明を簡略化又は省略する。
【0067】
図4において、まず新たに設けたステップS105で、復号化中にさらに新たに次のIDR−AUを含むPESが蓄積されたことを表すPES取得フラグを0に初期化する。
【0068】
その後、ステップS5〜図50は、図2のステップS5〜ステップS50とほぼ同様である。但し本変形例では、上記PES取得フラグ=1となった後に取得した(言い換えれば復号化中にさらに新たに取得した)次のIDR−AUのPTSをPTSaとし、PES取得フラグ=0の状態において取得したIDR−AUのPTSをPTSbnとして区別している。すなわち、ステップS5において切替指示信号の入力を判定し、判定が満たされない場合はステップS10においてESBuffer50に新しいPESデータが格納されたか判定し(ステップS10の判定が満たされない場合はステップS105に戻る)、新しいPESがあった場合にはステップS15において新しいPESデータの解析を行い、ステップS20においてIDR−AUが存在するかどうかを判定し、IDR−AUが存在した場合はステップS25において最新ポインタデータの上書き更新を行う。そしてステップS30に相当するステップS30Aにおいて、PTS保持器100で、対応するIDR−AUのPTS(PTSbn)を取得し、ステップS10に戻る。
【0069】
一方、前述のステップS5で判定が満たされた場合、前述と同様のステップS35に移り、IDRポインタ保持器90でポインタデータを保持していたIDR−AUから順次AUをESBuffer50より取得し、各AUのデコード処理を開始する(復号化手順)。
【0070】
その後、前述のステップS40に対応するステップS40Aにおいて、PTS判定器110で、上記ステップS35で順次デコードしていくAU(言い換えれば、上記IDRポインタ保持器90がポインタデータを保持していたIDR−AU及びそれ以降のAU)のPTS(PTSbn)をPTS保持器100又はH.264デコーダ60より取得する。
【0071】
そして、前述のステップS45に対応するステップS45Aにおいて、PTS判定器110で、順次デコードした各AUのPTSbnと現在時刻とを比較し、AUのPTSbnが現在時刻より先(未来)の時刻であるかどうかを判定する(比較手順)。PTSbnが過去の時刻であった場合、判定が満たされず、後述のステップS55に移る。
【0072】
PTSbnが未来の時刻(言い換えればこれから画像送出可能な時刻)であれば、前述と同様のステップS50に移り、PTS判定器110でビデオ送出器70に対して映像出力予約を行う(開始手順)。以降は、通常と同様のデコードシーケンスへ遷移する。
【0073】
ステップS45AにおいてPTSbnが過去の時刻であって判定が満たされなかった場合、ステップS55において、IDR検出器80で、前述のPES取得フラグが0であるかどうかを判定する。前述のステップS35における復号化開始の後、復号化中に新たに次のIDR−AUが蓄積されていない場合はこのフラグは初期値の0のままであるため(後述のステップS75も参照)判定が満たされ、ステップS60に移る。
【0074】
ステップS60では、前述のステップS10と同様、IDR検出器80で、ESBuffer50にさらに新しいPESデータが格納されたかどうかを判定する。TSDemux40で抽出されESBuffer50に格納された新しいPESがあった場合には判定が満たされ、ステップS65に移る。新しいPESがなかった場合には判定が満たされず、前述のステップS35に戻り同様の手順を繰り返す。
【0075】
ステップS65では、IDR検出器80で、ESBuffer50に蓄積された新しいPESデータの解析を行い、続くステップS70においてIDR−AUが存在するかどうかを判定する。IDR−AUが存在しない場合(nonIDR−AUであった場合)は判定が満たされず、ステップS55に戻って同様の手順を繰り返す。IDR−AUが存在した場合は、判定が満たされ、ステップS75に移る。
【0076】
ステップS75では、PTS保持器100で、対応するIDR−AUのPTS(PTSa)を取得するともに、前述のフラグを1とし、ステップS80に移る。ステップS80では、PTS判定器110で、上記デコードした新たなIDR−AUのPTSaと現在時刻とを比較し、PTSaと現在時刻との差が所定のしきい値以下であるか(言い換えればPTSaが現在時刻に十分近いかどうか)を判定する。PTSaが現在時刻にはまだ遠く上記の差が所定しきい値より大きかった場合、判定が満たされず、前述のステップS55に戻って同様の手順を繰り返す。
【0077】
PTSaが現在時刻に十分近く上記の差が所定しきい値以下であった場合、判定が満たされ、ステップS85に移って、H.264デコーダ60で当該PTSaに対応するIDR−AUの復号化を行う。その後、前述のステップS50と同様のステップS90に移り、PTS判定器110でビデオ送出器70に対して映像出力予約を行う。以降は、通常と同様のデコードシーケンスへ遷移する。
【0078】
一方、前述のステップS55において、前述のステップS35における復号化開始の後、復号化中に新たに次のIDR−AUが蓄積されていた場合はステップS75においてフラグが1となっているため判定が満たされず、ステップS95に移る。
【0079】
ステップS95では、前述のステップS35においてすでに始めていた、H.264デコーダ60による最新IDR−AUからのデコード処理をそのまま続行する(復号化手順)。
【0080】
その後、ステップS100において、上記ステップS40Aと同様、PTS判定器110で、上記ステップS95で順次デコードしていくAUのPTSbnをPTS保持器100又はH.264デコーダ60より取得する。
【0081】
そして、ステップS105において、PTS判定器110で、順次デコードした各AUのPTSbnと現在時刻とを比較し、AUのPTSbnが現在時刻より先(未来)の時刻であるかどうかを判定する(比較手順)。PTSが過去の時刻であった場合、判定が満たされず、上記ステップS80に戻り、同様の手順を繰り返す。
【0082】
PTSbnが未来の時刻(言い換えればこれから画像送出可能な時刻)であれば、上記ステップS50と同様のステップS110に移り、PTS判定器110でビデオ送出器70に対して映像出力予約を行う(開始手順)。これ以降は、通常と同様のデコードシーケンスへ遷移することとなるので、説明を省略する。
【0083】
本変形例のデジタル画像データ処理装置(この例では受信機)1で実施されるデジタル画像データ処理方法は、符号化データを可変長にてパケット化されて形成され、時間軸に沿い復号化を行う際の復号化起点となりうる基準フレームデータIDR−AUとそれ以外の非基準フレームデータnonIDR−AUとを含む複数のデータパケット(PESパケット)のストリーム(TSストリーム)を処理するデジタル画像データ処理方法であって、複数のデータパケット(PESパケット)に備えられる基準フレームデータIDR−AU及び非基準フレームデータnonIDR−AUを順次蓄積する蓄積手順(ESBuffer50で実行する)と、所定の指示信号に応じ、蓄積手順に蓄積された最新の基準フレームデータIDR−AUを復号化起点に、当該基準フレームデータIDR−AU及びそれ以降の複数の非基準フレームデータnonIDR−AUの復号化を順次行う復号化手順(この例ではステップS35及びステップS95の手順)と、この復号化手順S35,S95により順次復号化された複数の非基準フレームデータnonIDR−AUにそれぞれ備えられる再生時刻情報PTSから作成した再生時刻と現在時刻との前後関係に応じて、復号化手順S35,S95で復号化されたフレームデータ(IDR−AU及びnonIDR−AU)に基づく表示手段の表示動作の制御を行う制御手順(この例ではステップS45A、ステップS50、ステップS105、ステップS110の手順)とを有することを特徴とする。
【0084】
本変形例においては、蓄積手順で基準フレームデータIDR−AU及び非基準フレームデータnonIDR−AUを順次蓄積しておき、所定の指示信号が入力されると、その蓄積された基準フレームデータIDR−AUのうち最新のものを起点として、復号化手順S35,S95でその基準フレームデータIDR−AU及びそれ以降の非基準フレームデータnonIDR−AUの復号化を順次開始する。これにより、復号化開始のために入力される上記指示信号が先の基準フレームデータIDR−AUと次の基準フレームデータIDR−AUとの間に入力されたとしても、蓄積手順で蓄積された先の基準フレームデータIDR−AUから復号化を行うことができる。
【0085】
このとき、制御手順S45A,S50,S105,S110で、その順次復号化された各非基準フレームデータnonIDR−AUの再生時刻情報PTSbnから作成した再生時刻と現在時刻との前後関係に応じて、復号化フレームデータの表示制御を行う。これにより、上記のようにして先の基準フレームデータIDR−AUから順次復号化を行っていき、復号化の進展とともに各フレームデータAUの再生時刻が過去側から現在時刻側に徐々に追いついて現在時刻よりも未来になったときに、表示開始させることが可能となる。
【0086】
以上のような復号化及び表示制御を行うことにより、所定の時間間隔の基準フレームデータIDR−AUが受信されるのを待って復号化及び表示を行う通常の場合と異なり、指示信号が先の基準フレームデータIDR−AUと次の基準フレームデータIDR−AUとの間に入力されたとしても操作者を長く待たせることなく、速やかに復号化した画像を表示することができる。またこのとき、各フレームAUの再生時刻情報PTSbnと当該フレームAUが実際に表示される時刻との間にずれが生じることもなく、正しい時刻に各フレームAUを表示させることができる。
【0087】
上記変形例におけるデジタル画像データ処理方法においては、制御手順S45A,S50,S105,S110は、複数の非基準フレームデータnonIDR−AUにそれぞれ備えられる再生時刻情報PTSbnから作成した再生時刻と現在時刻を比較する比較し、その比較結果で、再生時刻情報PTSbnから作成した再生時刻が現在時刻より未来になった場合に、表示動作を開始させることを特徴とする。
【0088】
これにより、上記のようにして先の基準フレームデータIDR−AUから順次復号化を行っていくとき、各フレームデータAUの再生時刻情報PTSbnから作成した再生時刻と現在時刻との比較を行い、復号化の進展とともに各フレームデータAUの再生時刻が過去側から現在時刻側に徐々に追いついて現在時刻よりも未来になったときに、表示手段の表示を開始させることができる。
【0089】
上記実施形態におけるデジタル画像データ処理方法においては、順次蓄積される最新の基準フレームデータIDR−AUの再生時刻情報PTSbnを保持する保持手順(この例ではステップS30Aの手順)を有し、復号化手順S35,S95は、保持手順S30Aで保持された最新の基準フレームデータIDR−AUの再生時刻情報PTSbnから作成した再生時刻に基づき、所定の指示信号に応じ最新の基準フレームデータIDR−AU及びそれ以降の複数の非基準フレームデータnonIDR−AUの復号化を順次行うことを特徴とする。
【0090】
蓄積手順で基準フレームデータIDR−AU及び非基準フレームデータnonIDR−AUを順次蓄積するとき、保持手順S30Aで最新の基準フレームIDR−AUの再生時刻情報PTSbnを保持しておき、復号化手順S35,S95でその保持された再生時刻情報PTSbnから作成した再生時刻を用いて当該最新の基準フレームデータIDR−AUより復号化を開始し、さらにそれ以降の非基準フレームデータnonIDR−AUの復号化を順次行う。このようにして、復号化開始のために入力される指示信号が先の基準フレームデータIDR−AUと次の基準フレームデータIDR−AUとの間に入力されたとしても、蓄積された先の基準フレームデータIDR−AUから復号化を行うことができる。
【0091】
また、上記以外に、本変形例によれば、いったんその時点での最新のIDR−AUよりデコードを開始した後にそのデコード中に次のIDR−AUが蓄積されたとき、そのままIDR−AUをデコードし続けるより次の新しいIDR−AUをデコードしたほうが結果的に早く収束できるような場合には、当該新しいIDR−AUを用いてデコードを行うことで、より速やかに復号化した画像を表示することができる。
【0092】
上記実施形態における受信機1は、符号化データを可変長にてパケット化されて形成され、時間軸に沿い復号化を行う際の復号化起点となりうるIDR−AUとそれ以外のnonIDR−AUとを含む複数のPESパケットのTSストリームを処理する受信機1であって、複数のPESパケットに備えられるIDR−AU及びnonIDR−AUを順次蓄積するESBuffer50と、所定の指示信号に応じ、ESBuffer50に蓄積された最新のIDR−AUを復号化起点に、当該IDR−AU及びそれ以降の複数のnonIDR−AUの復号化を順次行うH.264デコーダ60と、このH.264デコーダ60により順次復号化された複数のnonIDR−AUにそれぞれ備えられるPTSから作成した再生時刻と現在時刻との前後関係に応じて、H.264デコーダ60で復号化されたIDR−AU及びnonIDR−AUに基づく表示手段の表示動作の制御を行うPTS判定器110とを有することを特徴とする。
【0093】
ESBuffer50がIDR−AU及びnonIDR−AUを順次蓄積しておき、所定の指示信号が入力されると、その蓄積されたIDR−AUのうち最新のものを起点として、H.264デコーダ60がそのIDR−AU及びそれ以降のnonIDR−AUの復号化を順次開始する。これにより、復号化開始のために入力される上記指示信号が先のIDR−AUと次のIDR−AUとの間に入力されたとしても、ESBuffer50に蓄積された先のIDR−AUから復号化を行うことができる。
【0094】
このとき、PTS判定器110は、その順次復号化された各nonIDR−AUのPTSから作成した再生時刻と現在時刻との前後関係に応じて、表示手段による表示制御を行う。これにより、上記のようにして先のIDR−AUから順次復号化を行っていき、復号化の進展とともに各AUの再生時刻情報が過去側から現在時刻側に徐々に追いついて現在時刻よりも未来になったときに、表示開始させることが可能となる。
【0095】
以上のような復号化及び表示制御を行うことにより、所定の時間間隔のIDR−AUが受信されるのを待って復号化及び表示を行う通常の場合と異なり、指示信号が先のIDR−AUと次のIDR−AUとの間に入力されたとしても操作者を長く待たせることなく、速やかに復号化した画像を表示することができる。またこのとき、各AUのPTSと当該AUが実際に表示される時刻との間にずれが生じることもなく、正しい時刻に各フレームを表示させることができる。
【0096】
上記実施形態における受信機1で実行するデジタル画像データ処理方法は、符号化データを可変長にてパケット化されて形成され、時間軸に沿い復号化を行う際の復号化起点となりうるIDR−AUとそれ以外のnonIDR−AUとを含む複数のPESパケットのTSストリームを処理するデジタル画像データ処理方法であって、複数のPESパケットに備えられるIDR−AU及びnonIDR−AUを順次蓄積するESBuffer50の蓄積手順と、所定の指示信号に応じ、ESBuffer50に蓄積された最新のIDR−AUを復号化起点に、当該IDR−AU及びそれ以降の複数のnonIDR−AUの復号化を順次行うステップS35と、このステップS35により順次復号化された複数のnonIDR−AUにそれぞれ備えられるPTSから作成した再生時刻と現在時刻との前後関係に応じて、ステップS35で復号化されたIDR−AU及びnonIDR−AUに基づく表示手段の表示動作の制御を行うステップS45,S50とを有することを特徴とする。
【0097】
ESBuffer50がIDR−AU及びnonIDR−AUを順次蓄積しておき、所定の指示信号が入力されると、その蓄積されたIDR−AUのうち最新のものを起点として、ステップS35でそのIDR−AU及びそれ以降のnonIDR−AUの復号化を順次開始する。これにより、復号化開始のために入力される上記指示信号が先のIDR−AUと次のIDR−AUとの間に入力されたとしても、ステップS35で蓄積された先のIDR−AUから復号化を行うことができる。
【0098】
このとき、ステップS45,S50で、その順次復号化された各nonIDR−AUのPTSから作成した再生時刻と現在時刻との前後関係に応じて、表示制御を行う。これにより、上記のようにして先のIDR−AUから順次復号化を行っていき、復号化の進展とともに各AUの再生時刻が過去側から現在時刻側に徐々に追いついて現在時刻よりも未来になったときに、表示開始させることが可能となる。
【0099】
以上のような復号化及び表示制御を行うことにより、所定の時間間隔のIDR−AUが受信されるのを待って復号化及び表示を行う通常の場合と異なり、指示信号が先のIDR−AUと次のIDR−AUとの間に入力されたとしても操作者を長く待たせることなく、速やかに復号化した画像を表示することができる。またこのとき、各AUのPTSと当該AUが実際に表示される時刻との間にずれが生じることもなく、正しい時刻に各フレームを表示させることができる。
【図面の簡単な説明】
【0100】
【図1】本発明の一実施形態の受信機の全体機能構成を表す機能ブロック図である。
【図2】図1に示した受信機により実行される、簡易動画画像への切替直後のデコード動作の原理を概念的に表す説明図である。
【図3】図2に示した挙動を実現するために受信機全体で実行される制御手順を表すフローチャートである。
【図4】デコード中に次の新しいIDR−AUが蓄積された場合に対応した変形例の受信機全体で実行される制御手順を表すフローチャートである。
【符号の説明】
【0101】
1 受信機(デジタル画像処理装置)
50 ESBuffer(蓄積手段)
60 H.264デコーダ(復号化手段)
110 PTS判定器(制御手段)
Claims (4)
- 符号化データを可変長にてパケット化されて形成され、時間軸に沿い復号化を行う際の復号化起点となりうる基準フレームデータとそれ以外の非基準フレームデータとを含む複数のデータパケットのストリームを処理するデジタル画像データ処理装置であって、
前記複数のデータパケットに備えられる前記基準フレームデータ及び前記非基準フレームデータを順次蓄積する蓄積手段と、
前記蓄積手段に順次蓄積される最新の特定の前記基準フレームデータの再生時刻情報を保持する保持手段と、
所定方式のデジタルTVサービスから簡易動画サービスへの移行切替指示信号が入力されたとき、前記保持手段で保持された前記特定の前記基準フレームデータを復号化起点に、当該特定の基準フレームデータ及びそれ以降の複数の前記非基準フレームデータの復号化を順次開始するとともに、順次復号化された前記複数の非基準フレームデータにそれぞれ備えられる再生時刻情報から作成した再生時刻が、前記時間軸に沿って時々刻々と経過する実際の動作挙動タイミングを表す時刻である現在時刻より未来とならない範囲において当該復号化を継続する、復号化手段と、
前記再生時刻が前記現在時刻より未来になった場合に、表示手段の表示動作を開始させるための開始手段と、
前記復号化手段が前記復号化を継続している間に、前記特定の基準フレームデータの次の基準フレームデータが前記蓄積手段に蓄積されたかどうかを判定する判定手段と、
を有し、
前記判定手段により前記次の基準フレームデータが蓄積されたと判定された場合には、
前記保持手段は、
前記次の基準フレームデータの再生時刻情報を保持し、
前記復号化手段は、
前記保持手段で保持された前記次の基準フレームデータを復号化起点に、当該次の基準フレームデータ及びそれ以降の複数の前記非基準フレームデータの復号化を順次開始するとともに、順次復号化された前記複数の非基準フレームデータにそれぞれ備えられる再生時刻情報から作成した再生時刻が前記現在時刻より未来とならない範囲において当該復号化を継続する
ことを特徴とするデジタル画像データ処理装置。 - 請求項1記載のデジタル画像データ処理装置において、
前記データパケットは、
前記再生時刻情報としてのPTSを備えたPESヘッダを有するPESパケットであることを特徴とするデジタル画像データ処理装置。 - 符号化データを可変長にてパケット化されて形成され、時間軸に沿い復号化を行う際の復号化起点となりうる基準フレームデータとそれ以外の非基準フレームデータとを含む複数のデータパケットのストリームを処理するデジタル画像データ処理方法であって、
前記複数のデータパケットに備えられる前記基準フレームデータ及び前記非基準フレームデータを順次蓄積する蓄積手順と、
前記順次蓄積される最新の特定の前記基準フレームデータの再生時刻情報を保持する保持手順と、
所定のデジタルTVサービスから簡易動画サービスへの移行切替指示信号が入力されたとき、前記保持された前記特定の前記基準フレームデータを復号化起点に、当該特定の基準フレームデータ及びそれ以降の複数の前記非基準フレームデータの復号化を順次開始するとともに、順次復号化された前記複数の非基準フレームデータにそれぞれ備えられる再生時刻情報から作成した再生時刻が、前記時間軸に沿って時々刻々と経過する実際の動作挙動タイミングを表す時刻である現在時刻より未来とならない範囲において当該復号化を継続する、復号化手順と、
前記再生時刻が前記現在時刻より未来になった場合に、表示動作を開始させるための開始手順と、
前記復号化手順で前記復号化を継続している間に、前記特定の基準フレームデータの次の基準フレームデータが蓄積されたかどうかを判定する判定手順と、
を有し、
前記判定手順で前記次の基準フレームデータが蓄積されたと判定された場合には、
前記保持手順は、
前記次の基準フレームデータの再生時刻情報を保持し、
前記復号化手順は、
前記保持手順で保持された前記次の基準フレームデータを復号化起点に、当該次の基準フレームデータ及びそれ以降の複数の前記非基準フレームデータの復号化を順次開始するとともに、順次復号化された前記複数の非基準フレームデータにそれぞれ備えられる再生時刻情報から作成した再生時刻が前記現在時刻より未来とならない範囲において当該復号化を継続する
ことを特徴とするデジタル画像データ処理方法。 - 請求項3記載のデジタル画像データ処理方法において、
前記データパケットとして、
前記再生時刻情報としてのPTSを備えたPESヘッダを有するPESパケットを用いることを特徴とするデジタル画像データ処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008505143A JP4869330B2 (ja) | 2006-03-15 | 2007-03-12 | デジタル画像データ処理装置及び処理方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006070528 | 2006-03-15 | ||
JP2006070528 | 2006-03-15 | ||
JP2008505143A JP4869330B2 (ja) | 2006-03-15 | 2007-03-12 | デジタル画像データ処理装置及び処理方法 |
PCT/JP2007/054861 WO2007105697A1 (ja) | 2006-03-15 | 2007-03-12 | デジタル画像データ処理装置及び処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2007105697A1 JPWO2007105697A1 (ja) | 2009-07-30 |
JP4869330B2 true JP4869330B2 (ja) | 2012-02-08 |
Family
ID=38509517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008505143A Expired - Fee Related JP4869330B2 (ja) | 2006-03-15 | 2007-03-12 | デジタル画像データ処理装置及び処理方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4869330B2 (ja) |
WO (1) | WO2007105697A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4866135B2 (ja) * | 2006-04-19 | 2012-02-01 | パイオニア株式会社 | 画像処理装置及び画像処理方法 |
JP4799504B2 (ja) * | 2006-08-10 | 2011-10-26 | キヤノン株式会社 | 画像復号化装置及びその制御方法 |
CN104185031A (zh) * | 2014-02-26 | 2014-12-03 | 无锡天脉聚源传媒科技有限公司 | 一种视频绝对时间点的确定方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004357205A (ja) * | 2002-06-04 | 2004-12-16 | Matsushita Electric Ind Co Ltd | 画像データ伝送装置及び方法、画像データ再生装置及び方法 |
JP2004364095A (ja) * | 2003-06-06 | 2004-12-24 | Casio Comput Co Ltd | 受信機、及び、受信制御方法 |
JP2005184219A (ja) * | 2003-12-17 | 2005-07-07 | Toyota Motor Corp | ディジタル・テレビ放送受信装置 |
JP2006345169A (ja) * | 2005-06-08 | 2006-12-21 | Matsushita Electric Ind Co Ltd | デジタルテレビ受信端末装置 |
-
2007
- 2007-03-12 WO PCT/JP2007/054861 patent/WO2007105697A1/ja active Search and Examination
- 2007-03-12 JP JP2008505143A patent/JP4869330B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004357205A (ja) * | 2002-06-04 | 2004-12-16 | Matsushita Electric Ind Co Ltd | 画像データ伝送装置及び方法、画像データ再生装置及び方法 |
JP2004364095A (ja) * | 2003-06-06 | 2004-12-24 | Casio Comput Co Ltd | 受信機、及び、受信制御方法 |
JP2005184219A (ja) * | 2003-12-17 | 2005-07-07 | Toyota Motor Corp | ディジタル・テレビ放送受信装置 |
JP2006345169A (ja) * | 2005-06-08 | 2006-12-21 | Matsushita Electric Ind Co Ltd | デジタルテレビ受信端末装置 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2007105697A1 (ja) | 2009-07-30 |
WO2007105697A1 (ja) | 2007-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8842175B2 (en) | Anticipatory video signal reception and processing | |
JP4575321B2 (ja) | デジタルマルチメディア放送受信器における放送チャンネルの切り替えを制御する装置及び方法 | |
US8488944B2 (en) | Broadcast program recording apparatus and control method for the same | |
US8804051B2 (en) | Digital broadcast receiving apparatus and channel switching method | |
JP2007006405A (ja) | ディジタル放送受信機 | |
JP4869330B2 (ja) | デジタル画像データ処理装置及び処理方法 | |
JP4612791B2 (ja) | 受信装置及び受信方法 | |
US20090019513A1 (en) | Method and apparatus for changing channel in digital broadcasting receiver | |
JP4866135B2 (ja) | 画像処理装置及び画像処理方法 | |
US8254764B2 (en) | Recording apparatus, image reproducing apparatus, and special reproduction method therefor | |
US9100672B2 (en) | Data transmitting device and data transmitting and receiving system | |
JP3877947B2 (ja) | 符号化データの転送制御方法及び蓄積再生システム | |
JP4477056B2 (ja) | 受信装置および受信方法 | |
JP5244764B2 (ja) | デジタル放送受信装置及びプログラム | |
JP2007267420A (ja) | 映像信号のミュート方法 | |
JP4263510B2 (ja) | デジタル放送受信装置 | |
EP1542232A1 (en) | Information recording and reproducing apparatus and information recording method | |
JP3885690B2 (ja) | デジタル放送受信装置 | |
JP4552200B2 (ja) | デジタル放送受信装置 | |
JP2012070344A (ja) | デジタル放送受信装置及びデジタル放送受信方法 | |
JP5016335B2 (ja) | 再生装置、および、再生方法 | |
JP2006148969A (ja) | 映像信号のミュート方法 | |
JP5571220B2 (ja) | デジタル放送受信装置、デジタル放送受信装置における出力方法及びプログラム | |
KR100812914B1 (ko) | 디지털 방송 수신기의 녹화 제어 방법 | |
JP4767097B2 (ja) | 再生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110331 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110525 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111114 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111115 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141125 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |