JP5419967B2

JP5419967B2 - データストリームのデータパケットを処理する装置および方法ならびに当該装置の使用方法

Info

Publication number: JP5419967B2
Application number: JP2011509885A
Authority: JP
Inventors: ベーゼゲーロ; エルテルノルベルト
Original assignee: Siemens Enterprise Communications GmbH and Co KG
Current assignee: Unify GmbH and Co KG
Priority date: 2008-05-20
Filing date: 2009-05-18
Publication date: 2014-02-19
Anticipated expiration: 2029-05-18
Also published as: CN102037733B; US20110149075A1; ATE536049T1; WO2009141106A1; EP2297967B1; US8788912B2; KR101246749B1; DE102008024255A1; CN102037733A; KR20110020842A; JP2011521575A; EP2297967A1

Description

本発明は、データストリームのデータパケットを処理する装置および方法ならびに当該装置の使用方法に関する。

過去数年、ビデオおよび画像ベースの監視システムの数が増え続けている。この際、伝送すべきデータは無線で伝送されることがあり、これによって伝送エラーが発生することがある。この伝送エラーは、例えば、エラーのある伝送したデータパケットまたは欠落したデータパケットを再送信することによって取り除かれる。この際、データパケット伝送時に長い遅延時間が発生する。これに対し、リアルタイムに近い応用においては、データパケット伝送の遅延時間を短くとどめなければならない。このため、リアルタイムに近い応用に対しては、データパケットを繰り返して伝送することはできないという問題がある。それは、これによってリアルタイムの要求を維持することはできないからである。

これとは択一的に、伝送すべきデータパケットに付け加えられる前方エラー訂正符号を用いて、エラーのある受信したデータパケットまたは欠落したデータパケットの再構成を行うことができる。しかしながらこのような手法には、前方エラー訂正符号（＝冗長符号）を伝送するために伝送帯域幅の一部が占有されてしまうという欠点がある。さらにエラー頻度が大きく変動する伝送区間において、上記の手法はつぎのような場合に満足には動作しない。

（ａ）データパケットがエラーなしに受信器に到着する場合であっても冗長符号を伝送するため、伝送帯域幅が無駄に占有される。

（ｂ）冗長符号が伝送されるものの、エラー頻度が高いためにこの冗長符号が十分でなく、エラーのある受信したデータパケットないしは欠落したデータパケットを再構成することができない。

したがって本発明の課題は、データストリームのデータパケットを処理する方法および装置を提供して、リアルタイムに近い応用において、データパケットの再伝送を可能にすることである。

この課題は、請求項１，５，１３，１７および２５に記載した特徴的構成によって解決される。従属請求項には本発明の変形実施形態が記載されている。

本発明の第１実施形態は、第１データパケット、第２データパケットおよび第３データパケットを有するデータストリームのデータパケットを処理する装置に関しており、上記の第１データパケットは、エラーなしに受信したデータパケットを表し、第２データパケットは、エラーのある受信したデータパケットまたは欠落したデータパケットを表し、第３データパケットは、第２データパケットとして表されたデータパケットを再伝送したことによってエラーなしに受信したデータパケットを表す。ここで第１データパケットの集合と、第３データパケットの集合は、互いに素である。上記の装置は、以下を含む。すなわち、上記の第１データパケットおよび第２データパケットを処理して第４データパケットを作成する第１ユニットと、
− 第２データパケットを識別した際に第１モードを起動するため、
− 第1モードを起動する際に第２ユニットの形態で第1ユニットのコピーを形成するため、および
− 複数の第２データパケットのパケット毎に、対応する第３データパケットが得られた後、第２モードを起動するための制御ユニットと、
上記の第１モードを起動した後、第１データパケットおよび第３データパケットを処理して第５データパケットを作成する第２ユニットとが含まれている。

第２データパケットとは、エラーを伴って受信したデータパケットか、または受信してはいないが予想されるデータパケット、すなわち欠落したデータパケットのことである。このようなデータパケットが受信されなかった場合、例えば空のデータフィールドを有する、欠落したデータパケットを表す第２データパケットを形成することができる。

本発明の核心は、エラーのある受信データパケットまたは欠落データパケットの場合、すなわち、第２データパケットの場合、互いに無関係に動作する２つのユニット、すなわち第１ユニットおよび第２ユニットによってこのデータパケットの処理を実行することにある。第１ユニットは第１データパケットおよび第２データパケットを処理して、リアルタイムに第４データパケットを供給し、これらの第４データパケットはデータシンクに伝送される。これと並行して第２ユニットは、第２データパケットが発生した後に生じた第１データパケットおよび第３データパケットを処理して第５データパケットを作成する。これによって保証されるのは、第２ユニットにより、ひとまずは比較的長い遅延時間を受け入れなければならないが、上記のデータストリームがエラーなしに復号化されることである。すべての第２データパケットを、相応する第３データパケットによって置き換えることができる時点になってはじめて、すなわち第２モードを起動する時点になってはじめて、第２ユニットにより、上記のデータストリームをリアルタイムに上記のデータシンクに提供することができる。まさにこの時点に第２モードが起動され、ここでは第４データパケットに代わって第５データパケットだけが上記のデータシンクに伝送される。これによって保証されるのは、まず上記のデータシンクが、処理されたデータバケットをリアルタイムに受け取ることであり、また第２ユニットにおいて上記のデータストリームをリアルタイムにかつエラーなしに再生できるようになった後、続いて処理された第１データパケットがデータシンクに伝送できることである。

本発明の別の利点は、例えば今日のインターネットにおけるＴＣＰ／ＩＰ（(TCP - Transport Control Protocol, IP - Internet Protocol）の場合のように、繰り返し伝送の単純なメカニズムを使用できるため、をわずかなコストで本発明の装置ないしは相応する方法現在の既存の伝送システムに組み込めることである。

さらに有利であることが判明しているのは、予想符号化方法において上記の装置を使用することである。ここでは、例えば画像データなどの情報が、すでに符号化された情報から予測される。従来技術では、例えばITU-T H.263ビデオ符号化法では、伝送エラーが発生した場合（第２データパケットを参照のこと）に必要であるのは、予想なしに上記の情報を符号化し、伝送エラーに起因して結果的に発生するエラーを回避することである。予測なしの符号化により、帯域幅に対して高い要求が生じる。これに対して本発明の装置により、伝送エラーが発生した場合、結果的に発生するエラーを避けるためにやむを得ない予測なし符号化を回避することができ、ひいては帯域幅を節約することができる。帯域幅が節約されることにより、情報伝送のレートも、例えば画像繰り返しレートも高く維持される。なぜならば、従来技術とは異なり、やむを得ない予測なし符号化の代わりに、別の情報を符号化するために帯域幅が利用されるからである。

第１モードを起動する際に第２ユニットの形態で第１ユニットのコピーを形成するとは、第１モードを起動する時点に第１ユニットおよび第２ユニットを初期設定して、これらのユニットが、例えば第１データパケットの同じ１つまたは複数の同じデータパケットを符号化する際、同じ符号化結果が得られるようにすることである。例えば第１ユニットおよび第２ユニットをソフトウェアで実現する場合には、２つのユニットの変数値およびプログラム状態が同じになるように上記のコピーの形成を行うことができる。

第１データパケットの集合と、第３データパケットの集合とは互いに素である。このことは、データストリームのデータパケットが第１データパケットかまたは第３データパケットのいずれかとして表されることである。したがって上記のデータストリームのデータパケットのうちの１つが、第１データパケットのうちの１つのデータパケットである共に、第３データパケットのうちの１つのデータパケットであることはないのである。

第１の実施形態の上記の制御ユニットはさらに、第２モードを起動した後、第１ユニットを除去することができる。これにより、場合によって行われ得るソフトウェアインプリメンテーションのシステム資源が解放され、例えば記憶装置が付加的に利用可能になることにより、上記の装置の全体性能を改善することができる。

第１の実施形態において上記の装置は有利には、第２モードを起動するまでデータシンクに第４データパケットを供給するため、および第２モードを起動した後に第５データパケットを供給するため、供給ユニットを有する。これにより、第１ユニットおよび第２ユニットによって処理したデータパケットの供給を、上記のモードに依存して簡単に制御することができる。

第１の実施形態にしたがって第１ユニットにおいて第１パケットおよび第２のパケットを処理する際にさらにエラー隠蔽を使用して、第４データパケットの品質、例えば画質を改善することができる。

さらに第２の実施形態において本発明には、第１データパケット、第２データパケットおよび第３データパケットを有するデータストリームのデータパケットを処理する装置が含まれており、上記の第１データパケットは、エラーのない受信データパケットを表し、第２データパケットは、エラーのある受信データパケットまたは受信しなかったデータパケットを表し、第３データパケットは、第２データパケットとして表されたデータパケットを再伝送したことによってエラーなしに受信したデータパケットを表す。ここで第１データパケットの集合と、第３データパケットの集合とは互いに素である。上記の装置は、以下を含む。すなわち、
上記の第１データパケットおよび第３データパケットを第４データパケットに処理する第１ユニットと、
− 第２データパケットを識別した際に第１モードを起動するため、
− 第１モードを起動する際に第２ユニットの形態で第１ユニットのコピーを形成するため、および
− 第２データパケットのパケット毎に、対応する第３データパケットが得られた後、第２モードを起動するための制御ユニットと、
上記の第１モードを起動した後、第１データパケットおよび第２データパケットを処理して第５データパケットを作成する第２ユニットとが含まれており、ここで、第１モードを起動するまでおよび第２モードを起動した後、第１ユニットにより、第４データパケットがデータシンクに供給され、また第１モードを起動した後および第２モードを起動するまで、第２ユニットにより、第５データパケットがデータシンクに供給される。

この第２の実施形態は、第１の実施形態の択一的な実現である。したがって一般的に第１の実施形態の利点は、第２の実施形態にも同様に当てはまる。第２の実施形態はさらに、第１ユニットによってつねに第１データパケットおよび第３データパケットの処理が行われるため、第１ユニットを例えばハードウェアで実現できるという利点を有する。これに対して第２の実施形態において第２ユニットは一時的にだけ使用すればよいため、例えばソフトウェアで実現可能である。

第２の実施形態において有利には上記の制御ユニットをさらに構成して、第２モードを起動した後、第２ユニットが除去されるようにする。これにより、場合によって行われ得るソフトウェアインプリメンテーションのシステム資源が解放されて、例えば記憶装置が付加的に利用可能になることにより、上記の装置の全体性能を改善することができる。

第２の実施形態において有利には上記の制御ユニットをさらに構成して、
− 第１モードを起動するまでおよび第２モードを起動した後、第４データパケットが上記のデータシンクに供給され、
− 第１モードを起動した後および第２モードを起動するまで、第５データパケットが上記のデータシンクに供給されるようにする。

これにより、第１ユニットおよび第２ユニットによって処理したデータパケットの供給を、上記のモードに依存して簡単に制御することができる。

第２の実施形態において有利には、第１データパケットおよび第２データパケットを処理する第２ユニットをさらにエラー隠蔽によって構成する。これによって第４データパケットの品質、例えば画像品質を改善することができる。

有利には上記の制御ユニットをさらに構成して、第２データパケットのパケット毎に、対応する第３データパケットが得られかつ第１ユニットおよび第２ユニットによってほぼ同時に同じ第１データパケットが処理される場合に上記の第２モードがはじめて起動されるようにする。これによって保証されるのは、第２モードを起動した後、識別できるような遅延なしに上記のデータシンクが第４データパケットの代わりに第５データパケットを受け取れることである。ほぼ同時とは、第１ユニットおよび第２ユニットにおいて、同じ第１データパケットが１時点に処理されていること、例えば、第１ユニットが第１データパケットの９５％を、また第２ユニットが同じ第１データパケットの１０％を処理し終えていることである。

１発展形態では上記の第２ユニットにはさらに、第１データパケットおよび第３データパケットを一時記憶するための記憶装置と、第１データパケットおよび第３データパケットをソートするためのソートユニットとが含まれており、このソートユニットにより、正常な処理のため、第１データパケットおよび第３データパケットの時間的な順序が保証される。これにより、第１ユニットと同じ構造を有する第２ユニットを使用することが可能である。それは、一時記憶およびソートが上記の制御ユニットによって処理されるからである。これによって第２ユニットをコスト的に有利にまたわずかな開発コストで形成することが可能である。

上記のデータストリームは有利には、符号化されたマルチメディアデータ、例えば符号化されたビデオデータを有しており、また第1ユニットおよび第２ユニットは有利にはそれぞれ、上記のマルチメディアデータを解析する解析ユニットとして、例えば、画像またはビデオ解析ユニットとして構成される。これによって、例えば監視のための解析装置において上記の装置を使用することができる。

これとは択一的に上記のデータストリームは、符号化されたマルチメディアデータ、例えば符号化されたビデオデータを有しており、また第1および第２ユニットはそれぞれ、上記の符号化されたマルチメディアデータを復号化する復号化ユニットとして、例えば、ビデオ復号化ユニットとして構成される。これによって、例えば符号化されたビデオを復号化するための復号化装置において上記の装置を使用可能である。

第３の実施形態において本発明は、第１データパケット、第２データパケットおよび第３データパケットを有するデータストリームのデータパケットを処理する方法にも関しており、上記の第１データパケットは、エラーのない受信データパケットを表し、第２データパケットは、エラーのある受信データパケットまたは受信しなかったデータパケットを表し、第３データパケットは、第２データパケットとして表されたデータパケットを再伝送したことによってエラーなしに受信したデータパケットを表す。ここで第１データパケットの集合と、第３データパケットの集合とは互いに素である。ここでは以下のステップが実行される。すなわち、
− 上記の第１ユニットによって第１データパケットおよび第２データパケットを処理して第４データパケットを作成するステップと、
− 第２データパケットを識別した際に第１モードを起動するステップと、
− 第１モードを起動する際に第２ユニットの形態で第１ユニットのコピーを形成するステップと、
− 複数の第２データパケットのパケット毎に、対応する第３データパケットが得られた後、第２モードを起動するステップと、
− 第１モードを起動した後、第２ユニットによって第１データパケットおよび第３データパケットを処理して第５データパケットを作成し、ここで第２モードを起動するまで第４データパケットをデータシンクに供給し、また第２モードを起動した後、第５データパケットをデータシンクに供給するステップとが実行される。

この第３の実施形態についての利点は、第１の実施形態の装置の利点と同様である。

第２モードを起動した後に第１ユニットを除去する場合、上記の方法を実行するためのシステム資源を節約することができる。

有利には供給ユニットにより、第２モードを起動するまで第４データパケットをデータシンクに供給し、また第２モードを起動した後、第５データパケットを上記のデータシンクに供給する。これにより、処理したデータパケットの供給を、上記のモードに依存して簡単に制御することができる。

Ａ１６：上記の方法の１発展形態ではさらに、上記の第１ユニットにより、第１データパケットおよび第２データパケットをエラー隠蔽によって処理する。これによって第４データパケットの品質、例えば画像品質が改善される。

第４の実施形態において本発明は、第１データパケット、第２データパケットおよび第３データパケットを有するデータストリームのデータパケットを処理する方法にも関しており、上記の第１データパケットは、エラーのない受信データパケットを表し、第２データパケットは、エラーのある受信データパケットまたは受信しなかったデータパケットを表し、第３データパケットは、第２データパケットとして表されたデータパケットを再伝送したことによってエラーなしに受信したデータパケットを表す。ここで第１データパケットの集合と、第３データパケットの集合とは互いに素である。ここでは以下のステップが実行される。すなわち、
− 第１ユニットによって第１データパケットおよび第３データパケットを処理して第４データパケットにするステップと、
− 第２データパケットを識別した際に第１モードを起動するステップと、
− 第１モードを起動する際に第２ユニットの形態で第１ユニットのコピーを形成するステップと、
− 複数の第２データパケットのパケット毎に、対応する第３データパケットが得られた後、第２モードを起動するステップと、
− 上記の第１モードを起動した後、第２ユニットにより、第１データパケットおよび第２データパケットを処理して第５データパケットを作成し、ここでは第１モードを起動するまでおよび第２モードを起動した後、第４データパケットをデータシンクに供給し、また第１モード起動した後および第２モードを起動するまで第５データパケットをデータシンクに供給するステップとが実行される。

この第４の実施形態についての利点は、第２の実施形態の装置の利点と同様である。

第４の実施形態にしたがって第２モードを起動した後、第２ユニットを除去する場合、上記の方法を実行するためのシステム資源を節約することができる。

第４の実施形態において有利には、供給ユニットを用いて、第１モードを起動するまでおよび第２モードを起動した後、第４データパケットを上記のデータシンクに供給し、また第１モードを起動した後および第２モードを起動するまで上記のデータシンクの第5のデータパケットを供給する。これにより、処理したデータパケットの供給を、上記のモードに依存して簡単に制御することができる。

また第４の実施形態において第２ユニットにより、第１データパケットおよび第２データパケットをさらにエラー隠蔽によって処理することができる。これによって処理したデータパケット、すなわち第５データパケットの品質を高めることができる。

第２データパケットのパケット毎に、対応する第３データパケットが得られかつ第１ユニットおよび第２ユニットによってほぼ同時に同じ第１データパケットが処理されるようになった後、第２モードを起動する場合、これによって保証されるのは、第２モードを起動した時点の後、識別できるような遅延なしに上記のデータシンクが第４データパケットの代わりに第５データパケットを受け取れることである。

有利には上記の制御ユニットにより、記憶装置が用いられて第１データパケットおよび第３データパケットが一時記憶され、またソートユニットによって第１データパケットおよび第３データパケットがソートされる。ここではこのソートユニットにより、正常な処理のため、第１データパケットおよび第３データパケットの時間的な順序が保証される。これにより、第１ユニットと同じ構造を有する第２ユニットを使用することが可能である。それは、一時記憶およびソートが上記の制御ユニットによって処理されるからである。これによって第２ユニットをコスト的に有利にまたわずかな開発コストで形成することも可能である。

上記のデータストリームは有利には、符号化されたマルチメディアデータ、例えば符号化されたビデオデータを有しており、また第1および第２ユニットはそれぞれ、上記のマルチメディアデータを解析する解析ユニットとして、例えば、画像またはビデオ解析ユニットとして構成される。これにより、例えば監視のための解析装置において上記の装置を使用することができる。

これとは択一的に上記のデータストリームは、符号化されたマルチメディアデータ、例えば符号化されたビデオデータを有しており、また第1および第２ユニットはそれぞれ、上記の符号化されたマルチメディアデータを復号化する復号化ユニットとして、例えば、ビデオ復号化ユニットとして構成される。これによって復号化装置において、例えば、符号化されたビデオを復号化するための復号化装置において上記の装置を使用可能である。

最後に本発明は、上記の実施例のうちの少なくとも１つに記載した装置の使用方法に関しており、ここでこの装置は、監視装置の枠内でビデオデータの解析に使用される。監視装置の枠内で本発明を使用することにより、ビデオデータの解析を改善することが可能である。

本発明およびその発展形態を図面に基づいて詳しく説明する。

データパケットを伝送する送信器と、データパケットを処理する装置と、処理したデータパケットを再生する受信器とを示す図である。データパケットを処理する装置を含む監視ユニットを示す図である。データパケットを処理する方法を実行するための流れ図である。

複数の図において機能および作用が同じ要素には同じ参照記号が付されている。

図１には本発明の１実施例が示されている。ここでは送信器ＳＸにおいてリアルタイム画像データがカメラによって収集されてデータストリームＳの形で符号化される。ここでこの符号化は、標準化されたビデオ符号化法によって、例えば、MPEG-2またはH.264方式（MPEG - Motion Picture Expert Group）にしたがって行われる。データストリームＳは、伝送のためにデータパケットＤに分割される。

データストリームＳのデータパケットＤは、送信ユニットＳＸから伝送チャネルＣを介して装置Ｖに伝送される。この伝送チャネルは、例えば、WLAN標準（WLAN - Wireless Local Area Network）に準拠して動作し、この際に伝送エラーが発生することがある。伝送チャネルＣを介して伝送されたデータパケットＤは、装置Ｖの制御ユニットＳＥによって受信される。ここで第１データパケットＤ１は、エラーなしに受信されたデータパケットであり、第２データパケットＤ２は、エラーのある受信データパケットまたは受信されなかったデータパケットであるとする。これにより、上記の制御ユニットは、例えば、シーケンス番号によって、送信器ＳＸから伝送されたデータパケットのうちの１つが制御ユニットにおいて欠落したことを識別することでき、この欠落したデータパケットは第２データパケットに分類される。

上記の第１データパケットＤ１および第２データパケットＤ２は、制御ユニットＳＥにより、第１ユニットＥ１に供給されて処理される。データパケットが受信されなかった場合、制御ユニットＳＥにより、空の第２データパケットＤ２を順送りすることができる。この実施例において、第１ユニットＥ１は、第１データパケットおよび第２データパケットを復号化してここから第４データパケットＤ４を形成する第１のビデオ復号化ユニットである。第１ユニットＥ１は、欠落したデータパケットまたはエラーのあるデータパケット、すなわち第２データパケットを処理して、上記の第４データパケットが視覚的にわずかな劣化しか有しないようにするエラー隠蔽ユニットをオプションとして有している。この第４データパケットは、データシンクＥＸ、例えばモニタに供給される。このために供給ユニットＺＥをスイッチ素子の形態で構成して、この素子が、まず第４データパケットだけを転送するようにする。

制御ユニットＳＥは、受信したデータパケットを検査して第２データパケットがあるか否かを求める。例えば、制御ユニットＳＥは、エラー訂正符号、例えばＣＲＣ検査符号（CRC - Check Redundancy Code）に基づいて、またはシーケンス番号が欠落していることに基づいて第２データパケットを識別する。ここでこのシーケンス番号はまさしくチャネルＣを介する伝送の際にデータパケットのうちの１つが失われてしまったことを示す。第２データパケットＤ２を識別すると、制御ユニットＳＥは第１モードＭ１を起動する。この時点に第２ユニットＥ２は、データパケットを処理するためにパラメタ設定され、また場合によっては形成されることもある。第１ユニットおよび第２ユニットが、例えば、オブジェクト指向プログラミング言語によってそれぞれユニットオブジェクトとして生成される場合、第２ユニットは、第２ユニットオブジェクトを、例えばビデオ復号化ユニットを作成することにより、また第１ユニットオブジェクト（＝第１ユニット）のすべての変数値および状態をコピーすることにより、いわば第１ユニットの完全なコピーとして形成することが可能である。

これに加えて制御ユニットＳＥは、送信器ＳＸから第２データパケットを要求し、このデータパケットは、この制御ユニットにおいて第３のパケットとしてエラーなしに受信される。ここで重要でありかつ言及しなければならないのは、第３データパケットＤ３が第１データパケットＤ１の部分集合でないことである。第１モードＭ１を起動した時点から、制御ユニットＳＥは、第１データパケットおよび第３データパケットを第２ユニットＥ２に伝送する。第２ユニットＥ２も同様に、例えば、第１データパケットおよび第３データパケットを第５データパケットＤ５に復号化するなどの処理を行う。第１モードがアクティブになっている間、第４データパケットおよび第５データパケットが作成され、ここでは第４データパケットだけが上記のデータシンクに転送される。これらの第４データパケットおよび第５データパケットのことを、処理されたデータパケットとも称する。

すべての第２データパケットに対し、それぞれ対応するデータパケットが第２ユニットＥ２に得られた後、制御ユニットによって第２モードＭ２が起動され、これによって第１モードＭ１が停止される。この時点に供給ユニットＺＥは切り換わって、以後は第４データパケットＤ４に代わって第５データパケットＤ５だけがデータシンクＥＸ、すなわち受信器に伝送されるようになる。１変形実施形態においてはさらに第２モードＭ２の起動は、第１ユニットＥ１および第２ユニットＥ２によってほぼ同時に同じ第１データパケットが処理された後になってはじめて行われる。ほぼ同時とは、第１ユニットおよび第２ユニットにおいて、同じ第１データパケットが１時点に処理されていること、例えば、第１ユニットが第１データパケットの９５％を、また第２ユニットが同じ第１データパケットの１０％を処理し終えていることである。第３データパケットは遅延を伴って制御ユニットＳＥに到達するため、この制御ユニットは、第３データパケットをソートユニットＴＥによって一時記憶装置Ｍに一時的に記憶して第１データパケットおよび第３データパケットをソートして、第１データパケットおよび第３データパケットが正しい順序で、例えば、シーケンス番号の昇順で第２ユニットに供給されるようにする。第２ユニットが、第１ユニットと同じ第１データパケットを処理し終えた後はじめて、第２ユニットは、後続の第１データパケットをリアルタイムに出力することができる。したがってこの場合に第４データパケットから第５データパケットへの切換を行って上記のデータシンクへの供給を行うことができ、この際にはこのデータシンクより、処理したデータパケットを供給する際の遅延が感知される。

第２モードＭ２を起動する時点には、第１ユニットを停止および／または消去することができる。それは、この時点以降は、第２ユニットＥ２の処理されたデータパケットだけが、すなわち、第５のパケットＤ５だけがデータシンクに供給されるからである。第１ユニットを消去することにより、ソフトウェアによって行われ得るインプリメントのシステム資源が解放される。

図１の装置Ｖには、制御ユニットＳＥに他に第１ユニットＥ１と、第２ユニットＥ２と、供給ユニットＴＥとを有する。

図２には、監視装置ＵＥの枠内において装置Ｖを使用することがシンボリックに示されている。ここではデータパケットによって画像データが伝送される。ここで第１ユニットおよび第２ユニットは、画像データの画像コンテンツを調べるためのそれぞれの解析ユニットであり、例えば、人物識別を実行する。第１データパケットおよび第２データパケットを使用することにより、リアルタイムの画像解析が可能になるが、この際に上記の解析における誤りは受け入れる。第２ユニットによって第１データパケットおよび第３データパケットを時間的に並列に解析することにより、最適な画像解析が保証される。それは、第２ユニットにより、エラーのない画像データが処理されるからである。第２モードに到達した後、第２ユニットによる画像解析だけが行われる。これにより、画像解析が一方ではリアルタイムに可能になり、他方では第３データパケットをすべて供給した後には最適な画像解析を達成することができる。この場合にこの最適な画像解析もやはりリアルタイムに得られる。

本発明は、上記の装置に他に、以下のステップを有する方法にも関している。これらのステップを図３の流れ図に基づいて詳しく説明する。

STA：この流れ図はステップＳＴＡにおいてスタートする。

Ｓ１：ステップＳ１において検査されるのは、いま受信したデータパケットが第２データパケットであるか否かないしは第２データパケットを示しているか、すなわち、このデータパケットそのものにエラーがあるかまたはこのデータパケットが、受信されなかったデータパケットであると推測されるか否かである。この答えがノーの場合、ステップＳ１が再度実行され、その他の場合にはステップＳ２が実行される。

Ｓ２：ステップＳ２では第２モードＭ１が起動される。第１モードの間、第１データパケットおよび第２データパケットが、第１ユニットＥ１によって処理される。処理されたデータパケット、すなわち第４データパケットは、データシンクに伝送される。続いてステップＳ３に進む。

Ｓ３：ステップＳ３では第１ユニットＥ１のコピーである第２ユニットＥ２が始動される。第１データパケットＤ１および第３データパケットＤ３は、第２ユニットＥ２によって処理されて第５データパケットが作成される。続いてステップＳ４に進む。
Ｓ４：ステップＳ４では、すべての第２データパケットに対して１つずつの第３データパケットＤ３が受信されたか否かがチェックされる。受信されていなかった場合、ステップＳ４が繰り返される。その他の場合には続いてステップＳ５に進む。

Ｓ５：このステップＳ５では第２モードＭ２が起動される。上記の第４データパケットの代わりに第５データパケットが上記のデータシンクに伝送される。続いてステップＥＮＤに進む。

ＥＮＤ：このステップにおいてこの流れ図が終了する。

本発明およびその発展形態は、ソフトウェアまたはハードウェアまたはソフトウェアとハードウェアとの組み合わせで実現して実施することが可能である。画像解析およびビデオ復号化の形態の処理の他、例えばオーディオ符号化または音声符号化における別の応用分野も考えられる。

ここでは本発明およびその発展形態を第１ないしは第３の実施形態に基づいて例示的に示した。これに対し、第２ないしは第４の実施形態の実現および実施も同様に行うことができる。

Claims

第１データパケット（Ｄ１）、第２データパケット（Ｄ２）および第３データパケット（Ｄ３）を有するデータストリーム（Ｓ）のデータパケット（Ｄ）を処理する装置（Ｖ）において、
前記第１データパケット（Ｄ１）は、エラーなしに受信したデータパケット（Ｄ）を表し、前記第２データパケット（Ｄ２）は、エラーを伴って受信したデータパケット（Ｄ）または欠落したデータパケット（Ｄ）を表し、前記第３データパケット（Ｄ３）は、前記第２データパケット（Ｄ２）として表されたデータパケット（Ｄ）を再伝送したことによってエラーなしに受信したデータパケットを表し、
前記第１データパケット（Ｄ１）の集合と、前記第３データパケット（Ｄ３）の集合とは互いに素であり、
前記装置（Ｖ）は、第１ユニット（Ｅ１）と、制御ユニット（ＳＥ）と、第２ユニット（Ｅ２）と、を含んでおり、
前記第１ユニット（Ｅ１）により、前記第１データパケット（Ｄ１）および前記第２データパケット（Ｄ２）が処理されて第４データパケット（Ｄ４）が作成され、
前記制御ユニット（ＳＥ）により、
−前記第２データパケット（Ｄ２）を識別した際に第１モード（Ｍ１）が起動され、
−前記第１モード（Ｍ１）を起動した際に前記第２ユニット（Ｅ２）の形態で前記第１ユニット（Ｅ１）のコピーが形成され、
−前記複数の第２データパケット（Ｄ２）のパケット毎に、対応する第３データパケット（Ｄ３）が前記第２ユニット（Ｅ２）によって得られた後、第２モード（Ｍ２）が起動され、
前記第１モード（Ｍ１）を起動した後、前記第２ユニット（Ｅ２）により、前記第１データパケット（Ｄ１）および前記第３データパケット（Ｄ３）が処理されて第５データパケット（Ｄ５）が作成され、
前記第２モード（Ｍ２）が起動されるまで、前記第１ユニット（Ｅ１）により、前記第４データパケット（Ｄ４）がデータシンク（ＥＸ）に供給され、
前記第２モード（Ｍ２）が起動された後、前記第２ユニット（Ｅ２）により、前記第５データパケット（Ｄ５）が前記データシンク（ＥＸ）に供給される、
ことを特徴とする装置（Ｖ）。
前記制御ユニット（ＳＥ）は、前記第２モード（Ｍ２）の起動後、前記第１ユニット（Ｅ１）を除去するようにさらに構成されている、
請求項１に記載の装置（Ｖ）。
供給ユニット（ＺＥ）を有しており、
該供給ユニット（ＺＥ）により、
−前記第２モード（Ｍ２）を起動するまで、前記第４データパケット（Ｄ４）が前記データシンク（ＥＸ）に供給され、また
−前記第２モードを起動した後、前記第５データパケット（Ｄ５）が前記データシンク（ＥＸ）に供給される、
請求項１または２に記載の装置（Ｖ）。
前記第１ユニット（Ｅ１）により、前記第１データパケット（Ｄ１）および前記第２データパケット（Ｄ２）をさらにエラー隠蔽によって処理する、
請求項１から３までのいずれか１項に記載の装置（Ｖ）。
第１データパケット（Ｄ１）、第２データパケット（Ｄ２）および第３データパケット（Ｄ３）を有するデータストリーム（Ｓ）のデータパケット（Ｄ）を処理する装置（Ｖ）において、
前記第１データパケット（Ｄ１）は、エラーなしに受信したデータパケット（Ｄ）を表し、前記第２データパケット（Ｄ２）は、エラーを伴って受信したデータパケット（Ｄ）または欠落したデータパケット（Ｄ）を表し、前記第３データパケット（Ｄ３）は、前記第２データパケット（Ｄ２）として表されたデータパケット（Ｄ）を再伝送したことによってエラーなしに受信したデータパケットを表し、
前記第１データパケット（Ｄ１）の集合と、前記第３データパケット（Ｄ３）の集合とは互いに素であり、
前記装置（Ｖ）は、第１ユニット（Ｅ１）と、制御ユニット（ＳＥ）と、第２ユニット（Ｅ２）とを含んでおり、
前記第１ユニット（Ｅ１）により、前記第１データパケット（Ｄ１）および前記第３データパケット（Ｄ３）が処理されて第４データパケット（Ｄ４）が形成作成され、
前記制御ユニット（ＳＥ）により、
−前記第２データパケット（Ｄ２）を識別した際に第１モード（Ｍ１）が起動され、
−前記第１モード（Ｍ１）を起動した際に前記第２ユニット（Ｅ２）の形態で前記第１ユニット（Ｅ１）のコピーが形成され、また
−前記複数の第２データパケット（Ｄ２）のパケット毎に、対応する第３データパケット（Ｄ３）が前記第１ユニット（Ｅ１）によって得られた後、第２モード（Ｍ２）が起動され、
前記第１モード（Ｍ１）を起動した後、前記第２ユニット（Ｅ２）により、前記第１データパケット（Ｄ１）および前記第２データパケット（Ｄ２）が処理されて第５データパケット（Ｄ５）が作成され、
前記第１モード（Ｍ１）を起動するまでおよび前記第２モード（Ｍ２）を起動した後、前記第１ユニット（Ｅ１）により、前記第４データパケット（Ｄ４）がデータシンク（ＥＸ）に供給され、
前記第１モード（Ｍ１）を起動した後および前記第２モード（Ｍ２）を起動するまで、前記第２ユニット（Ｅ２）により、前記第５データパケット（Ｄ５）を前記データシンク（ＥＸ）に供給される、
ことを特徴とする装置（Ｖ）。
前記制御ユニット（ＳＥ）は、前記第２モード（Ｍ２）の起動後、前記第２ユニット（Ｅ２）を除去するようにさらに構成されている、
請求項５に記載の装置（Ｖ）。
供給ユニット（ＺＥ）を有しており、
該供給ユニット（ＺＥ）により、
−前記第１モード（Ｍ１）を起動するまでおよび前記第２モード（Ｍ２）を起動した後、前記第４データパケット（Ｄ４）が前記データシンク（ＥＸ）に供給され、また
−前記第１モード（Ｍ１）を起動した後および前記第２モード（Ｍ２）を起動するまで、前記第５データパケット（Ｄ５）が前記データシンク（ＥＸ）に供給される、
請求項５または６に記載の装置（Ｖ）。
前記第２ユニット（Ｅ２）により、前記第１データパケット（Ｄ１）および前記第２データパケット（Ｄ２）がさらにエラー隠蔽によって処理される、
請求項５から７までのいずれか１項に記載の装置（Ｖ）。
前記制御ユニット（ＳＥ）はさらに、前記複数の第２データパケット（Ｄ２）のパケット毎に、対応する第３データパケット（Ｄ３）が得られかつ前記第１ユニット（Ｅ１）および前記第２ユニット（Ｅ２）によってほぼ同時に同じ前記第１データパケット（Ｄ１）が処理されるようになった後、前記第２モード（Ｍ２）を起動するように構成されている、
請求項１から８までのいずれか１項に記載の装置（Ｖ）。
前記制御ユニット（ＳＥ）には、前記第１データパケット（Ｄ１）および前記第３データパケット（Ｄ３）を一時記憶するための記憶装置（Ｍ）と、前記第１データパケット（Ｄ１）および前記第３データパケット（Ｄ３）をソートするソートユニット（ＴＥ）と、が含まれており、
前記ソートユニットにより、前記第１データパケット（Ｄ１）および前記第３データパケット（Ｄ３）の時間的な順序が、正常な処理のために保証される、
請求項１から９までのいずれか１項に記載の装置（Ｖ）。
前記データストリームは、符号化されたマルチメディアデータ、殊に符号化されたビデオデータを有しており、
前記第1ユニットおよび前記第２ユニットはそれぞれ、前記マルチメディアデータを解析する解析ユニットとして殊に画像またはビデオ解析ユニットとして構成されている、
請求項１から１０までのいずれか１項に記載の装置（Ｖ）。
前記データストリームは、符号化されたマルチメディアデータ、殊に符号化されたビデオデータを有しており、
前記第1ユニットおよび前記第２ユニットはそれぞれ、前記符号化されたマルチメディアデータを復号化する復号化ユニットとして殊にビデオ復号化ユニットとして構成されている、
請求項１から１０までのいずれか１項に記載の装置（Ｖ）。
第１データパケット（Ｄ１）、第２データパケット（Ｄ２）および第３データパケット（Ｄ３）を有するデータストリーム（Ｓ）のデータパケット（Ｄ）を処理する方法において、
前記第１データパケット（Ｄ１）は、エラーなしに受信したデータパケット（Ｄ）を表し、前記第２データパケット（Ｄ２）は、エラーを伴って受信したデータパケット（Ｄ）または欠落したデータパケット（Ｄ）を表し、前記第３データパケット（Ｄ３）は、前記第２データパケット（Ｄ２）として表されたデータパケット（Ｄ）を再伝送したことによってエラーなしに受信したデータパケットを表し、
前記第１データパケット（Ｄ１）の集合と、前記第３データパケット（Ｄ３）の集合とは互いに素であり、
前記方法は、
−第１ユニット（Ｅ１）より、前記第１データパケット（Ｄ１）および前記第２データパケット（Ｄ２）を処理して第４データパケット（Ｄ４）を作成するステップと、
−前記第２データパケット（Ｄ２）を識別した際に第１モード（Ｍ１）を起動するステップと、
−前記第１モード（Ｍ１）を起動する際に第２ユニット（Ｅ２）の形態で前記第１ユニット（Ｅ１）のコピーを形成するステップと、
−前記第２データパケット（Ｄ２）のパケット毎に、対応する第３データパケット（Ｄ３）が前記第２ユニット（Ｅ２）によって得られた後、第２モード（Ｍ２）を起動するステップと、
−前記第１モード（Ｍ１）を起動した後、前記第２ユニット（Ｅ２）より、前記第１データパケット（Ｄ１）および前記第３データパケット（Ｄ３）を処理して第５データパケット（Ｄ５）を作成するステップと、
−前記第２モード（Ｍ２）を起動するまでデータシンク（ＥＸ）に前記第４データパケット（Ｄ４）を供給するステップと、
−前記第２モード（Ｍ２）を起動した後、前記データシンク（ＥＸ）に前記第５データパケット（Ｄ５）を供給するステップと、
を有することを特徴とする方法。
前記第２モード（Ｍ２）を起動した後、前記第１ユニット（Ｅ１）を除去する、
請求項１３に記載の方法。
供給ユニット（ＺＥ）により、前記第２モード（Ｍ２）を起動するまで前記第４データパケット（Ｄ４）を前記データシンク（ＥＸ）に供給し、また前記第２モード（Ｍ２）を起動した後、前記第５データパケット（Ｄ５）を供給する、
請求項１３または１４に記載の方法。
前記第１ユニット（Ｅ１）により、前記第１データパケット（Ｄ１）および前記第２データパケット（Ｄ２）をさらにエラー隠蔽によって処理する、
請求項１３から１５までのいずれか１項に記載の方法。
第１データパケット（Ｄ１）、第２データパケット（Ｄ２）および第３データパケット（Ｄ３）を有するデータストリーム（Ｓ）のデータパケット（Ｄ）を処理する方法において、
前記第１データパケット（Ｄ１）は、エラーなしに受信したデータパケット（Ｄ）を表し、前記第２データパケット（Ｄ２）は、エラーを伴って受信したデータパケット（Ｄ）または欠落したデータパケット（Ｄ）を表し、前記第３データパケット（Ｄ３）は、前記第２データパケット（Ｄ２）として表されたデータパケット（Ｄ）を再伝送したことによってエラーなしに受信したデータパケットを表し、
前記第１データパケット（Ｄ１）の集合と、前記第３データパケット（Ｄ３）の集合とは互いに素であり、
前記方法では、
−第１ユニット（Ｅ１）より、前記第１データパケット（Ｄ１）および前記第３データパケット（Ｄ３）を処理して第４データパケット（Ｄ４）を作成するステップと、
−前記第２データパケット（Ｄ２）を識別した際に第１モード（Ｍ１）を起動するステップと、
−前記第１モード（Ｍ１）を起動する際に第２ユニット（Ｅ２）の形態で前記第１ユニット（Ｅ１）のコピーを形成するステップと、
−前記第２データパケット（Ｄ２）のパケット毎に、対応する第３データパケット（Ｄ３）が前記第１ユニット（Ｅ１）によって得られた後、第２モード（Ｍ２）を起動するステップと、
−前記第１モード（Ｍ１）を起動した後、前記第２ユニット（Ｅ２）より、前記第１データパケット（Ｄ１）および前記第２データパケット（Ｄ２）を処理して第５データパケット（Ｄ５）を作成するステップと、
−前記第１モード（Ｍ１）を起動するまでおよび前記第２モード（Ｍ２）を起動した後、前記第４データパケット（Ｄ４）をデータシンク（ＥＸ）に供給するステップと、
−前記第１モード（Ｍ１）を起動した後および前記第２モード（Ｍ２）を起動するまで前記第５データパケット（Ｄ５）を前記データシンク（ＥＸ）に供給するステップと、
を実行することを特徴とする方法。
前記第２モード（Ｍ２）を起動した後、前記第２ユニット（Ｅ２）を除去する、
請求項１７に記載の方法。
供給ユニット（ＺＥ）により、前記第１モード（Ｍ１）を起動するまでにおよび前記第２モード（Ｍ２）を起動した後に前記第４データパケット（Ｄ４）を前記データシンク（ＥＸ）に供給し、また前記第１モード（Ｍ１）を起動した後および前記第２モード（Ｍ２）を起動するまで前記第５データパケット（Ｄ５）を前記データシンク（ＥＸ）に供給する、
請求項１７または１８に記載の方法。
前記第２ユニット（Ｅ２）により、前記第１データパケット（Ｄ１）および前記第２データパケット（Ｄ２）をさらにエラー隠蔽によって処理する、
請求項１７から１９までのいずれか１項に記載の方法。
前記第２データパケット（Ｄ２）のパケット毎に、対応する第３データパケット（Ｄ３）が得られかつ前記第１ユニット（Ｅ１）および前記第２ユニット（Ｅ２）によってほぼ同時に同じ第１データパケット（Ｄ１）が処理されるようになった後、前記第２モード（Ｍ２）を起動する、
請求項１３から２０までのいずれか１項に記載の方法。
記憶装置（Ｍ）を用いて前記第１データパケット（Ｄ１）および前記第３データパケット（Ｄ３）を一時記憶し、
ソートユニット（ＴＥ）を用いて前記第１データパケット（Ｄ１）および前記第３データパケット（Ｄ３）をソートし、
前記ソートユニットにより、前記第１データパケット（Ｄ１）および前記第３データパケット（Ｄ３）の時間的な順序を正常な処理のために保証する、
請求項１３から２１までのいずれか１項に記載の方法。
前記データストリームは、符号化されたマルチメディアデータ、殊に符号化されたビデオデータを有しており、
前記第1ユニットおよび前記第２ユニットはそれぞれ、前記マルチメディアデータを解析する解析ユニットとして殊に画像またはビデオ解析ユニットとして構成されている、
請求項１３から２２までのいずれか１項に記載の方法。
前記データストリームは、符号化されたマルチメディアデータ、殊に符号化されたビデオデータを有しており、
前記第1ユニットおよび前記第２ユニットはそれぞれ、前記符号化されたマルチメディアデータを復号化する復号化ユニットとして殊にビデオ復号化ユニットとして構成されている、
請求項１３から２２までのいずれか１項に記載の方法。
請求項１から１２までのいずれか１項に記載の装置（Ｖ）の使用方法において、
前記装置（Ｖ）を監視装置の枠内でビデオデータの解析に使用する、
ことを特徴とする装置（Ｖ）の使用方法。