WO2019156155A1

WO2019156155A1 - パケット処理システム及び方法

Info

Publication number: WO2019156155A1
Application number: PCT/JP2019/004386
Authority: WO
Inventors: 孝太郎小野; 亮太石橋; 健桑原
Original assignee: 日本電信電話株式会社
Priority date: 2018-02-09
Filing date: 2019-02-07
Publication date: 2019-08-15
Also published as: US20200358720A1; JP6901687B2; US11218426B2; JP2019140520A

Abstract

不要な遅延増大を防止しつつリアルタイムなパケット処理を可能にするパケット処理システム及び方法を提供する。互いに異なる種類のパケットをリアルタイムに送信する端末１０－１及び端末１０－２と、端末１０－１が送信するパケットを処理する通信装置３０と、端末１０－１及び端末１０－２から通信装置へのパケットの通信経路にパケット処理装置１００を配置する。パケット処理装置１００は、端末１０－２から受信したパケットに基づき、端末１０－１から受信するパケットの処理方法を判定して処理方法判定表を作成するとともに、処理方法一覧を作成する。端末情報パケット処理部１２４が前記処理方法一覧に基づき、端末１０－１から受信したパケットをパケット単位で処理する。

Description

パケット処理システム及び方法

　本発明は、通信装置がネットワークを介して複数の端末と接続している構成のシステムにおいて、通信装置がある端末が送信するパケットを処理する際に別の端末が送信するパケットの情報に基づいて処理するシステムおよびその方法に関する。

　ＩｏＴ（Internet of Things）の発展に伴い、ネットワーク（ＮＷ：Network）に接続された様々な種類の端末およびそれらが取得する大量の情報を活用する技術やサービスが検討されている。ＩｏＴではＮＷに接続された大量のセンサ（例えば、音声情報を取得するマイク、画像情報を取得するカメラ、温度や湿度、輝度などの環境情報を取得する計測装置、機械の速さや向き、位置などの動作情報を取得する計測装置）の有効活用が課題として取り上げられ、ＮＷに接続された個々の端末で取得できる情報、上記の例ではセンサ情報をそれ単独で利用するだけではなく、複数端末の情報を組み合わせて利用する、あるいは統計処理して分析するなどの利用方法が検討されている。

　さらに、端末がＮＷを介して外部と情報を送受信することが可能になれば、従来は端末自身、あるいは端末が設置されている現場に閉じたＮＷ内に配備されていた端末の制御機能をクラウド、あるいは端末に近接したＮＷのエッジへ配備するなど、外部リソースを活用した端末機能の分散化も実現できる。一部の端末機能をクラウド上や端末に近接したＮＷのエッジに集約して配備すれば、インテリジェントな端末制御や付加価値の高いサービスを提供するための高度な機能を個々の端末に実装する必要がなくなるため、端末自身のコストやメンテナンスにかかる保守運用コストを軽減しつつ、高度な機能を活用したサービスを展開できる。

　複数の端末でリアルタイムに取得される別々の情報の組み合わせをクラウド上、あるいはＮＷのエッジで利用することを考えた場合、利用方法にも依存するが、複数の情報の時間的な対応関係を紐づけなければならない場合がある。例えば、ある端末（端末１）がリアルタイムに送信する情報のパケットを、別の端末（端末２）がリアルタイムに送信する情報を利用して処理しようとする場合、どの端末１の情報のパケットがどの端末２の情報と時間的な対応関係で紐づけられるのかを考慮しなければならない。

　マイクで取得する音声情報と、カメラで取得する画像情報を利用したテレビ放送などの映像のストリーミングでは、音声情報と画像情報を受信して再生する装置による再生内容が不自然にならないように、音声情報と画像情報の同期を取る技術（リップシンク）を採用している。リップシンクでは、別々に取得した音声情報と画像情報の再生タイミングの同期および遅延ジッタの影響回避を目的として、再生装置が音声情報と画像情報を一時的にバッファリングする。再生装置がバッファリング中の音声情報のパケットと画像情報のパケットのタイムスタンプを参照し、処理に時間のかかる画像情報の再生に合わせて音声情報を遅延させることで、音声情報と画像情報の同期を取っている（特許文献１参照）。

特開２００５－２２９１６８号公報

　複数の端末でリアルタイムに取得される別々の情報の組み合わせをクラウド上、あるいはＮＷのエッジで利用することを考えた場合、利用方法にも依存するが、複数の情報の時間的な対応関係を紐づけなければならない場合がある。その際に、特許文献１に記載するような従来技術を用いると、どのような場合においても複数の端末でリアルタイムに取得される別々の情報のそれぞれを一旦バッファリングすることになり、情報のリアルタイム性が損なわれる課題がある。この課題は、多くの場合時間的に先に処理可能になる情報（特許文献１では音声情報）と多くの場合時間的に後に処理可能になる情報（特許文献１では画像情報）が同時に処理可能になった場合、あるいはあらかじめ想定されているよりも時間差が小さい場合でも、それぞれの情報を固定的にバッファリングするために生じる。さらに、それぞれの情報を転送するようなＮＷ中の通信装置で先行技術文献に記載するような従来技術を用いると、情報の受信から再送信の間に固定的に遅延を挿入することになるため、不要な遅延の増大を引き起こしてしまう。

　本発明は上記事情に鑑みてなされたものであり、その目的とするところは、不要な遅延増大を防止しつつリアルタイムなパケット処理を可能にするパケット処理システム及び方法を提供することにある。

　上記目的を達成するために、本願発明は、互いに異なるデータ種類のパケットをリアルタイムに送信する第１端末及び第２端末と、前記第１端末から送信されたパケットを受信する受信装置とを備えたパケット処理システムであって、前記第１端末から前記受信装置へのパケットの通信経路上に配置されたパケット処理装置を備え、前記第１端末及び第２端末はパケット化処理を行った時刻を付加してデータをパケット化するパケット化手段を備え、前記パケット処理装置は、前記第２端末からのパケットの受信毎に当該パケットのデータ内容に基づき前記第１端末から受信するパケットに対するパケット単位の処理方法を判定して当該パケットの時刻情報と紐付けた判定結果として出力するパケット処理方法判定手段と、前記パケット処理方法判定手段からの判定結果の受信毎に当該判定結果をパケット処理方法判定表として記憶するとともに前記判定方法判定表に基づき所定の規則で前記第１端末から受信するパケットに対するパケット単位の処理方法と時刻情報とを紐付けた処理方法一覧を生成して記憶する処理方法判定結果管理手段と、前記第１端末からのパケットの受信毎に前記処理方法判定結果管理手段に対して当該パケットについての処理方法を問合せ、前記処理方法判定結果管理手段から取得した処理方法に基づいて当該パケットを処理するパケット処理手段とを備え、前記処理方法判定結果管理手段は、前記パケット処理手段からの前記問合せに対して当該パケットの時刻情報に基づき前記処理方法一覧を参照して前記時刻情報に紐付けられた処理方法を前記パケット処理手段に回答することを特徴とする。

　本発明によれば、パケット処理装置によって、端末からリアルタイムに送信される情報のパケットを、別の端末からリアルタイムに送信される情報と時間的な対応関係を紐付けた上で、その情報を利用してリアルタイムに処理することが可能になる。したがって、転送遅延を可能な限り削減することが可能となり、これによりリアルタイム性を極力損なわないために、エンドツーエンドで見たシステム全体を低遅延化し、その結果特許文献１に記載するような従来技術を用いたときの不要な遅延増大の課題を解決するとともに、時間的な対応関係で紐付けられる情報を利用したリアルタイムなパケット処理を可能にする。本発明でのパケット処理は、処理される側のパケットのペイロードを処理するのではなくパケットレベルでの処理であるため、画像情報などの処理負荷の大きい情報であっても、軽い負荷でリアルタイムに処理できる。

本発明の前提となるシステムの構成概略図本発明に係るパケット処理システムの概略構成図パケット処理装置の機能ブロック図処理方法判定表の一例処理方法一覧のデータ構造の一例処理方法一覧の一例パケット処理装置におけるパケット処理のシーケンスチャート処理方法判定結果管理部のフローチャート処理方法判定表の一例処理方法一覧の補完処理を説明する図処理方法一覧の更新処理を説明する図端末情報パケット処理部のフローチャート（１／２）端末情報パケット処理部のフローチャート（２／２）判定の基となるパケットが複数の場合の処理方法判定表の一例判定の基となるパケットが複数の場合の処理方法一覧の一例実施例１に係るパケット処理装置の機能ブロック図実施例１に係る処理方法判定フローの一例実施例２に係るパケット処理装置の機能ブロック図実施例２に係る処理方法判定フローの一例処理方法一覧の処理方法を決定する際に用いる規則の一例

　本発明の一実施の形態に係るパケット処理システムについて図面を参照して説明する。本発明では、上記の課題を解決する手段として、異種パケット活用型パケット処理装置（以下単に「パケット処理装置」と称する。）を利用する。図１は本発明の前提となるシステムの構成概略図、図２は本発明に係るパケット処理装置をＮＷ上に配備した本システムの構成概略図である。なお本願では、複数の同種の装置・構成については共通の主参照符号を付すとともに、各装置・構成を個別に参照するために前記主参照符号の後に枝番を付した。また、複数の同種の装置・構成を総称する際には主参照符号のみを用いる。なお、図面にいては、各装置・構成を個別に容易に参照するために名称の前に枝番と対応した番号付けを行っている。

　図１に示すように、各端末１０は、情報を取得する情報取得部１１、情報を生成する情報生成部１２と、情報取得部１１が取得した情報や情報生成部１２が生成した情報を周期的にパケタイズするパケタイズ部１３と、パケタイズされたパケットをＮＷ２０に接続された外部にリアルタイムに送信するパケット送信部１４とを備える。ここで、前記パケタイズ部１３は、パケタイズした時刻をタイムスタンプとして付加する。各端末１０は、互いに異なるデータ種類のパケットをリアルタイムに送信する。端末１０は、前記情報取得部１１及び情報生成部１２について何れか一方のみを備えるように構成してもよい。

　通信装置３０は、ＮＷ２０に接続された各端末１０から送信されたパケットを受信するパケット受信部３１と、パケットの再送信を含むパケット処理やパケタイズされた情報の処理を行うパケット処理部３２とを備える。

　本発明に係るパケット処理装置１００は、各端末１０から通信装置３０へのパケットの通信経路上に配置されている。図２に示すように、各端末１０はＮＷ２０－１に接続されており、通信装置３０はＮＷ２０－２に接続されており、パケット処理装置１００は各ＮＷ２０－１，２０－２に接続している。

　パケット処理装置１００は、各端末１０からパケットとしてリアルタイムに送信される情報を受信するパケット受信部１１０と、受信したパケットそれらを単独で、あるいは複数の情報の組み合わせを利用して別の端末１０からリアルタイムに送信されてくるパケットを処理するパケット処理部１２０と、各ＮＷ２０－１，２０－２に接続された通信装置３０に処理済みパケットを送信するパケット送信部１３０とを有する。当該パケット処理装置１００の実装形態は不問であり、ＮＷ装置としてのハードウェア、もしくは既存のＮＷ装置上で動作するソフトウェアのいずれで動作してもよい。

　パケット処理装置１００は、各端末１０が送信するパケットのタイムスタンプからその情報がパケタイズされた時刻を計算できることとする。各端末１０の情報がパケタイズされた時刻をパケット処理装置１００において計算できる条件としては、各端末１０のタイムスタンプの形式がパケット処理装置１００において既知のものであり、各端末１０はパケット処理装置１００のＮＴＰ（Network Time Protocol）ブロードキャスト等により時刻同期されている、とする。あるいは、各端末１０とパケット処理装置１００が時刻同期されていない場合でも、各端末１０とパケット処理装置１００との間で定期的にテストパケットを送受信する等して、それぞれの端末１０でパケタイズされてからパケット処理装置１００で受信されるまでの時間を推定し、パケット処理装置１００から見た各端末１０の情報がパケタイズされた時刻を、パケット処理装置１００が計算できることとする、としてもよい。

　次にパケット処理装置１００の詳細について図３を参照して説明する。図３はパケット処理装置の機能ブロック図である。

　パケット処理装置１００は、図３に示す機能ブロックを具備し、端末１０－１，１０－ｎからリアルタイムに送信されるパケットに対して、別の端末１０－２，１０－３，…，１０－ｍからリアルタイムに送信される情報を利用したパケット処理をパケット単位で実施した後に、処理済みのパケットを通信装置３０へ送信することで、図２のＮＷ２０－２に送信されるパケットの流れを「変化」させる。

　ここで、前記の「変化」とは、例えばパケタイズされた情報の品質等の問題により、通信装置３０に送信不要なパケットをパケット処理装置１００が廃棄することで、不要なＮＷ帯域利用や通信装置３０の処理負荷を削減する、あるいは通信装置３０の処理に不可欠な情報を含むパケットをパケット処理装置１００が受信した場合、そのパケットを複製して通信装置３０に送信することで、パケットロス等がある品質の悪いＮＷを介したパケット送受信における受信側のパケット受信成功率を高め、結果として受信側での情報の可用性を向上させることなど、各端末１０や通信装置３０、それらが接続されたＮＷ２０－１，２０－２を利用する側にとっての利点がある変化を意味する。

　図３は、端末１０－１あるいは端末１０－ｎからリアルタイムに送信される情報のパケットを、端末１０－２や端末１０－３、端末１０－ｍからリアルタイムに送信される情報を単独で、あるいはその組み合わせを利用して処理する場合に必要な機能ブロックを記載している。ここで、端末１０－１及び端末１０－ｎは特許請求の範囲の記載における「第１端末」に相当し、端末１０－２、…、端末１０－ｍは特許請求の範囲の記載における「第２端末」に相当する点に留意されたい。

　図３に示すように、パケット処理装置１００の前記パケット受信部１１０は、各端末１０－１～１０－ｎからパケットを受信する端末情報パケット受信部１１１－１～１１１－ｎを備えている。パケット処理装置の前記パケット処理部１２０は、端末情報活用前処理部１２１－２，１２１－３，…，１２１－ｍと、処理方法判定結果管理部１２２と、記憶部１２３と、端末情報パケット処理部１２４－１，１２４－ｎとを備えている。パケット処理装置１００の前記パケット送信部１３０は、パケット処理部１２０で処理された処理済みの端末情報パケットを送信する端末情報パケット送信部１３１－１，１３１－ｎを備えている。以下、パケット処理部１２０の詳細について説明する。

　端末情報活用前処理部１２１－２，１２１－３，…，１２１－ｍは、端末１０－２，１０－３，…，１０ｍからリアルタイムに送信される情報に基づき、端末１０－１あるいは端末１０－ｎからリアルタイムに送信される情報のパケットのパケット単位での処理方法を判定する。パケットの処理方法判定結果は処理方法判定結果管理部１２２に転送される。ここで、処理方法は、例えば「透過（情報を加工せずにそのまま送信する）」や「廃棄」などが挙げられる。パケットの処理方法の判定は、当該パケットに係る情報の種類・属性、処理対象である端末１０－１や１０－ｎの送信する情報との関連性等に応じて行われる。例えば、パケットの情報に含まれる特定のパラメータと所定の閾値に基づき判定処理を行う。処理方法判定結果管理部１２２に渡される判定結果にはパケットに含まれる時刻情報が含まれる。

　処理方法判定結果管理部１２２は、転送されてきた処理方法判定結果を処理方法判定表として記憶部１２３に格納する又は記憶部１２３に記憶されている処理方法判定表を更新する。また、処理方法判定結果管理部１２２は、処理方法判定表に基づき処理方法判定一覧を生成して記憶部１２３に格納する又は記憶部１２３に格納されている処理方法判定一覧を更新する。また、処理方法判定結果管理部１２２は、端末情報パケット処理部１２４－１，１２４－ｎからパケットの処理方法判定結果を要求された際に、記憶部１２３に格納されている処理方法判定一覧を基にパケットの処理方法判定結果を応答する。

　記憶部１２３に格納される処理方法判定表の一例を図４に示す。処理方法判定表は、処理対象の端末１０－１，１０－ｎ毎に、且つ、処理判定に用いられる端末１０－２，１０－３，…，１０ｍ毎に記憶される。図４は端末１０－１用の処理方法判定表であり、端末１０－２からの情報を用いて処理する場合を示している。前述したように、各端末１０は周期的にパケットを送信している。図４では、端末１０－２が周期１／ｆｘでパケットを送信しているものとする。また、図４では処理方法として「透過」「廃棄」を例示する。図４に示すように、処理方法判定表は、端末１０－２から受信したパケットに基づく処理方法判定結果と当該パケットの時刻情報が紐付けされたものである。記憶部１２３に格納される処理方法判定表の各データは、端末情報活用前処理部１２１－２，１２１－３，…，１２１－ｍからの判定結果の受信、換言すれば端末１０－２，１０－３，…，１０－ｍからのパケットの受信毎に順次追記又は更新されるものである。なお、パケットが欠落する場合やパケットの受信順序が前後する場合がある点に留意されたい。

　処理方法一覧のデータ構造の一例を図５に示す。処理方法一覧は、処理対象の端末１０－１，１０－ｎ毎に記憶される。処理方法一覧は、処理方法判定表に基づき生成・更新されるものであり、所定の規則で前記端末１０－１，１０－ｎから受信するパケットに対するパケット単位の処理方法と時刻情報とを紐付けたものである。

　ところで、各端末１０は周期的にパケットを送信するため、ある端末１０－２，１０－３，…，１０－ｍが送信する情報を基にした処理方法判定結果は通常、周期的に処理方法判定結果管理部１２２に転送されてくる。処理方法判定結果管理部１２２は、端末１０－２の周波数をｆｘとすると、処理対象の端末情報パケット処理部１０－１からある時刻の処理方法判定結果を要求された際、時刻が最も近接する処理方法判定結果を応答できるように、処理方法一覧を作成する。すなわち、処理判定に用いる端末１０－２，１０－３，…，１０－ｍからの複数の判定結果の時刻情報から、各時刻間の時間領域における処理方法を決定して処理方法一覧を生成する。図５は、１つの端末１０－２に係る判定結果に基づき判定方法一覧を生成した場合のデータ構造の一例である。また、図６は、図４に示した処理方法判定表に基づき処理方法一覧を生成した例である。図５及び図６に示すように、処理方法一覧は、端末１０－１の情報パケットの処理方法を判定する基となる情報を送信する端末１０－２の送信周期に合わせられており、端末１０－１の情報パケットの処理方法判定結果として時刻が近接する判定結果を用いるために、上記端末１０－２の送信周期の半分を最小単位としている。

　なお、記憶部１２３に必要な容量が無限大になることを回避するために、端末１０－１あるいは端末１０－ｎからリアルタイムに送信される情報のパケットに要求されるリアルタイム性を考慮して、処理方法判定結果や処理方法一覧を記憶部１２３内に保持する時間に制限を設けても構わない。

　端末情報パケット処理部１２４－１，１２４－ｎは、パケットを受信した際に処理方法判定結果管理部１２２にパケットの処理方法判定結果を要求し、応答結果を基にパケットをパケット単位で処理して端末情報パケット送信部１３１－１，１３１－ｎに転送する。端末情報パケット送信部１３１－１，１３１－ｎは端末情報パケット処理部１２４－１，１２４－ｎから受信したパケットを通信装置３０に送信する。

　端末情報パケット処理部１２４－１，１２－４の端末情報パケットの処理は、図７に示すシーケンスに則って実行される。図７の例では、端末１０－１が送信するパケットを対象としている。

　端末情報パケット処理部１２４－１は、端末情報パケット受信部１２１－１から端末１０－１に係る情報パケットが転送されてくると、処理方法判定結果管理部１２２に当該パケットの処理方法判定結果を要求する（ステップＳ１０１，Ｓ１０２）。処理方法判定結果管理部１２２は、記憶部１２３に格納されている端末１０－１に係るパケットについての処理方法判定一覧を参照し、端末１０－１に係るパケットの処理方法判定結果を端末情報パケット処理部１２４－１に応答する（ステップＳ１０３，Ｓ１０４）。端末情報パケット処理部１２４－１は応答結果を基に端末１０－１から送信されたパケットをパケット単位で処理し、処理済みのパケットを端末情報パケット送信部１３１－１に転送する（ステップＳ１０５）。

　次に、処理方法判定結果管理部１２２の動作について図８のフローチャートを参照して説明する。ここでは、端末１０－２からのパケットに基づき、端末１０－１からのパケットを処理するため処理方法判定表及び処理方法一覧を更新する動作について説明する。ここで、端末１０－２は周波数ｆｘでパケットを送信し、端末１０－１は前記周波数ｆｘとは異なる周波数ｆｙでパケットを送信するものとする。

　図８に示すように、処理方法判定結果管理部１２２は、端末情報活用前処理部１０－２から端末１０－１の情報パケットについての処理方法判定結果を受信すると（ステップＳ１）、記憶部１２３に格納されている端末１０－１の情報パケットについての処理方法判定表を更新する（ステップＳ２）。そして、処理方法判定結果管理部１２２は、当該処理方法判定表を基に所定の規則で端末１０－１の情報パケットについての処理方法一覧を更新する（ステップＳ３）。

　ここで、処理方法判定結果管理部１２２は、端末情報活用前処理部１０－２からの処理方法判定結果の受信状況に応じて、処理方法判定一覧の補完処理や更新処理を行うことができる。通常は、端末情報活用前処理部１０－２から判定結果は欠落することなく時系列にそって周期的に処理方法判定結果管理部１２２によって受信される。前述した図４の処理方法判定表及び図６の処理方法一覧は、時刻１／ｆｘ，２／ｆｘ，３／ｆｘに係る判定結果を欠落することなく順次受信した時点でのものである。

　一方、周期的に転送されてくる判定結果が一部欠落する場合、処理方法判定結果管理部１２２は、判定結果が一部欠落した状態となるよう処理方法判定表を更新する。そして、処理方法判定結果管理部１２２は、最も近接する時刻領域と同じ処理方法判定結果をもって、欠落した判定結果に係る時間領域を補完することができる。図９は時刻２／ｆｘの判定結果が欠落した場合の処理方法判定表を示す。図１０は時刻２／ｆｘの判定結果が欠落した場合の処理方法一覧の補完処理を示す。他の補完処理としては、予め定めておいた欠落時の処理方法をもって補完することができる。なお、補完処理を行わないようにしてもよい。

　また、転送されてくる判定結果の順序が逆転した場合、処理方法判定結果管理部１２２は、後に受信した判定結果について処理方法判定表を更新するとともに、当該判定結果の時刻情報に対応する処理方法一覧が未記載の場合に、処理方法一覧を更新することができる。図１１は時刻３／ｆｘの判定結果ののちに時刻２／ｆｘの判定結果を受信した場合の処理方法一覧を示す。図１２は時刻３／ｆｘの判定結果ののちに時刻２／ｆｘの判定結果を受信した場合の処理方法一覧の更新処理を示す。他の更新処理としては、処理方法一覧の記載の有無にかかわらず全ての場合に処理方法判定結果を上書きすることができる。更に他の更新処理としては、記載されている処理方法判定結果がある特定の処理の場合のみ上書きすることができる。

　次に、端末情報パケット処理部１２４と処理方法判定結果管理部１２２による処理対象の端末１０からのパケットを処理する手順について図１３を参照して説明する。端末１０－１が周波数ｆｙでパケットを送信しているとすると通常、端末情報パケット処理部１２４－１は１／ｆｙの時間間隔で情報パケットを受信する（ステップＳ１１）。端末情報パケット処理部１２４－１はある時刻（図１３では時刻２／ｆｙ）の情報パケットを受信すると、処理方法判定結果管理部１２２に時刻２／ｆｙにおける端末１０－１の情報パケットの処理方法判定結果を要求する（ステップＳ１２）。

　処理方法判定結果管理部１２２は、時刻２／ｆｙにおける端末１０－１の情報パケットが処理方法一覧のどの時刻領域に含まれているかを判定する（ステップＳ１３）。図１３では時刻３／ｆｘとしている。時刻３／ｆｘに含まれる端末１０－１の情報パケットの処理方法判定結果が処理方法一覧に記載されている場合は、処理方法判定結果管理部１２２は当該処理方法判定結果を端末情報パケット処理部１２４－１に応答する（ステップＳ１４，Ｓ１５）。端末情報パケット処理部１２４は応答結果に基づいて端末１０－１の情報パケットを処理する（ステップＳ１６）。

　一方、時刻３／ｆｘに含まれる端末１０－１の情報パケットの処理方法判定結果が処理方法一覧に記載されていない場合、処理方法判定結果管理部１２２は端末情報パケット処理部１２４－１に当該情報パケットをバッファリングする命令を応答する（ステップＳ１４，Ｓ１７）。端末情報パケット処理部１２４－１は応答結果に基づいて当該情報パケットをバッファリングする（ステップＳ１８）。

　ここで、バッファリングする時間Ｔ１は処理対象である端末１０－１の情報パケットに要求されるリアルタイム性を損なわない範囲で任意に、または状態情報送信装置のパケット送信周期を参考にして固定値としてあらかじめ定めることができる。あるいは、バッファリングする時間Ｔ１は、周期的に受信する端末１０－１からの情報パケットのタイムスタンプから端末１０－１とパケット処理装置１００との間のＮＷの遅延時間を学習、変動を推測し、その時々のＮＷの状態に従って変動するように設定することができる。

　端末情報パケット処理部１２４－１は時間Ｔ１のバッファリング後、再度処理方法判定結果管理部１２２に当該情報パケットの処理方法判定結果を要求する（ステップＳ１９）。再度要求した際にも時刻３／ｆｘに含まれる処理方法判定結果が処理方法一覧に記載されていない場合、処理方法判定結果管理部１２２は端末情報パケット処理部１２４－１に当該情報パケットをバッファリングする命令を再度応答する（ステップＳ２０～Ｓ２２）。

　端末情報パケット処理部１２４－１は、命令受信時に当該情報パケットのバッファリング時間が時間Ｔ２を超過していなければ再度、当該情報パケットをバッファリングし、当該情報パケットのバッファリング時間が時間Ｔ２を超過していれば、当該情報パケットにあらかじめ定めた規則（例えばパケットを廃棄するなど）に従ってパケットを処理する（ステップＳ２３，Ｓ２４）。

　ここで時間Ｔ２は処理対象である端末１０－１の情報パケットに要求されるリアルタイム性を損なわない範囲で任意に、または状態情報送信装置のパケット送信周期を参考にして固定値としてあらかじめ定めることができる。あるいは、時間Ｔ２は、周期的に受信する端末１０－１からの情報パケットのタイムスタンプから端末１０－１とパケット処理装置１００との間のＮＷの遅延時間を学習、変動を推測し、その時々のＮＷの状態に従って変動するように設定することができる。ただし、固定値又は変動値のいずれであっても、時間Ｔ２は時間Ｔ２≧時間Ｔ１を満足する値とする。

　端末１０－２からはリアルタイムに情報が送信されるので、記憶部１２３に格納されている端末１０－１の情報パケットについての処理方法一覧は随時更新される。そして、端末１０－１の情報パケットをバッファリングしている間に、当該バッファリングしている情報パケットについての処理方法判定結果が記憶部１２３の処理方法判定一覧に記載されれば、記載の処理方法判定結果に基づいて当該情報パケットを処理できる。なお、パケットの処理方法を判定する根拠となる情報を含むパケットが通過するＮＷが、処理される側のパケット、ここでは端末１０－１の情報パケットであるが、そのパケットが通過するＮＷと比較して著しく劣悪な場合などではない限り、あらかじめ定めた規則に従ったパケット処理が頻発することはない。

　次に、端末１０－１，１０－ｎの情報パケットの処理方法を判定する際に、複数の異なる情報を利用して判定する場合について図１４及び図１５を参照して説明する。ここでは、送信周期が１／ｆａの端末１０－２と、送信周期が１／ｆｂの端末１０－３が送信する情報を基に、端末１０－１の情報パケットの処理方法を判定する例について説明する。ここで、端末１０－２の送信周期１／ｆａ＞端末１０－３の送信周期１／ｆｂであるものとする。

　処理方法判定結果管理部１２２は、図１４に示すように、端末１０－１の情報パケット用の処理方法判定表を、端末１０－２，１０－３のそれぞれについて別個に生成する。処理方法判定結果管理部１２２は、この２つの処理方法判定表から、所定の規則に基づき、端末１０－１の情報パケット用の１つの処理方法一覧を生成する。処理方法判定結果管理部１２２は、図１５に示すように、端末１０－２および端末１０－３のパケットの送信周期の半分を区切りとして時刻領域をそれぞれにより分割した形式をとることで、ある時刻の端末１０－１の情報パケットの処理方法判定結果が、どの端末１０－２および端末１０－３の情報の組み合わせにより導出されるかを決定できる。導出の方法としては、例えば、端末１０－２に係る判定結果と端末１０－３に係る判定結果の組に対して予め処理方法を割り当てた対応表を用意しておき、この対応表を参照する方法が挙げられる。

　なお、処理方法一覧の各時刻領域への処理方法判定結果の記載は、一部の端末情報による処理方法判定結果が転送されてきた際に記載するとしても、全ての端末情報による処理方法判定結果が転送されてきた際に記載するとしてもよい。

　以上のように本実施の形態に係るパケット処理システムによれば、端末１０－１，１０－ｎからリアルタイムに送信される情報のパケットを、別の端末１０－２，１０－３，…，１０－ｍからリアルタイムに送信される情報と時間的な対応関係を紐付けた上で、その情報を利用してリアルタイムに処理することが可能になる。

　また、処理される側のパケットは、パケット処理装置１００における処理方法が判定済みの場合は本パケット処理装置１００での受信時にバッファリングされずに処理され、パケット処理装置１００における処理方法が未定の場合のみ、処理される側のパケットに要求されるリアルタイム性の範囲内でバッファリングされる。したがって本発明は、転送遅延を可能な限り削減することでリアルタイム性を極力損なわないために、エンドツーエンドで見たシステム全体を低遅延化し、その結果特許文献１に記載するような従来技術を用いたときの不要な遅延増大の課題を解決するとともに、時間的な対応関係で紐付けられる情報を利用したリアルタイムなパケット処理を可能にする。本発明でのパケット処理は、処理される側のパケットのペイロードを処理するのではなくパケットレベルでの処理であるため、画像情報などの処理負荷の大きい情報であっても、軽い負荷でリアルタイムに処理できる。

　以下に本発明に係るパケット処理システムの実施例について説明する。

　実施例１は、本発明のパケット処理システムを、端末から通信装置に画像情報を送信する画像情報送信システムに適用した例である。実施例に１に係るシステムについて図１６を参照して説明する。図１６は実施例１に係る画像情報送信システムの構成図である。

　本画像情報送信システムでは、カメラ端末のような画像情報送信装置１１から送信される画像情報パケットが処理対象である。すなわち画像情報送信装置１１は、前述の端末１０－１に対応し、特許請求の範囲に記載の「第１端末」に対応する。本実施例では、画像情報送信装置１１は画像情報をパケタイズして周期１／ｆｙで画像情報パケットを送信する。本実施例１に係るパケット処理装置１０１は、画像情報パケットの廃棄あるいは透過の処理を実施する。

　画像情報パケットの処理方法の判定は、カメラとは別端末であり、カメラに付属する速度センサのような状態情報送信装置１２から送信される状態情報を用いる。すなわち、状態情報送信装置１２は、前述の端末１０－２に対応し、特許請求の範囲に記載の「第２端末」に対応する。前記状態情報は、画像情報の撮像状態に影響を与える状態を示す情報である。本実施例では、状態情報送信装置１２は時刻ｔの速度Ｖｔをパケタイズして周期１／ｆｘで状態情報パケットを送信する。

　本実施例１では、あらかじめ定めた速さの閾値Ｖｓｈを基準とし、閾値を超える速さを状態に持つ画像情報送信装置１１からの画像情報は、ブレなどにより品質が低下しており、計算装置（前述の通信装置３０に対応）に転送不要であるものとして「廃棄」し、閾値以下である速さを状態に持つ画像情報送信装置１１からの画像情報は「透過」させる、すなわち計算装置にそのまま転送する。

　パケット処理装置１０１のパケット受信部１１０は、画像情報送信装置１１から画像情報パケットを受信する画像情報パケット受信部１１２と、状態情報送信装置１２から状態情報パケットを受信する状態情報パケット受信部１１３とを備える。画像情報パケット受信部１１２は、前述の端末情報パケット受信部１１１－１に対応する。状態情報パケット受信部１１３は、前述の端末情報パケット受信部１１１－２に対応する。

　パケット処理装置１０１のパケット処理部１２０は、状態情報活用前処理部１２５と、処理方法判定結果管理部１２２と、記憶部１２３と、画像情報パケット処理部１２６を備える。状態情報活用前処理部１２５は、前述の端末情報活用前処理部１２１－２に対応する。画像情報パケット処理部１２６は、端末情報パケット処理部１２４－１に対応する。

　パケット処理装置１０１のパケット送信部１３０は、画像情報パケット処理部１２６により処理された処理済みの画像情報パケットを計算装置に送信する画像情報パケット送信部１３２を備えている。画像情報パケット送信部１３２は、前述の端末情報パケット送信部１３１－１に対応する。

　本実施例に係るパケット処理装置１０１の各部は、前述したパケット処理装置１００と同様の処理を行うので、ここでは各部の処理の説明は省略し、画像情報送信システムに特有の処理や数値の例について説明する。

　図１７を参照して状態情報活用前処理部１２５の動作について説明する。状態情報活用前処理部１２５は、状態情報送信装置１２から状態情報パケットを受信する（ステップＳ４１）。ここでは、時刻３／ｆｘで速度Ｖ（３／ｆｘ）を受信したものとする。状態情報活用前処理部１２５は、前記速度Ｖ（３／ｆｘ）が所定の閾値Ｖｓｈ以下の場合、当該時刻３／ｆｘについて処理方法判定結果「透過」であるとの判定結果を作成し、当該判定結果を処理方法判定結果管理部１２２に転送する（ステップＳ４２～Ｓ４４）。一方、前記速度Ｖ（３／ｆｘ）が所定の閾値Ｖｓｈを超える場合、状態情報活用前処理部１２５は、当該時刻３／ｆｘについて処理方法判定結果「廃棄」であるとの判定結果を作成し、当該判定結果を処理方法判定結果管理部１２２に転送する（ステップＳ４２，Ｓ４５，Ｓ４４）。

　画像情報パケット処理部１３２におけるバッファリング時間Ｔ１は例えば１０ｍｓ程度、バッファリングのタイムアウト時間Ｔ２は例えば３０ｍｓ程度が好適である。

　以上のように、本実施例１では、画像情報送信装置１１が高速に移動する場合に取得された画像情報は品質が悪く、計算装置に送信しても計算装置で適切に処理できないことから、適切に処理できない画像情報パケットのみを選択的に廃棄することで、画像情報の送信にかかるＮＷ帯域の利用と画像情報の処理にかかる計算装置の負荷を不要に発生させる課題を解決することができる。

　実施例２は、実施例１と同様に、本発明のパケット処理システムを、端末から通信装置に画像情報を送信する画像情報送信システムに適用した例である。実施例に２に係るシステムについて図１８を参照して説明する。図１８は実施例２に係る画像情報送信システムの構成図である。

　本実施例２が前述の実施例１と異なる点は、画像情報パケットの処理方法の判定として用いる状態情報送信装置を２つ備えている点である。すなわち、本実施例２では、画像情報パケットの処理方法の判定として、カメラとは別端末であり、カメラに付属する速度センサのような状態情報送信装置１２－１から送信される状態情報と、輝度センサのような状態情報送信装置１２－１から送信される状態情報との組み合わせを用いる。状態情報送信装置１２－１，２２－１は、前述の端末１０－２に対応し、特許請求の範囲に記載の「第２端末」に対応する。前記状態情報は、画像情報の撮像状態に影響を与える状態を示す情報である。本実施例では、状態情報送信装置１２－１は時刻ｔの速度Ｖｔをパケタイズして周期１／ｆａで状態情報パケットを送信し、状態情報送信装置１２－２は時刻ｔの輝度Ｌｔをパケタイズして周期１／ｆｂで状態情報パケットを送信する。

　本実施例２では、あらかじめ定めた速さの閾値Ｖｓｈを基準とし、閾値を超える速さを状態に持つ画像情報送信装置１１からの画像情報は、ブレなどにより品質が低下しており、計算装置（前述の通信装置３０に対応）に転送不要であるものとして「廃棄」し、閾値以下である速さを状態に持つ画像情報送信装置１１からの画像情報は「透過」させる、すなわち計算装置にそのまま転送する。

　本実施例２では、さらに、あらかじめ定めた輝度の閾値Ｌｓｈ１とＬｓｈ２（Ｌｓｈ１＜Ｌｓｈ２）を基準とし、閾値の範囲外の輝度にさらされている画像情報送信装置１１からの画像情報は、暗さや眩しさなどにより品質が低下しており、計算装置（前述の通信装置３０に対応）に転送不要であるものとして廃棄し、閾値の範囲内の輝度にさらされている画像情報送信装置１１からの画像情報は「透過」させる、すなわち計算装置にそのまま転送する。

　パケット処理装置１０２のパケット受信部１１０は、画像情報送信装置１１から画像情報パケットを受信する画像情報パケット受信部１１２と、状態情報送信装置１２－１，２２－２から状態情報パケットを受信する状態情報パケット受信部１１３－１，１１３－２とを備える。画像情報パケット受信部１１２は、前述の端末情報パケット受信部１１１－１に対応する。状態情報パケット受信部１１３－１，１１３－２は、前述の端末情報パケット受信部１１１－２，１１１－３に対応する。

　パケット処理装置１０２のパケット処理部１２０は、２つの状態情報活用前処理部１２５－１，１２５－２と、処理方法判定結果管理部１２２と、記憶部１２３と、画像情報パケット処理部１２６を備える。状態情報活用前処理部１２５－１，１２５－２は、前述の端末情報活用前処理部１２１－２，１２１－３に対応する。画像情報パケット処理部１２６は、端末情報パケット処理部１２４－１に対応する。

　パケット処理装置１０２のパケット送信部１３０は、画像情報パケット処理部１２６により処理された処理済みの画像情報パケットを計算装置に送信する画像情報パケット送信部１３２を備えている。画像情報パケット送信部１３２は、前述の端末情報パケット送信部１３１－１に対応する。

　本実施例に係るパケット処理装置１０２の各部は、前述したパケット処理装置１００と同様の処理を行うので、ここでは各部の処理の説明は省略し、画像情報送信システムに特有の処理や数値の例について説明する。また、速度情報に係る状態情報を処理する状態情報活用前処理部１２５－１については、前述の実施例１と同様なので説明は省略する。

　図１９を参照して状態情報活用前処理部１２５－２の動作について説明する。状態情報活用前処理部１２５－２は、状態情報送信装置１２－２から状態情報パケットを受信する（ステップＳ５１）。ここでは、時刻３／ｆｘで輝度Ｌ（３／ｆｂ）を受信したものとする。状態情報活用前処理部１２５は、前記輝度Ｌ（３／ｆｂ）が所定の閾値Ｌｓｈ１とＬｓｈ２の範囲内にある場合、当該時刻３／ｆｂについて処理方法判定結果「透過」であるとの判定結果を作成し、当該判定結果を処理方法判定結果管理部１２２に転送する（ステップＳ５２～Ｓ５４）。一方、前記輝度Ｌ（３／ｆｂ）が所定の閾値Ｌｓｈ１とＬｓｈ２の範囲内にない場合、状態情報活用前処理部１２５は、当該時刻３／ｆｂについて処理方法判定結果「廃棄」であるとの判定結果を作成し、当該判定結果を処理方法判定結果管理部１２２に転送する（ステップＳ５２，Ｓ５５，Ｓ５４）。

　処理方法判定結果管理部１２２は、各状態情報活用前処理部１２５－１，１２５－２からそれぞれ判定結果を受信すると、それぞれ処理方法判定表を記憶部１２３に記憶する。そして、処理方法判定結果管理部１２２は、この２つの処理方法判定表に基づき処理方法を決定して処理方法一覧を生成・更新する。この処理方法の決定では、各状態情報活用前処理部１２５－１，１２５－２からの複数の判定結果に基づく処理方法の決定規則をあらかじめ定めておき、この決定規則に基づき処理方法を決定する。例えば、当該決定規則を図２０に示すような対応表として作成しておき、この対応表に基づき処理方法を決定して処理方法一覧を作成・更新する。図２０の例では、「パケットの透過と廃棄では廃棄を優先する」という規則を示している。

　以上のように、本実施例２では、実施例１の作用効果に加え、画像情報送信装置１１が暗い場所あるいは眩しすぎる場所にある場合に取得された画像情報は品質が悪く、計算装置に送信しても計算装置で適切に処理できないことから、適切に処理できない画像情報パケットのみを選択的に廃棄することで、画像情報の送信にかかるＮＷ帯域の利用と画像情報の処理にかかる計算装置の負荷を不要に発生させる課題を解決することができる。

　以上、本発明の実施の形態及び実施例について詳述したが、本発明はこれに限定されるものではない。例えば、上記の実施例では、画像情報送信装置から送信されるパケットを処理対象としているが、パケットをリアルタイムに周期的に送信する端末からのパケットであれば他の種類のパケットであっても本発明を適用できる。

　１０…端末
　２０…ネットワーウ
　３０…通信装置
　１００…パケット処理装置
　１１０…パケット受信部
　１２０…パケット処理部
　１２１…端末情報活用前処理部
　１２２…処理方法判定結果管理部
　１２３…記憶部
　１２４…端末情報パケット処理部
　１３０…パケット送信部

Claims

　互いに異なるデータ種類のパケットをリアルタイムに送信する第１端末及び第２端末と、前記第１端末から送信されたパケットを受信する受信装置とを備えたパケット処理システムであって、
　前記第１端末から前記受信装置へのパケットの通信経路上に配置されたパケット処理装置を備え、
　前記第１端末及び第２端末はパケット化処理を行った時刻を付加してデータをパケット化するパケット化手段を備え、
　前記パケット処理装置は、
　前記第２端末からのパケットの受信毎に当該パケットのデータ内容に基づき前記第１端末から受信するパケットに対するパケット単位の処理方法を判定して当該パケットの時刻情報と紐付けた判定結果として出力するパケット処理方法判定手段と、
　前記パケット処理方法判定手段からの判定結果の受信毎に当該判定結果をパケット処理方法判定表として記憶するとともに前記判定方法判定表に基づき所定の規則で前記第１端末から受信するパケットに対するパケット単位の処理方法と時刻情報とを紐付けた処理方法一覧を生成して記憶する処理方法判定結果管理手段と、
　前記第１端末からのパケットの受信毎に前記処理方法判定結果管理手段に対して当該パケットについての処理方法を問合せ、前記処理方法判定結果管理手段から取得した処理方法に基づいて当該パケットを処理するパケット処理手段とを備え、
　前記処理方法判定結果管理手段は、前記パケット処理手段からの前記問合せに対して当該パケットの時刻情報に基づき前記処理方法一覧を参照して前記時刻情報に紐付けられた処理方法を前記パケット処理手段に回答する
　ことを特徴とするパケット処理システム。
　前記パケット処理手段は、前記処理方法判定結果処理手段への問合せの結果、パケットの時刻情報に紐付けられた処理方法が存在しないとの回答を受信すると、当該パケットを第１所定時間バッファリングし、前記所定時間経過後、前記処理方法判定結果処理手段へ再び処理方法を問い合わせる処理を繰り返す
　ことを特徴とする請求項１記載のパケット処理システム。
　前記パケット処理手段は、バッファリング開始してから第２所定時間経過しても前記処理方法判定結果処理手段から処理方法の回答が得られない場合、予め定められた規則に基づき当該パケットを処理する
　ことを特徴とする請求項２記載のパケット処理システム。
　前記第２端末を複数備え、
　前記パケット処理方法判定手段は前記複数の第２端末に対応して複数備え、
　前記処理方法判定結果管理手段は、前記複数の第２端末に対応して複数の前記判定方法判定表を記憶するとともに、複数の判定方法判定表に基づき第１端末に対応する１つの処理方法一覧を生成する
　ことを特徴とする請求項１乃至３何れか１項記載のパケット処理システム。
　前記処理方法判定結果管理手段は、パケット処理方法判定手段による時刻の異なる複数の判定結果に基づき、各時刻間の時間領域における処理方法を決定して処理方法一覧を生成する
　ことを特徴とする請求項１乃至４何れか１項記載のパケット処理システム。
　前記第１端末は撮像した画像情報をパケット化してリアルタイムに送信する画像情報送信装置であり、
　前記第２端末は画像情報の撮像状態に影響を与える状態を示す情報である状態情報をパケット化して送信する状態情報送信装置である
　ことを特徴とする請求項１乃至５何れか１項記載のパケット処理システム。
　互いに異なるデータ種類のパケットをリアルタイムに送信する第１端末及び第２端末と、前記第１端末から送信されたパケットを受信する受信装置とを備えたパケット処理システムにおけるパケット処理方法であって、
　前記パケット処理システムは、前記第１端末から前記受信装置へのパケットの通信経路上に配置されたパケット処理装置を備え、
　前記第１端末及び第２端末のパケット化手段が、パケット化処理を行った時刻を付加してデータをパケット化するステップと、
　前記パケット処理装置のパケット処理方法判定手段が、前記第２端末からのパケットの受信毎に当該パケットのデータ内容に基づき前記第１端末から受信するパケットに対するパケット単位の処理方法を判定して当該パケットの時刻情報と紐付けた判定結果として出力するステップと、
　前記パケット処理装置の処理方法判定結果管理手段が、前記パケット処理方法判定手段からの判定結果の受信毎に当該判定結果をパケット処理方法判定表として記憶するとともに前記判定方法判定表に基づき所定の規則で前記第１端末から受信するパケットに対するパケット単位の処理方法と時刻情報とを紐付けた処理方法一覧を生成して記憶するステップと、
　前記パケット処理装置のパケット処理手段が、前記第１端末からのパケットの受信毎に前記処理方法判定結果管理手段に対して当該パケットについての処理方法を問い合わせるステップと、
　前記処理方法判定結果管理手段が、前記パケット処理手段からの前記問合せに対して当該パケットの時刻情報に基づき前記処理方法一覧を参照して前記時刻情報に紐付けられた処理方法を前記パケット処理手段に回答するステップと、
　前記パケット処理手段が、前記処理方法判定結果管理手段から取得した処理方法に基づいて当該パケットを処理する
　ことを特徴とするパケット処理方法。