JP7396881B2 - パケット生成装置及びプログラム - Google Patents

Description

本発明は、映像フレームの映像信号を圧縮し、圧縮信号をパケット化するパケット生成装置及びプログラムに関する。

従来、映像信号をＩＰパケット化して汎用のイーサネット（登録商標）ネットワーク上を伝送させるＩＰ番組制作システムの標準化が、ＳＭＰＴＥ（米国映画テレビ技術者協会）において進展している。

ＳＭＰＴＥにより標準化された映像信号のＩＰパケット化規格において、圧縮した映像信号をＩＰパケット化して伝送するための規格が知られている（例えば非特許文献１を参照）。また、ＩＰ番組制作システムに適応する映像信号の圧縮方式に関する国際規格が標準化されている（例えば非特許文献２を参照）。

図８は、非特許文献２のＪＰＥＧ－ＸＳ規格を用いたパケット化処理を説明する図である。図８に示すように、Ｎ番目の映像フレームは、ピクチャヘッダ、及び複数の映像ライン（以下、「ライン」という。）を圧縮単位とした領域（以下、「スライス」という。）に分けられ、圧縮処理が行われる。Ｎは１以上の整数である。

そして、ピクチャヘッダ及び圧縮信号がパケット化されることで、パケットと呼ばれるデータ系列に変換される。その際に、ピクチャヘッダ及び圧縮信号は、ＲＴＰパケットのペイロードにマッピングされる。

前述の非特許文献１のＳＭＰＴＥ ＳＴ２１１０－２２規格では、１つの映像フレームから生成される圧縮信号及びパケットのデータ量、並びにパケット数（ＲＴＰパケット数）が一定となるように、圧縮化及びパケット化の制約を設けている。この制約を満たすために、パケット化処理においてはパディングを付加することでデータ量（及びパケット数）を調整することを許容している。

ＳＭＰＴＥ ＳＴ２１１０－２２ ＪＰＥＧ－ＸＳ

前述の非特許文献１のＳＭＰＴＥ ＳＴ２１１０－２２規格では、Ｎ番目の映像フレームから生成されたパケットの数と、Ｎ＋１番目の映像フレームから生成されたパケットの数とは、同一でなければならない。

しかしながら、ＳＭＰＴＥ ＳＴ２１１０－２２規格には、異なる映像フレームから生成されたそれぞれのパケットの数を同一にするための具体的な手法が何ら規定されていない。このため、映像フレーム毎に生成されるパケットの数を一定にするための手法が所望されていた。

ところで、本件特許出願の同一の出願人によりなされた、本件特許出願時に未公開の特願２０１８－１４５０６５号公報には、映像フレームのスライスを単位としてマッピングを行う手法（以下、「スライスマッピング法」という。）が記載されている。

このスライスマッピング法は、映像フレームのスライス毎に映像信号を圧縮し、圧縮信号をＲＴＰパケットのペイロード部分にマッピングするものである。しかし、圧縮信号は、スライス毎に同一のデータ量にならない場合があり、スライス毎にデータ量が変わってしまうことがあり得る。そこで、スライスマッピング法では、スライス毎にパケット化を行う際に、パディングを付加することでデータ量を適切に調整している。

スライスマッピング法によれば、複数のスライスのデータが同一のパケットにマッピングされることがないから、パケットが消失した場合には、１つのスライスのみが影響を受けることとなり、複数のスライスが影響を受けることはない。これにより、パケットの消失による映像劣化を低減することができる。

このようなスライスマッピング法による効果を享受すると共に、前述の非特許文献１のＳＭＰＴＥ ＳＴ２１１０－２２規格の制約を満たすことが所望されていた。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、映像フレームをスライス毎に圧縮してパケットを生成する際に、映像フレーム毎に生成されるパケットの数を一定にするパケット生成装置及びプログラムを提供することにある。

前記課題を解決するために、請求項１のパケット生成装置は、映像フレームを圧縮した圧縮信号をパケット化するパケット生成装置において、前記映像フレームをスライス毎に圧縮し、前記スライス毎の前記圧縮信号を生成する圧縮信号生成部と、前記映像フレーム毎に、前記圧縮信号生成部により生成された前記スライス毎の前記圧縮信号をパケット化して第１パケットを生成し、所定の調整用パケットを生成するパケット生成部と、を備え、前記パケット生成部が、前記映像フレーム毎に、当該映像フレームについての前記第１パケット及び前記調整用パケットの総数が他の映像フレームについての前記総数と同一になるように、前記調整用パケットの数を増減させる、ことを特徴とする。

また、請求項２のパケット生成装置は、請求項１に記載のパケット生成装置において、前記パケット生成部が、１番目の前記映像フレームについて、前記第１パケットを生成すると共に、所定数の前記調整用パケットを生成する第１フレーム処理部と、２番目以降の前記映像フレームのそれぞれについて、前記第１パケットを生成すると共に、当該映像フレームについての前記総数が前記１番目の前記映像フレームについての前記総数と同一になるように、前記所定数を増減した数の前記調整用パケットを生成する第２フレーム処理部と、を備えたことを特徴とする。

また、請求項３のパケット生成装置は、請求項２に記載のパケット生成装置において、前記圧縮信号生成部が、前記映像フレームからピクチャヘッダを生成し、前記映像フレームの前記スライス毎に、スライスヘッダを生成すると共に前記圧縮信号を生成し、前記パケット生成部の前記第１フレーム処理部が、前記１番目の前記映像フレームについて、前記圧縮信号生成部により生成された前記ピクチャヘッダをパケット化する第１ピクチャヘッダ処理部と、前記１番目の前記映像フレームについて、前記圧縮信号生成部により生成された前記スライスヘッダ及び前記圧縮信号をパケット化して第１－１パケットを生成する第１スライスヘッダ及びデータ処理部と、前記１番目の前記映像フレームについて、前記所定数を決定し、当該所定数の前記調整用パケットを生成する第１調整部と、を備え、前記パケット生成部の前記第２フレーム処理部が、前記２番目以降の前記映像フレームのそれぞれについて、前記圧縮信号生成部により生成された前記ピクチャヘッダをパケット化する第２ピクチャヘッダ処理部と、前記２番目以降の前記映像フレームのそれぞれについて、前記圧縮信号生成部により生成された前記スライスヘッダ及び前記圧縮信号をパケット化して第１－２パケットを生成する第２スライスヘッダ及びデータ処理部と、前記２番目以降の前記映像フレームのそれぞれについて、前記調整用パケットを生成する第２調整部と、を備え、前記第２調整部が、前記第１スライスヘッダ及びデータ処理部により生成された前記第１－１パケット及び前記第１調整部により生成された前記調整用パケットの前記総数が、前記第２スライスヘッダ及びデータ処理部により生成された前記第１－２パケット及び当該第２調整部により生成される前記調整用パケットの前記総数と同一になるように、前記所定数を増減し、増減後の数の前記調整用パケットを生成する、ことを特徴とする。

また、請求項４のパケット生成装置は、請求項３に記載のパケット生成装置において、前記第１調整部により決定される前記所定数を、予め設定された値とするか、または前記１番目の前記映像フレームの前記ピクチャヘッダに含まれる垂直方向のライン数（Ｈｆ）及びスライスのプレシンクト数（Ｈｓｌ）に基づいて算出された値とする、ことを特徴とする。

さらに、請求項５のプログラムは、コンピュータを、請求項１から４までのいずれか一項に記載のパケット生成装置として機能させることを特徴とする。

以上のように、本発明によれば、映像フレームをスライス毎に圧縮してパケットを生成する際に、映像フレーム毎に生成されるパケットの数を一定にすることができる。

本発明の実施形態によるパケット生成装置の構成を示すブロック図である。 圧縮信号生成部の処理を説明するフローチャートである。 パケット生成部の構成を示すブロック図である。 パケット生成部の処理を示すフローチャートである。 １番目の映像フレームの処理（ステップＳ４０３）を示すフローチャートである。 ２番目以降の映像フレームの処理（ステップＳ４０４）を示すフローチャートである。 調整用パケット増減処理（ステップＳ６１８）を示すフローチャートである。 従来のＪＰＥＧ－ＸＳ規格を用いたパケット化処理を説明する図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、圧縮した映像信号をパケット化するスライスマッピング法において、所定の映像フレームについて、所定数の調整用パケットを生成し、他の映像フレームについて、所定数の調整用パケットを増減することを特徴とする。

これにより、映像フレームをスライス毎に圧縮してパケットを生成する際に、映像フレーム毎のパケットの数を一定にすることができる。

〔パケット生成装置〕
図１は、本発明の実施形態によるパケット生成装置の構成を示すブロック図である。このパケット生成装置１は、圧縮信号生成部１０及びパケット生成部１１を備えている。

圧縮信号生成部１０は、例えばカメラから、映像フレームを単位として映像データを入力する。そして、圧縮信号生成部１０は、映像フレーム毎に、当該映像フレームに基づいてピクチャヘッダを生成すると共に、映像フレームをスライス毎の映像データ（以下、「スライスデータ」という。）に分ける。

圧縮信号生成部１０は、スライス毎に、当該スライスのスライスデータに基づいてスライスヘッダを生成すると共に、ＪＰＥＧ－ＸＳ規格に従い、スライスデータを圧縮して圧縮信号を生成する。

圧縮信号生成部１０は、映像フレーム毎に、ピクチャヘッダ並びにスライス毎のスライスヘッダ及び圧縮信号をパケット生成部１１に出力する。

パケット生成部１１は、圧縮信号生成部１０から映像フレーム毎に、ピクチャヘッダ並びにスライス毎のスライスヘッダ及び圧縮信号を入力する。そして、パケット生成部１１は、映像フレーム毎に、ピクチャヘッダをパケット化すると共に、当該映像フレームにおけるスライス毎に、スライスヘッダ及び圧縮信号をパケット化し、パケット（生成パケット）を生成する。また、パケット生成部１１は、所定の調整データをパケット化し、調整用パケットを生成する。

ここで、パケット生成部１１は、ＳＭＰＴＥ ＳＴ２１１０－２２規格の制約に従うように、当該パケット生成部１１の処理を監視する。すなわち、パケット生成部１１は、当該映像フレームにおけるスライスヘッダ及び圧縮信号を含む全てのパケットの数と、１番目の映像フレームにおけるスライスヘッダ及び圧縮信号を含む全てのパケットの数とを比較し、両パケット数が同一であるか否かを監視する。パケット生成部１１は、パケット数が同一でないと判定した場合、パケット数が同一になるように、当該映像フレームについて、その差分に相当する調整用パケットの数を調整する。

具体的には、パケット生成部１１は、当該映像フレームについてのスライスヘッダ等から生成された生成パケット及び調整用パケットの総数（合計数）が、１番目の映像フレームについてのスライスヘッダ等から生成された生成パケット及び調整用パケットの総数と同一になるように、調整用パケット数を決定する。そして、パケット生成部１１は、当該調整用パケット数の調整用パケットを生成する。

当該映像フレームについての前記総数を、１番目の映像フレームについての前記総数と同一にすることで、ＳＭＰＴＥ ＳＴ２１１０－２２規格の制約に従うことができる。

尚、ピクチャヘッダを含む生成パケットの数は、当該映像フレームと１番目の映像フレームとの間で同一であるため、ここでは総数から除外してある。パケット生成部１１は、当該映像フレームと１番目の映像フレームとの間で、ピクチャヘッダを含む生成パケット、スライスヘッダ等を含む生成パケット及び調整用パケットの総数が同一になるように、調整用パケット数を決定するようにしてもよい。

パケット生成部１１は、映像フレーム毎に、生成パケット及び調整用パケットを送信する。生成パケットには、ピクチャヘッダを含むパケット、スライスヘッダ及び圧縮信号を含むパケット、並びに圧縮信号を含むパケットの３種類がある。

（圧縮信号生成部１０）
次に、図１に示した圧縮信号生成部１０の詳細について説明する。図２は、圧縮信号生成部１０の処理を説明するフローチャートである。

圧縮信号生成部１０は、映像フレームを構成する映像データを順次入力し（ステップＳ２０１）、映像フレームを単位として、以下のステップＳ２０２～Ｓ２０８の処理を行う。

圧縮信号生成部１０は、順次入力した映像フレームの映像データが、映像フレームの先頭であるか否かを判定する（ステップＳ２０２）。

圧縮信号生成部１０は、ステップＳ２０２において、映像データが映像フレームの先頭でないと判定した場合（ステップＳ２０２：Ｎ）、当該処理を終了し、次の映像フレームの先頭となるまで待つ。

圧縮信号生成部１０は、ステップＳ２０２において、映像データが映像フレームの先頭であると判定した場合（ステップＳ２０２：Ｙ）、映像フレームの先頭を検出したとして、当該映像フレームに基づいて、ピクチャヘッダを生成する。そして、圧縮信号生成部１０は、ピクチャヘッダをパケット生成部１１に出力する（ステップＳ２０３）。

ピクチャヘッダは、サンプルグリッド位置における画像の幅（映像フレームの水平方向のサンプル数）（Ｗｆ）、サンプルグリッド位置における画像の高さ（映像フレームの垂直方向のライン数）（Ｈｆ）、最後のスライス以外のプレシンクトにおけるスライスの高さ（スライスのプレシンクト数）（Ｈｓｌ）等により構成される。尚、映像フレームのピクチャヘッダの詳細については、以下の文献の第１８頁に記載されたテーブルＡ．６を参照されたい。
［非特許文献］ INTERNATIONAL STANDARD ISO/IEC21122-1, Information technology－JPEG XS low-latency lightweight image coding system－Part1:Core coding system, Reference number ISO/IEC21122-1:2019(E)

パケット生成装置１から送信されたパケットを受信する受信装置は、このピクチャヘッダの情報に基づいて、映像フレームを復元する。

圧縮信号生成部１０は、ステップＳ２０３から移行して、映像フレーム内の所定数のライン毎に、映像データをスライス化する（ステップＳ２０４）。つまり、圧縮信号生成部１０は、所定数のラインを１スライスとして、スライス毎に、ステップＳ２０４～Ｓ２０８の処理を行う。スライス化した所定数のラインの映像データをスライスデータとする。

圧縮信号生成部１０は、スライスデータに基づいてスライスヘッダを生成し、スライスヘッダをパケット生成部１１に出力する（ステップＳ２０５）。

圧縮信号生成部１０は、スライス毎のスライスデータを圧縮して圧縮信号を生成し（ステップＳ２０６）、圧縮信号をパケット生成部１１に出力する（ステップＳ２０７）。

圧縮信号生成部１０は、入力した映像フレームについて、全スライスの処理が完了したか否かを判定する（ステップＳ２０８）。圧縮信号生成部１０は、ステップＳ２０８において、全スライスの処理が完了していないと判定した場合（ステップＳ２０８：Ｎ）、ステップＳ２０４へ移行し、次のスライスについてステップＳ２０４～Ｓ２０８の処理を行う。

一方、圧縮信号生成部１０は、ステップＳ２０８において、全スライスの処理が完了したと判定した場合（ステップＳ２０８：Ｙ）、当該映像フレームの処理を終了する。そして、圧縮信号生成部１０は、次の映像フレームの処理を行う。

このように、映像フレームを単位としてステップＳ２０１～Ｓ２０８の処理が行われ、スライスを単位としてステップＳ２０４～Ｓ２０８の処理が行われる。また、圧縮処理はスライスを単位として行われ、圧縮信号が生成される。そして、１映像フレーム内において、そのピクチャヘッダ並びにスライス毎の（全てのスライスの）スライスヘッダ及び圧縮信号がパケット生成部１１に出力される。

（パケット生成部１１）
次に、図１に示したパケット生成部１１の詳細について説明する。図３は、パケット生成部１１の構成を示すブロック図であり、図４は、パケット生成部１１の処理を示すフローチャートである。

このパケット生成部１１は、第１フレーム処理部２０及び第２フレーム処理部２１を備えている。第１フレーム処理部２０は、ピクチャヘッダ処理部３０－１、スライスヘッダ及びデータ処理部３１－１、及び調整部３２－１を備えている。調整部３２－１は、調整用パケット数決定部３３及び調整用パケット生成部３４を備えている。

第２フレーム処理部２１は、ピクチャヘッダ処理部３０－２、スライスヘッダ及びデータ処理部３１－２、及び調整部３２－２を備えている。調整部３２－２は、調整用パケット数確認部３５及び調整用パケット増減部３６を備えている。

パケット生成部１１は、映像フレーム毎に、以下のステップＳ４０１～Ｓ４０４の処理を行う。具体的には、パケット生成部１１は、圧縮信号生成部１０から映像フレーム毎に、ピクチャヘッダ並びにスライス毎のスライスヘッダ及び圧縮信号を入力する（ステップＳ４０１）。パケット生成部１１は、入力したピクチャヘッダ等の映像フレームが、パケット送信が開始される１番目の映像フレームであるか否かを判定する（ステップＳ４０２）。

パケット生成部１１は、ステップＳ４０２において、入力した映像フレームが１番目の映像フレームであると判定した場合（ステップＳ４０２：Ｙ）、１番目の映像フレームの処理を行う（ステップＳ４０３）。１番目の映像フレームの処理は、第１フレーム処理部２０により行われる。１番目の映像フレームの処理（ステップＳ４０３）の詳細については後述する。

パケット生成部１１は、ステップＳ４０２において、入力した映像フレームが１番目の映像フレームでないと判定した場合（ステップＳ４０２：Ｎ）、２番目以降の映像フレームの処理を行う（ステップＳ４０４）。２番目以降の映像フレームの処理は、第２フレーム処理部２１により行われる。２番目以降の映像フレームの処理（ステップＳ４０４）の詳細については後述する。

前述のとおり、パケット生成部１１は、ＳＭＰＴＥ ＳＴ２１１０－２２規格の制約に従うように、当該パケット生成部１１の処理を監視する。前述のとおり、圧縮信号生成部１０により、映像フレームのスライス毎にスライスデータが圧縮され圧縮信号が生成される。この場合、圧縮信号のデータ量は、スライス毎に異なることがあり得る。そうすると、パケット数が映像フレーム毎に変化することとなり、ＳＭＰＴＥ ＳＴ２１１０－２２規格の制約に従うためには、映像フレーム間でパケット数の調整が必要となる。

そこで、パケット生成部１１は、前述のとおり、スライスマッピング法にて生成するパケット数を映像フレーム間で一定にすべく、調整用パケットの数を調整する。具体的には、ステップＳ４０３による１番目の映像フレームの処理と、ステップＳ４０４による２番目以降の映像フレームの処理とを異なるようにし、１番目の映像フレームの処理にて決定した調整用パケットの数を基準にして、２番目以降の映像フレームの処理にて調整用パケットの数を増減する。

（第１フレーム処理部２０）
次に、第１フレーム処理部２０による１番目の映像フレームの処理（ステップＳ４０３）について説明する。図５は、１番目の映像フレームの処理（ステップＳ４０３）を示すフローチャートである。

図４のステップＳ４０２において１番目の映像フレームであると判定された場合、第１フレーム処理部２０は、圧縮信号生成部１０から入力されたデータがピクチャヘッダであるか否かを判定する（ステップＳ５０１）。

第１フレーム処理部２０は、ステップＳ５０１において、圧縮信号生成部１０から入力されたデータがピクチャヘッダであると判定した場合（ステップＳ５０１：Ｙ）、ステップＳ５０２へ移行する。一方、第１フレーム処理部２０は、ステップＳ５０１において、圧縮信号生成部１０から入力されたデータがピクチャヘッダでないと判定した場合（ステップＳ５０１：Ｎ）、すなわち当該データがスライスヘッダまたは圧縮信号であると判定した場合、ステップＳ５０７へ移行する。

第１フレーム処理部２０の調整部３２－１に備えた調整用パケット数決定部３３は、ステップＳ５０１（Ｙ）から移行して、ピクチャヘッダから映像フレームの垂直方向のライン数（Ｈｆ）及びスライスのプレシンクト数（Ｈｓｌ）を取得する（ステップＳ５０２）。

ここで、プレシンクトは、圧縮処理における最小単位であり、１プレシンクトあたりのライン数が予め設定されているものとする。例えば、１スライスがライン数３２からなり、１プレシンクトがライン数２からなる場合、スライスのプレシンクト数（Ｈｓｌ）は１６である。

調整用パケット数決定部３３は、映像フレームの垂直方向のライン数（Ｈｆ）及びスライスのプレシンクト数（Ｈｓｌ）を用いて、以下の式にて演算を行い、映像フレーム内のスライス数またはプレシンクト数に対応する値を示す調整用パケット数Ａｄｊを求める。そして、調整用パケット数決定部３３は、調整用パケット数Ａｄｊを第２フレーム処理部２１の調整部３２－２に備えた調整用パケット数確認部３５に出力する（ステップＳ５０３）。
［数１］
Ａｄｊ＝ｆｌｏｏｒ（Ｈｆ／Ｈｓｌ） ・・・（１）

尚、調整用パケット数決定部３３は、スライスのプレシンクト数（Ｈｓｌ）をライン数に換算し、映像フレーム内のスライス数を示す調整用パケット数Ａｄｊを求めるようにしてもよい。具体的には、調整用パケット数決定部３３は、スライスのプレシンクト数（Ｈｓｌ）に、予め設定された１プレシンクトあたりのライン数を乗算することで、スライスのライン数（Ｈｓｌ’）を求める。そして、調整用パケット数決定部３３は、Ｈｓｌの代わりにＨｓｌ’を用いた前記式（１）にて、映像フレーム内のスライス数を示す調整用パケット数Ａｄｊを求める。

これにより、後述する調整用パケット生成部３４により、映像フレーム内のスライス数に相当する調整用パケットが生成され、後述する第２フレーム処理部２１により、映像フレーム内のスライス数を基準に調整用パケットが増減することとなる。

ここで、圧縮信号生成部１０によるＪＰＥＧ－ＸＳ規格を用いた圧縮処理では、スライス毎に圧縮処理が行われるため、圧縮信号の長さはスライス毎に異なることとなり得るが、その差は１パケット分となる。つまり、第１フレーム処理部２０により１番目の映像フレームについて生成されるパケットの数と、後述する第２フレーム処理部２１により２番目以降の映像フレームについて生成されるパケットの数との間の差は、最大で映像フレーム内のスライス数となる。

したがって、後述する第２フレーム処理部２１は、映像フレーム内のスライス数を示す調整用パケット数Ａｄｊを用いることで、最大で、映像フレーム内のスライス数の調整用パケットを増減することができる。すなわち、後述する第２フレーム処理部２１は、ＳＴ２１１０－２２規格の制約を満たすために、１番目の映像フレームについて生成されるパケットの数と、２番目以降の映像フレームについて生成されるパケットの数とが同一になるように、調整用パケットを増減することができる。

このように、調整用パケット数決定部３３が映像フレーム内のスライス数を示す調整用パケット数Ａｄｊを求めることで、ＳＴ２１１０－２２規格の制約を満たすための最小数の調整用パケットの生成処理、調整処理及び送信処理が行われることとなる。つまり、パケット生成装置１による処理及び伝送の効率化を図ることができる。

また、前記式（１）はｆｌｏｏｒ関数を用いた式であるが、ｃｅｉｌｉｎｇ関数を用いるようにしてもよいし、他の関数を用いるようにしてもよい。

ピクチャヘッダ処理部３０－１は、ステップＳ５０３から移行して、ピクチャヘッダをＲＴＰペイロードにマッピングし（ステップＳ５０４）、ＵＤＰ、ＩＰ及びＭＡＣ処理によるパケット化処理を行うことで、パケットを生成する（ステップＳ５０５）。ピクチャヘッダ処理部３０－１は、生成したパケットを生成パケットとして送信し（ステップＳ５０６）、ステップＳ５０７へ移行する。

スライスヘッダ及びデータ処理部３１－１は、ステップＳ５０１（Ｎ），Ｓ５０６または後述するステップＳ５１１から移行して、圧縮信号生成部１０から入力したスライス毎のスライスヘッダ及び圧縮信号について、スライス毎にステップＳ５０７～Ｓ５１１の処理を行う。

具体的には、スライスヘッダ及びデータ処理部３１－１は、当該スライスにおけるスライスヘッダ及び圧縮信号をＲＴＰペイロードにマッピングする（ステップＳ５０７）。そして、スライスヘッダ及びデータ処理部３１－１は、ＵＤＰ、ＩＰ及びＭＡＣ処理によるパケット化処理を行うことで、パケットを生成する（ステップＳ５０８）。スライスヘッダ及びデータ処理部３１－１は、生成したパケットを生成パケットとして送信する（ステップＳ５０９）。

スライスヘッダ及びデータ処理部３１－１は、当該映像フレームについて、全スライスの処理が完了したか否かを判定する（ステップＳ５１０）。スライスヘッダ及びデータ処理部３１－１は、ステップＳ５１０において、全スライスの処理が完了していないと判定した場合（ステップＳ５１０：Ｎ）、次のスライスについて（ステップＳ５１１）、ステップＳ５０７～Ｓ５１０の処理を行う。

一方、スライスヘッダ及びデータ処理部３１－１は、当該映像フレームについて、全スライスの処理が完了したと判定した場合（ステップＳ５１０：Ｙ）、ステップＳ５１２へ移行する。

第１フレーム処理部２０の調整部３２－１に備えた調整用パケット生成部３４は、スライスヘッダ及びデータ処理部３１－１によりステップＳ５０７～Ｓ５１１にて映像フレームの全スライスのパケット化処理が完了した後、当該映像フレームについて生成されたスライスヘッダ及び圧縮信号のパケットの総数を取得する（ステップＳ５１２）。当該映像フレームについて取得したスライスヘッダ等のパケットの総数をNpacket_first_tmpとする。

調整用パケット生成部３４は、以下の式にて、スライスヘッダ等のパケットの総数Npacket_first_tmpに調整用パケット数Ａｄｊを加算することで、スライスヘッダ等のパケット及び調整用パケットの総数Npacket_firstを求める。
［数２］
Npacket_first＝Npacket_first_tmp＋Ａｄｊ ・・・（２）

調整用パケット生成部３４は、スライスヘッダ等のパケット及び調整用パケットの総数Npacket_firstを第２フレーム処理部２１の調整部３２－２に備えた調整用パケット増減部３６に出力する（ステップＳ５１３）。

調整用パケット生成部３４は、予め設定された調整データをＲＴＰペイロードにマッピングする（ステップＳ５１４）。そして、調整用パケット生成部３４は、ＵＤＰ、ＩＰ及びＭＡＣ処理により、調整用パケット数Ａｄｊ個分のパケット化処理を行い、調整用パケット数Ａｄｊ個分のパケットを生成する（ステップＳ５１５）。調整用パケット生成部３４は、生成したパケットを調整用パケットとして送信する（ステップＳ５１６）。

予め設定された調整データは、ＲＦＣ３５５０規格に示される０の値のパディングデータの集合（パディングデータ群）とする。調整用パケット生成部３４は、調整用パケットを生成する際に、当該調整用パケットであるＲＴＰパケットにパディングデータが含まれることを示すために、ＲＴＰヘッダのパディングフラグＰを１に設定する。

尚、本発明の実施形態を、前述の本件特許出願時に未公開の特願２０１８－１４５０６５号公報の技術に適用した場合、パディングフラグＰが１に設定されるパケットには、同一パケットに圧縮信号及びパディングデータを含むパケットと、パディングデータのみを含む調整用パケットの２種類が存在することになる。

この場合、受信装置がこれらの２種類のパケットを識別できるようにするため、調整用パケット生成部３４及び後述する調整用パケット増減部３６は、パディングデータ群の末尾に当該パディングデータの数を設定する。

受信装置は、パディングデータの末尾に設定された数が、ＲＴＰペイロードにマッピングされた全パディングデータの数（予め設定された数）に一致する場合、受信したパケットが調整用パケットであると識別する。一方、受信装置は、前記数が一致しない場合、圧縮信号及びパディングデータを含むパケットであると識別する。

このように、第１フレーム処理部２０は、１番目の映像フレームについて、ピクチャヘッダを含むパケットを生成して送信すると共に、ピクチャヘッダに含まれる情報に基づいて調整用パケット数Ａｄｊを決定する。そして、第１フレーム処理部２０は、スライスヘッダ及び圧縮信号を含むパケット、並びに圧縮信号を含むパケットを生成して送信する。

第１フレーム処理部２０は、スライスヘッダ等のパケットの総数Npacket_first_tmpを取得し、これに調整用パケット数Ａｄｊを加算することで、スライスヘッダ等のパケット及び調整用パケットの総数Npacket_firstを求める。また、第１フレーム処理部２０は、調整用パケット数Ａｄｊ分の調整用パケットを生成して送信する。

これにより、１番目の映像フレームに基づいて、調整用パケット数Ａｄｊ、並びにスライスヘッダ等のパケット及び調整用パケットの総数Npacket_firstが得られる。また、第１フレーム処理部２０から、１番目の映像フレームについて、ピクチャヘッダを含む生成パケット、スライスヘッダ及び圧縮信号を含む生成パケット、圧縮信号を含む生成パケット、並びに調整用パケット数Ａｄｊ個分の調整用パケットが送信される。

（第２フレーム処理部２１）
次に、第２フレーム処理部２１による２番目以降の映像フレームの処理（ステップＳ４０４）について説明する。図６は、２番目以降の映像フレームの処理（ステップＳ４０４）を示すフローチャートである。

図４のステップＳ４０２において１番目の映像フレームでない（２番目以降の映像フレームである）と判定された場合、第２フレーム処理部２１は、第１フレーム処理部２０から調整用パケット数Ａｄｊ、並びにスライスヘッダ等のパケット及び調整用パケットの総数Npacket_firstを入力する（ステップＳ６０１）。

第２フレーム処理部２１は、図５のステップＳ５０１の処理と同様に、圧縮信号生成部１０から入力されたデータがピクチャヘッダであるか否かを判定する（ステップＳ６０２）。

第２フレーム処理部２１の調整部３２－２に備えた調整用パケット数確認部３５は、図５のステップＳ５０２，Ｓ５０３と同様の処理を行う（ステップＳ６０３，Ｓ６０４）。この場合、調整用パケット数確認部３５は、以下の式にて、映像フレーム内のスライス数を示す調整用パケット数Ａｄｊ_ｃｈｋを算出する。
［数３］
Ａｄｊ_ｃｈｋ＝ｆｌｏｏｒ（Ｈｆ／Ｈｓｌ） ・・・（３）

調整用パケット数確認部３５は、第１フレーム処理部２０の調整部３２－１に備えた調整用パケット数決定部３３から入力した調整用パケット数Ａｄｊを用いて、Ａｄｊ＝Ａｄｊ_ｃｈｋであることを確認する（ステップＳ６０５）。

ここで、調整用パケット数確認部３５は、Ａｄｊ≠Ａｄｊ_ｃｈｋである場合、映像フレームの信号形式（例えばピクチャヘッダに含まれる垂直方向のライン数（Ｈｆ）、スライスのプレシンクト数（Ｈｓｌ）等）が変更されたものと判断する。そして、調整用パケット数確認部３５は、処理をリセットして所定の異常処理を行う。

例えば、調整用パケット数確認部３５により処理がリセットされると、第１フレーム処理部２０は、調整用パケット数確認部３５により算出された調整用パケット数Ａｄｊ_ｃｈｋを、調整用パケット数決定部３３が決定する調整用パケット数Ａｄｊとして、当該映像フレーム（第２フレーム処理部２１により処理していた２番目以降の映像フレーム）を１番目の映像フレームとして、前述の処理を行う。

これにより、映像フレームの信号形式が変更された場合であっても、パケット生成装置１によるパケット生成処理を中断することなく、継続することができる。

ピクチャヘッダ処理部３０－２は、ステップＳ６０５から移行して、図５のステップＳ５０４～Ｓ５０６と同様の処理を行い、ピクチャヘッダを含む生成パケットを送信し（ステップＳ６０６～Ｓ６０８）、ステップＳ６０９へ移行する。

スライスヘッダ及びデータ処理部３１－２は、ステップＳ６０２（Ｎ），Ｓ６０８または後述するステップＳ６１３から移行して、圧縮信号生成部１０から入力したスライス毎のスライスヘッダ及び圧縮信号について、スライス毎にステップＳ６０９～Ｓ６１３の処理を行う。

具体的には、スライスヘッダ及びデータ処理部３１－２は、図５のステップＳ５０７～Ｓ５１１と同様の処理を行い、スライス毎に、スライスヘッダ及び圧縮信号を含む生成パケットを送信する（ステップＳ６０９～Ｓ６１３）。

第２フレーム処理部２１の調整部３２－２に備えた調整用パケット増減部３６は、図５のステップＳ５１２の処理と同様に、スライスヘッダ等のパケットの総数Npacket_tmpを取得する（ステップＳ６１４）。

調整用パケット増減部３６は、図５のステップＳ５１３の処理と同様に、以下の式にて、スライスヘッダ等のパケットの総数Npacket_tmpに調整用パケット数Ａｄｊを加算することで、スライスヘッダ等のパケット及び調整用パケットの総数Npacketを求める（ステップＳ６１５）。
［数４］
Npacket＝Npacket_tmp＋Ａｄｊ ・・・（４）

調整用パケット増減部３６は、図５のステップＳ５１４，Ｓ５１５と同様の処理を行い、調整用パケット数Ａｄｊ個分の調整用パケットを生成する（ステップＳ６１６，Ｓ６１７）。そして、調整用パケット増減部３６は、調整用パケット増減処理を行う（ステップＳ６１８）。

図７は、調整用パケット増減処理（ステップＳ６１８）を示すフローチャートである。調整用パケット増減部３６は、第１フレーム処理部２０の調整部３２－１に備えた調整用パケット生成部３４から入力したスライスヘッダ等のパケット及び調整用パケットの総数Npacket_firstを用いて、１番目の映像フレームについてのスライスヘッダ等のパケット及び調整用パケットの総数Npacket_firstと２番目以降の当該映像フレームについてのスライスヘッダ等のパケット及び調整用パケットの総数Npacketとを比較する（ステップＳ７０１）。

調整用パケット増減部３６は、ステップＳ７０１において、Npacket_firstがNpacketよりも大きいと判定した場合（ステップＳ７０１：Npacket_first＞Npacket）、ステップＳ７０２～Ｓ７０４にて、調整用パケットを増加させる処理を行う。

具体的には、調整用パケット増減部３６は、予め設定された調整データをＲＴＰペイロードにマッピングする（ステップＳ７０２）。そして、調整用パケット増減部３６は、ＵＤＰ、ＩＰ及びＭＡＣ処理により、１個分のパケット化処理を行い、生成済みの調整用パケットに対して１個分の調整用パケットを追加する（ステップＳ７０３）。調整用パケット増減部３６は、Npacketを１つだけインクリメントし（ステップＳ７０４）、ステップＳ７０１へ移行する。これにより、後述するステップＳ６１９にて送信される調整用パケットの数が増加する。

一方、調整用パケット増減部３６は、ステップＳ７０１において、Npacket_firstがNpacketよりも小さいと判定した場合（ステップＳ７０１：Npacket_first＜Npacket）、ステップＳ７０５，Ｓ７０６にて、調整用パケットを減少させる処理を行う。

具体的には、調整用パケット増減部３６は、生成済みの調整用パケットから１個分の調整用パケットを削減し（ステップＳ７０５）、Npacketを１つだけデクリメントし（ステップＳ７０６）、ステップＳ７０１へ移行する。これにより、後述するステップＳ６１９にて送信される調整用パケットの数が減少する。

一方、調整用パケット増減部３６は、ステップＳ７０１において、Npacket_first及びNpacketが等しいと判定した場合（ステップＳ７０１：Npacket_first＝Npacket）、当該処理を終了する。

このように、生成済みの調整用パケット数Ａｄｊ個分の調整用パケットを基準にして、Npacket_first＝Npacketが判定されるまで、調整用パケットの増減処理が行われる。

図６に戻って、調整用パケット増減部３６は、ステップＳ６１８から移行して、調整用パケット増減処理後の調整用パケットを送信する（ステップＳ６１９）。

このように、第２フレーム処理部２１は、２番目以降の映像フレームのそれぞれについて、ピクチャヘッダを含むパケットを生成して送信すると共に、ピクチャヘッダに含まれる情報に基づいて調整用パケット数Ａｄｊ_ｃｈｋを決定する。そして、第２フレーム処理部２１は、１番目の映像フレームの調整用パケット数Ａｄｊと２番目以降の調整用パケット数Ａｄｊ_ｃｈｋとが同じであることを確認する。

第２フレーム処理部２１は、スライスヘッダ及び圧縮信号を含むパケット並びに圧縮信号を含むパケットを生成して送信する。そして、第２フレーム処理部２１は、スライスヘッダ等のパケットの総数Npacket_tmpを取得し、これに調整用パケット数Ａｄｊを加算することで、スライスヘッダ等のパケット及び調整用パケットの総数Npacketを求める。また、第２フレーム処理部２１は、調整用パケット数Ａｄｊ分の調整用パケットを生成する。

第２フレーム処理部２１は、Npacket_first＞Npacketの場合、調整用パケット数Ａｄｊの調整用パケットにこの差分の調整用パケットを追加し、調整用パケット数Ａｄｊに差分を加えた数（Ａｄｊ＋Npacket_first－Npacket）の調整用パケットを送信する。

一方、第２フレーム処理部２１は、Npacket_first＜Npacketの場合、調整用パケット数Ａｄｊの調整用パケットからこの差分の調整用パケットを減少し、調整用パケット数Ａｄｊから差分を減算した数（Ａｄｊ－（Npacket－Npacket_first））の調整用パケットを送信する。

これにより、２番目以降の映像フレームに基づいて、調整用パケット数Ａｄｊ_ｃｈｋ、並びにスライスヘッダ等のパケット及び調整用パケットの総数Npacketが得られる。また、第２フレーム処理部２１から、２番目以降の映像フレームについて、ピクチャヘッダを含む生成パケット、スライスヘッダ及び圧縮信号を含む生成パケット、圧縮信号を含む生成パケット、並びに（Ａｄｊ＋Npacket_first－Npacket）個または（Ａｄｊ－（Npacket－Npacket_first））個分の調整用パケットが送信される。

つまり、１番目の映像フレームについて送信されるパケットの数と、２番目以降の映像フレームについて送信されるパケットの数とが同一になり、ＳＴ２１１０－２２規格の制約を満たすパケット送信が可能となる。

以上のように、本発明の実施形態のパケット生成装置１によれば、第１フレーム処理部２０は、１番目の映像フレームについて、ピクチャヘッダを含むパケットを生成して送信すると共に、スライスヘッダ及び圧縮信号を含むパケット並びに圧縮信号を含むパケットを生成して送信する。また、第１フレーム処理部２０は、ピクチャヘッダに含まれる情報に基づいて調整用パケット数Ａｄｊを決定し、調整用パケット数Ａｄｊ分の調整用パケットを生成して送信する。

第１フレーム処理部２０は、スライスヘッダ等のパケットの総数Npacket_first_tmpを取得し、これに調整用パケット数Ａｄｊを加算することで、スライスヘッダ等のパケット及び調整用パケットの総数Npacket_firstを求める。

これにより、第１フレーム処理部２０により求めたスライスヘッダ等のパケット及び調整用パケットの総数Npacket_firstを基準にして、第２フレーム処理部２１により２番目以降の映像フレームについて生成され送信される調整用パケットの数が調整される。

第２フレーム処理部２１は、２番目以降の映像フレームについて、ピクチャヘッダを含むパケットを生成して送信すると共に、スライスヘッダ及び圧縮信号を含むパケット並びに圧縮信号を含むパケットを生成して送信する。

第２フレーム処理部２１は、スライスヘッダ等のパケットの総数Npacket_tmpを取得し、これに調整用パケット数Ａｄｊを加算することで、スライスヘッダ等のパケット及び調整用パケットの総数Npacketを求める。

第２フレーム処理部２１は、調整用パケット数Ａｄｊ個分の調整用パケットに対して、Npacket_firstとNpacketとの間の差分の調整用パケットを増減させ、増減後の調整用パケットを送信する。

これにより、１番目の映像フレームについて送信されるパケットの数と、２番目以降の映像フレームについて送信されるパケットの数とが同一になり、ＳＴ２１１０－２２規格の制約を満たすパケット送信が可能となる。したがって、映像フレームをスライス毎に圧縮してパケットを生成する際に、映像フレーム毎に生成されるパケットの数を一定にすることができる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。

前記実施形態では、パケット生成装置１のパケット生成部１１は、１番目の映像フレームについて生成したパケットの数と、２番目以降の映像フレームについて生成したパケットの数とが同一になるように、２番目以降の映像フレームの調整用パケットの数を調整するようにした。

これに対し、パケット生成部１１は、当該映像フレームよりも前の映像フレームについて生成したパケットの数と、当該映像フレームについて生成したパケットの数とが同一になるように、当該映像フレームの調整用パケットの数を調整するようにしてもよい。

例えばパケット生成部１１は、ｎ番目の映像フレームについて生成したパケットの数と、ｎ＋１番目の映像フレームについて生成したパケットの数とが同一になるように、ｎ＋１番目の映像フレームの調整用パケットの数を調整する。ｎは１以上の整数である。また、例えばパケット生成部１１は、当該映像フレームよりも前の予め設定された所定番目の映像フレームについて生成したパケットの数と、当該映像フレームについて生成したパケットの数とが同一になるように、当該映像フレームの調整用パケットの数を調整する。

尚、本発明の実施形態によるパケット生成装置１のハードウェア構成としては、通常のコンピュータを使用することができる。パケット生成装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

パケット生成装置１に備えた第１フレーム処理部２０（ピクチャヘッダ処理部３０－１、スライスヘッダ及びデータ処理部３１－１並びに調整部３２－１（調整用パケット数決定部３３及び調整用パケット生成部３４））、及び、第２フレーム処理部２１（ピクチャヘッダ処理部３０－２、スライスヘッダ及びデータ処理部３１－２並びに調整部３２－２（調整用パケット数確認部３５及び調整用パケット増減部３６））の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

１ パケット生成装置
１０ 圧縮信号生成部
１１ パケット生成部
２０ 第１フレーム処理部
２１ 第２フレーム処理部
３０ ピクチャヘッダ処理部
３１ スライスヘッダ及びデータ処理部
３２ 調整部
３３ 調整用パケット数決定部
３４ 調整用パケット生成部
３５ 調整用パケット数確認部
３６ 調整用パケット増減部
Ａｄｊ，Ａｄｊ_ｃｈｋ 調整用パケット数
Ｗｆ 映像フレームの水平方向のサンプル数
Ｈｆ 映像フレームの垂直方向のライン数
Ｈｓｌ スライスのプレシンクト数
Ｈｓｌ’ スライスのライン数
Npacket_first_tmp，Npacket_tmp スライスヘッダ等のパケットの総数
Npacket_first，Npacket スライスヘッダ等のパケット及び調整用パケットの総数

Claims (5)

1. 映像フレームを圧縮した圧縮信号をパケット化するパケット生成装置において、
   前記映像フレームをスライス毎に圧縮し、前記スライス毎の前記圧縮信号を生成する圧縮信号生成部と、
   前記映像フレーム毎に、前記圧縮信号生成部により生成された前記スライス毎の前記圧縮信号をパケット化して第１パケットを生成し、所定の調整用パケットを生成するパケット生成部と、を備え、
   前記パケット生成部は、
   前記映像フレーム毎に、当該映像フレームについての前記第１パケット及び前記調整用パケットの総数が他の映像フレームについての前記総数と同一になるように、前記調整用パケットの数を増減させる、ことを特徴とするパケット生成装置。
2. 請求項１に記載のパケット生成装置において、
   前記パケット生成部は、
   １番目の前記映像フレームについて、前記第１パケットを生成すると共に、所定数の前記調整用パケットを生成する第１フレーム処理部と、
   ２番目以降の前記映像フレームのそれぞれについて、前記第１パケットを生成すると共に、当該映像フレームについての前記総数が前記１番目の前記映像フレームについての前記総数と同一になるように、前記所定数を増減した数の前記調整用パケットを生成する第２フレーム処理部と、
   を備えたことを特徴とするパケット生成装置。
3. 請求項２に記載のパケット生成装置において、
   前記圧縮信号生成部は、
   前記映像フレームからピクチャヘッダを生成し、前記映像フレームの前記スライス毎に、スライスヘッダを生成すると共に前記圧縮信号を生成し、
   前記パケット生成部の前記第１フレーム処理部は、
   前記１番目の前記映像フレームについて、前記圧縮信号生成部により生成された前記ピクチャヘッダをパケット化する第１ピクチャヘッダ処理部と、
   前記１番目の前記映像フレームについて、前記圧縮信号生成部により生成された前記スライスヘッダ及び前記圧縮信号をパケット化して第１－１パケットを生成する第１スライスヘッダ及びデータ処理部と、
   前記１番目の前記映像フレームについて、前記所定数を決定し、当該所定数の前記調整用パケットを生成する第１調整部と、を備え、
   前記パケット生成部の前記第２フレーム処理部は、
   前記２番目以降の前記映像フレームのそれぞれについて、前記圧縮信号生成部により生成された前記ピクチャヘッダをパケット化する第２ピクチャヘッダ処理部と、
   前記２番目以降の前記映像フレームのそれぞれについて、前記圧縮信号生成部により生成された前記スライスヘッダ及び前記圧縮信号をパケット化して第１－２パケットを生成する第２スライスヘッダ及びデータ処理部と、
   前記２番目以降の前記映像フレームのそれぞれについて、前記調整用パケットを生成する第２調整部と、を備え、
   前記第２調整部は、
   前記第１スライスヘッダ及びデータ処理部により生成された前記第１－１パケット及び前記第１調整部により生成された前記調整用パケットの前記総数が、前記第２スライスヘッダ及びデータ処理部により生成された前記第１－２パケット及び当該第２調整部により生成される前記調整用パケットの前記総数と同一になるように、前記所定数を増減し、増減後の数の前記調整用パケットを生成する、ことを特徴とするパケット生成装置。
4. 請求項３に記載のパケット生成装置において、
   前記第１調整部により決定される前記所定数を、予め設定された値とするか、または前記１番目の前記映像フレームの前記ピクチャヘッダに含まれる垂直方向のライン数（Ｈｆ）及びスライスのプレシンクト数（Ｈｓｌ）に基づいて算出された値とする、ことを特徴とするパケット生成装置。
5. コンピュータを、請求項１から４までのいずれか一項に記載のパケット生成装置として機能させるためのプログラム。

Images