JP4640652B2

JP4640652B2 - スタートコード割当装置及びスタートコード割当方法

Info

Publication number: JP4640652B2
Application number: JP2006183277A
Authority: JP
Inventors: 茂之倉橋
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2006-07-03
Filing date: 2006-07-03
Publication date: 2011-03-02
Anticipated expiration: 2026-07-03
Also published as: JP2008016922A

Description

本発明は、ＭＰＥＧ(Moving Picture Experts Group)規格などにより生成された画像などを表すビットストリームからスタートコードを検出し、それを各階層のスタートコードに割り当てるスタートコード割当装置及びスタートコード割当方法に関する。

ＭＰＥＧ１やＭＰＥＧ２においては、画像圧縮することにより得られたビットストリームは、階層構造を有する。図１に示すように最上位層はシーケンス層であり、その下の層はＧＯＰ(Group Of Pictures)層であり、その下の層はピクチャ層であり、その下の層はスライス層であり、その下の層はマクロブロック層であり、その下の層である最下位層はブロック層である。

そして、各層の先頭には、スタートコードが付けられる。スタートコードは各層毎に異なっている。つまり、シーケンス層の先頭には、シーケンス層スタートコードが存在し、ＧＯＰ層の先頭には、ＧＯＰスタートコードが存在し、ピクチャ層の先頭にはピクチャスタートコードが存在し、スライスの先頭にはスライススタートコードが存在する。

従って、デコーダは、まず、シーケンス層のスタートコードを検出し、それに続く可変長符号を復号し、シーケンス層においてＧＯＰ層のスタートコードを検出したならば、それに続く可変長符号を復号し、ＧＯＰ層においてピクチャ層のスタートコードを検出したならば、それに続く可変長符号を復号し、ピクチャ層においてスライス層のスタートコードを検出したならば、それに続く可変長符号を復号する。スライス内においては、規格に従って、各マクロブロックと各マクロブロック内のブロックの符号を復号する。このようにして、ＤＣＴ係数や動きベクトルなどの可変長符号を復号できると共に、それらがどのピクチャのどの位置にあるマクロブロックの符号であるのかを特定できると共に、マクロブロック内においては、ＤＣＴ係数がどの成分のどのブロックのものであるのかを特定することができる。
特開２００１−０５４１０９号公報特開２００４−２４２０１５号公報特開２００４−３２６５１０号公報特開平１１−２１２９７５号公報

しかし、スタートコードの値は、ＭＰＥＧの規格により定めたものであり、必然的にその値になっているわけではない。従って、スタートコードのみ独自の体系に置き換えても、その体系を知っているデコーダであれば、動画像を復号することができる。他方、スタートコードをそのような体系に置き換えた疑似ＭＰＥＧデータを通常のＭＰＥＧのデコーダはデコードすることができない。

この点を悪用し、テロリストや犯罪者は、スタートコードのみを独自の体系に置き換えた疑似ＭＰＥＧデータをインターネットに公開し、テロリスト組織や犯罪組織のみで動画像をデコードできるようにする。つまり、世界中に広まっているインターネットを利用して、一種の暗号化がなされた動画像をテロリスト組織や犯罪組織のみで送受信できるようにする。

各国の治安組織において、そのような動画像をデコードすることができれば、テロリストや犯罪組織の活動の一部を把握することが可能となる。

そこで、本発明は、スタートコードが改竄された動画像をデコードすることを可能とするスタートコード割当装置及びスタートコード割当方法を提供することを目的とする。

本発明によれば、ストリームの先頭から１ビットずつずらしながら、スタートコードのビット列とビット数が同一のビット列を抽出するビット列抽出手段と、前記ビット列抽出手段により抽出されたビット列を基に、ビット列のビットパターン毎の発生頻度を表すヒストグラムを生成するヒストグラム生成手段と、前記ヒストグラム生成手段により生成されたヒストグラムに対し、前記ストリームにおいて発生頻度が最も多いビットパターンが検出された位置の前後の範囲であって、前記発生頻度が最も多いビットパターンのうちの少なくとも１つのビットを含む範囲にあるビット列の発生頻度を減算する発生頻度補正手段と、発生頻度が最も多いビットパターンから発生頻度が減るビットパターンの順に、最下位層のスタートコードから最上位層のスタートコードに向かって、ビットパターンをスタートコードに割り当てるスタートコード割当手段と、を備えることを特徴とするスタートコード割当装置が提供される。

上記のスタートコード割当装置において、前記ヒストグラム生成手段により生成され、前記発生頻度補正手段により補正されたヒストグラムに対し、前記ストリームにおいて発生頻度が２番目に多いビットパターンが検出された位置の前後の範囲であって、前記発生頻度が２番目に多いビットパターンのうちの少なくとも１つのビットを含む範囲にあるビット列の発生頻度を減算する第２の発生頻度補正手段を更に備えるようにしてもよい。

上記のスタートコード割当装置において、前記ヒストグラム生成手段により生成され、前記発生頻度補正手段乃至第ｎ（ｎは、２以上の整数）の発生頻度補正手段により補正されたヒストグラムに対し、前記ストリームにおいて発生頻度が（ｎ＋１）番目に多いビットパターンが検出された位置の前後の範囲であって、前記発生頻度が（ｎ＋１）番目に多いビットパターンのうちの少なくとも１つのビットを含む範囲にあるビット列の発生頻度を減算する第（ｎ＋１）の発生頻度補正手段を更に備えるようにしてもよい。

上記のスタートコード割当装置において、発生頻度補正手段は、ビット列が連続するスタートコードのうちの一部のスタートコードに該当する場合には、該ビット列の発生頻度を減算しないようにしてもよい。

上記のスタートコード割当装置において、前記最下位層は、ブロック層であり、その上の層はマクロブロック層であり、その上の層はスライス層であり、その上の層はピクチャ層であり、その上の層はＧＯＰ層であり、その上の層はシーケンス層であり、発生頻度が最も多いビットパターンをスライス層のスタートコードとし、次に発生頻度が多いビットパターンをピクチャ層のスタートコードとし、次に発生頻度が多いビットパターンをＧＯＰ層のスタートコードとし、次に発生頻度が多いビットパターンをシーケンス層のスタートコードとするようにしてもよい。

上記のスタートコード割当装置において、スタートコードに割り当てられたビットパターンを規格に従ったビットパターンに置き換えるビットパターン置換手段を更に備えるようにしてもよい。

本発明によれば、スタートコードが改竄された場合であっても動画像をデコードすることが可能となる。

以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。

ストリームの先頭から、１ビットずつずらしながら一定量のデータ（Ｎビット）（０ビットの位置からＮビットのデータを読んでヒストグラムに積む、１ビットの位置からＮビットのデータを読んでヒストグラムに積む・・・をファイルの終端まで繰り返す）を読み込んで、それをファイルの終端まで繰り返し、逐次ヒストグラムとして積んでいく。

一般的に動画圧縮規格というのは、図１におけるＭＰＥＧ−２エレメンタリーストリームのフォーマットに示されるような階層構造となっており、各層の先頭にはスタートコードが存在している。このような階層構造をしているストリームに対してヒストグラムをつむと、スタートコード周辺において頻度が高くなり、それ以外の部分においては圧縮規格の性質上冗長性が低くランダム性が高くなるため、頻度は高くならない。

上記のような手段にてヒストグラムを作成すると、スタートコード周辺のデータもヒストグラムの頻度データが高くなってしまうので、再度ストリームの先頭から１ビットずつずらしながら、固定長（Ｎｂｉｔ）のデータを読み込んで、１回目に作成したヒストグラムにおいて頻度の高いデータを検出した際に、その前後Ｎｂｉｔの頻度データを削除する。このことによって、スタートコードの頻度データが明確化され、誤検出を抑制できる。

この性質を利用して、スタートコードを識別すると、これらスタートコードが規格において示される値から変更されている場合でも、この方法によれば問題なくスタートコードを識別することができる。具体的には、ヒストグラムを作成した場合、階層構造中のスタートコードを有する層のうちの最下階層のスタートコードの頻度が高くなると考えられるから、ストリーム中のいちばん頻度の高いデータを動画圧縮規格のスタートコードを有する層のうちのいちばん下の階層（スライス層）のスタートコードに置き換える。次に２番目に頻度の高いデータを動画圧縮規格のスタートコードを有する層のうちの最下層から２番目のスタートコードに置き換える。これを、いちばん上の階層まで繰り返す。こうしてできた新たなストリームを復号（動画再生）してみて実際に復号可能（動画が再生可能）ならば、ストリームの復号が可能となる。このようにして、スタートコードが変更されている場合でも、ストリームの復号が可能となる。

また、上記のようにしてスタートコードを検出することができたならば、それを規格に従ったビットパターンを有するスタートコードに置き換えれば、これにより、通常のＭＰＥＧデコーダでデコードすることができるようになる。

ＭＰＥＧ−２やＨ．２６２などのような規格に基づいた動画圧縮規格というのは、図１におけるＭＰＥＧ−２エレメンタリーストリームのフォーマット示されるような階層構造となっていて、各層の先頭にはスタートコードが存在している。テロリストや犯罪者が隠蔽目的でこれらスタートコードを変更している場合が存在する。本発明は、動画圧縮規格からスタートコードが変更されたストリームに対しても、スタートコードを識別し、復号をすることができる。

図２におけるデータ・パラメータ入力部１０１より解析対象データである動画ファイルデータ及び、頻度分析をするビット数及び解析データ長などを入力する。入力されたデータ及びパラメータは、頻度解析部１０３に渡される。

頻度解析部１０３においては、入力データの先頭からデータを解析していき、解析データ長分処理したところで終了する。これまでに積み上げた頻度解析結果を解析結果表示部１０５に出力する。

例として、頻度分析するビット数が３２ビットの場合を１例として説明する。

図３、図４のフローチャートに従って説明する。まず、データ・パラメータ入力部１０１において、入力データファイル（例としてＭＰＥＧ−２エレメンタリーストリームファイル）、頻度解析ビット数（この値に関しては、スタートコード長として最もよく使われているものを入力するとよい。ＭＰＥＧ−２エレメンタリーストリームにおいては、スタートコードはほとんどが３２ビットをなっているので、３２などを入力する）、解析データ長、類似データ削除回数（スタートコードの近傍においては、スタートコードをシフトしたパターンの頻度も上がってしまうため、それら頻度を削除するためのアルゴリズムで利用するもの。このアルゴリズムにおいては、頻度の高いものから順次検索していき頻度のＮ番目までのものの近傍の頻度データをヒストグラムから削除する）を入力する。

次にファイルポインタをファイルの先頭に設定して（ステップＳ２０３）、３２ビットデータを読み込む（ステップＳ２０５）。図５の頻度解析結果にもあるとおり、横軸には３２ビットのデータが０ｘ００００００００から０ｘＦＦＦＦＦＦＦＦまで２＾３２並んでおり、読み込んできたデータに対応するヒストグラムの頻度を１プラスする（ステップＳ２０７）。次にファイルポインタを１ビットずらして（ステップＳ２０９）、再び３２ビットデータを読み込んできて（ステップＳ２０５）、対応するヒストグラムの頻度を１プラスして（ステップＳ２０７）、この動作をファイルポインタがパラメータとして入力された解析データ長もしくは、ファイルの終端にくるまで（ステップＳ２１１でＹＥＳ）繰り返す。

ヒストグラムができあがったら、次にスタートコードの周辺においても頻度はあがってしまうため、それら頻度を削除する処理を行う。つまり、スタートコードのビット数が３２ビットであるとすると、スタートコードより１ビット前にずれた３２ビットのパターンは、最初の１ビット（１又は０の値を有する）にスタートコードの前半の３１ビットのパターンを足し合わせたものとなる。同様に、スタートコードより１ビット後ろにずれた３２ビットのパターンは、スタートコードの後半の３１ビットのパターンに最後の１ビット（１又は０の値を有する）を足し合わせたものとなる。従って、スタートコードより１ビット前にずれた２種類の３２ビットのパターンの発生頻度は、それぞれ、スタートコードの発生頻度の１／２となり、スタートコードより１ビット後ろにずれた２種類の３２ビットのパターンの発生頻度は、それぞれ、スタートコードの発生頻度の１／２となる。同様に、スタートコードより２ビット前にずれた４種類の３２ビットのパターンの発生頻度は、それぞれ、スタートコードの発生頻度の１／４となり、スタートコードより２ビット後ろにずれた４種類の３２ビットのパターンの発生頻度は、それぞれ、スタートコードの発生頻度の１／４となる。同様にこれを繰り返し、スタートコードより３１ビット前にずれた２＾３１種類の３２ビットのパターンの発生頻度は、それぞれ、スタートコードの発生頻度の１／（２＾３１）となり、スタートコードより３１ビット後ろにずれた２＾３１種類の３２ビットのパターンの発生頻度は、それぞれ、スタートコードの発生頻度の１／（２＾３１）となる。

従って、例えば、スライス層のスタートコードより１ビットずれたビットパターンの発生頻度は、ピクチャ層のスタートコードの発生頻度よりも高くなってしまい、発生頻度の順に、スタートコードを下の層から上の層に向かって割り当てていくと、スタートコードの誤検出が生じてしまう。スライス層のスタートコードより２ビットずれたビットパターンの発生頻度が、ピクチャ層のスタートコードの発生頻度よりも高くなってしまうこともありえる。

従って、ステップＳ２１３〜Ｓ２３１を行うことにより、このような誤検出を防止する。

ファイルポインタを再び０にし（ステップＳ２１５）、ヒストグラムの中で、頻度が最も高い３２ビットデータを検索対象データ（ＳＥＡＲＣＨ−ＤＡＴＡ）としておく（ステップＳ２１７）。再び３２ビットずつデータを１ビットずつずらしながら読んでいき（ステップＳ２１９、Ｓ２２１）、ＳＥＡＲＣＨ−ＤＡＴＡと一致している位置から前後１ビットずれた位置から３１ビットずれた位置までの頻度データを１だけ減少させる（ＳＥＡＲＣＨ−ＤＡＴＡ自身の頻度は削除しない）（ステップＳ２２７）。この際に、隣通しのＳＥＡＲＣＨ−ＤＡＴＡの位置が３２ビット以内にある場合（例えばＧＯＰ層のスタートコードとピクチャ層のスタートコードが連続している場合）には、同じ位置の頻度を２度削除しないようにする。これを、ステップＳ２０１で設定した類似頻度削除回数Ｎまで繰り返す（ステップＳ２２９、Ｓ２３１）。

隣通しのＳＥＡＲＣＨ−ＤＡＴＡの位置が３２ビット以内にある場合には、同じ位置の頻度を２度削除しないようにするためには、ステップＳ２０３〜Ｓ２３１と同様なことを６４（＝２×３２）ビットデータについて行っておき、前後１ビットずれた位置から３１ビットずれた位置にある３２ビットのパターンが頻度の高い６４ビットパターンの前半の３２ビット又は後半の３２ビットと一致する場合には、頻度を減らさないようにする。

更に、３つのスタートコードが連続することもあり得るならば、Ｓ２０３〜Ｓ２３１と同様なことを９６（＝３×３２）ビットデータについて行っておき、それに続いて、上記の段落のことを行う。その際、前後１ビットずれた位置から６３（＝６４−１）ビットずれた位置にある６４ビットのパターンが頻度の高い９６ビットパターンの前半の３２ビット、中央の３２ビット又は後半の３２ビットと一致する場合には、頻度を減らさないようにする。

このようにして作成されたヒストグラムに対して、下記の操作をすることによって、スタートコードが変更されたストリームを元の規格に基づいたストリームに戻す。データストリームにおいて、ヒストグラムのいちばん頻度の高いデータをＭＰＥＧ−２エレメンタリーストリームの規格におけるスタートコードを有する層のうちの最下層のスタートコード（スライス層のスタートコード）と置き換える。ストリームにおいて、ヒストグラムの２番目に頻度の高いデータをＭＰＥＧ−２エレメンタリーストリームの規格におけるスタートコードを有する層のうちの最下層から２番目のスタートコード（ピクチャ層のスタートコード）と置き換える。この操作を最上層のスタートコードまで繰り返す。

上記操作に対して作成された新たなストリームをＭＰＥＧ−２再生器にかけてみて、動画として再生できれば（復号できれば）正しくデータが規格に基づいたストリームに戻すことができたことを確認できる。

なお、図３、図４を参照して説明した方法は、図２に示すようなハードウェアによって実現することもできるが、コンピュータにこのような方法を行わせるためのプログラムをコンピュータが読み込んで実行することによっても実現することができる。

ＭＰＥＧデータの階層構造を示す図である。本発明の実施形態によるスタートコード割当装置の構成を示すブロック図である。本発明の実施形態によるスタートコード割当方法を示すフローチャート（１／２）である。本発明の実施形態によるスタートコード割当方法を示すフローチャート（２／２）である。本発明の実施形態で生成するヒストグラム等を示す図である。

符号の説明

１０１データ・パラメータ入力部
１０３頻度解析部
１０５解析結果表示部

Claims

ストリームの先頭から１ビットずつずらしながら、スタートコードのビット列とビット数が同一のビット列を抽出するビット列抽出手段と、
前記ビット列抽出手段により抽出されたビット列を基に、ビット列のビットパターン毎の発生頻度を表すヒストグラムを生成するヒストグラム生成手段と、
前記ヒストグラム生成手段により生成されたヒストグラムに対し、前記ストリームにおいて発生頻度が最も多いビットパターンが検出された位置の前後の範囲であって、前記発生頻度が最も多いビットパターンのうちの少なくとも１つのビットを含む範囲にあるビット列の発生頻度を減算する発生頻度補正手段と、
発生頻度が最も多いビットパターンから発生頻度が減るビットパターンの順に、最下位層のスタートコードから最上位層のスタートコードに向かって、ビットパターンをスタートコードに割り当てるスタートコード割当手段と、
を備えることを特徴とするスタートコード割当装置。
請求項１に記載のスタートコード割当装置において、
前記ヒストグラム生成手段により生成され、前記発生頻度補正手段により補正されたヒストグラムに対し、前記ストリームにおいて発生頻度が２番目に多いビットパターンが検出された位置の前後の範囲であって、前記発生頻度が２番目に多いビットパターンのうちの少なくとも１つのビットを含む範囲にあるビット列の発生頻度を減算する第２の発生頻度補正手段を更に備えることを特徴とするスタートコード割当装置。
請求項２に記載のスタートコード割当装置において、
前記ヒストグラム生成手段により生成され、前記発生頻度補正手段乃至第ｎ（ｎは、２以上の整数）の発生頻度補正手段により補正されたヒストグラムに対し、前記ストリームにおいて発生頻度が（ｎ＋１）番目に多いビットパターンが検出された位置の前後の範囲であって、前記発生頻度が（ｎ＋１）番目に多いビットパターンのうちの少なくとも１つのビットを含む範囲にあるビット列の発生頻度を減算する第（ｎ＋１）の発生頻度補正手段を更に備えることを特徴とするスタートコード割当装置。
請求項１乃至３の何れか１項に記載のスタートコード割当装置において、
発生頻度補正手段は、ビット列が連続するスタートコードのうちの一部のスタートコードに該当する場合には、該ビット列の発生頻度を減算しないことを特徴とするスタートコード割当装置。
請求項１乃至４のいずれか１項に記載のスタートコード割当装置において、
前記最下位層は、ブロック層であり、その上の層はマクロブロック層であり、その上の層はスライス層であり、その上の層はピクチャ層であり、その上の層はＧＯＰ層であり、その上の層はシーケンス層であり、
発生頻度が最も多いビットパターンをスライス層のスタートコードとし、次に発生頻度が多いビットパターンをピクチャ層のスタートコードとし、次に発生頻度が多いビットパターンをＧＯＰ層のスタートコードとし、次に発生頻度が多いビットパターンをシーケンス層のスタートコードとすることを特徴とするスタートコード割当装置。
請求項１乃至５の何れか１項に記載のスタートコード割当装置において、
スタートコードに割り当てられたビットパターンを規格に従ったビットパターンに置き換えるビットパターン置換手段を更に備えることを特徴とするスタートコード割当装置。
ストリームの先頭から１ビットずつずらしながら、スタートコードのビット列とビット数が同一のビット列を抽出するビット列抽出ステップと、
前記ビット列抽出ステップにより抽出されたビット列を基に、ビット列のビットパターン毎の発生頻度を表すヒストグラムを生成するヒストグラム生成ステップと、
前記ヒストグラム生成ステップにより生成されたヒストグラムに対し、前記ストリームにおいて発生頻度が最も多いビットパターンが検出された位置の前後の範囲であって、前記発生頻度が最も多いビットパターンのうちの少なくとも１つのビットを含む範囲にあるビット列の発生頻度を減算する発生頻度補正ステップと、
発生頻度が最も多いビットパターンから発生頻度が減るビットパターンの順に、最下位層のスタートコードから最上位層のスタートコードに向かって、ビットパターンをスタートコードに割り当てるスタートコード割当ステップと、
を備えることを特徴とするスタートコード割当方法。
請求項７に記載のスタートコード割当方法において、
前記ヒストグラム生成ステップにより生成され、前記発生頻度補正ステップにより補正されたヒストグラムに対し、前記ストリームにおいて発生頻度が２番目に多いビットパターンが検出された位置の前後の範囲であって、前記発生頻度が２番目に多いビットパターンのうちの少なくとも１つのビットを含む範囲にあるビット列の発生頻度を減算する第２の発生頻度補正ステップを更に備えることを特徴とするスタートコード割当方法。
請求項８に記載のスタートコード割当方法において、
前記ヒストグラム生成ステップにより生成され、前記発生頻度補正ステップ乃至第ｎ（ｎは、２以上の整数）の発生頻度補正ステップにより補正されたヒストグラムに対し、前記ストリームにおいて発生頻度が（ｎ＋１）番目に多いビットパターンが検出された位置の前後の範囲であって、前記発生頻度が（ｎ＋１）番目に多いビットパターンのうちの少なくとも１つのビットを含む範囲にあるビット列の発生頻度を減算する第（ｎ＋１）の発生頻度補正ステップを更に備えることを特徴とするスタートコード割当方法。
請求項７乃至９の何れか１項に記載のスタートコード割当方法において、
発生頻度補正ステップは、ビット列が連続するスタートコードのうちの一部のスタートコードに該当する場合には、該ビット列の発生頻度を減算しないことを特徴とするスタートコード割当方法。
請求項７乃至１０のいずれか１項に記載のスタートコード割当方法において、
前記最下位層は、ブロック層であり、その上の層はマクロブロック層であり、その上の層はスライス層であり、その上の層はピクチャ層であり、その上の層はＧＯＰ層であり、その上の層はシーケンス層であり、
発生頻度が最も多いビットパターンをスライス層のスタートコードとし、次に発生頻度が多いビットパターンをピクチャ層のスタートコードとし、次に発生頻度が多いビットパターンをＧＯＰ層のスタートコードとし、次に発生頻度が多いビットパターンをシーケンス層のスタートコードとすることを特徴とするスタートコード割当方法。
請求項７乃至１１の何れか１項に記載のスタートコード割当方法において、
スタートコードに割り当てられたビットパターンを規格に従ったビットパターンに置き換えるビットパターン置換ステップを更に備えることを特徴とするスタートコード割当方法。
コンピュータに請求項７乃至１２の何れか１項に記載の方法を行わせるためのプログラム。