JP4766888B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関する。本発明は特に、階層構造を持つ画像ストリームを処理する画像処理装置に関する。

近年、ＤＶＤメディア、デジタル放送、およびネットワークを介したオンデマンド通信といったようなインフラの普及に伴い、デジタルコンテンツの利用が拡大している。デジタルコンテンツはコピーにより品質劣化が起こらないため、その著作権管理が重要になる。デジタルコンテンツ等の著作物の著作権を正当に保護することへの要求は、今後もさらに高まっていくと思われる。特許文献１は、ストリームの持つコピー制限情報によって複製を禁止する手法を開示する。
特開２００１−８６４４４号公報

しかしながら、このような手法は、許可するか禁止するかのみの画一的処理であり、コンテンツ提供側およびユーザ側双方にある様々なレベルの要求を満足させることができない。例えば、コンテンツ提供側は、単純に複製を禁止するだけではビジネスチャンスを逸してしまう場合もある。ユーザ側も、本格志向から低価格志向まで種々の志向がある。

本発明はこうした状況に鑑みなされたものであり、その目的は、コンテンツ提供側が柔軟に著作権管理を行うことができる画像処理装置を提供することにある。

本発明のある態様は、画像処理装置である。この装置は、複数の画質の画像が復号可能な状態で多重化された符号化画像データを生成する装置であって、符号化画像データの複数の用途ごとに、利用の許諾と禁止が定められた著作権レベル情報に応じて、画質を調整して符号化画像データが読出可能になるよう、著作権レベル情報を予め前記符号化画像データに付加する著作権レベル記録部を備える。これによれば、画質のレベルに応じた著作権管理が可能になる。なお、「画質」には解像度を含んでもよい。「著作権レベル記録部」は、符号化画像データのストリーム生成の際に記録する符号化部でもよいし、符号化の後の後処理部でもよい。

本発明の別の態様は、画像処理装置である。この装置は、複数の画質の画像が復号可能な状態で多重化された符号化画像データを生成する装置であって、複数の画質の画像のうち、少なくともひとつについて、当該画像の複数の用途ごとに、利用の許諾と禁止が定められた著作権レベル情報を予め符号化画像データに付加する著作権レベル記録部を備える。これによれば、画質単位の著作権管理が可能になる。例えば、著作権管理を行う画質と、行わない画質を設けることもできる。

本発明の別の態様は、画像処理装置である。この装置は、複数の画質の画像が復号可能な状態で多重化された符号化画像データを用途に応じて処理する装置であって、ユーザからの指示を伝える操作部と、操作部から入力された符号化画像データの利用要求と、符号化画像データの複数の用途ごとに、利用の許諾と禁止が定められた著作権レベル情報とを照合して、符号化画像データの利用を許諾するか禁止するか管理する著作権管理部と、著作権管理部で符号化画像データの利用が許諾されると、画質を調整して符号化画像データの利用の用途に応じた処理を実行する処理部と、を備える。これによれば、画質のレベルに応じた著作権管理が可能になる。「著作権管理部」は、符号化画像データのヘッダから著作権レベル情報を取得してもよいし、通信で取得してもよいし、著作権を管理するカード等が挿入された際に、そこから取得してもよい。

本発明のさらに別の態様は、画像処理装置である。複数の画質の画像が復号可能な状態で多重化された符号化画像データを用途に応じて処理する装置であって、ユーザからの指示を伝える操作部と、操作部から入力された符号化画像データの利用要求と、複数の画質の画像のうち、少なくともひとつについて、当該画像の複数の用途ごとに、利用の許諾と禁止が定められた著作権レベル情報とを照合して、符号化画像データの利用を許諾するか禁止するか管理する著作権管理部と、著作権管理部で符号化画像データの利用が許諾されると、符号化画像データの利用の用途に応じた処理を実行する処理部と、を備える。これによれば、画質単位の著作権管理が可能になる。「著作権管理部」は、符号化画像データのヘッダから著作権レベル情報を取得してもよいし、通信で取得してもよいし、著作権を管理するカード等が挿入された際に、そこから取得してもよい。

著作権レベル情報は、符号化画像データを利用する際の許諾画質レベルを定めたものであってもよく、符号化画像データを利用する用途と許諾画質レベルとの組み合わせを定めたものであってもよい。このように、柔軟な著作権レベル設定を行うことができる。

なお、以上の構成要素の任意の組合せや、本発明の構成要素や表現を方法、装置、システム、記録媒体、プログラムなどの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、コンテンツ提供側が柔軟に著作権管理を行うことができる。

本発明は、画質の異なる静止画像、動画像を単一の符号化画像データストリームから生成する技術を前提にする。この一例として、図１を参照して、動画像をＭｏｔｉｏｎ−ＪＰＥＧ２０００方式により符号化する方法について簡単に説明する。図示しない画像符号化装置は、動画像の各フレームをフレーム単位で連続的に符号化して、動画像の符号化データストリームを生成する。符号化処理の開始に当たり、動画像の１フレームに相当する原画像ＯＩ（Original Image）１０２がフレームバッファに読み込まれる。フレームバッファに読み込まれた原画像ＯＩは、ウェーブレット変換器により階層化される。

ＪＰＥＧ２０００におけるウェーブレット変換器は、Daubechiesフィルタを利用する。このフィルタは、画像のｘ、ｙそれぞれの方向において同時にハイパスフィルタおよびローパスフィルタとして作用し、ひとつの画像を４つの周波数サブバンドへ分割する。これらのサブバンドは、ｘ、ｙの両方向において低周波成分を有するＬＬサブバンドと、ｘ、ｙのいずれか一方向において低周波成分を有し、かつ他方向において高周波成分を有するＨＬサブバンドおよびＬＨサブバンドと、ｘ、ｙの両方向において高周波成分を有するＨＨサブバンドである。また、このフィルタは、ｘ、ｙの両方向について画素数を１／２に軽減する作用も併せ持つ。つまり、各サブバンドの縦横の画素数は処理前の画像のそれぞれ１／２であり、一回のフィルタリングで解像度すなわち画像サイズが１／４のサブバンド画像が得られる。本明細書においては、原画像ＯＩに対して１回ウェーブレット変換を受けた画像を第１階層の画像ＷＩ_１と呼び、以下、ウェーブレット変換を受けた回数に応じて第ｎ階層の画像ＷＩ_ｎと呼ぶことにする。

図１に模式的に示すように、第１階層の画像ＷＩ_１ １０４には、４つのサブバンドＬＬ_１、ＨＬ_１、ＬＨ_１、ＨＨ_１が生成される。第１階層の画像ＷＩ_１ １０４にウェーブレット変換が施されて、第２階層の画像ＷＩ_２ １０６が生成される。ここで、２回目以降のウェーブレット変換は、直前の階層の画像のうちＬＬサブバンド成分に対してのみ施される。したがって、第２階層の画像ＷＩ_２ １０６においては、第１階層の画像ＷＩ_１のＬＬ_１サブバンドが、４つのサブバンドであるＬＬ_２、ＨＬ_２、ＬＨ_２、ＨＨ_２に分解される。ウェーブレット変換器は、このフィルタリングを所定の回数実行し、各サブバンドのウェーブレット変換係数を出力する。画像符号化装置は、この後量子化その他の処理を施して、最終的に符号化画像データＣＩ（Coded Image）を出力する。

説明の簡単のために、この例では、画像符号化装置は、原画像ＯＩに対してウェーブレット変換を３回施すものとする。したがって、例えば、原画像ＯＩ １０２が１４４０×９６０ピクセルであったとすると、第１階層の画像ＷＩ_１ １０４のＬＬ_１サブバンドのサイズは７２０×４８０、第２階層の画像ＷＩ_２ １０６のＬＬ_２サブバンドは３６０×２４０、第３階層の画像ＷＩ_３ １０８のＬＬ_３サブバンドのサイズは１８０×１２０である。

階層化された画像について注意すべきは、原画像ＯＩにおける低周波成分が、図１において、より左上に現れることである。図１の場合、第３階層の画像ＷＩ_３の左上隅にあるＬＬ_３サブバンドがもっとも低周波であり、逆に言えば、このＬＬ_３サブバンドさえ得ることができれば、原画像ＯＩのもっとも基本的な性質を再現することができる。この知見が、以下の実施形態で利用される。

符号化データストリームは、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００以外にも、例えば、１つのストリームにおいて高画質のＨＤストリームと低画質のＳＤストリームを併せ持ったような、ＳＶＣ（Scalable Video Codec）でもよいし、Ｍｏｔｉｏｎ−ＪＰＥＧでもよい。ＪＰＥＧでは、各フレームが離散コサイン変換によって得られた係数のうち、低次項の係数から送信されてくる方式があり、どの次数の項の係数まで使用して復号するかによって画質を選択することができる。これらの規格によれば、空間解像度を階層的に符号化することができる。

上記の例は、周波数分割型の符号化により階層化した例である。この点、近似精度向上型の符号化により階層化してもよい。即ち、ＤＣＴ（Discrete Cosine Transform）係数やウェーブレット係数の上位ビットからの復号ビット数を調整することによっても、異なる画質の復号が可能になる。また、ＭＰＥＧ２では、上記空間解像度に加えて、フレーム数の調整による時間解像度を階層的に符号化することができる。

（第１実施形態）
第１の実施形態は、階層化された符号化画像データストリームと、階層化レベルの画像に応じた著作権レベルを付加した符号化ストリームを生成する画像処理装置である。

図２は、第１実施形態における画像処理装置１００の構成を示す。この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリのロードされた復号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

画像処理装置１００は、ウェーブレット変換部１０、フレームバッファ１２、量子化部１４、ビットプレーン符号化部１６、算術符号化部１８、ストリーム生成部２０、著作権レベル管理テーブル２２および著作権レベル記録部２４を含む。

まず原画像ＯＩがフレームバッファ１２に読み込まれる。ウェーブレット変換部１０はフレームバッファ１２から原画像ＯＩを読み出し、ウェーブレット変換により画像を再帰的に変換する。上述したように、ＪＰＥＧ２０００におけるウェーブレット変換は、Daubechiesフィルタを利用する。このフィルタは、画像の縦横の各方向においてローパスフィルタおよびハイパスフィルタとして作用し、ひとつの画像を４つの周波数サブバンドへ分割する。各サブバンドの縦横の画素数は処理前の画像のそれぞれ１／２であり、一回のフィルタリングで解像度、すなわち画像サイズが１／４のサブバンド画像が得られる。こうして得られたサブバンド画像はいったんフレームバッファ１２に記憶される。

ウェーブレット変換部１０は、こうして得られたサブバンドのうち、最低周波数成分であるＬＬサブバンドの画像をフレームバッファ１２から読み出して、再度フィルタリング処理を行い、これをさらにＬＬ、ＨＬ、ＬＨ、ＨＨの４つのサブバンドに分割し、フレームバッファ１２に書き込む。フィルタリングは所定の回数行われ、最後のフィルタリングで生じたＬＬサブバンドが原画像ＯＩにおいて最もＤＣ成分に近い画像として取得される。以下、同一階層の各サブバンド、すなわち同じ回数フィルタリングを施して得られた４つのサブバンドはＬＬ、ＨＬおよびＬＨ、ＨＨの順に次第に高周波成分を含み、これらのサブバンドよりもさらに高周波成分を含む画像が、ひとつ前のフィルタリング処理で得られた４つのサブバンドとして続く。このように縦横４分割のフィルタリングを最低周波数成分に対して繰り返し適用することで、縦横４分割の再帰的な構造の中に低周波成分から高周波成分が階層的に形成された画像がフレームバッファ１２に得られる。

量子化部１４は、フレームバッファ１２に記憶されている階層化された画像を、低周波成分から順に、必要に応じて量子化する。ビットプレーン符号化部１６は、量子化され、算術符号化のためにコードブロックと呼ばれる単位に分解されたウェーブレット係数を、ビットプレーンとして表現する。算術符号化部１８は、このビットプレーンを算術符号化する。ストリーム生成部２０は、算術符号化がなされたビット列によりビットストリームを生成する。このような過程を経て、上記原画像ＯＩが符号化画像データＣＩ（Coded Image）となる。

著作権レベル管理テーブル２２は、当該符号化画像データＣＩを使用するユーザに許諾する著作権レベルを管理する。図３は、著作権レベル管理テーブル２２の一例を示す。横軸は当該符号化画像データＣＩの用途を、縦軸はそれぞれの用途に応じた許諾画質レベルを示す。図３において、再生は、低画質、中画質、高画質のいずれのレベルでも許可される。複製は、高画質のレベルでは禁止され、低画質、中画質のレベルでは許諾される。編集は、中画質、高画質のレベルでは禁止され、低画質のレベルでは許諾される。ここで、編集とは、例えばデジタルテレビジョン放送により受信した符号化画像データからＣＭ部分をカットするような編集を含む。したがって、中画質でそのデータを複製することはできるが、その際、ＣＭ部分をカットして複製することはできない。再配信は禁止されている。いずれの画質レベルでも再配信することができない。

複製世代は、複製が可能な世代と、その世代の許諾画質レベルを表す。１世代目は、中画質の複製が可能であるが、１世代目の複製データを複製する２世代目は、低画質でのみ複製が可能である。４世代目からは複製することができない。著作権レベル管理テーブル２２は、以上のようなプロファイルをユーザごとに管理している。また、プロファイルの各項目は、管理者のキー入力等により適宜更新可能である。

上記符号化画像データＣＩを有料でユーザ側に提供している場合、ユーザ側の支払う料金やコース設定により、利用できる用途や、その用途に応じた許諾画質レベルが異なる。また、プロファイルは、ユーザごとではなく、地域ごとや時間ごとに生成してもよい。例えば、時間ごとのプロファイルを生成すると、ユーザのコンテンツ利用に制限時間を設けることもできる。ユーザ側の装置で、ある期間を過ぎるとプロファイルが切り替わる構成をとれば、その期間後にすべてのコンテンツ利用ができなくなる処理ではなく、許諾画質レベルを落としたり、用途を制限する形の時間制限も設定することができる。

著作権レベル記録部２４は、提供するユーザや地域等を考慮して、対応するプロファイルの著作権レベル情報を当該符号化画像データＣＩのヘッダ等に記録する。ヘッダや、その他の自由に管理者が設定できる領域に著作権レベル情報を書き込めばよい。時間制限を設ける場合等、複数のプロファイルの著作権レベル情報を付加してもよい。なお、著作権レベル管理テーブル２２および著作権レベル記録部２４は、外付けの独立した装置でもよい。この装置は、ネットワークに接続することにより、このネットワークを通信途中の上記符号化画像データＣＩに著作権レベル情報を付加することができる。

図４は、符号化画像データＣＩのデータ構造を示す。図４中のヘッダは、イメージヘッダを示す。このヘッダ領域の自由な領域に上記著作権レベル情報を付加することができる。各フレームにも、図示しないがフレームヘッダが付されており、復号に必要な情報等が記述される。上述したように、周波数分割をして階層的な符号化画像データＣＩを生成した場合、各フレームのデータ領域の先頭から、直流成分、低周波数成分、中周波数成分、高周波成分の順番でデータが記述される。したがって、各フレームの前半部分だけでも画像を再生することはできるが、低画質の画像となる。後半部分まで含めて再生するにしたがって、しだいに高画質の画像となっていく。

このように、本実施形態によれば、コンテンツ利用の用途やその用途に応じた許諾画質レベルをコンテンツ提供側が柔軟に設定できることから、著作権の柔軟な管理が可能となる。例えば、あるレベルの画質までの利用を解放することにより、逆に不正利用を減らす効果も期待できる。

（第２実施形態）
第２の実施形態は、階層化された符号化画像データストリームを受け取り、著作権レベルに応じた処理を行う画像処理装置である。

図５は、第２実施形態における画像処理装置２００の構成を示す。画像処理装置２００は、復号ユニット２５０を備える。復号ユニット２５０は、ストリーム解析部２５２、算術復号部２５４、ビットプレーン復号部２５６、逆量子化部２５８、ウェーブレット逆変換部２６０、およびフレームバッファ２６２を備える。

ストリーム解析部２５２は、本装置の記録部４２または通信部４４から符号化画像データＣＩを受け取り、そのデータストリームを解析する。また、当該符号化画像データＣＩのヘッダ等に含まれる著作権レベル情報を検出して、著作権管理部３０に渡す。算術復号部２５４は、当該解析の結果、判明した復号すべきデータ列に対して算術復号を施す。ビットプレーン復号部２５６は、算術復号の結果、得られたデータを色コンポーネント毎にビットプレーンの形で復号する。逆量子化部２５８は、復号された量子化データを逆量子化する。ウェーブレット逆変換部２６０は、フレームバッファ２６２を利用して、逆量子化の結果得られた第ｎ階層の画像ＷＩ_ｎにウェーブレット逆変換を施す。符号化画像データＣＩに対して、ウェーブレット逆変換を施す毎に、より上位階層の画像が得られ、最上位階層まで復号すると、復号画像データＤＩ（Decoded Image）を得ることができる。

著作権管理部３０は、本装置で利用する符号化画像データＣＩの著作権を管理する。ストリーム解析部２５２が検出した著作権レベル情報、または通信部４４を介してコンテンツ提供側のサーバ等とのセッションにより取得した著作権レベル情報を管理する。著作権管理部３０は、ユーザが当該符号化画像データＣＩを利用する際に、その用途に応じた許諾画質レベルを特定し、その画質レベルに応じたウェーブレット逆変換を施す回数をウェーブレット逆変換部２６０に指定する。

表示部３２は、復号ユニット２５０が復号した画質レベルの復号画像データＤＩを表示する。この画質レベルは、上記著作権レベル情報に従う。著作権レベル変更部３４は、著作権管理部３０の指示にしたがい、上記符号化画像データＣＩのヘッダ等に付加されている著作権レベル情報を変更する。例えば、再配信する場合、記録部４２に上記符号化画像データＣＩを複製する場合、時間制限により上記著作権レベルを変更しなければならない場合等に行う。

操作部３６は、ユーザインタフェースであり、ユーザからの各種指令を本装置に伝える。画像編集部３８は、上記符号化画像データＣＩのある部分をカットしたり、上記符号化画像データＣＩ自体に各種のエフェクト処理を施したりする。これらの編集も上記著作権レベル情報に従い、編集可能な許諾画質レベルが著作権管理部３０から指定される。

認証部４０は、著作権管理部３０に管理されている上記著作権レベル情報を変更するための認証カードの挿入やユーザの身体的特徴を利用したバイオメトリクス認証等を行う。その認証カードは、コンテンツ提供側とユーザ側とが予め契約等をすることにより、コンテンツ提供側からユーザ側に渡される。例えば、上記ヘッダ等に付された上記著作権レベル情報には、コンテンツの利用を禁止しておき、上記認証等により、指定の用途のある画質レベルまでの利用を許諾するといったような処理が可能である。

記録部４２は、ハードディスクドライブやＤＶＤドライブ等の大容量の記録部である。ＤＶＤメディア等により上記符号化画像データＣＩが入力されてもよい。また、ＤＶＤメディア等に複製することもできる。その場合も、上述したように上記著作権レベルに従う。通信部４４は、無線または有線のネットワークの通信インタフェース、放送電波を受信する受信部等である。これらを使用して、上記符号化画像データＣＩを外部とやりとりすることができる。上記再配信も通信部４４を介して行う。

図６は、第２実施形態における画像処理装置の動作を示すフローチャートである。まず、操作部３６から符号化画像データＣＩの利用要求が著作権管理部３０に入力される（Ｓ１０）。その際、当該符号化画像データＣＩを利用する用途、希望する画質レベルがユーザにより指定される。著作権管理部３０は、その用途と、そのユーザに対応する著作権レベル情報に含まれる用途情報を特定し（Ｓ１２）、それらを照合する（Ｓ１４）。その用途が禁止されている場合（Ｓ１４のＮ）、その画像データの利用を禁止する（Ｓ２２）。

その用途が禁止されていない場合（Ｓ１４のＹ）、ユーザの希望する画質レベルと、上記著作権レベル情報に含まれる上記用途に対応する許諾画質レベルを特定し（Ｓ１６）、それらを照合する（Ｓ１８）。希望画質レベルでの利用が禁止されている場合（Ｓ１８のＮ）、その画像データの利用を禁止する（Ｓ２２）。希望画質レベルでの利用が許諾されている場合（Ｓ１８のＹ）、その画像データの希望画質レベルでの利用を許可する（Ｓ２０）。

なお、本実施形態の画像処理装置２００は、復号ユニット２５０と、少なくとも記録部４２および通信部４４の一方を備えていれば、その他の部材の組み合わせは、任意である。例えば、その他に表示部３２だけを備えた構成も可能である。また、表示部３２を備えないで、複製や画像編集を行うための装置でもよい。

このように、本実施形態によれば、符号化画像データを受け取ったユーザは、その利用を許可されるか禁止されるかという二者択一的な選択ではなく、用途や画質レベルを制限されながらも、その利用をすることができる。したがって、コンテンツ提供側の著作権保護の要求と、ユーザ側のコンテンツ利用要求とのバランスを柔軟にとることができる。

以上、本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

第２実施形態において、周波数分割型の階層化を説明した。この点、近似精度向上型の階層化を用いてもよい。その場合、ウェーブレット変換係数のビット列のうち、所定数の下位ビットを破棄することにより、種々の画質レベルの画像を復号することができる。即ち、著作権管理部３０がビットプレーン復号部２５６に変換するビット数を指定することにより、画質レベルを調整することができる。

この階層化方式を用いると、画像の部分単位で画質レベルに差を設けることができる。その場合、図３に示した著作権レベル情報を管理しているテーブルの個々のプロファイルを、用途、画質レベルの２つのパラメータで記述するだけでなく、用途、画質レベル、画像部分の３つのパラメータで記述することができる。また、画質レベル、画像部分の２つのパラメータで記述することもできる。この場合、コンテンツ提供側は、上述した実施形態より、さらに柔軟に著作権を管理することができる。

また、異なる画質レベルは、解像度だけではなく、圧縮率や色数を階層化しても実現することができる。圧縮率は、ＪＰＥＧ２０００のレイヤー機能を使用すれば階層化することができる。カラー画像は輝度成分と色差成分とで表されるが、色差成分に対して、上述したような階層化手法を用いることもできる。

上記実施形態において、画像の符号化のための空間フィルタリングとしてウェーブレット変換を説明したが、他の空間周波数変換を用いてもよい。たとえば、ＪＰＥＧ標準で用いられる離散コサイン変換を用いてもよい。

画像符号化処理の手順を示す図である。 第１実施形態における画像処理装置の構成を示す図である。 著作権レベル管理テーブルの一例を示す図である。 符号化画像データのデータ構造を示す図である。 第２実施形態における画像処理装置の構成を示す図である。 第２実施形態における画像処理装置の動作を示すフローチャートである。

符号の説明

１０ ウェーブレット変換部、 １２ フレームバッファ、 １４ 量子化部、 １６ ビットプレーン符号化部、 １８ 算術符号化部、 ２０ ストリーム生成部、 ２２ 著作権レベル管理テーブル、 ２４ 著作権レベル記録部、 ３０ 著作権管理部、 ３２ 表示部、 ３４ 著作権レベル変更部、 ３６ 操作部、 ３８ 画像編集部、 ４０ 認証部、 ４２ 記録部、 ４４ 通信部、 ２５０ 復号ユニット。

Claims (1)

1. 複数の画質の画像が復号可能な状態で多重化された符号化画像データを生成する装置であって、
   前記複数の画質の画像のうち、少なくともひとつについて、当該画像の複数の用途ごとに、利用の許諾と禁止が定められた著作権レベル情報を予め前記符号化画像データに付加する著作権レベル記録部を備えることを特徴とする画像処理装置。

Images