JP4018235B2

JP4018235B2 - Image transmission system and method

Info

Publication number: JP4018235B2
Application number: JP12857998A
Authority: JP
Inventors: 義尊竹内
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-05-12
Filing date: 1998-05-12
Publication date: 2007-12-05
Anticipated expiration: 2018-05-12
Also published as: JPH11331786A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像伝送システム及び方法に関し、より具体的には、電子透かし情報を画像情報に重畳して符号化して伝送する画像伝送システム及び方法に関する。
【０００２】
【従来の技術】
近年、ディジタル画像処理用ハードウエア及びソフトウエアの能力が向上するに伴い、高品質なディジタル画像情報をその高い品質を保ったまま記録再生又は伝送することが容易になってきた。
【０００３】
その結果、画像情報を高品質なまま不正に複製し、取り扱うことも容易となり、画像コンテンツ製作者の著作権の保護の重要性がクローズアップされて来ている。
【０００４】
ディジタル情報を不正に複製し、商用目的で使用することを防止するために、従来、幾つかの方式が考えられている。例えば、記録媒体の価格に著作権料を上乗せして販売する賦課金制度、画像情報を暗号化またはスクランブル処理化して、特定人しか鑑賞できないようにする方式がある。
【０００５】
しかし、賦課金制度では、記録媒体の価格が上昇するので、画像情報の幅広い普及の妨げになる、また、暗号化・スクランブル方式では、画像内容を参照し難くなることや、一旦、暗号が破られると、その情報が自由に複製されて、著作者の権利を保護できなくなる。
【０００６】
そこで、画像情報の不正な複製を防止又は抑制する手段として、デイジタル著作物に著作者又は使用者のＩＤ情報又はロゴ・マークなどを透かし情報として重畳し、隠し持たせる電子透かし（ＤｉｇｉｔａｌＷａｔｅｒｍａｒｋ）技術が重要視されてきている。
【０００７】
図6は、電子透かしの使用する画像伝送システムの一般的な概略構成ブロック図を示す。電子透かし情報重畳回路１１２は、入力端子１１０からの画像情報に電子透かし技術により著作権又は使用者を示す情報等のＩＤ情報を重畳する。符号化回路１１４は回路１１２の出力を通常の画像と同様に圧縮符号化する。符号化回路１１４の出力は、記録媒体１１６に記録され、又は伝送路に送出される。記録媒体１１６から再生されたデータは、復号化回路１１８により伸長され、電子透かし情報検出回路１２０に印加される。電子透かし情報検出回路１２０は復号化回路１１８の出力から電子透かし情報を分離し、電子透かし情報付きの画像情報を出力端子１２２に出力すると共に、分離した電子透かし情報を出力端子１２４に出力する。
【０００８】
このようにして、画像情報を著作物の著作権表示又は使用者のＩＤ情報などと一体化して記録再生（又は伝送）できる。
【０００９】
ここで、記録再生又は伝送された画像情報には、著作権又は使用者を示す透かし情報が重畳されて残っている。圧縮された画像情報又は復元された画像情報から無理に透かし情報を除去しようとすると、オリジナルの画像の画質を損なうことになる。これにより、オリジナル画像の権利が守られる。
【００１０】
【発明が解決しようとする課題】
ビデオ画像のような動画像情報に電子透かし情報を重畳する場合、従来例のように、画像情報を圧縮符号化する前に各画面（フレーム又はフィールド）毎に電子透かし情報を重畳すると、非常に高速な処理系が必要になる。
【００１１】
更には、電子透かし情報が重畳された分だけ情報量が増加するので、例えば画像情報を記録媒体に記録するときのように、固定長で圧縮情報が記録される場合には、オリジナル画像の圧縮率が高くなるので、その分、復元後の画像の画質が劣化する。
【００１２】
本発明は、このような問題点を解決した画像伝送システム及び方法並びに、、そこで使用される画像符号化装置及び方法、及び画像復号化装置及び方法を提示することを目的とする。
【００１３】
【課題を解決するための手段】
本発明に係る画像伝送システムは、動画像情報を画面内符号化と画面間符号化を併用して符号化する画像符号化装置と、当該画像符号化装置により符号化された動画像情報を復元する画像復号化装置とからなる画像伝送システムであって、当該画像符号化装置が、入力動画像情報の内の、画面内符号化する画面に電子透かし情報を重畳する電子透かし情報重畳手段と、当該入力動画像情報の内、画面間符号化する画面の画像データを予測画面の画像データと比較し、その予測誤差を算出する予測誤差算出手段と、当該電子透かし情報重畳手段の出力及び当該予測誤差算出手段の出力を選択的に符号化する符号化手段と、当該符号化手段から出力される符号化画像情報を復号化する局部復号化手段と、当該局部復号化手段の出力の内、画面内符号化された画面の復元画像情報から当該電子透かし情報を除去する電子透かし情報除去手段と、当該局部復号化手段による復元画像及び当該電子透かし情報除去手段により電子透かし情報を除去された復元画像を当該予測画面の画像データして記憶する画像メモリとを具備することを特徴とする。
【００１４】
本発明に係る画像符号化装置は、入力動画像情報の内の、画面内符号化する画面に電子透かし情報を重畳する電子透かし情報重畳手段と、入力動画像情報の内、画面間符号化する画面の画像データを予測画面の画像データと比較し、その予測誤差を算出する予測誤差算出手段と、当該電子透かし情報重畳手段の出力及び当該予測誤差算出手段の出力を選択的に符号化する符号化手段と、当該画像符号化手段から出力される符号化画像情報を復号化する局部復号化手段と、当該局部復号化手段の出力の内、画面内符号化された画面の復元画像情報から当該電子透かし情報を除去する電子透かし情報除去手段と、当該復号化手段による復元画像及び当該電子透かし情報除去手段により電子透かし情報を除去された復元画像を当該予測画面の画像データとして出力する予測手段とからなることを特徴とする。
【００１５】
本発明に係る画像伝送方法は、動画像情報を、画面内符号化と画面間符号化を併用すると共に、画面内符号化する画面には電子透かし情報を重畳して符号化する画像符号化ステップと、当該画像符号化ステップにより符号化された画像情報を復号化する画像復号化ステップとからなる画像伝送方法であって、当該画像符号化ステップが、入力動画像情報の内、画面間符号化する画面の画像データを予測画面の画像データと比較し、その予測誤差を算出する予測誤差算出ステップと、当該入力動画像情報の内、画面内符号化する画像に電子透かし情報を重畳した画像及び当該予測誤差算出ステップの出力画像を選択的に符号化する符号化ステップと、当該符号化ステップにより生成される符号化画像情報を復号化する局部復号化ステップと、当該局部復号化ステップの出力の内、画面内符号化された画面の復元画像情報から当該電子透かし情報を除去する電子透かし情報除去ステップと、当該局部復号化ステップによる復元画像及び当該電子透かし情報除去ステップにより電子透かし情報を除去された復元画像を当該予測画面の画像データとして画像メモリに格納する格納ステップとを具備することを特徴とする。
【００１６】
本発明に係る画像符号化方法は、入力動画像情報の内の、画面内符号化する画面に電子透かし情報を重畳する電子透かし情報重畳ステップと、当該入力動画像情報の内、画面間符号化する画面の画像データを予測画面の画像データと比較し、予測誤差を算出する予測誤差算出ステップと、当該電子透かし情報重畳ステップの出力及び当該予測誤差算出手段のステップを選択的に符号化する符号化ステップと、当該符号化ステップから出力される符号化画像情報を復号化する局部復号化ステップと、当該局部復号化ステップの出力の内、画面内符号化された画面の復元画像情報から当該電子透かし情報を除去する電子透かし情報除去ステップと、当該復号化ステップによる復元画像及び当該電子透かし情報除去ステップにより電子透かし情報を除去された復元画像を当該予測画面の画像データとして出力する予測ステップとからなることを特徴とする。
【００２１】
このような手段により、電子透かし情報の重畳処理を簡素化して処理量を減少させると共に、伝送される電子透かし情報の情報量を減少させてオリジナルの画像の圧縮率の増加をできるだけ抑制でき、その結果、復号再生された画像の画質劣化を防止できる。
【００２２】
【実施例】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【００２３】
図１は、本発明を適用した画像符号化装置の一実施例の概略構成ブロック図を示す。図１に示す装置は、フレーム内符号化方式とフレーム間符号化方式を併用する画像圧縮装置であり、フレーム内符号化方式が選択された場合に、電子透かし情報を画像情報に重畳する。フレーム内符号化方式は、通常、ある一定のフレーム毎、又は、シーンチェンジの際に選択される。
【００２４】
本実施例では、動画像は、図７に示すように、基本的に、７フレーム毎にフレーム内符号化方式で圧縮符号化され（Ｉフレーム）、それ以外の６つのフレームは直前フレームを予測フレームとする予測符号化方式（フレーム間符号化方式）で圧縮符号化される。前者は一般に、Ｉフレーム又はＩピクチャと呼ばれ、後者はＰフレーム又はピクチャと呼ばれる。一般的には、フレーム間符号化方式では更に、前後のフレームの平均値を参照フレームとする双方向予測符号化方式もある（この方式で符号化されるフレームは、Ｂフレーム又はＢピクチャと呼ばれる）が、本実施例では、説明を簡略化して理解を容易にするために、Ｂフレームは使用しない。
【００２５】
入力端子１０には動画像情報が入力し、フレーム選択回路１２は、入力端子１０からの情報に含まれるフレームヘッダ信号を検知及び分離してフレーム選択回路１４に、画像情報そのものをスイッチ１６に印加する。フレーム選択回路１４は、Ｉフレームとなる画像情報が入力端子１０に入力しているときには、スイッチ１６，３２，４０をａ接点側に接続し、それ以外では、ｂ接点側に接続する。
【００２６】
まず、Ｉフレームに対する処理を説明する。フレーム情報検出回路１２から出力される画像情報は、スイッチ１６のａ接点から電子透かし情報重畳回路２２に印加される。電子透かし情報重畳回路２２は、フレーム選択回路１４からＩフレーム選択信号が供給されているとき、入力端子２０から入力される電子透かし情報をスイッチ１６のａ接点からの画像情報に重畳して出力する。回路２２により電子透かし情報を重畳された画像情報は符号化回路２４に印加され、周知の方式（例えば、離散コサイン変換等の直交変換と可変長符号化を組み合わせた方式）で圧縮符号化される。なお、電子透かし情報を直交変換後の周波数領域で重畳する方式を採用してもよい。
【００２７】
パケット化回路２６は、符号化回路２４の出力を所定サイズのパケットにまとめ、出力端子２８から外部（例えば、記録再生系又は伝送系）に出力する。
【００２８】
符号化回路２４の出力はまた、復号化回路３０に印加されて復号化される。復号化回路３０により復元された画像情報は、スイッチ３２のａ接点から電子透かし情報除去回路３４に印加され、電子透かし情報除去回路３４は、電子透かし情報重畳回路２２で重畳された電子透かし情報を除去する。復元された画像情報をＰフレームとなる次のフレームの予測フレームとして利用するのに、重畳されている電子透かし情報が邪魔になるからである。
【００２９】
電子透かし情報除去回路３４の出力は加算器３６に印加される。Ｉフレームでは、スイッチ４０がａ接点に接続し、加算器３６のほかの入力には、ゼロ発生回路４２からのゼロ値が印加されているので、結局、加算器３６は回路３４の出力をそのままフレーム・メモリ３８に供給する。フレーム・メモリ３８は加算器３６からの画像情報をＰフレームとなる次のフレームの予測フレームとして記憶する。
【００３０】
次に、Ｐフレームに対する処理を説明する。フレーム情報検出回路１２から出力される画像情報は、スイッチ１６のｂ接点から減算器１８に印加される。減算器の別の入力にはフレーム・メモリ３８から読み出された予測フレームの画像情報が印加されており、減算器１８は、両画像情報の差分信号を算出する。減算器１８の出力は符号化回路２４に印加される。符号化回路２４はIフレームの場合と同様に、入力する画像情報（差分信号）を圧縮符号化する。パケット化回路２６は、符号化回路２４の出力を所定サイズのパケットにまとめ、出力端子２８から外部（例えば、記録再生系又は伝送系）に出力する。
【００３１】
Ｉフレームの場合と同様に、復号化回路３０は符号化回路２４の出力を復号化する。但し、復号化回路３０の出力は、このフレームでは差分データとなる。復号化回路３０により復元された差分画像情報は、スイッチ３２のｂ接点から加算器３６に印加される。Ｐフレームでは、スイッチ４０がｂ接点に接続するので、加算器３６のほかの入力には、フレーム・メモリ３８から読み出された予測フレームの画像データが印加される。加算器３６は両入力を加算する。加算器３６から出力される画像情報は、Ｐフレームである次のフレームの予測フレームとしてフレーム・メモリに格納される。
【００３２】
上述のように、電子透かし情報重畳回路２２は、Ｉフレームに対して電子透かし情報を重畳する。電子透かし情報は、例えば、高域成分を多く含む部分のように画像中の視覚的に目立たない部分に埋め込まれる。もちろん、周波数領域上で電子透かし情報を重畳してもよい。
【００３３】
図２は、図１に示す装置で符号化された画像情報を復号化する復号化装置の概略構成ブロック図を示す。入力端子５０には、図１に示す装置で符号化された画像情報のパケットが伝送系（記録再生系を含む。）を介して入力する。パケット復号化回路５２は、入力端子５０からの各パケットからデータ部分を抽出して復号化回路５４に供給すると共に、Ｉフレームか否かを示すフレーム識別信号によりスイッチ６２，６４，６８及び電子透かし情報検出回路６６を制御する。復号化回路５４は圧縮画像情報を伸長する。復号化回路５４の出力は、Ｉフレームでは画像データそのものであるが、Ｐフレームでは差分データである。
【００３４】
復号化回路５４の出力は加算器５６の一方の入力に印加され、他方の入力にはスイッチ６２を介して、Ｉフレームに対しては０データ発生回路６０からの０値が印加され、Ｐフレームに対してはフレーム・メモリ５８に記憶される予測フレームの画像データが印加される。これにより、加算器５６は、Ｉフレームでは復号化回路５４の出力をそのまま出力し、Ｐフレームでは復号化回路５４の出力に予測フレームの予測値を加算する。加算器５６の出力はスイッチ６４に印加されるが、フレームメモリ５８にも印加され、次のＰフレームの復号化のために予測フレームとして記憶される。
【００３５】
スイッチ６４はＩフレームではａ接点に接続し、Ｐフレームではｂ接点に接続する。これにより、Ｉフレームの画像情報が電子透かし情報検出回路６６に印加され、Ｐフレームの画像情報はスイッチ６８のｂ接点に印加される。電子透かし情報検出回路６６にＩフレームに重畳されている電子透かし情報を検出し、検出した電子透かし情報を出力端子７２に出力すると共に、電子透かし情報付きの画像情報をスイッチ６８のａ接点に印加する。スイッチ６８はパケット復号化回路５２からのフレーム識別信号により、Ｉフレームではａ接点に接続し、Ｐフレームではｂ接点に接続するので、結局、Ｉフレーム及びＰフレームどちらの復号化画像もスイッチ６８から出力端子７０に供給される。
【００３６】
受信画像から電子透かし情報を分離する必要が無い場合には、スイッチ６４，６８及び電子透かし情報検出回路６６は不要である。受信画像から電子透かし情報を分離したい場合でも、単に、加算器５６の出力を外部出力端子と電子透かし情報検出回路に印加し、電子透かし情報検出回路をＩフレームに対してのみ動作させるようにすればよい。
【００３７】
図３に示すように変更することで、Ｐフレームに対しても電子透かし情報を重畳された画像情報を出力するようにできる。即ち、スイッチ６４のｂ接点とスイッチ６８のｂ接点との間に、電子透かし情報重畳回路２２と同様の電子透かし情報重畳回路７４を配置し、電子透かし情報検出回路６６で検出した電子透かし情報を電子透かし情報重畳回路７４に印加する。電子透かし情報重畳回路７４は、スイッチ６４のｂ接点からの画像情報に、電子透かし情報検出回路６６がＩフレームのときに検出した電子透かし情報を重畳して、スイッチ６８のｂ接点に供給する。これにより、スイッチ６８から出力端子７０に供給される画像情報は、全てのフレームで電子透かし情報を重畳されたものとなる。
【００３８】
フレーム内符号化とフレーム間符号化が混在する画像圧縮方式では、一定数毎のフレーム及び／又は画面のシーンチェンジの際にフレーム内符号化が選択されるので、本実施例のように、フレーム内符号化されるフレームにのみ電子透かし情報を重畳するだけでも、著作権を保護するのに十分な頻度で電子透かし情報を伝送できる。フレーム内符号化されるフレームのみに電子透かし情報を重畳するので、電子透かし情報の重畳処理を簡素化して処理量が減少すると共に、オリジナル画像の圧縮率の増加を抑制でき、復号再生された画像の画質劣化をも防止できる。受信側において、本来電子透かし情報を重畳されていないフレームにも電子透かし情報を重畳するようにすることで、全てのフレームに電子透かし情報を重畳して出力することができる。
【００３９】
図１〜図３に示す実施例の処理は、コンピュータ上のソフトウエアによっても実現できる。図４は、図１に示す実施例と同様の機能を実現するソフトウエアのフローチャートを示す。
【００４０】
先ず、入力された動画像情報のフレームがフレーム内符号化処理を行なうＩフレームかフレーム間符号化処理を行なうＰフレームであるかを判別する（Ｓ１）。Ｉフレームの場合（Ｓ１）、電子透かし情報を重畳して（Ｓ３）、フレーム内符号化しする。Ｐフレームの場合には（Ｓ１）、直前フレームの画像データとの差分値を求めてフレーム間符号化する（Ｓ４）。このように符号化した画像データをパケット化して出力する（Ｓ５）。
【００４１】
図５は、図２に示す実施例と同様の機能を実現するソフトウエアのフローチャートを示す。パケット化された符号化画像データをデータ列に戻し（Ｓ１１）、符号化画像データに含まれるＩフレーム／Ｐフレームの識別信号、即ち、フレーム識別信号を検出し（Ｓ１２）。入力した画像情報がＩフレームのものである場合には（Ｓ１２）、フレーム内復号化して（Ｓ１３）、電子透かし情報を検出し（Ｓ１４）、復元した画像情報を電子透かし情報付きで出力すると共に、電子透かし情報を別に出力する。Ｐフレームのばあいには（Ｓ１２），フレーム間復号化し（Ｓ１５）、復元した画像情報を出力する。
【００４２】
ＩフレームとＰフレームのみの混在する符号化方式を例に説明したが、例えば、ＭＰＥＧ２方式のように、前後のフレームから予測する符号化併用する場合にも、同様に、Ｉフレームに電子透かし情報を重畳して伝送することにより、同様の効果を得ることができる。
【００４３】
【発明の効果】
以上の説明から容易に理解できるように、本発明によれば、フレーム内符号化とフレーム間符号化が混在する画像圧縮方式において、フレーム内符号化されるべきフレームに電子透かし情報を重畳して圧縮伝送することにより、電子透かし情報の重畳処理を簡素化して処理量を減少させることができる。同時に、オリジナル画像の圧縮率の増加をできるだけ抑制でき、伸長後の画質劣化も低減できる。
【図面の簡単な説明】
【図１】本発明を適用した画像符号化装置の一実施例の概略構成ブロック図である。
【図２】図１に示す符号化装置に対応する画像復号化装置の概略構成ブロック図である。
【図３】図１に示す符号化装置に対応する画像復号化装置の別の構成の概略構成ブロック図である。
【図４】図１に示す符号化装置と同じ処理を実現するソフトウエアのフローチャートである。
【図５】図２に示す復号化装置と同じ処理を実現するソフトウエアのフローチャートである。
【図６】従来例の概略構成ブロック図である。
【図７】本実施例でのフレーム内符号化とフレーム間符号化が混在する状況の説明図である。
【符号の説明】
１０：入力端子
１２：フレーム選択回路
１４：フレーム選択回路
１６：スイッチ
１８：減算器
２０：入力端子
２２：電子透かし情報重畳回路
２４：符号化回路
２６：パケット化回路
２８：出力端子
３０：復号化回路
３２：スイッチ
３４：電子透かし情報除去回路
３６：加算器
３８：フレームメモリ
４０：スイッチ
４２：０データ発生回路
５０：入力端子
５２：パケット復号化回路
５４：復号化回路
５６：加算器
５８：フレーム・メモリ
６０：０データ発生回路
６２：スイッチ
６４：スイッチ
６６：電子透かし情報検出回路
６８：スイッチ
７０，７２：出力端子
７４：電子透かし情報重畳回路
１１０：入力端子
１１２：電子透かし情報重畳回路
１１４：符号化回路
１１６：記録媒体
１１８：復号化回路
１２０：電子透かし情報検出回路
１２２，１２２：出力端子[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image transmission system and method, and more specifically, to an image transmission system and method for transmitting digital watermark information by superimposing digital watermark information on the image information.
[0002]
[Prior art]
In recent years, as the capabilities of digital image processing hardware and software have improved, it has become easier to record / reproduce or transmit high-quality digital image information while maintaining its high quality.
[0003]
As a result, it is easy to illegally duplicate and handle image information with high quality, and the importance of protecting the copyright of image content producers has been highlighted.
[0004]
In order to prevent illegal copying of digital information and use for commercial purposes, several methods have been conventionally considered. For example, there are a charging system in which a copyright fee is added to the price of a recording medium and a method in which image information is encrypted or scrambled so that only a specific person can view it.
[0005]
However, in the levy system, the price of the recording medium increases, which hinders widespread use of image information. In addition, the encryption / scramble method makes it difficult to refer to the image contents, and the encryption is once broken. The information is freely copied and the rights of the author cannot be protected.
[0006]
Therefore, as means for preventing or suppressing unauthorized duplication of image information, a digital watermark technology that superimposes and conceals the author's or user's ID information or logo mark on the digital work as watermark information. Has been regarded as important.
[0007]
FIG. 6 shows a general schematic block diagram of an image transmission system using digital watermark. The digital watermark information superimposing circuit 112 superimposes ID information such as information indicating a copyright or a user by digital watermark technology on the image information from the input terminal 110. The encoding circuit 114 compresses and encodes the output of the circuit 112 in the same manner as a normal image. The output of the encoding circuit 114 is recorded on the recording medium 116 or sent to the transmission path. Data reproduced from the recording medium 116 is decompressed by the decryption circuit 118 and applied to the digital watermark information detection circuit 120. The digital watermark information detection circuit 120 separates the digital watermark information from the output of the decoding circuit 118, outputs the image information with the digital watermark information to the output terminal 122, and outputs the separated digital watermark information to the output terminal 124.
[0008]
In this way, the image information can be recorded and reproduced (or transmitted) in an integrated manner with the copyright display of the copyrighted work or the ID information of the user.
[0009]
Here, the watermark information indicating the copyright or the user remains superimposed on the recorded / reproduced or transmitted image information. If the watermark information is forcibly removed from the compressed image information or the restored image information, the image quality of the original image is impaired. This protects the rights of the original image.
[0010]
[Problems to be solved by the invention]
When digital watermark information is superimposed on moving image information such as a video image, if digital watermark information is superimposed on each screen (frame or field) before image information is compressed and encoded as in the conventional example, A high-speed processing system is required.
[0011]
Furthermore, since the amount of information increases by the amount of digital watermark information superimposed, if the compressed information is recorded at a fixed length, such as when recording image information on a recording medium, the original image is compressed. Since the rate becomes high, the image quality of the restored image is degraded accordingly.
[0012]
It is an object of the present invention to provide an image transmission system and method that solves such problems, an image encoding device and method used there, and an image decoding device and method.
[0013]
[Means for Solving the Problems]
An image transmission system according to the present invention includes an image encoding device that encodes moving image information using both intra-screen encoding and inter-screen encoding, and restores the moving image information encoded by the image encoding device. An image transmission system comprising an image decoding device that performs digital watermark information superimposing means for superimposing digital watermark information on a screen to be encoded within the screen of the input moving image information . Among the input moving image information, the image data of the screen to be inter-coded is compared with the image data of the prediction screen, the prediction error calculating means for calculating the prediction error, the output of the digital watermark information superimposing means, and the prediction An encoding unit that selectively encodes an output of the error calculation unit, a local decoding unit that decodes encoded image information output from the encoding unit, and a screen among the outputs of the local decoding unit Inner sign Watermark information removing means for removing the digital watermark information from the restored image information of the converted screen, the restored image by the local decoding means, and the restored image from which the digital watermark information has been removed by the digital watermark information removing means And an image memory for storing the image data of the prediction screen .
[0014]
An image encoding apparatus according to the present invention includes digital watermark information superimposing means for superimposing digital watermark information on a screen to be encoded within the screen of the input moving image information, and inter-screen encoding of the input moving image information. A prediction error calculation unit that compares the image data of the screen with the image data of the prediction screen and calculates a prediction error thereof, and a code that selectively encodes the output of the digital watermark information superimposing unit and the output of the prediction error calculation unit Encoding means, local decoding means for decoding the encoded image information output from the image encoding means, and from the restored image information of the screen encoded in the screen among the outputs of the local decoding means An electronic watermark information removing unit that removes digital watermark information, a restored image by the decoding unit, and a restored image from which the digital watermark information has been removed by the digital watermark information removing unit are converted into an image data of the prediction screen. Characterized in that comprising a prediction means for outputting as data.
[0015]
In the image transmission method according to the present invention, an image encoding step of encoding moving image information by using both intra-screen encoding and inter-screen encoding and superimposing digital watermark information on a screen to be intra-screen encoded. And an image decoding method for decoding the image information encoded by the image encoding step, wherein the image encoding step includes inter-screen encoding in the input moving image information. The image data of the screen to be compared with the image data of the prediction screen, a prediction error calculation step for calculating the prediction error, an image in which the digital watermark information is superimposed on the image to be encoded in the screen among the input moving image information, and An encoding step for selectively encoding the output image of the prediction error calculation step, a local decoding step for decoding the encoded image information generated by the encoding step, Among the outputs of the local decoding step, a digital watermark information removing step for removing the digital watermark information from the restored image information of the intra-encoded screen, and a restored image and the digital watermark information removing step by the local decoding step And a storage step of storing the restored image from which the digital watermark information has been removed by the image memory as the image data of the prediction screen.
[0016]
An image encoding method according to the present invention includes an electronic watermark information superimposing step of superimposing digital watermark information on a screen to be encoded within the screen of input moving image information, and inter-screen encoding of the input moving image information. A code for selectively encoding the prediction error calculation step for calculating the prediction error, the output of the digital watermark information superimposing step, and the step of the prediction error calculation means Encoding step, a local decoding step for decoding the encoded image information output from the encoding step, and the output from the restored image information of the screen encoded in the screen among the outputs of the local decoding step. A digital watermark information removing step for removing watermark information, a restored image by the decoding step, and a digital watermark information by the digital watermark information removing step. The removed by been restored image, characterized in that it consists of a prediction step of outputting as image data of the prediction screen.
[0021]
By such means, it is possible to simplify the process of superimposing the digital watermark information and reduce the processing amount, and also to reduce the information amount of the transmitted digital watermark information to suppress the increase in the compression ratio of the original image as much as possible. As a result, it is possible to prevent image quality degradation of the decoded and reproduced image.
[0022]
【Example】
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0023]
FIG. 1 shows a schematic block diagram of an embodiment of an image encoding apparatus to which the present invention is applied. The apparatus shown in FIG. 1 is an image compression apparatus that uses both an intraframe coding scheme and an interframe coding scheme, and superimposes digital watermark information on image information when an intraframe coding scheme is selected. The intra-frame coding method is usually selected every certain frame or at a scene change.
[0024]
In this embodiment, as shown in FIG. 7, the moving image is basically compression-encoded by an intra-frame coding method every 7 frames (I frame), and the other six frames are predicted from the immediately preceding frame. Compression encoding is performed using a predictive encoding method (inter-frame encoding method) as a frame. The former is generally called an I frame or I picture, and the latter is called a P frame or picture. In general, there is also a bi-directional predictive coding method that uses an average value of preceding and following frames as a reference frame in the inter-frame coding method (a frame coded by this method is called a B frame or a B picture). However, in this embodiment, the B frame is not used in order to simplify the explanation and facilitate understanding.
[0025]
The moving image information is input to the input terminal 10, and the frame selection circuit 12 detects and separates the frame header signal included in the information from the input terminal 10 and applies the image information itself to the switch 16. To do. The frame selection circuit 14 connects the switches 16, 32, and 40 to the a contact side when image information to be an I frame is input to the input terminal 10, and connects to the b contact side otherwise.
[0026]
First, processing for an I frame will be described. The image information output from the frame information detection circuit 12 is applied to the digital watermark information superimposing circuit 22 from the contact “a” of the switch 16. When the I frame selection signal is supplied from the frame selection circuit 14, the digital watermark information superimposing circuit 22 superimposes the digital watermark information input from the input terminal 20 on the image information from the contact “a” of the switch 16 and outputs it. . The image information on which the digital watermark information is superimposed by the circuit 22 is applied to the encoding circuit 24, and is compressed and encoded by a well-known method (for example, a method combining orthogonal transform such as discrete cosine transform and variable length coding). . A method of superimposing digital watermark information in the frequency domain after orthogonal transformation may be employed.
[0027]
The packetizing circuit 26 collects the outputs of the encoding circuit 24 into packets of a predetermined size and outputs the packets from the output terminal 28 to the outside (for example, a recording / reproducing system or transmission system).
[0028]
The output of the encoding circuit 24 is also applied to the decoding circuit 30 for decoding. The image information restored by the decryption circuit 30 is applied to the digital watermark information removal circuit 34 from the contact a of the switch 32. The digital watermark information removal circuit 34 converts the digital watermark information superimposed by the digital watermark information superposition circuit 22 into the digital watermark information. Remove. This is because the superimposed digital watermark information is an obstacle to using the restored image information as a predicted frame of the next frame that becomes a P frame.
[0029]
The output of the digital watermark information removing circuit 34 is applied to the adder 36. In the I frame, the switch 40 is connected to the contact a, and the zero value from the zero generation circuit 42 is applied to the other inputs of the adder 36. Consequently, the adder 36 uses the output of the circuit 34 as it is. The frame memory 38 is supplied. The frame memory 38 stores the image information from the adder 36 as a predicted frame of the next frame that becomes a P frame.
[0030]
Next, processing for the P frame will be described. Image information output from the frame information detection circuit 12 is applied to the subtracter 18 from the contact b of the switch 16. The image information of the predicted frame read from the frame memory 38 is applied to another input of the subtracter, and the subtracter 18 calculates a difference signal between the two image information. The output of the subtracter 18 is applied to the encoding circuit 24. The encoding circuit 24 compresses and encodes input image information (difference signal) as in the case of the I frame. The packetizing circuit 26 collects the outputs of the encoding circuit 24 into packets of a predetermined size and outputs the packets from the output terminal 28 to the outside (for example, a recording / reproducing system or transmission system).
[0031]
Similar to the case of the I frame, the decoding circuit 30 decodes the output of the encoding circuit 24. However, the output of the decoding circuit 30 is differential data in this frame. The difference image information restored by the decoding circuit 30 is applied to the adder 36 from the contact b of the switch 32. In the P frame, since the switch 40 is connected to the b contact, the image data of the predicted frame read from the frame memory 38 is applied to the other input of the adder 36. Adder 36 adds both inputs. The image information output from the adder 36 is stored in the frame memory as a predicted frame of the next frame that is a P frame.
[0032]
As described above, the digital watermark information superimposing circuit 22 superimposes the digital watermark information on the I frame. The digital watermark information is embedded in a visually inconspicuous part such as a part containing a lot of high frequency components. Of course, the digital watermark information may be superimposed on the frequency domain.
[0033]
FIG. 2 shows a schematic block diagram of a decoding apparatus that decodes the image information encoded by the apparatus shown in FIG. A packet of image information encoded by the apparatus shown in FIG. 1 is input to the input terminal 50 via a transmission system (including a recording / reproducing system). The packet decoding circuit 52 extracts a data portion from each packet from the input terminal 50 and supplies it to the decoding circuit 54. At the same time, the packet decoding circuit 52 switches the switches 62, 64, 68 and the digital watermark by a frame identification signal indicating whether or not the frame is an I frame. The information detection circuit 66 is controlled. The decoding circuit 54 decompresses the compressed image information. The output of the decoding circuit 54 is the image data itself in the I frame, but is the difference data in the P frame.
[0034]
The output of the decoding circuit 54 is applied to one input of the adder 56, and the other input is applied with a 0 value from the 0 data generation circuit 60 for the I frame via the switch 62, and the P frame. Is applied with the image data of the predicted frame stored in the frame memory 58. Thereby, the adder 56 outputs the output of the decoding circuit 54 as it is in the I frame, and adds the prediction value of the prediction frame to the output of the decoding circuit 54 in the P frame. The output of adder 56 is applied to switch 64, but is also applied to frame memory 58 and stored as a predicted frame for decoding of the next P frame.
[0035]
The switch 64 is connected to the a contact in the I frame, and is connected to the b contact in the P frame. As a result, the image information of the I frame is applied to the digital watermark information detection circuit 66, and the image information of the P frame is applied to the b contact of the switch 68. The watermark information detection circuit 66 detects the watermark information superimposed on the I frame, outputs the detected watermark information to the output terminal 72, and applies the image information with the watermark information to the contact a of the switch 68. To do. The switch 68 is connected to the a contact in the I frame and connected to the b contact in the P frame by the frame identification signal from the packet decoding circuit 52, so that the decoded image of both the I frame and the P frame is eventually sent from the switch 68. It is supplied to the output terminal 70.
[0036]
When it is not necessary to separate the digital watermark information from the received image, the switches 64 and 68 and the digital watermark information detection circuit 66 are unnecessary. Even if it is desired to separate the digital watermark information from the received image, the output of the adder 56 is simply applied to the external output terminal and the digital watermark information detection circuit so that the digital watermark information detection circuit operates only on the I frame. That's fine.
[0037]
By changing as shown in FIG. 3, it is possible to output image information in which digital watermark information is superimposed on a P frame. That is, a digital watermark information superimposing circuit 74 similar to the digital watermark information superimposing circuit 22 is arranged between the b contact of the switch 64 and the b contact of the switch 68, and the digital watermark information detected by the digital watermark information detecting circuit 66 is displayed. This is applied to the digital watermark information superimposing circuit 74. The digital watermark information superimposing circuit 74 superimposes the digital watermark information detected when the digital watermark information detecting circuit 66 is an I frame on the image information from the b contact of the switch 64 and supplies it to the b contact of the switch 68. As a result, the image information supplied from the switch 68 to the output terminal 70 is obtained by superimposing digital watermark information on all frames.
[0038]
In an image compression method in which intra-frame coding and inter-frame coding are mixed, since intra-frame coding is selected at a certain number of frames and / or scene changes of the screen, Even if the digital watermark information is only superimposed on the inner-encoded frame, the digital watermark information can be transmitted with sufficient frequency to protect the copyright. Since the digital watermark information is superimposed only on the intra-coded frame, the digital watermark information superimposition process is simplified, the processing amount is reduced, and the increase in the compression ratio of the original image can be suppressed, and the decoded and reproduced image Image quality degradation can be prevented. On the receiving side, digital watermark information can be superimposed on all frames and output by superimposing digital watermark information on frames that are not originally superimposed with digital watermark information.
[0039]
The processing of the embodiment shown in FIGS. 1 to 3 can also be realized by software on a computer. FIG. 4 shows a flowchart of software that realizes the same function as the embodiment shown in FIG.
[0040]
First, it is determined whether the frame of the input moving image information is an I frame for performing an intraframe encoding process or a P frame for performing an interframe encoding process (S1). In the case of an I frame (S1), digital watermark information is superimposed (S3), and intraframe coding is performed. In the case of the P frame (S1), a difference value from the image data of the immediately preceding frame is obtained and interframe coding is performed (S4). The encoded image data is packetized and output (S5).
[0041]
FIG. 5 shows a flowchart of software for realizing the same function as that of the embodiment shown in FIG. The packetized encoded image data is returned to the data string (S11), and an I frame / P frame identification signal, that is, a frame identification signal included in the encoded image data is detected (S12). If the input image information is for an I frame (S12), intra-frame decoding is performed (S13), digital watermark information is detected (S14), and the restored image information is output with digital watermark information. , Digital watermark information is output separately. In the case of P frames (S12), inter-frame decoding (S15) is performed, and restored image information is output.
[0042]
Although the encoding method in which only the I frame and the P frame are mixed has been described as an example, the digital watermark information is similarly added to the I frame in the case of using the encoding predicted from the preceding and succeeding frames as in the MPEG2 method, for example. By superimposing and transmitting, the same effect can be obtained.
[0043]
【The invention's effect】
As can be easily understood from the above description, according to the present invention, in an image compression method in which intraframe coding and interframe coding are mixed, digital watermark information is superimposed on a frame to be intraframe coded. By compressing and transmitting, it is possible to simplify the process of superimposing digital watermark information and reduce the amount of processing. At the same time, an increase in the compression ratio of the original image can be suppressed as much as possible, and image quality deterioration after expansion can be reduced.
[Brief description of the drawings]
FIG. 1 is a block diagram of a schematic configuration of an embodiment of an image encoding apparatus to which the present invention is applied.
FIG. 2 is a block diagram of a schematic configuration of an image decoding apparatus corresponding to the encoding apparatus shown in FIG.
FIG. 3 is a schematic configuration block diagram of another configuration of an image decoding device corresponding to the encoding device shown in FIG. 1;
FIG. 4 is a flowchart of software that realizes the same processing as that of the encoding device shown in FIG. 1;
FIG. 5 is a software flowchart for realizing the same processing as that of the decoding apparatus shown in FIG. 2;
FIG. 6 is a schematic block diagram of a conventional example.
FIG. 7 is an explanatory diagram of a situation where intra-frame coding and inter-frame coding are mixed in the present embodiment.
[Explanation of symbols]
10: input terminal 12: frame selection circuit 14: frame selection circuit 16: switch 18: subtractor 20: input terminal 22: digital watermark information superposition circuit 24: encoding circuit 26: packetizing circuit 28: output terminal 30: decoding Circuit 32: Switch 34: Digital watermark information removal circuit 36: Adder 38: Frame memory 40: Switch 42: 0 Data generation circuit 50: Input terminal 52: Packet decoding circuit 54: Decoding circuit 56: Adder 58: Frame Memory 60: 0 data generation circuit 62: switch 64: switch 66: digital watermark information detection circuit 68: switch 70, 72: output terminal 74: digital watermark information superimposing circuit 110: input terminal 112: digital watermark information superimposing circuit 114: Encoding circuit 116: Recording medium 118: Decoding circuit 120: Digital watermark information detection circuit 122, 22: Output terminal

Claims

An image consisting of an image encoding device that encodes moving image information using both intra-screen coding and inter-screen coding, and an image decoding device that restores moving image information encoded by the image encoding device A transmission system,
The image encoding device is
Digital watermark information superimposing means for superimposing digital watermark information on a screen to be encoded within the screen of the input video information ;
Of the input moving image information, the image data of the screen to be inter-coded is compared with the image data of the prediction screen, and prediction error calculation means for calculating the prediction error;
Encoding means for selectively encoding the output of the digital watermark information superimposing means and the output of the prediction error calculating means;
Local decoding means for decoding encoded image information output from the encoding means;
Among the outputs of the local decoding means, digital watermark information removing means for removing the digital watermark information from the restored image information of the screen encoded in the screen;
An image memory for storing the restored image obtained by the local decoding unit and the restored image from which the digital watermark information has been removed by the digital watermark information removing unit as image data of the prediction screen. Image transmission system.

The image decoding apparatus is
Decoding means for decoding input encoded image information;
2. The image transmission system according to claim 1, further comprising: digital watermark information detection means for detecting digital watermark information from the restored image of the intra-encoded screen among the output image information of the decoding means.

The image decoding apparatus further superimposes the digital watermark information detected by the digital watermark information detection unit on the screen on which the digital watermark information is not superimposed in the output image information of the decoding unit. The image transmission system according to claim 2 , comprising means.

Digital watermark information superimposing means for superimposing digital watermark information on a screen to be encoded within the screen of the input video information;
A prediction error calculation means for comparing the image data of the screen to be inter-coded in the input moving image information with the image data of the prediction screen and calculating the prediction error;
Encoding means for selectively encoding the output of the digital watermark information superimposing means and the output of the prediction error calculating means;
Local decoding means for decoding encoded image information output from the image encoding means;
Among the outputs of the local decoding means, digital watermark information removing means for removing the digital watermark information from the restored image information of the screen encoded in the screen;
An image encoding apparatus comprising: a restored image obtained by the decoding means; and a prediction means for outputting the restored image from which the digital watermark information has been removed by the digital watermark information removing means as image data of the prediction screen.

An image encoding step that encodes moving image information by superimposing digital watermark information on a screen to be encoded within the screen, together with intra-screen encoding and inter-screen encoding,
An image transmission method comprising: an image decoding step for decoding image information encoded by the image encoding step ,
The image encoding step includes
A prediction error calculation step of comparing the image data of the screen to be inter-coded in the input moving image information with the image data of the prediction screen and calculating the prediction error;
Among the input moving image information , an encoding step for selectively encoding an image in which digital watermark information is superimposed on an image to be encoded on the screen and an output image of the prediction error calculation step;
A local decoding step of decoding the encoded image information generated by the encoding step;
Among the outputs of the local decoding step, an electronic watermark information removing step for removing the electronic watermark information from the restored image information of the intra-encoded screen;
A storage step of storing the restored image obtained by the local decoding step and the restored image from which the digital watermark information has been removed by the digital watermark information removing step as image data of the prediction screen in an image memory
An image transmission method comprising :

The image decoding step includes
A decoding step of decoding input encoded image information;
6. The image transmission method according to claim 5 , further comprising: a digital watermark information detection step of detecting digital watermark information from a restored image of the intra-coded screen in the output image information of the decoding step.

The image decoding step further superimposes the digital watermark information detected in the digital watermark information detection step on the screen on which the digital watermark information is not superimposed in the output image information of the decoding step. The image transmission method according to claim 6 , further comprising a step.

A digital watermark information superimposing step of superimposing digital watermark information on a screen to be encoded within the screen of the input video information;
Of the input video information, the image data of a screen to be encoded between the screen compared to the image data of the predictive picture, the prediction error calculation step of calculating a prediction error,
An encoding step for selectively encoding the output of the digital watermark information superimposing step and the step of the prediction error calculating means;
A local decoding step of decoding the encoded image information output from the encoding step;
Among the outputs of the local decoding step, an electronic watermark information removing step for removing the electronic watermark information from the restored image information of the intra-encoded screen;
An image encoding method comprising: a restored image obtained by the decoding step; and a prediction step for outputting the restored image from which the digital watermark information has been removed by the digital watermark information removing step as image data of the prediction screen.