JP4086666B2

JP4086666B2 - Image processing apparatus, program, and storage medium

Info

Publication number: JP4086666B2
Application number: JP2003006728A
Authority: JP
Inventors: 幸男門脇; 高弘柳下; 悌阿部; 隆之西村
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2003-01-15
Filing date: 2003-01-15
Publication date: 2008-05-14
Anticipated expiration: 2023-01-15
Also published as: JP2004221925A

Description

【０００１】
【発明の属する技術分野】
本発明は、被写体を撮像するデジタルカメラに代表される撮像装置等の画像処理装置、その画像処理用に用いられるプログラム及び記憶媒体に関する。
【０００２】
【従来の技術】
近年、画像処理技術の進歩により、画像に対する高精細化の要求が高まっている。画像処理装置の一例として、デジタルカメラを例に挙げると、３００万以上の画素数を持つ高性能な電荷結合素子の低価格化が進み、普及価格帯の製品においても広く用いられるようになっている。こうした高性能で低価格な画像処理機器の市場投入効果によって、高精細画像の大衆化が始まっており、今後は、あらゆる場面で高精細画像の需要が高まると予想されている。
【０００３】
以上のようなことを背景として、高精細画像を容易に取扱うことのできる圧縮伸長技術に対する要求も、今後ますます高まっていくことは必至と思われる。そこで、そのような要求を満たす画像圧縮技術の一つとして、従来、高精細画像を小さい単位に分割して処理することが可能であり、高圧縮率でも高画質な画像を復号可能なJPEG2000という技術がある。
【０００４】
ここに、デジタルカメラ等では、画像データを圧縮符号化する際に、何らかの付加情報を電子透かしとして埋込むようにしたものがある。その一例として、例えば、デジタルカメラにより撮影された画像の証拠としての信憑性を増すためにＧＰＳ（Global Position System）衛星を利用することにより検知される撮影場所の位置情報を付加情報の一つとし、かつ、付加情報に関して改ざんを困難にするために、暗号化し、かつ、電子透かしとして埋込むようにした提案例がある(例えば、特許文献１参照)。この他、この種の画像処理、特に画像圧縮処理においては、付加情報の付与、電子透かしによる埋込み等に関して、多数提案されている。
【０００５】
【特許文献１】
特開２０００−５０１９３公報
【０００６】
【発明が解決しようとする課題】
ところが、特許文献１の例に限らず、位置情報などの付加情報を画像データ中に電子透かしとして埋込むと、その埋込み画像によって元の画像データに比べて画質が劣化してしまう、という問題がある。従って、画質を優先させたい場合には、位置情報などの付加情報を電子透かしとして埋込むことは妥当ではなくなってしまい、例えば、当該画像の証拠としての信憑性を高めたいという要望との両立は困難となる。
【０００７】
本発明の目的は、位置情報等の付加情報を暗号化して電子透かしとして埋込む上で、画像データの劣化を極力抑制しながら高圧縮化することである。
【０００８】
特に、当該画像の証拠としての信憑性を高めつつ、画像データの劣化を極力抑制することである。
【０００９】
【課題を解決するための手段】
請求項１記載の発明の画像処理装置は、画像データを２次元ウェーブレット係数へ変換する過程を経て圧縮符号化する圧縮手段を有する画像処理装置において、圧縮符号化の対象となる画像に関する性質を判定する判定手段と、圧縮符号化される画像データ中に埋込む暗号化された付加情報を生成する付加情報生成手段と、前記判定手段による判定結果に基づき、前記圧縮手段により圧縮符号化される画像データ中で高周波成分の多くなる２次元ウェーブレット係数部分に、暗号化された前記付加情報を電子透かしとして埋込む電子透かし埋込み手段と、圧縮符号化の対象となる被写体の画像を撮像する撮像素子と、を備え、前記判定手段が判定する画像に関する性質が、当該画像の動きの方向に関する性質であり、前記電子透かし埋込み手段は、当該画像の動きの方向に直交する方向の高周波成分を含む２次元ウェーブレット係数部分に暗号化された前記付加情報を電子透かしとして埋込む、ことを特徴とする。
【００１０】
従って、圧縮符号化する際に画像データを２次元ウェーブレット係数へ変換する過程を経るJPEG2000によれば、撮像画像のような自然画像のデータに関しては高周波成分の情報は元々ランダムに近く画質が悪いものであり、当該高周波成分に対応する２次元ウェーブレット係数部分のデータを削除しても、元の画像に復元した時の画質劣化は少ないので、対象となる画像の性質に応じて、このような高周波成分が多くなる２次元ウェーブレット係数部分に電子透かしを埋込むことで、復元される画像の劣化を抑制しつつ、その画像圧縮の圧縮率を向上させることができる。
【００１２】
従って、画像自体が動画の場合（例えば、請求項２）或いは撮像素子が移動する場合（例えば、請求項３）のように被写体と撮像側との間で相対的に移動する動きがある場合、その動きの方向に一致する各方向の高周波成分が高くなる性質があるので、当該画像の動きの方向に直交する方向の高周波成分を含む２次元ウェーブレット係数部分に暗号化された付加情報を電子透かしとして埋込むことで、画質劣化を抑制することができる。
【００１３】
請求項４記載の発明は、請求項１ないし３の何れか一記載の画像処理装置において、ＧＰＳ衛星からの電波を受信するＧＰＳ受信器を備え、前記付加情報生成手段は前記付加情報として前記ＧＰＳ受信器から得られる当該装置の地球上での位置情報を含む。
【００１４】
従って、対象となる画像データの撮像位置等の位置情報が付加情報に含まれているので、当該画像に関する証拠としての信憑性を高めつつ、当該付加情報を埋込むことによる画質劣化を抑制できる。
【００１５】
請求項５記載の発明は、請求項１ないし４の何れか一記載の画像処理装置において、被写体撮像の方角を検知する方角センサを備え、前記付加情報生成手段は前記付加情報として前記方角センサから得られる当該装置による被写体撮像の方向性を示す方角情報を含む。
【００１６】
従って、被写体撮像の東西南北等の方角に関する方角情報が付加情報に含まれているので、撮像時の状況を詳しく知ることが可能な上に、当該付加情報を埋込むことによる画質劣化を抑制できる。
【００１７】
請求項６記載の発明は、請求項１ないし５の何れか一記載の画像処理装置において、被写体撮像の上下方向の方向性を検知する上下角度センサを備え、前記付加情報生成手段は前記付加情報として前記上下角度センサから得られる当該装置による被写体撮像の上下方向の方向性を示す上下角度情報を含む。
【００１８】
従って、被写体撮像の上下方向の方向性（上下角）に関する上下角度情報が付加情報に含まれているので、撮像時の状況を詳しく知ることが可能な上に、当該付加情報を埋込むことによる画質劣化を抑制できる。
【００１９】
請求項７記載の発明は、請求項１ないし６の何れか一記載の画像処理装置において、当該装置の高度位置を検知する高度センサを備え、前記付加情報生成手段は前記付加情報として前記高度センサから得られる当該装置の高度情報を含む。
【００２０】
従って、被写体撮像の高度情報が付加情報に含まれているので、撮像時の状況を詳しく知ることが可能な上に、当該付加情報を埋込むことによる画質劣化を抑制できる。
【００２１】
請求項８記載の発明は、請求項１ないし７の何れか一記載の画像処理装置において、被写体撮像に伴う当該装置の姿勢を検知する姿勢検知手段を備え、前記付加情報生成手段は前記付加情報として前記姿勢検知手段から得られる当該装置の姿勢情報を含む。
【００２２】
従って、被写体撮像に伴う当該装置の姿勢情報が付加情報に含まれているので、撮像時の状況を詳しく知ることが可能な上に、当該付加情報を埋込むことによる画質劣化を抑制できる。
【００２３】
請求項９記載の発明のプログラムは、画像データを２次元ウェーブレット係数へ変換する過程を経て圧縮符号化する圧縮機能を有する画像処理装置が備えるコンピュータにインストールされ又は解釈されて実行されるプログラムであって、前記コンピュータに、圧縮符号化の対象となる画像に関する性質を判定する判定機能と、圧縮符号化される画像データ中に埋込む暗号化された付加情報を生成する付加情報生成機能と、前記判定機能による判定結果に基づき、前記圧縮機能により圧縮符号化される画像データ中で高周波成分の多くなる２次元ウェーブレット係数部分に、暗号化された前記付加情報を電子透かしとして埋込む電子透かし埋込み機能と、圧縮符号化の対象となる被写体の画像を撮像する撮像機能と、を実行させ、前記判定機能が判定する画像に関する性質が、当該画像の動きの方向に関する性質であり、前記電子透かし埋込み機能は、当該画像の動きの方向に直交する方向の高周波成分を含む２次元ウェーブレット係数部分に暗号化された前記付加情報を電子透かしとして埋込む、ことを特徴とする。
【００２４】
従って、圧縮符号化する際に画像データを２次元ウェーブレット係数へ変換する過程を経るJPEG2000によれば、撮像画像のような自然画像のデータに関しては高周波成分の情報は元々ランダムに近く画質が悪いものであり、当該高周波成分に対応する２次元ウェーブレット係数部分のデータを削除しても、元の画像に復元した時の画質劣化は少ないので、対象となる画像の性質に応じて、高周波成分が多くなる２次元ウェーブレット係数部分に埋込むことで、復元される画像の劣化を抑制しつつ、その画像圧縮の圧縮率を向上させることができる。
【００２５】
請求項１０記載の発明の記憶媒体は、画像データを２次元ウェーブレット係数への変換過程を経て圧縮符号化する圧縮機能を有する画像処理装置が備えるコンピュータにインストールされ又は解釈されて実行されるプログラムであって、前記コンピュータに、圧縮符号化の対象となる画像に関する性質を判定する判定機能と、圧縮符号化される画像データ中に埋込む暗号化された付加情報を生成する付加情報生成機能と、前記判定機能による判定結果に基づき、前記圧縮機能により圧縮符号化される画像データ中で高周波成分の多くなる２次元ウェーブレット係数部分に、暗号化された前記付加情報を電子透かしとして埋込む電子透かし埋込み機能と、圧縮符号化の対象となる被写体の画像を撮像する撮像機能と、を実行させ、前記判定機能が判定する画像に関する性質が、当該画像の動きの方向に関する性質であり、前記電子透かし埋込み機能は、当該画像の動きの方向に直交する方向の高周波成分を含む２次元ウェーブレット係数部分に暗号化された前記付加情報を電子透かしとして埋込む、ことを実行させるプログラムが格納されている。
【００２６】
従って、圧縮符号化する際に画像データを２次元ウェーブレット係数へ変換する過程を経るJPEG2000によれば、撮像画像のような自然画像のデータに関しては高周波成分の情報は元々ランダムに近く画質が悪いものであり、当該高周波成分に対応する２次元ウェーブレット係数部分のデータを削除しても、元の画像に復元した時の画質劣化は少ないので、対象となる画像の性質に応じて、高周波成分が多くなる２次元ウェーブレット係数部分に埋込むことで、復元される画像の劣化を抑制しつつ、その画像圧縮の圧縮率を向上させることができる。
【００２７】
【発明の実施の形態】
本発明の一実施の形態を図面に基づいて説明する。
【００２８】
［JPEG2000アルゴリズムの概要について］
本実施の形態は、JPEG2000アルゴリズムを利用するものであるが、JPEG2000アルゴリズム自体は各種文献、公報等により周知であるので、詳細は省略し、その概要について説明する。図１は、JPEG2000アルゴリズムの概要を説明するためのブロック図である。JPEG2000のアルゴリズムは、色空間変換・逆変換部１１０、２次元ウェーブレット変換・逆変換部１１１、量子化・逆量子化部１１２、エントロピー符号化・復号化部１１３、タグ処理部１１４で構成されている。JPEG2000の特徴の一つは、前述したように高圧縮領域における画質が良いという長所を持つ２次元離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform）を用いている点である。また、もう一つの大きな特徴は、最終段に符号形成を行うために、タグ処理部１１４と呼ばれる機能ブロックが追加されており、コードストリームの生成や解釈が行われる。そして、コードストリームによって、JPEG2000は様々な便利な機能を実現できるようになった。例えば、図２は、デコンポジションレベル（ウェーブレット分割レベル＋１）が３の場合の、各デコンポジションレベルにおけるサブバンドの一例を示す図で、図２に示したブロックベースでのＤＷＴにおけるオクターブ分割の階層に対応した任意の階層で、静止画像の圧縮伸長処理を停止させることができる。
【００２９】
また、原画像の入出力部分には、色空間変換・逆変換部１１０が用意されることが多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＣｒＣｂあるいはＹＵＶ表色系への変換又は逆の変換を行う部分がこれに相当する。
【００３０】
以下、JPEG2000アルゴリズム、特にウェーブレット変換について、説明する。
【００３１】
符号化時には、各コンポーネントの各タイルのデータが、色空間変換部１１０に入力され、色空間変換を施された後、２次元ウェーブレット変換部１１１で２次元ウェーブレット変換（順変換）が適用されて周波数帯に空間分割される。
【００３２】
図２には、デコンポジションレベルが３の場合の、各デコンポジションレベルにおけるサブバンドを示している。即ち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジションレベル０（符号１２０））に対して、２次元ウェーブレット変換を施し、デコンポジションレベル１（符号１２１）に示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジションレベル２（符号１２２）に示すサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジションレベル３（符号１２３）に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。
【００３３】
さらに、図２では、各デコンポジションレベルにおいて符号化の対象となるサブバンドを、グレーで表してある。例えば、デコンポジションレベルを３とした時、グレーで示したサブバンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。
【００３４】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、量子化部１１２で対象ビット周辺のビットからコンテキストが生成される。量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、プレシンクトと呼ばれる重複のない矩形に分割される。ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、JPEG2000では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素或いはコード・ブロック毎に「ビットプレーン」に順位付けを行うことができる。
【００３５】
エントロピー符号化部１１３では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。最後にタグ処理部１１４は、エントロピコーダ部からの全符号化データを１本のコードストリームに結合するとともに、それにタグを付加する処理を行う。図３に、コードストリームの構造を簡単に示している。このようなコードストリームの先頭と各タイルを構成する部分タイルの先頭には、ヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、コードストリームの終端には、再びタグが置かれる。
【００３６】
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコードストリームから画像データを生成する。この場合、タグ処理部１１４は、外部より入力したコードストリームに付加されたタグ情報を解釈し、コードストリームを各コンポーネントの各タイルのコードストリームに分解し、その各コンポーネントの各タイルのコードストリーム毎に復号化処理が行われる。コードストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、逆量子化部１１２で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー復号化部１１３で、このコンテキストとコードストリームから確率推定によって復号化を行い対象ビットを生成し、それを対象ビットの位置に書き込む。
【００３７】
このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット逆変換部１１１で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部１１０によって元の表色系のデータに変換される。
【００３８】
以上が、「JPEG2000アルゴリズム」の概要である。
【００３９】
［画像処理装置］
図４は、本発明が適用される画像処理装置の一例としてのデジタルカメラ１のハードウエア構成を概略的に示すブロック図、図５はその外観構成を示す概略斜視図である。
【００４０】
本実施の形態のデジタルカメラ１は、概略的には、図４に示すように、撮像部１１と、信号処理部１２と、メモリ制御部１３と、主制御部１４と、フレームメモリ１５と、インタフェース１６と、表示部１７と、外部記憶部１８と、撮影モード設定部１９とを備える。そして、撮像部１１はレンズ２１と、絞り２２と、シャッタ２３と、光電変換素子２４と、前処理部２５とを含む。
【００４１】
ここで、信号処理部１２は、前処理部２５とメモリ制御部１３、主制御部１４及びインタフェース１６に接続されている。また、メモリ制御部１３はさらにフレームメモリ１５に接続されている。主制御部１４はさらに、メモリ制御部１３と撮影モード設定部１９に接続されている。また、フレームメモリ１５は、メモリ制御部１３に接続されている。インタフェース１６はさらに表示部１７及び外部記憶部１８に接続されている。
【００４２】
一方、撮像部１１においては、レンズ２１と絞り２２、シャッタ２３、光電変換素子２４が光軸上でこの順に配置され、光電変換素子２４は前処理部２５に接続されている。
【００４３】
また、撮像部１１の光電変換素子２４には例えばＣＣＤが使用されている。また、前処理部２５にはプリアンプや自動利得制御回路（Auto Gain Control−AGC）等からなるアナログ信号処理部やアナログ−デジタル変換器（Ａ／Ｄ変換器）が備えられ、光電変換素子２４より出力されたアナログ映像信号に対して、増幅やクランプ等の前処理が施された後、上記アナログ映像信号がデジタル映像信号に変換される。
【００４４】
また、信号処理部１２はデジタル信号処理プロセッサ（DSPプロセッサ）等により構成され、前述のJPEG2000アルゴリズムによる画像圧縮機能を有し、撮像部１１において得られたデジタル映像信号に対して色分解、ホワイトバランス調整、γ補正など種々の画像処理を施す。また、メモリ制御部１３はこのようにして処理された画像信号をフレームメモリ１５へ格納したり、逆にフレームメモリ１５に格納された画像信号を読出したりする処理を行う。また、主制御部１４は当該デジタルカメラの各部を集中的に制御するＣＰＵ、このＣＰＵが使用する各種制御プログラムなどを記憶したＲＯＭ、ワークエリアとなるＲＡＭを有するマイクロコンピュータ構成のものである。なお、ＲＯＭに格納されている制御プログラムに代えて、図５に示すように当該制御プログラムを格納した記憶媒体２６をデジタルカメラ１に装着し、デジタルカメラ１のＣＰＵに当該制御プログラムを実行させるようにしてもよい。また、フレームメモリ１５は少なくとも２枚の画像を格納し、一般的にはＶＲＡＭ，ＳＲＡＭ，ＤＲＡＭ等の半導体メモリが使用される。
【００４５】
ここで、フレームメモリ１５から読出された画像信号は、信号処理部１２において画像圧縮等の信号処理が施された後、インタフェース１６を介して外部記憶部１８に保存される。この外部記憶部１８はインタフェース１６を介して供給される画像信号などの種々の信号を読み書きし、ＩＣメモリカードや光磁気ディスク等により構成される。ここで外部記憶部１８として、モデムカードやＩＳＤＮカードが使用されれば、ネットワークを経由して画像信号を直接遠隔地の記録媒体に送信することもできる。
【００４６】
また、逆に外部記憶部１８に記録された画像信号の読出しは、インタフェース１６を介して信号処理部１２へ画像信号が送信され、信号処理部１２において画像伸長が施されることによって行われる。一方、外部記憶部１８及びフレームメモリ１５から読出された画像信号の表示は、信号処理部１２において画像信号に対してデジタル−アナログ変換（Ｄ／Ａ変換）や増幅などの信号処理を施した後、インタフェース１６を介して表示部１７に送信することにより行われる。ここで、表示部１７は、インタフェース１６を介して供給された画像信号に応じて画像を表示し、例えばデジタルカメラ１の筐体に設置された液晶表示装置により構成される。
【００４７】
また、外観的には、図５に示すように、電源スイッチ３１、シャッタ３２、ファインダ３３、撮影モード設定部１９に撮影モードを設定するための撮影モード設定キー３４、表示部１７に表示された画像を上下方向にスクロールさせるためのスクロールキー３５，３６、決定キー３７等を備えている。
【００４８】
さらに、このようなデジタルカメラ１においてその撮影位置等の各種情報を取得するためのセンサ類４１が設けられており、信号処理部１２に接続されている。このセンサ類４１としては、ＧＰＳ衛星（図示せず）からの電波を受信して或る時点での当該デジタルカメラ１の地球上での位置情報（緯度及び経度）を時間情報とともに検知するためのＧＰＳ受信器４２、被写体撮像の方角（東西南北等）を検知する方角センサとしての方位計４３、被写体撮像の上下方向の方向性を検知する上下角度センサとしての加速度センサ４４、当該デジタルカメラ１が位置する場所の高度（標高）を検知するための高度センサとしての高度計４５、被写体撮像に伴う当該デジタルカメラ１の姿勢を検知する姿勢検知手段としてのジャイロスコープ４６等が設けられている。これらのセンサ類による各々の情報の検知方法等については、周知であるため、その説明は省略する。
【００４９】
なお、例えばＧＰＳ受信器４２等は、当該デジタルカメラ１のカメラボディに対して着脱自在に設けられており、任意に取外し自在とされている。例えば、全てのユーザが位置情報等を後述のように画像データ中に付加情報として埋込むことを希望するとは限らず、また、画像を見ればどこで撮影されたか周知の場合などは付加情報を入れることで圧縮画像データ量が大きくなってしまうこともあるので、不要であれば画像データへ付加情報を入れないことも選択できるほうが便利なためである。さらに、持ち運ぶことを想定しているデジタルカメラ１のような携帯機器の場合には、当該機器を軽くするため、及び、電池寿命を長くするために、例えば、ＧＰＳ受信器４２部分をカメラボディから取外せることが望ましい。
【００５０】
［撮影画像の圧縮符号化処理］
信号処理部１２において実行される本実施の形態の撮影画像の圧縮符号化処理について、図６に示す概略機能ブロック図を参照して説明する。即ち、信号処理部12は図１に示したようなJPEG2000アルゴリズムによる画像圧縮機能を有するが、図６では特に圧縮符号化のみに関与する圧縮手段１１５を抽出して示すものである。この圧縮手段１１５に対して、当該圧縮手段１１５に入力される圧縮符号化の対象となる撮像部１１で撮像された画像データとセンサ類４１からのデータとを入力として、前述の画像に関する性質を判定する性質判定手段５１が設けられている。ここに、画像に関する性質として、本実施の形態では、当該画像の動きの方向に関する性質を対象としている。この動きの方向としては、画像自体が動画の場合であって被写体の動く方向（例えば、水平方向とか上下方向）であってもよく、或いは、被写体は固定で（静止画）デジタルカメラ１（撮像部１１）側が移動する場合であってもよく、要は、被写体とデジタルカメラ１（撮像部１１）との間で相対的に移動する動きがある場合の方向性であればよい。デジタルカメラ１側が移動する場合であれば、ＧＰＳ受信器４２により検知される位置情報の変化やジャイロスコープ４６により検知されるデジタルカメラ１の姿勢情報の変化の様子により判定すればよい。
【００５１】
さらに、デジタルカメラ１で撮像された画像データ中に付与する付加情報を生成する付加情報生成手段５２が設けられている。この付加情報生成手段５２が生成する付加情報の内容は任意であるが、本実施の形態では、撮像時点で主にセンサ類４１から取得される位置情報等の各種検知情報をその内容とするため、センサ類４１の検知情報が付加情報生成手段５２に入力されている。この付加情報生成手段５２中の出力側には、生成された付加情報の内容の改ざんを防止する等のために暗号化させる暗号化手段５３が含まれている。この暗号化手段５３による暗号化方法しては公知の手法を用いればよく、例えば、復号化時に付加情報を再現するための秘密鍵（カメラメーカ毎、カメラ機種毎、等で設定される）を利用する等の方法によればよい。
【００５２】
また、この暗号化手段５３により暗号化された付加情報を圧縮手段１１５により圧縮符号化される画像データ中に電子透かしとして視覚的に見えない状態で埋込む電子透かし埋込み手段５４が設けられている。この電子透かしの埋込み方法自体に関しては各種あるが、それらの公知の手法を利用すればよい。ここに、本実施の形態の電子透かし埋込み手段５４は電子透かしを２次元ウェーブレット変換部１１１により２次元ウェーブレット係数に変換された係数部分に埋込むものであり、その埋込み部分を性質判定手段５１による判定結果に基づき特定するものである。
【００５３】
このような構成の下、主制御部１４のＣＰＵにより実行される撮像時の画像圧縮符号化処理の動作制御例を図７に示す概略フローチャートを参照して説明する。まず、この圧縮符号化処理は、シャッタ３２操作による撮像毎に行われるため、シャッタ３２操作の有無を判定する（ステップＳ１）。シャッタ３２押されて被写体が撮像された場合には（Ｓ１のＹ）、その撮像時点の位置情報等に基づき付加情報が生成され、かつ、暗号化される（Ｓ２）。このステップＳ２の処理が付加情報生成手段５２の機能として実行される。また、撮像時点の画像に関して動きがあるか否かを判定する（Ｓ３）。このステップＳ３の処理が性質判定手段５１の機能として実行され、画像に動きがあるか（動画又はデジタルカメラ１に動きがあるか）又は動きがないかが判定される。画像に動きがない場合には（Ｓ３のＮ）、２次元ウェーブレット係数中の水平方向高周波・垂直方向高周波成分となるサブバンドＨＨの部分を埋込み部分として、暗号化された付加情報を電子透かしとして埋込む（Ｓ４）。画像に動きがある場合（Ｓ３のＹ）、その動きの方向が左右方向であれば（Ｓ５のＹ）、２次元ウェーブレット係数中でその動きの方向（水平方向）に直交する方向（垂直方向）の高周波成分を含むサブバンドＨＬ，ＨＨの部分を埋込み部分として、暗号化された付加情報を電子透かしとして埋込む（Ｓ６）。一方、その動きの方向が上下方向（垂直方向）であれば（Ｓ５のＮ）、２次元ウェーブレット係数中でその動きの方向（垂直方向）に直交する方向（水平方向）の高周波成分を含むサブバンドＬＨ，ＨＨの部分を埋込み部分として、暗号化された付加情報を電子透かしとして埋込む（Ｓ７）。これらのステップＳ４〜Ｓ７の処理が電子透かし埋込み手段５４の機能として実行される。
【００５４】
その後は、量子化等の通常のJPEG2000アルゴリズムに従った圧縮符号化処理を行う（Ｓ８）。
【００５５】
つまり、本実施の形態では、圧縮符号化の対象となる画像の性質、特にその動きの方向に応じて、暗号化された付加情報を電子透かしとして埋込む２次元ウェーブレット係数部分を特定することで、画像の劣化を防止するようにしたものである。
【００５６】
これは、JPEG2000アルゴリズムにおいて図３等で説明したウェーブレット変換の特徴を利用したものである。いま、図８（ａ）に示すような或る自然画像データをウェーブレット変換すると、その変換結果は、図８（ｂ）に示すように表すことができる。即ち、水平方向低周波・垂直方向低周波成分となるサブバンドＬＬには画像データ中の全体像が１／２に縮小されて現れ、水平方向低周波・垂直方向高周波成分となるサブバンドＬＨには横線（水平方向の線）画像が現れ、水平方向高周波・垂直方向低周波成分となるサブバンドＨＬには縦線（垂直方向の線）画像が現れ、水平方向高周波・垂直方向高周波成分となるサブバンドＨＨには斜め線画像が現れる特性を有する。
【００５７】
即ち、JPEG2000アルゴリズムではウェーブレット変換を使用しているため、水平方向と垂直方向とに対して低周波成分と高周波成分とに分離されたデータが得られる。図８でサブバンドＨＨは水平、垂直とも高周波成分、サブバンドＨＬは垂直は低周波、水平は高周波成分、サブバンドＬＨは垂直は高周波成分、水平は低周波成分、サブバンドＬＬは水平、垂直とも低周波成分のデータになる。一般的な自然画像データは高周波成分の情報はランダムに近く、元々画質が悪いため、情報を削除しても、元の画像に復元したときの劣化は少ない。これを利用してJPEG2000アルゴリズムでは基本的に高圧縮でも高画質の画像圧縮を可能にしている。そこで、本実施の形態では、暗号化された付加情報を電子透かしとして埋込む際、画質を重要視するのであれば高周波成分が多くなるウェーブレット係数部分に埋込むことで、画質の劣化が少なくなるようにしたものである。例えば、動画の場合、デジタルカメラ１が水平方向に動いているとき名水平方向の高周波成分が高くなる性質があり、このため、ウェーブレット係数にしたとき、サブバンドＨＬ，ＨＨの成分がサブバンドＬＬ，ＬＨの成分に比べて大きくなる。しかし、サブバンドＨＬ，ＨＨ成分は高周波成分なのでデータを削減しても復号時の画質の劣化が少なくなる。そこで、付加情報の電子透かしの情報をウェーブレット係数のサブバンドＨＬ，ＨＨの部分に埋込むことで、画質の劣化を少なくすることができる。上下方向（垂直方向）に動く場合には、同様に、付加情報の電子透かしの情報をウェーブレット係数のサブバンドＬＨ，ＨＨの部分に埋込むことで、画質の劣化を少なくすることができる。
【００５８】
この場合、電子透かしとして埋込まれる付加情報中には、ＧＰＳ受信器４２により検知された撮像時点での位置情報及び時間情報が含まれているので、改ざんが困難な上に、当該画像の証拠としての信憑性の高いものとなり、例えば、事件が発生した場合の証拠画像としての有効性が高まる。
【００５９】
また、本実施の形態では、画像が撮影された位置情報に限らず、画像が撮影された方角（東西南北）、上下角度、高さ（高度）に関する情報を付加情報中に含ませることが可能とされており、これらの情報を含めて付加情報として画像データ中に埋込んでおくことにより、画像が撮影された状況を詳しく知ることができる。また、撮影された画像が動画データの場合、画像を撮影する場所が少しずつ動く場合がある。このときに、どの位置からどのように動いたかを示すデジタルカメラ１の姿勢情報を付加情報として画像データ中に埋込んでおくことにより、画像が撮影された状況を詳しく知ることが可能になる。
【００６０】
【発明の効果】
請求項１，１０，１１記載の発明によれば、圧縮符号化する際に画像データを２次元ウェーブレット係数へ変換する過程を経るJPEG2000においては、撮像画像のような自然画像のデータに関しては高周波成分の情報は元々ランダムに近く画質が悪いものであり、当該高周波成分に対応する２次元ウェーブレット係数部分のデータを削除しても、元の画像に復元した時の画質劣化は少ないことから、対象となる画像の性質に応じて、このような高周波成分が多くなる２次元ウェーブレット係数部分に電子透かしを埋込むことで、復元される画像の劣化を抑制しつつ、その画像圧縮の圧縮率を向上させることができる。
【００６１】
請求項２，３，４記載の発明によれば、請求項１記載の画像処理装置において、画像自体が動画の場合或いは撮像素子が移動する場合のように被写体と撮像側との間で相対的に移動する動きがある場合、その動きの方向に一致する各方向の高周波成分が高くなる性質があることから、当該画像の動きの方向に直交する方向の高周波成分を含む２次元ウェーブレット係数部分に暗号化された付加情報を電子透かしとして埋込むことで、画質劣化を抑制することができる。
【００６２】
請求項５記載の発明によれば、請求項１ないし４の何れか一記載の画像処理装置において、対象となる画像データの撮像位置等の位置情報を付加情報に含ませたので、当該画像に関する証拠としての信憑性を高めつつ、当該付加情報を埋込むことによる画質劣化を抑制することができる。
【００６３】
請求項６記載の発明によれば、請求項１ないし５の何れか一記載の画像処理装置において、被写体撮像の東西南北等の方角に関する方角情報を付加情報に含ませたので、撮像時の状況を詳しく知ることが可能な上に、当該付加情報を埋込むことによる画質劣化を抑制することができる。
【００６４】
請求項７記載の発明によれば、請求項１ないし６の何れか一記載の画像処理装置において、被写体撮像の上下方向の方向性（上下角）に関する上下角度情報を付加情報に含ませたので、撮像時の状況を詳しく知ることが可能な上に、当該付加情報を埋込むことによる画質劣化を抑制することができる。
【００６５】
請求項８記載の発明によれば、請求項１ないし７の何れか一記載の画像処理装置において、被写体撮像の高度情報を付加情報に含ませたので、撮像時の状況を詳しく知ることが可能な上に、当該付加情報を埋込むことによる画質劣化を抑制することができる。
【００６６】
請求項９記載の発明によれば、請求項１ないし８の何れか一記載の画像処理装置において、被写体撮像に伴う当該装置の姿勢情報を付加情報に含ませたので、撮像時の状況を詳しく知ることが可能な上に、当該付加情報を埋込むことによる画質劣化を抑制することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の前提となるJPEG2000方式の基本となるアルゴリズムを実現するシステムの機能ブロック図である。
【図２】デコンポジションレベル数が３の場合の、各デコンポジションレベルにおけるサブバンドを示す説明図である。
【図３】コードストリームを示す説明図である。
【図４】画像処理装置としてのデジタルカメラのハードウエア構成を概略的に示すブロック図である。
【図５】その外観構成を示す概略斜視図である
【図６】圧縮符号化手段の構成例を示す機能ブロック図である。
【図７】その圧縮符号化処理例を示す概略フローチャートである。
【図８】ウェーブレット変換処理による各サブバンドの特徴を模式的に示す説明図である。
【符号の説明】
１画像処理装置
２４撮像素子
４２ＧＰＳ受信器
４３方角センサ
４４上下角度センサ
４５高度センサ
４６姿勢センサ
５１判定手段
５２付加情報生成手段
５４電子透かし埋込み手段
１１５圧縮手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus such as an imaging apparatus typified by a digital camera that images a subject, a program used for the image processing, and a storage medium.
[0002]
[Prior art]
In recent years, with the advance of image processing technology, there is an increasing demand for higher definition of images. As an example of an image processing apparatus, taking a digital camera as an example, the price of a high-performance charge coupled device having a number of pixels of 3 million or more has been reduced, and it has come to be widely used in products in a popular price range. Yes. High-definition images are becoming popular due to the effects of high-performance, low-priced image processing equipment on the market, and it is expected that demand for high-definition images will increase in all situations.
[0003]
Against this background, it is inevitable that the demand for compression / decompression technology that can easily handle high-definition images will continue to increase. Therefore, as one of the image compression techniques that satisfy such requirements, JPEG2000, which has conventionally been able to process a high-definition image by dividing it into small units and can decode a high-quality image even at a high compression rate, is called JPEG2000. There is technology.
[0004]
Here, in some digital cameras or the like, some additional information is embedded as a digital watermark when image data is compression-encoded. As one example, for example, positional information of a shooting location detected by using a GPS (Global Position System) satellite in order to increase the credibility as evidence of an image shot by a digital camera is used as additional information. In addition, there is a proposal example in which the additional information is encrypted and embedded as a digital watermark in order to make it difficult to falsify (for example, see Patent Document 1). In addition, in this type of image processing, particularly image compression processing, many proposals have been made regarding the addition of additional information, embedding with a digital watermark, and the like.
[0005]
[Patent Document 1]
JP 2000-50193 A
[0006]
[Problems to be solved by the invention]
However, the present invention is not limited to the example of Patent Document 1, and if additional information such as position information is embedded as digital watermark in image data, the embedded image deteriorates image quality compared to the original image data. is there. Therefore, when priority is given to image quality, it is not appropriate to embed additional information such as position information as a digital watermark. For example, coexistence with the desire to improve the credibility of the image as evidence It becomes difficult.
[0007]
An object of the present invention is to perform high compression while suppressing deterioration of image data as much as possible when encrypting additional information such as position information and embedding it as a digital watermark.
[0008]
In particular, it is to suppress deterioration of image data as much as possible while improving the credibility of the image as evidence.
[0009]
[Means for Solving the Problems]
An image processing apparatus according to a first aspect of the present invention is an image processing apparatus having compression means for compressing and encoding image data through a process of converting the image data into a two-dimensional wavelet coefficient. Determining means for performing, additional information generating means for generating encrypted additional information embedded in the image data to be compression-encoded, and an image compressed and encoded by the compression means based on the determination result by the determining means A digital watermark embedding unit that embeds the encrypted additional information as a digital watermark in a two-dimensional wavelet coefficient portion having a high frequency component in the data;An image sensor that captures an image of a subject to be compression-encoded, and the property related to the image determined by the determination unit is a property related to the direction of movement of the image, and the digital watermark embedding unit includes Embedding the additional information encrypted as a digital watermark in a two-dimensional wavelet coefficient portion including a high-frequency component in a direction orthogonal to the direction of motion of the image;It is characterized by that.
[0010]
Therefore, according to JPEG2000, which undergoes a process of converting image data into two-dimensional wavelet coefficients during compression encoding, high-frequency component information is originally close to random and poor in image quality for natural image data such as captured images. Even if the data of the two-dimensional wavelet coefficient part corresponding to the high-frequency component is deleted, there is little deterioration in image quality when restored to the original image. By embedding a digital watermark in a two-dimensional wavelet coefficient portion having a large number of components, it is possible to improve the compression ratio of the image compression while suppressing deterioration of the restored image.
[0012]
Thus, if the image itself is a video (eg, claims2) Or when the image sensor moves (eg, claims)3When there is a movement that moves relatively between the subject and the imaging side as in (), the high-frequency component in each direction that coincides with the direction of the movement is high, so that it is orthogonal to the movement direction of the image. By embedding additional information encrypted as a digital watermark in a two-dimensional wavelet coefficient portion including a high-frequency component in the direction of image quality, image quality deterioration can be suppressed.
[0013]
Claim4The invention described in claim 1 to claim 1ThreeThe image processing apparatus according to any one of the above, further comprising a GPS receiver that receives radio waves from a GPS satellite, wherein the additional information generation unit obtains position information on the earth of the apparatus obtained from the GPS receiver as the additional information. including.
[0014]
Therefore, since the position information such as the imaging position of the target image data is included in the additional information, the image quality deterioration due to embedding the additional information can be suppressed while improving the credibility as evidence regarding the image.
[0015]
Claim5The invention described in claim 1 to claim 1FourThe image processing apparatus according to any one of claims 1 to 6, further comprising a direction sensor that detects a direction of subject imaging, wherein the additional information generation unit obtains direction information indicating the direction of subject imaging by the device obtained from the direction sensor as the additional information. including.
[0016]
Therefore, since the additional information includes direction information regarding the direction of subject imaging such as east, west, north, and south, it is possible to know in detail the situation at the time of imaging, and it is possible to suppress deterioration in image quality due to embedding the additional information. .
[0017]
Claim6 notesThe invention described in claim 1 to claim 1Of 5The image processing apparatus according to any one of the preceding claims, further comprising a vertical angle sensor that detects the vertical directionality of subject imaging, wherein the additional information generation unit obtains subject imaging by the device obtained from the vertical angle sensor as the additional information. It includes vertical angle information indicating the directionality in the vertical direction.
[0018]
Accordingly, since the additional information includes the vertical angle information related to the vertical directionality (vertical angle) of the subject imaging, it is possible to know the situation at the time of imaging in detail and to embed the additional information. Image quality deterioration can be suppressed.
[0019]
Claim7The invention described in claim 1 to claim 16'sThe image processing apparatus according to claim 1, further comprising an altitude sensor that detects an altitude position of the apparatus, wherein the additional information generation unit includes altitude information of the apparatus obtained from the altitude sensor as the additional information.
[0020]
Accordingly, since the altitude information of the subject imaging is included in the additional information, it is possible to know in detail the situation at the time of imaging, and it is possible to suppress image quality deterioration caused by embedding the additional information.
[0021]
Claim8The invention described in claim 1 to claim 17'sThe image processing apparatus according to any one of claims 1 to 3, further comprising an attitude detection unit that detects an attitude of the apparatus accompanying subject imaging, wherein the additional information generation unit uses the attitude information of the apparatus obtained from the attitude detection unit as the additional information. Including.
[0022]
Accordingly, since the additional information includes the posture information of the device associated with the subject imaging, it is possible to know in detail the situation at the time of imaging, and it is possible to suppress image quality deterioration caused by embedding the additional information.
[0023]
Claim9The program of the invention described is a program that is installed in or interpreted by a computer included in an image processing apparatus having a compression function that compresses and encodes image data through a process of converting the image data into a two-dimensional wavelet coefficient. According to the determination function for determining the property relating to the image to be compression-encoded in the computer, the additional information generation function for generating the encrypted additional information embedded in the image data to be compression-encoded, and the determination function Based on the determination result, a digital watermark embedding function for embedding the encrypted additional information as a digital watermark in a two-dimensional wavelet coefficient portion in which high frequency components increase in image data compressed and encoded by the compression function;An image capturing function that captures an image of a subject to be compressed and encoded, and the property related to the image determined by the determination function is a property related to the direction of movement of the image, and the digital watermark embedding function is The additional information encrypted is embedded as a digital watermark in a two-dimensional wavelet coefficient portion including a high-frequency component in a direction orthogonal to the direction of motion of the image.
[0024]
Therefore, according to JPEG2000, which undergoes a process of converting image data into two-dimensional wavelet coefficients during compression encoding, high-frequency component information is originally close to random and poor in image quality for natural image data such as captured images. Even if the data of the two-dimensional wavelet coefficient part corresponding to the high frequency component is deleted, there is little deterioration in image quality when restored to the original image, so there are many high frequency components depending on the properties of the target image. By embedding in the two-dimensional wavelet coefficient portion, it is possible to improve the compression ratio of the image compression while suppressing the deterioration of the restored image.
[0025]
Claim10 notesThe storage medium according to the present invention is a program that is installed in or interpreted by a computer included in an image processing apparatus having a compression function that compresses and encodes image data through a conversion process into two-dimensional wavelet coefficients, and is executed. A determination function for determining the properties of the image to be compressed and encoded in the computer; an additional information generation function for generating encrypted additional information embedded in the image data to be compressed and encoded; and the determination function A digital watermark embedding function for embedding the encrypted additional information as a digital watermark in a two-dimensional wavelet coefficient portion in which high-frequency components increase in image data compressed and encoded by the compression function,An image capturing function that captures an image of a subject to be compressed and encoded, and the property related to the image determined by the determination function is a property related to the direction of movement of the image, and the digital watermark embedding function is Embedding the additional information encrypted as a digital watermark in a two-dimensional wavelet coefficient portion including a high-frequency component in a direction orthogonal to the direction of motion of the image.Stores the program to be executed.
[0026]
Therefore, according to JPEG2000, which undergoes a process of converting image data into two-dimensional wavelet coefficients during compression encoding, high-frequency component information is originally close to random and poor in image quality for natural image data such as captured images. Even if the data of the two-dimensional wavelet coefficient part corresponding to the high frequency component is deleted, there is little deterioration in image quality when restored to the original image, so there are many high frequency components depending on the properties of the target image. By embedding in the two-dimensional wavelet coefficient portion, it is possible to improve the compression ratio of the image compression while suppressing the deterioration of the restored image.
[0027]
DETAILED DESCRIPTION OF THE INVENTION
An embodiment of the present invention will be described with reference to the drawings.
[0028]
[Outline of JPEG2000 algorithm]
Although this embodiment uses the JPEG2000 algorithm, the JPEG2000 algorithm itself is well known from various documents, gazettes, etc., so the details will be omitted and the outline will be described. FIG. 1 is a block diagram for explaining the outline of the JPEG2000 algorithm. The algorithm of JPEG2000 includes a color space conversion / inverse conversion unit 110, a two-dimensional wavelet transform / inverse conversion unit 111, a quantization / inverse quantization unit 112, an entropy encoding / decoding unit 113, and a tag processing unit 114. Yes. One of the features of JPEG2000 is that it uses a two-dimensional discrete wavelet transform (DWT) having the advantage of good image quality in the high compression region as described above. Another major feature is that a function block called a tag processing unit 114 is added to perform code formation at the final stage, and a code stream is generated and interpreted. And with the code stream, JPEG2000 can realize various convenient functions. For example, FIG. 2 is a diagram showing an example of subbands at each decomposition level when the decomposition level (wavelet division level + 1) is 3, and the hierarchy of octave division in the block-based DWT shown in FIG. It is possible to stop the compression / decompression process of a still image at an arbitrary hierarchy corresponding to the above.
[0029]
In many cases, a color space conversion / inverse conversion unit 110 is prepared at the input / output portion of the original image. For example, the RGB color system composed of R (red) / G (green) / B (blue) components of the primary color system and the Y (yellow) / M (magenta) / C (cyan) components of the complementary color system This corresponds to the part that performs conversion from the YMC color system consisting of the above to YCrCb or YUV color system or the reverse conversion.
[0030]
Hereinafter, the JPEG2000 algorithm, particularly the wavelet transform will be described.
[0031]
At the time of encoding, the data of each tile of each component is input to the color space conversion unit 110 and subjected to color space conversion, and then two-dimensional wavelet conversion (forward conversion) is applied by the two-dimensional wavelet conversion unit 111. The space is divided into frequency bands.
[0032]
FIG. 2 shows subbands at each decomposition level when the decomposition level is 3. FIG. That is, the tile original image (0LL) (decomposition level 0 (reference numeral 120)) obtained by the tile division of the original image is subjected to two-dimensional wavelet transform, and the subband indicated by the decomposition level 1 (reference numeral 121). (1LL, 1HL, 1LH, 1HH) are separated. Subsequently, the low-frequency component 1LL in this hierarchy is subjected to two-dimensional wavelet transform to separate subbands (2LL, 2HL, 2LH, 2HH) indicated by the decomposition level 2 (reference numeral 122). Similarly, the low-frequency component 2LL is also subjected to two-dimensional wavelet transform to separate subbands (3LL, 3HL, 3LH, 3HH) indicated by the decomposition level 3 (reference numeral 123).
[0033]
Further, in FIG. 2, subbands to be encoded at each decomposition level are represented in gray. For example, when the decomposition level is 3, the subbands shown in gray (3HL, 3LH, 3HH, 2HL, 2LH, 2HH, 1HL, 1LH, 1HH) are to be encoded, and the 3LL subband is not encoded.
[0034]
Next, the bits to be encoded are determined in the specified encoding order, and the quantization unit 112 generates a context from the bits around the target bits. The wavelet coefficients that have undergone the quantization process are divided into rectangular shapes called precincts that do not overlap for each subband. The coefficient values after wavelet transform can be quantized and encoded as they are, but in JPEG2000, in order to increase the encoding efficiency, the coefficient values are decomposed into “bit plane” units, and each pixel or code block is divided. Ranking can be performed on “bitplanes”.
[0035]
The entropy encoding unit 113 performs encoding on each component tile by probability estimation from the context and the target bit. In this way, encoding processing is performed in tile units for all components of the original image. Finally, the tag processing unit 114 performs processing for combining all encoded data from the entropy coder unit into one code stream and adding a tag thereto. FIG. 3 simply shows the structure of the code stream. Tag information called a header is added to the head of such a code stream and the head of the partial tiles constituting each tile, followed by encoded data of each tile. A tag is placed again at the end of the code stream.
[0036]
On the other hand, at the time of decoding, contrary to the time of encoding, image data is generated from the code stream of each tile of each component. In this case, the tag processing unit 114 interprets the tag information added to the code stream input from the outside, decomposes the code stream into code streams of each tile of each component, and each code stream of each tile of each component. Decryption processing is performed. The position of the bit to be decoded is determined in the order based on the tag information in the code stream, and the inverse quantization unit 112 determines from the sequence of the peripheral bits (that has already been decoded) at the target bit position. A context is created. The entropy decoding unit 113 performs decoding by probability estimation from the context and the code stream to generate a target bit, and writes it in the position of the target bit.
[0037]
Since the data decoded in this way is spatially divided for each frequency band, the two-dimensional wavelet inverse transform unit 111 performs two-dimensional wavelet inverse transform on each of the tiles of each component of the image data. Restored. The restored data is converted into original color system data by the color space inverse conversion unit 110.
[0038]
The above is the outline of the “JPEG2000 algorithm”.
[0039]
[Image processing device]
4 is a block diagram schematically showing a hardware configuration of a digital camera 1 as an example of an image processing apparatus to which the present invention is applied, and FIG. 5 is a schematic perspective view showing an external configuration thereof.
[0040]
As schematically shown in FIG. 4, the digital camera 1 according to the present embodiment includes an imaging unit 11, a signal processing unit 12, a memory control unit 13, a main control unit 14, a frame memory 15, An interface 16, a display unit 17, an external storage unit 18, and a shooting mode setting unit 19 are provided. The imaging unit 11 includes a lens 21, a diaphragm 22, a shutter 23, a photoelectric conversion element 24, and a preprocessing unit 25.
[0041]
Here, the signal processing unit 12 is connected to the preprocessing unit 25, the memory control unit 13, the main control unit 14, and the interface 16. The memory control unit 13 is further connected to the frame memory 15. The main control unit 14 is further connected to the memory control unit 13 and the shooting mode setting unit 19. The frame memory 15 is connected to the memory control unit 13. The interface 16 is further connected to the display unit 17 and the external storage unit 18.
[0042]
On the other hand, in the imaging unit 11, the lens 21, the diaphragm 22, the shutter 23, and the photoelectric conversion element 24 are arranged in this order on the optical axis, and the photoelectric conversion element 24 is connected to the preprocessing unit 25.
[0043]
For example, a CCD is used as the photoelectric conversion element 24 of the imaging unit 11. The pre-processing unit 25 includes an analog signal processing unit and an analog-digital converter (A / D converter) including a preamplifier, an automatic gain control circuit (Auto Gain Control-AGC), and the like. After the output analog video signal is subjected to preprocessing such as amplification and clamping, the analog video signal is converted into a digital video signal.
[0044]
The signal processing unit 12 includes a digital signal processor (DSP processor) and the like, has an image compression function based on the above-described JPEG2000 algorithm, and performs color separation and white balance on the digital video signal obtained in the imaging unit 11. Various image processing such as adjustment and γ correction is performed. Further, the memory control unit 13 stores the image signal processed in this way in the frame memory 15 or conversely reads out the image signal stored in the frame memory 15. The main control unit 14 has a microcomputer configuration having a CPU that centrally controls each unit of the digital camera, a ROM that stores various control programs used by the CPU, and a RAM that serves as a work area. Instead of the control program stored in the ROM, as shown in FIG. 5, a storage medium 26 storing the control program is attached to the digital camera 1 so that the CPU of the digital camera 1 executes the control program. It may be. The frame memory 15 stores at least two images, and a semiconductor memory such as a VRAM, SRAM, or DRAM is generally used.
[0045]
Here, the image signal read from the frame memory 15 is subjected to signal processing such as image compression in the signal processing unit 12 and then stored in the external storage unit 18 through the interface 16. The external storage unit 18 reads and writes various signals such as image signals supplied via the interface 16 and is constituted by an IC memory card, a magneto-optical disk, or the like. Here, if a modem card or ISDN card is used as the external storage unit 18, an image signal can be directly transmitted to a remote recording medium via a network.
[0046]
Conversely, reading of the image signal recorded in the external storage unit 18 is performed by transmitting the image signal to the signal processing unit 12 via the interface 16 and performing image expansion in the signal processing unit 12. On the other hand, the image signal read from the external storage unit 18 and the frame memory 15 is displayed after the signal processing unit 12 performs signal processing such as digital-analog conversion (D / A conversion) and amplification on the image signal. This is performed by transmitting to the display unit 17 via the interface 16. Here, the display unit 17 displays an image according to an image signal supplied via the interface 16, and is configured by a liquid crystal display device installed in the housing of the digital camera 1, for example.
[0047]
As shown in FIG. 5, the appearance is displayed on the power switch 31, the shutter 32, the viewfinder 33, the shooting mode setting key 34 for setting the shooting mode in the shooting mode setting unit 19, and the display unit 17. Scroll keys 35 and 36 for scrolling an image up and down, a determination key 37, and the like are provided.
[0048]
Further, the digital camera 1 is provided with sensors 41 for acquiring various information such as the shooting position, and is connected to the signal processing unit 12. The sensors 41 are for receiving radio waves from GPS satellites (not shown) and detecting position information (latitude and longitude) of the digital camera 1 on the earth at a certain point in time together with time information. A GPS receiver 42, an azimuth meter 43 as a direction sensor for detecting the direction of subject imaging (east, west, north, south, etc.), an acceleration sensor 44 as an up-down angle sensor for detecting the vertical direction of subject imaging, and the digital camera 1 There are provided an altimeter 45 as an altitude sensor for detecting the altitude (altitude) of the location where it is located, a gyroscope 46 as an attitude detecting means for detecting the attitude of the digital camera 1 accompanying subject imaging. Since the detection method of each information by these sensors is known, the description is abbreviate | omitted.
[0049]
Note that, for example, the GPS receiver 42 and the like are provided detachably with respect to the camera body of the digital camera 1 and can be arbitrarily removed. For example, not all users desire to embed positional information or the like as additional information in the image data as will be described later, and additional information is inserted when it is known where the image was taken from the image. This may increase the amount of compressed image data, and it is more convenient to select not to add additional information to the image data if unnecessary. Furthermore, in the case of a portable device such as the digital camera 1 that is supposed to be carried, in order to lighten the device and extend the battery life, for example, the GPS receiver 42 portion is removed from the camera body. It is desirable to be able to remove it.
[0050]
[Compressed encoding of captured images]
The captured image compression encoding process of the present embodiment executed in the signal processing unit 12 will be described with reference to a schematic functional block diagram shown in FIG. That is, the signal processing unit 12 has an image compression function based on the JPEG2000 algorithm as shown in FIG. 1, but FIG. 6 shows the compression means 115 that is particularly involved only in compression coding. With respect to the compression means 115, the image data picked up by the image pickup unit 11 to be compressed and encoded and the data from the sensors 41 are input to the compression means 115, and the above-mentioned properties relating to the image are obtained. A property determining means 51 for determining is provided. Here, as the properties relating to the image, in the present embodiment, the properties relating to the direction of movement of the image are targeted. The direction of this movement may be the case where the image itself is a moving image and the direction of movement of the subject (for example, the horizontal direction or the vertical direction), or the subject may be fixed (still image). Part 11) side may move, and the point may be the direction when there is a relative movement between the subject and the digital camera 1 (imaging unit 11). If the digital camera 1 side moves, the determination may be made based on a change in position information detected by the GPS receiver 42 or a change in posture information of the digital camera 1 detected by the gyroscope 46.
[0051]
Further, additional information generating means 52 for generating additional information to be added to the image data captured by the digital camera 1 is provided. The content of the additional information generated by the additional information generating unit 52 is arbitrary, but in the present embodiment, the content includes various detection information such as position information acquired mainly from the sensors 41 at the time of imaging. The detection information of the sensors 41 is input to the additional information generating means 52. The output side of the additional information generating means 52 includes an encrypting means 53 that encrypts the contents of the generated additional information to prevent falsification. A publicly known technique may be used as the encryption method by the encryption means 53. For example, a secret key (set for each camera manufacturer, each camera model, etc.) for reproducing additional information at the time of decryption is used. A method such as use may be used.
[0052]
Further, there is provided a digital watermark embedding unit 54 that embeds the additional information encrypted by the encryption unit 53 in the image data compressed and encoded by the compression unit 115 in a state where it is not visually visible as a digital watermark. . There are various methods for embedding the digital watermark itself, and those known methods may be used. Here, the digital watermark embedding unit 54 according to the present embodiment embeds the digital watermark in the coefficient part converted into the two-dimensional wavelet coefficient by the two-dimensional wavelet transform unit 111, and the embedding part is obtained by the property determination unit 51. It is specified based on the determination result.
[0053]
An example of operation control of image compression encoding processing at the time of imaging executed by the CPU of the main control unit 14 under such a configuration will be described with reference to a schematic flowchart shown in FIG. First, since this compression encoding process is performed every time an image is captured by operating the shutter 32, the presence / absence of the operation of the shutter 32 is determined (step S1). When the subject is imaged by pressing the shutter 32 (Y in S1), additional information is generated and encrypted based on the position information at the time of imaging (S2). The process of step S2 is executed as a function of the additional information generating unit 52. Further, it is determined whether or not there is a motion with respect to the image at the time of imaging (S3). The processing in step S3 is executed as a function of the property determination unit 51, and it is determined whether there is a motion in the image (whether there is a motion in the moving image or the digital camera 1) or no motion. If there is no motion in the image (N in S3), the subband HH part, which is the horizontal high-frequency / vertical high-frequency component in the two-dimensional wavelet coefficient, is used as an embedded part, and the encrypted additional information is used as a digital watermark. Embed (S4). If there is motion in the image (Y in S3) and the direction of the motion is the left-right direction (Y in S5), the direction (vertical direction) orthogonal to the direction of motion (horizontal direction) in the two-dimensional wavelet coefficients The subbands HL and HH including the high-frequency component are embedded as embedded portions, and the encrypted additional information is embedded as a digital watermark (S6). On the other hand, if the direction of the movement is the vertical direction (vertical direction) (N in S5), the sub-phase including the high-frequency component in the direction (horizontal direction) orthogonal to the direction of movement (vertical direction) in the two-dimensional wavelet coefficients. Encrypted additional information is embedded as a digital watermark using the bands LH and HH as embedded portions (S7). The processing of these steps S4 to S7 is executed as a function of the digital watermark embedding means 54.
[0054]
Thereafter, compression encoding processing according to a normal JPEG2000 algorithm such as quantization is performed (S8).
[0055]
In other words, in the present embodiment, by specifying the two-dimensional wavelet coefficient part in which the encrypted additional information is embedded as a digital watermark according to the nature of the image to be compressed and encoded, in particular, the direction of the movement. The image deterioration is prevented.
[0056]
This utilizes the characteristics of the wavelet transform described in FIG. 3 and the like in the JPEG2000 algorithm. Now, when a certain natural image data as shown in FIG. 8A is wavelet transformed, the transformation result can be expressed as shown in FIG. 8B. That is, the entire image in the image data is reduced to 1/2 in the subband LL that is a horizontal low frequency / vertical low frequency component, and the subband LH is a horizontal low frequency / vertical high frequency component. A horizontal line (horizontal line) image appears, and a vertical line (vertical line) image appears in the subband HL, which is a horizontal high-frequency / vertical low-frequency component, and becomes a horizontal high-frequency / vertical high-frequency component. The subband HH has a characteristic that an oblique line image appears.
[0057]
That is, since the JPEG2000 algorithm uses wavelet transform, data separated into a low frequency component and a high frequency component in the horizontal direction and the vertical direction can be obtained. In FIG. 8, the subband HH is a horizontal and vertical high frequency component, the subband HL is a vertical low frequency, the horizontal is a high frequency component, the subband LH is a vertical high frequency component, a horizontal is a low frequency component, and a subband LL is horizontal and vertical. Both become low frequency component data. In general natural image data, the information of high frequency components is close to random, and the image quality is originally poor. Therefore, even if the information is deleted, there is little deterioration when restored to the original image. Utilizing this, the JPEG2000 algorithm basically enables high-quality image compression even at high compression. Therefore, in this embodiment, when embedding the encrypted additional information as a digital watermark, if the image quality is regarded as important, it is embedded in the wavelet coefficient portion where the high frequency component increases, thereby reducing the deterioration of the image quality. It is what I did. For example, in the case of a moving image, when the digital camera 1 is moving in the horizontal direction, there is a property that the high frequency component in the nominal horizontal direction becomes high. Therefore, when the wavelet coefficient is used, the components of the subbands HL and HH are subband LL. , LH is larger than the component of LH. However, since the sub-bands HL and HH components are high-frequency components, deterioration in image quality during decoding is reduced even if data is reduced. Therefore, by embedding the digital watermark information of the additional information in the subbands HL and HH of the wavelet coefficient, it is possible to reduce the deterioration of the image quality. In the case of moving in the vertical direction (vertical direction), the image quality degradation can be reduced similarly by embedding the digital watermark information of the additional information in the subbands LH and HH of the wavelet coefficients.
[0058]
In this case, the additional information embedded as a digital watermark includes position information and time information at the time of imaging detected by the GPS receiver 42, so that it is difficult to tamper with, and evidence of the image. For example, the effectiveness as an evidence image when an incident occurs increases.
[0059]
Further, in the present embodiment, not only the position information at which the image is photographed but also information regarding the direction (east, west, north and south), the vertical angle, and the height (altitude) at which the image was photographed can be included in the additional information. By embedding these information in the image data as additional information, it is possible to know in detail the situation where the image was taken. In addition, when the captured image is moving image data, the location where the image is captured may move little by little. At this time, it is possible to know in detail the situation in which the image was captured by embedding the posture information of the digital camera 1 indicating from which position and how to move as additional information in the image data.
[0060]
【The invention's effect】
According to the first, tenth, and eleventh aspects of the invention, in JPEG2000, which undergoes a process of converting image data into two-dimensional wavelet coefficients during compression encoding, high-frequency components are used for natural image data such as captured images. Since the information of the above is random at random and the image quality is poor, and even if the data of the two-dimensional wavelet coefficient part corresponding to the high frequency component is deleted, there is little image quality deterioration when the original image is restored. By embedding a digital watermark in the two-dimensional wavelet coefficient portion where the high-frequency component increases according to the nature of the image to be improved, the compression rate of the image compression is improved while suppressing the deterioration of the restored image. be able to.
[0061]
According to the second, third, and fourth aspects of the present invention, in the image processing apparatus according to the first aspect, the relative image is captured between the subject and the imaging side as in the case where the image itself is a moving image or the image sensor moves. Since there is a property that the high-frequency component in each direction that coincides with the direction of the motion becomes high, the two-dimensional wavelet coefficient portion including the high-frequency component in the direction orthogonal to the direction of the motion of the image By embedding the encrypted additional information as a digital watermark, image quality deterioration can be suppressed.
[0062]
According to the fifth aspect of the present invention, in the image processing device according to any one of the first to fourth aspects, the position information such as the imaging position of the target image data is included in the additional information. While improving the credibility as evidence, image quality deterioration due to embedding the additional information can be suppressed.
[0063]
According to the sixth aspect of the invention, in the image processing device according to any one of the first to fifth aspects, the direction information relating to the direction of the subject imaging, such as east, west, south, and north, is included in the additional information. In addition, it is possible to suppress image quality deterioration caused by embedding the additional information.
[0064]
According to the seventh aspect of the present invention, in the image processing apparatus according to any one of the first to sixth aspects, since the vertical information on the vertical directionality (vertical angle) of subject imaging is included in the additional information. In addition, it is possible to know in detail the situation at the time of imaging, and it is possible to suppress image quality degradation caused by embedding the additional information.
[0065]
According to the eighth aspect of the invention, in the image processing device according to any one of the first to seventh aspects, since the altitude information of the subject imaging is included in the additional information, the situation at the time of imaging can be known in detail. In addition, it is possible to suppress image quality deterioration caused by embedding the additional information.
[0066]
According to the ninth aspect of the present invention, in the image processing apparatus according to any one of the first to eighth aspects, since the posture information of the apparatus associated with the subject imaging is included in the additional information, the situation at the time of imaging is described in detail. In addition to being able to know, image quality deterioration due to embedding the additional information can be suppressed.
[Brief description of the drawings]
FIG. 1 is a functional block diagram of a system that implements a basic algorithm of the JPEG2000 system that is a premise of an embodiment of the present invention.
FIG. 2 is an explanatory diagram showing subbands at each decomposition level when the number of decomposition levels is 3. FIG.
FIG. 3 is an explanatory diagram showing a code stream.
FIG. 4 is a block diagram schematically showing a hardware configuration of a digital camera as an image processing apparatus.
FIG. 5 is a schematic perspective view showing the external configuration of the apparatus.
FIG. 6 is a functional block diagram showing a configuration example of compression encoding means.
FIG. 7 is a schematic flowchart showing an example of the compression encoding process.
FIG. 8 is an explanatory diagram schematically showing the characteristics of each subband by wavelet transform processing.
[Explanation of symbols]
1 Image processing device
24 Image sensor
42 GPS receiver
43 Direction sensor
44 Vertical angle sensor
45 Altitude sensor
46 Attitude sensor
51 judging means
52 Additional information generating means
54 Electronic watermark embedding means
115 Compression means

Claims

In an image processing apparatus having compression means for compressing and encoding image data through a process of converting it into two-dimensional wavelet coefficients,
A determination means for determining a property relating to an image to be compressed and encoded;
Additional information generating means for generating encrypted additional information embedded in image data to be compressed and encoded;
Digital watermark embedding that embeds the encrypted additional information as a digital watermark in a two-dimensional wavelet coefficient portion having a high frequency component in the image data compression-encoded by the compression unit based on the determination result by the determination unit Means,
An image sensor that captures an image of a subject to be compressed and encoded,
The property related to the image determined by the determining means is a property related to the direction of movement of the image,
The digital watermark embedding unit embeds the encrypted additional information as a digital watermark in a two-dimensional wavelet coefficient portion including a high-frequency component in a direction orthogonal to the direction of motion of the image.
An image processing apparatus.

The image processing apparatus according to claim 1, wherein the property relating to the image determined by the determination unit is a directionality of an image movement due to a moving subject being a subject .

The image processing apparatus according to claim 1, wherein the property relating to the image determined by the determination unit is a directionality of relative movement of the image caused by movement of the image sensor side with respect to a subject .

A GPS receiver for receiving radio waves from GPS satellites,
The image processing apparatus according to any one of claims 1 to 3, wherein the additional information generating unit includes position information of the apparatus on the earth obtained from the GPS receiver as the additional information .

A direction sensor that detects the direction of subject imaging
5. The image processing apparatus according to claim 1, wherein the additional information generation unit includes, as the additional information, direction information indicating directionality of subject imaging by the apparatus obtained from the direction sensor. .

Equipped with a vertical angle sensor that detects the vertical direction of subject imaging,
6. The additional information generation unit includes vertical angle information indicating the vertical directionality of subject imaging by the apparatus obtained from the vertical angle sensor as the additional information. The image processing apparatus described .

Equipped with an altitude sensor that detects the altitude position of the device,
The image processing apparatus according to claim 1, wherein the additional information generation unit includes altitude information of the apparatus obtained from the altitude sensor as the additional information .

Provided with a posture detection means for detecting the posture of the device accompanying subject imaging;
8. The image processing apparatus according to claim 1, wherein the additional information generation unit includes posture information of the apparatus obtained from the posture detection unit as the additional information .

A program installed in or interpreted by a computer provided in an image processing apparatus having a compression function that compresses and encodes image data through a process of converting into two-dimensional wavelet coefficients.
A determination function for determining a property related to an image to be compressed and encoded;
An additional information generation function for generating encrypted additional information embedded in image data to be compressed and encoded;
Digital watermark embedding that embeds the encrypted additional information as a digital watermark in a two-dimensional wavelet coefficient portion having a high frequency component in the image data compressed and encoded by the compression function based on the determination result by the determination function Function and
An imaging function for capturing an image of a subject to be compression-encoded, and
The property related to the image determined by the determination function is a property related to the direction of movement of the image,
The digital watermark embedding function embeds the additional information encrypted as a digital watermark in a two-dimensional wavelet coefficient portion including a high-frequency component in a direction orthogonal to the direction of motion of the image.
A program characterized by that.

A program that is installed in or interpreted by a computer provided in an image processing apparatus having a compression function that compresses and encodes image data through a conversion process into two-dimensional wavelet coefficients,
A determination function for determining a property related to an image to be compressed and encoded;
An additional information generation function for generating encrypted additional information embedded in image data to be compressed and encoded;
Digital watermark embedding that embeds the encrypted additional information as a digital watermark in a two-dimensional wavelet coefficient portion having a high frequency component in the image data compressed and encoded by the compression function based on the determination result by the determination function Function and
An imaging function for capturing an image of a subject to be compression-encoded, and
The property related to the image determined by the determination function is a property related to the direction of movement of the image,
The digital watermark embedding function embeds the additional information encrypted as a digital watermark in a two-dimensional wavelet coefficient portion including a high-frequency component in a direction orthogonal to the direction of motion of the image.
A storage medium storing a program for executing the above.