JP4654330B2 - 映像変更装置、映像変更方法および映像変更プログラム - Google Patents

Description

本発明は、人物，自動車等の映像中のプライバシ保護すべき移動オブジェクトの原映像を見る権限がない者に移動オブジェクトの本来の把握が不可能となる映像を表示する一方、本来のテクスチャーの把握を必要とする前記権限がある者に原映像の閲覧を可能とする、映像変更装置、映像変更方法、および映像変更プログラムに関する。

近年、犯罪の捜査・発見・抑止等のために、街頭、集合住宅のロビー・エレベータ等にモニタカメラが設置されるようになっている（特許文献１参照）。
通常、この種のモニタカメラにより撮影された映像は管理されており、犯罪が生じたとき等、閲覧権限を持つ者（本明細書では、「閲覧権限者」と言う）にのみ開示される。しかし、この管理が適正に行われずに、権限がない者（本明細書では「閲覧無権限者」と言う）が撮影映像を閲覧した場合には、映像中の人物のプライバシが侵害されるといった問題が生じる。この種の問題は、映像中の自動車のナンバプレートが認識できるような場合において、閲覧無権限者が映像を閲覧する場合にも生じる。

一方、従来、映像中の人物、自動車等の移動オブジェクトを、透明化、シルエット化、モザイク化または低解像度化する技術が知られている。たとえば、移動オブジェクトを透明化した場合には当該移動オブジェクトは輪郭のみで表示され、シルエット化した場合には輪郭内部が単一色，模様等で置き換えられて表示される。また、移動オブジェクトをモザイク化した場合には、もとの移動オブジェクトを多数区画に分割してなるブロックの配置がランダムに置き換えられて表示され、低解像度化した場合にはもとの移動オブジェクトよりも解像度が低く表示される。

この種の技術を、プライバシ保護のために使用する場合、移動オブジェクトを透明化またはシルエット化してしまうと、原映像中の移動オブジェクトを本来のテクスチャーとして把握できなくなるため、犯罪の捜査・発見等の本来のモニタカメラ設置の意味がなくなる。移動オブジェクトをモザイク化してしまうと処理が複雑になる。移動オブジェクトの解像度を当該移動オブジェクトを把握できない程度に低下させると本来のモニタカメラ設置の意味がなくなるし、当該移動オブジェクトを把握できる程度に低下させただけでは、プライバシ保護が図れない。

もちろん、原映像のファイルと、透明化，シルエット化，モザイク化または低解像度化した映像のファイルとを別ファイルとして分割保存しておき、閲覧権限者が閲覧したいときだけ原映像のを表示するようにすることも可能である。しかし、この方法では、ファイル伝送や保存の際に管理が煩雑化する。

本発明の目的は、人物，自動車等の映像中のプライバシ保護すべき移動オブジェクトの原映像を見る権限がない者には、移動オブジェクトの本来の把握が不可能となる映像を表示する一方、本来のテクスチャーの把握を必要とする前記権限がある者には、たとえばパスワードによる個人認証を行うことで原映像の閲覧を可能とする映像変更装置、映像変更方法、および映像変更プログラムを提供することにある。

本発明の映像変更装置は、（１）から（５）を要旨とする。
（１） 原映像中の移動オブジェクトを、異形態移動オブジェクトに置き換えて変更映像を作成する映像変更装置であって、
前記原映像中の前記移動オブジェクトを検出する移動オブジェクト抽出手段と、
前記移動オブジェクト抽出手段により抽出した前記移動オブジェクトから、
（Ａ）輪郭が前記移動オブジェクトの輪郭と同じまたは概略同じであり、
（ａ）前記輪郭内の全部が透明である前記異形態移動オブジェクト、または、
（ｂ）前記輪郭内の模様の全部が前記移動オブジェクトの模様と異なる前記異形態移動オブジェクト、あるいは、
（Ｂ）輪郭が前記移動オブジェクトの輪郭と異なり、
（ａ）前記輪郭内の全部が透明である前記異形態移動オブジェクト、または、
（ｂ）前記輪郭内の模様の全部が前記移動オブジェクトの模様と異なる前記異形態移動オブジェクト、
の何れかを作成する、異形態移動オブジェクト作成手段と、
前記移動オブジェクトのうち前記異形態移動オブジェクトに現れない部分の画像データを、前記原映像の前記異形態移動オブジェクトを除く領域に不可視情報として埋め込み、不可視情報埋め込み映像を生成する移動オブジェクトデータ埋込み手段と、
前記異形態移動オブジェクトを、前記不可視情報が埋め込まれた映像に重ね合わせて、変更映像を作成する変更映像作成手段と、
を備えたことを特徴とする映像変更装置。

（２） 移動オブジェクトデータ埋込み手段は、前記不可視情報に復号鍵を設定することを特徴とする請求項１に記載の映像変更装置。

（３） 前記原映像を取得する撮影手段を備えたことを特徴とする請求項１または２に記載の映像変更装置。

（４） 前記変更映像を保存する変更映像保存手段を備えたことを特徴とする（１）から（３）の何れかに記載の映像変更装置。

（５） 前記変更映像を表示する変更映像表示手段を備えたことを特徴とする（１）から（４）の何れかに記載の映像変更装置。

本発明の映像変更方法は、（６）から（１０）を要旨とする。
（６） 原映像上の移動オブジェクトを、異形態移動オブジェクトに置き換えて変更映像を作成する映像変更方法であって、
前記原映像上の前記移動オブジェクトを検出する移動オブジェクト検出ステップと、
前記移動オブジェクト検出ステップにおいて検出した前記移動オブジェクトから、
（Ａ）輪郭が前記移動オブジェクトの輪郭と同じまたは概略同じであり、
（ａ）前記輪郭内の全部が透明である異形態移動オブジェクト、または、
（ｂ）前記輪郭内の模様の全部が前記移動オブジェクトの模様と異なる異形態移動オブジェクト、あるいは、
（Ｂ）輪郭が前記移動オブジェクトの輪郭と異なり、
（ａ）前記輪郭内の全部が透明である異形態移動オブジェクト、または、
（ｂ）前記輪郭内の模様の全部が前記移動オブジェクトの模様と異なる異形態移動オブジェクト、
の何れかを作成する、
異形態移動オブジェクト作成ステップと、
前記移動オブジェクトのうち前記異形態移動オブジェクトに現れない部分の画像データを、前記原映像の前記異形態移動オブジェクトを除く領域に不可視情報として埋め込み不可視情報埋込み映像を生成する移動オブジェクトデータ埋込みステップと、
前記異形態移動オブジェクトを、前記不可視情報が埋め込まれた前記不可視情報埋込み映像に重ね合わせて、変更映像を作成する変更映像作成ステップと、
を有することを特徴とする映像変更方法。

（７） 前記移動オブジェクトデータ埋込みステップでは、前記不可視情報に復号鍵を設定することを特徴とする請求項６に記載の映像変更方法。

（８） 前記原映像を取得する撮影ステップを備えたことを特徴とする請求項６または７に記載の映像変更方法。

（９） 前記変更映像を保存する変更映像保存ステップを有することを特徴とする請求項６から８の何れかに記載の映像変更方法。

（１０） 前記変更映像を表示する変更映像表示ステップを有することを特徴とする請求項６から９の何れかに記載の映像変更方法。

本発明の映像変更プログラムは、（１１）を要旨とする。
（１１） （６）に記載の各ステップを実行するプログラムモジュールまたはプログラムライブラリー、またはさらに、（７）、（８）、（９）または（１０）の各ステップを実行するプログラムモジュールまたはプログラムライブラリーを含むことを特徴とする映像変更プログラム。

（１）変更映像（マスキング映像）は一般の画像ビューアで閲覧可能とすることができる。たとえば集合住宅等において被撮影者が自己のプライバシが侵害されていないか確認する場合などに変更映像の閲覧を可能とする。
典型的には、変更映像は、ＪＰＥＧ等の汎用フォーマットで保存しておき、特別な設定をしなくても閲覧が可能となる。マスキング映像を、通常のビューアで表示するときには、移動オブジェクトの本来の把握が不可能となる。これにより、被撮影者のプライバシが保護される。

（２）本発明では、移動オブジェクトは、移動オブジェクト除去領域に不可視情報（電子すかし）として埋め込まれる。
移動オブジェクトを、移動オブジェクト除去領域に埋め込まずに別ファイルに保存する場合には、ファイル伝送や保存の際に管理が煩雑化し、最悪の場宮、ファイル紛失を招き再構成不能となるおそれがある。また、復元映像の証拠能力の信頼性が低い。

（３）犯罪の捜査・発見など、移動オブジェクトの本来の把握が必要となったときは、原映像を忠実に復元する必要がある。本発明では、移動オブジェクトを移動オブジェクト除去領域に不可視情報（電子すかし）として埋め込むに際し、不可視情報には復号鍵を設定することができるので、犯罪の捜査・発見などの場合にのみ、閲覧権限者が移動オブジェクトの本来の把握が可能となる。

《映像変更装置》
図１は、本発明の映像変更装置を示すブロック図である。映像変更装置１は、以下に説明するように原映像フレーム上のオブジェクトの移動オブジェクトＭＯを、異形態移動オブジェクトＭＯＤに置き換えて変更映像フレームＦＣｎを作成することができる。

図１において、映像変更装置１は、移動オブジェクト検出手段１１と、異形態移動オブジェクト作成手段１２と、移動オブジェクトデータ埋込み手段１３と、変更映像フレーム作成手段１４と、撮影手段１５と、変更映像保存手段１６、変更映像表示手段１７と、撮影手段１８とを備えている。

移動オブジェクト検出手段１１は、原映像フレーム上の移動オブジェクトＭＯを検出することができる。撮影手段１５により撮影した映像は、移動オブジェクト領域と、移動オブジェクトを除く領域（以下、「移動オブジェクト除去領域」と言う）に分類できる。移動オブジェクト除去領域は、通常は移動オブジェクトの背景であるが、移動オブジェクトの前に静止物があるような場合には前景のこともある（以下、移動オブジェクトが除去された画像を「移動オブジェクト除去画像」という）。
移動オブジェクト検出手段１１は、入力画像（撮影手段１８から取得した画像）と移動オブジェクト除去画像との差分をとり移動物体領域を抽出する。

具体的には、差分がゼロでない画素を連結領域ごとにまとめて仮移動オブジェクトとし、その画素数が所定の閾値以上であるか否かを判断する。差分がゼロでない画素を検出するために、背景画像をガウス分布で近似し、入力画素との差（輝度，彩度，ＲＧＢ値など、種々の手法がある）が標準偏差のｋ倍を超えたら移動物体に関わるピクセルの候補とし、その後、領域処理やトラキングを経て実際に移動物体かどうかを判別するようにできる。本発明はこのような判別方法には限定されない。また、画素のデータ構造を、マスクピクセルＭｉｊにより表しているがこれに限定されない。

ここでは、仮移動オブジェクトがｋ個であるとし、閾値をＴｈとする。
いま、ｉ番目の仮移動オブジェクトの画素数をＮｐｉｘｅｌ（ｉ＝１，２，・・・，ｋ）とし、次式（１）を満たす仮移動オブジェクトを移動オブジェクトとする。
Ｎｐｉｘｅｌ（ｉ）≧Ｔｈ（ｉ＝１，２，・・・，ｋ） （１）
ｍ×ｎの画像内の移動オブジェクトに含まれる画素をマスクピクセルＭｉｊ（ｉ＝１，２，・・・，ｍ：ｊ＝１，２，・・・，ｎ）として式（２）で表す。また、移動オブジェクトに含まれない画素は式（３）で表す。マスクピクセルＭｉｊは二値化したデータで表される。

Ｍｉｊ＝１：座標（ｉ，ｊ）にはＭａｓｋｉｎｇ処理が必要 （２）
Ｍｉｊ＝０：座標（ｉ，ｊ）にはａｓｋｉｎｇ処理は不要 （３）
異形態移動オブジェクト作成手段１２は、移動オブジェクト抽出手段１１により検出した移動オブジェクトＭＯから、
（Ａ）輪郭ＯＬが移動オブジェクトＭＯの輪郭と同じまたは概略同じであり、
（ａ）輪郭ＯＬ内の全部が透明である異形態移動オブジェクトＭＯＤ、または、
（ｂ）輪郭ＯＬ内の模様ＴＸの全部が移動オブジェクトＭＯの模様と異なる異形態移動オブジェクトＭＯＤ、あるいは、
（Ｂ）輪郭ＯＬが移動オブジェクトＭＯの輪郭と異なり、
（ａ）輪郭ＯＬ内の全部が透明である異形態移動オブジェクトＭＯＤ、または、
（ｂ）輪郭ＯＬ内の模様ＴＸの全部が前記移動オブジェクトＭＯの模様と異なる異形態移動オブジェクトＭＯＤ、
の何れかを作成する。

（Ａ）（ａ）では通常輪郭ＯＬの線幅はゼロより大きい値とされ、（Ａ）（ｂ）では輪郭ＯＬの線幅はゼロであってもよいしゼロより大きい値としてもよい。なお、（Ａ）（ｂ）では後述するスクランブル処理を行うことができる。
（Ｂ）（ａ）では、たとえば、移動オブジェクトが人物であるときに異形態移動オブジェクトを輪郭つきの透明な円とでき、また移動オブジェクトが車両であるときに異形態移動オブジェクトを透明なナンバプレートとできる。（Ｂ）（ｂ）では、たとえば、移動オブジェクトが人物であるときに異形態移動オブジェクトを輪郭つきの所定色の円とでき、また移動オブジェクトが車両であるときに異形態移動オブジェクトを所定色のナンバプレートとできる。なお、（Ｂ）（ｂ）では後述するスクランブル処理を行うことができる。

（Ａ）（ａ），（Ｂ）（ａ）は、透明化処理（Ｔｒａｎｓｐａｒｅｎｃｙ処理）であり、移動オブジェクト領域を背景画像に置き換えることにより移動オブジェクトを透明化する処理である。移動オブジェクトを完全に透明化してしまうと移動オブジェクトの存在すら分からなくなるため、移動オブジェクトの形状が識別できるように輪郭が表示される。

（Ａ）（ｂ），（Ｂ）（ｂ）では、前述したようにスクランブル処理（Ｓｃｒａｍｂｌｅ処理）を行うことができる。スクランブル処理では、移動オブジェクト領域の画素を入れ換えることにより、被写体の把握を不可能にする。スクランブル処理では、移動オブジェクト領域の画素を入れ換えるだけなので人の顔のみ、車両のナンバプレートのみを隠蔽でき、顔やナンバプレートの全体の色調がある程度わかる。

異形態移動オブジェクトが透明化処理されていても、スクランブル処理されていても、閲覧無権限者は、後述するように変更映像表示手段１７により、変更映像（またはフレーム）を表示して、異形態移動オブジェクトを把握することができる。透明化処理の場合には、人や車両が移動していることは分かっても、人物や車両の特定が全くできない。スクランブル処理の場合には、人や車両が移動していることが分かり、人の性別の特定、車両の色や型の特定がある程度可能となる。

移動オブジェクトデータ埋込み手段１３は、移動オブジェクトＭＯのうち異形態移動オブジェクトＭＯＤに現れない部分の画像データを、原映像（またはフレーム）ＯＦの異形態移動オブジェクトＭＯＤを除く領域（透明の場合その輪郭内部の領域を含む）に不可視情報として埋め込み不可視情報埋込み映像（またはフレーム）ＦＲｎを生成する。

透明化処理、スクランブル処理の何れにおいても、移動オブジェクトを特殊ビューアにより再構成するためには、移動オブジェクトの画像情報を移動オブジェクト除去領域に埋め込まなくてはならない。単純な画素の人れ換えを用いてスクランブル処理を行い、再び同一の入れ替えを行うことによって原画像を再構成する場合には、ＪＰＥＧ圧縮した場合には色調が変化する。また、移動オブジェクトの情報を移動オブジェクト除去領域に画素データの下位ｂｉｔを利用して埋め込むと、ＪＰＥＧ圧縮によって下位ｂｉｔが変化してしまう。このため、図２に示すように再構成を行うことができない。

このような不都合を回避するため、移動オブジェクトデータ埋込み手段１３は、不可視情報に復号鍵Ｋを設定することができる。不可視情報は具体的には電子透かしであり、この電子すかしを用いて原映像（フレーム）を保存することで、再構成の際に色調の変化等が生じないようにする。

変更映像（フレーム）作成手段１４は、異形態移動オブジェクト作成手段１３により作成した異形態移動オブジェクトＭＯＤを、移動オブジェクト除去フレーム作成手段１２により作成した移動オブジェクト（フレーム）ＦＲｎに重ね合わせて、変更映像フレームＦＣｎを作成することができる。

撮影手段１５は、モニタカメラであり、原映像ＶＳを取得することができる。
変更映像保存手段１６は、変更映像作成手段１４により作成した変更映像（フレーム）ＦＣｎを変更映像ＶＣとして保存することができる。
変更映像表示手段１７は、変更映像作成手段１５により作成した変更映像（フレーム）ＦＣｎを変更映像ＶＣとして表示することができる。

《変更映像のデータ構造》
以上のようにして、移動オブジェクトＭＯが異形態移動オブジェクトＭＯＤに置き換えられ、変更映像のデータ構造が作成される。
この変更映像のデータ構造は、前述したように、移動オブジェクトＭＯが前記異形態移動オブジェクトＭＯＤに置き換えられた変更映像（またはフレーム）ＦＣｎである。
異形態移動オブジェクトＭＯＤは、

（Ａ）輪郭ＯＬが移動オブジェクトＭＯの輪郭と同じまたは概略同じであり、
（ａ）輪郭ＯＬ内の全部が透明（完全透明または歪透明）であり、または、
（ｂ）輪郭ＯＬ内の模様ＴＸの全部が移動オブジェクトの模様と異なり、あるいは、

（Ｂ）輪郭ＯＬが移動オブジェクトＭＯの輪郭と異なり、
（ａ）輪郭ＯＬ内の全部が透明であり、または、
（ｂ）輪郭ＯＬ内の模様ＴＸの全部が移動オブジェクトＭＯの模様と異なり、
移動オブジェクトＭＯのうち異形態移動オブジェクトＭＯＤに現れない部分の画像データが、変更映像（またはフレーム）ＦＣｎの異形態移動オブジェクトＭＯＤを除く領域に不可視情報として埋め込まれている。
また、この変更映像データ構造は、不可視情報には復号鍵Ｋが設定されている。

《映像復元装置》
図３により映像復元装置の実施形態を説明する。図３の映像復元装置２は、上記のデータ構造を持つ変更映像（またはフレーム）ＦＣｎから復元映像（またはフレーム）ＦＡｎを作成することができる。

図３において、映像復元装置２は、移動オブジェクト復元手段２１と、復元映像（またはフレーム）生成手段２２と、復号鍵照合手段２３と、復元映像保存手段２４と、復元映像表示手段２５とを備えている。
復元移動オブジェクト生成手段２１は、変更映像（またはフレーム）ＦＣｎの、異形態移動オブジェクトＭＯＤを除く領域から、不可視情報を抽出し、復元移動オブジェクトＦＭＯを生成することができる。

復元映像（またはフレーム）生成手段２２は、変更映像（またはフレーム）ＦＣｎに復元移動オブジェクト生成手段２１により生成した復元移動オブジェクトＦＭＯを上書きして復元映像（またはフレーム）ＦＱｎを生成することができる。
復号鍵照合手段２３は、不可視情報に設定されている復号鍵Ｋと、入力された復号鍵とを照合し、照合が成功したときにのみ、復元移動オブジェクト生成手段２１による復元映像（またはフレーム）の生成を行うことができる。

復元映像保存手段２４は、復元映像（またはフレーム）を保存することができ、復元映像表示手段２５は、復元映像を保存することができる。

《映像変更方法》
図４のフローチャートおよび図５の補助説明図により、本発明の映像変更方法を説明する。本発明の映像変更方法では、原映像（またはフレーム）ＦＳｎ上の移動オブジェクトＭＯを、異形態移動オブジェクトＭＯＤに置き換えて変更映像（またはフレーム）ＦＣｎを作成することができる。
本実施形態では、映像変更方法は、撮影ステップＳ１０１と、移動オブジェクト検出ステップＳ１０２と、異形態移動オブジェクト作成ステップＳ１０３と、移動オブジェクトデータ埋込みステップＳ１０４と、変更映像（またはフレーム）作成ステップＳ１０５と、変更映像保存ステップＳ１０６と、変更映像表示ステップＳ１０７とを有している。
撮影ステップＳ１０１では、原映像（またはフレーム）ＦＳｎを取得する。
移動オブジェクト検出ステップＳ１０２では、原映像（またはフレーム）ＦＳｎ上の移動オブジェクトＭＯを検出する。
異形態移動オブジェクト作成ステップＳ１０３では、移動オブジェクト検出ステップＳ１０２において検出した移動オブジェクトＭＯから、

（Ａ）輪郭ＯＬが移動オブジェクトＭＯの輪郭と同じまたは概略同じであり、
（ａ）輪郭ＯＬ内の全部が透明である異形態移動オブジェクトＭＯＤ、または、
（ｂ）輪郭ＯＬ内の模様ＴＸの全部が移動オブジェクトＭＯの模様と異なる異形態移動オブジェクトＭＯＤ、あるいは、
（Ｂ）輪郭ＯＬが移動オブジェクトＭＯの輪郭と異なり、
（ａ）輪郭ＯＬ内の全部が透明である異形態移動オブジェクトＭＯＤ、または、
（ｂ）輪郭ＯＬ内の模様ＴＸの全部が移動オブジェクトＭＯの模様と異なる異形態移動オブジェクトＭＯＤ、
の何れかを作成する。

前述したように（Ａ）（ａ），（Ｂ）（ａ）が透明化処理であり、（Ａ）（ｂ），（Ｂ）（ｂ）がスクランブル処理である。
透明化処理では、入力画像における移動オブジェクト領域内の画素を、背景または前景の同一座標の画素に置き換えることにより擬似的な透明化を実現する。また、このときに、透明化したオブジェクトの形状を把握することができるように移動オブジェクト領域の輪郭を所定幅の線により表示する。

そして、移動オブジェクト抽出により得たマスクピクセルＭｉｊを利用して、オブジェクト領域のエッジを判定する。
Ｍｉｊ＝１であり、かつその上下左右にひとつでもＭｉｊ＝０となる画素が存在するときは、座標（ｉ，ｊ）の画素をエッジと判定する。すなわち、Ｍｉｊの画素の上下左右の４画素（Ｍｉ−１，ｊ、Ｍｉ＋１，ｊ、Ｍｉ，ｊ−１、Ｍｉ，ｊ＋１）の和をＮｉｊとしたとき、式（５）を満たせば、座標（ｉ，ｊ）の画素はオブジェクト領域のエッジであるとみなす。

０＜Ｍｉｊ×Ｎｉｊ＜４ （４）
スクランブル処理では、移動オブジェクト領域内の各画素をナンバリングし、乱数を用いて画素を入れ換える。
移動オブジェクト領域にｎ個の画素が存在する場合、生成された乱数列をＲ（ｉ）（ｉ＝１，２，…，ｎ）とする。このときｋ番目の画素をＰ（ｋ）（ｋ＝１，２，…，ｎ）として，式（５）を用いて画素の置換えを行う。

Ｐ（ｋ）＝Ｐ（Ｒ（ｋ）） （５）
移動オブジェクトデータ埋込みステップＳ１０４では、移動オブジェクトＭＯのうち異形態移動オブジェクトＭＯＤに現れない部分の画像データを、原映像（またはフレーム）ＯＦの異形態移動オブジェクトＭＯＤを除く領域に不可視情報として埋め込み不可視情報埋込み（またはフレーム）ＦＲｎを生成する。このとき、不可視情報に復号鍵を設定することができる。具体的には、原映像（またはフレーム）を、ＪＰＥＧのＤＣＴ係数内に不可視情報を埋め込むことができる。

まず、原映像フレームを、ＪＰＥＧ圧縮の最小単位である１６×１６画素のＭＣＵ（ＭｉｎｉｍｕｍＣｏｄｅｄＵｎｉｔ）に分割する。各ＭＣＵにおいて移動オブジェクト領域を含むものに対して、それぞれにＪＰＥＧ圧縮を施す。
ＪＰＥＧ圧縮を施したデータを１ｂｙｔｅごとの配列に保存する（ａｒｒａｙ（ｉ）（ｉ＝１，２，…，ｎ））。このとき、ＪＰＥＧヘッダを取り除きハフマン符号化されたイメージデータのみを配列に保存する。

次に，ＬＦＳＲ（Ｌｉｎｅａｒ Ｆｅｅｄｂａｃｋ Ｓｈｉｆｔ Ｒｅｇｉｓｔｅｒ）を用いて擬似乱数を生成する。なお、ＡＥＳ（Ａｄｖａｎｃｅｄ Ｅｎｃｒｉｐｔｉｏｎ Ｓｔａｎｄａｒｄ）等、他の暗号化の手法を採用することができる。

ＬＦＳＲの動作を図６に示す。
時刻をｔ（ｔ＝０，…，２^k−１）とおくと，Ｘｉ（ｉ＝１，２，…，ｋ）の値は次式で与えられる。

ｃが一定の条件を満たす場合，式（８）におけるＺは１〜２−１が１回ずつ出現する擬似乱数となる．
ただし，初期状態においてＸｉ＝０（ｉ＝１，２，・・・，ｋ）でないことが条件となる．また，適切でない係数ｃｉを選択した場合には短いシーケンスの乱数となる。同一の係数ｃｉと初期値Ｘｉを与えることにより同一の擬似乱数を得ることが可能である。

生成した擬似乱数１≦Ｚ（ｊ）≦Ｎ（ｋ＝１，２，・・・，ｍ）により、ａｒｒａｙ［Ｚ（ｊ）］とａｒｒａｙ［Ｚ（ｍ−ｊ−１）］とを入れ換え、暗号化された原画像データｓｈａｆｆｌｅａｒｒａｙ［ｉ］（ｉ＝１，２，・・・，ｎ）を作成する．次に、ｓｈａｆｆｌｅａｒｒａｙ［ｐ］＝０ｘＦＦが存在する場合、ｓｈａｆｆｌｅａｒｒａｙ［ｐ＋１］＝０ｘ００を追加し、以降を一つずつ後方にシフトする。この作業を行った配列を、ｓｈａｆｆｌｅａｒｒａｙ’［ｉ］（ｉ＝１，２，・・・，ｎ’）とする。

ｓｈａｆｆｌｅａｒｒａｙ’［ｉ］（ｉ＝１，２，・・・，ｎ’）に、ｓｈａｆｆｌｅａｒｒａｙ’［ｎ’＋１］＝０ｘＦＦ、ｓｈａｆｆｌｅａｒｒａｙ’［ｎ’＋２］＝０ｘＤ９を追加する。０ｘＦＦ、０ｘＤ９はＪＰＥＧのイメージ終了を表す識別子である。これにより、時号化されたデータ列を作成する。この作業を画像内の全てのＭＣＵに対し行う。

この配列を電子透かしを利用して移動オブジェクト除去画像に埋め込む。
ＪＰＥＧ圧縮に際し、ＤＣＴ係数の低周波領域の変化は目立ちやすく、高周波領域の変化は量子化テーブルの影響で大きな変化となる。そこで知覚されにくい中間周波数領域を用いて電子透かしを行う。本実施形態では、図７の位置にある係数の下位１ｂｉｔの偶奇を変えることにより電子透かしを行う。

ｓｈａｆｆｌｅａｒｒａｙ’［ｉ］を１ｂｉｔずつ読み込み，各ＭＣＵ埋め込み位置の係数の下位１ｂｉｔを置き換えていく。量子化を行い，ジグザグスキャンを行ったＤＣＴ係数を、ＱＤＣＴＺ＿ｋ（ｉ）（ｉ＝１，２，・・・，６４）とする。本実施形態ではｉの値により表１に示すように埋め込み位置を定める。本実験で用いた画像サイズは３２０×２４０であるため，ＭＣＵは３２０×２４０÷１６²×６＝１８００個生成される．そこで、抜き出したオブジェクトのサイズに応じて表２に示すように、埋め込み位置を変更する。原画像データの埋め込みの終わったＤＣＴ係数にハフマン符号化をかけＪＰＥＧビットストリームとして出力する。

変更映像（またはフレーム）作成ステップＳ１０５では、異形態移動オブジェクトＭＯＤを、不可視情報が埋め込まれた不可視情報埋込み映像（またはフレーム）ＦＲｎに重ね合わせて、変更映像（またはフレーム）ＦＣｎを作成する。
変更映像保存ステップＳ１０６では、変更映像（またはフレーム）ＦＣｎを保存し、変更映像表示ステップＳ１０７では、変更映像（またはフレーム）ＦＣｎを表示する。
電子透かしを、違法コピーの検出や、著作権情報の埋め込みに使用する場合には、画像の改ざん，拡大縮小，色調変更に対して頑健でなければならない。さらに、埋め込みが行われたコンテンツの品質を損なわないことが要求される。

しかし，本発明においては、画像の改ざんがなされた場合には移動オブジェクト除去画像が正確でなくなったと判断し、再構成不可能となっても不都合は生じない。また、移動オブジェクト除去画像は重要な情報を含まないと考えられるため、移動オブジェクト除去画像の画質劣化は問題になりにくい。
そこで違法コピーの検出などの用途に比べて、多くのｂｉｔ数を埋め込むことが可能になり上記で生成したサイズのデータ列を埋め込むことが可能となる。

《映像復元方法》
図７のフローチャートにより、本発明の映像復元方法を説明する。本発明の映像復元方法により、上述したデータ構造を持つ変更映像（またはフレーム）ＦＣｎから復元映像（またはフレーム）ＦＡｎを作成することができる。
本実施形態では、映像変更方法は、図８に示すように、復元移動オブジェクト生成ステップＳ２０１と、復元映像（またはフレーム）生成ステップＳ２０２と、復号鍵照合ステップＳ２０３と、復元映像保存ステップＳ２０４と、復元映像表示ステップＳ２０５とを有している。

復元移動オブジェクト生成ステップＳ２０１では、変更映像（またはフレーム）ＦＣｎの、異形態移動オブジェクトＭＯＤを除く領域から、前記不可視情報を抽出し、復元移動オブジェクトＦＭＯを生成する。

復元映像（またはフレーム）生成ステップＳ２０２では、変更映像（またはフレーム）ＦＣｎに復元移動オブジェクト生成ステップＳ２０１において生成した復元移動オブジェクトＦＭＯを上書きして復元映像（またはフレーム）ＦＱｎを生成する。

復号鍵照合ステップＳ２０３では、不可視情報に設定されている復号鍵Ｋと、入力された復号鍵とを照合する。
復元映像保存ステップＳ２０４では、復元映像（またはフレーム）ＦＱｎを保存する。
復元映像表示ステップＳ２０５では、復元映像を表示する。
本発明の映像復元方法による復元の例を図９に示す。（Ａ）に示す原画像は、（Ｂ）に示すようにモザイク化され、また適宜（Ｃ）に示すように復元される。

本発明の映像変更装置を示すブロック図である。 移動オブジェクトの情報を移動オブジェクト除去領域に画素データの下位ｂｉｔを利用して埋め込んだ場合のＪＰＥＧ圧縮による不都合を示す図である。 映像復元装置の実施形態の説明図である。 本発明の映像変更方法を示すフローチャートである。 図４のフローチャートの補助説明図である。 ＬＦＳＲの動作説明図である。 電子透かしを行う周波数域の説明図である。 本発明の映像復元方法を示すフローチャートである。 本発明の映像復元方法による復元の例を示す図であり、（Ａ）は原画像を、（Ｂ）は透明化画像を、（Ｃ）は復元画像を示す図である。

１ 映像変更装置
２ 映像復元装置
１１ 移動オブジェクト検出手段
１２ 異形態移動オブジェクト作成手段
１３ 移動オブジェクトデータ埋込み手段
１４ 変更映像フレーム作成手段
１５ 撮影手段
１６ 変更映像保存手段
１７ 変更映像表示手段
１８ 撮影手段
２１ 移動オブジェクト復元手段
２２ 復元映像生成手段
２３ 復号鍵照合手段２３
２４ 復元映像保存手段
２５ 復元映像表示手段

Claims (11)

1. 原映像中の移動オブジェクトを、異形態移動オブジェクトに置き換えて変更映像を作成する映像変更装置であって、
   前記原映像中の前記移動オブジェクトを検出する移動オブジェクト抽出手段と、
   前記移動オブジェクト抽出手段により抽出した前記移動オブジェクトから、
   （Ａ）輪郭が前記移動オブジェクトの輪郭と同じまたは概略同じであり、
   （ａ）前記輪郭内の全部が透明である前記異形態移動オブジェクト、または、
   （ｂ）前記輪郭内の模様の全部が前記移動オブジェクトの模様と異なる前記異形態移動オブジェクト、あるいは、
   （Ｂ）輪郭が前記移動オブジェクトの輪郭と異なり、
   （ａ）前記輪郭内の全部が透明である前記異形態移動オブジェクト、または、
   （ｂ）前記輪郭内の模様の全部が前記移動オブジェクトの模様と異なる前記異形態移動オブジェクト、
   の何れかを作成する、異形態移動オブジェクト作成手段と、
   前記移動オブジェクトのうち前記異形態移動オブジェクトに現れない部分の画像データを、前記原映像の前記異形態移動オブジェクトを除く領域に不可視情報として埋め込み、不可視情報埋め込み映像を生成する移動オブジェクトデータ埋込み手段と、
   前記異形態移動オブジェクトを、前記不可視情報が埋め込まれた映像に重ね合わせて、変更映像を作成する変更映像作成手段と、
   を備えたことを特徴とする映像変更装置。
2. 移動オブジェクトデータ埋込み手段は、前記不可視情報に復号鍵を設定することを特徴とする請求項１に記載の映像変更装置。
3. 前記原映像を取得する撮影手段を備えたことを特徴とする請求項１または２に記載の映像変更装置。
4. 前記変更映像を保存する変更映像保存手段を備えたことを特徴とする請求項１から３の何れかに記載の映像変更装置。
5. 前記変更映像を表示する変更映像表示手段を備えたことを特徴とする請求項１から４の何れかに記載の映像変更装置。
6. 原映像上の移動オブジェクトを、異形態移動オブジェクトに置き換えて変更映像を作成する映像変更方法であって、
   前記原映像上の前記移動オブジェクトを検出する移動オブジェクト検出ステップと、
   前記移動オブジェクト検出ステップにおいて検出した前記移動オブジェクトから、
   （Ａ）輪郭が前記移動オブジェクトの輪郭と同じまたは概略同じであり、
   （ａ）前記輪郭内の全部が透明である異形態移動オブジェクト、または、
   （ｂ）前記輪郭内の模様の全部が前記移動オブジェクトの模様と異なる異形態移動オブジェクト、あるいは、
   （Ｂ）輪郭が前記移動オブジェクトの輪郭と異なり、
   （ａ）前記輪郭内の全部が透明である異形態移動オブジェクト、または、
   （ｂ）前記輪郭内の模様の全部が前記移動オブジェクトの模様と異なる異形態移動オブジェクト、
   の何れかを作成する、
   異形態移動オブジェクト作成ステップと、
   前記移動オブジェクトのうち前記異形態移動オブジェクトに現れない部分の画像データを、前記原映像の前記異形態移動オブジェクトを除く領域に不可視情報として埋め込み不可視情報埋込み映像を生成する移動オブジェクトデータ埋込みステップと、
   前記異形態移動オブジェクトを、前記不可視情報が埋め込まれた前記不可視情報埋込み映像に重ね合わせて、変更映像を作成する変更映像作成ステップと、
   を有することを特徴とする映像変更方法。
7. 前記移動オブジェクトデータ埋込みステップでは、前記不可視情報に復号鍵を設定することを特徴とする請求項６に記載の映像変更方法。
8. 前記原映像を取得する撮影ステップを備えたことを特徴とする請求項６または７に記載の映像変更方法。
9. 前記変更映像を保存する変更映像保存ステップを有することを特徴とする請求項６から８の何れかに記載の映像変更方法。
10. 前記変更映像を表示する変更映像表示ステップを有することを特徴とする請求項６から９の何れかに記載の映像変更方法。
11. 請求項６に記載の各ステップを実行するプログラムモジュールまたはプログラムライブラリー、またはさらに、請求項７、８、９または１０の各ステップを実行するプログラムモジュールまたはプログラムライブラリーを含むことを特徴とする映像変更プログラム。