JP4292694B2

JP4292694B2 - 収録・再生方法及び収録・再生システム

Info

Publication number: JP4292694B2
Application number: JP2000221738A
Authority: JP
Inventors: 宣男飯塚; 邦雄佐藤
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2000-07-24
Filing date: 2000-07-24
Publication date: 2009-07-08
Anticipated expiration: 2020-07-24
Also published as: JP2002044582A

Description

【０００１】
【発明の属する技術分野】
本発明は、収録・再生方法及び収録・再生システムに関し、詳しくは、動きを伴う自然画像または自然界の音声情報からなる自然情報をコンテンツとした場合の当該コンテンツの著作権保護等を意図した収録・再生方法及び収録・再生システムに関する。
【０００２】
【従来の技術】
近年、通信技術や情報処理技術の発展に伴い、画像情報や音声情報といった比較的データサイズの大きな情報も容易にネット上でやり取りできるようになってきた。また、ＣＤ−Ｒ（ＣｏｍｐａｃｔＤｉｓｃ − Ｒｅｃｏｒｄａｂｌｅ）などの大容量可搬型記憶媒体と、その書き込み装置が共に安価に入手できるようになったことから、こうした記憶媒体に画像情報や音声情報等のコンテンツ情報をコピーして配布することも容易になってきた。
【０００３】
かかる技術的な趨勢は、我々に大きな利便性をもたらす一方で、不正コピーやデータの改ざんあるいは無許可利用といった著作権侵害問題を引き起こしていることも事実である。著作権侵害問題を回避するための従来対策としては、例えば、元の情報に品質劣化情報を付加することが行われている。これは、正規利用者のみが品質劣化情報を取り除くことができるようにして、他の利用者との再生情報品質に差をつけるというものである。画像であれば正規利用者のみが元画像の品質を再現することができる。
【０００４】
この種の従来技術は、アナログ情報に対するものとディジタル情報に対するものの二種類に区分けすることができる。動きを伴う自然画像（以下「動画像」という。）を例にすると、前者（アナログ情報に対するもの）は、アナログビデオテープの帰線期間の信号を加工して、コピーを行うと動画像の品質が劣化するようにしたものがある。また、アナログ映像伝送（ＣＡＴＶ等）においては同期信号にスクランブルをかけて許可システムのみでスクランブルを解除できるようにしたものもある。
【０００５】
一方、後者（ディジタル情報に対するもの）は、データストリーム中にコピーフラグを設けて機器に対応させることによるコピー管理を行ったり、暗号化による当事者以外の閲覧、使用の禁止を行ったりするもの、または、電子透かしの埋め込みによるコンテンツの不正使用等の検出や追跡（編集等されても強固に不可視の痕跡データを保持する）を行ったりするもの、あるいは、ステガノグラフィ（深層暗号化技術、電子迷彩技術）によって不正改ざんの検出を行ったりするものなど様々な方法がある。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来技術にあっては、その区分けに関わらず、いずれの方法も、動画や音声等のコンテンツの生成（ビデオテープへの収録やデジタイズ処理）後に行われることに変わりなく、例えば、コンテンツとして利用する動画像の撮影、及び収録時の段階で、盗撮→複製というような著作権侵害に対して、即時的に回避対策を講じることができないという本質的な欠点があった。
【０００７】
例えば、映画やドラマの屋外ロケ、歌手などのコンサート、展示会における参考出品の製品展示等、一般に公開の場所にある映像や音声に基づくコンテンツの製作はその場で収録することによって行われるが、これらのコンテンツの権利保護を考慮する場合、無許可の収録を禁止しなければならないものの、ガードマン等による人的な禁止対策しか行えないという問題点がある。
【０００８】
本発明が解決しようとする課題は、動画像や音声情報からなるコンテンツの収録現場において、即時的に不正に収録されたコンテンツの品質を劣化させることにより、収録時におけるコンテンツの権利保護を意図した収録・再生方法及び収録・再生システムを提供することにある。
【０００９】
【課題を解決するための手段】
本発明は、上記目的を達成するために、光を照射する照射部から、収録対象となる被写体に対して、当該被写体の像の画質を劣化させる光を照射し、前記被写体の像に前記光の像が重畳した画像を収録する収録ステップと、前記収録ステップにおいて収録された画像から前記光の像を除去し、除去された画像を再生する再生ステップと、を含み、前記収録ステップは、前記照射部から、前記被写体に向けて、前記光を繰り返し照射する照射ステップと、前記照射ステップにおいて前記光が照射されていない前記被写体の像を、第１のフレーム画像として撮像部により撮像する第１の撮像ステップと、前記照射ステップにおいて前記光が照射されている前記被写体の像を、第２のフレーム画像として撮像部により撮像する第２の撮像ステップと、を含み、前記再生ステップは、前記第１の撮像ステップにおいて撮像された第１のフレーム画像をそのまま再生する第１の出力ステップと、前記第２の撮像ステップにおいて撮像された第２のフレーム画像から前記光の像に基づく輝度情報を除去し、除去された第２のフレーム画像を再生する第２の出力ステップと、を含むものとした。
【００１０】
これによれば、収録対象の収録時において発生した外乱によって、収録対象に基づく収録情報の品質が損なわれるため、外乱の除去を行わない限り、収録情報の利用が限定的にしか行われないので、不正コピーの防止等、収録情報の権利保護が図られる。
【００１１】
【発明の実施形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。なお、以下の説明における様々な細部の特定ないし実例および数値や文字列その他の記号の例示は、本発明の思想を明瞭にするための、あくまでも参考であって、それらのすべてまたは一部によって本発明の思想が限定されないことは明らかである。また、周知の手法、周知の手順、周知のアーキテクチャおよび周知の回路構成等（以下「周知事項」）についてはその細部にわたる説明を避けるが、これも説明を簡潔にするためであって、これら周知事項のすべてまたは一部を意図的に排除するものではない。かかる周知事項は本発明の出願時点で当業者の知り得るところであるので、以下の説明に当然含まれている。
【００１２】
図１は、本発明に係る実施形態の原理を説明するための概念図である。図において、生情報１は収録対象となる自然画像または自然音声の情報であり、例えば、自然画像とは、映画やドラマの屋外ロケで収録され得る動画像の情報であり、自然音声とは、野外ロケや歌手などのコンサートで収録され得る音声情報等を指すものである。そして、このような生情報１には、予め所定の品質劣化情報２が重畳されており、この品質劣化情報２は生情報１のコンテンツとしての品質または商品価値を損なわせるための“擾乱（じょうらん）パターン”を含むものである。ここで、擾乱パターンとは、品質劣化情報発生手段３によって作られるものであり、この品質劣化情報発生手段３で作られる擾乱パターンに付随して、品質劣化情報２を再生段階で除去するために必要なキー情報を有するものである。例えば、生情報１を動画像とし、品質劣化情報２の擾乱パターンがその動画像に重畳する光の明滅パターンとすると、光の明滅間隔等の情報は上記キー情報となる。
【００１３】
更に図１では、二つのシステム４、５が示されている。図中“許可システム”と記載された一方のシステム４は、品質劣化情報発生手段３からの上記キー情報に基づいて、収録された生情報１より品質劣化情報２を除去して、生情報１′を再生する生情報再生手段６を有している。これに対して、図中“非許可システム”と記載された他方のシステム５は、上記許可システム４が備える生情報再生手段６を有しておらず、したがって、非許可システム５からは品質劣化情報２を重畳したままの生情報１が再生されるようになっている。
【００１４】
例えば、生情報１を動画像とした場合、上記許可システム４を搭載したカメラ、及び上記非許可システム５を搭載したカメラはいずれも動画像を撮影してその画像信号を出力するが、生情報再生手段６を有する許可システム４を搭載したカメラでは品質劣化情報２を除去した動画像を出力するのに対して、非許可システム５を搭載したカメラでは品質劣化情報２を重畳したままの動画像を出力する。したがって、生情報再生手段６を有する許可システム４を搭載したカメラを使用しない限り、撮影した動画像（フレーム画像）を出力することができない。これにより、公開の収録現場で密かに生情報１の違法収録が行われた場合でも、その収録に非許可システム５が用いられている限り、品質劣化情報２を重畳したままのコンテンツ情報のみが違法収録者の手に渡り、収録現場におけるコンテンツ保護を確実に行うことができる。
【００１５】
図２は、第１の実施形態の概念構成図である。図において、照明部１０は被写体（特に公開の場所で行われる映画やドラマのロケまたは歌手などのコンサート若しくは展示会等における撮影対象）１１に対して、照明を目的とする照射に加え光線が発射される。この光線は点滅するもので、そのオンオフは光源制御パルス発生部１２からの同期パルスによってコントロールされており、光源制御パルス発生部１２は被写体１１の画像を撮影する撮像部１３の撮影パラメータ（例えば、フィールドタイミングやシャッター速度など）に従って同期パルスの発生周期を制御する。撮像部１３は画像調整部１４から任意に与えられるシャッター速度や絞り値及びゲイン等の撮影条件に従って被写体１１の動画像を撮像し、その撮像信号を画像処理部１５に出力する。画像処理部１５は撮像部１３からの撮像信号に含まれる品質劣化情報を除去する機能を有しており、この画像処理部１５からは品質劣化情報を含まない良好な品質の画像信号が出力される。
【００１６】
ここで、図２に示すシステム全体は、前記原理説明における許可システム４に相当し、照明部１０及び光源制御パルス発生部１２は同品質劣化情報発生手段３に相当し、画像処理部１５は同生情報再生手段６に相当する。
【００１７】
照明部１０は、光源制御パルス発生部１２からの同期パルスに従って点滅する光線を被写体１１に照射する。被写体１１それ自体の画像情報は前記原理説明における生情報１であり、生情報１に重畳された光線の点滅は、生情報１の品質を劣化させるための付加情報（品質劣化情報２）である。
【００１８】
画像処理部１５は撮像信号のなかから上記付加情報を見つけ出して除去する機能を有する。この機能は、例えば、相関フィルタによって実現することができる。
【００１９】
図３は、相関フィルタで構成された画像処理部１５の構成図である。当該画像処理部１５は上記光線の点滅に関連する変動パターンが２ビット以上最大７ビットの任意符号長の任意の変動パターン（但しオール”０”、オール”１”は除く）を設定できる自由度を備えたものであり、撮像部１３からの撮像信号（フレーム画像）をフレーム単位に順次に取り込むフレームバッファ２０〜２６、画像加算器２７、２８、乗算器２９、３０、変動信号レベル画像加算器３１、検出フレームバッファ３２、除算器３３、コントロール回路３４、出力画像セレクタ回路３５、マルチプレクサ３６、パターン符号レジスタ３７、及びパターン符号ビットカウンタ３８とで構成される。
【００２０】
図４は、上記フレームバッファ２０〜２６に格納されるフレーム画像Ｆ₁〜Ｆ₇を示す図である。升目の一つ一つはフレーム画像を表しており、各々のフレーム画像には被写体（図では人物像）の自然画像３９が含まれている。このうち、上記パターン符号が「００１０１１１」であったとすると、フレーム画像（図ではＦ₃、Ｆ₅、Ｆ₆及びＦ₇）には照明部１０からの光線によって形成された輝点画像４０が生成されており、この輝点画像４０は自然画像３９の画質を劣化させるために意図的に付加された情報、すなわち、品質劣化情報に相当する。輝点画像４０の点滅パターンは、例えば、フレーム画像の周期に同期しており、図示の例では、Ｆ₁→オフ、Ｆ₂→オフ、Ｆ₃→オン、Ｆ₄→オフ、Ｆ₅→オン、Ｆ₆→オン、Ｆ₇→オンとなっているので、二値信号の論理０を“オフ”、論理１を“オン”とすれば、この点滅パターンは「・・・・００１０１１１・・・・」という符号列で表すことができる。すなわち、光源制御パルス発生部１２は、この符号列と、撮像部１３の撮影条件（フィールドタイミングやシャッター速度等）とに従って、照明部１０に与えるための同期パルスを発生する。
【００２１】
再び図３に戻り、各回路の動作原理を説明する。
各フレームバッファ２０〜２６の出力は画像加算器２７、２８に接続されており、これらの画像加算器２７、２８の出力はそれぞれ乗算器２９、３０を介して変動信号レベル加算器３１に接続されている。変動信号レベル加算器３１の出力はフィルタリング画像格納用のフレームバッファ３２に接続されており、フレームバッファ３２の出力は除算器３３を介して出力画像セレクタ回路３５に接続されている。
【００２２】
画像加算器２７はゲーティング制御レジスタ２７ａを有し、ゲーティング制御レジスタ２７ａはコントロール回路３４からの制御信号（図中破線）によりフレームバッファ２０〜２６に格納されるフレーム画像において点灯タイミング（”１”）に対応するフレーム画像のみが有効になるようにゲート制御する。図４のケースを例に挙げると、フレーム画像Ｆ₃、Ｆ₅〜Ｆ₇が点灯画像にあたるので、ゲーティング制御レジスタ２７ａはフレームバッファ２２、２４〜２６のフレーム画像のみの結線を有効にするようにコントロール回路３４によって制御される。
【００２３】
そして、画像加算器２７は点灯タイミングのフレーム画像の加算総和を求めるのである。
【００２４】
画像加算器２８はゲーティング制御レジスタ２８ａを有し、ゲーティング制御レジスタ２８ａはコントロール回路３４からの制御信号（図中破線）によりフレームバッファ２０〜２６に格納されるフレーム画像において消灯タイミング（”０”）に対応するフレーム画像のみが有効になるようにゲート制御する。図４のケースを例に挙げると、フレーム画像Ｆ₁、Ｆ₂、Ｆ₄が消灯画像にあたるので、ゲーティング制御レジスタ２７ａはフレームバッファ２０、２１、２３のフレーム画像のみの結線を有効にするようにコントロール回路３４によって制御される。
【００２５】
そして、画像加算器２８は消灯タイミングのフレーム画像の加算総和を求めるのである。
【００２６】
乗算器２９、３０はコントロール回路３４からの制御信号（図中破線）により制御され、それぞれ点灯パターンで、１周期（フレーム画像７枚分）での“０”（ＯＦＦ）のフレーム画像と“１”（ＯＮ）のフレーム画像の数が異なる場合、それらの総和の重み付けを等価させ、点灯総和画像（“１”のフレーム画像の総和）から消灯総和画像（“０”のフレーム画像の総和）を減ずるための係数付与をするという機能を有する。図４のケースを例に挙げると、フレーム画像Ｆ₁〜Ｆ₇の内、点灯タイミングのフレーム画像がＦ₃、Ｆ₅〜Ｆ₇と４枚あるので、コントロール回路３４により乗算器２９には重み付けとして４／７が初期設定においてセットされる。一方、フレーム画像Ｆ₁〜Ｆ₇の内、消灯タイミングのフレーム画像がＦ₁、Ｆ₂、Ｆ₄と３枚あるので、コントロール回路３４により乗算器３０には重み付けとして−３／７が初期設定においてセットされる。
【００２７】
変動信号レベル画像加算器３１は、重み付けされた点灯パターンのフレーム画像の総和から重み付けされた消灯パターンのフレーム画像の総和を減算するという機能を有する。
【００２８】
このような処理の結果、検出フレームバッファ３２には、撮像部１３から出力されたフレーム画像に含まれている品質劣化情報の重畳強度を表す画像が格納される。
【００２９】
なお、検出フレームバッファ３２に格納される画像は、被写体に対して照射される自然の光の成分をすべて打ち消し、いわば、暗闇の中で、外乱光を照射したときのような画像となる。
【００３０】
出力画像セレクタ回路３５はコントロール回路３４からの制御信号（図中破線）により制御され、一方の入力３５ａは、撮像部１３の出力と接続されており、他方入力３５ｂは、除算器３３を介して、検出フレームバッファ３２からの出力と接続されている。そして、コントロール回路３４からの制御信号に従って、一方入力３５ａまたは他方入力３５ｂの信号を択一的に選択する。制御信号がＨレベルであれば、それは、今回入力された撮像部１３からの入力画像は、消灯タイミングであるため補正は不要であり、一方入力３５ａを選択し、Ｌレベルであれば今回入力された撮像部１３からの入力画像は点灯タイミングであるため、図４の自然画像３９に対して、輝点画像４０によって輝度が上げられている、すなわち自然画像３９が汚されているということになるので、補正された画像である他方入力３５ｂを選択する。
【００３１】
また、コントロール回路３４は、パターン符号ビットカウンタ３８とパターン符号レジスタ３７の符号ビットによって生成されるフレーム画像の符号列対応値に基づいて制御信号の論理を決定し、同符号列対応値が論理０（輝点画像４０を含まない）であれば、制御信号をＨレベルとし、同符号列対応値が論理１（輝点画像４０を含む）であれば、制御信号をＬレベルとする。
【００３２】
したがって、出力画像セレクタ回路３５は、フレームバッファ２６から取り出されたフレーム画像に輝点画像４０が含まれていない場合は入力３５ａを選択して同フレームバッファ２６から取り出されたフレーム画像の画像信号をそのまま出力する一方、同フレーム画像が輝点画像４０を含んでいる場合は入力３５ｂを選択して検出フレームバッファ３２に格納され、除算器３３を介して取り出された自然画像の画像信号を出力する。
【００３３】
この構成によれば、相関フィルタで構成された画像処理部１５により、フレーム画像に重畳された輝点画像４０を除去することができ、意図的に付加された品質劣化情報を取り除いた自然画像を再生することができる。
【００３４】
その結果、当該画像処理部１５を具備しないその他の撮像システム、または同画像処理部を具備していても、光源の点滅パターンに対応するパターン符号が予め設定されていない撮像システム（非許可システム）では、上記機能を備えないため、品質劣化情報を重畳したままの自然画像を再生出力するので、撮像したそのものの自然画像が得られないこととなり、収録段階において、肖像権、著作権侵害等の問題に対応することができる。
【００３５】
なお、図２における撮像部１３はフレーム画像を出力できるものであり、例えば、アナログ方式ないしディジタル方式のカムコーダである。このカムコーダは、典型的には６０フィールド／秒、２フィールドで１フレームのインタレース記録を行うものであるが、静止画像の取得処理として各フレーム（またはフィールド）に着目すれば、そのまま静止画カメラにも応用することが可能である。また、以下ではインターレース記録、すなわち、各フレームを２つのフィールドに分け、フレームレートを６０フィールド／秒とする例について説明するが、これに限定されない。他のフレームレートやノンインタレース（プログレッシブ記録）の撮像システムであってもかまわない。
【００３６】
さて、本発明において、品質劣化情報を許可システムにおいてのみ、除去する方法として、撮像部に現在一般的に用いられている撮像系からの画像時系列を用いる構成方法を述べたが、図３の画像処理部１５（相関フィルタ）以外にも同様の機能を有するものであれば適宜変更可能である。
【００３７】
たとえば、撮像部１３に画像処理部１５の機能を一体化させれば、撮像部１３の出力画像信号そのものを品質劣化情報が除去された画像信号として得ることもできる。
【００３８】
図５は、このような撮像系を用いた場合の変形例である。
同図において、１フィールド中における照明部１０のオン期間のタイミング概念図である。この図において、ハッチング部分は照明部１０のオン期間であり、この期間の照射光線により、前述の輝点画像４０（品質劣化情報）が形成される。照明部１０のオン期間は、１フィールド中のシャッター開時間との兼ね合いで設定され、少なくとも１フィールドの時間からシャッター開時間の最大値を引いた残りの時間が、照明部１０のオン期間に割り当てられる。
【００３９】
なお、照明部１０のオン期間の最小値（品質劣化時間の最小値）は１／６０−シャッター開時間最大である。（シャッター時間を最大にしても、必ず品質劣化情報が十分な点灯されることを保証するため、シャッター開時間は、フィールド時間より短くなるように構成される。例えば、一般的なＣＣＤのシャッター開時間最大は１／６０〜１／１０００（ｓ）であるので、撮影フィールド時間に等しいが、例えば、１／７５（ｓ）〜１／１０００（ｓ）とした場合、最低でも（＝シャッター時間が最大でも）、フィールド時間中の劣化照明の点灯時間が１／６０（ｓ）−１／７５（ｓ）＝３．３（ｍｓ）となるように保証するようにすることができる。
【００４０】
なお、照明部１０のオン／オフに伴う光の明滅パターン（激しい輝度点滅など）によっては、肉眼で見た場合に生理学的に不快な感覚を与える可能性がある。したがって、これを避けるために、例えば、比較的輝度変化のおだやかな警告表示を行ったり、あるいは、一般的民生カメラの多くが近赤外領域に感度を持つことを利用して、近赤外光の照射や画角内点灯とすることが望ましい。
【００４１】
ところで、上記実施の形態では、撮像部１３の撮影条件（フィールドタイミング及びシャッター速度）に基づいて照明部１０のオン／オフタイミングを設定しているが、他の撮像システム（非許可システム）においても、その撮影条件によっては偶然に品質劣化のないタイミングで自然画像を収録できてしまう可能性がある。
【００４２】
今、非許可システムが任意の時点で撮影し、結果として偶然に品質劣化なく撮れる確率は、非許可システムの各画像取得タイミングでのシャッター時間が照明部１０のオフ期間に収まる確率として捉えることができる。
【００４３】
具体的には、非許可システムのシャッター時間に非常に短い時間だけ照明部１０のオン期間の重なりが有り得る確率として捉えることができ、例えば、シャッター速度が１／１００（ｓ）であるような場合に０．１ｍｓだけ照明部１０のオン期間が重なっている場合である。このような場合、照明の強度によっては、品質劣化として記録されないこともあり得るが、このようなケースも本実施の形態では不適切な時間であるとして簡単化する。
【００４４】
許可システムと非許可システムを区別するための必要な基本特性は、以下のとおりである（図６（ａ）参照）。
（１）許可システムのフレームレート（Ｔｉ）よりも早いフレームレートと、整数倍に遅いフレームレートでは偶然一致の可能性はないので、無視してもかまわない。
（２）許可システムのシャッター時間（Ｔｓ）を短くなるほど（すなわち、照明部１０のオン時間が長くなるほど）、非許可システムにおける撮影タイミングの偶然一致の可能性は低くなる。
（３）非許可システムのシャッター時間（Ｔｓｂ）が短いほど、偶然一致の可能性は高くなる。
【００４５】
ちなみに、図６（ｂ）は、許可システムのフレームレート（Ｔｉ）が６０フレーム／秒、シャッター時間（Ｔｓ）が８ｍｓで、非許可システムのフレームレート（Ｔｉｂ）が６０フレーム／秒、シャッター時間（Ｔｓｂ）が７ｍｓの時のタイミング例である。この場合、非許可システムで偶然に正常撮影（品質劣化情報を排除して自然画像のみ撮影）できる確率は、図６（ａ）より、
（Ｔｓ−Ｔｓｂ）／Ｔｉ＝（８−７）／１６．７＝５．９〔％〕
となり、およそ１００回のうちの６回程度が成功することになる。
【００４６】
一般にＣＣＤ撮影データの輝度の設定パラメータには、シャッター時間とゲインがあるが、上記の基本特性より、許可システムは画像品質が維持できるレベルで、できるだけ短いシャッター時間（シャッター速度優先）とし、且つ、ゲインによって輝度補正するような制御態様とすれば、一般の自動調整のシャッター速度に対して通常よりも早く設定できるため、偶然一致の確率を０ないし０に極めて近づけることができる。このように、偶然の一致という面から見ても実用上十分となる程度に低い確率に抑えることが可能である。
【００４７】
また、この偶然一致という可能性は、本実施形態のシャッターをメカ式とし、画角内にＣＣＤにスミア等を発生させるだけの強力な光源をおけば、非許可システムの電子式シャッターのタイミングが照明ＯＦＦ時間に完全に重なっていようと、照明ＯＮ時の強烈な光によってスミア現象を強制的に発生させることができ、確実に品質劣化した画像にしてしまうことも可能である。
【００４８】
図７（ａ）はメカシャッターを有する撮像デバイスの構成図である。撮像デバイス５０は写真レンズ等の光学系５１と、メカシャッタ５２と、カラーフィルタ５３と、ＣＣＤ５４とを備え、メカシャッタ５２の開閉時間を制御することにより、許可システムにおけるスミア現象を防止する一方、このようなメカシャッタ５２を備えない（または備えていたとしてもその開閉時間の制御を適切に行い得ない）非許可システムにおいてはスミア現象を積極的に発生させて、確実に品質劣化した画像とすることができる。
【００４９】
図７（ｂ）は、図７（ａ）におけるメカシャッタを備える場合のタイミングチャートである。電子シャッターのオン時間（ＣＣＤ５４の電荷蓄積時間）は、通常のシャッター時間の２倍の長さにする。例えば、通常のシャッター時間を１／１０００（ｓ）とすれば、電子シャッターのオン時間を２／１０００（ｓ）とする。照明部１０のオンオフに伴う品質劣化情報は、ＣＣＤ５４の前面に設けられたメカシャッター５２を閉じることによりカットする。隣接フィールド（図では２ｎフィールドと２ｎ−１フィールド）の照明部１０のオン期間は逆位相となっており、例えば、２ｎフィールドでは「オン」から始まるのに対して、２ｎ＋１フィールドでは「オフン」から始まっている。
【００５０】
図８は、自然画像に対する品質劣化情報の重畳概念図である。上記実施の形態では、人物像等の被写体に光線を照射し、その反射光を品質劣化情報としているが、これに限定されない。要は、自然画像の画質を損なわせるような情報を付加すればよく、例えば、（ａ）に示すように、被写体（人物像）６０の背景に発光体６１を配置し、その発光体６１からの直接光を品質劣化情報としてもよく、あるいは、（ｂ）に示すように、被写体６０の背景等にスクリーン６２を配置し、そのスクリーン６２に表示された文字列や記号ないしは画像等を品質劣化情報としてもよい。（ｃ）はスクリーン６２の一例である。スクリーン６２は平面発光体（または投影体）６３に所定の文字列や記号乃至は画像等を表示するもので、この表示文字列等を被写体６０と一緒に画像に写しこむことができるものである。スクリーン６２に著作権情報を表示することにより、積極的な権利保護を主張することができる。
【００５１】
以上、説明したとおり、本実施の形態によれば、動画像や音声情報からなるコンテンツ情報の収録現場で不正に収録されたコンテンツの品質を劣化させることにより、収録段階におけるコンテンツの権利保護を意図したコンテンツ保護方法及び保護装置を提供することができる。しかも、ＣＣＤのフィールドタイミングとシャッタースピードによって、外部の光源を従属的に制御することとしたため、非許可システムの偶然のタイミング一致という懸念は残るものの、既存のあらゆる方式の画像記録装置（カムコーダ等）のＣＣＤのタイミング情報とシャッター情報を利用し、それらの情報を用いて光源を同期させるだけの簡便な構成でよく、製品コストを削減できるという上記懸念を無視しても余りあるメリットが得られる。
【００５２】
なお、上記実施形態は本発明の意図する範囲において様々な変形が可能であり、以下のように変形させることができる。例えば、上記懸念を排除するため、メカシャッター等（撮像素子の前に配置した反応速度数ｍ秒以下の液晶等）を積極的に利用してもよい。この場合、例えば、光源を１ｍ／秒時間の点滅とし、偶数時間と奇数時間での位相を変えると共に、撮像のシャッター期間（＝蓄光時間中）中で、ＣＣＤに入る光線を前段のメカシャッターでカットする（図７参照）。これによれば、偶数フィールドと奇数フィールドの位相が異なるため、偶然にタイミングが一致することがなく、上記懸念を排除できる。
【００５３】
また、単純な周期的繰り返しでは、非許可撮影を効果的に阻止し得ないことも有り得る。例えば、上記のメカシャッターを用いたとしても、あらかじめ撮影画角の照明の輝度変動などを測定しておけば容易にタイミングをとることが可能である。そこで、明滅パターンを非常に長い系列の擬似乱数バイナリパターンで行うようにすると好ましい。このようにすると、非常に困難な符号解析を行わなければならなくなり、計算利用的に安全性を確保することができる。
【００５４】
また、画角内全体に対しての全体照明を時系列的に変動させ、撮影装置の自動シャッターは初期設定後ロックして、変動データに合わせて画像の全体輝度を調整しつつ取得することで、品質劣化を除去するようにしてもよい。
【００５５】
また、シャッターという考えを用いずに、点灯しているまま画像データ取得し、既知のパターンデータを使って補正処理して、該当フレームの検出領域部分の重畳部分から重畳された分だけ輝度を減算することによっても、補正された画像を得ることができる。すなわち、特定画像領域の輝度領域を輝度が確定できるあるパターン（パルス的変動でなくてもよい）で擾乱し、設定した特定輝度擾乱を該領域で固定的演算により補正してもよい。この場合、固定的に正確な変動分が既知となっていなければならないため、固定光源や壁など一定の場所への照射警告文字などの応用に有効である。撮影前にキャリブレーション動作を行い、取得装置としての擾乱領域の指定とレベル設定を行う。
【００５６】
上記実施の形態では、特に公開の場所で行われる映画やドラマのロケまたは歌手などのコンサート若しくは展示会等における撮影対象を被写体１１とし、その被写体１１の自然画像に対する権利保護を行うものを例示したが、本発明の意図する範囲はかかる例に限定されない。保護の対象となる各種コンテンツのうち公開の場所で収録される情報であって、隠し撮りの可能性を否定できないものであればよく、例えば、自然音声の生情報であってもよい。以下、そのような場合について詳述する。
【００５７】
まず、自然音声に対して本発明を適用する場合の基本的概念を説明する。
音声記録においては、画像のシャッター時間に相当するものがない。このため、上記実施形態で採用したような、時分割で正常情報時間と品質劣化情報重畳時間とを分けるということができない。
【００５８】
これは、離散時間的音声処理（＝デジタル音声処理）による音声録音においては“低域フィルタ”の適用が必須だからである。撮影システムにおいては、人間の視覚系の性質が残像効果等により、低いフレームレートながらも短時間だけの切り取り画像（例えば、１５フレーム／秒でありながらも各フレームは１／６０シャッターの切り取り画像になること）であっても、知覚的補完によって動画として感じるように、撮影装置がフレーレートに応じた時間変動成分の低域フィルタをかけていない。仮に、低域フィルタによって、フレームレート以上の動きをカットする（画像的には、例えば、１５フレーム／秒であれば６７ｍ秒間のシャッタースピードとする）ような補正を行うと、かえって見づらい動画となってしまう。
【００５９】
フレームレートに比べて高速な画像変動に対して、低域フィルタを入れていないことで起こり得る数少ない不具合として、映画、ＴＶなどで車輪などの回転が一時的にとまったり、逆回転するように見える例がある（エイリアス現象）。しかし、たいていの自然画像はエイリアスを起こすような周期的高速現象がないので、この問題は無視できる程度であり、画像においては時間変動の低域フィルタをかけない方のメリットが大きい。
【００６０】
一方、聴覚は、変動周波数が数十ＫＨｚにおよぶ高速変動の情報に対する知覚であり、デジタルサンプリングにおいては、低域フィルタを通さない限り、視覚でごくまれに起こっていたような不具合（エイリアス現象）が必ず発生し、ノイズとなって聞こえるという不都合がある。しかも、音声データは時間とパワーだけからなる１次元信号であるため、信号処理のコストは画像に比べて低く押さえられるし、またあらかじめ低域フィルタを通してあるなど、信号特性が整えられているため、波形分離等の信号処理を正確に行うことが可能になる。
【００６１】
そこで、以下の実施形態における音声取得システムでは、元の生情報と重なるタイミングと帯域で品質劣化信号を重畳し、それを許可側のシステムで、信号処理によって除去するようにし、品質劣化のない情報取得を行うという方法を採用することにする。
【００６２】
図９は、本実施形態における音声情報収録の一例である。収録場所７０は、公開のロケ現場またはコンサート会場若しくは展示会場等であり、音源７１は収録対象の自然音声（例えば、人間の声、展示品等からの出力音、楽器等の奏でる音）を発するものである。音源７１の周囲には一つ乃至は複数のマイクロフォン７２〜７４が配置されており、これらのマイクロフォン７２〜７４によって音源７１からの自然音声を拾って収録するようになっている。
【００６３】
また、収録現場内７５の任意位置には品質劣化音を拡声する拡声器７５が配置されており、上記マイクロフォン７２〜７４は、音源７１からの自然音声と共に、拡声器７５からの品質劣化音７５ａ、７５ｂも同時に拾って収録するようになっている。品質劣化音７５ａ、７５ｂは耳障りなノイズ音であってもよいし、特定の音声警告メッセージであってもよく、これらを常時または間欠的に流してもよい。また、コンテンツを汚したくない場合は、上記マイクロフォン７２〜７４で拾うことが可能な可聴周波数帯域外の音波であってもよい。
【００６４】
図１０（ａ）は、自然音声取得システムの概念構成図であり、図示の自然音声取得システムは、拡声器８０、アンプ８１、品質劣化情報生成部８２、同期制御部８３、一つ乃至複数の自然音声収録部８４−ｉを備える。なお、ｉは上記マイクロフォン７２〜７４の個数をｎとすると、１〜ｎの間の整数値を持つ。例えば、ｎ＝３とすると、ｉは１、２、３のいずれかの値を持つ。
【００６５】
品質劣化情報生成部８２は、例えば、耳障りなノイズ音または特定の音声警告メッセージ等の品質劣化信号を生成し、アンプ８１はその品質劣化信号を電力増幅して拡声器８０を駆動する。同期制御部８３は品質劣化情報生成部８２と自然音声収録部８４−ｉの動作を同期させるためのクロック信号を発生し、自然音声収録部８４−ｉはこのクロック信号に従って前置処理部６６や第ｉマイク用除去パターン生成部８７の動作を制御しながら、マイクロフォン８５で拾った自然音声のなかから品質劣化情報を除去して、自然音声のみの音声情報信号を再生出力する。
【００６６】
ここで、図１０（ｂ）は、信号処理部８８の一例構成図である。例示の信号処理部８８は、第ｉマイク用除去パターン生成部８７からの除去パターン信号Ａの極性を反転する極性反転部８９と、この極性反転部８９の出力と前置処理部８６の出力Ｂとを加算する加算部９０とを有しており、要するに「−Ａ＋Ｂ」という“逆位相加算”の演算結果Ｃを出力する。ここで、マイクロフォン８５で拾った自然音声（Ｂに相当）のなかに含まれている品質劣化情報をＡ′とするとき、Ａ′＝Ａであれば、「−Ａ＋Ｂ」より、上記演算結果ＣはＡ′（＝Ａ）を除去した自然音声のみの純粋な音声情報信号となる。
【００６７】
したがって、この実施形態によれば、公開の場所で収録される自然音声に品質劣化信号を重畳することができ、当該品質劣化情報の除去機能を有する特定の音声収録システム（許可システム）において、マイクロフォンで拾った自然音声のなかから品質劣化情報を除去し、自然音声のみの音声情報信号を再生出力することができる。その結果、当該品質劣化情報の除去機能を有さない他の音声収録システム（非許可システム）では、品質が劣化された音声情報しか収録できなくなるため、隠し録音等の不正行為のメリットを半減せしめて、当該行為の防止を図ることができる。
【００６８】
なお、かかる効果を奏するためには、信号処理部８８で行われる“逆位相加算”の条件、すなわち、Ａ′＝Ａの成立が重要である。それには、品質劣化情報生成部８２で作られる品質劣化信号と、第ｉマイク用除去パターン生成部８７に格納される除去パターン信号とのマッチングを図る必要があるが、仮にこれら二つの信号（品質劣化信号／除去パターン信号）を正確にマッチングさせたとしても、収録現場７０や各マイクロフォン７２〜７４の音響特性及び配置場所等によって、必ずしも上記条件（Ａ′＝Ａ）を満たしえない。
【００６９】
そこで、本実施の形態においては、以下のような簡便な方法を提案する。
図１１は、この方法に必要な要部のシステム変形例であり、自然音声収録部８４−ｉは、前置処理部８６と信号処理部８８の間にセレクタ部９１を備える。セレクタ部９１は、通常の収録モード時には前置処理部８６の出力を信号処理部８８に伝えるが、所定のキャリブレーションモード時には前置処理部８６の出力を第ｉマイク用除去パターン生成部８７に伝えるというものである。なお、収録モード及びキャリブレーションモードの切り換えは図示しない操作パネルからの人為的スイッチ操作に応答して行われるようになっており、セレクタ部９１は、そのモード切り換え信号に従って切り換え動作を行う。これによれば、所定のキャリブレーションモードに設定することにより、そのときにマイクロフォン８５で拾った音声情報を前置処理部８６から第ｉマイク用除去パターン生成部８７に取り込んで保持することができ、当該取り込み情報を除去パターン信号とすることができる。
【００７０】
図１２は、通常の収録モードと所定のキャリブレーションモードを併用する音声収録動作のフローチャートである。このフローチャートを実行すると、まず、モード判定を行い（ステップＳ１）、通常の収録モード（録音モード）であれば、ステップＳ５〜ステップＳ７を実行する一方、所定のキャリブレーションモードであれば、ステップＳ２〜ステップＳ４を実行する。
【００７１】
キャリブレーションモードは、収録の最初で実行し、またはマイクロフォンの位置を変えたりマイクロフォンを交換したりした場合にも実行する。すなわち、音響特性が変化したと思われる場合に実行する。キャリブレーションモードにおいては、まず、各マイク入力処理ブロックを擾乱パターン（除去パターン）記録モードに設定する（ステップＳ２）。各マイク入力処理ブロックとは、マイクロフォンごとの自然音声収録部８４−ｉのことであり、また、擾乱パターン記録モードとは、自然音声収録部８４−ｉのセレクタ部９１を切り換えて、前置処理部８６の出力を第ｉマイク用除去パターン生成部８７に記録させることをいう。
【００７２】
次に、スピーカ出力と各マイクサンプリングとの同期を開始し（ステップＳ３）、この動作をキャリブレーション終了（例えば、所定時間の経過または人為的終了操作）まで継続（ステップＳ４）した後、処理を終了する。このキャリブレーションモードを実行することによって、第ｉマイク用除去パターン生成部８７には、品質劣化情報生成部８２で生成された実際の品質劣化信号に基づく擾乱パターンが記録されることとなる。なお、このキャリブレーションモードの実行中は不要なノイズが擾乱パターンに重畳されることを防止するために、できるだけ収録現場７０の静粛を保つ必要があることはもちろんである。
【００７３】
上記のキャリブレーションモードを実行後、通常の記録モードを開始すると、まず、各マイク入力処理ブロックを擾乱除去モードに設定する（ステップＳ５）。擾乱除去モードとは、自然音声収録部８４−ｉのセレクタ部９１を切り換えて、前置処理部８６の出力を信号処理部８８に入力し、前述の“逆位相加算”により、第ｉマイク用除去パターン生成部８７に記録させておいた除去パターン信号を除去することをいう。次に、スピーカ出力と各マイクサンプリングとの同期を開始し（ステップＳ６）、この動作を録音終了（例えば、所定時間の経過または人為的終了操作）まで継続（ステップＳ７）した後、処理を終了する。
【００７４】
したがって、図１２の処理によれば、各マイクロフォンで拾った実際の品質劣化情報を第ｉマイク用除去パターン生成部８７に記録し、この記録情報を実際の録音モード時における収録情報から逆位相減算するので、収録現場や各マイクロフォンごとの音響特性を加味した適切な擾乱除去（品質劣化情報の除去）を行うことができ、例えば、前述の条件（Ａ′＝Ａ）を正確化して擾乱の除去漏れを防止することができる。
【００７５】
なお、キャリブレーションモードを実行した後も、聴衆の増加等により、キャリブレーションモード時と音響環境が多少変動することがある。この変動はサンプルデータ単位の処理において、処理誤差の要因となり得るため、当該誤差をできるだけ少なくする必要がある。そのためには、品質劣化情報に含まれる高調波成分をできるだけ少なくしておくことが望ましい。高調波成分と誤差との間に因果関係があるからである。
【００７６】
上記実施の形態は、以下のとおり変形させることができる。例えば、各マイクロフォンと拡声器を一体筐体に収めてもよい。この場合、拡声器から各マイクロフォンへの回り込みを十分に抑えることができれば、キャリブレーションモードでの品質劣化音声データのレベル設定や反射残響などの考慮を不要とすることができ、キャリブレーション動作を省くことも可能である。
【００７７】
また、マイクロフォンと拡声器の位置関係や音響環境パラメータ等に応じてあらかじめ最適化した品質劣化情報等を記録しておくことにより、面倒なキャリブレーション動作を簡略化することも可能である。
【００７８】
【発明の効果】
本発明によれば、収録対象の収録時において発生した外乱によって、収録対象に基づく収録情報の品質が損なわれるため、外乱の除去を行わない限り、収録情報の利用が限定的にしか行われないので、不正コピーの防止等、収録情報の権利保護を図ることができる。
【図面の簡単な説明】
【図１】本発明に係る実施形態の原理を説明するための概念図である。
【図２】第１の実施形態の概念構成図である。
【図３】相関フィルタで構成した画像処理部１５の構成図である。
【図４】フレーム画像Ｆ₁〜Ｆ₇を示す図である。
【図５】１フィールド中における照明部１０のオン期間のタイミング概念図である。
【図６】許可システムと非許可システムを区別するための必要な基本特性図及び許可システムと非許可システムのフレームレート等比較対象図である。
【図７】メカシャッターを有する撮像デバイスの構成図である。
【図８】自然画像に対する品質劣化情報の重畳概念図である。
【図９】本実施形態における音声情報収録の一例を示す図である。
【図１０】自然音声取得システムの概念構成図である。
【図１１】図１０の要部変形システム構成図である。
【図１２】通常の収録モードと所定のキャリブレーションモードを併用する音声収録動作のフローチャートである。
【符号の説明】
１生情報（自然情報）
２品質劣化情報
３品質劣化情報発生手段
４許可システム（収録手段）
６生情報再生手段（再生手段）
１０照明部
１３撮像部（収録手段）
１５画像処理部（再生手段）

Claims

光を照射する照射部から、収録対象となる被写体に対して、当該被写体の像の画質を劣化させる光を照射し、前記被写体の像に前記光の像が重畳した画像を収録する収録ステップと、
前記収録ステップにおいて収録された画像から前記光の像を除去し、除去された画像を再生する再生ステップと、を含み、
前記収録ステップは、
前記照射部から、前記被写体に向けて、前記光を繰り返し照射する照射ステップと、
前記照射ステップにおいて前記光が照射されていない前記被写体の像を、第１のフレーム画像として撮像部により撮像する第１の撮像ステップと、
前記照射ステップにおいて前記光が照射されている前記被写体の像を、第２のフレーム画像として撮像部により撮像する第２の撮像ステップと、を含み、
前記再生ステップは、
前記第１の撮像ステップにおいて撮像された第１のフレーム画像をそのまま再生する第１の出力ステップと、
前記第２の撮像ステップにおいて撮像された第２のフレーム画像から前記光の像に基づく輝度情報を除去し、除去された第２のフレーム画像を再生する第２の出力ステップと、を含む、
ことを特徴とする収録・再生方法。
前記収録ステップは、
前記撮像部のシャッター速度に基づく同期信号を発生する発生ステップを含み、
前記照射ステップにおいては、
前記発生ステップにおいて発生された同期信号に基づく時間間隔で、前記光を繰り返し照射する、
ことを特徴とする請求項１記載の収録・再生方法。
光を繰り返し照射する照射手段から、収録対象となる被写体に対して、当該被写体の像の画質を劣化させる光を照射し、前記被写体の像に前記光の像が重畳した画像を収録する収録手段と、
前記収録手段により収録された画像から前記光の像を除去し、除去された画像を再生する再生手段と、を備え、
前記収録手段は、
前記照射手段により前記光が照射されていない前記被写体の像を、第１のフレーム画像として撮像部により撮像する第１の撮像手段と、
前記照射手段により前記光が照射されている前記被写体の像を、第２のフレーム画像として撮像部により撮像する第２の撮像手段と、を備え、
前記再生手段は、
前記第１の撮像手段により撮像された第１のフレーム画像をそのまま再生する第１の出力手段と、
前記第２の撮像手段により撮像された第２のフレーム画像から前記光の像に基づく輝度情報を除去し、除去された第２のフレーム画像を再生する第２の出力手段と、を備え
たことを特徴とする収録・再生システム。