JP4292694B2 - 収録・再生方法及び収録・再生システム - Google Patents

収録・再生方法及び収録・再生システム Download PDF

Info

Publication number
JP4292694B2
JP4292694B2 JP2000221738A JP2000221738A JP4292694B2 JP 4292694 B2 JP4292694 B2 JP 4292694B2 JP 2000221738 A JP2000221738 A JP 2000221738A JP 2000221738 A JP2000221738 A JP 2000221738A JP 4292694 B2 JP4292694 B2 JP 4292694B2
Authority
JP
Japan
Prior art keywords
image
recording
light
information
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000221738A
Other languages
English (en)
Other versions
JP2002044582A (ja
Inventor
宣男 飯塚
邦雄 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2000221738A priority Critical patent/JP4292694B2/ja
Publication of JP2002044582A publication Critical patent/JP2002044582A/ja
Application granted granted Critical
Publication of JP4292694B2 publication Critical patent/JP4292694B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、収録・再生方法及び収録・再生システムに関し、詳しくは、動きを伴う自然画像または自然界の音声情報からなる自然情報をコンテンツとした場合の当該コンテンツの著作権保護等を意図した収録・再生方法及び収録・再生システムに関する。
【0002】
【従来の技術】
近年、通信技術や情報処理技術の発展に伴い、画像情報や音声情報といった比較的データサイズの大きな情報も容易にネット上でやり取りできるようになってきた。また、CD−R(Compact Disc − Recordable)などの大容量可搬型記憶媒体と、その書き込み装置が共に安価に入手できるようになったことから、こうした記憶媒体に画像情報や音声情報等のコンテンツ情報をコピーして配布することも容易になってきた。
【0003】
かかる技術的な趨勢は、我々に大きな利便性をもたらす一方で、不正コピーやデータの改ざんあるいは無許可利用といった著作権侵害問題を引き起こしていることも事実である。著作権侵害問題を回避するための従来対策としては、例えば、元の情報に品質劣化情報を付加することが行われている。これは、正規利用者のみが品質劣化情報を取り除くことができるようにして、他の利用者との再生情報品質に差をつけるというものである。画像であれば正規利用者のみが元画像の品質を再現することができる。
【0004】
この種の従来技術は、アナログ情報に対するものとディジタル情報に対するものの二種類に区分けすることができる。動きを伴う自然画像(以下「動画像」という。)を例にすると、前者(アナログ情報に対するもの)は、アナログビデオテープの帰線期間の信号を加工して、コピーを行うと動画像の品質が劣化するようにしたものがある。また、アナログ映像伝送(CATV等)においては同期信号にスクランブルをかけて許可システムのみでスクランブルを解除できるようにしたものもある。
【0005】
一方、後者(ディジタル情報に対するもの)は、データストリーム中にコピーフラグを設けて機器に対応させることによるコピー管理を行ったり、暗号化による当事者以外の閲覧、使用の禁止を行ったりするもの、または、電子透かしの埋め込みによるコンテンツの不正使用等の検出や追跡(編集等されても強固に不可視の痕跡データを保持する)を行ったりするもの、あるいは、ステガノグラフィ(深層暗号化技術、電子迷彩技術)によって不正改ざんの検出を行ったりするものなど様々な方法がある。
【0006】
【発明が解決しようとする課題】
しかしながら、上記従来技術にあっては、その区分けに関わらず、いずれの方法も、動画や音声等のコンテンツの生成(ビデオテープへの収録やデジタイズ処理)後に行われることに変わりなく、例えば、コンテンツとして利用する動画像の撮影、及び収録時の段階で、盗撮→複製というような著作権侵害に対して、即時的に回避対策を講じることができないという本質的な欠点があった。
【0007】
例えば、映画やドラマの屋外ロケ、歌手などのコンサート、展示会における参考出品の製品展示等、一般に公開の場所にある映像や音声に基づくコンテンツの製作はその場で収録することによって行われるが、これらのコンテンツの権利保護を考慮する場合、無許可の収録を禁止しなければならないものの、ガードマン等による人的な禁止対策しか行えないという問題点がある。
【0008】
本発明が解決しようとする課題は、動画像や音声情報からなるコンテンツの収録現場において、即時的に不正に収録されたコンテンツの品質を劣化させることにより、収録時におけるコンテンツの権利保護を意図した収録・再生方法及び収録・再生システムを提供することにある。
【0009】
【課題を解決するための手段】
本発明は、上記目的を達成するために、光を照射する照射部から、収録対象となる被写体に対して、当該被写体の像の画質を劣化させる光を照射し、前記被写体の像に前記光の像が重畳した画像を収録する収録ステップと、前記収録ステップにおいて収録された画像から前記光の像を除去し、除去された画像を再生する再生ステップと、を含み、前記収録ステップは、前記照射部から、前記被写体に向けて、前記光を繰り返し照射する照射ステップと、前記照射ステップにおいて前記光が照射されていない前記被写体の像を、第1のフレーム画像として撮像部により撮像する第1の撮像ステップと、前記照射ステップにおいて前記光が照射されている前記被写体の像を、第2のフレーム画像として撮像部により撮像する第2の撮像ステップと、を含み、前記再生ステップは、前記第1の撮像ステップにおいて撮像された第1のフレーム画像をそのまま再生する第1の出力ステップと、前記第2の撮像ステップにおいて撮像された第2のフレーム画像から前記光の像に基づく輝度情報を除去し、除去された第2のフレーム画像を再生する第2の出力ステップと、を含むものとした。
【0010】
これによれば、収録対象の収録時において発生した外乱によって、収録対象に基づく収録情報の品質が損なわれるため、外乱の除去を行わない限り、収録情報の利用が限定的にしか行われないので、不正コピーの防止等、収録情報の権利保護が図られる。
【0011】
【発明の実施形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。なお、以下の説明における様々な細部の特定ないし実例および数値や文字列その他の記号の例示は、本発明の思想を明瞭にするための、あくまでも参考であって、それらのすべてまたは一部によって本発明の思想が限定されないことは明らかである。また、周知の手法、周知の手順、周知のアーキテクチャおよび周知の回路構成等(以下「周知事項」)についてはその細部にわたる説明を避けるが、これも説明を簡潔にするためであって、これら周知事項のすべてまたは一部を意図的に排除するものではない。かかる周知事項は本発明の出願時点で当業者の知り得るところであるので、以下の説明に当然含まれている。
【0012】
図1は、本発明に係る実施形態の原理を説明するための概念図である。図において、生情報1は収録対象となる自然画像または自然音声の情報であり、例えば、自然画像とは、映画やドラマの屋外ロケで収録され得る動画像の情報であり、自然音声とは、野外ロケや歌手などのコンサートで収録され得る音声情報等を指すものである。そして、このような生情報1には、予め所定の品質劣化情報2が重畳されており、この品質劣化情報2は生情報1のコンテンツとしての品質または商品価値を損なわせるための“擾乱(じょうらん)パターン”を含むものである。ここで、擾乱パターンとは、品質劣化情報発生手段3によって作られるものであり、この品質劣化情報発生手段3で作られる擾乱パターンに付随して、品質劣化情報2を再生段階で除去するために必要なキー情報を有するものである。例えば、生情報1を動画像とし、品質劣化情報2の擾乱パターンがその動画像に重畳する光の明滅パターンとすると、光の明滅間隔等の情報は上記キー情報となる。
【0013】
更に図1では、二つのシステム4、5が示されている。図中“許可システム”と記載された一方のシステム4は、品質劣化情報発生手段3からの上記キー情報に基づいて、収録された生情報1より品質劣化情報2を除去して、生情報1′を再生する生情報再生手段6を有している。これに対して、図中“非許可システム”と記載された他方のシステム5は、上記許可システム4が備える生情報再生手段6を有しておらず、したがって、非許可システム5からは品質劣化情報2を重畳したままの生情報1が再生されるようになっている。
【0014】
例えば、生情報1を動画像とした場合、上記許可システム4を搭載したカメラ、及び上記非許可システム5を搭載したカメラはいずれも動画像を撮影してその画像信号を出力するが、生情報再生手段6を有する許可システム4を搭載したカメラでは品質劣化情報2を除去した動画像を出力するのに対して、非許可システム5を搭載したカメラでは品質劣化情報2を重畳したままの動画像を出力する。したがって、生情報再生手段6を有する許可システム4を搭載したカメラを使用しない限り、撮影した動画像(フレーム画像)を出力することができない。これにより、公開の収録現場で密かに生情報1の違法収録が行われた場合でも、その収録に非許可システム5が用いられている限り、品質劣化情報2を重畳したままのコンテンツ情報のみが違法収録者の手に渡り、収録現場におけるコンテンツ保護を確実に行うことができる。
【0015】
図2は、第1の実施形態の概念構成図である。図において、照明部10は被写体(特に公開の場所で行われる映画やドラマのロケまたは歌手などのコンサート若しくは展示会等における撮影対象)11に対して、照明を目的とする照射に加え光線が発射される。この光線は点滅するもので、そのオンオフは光源制御パルス発生部12からの同期パルスによってコントロールされており、光源制御パルス発生部12は被写体11の画像を撮影する撮像部13の撮影パラメータ(例えば、フィールドタイミングやシャッター速度など)に従って同期パルスの発生周期を制御する。撮像部13は画像調整部14から任意に与えられるシャッター速度や絞り値及びゲイン等の撮影条件に従って被写体11の動画像を撮像し、その撮像信号を画像処理部15に出力する。画像処理部15は撮像部13からの撮像信号に含まれる品質劣化情報を除去する機能を有しており、この画像処理部15からは品質劣化情報を含まない良好な品質の画像信号が出力される。
【0016】
ここで、図2に示すシステム全体は、前記原理説明における許可システム4に相当し、照明部10及び光源制御パルス発生部12は同品質劣化情報発生手段3に相当し、画像処理部15は同生情報再生手段6に相当する。
【0017】
照明部10は、光源制御パルス発生部12からの同期パルスに従って点滅する光線を被写体11に照射する。被写体11それ自体の画像情報は前記原理説明における生情報1であり、生情報1に重畳された光線の点滅は、生情報1の品質を劣化させるための付加情報(品質劣化情報2)である。
【0018】
画像処理部15は撮像信号のなかから上記付加情報を見つけ出して除去する機能を有する。この機能は、例えば、相関フィルタによって実現することができる。
【0019】
図3は、相関フィルタで構成された画像処理部15の構成図である。当該画像処理部15は上記光線の点滅に関連する変動パターンが2ビット以上最大7ビットの任意符号長の任意の変動パターン(但しオール”0”、オール”1”は除く)を設定できる自由度を備えたものであり、撮像部13からの撮像信号(フレーム画像)をフレーム単位に順次に取り込むフレームバッファ20〜26、画像加算器27、28、乗算器29、30、変動信号レベル画像加算器31、検出フレームバッファ32、除算器33、コントロール回路34、出力画像セレクタ回路35、マルチプレクサ36、パターン符号レジスタ37、及びパターン符号ビットカウンタ38とで構成される。
【0020】
図4は、上記フレームバッファ20〜26に格納されるフレーム画像F1〜F7を示す図である。升目の一つ一つはフレーム画像を表しており、各々のフレーム画像には被写体(図では人物像)の自然画像39が含まれている。このうち、上記パターン符号が「0010111」であったとすると、フレーム画像(図ではF3、F5、F6及びF7)には照明部10からの光線によって形成された輝点画像40が生成されており、この輝点画像40は自然画像39の画質を劣化させるために意図的に付加された情報、すなわち、品質劣化情報に相当する。輝点画像40の点滅パターンは、例えば、フレーム画像の周期に同期しており、図示の例では、F1→オフ、F2→オフ、F3→オン、F4→オフ、F5→オン、F6→オン、F7→オンとなっているので、二値信号の論理0を“オフ”、論理1を“オン”とすれば、この点滅パターンは「・・・・0010111・・・・」という符号列で表すことができる。すなわち、光源制御パルス発生部12は、この符号列と、撮像部13の撮影条件(フィールドタイミングやシャッター速度等)とに従って、照明部10に与えるための同期パルスを発生する。
【0021】
再び図3に戻り、各回路の動作原理を説明する。
各フレームバッファ20〜26の出力は画像加算器27、28に接続されており、これらの画像加算器27、28の出力はそれぞれ乗算器29、30を介して変動信号レベル加算器31に接続されている。変動信号レベル加算器31の出力はフィルタリング画像格納用のフレームバッファ32に接続されており、フレームバッファ32の出力は除算器33を介して出力画像セレクタ回路35に接続されている。
【0022】
画像加算器27はゲーティング制御レジスタ27aを有し、ゲーティング制御レジスタ27aはコントロール回路34からの制御信号(図中破線)によりフレームバッファ20〜26に格納されるフレーム画像において点灯タイミング(”1”)に対応するフレーム画像のみが有効になるようにゲート制御する。図4のケースを例に挙げると、フレーム画像F3、F5〜F7が点灯画像にあたるので、ゲーティング制御レジスタ27aはフレームバッファ22、24〜26のフレーム画像のみの結線を有効にするようにコントロール回路34によって制御される。
【0023】
そして、画像加算器27は点灯タイミングのフレーム画像の加算総和を求めるのである。
【0024】
画像加算器28はゲーティング制御レジスタ28aを有し、ゲーティング制御レジスタ28aはコントロール回路34からの制御信号(図中破線)によりフレームバッファ20〜26に格納されるフレーム画像において消灯タイミング(”0”)に対応するフレーム画像のみが有効になるようにゲート制御する。図4のケースを例に挙げると、フレーム画像F1、F2、F4が消灯画像にあたるので、ゲーティング制御レジスタ27aはフレームバッファ20、21、23のフレーム画像のみの結線を有効にするようにコントロール回路34によって制御される。
【0025】
そして、画像加算器28は消灯タイミングのフレーム画像の加算総和を求めるのである。
【0026】
乗算器29、30はコントロール回路34からの制御信号(図中破線)により制御され、それぞれ点灯パターンで、1周期(フレーム画像7枚分)での“0”(OFF)のフレーム画像と“1”(ON)のフレーム画像の数が異なる場合、それらの総和の重み付けを等価させ、点灯総和画像(“1”のフレーム画像の総和)から消灯総和画像(“0”のフレーム画像の総和)を減ずるための係数付与をするという機能を有する。図4のケースを例に挙げると、フレーム画像F1〜F7の内、点灯タイミングのフレーム画像がF3、F5〜F7と4枚あるので、コントロール回路34により乗算器29には重み付けとして4/7が初期設定においてセットされる。一方、フレーム画像F1〜F7の内、消灯タイミングのフレーム画像がF1、F2、F4と3枚あるので、コントロール回路34により乗算器30には重み付けとして−3/7が初期設定においてセットされる。
【0027】
変動信号レベル画像加算器31は、重み付けされた点灯パターンのフレーム画像の総和から重み付けされた消灯パターンのフレーム画像の総和を減算するという機能を有する。
【0028】
このような処理の結果、検出フレームバッファ32には、撮像部13から出力されたフレーム画像に含まれている品質劣化情報の重畳強度を表す画像が格納される。
【0029】
なお、検出フレームバッファ32に格納される画像は、被写体に対して照射される自然の光の成分をすべて打ち消し、いわば、暗闇の中で、外乱光を照射したときのような画像となる。
【0030】
出力画像セレクタ回路35はコントロール回路34からの制御信号(図中破線)により制御され、一方の入力35aは、撮像部13の出力と接続されており、他方入力35bは、除算器33を介して、検出フレームバッファ32からの出力と接続されている。そして、コントロール回路34からの制御信号に従って、一方入力35aまたは他方入力35bの信号を択一的に選択する。制御信号がHレベルであれば、それは、今回入力された撮像部13からの入力画像は、消灯タイミングであるため補正は不要であり、一方入力35aを選択し、Lレベルであれば今回入力された撮像部13からの入力画像は点灯タイミングであるため、図4の自然画像39に対して、輝点画像40によって輝度が上げられている、すなわち自然画像39が汚されているということになるので、補正された画像である他方入力35bを選択する。
【0031】
また、コントロール回路34は、パターン符号ビットカウンタ38とパターン符号レジスタ37の符号ビットによって生成されるフレーム画像の符号列対応値に基づいて制御信号の論理を決定し、同符号列対応値が論理0(輝点画像40を含まない)であれば、制御信号をHレベルとし、同符号列対応値が論理1(輝点画像40を含む)であれば、制御信号をLレベルとする。
【0032】
したがって、出力画像セレクタ回路35は、フレームバッファ26から取り出されたフレーム画像に輝点画像40が含まれていない場合は入力35aを選択して同フレームバッファ26から取り出されたフレーム画像の画像信号をそのまま出力する一方、同フレーム画像が輝点画像40を含んでいる場合は入力35bを選択して検出フレームバッファ32に格納され、除算器33を介して取り出された自然画像の画像信号を出力する。
【0033】
この構成によれば、相関フィルタで構成された画像処理部15により、フレーム画像に重畳された輝点画像40を除去することができ、意図的に付加された品質劣化情報を取り除いた自然画像を再生することができる。
【0034】
その結果、当該画像処理部15を具備しないその他の撮像システム、または同画像処理部を具備していても、光源の点滅パターンに対応するパターン符号が予め設定されていない撮像システム(非許可システム)では、上記機能を備えないため、品質劣化情報を重畳したままの自然画像を再生出力するので、撮像したそのものの自然画像が得られないこととなり、収録段階において、肖像権、著作権侵害等の問題に対応することができる。
【0035】
なお、図2における撮像部13はフレーム画像を出力できるものであり、例えば、アナログ方式ないしディジタル方式のカムコーダである。このカムコーダは、典型的には60フィールド/秒、2フィールドで1フレームのインタレース記録を行うものであるが、静止画像の取得処理として各フレーム(またはフィールド)に着目すれば、そのまま静止画カメラにも応用することが可能である。また、以下ではインターレース記録、すなわち、各フレームを2つのフィールドに分け、フレームレートを60フィールド/秒とする例について説明するが、これに限定されない。他のフレームレートやノンインタレース(プログレッシブ記録)の撮像システムであってもかまわない。
【0036】
さて、本発明において、品質劣化情報を許可システムにおいてのみ、除去する方法として、撮像部に現在一般的に用いられている撮像系からの画像時系列を用いる構成方法を述べたが、図3の画像処理部15(相関フィルタ)以外にも同様の機能を有するものであれば適宜変更可能である。
【0037】
たとえば、撮像部13に画像処理部15の機能を一体化させれば、撮像部13の出力画像信号そのものを品質劣化情報が除去された画像信号として得ることもできる。
【0038】
図5は、このような撮像系を用いた場合の変形例である。
同図において、1フィールド中における照明部10のオン期間のタイミング概念図である。この図において、ハッチング部分は照明部10のオン期間であり、この期間の照射光線により、前述の輝点画像40(品質劣化情報)が形成される。照明部10のオン期間は、1フィールド中のシャッター開時間との兼ね合いで設定され、少なくとも1フィールドの時間からシャッター開時間の最大値を引いた残りの時間が、照明部10のオン期間に割り当てられる。
【0039】
なお、照明部10のオン期間の最小値(品質劣化時間の最小値)は1/60−シャッター開時間最大である。(シャッター時間を最大にしても、必ず品質劣化情報が十分な点灯されることを保証するため、シャッター開時間は、フィールド時間より短くなるように構成される。例えば、一般的なCCDのシャッター開時間最大は1/60〜1/1000(s)であるので、撮影フィールド時間に等しいが、例えば、1/75(s)〜1/1000(s)とした場合、最低でも(=シャッター時間が最大でも)、フィールド時間中の劣化照明の点灯時間が1/60(s)−1/75(s)=3.3(ms)となるように保証するようにすることができる。
【0040】
なお、照明部10のオン/オフに伴う光の明滅パターン(激しい輝度点滅など)によっては、肉眼で見た場合に生理学的に不快な感覚を与える可能性がある。したがって、これを避けるために、例えば、比較的輝度変化のおだやかな警告表示を行ったり、あるいは、一般的民生カメラの多くが近赤外領域に感度を持つことを利用して、近赤外光の照射や画角内点灯とすることが望ましい。
【0041】
ところで、上記実施の形態では、撮像部13の撮影条件(フィールドタイミング及びシャッター速度)に基づいて照明部10のオン/オフタイミングを設定しているが、他の撮像システム(非許可システム)においても、その撮影条件によっては偶然に品質劣化のないタイミングで自然画像を収録できてしまう可能性がある。
【0042】
今、非許可システムが任意の時点で撮影し、結果として偶然に品質劣化なく撮れる確率は、非許可システムの各画像取得タイミングでのシャッター時間が照明部10のオフ期間に収まる確率として捉えることができる。
【0043】
具体的には、非許可システムのシャッター時間に非常に短い時間だけ照明部10のオン期間の重なりが有り得る確率として捉えることができ、例えば、シャッター速度が1/100(s)であるような場合に0.1msだけ照明部10のオン期間が重なっている場合である。このような場合、照明の強度によっては、品質劣化として記録されないこともあり得るが、このようなケースも本実施の形態では不適切な時間であるとして簡単化する。
【0044】
許可システムと非許可システムを区別するための必要な基本特性は、以下のとおりである(図6(a)参照)。
(1)許可システムのフレームレート(Ti)よりも早いフレームレートと、整数倍に遅いフレームレートでは偶然一致の可能性はないので、無視してもかまわない。
(2)許可システムのシャッター時間(Ts)を短くなるほど(すなわち、照明部10のオン時間が長くなるほど)、非許可システムにおける撮影タイミングの偶然一致の可能性は低くなる。
(3)非許可システムのシャッター時間(Tsb)が短いほど、偶然一致の可能性は高くなる。
【0045】
ちなみに、図6(b)は、許可システムのフレームレート(Ti)が60フレーム/秒、シャッター時間(Ts)が8msで、非許可システムのフレームレート(Tib)が60フレーム/秒、シャッター時間(Tsb)が7msの時のタイミング例である。この場合、非許可システムで偶然に正常撮影(品質劣化情報を排除して自然画像のみ撮影)できる確率は、図6(a)より、
(Ts−Tsb)/Ti=(8−7)/16.7=5.9〔%〕
となり、およそ100回のうちの6回程度が成功することになる。
【0046】
一般にCCD撮影データの輝度の設定パラメータには、シャッター時間とゲインがあるが、上記の基本特性より、許可システムは画像品質が維持できるレベルで、できるだけ短いシャッター時間(シャッター速度優先)とし、且つ、ゲインによって輝度補正するような制御態様とすれば、一般の自動調整のシャッター速度に対して通常よりも早く設定できるため、偶然一致の確率を0ないし0に極めて近づけることができる。このように、偶然の一致という面から見ても実用上十分となる程度に低い確率に抑えることが可能である。
【0047】
また、この偶然一致という可能性は、本実施形態のシャッターをメカ式とし、画角内にCCDにスミア等を発生させるだけの強力な光源をおけば、非許可システムの電子式シャッターのタイミングが照明OFF時間に完全に重なっていようと、照明ON時の強烈な光によってスミア現象を強制的に発生させることができ、確実に品質劣化した画像にしてしまうことも可能である。
【0048】
図7(a)はメカシャッターを有する撮像デバイスの構成図である。撮像デバイス50は写真レンズ等の光学系51と、メカシャッタ52と、カラーフィルタ53と、CCD54とを備え、メカシャッタ52の開閉時間を制御することにより、許可システムにおけるスミア現象を防止する一方、このようなメカシャッタ52を備えない(または備えていたとしてもその開閉時間の制御を適切に行い得ない)非許可システムにおいてはスミア現象を積極的に発生させて、確実に品質劣化した画像とすることができる。
【0049】
図7(b)は、図7(a)におけるメカシャッタを備える場合のタイミングチャートである。電子シャッターのオン時間(CCD54の電荷蓄積時間)は、通常のシャッター時間の2倍の長さにする。例えば、通常のシャッター時間を1/1000(s)とすれば、電子シャッターのオン時間を2/1000(s)とする。照明部10のオンオフに伴う品質劣化情報は、CCD54の前面に設けられたメカシャッター52を閉じることによりカットする。隣接フィールド(図では2nフィールドと2n−1フィールド)の照明部10のオン期間は逆位相となっており、例えば、2nフィールドでは「オン」から始まるのに対して、2n+1フィールドでは「オフン」から始まっている。
【0050】
図8は、自然画像に対する品質劣化情報の重畳概念図である。上記実施の形態では、人物像等の被写体に光線を照射し、その反射光を品質劣化情報としているが、これに限定されない。要は、自然画像の画質を損なわせるような情報を付加すればよく、例えば、(a)に示すように、被写体(人物像)60の背景に発光体61を配置し、その発光体61からの直接光を品質劣化情報としてもよく、あるいは、(b)に示すように、被写体60の背景等にスクリーン62を配置し、そのスクリーン62に表示された文字列や記号ないしは画像等を品質劣化情報としてもよい。(c)はスクリーン62の一例である。スクリーン62は平面発光体(または投影体)63に所定の文字列や記号乃至は画像等を表示するもので、この表示文字列等を被写体60と一緒に画像に写しこむことができるものである。スクリーン62に著作権情報を表示することにより、積極的な権利保護を主張することができる。
【0051】
以上、説明したとおり、本実施の形態によれば、動画像や音声情報からなるコンテンツ情報の収録現場で不正に収録されたコンテンツの品質を劣化させることにより、収録段階におけるコンテンツの権利保護を意図したコンテンツ保護方法及び保護装置を提供することができる。しかも、CCDのフィールドタイミングとシャッタースピードによって、外部の光源を従属的に制御することとしたため、非許可システムの偶然のタイミング一致という懸念は残るものの、既存のあらゆる方式の画像記録装置(カムコーダ等)のCCDのタイミング情報とシャッター情報を利用し、それらの情報を用いて光源を同期させるだけの簡便な構成でよく、製品コストを削減できるという上記懸念を無視しても余りあるメリットが得られる。
【0052】
なお、上記実施形態は本発明の意図する範囲において様々な変形が可能であり、以下のように変形させることができる。例えば、上記懸念を排除するため、メカシャッター等(撮像素子の前に配置した反応速度数m秒以下の液晶等)を積極的に利用してもよい。この場合、例えば、光源を1m/秒時間の点滅とし、偶数時間と奇数時間での位相を変えると共に、撮像のシャッター期間(=蓄光時間中)中で、CCDに入る光線を前段のメカシャッターでカットする(図7参照)。これによれば、偶数フィールドと奇数フィールドの位相が異なるため、偶然にタイミングが一致することがなく、上記懸念を排除できる。
【0053】
また、単純な周期的繰り返しでは、非許可撮影を効果的に阻止し得ないことも有り得る。例えば、上記のメカシャッターを用いたとしても、あらかじめ撮影画角の照明の輝度変動などを測定しておけば容易にタイミングをとることが可能である。そこで、明滅パターンを非常に長い系列の擬似乱数バイナリパターンで行うようにすると好ましい。このようにすると、非常に困難な符号解析を行わなければならなくなり、計算利用的に安全性を確保することができる。
【0054】
また、画角内全体に対しての全体照明を時系列的に変動させ、撮影装置の自動シャッターは初期設定後ロックして、変動データに合わせて画像の全体輝度を調整しつつ取得することで、品質劣化を除去するようにしてもよい。
【0055】
また、シャッターという考えを用いずに、点灯しているまま画像データ取得し、既知のパターンデータを使って補正処理して、該当フレームの検出領域部分の重畳部分から重畳された分だけ輝度を減算することによっても、補正された画像を得ることができる。すなわち、特定画像領域の輝度領域を輝度が確定できるあるパターン(パルス的変動でなくてもよい)で擾乱し、設定した特定輝度擾乱を該領域で固定的演算により補正してもよい。この場合、固定的に正確な変動分が既知となっていなければならないため、固定光源や壁など一定の場所への照射警告文字などの応用に有効である。撮影前にキャリブレーション動作を行い、取得装置としての擾乱領域の指定とレベル設定を行う。
【0056】
上記実施の形態では、特に公開の場所で行われる映画やドラマのロケまたは歌手などのコンサート若しくは展示会等における撮影対象を被写体11とし、その被写体11の自然画像に対する権利保護を行うものを例示したが、本発明の意図する範囲はかかる例に限定されない。保護の対象となる各種コンテンツのうち公開の場所で収録される情報であって、隠し撮りの可能性を否定できないものであればよく、例えば、自然音声の生情報であってもよい。以下、そのような場合について詳述する。
【0057】
まず、自然音声に対して本発明を適用する場合の基本的概念を説明する。
音声記録においては、画像のシャッター時間に相当するものがない。このため、上記実施形態で採用したような、時分割で正常情報時間と品質劣化情報重畳時間とを分けるということができない。
【0058】
これは、離散時間的音声処理(=デジタル音声処理)による音声録音においては“低域フィルタ”の適用が必須だからである。撮影システムにおいては、人間の視覚系の性質が残像効果等により、低いフレームレートながらも短時間だけの切り取り画像(例えば、15フレーム/秒でありながらも各フレームは1/60シャッターの切り取り画像になること)であっても、知覚的補完によって動画として感じるように、撮影装置がフレーレートに応じた時間変動成分の低域フィルタをかけていない。仮に、低域フィルタによって、フレームレート以上の動きをカットする(画像的には、例えば、15フレーム/秒であれば67m秒間のシャッタースピードとする)ような補正を行うと、かえって見づらい動画となってしまう。
【0059】
フレームレートに比べて高速な画像変動に対して、低域フィルタを入れていないことで起こり得る数少ない不具合として、映画、TVなどで車輪などの回転が一時的にとまったり、逆回転するように見える例がある(エイリアス現象)。しかし、たいていの自然画像はエイリアスを起こすような周期的高速現象がないので、この問題は無視できる程度であり、画像においては時間変動の低域フィルタをかけない方のメリットが大きい。
【0060】
一方、聴覚は、変動周波数が数十KHzにおよぶ高速変動の情報に対する知覚であり、デジタルサンプリングにおいては、低域フィルタを通さない限り、視覚でごくまれに起こっていたような不具合(エイリアス現象)が必ず発生し、ノイズとなって聞こえるという不都合がある。しかも、音声データは時間とパワーだけからなる1次元信号であるため、信号処理のコストは画像に比べて低く押さえられるし、またあらかじめ低域フィルタを通してあるなど、信号特性が整えられているため、波形分離等の信号処理を正確に行うことが可能になる。
【0061】
そこで、以下の実施形態における音声取得システムでは、元の生情報と重なるタイミングと帯域で品質劣化信号を重畳し、それを許可側のシステムで、信号処理によって除去するようにし、品質劣化のない情報取得を行うという方法を採用することにする。
【0062】
図9は、本実施形態における音声情報収録の一例である。収録場所70は、公開のロケ現場またはコンサート会場若しくは展示会場等であり、音源71は収録対象の自然音声(例えば、人間の声、展示品等からの出力音、楽器等の奏でる音)を発するものである。音源71の周囲には一つ乃至は複数のマイクロフォン72〜74が配置されており、これらのマイクロフォン72〜74によって音源71からの自然音声を拾って収録するようになっている。
【0063】
また、収録現場内75の任意位置には品質劣化音を拡声する拡声器75が配置されており、上記マイクロフォン72〜74は、音源71からの自然音声と共に、拡声器75からの品質劣化音75a、75bも同時に拾って収録するようになっている。品質劣化音75a、75bは耳障りなノイズ音であってもよいし、特定の音声警告メッセージであってもよく、これらを常時または間欠的に流してもよい。また、コンテンツを汚したくない場合は、上記マイクロフォン72〜74で拾うことが可能な可聴周波数帯域外の音波であってもよい。
【0064】
図10(a)は、自然音声取得システムの概念構成図であり、図示の自然音声取得システムは、拡声器80、アンプ81、品質劣化情報生成部82、同期制御部83、一つ乃至複数の自然音声収録部84−iを備える。なお、iは上記マイクロフォン72〜74の個数をnとすると、1〜nの間の整数値を持つ。例えば、n=3とすると、iは1、2、3のいずれかの値を持つ。
【0065】
品質劣化情報生成部82は、例えば、耳障りなノイズ音または特定の音声警告メッセージ等の品質劣化信号を生成し、アンプ81はその品質劣化信号を電力増幅して拡声器80を駆動する。同期制御部83は品質劣化情報生成部82と自然音声収録部84−iの動作を同期させるためのクロック信号を発生し、自然音声収録部84−iはこのクロック信号に従って前置処理部66や第iマイク用除去パターン生成部87の動作を制御しながら、マイクロフォン85で拾った自然音声のなかから品質劣化情報を除去して、自然音声のみの音声情報信号を再生出力する。
【0066】
ここで、 図10(b)は、信号処理部88の一例構成図である。例示の信号処理部88は、第iマイク用除去パターン生成部87からの除去パターン信号Aの極性を反転する極性反転部89と、この極性反転部89の出力と前置処理部86の出力Bとを加算する加算部90とを有しており、要するに「−A+B」という“逆位相加算”の演算結果Cを出力する。ここで、マイクロフォン85で拾った自然音声(Bに相当)のなかに含まれている品質劣化情報をA′とするとき、A′=Aであれば、「−A+B」より、上記演算結果CはA′(=A)を除去した自然音声のみの純粋な音声情報信号となる。
【0067】
したがって、この実施形態によれば、公開の場所で収録される自然音声に品質劣化信号を重畳することができ、当該品質劣化情報の除去機能を有する特定の音声収録システム(許可システム)において、マイクロフォンで拾った自然音声のなかから品質劣化情報を除去し、自然音声のみの音声情報信号を再生出力することができる。その結果、当該品質劣化情報の除去機能を有さない他の音声収録システム(非許可システム)では、品質が劣化された音声情報しか収録できなくなるため、隠し録音等の不正行為のメリットを半減せしめて、当該行為の防止を図ることができる。
【0068】
なお、かかる効果を奏するためには、信号処理部88で行われる“逆位相加算”の条件、すなわち、A′=Aの成立が重要である。それには、品質劣化情報生成部82で作られる品質劣化信号と、第iマイク用除去パターン生成部87に格納される除去パターン信号とのマッチングを図る必要があるが、仮にこれら二つの信号(品質劣化信号/除去パターン信号)を正確にマッチングさせたとしても、収録現場70や各マイクロフォン72〜74の音響特性及び配置場所等によって、必ずしも上記条件(A′=A)を満たしえない。
【0069】
そこで、本実施の形態においては、以下のような簡便な方法を提案する。
図11は、この方法に必要な要部のシステム変形例であり、自然音声収録部84−iは、前置処理部86と信号処理部88の間にセレクタ部91を備える。セレクタ部91は、通常の収録モード時には前置処理部86の出力を信号処理部88に伝えるが、所定のキャリブレーションモード時には前置処理部86の出力を第iマイク用除去パターン生成部87に伝えるというものである。なお、収録モード及びキャリブレーションモードの切り換えは図示しない操作パネルからの人為的スイッチ操作に応答して行われるようになっており、セレクタ部91は、そのモード切り換え信号に従って切り換え動作を行う。これによれば、所定のキャリブレーションモードに設定することにより、そのときにマイクロフォン85で拾った音声情報を前置処理部86から第iマイク用除去パターン生成部87に取り込んで保持することができ、当該取り込み情報を除去パターン信号とすることができる。
【0070】
図12は、通常の収録モードと所定のキャリブレーションモードを併用する音声収録動作のフローチャートである。このフローチャートを実行すると、まず、モード判定を行い(ステップS1)、通常の収録モード(録音モード)であれば、ステップS5〜ステップS7を実行する一方、所定のキャリブレーションモードであれば、ステップS2〜ステップS4を実行する。
【0071】
キャリブレーションモードは、収録の最初で実行し、またはマイクロフォンの位置を変えたりマイクロフォンを交換したりした場合にも実行する。すなわち、音響特性が変化したと思われる場合に実行する。キャリブレーションモードにおいては、まず、各マイク入力処理ブロックを擾乱パターン(除去パターン)記録モードに設定する(ステップS2)。各マイク入力処理ブロックとは、マイクロフォンごとの自然音声収録部84−iのことであり、また、擾乱パターン記録モードとは、自然音声収録部84−iのセレクタ部91を切り換えて、前置処理部86の出力を第iマイク用除去パターン生成部87に記録させることをいう。
【0072】
次に、スピーカ出力と各マイクサンプリングとの同期を開始し(ステップS3)、この動作をキャリブレーション終了(例えば、所定時間の経過または人為的終了操作)まで継続(ステップS4)した後、処理を終了する。このキャリブレーションモードを実行することによって、第iマイク用除去パターン生成部87には、品質劣化情報生成部82で生成された実際の品質劣化信号に基づく擾乱パターンが記録されることとなる。なお、このキャリブレーションモードの実行中は不要なノイズが擾乱パターンに重畳されることを防止するために、できるだけ収録現場70の静粛を保つ必要があることはもちろんである。
【0073】
上記のキャリブレーションモードを実行後、通常の記録モードを開始すると、まず、各マイク入力処理ブロックを擾乱除去モードに設定する(ステップS5)。擾乱除去モードとは、自然音声収録部84−iのセレクタ部91を切り換えて、前置処理部86の出力を信号処理部88に入力し、前述の“逆位相加算”により、第iマイク用除去パターン生成部87に記録させておいた除去パターン信号を除去することをいう。次に、スピーカ出力と各マイクサンプリングとの同期を開始し(ステップS6)、この動作を録音終了(例えば、所定時間の経過または人為的終了操作)まで継続(ステップS7)した後、処理を終了する。
【0074】
したがって、図12の処理によれば、各マイクロフォンで拾った実際の品質劣化情報を第iマイク用除去パターン生成部87に記録し、この記録情報を実際の録音モード時における収録情報から逆位相減算するので、収録現場や各マイクロフォンごとの音響特性を加味した適切な擾乱除去(品質劣化情報の除去)を行うことができ、例えば、前述の条件(A′=A)を正確化して擾乱の除去漏れを防止することができる。
【0075】
なお、キャリブレーションモードを実行した後も、聴衆の増加等により、キャリブレーションモード時と音響環境が多少変動することがある。この変動はサンプルデータ単位の処理において、処理誤差の要因となり得るため、当該誤差をできるだけ少なくする必要がある。そのためには、品質劣化情報に含まれる高調波成分をできるだけ少なくしておくことが望ましい。高調波成分と誤差との間に因果関係があるからである。
【0076】
上記実施の形態は、以下のとおり変形させることができる。例えば、各マイクロフォンと拡声器を一体筐体に収めてもよい。この場合、拡声器から各マイクロフォンへの回り込みを十分に抑えることができれば、キャリブレーションモードでの品質劣化音声データのレベル設定や反射残響などの考慮を不要とすることができ、キャリブレーション動作を省くことも可能である。
【0077】
また、マイクロフォンと拡声器の位置関係や音響環境パラメータ等に応じてあらかじめ最適化した品質劣化情報等を記録しておくことにより、面倒なキャリブレーション動作を簡略化することも可能である。
【0078】
【発明の効果】
本発明によれば、収録対象の収録時において発生した外乱によって、収録対象に基づく収録情報の品質が損なわれるため、外乱の除去を行わない限り、収録情報の利用が限定的にしか行われないので、不正コピーの防止等、収録情報の権利保護を図ることができる。
【図面の簡単な説明】
【図1】本発明に係る実施形態の原理を説明するための概念図である。
【図2】第1の実施形態の概念構成図である。
【図3】相関フィルタで構成した画像処理部15の構成図である。
【図4】フレーム画像F1〜F7を示す図である。
【図5】1フィールド中における照明部10のオン期間のタイミング概念図である。
【図6】許可システムと非許可システムを区別するための必要な基本特性図及び許可システムと非許可システムのフレームレート等比較対象図である。
【図7】メカシャッターを有する撮像デバイスの構成図である。
【図8】自然画像に対する品質劣化情報の重畳概念図である。
【図9】本実施形態における音声情報収録の一例を示す図である。
【図10】自然音声取得システムの概念構成図である。
【図11】図10の要部変形システム構成図である。
【図12】通常の収録モードと所定のキャリブレーションモードを併用する音声収録動作のフローチャートである。
【符号の説明】
1 生情報(自然情報)
2 品質劣化情報
3 品質劣化情報発生手段
4 許可システム(収録手段)
6 生情報再生手段(再生手段)
10 照明部
13 撮像部(収録手段)
15 画像処理部(再生手段)

Claims (3)

  1. 光を照射する照射部から、収録対象となる被写体に対して当該被写体の像の画質を劣化させる光を照射し、前記被写体の像に前記光の像が重畳した画像を収録する収録ステップと、
    前記収録ステップにおいて収録された画像から前記光の像を除去し、除去された画像を再生する再生ステップとを含み、
    前記収録ステップは、
    前記照射部から、前記被写体に向けて、前記光を繰り返し照射する照射ステップと、
    前記照射ステップにおいて前記光が照射されていない前記被写体の像を、第1のフレーム画像として撮像部により撮像する第1の撮像ステップと、
    前記照射ステップにおいて前記光が照射されている前記被写体の像を、第2のフレーム画像として撮像部により撮像する第2の撮像ステップと、を含み、
    前記再生ステップは、
    前記第1の撮像ステップにおいて撮像された第1のフレーム画像をそのまま再生する第1の出力ステップと、
    前記第2の撮像ステップにおいて撮像された第2のフレーム画像から前記光の像に基づく輝度情報を除去し、除去された第2のフレーム画像を再生する第2の出力ステップと、を含む、
    ことを特徴とする収録・再生方法。
  2. 前記収録ステップは、
    前記撮像部のシャッター速度に基づく同期信号を発生する発生ステップを含み、
    前記照射ステップにおいては、
    前記発生ステップにおいて発生された同期信号に基づく時間間隔で、前記光を繰り返し照射する、
    ことを特徴とする請求項記載の収録・再生方法。
  3. 光を繰り返し照射する照射手段から、収録対象となる被写体に対して当該被写体の像の画質を劣化させる光を照射し、前記被写体の像に前記光の像が重畳した画像を収録する収録手段と、
    前記収録手段により収録された画像から前記光の像を除去し、除去された画像を再生する再生手段とを備え、
    前記収録手段は、
    前記照射手段により前記光が照射されていない前記被写体の像を、第1のフレーム画像として撮像部により撮像する第1の撮像手段と、
    前記照射手段により前記光が照射されている前記被写体の像を、第2のフレーム画像として撮像部により撮像する第2の撮像手段と、を備え、
    前記再生手段は、
    前記第1の撮像手段により撮像された第1のフレーム画像をそのまま再生する第1の出力手段と、
    前記第2の撮像手段により撮像された第2のフレーム画像から前記光の像に基づく輝度情報を除去し、除去された第2のフレーム画像を再生する第2の出力手段と、を備え
    たことを特徴とする収録・再生システム。
JP2000221738A 2000-07-24 2000-07-24 収録・再生方法及び収録・再生システム Expired - Fee Related JP4292694B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000221738A JP4292694B2 (ja) 2000-07-24 2000-07-24 収録・再生方法及び収録・再生システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000221738A JP4292694B2 (ja) 2000-07-24 2000-07-24 収録・再生方法及び収録・再生システム

Publications (2)

Publication Number Publication Date
JP2002044582A JP2002044582A (ja) 2002-02-08
JP4292694B2 true JP4292694B2 (ja) 2009-07-08

Family

ID=18716089

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000221738A Expired - Fee Related JP4292694B2 (ja) 2000-07-24 2000-07-24 収録・再生方法及び収録・再生システム

Country Status (1)

Country Link
JP (1) JP4292694B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007259249A (ja) * 2006-03-24 2007-10-04 Sony Corp 撮像装置、表示方法、およびプログラム
JP2018097148A (ja) * 2016-12-13 2018-06-21 パナソニックIpマネジメント株式会社 画像投影システム、画像投影装置、及び画像投影方法

Also Published As

Publication number Publication date
JP2002044582A (ja) 2002-02-08

Similar Documents

Publication Publication Date Title
EP2116047B1 (en) Digital cinema anti-camcording method and apparatus based on image frame post-sampling
JPH10504944A (ja) ソース識別データをビデオ信号に挿入する方法及び装置
US7006630B2 (en) Methods and apparatus for digital content protection
US7298965B2 (en) Interfering with illicit recording activity
KR100700900B1 (ko) 부가 정보 삽입 방법, 부가 정보 검출 방법, 부가 정보삽입 장치 및 부가 정보 검출 장치
US20040125125A1 (en) Embedded data windows in audio sequences and video frames
TWI291632B (en) A method and apparatus for protecting digital content using mechanism of storing copy protection information
RU2241261C2 (ru) Способ и устройство ограничения возможности копирования цифровой информации и устройство записи цифровой информации (варианты)
JPH06504655A (ja) ビデオ信号のコピー防止機構を無効にする方法及び装置
EP1553775A1 (en) Wm signal generation device, wm signal generation method, computer-executable program for executing wm signal generation method and computer readable recording medium on which the program is recorded, digital watermarking device, and digital tv set including the digital watermarking device
JP2004056769A (ja) 著作権侵害防止方法及び著作権侵害防止システム
JP2004080669A (ja) 監視カメラ装置
JP2008546038A (ja) 動画の著作権侵害を阻止する方法と装置
JP2009544057A (ja) 上演映画に対してオーディオ透かしを入れる手法
JP4292694B2 (ja) 収録・再生方法及び収録・再生システム
KR100748374B1 (ko) 영상신호 출력장치, 영상신호 입력장치, 스크램블 방법,디스크램블 방법
US20060277609A1 (en) Method and apparatus for tracking pirated media
EP2525345A1 (en) Video display device
KR100383474B1 (ko) 복제방지 신호 합성 및 무효화 방법 및 장치
JP2004054710A (ja) 情報処理装置、情報処理方法および情報処理システム
TW524019B (en) A method for preventing copying and digital broadcasting, receiving device
JP2677914B2 (ja) 記録再生装置
JP2002112210A (ja) 付加情報埋め込み装置及び方法、並びに記憶媒体
Kumar et al. Deterrence of Piracy Employing IR Transmitter and Steganography System
KR0146026B1 (ko) 화상의 은닉 및 은닉해제를 위한 플레이어

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080519

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080729

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090317

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090330

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130417

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130417

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140417

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees