JP4281097B2 - 動画データの照合システム - Google Patents

Description

本発明は、ネットワーク上のサイトにおいて閲覧可能な状態とされる閲覧動画データを照合する照合システム、閲覧動画データを照合するために用いられる複数の動画データが情報として登録された動画データベースを作製する方法並びに動画データベースに動画データを登録するための登録システム及びプログラムに関するものである。

近年、小説、音楽、映画、写真など情報のデジタル化及びインターネットの普及に伴いインターネット上での著作権侵害が問題視されている。これは、情報をデジタル化することにより、品質を落とさず正確に複製することが可能であり、また情報の編集、翻案などの二次利用や三次利用が容易であること、さらにインターネットを通じて公衆送信できることから、他人の著作物を利用しやすい環境であることに起因する。特に、企業等の団体だけではなく、各個人においてもこれらの環境下にあるため、著作権侵害の予防、管理を困難なものとしている。

最近、インターネット上で動画を共有する動画共有サービスが提供されているが、この動画共有サービスにおいて著作権侵害が大きな問題となっている。動画共有サービスとは、あるユーザーがアップロードした動画データを共有化することで、他のユーザーにもダウンロード可能な状態とさせ、動画を公開、閲覧できるようにしたサービスである。この動画共有サービスには、一日に何万件もの動画データが投稿されており、それらの動画データの中には、著作権を侵害する違法なものも多数含まれているのが現状である。例えば、映画、テレビ番組、ライブ映像、プロモーションビデオなどが著作権者に無断でアップロードされている。

従来、動画共有サービスにおける著作権の管理は、利用規約などに著作権を侵害する動画データの投稿を禁止する旨を記載するだけで、各ユーザーの倫理に委ねており、特別な検閲システムを設けていなかった。仮に違法な動画データがアップロードされた場合であっても、第三者から違法な動画データとして指摘されたものについて削除するだけであった。著作権者などは、アップロードされた動画データをダウンロードして再生し、視認することによって違法な動画データを検索し、通報していたが、日々何万件も増加する動画データの全てを確認することは現実的ではなかった。しかも、違法な動画データは、通報して削除されても、ユーザーによって再び投稿されることが多く、従来の対策は実効的なものではなかった。

ところで、従来の動画検索技術としては、動画にキーワードを設定しておき、検索者がキーワードを入力して、キーワードに合致する動画を検索する技術が大半であった。しかし、キーワードを用いた動画検索方法では、設定したキーワードが動画に対して不適切であった場合には、適切な動画を検索することができない点が問題だった。さらに、キーワードの設定には、個人差が存在し、また個人の主観の違いや表現の違いによってキーワードが必ずしも一致しない点でも問題であり、さらにキーワードが一致した場合には、目的の動画以外の動画であっても検索されてしまう点でも問題がある。

かかるキーワードによる動画検索方法に対して、特許文献１には、動画の場面の切り替わるフレーム画像を抽出して代表フレーム画像として、代表フレーム画像の全体又は部分から、画像の特定色の面積、代表フレーム間の時間長、音の強さの積分値、音の一定強さ以上の時間長などの特徴量を計算し、特徴量に対応したコードを割当て、代表フレームに対しコードまたはコード列で名称を付けて、動画に対し代表フレーム列に対応するフレームの名称列で動画の名称を作成し、この動画の名称を用いて照合する動画検索方法が開示されている。

特開平７−１１４５６７号公報

しかしながら、現状、動画共有サービスにおいて、違法な動画データのフィルタリングは、十分に実現されておらず、実効的な動画検索方法が求められている。上に述べた特許文献１の動画検索方法は、動画の中で一致する映像シーンを検索することを目的とするものであり、動画共有サービスにおいて違法な動画データを検索するものではなかった。

動画共有サービスにおいて違法な動画データを検索するためには、動画共有サービスにアップロードされた動画が違法なものであるか否かを調べる必要があり、動画共有サービスにアップロードされた多数の動画に対して、それぞれが違法なものか否かを照合する必要がある。アップロードされる動画としては、オリジナルの動画全体の場合もあるし、任意に区切られた一部分だけがアップロードされる場合もある。また、同様の動画が複数回アップロードされることもあり、継続的な監視も必要である。

特許文献１には、このような動画共有サービスにおいて違法な動画データを検索する手法については開示されていない。しかも、特許文献１の動画検索方法では、動画に対し代表フレーム列に対応するフレームの名称列（動画の名称）によって照合するため、アップロードされた動画をダウンロードして、アップロードされた動画の動画の名称を算出して照合する必要がある。このため、アップロードされた動画をその都度ダウンロードしなければならないので、検索に時間がかかり、またダウンロード時間が高速化に向けたボトルネックの一つになる。また、細かく区切られた動画データや、動画の区切り方によっては正確に照合できない可能性がある。さらに、随時更新される動画データに対して動画の名称を算出する必要があり、処理装置の処理量が膨大なものとなってしまう。加えて、動画の名称を算出する基礎となる特徴量については、異なる画像であっても、抽出した特徴量が一致又は類似していれば、検索されてしまうため、認証精度が低下するといった問題が存在する。

そこで、本発明は、ネットワーク上のサイトにおいて閲覧可能な状態とされる閲覧動画データに対し、実効的な検閲を可能とする照合システムを提供することを目的とする。また、本発明は、動画データが情報として登録される動画データベースにおいて、単位容量当たりの動画データの登録数を増やし、検索も容易な動画データベースの作製方法を提供することを目的とする。さらに、本発明は、動画データを動画データベースに登録する際に、簡易な方法で且つ情報漏洩に対するセキュリティを高めた登録システム及びプログラムを提供することを目的とする。加えて、これらの照合システム、動画データベースの作製方法、登録システム及びプログラムを用いて著作権の管理や新たなビジネスモデルを提供することを目的とする。なお、これらの目的は、それぞれ関連の深いものを代表的に示したものであり、相互に関連又は重畳している。

本発明の照合システムは、ネットワーク上のサイトにおいて閲覧可能な状態とされる閲覧動画データを照合する照合システムであって、複数の登録動画データが情報として登録された動画データベースと、前記閲覧動画データと前記動画データベースに登録された登録動画データとを照合する照合手段とを有し、前記閲覧動画データは、見本用として表示される静止画像を有しており、前記動画データベースは、各登録動画データとして、当該登録動画データを再生した再生動画の複数のフレーム画像から生成された複数の登録用画像からなる登録用画像群が記録された記録媒体を有し、前記照合手段は、前記閲覧動画データの見本用の静止画像から生成された検索用画像と前記動画データベースの記録媒体に記録された登録用画像とを照合することを特徴とする。

さらに、本発明の上記照合システムにおいて、前記閲覧動画データから任意又は無作為に見本の静止画像を抽出する機能を有していることが好ましい。また、前記各登録動画データの登録用画像群は、当該登録用画像群に含まれる登録用画像の一つと他の一つとの相関演算の結果が、あらかじめ設定されたしきい値よりも小さいことが好ましい。さらに、前記登録用画像は、フレーム画像から生成される間に、少なくとも２値画像化処理が行われることが好ましい。ここで、前記検索用画像は、前記閲覧動画データの見本用の静止画像から生成される間に、少なくとも２値画像化処理が行われ、前記照合手段は、前記検索用画像と前記登録用画像とを相関演算して照合することが好ましい。

さらに、本発明の上記照合システムにおいて、前記動画データベースには、各登録用画像に対応するフレーム画像の画像特徴情報が記録されており、前記照合手段は、前記閲覧動画データの見本用の静止画像の画像特徴情報を算出し、前記動画データベースに記録された画像特徴情報と照合してもよい。また、本発明の上記照合システムにおいて、前記登録動画データには少なくとも一つのキーワードが設定され、前記閲覧動画データは、少なくとも一つのキーワードデータが付加されており、前記照合手段は、前記閲覧動画データに付加されたキーワードデータから取得したキーワードと前記登録動画データに設定されたキーワードとを照合してもよい。

さらに、本発明の上記照合システムにおいて、 前記閲覧動画データが、前記動画データベースに登録されていた場合、前記閲覧動画データに識別データを付加することが好ましく、前記識別データに基づいて、前記閲覧動画データの閲覧条件を変更することがより好ましい。

また、本発明の動画データベースの作製方法は、複数の登録動画データが情報として登録された動画データベースの作製方法であって、登録動画データの一つを再生して再生動画を得る再生工程と、前記再生動画の複数のフレーム画像に、２値画像化を含む画像処理行うことにより複数の登録用画像を生成する生成工程と、前記複数の登録用画像からなる登録用画像群を記録媒体に記録する記録工程とを有し、前記再生工程と前記記録工程との間に、前記登録用画像群に含まれる登録用画像の一つと他の一つとの相関演算の結果が、あらかじめ設定されたしきい値よりも小さくなるように選別する選別工程を備えたことを特徴とする。

さらに、上記動画データベースの作製方法において、前記選別工程は、前記再生動画の各フレーム画像から生成された各登録用画像同士を相関演算し、相関演算した結果があらかじめ設定されたしきい値よりも大きい場合には、一方の登録用画像を除外する処理を含むことが好ましい。

さらに、上記動画データベースの作製方法において、前記登録用画像に対応するフレーム画像について画像特徴情報を算出し、当該登録用画像に関連づけて画像特徴情報を記録する登録データ記録工程を含んでいてもよい。

さらに、上記動画データベースの作製方法において、少なくとも前記再生工程及び前記生成工程は、前記登録動画データの一つを保有する登録者の情報処理装置において行われることが好ましい。

また、本発明の登録システムは、複数の登録動画データが情報として登録された動画データベースに、登録動画データを登録する登録システムであって、ネットワークと、前記ネットワークに接続された動画データベースのサーバと、前記ネットワークに接続された情報処理装置とを有し、前記情報処理装置は、登録動画データの一つを再生して再生動画を取得し、前記再生動画の複数のフレーム画像に、少なくとも２値画像化処理を行い複数の送信用画像を生成し、前記複数の送信用画像を前記動画データベースのサーバに送信し、前記動画データベースのサーバは、前記複数の送信用画像から複数の登録用画像を生成し、前記複数の登録用画像からなる登録用画像群を記録媒体に記録することを特徴とする。

さらに、上記登録システムにおいて、前記送信用画像は、前記登録用画像であり、前記動画データベースのサーバは、前記情報処理装置から送信された複数の送信用画像を複数の登録用画像として記録媒体に記録すること好ましい。また、前記情報処理装置は、前記再生動画の各フレーム画像に基づく画像同士を相関演算し、相関演算した結果があらかじめ設定されたしきい値よりも大きい場合には、一方の画像を除外することが好ましい。

また、本発明のプログラムは、複数の登録動画データが情報として登録された動画データベースのサーバに、登録動画データを登録するために、前記動画データベースのサーバとネットワークを通じて接続された情報処理装置を、前記登録動画データを再生して再生動画を得る再生手段、前記再生動画の複数のフレーム画像に、少なくとも２値画像化処理を行い送信用画像を生成する画像処理手段、及び前記複数の送信用画像を前記ネットワークを通じて前記動画データベースのサーバに送信する送信手段として機能させる。

さらに、上記プログラムにおいて、前記情報処理装置を、前記再生動画の各フレーム画像に基づく画像同士を相関演算し、相関演算した結果があらかじめ設定されたしきい値よりも大きい場合には、一方の画像を除外する選別手段として機能させることが好ましい。ここで、前記情報処理装置を、しきい値の入力手段として機能させ、前記入力手段から入力されたしきい値を前記選別手段で用いてもよい。

本発明の照合システムを利用することにより、ネットワーク上のサイトにおいて閲覧可能な状態とされる閲覧動画データに対し、動画データベースに登録されている登録動画データと照合することができるので、一括して登録動画データの管理や著作権の保護又は許諾を実行することができ、また動画データベースに登録された範囲内において、検閲することができ、違法な動画データがアップロードされることによる侵害行為、さらには登録者からの権利行使を回避することができる。その他の効果については、以下の実施の形態において記載する。

以下、本発明の実施の形態を図面を参照して説明するが、本発明は下記例に限定されるものではない。図１は、本発明の照合システム及び関連システムを示す概略構成図であり、図２はデータの流れを概略的に示すブロック図である。図１において、クライアント群１０が接続されたネットワーク１１が形成されており、ネットワーク１１上には動画データをクライアント群１０に閲覧可能に提供するサイト１２が開設され、サイト１２に閲覧可能な状態とされる閲覧画像データ１３を照合する照合サーバ１が設けられている。最初に、照合システム全体及びそのビジネスモデルについて概略的に説明し、その後、照合システム等の具体的な構成について詳述する。

照合サーバ１には、複数の登録動画データが情報として登録された動画データベース２と、閲覧動画データと動画データベース２に登録された登録動画データとを照合する照合手段３とが設けられている。登録動画データは、登録者５、６から提供されて、動画データベース２に登録される。

登録者５、６は、例えば、サイト１２の運営者や、登録動画データの著作権者又は制作者などである。ここで、図２に示すように、登録動画データについて、そのタイトル、閲覧条件、キーワード、画像特徴情報などの登録データも同時に登録することができる。登録データは、登録者５，６ではなく、照合サーバやサイトにおいて、任意に登録してもよい。

クライアント群１０は、サイト１２を利用する複数のクライアントから構成されており、ネットワーク１１に接続されており、サイト１２のサーバに対し動画データの閲覧要求などを出すことができる。例えば、クライアント群１０としては、動画共有サイトのユーザーや有料コンテンツの会員などが挙げられ、具体的な端末装置としては、パーソナルコンピュータ、携帯情報端末、携帯電話などが挙げられる。

ネットワーク１１は、クライアントの端末装置間を結ぶ電気通信回路網であり、インターネット、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等が挙げられる。

サイト１２は、クライアント群１０に閲覧動画データを提供するコンテンツが用意されており、図１においては、閲覧条件の異なるＡ，Ｂ，Ｃのコンテンツが用意されている。Ａ，Ｂ，Ｃのコンテンツとして、例えば、完全無料コンテンツ、一部のみ視聴可能コンテンツ、有料コンテンツなどが挙げられる。サイト１２は、投稿される閲覧動画データについて、投稿時にキーワードを設定させることもできる。また、サイト１２は、投稿された閲覧動画データについて、見本用として少なくとも１枚の静止画像（一般的にサムネイル画像と呼ばれている）を表示する構成であってもよい。

閲覧動画データ１３は、照合サーバ１で照合された後に、サイト１２において閲覧可能な状態とされることが好ましいが、図２に示すように、照合サーバ１を経由せずに、サイト１２に直接アップロードされる構成であってもよい。閲覧動画データ１３がサイト１２に直接アップロードされる場合には、照合サーバ１は、サイト１２から閲覧動画データを取得して、登録動画データと照合すればよい。図１では、閲覧動画データ１３は、クライアント群１０からネットワーク１１を通じてサイト１２のサーバにアップロードされている。なおアップロードされた閲覧動画データ１５は、他のクライアントからの閲覧要求に基づいて、そのクライアントの端末装置にネットワーク１１を通じてダウンロードされる。閲覧動画データ１３は、クライアント以外によって閲覧可能な状態とされてもよいし、ネットワーク以外の手段によってサイト１２に送信されてもよい。さらに、サイト１２にはリンクのみを貼り付けて、閲覧動画データ１３そのものは動画データの提供者の端末装置中に保存した状態としてもよい。ここで、サイト１２に貼り付けられたリンクを介して他のクライアントから閲覧要求があった場合には、提供者の端末装置から他のクライアントの端末装置に直接ダウンロードされる。

本発明の照合システムにおいて、より高速で照合処理を行うためには、閲覧動画データが、見本用として表示される静止画像を有していることが好ましい。見本用として表示される静止画像とは、閲覧動画データの再生動画におけるフレーム画像又はフレーム画像を縮小して容量を小さくした画像であり、少なくとも照合サーバで表示される画像である。典型的には、再生動画の最初のフレーム画像であるが、これに限定されるものではない。また、見本用として表示される静止画像は、１枚でもよいし、複数枚でもよい。サイト１２において投稿された閲覧動画データのサムネイル画像として表示されるものだけではなく、サイト１２上には表示されなくても、クライアントから閲覧要求があった場合に、閲覧動画データの見本用としてダウンロードされて表示される静止画像や、後述するがクライアントやネットワーク上では表示されない任意又は無作為に抽出されたフレーム画像に基づく静止画像も含む。なお、図１に示すように、閲覧動画データ１３が、クライアント群１０から照合サーバ１を経由してサイト１２にアップロードされる場合、クライアント群１０の情報処理装置から照合サーバ１の情報処理装置までの間のインターフェースとして、閲覧動画データ１３の再生動画におけるフレーム画像又はフレーム画像を縮小して容量を小さくした画像がダウンロードできる構成であれば、閲覧動画データ１３は、見本用として表示される静止画像を有していることになる。

また、閲覧動画データ１３には、照合及び検索を容易とするためのキーワードデータを少なくとも一つ付加させることが好ましい（図２参照）。キーワードデータは、閲覧動画データ１３の投稿者に任意に選択させてもよいが、予め動画データの分野を特定するキーワードを設定しておいてもよい。また、キーワードを入力しないとサイト１２に投稿できない構成としてもよい。このキーワードデータは、サイト１２において、クライアントが動画を検索する場合に使用されてもよいし、照合サーバ１の動画データベース２において照合を容易にするために使用されてもよい。例えば、動画データベース２に登録動画データを登録する際に、登録データとしてキーワードを記録しておき、キーワードデータに該当する登録動画データから照合したり、動画データベース２として分野やキーワード別に登録動画データを登録して、キーワードデータに該当する領域から照合してもよい。

照合サーバ１によって照合された照合済み閲覧動画データ１４には、識別データを付与することが好ましい。識別データは、照合サーバ１において照合済という履歴を付与するだけでもよいし、閲覧動画データ１３が動画データベース２に登録されているか否かを識別するものでもよいし、さらに閲覧動画データ１３が動画データベース２に登録されている場合は、閲覧条件や登録データの一部を含めてもよい。

例えば、照合サーバ１において照合済という識別データが付与された閲覧動画データ１４が、他のクライアントにダウンロードされ、他のクライアントから再び投稿された場合、照合サーバ１は、照合済という識別データを認識して、その識別データが付与された閲覧動画データ１４について照合の要否を判断できる。また、識別データとして動画データベース２に登録されているか否かの情報を含んでいれば、登録の有無で閲覧条件を変更したり、ネットワーク上における動画データの管理をすることができる。さらに動画のタイトルや閲覧条件等の情報も識別データに含めれば、より細かい閲覧条件の設定や管理が可能となる。

閲覧条件としては、例えば、投稿された閲覧動画データ１３を閲覧させずに削除したり、有料コンテンツとしたり、閲覧回数に応じて課金したり、一部だけ視聴可能としたり、無効コンテンツとする等が挙げられる。

図１においては、閲覧動画データ１３は、照合サーバ１の動画データベース２と照合され、照合結果に応じてＡ〜Ｃの識別データが付与されており、Ａ〜Ｃの識別データに基づいて、サイト１２に用意されたＡ，Ｂ，Ｃの各コンテンツにアップロードされている。

なお、識別データは、閲覧動画データのうち、動画データベース２に登録されているものにのみ付与される構成であってもよい。また、照合サーバ１において照合結果に応じた閲覧動画データの処理を行う場合は、閲覧動画データに識別データを付与しなくてもよい。例えば、動画データベース２に登録されている登録動画データについて、一切閲覧させず、アップロードさせない場合であれば、動画データベースに登録された登録動画データと一致した閲覧動画データは、照合サーバ１において削除すればよく、サイト１２にアップロードされる閲覧動画データには識別データを付与しなくてもよい。換言すれば、サイト１２にアップロードされること自体が、その閲覧動画データが動画データベースに登録されていないことを意味している。他にも、単なる調査や動画データの投稿回数などを管理するだけであれば、照合サーバ１においてそれらの情報を登録者に提供すればよく、閲覧動画データ１３に識別データを付与しなくてもよい。

さらに、照合サーバ１又はサイト１２は、閲覧動画データ１３が動画データベース２に登録されていた場合、当該動画データを動画データベース２に登録した登録者に対し、動画データに関する情報を提供してもよい（図２参照）。動画データに関する情報とは、例えば登録した動画データの投稿回数、閲覧（ダウンロード）回数、動画データを投稿したクライアント情報等が挙げられる。

また、照合サーバ１は、閲覧動画データ１３として、動画データベース２に登録されている動画データを投稿したクライアントに対し、当該動画データを投稿することが著作権を侵害することを通告する警告メッセージを送信してもよい（図２参照）。このように警告メッセージを送信することにより、クライアント群１０の著作権に対する意識を高めることができる。

以上のような照合システムを利用すると、登録者５，６は、それぞれ管理したい動画データを登録動画データとして動画データベース２に登録することで、一括してネットワーク１１上における登録動画データの管理や著作権の保護又は許諾を実行することができる。また、サイト１２は、閲覧動画データについて、動画データベース２に登録された範囲内において、検閲することができ、違法な動画データがアップロードされることによる侵害行為、さらには登録者からの権利行使を回避することができる。

つまり、照合サーバ１は、登録者５，６に対し、管理したい動画データを動画データベース２に登録するサービスを提供でき、また登録動画データの管理の一部を代行するサービスも提供できる。さらに、照合サーバ１は、サイト１２に対し、動画データベース２に登録された範囲内において閲覧動画データの検閲サービスを提供でき、閲覧動画データの管理の一部を代行するサービスも提供できる。なお、登録者５，６やサイト１２自体が照合サーバ１を提供することもできる。

次に、照合サーバ１について説明する。照合サーバ１は、複数の登録動画データが情報として登録された動画データベース２が記録された記録媒体及び閲覧動画データと動画データベース２に登録された登録動画データとを照合する照合手段３の少なくとも一部として機能する情報処理装置が設けられている。

本発明の照合サーバ１による照合システムの特徴の一つは、最終的な閲覧動画データと登録動画データとの照合が、画像同士（電子化された画像データ同士を含む）を比較することにより行われる点にある。つまり、本発明の照合システムは、従来のキーワードや特徴量による照合を排除するものではないが、登録動画データの再生動画から生成された登録用画像と閲覧動画データの再生動画から生成された検索用画像との直接的な照合が必須なのである。画像同士を直接照合するため、照合精度を高くすることができる。また、登録動画データとして、登録動画データの再生動画の主要なフレーム画像に対応する登録用画像からなる登録用画像群を記録しておくことにより、検索用画像が、登録動画データのどの場面であっても確実に検索することができる。

このため、閲覧動画データの見本用の静止画像から生成した検索用画像だけを利用して照合した場合であっても、登録動画データの登録用画像群と照合することにより、閲覧動画データと登録動画データとが一致又は類似するか否かを判別することができる。見本用の静止画像それ自体は、閲覧動画データをダウンロードするのに比べて極めて容量が小さいものであるから、ダウンロード時間を短くすることができ、高速の照合を行うことができる。そして、サイトにアップロードされる多数の閲覧動画データに対しても実効的な照合手段となり得るのである。例えば、閲覧動画データの容量が数ＭＢ（メガバイト）以上であったとしても、サムネイル画像それ自体は、１２８ピクセル（横）×９６ピクセル（縦）程度の画像データであり、ダウンロード時間及び演算量を圧倒的に短縮できる。

このようにサムネイル画像を利用する照合システムに対し、悪意のクライアントが、サムネイル画像となるフレーム画像について何らかの画像処理を行い照合を妨害する可能性がある。このため、照合システムは、さらに閲覧動画データから任意又は無作為に見本の静止画像を抽出する機能を有していることが好ましい。かかる機能を実現するためには、アップロードするクライアントの情報処理装置、照合サーバの情報処理装置、サイトのサーバの情報処理装置等を、閲覧動画データを再生して再生動画を得る再生手段、再生動画の中から任意のフレーム画像又は無作為にフレーム画像を抽出し、抽出したフレーム画像から見本の静止画像を生成する画像生成手段として機能させるプログラムを使用すればよい。ここで、見本の静止画像は、時間的に離間した複数枚のフレーム画像から複数枚生成することが好ましい。また、照合システムの信頼性を高めるためには、フレーム画像の抽出位置について、クライアントには操作できないプログラムとすることが好ましく、またクライアントやネットワーク上ではどのフレーム画像が抽出されたのか閲覧できない構成とすることも効果的である。

そして、動画データベース２には、各登録動画データとして、当該登録動画データを再生した再生動画の複数のフレーム画像から生成された複数の登録用画像からなる登録用画像群が記録されている。つまり、図３（Ａ）に示すように、動画データベース２には、登録動画データの本数に応じた複数の登録用画像群１６が記録されており、各登録用画像群１６には、それぞれ複数の登録用画像１７が含まれる関係である。

複数のフレーム画像として、再生動画の全フレーム画像をそのまま登録することが登録動画データの情報量が最も多く記録されることになるが、その結果、演算時間が長くなり、膨大な記録容量が必要となる。現在日本で使用されている動画は、ＴＶ放送ではＮＴＳＣ規格で２９．９７ｆｐｓ（フレーム／秒）であり、映画では２４ｆｐｓであるから、それぞれ１秒間に約３０フレーム及び２４フレームの静止画像から構成されている。また、各フレーム画像は、解像度に応じた画素数の画素の配列から構成されるパターン情報や、各画素毎に色情報を有しているので、全フレーム画像を登録用画像群として登録すると総データ容量が極めて大きくなる。例えば、解像度が６００×４８０でフルカラー（２４ビット）の画像は、単純に計算すれば２７ＭＢものデータ容量になり、９０分の映画（２４ｆｐｓ）の場合、フレーム画像は１２９，６００枚であるから、１本の動画データで計算しても到底現実的なものではない。

このため、再生動画のフレーム画像に、少なくとも２値画像化処理を行うことにより登録用画像を生成することが非常に好ましい。２値画像化処理とは、各画素を白と黒（０と１）の２色によって表示される画像に変換する処理であり、一般的な動画データは、各画素が少なくともグレースケールの階調情報（８ビット）、多くの場合はカラーの色情報（２４ビット）を有しているので、２値画像化処理を行うことで、登録用画像のデータ容量を著しく減少させることができる。しかも、２値画像化処理された２値の登録用画像と、同じく２値画像化処理された２値の検索用画像とを相関演算して照合すると、フルカラーの画像同士やグレースケールの画像同士を相関演算した時よりも、演算速度が速くなることは勿論であるが、照合精度も向上することがあり、２値画像化処理は極めて有用な処理である。しかも、２値画像化処理された画像の演算量は軽量であるから、ＬＳＩなどの集積回路によってハードウェアとして専用の演算装置を作製することも可能である。

２値画像化処理の手法としては、固定しきい値法と領域指定法の２種類に大別することができる。前者はグレースケール階調のある値で２値化のしきい値を決定する方法であり、後者はまず、画像全体の２値の割合を先に決めておき、濃度値のヒストグラムから、２値化のしきい値を定める方法である。２値化のしきい値をＴ、原画像の各画素の要素をｆ（ｉ，ｊ）、２値画像の各画素の要素をｇ（ｉ，ｊ）とすると、下記数式（１）のように定義できる。

なお、フレーム画像がカラーの場合は、まずカラーの色情報を取り除き階調情報だけのグレースケールに変更して、２値化すればよい。また、フレーム画像や２値画像に対して、その他の画像処理を行ってもよい。例えば、解像度を変更する画像処理やエッジ強調処理などを２値画像化処理の前又は後に行ってもよい。

また、２値画像化処理は、データ形式の変換処理、圧縮処理及び暗号化処理とは異なり、基本的に情報を削除するだけの不可逆な変換である。すなわち、データ形式の変換処理、圧縮処理及び暗号化処理は、元のフレーム画像に復元するため、逆変換できるような情報を自ら又は別ファイルに有している。しかし、２値画像化処理は、元のフレーム画像が持っていた色情報及び階調情報を捨て去るだけであり、２値画像それ自体では元のフレーム画像に復元することができない。

元のフレーム画像に復元できないことは、一見すると欠点のようにも思われるが、実はオリジナルの動画データの情報漏洩防止に有効である。つまり、登録者からオリジナルの動画データが、動画データベースに登録するために、登録動画データとして照合サーバに提供された場合、流通の事故やネットワークを伝送中の事故又は人為的な情報漏洩などにより、オリジナルの動画データが流出する危険性がある。例えば、公開中の映画や未公開のライブ映像などが流出した時の損失は大変なものである。しかし、登録者の情報処理装置において、登録動画データのフレーム画像に対し、少なくとも２値画像化処理を行って２値画像を照合サーバに提供すれば、仮に２値画像が流出しても、それ自体がオリジナルの動画データに復元することはできないので、オリジナルの動画データの流出は避けられるのである。この効果を利用した動画データベースに動画データを登録するための登録システム及びプログラムについては後述する。

また、登録用画像の枚数を減らすために、類似する画像は除外して登録せずに、ある程度選別して登録することが好ましい。このためには、登録動画データの各フレーム画像同士、又は各フレーム画像を画像処理した画像（２値画像を含む）同士を相関演算し、その結果があらかじめ設定されたしきい値よりも大きい場合は何れか一方の画像を除外し、その結果がしきい値よりも小さい場合には、少なくとも一方の画像を登録するようにすればよい。しきい値は、選別される類似度の基準となるものであり、しきい値が高ければ、一般的には照合精度は向上するが登録用画像の枚数も増えるし、しきい値が低ければ、照合精度は低下するが登録用画像の枚数も減るので、あらかじめ実験などにより最適なしきい値を求めておくことが好ましい。また、登録者がしきい値を変更できるようにすれば、重要な動画データに対してはしきい値を高くしたり、重要度の低いものについてはしきい値を低く設定することができる。なお、登録用画像の一つが、他の全ての登録用画像と相関演算を行う必要はなく、少なくとも他の一つの登録用画像と相関演算した結果、しきい値よりも小さければよい。

相関演算として、例えば、登録用画像同士の内積、ユークリッド距離又は相関係数を求めることにより、類似度を算出することができる。Ｎ×Ｎ画素の登録用画像Ｆ、Ｇの各画素の要素について、一次元の列ベクトルｆ、列ベクトルｇとして表現した場合、内積は数式（２）で算出でき、ユークリッド距離は数式（３）で算出でき、相関係数は数式（４）で算出できる。なお類似度の算出はこれらの方式に限定されるものではない。

図３（Ｂ）〜（Ｅ）は、上に説明した各登録動画データのデータ構造を模式的に示したものである。図３（Ｂ）は、再生動画の全フレーム画像をそのまま登録用画像群１６としてものであり、各登録用画像１７は各フレーム画像であり、階調情報や色情報を有している。図３（Ｃ）は、図３（Ｂ）に対し２値画像化処理を行ったものであり、各登録用画像１７は２値画像となっているので、階調情報や色情報が除去され登録用画像群１６のデータ容量を低減できる。図３（Ｄ）は、図３（Ｂ）に対し選別化を行ったものであり、各登録用画像１７は選別されたフレーム画像であり、除去したフレーム画像の容量分だけ登録用画像群１６のデータ容量を低減できる。図３（Ｅ）は、図３（Ｂ）に対し２値画像化処理及び選別化の両方を行ったものである。先に２値画像化処理を行ってから、２値画像を選別化してもよいし（図３（Ｂ）→（Ｃ）→（Ｅ））、フレーム画像を選別化してから、２値画像化処理を行ってもよい（図３（Ｂ）→（Ｄ）→（Ｅ））。図３（Ｅ）では、各登録用画像１７は選別された２値画像であり、図３（Ｂ）に比べて大幅にデータ容量を小さくできる。

このような動画データベースの作製方法は、登録動画データの一つを再生して再生動画を得る再生工程と、再生動画の複数のフレーム画像に、少なくとも２値画像化処理を行うことにより複数の登録用画像を生成する生成工程と、複数の登録用画像からなる登録用画像群を記録媒体に記録する記録工程と、再生工程と記録工程との間に、登録用画像群に含まれる登録用画像の一つと他の一つとの相関演算の結果が、あらかじめ設定されたしきい値よりも小さくなるように選別する選別工程を有していればよい。上に述べたように、２値画像化処理を含む生成工程と選別工程とは何れを先に行ってもよいし、それらの工程の間又は前後に、その他の画像処理や工程が行われてもよい。但し、選別工程における相関演算処理の演算速度の高速化及び精度の向上のために、２値画像化処理を行った後に、選別工程で相関演算を行うことが好ましい。

図４は、動画データベース作製処理のフローチャートの一例である。まず、登録動画データを取得して、登録動画データを再生する（Ｓ４１：再生工程）。再生動画から全フレーム画像群Ｍ_ｉ（ｉ＝１，２，３，…Ｎ、Ｎはフレーム数）を生成し、全フレーム画像群Ｍ_ｉに対し、２値画像化処理を行い２値画像群Ｂ_ｉ（ｉ＝１，２，３，…Ｎ、Ｎはフレーム数）に変換する（Ｓ４２〜Ｓ４３：生成工程）。次に、比較の基準となる基準画像Ｂ_ｐとしてＢ_ｉ（初期値ｉ＝１）を代入し、基準画像Ｂ_ｐと比較される２値画像Ｂ_ｉ（ｉ＝ｉ＋１）とを相関演算して、相関値Ｖを取得する（Ｓ４４〜Ｓ４６：選別工程）。相関値Ｖがしきい値以上の場合（Ｓ４７のＮｏ：選別工程）、基準画像Ｂ_ｐと２値画像Ｂ_ｉとは類似していると判断し、２値画像Ｂ_ｉを動画データベースに登録せずに除外し、基準画像Ｂ_ｐと次の２値画像Ｂ_ｉ（ｉ＝ｉ＋１）と相関演算を行う（Ｓ４５〜Ｓ４６）。一方、相関値Ｖがしきい値よりも低い場合（Ｓ４７のＹｅｓ：選別工程）、基準画像Ｂ_ｐと２値画像Ｂ_ｉとは非類似であると判断し、基準画像Ｂ_ｐ（初期値は２値画像Ｂ_１）を動画データベースに登録し（Ｓ４８：記録工程）、非類似であった２値画像Ｂ_ｉを次の基準画像Ｂ_ｐとして次の２値画像Ｂ_ｉ（ｉ＝ｉ＋１）と相関演算を行う（Ｓ４９のＮｏ、Ｓ４４〜Ｓ４６）。なお、Ｓ４９において、２値画像Ｂ_ｉが最後のフレームの２値画像Ｂ_Ｎだった場合には、フレーム画像Ｂ_Ｎを登録して終了する（Ｓ５０）。最終的には、非類似として登録された複数の基準画像が登録用画像群Ｂ_ｍ（ｍ＝１，２，３，…Ｍ、Ｍは登録用画像の枚数）として記録される。

なお、図４に示されたフローチャートのアルゴリズムでは、最初の基準画像と次の基準画像とは相関演算しているが、それ以外の基準画像との相関演算は行っておらず、類似する画像が登録されている可能性はある。この点、最初の基準画像に対し、それ以外の全ての２値画像を順次相関演算し、相関値がしきい値よりも大きかった２値画像は動画データベースに登録せずに除外し、しきい値が大きかった２値画像の中の一つを次の基準画像として、それ以外の２値画像と順次相関演算していけば、より登録用画像の枚数を削減できる。

さらに、登録用画像群に対応するタイトル、閲覧条件、キーワード、登録用画像に対応するフレーム画像についての画像特徴情報などの登録データを記録する登録データ記録工程を含んでいてもよい。画像特徴情報としては、登録用画像が２値画像やグレースケールだった場合に、元のフレーム画像における特定色の配分や面積などに特徴がある場合に、それらを情報として記録しておき、検索用画像に対応するフレーム画像についても画像特徴情報を算出して、二次的な照合として画像特徴情報を利用することができる。

動画データベースの作製は、照合サーバのみで行うこともできるし、一部の工程を登録者の情報処理装置で行ってもよい。再生動画を得る再生工程及びフレーム画像に２値画像化処理を行う生成工程については、前述した情報漏洩防止のために、登録者の情報処理装置で行うことが好ましい。登録者の情報処理装置で生成された登録用画像や送信用画像は、ネットワークを通じて照合サーバに送信されてもよいし、オフラインで照合サーバに届けられてもよい。

また、ネットワークを利用した登録システムの一例について説明すると、登録システムは、ネットワークと、ネットワークに接続された情報処理装置と動画データベースのサーバとを有している。そして、情報処理装置は、登録動画データの一つを再生して再生動画を取得し、再生動画の複数のフレーム画像に、少なくとも２値画像化処理を行い複数の送信用画像を生成する。送信用画像としては、フレーム画像に対して少なくとも２値画像化処理が行われていればよく、その他の画像処理も行われており、動画データベースのサーバにおいて、そのまま登録用画像として記録される状態でもよいし、動画データベースのサーバにおいて、さらなる画像処理等が行われてから記録される状態でもよい。さらに、情報処理装置は、ネットワークを通じて、複数の送信用画像を動画データベースのサーバに送信する。複数の送信用画像は、２値画像化処理によって２値画像となっているため、ネットワーク上で漏洩しても、再生動画に不可逆な状態であり、再生動画の情報漏洩を防止することができる。動画データベースのサーバは、受信した複数の送信用画像から複数の登録用画像を生成し、複数の登録用画像からなる登録用画像群を記録媒体に記録する。なお、受信した複数の送信用画像がそのまま登録用画像として使用できる場合は、動画データベースのサーバは、そのまま複数の送信用画像を複数の登録用画像として記録媒体に記録する。

さらに、情報処理装置は、再生動画の各フレーム画像に基づく画像同士を相関演算し、相関演算した結果があらかじめ設定されたしきい値よりも大きい場合には、一方の画像を送信用画像から除外してもよい。これは選別工程も動画データベースのサーバではなく、ネットワークで接続された情報処理装置において行うものであり、送信用画像の総データ容量を減らすことができる。なお、フレーム画像に基づく画像とは、フレーム画像それ自体、フレーム画像に対し２値画像化処理以外の画像処理を行った画像及び２値画像化処理を行った画像が含まれる。

かかる登録システムを利用するために、情報処理装置を、登録動画データを再生して再生動画を得る再生手段、再生動画の複数のフレーム画像に、少なくとも２値画像化処理を行い送信用画像を生成する画像処理手段、及び複数の送信用画像をネットワークを通じて動画データベースのサーバに送信する送信手段として機能させるためのプログラムを情報処理装置にインストールすればよい。さらに、情報処理装置を、再生動画の各フレーム画像に基づく画像同士を相関演算し、相関演算した結果があらかじめ設定されたしきい値よりも大きい場合には、一方の画像を除外する選別手段として機能させてもよい。ここで、登録者がしきい値を選択できるように、情報処理装置を、しきい値の入力手段として機能させてもよい。

ところで、動画データベースの記録媒体としては、大容量のハードディスクやホログラフィック記録媒体などを利用することができる。動画データベースに大容量のハードディスクを利用し、演算処理によって画像を照合する場合には、照合手段として、情報処理装置を利用することができる。一方、ホログラフィック記録媒体を利用した場合は、光学的な記録手段及び照合手段が必要となる。上に述べた照合システム、動画データベース、登録システムなどは、何れの照合手段においても利用可能である。

次に、照合手段における照合時の動作について説明する。既に述べたとおり、本発明の照合システムにおいては、閲覧動画データの見本用の静止画像から生成した検索用画像を利用して照合することが好ましい。図５は、２値画像化処理した登録用画像群が記録された動画データベースにおいて、情報処理装置によって、閲覧動画データの見本用の静止画像から生成した検索用画像を利用して照合する場合の照合処理のフローチャートである。

まず、照合サーバの情報処理装置は、閲覧動画データの見本用の静止画像を取得する（Ｓ５１）。次に、静止画像を２値画像化処理して２値の検索用画像Ｓに変換する（Ｓ５２）。そして、２値の検索用画像Ｓと動画データベースに記録されたある登録用画像群Ｂ_ｍ（ｍ＝１，２，３，…Ｍ、Ｍは登録用画像の枚数）の各登録用画像と順次相関演算して、最大相関値Ｖ_ｍａｘを取得する（Ｓ５３）。最大相関値Ｖ_ｍａｘと動画データの照合しきい値とを比較して、最大相関値Ｖ_ｍａｘが照合しきい値よりも大きい場合（Ｓ５４のＹｅｓ：照合工程）は、閲覧動画データが登録用画像群の登録動画データであると認識する（Ｓ５５）。また、最大相関値Ｖ_ｍａｘが照合しきい値以下の場合（Ｓ５４のＮｏ：照合工程）は、閲覧動画データが、登録用画像群の登録動画データではないと認識し、次の登録用画像群があるかないかを判断する（Ｓ５６）。次の登録用画像群が存在する場合（Ｓ５６のＮｏ）、再び検索用画像Ｓと別の登録用画像群の各登録用画像と順次相関演算して、最大相関値Ｖ_ｍａｘを取得し、照合しきい値と比較する（Ｓ５３〜Ｓ５４）。次の登録用画像群が存在しない場合（Ｓ５６のＹｅｓ）、閲覧動画データが動画データベースに登録されていないと認識する（Ｓ５７）。

静止画像を２値画像化処理して２値の検索用画像Ｓに変換する処理（Ｓ５２）において、更に他の画像処理を行うこともできる。例えば、解像度を変更する画像処理やエッジ強調処理などを２値画像化処理の前又は後に行ってもよい。また、検索用画像Ｓと照合する登録用画像群を選択する際に、閲覧動画データのキーワードデータや見本用の静止画像の画像特徴情報などを取得して、登録データを参照して、キーワードデータが登録されている登録用画像群を優先的に選択したり、画像特徴情報が一致する登録用画像を含む登録用画像群を優先的に選択してもよい。

さらに、照合サーバの情報処理装置は、照合が終了した閲覧動画データについて、照合結果を識別データとして付与して、サイトにアップロードしてもよい。

以下、ホログラフィック記録媒体を利用した照合サーバ１について簡単に説明する。図６は、ホログラフィック記録媒体を利用した照合サーバ１の具体的な構成を示すものであり、ホログラフィック記録媒体２０と、情報処理装置３０と、光学系４０とを有している。照合サーバ１には、画像データベース２と、照合手段３とが設けられているが、ホログラフィック記録媒体２０は画像データベース２の一部を構成し、情報処理装置３０及び光学系４０は照合手段３を構成する。

図６において、ホログラフィック記録媒体２０は、表面保護層２２と反射層２３との間に感光材料からなる厚いホログラム記録層２１を挟み込んだ反射型の記録媒体である。ホログラフィック記録媒体２０のホログラム記録層２１には、登録画像データに基づいて生成された情報光と参照マークに基づいて生成された参照マーク光との干渉縞２４によって画像データが記録されている。ホログラフィック記録媒体２０として円盤状のものを採用すると、回転させながら照合することができるので、照合速度を高めることができる。また、ホログラフィック記録媒体２０は、干渉縞２４の位置を特定するアドレス層を備えていることが好ましい。例えば、アドレス情報として、反射層２３の表面に設けられた凹凸形状によってピットを形成し、反射層２３をアドレス層としてもよい。ホログラフィック記録媒体２０の表面保護層２２として、ガラス基板を利用すると、温度変化等による収縮等を抑えることができる。反射層２３としてはアルミニウム等の金属材料を利用することができる。

情報処理装置３０は、ネットワークに接続されており、照合システムで実行される各種の情報処理を行う。例えば、閲覧画像データの再生及び検索用画像の作成、登録データの記録及び再生、閲覧動画データに識別データの付与、キーワードデータに基づいて照合順序の決定、動画データに関する情報の送信、警告メッセージの送信などが挙げられる。

光学系４０は、ホログラフィック記録媒体２０に干渉縞を記録したり、ホログラフィック記録媒体２０に記録されている登録画像データと閲覧画像データとを照合することができる。光学系４０は、ホログラム用レーザー４１、ミラー４２、空間光変調器４３、偏光ビームスプリッタ４４、第１のリレーレンズ４５、ミラー４６、第２のリレーレンズ４７、ビームスプリッタ４８、四分の一波長板４９、対物レンズ５０、アパーチャー５１、参照光検出器５２を有し、さらにアドレス用レーザー６０、ビームスプリッタ６１、ミラー６２及びアドレス光検出器６３を有している。

ホログラム用レーザー４１は、干渉縞の記録時には情報光や参照光の光源となるものであり、照合時には検索光の光源となるものであり、例えば青色レーザーや緑色レーザーなどの短波長の高出力レーザーが好ましい。空間光変調器４３は、複数の画素を有し、各画素毎に光の属性を変化させることで、光を空間的に変調することができるものであり、例えば液晶表示装置やＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）を利用することができる。図６においては空間光変調器３２としてＤＭＤを用いている。偏光ビームスプリッタ４４は直交する偏光方向の一方を透過し、他方を反射するものであり、記録媒体２０に向かう情報光、参照光及び検索光を透過し、記録媒体によって再生された参照光を参照光検出器５２に向けて反射する。第１及び第２のリレーレンズ４５、４７は、空間光変調器４３に表示された画像を対物レンズの焦点面に結像させる。ビームスプリッタ４８は、アドレス用レーザー６０からの光を記録媒体２０に向けるためのものである。四分の一波長板４９は、直線偏光を円偏光に変換するものであり、２回透過させることで直線偏光を９０度回転させることができる。この四分の一波長板４９によって参照光は、照射時には偏光ビームスプリッタ４４を透過し、再生時には偏光ビームスプリッタ４４によって反射されるのである。対物レンズ５０は、空間光変調器４３に表示された画像をフーリエ変換して記録媒体２０のホログラム記録層２１に照射するものである。アパーチャー５１は、記録媒体２０で反射された検索光を遮光し、再生された参照光のみを参照光検出器５２に通過させる開口を有する。参照光検出器５２は、再生された参照光を検出するものであり、特に好ましくは、参照光の光強度を検出するものである。例えばピンフォトダイオード、ＣＭＯＳセンサやＣＣＤセンサを利用できる。

ホログラム用レーザー４１から照射された光は、ミラー４２によって反射され、登録用画像や検索用画像が表示された空間光変調器４３によって空間的に変調されて情報光や検索光が生成される。情報光や検索光は、偏光ビームスプリッタ４４を透過し、第１及び第２のリレーレンズ４５、４７によってリレーされ、その途中ミラー４６によって反射され、ビームスプリッタ４８及び四分の一波長板４９を透過し、対物レンズ５０によってフーリエ変換されて記録媒体２０のホログラム記録層２１に照射される。情報光は、ホログラム記録層２１において参照光と干渉して干渉縞を記録する。また検索光は、ホログラム記録層２１に記録された干渉縞を記録した情報光と相関値が高いと、干渉縞によって回折され、参照光を再生する。再生した参照光は、反射層２４で反射され、記録媒体２０から射出され、照射時とは反対方向に、対物レンズ５０、四分の一波長板４９、ビームスプリッタ４８、第１及び第２のリレーレンズ４５、４７、ミラー４６を経て、偏光ビームスプリッタ４４によって反射され、アパーチャー５１を通過して参照光検出器５２に入射する。

また、アドレス用レーザー６０、ビームスプリッタ６１、ミラー６２及びアドレス光検出器６３は、記録媒体２０にアドレス層を設けた時に、アドレス層から照射位置を特定するためのものであり、アドレス用レーザー６０から照射された光は、ビームスプリッタ６１を透過してミラー６１によって反射され、さらにビームスプリッタ４８によって反射され、四分の一波長板４９を透過し、対物レンズ５０によって記録媒体２０のアドレス層に照射される。記録媒体２０からの反射光は、光学系を逆に通過し、ビームスプリッタ６１によって反射され、アドレス光検出器６３で検出される。アドレス用レーザー６０としては赤色光等の比較的長波長のレーザーを利用することが好ましい。

このような ホログラフィック記録媒体を利用した照合サーバ１においては、動画データベースに登録用画像を記録する場合は、空間光変調器４３に登録用画像及び参照光用の画像を表示して、登録用画像及び参照光用の画像によって空間的に変調された情報光及び参照光を生成する。そして、情報光及び参照光は、対物レンズ５０によってフーリエ変換されて記録媒体２０のホログラム記録層２１に照射されることにより、フーリエ変換された情報光と参照光とがホログラム記録層２１において干渉して登録用画像に対応する干渉縞が記録される。そして、閲覧用動画データを照合する場合は、空間光変調器４３に検索用画像を表示して、検索用画像によって空間的に変調された検索光を生成する。検索光は、対物レンズ５０によってフーリエ変換されて記録媒体２０のホログラム記録層２１の干渉縞に照射されるが、干渉縞を形成した情報光の登録用画像と検索用画像の相関値が高いと、干渉縞によって検索光が回折され、参照光を再生する。つまり、再生した参照光の強度を検出することによって、相関値を求めることができる。なお、登録用画像や検索用画像が、２値画像化処理された２値画像の場合、空間光変調器４３の各画素に対応させるのが容易であり、この点でも好ましい。

以上の説明においては、情報光と参照光とを同軸上で干渉させるコリニア方式の装置を利用しているので、高速で照合することが可能である。なお、以上の説明では、反射型のホログラフィック記録媒体で説明したが、光相関演算により再生された参照マーク光を透過させて表示させる透過型であっても実現することが可能である。また、コリニア方式ではなく、情報光の光路と参照マーク光の光路を分離して、記録媒体において一定の角度で交差する二光束干渉方式の装置であっても実現することが可能である。例えば、光源４１からの光をビームスプリッタによって２つの光に分割し、一方の光を空間光変調器によって変調させて情報光を生成し、他方の光を変形させて参照マーク光を生成し、記録媒体で交差するように照射する構成であってもよい。

登録動画データとして、１０秒、３０ｆｐｓの動画データを３０本用意して、それぞれ、全フレーム画像（３００フレーム）を２値画像化処理等の画像処理して２値画像群Ｂ_ｉを生成した。そして、自己相関（同一の画像同士の相関演算）の相関値を１００（ａ．ｕ．：任意単位）として規格化し、しきい値を７０（ａ．ｕ．）と６０（ａ．ｕ．）の２種類設定して、選別工程を行って動画データベースを作製した。しきい値を７０（ａ．ｕ．）とした場合、３００フレーム×３０本の９０００枚の２値画像に対し、登録用画像の枚数を２５０４枚に削減でき、しきい値を６０（ａ．ｕ．）とした場合、３００フレーム×３０本の９０００枚の２値画像に対し、登録用画像の枚数を１５８０枚に削減できた。各動画データ毎の削減枚数を下記表１に示す。

さらに、全ての２値画像を登録した動画データベース、しきい値７０の選別工程を行った動画データベース及びしきい値６０の選別工程を行った動画データベースのそれぞれについて、エラーレートを求めた。図７（Ａ）〜（Ｃ）の各図は、各動画データベースにおけるエラーレートを示す図であり、縦軸はエラーレートで、横軸は規格化された相関値に関するしきい値である。エラーレートは、２つのエラー曲線から構成されており、一方は、登録された画像を未登録と誤認した時の登録画像拒否率（ＦＲＲ：Ｆａｌｓｅ Ｒｅｊｅｃｔｉｏｎ Ｒａｔｅ）であり、他方は、異なる画像を記録された画像と誤認した時の他画像受入率（ＦＡＲ：Ｆａｌｓｅ Ａｃｃｅｐｔａｎｃｅ Ｒａｔｅ）である。登録画像拒否率ＦＲＲ及び他画像受入率ＦＡＲは、それぞれしきい値を変化させた時の照合結果の正誤率から求められる。図７（Ａ）〜（Ｃ）は、登録した３０本の動画データから各１フレーム画像を抽出して３０枚の検索用画像を作成し、各動画データベースの登録用画像とそれぞれ照合して取得した相関値をしきい値と比較して大きい場合に登録用画像と一致すると判断させた時の登録画像拒否率ＦＲＲ及び他画像受入率ＦＡＲである。

登録画像拒否率ＦＲＲと他画像受入率ＦＡＲとが交差する値は、登録画像拒否率ＦＲＲと他画像受入率ＦＡＲの双方が共に小さくなるしきい値であり、その時のエラーレートをＥＥＲ（Ｅｑｕａｌ Ｅｒｒｏｒ Ｒａｔｅ）と呼び、ＥＥＲが一定の範囲を有する時にその範囲をしきい値領域と呼ぶ。ＥＥＲは小さいほど好ましく、ＥＥＲが０％であれば、登録画像拒否率ＦＲＲも他画像受入率ＦＡＲも０％であり、理論上はエラーが発生しない。またしきい値領域の広さは照合の信頼性を示し、広いほど照合の信頼性が高いことを意味する。なお、類似した画像の照合も可能とするために、敢えてしきい値をしきい値領域よりも小さい値として、他画像受入率ＦＡＲを高くしてもよい。

図７（Ａ）は、全ての２値画像を登録した動画データベースの場合であり、（Ｂ）は、しきい値７０の選別工程を行った動画データベースの場合であり、（Ｃ）は、しきい値６０の選別工程を行った動画データベースの場合である。図７（Ａ）及び（Ｂ）では、ＥＥＲが０％であり、図７（Ｃ）においても、ＥＥＲ３．３％という極めて低い値を得ることができた。

次に、閲覧動画データの見本用の静止画像から生成された検索用画像を利用した照合システムの照合精度評価実験を行った。なお、動画データベースとしては、登録動画データとして、１０秒、３０ｆｐｓの動画データを３０本用意して、それぞれ、全フレーム画像（３００フレーム）を２値画像化処理等の画像処理して９０００枚の２値画像群Ｂ_ｉを生成し、すべての２値画像を登録した動画データベースを使用した。検索に使用した見本用の静止画像サイズは、１２８×９６画素であり、各登録動画データに対して１枚、計３０枚の見本用の静止画像を２値画像化処理等の画像処理したものを検索用画像として利用した。図８は、かかる照合精度評価実験におけるエラーレートを示す図であり、縦軸はエラーレートで、横軸は規格化された相関値に関するしきい値である。エラーレートについては、図７と同様である。この結果、ＥＥＲ０％という、精度の高く照合が可能であることを実証した。

本発明の照合システムを示す概略構成図 データの流れを概略的に示すブロック図 （Ａ）は模式的な動画データベースのデータ構造を示す図、（Ｂ）〜（Ｅ）はそれぞれ模式的な登録動画データのデータ構造を示す図 動画データベース作製処理のフローチャート 照合処理のフローチャート 照合サーバの構成図 （Ａ）〜（Ｃ）は各動画データベースにおけるエラーレートを示す図 見本用の静止画像を検索用画像として利用した照合システムにおけるエラーレートを示す図

符号の説明

１ 照合サーバ
２ 画像データベース
３ 照合手段
５，６ 登録者
１０ クライアント群
１１ ネットワーク
１２ サイト
１３ 閲覧画像データ
１６ 登録用画像群
１７ 登録用画像

Claims (8)

1. ネットワーク上のサイトにおいて閲覧可能な状態とされる閲覧動画データの検閲を可能とする照合システムであって、
   複数の登録動画データが情報として登録された動画データベースと、前記閲覧動画データと前記動画データベースに登録された登録動画データとを照合する照合手段とを有し、
   前記閲覧動画データは、見本用として表示される静止画像を有しており、
   前記動画データベースは、各登録動画データとして、当該登録動画データを再生した再生動画の複数のフレーム画像から生成された複数の登録用画像からなる登録用画像群が記録された記録媒体を有し、
   前記照合手段は、前記閲覧動画データの見本用の静止画像から生成された検索用画像と前記動画データベースの記録媒体に記録された登録用画像とを照合し、
   前記閲覧動画データが、前記動画データベースに登録されていた場合、前記閲覧動画データに閲覧条件を含む識別データを付加することを特徴とする照合システム。
2. ネットワーク上のサイトにおいて閲覧可能な状態とされる閲覧動画データの検閲を可能とする照合システムであって、
   複数の登録動画データが情報として登録された動画データベースと、前記閲覧動画データと前記動画データベースに登録された登録動画データとを照合する照合手段とを有し、
   前記閲覧動画データは、見本用として表示される静止画像を有しており、
   前記動画データベースは、各登録動画データとして、当該登録動画データを再生した再生動画の複数のフレーム画像から生成された複数の登録用画像からなる登録用画像群が記録された記録媒体を有し、
   前記照合手段は、前記閲覧動画データの見本用の静止画像から生成された検索用画像と前記動画データベースの記録媒体に記録された登録用画像とを照合し、
   前記閲覧動画データが、前記動画データベースに登録されていた場合、前記閲覧動画データに閲覧条件を含む識別データを付加し、
   前記識別データに基づいて、前記閲覧動画データの閲覧条件を変更することを特徴とする照合システム。
3. 前記閲覧動画データから任意又は無作為に見本の静止画像を抽出する機能を有していることを特徴とする請求項１又は２に記載の照合システム。
4. 前記各登録動画データの登録用画像群は、当該登録用画像群に含まれる登録用画像の一つと他の一つとの相関演算の結果が、あらかじめ設定されたしきい値よりも小さいことを特徴とする請求項１乃至３の何れか１項に記載の照合システム。
5. 前記登録用画像は、フレーム画像から生成される間に、少なくとも２値画像化処理が行われることを特徴とする請求項１乃至４の何れか１項に記載の照合システム。
6. 前記検索用画像は、前記閲覧動画データの見本用の静止画像から生成される間に、少なくとも２値画像化処理が行われ、
   前記照合手段は、前記検索用画像と前記登録用画像とを相関演算して照合することを特徴とする請求項５に記載の照合システム。
7. 前記動画データベースには、各登録用画像に対応するフレーム画像の画像特徴情報が記録されており、
   前記照合手段は、前記閲覧動画データの見本用の静止画像の画像特徴情報を算出し、前記動画データベースに記録された画像特徴情報と照合することを特徴とする請求項１乃至６の何れか１項に記載の照合システム。
8. 前記登録動画データには少なくとも一つのキーワードが設定され、
   前記閲覧動画データは、少なくとも一つのキーワードデータが付加されており、
   前記照合手段は、前記閲覧動画データに付加されたキーワードデータから取得したキーワードと前記登録動画データに設定されたキーワードとを照合することを特徴とする請求項１乃至７の何れか１項に記載の照合システム。
   

Images