JP7277562B2 - イメージマッチングを利用したマーカー検出方法、その装置及びそのプログラム - Google Patents

Description

本発明は、イメージマッチングを利用したマーカー検出方法、その装置及びそのプログラムに係り、さらに詳細には、原本コンテンツと、流出時に損傷されたコンテンツとをカット別に対照させ、流出コンテンツに含まれたカットサイズ及びカット位置を調整することにより、流出コンテンツに付加されたマーカーを容易に検出することができるイメージマッチングを利用したマーカー検出方法、その装置及びそのプログラムに関する。

オンラインコンテンツ市場が飛躍的に発展することにより、デジタルデータの複製容易性に起因したコンテンツの流出及び無断不法複製の市場もまた、日に日に大きくなっている。コンテンツ無断複製を防止するために、コンテンツにウォーターマークを追加する方法などが使用されているが、該ウォーターマークは、コンテンツの視認性を落とし、ウォーターマーク削除は、困難な技術を必要とせず、該ウォーターマークが表示されたコンテンツにより、流出者検出が困難であるという問題点が存在する。

一方、一般的に、マンガは、人物、動物、事物などの様子を簡潔であって滑稽に描いたり、誇張して示したりする絵を言い、短めの台詞を入れ、ユーモアや諷刺、または一定の筋書を盛り込み、読み応えを提供する。最近では、オンラインマンガが市場に出され、多くのユーザらがマンガ閲覧を介し、楽しみと情報とを得ている。例えば、韓国公開特許第１０－２０１１－０１２３３９３号（公開日２０１１年１１月１５日）には、オンライン上の直取引を介し、モバイルデジタルコンテンツ形態のマンガを提供する技術が開示されている。

本発明が解決しようとする課題は、原本コンテンツと、流出時に損傷されたコンテンツとをカット別に対照させ、流出コンテンツに含まれたカットサイズ及びカット位置が調整されたマッチング用コンテンツを生成することを一目的とする。

本発明が解決しようとする課題は、またマッチング用コンテンツを原本コンテンツとマッチングさせ、流出されたコンテンツから、マーカーを検出することを他の目的とする。

本発明の一実施形態によれば、複数個のカットからなる原本コンテンツに基づいて生成された損傷コンテンツを獲得する損傷コンテンツ獲得部と、前記損傷コンテンツに含まれた１以上のイメージを併合したり、前記損傷コンテンツに含まれた１以上のカットの一部領域を除去したりして、前処理コンテンツを生成する前処理コンテンツ生成部と、前記原本コンテンツに含まれた１以上のカットと対照させ、前記前処理コンテンツに含まれた１以上のカットサイズまたはカット位置を調整したマッチング用コンテンツを生成するマッチング用コンテンツ生成部と、前記原本コンテンツと前記マッチング用コンテンツとをカット別にマッチングさせるマッチング部と、を含むイメージマッチングを利用したマーカー検出装置が提供される。

本発明において、前記原本コンテンツの特定カットに存在しないが、前記原本コンテンツの特定カットにマッチングされた前記マッチング用コンテンツの特定カットに存在するマーカーを検出するマーカー検出部を追加して含んでもよい。

本発明において、前記マッチング部は、前記原本コンテンツと前記マッチング用コンテンツとの同一部分は、第１色相で表示し、前記原本コンテンツと前記マッチング用コンテンツとの異なる部分は、第２色相で表示することができる。

本発明において、前記マッチング用コンテンツ生成部は、前記原本コンテンツに含まれた１以上のカットと、前記前処理コンテンツに含まれた１以上のカットとを対照させ、前記前処理コンテンツに含まれた１以上のカットそれぞれに係わるカット位置を決定し、前記原本コンテンツの１以上のイメージと、同一サイズの１以上の空白イメージとを生成し、前記決定されたカット位置に基づき、前記１以上の空白イメージ上に、前記前処理コンテンツに含まれた前記１以上のカットを配置することができる。

本発明において、前記マッチング用コンテンツ生成部は、前記原本コンテンツのカットと、前記損傷コンテンツのカットとを比較し、カット別にスケール比を算定した後、前記算定されたスケール比に基づき、前記損傷コンテンツの１以上のカットサイズを調整することができる。

本発明において、前記前処理コンテンツ生成部は、前記損傷コンテンツに含まれた個別イメージを併合して併合イメージを生成し、前記併合イメージのカットの外部領域を除去し、カットだけからなる前処理コンテンツを生成することができる。

本発明において、前記マッチング用コンテンツ生成部は、縦型コンテンツである場合、カットの横長に基づき、前記スケール比を算定し、横型コンテンツである場合、カットの縦長に基づき、前記スケール比を算定することができる。

本発明において、前記マッチング用コンテンツ生成部は、前記損傷コンテンツの特定カットの前記算定されたスケール比に基づき、前記損傷コンテンツの他のカットサイズを調整することができる。

本発明において、前記マーカー検出部は、前記原本コンテンツと前記マッチング用コンテンツとがマッチングされたコンテンツにおいて、前記マーカーが付加されうる領域を拡大させて表示することができる。

本発明の一実施形態によれば、複数個のカットからなる原本コンテンツに基づいて生成された損傷コンテンツを獲得する損傷コンテンツ獲得段階と、前記損傷コンテンツに含まれた１以上のイメージを併合したり、前記損傷コンテンツに含まれた１以上のカットの一部領域を除去したりして、前処理コンテンツを生成する前処理コンテンツ生成段階と、前記原本コンテンツに含まれた１以上のカットと対照させ、前記前処理コンテンツに含まれた１以上のカットサイズまたはカット位置を調整したマッチング用コンテンツを生成するマッチング用コンテンツ生成段階と、前記原本コンテンツと前記マッチング用コンテンツとをカット別にマッチングさせるマッチング段階と、を含むイメージマッチングを利用したマーカー検出方法が提供される。

本発明において、前記原本コンテンツの特定カットに存在しないが、前記原本コンテンツの特定カットにマッチングされた前記マッチング用コンテンツの特定カットに存在するマーカーを検出するマーカー検出段階を追加して含んでもよい。

本発明において、前記マッチング用コンテンツ生成段階は、前記原本コンテンツに含まれた１以上のカットと、前記前処理コンテンツに含まれた１以上のカットとを対照させ、前記前処理コンテンツに含まれた１以上のカットそれぞれに係わるカット位置を決定する段階と、前記原本コンテンツの１以上のイメージと、同一サイズの１以上の空白イメージとを生成する段階と、前記決定されたカット位置に基づき、前記１以上の空白イメージ上に、前記前処理コンテンツに含まれた前記１以上のカットを配置する段階と、を含んでもよい。

本発明において、前記前処理コンテンツ生成段階は、前記損傷コンテンツに含まれた個別イメージを併合して併合イメージを生成する段階と、前記併合イメージのカットの外部領域を除去し、カットだけからなる前処理コンテンツを生成する段階と、を含んでもよい。

本発明において、前記マッチング用コンテンツ生成段階は、前記原本コンテンツのカットと、前記損傷コンテンツのカットとを比較し、カット別にスケール比を算定した後、前記算定されたスケール比に基づき、前記損傷コンテンツの１以上のカットサイズを調整することができる。

また、本発明による方法を実行するために、コンピュータで読み取り可能な記録媒体に記録されたコンピュータプログラムが提供される。

本発明によれば、流出されたコンテンツに、閲覧者情報を示すマーカーが付加されているので、付加されたマーカーを利用し、コンテンツ流出者を容易に検出することができる。

本発明によれば、流出コンテンツに含まれたカットサイズ及びカット位置が調整されたマッチング用コンテンツを生成することにより、流出時にコンテンツが損傷された場合であっても、高正確度のマッチング結果を提供することができる。

本発明は、マッチング用コンテンツを原本コンテンツとマッチングさせ、マーカーを検出することにより、検出されたマーカーを利用し、流出者情報を獲得することができる。

本発明の一実施形態によるネットワーク環境の例を図示した図面である。 本発明の一実施形態において、ユーザ端末及びサーバの内部構成について説明するためのブロック図である。 本発明の一実施形態によるプロセッサの内部構成を示した図面である。 本発明の一実施形態による、イメージマッチングを利用したマーカー検出方法を時系列的に示した図面である。 本発明の一実施形態により、損傷された流出コンテンツが生成される過程について説明するための例示である。 原本コンテンツと損傷コンテンツとを例示した図面である。 本発明の一実施形態により、コンテンツのイメージを併合する一例である。 本発明の一実施形態により、カットの外部領域を除去する一例である。 本発明の一実施形態により、カットサイズを調整する一例である。 本発明の一実施形態により、カットの位置を調整する一例である。 本発明の一実施形態により、原本コンテンツとマッチング用コンテンツとをマッチングさせる一例である。 本発明の一実施形態により、マーカーを検出する一例である。

後述する本発明に係わる詳細な説明は、本発明が実施されうる特定実施形態を例示として図示する添付図面を参照する。そのような実施形態は、当業者が本発明を実施することができるのに十分になるように詳細に説明される。本発明の多様な実施形態は、互いに異なるが、相互排他的である必要はないということが理解されなければならない。例えば、本明細書に記載されている特定形状、構造及び特性は、本発明の精神と範囲とを外れずに、一実施形態から他の実施形態に変更されても具現される。また、それぞれの実施形態内の個別構成要素の位置または配置も、本発明の精神と範囲とを外れずに、変更されうるということが理解されなければならない。従って、後述する詳細な説明は、限定的な意味としてなされるものではなく、本発明の範囲は、特許請求の範囲の請求項が請求する範囲、及びそれと均等な全ての範囲を包括するものであると受け入れられなければならない。図面において、類似参照符号は、多くの側面にわたり、同一であるか、あるいは類似した構成要素を示す。

図１は、本発明の一実施形態によるネットワーク環境の例を図示した図面である。

図１のネットワーク環境は、複数のユーザ端末１１０，１２０，１３０，１４０、サーバ１５０及びネットワーク１６０を含む例を示している。そのような図１は、発明の説明のための一例でアリ、ユーザ端末の数や、サーバの数は、図１のように限定されるものではない。

複数のユーザ端末１１０，１２０，１３０，１４０は、コンピュータ装置で具現される固定型端末や移動型端末でもある。複数のユーザ端末１１０，１２０，１３０，１４０の例えば、スマートフォン（smart phone）、携帯電話、ナビゲーション、コンピュータ、ノート型パソコン、デジタル放送用端末、ＰＤＡ（personal digital assistant）、ＰＭＰ（portable multimedia player）、タブレットＰＣ（personal computer）などがある。一例として、ユーザ端末１ １１０は、無線または有線の通信方式を利用し、ネットワーク１６０を介し、他のユーザ端末１２０，１３０，１４０及び／またはサーバ１５０と通信することができる。

該通信方式は、制限されるものではなく、ネットワーク１６０が含む通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を活用する通信方式だけではなく、機器間の近距離無線通信も含まれる。例えば、ネットワーク１６０は、ＰＡＮ（personal area network）、ＬＡＮ（local area network）、ＣＡＮ（campus area network）、ＭＡＮ（metropolitan area network）、ＷＡＮ（wide area network）、ＢＢＮ（broadband network）、インターネットのようなネットワーク中の１以上の任意のネットワークを含んでもよい。また、ネットワーク１６０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター・バスネットワーク、ツリーまたは階層的（hierarchical）ネットワークなどを含むネットワークトポロジーのうち任意の１以上を含んでもよいが、それらに制限されるものではない。

サーバ１５０は、複数のユーザ端末１１０，１２０，１３０，１４０と、ネットワーク１６０とを介して通信し、命令、コード、ファイル、コンテンツ、サービスなどを提供するコンピュータ装置、または複数のコンピュータ装置によっても具現される。

一例として、サーバ１５０は、ネットワーク１６０を介して接続したユーザ端末１ １１０にアプリケーションインストールのためのファイルを提供することができる。その場合、ユーザ端末１ １１０は、サーバ１５０から提供されたファイルを利用し、アプリケーションをインストールすることができる。また、ユーザ端末１ １１０が含むオペレーションシステム（ＯＳ）、及び少なくとも１つのプログラム（一例として、ブラウザや、インストールされたアプリケーション）の制御によってサーバ１５０に接続し、サーバ１５０が提供するサービスやコンテンツを提供されうる。例えば、ユーザ端末１ １１０が、アプリケーションの制御により、ネットワーク１６０を介し、マーカー検出要請をサーバ１５０に伝送すれば、サーバ１５０は、流出コンテンツと原本コンテンツとを対照させ、マッチングのためのマッチング用コンテンツを生成し、マッチング用コンテンツと原本コンテンツとのマッチング結果、及び検出されたマーカー情報を、ユーザ端末１ １１０に伝送することができ、ユーザ端末１ １１０は、アプリケーションの制御により、マッチング結果、及び検出されたマーカー情報を表示することができる。他の例として、サーバ１５０は、データ送受信のための通信セッションを設定し、設定された通信セッションを介し、複数のユーザ端末１１０，１２０，１３０，１４０間のデータ送受信をルーティングすることもできる。

図２は、本発明の一実施形態において、ユーザ端末及びサーバの内部構成について説明するためのブロック図である。

図２においては、１つのユーザ端末に係わる例として、ユーザ端末１ １１０、そして１つのサーバに対する例として、サーバ１５０の内部構成について説明する。他のユーザ端末１２０，１３０，１４０も、同一であるか、あるいは類似した内部構成を有することができる。

ユーザ端末１ １１０とサーバ１５０は、メモリ２１１，２２１、プロセッサ２１２，２２２、通信モジュール２１３，２２３及び入出力インターフェース２１４，２２４を含んでもよい。メモリ２１１，２２１は、コンピュータで読み取り可能な記録媒体であり、ＲＡＭ（random access memory）、ＲＯＭ（read only memory）及びディスクドライブのような非消滅性大容量記録装置（permanent mass storage device）を含んでもよい。また、メモリ２１１，２２１には、オペレーションシステムと、少なくとも１つのプログラムコード（一例として、ユーザ端末１ １１０にインストールされて駆動されるブラウザや、前述のアプリケーションなどのためのコード）とが保存されうる。そのようなソフトウェア構成要素は、ドライブメカニズム（drive mechanism）を利用し、メモリ２１１，２２１とは別途のコンピュータで読み取り可能な記録媒体からもローディングされる。そのような別途のコンピュータで読み取り可能な記録媒体は、フロッピィードライブ、ディスク、テープ、ＤＶＤ（digital versatile disc）／ＣＤ－ＲＯＭ（compact disc read only memory）ドライブ、メモリカードのようなコンピュータで読み取り可能な記録媒体を含んでもよい。他の実施形態において、ソフトウェア構成要素は、コンピュータで読み取り可能な記録媒体ではなく、通信モジュール２１３，２２３を介し、メモリ２１１，２２１にもローディングされる。例えば、少なくとも１つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システム（一例として、前述のサーバ１５０）がネットワーク１６０を介して提供するファイルによってインストールされるプログラム（一例として、前述のアプリケーション）に基づき、メモリ２１１，２２１にもローディングされる。

プロセッサ２１２，２２２は、基本的な算術、ロジック及び入出力演算を行うことにより、コンピュータプログラムの命令を処理するようにも構成される。該命令は、メモリ２１１，２２１または通信モジュール２１３，２２３により、プロセッサ２１２，２２２にも提供される。例えば、プロセッサ２１２，２２２は、メモリ２１１，２２１のような記録装置に保存されたプログラムコードによって受信される命令を実行するようにも構成される。

通信モジュール２１３，２２３は、ネットワーク１６０を介し、ユーザ端末１ １１０とサーバ１５０とが互いに通信するための機能を提供することができ、他のユーザ端末（一例として、ユーザ端末２ １２０）、または他のサーバ（一例として、サーバ１５０）と通信するための機能を提供することができる。一例として、ユーザ端末１ １１０のプロセッサ２１２が、メモリ２１１のような記録装置に保存されたプログラムコードによって生成した要請が、通信モジュール２１３の制御により、ネットワーク１６０を介し、サーバ１５０にも伝達される。反対に、サーバ１５０のプロセッサ２２２の制御によって提供される制御信号や、命令、コンテンツ、ファイルなどが、通信モジュール２２３とネットワーク１６０とを経て、ユーザ端末１ １１０の通信モジュール２１３を介し、ユーザ端末１ １１０にも受信される。例えば、通信モジュール２１３を介して受信されたサーバ１５０の制御信号や命令などは、プロセッサ２１２やメモリ２１１に伝達され、コンテンツやファイルなどは、ユーザ端末１ １１０がさらに含む記録媒体にも保存される。

入出力インターフェース２１４，２２４は、入出力装置２１５とのインターフェースのための手段でもある。例えば、入力装置は、キーボードまたはマウスのような装置を含み、出力装置は、アプリケーションの通信セッションを表示するためのディスプレイのような装置を含んでもよい。他の例として、入出力インターフェース２１４は、タッチスクリーンのように、入力と出力とのための機能が一つに統合された装置とのインターフェースのための手段でもある。さらに具体的な例として、ユーザ端末１ １１０のプロセッサ２１２は、メモリ２１１にローディングされたコンピュータプログラムの命令処理におき、サーバ１５０やユーザ端末２ １２０が提供するデータを利用して構成されるサービス画面やコンテンツが、入出力インターフェース２１４を介してもディスプレイに表示される。

また、他の実施形態において、ユーザ端末１ １１０及びサーバ１５０は、図２の構成要素よりさらに多くの構成要素を含んでもよい。しかし、ほとんどの従来の技術的構成要素を明確に図示する必要はない。例えば、ユーザ端末１ １１０は、前述の入出力装置２１５において、少なくとも一部を含むように具現されるか、あるいはトランシーバ（transceiver）、ＧＰＳ（global positioning system）モジュール、カメラ、各種センサ、データベースのような他の構成要素をさらに含んでもよい。

図３は、本発明の一実施形態によるプロセッサの内部構成を示したものである。

プロセッサ２１２は、ウェブページをオンラインから提供されて出力することができるウェブブラウザ（web browser）またはアプリケーションを含んでもよい。プロセッサ２１２内において、本発明の一実施形態による、イメージマッチングを利用したマーカー検出機能を遂行する構成は、図３に図示されているように、損傷コンテンツ獲得部３１０、前処理コンテンツ生成部３２０、マッチング用コンテンツ生成部３３０、マッチング部３４０及びマーカー検出部３５０を含んでもよい。一実施形態により、プロセッサ２１２の構成要素は、選択的に、プロセッサ２１２に含まれたり除外されたりもする。また、一実施形態により、プロセッサ２１２の構成要素は、プロセッサ２１２の機能表現のために、分離されたり併合されたりもする。

ここで、プロセッサ２１２の構成要素は、ユーザ端末１ １１０に保存されたプログラムコードが提供する命令（一例として、ユーザ端末１ １１０で駆動されたウェブブラウザが提供する命令）により、プロセッサ２１２によって遂行されるプロセッサ２１２の互いに異なる機能（different functions）の表現でもある。

そのようなプロセッサ２１２及びプロセッサ２１２の構成要素は、図４のイメージマッチングを利用したマーカー検出方法が含む段階（Ｓ１ないしＳ５）を遂行するように、ユーザ端末１ １１０を制御することができる。例えば、プロセッサ２１２及びプロセッサ２１２の構成要素は、メモリ２１１が含むオペレーションシステムのコードと、少なくとも１つのプログラムのコードとによる命令（Instruction）を実行するようにも具現される。

図４は、本発明の一実施形態による、イメージマッチングを利用したマーカー検出方法を時系列的に示した図面である。以下においては、図３及び図４を共に参照し、本発明のイメージマッチングを利用したマーカー検出方法、その装置及びそのプログラムについて具体的に説明する。

まず、損傷コンテンツ獲得部３１０は、複数個のカットからなる原本コンテンツに基づいて生成された損傷コンテンツを獲得する（Ｓ１）。

コンテンツ流出者が流出させるコンテンツは、多様な理由により、原本コンテンツに比べ、損傷されたコンテンツでもある。一例として、流出されたコンテンツは、拡大または縮小されているか、コンテンツが断絶されているか、カット間の配列が原本コンテンツと異なるか、一部が消失するか、あるいは重畳されるというように、多様な仕方で損傷されたコンテンツでもある。そのとき、閲覧されたコンテンツのどの位置にマーカーを付加するかということに係わる情報が存在すれば、流出者に係わる情報を得ることができるが、流出コンテンツが損傷された場合、流出コンテンツと原本コンテンツとをマッチングさせても、正しいマーカー位置に係わる情報を知ることが難くもある。そのために、本願発明は、流出コンテンツと原本コンテンツとをマッチングさせるために、流出コンテンツの大きさまたは位置を調整し、マッチング用コンテンツを生成し、マッチング用コンテンツを原本コンテンツとマッチングさせ、マーカーを検出することを特徴とする。

図５は、本発明の一実施形態により、損傷された流出コンテンツが生成される過程について説明するための例示である。

図５の例示において、（ａ）は、原本コンテンツ、（ｂ）は、原本コンテンツにマーカーが付加されたマーカーコンテンツ、（ｃ）は、ユーザによって流出された流出コンテンツを示す。また、（ｄ）ないし（ｅ）は、ユーザ端末 １１０の画面のディスプレイの一例である。

まず、図５（ｄ）を参照すれば、ユーザは、コンテンツリスト５３のうち、閲覧を所望する閲覧対象コンテンツ５１を選択することができる。前述のように、本発明の閲覧対象コンテンツ５１は、カット５１ｃ１，５１ｃ２からなるコンテンツであり、各コンテンツは、シリーズコンテンツの一回分でもある。例えば、図５に図示されたコンテンツリストにおいて、「インターネット友達第５話」は、第１話ないし第５話によってなるシリーズコンテンツの第５話コンテンツでもある。ユーザは、ディスプレイされたコンテンツのうち、「インターネット友達第５話」を閲覧対象コンテンツに選択することができ、選択された閲覧対象コンテンツ情報及び閲覧者情報が受信されうる。

次に、プロセッサ２１２，２２２は、閲覧対象コンテンツ５１からマーカーコンテンツ５２を生成することができる。マーカーコンテンツの各カット５２ｃ１，５２ｃ２には、閲覧者情報に基づいたマーカー５２ｓ１，５２ｓ２が付加されうる。すなわち、コンテンツの配布権を有さないコンテンツ閲覧者がコンテンツを無断で流出させる状況が発生する場合、流出者を検出するために、流出者情報に基づいたマーカーが付加されたマーカーコンテンツを、原本コンテンツの代わりにユーザ端末に提供することができる。また、流出されたコンテンツのマーカーを検出し、流出者情報を獲得することができる。

さらに詳細には、図５（ｅ）のように、ユーザ端末には、マーカーコンテンツ５２が表示され、マーカーコンテンツ（図５（ｂ））は、原本コンテンツ（図５（ａ））に、流出者検出用マーカー５２ｓ１，５２ｓ２が含まれる。一方、ユーザがユーザ端末に表示されたマーカーコンテンツ５２をダウンロードしたりキャプチャしたりして、自分のＳＮＳアカウントのような他のところに流出させるとき、該流出コンテンツは、損傷される。すなわち、図５（ｆ）に示されているように、ユーザが自分のＳＮＳアカウント（My Blog）に流出させたコンテンツ５３は、マーカーコンテンツが損傷されたコンテンツでもある。これは、マーカーコンテンツをダウンロードしたりキャプチャしたりアップロードしたりする過程において、一部コンテンツが消失したり、大きさが変更されたり、配置が変わったりするためである。すなわち、図５（ｃ）のような流出コンテンツは、本来のマーカーコンテンツにおいて、最初カット５３ｃ１の外郭部分がクロップ（crop）されていたり、２番目カット５３ｃ２の中間部分が消失したりするのである。

本発明によれば、原本コンテンツとマーカーコンテンツとをマッチングさせ、マーカーの位置を検出した後、マーカーの位置から流出者に係わる情報を獲得することを一目的とする。しかし、図５（ｃ）のように流出されたコンテンツが損傷された場合、原本コンテンツとのマッチングを介し、正確なマーカー位置を検出することが難くもある。そのために、本発明においては、原本コンテンツとのマッチングを介してマーカーを検出するように、流出されたコンテンツの大きさ及び位置を調整し、マッチング用コンテンツを生成し、マッチング用コンテンツを原本コンテンツとマッチングさせ、マーカー位置を検出することができる。

図６は、原本コンテンツと損傷コンテンツとを例示したものである。

図６（ａ）は、原本コンテンツであり、図６（ｂ）は、流出された損傷コンテンツでもある。さらに詳細には、原本コンテンツは、４個のイメージ６ａ１，６ａ２，６ａ３，６ａ４を含み、各イメージは、それぞれ１つのカットを含んでいる。このとき、該カットは、カットライン、及びカットライン内部のカットコンテンツを含む。また、流出された損傷コンテンツも、４個のイメージ６ｂ１，６ｂ２，６ｂ３，６ｂ４を含むが、流出された損傷コンテンツは、３個のイメージ６ｂ１，６ｂ３，６ｂ４だけが、それぞれ１つのカットを含んでいる。すなわち、損傷コンテンツは、第２カット（第２イメージ６ａ２）が消失され、実質的に、３個のカットにからなる。さらに詳細には、流出された損傷コンテンツの第１イメージ６ｂ１のカットは、原本コンテンツの第１イメージ６ａ１カットの中間が切られ、切られた部分が互いにずれている。また、流出された損傷コンテンツの第３イメージ６ｂ３は、原本コンテンツの第３イメージ６ａ１がそのまま維持されたものでもある。また、流出された損傷コンテンツの第４イメージ６ｂ４のカットは、原本コンテンツの第４イメージ６ａ４カットが中間部分が一部重畳されて消失されたカットでもある。すなわち、損傷コンテンツのカットは、原本コンテンツのカットが変形されたものでもあり、以下の明細書においては、損傷コンテンツを調整し、マッチング用コンテンツを生成する方法について説明する。

まず、前処理コンテンツ生成部３２０は、損傷コンテンツに含まれた１以上のイメージを併合したり、損傷コンテンツに含まれた１以上のカットの一部領域を除去したりして、前処理コンテンツを生成する（Ｓ２）。さらに詳細には、前処理コンテンツ生成部３２０は、損傷コンテンツに含まれた個別イメージを併合して併合イメージを生成し、併合イメージのカットの外部領域を除去し、カットだけからなる前処理コンテンツを生成する。本発明の一実施形態によれば、前処理コンテンツ生成部３２０は、イメージを併合し、カット外部の空いた空間を除去するような前処理を行い、原本イメージとのマッチングがさらに迅速になされるようにする。

さらに詳細には、前処理コンテンツ生成部３２０は、損傷コンテンツに含まれた１以上のイメージを併合するために、イメージを順に横あるいは縦につなげる。コンテンツが縦に進められる場合、縦にイメージをつなげ、コンテンツが横に進められる場合、横にイメージをつなげる。このとき、前処理コンテンツ生成部３２０は、原本コンテンツに含まれた複数個のイメージも、縦横につなげる。

図７は、本発明の一実施形態により、コンテンツのイメージを併合する一例である。

図７を参照すれば、図６で例示された損傷コンテンツの第１イメージ６ｂ１ないし第４イメージ６ｂ４を縦につなげた併合コンテンツ（図７（ｂ））が例示されている。図７から分かるように、併合コンテンツ（図７（ｂ））は、イメージ間の間隔が存在しない。また、前処理コンテンツ生成部３２０は、原本コンテンツの第１イメージ６ａ１ないし第４イメージ６ａ４が属したイメージを縦につなげた併合コンテンツ（図７（ａ））を生成することもできる。

また、前処理コンテンツ生成部３２０は、損傷コンテンツに含まれた１以上のカットの外部領域を除去し、カットだけからなる前処理コンテンツを生成することができる。さらに詳細には、前処理コンテンツ生成部３２０は、損傷コンテンツに属した各イメージカットライン外部の領域を除去することができる。もし損傷コンテンツに属したカットが存在しない場合、前処理コンテンツ生成部３２０は、当該イメージ自体を除去することができる。併せて、前処理コンテンツ生成部３２０は、原本コンテンツに含まれた複数個のカット外部領域を除去することができる。

本発明の一実施形態によれば、カットからなるコンテンツの特性上、カットライン外部の領域は、コンテンツを含まない空白（empty）空間である可能性が高いので、マッチング用コンテンツを生成するために、空白空間を除去することができる。このとき、カットの外部領域とは、一般的には、カットラインの外部領域を意味するのである。カットラインとは、マンガのようにカットからなるコンテンツにおいて、各場面を示すために創作者が区切った区域であると言うことができる。

図８は、本発明の一実施形態により、カットの外部領域を除去する一例である。

図８を参照すれば、図７のような実施形態で生成された併合コンテンツ（図７（ａ）、図７（ｂ））のカット外部領域を除去し、前処理コンテンツを生成することができる。さらに詳細には、損傷コンテンツに基づいた併合コンテンツ（図７（ｂ））のカット外部領域、すなわち、カットラインの外部領域を除去し、カット８ｂ１，８ｂ３，８ｂ４からなる前処理コンテンツ（図８（ｂ））を生成することができる。このとき、併合コンテンツ（図７（ｂ））の最初カットのように、カットがいくつかの切片に分割されており、切片整列が合わない場合、前処理コンテンツ（図８（ｂ））を生成しながら、第１カット８ｂ１のように整列を合わせることができる。同様に、原本コンテンツに基づいた併合コンテンツ（図７（ａ））のカット外部領域を除去し、カット８ａ１，８ｂ２，８ｂ３，８ｂ４からなる前処理コンテンツ（図８（ａ））を生成することができる。

次に、マッチング用コンテンツ生成部３３０は、原本コンテンツに含まれた１以上のカットと対照させ、前処理コンテンツに含まれた１以上のカットサイズまたはカット位置を調整したマッチング用コンテンツを生成する（Ｓ３）。さらに詳細には、マッチング用コンテンツ生成部３３０は、原本コンテンツのカットと、損傷コンテンツのカットとを比較し、スケール比を算定した後、算定されたスケールに基づき、損傷コンテンツのカットサイズを調整することができる。

本発明の一実施形態によれば、前処理過程において、カットの外部領域が除去された純粋なカットだけが存在する前処理コンテンツが生成されたので、前処理コンテンツに含まれたカットサイズ比較を介し、損傷コンテンツのカットサイズを原本コンテンツのカットサイズに一致させることができる。例えば、該原本コンテンツに基づいた前処理コンテンツの最初カットの大きさと、損傷コンテンツに基づいた前処理コンテンツの最初カットの大きさとを比較し、スケール比を算定することができ、該スケール比に基づき、損傷コンテンツの最初カットの大きさを調整することができる。

選択的実施形態において、マッチング用コンテンツ生成部３３０は、コンテンツの類型により、カットの横長あるいは縦長に基づき、スケール比を算定することができる。さらに詳細には、マッチング用コンテンツ生成部３３０は、原本コンテンツが縦型コンテンツである場合、カットの横長に基づき、前記スケール比を算定し、原本コンテンツが横型コンテンツである場合、カットの縦長に基づき、前記スケール比を算定することができる。これは、縦型コンテンツである場合、横方向にコンテンツの消失または重畳が発生する可能性が高く（図６の例示で第１イメージ６ｂ１または第２イメージ６ｂ４のカット）、横型コンテンツである場合、縦方向にコンテンツの消失または重畳が発生する可能性が高いためである。

選択的実施形態において、マッチング用コンテンツ生成部３３０は、特定カットの算定されたスケール比に基づき、損傷コンテンツの他のカットサイズを調整することができる。例えば、マッチング用コンテンツ生成部３３０は、最も変形程度が小さいカットの算定されたスケール比に基づき、損傷カットテンツの他のカットサイズを調整することができる。これは、損傷コンテンツ内のカットスケール比は、カット間に差がほとんどないか、あるいは同一である可能性が高いために、１つのカットのスケール比に基づき、他のカットスケール比も決定することにより、全てのカットスケール比を計算する手間を省くためである。

図９は、本発明の一実施形態により、カットサイズを調整する一例である。

図９を参照すれば、前述の図８に例示したように、原本コンテンツに基づいたカット８ａ１，８ａ２，８ａ３，８ａ４と、損傷コンテンツに基づいたカット８ｂ１，８ｂ３，８ｂ４とが図示されている。本発明の一実施形態によれば、カット別に、原本コンテンツに基づいたカットと、損傷コンテンツに基づいたカットとのスケール比を算定することができる。このとき、図９は、縦に進められる縦型コンテンツであるので、スケール比は、カットの横長を基準に算定される。例えば、原本コンテンツと損傷コンテンツとの第１カット８ａ１，８ｂ１のスケール比は、１：０．５である。すなわち、流出者が損傷コンテンツを流出させるとき、第１カットの大きさを半分に縮小させて流出させたのである。その場合、損傷コンテンツの第１カット８ｂ１の大きさを２倍に拡大させ、大きさが調整された第１カット９ｂ１を生成することにより、流出コンテンツの第１カット８ａ１と大きさを一致させることができる。

一方、本発明の一実施形態によれば、図９の実施形態において、損傷程度が最も低い損傷コンテンツの第３カット８ｂ３のスケール比を基準に、他の損傷コンテンツのカットサイズを調整することができる。例えば、原本コンテンツと損傷コンテンツとの第３カット８ａ１，８ｂ１のスケール比が１：０．２５である場合、損傷コンテンツのカット８ｂ１，８ｂ３，８ｂ４の大きさをいずれも４倍に拡大させて大きさが調整されたカット９ｂ１，９ｂ３，９ｂ４を生成することができる。

また、マッチング用コンテンツ生成部３３０は、原本コンテンツのカットと、前処理コンテンツのカットとを対照させ、損傷コンテンツのカット別に、イメージ上にカットが配置される位置を決定することができる。このとき、前処理コンテンツのカットは、前述のように大きさが調整されたカットでもある。大きさが調整されたカット処理コンテンツのカットは、原本コンテンツのカットと対照させるとき、イメージのどの位置に位置するかということが決定されうる。前述の図６から分かるように、本発明の原本コンテンツは、カットを含む１以上のイメージによって構成され、該イメージ上にカットが配置された位置も、コンテンツを構成する主要特徴の一つである。従って、本発明の一実施形態によれば、前処理コンテンツのカットを、原本コンテンツのカットと対照させ、各カット別に、イメージ上にカットが配置される位置を決定することができる。

併せて、マッチング用コンテンツ生成部３３０は、原本コンテンツのイメージと同一サイズの空白イメージを生成し、決定されたカット位置に基づいて生成された空白イメージ上に、前処理イメージのカットを配置する。このとき、損傷コンテンツにおいて消失されたカットは、空白イメージをそのまま残しておくことができる。

図１０は、本発明の一実施形態により、カットの位置を調整する一例である。

図１０を参照すれば、図９の大きさが調整された前処理コンテンツのカット９ｂ１，９ｂ３，９ｂ４が図示されている。また、原本コンテンツのイメージ６ａ１，６ａ２，６ａ３，６ａ４が図示されている。原本コンテンツの第１イメージ６ａ１は、左上に偏るように配置されたカットを含んでいる。それを反映させ、本発明の一実施形態によれば、前処理コンテンツの第１カット９ｂ１を原本コンテンツの第１イメージ６ａ１のカットと対照させ、イメージの左にカットが偏るように、第１カット９ｂ１の正確な位置を決定することができる。

また、原本コンテンツのイメージ６ａ１，６ａ２，６ａ３，６ａ４と同一な空白イメージを生成し、空白イメージ上に、各カット９ｂ１，９ｂ３，９ｂ４の決定された位置に基づいて各カットを配置し、マッチング用コンテンツのイメージ１０ｂ１，１０ｂ２，１０ｂ３，１０ｂ４を生成する。図１０から分かるように、第２イメージ１０ｂ２に対応する損傷コンテンツのカットは存在しないので、第２イメージ１０ｂ２は、空白イメージとして残ってもいる。また、第１イメージ１０ｂ１を参照すれば、第１カット９ｂ１のように、カットの中間部分が切断された状態であるとしても、位置調整を介し、原本コンテンツの第１カット６ａ１と同様に、連続されたカットが生成されうる。また、第４イメージ１０ｂ４を参照すれば、第４カット９ｂ４の重畳されて消失された部分が反映されるように、空白イメージ上に、第４カット９ｂ４を配置することができる。これにより、カットサイズと位置とが調整されたマッチング用コンテンツが生成されうる。

次に、マッチング部３４０は、原本コンテンツとマッチング用コンテンツとをカット別にマッチングさせる（Ｓ４）。原本コンテンツとマッチング用コンテンツとをマッチングさせるというのは、原本コンテンツとマッチング用コンテンツとをカット別に対照させ、異なる部分があるか否かということを判断するというのである。また、マッチング部３４０は、原本コンテンツとマッチング用コンテンツとをカット別にマッチングさせ、原本コンテンツとマッチング用コンテンツとについて、同一部分と異なる部分とを異なる仕方で表示し、ユーザ端末に提供することができる。選択的実施形態において、マッチング部３４０は、原本コンテンツとマッチング用コンテンツとの同一部分は、第１色相で表示し、原本コンテンツとマッチング用コンテンツとの異なる部分は、第２色相で表示することができる。例えば、原本コンテンツとマッチング用コンテンツとの同一部分は、灰色で表示し、異なる部分は、黒色で表示し、ユーザに提供することができる。

図１１は、本発明の一実施形態により、原本コンテンツとマッチング用コンテンツとをマッチングさせる一例である。

図１１を参照すれば、（ａ）は、原本コンテンツであり、（ｂ）は、マッチング用コンテンツの一例示である。原本コンテンツである（ａ）は、流出者情報を示すことができる文字列を表示するためのマーカーが付加される位置が指定されうる。例えば、図１１（ａ）に示されているように、１１ａ１領域は、アルファベットＡに対応し、他の領域も、アルファベットＢないしＩに対応しうる。たとえ図１１においては、説明の便宜のために、アルファベットＡないしＩに該当する領域のみを図示したにしても、１つのカットには、全てのアルファベット及び数字に対応する領域が指定されもする。指定された領域は、別途の管理システムに保存され、原本イメージには、示されない。

また、マッチング用コンテンツである（ｂ）は、マーカーコンテンツに基づいて生成された損傷コンテンツの大きさ及び位置を調整したものであるので、マーカー１１ｂ１が付加されてもいる。本発明の一実施形態によれば、原本コンテンツとマッチング用コンテンツとをカット別にマッチングさせることにより、原本コンテンツにはないが、マッチング用コンテンツには存在するマーカーを検出することができる。それにより、図１１（ｃ）のような、原本コンテンツとマッチング用コンテンツとがマッチングされたコンテンツが生成されうる。本発明の選択的実施形態によれば、図１１（ｃ）のようにマッチングされたコンテンツをユーザに提供するとき、原本コンテンツとマッチング用コンテンツとが一致するコンテンツの部分は、灰色で表示するか、あるいは表示せず、原本コンテンツとマッチング用コンテンツとが一致しない部分だけ、白色または黒色で表示し、互いに異なる部分は、容易に検出されうる。

次に、マーカー検出部３５０は、原本コンテンツとマッチング用コンテンツとのカット別に、原本コンテンツの特定カットには存在しないが、マッチング用コンテンツの特定カットには存在するマーカーを検出する（Ｓ５）。マーカーが、マッチング用コンテンツの特定カットにだけ存在し、対応する原本コンテンツの特定カットに存在しないということは、マッチング用コンテンツが、原本コンテンツに流出者検出用マーカーを付加したマーカーコンテンツに基づいたものであるためである。従って、そのようなマーカーを検出してマーカーが付加される位置を参照すれば、流出者情報を獲得することができる。

次に、図１１の例示について述べれば、マッチング用コンテンツ（図１１（ｂ））に表示されたマーカー１１ｂ１は、流出者の情報を示すことができる。一例として、図１１（ｃ）のように、原本コンテンツとマッチング用コンテンツとをマッチングさせれば、原本コンテンツの１１ｃ１に該当する領域にはマーカーがなく、原本コンテンツの１１ｃ２に該当する領域にマーカーが存在するので、本マッチング用コンテンツは、アルファベットＦに該当する流出者情報を示すということが分かる。

図１２は、本発明の一実施形態により、マーカーを検出する一例である。

図１２（ａ）ないし図１２（ｉ）は、本発明の一実施形態により、原本コンテンツの特定カットと、マッチング用コンテンツの特定カットとをマッチングさせた後、アルファベットＡないしアルファベットＩに対応する領域を拡大させた例示である。すなわち、本発明の一実施形態によれば、マーカーが付加される位置を拡大分析し、マーカーを検出した後、対応する流出者情報を決定することができる。本発明の他の実施形態によれば、ユーザ操作により、アルファベットＡないしアルファベットＩに対応する領域を拡大させ、図１２のようにユーザに提供することができる。ユーザは、図１２（ａ）ないし図１２（ｉ）のイメージを見た後、（ｆ）に点があることを見出し、当該カットに対応する流出者の情報は、アルファベットＦであるということを類推することができる。

以上で説明された本発明による実施形態は、コンピュータ上で多様な構成要素を介して実行されうるコンピュータプログラムの形態にも具現され、そのようなコンピュータプログラムは、コンピュータで読み取り可能な媒体にも記録される。このとき、該媒体は、コンピュータで実行可能なプログラムを続けて保存するか、あるいは実行またはダウンロードのために保存するものでもある。また、該媒体は、単一、またはいくつかのハードウェアが結合された形態の多様な記録手段または保存手段でもあるが、あるコンピュータシステムに直接接続される媒体に限定されるものではなく、ネットワーク上に分散存在するものでもある。該媒体の例示としては、ハードディスク、フロッピィーディスク及び磁気テープのような磁気媒体；ＣＤ－ＲＯＭ及びＤＶＤのような光記録媒体；フロプティカルディスク（floptical disk）のような磁気・光媒体（magneto-optical medium）；及びＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令語が保存されるように構成されたものでもある。また、他媒体の例示として、アプリケーションを流通するアプリストアや、その他多様なソフトウェアを供給したり流通させたりするサイト、サーバなどで管理する記録媒体ないし記録媒体も挙げることができる。

以上、本発明について、具体的な構成要素のような特定事項、限定された実施形態、及び図面によって説明されたが、それらは、本発明のさらに全般的な理解の一助とするために提供されたものであるのみ、本発明は、前述の実施形態に限定されるものではなく、本発明が属する技術分野において通常的な知識を持った者であるならば、そのような記載から、多様な修正と変更とを図ることができるであろう。

従って、本発明の思想は、前述の実施形態に限って定められるものではなく、特許請求の範囲だけではなく、該特許請求の範囲と均等であるか、あるいはそれらと等価的に変更された全ての範囲は、本発明の思想の範疇に属するものなのである。

Claims (11)

1. それぞれ互いに異なる位置に配置される複数個のカットからなる原本コンテンツに基づいて生成された損傷コンテンツを獲得する損傷コンテンツ獲得部と、
   前記損傷コンテンツに含まれた１以上のイメージを併合したり、前記損傷コンテンツに含まれた１以上のカットの一部領域を除去したりして、前処理コンテンツを生成する前処理コンテンツ生成部と、
   前記原本コンテンツに含まれた複数個のカットを前記前処理コンテンツに含まれた対応するカットと対照させ、前記前処理コンテンツに含まれた１以上のカットのサイズまたは位置を調整したマッチング用コンテンツを生成するマッチング用コンテンツ生成部と、
   前記原本コンテンツと前記マッチング用コンテンツとをカット別にマッチングさせるマッチング部と、
   前記原本コンテンツと前記マッチング用コンテンツとの比較により、前記原本コンテンツの特定カットに存在しないが、前記原本コンテンツの特定カットとマッチングされる前記マッチング用コンテンツの特定カットに存在するマーカーの位置を検出するマーカー検出部とを含み、
   前記前処理コンテンツ生成部は、前記損傷コンテンツに含まれた個別イメージを併合して併合イメージを生成し、前記併合イメージのカットの外部領域を除去し、カットだけからなる前処理コンテンツを生成するものであり、
   前記原本コンテンツは、マンガコンテンツであり、
   前記併合イメージに含まれた前記複数個のカットそれぞれは、カットライン及びカットライン内部のカットコンテンツを含み、
   前記複数個のカットの前記外部領域は、前記複数個のカットの前記カットラインの外側領域である、
   イメージマッチングを利用したマーカー検出装置。
2. 前記マッチング部は、前記原本コンテンツと前記マッチング用コンテンツとの同一部分は、第１色相で表示し、前記原本コンテンツと前記マッチング用コンテンツとの異なる部分は、第２色相で表示する、請求項１に記載のイメージマッチングを利用したマーカー検出装置。
3. 前記マッチング用コンテンツ生成部は、
   前記原本コンテンツに含まれた１以上のカットと、前記前処理コンテンツに含まれた１以上のカットとを対照させ、前記前処理コンテンツに含まれた１以上のカットそれぞれに係わるカット位置を決定し、
   前記原本コンテンツの１以上のイメージと同一サイズの１以上の空白イメージを生成し、
   前記決定されたカット位置に基づき、前記１以上の空白イメージ上に、前記前処理コンテンツに含まれた前記１以上のカットを配置する、請求項１に記載のイメージマッチングを利用したマーカー検出装置。
4. 前記マッチング用コンテンツ生成部は、
   前記原本コンテンツのカットと、前記損傷コンテンツのカットとを比較し、カット別にスケール比を算定した後、前記算定されたスケール比に基づき、前記損傷コンテンツの１以上のカットサイズを調整する、請求項１に記載のイメージマッチングを利用したマーカー検出装置。
5. 前記マッチング用コンテンツ生成部は、縦型コンテンツである場合、カットの横長に基づき、前記スケール比を算定し、横型コンテンツである場合、カットの縦長に基づき、前記スケール比を算定する、請求項４に記載のイメージマッチングを利用したマーカー検出装置。
6. 前記マッチング用コンテンツ生成部は、前記損傷コンテンツの特定カットの前記算定されたスケール比に基づき、前記損傷コンテンツの他のカットサイズを調整する、請求項４に記載のイメージマッチングを利用したマーカー検出装置。
7. 前記マーカー検出部は、前記原本コンテンツと前記マッチング用コンテンツとがマッチングされたコンテンツにおいて、前記マーカーが付加されうる領域を拡大させて表示する、請求項１に記載のイメージマッチングを利用したマーカー検出装置。
8. それぞれ互いに異なる位置に配置される複数個のカットからなる原本コンテンツに基づいて生成された損傷コンテンツを獲得する損傷コンテンツ獲得段階と、
   前記損傷コンテンツに含まれた１以上のイメージを併合したり、前記損傷コンテンツに含まれた１以上のカットの一部領域を除去したりして、前処理コンテンツを生成する前処理コンテンツ生成段階と、
   前記原本コンテンツに含まれた複数個のカットを前記前処理コンテンツに含まれた対応するカットと対照させ、前記前処理コンテンツに含まれた１以上のカットのサイズまたは位置を調整したマッチング用コンテンツを生成するマッチング用コンテンツ生成段階と、
   前記原本コンテンツと前記マッチング用コンテンツとをカット別にマッチングさせるマッチング段階と、
   前記原本コンテンツと前記マッチング用コンテンツとの比較により、前記原本コンテンツの特定カットに存在しないが、前記原本コンテンツの特定カットとマッチングされる前記マッチング用コンテンツの特定カットに存在するマーカーの位置を検出するマーカー検出段階を追加して含み、
   前記前処理コンテンツ生成段階は、前記損傷コンテンツに含まれた個別イメージを併合して併合イメージを生成し、前記併合イメージのカットの外部領域を除去し、カットだけからなる前処理コンテンツを生成することを含み、
   前記原本コンテンツは、マンガコンテンツであり、
   前記併合イメージに含まれた前記複数個のカットそれぞれは、カットライン及びカットライン内部のカットコンテンツを含み、
   前記複数個のカットの前記外部領域は、前記複数個のカットの前記カットラインの外側領域である、
   コンピュータによって実行される、イメージマッチングを利用したマーカー検出方法。
9. 前記マッチング用コンテンツ生成段階は、
   前記原本コンテンツに含まれた１以上のカットと、前記前処理コンテンツに含まれた１以上のカットとを対照させ、前記前処理コンテンツに含まれた１以上のカットそれぞれに係わるカット位置を決定する段階と、
   前記原本コンテンツの１以上のイメージと同一サイズの１以上の空白イメージを生成する段階と、
   前記決定されたカット位置に基づき、前記１以上の空白イメージ上に、前記前処理コンテンツに含まれた前記１以上のカットを配置する段階と、を含む、請求項８に記載のイメージマッチングを利用したマーカー検出方法。
10. 前記マッチング用コンテンツ生成段階は、
    前記原本コンテンツのカットと、前記損傷コンテンツのカットとを比較し、カット別にスケール比を算定した後、前記算定されたスケール比に基づき、前記損傷コンテンツの１以上のカットサイズを調整する、請求項８に記載のイメージマッチングを利用したマーカー検出方法。
11. 請求項８ないし１０のうちいずれか１項に記載の方法を実行するために、コンピュータで読み取り可能な記録媒体に記録されたコンピュータプログラム。
    

Images