JP4176364B2 - 画像対応付け装置及び画像対応付け方法並びに画像対応付けプログラム - Google Patents
画像対応付け装置及び画像対応付け方法並びに画像対応付けプログラム Download PDFInfo
- Publication number
- JP4176364B2 JP4176364B2 JP2002080500A JP2002080500A JP4176364B2 JP 4176364 B2 JP4176364 B2 JP 4176364B2 JP 2002080500 A JP2002080500 A JP 2002080500A JP 2002080500 A JP2002080500 A JP 2002080500A JP 4176364 B2 JP4176364 B2 JP 4176364B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- frame
- ohp
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Educational Administration (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Educational Technology (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の第１の画像（例えば講義などで使用されたＯＨＰ(Overhead Projector)ファイル）と、複数の第２の画像（例えば複数のフレーム画像からなる講義などを撮影した動画像）とを自動的に対応付ける画像対応付け装置及び画像対応付け方法並びに画像対応付けプログラムに関するものである。
【０００２】
【従来の技術】
社内教育や、一般の教育分野では、E-learningの導入が行われつつある。E-learningは、インターネット等を使ったコンピュータによる遠隔地教育で、ＷＥＢ画面を使って行われることが多い。E-learningの形態は多種あるが、その中で通常行われている教育現場での講義をコンピュータ上で最もよく再現するものとして、講義の動画像による再生と、講義で用いられたＯＨＰ画像（以下、ＯＨＰにより表示される画像をＯＨＰファイル或いはＯＨＰ画像と呼称する。）の拡大表示とを時間的に同期させて表示するコンテンツがある。このコンテンツを使用することで、受講者は、ＯＨＰ画像のいずれの部分を講師が指し示しているかをコンピュータの画面上で容易に判別でき、更にそのＯＨＰ画像の拡大表示を見ることによって、その内容を明瞭に把握できる。つまりこのようなコンテンツによって、ＯＨＰの画像上で講師が示した場所とその内容の詳細が同時に表示可能になり、実際に講義を受講しているのとほぼ同じ環境が提供できることになる。
【０００３】
このようなシステムを実現するためには、ＯＨＰを用いて説明する動画像の表示と、そこに映し出されているＯＨＰの画像の拡大表示とが時間的に同期がとれている必要がある。現在、こうしたコンテンツを作成するための、様々なE-learningのコンテンツ作成用のオーサリングシステム（オーサリングソフト）が製品化されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、こうしたオーサリングソフトでは、動画と教材文書の表示が時間的に同期が取れるよう対応付けるための処理をオペレータが手動で行うのが現状である。従って、コンテンツ作成に膨大な時間を要するという問題点がある。
【０００５】
本発明は、上述した事情に鑑みて成されたものであり、画像の同期的対応付けを自動化することができる画像対応付け装置及び画像対応付け方法並びに画像対応付けプログラムを提供することを目的としている。
【０００６】
【課題を解決するための手段】
上述した課題を解決するため、本発明は、複数の第１の画像と、複数の第２の画像であって、複数の第２の画像における少なくともいずれかの画像が第１の画像のうちのいずれかの画像と所定の関連性を有する第２の画像とに基づいて、第２の画像の夫々が第１の画像のいずれの画像と前記所定の関連性を有するかについて判断する関連性判断手段と、前記関連性判断手段により所定の関連性を有すると判断された第１の画像と第２の画像の夫々を対応付ける対応付け手段とを備えてなる画像対応付け装置を提供する。
【０００７】
このような構成によれば、容易に複数の第１の画像と複数の第２の画像とを各々対応付けることができるため、例えば、E-learning用コンテンツ作成の際、従来はオペレータの手動で行っていた対応付け処理を自動的に行うことができ、E-learning用コンテンツ作成のための時間を大幅に短縮できる。
【０００８】
なお、本発明の実施の形態において、関連性判断手段は、フレーム取得部とＯＨＰ取得部と類似度算出部とにより構成され、対応付け手段は、対応付け処理部により構成される。
【０００９】
更に、本発明に係る画像対応付け装置において、前記所定の関連性が、第２の画像の一つに第１の画像に対応する画像の一つが含まれるというものである場合に、前記関連性判断手段は、第２の画像から所定領域を抽出する所定領域抽出手段と、前記所定領域抽出手段により抽出された前記所定領域の画像が第１の画像のいずれの画像に対応するのかを判断する対応画像判断手段とを備えたことを特徴とするものである。
【００１０】
このような構成によれば、例えば、ＯＨＰを使用した講義等の動画像と、ＯＨＰ画像とを同期をとって再生するE-learning用コンテンツを作成するにあたり、動画像とＯＨＰ画像とを対応付ける場合、動画像からＯＨＰが映る領域を容易に抽出でき、該抽出した画像といずれのＯＨＰ画像とが対応するのかを容易に判断することが可能となる。
【００１１】
なお、本発明の実施の形態において、所定領域抽出手段はＯＨＰ領域抽出部により構成され、対応画像判断手段は類似度算出部及び対応付け処理部により構成される。
【００１２】
更に、本発明に係る画像対応付け装置において、前記対応画像判断手段は、前記所定領域の画像と第１の画像との類似度を算出する類似度算出手段を備え、該類似度算出手段により算出された類似度に基づいて、前記所定領域に含まれる画像が第１の画像のいずれの画像に対応するのかを判断することを特徴とするものである。
【００１３】
このような構成によれば、類似度を用いることにより、信頼度高く第１の画像と第２の画像とを対応付けることができる。なお、本発明の実施の形態において、類似度算出手段は類似度算出部により構成される。
【００１４】
更に、本発明に係る画像対応付け装置において、前記類似度算出手段は、前記所定領域の画像に対して第１の画像のすべての画像との類似度を算出し、該類似度に基づいて前記所定領域の画像に対する第１の画像の対応付け候補を求めることを特徴とすることもできる。
【００１５】
このような構成によれば、第１の画像と第２の画像とを確実性高く対応付けることができる。
【００１６】
更に、本発明に係る画像対応付け装置において、第１の画像は矩形状をなして、第２の画像の一部に含まれ、前記所定領域抽出手段は、第２の画像における直線成分を検出すると共に、検出された直線成分に基づいて前記矩形状を前記所定領域として検出することを特徴とすることもできる。
【００１７】
このような構成によれば、第２の画像から確実性高く第１の画像が映る領域を検出することができるため、第１の画像と第２の画像との対応付け処理の信頼度が高まる。なお、本発明の実施の形態において、所定領域とは、動画像を構成するフレーム画像においてＯＨＰ画像が映る領域を示す。
【００１８】
更に、本発明に係る画像対応付け装置において、前記所定領域抽出手段は、前記直線成分を検出する際に、第２の画像においてエッジ抽出処理を行って、エッジ２値画像を作成し、得られたエッジ２値画像に対してハフ変換を行うことを特徴とすることもできる。
【００１９】
このような構成によれば、精度高く第２の画像の直線成分を検出することができるため、所定の領域を容易に検出することができる。
【００２０】
更に、本発明に係る画像対応付け装置において、前記所定領域抽出手段は、検出された直線成分を統合して矩形状を検出すると共に、得られた矩形状の中で最大のものを前記所定領域として抽出することを特徴とすることもできる。
【００２１】
このような構成によれば、例えば、ＯＨＰを用いた講義などの動画像とＯＨＰ画像とを対応付ける場合、通常は動画像に映る最大の矩形領域がＯＨＰ領域となるため、最大の矩形を検出することで容易に且つ確実に動画像からＯＨＰ画像が映る領域を抽出することが可能となる。
【００２２】
更に、本発明に係る画像対応付け装置において、前記類似度算出手段は、前記所定領域抽出手段により抽出された所定領域における画像を構成する複数の画素と、第１画像を構成する複数の画素とを照合し、照合結果に基づいて類似度を算出することを特徴とすることもできる。
【００２３】
このような構成によれば、画素を照合することで第２の画像における第１の画像に対応する画像と、第１の画像との類似度を容易に算出することができるため、第１の画像と第２の画像との対応付けが迅速化される。
【００２４】
更に、本発明に係る画像対応付け装置において、前記類似度算出手段は、前記所定領域の画像と第１画像との少なくともいずれかの画像のサイズを変更する画像サイズ変更手段を備え、変更された画像サイズにおいて前記照合を行うことを特徴とすることもできる。
【００２５】
このような構成によれば、比較照合する画像のサイズを一致させて照合することができるため、それにより算出される類似度の精度が向上する。なお、本発明の実施の形態において、画像サイズ変更手段は、類似度算出部中の画像正規化部により構成される。
【００２６】
更に、本発明に係る画像対応付け装置において、前記類似度算出手段は、画像に含まれる文字を認識する文字認識手段を備え、所定領域抽出手段により抽出された第２の画像の所定領域の画像において認識された文字と、第１の画像において認識された文字とに基づいて類似度を算出することを特徴とすることもできる。
【００２７】
このような構成によれば、文字を照合することで第２の画像における第１の画像に対応する画像と、第１の画像との類似度を容易に算出することができるため、第１の画像と第２の画像との対応付けが迅速化される。なお、本発明の実施の形態において、文字認識手段は、フレーム文字抽出部及びＯＨＰ文字抽出部により構成される。
【００２８】
更に、本発明に係る画像対応付け装置において、前記類似度算出手段は、前記所定領域の画像と第１の画像との互いに対応する位置において認識されたすべての文字について照合を行い、該照合結果に基づいて類似度を算出することを特徴とすることもできる。
【００２９】
更にまた、本発明に係る画像対応付け装置において、前記類似度算出手段は、前記所定領域の画像と第１の画像との互いに対応する位置において認識された連続する所定数の文字について照合を行い、該照合結果に基づいて類似度を算出することを特徴とすることもできる。
【００３０】
このような構成によれば、類似度を精度高く算出することができる。
【００３１】
更に、本発明に係る画像対応付け装置において、前記類似度算出手段は、画像に含まれるレイアウト情報を検出するレイアウト情報検出手段を備え、前記所定領域抽出手段により抽出された第２の画像の所定領域の画像において検出されたレイアウト情報と、第１の画像において検出されたレイアウト情報とに基づいて類似度を算出することを特徴とすることもできる。
【００３２】
このような構成によれば、レイアウト情報を照合することで第２の画像における第１の画像に対応する画像と、第１の画像との類似度を容易に算出することができるため、第１の画像と第２の画像との対応付けが迅速化される。なお、本発明の実施の形態において、レイアウト情報検出手段は、フレームレイアウト取得部及びＯＨＰレイアウト取得部により構成される。
【００３３】
更に、前記レイアウト情報には、前記所定領域の属性情報、前記所定の領域の配置状況についての情報、前記所定の領域の特徴量の少なくともいずれかが含まれ得る。更に、前記所定の領域の属性情報には、図、表、文字列ブロック、文字列ブロック中の各文字列の少なくともいずれかの属性値が含まれる得る。更に、前記所定の領域の特徴量には、文字列を囲む矩形の位置、文字列のサイズ、文字列の形状、文字列の色の少なくともいずれかの情報が含まれ得る。
【００３４】
このような構成によれば、様々なレイアウト情報を用いて照合処理を行い類似度を算出することができるため、得られる類似度の精度が高まる。
【００３５】
更に、本発明に係る画像対応付け装置において、前記レイアウト情報検出手段により検出される各文字列毎に複数存在する色情報についての特徴量は、各文字列毎に複数存在する色情報をクラスタリングして得られた所定の代表色の情報であることを特徴とすることもできる。
【００３６】
このような構成によれば、文字列に複数の色が存在する場合、それらをまとめて代表色を導出し、照合処理に用いることができるため、文字色を用いた照合処理が容易となる。
【００３７】
また、本発明に係る画像対応付け装置において、第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、あるフレーム数だけ離れた二つのフレーム画像に対応する第１の画像が同一である場合に、前記対応付け手段は、前記二つのフレーム画像の間に存在するフレーム画像に、前記二つのフレーム画像に対応する第１の画像と同じ画像を対応付けることを特徴とするものである。
【００３８】
また、本発明に係る画像対応付け装置において、第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、連続する複数のフレーム画像から、所定のフレーム間隔毎にフレーム画像を抽出するフレーム画像間引き手段を備え、前記関連性判断手段は、前記フレーム画像間引き手段により間引かれたフレーム画像について第１の画像との関連性を判断することを特徴とするものである。
【００３９】
このような構成によれば、全てのフレーム画像について関連性を判断せずとも、同一の対応付けを有する連続しない２つのフレーム画像間に存在するフレーム画像は全て該２つのフレーム画像と同じ対応付けとすれば良いため、処理が簡略化され、対応付けが容易となる。なお、本発明の実施の形態において、フレーム画像間引き手段は、フレーム取得部及び対応付け処理部により構成される。
【００４０】
更に、本発明に係る画像対応付け装置は、前記フレーム画像間引き手段により抽出され、所定のフレーム間隔を有する二つのフレーム画像に対応付けられる二つの第１画像が同一でない場合に、前記フレーム画像間引き手段により間引かれるフレーム間隔を小さくする間引き間隔変更手段を備えることを特徴とすることもできる。
【００４１】
このような構成によれば、間引かれた２つのフレーム画像の対応付けが異なった場合に、その２つのフレーム間隔より更に間引かれるフレーム間隔を小さくできるため、同一の関連性を有するフレーム画像を容易に探索することが可能となる。なお、本発明の実施の形態において、間引き間隔変更手段は、フレーム取得部及び対応付け処理部により構成される。
【００４２】
更に、本発明に係る画像対応付け装置において、第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、連続するフレーム画像に対応する第１の画像が前後のフレームで異なることとなる場合のポイントを検出するポイント検出手段を備え、前記対応付け手段は、前記ポイント検出手段により検出されたポイント間の各フレーム画像に同一の第１の画像を対応付けることを特徴とするものである。
【００４３】
このような構成によれば、対応付けが切り替わるポイントを検出でき、該ポイントに応じて、対応付けを容易に行うことができる。
【００４４】
更に、本発明に係る画像対応付け装置において、第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、前記対応付け手段は、同一の第１の画像が対応付けられる複数のフレーム画像の間に、前記同一の第１の画像が対応付けられないフレーム画像が所定フレーム数以下に亘って存在する場合に、これらフレーム画像にも前記同一の第１の画像を対応付けることを特徴とするものである。
【００４５】
このような構成によれば、例えば、ＯＨＰを用いた講義などを撮影した動画像を構成し、同一ＯＨＰファイルとの対応付けを有するある連続したフレーム画像の中に、講義撮影中に発生した障害等によりそれとは異なった対応付けを有するフレーム画像が短い区間に含まれてしまった場合、そうした短い区間の異なった対応付けを無くし、ある連続したフレーム画像全体を同様の対応付けにすることができ、適切な対応付けを行うことができる。
【００４６】
更に、本発明に係る画像対応付け装置において、第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、前記関連性判断手段により、第１の画像との関連性が判断されないフレーム画像について、前記対応付け手段は、前記関連性が見出せる直前或いは直後のフレーム画像に対応付けられた第１の画像と同じ画像を対応付けることを特徴とするものである。
【００４７】
このような構成によれば、例えば、ＯＨＰを用いた講義などを撮影した動画像と、ＯＨＰ画像とを対応付ける際、動画像を構成するフレーム画像にＯＨＰ画像が映っていない場合に、該フレーム画像に対応付けされるＯＨＰ画像を抽出することができなくなるという事態を防止し、不連続な対応付けを無くすことができる。
【００４８】
また、本発明に係る画像対応付け装置において、第２の画像は、撮像手段により撮像されて得られる動画像であり、第１の画像は、前記撮像手段により撮像され、前記動画像の中の前記所定領域に含まれる画像であることを特徴とすることもできる。
【００４９】
また、本発明に係る画像対応付け装置において、第１の画像は、ＯＨＰにより投影される画像であり、第２の画像は前記ＯＨＰにより投影されている画像がその所定領域に撮像されている画像であることを特徴とすることもできる。
【００５０】
更に、本発明は、複数の第１の画像と、複数の第２の画像であって、複数の第２の画像における少なくともいずれかの画像が第１の画像のうちのいずれかの画像と所定の関連性を有する第２の画像とに基づいて、第２の画像の夫々が第１の画像のいずれの画像と前記所定の関連性を有するかについて判断する関連性判断ステップと、前記関連性判断ステップにより所定の関連性を有すると判断された第１の画像と第２の画像の夫々を対応付ける対応付けステップとを備えてなる画像対応付け方法を提供する。
【００５１】
更に、本発明は、コンピュータにより読取り可能な媒体に記憶され、画像対応付け処理をコンピュータに実行させる画像対応付けプログラムであって、複数の第１の画像と、複数の第２の画像であって、複数の第２の画像における少なくともいずれかの画像が第１の画像のうちのいずれかの画像と所定の関連性を有する第２の画像とに基づいて、第２の画像の夫々が第１の画像のいずれの画像と前記所定の関連性を有するかについて判断する関連性判断ステップと、前記関連性判断ステップにより所定の関連性を有すると判断された第１の画像と第２の画像の夫々を対応付ける対応付けステップとをコンピュータに実行させることを特徴とするものである。
【００５２】
なお、本発明において、上記コンピュータにより読取り可能な媒体は、ＣＤ−ＲＯＭやフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体をも含むものである。
【００５３】
【発明の実施の形態】
以下、図を用いて本発明の実施の形態を詳細に説明する。
図１は、本発明の実施の形態の概念図である。まず、ＯＨＰを使った講演２をE-learningの教材として使用する場合、その講演の映像を動画としてカメラ撮影３し、画像対応付け・コンテンツ作成装置１に保存する。また、講演に使用したＯＨＰのファイル４を同じ装置（画像対応付け・コンテンツ作成装置１）へ保存する。
【００５４】
画像対応付け・コンテンツ作成装置１では、様々な画像処理技術を使用して、動画中のＯＨＰの切り代わりタイミングを求め、元のＯＨＰの画像が動画像のどのフレームに対応しているかを示す対応表を作成する。更に、画像対応付け・コンテンツ作成装置１は、この対応表に基づいて、動画像とＯＨＰの画像を同期をとって再生するE-learning用のコンテンツ５を作成する。これにより、従来手動で行っていた動画像とＯＨＰの各ページとの対応付けが自動化でき、容易にコンテンツが作成できる。なお、画像対応付け・コンテンツ作成装置１において、上記「対応表」を作成する部分が本発明を説明した部分であるが、ここでは、作成した対応表からコンテンツを作成する機能までも有した装置を例にとり詳細に説明する。
【００５５】
実施の形態１．
図２は、上述した画像対応付け・コンテンツ作成装置１の機能構成の一例を示した図である。図において、画像対応付け・コンテンツ作成装置１は画像対応付け装置１ａとコンテンツ作成装置１ｂとにより構成される。画像対応付け装置１ａは、動画像入力部１０１と、動画像記憶部１０２と、ＯＨＰファイル入力部１０３と、ＯＨＰファイル記憶部１０４と、フレーム取得部１０５と、ＯＨＰ領域抽出部１０６と、ＯＨＰ取得部１０７と、類似度算出部１０８と、対応付け処理部１０９と、対応付けテーブル１１０とから構成されている。
【００５６】
動画像入力部１０１は、カメラ撮影した講義等の動画像を画像対応付け・コンテンツ作成装置１に入力する。動画像記憶部１０２は、動画像入力部１０１により入力された動画像をＡＶＩ形式等で記憶する。ＯＨＰファイル入力部１０３は、他のコンピュータシステム等からＯＨＰファイルを画像対応付け・コンテンツ作成装置１に入力する。ＯＨＰファイル記憶部１０４は、ＯＨＰファイル入力部１０３により入力されたＯＨＰファイルの１ページ毎の画像ファイルと、それに対応する文字情報を記憶する。
【００５７】
フレーム取得部１０５は、動画像記憶部１０２から動画像を構成するフレーム画像を取得する。フレーム取得部１０５には、ＯＨＰ領域抽出部１０６が備えられ、ＯＨＰ領域抽出部１０６は、フレーム画像内でＯＨＰの画像が映る領域を探索して抽出する。ＯＨＰ取得部１０７は、ＯＨＰファイル記憶部１０４から１ページ毎にＯＨＰ画像を取得する。類似度算出部１０８は、フレーム取得部１０５により取得された動画像のフレーム画像と、ＯＨＰ取得部１０７により取得されたＯＨＰ画像との類似度を算出する。対応付け処理部１０９は、類似度算出部１０８により算出された類似度からフレーム画像とＯＨＰ画像との対応付けを決定し、対応付けテーブル１１０は、対応付け処理部１０９により決定された対応付けを記憶する。
【００５８】
また、コンテンツ作成装置１ｂは、コンテンツ作成部１１１と、コンテンツ記憶部１１２とから構成されている。コンテンツ作成部１１１は、対応付けテーブル１１０からフレーム画像とＯＨＰ画像との対応付けを参照して、E-learning用のコンテンツを作成する。コンテンツ記憶部１１２はコンテンツ作成部１１１により作成されたコンテンツを記憶する。
【００５９】
また、図３は、画像対応付け・コンテンツ作成装置１のハードウェア構成の一例を示した図である。図において、画像対応付け・コンテンツ作成装置１は、ビデオ入力制御装置１１と、ＣＰＵ(Central Processing Unit)１２と、メモリ１３と、画像用ＨＤＤ(Hard Disk Drive)１５と、ファイル入出力装置１４と、プログラムＨＤＤ１６と、コンテンツＨＤＤ１７と、対応付けテーブルＨＤＤ１８と、ＯＨＰファイルＨＤＤ１９と、ＬＡＮ(Local Aria Network)インタフェース２０と、ＣＤ−ＲＯＭドライブ２１とから構成されている。
【００６０】
本実施の形態において、図２の機能構成図に示した各機能ブロックは、図３のプログラムＨＤＤ１６に記憶されたプログラム群が画像対応付け・コンテンツ作成装置１の起動時にメモリ１３上に展開された状態を示しており、ＣＰＵ１２により実行される。ただし、図２の動画像入力部１０１或いはＯＨＰファイル入力部１０３は、図３のビデオ入力制御装置１１或いはファイル入出力制御装置１４とが、上記メモリ１３上に展開されたプログラム群と協働して機能する。また、動画像記憶部１０２は画像用ＨＤＤ１５により構成され、ＯＨＰファイル記憶部１０４はＯＨＰファイルＨＤＤ１９により構成され、対応付けテーブル１１０は対応付けテーブルＨＤＤ１８により構成され、コンテンツ記憶部１１２はコンテンツＨＤＤ１７により構成されるものとする。
【００６１】
なお、上記プログラム群はプログラムＨＤＤ１６でなくとも、例えば、コンピュータにより読取り可能な媒体、例えば、ＣＤ−ＲＯＭやＦＤ、磁気ディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体に記憶されていてもよく、また、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体等からダウンロードしてメモリ１３上に展開され実行されるようにしてもよく、プログラム群のインストール形態は限定されない。上述したように本実施の形態では、ＣＤ−ＲＯＭドライブ２１が備えられており、可搬型記憶媒体を読み取り可能としている。また、ＬＡＮインタフェース２０やファイル入出力装置１４により、他のコンピュータやデータベースからＬＡＮ等を介してプログラム群を容易にダウンロードできる構成となっている。
【００６２】
以下、フローチャートを用いて、画像対応付け装置１ａの対応付け処理の流れを詳細に説明する。図４は、対応付け処理全体の処理フローを示したフローチャートである。まず、動画像記憶部１０２からフレーム取得部１０５が動画像の最初のフレームの画像を抽出する（Ｓ１０００）。ＯＨＰ領域抽出部１０６が、抽出されたフレーム画像内でＯＨＰの画像が映る領域（以下、ＯＨＰ領域画像と呼称する）を探索して抽出する（Ｓ１００１）。ＯＨＰ領域抽出処理についての詳細を以下に示す。
【００６３】
図５は、ＯＨＰ領域画像抽出処理の流れを示したフローチャートである。まず、ＯＨＰ領域抽出部１０６にフレーム画像のデータが入力される（Ｓ１１００）。次に、フレーム画像を二値化して、フレーム画像内のエッジ抽出を行う（Ｓ１１０１）。続いて、抽出されたエッジに対してハフ変換を行い、直線を抽出する（Ｓ１１０２）。抽出された直線成分を統合して、矩形作成する（Ｓ１１０３）。この矩形から予め定められた所定のサイズより大きい矩形のみを抽出する（Ｓ１１０４）。この抽出処理で矩形が抽出されない場合には（Ｓ１１０５、ＮＯ）、フレームの画像全体がＯＨＰ画像の領域であると判断し、画像全体を抽出する（Ｓ１１０７）。矩形が抽出された場合には（Ｓ１１０５、ＹＥＳ）、抽出された中で最も大きな矩形をＯＨＰ領域画像として抽出する（Ｓ１１０６）。
【００６４】
なお、通常、ＯＨＰを用いた講義等を撮影した動画像においては、ＯＨＰの画像が最も大きな矩形となるのが一般的であるため、Ｓ１１０６の処理でその領域を抽出するようにしている。
【００６５】
ＯＨＰ領域画像抽出後、初期値として最大類似度に０をセットする（図４、Ｓ１００２）。続いて、ＯＨＰ取得部１０７がＯＨＰ画像の最初のページをＯＨＰファイル記憶部１０４から抽出する（Ｓ１００３）。ここで類似度算出部１０８が、Ｓ１００３で抽出されたＯＨＰ画像の最初のページと、Ｓ１００１で抽出されたフレームのＯＨＰ領域の画像とを照合して、類似度を計算する（Ｓ１００４）。以下、類似度計算について、図を用いて詳細に説明する。
【００６６】
図６は、類似度算出部１０８の機能構成の一例を示した図である。図において、類似度算出部１０８は、画像正規化部１２０と、フレーム画素抽出部１２１と、ＯＨＰ画素抽出部１２２と、画素照合部１２３と、照合結果加算部１２４とからなる。画像正規化部１２０は、フレーム画像から抽出されたＯＨＰ領域画像がＯＨＰ画像の方向と一致するよう回転処理を実行して傾きを補正する。また、ＯＨＰ画像とサイズが異なる場合、拡大処理を実行して、ＯＨＰ画像と同一のサイズとなるよう補正する。なお、このような正規化処理は、図５のＳ１１０６での抽出の際に、ＯＨＰ領域抽出部１０６が実行するようにしてもよく、特に限定されない。
【００６７】
フレーム画素抽出部１２１は、図５のＳ１１０６で抽出されたＯＨＰ領域画像から画素を抽出する。ＯＨＰ画素抽出部１２２は、ＯＨＰ取得部１０７で取得したページの画素を抽出する。画素照合部１２３は、フレーム画素抽出部１２１とＯＨＰ画素抽出部１２２から抽出された画素を照合する。照合結果加算部１２４は画素照合部１２３にて照合された結果を数値化して加算する。加算した結果が類似度となる。
【００６８】
図７は、上記類似度算出部１０８により実行される類似度算出処理の流れを示したフローチャートである。まず、フレーム取得部１０５からＯＨＰ領域画像を取得し（Ｓ１２００）、取得したＯＨＰｂ領域画像を画像正規化部１２０が元文書サイズ、すなわちＯＨＰ画像のサイズに拡大する等して正規化する（Ｓ１２０１）。また、同時に、ＯＨＰ取得部１０７からＯＨＰ画像を取得する（Ｓ１２０１’）。続いて、フレーム画素抽出部１２１により抽出されたＯＨＰ領域画像の画素と、ＯＨＰ画素抽出部１２２により抽出されたＯＨＰ画像の画素を画素照合部１２３が照合して画素の差を求める。この差を照合結果加算部１２４が加算して類似度を算出する（Ｓ１２０２）。類似度算出の式の一例を以下に示す。
【００６９】
類似度＝１／Ｖ
（Ｖ＝対応する画素の差の絶対値の和）
Ｖが小さいほど、すなわち画素の差が小さいほど類似度は高い値となる。但し、Ｖが０の場合は、無条件に類似度が最大値に達したと判断される。
【００７０】
類似度計算は、上記の手法に限らない。以下、他の手法を説明する。
図８は、他の手法を実現するための類似度算出部１０８ａの機能構成図である。本手法では、文字情報を用いて類似度を算出する。また、ここでは連続する２文字が同一であるか否かを照合して類似度を算出する。図において、類似度算出部１０８ａは、画像正規化部１３０と、フレーム文字抽出部１３１と、ＯＨＰ文字抽出部１３２と、文字照合部１３３と、照合結果加算部１３４とからなる。画像正規化部１３０は、図６の画像正規化部１２０と同様の機能を有する。
【００７１】
フレーム文字抽出部１３１は、図５のＳ１１０６で抽出されたＯＨＰ領域画像から文字を認識して抽出する。ＯＨＰ文字抽出部１３２は、ＯＨＰ取得部１０７で取得したページの文字を抽出する。なお、本実施の形態ではＯＨＰ画像の文字情報は、既にＯＨＰファイル記憶部１０４において１ページ毎の画像ファイルと、それに対応する文字情報を別々に記憶しているため、文字認識処理を行う必要なく、ＯＨＰファイル記憶部１０４を参照するのみで文字を抽出できる。文字照合部１３３は、フレーム文字抽出部１３１とＯＨＰ文字抽出部１３２から抽出された文字を照合する。照合結果加算部１３４は文字照合部１３３にて照合された結果を数値化して加算する。加算した結果が類似度となる。
【００７２】
図９は、上記類似度算出部１０８ａにより実行される類似度算出処理の流れを示したフローチャートである。まず、フレーム取得部１０５からＯＨＰ領域画像を取得し（Ｓ１３００）、フレーム文字抽出部１３１が文字認識処理を行う（Ｓ１３０１）。この文字認識処理は公知の技術を用いて行われる。図１０はこの文字認識処理の詳細を示したフローチャートである。まず、得られたＯＨＰ領域画像を二値化し（Ｓ１３１０）、領域識別を行う（Ｓ１３１１）。続いて文字認識を行い（Ｓ１３１２）、認識結果がテキスト出力される（Ｓ１３１３）。
【００７３】
文字認識処理後、類似度の初期値を０にセットする（図９、Ｓ１３０２）。次に基準文字としてフレーム文字抽出部１３１による認識結果の最初の文字をセットする。また、ＯＨＰ画像において該セットされた基準文字に対応する位置にある文字とその隣に位置する文字を、ＯＨＰ文字抽出部１３２により抽出する（Ｓ１３０３）。ここで、文字照合部１３３により、フレーム文字抽出部１３１により認識された文字列と、ＯＨＰ文字抽出部１３２により抽出された文字列とを比較し、連続２文字が同じであるか否かを照合する。同じであれば（Ｓ１３０４、ＹＥＳ）、照合結果加算部１３４が類似度をインクリメントする（Ｓ１３０５）。同じでない場合には（Ｓ１３０４，ＮＯ）、類似度はインクリメントされない。続いて基準文字に隣の文字をセットし、同様に照合を行う（Ｓ１３０６）。Ｓ１３０４からＳ１３０６までの処理が文字認識処理結果の文字が終了するまで（Ｓ１３０７、ＹＥＳ）繰り返される。最終的には、照合結果加算部１３４により類似度が以下のように補正される（Ｓ１３０８）。
類似度＝類似度／ＯＨＰ文字数
【００７４】
なお、図６に示した画素を用いた類似度算出処理及び、図８に示した文字を用いた類似度算出処理の両手法を用いて全体の類似度を算出するようにしてもよい。図１１は、このような手法を実現するための類似度算出部１０８ｂの機能構成図である。図において、類似度算出部１０８ｂは、図６の類似度算出機構を有する画素照合結果算出部１４０と、図８の類似度算出機構を有する文字照合結果算出部１４１を備え、双方で算出された類似度を加算して全体の類似度を算出する総合類似度算出部１４２を備えている。
【００７５】
更に、上述した手法以外にレイアウト情報を用いて類似度を算出する手法を説明する。図１２は、このような手法を実現するための類似度算出部１０８ｃの機能構成を示した図である。図において、類似度算出部１０８ｃは、画像正規化部１５０と、フレームレイアウト取得部１５１と、ＯＨＰレイアウト取得部１５２と、レイアウト照合部１５３と、照合結果加算部１５４とからなる。画像正規化部１５０は、図６の画像正規化部１２０と同様の機能を有する。
【００７６】
フレームレイアウト取得部１５１は、図５のＳ１１０６で抽出されたＯＨＰ領域画像からレイアウト情報を取得する。ＯＨＰレイアウト取得部１５２は、ＯＨＰ取得部１０７で取得したページのレイアウト情報を取得する。なお、ここでは、図、表、文字列ブロック等の領域属性とその座標情報をレイアウト情報と呼称する。レイアウト照合部１５３は、フレームレイアウト取得部１５１とＯＨＰレイアウト取得部１５２で取得されたレイアウト情報を照合する。照合結果加算部１５４はレイアウト照合部１５３にて照合された結果を数値化して加算する。加算した結果が類似度となる。
【００７７】
図１３は、レイアウト情報の一例を示した図である。図１３（ａ）はＯＨＰ画像を示しており、該画像に示される領域属性とその座標情報がＯＨＰレイアウト取得部１５２により取得される。また、図１３（ｂ）はフレーム画像からキャプチャした画像を示しており、該画像に示される領域属性とその座標情報がフレームレイアウト取得部１５１により取得される。
【００７８】
本手法では、レイアウト照合部１５３が双方のレイアウト情報を照合し、その結果、照合結果加算部１５４が類似度を算出する。具体的にはレイアウト照合部１５３により、領域属性が同じであり、且つ領域座標の差の絶対値が予め定められた値より小さければ対応の付いた領域とされ、対応が付く毎に照合結果加算部１５４に所定の値が出力され類似度として加算される。
【００７９】
例えば、図１４（ａ）に示されるようにＯＨＰ画像から抽出したある文字列領域の領域座標を、(xmin, ymin)-(xmax, ymax)、図１４（ｂ）に示されるように動画像からキャプチャした画像のある文字列領域の領域座標を、(xmin', ymin')-(xmax', ymax')とし、予め定められた値をαとした場合、以下の条件を満たせば類似度がインクリメントされる。
【００８０】
｜xmin- xmin'｜＜α 且つ
｜ymin- ymin'｜＜α 且つ
｜xmax- xmax'｜＜α 且つ
｜ymax- ymax'｜＜α
【００８１】
レイアウト照合部１５３はこのような照合を全ての領域について行い、領域属性と座標差をチェックする。例えば、条件を満たせば１が、条件を満たさない場合には０が照合結果加算部１５４に出力され、類似度として加算される。すなわち、本手法では、対応が付いた領域数が類似度となる。
【００８２】
上述した手法の他に、レイアウト情報に文字列特徴を加えて照合し類似度を算出する手法を説明する。文字列特徴は、文字列ブロックを更に一定の割合以上の文字列に分けた場合のその矩形の座標情報や、文字列の文字のサイズ、文字列の形状、文字列の色等を含む。例えば、図１５（ａ）に示されるＯＨＰ画像から抽出した文字列領域のデータ、及び図１５（ｂ）に示される動画像からキャプチャした画像の文字列領域のデータのように、文字列領域内で、更に一定以上の領域を有する文字列領域を行１〜行Ｎ、行１’〜行Ｎ’として分割して抽出し、該行毎の座標情報を文字列情報として取得して照合してもよい。
【００８３】
ここでは、レイアウト照合部１５３が、座票差が所定の値（α）以下であるかを行毎にチェックする。
例えば、行１及び行１’で、
｜xmin1- xmin1'｜＜α 且つ
｜ymin1- ymin1'｜＜α 且つ
｜xmax1- xmax1'｜＜α 且つ
｜ymax1- ymax1'｜＜α
の条件を満たすかがチェックされる。更に全ての行についての照合がなされ、全ての行で同じ条件が成立した場合には１が、そうでない場合には０が照合結果加算部１５４に出力され、類似度として加算される。
【００８４】
また、図１６にレイアウト情報に文字列の色情報を含む場合の一例を示す。図１６（ａ）はＯＨＰ画像から抽出した文字列領域のデータ、及び図１６（ｂ）は動画からキャプチャした画像の文字列領域のデータである。図示されるように、レイアウト情報として行毎の代表色が取得されており、それらも含めて照合される。この代表色は、１行内で文字色が複数ある場合には、フレームレイアウト取得部１５１或いはＯＨＰレイアウト取得部１５２において、行内の色を（Ｒ、Ｇ、Ｂ）の３次元ベクトル表現してクラスタリングを行い、クラスタ間の距離が所定の値以上となるよう複数個のクラスタを求め、更にその平均色を求め、該求めた平均色を代表色としている。
【００８５】
ここでは、レイアウト照合部１５３が、座票差が所定の値（α）以下であるか及び行の色差が所定の値（β）以下であるかを行毎にチェックする。
【００８６】
例えば、行１及び行１’では、
｜xmin1- xmin1'｜＜α 且つ
｜ymin1- ymin1'｜＜α 且つ
｜xmax1- xmax1'｜＜α 且つ
｜ymax1- ymax1'｜＜α
であるか、更に、
|R-R'|＜β 且つ
|G-G'|＜β 且つ
|B-B'|＜β
であるかがチェックされる。同様に全ての行についての照合がなされる。
【００８７】
全ての行で同じ条件が成立した場合には１が、そうでない場合には０が照合結果加算部１５４に出力され、類似度として加算される。
【００８８】
上述した手法の他、画像内のタイトル文字のみを抽出して照合し、類似度を算出する手法を用いてもよい。図１７に、該手法を実施するための類似度算出部１０８ｄの機能構成図を示す。図において、類似度算出部１０８ｄは、画像正規化部１６０と、フレームタイトル抽出部１６１と、ＯＨＰタイトル抽出部１６２と、タイトル照合部１６３と、照合結果加算部１６４とからなる。
【００８９】
フレームタイトル抽出部１６１は、ＯＨＰ領域画像からタイトルを抽出する。ＯＨＰタイトル抽出部１６２は、ＯＨＰ取得部１０７で取得したページのタイトル情報を抽出する。タイトル照合部１６３は、フレームタイトル抽出部１６１とＯＨＰタイトル抽出部１６２で取得されたタイトルを照合する。照合結果計算部１６４はタイトル照合部１６３にて照合された結果を数値化して類似度を計算する。
【００９０】
図１８は、タイトル抽出処理とタイトル照合処理について明示したフローチャートである。まず、ＯＨＰタイトル抽出部１６２とフレームタイトル抽出部１６１では、それぞれ、ＯＨＰから直接作成した画像１９０ａ或いは動画像からキャプチャした画像１９０ｂから文字列領域をまず抽出し、抽出された複数の文字列領域において、最大のサイズを有する文字列領域をタイトルとして抽出する（Ｓ１４００）。本実施の形態では、抽出されたタイトル情報は、Ｓ１４０１に示される通りであるとする。次にタイトル照合部１６３により照合処理を行う（Ｓ１４０２）。その際、座標の差の絶対値が所定の値以内であり、且つ、色が一致し、更に、文字内容の一定割合以上が一致すれば、ＯＫを、それ以外はＮＧを、照合結果計算部１６４に出力する。照合結果計算部１６４は、入力された値を数値化し、ＯＫであれば１０００を、ＮＧであれば０を類似度とする。
【００９１】
また、レイアウト情報を取得し照合する手法と画素を照合する手法とを統合して類似度を算出する手法を実行してもよい。図１９は、該手法を実施するための類似度算出部１０８ｅの機能構成図である。ＯＨＰレイアウト取得部１７１により、ＯＨＰ画像から抽出したある領域（例えば領域Ｉとする）の画像を取得する。また、更にフレームレイアウト取得部１７０により、動画像から抽出した画像において領域（例えば領域Ｊとする）の画像を取得する。画像正規化部１７２により領域Ｉのサイズに領域Ｊを正規化した後、画素照合部１７５によりフレーム領域画素抽出部１７３及びＯＨＰ領域画素抽出部により抽出された画素が照合される。画素の差は、照合結果計算部１７６に出力され、照合結果計算部１７６は両者の差の絶対値の和ｄを算出、更に類似度１／ｄを算出する。
【００９２】
このように様々な手法で類似度が算出されるが、本発明は特にいずれかの手法に限定はせず、いずれの手法を用いてもよいし、また上記手法を複数用いて算出してもよい。
【００９３】
なお、上述した類似度算出部１０８から１０８ｅ（以下、これらを類似度算出部１０８と呼称する）は、あるフレームのＯＨＰ領域画像について、全てのＯＨＰ画像との類似度を算出する。具体的には、図４において、ＯＨＰ画像の最初のページの類似度が算出された後（Ｓ１００４）、その類似度が最大類似度（最初の段階では０）以上であれば（Ｓ１００５、ＹＥＳ）、最大類似度に類似度をセットし、そのＯＨＰ画像のページ番号を記録する（Ｓ１００６）。この時点でＯＨＰ画像の全てのページの照合が終了していなければ（Ｓ１００７、ＮＯ）、ＯＨＰ画像の次ページを抽出し、Ｓ１００４の類似度計算処理を繰り返す。こうしてＯＨＰ画像全てのページの照合が終了すると（Ｓ１００７、ＹＥＳ）、類似度算出部１０８は、その時点の処理対象であるフレーム番号と、最大類似度を有するＯＨＰ画像のページ番号を対応付け処理部１０９に出力する（Ｓ１００８）。ここで、動画像のうち全てのフレームについての処理が終了していなければ（Ｓ１００９、ＮＯ）、フレーム取得部１０５により次のフレーム画像を抽出して、Ｓ１００１からＳ１００９までの処理を繰り返す。
【００９４】
全てのフレームについての照合処理が終了すると、対応付け処理部１０９において、図２０に示されるようなフレーム番号・ＯＨＰ番号対応表（以下、対応表と呼称する）が作成される。図から明らかなように、各フレーム番号と、類似度が最も高いＯＨＰ画像との対応付けが示されている。対応付け処理部１０９は、本対応表を用いて、図２１に示されるようなＯＨＰ画像と対応するフレーム区間を示すテーブル（以下、区間対応表と呼称する）を作成する。このように、ＯＨＰ画像に対応して動画像のフレーム区間を対応付けるようにすれば、E-Learning用のコンテンツを作成する上で効率が高まる。なお、図２０及び図２１のエントリ番号は、表の各レコードに付されたインデックスを意味する。
【００９５】
図２２は、区間対応表作成処理の詳細を示すフローチャートである。本フローチャートでは、図２０のエントリ番号をＩ及びＪを用いてカウントする。まず、図２０の対応表を読み出す（Ｓ１５００）。Ｉに０をセットする（Ｓ１５０１）。続いて対応表のエントリＩに該当するレコードを抽出する。この時抽出されたフレーム番号を開始フレーム番号として記録する（Ｓ１５０２）。続いてＪにＩ＋１をセットする（Ｓ１５０３）。そしてＪがエントリ数に達しているか、すなわち図２０のＮに達しているか否かを判断する（Ｓ１５０４）。ＪがＮに達していない場合（Ｓ１５０４、ＹＥＳ）、Ｊに該当するレコードを抽出する（Ｓ１５０５）。この時抽出されたＯＨＰ番号がＩのＯＨＰ番号と一致するか否かを判断する（Ｓ１５０６）。一致していれば（Ｓ１５０６、ＹＥＳ）、Ｊをインクリメントし（Ｓ１５０７）、Ｓ１５０４からＳ１５０６の処理を繰り返す。この処理により、エントリ番号順にレコードを探索していき、ＯＨＰ番号が異なるレコードに達した場合（Ｓ１５０６、ＮＯ）、直前のレコードのフレーム番号までが同一のＯＨＰ画像に対応していると判断され、Ｊ−１のフレーム番号をＩのＯＨＰ番号の終了フレーム番号として記録する（Ｓ１５０８）。
【００９６】
図２０の場合、フレーム番号０とフレーム番号１がＯＨＰ番号０に対応しているため、図２１に示されるようにＯＨＰ番号０の開始フレーム番号が０、終了フレーム番号が１となる。
【００９７】
次に、ＩにＪをセットし（Ｓ１５０９）、ＩがＮに達していなければ（Ｓ１５１０、ＹＥＳ）、続いて次のＯＨＰ画像の番号に対応するフレーム区間を探索する。すなわち、この時点で、Ｊには２がセットされているため、Ｉに２がセットされる。続いてＳ１５０２以降の処理が同様になされる。エントリ番号２のフレーム番号は２であるため、開始フレーム番号には２が記録される。同様に、Ｊをインクリメントしながら順に終了フレーム番号を探索していく。こうして、図２１に示されるような区間対応表が作成される。
【００９８】
なお、このように作成された区間対応表中で、極端に短いフレーム区間が存在する場合、また、そうしたフレーム区間の前後のフレームのＯＨＰ画像の番号が同一である場合、該フレーム区間における対応付けが適切でない可能性が大きい。例えば、動画像中において、一時的に障害が発生し、ＯＨＰ領域画像が明瞭に撮像されなかった場合、類似度算出において、適切な類似度計算がなされず、その部分のみ誤った対応付けがなされることがあるためである。特に、動画像が講義の場合には、ＯＨＰ画像がページ番号順に用いられることが多いため、上述したフレーム区間の対応付けは不適切と判断される。このような場合を想定し、本実施の形態では、対応付け処理部１０９は、図２１のテーブルを作成した後、短いフレーム区間の対応付け（エントリ）を削除して、該フレーム区間をその前後のフレーム区間に統合する処理を行う。
【００９９】
図２３は、このような対応付け変更処理の流れを示すフローチャートである。本フローチャートでは、図２１のエントリ番号をＩを用いて説明する。まず、図２１のＯＨＰ番号のフレーム区間テーブルを読み出す（Ｓ１７００）。続いてＩに０をセットする（Ｓ１７０１）。続いてＩが本対応付け変更処理にて既に削除されたエントリ番号であるか否かをチェックする（Ｓ１７０２）。削除されたものでなければ（Ｓ１７０２、ＮＯ）、エントリ番号がＩに該当するレコードを抽出する。更に、Ｉのフレーム長を以下の式により算出する（Ｓ１７０３）。
Ｉのフレーム長＝終了フレーム−開始フレーム＋１
【０１００】
算出されたフレーム長が所定の値未満の場合には（Ｓ１７０４、ＹＥＳ）、Ｉの前後の削除されていないエントリのＯＨＰ番号が一致しているか否かを検証する（Ｓ１７０５）。一致していれば（Ｓ１７０５、ＹＥＳ）、Ｉエントリに削除印を付し、Ｉの直前のエントリの終了フレーム番号をＩの直後のエントリの終了フレーム番号に変更する。更にＩの直後のエントリにも削除印を付す（Ｓ１７０６）。この削除印により最終的に、短いフレーム区間がその前後のフレーム区間に統合され、図２１の区間対応表において、該当の区間及びその直後のエントリ番号のレコードが削除される。続いて、Ｓ１７０７の処理に移行する。
【０１０１】
なお、Ｓ１７０５で、ＯＨＰ番号が一致していなければ（Ｓ１７０５、ＮＯ）、即座にＳ１７０７以降の処理に移行する。なお、一致していない場合とは、フレーム区間が所定の値より短い場合であっても、対応付けが適切である場合を示す。
【０１０２】
Ｓ１７０７でＩをインクリメントした後、Ｉが総エントリ数（Ｍ）を超えたか否かをチェックする。Ｉが総エントリ数以下の場合には（Ｓ１７０８、ＮＯ）、Ｓ１７０２以降の処理を繰り返し、全てのエントリのフレーム区間とその対応付けをチェックする。Ｉが総エントリ数を超えた場合には（Ｓ１７０８、ＹＥＳ）、全てのエントリの確認が終了したと判断され、削除印が付されたエントリを削除する（Ｓ１７０９）。
【０１０３】
こうして作成された区間対応表は、対応付け処理部１０９により対応付けテーブル１１０に格納される。コンテンツ作成装置１ｂは、該対応付けテーブルを参照し、既存の技術によりE-learning用のコンテンツを作成し、コンテンツ記憶部１１２に格納する。
【０１０４】
以上説明したように、本実施の形態により、ＯＨＰ画像と動画像の対応付けが自動的に且つ容易に行われ、それにより従来は手動で行われていたコンテンツ作成が迅速且つ容易に行われることとなる。
【０１０５】
実施の形態２．
実施の形態１に示した図２の機能構成図及び図３のハードウェア構成図を用いて、対応付け処理に更に工夫を加味した実施の形態を以下に説明する。本実施の形態においては、類似度にしきい値を設け、一定の類似度以上の場合には、実施の形態１における図４と同様の処理を行い対応付けを行うが、フレーム画像がどのＯＨＰページに対しても類似度が低い場合には、該フレーム画像の直前或いは直後のフレーム画像に対応付けされたＯＨＰ画像に対応付けるようにする。
【０１０６】
上記処理の詳細を図を用いて詳細に説明する。
図２４は、本実施の形態の画像対応付け装置１ａの対応付け処理の流れを詳細に示したフローチャートである。
【０１０７】
Ｓ１８００からＳ１８０４までは実施の形態１と同様に処理されるため、説明を省略する。Ｓ１８０５において、類似度が予め定められた値以上である場合には（Ｓ１８０５、ＮＯ）、類似度算出部１０８は実施の形態１と同様の処理を行う（Ｓ１８０６〜Ｓ１８０８）。類似度が予め定められた値未満である場合には（Ｓ１８０５、ＹＥＳ）、最大類似度の値は変更されず、次のＯＨＰ画像との照合が行われる。Ｓ１８０４からＳ１８０８までの処理を全ＯＨＰ画像との間で行う。
【０１０８】
１つのフレーム画像について照合処理が終了すると（Ｓ１８０８、ＹＥＳ）、類似度算出部１０８は、その時点の処理対象であるフレーム番号と、最大類類度を有するＯＨＰ画像のページ番号を対応付け処理部１０９に出力するが、この時、最大類似度が０である場合には、いずれのＯＨＰ画像とも対応がつかないとして、ＯＨＰ番号を−１として出力しておく（Ｓ１８０９）。この結果、図２０でフレーム番号が−１となるエントリが出現する。
【０１０９】
図２５は、本実施の形態において、対応付け処理部１０９が実施の形態１での図２２の区間対応表作成処理を行う前に実施する処理の流れを示したフローチャートである。まず、図２０に示すような対応表を読み込み（Ｓ１９００）、エントリＩに０をセットする。次に、Ｉをインクリメントしつつ（Ｓ１９０３）順に確認し、ＯＨＰ番号が−１でないエントリＩを探索する（Ｓ１９０２）。ＯＨＰ番号が−１でないエントリＩには、変数ＫにＩをセットし、変数ＯＨＰ１にエントリＫのＯＨＰ番号をセットし、対応表において、Ｉが０からＫまでの全エントリのＯＨＰ番号をＯＨＰ１に変更する（Ｓ１９０４）。
【０１１０】
次に、ＩにＫ＋１をセットし（Ｓ１９０５）、続いて、ＯＨＰ番号が−１のエントリＩを探索する（Ｓ１９０６）。ＩエントリのＯＨＰ番号が−１でない場合には（Ｓ１９０６、ＮＯ）、ＯＨＰ１にエントリＩのＯＨＰ番号をセットする（Ｓ１９０７）。更にエントリＩのＯＨＰ番号にＯＨＰ１をセットし、Ｉをインクリメントする（Ｓ１９０８）。ＩエントリのＯＨＰ番号が−１である場合には（Ｓ１９０６、ＹＥＳ）、既にセットされているＯＨＰ１の値をエントリＩのＯＨＰ番号にセットし、Ｉをインクリメントする（Ｓ１９０８）。
【０１１１】
すなわち、本処理により対応表で−１となったフレーム番号のＯＨＰ番号が該エントリ直前の−１以外のＯＨＰ番号に置き換えられる（Ｓ１９０５〜Ｓ１９０８）。なお、Ｉ＝０のエントリで−１が出現した場合は、該エントリ直後の−１以外のＯＨＰ番号に置き換えられる（Ｓ１９０２〜Ｓ１９０４）。本処理はＩが総エントリ数に達するまでループする。
【０１１２】
このように対応表からＯＨＰ番号の−１を削除した後、図２２の処理を行うことで、区間対応表が完成する。
【０１１３】
実施の形態３．
実施の形態１に示した図２の機能構成図及び図３のハードウェア構成図を用いて、対応付け処理に更に工夫を加味した他の実施の形態を説明する。本実施の形態では、全フレーム画像とＯＨＰ画像との照合に代え、フレーム画像を所定の間隔毎に抜き出して、抜き出したフレーム画像とＯＨＰ画像とを照合し、同一のＯＨＰ画像と対応付けされた２つのフレームの間に存在する全てのフレーム画像に該同一のＯＨＰ画像と対応付けるようにする。これにより処理の効率化を図る。
【０１１４】
図２６は、本実施の形態の画像対応付け装置１ａの対応付け処理の流れを詳細に示したフローチャートである。また、図２７は、図２６のフローチャートに沿って実施される具体的な照合処理の一例を示している。上段にフレーム番号が、下段にはフレーム番号との照合の結果得られる、最大類似度を有するＯＨＰ番号が示されている。ここでは便宜のため、既に対応のＯＨＰ番号が明示されているが、該番号は実際に照合処理を行うことにより得られるものであり、図２６に示された処理開始以前には不明なものとする。
【０１１５】
また、図２６中のフレーム抽出処理はフレーム取得部１０５が行い、照合処理（類似度算出処理）は類似度算出部１０８が行うが、それ以外の処理は全て対応付け処理部１０９が行うものとする。
【０１１６】
まず、図２６において、動画像の最初のフレーム番号（０）を抽出する。また、変数「ＯＨＰ番号１」に０をセットする。（Ｓ１６００）。次に、変数「ＯＨＰ番号１の開始フレーム」及び変数「Startフレーム」にフレーム番号（最初の時点では０）をセットし、変数「Endフレーム」には、Startフレームに予め定められた所定の間隔（INTERVAL）を加算した値をセットする（Ｓ１６０１）。これにより、INTERVAL毎にフレームが抜き出されて照合処理が行われる。
【０１１７】
図２７においては、INTERVALが５とされ、下向き矢印により抜き出すフレーム番号が示されている。また、Ｓ１６０１におけるStartフレームは▲１▼列のフレーム番号、Endフレームは▲２▼列のフレーム番号で示されている。
【０１１８】
続いて、Endフレーム（抜き出したフレーム）とＯＨＰ画像との照合処理を行う（Ｓ１６０２）。本照合処理は、図４のＳ１００１からＳ１００７までの処理と同様であるため、説明を省略する。更に、この照合処理により得られた最大類似度を有するＯＨＰ番号を変数「ＯＨＰ番号２」にセットする（Ｓ１６０２）。
【０１１９】
次に、ＯＨＰ番号２とＯＨＰ番号１が等しいか否かを検証する。図２７の場合には、ＯＨＰ番号２とＯＨＰ番号１が互いに０で等しいため（Ｓ１６０３、ＹＥＳ）、続いて「ＯＨＰ番号１の終了フレーム」及び「Startフレーム」にEndフレームをセットし、「Endフレーム」に現在のEndフレームにINTERVALを加算した値をセットする（Ｓ１６０４）。この時点で、Startフレームは▲２▼で示された位置のフレーム番号となり、Endフレームは▲３▼で示された位置のフレーム番号となる。
【０１２０】
続いて、Ｓ１６０２の処理に戻り、照合処理を再度行う。ＯＨＰ番号１とＯＨＰ番号２が同一である間は、Ｓ１６０２からＳ１６０４の処理が繰り返さされる。図２７に示された例（▲２▼と▲３▼）では、ＯＨＰ番号１が０であり、ＯＨＰ番号２が１となるため、同一とはならず（Ｓ１６０３、ＮＯ）、Ｓ１６０５の処理に遷移する。Ｓ１６０５において、変数「Endフレーム２」には、その時点でのEndフレームがセットされ、「Endフレーム」には、Startフレーム＋(Endフレーム２−Startフレーム＋１）／２がセットされる。すなわち、INTERVALを２で分割した位置にあるフレームが次のEndフレームとなる。なお、(Endフレーム２−Startフレーム＋１）／２は小数点以下切り捨てとする。図２７の例では、Endフレームは▲４▼の位置に示されたフレーム番号となる。
【０１２１】
次に、Endフレーム２がEndフレームと同一であるか否かをチェックする（Ｓ１６０６）。同一でなければ、次に、現時点でのEndフレームとＯＨＰ画像との照合処理を行う（Ｓ１６０７）。この照合処理により得られたＯＨＰ番号を「ＯＨＰ番号２」にセットする。ここで、ＯＨＰ番号２とＯＨＰ番号１が等しいか否かを検証する（Ｓ１６０８）。図２７に示された例では、ＯＨＰ番号１が０であり、ＯＨＰ番号２が１となるため、同一とはならず（Ｓ１６０８、ＮＯ）、Ｓ１６１０の処理に移行する。Ｓ１６１０では、「Endフレーム２」にEndフレームをセットし、「Endフレーム」にはStartフレーム＋(Endフレーム２−Startフレーム＋１）／２をセットする。この時点で、Endフレームは▲５▼で示された位置のフレーム番号となる。
【０１２２】
次に、Ｓ１６０６に戻り、再度Endフレーム２とEndフレームが同一であるかをチェックする。図２７の例においては、この時点でEndフレーム２が８であり、Endフレームが７であるため（Ｓ１６０６、ＮＯ）、Ｓ１６０７の照合処理が行われる。その結果ＯＨＰ番号２とＯＨＰ番号１が等しくなるため（Ｓ１６０８、ＹＥＳ）、Ｓ１６０９の処理に移行する。Ｓ１６０９では、「ＯＨＰ番号１の終了フレーム」及び「Startフレーム」にEndフレームをセットし、「Endフレーム」にはStartフレーム＋(Endフレーム２−Startフレーム＋１）／２をセットする。
【０１２３】
この時点で、開始フレーム番号には０、終了フレーム番号には１がセットされており、この値を区間対応表のＯＨＰ番号が０のエントリに出力する。更に、Endフレーム２及びEndフレームは７となるため（Ｓ１６０６、ＹＥＳ）、Ｓ１６０６でＳ１６１１の処理に移行し、フレーム番号にEndフレーム２をセットし、ＯＨＰ番号１をインクリメントしてＳ１６０１の処理に戻る。
以上の処理を繰り返すことにより、全フレーム画像を照合せずとも、図２１の区間対応表が得られ、ＯＨＰ画像と対応付けることが可能となる。
【０１２４】
以上、本発明の様々な実施の形態を説明したが、本発明は上述した実施の形態に限定されることはなく、本発明の要旨を逸脱しない範囲において応用可能であることはもちろんである。
【０１２５】
（付記１） 複数の第１の画像と、複数の第２の画像であって、複数の第２の画像における少なくともいずれかの画像が第１の画像のうちのいずれかの画像と所定の関連性を有する第２の画像とに基づいて、第２の画像の夫々が第１の画像のいずれの画像と前記所定の関連性を有するかについて判断する関連性判断手段と、
前記関連性判断手段により所定の関連性を有すると判断された第１の画像と第２の画像の夫々を対応付ける対応付け手段と、
を備えてなる画像対応付け装置。
（付記２） 付記１に記載の画像対応付け装置において、
前記所定の関連性が、第２の画像の一つに第１の画像に対応する画像の一つが含まれるというものである場合に、
前記関連性判断手段は、
第２の画像から所定領域を抽出する所定領域抽出手段と、
前記所定領域抽出手段により抽出された前記所定領域の画像が第１の画像のいずれの画像に対応するのかを判断する対応画像判断手段と
を備えたことを特徴とする画像対応付け装置。
（付記３） 付記２に記載の画像対応付け装置において、
前記対応画像判断手段は、前記所定領域の画像と第１の画像との類似度を算出する類似度算出手段を備え、該類似度算出手段により算出された類似度に基づいて、前記所定領域に含まれる画像が第１の画像のいずれの画像に対応するのかを判断することを特徴とする画像対応付け装置。
（付記４） 付記３に記載の画像対応付け装置において、
前記類似度算出手段は、前記所定領域の画像に対して第１の画像のすべての画像との類似度を算出し、該類似度に基づいて前記所定領域の画像に対する第１の画像の対応付け候補を求めることを特徴とする画像対応付け装置。
（付記５） 付記２乃至付記４のいずれかに記載の画像対応付け装置において、
第１の画像は矩形状をなして、第２の画像の一部に含まれ、
前記所定領域抽出手段は、第２の画像における直線成分を検出すると共に、検出された直線成分に基づいて前記矩形状を前記所定領域として検出することを特徴とする画像対応付け装置。
（付記６） 付記５に記載の画像対応付け装置において、
前記所定領域抽出手段は、前記直線成分を検出する際に、第２の画像においてエッジ抽出処理を行って、エッジ２値画像を作成し、得られたエッジ２値画像に対してハフ変換を行うことを特徴とする画像対応付け装置。
（付記７） 付記５又は付記６に記載の画像対応付け装置において、
前記所定領域抽出手段は、検出された直線成分を統合して矩形状を検出すると共に、得られた矩形状の中で最大のものを前記所定領域として抽出することを特徴とする画像対応付け装置。
（付記８） 付記３に記載の画像対応付け装置において、
前記類似度算出手段は、前記所定領域抽出手段により抽出された所定領域における画像を構成する複数の画素と、第１画像を構成する複数の画素とを照合し、照合結果に基づいて類似度を算出することを特徴とする画像対応付け装置。
（付記９） 付記８に記載の画像対応付け装置において、
前記類似度算出手段は、前記所定領域の画像と第１画像との少なくともいずれかの画像のサイズを変更する画像サイズ変更手段を備え、
変更された画像サイズにおいて前記照合を行うことを特徴とする画像対応付け装置。
（付記１０） 付記３に記載の画像対応付け装置において、
前記類似度算出手段は、画像に含まれる文字を認識する文字認識手段を備え、所定領域抽出手段により抽出された第２の画像の所定領域の画像において認識された文字と、第１の画像において認識された文字とに基づいて類似度を算出することを特徴とする画像対応付け装置。
（付記１１） 付記１０に記載の画像対応付け装置において、
前記類似度算出手段は、前記所定領域の画像と第１の画像との互いに対応する位置において認識されたすべての文字について照合を行い、該照合結果に基づいて類似度を算出することを特徴とする画像対応付け装置。
（付記１２） 付記１０に記載の画像対応付け装置において、
前記類似度算出手段は、前記所定領域の画像と第１の画像との互いに対応する位置において認識された連続する所定数の文字について照合を行い、該照合結果に基づいて類似度を算出することを特徴とする画像対応付け装置。
（付記１３） 付記３に記載の画像対応付け装置において、
前記類似度算出手段は、画像に含まれるレイアウト情報を検出するレイアウト情報検出手段を備え、
前記所定領域抽出手段により抽出された第２の画像の所定領域の画像において検出されたレイアウト情報と、第１の画像において検出されたレイアウト情報とに基づいて類似度を算出することを特徴とする画像対応付け装置。
（付記１４） 付記１３に記載の画像対応付け装置において、
前記レイアウト情報には、前記所定領域の属性情報、前記所定の領域の配置状況についての情報、前記所定の領域の特徴量の少なくともいずれかが含まれることを特徴とする画像対応付け装置。
（付記１５） 付記１４に記載の画像対応付け装置において、
前記所定の領域の属性情報には、図、表、文字列ブロック、文字列ブロック中の各文字列の少なくともいずれかの属性値が含まれることを特徴とする画像対応付け装置。
（付記１６） 付記１３乃至付記１５のいずれかに記載の画像対応付け装置において、
前記所定の領域の特徴量には、文字列を囲む矩形の位置、文字列のサイズ、文字列の形状、文字列の色の少なくともいずれかの情報が含まれることを特徴とする画像対応付け装置。
（付記１７） 付記１６に記載の画像対応付け装置において、
前記レイアウト情報検出手段により検出される各文字列毎に複数存在する色情報についての特徴量は、各文字列毎に複数存在する色情報をクラスタリングして得られた所定の代表色の情報であることを特徴とする画像対応付け装置。
（付記１８） 付記１乃至付記１７のいずれかに記載の画像対応付け装置において、
第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、
あるフレーム数だけ離れた二つのフレーム画像に対応する第１の画像が同一である場合に、前記対応付け手段は、前記二つのフレーム画像の間に存在するフレーム画像に、前記二つのフレーム画像に対応する第１の画像と同じ画像を対応付けることを特徴とする画像対応付け装置。
（付記１９） 付記１乃至付記１７のいずれかに記載の画像対応付け装置において、
第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、
連続する複数のフレーム画像から、所定のフレーム間隔毎にフレーム画像を抽出するフレーム画像間引き手段を備え、
前記関連性判断手段は、前記フレーム画像間引き手段により間引かれたフレーム画像について第１の画像との関連性を判断することを特徴とする画像対応付け装置。
（付記２０） 付記１９に記載の画像対応付け装置において、
前記フレーム画像間引き手段により抽出され、所定のフレーム間隔を有する二つのフレーム画像に対応付けられる二つの第１画像が同一でない場合に、前記フレーム画像間引き手段により間引かれるフレーム間隔を小さくする間引き間隔変更手段を備えることを特徴とする画像対応付け装置。
（付記２１） 付記１乃至付記１７のいずれかに記載の画像対応付け装置において、
第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、
連続するフレーム画像に対応する第１の画像が前後のフレームで異なることとなる場合のポイントを検出するポイント検出手段を備え、
前記対応付け手段は、前記ポイント検出手段により検出されたポイント間の各フレーム画像に同一の第１の画像を対応付けることを特徴とする画像対応付け装置。
（付記２２） 付記１乃至付記１７のいずれかに記載の画像対応付け装置において、
第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、
前記対応付け手段は、同一の第１の画像が対応付けられる複数のフレーム画像の間に、前記同一の第１の画像が対応付けられないフレーム画像が所定フレーム数以下に亘って存在する場合に、これらフレーム画像にも前記同一の第１の画像を対応付けることを特徴とする画像対応付け装置。
（付記２３） 付記１乃至付記１７のいずれかに記載の画像対応付け装置において、
第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、
前記関連性判断手段により、第１の画像との関連性が判断されないフレーム画像について、前記対応付け手段は、前記関連性が見出せる直前或いは直後のフレーム画像に対応付けられた第１の画像と同じ画像を対応付けることを特徴とする画像対応付け装置。
（付記２４） 付記１乃至付記２５のいずれかに記載の画像対応付け装置において、
第２の画像は、撮像手段により撮像されて得られる動画像であり、
第１の画像は、前記撮像手段により撮像され、前記動画像の中の前記所定領域に含まれる画像であることを特徴とする画像対応付け装置。
（付記２５） 付記１乃至付記２６のいずれかに記載の画像対応付け装置において、
第１の画像は、ＯＨＰにより投影される画像であり、第２の画像は前記ＯＨＰにより投影されている画像がその所定領域に撮像されている画像であることを特徴とする画像対応付け装置。
（付記２６） 複数の第１の画像と、複数の第２の画像であって、複数の第２の画像における少なくともいずれかの画像が第１の画像のうちのいずれかの画像と所定の関連性を有する第２の画像とに基づいて、第２の画像の夫々が第１の画像のいずれの画像と前記所定の関連性を有するかについて判断する関連性判断ステップと、
前記関連性判断ステップにより所定の関連性を有すると判断された第１の画像と第２の画像の夫々を対応付ける対応付けステップと、
を備えてなる画像対応付け方法。
（付記２７） コンピュータにより読取り可能な媒体に記憶され、画像対応付け処理をコンピュータに実行させる画像対応付けプログラムであって、
複数の第１の画像と、複数の第２の画像であって、複数の第２の画像における少なくともいずれかの画像が第１の画像のうちのいずれかの画像と所定の関連性を有する第２の画像とに基づいて、第２の画像の夫々が第１の画像のいずれの画像と前記所定の関連性を有するかについて判断する関連性判断ステップと、
前記関連性判断ステップにより所定の関連性を有すると判断された第１の画像と第２の画像の夫々を対応付ける対応付けステップと、
をコンピュータに実行させることを特徴とする画像対応付けプログラム。
【０１２６】
【発明の効果】
以上に詳述したように、従来、E-learning用のコンテンツを作成するため、ＯＨＰを用いた講義などの動画像と、そこに映し出されているＯＨＰ画像を同期的に表示させることができるよう、コンテンツ作成用オーサリングシステムでこれら画像の対応付けをオペレータが手動で行っていたが、本発明によれば、この対応付けを自動化できるため、手間がかからず、対応付けに要する時間を大幅に短縮することができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態の概念図である。
【図２】画像対応付け・コンテンツ作成装置の機能構成図である。
【図３】画像対応付け・コンテンツ作成装置のハードウェア構成図である。
【図４】画像対応付け装置の対応付け処理の流れを示したフローチャートである。
【図５】ＯＨＰ領域画像抽出処理の流れを示したフローチャートである。
【図６】画素により類似度を算出する類似度算出部の機能構成図である。
【図７】図６の類似度算出部により実行される類似度算出処理の流れを示したフローチャートである。
【図８】文字情報を用いて類似度を算出する類似度算出部の機能構成図である。
【図９】図８の類似度算出部により実行される類似度算出処理の流れを示したフローチャートである。
【図１０】文字認識処理の詳細を示したフローチャートである。
【図１１】画素を用いた類似度算出処理及び文字を用いた類似度算出処理の両手法を用いて全体の類似度を算出するための類似度算出部の機能構成図である。
【図１２】レイアウト情報を用いて類似度を算出する類似度算出部の機能構成図である。
【図１３】レイアウト情報の一例を示した図である。
【図１４】レイアウト情報を用いた照合処理の一例を示した図である。
【図１５】レイアウト情報を用いた照合処理の一例を示した図である。
【図１６】レイアウト情報を用いた照合処理の一例を示した図である。
【図１７】画像内のタイトル文字を抽出して類似度を算出するための類似度算出部の機能構成図である。
【図１８】タイトル抽出処理とタイトル照合処理について示したフローチャートである。
【図１９】レイアウト情報を取得し照合する手法と画素を照合する手法とを統合して類似度を算出するための類似度算出部の機能構成図である。
【図２０】フレーム番号・ＯＨＰ番号対応表の一例である。
【図２１】ＯＨＰ画像と対応するフレーム区間を示すテーブルの一例である。
【図２２】区間対応表作成処理の詳細を示すフローチャートである。
【図２３】区間対応表中の短いフレーム区間の対応付けを削除して、該フレーム区間をその前後のフレーム区間に統合するための処理を示したフローチャートである。
【図２４】実施の形態２の画像対応付け装置の対応付け処理の流れを詳細に示したフローチャートである。
【図２５】算出された類似度によりＯＨＰ画像との対応付けがなされなかったフレーム番号について、対応付け処理を行うための処理を示したフローチャートである。
【図２６】実施の形態３の画像対応付け装置の対応付け処理の流れを詳細に示したフローチャートである。
【図２７】図２６のフローチャートに沿って実施される具体的な照合処理の一例を示している。
【符号の説明】
１ 画像対応付け・コンテンツ作成装置、１ａ 画像対応付け装置、１ｂ コンテンツ作成装置、２ ＯＨＰを使った講演、３ カメラ撮影、４ ＯＨＰファイル、５ E-learningコンテンツ、１１ ビデオ入力制御装置、１２ ＣＰＵ、１３ メモリ、１４ ファイル入出力装置、１５ 画像用ＨＤＤ、１６ プログラムＨＤＤ、１７ コンテンツＨＤＤ、１８ 対応付けテーブルＨＤＤ、１９ ＯＨＰファイルＨＤＤ、２０ ＬＡＮインタフェース、２１ ＣＤ−ＲＯＭドライブ、１０１ 動画像入力部、１０２ 動画像記憶部、１０３ ＯＨＰファイル入力部、１０４ ＯＨＰファイル記憶部、１０５ フレーム取得部、１０６ ＯＨＰ領域抽出部、１０７ ＯＨＰ取得部、１０８、１０８ａ、１０８ｂ、１０８ｃ、１０８ｄ、１０８ｅ 類似度算出部、１０９ 対応付け処理部、１１０ 対応付けテーブル、１１１ コンテンツ作成部、１１２ コンテンツ記憶部、１２０ 画像正規化部、１２１ フレーム画素抽出部、１２２ ＯＨＰ画素抽出部、１２３ 画素照合部、１２４ 照合結果加算部、１３０ 画像正規化部、１３１フレーム文字抽出部、１３２ ＯＨＰ文字抽出部、１３３ 文字照合部、１３４ 照合結果加算部、１４０ 画素照合結果算出部、１４１ 文字照合結果算出部、１４２ 総合類似度算出部、１５０ 画像正規化部、１５１ フレームレイアウト取得部、１５２ ＯＨＰレイアウト取得部、１５３ レイアウト照合部、１５４ 照合結果加算部、１６０ 画像正規化部、１６１ フレームタイトル抽出部、１６２ ＯＨＰタイトル抽出部、１６３ タイトル照合部、１６４ 照合結果計算部、１７０ フレームレイアウト取得部、１７１ ＯＨＰレイアウト取得部、１７２ 画像正規化部、１７３ フレーム領域画素抽出部、１７４ ＯＨＰ領域画素抽出部、１７５ 画素照合部、１７６ 照合結果計算部。
【発明の属する技術分野】
本発明は、複数の第１の画像（例えば講義などで使用されたＯＨＰ(Overhead Projector)ファイル）と、複数の第２の画像（例えば複数のフレーム画像からなる講義などを撮影した動画像）とを自動的に対応付ける画像対応付け装置及び画像対応付け方法並びに画像対応付けプログラムに関するものである。
【０００２】
【従来の技術】
社内教育や、一般の教育分野では、E-learningの導入が行われつつある。E-learningは、インターネット等を使ったコンピュータによる遠隔地教育で、ＷＥＢ画面を使って行われることが多い。E-learningの形態は多種あるが、その中で通常行われている教育現場での講義をコンピュータ上で最もよく再現するものとして、講義の動画像による再生と、講義で用いられたＯＨＰ画像（以下、ＯＨＰにより表示される画像をＯＨＰファイル或いはＯＨＰ画像と呼称する。）の拡大表示とを時間的に同期させて表示するコンテンツがある。このコンテンツを使用することで、受講者は、ＯＨＰ画像のいずれの部分を講師が指し示しているかをコンピュータの画面上で容易に判別でき、更にそのＯＨＰ画像の拡大表示を見ることによって、その内容を明瞭に把握できる。つまりこのようなコンテンツによって、ＯＨＰの画像上で講師が示した場所とその内容の詳細が同時に表示可能になり、実際に講義を受講しているのとほぼ同じ環境が提供できることになる。
【０００３】
このようなシステムを実現するためには、ＯＨＰを用いて説明する動画像の表示と、そこに映し出されているＯＨＰの画像の拡大表示とが時間的に同期がとれている必要がある。現在、こうしたコンテンツを作成するための、様々なE-learningのコンテンツ作成用のオーサリングシステム（オーサリングソフト）が製品化されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、こうしたオーサリングソフトでは、動画と教材文書の表示が時間的に同期が取れるよう対応付けるための処理をオペレータが手動で行うのが現状である。従って、コンテンツ作成に膨大な時間を要するという問題点がある。
【０００５】
本発明は、上述した事情に鑑みて成されたものであり、画像の同期的対応付けを自動化することができる画像対応付け装置及び画像対応付け方法並びに画像対応付けプログラムを提供することを目的としている。
【０００６】
【課題を解決するための手段】
上述した課題を解決するため、本発明は、複数の第１の画像と、複数の第２の画像であって、複数の第２の画像における少なくともいずれかの画像が第１の画像のうちのいずれかの画像と所定の関連性を有する第２の画像とに基づいて、第２の画像の夫々が第１の画像のいずれの画像と前記所定の関連性を有するかについて判断する関連性判断手段と、前記関連性判断手段により所定の関連性を有すると判断された第１の画像と第２の画像の夫々を対応付ける対応付け手段とを備えてなる画像対応付け装置を提供する。
【０００７】
このような構成によれば、容易に複数の第１の画像と複数の第２の画像とを各々対応付けることができるため、例えば、E-learning用コンテンツ作成の際、従来はオペレータの手動で行っていた対応付け処理を自動的に行うことができ、E-learning用コンテンツ作成のための時間を大幅に短縮できる。
【０００８】
なお、本発明の実施の形態において、関連性判断手段は、フレーム取得部とＯＨＰ取得部と類似度算出部とにより構成され、対応付け手段は、対応付け処理部により構成される。
【０００９】
更に、本発明に係る画像対応付け装置において、前記所定の関連性が、第２の画像の一つに第１の画像に対応する画像の一つが含まれるというものである場合に、前記関連性判断手段は、第２の画像から所定領域を抽出する所定領域抽出手段と、前記所定領域抽出手段により抽出された前記所定領域の画像が第１の画像のいずれの画像に対応するのかを判断する対応画像判断手段とを備えたことを特徴とするものである。
【００１０】
このような構成によれば、例えば、ＯＨＰを使用した講義等の動画像と、ＯＨＰ画像とを同期をとって再生するE-learning用コンテンツを作成するにあたり、動画像とＯＨＰ画像とを対応付ける場合、動画像からＯＨＰが映る領域を容易に抽出でき、該抽出した画像といずれのＯＨＰ画像とが対応するのかを容易に判断することが可能となる。
【００１１】
なお、本発明の実施の形態において、所定領域抽出手段はＯＨＰ領域抽出部により構成され、対応画像判断手段は類似度算出部及び対応付け処理部により構成される。
【００１２】
更に、本発明に係る画像対応付け装置において、前記対応画像判断手段は、前記所定領域の画像と第１の画像との類似度を算出する類似度算出手段を備え、該類似度算出手段により算出された類似度に基づいて、前記所定領域に含まれる画像が第１の画像のいずれの画像に対応するのかを判断することを特徴とするものである。
【００１３】
このような構成によれば、類似度を用いることにより、信頼度高く第１の画像と第２の画像とを対応付けることができる。なお、本発明の実施の形態において、類似度算出手段は類似度算出部により構成される。
【００１４】
更に、本発明に係る画像対応付け装置において、前記類似度算出手段は、前記所定領域の画像に対して第１の画像のすべての画像との類似度を算出し、該類似度に基づいて前記所定領域の画像に対する第１の画像の対応付け候補を求めることを特徴とすることもできる。
【００１５】
このような構成によれば、第１の画像と第２の画像とを確実性高く対応付けることができる。
【００１６】
更に、本発明に係る画像対応付け装置において、第１の画像は矩形状をなして、第２の画像の一部に含まれ、前記所定領域抽出手段は、第２の画像における直線成分を検出すると共に、検出された直線成分に基づいて前記矩形状を前記所定領域として検出することを特徴とすることもできる。
【００１７】
このような構成によれば、第２の画像から確実性高く第１の画像が映る領域を検出することができるため、第１の画像と第２の画像との対応付け処理の信頼度が高まる。なお、本発明の実施の形態において、所定領域とは、動画像を構成するフレーム画像においてＯＨＰ画像が映る領域を示す。
【００１８】
更に、本発明に係る画像対応付け装置において、前記所定領域抽出手段は、前記直線成分を検出する際に、第２の画像においてエッジ抽出処理を行って、エッジ２値画像を作成し、得られたエッジ２値画像に対してハフ変換を行うことを特徴とすることもできる。
【００１９】
このような構成によれば、精度高く第２の画像の直線成分を検出することができるため、所定の領域を容易に検出することができる。
【００２０】
更に、本発明に係る画像対応付け装置において、前記所定領域抽出手段は、検出された直線成分を統合して矩形状を検出すると共に、得られた矩形状の中で最大のものを前記所定領域として抽出することを特徴とすることもできる。
【００２１】
このような構成によれば、例えば、ＯＨＰを用いた講義などの動画像とＯＨＰ画像とを対応付ける場合、通常は動画像に映る最大の矩形領域がＯＨＰ領域となるため、最大の矩形を検出することで容易に且つ確実に動画像からＯＨＰ画像が映る領域を抽出することが可能となる。
【００２２】
更に、本発明に係る画像対応付け装置において、前記類似度算出手段は、前記所定領域抽出手段により抽出された所定領域における画像を構成する複数の画素と、第１画像を構成する複数の画素とを照合し、照合結果に基づいて類似度を算出することを特徴とすることもできる。
【００２３】
このような構成によれば、画素を照合することで第２の画像における第１の画像に対応する画像と、第１の画像との類似度を容易に算出することができるため、第１の画像と第２の画像との対応付けが迅速化される。
【００２４】
更に、本発明に係る画像対応付け装置において、前記類似度算出手段は、前記所定領域の画像と第１画像との少なくともいずれかの画像のサイズを変更する画像サイズ変更手段を備え、変更された画像サイズにおいて前記照合を行うことを特徴とすることもできる。
【００２５】
このような構成によれば、比較照合する画像のサイズを一致させて照合することができるため、それにより算出される類似度の精度が向上する。なお、本発明の実施の形態において、画像サイズ変更手段は、類似度算出部中の画像正規化部により構成される。
【００２６】
更に、本発明に係る画像対応付け装置において、前記類似度算出手段は、画像に含まれる文字を認識する文字認識手段を備え、所定領域抽出手段により抽出された第２の画像の所定領域の画像において認識された文字と、第１の画像において認識された文字とに基づいて類似度を算出することを特徴とすることもできる。
【００２７】
このような構成によれば、文字を照合することで第２の画像における第１の画像に対応する画像と、第１の画像との類似度を容易に算出することができるため、第１の画像と第２の画像との対応付けが迅速化される。なお、本発明の実施の形態において、文字認識手段は、フレーム文字抽出部及びＯＨＰ文字抽出部により構成される。
【００２８】
更に、本発明に係る画像対応付け装置において、前記類似度算出手段は、前記所定領域の画像と第１の画像との互いに対応する位置において認識されたすべての文字について照合を行い、該照合結果に基づいて類似度を算出することを特徴とすることもできる。
【００２９】
更にまた、本発明に係る画像対応付け装置において、前記類似度算出手段は、前記所定領域の画像と第１の画像との互いに対応する位置において認識された連続する所定数の文字について照合を行い、該照合結果に基づいて類似度を算出することを特徴とすることもできる。
【００３０】
このような構成によれば、類似度を精度高く算出することができる。
【００３１】
更に、本発明に係る画像対応付け装置において、前記類似度算出手段は、画像に含まれるレイアウト情報を検出するレイアウト情報検出手段を備え、前記所定領域抽出手段により抽出された第２の画像の所定領域の画像において検出されたレイアウト情報と、第１の画像において検出されたレイアウト情報とに基づいて類似度を算出することを特徴とすることもできる。
【００３２】
このような構成によれば、レイアウト情報を照合することで第２の画像における第１の画像に対応する画像と、第１の画像との類似度を容易に算出することができるため、第１の画像と第２の画像との対応付けが迅速化される。なお、本発明の実施の形態において、レイアウト情報検出手段は、フレームレイアウト取得部及びＯＨＰレイアウト取得部により構成される。
【００３３】
更に、前記レイアウト情報には、前記所定領域の属性情報、前記所定の領域の配置状況についての情報、前記所定の領域の特徴量の少なくともいずれかが含まれ得る。更に、前記所定の領域の属性情報には、図、表、文字列ブロック、文字列ブロック中の各文字列の少なくともいずれかの属性値が含まれる得る。更に、前記所定の領域の特徴量には、文字列を囲む矩形の位置、文字列のサイズ、文字列の形状、文字列の色の少なくともいずれかの情報が含まれ得る。
【００３４】
このような構成によれば、様々なレイアウト情報を用いて照合処理を行い類似度を算出することができるため、得られる類似度の精度が高まる。
【００３５】
更に、本発明に係る画像対応付け装置において、前記レイアウト情報検出手段により検出される各文字列毎に複数存在する色情報についての特徴量は、各文字列毎に複数存在する色情報をクラスタリングして得られた所定の代表色の情報であることを特徴とすることもできる。
【００３６】
このような構成によれば、文字列に複数の色が存在する場合、それらをまとめて代表色を導出し、照合処理に用いることができるため、文字色を用いた照合処理が容易となる。
【００３７】
また、本発明に係る画像対応付け装置において、第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、あるフレーム数だけ離れた二つのフレーム画像に対応する第１の画像が同一である場合に、前記対応付け手段は、前記二つのフレーム画像の間に存在するフレーム画像に、前記二つのフレーム画像に対応する第１の画像と同じ画像を対応付けることを特徴とするものである。
【００３８】
また、本発明に係る画像対応付け装置において、第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、連続する複数のフレーム画像から、所定のフレーム間隔毎にフレーム画像を抽出するフレーム画像間引き手段を備え、前記関連性判断手段は、前記フレーム画像間引き手段により間引かれたフレーム画像について第１の画像との関連性を判断することを特徴とするものである。
【００３９】
このような構成によれば、全てのフレーム画像について関連性を判断せずとも、同一の対応付けを有する連続しない２つのフレーム画像間に存在するフレーム画像は全て該２つのフレーム画像と同じ対応付けとすれば良いため、処理が簡略化され、対応付けが容易となる。なお、本発明の実施の形態において、フレーム画像間引き手段は、フレーム取得部及び対応付け処理部により構成される。
【００４０】
更に、本発明に係る画像対応付け装置は、前記フレーム画像間引き手段により抽出され、所定のフレーム間隔を有する二つのフレーム画像に対応付けられる二つの第１画像が同一でない場合に、前記フレーム画像間引き手段により間引かれるフレーム間隔を小さくする間引き間隔変更手段を備えることを特徴とすることもできる。
【００４１】
このような構成によれば、間引かれた２つのフレーム画像の対応付けが異なった場合に、その２つのフレーム間隔より更に間引かれるフレーム間隔を小さくできるため、同一の関連性を有するフレーム画像を容易に探索することが可能となる。なお、本発明の実施の形態において、間引き間隔変更手段は、フレーム取得部及び対応付け処理部により構成される。
【００４２】
更に、本発明に係る画像対応付け装置において、第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、連続するフレーム画像に対応する第１の画像が前後のフレームで異なることとなる場合のポイントを検出するポイント検出手段を備え、前記対応付け手段は、前記ポイント検出手段により検出されたポイント間の各フレーム画像に同一の第１の画像を対応付けることを特徴とするものである。
【００４３】
このような構成によれば、対応付けが切り替わるポイントを検出でき、該ポイントに応じて、対応付けを容易に行うことができる。
【００４４】
更に、本発明に係る画像対応付け装置において、第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、前記対応付け手段は、同一の第１の画像が対応付けられる複数のフレーム画像の間に、前記同一の第１の画像が対応付けられないフレーム画像が所定フレーム数以下に亘って存在する場合に、これらフレーム画像にも前記同一の第１の画像を対応付けることを特徴とするものである。
【００４５】
このような構成によれば、例えば、ＯＨＰを用いた講義などを撮影した動画像を構成し、同一ＯＨＰファイルとの対応付けを有するある連続したフレーム画像の中に、講義撮影中に発生した障害等によりそれとは異なった対応付けを有するフレーム画像が短い区間に含まれてしまった場合、そうした短い区間の異なった対応付けを無くし、ある連続したフレーム画像全体を同様の対応付けにすることができ、適切な対応付けを行うことができる。
【００４６】
更に、本発明に係る画像対応付け装置において、第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、前記関連性判断手段により、第１の画像との関連性が判断されないフレーム画像について、前記対応付け手段は、前記関連性が見出せる直前或いは直後のフレーム画像に対応付けられた第１の画像と同じ画像を対応付けることを特徴とするものである。
【００４７】
このような構成によれば、例えば、ＯＨＰを用いた講義などを撮影した動画像と、ＯＨＰ画像とを対応付ける際、動画像を構成するフレーム画像にＯＨＰ画像が映っていない場合に、該フレーム画像に対応付けされるＯＨＰ画像を抽出することができなくなるという事態を防止し、不連続な対応付けを無くすことができる。
【００４８】
また、本発明に係る画像対応付け装置において、第２の画像は、撮像手段により撮像されて得られる動画像であり、第１の画像は、前記撮像手段により撮像され、前記動画像の中の前記所定領域に含まれる画像であることを特徴とすることもできる。
【００４９】
また、本発明に係る画像対応付け装置において、第１の画像は、ＯＨＰにより投影される画像であり、第２の画像は前記ＯＨＰにより投影されている画像がその所定領域に撮像されている画像であることを特徴とすることもできる。
【００５０】
更に、本発明は、複数の第１の画像と、複数の第２の画像であって、複数の第２の画像における少なくともいずれかの画像が第１の画像のうちのいずれかの画像と所定の関連性を有する第２の画像とに基づいて、第２の画像の夫々が第１の画像のいずれの画像と前記所定の関連性を有するかについて判断する関連性判断ステップと、前記関連性判断ステップにより所定の関連性を有すると判断された第１の画像と第２の画像の夫々を対応付ける対応付けステップとを備えてなる画像対応付け方法を提供する。
【００５１】
更に、本発明は、コンピュータにより読取り可能な媒体に記憶され、画像対応付け処理をコンピュータに実行させる画像対応付けプログラムであって、複数の第１の画像と、複数の第２の画像であって、複数の第２の画像における少なくともいずれかの画像が第１の画像のうちのいずれかの画像と所定の関連性を有する第２の画像とに基づいて、第２の画像の夫々が第１の画像のいずれの画像と前記所定の関連性を有するかについて判断する関連性判断ステップと、前記関連性判断ステップにより所定の関連性を有すると判断された第１の画像と第２の画像の夫々を対応付ける対応付けステップとをコンピュータに実行させることを特徴とするものである。
【００５２】
なお、本発明において、上記コンピュータにより読取り可能な媒体は、ＣＤ−ＲＯＭやフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体をも含むものである。
【００５３】
【発明の実施の形態】
以下、図を用いて本発明の実施の形態を詳細に説明する。
図１は、本発明の実施の形態の概念図である。まず、ＯＨＰを使った講演２をE-learningの教材として使用する場合、その講演の映像を動画としてカメラ撮影３し、画像対応付け・コンテンツ作成装置１に保存する。また、講演に使用したＯＨＰのファイル４を同じ装置（画像対応付け・コンテンツ作成装置１）へ保存する。
【００５４】
画像対応付け・コンテンツ作成装置１では、様々な画像処理技術を使用して、動画中のＯＨＰの切り代わりタイミングを求め、元のＯＨＰの画像が動画像のどのフレームに対応しているかを示す対応表を作成する。更に、画像対応付け・コンテンツ作成装置１は、この対応表に基づいて、動画像とＯＨＰの画像を同期をとって再生するE-learning用のコンテンツ５を作成する。これにより、従来手動で行っていた動画像とＯＨＰの各ページとの対応付けが自動化でき、容易にコンテンツが作成できる。なお、画像対応付け・コンテンツ作成装置１において、上記「対応表」を作成する部分が本発明を説明した部分であるが、ここでは、作成した対応表からコンテンツを作成する機能までも有した装置を例にとり詳細に説明する。
【００５５】
実施の形態１．
図２は、上述した画像対応付け・コンテンツ作成装置１の機能構成の一例を示した図である。図において、画像対応付け・コンテンツ作成装置１は画像対応付け装置１ａとコンテンツ作成装置１ｂとにより構成される。画像対応付け装置１ａは、動画像入力部１０１と、動画像記憶部１０２と、ＯＨＰファイル入力部１０３と、ＯＨＰファイル記憶部１０４と、フレーム取得部１０５と、ＯＨＰ領域抽出部１０６と、ＯＨＰ取得部１０７と、類似度算出部１０８と、対応付け処理部１０９と、対応付けテーブル１１０とから構成されている。
【００５６】
動画像入力部１０１は、カメラ撮影した講義等の動画像を画像対応付け・コンテンツ作成装置１に入力する。動画像記憶部１０２は、動画像入力部１０１により入力された動画像をＡＶＩ形式等で記憶する。ＯＨＰファイル入力部１０３は、他のコンピュータシステム等からＯＨＰファイルを画像対応付け・コンテンツ作成装置１に入力する。ＯＨＰファイル記憶部１０４は、ＯＨＰファイル入力部１０３により入力されたＯＨＰファイルの１ページ毎の画像ファイルと、それに対応する文字情報を記憶する。
【００５７】
フレーム取得部１０５は、動画像記憶部１０２から動画像を構成するフレーム画像を取得する。フレーム取得部１０５には、ＯＨＰ領域抽出部１０６が備えられ、ＯＨＰ領域抽出部１０６は、フレーム画像内でＯＨＰの画像が映る領域を探索して抽出する。ＯＨＰ取得部１０７は、ＯＨＰファイル記憶部１０４から１ページ毎にＯＨＰ画像を取得する。類似度算出部１０８は、フレーム取得部１０５により取得された動画像のフレーム画像と、ＯＨＰ取得部１０７により取得されたＯＨＰ画像との類似度を算出する。対応付け処理部１０９は、類似度算出部１０８により算出された類似度からフレーム画像とＯＨＰ画像との対応付けを決定し、対応付けテーブル１１０は、対応付け処理部１０９により決定された対応付けを記憶する。
【００５８】
また、コンテンツ作成装置１ｂは、コンテンツ作成部１１１と、コンテンツ記憶部１１２とから構成されている。コンテンツ作成部１１１は、対応付けテーブル１１０からフレーム画像とＯＨＰ画像との対応付けを参照して、E-learning用のコンテンツを作成する。コンテンツ記憶部１１２はコンテンツ作成部１１１により作成されたコンテンツを記憶する。
【００５９】
また、図３は、画像対応付け・コンテンツ作成装置１のハードウェア構成の一例を示した図である。図において、画像対応付け・コンテンツ作成装置１は、ビデオ入力制御装置１１と、ＣＰＵ(Central Processing Unit)１２と、メモリ１３と、画像用ＨＤＤ(Hard Disk Drive)１５と、ファイル入出力装置１４と、プログラムＨＤＤ１６と、コンテンツＨＤＤ１７と、対応付けテーブルＨＤＤ１８と、ＯＨＰファイルＨＤＤ１９と、ＬＡＮ(Local Aria Network)インタフェース２０と、ＣＤ−ＲＯＭドライブ２１とから構成されている。
【００６０】
本実施の形態において、図２の機能構成図に示した各機能ブロックは、図３のプログラムＨＤＤ１６に記憶されたプログラム群が画像対応付け・コンテンツ作成装置１の起動時にメモリ１３上に展開された状態を示しており、ＣＰＵ１２により実行される。ただし、図２の動画像入力部１０１或いはＯＨＰファイル入力部１０３は、図３のビデオ入力制御装置１１或いはファイル入出力制御装置１４とが、上記メモリ１３上に展開されたプログラム群と協働して機能する。また、動画像記憶部１０２は画像用ＨＤＤ１５により構成され、ＯＨＰファイル記憶部１０４はＯＨＰファイルＨＤＤ１９により構成され、対応付けテーブル１１０は対応付けテーブルＨＤＤ１８により構成され、コンテンツ記憶部１１２はコンテンツＨＤＤ１７により構成されるものとする。
【００６１】
なお、上記プログラム群はプログラムＨＤＤ１６でなくとも、例えば、コンピュータにより読取り可能な媒体、例えば、ＣＤ−ＲＯＭやＦＤ、磁気ディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体に記憶されていてもよく、また、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体等からダウンロードしてメモリ１３上に展開され実行されるようにしてもよく、プログラム群のインストール形態は限定されない。上述したように本実施の形態では、ＣＤ−ＲＯＭドライブ２１が備えられており、可搬型記憶媒体を読み取り可能としている。また、ＬＡＮインタフェース２０やファイル入出力装置１４により、他のコンピュータやデータベースからＬＡＮ等を介してプログラム群を容易にダウンロードできる構成となっている。
【００６２】
以下、フローチャートを用いて、画像対応付け装置１ａの対応付け処理の流れを詳細に説明する。図４は、対応付け処理全体の処理フローを示したフローチャートである。まず、動画像記憶部１０２からフレーム取得部１０５が動画像の最初のフレームの画像を抽出する（Ｓ１０００）。ＯＨＰ領域抽出部１０６が、抽出されたフレーム画像内でＯＨＰの画像が映る領域（以下、ＯＨＰ領域画像と呼称する）を探索して抽出する（Ｓ１００１）。ＯＨＰ領域抽出処理についての詳細を以下に示す。
【００６３】
図５は、ＯＨＰ領域画像抽出処理の流れを示したフローチャートである。まず、ＯＨＰ領域抽出部１０６にフレーム画像のデータが入力される（Ｓ１１００）。次に、フレーム画像を二値化して、フレーム画像内のエッジ抽出を行う（Ｓ１１０１）。続いて、抽出されたエッジに対してハフ変換を行い、直線を抽出する（Ｓ１１０２）。抽出された直線成分を統合して、矩形作成する（Ｓ１１０３）。この矩形から予め定められた所定のサイズより大きい矩形のみを抽出する（Ｓ１１０４）。この抽出処理で矩形が抽出されない場合には（Ｓ１１０５、ＮＯ）、フレームの画像全体がＯＨＰ画像の領域であると判断し、画像全体を抽出する（Ｓ１１０７）。矩形が抽出された場合には（Ｓ１１０５、ＹＥＳ）、抽出された中で最も大きな矩形をＯＨＰ領域画像として抽出する（Ｓ１１０６）。
【００６４】
なお、通常、ＯＨＰを用いた講義等を撮影した動画像においては、ＯＨＰの画像が最も大きな矩形となるのが一般的であるため、Ｓ１１０６の処理でその領域を抽出するようにしている。
【００６５】
ＯＨＰ領域画像抽出後、初期値として最大類似度に０をセットする（図４、Ｓ１００２）。続いて、ＯＨＰ取得部１０７がＯＨＰ画像の最初のページをＯＨＰファイル記憶部１０４から抽出する（Ｓ１００３）。ここで類似度算出部１０８が、Ｓ１００３で抽出されたＯＨＰ画像の最初のページと、Ｓ１００１で抽出されたフレームのＯＨＰ領域の画像とを照合して、類似度を計算する（Ｓ１００４）。以下、類似度計算について、図を用いて詳細に説明する。
【００６６】
図６は、類似度算出部１０８の機能構成の一例を示した図である。図において、類似度算出部１０８は、画像正規化部１２０と、フレーム画素抽出部１２１と、ＯＨＰ画素抽出部１２２と、画素照合部１２３と、照合結果加算部１２４とからなる。画像正規化部１２０は、フレーム画像から抽出されたＯＨＰ領域画像がＯＨＰ画像の方向と一致するよう回転処理を実行して傾きを補正する。また、ＯＨＰ画像とサイズが異なる場合、拡大処理を実行して、ＯＨＰ画像と同一のサイズとなるよう補正する。なお、このような正規化処理は、図５のＳ１１０６での抽出の際に、ＯＨＰ領域抽出部１０６が実行するようにしてもよく、特に限定されない。
【００６７】
フレーム画素抽出部１２１は、図５のＳ１１０６で抽出されたＯＨＰ領域画像から画素を抽出する。ＯＨＰ画素抽出部１２２は、ＯＨＰ取得部１０７で取得したページの画素を抽出する。画素照合部１２３は、フレーム画素抽出部１２１とＯＨＰ画素抽出部１２２から抽出された画素を照合する。照合結果加算部１２４は画素照合部１２３にて照合された結果を数値化して加算する。加算した結果が類似度となる。
【００６８】
図７は、上記類似度算出部１０８により実行される類似度算出処理の流れを示したフローチャートである。まず、フレーム取得部１０５からＯＨＰ領域画像を取得し（Ｓ１２００）、取得したＯＨＰｂ領域画像を画像正規化部１２０が元文書サイズ、すなわちＯＨＰ画像のサイズに拡大する等して正規化する（Ｓ１２０１）。また、同時に、ＯＨＰ取得部１０７からＯＨＰ画像を取得する（Ｓ１２０１’）。続いて、フレーム画素抽出部１２１により抽出されたＯＨＰ領域画像の画素と、ＯＨＰ画素抽出部１２２により抽出されたＯＨＰ画像の画素を画素照合部１２３が照合して画素の差を求める。この差を照合結果加算部１２４が加算して類似度を算出する（Ｓ１２０２）。類似度算出の式の一例を以下に示す。
【００６９】
類似度＝１／Ｖ
（Ｖ＝対応する画素の差の絶対値の和）
Ｖが小さいほど、すなわち画素の差が小さいほど類似度は高い値となる。但し、Ｖが０の場合は、無条件に類似度が最大値に達したと判断される。
【００７０】
類似度計算は、上記の手法に限らない。以下、他の手法を説明する。
図８は、他の手法を実現するための類似度算出部１０８ａの機能構成図である。本手法では、文字情報を用いて類似度を算出する。また、ここでは連続する２文字が同一であるか否かを照合して類似度を算出する。図において、類似度算出部１０８ａは、画像正規化部１３０と、フレーム文字抽出部１３１と、ＯＨＰ文字抽出部１３２と、文字照合部１３３と、照合結果加算部１３４とからなる。画像正規化部１３０は、図６の画像正規化部１２０と同様の機能を有する。
【００７１】
フレーム文字抽出部１３１は、図５のＳ１１０６で抽出されたＯＨＰ領域画像から文字を認識して抽出する。ＯＨＰ文字抽出部１３２は、ＯＨＰ取得部１０７で取得したページの文字を抽出する。なお、本実施の形態ではＯＨＰ画像の文字情報は、既にＯＨＰファイル記憶部１０４において１ページ毎の画像ファイルと、それに対応する文字情報を別々に記憶しているため、文字認識処理を行う必要なく、ＯＨＰファイル記憶部１０４を参照するのみで文字を抽出できる。文字照合部１３３は、フレーム文字抽出部１３１とＯＨＰ文字抽出部１３２から抽出された文字を照合する。照合結果加算部１３４は文字照合部１３３にて照合された結果を数値化して加算する。加算した結果が類似度となる。
【００７２】
図９は、上記類似度算出部１０８ａにより実行される類似度算出処理の流れを示したフローチャートである。まず、フレーム取得部１０５からＯＨＰ領域画像を取得し（Ｓ１３００）、フレーム文字抽出部１３１が文字認識処理を行う（Ｓ１３０１）。この文字認識処理は公知の技術を用いて行われる。図１０はこの文字認識処理の詳細を示したフローチャートである。まず、得られたＯＨＰ領域画像を二値化し（Ｓ１３１０）、領域識別を行う（Ｓ１３１１）。続いて文字認識を行い（Ｓ１３１２）、認識結果がテキスト出力される（Ｓ１３１３）。
【００７３】
文字認識処理後、類似度の初期値を０にセットする（図９、Ｓ１３０２）。次に基準文字としてフレーム文字抽出部１３１による認識結果の最初の文字をセットする。また、ＯＨＰ画像において該セットされた基準文字に対応する位置にある文字とその隣に位置する文字を、ＯＨＰ文字抽出部１３２により抽出する（Ｓ１３０３）。ここで、文字照合部１３３により、フレーム文字抽出部１３１により認識された文字列と、ＯＨＰ文字抽出部１３２により抽出された文字列とを比較し、連続２文字が同じであるか否かを照合する。同じであれば（Ｓ１３０４、ＹＥＳ）、照合結果加算部１３４が類似度をインクリメントする（Ｓ１３０５）。同じでない場合には（Ｓ１３０４，ＮＯ）、類似度はインクリメントされない。続いて基準文字に隣の文字をセットし、同様に照合を行う（Ｓ１３０６）。Ｓ１３０４からＳ１３０６までの処理が文字認識処理結果の文字が終了するまで（Ｓ１３０７、ＹＥＳ）繰り返される。最終的には、照合結果加算部１３４により類似度が以下のように補正される（Ｓ１３０８）。
類似度＝類似度／ＯＨＰ文字数
【００７４】
なお、図６に示した画素を用いた類似度算出処理及び、図８に示した文字を用いた類似度算出処理の両手法を用いて全体の類似度を算出するようにしてもよい。図１１は、このような手法を実現するための類似度算出部１０８ｂの機能構成図である。図において、類似度算出部１０８ｂは、図６の類似度算出機構を有する画素照合結果算出部１４０と、図８の類似度算出機構を有する文字照合結果算出部１４１を備え、双方で算出された類似度を加算して全体の類似度を算出する総合類似度算出部１４２を備えている。
【００７５】
更に、上述した手法以外にレイアウト情報を用いて類似度を算出する手法を説明する。図１２は、このような手法を実現するための類似度算出部１０８ｃの機能構成を示した図である。図において、類似度算出部１０８ｃは、画像正規化部１５０と、フレームレイアウト取得部１５１と、ＯＨＰレイアウト取得部１５２と、レイアウト照合部１５３と、照合結果加算部１５４とからなる。画像正規化部１５０は、図６の画像正規化部１２０と同様の機能を有する。
【００７６】
フレームレイアウト取得部１５１は、図５のＳ１１０６で抽出されたＯＨＰ領域画像からレイアウト情報を取得する。ＯＨＰレイアウト取得部１５２は、ＯＨＰ取得部１０７で取得したページのレイアウト情報を取得する。なお、ここでは、図、表、文字列ブロック等の領域属性とその座標情報をレイアウト情報と呼称する。レイアウト照合部１５３は、フレームレイアウト取得部１５１とＯＨＰレイアウト取得部１５２で取得されたレイアウト情報を照合する。照合結果加算部１５４はレイアウト照合部１５３にて照合された結果を数値化して加算する。加算した結果が類似度となる。
【００７７】
図１３は、レイアウト情報の一例を示した図である。図１３（ａ）はＯＨＰ画像を示しており、該画像に示される領域属性とその座標情報がＯＨＰレイアウト取得部１５２により取得される。また、図１３（ｂ）はフレーム画像からキャプチャした画像を示しており、該画像に示される領域属性とその座標情報がフレームレイアウト取得部１５１により取得される。
【００７８】
本手法では、レイアウト照合部１５３が双方のレイアウト情報を照合し、その結果、照合結果加算部１５４が類似度を算出する。具体的にはレイアウト照合部１５３により、領域属性が同じであり、且つ領域座標の差の絶対値が予め定められた値より小さければ対応の付いた領域とされ、対応が付く毎に照合結果加算部１５４に所定の値が出力され類似度として加算される。
【００７９】
例えば、図１４（ａ）に示されるようにＯＨＰ画像から抽出したある文字列領域の領域座標を、(xmin, ymin)-(xmax, ymax)、図１４（ｂ）に示されるように動画像からキャプチャした画像のある文字列領域の領域座標を、(xmin', ymin')-(xmax', ymax')とし、予め定められた値をαとした場合、以下の条件を満たせば類似度がインクリメントされる。
【００８０】
｜xmin- xmin'｜＜α 且つ
｜ymin- ymin'｜＜α 且つ
｜xmax- xmax'｜＜α 且つ
｜ymax- ymax'｜＜α
【００８１】
レイアウト照合部１５３はこのような照合を全ての領域について行い、領域属性と座標差をチェックする。例えば、条件を満たせば１が、条件を満たさない場合には０が照合結果加算部１５４に出力され、類似度として加算される。すなわち、本手法では、対応が付いた領域数が類似度となる。
【００８２】
上述した手法の他に、レイアウト情報に文字列特徴を加えて照合し類似度を算出する手法を説明する。文字列特徴は、文字列ブロックを更に一定の割合以上の文字列に分けた場合のその矩形の座標情報や、文字列の文字のサイズ、文字列の形状、文字列の色等を含む。例えば、図１５（ａ）に示されるＯＨＰ画像から抽出した文字列領域のデータ、及び図１５（ｂ）に示される動画像からキャプチャした画像の文字列領域のデータのように、文字列領域内で、更に一定以上の領域を有する文字列領域を行１〜行Ｎ、行１’〜行Ｎ’として分割して抽出し、該行毎の座標情報を文字列情報として取得して照合してもよい。
【００８３】
ここでは、レイアウト照合部１５３が、座票差が所定の値（α）以下であるかを行毎にチェックする。
例えば、行１及び行１’で、
｜xmin1- xmin1'｜＜α 且つ
｜ymin1- ymin1'｜＜α 且つ
｜xmax1- xmax1'｜＜α 且つ
｜ymax1- ymax1'｜＜α
の条件を満たすかがチェックされる。更に全ての行についての照合がなされ、全ての行で同じ条件が成立した場合には１が、そうでない場合には０が照合結果加算部１５４に出力され、類似度として加算される。
【００８４】
また、図１６にレイアウト情報に文字列の色情報を含む場合の一例を示す。図１６（ａ）はＯＨＰ画像から抽出した文字列領域のデータ、及び図１６（ｂ）は動画からキャプチャした画像の文字列領域のデータである。図示されるように、レイアウト情報として行毎の代表色が取得されており、それらも含めて照合される。この代表色は、１行内で文字色が複数ある場合には、フレームレイアウト取得部１５１或いはＯＨＰレイアウト取得部１５２において、行内の色を（Ｒ、Ｇ、Ｂ）の３次元ベクトル表現してクラスタリングを行い、クラスタ間の距離が所定の値以上となるよう複数個のクラスタを求め、更にその平均色を求め、該求めた平均色を代表色としている。
【００８５】
ここでは、レイアウト照合部１５３が、座票差が所定の値（α）以下であるか及び行の色差が所定の値（β）以下であるかを行毎にチェックする。
【００８６】
例えば、行１及び行１’では、
｜xmin1- xmin1'｜＜α 且つ
｜ymin1- ymin1'｜＜α 且つ
｜xmax1- xmax1'｜＜α 且つ
｜ymax1- ymax1'｜＜α
であるか、更に、
|R-R'|＜β 且つ
|G-G'|＜β 且つ
|B-B'|＜β
であるかがチェックされる。同様に全ての行についての照合がなされる。
【００８７】
全ての行で同じ条件が成立した場合には１が、そうでない場合には０が照合結果加算部１５４に出力され、類似度として加算される。
【００８８】
上述した手法の他、画像内のタイトル文字のみを抽出して照合し、類似度を算出する手法を用いてもよい。図１７に、該手法を実施するための類似度算出部１０８ｄの機能構成図を示す。図において、類似度算出部１０８ｄは、画像正規化部１６０と、フレームタイトル抽出部１６１と、ＯＨＰタイトル抽出部１６２と、タイトル照合部１６３と、照合結果加算部１６４とからなる。
【００８９】
フレームタイトル抽出部１６１は、ＯＨＰ領域画像からタイトルを抽出する。ＯＨＰタイトル抽出部１６２は、ＯＨＰ取得部１０７で取得したページのタイトル情報を抽出する。タイトル照合部１６３は、フレームタイトル抽出部１６１とＯＨＰタイトル抽出部１６２で取得されたタイトルを照合する。照合結果計算部１６４はタイトル照合部１６３にて照合された結果を数値化して類似度を計算する。
【００９０】
図１８は、タイトル抽出処理とタイトル照合処理について明示したフローチャートである。まず、ＯＨＰタイトル抽出部１６２とフレームタイトル抽出部１６１では、それぞれ、ＯＨＰから直接作成した画像１９０ａ或いは動画像からキャプチャした画像１９０ｂから文字列領域をまず抽出し、抽出された複数の文字列領域において、最大のサイズを有する文字列領域をタイトルとして抽出する（Ｓ１４００）。本実施の形態では、抽出されたタイトル情報は、Ｓ１４０１に示される通りであるとする。次にタイトル照合部１６３により照合処理を行う（Ｓ１４０２）。その際、座標の差の絶対値が所定の値以内であり、且つ、色が一致し、更に、文字内容の一定割合以上が一致すれば、ＯＫを、それ以外はＮＧを、照合結果計算部１６４に出力する。照合結果計算部１６４は、入力された値を数値化し、ＯＫであれば１０００を、ＮＧであれば０を類似度とする。
【００９１】
また、レイアウト情報を取得し照合する手法と画素を照合する手法とを統合して類似度を算出する手法を実行してもよい。図１９は、該手法を実施するための類似度算出部１０８ｅの機能構成図である。ＯＨＰレイアウト取得部１７１により、ＯＨＰ画像から抽出したある領域（例えば領域Ｉとする）の画像を取得する。また、更にフレームレイアウト取得部１７０により、動画像から抽出した画像において領域（例えば領域Ｊとする）の画像を取得する。画像正規化部１７２により領域Ｉのサイズに領域Ｊを正規化した後、画素照合部１７５によりフレーム領域画素抽出部１７３及びＯＨＰ領域画素抽出部により抽出された画素が照合される。画素の差は、照合結果計算部１７６に出力され、照合結果計算部１７６は両者の差の絶対値の和ｄを算出、更に類似度１／ｄを算出する。
【００９２】
このように様々な手法で類似度が算出されるが、本発明は特にいずれかの手法に限定はせず、いずれの手法を用いてもよいし、また上記手法を複数用いて算出してもよい。
【００９３】
なお、上述した類似度算出部１０８から１０８ｅ（以下、これらを類似度算出部１０８と呼称する）は、あるフレームのＯＨＰ領域画像について、全てのＯＨＰ画像との類似度を算出する。具体的には、図４において、ＯＨＰ画像の最初のページの類似度が算出された後（Ｓ１００４）、その類似度が最大類似度（最初の段階では０）以上であれば（Ｓ１００５、ＹＥＳ）、最大類似度に類似度をセットし、そのＯＨＰ画像のページ番号を記録する（Ｓ１００６）。この時点でＯＨＰ画像の全てのページの照合が終了していなければ（Ｓ１００７、ＮＯ）、ＯＨＰ画像の次ページを抽出し、Ｓ１００４の類似度計算処理を繰り返す。こうしてＯＨＰ画像全てのページの照合が終了すると（Ｓ１００７、ＹＥＳ）、類似度算出部１０８は、その時点の処理対象であるフレーム番号と、最大類似度を有するＯＨＰ画像のページ番号を対応付け処理部１０９に出力する（Ｓ１００８）。ここで、動画像のうち全てのフレームについての処理が終了していなければ（Ｓ１００９、ＮＯ）、フレーム取得部１０５により次のフレーム画像を抽出して、Ｓ１００１からＳ１００９までの処理を繰り返す。
【００９４】
全てのフレームについての照合処理が終了すると、対応付け処理部１０９において、図２０に示されるようなフレーム番号・ＯＨＰ番号対応表（以下、対応表と呼称する）が作成される。図から明らかなように、各フレーム番号と、類似度が最も高いＯＨＰ画像との対応付けが示されている。対応付け処理部１０９は、本対応表を用いて、図２１に示されるようなＯＨＰ画像と対応するフレーム区間を示すテーブル（以下、区間対応表と呼称する）を作成する。このように、ＯＨＰ画像に対応して動画像のフレーム区間を対応付けるようにすれば、E-Learning用のコンテンツを作成する上で効率が高まる。なお、図２０及び図２１のエントリ番号は、表の各レコードに付されたインデックスを意味する。
【００９５】
図２２は、区間対応表作成処理の詳細を示すフローチャートである。本フローチャートでは、図２０のエントリ番号をＩ及びＪを用いてカウントする。まず、図２０の対応表を読み出す（Ｓ１５００）。Ｉに０をセットする（Ｓ１５０１）。続いて対応表のエントリＩに該当するレコードを抽出する。この時抽出されたフレーム番号を開始フレーム番号として記録する（Ｓ１５０２）。続いてＪにＩ＋１をセットする（Ｓ１５０３）。そしてＪがエントリ数に達しているか、すなわち図２０のＮに達しているか否かを判断する（Ｓ１５０４）。ＪがＮに達していない場合（Ｓ１５０４、ＹＥＳ）、Ｊに該当するレコードを抽出する（Ｓ１５０５）。この時抽出されたＯＨＰ番号がＩのＯＨＰ番号と一致するか否かを判断する（Ｓ１５０６）。一致していれば（Ｓ１５０６、ＹＥＳ）、Ｊをインクリメントし（Ｓ１５０７）、Ｓ１５０４からＳ１５０６の処理を繰り返す。この処理により、エントリ番号順にレコードを探索していき、ＯＨＰ番号が異なるレコードに達した場合（Ｓ１５０６、ＮＯ）、直前のレコードのフレーム番号までが同一のＯＨＰ画像に対応していると判断され、Ｊ−１のフレーム番号をＩのＯＨＰ番号の終了フレーム番号として記録する（Ｓ１５０８）。
【００９６】
図２０の場合、フレーム番号０とフレーム番号１がＯＨＰ番号０に対応しているため、図２１に示されるようにＯＨＰ番号０の開始フレーム番号が０、終了フレーム番号が１となる。
【００９７】
次に、ＩにＪをセットし（Ｓ１５０９）、ＩがＮに達していなければ（Ｓ１５１０、ＹＥＳ）、続いて次のＯＨＰ画像の番号に対応するフレーム区間を探索する。すなわち、この時点で、Ｊには２がセットされているため、Ｉに２がセットされる。続いてＳ１５０２以降の処理が同様になされる。エントリ番号２のフレーム番号は２であるため、開始フレーム番号には２が記録される。同様に、Ｊをインクリメントしながら順に終了フレーム番号を探索していく。こうして、図２１に示されるような区間対応表が作成される。
【００９８】
なお、このように作成された区間対応表中で、極端に短いフレーム区間が存在する場合、また、そうしたフレーム区間の前後のフレームのＯＨＰ画像の番号が同一である場合、該フレーム区間における対応付けが適切でない可能性が大きい。例えば、動画像中において、一時的に障害が発生し、ＯＨＰ領域画像が明瞭に撮像されなかった場合、類似度算出において、適切な類似度計算がなされず、その部分のみ誤った対応付けがなされることがあるためである。特に、動画像が講義の場合には、ＯＨＰ画像がページ番号順に用いられることが多いため、上述したフレーム区間の対応付けは不適切と判断される。このような場合を想定し、本実施の形態では、対応付け処理部１０９は、図２１のテーブルを作成した後、短いフレーム区間の対応付け（エントリ）を削除して、該フレーム区間をその前後のフレーム区間に統合する処理を行う。
【００９９】
図２３は、このような対応付け変更処理の流れを示すフローチャートである。本フローチャートでは、図２１のエントリ番号をＩを用いて説明する。まず、図２１のＯＨＰ番号のフレーム区間テーブルを読み出す（Ｓ１７００）。続いてＩに０をセットする（Ｓ１７０１）。続いてＩが本対応付け変更処理にて既に削除されたエントリ番号であるか否かをチェックする（Ｓ１７０２）。削除されたものでなければ（Ｓ１７０２、ＮＯ）、エントリ番号がＩに該当するレコードを抽出する。更に、Ｉのフレーム長を以下の式により算出する（Ｓ１７０３）。
Ｉのフレーム長＝終了フレーム−開始フレーム＋１
【０１００】
算出されたフレーム長が所定の値未満の場合には（Ｓ１７０４、ＹＥＳ）、Ｉの前後の削除されていないエントリのＯＨＰ番号が一致しているか否かを検証する（Ｓ１７０５）。一致していれば（Ｓ１７０５、ＹＥＳ）、Ｉエントリに削除印を付し、Ｉの直前のエントリの終了フレーム番号をＩの直後のエントリの終了フレーム番号に変更する。更にＩの直後のエントリにも削除印を付す（Ｓ１７０６）。この削除印により最終的に、短いフレーム区間がその前後のフレーム区間に統合され、図２１の区間対応表において、該当の区間及びその直後のエントリ番号のレコードが削除される。続いて、Ｓ１７０７の処理に移行する。
【０１０１】
なお、Ｓ１７０５で、ＯＨＰ番号が一致していなければ（Ｓ１７０５、ＮＯ）、即座にＳ１７０７以降の処理に移行する。なお、一致していない場合とは、フレーム区間が所定の値より短い場合であっても、対応付けが適切である場合を示す。
【０１０２】
Ｓ１７０７でＩをインクリメントした後、Ｉが総エントリ数（Ｍ）を超えたか否かをチェックする。Ｉが総エントリ数以下の場合には（Ｓ１７０８、ＮＯ）、Ｓ１７０２以降の処理を繰り返し、全てのエントリのフレーム区間とその対応付けをチェックする。Ｉが総エントリ数を超えた場合には（Ｓ１７０８、ＹＥＳ）、全てのエントリの確認が終了したと判断され、削除印が付されたエントリを削除する（Ｓ１７０９）。
【０１０３】
こうして作成された区間対応表は、対応付け処理部１０９により対応付けテーブル１１０に格納される。コンテンツ作成装置１ｂは、該対応付けテーブルを参照し、既存の技術によりE-learning用のコンテンツを作成し、コンテンツ記憶部１１２に格納する。
【０１０４】
以上説明したように、本実施の形態により、ＯＨＰ画像と動画像の対応付けが自動的に且つ容易に行われ、それにより従来は手動で行われていたコンテンツ作成が迅速且つ容易に行われることとなる。
【０１０５】
実施の形態２．
実施の形態１に示した図２の機能構成図及び図３のハードウェア構成図を用いて、対応付け処理に更に工夫を加味した実施の形態を以下に説明する。本実施の形態においては、類似度にしきい値を設け、一定の類似度以上の場合には、実施の形態１における図４と同様の処理を行い対応付けを行うが、フレーム画像がどのＯＨＰページに対しても類似度が低い場合には、該フレーム画像の直前或いは直後のフレーム画像に対応付けされたＯＨＰ画像に対応付けるようにする。
【０１０６】
上記処理の詳細を図を用いて詳細に説明する。
図２４は、本実施の形態の画像対応付け装置１ａの対応付け処理の流れを詳細に示したフローチャートである。
【０１０７】
Ｓ１８００からＳ１８０４までは実施の形態１と同様に処理されるため、説明を省略する。Ｓ１８０５において、類似度が予め定められた値以上である場合には（Ｓ１８０５、ＮＯ）、類似度算出部１０８は実施の形態１と同様の処理を行う（Ｓ１８０６〜Ｓ１８０８）。類似度が予め定められた値未満である場合には（Ｓ１８０５、ＹＥＳ）、最大類似度の値は変更されず、次のＯＨＰ画像との照合が行われる。Ｓ１８０４からＳ１８０８までの処理を全ＯＨＰ画像との間で行う。
【０１０８】
１つのフレーム画像について照合処理が終了すると（Ｓ１８０８、ＹＥＳ）、類似度算出部１０８は、その時点の処理対象であるフレーム番号と、最大類類度を有するＯＨＰ画像のページ番号を対応付け処理部１０９に出力するが、この時、最大類似度が０である場合には、いずれのＯＨＰ画像とも対応がつかないとして、ＯＨＰ番号を−１として出力しておく（Ｓ１８０９）。この結果、図２０でフレーム番号が−１となるエントリが出現する。
【０１０９】
図２５は、本実施の形態において、対応付け処理部１０９が実施の形態１での図２２の区間対応表作成処理を行う前に実施する処理の流れを示したフローチャートである。まず、図２０に示すような対応表を読み込み（Ｓ１９００）、エントリＩに０をセットする。次に、Ｉをインクリメントしつつ（Ｓ１９０３）順に確認し、ＯＨＰ番号が−１でないエントリＩを探索する（Ｓ１９０２）。ＯＨＰ番号が−１でないエントリＩには、変数ＫにＩをセットし、変数ＯＨＰ１にエントリＫのＯＨＰ番号をセットし、対応表において、Ｉが０からＫまでの全エントリのＯＨＰ番号をＯＨＰ１に変更する（Ｓ１９０４）。
【０１１０】
次に、ＩにＫ＋１をセットし（Ｓ１９０５）、続いて、ＯＨＰ番号が−１のエントリＩを探索する（Ｓ１９０６）。ＩエントリのＯＨＰ番号が−１でない場合には（Ｓ１９０６、ＮＯ）、ＯＨＰ１にエントリＩのＯＨＰ番号をセットする（Ｓ１９０７）。更にエントリＩのＯＨＰ番号にＯＨＰ１をセットし、Ｉをインクリメントする（Ｓ１９０８）。ＩエントリのＯＨＰ番号が−１である場合には（Ｓ１９０６、ＹＥＳ）、既にセットされているＯＨＰ１の値をエントリＩのＯＨＰ番号にセットし、Ｉをインクリメントする（Ｓ１９０８）。
【０１１１】
すなわち、本処理により対応表で−１となったフレーム番号のＯＨＰ番号が該エントリ直前の−１以外のＯＨＰ番号に置き換えられる（Ｓ１９０５〜Ｓ１９０８）。なお、Ｉ＝０のエントリで−１が出現した場合は、該エントリ直後の−１以外のＯＨＰ番号に置き換えられる（Ｓ１９０２〜Ｓ１９０４）。本処理はＩが総エントリ数に達するまでループする。
【０１１２】
このように対応表からＯＨＰ番号の−１を削除した後、図２２の処理を行うことで、区間対応表が完成する。
【０１１３】
実施の形態３．
実施の形態１に示した図２の機能構成図及び図３のハードウェア構成図を用いて、対応付け処理に更に工夫を加味した他の実施の形態を説明する。本実施の形態では、全フレーム画像とＯＨＰ画像との照合に代え、フレーム画像を所定の間隔毎に抜き出して、抜き出したフレーム画像とＯＨＰ画像とを照合し、同一のＯＨＰ画像と対応付けされた２つのフレームの間に存在する全てのフレーム画像に該同一のＯＨＰ画像と対応付けるようにする。これにより処理の効率化を図る。
【０１１４】
図２６は、本実施の形態の画像対応付け装置１ａの対応付け処理の流れを詳細に示したフローチャートである。また、図２７は、図２６のフローチャートに沿って実施される具体的な照合処理の一例を示している。上段にフレーム番号が、下段にはフレーム番号との照合の結果得られる、最大類似度を有するＯＨＰ番号が示されている。ここでは便宜のため、既に対応のＯＨＰ番号が明示されているが、該番号は実際に照合処理を行うことにより得られるものであり、図２６に示された処理開始以前には不明なものとする。
【０１１５】
また、図２６中のフレーム抽出処理はフレーム取得部１０５が行い、照合処理（類似度算出処理）は類似度算出部１０８が行うが、それ以外の処理は全て対応付け処理部１０９が行うものとする。
【０１１６】
まず、図２６において、動画像の最初のフレーム番号（０）を抽出する。また、変数「ＯＨＰ番号１」に０をセットする。（Ｓ１６００）。次に、変数「ＯＨＰ番号１の開始フレーム」及び変数「Startフレーム」にフレーム番号（最初の時点では０）をセットし、変数「Endフレーム」には、Startフレームに予め定められた所定の間隔（INTERVAL）を加算した値をセットする（Ｓ１６０１）。これにより、INTERVAL毎にフレームが抜き出されて照合処理が行われる。
【０１１７】
図２７においては、INTERVALが５とされ、下向き矢印により抜き出すフレーム番号が示されている。また、Ｓ１６０１におけるStartフレームは▲１▼列のフレーム番号、Endフレームは▲２▼列のフレーム番号で示されている。
【０１１８】
続いて、Endフレーム（抜き出したフレーム）とＯＨＰ画像との照合処理を行う（Ｓ１６０２）。本照合処理は、図４のＳ１００１からＳ１００７までの処理と同様であるため、説明を省略する。更に、この照合処理により得られた最大類似度を有するＯＨＰ番号を変数「ＯＨＰ番号２」にセットする（Ｓ１６０２）。
【０１１９】
次に、ＯＨＰ番号２とＯＨＰ番号１が等しいか否かを検証する。図２７の場合には、ＯＨＰ番号２とＯＨＰ番号１が互いに０で等しいため（Ｓ１６０３、ＹＥＳ）、続いて「ＯＨＰ番号１の終了フレーム」及び「Startフレーム」にEndフレームをセットし、「Endフレーム」に現在のEndフレームにINTERVALを加算した値をセットする（Ｓ１６０４）。この時点で、Startフレームは▲２▼で示された位置のフレーム番号となり、Endフレームは▲３▼で示された位置のフレーム番号となる。
【０１２０】
続いて、Ｓ１６０２の処理に戻り、照合処理を再度行う。ＯＨＰ番号１とＯＨＰ番号２が同一である間は、Ｓ１６０２からＳ１６０４の処理が繰り返さされる。図２７に示された例（▲２▼と▲３▼）では、ＯＨＰ番号１が０であり、ＯＨＰ番号２が１となるため、同一とはならず（Ｓ１６０３、ＮＯ）、Ｓ１６０５の処理に遷移する。Ｓ１６０５において、変数「Endフレーム２」には、その時点でのEndフレームがセットされ、「Endフレーム」には、Startフレーム＋(Endフレーム２−Startフレーム＋１）／２がセットされる。すなわち、INTERVALを２で分割した位置にあるフレームが次のEndフレームとなる。なお、(Endフレーム２−Startフレーム＋１）／２は小数点以下切り捨てとする。図２７の例では、Endフレームは▲４▼の位置に示されたフレーム番号となる。
【０１２１】
次に、Endフレーム２がEndフレームと同一であるか否かをチェックする（Ｓ１６０６）。同一でなければ、次に、現時点でのEndフレームとＯＨＰ画像との照合処理を行う（Ｓ１６０７）。この照合処理により得られたＯＨＰ番号を「ＯＨＰ番号２」にセットする。ここで、ＯＨＰ番号２とＯＨＰ番号１が等しいか否かを検証する（Ｓ１６０８）。図２７に示された例では、ＯＨＰ番号１が０であり、ＯＨＰ番号２が１となるため、同一とはならず（Ｓ１６０８、ＮＯ）、Ｓ１６１０の処理に移行する。Ｓ１６１０では、「Endフレーム２」にEndフレームをセットし、「Endフレーム」にはStartフレーム＋(Endフレーム２−Startフレーム＋１）／２をセットする。この時点で、Endフレームは▲５▼で示された位置のフレーム番号となる。
【０１２２】
次に、Ｓ１６０６に戻り、再度Endフレーム２とEndフレームが同一であるかをチェックする。図２７の例においては、この時点でEndフレーム２が８であり、Endフレームが７であるため（Ｓ１６０６、ＮＯ）、Ｓ１６０７の照合処理が行われる。その結果ＯＨＰ番号２とＯＨＰ番号１が等しくなるため（Ｓ１６０８、ＹＥＳ）、Ｓ１６０９の処理に移行する。Ｓ１６０９では、「ＯＨＰ番号１の終了フレーム」及び「Startフレーム」にEndフレームをセットし、「Endフレーム」にはStartフレーム＋(Endフレーム２−Startフレーム＋１）／２をセットする。
【０１２３】
この時点で、開始フレーム番号には０、終了フレーム番号には１がセットされており、この値を区間対応表のＯＨＰ番号が０のエントリに出力する。更に、Endフレーム２及びEndフレームは７となるため（Ｓ１６０６、ＹＥＳ）、Ｓ１６０６でＳ１６１１の処理に移行し、フレーム番号にEndフレーム２をセットし、ＯＨＰ番号１をインクリメントしてＳ１６０１の処理に戻る。
以上の処理を繰り返すことにより、全フレーム画像を照合せずとも、図２１の区間対応表が得られ、ＯＨＰ画像と対応付けることが可能となる。
【０１２４】
以上、本発明の様々な実施の形態を説明したが、本発明は上述した実施の形態に限定されることはなく、本発明の要旨を逸脱しない範囲において応用可能であることはもちろんである。
【０１２５】
（付記１） 複数の第１の画像と、複数の第２の画像であって、複数の第２の画像における少なくともいずれかの画像が第１の画像のうちのいずれかの画像と所定の関連性を有する第２の画像とに基づいて、第２の画像の夫々が第１の画像のいずれの画像と前記所定の関連性を有するかについて判断する関連性判断手段と、
前記関連性判断手段により所定の関連性を有すると判断された第１の画像と第２の画像の夫々を対応付ける対応付け手段と、
を備えてなる画像対応付け装置。
（付記２） 付記１に記載の画像対応付け装置において、
前記所定の関連性が、第２の画像の一つに第１の画像に対応する画像の一つが含まれるというものである場合に、
前記関連性判断手段は、
第２の画像から所定領域を抽出する所定領域抽出手段と、
前記所定領域抽出手段により抽出された前記所定領域の画像が第１の画像のいずれの画像に対応するのかを判断する対応画像判断手段と
を備えたことを特徴とする画像対応付け装置。
（付記３） 付記２に記載の画像対応付け装置において、
前記対応画像判断手段は、前記所定領域の画像と第１の画像との類似度を算出する類似度算出手段を備え、該類似度算出手段により算出された類似度に基づいて、前記所定領域に含まれる画像が第１の画像のいずれの画像に対応するのかを判断することを特徴とする画像対応付け装置。
（付記４） 付記３に記載の画像対応付け装置において、
前記類似度算出手段は、前記所定領域の画像に対して第１の画像のすべての画像との類似度を算出し、該類似度に基づいて前記所定領域の画像に対する第１の画像の対応付け候補を求めることを特徴とする画像対応付け装置。
（付記５） 付記２乃至付記４のいずれかに記載の画像対応付け装置において、
第１の画像は矩形状をなして、第２の画像の一部に含まれ、
前記所定領域抽出手段は、第２の画像における直線成分を検出すると共に、検出された直線成分に基づいて前記矩形状を前記所定領域として検出することを特徴とする画像対応付け装置。
（付記６） 付記５に記載の画像対応付け装置において、
前記所定領域抽出手段は、前記直線成分を検出する際に、第２の画像においてエッジ抽出処理を行って、エッジ２値画像を作成し、得られたエッジ２値画像に対してハフ変換を行うことを特徴とする画像対応付け装置。
（付記７） 付記５又は付記６に記載の画像対応付け装置において、
前記所定領域抽出手段は、検出された直線成分を統合して矩形状を検出すると共に、得られた矩形状の中で最大のものを前記所定領域として抽出することを特徴とする画像対応付け装置。
（付記８） 付記３に記載の画像対応付け装置において、
前記類似度算出手段は、前記所定領域抽出手段により抽出された所定領域における画像を構成する複数の画素と、第１画像を構成する複数の画素とを照合し、照合結果に基づいて類似度を算出することを特徴とする画像対応付け装置。
（付記９） 付記８に記載の画像対応付け装置において、
前記類似度算出手段は、前記所定領域の画像と第１画像との少なくともいずれかの画像のサイズを変更する画像サイズ変更手段を備え、
変更された画像サイズにおいて前記照合を行うことを特徴とする画像対応付け装置。
（付記１０） 付記３に記載の画像対応付け装置において、
前記類似度算出手段は、画像に含まれる文字を認識する文字認識手段を備え、所定領域抽出手段により抽出された第２の画像の所定領域の画像において認識された文字と、第１の画像において認識された文字とに基づいて類似度を算出することを特徴とする画像対応付け装置。
（付記１１） 付記１０に記載の画像対応付け装置において、
前記類似度算出手段は、前記所定領域の画像と第１の画像との互いに対応する位置において認識されたすべての文字について照合を行い、該照合結果に基づいて類似度を算出することを特徴とする画像対応付け装置。
（付記１２） 付記１０に記載の画像対応付け装置において、
前記類似度算出手段は、前記所定領域の画像と第１の画像との互いに対応する位置において認識された連続する所定数の文字について照合を行い、該照合結果に基づいて類似度を算出することを特徴とする画像対応付け装置。
（付記１３） 付記３に記載の画像対応付け装置において、
前記類似度算出手段は、画像に含まれるレイアウト情報を検出するレイアウト情報検出手段を備え、
前記所定領域抽出手段により抽出された第２の画像の所定領域の画像において検出されたレイアウト情報と、第１の画像において検出されたレイアウト情報とに基づいて類似度を算出することを特徴とする画像対応付け装置。
（付記１４） 付記１３に記載の画像対応付け装置において、
前記レイアウト情報には、前記所定領域の属性情報、前記所定の領域の配置状況についての情報、前記所定の領域の特徴量の少なくともいずれかが含まれることを特徴とする画像対応付け装置。
（付記１５） 付記１４に記載の画像対応付け装置において、
前記所定の領域の属性情報には、図、表、文字列ブロック、文字列ブロック中の各文字列の少なくともいずれかの属性値が含まれることを特徴とする画像対応付け装置。
（付記１６） 付記１３乃至付記１５のいずれかに記載の画像対応付け装置において、
前記所定の領域の特徴量には、文字列を囲む矩形の位置、文字列のサイズ、文字列の形状、文字列の色の少なくともいずれかの情報が含まれることを特徴とする画像対応付け装置。
（付記１７） 付記１６に記載の画像対応付け装置において、
前記レイアウト情報検出手段により検出される各文字列毎に複数存在する色情報についての特徴量は、各文字列毎に複数存在する色情報をクラスタリングして得られた所定の代表色の情報であることを特徴とする画像対応付け装置。
（付記１８） 付記１乃至付記１７のいずれかに記載の画像対応付け装置において、
第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、
あるフレーム数だけ離れた二つのフレーム画像に対応する第１の画像が同一である場合に、前記対応付け手段は、前記二つのフレーム画像の間に存在するフレーム画像に、前記二つのフレーム画像に対応する第１の画像と同じ画像を対応付けることを特徴とする画像対応付け装置。
（付記１９） 付記１乃至付記１７のいずれかに記載の画像対応付け装置において、
第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、
連続する複数のフレーム画像から、所定のフレーム間隔毎にフレーム画像を抽出するフレーム画像間引き手段を備え、
前記関連性判断手段は、前記フレーム画像間引き手段により間引かれたフレーム画像について第１の画像との関連性を判断することを特徴とする画像対応付け装置。
（付記２０） 付記１９に記載の画像対応付け装置において、
前記フレーム画像間引き手段により抽出され、所定のフレーム間隔を有する二つのフレーム画像に対応付けられる二つの第１画像が同一でない場合に、前記フレーム画像間引き手段により間引かれるフレーム間隔を小さくする間引き間隔変更手段を備えることを特徴とする画像対応付け装置。
（付記２１） 付記１乃至付記１７のいずれかに記載の画像対応付け装置において、
第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、
連続するフレーム画像に対応する第１の画像が前後のフレームで異なることとなる場合のポイントを検出するポイント検出手段を備え、
前記対応付け手段は、前記ポイント検出手段により検出されたポイント間の各フレーム画像に同一の第１の画像を対応付けることを特徴とする画像対応付け装置。
（付記２２） 付記１乃至付記１７のいずれかに記載の画像対応付け装置において、
第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、
前記対応付け手段は、同一の第１の画像が対応付けられる複数のフレーム画像の間に、前記同一の第１の画像が対応付けられないフレーム画像が所定フレーム数以下に亘って存在する場合に、これらフレーム画像にも前記同一の第１の画像を対応付けることを特徴とする画像対応付け装置。
（付記２３） 付記１乃至付記１７のいずれかに記載の画像対応付け装置において、
第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、
前記関連性判断手段により、第１の画像との関連性が判断されないフレーム画像について、前記対応付け手段は、前記関連性が見出せる直前或いは直後のフレーム画像に対応付けられた第１の画像と同じ画像を対応付けることを特徴とする画像対応付け装置。
（付記２４） 付記１乃至付記２５のいずれかに記載の画像対応付け装置において、
第２の画像は、撮像手段により撮像されて得られる動画像であり、
第１の画像は、前記撮像手段により撮像され、前記動画像の中の前記所定領域に含まれる画像であることを特徴とする画像対応付け装置。
（付記２５） 付記１乃至付記２６のいずれかに記載の画像対応付け装置において、
第１の画像は、ＯＨＰにより投影される画像であり、第２の画像は前記ＯＨＰにより投影されている画像がその所定領域に撮像されている画像であることを特徴とする画像対応付け装置。
（付記２６） 複数の第１の画像と、複数の第２の画像であって、複数の第２の画像における少なくともいずれかの画像が第１の画像のうちのいずれかの画像と所定の関連性を有する第２の画像とに基づいて、第２の画像の夫々が第１の画像のいずれの画像と前記所定の関連性を有するかについて判断する関連性判断ステップと、
前記関連性判断ステップにより所定の関連性を有すると判断された第１の画像と第２の画像の夫々を対応付ける対応付けステップと、
を備えてなる画像対応付け方法。
（付記２７） コンピュータにより読取り可能な媒体に記憶され、画像対応付け処理をコンピュータに実行させる画像対応付けプログラムであって、
複数の第１の画像と、複数の第２の画像であって、複数の第２の画像における少なくともいずれかの画像が第１の画像のうちのいずれかの画像と所定の関連性を有する第２の画像とに基づいて、第２の画像の夫々が第１の画像のいずれの画像と前記所定の関連性を有するかについて判断する関連性判断ステップと、
前記関連性判断ステップにより所定の関連性を有すると判断された第１の画像と第２の画像の夫々を対応付ける対応付けステップと、
をコンピュータに実行させることを特徴とする画像対応付けプログラム。
【０１２６】
【発明の効果】
以上に詳述したように、従来、E-learning用のコンテンツを作成するため、ＯＨＰを用いた講義などの動画像と、そこに映し出されているＯＨＰ画像を同期的に表示させることができるよう、コンテンツ作成用オーサリングシステムでこれら画像の対応付けをオペレータが手動で行っていたが、本発明によれば、この対応付けを自動化できるため、手間がかからず、対応付けに要する時間を大幅に短縮することができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態の概念図である。
【図２】画像対応付け・コンテンツ作成装置の機能構成図である。
【図３】画像対応付け・コンテンツ作成装置のハードウェア構成図である。
【図４】画像対応付け装置の対応付け処理の流れを示したフローチャートである。
【図５】ＯＨＰ領域画像抽出処理の流れを示したフローチャートである。
【図６】画素により類似度を算出する類似度算出部の機能構成図である。
【図７】図６の類似度算出部により実行される類似度算出処理の流れを示したフローチャートである。
【図８】文字情報を用いて類似度を算出する類似度算出部の機能構成図である。
【図９】図８の類似度算出部により実行される類似度算出処理の流れを示したフローチャートである。
【図１０】文字認識処理の詳細を示したフローチャートである。
【図１１】画素を用いた類似度算出処理及び文字を用いた類似度算出処理の両手法を用いて全体の類似度を算出するための類似度算出部の機能構成図である。
【図１２】レイアウト情報を用いて類似度を算出する類似度算出部の機能構成図である。
【図１３】レイアウト情報の一例を示した図である。
【図１４】レイアウト情報を用いた照合処理の一例を示した図である。
【図１５】レイアウト情報を用いた照合処理の一例を示した図である。
【図１６】レイアウト情報を用いた照合処理の一例を示した図である。
【図１７】画像内のタイトル文字を抽出して類似度を算出するための類似度算出部の機能構成図である。
【図１８】タイトル抽出処理とタイトル照合処理について示したフローチャートである。
【図１９】レイアウト情報を取得し照合する手法と画素を照合する手法とを統合して類似度を算出するための類似度算出部の機能構成図である。
【図２０】フレーム番号・ＯＨＰ番号対応表の一例である。
【図２１】ＯＨＰ画像と対応するフレーム区間を示すテーブルの一例である。
【図２２】区間対応表作成処理の詳細を示すフローチャートである。
【図２３】区間対応表中の短いフレーム区間の対応付けを削除して、該フレーム区間をその前後のフレーム区間に統合するための処理を示したフローチャートである。
【図２４】実施の形態２の画像対応付け装置の対応付け処理の流れを詳細に示したフローチャートである。
【図２５】算出された類似度によりＯＨＰ画像との対応付けがなされなかったフレーム番号について、対応付け処理を行うための処理を示したフローチャートである。
【図２６】実施の形態３の画像対応付け装置の対応付け処理の流れを詳細に示したフローチャートである。
【図２７】図２６のフローチャートに沿って実施される具体的な照合処理の一例を示している。
【符号の説明】
１ 画像対応付け・コンテンツ作成装置、１ａ 画像対応付け装置、１ｂ コンテンツ作成装置、２ ＯＨＰを使った講演、３ カメラ撮影、４ ＯＨＰファイル、５ E-learningコンテンツ、１１ ビデオ入力制御装置、１２ ＣＰＵ、１３ メモリ、１４ ファイル入出力装置、１５ 画像用ＨＤＤ、１６ プログラムＨＤＤ、１７ コンテンツＨＤＤ、１８ 対応付けテーブルＨＤＤ、１９ ＯＨＰファイルＨＤＤ、２０ ＬＡＮインタフェース、２１ ＣＤ−ＲＯＭドライブ、１０１ 動画像入力部、１０２ 動画像記憶部、１０３ ＯＨＰファイル入力部、１０４ ＯＨＰファイル記憶部、１０５ フレーム取得部、１０６ ＯＨＰ領域抽出部、１０７ ＯＨＰ取得部、１０８、１０８ａ、１０８ｂ、１０８ｃ、１０８ｄ、１０８ｅ 類似度算出部、１０９ 対応付け処理部、１１０ 対応付けテーブル、１１１ コンテンツ作成部、１１２ コンテンツ記憶部、１２０ 画像正規化部、１２１ フレーム画素抽出部、１２２ ＯＨＰ画素抽出部、１２３ 画素照合部、１２４ 照合結果加算部、１３０ 画像正規化部、１３１フレーム文字抽出部、１３２ ＯＨＰ文字抽出部、１３３ 文字照合部、１３４ 照合結果加算部、１４０ 画素照合結果算出部、１４１ 文字照合結果算出部、１４２ 総合類似度算出部、１５０ 画像正規化部、１５１ フレームレイアウト取得部、１５２ ＯＨＰレイアウト取得部、１５３ レイアウト照合部、１５４ 照合結果加算部、１６０ 画像正規化部、１６１ フレームタイトル抽出部、１６２ ＯＨＰタイトル抽出部、１６３ タイトル照合部、１６４ 照合結果計算部、１７０ フレームレイアウト取得部、１７１ ＯＨＰレイアウト取得部、１７２ 画像正規化部、１７３ フレーム領域画素抽出部、１７４ ＯＨＰ領域画素抽出部、１７５ 画素照合部、１７６ 照合結果計算部。
Claims (2)
- 複数の第１の画像と、複数の第２の画像であって、複数の第２の画像における少なくともいずれかの画像が第１の画像のうちのいずれかの画像と所定の関連性を有する第２の画像とに基づいて、第２の画像の夫々が第１の画像のいずれの画像と前記所定の関連性を有するかについて判断する関連性判断手段と、
前記関連性判断手段により所定の関連性を有すると判断された第１の画像と第２の画像の夫々を対応付ける対応付け手段と、
を備え、
前記所定の関連性が、第２の画像の一つに第１の画像に対応する画像の一つが含まれるというものである場合に、
前記関連性判断手段は、
第２の画像から所定領域を抽出する所定領域抽出手段と、
前記所定領域抽出手段により抽出された前記所定領域の画像が第１の画像のいずれの画像に対応するのかを判断する対応画像判断手段と
を備え、
前記対応画像判断手段は、画素抽出手段により抽出した画素照合と文字認識手段により抽出した文字照合の結果より得た情報に基づいて前記所定領域の画像と第１の画像との類似度を算出する類似度算出手段を備え、該類似度算出手段により算出された類似度に基づいて、前記所定領域に含まれる画像が第１の画像のいずれの画像に対応するのかを判断し、
第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、
前記対応付け手段は、同一の第１の画像が対応付けられる複数のフレーム画像の間に、前記同一の第１の画像が対応付けられないフレーム画像が所定フレーム数以下に亘って存在する場合に、これらフレーム画像にも前記同一の第１の画像を対応付けることを特徴とする画像対応付け装置。 - 複数の第１の画像と、複数の第２の画像であって、複数の第２の画像における少なくともいずれかの画像が第１の画像のうちのいずれかの画像と所定の関連性を有する第２の画像とに基づいて、第２の画像の夫々が第１の画像のいずれの画像と前記所定の関連性を有するかについて判断する関連性判断手段と、
前記関連性判断手段により所定の関連性を有すると判断された第１の画像と第２の画像の夫々を対応付ける対応付け手段と、
を備え、
前記所定の関連性が、第２の画像の一つに第１の画像に対応する画像の一つが含まれるというものである場合に、
前記関連性判断手段は、
第２の画像から所定領域を抽出する所定領域抽出手段と、
前記所定領域抽出手段により抽出された前記所定領域の画像が第１の画像のいずれの画像に対応するのかを判断する対応画像判断手段と
を備え、
前記対応画像判断手段は、画素抽出手段により抽出した画素照合と文字認識手段により抽出した文字照合の結果より得た情報に基づいて前記所定領域の画像と第１の画像との類似度を算出する類似度算出手段を備え、該類似度算出手段により算出された類似度に基づいて、前記所定領域に含まれる画像が第１の画像のいずれの画像に対応するのかを判断し、
第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、
前記関連性判断手段により、第１の画像との関連性が判断されないフレーム画像について、前記対応付け手段は、前記関連性が見出せる直前或いは直後のフレーム画像に対応付けられた第１の画像と同じ画像を対応付けることを特徴とする画像対応付け装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002080500A JP4176364B2 (ja) | 2002-03-22 | 2002-03-22 | 画像対応付け装置及び画像対応付け方法並びに画像対応付けプログラム |
| US10/336,763 US7397954B2 (en) | 2002-03-22 | 2003-01-06 | Apparatus and method for allowing images to correspond to each other and program therefor |
| DE60307916T DE60307916T2 (de) | 2002-03-22 | 2003-01-10 | Anordnung und Verfahren zur Bestimmung, ob Bilder einander entsprechen, und zugehöriges Programm |
| EP03250165A EP1347396B1 (en) | 2002-03-22 | 2003-01-10 | Apparatus and method for determining whether images correspond to each other and program therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002080500A JP4176364B2 (ja) | 2002-03-22 | 2002-03-22 | 画像対応付け装置及び画像対応付け方法並びに画像対応付けプログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008178320A Division JP4680283B2 (ja) | 2008-07-08 | 2008-07-08 | 画像対応付け装置及び画像対応付け方法並びに画像対応付けプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003281542A JP2003281542A (ja) | 2003-10-03 |
| JP4176364B2 true JP4176364B2 (ja) | 2008-11-05 |
Family
ID=27785355
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002080500A Expired - Fee Related JP4176364B2 (ja) | 2002-03-22 | 2002-03-22 | 画像対応付け装置及び画像対応付け方法並びに画像対応付けプログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7397954B2 (ja) |
| EP (1) | EP1347396B1 (ja) |
| JP (1) | JP4176364B2 (ja) |
| DE (1) | DE60307916T2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4540358B2 (ja) * | 2004-02-10 | 2010-09-08 | 富士通株式会社 | ポインタ位置特定プログラムおよびポインタ位置特定方法 |
| WO2005111862A1 (en) * | 2004-05-17 | 2005-11-24 | Gordon Layard | Automated e-learning and presentation authoring system |
| CN101681564B (zh) * | 2007-05-22 | 2013-03-27 | 株式会社阿奈特 | 内容生成系统、内容生成装置以及内容生成方法 |
| KR101550886B1 (ko) * | 2009-03-27 | 2015-09-08 | 삼성전자 주식회사 | 동영상 콘텐츠에 대한 부가 정보 생성 장치 및 방법 |
| JP5676184B2 (ja) * | 2009-09-14 | 2015-02-25 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | 画像系列を時間的に位置合わせする方法及びレジストレーション装置 |
| US10748436B2 (en) * | 2015-06-03 | 2020-08-18 | D2L Corporation | Methods and systems for improving resource content mapping for an electronic learning system |
| CN117194753A (zh) * | 2017-09-13 | 2023-12-08 | 谷歌有限责任公司 | 有效地增强具有相关内容的图像 |
| CN107591037B (zh) * | 2017-09-23 | 2020-01-14 | 湖南星童文化传媒有限公司 | 一种多媒体教学投影系统 |
| IL259285B2 (en) * | 2018-05-10 | 2023-07-01 | Inspekto A M V Ltd | A system and method for detecting defects on objects in an image |
| JP7215022B2 (ja) * | 2018-09-05 | 2023-01-31 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置およびプログラム |
| KR102143756B1 (ko) * | 2019-10-14 | 2020-08-12 | 주식회사 산타 | 복수의 영상들을 편집하는 방법 및 그를 이용한 장치 |
| CN114978898B (zh) * | 2022-05-12 | 2024-04-12 | 泽景(西安)汽车电子有限责任公司 | 数据传输控制方法、装置、抬头显示器和存储介质 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3221028B2 (ja) | 1992-01-29 | 2001-10-22 | 株式会社日立製作所 | 動画像情報のキーワード付与方法 |
| JPH07319886A (ja) | 1994-05-30 | 1995-12-08 | Nippon Telegr & Teleph Corp <Ntt> | 動画連動図面画像検索装置及び動画連動図面画像検索方法 |
| CA2158384C (en) * | 1994-12-27 | 1999-09-28 | Alexander Gibson Fraser | Multimedia program editing system and method |
| JPH0993530A (ja) | 1995-09-28 | 1997-04-04 | Matsushita Electric Ind Co Ltd | 映像変化点検出装置および映像変化点検出方法 |
| US6988138B1 (en) * | 1999-06-30 | 2006-01-17 | Blackboard Inc. | Internet-based education support system and methods |
| US6775399B1 (en) * | 1999-11-17 | 2004-08-10 | Analogic Corporation | ROI segmentation image processing system |
| FR2810765B1 (fr) | 2000-06-27 | 2002-08-23 | Mannesmann Dematic Postal Automation Sa | Segmentation d'une image numerique d'un objet postal par la transformation de hough |
| US20010011281A1 (en) * | 2001-03-12 | 2001-08-02 | Fry Randolph A. | Instant random display of electronic file through machine-readable codes on printed documents |
| JP3938859B2 (ja) * | 2001-03-23 | 2007-06-27 | 富士通株式会社 | 画像処理装置および画像処理プログラム |
| TW509873B (en) * | 2001-07-18 | 2002-11-11 | Flashants Inc | Generation method for dynamic user interface with arbitrary shape |
| US7085401B2 (en) * | 2001-10-31 | 2006-08-01 | Infowrap Systems Ltd. | Automatic object extraction |
-
2002
- 2002-03-22 JP JP2002080500A patent/JP4176364B2/ja not_active Expired - Fee Related
-
2003
- 2003-01-06 US US10/336,763 patent/US7397954B2/en not_active Expired - Fee Related
- 2003-01-10 EP EP03250165A patent/EP1347396B1/en not_active Expired - Fee Related
- 2003-01-10 DE DE60307916T patent/DE60307916T2/de not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| DE60307916D1 (de) | 2006-10-12 |
| EP1347396B1 (en) | 2006-08-30 |
| US7397954B2 (en) | 2008-07-08 |
| EP1347396A1 (en) | 2003-09-24 |
| US20030179932A1 (en) | 2003-09-25 |
| DE60307916T2 (de) | 2007-02-15 |
| JP2003281542A (ja) | 2003-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5510167B2 (ja) | ビデオ検索システムおよびそのためのコンピュータプログラム | |
| Erol et al. | Linking multimedia presentations with their symbolic source documents: algorithm and applications | |
| Hua et al. | An automatic performance evaluation protocol for video text detection algorithms | |
| US8077930B2 (en) | Method for recognizing content in an image sequence | |
| US20140164927A1 (en) | Talk Tags | |
| US6578040B1 (en) | Method and apparatus for indexing of topics using foils | |
| US8200648B2 (en) | Data similarity and importance using local and global evidence scores | |
| US8433136B2 (en) | Tagging video using character recognition and propagation | |
| JP4176364B2 (ja) | 画像対応付け装置及び画像対応付け方法並びに画像対応付けプログラム | |
| CN103714094B (zh) | 识别视频中的对象的设备和方法 | |
| JP2005293589A (ja) | 複合的な電子表現物を作成する方法、コンピュータプログラム及びデータ処理システム | |
| JP4040046B2 (ja) | ポインタ領域検出装置、方法及びプログラム、画像の対応付け装置、方法及びプログラム、並びにコンテンツ配信サーバ、コンテンツ配信方法 | |
| CN110110147A (zh) | 一种视频检索的方法及装置 | |
| US10007848B2 (en) | Keyframe annotation | |
| Ngo et al. | Structuring lecture videos for distance learning applications | |
| Ma et al. | Lecture video segmentation and indexing | |
| JP4680283B2 (ja) | 画像対応付け装置及び画像対応付け方法並びに画像対応付けプログラム | |
| Yang et al. | Automated extraction of lecture outlines from lecture videos | |
| Eberts et al. | Amigo-automatic indexing of lecture footage | |
| JP4522323B2 (ja) | 画像処理装置及びその制御方法 | |
| US20180189602A1 (en) | Method of and system for determining and selecting media representing event diversity | |
| Ali et al. | Segmenting lecture video into partitions by analyzing the contents of video | |
| JP3940012B2 (ja) | マッチングプログラムおよびマルチメディアコンテンツ編集プログラム | |
| Van Nguyen et al. | PEDIVHANDI: multimodal indexation and retrieval system for lecture videos | |
| Kothawade et al. | A Survey on Automatic Video Lecture Indexing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041006 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050613 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080410 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080513 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080708 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080724 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080819 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080820 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4176364 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130829 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |