JP5633823B2 - チャプタ代表画像生成装置およびその動作方法 - Google Patents

Description

本発明は、データサイズが小さく且つチャプタの内容を把握できるチャプタの代表画像を生成するチャプタ代表画像生成装置およびその動作方法に関するものである。

近年にあっては、講義の様子を撮影した映像をチャプタに分割した場合、チャプタの代表画像を生成することがある。

非特許文献１の方法では、チャプタ内のフレーム画像を扱いやすく縮小し、これを代表画像とし、提示する。

非特許文献２の方法では、パーソナルコンピュータでのプレゼンテーションによる講義を対象とし、プレゼンテーションのスライドを更新したときに、チャプタ分割を行い、チャプタ内のフレーム画像からスクリーンエリアを切り出し、これを代表画像とする。

谷口行信, 外村佳伸, 浜田洋，映像ショット切換え検出法とその映像アクセスインタフェースへの応用, 電子情報通信学会論文誌,Vol.J79-D2,No.4,pp.538-546，1996. ティモテ，嶌田聡，小島明，Automatic and easy creation of learning friendly conferences videos,電子情報通信学会技術報告,IE2009-65, pp. 37-42,2009.

例えば、講義の映像において、板書の開始や板書の文字や図形を消すタイミングでチャプタを分割することがある。その場合のチャプタの代表画像を従来技術で生成すると、以下の問題が発生する。

非特許文献１の方法では、フレーム画像を縮小した代表画像を生成するが、縮小した代表画像によっては、黒板の大まかな変化や講師の位置変化を把握できるが、板書の文字や図形は読み取れないので、講義の内容を容易に把握することができない。

非特許文献２の方法では、スクリーンエリアとして、黒板などの領域を指定することになる。横長の大きい黒板で講義を行う場合には、板書の文字や図形が読み取れるように、黒板全体をハイビジョンカメラで撮影する方法が有効である。

しかし、このように撮影された映像のデータサイズは大きく、その一部の黒板の領域、つまり、代表画像であっても、やはりデータサイズは大きい。よって、代表画像は扱いにくいものとなってしまい、縮小しても、今度は文字や図形が読めなくなる。

本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、データサイズが小さく且つチャプタの内容を把握できるチャプタの代表画像を生成するチャプタ代表画像生成装置およびその動作方法を提供することにある。

上記の課題を解決するために、第１の本発明は、映像ファイルを構成するチャプタを代表する代表画像を生成するチャプタ代表画像生成装置であって、前記映像ファイルに映った場所で線が書かれ始める開始時から始まり線が消去される終了時で終わるチャプタを当該映像ファイルから検出するチャプタ検出部と、前記映像ファイルの前記開始時に再生されるフレーム画像を用いて当該フレーム画像に映った場所の背景を示す開始時背景画像を生成する開始時背景画像生成部と、前記映像ファイルの前記終了時に再生されるフレーム画像を用いて当該フレーム画像に映った場所の背景を示す終了時背景画像を生成する終了時背景画像生成部と、前記開始時背景画像および前記終了時背景画像の差分の領域を示す差分領域画像を生成する差分検出処理部と、前記終了時背景画像から前記差分領域画像により示される領域を含む部分画像を抜き出し、当該部分画像を含む代表画像を生成する代表画像生成部とを備え、前記差分検出処理部は、前記開始時背景画像を２値化し２値化画像を構成する各画素について、当該画素を中心にし且つ予め１以上の文字が入るように定められた大きさと形状を有する矩形を定義し、当該矩形を予め定められた複数のブロックに分割し、当該ブロック内の画素の濃度の勾配の方向を求め、当該方向のヒストグラムを求め、当該ヒストグラムに対応する特徴ベクトルを求め、前記終了時背景画像を２値化し２値化画像を構成する各画素について、当該画素を中心にし且つ前記大きさと前記形状を有する矩形を定義し、当該矩形を前記複数のブロックの数と同数のブロックに分割し、当該ブロック内の画素の濃度の勾配の方向を求め、当該方向のヒストグラムを求め、当該ヒストグラムに対応する特徴ベクトルを求め、前記開始時背景画像と前記終了時背景画像の同じ位置での画素から求めた各特徴ベクトルの距離を求め、当該各距離を比較し、比較の結果に基づいて、当該位置での差異の有無を判定することを特徴とする。

第２の本発明は、映像ファイルを構成するチャプタを代表する代表画像を生成するチャプタ代表画像生成装置の動作方法であって、前記チャプタ代表画像生成装置のチャプタ検出部が、前記映像ファイルに映った場所で線が書かれ始める開始時から始まり線が消去される終了時で終わるチャプタを当該映像ファイルから検出し、前記チャプタ代表画像生成装置の開始時背景画像生成部が、前記映像ファイルの前記開始時に再生されるフレーム画像を用いて当該フレーム画像に映った場所の背景を示す開始時背景画像を生成し、前記チャプタ代表画像生成装置の終了時背景画像生成部が、前記映像ファイルの前記終了時に再生されるフレーム画像を用いて当該フレーム画像に映った場所の背景を示す終了時背景画像を生成し、前記チャプタ代表画像生成装置の差分検出処理部が、前記開始時背景画像および前記終了時背景画像の差分の領域を示す差分領域画像を生成し、前記チャプタ代表画像生成装置の代表画像生成部が、前記終了時背景画像から前記差分領域画像により示される領域を含む部分画像を抜き出し、当該部分画像を含む代表画像を生成し、前記差分検出処理部は、前記開始時背景画像を２値化し２値化画像を構成する各画素について、当該画素を中心にし且つ予め１以上の文字が入るように定められた大きさと形状を有する矩形を定義し、当該矩形を予め定められた複数のブロックに分割し、当該ブロック内の画素の濃度の勾配の方向を求め、当該方向のヒストグラムを求め、当該ヒストグラムに対応する特徴ベクトルを求め、前記終了時背景画像を２値化し２値化画像を構成する各画素について、当該画素を中心にし且つ前記大きさと前記形状を有する矩形を定義し、当該矩形を前記複数のブロックの数と同数のブロックに分割し、当該ブロック内の画素の濃度の勾配の方向を求め、当該方向のヒストグラムを求め、当該ヒストグラムに対応する特徴ベクトルを求め、前記開始時背景画像と前記終了時背景画像の同じ位置での画素から求めた各特徴ベクトルの距離を求め、当該各距離を比較し、比較の結果に基づいて、当該位置での差異の有無を判定することを特徴とする。

本発明によれば、データサイズが小さく且つチャプタの内容を把握できるチャプタの代表画像を生成することができる。

本実施の形態に係るチャプタ代表画像生成装置の構成を示す機能ブロック図である。 チャプタ代表画像生成装置の動作方法を示すフローチャートである。 開始時背景画像の生成の様子の一例を示す図である。 図４（ａ）は、開始時背景２値化画像の一例であり、図４（ｂ）は、終了時背景２値化画像の一例である。 差分検出処理部１５による処理の説明に用いるための図であり、図５（ａ）は、矩形Ｓａを定義した開始時背景２値化画像の一例であり、図５（ｂ）は、矩形Ｓｂを定義した終了時背景２値化画像の一例である。

以下、本発明の実施の形態について図面を参照して説明する。

図１は、本実施の形態に係るチャプタ代表画像生成装置の構成を示す機能ブロック図である。図２は、チャプタ代表画像生成装置の動作方法を示すフローチャートである。

図１において、チャプタ代表画像生成装置１は、映像ファイルを構成するチャプタを代表する代表画像を生成する装置である。ここでは、映像ファイルに映っている場所は、例えば教室であり、チャプタは、映像ファイルにおける以下の部分である。つまり、チャプタは、ここでは、例えば講師により黒板に線、つまり文字や図形が書かれ始める講義の開始時から、線が消去、つまり黒板消しで文字などが消去される講義の終了時まで部分である。

チャプタ代表画像生成装置１は、図示しない記憶装置などから映像ファイルを読み取る映像取得部１１と、映像ファイルに映った場所で線が書かれ始める開始時から始まり線が消去される終了時で終わるチャプタを映像ファイルから検出するチャプタ検出部１２と、映像ファイルにおけるチャプタの開始時に再生されるフレーム画像を用いて当該フレーム画像に映った場所の背景を示す開始時背景画像を生成する開始時背景画像生成部１３と、映像ファイルにおけるチャプタの終了時に再生されるフレーム画像を用いて当該フレーム画像に映った場所の背景を示す終了時背景画像を生成する終了時背景画像生成部１４と、開始時背景画像および終了時背景画像の差分の領域を示す差分領域画像を生成する差分検出処理部１５と、終了時背景画像から差分領域画像により示される領域を含む部分画像を抜き出し、部分画像を含む代表画像を生成する代表画像生成部１６とを備える。

映像取得部１１は、図示しない記憶装置などから映像ファイルを読み取り、映像ファイルをチャプタ検出部１２に出力する。

チャプタ検出部１２は、映像ファイルに映った場所で線が書かれ始める開始時から始まり線が消去される終了時で終わるチャプタを映像ファイルから検出する（図２：ステップ１０１）。

チャプタ検出部１２は、例えば、映像ファイルにおけるチャプタの位置を示すインデクスを映像ファイルに設定し、この映像ファイルを開始時背景画像生成部１３および終了時背景画像生成部１４に出力する（ステップ１０１）。

チャプタ検出部１２は、例えば、以下の方法でチャプタを検出する。

（１）板書された文字図形量の変動から検出する方法
チャプタ検出部１２は、まず、映像ファイルから一定間隔でフレーム画像をサンプリングし、ｎ番目のフレーム画像Ｆ（ｎ）とｎ−１番目のフレーム画像Ｆ（ｎ−１）の差分の２値化処理により、フレーム画像Ｆ（ｎ）における講師の領域（講師領域）を求め、これを各フレーム画像について行う。

次に、チャプタ検出部１２は、フレーム画像Ｆ（ｎ）から講師領域を消去した講師消去画像Ｇ（ｎ）を求めるために、フレーム画像Ｆ（ｎ）の講師領域以外の画素を講師消去画像Ｇ（ｎ）に転写し、フレーム画像Ｆ（ｎ）の講師領域に対応する、フレーム画像Ｆ（ｎ−１）について生成ずみの講師消去画像Ｇ（ｎ−１）の画素を、講師消去画像Ｇ（ｎ）に転写する処理を行う。

次に、チャプタ検出部１２は、講師消去画像Ｇ（ｎ）と講師消去画像Ｇ（ｎ−１）)の差分を２値化した文字差分画像を求め、フレーム画像Ｆ（ｎ−１）について生成ずみの文字差分画像と当該求めた文字差分画像とで変化のあった文字領域を検出する。

最後に、チャプタ検出部１２は、検出した文字領域の文字画素数を文字変化量（文字図形量の変動）として求め、文字変化量に基づいて、映像ファイルに映った場所で線が書かれ始める講義の開始時および線が消去される講義の終了時を検出する。つまり、チャプタ検出部１２は、こうして、チャプタを検出する。

（２）映像中の講師の手の領域や、文字図形を消す道具の領域を求め、手の位置や消す道具の位置から検出する方法
チャプタ検出部１２は、フレーム画像中の肌色エリアを検出し、複数の肌色エリアの位置関係から、手と頭部の領域を求め、手と頭部の領域の位置から、板書を行っているか否かを判定する。これにより、チャプタ検出部１２は、板書を行っている時間帯、つまり、チャプタを検出する。

または、チャプタ検出部１２は、黒板などのボードの下にある消す道具が移動したかを検出することで文字図形を消す動作を行ったかを判別する。これにより、チャプタ検出部１２は、特にチャプタの終了時を検出する。

（３）板書するときの音から検出する方法
黒板にチョークで板書するときには特有の突発音が連続する。チャプタ検出部１２は、その音の特徴を学習しておき、講師に装着したマイクで録音したデータから、板書を開始した時刻、板書を終了した時刻を検出する。つまり、チャプタ検出部１２は、チャプタを検出する。

図１に戻り、開始時背景画像生成部１３は、映像ファイルからフレーム画像を再生順でサンプリングし、サンプリングしたフレーム画像とインデクスを用いて、チャプタ開始時のフレーム画像に映った場所の背景を示す開始時背景画像を生成する。開始時背景画像生成部１３は、各チャプタについて生成した開始時背景画像を差分検出処理部１５に出力する（図２のステップ１０２）。

開始時背景画像生成部１３は、例えば、以下のように開始時背景画像を生成する。

開始時背景画像生成部１３は、まず、映像ファイルから一定間隔でフレーム画像をサンプリングする。

開始時背景画像生成部１３は、例えば、最初にサンプリングしたフレーム画像から、該当のインデクスにより示される、チャプタ開始時のフレーム画像までの各フレーム画像（以下、フレーム画像Ｆ（ｎ）という）について、サンプリングの順で、以下の処理を行う。

図３に示すように、開始時背景画像生成部１３は、フレーム画像Ｆ（ｎ）から線を消去し、つまり、消去後の画像（図の線消去画像Ｍ（ｎ））を生成する。

線消去画像の生成（線の消去）は、例えば、モルフォロジーによる平滑化処理により実現できる。例えば、黒板に板書されている場合は、フレーム画像に最小値フィルタを施した後、最大値フィルタを実行すると、線消去画像となる。文字などをホワイトボードに黒いペンで書いた場合には、最大値フィルタを施した後に最小値フィルタを実行すればよい。

また、開始時背景画像生成部１３は、フレーム画像Ｆ（ｎ）に映った場所の前景の領域（例えば、講師の領域）を示す前景領域画像（図の前景領域画像ＴＣＨ（ｎ））を生成する。

開始時背景画像生成部１３は、チャプタ検出部１２と同様に、例えば、線消去画像Ｍ（ｎ）から、予め黒板等の位置として設定された位置の色を検出し、線消去画像Ｍ（ｎ）から、その色以外の色の領域を検出し、その領域を示す前景領域画像ＴＣＨ（ｎ）を生成する。なお、黒板等の位置の色は、予め検出し、記憶しておいてもよい。

次に、開始時背景画像生成部１３は、フレーム画像Ｆ（ｎ）から、前景領域画像ＴＣＨ（ｎ）により示される領域以外に該当する領域（フレーム画像背景領域という）を抜き出す。

次に、開始時背景画像生成部１３は、フレーム画像Ｆ（ｎ）が最初にサンプリングされたフレーム画像なら、以下の処理を行う。

つまり、開始時背景画像生成部１３は、フレーム画像背景領域を含み、かつ、前景領域画像ＴＣＨ（ｎ）に該当する領域には文字等がない画像（背景画像という）を生成する。 次に、開始時背景画像生成部１３は、背景画像を、例えば、背景画像記憶部（図示せず）に記憶させる。

一方、開始時背景画像生成部１３は、フレーム画像Ｆ（ｎ）が最初にサンプリングされたフレーム画像でないなら、以下の処理を行う。

つまり、開始時背景画像生成部１３は、フレーム画像Ｆ（ｎ）の１つ前にサンプリングされたフレーム画像を用いて生成された背景画像（図の背景画像Ｃ（ｎ−１））を背景画像記憶部（図示せず）から読み出す。

次に、開始時背景画像生成部１３は、背景画像Ｃ（ｎ−１）から、前景領域画像ＴＣＨ（ｎ）により示される領域に該当する領域（背景画像前景領域という）を抜き出す。

次に、開始時背景画像生成部１３は、フレーム画像背景領域および背景画像前景領域とからなる背景画像（図の背景画像Ｃ（ｎ））を生成する。

次に、開始時背景画像生成部１３は、最後に生成した背景画像、つまり、チャプタ開始時のフレーム画像がフレーム画像Ｆ（ｎ）である場合の背景画像を開始時背景画像として、差分検出処理部１５に出力する。

図１に戻り、終了時背景画像生成部１４は、映像ファイルからインデクスに基づき、各チャプタ終了時のフレーム画像やその他の必要なフレーム画像をサンプリングし、サンプリングしたフレーム画像を用いて、チャプタ終了時のフレーム画像に映った場所の背景を示す終了時背景画像を生成する。終了時背景画像生成部１４は、各チャプタについて生成した終了時背景画像を差分検出処理部１５に出力する（図２のステップ１０３）。

終了時背景画像生成部１４は、例えば、図３に示した、開始時背景画像生成部１３が開始時背景画像を生成した方法と同様の方法で終了時背景画像を生成する。つまり、終了時背景画像生成部１４は、最後に生成した背景画像を終了時背景画像として、差分検出処理部１５に出力する。

差分検出処理部１５は、各チャプタについて、該当の開始時背景画像および終了時背景画像の差分の領域を示す差分領域画像を生成し、差分領域画像と終了時背景画像を代表画像生成部１６に出力する（図２：ステップ１０４）。

差分検出処理部１５は、例えば、以下の方法で差分領域画像を生成する。

差分検出処理部１５は、まず、開始時背景画像および終了時背景画像を２値化し、図４（ａ）に示すような、開始時背景画像による２値化画像（開始時背景２値化画像という）と、図４（ａ）に示すような、終了時背景画像による２値化画像（終了時背景２値化画像という）とを得る。図４に示すように、開始時背景２値化画像は、黒板の色が除去され、主に開始時における黒板上の文字や図形を示す画像となり、終了時背景２値化画像も、同様に、主に終了時における黒板上の文字や図形を示す画像となる。

次に、差分検出処理部１５は、開始時背景２値化画像および終了時背景２値化画像のそれぞれについて以下の処理を行う。

差分検出処理部１５は、画像を構成する各画素について、当該画素を中心にし且つ予め１以上の文字が入るように定められた大きさと形状を有する矩形を定義する。

図５（ａ）に示す矩形Ｓａは、開始時背景２値化画像の右上にある１画素について定義された矩形を例示したものであり、図５（ｂ）に示す矩形Ｓｂは、終了時背景２値化画像の右上にある同じ位置の１画素について定義された矩形を例示したものである。

差分検出処理部１５は、次に、矩形を予め定められた複数のブロックに分割する。

図５（ａ）に示す矩形Ｓａは、縦方向でＮ個に分割され、横方向でＭ個に分割され、よって、矩形Ｓａは、Ｎ×Ｍ個のブロックを有する。

図５（ｂ）に示す矩形Ｓｂは、矩形Ｓａの大きさおよび形状と同じ大きさおよび形状を有している。また、矩形Ｓｂは、縦方向でＮ個に分割され、横方向でＭ個に分割される。つまり、矩形Ｓｂは、矩形Ｓａのブロック数と同数のブロックに分割される。矩形Ｓａ、Ｓｂでは、ブロック同士の大きさおよび形状も同一である。

次に、差分検出処理部１５は、各画素について、対応するブロック内の画素の濃度の勾配の方向を求め、方向のヒストグラムを求め、ヒストグラムに対応する特徴ベクトルを求める。

例えば、差分検出処理部１５は、矩形Ｓａ内のＮ×Ｍ個のブロックのそれぞれにつき、その中での画素の濃度の勾配の方向を求める。方向は、例えば、予め定めた８方向の中から選択される。次に、差分検出処理部１５は、方向のヒストグラム（８方向のそれぞれに該当するブロックの数を示すもの）を求め、ヒストグラムに対応する特徴ベクトルを求める。これにより、矩形Ｓａに対応する特徴ベクトル、つまり、矩形Ｓａに対応する特徴ベクトルが求まる。差分検出処理部１５は、例えば、矩形Ｓｂに対応する特徴ベクトル、つまり、矩形Ｓｂに対応する特徴ベクトルも同様に求める。

次に、差分検出処理部１５は、開始時背景画像と終了時背景画像の同じ位置での画素から求めた各特徴ベクトル（例えば、図５（ａ）の矩形Ｓａに対応する特徴ベクトルと、図５（ｂ）の矩形Ｓｂに対応する特徴ベクトル）の距離を求め、各距離を比較し、比較の結果に基づいて、当該位置での差異の有無を判定する。

次に、差分検出処理部１５は、差異があると判定された画素のみからなる領域を示す差分領域画像を生成する。

図１に戻り、代表画像生成部１６は、各チャプタについて、該当の終了時背景画像および差分領域画像を用い、例えば、終了時背景画像において差分領域画像を含むように矩形領域を設定し、終了時背景画像から矩形領域に対応する部分画像を抜き出し、部分画像を当該チャプタの代表画像として出力する（図２のステップ１０５）。これにより、一連の処理が終わる。

また、差分検出処理部１５において、開始時背景２値化画像と終了時背景２値化画像との差分領域を求めた場合、終了時背景２値化画像に文字などがあって開始時背景２値化画像にはない領域が差分領域である場合と、開始時背景２値化画像に文字などがあって終了時背景２値化画像にはない領域が差分領域である場合とがあるので、これら２種類の差分領域のうち、どちらか一方の領域を実際の差分領域とし、代表画像生成部１６は、終了時背景２値化画像から差分領域を含む矩形領域に対応する部分画像を抜き出す、または、開始時背景２値化画像から差分領域を含む矩形領域に対応する部分画像を抜き出し、これをチャプタの代表画像として出力する方法も有効である。

矩形領域の大きさは、例えば、予め代表画像の大きさに設定しておけばよい。

また、差分領域画像が大きすぎる、または、小さすぎる場合は、大きさに応じて、予め矩形領域を拡大または縮小し、拡大または縮小後の矩形領域に差分領域画像が内接するようにして部分画像を抜き出し、抜き出した部分画像を縮小または拡大し、代表画像の大きさになるようにすればよい。

以上説明したように、本実施の形態によれば、映像ファイルを構成するチャプタを代表する代表画像を生成するチャプタ代表画像生成装置であって、映像ファイルに映った場所で線が書かれ始める開始時から始まり線が消去される終了時で終わるチャプタを当該映像ファイルから検出するチャプタ検出部１２と、映像ファイルの前記開始時に再生されるフレーム画像を用いて当該フレーム画像に映った場所の背景を示す開始時背景画像を生成する開始時背景画像生成部１３と、映像ファイルの前記終了時に再生されるフレーム画像を用いて当該フレーム画像に映った場所の背景を示す終了時背景画像を生成する終了時背景画像生成部１４と、開始時背景画像および終了時背景画像の差分の領域を示す差分領域画像を生成する差分検出処理部１５と、終了時背景画像から差分領域画像により示される領域を含む部分画像を抜き出し、部分画像を含む代表画像を生成する代表画像生成部１６とを備えるので、データサイズが小さく且つチャプタの内容を把握できるチャプタの代表画像を生成することができる。

また、差分検出処理部１５は、開始時背景画像を２値化し２値化画像を構成する各画素について、当該画素を中心にし且つ予め１以上の文字が入るように定められた大きさと形状を有する矩形を定義し、当該矩形を予め定められた複数のブロックに分割し、当該ブロック内の画素の濃度の勾配の方向を求め、当該方向のヒストグラムを求め、当該ヒストグラムに対応する特徴ベクトルを求める。

また、差分検出処理部１５は、終了時背景画像を２値化し２値化画像を構成する各画素について、当該画素を中心にし且つ同じ大きさと同じ形状を有する矩形を定義し、当該矩形を同数のブロックに分割し、当該ブロック内の画素の濃度の勾配の方向を求め、当該方向のヒストグラムを求め、当該ヒストグラムに対応する特徴ベクトルを求める。

また、差分検出処理部１５は、開始時背景画像と終了時背景画像の同じ位置での画素から求めた各特徴ベクトルの距離を求め、当該各距離を比較し、比較の結果に基づいて、当該位置での差異の有無を判定する。

よって、差分検出処理部１５は、この判定結果に基づいて差分領域画像を生成することができる。

なお、チャプタ代表画像生成装置１としてコンピュータを機能させるためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録でき、また、インターネットなどの通信網を介して伝送させて、広く流通させることができる。

１ チャプタ代表画像生成装置
１１ 映像取得部
１２ チャプタ検出部
１３ 開始時背景画像生成部
１４ 終了時背景画像生成部
１５ 差分検出処理部
１６ 代表画像生成部

Claims (3)

1. 映像ファイルを構成するチャプタを代表する代表画像を生成するチャプタ代表画像生成装置であって、
   前記映像ファイルに映った場所で線が書かれ始める開始時から始まり線が消去される終了時で終わるチャプタを当該映像ファイルから検出するチャプタ検出部と、
   前記映像ファイルの前記開始時に再生されるフレーム画像を用いて当該フレーム画像に映った場所の背景を示す開始時背景画像を生成する開始時背景画像生成部と、
   前記映像ファイルの前記終了時に再生されるフレーム画像を用いて当該フレーム画像に映った場所の背景を示す終了時背景画像を生成する終了時背景画像生成部と、
   前記開始時背景画像および前記終了時背景画像の差分の領域を示す差分領域画像を生成する差分検出処理部と、
   前記終了時背景画像から前記差分領域画像により示される領域を含む部分画像を抜き出し、当該部分画像を含む代表画像を生成する代表画像生成部と
   を備え、
   前記差分検出処理部は、
   前記開始時背景画像を２値化し２値化画像を構成する各画素について、当該画素を中心にし且つ予め１以上の文字が入るように定められた大きさと形状を有する矩形を定義し、当該矩形を予め定められた複数のブロックに分割し、当該ブロック内の画素の濃度の勾配の方向を求め、当該方向のヒストグラムを求め、当該ヒストグラムに対応する特徴ベクトルを求め、
   前記終了時背景画像を２値化し２値化画像を構成する各画素について、当該画素を中心にし且つ前記大きさと前記形状を有する矩形を定義し、当該矩形を前記複数のブロックの数と同数のブロックに分割し、当該ブロック内の画素の濃度の勾配の方向を求め、当該方向のヒストグラムを求め、当該ヒストグラムに対応する特徴ベクトルを求め、
   前記開始時背景画像と前記終了時背景画像の同じ位置での画素から求めた各特徴ベクトルの距離を求め、当該各距離を比較し、比較の結果に基づいて、当該位置での差異の有無を判定する
   ことを特徴とするチャプタ代表画像生成装置。
2. 映像ファイルを構成するチャプタを代表する代表画像を生成するチャプタ代表画像生成装置の動作方法であって、
   前記チャプタ代表画像生成装置のチャプタ検出部が、前記映像ファイルに映った場所で線が書かれ始める開始時から始まり線が消去される終了時で終わるチャプタを当該映像ファイルから検出し、
   前記チャプタ代表画像生成装置の開始時背景画像生成部が、前記映像ファイルの前記開始時に再生されるフレーム画像を用いて当該フレーム画像に映った場所の背景を示す開始時背景画像を生成し、
   前記チャプタ代表画像生成装置の終了時背景画像生成部が、前記映像ファイルの前記終了時に再生されるフレーム画像を用いて当該フレーム画像に映った場所の背景を示す終了時背景画像を生成し、
   前記チャプタ代表画像生成装置の差分検出処理部が、前記開始時背景画像および前記終了時背景画像の差分の領域を示す差分領域画像を生成し、
   前記チャプタ代表画像生成装置の代表画像生成部が、前記終了時背景画像から前記差分領域画像により示される領域を含む部分画像を抜き出し、当該部分画像を含む代表画像を生成し、
   前記差分検出処理部は、
   前記開始時背景画像を２値化し２値化画像を構成する各画素について、当該画素を中心にし且つ予め１以上の文字が入るように定められた大きさと形状を有する矩形を定義し、当該矩形を予め定められた複数のブロックに分割し、当該ブロック内の画素の濃度の勾配の方向を求め、当該方向のヒストグラムを求め、当該ヒストグラムに対応する特徴ベクトルを求め、
   前記終了時背景画像を２値化し２値化画像を構成する各画素について、当該画素を中心にし且つ前記大きさと前記形状を有する矩形を定義し、当該矩形を前記複数のブロックの数と同数のブロックに分割し、当該ブロック内の画素の濃度の勾配の方向を求め、当該方向のヒストグラムを求め、当該ヒストグラムに対応する特徴ベクトルを求め、
   前記開始時背景画像と前記終了時背景画像の同じ位置での画素から求めた各特徴ベクトルの距離を求め、当該各距離を比較し、比較の結果に基づいて、当該位置での差異の有無を判定する
   ことを特徴とするチャプタ代表画像生成装置の動作方法。
3. 請求項１記載のチャプタ代表画像生成装置としてコンピュータを機能させるためのコンピュータプログラム。