JP5091806B2 - 映像処理装置及びその方法 - Google Patents

Description

本発明は、テロップを有する映像を、シーンに分割する映像処理装置及びその方法に関する。

近年、放送の多チャンネル化等、又は、情報インフラの発展により、多くの映像コンテンツが流通するようになっている。一方で、ハードディスク・レコーダーやチューナー搭載パソコンのような録画装置の普及によって、映像コンテンツをデジタルデータとして保存し、画像処理を行うことでき、ユーザが効率的な視聴が可能となっている。

このような画像処理の１つとしては、１つの映像コンテンツを一定のまとまりのあるシーンに分割し、「頭出し」ができる機能がある。これらのシーンの開始点はチャプタ点とも呼ばれ、録画装置が自動的にチャプタ点を検出して設定したり、ユーザが任意の箇所にチャプタ点を設定できる。

映像をシーンに分割する方法として、カメラの切り替わりを境界として一つのシーンとする方法がある。また、特許文献１では、スポーツ映像を対象として、試合の経過時間や残り時間を表す競技タイムテロップを検出し、競技タイムテロップが表示されている区間のカメラの切り替わりをシーン境界としないことでシーンの過分割を抑制している。
特開２００８−７２２３２公報

スポーツ映像においては、競技の経過時間や残り時間を示すテロップが表示されるものがある。スポーツ映像は、このテロップの出現を検出することにより競技シーンを他のシーンと分割することができる。

しかし、スポーツ映像は、この競技タイムテロップの表示されている区間と競技シーンは必ずしも一致しない。例えば、スポーツ映像は、競技中なのに途中で競技タイムテロップが消えてしまったり、競技終了後もしばらく表示されていたりすることがある。そのため、従来の映像処理装置は、正しくシーン分割ができないという問題点がある。

そこで、本発明は、前記の問題点を解決するためになされたものであって、ユーザが見たいシーンへ分割することができる映像処理装置及びその方法を提供することを目的とする。

本発明は、複数フレームからなる映像を入力する映像入力部と、前記映像中の各フレーム区間において、任意の間隔で周期的に変化する周期変化領域を含むテロップ領域を検出し、前記テロップ領域から時間表示領域を検出する表示検出部と、前記テロップ領域を有する複数のフレーム区間を、それぞれ入力区間として設定し、前記複数の入力区間の中の任意の２つの前記入力区間を選択する区間選択部と、前記２つの入力区間における時間表示領域に基づいて、前記２つの入力区間のそれぞれの表示時間を算出する表示時間算出部と、前記２つの入力区間の表示時間に基づいて、前記２つの入力区間が一連のシーン区間であるか否かを判定し、前記一連のシーン区間であると判定した前記２つの入力区間を連続したシーン区間である出力区間として出力するシーン情報算出部と、を有することを特徴とする映像処理装置である。

本発明によれば、スポーツなどの映像を、ユーザが見たいシーンへ分割することができる。

以下、本発明の一実施形態に係る映像処理装置について図１〜図２７に基づいて説明する。

なお、「映像」とは、複数のフレームからなる動画像という。

「フレーム区間」とは、フレーム開始時刻とフレーム終了時刻とで指定される複数のフレームを含む映像である。フレーム開始時刻とフレーム終了時刻とは、映像の流れに対応した時系列のフレーム時間における時刻である。同様に、フレーム開始時刻とフレーム終了時刻とで指定される複数のフレームを含む映像であるが、後述するシーン情報算出部１０３によって出力される出力区間に含まれるものを、本実施形態では「シーン区間」と称する。

「テロップ」とは、文字に限らず、画面上に合成された文字又は画像を指す。また、文字を含まない画像だけのロゴマークのようなものもテロップと呼ぶ。

「表示時間」とは、映像中にテロップで表示された、時間として認識できる数字をいう。

（１）映像処理装置の構成
図１に示すように、本実施形態の映像処理装置は、映像入力部１０１、表示検出部１０２、シーン情報算出部１０３を備えている。

映像入力部１０１は、複数の映像フレーム１００からなる映像を入力する。

表示検出部１０２は、映像フレームから時間表示領域を含むテロップ領域を検出する。表示検出部１０２の詳細は後に図２〜図９に基づいて説明する。

シーン情報算出部１０３は、検出されたテロップ領域が表示されているフレーム区間に基づいてシーン情報を算出する。シーン情報算出部１０３の詳細は後に図１１〜図２６に基づいて説明する。

（２）映像入力部１０１
まず、映像入力部１０１について説明する。

映像入力部１０１は、１枚の映像フレーム１００をメモリに読み込む。このとき、映像入力部１０１は、過去に読み込んだ映像フレーム１００を既に蓄積している場合は、映像フレーム１００がフレーム時間順に並ぶように蓄積する。この処理を、全映像フレーム１００を読み込み終わるか、所定のフレーム数蓄積するまで繰り返す。処理が終わったら表示検出部１０２へ映像フレーム２００として出力する。

（３）表示検出部１０２の構成
表示検出部１０２について、図２に基づいて説明する。

映像中からテロップ領域を検出する方法は様々な方法があるが、ここではその一例を示す。図２は表示検出部１０２の詳細な構成を示すブロック図である。

表示検出部１０２は、第１表示検出部２０１、第２表示検出部２０２、第３表示検出部２０３、統合部２０４を含んでいる。

スポーツ映像の競技タイムテロップのようなテロップ領域は、時間表示領域が周期的に変化する特徴を有している。また、映像中では図３のように様々なテロップが出現する。競技タイムテロップは、図３の右下のテロップのように、周辺の変化しない領域と共にテロップ文字が表示されるケースが非常に多い。そこで、まず仮テロップ領域を検出し、次に仮テロップ領域の内部に周期的に変化する周期変化領域を含む時間表示領域を競技タイムテロップのテロップ領域として検出する。図５（Ｃ）の例では、数字の８．１の部分が時間表示領域、数字の部分を含む外枠に囲まれた領域がテロップ領域となる。

第１表示検出部２０１は、蓄積された映像フレーム２００を入力として、これらの映像フレーム２００のうち、閾値以上の数フレームにわたって変化しない領域を仮テロップ領域として検出する。この仮テロップ領域は、ある閉領域であり、閉領域外部では変化する領域があっても構わない。すなわち、閉領域内部の変化する領域は非変化領域ではない。

第２表示検出部２０２は、仮テロップ領域に内包される領域を部分領域に分割し、一定の間隔でサンプリングされた隣接フレーム間で各部分領域の変化の有無を検出する。

第３表示検出部２０３は、所定の間隔で周期的に変化する部分領域を周期変化領域として検出する。

統合部２０４は、近接する位置の周期変化領域の集合を統合し、周期変化領域を含む仮テロップ領域を、時間表示領域を含むテロップ領域として検出する。

（４）表示検出部１０２の動作
次に、表示検出部１０２の動作について図４に基づいて説明する。

（４−１）ステップＳ４０１
まず、ステップＳ４０１において、第１表示検出部２０１は、入力された映像に含まれる複数の映像フレーム２００にわたって長時間変化しない領域を仮テロップ領域として全て抽出する。第１表示検出部２０１は、検出した各仮テロップ領域について、その出現位置、大きさ、出現区間を記憶する。仮テロップ領域は、従来から使用されているテロップ検出技術を用いることで検出可能である。仮テロップ領域の検出方法の例としては、特開２００７−２７４１５４公報で示されている方法がある。

（４−２）ステップＳ４０２
次に、ステップＳ４０２において、各部２０１，２０２，２０３，２０４は、ステップＳ４０３以降の処理を、検出した全ての仮テロップ領域について行う。

（４−３）ステップＳ４０３
次に、ステップＳ４０３において、第１表示検出部２０１は、検出した仮テロップ領域に内包される領域が存在するか調べ、存在する場合にはステップＳ４０４に進み、存在しなかった場合にはこの仮テロップ領域の検査を終了し、ステップＳ４０２に戻る。

（４−４）ステップＳ４０４
次に、ステップＳ４０４において、第２表示検出部２０２は、検出した仮テロップ領域に内包される領域を各部分領域に分割し、一定の間隔でサンプリングされた隣接フレーム間で各部分領域の変化の有無を検出する。

換言すれば、第２表示検出部２０２は、仮テロップ領域の外縁よりも内部の領域を部分領域に分割する。仮テロップ領域の外縁よりも内部の領域は、変化しない部分も含まれる場合がある。例えば後に説明する図５（Ｂ）の例では、右下の仮テロップ領域に含まれる２つの黒塗りの楕円領域は変化領域である。この結果、仮テロップ領域の表示区間中の各隣接フレーム対について、各部分領域の変化の有無が出力される。第２表示検出部２０２の詳細は、後に図６（Ａ）、図６（Ｂ）に基づいて説明する。

仮テロップ領域に内包される領域は、図５のように検出した非変化領域を内包する最小の長方形を求め、この長方形の内部の領域とする。また、非変化領域に囲まれた領域だけをその領域としてもよい。

時間表示領域が仮テロップ領域からはみ出している場合もある。そこで、仮テロップ領域の内部だけでなく、周辺領域を対象として周期変化領域の検出を行ってもよい。

（４−５）ステップＳ４０５
次に、ステップＳ４０５において、第３表示検出部２０３は、仮テロップ領域に内包される領域中で、所定の間隔で周期的に変化する部分領域を周期変化領域として検出する。第３表示検出部２０３は、全ての部分領域について検査を行い、周期変化領域が検出された場合にはステップＳ４０６に進み、周期変化領域が全く検出されなかった場合にはその仮テロップ領域の検査を終了してステップＳ４０２に進む。第３表示検出部２０３の詳細は、後に図７に基づいて説明する。

（４−６）ステップＳ４０６
最後に、ステップＳ４０６において、統合部２０４は、近接する位置の周期変化領域の集合を統合し、周期変化領域を含む仮テロップ領域を、時間表示領域を含むテロップ領域として検出する。

検出されたテロップ領域は、シーン情報算出部１０３へ出力される。

そして、統合部２０４は、このテロップ領域の検査を終了し、ステップＳ４０２に戻る。統合部２０４の詳細は後に説明する。

（５）ステップＳ４０４の詳細
次に、ステップＳ４０４での領域変化の検出方法について図６（Ａ）、図６（Ｂ）に基づいて説明する。第２表示検出部２０２が、画像の変化の有無を判定するには様々な方法があるが、ここではその一例を示す。

第２表示検出部２０２の動作は、仮テロップ領域に内包される領域を部分領域に分割するステップと、一定の間隔でサンプリングされた隣接フレーム間で各部分領域の変化の有無を検出するステップからなる。

（５−１）第１の領域変化の検出方法
第１の領域変化の検出方法は、図６（Ａ）のように各画素を部分領域として、隣接フレーム間で各画素の変化の有無を判定する。

領域変化の有無の判定は、注目画素の隣接フレーム間での距離（類似度）をｄとし、「ｄ＞閾値」を満たす場合に、変化したとみなす。距離（類似度）は、画素の色や輝度、輝度を閾値として２値化した数値などの特徴量の距離（類似度）を用いる。色の距離としては、ＲＧＢ値やＨＳＶ値のユークリッド距離がある。Ｈは色相、Ｓは彩度、Ｖは輝度を示す。また、別の方法として、注目画素の周辺画素を含めたＮ画素の距離の平均ｄ＝Σｄ／Ｎを求め、「平均したｄ＞閾値」を満たす場合に、注目画素が変化したとみなしてもよい。なお、Ｎは予め決定しておく。

（５−２）第２の領域変化の検出方法
第２の領域変化の検出方法は、図６（Ｂ）のように隣接する画素の集合を一つの部分領域として、変化の有無を検出する方法である。

変化の有無の判定方法としては、部分領域中で変化した画素の割合をｒとし、「ｒ＞閾値」を満たす場合に、部分領域が変化したとみなす。各画素の変化の有無の検出には、前記の第１の領域変化の検出方法等を用いればよい。また、各領域の色ヒストグラムを用いて領域全体で比較してもよい。

（５−３）第３の領域変化の検出方法
第３の領域変化の検出方法は、エッジ画像を用いて領域変化を検出する方法である。これは、テロップ領域は高輝度で表示されることが多いという特徴を利用する。まず各フレームを輝度値で２値化する。そして、画素値が１（高輝度）の画素のうち、注目画素の上下左右の４画素とも１である場合は、注目画素の画素値を０に変更する。こうして得られたエッジ画像を用いて、前記の第１、第２の領域変化の検出方法で領域変化の検出を行う。

（６）ステップＳ４０５の詳細
次に、ステップＳ４０５での周期変化領域の検出方法について、図７に基づいて説明する。第３表示検出部２０３が、周期性を検出する方法は様々があるが、ここではその一例を示す。

（６−１）第１の方法
第１の方法について説明する。

第３表示検出部２０３は、所定の間隔で周期的に変化する部分領域を周期変化領域として検出する。

まず、第３表示検出部２０３は、検出したい領域の周期Ｃを決定する。

次に、第３表示検出部２０３は、周期Ｃで変化する領域を検出する。

次に、第３表示検出部２０３は、周期Ｃでサンプリングを行う。

次に、第３表示検出部２０３は、各部分領域を内包する仮テロップ領域の表示されているフレーム区間において、時間方向の変化率が閾値以上となる部分領域を、周期Ｃで変化する部分領域として検出する。時間方向の変化率は、仮テロップ領域の総出現時間に対する各部分領域の変化回数の比率により求める。

（６−２）第２の方法
周期Ｃで変化する領域を検出する第２の方法について説明する。

この第２の方法は、Ｎを整数として、Ｃよりも短い周期Ｃ／Ｎでサンプリングを行う方法である。前回その部分領域が変化してから次の変化までの間隔がＣであった場合に周期変化したとみなし、周期変化の割合が閾値以上となる部分領域を周期Ｃで変化する周期変化領域として検出する。

図７に一例を示す。この例では検出周期をＣとして、区間長が４Ｃの間に３回の周期変化が観測されたので、周期変化率は３／４となる。

（６−３）第３の方法
第３の方法は、検出したい領域の周期が事前に定まっていない場合の方法である。

第３の方法は、時間方向の変化の有無のデータを入力として周波数解析を行うことによって、各部分領域の周期変化の有無とその周期を求めることができる。

例えば、離散フーリエ変換を行って、その中で最大のスペクトルが事前に定めた閾値以上であれば、そのスペクトルの周期を持つ周期変化領域として出力する。

（７）ステップＳ４０６の詳細
最後に、ステップＳ４０６における統合部２０４のテロップ領域の検出方法について説明する。

統合部２０４は、近接する位置の同一周期の周期変化領域の集合を統合し、周期変化領域を含む仮テロップ領域を、時間表示領域を含むテロップ領域として検出する。

（７−１）第１の方法
まず、第２表示検出部２０２で各画素を一つの部分領域とした場合の第１の方法について説明する。

第２表示検出部２０２は、検出した各周期変化画素について、その画素からの距離がｄ以内の領域で、周期変化画素の割合が閾値以上となる場合に、その領域を周期変化領域として統合する。そして、第２表示検出部２０２は、周期変化領域を含む仮テロップ領域を、テロップ領域として検出する。

（７−２）第２の方法
第２表示検出部２０２で隣接する画素の集合を一つの部分領域とした場合の第２の方法について説明する。

第２表示検出部２０２は、各周期変化領域の画素数、又は距離の近い周期変化領域をまとめた合計の画素数ｎを求め、「ｎ＞閾値」となる場合にテロップ領域とする。

（７−３）第３の方法
統合部２０４は、第３の方法として、近接する位置の異なる周期を持つ周期変化領域を一つの周期変化領域として統合してもよい。時間表示領域は、図８のように異なる周期の複数の領域から成ることが多い。そこで、前記の第１、２の方法等を利用して検出した各周期の領域を統合して一つの周期変化領域とする方法もある。

この統合により、後の処理が簡単になったり、テロップ領域の検出精度を向上することができる。例えば、１秒周期で変化する領域の右隣に０．１秒周期で変化する領域があり、左隣に１０秒周期で変化する領域があった場合、テロップ領域である可能性が非常に高い。逆に、周辺に周期的に変化する領域が存在しなかった場合、ごみとして除去するなどの処理を施してもよい。

（８）テロップ領域の検出精度向上のための処理
テロップ領域は、番組中で画像フレーム中の同じ位置に表示されることが多いという特徴がある。そこで、テロップ領域の検出精度向上のため、以下の処理を施してもよい。

まず、検出された複数の仮テロップ領域をその画像フレーム内での表示位置、大きさ、色情報に基づいていくつかのグループに分類する。グループ化の方法は、２つの仮テロップ領域の表示位置の重なる部分を求め、各々の仮テロップ領域の面積に対する重なる部分の比率が閾値以上あれば同一のグループとする。また、色ヒストグラムを用いて仮テロップ領域同士の類似度を計算しても良い。

次に、出現頻度の少ない仮テロップ領域のグループを削除する。グループの削除の基準は、例えば３つ以下からなるグループでもよいし、各グループの総出現時間を求め、総出現時間が番組の総時間に一定の比率をかけた値未満のグループを削除しても良い。

時間表示領域のタイムは常に変化しているわけではない。例えば、柔道やアメリカンフットボールなどでは、競技が頻繁に中断し、中断中はタイムの進行が止まる。

競技タイムテロップが表示されている間ほとんどタイムが止まっているようなフレーム区間の場合、検出したテロップ一つ一つについて周期変化を検出する方法ではうまく検出できない。

そこで、同じ番組中で何度も表示されるテロップをグループ化して平均の周期変化を検出することで、間にタイムが静止しているフレーム区間があっても正しく検出できるようになる。

（９）テロップ領域の検出方法の具体例
次に、表示検出部１０２の検出方法の具体例について図９に基づいて説明する。

まず、表示検出部１０２は、従来から用いられているテロップ抽出技術を用いて、映像中の仮テロップ領域とその表示区間を求める（図９（Ａ）のステップＳ９１、図９（Ｂ））。

次に、表示検出部１０２は、画像を輝度値で２値化する（図９（Ａ）のステップＳ９２）。

次に、表示検出部１０２は、１秒周期でサンプリングされた前後のフレーム間で画素値の変化を調べる（図９（Ａ）のステップＳ９３）。輝度値を２値化する際は、輝度値＞１５０を満たす場合に１、それ以外を０とする。

次に、表示検出部１０２は、仮テロップ領域の表示されているシーン区間内で変化率が閾値以上となる画素を周期変化画素として検出する（図９（Ａ）のステップＳ９１、図９（Ｃ））。

最後に、表示検出部１０２は、周期変化画素が密集する領域を含んでいる仮テロップ領域をテロップ領域として検出する（図９（Ａ）のステップＳ９４、図９（Ｄ））。テロップ領域の判定は解像度によるが、３６０ｘ２４０の場合、５ｘ５の領域に１０画素以上の周期変化画素が存在している場合に、その領域を含む仮テロップ領域をテロップ領域とする。

ここでは時間方向の変化率の閾値は０．３とする。時間方向の変化率とは、あるフレーム区間内で変化があった割合を示す。例えば、１０フレームで３回変化があったら０．３とする。但し、閾値が高いとテロップ領域の未検出が増え、閾値が低いとテロップ領域以外の誤検出が増えるため、この値は実験的に求めるのが有効である。

（１０）表示検出部１０２の変更例
表示検出部１０２は図２のような構成でなくてもよい。

例えば、特許文献１に示されている方法を用いても良い。

また、仮テロップ領域を検出してその内部の領域をテロップを認識し、テロップが数字と記号のみを含む場合にテロップ領域であると判定するなどの方法もある。テロップ認識は、従来から用いられているテロップ認識技術を使用して行うことができる。例えば、特開２００７−１０２２６４公報で示されている方法などがある。

（１１）シーン情報算出部１０３
シーン情報算出部１０３について説明する。

シーン情報算出部１０３は、テロップ領域が表示されているフレーム区間に基づいて、競技場面として出力する。例えば、テロップ領域が表示されているフレーム区間自体を競技場面として出力する方法がある。

しかし、このテロップ領域の表示されているフレーム区間と競技場面は必ずしも一致しない。図２６の例に示すように、競技中なのに途中でテロップ領域が消えてしまったり、競技終了後もしばらく表示されることもある。シーン情報算出部１０３は、このような場面を検出し、真の競技場面を推定する。

本実施形態における競技シーンの算出の大まかな流れを図１０に示す。

また、テロップ領域には、放送中の現在の時刻表示も含まれるが、これは競技場面の推定に不要なので除去する。この時刻表示は１分単位なので、周期が５秒以上のテロップ領域を除去するの処理などを行えばよい。

シーン情報算出部１０３は、検出されたテロップ領域について、テロップ領域の出現回数が閾値回数以上のグループ、又は、テロップ領域の総出現時間が閾値秒以上のテロップ領域のグループだけを、競技のシーン情報の算出対象とする。

次に、シーン情報算出部１０３について図１１に基づいて説明する。図１１はシーン情報算出部１０３の詳細な構成を示すブロック図である。

シーン情報算出部１０３は、区間入力部１１０１、シーン処理部１１０２、除去部１１０３、ラベリング部１１０４を含んでいる。

なお、シーン情報算出部１０３の各部１１０１〜１１０４は、複数のシーン区間を入力として処理を行い、処理後の複数のシーン区間を出力する。以後では簡単のため、入力した処理前の状態を「入力区間」、処理後の出力した状態を「出力区間」という。このため、ある処理部で出力された出力区間が別の処理部の入力区間として入力されることもある。図２６の例では、上の行に示した時間進行
表示部分が入力区間を示し、下の行に示した競技場面が出力区間を示す。

区間入力部１１０１は、表示検出部１０２によって得られたテロップ領域の表示されている複数のフレーム区間を、入力区間としてシーン処理部１１０２に出力する。

シーン処理部１１０２は、任意の２つの入力区間を選択する。シーン処理部１１０２は、各入力区間中のフレームに含まれる時間表示領域の表示時間に基づいて、前記２つの入力区間が一連のシーン区間であるか判定する。シーン処理部１１０２は、一連のシーン区間であると判定した２つの入力区間を補間して統合して処理したシーン区間を出力区間として出力する。

除去部１１０３は、入力区間内で所定の条件を満たすフレーム区間を、特定のフレーム区間と異なるフレーム区間として取り除き、残りのフレーム区間を出力区間として設定し出力する。

ラベリング部１１０４は、出力された出力区間のうち、時間表示領域の静止区間を検出して、その静止区間が重要区間か中断区間かのラベリングを行う。

図１１のブロック図はあくまで一例を示したものであり、シーン情報算出部１０３の処理部１１０１〜１１０４は必ずしも全てが必要なわけではなく、一部の処理だけを含んだり、順番が入れ替わっても良い。

シーン処理部１１０２や除去部１１０３では、フレーム区間のシーン処理や除去を行うとしているが、シーン処理や除去を行わずラベリングするだけでもよい。実際にシーン処理や除去を行うかどうかはアプリケーションや状況によって使い分ければよい。例えば、テロップ領域の表示区間が８分間で、８分のダイジェスト映像を作りたい場合には、時間表示領域の表示区間をそのまま用いればよい。５分のダイジェスト映像を作りたい場合には、テロップ領域の表示区間中でシーン外区間と判定された入力区間を除去し、残りの入力区間からダイジェスト映像を作成するなどの利用方法がある。

（１２）シーン処理部１１０２
次に、図１１のシーン処理部１１０２について図１２に基づいて説明する。図１２はシーン処理部１１０２の詳細な構成を示すブロック図である。

（１２−１）目的
シーン処理部１１０２の目的について説明する。

スポーツ番組では、競技中にテロップ領域が消失し、再度表示されるような場合がある。この場合、テロップ領域が消失する前と再出現した後で、時間的な整合性がとれているかどうかを調べることで、前後の区間が同一の競技シーンであるかを判定することができる。例えば、図１４のように、テロップ領域が消失する直前のタイムが１０秒で、その５秒後に再びテロップ領域が出現して、そのタイムが１５秒であれば、テロップ領域が消える前と後で同じ競技中であると判定し、前後のフレーム区間を連続させたシーン区間を真の競技場面とする。

また、柔道のような途中で中断区間を含むような競技の場合、中断中にテロップ領域が消失し、再度表示される場合がある。このような場合も、テロップ領域が消失する前の再出現した後のタイムを比較することで前後のフレーム区間が同一の競技場面であるか判定することができる。中断区間ではタイムが変化しないので、消失前後の時間表示領域の表示時間はほとんど変化していない。例えば、図１７のように、テロップ領域が消失する直前のタイムが２：３１秒で、その１０秒後に再びテロップ領域が出現して、そのタイムが２：３２秒であれば、テロップ領域が消える前と後で同じ競技中であると判定し、前後の区間を連続させたフレーム区間を真の競技場面とする。

（１２−２）シーン処理部１１０２の構成
シーン処理部１１０２は、図１２に示すように、第１シーン処理部１２０１、第２シーン処理部１２０２を含んでいる。

第１シーン処理部１２０１は、任意の２つの入力区間について、各入力区間中のフレームに含まれる時間表示領域の表示時間に基づいて、テロップ領域が消失していた入力区間の長さと、消失した前後の時間表示領域の表示時間の進みが同程度であるか比較する。第１シーン処理部１２０１は、同程度である場合には２つの入力区間が一連のシーンであると判定して、各入力区間を、連続したシーン区間である出力区間として出力する。

第２シーン処理部１２０２は、映像中でフレーム開始時刻の序列が連続している２つの入力区間に挟まれた入力区間のうち、第１シーン処理部１２０１で処理されなかった入力区間について判定する。第２シーン処理部１２０２は、この判定する入力区間について、前後の各入力区間中のフレームに含まれる時間表示領域の表示時間に基づいて、消失した前後の時間表示領域の表示時間の差を算出する。第２シーン処理部１２０２は、この差が小さい場合には２つの入力区間が一連のシーン区間であると判定して、各入力区間を連続したシーン区間である出力区間として出力する。

（１２−３）第１シーン処理部１２０１の構成
第１シーン処理部１２０１は、第１区間選択部１３０１、フレーム選択部１３０２、実時間差分算出部１３０３、表示時間差分算出部１３０４、第１連続性判定部１３０５を含んでいる。

第１区間選択部１３０１は、複数の入力区間から任意の２つの入力区間を選択する。この場合に、第１区間選択部１３０１は、２つの入力区間の間には、任意のフレーム時間が存在するようにものを選択する。すなわち、第１区間選択部１３０１は、フレーム時間が連続した入力区間は選択しない。

フレーム選択部１３０２は、前記２つの入力区間からそれぞれ１フレームずつ選択する。

実時間差分算出部１３０３は、この選択した２つのフレームのフレーム出現時間の差分を、実時間差分として算出する。

表示時間差分算出部１３０４は、この選択した２つのフレーム中にそれぞれ含まれる時間表示領域の表示時間の差分を、表示時間差分として算出する。

第１連続性判定部１３０５は、実時間差分と表示時間差分の差が閾値以下となる場合に、前後一対の入力区間が一連のシーン区間であると判定する。

（１２−４）第２シーン処理部１２０２の構成
第２シーン処理部１２０２は、第２区間選択部１６０１、フレーム選択部１６０２、表示時間差分算出部１６０３、第２連続性判定部１６０４を含んでいる。

第２区間選択部１６０１は、第１シーン処理部１２０１で補間されなかった一対の入力区間のうち、映像におけるフレーム開始時刻の序列（順序）が連続している２つの入力区間を選択する。

フレーム選択部１６０２は、フレーム開始時刻が早い時刻の入力区間の終了フレームと、遅い時刻の入力区間の開始フレームを選択する。

表示時間差分算出部１６０３は、この選択した２つのフレーム中にそれぞれ含まれる時間表示領域の表示時間の差分を、表示時間差分として算出する。

第２連続性判定部１６０４は、表示時間差分が閾値以下である場合に、前記２つの入力区間を連続したシーン区間である出力区間として出力する。また、第２連続性判定部１６０４は、前記２つの入力区間に挟まれた入力区間を、前記出力区間の中断区間として設定する。

（１２−５）第１シーン処理部１２０１の動作
次に、第１シーン処理部１２０１の動作について説明する。

第１シーン処理部１２０１は、複数の入力区間から選択される全ての一対の入力区間について、以降の処理を行う。

まず、第１区間選択部１３０１は、複数の入力区間から任意の２つの入力区間を一対の入力区間として選択する。この選択時には、処理時間短縮や精度向上のため、制約条件をつけてもよい。例えば、２つの入力区間が時間的に近いペアだけを選択するなどの方法がある。開始時刻の序列が連続する２つの入力区間だけを選択しても良い。

次に、フレーム選択部１３０２は、選択された前記２つの入力区間からそれぞれ１フレームずつ選択する。選択するフレームは入力区間内であればどこでもよい。

次に、実時間差分算出部１３０３は、選択された２つのフレームのフレーム出現時間の差分を、実時間差分として出力する。選択した２つのフレームの実時間差分は、映像のサンプリングレートを用いて求めることができる。

次に、表示時間差分算出部１３０４は、選択した２つのフレーム中にそれぞれ含まれる時間表示領域の表示時間の差分を、表示時間差分として算出する。表示時間差分算出部１３０３の詳細は後に説明する。

次に、第１連続性判定部１３０５は、実時間差分と表示時間差分の差を求める。この差が閾値以下である場合に、前後の入力区間の時間的な整合性がとれているとみなし、一連のシーン区間であると判定する。例えば、差分が１秒以下の場合に一連のシーン区間と判定すればよい。

最後に、一連のシーン区間を連続させる処理を行い、出力区間として出力する。その結果、この出力区間の開始フレームは、フレーム出現時刻の早い時刻の入力区間の開始フレームとなり、終了フレームは、フレーム出現時刻の遅い時刻の入力区間の終了フレームとなる。

（１２−６）表示時間差分算出部１３０４
次に、表示時間差分算出部１３０４の詳細について説明する。

表示時間差分算出部１３０４は、各フレーム中の時間表示領域をテロップ認識してタイムを求め、特定の単位に変換した後（１：３０は９０秒など）、差分を表示時間差分として出力する。テロップ認識は、従来から使用されているテロップ認識技術を用いればよい。

次に、時間表示領域をテロップ認識しないで区間連続性を判定する第１の方法について、図１５に示す具体例を用いて説明する。

この第１の方法は、まず実時間差分が１０秒（の倍数）となるように２つのフレームを選択する。次に、両フレームの時間表示領域中の秒を示す部分について類似度に基づくマッチングを行い、同一であると判定された場合に両フレーム区間が一連のシーンを表すと判定する。類似度の計算は、図４のステップＳ４０４における「第２の領域変化検出方法」で説明した方法を用いてもよいし、他の文献で提案されている方法を用いてもよい。時間表示領域中の秒を示す部分は、周期１秒で変化する領域として事前に求めておく。

時間表示領域の各単位（分、秒など）は、周期的に同じ数字になるという特徴がある。例えば３秒から１３秒（１０秒後）、１３秒から２３秒（２０秒後）のように、秒の部分は１０秒毎に同じ数字となる（この例では３）。図１５の例では、番組開始から１０秒〜２０秒、２５秒〜３３秒を示すテロップ領域が観測されている。フレーム選択部１３０２では、番組開始から１７秒のフレームと２７秒のフレームをそれぞれ選択する。両フレームの時間表示領域中の秒を示す部分を比較し、マッチングがとれた場合には、前後のフレーム区間を一連のシーン区間であると判定する。

時間表示領域をテロップ認識しないで区間連続性を判定する第２の方法がある。この第２の方法は、前後の第１区間で時間表示領域の変化のタイミングが同じかどうかにより判定する。例えば、１秒周期で変化する時間表示領域の場合、秒間３０フレームでサンプリングを行い、各フレームに０番から２９番までの番号を付ける。前の入力区間では毎秒２７番で時間表示領域が変化しており、後ろの入力区間でも毎秒２７番で時間表示領域が変化していれば、前後の入力区間の変化のタイミングが同じなので、両フレーム区間が一連の競技シーンと判定することができる。

（１２−７）第２シーン処理部１２０２の動作
次に、第２シーン処理部１２０２の動作について説明する。

第２シーン処理部１２０２は、第１シーン処理部１２０１で補間されなかった一対の入力区間のうち、映像におけるフレーム開始時刻の序列が連続している全ての一対の入力区間について、以降の処理を行う。

まず、第２区間選択部１６０１は、第１シーン処理部１２０１で補間されなかった一対の入力区間のうち、映像におけるフレーム開始時刻の序列が連続している任意の２つの入力区間を選択する。

フレーム選択部１６０２は、第２区間選択部１６０１で選択された２つの入力区間から、映像中でフレーム開始時刻が早い時刻の入力区間の終了フレームと、遅い時刻の入力区間の開始フレームを選択する。

表示時間差分算出部１６０３は、選択した２つのフレーム中にそれぞれ含まれる時間表示領域の表示時間の差分を、表示時間差分として算出する。表示時間差分算出部１６０３は、第１シーン処理部１２０１の表示時間差分算出部１３０４と同様の動作であるため詳細は省略する。

第２連続性判定部１６０４は、表示時間差分が閾値以下である場合に、前記２つの入力区間を、連続させる処理を行ったフレーム区間を出力区間として出力する。また、第２連続性判定部１６０４は、前記２つの入力区間に挟まれたフレーム区間を出力区間の中断区間として設定する。例えば、差分が３秒以下の場合に前後の入力区間が一連のシーン区間であると判定して処理すればよい。

最後に、一連のシーン区間を処理して、出力区間として出力する。その結果、出力区間の開始フレームは、フレーム出現時刻の早い時刻の入力区間の開始フレームとなり、終了フレームは、フレーム出現時刻の遅い時刻の入力区間の終了フレームとなる。

（１２−８）その他
競技場面の判断は、前記方法とＣＭ情報とを併用しても良い。生中継の番組の場合、テロップ領域が消える前と後で時間的な整合性があっても、途中でＣＭを挟んでいる場合がある。そこで、ＣＭ情報を利用し、テロップ領域が消えているフレーム区間がＣＭを含んでいる場合にはそのフレーム区間を競技場面としないという処理が有効である。ＣＭ情報は、従来から使用されているＣＭ検出技術を用いることで生成可能である。例えば、特開２００６−３２４７７０公報で示されている方法を利用すればよい。

また、その他の競技場面の判断方法としては、テロップ領域が消えている区間が短い（例えば１０秒程度）場合には競技場面と判定してもよい。一つの競技が終了してから次の競技が始まる間にはしばらく時間があることが多いので、このような処理も効果的である。

また、第１シーン処理部１２０１で処理されなかった入力区間のうち、テロップ領域が消えている区間が短いものは競技の中断区間として判定することもできる。

（１２−９）重要区間の設定
第１シーン処理部１１０２によって処理されたフレーム区間を含む出力区間を重要区間として設定してもよい。このことについて図１８を用いて説明する。例えば、オリンピックなどの国際映像を用いた番組では、国際映像に競技タイムテロップが重畳されているため、競技中は基本的に競技タイムテロップが含まれている。しかし、日本選手などの注目選手が出場している競技では、競技の途中でその選手のアップを映した独自映像が入り、競技タイムテロップが一時的に消失する。この特徴を利用して、競技の途中で競技タイムテロップが消失する競技シーンを重要競技とみなすことができる。

また、前記のような特徴を利用してサムネイル画像の選択に用いることができる。競技タイムテロップが消えている入力区間は選手のアップが映っていることが多い。そのため、その入力区間内からサムネイル画像を選択し、その競技場面を現す代表画像として用いる。単純に競技の先頭をサムネイル画像として選択した場合、全ての競技で同じような映像が選択されてしまうのに対し、この方法を用いることで、代表画像により出場選手の把握が可能になる。

また、顔検出と組み合わせて用いてもよい。競技タイムテロップが消えている入力区間内で顔検出を行い、顔が検出されたフレームをサムネイル画像とすることで、精度よくサムネイル画像が選択できる。

（１３）除去部１１０３
次に、シーン情報算出部１０３の除去部１１０３について図１９に基づいて説明する。図１９は除去部１１０３の詳細な構成を示すブロック図である。

テロップ領域は、競技が開始する少し前から表示されたり、図２１に示すように競技終了後もしばらく表示されていることがある。このような区間を検出する方法として、時間表示領域が変化しているかどうかを利用する方法がある。競技中は時間表示領域のタイムは変化しているが、競技開始前や終了後は止まる。そのため、除去部１１０３は、時間表示領域が変化していない入力区間を求めることで不要な入力区間を除去できる。

また、陸上競技や競泳などのタイムを競う競技では、同じ種目のレースであっても、競技毎にゴールタイムがそれぞれ異なる。これを用いて、図２３の例に示すようにリプレイのフレーム区間を検出することができる。例えば、同じ１０００ｍ走であっても、第１レースでは３：２６であり、第２レースでは３：３１といったように、異なるレースで同じタイムが出ることは稀である。それに対して、リプレイシーンでは元の映像と同じタイムとなる。そこで、ゴールタイムが同じものはリプレイシーンとして検出して、その入力区間を除去する。

除去部１１０３は、区間縮小部１９０１、リプレイ除去部１９０２を含んでいる。

区間縮小部１９０１は、入力区間内で時間表示領域が変化していない静止区間を検出する。区間縮小部１９０１は、入力区間の開始フレーム、又は、終了フレームのどちらか一方を含む静止区間を不要なものとして取り除く。区間縮小部１９０１は、残りの入力区間を出力区間として出力する。

リプレイ除去部１９０２は、任意２つの入力区間について、フレームの類似度に基づいて同一性を判定する。リプレイ除去部１９０２は、同一であると判定された場合に、フレーム出現時刻が遅い時刻の入力区間を、フレーム出現時刻が早い時刻の入力区間のリプレイシーンであるとして、入力区間から除去した入力区間を出力区間として出力する。

図１９のブロック図はあくまで一例を示したものであり、除去部１１０３の処理部１９０１〜１９０２は必ずしも全てが必要なわけではなく、一部の処理だけを含んだり、順番が入れ替わっても良い。

（１３−１）区間縮小部１９０１
次に、図１９の区間縮小部１９０１について図２０に基づいて説明する。図２０は区間縮小部１９０１の詳細な構成を示すブロック図である。

区間縮小部１９０１は、変化検出部２００１、静止区間算出部２００２を含んでいる。

変化検出部２００１は、時間表示領域を構成する各周期変化領域の変化の有無に基づいて時間表示領域の変化の有無を判定する。

静止区間算出部２００２は、時間表示領域の変化率がその変化周期より著しく低い区間を静止区間として出力する。

次に、図１９の区間縮小部１９０１の動作について説明する。

区間縮小部１９０１は、検出した全ての入力区間について、以降の処理を行う。

まず、変化検出部２００１は、時間表示領域を構成する各周期変化領域の変化の有無に基づいて時間表示領域の変化の有無を判定する。

時間表示領域が同一周期の周期変化領域のみから構成されている場合、時間表示領域を構成する全周期変化領域を対象として、変化の有無の判定を行う。変化の有無の判定方法としては、図４のステップＳ４０４における「第２の領域変化検出方法」で説明した方法を用いればよい。

時間表示領域が複数の周期の周期変化領域から構成されている場合、その中で最も短い周期を持つ周期変化領域を対象として、変化の有無の判定を行う。変化の有無の判定方法としては、図４のステップＳ４０４における「第２の領域変化検出方法」で説明した方法を用いればよい。

静止区間算出部２００２は、時間表示領域の表示時間方向の変化率がその変化周期よりも著しく低い区間を、時間表示領域が変化していない静止区間として出力する。

始めに、注目フレームの前後ｎフレームについて各隣接フレームを比較し、［変化した画素／周期変化領域に含まれる全画素］を閾値処理することにより時間表示領域の変化の有無を検出する。

そして、［前後ｎフレームの時間表示領域の変化回数／２ｎ］を時間表示領域の時間方向の変化率として求める。静止区間を求める際の閾値には、変化周期Ｃに一定の比率Ｒを掛けた数値ＣｘＲを用いる。時間表示領域の変化率がＣｘＲ未満となる区間を静止区間とする。

最後に、入力区間の開始フレーム、又は、終了フレームを含む静止区間を不要なものとして取り除き、残りの入力区間を出力区間として出力する。

（１３−２）リプレイ除去部１９０２
次に、図１９のリプレイ除去部１９０２について図２２に基づいて説明する。図２２はリプレイ除去部１９０２の詳細な構成を示すブロック図である。

リプレイ除去部１９０２は、同一性判定部２２０１、リプレイ検出部２２０２を備えている。

同一性判定部２２０１は、任意の２つの入力区間について、入力区間の終了直前のフレームの全部又は一部を比較し、その類似度に基づいて同一性を判定する。

リプレイ検出部２２０２は、終了フレームが同一であると判定された場合に、映像中でテロップ領域の出現時刻が遅いシーンを出現時刻が早いシーンのリプレイであるとする。

次に、図１９のリプレイ除去部１９０２の動作について説明する。

リプレイ除去部１９０２は、全ての入力区間の対について、以降の処理を行う。

まず、同一性判定部２２０１は、２つの入力区間について、入力区間の終了直前のフレームの全部又は一部を比較し、その類似度を閾値として同一性を判定する。画面全体の類似度、又は、映像中の時間表示領域の類似度を比較する。類似度の計算は、従来から使用されている画像比較技術を利用して求めることができる。

リプレイ検出部２２０２は、２つの入力区間が同一と判定された場合には、フレーム出現時刻が遅い時刻の入力区間を、フレーム出現時刻が早い時刻の入力区間のリプレイシーンであるとして出力する。

最後に、リプレイシーンであると判定された入力区間を取り除き、残りの入力区間を出力区間として出力する。

（１４）ラベリング部１１０４
次に、シーン情報算出部１０３のラベリング部１１０４について図２４に基づいて説明する。図２４はラベリング部１１０４の詳細な構成を示すブロック図である。

ラベリング部１１０４は、第１静止区間判定部２４０１、第２静止区間判定部２４０２を含んでいる。

第１静止区間判定部２４０１は、入力区間中の非静止区間に挟まれた静止区間について、時間表示領域が静止していた入力区間の長さと、静止していた前後の時間表示領域の表示時間の進みが同程度であるか比較し、同程度である場合にはその静止区間を重要区間であると判定する。

第２静止区間判定部２４０２は、第１静止区間判定部２４０１で重要区間と判定されなかった静止区間について、前後の各入力区間中のフレームに含まれる時間表示領域の表示時間に基づいて、消失した前後の時間表示領域の表示時間の差が小さい場合には、その静止区間を中断区間であると判定する。

図２４のブロック図はあくまで一例を示したものであり、ラベリング部１１０４の処理部２４０１〜２４０２は必ずしも全てが必要なわけではなく、一部の処理だけを含んだり、順番が入れ替わっても良い。

（１４−１）第１静止区間判定部２４０１
第１静止区間判定部２４０１は、図１３の第１シーン処理部１２０１とほぼ同様の構造のため、図は省略する。すなわち、第１静止区間判定部２４０１は、フレーム選択部１３０２、実時間差分算出部１３０３、表示時間差分算出部１３０４、第１連続性判定部１３０５を含んでいる。

フレーム選択部１３０２は、入力区間中の非静止区間に挟まれた静止区間について、その前後の入力区間からそれぞれ１フレームずつ選択する。

実時間差分算出部１３０３は、選択した２つのフレームのフレーム出現時間の差分を実時間差分として算出する。

表示時間差分算出部１３０４は、選択した２つのフレーム中にそれぞれ含まれる時間表示領域の表示時間の差分を、表示時間差分として算出する。

第１連続性判定部１３０５は、実時間差分と表示時間差分の差が閾値以下となる場合に、その静止区間が重要区間であると判定する。

（１４−２）第２静止区間判定部２４０２
第２静止区間判定部２４０２は、図１６の第２シーン処理部１２０２とほぼ同様の構造のため、図は省略する。第２静止区間判定部２４０２は、フレーム選択部１６０２、表示時間差分算出部１６０３、第２連続性判定部１６０４を含んでいる。

フレーム選択部１６０２は、第１静止区間判定部２４０１で重要区間と判定されなかった静止区間について、静止区間の終了フレームと直後の非静止区間の開始フレームの計２フレームを選択する。

表示時間差分算出部１６０３は、選択した２つのフレーム中にそれぞれ含まれる時間表示領域の表示時間の差分を、表示時間差分として算出する。

第２連続性判定部１６０４は、表示時間差分が閾値以下である場合に、その静止区間が中断区間と判定する。

（１４−３）効果
ラベリング部１１０４の効果について説明する。

陸上競技等ではチェックポイントで、柔道などでは試合の中断で、タイムが一旦止まる場合がある。例えば図２５（Ａ）に示すように、陸上競技では１０００ｍの通過時に通過タイムが表示されて、タイムがしばらく静止する。このような場合、タイムが静止した前後の区間での表示時間の変化と、タイムが静止していた区間の整合性をとることで、チェックポイントかどうかを判定することができる。

また、柔道では図２５（Ｂ）に示すように、柔道では競技が途中で中断し、タイムがしばらく静止する。この場合、タイムが静止した前後の区間で表示時間がほとんど変化していないため、静止区間の前後の区間のタイムを比較することで中断区間かどうか判定することができる。

（１４−４）その他の方法
その他の中断区間の判定方法は、前後の非静止区間に挟まれた時間表示領域の静止区間のうち、第１静止区間判定部２４０１で重要区間と判定されなかった入力区間を中断区間として判定してもよい。

チェックポイントか中断区間かを判定するには別の方法もある。例えば、陸上競技などでは１００ｍ、２００ｍなどのチェックポイントで一旦タイムが止まるが、このとき図２５（Ａ）のようにテロップ領域の周辺にチェックポイントの距離を示すテロップが表示されることが多い。そこで、一般的なテロップ抽出方法などを用いて、タイムが止まった直後にテロップが出現したかどうかを検出し、テロップが見つかった場合にはその地点をチェックポイント、見つからなかった場合には中断区間として判定する。

また、競技のジャンル情報を用い、陸上競技や競泳などの競技番組では静止区間をチェックポイントと判定し、柔道やアメリカンフットボールでは静止区間を中断区間と判定してもよい。

（１５）映像処理装置の利用方法
こうして求めた真の競技場面の情報を用いて、映像処理装置は、次のような利用方法が考えられる。

図２７は、スポーツ番組の再生方法の一例を示したものである。「前の競技」ボタンを押すと、再生地点から一つ前の競技の開始フレームにジャンプする。「競技先頭」ボタンを押すと、再生地点が競技中であった場合だけ、その競技の先頭にジャンプする。「ゴール」ボタンを押すと、再生地点が競技中であった場合だけ、その競技の終了フレームの直前にジャンプする。このようなインターフェースを用いることで、ユーザは番組を効率的に視聴することが可能となる。

また、柔道などでは競技中に中断区間を多く含むため、中断区間を除いた競技場面をダイジェスト映像として作成する。

また、検出したチェックポイントにチャプタを打ったり、チェックポイントを含めたダイジェスト映像の作成に利用する。リプレイシーンは既に編集されたハイライトとなっていることが多いので、リプレイシーンの入力区間をそのままハイライトとして再生できる。同一の競技のリプレイシーンが複数ある場合には、そのうち一つだけを再生すればよい。

前記実施形態の映像処理装置によれば、抽出したテロップの領域内の変化の周期性を検出し、テロップの一部が周期的に変化する領域をテロップ領域として検出して、競技中にテロップ領域が消失したり競技終了後もしばらく表示されるフレーム区間を推定することにより、映像を適切なシーン区間へ分割することができる。

（１６）映像処理装置の実現方法
映像処理装置の処理手順に示した指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記録しておき、このプログラムを読み込むことにより、前記した実施形態の映像処理装置による効果と同様な効果を得ることも可能である。前記の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータ又は組み込みシステムが読み取り可能な記録媒体であれば、その記録形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、前記した実施形態の映像処理装置と同様な動作を実現することができる。また、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼動しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行しても良い。

本願発明における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記録又は一時記録した記録媒体も含まれる。

記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本発明における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。

本願発明におけるコンピュータ又は組み込みシステムは、記録媒体に記録されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であっても良い。

本願発明の実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の実施形態における機能を実現することが可能な機器、装置を総称している。

本願発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係る映像処理装置のブロック図である。 表示検出部のブロック図である。 映像中で表示される競技タイムテロップの例を示す図である。 映像処理装置の動作の一例を示すフローチャートである。 映像中から抽出した仮テロップ領域と、仮テロップ領域に内包される領域の例を示す図である。 （Ａ）は、仮テロップ領域に内包される領域を画素毎に部分領域として分割した例を示す図であり、（Ｂ）は、仮テロップ領域に内包される領域を、隣接画素の集合を部分領域として分割した例を示す図であり、（Ｃ）はテロップ領域の拡大図である。 周期変化領域の検出方法の一例を示す図である。 テロップ領域中の周期変化領域の構成を示す図である。 表示検出部の動作の一例を示す図である。 シーン情報算出部の動作の流れを示すフローチャートである。 図１のシーン情報算出部のブロック図である。 図１１のシーン処理部のブロック図である。 図１２の第１シーン処理部のブロック図である。 第１シーン処理部によるシーンの補間が行われる具体例を示す図である。 第１シーン処理部による区間同一性の判定の一例を示す図である。 図１２の第２シーン処理部のブロック図である。 第２シーン処理部によるシーンの補間が行われる具体例を示す図である。 競技の途中でテロップ領域が消失する具体例を示す図である。 図１１のシーン外区間除去部のブロック図である。 図１９の区間縮小部のブロック図である。 区間縮小部によりシーン外区間の除去が行われる具体例を示す図である。 図１９のリプレイ除去部のブロック図である。 リプレイ除去部によりシーン外区間の除去が行われる具体例を示す図である。 図１１のラベリング部のブロック図である。 （Ａ）は、陸上競技のチェックポイントでタイムが止まる例を示す図であり、（Ｂ）は、柔道の中断区間でタイムが止まる例を示す図である。 テロップ領域と真の競技場面の関係を示す図である。 真の競技場面の情報を用いたスポーツ映像の再生方法の一例を示す図である。

符号の説明

１０１ 映像入力部
１０２ 表示検出部
１０３ シーン情報算出部

Claims (13)

1. 複数フレームからなる映像を入力する映像入力部と、
   前記映像中の各フレーム区間において、任意の間隔で周期的に変化する周期変化領域を含むテロップ領域を検出し、前記テロップ領域から時間表示領域を検出する表示検出部と、
   前記テロップ領域を有する複数のフレーム区間を、それぞれ入力区間として設定し、前記複数の入力区間の中の任意の２つの前記入力区間を選択する区間選択部と、
   前記２つの入力区間における時間表示領域に基づいて、前記２つの入力区間のそれぞれの表示時間を算出する表示時間算出部と、
   前記２つの入力区間の表示時間に基づいて、前記２つの入力区間が一連のシーン区間であるか否かを判定し、前記一連のシーン区間であると判定した前記２つの入力区間を連続したシーン区間である出力区間として出力するシーン情報算出部と、
   を有することを特徴とする映像処理装置。
2. 前記区間選択部は、前記複数の入力区間の中で、前記各入力区間のフレーム開始時刻の順序が並んでいる２つの前記入力区間を選択する、
   ことを特徴とする請求項１記載の映像処理装置。
3. 前記シーン情報算出部は、
   前記区間選択部で選択された２つの入力区間からそれぞれ１フレームずつ選択する第１フレーム選択部と、
   前記２つのフレームのフレーム出現時間の差分を、第１実時間差分として算出する第１実時間差分算出部と、
   前記２つのフレームの前記表示時間の差分を、第１表示時間差分として算出する第１表示時間差分算出部と、
   前記第１実時間差分と前記第１表示時間差分との差が第１閾値以下である場合に、前記２つの入力区間が前記一連のシーン区間であると判定する第１連続性判定部と、
   を有することを特徴とする請求項１記載の映像処理装置。
4. 前記シーン情報算出部は、
   前記第１連続性判定部で処理されなかった前記２つの入力区間に挟まれた入力区間のうち、フレーム開始時刻が早い時刻の前記入力区間の終了フレームと、フレーム開始時刻が遅い時刻の前記入力区間の開始フレームを選択する第２フレーム選択部と、
   前記２つのフレームの前記表示時間の差分を、第２表示時間差分として算出する第２表示時間差分算出部と、
   前記第２表示時間差分が第２閾値以下である場合に、前記２つの入力区間が前記一連のシーン区間であると判定すると共に、前記２つの入力区間に挟まれた入力区間を、前記出力区間の中断区間として設定する第２連続性判定部と、
   を有することを特徴とする請求項３記載の映像処理装置。
5. 前記シーン情報算出部は、前記出力区間を重要区間として設定する、
   ことを特徴とする請求項１記載の映像処理装置。
6. 前記出力区間内の前記フレームから、サムネイル画像を選択するサムネイル画像選択部をさらに有し、
   サムネイル画像選択部は、出力区間内で時間表示領域が掲出していないシーン区間内の前記フレームを優先して選択する、
   ことを特徴とする請求項１記載の映像処理装置。
7. 前記シーン情報算出部は、
   前記時間表示領域の周期変化が、任意の変化周期より低い前記入力区間を、静止区間として設定し、
   前記入力区間の開始フレーム、又は、終了フレームのどちらか一方に含まれる静止区間を前記入力区間から取り除き、残りの前記入力区間を前記出力区間として出力する、
   ことを特徴とする請求項１記載の映像処理装置。
8. 前記シーン情報算出部は、
   前記２つの入力区間について、前記入力区間のそれぞれの終了直前のフレーム同士を比較して類似度を求め、前記類似度に基づいて前記各フレームの同一性を判定し、
   前記各フレームが同一であると判定された場合に、前記テロップ領域のフレーム出現時刻が遅い前記入力区間を、前記フレーム出現時刻が早い前記入力区間のリプレイシーンであると判定し、
   前記入力区間から、前記リプレイシーンと判定された前記入力区間を取り除いた前記入力区間を、前記出力区間として出力する、
   ことを特徴とする請求項１記載の映像処理装置。
9. 前記シーン情報算出部は、
   前記時間表示領域の周期変化が、任意の変化周期より低い前記入力区間を、静止区間として設定し、
   前記静止区間を挟む前後の非静止状態の前記入力区間から１フレームずつ選択する第３フレーム選択部と、
   前記２つのフレームのフレーム出現時間の差分を、第３実時間差分として算出する第３実時間差分算出部と、
   前記２つのフレームの前記表示時間の差分を、第３表示時間差分として算出する第３表示時間差分算出部と、
   前記第３実時間差分と前記第３表示時間差分との差が第３閾値以下である場合に、前記静止区間を重要区間と判定する第１静止区間判定部と、
   を有することを特徴とする請求項１記載の映像処理装置。
10. 前記シーン情報算出部は、
    前記重要区間であると判定されなかった前記静止区間について、前記静止区間の終了フレームと、前記静止区間の直後の非静止状態の前記入力区間の開始フレームの表示時間の差分を、第４表示時間差分として算出する第４表示時間差分算出部と、
    前記第４表示時間差分が第４閾値以下である場合に、前記静止区間が中断区間であると判定する第２静止区間判定部と、
    を有することを特徴とする請求項９記載の映像処理装置。
11. 前記中断区間を除いた前記出力区間からダイジェスト映像を作成するダイジェスト映像作成部をさらに有する、
    ことを特徴とする請求項４又は１０記載の映像処理装置。
12. 複数フレームからなる映像を入力する映像入力ステップと、
    前記映像中の各フレーム区間において、任意の間隔で周期的に変化する周期変化領域を含むテロップを検出し、前記テロップから時間表示領域を検出する表示検出ステップと、
    前記時間表示領域を有する複数のフレーム区間を、それぞれ入力区間として設定し、前記複数の入力区間の中の任意の２つの前記入力区間を選択する区間選択ステップと、
    前記２つの入力区間における時間表示領域に基づいて、前記２つの入力区間のそれぞれの表示時間を算出する表示時間算出ステップと、
    前記２つの入力区間の表示時間に基づいて、前記２つの入力区間が一連のシーン区間であるか否かを判定し、前記一連のシーン区間であると判定した前記２つの入力区間を連続したシーン区間である出力区間として出力するシーン処理ステップと、
    を有することを特徴とする映像処理方法。
13. 複数フレームからなる映像を入力する映像入力機能と、
    前記映像中の各フレーム区間において、任意の間隔で周期的に変化する周期変化領域を含むテロップを検出し、前記テロップから時間表示領域を検出する表示検出機能と、
    前記時間表示領域を有する複数のフレーム区間を、それぞれ入力区間として設定し、前記複数の入力区間の中の任意の２つの前記入力区間を選択する区間選択機能と、
    前記２つの入力区間における時間表示領域に基づいて、前記２つの入力区間のそれぞれの表示時間を算出する表示時間算出機能と、
    前記２つの入力区間の表示時間に基づいて、前記２つの入力区間が一連のシーン区間であるか否かを判定し、前記一連のシーン区間であると判定した前記２つの入力区間を連続したシーン区間である出力区間として出力するシーン処理機能と、
    をコンピュータによって実現することを特徴とする映像処理プログラム。

Images