WO2004081783A1

WO2004081783A1 - ポインタ領域検出装置、方法及びプログラム、画像の対応付け装置、方法及びプログラム、並びにコンテンツ配信サーバ、コンテンツ配信方法

Info

Publication number: WO2004081783A1
Application number: PCT/JP2003/003069
Authority: WO
Inventors: Yutaka Katsuyama
Original assignee: Fujitsu Limited
Priority date: 2003-03-14
Filing date: 2003-03-14
Publication date: 2004-09-23
Also published as: JPWO2004081783A1; US20050128297A1; US7341352B2; JP4040046B2

Abstract

　ビデオフレームの画像中に撮像されているＯＨＰ画像において、ＯＨＰ画像の所定箇所を指示している光学ポインタの領域を検出するポインタ領域検出部１１４と、前記ビデオフレームの画像中に撮像されているＯＨＰ画像と前記ＯＨＰ画像の元文書であるＯＨＰファイルとを対応付ける画像対応付け部１０９と、前記ポインタ領域検出部により検出された光学ポインタの領域を前記画像対応付け部により対応付けられたＯＨＰファイルの領域に対応付けるポインタ領域対応付け部１１５とを備えてなる。

Description

明細書

ポインタ領域検出装置、方法及びプログラム、画像の対応付け装置、方法及びプログラム、並びにコンテンツ配信サーバ、コンテンツ配信方法技術分野

本発明は、 O H P (Overhead Projector)を使用した講義を撮像したビデオフレームの画像において、〇H P上でのボインタ位置を検出するポィンタ位置検出装置、ポインタ位置検出方法、並びにポインタ位置検出プログラムに関する。また、本発明は、例えば講義などで使用された〇H Pファイルと、講義などを撮影した動画像とを対応付けると共に、講義において指示されている〇H Pの部分を O H Pファイル上に明確に表示できるようにした画像対応付け装置及び画像対応付け方法並びに画像対応付けプログラム、及びそのようにして作成されたコンテンッを配信することができるコンテンッ配信サーバに関するものである。背景技術

社内教育や、一般の教育分野では、 e_learning の導入が行われつつある。 E- learning は、ィンタ一ネットを使った遠隔地教育で、 WE B画面を使って行われることが多い。 E- learning の形態は多種あるが、その中で普通の講義をもつともよく再現するものとして、講義の動画像（ビデオ画像）の再生と、それに同期した O H Pの拡大表示のコンテンツがある。このコンテンツを使うことで、受講者は、講師が使用する O H Pの拡大表示を視認することによって、 O H Pの内容が容易に理解されることになる。つまり従来のコンピュータディスプレイ画面上の制約から課題であった、講師が示した O H Pの場所とその内容の詳細表示が同時に可能になり、実際に講義を受講しているのとほぼ同じ環境が提供できることになる。

し力し、このシステムを実現するためには、 O H Pを説明する動画像と、そこに映し出されている OH Pの詳細表示が時間的に同期がとれている必要がある。現在の e-learningのコンテンツ作成用のォーサリングシステムでは、この部分を手動で行っていたため、コンテンツ作成には膨大な時間がかかっている。この問題の解決のため、本発明者等は、既に「動画像元文書対応付け方式」として、動画と元文書の対応付けの自動化を提案している（特願 2002-080500 号）。

一方、実際の講義では、講師は、 OHPの内容を順番に説明していく。つまり、音声による話の内容に従って、注目する〇HP上の箇所が移動していく。上述の動画一 OHP同期型の e- learning コンテンツでは、動画内の OHPの切り替わりだけを検出して、対応する OHP表示を切り替えているだけなので、 1つの O HPの中で、講師が話している箇所を注目させることはできなかった。

このため、動画に同期して表示される OHPにおいて、講師の説明箇所を表示するようにできれば、受講者は〇HPにおける講師の説明箇所を容易に注目することができるが、このためには、上記コンテンツを作成するに際して動画像（ビデォフレームの画像）中から講師が O H Pにおレ、て指示しているポインタ位置を検出しなければならない。

従来より、このようなボインタ位置の検出装置としては、例えば以下のようなものが知られている。

(1) 指示棒を使うもの

(a) 指示棒を使い、ビデオカメラで撮影した指示棒と指示棒の影を抽出して、ポインティング位置を獲得する方法（例えば、特許文献 1参照）。

(b) 先端発光型の特殊指示棒を使い、特定の波長光だけを抽出することでボインティング位置を獲得する方法（例えば、特許文献 2参照）。

( 2 ) レーザーボインタを使うもの

( a ) レーザーポィンタを使用し、レーザー光の点滅とビデオフレームを同期させて映像投影領域とポインティング位置を獲得する方法（例えば、特許文献 3参照）。

( b ) レーザーボインタを使用し、投影画像と撮影画像が全く同じ大きさになる装置を使って、投影画像と撮影画像の差分によりボインティング位置を獲得する方法（例えば、特許文献 4参照）。

(c) レーザーポインタを使用し、投影画像と撮影画像が全く同じ大きさになる装置を使って、スクリーン上のポインティングマーカの座標を特定波長光、または特定周期明滅または特定偏光または投影映像と撮像映像の差分画像により獲得する方法（例えば特許文献 5参照）。

(d) レーザーポインタを使用し、スクリーン上の基準マーカとポインティングマーカを赤外線ボインタで表示して、赤外線フィルタを通してその位置を獲得して、ポインティングマーカの座標を獲得する方法（例えば特許文献 6参照）。

(特許文献 1 )

特開平 8— 32092 1号公報

(特許文献 2)

特開平 1 0— 83246公報

(特許文献 3)

特開平 8— 331 66 7号公報

(特許文献 4)

特開平 9-62444号公報

(特許文献 5)

特開平 9一 803 72号公報

(特許文献 6)

特開平 1 1—85395号公報

し力しながら、（1) の指示棒を使うものは、講師が講義し難いという課題がある。また、コンテンツでは、講師の顔を中心にアップで撮影したいというニーズがぁり、指示棒を使うことで顔が移動することは、この場合に好ましくない。また、 (2) のレーザーボインタを使う方法においては、以下のような理由によりコストが掛かるという問題がある。

(a) の場合、ビデオフレームに同期させて点滅をさせる特殊なレーザーボインタと、レーザーボインタの点滅同期とビデオ映像を同時にキヤプチヤする特殊な装置が必要となる。

(b) の場合は、ビデオ投影と撮影を同時に行う一体型の特殊な装置が必要となる。また、投影画像と撮影画像が全く同じ大きさになる装置が必要となる。

(c) の場合は、（b) の場合と同様に投影画像と撮影画像が全く同じ大きさになる装置が必要となる。 ( d ) の場合は、スクリーン上に赤外線で照射した基準マーカとポマー力が必要で、このために特殊なレーザーポインタ、投影装置が必要となる。つまり、上述した従来のポインタ検出技術では、 1 ) レーザーポインタを撮影したビデオからレーザーポインタ位置を検出するために、特殊な装置、環境が必要となる。 2 ) プロジェクタで投影した映像を撮影した映像からボインタ位置を検出し、それを元のコンテンツ内の座標に変換、または対応付けるために、特殊な装置が必要となる。 3 ) 常にプロジェクタ投影画像全体がカメラフレームに収まるように撮影すること（またはそのような装置）が条件で、プロジェクタ投影画像をズーム撮影したり、カメラを上下左右に移動してプロジェクタ投影画像の —部だけ撮影したりすることができない。

本発明は、上述した課題を解決するためになされたものであり、特殊な装置を必要とせず、パソコン、プロジェクタの投影装置と、レーザーポインタ、ビデオカメラという一般的な装置だけで撮影したビデオ画像からレーザーボインタ位置を検出することができ、もって、低コストに実現できるポインタ領域検出装置、ボインタ領域検出方法、並びにボインタ領域検出プログラムを提供することを目的とする。

また、本発明は、例えば講義などで使用された O H Pファイル (元文書) と、講義などを撮影した動画像とを対応付けると共に、講義にぉレヽて指示されている O H P画像の部分を OH Pフアイル上に明確に表示できるようにした画像対応付け装置及び画像対応付け方法並びに画像対応付けプログラムを提供するとともに、このように対応付けされた動画像と O H Pフアイノレとをコンテンツとして配信するコンテンッ配信サーバ及びそのようなコンテンッ配信方法を提供することを目的としている。発明の開示

上述した課題を解決するため、本発明は、 O H P画像の所定箇所を指示している光学ポィンタの領域を該 O H P画像が撮像されたビデオフレームの画像にお!/ヽて検出するボインタ領域検出装置であって、ビデオフレームの画像の各画素領域における R G B値を取得する R G B値取得部と、前記 R G B取得部により取得された R G B値のそれぞれを変数とする所定の式を満たす画素領域をポインタ領域候補として抽出するボインタ領域候補抽出部と、前記ボインタ領域抽出部により抽出されたボインタ領域候補のうち、所定の評価値が最も高くなる画素領域をポインタ領域と判定するポインタ領域判定部とを備えてなるものである。

ここに、前記所定の式は R≥ 2 3 0、且つ、 3 R— 2 G— B≥ 1 5 5であり、前記評価値は、 3 R—2 G— B で与えられることを特徴とする。

また、本発明は、ビデオフレームの画像中に撮像されている O H P画像において OH P画像の所定箇所を指示している光学ポインタの領域を検出するポインタ領域検出装置であって、ビデオフレームの画像の各画素領域における R G B値を取得する R G B値取得部と、前記 R G B取得部により取得された R G B値及び色相における所定の式を満たすカゝ否かで 2値画像を作成する 2値画像作成部と、前記 2値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出部と、ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補を除く部分を用いて背景色を求める背景色演算部と、ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域にお!/、て前記領域候捕の部分を用レヽてポインタ領域候補の平均色を求めるポィンタ領域候補平均色演算部と、前記背景色に対するボインタ領域候補の平均色の色分布に基づいて前記ボインタ領域候補がボインタ領域であるカゝ否かを判定する、色情報を用いたボインタ領域判定部とを備えてなるものである。

このポインタ領域検出装置において、前記領域候補抽出部は、前記ラベリングにより得られたバタ一ンにつレ、て外形矩形を求め、さらに外形矩形の周囲及ぴそれから一定距離内にある外形矩形を一つのグループとして複数のグループを作成して各グループを前記領域候補とすることを特徴とする。このボインタ領域検出装置において、前記領域候補抽出部は、さらに前記各グループを所定画素数だけ周囲に拡大してなる領域を前記領域候補とすることを特徴とする。

また、本発明のポインタ領域検出装置において、前記背景色演算部は、前記領域候補抽出部により抽出された領域における前記ビデオ画像を色ラベリングし、前記パターンの領域を除いた部分で最大面積を有するラベル領域を背景領域として、該背景領域について平均色を求めることを特徴とする。また、本発明のポインタ領域検出装置において、前記ポインタ領域候補平均色演算部は、ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において平均色を求めると共に、前記領域候補内で平均色と一定のしきい値以内の画素をボインタ領域候補として抽出して、該ポィンタ領域候補における平均色を求めてポインタ領域候補の平均色とすることを特徴とする。

また、本発明のポインタ領域検出装置において、前記ポインタ領域判定部は、前記背景色演算部により求められた背景色に対する前記ボインタ領域平均色演算部により得られた平均色の色分布と、予め記憶された前記背景色に対するレーザ一ボインタの色分布とがー致すると認められるか否かにより前記ボインタ領域候補がボインタ領域であるか否かを判定することを特徴とする。

さらに、本発明のポインタ領域検出装置において、各背景色毎にレーザーボインタの色分布テーブルを備えていることを特徴とする。

また、本発明は、 OH P画像の所定箇所を指示している光学ボインタの領域を該 O H P画像が撮像されたビデオフレームの画像において検出するボインタ領域検出装置であって、ビデオフレームの画像の各画素領域における R G B値を取得する R G B値取得部と、前記 R G B取得部により取得された R G B値及び色相における所定の式を満たすか否かで 2値画像を作成する 2値画像作成部と、前記 2 値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出部と、ビデオフレームの画像において、前記複数の領域候補のそれぞれが含まれる各領域における平均色を求める平均色演算部と、前記平均色を用いて前記各領域候補の領域内でボインタパターンの候補を抽出するボインタパターン候補抽出部と、前記ポインタパターンの包絡線を用いて楕円形状を求める楕円形状演算部と、前記楕円形状の面積と前記ポインタパターンを形成する画素の占める面積との比率に基づいて前記ボインタパターン候 ¾iがレーザボインタ領域である力、否かを判定する、形状を用いたポインタ領域判定部とを備えてなるものである。

また、本発明のポインタ領域検出装置において、前記ポインタパターン候補抽出部は、前記平均色と一定のしきい値内にある色を有する画素を含んで前記ボインタパターンとすることを特徴とする。

また、本発明のポインタ領域検出装置において、前記ポインタ領域判定部は、前記楕円形状内で、奇数ラスターと偶数ラスターを別に調べ、どちらかのラスタ一で求めた前記ポインタパターンを形成する画素がある比率をラスター上の総画素数と比較し、それが一定比率以上であればレーザーボインタであると判定することを特 ί敫とする。

また、本発明は、〇Η Ρ画像の所定箇所を指示している光学ポインタの領域を該 Ο Η Ρ画像が撮像されたビデオフレームの画像にぉ、て検出するボインタ領域検出方法であって、ビデオフレームの画像の各画素領域における R G B値を取得する R G B値取得ステップと、前記 R G B取得部により取得された R G B値のそれぞれを変数とする所定の式を満たす画素領域をボインタ領域候補として抽出するボインタ領域候補抽出ステップと、前記ボインタ領域抽出部により抽出されたボインタ領域候補のうち、所定の評価値が最も高くなる画素領域をボインタ領域と判定するポインタ領域判定ステツプとを備えてなるものである。

また、本発明は、 O H P画像の所定箇所を指示している光学ボインタの領域を該 O H P画像が撮像されたビデオフレームの画像において検出するボインタ領域検出方法であって、ビデオフレームの画像の各画素領域における R G B値を取得する R G B値取得ステップと、前記 R G B取得部により取得された R G B値及び色相における所定の式を満たすか否かで 2値画像を作成する 2値画像作成ステップと、前記 2値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出ステップと、ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補を除く部分を用いて背景色を求める背景色演算ステップと、ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補の部分を用いてボインタ領域候捕の平均色を求めるボインタ領域候補平均色演算ステップと、前記背景色に対するボインタ領域候補の平均色の色分布に基づいて前記ボインタ領域候補がボインタ領域である力否かを判定する色情報を用いたポインタ領域判定ステップとを備えてなるものである。

また、本発明は、 O H P画像の所定箇所を指示している光学ポインタの領域を該〇 H P画像が撮像されたビデオフレームの画像において検出するボインタ領域検出方法であって、ビデオフレームの画像の各画素領域における R G B値を取得する R G B値取得ステツプと、前記 R G B取得部により取得された R G B値及ぴ色相における所定の式を満たすか否かで 2値画像を作成する 2値画像作成ステツプと、前記 2値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出ステップと、ビデオフレームの画像において、前記複数の領域候補のそれぞれが含まれる各領域における平均色を求める平均色演算ステップと、前記平均色を用レ、て前記各領域候補の領域内でボインタパターンの候補を抽出するポインタパターン候補抽出ステップと、前記ポインタパターンの包絡線を用！/、て楕円形状を求める楕円形状演算ステップと、前記楕円形状の面積と前記ポインタパターンを形成する画素の占める面積との比率に基づいて前記ポインタパターン候補がレーザボインタ領域であるか否かを判定する形状情報を用いたボインタ領域判定ステップとを備えてなるものである。

また、本努明は、 O H P画像の所定箇所を指示している光学ポインタの領域を該 O H P画像が撮像されたビデオフレームの画像にぉレ、て検出する処理をコンビユータに実行させるポインタ領域検出プログラムであって、ビデオフレームの画像の各画素領域における R G B値を取得する R G B値取得ステップと、前記 R G B取得部により取得された R G B値のそれぞれを変数とする所定の式を満たす画素領域をボインタ領域候補として抽出するボインタ領域候補抽出ステップと、前記ボインタ領域抽出部により抽出されたボインタ領域候補のうち、所定の評価値が最も高くなる画素領域をポインタ領域と判定するポインタ領域判定ステツプとをコンピュータに実行させるものである。

また、本発明は、 O H P画像の所定箇所を指示している光学ポインタの領域を該 O H P画像が撮像されたビデオフレームの画像にぉレ、て検出する処理をコンビユータに実行させるポインタ領域検出プログラムであって、ビデオフレームの画像の各画素領域における R G B値を取得する R G B値取得ステップと、前記 R G B取得部により取得された R G B値及ぴ色相における所定の式を満たすか否かで 2値画像を作成する 2値画像作成ステップと、前記 2値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出ステップと、ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補を除く部分を用いて背景色を求める背景色演算ステツプと、ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補の部分を用いてボインタ領域候補の平均色を求めるボインタ領域候補平均色演算ステップと、前記背景色に対するボインタ領域候補の平均色の色分布に基づいて前記ボインタ領域候補がボインタ領域であるか否かを判定する色情報を用いたポインタ領域判定ステップとをコンピュータに実行させるものである。また、本発明は、〇 H P画像の所定箇所を指示している光学ポインタの領域を該〇H P画像が撮像されたビデオフレームの画像において検出する処理をコンビユータに実行させるポインタ領域検出プログラムであって、ビデオフレームの画像の各画素領域における R G B値を取得する R G B値取得ステップと、前記 R G B取得部により取得された R G B値及び色相における所定の式を満たす力否かで 2値画像を作成する 2値画像作成ステツプと、前記 2値画像にお!/、て、ラベリングを用いて複数の領域候補を抽出する領域候補抽出ステップと、ビデオフレームの画像にぉレ、て、前記複数の領域候補のそれぞれが含まれる各領域における平均色を求める平均色演算ステップと、前記平均色を用レヽて前記各領域候補の領域内でポインタパターンの候補を抽出するポインタパターン候補抽出ステップと、前記ポインタパターンの包絡線を用いて楕円形状を求める楕円形状演算ステップと、前記楕円形状の面積と前記ポインタパターンを形成する画素の占める面積との比率に基づいて前記ポィンタパターン候補がレーザポィンタ領域である力否かを判定する形状情報を用レ、たボインタ領域判定ステツプとをコンピュータに実行させるものである。

また、本発明に係る画像対応付け装置は、 O H P画像の所定箇所を指示している光学ボインタの領域を該 O H P画像が撮像されたビデオフレームの画像にぉレヽて検出するボインタ領域検出部と、ビデオフレームの画像中に撮像されている O H P画像と前記 O H P画像の元文書である O H Pファイルとを対応付ける画像対応付け部と、前記ボインタ領域検出部により検出された光学ボインタの領域を前記画像対応付け部により対応付けられた O H Pフアイルの領域に対応付けるボインタ領域対応付け部とを備えてなるものである。

この画像対応付け装置において、前記ポインタ領域対応付け部は、前記ポインタ領域検出部により検出された領域に関連する領域における O H P画像中の文字情報と、前記 O H Pフアイルの文字情報とに基づ！/、て、前記ボインタ領域検出部により検出された光学ボインタの領域を前記ビデオフレームの画像中に撮像されている 0 H P画像の元文書である O H Pフアイルの領域に対応付けることを特徴とする。 '

また、本発明の画像対応付け装置において、前記画像対応付け部は、ビデオフレームの番号と〇 H Pフアイルの頁番号とを対応付け、前記ボインタ領域対応付け部は、前記ポインタ領域検出部により検出された光学ポインタの領域を前記〇 H Pフアイルにおける座標として対応付けることを特徴とする。

また、本発明の画像対応付け装置において、前記ポインタ領域対応付け部は前記 O H Pファイルにおける前記ポインタ領域と関連する領域をハイライト表示させるように対応付けることを特徴とする。

また、本発明に係る画像対応付け方法は、 O H P画像の所定箇所を指示している光学ボインタの領域を該 O H P画像が撮像されたビデオフレームの画像にぉレ、て検出するボインタ領域検出ステップと、ビデオフ I /一ムの画像中に撮像されている O H P画像と前記 O H P画像の元文書である O H Pファイルとを対応付ける画像対応付けステップと、前記ボインタ領域検出部により検出された光学ボインタの領域を前記画像対応付け部により対応付けられた O H Pファイルの領域に対応付けるボインタ領域対応付けステップとを備えてなるものである。

また、本発明は、ビデオフレームとビデオフレームの画像に撮像されている O H P画像に対応する OH Pファイルとを対応付ける処理をコンピュータに実行させる画像対応付けプログラムであって、ビデオフレームの画像中に撮像されている O H P画像において OH P画像の所定箇所を指示している光学ボインタの領域を検出するポインタ領域検出ステツプと、前記ビデオフレームの画像中に撮像されて V、る O H P画像と前記〇 H P画像の元文書である O H Pファイルとを対応付ける画像対応付けステップと、前記ポインタ領域検出部により検出された光学ポィンタの領域を前記画像対応付け部により対応付けられた O H Pファイルの領域に対応付けるポインタ領域対応付けステップとをコンピュータに実行させるものである。

また、本発明に係るコンテンツ配信サーバは、ビデオ画像を記憶するビデオ画像記憶部と、該ビデオ画像に撮像されている O H P画像の元文書である O H Pフアイルを記憶した O H Pファイル記憶部と、前記ビデオ画像のフレーム番号と、前記ビデオ画像に撮像されている O H P画像に対応する O H Pフアイルの頁番号とを対応付けると共に、前記ビデオ画像に撮像されている OH P画像において示される光学ポインタの領域を前記 O H Pフアイルの領域に対応付ける対応付け情報とを記憶した対応付け情報記憶部と、前記ビデオフレームの画像に対応付けられた O H Pフアイル画像と前記 O H Pフアイルにおける光学ボインタ領域の情報とを送信するための送信部とを備えてなるものである。

また、本発明のコンテンッ配信サーバと該サーバに接続されたクライアントとの間でコンテンッ配信を行うコンテンッ配信方法であって、クライアントがコンテンッ配信サーバに対して指定コンテンッの配信を要求するコンテンッ酉己信要求ステップと、前記要求に対し、コンテンツ配信サーバは、各記憶部から要求に係るコンテンツを検索し、該当するビデオ画像、該ビデオ画像に対応付けられた O H Pファイル、及び O H Pフアイル内のボインタ位置情報を送信するコンテンツ送信ステップと、クライアントにおいて、配信されたコンテンツの中からビデオデータを再生すると共に、ビデオフレームに同期した OH Pファイル画像と O H Pフアイル画像内のボインティング位置情報を表示する表示ステップとを備えてなるものである。図面の簡単な説明

第 1図は、本発明の実施の形態の概念図である。

第 2図は、画像対応付け 'コンテンツ作成装置の機能構成図である。

第 3図は、画像対応付け ' コンテンツ作成装置のハードウェア構成図である。第 4図は、画像対応付け装置の対応付け処理の流れを示したフローチャートである。

第 5図は、 OH P領域画像抽出処理の流れを示したフローチヤ一トである。第 6図は、文字情報により類似度を算出する類似度算出部の機能構成図である第 7図は、第 6図の類似度算出部により実行される類似度算出処理の流れを示したフローチヤ一トである。

第 8図は、文字認識処理の詳細を示したフローチヤ一トである。

第 9図は、ポインタ領域検出部の処理を示すフローチヤ一トである。

第 10図は、色情報を用いたポインタ領域の検証処理を示すフローチャートである。

第 1 1図は、背景色 (RGB) 毎のレーザーポインタの色（RGB) 分布を示す図である。

第 12図は、形状を用いたポインタ領域の検証処理を示すフローチャートである。

第 13図は、レーザーポインタの動きが速いときのレーザーポインタの画像パタ一ンの一例を示す図である。

第 14図は、レーザーボインタの動きが遅いときのレーザーボインタの画像パターンの一例を示す図である。

第 15図は、動画像のポインタ領域を OHP画像に対応付ける処理を概念的に示す図であり、第 15図（a) は動画像のフレーム画像を示す図である。第 15 図（b) は OHP画像（ビットマップ）を示す図である。

第 16図は、 OHP画像にハイライト表示を行った場合の一例を示す図である第 17図は、コンテンッ配信サーバとクライアントの構成を示すブロック図である。発明を実施するための最良の形態

以下、図を用いて本発明の実施の形態を詳細に説明する。

第 1図は、本発明の実施の形態の概念図である。まず、レーザポイントと OH Pを使った講演 2を E_learningの教材として使用する場合、その講演の映像を動画（ビデオ画像）としてカメラ撮影 3し、バソコン等から構成される画像対応付け .コンテンツ作成装置 1に保存する。また、講演に使用した OHPのファイル

4を同じ装置（画像対応付け 'コンテンツ作成装置 1) へ保存する。画像対応付け .コンテンツ作成装置 1では、様々な画像処理技術を使用して、動画中の OH Pの切り代わりタイミングを求め、元の OHPの画像が動画像のどのフレームに対応しているかを求めるとともに、その〇HP.において、講師が講演中に指し示した座標を求め、それらの対応表を作成する。そして、この対応表を使用して、動画と OHPの画像との同期をとり、力つ、講師が指し示す場所 6をハイライト表示で再生する e- learning用のコンテンツ 5を作成する。これにより従来手動で行っていた動画と OHPの各ページとの対応付けおよび、ポィンティング位置情報（以下、ポインタ領域という）抽出、ハイライト表示が自動化できる。なお、以下の説明において、画像とはカラー画像を意味するものとする。

第 2図は、上述した画像対応付け 'コンテンツ作成装置 1の機能構成の一例を示した図である。図において、画像対応付け 'コンテンツ作成装置 1は、画像対応付け装置 1 aとコンテンッ作成装置 1 bとにより構成される。画像対応付け装置 1 aは、カメラ等の撮像装置で講義等の動画像を入力する動画像入力部 101 と、入力された動画像を A V I (Audio Visual Interleave)形式等で記憶する動画像記憶部 102と、他のコンピュータシステム等から OHPファイル (画像フアイルとそれに対応する文字情報) を入力する入力部 103と、入力された OH Pファイル 1頁毎に対応を付けて記憶する O H Pフアイル記憶部 104と、動画像記憶部 102に記憶された動画像からフレーム毎の画像を取得するフレーム取得部 105と、フレーム画像 (ビデオフレームの画像) から OHP領域を抽出する OHP領域抽出部 106と、 OHPファイル記憶部 104に記憶された OHP フアイルを取得する O H P取得部 107と、 O HP領域抽出部 106により抽出されたフレーム画像にある O H P部分と〇 H P取得部 107により取得された O HPファイルの類似度を算出する類似度算出部 108と、類似度算出部 108により算出された類似度に基づ!/、て動画像のフレームと O H Pフアイルの頁とを対応付ける動画/ OHP対応付け処理部 109 aとを備える。

また、この画像対応付け 'コンテンツ作成装置 1は、動画/ O HP対応付け部により対応付けられたフレームの画像からボインタ領域を検出するボインタ領域検出部 1 14と、ポインタ領域検出部 1 14により検出されたポインタ領域を〇 H P取得部 107力ら取得された〇 H Pフアイル画像上に対応付ける（フレーム画像にある O H P画像のポィンタ領域を O H Pフアイルの画像上に設定する）ポインタ領域対応付け処理部 1 15と、対応付けられた O HP画像にハイライト表示を行うハイライト表示付き〇HP画像作成部 116と、動画/ OHP対応付け処理部 109による対応付け結果とボインタ領域対応付け処理部 115により処理結果とに基づいて、動画像のフレームとその動画像において示された光学ポィ付ける対応付け情報を作成する動画 /〇HPZボインタ領域对応付け処理部 10 9 bと、対応付け情報をテ一ブノレとして保存する対応付けテーブル (テーブル記憶部） 1 10とを備えている。

また、コンテンツ作成装置 1 bは、コンテンツ作成部 1 1 1と、コンテンツ記憶部 1 12とから構成されている。コンテンツ作成部 1 11は、対応付けテープル 1 10からフレーム画像と OHPフアイノレ画像との対応付けを参照して、 E - le arning用のコンテンッを作成する。コンテンッ記憶部 1 12はコンテンツ作成部 1 11により作成されたコンテンツを記憶する。

なお、画像対応付け装置 1 a内に備えられているとして説明したハイライト表示付き OHP画像作成部 1 16は、コンテンツ作成部 1 11内に備えられるようにしても良い。

また、第 3図は、画像対応付け 'コンテンツ作成装置 1のハードウェア構成の一例を示した図である。第 3図において、画像対応付け ·コンテンツ作成装置 1 は、ビデオ入力制御装置 1 1と、 C PU (Central Processing Unit) 12と、メモリ 13と、画像用 HDD (Hard Disk Drive) 15と、ファイル入出力装置 14 と、プログラム HDD 16と、コンテンツ HDD 1 7と、対応付けテーブル (ビデォー OHP—ポインタ位置対応付けテーブル） HDD 18と、 OHPファイル HDD 19と、 LAN(Local Aria Network)インタフェース 20と、 CD— RO Mドライブ 21と、ハイライト表示付き OHP画像 HDD 22とを備えている。本実施の形態において、第 2図の機能構成図に示した各機能ブロックは、第 3 図のプログラム HDD 16に記憶されたプログラム群が画像対応付け ·コンテンッ作成装置 1の起動時にメモリ 13上に展開された状態を示しており、 C P U 1 2により実行される。ただし、第 2図の動画像入力部 101或いは OHPフアイル入力部 103は、第 3図のビデオ入力制御装置 11或いはファィル入出力制御装置 14と力上記メモリ 13上に展開されたプログラム群と協働して機能する。また、動画像記憶部 102は画像用 HDD 15により構成され、 OHPフアイル記憶部 104は OHPフアイル HD D 19により構成され、対応付けテーブル 110は対応付けテーブル HDD 18により構成され、コンテンツ記憶部 112 はコンテンツ HDD 17により構成されるものとする。なお、ハイライト表示付き OHP画像 HDD 22は、コンテンツとしてコンテンツ HDD 17内に設けられても良い。

また、上記プログラム群はプログラム HDD 16でなくとも、例えば、コンビユータにより読取り可能な媒体、例えば、 CD— ROMや FD、磁気ディスク、 DVDディスク、光磁気ディスク、 I Cカード等の可搬型記憶媒体に記憶されていてもよく、また、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体等からダゥンロ一ドしてメモリ 13上に展開され実行されるようにしてもよく、プログラム群のインストール形態は限定されない。上述したように本実施の形態では、 CD 一 R OMドライブ 21が備えられており、可搬型記憶媒体を読み取り可能としている。また、 LANインタフェース 20やファイル入出力装置 14により、他のコンピュータゃデータベースから LAN等を介してプロダラム群を容易にダウンロードできる構成となっている。

以下、フローチャートを用いて、画像対応付け装置 1 aの対応付け処理の流れを詳細に説明する。第 4図は、対応付け処理全体の処理フローを示したフローチヤートである。まず、動画像記憶部 102からフレーム取得部 105が動画像の最初のフレームの画像を抽出する（S 1000) 。 OHP領域抽出部 106が、抽出されたフレーム画像内で OHPの画像が映る領域（以下、 OHP領域画像と呼称する）を探索して抽出する（S 1001) 。 OHP領域抽出処理についての詳細を以下に示す。

第 5図は、〇HP領域画像抽出処理の流れを示したフローチャートである。まず、 OHP領域抽出部 106にフレーム画像のデータが入力される（S 1 100 ) 。次に、フレーム画像をニ値ィ匕して、フレーム画像内のエッジ抽出を行う（S 1 101) 。続いて、抽出されたエッジに対してハフ変換を行い、直線を抽出する（S 1 102) 。抽出された直線成分を統合して、矩形作成する'（S 1 103 ) 。この矩形から予め定められた所定のサイズより大きい矩形のみを抽出する（ S 1 104) 。この抽出処理で矩形が抽出されない場合には（S 1 105、 NO ) 、フレームの画像全体が OH P画像の領域であると判断し、画像全体を抽出する（S 1 107) 。矩形が抽出された場合には（S 1105、 YES) 、抽出された中で最も大きな矩形を OHP領域画像として抽出する（S 1 106) 。

なお、通常、〇HPを用いた講義等を撮影した動画像においては、 OHPの画像が最も大きな矩形となるのが一般的であるため、 S 1 106の処理でその領域を抽出するようにしている。 '

OHP領域画像抽出後、初期値として最大類似度に 0をセットする（第 4図、 S 1002) 。続いて、 OHP取得部 107が OHP画像の最初のページを OH Pファイル記憶部 104から抽出する (S 1003) 。ここで類似度算出部 10 8が、 S 1003で抽出された OHP画像の最初のページと、 S 1001で抽出されたフレームの〇 HP領域の画像とを照合して、類似度を計算する (S 100 4) 。ここで、類似度計算について、図を用いて詳細に説明する。

第 6図は、類似度計算の一例を示す類似度算出部 108の機能構成図である。本手法では、文字情報を用いて類似度を算出する。また、ここでは連続する 2文字が同一であるか否かを照合して類似度を算出する。図において、類似度算出部 108は、画像正規化部 130と、フレーム文字抽出部 131と、 OHP文字抽出部 132と、文字照合部 133と、照合結果加算部 134とからなる。画像正規化部 130は、フレーム画像から抽出された OHP領域画像が OHP画像の方向と一致するよう回転処理を実行して傾きを補正する。また、 OHP画像とサイズが異なる場合、拡大処理を実行して、 OHP画像と同一のサイズとなるよう補正する。なお、このような正規ィ匕処理は、第 5図の S 1 106での抽出の際に、 O HP領域抽出部 106が実行するようにしてもよく、特に限定されるものではない。

フレーム文字抽出部 131は、第 5図の S 1 106で抽出された OHP領域画像から文字を認識して抽出する。 OHP文字抽出部 132は、 OHP取得部 10 7で取得したページの文字を抽出する。なお、本実施の形態では O HP画像の文字情報は、既に OHPファイル記憶部 104において 1ページ毎の画像ファイルと、それに対応する文字情報を別々に記憶しているため、文字認識処理を行う必要なく、〇HPファイル記憶部 104を参照するのみで文字を抽出できる。文字照合部 133は、フレーム文字抽出部 131と OHP文字抽出部 132から抽出された文字を照合する。照合結果加算部 134は文字照合部 133にて照合された結果を数値化して加算する。加算した結果が類似度となる。

第 7図は、上記類似度算出部 108により実行される類似度算出処理の流れを示したフローチャートである。まず、フレーム取得部 105から OHP領域画像を取得し（S 1300) 、フレーム文字抽出部 131が文字認識処理を行う（S 1301) 。この文字認識処理は公知の技術を用いて行われる。第 8図はこの文字認識処理の詳細を示したフローチャートである。まず、得られた O H P領域画像を二値化し (S 1310) 、領域識別を行う (S 131 1) 。銃いて文字認識を行い (S 131 2) 、認識結果がテキスト出力される (S 1313) 。

文字認識処理後、類似度の初期値を 0にセットする (第 7図、 S 1302) 。次に基準文字としてフレーム文字抽出部 131による認識結果の最初の文字をセットする。また、 OHP画像において該セットされた基準文字に対応する位置にある文字とその隣に位置する文字を、 OHP文字抽出部 132により抽出する ( S 1303) 。ここで、文字照合部 133により、フレーム文字抽出部 1 31により'認識された文字列と、 OHP文字抽出部 132により抽出された文字列とを比較し、連続 2文字が同じであるか否かを照合する。同じであれば (S 1304 、 YES) 、照合結果加算部 134が類似度をィンクリメントする (S 1305 ) 。同じでない場合には (S 1304, NO) 、類似度はィンクリメントされない。続いて基準文字に隣の文字をセットし、同様に照合を行う (S 1306) 。 S 1304から S 1306までの処理が文字認識処理結果の文字が終了するまで (S 1307、 YES) 繰り返される。最終的には、照合結果加算部 134により類似度が以下のように補正される（S 1308) 。類似度 =類似度 ZOH P文字数なお、類似度算出は、文字情報を用いるほかにも画像（画素信号）情報やレイアウト情報（図、表、文字列ブロック等の領域属性とその座標情報）を用いて行つても良く、あるいはこれらを併用するようにしても良い。

上述した類似度算出部 108は、あるフレームの OHP領域画像について、全ての OHP画像との類似度を算出する。具体的には、第 4図において、 OHP画像の最初のページの類似度が算出された後（S 1004) 、その類似度が最大類似度（最初の段階では 0) 以上であれば（S 1005、 YES) 、最大類似度に類似度をセットし、その OHP画像のページ番号を記録する（S 1006) 。この時点で OHP画像の全てのページの照合が終了していなければ（S 1007、 NO) 、 OHP画像の次ページを抽出し、 S 1004の類似度計算処理を繰り返す。こうして O HP画像全てのページの照合が終了すると（S 1007、 YES ) 、次に、後で抽出されるフレーム画像におけるレーザーボインタの位置を〇H Pの位置に対応付けるため、各フレーム画像中の文字と OHP中の文字の対応付けを行う（S 1008) 。但し、本実施の形態においては、上述した類似度計算のときに生成されている文字の対応付けを利用することができるので、この処理は省略することができる。なお、 OHPの文字情報が用意されていない場合は、類似度計算と別に文字の対応付けを求めることとなる。例えば、フレーム画像を文字認識して、文字コード列を獲得する。これと別に OHP画像を文字認識して同様に文字コ一ド列を獲得して、 2つの文字コ一ド列を上がら順番に一致させる一致手法には、公知の D Pマツチングなどを利用する。

次に、フレーム画像からのボインタ領域を検出 (抽出) する (S 1009) このポインタ領域の抽出は、第 2図に示したポインタ領域検出部 1 14により行われる。なお、本発明のポインタ領域検出装置は、これから説明する処理をコンピュータとソフトウェアとにより実行するポインタ領域検出部により構成されているものである。ポインタ領域検出部 114における処理の一つは、まず、フレ —ム画像を取得すると（S 1401) 、フレーム画像中の RGB値から例えば下のような特定の条件式を満足する点の中で、 3 R— 2 G— Bが最大の点を求めることによりボインタ領域を抽出する。 R≥ 230 力つ 3R-2G-B≥ 155 (条件式）他の一つは、フレーム画像から第 9図に示す処理を行って、第 13図に示すようなポインタ領域の重心 Gを求める。まず、フレーム画像を取得し（S 140 1) 、次式（1) を満足する点を抽出して 2値画像を作成する（S 1402) 。

R≥THR 且つ（THH1 色相、又は、色相≤THH2) (1) 次にラベリング処理を行！/ヽ外接矩形を求める ( S 1403 ) 。

上記ステップで求まつた矩形の周囲、あるいはそれから一定距離にあるものを同じグループとし、複数の候補領域を抽出する（S 1404) 。

抽出された全ての候補領域について、以下のステップ S 1406〜ステップ S 1409を行う (S 1405、 S 1412) 。

即ち、各候補領域に対して、まず色情報でのポインタ領域の検証を行い（S 1 406) 、次に形状でのボインタ領域の検証を行う (S 1407) 。そして双方の検証結果が認められると、その領域をポインタ領域として記録する（S 140 8) 。以上の処理が全ての候補領域に行われると（S 1409, YES) 。記録されたポインタ領域の 1つが選択されて (S 1410) 、〇 HP画像中の座標計算が行われる (S 141 1) 。なお、本実施の形態において、ポインタ領域の検証は色情報と形状情報の両方を用いて行うようにしたが、いずれか一方のみを用いても構わない。両方を用いると精度が高められるが計算処理に時間を要する。一方のみを用いた場合は精度が落ちるが計算処理の時間短縮が図れる。

ここで、上記色情報を用いたポインタ領域の検証処理について第 10図を用いて説明する。これは背景色とレーザポインタ領域候補の平均色を求め、背景色と、この背景色に対するレーザーボインタ領域候補の平均色との組合せが、予め求められたそれらの組み合わせのいずれかに該当する力否かを判定することでレーザ一ボインタ領域である力否かを判定する。

まず、 S 1404でグループィ匕されたグループ領域の座標を取得する（S 15 01) 。次に背景色を求める第 1処理として、カラー画像全体からグループ領域枠を拡大（グループ領域を周囲に規定画素数分だけ拡大）して切り出しカラー画像を作成する（S 1502) し、色ラベリングを行う（S 1503) 。グループ領域内での 2値画像で得られたパターン以外で最大面積のラベル領域を背景として抽出し、その平均色を求める（S 1504) 。次に、レーザーポインタ領域を仮定した場合のその領域の平均色を求める第 2処理として、グループ領域内の 2 値画像部分に相当するカラー画像で平均色を作成する（S 1505) 。次に、グループ領域内で平均色と色差が一定しきい値以内の画素をボインタ領域として抽出し、その平均色を求める（S 1506) 。次に、第 1処理と第 2処理を合わせて、第 11図に示す背景色毎のレーザーポインタ色分布表に画像から抽出したポインタ領域の色分布が一致するか否力碑 IJ断し（S 1507) 、一致する場合はレ一ザポインタ領域と判定する (S 1508) o 一方、一致しない場合はレーザーポインタ領域であると判定しない（S 1509) 。

次に、上記形状情報を用いたポインタ領域の検証処理について第 12図を用いて説明する。まず、グループ領域の座標を取得し（S 1601) 、 S 1404で得られたグループ領域を周囲に規定画素数分だけ拡大したものを新たなグループ領域として、そのグループ内の 2値画像部分に相当するカラー画象の画素で平均色を作成する（S 1602) 。

次に、 S 1402で抽出された 2値画像のパターンの内、グループ領域内にあるものに注目し、このパターンの座標と同じ座標をもつカラー画像（フレーム画像）上の点の平均色（Rm, Gm, Bm) を求める。そして、同じグループ領域内で平均色と色差が一定しきい値以内の画素をポインタパターンとして抽出する（ S 1603) 。即ち、グループ領域内で平均色に近い色のパターンを抽出する。例えば、次式（2) を満たす画素を全て抽出する。

I Ri-Rm I + I Gi-Gm | + | Bi— Bm | <Th_dist (2)

ここで、（Ri， Gi, Bi) は、グループ領域内の画素 iの RGB値 Th_dist は予め決めた固定しきい値である。

次に、抽出画素を全て内包する楕円包絡線を求める。即ち、パターンの包絡線に近い楕円を求める（S 1604)。例えば、レーザーボインタをスクリーンに照射して、それをビデオ力メラで撮影した画像では、レーザーポインタ（あるいはカメラの）動きによって、第 1 3 図及び第 1 4図のようなレーザーポインタパターンが観測される。第 1 3図は、動きが速いときであり、このようになるのは、ビデオ撮影時にインターレース撮影をしているため、インターレースのスキャン時間の間にレーザーポインタが移動してしまうためである。第 1 4図は、動きが遅いときであり、欠損部分はノィズで正しくレーザーポインタが抽出できなかった箇所である。このような場合に、第 1 3図や第 1 4図に示す包絡線を形成する楕円曲線を求める。

求め方は以下 a ) 〜d ) で示される。

a ) グループ領域内の黒画素の座標をべクトルとみなして、全黒画素のベタトルから分散 ·共分散行列を作成する。

b ) 分散 ·共分散行列から固有値 ·固有べクトルを求める。

c ) 黒画素の重心を求め、上位 2つの寄与度の固有べクトルで決まる方向を求め、重心からこの 2方向の直交軸を決める。各軸上の中心 =重心から標準偏差の 4倍の距離の点 (中心から距離 a、 b ) を求め、この 4点を通る楕円を求める。

d ) 楕円の軸の切片 a , bを少しずつ同じ比率だけ小さくしていき、最初に黒画素に接したところで停止する。

5 ) 楕円曲線内で、奇数ラスターと偶数ラスターを別に調べ、どちらかのラスタ一において、 S 1 6 0 3で求めた黒画素がある比率をラスター上の総画素数と比較し ( S 1 6 0 5 ) 、それが一定比率以上であればレーザーポィンタであると判定し ( S 1 6 0 6 ) 、それ以外はレーザーボインタでないと判定する ( S 1 6 0

7 ) 。

次に第 9図に示した S 1 4 1 0の記録ボインタ領域から 1つを選択する処理について説明する。

1つのフレーム画像から複数のボインタ領域が記録されることがある。講演者が指し示したのは、 1力所であるので、この中から 1つを選択する必要がある。複数の候補領域の中で、上の領域の検証処理の中の「グループ領域内で平均色と色差が一定しきい値以内の画素をポインタ領域として抽出」（S 1 5 0 6 ) で求めた画素数が最も多いものを正しいボインタ領域であるとして選択するものとする。

ポインタ領域が抽出されると、次に第 4図における OHP画像上の位置抽出処理が行われる（S 1010) 。

フレーム画像中のレーザーポィンタ位置が抽出されたら、 e_Learningの表示のために OHP画像中の対応する座標を推定して求める。これには、以下の第 1 5図（a) ，第 15図（b) で示すような方法を用いる。

即ち、第 15図（a) に示すフレーム画像において、 a) フレーム画像中のポインタの位置 31を求める。次に、 b) フレーム画像中でポインタ位置に近い 1 つ、あるいは複数の対応付けがされている文字 32を選択し、ポインタ 31とそれらの文字 32との相対的な位置関係を計算し記録する。次に、 c) このフレーム画像に対応付けられている、第 15図（b) に示す OHPスライド（PPTスライド）を求め、その内部の対応付いている文字の中から、 b) で記録されている文字 33を選択する。そして、 d) それらの文字から相対的位置関係を用いて OHPスライドのボインタ位置 34を推定する。

この結果、フレーム毎の対応 OHP番号、 OHPスライド中のポインタ座標テ一ブル (表 1 ：フレーム番号、 OHP番号、 OHP中のポインタ座標対応表）が生成される (S 101 1 ：第 4図) 。

(表 1)

フレーム番号 0 0HP番号 0、 (—1、一 1)

フレーム番号 1 0HP番号 0、 (― 1、 -1)

フレーム番号 2 0HP番号 0、 (60、 51)

フレーム番号 3 0HP番号 1、 (75、 44)

フレーム番号 4 0HP番号 1、 (78、 50)

フレーム番号 5 0HP番号 5、 (81、 51) フレーム番号 N- 1： 0HP番号 10、（34、 96)

フレーム番号 N : 0HP番号 10、（一 1、一 1) 表 1において、座標値は、 OHP画像の絶対座標だけでなく、表示画像の縦横長の。 /₀表示でもよレ、。また、座標値に示される一 1は、ボインタが照射されてないことを示している。

第 4図に示した対応付け処理が終了すると、コンテンツ作成装置 1 により、ポインティング情報対応 e-Learning用コンテンツが作成される。以下、 WBT (Web based Training) 表示用画像作成処理として説明する。

このコンテンツ作成処理においては、表 2の内容を表示する WBTコンテンツ 'である HTMLファイルを作成する。以下、その一例として、最も簡単な例を第 16図を用いて説明する。

OHP画像中のポインタの座標を元に、 OHP画像の中でポインタ 41がある付近をハイライト表示させた画像を生成する。具体的には、 OHPの該当スライドで文字列やテキストボックス、図、表などの領域 42を OHPスライドである P PTファイルから直接求め (または、 OHPの画像をレイァゥト解析して、ポインタ付近の領域を求め) 、その領域に赤などの目立つ色で枠線を付けた画像を作成する。この画像名は〇 H P番号名—ィンデックス番号 (OHP番号内で 1からインクリメントされる番号）とする。伹し、座標値が一 1のものはハイライト表示を行わないで O H P番号名だけの画像名とする。

表 1を上から順に走査して生成されるハイライト領域の座標が 1つ前のものと完全に一致するものは、同じ画像名を付ける。これを上から順番に繰り返し処理していくと、以下のような表（表 2 ：フレーム番号、 OHP番号、 OHP中のポインタ座標、画像名対応表）が作成できる。

(表 2)

フレーム番号 0 0HP番号 0、（_ 1、一 1) 、画像名 =0

フレーム番号 1 0HP番号 0、（—1、一 1) 、画像名 = 0

フレーム番号 2 0HP番号 0、（60、 51) 、画像名 = 0 1

フレーム番号 3 0HP番号 1、（ 75、 44 ) 、画像名 = 1_1

フレーム番号 4 0HP番号 1、（ 78、 50 ) 、画像名 =1_1

フレーム番号 5 0HP番号 5、（ 81、 51 ) 、画像名 =5—1 フレーム番号 N- 1 : OHP番号 10、（34、 96) 、画像名 =10— 1

フレーム番号 N : 0HP番号 10、（_ 1、 _ 1) 、画像名 = 10 表 2を上から走査していき、連続する 2つのエントリ（行）で、 OHP番号と画像名が完全に一致する場合に、 2つを統合して、以下のような〇HP番号をキ一とする表 3 (表 3 ： WBTコンテンツ）を作成する。

(表 3)

0HP番号 0、フレーム番号 0〜1、画像名 =0

0HP番号 0、フレーム番号 2〜2、画像名 =0—1

0HP番号 1、フレーム番号 3〜4、画像名 =1_1

0HP番号 5、フレーム番号 5〜 5、画像名 =5— 1

0HP番号 10、フレーム番号 N- 1〜N- 1、画像名 = 10— 1

0HP番号 10、フレーム番号 N 〜N 、画像名 =10 この表が e- Learning用の WB Tコンテンツの HTMLファイルのコア部分である。すなわち、フレーム区間で示される間だけ、それに対応するハイライト表示された画像を表示することで、講義道がの内容と同期したレーザーボインタでの指示情報を含んだ講義〇H Pの詳細な画像を表示することができる。

上記の方法の他にも、フレーム毎の OHP画像上のポィンタの座標値が抽出されているので、それをそのまま、表示することも可能である。例えば、ある OH P番号の画像を表 3で OHP番号が同じ区間だけ表示して、その上にオーバーラップして、各フレーム毎の座標値をそのまま大きな矢印や赤丸で表示してもよい。第 17図は、上述したように作成したコンテンツを配信するためのコンテンッ配信サーバとそれを受信するクライアントを示すプロック図である。

コンテンッ配信サーバには、ビデオ一OH P—ボインタ位置対応テーブル記憶部 51と、 OHPフアイル記憶部 52と、ビデオ画像記憶部 53と、ビデオ一 O H P対応テーブル記憶部 58と、ハイライト表示付 OH P画像記憶部 57とが記憶部として設けられ、コンテンツ配信要求受信部 54と配信要求コンテンツ送信部 5 5と、これらを制御するコンテンッ配信制御部 5 6とが設けられている。一方、クライアント 6 0は、コンテンツ配信要求送信部 6 1と、コンテンツ受信部 6 2と、ビデオ再生部 6 4と、ビデオ対応 O H P /ボインタ位置取得部 6 3 と、表示部 6 5と、これらを制御する制御部 6 6が設けられている。

以下、これらの動作について説明する。

1 ) ユーザは、クライアントから指定したコンテンツの表示を指示すると、クライアントがサーバに対して指定コンテンツの配信を要求する。

2 ) コンテンツサーバは、記憶装置上の指定のコンテンツを検索し、該当するコンテンッを読み取り、それをクライアントに配信する。このコンテンツにはビデォ画像、それに同期付けられた O H Pファイル、及び O H Pファイル内のポイン- タ位置情報が含まれる。この OH Pファイルはハイライト表示されたものを使用することができるし、そうでないものを使用することもできる。

3 ) クライアントは、配信されたコンテンツの中からビデオデータを再生すると共に、ビデオフレームに同期した O H P (スライド）と〇H P内のポィンティング位置情報を表示する。

以上に詳述した本発明の実施の形態によれば、以下のような効果を奏する。従来の e - learning のコンテンツ作成用のォーサリングシステムでは、 O H Pを説明する動画像と、そこに映し出されてレ、る O H P画像表示の時間的な同期付けを自動的に行い、さらに、講師がポインティングツールのレーザーポインタを使用した場合に、説明中の OH Pの中でどこを話しているのかを自動的に示すことはできなかった。これら OH P画像と動画像との同期付けを行い、さらに講師が指し示したボインタ情報を表現するためには、人が膨大な時間を掛けてこれを再現するコンテンツを作成する必要があつた。本実施の形態によれば、 OH Pと動画像との同期付けを自動的に行うことができると共に、ボインタ情報を自動的に抽出、再現して e- Learning用のコンテンッ開発を自動化できる。産業上の利用の可能性

以上に詳述したように、本発明によれば、特殊な装置を必要とせず、パソコン、プロジェクタの投影装置と、レーザーポインタ、ビデオカメラという一般的な装置だけで撮影したビデオからレーザーボインタ位置を検出することができ、もつて、低コストに実現できるポインタ領域（位置）検出装置、ポインタ領域検出方法、並びにポインタ領域検出プログラムを提供することができる。また、本発明によれば、例えば講義などで使用された O H Pファイル（元文書）と、講義などを撮影した動画像とを対応付けると共に、講義において指示されている O H P画像の部分を OH Pフアイル上に明確に表示できるようにした画像対応付け装置及ぴ画像対応付け方法並びに画像対応付けプログラムを提供することができるとともに、このように対応付けされた動画像と O H Pファイルとをコンテンツとして配信するコンテンッ配信サーバ及びそのようなコンテンッ配信方法を提供することができるという効果を奏する。

Claims

請求の範囲

1 . OH P画像の所定箇所を指示している光学ポインタの領域を該 OH P画像が撮像されたビデオフレームの画像において検出するボインタ領域検出装置であつて、

ビデオフレームの画像の各画素領域における R G B値を取得する R G B値取得部と、

前記 R G B取得部により取得された R G B値のそれぞれを変数とする所定の式を満たす画素領域をポインタ領域候補として抽出するポインタ領域候補抽出部と、前記ボインタ領域抽出部により抽出されたボインタ領域候補のうち、所定の評価値が最も高くなる画素領域をボインタ領域と判定するボインタ領域判定部とを備えてなるボインタ領域検出装置。

2 . 請求の範囲第 1項に記載のボインタ領域検出装置において、

前記所定の式は R≥ 2 3 0、且つ、 3 R— 2 G— B≥ 1 5 5であり、前記評価値は、 3 R— 2 G— B で与えられることを特徴とするポインタ領域検出装置。

3 . O H P画像の所定箇所を指示している光学ボインタの領域を該 O H P画像が撮像されたビデオフレームの画像において検出するボインタ領域検出装置であつて、

前記 R G B取得部により取得された R G B値及び色相における所定の式を満たすか否かで 2値画像を作成する 2値画像作成部と、

前記 2値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出部と、

ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域にお！/、て前記領域候補を除く部分を用レ、て背景色を求める背景色演算部と、ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域にぉレ、て前記領域候捕の部分を用いてボインタ領域候補の平均色を求めるボインタ領域候ネ甬平均色演算部と、

前記背景色に対するボインタ領域候補の平均色の色分布に基づいて前記ボインタ領域候補がボインタ領域である力否かを判定する、色情報を用いたボインタ領域判定部と

を備えてなるポインタ領域検出装置。

4 . 請求の範囲第 3項に記載のボインタ領域検出装置において、

前記領域候補抽出部は、前記ラベリングにより得られたパターンについて外形矩形を求め、さらに外形矩形の周囲及びそれから一定距離内にある外形矩形を一つのグループとして複数のグループを作成して各グループを前記領域候補とすることを特徴とするポインタ領域検出装置。

5 . 請求の範囲第 4項に記載のボインタ領域検出装置において、

前記領域候補抽出部は、さらに前記各グループを所定画素数だけ周囲に拡大してなる領域を前記領域候補とすることを特徴とするボインタ領域検出装置。

6 . 請求の範囲第 4項に記載のボインタ領域検出装置において、

前記背景色演算部は、前記領域候補抽出部により抽出された領域における前記ビデオ画像を色ラベリングし、前記パターンの領域を除いた部分で最大面積を有するラベル領域を背景領域として、該背景領域について平均色を求めることを特徴とするポインタ領域検出装置。

7 . 請求の範囲第 3項に記載のボインタ領域検出装置において、

前記ボインタ領域候補平均色演算部は、ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において平均色を求めると共に、前記領域候補内で平均色と一定のしきレヽ値以内の画素をポインタ領域候捕として抽出して、該ポィンタ領域候補における平均色を求めてボインタ領域候補の平均色とすることを特徴とするボインタ領域検出装置。

8 . 請求の範囲第 3項に記載のボインタ領域検出装置にぉレ、て、前記ボインタ領域判定部は、前記背景色演算部により求められた背景色に対する前記ポインタ領域平均色演算部により得られた平均色の色分布と、予め記憶された前記背景色に対するレーザーボインタの色分布とがー致すると認められるか否かにより前記ボインタ領域候補がボインタ領域である力否かを判定することを特徴とするポインタ領域検出装置。

9 . 請求の範囲第 8項に記載のポインタ領域検出装置において、

各背景色毎にレーザーボインタの色分布テーブルを備えていることを特徴とするポインタ領域検出装置。

1 0 . OH P画像の所定箇所を指示している光学ポインタの領域を該 O H P画像が撮像されたビデオフレームの画像において検出するボインタ領域検出装置であつて、

前記 R G B取得部により取得された R G B値及ぴ色相における所定の式を満たすか否かで 2値画像を作成する 2値画像作成部と、

ビデオフレームの画像において、前記複数の領域候補のそれぞれが含まれる各領域における平均色を求める平均色演算部と、

前記平均色を用いて前記各領域候捕の領域内でポインタパターンの候補を抽出するポインタパターン候補抽出部と、

前記ポインタパターンの包絡線を用いて楕円形状を求める楕円形状演算部と、前記楕円形状の面積と前記ポインタパターンを形成する画素の占める面積との比率に基づいて前記ボインタパターン候補がレーザボインタ領域である力否かを判定する、形状を用いたポインタ領域判定部とを備えてなるポインタ領域検出装置。

1 1 . 請求の範囲第 1 0項に記載のポインタ領域検出装置において、

前記領域候補抽出部は、前記ラベリングにより得られたパターンについて外形矩形を求め、さらに外形矩形の周囲及びそれから一定距離内にある外形矩形を一つのグループとして複数のグループを作成して各グループを前記領域候補とすることを特徴とするボインタ領域検出装置。

1 2 . 請求の範囲第 1 0項に記載のポインタ領域検出装置において、

1 3 . 請求の範囲第 1 0項に記載のボインタ領域検出装置において、

前記ボインタパターン候補抽出部は、前記平均色と一定のしきい値内にある色を有する画素を含んで前記ボインタパターンとすることを特徴とするポインタ領域検出装置。

1 4 . 請求の範囲第 1 0項に記載のポインタ領域検出装置において、

前記ポインタ領域判定部は、前記楕円形状内で、奇数ラスターと偶数ラスターを別に調べ、どちらかのラスターで求めた前記ボインタパターンを形成する画素がある比率をラスタ一上の総画素数と比較し、それが一定比率以上であればレーザ一ボインタであると判定することを特徴とするボインタ領域検出装置。

1 5 . O H P画像の所定箇所を指示している光学ポインタの領域を該 OH P画像が撮像されたビデオフレームの画像において検出するボインタ領域検出方法であつて、

ビデオフレームの画像の各画素領域における R G B値を取得する R G B値取得前記 R G B取得部により取得された R G B値のそれぞれを変数とする所定の式を満たす画素領域をボインタ領域候補として抽出するボインタ領域候補抽出ステップと、

前記ボインタ領域抽出部により抽出されたボインタ領域候補のうち、所定の評価値が最も高くなる画素領域をポインタ領域と判定するポインタ領域判定ステップと

を備えてなるボインタ領域検出方法。

1 6 . O H P画像の所定箇所を指示している光学ポインタの領域を該 OH P画像が撮像されたビデオフレームの画像において検出するボインタ領域検出方法であつて、

ビデオフレームの画像の各画素領域における R G B値を取得する R G B値取得前記 R G B取得部により取得された R G B値及ぴ色相における所定の式を満たすか否かで 2値画像を作成する 2値画像作成ステツプと、

前記 2値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出ステップと、

ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補を除く部分を用いて背景色を求める背景色演算ステップと、

ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域にぉレ、て前記領域候補の部分を用いてボインタ領域候補の平均色を求めるボインタ領域候補平均色演算ステップと、

前記背景色に対するボインタ領域候補の平均色の色分布に基づいて前記ボインタ領域候補がボインタ領域である力否かを判定する色情報を用いたボインタ領域判定ステップと

を備えてなるポインタ領域検出方法。

1 7 . O H P画像の所定箇所を指示している光学ポインタの領域を該 OH P画像が撮像されたビデオフレームの画像において検出するポインタ領域検出方法であつて、

ビデオフレームの画像において、前記複数の領域候補のそれぞれが含まれる各領域における平均色を求める平均色演算ステップと、

前記平均色を用いて前記各領域候補の領域内でボインタパターンの候補を抽出するポインタパターン候補抽出ステップと、

前記ポインタパターンの包絡線を用いて楕円形状を求める楕円形状演算ステツプと、

前記楕円形状の面積と前記ボインタパターンを形成する画素の占める面積との比率に基づいて前記ボインタパターン候補がレーザボインタ領域である力否かを判定する形状情報を用いたポインタ領域判定ステップと

を備えてなるボインタ領域検出方法。

1 8 . O H P画像の所定箇所を指示している光学ポインタの領域を該 O H P画像が撮像されたビデオフレームの画像において検出する処理をコンピュータに実行させるボインタ領域検出プログラムであって、

前記ボインタ領域抽出部により抽出されたボインタ領域候補のうち、所定の評価値が最も高くなる画素領域をボインタ領域と判定するボインタ領域判定ステップとをコンピュータに実行させるポインタ領域検出プログラム。

1 9 . O H P画像の所定箇所を指示している光学ポインタの領域を該 O H P画像が撮像されたビデオフレームの画像において検出する処理をコンピュータに実行させるポインタ領域検出プログラムであって、

ビデオフレームの画像の各画素領域における R G B値を取得する R G B値取得前記 R G B取得部により取得された R G B値及び色相における所定の式を満たすか否かで 2値画像を作成する 2値画像作成ステツプと、

ビデオフレームの画像における前記複数の領域候補のそれぞれが含まれる各領域において前記領域候補の部分を用いてポインタ領域候補の平均色を求めるボインタ領域候補平均色演算ステップと、

をコンピュータに実行させるポインタ領域検出プログラム。

2 0 . O H P画像の所定箇所を指示している光学ボインタの領域を該〇 H P画像が撮像されたビデオフレームの画像にぉレ、て検出する処理をコンピュータに実行させるポインタ領域検出プログラムであって、

ビデオフレームの画像の各画素領域における R G B値を取得する R G B値取得前記 R G B取得部により取得された R G B値及び色相における所定の式を満たすか否かで 2値画像を作成する 2値画像作成二前記 2値画像において、ラベリングを用いて複数の領域候補を抽出する領域候補抽出ステップと、

ビデオフレームの画像において、前記複数の領域候捕のそれぞれが含まれる各領域における平均色を求める平均色演算ステップと、

前記平均色を用いて前記各領域候補の領域内でポインタパターンの候補を抽出するポインタパターン候ネ甫抽出ステップと、

前記楕円形状の面積と前記ポインタパターンを形成する画素の占める面積との比率に基づいて前記ポィンタパターン候補がレーザポィンタ領域であるか否かを判定する形状情報を用いたボインタ領域判定ステップと

2 1 . OH P画像の所定箇所を指示している光学ボインタの領域を該 O H P画像が撮像されたビデオフレームの画像において検出するボインタ領域検出部と、ビデオフレームの画像中に撮像されている O H P画像と前記 O H P画像の元文書である O H Pファイルとを対応付ける画像対応付け部と、

前記ボインタ領域検出部により検出された光学ボインタの領域を前記画像対応付け部により対応付けられた O H Pファイルの領域に対応付けるボインタ領域対応付け部と

を備えてなる画像対応付け装置。

2 2 . 請求の範囲第 2 1項に記載の画像対応付け装置において、

前記ボインタ領域対応付け部は、前記ボインタ領域検出部により検出された領域に関連する領域における〇 H P画像中の文字情報と、前記〇 H Pフアイルの文字情報とに基づいて、前記ポインタ領域検出部により検出された光学ポインタの領域を前記ビデオフレームの画像中に撮像されている〇 H P画像の元文書である O H Pファイルの領域に対応付けることを特徴とする画像対応付け装置。

2 3 . 請求の範囲第 2 1項に記載の画像対応付け装置において、前記画像対応付け部は、ビデオフレームの番号と O H Pファイルの頁番号とを対応付け、前記ポインタ領域対応付け部は、前記ポインタ領域検出部により検出された光学ボインタの領域を前記 O H Pフアイルにおける座標として対応付けることを特徵とする画像対応付け装置。

2 4 . 請求の範囲第 2 1項に記載の画像対応付け装置において、

前記ボインタ領域対応付け部は前記 O H Pファイルにおける前記ボインタ領域と関連する領域をハイライト表示させるように対応付けることを特徴とする画像対応付け装置。

2 5 . OH P画像の所定箇所を指示している光学ポインタの領域を該 OH P画像が撮像されたビデオフレームの画像において検出するポインタ領域検出ステップと、

ビデオフレームの画像中に撮像されている O H P画像と前記 O H P画像の元文書である O H Pファイルとを対応付ける画像対応付けステップと、

前記ボインタ領域検出部により検出された光学ボインタの領域を前記画像対応付け部により対応付けられた O H Pファイルの領域に対応付けるボインタ領域対応付けステップと

を備えてなる画像対応付け方法。

2 6 . ビデオフレームとビデオフレームの画像に撮像されている〇 H P画像に対応する O H Pファイルとを対応付ける処理をコンピュータに実行させる画像対応付けプログラムであって、

OH P画像の所定箇所を指示している光学ボインタの領域を該 O H P画像が撮像されたビデオフレームの画像にぉ、て検出するボインタ領域検出ステップと、前記ビデオフレームの画像中に撮像されている O H P画像と前記 O H P画像の元文書である OH Pファイルとを対応付ける画像対応付けステップと、

前記ボインタ領域検出部により検出された光学ボインタの領域を前記画像対応付け部により対応付けられた O H Pフアイルの領域に対応付けるボインタ領域対応付けステップと

をコンピュータに実行させる画像対応付けプログラム。

2 7 . ビデオ画像を記憶するビデオ画像記憶部と、

該ビデオ画像に撮像されている O H P画像の元文書である〇 H Pフアイルを記憶した OH Pフアイル記憶部と、

前記ビデオ画像のフレ一ム番号と、前記ビデオ画像に撮像されている O H P画像に対応する OH Pファイルの頁番号とを対応付けると共に、前記ビデオ画像に撮像されている O H P画像において示される光学ポインタの領域を前記 O H Pファィルの領域に対応付ける対応付け情報を記憶した対応付け情報記憶部と、前記ビデオフレームの画像に対応付けられた O H Pフアイル画像と前記 O H P ファイルにおける光学ボインタ領域の情報とを送信するための送信部と

を備えてなるコンテンッ配信サーバ。

2 8 . 請求の範囲第 2 7項に記載のコンテンツ配信サーバと該サーバに接続されたクライアントとの間でコンテンッ配信を行うコンテンッ配信方法であって、クライアントがコンテンッ配信サーバに対して指定コンテンッの配信を要求するコンテンッ配信要求ステツプと、

前記要求に対し、コンテンツ配信サーバは、各記憶部から要求に係るコンテンッを検索し、該当するビデオ画像、該ビデオ画像に対応付けられた O H Pフアイル、及び O H Pファイル内のポインタ位置情報を送信するコンテンツ送信ステツプと、

クライアントにお!/、て、配信されたコンテンツの中からビデオデータを再生すると共に、ビデオフレームに同期した O H Pファイル画像と O H Pファイル画像内のポインティング位置情報を表示する表示ステップと

を備えてなるコンテンッ配信方法。