WO2013038518A1 - 画像表示装置、情報処理方法およびプログラム - Google Patents

Abstract

　本発明の画像表示装置（２）は、情報処理装置（１）から受信する画像データをページ単位で記憶し、情報処理装置（１）から画像データを受信する度に、記憶する画像データを更新するバッファメモリ（１７）と、バッファメモリ（１７）が記憶する画像データの画像を表示する表示部（１５）と、画像データをページ単位で保存するための記憶部（１３）と、表示部（１５）が画像を表示する時間である表示時間をページ毎に計測し、表示時間が予め設定された閾値以上のページの画像データを記憶部（１３）に格納する制御部（１１）とを有する。

Description

画像表示装置、情報処理方法およびプログラム

　本発明は、画像表示装置、情報処理方法、およびその方法を画像表示装置に実行させるためのプログラムに関するものである。

　会議やプレゼンテーションでは、発表用資料の電子データを保存したＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）をプロジェクタと通信ケーブルで接続し、ＰＣから出力した発表用資料の電子データを通信ケーブルを介してプロジェクタへ送信させ、プロジェクタによりスクリーンに発表用資料を表示させる画像処理システムが用いられている。

　プレゼンテーションが終了した後で、そのプレゼンテーションの内容を確認可能にした画像処理システムの一例が、特開２０１０－１９８１３０号公報（以下では、特許文献１と称する）に開示されている。特許文献１に開示されたシステムでは、プレゼンテーション時における、ポインタの操作や拡大描画の操作などの発表者が行った操作の情報である操作情報を、操作の対象となる表示領域とともに履歴情報としてプロジェクタに保存している。

　特許文献１に記載の発明では、上記の操作情報を、発表者が強調した箇所を示すものとして利用している。

特開２０１０－１９８１３０号公報

　特許文献１に開示された画像処理システムでは、プレゼンテーションで使用された発表用資料は、操作情報を、発表者が強調した箇所を示すものとして共通に保存される。しかしながら、操作情報は必ずしも発表者が強調した箇所を示すものとは言えない。例えば、複数の画像を対比させるために交互に繰り返し表示させることが行われるが、この場合、発表者は各画像に操作を行うことはない。このため、繰り返し表示された画像には操作情報が付随することはなく、発表者が強調した箇所として認識されないことがある。

　発表者が強調した箇所の識別法としては表示時間が長いものを挙げることができる。表示時間の長い画像を確認することにより、会議に出席しなかった人や会議に遅れて参加した人でも、どの資料が重点的に説明されたかを確認することができる。

　本発明の目的の一つは、会議およびプレゼンテーション等で発表された資料のうち、重点的に説明された資料を容易に確認することを可能にした画像表示装置、情報処理方法、およびその方法を画像表示装置に実行させるためのプログラムを提供することである。

　本発明の一側面の画像表示装置は、情報処理装置から順次受信する画像データの画像を表示する画像表示装置であって、情報処理装置から受信する画像データをページ単位で記憶し、情報処理装置から画像データを受信する度に、記憶する画像データを更新するバッファメモリと、バッファメモリが記憶する画像データの画像を表示する表示部と、画像データをページ単位で保存するための記憶部と、表示部が画像を表示する時間である表示時間をページ毎に計測し、表示時間が予め設定された閾値以上のページの画像データを記憶部に格納する制御部とを有する。

　また、本発明の一側面の情報処理方法は、情報処理装置から順次受信する画像データをページ単位で記憶し、情報処理装置から画像データを受信する度に、記憶する画像データを更新するバッファメモリと、バッファメモリが記憶する画像データの画像を表示する表示部と、画像データをページ単位で保存するための記憶部と、制御部とを有する画像表示装置が実行する情報処理方法であって、制御部は、表示部が画像を表示する時間である表示時間をページ毎に計測し、制御部は、表示時間が予め設定された閾値以上のページの画像データを記憶部に格納するものである。

　さらに、本発明の一側面のプログラムは、情報処理装置から順次受信する画像データをページ単位で記憶し、情報処理装置から画像データを受信する度に、記憶する画像データを更新するバッファメモリと、バッファメモリが記憶する画像データの画像を表示する表示部と、画像データをページ単位で保存するための記憶部と、制御部とを有する画像表示装置に実行させるためのプログラムであって、表示部が画像を表示する時間である表示時間をページ毎に計測し、表示時間が予め設定された閾値以上のページの画像データを記憶部に格納する処理を画像表示装置に実行させるものである。

図１は第１の実施形態の画像表示装置を含む画像処理システムの一構成例を示すブロック図である。 図２は第１の実施形態の画像表示装置の一構成例を示すブロック図である。 図３は第１の実施形態の画像表示装置の動作手順を示すフローチャートである。 図４はページの切り替えがあったか否かの判定方法を具体的に説明するための図である。 図５は図２に示した入力操作監視部の動作を説明するための画像の一例である。 図６は図２に示した入力操作監視部の動作を説明するための画像の一例である。 図７は図２に示した入力操作監視部および描画領域監視部の動作を説明するための画像の一例である。 図８は図２に示した入力操作監視部および描画領域監視部の動作を説明するための画像の一例である。 図９は第１の実施形態の画像表示装置に保存した画像を聴講者用のＰＣの表示部に表示させた場合の一例である。 図１０は第２の実施形態の画像表示装置の一構成例を示すブロック図である。

　（第１の実施形態）
　本実施形態の画像表示装置の構成を説明する。

　図１は本実施形態の画像表示装置を含む画像処理システムの一例を示すブロック図である。図２は本実施形態の画像表示装置の一構成例を示すブロック図である。本実施形態は、画像表示装置がプロジェクタの場合である。

　図１に示すように、画像表示装置２は、ＰＣ１とケーブル５１を介して接続され、ＰＣ３とネットワーク５３を介して接続されている。ネットワーク５３は、有線または無線のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）である。ＰＣ１は、プレゼンテーションの発表者が使用する情報処理装置であり、ＰＣ３はプレゼンテーションの聴講者が使用する情報処理装置である。

　本実施形態では、図１に示すように、ＰＣ１と画像表示装置２がケーブル５１で接続される構成を示しているが、ＰＣ１もネットワーク５３を介して画像表示装置２と接続される構成であってもよい。図１には、ネットワーク５３に接続されるＰＣ３が１台の場合を示しているが、複数のＰＣ３がネットワーク５３に接続されていてもよい。

　ＰＣ１は、プレゼンテーションに用いられる発表用資料として、複数のページの画像データを予め保存している。ＰＣ１は、保存した複数のページから発表者の操作によって選択された順に、選択されたページの画像データを、ケーブル５１を介して画像表示装置２に送信する。

　図２に示すように、画像表示装置２は、表示部１５と、ＶＲＡＭ（Ｖｉｄｅｏ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１７と、制御部１１と、記憶部１３とを有する。記憶部１３は、発表用資料のうち、プレゼンテーションに遅れて来た聴講者に対して、閲覧可能にするページを保存するための描画内容保存部２３を有する。

　表示部１５は、レンズ、光源、フォーカス機構部およびライトバルブを含む光学系（不図示）を有する。表示部１５は、ＰＣ１から制御部１１を介して受信する画像データによる画像をスクリーン（不図示）に投写する。

　制御部１１は、描画領域監視部２１と、表示時間監視部２２と、入力操作監視部２４と、ＯＣＲ（Ｏｐｔｉｃａｌ　Ｃｈａｒａｃｔｅｒ　Ｒｅｃｏｇｎｉｔｉｏｎ）処理部２５とを有する。制御部１１には、プログラムにしたがって処理を実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）（不図示）と、プログラムを記憶するメモリ（不図示）とが設けられている。ＣＰＵがプログラムを実行することで、描画領域監視部２１、表示時間監視部２２、入力操作監視部２４、およびＯＣＲ処理部２５が画像表示装置２に仮想的に構成される。

　なお、本実施形態では、ＰＣ１から出力される画像データがデジタル信号の場合で説明するが、ＰＣ１から出力される画像データがアナログ信号であってもよい。ＰＣ１から出力される画像データがアナログ信号である場合、画像表示装置２にアナログ／デジタル（Ａ／Ｄ）変換器が設けられ、画像データはＡ／Ｄ変換器でアナログ信号からデジタル信号に変換された後、ＶＲＡＭ１７に入力される。

　ＶＲＡＭ１７は、ＰＣ１から順次入力される画像データをページ単位で記憶するバッファメモリである。ＶＲＡＭ１７は、ＰＣ１から入力される画像データを表示部１５および描画領域監視部２１のそれぞれに出力する。ＶＲＡＭ１７は、記憶する画像データが更新されると、表示中の画像が更新されたことを通知するためのＶＲＡＭ更新イベントを描画領域監視部２１に送信する。

　描画領域監視部２１は、ＶＲＡＭ１７が記憶する画像データの画像をページ単位で監視し、ＶＲＡＭ１７からＶＲＡＭ更新イベントを受信すると、ページ単位で切り替わったか否かを判定する。発表者が表示部１５に表示させるページを切り替えると、ＶＲＡＭ１７に保存される画像データの大部分が書き換わるので、描画領域監視部２１は、１ページ分の画像データのうち、一定の割合以上の範囲に書き換えがあった場合はページが切り替わったと判定する。描画領域監視部２１は、ページが切り替わったと判断すると、ページが切り替わった旨の情報を含むページ変更コマンドを表示時間監視部２２に送信する。

　また、画像領域監視部２１は、監視している画像の画像データが更新されると、更新された領域を入力操作監視部２４に通知する。そして、画像領域監視部２１は、１ページの画像から抽出された矩形領域の画像の情報を入力操作監視部２４から受信すると、矩形領域に文字が含まれているか否かを調べるために、矩形領域の画像をＯＣＲ処理部２５に渡す。また、画像領域監視部２１は、ページの保存を要求する旨の情報を含むページ保存コマンドを表示時間監視部２２から受信すると、ＶＲＡＭ１７に保存されている画像データを描画内容保存部２３に格納する。画像データを保存する際、画像領域監視部２１は、ＯＣＲ処理部２５から、複数の文字を文節毎に区切った矩形領域の画像を受け取っている場合、入力操作監視部２４で指定される矩形領域の文節が強調して表示されるように画像データを保存する。

　表示時間監視部２２は、ページ毎に、そのページの画像を表示部１５が表示する時間である表示時間を計測する。具体的には、表示時間監視部２２は、描画領域監視部２１からページ変更コマンドを受信する度に時刻を記録し、前回、ページ変更コマンドを受信した時刻から、次回、ページ変更コマンドを受信する時刻までの時間を計測する。そして、計測時間が予め設定された閾値以上になると、表示時間監視部２２は、ページ保存コマンドを描画領域監視部２１に送信する。

　入力操作監視部２４は、マウスなどの入力装置の動作に対応して、画像上を移動するマウスカーソルの軌跡を監視する。入力操作監視部２４は、各ページのうち、発表者が説明時にマウスカーソルで指し示した矩形領域を抽出し、その矩形領域の画像の情報を描画領域監視部２１に通知する。この矩形領域が、発表者が強調しようとした領域である強調領域に相当する。本実施形態では、強調領域が矩形状の場合で説明するが、強調領域は矩形に限らず、円または楕円など他の形状であってもよい。

　ＯＣＲ処理部２５は、描画領域監視部２１から矩形領域の画像データを受信すると、光学文字認識技術により、受信した矩形領域の画像データの画像に文字があるか否かを調べる。そして、ＯＣＲ処理部２５は、矩形領域に複数の文字があることを認識すると、複数の文字を文節毎に区切った矩形領域の画像の画像データを描画領域監視部２１に返信する。

　次に、本実施形態の画像表示装置２の動作手順を説明する。図３は本実施形態の画像表示装置の動作手順を示すフローチャートである。

　図１に示した画像処理システムにおいて、発表者がＰＣ１を操作して、ＰＣ１に格納された発表用資料の複数のページから１ページずつ選択すると、ＰＣ１は、選択されたページの画像データを、選択された順にケーブル５１を介して画像表示装置２に送信する。ＶＲＡＭ１７は、ＰＣ１から受信する画像データを記憶し、記憶する画像データが更新される度にＶＲＡＭ更新イベントを描画領域監視部２１に送信する。

　描画領域監視部２１は、ＶＲＡＭ更新イベントをＶＲＡＭ１７から受信すると、ＶＲＡＭ１７から１ページ分の画像データを読み込み、前回のＶＲＡＭ更新イベントで取得した１ページ分の画像データとの変更箇所を検出することで、更新された領域を検出する（Ｓ３２１１）。描画領域監視部２１は、ページ全体に対して、更新された領域の割合が予め設定された基準値以上であるか否かを判定する（Ｓ３２１２）。更新された領域の割合が基準値以上である場合、描画領域監視部２１は、ページが切り替えられたと判断する。ページの切り替えがあったか否かの判定基準は、例えば、ページ全体の５０％である。

　なお、Ｓ３２１２における判定を、ページ全体のうち更新された領域の割合を基準値と比較して行う場合で説明したが、予め決められた領域が更新されたか否かで行ってもよい。例えば、発表用資料の各ページの予め決められた上部の領域にページ毎に異なるタイトルが記述されている場合、描画領域監視部２１は、各ページの画像の上部の領域を監視し、その上部の領域が更新されると、ページが切り替えられたと判断する。この場合でも、ページ全体のうち基準値以上の領域が更新されるが、描画領域監視部２１は、ページ全体を調べる必要がないので、ページ切り替えの判定処理にかかる負担が軽減する。

　このようにして描画領域監視部２１がページ切り替えの判定を行う理由を説明する。発表者はＰＣ１を操作してプレゼンテーションを行うが、発表用資料のページ内に、特に重要な意味を持たない、細かいアニメーションや文字の変化などが盛り込まれている場合がある。このような場合、ページ全体のうち、変化する領域が小さくても描画領域監視部２１がページの切り替えと判定し、その都度ページ全体を描画内容保存部２３に保存してしまうと、描画内容保存部２３に保存されるページが膨大な数になってしまうからである。

　Ｓ３２１２の判定で、描画領域監視部２１は、ページが切り替わったと判断した場合、ページ変更コマンドを表示時間監視部２２に送信する（Ｓ３２１３）。

　ここで、ページ切り替えの判定方法を、画像表示装置２の表示部１５が表示する画像の具体例で説明する。図４はページの切り替えがあったか否かの判定方法を具体的に説明するための図である。

　図４に示す各画像６１～６３のハッチング部分は、画像が更新された領域を示す。画像表示装置２が画像６１の表示を開始してからｔ１の時間が経過したとき、表示される画像が画像６１から画像６３に更新された。この場合、更新された領域の割合が画像全体の５０％以上なので、描画領域監視部２１は、ページの書き換えがあったと判断する。一方、描画領域監視部２１が画像６１の表示を開始してからｔ１経過までの途中で、画像６２に示すように、画像の一部が更新された。この場合、画像６２における、更新された領域の割合が画像全体の１０％に満たないため、描画領域監視部２１は、ページの書き換えがあったとは判断しない。

　次に、図３に示すフローチャートのステップ３２１２でページが切り替わったと判定された場合に、表示されているページを保存すべきか否かを、表示時間監視部２２が判定する動作を、図３および図４を参照して説明する。

　表示時間監視部２２は、描画領域監視部２１からページ変更コマンドを受信する度に時刻を記録し、前回、ページ変更コマンドを受信した時刻から、次回、ページ変更コマンドを受信する時刻までの時間を計測する。表示時間監視部２２は、ページ変更コマンドを受信したとき、表示時間監視中であることを確認し（Ｓ３２２１）、表示時間監視中でなければ監視タイマを起動する（Ｓ３２２３）。表示時間監視中であれば、表示時間監視部２２は、計測時間が予め決められた閾値以上になったか否かを確認する（Ｓ３２２２）。閾値は、例えば６０秒とし、表示時間監視部２２は、表示時間が６０秒に満たないページは発表者がそのページの説明に時間をかけず、重要視していないと判断する。

　Ｓ３２２２の判定において、計測時間が６０秒以上になった場合、表示時間監視部２２は、現在、表示部１５が表示している画像のページを発表者が重要視していると判断し、ページ保存コマンドを描画領域監視部２１に送信する（Ｓ３２２４）。描画領域監視部２１は、表示時間監視部２２からページ保存コマンドを受信すると、現在、ＶＲＡＭ１７から入力される画像データを描画内容保存部２３に保存する（Ｓ３２１５）。図４に示した例において、画像６１の表示開始から画像６３に切り替わるまでの時間ｔ１が６０秒以上の場合、画像６１の画像データが描画内容保存部２３に保存される。

　このようにして、表示時間監視部２２は、ページの表示時間が一定時間以上であるか否かを判定し、表示時間が一定時間以上のページを保存することで、表示時間が短時間で、発表者の説明がスキップされるようなページが保存されることを防げる。

　次に、図３に示すフローチャートのステップ３２１１で更新領域が検出されたとき、発表者が発表用資料の中で強調して説明する箇所を、入力操作監視部２４が抽出する動作を、図３、図５および図６を参照して説明する。

　図５および図６は入力操作監視部の動作を説明するための画像の一例であり、画像表示装置２の表示部１５が表示する画像を示す。

　発表者は、プレゼンテーションを行う際、発表用資料をスクリーンに表示させるだけでなく、マウスカーソル、レーザポインタまたは指示棒などを使用し、強調したい箇所を指し示して説明することが多い。本実施形態では、発表者がマウスカーソルを使用して説明する場合とする。また、本実施形態では、各ページの画像にＸＹ座標が予め設定され、画像内の任意の点をＸＹ座標で表すものとする。図５～図８に示す画像の左右方向をＸ軸方向とし、上下方向をＹ軸方向とする。図５および図６にＸ軸およびＹ軸を示す。

　発表者がＰＣ１に接続されたマウス（不図示）を操作すると、図５に示すように、マウスカーソル４１が画像６５上をマウスの操作に合わせて移動する。ＶＲＡＭ１７は、マウスカーソル４１の移動に伴って更新される画像データをＰＣ１から受信すると、ＶＲＡＭ更新イベントを描画領域監視部２１に送信する。図５に示すように、背景が静止している画像６５でマウスカーソル４１が移動すると、各更新領域の形状はマウスカーソル４１の形状で一定であり、更新領域は、飛び飛びではなく、連続している。このことを図５で説明する。

　図５に、マウスカーソル４１が画像６５の位置Ｐ１からＸ軸に平行に移動した場合の更新履歴４３と、マウスカーソル４１が位置Ｐ１から斜め左上方向に移動した場合の更新履歴４５のそれぞれを破線で示す。図５に示した更新履歴４３および更新履歴４５を見比べると、マウスカーソル４１の移動方向に対する垂直方向の長さである幅が異なっているが、更新履歴４３、４５のいずれも、同一形状のマウスカーソル４１がスイープしたものに相当する。

　Ｓ３２１１で、描画領域監視部２１は、画像が更新される領域の座標を入力操作監視部２４に送信する。入力操作監視部２４は、更新領域が一定の形状で、かつ、連続しているか否かを確認する（Ｓ３２４１）。更新領域が一定の形状で、かつ、連続している場合、入力操作監視部２４は、更新領域がマウスカーソル４１の移動によるものと判断し、マウスカーソル４１の移動に伴う更新履歴を監視する（Ｓ３２４２）。

　Ｓ３２４２において、入力操作監視部２４は、マウスカーソル４１の更新履歴を監視し、マウスカーソル４１の軌跡が３つの条件のいずれかに該当するか否かを判定する（Ｓ３２４２）。３つの条件とは、条件（１）「マウスカーソル４１が画像を移動した後、停止した」、条件（２）「マウスカーソル４１が近似した軌跡を複数回描いた」、条件（３）「マウスカーソル４１が閉曲線を描いた」である。なお、本実施形態では、マウスカーソル４１の動きが上記３つの条件のいずれに該当するか否かを判定する場合で説明するが、条件はこれら３つに限られない。

　上記３つの条件のうち、条件（１）に該当する場合の入力操作監視部２４の動作を、図６を参照して説明する。

　図６は発表者が強調したい文字列をマウスカーソルで指し示している画像の一例である。図６では、１ページ分の画像６５における、破線枠で囲まれた領域６６を拡大したものを、画像６５の下側に示す。領域６６には、背景と文字「Ａ」および「Ｂ」が表示されている。文字「Ａ」および「Ｂ」は同じ色であり、これらの文字と背景とは色が異なっている。文字「Ａ」および「Ｂ」の下端のＹ座標をｙ１とし、文字「Ａ」および「Ｂ」の上端のＹ座標をｙ２とする。ｙ１とｙ２の間における任意のＹ座標において、Ｘ座標が文字「Ａ」の左端から文字「Ｂ」の右端までの範囲で、文字「Ａ」および「Ｂ」と同じ色の点が複数箇所存在している。

　入力操作監視部２４は、図６に示すように、マウスカーソル４１が停止した位置からＹ軸の正の方向に各点の色を走査し、色が変化した点Ｐ２を検出すると、点Ｐ２からＹ軸の正の方向で所定の高さまで、所定の範囲でＸ軸方向を走査して点の色を調べる。具体的には、入力操作監視部２４は、点Ｐ２から所定の高さまでの任意のＹ座標において、所定の範囲でＸ座標を変化させ、点Ｐ２と同じ色の点が複数個所存在しているか否かを調べる。走査の結果、入力操作監視部２４は、点Ｐ２と同じ色の点が複数個所存在していることを認識すると、走査した範囲に何らかの文字が存在すると判断する。

　例えば、図６に示す文字「Ａ」および「Ｂ」の領域を表示部１５のライトバルブ（不図示）の画素に変換して考えたとき、文字の高さが１０画素以上あるとすると、入力操作監視部２４は、点Ｐ２からＹ軸の正の方向で１０画素までの任意のＹ座標において、点Ｐ２と同じ色の画素が複数個所存在していることを認識する。

　入力操作監視部２４は、走査した範囲に何らかの文字が存在すると判断すると、マウスカーソル４１が停止した位置からＹ軸の正の方向で、その位置の周囲を所定の範囲で矩形状にクリッピングし、クリッピングした矩形領域の座標を描画領域監視部２１に送信する（Ｓ３２４３）。矩形領域の座標とは、例えば、その矩形領域の４つの頂点のＸＹ座標である。

　次に、Ｓ３２４３で矩形領域の座標を受信した描画領域監視部２１の動作を、図７を参照して説明する。図７（ａ）は条件（１）の場合に相当し、図７（ｂ）は条件（２）の場合に相当し、図７（ｃ）は条件（３）の場合に相当する。

　描画領域監視部２１は、矩形領域の座標を入力操作監視部２４から受信すると、その矩形領域の画像をＯＣＲ処理部２５に送信する。ＯＣＲ処理部２５は、光学文字認識技術で矩形領域に文字があるか否かを調べ、複数の文字があることを認識すると、複数の文字を文節毎に区切った矩形領域の画像を描画領域監視部２１に送信する。描画領域監視部２１は、文節毎に区切られた矩形領域の画像をＯＣＲ処理部２５から受信すると、図７（ａ）に示すように、マウスカーソル４１の軌跡の最終位置から最も近い文節を含む矩形領域７１を画像６５から検出する（Ｓ３２１４）。

　続いて、描画領域監視部２１は、検出した矩形領域７１を強調するために、矩形領域７１を線で囲む、または、矩形領域７１以外の領域の明るさを低下させる等の処理を画像データに行って矩形領域７１を強調し、矩形領域７１をそれ以外の領域と異なる表示にする。その後、描画領域監視部２１は、表示時間監視部２２からページ保存コマンドを受信し（Ｓ３２２４）、保存対象の画像を描画内容保存部２３に保存する際（Ｓ３２１５）、矩形領域７１を強調させる描画内容を含む画像データを保存する。

　次に、上記３つの条件のうち、条件（２）に該当する場合の、入力操作監視部２４および描画領域監視部２１の動作を、図７（ｂ）を参照して説明する。

　図７（ｂ）に示すように、マウスカーソル４１が同じような軌跡を近接して複数回描いた場合、入力操作監視部２４は、複数の軌跡から近似直線を求める。そして、近似直線の近傍に同一の色が続いている箇所が存在している場合、入力操作監視部２４は、その近似直線からＹ軸の正の方向で所定の範囲を矩形状にクリッピングし、クリッピングした矩形領域の座標を描画領域監視部２１に送信する。描画領域監視部２１は、入力操作監視部２４から矩形領域の座標を受信すると、条件（１）の場合と同様にして、ＯＣＲ処理部２５に文字認識を実行させ、強調された文節を含む矩形領域７３を検出し、描画内容保存部２３に画像データを保存する際、矩形領域７３を強調させる描画内容を含む画像データを保存する。

　次に、上記３つの条件のうち、条件（３）に該当する場合の、入力操作監視部２４および描画領域監視部２１の動作を、図７（ｃ）を参照して説明する。

　図７（ｃ）のように、マウスカーソル４１が任意の領域を囲む軌跡を描いた場合、入力操作監視部２４は、その軌跡で囲まれる領域を含む矩形領域を検出し、矩形領域の座標を描画領域監視部２１に送信する。描画領域監視部２１は、入力操作監視部２４から矩形領域の座標を受信すると、条件（１）の場合と同様にして、ＯＣＲ処理部２５に文字認識を実行させ、強調された文節を含む矩形領域７５を検出し、描画内容保存部２３に画像を保存する際、矩形領域７５を強調させる描画内容を含む画像データを保存する。

　また、条件（１）の場合において、マウスカーソル４１を含む領域が画像更新された場合の入力操作監視部２４および描画領域監視部２１の動作を、図８を参照して説明する。

　図８（ａ）に示すマウスカーソル４１を含む矩形領域７２のうち、マウスカーソル４１以外の部分が、図８（ｂ）に示すように更新されると、入力操作監視部２４は、発表者がマウスを操作することで画像が変化したと判断し、画像６５のうち、矩形領域７２とともに更新された領域を含む矩形領域７４を検出する。そして、入力操作監視部２４は、検出した矩形領域７４の座標を描画領域監視部２１に送信する。描画領域監視部２１は、入力操作監視部２４から通知された矩形領域７４に対して、図７（ａ）を参照して説明した処理と同様な処理を行う。

　なお、図３に示すフローチャートのＳ３２１４およびＳ３２１５の処理において、描画領域監視部２１が入力操作監視部２４から通知される矩形領域に含まれる文字を強調して保存する場合を説明したが、その矩形領域が文字を含んでいるか否かにかかわらず、描画領域監視部２１は、その矩形領域が他の領域とは異なるように表示されるように画像データを保存してもよい。

　次に、プレゼンテーションに遅れて参加した聴講者が画像表示装置２に保存された画像を自分のＰＣ３で閲覧する場合の一例を説明する。

　描画内容保存部２３には、画像データがネットワーク５３を介してＰＣ３で表示可能な形式で保存される。例えば、制御部１１が、ＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ　Ｔｒａｎｓｆｅｒ　Ｐｒｏｔｏｃｏｌ）サーバ機能を備え、保存対象の画像データを時系列順に並べてＨＴＭＬ（Ｈｙｐｅｒｔｅｘｔ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）ファイルを作成して描画内容保存部２３に保存する。ＰＣ３には、閲覧用ソフトウェアプログラムとして、ＨＴＴＰブラウザが予め格納されている。

　聴講者はＰＣ３を操作して、ネットワーク５３を介してＰＣ３を画像表示装置２に接続させる。続いて、聴講者がＰＣ３を操作し、描画内容保存部２３に保存されている画像を要求する旨の指示を入力すると、ＰＣ３は、画像表示装置２に対して、保存されている画像を要求する旨の信号である画像要求信号を送信する。画像表示装置２の制御部１１は、ＰＣ３から画像要求信号を受信すると、描画内容保存部２３から画像データを読み出してＰＣ３に送信する。ＰＣ３は画像表示装置２から受信した画像データによる画像を表示部（不図示）に表示する。

　このようにして、聴講者は、ＰＣ３を画像表示装置２に接続させた後、ＨＴＴＰブラウザを用いて、描画内容保存部２３から画像データをＰＣ３にダウンロードすることで、発表用資料のうち、発表者が時間を費やして説明したページを閲覧することが可能となる。

　図９は、聴講者が描画内容保存部２３からＰＣ３にダウンロードした３つの画像を、ＰＣ３の表示部３５に表示させた場合の画面の一例である。図９は、３ページ分の画像６７～６９がＰＣ３の表示部３５に表示された場合を示す。

　なお、描画内容保存部２３に保存されている画像データをＰＣ３にダウンロードする方法は、上述した方法に限られない。描画内容保存部２３に保存される画像データについて、画像の表示方法に関するコモンゲートウェイインタフェース（ＣＧＩ）プログラムが制御部１１に予め保存されていてもよい。この場合、次のようにして、聴講者は画像を閲覧することが可能となる。

　聴講者がＰＣ３を操作して、描画内容保存部２３に保存されている画像から１つを選択する旨の指示を入力すると、ＰＣ３は、選択された画像の表示命令を、ネットワーク５３を介して制御部１１に通知する。そして、制御部１１は、ＰＣ３から表示命令を受け取ると、指示された画像の画像データに対してＣＧＩプログラムを実行し、ＣＧＩプログラムにしたがって表示させた画像を、ネットワーク５３を介してＰＣ３に出力する。

　また、図３に示したフローチャートのＳ３２１５において、描画領域監視部２１が描画内容保存部２３に画像データを保存する際、強調領域を検出した時刻の情報も一緒に保存してもよい。この場合、画像表示装置２が描画内容保存部２３に保存したページの画像をＰＣ３に表示させる際、そのページ内に強調領域が複数含まれていると、複数の強調領域のそれぞれを検出した時刻の順に表示させることで、ＰＣ３の聴講者は、そのページ内で発表者が行った説明の順序を確認することが可能となる。

　上述したように、本実施形態の画像表示装置は、表示されるページ毎に表示時間を監視し、発表者が一定時間以上費やして説明したページの画像データを保存する。そのため、発表者が時間をかけて重点的に説明したページの画像データは保存されるが、発表者が説明に時間をかけなかったページの画像データは保存されない。また、本実施形態の画像表示装置は、表示されるページが切り替わったか否かを判定することで、ページ毎に画像データを保存する。そのため、ページ内の一部が更新されただけのページが別のページとして余分に保存されることを防げる。

　本実施形態の画像表示装置には、時間をかけて重点的に説明されたページの画像データしか保存されないので、プレゼンテーションの途中から参加した聴講者は、本実施形態の画像表示装置にＰＣを接続して、保存されている画像をＰＣにダウンロードすることで、プレゼンテーションに参加する前に発表者が説明した資料のうち、時間をかけて説明された、重要なページを短時間で確認できる。プレゼンテーションの途中から参加した聴講者は、それまで説明された資料のうち重要なページの内容を素早く確認できるので、その後の説明をスムーズに理解することができる。

　また、本実施形態の画像表示装置には、発表者が強調して説明した箇所がわかるように画像が保存されるので、プレゼンテーションに遅れて参加した聴講者は、画像表示装置に保存された画像を自分のＰＣに表示させれば、その画像内における重点箇所を確認することができる。

　また、本実施形態の画像表示装置には、発表用資料のうち、重要なページの画像が保存されているので、プレゼンテーションの休憩中などに発表者が不在であっても、聴講者は、画像表示装置に保存された画像を、ネットワークを介して自分のＰＣに表示させることが可能である。

　さらに、プレゼンテーションの聴講者が本実施形態の画像表示装置から自分のＰＣにダウンロードした画像を参照しながら発表者に質問を行い、その質問に発表者が答える際、発表者は、画像表示装置に保存された画像を検索して聴講者が参照している画像を特定すればよいので、発表用資料の全ての中から検索する場合に比べて、検索をより容易に行うことができる。

　なお、上述の実施形態では、図３に示したフローチャートを参照しながら、Ｓ３２１２の判定でページの切り替えが検出される度に表示時間が計測され、Ｓ３２２２において、表示されるページの画像データを保存すべきか否かを、１回の表示時間で判定する場合を説明したが、次のようにして、複数回の表示時間を積算した値で判定してもよい。

　図３におけるフローチャートにおいて、表示時間監視部２２は、Ｓ３２２２の判定を行わず、Ｓ３２２４ではページ保存コマンドの代わりに表示時間の情報を描画領域監視部２１に送信する。描画領域監視部２１は、表示時間監視部２２から表示時間の情報を受信すると、表示時間が閾値以上か否かを判定し、表示時間が閾値以上である場合、その表示時間の計測対象の画像データを描画内容保存部２３に保存する。

　一方、描画領域監視部２１は、表示時間監視部２２から受信した表示時間が閾値未満である場合、表示時間とその計測対象の画像データを含む情報である保存候補データを、記憶部１３内であって描画内容保存部２３以外の領域である候補保存部に格納する。その際、描画領域監視部２１は、候補保存部に格納しようとしている保存候補データ内の画像データと基準値以上の領域が同一な画像データを含む保存候補データが記憶部１３に既に保存されているか記憶部１３を検索する。

　検索の結果、候補保存部に格納しようとしている保存候補データ内の画像データと基準値以上の領域が同一な画像データを含む保存候補データが描画内容保存部２３に既に保存されている場合、描画領域監視部２１は、その保存候補データを候補保存部に格納しない。その反対に、候補保存部に格納しようとしている保存候補データ内の画像データと基準値以上の領域が同一な画像データが候補保存部に既に保存されている場合、描画領域監視部２１は、新たに保存しようとした保存候補データに含まれる表示時間を、既に記憶部１３に保存されている保存候補データに含まれる表示時間に積算する。そして、描画領域監視部２１は、新たな保存候補データを候補保存部に格納する度に、保存候補データに含まれる表示時間を読み出し、Ｓ３２２２の判定を行い、読み出した表示時間が閾値以上であれば、保存候補データに含まれる画像データを描画内容保存部２３に保存する。

　この場合、発表者が、一度、表示部１５に表示させて説明したページを、他のページを表示させて説明した後に、再び、表示させて説明する場合のように、同じページを繰り返し表示させて説明した資料も、発表者が重点的に説明した資料として保存される。

　（第２の実施形態）
　第１の実施形態では、発表者がマウスカーソルを用いて、発表用資料の中で強調したい箇所を聴講者に指し示す場合を説明したが、本実施形態は、発表者がマウスカーソルの代わりにレーザポインタを使用する場合である。

　本実施形態の画像表示装置の構成を説明する。図１０は本実施形態の画像表示装置の一構成例を示すブロック図である。本実施形態は、画像表示装置が大型ディスプレイ装置の場合である。本実施形態では、第１の実施形態と同様な構成については、その詳細な説明を省略する。

　図１０に示すように、本実施形態の画像表示装置５は、図２に示した画像表示装置２の表示部１５として表示デバイス４を備え、さらに、表示デバイス４の画面を撮影するカメラ２６をさらに有している。カメラ２６は入力操作監視部２４と接続されている。表示デバイス４は、例えば、液晶パネルである。発表者は、表示デバイス４が表示する画像に対して、レーザポインタを用いて強調箇所を指し示す。

　カメラ２６は、レンズ（不図示）、撮像素子（不図示）およびＡ／Ｄ変換器（不図示）を有する。撮像素子は、レンズを介して入力される光を電気信号に変換してＡ／Ｄ変換器に送信する。Ａ／Ｄ変換器は、撮像素子から受信する電気信号をアナログ信号からデジタル信号の画像データに変換して入力操作監視部２４に送信する。

　入力操作監視部２４は、カメラ２６から入力される画像データとＶＲＡＭ１７から出力される画像データとを比較し、比較した画像データからレーザポインタの光点を検出し、その光点の軌跡を監視する。ここで、入力監視部２４がレーザポインタの光点の軌跡を監視可能にするために、レーザポンタの光点の色は、表示デバイス４に表示される画像には使用されていない色であることが望ましい。入力操作監視部２４は、レーザポインタの光点の軌跡に対して、第１の実施形態で説明したマウスカーソル４１の場合と同様に、図３に示したフローチャートの処理を行う。

　なお、本実施形態の画像表示装置５の動作については、入力操作監視部２４の監視対象がマウスカーソルからレーザポインタの光点に代わったことを除いて、第１の実施形態と同様になるため、その詳細な説明を省略する。

　本実施形態では、発表者がレーザポインタを使用する場合でも、発表者が強調した領域をプレゼンテーションに遅れて参加した聴講者に特定可能にした画像を保存することが可能となり、第１の実施形態と同様な効果が得られる。

　また、本実施形態では、発表者がレーザポインタを使用してプレゼンテーションを行う場合で説明したが、発表者が指示棒を使用する場合も、次のようにして、本実施形態を適用することが可能である。指示棒の先端にＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）やランプなどのライトを装着してライトを発光させれば、レーザポインタの場合と同様にして、入力操作監視部２４は、発表者が強調した箇所を検出できる。

　なお、第１の実施形態では、画像表示装置２がプロジェクタの場合で説明したが、画像表示装置２が大型ディスプレイ装置であってもよい。その反対に、第２の実施形態では、画像表示装置５が大型ディスプレイ装置の場合で説明したが、画像表示装置５がプロジェクタであってもよい。さらに、第１の実施形態ではプロジェクタがライトバルブ式プロジェクタの場合で説明したが、プロジェクタの種類はライトバルブ式に限定されず、ライトスイッチ式など他の種類であってもよい。

　以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

　２、５　　画像表示装置
　１、３　　パーソナルコンピュータ（ＰＣ）
　４　　表示デバイス
　１１　　制御部
　１３　　記憶部
　１５　　表示部
　１７　　ＶＲＡＭ
　２１　　描画領域監視部
　２２　　表示時間監視部
　２３　　描画内容保存部
　２４　　入力操作監視部
　２５　　ＯＣＲ処理部

Claims (10)

1. 　情報処理装置から順次受信する画像データの画像を表示する画像表示装置であって、
   　前記情報処理装置から受信する前記画像データをページ単位で記憶し、前記情報処理装置から前記画像データを受信する度に、記憶する画像データを更新するバッファメモリと、
   　前記バッファメモリが記憶する画像データの画像を表示する表示部と、
   　前記画像データを前記ページ単位で保存するための記憶部と、
   　前記表示部が前記画像を表示する時間である表示時間をページ毎に計測し、該表示時間が予め設定された閾値以上のページの画像データを前記記憶部に格納する制御部と、
   を有する画像表示装置。
2. 　請求項１記載の画像表示装置において、
   　前記制御部は、
   　前記バッファメモリが記憶する画像データが更新される領域の割合が予め設定された基準値以上であるか否かによって、該画像データがページ単位で切り替わったか否かを判定する、画像表示装置。
3. 　請求項２記載の画像表示装置において、
   　ページ単位で前記基準値以上の領域が同一な画像データの画像が複数回、前記表示部で表示される場合、該画像データについて計測される前記表示時間は、該複数回のそれぞれで該画像データの画像が前記表示部で表示される時間の積算値である、画像表示装置。
4. 　請求項１記載の画像表示装置において、
   　前記制御部は、
   　前記バッファメモリが記憶する画像データのうち、予め決められた領域が更新されたか否かによって、該画像データがページ単位で切り替わったか否かを判定する、画像表示装置。
5. 　請求項１から４のいずれか１項記載の画像表示装置において、
   　前記制御部は、
   　前記バッファメモリが記憶する画像データの画像内でカーソルの移動を検出すると、前記情報処理装置の操作者が強調しようとした箇所を含む領域である強調領域を、該カーソルの移動による軌跡から該画像内で特定し、該画像の画像データを前記記憶部に格納する際、該強調領域を他の領域と異なるように表示させる描画内容を含めて該画像データを該記憶部に格納する、画像表示装置。
6. 　請求項１から４のいずれか１項記載の画像表示装置において、
   　前記表示部が表示する画像を撮影し、撮影した画像の画像データを前記制御部に送信するカメラをさらに有し、
   　前記制御部は、
   　前記カメラから受信する画像データの画像に、前記表示部が表示する画像とは異なる色の光点を検出すると、前記情報処理装置の操作者が強調しようとした箇所を含む領域である強調領域を、該光点の軌跡から該画像内で特定し、該画像の画像データを前記記憶部に格納する際、該強調領域を他の領域と異なるように表示させる描画内容を含めて該画像データを該記憶部に格納する、画像表示装置。
7. 　請求項５または６記載の画像表示装置において、
   　前記制御部は、
   　前記強調領域に複数の文字を検出すると、検出した複数の文字を文節に区切り、区切った文節のうち、前記軌跡の最終位置に最も近い文節を特定し、前記画像データを前記記憶部に格納する際、特定した文節を含む領域を他の領域とは異なるように表示させる描画内容を含めて該画像データを前記記憶部に格納する、画像表示装置。
8. 　請求項１から７のいずれか１項記載の画像表示装置において、
   　前記情報処理装置とは異なる他の情報処理装置と通信可能に接続され、
   　前記制御部は、
   　前記他の情報処理装置から前記記憶部に格納された画像データを要求する旨の信号を受信すると、該記憶部に格納された画像データを該他の情報処理装置に送信する、画像表示装置。
9. 　情報処理装置から順次受信する画像データをページ単位で記憶し、前記情報処理装置から前記画像データを受信する度に、記憶する画像データを更新するバッファメモリと、該バッファメモリが記憶する画像データの画像を表示する表示部と、前記画像データを前記ページ単位で保存するための記憶部と、制御部とを有する画像表示装置が実行する情報処理方法であって、
   　前記制御部は、前記表示部が前記画像を表示する時間である表示時間をページ毎に計測し、
   　前記制御部は、前記表示時間が予め設定された閾値以上のページの画像データを前記記憶部に格納する、情報処理方法。
10. 　情報処理装置から順次受信する画像データをページ単位で記憶し、前記情報処理装置から前記画像データを受信する度に、記憶する画像データを更新するバッファメモリと、該バッファメモリが記憶する画像データの画像を表示する表示部と、前記画像データを前記ページ単位で保存するための記憶部と、制御部とを有する画像表示装置に実行させるためのプログラムであって、
    　前記表示部が前記画像を表示する時間である表示時間をページ毎に計測し、
    　前記表示時間が予め設定された閾値以上のページの画像データを前記記憶部に格納する処理を前記画像表示装置に実行させるためのプログラム。

Images