JP5164426B2 - 表示制御装置および表示制御方法 - Google Patents

Description

本発明は、記録装置に記録された記録内容を表示装置上に再生するための表示制御技術に関するものである。

デジタイザが配された表示装置と、該デジタイザからの出力を受け、該表示装置の表示を制御する表示制御装置とが接続された表示制御システムにおいて、表示装置を電子ホワイトボードとして機能させるためのアプリケーションが、一般に知られている。

当該アプリケーションは、一般に電子ホワイトボードアプリケーションと呼ばれ、該アプリケーションを用いることにより、デジタイザペンによる表示装置の表示画面上への文字や図表等の描画オブジェクトの描画が可能となっている。

電子ホワイトボードアプリケーションは、例えば会議において、電子ホワイトボードに表示された資料にアノテーションを行いながら視覚的な説明を行う場合や、会議参加者が共同作業でブレインストーミングを行う場合等に活用されている。

一般に、このような電子ホワイトボードアプリケーションでは、当該電子ホワイトボードアプリケーション実行中にユーザによりなされた操作に関する情報（操作情報）や音声等を記録することができる。また、該操作によってオブジェクトが描画された場合にあっては、該描画オブジェクトに関する情報（描画オブジェクト情報）を記録することができる。そして、再生機能を用いることにより、当該記録内容を、過去の会議情報として再生することができる。

しかしながら、会議情報として記録されるこれらの記録内容は膨大であるため、ユーザが当該記録内容を見返すにあたっては非常に手間がかかるという問題があった。

このため、従来より、会議情報として記録された膨大な記録内容を、ユーザに見やすく表示するための提案がなされてきている。例えば、特許文献１には、会議中の各参加メンバーの発言時間帯とその発言内容を、会議時間軸を用いた画面に表示する表示制御システムが提案されている。同文献によれば、会議時間軸に沿って発言内容が画面に一覧表示されるため、ユーザが再生させたい所望の発言内容を探し出し、当該発言内容が記録された時間帯に合わせて記録内容を再生させることで、効率的に会議情報を見返すことができる。

また、特許文献２には、描画された文字や図形等の描画オブジェクトと、それらが描画された際に発言された音声とを同期をとって再生することができる表示制御システムが提案されている。同文献によれば、ユーザが再生させたい所望の発言内容を、描画内容の一覧に基づいて探し出し、当該描画内容が記録された時間帯に合わせて再生させることで、所望の発言内容を効率的に再生させることができる。
特開平６−２６６６３２号公報 特開２００３−２６０８９６号公報

しかしながら、上記特許文献１及び２の再生方法の場合、画面上に表示される発言内容や描画内容をみて、ユーザが再生させようとする記録内容を探し出さなければならず、再生に際してのユーザの負担が大きいという問題がある。

これに対して、例えば、ユーザが再生させたい記録内容を、キーワード検索により抽出して、当該抽出された記録内容をユーザの指定に従って再生することが考えられるが、この場合、単に記録内容が断片的に再生されるだけであり、再生結果に連続性がない。このため、ユーザが会議内容を把握しにくいという問題がある。

本発明は上記課題に鑑みてなされたものであり、記録内容を表示装置上に再生させることが可能な表示制御装置において、ユーザ所望の記録内容をユーザにわかりやすく再生できるようにすることを目的とする。

上記の目的を達成するために本発明に係る表示制御装置は以下のような構成を備える。即ち、
表示装置と接続される表示制御装置であって、
表示装置と接続される記録装置であって、少なくとも、該表示装置上のオブジェクトを描画するための描画領域においてユーザの操作によって描画内容が変化した場合に該変化の内容を記録する記録装置から、前記描画領域において描画内容が変化した場合のユーザの操作を表す操作情報と、該操作により前記描画領域に描画されたオブジェクトが変化した場合の該オブジェクトに関するオブジェクト情報とを取得する取得手段と、
前記取得手段により取得された操作情報の中から、所定の属性を有する操作情報を抽出するための第１の条件と、前記第１の条件を満たす操作情報の前後に記録された操作情報を抽出するための第２の条件として、時間または操作数とを入力する入力手段と、
前記取得手段により取得された操作情報の中から、
前記第１の条件を満たす操作情報と、
前記第２の条件を満たす操作情報として、前記第１の条件を満たす操作情報の前後に記録された操作情報であって、入力された時間ないに記録された操作情報または入力された操作数内に記録された操作情報と、
を抽出し、該抽出した操作情報に対応するオブジェクト情報を、当該操作情報が記録された順序で連続して再生することで、表示装置上に描画内容を連続して再生する再生手段とを備える。

本発明によれば、記録内容を表示装置上に再生させることが可能な表示制御装置において、ユーザ所望の記録内容をユーザにわかりやすく再生できるようになる。

以下、図面を参照しながら各実施形態の詳細について説明する。

［第１の実施形態］
１．表示制御システムの外観構成
図１は、本発明の第１の実施形態にかかる表示制御装置を有する会議システム（表示制御システム）１００の外観構成を示す図である。図１において、１１０はディスプレイ装置である。ディスプレイ装置１１０は、画面周囲にデジタイザ１４０が取り付けられた、デジタイザ付きディスプレイ装置である。

１２０はディスプレイ装置１１０の表示を制御する表示制御装置として機能するコンピュータ装置であり、ディスプレイ装置１１０と通信可能に接続されている。コンピュータ装置１２０には、文字や図形などのオブジェクトの描画および描画オブジェクトの編集が可能であり、ディスプレイ装置１１０を電子ホワイトボードとして機能させるための電子ホワイトボードアプリケーションが搭載されている。

１３０は入力デバイスであるデジタイザペンである。電子ホワイトボードとして機能するディスプレイ装置１１０に対して、デジタイザペン１３０を用いて、文字や図形などのオブジェクトの描画および描画オブジェクトの編集を行うことが可能である。

なお、入力デバイスにはデジタイザペン１３０のほか、コンピュータ装置１２０に接続され、コンピュータ装置１２０に対して指示を入力するキーボード１５０およびマウス１６０も含まれる。

２．表示制御装置の構成
図２は表示制御装置として機能するコンピュータ装置１２０の構成を示すブロック図である。コンピュータ装置１２０は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、ＨＤＤ２０４、入力機器Ｉ／Ｆ部２０５、ネットワークインタフェース部２０６、ディスプレイＩ／Ｆ部２０７を備える。

入力機器Ｉ／Ｆ部２０５は、デジタイザ１４０より出力された指示位置に関する情報を受け付ける。また、コンピュータ装置１２０に対する入力デバイスとして機能するキーボード１５０、マウス１６０からの指示を受け付ける。

ＨＤＤ２０４に格納された電子ホワイトボードアプリケーション２１０は、描画モードにおいて実行される機能と、再生モードにおいて実行される機能とをそれぞれ備える。描画モードとは、ディスプレイ装置１１０を電子ホワイトボードとして機能させるためのモードであり、再生モードとは、ディスプレイ装置１１０を再生機器として機能させるためのモードである。

描画モードにおいて実行される機能として、電子ホワイトボードアプリケーション２１０は、認識部２１１、処理実行部２１２、描画制御部２１３、記録部２１４を備える。

認識部２１１は、入力機器Ｉ／Ｆ部２０５にて受け付けた各種操作指示を認識する。具体的には、ページ操作指示や、描画オブジェクトの生成指示、また、既に生成されている描画オブジェクトの編集指示等を認識する。

処理実行部２１２は、認識部２１１において認識された各種操作指示に対応する処理を実行する。

描画制御部２１３は、処理実行部２１２において実行された処理の結果、ディスプレイ装置１１０に表示する描画オブジェクトが変化した場合には、変化後の描画オブジェクトを生成し、ディスプレイＩ／Ｆ２０７部を介してディスプレイ装置１１０に出力する。

記録部２１４は、認識部２１１において認識された各種操作指示に伴って、該操作指示に関する情報（操作情報）をＨＤＤ２０４の操作情報テーブル２２１に記録する。また、当該操作指示に伴って描画オブジェクトが変化した場合にあっては、該描画オブジェクトに関する情報（描画オブジェクト情報）を描画オブジェクト情報テーブル２２２に記録する。

一方、再生モードにおいて実行される機能として、電子ホワイトボードアプリケーション２１０は、操作情報取得部２１５、再生部分抽出部２１６、再生部２１７を備える。

操作情報取得部２１５は、ＨＤＤ２０４に会議ごとに記録された複数の操作情報テーブル２２１及び描画オブジェクト情報テーブル２２２の中から、ユーザが指定する操作情報テーブル及び描画オブジェクト情報テーブルを取得する。

再生部分抽出部２２６は、取得された操作情報テーブル２２１及び描画オブジェクト情報テーブル２２２に基づいて、記録内容の再生に用いるべき操作情報を抽出する。ここで、記録内容の再生に用いるべき操作情報は、ユーザが指定する属性を有する操作情報及びその操作情報の前後に記録された操作情報である（なお、詳細は後述する）。

再生部２１７では、再生に用いるべきと判断された操作情報を抽出し、該操作情報を用いてディスプレイ装置１１０上に記録内容を再生する。

なお、電子ホワイトボードアプリケーション２１０及び操作情報テーブル２２１、描画オブジェクト情報テーブル２２２は、ＣＰＵ２０１の制御のもと、適宜ＲＡＭ２０２に取り込まれ、ＣＰＵ２０１によって実行される。

３．表示ウィンドウの構成
図３は、会議システム１００において、電子ホワイトボードアプリケーションの描画モードが起動されたことによりディスプレイ装置１１０に表示されたＵＩの一例を示す図である。

図３において、３００は表示ウィンドウである。３０１は表示ウィンドウ３００内の描画入力可能な領域（描画領域）である。描画モードのもとでは、デジタイザペン１３０を用いて描画オブジェクトを描画することができる。３０２、３０３は描画された描画オブジェクトの一例である。

３０２は手書き入力モードにおいて手書きストローク５画で入力された「９月」という文字列である。３０３はツール入力モードにおいて入力された直線であり、１画で構成されている。手書き入力モードとツール入力モードとの切り替えは、図示しないメニューにより行われるものとする。

なお、描画領域３０１に描画された描画オブジェクト３０２、３０３等に対しては、編集を行うこともできる。具体的には、描画オブジェクトを選択し、不図示のメニューから項目を選択することで、移動やリサイズ、消去、カット、コピー等の編集操作を行うことができる。

３０４は、描画領域３０１に対してページ操作を行うためのページ操作用の領域である。ページ操作用の領域３０４にはページのサムネイルが表示され、デジタイザペン１３０を用いて指示することによってページの切り替え、移動や削除、新規追加などのページ操作が可能である。

３０５は、ページ操作用ボタンである。ページ操作用ボタン３０５には表示中のページ番号と、ページ送り／戻し用のボタンが配置されており、当該ボタンを用いることによってもページの切り替えが可能である。

４．操作情報テーブル２２１の構成
図４は、電子ホワイトボードアプリケーション２１０の描画モード実行中に行われた、ユーザの操作に関する操作情報を記録した操作情報テーブル２２１の一例を示す図である。

操作情報テーブル２２１は会議毎に生成される。描画オブジェクトの生成操作、編集操作、ページ操作等の操作が操作情報として順次操作情報テーブル２２１に記録される。

操作情報テーブル２５１に記録される各操作情報には、「操作開始時刻」、「操作終了時刻」、「操作種別」、「オブジェクトＩＤ」、「ページ番号」、「ユーザＩＤ」等の項目が含まれる。

「操作開始時刻」は操作を開始した時刻である。「操作終了時刻」は操作を終了した時刻である。「操作種別」は、操作の種類を表している。

「オブジェクトＩＤ」は、ユーザの操作により描画領域３０１に描画された描画オブジェクトが変化した場合（生成、編集された場合）の該描画オブジェクトの識別子を示しており、図５に示す描画オブジェクト情報テーブルと対応している。

「ページ番号」は操作が行われたページ又は切り替え先のページ番号を示している。「ユーザＩＤ」は操作者のＩＤを示している。

５．描画オブジェクト情報テーブル２２２の構成
図５は、会議システム１００において、電子ホワイトボードアプリケーション２１０の再生モード実行中に、生成または編集操作等により変化した描画オブジェクトに関する描画オブジェクト情報を記録した描画オブジェクト情報テーブルの一例を示す図である。

描画領域３０１に描画された描画オブジェクトは、自動的にＩＤが割り振られる。描画オブジェクト情報として、描画オブジェクト情報テーブル２２２には、「描画オブジェクトＩＤ」、「データ種」、描画オブジェクトの描画に必要なデータ（「描画オブジェクトデータ」）が記録される。

「データ種」は、描画オブジェクトの種類を示す項目であり、ストロークや直線・矩形・円など図形ツールの種類を示している。「描画オブジェクトデータ」は、手書きストロークであれば（Ｘ，Ｙ）座標の配列が、直線であれば始点・終点座標が、矩形であれば左上座標・右下座標がそれぞれ記録される。また、この他に色データや線種データ、塗りつぶし色、などが記録されてもよい。

６．再生処理の流れ
図６は、コンピュータ装置１２０における記録内容の再生処理の流れを示すフローチャートである。電子ホワイトボードアプリケーション２１０の再生モードを起動させると、ステップＳ６０１では、まず、ユーザが再生しようとする会議を記録した記録内容を選択すべく、ユーザによる会議の指定を受け付ける。

ステップＳ６０２では、ステップＳ６０１で指定された会議に対応する操作情報テーブル及び描画オブジェクト情報テーブルを読み込む。

ステップＳ６０３では、再生方法を選択するためのＵＩを表示し、ユーザからの再生方法の選択を受け付ける。図７は、再生方法を選択するためのＵＩの一例を示す図である。

図７に示すように、本実施形態では、記録された操作情報すべてに基づいて記録内容の再生を行うか、特定の属性を有する操作情報を抽出し、当該操作情報のみに基づいて記録内容の再生を行うかの選択が可能である（７０１参照）。

また、特定の属性を有する操作情報の抽出に際しては、ユーザが、属性を選択することが可能である（７０２参照）。図７の例では、選択可能な属性として、“ストローク”、“特殊マーク”、“検索”、“認識”等が表示されている（７０３参照）。

ステップＳ６０４では、ステップＳ６０３において選択された属性を有する操作情報を抽出する。ステップＳ６０４において特定の属性を有する操作情報が抽出された後は、当該抽出された操作情報の前後の操作情報を抽出するための条件（第２の条件）を設定するためのＵＩが表示される。

図８は、ステップＳ６０４において抽出された操作情報の前後の操作情報として、所定の時間内に記録された操作情報を抽出するための条件を設定するＵＩの一例を示す図である。図８によれば、ユーザ所望の時間長を設定可能である。

また、図９は、ステップＳ６０４において抽出された操作情報の前後の操作情報として、所定の操作数分の操作情報を抽出するための条件を設定するＵＩの一例を示す図である。図９によれば、ユーザ所望の操作数を設定可能である。

このように、本実施形態では、ステップＳ６０４において抽出された操作情報に加え、該抽出された操作情報の前後の時間内もしくは操作数内に記録された操作情報もあわせて抽出する。これは、選択された属性によっては、当該属性を有する操作情報のみを抽出して記録内容の再生を行っても、ユーザが再生内容を把握できない場合があるためである。

例えば属性「ストローク」は入力デバイスであるデジタイザペン１３０もしくは他の入力デバイスによって行われた描画オブジェクトの生成操作を指す。この場合、ストロークが行われた部分だけを抽出し、再生したとしても、ストロークが描画されていく様子を把握することができる。

同様に、「編集」は描画オブジェクトについて、拡大や縮小、移動などの編集操作が行われたことを指す。この場合、編集操作が行われた部分だけを抽出し、再生したとしても、編集の遷移をユーザが把握することができる。

これに対して、「特殊マーク」は会議中に、例えば、重要とされる部分を指すマークとして使用されるものであるため、特殊マークの印付け操作が行われた部分だけを抽出しただけでは、当該操作が極めて短時間の操作である可能性もある。このため、抽出された操作情報のみに基づいて再生を行ったとしても、再生が瞬間的なものになってしまい、ユーザが再生結果を把握することができないという問題がある。本実施形態では、このような問題に鑑みて、属性に応じて抽出した操作情報の前後の所定の時間内もしくは所定の操作数内に記録された操作情報もあわせて抽出し、当該抽出した操作情報を用いて再生を行うことができる構成となっている。

ステップＳ６０５では、図８のＵＩにおいて時間長が指定されたか否かを判定する。ステップＳ６０５において、時間長が指定されたと判定された場合には、ステップＳ６０７に進む。ステップＳ６０７では、ステップＳ６０４において抽出された操作情報の前後の操作情報として、指定された時間内に記録された操作情報を更に抽出する。

一方、ステップＳ６０５において、時間長が指定されなかった判定された場合には、ステップＳ６０６に進む。ステップＳ６０６では、図９のＵＩにおいて操作数が指定されたか否かを判定する。ステップＳ６０６において、操作数が指定されたと判定された場合には、ステップＳ６０８に進む。

ステップＳ６０８では、ステップＳ６０４において抽出された操作情報の前後の操作情報として、指定された操作数分の操作情報を更に抽出する。

一方、ステップＳ６０６において、操作数が指定されなかったと判定された場合には、ステップＳ６０９に進む。

ステップＳ６０９では、抽出された操作情報に基づいて、該操作情報が記録された順序で記録内容の連続再生を行う。ここで、抽出された操作情報とは、ステップＳ６０５において“Ｙｅｓ”と判定された場合には、ステップＳ６０４において抽出された操作情報と、ステップＳ６０７において抽出された操作情報の両方が含まれる。また、ステップＳ６０６において“Ｙｅｓ”と判定された場合には、ステップＳ６０４において抽出された操作情報と、ステップＳ６０８において抽出された操作情報の両方が含まれる。一方、ステップＳ６０６において“Ｎｏ”と判定された場合には、ステップＳ６０４において抽出された操作情報のみが含まれる。

なお、抽出された操作情報に基づいて再生を行うには、抽出された操作情報（またはその前後の時間内または操作数内に記録された操作情報）に係る時刻における電子ホワイトボードアプリケーション全体の状態を表示する。

ここで、電子ホワイトボードアプリケーション全体の状態とは、抽出された操作情報が記録された際に、すでに同一ページ内に描画されていた描画オブジェクトを表示した状態をいう。

具体的には、電子ホワイトボードアプリケーションの描画モード実行中に当該抽出されたそれぞれの操作情報が属するページに切り替わってから、当該抽出された操作情報の操作開始時刻までの間に記録された全ての操作情報を用いて同時再生させた状態をいう。

したがって、当該操作開始時刻までに行われた操作情報については、例えば描画であれば、それが消去されていなければ記録内容として同時再生される。抽出した操作情報及びその前後の操作情報に基づいてのみ再生を行うよう構成してもよいが、通常は電子ホワイトボード全体を見ることができたほうがユーザにとっては再生結果を把握しやすいことから、このように再生が行われる。

図１０、図１１は、抽出された操作情報を用いて連続再生する様子を時間軸を用いて表した概念図である。このうち、図１０は、時間長または操作数が指定されなかった場合の連続再生を示している。一方、図１１は、時間長または操作数が指定された場合の連続再生を示している。

図１０において、（ａ）は会議開始から会議終了までの間にユーザが行った操作を時間軸に沿って可視化したものである。図１０の（ａ）において時間軸に沿って配された長方形は、ユーザの継続的な操作を示しており、各長方形の左辺は継続的な操作の操作開始時刻を、右辺は操作終了時刻を表わす。また、各長方形の内部に示された菱形のうち、黒色菱形は、ステップＳ６０３において選択された属性を有する描画オブジェクト情報に対応する操作情報を表わしている。また、白色菱形は、ステップＳ６０３において選択された属性を有さない描画オブジェクト情報に対応する操作情報を表わしている。

すなわち、操作情報１００１〜１００４は抽出される操作情報である。また、操作情報１０１１〜１０１４は、抽出される操作情報が属するページに切り替えられてから、当該抽出される操作情報の操作開始時刻までの間に記録された操作情報である。操作情報１０１１〜１０１４は、操作情報１００１〜１００４を用いてそれぞれ記録内容の再生を行うにあたり、電子ホワイトボードアプリケーション全体の状態を表示するために用いられる操作情報である。

一方、図１０において、（ｂ）は抽出された操作情報を用いて記録内容を連続して再生する様子を示したものである。図１０の（ｂ）に示すように、はじめに電子ホワイトボードアプリケーション全体の状態を表示するために、操作情報１０１１に基づいて記録内容が同時再生された後、操作情報１００１に基づいて記録内容が再生される。続いて、電子ホワイトボードアプリケーション全体の状態を表示するために、操作情報１０１２に基づいて記録内容が同時再生された後、操作情報１００２に基づいて記録内容が再生される。以下、同様に、操作情報１００４に基づいて記録内容が再生されると、再生処理が終了する。

このように、属性を選択することにより抽出された操作情報に基づいて、時刻の早い順に記録内容を連続して再生することで、全体の時間よりも大幅に短い時間で、記録内容を見返すことが可能となる。なお、記録内容の再生は、操作情報を構成する各項目を参照し、抽出、連結、再生処理を行うことで実現されるものとする。

一方、時間長または操作数が指定された場合にあっては、図１１に示すように、抽出された操作情報の前後の操作情報も含めて、連続して再生される。

例えば、ステップＳ６０５において、“３秒”が設定された場合には、ステップＳ６０４において抽出されたそれぞれの操作情報（１１０１〜１１０４）の操作開始時刻と操作終了時刻の前後３秒間の操作情報についても抽出されることとなる。具体的には、操作情報１１０１’、１１０１’’、１１０２’、１１０２’’、１１０３’、１１０３’’、１１０４’、１１０４’’が抽出されることとなる。

そして、抽出された操作情報（１１０１’〜１１０４’）のそれぞれの操作開始時刻における電子ホワイトボードアプリケーション全体の状態を表示するために、それぞれ操作情報１１１１〜１１１４に基づく同時再生が行われる。

また、ステップＳ６０６において、“５操作”が設定された場合には、ステップＳ６０４において抽出されたそれぞれの操作情報（１１０１〜１１０４）の前後５操作分の操作情報（１１０１’〜１１０４’’）について抽出されることとなる。

そして、抽出された操作情報（１１０１’〜１１０４’）のそれぞれの操作開始時刻における電子ホワイトボードアプリケーション全体の状態を表示するために、それぞれ操作情報１１１１〜１１１４に基づく同時再生が行われる。

以上の説明から明らかなように、本実施形態では、電子ホワイトボードアプリケーションの描画モード実行中に記録された操作情報に基づいて記録内容を再生するにあたり、ユーザが属性を指定する構成とした。そして、指定された属性を有する操作情報を抽出し、該操作情報に基づく記録内容を連続的に再生する構成とした。この結果、ユーザ所望の記録内容をユーザにわかりやすく再生することが可能となった。

また、本実施形態では、ユーザ所望の記録内容を選択的に連続して再生するにあたり、該当する操作情報の前後の操作情報も含めて抽出し、それらの操作情報を用いて再生する構成とした。この結果、ユーザは再生結果を容易に把握することが可能となる。

更に、本実施形態では、抽出された操作情報に基づいて記録内容を再生するにあたり、該抽出された操作情報が記録された際に、すでに同一ページ内に描画されていた描画オブジェクトを同時再生したうえで、再生させる構成とした。この結果、ユーザは、電子ホワイトボードアプリケーション全体の状態を見ることができ、再生結果を容易に把握することが可能となる。

なお、本実施形態における連続再生においては、連結部分が再生された時に抽出した操作情報が切り替わったことがわかるような表示があることが望ましい。例えば、図１０の場合、操作情報１００１から操作情報１００４までの操作情報に基づく再生を連続的に行っている。そこで、それぞれの繋ぎ目に、例えば場面が切り替わったことを知らせるテロップを入れたり、フェードイン・アウトなどの映像の効果を活用するなどして、より理解しやすく再生を行うようにしてもよい。

また、選択可能な属性は、図７において示した属性に限られない。例えば、電子ホワイトボード上に描画された描画オブジェクトにより形成される文字を認識し、テキスト情報に変換するための操作の属性である「文字認識属性」や、図形を認識するための操作の属性である「図形認識属性」が挙げられる。

また、電子ホワイトボードアプリケーションにおいて、例えば資料ファイルなどの検索を行うための操作の属性である「資料検索属性」、特定の位置における操作を検索するための操作の属性である「位置検索属性」が挙げられる。更に、コピー（もしくはカット）・ペーストを行うための操作の属性である「コピー（カット）ペースト属性」、ページ切り替えを行うための操作の属性である「ページ切り替え属性」が挙げられる。

このように、電子ホワイトボードにおいて可能な操作の種類に応じて属性の定義付けが可能であるものとする。さらに属性の細分化も可能で、例えば「ストローク属性」については色種類、ペンの太さ種類、「テキスト入力属性」についてはフォント種類などの属性を定義してもよい。ただし、会議中に該操作がほとんど登場しないような属性や、後で会議を見返す際に重要性のない属性など効果が薄いものもあるため、本発明の目的を果たすために効果的な属性であることが望ましい。

［第２の実施形態］
上記第１の実施形態では、ユーザ所望の操作情報を抽出するにあたり、属性を指定する場合について説明したが、本発明はこれに限られず、描画オブジェクトにより指定するように構成してもよい。

本実施形態では、電子ホワイトボードアプリケーションを用いて記録された操作情報及び描画オブジェクト情報について、特定の描画オブジェクトに基づいて操作情報を抽出し、再生を行う。なお、会議システムの外観構成ならびにコンピュータ装置の構成については上記第１の実施形態において説明した通りであるためここでは説明を省略する。

図１２は、本実施形態にかかるコンピュータ装置における再生処理の流れを示すフローチャートである。

電子ホワイトボードアプリケーション２１０の再生モードを起動させると、ステップＳ６０１では、まず、ユーザが再生しようとする会議を記録した記録内容を選択すべくユーザによる会議の指定を受け付ける。ステップＳ６０２では、ステップＳ６０１で指定された会議に対応する操作情報テーブル及び描画オブジェクト情報テーブルを読み込む。

ステップＳ１２０３では、検索種類を選択するためのＵＩを表示し、ユーザからの検索種類の選択を受け付ける。図１３は、検索種類を選択するためのＵＩの一例を示す図である。

図１３に示すように、本実施形態では、記録された操作情報すべてに基づいて記録内容の再生を行う選択が可能である（１３０１参照）。また、特定の図形、文字、描画位置に該当する描画オブジェクトの生成または編集の際に記録された操作情報を抽出し、当該操作情報のみに基づいて記録内容の再生を行う選択も可能である（１３０２参照）。

ステップＳ１２０４では、ステップＳ１２０３において選択された検索種類に対応する検索条件（第１の条件）の入力画面（図１４〜図１６のいずれか）を表示し、検索条件の入力を受け付ける。

ここで、各検索種類及び検索条件について説明する。

図形検索は、任意の図形を検索を行う場合に用いられる。例えば、囲みマークや、アンダーライン等の図形はポインティングに使用された可能性が高いので、当該図形を検索対象として記入することで、会議中に指定の描画オブジェクトが描画されている部分を検索して抽出することができる。検索条件の入力画面としては、例えば、図１４に示すような入力画面が表示され、ユーザは、当該入力画面に検索しようとする図形を入力することができる。図形検索の場合、図１４においてユーザが入力した図形が検索のキーとなり、描画オブジェクト情報テーブルが検索され、会議中に類似した描画オブジェクトが記録された際の操作情報が抽出される。

文字検索は、任意の文字の検索を行う場合に用いられる。検索指定された文字が会議中に記述された際の操作情報を検索して抽出することができる。検索条件の入力画面としては、例えば、図１５に示すような入力画面が表示され、ユーザは、当該入力画面に検索しようとする文字を入力することができる。文字検索の場合、図１５においてユーザが入力した文字が検索のキーとなり、描画オブジェクト情報テーブルが検索され、会議中に同一の文字が描画された際に記録された操作情報が抽出される。なお、描画オブジェクト情報テーブルの検索に際しては、文字認識処理が合わせて実行され、手書き入力（ストローク）により入力された文字はテキスト情報として認識されるものとする。

位置検索は、任意の位置の描画オブジェクトを検索する場合に用いられる。電子ホワイトボード上の任意の位置において描画オブジェクトの生成または編集が行われた際に記録された生成操作または編集操作の操作情報を検索し、抽出することができる。検索条件の入力画面としては、例えば、図１６に示すような入力画面が表示され、ユーザは、当該入力画面に検索しようとする位置を入力することができる。位置検索の場合、図１６において入力した位置情報が検索のキーとなる。この結果、描画オブジェクト情報テーブルが検索され、会議中に当該位置において描画オブジェクトが生成または編集された際に記録された操作情報が抽出される。

図１２に戻る。ステップＳ６０９では、ステップＳ１２０５において抽出された操作情報に基づいて、該操作情報が記録された順序で連続再生を行う。

なお、抽出された操作情報に基づいて再生を行うには、抽出された操作情報に係る時刻における電子ホワイトボードアプリケーション全体の状態を表示する。

ただし、再生時に表示させる範囲を電子ホワイトボード全体の状態を表示することなく、検索によって抽出された操作情報のみに基づいて記録内容の再生を行うようにしてもよい。特に位置検索においては、抽出された操作情報のみに基づいて記録内容を再生したほうが、特定の位置において描画オブジェクトが生成または編集された際に記録された操作情報に基づく記録内容だけを再生できるので、より効果的である。

また、位置検索は他の検索もしくは第１の実施形態において説明した再生方法を組み合わせてもよく、例えば、指定した範囲の指定した図形といった条件で検索再生を行うことや、指定した範囲の指定した属性の操作という条件で再生を行ってもよい。

以上の説明から明らかなように、本実施形態によれば、電子ホワイトボードアプリケーションにおいて記録された操作情報に基づいて記録内容を再生するにあたり、ユーザが描画オブジェクトに基づく検索条件を指定することが可能となる。

［第３の実施形態］
上記第１及び第２の実施形態では、電子ホワイトボードアプリケーションにおいて、操作情報テーブルと対応付けて、描画オブジェクト情報を記録することとしたが、本発明はこれに限られない。音声データ及びその属性情報（発言者に関する情報等）も合わせて記録するように構成してもよい。

この場合、電子ホワイトボードアプリケーションの実行開始とともに、順次音声データ及びその属性情報が時間情報と対応付けて記録されていくものとする。この結果、抽出された操作情報に基づいて、記録内容が再生されるにあたり、当該操作情報の操作開始時刻と操作終了時刻の間に記録された音声データがあわせて再生されることとなる。

これにより、音声データについても再生時間を大幅に短縮して再生することが可能となる。なお、操作情報の抽出に際しては、音声データの属性情報を選択するように構成してもよい。

［他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給するよう構成することによっても達成されることはいうまでもない。この場合、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することにより、上記機能が実現されることとなる。なお、この場合、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合に限られない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、前述した実施形態の機能が実現される場合も含まれる。つまり、プログラムコードがメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって実現される場合も含まれる。

本発明の第１の実施形態にかかる表示制御装置を有する会議システム（表示制御システム）１００の外観構成を示す図である。 表示制御装置として機能するコンピュータ装置１２０の構成を示すブロック図である。 会議システム１００において、電子ホワイトボードアプリケーションの描画モードが起動されたことによりディスプレイ装置１１０に表示されたＵＩの一例を示す図である。 電子ホワイトボードアプリケーション２１０の描画モード実行中に行われた、ユーザの操作に関する操作情報を記録した操作情報テーブル２２１の一例を示す図である。 会議システム１００において、電子ホワイトボードアプリケーション２１０の再生モード実行中に、生成または編集操作等により変化した描画オブジェクトに関する描画オブジェクト情報を記録した描画オブジェクト情報テーブル２５２の一例を示す図である。 コンピュータ装置１２０における記録内容の再生処理の流れを示すフローチャートである。 再生方法を選択するためのＵＩの一例を示す図である。 抽出された操作情報の前後の操作情報として、所定の時間内に記録された操作情報を抽出するための条件を設定するＵＩの一例を示す図である。 抽出された操作情報の前後の操作情報として、所定の操作数分の操作情報を抽出するための条件を設定するＵＩの一例を示す図である。 抽出された操作情報を用いて連続再生する様子を時間軸を用いて表した概念図である。 抽出された操作情報を用いて連続再生する様子を時間軸を用いて表した概念図である。 本発明の第２の実施形態にかかるコンピュータ装置における再生処理の流れを示すフローチャートである。 検索種類を選択するためのＵＩの一例を示す図である。 選択された検索種類に対応する検索条件の入力画面の一例を示す図である。 選択された検索種類に対応する検索条件の入力画面の一例を示す図である。 選択された検索種類に対応する検索条件の入力画面の一例を示す図である。

Claims (3)

1. 表示装置と接続される表示制御装置における表示制御方法であって、
   表示装置と接続される記録装置であって、少なくとも、該表示装置上のオブジェクトを描画するための描画領域においてユーザの操作によって描画内容が変化した場合に該変化の内容を記録する記録装置から、前記描画領域において描画内容が変化した場合のユーザの操作を表す操作情報と、該操作により前記描画領域に描画されたオブジェクトが変化した場合の該オブジェクトに関するオブジェクト情報とを取得する取得工程と、
   前記取得工程において取得された操作情報の中から、所定の属性を有する操作情報を抽出するための第１の条件と、前記第１の条件を満たす操作情報の前後に記録された操作情報を抽出するための第２の条件として、時間または操作数とを入力する入力工程と、
   前記取得工程において取得された操作情報の中から、
   前記第１の条件を満たす操作情報と、
   前記第２の条件を満たす操作情報として、前記第１の条件を満たす操作情報の前後に記録された操作情報であって、入力された時間内に記録された操作情報または入力された操作数内に記録された操作情報と、
   を抽出し、該抽出した操作情報に対応するオブジェクト情報を、当該操作情報が記録された順序で連続して再生することで、表示装置上に描画内容を連続して再生する再生工程と
   を備えることを特徴とする表示制御方法。
2. 表示装置と接続される表示制御装置であって、
   表示装置と接続される記録装置であって、少なくとも、該表示装置上のオブジェクトを描画するための描画領域においてユーザの操作によって描画内容が変化した場合に該変化の内容を記録する記録装置から、前記描画領域において描画内容が変化した場合のユーザの操作を表す操作情報と、該操作により前記描画領域に描画されたオブジェクトが変化した場合の該オブジェクトに関するオブジェクト情報とを取得する取得手段と、
   前記取得手段により取得された操作情報の中から、所定の属性を有する操作情報を抽出するための第１の条件と、前記第１の条件を満たす操作情報の前後に記録された操作情報を抽出するための第２の条件として、時間または操作数とを入力する入力手段と、
   前記取得手段により取得された操作情報の中から、
   前記第１の条件を満たす操作情報と、
   前記第２の条件を満たす操作情報として、前記第１の条件を満たす操作情報の前後に記録された操作情報であって、入力された時間内に記録された操作情報または入力された操作数内に記録された操作情報と、
   を抽出し、該抽出した操作情報に対応するオブジェクト情報を、当該操作情報が記録された順序で連続して再生することで、表示装置上に描画内容を連続して再生する再生手段と
   を備えることを特徴とする表示制御装置。
3. 請求項１に記載の表示制御方法の各工程をコンピュータに実行させるためのプログラム。

Images