以下、本発明の一実施の形態を図にしたがって説明する。
(第1の実施の形態)
図1は本実施の形態における投影システムを示す構成図である。この投影システムは、プレゼンテーション等においてドキュメントの投影に使用されるプロジェクタ1と、汎用のパーソナルコンピュータ(PC)2とから構成されており、プロジェクタ1とPC2はRGBケーブル3を介して接続されている。プロジェクタ1はスクリーンS(ホワイトボード等)を撮影するためのデジタルカメラが内蔵されたものであって、本体の正面側には、前記表示画像の投影レンズ等の光学系からなる投影部1aと、撮影レンズ等の光学系からなる撮影部1bとが並んで設けられている。さらに、メモリカード4を装着するためのスロットル(図示せず)を有しており、メモリカード4を介してPC2へのデータの受け渡しが可能となっている。
図2はプロジェクタ1とPC2の概略構成を示すブロック図である。プロジェクタ1は、主としてCPU11、ROM12、RAM13、表示部14、キー入力部15、デジタルカメラ部16、前記メモリカード4に対するデータの入出力を行うためのカードインターフェイス回路17から構成されるとともに、RGBケーブル3が接続されたRBG信号の入力端子18を有している。
前記表示部14は本発明の投影手段であって、クリプトンランプ等の光源、光源の光を投影光に変換するための液晶やマイクロミラーアレイ等の画像変換素子、その画像変換素子を、入力端子18から入力したRBG信号に応じて駆動する駆動回路、前記投影部1aにおける投影レンズ等の光学系を含み、PC2から出力されたドキュメント(文字や図表等とからなる文書)の表示画像をスクリーンSに投影する。
キー入力部15は、ユーザーがプロジェクタ1の操作を行うために用意された、複数の操作ボタンにより構成されている。デジタルカメラ部16は、前記撮影部1bにおける撮影レンズ等の光学系、光学系により結像された光学像を画像信号に光電変換するCMOSセンサやCCD等の撮像素子、撮像素子から出力されデジタル信号に変換された撮像信号を圧縮する、画像データ圧縮信号処理回路等から構成される。デジタルカメラ部16は、キー入力部15を構成する所定の操作ボタンが押されることにより本発明の撮影手段として機能し、前記スクリーンSを被写体とした撮影動作を行う。デジタルカメラ部16で生成された画像データは、最終的にはJPEG形式の画像ファイルとしてカードインターフェイス回路17を介して前記メモリカード4に記録される。なお、本実施の形態においてはメモリカード4が本発明の記憶手段である。
CPU11は、ROM12に格納されているプログラムに従い、RAM13を作業用メモリとして前述した各部を制御することにより本発明の投影制御手段、撮影制御手段として機能する。なお、前記入力端子18は、CPU11に接続された図示しない入力画像処理回路に設けられている。
一方、PC2は主としてCPU21、RAM22、記憶装置23、本体に設けられた複数のキーや、本体に接続されたマウス等の入力装置24、LCD及びその駆動回路等からなる表示装置25、前記メモリカード4に対するデータの入出力を行うためのカードインターフェイス回路26から構成されるとともに、RGBケーブル3が接続されたRBG信号の出力端子27を有している。前記記憶装置23は記憶容量の比較的大きなハードディスク等であり、記憶装置23には、プレゼンテーション用のドキュメントの作成・編集を行うための所定のプレゼンテーション・プログラムが格納されている。なお、前記出力端子27は、CPU11に接続された図示しない画像信号処理回路に設けられている。
以下、前述したプロジェクタ1の本発明に係る動作を図3のフローチャートに従い説明する。図3は、PC2からRBG信号として出力されたドキュメント(文字や図表等とからなる文書)の表示画像の投影中におけるプロジェクタ1の手書き情報記録動作を示したものである。なお、以下の説明においては、スクリーンS上に、プレゼンテーションの参加者によってコメントやアンダーライン等の手書き情報が直接記述されているものとする。
プロジェクタ1は、ユーザーによって所定の操作ボタンの押下による撮影操作が行われると(ステップSA1でYES)、前記デジタルカメラ部16によって、その時点におけるスクリーンS、すなわちドキュメント情報に基づく表示画像を投影している投影状態のスクリーンSを撮影し、撮影により取得した画像、例えば図4(a)に示したような撮影画像(以下、文書画像と呼ぶ)G1のデータをインデックス情報(索引情報)としてRAM13に一時記憶する(ステップSA2)。次に、投影中のドキュメントの投影を停止し、白色光のみをスクリーンSに照射した非投影状態のスクリーンSを撮影し、例えば図4(b)に示したような手書き情報が映った撮影画像(以下、手書き情報画像と呼ぶ)G2を取得する(ステップSA3)。そして、前記文書画像G1と手書き情報画像G2とを1セットにして、本体に装着されているメモリカード4に記録する(ステップSA4)。係る処理は、双方の画像G1,G2が同一の撮影操作に応じて記録されたことが識別できるよう互いを対応させて記録する処理であり、例えば両画像G1,G2に末尾のみが異なるファイル名(「AAAA−1.jpg」と「AAAA−2.jpg」等)を付与して記録する処理である。これにより、1回の手書き情報記録動作を終了する。そして、ドキュメントの投影中には、ユーザーによって撮影操作が行われる毎に、前述した動作を繰り返す。
これにより、本実施の形態によれば、ユーザーつまりドキュメントの作成者等は、プレゼンテーション等の終了後に、メモリカード4をPC2等へ装着し、そこに記憶されている手書き情報画像G2を表示させることにより手書き情報を使用することができる。しかも、その際には、手書き情報画像G2と対応して記録されている文書画像G1を観ることにより、その手書き情報が、どのドキュメントの投影時に記述されていたのかを容易に知ることができる。
なお、本実施の形態では、ユーザーによる所定の撮影操作に応じてスクリーンSを連続的に撮影し、文書画像G1と手書き情報画像G2とを相前後して取得するようにしたが以下のようにしてもよい。
すなわち手書き情報画像G2を先に取得した後、文書画像G1を取得するようにしてもよい。また、両画像G1,G2の取得時期を撮影操作があった時点ではなく、投影するドキュメントを切り替える時点としてもよい。例えばプロジェクタ1に、PC2から送られてくるRBG信号の内容の変化に基づき投影するドキュメントが切り替えられたことを検出する機能を設け、それを検出したら、まずそれ以前の表示画像を投影した状態を維持したままでスクリーンSを撮影させ、しかる後、本実施の形態と同様に非投影状態のスクリーンSを撮影させればよい。つまり全てのドキュメントについて、文書画像G1と手書き情報画像G2(但し、手書き情報が存在しない場合もある)とを自動的に取得して記録させる構成としてもよい。
さらに、文書画像G1の取得時期は、投影するドキュメントや、そのページが切り替わった直後のように、スクリーンS上に手書き情報が記述されていない状態にある時期としても構わない。例えばドキュメントのページが切り替わった直後に、手書き情報が記述されていない状態のスクリーンSを自動的に撮影させ、取得した文書画像G1を予めRAM13等に記憶しておき、ユーザーによる撮影操作があったとき時には手書き情報画像G2のみを取得させるようにしてもよい。
また、本実施の形態では、プロジェクタ1が取得した文書画像G1と手書き情報画像G2をメモリカード4に記録するものとしたが、例えばプロジェクタ1がPC2へのデータの出力を可能とする構成を有している場合には、文書画像G1と手書き情報画像G2のデータ(画像ファイル)をPC2へ逐次出力させ、それらを1セットでPC2側(記憶装置23等)に記憶させる構成としてもよい。
また、プロジェクタ1がPC2から出力されたRBG信号に基づきドキュメントの表示画像をスクリーンSに投影する構成である場合を示したが、例えばメモリカード4から、それに記録されているドキュメントの元データ(所定形式の文書ファイル)を読み出してドキュメントの表示画像をスクリーンSに投影する機能を有したプロジェクタにおいても本発明を採用することができる。
(第2の実施の形態)
次に、本発明の第2の実施の形態について説明する。図5は本実施の形態における投影システムを示す構成図である。この投影システムも第1の実施の形態と同様にプロジェクタ1とPC2とから構成されている。図6は、本実施の形態におけるプロジェクタ1とPC2の概略構成を示すブロック図である。本実施の形態においてプロジェクタ1とPC2は、それぞれがUSB端子19,28を有しており、USBケーブル31を介して互いに接続されている。なお、図示しないがUSB端子19,28は、実際にはCPU11,21に接続されたUSBインターフェイス回路に設けられており、これによりPC2からプロジェクタ1に対して後述する所定のデータが送信可能となっている。
また、本実施の形態においては、プロジェクタ1が有するROM12に、CPU11を本発明の文字認識手段と機能させるためのプログラムが格納され、かつPC2が有する記憶装置23が本発明の文書記憶手段であるとともに、記憶装置23には、CPU21を本発明の判別手段として機能せるためのプログラムが格納されている。これ以外の構成については、第1の実施の形態に示したものと同様である。
以下、本実施の形態におけるプロジェクタ1とPC2の動作を説明する。まず、プロジェクタ1の動作について説明する。図7は、PC2からRBG信号として出力されたドキュメントの投影中におけるプロジェクタ1の手書き情報記録動作を示したものである。なお、ここでは、スクリーンS上に、プレゼンテーションの参加者によってコメントやアンダーライン等の手書き情報が直接記述されているものとする。
本実施の形態においても、プロジェクタ1はユーザーによる撮影操作に応じた撮影処理を行い、図4に示した文書画像G1と手書き情報画像G2とを取得する(ステップSB1)。係る処理は、第1の実施の形態において図3に示したステップSA1〜SA3の処理と同一である。次に、プロジェクタ1は、USBケーブル31を介してPC2から、その時点で投影しているドキュメントのヘッダ情報を取得するとともに、そのヘッダ情報に含まれるページ番号の印字位置を確認する(ステップSB2)。
そして、ヘッダ情報にページ番号の位置情報(印刷位置を示す情報)があれば(ステップSB3でYES)、文書画像G1上のページ番号位置(位置情報で示された位置に対応する領域)に対してOCR機能による文字認識を行い、文書画像G1の画像データからページ番号を取得する(ステップSB4)。しかる後、取得したページ番号をインデックス情報(索引情報)として、それと手書き情報画像G2とを1セットにして、本体に装着されているメモリカード4に記録する(ステップSB5)。
一方、ステップSB3の判別結果がNOであって、PC2から取得したヘッダ情報にページ番号の位置情報がなければ、図8に示したように文書画像G1の四隅及び下方中央部分a〜e、つまりページ番号が印刷(表示)される可能性の高い部分を認識領域としてOCR機能による文字認識を行い、各認識領域(a〜e)のイメージをテキストデータに変換し(ステップSB6)、いずれかの領域に数字が存在するか確認する(ステップSB7)。そして、数字が存在していれば(ステップSB8でYES)、その数字をページ番号とし、それを手書き情報画像G2と1セットにしてメモリカード4に記録する(ステップSB5)。
また、いずれかの領域にも数字が存在していない場合には(ステップSB8でNO)、ユーザーにページ番号を入力させた後(ステップSB9)、入力されたページ番号を手書き情報画像G2と1セットにしてメモリカード4に記録する(ステップSB5)。これにより、1回の手書き情報記録動作を終了する。そして、ドキュメントの投影中には、ユーザーによって撮影操作が行われる毎に、前述した動作を繰り返す。
なお、前述したステップSB5の処理は、上記のように取得したページ番号と手書き情報画像G2とが同一の撮影操作に応じて記録されたことが識別できるよう互いを対応させて記録する処理であり、例えばページ番号と手書き情報画像G2に、データ種別を示す識別子の部分のみが異なる同一のファイル名(「AAAA.jpg」と「AAAA.txt」等)を付与したり、或いは双方のデータをメモリカード4内に決められた順に(記録アドレスを連続させて)記録する処理である。
図9は、上述したように互いに対応する1又は複数組の手書き情報画像G2とページ番号とが記録された状態のメモリカード4が装着された後、例えば前記プレゼンテーション・プログラムに設けられている所定のコマンドが選択されたときPC2が実行する画像貼り付け処理に関する動作を示したフローチャートである。なお、ここでは処理対象となるドキュメントがユーザーによって予め指定されるものとする。
PC2は、まず、メモリカード4から手書き情報画像G2を読み込み(ステップSC1)、さらに、手書き情報画像G2と対応するページ番号を読み込む(ステップSC2)。次に、読み込んだページ番号を元に、記憶装置23に記憶されているとともに、事前に指定されたドキュメントの該当するページに手書き情報画像G2を貼り付ける(ステップSC3)。そして、以上の処理をメモリカード4に記録されている手書き情報画像G2の数だけ順に繰り返す。
したがって、本実施の形態によれば、ユーザーは、ドキュメントの投影時に保存した手書き情報がドキュメントのどのページに対応するのかを、自分で確認せずとも、保存した手書き情報を対応するページに自動的に貼り付けて利用することができる。
なお、本実施の形態においても、第1の実施の形態と同様に、文書画像G1と手書き情報画像G2の取得順、及び文書画像G1の取得時期は適宜変更することができる。
また、本実施の形態においては、プロジェクタ1が、投影しているドキュメントのヘッダ情報をPC2から取得するようにしたが、PC2からドキュメントのヘッダ情報を取得しない構成としてもよい。つまり、プロジェクタ1とPC2とをUSBケーブル31で接続しなくともよく、第1の実施の形態と同様のハード構成を採用してもよい。その場合には、図7に示した処理においてステップSB2〜SB4の処理を省略するようにしてもよい。
また、ドキュメントのヘッダ情報をPC2から取得しない場合には、以下のようにしてもよい。例えば第1の実施の形態と同様の手順で、互いに対応する1又は複数組の文書画像G1及び手書き情報画像G2をメモリカード4に記録した後、ユーザーの要求に応じて、まず、複数の文書画像G1についてステップSB6の処理を一括して行い後、続くステップSB7では、全ての文書画像G1の同じ位置(領域)に数字が存在するか確認する。そして、同じ位置に数字が存在していれば(ステップSB8でYES)、ステップSB5において各文書画像G1の同じ位置から取得した数字をページ番号として採用し、各々のページ番号を対応する手書き情報画像G2と1セットにしてメモリカード4に記録させるようにしてもよい。その場合には、より正確に手書き情報画像G2に対応するページ番号を取得することができる。
また、本実施の形態では、プロジェクタ1が取得した文書画像G1とページ番号とをメモリカード4に記録するものとしたが、例えばプロジェクタ1からPC2へ、USBケーブル31を介して文書画像G1とページ番号とを逐次出力させ、それらをPC2側(記憶装置23等)に記憶させる構成としてもよい。さらに、プロジェクタ1には、前述したステップSB1で取得した文書画像G1と手書き情報画像G2とをそのままPC2へ出力させ、PC2に、前述した画像貼り付け処理に先立ち、プロジェクタ1が行っていたページ番号の取得に関する処理を行わせる構成としてもよい。
また、第1の実施の形態と同様、メモリカード4に記録されているドキュメントの元データを読み出し、読み出したデータに基づきドキュメントの表示画像をスクリーンSに投影する機能を有したプロジェクタに本発明を採用することもできる。その場合には、プロジェクタ1に、前述したPC2による画像貼り付け処理をユーザーによる所定の操作に応じて行わせたり、ユーザーによる撮影操作がある毎に逐次行わせたりしてもよい。
(第3の実施の形態)
次に、本発明の第3の実施の形態について説明する。本実施の形態は、第2の実施の形態で図5及び図6に示した投影システムにおいて、ドキュメントの各ページに存在するページタイトルを、手書き情報画像G2と1セットにしてメモリカード4に記録させるものである。
以下、プロジェクタ1とPC2の本発明に係る動作について説明する。まず、プロジェクタ1の動作について説明する。図10は、PC2からRBG信号として出力されたドキュメントの投影中におけるプロジェクタ1の手書き情報記録動作を示したものである。なお、ここでは、スクリーンS上に、プレゼンテーションの参加者によってコメントやアンダーライン等の手書き情報が直接記述されているものとする。
本実施の形態においても、プロジェクタ1は画像投影中においてユーザーによる撮影操作に応じた撮影処理を行い、第1の実施の形態で図4に示した文書画像G1と手書き情報画像G2とを取得する(ステップSD1)。係る処理は、第1の実施の形態において図3に示したステップSA1〜SA3の処理と同一である。次に、プロジェクタ1は、USBケーブル31を介してPC2から、その時点で投影しているドキュメントのヘッダ情報を取得するとともに、そのヘッダ情報に含まれるページタイトルの印字位置を確認する(ステップSD2)。
そして、ヘッダ情報にページタイトルの位置情報(印刷位置を示す情報)があれば(ステップSD3でYES)、文書画像G1上のページタイトル位置(位置情報で示された位置に対応する領域)に対してOCR機能による文字認識を行い、文書画像G1の画像データからページタイトルを取得する(ステップSD4)。しかる後、取得したページタイトルをインデックス情報(索引情報)とし、それと手書き情報画像G2とを1セットにして、本体に装着されているメモリカード4に記録する(ステップSD5)。
一方、ステップSD3の判別結果がNOであって、PC2から取得したヘッダ情報にページタイトルの位置情報がなければ、図11に示したように文書画像G1の上部f、つまりページタイトルが印刷(表示)される可能性の高い部分を認識領域としてOCR機能による文字認識を行い、その認識領域(f)のイメージをテキストデータに変換する(ステップSD6)。そして、そこにテキストが存在していれば(ステップSD7でYES)、そのテキストの上方から2行をページタイトルとし(ステップSD8)、それを手書き情報画像G2と1セットにしてメモリカード4に記録する(ステップSD5)。また、テキストが存在していない場合(ステップSD7でNO)、ステップSD5では、手書き情報画像G2のみをメモリカード4に記録する。
なお、前述したステップSD5の処理は、上記のように取得したページタイトルと手書き情報画像G2とが同一の撮影操作に応じて記録されたことが識別できるよう互いを対応させて記録する処理であり、具体的な処理内容については第2の実施の形態と同様である。
図12は、上述したように互いに対応する1又は複数組の文書画像G1とページタイトルとが記録された状態のメモリカード4が装着された後、例えば前記プレゼンテーション・プログラムに設けられている所定のコマンドが選択されたときPC2が実行する画像貼り付け処理に関する動作を示したフローチャートである。なお、ここでは処理対象となるドキュメントがユーザーによって予め指定されるものとする。
PC2は、まず、メモリカード4から手書き情報画像G2を読み込み(ステップSE1)、さらにそれと対応するページタイトルを読み込む(ステップSE2)。ここで、ページタイトルが存在していれば(ステップSE3でYES)、読み込んだページタイトルと、記憶装置23に記憶されているとともに、事前に指定されたドキュメントの全てのページにおけるページタイトルとをテキストとして比較し、一致する文字の多いページに手書き情報画像G2を貼り付ける(ステップSE4)。
また、ステップSE3の判別結果がNOであって、ページタイトルが存在していない場合には、ページタイトルが無いものとして、ユーザーの手作業による貼付を行う。つまり対応するページをユーザーに指定させ、指定されたページに手書き情報画像G2を貼り付ける(ステップSE5)。そして、以上の処理をメモリカード4に記録されている手書き情報画像G2の数だけ順に繰り返す。
したがって、本実施の形態によれば、ユーザーは、ドキュメントの各ページにページタイトルが存在している場合には、ドキュメントの投影時に保存した手書き情報がドキュメントのどのページに対応するのかを、自分で確認せずとも、保存した手書き情報を対応するページに自動的に貼り付けて利用することができる。
なお、本実施の形態においても、第1及び第2の実施の形態と同様に、文書画像G1と手書き情報画像G2の取得順、及び文書画像G1の取得時期は適宜変更することができる。
また、本実施の形態では、プロジェクタ1が、前述した処理中において文書画像G1からページタイトルを取得できなかった場合には(ステップSD8でNO)、続くステップSD5では手書き情報画像G2のみをメモリカード4に記録するものとしたが、上記場合には、取得できなかったページタイトルに代えて、第1の実施の形態と同様に文書画像G1を手書き情報画像G2とセットにして記録するようにしてもよい。その場合には、PC2において、例えばユーザーの手作業による貼付を行うとき(ステップSE5)、手書き情報画像G2を表示させるようにすれば、手書き情報画像G2がドキュメントのどのページ(ページタイトルが存在していないページ)に対応するのかをユーザーに教えることが可能となる。
また、本実施の形態においても、第2の実施の形態と同様に、プロジェクタ1がPC2からドキュメントのヘッダ情報を取得しない構成としてもよく、その場合には、図10に示した処理においてステップSD2〜SD4の処理を省略すればよい。また、ドキュメントのヘッダ情報をPC2から取得しない場合には、例えば第1の実施の形態と同様の手順で、互いに対応する1又は複数組の文書画像G1及び手書き情報画像G2をメモリカード4に記録した後、ユーザーの要求に応じて、ステップSD6〜SD8、SD5の処理を一括して行うようにしてもよい。
また、本実施の形態では、プロジェクタ1が取得した文書画像G1とページタイトルとをメモリカード4に記録するものとしたが、例えばプロジェクタ1からPC2へ、USBケーブル31を介して文書画像G1とページタイトルとを逐次出力させ、それらをPC2側(記憶装置23等)に記憶させる構成としてもよい。さらに、プロジェクタ1には、前述したステップSD1で取得した文書画像G1と手書き情報画像G2とをそのままPC2へ出力させ、PC2に、画像貼り付け処理に先立ち、プロジェクタ1が行っていたページタイトルの取得に関する処理を前述した行わせる構成としてもよい。
また、第1の実施の形態と同様、メモリカード4に記録されているドキュメントの元データを読み出し、読み出したデータに基づきドキュメントの表示画像をスクリーンSに投影する機能を有したプロジェクタに本発明を採用することもできる。その場合には、プロジェクタ1に、前述したPC2による画像貼り付け処理をユーザーによる所定の操作に応じて行わせたり、ユーザーによる撮影操作がある毎に逐次行わせたりしてもよい。
(第4の実施の形態)
次に、本発明の第4の実施の形態について説明する。本実施の形態は、第1の実施の形態で説明した投影システム(図1及び図2)において、
PC2が有する記憶装置23が本発明の文書記憶手段であるとともに、記憶装置23には、CPU21を本発明の変換手段、判別手段として機能せるためのプログラムが格納されているものである。
図13は、図3で説明した手順でプロジェクタ1によって1又は複数組の文書画像G1と手書き情報画像G2とが記録されたメモリカード4が、前記PC2に装着された後、例えば前記プレゼンテーション・プログラムに設けられている所定のコマンドが選択されたときPC2が実行する画像貼り付け処理に関する動作を示したフローチャートである。なお、ここでも処理対象となるドキュメントがユーザーによって予め指定されるものとする。
すなわちPC2は前記記憶装置23に記憶されているドキュメントの1ページ分のデータに基づき、その表示イメージの画像データを作成した後(ステップSF1)、作成した画像データを標準パターンとして、メモリカード4に記憶されている全ての文書画像G1についてパターンマッチング、例えば前記標準パターン(テンプレート)を文書画像G1に重ねながら移動し、2つの画像における画素データレベル対応の相関を調べるテンプレートマッチングを行う(ステップSF2)。そして、パターンがマッチングする文書画像G1があったときには(ステップSF3でYES)、標準パターンの元になったドキュメントページに、メモリカード4に、パターンがマッチングした文書画像G1に対応して記録されている手書き情報画像G2を貼り付ける(ステップSF4)。
以後、全てのドキュメントページのマッチング処理が終了するまで上記の処理を繰り返し、それが終了した時点で(ステップSF5でYES)、パターンマッチングでいずれのページともマッチングしなかった文書画像G1がなければ(ステップSF6でNO)、そのまま処理を完了する。また、マッチングしなかった文書画像G1(1又は複数)があった場合には(ステップSF6でYES)、各々の文書画像G1に対応してメモリカード4に記録されている各々の手書き情報画像G2について、ユーザーの手作業による貼付を行う。つまり対応するページをユーザーに指定させ、指定されたページに手書き情報画像G2を貼り付け(ステップSF7)、処理を完了する。
したがって、本実施の形態によれば、ユーザーは、ドキュメントの投影時に保存した手書き情報がドキュメントのどのページに対応するのかを、自分で確認せずとも、保存した手書き情報の殆どを対応するページに自動的に貼り付けて利用することができる。
なお、本実施の形態においても、第1〜第3の実施の形態と同様に、文書画像G1と手書き情報画像G2の取得順、及び文書画像G1の取得時期は適宜変更することができる。
また、本実施の形態では、プロジェクタ1が取得した文書画像G1と手書き情報画像G2とをメモリカード4に記録するものを示したが、第2及び第3の実施の形態のようにプロジェクタ1とPC2とをUSBケーブル31によって接続する構成とし、プロジェクタ1からPC2へ文書画像G1と手書き情報画像G2とを逐次出力させ、それらをPC2側(記憶装置23等)に記憶させる構成としてもよく、さらに、PC2には、前出した画像貼り付け処理をリアルタイムで行わせてもよい。その場合には、予めドキュメントの全ページについて、その画像データを作成しておき、プロジェクタ1から送られた互いに対応する文書画像G1と手書き情報画像G2をいったんRAM22等に記憶した後、その文書画像G1を標準パターンとして全てのページの画像データについてパターンマッチングを行い、パターンがマッチした画像データの元になったドキュメントページに手書き情報画像G2を貼り付ける処理を行わせるようにすればよい。
また、プロジェクタ1が、メモリカード4に記録されているドキュメントの元データを読み出し、読み出したデータに基づきドキュメントの表示画像をスクリーンSに投影する機能を有している場合には、プロジェクタ1に、前述したPC2による画像貼り付け処理をユーザーによる所定の操作に応じて行わせたり、ユーザーによる撮影操作がある毎に逐次行わせたりしてもよい。
(第5の実施の形態)
次に、本発明の第5の実施の形態について説明する。第1の実施の形態で図1に示した投影システムにおいて、PC2の記憶装置23に後述する動作を行わせるためのプログラムが格納されているものである。
以下、プロジェクタ1とPC2の本発明に係る動作を説明する。図14は、ドキュメントの投影中におけるプロジェクタとパーソナルコンピュータの動作を示すフローチャートである。
PC2は、入力装置24の操作によりユーザーにより指定されたドキュメントのデータを記憶装置23から読み込んだ後(ステップSG1)、それに含まれているドキュメント情報、すなわちデータの格納場所であるフォルダ名、ファイル名、ページ番号を取得する(ステップSG2)。なお、ページ番号は、その時点で表示すべきドキュメントページのページ番号であり、当初は「1」である。次に、取得したドキュメント情報を、本発明の本発明の二次元情報である2次元バーコードに変換し(ステップSG3)、その2次元バーコードをドキュメントページの所定箇所に表示用の画像データとして合成する(ステップSG4)。しかる後、合成した画像データを表示装置に表示するとともに、RGBケーブル3を介してプロジェクタ1へ出力する(ステップSG5)。そして、表示するページが切り替えられる毎に(ステップSG6でNO)、ステップSG2〜SG5の処理を繰り返す。
その間、プロジェクタ1は、PC2から出力された画像データによる表示画像(図15参照)をスクリーンSに投影するとともに、第1の実施の形態と同様に、ユーザーによる撮影操作に応じて撮影処理を行い、ドキュメントが表示された状態の撮影画像、つまり図15に示したように左下の隅に2次元バーコードBが存在する文書画像G3と手書き情報画像G2(図4(b)参照)とを1セットにして、本体に装着されているメモリカード4に記録する(ステップSA1〜SA4)。
図16は、前述したように互いに対応する1又は複数組の文書画像G3と手書き情報画像G2とが記録された状態のメモリカード4が装着された後、例えば前記プレゼンテーション・プログラムに設けられている所定のコマンドが選択されたときPC2が実行する画像貼り付け処理に関する動作を示したフローチャートである。PC2は、まず、メモリカード4から文書画像G3を読み込み(ステップSG11)、それに含まれる2次元バーコードBより前述したドキュメント情報を取得する(ステップSG12)。引き続き、取得したドキュメント情報により示されるドキュメントのファイルにアクセスし、それを読み出した後(ステップSG13)、ドキュメント情報に含まれるページ番号に該当するページに手書き情報画像G2を貼り付け、そのデータを記録する(ステップSG14)。そして、以上の処理をメモリカード4に記録されている文書画像G3及び手書き情報画像G2の数だけ順に繰り返す。
したがって、本実施の形態によれば、ユーザーは、ドキュメントの投影時に保存した手書き情報がドキュメントのどのページに対応するのかを、自分で確認せずとも、保存した手書き情報を対応するページに自動的に貼り付けて利用することができる。しかも、前述した2次元バーコードBには、必要に応じてドキュメント情報とは別の情報を組み込むことも可能であるというメリットがある。
なお、本実施の形態においては、本発明の二次元情報として2次元バーコードBを使用するものを示したが、これ以外に限らず、その必要面積が比較的小さいものであれば他の二次元情報(例えば、公知のインタクトコード)を、ドキュメントの所定箇所に合成して表示させるようにしても構わない。
また、本実施の形態においても、第1〜第4の実施の形態と同様に、文書画像G1と手書き情報画像G2の取得順、及び文書画像G1の取得時期は適宜変更することができる。
また、例えば第2及び第3の実施の形態のようにプロジェクタ1とPC2とをUSBケーブル31によって接続する構成とし、プロジェクタ1からPC2へ文書画像G3と手書き情報画像G2とを逐次出力させ、それらをPC2側(記憶装置23等)に記憶させる構成としてもよい。
また、プロジェクタ1が、メモリカード4に記録されているドキュメントの元データを読み出し、読み出したデータに基づきドキュメントの表示画像をスクリーンSに投影する機能を有している場合には、プロジェクタ1に、前述したPC2による画像貼り付け処理をユーザーによる所定の操作に応じて行わせるようにしてもよい。
(第6の実施の形態)
次に、本発明の第6の実施の形態について説明する。第1の実施の形態で図1に示した投影システムにおいて、プロジェクタ1とPC2とが図17に示したように電波時計20,29を備えている。また、本実施の形態においては、PC2が有する記憶装置23が本発明の管理情報記憶手段であるとともに、記憶装置23に、CPU21を本発明の管理情報生成手段として機能せるためのプログラムが格納され、かつプロジェクタ1のROM12には、後述する動作を行わせるためのプログラムが格納されている。
以下、プロジェクタ1とPC2の本発明に係る動作を説明する。図18は、ドキュメントの投影中におけるプロジェクタとパーソナルコンピュータの動作を示すフローチャートである。
PC2は、入力装置24の操作によりユーザーにより指定されたドキュメントのデータを記憶装置23から読み込み(ステップSH1)、所定のページの画像データを表示装置に表示するとともに、RGBケーブル3を介してプロジェクタ1へ出力する(ステップSH2)。続いて、電波時計29により示されている現在時刻を取得し(ステップSH3)、そのドキュメントページの表示開始時刻と、ドキュメント名(フォルダ名+ファイル名)とページ番号をRAM22に格納する(ステップSH4)。その後、表示終了操作すなわちページの切り替え操作、又はドキュメントの表示終了操作があれば(ステップSH5でYES)、再び電波時計29により示されている現在時刻を取得し(ステップSH6)、その時刻を当該ドキュメントページの表示終了時刻としてRAM22に格納する(ステップSH7)。
引き続き、前記表示終了操作がドキュメントの表示終了操作でなければ(ステップSH8でNO)、ステップSH2〜SH7の動作を繰り返す。これによりRAM22には、図19に示すような、表示したページ毎に付与された管理IDと、ドキュメント名、ページ番号、開始/終了フラグ、開始時間、終了時間の各データからなる表示履歴情報100が順に蓄積される。なお、この表示履歴情報100が本発明の管理情報である。また開始/終了フラグは「0」で表示中、「1」で表示終了を示すデータである。そして、前記表示終了操作がドキュメントの表示終了操作であったときには(ステップSH8でYES)、その時点でRAM22に蓄積されている表示履歴情報100を記憶装置23に格納する。
その間、プロジェクタ1は、PC2から出力された画像データによる表示画像をスクリーンSに投影し(ステップSI1)、その後、ユーザーによる撮影操作が行われた時点で、投影中のドキュメント情報の投影を停止して、白色光のみをスクリーンSに照射した非投影状態のスクリーンSを撮影し、手書き情報画像G2(図4(b)参照)を取得する(ステップSI2)。なお、ここではスクリーンS上に手書き情報が直接記述されていることを前提とする。引き続き、電波時計20により示されている現在時刻を取得し(ステップSI3)、その時刻データと手書き情報画像G2のデータを本体に装着されているメモリカード4に記録する(ステップSI4)。つまりステップSI4で取得した時刻が撮影時刻として記憶された画像ファイルを生成し、それをメモリカード4に記録する。なお、以上の動作は、投影するドキュメントページ、又はドキュメントが切り替わる毎に繰り返し行われる。
図20は、前述したように1又は複数の手書き情報画像G2が記録された状態のメモリカード4が装着された後、例えば前記プレゼンテーション・プログラムに設けられている所定のコマンドが選択されたときPC2が実行する画像貼り付け処理に関する動作を示したフローチャートである。PC2は、まず、先に説明した手順で記憶してある表示履歴情報100を記憶装置23から読み込み(ステップSH11)、ドキュメントの1ページ目を表示していた時間(開始時刻と終了時刻)を取得する(ステップSH12)。そして、その時間内に撮影された手書き情報画像G2をメモリカード4から検索し(ステップSH13)、検索した手書き情報画像G2を、ドキュメントの1ページ目に貼り付け、そのデータを記憶装置23に記録する(ステップSH14)。なお、ドキュメントの他のページについてもステップSH11〜SH14の処理を行う。但し、いずれかのページについて、その表示時間に撮影された手書き情報画像G2が検索できなかったときには、ステップSH14の処理を省略する。
したがって、本実施の形態においても、ユーザーは、ドキュメントの投影時に保存した手書き情報がドキュメントのどのページに対応するのかを、自分で確認せずとも、保存した手書き情報を対応するページに自動的に貼り付けて利用することができる。また、手書き情報画像G2の撮影時刻と表示履歴情報100に記録されるドキュメントの各ページの表示時間とが電波時計20,29により取得されたものであり、同一基準により調整されている時刻であることから、手書き情報とドキュメントのページとを正確に対応させることができる。しかも、前述した第1〜第5の実施の形態とは異なり、プロジェクタ1が投影中に取得しメモリカード4に記録する画像が手書き情報画像G2のみであることから、メモリカード4をより有効に利用することができる。
なお、本実施の形態についても、例えば第2及び第3の実施の形態のようにプロジェクタ1とPC2とをUSBケーブル31によって接続する構成とし、プロジェクタ1からPC2へ手書き情報画像G2を逐次出力させ、それらをPC2側(記憶装置23等)に記憶させる構成としてもよい。
また、プロジェクタ1が、メモリカード4に記録されているドキュメントの元データを読み出し、読み出したデータに基づきドキュメントの表示画像をスクリーンSに投影する機能を有している場合には、プロジェクタ1に、前述したPC2による画像貼り付け処理をユーザーによる所定の操作に応じて行わせるようにしてもよい。その場合には、前述した電波時計20がユーザーによって時刻の調整が行われる通常の時計であっても、本実施の形態と同様に手書き情報とドキュメントのページとを正確に対応させることができる。
(第7の実施の形態)
次に、本発明の第7の実施の形態について説明する。図21は本実施の形態における投影システムを示す構成図である。この投影システムは、第2の実施の形態で図5に示したものと同様、RGBケーブル3とUSBケーブル31を介して接続されたプロジェクタ1とPC2とから構成されている。但し、本実施の形態のプロジェクタ1とPC2においては、図22に示したようにカードインターフェイス回路17,26が省略されている。また、本実施の形態においても、PC2が有する記憶装置23が本発明の管理情報記憶手段であるとともに、記憶装置23にはCPU21を本発明の管理情報生成手段として機能せるためのプログラムが格納されている。
以下、プロジェクタ1とPC2の本発明に係る動作を説明する。図23は、ドキュメントの投影中におけるPC2の画像管理情報生成処理に関する動作と、そのときのプロジェクタ1の動作を示すフローチャートである。
PC2は、入力装置24の操作によりユーザーにより指定されたドキュメントのデータを記憶装置23から読み込み、所定のページの画像データを表示装置に表示するとともに、RGBケーブル3を介してプロジェクタ1へ出力する(ステップSJ1)。一方、プロジェクタ1は、PC2から出力された画像データによる表示画像をスクリーンSに投影し(ステップSK1)、その後、ユーザーによる撮影操作が行われた時点で、投影中のドキュメント情報の投影を停止して、白色光のみをスクリーンSに照射した非投影状態のスクリーンSを撮影し、手書き情報画像G2(図4(b)参照)を取得する(ステップSK2)。なお、ここではスクリーンS上に手書き情報が直接記述されていることを前提とする。そして、プロジェクタ1は手書き情報画像G2のデータをUSBケーブル31を介してPC2へ出力する(ステップSK3)。なお、以上の動作は、投影するドキュメントページ、又はドキュメントが切り替わる毎に繰り返し行われる。
また、PC2では、プロジェクタ1から画像データが出力されると割り込み処理によって、入力した画像データをRAM22に格納する(ステップSJ2)。さらに、その時点で表示しているドキュメントの元データに含まれているドキュメント情報、すなわちデータの格納場所であるフォルダ名、ファイル名、ページ番号を、前記画像データ(手書き情報画像G2)に対応させてRAM22に格納する(ステップSJ3)。なお、ページ番号は、その時点で表示すべきドキュメントページのページ番号であり、当初は「1」である。しかる後、RAM22に格納してある画像データと、図24に示すような画像管理情報200、すなわち表示したページ毎に付与された管理IDと、ドキュメント名、ページ番号、画像名の各データからなるデータを記憶装置23の所定領域に記憶する(ステップSJ4)。なお、ドキュメント名はと画像名は、フォルダ名つまり記憶装置23における記録場所(ドキュメント用の記録場所23a、画像データ用の記録場所23b)+ファイル名であるとともに、この画像管理情報200が本発明の管理情報である。そして、PC2は、上記処理をドキュメントの表示終了操作があるまで繰り返すとともに、その間においてはページの切り替え操作があれば表示及び出力するページを切り替える。
図25は、記憶装置23に1又は複数のページに関する画像管理情報200が記憶されている状態において、例えば前記プレゼンテーション・プログラムに設けられている所定のコマンドが選択されたときPC2が実行する画像貼り付け処理に関する動作を示したフローチャートである。PC2は、画像管理情報200を記憶装置23から読み込み(ステップSJ11)、画像管理情報200に示されているドキュメントを読み込んだ後(ステップSJ12)、各管理IDに対応して示されている画像データすなわち手書き情報画像G2のファイルを記憶装置23から読み込むとともに、それを対応するページ番号のドキュメントページに貼り付け、そのデータ(ドキュメントのデータ)を記憶装置23に記録する(ステップSJ12)。
したがって、本実施の形態においても、ユーザーは、ドキュメントの投影時に保存した手書き情報がドキュメントのどのページに対応するのかを、自分で確認せずとも、保存した手書き情報を対応するページに自動的に貼り付けて利用することができる。また、第6の実施の形態と同様、プロジェクタ1が投影中に取得しメモリカード4に記録する画像が手書き情報画像G2のみであることから、メモリカード4をより有効に利用することができる。
なお、本実施の形態とは異なり、プロジェクタ1が、メモリカード4に記録されているドキュメントの元データを読み出し、読み出したデータに基づきドキュメントの表示画像をスクリーンSに投影する機能を有している場合には、プロジェクタ1に前述したPC2による動作を全て行わせるようにしてもよい。
(第8の実施の形態)
次に、本発明の第8の実施の形態について説明する。本実施の形態は、第2の実施の形態で図5及び図6に示した投影システムにおいて、プロジェクタ1が有するROM12に、CPU11を本発明の付加手段と機能させるためのプログラムが格納されているものである。
以下、プロジェクタ1とPC2の本発明に係る動作を説明する。図26は、ドキュメントの投影中におけるPC2とプロジェクタ1の動作を示すフローチャートである。PC2は、入力装置24の操作によりユーザーにより指定されたドキュメントのデータを記憶装置23から読み込み、所定のページの画像データを表示装置に表示するとともに、RGBケーブル3を介してプロジェクタ1へ出力する(ステップSL1)。さらに、その時点で表示しているドキュメントの元データに含まれているドキュメント情報、すなわちデータの格納場所であるフォルダ名、ファイル名、ページ番号をUSBケーブル31を介してプロジェクタ1へ出力する(ステップSL2)。
その間、プロジェクタ1は、PC2から出力された画像データによる表示画像をスクリーンSに投影し(ステップSM1)、さらに、PC2から出力された前記ドキュメント情報を取得しRAM13に格納する(ステップSM2)。その後、ユーザーによる撮影操作が行われた時点で、投影中のドキュメント情報の投影を停止して、白色光のみをスクリーンSに照射した非投影状態のスクリーンSを撮影し、手書き情報画像G2(図4(b)参照)を取得する(ステップSM3)。なお、ここではスクリーンS上に手書き情報が直接記述されていることを前提とする。
そして、撮影により取得した画像データのプロパティに、RAM13のドキュメント情報を付加し、より具体的には、図27に示したように、手書き情報画像G2のファイルにおいて画像データ本体に付加する付加データ300のうち、当該ファイルの全般に関する属性を示すデータとして、ターゲットファイル(フォルダ名+ファイル名)とターゲットページ(ページ番号)の各データを加え、その画像ファイルを本体に装着されているメモリカード4に記録する(ステップSM4)。なお、以上の動作は、投影するドキュメントページ、又はドキュメントが切り替わる毎に繰り返し行われる。
図28は、上述したように1又は複数の手書き情報画像G2が状態のメモリカード4が装着された後、例えば前記プレゼンテーション・プログラムに設けられている所定のコマンドが選択されたときPC2が実行する画像貼り付け処理に関する動作を示したフローチャートである。PC2は、まず、メモリカード4から手書き情報画像G2のデータ(画像ファイル)を読み込み(ステップSN1)、そのプロパティよりドキュメント情報、つまりターゲットファイル、及びターゲットページのデータを取得する(ステップSN2)。引き続き、ターゲットファイルに該当するドキュメントを記憶装置23から読み込み(ステップSN3)、ターゲットページに該当するドキュメントページに手書き情報画像G2を貼り付け、そのデータ(ドキュメントのデータ)を記憶装置23に記録する(ステップSN4)。そして、以上の処理をメモリカード4に記録されている手書き情報画像G2の数だけ順に繰り返す。
したがって、本実施の形態においても、ユーザーは、ドキュメントの投影時に保存した手書き情報がドキュメントのどのページに対応するのかを、自分で確認せずとも、保存した手書き情報を対応するページに自動的に貼り付けて利用することができる。また、第6及び第7の実施の形態と同様、プロジェクタ1が投影中に取得しメモリカード4に記録する画像が手書き情報画像G2のみであることから、メモリカード4をより有効に利用することができる。
しかも、第6や第7の実施の形態と異なり、前述した表示履歴情報100や画像管理情報200といった管理情報を作成して記憶しておく必要がなく、手書き情報画像G2から直接、それと対応するドキュメントページを知ることができるため、第6や第7の実施の形態と比べ使い勝手がよいというメリットがある。
なお、本実施の形態では、プロジェクタ1が取得した手書き情報画像G2をメモリカード4に記録するものとしたが、例えばプロジェクタ1からPC2へ、USBケーブル31を介して手書き情報画像G2を逐次出力させ、それらをPC2側(記憶装置23等)に記憶させる構成としてもよい。
また、プロジェクタ1が、メモリカード4に記録されているドキュメントの元データを読み出し、読み出したデータに基づきドキュメントの表示画像をスクリーンSに投影する機能を有している場合には、プロジェクタ1に、前述したPC2による画像貼り付け処理をユーザーによる所定の操作に応じて行わせるようにしてもよい。
一方、以上説明した第2〜第8の実施の形態では、主としてPC2が、手書き情報画像G2を対応するドキュメントの所定ページに自動的に貼り付ける機能を有する場合について説明したが、それとは別に、各実施の形態において、PC2に、単に手書き情報画像G2と対応するページを、ページ番号やページタイトルを表示する等の任意の方法でユーザーに教える機能を持たせてもよい。その場合においても、ユーザーはスクリーンSに直接記述された手書き情報を容易に利用するとき、どのドキュメントの投影時に記述されていたのかを容易に知ることができるという効果が得られる。
さらに、以上説明した第1〜第8の実施の形態では、主としてデジタルカメラが内蔵されたプロジェクタ1を用いて本発明を実施するものを示したが、これ以外にも、例えばドキュメントの投影機能のみを有するプロジェクタに単体のデジタルカメラが外付けされた構成としても本発明を実施することができる。その場合には、プロジェクタに、必要に応じてデジタルカメラに所定のシャッター信号を送り、それによりデジタルカメラの撮影動作を制御させるようにすればよい。