JP5061696B2 - 投影装置、投影制御方法及びプログラム - Google Patents

Description

本発明は、例えばプレゼンテーションを行なうのに好適な投影装置、投影制御方法及びプログラムに関する。

従来のプロジェクタ装置では、紙面あるいはコンピュータで作成した編集済みの図表をスクリーンに投影することができる。

また別の技術としては、予め作成されたテンプレートとして保持した表をスクリーンに投影する投影装置が考えられていた。（例えば、特許文献１）
特開２００４−１９８８５８号公報

上述した如く、上記特許文献１の技術も含め、従来のプロジェクタ装置では、予め用意されている表を投影することはできるものの、その表の構成、具体的には行の数、列の数、表を形成する罫線の種類や各セルの大きさ等を変更することができない。

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、各構成要素を自由に変更しながら手軽に表を作成して投影させることが可能な投影装置、投影制御方法及びプログラムを提供することにある。

請求項１記載の発明は、被写体像を撮影する撮影手段と、上記撮影手段で得た被写体像に対し、像中の文字列位置を認識してその認識結果から表を構成する罫線データを作成する表作成手段と、上記表作成手段で作成した罫線データと上記文字列位置に基づいた表の画像を作成し、上記撮像手段で撮影した被写体像に向けて投影する投影手段とを具備し、上記撮影手段は、上記被写体像中で上記投影手段で投影した表を構成するセルに対応して新たに追加された文字列を撮影し、上記撮影手段で得た被写体像中、上記セルに追加された文字列が当該セルの範囲をはみ出したか否かを判断する判断手段をさらに具備し、上記表作成手段は、上記判断手段でセルの範囲をはみ出したと判断した文字列の画像を縮小して当該セル中に嵌め込んだ表のデータを作成し、上記投影手段は、上記表作成手段で作成した、セル中に文字列画像を嵌め込んだ表の画像を作成し、上記撮像手段で撮影した被写体像に向けて投影することを特徴とする。

請求項２記載の発明は、上記請求項１記載の発明において、上記表作成手段は、上記撮影手段で得た被写体像中の文字列位置を行及び列の各項目名位置として表を構成する罫線データを作成することを特徴とする。

請求項３記載の発明は、被写体像を撮影する撮影手段と、上記撮影手段で得た被写体像に対し、像中の文字列位置を認識してその認識結果から表を構成する罫線データを作成する表作成手段と、上記表作成手段で作成した罫線データと上記文字列位置に基づいた表の画像を作成し、上記撮像手段で撮影した被写体像に向けて投影する投影手段とを具備し、上記撮影手段により上記被写体像中で上記投影手段で投影した表を構成するセルに対応して新たに追加された文字列を撮影し、得た被写体像中の、上記セルに追加された文字列画像に対し、文字認識処理により当該文字列に対応するテキストデータを取得する第１の文字認識手段と、上記第１の文字認識手段で取得したテキストデータを登録した辞書登録手段と、上記撮影手段により上記被写体像中で上記投影手段で投影した表を構成するセルに対応して新たに追加された文字を撮影し、得た被写体像中の、上記セルに追加された文字画像に対し、文字認識処理により当該文字に対応するテキストデータを取得する第２の文字認識手段と、この第２の文字認識手段で取得したテキストデータにより上記辞書登録手段で登録したテキストデータを検索し、少なくとも一部が一致するテキストデータを選出する予測変換手段とをさらに具備し、上記表作成手段は、上記予測変換手段で選出したテキストデータの画像を当該セル中に嵌め込んだ表のデータを作成し、上記投影手段は、上記表作成手段で作成した、セル中にテキストデータの画像を嵌め込んだ表の画像を作成し、上記撮像手段で撮影した被写体像に向けて投影することを特徴とする。

請求項４記載の発明は、上記請求項１記載の発明において、上記投影手段で投影した表を被写体像として上記撮影手段により撮影させる撮影制御手段と、上記撮影制御手段により撮影した表を記録する記録手段とをさらに具備したことを特徴とする。

請求項５記載の発明は、画像データに対応した光像を形成し、投影対象に向けて投影する投影部、及びこの投影部での投影領域を被写体像として撮影可能な撮影部を備えた投影装置での投影制御方法であって、上記撮影部で得た被写体像に対し、像中の文字列位置を認識してその認識結果から表を構成する罫線データを作成する表作成工程と、上記表作成工程で作成した罫線データと上記文字列位置に基づいた表の画像を作成し、上記撮像部で撮影した被写体像に向けて上記投影部により投影させる投影制御工程と、上記撮影部は、上記被写体像中で上記投影部で投影した表を構成するセルに対応して新たに追加された文字列を撮影し、上記撮影部で得た被写体像中、上記セルに追加された文字列が当該セルの範囲をはみ出したか否かを判断する判断工程と、を有し、上記表作成工程は、上記判断工程でセルの範囲をはみ出したと判断した文字列の画像を縮小して当該セル中に嵌め込んだ表のデータを作成し、上記投影工程は、上記表作成工程で作成した、セル中に文字列画像を嵌め込んだ表の画像を作成し、上記撮像部で撮影した被写体像に向けて投影することを特徴とする。
請求項６記載の発明は、画像データに対応した光像を形成し、投影対象に向けて投影する投影部、及びこの投影部での投影領域を被写体像として撮影可能な撮影部を備えた投影装置での投影制御方法であって、上記撮影部で得た被写体像に対し、像中の文字列位置を認識してその認識結果から表を構成する罫線データを作成する表作成工程と、上記表作成工程で作成した罫線データと上記文字列位置に基づいた表の画像を作成し、上記撮像部で撮影した被写体像に向けて上記投影部により投影させる投影制御工程と、上記撮影部により上記被写体像中で上記投影部で投影した表を構成するセルに対応して新たに追加された文字列を撮影し、得た被写体像中の、上記セルに追加された文字列画像に対し、文字認識処理により当該文字列に対応するテキストデータを取得する第１の文字認識工程と、上記第１の文字認識工程で取得したテキストデータを登録する辞書登録工程と、上記撮影部により上記被写体像中で上記投影部で投影した表を構成するセルに対応して新たに追加された文字を撮影し、得た被写体像中の、上記セルに追加された文字画像に対し、文字認識処理により当該文字に対応するテキストデータを取得する第２の文字認識工程と、この第２の文字認識工程で取得したテキストデータにより上記辞書登録工程で登録したテキストデータを検索し、少なくとも一部が一致するテキストデータを選出する予測変換工程とをさらに有し、上記表作成工程は、上記予測変換工程で選出したテキストデータの画像を当該セル中に嵌め込んだ表のデータを作成し、上記投影部は、上記表作成工程で作成した、セル中にテキストデータの画像を嵌め込んだ表の画像を作成し、上記撮像部で撮影した被写体像に向けて投影することを特徴とする。

請求項７記載の発明は、画像データに対応した光像を形成し、投影対象に向けて投影する投影部、及びこの投影部での投影領域を被写体像として撮影可能な撮影部を備えた投影装置または同投影装置を制御可能な外部装置に内蔵されたコンピュータが実行するプログラムであって、上記撮影部で得た被写体像に対し、像中の文字列位置を認識してその認識結果から表を構成する罫線データを作成する表作成ステップと、上記表作成ステップで作成した罫線データと上記文字列位置に基づいた表の画像を作成し、上記撮像部で撮影した被写体像に向けて上記投影部により投影させる投影制御ステップと、上記撮影部は、上記被写体像中で上記投影部で投影した表を構成するセルに対応して新たに追加された文字列を撮影し、上記撮影部で得た被写体像中、上記セルに追加された文字列が当該セルの範囲をはみ出したか否かを判断する判断ステップと、を有し、上記表作成ステップは、上記判断ステップでセルの範囲をはみ出したと判断した文字列の画像を縮小して当該セル中に嵌め込んだ表のデータを作成し、上記投影ステップは、上記表作成ステップで作成した、セル中に文字列画像を嵌め込んだ表の画像を作成し、上記撮像部で撮影した被写体像に向けて投影することをコンピュータに実行させることを特徴とする。
請求項８記載の発明は、画像データに対応した光像を形成し、投影対象に向けて投影する投影部、及びこの投影部での投影領域を被写体像として撮影可能な撮影部を備えた投影装置または同投影装置を制御可能な外部装置に内蔵されたコンピュータが実行するプログラムであって、上記撮影部で得た被写体像に対し、像中の文字列位置を認識してその認識結果から表を構成する罫線データを作成する表作成ステップと、上記表作成ステップで作成した罫線データと上記文字列位置に基づいた表の画像を作成し、上記撮像部で撮影した被写体像に向けて上記投影部により投影させる投影制御ステップと、上記撮影部は、上記被写体像中で上記投影部で投影した表を構成するセルに対応して新たに追加された文字列を撮影し、上記撮影部で得た被写体像中、上記セルに追加された文字列が当該セルの範囲をはみ出したか否かを判断する判断ステップと、を有し、上記表作成ステップは、上記判断ステップでセルの範囲をはみ出したと判断した文字列の画像を縮小して当該セル中に嵌め込んだ表のデータを作成し、上記投影ステップは、上記表作成ステップで作成した、セル中に文字列画像を嵌め込んだ表の画像を作成し、上記撮像部で撮影した被写体像に向けて投影することをコンピュータに実行させることを特徴とする。

本発明によれば、各構成要素を自由に変更しながら手軽に表を作成して投影させることが可能となる。

以下本発明に係る投影システムをパーソナルコンピュータとデータプロジェクタ装置を用いた投影システムに適用した場合の実施の一形態について図面を参照して説明する。

（構成）
図１は、システム全体の外観と接続構成を示すものである。パーソナルコンピュータ１とデータプロジェクタ装置２とが無線ＬＡＮ技術、例えばＩＥＥＥ８０２．１１ｇ規格に従って無線接続され、パーソナルコンピュータ１で再生されるプレゼンテーションプログラムの画像データが適宜データプロジェクタ装置２へ送られて、データプロジェクタ装置２によりスクリーンＳＣとして使用されるホワイトボードに向けて投影される。

ここでは、パーソナルコンピュータ１及びデータプロジェクタ装置２が共に予め無線ＬＡＮ機能を有するものとし、プレゼンテーションプログラム等の各種アプリケーションプログラムでパーソナルコンピュータ１とデータプロジェクタ装置２との間でアドホックモードに基づいた子機間どうしでの直接通信を行なうことが可能であるものとする。

データプロジェクタ装置２は、パーソナルコンピュータ１から送られてきた画像データを基に、例えばマイクロミラー素子を用いて画像データに対応する光像を形成し、筐体前面に配置された投影レンズユニット２ａを介して、投影対象のスクリーンＳＣとして使用されるホワイトボード上の投影範囲ＰＡ内に対し、各種画像を投影表示する。

また、データプロジェクタ装置２の前面には、上記投影レンズユニット２ａに近接して撮影レンズユニット２ｂを配置する。この撮影レンズユニット２ｂは、投影レンズユニット２ａの投影（ズーム）画角に連動した撮影画角となるようなズーム機能を有し、且つ、投影レンズユニット２ａの投影光軸に合致するように撮影光軸が予め調整されるもので、投影レンズユニット２ａでの投影内容と略一致する撮影範囲となり、結果として投影レンズユニット２ａでの投影内容を撮影レンズユニット２ｂを介して撮影可能となる。

次に図２によりパーソナルコンピュータ１の構成について説明する。図２はこのパーソナルコンピュータ１のハードウェア構成を示すものであり、各種処理制御を司るＣＰＵ１１とフロントサイドバスＦＳＢを介してノースブリッジ１２が接続される。

このノースブリッジ１２は、さらにメモリバスＭＢを介してメインメモリ１３と、またグラフィクスインタフェースＡＧＰを介してグラフィックコントローラ１４及びグラフィックメモリ１５と接続される他、サウスブリッジ１６とも接続され、主としてこれらの間での入出力制御を実行する。

サウスブリッジ１６は、ＰＣＩバス１７、キーボード／マウス１８、ビデオエンコーダ１９、無線ＬＡＮインタフェース２０、マルチディスクドライブ２１、ハードディスク装置（ＨＤＤ）２２と接続され、主としてこれら周辺回路とノースブリッジ１２との間の入出力制御を行なう。

なお、これらパーソナルコンピュータ１を構成する個々の要素は、きわめて一般的な周知の技術であるのでその説明は省略するものとする。

なお、ビデオエンコーダ１９は、与えられたデジタル値の画像信号からアナログ値の画像信号であるＲＧＢビデオ信号を生成して出力し、ここでは図示しないカラーＴＦＴ（薄膜トランジスタ）液晶表示パネルで構成されるディスプレイ部を表示駆動する。

無線ＬＡＮインタフェース２０は、無線ＬＡＮアンテナ２３を介し、ＩＥＥＥ８０２．１１ｂ／１１ｇ規格に則って他の機器と無線ＬＡＮを構築し、各種データを送受可能となる。

次いで図３を用いて上記データプロジェクタ装置２の回路構成について説明する。
同図で、入出力コネクタ部３１より入力される各種規格の画像信号が、入出力インタフェース（Ｉ／Ｆ）３２、システムバスＳＢを介して画像変換部３３で所定のフォーマットの画像信号に統一された後に、投影駆動部３４へ送られる。

この際、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）用の画像等も必要に応じて画像信号上に重畳加工された状態で投影駆動部３４へ送られる。

投影駆動部３４は、送られてきた画像信号をビデオＲＡＭ３５に展開して記憶させた上でこのビデオＲＡＭ３５の記憶内容からビデオ信号を生成する。投影駆動部３４は、このビデオ信号のフレームレート、例えば６０［フレーム／秒］と色成分の分割数、及び表示階調数を乗算した、より高速な時分割駆動により、空間的光変調素子（ＳＯＭ）である例えばマイクロミラー素子３６を表示駆動する。

一方、リフレクタ３７内に配置された、例えば超高圧水銀灯を用いた光源ランプ３８が高輝度の白色光を出射する。光源ランプ３８の出射した白色光は、カラーホイール３９を介して時分割で原色Ｒ（赤），Ｇ（緑），Ｂ（青）に着色され、インテグレータ４０で輝度分布が均一な光束とされた後にミラー４１で全反射して上記マイクロミラー素子３６に照射される。

しかして、マイクロミラー素子３６での反射光で光像が形成され、形成された光像が上記投影レンズユニット２ａを介して、投影対象となるここでは図示しないスクリーンに投影表示される。

投影レンズユニット２ａは、マイクロミラー素子３６で形成された光像を拡大してスクリーン等の対象に投影するものであり、合焦位置及びズーム位置（投影画角）を任意に可変できるものとする。

しかるに投影レンズユニット２ａ中の図示しないフォーカスレンズ及びズームレンズが光軸方向に沿って前後に移動することで制御されるもので、当該各レンズはステッピングモータ（Ｍ）４２の回動駆動により移動する。

しかるに、上記光源ランプ３８の点灯駆動、及び上記カラーホイール３９を回転させるモータ（Ｍ）４３の回転駆動、及び上記ステッピングモータ４２の回動駆動等をいずれも投影光駆動部４４が実行する。

この投影光駆動部４４はまた、リフレクタ３７に取付けられて光源ランプ３８の温度を検出する温度センサ４５からの温度データを入力する。

上記各回路の動作すべてを制御部４６が制御する。この制御部４６は、ＣＰＵ、ワークメモリ等により構成され、ＥＥＰＲＯＭ等の不揮発性メモリでなるプログラムメモリ４７に固定記憶された動作プログラムや各種定型データ等を用いて制御動作を実行する。

上記制御部４６にはさらに、上記システムバスＳＢを介してＡ／Ｄ・プロセス回路４８、大容量メモリ４９、無線処理部５０、及び音声処理部５１が接続される。

上記Ａ／Ｄ・プロセス回路４８は、上記撮影レンズユニット２ｂを介して投影画像範囲を撮影する撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）５２を走査駆動する。

なお、ここでは詳細を図示しないが、投影レンズユニット２ａは上記投影レンズユニット２ａと同様に撮影画角を可変する光学ズーム機能を有し、常に投影レンズユニット２ａでの投影範囲と撮影レンズユニット２ｂでの撮影範囲とが略一致するよう連動してズーム機能が動作するものとする。

しかして、Ａ／Ｄ・プロセス回路４８は、撮影レンズユニット２ｂにより結像され、ＣＣＤ５２で得られるアナログ値の画像信号をＡＧＣ（自動利得制御）、サンプリングしてデジタル化した後にγ補正処理、ホワイトバランス調整処理、補間処理、マトリックス変換等のプロセス処理を施すことで記録に適した輝度色差系のカラー画像データを取得し、出力する。

大容量メモリ４９は、例えばこのプロジェクタ装置１に設けられるメモリカードスロットに着脱自在に装着された、フラッシュメモリを封入した大容量、例えばＧＢ（ギガバイト）オーダーのメモリカードでなり、上記撮影レンズユニット２ｂ、ＣＣＤ５２を介して撮影した画像データや後述する予測変換用の辞書データ等を記憶する。

無線処理部５０は、例えばＩＥＥＥ８０２．１１ｂ／１１ｇ規格に則った無線ＬＡＮ規格のインタフェースであり、無線ＬＡＮアンテナ５３を介して上記パーソナルコンピュータ１等と無線接続してデータの送受を行なう。

音声処理部５１は、ＰＣＭ音源等の音源回路を備え、投影動作時に与えられる音声データをアナログ化し、プロジェクタ装置１の本体ケーシングの例えば背面に設けられるスピーカ５４を駆動して拡声放音させ、あるいは必要によりビープ音等を発生させる。

なお、制御部４６に対して、キースイッチ部５５から直接ユーザのキー操作に応じた操作信号が入力される。
このキースイッチ部５５としては、例えば電源キー、ズームキー、フォーカスキー、入力選択キー、モードキー、カーソル（「↑」「↓」「←」「→」）キー、「Ｅｎｔｅｒ」キー、「Ｃａｎｃｅｌ」キー等からなる。

次に上記実施の形態の動作について説明する。
（第１の動作例・表罫線の投影）
図５は、スクリーンＳＣとして使用されるホワイトボードに直接手書きで「４月」「５月」「６月」「品名」「単価」「個数」の各項目名がマーカーペンで筆記された状態を例示するものである。

この時点でスクリーンＳＣを含むように投影レンズユニット２ａによる投影範囲ＰＡが設定されており、且つ何も具体的な画像は投影されていないため、光源ランプ３８からの白色光がそのままカラーホイール３９を介してマイクロミラー素子３６の全面でフル階調で反射され、投影レンズユニット２ａを介して投影範囲ＰＡの全体に渡って均一に照射されている状態となる。

図４は、キースイッチ部５５のモードキーで予め用意された複数の動作モード中から「表作成」モードを選択した場合に、制御部４６がプログラムメモリ４７に記憶される動作プログラムに基づいて実行するサブルーチンの処理内容である。

なお、上記「表作成」モードを指定した時点で、上記図５に示した内容に加えて、投影範囲ＰＡの下端側に、例えば
「表罫線作成を実行する場合は「Ｅｎｔｅｒ」キーを操作して下さい」
のようなガイドメッセージを併せて投影することで、ユーザによる表作成の指示操作がなされるのを促す。

しかして、図４の処理当初には、実際にユーザにより表罫線作成の指示操作がなされたか否かを繰返し判断することで（ステップＳ１０１）、当該操作がなされるのを待機する。

ユーザにより表罫線作成の指示操作がなされると、キースイッチ部５５からの入力によりこれを判断し、上記ガイドメッセージの投影を停止すると共に、撮影レンズユニット２ｂ、ＣＣＤ５２、及びＡ／Ｄ・プロセス回路４８を駆動してその時点でのスクリーンＳＣの画像を撮影させる（ステップＳ１０２）。

上述した如く撮影レンズユニット２ｂは、投影レンズユニット２ａによる投影範囲ＰＡと略一致する撮影範囲となるように連動したズーム動作を行なうため、投影レンズユニット２ａでの投影範囲ＰＡ内の画像が正確に取得できる。

制御部４６では、ＣＣＤ５２で撮影し、Ａ／Ｄ・プロセス回路４８を経てプロセス処理を施した投影範囲ＰＡの画像データを一旦内部のワークメモリに保持した上で、その画像データに対して文字単位での切出し処理を行ない、画像中に位置する文字部分の文字単位での位置の認識を行なう（ステップＳ１０３）。

次いで、切出した各文字と隣接する文字との相互間の間隔から、一連の文字列部分の切出し処理を行なうことで、表を構成する行と列の認識を行なう（ステップＳ１０４）。

図５に示した投影範囲ＰＡでの画像中では、「４月」「５月」「６月」「品名」「単価」「個数」がそれぞれ一連の文字列であると認識し、それら文字列相互のＸＹ座標範囲から、上記各項目名に応じた３行×３列の表を作成するべきものと認識される。

しかして、行と列の認識を行なうと、各項目名の位置、間隔に対応する表罫線の投影画像データを作成し（ステップＳ１０５）、その画像データをビデオＲＡＭ３５に展開して記憶させた上でマイクロミラー素子３６、投影レンズユニット２ａにより当該表罫線の画像を投影範囲ＰＡ内に投影させ（ステップＳ１０６）、以上でこの図４でのサブルーチンに基づく処理を終了する。

図６は、このとき投影範囲ＰＡ内のスクリーンＳＣで上記図５での内容に併せて投影される表罫線を例示するものである。図示する如く、マーカーペンにより手書きでスクリーンＳＣとなるホワイトボードに記入した項目名の位置に対応し、自動的に表罫線を作成して画像として投影することで、結果としてスクリーンＳＣ上に項目名に適した表が表示されることとなる。

したがって、その後は空欄となっている各セル内に必要なデータを入力することにより、容易に表が完成することとなる。

このように、各構成要素を自由に変更しながらその時点で必要な項目名を配列するべく手書き筆記し、あるいは各項目名を記入した付箋などの紙片をスクリーンＳＣであるホワイトボード上に貼着していくなどの簡単な手間により、手軽に整った表罫線を作成して投影させることが可能となる。

また、上記表罫線の作成に当たっては、スクリーンＳＣ上に配置された項目名位置をそれぞれ先頭とする行及び列の配置を決定するものとしたので、比較的簡易な位置認識処理により表罫線を適切に作成することが可能となる。

（第２の動作例・セル内への記入１）
次いで、上記第１の動作例のように表罫線を投影した後の、空欄となっている各セル内への記入時の動作について説明する。

図７は、上記図４で示した表罫線の作成と投影の動作に継続して実施される、セル内への記入に対応した第１の動作を示すもので、制御部４６がプログラムメモリ４７に記憶される動作プログラムに基づいて実行するサブルーチンの処理内容である。

その処理当初には、上記図４での処理により作成した表罫線を投影する状態を維持した上で（ステップＳ３０１）、上記ＣＣＤ５２により撮影レンズユニット２ｂを介して投影範囲ＰＡのスクリーンＳＣを撮影させる（ステップＳ３０２）。

こうして得た投影範囲ＰＡの画像データに関し、特に上記投影している表中の各セル位置に対応して、その範囲をはみ出すような記入（ユーザによるマーカーペンでの記入）がなされていないかどうかを判断し（ステップＳ３０３）、なされていなければ上記ステップＳ３０２の処理に戻る、という処理を繰返し実行することで、セルからはみ出すような記入がなされるのを監視する。

このステップＳ３０２，Ｓ３０３の処理は、所定周期、例えば２秒に１回の周期で実行する。

いま、図８（Ａ）に示すように項目名「５月」及び「品名」に対応するセルで当該セルをはみ出すような「デジタルカメラ」なる記入がユーザによってマーカーペンでなされた場合を考える。

この場合、セルからのはみ出しをステップＳ３０３で判断した時点で制御部４６は、直前のステップＳ３０２で撮影した画像データ中からはみ出しを生じた一連の文字列部分「デジタルカメラ」を切出し、ここではその横幅を基準として正しく元のセルに収まるような縮小率を算出した上で当該部分の画像データの縮小処理を行なう（ステップＳ３０４）。

そして、その縮小した文字列部分の画像を正しいセル位置に対応してそれまでの表罫線の画像に重畳した画像データを作成して投影させた上で（ステップＳ３０５）、上記ステップＳ３０２からの処理に復帰する。なお、この時点ではユーザによってマーカーペンでなされた記入と縮小した文字列部分の投影画像とが重畳している。

このように、投影される表罫線に対し、セルからはみ出してしまうような記入を行ってしまった場合でも、その記入に要した手間を無駄にすることなく、さらに表の作成を続行することができる。

したがってユーザは、上記ステップＳ３０５のような投影が行われた時点で、その投影内容から、はみ出しを生じたマーカーペンによる一連の文字列の記入部分をホワイトボード用のイレーサで消去するだけの手間で、当該セルは正しい内容となり、次のセルへの記入動作に移行できることになる。

図８（Ｂ）は、同図（Ａ）に対応して制御部４６が上記ステップＳ３０４，Ｓ３０５での処理を実行し、その後にユーザがマーカーペンによる記入部分をホワイトボード用のイレーサで消去した場合の投影状態を示すものである。

同図に示す如く、ユーザがはみ出しを生じた記入に要した手間を無駄にすることなく、その記入内容を有効に活用することができ、不必要となった元の記入をイレーサで消去するだけの手間を加えるのみで、次のセルの記入動作に移行できる。

なお、上記イレーサでの消去に関しては、表を構成する複数のセルへの記入を一通り終えた後に、はみ出しを生じたセルが複数あれば一括してそれらを消去するものとしてもよく、そうすることで、作成途中での表はやや繁雑な内容となるものの、より効率的に表を完成させることができる。

（第３の動作例・セル内への記入２）
次いで、上記第１の動作例のように表罫線を投影した後の、空欄となっている各セル内への記入時の他の動作について説明する。

図９は、上記図４で示した表罫線の作成と投影の動作に継続して実施される、セル内への記入に対応した第２の動作を示すもので、制御部４６がプログラムメモリ４７に記憶される動作プログラムに基づいて実行するサブルーチンの処理内容である。

その処理当初には、上記図４での処理により作成した表罫線を投影する状態を維持した上で（ステップＳ５０１）、上記ＣＣＤ５２により撮影レンズユニット２ｂを介して投影範囲ＰＡのスクリーンＳＣを撮影させる（ステップＳ５０２）。

こうして得た投影範囲ＰＡの画像データに関し、ユーザから登録の指示操作があるか否か（ステップＳ５０３）、予測変換の指示操作があるか否か（ステップＳ５０４）を判断し、なければ上記ステップＳ５０２の処理に戻る、という処理を繰返し実行することで、これらの指示操作のいずれかがなされるのを待機する。

このステップＳ５０２〜Ｓ５０４の処理は、所定周期、例えば２秒に１回の周期で実行する。

しかるに、ステップＳ５０３で登録の指示操作がなされたと判断した場合、その直前のステップＳ５０２で撮影した画像データ中には、表を構成するセルのいずれかにユーザによる文字列の記入がなされていることになるので、その該当するセルを選出した上で当該セル内の画像に対してＯＣＲ（光学的文字読取り）処理を施して文字認識を行なう（ステップＳ５０５）。

そして、認識の結果得られた文字列を大容量メモリ４９に後述する予測変換用の辞書データとして登録する（ステップＳ５０６）。さらに、認識結果からテキストデータの画像を作成し、当該セルに嵌め込んだ画像データを投影させた上で（ステップＳ５０７）、上記ステップＳ５０２からの処理に復帰する。

この際、投影範囲ＰＡのスクリーンＳＣ上では、当該セル位置でユーザがマーカーペンにより記入した文字列と、文字認識結果として投影されるテキストデータの文字列が重なった状態となるので、ユーザはホワイトボード用のイレーサで当該セル位置を消去するだけの手間で、手書きによる文字に代えて、文字認識後の活字体での文字列が当該セルに記入されることとなる。

図１０（Ｂ）は、こうしてユーザの登録指示により大容量メモリ４９に辞書データとして登録された複数の文字列を例示するものである。

また、上記ステップＳ５０４で予測変換の指示操作がなされたと判断した場合、その直前のステップＳ５０２で撮影した画像データ中には、表を構成するセルのいずれかにユーザによる少なくとも１文字分の文字の記入がなされていることになるので、その該当するセルを選出した上で当該セル内の画像に対してＯＣＲ（光学的文字読取り）処理を施して文字認識を行なう（ステップＳ５０８）。

図１０（Ａ）は、表を構成する複数中の１つのセルＣに対し、ユーザがマーカーペンで文字「デ」を記入した状態を示す。この状態からユーザが予測変換の指示操作を行なうと、上記ステップＳ５０８にて文字認識を行ない、その結果である文字「デ」を用いて大容量メモリ４９の辞書データを検索し（ステップＳ５０９）、該当語句として文字列の先頭部分が一致するものがあったか否かを判断する（ステップＳ５１０）。

ここでないと判断した場合には、予測変換を実行することができなかったものとして、上記予測変換の指示操作を無効とし、再度上記ステップＳ５０２からの処理に戻る。

また、図１０（Ｂ）に示すように、辞書データ中に文字「デ」を先頭に配置した例えば「デジタルカメラ」なる語句があった場合には、ステップＳ５１０でこれを判断し、該当するテキストデータの画像を作成し、当該セルに嵌め込んだ画像データを投影させる（ステップＳ５１１）。

その後、新たに投影した内容をキャンセルするための指示操作が一定時間内、例えば２秒の間になされたか否かを判断する（ステップＳ５１２）。ここでキャンセルを指示する操作がなされた場合には、上記予測変換はユーザの意図するものではなかったこととなるので、当該変換をキャンセルするものとし、そのセルＣ内に作成したテキストデータの画像を消去した上で（ステップＳ５１３）、上記ステップＳ５０２からの処理に復帰する。

また、上記ステップＳ５１２で特にキャンセルを指示する操作がなされなかった場合には、予測変換は有効であったものとして、予測変換結果のテキストデータの投影を維持したまま、次の記入に備えるべく上記ステップＳ５０２からの処理に復帰する。

このとき、投影範囲ＰＡのスクリーンＳＣ上では、当該セルＣの位置でユーザがマーカーペンにより記入した文字と、予測変換による結果として投影されるテキストデータの文字列が重なった状態となるので、ユーザはホワイトボード用のイレーサで当該セルＣの位置を消去するだけの手間で、手書きした文字に代えて、予測変換後の活字体でのより長い文字列が当該セルＣに記入されることとなる。

このように、作成しようとする表中で何度も使用すると思われる文字列に関しては、予測変換のための辞書データとして適宜登録しておくことにより、辞書データを有効に活用して２回目以降の記入を予測変換機能を用いて大幅に簡略化することができるため、表作成を効率的に実施できるようになる。

なお、上記のような動作過程によりスクリーンＳＣ上で作成した表に関しては、例えばモードキーの操作により記録モードを指定して撮影を指示することにより、撮影レンズユニット２ｂ及びＣＣＤ５２でスクリーンＳＣ上の画像を撮影し、Ａ／Ｄ・プロセス回路４８でプロセス処理を施した後に、画像変換部３３で所定のデータファイル形式、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）に則ったデータ圧縮を施した画像データを記憶媒体としての大容量メモリ４９に記憶させるものとしてもよい。

こうして大容量メモリ４９に所定のデータファイル形式で作成した表の画像を記録しておくことにより、プレゼンテーションや会議等で表を作成した後もその内容を適宜読出して参照することができる。

この場合、本実施の形態では、大容量メモリ４９をデータプロジェクタ装置２に対して着脱可能なメモリカードで構成するものとしたので、例えばそのメモリカードをプリンタにセットすることで、パーソナルコンピュータなしに作成した表をプリントアウトするなど、より手軽に作成した表の画像を利用することができる。

なお、上記動作はいずれもデータプロジェクタ装置２の制御部４６が実行するものとしたが、本発明はこれに限らず、データプロジェクタ装置２を介して無線接続されているパーソナルコンピュータ１側が、事前にインストールされたプログラムにより同様の処理を実行するものとしてもよい。

また、上記第３の動作例では、大容量メモリ４９に作成する辞書データとしてテキストデータを一律に登録するものとして説明したが、セルの存在する行または列の先頭の項目名を文字認識処理してジャンルを読取り、ジャンル別の辞書、例えば人名専用の辞書や品目専用の辞書などを作成するものとしてもよい。

さらに、作成する辞書は文字に限らず、画像も保持可能として、画像名を文字で記入することにより、その画像名に関連付けられた画像を読出して表のセルに貼り付けるようにしてもよい。

また、上記実施の形態は投影装置に適用した場合について説明したが、本発明はこれに限ることなく、例えばホワイトボード等にマーカーペンで記入された文字列の画像を撮影するだけで、その画像中の文字列位置に対応した罫線の画像を生成し、撮影した画像中に合成して表の画像とした上で記憶することが可能なデジタルカメラ、あるいはカメラ機能を有する携帯電話端末などの撮像装置に適用することも容易に考えられる。

このように本発明を撮像装置に適用した場合、例えば記憶した画像をプリントアウトし、あるいは電子データの状態で電子メールに添付するなど、記憶した画像の配布、取扱いが容易となる。

その他、本発明は上述した実施の形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施の形態で実行される機能は可能な限り適宜組合わせて実施しても良い。上述した実施の形態には種々の段階が含まれており、開示される複数の構成要件により適宜の組合せにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

本発明の実施の一形態に係る投影システム全体の装置構成を示す図。 同実施の形態に係るパーソナルコンピュータのハードウェア構成を示すブロック図。 同実施の形態に係るデータプロジェクタ装置の電子回路の機能構成を示すブロック図。 同実施の形態に係る第１の動作例で表作成処理時に実行する処理内容を示すフローチャート。 同実施の形態に係る表罫線作成処理前の投影範囲の状態を例示する図。 同実施の形態に係る表罫線作成処理後の投影範囲の状態を例示する図。 同実施の形態に係る第２の動作例でセル記入処理時に実行する処理内容を示すフローチャート。 同実施の形態に係る表罫線作成後のセル記入動作を例示する図。 同実施の形態に係る第３の動作例でセル記入処理時に実行する処理内容を示すフローチャート。 同実施の形態に係る表罫線作成後のセル記入動作を例示する図。

符号の説明

１…パーソナルコンピュータ、２…データプロジェクタ装置、２ａ…投影レンズユニット、２ｂ…撮影レンズユニット、１１…ＣＰＵ、１２…ノースブリッジ、１３…メインメモリ、１４…グラフィックコントローラ、１５…グラフィックメモリ、１６…サウスブリッジ、１７…ＰＣＩバス、１８…キーボード／マウス、１９…ビデオエンコーダ、２０…無線ＬＡＮインタフェース（Ｉ／Ｆ）、２１…マルチディスクドライブ、２２…ハードディスク装置（ＨＤＤ）、２３…無線ＬＡＮアンテナ、３１…入出力コネクタ部、３２…入出力インタフェース（Ｉ／Ｆ）、３３…画像変換部、３４…投影駆動部、３５…ビデオＲＡＭ、３６…マイクロミラー素子、３７…リフレクタ、３８…光源ランプ、３９…カラーホイール、４０…インテグレータ、４１…ミラー、４２…ステッピングモータ（Ｍ）、４３…モータ（Ｍ）、４４…投影光駆動部、４５…温度センサ、４６…制御部、４７…プログラムメモリ、４８…Ａ／Ｄ・プロセス回路、４９…大容量メモリ、５０…無線処理部、５１…音声処理部、５２…ＣＣＤ、５３…無線ＬＡＮアンテナ、５４…スピーカ、５５…キースイッチ部、ＡＧＰ…グラフィクスインタフェース、Ｃ…セル、ＦＳＢ…フロントサイドバス、ＭＢ…メモリバス、ＰＡ…投影範囲、ＳＢ…システムバス、ＳＣ…スクリーン。

Claims (8)

1. 被写体像を撮影する撮影手段と、
   上記撮影手段で得た被写体像に対し、像中の文字列位置を認識してその認識結果から表を構成する罫線データを作成する表作成手段と、
   上記表作成手段で作成した罫線データと上記文字列位置に基づいた表の画像を作成し、上記撮像手段で撮影した被写体像に向けて投影する投影手段と
   を具備し、
   上記撮影手段は、上記被写体像中で上記投影手段で投影した表を構成するセルに対応して新たに追加された文字列を撮影し、
   上記撮影手段で得た被写体像中、上記セルに追加された文字列が当該セルの範囲をはみ出したか否かを判断する判断手段をさらに具備し、
   上記表作成手段は、上記判断手段でセルの範囲をはみ出したと判断した文字列の画像を縮小して当該セル中に嵌め込んだ表のデータを作成し、
   上記投影手段は、上記表作成手段で作成した、セル中に文字列画像を嵌め込んだ表の画像を作成し、上記撮像手段で撮影した被写体像に向けて投影することを特徴とする投影装置。
2. 上記表作成手段は、上記撮影手段で得た被写体像中の文字列位置を行及び列の各項目名位置として表を構成する罫線データを作成することを特徴とする請求項１記載の投影装置。
3. 被写体像を撮影する撮影手段と、
   上記撮影手段で得た被写体像に対し、像中の文字列位置を認識してその認識結果から表を構成する罫線データを作成する表作成手段と、
   上記表作成手段で作成した罫線データと上記文字列位置に基づいた表の画像を作成し、上記撮像手段で撮影した被写体像に向けて投影する投影手段と
   を具備し、
   上記撮影手段により上記被写体像中で上記投影手段で投影した表を構成するセルに対応して新たに追加された文字列を撮影し、得た被写体像中の、上記セルに追加された文字列画像に対し、文字認識処理により当該文字列に対応するテキストデータを取得する第１の文字認識手段と、
   上記第１の文字認識手段で取得したテキストデータを登録した辞書登録手段と、
   上記撮影手段により上記被写体像中で上記投影手段で投影した表を構成するセルに対応して新たに追加された文字を撮影し、得た被写体像中の、上記セルに追加された文字画像に対し、文字認識処理により当該文字に対応するテキストデータを取得する第２の文字認識手段と、
   この第２の文字認識手段で取得したテキストデータにより上記辞書登録手段で登録したテキストデータを検索し、少なくとも一部が一致するテキストデータを選出する予測変換手段とをさらに具備し、
   上記表作成手段は、上記予測変換手段で選出したテキストデータの画像を当該セル中に嵌め込んだ表のデータを作成し、
   上記投影手段は、上記表作成手段で作成した、セル中にテキストデータの画像を嵌め込んだ表の画像を作成し、上記撮像手段で撮影した被写体像に向けて投影する
   ことを特徴とする投影装置。
4. 上記投影手段で投影した表を被写体像として上記撮影手段により撮影させる撮影制御手段と、
   上記撮影制御手段により撮影した表を記録する記録手段と
   をさらに具備したことを特徴とする請求項１記載の投影装置。
5. 画像データに対応した光像を形成し、投影対象に向けて投影する投影部、及びこの投影部での投影領域を被写体像として撮影可能な撮影部を備えた投影装置での投影制御方法であって、
   上記撮影部で得た被写体像に対し、像中の文字列位置を認識してその認識結果から表を構成する罫線データを作成する表作成工程と、
   上記表作成工程で作成した罫線データと上記文字列位置に基づいた表の画像を作成し、上記撮像部で撮影した被写体像に向けて上記投影部により投影させる投影制御工程と、
   上記撮影部は、上記被写体像中で上記投影部で投影した表を構成するセルに対応して新たに追加された文字列を撮影し、上記撮影部で得た被写体像中、上記セルに追加された文字列が当該セルの範囲をはみ出したか否かを判断する判断工程と、
   を有し、
   上記表作成工程は、上記判断工程でセルの範囲をはみ出したと判断した文字列の画像を縮小して当該セル中に嵌め込んだ表のデータを作成し、
   上記投影工程は、上記表作成工程で作成した、セル中に文字列画像を嵌め込んだ表の画像を作成し、上記撮像部で撮影した被写体像に向けて投影する
   ことを特徴とする投影制御方法。
6. 画像データに対応した光像を形成し、投影対象に向けて投影する投影部、及びこの投影部での投影領域を被写体像として撮影可能な撮影部を備えた投影装置での投影制御方法であって、
   上記撮影部で得た被写体像に対し、像中の文字列位置を認識してその認識結果から表を構成する罫線データを作成する表作成工程と、
   上記表作成工程で作成した罫線データと上記文字列位置に基づいた表の画像を作成し、上記撮像部で撮影した被写体像に向けて上記投影部により投影させる投影制御工程と、
   上記撮影部により上記被写体像中で上記投影部で投影した表を構成するセルに対応して新たに追加された文字列を撮影し、得た被写体像中の、上記セルに追加された文字列画像に対し、文字認識処理により当該文字列に対応するテキストデータを取得する第１の文字認識工程と、
   上記第１の文字認識工程で取得したテキストデータを登録する辞書登録工程と、
   上記撮影部により上記被写体像中で上記投影部で投影した表を構成するセルに対応して新たに追加された文字を撮影し、得た被写体像中の、上記セルに追加された文字画像に対し、文字認識処理により当該文字に対応するテキストデータを取得する第２の文字認識工程と、
   この第２の文字認識工程で取得したテキストデータにより上記辞書登録工程で登録したテキストデータを検索し、少なくとも一部が一致するテキストデータを選出する予測変換工程とをさらに有し、
   上記表作成工程は、上記予測変換工程で選出したテキストデータの画像を当該セル中に嵌め込んだ表のデータを作成し、
   上記投影部は、上記表作成工程で作成した、セル中にテキストデータの画像を嵌め込んだ表の画像を作成し、上記撮像部で撮影した被写体像に向けて投影する
   ことを特徴とする投影制御方法。
7. 画像データに対応した光像を形成し、投影対象に向けて投影する投影部、及びこの投影部での投影領域を被写体像として撮影可能な撮影部を備えた投影装置または同投影装置を制御可能な外部装置に内蔵されたコンピュータが実行するプログラムであって、
   上記撮影部で得た被写体像に対し、像中の文字列位置を認識してその認識結果から表を構成する罫線データを作成する表作成ステップと、
   上記表作成ステップで作成した罫線データと上記文字列位置に基づいた表の画像を作成し、上記撮像部で撮影した被写体像に向けて上記投影部により投影させる投影制御ステップと、
   上記撮影部は、上記被写体像中で上記投影部で投影した表を構成するセルに対応して新たに追加された文字列を撮影し、上記撮影部で得た被写体像中、上記セルに追加された文字列が当該セルの範囲をはみ出したか否かを判断する判断ステップと、
   を有し、
   上記表作成ステップは、上記判断ステップでセルの範囲をはみ出したと判断した文字列の画像を縮小して当該セル中に嵌め込んだ表のデータを作成し、
   上記投影ステップは、上記表作成ステップで作成した、セル中に文字列画像を嵌め込んだ表の画像を作成し、上記撮像部で撮影した被写体像に向けて投影すること
   をコンピュータに実行させることを特徴とするプログラム。
8. 画像データに対応した光像を形成し、投影対象に向けて投影する投影部、及びこの投影部での投影領域を被写体像として撮影可能な撮影部を備えた投影装置または同投影装置を制御可能な外部装置に内蔵されたコンピュータが実行するプログラムであって、
   上記撮影部で得た被写体像に対し、像中の文字列位置を認識してその認識結果から表を構成する罫線データを作成する表作成ステップと、
   上記表作成ステップで作成した罫線データと上記文字列位置に基づいた表の画像を作成し、上記撮像部で撮影した被写体像に向けて上記投影部により投影させる投影制御ステップと
   上記撮影部により上記被写体像中で上記投影部で投影した表を構成するセルに対応して新たに追加された文字列を撮影し、得た被写体像中の、上記セルに追加された文字列画像に対し、文字認識処理により当該文字列に対応するテキストデータを取得する第１の文字認識ステップと、
   上記第１の文字認識ステップで取得したテキストデータを登録する辞書登録ステップと、
   上記撮影部により上記被写体像中で上記投影部で投影した表を構成するセルに対応して新たに追加された文字を撮影し、得た被写体像中の、上記セルに追加された文字画像に対し、文字認識処理により当該文字に対応するテキストデータを取得する第２の文字認識ステップと、
   この第２の文字認識ステップで取得したテキストデータにより上記辞書登録ステップで登録したテキストデータを検索し、少なくとも一部が一致するテキストデータを選出する予測変換ステップとをさらに有し、
   上記表作成ステップは、上記予測変換ステップで選出したテキストデータの画像を当該セル中に嵌め込んだ表のデータを作成し、
   上記投影部は、上記表作成ステップで作成した、セル中にテキストデータの画像を嵌め込んだ表の画像を作成し、上記撮像部で撮影した被写体像に向けて投影すること
   をコンピュータに実行させることを特徴とするプログラム。

Images