JP5451088B2 - 画像端末装置及びプログラム - Google Patents

Description

本発明は、投影画像を撮影して保存する画像端末装置及びプログラムに関する。

従来、光源、透過型液晶パネルなどを使用して画像を光変換してスクリーン上に投影するプロジェクタ装置をパソコン（ＰＣ）や携帯電話などの画像端末装置に接続し、各種の資料（画像）をスクリーン（ホワイトボード）上に投影させてプレゼンテーションを行う場合に、その発表者は、スクリーン上の資料（画像）に沿って説明を行うようにしているが、その際、スクリーン上の参考資料に対する補足説明や注意マークなどをホワイトボード上に手書きしながら説明するようにしている。このような場合、プレゼンテーションの参加者にあっては、ホワイトボード上に投影されている資料（画像）及び手書きによる追記をノートなどにメモするようにしているが、このようなメモに代わって、従来では、ホワイトボード上に手書きによる追記が行われた際に、その投影画像を撮影して保存できるようにした技術が開発されている（特許文献１及び２参照）。

特開２００４−１９８８１７号公報 特開２００４−２３９９６７号公報

しかしながら、上述した各先行技術にあっては、ホワイトボード上の投影画像を撮影したとしても、撮影後に、再度、追記が行われた場合には、その部分を含めて再撮影が必要となり、その追記部分の撮影を忘れてしまうと、それを記録に残せなくなる、という問題が残る。このことは、プレゼンテーションの進行が速くなればなるほど、その進行が複雑になればなるほど、顕著なものとなる。

本発明の課題は、投影されている画像に対して手書きにより追記が行われたとしても、その追記内容をも含めて投影画像を保存できるようにすることである。

上述した課題を解決するために請求項１記載の発明は、被投影体上に画像を投影させる投影手段と、複数の画像の中から前記被投影体上に投影される投影対象の画像を指定する画像指定手段と、前記投影手段により前記被投影体上に投影されている投影画像が、前記画像指定手段の指定によって他の画像に切替えられることを検出する投影切替検出手段と、この投影切替検出手段によって画像が切替えられることが検出された場合に、その切替えに先立って、その時点で投影されている投影画像を含む前記被投影体上のエリアを撮影する撮影手段と、前記投影切替検出手段によって画像が切替えられることが検出された際に、その切替直前に前記撮影手段が被投影体上のエリアを撮影した撮影画像に基づいてその被投影体上のエリア内に手書きによる追記が存在しているか否かを判別する判別手段と、前記判別手段によって手書きによる追記が存在していると判別された場合に前記切替直前の撮影画像を保存する保存手段と、を具備したことを特徴とする画像端末装置である。

請求項１に従属する発明として、前記被投影体上に画像を投影させる投影装置に接続されている状態において、前記投影切替検出手段は、前記投影装置から画像切替信号を受信した際に、前記被投影体上に投影されている投影画像が他の画像に切替えられることを検出する、ようにしたことを特徴とする請求項２記載の発明であってもよい。

請求項１に従属する発明として、前記撮影手段によって撮影された撮影画像を記録保存する投影記録モードと、それ以外の通常投影モードとを切替えるモード切替手段と、を更に備え、前記撮影手段は、前記モード切替手段によって投影記録モードに切替えられている状態で前記被投影体上のエリアを撮影する、ようにしたことを特徴とする請求項３記載の発明であってもよい。

請求項１に従属する発明として、前記被投影体上のエリアは、投影画像の大きさに相当するエリア、当該投影画像及びその周辺部を含む大きさに相当するエリアのうち、そのいずれか一方である、ことを特徴とする請求項４記載の発明であってもよい。

請求項１に従属する発明として、前記画像の切替えに先立って、前記保存手段によって記録保存された撮影画像を投影させるように制御する投影制御手段と、を更に備える、ようにしたことを特徴とする請求項５記載の発明であってもよい。

請求項１に従属する発明として、前記投影切替検出手段によって画像が切替えられることが検出された際に、その切替えに先立って、投影を一時停止させるように制御する投影制御手段を更に備え、前記撮影手段は、前記検出手段によって画像が切替えられることが検出された際に、その切替直前に、前記被投影体上のエリアを撮影した後、前記投影制御手段によって投影が一時停止されている状態で前記被投影体上のエリアを撮影し、前記判別手段は、前記切替直前に前記撮影手段が被投影体上のエリアを撮影した撮影画像として、前記投影制御手段によって投影が一時停止されている状態で前記撮影手段によって撮影された撮影画像を認識することによって、前記被投影体上のエリア内に手書きによる追記が存在しているか否かを判別し、前記保存手段は、前記判別手段によって手書きによる追記が存在していると判別された場合に、前記撮影手段によって撮影された切替直前の撮影画像を保存する、ようにしたことを特徴とする請求項６記載の発明であってもよい。

請求項１に従属する発明として、前記投影切替検出手段によって画像が切替えられることが検出された際に、その切替えに先立って、投影を一時停止させるように制御する投影制御手段を更に備え、前記判別手段は、前記被投影体上のエリア内に手書きによる追記が存在しているか否かを、前記切替直前に前記撮影手段が被投影体上のエリアを撮影した撮影画像として、前記投影制御手段によって投影が一時停止されている状態で前記撮影手段によって撮影した撮影画像を認識することによって判別し、前記判別手段によって手書きによる追記が存在していないことが判別された場合に投影対象を前記他の画像に切替える切替制御手段を更に備える、ようにしたことを特徴とする請求項７記載の発明であってもよい。

請求項１に従属する発明として、前記撮影手段は、画像投影が開始された直後に前記被投影体上のエリアを撮影するほか、前記検出手段によって画像が切替えられることが検出された際にその切替直前に前記被投影体上のエリアを撮影し、前記判別手段は、前記撮影手段によって投影開始直後に撮影した撮影画像と切替直前に撮影した撮影画像とを比較することによって、前記被投影体上のエリア内に手書きによる追記が存在しているか否かを判別し、前記保存手段は、前記判別手段によって手書きによる追記が存在していると判別された場合に当該撮影画像を保存する、ようにしたことを特徴とする請求項８記載の発明であってもよい。

請求項１に従属する発明として、前記撮影手段は、前記検出手段によって画像が切替えられることが検出された際にその切替直前に前記被投影体上のエリアを撮影し、前記判別手段は、前記撮影手段によって撮影された切替直前の撮影画像を認識することによって、前記被投影体上のエリア内に手書きによる追記が存在しているか否かを判別し、前記保存手段は、前記判別手段によって手書きによる追記が存在していると判別された場合に前記切替直前の撮影画像を保存する、ようにしたことを特徴とする請求項９記載の発明であってもよい。

請求項１に従属する発明として、前記撮影手段は、前記検出手段によって画像が切替えられることが検出された際にその切替直前に前記被投影体上のエリアを撮影し、前記判別手段は、前記撮影手段によって撮影された切替直前の撮影画像と前記被投影体上に投影される投影対象の画像とを比較することによって、前記被投影体上のエリア内に手書きによる追記が存在しているか否かを判別し、前記保存手段は、前記判別手段によって手書きによる追記が存在していると判別された場合に当該撮影画像を保存する、ようにしたことを特徴とする請求項１０記載の発明であってもよい。

請求項１に従属する発明として、前記判別手段によって手書きによる追記が存在していると判別された場合に、他の画像の切替えに先立って、手書きによる追記を消去すべきことを示す画像を投影させる投影制御手段と、を更に備える、ようにしたことを特徴とする請求項１１記載の発明であってもよい。

また、上述した課題を解決するために請求項１２記載の発明は、コンピュータに対して、被投影体上に画像を投影させる投影機能と、複数の画像の中から前記被投影体上に投影される投影対象の画像を指定する画像指定機能と、前記投影機能により前記被投影体上に投影されている投影画像が、前記画像指定機能の指定によって他の画像に切替えられることを検出する投影切替検出機能と、この投影切替検出機能によって画像が切替えられることが検出された場合に、その切替えに先立って、その時点で投影されている投影画像を含む前記被投影体上のエリアを撮影する撮影機能と、前記投影切替検出機能によって画像が切替えられることが検出された際に、その切替直前に前記撮影手段が被投影体上のエリアを撮影した撮影画像に基づいてその被投影体上のエリア内に手書きによる追記が存在しているか否かを判別する判別機能と、前記判別機能によって手書きによる追記が存在していると判別された場合に前記切替直前の撮影画像を記録保存する保存機能と、を実現させるためのプログラムを特徴とする。

本発明によれば、投影されている画像に対して手書きにより追記が行われたとしても、その追記内容をも含めて投影画像を保存することができ、利便性がよくなる。

画像端末装置として適用した投影機能（プロジェクタ機能）付きの携帯電話装置を使用して、投影対象の画像をホワイトボード（被投影体）上に投影した状態を示した図。 。プロジェクタ機能付きの携帯電話装置１の基本的な構成要素を示したブロック図。 携帯電話装置１をクレードルに載置（接続）した状態においてユーザ操作によってプロジェクタ部２０の起動が指示された際に実行開始されるフローチャート。 図３に続く動作を示したフローチャート。 （１）は、ホワイトボード３上の投影エリアＡＲ１に手書きによる追記が含まれている場合に、この投影エリアＡＲ１を撮影した場合を示し、（２）は、空投影の状態で投影エリアＡＲ１を撮影した場合を示し、次ページ（画像）が投影された状態を示した図。

以下、図１〜図５を参照して本発明の実施形態を説明する。
この実施形態は、画像端末装置として携帯電話装置に適用した場合を例示したもので、図１は、投影機能（プロジェクタ機能）付きの携帯電話装置を使用して、投影対象の画像をホワイトボード（被投影体）上に投影した状態を示した図である。
携帯電話装置１は、投影機能（プロジェクタ機能）を内蔵するほか、撮影機能を内蔵するもので、ＡＲＣ電源（商用電源）に接続されているクレードル（充電台）２に載置（接続）した状態において、プロジェクタ機能を起動させると、それに連動して撮影機能が動作可能状態となると共に、ＡＲＣ電源（商用電源）からの供給電力に基づいてプロジェクタ機能及び撮影機能が動作し、投影対象の画像をホワイトボード（被投影体）３上に投影したり、ホワイトボード３上の投影画像を含むエリアを撮影したりするようにしている。

ここで、投影対象の画像とは、例えば、グラフ、表、写真、文章などのプレゼンテーション資料など、複数ページ分の画像であり、この複数ページ分の画像（例えば、プレゼンテーション資料）は、ページ送り操作に応じてその先頭ページの画像から投影対象の画像として順次指定され、この指定ページ（画像）がホワイトボード３上に投影されるようになる。ホワイトボード３は、ペンによる手書きが可能となるように白く表面加工されていて、スクリーンの代用として使用されるもので、図中、ホワイトボード３上のエリアＡＲ１、ＡＲ２は、携帯電話装置１によって撮影される撮影エリアを示すもので、この撮影エリアＡＲ１は、投影された投影画像の大きさに相当するエリア（投影エリア）であるのに対し、それよりも大きい他の撮影エリアＡＲ２は、投影画像及びその周辺部を含む大きさに相当するエリア、例えば、ホワイトボード３の略全体を網羅するような大きさのエリア（ボードエリア）である。

図２は、プロジェクタ機能付きの携帯電話装置１の基本的な構成要素を示したブロック図である。
この携帯電話装置１は、例えば、２つの筐体（操作部筐体、表示部筐体）が開閉可能に取り付けられた折り畳み自在なもので、例えば、通話機能、プロジェクタ機能、撮影機能、電子メール機能、インターネット接続機能（Ｗｅｂアクセス機能）などが備えられている。ＣＰＵ１１は、記憶部１２内の各種のプログラムに応じてこの携帯電話装置１の全体動作を制御する中核的な中央演算処理装置である。

記憶部１２は、内部メモリであり、図示しないが、プログラム領域とデータ領域とを有し、このプログラム領域には、後述する図３及び図４に示す動作手順に応じて本実施形態を実現するためのプログラムが格納され、また、そのデータ領域には、投影用として複数ページ分の画像（例えば、プレゼンテーション資料など）を投影対象として記憶する投影用画像メモリＭ１、撮影画像を記録保存する画像保存メモリＭ２、後述する投影モードや撮影エリアが設定される設定メモリＭ３などが設けられている。

メモリ１３は、ワーク領域を有する内部メモリであり、必要に応じてメモリ１３内の各種のデータは、記憶部１２にセーブされる。記録メディア１４は、着脱自在な可搬型メモリで、例えば、ＳＤカード、ＩＣカードなどによって構成されている。この記録メディア１４に上述の投影用画像メモリＭ１が記憶されている場合には、記録メディア１４から投影用画像メモリＭ１を読み出し取得するようにしてもよく、また、画像保存メモリＭ２を記録メディア１４に記憶させるようにしてもよい。

電話通信部１５は、図示しない無線部、ベースバンド部、多重分離部などを備え、例えば、通話機能（音声電話機能）、電子メール機能、インターネット接続機能の動作時に最寄りの基地局（図示せず）との間でデータの送受信を行う電話通信手段で、通話機能の動作時にはベースバンド部の受信側から信号を取り込んで受信ベースバンド信号に復調したのち、音声信号処理部１６を介して通話用スピーカＳＰから音声出力させ、また、通話用マイクＭＣからの入力音声データを音声信号処理部１６から取り込み、送信ベースバンド信号に符号化したのち、ベースバンド部の送信側に与えてアンテナから発信出力させる。操作部１７は、ダイヤル入力、文字入力、コマンド入力などを行うもので、ＣＰＵ１１は、操作部１７からの入力信号に応じた処理を実行する。表示部１８は、例えば、高精細液晶あるいは有機ＥＬを使用し、待受画像、撮影画像などを表示する。

クレードル接続部１９は、充電ケーブルに接続されているクレードル２に携帯電話装置１が載置された際に、クレードル２に電気的に接続されるコネクタ部であり、クレードル接続部１９は、携帯電話装置１がクレードル２に載置（接続）されたことを検出する。ここで、図示しない内蔵電池（二次電池）は、このクレードル接続部１９を介してＡＣ電源から供給される電力によって充電される。携帯電話装置１がクレードル２に載置（接続）されている状態において、プロジェクタ機能を起動させると、上述したようにＡＲＣ電源（商用電源）からの供給電力に基づいてプロジェクタ機能及び撮影機能が動作する。

プロジェクタ部２０は、携帯電話装置１がクレードル２に載置されている状態において動作するもので、ＡＲＣ電源からの供給電力によって点灯する投影用光源２１、投影対象の画像を映し出す透過型液晶パネル２２、投影レンズ２３を有するほか、投影用光源２１を制御してそのオン／オフや輝度などを調整する光源調整部２４、透過型液晶パネル２２を駆動する駆動部２５、投影レンズ２３をピント、ズームなどを調整するレンズ調整部２６などを有している。なお、この投影レンズ２３は、その光軸方向が携帯電話装置１を構成する筐体（例えば、操作部筐体）の縦長方向となるように取り付けられているが、その取り付け位置は任意である。

撮像部２７は、図示しない撮影レンズ、ミラーなどのレンズ・ミラーブロック、撮像素子、その駆動系のほか、測距センサ、光量センサ、アナログ処理回路、信号処理回路、圧縮伸張回路などを有するもので、自動的に焦点を合わせるオートフォカス機能、撮影範囲を制御するズーム機能などが設けられている。なお、撮影レンズの光軸方向は、上述した投影レンズ２３の光軸方向と一致し、ホワイトボード３上に投影されている投影画像を含むエリア（投影エリアＡＲ１又はボードエリアＡＲ２）を撮影可能となっている。

次に、実施形態における携帯電話装置１の動作概念を図３及び図４に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、ネットワークなどの伝送媒体を介して外部供給されたプログラム／データを利用してこの実施形態特有の動作を実行することもできる。なお、図３及び図４は、携帯電話装置１の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図３及び図４のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

図３及び図４は、携帯電話装置１をクレードルに載置（接続）した状態においてユーザ操作によってプロジェクタ部２０の起動が指示された際に実行開始されるフローチャートである。
先ず、ＣＰＵ１１は、例えば、プレゼンテーション資料などを投影対象の情報ファイル（複数ページ分の画像）として記憶する投影用画像メモリＭ１の内容（例えば、資料タイトル）が一覧表示されている状態において、ユーザ操作で所望する資料タイトルが投影対象として指定されると、この指定された情報ファイルの内容を投影用画像メモリＭ１から読み出す（ステップＳ１）。

そして、ＣＰＵ１１は、投影モードを選択させるための投影モード選択画面を表示させたのち、この選択画面に表示されている投影記録モード、通常投影モードの中から所望する投影モードがユーザ操作によって選択されると、この選択モードを設定メモリＭ３に設定する（ステップＳ２）。ここで、投影記録モードは、ホワイトボード３を撮影した撮影画像を記録保存する動作モードであり、通常投影モードは、投影記録モード以外のモードで、ホワイトボード３の撮影を行わない動作モードである。これによって投影記録モードが設定されたかを調べ（ステップＳ３）、投影記録モードに設定されていれば（ステップＳ３でＹＥＳ）、ホワイトボード３を撮影する撮影エリアを選択させるための撮影エリア選択画面を表示させたのち、この選択画面に表示されている投影エリア、ボードエリアの中から所望する撮影エリアがユーザ操作によって選択されると、この選択エリアを設定メモリＭ３に設定する（ステップＳ４）。

この状態において、指定ファイル内の先頭ページ（画像）を指定したのち（ステップＳ５）、投影記録モードに設定されているかを調べる（ステップＳ６）。いま、通常投影モードに設定されている場合には（ステップＳ６でＮＯ）、図４のフローに移り、指定ページ（画像）をプロジェクタ部２０に送り、その透過型液晶パネル２２に映し出すことによってホワイトボード３上に投影させる（ステップＳ１４）。そして、再度、投影記録モードに設定されているかを調べるが（ステップＳ１５）、いま、通常投影モードに設定されている場合であるから（ステップＳ１５でＮＯ）、ページ送り操作の有無を調べたり（ステップＳ１８）、投影終了操作（プロジェクタ終了操作）の有無を調べたりする（ステップＳ１９）。

ここで、投影終了操作が行われた場合には（ステップＳ１９でＹＥＳ）、図３及び図４のフローの終了となるが、ページ送り操作が行われた場合には（ステップＳ１８でＹＥＳ）、再度、投影記録モードに設定されているかを調べる（ステップＳ２０）。いま、通常投影モードに設定されている場合であるから（ステップＳ２０でＮＯ）、次のページ（画像）を指定したのち（ステップＳ２９）、上述のステップＳ１４に戻り、指定ページ（画像）を投影させる。以下、ページ送り操作が行われる毎に、上述と同様の動作が行われる。

一方、投影記録モードに設定されている場合には（図３のステップＳ６でＹＥＳ）、先頭ページの投影に先立って、透過型液晶パネル２２に何の画像も映し出されていない状態（空状態）でホワイトボード３に投影（空投影）を行ったのち（ステップＳ７）、撮像部２７を起動させてホワイトボード３上をモニタ撮影する（ステップＳ８）。この場合、ユーザはプロジェクタ部２０の起動を指示する前に、ホワイトボード３の略全体が写し込まれるエリアを初期の撮影範囲として手動調整しておく。この状態でモニタ撮影が行われると、ＣＰＵ１１は、この初期範囲でモニタ撮影された画像（モニタ画像）を取り込み、モニタ画像の全体を解析し、そのモニタ画像内に手書きによる記入（書き残し）が存在しているかを調べる（ステップＳ９）。いま、ホワイトボード３内に書き残しがあれば（ステップＳ９でＹＥＳ）、その記入の消去を促すメッセージとして、“ボード上の記入を消して下さい”をプロジェクタ部２０に送り、その透過型液晶パネル２２に映し出すことによってホワイトボード３上に投影させる（ステップＳ１０）。

そして、設定メモリＭ３をアクセスし、それに設定されている撮影エリアは投影エリアＡＲ１であるかを調べ（ステップＳ１１）、投影エリアＡＲ１であれば（ステップＳ１１でＹＥＳ）、撮像部２７を制御してその撮影エリアをプロジェクタ部２０の投影エリアＡＲ１に合わせ込むが（ステップＳ１２）、ボードエリアＡＲ２であれば（ステップＳ１１でＮＯ）、撮像部２７を制御してその撮影エリアをボードエリアに合わせ込む（ステップＳ１３）。この場合、手動調整されている上述の初期範囲をボードエリアＡＲ２としてもよいが、モニタ画像を解析して色変化などからホワイトボードの外郭を特定することによってボードエリアＡＲ２を指定するようにしてもよい。

このようにして撮像部２７を制御してその撮影エリアを調整したのちは、図４のフローに移り、指定ページ（画像）をプロジェクタ部２０に送り、その透過型液晶パネル２２に映し出すことによってホワイトボード３上に投影させる（ステップＳ１４）。そして、投影記録モードに設定されているかを調べるが（ステップＳ１５）、いま、投影記録モードに設定されている場合であるから（ステップＳ１５でＹＥＳ）、次のステップＳ１６に移り、設定メモリＭ３に設定されている撮影エリアはボードエリアＡＲ２であるかを調べる。ここで、投影モードが投影記録モードに設定され、かつ、撮影エリアがボードエリアＡＲ２に設定されていることを条件に（ステップＳ１５及びＳ１６でＹＥＳ）、撮像部２７を起動させ、ホワイトボード３を撮影エリア（ボードエリアＡＲ２）で撮影した画像を投影開始直後の撮影画像として取り込み、メモリ１３のワーク領域に設けた一時メモリＡＲ（図示せず）に退避しておく（ステップＳ１７）。

そして、ページ送り操作の有無を調べたり（ステップＳ１８）、投影終了操作（プロジェクタ終了操作）の有無を調べたりするが（ステップＳ１９）、いま、ページ送り操作が行われた場合に（ステップＳ１８でＹＥＳ）、投影記録モードであれば（ステップＳ２０でＹＥＳ）、設定メモリＭ３に設定されている撮影エリアは投影エリアＡＲ１であるかを調べる（ステップＳ２１）。ここで、投影エリアＡＲ１であれば（ステップＳ２１でＹＥＳ）、投影画像の切替に先立って、撮像部２７を起動させ、ホワイトボード３を撮影エリア（投影エリアＡＲ１）で撮影した画像を切替直前の撮影画像として取り込み、メモリ１３のワーク領域に設けた一時メモリＢ（図示せず）に退避しておく（ステップＳ２２）。図５（１）は、ホワイトボード３上の投影エリアＡＲ１に手書きによる追記が含まれている場合に、この投影エリアＡＲ１を撮影した場合を示したもので、投影エリアＡＲ１内には投影画像（文字列やグラフ）のほか、手書き文字列として“このメーカはＡさんがカクニン”が追記された場合を示している。

次に、ページ（画像）の投影を一時停止するために、プロジェクタ部２０の透過型液晶パネル２２に何の画像も映し出していない状態（空状態）でホワイトボード３に投影（空投影）する（ステップＳ２３）。図５（２）は、空投影状態でホワイトボード３上の投影エリアＡＲ１を撮影した場合を示したもので、投影エリアＡＲ１内には、図５（１）に投影画像（文字列やグラフ）は投影されず、手書き文字列として“このメーカはＡさんがカクニン”が残っている状態を示している。この空投影状態において撮像部２７を起動させ、ホワイトボード３上の投影エリアＡＲ１を撮影した画像を追記の有無を確認するための撮影画像として取り込んで、一時メモリＡＲに退避したのち（ステップＳ２４）、この一時メモリＡＲ内の画像（空投影状態での撮影画像）を解析して画像認識し、ホワイトボード３上に手書きによる追記が存在しているか否かを調べる（ステップＳ２５）。

ここで、ホワイトボード３上の投影エリア内に手書きによる追記が存在していなければ（ステップＳ２５でＮＯ）、次ページ（画像）を投影対象として指定して、投影用画像メモリＭ１から読み出し（ステップＳ２９）、この指定ページ（画像）をプロジェクタ部２０に送り、その透過型液晶パネル２２に映し出すことによってホワイトボード３上に投影させる（ステップＳ１４）。図５（３）は、次ページ（画像）が投影された状態を示している。

一方、ホワイトボード３上を空投影状態で撮影した場合、図５（２）に示すように投影エリアＡＲ１内には、手書き文字列として“このメーカはＡさんがカクニン”が残っている場合には、手書きによる追記が有ると判別されるため（ステップＳ２５でＹＥＳ）、その記入の消去を促すメッセージとして、“ボード上の記入を消して下さい”をホワイトボード３上に投影させる（ステップＳ２６）。そして、一時メモリＢに退避しておいた切替直前の撮影画像を読み出して画像保存メモリＭ２に記録保存したのち（ステップＳ２７）、この保存画像（切替直前の撮影画像）をプロジェクタ部２０に送り、その透過型液晶パネル２２に映し出することによってホワイトボード３上に投影させる（ステップＳ２８）。この切替直前の撮影画像の投影は、ユーザに保存画像を確認させるために所定時間（例えば、数秒間）行われる。なお、この場合、保存画像の投影は、図５（１）に示した内容と同様となる。

そして、次ページ（画像）を投影対象として指定して、投影用画像メモリＭ１から読み出し（ステップＳ２９）、この指定ページ（画像）をプロジェクタ部２０に送り、その透過型液晶パネル２２に映し出すことによってホワイトボード３上に投影させる（ステップＳ１４）。以下、投影記録モードで撮影エリアが投影エリアＡＲ１に設定されている状態においては、ページ送り操作が行われる毎に（ステップＳ１８でＹＥＳ）、上述の動作を繰り返す。

また、投影記録モードにおいて撮影エリアがボードエリアＡＲ２に設定されている場合には（ステップＳ２１でＮＯ）、投影画像の切替に先立って、撮像部２７を起動させ、ホワイトボード３を撮影エリア（ボードエリアＡＲ２）で撮影した画像を切替直前の撮影画像として取り込み、一時メモリＢに退避しておく（ステップＳ３０）。そして、一時メモリＡＲ内の画像（投影開始直後の撮影画像）と一時メモリＢ内の画像（切替直前の撮影画像）とを比較し（ステップＳ３１）、両者は異なるか否かに応じて手書きによる追記が存在しているかを調べる（ステップＳ３２）。いま、両者が同一であれば（ステップＳ３２でＮＯ）、手書きによる追記が無いと判断して、ステップＳ２９に移り、次ページ（画像）を投影対象として指定したのち、この指定ページ（画像）をホワイトボード３上に投影させる（ステップＳ１４）。

また、投影開始直後の撮影画像と切替直前の撮影画像とを比較した結果、両者は異なる場合には（ステップＳ３２でＹＥＳ）、手書きによる追記が有ると判断し、その記入の消去を促すメッセージとして、“ボード上の記入を消して下さい”をホワイトボード３上に投影させる（ステップＳ２６）。そして、一時メモリＢ内の画像（切替直前の撮影画像）を画像保存メモリＭ２に記録保存すると共に（ステップＳ２７）、この保存画像を投影させたのち（ステップＳ２８）、次ページ（画像）を投影対象として指定し（ステップＳ２９）、この指定ページ（画像）をホワイトボード３上に投影させる（ステップＳ１４）。以下、投影記録モードで撮影エリアがボードエリアＡＲ２に設定されている状態において、ページ送り操作が行われる毎に（ステップＳ１８でＹＥＳ）、上述の動作を繰り返す。

以上のように本実施形態において携帯電話装置１は、ホワイトボード３上に投影されている投影画像が他の画像に切替えられることを検出した際に、その切替えに先立って、その時点で投影されている投影画像を含むホワイトボード３上のエリアを撮影して、その撮影画像（切替直前の撮影画像）を記録保存するようにしたので、ホワイトボード３上に投影されている画像に対して手書きにより追記が行われたとしても、その追記内容をも含めて投影画像を確実に保存することができ、利便性がよくなる。

ホワイトボード３上に画像を投影させるプロジェクタ部２０を内蔵し、ページ送り操作によって投影対象として次ページ（画像）が指定された際に、投影画像が他の画像に切替えられることを検出するようにしたので、ページ送り操作の検出を投影画像の切替え検出とすることができるほか、プロジェクタ部２０と撮像部２７とを同じ筐体に近接して取り付けることができ、投影方向と撮影方向とを略同一とすることができる。

撮影画像を記録保存する投影記録モードに切替えられている状態で、ホワイトボード３上のエリアを撮影するようにしたので、モードに応じて撮影の要否を制御することができ、必要に応じて撮影や保存を行うことで、無駄な撮影や保存を防ぐことができる。

ホワイトボード３上の撮影エリアとして、投影画像の大きさに相当する投影エリアＡＲ１を選択したり、投影画像及びその周辺部を含む大きさに相当するボードエリアＡＲ２を選択したりすることができ、それだけ自由度を増すことができる。

投影画像の切替えに先立って、記録保存された画像（切替直前の撮影画像）をホワイトボード３上に投影させるようにしたから、ユーザにあっては保存画像を確認することができ、それに応じた対応が可能となる。

ページ送り操作によって投影画像の切替えられることが検出された際に、その切替えに先立って、その切替直前にホワイトボード３を撮影したのち、投影を一時停止した状態（空投影状態）でホワイトボード３を撮影し、この一時停止状態で撮影した撮影画像（空投影状態での撮影画像）を認識することによって、手書きによる追記が存在していると判断した場合に、切替直前の撮影画像を保存するようにしたので、追記の有無を容易かつ確実に判断することができる。

また、一時停止状態で撮影した撮影画像（空投影状態での撮影画像）を認識することによって、手書きによる追記が存在していないと判断した場合に、投影対象を次ページ（画像）に切替えるようにしたので、追記の有無を容易かつ確実に判別することができるほか、必要な画像だけを保存することができる。

投影開始直後に撮影した撮影画像と切替直前に撮影した撮影画像とを比較することによって、ホワイトボード３上に手書きによる追記が存在していると判別した場合には、この切替直前の撮影画像を保存するようにしたので、追記の有無を容易かつ確実に判別することができるほか、必要な画像だけを保存することができる。

ホワイトボード３上に手書きによる追記が存在していれば、投影画像の切替えに先立って、その追記を消去すべきことを示すメッセージを投影させるようにしたので、次の投影時には前の書き残しが無いようにすることができる。

なお、上述した実施形態においては、ホワイトボード３上に手書きによる追記が存在するか否かを判別する場合に、投影画像の切替えに先立って、投影を一時停止した状態（空投影状態）でホワイトボード３を撮影した撮影画像を認識したり、投影開始直後に撮影した撮影画像と切替直前に撮影した撮影画像とを比較したりするようにしたが、投影画像の切替えに先立って、その切替直前に投影画像を撮影した撮影画像を認識することによって、手書きによる追記が存在していると判別するようにしてもよい。この場合、追記かどうかを画像認識によって判断する際に、例えば、投影画像の領域からはみ出した欄外位置に文字や記号などが書かれていれば、追記であると判断したり、文字の書き方や太さなどから追記であると判断したりするようにしてもよい。このように切替直前の撮影画像を認識して追記の有無を判別するようにすれば、投影画像の撮影を１回で済むことができ、その判断を効率良く行うことができる。

また、ホワイトボード３上に手書きによる追記が存在するか否かを判別する場合に、投影画像の切替えに先立って、投影画像を撮影した切替直前の撮影画像と、投影用画像メモリＭ１内の元画像（投影対象の実画像）とを比較することによって、追記が存在するか否かを判別するようにしてもよい。この場合、比較する両画像の大きさを揃えるなどの前処理を行ってから、画像比較を行うようにすればよい。このように元画像を参照することによって追記が存在するか否かを判別するようにすれば、投影画像の撮影を１回で済むことができるほか、追記の有無をより確実に判別することが可能となる。

また、上述した実施形態においては、携帯電話装置１にプロジェクタ部２０を内蔵した場合を例示したが、携帯電話装置１と外付けプロジェクタ装置（図示せず）とを有線あるいは無線によって接続して携帯電話装置１とプロジェクタ装置とを連携させるようにしてもよい。この場合、外付けプロジェクタ装置側では、投影画像を手動あるいは自動によって切替える毎に、その切替信号を携帯電話装置１に送信するようにしてもよい。ここで、携帯電話装置１は、ホワイトボード３上に画像を投影させる投影装置（外付けプロジェクタ）に接続されている状態において、この外付けプロジェクタ装置から画像切替信号を受信した際に、投影画像が他の画像に切替えられることを検出すればよい。また、携帯電話装置１は、プロジェクタ装置側で投影画像が手動あるいは自動で切替えられたかを監視するようにしてもよい。このように携帯電話装置１と外付けプロジェクタ装置とを連携させることによって、ホワイトボード３上に手書きにより追記が行われたとしても、その追記内容をも含めて投影画像を確実に保存することができる。

また、上述した実施形態においては、投影対象の画像をプロジェクタ部２０に送って、その透過型液晶パネル２２に映し出すようにしたが、投影対象の画像を表示部１８にも表示させるようにしてもよい。
また、上述した実施形態においては、携帯電話装置１をクレードルに載置（接続）した状態で、ＡＲＣ電源からの電力供給を受けて投影を行うようにしたが、クレードルに載置（接続）したり、ＡＣ電源を使用したりしなくてもよい。

また、撮影画像を記録保存する際に、この撮影画像に対して各種の補正処理を施して記録保存する場合ようにしてもよい。すなわち、ＣＰＵ１１は、撮影画像から投影画像や追記部分を含む領域を抽出すると共に、この領域の全体が方形（例えば、長方形）となるように、その形状全体を補正するフォルム最適化処理(角度補正処理および台形補正処理) を実行したのち、記録保存するようにしてもよい。また、このような補正処理を施さずに記録保存した場合には、この保存画像を投影する際に、上述した補正処理を施したのち、投影を行うようにしてもよい。

また、上述した実施形態においては、被投影体としてホワイトボード３を例示したが、手書きが可能な大判の紙や合成樹脂シートなどであってもよい。
その他、本発明の適用は、画像端末装置として携帯電話装置に限らず、パーソナルコンピュータ、ＰＤＡ、デジタルカメラ、音楽プレイヤーなど、ゲーム機器、あるいはそれらの複合機などであってもよい。

１ 携帯電話装置
２ クレードル
３ ホワイトボード
１１ ＣＰＵ
１２ 記憶部
１７ 操作部
１８ 表示部
１９ クレードル接続部
２０ プロジェクタ部
２１ 投影用光源
２２ 透過型液晶パネル
２３ 投影レンズ
２４ 調整部
２５ 駆動部
２６ 調整部
２７ 撮像部
Ｍ１ 投影用画像メモリ
Ｍ２ 画像保存メモリ
Ｍ３ 設定メモリ
ＡＲ１ 投影エリア
ＡＲ２ ボードエリア

Claims (12)

1. 被投影体上に画像を投影させる投影手段と、
   複数の画像の中から前記被投影体上に投影される投影対象の画像を指定する画像指定手段と、
   前記投影手段により前記被投影体上に投影されている投影画像が、前記画像指定手段の指定によって他の画像に切替えられることを検出する投影切替検出手段と、
   この投影切替検出手段によって画像が切替えられることが検出された場合に、その切替えに先立って、その時点で投影されている投影画像を含む前記被投影体上のエリアを撮影する撮影手段と、
   前記投影切替検出手段によって画像が切替えられることが検出された際に、その切替直前に前記撮影手段が被投影体上のエリアを撮影した撮影画像に基づいてその被投影体上のエリア内に手書きによる追記が存在しているか否かを判別する判別手段と、
   前記判別手段によって手書きによる追記が存在していると判別された場合に前記切替直前の撮影画像を保存する保存手段と、
   を具備したことを特徴とする画像端末装置。
2. 前記被投影体上に画像を投影させる投影装置に接続されている状態において、前記投影切替検出手段は、前記投影装置から画像切替信号を受信した際に、前記被投影体上に投影されている投影画像が他の画像に切替えられることを検出する、
   ようにしたことを特徴とする請求項１記載の画像端末装置。
3. 前記撮影手段によって撮影された撮影画像を記録保存する投影記録モードと、それ以外の通常投影モードとを切替えるモード切替手段と、
   を更に備え、
   前記撮影手段は、前記モード切替手段によって投影記録モードに切替えられている状態で前記被投影体上のエリアを撮影する、
   ようにしたことを特徴とする請求項１記載の画像端末装置。
4. 前記被投影体上のエリアは、投影画像の大きさに相当するエリア、当該投影画像及びその周辺部を含む大きさに相当するエリアのうち、そのいずれか一方である、
   ことを特徴とする請求項１記載の画像端末装置。
5. 前記画像の切替えに先立って、前記保存手段によって記録保存された撮影画像を投影させるように制御する投影制御手段と、
   を更に備える、
   ようにしたことを特徴とする請求項１記載の画像端末装置。
6. 前記投影切替検出手段によって画像が切替えられることが検出された際に、その切替えに先立って、投影を一時停止させるように制御する投影制御手段を更に備え、
   前記撮影手段は、前記検出手段によって画像が切替えられることが検出された際に、その切替直前に、前記被投影体上のエリアを撮影した後、前記投影制御手段によって投影が一時停止されている状態で前記被投影体上のエリアを撮影し、
   前記判別手段は、前記切替直前に前記撮影手段が被投影体上のエリアを撮影した撮影画像として、前記投影制御手段によって投影が一時停止されている状態で前記撮影手段によって撮影された撮影画像を認識することによって、前記被投影体上のエリア内に手書きによる追記が存在しているか否かを判別し、
   前記保存手段は、前記判別手段によって手書きによる追記が存在していると判別された場合に、前記撮影手段によって撮影された切替直前の撮影画像を保存する、
   ようにしたことを特徴とする請求項１記載の画像端末装置。
7. 前記投影切替検出手段によって画像が切替えられることが検出された際に、その切替えに先立って、投影を一時停止させるように制御する投影制御手段を更に備え、
   前記判別手段は、前記被投影体上のエリア内に手書きによる追記が存在しているか否かを、前記切替直前に前記撮影手段が被投影体上のエリアを撮影した撮影画像として、前記投影制御手段によって投影が一時停止されている状態で前記撮影手段によって撮影した撮影画像を認識することによって判別し、
   前記判別手段によって手書きによる追記が存在していないことが判別された場合に投影対象を前記他の画像に切替える切替制御手段を更に備える、
   ようにしたことを特徴とする請求項１記載の画像端末装置。
8. 前記撮影手段は、画像投影が開始された直後に前記被投影体上のエリアを撮影するほか、前記検出手段によって画像が切替えられることが検出された際にその切替直前に前記被投影体上のエリアを撮影し、
   前記判別手段は、前記撮影手段によって投影開始直後に撮影した撮影画像と切替直前に撮影した撮影画像とを比較することによって、前記被投影体上のエリア内に手書きによる追記が存在しているか否かを判別し、
   前記保存手段は、前記判別手段によって手書きによる追記が存在していると判別された場合に当該撮影画像を保存する、
   ようにしたことを特徴とする請求項１記載の画像端末装置。
9. 前記撮影手段は、前記検出手段によって画像が切替えられることが検出された際にその切替直前に前記被投影体上のエリアを撮影し、
   前記判別手段は、前記撮影手段によって撮影された切替直前の撮影画像を認識することによって、前記被投影体上のエリア内に手書きによる追記が存在しているか否かを判別し、
   前記保存手段は、前記判別手段によって手書きによる追記が存在していると判別された場合に前記切替直前の撮影画像を保存する、
   ようにしたことを特徴とする請求項１記載の画像端末装置。
10. 前記撮影手段は、前記検出手段によって画像が切替えられることが検出された際にその切替直前に前記被投影体上のエリアを撮影し、
    前記判別手段は、前記撮影手段によって撮影された切替直前の撮影画像と前記被投影体上に投影される投影対象の画像とを比較することによって、前記被投影体上のエリア内に手書きによる追記が存在しているか否かを判別し、
    前記保存手段は、前記判別手段によって手書きによる追記が存在していると判別された場合に当該撮影画像を保存する、
    ようにしたことを特徴とする請求項１記載の画像端末装置。
11. 前記判別手段によって手書きによる追記が存在していると判別された場合に、他の画像の切替えに先立って、手書きによる追記を消去すべきことを示す画像を投影させる投影制御手段と、
    を更に備える、
    ようにしたことを特徴とする請求項１記載の画像端末装置。
12. コンピュータに対して、
    被投影体上に画像を投影させる投影機能と、
    複数の画像の中から前記被投影体上に投影される投影対象の画像を指定する画像指定機能と、
    前記投影機能により前記被投影体上に投影されている投影画像が、前記画像指定機能の指定によって他の画像に切替えられることを検出する投影切替検出機能と、
    この投影切替検出機能によって画像が切替えられることが検出された場合に、その切替えに先立って、その時点で投影されている投影画像を含む前記被投影体上のエリアを撮影する撮影機能と、
    前記投影切替検出機能によって画像が切替えられることが検出された際に、その切替直前に前記撮影手段が被投影体上のエリアを撮影した撮影画像に基づいてその被投影体上のエリア内に手書きによる追記が存在しているか否かを判別する判別機能と、
    前記判別機能によって手書きによる追記が存在していると判別された場合に前記切替直前の撮影画像を記録保存する保存機能と、
    を実現させるためのプログラム。

Images