JP6167511B2 - 書画カメラ、書画カメラの制御方法 - Google Patents

Description

本発明は、撮影画像への擬似的な書き込みを実現可能な書画カメラ、書画カメラの制御方法に関する。

従来、この種の技術として、書画カメラ、タブレット端末およびモニターから成る映像ソリューションが知られている。例えば、非特許文献１には、書画カメラの撮影画像と、タブレット端末に対する描画操作に基づく描画画像を合成し、モニターに表示する構成が公開されている。この構成により、モニターに表示された撮像画像への擬似的な書き込みが可能となった。

ところが、非特許文献１の場合、モニターを視認しながら、手元のタブレット端末に描画操作を行う必要があるため、モニター表示されている撮影画像の所望の位置に描画を行うことが難しいといった問題があった。そこで、この問題を解決すべく、特許文献１が提案されている。特許文献１は、書画カメラと、表示機能付きタブレット端末から成る資料提示システムに関するものであり、書画カメラの撮影画像をタブレット端末に無線送信し、タブレット端末の操作・表示面に表示させる。タブレット端末側では、操作・表示面に描画操作が行われ、その描画結果を操作・表示面に反映する。この構成により、タブレット端末に表示された撮影画像に対する描画操作が可能となり、モニターに表示された撮影画像を視認しながら描画操作を行う必要がある非特許文献１の構成と比較して、操作性が良いといった効果がある。

エルモソリューションカンパニー インタラクティブ書画カメラ（実物投影機）Ｌ−１２（http://www.elmosolution.co.jp/products/visual/l_12/index.html）

特開２０１２−１３８６６６号公報

ところが、特許文献１の構成でも、タブレット端末に表示された撮影画像に対して間接的に描画を行うため、被写体に対して直接的に描画を行う場合と比較すると、直感性に欠けるといった問題がある。特に、被写体が立体物である場合、被写体の形状や撮影方向により、所望の位置への描画が困難になることが想定される。

本発明は、上記の問題点に鑑み、撮影画像への擬似的な書き込みを実現する際に、被写体に対する直感的な描画操作が可能な書画カメラ、書画カメラの制御方法を提供することを目的とする。

本発明の書画カメラは、被写体を撮像する撮像部と、被写体に向けて操作される操作体の指示位置を認識する位置認識部と、操作体の指示位置の移動に伴い、その移動軌跡を視認化した描画軌跡を被写体に向けて投写する投写部と、画像表示装置に画像を出力する出力部と、出力部により、撮像部により撮像されているリアルタイムの撮像画像を出力するか、描画軌跡が含まれない除去画像を出力するか、描画軌跡を出力するか、のいずれかを選択させるための選択部と、を備え、出力部は、操作体による描画操作が行われている間、選択部により選択された画像を出力することを特徴とする。
上記の書画カメラにおいて、撮像部により定期的に撮像を行うことによって得られた、直近の１枚以上の撮像画像を記憶する記憶部をさらに備え、除去画像は、操作体による描画操作が開始されたとき、記憶部から読み出した所定の撮像画像であることを特徴とする。
上記の書画カメラにおいて、除去画像は、撮像部により撮像されているリアルタイムの撮像画像から、描画軌跡を除去した画像であることを特徴とする。
上記の書画カメラにおいて、投写部は、被写体に向けて、予め記憶、または外部から入力された画像データを投写可能であることを特徴とする。
上記の書画カメラにおいて、位置認識部は、撮像部の撮像結果に基づいて、操作体の指示位置を認識することを特徴とする。
本発明の書画カメラは、被写体を撮像する撮像部と、被写体に向けて操作体による描画操作が行われている間、所定の時間間隔で操作体の指示位置を認識する位置認識部と、操作体による描画操作が行われている間、位置認識部の認識結果に基づいて、操作体の移動軌跡を視認化した描画軌跡を被写体に向けて投写する投写部と、画像表示装置に画像を出力する出力部と、を備え、出力部は、操作体による描画操作が行われていない場合、撮像部により撮像されているリアルタイムの撮像画像を出力し、操作体による描画操作が行われている場合、リアルタイムの撮像画像から動画情報を除去した画像と、描画軌跡との合成画像を出力することを特徴とする。
本発明の書画カメラの制御方法は、被写体を撮像する撮像ステップと、被写体に向けて操作される操作体の指示位置を認識する位置認識ステップと、操作体の指示位置の移動に伴い、その移動軌跡を視認化した描画軌跡を被写体に向けて投写する投写ステップと、画像表示装置に画像を出力する出力ステップと、撮像されているリアルタイムの撮像画像を出力するか、描画軌跡が含まれない除去画像を出力するか、描画軌跡を出力するか、のいずれかを選択させるための選択ステップと、を実行し、出力ステップは、操作体による描画操作が行われている間、選択ステップにて選択された画像を出力することを特徴とする。
本発明の書画カメラの制御方法は、被写体を撮像する撮像ステップと、被写体に向けて操作体による描画操作が行われている間、所定の時間間隔で操作体の指示位置を認識する位置認識ステップと、操作体による描画操作が行われている間、指示位置の認識結果に基づいて、操作体の移動軌跡を視認化した描画軌跡を被写体に向けて投写する投写ステップと、画像表示装置に画像を出力する出力ステップと、を実行し、出力ステップは、操作体による描画操作が行われていない場合、撮像ステップにて撮像されているリアルタイムの撮像画像を出力し、操作体による描画操作が行われている場合、リアルタイムの撮像画像から動画情報を除去した画像と、描画軌跡との合成画像を出力することを特徴とする。
なお、以下の構成としても良い。
本発明の書画カメラは、被写体を撮像する撮像部と、被写体に向けて操作される操作体の指示位置を認識する位置認識部と、操作体の指示位置に、所定の画像を投写する投写部と、を備えたことを特徴とする。

本発明の書画カメラの制御方法は、被写体を撮像する撮像ステップと、被写体に向けて操作される操作体の指示位置を認識する位置認識ステップと、操作体の指示位置に、所定の画像を投写する投写ステップと、を実行することを特徴とする。

本発明の構成によれば、被写体に向けて操作される操作体の指示位置に、所定の画像を投写するため、ユーザーは、被写体に対し、あたかも直接的に描画したような操作感を得ることができる。また、被写体が立体物の場合でも、立体物の被写体そのものに向けて所望の位置を指し示すため、被写体の撮像画像に対し２次元上で描画位置を指定する従来の構成と比べ、容易に所望の位置を指し示すことができる。
なお、「所定の画像」とは、矢印などのポインターであっても良いし、点であっても良い。

上記の書画カメラにおいて、投写部は、操作体の指示位置の移動に伴い、その移動軌跡を視認化した描画軌跡を投写することを特徴とする。

本発明の構成によれば、被写体に向けて操作される操作体の指示位置の移動に伴い、その移動軌跡を視認化した描画軌跡を投写するため、ユーザーは、被写体に対し、あたかも直接的に書き込みを行ったような操作感を得ることができる。
なお、本構成は、短い時間間隔で操作体の指示位置の認識を連続的に行い、指示位置の移動に伴って連続的に「点」（所定の画像）を投写することで実現可能である。

上記の書画カメラにおいて、操作体による描画操作が行われているか否かを判別する描画判別部と、画像表示装置に画像を出力する出力部と、をさらに備え、出力部は、操作体による描画操作が行われていない場合、撮像部により撮像されているリアルタイムの撮像画像を出力し、操作体による描画操作が行われている場合、被写体の撮像画像と、描画軌跡との合成画像を出力することを特徴とする。

本発明の構成によれば、操作体による描画操作が行われているか否かに応じ、適切な画像を画像表示装置に出力することができる。つまり、描画操作が行われている間は、被写体の撮像画像と描画軌跡との合成画像を出力することで、操作体や、操作体を持つユーザーの「手」を出力画像から排除することができ、本来必要と考えられる情報だけを出力画像に含めることができる。

上記の書画カメラにおいて、描画判別部は、操作体の状態に応じて、操作体による描画操作が行われているか否かを判別することを特徴とする。

また、上記の書画カメラにおいて、位置認識部は、操作体の指示位置として、操作体に搭載された発光体の位置を認識し、描画判別部は、発光体の発光を検知しているとき、描画操作が行われていると判別し、発光体の発光を検知していないとき、描画操作が行われていないと判別することを特徴とする。

本発明の構成によれば、描画操作が行われているか否かを、操作体の状態（例えば、発光体の発光の有無）に応じて、容易に判別することができる。
なお、発光体としては、赤外線、ＬＥＤ（Light Emitting Diode）、レーザー光源などを用いることができる。

上記の書画カメラにおいて、撮像部により定期的に撮像を行うことによって得られた、直近の１枚以上の撮像画像を記憶する記憶部をさらに備え、出力部は、操作体による描画操作が開始されたとき、記憶部から所定の撮像画像を読み出し、操作体による描画操作が行われている間、当該所定の撮像画像と、描画軌跡との合成画像を出力することを特徴とする。

本発明の構成によれば、記憶部から、操作体、ユーザーの「手」および描画軌跡を含まない描画開始前の撮像画像を読み出すため、被写体の撮像画像（被写体のみの画像）を容易に得ることができる。
なお、記憶部から読み出す「所定の撮像画像」は、描画開始直前に撮像された画像（最新の撮像画像）であっても良いし、記憶部に複数枚の撮像画像が記憶される場合、記憶されている中で、所定番目に撮像された画像であっても良い。

上記の書画カメラにおいて、操作体による描画操作が行われているか否かを判別する描画判別部と、画像表示装置に画像を出力する出力部と、をさらに備え、出力部は、操作体による描画操作が行われている間、撮像部により撮像されているリアルタイムの撮像画像ではなく、描画軌跡が含まれない除去画像を出力することを特徴とする。

本発明の構成によれば、被写体上で描画軌跡を確認したいが、出力画像には含めたくないような用途（画像表示装置に描画軌跡を表示させたくない用途）に利用できる。例えば、知育現場において、教育者が生徒に質問を投げかけている間に、被写体上に回答を記入しておき、生徒からの回答を待って画像表示装置上で、回答（描画軌跡）を公開する場合などに利用できる。

上記の書画カメラにおいて、撮像部により定期的に撮像を行うことによって得られた、直近の１枚以上の撮像画像を記憶する記憶部をさらに備え、除去画像は、操作体による描画操作が開始されたとき、記憶部から読み出した所定の撮像画像であることを特徴とする。

本発明の構成によれば、描画開始前の撮像画像を読み出すことで、除去画像を容易に得ることができる。また、除去画像として、操作体、ユーザーの「手」および描画軌跡を含まない被写体のみの画像を得ることができる。

上記の書画カメラにおいて、除去画像は、撮像部により撮像されているリアルタイムの撮像画像から、描画軌跡を除去した画像であることを特徴とする。

本発明の構成によれば、撮像部により撮像されているリアルタイムの撮像画像から、描画軌跡を除去することで、描画開始前の撮像画像を記憶しておくことなく、除去画像を得ることができる。

上記の書画カメラにおいて、出力部により、撮像部により撮像されているリアルタイムの撮像画像を出力するか、除去画像を出力するか、描画軌跡を出力するか、のいずれかを選択させるための選択部をさらに備え、出力部は、操作体による描画操作が行われている間、選択部により選択された画像を出力することを特徴とする。

本発明の構成によれば、「リアルタイムの撮像画像」、「除去画像」、「描画軌跡」の中から、ユーザーが所望の出力画像を選択できるため、使い勝手を向上できる。

上記の書画カメラにおいて、投写部は、被写体に向けて、予め記憶、または外部から入力された画像データを投写可能であることを特徴とする。

本発明の構成によれば、描画操作に伴う画像（所定の画像、描画軌跡など）だけでなく、任意の画像データを投写することができる。例えば、知育現場において、文字の手本を画像データとして投写し、当該手本上に、操作体を用いて文字を描画していく場合などに利用できる。

上記の書画カメラにおいて、位置認識部は、撮像部の撮像結果に基づいて、操作体の指示位置を認識することを特徴とする。

本発明の構成によれば、単一の撮像センサーによって、被写体の撮像と、操作体の位置認識を行うことができるため、両者のキャリブレーションを省略できる。また、書画カメラの装置構成を簡素化し、低廉化を図ることができる。

本発明の一実施形態に係る投写システムのシステム構成図である。 第１実施形態に係る書画カメラのブロック図である。 （ａ），（ｂ）は、被写体、描画軌跡、投写領域、撮像領域の一例を示す図である。 （ａ）は、リアルタイムの撮像画像の一例を示す図であり、（ｂ）は、合成画像の一例を示す図である。 第１実施形態に係る書画カメラの動作を示すフローチャートである。 第２実施形態に係る書画カメラのブロック図である。 （ａ）は、リアルタイムの撮像画像の一例を示す図であり、（ｂ）は、除去画像の一例を示す図であり、（ｃ）は、描画軌跡の一例を示す図である。 第２実施形態に係る書画カメラの動作を示すフローチャートである。

以下、本発明の一実施形態に係る書画カメラ、書画カメラの制御方法について、添付図面を参照しながら詳細に説明する。各実施形態では、画像表示装置として、プロジェクターを用いた場合について例示する。

［第１実施形態］
図１は、本発明の一実施形態に係る投写システムＳＹのシステム構成図である。投写システムＳＹは、書画カメラ１と、プロジェクター２から成り、両者はケーブル４を介して接続されている。

書画カメラ１は、箱状の筐体１１と、筐体１１の端部から上方に延出した支持アーム１２と、支持アーム１２の上端に固定されたカメラヘッド１３と、を備えている。筐体１１の上面には、上方（カメラヘッド１３側）から見て矩形のステージ１１ａと、複数の操作キーが配列された操作パネル１４と、が設けられている。また、ステージ１１ａ上には、平面体または立体物の被写体５０が載置される（同図では、平面体の被写体５０が載置されている場合を示している）。

また、書画カメラ１には、発光ペン３（操作体）が付属されている。発光ペン３は、その先端となるペン先３２にＬＥＤ（発光体）が備えられており、ユーザーがペン先３２を被写体５０に当接させると、ＬＥＤが発光する。また、発光ペン３の本体３１には、スイッチ３ａが設けられ、当該スイッチ３ａを押下するたびに、ＬＥＤの発光／消光を切り替え可能となっている。なお、スイッチ３ａを押下し続けている間、ＬＥＤが発光し、スイッチ３ａの押下を解除することにより、ＬＥＤを消光させる構成でも良い。

一方、カメラヘッド１３には、下方（ステージ１１ａ側）に向けて、撮像センサー１１１と、投写レンズ１５１が設けられている。撮像センサー１１１は、ステージ１１ａ上に載置された被写体５０や、発光ペン３を撮像する。また、投写レンズ１５１は、発光ペン３（ペン先３２のＬＥＤ）の移動軌跡を可視化した描画軌跡Ｌ（所定の画像）を、被写体５０に向けて投写する。なお、撮像センサー１１１と投写レンズ１５１は、できるだけ近接して設けられることが好ましい。

これらの構成により、書画カメラ１は、撮像センサー１１１の撮像結果から、被写体５０の撮像画像５０ｍ（図４（ｂ）参照）を得ると共に、描画軌跡Ｌを生成する。そして、これらを合成した合成画像、または撮像センサー１１１によるリアルタイムの撮像画像を、出力画像Ｇ（図５等参照）として、プロジェクター２に出力する。プロジェクター２は、書画カメラ１から当該出力画像Ｇを取得し、スクリーンＳＣ上にプロジェクター用投写画像６１を投写する。

次に、図２を参照し、書画カメラ１の機能構成について説明する。書画カメラ１は、主な機能構成として、撮像部１１０、画像解析部１２０、記憶部１３０、操作部１４０、投写部１５０、画像処理部１６０および外部出力部１７０を備えている。請求項における「出力部」は、画像処理部１６０および外部出力部１７０に相当する。また、請求項における「記憶部」は、記憶部１３０内の撮像画像記憶部１３１に相当する。

撮像部１１０は、上記の撮像センサー１１１と、被写体５０等で反射した光を撮像センサー１１１の受光面に結像させる撮像レンズ（図示省略）を有し、ステージ１１ａ上の撮像領域Ｅ２（図３参照）を撮像する。撮像センサー１１１は、被写体５０の撮像だけでなく、発光ペン３の指示位置の認識にも用いられる。撮像センサー１１１の受光面には、マトリクス状に配列された複数の受光画素が形成されており、各画素の受光量に基づく画像データを、所定のフレームレートで生成する。また、撮像センサー１１１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーやＣＣＤ（Charge Coupled Device）センサーにより構成される。

なお、描画操作が行われている場合、撮像部１１０による撮像画像には、被写体５０、および投写部１５０により投写された描画軌跡Ｌの他、描画操作時に用いる発光ペン３や発光ペン３を把持するユーザーの「手」なども含まれる。ところが、発光ペン３や「手」などの情報は、プロジェクター用投写画像６１に含めたくない場合も考えられる。このため、本実施形態では、状況に応じ、撮像部１１０により撮像された「リアルタイムの撮像画像」と、発光ペン３や「手」などの情報を含まない「合成画像」とで、出力画像Ｇの内容を切り替えている。詳細については、後述する。

画像解析部１２０は、撮像部１１０の撮像結果である撮像画像の画像解析を行うものであり、描画判別部１２１および位置認識部１２２を有する。描画判別部１２１は、発光ペン３による描画操作が行われているか否かを判別する。具体的には、撮像センサー１１１によりペン先３２のＬＥＤの発光を検知しているとき、描画操作が行われていると判別し、ＬＥＤの発光を検知していないとき、描画操作が行われていないと判別する。また、位置認識部１２２は、ペン先３２の位置（ＬＥＤの発光位置）を認識する。なお、位置認識部１２２は、発光ペン３の移動に伴ってリアルタイムに（ユーザーが違和感なく）描画軌跡Ｌを描けるように、１／６０秒間隔〜１／２４秒間隔など、短い時間間隔で位置認識を行うことが好ましい。

記憶部１３０は、フラッシュＲＯＭ等の書き換え可能な記憶媒体により構成され、撮像画像記憶部１３１および画像データ記憶部１３２を有する。撮像画像記憶部１３１は、撮像部１１０により定期的に撮像を行うことによって得られた撮像画像のうち、直近の１枚を記憶する。当該撮像画像は、描画判別部１２１により描画が開始されたと判別された時点で読み出され、合成画像の生成に用いられる。なお、撮像画像記憶部１３１に、直近の１枚のみを記憶するのではなく、直近の複数枚の撮像画像を記憶し、その中から所定の１枚（例えば、３枚の撮像画像を記憶している中で２番目に新しい撮像画像など）を、合成画像の生成に用いても良い。

一方、画像データ記憶部１３２は、被写体５０に向けて投写する画像データ７０（図３（ｂ）参照）を記憶する。例えば、本実施形態の投写システムＳＹが知育の現場で用いられる場合、文字記入枠、文字の手本、方眼紙、グラフ用紙などを画像データ７０として投写することが想定される。なお、書画カメラ１内に画像データ記憶部１３２を設けるのではなく、書画カメラ１と通信可能なインターネットサーバー、プロジェクター２、若しくは書画カメラ１が読み取り可能な外部記憶媒体から、画像データ７０を入力可能としても良い。

操作部１４０は、ユーザーが各種操作を行うために用いるものであり、発光ペン３を有する。本実施形態では、ユーザーが、被写体５０に向けて発光ペン３を移動させると、撮像センサー１１１により撮像され、その撮像結果に基づいて位置認識部１２２により移動軌跡が認識される。そして、その移動軌跡を視認化した描画軌跡Ｌが、投写部１５０により投写される。

画像処理部１６０は、画像解析部１２０の解析結果を用いて画像処理を行うものであり、投写画像生成部１６１および出力画像生成部１６２を有する。投写画像生成部１６１は、投写部１５０により投写する投写画像を生成する。投写画像には、描画軌跡Ｌおよび画像データ７０が含まれる。

出力画像生成部１６２は、描画判別部１２１の判別結果に応じて、プロジェクター２に出力するための出力画像Ｇを生成する。具体的には、描画操作が行われていないと判別された場合、出力画像Ｇとして、撮像部１１０により撮像されているリアルタイムの撮像画像を生成する。図４（ａ）は、リアルタイムの撮像画像を出力画像Ｇとした場合の一例を示す図である。同図に示すように、描画操作が行われていない場合、撮像部１１０によって撮像されているリアルタイムの画像（被写体５０の画像５０ｇ、描画軌跡Ｌの画像Ｌｇ、発光ペン３の画像３ｇ、ユーザーの「手」の画像Ｈｇを含む動画像）が、出力画像Ｇとして出力される。

また、出力画像生成部１６２は、描画操作が行われていると判別された場合、撮像部１１０により撮像された被写体５０の撮像画像５０ｍと、位置認識部１２２の認識結果から得られる描画軌跡Ｌとの合成画像を生成する。ここで、「被写体５０の撮像画像５０ｍ」とは、描画操作が開始されたと判別された時点で、撮像画像記憶部１３１から読み出した撮像画像を指す。つまり、描画操作前の撮像画像には、発光ペン３や「手」などの情報が含まれないものと看做し、「撮像画像記憶部１３１から読み出した撮像画像」＝「被写体５０のみの撮像画像」として用いる。図４（ｂ）は、合成画像を出力画像Ｇとした場合の一例を示す図である。同図に示すように、描画操作が行われている場合、撮像画像記憶部１３１から読み出した被写体５０の撮像画像５０ｍ（静止画像）に、描画軌跡Ｌ（動画像）を合成した合成画像が、出力画像Ｇとして出力される。

投写部１５０は、投写画像生成部１６１により生成された投写画像（描画軌跡Ｌおよび／または画像データ７０）を被写体５０に向けて投写するものであり、投写レンズ１５１を有する。また、特に図示しないが、投写部１５０には、メタルハライドランプ、ＬＥＤ、レーザー光源などの光源装置、液晶パネルなどの光変調装置も含まれる。図３は、投写部１５０の投写領域Ｅ１、および描画軌跡Ｌを示す図である。図３（ａ），（ｂ）の両図に示すように、投写部１５０（投写レンズ１５１）は、撮像部１１０の撮像領域Ｅ２を含有する投写領域Ｅ１を投写対象としている。すなわち、投写部１５０は、撮像領域Ｅ２の全体に投写可能となっている。被写体５０としては、同図（ａ）に示すような立体物、同図（ｂ）に示すような平面体が考えられる。同図（ｂ）は、白紙の被写体５０に、文字記入枠（格子罫線付き文字枠）の画像データ７０を投写し、その上に描画が行われている例を示している。このように、本実施形態では、被写体５０の形状によらず、位置認識部１２２により認識された発光ペン３の移動に伴い、描画軌跡Ｌの投写が可能である。

なお、発光ペン３の指示位置と、投写部１５０の投写位置とのずれをなくすため、事前に両者のキャリブレーションが必要である。例えば、投写部１５０により投写された所定のパターンを、撮像センサー１１１によって撮像することにより、キャリブレーションを行うことが考えられる。

また、投写部１５０により投写される描画軌跡Ｌは、ユーザーが消去操作を行うまで、投写されたままの状態となる。消去操作は、操作パネル１４に設けられた所定の操作キーを押下することが考えられる。その他、投写部１５０により、複数の操作キーを含むＧＵＩ（Graphical User Interface）の操作パネルを画像データとして投写し、発光ペン３で「消去」を示す操作キーが選択されたことにより、消去操作を行っても良い。この場合、ＧＵＩには、「全消去」、「直前の描画を消去」など、各種消去操作に対応した操作キーを搭載することが好ましい。

また、投写部１５０による投写は、描画軌跡Ｌだけ表示し、それ以外（描画軌跡Ｌの背景部分）を黒表示とすることで、被写体５０に対し実際に描画されているように見せることができる。その他、描画軌跡Ｌ以外の部分を白色など明るい色で表示することにより、被写体５０を照らす補助光源として用いることも可能である。

外部出力部１７０は、画像処理部１６０（出力画像生成部１６２）によって生成された出力画像Ｇを、プロジェクター２に対し、所定のフレームレートで出力する。なお、書画カメラ１に、録画・再生機能が搭載されている場合、外部出力部１７０は、プロジェクター２に再生画像（再生映像）を出力する。

次に、図５のフローチャートを参照し、書画カメラ１の動作の流れを説明する。書画カメラ１は、発光ペン３の発光を検出すると（Ｓ０１：Ｙｅｓ）、描画が開始されたと判別し、撮像画像記憶部１３１から、描画操作開始前の撮像画像を読み出す（Ｓ０２）。また、発光ペン３の移動軌跡から、描画軌跡Ｌを生成し（Ｓ０３）、生成した描画軌跡Ｌと、読み出した撮像画像とを合成して、合成画像を生成する（Ｓ０４）。その後、生成した合成画像をプロジェクター２に出力する（Ｓ０５）。続いて、書画カメラ１は、発光ペン３の消光を判別し、消光していない場合は（Ｓ０６：Ｎｏ）、Ｓ０３に戻る。一方、発光ペン３が消光した場合は（Ｓ０６：Ｙｅｓ）、撮像部１１０により撮像されているリアルタイムの撮像画像の出力に切り替え（Ｓ０７）、Ｓ０１に戻る。また、Ｓ０１において、発光ペン３の発光が検出されなかった場合も（Ｓ０１：Ｎｏ）、リアルタイムの撮像画像を出力し（Ｓ０７）、発光ペン３の発光検出まで出力を継続する。

以上説明したとおり、本発明の第１実施形態によれば、被写体５０に向けて操作される発光ペン３の移動に伴い、その移動軌跡を視認化した描画軌跡Ｌを被写体５０に投写するため、ユーザーは、被写体５０に対し、あたかも直接的に書き込みを行ったような操作感を得ることができる。

また、発光ペン３により描画操作が行われているか否かを判別し、描画操作が行われている間は、リアルタイムの撮像画像ではなく、被写体５０の撮像画像５０ｍと描画軌跡Ｌとの合成画像を出力するため、発光ペン３やユーザーの「手」の情報を出力画像Ｇから排除することができ、本来必要と考えられる情報だけを、プロジェクター２に出力することができる。また、被写体５０の撮像画像５０ｍとして、撮像画像記憶部１３１から読み出した描画開始前の撮像画像を読み出すため、合成画像を容易に生成することができる。

なお、上記の実施形態では、発光ペン３の移動軌跡から描画軌跡Ｌを生成し、被写体５０に向けて当該描画軌跡Ｌを投写したが、必ずしも発光ペン３を移動させる必要はない。例えば、発光ペン３を被写体５０に向け、被写体５０の任意の位置を指示することで、その指示位置に所定の画像を投写しても良い。「所定の画像」としては、矢印などのポインター、囲み枠、文字、記号、数字などの他、天体学習に用いる星型マークなど、種々の図形・絵柄が考えられる。

また、「所定の画像」として、どのような画像を用いるかをユーザーが選択可能としても良い。この場合、投写部１５０によりＧＵＩを投写し、発光ペン３で選択された操作キーに応じて、「所定の画像」を決定しても良い。さらに、ＧＵＩにより、発光ペン３の描画色や、描画線の太さを選択可能としても良い。

また、「所定の画像」を投写するのではなく、発光ペン３の指示位置に対して、被写体５０に対し所定の装飾を施しても良い。例えば、被写体５０が立体物の場合、指示位置を含む一面だけに色付けする、指示位置の周辺を非表示にする（電源ＯＮ時など、予め撮像・記憶しておいた被写体載置面の画像を利用して、一面だけを透過させたように表示する）、などが考えられる。

また、複数種類の操作体（発光ペン３）を使用可能とし、操作体の種類に応じて、「所定の画像」や装飾方法を決定しても良い。つまり、第１のペンで指示された場合は、ポインターを投写し、第２のペンで指示された場合は、囲み枠を投写し、第３のペンで指示された場合は、指示位置を含む面に色付けする、などの使用方法が考えられる。

また、上記の実施形態では、発光ペン３の発光の有無により、描画操作が行われているか否かを判別したが、他の方法で判別を行っても良い。例えば、発光ペン３に、描画開始時に押下するボタン（図示省略）を搭載し、当該ボタンの押下信号を、赤外線または無線通信等で書画カメラ１本体に送信する。書画カメラ１（描画判別部１２１）は、当該押下信号の受信により、描画中であるか非描画中であるかを判別する。この構成によれば、描画操作が行われているか否かを正確に判別することができる。

また、上記の実施形態では、発光ペン３の発光体としてＬＥＤを例示したが、パルス状の信号が重畳されるものを用いても良いし、その状態が周期的に変化するものでも良い。例えば、ＬＥＤの光は、単色でなくても良く、例えば赤、青、緑など色が順次変化するものでも良い。また、発光状態も一定ではなく、発光幅や発光振幅等が変化するものでも良いし、光の波長、パルス、強さ、変調、質等が変化するものでも良い。さらに、複数種類の光（ＬＥＤ、赤外線、レーザー光源など）を検知可能としても良い。なお、発光体としてレーザー光源を用いる場合、請求項における「操作体の指示位置」は、被写体５０に対するレーザー光の照射位置を指す。

また、請求項における「操作体の状態に応じて、操作体による描画操作が行われているか否かを判別する」とは、上述の操作体（発光ペン３）の色の変化や発光状態に応じて、描画操作の有無を判別する方法を含むものである。

また、操作体の指示位置の検知は、撮像結果を用いた画像解析に限らず、無線、超音波、方位センサー、圧力センサー（例えば、被写体５０が平面体の場合、被写体５０の載置面に組み込むことが考えられる）等を用いて行っても良い。また、これらのうち、いずれか２以上の検知方法を組み合わせて用いても良い。

また、上記の実施形態では、「被写体５０のみの撮像画像」＝「撮像画像記憶部１３１から読み出した撮像画像」＝と看做して合成画像を生成したが、「被写体５０のみの撮像画像」を他の方法で生成しても良い。例えば、被写体５０を静止物と看做し、撮像部１１０によるリアルタイムの撮像画像から、発光ペン３、ユーザーの「手」および描画軌跡Ｌなどの動画情報を除去することにより、「被写体５０のみの撮像画像」を生成しても良い。

また、上記の実施形態では、撮像画像記憶部１３１への撮像画像の記憶を定期的に行うものとしたが、ユーザーが所定の操作を行ったときに記憶する構成でも良い。所定の操作は、操作パネル１４、または投写部１５０により投写されるＧＵＩを用いれば良い。

また、書画カメラ１に、録画・再生機能が搭載されている場合、描画操作が行われていると判別されている間は、リアルタイムの撮像画像ではなく、合成画像を録画しても良い。また、どちらを録画するかについて、ユーザーが選択可能としても良い。

また、上記の実施形態では、投写部１５０により投写される描画軌跡Ｌは、ユーザーが消去操作を行うまで、投写したままの状態となるものとしたが、発光ペン３が消光する度に、それまでの描画軌跡Ｌを消去する構成としても良い。この構成によれば、ユーザーによる消去操作を省略できる。

また、上記の実施形態では、１の撮像センサー１１１により、被写体５０の撮像と、発光ペン３の位置認識を行ったが、それぞれ専用のセンサーを設けても良い。但しこの場合、各センサーの位置合わせを行うためのキャリブレーションが必要である。キャリブレーションの方法としては、投写部１５０により投写された所定のパターンを、撮像用のセンサーで撮像すると共に、発光ペン３の位置認識用のセンサーで位置認識し、両者を比較することによって行う。

［第２実施形態］
次に、図６ないし図８を参照し、本発明の第２実施形態について説明する。上記の第１実施形態では、描画操作が行われている場合、出力画像Ｇとして被写体５０の撮像画像５０ｍと描画軌跡Ｌとの合成画像を生成したが、本実施形態では、描画操作が行われている場合に出力する出力画像Ｇを、ユーザーが選択する。以下、第１実施形態と異なる点のみ説明する。なお、本実施形態において、第１実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、第１実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。

図６は、第２実施形態に係る書画カメラ１のブロック図である。本実施形態の書画カメラ１は、第１実施形態（図２参照）と比較して、操作部１４０内に、出力画像選択部１４１が追加されている点が異なる。出力画像選択部１４１は、描画操作が行われている間、撮像部１１０により撮像されている「リアルタイムの撮像画像」を出力するか、「除去画像」を出力するか、「描画軌跡」を出力するか、のいずれかを選択する。出力画像選択部１４１は、操作パネル１４（図１参照）で構成されても良いし、投写部１５０により投写されるＧＵＩで構成されても良い。また、本実施形態の画像処理部１６０は、描画操作が行われている間、出力画像選択部１４１によって選択された画像を生成する。

図７は、出力画像Ｇのバリエーションを示す図である。例えば、図７（ａ）は、「リアルタイムの撮像画像」が選択された場合の出力画像Ｇの一例を示している。ユーザーによって「リアルタイムの撮像画像」が選択された場合、同図に示すように、撮像部１１０によって撮像されているリアルタイムの画像（被写体５０の画像５０ｇ、描画軌跡Ｌの画像Ｌｇ、発光ペン３の画像３ｇ、ユーザーの「手」の画像Ｈｇを含む動画像）を出力する。

また、ユーザーによって「除去画像」が選択された場合、図７（ｂ）に示すように、描画軌跡Ｌの画像Ｌｇが含まれない出力画像Ｇを出力する。この場合、描画操作が開始されたときに撮像画像記憶部１３１から読み出した撮像画像５０ｍ、つまり描画開始前の撮像画像を「除去画像」として用いる。また、ユーザーによって「描画軌跡」が選択された場合、図７（ｃ）に示すように、位置認識部１２２により認識された発光ペン３の移動軌跡から生成した描画軌跡Ｌを、出力画像Ｇとして出力する。

次に、図８のフローチャートを参照し、本実施形態に係る書画カメラ１の動作の流れを説明する。書画カメラ１は、発光ペン３の発光が検出されなかった場合（Ｓ１１：Ｎｏ）、描画操作が行われていないと判別し、撮像部１１０により撮像されているリアルタイムの撮像画像をプロジェクター２に出力する（Ｓ１２）。その後、Ｓ１１に戻る。また、発光ペン３の発光が検出された場合は（Ｓ１１：Ｙｅｓ）、描画操作が行われていると判別し、出力画像Ｇの選択結果を判別する（Ｓ１３）。ここで、「リアルタイムの撮像画像」が選択されている場合は、描画中であっても、撮像部１１０により撮像されているリアルタイムの撮像画像を出力する（Ｓ１２）。

また、描画中の出力画像Ｇとして「除去画像」が選択されている場合は、撮像画像記憶部１３１から、描画操作開始前の撮像画像５０ｍを読み出し（Ｓ１４）、読み出した撮像画像５０ｍを出力する（Ｓ１５）。続いて、発光ペン３の消光を判別し、消光していない場合は（Ｓ１６：Ｎｏ）、Ｓ１５に戻る。一方、発光ペン３が消光した場合は（Ｓ１６：Ｙｅｓ）、リアルタイムの撮像画像の出力に切り替える（Ｓ１２）。また、描画中の出力画像Ｇとして「描画軌跡」が選択されている場合は、発光ペン３の移動軌跡から描画軌跡Ｌを生成し（Ｓ１７）、生成した当該描画軌跡Ｌを出力する（Ｓ１８）。続いて、発光ペン３の消光を判別し、消光していない場合は（Ｓ１９：Ｎｏ）、Ｓ１７に戻る。一方、発光ペン３が消光した場合は（Ｓ１９：Ｙｅｓ）、リアルタイムの撮像画像の出力に切り替える（Ｓ１２）。

以上説明したとおり、本発明の第２実施形態によれば、「リアルタイムの撮像画像」、「除去画像」、「描画軌跡」の中から、ユーザーが所望する出力画像Ｇを選択できるため、使い勝手を向上できる。例えば、「除去画像」を選択することで、被写体５０上で描画軌跡Ｌを確認したいが、出力画像Ｇには含めたくないような用途（プロジェクター用投写画像６１に描画軌跡Ｌを表示させたくない用途）に利用できる。例えば、知育現場において、教育者がコンパスの使用方法を生徒に示す際、どの場所が支点に相当するかなどを生徒に考えさせている間に、被写体５０であるコンパスの支点部分に印を付けておき、生徒からの回答を待って、被写体５０またはプロジェクター用投写画像６１上で、印（描画軌跡Ｌ）を公開する場合などに利用できる。

また出力画像Ｇとして「除去画像」が選択された場合、撮像画像記憶部１３１から描画開始前の撮像画像５０ｍを読み出すため、発光ペン３、ユーザーの「手」および描画軌跡Ｌの情報を含まない「除去画像」を容易に得ることができる。

なお、上記の第２実施形態では、撮像画像記憶部１３１から読み出した描画開始前の撮像画像５０ｍを「除去画像」として用いたが、他の方法で「除去画像」を生成しても良い。例えば、撮像部１１０により撮像されているリアルタイムの撮像画像から描画軌跡Ｌを除去することで、「除去画像」を生成しても良い。この場合、描画開始時からの描画軌跡Ｌを別途記憶しておき、単位時間ごとにリアルタイムの撮像画像を撮像し、当該リアルタイムの撮像画像から、描画開始後に描画された描画軌跡Ｌを除去すればよい。この構成によれば、描画開始前の撮像画像５０ｍを得るために、撮像部１１０により定期的に撮像を行う必要がない。なお、本構成の場合、出力画像Ｇに描画軌跡Ｌは含まれないが、発光ペン３の画像３ｇ、およびユーザーの「手」の画像Ｈｇは含まれることになる。このため、被写体５０の画像５０ｇのみを出力画像Ｇに含めるべく、被写体５０を静止物と看做し、撮像部１１０によるリアルタイムの撮像画像から、発光ペン３、ユーザーの「手」および描画軌跡Ｌなどの動画情報を除去することにより、「除去画像」を生成しても良い。

また、上記の第２実施形態では、描画中の出力画像Ｇとして、「リアルタイムの撮像画像」、「除去画像」、「描画軌跡」のいずれかを選択可能としたが、描画操作が行われている場合、「除去画像」または「描画軌跡」のみを、固定的に出力可能としても良い。つまり、描画操作が行われている場合は、出力画像Ｇとして「除去画像」または「描画軌跡」を出力し、描画操作が行われていない場合は、「リアルタイムの撮像画像」を出力する構成としても良い。

また、書画カメラ１に、録画・再生機能が搭載されている場合、描画操作が行われている間は、出力画像選択部１４１により選択された出力画像Ｇを録画する構成としても良い。また、出力画像選択部１４１の選択に関わらず、別途録画用の画像を、「リアルタイムの撮像画像」、「除去画像」、「描画軌跡」の中から選択可能としても良い。

以上、２つの実施形態を示したが、各実施形態に示した投写システムＳＹの各構成要素をプログラムとして提供することが可能である。また、そのプログラムを各種記録媒体（ＣＤ−ＲＯＭ、フラッシュメモリー等）に格納して提供することも可能である。すなわち、コンピューターを投写システムＳＹの各構成要素として機能させるためのプログラム、およびそれを記録した記録媒体も、本発明の権利範囲に含まれる。

また、上記の各実施形態では、画像表示装置として、プロジェクター２を例示したが、他のモニター、ＰＣ（パーソナルコンピューター）、タブレット端末を用いても良い。その他、本発明の要旨を逸脱しない範囲で、適宜変更が可能である。

１…書画カメラ ２…プロジェクター ３…発光ペン ３ａ…スイッチ ４…ケーブル １１…筐体 １１ａ…ステージ １２…支持アーム １３…カメラヘッド １４…操作パネル ３１…本体 ３２…ペン先 ５０…被写体 ５０ｍ…被写体の撮像画像 ６１…プロジェクター用投写画像 ７０…画像データ １１０…撮像部 １２０…画像解析部 １２１…描画判別部 １２２…位置認識部 １３０…記憶部 １３１…撮像画像記憶部 １３２…画像データ記憶部 １４０…操作部 １４１…出力画像選択部 １５０…投写部 １６０…画像処理部 １６１…投写画像生成部 １６２…出力画像生成部 １７０…外部出力部 Ｅ１…投写領域 Ｅ２…撮像領域 Ｇ…出力画像 Ｌ…描画軌跡 ＳＣ…スクリーン ＳＹ…投写システム

Claims (8)

1. 被写体を撮像する撮像部と、
   前記被写体に向けて操作される操作体の指示位置を認識する位置認識部と、
   前記操作体の指示位置の移動に伴い、その移動軌跡を視認化した描画軌跡を前記被写体に向けて投写する投写部と、
   画像表示装置に画像を出力する出力部と、
   前記出力部により、前記撮像部により撮像されているリアルタイムの撮像画像を出力するか、前記描画軌跡が含まれない除去画像を出力するか、前記描画軌跡を出力するか、のいずれかを選択させるための選択部と、を備え、
   前記出力部は、前記操作体による描画操作が行われている間、前記選択部により選択された画像を出力することを特徴とする書画カメラ。
2. 前記撮像部により定期的に撮像を行うことによって得られた、直近の１枚以上の撮像画像を記憶する記憶部をさらに備え、
   前記除去画像は、前記操作体による描画操作が開始されたとき、前記記憶部から読み出した所定の撮像画像であることを特徴とする請求項１に記載の書画カメラ。
3. 前記除去画像は、前記撮像部により撮像されているリアルタイムの撮像画像から、前記描画軌跡を除去した画像であることを特徴とする請求項１に記載の書画カメラ。
4. 前記投写部は、前記被写体に向けて、予め記憶、または外部から入力された画像データを投写可能であることを特徴とする請求項１ないし３のいずれか１項に記載の書画カメラ。
5. 前記位置認識部は、前記撮像部の撮像結果に基づいて、前記操作体の指示位置を認識することを特徴とする請求項１ないし４のいずれか１項に記載の書画カメラ。
6. 被写体を撮像する撮像部と、
   前記被写体に向けて操作体による描画操作が行われている間、所定の時間間隔で前記操作体の指示位置を認識する位置認識部と、
   前記操作体による描画操作が行われている間、前記位置認識部の認識結果に基づいて、前記操作体の移動軌跡を視認化した描画軌跡を前記被写体に向けて投写する投写部と、
   画像表示装置に画像を出力する出力部と、を備え、
   前記出力部は、
   前記操作体による描画操作が行われていない場合、前記撮像部により撮像されているリアルタイムの撮像画像を出力し、
   前記操作体による描画操作が行われている場合、前記リアルタイムの撮像画像から動画情報を除去した画像と、前記描画軌跡との合成画像を出力することを特徴とする書画カメラ。
7. 被写体を撮像する撮像ステップと、
   前記被写体に向けて操作される操作体の指示位置を認識する位置認識ステップと、
   前記操作体の指示位置の移動に伴い、その移動軌跡を視認化した描画軌跡を前記被写体に向けて投写する投写ステップと、
   画像表示装置に画像を出力する出力ステップと、
   撮像されているリアルタイムの撮像画像を出力するか、前記描画軌跡が含まれない除去画像を出力するか、前記描画軌跡を出力するか、のいずれかを選択させるための選択ステップと、を実行し、
   前記出力ステップは、前記操作体による描画操作が行われている間、前記選択ステップにて選択された画像を出力することを特徴とする書画カメラの制御方法。
8. 被写体を撮像する撮像ステップと、
   前記被写体に向けて操作体による描画操作が行われている間、所定の時間間隔で前記操作体の指示位置を認識する位置認識ステップと、
   前記操作体による描画操作が行われている間、前記指示位置の認識結果に基づいて、前記操作体の移動軌跡を視認化した描画軌跡を前記被写体に向けて投写する投写ステップと、
   画像表示装置に画像を出力する出力ステップと、を実行し、
   前記出力ステップは、
   前記操作体による描画操作が行われていない場合、前記撮像ステップにて撮像されているリアルタイムの撮像画像を出力し、
   前記操作体による描画操作が行われている場合、前記リアルタイムの撮像画像から動画情報を除去した画像と、前記描画軌跡との合成画像を出力することを特徴とする書画カメラの制御方法。

Images