JP6399764B2

JP6399764B2 - 投影装置、画像処理装置およびそれらの制御方法、並びにプログラム

Info

Publication number: JP6399764B2
Application number: JP2014035993A
Authority: JP
Inventors: 和広門田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-02-26
Filing date: 2014-02-26
Publication date: 2018-10-03
Anticipated expiration: 2034-02-26
Also published as: JP2015161748A

Description

本発明は、撮像手段を有する投影装置に関する。

プレゼンテーションを行う際には、パーソナルコンピュータ（ＰＣ）とプロジェクタとをＶＧＡケーブルなどで接続し、ＰＣの画面をプロジェクタによってスクリーン上に拡大して投影することが行われている。また、ホワイトボードなどの書き込み可能なスクリーンを用いて、映像投影中のスクリーンにコメントやアンダーラインなどの手書き情報を直接書き込むことも行われている。そして、スクリーンに書き込まれた手書き情報を議事録に残す場合、投影映像と手書き情報を含むスクリーン画像をデジタルカメラで撮影することも行われている。

また、特許文献１には、スクリーン画像の撮影処理をプロジェクタだけで行う技術が記載されている。

特開２００８−１５２７６６号公報

上記特許文献１では、映像投影中にスクリーンを撮影することで投影映像と手書き情報を含むスクリーン画像を取得し、また、投影を停止してスクリーンを撮影することで手書き情報のみを取得する。しかしながら、上記特許文献１では、手書き情報がスクリーン上に残った状態で、投影用映像データが切り替わった場合、投影用映像データと手書き情報の関連付けが不明瞭になる可能性がある。例えば、スライド１を投影中に書き込まれた手書き情報１が、スライド２に切り替えられた後も消されることなくホワイトボードに残っていた場合、スライド２と手書き情報１が関連付けられたスクリーン画像が記録されてしまう。

本発明は、上記課題に鑑みてなされ、その目的は、スクリーン上に付加された情報が残った状態で投影映像が切り替えられた場合であっても、投影中の映像と新たに付加された情報とを正確に関連付けて記録することができる技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の投影装置は、映像データを投影する投影装置であって、前記映像データが投影されているスクリーンを撮影して得られた画像データから、前記スクリーンに投影されている映像データとは別に当該スクリーンに付加された付加情報を検出する検出手段と、前記検出手段により検出された付加情報を、当該付加情報が検出されたときに前記スクリーンに投影されていた映像データに関連付けて記録する記録手段と、前記スクリーンに投影されている映像データが切り替えられた後に前記検出手段により新たな付加情報が検出された場合、当該新たな付加情報を当該新たな付加情報が検出されたときに前記スクリーンに投影されていた映像データに関連付けるように制御する制御手段と、を有し、前記記録手段は、前記付加情報が消去されたタイミングを示す情報を記録する。

本発明によれば、スクリーン上に付加された情報が残った状態で投影映像が切り替えられた場合であっても、投影中の映像と新たに付加された情報とを正確に関連付けて記録することができる。

本実施形態のプロジェクタを用いてプレゼンテーションを行っている様子を例示する図。本実施形態のプロジェクタの構成を示すブロック図。本実施形態のプロジェクタによるスクリーン画像の保存処理を示すフローチャート。本実施形態のスクリーン画像の保存処理におけるスクリーンの状態変化を例示する図。本実施形態のスクリーン画像の保存処理における投影用映像データおよび手書き画像データの状態を例示する図。投影用映像データおよび手書き画像データが関連付けて記録された状態を例示する図。本実施形態のプロジェクタによるスクリーン画像の再生時の様子を例示する図。本実施形態のプロジェクタによるスクリーン画像の再生方法を例示する図。投影画面と手書き文字を書き込むスクリーンが異なっている形態を例示する図。実施形態２のシステムを用いてプレゼンテーションを行っている様子を例示する図。実施形態２のシステムを構成するＰＣのブロック図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

［実施形態１］本発明を、プロジェクタなどの投影装置により実現した例について説明する。

＜プロジェクタの機能及び構成＞まず、図１および図２を参照して、本実施形態のプロジェクタの機能及び構成について説明する。

図１は、プロジェクタ１０によりホワイトボード２０に映像３０を投影しながらプレゼンテーションなどを行っている様子を例示しており、発表者はホワイトボード２０に直接手書きで文字４０を書き込みながら説明を行っている。本実施形態では、プロジェクタ１０が投影する映像データはプロジェクタ１０に内蔵された記憶装置や外部接続可能な記憶媒体に格納されている。

図２は、プロジェクタの構成を示している。ＣＰＵ１０３は、メモリ部１０６に記憶されている制御プログラムを実行することによりプロジェクタ１０を構成する各ブロックを制御する。メモリ部１０６は、ＣＰＵ１０３の処理手順を記述した制御プログラムを記憶するＲＯＭと、ＲＯＭから読み出した制御プログラムが展開され、制御パラメータやデータを一時的に記憶するワークメモリとして使用されるＲＡＭを有する。

記録媒体１０７は、投影用の映像データや文書データなどを格納するハードディスクやメモリカードなどから構成される内部記憶装置である。外部ＩＦ（インタフェース）１０４は、パーソナルコンピュータ（ＰＣ）やタブレット端末、スマートフォンなどの映像出力可能な外部機器と接続し、ディスプレイに表示されている画面データなどを受信する機能を有する。通信部１０５は、無線ＬＡＮなどのネットワーク１１３を介して上記外部機器などと通信可能に接続する機能を有する。映像処理部１０２は、記録媒体１０７から読み出したスライドなどの映像データや、外部ＩＦ１０４や通信部１０５を介して入力された画面データなどを投影用のデータフォーマットに変換する。投影処理部１０１は、映像を投射する液晶パネル及び駆動回路を有し、映像処理部１０２で生成された投影用の映像データを投影部１０９によりホワイトボード２０などのスクリーン上に投影する。投影部１０９は、レンズやレンズ駆動系や光源を有する。撮像装置１１０は例えばデジタルカメラであり、スクリーンに投影された映像を撮像する。撮像制御部１０８は、撮像装置１１０の光学系やイメージセンサを制御する。プロジェクタ１０を構成する上記各部は、制御バス１１１とデータバス１１２で接続されており、ＣＰＵ１０３によって制御される。なお、各部の制御及び処理は、本実施形態のハードウェア構成には限定されない。例えば１つのハードウェアが複数の手段として機能してもよいし、複数のハードウェアが処理を分担することで、プロジェクタ１０の各手段として機能しても良い。

＜投影処理＞次に、図２を参照して、本実施形態のプロジェクタによる投影用映像データの投影処理について説明する。

図２において、ＣＰＵ１０３は、ユーザ操作などによる投影開始指示によって、映像処理部１０２が記録媒体１０７に保存されている映像データを読み出し、読み出した映像データをメモリ部１０６に転送する。この映像データは、ビットマップ形式、ＪＰＥＧ形式、ＰＮＧ形式などのファイルに圧縮されているため、映像処理部１０２により伸長（デコード）処理が施され、投影用のデータフォーマットに変換する。また、上記圧縮されたファイル以外に、ＰＰＴ形式やＰＤＦ形式などのファイルの場合も映像処理部１０２が解析処理を行い、投影用映像データに変換できる。なお、映像データの解析方法については周知であるので詳細な説明は省略する。映像処理部１０２により生成された投影用映像データはメモリ部１０６に保存される。投影処理部１０１は、メモリ部１０６に保存されている投影用映像データを読み出し、投影部１０９によってスクリーンに投影する。このとき、投影用映像データは、後述する手書き画像データと関連付けて記録できるようにメモリ部１０６に一時的に保管される。

＜撮影処理＞次に、プロジェクタ１０により投影画面を含むスクリーンを撮影する処理について説明する。

撮像装置１１０によりスクリーン上に投影されている投影画面を撮影するタイミングは、ユーザ操作時や映像の切り替え時、手書き文字の検出時などである。これらのタイミングで撮像制御部１０８が撮像装置１１０を制御して投影画面を含むスクリーンを撮影する。撮影された画像データはメモリ部１０６に一時的に保管される。

＜記録処理＞次に、投影用映像データと手書き画像データとを関連付けて記録する処理について説明する。

上述したように、投影用映像データは投影処理部１０１が投影を開始する前にメモリ部１０６に保存されており、スクリーンを撮影して得た画像データもメモリ部１０６に保存されている。映像処理部１０２はこれらのデータをメモリ部１０６から読み出し、後述するように撮影画像から手書き画像を検出する。さらに、映像処理部１０２は、検出した手書き画像から、現在の映像投影中に書き込まれた領域のみを抽出し、これを対応する投影用映像データと関連付けて記録媒体１０７に記録する。

なお、上述したプロジェクタ１０の各動作は、ＣＰＵ１０３がメモリ部１０６に格納された制御プログラムを実行することにより実現され、図２の各部は制御バス１１１とデータバス１１２を介してＣＰＵ１０３との間で制御コマンドや各種データの通信を行う。

＜記録処理手順＞次に、図３を参照して、投影用映像データと手書き画像データを関連付けて記録する処理の手順について説明する。

図３は、図１に例示したように、プロジェクタ１０により投影画面をスクリーンに投影しながら、発表者がスクリーンに手書きで文字を書き込んだ場合に、投影用映像データと手書き画像データとを関連付けて記録する処理の手順を示している。本実施形態によって、投影用映像データが実際に投影されていた期間に書き込まれた手書き画像データのみをその投影用映像データと関連付けて記録することができる。

なお、図３の処理は、プロジェクタ１０が起動されると開始され、メモリ部１０６のＲＯＭに記憶された制御プログラムを、ＲＡＭに読み出してＣＰＵ１０３が実行することにより実現される。

Ｓ３０１では、ＣＰＵ１０３は、投影が開始されるのを待ち、投影が開始されると（Ｓ３０１でＹＥＳ）、投影用映像データを保存する（Ｓ３０２）。この処理は、投影処理部１０１が投影用映像データをメモリ部１０６から読み出すときに実行され、映像処理部１０２がメモリ部１０６から読み出した投影用映像データをメモリ部１０６の保存領域１に書き込む。

Ｓ３０３では、ＣＰＵ１０３は、スクリーンに対して新規の書き込みがあったか否かを判定する。この処理では、まず、撮像装置１１０により投影画面を含むスクリーンを撮影して得られた映像データからＳ３０２で取得した投影用映像データを除外することで、投影中に追加された書き込み領域を抽出する。書き込み領域は、撮像装置１１０が映像を投影中にユーザによってホワイトボード２０に新規に書き込まれた文字や画像に対応する領域である。ＣＰＵ１０３は、書き込み領域が抽出された場合、スクリーンに対して新規の書き込みがあったと判定し、書き込み領域が抽出されなかった場合、スクリーンに対して新規の書き込みがなかったと判定する。なお、書き込み領域に対応する画像データを以下、「手書き画像データ」と呼ぶ。

Ｓ３０３で新規の書き込みがあったと判定された場合は（Ｓ３０３でＹＥＳ）、Ｓ３０４に進み、そうでない場合は（Ｓ３０３でＮＯ）、Ｓ３０５に進む。

また、Ｓ３０３において、ＣＰＵ１０３は、撮像装置１１０により投影画面を含むスクリーンを撮影して得られた映像データからＳ３０２で取得した投影用映像データを除外することで、投影中にユーザによって消去された消去領域を抽出する。消去領域は、撮像装置１１０が映像を投影中にユーザによってホワイトボード２０から消去された文字や画像に対応する領域である。ＣＰＵ１０３は、消去領域が抽出された場合、新規の書き込みがなかった場合（Ｓ３０３でＮＯ）と同様に、Ｓ３０５に進む。

Ｓ３０４では、ＣＰＵ１０３は、映像処理部１０２によりＳ３０３で抽出された手書き画像データをメモリ部１０６の保存領域２に書き込む。

Ｓ３０５では、ＣＰＵ１０３は、ユーザ操作によってスクリーン画像の記録要求を受けたか判定し、記録要求を受けた場合は（Ｓ３０５でＹＥＳ）ステップＳ３０６に進み、受けていない場合はＳ３０７に進む。

Ｓ３０６では、ＣＰＵ１０３は、Ｓ３０２で取得した投影用映像データと、Ｓ３０３で抽出した手書き画像データとを関連付けて記録する。この処理は、例えばユーザがプロジェクタ１０の操作パネルやリモコン（不図示）によりスクリーン画像の記録要求を指示したときに実行される。ＣＰＵ１０は、映像処理部１０２によりメモリ部１０６の保存領域１に書き込まれている投影用映像データと、メモリ部１０６の保存領域２に書き込まれている手書き画像データとを読み出し、記録媒体１０７に記録する。なお、本実施形態では、スクリーン画像を記録するタイミングはユーザから記録要求を受けたタイミングとしたが、事前にあるタイミングに設定しても良い。また、投影用映像データが切り替わるタイミング（スライドやページ切替）や手書き画像データの保存領域２への書き込みを終了したタイミングなど様々に設定可能である。

また本実施形態では、投影用映像データと手書き画像データの記録先は内部記憶装置である記録媒体１０７としたが、例えば、メモリカードやＵＳＢメモリなどの外部記憶媒体がプロジェクタ１０に接続可能な場合には、それらを用いても良い。さらに、投影用映像データの供給元がある場所に合わせて記録先を変更しても良い。この場合、投影用映像データの供給元が内部記憶装置や外部記憶媒体ならば、スクリーン画像も同じ場所に記録される。

Ｓ３０７では、ＣＰＵ１０３は、投影映像が切り替えられるタイミングであるか判定し、切り替えタイミングである場合は（Ｓ３０７でＹＥＳ）、Ｓ３０２に戻り、切り替えタイミングでない場合はＳ３０８に進む。この処理は、映像処理部１０２が投影処理部１０１から投影部１０９へ出力される投影用映像データと、直前に投影されていた投影用映像データとを比較する。切り替えタイミングである場合は（Ｓ３０７でＹＥＳ）、切り替えタイミングになる前に保存領域２に保存されていた手書き画像データを消去する。

Ｓ３０８では、ＣＰＵ１０３は、ユーザ操作による投影終了指示などを受けて投影を終了するか判定し、投影を継続する場合にはＳ３０３に戻り、投影を終了する場合は、本処理を終了する。

投影映像が切り替えられるタイミングでない場合（Ｓ３０７でＮＯ）で、投影を継続する場合（Ｓ３０８でＮＯ）に、新たに手書き画像データが抽出された場合、ＣＰＵ１０３は、例えば、以下の処理を行う。

ＣＰＵ１０３は、投影映像が切り替えられていない状態で新たに抽出された手書き画像データを、既に抽出された手書き画像データとは別に保存領域２に保存する。その後、ＣＰＵ１０３は、Ｓ３０６において、投影用映像データと、保存領域２に保存されている新たに抽出された手書き画像データ及び既に抽出された手書き画像データとを関連付けて記録媒体１０７に記録する。

投影映像が切り替えられるタイミングである場合（Ｓ３０７でＹＥＳ）で、新たに手書き画像データが抽出された場合、ＣＰＵ１０３は、例えば、以下の処理を行う。

ＣＰＵ１０３は、投影映像が切り替えられた後に新たに抽出された手書き画像データを保存領域２に保存する。その後、ＣＰＵ１０３は、Ｓ３０６において、投影用映像データと、投影映像が切り替えられた後に抽出された手書き画像データとを関連付けて記録媒体１０７に記録する。

＜スクリーン画像の記録例＞次に、図４および図５を参照して、図３の処理によって関連付けて記録されたスクリーン画像の記録例について説明する。

図４において、（ａ）は投影開始前の初期状態のスクリーン、（ｂ）はスライド１Ａの投影状態のスクリーン、（ｃ）はスライド１Ａの投影中に手書き文字１Ｂが書き込まれた状態のスクリーン、（ｄ）はスライド２Ａに切り替えられた後のスクリーン、（ｅ）はスライド２Ａを投影中に手書き文字２Ｂが書き込まれた状態のスクリーン、（ｆ）はスライド３Ａに切り替えられた後のスクリーンをそれぞれ示している。なお、以下では、説明の簡単化のために、（ｃ）、（ｅ）、（ｆ）の状態でスクリーン画像の記録要求があった場合について説明する。

まず、図４（ａ）は投影開始前の状態であるので、投影用映像データも手書き画像データもそれぞれメモリ部１０６には存在しない。図４（ｂ）のスライド１Ａが投影された状態では、スライド１Ａの投影用映像データがメモリ部１０６の保存領域１に書き込まれる（図３のＳ３０２）。次に、図４（ｃ）のようにスライド１Ａの投影中に手書き文字１Ｂがスクリーンに書き込まれると、新規の書き込み領域が検出され、検出された書き込み領域から手書き文字１Ｂが抽出されて手書き画像データとしてメモリ部１０６の保存領域２に書き込まれる（図３のＳ３０３、Ｓ３０４）。ここでは、最初の書き込みであるため、既存の書き込み領域は存在せず、書き込み領域から抽出された手書き文字１Ｂがそのまま、スライド１Ａの投影中に書き込まれた手書き画像データとしてメモリ部１０６の保存領域２に書き込まれる。この状態で、スクリーン画像の記録要求があった場合には（Ｓ３０５でＹＥＳ）、図５（ａ）に示すようなスライド１Ａの投影用画像データおよび手書き文字１Ｂの手書き画像データが関連付けて記録される（図３のＳ３０６）。

次に、図４（ｄ）のように手書き文字１Ｂがスクリーンに書き込まれたまま、スライド１Ａからスライド２Ａに切り替えられると、投影用映像データが変化したことが検出され（図３のＳ３０７）、スライド２Ａが投影用映像データとしてメモリ部１０６の保存領域１に書き込まれる。その後、図４（ｅ）のようにスライド２Ａの投影中に手書き文字２Ｂがスクリーンに書き込まれると、既存の書き込み領域と新規の書き込み領域が検出され、検出された書き込み領域から既存の手書き文字１Ｂと新規の手書き文字２Ｂが抽出される（図３のＳ３０３、Ｓ３０４）。ここで、手書き文字１Ｂは、過去の投影用画像データであるスライド１Ａの投影中に抽出された手書き画像データであるので、検出された書き込み領域から除外し、残る書き込み領域から抽出された手書き文字２Ｂがスライド２Ａの投影中に書き込まれた手書き画像データとしてメモリ部１０６の保存領域２に書き込まれる。この状態で、スクリーン画像の記録要求があった場合には（図３のＳ３０５でＹＥＳ）、図５（ｂ）に示すようなスライド２Ａの投影用画像データおよび手書き文字２Ｂの手書き画像データが関連付けて記録される（図３のＳ３０６）。

さらに、図４（ｅ）のように手書き文字１Ｂおよび手書き文字２Ｂがスクリーンに書き込まれたまま、スライド２Ａからスライド３Ａに切り替えられると、投影用映像データが変化したことが検出され（図３のＳ３０７）、スライド３Ａが投影用映像データとしてメモリ部１０６の保存領域１に書き込まれる。この状態で、スクリーン画像の記録要求があった場合には（図３のＳ３０５でＹＥＳ）、新規の書き込みが検出されないので、図５（ｃ）に示すようなスライド３Ａの投影用画像データが保存される（図３のＳ３０６）。

なお、スクリーン画像として保存される投影用画像データと手書き画像データは、図６に示すようなファイル名で関連付けられて記録媒体１０７に記録される。具体的には、図５（ａ）に示す投影用映像データ１Ａが「００１．ｊｐｇ」であり、手書き画像データ１Ｂが「００１＿Ｗ．ｊｐｇ」である。この場合、投影用映像データ１Ａにおける手書き画像データ１Ｂが書き込まれた座標位置を示す情報を含む付加ファイルを作成して同時に記録しても良い。また、記録した手書き画像データ１Ｂに対応する手書き文字がスクリーンから消された場合、消されたタイミングを示す情報などを含むデータやファイルを作成して同時に記録しても良い。このように、投影用映像データにおける手書き文字の相対的な位置情報と手書き文字が消されたタイミングを示す消去情報があることで、後述する映像再生時において投影用映像データが投影されたときの実際のスクリーンの状態を再現することが可能となる。

ここで、図７に示すように、スクリーン上における映像の投影範囲内に手書き文字１Ｂが存在し、投影範囲外に手書き文字４Ｂが存在する場合について説明する。図７のような状態において、手書き文字１Ｂは、例えば投影映像１Ａに関する補足説明のように、投影用映像データ１Ａと密接に関係した書き込みであると考えられる。一方、手書き文字４Ｂについては、スライドごとの補足ではなくプレゼンテーション全体を通して視聴者に伝えたい事項が書き込まれていると考えられる。このような理由から投影範囲外の手書き文字４Ｂについては、投影映像が切り替えられても、スクリーンから消去されるまでは、手書き画像データとして常に保存し続けるように構成することも可能である。

＜スクリーン画像の再生動作＞次に、スクリーン画像として記録された投影用映像データと手書き画像データを再生する処理について説明する。なお、以下では、記録媒体１０７には、図６に示す投影用映像ファイルおよび手書き画像ファイルの他に手書き文字の位置情報および消去情報を含むファイルが記録されているものとする。

まず、スクリーン画像から投影用映像データと手書き画像データを同時に再生する第１の再生方法について説明する。

第１の再生方法では、映像処理部１０２が、記録媒体１０７から最初のスクリーン画像データを取得する。図６の例では、映像処理部１０２は、記録媒体１０７から「００１．ｊｐｇ」と「００１＿Ｗ．ｊｐｇ」の各ファイルを読み出し、メモリ部１０６に展開し、これらを投影用のデータ形式に変換する。さらに、映像処理部１０２は、手書き画像データの位置情報に従って、投影用映像データに手書き画像データを重畳した合成映像データを作成し、投影処理部１０１から投影部１０９に出力する。図８（ａ１）は、合成映像が再生されている状態を示している。その後、ユーザ操作により再生映像を切り替える指示がなされる度に、上記手順を繰り返して図８（ａ２）の合成映像データ（手書き画像データが存在する場合）や図８（ａ３）の投影用映像データのみ（手書き画像データが存在しない場合）を再生する。

次に、スクリーン画像から実際の投影時の状態（手書き文字の消去など）を再現する第２の再生方法について説明する。

第２の再生方法では、映像処理部１０２は、まず図８（ａ１）と同様に最初のスクリーン画像を表示する（図８（ｂ１））。次に、再生映像を切り替える場合には、上記第１の再生方法と同様に合成映像データを生成するが、その際に手書き画像データの消去情報を反映させる。具体的には、映像処理部１０２は、再生する投影用映像データに関連付けられた手書き画像データが存在する場合に、その投影映像データが実際に表示されていた期間に手書き文字が消されたか否かを消去情報から判定する。そして、消去されなかった手書き文字については全てが重畳された合成映像データを再生し、消去された手書き文字については重畳せずに投影用映像データを再生する。再生映像が切り替えられる度に、このような手順を繰り返して、投影用映像データや手書き画像データを再生する（図８（ｂ３））。このようにして、図４（ｅ）や（ｆ）に示す実際の投影時と同様の状態（図８（ｂ２）、（ｂ３））を再現することができる。

上述した第１および第２の再生方法は、ユーザの用途に応じて適宜切り替えられる構成にすることが望ましい。なお、本例では、スクリーン画像の再生をプロジェクタで行っているが、ＰＣに専用のアプリケーションを導入し、上述した再生方法を実行することで同様の機能を実現することができる。

本実施形態では、図１に示したように、プロジェクタ１０の投影画面と手書き文字を書き込むスクリーンが同じ場合を説明したが、図９に示すように投影画面と手書き文字を書き込むスクリーンが異なっていても良い。この場合は、投影用映像データと手書き画像データをスクリーンごとに分けて再生することが望ましい。また、本実施形態では、スクリーンに直接文字や記号などを書き込んでいたが、例えば手持ち式の小型のプロジェクタなどから投影された画像や文字であっても良い。

本実施形態によれば、スクリーン上に追記された手書き文字などの付加情報が残った状態で投影映像が切り替えられた場合でも、投影中の映像と新たに書き込まれた手書き文字などの付加情報とを正確に関連付けて記録することができる。

［実施形態２］次に、図１０および図１１を参照して、実施形態２の投影システムについて説明する。

本実施形態では、投影装置としてのプロジェクタ１０が画像処理装置としてのＰＣ２００と通信可能に接続されている。図１０は、ＰＣ２００から送信される映像３０をプロジェクタ１０によりホワイトボード２０に投影しながらプレゼンテーションなどを行い、発表者はホワイトボード２０に直接手書きで文字４０を書き込みながら説明を行っている様子を例示している。

図１１は、本実施形態のプロジェクタ１０に接続されるＰＣ２００の構成を示している。

図１１において、ＣＰＵ２０３は、オペレーティングシステム（ＯＳ）上でメモリ部２０６に保持されているアプリケーションプログラム（以下、アプリケーション）を実行することによりＰＣ２００を構成する各ブロックを制御する。メモリ部２０６は、記憶媒体２０７に記憶されているＯＳやアプリケーションが展開され、パラメータやデータを一時的に記憶するワークメモリとして使用される。

入出力ＩＦ（インタフェース）２０４は、不図示のキーボードやマウスといった、ユーザがＰＣ２００を操作するためのデバイスを接続する機能を有する。通信部２０５は、無線ＬＡＮなどのネットワーク１１３を介してプロジェクタ１０やサーバなどに対して通信可能に接続する機能を有する。記録媒体２０７は、ＯＳやアプリケーション、投影用映像データやスクリーン画像データなどを格納するハードディスクなどから構成される補助記憶装置である。ＶＲＡＭ２０８は、ディスプレイ２１１に表示される画面データを格納する画像表示用のメモリである。映像処理部２０２は、ディスプレイ２１１に表示する画面データ（アプリケーション画面）を生成する。表示制御部２０１は、映像処理部２０２で生成され、ＶＲＡＭ２０８に保持されている画面データをディスプレイ２１１に出力する。ディスプレイ２１１は、ＬＣＤなどであり、表示制御部２０１から出力される画面データを表示する。ＰＣ２００を構成する上記各部は、制御バス２０９とデータバス２１０で接続されており、ＣＰＵ２０３によって制御される。なお、各部の制御及び処理は、本実施形態のハードウェア構成には限定されない。例えば１つのハードウェアが複数の手段として機能してもよいし、複数のハードウェアが処理を分担することで、ＰＣ２００の各手段として機能しても良い。なお、プロジェクタ１０の構成は、図２と同様である。

＜投影処理＞ここで、ＰＣ２００のディスプレイ２１１に表示されている画面データをネットワーク１１３を介してプロジェクタ１０に送信する処理について説明する。

ＰＣ２００は、表示制御部２０１によりＶＲＡＭ２０８に保持されている画面データをディスプレイ２１１に出力している。ここで、ＰＣ２００でプロジェクタ連動アプリケーションが起動されると、ＣＰＵ２０３は表示制御部２０１によりＶＲＡＭ２０８からディスプレイ２１１に表示されている画面データを読み出し、メモリ部２０６に転送する。メモリ部２０６に転送された画面データは、ＰＣ２００での表示用に処理された解像度およびサイズを持ち、未圧縮のデータである。ここで、ネットワーク１１３を経由した画面データの転送時間を削減し、プロジェクタ１０での投影処理に係るスループットを向上させるために、映像処理部２０２が、メモリ部２０６に転送された画面データに対して、プロジェクタ１０で投影可能な解像度やサイズ、転送速度に合わせてリサイズ処理および圧縮処理を行う。プロジェクタ１０での投影用にリサイズ／圧縮処理された画面データはメモリ部２０６に転送され、通信部２０５を介してプロジェクタ１０に送信される。

プロジェクタ１０は、ネットワーク１１３を介してＰＣ２００から送信される画面データを通信部１０５によって受信する。通信部１０５は受信した画面データをメモリ部１０６に転送する。メモリ部１０６に転送された画面データは圧縮されているので、映像処理部１０２によって伸長処理が施され、メモリ部１０６に保持される。投影処理部１０１は、メモリ部１０６から画面データを読み出し、投影部１０９に出力する。

なお、プロジェクタ１０が投影画面を含むスクリーンを撮影して、投影用映像データと手書き画像データを取得する方法については実施形態１と同様である。

次に、プロジェクタ１０により取得した投影用映像データと手書き画像データの記録処理について説明する。

本実施形態では、投影画面を含むスクリーンを撮影して得られた投影用映像データと手書き画像データを、ＰＣ２００の記録媒体２０７に記録する。これは、投影用映像データの供給元がＰＣ２００であるため、ＰＣ２００がスクリーン画像を保有していた方が、ユーザが後で投影用映像データや手書き画像データをＰＣ２００で閲覧等する際に便利だからである。

プロジェクタ１０のＣＰＵ１０３は、スクリーン画像の記録要求を受けた場合には、メモリ部１０６の保存領域１や２に保存されている投影用映像データや手書き画像データを、通信部１０５を介してＰＣ２００に送信する。なお、スクリーン画像の記録要求は、実施形態１と同様にプロジェクタ１０の操作パネルやリモコンを介して入力されても良いし、ＰＣ２００のプロジェクタ連動アプリケーションを介してプロジェクタ１０にコマンドを送信しても良い。

ＰＣ２００は、プロジェクタ１０から送信される投影用映像データや手書き画像データを通信部２０５により受信し、実施形態１と同様に関連付けを行って記録媒体２０７に記録する。なお、本実施形態ではスクリーン画像をＰＣ２００の記録媒体２０７に記録したが、ネットワーク上に存在するサーバなどに保存しても良い。

なお、ＰＣ２００が、記録媒体２０７に記録しているスクリーン画像を再生する方法については、実施形態１で説明したプロジェクタ１０での再生方法をＰＣ２００のアプリケーションにより実行することで実現可能である。

本実施形態によれば、ＰＣから送信される映像をプロジェクタにより投影するシステムにおいて、スクリーン上に手書き文字などの付加情報が残った状態で映像が切り替えられた場合でも、投影中の映像と新たに書き込まれた手書き文字などの付加情報とを正確に関連付けてＰＣに記録することができる。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち本実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

Claims

映像データを投影する投影装置であって、
前記映像データが投影されているスクリーンを撮影して得られた画像データから、前記スクリーンに投影されている映像データとは別に当該スクリーンに付加された付加情報を検出する検出手段と、
前記検出手段により検出された付加情報を、当該付加情報が検出されたときに前記スクリーンに投影されていた映像データに関連付けて記録する記録手段と、
前記スクリーンに投影されている映像データが切り替えられた後に前記検出手段により新たな付加情報が検出された場合、当該新たな付加情報を当該新たな付加情報が検出されたときに前記スクリーンに投影されていた映像データに関連付けるように制御する制御手段と、を有し、
前記記録手段は、前記付加情報が消去されたタイミングを示す情報を記録することを特徴とする投影装置。
前記スクリーンに投影されている映像データを保存する第１の保存手段と、
前記映像データの投影中に検出された付加情報を保存する第２の保存手段と、をさらに有し、
前記記録手段は、記録要求に応じて、前記第１の保存手段に保存されている映像データと、前記第２の保存手段に保存されている付加情報とを関連付けて記録することを特徴とする請求項１に記載の投影装置。
前記記録手段は、前記検出手段により新たに検出された付加情報と、当該付加情報が検出されたときに投影されていた映像データに加えて、当該映像データにおける前記付加情報の位置を示す情報を記録することを特徴とする請求項１または２に記載の投影装置。
前記記録手段により関連付けて記録された映像データと付加情報とを前記消去されたタイミングを示す情報に基づいて合成する合成手段と、
前記合成手段により合成された画像データを再生する再生手段と、をさらに有することを特徴とする請求項１に記載の投影装置。
前記制御手段は、前記消去されたタイミングを示す情報に基づき前記付加情報が消去された映像データに付加情報を合成しないように前記合成手段を制御することを特徴とする請求項４に記載の投影装置。
前記付加情報は、前記映像データが投影されているときにスクリーンに書き込まれた手書き情報であることを特徴とする請求項１ないし５のいずれか１項に記載の投影装置。
前記映像データが投影されているスクリーンを撮影する撮像手段をさらに有し、
前記撮像手段は、前記映像データが投影されているスクリーンとは異なるスクリーンに書き込まれた手書き情報を撮影することを特徴とする請求項６に記載の投影装置。
前記制御手段は、前記映像データの投影範囲内において第１の付加情報が検出され、前記映像データの投影範囲外において第２の付加情報が検出された場合、前記映像データが切り替えられても、前記第２の付加情報が消去されるまでは常に前記第２の保存手段に保存するように制御することを特徴とする請求項２に記載の投影装置。
画像処理装置から映像データを受信する受信手段と、
前記スクリーンに投影されている映像データと、前記検出手段により前記付加情報が検出された場合には当該付加情報を前記画像処理装置に送信する送信手段と、をさらに有することを特徴とする請求項１ないし８のいずれか１項に記載の投影装置。
投影装置と通信可能に接続された画像処理装置であって、
前記投影装置で投影可能な映像データを生成し、前記投影装置に送信する送信手段と、
前記投影装置においてスクリーンに投影されている映像データと、当該映像データの投影時に検出された前記スクリーンに付加された付加情報とを前記投影装置から受信する受信手段と、
前記受信手段により受信した付加情報を、当該付加情報が検出されたときに前記投影装置で投影されていた映像データに関連付けて記録する記録手段と、を有し、
前記記録手段は、前記付加情報が消去されたタイミングを示す情報を記録することを特徴とする画像処理装置。
前記記録手段により関連付けて記録された映像データと付加情報とを合成する合成手段と、
前記合成手段により合成された画像データを表示する表示手段と、をさらに有し、
前記送信手段は、前記表示手段に表示されている画像データを、前記投影装置に送信することを特徴とする請求項１０に記載の画像処理装置。
映像データを投影する投影装置の制御方法であって、
検出手段が、前記映像データが投影されているスクリーンを撮影して得られた画像データから、前記スクリーンに投影されている映像データとは別に当該スクリーンに付加された付加情報を検出するステップと、
記録手段が、前記付加情報が検出された場合、当該付加情報を当該付加情報が検出されたときに前記スクリーンに投影されていた映像データに関連付けて記録するステップと、
制御手段が、前記スクリーンに投影されている映像データが切り替えられた後に前記検出手段により新たな付加情報が検出された場合、当該新たな付加情報を当該新たな付加情報が検出されたときに前記スクリーンに投影されていた映像データに関連付けるように制御するステップと、を有し、
前記記録するステップでは、前記付加情報が消去されたタイミングを示す情報を記録することを特徴とする投影装置の制御方法。
投影装置と通信可能に接続された画像処理装置の制御方法であって、
送信手段が、前記投影装置で投影可能な映像データを生成し、前記投影装置に送信するステップと、
受信手段が、前記投影装置においてスクリーンに投影されている映像データと、当該映像データの投影時に検出された前記映像データとは別に前記スクリーンに付加された付加情報とを前記投影装置から受信するステップと、
記録手段が、前記受信した付加情報を、当該付加情報が検出されたときに前記投影装置で投影されていた映像データに関連付けて記録するステップと、を有し、
前記記録するステップでは、前記付加情報が消去されたタイミングを示す情報を記録することを特徴とする画像処理装置の制御方法。
映像データを投影する投影装置であって、
前記映像データが投影されているスクリーンを撮影して得られた画像データから、前記スクリーンに投影されている映像データとは別に当該スクリーンに付加された付加情報を検出する検出手段と、
前記検出手段により検出された付加情報を、当該付加情報が検出されたときに前記スクリーンに投影されていた映像データに関連付けて記録する記録手段と、
前記スクリーンに投影されている映像データが切り替えられた後に前記検出手段により新たな付加情報が検出された場合、当該新たな付加情報を当該新たな付加情報が検出されたときに前記スクリーン投影されていた映像データに関連付けるように制御する制御手段と、を有し、
前記制御手段は、前記スクリーンに投影されている映像データが切り替えられた後に前記スクリーンを撮影して得られた画像データに切り替え前に付加されていた付加情報が含まれていた場合、当該切り替え前に付加されていた付加情報を切り替え後の映像データに関連付けないように制御することを特徴とする投影装置。
投影装置と通信する画像処理装置であって、
前記投影装置で投影可能な映像データを生成し、前記投影装置に送信する送信手段と、
前記映像データに基づき前記投影装置が映像を投影しているスクリーンに付加された付加情報を受信する受信手段と、
受信した前記付加情報を、当該付加情報が検出されたときに前記投影装置で投影されていた映像データに関連付けて記録する記録手段と、を有し、
前記記録手段は、前記スクリーンに投影されている映像データが切り替えられた後に新たに付加された付加情報を、当該切り替え後に投影されている映像データに関連付ける場合に、前記スクリーンに投影されている映像データが切り替えられた後に前記スクリーンを撮影して得られた画像データに切り替え前に付加されていた付加情報が含まれていた場合、当該切り替え前に付加されていた付加情報を、切り替え後の前記映像データに関連付けしないようにすることを特徴とする画像処理装置。
前記受信手段は、前記付加情報として、前記スクリーンを撮影して得られた画像データを受信することを特徴とする請求項１６に記載の画像処理装置。
映像データを投影する投影装置の制御方法であって、
検出手段が、前記映像データが投影されているスクリーンを撮影して得られた画像データから、前記スクリーンに投影されている映像データとは別に当該スクリーンに付加された付加情報を検出するステップと、
記録手段が、検出された前記付加情報を、当該付加情報が検出されたときに前記スクリーンに投影されていた映像データに関連付けて記録するステップと、
制御手段が、前記スクリーンに投影されている映像データが切り替えられた後に新たな付加情報が検出された場合、当該新たな付加情報を当該新たな付加情報が検出されたときに前記スクリーンに投影されていた映像データに関連付けるように制御するステップと、を有し、
前記制御するステップでは、前記スクリーンに投影されている映像データが切り替えられた後に前記スクリーンを撮影して得られた画像データに切り替え前に付加されていた付加情報が含まれていた場合、当該切り替え前に付加されていた付加情報を切り替え後の映像データに関連付けないように制御することを特徴とする投影装置の制御方法。
投影装置と通信する画像処理装置の制御方法であって、
送信手段が、前記投影装置で投影可能な映像データを生成し、前記投影装置に送信するステップと、
受信手段が、前記映像データに基づき前記投影装置が映像を投影しているスクリーンに付加された付加情報を受信するステップと、
記録手段が、受信した前記付加情報を、当該付加情報が検出されたときに前記投影装置で投影されていた映像データに関連付けて記録するステップと、を有し、
前記記録するステップでは、前記スクリーンに投影されている映像データが切り替えられた後に新たに付加された付加情報を、当該切り替え後に投影されている映像データに関連付ける場合に、前記スクリーンに投影されている映像データが切り替えられた後に前記スクリーンを撮影して得られた画像データに切り替え前に付加されていた付加情報が含まれていた場合、当該切り替え前に付加されていた付加情報を、切り替え後の前記映像データに関連付けしないようにすることを特徴とする画像処理装置の制御方法。
コンピュータに、請求項１２、１３、１７、１８のいずれか１項に記載された制御方法を実行させるためのプログラム。