JP6773057B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

大型表示装置やプロジェクターで資料を表示しながら講演者が講演を行うことがある。講演会場にいる聴衆のみならず多くの人が視聴できるように、あるいは、記録として保存するために、このような講演を録画することがある。

例えば、特許文献１には、プレゼンテーションに関連する映像等を表示する液晶ディスプレイと、プレゼンテーションの開始から終了までを記録するビデオカメラとを有するプレゼンテーション装置が開示されている。

特開２０１４−１０２５９８号公報

講演を録画する際には、表示装置等に表示された資料と講演者の様子とが共にきれいに録画されることが好ましい。しかしながら、例えば講演者の顔に焦点が合うようにカメラの焦点を調節すると、資料等の表示画像に焦点が合わないことがある。また、プロジェクターによる資料の表示の際に、投影画像のひずみをなくすために幾何学補正が行われることがある。このような幾何学補正は、一般に表示画像の画質を低下させる。

本発明は、表示画像もその他の被写体も適切な画像として記録できる、画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

本発明に係る画像処理装置は、画角に所定の表示領域が含まれるように撮影された動画像を取得する第１取得手段と、前記動画像の撮影中に前記表示領域に表示されていたコンテンツを取得する第２取得手段と、前記第１取得手段により取得された動画像における前記表示領域に前記第２取得手段により取得されたコンテンツを嵌め込み合成した合成動画を生成する生成手段と、前記第１取得手段により取得された動画像に前記表示領域内の何れかの位置を指示する所定の動作を行う動作主体が撮影対象として含まれているか否かを判定する判定手段と、を備え、前記生成手段は、前記判定手段により前記動作主体が撮影対象として含まれていると判定された場合には、前記表示領域に嵌め込み合成されている状態の前記コンテンツに前記所定の動作に対応する軌跡画像が重畳されるように前記合成動画を生成する、ことを特徴とする。

また、本発明に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、画角に所定の表示領域が含まれるように撮影された動画像を取得するとともに、前記動画像の撮影中に前記表示領域に表示されていたコンテンツを取得する取得ステップと、前記取得ステップで取得された動画像における前記表示領域に前記取得ステップで取得されたコンテンツを嵌め込み合成した合成動画を生成する生成ステップと、前記取得ステップで取得された動画像に前記表示領域内の何れかの位置を指示する所定の動作を行う動作主体が撮影対象として含まれているか否かを判定する判定ステップと、を有し、前記生成ステップは、前記判定ステップで前記動作主体が撮影対象として含まれていると判定された場合には、前記表示領域に嵌め込み合成されている状態の前記コンテンツに前記所定の動作に対応する軌跡画像が重畳されるように前記合成動画を生成する、ことを特徴とする。

また、本発明に係るプログラムは、画像処理装置のコンピュータを、画角に所定の表示領域が含まれるように撮影された動画像を取得する第１取得手段、前記動画像の撮影中に前記表示領域に表示されていたコンテンツを取得する第２取得手段、前記第１取得手段により取得された動画像における前記表示領域に前記第２取得手段により取得されたコンテンツを嵌め込み合成した合成動画を生成する生成手段、前記第１取得手段により取得された動画像に前記表示領域内の何れかの位置を指示する所定の動作を行う動作主体が撮影対象として含まれているか否かを判定する判定手段、として機能させ、前記生成手段は、前記判定手段により前記動作主体が撮影対象として含まれていると判定された場合には、前記表示領域に嵌め込み合成されている状態の前記コンテンツに前記所定の動作に対応する軌跡画像が重畳されるように前記合成動画を生成する、ことを特徴とする。

本発明によれば、表示画像もその他の被写体も適切な画像として記録できる、画像処理装置、画像処理方法及びプログラムを提供できる。

図１は、一実施形態に係る講演動画作成システムの構成例の概略を示す図である。 図２は、講演動画作成システムの動作の一例の概略を示すフローチャートである。 図３は、講演動画作成システムで行われる事前処理の一例の概略を示すフローチャートである。 図４は、撮影画像における撮影領域と表示領域との位置関係の一例の概略を示す図である。 図５は、撮影領域内の各座標の輝度の一例の概略を模式的に示す図である。 図６は、アルファブレンド用マスク画像データの一例の概略を模式的に示す図である。 図７は、講演動画作成システムで行われる講演録画処理の一例の概略を示すフローチャートである。 図８は、講演動画作成システムで行われる講演動画作成処理の一例の概略を示すフローチャートである。 図９は、第２の実施形態に係る講演動画作成処理の一例の概略を示すフローチャートである。 図１０は、第３の実施形態に係る状況を説明するための図である。 図１１は、第３の実施形態に係る講演動画作成処理の一例の概略を示すフローチャートである。 図１２は、第３の実施形態に係る講演動画作成処理の一例の概略を示すフローチャートである。 図１３は、第４の実施形態に係る状況を説明するための図である。 図１４は、第４の実施形態に係る講演動画作成処理の一例の概略を示すフローチャートである。

（第１の実施形態）
［講演動画作成システムの概要］
本実施形態に係る講演動画作成システムは、例えば講演資料がプロジェクターを用いてスクリーンに投影されており、そのスクリーンの脇で講演者が講演をしているような状況で用いられる。講演は、種々の授業、講習、セミナー、プレゼンテーション等を含む。この講演動画作成システムは、デジタルカメラを有している。デジタルカメラは、例えば表示された講演資料と講演者とを含む画角について動画撮影を行うように構成されている。また、講演動画作成システムは、プロジェクターを用いてスクリーンに投影される画像のデータを記録する。講演動画作成システムは、デジタルカメラで撮影された動画内において、資料が投影された領域に、投影されるべき画像を嵌め込んだ、講演動画を作成する。

［講演動画作成システムの構成］
本実施形態に係る講演動画作成システム１の構成例の概略を図１に示す。講演動画作成システム１は、画像処理装置１０と、パーソナルコンピュータ（ＰＣ）５０と、デジタルカメラ６０と、マイク７０と、プロジェクター８０とを備える。

ＰＣ５０では、例えばプレゼンテーション用のアプリケーションソフトウェアが動作している。ユーザーは、このソフトウェアを操作して、スクリーン３４０に投影させる画像の操作を行う。ＰＣ５０は、ユーザーの操作に応じて、スクリーン３４０に投影させる画像であるコンテンツのデータを出力する。ＰＣ５０が出力したコンテンツデータは、画像処理装置１０へと入力される。

プロジェクター８０は、投影部を有し、ＰＣ５０から出力されたコンテンツデータを画像処理装置１０を介して取得して、当該データに基づくコンテンツの画像をスクリーン３４０に投影する。画像が投影される領域を表示領域３２０と称することにする。

デジタルカメラ６０は、撮影部を有し、画像が投影されたスクリーン３４０とその周辺にいる講演者３３０とを含む撮影領域の撮影を行い、スクリーン３４０及び講演者３３０を含む画像のデータである撮影画像データを作成する。スクリーン３４０及び講演者３３０を含む範囲であって、デジタルカメラ６０によって撮影される範囲を撮影領域３１０と称することにする。デジタルカメラ６０は、撮影画像データを出力する。デジタルカメラ６０が出力した撮影画像データは、画像処理装置１０へと入力される。本実施形態では、デジタルカメラ６０から画像処理装置１０へと入力される撮影画像データは、時間的に連続した動画のデータとなる。

マイク７０は、主に講演者が発する音声を含む講演会場の音声に基づいて、音声信号を生成する。この音声信号は、画像処理装置１０へと入力される。

画像処理装置１０は、バスライン１９を介して互いに接続されたプロセッサー１１と、メモリ１２と、大容量ストレージ１３と、入力装置１４と、コンテンツ入力インターフェース（Ｉ／Ｆ）１５と、画像入力インターフェース（Ｉ／Ｆ）１６と、音声入力インターフェース（Ｉ／Ｆ）１７と、画像出力インターフェース（Ｉ／Ｆ）１８とを備える。

ＰＣ５０から出力されたコンテンツデータは、コンテンツ入力Ｉ／Ｆ１５を介して画像処理装置１０へと入力される。デジタルカメラ６０から出力された撮影画像データは、画像入力Ｉ／Ｆ１６を介して画像処理装置１０へと入力される。マイク７０から出力された音声信号は、音声入力Ｉ／Ｆ１７を介して画像処理装置１０へと入力される。コンテンツデータは、画像出力Ｉ／Ｆ１８を介して画像処理装置１０からプロジェクター８０へと出力される。

プロセッサー１１は、画像処理装置１０の各部の動作を制御する。プロセッサー１１は、Central Processing Unit（ＣＰＵ）、Application Specific Integrated Circuit（ＡＳＩＣ）、Field Programmable Gate Array（ＦＰＧＡ）、又はGraphics Processing Unit（ＧＰＵ）等の集積回路を含み得る。プロセッサー１１は、１つの集積回路等であってもよいし、複数の集積回路等の組み合わせであってもよい。

メモリ１２は、例えば半導体集積回路で実現されたRandom Access Memory（ＲＡＭ）等であり、メインメモリ、キャッシュメモリ等として機能する。大容量ストレージ１３は、ハードディスク又は半導体メモリ等である。

ＰＣ５０から入力されたコンテンツデータは録画され大容量ストレージ１３に記録される。言い換えると、大容量ストレージ１３には、ＰＣ５０から入力されたコンテンツデータに基づいて、時系列に沿ってプロジェクター８０に表示される画像が動画として記録される。このようにして記録される画像をコンテンツ動画と称することにする。また、デジタルカメラ６０から入力された撮影画像データは録画され大容量ストレージ１３に記録される。言い換えると、大容量ストレージ１３には、デジタルカメラ６０から入力された撮影画像データに基づいて、時系列に沿って撮影された画像が動画として記録される。このようにして記録される画像を撮影動画と称することにする。また、大容量ストレージ１３には、プロセッサー１１で用いられるプログラムや各種パラメータも記録され得る。

入力装置１４は、例えばボタンスイッチ、タッチパネル等を含む。ユーザーは、入力装置１４を用いて、画像処理装置１０の動作に係る指示を入力する。

例えば、大容量ストレージ１３に記録された画像処理プログラムを用いて動作するプロセッサー１１は、後述するように撮影画像取得部、コンテンツ取得部、表示領域特定部、加工情報作成部、及び画像処理部としての機能を実現する。ここで、撮影画像取得部は、デジタルカメラ６０によって撮影されることで生成された撮影画像データを、画像入力Ｉ／Ｆ１６を介して取得する。撮影画像データは、表示装置としてのプロジェクター８０によってコンテンツが表示された表示領域と当該表示領域の周辺領域とを含む撮影領域が、撮影されることで生成された撮影画像のデータである。コンテンツ取得部は、表示装置としてのプロジェクター８０による表示のためのコンテンツデータを、コンテンツ入力Ｉ／Ｆ１５を介して取得する。表示領域特定部は、撮影画像データに基づいて、撮影画像における表示領域を特定する。加工情報作成部は、撮影画像データに基づいて加工情報を作成する。画像処理部は、撮影画像データに基づく撮影画像の動画における表示領域に、コンテンツ動画に基づいて画像処理を行い作成した嵌め込み画像の動画を合成することで、講演動画としての合成動画を作成する。この際、画像処理部は、加工情報を用いてもよい。

［講演動画作成システムの動作］
〈講演動画作成に係る動作の概要〉
講演動画作成システム１の動作は、大きくは３つの段階に分けられる。図２は、講演動画作成システム１の動作の一例の概略を示すフローチャートである。

ステップＳ１０１において、講演動画作成システム１は、事前処理を行う。事前処理は、講演動画が作られる当該講演に先立って行われる処理である。事前処理において、デジタルカメラ６０による撮影領域に占めるプロジェクター８０による表示領域が特定される。

ステップＳ１０２において、講演動画作成システム１は、講演録画処理を行う。講演録画処理は、講演動画が作られる当該講演を録画する処理である。デジタルカメラ６０は、講演中の講演者３３０及びスクリーン３４０を含む撮影領域の様子を撮影し、デジタルカメラ６０による撮影結果は動画として記録される。また、講演中にプロジェクター８０によって投影された画像、すなわちコンテンツが動画として記録される。

ステップＳ１０３において、講演動画作成システム１は、講演動画作成処理を行う。講演動画作成処理は、講演終了後に行われる処理である。講演動画作成処理では、撮影画像と嵌め込み画像とが合成されて、講演動画としての合成動画が作成される。ここで用いられる撮影画像は、デジタルカメラ６０により撮影され、記録された撮影画像である。嵌め込み画像は、記録されたコンテンツであって、プロジェクター８０によって投影された投影画像に対応するように作成された画像である。

〈事前処理〉
ステップＳ１０１の事前処理で行われる画像処理装置１０の処理について、図３に示すフローチャートを参照して説明する。事前処理は、例えば講演の前に、ユーザーが事前処理の開始を指示することによって行われる。事前処理開始指示は、例えば入力装置１４に含まれる事前処理のスタートボタンが押されることなどによって行われる。

ステップＳ２０１において、プロセッサー１１は、プロジェクター８０に表示領域認識パターンを投影させる。すなわち、プロセッサー１１は、表示領域認識パターンについての画像データを作成し、作成した画像データを画像出力Ｉ／Ｆ１８を介してプロジェクター８０へと出力する。その結果、プロジェクター８０は、表示領域認識パターンをスクリーン３４０に投影する。ここで、表示領域認識パターンは、デジタルカメラ６０によって撮影された画像における表示領域が抽出されやすい画像であることが好ましい。表示領域認識パターンは、例えば、全面明るい単色の画像等であってもよい。

なお、表示領域３２０が長方形となるように、投影画像はいわゆる台形補正のような幾何学補正が適切に行われていることが好ましい。また、投影画像は、スクリーン３４０に正確に合焦していることが好ましい。

ステップＳ２０２において、プロセッサー１１は、撮影画像データを取得する。すなわち、デジタルカメラ６０は、撮影領域３１０内を撮影して撮影画像データを作成し、それを出力している。プロセッサー１１は、表示領域認識パターンが投影された撮影領域３１０に係る撮影画像データを画像入力Ｉ／Ｆ１６を介して取得する。

ステップＳ２０３において、プロセッサー１１は、ステップＳ２０２で取得した撮影画像データを解析して、撮影画像における撮影領域内における表示領域を特定する。例えば、スクリーン３４０の表示領域３２０に明るい単色の画像である表示領域認識パターンが投影されているとき、プロセッサー１１は、撮影画像における撮影領域内の各座標の輝度値を解析して、画像中のコントラスト（輝度の差異）を検出することで、撮影画像における表示領域を特定することができる。

撮影画像４００における撮影領域４１０と表示領域４２０との位置関係の一例の概略を図４に示す。この図に示すように、撮影領域４１０の左下の座標を座標（０，０）とし、撮影領域４１０の右上の座標を座標（Ｘｍ，Ｙｍ）とする。撮影領域４１０内に表示領域４２０が存在する。図４において表示領域４２０にはハッチングが付されている。表示領域４２０の左下の座標を座標（Ｘｃ１，Ｙｃ１）とし、撮影領域４１０の右上の座標を座標（Ｘｃ２，Ｙｃ２）とする。

図４の例の場合に、プロセッサー１１によって解析される撮影領域４１０内の各座標の輝度の一例の概略を図５に模式的に示す。この図に示すように、撮影領域４１０内の各座標について輝度値が取得される。図５においては表示領域４２０に対応する座標には、ハッチングが付されている。

ステップＳ２０４において、プロセッサー１１は、アルファブレンド用のマスク画像αｍを作成する。すなわち、プロセッサー１１は、ステップＳ２０３で表示領域４２０の外側と判定された暗い点のα値を１に設定し、表示領域４２０と判定された明るい点のα値を０に設定する。

図６にアルファブレンド用マスク画像データの一例の概略を模式的に示す。図６においてハッチングが付されている表示領域４２０に対応する座標では、α値が０に設定されている。その他の座標では、α値が１に設定されている。このようなα値が設定されたアルファブレンド用マスク画像データでは、図４においてハッチングを付した表示領域４２０は完全に透明であり、それ以外の領域は完全に不透明である画像データとなる。

以上のようにアルファブレンド用マスク画像データが作成されることで、事前処理は終了する。

なお、ここでは表示領域４２０を特定するため１つの単純な方法を示したが、表示領域４２０を特定する方法は上述のものに限らない。表示領域４２０を特定するために、種々の方法が用いられ得る。

〈講演録画処理〉
ステップＳ１０２の講演録画処理で行われる画像処理装置１０の処理について、図７に示すフローチャートを参照して説明する。講演録画処理は、例えば講演の開始直前に、ユーザーが講演録画処理の開始を指示することによって行われる。講演録画処理の開始指示は、例えば入力装置１４に含まれる録画開始ボタンが押されることなどによって行われる。

ステップＳ３０１において、プロセッサー１１は、デジタルカメラ６０から取得した撮影画像データ、及びＰＣ５０から取得したコンテンツデータについての録画を開始する。撮影画像及びコンテンツは、それぞれ時間情報と関連付けられて、大容量ストレージ１３に動画として記録される。

ステップＳ３０２において、プロセッサー１１は、録画を終了させるか否かを判定する。例えば、ユーザーによる録画終了の指示が入力されたとき、録画を終了させると判定される。録画終了の指示は、講演の終了後に、例えば入力装置１４に含まれる録画終了ボタンが押されることなどによって行われる。ステップＳ３０２の判定において録画を終了しないと判定されたとき、処理はステップＳ３０２を繰り返す。このとき、撮影画像及びコンテンツの録画は継続し、時間情報と関連付けられた撮影画像及びコンテンツが動画として大容量ストレージ１３に記録され続ける。ステップＳ３０２の判定において、録画を終了すると判定されたとき、処理はステップＳ３０３に進む。

ステップＳ３０３において、プロセッサー１１は、撮影画像に係る動画である撮影動画Ｍｂと、コンテンツに係る動画であるコンテンツ動画Ｍｃとを、ファイル化して大容量ストレージ１３に保存する。

以上のように、撮影動画Ｍｂ及びコンテンツ動画Ｍｃが保存されることで、講演録画処理は終了する。

〈講演動画作成処理〉
ステップＳ１０３の講演動画作成処理で行われる画像処理装置１０の処理について、図８に示すフローチャートを参照して説明する。講演動画作成処理は、例えば講演の終了後の任意の時点で、ユーザーが講演動画作成処理の開始を指示することによって行われる。講演動画作成処理の開始指示は、例えば入力装置１４に含まれる講演動画作成ボタンが押されることなどによって行われる。

ステップＳ４０１において、プロセッサー１１は、コンテンツ動画Ｍｃのサイズ及び位置を調整し、嵌め込み画像としての動画を作成する。本実施形態では、このようにコンテンツ動画Ｍｃのサイズ及び位置が調整されて作成された動画を調整動画Ｍｎと呼ぶ。調整動画Ｍｎの全体の画像サイズは、撮影動画Ｍｂの画像サイズと同じになるように調整される。すなわち、調整動画Ｍｎの全体の画像サイズは、例えば図４に示す例において座標で表すと（０，０）−（Ｘｍ，Ｙｍ）に相当するサイズとなるように調整される。プロセッサー１１は、表示領域４２０に相当する部分の大きさに合わせて、コンテンツ動画Ｍｃを縮小又は拡大する。さらに、プロセッサー１１は、縮小又は拡大されたコンテンツ動画Ｍｃの位置を、表示領域４２０に相当する位置に合わせるようにする。このようにして、コンテンツ動画Ｍｃの位置及び大きさが表示領域４２０に相当する部分に調整された調整動画Ｍｎが作成される。すなわち、例えば図４に示す例において座標で表すと（Ｘｃ１，Ｙｃ１）−（Ｘｃ２，Ｙｃ２）に合わせてコンテンツ動画Ｍｃのサイズと位置は調整される。この調整動画Ｍｎにも、コンテンツ動画Ｍｃに含まれていた時間情報が引き継がれる。作成された調整動画Ｍｎは、例えば大容量ストレージ１３に保存される。

ステップＳ４０２において、プロセッサー１１は、撮影動画Ｍｂと調整動画Ｍｎとを合成して動画を作成する。本実施形態では、このように撮影動画Ｍｂと調整動画Ｍｎとが合成された動画を合成動画Ｍａと呼ぶ。例えば、プロセッサー１１は、撮影動画Ｍｂを前景側とし、アルファブレンド用のマスク画像αｍと調整動画Ｍｎとを用いたアルファブレンドによって、合成動画Ｍａを作成する。この際、撮影動画Ｍｂと調整動画Ｍｎとに含まれる時間情報を用いて、これらの動画は同期するように調整される。作成された合成動画Ｍａは、例えば大容量ストレージ１３に保存される。この合成動画Ｍａが、目的とする講演動画となる。以上が講演動画作成システム１の動作である。

本実施形態に係る講演動画作成システム１によれば、デジタルカメラ６０で撮影された撮影動画Ｍｂのうち、表示領域３２０に相当する位置の画像がコンテンツ動画Ｍｃで置換された合成動画Ｍａが作成される。この合成動画Ｍａは、視認性に優れた画像となる。すなわち、デジタルカメラ６０による撮影では、一般に講演者３３０に焦点が合わせられる。その結果、スクリーン３４０に投影された投影画像については焦点がずれた状態となり得る。また、投影画像においては、長方形の表示領域３２０に画像が投影されるように、いわゆる台形補正といった幾何学補正が行われ得る。このような補正によって、投影画像では、輝度が低下したり画質が劣化したりする。また、プロジェクター８０としてＤＬＰ（登録商標）プロジェクターが用いられる場合に生じ得るスポーク光など、投影画像にはノイズが生じ得る。スポーク光は、投影画像が肉眼で観察されている場合には認識されにくいが、撮影された画像においては認識されることがある。本実施形態で作成される合成動画Ｍａでは、表示領域４２０の画像はコンテンツデータに基づいて作成されるので、上述のような焦点のずれ、輝度の低下、画質の劣化、ノイズの重畳等が表示領域４２０の画像に生じない。

（第２の実施形態）
第２の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。本実施形態では、デジタルカメラ６０を用いて得られた撮影動画Ｍｂに応じて加工が施された合成動画Ｍａが作成される。

撮影動画Ｍｂに含まれる表示領域４２０内の画像の色調と、コンテンツ動画Ｍｃの色調とは、撮影条件等に応じて異なる場合がある。本実施形態では、調整動画Ｍｎの作成にあたって、例えばコンテンツ動画Ｍｃの色調を撮影動画Ｍｂに含まれる表示領域４２０内の画像の色調に合わせる処理が施される。このようにして作成された調整動画Ｍｎを用いて、合成動画Ｍａが作成される。その結果、動画の画面全体において色調が自然な合成動画Ｍａが作成され得る。コンテンツ動画Ｍｃの色調を撮影動画Ｍｂに含まれる表示領域４２０内の画像の色調に合わせる方法は、種々ある。以下に、その例を示す。

［第１の方法］
本実施形態の第１の方法について説明する。本方法に係る講演動画作成処理について、図９に示すフローチャートを参照して説明する。

ステップＳ５０１において、プロセッサー１１は、撮影動画Ｍｂを解析する。より詳しくは、プロセッサー１１は、撮影動画Ｍｂを構成する画像に含まれる表示領域４２０内の色調の情報を特定する。ここで、色調は、例えば、以下の要因によって変化し得る。すなわち、色調は、デジタルカメラ６０による撮影時のホワイトバランスの設定などの撮影条件によって変化し得る。また、色調は、プロジェクター８０の光源等の特性といった投影条件によって変化し得る。また、色調は、講演の会場の照明状態といった環境条件によって変化し得る。

ステップＳ５０２において、プロセッサー１１は、第１の実施形態の場合と同様に、コンテンツ動画Ｍｃのサイズを調整し、調整動画Ｍｎを作成する。また、この際、プロセッサー１１は、コンテンツ動画Ｍｃの色調をステップＳ５０１の解析結果に応じて調整する。すなわち、プロセッサー１１は、コンテンツ動画Ｍｃの色調と、撮影動画Ｍｂに含まれる表示領域４２０内の画像の色調とが整合するように、画像処理を行う。このようにして、色調が調整され、さらにコンテンツ動画Ｍｃの位置及び大きさが表示領域４２０に相当する部分に調整された調整動画Ｍｎが作成される。

なお、撮影動画Ｍｂの解析は、動画の全ての期間について行われ、時間毎に異なる条件で調整動画Ｍｎの色調の調整が行われてもよい。また、撮影動画Ｍｂの解析は、例えば講演の最初の状態についてのみ行われ、動画の全ての期間にわたって同一条件で調整動画Ｍｎの色調の調整が行われてもよい。また、撮影動画Ｍｂの解析は、例えば一定期間ごとに繰り返し行われ、一定期間ごとに再設定される条件で調整動画Ｍｎの色調の調整が行われてもよい。

この調整動画Ｍｎにも、コンテンツ動画Ｍｃに含まれていた時間情報が引き継がれる。作成された調整動画Ｍｎは、例えば大容量ストレージ１３に保存される。

ステップＳ５０３において、プロセッサー１１は、第１の実施形態の場合と同様に、撮影動画Ｍｂと調整動画Ｍｎとが合成された合成動画Ｍａを作成する。作成された合成動画Ｍａは、例えば大容量ストレージ１３に保存される。この合成動画Ｍａが、目的とする講演動画となる。

以上のようにして、動画像の画面全体において色調の点で自然な特性を有する合成動画Ｍａが作成され得る。

ここでは、コンテンツ動画Ｍｃに基づいて作成される調整動画Ｍｎについて、色調が調整される画像処理の例を示したが、これに限らない。コンテンツ動画Ｍｃに基づいて作成される調整動画Ｍｎの代わりに、撮影動画Ｍｂの色調が画像処理によって調整されてもよい。この場合、プロセッサー１１は、撮影動画Ｍｂの表示領域４２０以外の領域の色調が、調整されていないコンテンツ動画Ｍｃの色調と整合するように、撮影動画Ｍｂに対して色調を調整する画像処理を行う。プロセッサー１１は、色調を調整した撮影動画Ｍｂと、調整動画Ｍｎとを合成し、合成動画Ｍａを作成する。また、プロセッサー１１は、調整動画Ｍｎと撮影動画Ｍｂとの両方に対して、双方の動画の色調を合わせるように色調を調整する処理を行ってもよい。

［第２の方法］
本実施形態の第２の方法について説明する。第１の方法では、撮影動画Ｍｂを解析することによって、表示領域４２０内の色調の情報が特定された。これに対して、本方法では、撮影動画Ｍｂのデータに関連付けられて記録される撮影時の各種条件に基づいて表示領域４２０内の色調の情報が特定される。

例えば、講演録画処理のステップＳ３０３において、撮影時のデジタルカメラ６０のホワイトバランスの設定、プロジェクター８０の設定など、各種設定のうち１つ以上が撮影動画Ｍｂのデータに関連付けられて記録される。

講演動画作成処理では、プロセッサー１１は、撮影動画Ｍｂとともに、撮影動画Ｍｂに関連付けられた上述の情報を読み出す。プロセッサー１１は、当該情報に基づいて、ステップＳ５０２の処理と同様に、コンテンツ動画Ｍｃの色調を調整し、調整動画Ｍｎを作成する。その他については、第１の方法の場合と同様である。

以上のようにしても、動画像の画面全体において色調が自然な特性を有する合成動画Ｍａが作成され得る。

（第３の実施形態）
第３の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。本実施形態でも、デジタルカメラ６０を用いて得られた撮影動画Ｍｂに応じて加工が施された合成動画Ｍａが作成される。

第１の実施形態では、事前処理により撮影画像における表示領域が固定された領域として予め特定される場合の例を説明した。これに対して、例えば、講演者やポインタ等が表示領域に侵入した場合等、表示領域及びそれ以外の周辺領域の境界が時間経過と共に変化することもある。例えば図１０に示すように、講演者３３０の一部３５２が元の表示領域３２０と重なった場合、第１の実施形態のような処理が行われると、合成動画Ｍａにおいて、元の表示領域３２０と重なっている講演者３３０の一部３５２は、消失することになる。また、第１の実施形態のような処理が行われると、例えば講演者３３０が有するレーザポインタ３３２によって示された輝点３５４は、合成動画Ｍａにおいて、再現されないことになる。このような状況に対応するために、表示領域が時間と共に変化するように画像処理装置１０は構成されていてもよい。

表示領域と周辺領域との境界は、例えばコンテンツの画像と撮影画像とを比較することで容易に特定され得る。すなわち、表示領域３２０に講演者３３０等が侵入していないとき、コンテンツの画像と撮影画像の表示領域３２０の画像とは一致する。一方、表示領域３２０に講演者等が侵入しているとき、侵入している部分でコンテンツの画像と撮影画像の表示領域の画像とは一致しなくなる。したがって、このような一致しなくなった領域に基づいて、表示領域と周辺領域との境界は特定され得る。

また、撮影画像中にレーザポインタ３３２によって形成された輝点３５４が存在するとき、当該輝点３５４は輝度が非常に高いので、輝度が高い点として輝点３５４は特定され得る。

何れの場合も、表示領域４２０内において例えば講演者が写っている等で撮影画像を表示すべき位置のアルファブレンドのα値を、表示領域４２０内であっても１に変更すればよい。このようにすることで、表示領域４２０内に表示画像以外が存在する場合であっても、自然な講演動画が作成される。以下、本実施形態に係る処理方法のいくつかの例について図面を参照してさらに説明する。

［第１の方法］
本方法に係る講演動画作成処理について、図１１に示すフローチャートを参照して説明する。

ステップＳ６０１において、プロセッサー１１は、撮影動画Ｍｂの初期表示領域とコンテンツ動画Ｍｃとを解析し、講演中の各時点における画素の差分を検出する。ここで、初期表示領域は、例えば講演者３３０等がスクリーン３４０の領域に侵入していない初期状態における撮影動画Ｍｂの表示領域４２０である。また、図３を参照して説明した事前処理において特定された表示領域が、初期表示領域として設定されてもよい。撮影動画Ｍｂの初期表示領域とコンテンツ動画Ｍｃとの差分は、合成動画Ｍａにおいて、初期表示領域内であってコンテンツ動画Ｍｃの画素に対応しない画素を示すべき領域である。例えば、初期表示領域内に侵入した講演者３３０の画像が差分として検出される。また、レーザポインタ３３２による初期表示領域に照射された輝点３５４の画像が差分として検出される。

ステップＳ６０２において、プロセッサー１１は、ステップＳ６０１で検出された差分部分について、アルファブレンド用マスク画像αｍのα値を更新する。より具体的には、差分が検出された部分について、α値を１に設定する。このようにして、時系列に沿った各時点において初期表示領域の各画素においてα値が異なることがあるアルファブレンド用マスク画像αｍが作成される。

すなわち、初期表示領域のうち、差分部分以外が新たな表示領域となる。この新たな表示領域に、コンテンツ動画Ｍｃに基づく画像が合成されることになる。

ステップＳ６０３において、プロセッサー１１は、第１の実施形態の場合と同様に、コンテンツ動画Ｍｃのサイズを調整し、調整動画Ｍｎを作成し保存する。

ステップＳ６０４において、プロセッサー１１は、ステップＳ６０２で作成されたアルファブレンド用マスク画像αｍを用いて、撮影動画Ｍｂと調整動画Ｍｎとを合成し、合成動画Ｍａを作成する。作成された合成動画Ｍａは、例えば大容量ストレージ１３に保存される。この合成動画Ｍａが、目的とする講演動画となる。この合成動画Ｍａでは、初期表示領域に入った講演者３３０やレーザポインタ３３２の輝点３５４に対応する部分において、コンテンツ動画Ｍｃではなく撮影動画Ｍｂに基づく画像が表される。

以上のようにして、撮影動画Ｍｂが、デジタルカメラ６０と表示領域３２０との間に入った講演者３３０の画像又は輝点３５４の画像を含んでいても、自然な動画である合成動画Ｍａが作成され得る。

なお、本方法は、第２の実施形態と同様に、撮影動画Ｍｂに基づいてコンテンツ動画Ｍｃの色調を調整する処理を含んでいてもよい。

また、色調の調整は、第２の実施形態のようにコンテンツ動画Ｍｃ又は撮影動画Ｍｂの全画素に対して一様に行うに限らない。色調の調整の別の例を第２の方法として次に示す。

［第２の方法］
本方法に係る講演動画作成処理について、図１２に示すフローチャートを参照して説明する。

ステップＳ７０１において、プロセッサー１１は、第２の実施形態のステップＳ５０１と同様に、撮影動画Ｍｂの色調を解析する。すなわち、プロセッサー１１は、撮影動画Ｍｂを構成する画像に含まれる表示領域４２０内の色調の情報を特定する。

ステップＳ７０２において、プロセッサー１１は、第１の方法のステップＳ６０１と同様に、撮影動画Ｍｂの初期表示領域とコンテンツ動画Ｍｃとを解析し、講演中の各時点における対応する画素の差分を検出する。

ステップＳ７０３において、プロセッサー１１は、第１の方法のステップＳ６０２と同様に、ステップＳ７０２で検出された差分部分について、アルファブレンド用マスク画像αｍのα値を更新する。

ステップＳ７０４において、プロセッサー１１は、第２の実施形態のステップＳ５０２と同様に、コンテンツ動画Ｍｃのサイズを調整し、調整動画Ｍｎを作成する。また、プロセッサー１１は、ステップＳ７０１の解析結果に基づいて、コンテンツ動画Ｍｃの色調を画像処理によって調整し、調整動画Ｍｎを作成する。プロセッサー１１は、特に合成される撮影動画Ｍｂとコンテンツ動画Ｍｃとの境界において画像が滑らかにつながるように色調を調整する画像処理を行う。このとき、プロセッサー１１は、コンテンツ動画Ｍｃの全体に対して一様に色調の調整を行ってもよい。また、プロセッサー１１は、ステップＳ７０２で検出された差分に基づいて、合成されたときに撮影動画Ｍｂに基づく画像とコンテンツ動画Ｍｃに基づく画像との境界になる位置を特定し、これを用いて色調の調整を行ってもよい。この境界は、初期表示領域から差分部分が除かれた新たな表示領域の縁に相当する。プロセッサー１１は、特定された境界が自然に見えるように、境界部分において、境界に向けて段階的にコンテンツ動画Ｍｃの色調を調整してもよい。このような色調の調整は、表示領域の縁の全長に対して行われてもよいし、例えば、差分部分の周辺に相当する表示領域の縁に対して行われてもよい。

ステップＳ７０５において、プロセッサー１１は、ステップＳ７０１の解析結果に基づいて、撮影動画Ｍｂの色調を画像処理によって調整する。本実施形態では、この撮影動画Ｍｂに対する色調の調整によって作成される動画を、調整撮影動画Ｍｄと呼ぶ。プロセッサー１１は、特に合成される撮影動画Ｍｂとコンテンツ動画Ｍｃとの境界において画像が滑らかにつながるように色調を調整する画像処理を行う。このとき、プロセッサー１１は、撮影動画Ｍｂの全体に対して一様に色調の調整を行ってもよい。また、プロセッサー１１は、ステップＳ７０２で検出された差分に基づいて特定される表示領域の縁を特定し、これを用いて色調の調整を行ってもよい。プロセッサー１１は、特定された縁が自然に見えるように、境界部分において、境界に向けて段階的に撮影動画Ｍｂの色調を調整してもよい。このような色調の調整は、表示領域の縁の全長に対して行われてもよいし、例えば、差分部分の周辺に相当する表示領域の縁に対して行われてもよい。

ステップＳ７０６において、プロセッサー１１は、ステップＳ７０３で作成されたアルファブレンド用マスク画像αｍを用いて、調整撮影動画Ｍｄと調整動画Ｍｎとを合成し、合成動画Ｍａを作成する。作成された合成動画Ｍａは、例えば大容量ストレージ１３に保存される。この合成動画Ｍａが、目的とする講演動画となる。

この合成動画Ｍａでは、表示領域３２０に入った講演者３３０やレーザポインタ３３２の輝点３５４の部分において、コンテンツ動画Ｍｃではなく撮影動画Ｍｂに基づく画像が表される。また、本方法によれば、合成される調整撮影動画Ｍｄと調整動画Ｍｎとの境界が滑らかになる。

上述の例では、撮影動画Ｍｂとコンテンツ動画Ｍｃとの両方の色調が調整される例を示したがこれに限らない。撮影動画Ｍｂとコンテンツ動画Ｍｃとのうち何れか一方の色調が調整されてもよい。また、撮影動画Ｍｂ又はコンテンツ動画Ｍｃの色調の調整によらず、又は色調の調整に加えて、アルファブレンド用マスク画像αｍを用いて、撮影動画Ｍｂとコンテンツ動画Ｍｃとの境界を滑らかにしてもよい。すなわち、境界部分において、境界からの距離に応じて調整撮影動画Ｍｄと調整動画Ｍｎとの合成比率を段階的に変化させてもよい。

（第４の実施形態）
第４の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。本実施形態でも、デジタルカメラ６０を用いて得られた撮影動画Ｍｂに応じて加工が施された合成動画Ｍａが作成される。本実施形態では、撮影動画Ｍｂに基づいて、実際の講演では存在しなかった画像が合成動画Ｍａに合成される。

例えば、図１３に示すように、講演者３３０がレーザポインタ３３２を用いて、所定の動作を行ったとき、その動作に応じた表示が合成動画Ｍａに含められる。例えば、輝点の位置を所定回数往復させるように変化させたとき、輝点の軌跡に応じた線４６４が重畳画像として合成動画Ｍａに重畳されて合成動画Ｍａに含まれるようになる。例えば講演者３３０がコンテンツ中の強調したい部分にアンダーラインを付したいと思ったとき、講演者３３０は、当該位置において輝点の位置を所定回数往復させればよい。また、ある位置を囲むように輝点の位置を変化させたとき、輝点の軌跡に応じた囲い線４６６が合成動画Ｍａに含まれるようになる。例えば講演者３３０がコンテンツ中の強調したい部分を四角形や円で囲みたいと思ったとき、講演者３３０は、当該部分を輝点で囲むようにレーザポインタ３３２を操作すればよい。また、レーザポインタ３３２によって指し示している位置を強調するために、合成動画Ｍａでは、輝点部分に例えば矢印の図形４６２が表示されてもよい。

本実施形態に係る講演動画作成処理について、図１４に示すフローチャートを参照して説明する。

ステップＳ８０１において、プロセッサー１１は、コンテンツ動画Ｍｃのサイズを調整し、調整動画Ｍｎを作成する。

ステップＳ８０２において、プロセッサー１１は、撮影動画Ｍｂの初期表示領域とコンテンツ動画Ｍｃとを解析し、講演中の各時点における画素の差分を検出する。本実施形態では、プロセッサー１１は、この差分に基づいて、レーザポインタ３３２による輝点を特定する。プロセッサー１１は、輝点を、初期表示領域の内部において講演者３３０が指し示している位置である指示位置として特定する。

ステップＳ８０３において、プロセッサー１１は、ステップＳ８０２で特定された指示位置である輝点の動きを解析する。例えば、プロセッサー１１は、時系列に沿って輝点が所定回数同じ位置を往復するように動いたか、或いは、輝点が任意の位置を囲うように動いたかなどが解析される。

ステップＳ８０４において、プロセッサー１１は、コンテンツ動画Ｍｃにおいてコンテンツの表示ページが変更されたかなどについての解析を行う。プロセッサー１１は、例えばコンテンツ動画Ｍｃを解析することで、コンテンツのページがめくられたか否かを特定できる。また、講演録画処理において、講演者３３０によるコンテンツのページめくり動作のタイミングが記録され、プロセッサー１１は、当該記録に基づいて、コンテンツのページがめくられたか否かを特定してもよい。

ステップＳ８０５において、プロセッサー１１は、ステップＳ８０３とステップＳ８０４の解析結果に基づいて、合成動画Ｍａにおいて撮影動画Ｍｂ及び調整動画Ｍｎに重畳して表示させる動画を作成し、例えば大容量ストレージ１３に保存する。ここで作成されるような撮影動画Ｍｂにもコンテンツ動画Ｍｃにも含まれない画像を含む動画を重畳動画Ｍｅと呼ぶ。例えば、プロセッサー１１は、輝点が所定回数同じ位置を往復したとき、当該位置にアンダーラインを表示させるように、当該位置に線４６４が含まれる重畳動画Ｍｅを作成する。また、プロセッサー１１は、輝点が任意の位置を囲ったとき、輝点の位置に沿って囲い線を表示させるように、当該位置に囲い線４６６が含まれる重畳動画Ｍｅを作成する。また、プロセッサー１１は、輝点の位置に合わせて、矢印の図形４６２を表示させるように、輝点の位置に矢印の図形４６２が含まれる重畳動画Ｍｅを作成する。

重畳動画Ｍｅにおける線４６４などは、コンテンツのページの変更に合わせて削除されるように構成してもよい。すなわち、コンテンツのページが変わっても、前のページの内容に対応したアンダーライン等が残っていてはかえってわかりにくい講演動画となるので、アンダーライン等は、コンテンツのページめくりと同時に削除されるように、重畳動画Ｍｅは作成される。

ステップＳ８０６において、プロセッサー１１は、アルファブレンド用マスク画像αｍを用いて、撮影動画Ｍｂと調整動画Ｍｎとを合成する。さらに、プロセッサー１１は、重畳動画Ｍｅを合成し、合成動画Ｍａを作成する。作成された合成動画Ｍａは、例えば大容量ストレージ１３に保存される。この合成動画Ｍａが、目的とする講演動画となる。

この合成動画Ｍａでは、レーザポインタ３３２による輝点の動きに応じた画像が含まれる。その結果、講演動画は、実際の講演にさらに情報が付加されたわかりやすい動画となる。

ここで示した、輝点が所定回数往復したときに線を表示する、又は、輝点が所定の位置を囲ったときに囲み線を表示する等は、指示位置である輝点の動きと表示される画像との関係の一例である。

また、上述の例では、撮影動画Ｍｂとコンテンツ動画Ｍｃとの差分に基づいて輝点が検出される例を示したが、輝点検出の方法はこれに限らない。例えば、撮影動画Ｍｂに含まれる所定以上の輝度を持つ点がレーザポインタによる輝点として特定されてもよい。また、レーザポインタ３３２として、肉眼では認識されないが撮影動画Ｍｂでは特定され得る所定の点滅パターンを示すものが用いられてもよい。この場合、当該点滅パターンに基づいて、輝点の位置が特定され得る。

また、上述の実施形態では、指示位置としてレーザポインタ３３２の輝点が用いられ、この輝点に基づいて重畳動画Ｍｅが作成される例を示した。しかしながらこれに限らず、講演者３３０のジェスチャーに基づいて、重畳される画像が作成されてもよい。例えば、講演者３３０が手で指し示す位置を指示位置とし、講演者３３０による所定の動作が検出されたとき、その動作に応じた画像が重畳画像として作成されてもよい。

また、重畳させる画像をリアルタイムに作成することが可能である場合には、当該画像がプロジェクター８０によって投影され得る。この場合、アンダーライン等がスクリーン３４０上に表示されるので、実際に講演を聴いている人にとってもわかりやすい画像が表示されることになる。

本実施形態は、第２の実施形態又は第３の実施形態と組み合わせて実施されるよう構成してもよい。

［変形例］
資料の画像が表示装置によって提示され、当該画像の脇で講演者が講演を行う場合を説明した。ここで、表示装置として、プロジェクターが用いられる場合を例に挙げて説明した。資料を提示する表示装置は、プロジェクターに限らない。プロジェクターに代えて、例えば、液晶ディスプレイ等の各種装置が用いられてもよい。この場合、上述の何れの実施形態の説明において、「投影」として説明されている部分は「表示」に置換され得る。このことは、以下に示す変形例においても同様である。なお、第３の実施形態では、表示領域３２０に例えば講演者３３０が侵入する場合について検討した。このような場合、表示装置がプロジェクターである場合には、スクリーンとプロジェクターとの間に講演者３３０が入り、講演者３３０に画像が投影されることになる。一方、表示装置が液晶ディスプレイ等である場合、ディスプレイ等とデジタルカメラとの間に講演者３３０が入ることになる。

表示領域３２０が長方形となるように投影の状態が調整されている場合を例に挙げて説明したが、表示領域３２０は、長方形でなくてもよい。撮影画像に基づいて特定された表示領域４２０に合わせて、合成される調整動画Ｍｎの形状は画像処理により適宜に補正され得る。このような画像処理により、表示領域３２０の形状とコンテンツの画像の形状とが一致していなくても、適切な講演動画が作成され得る。

投影画像を変化させる際には、ユーザーはＰＣ５０又はプロジェクター８０に対して操作を行う。例えば、投影画像のページ送りをするとき、ユーザーはＰＣ５０の操作を行うし、投影画像の台形補正を行うとき、ユーザーはプロジェクター８０の操作を行う。プロセッサー１１は、ＰＣ５０又はプロジェクター８０に対して行われた操作の情報を取得して、当該情報を用いて調整動画Ｍｎを作成してもよい。

さらに、例えば、ＰＣ５０から出力されているコンテンツデータに変化がない場合であっても、プロジェクター８０の機能を用いて投影画像の一部を拡大したり、拡大した部分を上下左右に移動させたりすることがある。このような場合に、プロセッサー１１は、プロジェクター８０に入力された操作に係る変更情報を取得し、取得した変更情報を用いて調整動画Ｍｎを作成してもよい。このような方法を用いることで、撮影動画Ｍｂのみを用いて画像処理により作成すべき調整動画Ｍｎを決定するよりも、調整動画Ｍｎの作成は容易になる。

なお、ＰＣ５０から出力され、プロジェクター８０で投影されるコンテンツとしての画像は、静止画であっても動画であってもよい。また、コンテンツには、音声が含まれていてもよい。コンテンツに含まれる音声は、プロジェクター８０又はその他の手段によって出力され得る。講演動画に含まれるコンテンツに係る音声は、マイク７０を用いて録音されたものであり、例えば講演者が発する音声等と同様に処理されたものであってもよいし、ＰＣ５０から画像処理装置１０へと入力される音声データに基づいて作成されたものであってもよい。

上述の実施形態では、アルファブレンドを用いた手法による画像合成について説明したが、合成方法はこれに限らない。画像合成には各種手法が用いられ得る。

また、上述の各実施形態では、画像処理装置１０は、事前処理、講演録画処理、講演動画作成処理の何れをも行うものとして説明したがこれに限らない。例えば、講演動画作成処理は、事前処理及び講演録画処理が行われた装置と異なる装置で行われてもよい。すなわち、撮影動画Ｍｂとコンテンツ動画Ｍｃとマスク画像αｍとが提供されれば、これらに基づいてＰＣ又はサーバー等により講演動画作成処理が行われてもよい。

また、上述の各実施形態では、画像処理装置１０は、画像合成によって講演動画を作成するものとして説明したがこれに限られない。例えば、撮影動画Ｍｂの表示領域４２０内において一部分の画質が低下している場合、当該部分のみをコンテンツ動画Ｍｃに基づいて補正してもよい。つまり、当該部分の画質の低下度合いに応じて、コンテンツ動画Ｍｃの当該部分に対応する部分の情報を用いて補正を行うことも考えられる。撮影動画Ｍｂの表示領域４２０が、講演動画を見る人にとって十分に高品質になる画像処理であればよく、嵌め込み画像の合成に限られない。

また、撮影動画Ｍｂとコンテンツ動画Ｍｃとの合成は、プロセッサー１１の処理能力が十分に高ければ、リアルタイムに行われてもよい。リアルタイムで講演動画の作成を行えれば、作成した講演動画を遠隔地に送信することで、遠隔地の聴衆は当該講演を講演と同時に高品質の画像で視聴することができる。

画像処理装置１０が、ＰＣ５０及びプロジェクター８０から独立して設けられている場合の例を挙げ得て説明したが、画像処理装置１０としての機能は、例えばプロジェクター８０内に設けられてもよいし、ＰＣ５０内に設けられてもよい。例えば、図１に示すプロジェクター８０とデジタルカメラ６０とマイク７０と画像処理装置１０とが１つの筐体に収まったプロジェクターとして上述の機能が提供されてもよい。プロジェクターが配置される位置は、表示画像を投影するのに適した位置であり、これは投影画像と講演者とを同時に撮影するために適した位置となる。また、プロジェクターには、一般に投影を行うためにコンテンツデータが入力されるが、これは同時に合成画像を作成するためのコンテンツデータとなる。したがって、プロジェクターの筐体にデジタルカメラと画像処理装置とを収めることは、合理的である。

なお、上述の実施形態におけるＰＣ５０は、一例であり、ＰＣ５０は、タブレット型の情報端末、スマートフォン等、プレゼンテーション用のアプリケーションソフトウェアが動作する種々の機器に置き換えられ得る。また、これらの機器が無くても、例えばプロジェクター８０がその機能を担ってもよい。この場合、プレゼンテーションに係るデータが記録された記録媒体がプロジェクター８０に接続され、プロジェクター８０がこのデータに基づいて投影を行う。この際、プロジェクター８０は、投影した画像のデータをコンテンツデータとして画像処理装置１０へと伝達する。また、画像処理装置１０がＰＣ５０の機能を担ってもよい。この場合、プレゼンテーションに係るデータが記録された記録媒体が画像処理装置１０に接続されたり、当該データが大容量ストレージ１３に記録されたりする。画像処理装置１０は、これらのデータに基づいて、コンテンツデータをプロジェクター８０へと伝達する。

これら何れの変形例も様々に組み合わせられ得るし、何れの変形例もそれらの組み合わせも、上述の第１の実施形態乃至第４の実施形態の何れとも組み合わせられ得る。

なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］
表示装置によってコンテンツが表示されている表示領域と当該表示領域の周辺領域とを含む領域の撮影画像を取得する撮影画像取得部と、
前記コンテンツを取得するコンテンツ取得部と、
前記撮影画像における前記表示領域を特定する表示領域特定部と、
前記撮影画像に基づいて加工情報を作成する加工情報作成部と、
前記加工情報を用いて、前記撮影画像の前記表示領域に前記コンテンツに基づいた画像を合成することを含む画像処理を行う画像処理部と、
を備える画像処理装置。
［２］
前記加工情報作成部は、前記撮影画像に基づいて時間経過と共に変化する前記表示領域を特定し、
前記画像処理部は、時間経過と共に変化する前記撮影画像の前記表示領域に、前記コンテンツに基づいた画像を合成する画像処理を行う、
［１］に記載の画像処理装置。
［３］
前記加工情報作成部は、前記撮影画像の初期状態の前記表示領域である初期表示領域の内部の画像と、前記コンテンツとを比較することで、時間経過と共に変化する前記表示領域を特定する、［２］に記載の画像処理装置。
［４］
前記加工情報作成部は、前記撮影画像の色調と前記コンテンツに基づく画像の色調とのうち少なくとも何れか一方の情報を含む前記加工情報を作成し、
前記画像処理部は、合成された画像における前記表示領域の縁の少なくとも一部において、前記撮影画像の色調と前記コンテンツに基づく画像の色調とが整合するように、前記撮影画像と前記コンテンツとのうち少なくとも何れか一方の少なくとも一部に対して色調を調整する画像処理を行う、
［３］に記載の画像処理装置。
［５］
前記加工情報作成部は、前記撮影画像の色調と前記コンテンツに基づく画像の色調とのうち少なくとも何れか一方の情報を含む前記加工情報を作成し、
前記画像処理部は、合成された画像における前記撮影画像の色調と前記コンテンツに基づく画像の色調とが整合するように、前記撮影画像と前記コンテンツとのうち少なくとも何れか一方に対して色調を調整する画像処理を行う、
［１］乃至［３］のうち何れか一に記載の画像処理装置。
［６］
前記加工情報作成部は、前記撮影画像に基づいて前記表示領域の内部の指示位置を特定し、前記指示位置に基づく重畳画像を作成し、
前記画像処理部は、前記撮影画像と前記コンテンツに基づく画像とを合成して作成した画像にさらに前記重畳画像を合成する、
［１］乃至［５］のうち何れか一に記載の画像処理装置。
［７］
前記加工情報作成部は、前記指示位置を示す図形と、前記指示位置の軌跡を示す図形とのうち少なくとも何れか一方を含む前記重畳画像を作成する、［６］に記載の画像処理装置。
［８］
前記加工情報作成部は、前記コンテンツのページが変更されたとき、前記指示位置の軌跡を示す図形が削除される前記重畳画像を作成する、［７］に記載の画像処理装置。
［９］
前記加工情報作成部は、レーザポインタによる輝点である前記指示位置、又は、講演者の動作によって特定される前記指示位置を特定する、［６］乃至［８］のうち何れか一に記載の画像処理装置。
［１０］
前記画像処理部は、前記コンテンツに対して画像処理を施して前記コンテンツを表示させる前記表示装置から、当該画像処理に係る変更情報を取得し、当該変更情報に基づいて画像処理を行う、［１］乃至［９］のうち何れか一に記載の画像処理装置。
［１１］
［１］乃至［１０］のうち何れか一に記載の画像処理装置と、
前記コンテンツに基づいて前記表示領域に投影される画像を出力する前記表示装置としての投影部と、
前記撮影画像を生成する撮影部と
を備えるプロジェクター。
［１２］
表示装置によってコンテンツが表示されている表示領域と当該表示領域の周辺領域とを含む領域の撮影画像を取得することと、
前記コンテンツを取得することと、
前記撮影画像における前記表示領域を特定することと、
前記撮影画像に基づいて加工情報を作成することと、
前記加工情報を用いて、前記撮影画像の前記表示領域に前記コンテンツに基づいた画像を合成することを含む画像処理を行うことと、
を含む画像処理方法。
［１３］
表示装置によってコンテンツが表示されている表示領域と当該表示領域の周辺領域とを含む領域の撮影画像を取得することと、
前記コンテンツを取得することと、
前記撮影画像における前記表示領域を特定することと、
前記撮影画像に基づいて加工情報を作成することと、
前記加工情報を用いて、前記撮影画像の前記表示領域に前記コンテンツに基づいた画像を合成することを含む画像処理を行うことと、
をコンピュータに実行させるための画像処理プログラム。

１…講演動画作成システム、１０…画像処理装置、１１…プロセッサー、１２…メモリ、１３…大容量ストレージ、１４…入力装置、１５…コンテンツ入力インターフェース（Ｉ／Ｆ）、１６…画像入力インターフェース（Ｉ／Ｆ）、１７…音声入力インターフェース（Ｉ／Ｆ）、１８…画像出力インターフェース（Ｉ／Ｆ）、１９…バスライン、５０…パーソナルコンピュータ（ＰＣ）、６０…デジタルカメラ、７０…マイク、８０…プロジェクター、３１０…撮影領域、３２０…表示領域、３３０…講演者、３４０…スクリーン。

Claims (5)

1. 画角に所定の表示領域が含まれるように撮影された動画像を取得する第１取得手段と、
   前記動画像の撮影中に前記表示領域に表示されていたコンテンツを取得する第２取得手段と、
   前記第１取得手段により取得された動画像における前記表示領域に前記第２取得手段により取得されたコンテンツを嵌め込み合成した合成動画を生成する生成手段と、
   前記第１取得手段により取得された動画像に前記表示領域内の何れかの位置を指示する所定の動作を行う動作主体が撮影対象として含まれているか否かを判定する判定手段と、
   を備え、
   前記生成手段は、前記判定手段により前記動作主体が撮影対象として含まれていると判定された場合には、前記表示領域に嵌め込み合成されている状態の前記コンテンツに前記所定の動作に対応する軌跡画像が重畳されるように前記合成動画を生成する、
   ことを特徴とする画像処理装置。
2. 前記生成手段は、前記コンテンツの切り替わりタイミングに対応させて前記軌跡画像が消去されるように前記合成動画を生成する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記軌跡画像は線状の画像である、
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 画像処理装置が実行する画像処理方法であって、
   画角に所定の表示領域が含まれるように撮影された動画像を取得するとともに、前記動画像の撮影中に前記表示領域に表示されていたコンテンツを取得する取得ステップと、
   前記取得ステップで取得された動画像における前記表示領域に前記取得ステップで取得されたコンテンツを嵌め込み合成した合成動画を生成する生成ステップと、
   前記取得ステップで取得された動画像に前記表示領域内の何れかの位置を指示する所定の動作を行う動作主体が撮影対象として含まれているか否かを判定する判定ステップと、
   を有し、
   前記生成ステップは、前記判定ステップで前記動作主体が撮影対象として含まれていると判定された場合には、前記表示領域に嵌め込み合成されている状態の前記コンテンツに前記所定の動作に対応する軌跡画像が重畳されるように前記合成動画を生成する、
   ことを特徴とする画像処理方法。
5. 画像処理装置のコンピュータを、
   画角に所定の表示領域が含まれるように撮影された動画像を取得する第１取得手段、
   前記動画像の撮影中に前記表示領域に表示されていたコンテンツを取得する第２取得手段、
   前記第１取得手段により取得された動画像における前記表示領域に前記第２取得手段により取得されたコンテンツを嵌め込み合成した合成動画を生成する生成手段、
   前記第１取得手段により取得された動画像に前記表示領域内の何れかの位置を指示する所定の動作を行う動作主体が撮影対象として含まれているか否かを判定する判定手段、
   として機能させ、
   前記生成手段は、前記判定手段により前記動作主体が撮影対象として含まれていると判定された場合には、前記表示領域に嵌め込み合成されている状態の前記コンテンツに前記所定の動作に対応する軌跡画像が重畳されるように前記合成動画を生成する、
   ことを特徴とするプログラム。