JP5861881B2

JP5861881B2 - 画像合成装置、画像合成方法、プログラム、及び、画像合成システム

Info

Publication number: JP5861881B2
Application number: JP2012048390A
Authority: JP
Inventors: 宣男飯塚
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2012-03-05
Filing date: 2012-03-05
Publication date: 2016-02-16
Anticipated expiration: 2032-03-05
Also published as: JP2013182607A

Description

本発明は、たとえば、撮像画角に仮想画像を合成する画像合成装置、画像合成方法、プログラム、及び、画像合成システムに関する。

コンピュータグラフィックスの分野では複数の画像を合成する技術が多用されており、そのような技術の一つに強化現実（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ；以下、ＡＲと略す）がある。ＡＲとは、現実環境（現実の知覚）に、さらに任意の情報を加えることによって強化した知覚を提供することをいい、一般的には実際に知覚された「現実環境」に、仮想的に生成された「仮想環境」を合成することをいうが、本明細書ではこれに限定しない。双方が現実環境であってもよい。以下、説明を簡単にするために現実環境と仮想環境の合成を例にして説明する。

一般的に仮想環境は、コンピュータグラフィックス（以下、ＣＧ）で生成されるが、とりわけ、遠近感や奥行き感を得るために、三次元コンピュータグラフィックス（以下、３ＤＣＧ）で生成されることが多い。

今、カメラで撮影された一人の人物の像（以下、第１の像）と、３ＤＣＧで生成された任意の像（以下、第２の像）との合成を考える。第１の像は現実環境であり、第２の像は仮想環境である。この場合、合成画像の遠近感や奥行き感は、各々の像の前後関係を加味することによって得ることができる。第１の像を前にすれば第１の像が近くに見え、その逆に、第１の像を後ろにすれば第１の像が遠くに見える。

この考え方を、たとえば、二人の人物の像（以下、第１Ａの像と第１Ｂの像）に応用すると、この場合、第１Ａの像と第１Ｂの像が近くに見えるようにするには、第１Ａの像と第１Ｂの像を第２の像の前に配置すればよく、その逆に、第１Ａの像と第１Ｂの像が遠くに見えるようにするには、第１Ａの像と第１Ｂの像を第２の像の後ろに配置すればよい。

このようにして、ＡＲにおける遠近感や奥行き感を得ることができる。

しかしながら、上記の例では、たとえば、第１Ａの像と第１Ｂの像の“間”に第２の像を配置することができない。このため、いわゆるオクルージョン制御の点で不十分である。オクルージョンとは、物体を人の目で観察するときには必ず前後関係があり、手前にある物体は背景に位置する物体を隠すことから、この状態のことをいい、オクルージョン制御とは、そのような見え方に制御することをいう。

上記の例において、オクルージョン制御を行うことができない理由は、第１Ａの像と第１Ｂの像が一つのオブジェクトだからであり、第１Ａの像と第１Ｂの像とを別々のオブジェクトとして取り扱うことができないからである。

この点において、下記の特許文献１には、画像の奥行きを示すデータ（同文献では“Ｚデータ”と称している）に基づいて、オブジェクトを個別に扱えるようにし、任意の位置に画像を合成するというオクルージョン制御の技術が記載されている。

特開２０００−１１２０４号公報

しかしながら、特許文献１の技術にあっては、画像の奥行きを示すデータ（“Ｚデータ”）をどのようにして得るかについての明示的な開示がされていない。

より詳細に言えば、特許文献１の技術では、「背景画像のＺデータは、所定の固定された視点に基づく表示画面内の奥行きを示す値である。」と記載（段落〔００３４〕）されていることから、第１Ａの像と第１Ｂの像について、それぞれ固定の視点を基準にした第１の奥行きデータと第２の奥行きデータとを与えるものと解されるところ、これらの奥行きデータの付与は、特許文献１の全体を参酌して「人為的」に行われるものと理解するのが自然であり、してみると、第１Ａの像と第１Ｂの像の間に第２の像を配置するためには、当然のこと、適正なデータ（第１の奥行きデータと第２の奥行きデータ）の人的付与が前提であり、手間が掛かって面倒であるばかりか、リアルタイム性に欠けるという欠点があり、しかも、誤ったデータの付与が行われた場合には期待したオクルージョン制御を行うことができないという根本的な欠点もある。

そこで、本発明の目的は、特別なデータを必要とすることなく奥行きのある合成画像を生成することができるようにすることにある。

本発明に係る画像合成装置は、情報を時系列を伴った変調方式で変調しこの変調された情報を光に重畳させて発光する光源とオブジェクトとを撮像画角に収めた画像を、時系列的に連続して取得する第１の取得手段と、この第１の取得手段によって時系列的に連続して取得された画像に含まれる、変調された光から前記情報を復元する復元手段と、この復元手段によって復元された情報に基づいて画像を生成する画像生成手段と、前記第１の取得手段によって連続的に撮像して取得された画像における、前記オブジェクトへの前記変調された光の照射状況に基づいて、当該画像から前記オブジェクトに対応する画像領域を抜き出す処理を行う処理手段と、前記画像に前記光源の存在位置に基づいて前記画像生成手段によって生成された画像と、前記処理手段によって抜き出された画像領域と、を合成する合成手段と、を備えることを特徴とする。
本発明に係る画像合成方法は、情報を時系列を伴った変調方式で変調しこの変調された情報を光に重畳させて発光する光源とオブジェクトとを撮像画角に収めた画像を、時系列的に連続して取得する取得ステップと、この取得ステップにて時系列的に連続して取得された画像に含まれる、変調された光から前記情報を復元する復元ステップと、この復元ステップにて復元された情報に基づいて画像を生成する画像生成ステップと、前記取得ステップにて連続的に撮像して取得された画像における、前記オブジェクトへの前記変調された光の照射状況に基づいて、当該画像から前記オブジェクトに対応する画像領域を抜き出す処理を行う処理ステップと、前記画像に前記光源の存在位置に基づいて前記画像生成ステップにて生成された画像と、前記処理ステップにて抜き出された画像領域と、を合成する合成ステップと、を含むことを特徴とする。
本発明に係るプログラムは、コンピュータを、情報を時系列を伴った変調方式で変調しこの変調された情報を光に重畳させて発光する光源とオブジェクトとを撮像画角に収めた画像を、時系列的に連続して取得する取得手段、この取得手段によって時系列的に連続して取得された画像に含まれる、変調された光から前記情報を復元する復元手段、この復元手段によって復元された情報に基づいて画像を生成する画像生成手段、前記取得手段によって連続的に撮像して取得された画像における、前記オブジェクトへの前記変調された光の照射状況に基づいて、当該画像から前記オブジェクトに対応する画像領域を抜き出す処理を行う処理手段、前記画像に前記光源の存在位置に基づいて前記画像生成手段によって生成された画像と、前記処理手段によって抜き出された画像領域と、を合成する合成手段、として機能させることを特徴とする。
本発明に係る画像合成システムは、情報を時系列を伴った変調方式で変調し、この変調された情報を光に重畳させて発光する光源と、撮像装置とを含み、前記撮像装置は、前記光源とオブジェクトとを撮像画角に収めた画像を、連続的に撮像して取得する取得手段と、この取得手段によって連続的に撮像して取得された画像に含まれる、変調された光から前記情報を復元する復元手段と、この復元手段によって復元された情報に基づいて画像を生成する画像生成手段と、前記取得手段によって連続的に撮像して取得された画像における、前記オブジェクトへの前記変調された光の照射状況に基づいて、当該画像から前記オブジェクトに対応する画像領域を抜き出す処理を行う処理手段と、前記画像に前記光源の存在位置に基づいて前記画像生成手段によって生成された画像と、前記処理手段によって抜き出された画像領域と、を合成する合成手段と、を備えることを特徴とする。

本発明によれば、特別なデータを必要とすることなく奥行きのある合成画像を生成することができる。

実施形態のシステム構成図である。光マーカ５の簡略外観図である。発光部５２１〜５２８の構成図である。光信号のデータフレームの一例を示す図である。３ＤＣＧの表示例を示す図である。画像合成部３の内部構造（処理手段要件と処理内容）を示す図（１／２）である。画像合成部３の内部構造（処理手段要件と処理内容）を示す図（２／２）である。利用シーンの一例を示す図である。人物７、８の前後関係判定の概念図である。図９の利用シーンにおける撮影画像を示す図である。図１０の画像から高輝度の光（発光部５２１〜５２８の光）だけを取り出した図である。人物７、８の抽出画像を示す図である。人物８（後景オブジェクト画像）の抽出画像を示す図である。人物７（前景オブジェクト画像）の抽出画像を示す図である。合成画像を示す図である。

以下、本発明の実施形態を、図面を参照しながら説明する。
図１は、実施形態のシステム構成図である。この図において、画像合成システム１は、ＣＣＤやＣＭＯＳなどの二次元撮像デバイスで構成された撮像部２、画像合成部３、液晶ディスプレイ等の表示部４及び光マーカ５を含み、概略的には、撮像部２で、光マーカ５とその光マーカ５の周囲に存在する現実環境の被写体（たとえば、人物６〜８）の像を撮像し、画像合成部３で、撮像部２の撮像信号に基づいて、（１）光マーカ５によって送信された光信号のデコード、（２）そのデコード結果に基づく３ＤＣＧの生成、（３）その３ＤＣＧと人物６〜８の像との画像合成、（４）合成画像の表示部４への出力、という一連の処理を実行するものであり、特に、（３）の画像合成を行う際に、人物６〜８の前後関係を把握して、適切な位置に３ＤＣＧを合成するという点に特徴がある。

図２は、光マーカ５の簡略外観図である。この光マーカ５は、立設位置変更可能な支柱５００の上端から放射状に枝分かれした複数本（ここでは一例として８本とする）の腕木５１１〜５１８を備え、各々の腕木５１１〜５１８の先端に発光部５２１〜５２８を取り付けて構成されている。

発光部５２１〜５２８の床面からの高さＨは、撮像部２の撮影範囲内に存在する現実環境の被写体の高さを考慮して適当に設定する。たとえば、現実環境の被写体が人物６〜８（図１参照）である場合、Ｈは、それらの人物６〜８の半身長程度（腰から胸あたりまで）としてもよい。

また、発光部５２１〜５２８の数は、図では８個であるが、これに限定されない。ＣＧ画像の合成位置を安定的に決定するためには、少なくとも４個あればよい。実施形態では、様々なケース（たとえば、人などが来て遮ることなど）を想定し、冗長度を増すために８個とした。これは、光マーカ５の前に人がいて、多少さえぎられることがあっても、８個のうちのいずれか４個が検出できれば、マーカ領域（光マーカ５の存在領域）の４隅を決定できるからであるが、もちろんこの数は一例に過ぎない。

図３は、発光部５２１〜５２８の構成図である。この図において、発光部５２１〜５２８はいずれも共通の構成を有しており、各々、ＬＥＤ等の輝度変調可能な光源５２９と、ドライバ／点滅制御器５３０と、送出ＩＤデータメモリ５３１とを備えている。

このような構成を有する発光部５２１〜５２８は、送出ＩＤデータメモリ５３１に格納されている任意のデータを光の点滅または輝度の変化で空間に光送信する公知の装置（たとえば、特開２００９−０８７１７６号公報）を利用することができるが、公知の装置との相違は、光源５２９の機能にある。すなわち、この実施形態の光源５２９は、公知の装置と共通する「光通信機能」を有することに加え、さらに、現実環境（図１の例では人物６〜８）を明るく照らし出す「照明機能」も有する点で公知の装置と相違する。この特異な機能（照明機能）の用途等については、後で詳しく説明する。

なお、発光部５２１〜５２８からの光は可視光であってもよいが、赤外線等の非可視光であってもよい。この場合、撮像部２は、可視光の画像と非可視光（赤外線等）の画像の双方を撮像できるものとする必要がある。あるいは、撮像部２を、可視光撮像用の第１のカメラと、非可視光撮像用の第２のカメラとで構成し、それらの第１及び第２のカメラの撮影光軸を一致させたもの（いわゆる二眼システム）としてもよい。

図４は、発光部５２１〜５２８から送出される光信号のデータフレームの一例を示す図である。この図において、データフレーム９は、位置探索用の固定ヘッダ情報部９０と、データペイロード用のＩＤデータ部９１とを含み、固定ヘッダ情報部９０に、変調光源の探索を容易にするための特定擬似乱数パターンなどのヘッダ情報を格納し、ＩＤデータ部９１に、それぞれの光源のＩＤ情報を光の輝度変化として変調（多くはＯＮ／ＯＦＦ制御）するためのＩＤデータを格納する。

なお、本実施形態では、それぞれの発光部５２１〜５２８の信号が同期しているものとする。ＩＤデータ部９１は、照射領域を考えると、輝度加算されて不定であるが、ヘッダ情報部９０に関しては、どの発光部５２１〜５２８からの光の輝度変化も一致するので、処理が可能である。また、さえぎり対策としては、発光部５２１〜５２８の数を増やすほかに、発光部５２１〜５２８の高さＨを人物６〜８（図１参照）の身長以上に設定するなど、設置の工夫で対策することができ、そのような場合でも本発明は有効である。

図５は、３ＤＣＧの表示例を示す図である。この図において、表示部４には、光マーカ５の画像と、その光マーカ５からの光信号に基づいて生成された仮想環境（ここでは３ＤＣＧ）の画像（以下、仮想画像１０と称す）とが表示されている例が示されている。なお、図示の仮想画像１０は、箱状の単純図形であるが、これは説明上の便宜例に過ぎない。合成する位置と向き及び大きさがわかれば、非常に複雑な３ＤＣＧを生成できることは周知のとおりである。

図６及び図７は、画像合成部３の内部構造（処理手段要件と処理内容）を示す図である。画像合成部３は、実際にはコンピュータで構成されており、コンピュータのソフトウェアとハードウェアの有機的結合によって構成されている。

＜第１のブロック：Ｂ１＞
Ｂ１は、撮像部２からの撮像信号に基づき、光マーカ５からの光信号を再生復号する処理ブロックであり、このＢ１は、通信処理用画像バッファ３３、ヘッダ相関検出手段３４、背景光排除画像バッファ３５、信号領域決定手段３６、受信座標リスト３７、ビットデコード手段３８、及び、ビットバッファ３９を含み、ＩＤ受信（図４のデータフレーム９の受信）の完了次第、存在座標と合わせて後段処理（Ｂ２、Ｂ３）に送っていく。

各部の詳細は、以下のとおりである。
通信処理用画像バッファ３３は、変調された光を検出およびそのデータを取得するため、一定数の画像を格納するバッファである。ヘッダ相関検出手段３４は、通信処理用画像バッファ３３に一定数格納された画像群のうち最も古く取得された画像群（ヘッダ部分に相当）を用いて、時系列を追って変化する輝度変化と予め設定された輝度変化との相関度を演算する。背景光排除画像バッファ３５は、ヘッダ相関検出手段３４による演算結果として、相関度が所定以上高い画像群について、背景光を排除する処理を行い、その結果の画像が格納されるバッファである。信号領域決定手段３６は、背景光排除画像バッファ３５に格納された画像群において、自己発光による高輝度領域をマーカ領域とみなし、その画像領域と座標とを決定する手段である。受信座標リスト３７は、信号領域決定手段３６で決定されたマーカ領域の位置を記憶管理するテーブル記憶手段である。ビットデコード手段３８は、受信座標リスト３７にて記憶管理されているマーカー領域を参照し、通信処理用画像バッファ３３に格納される画像群におけるマーカー領域に対応する座標のビット判定を行ないデコードする。ビットバッファ３９は、ビットデコード手段３８にてデコードされたビットデータを格納する。なお、規定ビット数の受信が終わった（＝その座標の１ブロック受信完了）などもこの中で判定する。

＜第２のブロック：Ｂ２＞
Ｂ２は、Ｂ１で座標とＩＤデータの組を逐次得るごとに、実画像に合わせこむべき３ＤＣＧの位置や向き及び大きさなどを制御してＣＧ描画イメージを得る、いわゆるＡＲＣＧ合成を行う処理ブロックであり、このＢ２は、座標−ＩＤセットリスト４０、カメラ位置計算手段４１、３ＤＣＧモデルデータ４２、ＣＧ生成手段４３、及び、ＣＧ画像データ４４を含む。

なお、同図において、座標−ＩＤセットリスト４０、及び、３ＤＣＧモデルデータ４２はデータそのものを示す。また、ＣＧ画像データ４４は画像データそのものを示す。そして、カメラ位置計算手段４１、及び、ＣＧ生成手段４３は処理部を示す。

各部の詳細は、以下のとおりである。
座標−ＩＤセットリスト４０は、各光マーカのＩＤとその空間的配置の規則性を規定したデータである。カメラ位置計算手段４１は、座標−ＩＤセットリスト４０のデータを元に３ＤＣＧモデルで表現される対象位置とカメラの相対位置関係を算出し、目的の３ＤＣＧモデルをカメラ画像に一致させて表示する場合のパラメータを得る手段である。３ＤＣＧモデルデータ４２は、３ＤＣＧデータである。ＣＧ生成手段４３は、３ＤＣＧモデルデータ４２をカメラ位置計算４１により得られたパラメータに基づきモニタ画像に一致させた、ＣＧを生成する手段である。ＣＧ画像データ４４は、ＣＧ生成手段４３で得た画像データである。

＜第３のブロック：Ｂ３＞
Ｂ３は、モニタ画像において、前景となるべきオブジェクトの決定を行う本実施形態の特徴となる処理ブロックであり、後景オブジェクト抜き出し手段４５、後景オブジェクト画像データ４６、背景画像データ４７、オブジェクト抜き出し手段４８、オブジェクト画像データ４９、前景オブジェクト抜き出し手段５０、及び、前景オブジェクト画像データ５１を含む。

なお、同図において、後景オブジェクト抜き出し手段４５、オブジェクト抜き出し手段４８、及び、前景オブジェクト抜き出し手段５０は処理部を示す。また、後景オブジェクト画像データ４６、背景画像データ４７、オブジェクト画像データ４９、及び、前景オブジェクト画像データ５１は画像データそのものを示す。

各部の詳細は、以下のとおりである。
後景オブジェクト判定抜き出し手段４５は、図１０のような、自己発光だけでなく、特定変調光で照らされた間接照射部分も検出するための手段である。具体的には、照射部分は相関は同様でも輝度として低いので、検出として小さい輝度変化でも時間相関領域として判定できるよう、パラメータを調整され、また、必要に応じて適宜、連結領域判定や、人の着ている服に左右されずまた、オブジェクトが人影であることを利用して、光景の照射オブジェクト領域を抜き出す処理手段である。後景オブジェクト画像データ４６は、後景オブジェクト判定抜き出し手段４５から出力された画像データである。背景画像データ４７は、オブジェクト切り出しのため、当初から何もオブジェクトがない状態を示したの画像データである。オブジェクト抜き出し手段４８は、一般的な画像認識による、オブジェクト認識、たとえば、前述のように一様背景からの単純差分での抜き出しや、人影の形状に基づき、オブジェクトの存在を切り出すような公知の処理手段である。オブジェクト画像データ４９は、そのようにして得た、オブジェクトだけを抜き出した画像データである。前景オブジェクト抜き出し手段５０はオブジェクト画像データ４９から、後景オブジェクト画像データ４６の画像を画像減算で演算して、前景オブジェクト画像を抜き出す手段である。前景オブジェクト画像データ５１は、前景オブジェクト抜き出し手段５０の処理結果としての画像データである。

＜共通要素＞
さらに、画像合成部３は、これら３つの処理ブロック（Ｂ１〜Ｂ３）を備えるとともに、それらの処理ブロックの共通要素として、さらに、モニタ画像データ５２と、画像合成手段５３とを備える。

なお、モニタ画像データ５２は画像データそのものを示し、画像合成手段５３は処理部を示す。モニタ画像データ５２は、カメラスルーの入力画像そのものである。画像合成手段５３は、入力されたモニタ画像データ５２に、処理ブロックＢ２で得たＣＧ画像データ４４、処理ブロックＢ３で得た前景オブジェクト画像データ５１を順に重ね合わせる手段である。

次に、実施形態の利用シーンについて、具体的に説明する。
図８は、利用シーンの一例を示す図である。この図では、光マーカ５を間にして、その前後に人物７、８が位置する利用シーンを例示している。

いま、光マーカ５からの光信号に基づいて生成された仮想環境（ここでは３ＤＣＧ）の画像を、先の図５に示したような仮想画像１０（箱状の単純図形）とし、その仮想画像１０の合成位置を人物７、８の間にする（オクルージョン制御する）ことを考える。

図９は、実施形態における人物７、８の前後関係判定の概念図である。この図において、今、撮像部２の撮影範囲内に人物７、８と光マーカ５が位置しているものとし、且つ、その並び順は、撮像部２に近い方から順に人物７、光マーカ５、人物８とする。

このような並び順において、光マーカ５からの光の照射状況により、人物７は、その後ろ部分（背中側）が明るく照らし出され、また、人物８は、その前部分（顔や胸及び腹など）が明るく照らし出される。ちなみに、人物７、８のハッチング部分は、光マーカ５からの光が当たらない陰の部分を表している。

図１０は、図９の利用シーンにおける撮影画像を示す図であり、詳細には背景光排除画像バッファに格納される画像データに基づく画像を示すものである。同図の画像は、撮像部２の撮影画像から定常光と外乱光を排除し、光マーカ５が発する光（発光部５２１〜５２８の光）とその光により照射された人物８のオブジェクトとからなる。
図１１は、図１０の画像からマーカ領域の光（発光部５２１〜５２８の光）だけを取り出した図である。

これらの図において、図１０の画像には人物８だけが写っている（換言すれば人物７は光マーカ５の光により照射されていない）。これは、先の図９で示したように、光マーカ５からの光により、人物８の前部分が明るく照らし出されているからであり、人物７の前部分は暗い陰の部分になっているからである。

また、図１１の画像は、マーカ領域を切り抜いたものである。間接光と直接光は、一般に極端に輝度が変わるので、外乱光排除画像の中で特定スレッシュ以上の輝度領域を選択すればよい。この領域中心をデータ受信の代表座標とするなどして、以後のＩＤデータの受信処理ブロック（Ｂ１）で利用する。

図１２は、人物７、８の抽出画像を示す図である。この抽出画像は公知の画像処理技術によって得ることができる。すなわち、オブジェクト（人物７、８）は、モニタ画像データ５２と背景画像データ４７との差分を使って得ることができる。あるいは、オブジェクト（人物７、８）の動きを検出して得ることもできるほか、他の様々な画像処理技術を利用しても得ることが可能である。

図１３は、人物８のみの画像を示す図である。これは後景オブジェクト画像データ４６に基づいた画像であり、照射領域の画像部分として抽出することができる。

図１４は、人物７のみの画像を示す図である。これは前景オブジェクト画像データ５１に基づいた画像であり、モニタ画像データ５２と背景画像データ４７との差分と、後景オブジェクト画像データ４６とのＡＮＤ演算によって得ることができる。

このように、人物７、８を、人物７については後景オブジェクト画像、人物８については前景オブジェクト画像として抽出できるので、これらのオブジェクト画像の間に仮想画像１０（図５参照）を配置したような合成を行なうことができる。

図１５は、この場合における合成画像を示す図である。この図において、人物７と人物８の間に仮想画像１０が合成されている。

以上のとおりであるから、本実施形態によれば、特別なデータを必要とすることなく奥行きのある合成画像を生成することができるという格別の効果を奏することができる。

なお、本実施形態においては、処理ブロックＢ２の動作は画像合成部３で行なうものとしたがこれに限らず、復号した情報と自己の位置情報や撮像方向を外部のネットワークを介して所定のＣＧ蓄積サーバへ送信し、ＣＧ蓄積サーバ側で合成すべきＣＧ（仮想画像）を選択し、画像合成部へ送信する構成としてもよい。
また、本実施形態においては情報を輝度変調にて送信するようにしたが、色相における所定の色変移をビットデータに割り当て、光マーカを複色発光させる構成にしてもよい。
さらに、本実施形態においては、画像合成手段５３は、入力されたモニタ画像データ５２に、処理ブロックＢ２で得たＣＧ画像データ４４、処理ブロックＢ３で得た前景オブジェクト画像データ５１を順に重ね合わせる処理を行ったがこれに限らず、ＣＧ画像データと前景オブジェクト画像データ５１とを含んだモニタ画像データ５２において奥行きが表現できていれば他の処理であってもよい。
この他の処理とは、具体的には、画素レベルでモニタ画像データ５２、ＣＧ画像データ４４、及び、抜き出された前景オブジェクト画像データ５１が重なる領域を特定し、この特定された領域については、前景オブジェクト画像データ５１に対応する画素領域を優先し、他の画素領域については無効化する等の処理である。

以下に、本件出願の特許請求の範囲に記載された発明を付記する。
（付記１）
請求項１に記載の発明は、
情報を時系列を伴った変調方式で変調しこの変調された情報を光に重畳させて発光する光源とオブジェクトとを撮像画角に収めた画像を、時系列的に連続して取得する第１の取得手段と、
この第１の取得手段によって時系列的に連続して取得された画像に含まれる、変調された光から前記情報を復元する復元手段と、
この復元手段によって復元された情報に基づいて画像を生成する画像生成手段と、
前記第１の取得手段によって連続的に撮像して取得された画像における、前記オブジェクトへの前記変調された光の照射状況に基づいて、当該画像から前記オブジェクトに対応する画像領域を抜き出す処理を行う処理手段と、
前記画像に前記光源の存在位置に基づいて前記画像生成手段によって生成された画像と、前記処理手段によって抜き出された画像領域と、を合成する合成手段と、
を備えることを特徴とする画像合成装置である。
（付記２）
請求項２に記載の発明は、
前記オブジェクトが存在しない状態の前記撮像画角の画像を取得する第２の取得手段をさらに備え、
前記処理手段は、前記オブジェクトへの前記変調された光の照射状況に加え、前記第１の取得手段によって取得された画像と前記第２の取得手段によって取得された画像とを比較して、前記オブジェクトに対応する画像領域を抜き出す処理を行うことを特徴とする請求項１記載の画像合成装置である。
（付記３）
請求項３に記載の発明は、
前記合成手段は、
前記画像における前記光源の存在位置に基づいて、この画像に前記画像生成手段によって生成された画像を合成する第１の合成手段と、
前記処理手段によって抜き出された画像領域を、前記第１の合成手段によって合成された画像に重畳合成する第２の合成手段と、
を含むことを特徴とする請求項１又は２記載の画像合成装置である。
（付記４）
請求項４に記載の発明は、
前記第１の取得手段により取得された画像から、前記光源の発光による高輝度領域を特定する領域特定手段をさらに備え、
前記第１の合成手段は、前記領域特定手段によって特定された高輝度領域を前記光源の存在位置と見做して、これに基づいてこの画像に前記画像生成手段によって生成された画像を合成することを特徴とする請求項３に記載の画像合成装置である。
（付記５）
請求項５に記載の発明は、
前記第１の取得手段は、撮像手段を含むことを特徴とする請求項１乃至４の何れかに記載の画像合成装置である。
（付記６）
請求項６に記載の発明は、
情報を時系列を伴った変調方式で変調しこの変調された情報を光に重畳させて発光する光源とオブジェクトとを撮像画角に収めた画像を、時系列的に連続して取得する取得ステップと、
この取得ステップにて時系列的に連続して取得された画像に含まれる、変調された光から前記情報を復元する復元ステップと、
この復元ステップにて復元された情報に基づいて画像を生成する画像生成ステップと、
前記取得ステップにて連続的に撮像して取得された画像における、前記オブジェクトへの前記変調された光の照射状況に基づいて、当該画像から前記オブジェクトに対応する画像領域を抜き出す処理を行う処理ステップと、
前記画像に前記光源の存在位置に基づいて前記画像生成ステップにて生成された画像と、前記処理ステップにて抜き出された画像領域と、を合成する合成ステップと、
を含むことを特徴とする画像合成方法である。
（付記７）
請求項７に記載の発明は、
コンピュータを、
情報を時系列を伴った変調方式で変調しこの変調された情報を光に重畳させて発光する光源とオブジェクトとを撮像画角に収めた画像を、時系列的に連続して取得する取得手段、
この取得手段によって時系列的に連続して取得された画像に含まれる、変調された光から前記情報を復元する復元手段、
この復元手段によって復元された情報に基づいて画像を生成する画像生成手段、
前記取得手段によって連続的に撮像して取得された画像における、前記オブジェクトへの前記変調された光の照射状況に基づいて、当該画像から前記オブジェクトに対応する画像領域を抜き出す処理を行う処理手段、
前記画像に前記光源の存在位置に基づいて前記画像生成手段によって生成された画像と、前記処理手段によって抜き出された画像領域と、を合成する合成手段、
として機能させることを特徴とするプログラムである。
（付記８）
請求項８に記載の発明は、
情報を時系列を伴った変調方式で変調し、この変調された情報を光に重畳させて発光する光源と、撮像装置とを含み、
前記撮像装置は、
前記光源とオブジェクトとを撮像画角に収めた画像を、連続的に撮像して取得する取得手段と、
この取得手段によって連続的に撮像して取得された画像に含まれる、変調された光から前記情報を復元する復元手段と、
この復元手段によって復元された情報に基づいて画像を生成する画像生成手段と、
前記取得手段によって連続的に撮像して取得された画像における、前記オブジェクトへの前記変調された光の照射状況に基づいて、当該画像から前記オブジェクトに対応する画像領域を抜き出す処理を行う処理手段と、
前記画像に前記光源の存在位置に基づいて前記画像生成手段によって生成された画像と、前記処理手段によって抜き出された画像領域と、を合成する合成手段と、
を備えることを特徴とする画像合成システムである。

１画像合成システム
２撮像部
３画像合成部
５光マーカ
６〜８人物
１０仮想画像
３３通信処理用画像バッファ
３４ヘッダ相関検出手段
３５背景光排除画像バッファ
３６信号領域決定手段
３７受信座標リスト
３８ビットデコード手段
３９ビットバッファ
４５後景オブジェクト抜き出し手段
４８オブジェクト抜き出し手段
５０前景オブジェクト抜き出し手段
５３画像合成手段
５２１〜５２８発光部
５２９光源
５３０ドライバ／点滅制御器
５３１送出ＩＤデータメモリ

Claims

情報を時系列を伴った変調方式で変調しこの変調された情報を光に重畳させて発光する光源とオブジェクトとを撮像画角に収めた画像を、時系列的に連続して取得する第１の取得手段と、
この第１の取得手段によって時系列的に連続して取得された画像に含まれる、変調された光から前記情報を復元する復元手段と、
この復元手段によって復元された情報に基づいて画像を生成する画像生成手段と、
前記第１の取得手段によって連続的に撮像して取得された画像における、前記オブジェクトへの前記変調された光の照射状況に基づいて、当該画像から前記オブジェクトに対応する画像領域を抜き出す処理を行う処理手段と、
前記画像に前記光源の存在位置に基づいて前記画像生成手段によって生成された画像と、前記処理手段によって抜き出された画像領域と、を合成する合成手段と、
を備えることを特徴とする画像合成装置。
前記オブジェクトが存在しない状態の前記撮像画角の画像を取得する第２の取得手段をさらに備え、
前記処理手段は、前記オブジェクトへの前記変調された光の照射状況に加え、前記第１の取得手段によって取得された画像と前記第２の取得手段によって取得された画像とを比較して、前記オブジェクトに対応する画像領域を抜き出す処理を行うことを特徴とする請求項１記載の画像合成装置。
前記合成手段は、
前記画像における前記光源の存在位置に基づいて、この画像に前記画像生成手段によって生成された画像を合成する第１の合成手段と、
前記処理手段によって抜き出された画像領域を、前記第１の合成手段によって合成された画像に重畳合成する第２の合成手段と、
を含むことを特徴とする請求項１又は２記載の画像合成装置。
前記第１の取得手段により取得された画像から、前記光源の発光による高輝度領域を特定する領域特定手段をさらに備え、
前記第１の合成手段は、前記領域特定手段によって特定された高輝度領域を前記光源の存在位置と見做して、これに基づいてこの画像に前記画像生成手段によって生成された画像を合成することを特徴とする請求項３に記載の画像合成装置。
前記第１の取得手段は、撮像手段を含むことを特徴とする請求項１乃至４の何れかに記載の画像合成装置。
情報を時系列を伴った変調方式で変調しこの変調された情報を光に重畳させて発光する光源とオブジェクトとを撮像画角に収めた画像を、時系列的に連続して取得する取得ステップと、
この取得ステップにて時系列的に連続して取得された画像に含まれる、変調された光から前記情報を復元する復元ステップと、
この復元ステップにて復元された情報に基づいて画像を生成する画像生成ステップと、
前記取得ステップにて連続的に撮像して取得された画像における、前記オブジェクトへの前記変調された光の照射状況に基づいて、当該画像から前記オブジェクトに対応する画像領域を抜き出す処理を行う処理ステップと、
前記画像に前記光源の存在位置に基づいて前記画像生成ステップにて生成された画像と、前記処理ステップにて抜き出された画像領域と、を合成する合成ステップと、
を含むことを特徴とする画像合成方法。
コンピュータを、
情報を時系列を伴った変調方式で変調しこの変調された情報を光に重畳させて発光する光源とオブジェクトとを撮像画角に収めた画像を、時系列的に連続して取得する取得手段、
この取得手段によって時系列的に連続して取得された画像に含まれる、変調された光から前記情報を復元する復元手段、
この復元手段によって復元された情報に基づいて画像を生成する画像生成手段、
前記取得手段によって連続的に撮像して取得された画像における、前記オブジェクトへの前記変調された光の照射状況に基づいて、当該画像から前記オブジェクトに対応する画像領域を抜き出す処理を行う処理手段、
前記画像に前記光源の存在位置に基づいて前記画像生成手段によって生成された画像と、前記処理手段によって抜き出された画像領域と、を合成する合成手段、
として機能させることを特徴とするプログラム。
情報を時系列を伴った変調方式で変調し、この変調された情報を光に重畳させて発光する光源と、撮像装置とを含み、
前記撮像装置は、
前記光源とオブジェクトとを撮像画角に収めた画像を、連続的に撮像して取得する取得手段と、
この取得手段によって連続的に撮像して取得された画像に含まれる、変調された光から前記情報を復元する復元手段と、
この復元手段によって復元された情報に基づいて画像を生成する画像生成手段と、
前記取得手段によって連続的に撮像して取得された画像における、前記オブジェクトへの前記変調された光の照射状況に基づいて、当該画像から前記オブジェクトに対応する画像領域を抜き出す処理を行う処理手段と、
前記画像に前記光源の存在位置に基づいて前記画像生成手段によって生成された画像と、前記処理手段によって抜き出された画像領域と、を合成する合成手段と、
を備えることを特徴とする画像合成システム。