JP6214427B2 - 空間共有装置、空間共有システム、空間共有方法、およびプログラム - Google Patents

Description

本発明は、空間共有装置、空間共有システム、空間共有方法、およびプログラムに関する。

従来、遠隔地コミュニケーションシステムとして、テレビ会議システムやテレプレゼンスシステムなどが利用されている。また、互いに離れた拠点に存在している参加者に、各参加者が同じ空間内（例えば、同じ会議室内など）に存在しているような感覚を提供するシステムも提案されている。このシステムは、物理的に同じ空間（例えば、壁紙や机や椅子などの備品が同一である会議室など）を各拠点に予め作っておき、参加者を含む各拠点の空間映像を他の拠点に送信して再現する。しかし、物理的に同じ空間を各拠点に予め作っておくことは、コストの増大を招いてしまう。

そこで、各拠点の空間映像から参加者の画像を抽出し、抽出した参加者の画像を他の拠点に送信し、他の拠点の空間映像に合成する技術が提案されている（例えば、非特許文献１参照）。この技術によれば、物理的に同じ空間を各拠点に予め作っておく必要がないので、コストの増大を抑制することができる。

菅野勝、山田健太郎、内藤整、"没入型テレビ会議システムのための空間共有"、２０１２年映像情報メディア学会冬季大会、２０１２年

非特許文献１に示されている技術では、上述のように、各拠点の空間映像から参加者の画像を抽出する。この際に、空間映像において参加者が机や他の参加者の背後に隠れるといった、オクルージョンが発生していると、抽出した参加者の画像に欠損が生じてしまう。欠損が生じている参加者の画像を他の拠点の空間映像に合成すると、合成した映像において、参加者の手前（参加者よりもカメラに近い側）に物体がないにもかかわらず、この参加者の画像の一部が欠けた状態で表示されてしまう。このため、合成した映像を見ている他の参加者に、違和感を与えてしまうおそれがあった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、互いに異なる空間に存在している参加者に、違和感を与えることなく、各参加者が同じ空間内に存在しているような感覚を提供することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。
（１） 本発明は、第１の空間（例えば、後述の自拠点の空間に相当）とは異なる第２の空間（例えば、後述の他拠点の空間に相当）で撮影された空間映像を画像処理する空間共有装置であって、前記第１の空間内の情報を取得する空間取得手段（例えば、図１の空間取得部１０に相当）と、前記空間取得手段により取得された情報を解析する空間解析手段（例えば、図１の空間解析部２０に相当）と、前記空間解析手段による解析結果に基づいて、前記第２の空間で撮影された空間映像のテクスチャを補正する空間再現手段（例えば、図１の空間再現部３０に相当）と、を備えることを特徴とする空間共有装置を提案している。

この発明によれば、空間取得手段により、第１の空間内の情報を取得し、空間解析手段により、空間取得手段により取得された情報を解析し、空間再現手段により、空間解析手段による解析結果に基づいて、第２の空間で撮影された空間映像のテクスチャを補正することとした。このため、手前に物体が存在していないにもかかわらず参加者の画像の一部が欠けてしまうという状況の発生を、防止するとともに、第２の空間で撮影された空間映像のテクスチャを、第１の空間のテクスチャと同様にすることができる。したがって、第１の空間に存在している参加者に、違和感を与えることなく、第２の空間に存在している参加者が同じ空間内に存在しているような感覚を提供することができる。

（２） 本発明は、（１）の空間共有装置について、前記空間再現手段は、前記第２の空間で撮影された空間映像のテクスチャとして、前記第２の空間で撮影された空間映像における模様および色のうち少なくともいずれかを補正することを特徴とする空間共有装置を提案している。

この発明によれば、（１）の空間共有装置において、空間再現手段により、第２の空間で撮影された空間映像のテクスチャとして、第２の空間で撮影された空間映像における模様および色のうち少なくともいずれかを補正することとした。このため、第２の空間で撮影された空間映像における模様および色のうち少なくともいずれかを、第１の空間の模様および色のうち少なくともいずれかと同様にすることができる。

（３） 本発明は、（１）または（２）の空間共有装置について、前記空間取得手段は、前記第１の空間内の奥行き情報を取得する奥行情報取得手段（例えば、図３の奥行情報取得部１１に相当）と、前記第１の空間内のテクスチャ情報を取得するテクスチャ情報取得手段（例えば、図３のテクスチャ情報取得部１２に相当）と、を備えることを特徴とする空間共有装置を提案している。

この発明によれば、（１）または（２）の空間共有装置において、空間取得手段に、第１の空間内の奥行き情報を取得する奥行情報取得手段と、第１の空間内のテクスチャ情報を取得するテクスチャ情報取得手段と、を設けることとした。このため、空間取得手段により、第１の空間内の情報として、第１の空間内の奥行き情報およびテクスチャ情報を取得することができる。

（４） 本発明は、（３）の空間共有装置について、前記空間解析手段は、前記奥行情報取得手段により取得された奥行情報と、前記テクスチャ情報取得手段により取得されたテクスチャ情報と、に基づいて、色情報を有する点群情報を生成する点群情報生成手段（例えば、図４の点群情報生成部２２に相当）と、前記点群情報生成手段により生成された点群情報に対して予め定められた表面モデルを当てはめて、前記点群情報生成手段により生成された点群情報を有する点群のうち前記第１の空間を構成する表面（例えば、後述の壁や床に相当）に該当する点を特定する表面特定手段（例えば、図４の表面特定部２３に相当）と、前記点群情報生成手段により生成された点群情報を有する点群のうち前記表面特定手段により特定されたものを除くものをクラスタリングして、前記第１の空間に配置される物体（例えば、後述の椅子やテーブルに相当）ごとに当該物体に属する点を特定する物体特定手段（例えば、図４の物体特定部２４に相当）と、前記表面特定手段により特定された表面に該当する点と、前記物体特定手段により特定された物体に属する点と、から色情報を統計的に抽出する色情報抽出手段（例えば、図４の色情報抽出部２５に相当）と、テクスチャ情報取得手段により取得されたテクスチャ情報と、表面特定手段により特定された表面に該当する点についての情報と、物体特定手段により特定された物体に属する点についての情報と、を用いて、前記テクスチャ情報取得手段により取得された前記第１の空間内のテクスチャ情報を複数の領域に分割するテクスチャ分割手段（例えば、図４のテクスチャ分割部２６に相当）と、を備えることを特徴とする空間共有装置を提案している。

この発明によれば、（３）の空間共有装置において、空間解析手段に、点群情報生成手段、表面特定手段、物体特定手段、色情報抽出手段、およびテクスチャ分割手段を設けることとした。このため、第１の空間を構成する表面や、第１の空間に配置される物体に応じて、第１の空間内のテクスチャ情報を複数の領域に分割することができる。

（５） 本発明は、（４）の空間共有装置について、前記テクスチャ分割手段は、前記テクスチャ情報取得手段により取得された前記第１の空間内のテクスチャ情報を、表面の領域と、物体の領域と、前記表面の領域でも前記物体の領域でもない領域と、に分割することを特徴とする空間共有装置を提案している。

この発明によれば、（４）の空間共有装置において、テクスチャ分割手段により、テクスチャ情報取得手段により取得された第１の空間内のテクスチャ情報を、表面の領域と、物体の領域と、表面の領域でも物体の領域でもない領域と、に分割することができる。

（６） 本発明は、（４）または（５）の空間共有装置について、前記空間解析手段は、前記奥行情報取得手段により取得された奥行情報と、前記テクスチャ情報取得手段により取得されたテクスチャ情報と、を用いて、前記テクスチャ情報取得手段により取得されたテクスチャ情報の中から、被写体の画像の領域である被写体領域を抽出する被写体抽出手段（例えば、図４の被写体抽出部２１に相当）を備え、前記テクスチャ分割手段は、テクスチャ情報取得手段により取得されたテクスチャ情報と、前記表面特定手段により特定された表面に該当する点についての情報と、前記物体特定手段により特定された物体に属する点についての情報と、前記被写体抽出手段により抽出された被写体領域と、を用いて、前記テクスチャ情報取得手段により取得された前記第１の空間内のテクスチャ情報を、前記表面の領域と、前記物体の領域と、前記被写体領域と、前記表面の領域でも前記物体の領域でも前記被写体領域でもない領域と、に分割することを特徴とする空間共有装置を提案している。

この発明によれば、（４）または（５）の空間共有装置において、空間解析手段に、テクスチャ情報取得手段により取得されたテクスチャ情報の中から被写体領域を抽出する被写体抽出手段を設けることとした。このため、テクスチャ分割手段により、テクスチャ情報取得手段により取得された第１の空間内のテクスチャ情報を、表面の領域と、物体の領域と、被写体領域と、表面の領域でも物体の領域でも被写体領域でもない領域と、に分割することができる。

（７） 本発明は、（４）から（６）のいずれかの空間共有装置について、前記空間再現手段は、前記表面特定手段により特定された点が該当する表面と、前記物体特定手段により特定された点が属する物体と、について前記第１の空間と前記第２の空間との間で対応付ける空間対応設定手段（例えば、図５の空間対応設定部３１に相当）と、前記第２の空間で撮影された空間映像における表面または物体の領域の色情報を、前記空間対応設定手段により対応付けられた前記第１の空間における表面または物体の領域の色情報を用いて調整する色調整手段（例えば、図５の色調整部３２に相当）と、を備えることを特徴とする空間共有装置を提案している。

この発明によれば、（４）から（６）のいずれかの空間共有装置において、空間再現手段に、空間対応設定手段および色調整手段を設けることとした。このため、第２の空間で撮影された空間映像における表面または物体の領域の色情報を、第１の空間において対応する表面または物体の領域の色情報を用いて、調整することができる。

（８） 本発明は、（７）の空間共有装置について、前記色情報抽出手段は、前記点群情報生成手段により生成された点群情報の色情報を、明るさの情報を独立に扱う色空間（例えば、後述のＹＣｂＣｒやＹＵＶやＨＳＶに相当）に変換し、前記表面特定手段により特定された点が該当する表面のそれぞれと、前記物体特定手段により特定された点が属する物体のそれぞれと、について、前記色空間の各成分の平均値および分散値、または、前記色空間の各成分のカラーヒストグラムを求め、前記色調整手段は、前記第２の空間で撮影された空間映像における表面または物体の領域の色情報を、前記空間対応設定手段により対応付けられた前記第１の空間における表面または物体の領域について前記色情報抽出手段により求められた結果を用いて調整することを特徴とする空間共有装置を提案している。

この発明によれば、（７）の空間共有装置において、色空間の各成分の平均値および分散値、または、色空間の各成分のカラーヒストグラムを用いて、第２の空間で撮影された空間映像における表面または物体の領域の色情報を調整することができる。

（９） 本発明は、第１の空間（例えば、後述の自拠点の空間に相当）に配置された第１の空間共有装置と、第２の空間（例えば、後述の他拠点の空間に相当）に配置された第２の空間共有装置と、を備える空間共有システムであって、前記第１の空間共有装置は、前記第１の空間内の情報を取得する第１の空間取得手段（例えば、図１の空間取得部１０に相当）と、前記第１の空間取得手段により取得された情報を解析する第１の空間解析手段（例えば、図１の空間解析部２０に相当）と、前記第１の空間解析手段による解析結果に基づいて、前記第２の空間で撮影された空間映像のテクスチャを補正する第１の空間再現手段（例えば、図１の空間再現部３０に相当）と、を備え、前記第２の空間共有装置は、前記第２の空間内の情報を取得する第２の空間取得手段（例えば、図１の空間取得部１０に相当）と、前記第２の空間取得手段により取得された情報を解析する第２の空間解析手段（例えば、図１の空間解析部２０に相当）と、前記第２の空間解析手段による解析結果に基づいて、前記第１の空間で撮影された空間映像のテクスチャを補正する第２の空間再現手段（例えば、図１の空間再現部３０に相当）と、を備えることを特徴とする空間共有システムを提案している。

この発明によれば、上述した効果と同様の効果を奏することができる。

（１０） 本発明は、空間取得手段（例えば、図１の空間取得部１０に相当）、空間解析手段（例えば、図１の空間解析部２０に相当）、および空間再現手段（例えば、図１の空間再現部３０に相当）を備え、第１の空間（例えば、後述の自拠点の空間に相当）とは異なる第２の空間（例えば、後述の他拠点の空間に相当）で撮影された空間映像を画像処理する空間共有装置における空間共有方法であって、前記空間取得手段が、前記第１の空間内の情報を取得する第１のステップと、前記空間解析手段が、前記第１のステップにより取得された情報を解析する第２のステップと、前記空間再現手段が、前記第２のステップによる解析結果に基づいて、前記第２の空間で撮影された空間映像のテクスチャを補正する第３のステップと、を備えることを特徴とする空間共有方法を提案している。

この発明によれば、上述した効果と同様の効果を奏することができる。

（１１） 本発明は、空間取得手段（例えば、図１の空間取得部１０に相当）、空間解析手段（例えば、図１の空間解析部２０に相当）、および空間再現手段（例えば、図１の空間再現部３０に相当）を備え、第１の空間（例えば、後述の自拠点の空間に相当）とは異なる第２の空間（例えば、後述の他拠点の空間に相当）で撮影された空間映像を画像処理する空間共有装置における空間共有方法を、コンピュータに実行させるためのプログラムであって、前記空間取得手段が、前記第１の空間内の情報を取得する第１のステップと、前記空間解析手段が、前記第１のステップにより取得された情報を解析する第２のステップと、前記空間再現手段が、前記第２のステップによる解析結果に基づいて、前記第２の空間で撮影された空間映像のテクスチャを補正する第３のステップと、をコンピュータに実行させるためのプログラムを提案している。

この発明によれば、コンピュータを用いてプログラムを実行することで、上述した効果と同様の効果を奏することができる。

本発明によれば、互いに異なる空間に存在している参加者に、違和感を与えることなく、各参加者が同じ空間内に存在しているような感覚を提供することができる。

本発明の一実施形態に係る空間共有システムのブロック図である。 前記実施形態に係る空間共有システムの動作を説明するための図である。 前記実施形態に係る空間共有システムにおける空間共有装置が備える空間取得部のブロック図である。 前記実施形態に係る空間共有システムにおける空間共有装置が備える空間解析部のブロック図である。 前記実施形態に係る空間共有システムにおける空間共有装置が備える空間再現部のブロック図である。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

［空間共有システムＡＡの構成および動作］
図１は、本発明の一実施形態に係る空間共有システムＡＡのブロック図である。空間共有システムＡＡは、複数（図１では２つ）の空間共有装置１を備える。これら複数の空間共有装置１のそれぞれは、互いに異なる空間に配置されており、インターネットや電話回線といった通信回線１００を介して互いに通信可能に設けられている。

空間共有装置１は、自身の配置されている空間の空間映像を、通信回線１００を介して他の空間共有装置１に送信するとともに、他の空間共有装置１から送信された空間映像の配色を、自身の配置されている空間に応じて変更する。空間共有装置１が行う処理の概要について、図２を用いて以下に説明する。

図２は、空間共有システムＡＡにより、拠点Ａに存在している参加者Ａ１１に対して、違和感を与えることなく、参加者Ｂ１１が同じ空間内に存在しているような感覚を提供するとともに、拠点Ｂに存在している参加者Ｂ１１に対して、違和感を与えることなく、参加者Ａ１１が同じ空間内に存在しているような感覚を提供する例を示す図である。

拠点Ａでは、椅子Ａ２１に参加者Ａ１１が着席しており、参加者Ａ１１の近傍にテーブルＡ３１が配置されている。一方、拠点Ｂでは、椅子Ｂ２１に参加者Ｂ１１が着席しており、参加者Ｂ１１の近傍にテーブルＢ３１が配置されている。なお、椅子Ａ２１と椅子Ｂ２１とでは、形状や大きさや配色が異なっているとともに、テーブルＡ３１とテーブルＢ３１とでは、形状や大きさや配色が異なっているものとする。

また、拠点Ａには、空間共有装置１（図示省略）と、拠点Ｂの空間映像を表示する表示手段Ａ１００と、が配置されている。拠点Ａに配置されている空間共有装置１は、拠点Ａの空間映像を撮影して、拠点Ｂに配置されている空間共有装置１に送信する。また、拠点Ａに配置されている空間共有装置１は、拠点Ｂに配置されている空間共有装置１から送信された空間映像の配色を、拠点Ａに応じて変更して、表示手段Ａ１００に表示させる。

なお、拠点Ａに配置されている空間共有装置１による上述の配色の変更では、拠点Ｂに配置されている空間共有装置１から送信された空間映像において、椅子Ｂ２１の配色を椅子Ａ２１の配色と同様に変更するとともに、テーブルＢ３１の配色をテーブルＡ３１の配色と同様に変更する。このため、表示手段Ａ１００には、椅子Ｂ６１として、椅子Ａ２１と同様の配色で椅子Ｂ２１が表示されるとともに、テーブルＢ７１として、テーブルＡ３１と同様の配色でテーブルＢ３１が表示されることになる。これによれば、表示手段Ａ１００に表示されている映像を視認している参加者Ａ１１は、自身が着席している椅子Ａ２１と同様の配色の椅子に参加者Ｂ１１が着席しているとともに、自身の近傍に配置されているテーブルＡ３１と同様の配色のテーブルが参加者Ｂ１１の近傍に配置されているように感じられるようになる。このため、参加者Ａ１１に、違和感を与えることなく、参加者Ｂ１１が同じ空間内に存在しているような感覚を提供することができる。

また、拠点Ｂには、空間共有装置１（図示省略）と、拠点Ａの空間映像を表示する表示手段Ｂ１００と、が配置されている。拠点Ｂに配置されている空間共有装置１は、拠点Ｂの空間映像を撮影して、拠点Ａに配置されている空間共有装置１に送信する。また、拠点Ｂに配置されている空間共有装置１は、拠点Ａに配置されている空間共有装置１から送信された空間映像の配色を、拠点Ｂに応じて変更して、表示手段Ｂ１００に表示させる。

なお、拠点Ｂに配置されている空間共有装置１による上述の配色の変更では、拠点Ａに配置されている空間共有装置１から送信された空間映像において、椅子Ａ２１の配色を椅子Ｂ２１の配色と同様に変更するとともに、テーブルＡ３１の配色をテーブルＢ３１の配色と同様に変更する。このため、表示手段Ｂ１００には、椅子Ａ６１として、椅子Ｂ２１と同様の配色で椅子Ａ２１が表示されるとともに、テーブルＡ７１として、テーブルＢ３１と同様の配色でテーブルＡ３１が表示されることになる。これによれば、表示手段Ｂ１００に表示されている映像を視認している参加者Ｂ１１は、自身が着席している椅子Ｂ２１と同様の配色の椅子に参加者Ａ１１が着席しているとともに、自身の近傍に配置されているテーブルＢ３１と同様の配色のテーブルが参加者Ａ１１の近傍に配置されているように感じられるようになる。このため、参加者Ｂ１１に、違和感を与えることなく、参加者Ａ１１が同じ空間内に存在しているような感覚を提供することができる。

［空間共有装置１の構成］
図１に戻って、空間共有装置１は、空間取得部１０、空間解析部２０、空間再現部３０、送信部４０、および受信部５０を備える。

［空間取得部１０の構成および動作］
図３は、空間取得部１０のブロック図である。空間取得部１０は、自身が配置されている空間における奥行情報およびテクスチャ情報を取得する。この空間取得部１０は、例えばＫｉｎｅｃｔ（登録商標）といったカメラを用いて構成され、奥行情報取得部１１およびテクスチャ情報取得部１２を備える。

奥行情報取得部１１は、例えばデプスカメラを用いて構成され、参加者のほぼ正面から参加者を撮影できる位置に配置される。この奥行情報取得部１１は、視野領域内の奥行情報を取得する。

テクスチャ情報取得部１２は、例えばカラーカメラを用いて構成され、奥行情報取得部１１と略同一の位置に配置され、奥行情報取得部１１と略同一の視野領域を有する。このテクスチャ情報取得部１２は、視野領域内のテクスチャ情報（空間映像）を取得する。

［空間解析部２０の構成および動作］
図４は、空間解析部２０のブロック図である。空間解析部２０は、空間取得部１０により取得された奥行情報およびテクスチャ情報を解析する。この空間解析部２０は、被写体抽出部２１、点群情報生成部２２、表面特定部２３、物体特定部２４、色情報抽出部２５、およびテクスチャ分割部２６を備える。

被写体抽出部２１は、空間取得部１０により取得された奥行情報およびテクスチャ情報を用いて、自身が配置されている空間の空間映像の中から、参加者の画像の領域である被写体領域を抽出する。被写体領域の抽出には、例えば、「山田健太郎、菅野勝、内藤整、柳原広昌、“テレプレゼンスのための距離・画像情報の適応参照による人物領域抽出”、２０１３年度画像電子学会第４１回年次大会、２０１３．６．」に示されている手法を用いることができる。

点群情報生成部２２は、奥行情報取得部１１により取得された奥行情報および計測条件と、テクスチャ情報取得部１２により取得されたテクスチャ情報と、被写体抽出部２１により抽出された被写体領域と、に基づいて、色情報を有する点群情報を生成する。

具体的には、点群情報生成部２２は、まず、テクスチャ情報取得部１２により取得されたテクスチャ情報から、被写体抽出部２１により抽出された被写体領域を取り除く。次に、上述の計測条件を用いて、被写体領域を取り除いた後のテクスチャ情報における座標（ｘ、ｙ）上のマッピングとしての奥行情報ｄ（ｘ、ｙ）を、対応する３次元実空間の座標値（Ｘ、Ｙ、Ｚ）に変換する。次に、変換した実空間の座標値のそれぞれに色情報を付加して、点群情報を生成する。

なお、空間映像における座標値ｘ、ｙのそれぞれは、一般的に画素位置であって整数で与えられるが、点群情報における値Ｘ、Ｙ、Ｚのそれぞれは、一般的に実数になる。また、上述のように色情報を付加するために、奥行情報取得部１１とテクスチャ情報取得部１２との対応関係が、校正器具などを用いて予め校正されているものとする。また、計測条件とは、テクスチャ情報取得部１２により取得された空間映像上の各座標（ｘ、ｙ）が、奥行情報取得部１１から見てどの方向であるか、といったことであり、奥行情報取得部１１がデプスカメラを用いて構成されている場合には、このデプスカメラの画角や焦点距離などのパラメータのことである。

表面特定部２３は、点群情報生成部２２により生成された点群情報を有する点群のうち、空間を構成する表面（例えば、壁や床など）に該当する点を特定する。これによれば、点群情報生成部２２により生成された点群情報を有する点群のうち、表面特定部２３により特定された表面に該当する点を除くものが、上述の空間に配置される物体（例えば、椅子やテーブルなど）に属する点の候補になる。

なお、所定の表面モデルを与えることにより、曲面といった任意形状の面として表面を特定することができる。例えば、表面の形状を平面としてモデル化する場合には、ＲＡＮＳＡＣモデルに基づいて、各平面に属する点を推定することができる。そこで、表面特定部２３は、点群情報生成部２２により生成された点群情報を有する点群のうち表面に該当する点を特定する際には、点群情報生成部２２により生成された点群情報に対して所定の表面モデルを当てはめる。

ＲＡＮＳＡＣモデルに基づいて各平面に属する点を推定する場合、まず、第１の処理として、点群情報生成部２２により生成された点群情報を有する点群の中からランダムに点を取得して平面を形成し、他の全ての点に対してその平面との距離を求める。次に、第２の処理として、求めた距離が予め定められた閾値以上になる点を外れ値とする。次に、外れ値を除く全ての点と平面との距離が上述の閾値未満になるように、上述の第１の処理および第２の処理を繰り返す。これによれば、最終的な平面が求まるとともに、求まった平面に対して外れ値にならなかった点を、この平面に属する点として特定することができる。

なお、点群情報生成部２２により生成された点群情報を有する点群の中から、上述のように平面に属する点として特定されたものを除去した後に、上述の第１の処理および第２の処理を再度繰り返すことで、最終的な平面を複数求めるとともに、求めた平面ごとに属する点を特定してもよい。この場合、例えば、上述の第１の処理および第２の処理の繰り返しを、上述のように平面に属する点として抽出されたものを除去した後に残った点群の数が予め定められた数以下になったり、最終的に求めた平面の数が予め定められた数になったりしたら、終了することとしてもよい。

物体特定部２４は、点群情報生成部２２により生成された点群情報を有する点群のうち表面特定部２３により特定された点を除くものを対象として、各物体に属する点を特定する。各物体に属する点を特定する際には、例えば、点群情報生成部２２により生成された点群情報のうち表面特定部２３により特定された点を除くものについて、ユークリッド距離に基づいたクラスタリングを行ってグループ分けを行う。具体的には、１つの物体として統合する最大のユークリッド距離を指定し、ユークリッド距離が指定した値以下になる点を同一の物体に属する点とする。これによれば、点群情報生成部２２により生成された点群情報を有する点群のうち表面特定部２３により特定された点を除くものが、各物体に属する点と、表面にも物体にも属さない点と、に分類されることになる。

色情報抽出部２５は、表面特定部２３により特定された表面に該当する点と、物体特定部２４により特定された各物体に属する点と、から色情報を統計的に抽出する。色情報の抽出は、表面や物体ごとに行われ、例えばＹＣｂＣｒ色空間であれば、色情報として、Ｙ、Ｃｂ、Ｃｒの値の平均値および分散値や、Ｙ、Ｃｂ、Ｃｒのカラーヒストグラムが求められる。

テクスチャ分割部２６は、テクスチャ情報取得部１２により取得されたテクスチャ情報と、被写体抽出部２１により抽出された被写体領域についての情報と、表面特定部２３により特定された表面に該当する点についての情報と、物体特定部２４により特定された各物体に属する点についての情報と、を用いて、テクスチャ情報取得部１２により取得された空間映像を、被写体領域と、表面の領域と、物体の領域と、その他の領域と、に分割する。

なお、空間映像から分割する被写体領域については、被写体抽出部２１により抽出された被写体領域をそのまま適用する。一方、表面の領域については、表面特定部２３により特定された表面に該当する点を、テクスチャ情報取得部１２により取得された空間映像に投影し、投影した位置をシードとして例えばＧｒａｂＣｕｔアルゴリズムにより画像領域分割を行って、表面の領域を抽出する。また、物体の領域については、物体特定部２４により特定された各物体に属する点を、テクスチャ情報取得部１２により取得された空間映像に投影し、投影した位置をシードとして例えばＧｒａｂＣｕｔアルゴリズムにより画像領域分割を行って、物体の領域を抽出する。また、その他の領域については、テクスチャ情報取得部１２により取得された空間映像のうち、被写体領域と、表面の領域と、物体の領域と、のいずれにも属さない領域を適用する。

［送信部４０の動作］
送信部４０は、自身が配置されている拠点（自拠点）のテクスチャ情報取得部１２により取得された空間映像と、自拠点の空間解析部２０による解析結果と、を自拠点とは異なる拠点（他拠点）の受信部５０に送信する。自拠点の空間解析部２０による解析結果には、自拠点の表面特定部２３により特定された表面に該当する点についての点群情報と、自拠点の物体特定部２４により特定された物体に属する点についての点群情報と、自拠点の色情報抽出部２５により抽出された色情報と、自拠点のテクスチャ分割部２６による分割結果に関する情報と、が含まれる。

［受信部５０の動作］
受信部５０は、他拠点のテクスチャ情報取得部１２により取得された空間映像と、他拠点の空間解析部２０による解析結果と、を受信する。他拠点の空間解析部２０による解析結果には、他拠点の表面特定部２３により特定された表面に該当する点についての点群情報と、他拠点の物体特定部２４により特定された物体に属する点についての点群情報と、他拠点の色情報抽出部２５により抽出された色情報と、他拠点のテクスチャ分割部２６による分割結果に関する情報と、が含まれる。

［空間再現部３０の構成および動作］
図５は、空間再現部３０のブロック図である。空間再現部３０は、自拠点の空間解析部２０による解析結果と、他拠点の空間解析部２０による解析結果と、に基づいて、他拠点の空間映像の配色を変更する。この空間再現部３０は、空間対応設定部３１および色調整部３２を備える。

空間対応設定部３１は、自拠点の色情報抽出部２５により抽出された色情報と、他拠点の色情報抽出部２５により抽出された色情報と、自拠点の表面特定部２３および物体特定部２４のそれぞれにより特定された点についての点群情報と、他拠点の表面特定部２３および物体特定部２４のそれぞれにより特定された点についての点群情報と、を用いて、それぞれの拠点における各表面や各物体の対応を設定する。

それぞれの拠点における各表面や各物体の対応を設定するとは、例えば、自拠点の床に相当する点群と、他拠点の床に相当する点群と、を対応付けたり、自拠点の椅子に相当する点群と、他拠点の椅子に相当する点群と、を対応付けたりすることである。これら対応の設定では、各表面および各物体に属する点で形成される３次元形状間の距離（相違度）や、各表面および各物体の色情報間の距離（輝度Ｙの平均・分散、または、ヒストグラムの距離）を求め、距離の小さい（すなわち類似した）表面同士や物体同士を対応付ける。３次元形状間の距離は、例えば３次元形状特徴を表す特徴量間の距離を計算する方法を用いて求めることができる。

なお、上述の対応の設定では、表面同士や物体同士が１対１で対応付けられる場合や、表面同士や物体同士が１体多で対応付けられる場合や、自拠点のいずれの表面や物体にも対応しない他拠点の表面や物体が存在する場合もある。例えば、上述の３次元形状間の距離が予め定められた閾値以上である場合に、他拠点の表面または物体が自拠点のいずれの表面および物体にも対応しないと判断してもよい。また、例えば、自拠点および他拠点における表面や物体の情報をユーザに提示して、上述の対応の設定をユーザが行うようにしてもよい。

色調整部３２は、自拠点の色情報抽出部２５により抽出された色情報と、自拠点の空間対応設定部３１により設定された対応関係の情報と、他拠点の色情報抽出部２５により抽出された色情報と、他拠点のテクスチャ分割部による分割結果と、を用いて、他拠点のテクスチャ情報取得部１２により取得された空間映像に対して領域ごとに色調整処理を行う。具体的には、他拠点のテクスチャ分割部２６により表面の領域または物体の領域として分割された領域のうち、自拠点の空間対応設定部３１により自拠点の表面または物体と対応付けられた領域について、他拠点のテクスチャ情報取得部１２により取得された空間映像の色調整を行う。

上述の色調整処理について、自拠点の物体Ｐと、他拠点の物体Ｑと、が自拠点の空間対応設定部３１により対応付けられた場合を例に、以下に説明する。この場合、他拠点のテクスチャ情報取得部１２により取得された空間映像において、物体Ｑの色を物体Ｐに近づける。具体的には、まず、物体Ｐの領域の輝度平均値と、物体Ｑの領域の輝度平均値と、の差分を求め、求めた差分を物体Ｑの領域を構成する各画素の輝度値に加算する。次に、物体Ｐの領域の色差の平均と分散とを用いてランダムに値を生成し、生成した値に物体Ｑの領域を構成する各画素の色差値（Ｃｂ、Ｃｒ）を置き換える。

なお、他拠点のテクスチャ分割部２６により被写体領域またはその他の領域として分割された領域については、上述の色調整処理を行わない。また、他拠点のテクスチャ分割部２６により表面の領域または物体の領域として分割された領域のうち、自拠点の空間対応設定部３１により自拠点のいずれの表面および物体にも対応しないと判断された領域についても、上述の色調整処理を行わない。

以上の空間共有システムＡＡによれば、以下の効果を奏することができる。

空間共有システムＡＡは、参加者Ａ１１に、違和感を与えることなく、参加者Ｂ１１が同じ空間内に存在しているような感覚を提供することができる。

また、空間共有システムＡＡは、参加者Ｂ１１に、違和感を与えることなく、参加者Ａ１１が同じ空間内に存在しているような感覚を提供することができる。

なお、本発明の空間共有装置１の処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを空間共有装置１に読み込ませ、実行することによって、本発明を実現できる。

ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、空間共有装置１に設けられたプロセッサによって行われる。

また、上述のプログラムは、このプログラムを記憶装置などに格納した空間共有装置１から、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を空間共有装置１にすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

例えば、上述の実施形態では、図２を用いて上述したように椅子およびテーブルの配色のみを変更するものとした。しかし、これに限らず、例えば、壁や床の配色を変更するものとしてもよい。また、椅子やテーブルや壁や床について、模様を変更してもよいし、模様および配色を変更してもよい。

また、上述の実施形態では、色空間としてＹＣｂＣｒを用いたが、これに限らず、ＹＵＶやＨＳＶといった明るさの情報を独立に扱う色空間であれば用いることができる。

また、上述の実施形態において、点群情報に含まれる色情報が、上述の明るさの情報を独立に扱う色空間で表されていない場合（例えば、ＲＧＢ色空間など）には、色情報抽出部２５による色情報の統計的な抽出を行うよりも前に、色情報の色空間を、明るさの情報を独立に扱う色空間に変換するものとする。

ＡＡ・・・空間共有システム
１・・・空間共有装置
１０・・・空間取得部
１１・・・奥行情報取得部
１２・・・テクスチャ情報取得部
２０・・・空間解析部
２１・・・被写体抽出部
２２・・・点群情報生成部
２３・・・表面特定部
２４・・・物体特定部
２５・・・色情報抽出部
２６・・・テクスチャ分割部
３０・・・空間再現部
３１・・・空間対応設定部
３２・・・色調整部
４０・・・送信部
５０・・・受信部

Claims (8)

1. 第１の空間とは異なる第２の空間で撮影された空間映像を画像処理する空間共有装置であって、
   前記第１の空間内の情報を取得する空間取得手段と、
   前記空間取得手段により取得された情報を解析する空間解析手段と、
   前記空間解析手段による解析結果に基づいて、前記第２の空間で撮影された空間映像のテクスチャを補正する空間再現手段と、
   を備え、
   前記空間取得手段は、
   前記第１の空間内の奥行き情報を取得する奥行情報取得手段と、
   前記第１の空間内のテクスチャ情報を取得するテクスチャ情報取得手段と、
   を備え、
   前記空間解析手段は、
   前記奥行情報取得手段により取得された奥行情報と、前記テクスチャ情報取得手段により取得されたテクスチャ情報と、に基づいて、色情報を有する点群情報を生成する点群情報生成手段と、
   前記点群情報生成手段により生成された点群情報に対して予め定められた表面モデルを当てはめて、前記点群情報生成手段により生成された点群情報を有する点群のうち前記第１の空間を構成する表面に該当する点を特定する表面特定手段と、
   前記点群情報生成手段により生成された点群情報を有する点群のうち前記表面特定手段により特定されたものを除くものをクラスタリングして、前記第１の空間に配置される物体ごとに当該物体に属する点を特定する物体特定手段と、
   前記表面特定手段により特定された表面に該当する点と、前記物体特定手段により特定された物体に属する点と、から色情報を統計的に抽出する色情報抽出手段と、
   テクスチャ情報取得手段により取得されたテクスチャ情報と、表面特定手段により特定された表面に該当する点についての情報と、物体特定手段により特定された物体に属する点についての情報と、を用いて、前記テクスチャ情報取得手段により取得された前記第１の空間内のテクスチャ情報を複数の領域に分割するテクスチャ分割手段と、を備えることを特徴とする空間共有装置。
2. 前記空間再現手段は、前記第２の空間で撮影された空間映像のテクスチャとして、前記第２の空間で撮影された空間映像における模様および色のうち少なくともいずれかを補正することを特徴とする請求項１に記載の空間共有装置。
3. 前記テクスチャ分割手段は、前記テクスチャ情報取得手段により取得された前記第１の空間内のテクスチャ情報を、表面の領域と、物体の領域と、前記表面の領域でも前記物体の領域でもない領域と、に分割することを特徴とする請求項１に記載の空間共有装置。
4. 前記空間解析手段は、前記奥行情報取得手段により取得された奥行情報と、前記テクスチャ情報取得手段により取得されたテクスチャ情報と、を用いて、前記テクスチャ情報取得手段により取得されたテクスチャ情報の中から、被写体の画像の領域である被写体領域を抽出する被写体抽出手段を備え、
   前記テクスチャ分割手段は、テクスチャ情報取得手段により取得されたテクスチャ情報と、前記表面特定手段により特定された表面に該当する点についての情報と、前記物体特定手段により特定された物体に属する点についての情報と、前記被写体抽出手段により抽出された被写体領域と、を用いて、前記テクスチャ情報取得手段により取得された前記第１の空間内のテクスチャ情報を、前記表面の領域と、前記物体の領域と、前記被写体領域と、前記表面の領域でも前記物体の領域でも前記被写体領域でもない領域と、に分割することを特徴とする請求項１または３に記載の空間共有装置。
5. 前記空間再現手段は、
   前記表面特定手段により特定された点が該当する表面と、前記物体特定手段により特定された点が属する物体と、について前記第１の空間と前記第２の空間との間で対応付ける空間対応設定手段と、
   前記第２の空間で撮影された空間映像における表面または物体の領域の色情報を、前記空間対応設定手段により対応付けられた前記第１の空間における表面または物体の領域の色情報を用いて調整する色調整手段と、を備えることを特徴とする請求項１、３、４のいずれかに記載の空間共有装置。
6. 前記色情報抽出手段は、前記点群情報生成手段により生成された点群情報の色情報を、明るさの情報を独立に扱う色空間に変換し、前記表面特定手段により特定された点が該当する表面のそれぞれと、前記物体特定手段により特定された点が属する物体のそれぞれと、について、前記色空間の各成分の平均値および分散値、または、前記色空間の各成分のカラーヒストグラムを求め、
   前記色調整手段は、前記第２の空間で撮影された空間映像における表面または物体の領域の色情報を、前記空間対応設定手段により対応付けられた前記第１の空間における表面または物体の領域について前記色情報抽出手段により求められた結果を用いて調整することを特徴とする請求項５に記載の空間共有装置。
7. 空間取得手段と、空間解析手段と、空間再現手段と、奥行情報取得手段と、テクスチャ情報取得手段と、点群情報生成手段と、表面特定手段と、物体特定手段と、色情報抽出手段と、テクスチャ分割手段と、を備え、第１の空間とは異なる第２の空間で撮影された空間映像を画像処理する空間共有装置における空間共有方法であって、
   前記空間取得手段が前記第１の空間内の情報を取得する第１の工程と、
   前記空間解析手段が、前記第１の工程により取得された情報を解析する第２の工程と、
   前記空間再現手段が、前記第２の工程による解析結果に基づいて、前記第２の空間で撮影された空間映像のテクスチャを補正する第３の工程と、
   を備え、
   前記第１の工程において、
   前記奥行情報取得手段が、前記第１の空間内の奥行き情報を取得する第４の工程と、
   前記テクスチャ情報取得手段が、前記第１の空間内のテクスチャ情報を取得する第５の工程と、
   前記点群情報生成手段が、前記第４の工程により取得された奥行情報と、前記第５の工程により取得されたテクスチャ情報と、に基づいて、色情報を有する点群情報を生成する第６の工程と、
   前記表面特定手段が、前記第６の工程により生成された点群情報に対して予め定められた表面モデルを当てはめて、前記第６の工程により生成された点群情報を有する点群のうち前記第１の空間を構成する表面に該当する点を特定する第７の工程と、
   前記物体特定手段が、前記第６の工程により生成された点群情報を有する点群のうち前記第７の工程により特定されたものを除くものをクラスタリングして、前記第１の空間に配置される物体ごとに当該物体に属する点を特定する第８の工程と、
   前記色情報抽出手段が、前記第７の工程により特定された表面に該当する点と、前記第８の工程により特定された物体に属する点と、から色情報を統計的に抽出する第９の工程と、
   前記テクスチャ分割手段が、前記第５の工程により取得されたテクスチャ情報と、前記第７の工程により特定された表面に該当する点についての情報と、第８の工程により特定された物体に属する点についての情報と、を用いて、前記第５の工程により取得された前記第１の空間内のテクスチャ情報を複数の領域に分割する第１０の工程と、
   を備えることを特徴とする空間共有方法。
8. 空間取得手段と、空間解析手段と、空間再現手段と、奥行情報取得手段と、テクスチャ情報取得手段と、点群情報生成手段と、表面特定手段と、物体特定手段と、色情報抽出手段と、テクスチャ分割手段と、を備え、第１の空間とは異なる第２の空間で撮影された空間映像を画像処理する空間共有装置における空間共有方法をコンピュータに実行させるためのプログラムであって、
   前記空間取得手段が前記第１の空間内の情報を取得する第１の工程と、
   前記空間解析手段が、前記第１の工程により取得された情報を解析する第２の工程と、
   前記空間再現手段が、前記第２の工程による解析結果に基づいて、前記第２の空間で撮影された空間映像のテクスチャを補正する第３の工程と、
   を備え、
   前記第１の工程において、
   前記奥行情報取得手段が、前記第１の空間内の奥行き情報を取得する第４の工程と、
   前記テクスチャ情報取得手段が、前記第１の空間内のテクスチャ情報を取得する第５の工程と、
   前記点群情報生成手段が、前記第４の工程により取得された奥行情報と、前記第５の工程により取得されたテクスチャ情報と、に基づいて、色情報を有する点群情報を生成する第６の工程と、
   前記表面特定手段が、前記第６の工程により生成された点群情報に対して予め定められた表面モデルを当てはめて、前記第６の工程により生成された点群情報を有する点群のうち前記第１の空間を構成する表面に該当する点を特定する第７の工程と、
   前記物体特定手段が、前記第６の工程により生成された点群情報を有する点群のうち前記第７の工程により特定されたものを除くものをクラスタリングして、前記第１の空間に配置される物体ごとに当該物体に属する点を特定する第８の工程と、
   前記色情報抽出手段が、前記第７の工程により特定された表面に該当する点と、前記第８の工程により特定された物体に属する点と、から色情報を統計的に抽出する第９の工程と、
   前記テクスチャ分割手段が、前記第５の工程により取得されたテクスチャ情報と、前記第７の工程により特定された表面に該当する点についての情報と、第８の工程により特定された物体に属する点についての情報と、を用いて、前記第５の工程により取得された前記第１の空間内のテクスチャ情報を複数の領域に分割する第１０の工程と、
   をコンピュータに実行させるためのプログラム。

Images