JP7275484B2 - 物体配置支援システム、物体配置支援方法及びプログラム - Google Patents

Description

本発明は、物体配置支援システム、物体配置支援方法及びプログラムに関する。

従来、家具を購入する際、販売店の展示スペースにおいて、家具の形あるいは色などを見て、気にいって購入しても、実際に部屋に配置した際、部屋の大きさや周囲との整合がとれず、家具自体が部屋に合わない場合がある。
このため、部屋のＣＡＤ（Computer Aided Design）データなどから、仮想現実（Virtual Reality）の技術を用いて、家具を置きたい部屋を仮想空間として生成し、そこに家具をオブジェクトとして配置し、部屋の各々の大きさや雰囲気と合うかどうかの確認を行うアプリケーションがある（例えば、特許文献１参照）。

特許文献１の場合、部屋のＣＡＤデータ必要となるため、家のＣＡＤデータが無い場合、新たに作成する必要があり、一般的には利用が困難である。
そのため、拡張現実（Augmented Reality）を用いて、家具などを実際に置く部屋に、仮想的なオブジェクトとして配置してみて、部屋の大きさや雰囲気と合うかどうかの確認を行うアプリケーションがある（例えば、非特許文献１参照）。

特開２０１６－１８９１２４号公報

"カタログの家具を実際に部屋に配置することができるIKEAのARアプリ「IKEA カタログ」を使ってみました"、https://gigazine.net/news/20130912-ikea-furniture-app/（2018.07.06アクセス）

しかしながら、上述した非特許文献１は、撮像装置が撮像している部屋を空間として認識しているわけでなく、３次元空間を撮像した２次元平面としている。
このため、非特許文献１において、拡張現実として、撮像している部屋の画像に対して家具を配置する際、擬似的に２次元平面の座標に対して家具のオブジェクト画像を貼り付けて表示している。
したがって、部屋において家具を配置する場所は、ユーザが撮像画面を参照しながら、配置する位置にマークを付与するなど、位置の最適化を行って家具のオブジェクトを配置させる必要がある。

一方、家具に限らずに、空間に物体を配置しようとしたとき、通常は、配置する空間にどの程度の物体が入るかを、ユーザがメジャーを用い、その空間の寸法を測定する。そして、ユーザが、測定した寸法に対応して、この空間に入る物体を探すのが一般的である。
しかしながら、空間の寸法を測定するのに手間が掛かり、かつ、寸法に対応して空間に入る物体にどんな物があるかを探すのにも手間が掛かり、結果的に探して配置した物体がその空間に最適であったか否かを、ユーザには明確に認識できない。

本発明は、このような事情に鑑みてなされたもので、物体を配置しようとしている配置空間の３次元形状を仮想空間において復元し、この配置空間の３次元形状の空間寸法を簡易に測定することで、配置空間に配置可能な寸法の物体の検索を可能とし、物体の配置空間に対する物体の配置を支援することが可能な物体配置支援システム、物体配置支援方法及びプログラムを提供する。

この発明は上述した課題を解決するためになされたもので、本発明の物体配置支援システムは、物体を配置する対象の空間である配置空間の３次元形状を復元３次元形状として、撮像方向における２枚のステレオ撮像画像、３次元レーザスキャナーにより計測した配置空間の３次元形状までの距離に基づく３次元点群、及びユーザ端末に搭載された撮像装置によって多視点において動画像を撮像することにより、ＳｆＭ（Structure from Motion）の手法により生成された３次元点群のいずれかである３次元形状復元情報と、前記撮像装置の撮像した撮像画像とに基づいて復元する３次元形状復元部と、前記配置空間のサイズを示す空間寸法を、前記復元３次元形状から求める空間寸法算出部と、前記空間寸法の配置空間に配置が可能なサイズの物体の仮想物体オブジェクトを、前記復元３次元形状の配置空間に対して組み込んだ仮想現実３次元形状を、前記ユーザ端末に搭載された前記撮像装置の撮像した前記撮像画像の撮像方向から仮想カメラにより撮像した仮想撮像画像を生成し、生成した前記仮想撮像画像を前記ユーザ端末に送信して、前記ユーザ端末の表示部に、前記仮想撮像画像を前記撮像画像に換えて表示させる表示画像生成部とを備えることを特徴とする。

本発明の物体配置支援システムは、前記空間寸法の配置空間に配置が可能なサイズの物体を検索する物体検索部をさらに有することを特徴とする。

本発明の物体配置支援システムは、前記空間寸法に対応させた所定の寸法範囲毎のサイズの物体が、グループとして分類されている物体データベースをさらに有し、前記物体検索部が、前記空間寸法に対応する前記物体のグループを、前記物体データベースから検索することを特徴とする。

本発明の物体配置支援システムは、前記空間寸法に対応して検索された前記物体の仮想オブジェクトを、仮想現実技術により前記配置空間の復元３次元形状に配置した前記仮想現実３次元形状を生成する仮想現実生成部をさらに有することを特徴とする。

本発明の物体配置支援システムは、前記配置空間が、他の物体により空間のサイズが規制された空間であることを特徴とする。

本発明の物体配置支援システムは、前記配置空間が、他の物体により挟まれた空き空間であるデッドスペースとなっている隙間の空間であることを特徴とする。

本発明の物体配置支援方法は、３次元形状復元部が、物体を配置しようとする空間である配置空間の３次元形状を復元３次元形状として、撮像方向における２枚のステレオ撮像画像、３次元レーザスキャナーにより計測した配置空間の３次元形状までの距離に基づく３次元点群、及びユーザ端末に搭載された撮像装置によって多視点において動画像を撮像することにより、ＳｆＭ（Structure from Motion）の手法により生成された３次元点群のいずれかである３次元形状復元情報と、前記撮像装置の撮像した撮像画像とに基づいて復元する３次元形状復元過程と、空間寸法算出部が、前記配置空間のサイズを示す空間寸法を、前記復元３次元形状から求める空間寸法算出過程と、表示画像生成部が、前記空間寸法の配置空間に配置が可能なサイズの物体の仮想物体オブジェクトを、前記復元３次元形状の配置空間に対して組み込んだ仮想現実３次元形状を、前記ユーザ端末に搭載された前記撮像装置の撮像した前記撮像画像の撮像方向から仮想カメラにより撮像した仮想撮像画像を生成し、生成した前記仮想撮像画像を前記ユーザ端末に送信して、前記ユーザ端末の表示部に、前記仮想撮像画像を前記撮像画像に換えて表示させる表示画像生成過程とを含むことを特徴とする。

本発明のプログラムは、コンピュータを、物体を配置しようとする空間である配置空間の３次元形状を復元３次元形状として、撮像方向における２枚のステレオ撮像画像、３次元レーザスキャナーにより計測した配置空間の３次元形状までの距離に基づく３次元点群、及びユーザ端末に搭載された撮像装置によって多視点において動画像を撮像することにより、ＳｆＭ（Structure from Motion）の手法により生成された３次元点群のいずれかである３次元形状復元情報と、前記撮像装置の撮像した撮像画像とに基づいて復元する３次元形状復元手段、前記配置空間のサイズを示す空間寸法を、前記復元３次元形状から求める空間寸法算出手段、前記空間寸法の配置空間に配置が可能なサイズの物体の仮想物体オブジェクトを、前記復元３次元形状の配置空間に対して組み込んだ仮想現実３次元形状を、前記ユーザ端末に搭載された前記撮像装置の撮像した前記撮像画像の撮像方向から仮想カメラにより撮像した仮想撮像画像を生成し、生成した前記仮想撮像画像を前記ユーザ端末に送信して、前記ユーザ端末の表示部に、前記仮想撮像画像を前記撮像画像に換えて表示させる表示画像生成手段として機能させるためのプログラムである。

本発明によれば、物体を配置しようとしている配置空間の３次元形状を仮想空間において復元し、この配置空間の３次元形状の空間寸法を簡易に測定することで、配置空間に配置可能な寸法の物体の検索を可能とし、物体の配置空間に対する物体の配置を支援することが可能な物体配置支援システム、物体配置支援方法及びプログラムを提供することが可能となる。

本発明の一実施形態による物体配置支援システム１の構成例を示す図である。 物体データベース１１７に予め書き込まれて記憶されている物体テーブルの構成例を示す図である。 本発明の一実施形態の物体配置支援システムによる配置空間へ配置する物体の検索を支援する処理の動作例を示すフローチャートである。 物体配置支援システムによる配置空間へ配置する物体の検索の処理例について説明する概念図である。 物体データベース１１７に予め書き込まれて記憶されている物体テーブルの他の構成例を示す図である。 図１及び図４に示した配置空間と異なる他の配置空間の構成例を示す概念図である。

以下、図面を参照して、本発明の一実施形態について説明する。図１は、本発明の一実施形態による物体配置支援システム１の構成例を示す図である。
物体配置支援システム１は、物体配置支援サーバ１１と、ユーザ端末１２と、３次元形状計測器１３とから構成されている。
物体配置支援サーバ１１及びユーザ端末１２の各々は、インターネットを含む情報通信網であるネットワーク５００を介して接続され、データの送受信を行う。

物体配置支援サーバ１１は、配置空間に配置可能なサイズの物体を検索し、仮想３次元形状における配置空間に対して検索された物体の仮想オブジェクトを配置し、物体が配置空間に配置された仮想現実として、後述するユーザ端末１２の表示画面に表示する。
ユーザ端末１２は、ユーザが携帯する携帯端末であり、表示画面及び撮像装置を搭載しており、例えばタブレットコンピュータ、スマートフォンなどである。ここで、ユーザ端末１２には、物体配置支援サーバ１１との間でデータの送受信を行い、物体配置支援サーバ１１からの指示に対応して、表示画面の制御を行うアプリケーションのプログラムをインストールされている。

３次元形状計測器１３は、物体配置支援サーバ１１が撮像対象の３次元形状の復元に用いる３次元形状復元情報を取得する。３次元形状計測器１３は、ユーザ端末１２に搭載されている撮像装置の撮像方向と同一方向にある空間の３次元形状の３次元復元情報を取得する。
また、ユーザ端末１２は、搭載する撮像装置による撮像画像（例えば、動画像）を、上記3次元形状復元形状と同様である。

物体配置支援サーバ１１は、データ送受信部１１１、３次元形状復元部１１２、空間寸法算出部１１３、物体検索部１１４、仮想現実生成部１１５、表示画像生成部１１６、物体データベース１１７及び記憶部１１８の各々を備えている。
データ送受信部１１１は、ネットワーク５００を介して、ユーザ端末１２とデータの送受信を行う。

３次元形状復元部１１２は、ユーザ端末１２から供給される撮像画像と、３次元形状復元情報とから、撮像対象における配置空間７００の３次元形状を、復元３次元形状として復元する。
ここで、３次元形状復元部１１２は、一般的な３次元復元の手法を用いるため、復元に用いる３次元形状復元情報を、以下のいずれを用いる構成としても良い。

すなわち、３次元形状計測器１３が、例えば、ステレオカメラの場合、ユーザ端末１２は、撮像方向における２枚のステレオ撮像画像を３次元形状復元情報として、自身の撮像する撮像画像とともに、物体配置支援サーバ１１に対して送信する。
また、３次元形状計測器１３が配置空間の３次元形状までの距離を赤外線で測定して、深度情報を有するドットパターンを取得する構成の場合、ユーザ端末１２が送信する３次元形状復元情報としては、３次元点群が用いられる。

また、３次元形状計測器１３が３次元レーザスキャナーである場合、配置空間の３次元形状までの距離をレーザ光で測定して、深度情報を有するドットパターンを取得する構成の場合、ユーザ端末１２が送信する３次元形状復元情報としては、３次元点群が用いられる。
また、特に３次元形状計測器１３を設けず、ユーザ端末１２に搭載されている撮像装置で、多視点において動画像を撮像することにより、ＳｆＭ（Structure from Motion）の手法により、３次元形状復元情報として３次元点群を取得しても良い。この場合、ユーザ端末１２に搭載された撮像装置の撮像方向と、３次元計測の方向が同一となり、３次元形状計測器１３を用いる必要が無いため、ユーザに対して余分な手間をかけることが無くなる。

空間寸法算出部１１３は、３次元形状復元部１１２が復元した復元３次元形状における配置空間７００の３次元形状のサイズ（横幅、高さ、奥行などの寸法）を示す空間寸法を計測する。本実施形態においては、例えば、この空間寸法を配置空間７００の開口部の横幅Ｗと、奥行Ｄとする。
また、配置空間７００は、本実施形態においては、例えば、物体６１０と物体６２０とに挟まれた、横幅Ｗ、奥行Ｄの隙間の空間（隙間空間）である。また、配置空間７００は、例えば、物体と壁とに挟まれた隙間空間であっても良い。また、配置空間７００は、壁に設けられた窪みの空間、あるいは壁から突出した突出部に挟まれた空間でも良い。この配置空間７００は、空間の形状が図に示すように直方体でも良いし、他の形状（三角柱、多角形中、円柱などの形状）であっても良い。このように、配置空間７００は、他の物体により空間のサイズが規制されており、何らかの物体を配置可能な空間であり、あるいは、他の物体により挟まれた何も配置されていない空いた空間であるデッドスペースとなっている隙間の空間である。

物体検索部１１４は、空間寸法算出部１１３が求めた空間寸法に対応する物体、すなわち空間寸法に配置可能な寸法の物体を、物体データベース１１７から検索する。本実施形態においては、物体の一例として、室内を装飾する物体であるインテリア、すなわち棚、テーブル、椅子、装飾品などを用いて説明する。

仮想現実生成部１１５は、物体検索部１１４が検索した物体の仮想物体オブジェクトを、物体データベース１１７から読み出し、復元３次元形状の配置空間に対して組み込んで、仮想現実３次元形状を生成する。

表示画像生成部１１６は、ユーザ端末１２に搭載された撮像装置の撮像した画像の撮像方向から、仮想現実３次元形状を仮想カメラにより撮像する処理を行う。そして、表示画像生成部１１６は、仮想カメラにより仮想現実３次元形状の仮想撮像画像を生成し、この仮想撮像画像をユーザ端末１２に対して送信する。このとき、ユーザがユーザ端末１２に搭載された撮像装置の撮像方向を変化させた場合、表示画像生成部１１６は、その変化後の撮像方向に対応して、仮想カメラの撮像方向をリアルタイムに変化させ、その方向からの仮想撮像画像を生成する。

ユーザ端末１２は、自身の表示部に対し、物体配置支援サーバ１１から送信される仮想撮像画像を、自身が搭載する撮像装置の撮像画像に換えて表示する。この結果、ユーザは、ユーザ端末１２の表示画面において、自身が撮像している方向の配置空間に仮想物体オブジェクトが配置された仮想現実の画像を視認賞することができる。

物体データベース１１７には、インテリアの各物体の寸法毎にグルーピングされた物体テーブルと、物体の各々の仮想３次元オブジェクトのデータとが予め書き込まれて記憶されている。
記憶部１１８は、処理中などにおけるデータを一旦記憶する記憶媒体である。

図２は、物体データベース１１７に予め書き込まれて記憶されている物体テーブルの構成例を示す図である。図２において、物体テーブルは、寸法範囲にてグルーピングされてグループ番号を付けられて、それぞれ物体データベース１１７に書き込まれて記憶されている。ここで、寸法範囲とは、例えば、配置空間の横幅Ｗを示している。それぞれの寸法範囲のグループには、配置空間の横幅Ｗの範囲に入る横幅を有する物体が格納されている。
寸法範囲における配置空間の横幅は、例えば、３０ｃｍ、５０ｃｍ、９０ｃｍ、１１０ｃｍ、…として設定されている。

ここで、横幅３０ｃｍには、３０ｃｍ未満の配置空間に配置可能な横幅を有する物体が登録されている。例えば、１０ｃｍ以上で２５ｃｍ未満の横幅を有する物体が登録されている。配置空間の横幅３０と、物体の横幅２５との差の５ｃｍは、物体を配置空間に配置する際における、配置する物体の両方の側面と、この側面と対向する配置空間を形成する両側の他の物体の側面とに空間を形成するための間隔（余裕間隔）である。

また、横幅５０ｃｍには、３０ｃｍ以上で５０ｃｍ未満の配置空間に配置可能な横幅を有する物体が登録されている。例えば、２５ｃｍ以上で４５ｃｍ未満の横幅を有する物体が登録されている。
また、横幅７０ｃｍには、５０ｃｍ以上で７０ｃｍ未満の配置空間に配置可能な横幅を有する物体が登録されている。例えば、４５ｃｍ以上で６５ｃｍ未満の横幅を有する物体が登録されている。
横幅５０ｃｍ及び横幅７０ｃｍにおける余裕間隔についても、横幅３０ｃｍの場合の説明と同様である。

物体テーブルは、インテリアの種別毎に分類、例えば、棚、椅子、植栽、置物などに分類されている。
種別毎の各レコードには、識別番号、寸法、インデックスの各々のデータ欄が設けられている。
例えば、種別が棚の各レコードにおいて、識別番号は、棚の各々を識別する識別情報である。寸法は、棚の横幅及び奥行の寸法の各々である（場合によっては高さの寸法も含まれる）。インデックスは、識別番号で識別される棚の３次元形状を示す仮想物体オブジェクトのデータが書き込まれているアドレスである。他の種別の物体（椅子、植栽、置物など）も同様である。

次に、図１、図２、図３及び図４を用いて本発明の一実施形態の物体配置支援システムによる配置空間へ配置する物体の検索を支援する処理について説明する。図３は、本発明の一実施形態の物体配置支援システムによる配置空間へ配置する物体の検索を支援する処理の動作例を示すフローチャートである。図４は、物体配置支援システムによる配置空間へ配置する物体の検索の処理例について説明する概念図である。

ステップＳ１０１：
ユーザは、ユーザ端末１２において、配置空間へ配置する物体の検索を支援するアプリケーションを起動させる。
そして、ユーザは、住宅における部屋において、何かインテリアを配置したいと考えている、図４（ａ）に示す本棚６１１と衣装箱６２１との間の空間である隙間空間（配置空間）７０１の方向の撮像画像をユーザ端末１２に搭載された撮像装置により、ユーザ端末１２の表示部により確認しつつ撮像する。

また、このとき、３次元形状計測器１３は、上記アプリケーションの制御下において、上記撮像装置の撮像方向における本棚６１１、隙間空間７０１及び衣装箱６２１の各々を含む領域の空間の３次元形状を計測し、３次元形状復元情報を取得する。
そして、アプリケーションは、物体配置支援サーバ１１にアクセスし、撮像画像及び３次元形状復元情報の各々を、ネットワーク５００を介して物体配置支援サーバ１１に送信する。

ステップＳ１０２：
データ送受信部１１１は、ユーザ端末１２から供給される撮像画像及び３次元形状復元情報の各々を入力し、一旦、記憶部１１８に書き込んで記憶させる。
３次元形状復元部１１２は、記憶部１１８から３次元形状復元情報を読み出し、この３次元形状復元情報に基づいて、ユーザが物体を配置したい隙間空間７０１を含む空間の３次元形状を復元する。そして、３次元形状復元部１１２は、復元した復元３次元形状のデータを、一旦、記憶部１１８に対して書き込んで記憶させる。

ステップＳ１０３：
空間寸法算出部１１３は、記憶部１１８から復元３次元形状を読み出し、隙間空間７０１の空間寸法として、隙間空間７０１の横幅Ｗの計測を行う。
そして、空間寸法算出部１１３は、計測した空間寸法である横幅Ｗの数値を、物体検索部１１４に対して出力する。

ステップＳ１０４：
物体検索部１１４は、隙間空間７０１の空間寸法に対応した寸法範囲の物体テーブルを、物体データベース１１７から検索する。
このとき、物体検索部１１４は、例えば、空間寸法算出部１１３が求めた、隙間空間７０１の空間寸法において開口部の横幅Ｗが４５ｃｍである場合、物体データベース１１７における寸法範囲が５０ｃｍの物体テーブルを抽出する。

ステップＳ１０５：
次に、物体検索部１１４は、抽出した寸法範囲が５０ｃｍの物体テーブルを参照して、隙間空間７０１の横幅Ｗの４５ｃｍから上述した余裕間隔５ｃｍを減算した４０ｍ以下の横幅の物体を、全ての種別から順次抽出する。
そして、物体検索部１１４は、抽出したインテリアの識別番号を仮想現実生成部１１５に対して出力する。

ステップＳ１０６：
仮想現実生成部１１５は、物体データベース１１７の物体テーブルを参照して、物体検索部１１４から供給される識別番号に対応するレコードにおけるインデックスの欄のアドレスを読み出す。
そして、仮想現実生成部１１５は、読み出したアドレスにより、物体データベース１１７から仮想物体オブジェクトのデータを読み出す。仮想現実生成部１１５は、読み出した仮想物体オブジェクトを、復元３次元形状における隙間空間７０１に配置して仮想現実３次元形状を生成する。

ここで、仮想現実生成部１１５は、例えば、図４（ｂ）に示すように、仮想３次元形状における隙間空間７０１に対して、インテリアである植栽の仮想物体オブジェクト８００を配置し、仮想現実３次元形状を生成する。
仮想現実生成部１１５は、生成した仮想現実３次元形状のデータを、一旦、記憶部１１８に対して書き込んで記憶させる。

ステップＳ１０７：
表示画像生成部１１６は、仮想現実生成部１１５の生成した仮想現実３次元形状のデータを、記憶部１１８から読み出す。
そして、表示画像生成部１１６は、読み出した仮想現実３次元形状の空間において、ユーザ端末１２に搭載された撮像装置の撮像した画像の撮像方向から、この仮想現実３次元形状を仮想カメラにより撮像する処理を行う。
これにより、表示画像生成部１１６は、ユーザがユーザ端末１２で撮像している隙間空間７０１に植栽が配置されていることを視認できる仮想現実３次元形状の仮想撮像画像を生成する。

そして、表示画像生成部１１６は、生成した仮想撮像画像を、データ送受信部１１１を介してユーザ端末１２に対して送信する。
ユーザ端末１２は、自身の表示部に対し、物体配置支援サーバ１１から送信される仮想撮像画像を、自身が搭載する撮像装置の撮像画像に換えて表示する。
この結果、ユーザは、ユーザ端末１２の表示画面において、自身が撮像している方向の隙間空間７０１に仮想物体オブジェクト８００の植栽が配置された仮想現実の画像を鑑賞することができる。

ステップＳ１０８：
物体検索部１１４は、物体データベース１１７の物体テーブルを参照して、隙間空間７０１の横幅Ｗに配置可能な物体として、現時点で抽出されていない物体の有無を確認する。このとき、物体検索部１１４は、物体テーブルにおいて、隙間空間７０１の横幅Ｗに配置可能な物体として、現時点で抽出されていない物体が存在する場合、処理をステップＳ１０５へ進める。一方、物体検索部１１４は、物体テーブルにおいて、隙間空間７０１の横幅Ｗに配置可能な物体として、現時点で抽出されていない物体が存在しない場合、すなわち隙間空間７０１の横幅Ｗに配置可能な物体の抽出が全て終了した場合、処理を終了する。
また、ユーザがユーザ端末１２において、アプリケーションを終了する処理を行った場合も、物体配置支援サーバ１１は、処理を終了する。

上述したように、本実施形態によれば、ユーザが何かを配置したいとする配置空間の撮像及び３次元形状復元情報を取得することにより、配置空間の空間寸法が求められ、その空間寸法に配置可能な様々な種別の物体がお勧め（レコメンド）として、仮想現実として提示されるため、その配置空間に配置したときの、周囲の環境における他の物体との調和（環境や色や形状の親和性）を実際に配置した状態と同様に視認することができる。

この構成により、本実施形態によれば、ユーザが自身で配置空間の寸法を計測する必要がなく、かつ自身で物体をカタログやインターネットなどで検索するより多く、配置空間に配置可能な物体の種別を得ることができ、配置空間に実際に配置した場合と同様に、配置状態の確認を行うことができる。
この結果、本実施形態によれば、家具などの販売店の展示スペースで実際に見て買ってきても、展示スペースと配置空間との環境が大きく異なるため、購入したインテリアを実際に配置空間に配置したときに、展示スペースで観察したときの感じと大きく異なり、結局、感性の点からその配置空間に購入したインテリアを配置することができなくなるなどの無駄な買い物をすることを防止できる。

また、上述した実施形態において、ユーザが配置空間に配置したい種別が決まっている場合、例えば棚を配置したい場合、ユーザがアプリケーションにより検索する種別を、すなわち棚を種別として、ユーザ端末１２から物体配置支援サーバ１１に対して、予め送信しておく。これにより、物体検索部１１４は、ユーザから指定された種別から、配置空間に配置可能な物体を、物体データベース１１７の物体テーブルから検索する構成としても良い。

また、物体検索部１１４が種別の一覧が記載されたテーブルの画像をデータ送受信部１１１を介してユーザ端末１２に送信する構成としても良い。この場合、ユーザがユーザ端末１２の表示画面に表示される種別の一覧から、興味のある種別を選択して、物体配置支援サーバ１１に対して送信する。そして、物体検索部１１４は、ユーザが選択した種別から、配置空間に配置可能な物体を、物体データベース１１７の物体テーブルから検索する構成としても良い。

また、上述した実施形態においては、配置空間の空間寸法として、配置空間の横幅Ｗのみを用いて、物体データベース１１７の物体テーブルから配置空間に配置可能な物体を検索していた。しかしながら、配置空間の高さが制限されている場合、配置空間の空間寸法として、高さＨも含める構成とする。
上述した構成の場合、物体検索部１１４は、図５に示す物体テーブルを用いて、配置空間に配置する物体の検索を行う。

図５は、物体データベース１１７に予め書き込まれて記憶されている物体テーブルの他の構成例を示す図である。図５において、寸法範囲として横幅Ｗのみでなく、高さＨが含まれている。例えば、配置空間の高さＨとした場合、それぞれの寸法範囲のグループには、配置空間の横幅Ｗ及び高さＨの範囲に入るサイズを有する物体が格納されている。また、各レコードにおける寸法の欄には、種別の物体の横幅と高さとが記載されている。また、寸法範囲における配置空間の横幅については、図２の物体テーブルと同様のため、以下、高さＨについて説明する。
寸法範囲における配置空間の高さＨは、例えば、５０ｃｍ、９０ｃｍ、１１０ｃｍ、…として設定されている。

ここで、高さ５０ｃｍには、５０ｃｍ未満の高さＨの配置空間に配置可能な高さを有する物体が登録されている。例えば、１０ｃｍ以上で４５ｃｍ未満の高さを有する物体が登録されている。配置空間の高さ５０ｃｍと、物体の高さ４５ｃｍとの差の５ｃｍは、物体を配置空間に配置する際における、配置する物体の上面と、この上面と対向する配置空間を形成する上面とに空間を形成するための間隔（余裕間隔）である。
また、横幅９０ｃｍには、５０ｃｍ以上で９０ｃｍ未満の配置空間に配置可能な高さを有する物体が登録されている。例えば、４５ｃｍ以上で８５ｃｍ未満の高さを有する物体が登録されている。
また、横幅１１０ｃｍには、９０ｃｍ以上で１１０ｃｍ未満の配置空間に配置可能な高さを有する物体が登録されている。例えば、８５ｃｍ以上で１０５ｃｍ未満の高さを有する物体が登録されている。

図６は、図１及び図４に示した配置空間と異なる他の配置空間の構成例を示す概念図である。図６（ａ）は、空間の高さが制限された配置空間７５０の構成の概念を示している。すなわち、図１の配置空間７００のように両側のみが他の物体６１０及び６２０の側面で制限されているのではなく、図６（ａ）の配置空間７５０は、両側を他の物体６１０及び６２０の側面で制限され、かつ上部が他の物体６３０の下面で制限されている。これにより、配置空間７５０に配置可能な物体は、横幅のみでなく、高さによっても制限されることになる。

この場合、空間寸法算出部１１３は、復元された空間の３次元形状における配置空間７５０の空間寸法として、横幅Ｗ及び高さＨの各々を求めて、物体検索部１１４に対して出力する。
そして、物体検索部１１４は、隙間空間７０１の空間寸法における横幅Ｗ及び高さＨに対応した寸法範囲の物体テーブル（図５）を、物体データベース１１７から検索する。
このとき、物体検索部１１４は、例えば、空間寸法算出部１１３が求めた、隙間空間７０１の空間寸法において開口部の横幅Ｗが４５ｃｍであり、高さＨが８０ｃｍである場合、物体データベース１１７における寸法範囲が横幅Ｗが５０ｃｍ、高さＨが９０ｃｍの物体テーブルを抽出する。

次に、物体検索部１１４は、抽出した寸法範囲が横幅Ｗが５０ｃｍ、高さＨが９０ｃｍの物体テーブルを参照して、配置空間７５０の横幅Ｗの４５ｃｍから上述した余裕間隔５ｃｍを減算した４０ｃｍ以下の横幅であり、高さＨの８０ｃｍから余裕間隔５ｃｍを減算した７５ｃｍの物体を、物体テーブルの各レコードの寸法の欄に記載されている物体の横幅及び高さの各々と比較して、全ての種別から順次抽出する。

また、図６（ｂ）は、部屋の角などにおける壁６４０及び６５０で挟まれた配置空間７６０を示している。このような、部屋の隅に効率良く配置できる形状の物体（例えば、コーナー用の家具など）を、物体データベース１１７の物体テーブルに登録して置いても良い。物体テーブルにおける空間寸法としては、横幅Ｗに換えてコーナー形状と、配置空間７６０の奥行Ｄとが規定されるように構成する。奥行Ｄとは、この部屋の角６３４を撮像した際における撮像装置の撮像位置６６０と、角６３４との距離を示している。
この場合、物体検索部１１４は、配置空間７６０がコーナー形状であり、かつ奥行Ｄの寸法とにより、物体データベース１１７から対応する物体テーブルを検索し、この物体テーブルから順次、物体を抽出する。

また、上述した実施形態においては、部屋にある隙間空間を配置空間とし、この隙間空間に配置可能なインテリアを配置する物体として、物体配置支援システム１を説明した。しかしながら、他の用途として、体育館におけるコート上の両側が規制された配置空間における運動具などの検索や、倉庫において積んである荷物の隙間を配置空間として、そこに配置可能な荷物を置くなど、所定のサイズの配置空間に配置可能な物体を検索するのであれば、物体の種別により利用が制限される物ではい。

また、本実施形態における図１に示す物体配置支援サーバ１１の配置空間に配置可能な物体を検索することを支援する機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりＩＣカードにおけるアプリケーションのインストール及びサービスに関する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイルであっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…物体配置支援システム
１１…物体配置支援サーバ
１２…ユーザ端末
１３…３次元形状計測器
１１１…データ送受信部
１１２…３次元形状復元部
１１３…空間寸法算出部
１１４…物体検索部
１１５…仮想現実生成部
１１６…表示画像生成部
１１７…物体データベース
１１８…記憶部
５００…ネットワーク

Claims (8)

1. 物体を配置する対象の空間である配置空間の３次元形状を復元３次元形状として、撮像方向における２枚のステレオ撮像画像、３次元レーザスキャナーにより計測した配置空間の３次元形状までの距離に基づく３次元点群、及びユーザ端末に搭載された撮像装置によって多視点において動画像を撮像することにより、ＳｆＭ（Structure from Motion）の手法により生成された３次元点群のいずれかである３次元形状復元情報と、前記撮像装置の撮像した撮像画像とに基づいて復元する３次元形状復元部と、
   前記配置空間のサイズを示す空間寸法を、前記復元３次元形状から求める空間寸法算出部と、
   前記空間寸法の配置空間に配置が可能なサイズの物体の仮想物体オブジェクトを、前記復元３次元形状の配置空間に対して組み込んだ仮想現実３次元形状を、前記ユーザ端末に搭載された前記撮像装置の撮像した前記撮像画像の撮像方向から仮想カメラにより撮像した仮想撮像画像を生成し、生成した前記仮想撮像画像を前記ユーザ端末に送信して、前記ユーザ端末の表示部に、前記仮想撮像画像を前記撮像画像に換えて表示させる表示画像生成部と
   を備えることを特徴とする物体配置支援システム。
2. 前記空間寸法の配置空間に配置が可能なサイズの物体を検索する物体検索部を
   さらに有する
   ことを特徴とする請求項１に記載の物体配置支援システム。
3. 前記空間寸法に対応させた所定の寸法範囲毎のサイズの物体が、グループとして分類されている物体データベースを
   さらに有し、
   前記物体検索部が、前記空間寸法に対応する前記物体のグループを、前記物体データベースから検索する
   ことを特徴とする請求項２に記載の物体配置支援システム。
4. 前記空間寸法に対応して検索された前記物体の仮想オブジェクトを、仮想現実技術により前記配置空間の復元３次元形状に配置した前記仮想現実３次元形状を生成する仮想現実生成部を
   さらに有することを特徴とする請求項１から請求項３のいずれか一項に記載の物体配置支援システム。
5. 前記配置空間が、他の物体により空間のサイズが規制された空間である
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の物体配置支援システム。
6. 前記配置空間が、他の物体により挟まれた空き空間であるデッドスペースとなっている隙間の空間である
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の物体配置支援システム。
7. ３次元形状復元部が、物体を配置しようとする空間である配置空間の３次元形状を復元３次元形状として、撮像方向における２枚のステレオ撮像画像、３次元レーザスキャナーにより計測した配置空間の３次元形状までの距離に基づく３次元点群、及びユーザ端末に搭載された撮像装置によって多視点において動画像を撮像することにより、ＳｆＭ（Structure from Motion）の手法により生成された３次元点群のいずれかである３次元形状復元情報と、前記撮像装置の撮像した撮像画像とに基づいて復元する３次元形状復元過程と、
   空間寸法算出部が、前記配置空間のサイズを示す空間寸法を、前記復元３次元形状から求める空間寸法算出過程と、
   表示画像生成部が、前記空間寸法の配置空間に配置が可能なサイズの物体の仮想物体オブジェクトを、前記復元３次元形状の配置空間に対して組み込んだ仮想現実３次元形状を、前記ユーザ端末に搭載された前記撮像装置の撮像した前記撮像画像の撮像方向から仮想カメラにより撮像した仮想撮像画像を生成し、生成した前記仮想撮像画像を前記ユーザ端末に送信して、前記ユーザ端末の表示部に、前記仮想撮像画像を前記撮像画像に換えて表示させる表示画像生成過程と
   を含むことを特徴とする物体配置支援方法。
8. コンピュータを、
   物体を配置しようとする空間である配置空間の３次元形状を復元３次元形状として、撮像方向における２枚のステレオ撮像画像、３次元レーザスキャナーにより計測した配置空間の３次元形状までの距離に基づく３次元点群、及びユーザ端末に搭載された撮像装置によって多視点において動画像を撮像することにより、ＳｆＭ（Structure from Motion）の手法により生成された３次元点群のいずれかである３次元形状復元情報と、前記撮像装置の撮像した撮像画像とに基づいて復元する３次元形状復元手段、
   前記配置空間のサイズを示す空間寸法を、前記復元３次元形状から求める空間寸法算出手段、
   前記空間寸法の配置空間に配置が可能なサイズの物体の仮想物体オブジェクトを、前記復元３次元形状の配置空間に対して組み込んだ仮想現実３次元形状を、前記ユーザ端末に搭載された前記撮像装置の撮像した前記撮像画像の撮像方向から仮想カメラにより撮像した仮想撮像画像を生成し、生成した前記仮想撮像画像を前記ユーザ端末に送信して、前記ユーザ端末の表示部に、前記仮想撮像画像を前記撮像画像に換えて表示させる表示画像生成手段
   として機能させるためのプログラム。

Images