JP3195609U

JP3195609U - ３ｄモデル作成装置

Info

Publication number: JP3195609U
Application number: JP2014005958U
Authority: JP
Inventors: 田中　健治; 健治田中
Original assignee: 株式会社イノベ−ション・アイ
Priority date: 2014-11-10
Filing date: 2014-11-10
Publication date: 2015-01-29
Anticipated expiration: 2024-11-10

Abstract

【課題】簡易な３Ｄモデル作成装置を提供する。【解決手段】３Ｄ撮影室において、被写体に対しその周囲に水平面で９０度の角度で配置される４台の昇降装置２０Ａ，２０Ｂ，２０Ｃ，２０Ｄと、昇降装置に配置される各一台の３Ｄスキャナと、各３Ｄスキャナで取得した形状データの送信を演算編成するＰＣとからなり、町の写真屋さんなどが３Ｄ形状のデータを作成できる装置で、この装置からの３Ｄデータをデータ処理業者がＰＣＬにて処理して３Ｄモデルデータに編成し、これを最終業者が３Ｄプリンタ等を用いて３Ｄモデルを作成する。【選択図】図４

Description

本考案は少ない費用で立体物の３Ｄモデリングを行う３Ｄモデル作成装置に関する。

３Ｄモデリングデータは、たとえばネット販売において、商品のプレビューに実物の３Ｄモデルを表示することができ、消費者は正確な形状を理解することが容易となり、販売の促進に役立つ。また、従来七五三や結婚式の記念としては２次元の写真が主であったが、実物の３Ｄモデルを記念として作成することが可能となる。このように、３Ｄデータの利用価値は高い。さらに従来においては、オーダーメイドの衣服を作成する場合、店員が客の体の寸法を測定し、それに基づいて、型紙を作成・修正して、衣服を作成していた。ここで、顧客（被写体）の体型を測定するに当たっては、店員がバスト等をメジャーで直接に測定していた。しかしながら、メジャーでの正確な測定には熟練が必要であること、測る人によって差があること、顧客によっては他人に触れられることを嫌がる人がいることなどの問題がある。他方、３Ｄスキャナ（「３次元スキャナシステム」ともいう）によって顧客の体型を測定すれば、顧客の体型を正確に測定することができる。しかしながら、３Ｄスキャナシステムは１千万円程度し、各店舗毎に設置することは困難であるという不具合があった。また３Ｄスキャナシステムで計測すると、その計測データの、計測器から影になる部分に穴ができたり、境界部分が崩れてしまうといった不具合があった。そこで、３Ｄスキャナシステムを各店舗毎に設置しなくても顧客の体型に即した顧客３Ｄボディデータを安価にかつ簡単に得ることができるバーチャル３Ｄボディ作成システムが提案されている（特許文献１）。ところが、従来、３次元形状測定装置を利用する場合、複数台のカメラを四方八方に設置し、かかる複数台のカメラから測定された生データ（３次元スキャンデータ）を処理する方法（非特許文献１）、または被写体を回転台に載せ、固定されたカメラに対し被写体が３６０度回転させ、複数の視点から生データ（３次元スキャンデータ）を取得する方法（非特許文献２）が提案され、３Ｄモデルを作成しているが、それには専用のソフトウエアが必要であった。このソフトウエアは、３次元スキャンデータからパラメトリックソリッドモデルを生成するための専用ソフトウエアで、価格が高価で操作も高度である。

特開２００６−５９１４３号公報 http://♯dprinterlog.com/archives/26437366.htm1♯more http://internetcom.jp/wmnews/20140418/2.htm1

近年Kinectのような安価で高速な３次元入力装置が出現した。その成果の一つとしてKinectが出力する生データを処理するオープンソースソフトウエアＰＣＬ（Point Cloud Library）が開発され、フリーであるだけでなく、自由にアプリケーションに組み込んで利用することが可能であり、このKinectとＰＣＬを用いれば少ない費用で３次元形状を入力し、モデリングすることが可能となり、少ない費用で立体物のモデリングができることで、実物から３Ｄモデルを作成することが容易となることが予測される。しかしながら、如何にKinectとＰＣＬを用いれば少ない費用で３次元形状を入力し、モデリングすることが可能となると言っても、これらを使いこなすのは町のカメラ屋さんでは困難であり、町のカメラ屋さんでも少ない費用で立体物のモデリングができ、各種３Ｄモデルデータを、例えば記念品としてこれまでの２次元写真に代えて、実物から３Ｄモデルを作成することが容易な、３Ｄモデル作成装置を提供することを課題とする。

本考案者は鋭意検討の結果、上記課題を実現する手段として、ＲＧＢ画像と深度画像を取得できる複数の３Ｄスキャナと、各３Ｄスキャナを被写体の周囲水平面の選択位置に設置し、被写体の高さを考慮して被写体の最上方から最下方に３Ｄスキャナを昇降させるスキャナ載置台を上下に昇降可能で、かつ所定の上下中間位置で停止可能な３Ｄスキャナ昇降装置と、３Ｄスキャナからの複数のＲＧＢ画像と深度画像のデータをアライメントして編集し、３Ｄモデリングデータを演算編成するソフトウエアを内蔵するＰＣとからなり、上記昇降装置を複数台用意し、被写体の周囲所定半径以内に一定の角度間隔で、３Ｄスキャナの水平視野角を考慮して３箇所以上に固定または移動配置し、該各昇降装置のスキャナ昇降開始高さ、スキャナ昇降中間停止位置、スキャナ昇降終了高さを３Ｄスキャナの上下視野角を考慮して載置台を一方向に昇降させるように設定し、連続的にまたは断続的に少なくとも被写体に対し、水平面で少なくとも３箇所以上、被写体所定の上下方向で少なくとも２箇所以上で撮影可能とし、各３Ｄスキャナからの撮影データを上記ＰＣに送信し、該ＰＣで各３Ｄスキャナーからの複数の撮影データをアラインして所望の３Ｄモデリングデータを編成することを特徴とする３Ｄモデル作成装置にある。

本考案によれば、図１に示すように、３Ｄスキャナーを用い、図２Ａに示すように、この３Ｄスキャナを、左右視野角度を考慮して被写体に対し水平面でＡ，Ｂ，Ｃの周囲に少なくとも３台以上所定の角度間隔をおいて配置するとともに、図２Ｂに示すように、被写体の縦方向高さとカメラの上下方向視野角度を考慮して一定の高さ位置で、少なくとも上部及び下部で撮影するので、被写体に対する死角をなくした形状入力を得ることができる。さらに、水平面では９０度間隔で４台配置とするのが死角をなくする意味でより好ましいことが判明し、これを、編成すると、少なくとも３×２、合計６個以上のスキャンデータで３Ｄモデリングを行うに十分なデータを編成することができた。しかもこのスキャンデータをソフトウエア、例えばＰＣＬを用いてアラインして編集し、３Ｄプリンタを用いると、町のカメラ屋さんでも３Ｄモデルの作成が容易である。

また、町の写真屋さんに本考案の昇降装置を所定場所に設置し、その被写体の周囲から３Ｄスキャナで複数の視点から撮影し、ＰＣＬでの点群データ処理業者にその３Ｄ形状データをネットワークを通して送信すれば、３Ｄモデリング用のデータを編成することができ、この３Ｄモデリングデータを所定の場所の３Ｄプリンタに送信すれば、少ない費用で立体物のモデリングができ、記念品としてこれまでの２次元写真に代えて、実物から３Ｄモデルを作成することができる。また、東京のオーダメイドの洋服屋さんへの注文にあたり、遠くから東京まで出かけなくとも居住地の町のカメラ屋さんで、本考案の３Ｄスキャナにより３Ｄ形状を撮影し、それを点群データ処理業者にネットワークを通して送信し、３Ｄモデリング用のデータを編成してもらい、この３Ｄモデリングデータを東京の所定の場所のオーダメイド洋服屋さんに送信すれば、洋服屋さんで３Ｄモデリングデータから必要な採寸を行うことができる。また、その３Ｄモデルにバーチャルで試着させることができ、オーダーの洋服をバーチャルで顧客に見せることができるので、遠く離れた顧客とバーチャルな３Ｄ画像を見せながら、商談することが可能となる。

従来、３Ｄ形状の撮影を行う複数のカメラを上下左右に配置しなければならず、設備コストが高額となったり、カメラ台数を少なくするため、回転台に被写体を載せ、カメラに対し３６０度回転させたりする必要があり、動物及び幼児の３Ｄスキャナでの撮影が大変であったが、本考案によれば、３Ｄスキャナで短時間で必要な撮影ができ、その複数の撮影データでの撮影角度の設定と垂直方向の上下高さを決定しておくことで、３Ｄスキャンデータの重なる範囲を決めておくのでデータの編集処理が容易で、必要な３Ｄモデリングデータが得られる。しかも昇降装置を用いて上下位置での撮影を行うので、手ブレによる上下位置での撮影ミスがない。

通常、町のカメラ屋さんには背景となるスクリーンが設置されているので、３Ｄスキャナを昇降させる昇降装置は、図４に示すように、被写体に対し水平面で９０度の角度で交差配置される４台の昇降装置Ａ，Ｂ，Ｃ，Ｄを正面から左右いずれかに斜め４５度にずれて、Ａ，Ｂ２台、背面から左右斜め４５度ずれてＣ，Ｄ２台に配置するのが好ましい。

被写体がウエディングドレスで着飾った花嫁である場合は、図５に示すように、被写体周囲の４方向だけでなく、後方水平方向に延びる立体物であるから、昇降装置を背面から斜め４５度に配置した昇降装置Ｃ，Ｄの後方に各１台Ｅ，Ｆを配置するのが好ましい。

上記昇降装置は電動モータの回転で昇降する構成とすることができるが、３Ｄスキャンが上下に延びるエアーシリンダと、シリンダ内をエアー圧で上下に昇降する磁石ロッドと、エアーシリンダ支柱の外筒に内部の磁石ロッドの昇降動作に伴って昇降する載置台を昇降可能に取り付けてなるエア駆動形式が軽量小型で操作安定性に優れるので好ましい。

今回開発された３ＤスキャナのＫｉｎｅｃｔの正面を示す写真。被写体周囲に対し水平面で１２０度間隔で配置される３Ｄスキャナ３台の配置の平面図。３Ｄスキャナの昇降装置の側面図。３Ｄスキャナの昇降装置の平面図。３Ｄスキャナの昇降装置の空気回路図。３Ｄスキャナの昇降装置の電気回路図。被写体周囲に対し水平面で正面から４５度斜めにずらして配置される３Ｄスキャナ４台の配置図。被写体周囲に対し水平面で正面から４５度斜めにずらして配置される３Ｄスキャナ４台と後方に２台の合計６台の配置図。Ａは昇降装置に乗せたKINECTで対象物を撮影したデータを処理するプロブラムを示す。Ｂは撮影した３ＤデータをＰＣＬにより統合処理するプログラムを示す。Ｃは４台の３Ｄスキャナからのデータを１台のＰＣで処理して上下スキャナデータを統合し、被写体の立体像を合成する模式図を示す。

３次元スキャナで被写体の立体形状の生データを入力してからメカニカルＣＡＤで加工可能な完全な３Ｄモデルを生成するまでのプロセスは、一般に１．３Ｄスキャナによる形状入力、２．３次元点群データの獲得、３．複数視点からの３次元点群データの位置あわせ、４．取得した３次元点群データのメッシュ化、５．パラメトリックソリッドモデルの作成の手順により作成される。

３ＤスキャナとしてKinectを使用すると、カラー画像とデプス画像とから３次元点群データを獲得することができる。このとき実空間での水平垂直位置を三角関数によって求める。また、カラー画像とデプス画像の取得範囲が違うために３次元点群データはデプス画像とカラー画像の取得範囲が被さっている部分のみを取得する。３次元点群処理では例えば、ＰＣＬを使用する。ここでは、はずれ値フイルタリングでノイズを除去し、ボクセルグリッドフィルタリングでデータ数を低減し、ダウンサンプリングを行うことでその後の処理を高速化する。次にフィルタリングを行った３次元点群データを用意し、位置あわせを行った後、例えば、SAC-IAによって初期位置合わせを行うことで対応する点の距離を近づけ、ICPアルゴリズムにより高精度な位置合わせを行う。以下、KinectとPCLを用い、複数視点から見た３次元点群データを取得して統合を行う。

１．３Ｄスキャナによる形状入力
非接触型３次元測定装置としてKinectが利用される。Kinectは図１に示すように、マイクとともに、ＲＧＢカメラ１１と深度センサ１２を有する３Ｄスキャナー１０であって、マイクロソフトが製品化したものである。Kinectで取得したカラー画像とデプス画像を整列させ、３次元点群データに変換する。立体物の形状を取得したデプス画像を実空間での３次元座標に変換するとともにデプス画像とカラー画像を統合させる。

図２Aは被写体１００の周囲に対し水平面で１２０度間隔の位置Ａ、Ｂ、Ｃに配置される３Ｄスキャナ１０の昇降装置２０を３台の配置する平面図で、各昇降装置２０は図２Bに示すように、上下に延びるエアーシリンダはマグネット式のロッドレスシリンダ２１を基礎台２２に取付金具２３を介して起立して取り付けられ、シリンダ内にエアー圧で上下に昇降する図示しない磁石ロッドが内蔵され、エアーシリンダ２１の外筒に内部の磁石ロッドの昇降動作に伴って昇降するボディ２４が取り付けられ、それに連結する載置台２５が昇降可能になっているエア駆動形式であって、軽量小型で操作安定性に優れる。図２Ｃは３Ｄスキャナの昇降装置の平面図を示す。

昇降装置の空気回路は図３に示すように、ポンプ１０１のモータＭの駆動を図３Ｂに示す電気回路で操作する。ポンプ１０１の駆動による空気はカプラ１０２を介してフィルタレギュレータ１０３に送られ、ニップル１０４を介してソレノイドバルブ１０５に送られる。ソレノイドバルブ１０５にはサイレンサ付き排気絞り弁１０６が設けられ、送気及び排気の流路が決められる。ソレノイドバルブ１０５で空気の送気、排気方向が決められると、ロッドレスシリンダ１０７の送気、排気がエキゾーストコントローラ１０８によって選択され、ロッドレスシリンダ２１をボディ２４が昇降するようになっており、図２Ｂに
示すように、３Ｄスキャナ１０を載せる昇降台２５が昇降する。

２．デプス画像から３次元点群データへの変換
Kinectの深度センサーの出力は画像データ、すなわちデプス画像である。Kinectのデプス画像は６４０×４８０画素で、各画素は１３ビットの精度を有する。画素の数値は深度センサから被写体表面までの奥行きをｍｍ単位で表したものである。画像データの各画素は被写体上の１点に対応している。したがって、深度センサを中心とする３次元座標系において水平方向（Ｘ軸）、垂直方向（Ｙ軸）、奥行き方向（Ｚ軸）の座標値を計算する。この中で画素の数値はＺ軸の値に相当する。Ｘ軸、Ｙ軸の座標値は、画像座標と深度センサの視野角および奥行き（Ｚ値）から求める。Kinectの深度センサから得られるのは被写体からセンサまでの奥行きである。センサから被写体までの水平垂直位置は画素単位で取得する。画素単位の座標とKinectの視野角、距離から、三角関数を用い水平垂直位置の実寸を求める。

３．カラー画像とデプス画像の整列
図１はKinectに示すように、RGBカメラ１１と深度センサ１２の搭載位置がずれているため、視差による取得データにずれを生ずる。よって、対応する座標位置を合わせる必要がある。

以上の、複数の３次元点群データの取得を図６Aに示すKinectを用いるステップで行い、これらの複数の点群データの統合を図６Bに示すＰＣＬのステップによって行う。図６Cは被写体が人物である場合の上部撮像データと下部撮像データの統合と重なり部分の処理を示している。

ついで、ＰＣＬによる３次元点群データの処理について説明する。
図６ＢにおけるPCL による 3 次元点群データの処理は次の処理を行う。
1.PCLとはPoint Cloud Library の略であり、3次元点群データを扱うことのできるオープンソースソフトウェアである。Kinectによって取得したデータを PCL にて処理するが、取得データを pcd 形式に変換して PCL で扱う。
2. はずれ値フィルタ
一定以上の誤差を保持する点の除去を行うことをいう。
3. ボクセルグリッドフィルタ
点群の密度を下げてもよい場合にはフィルタリングを行う。
4. 初期位置合わせ
Kinect による一回測定で得られる3次元データは、測定対象物の一部分の形状を現しているに過ぎない。立体物の完全な 3 次元データを取得するためには複数の視点から取得した3次元点群データを一つに統合する必要がある。ただ、複数の点群データをそれぞれ独立に取得した場合、それらの位置関係を知ることができない。そのため、位置合わせを下記のような順序で行う。
（１） SAC-IA (Sample Consensus Initial Alignment) によって初期の位置合わせ
※SAC-IA 位置合わせを行う2つの3次元点群データから、それぞれ複数の特徴点を抽出する。一方の点群データをターゲット、他方をインプットとして特徴点間でランダムに対応付けし、対応付けた特徴点間がもっとも近づくように座標変換を行う。この誤差の低い座標変換を採用して大まかな位置を合わせることができる。まず、特徴点を抽出するために FPFH (Fast Point Feature Histogram) で特徴点を求める。さらにFPFH の実施に法線ベクトルが必要となるため、位置合わせは下記のような順序で行われる。法線ベクトル推定−＞特徴点抽出−＞SAC-IAの実行−＞ICPアルゴリズムの実行
（２） ICPアルゴリズムを用いた高精度の位置合わせ
※ICP アルゴリズム 3次元点群データ間の位置合わせを行う手法で、下記の 6 つのステップで実行される。
・位置合わせを行う2つの点群データのうち一方から点を選択する。
・選択した点と他方の点との対応を求める。
・対応した点の組に重みをつける。
・不要な点の対応を除外する。
・誤差量を求める。
・誤差量を最小にする。
ICPアルゴリズムでは、対応させる点を間違えた場合、正しく収束しない。したがって、初期位置合わせが重要である。位置合わせを行った後、2つの3次元点群データを合成して一つにするが、このときデータが膨大になることを防ぐため、再びボクセルグリッドフィルタリングを行う。これを繰り返し実施して、複数の視点から見た3次元点群データを合成する。

本考案においては、町の写真屋さんで３Ｄスキャナで被写体の形状入力を取得し、写真屋さんでＰＣＬ処理により３Ｄモデルデータを作成し、画面表示して確認し、このデータをデータ処理業者ＰＣに送信して、ＰＣＬ処理により処理しきれていない部分を手作業で補正し、３Ｄモデルデータを修正してもらう。その３Ｄモデルデータを送信してオーダメイドの洋服屋、記念品作成業者、などの３Ｄモデル利用業者に提供されるようにネットワークが組まれるのが望ましい。したがって、町の写真屋さんの３Ｄ撮影室において、被写体に対しその周囲に水平面で９０度の角度で交差配置される４台の昇降装置Ａ，Ｂ，Ｃ，Ｄ（図４）を置き、該昇降装置２０に各一台の３Ｄスキャナ１０を配備して少なくとも各昇降装置の配置位置Ａ，Ｂ，Ｃ，Ｄで被写体の上部及び下部を撮影して被写体の３Ｄ形状データを撮影する。各３Ｄスキャナで取得した形状入力をＰＣＬを用いて結合する。これを処理業者に送信し、ＰＣＬで処理しきれていない部分の補正を手作業で行う。３次元点群データを獲得し、複数視点からの３次元点群データの位置あわせ、取得した３次元点群データをメッシュ化してパラメトリックソリッドモデルのデータは補正された後、モデルのデータを利用業者に送信し、最終的に業者はこの３Ｄデータに基づいてフィギャ作成もしくはオーダメイド商品に利用する。

１０３Ｄスキャナ
２０昇降装置
３０ＰＣ

Claims

ＲＧＢ画像と深度画像を取得できる複数の３Ｄスキャナ１０と、各３Ｄスキャナを被写体の周囲水平面の選択位置に設置し、被写体の高さを考慮して被写体の最上方から最下方に３Ｄスキャナを昇降させるスキャナ載置台を上下に昇降可能で、かつ所定の上下中間位置で停止可能な３Ｄスキャナ昇降装置２０と、３Ｄスキャナからの複数のＲＧＢ画像と深度画像のデータをアライメントして編集し、３Ｄモデリングデータを演算編成するソフトウエアを内蔵するＰＣ３０とからなり、上記昇降装置を複数台用意し、被写体の周囲所定半径以内に一定の角度間隔で、３Ｄスキャナの水平視野角を考慮して３箇所以上に固定または移動配置し、該各昇降装置のスキャナ昇降開始高さ、スキャナ昇降中間停止位置、スキャナ昇降終了高さを３Ｄスキャナの上下視野角を考慮して載置台を一方向に昇降させるように設定し、連続的にまたは断続的に少なくとも被写体に対し、水平面で少なくとも３箇所以上、被写体所定の上下方向で少なくとも２箇所以上で撮影可能とし、各３Ｄスキャナからの撮影データを上記ＰＣに送信し、該ＰＣで各３Ｄスキャナーからの複数の撮影データをアラインして所望の３Ｄモデリングデータを編成することを特徴とする３Ｄモデル作成装置。
被写体に対し水平面で９０度の角度で交差配置される４台の昇降装置２０Ａ，２０Ｂ，２０Ｃ，２０Ｄを正面から左右いずれかに斜め４５度ずらして２０Ａ，２０Ｂ２台を、背面から左右斜め４５度ずらして２０Ｃ，２０Ｄ２台を配置する請求項１記載の３Ｄモデル作成装置。
被写体が縦高さ方向だけでなく、後方水平方向に延びる立体物であって、昇降装置を背面から斜め４５度に配置した昇降装置２０Ｃ，２０Ｄの後方に各１台２０Ｅ，２０Ｆを配置する請求項１記載の３Ｄモデル作成装置。
上記昇降装置２０が上下に延びるエアーシリンダ２１と、シリンダ内をエアー圧で上下に昇降する磁石ロッドと、エアーシリンダ支柱の外筒に内部の磁石ロッドの昇降動作に伴って昇降する載置台２５を昇降可能に取り付けてなる請求項１記載の３Ｄデータ取得装置。