JP5948479B1 - ２次元または３次元の物体データを表示操作するシステム、方法及びコンピュータソフトウエアプログラム - Google Patents

Abstract

【課題】既存部品や設備の形状情報を実空間を計測して得られた点群データから取得し、図面データと同等の仮想空間内の形状要素として扱うことができるようにする。【解決手段】２次元または３次元の物体データを表示操作する形状・点群データ混合活用システム１であって、ＣＡＤ装置等で生成した形状データから得られた物体要素を出力装置３上に表現された仮想空間内に表示する形状データ表示編集部１９と、実空間を計測して得られた点群を出力装置３上に表現された仮想空間内に表示すると共に、出力装置３上に表示された点群の一部若しくは全部を仮想的な物体要素として選別する点群データ表示編集部２０と、階層構造データを生成し、前記選別した点群データからなる物体要素を形状データから得られた物体要素と共に当該階層構造中のグループに所属させることで、仮想空間における物体間の関係性を表現する階層構造データ表示編集部２１と、を有する。【選択図】図２

Description

この発明は、２次元または３次元の形状情報、特に点群データを表示・操作するシステムに関するものである。

従来より、工業製品の設計にＣＡＤ（コンピュータ支援設計）システムが利用されている。この場合、ＣＡＤシステムで作成した設計図面データをコンピュータにより生成した仮想空間上に物体として表現し、仮想空間上で作動させたり移動させたりすることで当該製品の動作確認などを行うことができる。

すなわち、ＣＡＤシステムで作成した形状データを利用することで、仮想空間上で製品を組み立てたり、移動させたりして部品同士の干渉がないかなどの検証を行うことができ、問題がある場合にはＣＡＤシステム上で図面データを修正することができる。

このような技術に関連する先行特許として例えば特許文献１に示すようなものがある。

一方で近年、３次元計測技術を用いて実空間を計測し、点群データを取得することが行われている。得られた点群データを元に、半自動的に図面データを生成する試みが多くなされているが、自動化率、結果の品質ともに不十分であり、実用的な結果を得るためには人手による多くの作業が必要となっている。

国際公開第ＷＯ２００５／０４１０７５号

さて、従来のシステムにおいては、仮想空間上に製品の形状データを配置する際に、部品干渉等の確認のために同じ仮想空間上に既存の別製品や部品、周辺の設備などを配置する必要が生じる場合がある。そのような場合、製品以外の既存部品や設備等についてもＣＡＤ等で作成した図面データを準備しなければ仮想空間上に配置できない。既存部品や設備等についてすでに図面データがある場合には良いが、ない場合にはＣＡＤシステムを用いて最初から作成しなければならず、手間がかかるということがあった。

この発明は、このような事情に鑑みてなされたもので、既存部品や設備の形状情報を実空間を計測して得られた点群データから取得し、図面データと同等の仮想空間内の形状要素として扱うことができるシステムを提供することを目的とする。

上記課題を解決するために、本願発明の第一の主要な観点によれば、２次元または３次元の物体データを表示操作するシステムであって、実空間を計測して得られた点群を出力装置上に表現された仮想空間内に表示する手段と、出力装置上に表示された点群の一部若しくは全部を仮想的な物体要素として選別する手段と、階層構造データを生成し、前記選別した物体要素を当該階層構造中のグループに所属させることで、仮想空間における物体間の関係性を表現する手段と、を有することを特徴とするシステムが提供される。

このような構成によれば、実空間を計測することにより得られた点群のデータから、特定範囲の点群を物体として選別して切り出し、階層構造中に配置することにより、既存のＣＡＤシステムによって作成された形状データ等と同等に扱うデータを得ることができる。

ここで、前記階層構造データを生成する手段は、当該階層構造のグループに所属する各物体要素に、名称を含む属性情報、仮想空間内での位置情報、表示・非表示の状態や表示色の情報の一部ないしは全てを設定可能にするものであることが好ましい。

また、この発明の一実施形態によれば、このシステムは、さらに、２次元または３次元の形状データから得られた物体要素を、前記点群からなる物体要素と共に出力装置上に表現された仮想空間内に表示する手段をさらに有し、前記階層データを生成する手段は、前記形状データから得られた物体要素と、前記点群からなる物体要素とを、前記階層構造中のグループに統合的に所属させることで、物体間の関係性を表現するものである。

また、別の一の実施形態によれば、このシステムは、さらに、前記形状データから得られた物体要素と、前記点群からなる物体要素とを、図面情報を格納する中間フォーマットで出力する混合ファイル出力手段を有するものである。

また、この発明の第二の主要な観点によれば、コンピュータによって実施される、２次元または３次元の物体データを表示操作する方法であって、
前記コンピュータが、実空間を計測して得られた点群を出力装置上に表現された仮想空間内に表示する工程と、前記コンピュータが、ユーザの入力に基づき若しくは自動で、出力装置上に表示された点群の一部若しくは全部を仮想的な物体要素として選別する工程と、前記コンピュータが、階層構造データを生成し、前記選別した物体要素を当該階層構造中のグループに所属させることで、仮想空間における物体間の関係性を表現する工程とを有することを特徴とする方法が提供される。

さらに、この発明の第三の主要な観点によれば、記憶媒体に格納され、コンピュータに、２次元または３次元の物体データを表示操作せるコンピュータソフトウエアプログラムであって、コンピュータに、実空間を計測して得られた点群を出力装置上に表現された仮想空間内に表示させる手段と、コンピュータに、出力装置上に表示された点群の一部若しくは全部を仮想的な物体要素として選別させる手段と、コンピュータに、階層構造データを生成し、前記選別した物体要素を当該階層構造中のグループに所属させることで、仮想空間における物体間の関係性を表現させる手段と、を有することを特徴とするコンピュータソフトウエアプログラムが提供される。

なお、ここに記載していない本願発明のその他の技術特徴は、以下の発明を実施するための形態及び添付図面の記載中で明らかにされるものである。

図１は、本発明の一実施形態を示す全体構成図。

図２は、同じく、システム構成図。

図３は、同じく、形状ファイルの処理を示す概略構成図。

図４は、同じく、点群ファイルの処理を示す概略構成図。

図５は、同じく、形状及び点群データの表示例を示す図。

図６は、同じく、階層構造データを示す概略構成図。

図７は、同じく、点群データ表示編集部を示す概略図。

図８は、同じく、処理の流れを示すフローチャート。

図９は、同じく、点群データの読み込み処理例を示す図。

図１０は、同じく、点群データの切り出し処理例を示す図。

図１１は、同じく、点群データの範囲指定方法を示す概略図。

図１２は、同じく、形状及び点群データの編集処理例を示す概略図。

図１３は、同じく、形状及び点群データの編集処理例を示す概略図。

以下、添付図面を参照しながら、この発明の一実施形態を説明する。

以下の実施形態は、本発明の２次元・３次元物体の操作システムとして、形状と点群により表現された物体データを混合して活用するシステム１を例にとって説明する。
（全体構成）
この混合活用システム１は、図１に示すように、このシステム１に指示を入力するためのマウスやキーボード等の入力装置２と処理結果を表示するためのディスプレイ等の出力装置３とが接続されてなり、ＣＡＤシステム等４から受け取ったＣＡＤファイル５と、空間スキャナ等６から受け取った点群テキストファイル７を、形状データ・点群データ・階層構造データ混合ファイル８に編集処理して出力するものである。

図２は、このシステム１を示すシステム構成図である。

このシステム１は、ＣＰＵ１０、ＲＡＭ１１、（前記ＣＡＤシステム等４、空間スキャナ等６、入力装置２、出力装置３が接続された）入出力インターフェース１２が接続されてなるバス１３に、プログラム格納部１５及びデータ格納部１４が接続されてなる。

データ格納部１４には、前記ＣＡＤファイル５、点群テキストファイル７、及び形状データ・点群データ・階層構造データ混合ファイル８が格納されている。また、プログラム格納部１５には、ＣＡＤファイル処理部１７と、点群テキストファイル処理部１８と、形状データ表示編集部１９と、点群データ表示編集部２０と、階層構造データ表示編集部２１と、混合ファイル入出力部２４が格納されている。

ここで、上記プログラム格納部１５及びデータ格納部１４は、実際にはハードディスク等の記憶媒体である。そして、各構成部１７〜２４は、実際には、コンピュータソフトウエアプログラムであり、上記ＣＰＵ１０によってＲＡＭ１１上に呼び出されて展開され実行されることで、この発明の各構成要素として機能するものである。

以下、各構成部１７〜２４の作用を、その実際の動作と共に説明する。
（ファイルの入力処理）
まず、ＣＡＤファイル処理部１７は、図３に示すように、ＣＡＤの図面データであるＣＡＤファイル５を読み取って、上記形状データ表示編集部１９で処理できる形状データ２７及び階層構造データ表示編集部２１で処理できるＣＡＤ階層構造データ２６に変換する機能を有する。この実施形態では、ＣＡＤファイル５は、外部のＣＡＤシステム４によって出力された図面データであるが、他の方法で作られたデータであっても良い。

ここで、「形状データ」２７は例えば３次元空間内の物体形状の境界を構成する曲面・曲線を表す数式情報の集合である。また、ＣＡＤ階層構造データ２６は、ＣＡＤシステム上で図形データを編集する際に作成されるＣＡＤ専用階層構造データである。

前記点群テキストファイル処理部１８は、図４に示すように、実空間に存在する物体を計測したテキスト形式の点群情報である点群テキストファイル７を読み取り、これを前記点群データ表示編集部２０で処理できる点群データ２８に変換する機能を有するものである。ここで、「点群データ」２８は、３次元空間内の点の座標値と色の情報の集合であり、この点の集合が当該空間内に存在する物体を構成する。また、この実施形態では、点群テキストファイル７は、外部の空間スキャナ６から出力されたデータを想定しているが、他の方法で作られたものであっても良い。
（形状データ及び点群データの表示および編集）
次に、形状データ表示編集部１９、点群データ表示編集部２０および階層構造データ表示編集部２１の機能を説明する。

形状データ表示編集部１９、点群データ表示編集部２０は、それぞれ上記ＣＡＤファイル処理部１７、点群テキストファイル処理部１８で処理された形状データ２７、点群データ２８を読み取り、図５に示すように、階層構造データ表示編集部２１によって生成された階層構造データ２９に基づいてそれらをディスプレイ等（出力装置３）に表示できる画像データとして出力する機能を有する。この例では、ディスプレイ画面中、左側が階層構造表示部２３、右側が形状データ・点群データ表示部２２として構成されている。

ここで、階層構造データ表示編集部２１が生成する階層構造データ２９は、この階層構造データ表示編集部２１が自動、ユーザの入力、若しくは／及び前記ＣＡＤファイルに含まれるＣＡＤ階層構造データ２６に基づいて生成するもので、上記形状データ２７及び点群データ２８をまとめて「グループ」化しそれらを階層的に管理するデータである。ここで、「グループ」とは、複数の物体のデータ（形状データ２７、点群データ２８）をまとめる要素である。加えてグループは他のグループをまとめることもできるため、グループをノードとするような木構造を持つ。これは、無閉路有向グラフによって表現される。ここで「無閉路有向グラフ」とは、親から子への向きがあり、かつ一周することができないグラフである。図６は、グループ、形状データ、点群データによって構成される無閉路有向グラフの模式図であり、この木構造が「階層構造データ」である。そして各グループには、上記階層構造データ２９で管理されているグループに含まれる物体（形状データ２７及び点群データ２８）の３次元空間内での配置情報、表示・非表示の情報、色の情報が含まれる。

上述したように、形状データ表示編集部１９および点群データ表示編集部２０は、上記階層構造データ２９で管理されているグループに含まれる物体（形状データ２７及び点群データ２８）の３次元空間内での配置情報、表示・非表示の情報、色の情報を読み取って、上記点群データ（点群１）と形状データ（形状１、形状２）の物体を同じ３次元空間上に表示する。各形状データ表示編集部１９及び点群データ表示編集部２０は、上記マウス等の指令に基づき、各データ２７，２８を上記ディスプレイ上で編集する機能を有し、その編集情報は、上記階層構造データ２９内に格納される。また、その際、前記階層構造データ表示編集部２１は、階層構造データ２９で管理される各グループに、名称を含む属性情報、３次元空間内での上記形状データ２７及び点群データ２８の配置情報、表示・非表示の情報、色の情報を付加することができる。

このように生成された形状データ２７、点群データ２８、階層構造データ２９の組み合わせは混合ファイル８として、上記混合ファイル入出力部２４により、上記データ格納部１４に出力することが可能である。

また、点群データ表示編集部２０は、図７に示すように、点群範囲指定部３３、切出し・削除・コピー・統合部３４を有する。
（形状及び点群データの混合）
以下、上記混合ファイル８を生成する方法について実際の例を用いて説明する。図８は、この工程を示すフローチャートである。

この例では、最初に、点群データの編集を行う。

このため、まず、ステップＳ１で、点群テキストファイル処理部１８が、点群テキストファイル７を読み込む。この例では、会議室空間をスキャンして取得した点群テキストファイル７を用いる。この点群テキストファイル７は、点群の空間座標、色、読み込んだ時刻等からなるテキストファイルである。

ついで、ステップＳ２で、点群データ表示編集部２０が、前記点群テキストファイル処理部１８によって変換された点群データを読み込んで図９に示すように、前記形状データ・点群データ表示部２２に表示すると共に、階層構造データ表示編集部２１が、図に示すような階層構造データ２９の初期階層構造を自動生成する。この初期データは、モデル全体、点群、グループ（＿Ｇ１）、点群データ（＿Ｓ１）からなる木構造である。

次に、ステップＳ３、Ｓ４で、上記点群データから、空間内に存在する物体としてホワイトボードを切り出す（図１０）。すなわち、上記で変換されたオリジナルの点群データは複数の点の単なる集合であり、空間内に存在する複数の異なる物体の区分はなされていない。そこで、この例では、会議室の空間に配置されているホワイトボードをこのシステムで操作する物体として切出す。

この切り出しは、まず、上記点群データ表示編集部２０の点群範囲指定部３３で、切り出す空間座標範囲を指定することで開始する（ステップＳ３）。この空間の指定は、この例では、まず、図１１（ａ）に示すように１つのボックスＡを作成し、それに対して、図１１（ｂ）に示すように、いくつかのボックスＢ，Ｃを足したり引いたりすることで複雑な形状で行うことができる。この例では、１つ目のボックスＡ（実線）に、２つ目のボックスＢ（実線）を足し、３つ目のボックスＣ（破線）は引くことで、図１１（ｃ）に示すような範囲を指定することができ、この状態で「切り出し」コマンドを与えることでこの範囲に入っている点群のみを切り出すことができるようになっている。このことで、ホワイトボードのような複雑なオブジェクトを切り出す（ステップＳ４）。

なお、この例では示していないが、ボックスにより選択された点群は例えば赤色に着色され選択されたことが目視認識できるようになっている。また、この切り出しは何度でもやり直しができるように構成されている。

次に、ステップＳ５で、切り出したホワイトボードの点群データを上記階層構造データ２９内に配置する（＿Ｓ２）。具体的には、切り取った点群データ（＿Ｓ２）を新たに作成したグループ（＿Ｇ２）に含め，さらに（＿Ｇ２）を（点群）に含める。ついで、グループ（＿Ｇ２）の配置情報を編集し、残りの点群データ（＿Ｓ１）とは別の位置に移動させる。

この結果、最初の点群データ（＿Ｓ１）は、このホワイトボードを除いた残りの部分となる。図１０は、この作業後の３Ｄ空間の描画結果である。

次に、ステップＳ６で、会議室を表すＣＡＤファイルを取り込んでＣＡＤファイル入力部で形状データに変換し、前記ホワイトボードを含む点群データが配置された階層データ内部に配置する（ステップＳ７、図１２）。この図１２の木構造の（＿Ｓ３）は会議室を表す形状データであり、（＿Ｇ３）は（＿Ｓ３）を包含するグループであり、（形状）は（＿Ｇ３）を包含するグループである。このような階層構造データの生成は、上記階層構造データ表示編集部が、上記ＣＡＤファイルに含まれるＣＡＤ階層構造データを読み込んで、これを、（形状）グループとして（モデル全体）の配下に含めることで自動的に行うようになっている。

次に、（形状）の階層構造データに、上記点群配下のグループＧ２を点群データ（＿Ｓ２）ごと移動させ、その後、グループ（＿Ｇ２）の配置情報を編集し、利用者が考える適切な位置にホワイトボードを配置する。

また、ステップＳ８で、図１３に示すように、前記ホワイトボードを表す点群を複数コピーし、建屋を表す形状データの内部の異なる位置に配置する。このようなデータを作成するには、例えば、以下のようにする。

まず、（＿Ｓ２）をコピーし、（＿Ｓ４）,（＿Ｓ５）,（＿Ｓ６）を作成する。ついで、（＿Ｇ４）,（＿Ｇ５）,（＿Ｇ６）を作成し、それぞれ（＿Ｓ４）,（＿Ｓ５）,（＿Ｓ６）を包含する。そして、（形状）配下に（＿Ｇ４）,（＿Ｇ５）,（＿Ｇ６）を包含するようにする。最後に、（＿Ｇ４）,（＿Ｇ５）,（＿Ｇ６）の配置情報をそれぞれ編集し、利用者が考える適切な位置にコピーしたホワイトボードを配置する。

これにより、図１３に示すような形状データと点群データの混合データを生成することができる。この混合ファイル８は、前記混合ファイル入出力部２４により、上記データ格納部１４に出力される。この実施形態では、混合ファイル入出力部２４は、前記形状データと点群データの混合ファイルを、図面情報を格納する中間フォーマット（例えばＩＧＥＳ形式）で出力するようになっている。このことで、点群データを点群データのままＣＡＤ等の図面作成システムで操作することが可能になる。

また、この混合ファイル入出力部２４は、混合ファイル８を読み込み、前記各表示編集部１９〜２１を介して、前記ディスプレイ画面の表示部２２，２３に描画出力表示することができるようになっている。

以上、本発明の一実施形態を説明したが、本発明は上記の実施形態に限定されるものではなく、発明の要旨の範囲内で種々変形可能である。

例えば、上記一実施形態は、形状データと点群データの混合活用システムであったが、点群データのみを処理するシステムであっても良い。

また、形状データはＣＡＤにより出力されるものに限定されるものではなく、他の種々の図面作成ソフトで作成されたものであってもよく、複数の形式の形状ファイルを扱えるものであっても良い。同様に点群データもその作成方法はどのようなものであっても良い。

１…形状・点群データ混合活用システム
２…入力装置
３…出力装置
４…ＣＡＤシステム等
５…ＣＡＤファイル
６…空間スキャナ等
７…点群テキストファイル
８…形状データ・点群データ・階層構造データ混合ファイル
１０…ＣＰＵ
１１…ＲＡＭ
１２…入出力インターフェース
１３…バス
１４…データ格納部
１５…プログラム格納部
１７…ＣＡＤファイル処理部
１８…点群テキストファイル処理部
１９〜２１…表示編集部
１９…形状データ表示編集部
２０…点群データ表示編集部
２１…階層構造データ表示編集部
２２…形状データ・点群データ表示部
２３…階層構造データ表示部
２４…混合ファイル入出力部
２６…ＣＡＤ階層構造データ
２７．２８…データ
２７…形状データ
２８…点群データ
２９…階層構造データ
３３…点群範囲指定部
３４…切り出し・削除・コピー・統合部

Claims (9)

1. ２次元または３次元の物体要素を表示操作するシステムであって、
   実空間を計測して得られた点群を出力装置上に表現された仮想空間内に表示する手段と、
   出力装置上に表示された点群の一部若しくは全部を仮想的な物体要素として選別する手段と、
   ２次元または３次元の形状データからなる物体要素を、前記点群からなる物体要素と共に出力装置上に表現された仮想空間内に配置する手段と、
   階層構造データを生成し、同じ階層構造データ中の各グループに前記点群から選別した物体要素若しくは前記形状データから得られた物体要素を所属させることで、前記階層構造データにそれぞれの物体要素の配置情報を記録する手段と、
   を有することを特徴とするシステム。
2. 請求項１記載のシステムにおいて、
   前記階層構造データを生成する手段は、当該階層構造データのグループに所属する各物体要素に、前記配置情報に加え、名称を含む属性情報、表示・非表示の状態や表示色の情報の一部ないしは全てを設定可能にするものである
   ことを特徴とするシステム。
3. 請求項１記載のシステムにおいて、
   さらに、前記形状データから得られた物体要素と、前記点群からなる物体要素とを、図面情報を格納する中間フォーマットで出力する混合ファイル出力手段を有する
   ことを特徴とするシステム。
4. コンピュータによって実行される、２次元または３次元の物体要素を表示操作する方法であって、
   コンピュータが、実空間を計測して得られた点群を出力装置上に表現された仮想空間内に表示する工程と、
   コンピュータが、出力装置上に表示された点群の一部若しくは全部を仮想的な物体要素として選別する工程と、
   コンピュータが、２次元または３次元の形状データからなる物体要素を、前記点群からなる物体要素と共に出力装置上に表現された仮想空間内に配置する工程と、
   コンピュータが、階層構造データを生成し、同じ階層構造データ中の各グループに前記点群から選別した物体要素若しくは前記形状データから得られた物体要素を所属させることで、前記階層構造データにそれぞれの物体要素の配置情報を記録する工程と、
   を有することを特徴とする方法。
5. 請求項４記載の方法において、
   前記階層構造データを生成する工程は、コンピュータが、当該階層構造のグループに所属する各物体要素に、前記配置情報に加え、名称を含む属性情報、表示・非表示の状態や表示色の情報の一部ないしは全てを設定可能にするものである
   ことを特徴とする方法。
6. 請求項４記載の方法において、
   さらに、コンピュータが、前記形状データから得られた物体要素と、前記点群からなる物体要素とを、図面情報を格納する中間フォーマットで出力する混合ファイル出力工程を有する
   ことを特徴とする方法。
7. ２次元または３次元の物体要素を表示操作するためのコンピュータソフトウエアプログラムであって、
   コンピュータに、
   実空間を計測して得られた点群を出力装置上に表現された仮想空間内に表示する工程と、
   出力装置上に表示された点群の一部若しくは全部を仮想的な物体要素として選別する工程と、
   ２次元または３次元の形状データからなる物体要素を、前記点群からなる物体要素と共に出力装置上に表現された仮想空間内に配置する工程と、
   階層構造データを生成し、同じ階層構造データ中の各グループに前記点群から選別した物体要素若しくは前記形状データから得られた物体要素を所属させることで、前記階層構造データにそれぞれの物体要素の配置情報を記録する工程と、
   を実行させるためのプログラム
8. 請求項７記載のコンピュータソフトウエアプログラムにおいて、
   前記階層構造データを生成する工程は、当該階層構造のグループに所属する各物体要素に、前記配置情報に加え、名称を含む属性情報、表示・非表示の状態や表示色の情報の一部ないしは全てを設定可能にするものである
   ことを特徴とするコンピュータソフトウエアプログラム。
9. 請求項７記載のコンピュータソフトウエアプログラムにおいて、
   さらに、コンピュータに、前記形状データから得られた物体要素と、前記点群からなる物体要素とを、図面情報を格納する中間フォーマットで出力する混合ファイル出力工程
   を実行させるものであることを特徴とするコンピュータソフトウエアプログラム。

Images