JP6741008B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。

近年、物体の三次元形状を高速にスキャンする技術が広く利用されている。そのような技術は、例えばゲームの分野において、ユーザのジェスチャに基づく操作を実現するために利用されている。このようなスキャン技術においては、特に動物体を対象とした三次元形状の測定精度の向上が求められている。

これに関し、例えば、下記特許文献１では、投影パターンを投影し、対象物から反射された反射パターンを得ることで対象物の三次元形状を測定する測定手法に関し、投影する位相パターンを工夫することで高精度に動物体の三次元形状を測定する技術が開示されている。

また、下記特許文献２では、同測定手法に関し、得られた反射パターンの処理方法を工夫することで高速に対象物の三次元形状を測定する技術が開示されている。

また、下記非特許文献１では、動物体の移動方向を仮定することで、測定精度を向上させる技術が開示されている。

特開２０１１−１２７９３２号公報 特開２０１３−０２４６５５号公報

Weise，T．； ETH Zurich，Zurich； Leibe，B．； Van Gool，L．、"Fast 3D Scanning with Automatic Motion Compensation"、Computer Vision and Pattern Recognition，2007．、IEEE Conference on June 2007．

しかし、上記技術分野では、さらなる測定精度の向上が望まれている。そこで、動物体の三次元形状の測定精度をより向上させることが可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提案する。

本開示によれば、対象物の三次元形状の測定結果を示す三次元形状情報を取得する第１の取得部と、前記第１の取得部により取得された前記三次元形状情報に対応する前記対象物の運動を示す情報を取得する第２の取得部と、前記第２の取得部により取得された前記対象物の運動を示す情報に基づいて、前記第１の取得部により取得された前記三次元形状情報を処理する処理部と、を備える情報処理装置が提供される。

また、本開示によれば、対象物の三次元形状の測定結果を示す三次元形状情報を取得することと、取得された前記三次元形状情報に対応する前記対象物の運動を示す情報を取得することと、取得された前記対象物の運動を示す情報に基づいて、前記三次元形状情報をプロセッサにより処理することと、を含む情報処理方法が提供される。

また、本開示によれば、コンピュータを、対象物の三次元形状の測定結果を示す三次元形状情報を取得する第１の取得部と、前記第１の取得部により取得された前記三次元形状情報に対応する前記対象物の運動を示す情報を取得する第２の取得部と、前記第２の取得部により取得された前記対象物の運動を示す情報に基づいて、前記第１の取得部により取得された前記三次元形状情報を処理する処理部と、として機能させるためのプログラムが提供される。

以上説明したように本開示によれば、動物体の三次元形状の測定精度をより向上させることが可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本実施形態に係る測定システムの論理的な構成の一例を示すブロック図である。 本実施形態に係る測定制御装置による運動の周期性の判定処理を説明するための説明図である。 本実施形態に係る測定制御装置による運動パターンの判定処理を説明するための説明図である。 本実施形態に係る測定制御装置による運動パターンの判定処理を説明するための説明図である。 本実施形態に係る測定制御装置による測定の死角部分の補完処理を説明するための説明図である。 本実施形態に係る測定システムによる測定処理の流れの一例を示すフローチャートである。 本実施形態に係る測定システムによる測定処理の流れの一例を示すフローチャートである。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．構成例
１．１．測定装置の構成例
１．２．測定制御装置の構成例
２．技術的特徴
３．処理の流れ
４．ハードウェア構成例
５．まとめ

＜＜１．構成例＞＞
図１は、本実施形態に係る測定システム１の論理的な構成の一例を示すブロック図である。図１に示すように、測定システム１は、測定装置１０及び測定制御装置２０を含む。

＜１．１．測定装置の構成例＞
測定装置１０は、対象物の三次元形状を測定（いわゆる、３Ｄスキャン）する装置である。測定装置１０は、３Ｄスキャナとも称され得る。測定装置１０は、測定制御装置２０から受信した制御信号に基づいて測定し、測定結果を測定制御装置２０へ送信する。測定装置１０は、ハンディタイプ又はドーム（全方位）タイプなどの様々な形態をとり得る。また、測定装置１０は、アクティブ計測法又はパッシブ計測法などの様々な測定手法を採用し得る。ただし、高速に運動する動物体が測定対象である場合、ワンショットのアクティブ計測方式といった高速な３Ｄスキャンニング方式が採用されることが望ましい。

測定対象となる対象物は、人等の生物、メトロノーム等の自律的に動作する物体、ボール等の他からの力を受けて動作する物体等、多様の動物体が考えらえる。また、例えば人の運動としては、例えば歩く、走る、手を挙げる、呼吸、心拍等が考えられる。もちろん、対象物は、静止物体であってもよい。

＜１．２．測定制御装置の構成例＞
測定制御装置２０は、測定装置１０に制御信号を送信して測定をさせ、測定結果を取得して処理する装置である。図１に示すように、測定制御装置２０は、出力部３０、入力部４０、記憶部５０及び制御部６０を含む。

（１）出力部３０
出力部３０は、制御部６０による処理結果を出力する機能を有する。例えば、制御部６０は、画像（動画像／静止画像）、テキスト、又は音声等により処理結果を出力する。

（２）入力部４０
入力部４０は、外部からの情報の入力を受け付ける機能を有する。例えば、入力部４０は、測定のタイミング、回数、期間、又は対象範囲（典型的には、スキャナの位置及び姿勢）等の設定情報のユーザ入力を受け付ける。

（３）記憶部５０
記憶部５０は、測定制御装置２０の動作のためのプログラム及び様々なデータを一時的に又は恒久的に記憶する機能を有する。例えば、記憶部５０は、測定装置１０から取得された測定結果を示す情報を記憶する。

（４）制御部６０
制御部６０は、測定制御装置２０の様々な機能を提供する。制御部６０は、第１の取得部６１、第２の取得部６２、測定制御部６３、処理部６４及び出力制御部６５を含む。なお、制御部６０は、これらの構成要素以外の他の構成要素をさらに含み得る。即ち、制御部６０は、これらの構成要素の動作以外の動作も行い得る。

第１の取得部６１、第２の取得部６２、測定制御部６３、処理部６４及び出力制御部６５の機能は、後に詳細に説明する。

＜＜２．技術的特徴＞＞
続いて、図２〜図５を参照して、本実施形態に係る測定システム１の技術的特徴を説明する。

（１）測定
測定装置１０は、対象物の三次元形状を測定する。測定制御装置２０（例えば、第１の取得部６１）は、測定装置１０による測定結果を示す三次元形状情報を取得する。三次元形状情報は、例えば深度情報、及びテクスチャ情報等を含む、対象物の三次元形状を示す情報である。このデータは、測定制御装置２０が出力する最終データであってもよいし、中間データであってもよい。測定制御装置２０（例えば、第１の取得部６１）は、深度情報及びテクスチャ情報に基づいて、三次元点群の座標、それら点を繋いだポリゴンメッシュ、各ポリゴンの法線ベクトル等を認識して、これらを三次元形状情報としてもよい。測定装置１０は、取得した三次元形状情報を記憶部５０に記憶する。

（２）運動情報の認識
測定制御装置２０（例えば、第２の取得部６２）は、対象物の運動を示す情報（以下、運動情報とも称する）を取得する。特に、測定制御装置２０は、取得された三次元形状情報に対応する運動情報を取得する。具体的には、測定制御装置２０は、対象物の三次元形状が測定されたタイミングにおける対象物の運動を示す運動情報を取得する。これにより、三次元形状情報と運動情報とが対応付くこととなる。

運動情報は、運動の性質を示す情報、及び運動状態を示す情報を含み得る。運動の性質を示す情報は、例えば運動の有無、運動している場合は予測可能な運動であるか否か、予測可能である場合はその運動パターンを示す情報を含み得る。運動パターンを示す情報は、周期運動、等速度運動、等加速度運動又は回転運動等の運動の種別、及び例えば周期運動であれば周期や振幅、等速度運動であれば速度などの各種パラメータを含み得る。運動状態を示す情報は、例えば対象物の速度、加速度、位置、姿勢、周期運動における位相などを含み得る。

運動情報の取得手段は多様に考えられる。例えば、測定制御装置２０は、測定装置１０による複数回の測定結果である、複数の三次元形状情報に基づいて運動情報を取得（認識）してもよい。例えば、運動の有無は、所定の時間間隔で測定された２度の測定結果が示す対象物の三次元形状情報が同一であるか否かにより判断され得る。周期運動を考慮すれば、運動の有無は、時間間隔を変えた３度以上の測定結果が示す対象物の三次元形状情報が同一であるか否かにより判断され得る。運動周期と測定間隔とが一致する可能性があるためである。また、等速運動であるか否かは、所定の時間間隔で測定された３度以上の測定結果が示す対象物の３つ以上の座標が等間隔に並んでいるか否かにより判断され得る。また、運動状態を示す情報は、複数回の測定結果が示す対象物の三次元形状や座標を互いに比較したり、差分を取ったりすることで判断され得る。他にも、測定制御装置２０は、運動情報を他の装置（例えば、ドップラーセンサ、又は対象物に設けられた慣性センサ等）から取得してもよい。

以下、運動情報の取得のための具体的な方法について説明する。

（運動の有無の判定）
例えば、測定制御装置２０（例えば、第２の取得部６２）は、複数の三次元形状情報同士のマッチング処理を行うことで、運動の有無を判定する。具体的には、測定制御装置２０は、深度情報を画素ごとに比較して、適合率が閾値以上であれば運動は無いと判定し、閾値未満であれば運動が有ると判定してもよい。測定装置１０の精度によっては静止物体を測定した場合にも測定結果が変わる可能性があるため、複数の三次元形状情報を判定に用いることで、判定精度の向上を図ることが可能である。

（運動の周期性の有無の判定）
例えば、測定制御装置２０（例えば、第２の取得部６２）は、複数の三次元形状情報同士のマッチング処理を行うことで、運動の周期性の有無を判定する。具体的には、測定制御装置２０は、まず基準とする三次元形状情報を定め、基準の三次元形状情報との適合率が閾値以上となる三次元形状情報が所定の時間間隔で現れる場合に、当該時間間隔を周期とする周期運動を検出する。この点について、図２を参照して説明する。

図２は、本実施形態に係る測定制御装置２０による運動の周期性の判定処理を説明するための説明図である。図２に示した例では、基準の位相１００において取得された三次元形状情報と、位相１２０及び位相１４０において取得された三次元形状情報との適合率が閾値以上となっている。そのため、測定制御装置２０は、位相１００から位相１２０まで、又は位相１００から位相１４０までを１周期として判定し得る。ただし、位相１００から位相１２０までが１周期であれば同位相となるはずの位相１１０と位相１３０との間で三次元形状情報の適合率が閾値以上とならない。一方で、位相１００から位相１４０までが１周期であれば同位相となるはずの位相１１０と位相１５０との間で三次元形状情報の適合率が閾値以上となる。そのため、測定制御装置２０は、位相１００から位相１４０までを１周期と判定する。

上記のマッチング処理は、取得された三次元形状情報の全てに対して行われてもよいし、高速化のため、一部の三次元形状情報、又は三次元形状情報のうち一部の特異点を対象として行われてもよい。マッチング処理の計算には、例えば深度情報の全点を対象とする場合、ＳＳＤ（Sum of Squared Difference）又はＳＡＤ（Sum of Absolute Difference）等が用いられ得る。ＳＳＤにおける適合率Ｄ_ＳＳＤ及びＳＡＤにおける適合率Ｄ_ＳＡＤは、次式で表される。

ここで、ｘはｘ軸の座標であり、０からＭ−１までの値をとる。ｙはｙ軸の座標であり、０からＮ−１までの値をとる。Ｄｔ（ｘ，ｙ）は、時刻ｔにおける座標（ｘ，ｙ）の深度である。

適合率の閾値は、デフォルト値又はユーザ指示に基づいて設定され得る。

（運動パターンの判定）
例えば、測定制御装置２０（例えば、第２の取得部６２）は、複数の三次元形状情報同士のマッチング処理を行うことで、運動パターンを判定する。以下、判定方法の一例を説明する。

・第１の例
例えば、測定制御装置２０は、時間軸で隣接する三次元形状情報を対象として３Ｄ Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎを行って個々のデータの変位を推定することを、取得された全ての三次元形状情報を対象として行ってもよい。

第１の例について、図３を参照して説明する。図３は、本実施形態に係る測定制御装置２０による運動パターンの判定処理を説明するための説明図である。図３では、空間２００内で運動する対象物の三次元形状情報の時系列変化を示している。例えば、測定制御装置２０は、時刻ｔ−１における対象物の三次元形状情報２１０と時刻ｔにおける対象物の三次元形状情報２２０とを対象として、動きベクトル２４０を推定する。また、測定制御装置２０は、時刻ｔにおける対象物の三次元形状情報２２０と時刻ｔ＋１における対象物の三次元形状情報２３０とを対象として、動きベクトル２５０を推定する。測定制御装置２０は、このようにして推定した動きベクトル２４０及び動きベクトル２５０を用いて、例えば時刻ｔ＋２における三次元形状情報を予測し得る。なお、３Ｄ Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎの詳しい説明は、例えば「Kamolrat，B．； Fernando，W．A．C．； Mrak，M．； Kondoz，A．、“3D motion estimation for depth image coding in 3D video coding”、Consumer Electronics， IEEE Transactions on May 2009．」に記載されている。

・第２の例
例えば、測定制御装置２０は、予め用意した複数の運動パターンに適合するか否かに基づいて運動パターンを判定してもよい。詳しくは、まず、測定制御装置２０は、時間軸で隣接する三次元形状情報のペアの片方に運動パターンに基づく変位を適用して、適用後の三次元形状情報と他方とのマッチング処理を行う。測定制御装置２０は、このマッチング処理を各々の運動パターンについて行い、適合率が閾値以上であるひとつ以上の運動パターンを抽出する。そして、測定制御装置２０は、抽出した運動パターンの各々に従ったシミュレーション結果と取得された全ての三次元形状情報とのマッチング処理を行って、適合率の合計値が閾値以上であり且つ最大である運動パターンを、対象物の運動パターンであると判定する。予め用意する複数の運動パターンとしては、例えば等速度運動又は等速円運動等の運動パターンが挙げられる。

第２の例について、図４を参照して説明する。図４は、本実施形態に係る測定制御装置２０による運動パターンの判定処理を説明するための説明図である。図４では、空間３００内で運動する対象物の三次元形状情報の時系列変化と、運動パターンの一例を示している。例えば、時刻ｔ−１において三次元形状情報３１０が取得され、時刻ｔにおいて三次元形状情報３３０が取得されたものとする。測定制御装置２０は、時刻ｔ−１において取得された三次元形状情報３１０に、−Ｙ方向に移動する運動パターンに基づく変位を適用した三次元形状情報３２０Ａを生成し、三次元形状情報３２０Ａと三次元形状情報３３０とのマッチング処理を行う。しかし、適合率が閾値未満であるため、測定制御装置２０は、この運動パターンは対象物の運動パターンではないと判定する。測定制御装置２０は、Ｘ方向に移動する運動パターンに基づく変位を適用した三次元形状情報３２０Ｂ、Ｚ方向に移動する運動パターンに基づく変位を適用した三次元形状情報３２０Ｃ等に関して同様の処理を行う。そして、測定制御装置２０は、適合率が閾値以上であった三次元形状情報３２０Ｃに係る運動パターンが、対象物の運動パターンであると判定する。

上記説明した第１の例は、複雑な運動に追従可能であるものの計算コストが高い。一方で、第２の例は、追従できるパターンが限定されるものの計算コストが低くなる。また、第２の例の場合、対象物の部分ごとに運動の性質に違いがある場合は運動のパターンを判定することが困難である。ただし、後述するセグメンテーションが行われてセグメントごとに運動パターンが判定される場合はこの限りではない。

（ユーザ入力）
運動情報は、ユーザにより入力されてもよい。例えば、測定制御装置２０は、測定前に運動の有無、運動の周期性の有無、及び周期を示す情報等のユーザ入力を受け付けてもよい。また、測定制御装置２０は、これらの情報を用いて測定及び運動情報の認識を行ってもよい。これにより、測定精度を向上させ、測定時間を短縮することが可能となる。

（４）測定結果の統合
測定制御装置２０（例えば、処理部６４）は、運動情報に基づいて、三次元形状情報を処理する機能を有する。例えば、測定制御装置２０は、対象物の運動の性質に基づいて複数の三次元形状情報を統合する。以下、統合処理の一例を説明する。

運動の性質が静止である場合、測定制御装置２０は、静止状態に対応する複数の三次元形状情報を統計処理する。なお、統計処理とは、対象の複数の三次元形状情報について、平均値をとる、中央値をとる、最頻値をとる、又は外れ値を削除すること等を指すものとする。同一の運動状態（静止状態）において取得された三次元形状情報が複数統合されるので、三次元形状情報の精度を向上させることができる。

運動の性質が予測可能な運動である場合、測定制御装置２０は、予測される対象物の運動に基づいて三次元形状情報を統計処理する。予測可能な運動は、運動パターンを判定可能な運動として捉えることも可能である。即ち、測定制御装置２０は、対象物の運動パターンに基づいて三次元形状情報を統計処理する。例えば、測定制御装置２０は、実測データと運動パターンとを照らし合わせ、大きく外れるデータが見つかった場合に無効な値とみなして、時間近傍、あるいは空間近傍のデータを用いて修正する。さらに、測定制御装置２０は、対象物の異なる運動状態に対応する複数の三次元形状情報から、測定の死角部分（即ち、オクルージョン）を補完してもよい。測定の死角部分の補完処理については後に詳しく説明する。これらの統合処理により、三次元形状情報の精度を向上させることができる。

運動の性質が周期運動である場合、測定制御装置２０は、周期運動を行う対象物の同位相の運動状態に対応する複数の三次元形状情報を統計処理する。例えば、測定制御装置２０は、周期運動における位相が同一であるタイミングで測定された三次元形状情報の平均値をとる等する。同一の運動状態（周期運動における同位相）において取得された三次元形状情報が複数統合されるので、三次元形状情報の精度を向上させることができる。さらに、測定制御装置２０は、周期運動を行う対象物の異なる位相の運動状態に対応する複数の三次元形状情報から、測定の死角部分を補完してもよい。図５を参照して、測定の死角部分の補完について詳しく説明する。

図５は、本実施形態に係る測定制御装置２０による測定の死角部分の補完処理を説明するための説明図である。図５に示した例では、位相４００〜位相４８０の各位相における対象物（メトロノーム）の状態を図示している。図２を参照して説明したように、測定制御装置２０は、位相４００から位相４４０までを１周期として判定可能である。例えば、位相４００を基準の位相とした場合、同位相（例えば、位相４４０又は位相４８０）の三次元形状情報には、動物体であるメトロノームの針の後ろ側の死角部分の三次元形状情報は含まれない。そのため、測定制御装置２０は、位相４１０又は位相４５０といった、異なる位相であって、メトロノームの針の後ろ側の死角部分４９０の三次元形状情報を含む位相の三次元形状情報を用いて、死角部分４９０を補完する。

（５）セグメンテーション
測定制御装置２０（例えば、処理部６４）は、運動情報に基づいて、対象物を運動の性質が異なる複数のセグメントに分類してもよい。これにより、対象物の運動の特徴がより正確に把握可能となる。

例えば、測定制御装置２０は、対象物を運動が無い静止領域と運動が有る運動領域とに分ける。そのためには、測定制御装置２０は、例えば複数の三次元形状情報を、位置合わせを行った上で比較し、差分が閾値以上であった領域（例えば、運動領域）と閾値未満であった領域（例えば、静止領域）とに分けてもよい。どちらの領域も、孤立領域があった場合には、まとめて一つの領域に分類される。なお、運動領域内でも運動の性質が異なる部分があれば、運動領域がさらに２以上の領域に分類されてもよい。他にも、測定制御装置２０は、Ｓｎａｋｅｓ、Ｇｒａｐｈ Ｃｕｔ又はＷａｔｅｒｓｈｅｄ等の既存セグメンテーション技術を利用してセグメンテーションを行ってもよい。もちろん、測定制御装置２０は、上記技術を組み合わせて用いてもよい。セグメント分けの対象となるデータは、深度情報、テクスチャ情報等が考えられる。

セグメンテーション後、測定制御装置２０（例えば、処理部６４）は、セグメントごとに三次元形状情報を処理する。例えば、測定制御装置２０は、静止領域と運動領域とで分けて、三次元形状情報の統合を行ってもよい。これにより、三次元形状情報が、対象物の運動の特徴により合致するものとなるので、三次元形状情報の精度を向上させることができる。

（６）測定制御
測定制御装置２０（例えば、測定制御部６３）は、測定装置１０の制御を行う。例えば、測定制御装置２０は、測定装置１０による測定のタイミング、回数、期間、又は対象範囲の少なくともいずれかを制御する。他にも、測定制御装置２０は、測定装置１０に追加の測定を実行させてもよい。これらの制御により、測定制御装置２０は、精度向上に有用な三次元形状情報を収集することが可能となる。

測定制御装置２０は、ユーザ入力に基づいて測定装置１０を制御してもよい。例えば、運動の周期性を確認するためにどの程度の回数、あるいは時間が必要かを事前に自動で判断することが困難である場合に、ユーザから設定情報が入力されることが望ましい。もちろん、設定情報はデフォルト値であってもよい。

また、測定制御装置２０は、運動情報に基づいて測定装置１０を制御してもよい。例えば、測定制御装置２０は、対象物が周期運動を行う場合、すでに取得した三次元形状情報と位相が異なる情報を取得するために、又は同相の情報を取得するために、測定間隔を制御したり、追加の測定を実行させたりする。これにより、位相が異なる三次元形状情報を用いた死角の補完、又は同相の三次元形状情報を用いた精度向上を実現するために有用な三次元形状情報を、効率よく収集することが可能となる。

（７）データ出力
測定制御装置２０（例えば、出力制御部６５）は、処理結果を示す情報を出力部３０に出力させる。測定制御装置２０は、処理部６４による処理結果を示す情報及び運動情報の一部又は全部を選択的に出力し得る。例えば、測定制御装置２０は、統合した三次元形状情報、並びに運動の有無、運動の周期性の有無、周期、及び運動パターンの少なくとも何れかを選択的に出力する。どの情報を出力すべきかは、例えばユーザ入力により設定され得る。また、測定制御装置２０は、利用した複数回の測定結果のうち、任意の測定結果をベースとして三次元形状情報を出力し得る。例えば、測定制御装置２０は、どの測定結果をベースとするかをユーザ入力に基づいて定めてもよい。また、測定制御装置２０は、対象物の中で最も長い運動の周期を１シーケンスとみなして、そのシーケンス内の全ての三次元形状情報を出力してもよい。また、測定制御装置２０は、セグメントごとに三次元形状情報を出力してもよい。

以上、本実施形態に係る測定システム１の技術的特徴を説明した。続いて、図６及び図７を参照して、本実施形態に係る測定システム１の処理の流れを説明する。

＜＜３．処理の流れ＞＞
図６及び図７は、本実施形態に係る測定システム１による測定処理の流れの一例を示すフローチャートである。

図６に示すように、まず、測定制御装置２０（例えば、測定制御部６３）は、対象物のうち未測定の部分に測定の対象範囲を移動させる（ステップＳ１０２）。なお、測定装置１０が全方位タイプである場合、本ステップは省略される。また、測定装置１０がハンディタイプである場合、測定制御装置２０は、ユーザに対して測定の対象範囲を移動させるよう指示する情報を出力する。

次いで、測定制御装置２０（例えば、第２の取得部６２）は、測定の対象範囲の運動の有無を判定する（ステップＳ１０４）。測定制御装置２０（例えば、第１の取得部６１及び測定制御部６３）は、測定装置１０に測定させ、三次元形状情報を運動の有無の判定のための情報として取得してもよい。

運動が無いと判定された場合（ステップＳ１０６／ＮＯ）、測定制御装置２０（例えば、処理部６４）は、統合処理Ａを行う（ステップＳ１０８）。具体的には、測定制御装置２０は、静止状態に対応する複数の三次元形状情報、即ち取得された全ての三次元形状情報の平均値をとる等する。ここで、ステップＳ１０４において測定装置１０による測定が行われている場合、その際に取得された三次元形状情報が統合の対象となる。ステップＳ１０４において測定装置１０による測定が行われていない場合、測定制御装置２０は、新たに測定を実行させて取得した複数の三次元形状情報を統合の対象とする。その後、処理はステップＳ１３０に進む。

一方で、運動が有ると判定された場合（ステップＳ１０６／ＹＥＳ）、図７に示すように、測定制御装置２０（例えば、第１の取得部６１及び測定制御部６３）は、測定装置１０に測定を実行させて、三次元形状情報を取得する（ステップＳ１１０）。測定のタイミング、回数、期間、又は対象範囲等の設定情報は、ユーザ入力された値又はデフォルト値である。

次いで、測定制御装置２０（例えば、処理部６４）は、セグメンテーションを行う（ステップＳ１１２）。例えば、測定制御装置２０は、対象物を運動が無い静止領域と運動が有る運動領域とに分ける。

次に、測定制御装置２０（例えば、第２の取得部６２）は、セグメントに運動があるか否かを判定する（ステップＳ１１４）。例えば、測定制御装置２０は、セグメントごとに複数の三次元形状情報を用いたマッチング処理を行うことで判定を行う。

セグメントに運動が無いと判定された場合（ステップＳ１１４／ＮＯ）、測定制御装置２０（例えば、処理部６４）は、統合処理Ｂを行う（ステップＳ１１６）。具体的には、測定制御装置２０は、静止状態に対応する複数の三次元形状情報、即ち当該セグメントについて取得された全ての三次元形状情報の平均値をとる等する。

一方で、セグメントに運動が有ると判定された場合（ステップＳ１１４／ＹＥＳ）、測定制御装置２０（例えば、第２の取得部６２）は、運動に周期性があるか否かを判定する（ステップＳ１１８）。

運動に周期性が有ると判定された場合（ステップＳ１１８／ＹＥＳ）、測定制御装置２０（例えば、測定制御部６３）は、追加の測定を測定装置１０に実行させる（ステップＳ１２０）。これは、ステップＳ１１０においてすでに取得した三次元形状情報と位相が異なる情報を取得するため、又は同相の情報をさらに取得するためである。次いで、測定制御装置２０（例えば、処理部６４）は、統合処理Ｃを行う（ステップＳ１２２）。具体的には、測定制御装置２０は、周期運動を行う対象物の同位相の運動状態に対応する複数の三次元形状情報の平均値をとる等し、異なる位相の運動状態に対応する複数の三次元形状情報から測定の死角部分を補完する。

一方で、運動に周期性が無いと判定された場合（ステップＳ１１８／ＹＥＳ）、測定制御装置２０（例えば、第２の取得部６２）は、運動パターンの有無を判定する（ステップＳ１２４）。例えば、測定制御装置２０は、運動パターンの判定を行い、運動パターンの判定に成功した場合に運動パターンが有ると判定し、失敗した場合に無いと判定する。

運動パターンが有ると判定された場合（ステップＳ１２４／ＹＥＳ）、測定制御装置２０（例えば、処理部６４）は、統合処理Ｄを行う（ステップＳ１２６）。例えば、測定制御装置２０は、実測データと運動パターンとを照らし合わせ、大きく外れるデータが見つかった場合に無効な値とみなして、時間近傍、あるいは空間近傍のデータを用いて修正する

一方で、運動パターンが無いと判定された場合（ステップＳ１２４／ＮＯ）、測定制御装置２０（例えば、処理部６４）は、統合処理Ｅを行う（ステップＳ１２８）。具体的には、測定制御装置２０は、複数の三次元形状情報の中から、出力する一の三次元形状情報を選択する。例えば、測定制御装置２０は、ステップＳ１１０において行われた複数回の測定のうち最後の測定により取得された三次元形状情報を選択してもよい。その場合、後述のステップＳ１３０において出力される三次元形状情報の測定時刻と、次に行われる測定の測定時刻までの時間間隔が短くなり、次の出力との整合性を向上させることができる。

測定制御装置２０は、以上説明したステップＳ１１４〜ステップＳ１２８に係る処理を、ステップＳ１１２において分類された全てのセグメントについて行う。

そして、測定制御装置２０（例えば、出力制御部６５及び出力部３０）は、データを出力する。例えば、測定制御装置２０は、統合処理Ａ、Ｂ、Ｃ、Ｄ又はＥによる処理結果である三次元形状情報、及び運動情報を出力する。

測定制御装置２０は、以上説明したステップＳ１０２〜ステップＳ１３０に係る処理を、対象物に未測定部分がなくなるまで行う。なお、一度のループの中で行われる測定装置１０による測定の対象範囲は、同一であるものとする。

以上により、処理は終了する。

＜＜４．ハードウェア構成例＞＞
最後に、図８を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図８は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図８に示す情報処理装置９００は、例えば、図１に示した測定制御装置２０を実現し得る。本実施形態に係る測定制御装置２０による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。

図８に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図１に示す制御部６０を形成し得る。

ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置９０６は、例えば、図１に示す入力部４０を形成し得る。

出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。上記表示装置又は上記音声出力装置は、例えば、図１に示す出力部３０を形成し得る。

ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図１に示す記憶部５０を形成し得る。

ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。

接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。

通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。

なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

＜＜５．まとめ＞＞
以上、図１〜図８を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、測定制御装置２０は、三次元形状情報及び当該三次元形状情報に対応する運動情報を取得し、運動情報に基づいて三次元形状情報を処理する。測定制御装置２０は、三次元形状情報を、測定されたタイミングにおける運動情報に基づいて処理することで、物体の三次元形状の測定精度をより向上させることが可能である。具体的には、測定制御装置２０は、対象物の運動の性質に基づいて複数の三次元形状情報を適応的に統合する、即ち統合手段を可変にすることで、動物体に関し測定精度を向上させることが可能である。

近年、動物体の３Ｄスキャンに関する技術開発は盛んに行われており、医療分野及び工業分野などその適用範囲も広範囲に及ぶ。本技術は、測定装置１０により得られた三次元形状情報に基づく処理を行う、という点で既存の３Ｄスキャンシステムとの親和性が高く、また技術の搭載も容易であることから、動物体の３Ｄスキャンの必要性の向上と相まって、今後の活用が十分見込まれる。また、測定装置１０と測定制御装置２０とが分離した装置として形成されてもよいので、既存の測定装置１０に新たに測定制御装置２０を組み合わせるだけで、容易に上記説明した精度向上を図ることが可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、測定装置１０と測定制御装置２０とが別々の装置として実現される例を説明したが、本技術はかかる例に限定されない。例えば、測定装置１０と測定制御装置２０とが一体化された単独の装置として実現されてもよい。

さらに、測定制御装置２０は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、図１に示した測定制御装置２０の機能構成例のうち、記憶部５０及び制御部６０が、測定装置１０、出力部３０及び入力部４０とネットワーク等で接続されたサーバ等の装置に備えられていても良い。

また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
対象物の三次元形状の測定結果を示す三次元形状情報を取得する第１の取得部と、
前記第１の取得部により取得された前記三次元形状情報に対応する前記対象物の運動を示す情報を取得する第２の取得部と、
前記第２の取得部により取得された前記対象物の運動を示す情報に基づいて、前記第１の取得部により取得された前記三次元形状情報を処理する処理部と、
を備える情報処理装置。
（２）
前記処理部は、前記対象物の運動の性質に基づいて複数の前記三次元形状情報を統合する、前記（１）に記載の情報処理装置。
（３）
前記処理部は、静止状態に対応する複数の前記三次元形状情報を統計処理する、前記（２）に記載の情報処理装置。
（４）
前記処理部は、予測される前記対象物の運動に基づいて前記三次元形状情報を統計処理する、前記（２）又は（３）に記載の情報処理装置。
（５）
前記処理部は、周期運動を行う前記対象物の同位相の運動状態に対応する複数の前記三次元形状情報を統計処理する、前記（２）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記統計処理は、対象の複数の前記三次元形状情報について、平均値をとる、中央値をとる、最頻値をとる、又は外れ値を削除することを含む、前記（３）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記処理部は、前記対象物の異なる運動状態に対応する複数の前記三次元形状情報から、測定の死角部分を補完する、前記（２）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記処理部は、周期運動を行う前記対象物の異なる位相の運動状態に対応する複数の前記三次元形状情報から、測定の死角部分を補完する、前記（７）に記載の情報処理装置。
（９）
前記対象物の三次元形状を測定する測定装置を、前記対象物の運動を示す情報に基づいて制御する測定制御部をさらに備える、前記（１）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記測定制御部は、測定のタイミング、回数、期間、又は対象範囲の少なくともいずれかを制御する、前記（９）に記載の情報処理装置。
（１１）
前記測定制御部は、前記測定装置に追加の測定を実行させる、前記（９）又は（１０）に記載の情報処理装置。
（１２）
前記処理部は、前記運動を示す情報に基づいて、前記対象物を運動の性質が異なる複数のセグメントに分類する、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記処理部は、前記セグメントごとに前記三次元形状情報を処理する、前記（１２）に記載の情報処理装置。
（１４）
前記第２の取得部は、複数の前記三次元形状情報に基づいて前記運動を示す情報を取得する、前記（１）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記第２の取得部は、前記対象物の三次元形状が測定されたタイミングにおける前記対象物の運動を示す情報を取得する、前記（１）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記処理部による処理結果を示す情報及び前記運動を示す情報の一部又は全部を選択的に出力する出力部をさらに備える、前記（１）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
対象物の三次元形状の測定結果を示す三次元形状情報を取得することと、
取得された前記三次元形状情報に対応する前記対象物の運動を示す情報を取得することと、
取得された前記対象物の運動を示す情報に基づいて、前記三次元形状情報をプロセッサにより処理することと、
を含む情報処理方法。
（１８）
コンピュータを、
対象物の三次元形状の測定結果を示す三次元形状情報を取得する第１の取得部と、
前記第１の取得部により取得された前記三次元形状情報に対応する前記対象物の運動を示す情報を取得する第２の取得部と、
前記第２の取得部により取得された前記対象物の運動を示す情報に基づいて、前記第１の取得部により取得された前記三次元形状情報を処理する処理部と、
として機能させるためのプログラム。

１ 測定システム
１０ 測定装置
２０ 測定制御装置
３０ 出力部
４０ 入力部
５０ 記憶部
６０ 制御部
６１ 第１の取得部
６２ 第２の取得部
６３ 測定制御部
６４ 処理部
６５ 出力制御部

Claims (15)

1. 対象物の三次元形状の測定結果を示す三次元形状情報を取得する第１の取得部と、
   前記第１の取得部により取得された前記三次元形状情報に対応する前記対象物の運動を示す情報を取得する第２の取得部と、
   前記第２の取得部により取得された前記対象物の運動を示す情報に含まれる予測される前記対象物の運動に基づいて、前記第１の取得部により取得された前記三次元形状情報を統計処理する処理部と、
   を備える情報処理装置。
2. 前記処理部は、前記対象物の運動に基づいて複数の前記三次元形状情報を統合する、請求項１に記載の情報処理装置。
3. 前記処理部は、周期運動を行う前記対象物の同位相の運動状態に対応する複数の前記三次元形状情報を統計処理する、請求項２に記載の情報処理装置。
4. 前記処理部は、前記対象物の異なる運動状態に対応する複数の前記三次元形状情報から、測定の死角部分を補完する、請求項２に記載の情報処理装置。
5. 前記処理部は、周期運動を行う前記対象物の異なる位相の運動状態に対応する複数の前記三次元形状情報から、測定の死角部分を補完する、請求項４に記載の情報処理装置。
6. 前記対象物の三次元形状を測定する測定装置を、前記対象物の運動を示す情報に基づいて制御する測定制御部をさらに備える、請求項１に記載の情報処理装置。
7. 前記測定制御部は、測定のタイミング、回数、期間、又は対象範囲の少なくともいずれかを制御する、請求項６に記載の情報処理装置。
8. 前記測定制御部は、前記測定装置に追加の測定を実行させる、請求項６に記載の情報処理装置。
9. 前記処理部は、前記運動を示す情報に基づいて、前記対象物を運動の性質が異なる複数のセグメントに分類する、請求項１に記載の情報処理装置。
10. 前記処理部は、前記セグメントごとに前記三次元形状情報を処理する、請求項９に記載の情報処理装置。
11. 前記第２の取得部は、複数の前記三次元形状情報に基づいて前記運動を示す情報を取得する、請求項１に記載の情報処理装置。
12. 前記第２の取得部は、前記対象物の三次元形状が測定されたタイミングにおける前記対象物の運動を示す情報を取得する、請求項１に記載の情報処理装置。
13. 前記処理部による処理結果を示す情報及び前記運動を示す情報の一部又は全部を選択的に出力する出力部をさらに備える、請求項１に記載の情報処理装置。
14. 対象物の三次元形状の測定結果を示す三次元形状情報を取得することと、
    取得された前記三次元形状情報に対応する前記対象物の運動を示す情報に含まれる予測される前記対象物の運動を取得することと、
    取得された前記対象物の運動を示す情報に基づいて、前記三次元形状情報をプロセッサにより統計処理することと、
    を含む情報処理方法。
15. コンピュータを、
    対象物の三次元形状の測定結果を示す三次元形状情報を取得する第１の取得部と、
    前記第１の取得部により取得された前記三次元形状情報に対応する前記対象物の運動を示す情報を取得する第２の取得部と、
    前記第２の取得部により取得された前記対象物の運動を示す情報に含まれる予測される前記対象物の運動に基づいて、前記第１の取得部により取得された前記三次元形状情報を統計処理する処理部と、
    として機能させるためのプログラム。

Images