JP6830557B1

JP6830557B1 - ３次元形状決定システム及び３次元形状決定装置

Info

Publication number: JP6830557B1
Application number: JP2020043876A
Authority: JP
Inventors: 神保　幹夫; 幹夫神保; 昌弘川村; 祥輝田先; 忠志西川
Original assignee: 神保　幹夫; 幹夫神保
Priority date: 2020-03-13
Filing date: 2020-03-13
Publication date: 2021-02-17
Anticipated expiration: 2040-03-13
Also published as: JP2021143976A

Abstract

【課題】ユーザに過度な負担をかけることなくユーザの３次元形状を正確に決定することのできる３次元形状決定システムを提供する。【解決手段】３次元形状決定システムは、ユーザの周囲を撮像可能な位置に配置され、前記ユーザまでの距離を示す距離画像を出力する少なくとも３台の距離画像センサと、前記ユーザの３次元形状を決定する３次元形状決定装置とを備え、前記３次元形状決定装置は、各前記距離画像センサが出力する前記距離画像に基づいて、前記ユーザの３次元形状を示す入力モデルを算出する算出部と、算出された前記入力モデルに基づいて、人体の３次元形状を示すあらかじめ定められた標準モデルを補正することにより、前記ユーザの３次元形状を決定する補正部とを備える。【選択図】図６

Description

本開示は、ユーザの３次元形状を決定する３次元形状決定システム及び３次元形状決定装置に関する。

従来、測定センサが埋め込まれた特殊なシャツやタイツをユーザが着用することにより、ユーザのサイズを測定するサイズ測定システムが提案されている（例えば、特許文献１参照）。

特開２０１８−１４１７１７号公報

しかしながら、従来のシステムによると、測定センサの伸長の程度に基づいてユーザのサイズを測定している。このため、測定センサの配置されていない箇所についてはユーザの３次元形状を決定することが困難である。また、サイズ測定のためにユーザは特殊なシャツやタイツに着替えなければならず面倒である。

本開示はこのような事情に鑑みてなされたものであり、ユーザに過度な負担をかけることなくユーザの３次元形状を正確に決定することのできる３次元形状決定システム及び３次元形状決定装置を提供することを目的とする。

（１）本開示の一態様に係る３次元形状決定システムは、ユーザの周囲を撮像可能な位置に配置され、前記ユーザまでの距離を示す距離画像を出力する少なくとも３台の距離画像センサと、前記ユーザの３次元形状を決定する３次元形状決定装置とを備え、前記３次元形状決定装置は、各前記距離画像センサが出力する前記距離画像に基づいて、前記ユーザの３次元形状を示す入力モデルを算出する算出部と、算出された前記入力モデルに基づいて、人体の３次元形状を示すあらかじめ定められた標準モデルを補正することにより、前記ユーザの３次元形状を決定する補正部とを備える。

この構成によると、ユーザは所定の位置に立つだけで、３台の距離画像センサによりユーザの全周囲の距離画像が撮影され、入力モデルが算出される。このため、ユーザは、特殊なシャツやタイツ等を着用する必要がない。また、入力モデルに一致するようにあらかじめ定められた標準モデルを補正することでユーザの３次元形状を決定することができる。これにより、ユーザの３次元形状を正確に決定することができる。また、距離画像センサの死角となっている部分においてもユーザの３次元形状を決定することができる。

（２）好ましくは、前記３次元形状決定装置は、前記ユーザの体形を示す体形情報を取得する取得部と、取得された前記体形情報に基づいて、各々が人体の３次元形状を示すあらかじめ定められた複数の標準モデルの中から１の標準モデルを選択する選択部とをさらに備え、前記補正部は、前記入力モデルに基づいて、選択された前記標準モデルを補正することにより、前記ユーザの３次元形状を決定する。

この構成によると、ユーザの体重や身長などの体形に最も近い標準モデルを用いてユーザの３次元形状を決定することができる。このため、ユーザの３次元形状を正確に決定することができる。

（３）さらに好ましくは、前記算出部は、前記入力モデルに基づいて、前記ユーザの骨格情報を検出し、前記補正部は、前記ユーザの骨格情報及び前記入力モデルが示す３次元座標と、補正対象の前記標準モデルから得られる骨格情報及び当該標準モデルが示す３次元座標とに基づいて、身体の部位ごとに前記標準モデルを補正する。

この構成によると、ユーザの骨格情報を用いて、身体の部位ごとに標準モデルを補正している。このため、入力モデルと標準モデルの部位間の対応付けを正確に行った上で、標準モデルを補正することができる。これにより、標準モデルを入力モデルに正確に合わせこむことができ、ユーザの３次元形状を正確に決定することができる。

（４）また、前記補正部は、身体の部位ごとに、補正対象の前記標準モデルを構成する各３次元座標に対応する前記入力モデルの３次元座標を特定し、特定した前記３次元座標に基づいて、補正対象の前記標準モデルの対応する３次元座標を補正することにより、前記標準モデルを補正してもよい。

この構成によると、身体の部位ごとに、標準モデルを構成する３次元座標と入力モデルを構成する３次元座標とを対応させた上で、標準モデルの３次元座標を補正することができる。このため、標準モデルを入力モデルに近づけることができ、これにより、ユーザの３次元形状を正確に決定することができる。

（５）また、前記補正部は、身体の関節間を接続する骨格ごとに、補正対象の前記標準モデルの前記骨格の長さと前記入力モデルの前記骨格の長さとに基づいて当該標準モデルを変形し、前記入力モデルの前記骨格周辺の３次元座標に基づいて、変形後の前記標準モデルの前記骨格周辺の３次元座標を補正することにより、前記標準モデルを補正してもよい。

この構成によると、例えば、標準モデルの骨格の長さと入力モデルの骨格の長さとが一致するように標準モデルを変形した上で、標準モデルの３次元座標を補正することができる。これにより、ユーザの３次元形状を正確に決定することができる。

（６）本開示の他の態様に係る３次元形状決定装置は、ユーザまでの距離を示す距離画像を出力する少なくとも３台の距離画像センサが出力する前記距離画像に基づいて、前記ユーザの３次元形状を示す入力モデルを算出する算出部と、算出された前記入力モデルに基づいて、人体の３次元形状を示すあらかじめ定められた標準モデルを補正することにより、前記ユーザの３次元形状を決定する補正部とを備える。

この構成によると、上述の３次元形状決定システムと同様の作用及び効果を奏することができる。

なお、本開示は、このような特徴的な処理部を備える３次元形状決定システム及び３次元形状決定装置として実現することができるだけでなく、３次元形状決定システム又は３次元形状決定装置における特徴的な処理をステップとする３次元形状決定方法として実現することができる。また、３次元形状決定装置に含まれる特徴的な処理部としてコンピュータを機能させるためのコンピュータプログラム、または３次元形状決定方法に含まれる特徴的なステップをコンピュータに実行させるためのコンピュータプログラムとして実現することもできる。

本開示によると、ユーザに過度な負担をかけることなくユーザの３次元形状を正確に決定することができる。

本開示の実施形態に係る３次元形状決定システムの構成を示す図である。距離画像の平滑化について説明するための図である。３次元形状決定システムを構成する各装置の接続関係の一例を示す図である。３台の距離画像センサのキャリブレーションについて説明するための図である。３台の距離画像センサのキャリブレーションについて説明するための他の図である。本開示の実施形態に係る３次元形状決定装置の機能的な構成を示すブロック図である。標準モデルデータベースに記憶されている、ある標準モデルを示す図である。３次元形状決定システムによる処理の流れの一例を示すシーケンス図である。骨格検出処理（図８のＳ５）の詳細を示すフローチャートである。頭部を決定する処理を説明するための図である。左右の脚部を決定する処理を説明するための図である。左右の腕部を決定する処理を説明するための図である。頭頂部を決定する処理を説明するための図である。左右の肩関節を決定する処理を説明するための図である。首関節を決定する処理を説明するための図である。左右の肘関節を決定する処理を説明するための図である。左右の手首関節を決定する処理を説明するための図である。腰関節を決定する処理を説明するための図である。左右の脚部の付け根関節を決定する処理を説明するための図である。左右の膝関節を決定する処理を説明するための図である。入力モデル及び骨格の一例を示す図である。標準モデルの補正方法について説明するための図である。標準モデルの補正方法について説明するための図である。

以下、本開示の実施形態について、図面を参照しながら説明する。なお、以下で説明する実施形態は、いずれも本開示の一具体例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定するものではない。また、以下の実施形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。

〔１．３次元形状決定システムの構成〕
図１は、本開示の実施形態に係る３次元形状決定システムの構成を示す図である。

３次元形状決定システム１は、ステージ２と、３台の距離画像センサ３と、センサコントローラ４と、端末装置５と、３次元形状決定装置６と、ネットワークルータ７とを備える。

ステージ２は、３次元形状の測定対象のユーザ（以下、「対象ユーザ」という）が立つための舞台である。

各距離画像センサ３は、ＴｏＦ（Time of Flight）方式のセンサであり、被写体（ここでは、ステージ２に立った対象ユーザ）の複数の箇所までの距離を測定する。具体的には、距離画像センサ３は、カメラの前面に規則的に配置された複数のＬＥＤ（Light Emitting Diode）と、レンズとを含むカメラである。複数のＬＥＤから一斉に照射された光は、被写体で反射され、反射された光（例えば、近赤外光）がレンズによって集光される。このとき、ＬＥＤが光を出射してからレンズに反射光が到達するまでの時間は、被写体の位置により異なる。つまり、被写体がカメラに近いほど反射光の到達時間は短くなり、被写体がカメラから遠いほど反射光の到達時間は長くなる。距離画像センサ３は、到達時間を画素毎に計測することにより、被写体までの距離を画素ごとに出力する。つまり、距離画像センサ３は、被写体までの距離を画素における輝度値で表した距離画像を出力する。

なお、各距離画像センサ３は、複数の距離画像を時間軸方向に平滑化し、平滑化された距離画像を出力してもよい。

図２は、距離画像の平滑化について説明するための図である。例えば、各距離画像センサ３は、ｔ秒間の間に撮影したＮ枚の距離画像に対し、画素ごとに画素値（距離）の中央値を算出することにより、中央値から構成される距離画像を取得する。これにより、距離画像センサ３は、距離画像を平滑化する。ただし、このような距離画像の平滑化は、センサコントローラ４又は３次元形状決定装置６が実行してもよい。

３台の距離画像センサ３は、１２０度間隔でステージ２の周囲に配置される。これにより、被写体の周囲を死角なく撮影することができる。

なお、３次元形状決定システム１が備える距離画像センサ３の台数は３台に限定されるものではなく、３台以上であればよい。例えば、距離画像センサ３の台数が４台の場合には、４台目の距離画像センサ３は、下方から対象ユーザを撮影可能な位置に配置されてもよい。これにより、対象ユーザを死角なく撮像することができる。

センサコントローラ４は、３台の距離画像センサ３の動作を制御する。例えば、センサコントローラ４は、３台の距離画像センサ３が同時に被写体を撮影するための制御として、３台の距離画像センサ３に対して同時に撮影指示を送信する。各距離画像センサ３は、センサコントローラ４からの撮影指示に応答して同時刻に被写体までの距離を測定する。

端末装置５は、対象ユーザ又は他のユーザが、対象ユーザの体形情報を入力したり、距離画像撮影時に対象ユーザに対して静止等の所定の指示を音声又は画像により出力したりするのに用いられる。

ここで、体形情報は、身長及び体重を含む。なお、体形情報は、身長及び体重の代わりに、服のサイズ情報（例えば、Ｓサイズ、Ｍサイズ、Ｌサイズ）を含んでいてもよい。また、体形情報は、さらに、性別を含んでいてもよい。

３次元形状決定装置６は、端末装置５から対象ユーザの体形情報を取得し、取得した体形情報に基づいて、人体の３次元形状を示すあらかじめ定められた複数の標準モデルの中から１の標準モデルを選択する。また、３次元形状決定装置６は、３台の距離画像センサ３から距離画像を取得し、取得した距離画像に基づいて対象ユーザの３次元形状を示す入力モデルを算出する。３次元形状決定装置６は、入力モデルに基づいて、選択された標準モデルを補正することにより、対象ユーザの３次元形状を決定する。

ネットワークルータ７は、センサコントローラ４、端末装置５及び３次元形状決定装置６をネットワークに接続するためのルータである。

図３は、３次元形状決定システム１を構成する各装置の接続関係の一例を示す図である。３台の距離画像センサ３は、センサコントローラ４に接続される。センサコントローラ４は、ネットワークルータ７に有線で接続される。端末装置５及び３次元形状決定装置６は、ネットワークルータ７に無線で接続される。ネットワークルータ７は、ネットワーク８に接続される。これにより、センサコントローラ４、端末装置５及び３次元形状決定装置６は、ネットワークルータ７及びネットワーク８を介して相互に接続される。

〔２．距離画像センサのキャリブレーションについて〕
図４は、３台の距離画像センサ３（３Ａ〜３Ｃ）のキャリブレーションについて説明するための図である。図４は、３台の距離画像センサ３を上方から見た模式図である。

例えば、距離画像センサ３Ａ〜３Ｃの各々から立方体１０Ａの重心までの距離が地面から１ｍの場所で等距離になるように距離画像センサ３Ａ〜３Ｃを配置する。立方体１０Ａは、面１１Ａ〜１１Ｄ及びその他の面により構成されるものとする。また、距離画像センサ３Ａ〜３Ｃの光軸が立方体１０Ａの重心の方向を向くとともに、距離画像センサ３Ａが面１１Ａ及び１１Ｄを撮影し、距離画像センサ３Ｂが面１１Ａ及び１１Ｂを撮影し、距離画像センサ３Ｃが面１１Ｃを撮影するように配置する。

これにより、３次元形状決定装置６は、距離画像センサ３Ａ〜３Ｃが検出した隣接する面同士が９０度をなすという情報に基づいて立方体１０Ａの重心位置を算出し、算出した重心位置を３次元空間の原点とする。また、３次元形状決定装置６は、距離画像センサ３Ａ〜３Ｃが認識した面１１Ａ〜１１Ｃから立方体１０Ａを構成した場合の面の位置ずれ及び角度ずれを補正パラメータとして記憶する。これにより、３次元形状決定装置６は、距離画像センサ３Ａ〜３Ｃが計測した距離を、立方体１０Ａの重心位置を原点とする３次元空間上の座標に変換するとともに、当該座標を補正パラメータに基づいて補正することにより、被写体の正確な座標を算出することができる。

図５は、３台の距離画像センサ３（３Ａ〜３Ｃ）のキャリブレーションについて説明するための他の図である。図５は、３台の距離画像センサ３を上方から見た模式図である。

例えば、距離画像センサ３Ａ〜３Ｃの各々から三角柱１０Ｂの重心までの距離が地面から１ｍの場所で等距離になるように距離画像センサ３Ａ〜３Ｃを配置する。三角柱１０Ｂは、面１１Ｄ〜１１Ｅ及びその他の面により構成されるものとする。また、距離画像センサ３Ａ〜３Ｃの光軸が三角柱１０Ｂの重心の方向を向くとともに、距離画像センサ３Ａが面１１Ｄを撮影し、距離画像センサ３Ｂが面１１Ｅを撮影し、距離画像センサ３Ｃが面１１Ｆを撮影するように配置する。

これにより、３次元形状決定装置６は、距離画像センサ３Ａ〜３Ｃが検出した隣接する面同士が１２０度をなすという情報に基づいて三角柱１０Ｂの重心位置を算出し、算出した重心位置を３次元空間の原点とする。また、３次元形状決定装置６は、距離画像センサ３Ａ〜３Ｃが認識した面１１Ｄ〜１１Ｆから三角柱１０Ｂを構成した場合の面の位置ずれ及び角度ずれを補正パラメータとして記憶する。これにより、３次元形状決定装置６は、距離画像センサ３Ａ〜３Ｃが計測した距離を、三角柱１０Ｂの重心位置を原点とする３次元空間上の座標に変換するとともに、当該座標を補正パラメータに基づいて補正することにより、被写体の正確な座標を算出することができる。

〔３．３次元形状決定装置の構成について〕
図６は、本開示の実施形態に係る３次元形状決定装置の機能的な構成を示すブロック図である。

３次元形状決定装置６は、通信部６１と、算出部６２と、補正部６３と、取得部６４と、選択部６５と、標準モデルデータベース６６とを備える。

通信部６１は、ネットワークルータ７に接続し、他の機器と通信を行うための通信モジュールを含む。通信部６１は、センサコントローラ４から、距離画像センサ３が出力する距離画像を受信する。

算出部６２は、通信部６１が受信した各距離画像センサ３が出力した距離画像に基づいて、対象ユーザの３次元形状を示す入力モデルを算出する。つまり、算出部６２は、距離画像と上述した補正パラメータとに基づいて、距離画像の画素ごとに、画素値に対応する距離を３次元空間上の座標に変換することにより、入力モデルを算出する。

また、算出部６２は、入力モデルに基づいて、対象ユーザの骨格を示す骨格情報を検出する。骨格情報の検出方法については後述する。

取得部６４は、通信部６１を介して端末装置５から、対象ユーザ又は他のユーザが端末装置５に入力した対象ユーザの体形情報を受信する。

標準モデルデータベース６６は、あらかじめ定められた複数の体形区分ごとに、人体の３次元形状を示す複数の標準モデルを記憶するデータベースである。図７は、標準モデルデータベース６６に記憶されている、ある標準モデルを示す図である。標準モデルは、人体の体表面を示す複数の３次元座標により構成される。体形区分は、例えば、身長の範囲及び体重の範囲の組み合わせから構成される。例えば、体形区分１は、身長１７０ｃｍ以上１８０ｃｍ未満及び体重６５ｋｇ以上７５ｋｇ未満を示す。体形区分２は、身長１７０ｃｍ以上１８０ｃｍ未満及び体重７５ｋｇ以上８５ｋｇ未満を示す。体形区分３は、身長１６０ｃｍ以上１７０ｃｍ以下及び体重６５ｋｇ以上７５ｋｇ未満を示す。このような、体形区分が複数設けられ、体形区分ごとの標準モデルが標準モデルデータベース６６に記憶される。

選択部６５は、取得部６４が取得した体形情報に基づいて、標準モデルデータベース６６に記憶されている複数の標準モデルの中から１つの標準モデルを選択する。例えば、対象情報が示す対象ユーザの身長及び体重が１７１ｃｍ及び８０ｋｇの場合には、上述の例によると体形区分２に該当する。このため、選択部６５は、体形区分２に対応した標準モデルを標準モデルデータベース６６から選択して、読み出す。

補正部６３は、算出部６２が算出した入力モデルに基づいて、選択部６５が選択した標準モデルを補正することにより、対象ユーザの３次元形状を決定する。

つまり、補正部６３は、対象ユーザの骨格情報及び入力モデルが示す３次元座標と、標準モデルから得られる骨格情報及び当該標準モデルが示す３次元座標とに基づいて、身体の部位ごとに標準モデルを補正する。ここで、身体の部位は、頭部、右腕、左腕、胴体、右脚、左脚の６つからなる。標準モデルの補正方法については後述する。

なお、３次元形状決定装置６は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＨＤＤ、通信インタフェース等を備えるコンピュータにより構成することができる。例えば、ＨＤＤに記憶されたコンピュータプログラムをＲＡＭに展開し、ＣＰＵが実行することにより、各処理部６２〜６５は機能的に実現される。

〔４．３次元形状決定システムの処理フローについて〕
以下、３次元形状決定システム１による処理の流れを、具体例を示しながら説明する。

図８は、３次元形状決定システム１による処理の流れの一例を示すシーケンス図である。

各距離画像センサ３は、センサコントローラ４からの指示のもと、同一のタイミングで対象ユーザの距離画像を複数枚撮影する（Ｓ１）。

各距離画像センサ３は、撮影した複数の距離画像に対して、上述した平滑化処理を実行する（Ｓ２）。

各距離画像センサ３は、平滑化処理が施された距離画像をセンサコントローラ４及びネットワークルータ７を介して３次元形状決定装置６に送信し、３次元形状決定装置６の通信部６１は、各距離画像センサ３から送信された距離画像を受信する（Ｓ３）。

距離画像センサ３の算出部６２は、３つの距離画像センサ３から受信した３枚の距離画像に基づいて入力モデルを算出する（Ｓ４）。つまり、算出部６２は、各距離画像の画素ごとに画素値（距離）を３次元座標に変換し、３枚の距離画像から変換された３次元座標を統合することにより入力モデルを算出する（Ｓ４）。

補正部６３は、算出した入力モデルから骨格を検出する（Ｓ５）。以下、骨格の検出方法について説明する。

補正部６３は、入力モデルに基づいて、身体の部位ごとに骨格を検出する。骨格検出にあたり、補正部６３は、まず、入力モデルを６つの部位（頭部、右腕、左腕、胴体、右脚、左脚）に分割し、部位ごとに関節を決定する。さらに、補正部６３は、隣接する関節間を接続することにより、骨格を検出する。

図９は、骨格検出処理（図８のＳ５）の詳細を示すフローチャートである。ステップＳ１０１〜Ｓ１０７は、入力モデルを６つの部位に分割する処理を示す。ステップＳ１０９〜Ｓ１２３は、部位ごとに関節を決定する処理を示す。ステップＳ１２５は、骨格を検出する処理を示す。

図９を参照して、補正部６３は、入力モデルから頭部を決定する（Ｓ１０１）。

図１０は、頭部を決定する処理を説明するための図である。補正部６３は、入力モデルを構成する点群（３次元座標群）のうち、両肩より上部にある点群を頭部として定める。つまり、補正部６３は、図１０に示すような入力モデルを正面から見た平面画像を作成し、点群の最高点（最も地面から遠い点）から下方に向けて所定間隔で点群をスライスするライン１２を設定する。補正部６３は、ライン１２に含まれる点群の幅（点群の左端及び右端の距離）が所定の閾値を超えるライン１２の内、最も上部にある（最も最高点に近い）ライン１２Ｓを、肩のライン１２Ｓとする。補正部６３は、肩のライン１２Ｓよりも上部にある点群を頭部３１として決定する。

補正部６３は、入力モデルから左右の脚部を決定する（Ｓ１０３）。

図１１は、左右の脚部を決定する処理を説明するための図である。補正部６３は、入力モデルを構成する点群の内、股の位置よりも下部にある左側の点群及び右側の点群を、それぞれ左脚部及び右脚部と定める。つまり、補正部６３は、図１１に示すような入力モデルを正面から見た平面画像において、最下部の左右足元の内側のエッジ１３Ｌ及び１３Ｒを上向きに輪郭追跡し、エッジが重なる部分を股１４と決定する。なお、エッジ抽出処理は公知の技術を用いることができる。補正部６３は、股１４よりも下部かつ左側の点群を左脚部３２Ｌと決定し、股１４よりも下部且つ右側の点群を右脚部３２Ｒと決定する。なお、ここでいう左側及び右側とは、対象ユーザの身体の左側及び右側という意味である。

補正部６３は、入力モデルから左右の腕部を決定する（Ｓ１０５）。

図１２は、左右の腕部及び胴体を決定する処理を説明するための図である。補正部６３は、頭部３１、左脚部３２Ｌ及び右脚部３２Ｒを除く入力モデルを構成する点群の内、左脇よりも外側の点群を左腕部とし、右脇よりも外側の点群を右脇部と定める。つまり、補正部６３は、図１２に示すような入力モデルを正面から見た平面画像において、左側胴体のエッジ１５Ｌと左腕の内側のエッジ１６Ｌとを上向きに輪郭追跡した場合の輪郭同士の交点を左脇３３Ｌと決定する。補正部６３は、左脇３３Ｌを含む鉛直面１７Ｌよりも左側の点群を左腕部３４Ｌと決定する。同様に、補正部６３は、右側胴体のエッジ１５Ｒと右腕の内側のエッジ１６Ｒとを上向きに輪郭追跡した場合の輪郭同士の交点を右脇３３Ｒと決定する。補正部６３は、右脇３３Ｒを含む鉛直面１７Ｒよりも右側の点群を右腕部３４Ｒと決定する。

補正部６３は、入力モデルを構成する点群の内、頭部３１、左脚部３２Ｌ、右脚部３２Ｒ、及び右腕部３４Ｒを除く点群を胴体３５と決定する（Ｓ１０７）。

次に、関節の決定方法について説明する。補正部６３は、入力モデルを構成する点群の内、最高点を頭頂部と決定する（Ｓ１０９）。図１３は、頭頂部を決定する処理を説明するための図である。補正部６３は、図１３に示すような入力モデルを正面から見た平面画像において、最上部の点を頭頂部１８と決定する。

補正部６３は、左右の肩関節を決定する（Ｓ１１１）。図１４は、左右の肩関節を決定する処理を説明するための図である。補正部６３は、左右の腕部を決定する処理（ステップＳ１０５）で用いた鉛直面１７Ｌに含まれる点群の中心位置を左肩関節１９Ｌとし、鉛直面１７Ｒに含まれる点群の中心位置を右肩関節１９Ｒとする。なお、点群の中心位置は、点群の重心位置であってもよく、例えば、点群の座標を平均することにより求めることができる。

補正部６３は、首関節を決定する（Ｓ１１３）。図１５は、首関節を決定する処理を説明するための図である。補正部６３は、鉛直面１７Ｌに含まれる点群のうち最上部の点と、鉛直面１７Ｒに含まれる点群のうち最上部の点とを結ぶ直線５１の中点を首関節５２と決定する。

補正部６３は、左右の肘関節を決定する（Ｓ１１５）。図１６は、左右の肘関節を決定する処理を説明するための図である。図１６は、入力モデルの左腕部及び右腕部を正面から見た平面画像を示している。補正部６３は、左腕部３４Ｌの外側のエッジ２０Ｌを下向きに輪郭追跡した場合の変曲点２１Ｌと、左腕部３４Ｌの内側のエッジ２２Ｌを下向きに輪郭追跡した場合の変曲点２３Ｌとを検出する。なお、エッジ上の変曲点は公知の技術を用いて検出することができる。補正部６３は、変曲点２１Ｌ及び変曲点２３Ｌを含む平面に含まれる点群の中心位置を左肘関節２４Ｌと決定する。

同様に、補正部６３は、右腕部３４Ｒの外側のエッジ２０Ｒを下向きに輪郭追跡した場合の変曲点２１Ｒと、右腕部３４Ｒの内側のエッジ２２Ｒを下向きに輪郭追跡した場合の変曲点２３Ｒとを検出する。補正部６３は、変曲点２１Ｒ及び変曲点２３Ｒを含む平面に含まれる点群の中心位置を右肘関節２４Ｒと決定する。

補正部６３は、左右の手首関節を決定する（Ｓ１１６）。図１７は、左右の手首関節を決定する処理を説明するための図である。図１７は、入力モデルの左腕部及び右腕部を正面から見た平面画像を示している。補正部６３は、左腕部３４Ｌの外側のエッジ２０Ｌ上の変曲点２１Ｌよりも下側の点と、左腕部３４Ｌの内側のエッジ２２Ｌ上の変曲点２３Ｒよりも下側の点との距離が最小となる点８１Ｌ及び点８２Ｌを、エッジ２０Ｌ及びエッジ２２Ｌから検出する。補正部６３は、点８１Ｌ及び点８２Ｌを含む平面に含まれる入力モデルの点群の中心位置を左手首関節８３Ｌと決定する。

同様に、補正部６３は、右腕部３４Ｒの外側のエッジ２０Ｒ上の変曲点２１Ｒよりも下側の点と、右腕部３４Ｒの内側のエッジ２２Ｒ上の変曲点２３Ｒよりも下側の点との距離が最小となる点８１Ｒ及び点８２Ｒを、エッジ２０Ｒ及びエッジ２２Ｒから検出する。補正部６３は、点８１Ｒ及び点８２を含む平面に含まれる入力モデルの点群の中心位置を右手首関節８３Ｒと決定する。

補正部６３は、腰関節を決定する（Ｓ１１７）。図１８は、腰関節を決定する処理を説明するための図である。図１８は、入力モデルを左側面から見た平面画像を示している。補正部６３は、対象ユーザの身体前面の点群のエッジ２５Ｆを下向きに輪郭追跡した場合の変曲点２６Ｆを検出する。また、補正部６３は、対象ユーザの身体背面の点群のエッジ２５Ｂを下向きに輪郭追跡した場合の変曲点２６Ｂを検出する。補正部６３は、変曲点２６Ｆと変曲点２６Ｂとの中点を腰関節２７と決定する。

補正部６３は、左右の脚部の付け根関節を決定する（Ｓ１１９）。図１９は、左右の脚部の付け根関節を決定する処理を説明するための図である。図１９は、入力モデルの下半身部分を正面から見た平面画像を示している。補正部６３は、左脚部３２Ｌの股１４の高さにおける点群の中心位置を左脚部付け根関節２８Ｌと決定し、右脚部３２Ｒの股１４の高さにおける点群の中心位置を右脚部付け根関節２８Ｒと決定する。

補正部６３は、左右の膝関節を決定する（Ｓ１２１）。図２０は、左右の膝関節及び足首関節を決定する処理を説明するための図である。図２０は、入力モデルを左側面から見た平面画像を示している。補正部６３は、左脚部３２Ｌの点群のエッジ４１の変曲点４２を左膝位置として検出する。補正部６３は、変曲点４２を含む水平な面４３に含まれる点群の中心位置を左膝関節２９Ｌと決定する。補正部６３は、左膝関節２９Ｌの決定処理と同様の手順により、右膝関節を決定する。

補正部６３は、左右の足首関節を決定する（Ｓ１２３）。図２０を参照して、補正部６３は、左脚部３２Ｌの点群のうち最も高さの低い点を決定し、決定した点を含む水平面を決定する。補正部６３は、決定した水平面に含まれる点群の中心位置を左足首関節４４Ｌと決定する。補正部６３は、左足首関節４４Ｌの決定処理と同様の手順により、右足首関節を決定する。

補正部６３は、ステップＳ１０９〜Ｓ１２３の処理で決定した関節に基づいて、隣接する関節間を接続することにより、入力モデルの骨格を検出する（Ｓ１２５）。

図２１は、入力モデル及び骨格の一例を示す図である。具体的には、補正部６３は、頭頂部１８と首関節５２とを結ぶ直線を骨格５５Ａとして検出する。また、補正部６３は、首関節５２と左肩関節１９Ｌと結ぶ直線を骨格５５Ｂとして検出し、首関節５２と右肩関節１９Ｒとを結ぶ直線を骨格５５Ｃとして検出する。さらに、補正部６３は、左肩関節１９Ｌと左肘関節２４Ｌとを結ぶ直線を骨格５５Ｄとして検出し、右肩関節１９Ｒと右肘関節２４Ｒとを結ぶ直線を骨格５５Ｅとして検出する。また、補正部６３は、左肘関節２４Ｌと左手首関節８３Ｌとを結ぶ直線を骨格５５Ｍとして検出し、右肘関節２４Ｒと右手首関節８３Ｒとを結ぶ直線を骨格５５Ｎとして検出する。

また、補正部６３は、首関節５２と腰関節２７とを結ぶ直線を骨格５５Ｆとして検出する。また、補正部６３は、腰関節２７と左脚部付け根関節２８Ｌとを結ぶ直線を骨格５５Ｇとして検出し、腰関節２７と右脚部付け根関節２８Ｒとを結ぶ直線を骨格５５Ｈとして検出する。また、補正部６３は、左脚部付け根関節２８Ｌと左膝関節２９Ｌとを結ぶ直線を骨格５５Ｉとして検出し、右脚部付け根関節２８Ｒと右膝関節とを結ぶ直線を骨格５５Ｊとして検出する。また、補正部６３は、左膝関節２９Ｌと左足首関節４４Ｌとを結ぶ直線を骨格５５Ｋとして検出し、右膝関節と右足首関節とを結ぶ直線を骨格５５Ｌとして検出する。

再度図８を参照して、対象ユーザ又は他のユーザは、端末装置５に対象ユーザの体形情報を入力する（Ｓ６）。

端末装置５は、入力された体形情報を３次元形状決定装置６に送信し、３次元形状決定装置６の通信部６１は、端末装置５から送信された体形情報を受信する（Ｓ７）。

選択部６５は、通信部６１が受信した対象ユーザの体形情報に基づいて、標準モデルデータベース６６に記憶されている標準モデルの中から、体形情報に対応する標準モデルを選択して、読み出す（Ｓ８）。

補正部６３は、身体の部位ごとに、選択した標準モデルを構成する各３次元座標に対応する入力モデルの３次元座標を特定する。補正部６３は、特定した入力モデルの３次元座標に基づいて、補正対象の標準モデルの対応する３次元座標を補正することにより、標準モデルを補正する（Ｓ９）。具体的には、補正部６３は、ステップＳ５の処理で検出された骨格ごとに、補正対象の標準モデルの骨格の長さと入力モデルの骨格の長さとに基づいて当該標準モデルを変形し、入力モデルの骨格周辺の３次元座標に基づいて、変形後の標準モデルの骨格周辺の３次元座標を補正することにより、標準モデルを補正する。

以下、標準モデルの補正方法について詳細に説明する。なお、標準モデルについては、予め骨格が定義されているものとする。ただし、骨格が定義されていない場合には、ステップＳ５の処理と同様に標準モデルから骨格を検出してもよい。

図２２及び図２３は、標準モデルの補正方法について説明するための図である。ここでは、右腕部３４Ｒの骨格５５Ｅについて、標準モデルを補正する方法について説明する。ただし、他の骨格についても同様に標準モデルを補正する。

図２２を参照して、補正部６３は、入力モデルから骨格５５Ｅを選択する。ここでは、骨格５５Ｅの端点である右肩関節１９Ｒ及び右肘関節２４Ｒを、それぞれ関節Ａ´及び関節Ｂ´とする。

図２３の（Ａ）は、標準モデルの骨格５５Ｅと、骨格５５Ｅ周辺の点Ｐｎとを示している。標準モデルの骨格５５Ｅの右肩関節及び右肘関節を、それぞれ関節Ａ及び関節Ｂとする。なお、骨格ごとに、骨格周辺の点が予め定められているのが望ましい。

図２３の（Ｂ）は、入力モデルの骨格５５Ｅと、骨格５５Ｅ周辺の点群Ｐ´とを示している。図２３の（Ｃ）は、図２３（Ｂ）の一部を拡大した図である。

関節Ａ及び関節Ｂを結ぶ線分ＡＢの長さをＬ_ＡＢとし、関節Ａ´及び関節Ｂ´を結ぶ線分Ａ´Ｂ´の長さをＬ_Ａ´Ｂ´とする。

（１）補正部６３は、線分ＡＢの長さＬ_ＡＢと線分Ａ´Ｂ´の長さＬ_Ａ´Ｂ´が一致するように、標準モデルを変形する。つまり、線分Ａ´Ｂ´が元の長さの（Ｌ_ＡＢ／Ｌ_Ａ´Ｂ´）倍になるように標準モデルを拡大又は縮小する。

（２）補正部６３は、標準モデルの点Ｐｎから骨格５５Ｅに対して引いた垂線の足Ｈを求める。

（３）補正部６３は、線分ＡＨの長さＬ_ＡＨと線分Ａ´Ｈ´の長さＬ_Ａ´Ｈ´とが等しくなるような、線分Ａ´Ｂ´上の点Ｈ´を求める。

（４）補正部６３は、点Ｐｎを含み、線分ＡＢに直交する面７０を求め、面７０上で３次元空間のｘ成分が０となるベクトルＳを求める。同様に、補正部６３は、標準モデルのベクトルＳに対応する入力モデルのベクトルＳ´を求める。つまり、補正部６３は、点Ｐｎに対応する入力モデル上の点を含み、且つ線分Ａ´Ｂ´に直交する面７１を求め、面７１上で３次元空間のｘ成分が０となるベクトルＳ´を求める。なお、補正部６３は、線分ＡＢ又は線分Ａ´Ｂ´がｘ軸と平行な場合には、ベクトルＳ又はベクトルＳ´の代わりにｙ成分が０となるベクトルを求める。

（５）補正部６３は、ベクトルＳと線分ＨＰｎがなす角をθとし、ベクトルＳ´となす角がθとなるベクトルＶを決定する。

（６）補正部６３は、点Ｈ´を通りベクトルＶと平行な直線Ｌまでの距離が最も短い点Ｐ´ｍを、入力モデルの中から選択する。ここで、点Ｐ´ｍの直線Ｌに対する垂線の足をＰ´´ｍとする。

（７）補正部６３は、線分ＨＰｎの距離Ｄ１と線分Ｈ´Ｐ´´ｍの距離Ｄ２とが等しくなるように、点Ｐｎを補正する。つまり、補正部６３は、距離Ｄ１が元の距離の（Ｄ１／Ｄ２）倍となるように、点Ｐｎの位置を補正する。

補正部６３は、上記の（１）〜（７）の処理を、標準モデルの骨格５５Ｅに関連付けられたすべての点について実行する。

〔５．実施形態の効果〕
以上説明したように、本開示の実施形態によると、ユーザはステージ２上の所定の位置に立つだけで、３台の距離画像センサ３によりユーザの全周囲の距離画像が撮影され、入力モデルが算出される。このため、ユーザは、特殊なシャツやタイツ等を着用する必要がない。また、入力モデルに一致するようにあらかじめ定められた標準モデルを補正することでユーザの３次元形状を決定することができる。これにより、ユーザの３次元形状を正確に決定することができる。また、標準モデルを用いることにより距離画像センサ３の死角となっている部分においてもユーザの３次元形状を決定することができる。

特に、ウェットスーツ、下着、アンダーウェアなどユーザの身体へのフィット感が求められる衣類を製作する際には、ユーザの正確な３次元形状が必要となる。本実施形態によると、このような衣類の製作に有用な３次元形状データを簡便な方法で取得することができる。

また、ユーザの体重や身長などの体形に最も近い標準モデルを用いてユーザの３次元形状を決定することができる。このため、ユーザの３次元形状を正確に決定することができる。

また、ユーザの骨格情報を用いて、身体の部位ごとに標準モデルを補正している。このため、入力モデルと標準モデルの部位間の対応付けを正確に行った上で、標準モデルを補正することができる。これにより、標準モデルを入力モデルに正確に合わせこむことができ、ユーザの３次元形状を正確に決定することができる。

〔６．付記〕
今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１３次元形状決定システム
２ステージ
３、３Ａ〜３Ｃ距離画像センサ
４センサコントローラ
５端末装置
６３次元形状決定装置
７ネットワークルータ
８ネットワーク
６１通信部
６２算出部
６３補正部
６４取得部
６５選択部
６６標準モデルデータベース

Claims

ユーザの周囲を撮像可能な位置に配置され、前記ユーザまでの距離を示す距離画像を出力する少なくとも３台の距離画像センサと、
前記ユーザの３次元形状を決定する３次元形状決定装置とを備え、
前記３次元形状決定装置は、
各前記距離画像センサが出力する前記距離画像に基づいて、前記ユーザの３次元形状を示す入力モデルを算出し、前記入力モデルに基づいて、前記ユーザの骨格情報を検出する算出部と、
前記ユーザの骨格情報及び前記入力モデルが示す３次元座標と、人体の体表面の３次元形状を示すあらかじめ定められた標準モデルから得られる骨格情報及び当該標準モデルが示す３次元座標とに基づいて、身体の関節間を接続する骨格ごとに、前記標準モデルから得られる骨格に対応した第１線分の長さと前記入力モデルから得られる前記ユーザの骨格に対応した第２線分の長さとが一致するように前記標準モデルを拡大又は縮小した後、当該標準モデルが示す３次元座標の点である第１点から前記第１線分に下した垂線の足を求め、前記第２線分の一方の関節からの距離が、前記第１線分の一方の関節から前記垂線の足までの距離と等しくなるような前記第２線分上の点である第２点を求め、前記第２点を通り前記垂線の足から前記第１点に向かうベクトルと平行な直線までの距離が最も短い点である第３点を前記入力モデルの中から選択し、前記垂線の足と前記第１点とを結ぶ線分の距離と、前記第２点と前記第３点の前記直線に対する垂線の足とを結ぶ線分の距離とが等しくなるように、前記第１点の位置を補正することにより、前記標準モデルを補正し、前記ユーザの３次元形状を決定する補正部とを備える、
３次元形状決定システム。
前記３次元形状決定装置は、
前記ユーザの体形を示す体形情報を取得する取得部と、
取得された前記体形情報に基づいて、各々が人体の３次元形状を示すあらかじめ定められた複数の標準モデルの中から１の標準モデルを選択する選択部とをさらに備え、
前記補正部は、前記入力モデルに基づいて、選択された前記標準モデルを補正することにより、前記ユーザの３次元形状を決定する、請求項１に記載の３次元形状決定システム。
前記３台の距離画像センサは、前記ユーザを下方から撮影可能な位置に配置される距離画像センサを含む、請求項１または請求項２に記載の３次元形状決定システム。
ユーザまでの距離を示す距離画像を出力する少なくとも３台の距離画像センサが出力する前記距離画像に基づいて、前記ユーザの３次元形状を示す入力モデルを算出し、前記入力モデルに基づいて、前記ユーザの骨格情報を検出する算出部と、
前記ユーザの骨格情報及び前記入力モデルが示す３次元座標と、人体の体表面の３次元形状を示すあらかじめ定められた標準モデルから得られる骨格情報及び当該標準モデルが示す３次元座標とに基づいて、身体の関節間を接続する骨格ごとに、前記標準モデルから得られる骨格に対応した第１線分の長さと前記入力モデルから得られる前記ユーザの骨格に対応した第２線分の長さとが一致するように前記標準モデルを拡大又は縮小した後、当該標準モデルが示す３次元座標の点である第１点から前記第１線分に下した垂線の足を求め、前記第２線分の一方の関節からの距離が、前記第１線分の一方の関節から前記垂線の足までの距離と等しくなるような前記第２線分上の点である第２点を求め、前記第２点を通り前記垂線の足から前記第１点に向かうベクトルと平行な直線までの距離が最も短い点である第３点を前記入力モデルの中から選択し、前記垂線の足と前記第１点とを結ぶ線分の距離と、前記第２点と前記第３点の前記直線に対する垂線の足とを結ぶ線分の距離とが等しくなるように、前記第１点の位置を補正することにより、前記標準モデルを補正し、前記ユーザの３次元形状を決定する補正部とを備える、
３次元形状決定装置。