JP6897048B2 - 補装具装着部形状取得方法及び補装具装着部形状取得システム - Google Patents
補装具装着部形状取得方法及び補装具装着部形状取得システム Download PDFInfo
- Publication number
- JP6897048B2 JP6897048B2 JP2016196299A JP2016196299A JP6897048B2 JP 6897048 B2 JP6897048 B2 JP 6897048B2 JP 2016196299 A JP2016196299 A JP 2016196299A JP 2016196299 A JP2016196299 A JP 2016196299A JP 6897048 B2 JP6897048 B2 JP 6897048B2
- Authority
- JP
- Japan
- Prior art keywords
- mounting portion
- shape
- captured
- imaging
- dimensional shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、身体上の所定の部位の機能障害を補うため、機能障害がある部位に装着する補装具を作成する際に、装着部の３次元形状を取得する補装具装着部形状取得方法及び補装具装着部形状取得システムに関する。
身体上の機能障害を補うために、運動機能に障害がある部位に対して装着し、その部位の機能を補う補装具が用いられている。この補装具は、身体の障害の部位あるいはけがをした部位の運動機能が十分でない場合に、その部位の運動機能の補助、運動に伴う負荷による痛みの軽減あるいは治療における部位の固定を行なう。
この補装具を作成する際、利用する人間の装着における違和感、あるいは擦れなどを低減して装着感を向上させるため、装着する人間毎に、補装具を装着する部位の形状に、作成する補装具の形状を対応させる（フィットさせる）必要がある。
このため、通常は、補装具を装着する部位の形状の型（陽性モデル）を取り、この陽性モデルに対応させて補装具を作成している（例えば、非特許文献１、非特許文献２参照）。
この補装具を作成する際、利用する人間の装着における違和感、あるいは擦れなどを低減して装着感を向上させるため、装着する人間毎に、補装具を装着する部位の形状に、作成する補装具の形状を対応させる（フィットさせる）必要がある。
このため、通常は、補装具を装着する部位の形状の型（陽性モデル）を取り、この陽性モデルに対応させて補装具を作成している（例えば、非特許文献１、非特許文献２参照）。
株式会社 啓愛義肢材料販売所ホームページ、［ｏｎｌｉｎｅ］、プラスチック製短下肢装具の製作について、［平成２８年９月１２日検索］、インターネット＜http://www.po.kioa.co.jp/about/pura_tankashi_sougu.html＞
株式会社 早川義肢製作所ホームページ、［ｏｎｌｉｎｅ］、プラスチック製短下肢装具のできるまで、［平成２８年９月１２日検索］、インターネット＜http://www4.plala.or.jp/hpomf/link2.html＞
しかしながら、非特許文献１及び非特許文献２に記載された補装具を装着する部位の形状の取得方法において、この部位の陽性モデルを生成する前に、部位の陰性モデルを生成する必要がある。この陰性モデルは、補装具を装着する部位に対してギブスを巻き付けて、このギブスを固化させて作成する。このため、ギブスが固化するまでの間、対応する部位を動かすことができず、固化状況によっては拘束時間が長くなり、患者には肉体的及び精神的に大きな負担となる。特に、怪我をした部位においては、安静にすべきところ、ギブスを装着するための姿勢を維持するための負担が大きい。
また、陰性モデルは、ギブスが固化した後、部位から取り外す際にギブスを切断するため、実際の部位の形状と誤差を有することとなり、正確な陽性モデルを生成できない場合がある。
また、陰性モデルは、ギブスが固化した後、部位から取り外す際にギブスを切断するため、実際の部位の形状と誤差を有することとなり、正確な陽性モデルを生成できない場合がある。
本発明は、このような状況に鑑みてなされたものであり、補装具を装着する身体における装着部の陽性モデル（以下、３次元形状モデル）を生成する際、患者に対する負担を低減し、かつ精度の高い３次元形状モデルを取得する補装具装着部形状取得方法及び補装具装着部形状取得システムを提供することを目的とする。
上述した課題を解決するために、本発明の補装具装着部形状取得方法は、補装具を装着する身体の装着部の範囲を覆い、不規則な模様が表面に設けられた前記装着部に密着して当該装着部の形状を反映する計測用衣類を装着する装着過程と、計測用衣類の外周面に沿う、前記装着部を中心とした円弧上における異なる位置の各々で、撮像方向から視認される前記計測用衣類の全体が含まれる撮像画像を、単眼の撮像装置により複数枚撮像する撮像過程と、前記模様を用いて、複数の前記撮像画像間の対応する画素のマッチングを行なうことで前記装着部の３次元形状を生成する生成過程とを含み、前記撮像過程において、前記円弧が含まれる、前記装着部を中心とした円周において、前記装着部と前記撮像装置との間に障害物が存在する場合、前記障害物が撮像画像に含まれる円弧の範囲での撮像を行なわず、前記障害物が撮像画像に含まれない円弧の範囲での撮像を行ない、前記生成過程において、一定の撮像間隔で連続して撮像された円弧毎の撮像画像からそれぞれ分割３次元形状を生成し、分割３次元形状を合成して前記３次元形状を生成することを特徴とする。
本発明の補装具装着部形状取得方法は、補装具を装着する身体の装着部の範囲を覆い、同一の繰り返しがない不規則な模様と凹凸とが表面全体に設けられ、前記装着部に密着して当該装着部の形状を反映する計測用衣類を装着する装着過程と、計測用衣類の外周面に沿う、前記装着部を中心とした円弧上における異なる位置の各々で、撮像方向から視認される前記計測用衣類の全体が含まれる撮像画像を、単眼の撮像装置により複数枚撮像する撮像過程と、前記模様と凹凸とを用いて、複数の前記撮像画像間の対応する画素のマッチングを行なうことで前記装着部の３次元形状を生成する生成過程とを含むことを特徴とする。
本発明の補装具装着部形状取得方法は、補装具を装着する身体の装着部の範囲を覆い、同一の繰り返しがない不規則な模様が表面全体に設けられ、前記装着部に密着して当該装着部の形状を反映する計測用衣類を装着する装着過程と、計測用衣類の外周面に沿う、前記装着部を中心とした円弧上における異なる位置の各々で、撮像方向から視認される前記計測用衣類の全体が含まれる撮像画像を、単眼の撮像装置により複数枚撮像する撮像過程と、前記撮像画像の解像度を低減させて、低解像度画像を生成する低解像度化過程と、前記低解像度画像間における画素の各々のマッチングにより、前記装着部のプレビュー用３次元形状を生成するプレビュー用３次元形状生成過程と、前記プレビュー用３次元形状を表示して、前記装着部の３次元形状を生成するために前記計測用衣類の全体の範囲が撮像されているか否かの判定を行う撮像判定過程と、前記計測用衣類の全体の範囲が撮像されていると判定された場合、前記模様を用いて、複数の前記撮像画像間の対応する画素のマッチングを行なうことで前記装着部の３次元形状を生成する生成過程とを含むことを特徴とする。
本発明の補装具装着部形状取得方法は、補装具を装着する身体の装着部の範囲を覆い、同一の繰り返しがない不規則な模様と凹凸とが表面全体に設けられ、前記装着部に密着して当該装着部の形状を反映する計測用衣類を装着する装着過程と、計測用衣類の外周面に沿う、前記装着部を中心とした円弧上における異なる位置の各々で、撮像方向から視認される前記計測用衣類の全体が含まれる撮像画像を、単眼の撮像装置により複数枚撮像する撮像過程と、前記模様と凹凸とを用いて、複数の前記撮像画像間の対応する画素のマッチングを行なうことで前記装着部の３次元形状を生成する生成過程とを含むことを特徴とする。
本発明の補装具装着部形状取得方法は、補装具を装着する身体の装着部の範囲を覆い、同一の繰り返しがない不規則な模様が表面全体に設けられ、前記装着部に密着して当該装着部の形状を反映する計測用衣類を装着する装着過程と、計測用衣類の外周面に沿う、前記装着部を中心とした円弧上における異なる位置の各々で、撮像方向から視認される前記計測用衣類の全体が含まれる撮像画像を、単眼の撮像装置により複数枚撮像する撮像過程と、前記撮像画像の解像度を低減させて、低解像度画像を生成する低解像度化過程と、前記低解像度画像間における画素の各々のマッチングにより、前記装着部のプレビュー用３次元形状を生成するプレビュー用３次元形状生成過程と、前記プレビュー用３次元形状を表示して、前記装着部の３次元形状を生成するために前記計測用衣類の全体の範囲が撮像されているか否かの判定を行う撮像判定過程と、前記計測用衣類の全体の範囲が撮像されていると判定された場合、前記模様を用いて、複数の前記撮像画像間の対応する画素のマッチングを行なうことで前記装着部の３次元形状を生成する生成過程とを含むことを特徴とする。
本発明の補装具装着部形状取得方法は、前記撮像過程において、前記撮像画像の各々の撮像間隔を一定として撮像することを特徴とする。
本発明の補装具装着部形状取得方法は、前記計測用衣類に対してスケール推定用のマーカを設け、当該マーカにより前記３次元形状の寸法を前記装着部の寸法に一致させるスケール過程をさらに含むことを特徴とする。
本発明の補装具装着部形状取得方法は、前記撮像過程において、前記円弧が含まれる、前記装着部を中心とした円周において、前記装着部と前記撮像装置との間に障害物が存在する場合、前記障害物が撮像画像に含まれる円弧の範囲での撮像を行なわず、前記障害物が撮像画像に含まれない円弧の範囲での撮像を行ない、前記生成過程において、一定の撮像間隔で連続して撮像された円弧毎の撮像画像からそれぞれ分割３次元形状を生成し、分割３次元形状を合成して前記３次元形状を生成することを特徴とする。
本発明の補装具装着部形状取得方法は、前記撮像画像の解像度を低減させ、前記３次元形状を確認するプレビュー表示を行なう過程をさらに含むことを特徴とする。
本発明の補装具装着部形状取得システムは、補装具を装着する身体の装着部の範囲を覆い、不規則な模様が表面に設けられた前記装着部に密着して当該装着部の形状を反映する計測用衣類を装着した前記装着部の外周面に沿う、当該装着部を中心とした円弧上における異なる位置の各々で撮像された、撮像方向から視認される前記計測用衣類の全体が含まれる撮像画像において、単眼の撮像装置により撮像した複数枚の撮像画像間の対応する画素のマッチングを前記模様を用いて、前記装着部の形状を示す３次元空間における点群を生成するマッチング処理部と、前記マッチング処理部がマッチングにより生成した点群をポリゴンメッシュに変換し、前記装着部の３次元形状を生成する３次元形状生成部とを備え、前記円弧が含まれる、前記装着部を中心とした円周において、前記装着部と前記撮像装置との間に障害物が存在する場合、前記障害物が撮像した画像に含まれる円弧の範囲で前記撮像画像が撮像されず、前記障害物が撮像した画像に含まれない円弧の範囲において前記撮像画像が撮像されており、前記３次元形状生成部が、一定の撮像間隔で連続して撮像された円弧毎の撮像画像からそれぞれ分割３次元形状を生成し、分割３次元形状を合成して前記３次元形状を生成することを特徴とする。
以上説明したように、本発明によれば、補装具を装着する身体における装着部の３次元形状モデルを生成する際、患者に対する負担を低減し、かつ精度の高い３次元形状モデルを取得する補装具装着部形状取得方法及び補装具装着部形状取得システムを提供することができる。
＜第１の実施形態＞
以下、本発明の第１の実施形態による補装具装着部形状取得システムの実施形態について図面を用いて説明する。図１は、本発明の一実施形態である補装具装着部形状取得システムの構成例を示すブロック図である。図１において、補装具装着部形状取得システム１は、補装具装着部形状取得装置１０と、計測用衣類２とを含んでいる。
補装具装着部形状取得装置１０は、制御部１１、カメラパラメータ推定部１２、マッチング処理部１３、スケール設定部１４、３次元形状生成部１５及び記憶部１６の各々を備えている。
以下、本発明の第１の実施形態による補装具装着部形状取得システムの実施形態について図面を用いて説明する。図１は、本発明の一実施形態である補装具装着部形状取得システムの構成例を示すブロック図である。図１において、補装具装着部形状取得システム１は、補装具装着部形状取得装置１０と、計測用衣類２とを含んでいる。
補装具装着部形状取得装置１０は、制御部１１、カメラパラメータ推定部１２、マッチング処理部１３、スケール設定部１４、３次元形状生成部１５及び記憶部１６の各々を備えている。
計測用衣類２は、補装具を装着する患者の身体における補装具装着部（以下、装着部とする）に着用する衣類である。この計測用衣類２については後述する。スケール設定用マーカ２Ａは、計測用衣類２に付加されており、３次元形状の寸法のスケールを実際の寸法のスケールに合わせるために用いる。
制御部１１は、撮像装置３から、この撮像装置３が撮像した撮像画像のデータを入力し、記憶部１６に対して書き込んで記憶させる。撮像装置３は、スマートフォンなどを含むカメラ機能を有する携帯端末、あるいは単眼のデジタルカメラなどである。
制御部１１は、撮像装置３から、この撮像装置３が撮像した撮像画像のデータを入力し、記憶部１６に対して書き込んで記憶させる。撮像装置３は、スマートフォンなどを含むカメラ機能を有する携帯端末、あるいは単眼のデジタルカメラなどである。
また、制御部１１が撮像装置３から撮像画像を読み込むのではなく、撮像装置３が有線あるいは無線により制御部１１に接続され、撮像画像を撮像する毎に制御部１１に対して時系列に送信するアプリケーションがインストールされた構成としても良い。デジタルカメラの場合には、一旦撮像画像をパーソナルコンピュータなどの端末装置に読み込んで、制御部１１に対して時系列に送信する構成としても良い。この場合、デジタルカメラと端末装置との組合わせが本実施形態における撮像装置３の構成となる。また、端末装置には、予め、制御部１１に対して時系列に送信するアプリケーションがインストールされている。
図２は、補装具装着部形状取得システムにおいて、撮像装置３の撮像対象である装着部に着用する計測用衣類の一例を示している。図２においては、計測用衣類の一例として、腰部を装着部２５０とする補装具としてのコルセットを作成する際の計測用衣類２を示している。計測用衣類２は、細かい（本実施形態においては、３次元空間における３次元形状を示す点群を生成する撮像画像間のマッチング処理を可能とする大きさの）不規則な（計測用衣類２の表面全体において同一な形状の繰り返しがない）模様１０１と、取得する３次元形状に影響を与えない程度の高低を有する凹凸１０２とが設けられている。この模様１０１と凹凸１０２とにより、３次元空間における３次元形状を示す点群を生成する際、各点の３次元空間における座標値を求めるための、複数の撮像画像間における画素（ピクセル）のマッチング処理が行なわれる。計測用衣類２の細かい模様１０１とは、撮像画像間におけるマッチングを行なった際に、マッチングをより行ない易くする目的で用いられ、撮像画像における凹凸１０２とともに特徴点を形成するために用いられる。
図２に示すように、計測用衣類２は患者２００の装着部２５０の形状が明確に撮像できるように、できるだけ薄い材質で形成され、装着部２５０に密着して、この装着部の形状が反映される構成となっている。
また、スケール設定用マーカ２Ａは、計測用衣類２に付加される点群から容易に抽出できるように、計測用衣類２の模様に用いている色に対して補色となる色を用いて、視認し易く作成されている。ここで、スケール設定用マーカ２Ａにおける特徴点となるマーカのピッチの寸法が数ｃｍ、例えば５ｃｍとして設定されており（既知の値として示されており）、この間に３次元空間における点群間の距離のスケールを、実際の寸法のスケールに合わせるために用いられる。
また、スケール設定用マーカ２Ａは、計測用衣類２に付加される点群から容易に抽出できるように、計測用衣類２の模様に用いている色に対して補色となる色を用いて、視認し易く作成されている。ここで、スケール設定用マーカ２Ａにおける特徴点となるマーカのピッチの寸法が数ｃｍ、例えば５ｃｍとして設定されており（既知の値として示されており）、この間に３次元空間における点群間の距離のスケールを、実際の寸法のスケールに合わせるために用いられる。
図３は、装着部に装着された計測用衣類２の撮像画像の撮像を説明する図である。図３は、図２の線分Ａ−Ａの線視断面を示している。患者２００の装着部２５０の断面に対して垂直であり、かつ断面の中心を通る軸線５００を中心軸とした円４００上を、撮像装置３を移動させつつ、計測用衣類の外周面に沿うように撮像画像の撮像を行なう。また、撮像する円４００上の各撮像位置の撮像方向から視認できる計測用衣類２の全体が撮像画像に含まれるように撮像を行なう。この撮像は、単眼の撮像装置３を１台用いて行なう。
このとき、撮像装置３による撮像は、円４００上において、できる限り一定の間隔（一定距離離れた撮像間隔）で行なう。例えば、移動を一定の速度で撮像装置３を円４００上で移動させ、連射あるいは動画により撮像を行ない、撮像枚数あるいは撮影時間が一定になるようにすることで、各撮像画像を一定の間隔で撮像する。ここで、動画の場合、各撮像画像にモーションブラーが発生しない移動の速度を実験で求めておくことが必要である。
図１に戻り、制御部１１は、撮像装置３から、撮像装置３が撮像した撮像画像の各々を読み込み、記憶部１６に書き込んで記憶させる。
カメラパラメータ推定部１２は、記憶部１６に記憶されている撮像画像の各々を読み出し、ＳＦＭ（Structure from Motion）の手法を用いて、撮像装置３のカメラパラメータ（外部パラメータと内部パラメータとを含む）と、それぞれの撮像画像が撮像された撮像装置３の移動前後の位置及び撮像方向とを推定する。カメラパラメータ推定部１２は、例えば、撮像画像間の対応する模様及び凹凸における特徴点を抽出し、それぞれの特徴量により特徴点の対応付けを行なうことにより、３次元空間における移動前後の相対的な位置及び撮像方向とを推定する。
カメラパラメータ推定部１２は、記憶部１６に記憶されている撮像画像の各々を読み出し、ＳＦＭ（Structure from Motion）の手法を用いて、撮像装置３のカメラパラメータ（外部パラメータと内部パラメータとを含む）と、それぞれの撮像画像が撮像された撮像装置３の移動前後の位置及び撮像方向とを推定する。カメラパラメータ推定部１２は、例えば、撮像画像間の対応する模様及び凹凸における特徴点を抽出し、それぞれの特徴量により特徴点の対応付けを行なうことにより、３次元空間における移動前後の相対的な位置及び撮像方向とを推定する。
マッチング処理部１３は、撮像画像の各々が撮像された位置及び撮像方向とに基づき、撮像画像間の画素のテンプレートマッチングを行ない、計測用衣類２の３次元形状、すなわち装着部の３次元形状を示す３次元空間における点群を生成する。上記マッチングは、ＳＡＤ（sum of absolute difference）、ＳＳＤ（sum of squared difference）、ＮＣＣ（normalized cross-correlation）あるいはＺＮＣＣ（zero-means normalized cross-correlation）を用いて行う。
スケール設定部１４は、３次元空間における点群からスケール設定用マーカ２Ａに対応する点群を抽出し、スケール設定用マーカ２Ａの示す既知の寸法に合わせて、３次元形状を示す点群の各々の点の座標値のスケールを実際の寸法のスケールに対応させる。
３次元形状生成部１５は、スケール設定部１４が実際の寸法のスケールに合わせた点群をポリゴンメッシュ化することにより、装着部の３次元形状を生成する。３次元形状生成部１５は、生成した装着部の３次元形状（陽性モデル）を記憶部１６に書き込んで記憶させる。
３次元形状生成部１５は、スケール設定部１４が実際の寸法のスケールに合わせた点群をポリゴンメッシュ化することにより、装着部の３次元形状を生成する。３次元形状生成部１５は、生成した装着部の３次元形状（陽性モデル）を記憶部１６に書き込んで記憶させる。
また、制御部１１は、撮像装置３から読み込む撮像画像を間引きし、撮像画像の枚数が多い場合、３次元形状の生成の負荷（特にマッチング処理部１３の負荷）を低減するため、例えば一枚おきに入力して記憶部１６に書き込んで記憶させる構成としても良い。例えば制御部１１は、４０枚の撮像画像が時系列に入力される場合、一枚ごとに一枚を間引き、４０枚を２０枚として、記憶部１６に対して書き込んで記憶させる。
また、制御部１１は、３次元形状の生成の負荷（特にマッチング処理部１３の負荷）を低減するため、記憶部１６に記憶されている撮像画像の各々の解像度を低減する構成としても良い。ここで、解像度の低減は、例えば４画素の画素値を平均化して、新たに１画素とする処理を行なうことにより実現する。
また、制御部１１は、３次元形状の生成の負荷（特にマッチング処理部１３の負荷）を低減するため、記憶部１６に記憶されている撮像画像の各々の解像度を低減する構成としても良い。ここで、解像度の低減は、例えば４画素の画素値を平均化して、新たに１画素とする処理を行なうことにより実現する。
図４は、本発明の第１の実施形態による補装具装着部形状取得システムに用いる撮像画像を撮像する動作例を示すフローチャートである。
ステップＳ１０１：
計測者は、患者に対して、補装具を装着させる装着部に対して、補装具が装着される領域全てが覆われて、覆われた装着部に密着するように、計測用衣類２にしわが寄らない状態で着用させる。
ステップＳ１０１：
計測者は、患者に対して、補装具を装着させる装着部に対して、補装具が装着される領域全てが覆われて、覆われた装着部に密着するように、計測用衣類２にしわが寄らない状態で着用させる。
ステップＳ１０２：
計測者は、装着部に着用させた計測用衣類２に対して、全体が露出される状態でスケール設定用マーカ２Ａを付加する。
計測者は、装着部に着用させた計測用衣類２に対して、全体が露出される状態でスケール設定用マーカ２Ａを付加する。
ステップＳ１０３：
計測者は、図３に示すように、円４００上を所定の速度で移動させつつ、連射を行なうことにより、撮像装置３により患者の装着部に着用させた計測用衣類２の撮像画像を、異なる撮像位置及び撮像方向から撮像する。例えば、計測者はカメラを円４００上を移動させて、所定の一定の間隔において４０枚の撮像画像を撮像する。
計測者は、図３に示すように、円４００上を所定の速度で移動させつつ、連射を行なうことにより、撮像装置３により患者の装着部に着用させた計測用衣類２の撮像画像を、異なる撮像位置及び撮像方向から撮像する。例えば、計測者はカメラを円４００上を移動させて、所定の一定の間隔において４０枚の撮像画像を撮像する。
図５は、本発明の第１の実施形態による補装具装着部形状取得システムの装着部の３次元形状の生成処理の動作例を示すフローチャートである。
ステップＳ２０１：
制御部１１は、撮像装置３から、撮像装置３が計測用衣類２を時系列に撮像した撮像画像を順次読み込み、記憶部１６に対して書き込んで記憶させる。このとき、制御部１１に対して、撮像装置３から供給される撮像画像を間引きして、撮像画像の枚数を低減させて記憶部１６に対して時系列に書き込んで記憶させても良い。
ステップＳ２０１：
制御部１１は、撮像装置３から、撮像装置３が計測用衣類２を時系列に撮像した撮像画像を順次読み込み、記憶部１６に対して書き込んで記憶させる。このとき、制御部１１に対して、撮像装置３から供給される撮像画像を間引きして、撮像画像の枚数を低減させて記憶部１６に対して時系列に書き込んで記憶させても良い。
ステップＳ２０２：
カメラパラメータ推定部１２は、記憶部１６に記憶されている撮像画像を時系列の順番に読出し、ＳＦＭの手法を用いて、撮像装置３のカメラパラメータと、それぞれの撮像画像が撮像された際の撮像装置３の移動前後の撮像位置及び撮像方向とを推定する。
そして、カメラパラメータ推定部１２は、カメラパラメータ推定部１２が推定した撮像装置３のカメラパラメータと、各撮像画像を撮像した撮像位置及び撮像方向とを記憶部１６に対して書き込んで記憶させる。
カメラパラメータ推定部１２は、記憶部１６に記憶されている撮像画像を時系列の順番に読出し、ＳＦＭの手法を用いて、撮像装置３のカメラパラメータと、それぞれの撮像画像が撮像された際の撮像装置３の移動前後の撮像位置及び撮像方向とを推定する。
そして、カメラパラメータ推定部１２は、カメラパラメータ推定部１２が推定した撮像装置３のカメラパラメータと、各撮像画像を撮像した撮像位置及び撮像方向とを記憶部１６に対して書き込んで記憶させる。
ステップＳ２０３：
マッチング処理部１３は、時系列に撮像された撮像画像と、撮像装置３のカメラパラメータと、各撮像画像を撮像した撮像位置及び撮像方向とを、記憶部１６から順次読み出す。
マッチング処理部１３は、撮像装置３のカメラパラメータと、各撮像画像を撮像した撮像位置及び撮像方向とを用いた撮像画像間のテンプレートマッチングにより、３次元空間における装着部全体の３次元形状を示す点群を生成する。
そして、マッチング処理部１３は、生成した点群を記憶部１６に対して書き込んで記憶させる。
マッチング処理部１３は、時系列に撮像された撮像画像と、撮像装置３のカメラパラメータと、各撮像画像を撮像した撮像位置及び撮像方向とを、記憶部１６から順次読み出す。
マッチング処理部１３は、撮像装置３のカメラパラメータと、各撮像画像を撮像した撮像位置及び撮像方向とを用いた撮像画像間のテンプレートマッチングにより、３次元空間における装着部全体の３次元形状を示す点群を生成する。
そして、マッチング処理部１３は、生成した点群を記憶部１６に対して書き込んで記憶させる。
ステップＳ２０４：
スケール設定部１４は、記憶部１６からマッチング処理部１３が生成した点群を読み出し、この点群からスケール設定用マーカ２Ａに対応する点群を抽出し、マーク間の既知の寸法に対応して、３次元空間における３次元形状を示す点群の各点間の距離を実際の寸法のスケールに合わせる。
そして、スケール設定部１４は、スケールを設定した点群を記憶部１６に対して書き込んで記憶させる。
スケール設定部１４は、記憶部１６からマッチング処理部１３が生成した点群を読み出し、この点群からスケール設定用マーカ２Ａに対応する点群を抽出し、マーク間の既知の寸法に対応して、３次元空間における３次元形状を示す点群の各点間の距離を実際の寸法のスケールに合わせる。
そして、スケール設定部１４は、スケールを設定した点群を記憶部１６に対して書き込んで記憶させる。
ステップＳ２０５：
３次元形状生成部１５は、記憶部１６からスケールが設定された点群を読み出し、点群の各点を用いてポリゴンメッシュ化する。
そして、３次元形状生成部１５は、点群からポリゴンメッシュを生成することにより、スムーズな装着部の３次元形状を生成する。この生成された３次元形状が、補装具を作成する際に用いられる陽性モデルとして用いられる。
この後、例えば、３次元プリンタなどに対し、この３次元形状のデータを供給することにより、補装具を作成することになる。
３次元形状生成部１５は、記憶部１６からスケールが設定された点群を読み出し、点群の各点を用いてポリゴンメッシュ化する。
そして、３次元形状生成部１５は、点群からポリゴンメッシュを生成することにより、スムーズな装着部の３次元形状を生成する。この生成された３次元形状が、補装具を作成する際に用いられる陽性モデルとして用いられる。
この後、例えば、３次元プリンタなどに対し、この３次元形状のデータを供給することにより、補装具を作成することになる。
上述したように、本実施形態によれば、補装具を装着する装着部に対して計測用衣類を着用させて撮像画像を撮像して、撮像された撮像画像から装着部の陽性モデルを取得するため、従来のように、患者の補装具の装着部の陽性モデルを取得する際、装着部にギブスを取り付けて、固化するまでの長い時間にわたって患者を拘束する必要がなく、患者に与える肉体的および精神的な負担（負荷）を大きく低減させることができる。
また、本実施形態によれば、装着部における計測用衣類の撮像画像から陽性モデルを生成するため、従来のように、陽性モデルを生成するためのギブス（陰性モデル）が固化した後、部位から取り外す際にギブスを切断することによる実際の部位の形状と誤差の発生を抑制することが可能となり、装着部の正確な陽性モデルを生成できる。
また、本実施形態によれば、装着部における計測用衣類の撮像画像から陽性モデルを生成するため、従来のように、陽性モデルを生成するためのギブス（陰性モデル）が固化した後、部位から取り外す際にギブスを切断することによる実際の部位の形状と誤差の発生を抑制することが可能となり、装着部の正確な陽性モデルを生成できる。
また、本実施形態においては、制御部１１が撮像装置３から供給される撮像画像の間引きを行なっていたが、撮像装置３にインストールしているアプリケーションが、補装具装着部形状取得装置１０に対して出力する画像の間引き処理を行なう構成としても良い。これにより、本実施形態における撮像画像を、撮像装置３から制御部１１へ転送する転送速度を向上させ、転送にかかる時間を低減することができる。
さらに、本実施形態においては、制御部１１が撮像装置３から供給される撮像画像の各々の画素の平均化を行ない解像度の低減を行なっていたが、撮像装置３にインストールしているアプリケーションが解像度の低減を行なう解像度低減処理部として機能する構成としてもよい。この構成の場合、制御部１１から撮像画像を送信する制御信号が供給された場合、上記解像度低減処理部が撮像画像の画素の平均化を行ない解像度を低減させ、制御部１１に対して供給する。
さらに、本実施形態においては、制御部１１が撮像装置３から供給される撮像画像の各々の画素の平均化を行ない解像度の低減を行なっていたが、撮像装置３にインストールしているアプリケーションが解像度の低減を行なう解像度低減処理部として機能する構成としてもよい。この構成の場合、制御部１１から撮像画像を送信する制御信号が供給された場合、上記解像度低減処理部が撮像画像の画素の平均化を行ない解像度を低減させ、制御部１１に対して供給する。
＜第２の実施形態＞
以下、本発明の第２の実施形態による補装具装着部形状取得システムの実施形態について図面を用いて説明する。図６は、本発明の一実施形態である補装具装着部形状取得システムの構成例を示すブロック図である。図６において、補装具装着部形状取得システム１Ａは、補装具装着部形状取得装置１０Ａと、計測用衣類２とを含んでいる。
補装具装着部形状取得装置１０Ａは、制御部１１、カメラパラメータ推定部１２、マッチング処理部１３、スケール設定部１４、３次元形状生成部１５、記憶部１６及びプレビュー確認処理部１７の各々を備えている。図６においては、第１の実施形態と同様の構成に対しては同一の符号を付してある。以下、第１の実施形態と異なる構成及び動作について説明する。
以下、本発明の第２の実施形態による補装具装着部形状取得システムの実施形態について図面を用いて説明する。図６は、本発明の一実施形態である補装具装着部形状取得システムの構成例を示すブロック図である。図６において、補装具装着部形状取得システム１Ａは、補装具装着部形状取得装置１０Ａと、計測用衣類２とを含んでいる。
補装具装着部形状取得装置１０Ａは、制御部１１、カメラパラメータ推定部１２、マッチング処理部１３、スケール設定部１４、３次元形状生成部１５、記憶部１６及びプレビュー確認処理部１７の各々を備えている。図６においては、第１の実施形態と同様の構成に対しては同一の符号を付してある。以下、第１の実施形態と異なる構成及び動作について説明する。
補装具装着部形状取得装置１０Ａは、第１の実施形態の補装具装着部形状取得装置１０に対してプレビュー確認処理部１７が付加されている。
プレビュー確認処理部１７は、陽性モデルとしての３次元形状を作成するための撮像画像が得られているか否かの確認処理を行なう。特に、スケールの設定ができないと陽性モデルが完成されないため、スケール設定用マーカ２Ａに対応する画像が撮像画像に含まれているか否かを確認する。
図７は、第２の実施形態におけるプレビュー用３次元形状を用いた撮像画像の確認処理の動作例を示すフローチャートである。
プレビュー確認処理部１７は、陽性モデルとしての３次元形状を作成するための撮像画像が得られているか否かの確認処理を行なう。特に、スケールの設定ができないと陽性モデルが完成されないため、スケール設定用マーカ２Ａに対応する画像が撮像画像に含まれているか否かを確認する。
図７は、第２の実施形態におけるプレビュー用３次元形状を用いた撮像画像の確認処理の動作例を示すフローチャートである。
ステップＳ３０１：
プレビュー確認処理部１７は、制御部１１に対して記憶部１６に記憶されている撮像画像の解像度の低減を指示する。これにより、制御部１１は、記憶部１６から撮像画像を読み出し、例えば、４×４の１６個の画素の平均値を取得して、各撮像画像の解像度を１／１６に低減して低解像度画像を生成する。
そして、制御部１１は、プレビュー用３次元形状の作成に用いるため、生成した低解像度画像を、この低解像度画像を生成した撮像画像を読み出す際の時系列の順番に対応させて記憶部１６に対して書き込んで記憶させる。
プレビュー確認処理部１７は、制御部１１に対して記憶部１６に記憶されている撮像画像の解像度の低減を指示する。これにより、制御部１１は、記憶部１６から撮像画像を読み出し、例えば、４×４の１６個の画素の平均値を取得して、各撮像画像の解像度を１／１６に低減して低解像度画像を生成する。
そして、制御部１１は、プレビュー用３次元形状の作成に用いるため、生成した低解像度画像を、この低解像度画像を生成した撮像画像を読み出す際の時系列の順番に対応させて記憶部１６に対して書き込んで記憶させる。
ステップＳ３０２：
プレビュー確認処理部１７は、カメラパラメータ推定部１２に対して、低解像度画像を用いて、撮像装置３のカメラパラメータと、低解像度画像の各々の撮像位置及び撮像方向との推定を指示する。
カメラパラメータ推定部１２は、記憶部１６から低解像度画像を時系列の順番に読み出し、第１の実施形態の場合と同様に、撮像装置３のカメラパラメータと、低解像度画像の各々の撮像位置及び撮像方向をＳＦＭの手法により推定する。
プレビュー確認処理部１７は、カメラパラメータ推定部１２に対して、低解像度画像を用いて、撮像装置３のカメラパラメータと、低解像度画像の各々の撮像位置及び撮像方向との推定を指示する。
カメラパラメータ推定部１２は、記憶部１６から低解像度画像を時系列の順番に読み出し、第１の実施形態の場合と同様に、撮像装置３のカメラパラメータと、低解像度画像の各々の撮像位置及び撮像方向をＳＦＭの手法により推定する。
ステップＳ３０３：
プレビュー確認処理部１７は、マッチング処理部１３に対して、制御部１１が生成した低解像度画像を用いた、プレビュー用３次元形状を示す点群の生成を指示する。
マッチング処理部１３は、低解像度画像間における各画素のテンプレートマッチングにより、装着部のプレビュー用３次元形状を示す点群を生成する。
プレビュー確認処理部１７は、マッチング処理部１３に対して、制御部１１が生成した低解像度画像を用いた、プレビュー用３次元形状を示す点群の生成を指示する。
マッチング処理部１３は、低解像度画像間における各画素のテンプレートマッチングにより、装着部のプレビュー用３次元形状を示す点群を生成する。
ステップＳ３０４：
プレビュー確認処理部１７は、３次元形状生成部１５に対して、マッチング処理部１３が低解像度画像の各々から生成した点群をレンダリングすることで、プレビュー用３次元形状の画像の生成を指示する。
プレビュー確認処理部１７は、３次元形状生成部１５に対して、マッチング処理部１３が低解像度画像の各々から生成した点群をレンダリングすることで、プレビュー用３次元形状の画像の生成を指示する。
ステップＳ３０５：
そして、プレビュー確認処理部１７は、撮像装置３の表示画面に対し、３次元形状生成部１５が生成したプレビュー用３次元形状の画像を表示する。
計測者は、撮像装置３の表示画面において、３次元空間におけるプレビュー用３次元形状の観察位置を変えつつ、プレビュー用３次元形状の画像を観察する。
そして、計測者は、プレビュー３次元形状が、装着部に着用させた計測用衣類２の全体が含まれた十分な形状か否か、すなわち、撮像画像の各々が装着部の３次元形状（陽性モデル）を生成するために十分な撮像範囲を撮像した画像か否かの判定を行なう。
このとき、計測者は、プレビュー３次元形状が計測用衣類２の全体を含む十分な形状である場合、処理をステップＳ３０６へ進める。一方、計測者は、プレビュー３次元形状が計測用衣類２の全体を含む十分な形状でない場合、処理をステップＳ３０７へ進める。
そして、プレビュー確認処理部１７は、撮像装置３の表示画面に対し、３次元形状生成部１５が生成したプレビュー用３次元形状の画像を表示する。
計測者は、撮像装置３の表示画面において、３次元空間におけるプレビュー用３次元形状の観察位置を変えつつ、プレビュー用３次元形状の画像を観察する。
そして、計測者は、プレビュー３次元形状が、装着部に着用させた計測用衣類２の全体が含まれた十分な形状か否か、すなわち、撮像画像の各々が装着部の３次元形状（陽性モデル）を生成するために十分な撮像範囲を撮像した画像か否かの判定を行なう。
このとき、計測者は、プレビュー３次元形状が計測用衣類２の全体を含む十分な形状である場合、処理をステップＳ３０６へ進める。一方、計測者は、プレビュー３次元形状が計測用衣類２の全体を含む十分な形状でない場合、処理をステップＳ３０７へ進める。
ステップＳ３０６：
計測者は、第１の実施形態における図５に示すフローチャートにおける装着部の３次元形状の生成の処理を、補装具装着部形状取得システム１Ａに対して実行させる。この３次元形状を生成する説明はすでに第１の実施形態で行なっているため、再度の説明を省略する。
計測者は、第１の実施形態における図５に示すフローチャートにおける装着部の３次元形状の生成の処理を、補装具装着部形状取得システム１Ａに対して実行させる。この３次元形状を生成する説明はすでに第１の実施形態で行なっているため、再度の説明を省略する。
ステップＳ３０７：
計測者は、第１の実施形態における図４に示すフローチャートにおける補装具の装着部の撮像画像を撮像する処理を再度行なう。この装着部の撮像画像を撮像する処理の説明はすでに第１の実施形態におけるステップＳ１０３などにおいて行なっているため、再度の説明を省略する。
計測者は、第１の実施形態における図４に示すフローチャートにおける補装具の装着部の撮像画像を撮像する処理を再度行なう。この装着部の撮像画像を撮像する処理の説明はすでに第１の実施形態におけるステップＳ１０３などにおいて行なっているため、再度の説明を省略する。
上述した構成により、本実施形態によれば、解像度を低減させた低解像度画像から生成したプレビュー３次元形状により、撮像画像の各々が装着部の３次元形状（陽性モデル）を生成するために十分な撮像範囲を撮像した画像か否かを判定する。このため、処理が重い陽性モデルを生成してから、陽性モデルが装着部全体の形状に対応しているか否かを判定する必要が無く、最適な装着部の陽性モデルの生成までの時間を短縮することができる。
また、本実施形態においては、制御部１１が撮像画像から低解像度画像を生成していたが、撮像装置３にインストールしているアプリケーションが低解像度画像生成部として機能する構成としてもよい。この構成の場合、制御部１１から撮像画像を低解像度で送信する制御信号が供給された場合、上記低解像度画像生成部が撮像画像から低解像度画像を生成し、制御部１１に対して供給する。これにより、本実施形態におけるプレビュー３次元形状のための撮像画像を、撮像装置３から制御部１１へ転送する転送速度を向上させ、転送にかかる時間を低減することができる。
＜第３の実施形態＞
以下、本発明の第３の実施形態による補装具装着部形状取得システムの実施形態について図面を用いて説明する。図８は、本発明の一実施形態である補装具装着部形状取得システムの構成例を示すブロック図である。図８において、補装具装着部形状取得システム１Ｂは、補装具装着部形状取得装置１０Ｂと、計測用衣類２とを含んでいる。
補装具装着部形状取得装置１０Ｂは、制御部１１、カメラパラメータ推定部１２、マッチング処理部１３、スケール設定部１４、３次元形状生成部１５、記憶部１６及び点群合成部１８の各々を備えている。図８においては、第１の実施形態と同様の構成に対しては同一の符号を付してある。以下、第１の実施形態と異なる構成及び動作について説明する。
以下、本発明の第３の実施形態による補装具装着部形状取得システムの実施形態について図面を用いて説明する。図８は、本発明の一実施形態である補装具装着部形状取得システムの構成例を示すブロック図である。図８において、補装具装着部形状取得システム１Ｂは、補装具装着部形状取得装置１０Ｂと、計測用衣類２とを含んでいる。
補装具装着部形状取得装置１０Ｂは、制御部１１、カメラパラメータ推定部１２、マッチング処理部１３、スケール設定部１４、３次元形状生成部１５、記憶部１６及び点群合成部１８の各々を備えている。図８においては、第１の実施形態と同様の構成に対しては同一の符号を付してある。以下、第１の実施形態と異なる構成及び動作について説明する。
図９は、補装具装着部形状取得システムにおいて、撮像装置３の撮像対象である装着部に装着する計測用衣類の一例を示している。図９においては、計測用衣類の一例として、図２と同様に、腰部を装着部２５０とする補装具としてのコルセットを作成する際の計測用衣類２を示している。第３の実施形態においては、撮像装置３と装着部との間に障害物がある場合の測定用衣類について示している。
計測用衣類２は、第１の実施形態と同様に、細かい不規則な模様と、取得する３次元形状に影響を与えない程度の高低を有する凹凸とが設けられている。
計測用衣類２は、第１の実施形態と同様に、細かい不規則な模様と、取得する３次元形状に影響を与えない程度の高低を有する凹凸とが設けられている。
また、計測用衣類２には、スケール設定用マーカ２Ａに加えて、位置合わせ用マーカ２Ｂが設けられている。後述するように、装着部全体の３次元形状を示す点群が生成できないため、複数の点群を合成する必要がある。位置合わせ用マーカ２Ｂは、点群を合成する際、合成する点群の位置合わせに用いられる。この位置合わせ用マーカ２Ｂは、スケール設定用マーカ２Ａと同様に、点群から容易に抽出できるように、計測用衣類２の模様に用いている色に対して補色となる色を用いて、視認し易く作成されている。
図１０は、障害物がある場合における装着部に装着された計測用衣類２の撮像画像の撮像を説明する図である。図１０は、図９の線分Ｂ−Ｂの線視断面を示している。患者２００の装着部２５０の断面に対して垂直であり、かつ断面の中心を通る軸線５００を中心軸とした円弧４５１上及び円弧４５２上の各々を、撮像装置３を移動させつつ撮像を行なう。また、撮像する円弧４５１上及び円弧４５２上の各々の各撮像位置の撮像方向から視認できる計測用衣類２の全体が撮像画像に含まれるように撮像を行なう。図１０において、領域４６１及び領域４６２においては、障害物８００（例えば、腰が悪いために体を支えるためにつく杖）が撮像画像に含まれるために、撮像画像の撮像を行なうことができない。
このため、撮像装置３を円弧４５１上を移動させつつ撮像した際、円弧４５１の両端近傍における撮像位置において、位置合わせ用マーカ２Ｂが撮像画像に含まれる。同様に、撮像装置３を円弧４５２上を移動させつつ撮像した際、円弧４５２の両端近傍における撮像位置において、位置合わせ用マーカ２Ｂが撮像画像に含まれる。
そして、後述するように、点群合成部１８は、円弧４５１上の位置で撮像された撮像画像から生成された部分点群と、円弧４５２上の位置で撮像された撮像画像から生成された部分点群とを、位置合わせ用マーカ２Ｂにより位置合わせをして合成し、装着部全体の３次元形状を示す点群を生成する。
そして、後述するように、点群合成部１８は、円弧４５１上の位置で撮像された撮像画像から生成された部分点群と、円弧４５２上の位置で撮像された撮像画像から生成された部分点群とを、位置合わせ用マーカ２Ｂにより位置合わせをして合成し、装着部全体の３次元形状を示す点群を生成する。
また、第１の実施形態と同様に、撮像装置３による撮像は、円弧４５１上及び円弧４５２上において、できる限り一定の間隔（一定の距離が離れた撮像間隔）で行なう。例えば、移動を一定の速度で撮像装置３を円弧４５１上及び円弧４５２上で移動させ、連射あるいは動画により撮像を行ない、撮像枚数あるいは撮影時間が一定になるようにすることで、各撮像画像を一定の間隔で撮像する。ここで、動画の場合、各撮像画像にモーションブラーが発生しない移動の速度を実験で求めておくことが必要である。
図１１は、本発明の第３の実施形態による補装具装着部形状取得システムに用いる撮像画像を撮像する動作例を示すフローチャートである。
ステップＳ４０１：
計測者は、患者に対して、補装具を装着させる装着部に対して、補装具が装着される領域全てが覆われて、覆われた装着部に密着するように、計測用衣類２にしわが寄らない状態で着用させる。
ステップＳ４０１：
計測者は、患者に対して、補装具を装着させる装着部に対して、補装具が装着される領域全てが覆われて、覆われた装着部に密着するように、計測用衣類２にしわが寄らない状態で着用させる。
ステップＳ４０２：
計測者は、装着部に着用させた計測用衣類２に対して、全体が露出される状態でスケール設定用マーカ２Ａを付加する。
図１０において、円弧４５１上及び円弧４５２上の各々で撮像する際、作成される点群の座標系が異なるため、それぞれの座標系において寸法のスケールを実際の寸法のスケールに設定するため、円弧４５１上及び円弧４５２上それぞれの座標系に対応したスケール設定用マーカ２Ａを、計測用衣類２に付加する。
計測者は、装着部に着用させた計測用衣類２に対して、全体が露出される状態でスケール設定用マーカ２Ａを付加する。
図１０において、円弧４５１上及び円弧４５２上の各々で撮像する際、作成される点群の座標系が異なるため、それぞれの座標系において寸法のスケールを実際の寸法のスケールに設定するため、円弧４５１上及び円弧４５２上それぞれの座標系に対応したスケール設定用マーカ２Ａを、計測用衣類２に付加する。
図１２は、障害物８００の存在により、円弧４５１上及び円弧４５２上の各々で分割して計測用衣類２を撮像する際におけるスケール設定用マーカ２Ａ及び位置合わせ用マーカ２Ｂの取り付けを説明する図である。
図１０で示したように、円弧４５１上及び円弧４５２上の各々で分割して計測用衣類２を撮像するため、患者２００の装着部２５０の正面（患者２００の顔のある面）と後面（患者２００の背中のある面）との各々にスケール設定用マーカ２Ａを付加することになる。
図１０で示したように、円弧４５１上及び円弧４５２上の各々で分割して計測用衣類２を撮像するため、患者２００の装着部２５０の正面（患者２００の顔のある面）と後面（患者２００の背中のある面）との各々にスケール設定用マーカ２Ａを付加することになる。
図１２（ａ）は、円弧４５１上で撮像装置３により撮像される患者２００の装着部２５０の正面に対応して、計測用衣類２の正面にスケール設定用マーカ２Ａ＿１を取り付けたことを示している。図１２（ｂ）は、円弧４５２上で撮像装置３により撮像される患者２００の装着部２５０の後面に対応して、計測用衣類２の正面にスケール設定用マーカ２Ａ＿２を取り付けたことを示している。スケール設定用マーカ２Ａ＿１及びスケール設定用マーカ２Ａ＿２の各々は、同一のスケールの寸法の周期でマーカが示されている。
ステップＳ４０３：
計測者は、装着部の撮像画像の撮像を行なう際、障害物により撮像を行えない範囲に対応した、装着部に着用させた計測用衣類２の位置に対して、位置合わせ用マーカ２Ｂを付加する。
すなわち、図１０において、円弧４５１上及び円弧４５２上の各々で撮像する際、作成される点群の座標系が異なるため、それぞれの座標系における点群の位置合わせに用いるため、円弧４５１と円弧４５２との間の領域４６１及び領域４６２の各々に対向する、計測用衣類２の位置に位置合わせ用マーカ２Ｂを付加する。
図１２（ａ）において示されるように、患者２００の装着部２５０の正面において、領域４６１及び領域４６２の各々に対向する位置として、例えば、脇腹部に対応する計測用衣類２の位置に対して、位置合わせ用マーカ２Ｂを付加する。図１２（ｂ）においても同様である。
計測者は、装着部の撮像画像の撮像を行なう際、障害物により撮像を行えない範囲に対応した、装着部に着用させた計測用衣類２の位置に対して、位置合わせ用マーカ２Ｂを付加する。
すなわち、図１０において、円弧４５１上及び円弧４５２上の各々で撮像する際、作成される点群の座標系が異なるため、それぞれの座標系における点群の位置合わせに用いるため、円弧４５１と円弧４５２との間の領域４６１及び領域４６２の各々に対向する、計測用衣類２の位置に位置合わせ用マーカ２Ｂを付加する。
図１２（ａ）において示されるように、患者２００の装着部２５０の正面において、領域４６１及び領域４６２の各々に対向する位置として、例えば、脇腹部に対応する計測用衣類２の位置に対して、位置合わせ用マーカ２Ｂを付加する。図１２（ｂ）においても同様である。
ステップＳ４０４：
計測者は、障害物を避けて、円弧４５１上及び円弧４５２上の各々で、撮像装置３を移動させつつ、計測用衣類２が着用された装着部２５０の撮像画像の撮像を行なう。また、計測者は、円弧４５１上及び円弧４５２上の各々における撮像は、第１の実施形態の撮像と同様に、撮像位置が所定の一定の間隔となるように行なう。例えば、計測者は、図１０に示すように、円弧４５１上及び円弧４５２上の各々において所定の速度で移動させつつ、連射を行なうことにより、撮像装置３により患者の装着部に着用させた計測用衣類２の撮像画像を、異なる撮像位置及び撮像方向から撮像する。
ここで、円弧４５１上及び円弧４５２上の各々で撮像された撮像画像は、それぞれ円弧４５１上で撮像された第１撮像画像群と、円弧４５２上で撮像された第２撮像画像群とにそれぞれ分割してグルーピングされる。例えば、計測者は撮像装置３を円弧４５１上で移動させて、所定の一定の間隔において２０枚の撮像画像（第１撮像画像群）を撮像し、撮像装置３を円弧４５２上で移動させて、所定の一定の間隔において２０枚の撮像画像（第２撮像画像群）を撮像する。
計測者は、障害物を避けて、円弧４５１上及び円弧４５２上の各々で、撮像装置３を移動させつつ、計測用衣類２が着用された装着部２５０の撮像画像の撮像を行なう。また、計測者は、円弧４５１上及び円弧４５２上の各々における撮像は、第１の実施形態の撮像と同様に、撮像位置が所定の一定の間隔となるように行なう。例えば、計測者は、図１０に示すように、円弧４５１上及び円弧４５２上の各々において所定の速度で移動させつつ、連射を行なうことにより、撮像装置３により患者の装着部に着用させた計測用衣類２の撮像画像を、異なる撮像位置及び撮像方向から撮像する。
ここで、円弧４５１上及び円弧４５２上の各々で撮像された撮像画像は、それぞれ円弧４５１上で撮像された第１撮像画像群と、円弧４５２上で撮像された第２撮像画像群とにそれぞれ分割してグルーピングされる。例えば、計測者は撮像装置３を円弧４５１上で移動させて、所定の一定の間隔において２０枚の撮像画像（第１撮像画像群）を撮像し、撮像装置３を円弧４５２上で移動させて、所定の一定の間隔において２０枚の撮像画像（第２撮像画像群）を撮像する。
図１３は、本発明の第３の実施形態による補装具装着部形状取得システムの装着部の３次元形状の生成処理の動作例を示すフローチャートである。
ステップＳ５０１：
制御部１１は、撮像装置３から、撮像装置３が計測用衣類２を円弧４５１上及び円弧４５２上の各々において撮像した第１撮像画像群、第２撮像画像群それぞれを読み込む。このとき、制御部１１は、時系列に撮像した順番に、第１撮像画像群の撮像画像の各々を読む込んだ後、時系列に撮像した順番に、第２撮像画像群の撮像画像の各々を読み込む。
このとき、制御部１１に対して、撮像装置３から供給される撮像画像を間引きして、撮像画像の枚数を低減させて記憶部１６に対して時系列に書き込んで記憶させても良い。
ステップＳ５０１：
制御部１１は、撮像装置３から、撮像装置３が計測用衣類２を円弧４５１上及び円弧４５２上の各々において撮像した第１撮像画像群、第２撮像画像群それぞれを読み込む。このとき、制御部１１は、時系列に撮像した順番に、第１撮像画像群の撮像画像の各々を読む込んだ後、時系列に撮像した順番に、第２撮像画像群の撮像画像の各々を読み込む。
このとき、制御部１１に対して、撮像装置３から供給される撮像画像を間引きして、撮像画像の枚数を低減させて記憶部１６に対して時系列に書き込んで記憶させても良い。
ステップＳ５０２：
カメラパラメータ推定部１２は、記憶部１６に記憶されている第１撮像画像群の撮像画像を時系列の順番に読出し、ＳＦＭの手法を用いて、円弧４５１上の撮像における撮像装置３のカメラパラメータと、それぞれの撮像画像が撮像された際の撮像装置３の移動前後の撮像位置及び撮像方向とを推定する。
そして、カメラパラメータ推定部１２は、第１撮像画像群を用いてカメラパラメータ推定部１２が推定した、円弧４５１上での撮像装置３のカメラパラメータと、各撮像画像を撮像した撮像位置及び撮像方向とを記憶部１６に対して、第１撮像画像群に対応させて書き込んで記憶させる。
カメラパラメータ推定部１２は、記憶部１６に記憶されている第１撮像画像群の撮像画像を時系列の順番に読出し、ＳＦＭの手法を用いて、円弧４５１上の撮像における撮像装置３のカメラパラメータと、それぞれの撮像画像が撮像された際の撮像装置３の移動前後の撮像位置及び撮像方向とを推定する。
そして、カメラパラメータ推定部１２は、第１撮像画像群を用いてカメラパラメータ推定部１２が推定した、円弧４５１上での撮像装置３のカメラパラメータと、各撮像画像を撮像した撮像位置及び撮像方向とを記憶部１６に対して、第１撮像画像群に対応させて書き込んで記憶させる。
同様に、カメラパラメータ推定部１２は、記憶部１６に記憶されている第２撮像画像群の撮像画像を時系列の順番に読出し、ＳＦＭの手法を用いて、円弧４５２上の撮像における撮像装置３のカメラパラメータと、それぞれの撮像画像が撮像された際の撮像装置３の移動前後の撮像位置及び撮像方向とを推定する。
そして、カメラパラメータ推定部１２は、第２撮像画像群を用いてカメラパラメータ推定部１２が推定した、円弧４５２上での撮像装置３のカメラパラメータと、各撮像画像を撮像した撮像位置及び撮像方向とを記憶部１６に対して、第２撮像画像群に対応させて書き込んで記憶させる。
そして、カメラパラメータ推定部１２は、第２撮像画像群を用いてカメラパラメータ推定部１２が推定した、円弧４５２上での撮像装置３のカメラパラメータと、各撮像画像を撮像した撮像位置及び撮像方向とを記憶部１６に対して、第２撮像画像群に対応させて書き込んで記憶させる。
ステップＳ５０３：
マッチング処理部１３は、第１撮像画像群における時系列に撮像された撮像画像と、第１撮像画像群に対応した撮像装置３のカメラパラメータと、各撮像画像を撮像した撮像位置及び撮像方向とを、記憶部１６から順次読み出す。
そして、マッチング処理部１３は、第１撮像画像群に対応した撮像装置３のカメラパラメータと、各撮像画像を撮像した撮像位置及び撮像方向とを用い、第１撮像画像群における撮像画像間のテンプレートマッチングにより、第１撮像画像群の撮像画像で撮像された装着部の３次元形状を示す３次元空間（第１の３次元座標系）における第１分割点群を生成する。
マッチング処理部１３は、第１撮像画像群における時系列に撮像された撮像画像と、第１撮像画像群に対応した撮像装置３のカメラパラメータと、各撮像画像を撮像した撮像位置及び撮像方向とを、記憶部１６から順次読み出す。
そして、マッチング処理部１３は、第１撮像画像群に対応した撮像装置３のカメラパラメータと、各撮像画像を撮像した撮像位置及び撮像方向とを用い、第１撮像画像群における撮像画像間のテンプレートマッチングにより、第１撮像画像群の撮像画像で撮像された装着部の３次元形状を示す３次元空間（第１の３次元座標系）における第１分割点群を生成する。
同様に、マッチング処理部１３は、第２撮像画像群における時系列に撮像された撮像画像と、第２撮像画像群に対応した撮像装置３のカメラパラメータと、各撮像画像を撮像した撮像位置及び撮像方向とを、記憶部１６から順次読み出す。
そして、マッチング処理部１３は、第２撮像画像群に対応した撮像装置３のカメラパラメータと、各撮像画像を撮像した撮像位置及び撮像方向とを用い、第２撮像画像群における撮像画像間のテンプレートマッチングにより、第２撮像画像群の撮像画像で撮像された装着部の３次元形状を示す３次元空間（第２の３次元座標系）における第２分割点群を生成する。
また、マッチング処理部１３は、円弧４５１上及び円弧４５２上の各々で撮像した第１撮像画像群、第２撮像画像群それぞれから生成した第１分割点群、第２分割点群を、第１撮像画像群、第２撮像画像群の各々に対応付けて記憶部１６に対して書き込んで記憶させる。
そして、マッチング処理部１３は、第２撮像画像群に対応した撮像装置３のカメラパラメータと、各撮像画像を撮像した撮像位置及び撮像方向とを用い、第２撮像画像群における撮像画像間のテンプレートマッチングにより、第２撮像画像群の撮像画像で撮像された装着部の３次元形状を示す３次元空間（第２の３次元座標系）における第２分割点群を生成する。
また、マッチング処理部１３は、円弧４５１上及び円弧４５２上の各々で撮像した第１撮像画像群、第２撮像画像群それぞれから生成した第１分割点群、第２分割点群を、第１撮像画像群、第２撮像画像群の各々に対応付けて記憶部１６に対して書き込んで記憶させる。
ステップＳ５０４：
スケール設定部１４は、記憶部１６からマッチング処理部１３が生成した第１分割点群を読み出し、この第１分割点群からスケール設定用マーカ２Ａ＿１に対応する点群を抽出し、マーク間の既知の寸法に対応して、３次元空間（第１の３次元座標系）における３次元形状を示す第１分割点群の各点間の距離を実際の寸法のスケールに合わせる。
また、スケール設定部１４は、記憶部１６からマッチング処理部１３が生成した第２分割点群を読み出し、この第２分割点群からスケール設定用マーカ２Ａ＿２に対応する点群を抽出し、マーク間の既知の寸法に対応して、３次元空間（第２の３次元座標系）における３次元形状を示す第２分割点群の各点間の距離を実際の寸法のスケールに合わせる。
そして、スケール設定部１４は、スケールを設定した第１分割点群及び第２分割点群の各々を記憶部１６に対して書き込んで記憶させる（上書きする）。
スケール設定部１４は、記憶部１６からマッチング処理部１３が生成した第１分割点群を読み出し、この第１分割点群からスケール設定用マーカ２Ａ＿１に対応する点群を抽出し、マーク間の既知の寸法に対応して、３次元空間（第１の３次元座標系）における３次元形状を示す第１分割点群の各点間の距離を実際の寸法のスケールに合わせる。
また、スケール設定部１４は、記憶部１６からマッチング処理部１３が生成した第２分割点群を読み出し、この第２分割点群からスケール設定用マーカ２Ａ＿２に対応する点群を抽出し、マーク間の既知の寸法に対応して、３次元空間（第２の３次元座標系）における３次元形状を示す第２分割点群の各点間の距離を実際の寸法のスケールに合わせる。
そして、スケール設定部１４は、スケールを設定した第１分割点群及び第２分割点群の各々を記憶部１６に対して書き込んで記憶させる（上書きする）。
ステップＳ５０５：
点群合成部１８は、第１分割点群及び第２分割点群の各々を記憶部１６から読み出す。そして、点群合成部１８は、読み出した第１分割点群と第２分割点群とを、ＩＣＰ（iterative closest point）アルゴリズムを用いて合成し、装着部全体の３次元形状を示す点群を生成する。このとき、点群合成部１８は、第１分割点群の第１の３次元座標系において、第１分割点群に対して第２分割点群を回転及び平行移動を行なわせて（第２分割点群の座標変換を行ない）、第１分割点群及び第２分割点群の位置合わせを行なう。
点群合成部１８は、第１分割点群及び第２分割点群の各々を記憶部１６から読み出す。そして、点群合成部１８は、読み出した第１分割点群と第２分割点群とを、ＩＣＰ（iterative closest point）アルゴリズムを用いて合成し、装着部全体の３次元形状を示す点群を生成する。このとき、点群合成部１８は、第１分割点群の第１の３次元座標系において、第１分割点群に対して第２分割点群を回転及び平行移動を行なわせて（第２分割点群の座標変換を行ない）、第１分割点群及び第２分割点群の位置合わせを行なう。
また、位置合わせを行なう際、点群合成部１８は、第１分割点群から位置合わせ用マーカ２Ｂに対応する点を抽出し、第２分割点群から位置合わせ用マーカ２Ｂに対応する点を抽出する。この位置合わせ用マーカ２Ｂは、第１の３次元座標系において、同一の座標点に存在する。このため、点群合成部１８は、例えば、第１分割点群及び第２分割点群の各々の位置合わせ用マーカ２Ｂに対応する座標点それぞれの座標値の間の距離が最小となうように、第１分割点群に対して第２分割点群の回転及び平行移動を行なうことで、第１分割点群及び第２分割点群の各々の合成を行い、装着部全体の３次元形状を示す点群を生成する。そして、点群合成部１８は、生成した点群を記憶部１６に対して書き込んで記憶させる。
図１４は、第１分割点群及び第２分割点群の各々の合成に用いる位置合わせ用マーカについて説明する図である。図１４（ａ）は、第１分割点群を示しており、患者２００の装着部２５０の正面（患者２００の顔のある面）に対応した第１撮像画像群から構成された第１分割点群を示している。脇腹部に付加された位置合わせ用マーカ２Ｂと、スケール設定用マーカ２Ａ＿１と、ＡＳＩＳ（Anterior superior iliac spine：上前腸骨棘、後述）の位置を示す位置検出用マーカ２Ｃとの各々に対応する点が示されている。
一方、図１４（ｂ）は、第２分割点群を示しており、患者２００の装着部２５０の後面（患者２００の背中のある面）に対応した第２撮像画像群から構成された第２分割点群を示している。脇腹部に付加された位置合わせ用マーカ２Ｂと、スケール設定用マーカ２Ａ＿２との各々に対応する点が示されている。
一方、図１４（ｂ）は、第２分割点群を示しており、患者２００の装着部２５０の後面（患者２００の背中のある面）に対応した第２撮像画像群から構成された第２分割点群を示している。脇腹部に付加された位置合わせ用マーカ２Ｂと、スケール設定用マーカ２Ａ＿２との各々に対応する点が示されている。
ステップＳ５０６：
３次元形状生成部１５は、記憶部１６からスケールが設定された点群を読み出し、点群の各点を用いてポリゴンメッシュ化する。
そして、３次元形状生成部１５は、点群からポリゴンメッシュを生成することにより、スムーズな装着部の３次元形状を生成する。この生成された３次元形状が、補装具を作成する際に用いられる陽性モデルとして用いられる。
この後、例えば、３次元プリンタなどに対し、この３次元形状のデータを供給することにより、補装具を作成することになる。
３次元形状生成部１５は、記憶部１６からスケールが設定された点群を読み出し、点群の各点を用いてポリゴンメッシュ化する。
そして、３次元形状生成部１５は、点群からポリゴンメッシュを生成することにより、スムーズな装着部の３次元形状を生成する。この生成された３次元形状が、補装具を作成する際に用いられる陽性モデルとして用いられる。
この後、例えば、３次元プリンタなどに対し、この３次元形状のデータを供給することにより、補装具を作成することになる。
上述したように、本実施形態によれば、補装具を装着する装着部に対して計測用衣類２を着用させて撮像画像を撮像する際、撮像装置３と計測用衣類２との間に杖などの障害物が存在したとしても、この障害物が撮像されないように、撮像画像を複数の撮像画像群に分割して撮像し、撮像画像群それぞれに対し、マッチング処理を行うことで分割点群を生成し、分割点群を合成した点群から装着部の３次元形状を得て、陽性モデルを取得するため、杖などの支えがないと不安定となる患者の装着部の陽性モデルを容易に形成することができ、患者に与える肉体的および精神的な負担（負荷）を大きく低減させることができる。
また、本実施形態においては、撮像装置３と計測用衣類２との間に障害物がない場合、図１０に示す患者２００の装着部２５０の断面に対して垂直であり、かつ断面の中心を通る軸線５００を中心軸とした円上を移動して、連続的に撮像した撮像画像を用いて装着部の３次元形状を得ることができる。このとき、分割点群がないため、点群合成部１８は、分割点群を合成する処理を行なわない。したがって、第３の実施形態による補装具装着部形状取得システム１Ｂは、撮像装置３と計測用衣類２との間に障害物がある場合と、撮像装置３と計測用衣類２との間に障害物がない場合との双方において、患者の装着部の陽性モデルを生成することができる。
＜第４の実施形態＞
以下、本発明の第４の実施形態による補装具装着部形状取得システムの実施形態について図面を用いて説明する。図１５は、本発明の一実施形態である補装具装着部形状取得システムの構成例を示すブロック図である。図１５において、補装具装着部形状取得システム１Ｃは、補装具装着部形状取得装置１０Ｃと、計測用衣類２とを含んでいる。
補装具装着部形状取得装置１０Ｃは、制御部１１、カメラパラメータ推定部１２、マッチング処理部１３、スケール設定部１４、３次元形状生成部１５、記憶部１６、プレビュー確認処理部１７及び点群合成部１８の各々を備えている。図１５においては、第３の実施形態と同様の構成に対しては同一の符号を付してある。以下、第３の実施形態と異なる構成及び動作について説明する。
以下、本発明の第４の実施形態による補装具装着部形状取得システムの実施形態について図面を用いて説明する。図１５は、本発明の一実施形態である補装具装着部形状取得システムの構成例を示すブロック図である。図１５において、補装具装着部形状取得システム１Ｃは、補装具装着部形状取得装置１０Ｃと、計測用衣類２とを含んでいる。
補装具装着部形状取得装置１０Ｃは、制御部１１、カメラパラメータ推定部１２、マッチング処理部１３、スケール設定部１４、３次元形状生成部１５、記憶部１６、プレビュー確認処理部１７及び点群合成部１８の各々を備えている。図１５においては、第３の実施形態と同様の構成に対しては同一の符号を付してある。以下、第３の実施形態と異なる構成及び動作について説明する。
補装具装着部形状取得装置１０Ｃは、第３の実施形態の補装具装着部形状取得装置１０に対してプレビュー確認処理部１７が付加されている。
プレビュー確認処理部１７は、すでに第２の実施形態で述べたように、陽性モデルとしての３次元形状を作成するための撮像画像が得られているか否かの確認処理を行なう。本実施形態においては、スケールの設定ができないと陽性モデルが完成されないため、スケール設定用マーカ２Ａに対応する画像が撮像画像に含まれているか否かを確認する。また、分割点群を合成するための位置合わせに必要なため、位置合わせ用マーカ２Ｂが撮像画像に含まれているか否かの確認も行なう。
図１６は、第４の実施形態におけるプレビュー用３次元形状を用いた撮像画像の確認処理の動作例を示すフローチャートである。
プレビュー確認処理部１７は、すでに第２の実施形態で述べたように、陽性モデルとしての３次元形状を作成するための撮像画像が得られているか否かの確認処理を行なう。本実施形態においては、スケールの設定ができないと陽性モデルが完成されないため、スケール設定用マーカ２Ａに対応する画像が撮像画像に含まれているか否かを確認する。また、分割点群を合成するための位置合わせに必要なため、位置合わせ用マーカ２Ｂが撮像画像に含まれているか否かの確認も行なう。
図１６は、第４の実施形態におけるプレビュー用３次元形状を用いた撮像画像の確認処理の動作例を示すフローチャートである。
ステップＳ６０１：
プレビュー確認処理部１７は、制御部１１に対して記憶部１６に記憶されている第１撮像画像群及び第２撮像画像群の各々における撮像画像の解像度の低減を指示する。これにより、制御部１１は、記憶部１６から第１撮像画像群及び第２撮像画像群の各々における撮像画像を読み出し、例えば、４×４の１６個の画素の平均値を取得して、各撮像画像の解像度を１／１６に低減して低解像度画像を生成する。
そして、制御部１１は、プレビュー用３次元形状の作成に用いるため、生成した低解像度画像を、第１撮像画像群及び第２撮像画像群の各々に対応させて、低解像度画像を生成した撮像画像を読み出す際の時系列の順番に対応させて記憶部１６に対してぞれぞれ書き込んで記憶させる。
プレビュー確認処理部１７は、制御部１１に対して記憶部１６に記憶されている第１撮像画像群及び第２撮像画像群の各々における撮像画像の解像度の低減を指示する。これにより、制御部１１は、記憶部１６から第１撮像画像群及び第２撮像画像群の各々における撮像画像を読み出し、例えば、４×４の１６個の画素の平均値を取得して、各撮像画像の解像度を１／１６に低減して低解像度画像を生成する。
そして、制御部１１は、プレビュー用３次元形状の作成に用いるため、生成した低解像度画像を、第１撮像画像群及び第２撮像画像群の各々に対応させて、低解像度画像を生成した撮像画像を読み出す際の時系列の順番に対応させて記憶部１６に対してぞれぞれ書き込んで記憶させる。
ステップＳ６０２：
プレビュー確認処理部１７は、カメラパラメータ推定部１２に対して、低解像度画像を用いて、撮像装置３のカメラパラメータと、低解像度画像の各々の撮像位置及び撮像方向との推定を指示する。
カメラパラメータ推定部１２は、記憶部１６から第１撮像画像群及び第２撮像画像群毎に、低解像度画像を時系列の順番に読み出す。そして、カメラパラメータ推定部１２は、第３の実施形態の場合と同様に、第１撮像画像群及び第２撮像画像群度毎に、撮像装置３のカメラパラメータと、低解像度画像の各々の撮像位置及び撮像方向をＳＦＭの手法により推定する。
プレビュー確認処理部１７は、カメラパラメータ推定部１２に対して、低解像度画像を用いて、撮像装置３のカメラパラメータと、低解像度画像の各々の撮像位置及び撮像方向との推定を指示する。
カメラパラメータ推定部１２は、記憶部１６から第１撮像画像群及び第２撮像画像群毎に、低解像度画像を時系列の順番に読み出す。そして、カメラパラメータ推定部１２は、第３の実施形態の場合と同様に、第１撮像画像群及び第２撮像画像群度毎に、撮像装置３のカメラパラメータと、低解像度画像の各々の撮像位置及び撮像方向をＳＦＭの手法により推定する。
ステップＳ６０３：
プレビュー確認処理部１７は、マッチング処理部１３に対して、制御部１１が生成した低解像度画像を用いた、プレビュー用３次元形状を示す点群の生成を指示する。
マッチング処理部１３は、第１撮像画像群及び第２撮像画像群の各々に対し、低解像度画像間における各画素のテンプレートマッチングを行なうことにより、装着部のプレビュー用３次元形状を示す点群として、プレビュー第１分割点群及びプレビュー第２分割点群の各々を生成する。
プレビュー確認処理部１７は、マッチング処理部１３に対して、制御部１１が生成した低解像度画像を用いた、プレビュー用３次元形状を示す点群の生成を指示する。
マッチング処理部１３は、第１撮像画像群及び第２撮像画像群の各々に対し、低解像度画像間における各画素のテンプレートマッチングを行なうことにより、装着部のプレビュー用３次元形状を示す点群として、プレビュー第１分割点群及びプレビュー第２分割点群の各々を生成する。
ステップＳ６０４：
プレビュー確認処理部１７は、３次元形状生成部１５に対して、点群合成部１８が生成したプレビュー第１分割点群及びプレビュー第２分割点群の各々をレンダリングすることで、プレビュー用３次元形状の画像の生成を指示する。
プレビュー確認処理部１７は、３次元形状生成部１５に対して、点群合成部１８が生成したプレビュー第１分割点群及びプレビュー第２分割点群の各々をレンダリングすることで、プレビュー用３次元形状の画像の生成を指示する。
ステップＳ６０５：
そして、プレビュー確認処理部１７は、撮像装置３の表示画面に対し、３次元形状生成部１５が生成したプレビュー用３次元形状の画像を表示する。
計測者は、撮像装置３の表示画面において、３次元空間におけるプレビュー用３次元形状の観察位置を変えつつ、プレビュー用３次元形状の画像を観察する。
そして、計測者は、プレビュー３次元形状が、装着部に着用させた計測用衣類２の全体が含まれた十分な形状か否か、すなわち、撮像画像の各々が装着部の３次元形状（陽性モデル）を生成するために十分な撮像範囲を撮像した画像か否かの判定を行なう。
このとき、計測者は、プレビュー３次元形状が計測用衣類２の全体を含む十分な形状である場合、処理をステップＳ６０６へ進める。一方、計測者は、プレビュー３次元形状が計測用衣類２の全体を含む十分な形状でない場合、処理をステップＳ６０７へ進める。
そして、プレビュー確認処理部１７は、撮像装置３の表示画面に対し、３次元形状生成部１５が生成したプレビュー用３次元形状の画像を表示する。
計測者は、撮像装置３の表示画面において、３次元空間におけるプレビュー用３次元形状の観察位置を変えつつ、プレビュー用３次元形状の画像を観察する。
そして、計測者は、プレビュー３次元形状が、装着部に着用させた計測用衣類２の全体が含まれた十分な形状か否か、すなわち、撮像画像の各々が装着部の３次元形状（陽性モデル）を生成するために十分な撮像範囲を撮像した画像か否かの判定を行なう。
このとき、計測者は、プレビュー３次元形状が計測用衣類２の全体を含む十分な形状である場合、処理をステップＳ６０６へ進める。一方、計測者は、プレビュー３次元形状が計測用衣類２の全体を含む十分な形状でない場合、処理をステップＳ６０７へ進める。
ステップＳ６０６：
計測者は、第３の実施形態における図１３に示すフローチャートにおける装着部の３次元形状の生成の処理を、補装具装着部形状取得システム１Ｃに対して実行させる。この３次元形状を生成する説明はすでに第３の実施形態で行なっているため、再度の説明を省略する。
計測者は、第３の実施形態における図１３に示すフローチャートにおける装着部の３次元形状の生成の処理を、補装具装着部形状取得システム１Ｃに対して実行させる。この３次元形状を生成する説明はすでに第３の実施形態で行なっているため、再度の説明を省略する。
ステップＳ６０７：
計測者は、第１の実施形態における図１１に示すフローチャートにおける補装具の装着部の撮像画像を撮像する処理を再度行なう。この装着部の撮像画像を撮像する処理の説明はすでに第３の実施形態で行なっているため、再度の説明を省略する。
計測者は、第１の実施形態における図１１に示すフローチャートにおける補装具の装着部の撮像画像を撮像する処理を再度行なう。この装着部の撮像画像を撮像する処理の説明はすでに第３の実施形態で行なっているため、再度の説明を省略する。
上述した構成により、本実施形態によれば、解像度を低減させた低解像度画像から生成したプレビュー３次元形状により、撮像画像の各々が装着部の３次元形状（陽性モデル）を生成するために十分な撮像範囲を撮像した画像か否かを判定する。このため、処理が重い陽性モデルを生成してから、陽性モデルが装着部全体の形状に対応しているか否かを判定する必要が無く、最適な装着部の陽性モデルの生成までの時間を短縮することができる。
また、本実施形態においては、第２の実施形態と同様に、制御部１１が撮像画像から低解像度画像を生成していたが、撮像装置３にインストールしているアプリケーションが低解像度画像生成部として機能する構成としてもよい。この構成の場合、制御部１１から撮像画像を低解像度で送信する制御信号が供給された場合、上記低解像度画像生成部が撮像画像から低解像度画像を生成し、制御部１１に対して供給する。これにより、本実施形態におけるプレビュー３次元形状のための撮像画像を、撮像装置３から制御部１１へ転送する転送速度を向上させ、転送にかかる時間を低減することができる。
＜第５の実施形態＞
以下、本発明の第５の実施形態による補装具装着部形状取得システムの実施形態について図面を用いて説明する。点群から３次元形状を生成する構成としては、第１の実施形態から第４の実施形態のいずれの構成を用いても良い。本実施形態においては、装着部が腰であり、装着する補装具がコルセットである。この場合、ＡＳＩＳ（上前腸骨棘）の位置を明確にしないと、コルセットが腰にフィットせずに、コルセットによりＡＳＩＳの凸部が擦れ、患者の負荷となってしまう。
そのため、装着部に着用させた計測用衣類におけるＡＳＩＳの位置に対応した部分に、位置検出用マーカ２Ｃを付加する。この位置検出用マーカ２Ｃは、スケール設定用マーカ２Ａ及び位置合わせ用マーカ２Ｂと同様に、計測用衣類２に付加される点群から容易に抽出できるように、計測用衣類２の模様に用いている色に対して補色となる色を用いて、視認し易く作成されている。
以下、本発明の第５の実施形態による補装具装着部形状取得システムの実施形態について図面を用いて説明する。点群から３次元形状を生成する構成としては、第１の実施形態から第４の実施形態のいずれの構成を用いても良い。本実施形態においては、装着部が腰であり、装着する補装具がコルセットである。この場合、ＡＳＩＳ（上前腸骨棘）の位置を明確にしないと、コルセットが腰にフィットせずに、コルセットによりＡＳＩＳの凸部が擦れ、患者の負荷となってしまう。
そのため、装着部に着用させた計測用衣類におけるＡＳＩＳの位置に対応した部分に、位置検出用マーカ２Ｃを付加する。この位置検出用マーカ２Ｃは、スケール設定用マーカ２Ａ及び位置合わせ用マーカ２Ｂと同様に、計測用衣類２に付加される点群から容易に抽出できるように、計測用衣類２の模様に用いている色に対して補色となる色を用いて、視認し易く作成されている。
図１７は、計測用衣類２に付加するＡＳＩＳの位置を示す位置検出用マーカ２Ｃの説明である。図１７（ａ）に示すように、装着部２５０に対して着用させた計測用衣類２に対して、スケール設定用マーカ２Ａ及び位置合わせ用マーカ２Ｂとともに、位置検出用マーカ２Ｃを付加する。この位置検出用マーカ２Ｃの付加は、計測者が患者の腰を触診して、計測用衣類２におけるＡＳＩＳに対応する位置を確認し、この位置に対して位置検出用マーカ２Ｃを貼着などにより付加する。
図１７（ｂ）は、図１７（ａ）に示す装着部２５０に着用させた計測用衣類２を撮像した撮像画像から生成した３次元形状８２０を示している。３次元形状８２０は、ＳＴＬ（standard triangulated language）形式などの色の表示できないデータ形式により構成されている。このため、３次元形状８２０は、グレースケールで示されており、スケール設定用マーカ２Ａに対応した領域８５０及び位置検出用マーカ２Ｃに対応した領域８６０の各々が確認し難い表示となっている。スケール設定用マーカ２Ａについては、すでにスケールの推定及び設定が行なわれているため、明確化する必要はない。ＳＴＬ形式は、３Ｄ（３次元）プリンタに対してデータを供給する際に用いられる。このため、３Ｄプリンタにより補装具を作成するためには、特にＡＳＩＳの位置を明確にする必要がある。
しかしながら、位置検出用マーカ２Ｃについては、陽性モデルとしてＡＳＩＳの位置が不明では、患者に対応したコルセットが生成できないため、ＳＴＬ形式などの色の表示できないデータ形式においても、ＡＳＩＳの位置を明確とする必要がある。
しかしながら、位置検出用マーカ２Ｃについては、陽性モデルとしてＡＳＩＳの位置が不明では、患者に対応したコルセットが生成できないため、ＳＴＬ形式などの色の表示できないデータ形式においても、ＡＳＩＳの位置を明確とする必要がある。
図１７（ｃ）は、補装具装着部形状取得システム５が、３次元形状８２０における領域８６０に対し、半球体８７０（球体）を付加し、ＳＴＬ形式においても、ＡＳＩＳの位置を明確とすることができる。
このとき、マッチング処理部１３は、撮像画像の各々において位置検出用マーカ２Ｃに対応する画素を検出し、この画素をマッチング処理する際に、点群における座標値を位置マーカ座標として記憶部１６に対して書き込んで記憶させる。
３次元形状生成部１５は、点群から３次元形状８２０を生成する際、点群のデータとともに、上記位置マーカ座標を読み出す。そして、３次元形状生成部１５は、３次元形状８２０を生成するとき、位置マーカ座標の示す座標値に、ＡＳＩＳの位置を示す半球体８７０を付加し、３次元形状８２０（陽性モデル）とする。
このとき、マッチング処理部１３は、撮像画像の各々において位置検出用マーカ２Ｃに対応する画素を検出し、この画素をマッチング処理する際に、点群における座標値を位置マーカ座標として記憶部１６に対して書き込んで記憶させる。
３次元形状生成部１５は、点群から３次元形状８２０を生成する際、点群のデータとともに、上記位置マーカ座標を読み出す。そして、３次元形状生成部１５は、３次元形状８２０を生成するとき、位置マーカ座標の示す座標値に、ＡＳＩＳの位置を示す半球体８７０を付加し、３次元形状８２０（陽性モデル）とする。
本実施形態によれば、ＡＳＩＳの位置を示す半球体８７０が付加された３次元形状が得られるため、陽性モデルとしてＡＳＩＳの位置が明確となり、患者の各々に対応したＡＳＩＳの位置に基づくコルセットの作成が可能となり、コルセットによりＡＳＩＳが擦れるという負荷を患者に与えることを低減することができる。
なお、本発明における図１の補装具装着部形状取得装置１０、図６補装具装着部形状取得装置１０Ａ、図８の補装具装着部形状取得装置１０Ｂ及び図１５の補装具装着部形状取得装置１０Ｃ各々の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより患者の補装具の装着部の３次元形状を取得する処理を行ってもよい。なお、こでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
ここまで、本発明の実施形態について説明したが、上記実施形態はあくまで一例であり、本発明は上述した実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。
また、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせを含む。
また、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせを含む。
１，１Ａ，１Ｂ，１Ｃ…補装具装着部形状取得システム
２…計測用衣類
２Ａ，２Ａ＿１，２Ａ＿２…スケール設定用マーカ
２Ｂ…位置合わせ用マーカ
２Ｃ…位置検出用マーカ
３…撮像装置
１０、１０Ａ，１０Ｂ，１０Ｃ…補装具装着部形状取得装置
１１…制御部
１２…カメラパラメータ推定部
１３…マッチング処理部
１４…スケール設定部
１５…３次元形状生成部
１６…記憶部
１７…プレビュー確認処理部
１８…点群合成部
２００…患者
２５０…装着部
４００…円
４５１，４５２…円弧
５００…軸線
８００…障害物
８２０…３次元形状
８５０，８６０…領域
８７０…半球体
２…計測用衣類
２Ａ，２Ａ＿１，２Ａ＿２…スケール設定用マーカ
２Ｂ…位置合わせ用マーカ
２Ｃ…位置検出用マーカ
３…撮像装置
１０、１０Ａ，１０Ｂ，１０Ｃ…補装具装着部形状取得装置
１１…制御部
１２…カメラパラメータ推定部
１３…マッチング処理部
１４…スケール設定部
１５…３次元形状生成部
１６…記憶部
１７…プレビュー確認処理部
１８…点群合成部
２００…患者
２５０…装着部
４００…円
４５１，４５２…円弧
５００…軸線
８００…障害物
８２０…３次元形状
８５０，８６０…領域
８７０…半球体
Claims (9)
- 補装具を装着する身体の装着部の範囲を覆い、不規則な模様が表面に設けられた前記装着部に密着して当該装着部の形状を反映する計測用衣類を装着する装着過程と、
計測用衣類の外周面に沿う、前記装着部を中心とした円弧上における異なる位置の各々で、撮像方向から視認される前記計測用衣類の全体が含まれる撮像画像を、単眼の撮像装置により複数枚撮像する撮像過程と、
前記模様を用いて、複数の前記撮像画像間の対応する画素のマッチングを行なうことで前記装着部の３次元形状を生成する生成過程と
を含み、
前記撮像過程において、
前記円弧が含まれる、前記装着部を中心とした円周において、前記装着部と前記撮像装置との間に障害物が存在する場合、前記障害物が撮像画像に含まれる円弧の範囲での撮像を行なわず、前記障害物が撮像画像に含まれない円弧の範囲での撮像を行ない、
前記生成過程において、
一定の撮像間隔で連続して撮像された円弧毎の撮像画像からそれぞれ分割３次元形状を生成し、分割３次元形状を合成して前記３次元形状を生成する
ことを特徴とする補装具装着部形状取得方法。 - 補装具を装着する身体の装着部の範囲を覆い、同一の繰り返しがない不規則な模様と凹凸とが表面全体に設けられ、前記装着部に密着して当該装着部の形状を反映する計測用衣類を装着する装着過程と、
計測用衣類の外周面に沿う、前記装着部を中心とした円弧上における異なる位置の各々で、撮像方向から視認される前記計測用衣類の全体が含まれる撮像画像を、単眼の撮像装置により複数枚撮像する撮像過程と、
前記模様と凹凸とを用いて、複数の前記撮像画像間の対応する画素のマッチングを行なうことで前記装着部の３次元形状を生成する生成過程と
を含むことを特徴とする補装具装着部形状取得方法。 - 補装具を装着する身体の装着部の範囲を覆い、同一の繰り返しがない不規則な模様が表面全体に設けられ、前記装着部に密着して当該装着部の形状を反映する計測用衣類を装着する装着過程と、
計測用衣類の外周面に沿う、前記装着部を中心とした円弧上における異なる位置の各々で、撮像方向から視認される前記計測用衣類の全体が含まれる撮像画像を、単眼の撮像装置により複数枚撮像する撮像過程と、
前記撮像画像の解像度を低減させて、低解像度画像を生成する低解像度化過程と、
前記低解像度画像間における画素の各々のマッチングにより、前記装着部のプレビュー用３次元形状を生成するプレビュー用３次元形状生成過程と、
前記プレビュー用３次元形状を表示して、前記装着部の３次元形状を生成するために前記計測用衣類の全体の範囲が撮像されているか否かの判定を行う撮像判定過程と、
前記計測用衣類の全体の範囲が撮像されていると判定された場合、前記模様を用いて、複数の前記撮像画像間の対応する画素のマッチングを行なうことで前記装着部の３次元形状を生成する生成過程と
を含むことを特徴とする補装具装着部形状取得方法。 - 前記撮像過程において、
前記円弧が含まれる、前記装着部を中心とした円周において、前記装着部と前記撮像装置との間に障害物が存在する場合、前記障害物が撮像画像に含まれる円弧の範囲での撮像を行なわず、前記障害物が撮像画像に含まれない円弧の範囲での撮像を行ない、
前記生成過程において、
一定の撮像間隔で連続して撮像された円弧毎の撮像画像からそれぞれ分割３次元形状を生成し、分割３次元形状を合成して前記３次元形状を生成する
ことを特徴とする請求項２または請求項３に記載の補装具装着部形状取得方法。 - 前記撮像過程において、
前記障害物が撮像画像に含まれない円弧の範囲での撮像した際、それぞれの円弧上で撮像した撮像画像から生成した分割３次元形状の各々が重なる領域に対応する、前記計測用衣類の位置に対して位置合わせのための位置合わせ用マーカを設け、
前記生成過程において、
前記分割３次元形状の各々における前記位置合わせ用マーカを用いて、前記分割３次元形状それぞれを合成して前記３次元形状を生成する
ことを特徴とする請求項１または請求項４に記載の補装具装着部形状取得方法。 - 前記撮像過程において、前記撮像画像の各々の撮像間隔を一定として撮像する
ことを特徴とする請求項１から請求項５のいずれか一項に記載の補装具装着部形状取得方法。 - 前記計測用衣類に対してスケール推定用のマーカを設け、当該マーカにより前記３次元形状の寸法を前記装着部の寸法に一致させるスケール過程をさらに含む
ことを特徴とする請求項１から請求項６のいずれか一項に記載の補装具装着部形状取得方法。 - 前記撮像画像の解像度を低減させ、前記３次元形状を確認するプレビュー表示を行なう過程をさらに含む
ことを特徴とする請求項１から請求項７のいずれか一項に記載の補装具装着部形状取得方法。 - 補装具を装着する身体の装着部の範囲を覆い、不規則な模様が表面に設けられた前記装着部に密着して当該装着部の形状を反映する計測用衣類を装着した前記装着部の外周面に沿う、当該装着部を中心とした円弧上における異なる位置の各々で撮像された、撮像方向から視認される前記計測用衣類の全体が含まれる撮像画像において、単眼の撮像装置により撮像した複数枚の撮像画像間の対応する画素のマッチングを前記模様を用いて、前記装着部の形状を示す３次元空間における点群を生成するマッチング処理部と、
前記マッチング処理部がマッチングにより生成した点群をポリゴンメッシュに変換し、前記装着部の３次元形状を生成する３次元形状生成部と
を備え、
前記円弧が含まれる、前記装着部を中心とした円周において、前記装着部と前記撮像装置との間に障害物が存在する場合、前記障害物が撮像した画像に含まれる円弧の範囲で前記撮像画像が撮像されず、前記障害物が撮像した画像に含まれない円弧の範囲において前記撮像画像が撮像されており、
前記３次元形状生成部が、
一定の撮像間隔で連続して撮像された円弧毎の撮像画像からそれぞれ分割３次元形状を生成し、分割３次元形状を合成して前記３次元形状を生成する
ことを特徴とする補装具装着部形状取得システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016196299A JP6897048B2 (ja) | 2016-10-04 | 2016-10-04 | 補装具装着部形状取得方法及び補装具装着部形状取得システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016196299A JP6897048B2 (ja) | 2016-10-04 | 2016-10-04 | 補装具装着部形状取得方法及び補装具装着部形状取得システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018057532A JP2018057532A (ja) | 2018-04-12 |
| JP6897048B2 true JP6897048B2 (ja) | 2021-06-30 |
Family
ID=61907933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016196299A Active JP6897048B2 (ja) | 2016-10-04 | 2016-10-04 | 補装具装着部形状取得方法及び補装具装着部形状取得システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6897048B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7140965B2 (ja) * | 2018-05-29 | 2022-09-22 | 富士通株式会社 | 画像処理プログラム、画像処理方法および画像処理装置 |
| JP2019220099A (ja) * | 2018-06-22 | 2019-12-26 | 凸版印刷株式会社 | ステレオマッチング処理装置、ステレオマッチング処理方法、及びプログラム |
| JP7334516B2 (ja) | 2019-07-16 | 2023-08-29 | 凸版印刷株式会社 | 三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003269936A (ja) * | 2002-03-19 | 2003-09-25 | Sanyo Electric Co Ltd | 自動採寸方法 |
| DE102004007455A1 (de) * | 2004-02-13 | 2005-09-01 | Corpus.E Ag | Optische Erfassung der Raumform von Körpern und Körperteilen mit teilweise nicht einsehbaren Partien |
| EP3534279B1 (en) * | 2008-11-09 | 2022-07-20 | 3D Systems, Incorporated | Custom braces, casts and devices and methods for designing and fabricating |
| WO2011163410A1 (en) * | 2010-06-22 | 2011-12-29 | Bespoke Innovations, Inc. | Custom braces, casts and devices having fenestrations, limited flexibility and modular construction and methods for designing and fabricating |
| JP3205002U (ja) * | 2016-04-15 | 2016-06-30 | 鈴木 誠 | 骨壺及び骨壺製造システム |
-
2016
- 2016-10-04 JP JP2016196299A patent/JP6897048B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018057532A (ja) | 2018-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200357186A1 (en) | Kiosk for viewing of dental treatment outcomes | |
| JP5632100B2 (ja) | 表情出力装置及び表情出力方法 | |
| JP6897048B2 (ja) | 補装具装着部形状取得方法及び補装具装着部形状取得システム | |
| KR101726013B1 (ko) | 의족 또는 보조기용 교체 가능한 페어링 | |
| JP6302132B2 (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
| JP4401727B2 (ja) | 画像表示装置及び方法 | |
| JPWO2023119557A5 (ja) | ||
| JP5835383B2 (ja) | 情報処理方法、情報処理装置、およびプログラム | |
| US20170109934A1 (en) | Augmented reality providing system and method, information processing device, and program | |
| CN106214302B (zh) | 一种脊柱侧弯矫形支具的制备方法 | |
| KR101315032B1 (ko) | 임플란트 영상 생성방법 및 임플란트 영상 생성 시스템 | |
| JP6373026B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
| AU2016290620A1 (en) | System and method for scanning anatomical structures and for displaying a scanning result | |
| RU2018136770A (ru) | Системы и способы сканирования черт лица | |
| EP3689218B1 (en) | Method and system for guiding an intra-oral scan | |
| JP2015011480A (ja) | 画像生成装置、画像生成方法及びプログラム | |
| JP2006004158A (ja) | 画像処理プログラム、画像処理方法、画像処理装置及び記録媒体 | |
| KR20220062461A (ko) | 객체 동작 기반의 애니메이션을 생성하는 장치 및 방법 | |
| JP2016052114A (ja) | 画像処理システム、画像処理方法、及び、プログラム | |
| JP2006215743A (ja) | 画像処理装置及び画像処理方法 | |
| JP7262973B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN113143185B (zh) | 一种胃镜系统、图像展示方法、装置及可读存储介质 | |
| KR101635188B1 (ko) | 태아 조형물 프린팅 서비스 시스템 및 방법 | |
| JP2017221329A (ja) | ２次元画像を用いて生体の下顎開閉軸とバーチャル咬合器の開閉軸を一致させる方法 | |
| JP6547807B2 (ja) | 画像生成装置、画像生成方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20161005 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181102 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190919 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200626 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200721 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200915 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200929 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201125 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210511 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210524 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6897048 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |