JP6531273B1 - 寸法データ算出装置、プログラム、方法、製品製造装置、及び製品製造システム - Google Patents

寸法データ算出装置、プログラム、方法、製品製造装置、及び製品製造システム Download PDF

Info

Publication number
JP6531273B1
JP6531273B1 JP2018224376A JP2018224376A JP6531273B1 JP 6531273 B1 JP6531273 B1 JP 6531273B1 JP 2018224376 A JP2018224376 A JP 2018224376A JP 2018224376 A JP2018224376 A JP 2018224376A JP 6531273 B1 JP6531273 B1 JP 6531273B1
Authority
JP
Japan
Prior art keywords
data
dimension
shape
unit
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018224376A
Other languages
English (en)
Other versions
JP2020085805A (ja
Inventor
佐藤大輔
有田親史
石橋佳久
八登浩紀
田嶋亮介
大田佳宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arithmer Inc
Original Assignee
Arithmer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arithmer Inc filed Critical Arithmer Inc
Priority to JP2018224376A priority Critical patent/JP6531273B1/ja
Application granted granted Critical
Publication of JP6531273B1 publication Critical patent/JP6531273B1/ja
Priority to PCT/JP2019/046896 priority patent/WO2020111269A1/ja
Publication of JP2020085805A publication Critical patent/JP2020085805A/ja
Priority to US17/333,008 priority patent/US11922649B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】対象物の各部分の高精度な寸法データを提供する。【解決手段】寸法データ算出装置20は、取得部24Aと、抽出部24Bと、変換部24Cと、算出部24Dとを備える。取得部24Aは、対象物が撮影された画像データ及び対象物の全長データを取得する。抽出部24Bは、画像データから対象物の形状を示す形状データを抽出する。変換部24Cは、形状データを全長データに基づいて変換し、シルエット化する。算出部24Dは、変換部24Cにより変換された形状データを用いて、対象物の各部分の寸法データを算出する。【選択図】 図4

Description

本開示は、寸法データ算出装置、プログラム、方法、製品製造装置、及び製品製造システムに関する。
従来、対象物の形状に基づいて製品を製造する装置が検討されている。例えば、特許文献1(特開2017−018158号公報)には、指の爪を撮影して爪画像を得、取得された爪画像に基づいて、爪の形状、爪の位置、爪の曲率等の付け爪作成に必要な爪情報を得、これを記憶し、この爪情報に基づいて付け爪パーツを作成する技術が開示されている。
しかしながら、従来技術では、対象物における多数の形状を高精度に算出することが困難であった。
第1観点の寸法データ算出装置は、取得部と、抽出部と、変換部と、算出部とを備える。取得部は、対象物が撮影された画像データ及び対象物の全長データを取得する。抽出部は、画像データから対象物の形状を示す形状データを抽出する。変換部は、形状データを全長データに基づいて変換し、シルエット化する。算出部は、変換部により変換された形状データを用いて、対象物の各部分の寸法データを算出する。このような構成により、寸法データ算出装置は、対象物の各部分の高精度な寸法データを提供できる。
第2観点の寸法データ算出装置は、第1観点の寸法データ算出装置であって、取得部が、対象物を異なる方向から撮影した複数の画像データを取得する。このような構成により、寸法データの精度を高めることができる。
第3観点の寸法データ算出装置は、第1観点または第2観点の寸法データ算出装置であって、算出部が、変換部により変換された形状データを次元削減する。そして、算出部は、削減した各次元の値と対象物の部分ごとに最適化された重み係数とを用いて、対象物の各部分の寸法データを算出する。このような構成により、計算負荷を抑えつつ、寸法データの精度を高めることができる。
第4観点の寸法データ算出装置は、第1観点から第3観点の寸法データ算出装置であって、算出部が、変換部により変換された形状データに対して1回目の次元削減を行う。そして、算出部は、1回目の次元削減で得られた各次元の値と対象物の部分ごとに最適化された重み係数とを線形結合して所定値を求めるか、又は、1回目の次元削減で得られた各次元の値から2次の特徴量を生成し、当該2次の特徴量と前記対象物の部分ごとに最適化された重み係数とを結合して所定値を求める。また、算出部は、前記所定値と、対象物の長さ及び重さの属性を少なくとも含む属性データとを用いて2回目の次元削減を行う。そして、算出部は、2回目の次元削減で得られた各次元の値に基づいて、対象物の各部分の寸法データを算出する。このような構成により、計算負荷を抑えつつ、寸法データの精度をさらに高めることができる。
第5観点の寸法データ算出装置は、第1観点から第4観点の寸法データ算出装置であって、抽出部が、対象物の種類毎に準備された教師データを用いて構築されたセマンティックセグメンテーションのアルゴリズムを用いて、画像データに含まれる対象物領域を抽出することにより、対象物の形状データを抽出する。このような構成により、寸法データの精度を高めることができる。
第6観点の寸法データ算出装置は、第5観点の寸法データ算出装置であって、抽出部が、対象物領域からグラブカットアルゴリズムにより対象物の形状データを抽出する。このような構成により、寸法データの精度をさらに高めることができる。
第7観点の寸法データ算出装置は、第6観点の寸法データ算出装置であって、抽出部が、グラブカットアルゴリズムにより抽出された対象物の画像を、画像データにおける特定部分の色画像に基づいて補正して、新たな形状データを生成する。このような構成により、寸法データの精度をさらに高めることができる。
第8観点の寸法データ算出装置は、第1観点から第7観点の寸法データ算出装置であって、対象物が人である。このような装置により、人の身体の各部分の高精度な寸法データを提供できる。
第9観点の製品製造装置は、第1観点から第8観点の寸法データ算出装置を用いて算出した寸法データを用いて、対象物の形状に関連する製品を製造する。これにより、対象物に最適な形状の製品を提供できる。
第10観点の寸法データ算出プログラムは、コンピュータを、取得部、抽出部、変換部、算出部、として機能させる。取得部は、対象物が撮影された画像データ及び対象物の全長データを取得する。抽出部は、画像データから対象物の形状を示す形状データを抽出する。変換部は、形状データを全長データに基づいて変換し、シルエット化する。算出部は、変換部により変換された形状データを用いて、対象物の各部分の寸法データを算出する。このような構成により、対象物の各部分の寸法データを高精度に算出するプログラムを提供できる。
第11観点の寸法データ算出方法は、対象物が撮影された画像データ及び対象物の全長データを取得する。次に、画像データから対象物の形状を示す形状データを抽出する。次に、形状データを全長データに基づいて変換する。そして、変換された形状データを用いて、対象物の各部分の寸法データを算出する。このような方法により、対象物の各部分の高精度な寸法データを提供できる。
第12観点の製品製造システムは、取得部と、抽出部と、変換部と、算出部と、製品製造装置とを備える。取得部は、対象物の画像を複数枚撮影する撮影装置から、前記対象物の画像データを当該対象物の全長データとともに取得する。抽出部は、画像データから対象物の形状を示す形状データを抽出する。変換部は、形状データを全長データに基づいて変換する。算出部は、変換部により変換された形状データを用いて、対象物の各部分の寸法データを算出する。製品製造装置は、算出部により算出された寸法データを用いて、対象物の形状に関連する製品を製造する。このような構成により、ユーザに最適な形状の製品を提供できる。
第13観点の寸法データ算出装置は、取得部及び算出部を備える。取得部は、対象物の全長データと重量データと経時データとのうちの少なくともいずれかを含む属性データを取得する。算出部は、属性データを用いて、対象物の各部分の寸法データを算出する。これらの属性データを用いることにより、寸法データ算出装置は、対象物の各部分の高精度な寸法データを提供できる。
第14観点の寸法データ算出装置は、第13観点の寸法データ算出装置であって、算出部が、属性データを、機械学習された係数を用いて二次回帰することにより、対象物の各部分の寸法データを算出する。このような構成により、寸法データの精度をさらに高めることができる。
第15観点の寸法データ算出装置は、第13観点又は第14観点の寸法データ算出装置であって、対象物は人である。このような装置により、人の身体の各部分の高精度な寸法データを提供できる。
第16観点の寸法データ算出プログラムは、コンピュータを、取得部及び算出部として機能させる。取得部は、対象物の全長データと重量データと経時データとのうちの少なくともいずれかを含む属性データを取得する。算出部は、属性データを用いて、対象物の各部分の寸法データを算出する。このような構成により、対象物の各部分の寸法データを高精度に算出するプログラムを提供できる。
第17観点の寸法データ算出方法は、対象物の全長データと重量データと経時データとのうちの少なくともいずれかを含む属性データを取得する。そして、この方法では、属性データを用いて、対象物の各部分の寸法データを算出する。このような方法により、対象物の各部分の高精度な寸法データを提供できる。
第1実施形態に係る寸法データ算出装置20の構成を示す模式図である。 同実施形態に係る寸法データ算出装置20の動作を説明するためのフローチャートである。 同実施形態に係る形状データの概念を示す模式図である。 同実施形態に係る製品製造システム1の概念を示す模式図である。 同実施形態に係る製品製造システム1の動作を説明するためのシーケンス図である。 同実施形態に係る端末装置10に表示される画面の一例を示す模式図である。 同実施形態に係る端末装置10に表示される画面の一例を示す模式図である。 第2実施形態に係る寸法データ算出装置120の構成を示す模式図である。 同実施形態に係る二次回帰で用いるデータの概念を示す模式図である。 同実施形態に係る製品製造システム1Sの概念を示す模式図である。
<第1実施形態>
(1−1)寸法データ算出装置の構成
図1は本実施形態に係る寸法データ算出装置20の構成を示す模式図である。
寸法データ算出装置20は任意のコンピュータにより実現することができ、記憶部21、入出力部22、通信部23、及び処理部24を備える。なお、寸法データ算出装置20は、LSI(Large Scale Integration),ASIC(Application Specific Integrated Circuit),FPGA(Field-Programmable Gate Array)などを用いてハードウェアとして実現されるものでもよい。
記憶部21は、各種情報を記憶するものであり、メモリ及びハードディスク等の任意の記憶装置により実現される。例えば、記憶部21は、対象物の長さ及び重さ等に関連付けて、後述する情報処理を実行するために必要な重み係数を記憶する。なお、重み係数は、後述する属性データ・画像データ・寸法データからなる教師データから機械学習を実行することであらかじめ取得される。
入出力部22は、キーボード、マウス、タッチパネル等により実現され、コンピュータに各種情報を入力したり、コンピュータから各種情報を出力したりするものである。
通信部23は、任意のネットワークカード等により実現され、有線又は無線によりネットワーク上の通信機器との通信を可能にするものである。
処理部24は、各種情報処理を実行するものであり、CPUやGPUといったプロセッサ及びメモリにより実現される。ここでは、コンピュータのCPU,GPU等に記憶部21に記憶されたプログラムが読み込まれることにより、処理部24が、取得部24A、抽出部24B、変換部24C、及び算出部24Dとして機能する。
取得部24Aは、対象物が撮影された画像データ及び対象物の全長データ・重量データ等を取得する。なお、ここでは、取得部24Aは、対象物を異なる方向から撮影した複数の画像データを取得する。
抽出部24Bは、画像データから対象物の形状を示す形状データを抽出する。具体的には、抽出部24Bは、対象物の種類毎に準備されたセマンティックセグメンテーションのアルゴリズム(Mask R-CNN等)を用いて、画像データに含まれる対象物領域を抽出することにより、対象物の形状データを抽出する。ここでは、セマンティックセグメンテーションのアルゴリズムは、対象物の形状が特定されていない教師データを用いて構築される。
なお、セマンティックセグメンテーションのアルゴリズムが、形状が不特定の対象物の教師データを用いて構築されている場合、必ずしも高精度に対象物の形状を抽出することができないことがある。このような場合、抽出部24Bは、対象物領域からグラブカット(GrabCut)アルゴリズムにより対象物の形状データを抽出する。これにより、高精度に対象物の形状を抽出することが可能になる。さらに、抽出部24Bは、グラブカットアルゴリズムにより特定された対象物の画像を、対象物の特定部分の色画像に基づいて補正するものでもよい。これにより、さらに高精度に対象物の形状データを生成することが可能となる。
変換部24Cは、形状データを全長データに基づいて変換し、シルエット化する。これにより形状データが規格化される。
算出部24Dは、変換部24Cにより変換された形状データを用いて、対象物の各部分の寸法データを算出する。具体的には、算出部24Dは、変換部24Cにより変換された形状データの次元削減を行なう。ここでいう、次元削減は、主成分分析、特にカーネル主成分分析(KernelPCA)、線形判別分析などの手法により実現される。
そして、算出部24Dは、削減した各次元の値と対象物の部分ごとに最適化された重み係数とを用いて、対象物の各部分の寸法データを算出する。
さらに詳しくは、算出部24Dは、1回目に削減した各次元の値と対象物の部分ごとに最適化された重み係数W1piとを線形結合して所定値Zpiを求める。なお、記号pは削減して得られる次元数であり、10以上の値である。そして、算出部24Dは、所定値Zpiと、対象物の長さ及び重さの属性を少なくとも含む属性データとを用いて2回目の次元削減を行い、2回目の次元削減で得られた各次元の値に基づいて、対象物の各部分の寸法データを算出する。なお、重み係数W1piの個数は、対象物の寸法箇所(i個)毎に、削減された次元と同数準備される。
なお、上記説明では、算出部24Dは、線形結合を用いて所定値Zpiを求めていたが、算出部24Dは線形結合以外の手法でこれらの値を求めるものでもよい。具体的には、算出部24Dは、次元削減で得られた各次元の値から2次の特徴量を生成し、当該2次の特徴量と対象物の部分ごとに最適化された重み係数とを結合することで、所定値を求めるようにしてもよい。
(1−2)寸法データ算出装置の動作
図2は本実施形態に係る寸法データ算出装置20の動作を説明するためのフローチャートである。
まず、寸法データ算出装置20は、外部の端末装置等を介して対象物の全体を異なる方向から撮影した複数の画像データを、対象物の全長を示す全長データとともに取得する(S1)。
次に、寸法データ算出装置20は、各画像データから対象物の各部分の形状を示す形状データをそれぞれ抽出する(S2)。
続いて、寸法データ算出装置20は、全長データに基づいて各形状データを所定の大きさに変換するリスケール処理を実行する(S3)。
次に、寸法データ算出装置20は、変換後の複数の形状データを結合して、新たな形状データ(以下、計算用の形状データともいう。)を生成する。具体的には、図3に示すようにh行w列の形状データを結合し、m×h×wのデータ列にする。なお、記号mは形状データの個数である(S4)。
この後、寸法データ算出装置20は、新たに生成された形状データと、対象物の各部分に関して最適化された重み係数W1piとを用いて、対象物における第i番目(i=1〜j)の各部分の寸法データを算出する(S5〜S8)。なお、記号jは寸法データを算出しようとする寸法箇所の総数である。
(1−3)寸法データ算出装置の特徴
(1−3−1)
以上説明したように、本実施形態に係る寸法データ算出装置20は、取得部24Aと、抽出部24Bと、変換部24Cと、算出部24Dとを備える。取得部24Aは、対象物が撮影された画像データ及び対象物の全長データを取得する。抽出部24Bは、画像データから対象物の形状を示す形状データを抽出する。変換部24Cは、形状データを全長データに基づいて変換し、シルエット化する。算出部24Dは、変換部24Cにより変換された形状データを用いて、対象物の各部分の寸法データを算出する。
したがって、寸法データ算出装置20は、画像データと全長データとを用いて対象物の各部分の寸法データを算出するので、高精度な寸法データを提供することができる。また、寸法データ算出装置20では、多数の画像データ及び全長データを一度に情報処理することが可能であるので、多数の寸法データを高精度に提供することができる。
そして、このような寸法データ算出装置20を用いることで、例えば、対象物として生物の各部分の寸法データを高精度に算出することができる。また、対象物として車や各種荷物など任意の物体の各部分の寸法データを高精度に算出することができる。
また、寸法データ算出装置を、各種製品を製造する製品製造装置に組み込むことで、対象物の形状に適合した製品を製造することが可能となる。
(1−3−2)
また、寸法データ算出装置20では、取得部24Aが、対象物を異なる方向から撮影した複数の画像データを取得する。このような構成により、寸法データの精度を高めることができる。
(1−3−3)
また、寸法データ算出装置20では、算出部24Dが、変換部24Cにより変換された形状データの次元削減を行なう。そして、算出部24Dは、削減した各次元の値と対象物の部分ごとに最適化された重み係数W1piとを用いて、対象物の各部分の寸法データを算出する。このような構成により、計算負荷を抑えつつ、寸法データの精度を高めることができる。
詳しくは、算出部24Dは、削減した各次元の値と、対象物の第i番目の部分に最適化された重み係数W1piとを線形結合して所定値Ziを求める。また、算出部24Dは、前記所定値Ziと、対象物の長さ及び重さの属性を少なくとも含む属性データとを用いて2回目の次元削減を実行して、対象物の第i番目の寸法データを算出する。このような構成により、計算負荷を抑えつつ、寸法データの精度をさらに高めることができる。なお、上記説明において、算出部24Dは、線形結合に代えて、次元削減で得られた各次元の値から2次の特徴量を生成し、当該2次の特徴量と対象物の部分ごとに最適化された重み係数とを結合することで、所定値を求めるようにしてもよい。
(1−3−4)
また、寸法データ算出装置20では、抽出部24Bが、対象物の種類毎に準備された教師データを用いて構築されたセマンティックセグメンテーションのアルゴリズムを用いて、画像データに含まれる対象物領域を抽出することにより、対象物の形状データを抽出する。このような構成により、寸法データの精度を高めることができる。
なお、セマンティックセグメンテーションのアルゴリズムは一般的に公開されているものもあるが、一般的に公開されているものは、通常は対象物の形状が特定されていない教師データを用いて構築されている。そのため、目的によっては、画像データに含まれる対象物領域を抽出する精度が必ずしも十分でないことがある。
そこで、このような場合には、抽出部24Bは、対象物領域からグラブカットアルゴリズムにより対象物の形状データを抽出する。このような構成により、寸法データの精度をさらに高めることができる。
さらに、抽出部24Bは、グラブカットアルゴリズムにより抽出された対象物の画像を、画像データにおける特定部分の色画像に基づいて補正して、新たな形状データを生成するものでもよい。このような構成により、寸法データの精度をさらに高めることができる。例えば、対象物が人である場合、特定部分として手及び背中を設定し、これらの特定部分の色画像に基づいて補正することで、対象物である人の形状データを高精度に得ることができる。
(1−4)変形例
(1−4−1)
上記説明においては、取得部24Aが、対象物を異なる方向から撮影した複数の画像データを取得するとしたが、必ずしも画像データが複数必要なわけではない。対象物の画像データが一枚であっても各部分の寸法データを算出することは可能である。
(1−4−2)
上記説明においては、算出部24Dが、次元削減を2回実行しているが、必ずしもこのような処理が必要なわけではない。算出部24Dは、次元削減を1回実行することで得られた各次元の値から、対象物の各部分の寸法データを算出するものでもよい。また、目的によっては、寸法データ算出装置20は、形状データを次元削減せずに寸法データを算出するものでもよい。
(1−4−3)
上記説明においては、抽出部24Bが、対象物の形状が特定されていない教師データを用いて構築されたセマンティックセグメンテーションのアルゴリズムを用いて、画像データに含まれる対象物領域を抽出するとしたが、必ずしもこのような教師データを利用しなければならないものではない。例えば、対象物の形状が特定された教師データを用いて構築されたセマンティックセグメンテーションのアルゴリズムを用いてもよい。対象物の形状が特定された教師データを用いることで、目的に応じて、寸法データの計算精度を高めるとともに、計算負荷を抑制することができる。
(1−5)製品製造システムへの適用
以下、上述した寸法データ算出装置20を製品製造システム1に適用する例について説明する。
(1−5−1)製品製造システムの構成
図4は本実施形態に係る製品製造システム1の概念を示す模式図である。
製品製造システム1は、ユーザ5が保有する端末装置10と通信可能な寸法データ算出装置20と、製品製造装置30とを備え、所望の製品6を製造するためのシステムである。図4では、一例として、対象物7が人であり、製品6が椅子であるときの概念を示している。ただし、本実施形態に係る製品製造システムの対象物7及び製品6はこれらに限定されるものではない。
端末装置10は、いわゆるスマートデバイスにより実現することができる。ここでは、スマートデバイスに、ユーザ用プログラムがインストールされることで端末装置10が各種機能を発揮する。具体的には、端末装置10は、ユーザ5により撮像される画像データを生成する。また、端末装置10は、対象物7の属性を示す属性データの入力を受け付ける。「属性」としては、対象物7の全長・重量・生成からの経過時間(年齢を含む)などが挙げられる。また、端末装置10は、通信機能を有しており、寸法データ算出装置20及び製品製造装置30と各種情報の送受信を実行する。
寸法データ算出装置20は任意のコンピュータにより実現することができる。ここでは、寸法データ算出装置20の記憶部21は、端末装置10のユーザ5を識別する識別情報に関連付けて、端末装置10から送信される情報を記憶する。また、記憶部21は、後述する情報処理を実行するために必要なパラメータ等を記憶する。例えば、記憶部21は、対象物7の属性の項目等に関連付けて、後述する情報処理を実行するために必要な重み係数W1piを記憶する。
また、寸法データ算出装置20の処理部24は、上述したように、取得部24A、抽出部24B、変換部24C、及び算出部24Dとして機能する。ここでは、取得部24Aは、ユーザ5により撮影された画像データ及び対象物7の属性データを取得する。また、抽出部24Bは、画像データから対象物7の形状を示す形状データを抽出する。例えば、対象物の種類として「人」が予め設定されている場合には、人を識別するための教師データを用いてセマンティックセグメンテーションのアルゴリズムが構築されている。また、抽出部24Bは、グラブカットアルゴリズムにより特定された対象物7の画像を、対象物7の特定部分の色画像に基づいて補正し、さらに高精度に対象物7の形状データを生成する。また、変換部24Cは、形状データを全長データに基づいて変換し、シルエット化する。算出部24Dは、変換部24Cにより変換された形状データを用いて、ユーザ5の各部分の寸法データを算出する。ここでは、算出部24Dは、削減した各次元の値と対象物7の部分ごとに最適化された重み係数W1piとを線形結合等して所定値Z1iを求める。そして、算出部24Dは、所定値Z1iと、対象物7の属性データとを用いて次元削減し、削減した各次元の値に基づいて、対象物7の各部分の寸法データを算出する。
製品製造装置30は、寸法データ算出装置20を用いて算出された寸法データを用いて、対象物7の形状に関連する所望の製品を製造する製造装置である。なお、製品製造装置30は、自動で製品を製造・加工できる任意の装置を採用することができ、例えば3次元プリンタなどにより実現することができる。
(1−5−2)製品製造システムの動作
図5は本実施形態に係る製品製造システム1の動作を説明するためのシーケンス図である。また、図6,7は端末装置10の画面遷移を示す模式図である。
まず、端末装置10を介して対象物7の全体が異なる方向から写るように複数回撮像されて、対象物7が撮像された複数の画像データが生成される(T1)。ここでは、図6,7にそれぞれ示すような、正面及び側面の写真が複数枚撮影される。
次に、ユーザ5により端末装置10に、対象物7の属性を示す属性データが入力される(T2)。ここでは、属性データとして、対象物7の全長データ・重量データ・経時データ(年齢等を含む)等が入力される。
そして、これらの複数の画像データ及び属性データが端末装置10から寸法データ算出装置20に送信される。
寸法データ算出装置20では、端末装置10から複数の画像データ及び属性データを受信すると、これらのデータを用いて、対象物7の各部分の寸法データを算出する(T3)。なお、端末装置10には、設定に応じて、寸法データが画面に表示される。
そして、製品製造装置30が、寸法データ算出装置20により算出された寸法データに基づいて所望の製品6を製造する(T4)。
(1−5−3)製品製造システムの特徴
以上説明したように、本実施形態に係る製品製造システム1は、ユーザ5が保有する端末装置10と通信可能な寸法データ算出装置20と、製品製造装置30とを備える。端末装置10(撮影装置)は、対象物7の画像を複数枚撮影する。寸法データ算出装置20は、取得部24Aと、抽出部24Bと、変換部24Cと、算出部24Dと、を備える。取得部24Aは、端末装置10から対象物7の画像データを当該対象物7の全長データとともに取得する。抽出部24Bは、画像データから対象物7の形状を示す形状データを抽出する。変換部24Cは、形状データを全長データに基づいて変換し、シルエット化する。算出部24Dは、変換部24Cにより変換された形状データを用いて、対象物7の各部分の寸法データを算出する。製品製造装置30は、算出部24Dにより算出された寸法データを用いて製品6を製造する。
このような構成により、寸法データ算出装置20が高精度に対象物7の各部分を高精度に算出するので、対象物7の形状に関連する所望の製品を提供できる。
例えば、製品製造システム1により、心臓などの各種臓器の形状の測定から、臓器の模型を製造することができる。
また、例えば、人のウェスト形状の測定から各種ヘルスケア製品等を製造することができる。
また、例えば、人の形状から当該人のフィギュア製品を製造することができる。
また、例えば、人の形状から当該人に適合する椅子などを製造することができる。
また、例えば、車の形状から車のおもちゃを製造することができる。
また、例えば、任意の風景画からジオラマなどを製造することができる。
なお、上記説明においては、寸法データ算出装置20と製品製造装置30とが別部材の装置として説明しているが、これらは一体として構成されるものでもよい。
<第2実施形態>
以下、既に説明した構成及び機能については略同一符号を付して説明を省略する。
(2−1)寸法データ算出装置の構成
図8は本実施形態に係る寸法データ算出装置120の構成を示す模式図である。
寸法データ算出装置120は任意のコンピュータにより実現することができ、記憶部121、入出力部122、通信部123、及び処理部124を備える。なお、寸法データ算出装置120は、LSI(Large Scale Integration),ASIC(Application Specific Integrated Circuit),FPGA(Field-Programmable Gate Array)などを用いてハードウェアとして実現されるものでもよい。
記憶部121は、各種情報を記憶するものであり、メモリ及びハードディスク等の任意の記憶装置により実現される。例えば、記憶部121は、対象物の長さ及び重さ等に関連付けて、後述する情報処理を実行するために必要な重み係数Wriを記憶する。なお、重み係数は、後述する属性データ・寸法データからなる教師データから機械学習を実行することであらかじめ取得される。
入出力部122は、前述の入出力部22と同様の構成及び機能を有するものである。
通信部123は、前述の通信部23と同様の構成及び機能を有するものである。
処理部124は、各種情報処理を実行するものであり、CPUやGPUといったプロセッサ及びメモリにより実現される。ここでは、コンピュータのCPU,GPU等に記憶部121に記憶されたプログラムが読み込まれることにより、処理部124が、取得部124A、及び算出部124Dとして機能する。
取得部124Aは、対象物の全長データと重量データと経時データ(年齢等を含む)とのうちの少なくともいずれかを含む属性データDzr(rは属性データの要素数)を取得する。
算出部124Dは、取得部124Aにより取得された属性データを用いて、対象物の各部分の寸法データを算出する。具体的には、算出部124Dは、属性データを、機械学習された重み係数Wsiを用いて二次回帰することにより、対象物の各部分の寸法データを算出する。重み係数は、対象物の部分ごとに最適化されており、対象物における第i番目の部分の重み係数をWsiと表記する。なお、i=1〜jであり、jは寸法データを算出しようとする寸法箇所の総数である。また、記号sは属性データから得られる演算に用いられる要素の数である。
詳しくは、算出部124Dは、図9に示すように、属性データDzr(r=3)の各要素x1,x2,x3を2乗した値(図9における1行目の値であり、二次項ともいう。)、各要素を掛け合わせた値(図9における2行目の値であり、相互作用項ともいう。)、各要素自体の値(図9における3行目の値であり、一次項ともいう)を用いて、寸法データを算出する。なお、図9に示す例では、3つの属性データの要素x1,x2,x3から得られる値が9つあり、s=9であるので、重み係数Wsiはi×9個の要素を有することになる。
(2−2)寸法データ算出装置の特徴
以上説明したように、本実施形態に係る寸法データ算出装置120は、取得部124Aと、算出部124Dとを備える。取得部124Aは、対象物の全長データと重量データと経時データとのうちの少なくともいずれかを含む属性データを取得する。算出部124Dは、属性データを用いて、対象物の各部分の寸法データを算出する。
したがって、寸法データ算出装置120は、上記属性データを用いて対象物の各部分の寸法データを算出するので、高精度な寸法データを提供することができる。具体的には、算出部124Dが、属性データを機械学習された係数を用いて二次回帰することにより、対象物の各部分の寸法データを高精度に算出する。
また、寸法データ算出装置20では、多数のデータを一度に情報処理することが可能であるので、多数の寸法データを高速に提供することができる。
また、属性データとして、全長データと重量データと経時データとのうちの少なくともいずれかを含んでいる場合、生物の各部分の寸法データを高精度に算出することができる。
また、寸法データ算出装置120を、各種製品を製造する製品製造装置に組み込むことで、対象物の形状に適合した製品を製造することが可能となる。
なお、上記説明においては、算出部124Dが、属性データを二次回帰することにより、対象物の各部分の寸法データを算出するとしたが、算出部124Dの演算はこれに限定されるものではない。算出部124Dは、属性データを線形結合して寸法データを求めるものでもよい。
(2−3)製品製造システムへの適用
図10は本実施形態に係る製品製造システム1Sの概念を示す模式図である。
本実施形態に係る寸法データ算出装置120も、第1実施形態に係る寸法データ算出装置20と同様に、製品製造システム1Sに適用することが可能である。
本実施形態に係る端末装置10Sは、対対象物7の属性を示す属性データの入力を受け付けるものであればよい。「属性」としては、対象物7の全長・重量・生成からの経過時間(年齢を含む)などが挙げられる。
また、上述したように、寸法データ算出装置120の処理部124は、取得部124A及び算出部124Dとして機能する。算出部124Dは、取得部124Aにより取得された属性データを用いて、対象物7の各部分の寸法データを算出する。具体的には、算出部124Dは、属性データを機械学習された重み係数Wsiを用いて二次回帰することにより、対象物の各部分の寸法データを算出する。
製品製造システム1Sでは、寸法データ算出装置120が高精度に対象物7の各部分を高精度に算出するので、対象物7の形状に関連する所望の製品を提供できる。その他、第2実施形態に係る製品製造システム1Sは、第1実施形態の製品製造システム1と同様の効果を発揮することができる。
<他の実施形態>
本開示は、上記各実施形態そのままに限定されるものではない。本開示は、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できるものである。また、本開示は、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の開示を形成できるものである。例えば、実施形態に示される全構成要素から幾つかの構成要素は削除してもよいものである。さらに、異なる実施形態に構成要素を適宜組み合わせてもよいものである。
1 製品製造システム
1S 製品製造システム
5 ユーザ
6 製品
7 対象物
10 端末装置
20 寸法データ算出装置
21 記憶部
22 入出力部
23 通信部
24 処理部
24A 取得部
24B 抽出部
24C 変換部
24D 算出部
30 製品製造装置
120 寸法データ算出装置
121 記憶部
122 入出力部
123 通信部
124 処理部
124A 取得部
124D 算出部
特開2017−018158号公報

Claims (10)

  1. 対象物が撮影された画像データ及び前記対象物の全長データを取得する取得部(24A)と、
    前記画像データから前記対象物の形状を示す形状データを抽出する抽出部(24B)と、
    前記形状データを前記全長データに基づいて変換する変換部(24C)と、
    前記変換部により変換された形状データを次元削減し、削減した各次元の値と前記対象物の部分ごとに最適化された重み係数とを用いて、前記対象物の各部分の寸法データを算出する算出部(24D)と、
    を備える、寸法データ算出装置(20)。
  2. 前記取得部は、前記対象物を異なる方向から撮影した複数の画像データを取得する、
    請求項1に記載の寸法データ算出装置。
  3. 前記算出部は、
    前記変換部により変換された形状データに対して1回目の次元削減を行い、
    1回目の次元削減で得られた各次元の値と前記対象物の部分ごとに最適化された重み係数とを線形結合して所定値を求めるか、又は1回目の次元削減で得られた各次元の値から2次の特徴量を生成し、当該2次の特徴量と前記対象物の部分ごとに最適化された重み係数とを結合して所定値を求め、
    前記所定値と、前記対象物の長さ及び重さの属性を少なくとも含む属性データとを用いて2回目の次元削減を行い、
    2回目の次元削減で得られた各次元の値に基づいて、前記対象物の各部分の寸法データを算出する、
    請求項1又は2に記載の寸法データ算出装置。
  4. 前記抽出部は、対象物の種類毎に準備された教師データを用いて構築されたセマンティックセグメンテーションのアルゴリズムを用いて、前記画像データに含まれる対象物領域を抽出することにより、前記対象物の形状データを抽出する、
    請求項1からのいずれか1項に記載の寸法データ算出装置。
  5. 前記抽出部は、前記対象物領域からグラブカットアルゴリズムにより前記対象物の形状データを抽出する、
    請求項に記載の寸法データ算出装置。
  6. 前記対象物は人である、
    請求項1からのいずれか1項に記載の寸法データ算出装置。
  7. 請求項1からのいずれか1項に記載の寸法データ算出装置を用いて算出した寸法データを用いて、前記対象物の形状に関連する製品を製造する、製品製造装置。
  8. コンピュータを、
    対象物が撮影された画像データ及び前記対象物の全長データを取得する取得部、
    前記画像データから前記対象物の形状を示す形状データを抽出する抽出部、
    前記形状データを前記全長データに基づいて変換する変換部、
    前記変換部により変換された形状データを次元削減し、削減した各次元の値と前記対象物の部分ごとに最適化された重み係数とを用いて、前記対象物の各部分の寸法データを算出する算出部、
    として実現させる、寸法データ算出プログラム。
  9. 対象物が撮影された画像データ及び前記対象物の全長データを取得し、
    前記画像データから前記対象物の形状を示す形状データを抽出し、
    前記形状データを前記全長データに基づいて変換し、
    変換された形状データを次元削減し、削減した各次元の値と前記対象物の部分ごとに最適化された重み係数とを用いて、前記対象物の各部分の寸法データを算出する、
    寸法データ算出方法。
  10. 対象物(7)の画像を複数枚撮影する撮影装置(10)から、前記対象物の画像データを当該対象物の全長データとともに取得する取得部(24A)と、
    前記画像データから前記対象物の形状を示す形状データを抽出する抽出部(24B)と、
    前記形状データを前記全長データに基づいて変換する変換部(24C)と、
    前記変換部により変換された形状データを次元削減し、削減した各次元の値と前記対象物の部分ごとに最適化された重み係数とを用いて、前記対象物の各部分の寸法データを算出する算出部(24D)と、
    前記算出部により算出された寸法データを用いて、前記対象物の形状に関連する製品(6)を製造する製品製造装置(30)と、
    を備える、製品製造システム(1)。
JP2018224376A 2018-11-30 2018-11-30 寸法データ算出装置、プログラム、方法、製品製造装置、及び製品製造システム Active JP6531273B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018224376A JP6531273B1 (ja) 2018-11-30 2018-11-30 寸法データ算出装置、プログラム、方法、製品製造装置、及び製品製造システム
PCT/JP2019/046896 WO2020111269A1 (ja) 2018-11-30 2019-11-29 寸法データ算出装置、製品製造装置、情報処理装置、及びシルエット画像生成装置、端末装置
US17/333,008 US11922649B2 (en) 2018-11-30 2021-05-27 Measurement data calculation apparatus, product manufacturing apparatus, information processing apparatus, silhouette image generating apparatus, and terminal apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018224376A JP6531273B1 (ja) 2018-11-30 2018-11-30 寸法データ算出装置、プログラム、方法、製品製造装置、及び製品製造システム

Publications (2)

Publication Number Publication Date
JP6531273B1 true JP6531273B1 (ja) 2019-06-19
JP2020085805A JP2020085805A (ja) 2020-06-04

Family

ID=66934267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018224376A Active JP6531273B1 (ja) 2018-11-30 2018-11-30 寸法データ算出装置、プログラム、方法、製品製造装置、及び製品製造システム

Country Status (1)

Country Link
JP (1) JP6531273B1 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005315846A (ja) * 2004-03-31 2005-11-10 Mitsubishi Space Software Kk 3次元情報抽出装置及び3次元情報抽出方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム
JP2011227692A (ja) * 2010-04-20 2011-11-10 Sanyo Electric Co Ltd サイズ測定装置
JP5968098B2 (ja) * 2012-06-14 2016-08-10 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
CA2930184C (en) * 2013-12-03 2024-04-23 Children's National Medical Center Method and system for wound assessment and management
WO2017179728A1 (ja) * 2016-04-14 2017-10-19 シャープ株式会社 画像認識装置、画像認識方法および画像認識プログラム
JP7070541B2 (ja) * 2017-03-06 2022-05-18 ソニーグループ株式会社 情報処理装置
CN107862712A (zh) * 2017-10-20 2018-03-30 陈宸 尺寸数据确定方法、装置、存储介质及处理器

Also Published As

Publication number Publication date
JP2020085805A (ja) 2020-06-04

Similar Documents

Publication Publication Date Title
CN114694221B (zh) 基于学习的面部重建方法
JP6357421B2 (ja) オブジェクト認識装置、分類ツリー学習装置及びその動作方法
CN113486708B (zh) 人体姿态预估方法、模型训练方法、电子设备和存储介质
CN106780662B (zh) 人脸图像生成方法、装置及设备
JP2017511712A5 (ja)
CN111783506B (zh) 目标特征的确定方法、装置和计算机可读存储介质
CN106780658B (zh) 人脸特征添加方法、装置及设备
JP5061185B2 (ja) 動的モデルにより心臓形状を予測するためのシステム、方法及びコンピュータプログラム
JP2014018376A5 (ja)
JP6579353B1 (ja) 情報処理装置、情報処理方法、寸法データ算出装置、及び製品製造装置
JP6049272B2 (ja) メッシュ生成装置、方法およびプログラム
JP2019003565A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2013257656A (ja) 動き類似度算出装置、動き類似度算出方法およびコンピュータプログラム
Sánchez et al. Embedding digitized fibre fields in finite element models of muscles
JP6792273B2 (ja) 寸法データ算出装置、製品製造装置、及びシルエット画像生成装置
JP6531273B1 (ja) 寸法データ算出装置、プログラム、方法、製品製造装置、及び製品製造システム
M. Harandi et al. 3D segmentation of the tongue in MRI: a minimally interactive model-based approach
JP2008171074A (ja) 三次元形状モデル生成装置、三次元形状モデル生成方法、コンピュータプログラム、及び三次元形状モデル生成システム
KR102468306B1 (ko) 신체 치수 측정 방법 및 장치
US11922649B2 (en) Measurement data calculation apparatus, product manufacturing apparatus, information processing apparatus, silhouette image generating apparatus, and terminal apparatus
JP6593673B2 (ja) 身体情報取得装置および身体情報取得方法
JP7141610B1 (ja) スキンモデルから骨格に基づく姿勢を統計的に分析するプログラム、装置及び方法
JP5162512B2 (ja) 多次元時系列データ分析装置及び多次元時系列データ分析プログラム
JP2004348172A (ja) 製品形状設計装置
JP6593830B1 (ja) 情報処理装置、情報処理方法、寸法データ算出装置、及び製品製造装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190131

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190131

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190419

R150 Certificate of patent or registration of utility model

Ref document number: 6531273

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250