TW202248871A - 資訊處理裝置、資訊處理方法及資訊處理程式 - Google Patents
資訊處理裝置、資訊處理方法及資訊處理程式 Download PDFInfo
- Publication number
- TW202248871A TW202248871A TW111108248A TW111108248A TW202248871A TW 202248871 A TW202248871 A TW 202248871A TW 111108248 A TW111108248 A TW 111108248A TW 111108248 A TW111108248 A TW 111108248A TW 202248871 A TW202248871 A TW 202248871A
- Authority
- TW
- Taiwan
- Prior art keywords
- information processing
- aforementioned
- dots
- clothing
- unit
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 39
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000005259 measurement Methods 0.000 claims abstract description 41
- 239000007787 solid Substances 0.000 claims abstract description 26
- 238000004458 analytical method Methods 0.000 claims abstract description 11
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 13
- 239000000463 material Substances 0.000 claims description 8
- 230000037237 body shape Effects 0.000 abstract description 6
- 238000012545 processing Methods 0.000 description 39
- 230000006870 function Effects 0.000 description 14
- 238000003860 storage Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 11
- 210000002414 leg Anatomy 0.000 description 11
- 238000013461 design Methods 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000007639 printing Methods 0.000 description 8
- 238000012790 confirmation Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000036544 posture Effects 0.000 description 5
- 238000000691 measurement method Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000009975 flexible effect Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 238000007650 screen-printing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000000859 sublimation Methods 0.000 description 2
- 230000008022 sublimation Effects 0.000 description 2
- 238000004441 surface measurement Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/564—Depth or shape recovery from multiple images from contours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- A—HUMAN NECESSITIES
- A41—WEARING APPAREL
- A41H—APPLIANCES OR METHODS FOR MAKING CLOTHES, e.g. FOR DRESS-MAKING OR FOR TAILORING, NOT OTHERWISE PROVIDED FOR
- A41H1/00—Measuring aids or methods
- A41H1/02—Devices for taking measurements on the human body
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Details Of Garments (AREA)
- Debugging And Monitoring (AREA)
Abstract
資訊處理裝置係具備:形成部,其係進行作為連同衣裝一起作伸縮的計測標記的點(dot)的相對的位置分析,來形成點的叢集(cluster);分配部,其係在叢集與點分配號碼;特定部,其係取得所被分配的號碼,設定在預定的座標位置,且特定剪影;及生成部,其係根據所被特定出的剪影,生成3D模型。形成部係由衣裝的點圖案形成六角形的叢集,增加六角形的叢集,且形成單義的蜂巢構造。分配部係由蜂巢構造,在叢集與點分配號碼。在衣裝的全體列印有中實的點與中空的點,作為點。藉此,使用身體尺寸測定用衣服,更高精度地作成使用者的身體的形狀的3D模型。
Description
本發明係關於資訊處理裝置、資訊處理方法及資訊處理程式。
以往揭示一種用以測定使用者的身體的形狀的身體尺寸測定用衣服。
[先前技術文獻]
[專利文獻]
[專利文獻1] 日本設計專利第1619661號公報
[專利文獻2] 日本設計專利第1619759號公報
[專利文獻3] 日本設計專利第1619761號公報
[專利文獻4] 日本設計專利第1619762號公報
(發明所欲解決之問題)
但是,上述習知技術係在技術上為開發途中者,有更進一步發展/改良的餘地。身體尺寸測定用衣服係被使用在用以伴隨使用者的身體的形狀,作成表示身體的測定值(腰部或臀部的周圍等)的正確3D模型。因此,圖求一種用以使用身體尺寸測定用衣服,更高精度地作成使用者的身體的形狀的3D模型的技術。
本案係鑑於上述而完成者,目的在更高精度作成使用者的身體的形狀的3D模型。
(發明之效果)
藉由實施形態之一態樣,可更高精度地作成使用者的身體的形狀的3D模型。
以下一邊參照圖面,一邊詳加說明用以實施本案之資訊處理裝置、資訊處理方法及資訊處理程式的形態(以下記載為「實施形態」)。其中,並非為藉由該實施形態來限定本案之資訊處理裝置、資訊處理方法及資訊處理程式者。此外,在以下之實施形態中,對相同部位係標註相同符號,且省略重複說明。
[1. 身體尺寸測定方法的概要]
首先,參照圖1,說明實施形態之資訊處理裝置所進行的身體尺寸測定方法的概要。圖1係示出實施形態之身體尺寸測定方法的概要的說明圖。其中,在圖1中,以測定穿上身體尺寸測定用衣服的使用者的身體的形狀,來作成使用者的身體的3D模型(3次元模型)時為例來作說明。
(資訊處理系統1)
本實施形態之資訊處理系統1係伴隨穿上作為身體尺寸測定用衣服的連身衣的使用者的身體的形狀,作成表示身體的測定值(腰部或臀部的周圍等)的正確3D人體模型。3D人體模型係可適應於服飾(apparel)的試穿(fitting)、飲食/健身規則(dietary/fitness regime)的效果追蹤、機械學習/AI(Artificial Intelligence,人工智慧)系統的訓練等各種使用目的。在以下說明中,有將3D人體模型簡略表記為3D模型的情形。
本實施形態之資訊處理系統1係由「硬體」(具伸縮性的連身衣+智慧型手機)與「軟體」(在終端機被起動的APP、伺服器軟體/網站)所構成。以下詳加解說該等要素。
如圖1所示,資訊處理系統1係包含:終端裝置10、資訊提供裝置100、及新型連身衣ZS。終端裝置10與資訊提供裝置100係可分別透過網路N,藉由有線或無線彼此進行通訊地相連接。網路N係例如LAN(Local Area Network,區域網路)、或網際網路等WAN(Wide Area Network,廣域網路)。此外,終端裝置10係透過LTE(Long Term Evolution,長期演進技術)、4G(4th Generation,第4代)、5G(5th Generation:第5代移動通訊系統)等無線通訊網路、或Bluetooth(註冊商標)、無線LAN(Local Area Network)等近距離無線通訊而連接於網路N,可與資訊提供裝置100進行通訊。
此外,圖1所示之資訊處理系統1所包含的各裝置的數量並非侷限於圖示者。例如,在圖1中,為簡化圖示,僅示出1台終端裝置10,惟此僅為例示,並非為限定者,亦可為2台以上。此外,在以下說明中,亦有將新型連身衣ZS簡略記載為「衣裝(suit)」的情形。亦即,若未特別記載,衣裝係指新型連身衣ZS。
(資訊提供裝置100)
資訊提供裝置100係與使用者U(利用者)的終端裝置10合作,對使用者U的終端裝置10,提供對各種應用程式(APP)等的API服務等、及各種資料的資訊處理裝置,藉由伺服器裝置或雲端系統等予以實現。在本實施形態中,資訊提供裝置100係對終端裝置10提供身體尺寸測定用的應用程式(APP),且由終端裝置10接收使用APP所生成的3D人體模型。接著,資訊提供裝置100係將3D人體模型使用在各種目的、或提供給各種終端裝置或伺服器裝置。
(終端裝置10)
終端裝置10係被使用者U所使用的智慧型手機或平板等智慧型元件,可透過4G(Generation)或LTE(Long Term Evolution)等無線通訊網路而與任意伺服器裝置進行通訊的攜帶終端裝置。此外,終端裝置10係具有液晶顯示器等畫面且具有觸控面板的功能的畫面,由使用者藉由手指或觸控筆等,受理擊觸操作、滑動操作、捲動(scroll)操作等對內容等顯示資料的各種操作。其中,亦可將在畫面之中顯示有內容的區域上所進行的操作設為對內容的操作。此外,終端裝置10不僅為智慧型元件,亦可為桌上型PC (Personal Computer,個人電腦)或筆記型PC等資訊處理裝置。
在本實施形態中,以終端裝置10而言,以智慧型手機為例來作說明。除了裝載有合理品質的攝影機(攝像裝置)的條件,並不需要智慧型手機特別的對應要件。亦即,智慧型手機若具備一般品質的攝影機即足夠,並不需要為具備高解像度攝影機或深度感測器等的最新模型。
若使用者U使用作為身體尺寸測定用衣服的新型連身衣ZS來進行身體的3D掃描時,首先在終端裝置10安裝身體尺寸測定用的應用程式(APP)來起動,且將終端裝置10放置在支架(stand),在穿上新型連身衣ZS的狀態下站立在終端裝置10之前,一邊慢慢地使身體旋轉一邊擷取(capture)一連串畫像。若收集充分數量的畫像(通常為12枚),APP處理畫像,且建構表示使用者U的身體的尺寸與形狀的3D「網格(mesh)」。
(新型連身衣ZS)
新型連身衣ZS係使用標準低成本的衣服印刷技術(數位昇華印刷)所製造的具伸縮性及密接性的合身連身衣。新型連身衣ZS係包覆穿著者的全身(除了臉部/頭部之外),由緊身褲(Leggings)與上衣等二個部分所構成。在新型連身衣ZS係有包覆表面大部分的點(dot)花樣的圖案(pattern),配置成密集的正六角形(蜂巢狀)。各點(dot)係「中實」(solid)或「中空」(hollow)的任一者,使用虛擬隨機演算法來作選擇。中空的點為O字型(甜甜圈型)。例如,為在衣裝全體列印有大致相同數量的中實與中空的點的規格。可藉由分析新型連身衣ZS的任意部位的點的圖案,來推測正在觀看衣服的哪個部分。
在此,參照圖2,與作為習知品的舊型連身衣FS作對比,說明新型連身衣ZS的特徵。圖2係示出舊型連身衣FS與新型連身衣ZS之一例的圖。
如圖2所示,在舊型連身衣FS中,係將平均每1個幾cm左右的舊型標記FM(在其上配置有複數2mm的點DT)作為辨識對象,惟在新型連身衣ZS中,係將平均每1個6mm的新型標記M1、M2作為辨識對象。新型標記M1、M2分別兼作點。亦即,新型標記M1、M2本身為點。在此,新型標記M1為「中實」(solid)的點,新型標記M2為「中空」(hollow)的點。藉此,辨識性提升,可以智慧型手機的攝影機取得更多的標記資訊。其中,上述尺寸僅為一例。實際上,點或中空亦可為任意尺寸。
此外,在使用舊型連身衣FS的測定中係將約400個標記作為辨識對象,惟在使用新型連身衣ZS的測定中,係可將約20,000個標記作為辨識對象。亦即,與舊型連身衣FS相比,新型連身衣ZS成為約50倍的標記數,計測/解析精度大幅提升。藉此,可進行詳細體型資訊的讀取,且生成更正確的3D模型。
(點花樣的主要設計/印刷要件)
衣裝的點(新型連身衣ZS的新型標記M1、M2)必須儘可能稠密地挨緊,惟由斜向觀看時、與透過攝影機的鏡頭由遠方觀看時,必須在各點的周圍有充分的餘白,俾以可由衣裝的背景色進行檢測而區段(segment)化。此外,若為「中空」點,圓的內框部分的尺寸係必須可在上述外觀條件下與中實的點作明確區分。此外,關於被印刷出的各點的前景色與背景色的對比,即使在照明環境差的情形下亦可簡單檢測乃極為重要。
關於點的顏色與背景色的選定,係容許有彈性。在最單純的案例中,點為白色,衣裝的背景色為黑色。但是,可對附有顏色的衣裝或點、單一的衣裝全體,對應複數背景色的變化等大範圍的彩色規格。此外,亦可在衣裝的背景埋入標誌或畫像,而作成更客製化的設計。
此外,亦可取代圓形的點,使用正方形或六角形、或為了區分2種類的點或其他幾何學模樣而使用顏色。
關於新型連身衣ZS的衣料,具伸縮性且恰好地適配(fit)極為重要,藉由使用大部分的人在舒適且適配的狀態下穿著的衣料,可將所需尺寸的變化數抑制為最小限度。此外,衣料即使在被高度伸展的情形下,亦具備有可清楚地辨識點(dot)的充分對比乃極為重要。
(基準標記RM)
與附上以不具伸縮性的墨水所列印的標記(舊型標記FM)的舊型連身衣FS不同,新型連身衣ZS的標記(新型標記M1、M2)由於具伸縮性,因此衣裝本身的製造更為簡單。但是,新型連身衣ZS由於具有尺度(scale)的參照,因此保持幾個不作伸縮的基準標記RM(已知的尺寸)。基準標記RM係至少尺寸大於新型標記M1、M2。在本實施形態中,基準標記RM係與舊型標記FM為相同的尺寸。該等基準標記RM係標誌(logo)位於中心的白色球團型者,被附在具戰略性的部位(胸圍、背部、腿部)。在本實施形態中,新型連身衣ZS係在胸部的中心保持1個、在背部的肩胛骨的附近保持2個(右側1個、左側1個)、腿部的雙膝的外側保持2個(右腿側1個、左腿側1個)等合計5個基準標記RM。在基準標記RM的素材係使用不作伸縮的塑膠,使用熱壓(heat press)而附著在衣裝。
(人體模型)
在本實施形態中,係假想人體的參數化模型(
parametric model),作為人體模型。例如,使用經商用認證的SMPL模型(Skinned Multi-Person Linear model,皮膚多人線性模型)作為人體模型。亦可使用其他參數化人體模型(獨自規格或第三者提供)。原則上,若可利用適當的人體模型,亦可進行例如PET(Positron Emission
Tomography:正子射出斷層攝影)等其他物件(object)的掃描。
(畫像處理)
用以建構3D模型的基本輸入資料係由各種視野角(亦包含畫角)被攝影到之穿上衣裝的使用者U的照片(畫像)。在本實施形態中,係由各種視野角對12枚照片進行攝影。使用演算法係可藉由偵測覆蓋衣裝的點圖案進行辨識,來檢測畫像內的人物。若為看得到的範圍,亦可檢測畫像內的臉部或眼睛。
畫像係被處理在用以辨識有為衣裝的點(新型連身衣ZS的新型標記M1、M2)的可能性的較小圓形/橢圓型的「球團」(blob)。此外,分別被檢測到的點被分類為「中實」、「中空」、「不明」。接著,分析在各局部畫像近旁被檢測到的點的相對的位置,形成如適合所預想的蜂巢(正六角形)圖案般的點的「叢集」(cluster)。
所形成的各叢集係在考慮對於被使用在衣裝的點的印刷的已知的虛擬隨機圖案是否一致、或旋轉對稱性之後再作確認。由於部分叢集過小而無法取得一致、或由於包含無效的點而無法辨識,因此在該階段被拒絕。關於剩下的叢集,對各點分配有用以在衣裝上作識別的單義的號碼(數值識別碼)。
點檢測與識別程序(process)係適用在各畫像,且取得被檢測到的各點的像素座標的集合及對應的數值識別碼。取得資料係作為用以擬合3D人體模型所需基本輸入資料而被輸入至3D擬合演算法。
除了點的位置之外,所使用的演算法亦可處理各照片來特定畫像內的人物的剪影(silhouette)(輪廓)。但是,輪廓的特定亦取決於衣裝與背景的對比,因此可僅對明確顯示出剪影的像素進行檢測。剪影係用以更明確擬合3D模型的強力的輸入資料。
(3D擬合)
在3D擬合演算法中係計算在各畫像圖框(frame)被檢測到的點、正確適配於剪影的位置的人體模型參數、及相對的攝影機拍照姿勢的集合。具體而言,目的在同時推定(i)使用者U的身體的形狀的3D模型、(ii)身體的各點的位置、(iii)對身體的攝影機的位置與方向、及(iv)映射在各畫像的身體的拍照姿勢。以方法而言,係使用反覆順序,一邊調整全部參數(由最初的推測開始),一邊將各畫像的各點的預測位置與觀測位置之間的像素距離最小化。若在一個或複數畫像圖框檢測到剪影,該等亦以最小化包含。擬合程序係由以下所示之若干連續步驟所構成。
(1)最初的推測
由平均的身體的形式開始,假想身體的各點的「預設(default)」的位置,欲找出與擬合演算法所檢測到的畫像資料一致的相對的攝影機拍照姿勢的集合。為了使收斂高速化,在演算法輸入使用者U的性別、身高、體重、使用者U的拍照姿勢(由對應的拍照姿勢中作選擇)等追加資訊(可利用的情形下)。
(2)點雲擬合(point cloud fitting)
由最初的推測開始,反覆調整各點的3D位置與攝影機的拍照姿勢的推定值,與在各畫像圖框被檢測到的點的位置的一致提升。該步驟在電腦視覺中為標準,通常被稱為「光束平差(Bundle Adjustment)」。接著,將參數化人體模型(SMPL)的參數最適化,將由各3D點位置至網格的表面的距離最小化,藉此執行3D人體模型的初期擬合。
(3)人體擬合
接著,另外調整參數化人體模型(SMPL)的參數,將各畫像的預測點位置與觀測點位置之間的距離最小化。在該步驟中,可視需要而使點在身體表面上移動。若在衣裝的穿著方法產生不一致,若將衣料局部扭擰或拉伸,有在身體未預期的場所顯示點的可能性之故。此外,剪影資料係在該階段包含在擬合程序。擬合程序係反覆性,按照「由粗者而細者」的處理戰略。在該戰略中,最初推定最重要的模型參數的子集合,隨著演算法進展,被導入追加的參數。在擬合的最後步驟中,係可進行模型的「動態」變化,亦即畫像圖框間的手腳的動作。
在該等步驟的構成方法係有一定程度的彈性。此外,可使用依用途而異的構成。上述3步驟係使用可以智慧型手機在約30秒以內使所有處理完成的獨自的高速數學演算法來構裝。
(APP)
在用以掃描使用者U的「預設」模式中,將智慧型手機亦即終端裝置10載置於瓦楞紙製的支架,在將支架置放在平面桌之上的狀態下,將背面攝影機朝向使用者U。上述支架亦可作為衣裝的附屬品而提供給使用者U。接著,使用者U係站立在終端裝置10之前,拍攝照片期間,被導引為以各種角度旋轉身體。使用者U係透過掃描全體而維持一貫的身體拍照姿勢,正在攝影各照片的期間,必須為靜止。在預設的掃描拍照姿勢中,係在直立狀態下,以肩膀寬幅張開腿部,將手臂伸直而保持朝下,稍微遠離腰部。除了預設拍照姿勢之外,亦對應將手臂上舉來進行掃描的拍照姿勢等。
APP係在開始掃描之前,確認使用者U正確穿上衣裝,提供用以誘導為最適立位的教導(tutorial)、設計圖、互動式的檢核(check)、聲音導引。此外,亦構裝有如以下所示之替代掃描模式。
(1)他者攝影
使用者U靜止時,請第2位人物由各種角度拍攝照片。以所謂「伙伴模式」,便於掃描不理解掃描順序的孩童時。
(2)連續旋轉
為使使用者U不需要在拍攝照片時停止,使用視訊擷取,來取代靜止畫像的集合。
(3)彈性的動作對應
例如,辨識畫像的圖框間的大幅手腳的動作。
終端裝置10係若掃描完成,即作成3D人體模型,且在畫面上顯示給使用者U。或者,若檢測問題,可對使用者U提示錯誤且再試行。使用者U的身體的測定值(臀部、腰部、腿部的長度等)亦由3D模型予以計算,且形成為計測結果而顯示給使用者U。
(伺服器送訊)
終端裝置10係若掃描成功,將3D人體模型上傳至作為主伺服器的資訊提供裝置100。藉此,資訊提供裝置100係可在衣服的試穿或伴隨時間的經過的身體形狀的追蹤等各種場面使用經上傳的3D人體模型。
演算法的高速處理時間係該資訊處理系統1的優異功能之一,不需要為了集中處理而將畫像上傳至伺服器,可在終端機上局部(終端裝置10)完成全部處理。例如,藉由終端裝置10,處理約30秒即完結。歸功該功能,不需要等待畫像上傳完成,亦不需要經由網際網路來保存個人的畫像,因此對使用者而言亦極為有利。
但是,亦有視情況宜在伺服器上(資訊提供裝置100)進行處理的案例。例如,支援非常慢的OS的終端裝置10時、或非為專用APP而在Web瀏覽器執行該資訊處理系統時等。本實施形態之演算法與UX功能亦對應在伺服器上(資訊提供裝置100)的處理。亦即,關於上述身體尺寸測定及3D模型的生成的處理並非侷限於終端機上(終端裝置10),亦可在伺服器上(資訊提供裝置100)執行。此時,上述APP亦可改讀為伺服器軟體。
[1-1.新舊比較]
接著,參照圖3,說明舊型連身衣FS與新型連身衣ZS的具體差異。圖3係示出舊型連身衣FS與新型連身衣ZS的比較表的圖。
(標記)
在舊型連身衣FS係在衣裝全體稀疏地分布有400個至500個固定尺寸的標記。另一方面,在新型連身衣ZS中,20,000個至40,000個具伸縮性的圓形點稠密地包覆衣裝的表面。因此,尤其在曲率高的部位,可更明確表現體形。
(編碼)
在舊型連身衣FS的各標記(舊型標記FM)係包含有將1~512的識別碼進行編碼的一連串較小圓形的點DT。另一方面,新型連身衣ZS的各點(新型標記M1、M2)係形成為中實或中空的圓形。分析點的局部位置,藉由以較大的虛擬隨機圖案找到一致而被單義識別。
(尺度參考基準)
在舊型連身衣FS中,所有標記(舊型標記FM)係已知尺寸的直徑20mm(±0.5mm)的固定標記FM。另一方面,在新型連身衣ZS中,有別於具伸縮性的新型標記M1、M2,幾個已知尺寸的附標誌的固定標記(基準標記RM)被附在衣服的重要位置(胸部、背部、腿部)。
(製造)
在舊型連身衣FS中,係使用特殊的低伸縮性墨水,以經客製化的昂貴的網版印刷方法來製造。另一方面,在新型連身衣ZS中,係使用標準低成本、高速且乾淨(clean)的製造方法(標準的網版印刷或數位印刷等)。亦利用使用熱傳達而以手動安裝的尺度標記。
(畫像處理)
在舊型連身衣FS中,係使用用以檢測及識別成為畫像內的基準標記的舊型標記FM的任一者的演算法。另一方面,在新型連身衣ZS中,係使用用以檢測、分類、及識別畫像內的點(新型標記M1、M2)的叢集的演算法。
(人體模型)
在舊型連身衣FS中,係使用獨自的PCA人體模型(僅手腳的動作的基本支援),推定身體的形狀。另一方面,在新型連身衣ZS中,係可藉由關節式的商用人體模型(SMPL),進行人體形狀的推定與模型的動態再配置。
(計測精度)
在舊型連身衣FS中,平均表面計測誤差為7mm以下。另一方面,在新型連身衣ZS中,平均表面計測誤差為4mm以下。
[1-2.其他特徵點]
在此,以下說明新型連身衣ZS的其他特徵點。
(1)固定標記的設置
由於衣裝作伸縮,具伸縮性的計測標記亦即新型標記M1、M2亦作伸縮,由此有無法取得計測時的基準尺度的課題。因此,為了特定尺度尺寸,將不作伸縮的固定標記亦即基準標記RM以預定數定點設置在預定的位置,藉此來解決。
預定的位置與數量係不會降低計測精度,對全身攝影時在各視野角攝影時,必定包含固定標記的位置(胸部、背部、腿部)與數量(4點以上)。亦即,預定的位置與數量係即使由任何角度對衣裝全體攝影,亦必定包含固定標記的位置與數量。
在作為固定標記的基準標記RM的周邊設置伸縮素材區,藉此實現適於新型連身衣ZS的固定標記。
(2)點偵測方法
終端裝置10係進行點的相對的位置分析,以適合蜂巢圖案的方式,形成點的叢集。例如,終端裝置10係由點圖案製作六角形的叢集,增加六角形的叢集且製作單義的蜂巢構造。由該蜂巢構造,對叢集與點分配號碼。此時,終端裝置10係確認各叢集的點的隨機圖案是否與已知的隨機圖案一致(圖案匹配)。終端裝置10係當確認隨機圖案時,將各點分類為預定的點。例如,將各點分類為中實、中空、不明(無法特定)的任一者。
終端裝置10係取得所被分配的號碼,而設定在預定的座標位置,且特定剪影(輪廓)。接著,終端裝置10係對所特定出的剪影,根據預先設定的預定的人體參數+攝影機拍照姿勢集合資料,生成身體的3D模型形狀資料,且可由所生成的形狀資料來計測身體尺寸。
(3)衣裝尺寸圖案判定
衣裝係預先準備複數尺寸圖案(預定的圖案數),按照使用者側的身體來選擇任意尺寸圖案。例如,以尺寸圖案而言,亦可準備S尺寸(小)、M尺寸(中)、L尺寸(大)等衣裝。計測時,設置每個尺寸圖案的計測演算法,衣裝攝影時,根據上述蜂巢構造的分析,判定尺寸圖案,且適用對應尺寸圖案的計測演算法。
[1-3.基本動作]
根據以上,說明實施形態之資訊處理裝置所進行的身體尺寸測定方法的基本動作。
如圖1所示,終端裝置10係起動APP,藉由攝影機功能,由各種視野角(亦包含畫角),對穿上新型連身衣ZS的使用者U的全身(衣裝全體)進行攝影(步驟S1)。在本實施形態中,預先備妥複數尺寸圖案(預定的圖案數)的衣裝,按照使用者U的身體,選擇任意的尺寸圖案。終端裝置10係由各種視野角對12枚照片攝影。此外,在對全身攝影時在各視野角攝影時,必定包含固定標記(基準標記RM)。
接著,終端裝置10係由被攝影到的畫像,檢測有為衣裝的點(新型連身衣ZS的新型標記M1、M2)的可能性的較小圓形/橢圓型的「球團」(blob)(步驟S2)。
接著,終端裝置10係將分別被檢測出的點,分類成「中實」、「中空」、「不明」的任一者(步驟S3)。
接著,終端裝置10係分析被檢測到的點的相對的位置,形成適合所預想的蜂巢(正六角形)圖案的點的「叢集」(Cluster)(步驟S4)。例如,終端裝置10係由點圖案製作六角形的叢集,且增加六角形的叢集,製作單義的蜂巢構造。
接著,終端裝置10係針對所形成的叢集,考慮對於被使用在衣裝的點的印刷的已知的虛擬隨機圖案是否一致、或旋轉對稱性之後再作確認(步驟S5)。由於部分叢集過小而無法取得一致、或由於包含無效的點而無法辨識,因此在該階段被拒絕。
接著,終端裝置10係針對所形成的叢集,在各點分配用以在衣裝上作識別的單義的號碼(步驟S6)。亦即,號碼係數值識別碼。
接著,終端裝置10係根據上述蜂巢構造的分析,判定尺寸圖案,由每個尺寸圖案的計測演算法之中,適用對應被判定出的尺寸圖案的計測演算法(步驟S7)。
接著,終端裝置10係根據所適用的計測演算法,特定穿上新型連身衣ZS的使用者U的身體的形狀的剪影(步驟S8)。在本實施形態中,終端裝置10係取得被檢測到的各點的像素座標的集合及對應的數值識別碼。接著,將取得資料,作為用以擬合3D人體模型所需基本輸入資料而輸入至3D擬合演算法。終端裝置10係除了點的位置之外,根據所使用的演算法,處理各照片來特定畫像內的人物的剪影。
接著,終端裝置10係根據所被特定出的剪影,生成3D模型(步驟S9)。終端裝置10係將所被生成的3D模型,在畫面上顯示給使用者U。此外,終端裝置10亦由所被生成的3D模型,計算使用者U的身體的測定值(臀部、腰部、腿部的長度等),作為計測結果而顯示給使用者U。
其中,終端裝置10亦可將所生成的3D模型上傳至資訊提供裝置100。此外,上述步驟S2~S9的處理亦可在任意階段,由資訊提供裝置100進行。亦即,在上述步驟S2~S9的說明中,終端裝置10亦可改讀為資訊提供裝置100。
[2.終端裝置的構成例]
接著,使用圖4,說明終端裝置10的構成。圖4係示出終端裝置10的構成例的圖。如圖4所示,終端裝置10係具備:通訊部11、顯示部12、輸入部13、測位部14、攝像部15、感測器部20、控制部30(控制器)、及記憶部40。
(通訊部11)
通訊部11係以有線或無線而與網路N(參照圖3)相連接,透過網路N,在與資訊提供裝置100之間進行資訊的接收發送。例如,通訊部11係藉由NIC(Network Interface Card,網路介面卡)或天線等來實現。
(顯示部12)
顯示部12係顯示位置資訊等各種資訊的顯示元件。例如,顯示部12係液晶顯示器(LCD:Liquid Crystal Display)或有機EL顯示器(Organic Electro-Luminescent Display)。此外,顯示部12係觸控面板式的顯示器,惟並非為限定於此者。
(輸入部13)
輸入部13係由使用者U受理各種操作的輸入元件。此外,輸入部13係具有用以輸入例如文字或數字等的按鍵等。此外,若顯示部12為觸控面板式的顯示器,顯示部12的一部分作為輸入部13發揮功能。其中,輸入部13亦可為由使用者U受理聲音輸入的麥克風等。麥克風亦可為無線。
(測位部14)
測位部14係接收由GPS(Global Positioning System,全球定位系統)的衛星被送出的訊號(電波),根據所接收到的訊號,取得表示作為自身裝置的終端裝置10的現在位置的位置資訊(例如緯度及經度)。亦即,測位部14係對終端裝置10的位置進行測位。其中,GPS僅為GNSS(Global
Navigation Satellite System,全球導航衛星系統)之一例。
此外,測位部14係除了GPS以外,亦可藉由各種手法來對位置進行測位。例如,測位部14亦可利用終端裝置10的各種通訊功能來對位置進行測位,作為供位置補正等之用的輔助性測位手段。
(攝像部15)
攝像部15係對穿上新型連身衣ZS的使用者U攝影的畫像感測器(攝影機)。例如,攝像部15係CMOS影像感測器、或CCD影像感測器等。其中,攝像部15並非侷限於內置攝影機,亦可為可與終端裝置10進行通訊的無線攝影機、或Web攝影機等外接攝影機。
(感測器部20)
感測器部20係包含裝載或連接在終端裝置10的各種感測器。其中,連接係有線連接、無線連接不拘。例如,感測器類亦可為可穿戴式元件或無線元件等終端裝置10以外的偵測裝置。在圖4所示之例中,感測器部20係具備:加速度感測器21、陀螺儀感測器22、氣壓感測器23、氣溫感測器24、聲音感測器25、光感測器26、及磁性感測器27。
其中,上述各感測器21~27僅為例示,並非為受到限定者。亦即,感測器部20亦可為具備各感測器21~27之中的一部分的構成,亦可除了各感測器21~27之外或取代之,具備有濕度感測器等其他感測器。
加速度感測器21係例如3軸加速度感測器,偵測終端裝置10的移動方向、速度、及加速度等終端裝置10的物理性動作。陀螺儀感測器22係根據終端裝置10的角速度等,偵測3軸方向的斜率等終端裝置10的物理性的動作。氣壓感測器23係偵測例如終端裝置10的周圍的氣壓。
終端裝置10係具備上述之加速度感測器21或陀螺儀感測器22、氣壓感測器23等,因此可使用利用該等各感測器21~23等的行人航位推算法(PDR:Pedestrian Dead-Reckoning)等技術來對終端裝置10的位置進行測位。藉此,可取得以GPS等測位系統難以取得之在屋內的位置資訊。
例如,藉由利用加速度感測器21的計步器,可算出步數或步行的速度、已步行的距離。此外,利用陀螺儀感測器22,可得知使用者U的行進方向或視線的方向、身體的傾斜。此外,亦可由以氣壓感測器23所偵測到的氣壓,得知使用者U的終端裝置10所存在的高度或樓層的層數。
氣溫感測器24係偵測例如終端裝置10的周圍的氣溫。聲音感測器25係偵測例如終端裝置10的周圍的聲音。光感測器26係偵測終端裝置10的周圍的照度。磁性感測器27係偵測例如終端裝置10的周圍的地磁力。
上述之氣壓感測器23、氣溫感測器24、聲音感測器25、光感測器26及攝像部15係可分別偵測氣壓、氣溫、聲音、照度、或對周圍的畫像攝像,藉此偵測終端裝置10的周圍的環境或狀況等。此外,可由終端裝置10的周圍的環境或狀況等,使終端裝置10的位置資訊的精度提升。
(控制部30)
控制部30係包含例如具有CPU(Central Processing Unit,中央處理單元)、ROM(Read Only Memory,唯讀記憶體)、RAM、輸出入埠等的微電腦或各種電路。此外,控制部30亦可例如由ASIC(Application Specific Integrated Circuit,應用特定積體電路)或FPGA(Field Programmable Gate Array,現場可程式閘陣列)等積體電路等硬體所構成。
控制部30係包含顯示部12等,控制終端裝置10全體。例如,控制部30係可透過通訊部11來傳送被記憶在記憶部40的各種資訊、或將所接收到的各種資訊輸出至顯示部12且使其顯示。此外,控制部30係起動APP來實現各種功能。例如,控制部30係起動APP來實現後述的檢測部31、分類部32、形成部33、確認部34、分配部35、適用部36、特定部37、及生成部38的功能。
控制部30係具備:檢測部31、分類部32、形成部33、確認部34、分配部35、適用部36、特定部37、及生成部38。
檢測部31係在藉由攝像部15攝影到穿上新型連身衣ZS的使用者U的全身時,由被攝影到的畫像,檢測連同新型連身衣ZS一起作伸縮的計測標記亦即點(新型連身衣ZS的新型標記M1、M2)。
其中,在新型連身衣ZS的全體列印有中實的點與中空的點,作為點(dot)。此外,在新型連身衣ZS,為了特定尺度尺寸,有別於點,以預定的數量在預定的位置定點設置有不作伸縮的固定標記(基準標記RM)。其中,預定的位置與數量係在對新型連身衣ZS的全體攝影時在各視野角攝影時,必定包含固定標記的位置與數量。例如,此外,預定的位置係相當於新型連身衣ZS的胸部、背部、腿部的位置。接著,預定數量為4點以上。此外,有別於點,在固定標記的周邊設有伸縮素材區。
分類部32係將新型連身衣ZS的各點分類為中實、中空、不明的任一者。亦即,分類部32係將被攝影到的畫像所包含的新型人體新型連身衣ZSZS的新型標記M1、M2分類為中實、中空、不明的任一者。
形成部33係進行連同新型連身衣ZS一起作伸縮的計測標記亦即點的相對的位置分析,來形成點的叢集。例如,形成部33係由新型連身衣ZS的點圖案形成六角形的叢集,且增加六角形的叢集而形成單義的蜂巢構造。
確認部34係確認所形成的叢集的點的隨機圖案是否與已知的隨機圖案一致。
分配部35係由蜂巢構造,在叢集與點分配號碼。例如,分配部35係針對所形成的叢集,在各點分配用以在衣裝上作識別的單義的號碼。
適用部36係根據所形成的叢集,判定備有複數尺寸圖案的新型連身衣ZS的尺寸圖案,在按每個尺寸圖案而設的計測演算法之中,適用對應被判定出的尺寸圖案的計測演算法。
特定部37係取得所被分配的號碼,設定在預定的座標位置,且特定剪影。
生成部38係根據叢集,生成3D模型。具體而言,生成部38係根據所被特定出的剪影,生成3D模型。
(記憶部40)
記憶部40係藉由例如RAM(Random Access Memory,隨機存取記憶體)、快閃記憶體(Flash Memory)等半導體記憶體元件、或HDD(Hard Disk Drive,硬碟驅動機)、SSD(Solid State Drive,固體狀態驅動機)、光碟等記憶裝置所實現。在該記憶部40係記憶各種程式或各種資料等。
在本實施形態中,記憶部40係記憶身體尺寸測定用的APP。此外,記憶部40係記憶在各點所被分配的號碼。此外,記憶部40係記憶隨機圖案的確認用的已知的虛擬隨機圖案。此外,記憶部40係記憶每個尺寸圖案的計測演算法。此外,記憶部40係記憶穿上新型連身衣ZS的使用者U的身體的測定值(腰部或臀部的周圍等)、或所生成的3D人體模型。此外,記憶部40係除了前述資料以外,亦記憶實施形態之處理所使用的資料、或作為處理的結果所得的資料等。
[3.處理順序]
接著,使用圖5,說明藉由實施形態之終端裝置10所為之處理順序。圖5係示出實施形態之處理順序的流程圖。其中,以下所示之處理順序係藉由終端裝置10的控制部30被反覆執行。
如圖5所示,終端裝置10的控制部30係使用攝像部15,掃描穿上新型連身衣ZS的使用者U的全身(步驟S101)。新型連身衣ZS(衣裝)係使用標準低成本的衣服印刷技術(數位昇華印刷)所製造之具伸縮性的合身連身衣。衣裝係包覆全身(將臉部/頭部除外)且由緊身褲與上衣的二個部分所構成。在本實施形態中,控制部30係在開始掃描之前,確認使用者U正確穿上衣裝,提供用以誘導至最適立位的教導、設計圖、互動式的檢核、聲音導引。接著,控制部30係在用以掃描使用者U的「預設」模式中,對站立在載置於置放在平面桌上的瓦楞紙製的支架的終端裝置10的背面攝影機之前的使用者U,導引為以各種角度旋轉身體。導引係藉由聲音輸出所為之聲音導引。其中,亦可為使用終端機的畫面顯示或光元件的導引。使用者U係透過掃描全體而維持一貫的身體的拍照姿勢,且各照片被攝影的期間為靜止。接著,控制部30係使用攝像部15,由各種角度,對12枚照片攝影。
接著,終端裝置10的控制部30係對藉由掃描被攝影到的使用者U的全身的照片進行畫像處理(步驟S102)。在本實施形態中,控制部30係將從各種角度被攝影到之穿上衣裝的使用者U的照片(畫像)作為基本輸入資料,且偵測包覆衣裝的點圖案進行辨識,藉此檢測畫像內的人物。此外,控制部30亦可檢測被攝影到的畫像內的臉部或眼睛。在衣裝係有包覆表面的大部分的點花樣的圖案,配置成密集的正六角形(蜂巢狀)。亦即,控制部30係進行畫像處理,俾以辨識有為衣裝的點(新型連身衣ZS的新型標記M1、M2)的可能性的較小圓形/橢圓型的「球團」(blob)。各點係「中實」(solid)或「中空」(hollow)的任一者,使用虛擬隨機演算法作選擇,在衣裝全體列印出大致同數的中實與中空的點。接著,控制部30係藉由分析衣裝的任意部位的點的圖案,來推測正在觀看衣裝的哪個部分。此外,控制部30係除了點的位置之外,處理各照片來特定畫像內的人物的剪影(輪廓)。
接著,終端裝置10的控制部30係根據在各畫像圖框被檢測到的點及剪影的位置,進行3D擬合(步驟S103)。在本實施形態中,控制部30係藉由3D擬合演算法,計算正確適配於在各畫像圖框被檢測到的點及剪影的位置的人體模型參數、及相對的攝影機拍照姿勢的集合。具體而言,控制部30係同時推定使用者U的身體的形狀的3D模型、使用者U的身體的各點的位置、對使用者U的身體的攝影機的位置與方向、及映照在各畫像的身體拍照姿勢。此時,控制部30係使用反覆順序,一邊調整全部參數(由最初的推測開始),一邊將各畫像的各點的預測位置與觀測位置之間的像素距離最小化。其中,若在一個或複數畫像圖框檢測出剪影,該等亦最小化。
[3-1.畫像處理順序]
在此,使用圖6,說明實施形態之畫像處理順序。圖6係示出實施形態之畫像處理順序的流程圖。其中,以下所示之處理順序係藉由終端裝置10的控制部30反覆執行。
如圖6所示,終端裝置10的檢測部31係藉由攝像部15被攝影到穿上新型連身衣ZS的使用者U的全身時,由被攝影到的畫像,檢測連同新型連身衣ZS一起作伸縮的計測標記亦即點(新型連身衣ZS的新型標記M1、M2)(步驟S201)。
接著,終端裝置10的分類部32係將新型連身衣ZS的各點分類為中實、中空、不明的任一者(步驟S202)。例如,分類部32係被攝影到的畫像所包含的新型人體新型連身衣ZSZS的新型標記M1、M2分類為中實、中空、不明的任一者。
接著,終端裝置10的形成部33係進行連同新型連身衣ZS一起作伸縮的計測標記亦即點的相對的位置分析,而形成點的叢集(步驟S203)。例如,形成部33係分析在各局部畫像近旁被檢測到的點的相對的位置,形成適合所預想的蜂巢(正六角形)圖案的點的叢集。
接著,終端裝置10的確認部34係確認所形成的叢集的點的隨機圖案是否與已知的隨機圖案一致(步驟S204)。例如,確認部34係考慮到所形成的各叢集對被使用在衣裝的印刷的已知的虛擬隨機圖案是否一致、或旋轉對稱性之後再作確認。由於一部分叢集過小而無法取得一致、或由於包含無效的點而無法辨識,因此在該階段被拒絕。
接著,終端裝置10的分配部35係針對所形成的叢集,在各點分配用以在衣裝上作識別的單義的號碼(步驟S205)。例如,分配部35係針對未被確認部34拒絕的剩下的叢集,在各點分配用以在衣裝上作識別的單義的號碼。
接著,終端裝置10的適用部36係根據所形成的叢集,判定備有複數尺寸圖案的新型連身衣ZS的尺寸圖案,在按每個尺寸圖案而設的計測演算法之中,適用對應被判定出的尺寸圖案的計測演算法(步驟S206)。
接著,終端裝置10的特定部37係取得所被分配的號碼,設定在預定的座標位置,且特定剪影(步驟S207)。例如,特定部37係取得被檢測到的各點的像素座標的集合及對應的數值識別碼,根據各點的像素座標的集合及對應的數值識別碼來特定剪影。
[3-2.3D擬合處理順序]
在此,使用圖7,說明實施形態之3D擬合處理順序。圖7係示出實施形態之3D擬合處理順序的流程圖。其中,以下所示之處理順序係藉由終端裝置10的控制部30反覆執行。
如圖7所示,終端裝置10的生成部38係進行最初的推測,作為3D擬合演算法中的第1擬合程序(步驟S301)。例如,生成部38係由平均的身體的形式開始,假想身體的各點的「預設」的位置,檢測與擬合演算法所檢測到的畫像資料一致的相對的攝影機拍照姿勢的集合。反覆此而使其收斂。此時,生成部38係為了使收斂高速化,在演算法輸入使用者U的性別、身高、體重、使用者U的拍照姿勢(由對應的拍照姿勢中作選擇)等追加資訊(可利用的情形下)。
接著,終端裝置10的生成部38係進行點雲擬合,作為3D擬合演算法中的第2擬合程序(步驟S302)。例如,生成部38係由上述的最初的推測開始,反覆調整各點的3D位置與攝影機的拍照姿勢的推定值,且使與在各畫像圖框被檢測到的點的位置的一致提升(光束平差)。接著,生成部38係將參數化人體模型(SMPL)的參數最適化,且將由各3D點位置至網格的表面的距離最小化,藉此執行3D人體模型的初期擬合。
接著,終端裝置10的生成部38係進行人體擬合,作為3D擬合演算法中的第3擬合程序(步驟S303)。例如,生成部38係另外調整參數化人體模型(SMPL)的參數,將各畫像的預測點位置與觀測點位置之間的距離最小化。此外,若在衣裝的穿著方法產生不一致,若將衣料局部扭擰或拉伸,有在身體未預期的場所顯示點的可能性,因此視需要而使點在身體的表面上移動。此外,剪影資料係在該階段包含在擬合程序。擬合程序係反覆性,按照「由粗者而細者」的處理戰略。在該戰略中,最初推定最重要的模型參數的子集合,隨著演算法進展,被導入追加的參數。在擬合的最後步驟中,係可進行模型的「動態」變化,亦即畫像圖框間的手腳的動作。
[4.變形例]
上述終端裝置10及資訊提供裝置100可除了上述實施形態以外,亦以各種不同形態實施。因此,以下說明實施形態的變形例。
在上述之實施形態中,關於點(新型連身衣ZS的新型標記M1、M2)的顏色與背景色的選定,係容許彈性。例如,容許取代圓形的點而使用正方形或六角形、或使用顏色以區分複數種類的點或其他幾何學模樣等各種設計的變化。不限於點本體,關於中空的形狀或顏色亦同。此外,關於固定標記(基準標記RM)的顏色與背景色的選定亦同。此外,在上述之實施形態中,例示平均每1個6mm的新型標記M1、M2,惟實際上,點或中空、固定標記亦可為任意尺寸。
此外,在上述之實施形態中,終端裝置10所執行的處理的一部分或全部實際上亦可由資訊提供裝置100執行。例如,亦可在伺服器上(資訊提供裝置100側)完結處理。此時,設為在資訊提供裝置100備有上述實施形態中的終端裝置10的功能者。
[5.效果]
如上所述,本案之終端裝置10係具備:進行連同衣裝(新型連身衣ZS)一起作伸縮的計測標記亦即點(新型標記M1、M2)的相對的位置分析,形成點的叢集的形成部33;及根據叢集,生成3D模型的生成部38。
此外,本案之終端裝置10係另外具備:在叢集與點分配號碼的分配部35;及取得所被分配的號碼,設定在預定的座標位置,且特定剪影的特定部37。接著,生成部38係根據所被特定出的剪影,生成3D模型。
此外,形成部33係由衣裝的點圖案形成六角形的叢集,增加六角形的叢集且形成單義的蜂巢構造。接著,分配部35係由蜂巢構造,在叢集與點分配號碼。
此外,在衣裝的全體列印有中實的點與中空的點,作為點。
此外,本案之終端裝置10係另外具備:將衣裝的各點分類為中實、中空、不明的任一者的分類部32;及確認所形成的叢集的點的隨機圖案與已知的隨機圖案是否一致的確認部34。
此外,在衣裝,為了特定尺度尺寸,有別於點,以預定的數量在預定的位置定點設置有不作伸縮的固定標記(基準標記RM)。
此外,預定的位置與數量係對衣裝的全體攝影時在各視野角攝影時,必定包含固定標記的位置與數量。
此外,預定的位置係相當於衣裝的胸部、背部、腿部的位置。接著,預定的數量為4點以上。
此外,有別於點,在固定標記的周邊設有伸縮素材區。
此外,本案之終端裝置10係另外具備:在衣裝攝影時,根據叢集,判定備有複數尺寸圖案的衣裝的尺寸圖案,在按每個尺寸圖案而設的計測演算法之中,適用對應被判定出的尺寸圖案的計測演算法的適用部36。
藉由上述各處理的任一者或組合,可使用身體尺寸測定用衣服,更高精度地作成使用者的身體的形狀的3D模型。
[6.硬體構成]
此外,上述實施形態之終端裝置10或資訊提供裝置100係藉由例如圖8所示之構成的電腦1000來實現。以下列舉終端裝置10為例來作說明。圖8係示出硬體構成之一例的圖。電腦1000係與輸出裝置1010、輸入裝置1020相連接,具有運算裝置1030、一次記憶裝置1040、二次記憶裝置1050、輸出I/F(Interface,介面)1060、輸入I/F1070、網路I/F1080藉由匯流排1090而相連接的形態。
運算裝置1030係根據被儲存在一次記憶裝置1040或二次記憶裝置1050的程式、或由輸入裝置1020所讀出的程式等進行動作,且執行各種處理。運算裝置1030係由例如CPU(Central Processing Unit,中央處理單元)、MPU(Micro Processing Unit,微處理單元)、ASIC (Application Specific Integrated Circuit,應用特定積體電路)或FPGA(Field Programmable Gate Array,現場可程式閘陣列)等來實現。
一次記憶裝置1040係RAM(Random Access
Memory,隨機存取記憶體)等一次性記憶運算裝置1030使用在各種運算的資料的記憶體裝置。此外,二次記憶裝置1050係登錄運算裝置1030使用在各種運算的資料、或各種資料庫的記憶裝置,藉由ROM(Read Only Memory,唯讀記憶體)、HDD(Hard Disk Drive,硬碟驅動機)、SSD(Solid State Drive,固體狀態驅動機)、快閃記憶體等來實現。二次記憶裝置1050亦可為內置儲存體,亦可為外接儲存體。此外,二次記憶裝置1050亦可為USB記憶體或SD(Secure Digital,保全數位)記憶卡等可拆卸記憶媒體。此外,二次記憶裝置1050亦可為雲端儲存體(線上儲存體(online storage))或NAS(Network Attached Storage,網路附接儲存器)、檔案伺服器等。
輸出I/F1060係用以對顯示器、投影機、及印表機等輸出各種資訊的輸出裝置1010傳送成為輸出對象的資訊的介面,藉由例如USB(Universal Serial Bus,通用串列匯流排)或DVI(Digital Visual Interface,數位視覺介面)、HDMI(註冊商標)(High Definition Multimedia
Interface,高解析度多媒體介面)等規格的連接器來實現。此外,輸入I/F1070係用以由滑鼠、鍵盤、輔助鍵盤(keypad)、按鍵、及掃描器等各種輸入裝置1020接收資訊的介面,例如藉由USB等來實現。
此外,輸出I/F1060及輸入I/F1070亦可分別以無線而與輸出裝置1010及輸入裝置1020相連接。亦即,輸出裝置1010及輸入裝置1020亦可為無線機器。
此外,輸出裝置1010及輸入裝置1020亦可一體化如觸控面板。此時,輸出I/F1060及輸入I/F1070亦可一體化為輸出入I/F。
其中,輸入裝置1020亦可為例如由CD(
Compact Disc,光碟)、DVD(Digital Versatile Disc,數位影音光碟)、PD(Phase change rewritable Disk,相變型可複寫光碟)等光學記錄媒體、MO(Magneto-Optical disk,磁光碟)等光磁性記錄媒體、磁帶媒體、磁性記錄媒體、或半導體記憶體等讀出資訊的裝置。
網路I/F1080係透過網路N,由其他機器接收資料而送至運算裝置1030,此外,透過網路N,將運算裝置1030所生成的資料傳送至其他機器。
運算裝置1030係透過輸出I/F1060或輸入I/F 1070,進行輸出裝置1010或輸入裝置1020的控制。例如,運算裝置1030係由輸入裝置1020或二次記憶裝置1050將程式載入在一次記憶裝置1040上,且執行所載入的程式。
例如,若電腦1000作為終端裝置10發揮功能,電腦1000的運算裝置1030係藉由執行被載入在一次記憶裝置1040上的程式,實現控制部30的功能。此外,電腦1000的運算裝置1030亦可將透過網路I/F1080而由其他機器取得的程式載入於一次記憶裝置1040上,且執行所載入的程式。此外,電腦1000的運算裝置1030亦可透過網路I/F1080而與其他機器合作,將程式的功能或資料等由其他機器的其他程式叫出加以利用。
[7.其他]
以上說明了本案的實施形態,惟並非為藉由該等實施形態的內容來限定本發明者。此外,前述構成要素係包含該領域熟習該項技術者可輕易思及者、實質相同者、所謂均等範圍者。此外,前述構成要素係可適當組合。此外,可在未脫離前述實施形態的要旨的範圍內進行構成要素的各種省略、置換或變更。
此外,亦可在上述實施形態中所說明的各處理之中,手動進行作為自動進行者來作說明的處理的全部或一部分,或者亦可以周知方法自動進行作為手動進行者所說明的處理的全部或一部分。此外,關於包含上述文書中或圖面中所示之處理順序、具體名稱、各種資料或參數的資訊,除了特別情況,可任意變更。例如,各圖所示之各種資訊並非侷限於圖示的資訊。
此外,圖示之各裝置的各構成要素係功能概念者,並非必定在物理上構成為如圖所示。亦即,各裝置的分散/統合的具體形態並非侷限於圖示者,可將其全部或一部分,按照各種負荷或使用狀況等,以任意單位作功能上或物理上分散/統合而構成。
例如,上述之資訊提供裝置100亦可以複數伺服器電腦實現,此外,可依功能,以API(Application Programming Interface,應用程式介面)或網路運算等叫出外部的平台等來實現等,構成係可彈性變更。
此外,上述之實施形態及變形例係可在不使處理內容發生矛盾的範圍內作適當組合。
此外,上述之「部(section、module、unit)」係可改讀為「手段」或「電路」等。例如,取得部係可改讀為取得手段或取得電路。
1:資訊處理系統
10:終端裝置
11:通訊部
12:顯示部
13:輸入部
14:測位部
15:攝像部
20:感測器部
21:加速度感測器
22:陀螺儀感測器
23:氣壓感測器
24:氣溫感測器
25:聲音感測器
26:光感測器
27:磁性感測器
30:控制部
31:檢測部
32:分類部
33:形成部
34:確認部
35:分配部
36:適用部
37:特定部
38:生成部
40:記憶部
100:資訊提供裝置
1000:電腦
1010:輸出裝置
1020:輸入裝置
1030:運算裝置
1040:一次記憶裝置
1050:二次記憶裝置
1060:輸出I/F(Interface,介面)
1070:輸入I/F
1080:網路I/F
1090:匯流排
FM:舊型標記
FS:舊型連身衣
M1,M2:新型標記
N:網路
RM:基準標記
U:使用者
ZS:新型連身衣
[圖1]係示出實施形態之身體尺寸測定方法的概要的說明圖。
[圖2]係示出舊型連身衣(bodysuit)與新型連身衣之一例的圖。
[圖3]係示出舊型連身衣與新型連身衣的比較表的圖。
[圖4]係示出實施形態之終端裝置的構成例的圖。
[圖5]係示出實施形態之處理順序的流程圖。
[圖6]係示出實施形態之畫像處理順序的流程圖。
[圖7]係示出實施形態之3D擬合處理順序的流程圖。
[圖8]係示出硬體構成之一例的圖。
10:終端裝置
11:通訊部
12:顯示部
13:輸入部
14:測位部
15:攝像部
20:感測器部
21:加速度感測器
22:陀螺儀感測器
23:氣壓感測器
24:氣溫感測器
25:聲音感測器
26:光感測器
27:磁性感測器
30:控制部
31:檢測部
32:分類部
33:形成部
34:確認部
35:分配部
36:適用部
37:特定部
38:生成部
40:記憶部
Claims (12)
- 一種資訊處理裝置,其特徵為: 具備: 形成部,其係進行作為連同衣裝一起作伸縮的計測標記的點(dot)的相對的位置分析,來形成前述點的叢集(cluster);及 生成部,其係根據前述叢集,生成3D模型。
- 如請求項1之資訊處理裝置,其中,另外具備: 分配部,其係在前述叢集與前述點分配號碼;及 特定部,其係取得所被分配的號碼,設定在預定的座標位置,且特定剪影, 前述生成部係根據所被特定出的剪影,生成前述3D模型。
- 如請求項2之資訊處理裝置,其中,前述形成部係由前述衣裝的點圖案形成六角形的叢集,增加前述六角形的叢集,且形成單義的蜂巢構造, 前述分配部係由前述蜂巢構造,在前述叢集與前述點分配號碼。
- 如請求項1或請求項3之資訊處理裝置,其中,在前述衣裝的全體列印有中實的點與中空的點,作為前述點。
- 如請求項4之資訊處理裝置,其中,另外具備: 分類部,其係將前述衣裝的各點分類為中實、中空、不明的任一者;及 確認部,其係確認所形成的叢集的點的隨機圖案是否與已知的隨機圖案一致。
- 如請求項1或請求項3之資訊處理裝置,其中,在前述衣裝,為了特定尺度尺寸,有別於前述點,以預定的數量在預定的位置定點設置有不作伸縮的固定標記。
- 如請求項6之資訊處理裝置,其中,前述預定的位置與數量係在對前述衣裝的全體攝影時在各視野角攝影時,必定包含前述固定標記的位置與數量。
- 如請求項6之資訊處理裝置,其中,前述預定的位置係相當於前述衣裝的胸部、背部、腿部的位置, 前述預定的數量為4點以上。
- 如請求項6之資訊處理裝置,其中,有別於前述點,在前述固定標記的周邊係設有伸縮素材區。
- 如請求項1或請求項3之資訊處理裝置,其中,另外具備: 適用部,其係在前述衣裝攝影時,根據前述叢集的分析,判定備有複數尺寸圖案的前述衣裝的尺寸圖案,在按每個尺寸圖案而設的計測演算法之中,適用對應被判定出的尺寸圖案的計測演算法。
- 一種資訊處理方法,其係資訊處理裝置所執行的資訊處理方法,其特徵為: 包含: 形成工程,其係進行作為連同衣裝一起作伸縮的計測標記的點(dot)的相對的位置分析,來形成前述點的叢集(cluster);及 生成工程,其係根據前述叢集,生成3D模型。
- 一種資訊處理程式,其係用以使電腦執行以下順序: 形成順序,其係進行作為連同衣裝一起作伸縮的計測標記的點(dot)的相對的位置分析,來形成前述點的叢集(cluster);及 生成順序,其係根據前述叢集,生成3D模型。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
WOPCT/JP2021/009350 | 2021-03-09 | ||
PCT/JP2021/009350 WO2022190217A1 (ja) | 2021-03-09 | 2021-03-09 | 情報処理装置、情報処理方法及び情報処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202248871A true TW202248871A (zh) | 2022-12-16 |
TWI819512B TWI819512B (zh) | 2023-10-21 |
Family
ID=83226438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111108248A TWI819512B (zh) | 2021-03-09 | 2022-03-07 | 資訊處理裝置、資訊處理方法及資訊處理程式 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20240153204A1 (zh) |
EP (1) | EP4306903A1 (zh) |
JP (1) | JP7169489B1 (zh) |
CN (1) | CN116964625A (zh) |
CA (1) | CA3212839A1 (zh) |
TW (1) | TWI819512B (zh) |
WO (1) | WO2022190217A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003269936A (ja) * | 2002-03-19 | 2003-09-25 | Sanyo Electric Co Ltd | 自動採寸方法 |
US7720259B2 (en) * | 2005-08-26 | 2010-05-18 | Sony Corporation | Motion capture using primary and secondary markers |
US20120095589A1 (en) * | 2010-10-15 | 2012-04-19 | Arkady Vapnik | System and method for 3d shape measurements and for virtual fitting room internet service |
CN103514350A (zh) * | 2012-06-27 | 2014-01-15 | 富泰华工业(深圳)有限公司 | 具有虚拟试衣功能的电子装置及虚拟试衣方法 |
EP3511903A4 (en) * | 2016-09-12 | 2019-10-02 | Panasonic Intellectual Property Management Co., Ltd. | DEVICE FOR PRODUCING A THREE-DIMENSIONAL MODEL AND METHOD FOR GENERATING A THREE-DIMENSIONAL MODEL |
CA3095732C (en) * | 2018-03-30 | 2023-08-29 | ZOZO, Inc. | Size measuring system |
-
2021
- 2021-03-09 US US18/280,635 patent/US20240153204A1/en active Pending
- 2021-03-09 CN CN202180095356.6A patent/CN116964625A/zh active Pending
- 2021-03-09 EP EP21930074.6A patent/EP4306903A1/en active Pending
- 2021-03-09 WO PCT/JP2021/009350 patent/WO2022190217A1/ja active Application Filing
- 2021-03-09 JP JP2022517318A patent/JP7169489B1/ja active Active
- 2021-03-09 CA CA3212839A patent/CA3212839A1/en active Pending
-
2022
- 2022-03-07 TW TW111108248A patent/TWI819512B/zh active
Also Published As
Publication number | Publication date |
---|---|
CA3212839A1 (en) | 2022-09-15 |
EP4306903A1 (en) | 2024-01-17 |
JPWO2022190217A1 (zh) | 2022-09-15 |
CN116964625A (zh) | 2023-10-27 |
TWI819512B (zh) | 2023-10-21 |
WO2022190217A1 (ja) | 2022-09-15 |
US20240153204A1 (en) | 2024-05-09 |
JP7169489B1 (ja) | 2022-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10043068B1 (en) | Body modeling and garment fitting using an electronic device | |
US8655053B1 (en) | Body modeling and garment fitting using an electronic device | |
CN107111833B (zh) | 快速3d模型适配和人体测量 | |
US20120095589A1 (en) | System and method for 3d shape measurements and for virtual fitting room internet service | |
CN102439603B (zh) | 用于三维建模的采样方法 | |
US20220188897A1 (en) | Methods and systems for determining body measurements and providing clothing size recommendations | |
CN108140105A (zh) | 具有脸部表情检测能力的头戴式显示器 | |
TWI790369B (zh) | 尺寸測定系統 | |
US20220198780A1 (en) | Information processing apparatus, information processing method, and program | |
CN110074788B (zh) | 一种基于机器学习的身体数据获取方法和装置 | |
US20150269759A1 (en) | Image processing apparatus, image processing system, and image processing method | |
KR102406104B1 (ko) | 다중 검출을 갖춘 증강 현실에 기초한 의류의 가상 착용 방법 및 장치 | |
US20220358573A1 (en) | Methods and systems for evaluating a size of a garment | |
KR20160110070A (ko) | 전자 장치 및 그 제어 방법 | |
CN106235486B (zh) | 基于三维人体扫描仪的个性化制衣方法 | |
JP6640294B1 (ja) | 複合現実システム、プログラム、携帯端末装置、及び方法 | |
CN107430542A (zh) | 获取图像和制作服装的方法 | |
CN111291746A (zh) | 影像处理系统及影像处理方法 | |
US20160055682A1 (en) | Three-dimensional modeling method and electronic apparatus thereof | |
TWI819512B (zh) | 資訊處理裝置、資訊處理方法及資訊處理程式 | |
WO2016115536A2 (en) | Determining three-dimensional information from projections or placement of two-dimensional patterns | |
TWI764393B (zh) | 壓力織物的製造方法 | |
JP2017184025A (ja) | 通信端末、画像通信システム、画像送信方法、画像表示方法、及びプログラム | |
US20160110886A1 (en) | Information processing apparatus and clothes proposing method | |
US10620436B2 (en) | Head-mounted apparatus |