KR102501998B1 - Method for manufacturing of non-contact personalized insole using smart terminals - Google Patents

Method for manufacturing of non-contact personalized insole using smart terminals Download PDF

Info

Publication number
KR102501998B1
KR102501998B1 KR1020220001528A KR20220001528A KR102501998B1 KR 102501998 B1 KR102501998 B1 KR 102501998B1 KR 1020220001528 A KR1020220001528 A KR 1020220001528A KR 20220001528 A KR20220001528 A KR 20220001528A KR 102501998 B1 KR102501998 B1 KR 102501998B1
Authority
KR
South Korea
Prior art keywords
plantar surface
user
face
insole
foot
Prior art date
Application number
KR1020220001528A
Other languages
Korean (ko)
Inventor
이태용
Original Assignee
주식회사 휴먼퍼포먼스랩
이화여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 휴먼퍼포먼스랩, 이화여자대학교 산학협력단 filed Critical 주식회사 휴먼퍼포먼스랩
Priority to KR1020220001528A priority Critical patent/KR102501998B1/en
Application granted granted Critical
Publication of KR102501998B1 publication Critical patent/KR102501998B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing
    • AHUMAN NECESSITIES
    • A43FOOTWEAR
    • A43DMACHINES, TOOLS, EQUIPMENT OR METHODS FOR MANUFACTURING OR REPAIRING FOOTWEAR
    • A43D1/00Foot or last measuring devices; Measuring devices for shoe parts
    • A43D1/02Foot-measuring devices
    • AHUMAN NECESSITIES
    • A43FOOTWEAR
    • A43DMACHINES, TOOLS, EQUIPMENT OR METHODS FOR MANUFACTURING OR REPAIRING FOOTWEAR
    • A43D8/00Machines for cutting, ornamenting, marking or otherwise working up shoe part blanks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Abstract

The present invention relates to a non-face-to-face customized insole manufacturing method using a smart terminal. The non-face-to-face customized insole manufacturing method using a smart terminal according to the present invention comprises the steps of: receiving a video of the user's soles captured by a user and user information through the user's smart terminal with a dedicated application program installed; extracting 2D images in frame units from the sole video, extracting contour data and arch depth data of a plantar surface by using the extracted 2D images, and generating a 3D plantar surface model by reflecting the user's foot size in the extracted contour data and arch depth data of the plantar surface; performing a gait simulation by using the plantar surface 3D model to collect behavior change data including contact pressure and strain rate of the plantar surface; and reflecting the behavior change data based on the 3D model to determine the hardness and thickness of materials for each contact part for insole production and reflecting the same in customized insole production. According to the present invention, it is possible to determine the quantitative values of each part with just the 2D images of the foot, making it possible to manufacture customized insoles optimized for the user's soles.

Description

스마트 단말기를 이용한 비대면 맞춤형 인솔 제조방법{Method for manufacturing of non-contact personalized insole using smart terminals}Method for manufacturing non-contact personalized insole using smart terminals}

본 발명은 스마트 단말기를 이용한 비대면 맞춤형 인솔 제조방법에 관한 것으로, 보다 구체적으로는 대면접촉이 없이 스마트 단말기로 촬영된 동영상 만으로 발바닥의 생체역학적 특징을 파악하여 최적의 인솔을 제조할 수 있는 스마트 단말기를 이용한 비대면 맞춤형 인솔 제조방법에 관한 것이다.The present invention relates to a non-face-to-face customized insole manufacturing method using a smart terminal, and more specifically, a smart terminal capable of manufacturing an optimal insole by grasping the biomechanical characteristics of the sole of the foot only with a video taken by the smart terminal without face-to-face contact. It relates to a non-face-to-face customized insole manufacturing method using.

발은 인체의 활동에 의해 지속적으로 압력이 가해지는 부위이며, 체중, 신발 상태 등에 의해 다양한 문제점이 나타날 수 있다.The foot is a part to which pressure is continuously applied due to human activity, and various problems may appear due to weight, shoe condition, and the like.

발은 심장에서 가장 멀리 떨어져 있어 혈액 순환 장애를 비롯하여 여러 가지의 부조화를 일으키기 쉬운 신체적 특성도 가지고 있으며, 특히, 심장에서 멀어짐에 따라 혈압이 점차 저하되어 혈액 순환의 장애가 발생할 수 있다.Since the feet are farthest from the heart, they have physical characteristics that are prone to various incongruities including blood circulation disorders.

혈액 순환 장애로 인해 인체 각 부위의 고유 기능이 적절하게 발휘되지 않을 수 있으며, 이로 인해 다양한 질병이 파생될 수도 있다.Due to blood circulation disorders, the unique functions of each part of the human body may not be properly exercised, which may result in various diseases.

발은 상기와 같은 신체적 특성으로 인해 인체의 건강과 직결된 부위라고 할 수 있으며, 따라서 개인의 특성에 맞는 신발은 인체의 건강을 증진시키는데 중요한 역할을 한다고 할 것이다.The foot can be said to be a part directly related to the health of the human body due to the above physical characteristics, and therefore, it will be said that shoes suitable for the individual's characteristics play an important role in promoting the health of the human body.

통상적으로 신발은 사람의 평균 발 모양을 고려하여 대량으로 생산되므로, 각 개인의 발바닥 특성이 반영될 수 없으며, 발바닥의 압력이 효과적으로 분산되지 않으므로 지속적인 사용에 의해 쿠션력이 저하되어 발바닥 통증이 유발될 수 있다.Normally, shoes are mass-produced considering the average foot shape of a person, so the characteristics of each person's sole cannot be reflected, and since the pressure of the sole is not effectively distributed, the cushioning power is reduced by continuous use, which can cause plantar pain. can

이와 같은 양산형 신발의 문제점으로 인해, 점차 맞춤형 신발에 대한 수요가 증가하고 있으며 맞춤형 신발 생산을 위한 다양한 기술이 개발되고 있다.Due to such problems of mass-produced shoes, demand for customized shoes is gradually increasing, and various technologies for producing customized shoes are being developed.

종래의 인솔 생산방식은 채움재를 이용한 석고 캐스팅, 고가의 3차원 측정기, 복잡한 유통구조 등으로 인해 경제성 확보 및 대중화에 어려움이 있었다.The conventional insole production method had difficulties in securing economic feasibility and popularization due to plaster casting using a filling material, expensive 3D measuring machine, and complicated distribution structure.

따라서, 인솔 제조에 있어서 사용자 요구에 부응하면서도 경제성 및 편의성을 확보하기 위한 다양한 방안이 강구되고 있는 실정에 있다. Therefore, in the manufacture of insoles, various measures are being sought to ensure economic feasibility and convenience while meeting user needs.

대한민국 공개특허공보 제10-2020-0023880호(2020.03.06.)Republic of Korea Patent Publication No. 10-2020-0023880 (2020.03.06.)

따라서, 본 발명의 목적은 상기한 종래의 문제점을 극복할 수 있는 스마트 단말기를 이용한 비대면 맞춤형 인솔 제조방법을 제공하는 데 있다.Accordingly, an object of the present invention is to provide a non-face-to-face customized insole manufacturing method using a smart terminal that can overcome the above conventional problems.

본 발명의 다른 목적은 사용자의 스마트 단말기를 이용해서 촬영된 발바닥 동영상을 이용하여 비대면으로 맞춤형 인솔 제작이 가능한 스마트 단말기를 이용한 비대면 맞춤형 인솔 제조방법을 제공하는 데 있다.Another object of the present invention is to provide a non-face-to-face customized insole manufacturing method using a smart terminal capable of manufacturing a non-face-to-face customized insole using a sole video captured using a user's smart terminal.

상기한 기술적 과제들의 일부를 달성하기 위한 본 발명의 구체화에 따라, 본 발명에 따른 스마트 단말기를 이용한 비대면 맞춤형 인솔 제조방법은, 전용 어플리케이션 프로그램이 설치된 사용자의 스마트 단말기를 통하여, 사용자가 촬영한 사용자의 발바닥 동영상과 사용자 정보를 입력받는 단계와; 상기 발바닥 동영상으로부터 프레임 단위로 2D 이미지들을 추출하고, 추출된 2D 이미지들을 이용하여 족저면의 윤곽데이터와 아치깊이 데이터를 추출하고, 추출된 족저면의 윤곽데이터와 아치깊이 데이터에 상기 사용자의 발사이즈를 반영하여 족저면 3D 모델을 생성하는 단계와; 상기 족저면 3D 모델을 이용한 보행 시뮬레이션을 수행하여, 족저면의 접촉압력 및 변형률을 포함하는 거동 변화 데이터를 수집하는 단계와; 상기 3D 모델을 기반으로 상기 거동 변화 데이터를 반영하여, 인솔 제작을 위한 각 접촉 부위별 재료의 경도 및 두께를 정하여 사용자 맞춤형 인솔 제작에 반영하는 단계를 구비한다.According to the embodiment of the present invention for achieving some of the above technical problems, the non-face-to-face customized insole manufacturing method using a smart terminal according to the present invention is a user photographed by a user through a user's smart terminal in which a dedicated application program is installed. receiving a video of the sole of the foot and user information; 2D images are extracted frame by frame from the video of the sole of the foot, contour data and arch depth data of the plantar surface are extracted using the extracted 2D images, and foot size of the user is calculated based on the extracted contour data and arch depth data of the plantar surface. generating a plantar surface 3D model by reflecting the; performing a gait simulation using the plantar surface 3D model to collect behavior change data including contact pressure and strain of the plantar surface; A step of reflecting the behavior change data based on the 3D model, determining the hardness and thickness of materials for each contact area for manufacturing an insole, and reflecting the result in manufacturing a user-customized insole is provided.

상기 사용자 정보에는 사용자의 성별, 연령, 사용자의 키와 몸무게, 발사이즈, 통증부위, 당뇨유무에 대한 정보가 포함될 수 있다.The user information may include information on the user's gender, age, height and weight, foot size, pain area, and diabetes.

상기 보행 시뮬레이션은 유한요소법(FEM:Finite Element Method) 시뮬레이션 방식이 적용될 수 있다.For the walking simulation, a finite element method (FEM) simulation method may be applied.

상기 발바닥 동영상은 발바닥을 향하여 반원을 그리면서 촬영하는 방식으로 여러 각도에서 촬영되며, 상기 2D 이미지들은 상기 발바닥을 여러각도에서 촬영한 이미지들로 추출되고, 상기 족저면 3D 모델의 생성은 상기 2D 이미지들 간의 관계를 나타내는 이미지 특징점을 추출하여 3차원 기하구조를 구성하는 SFM(Structure From Motion) 알고리즘을 적용하여 수행될 수 있다.The video of the sole of the foot is captured from various angles by drawing a semicircle toward the sole, and the 2D images are extracted from images of the sole of the foot from various angles. It can be performed by applying a Structure From Motion (SFM) algorithm that extracts image feature points representing the relationship between them and constructs a 3D geometric structure.

상기 인솔 제작시에는, 상기 족저면이 접촉되는 부위를 상기 접촉압력이 집중되고 상기 변형률이 큰 부위인 제1부위와 상기 족저면의 접촉압력이 작고 변형률이 작은 제2부위로 구분하고, 상기 제1부위에는 상기 제2부위보다 경도가 상대적으로 낮고 상대적으로 두꺼운 재질을 적용하고, 상기 제2부위에는 경도가 상대적으로 높고 상대적으로 얇은 재질을 적용하여 접촉압력을 분산시키는 방식으로 인솔을 제조한다. When manufacturing the insole, the part where the plantar surface is in contact is divided into a first part where the contact pressure is concentrated and the strain is large, and a second part where the contact pressure of the plantar surface is small and the strain is small. The insole is manufactured in such a way that contact pressure is dispersed by applying a relatively thick material having a relatively low hardness and relatively thick material to the first part and applying a relatively thin material having a relatively high hardness to the second part.

본 발명에 따르면, 디지털ㅇ비대면으로의 스마트 헬스케어 산업에 대한 기대가 확대됨에 따라 족부의 측정과정을 회사에 방문하지 않고 스마트폰 등의 스마트 단말기에 설치된 전용앱으로 직접 진행하면서 소비자-판매자 사이의 비대면 거래가 가능한 장점이 있으며, 비대면 측정임에도 SFM(Structure From Motion) 기술과 유한요소법을 적용하여 대면 수준 이상의 측정 신뢰성을 확보할 수 있으며, 족부의 2D 이미지만으로도 각 부분의 정량적 수치를 파악하는 것이 가능하여 사용자의 발바닥에 최적화된 맞춤형 인솔의 제조가 가능한 장점이 있다. According to the present invention, as the expectation for the digital non-face-to-face smart healthcare industry expands, the process of measuring the foot is performed directly with a dedicated app installed on a smart terminal such as a smartphone without visiting the company, and the relationship between the consumer and the seller It has the advantage that non-face-to-face transactions are possible, and even though it is non-face-to-face measurement, SFM (Structure From Motion) technology and finite element method can be applied to secure measurement reliability beyond face-to-face level. It is possible to manufacture a customized insole optimized for the sole of the user's foot.

도 1은 본 발명의 일 실시예에 따른 스마트 단말기를 이용한 비대면 맞춤형 인솔 제조 장치의 개략적 블록도이고,
도 2는 도 1의 인솔 제조장치를 이용한 인솔 제조공정 순서도이고,
도 3은 사용자 정보 입력의 예를 나타낸 도면이고,
도 4는 발바닥 촬영된 2D 이미지들의 예를 나타낸 도면이고,
도 5는 보행시의 족저면의 압력중심이동곡선(CoP Trajectory)을 나타낸 도면이고,
도 6은 압력중심이동곡선을 고려한 디자인과 압력중심이동곡선을 고려하지 않은 디자인의 접촉압력 해석결과를 나타낸 도면이고,
도 7은 인솔의 두께 차이에 따른 접촉압력 해석결과를 나타낸 도면이다.
1 is a schematic block diagram of a non-face-to-face customized insole manufacturing device using a smart terminal according to an embodiment of the present invention;
2 is a flow chart of an insole manufacturing process using the insole manufacturing apparatus of FIG. 1;
3 is a diagram showing an example of user information input;
4 is a diagram showing an example of 2D images photographed on the sole of the foot;
5 is a view showing the center of pressure movement curve (CoP Trajectory) of the plantar surface during walking;
6 is a view showing the contact pressure analysis results of a design considering a pressure center movement curve and a design not considering a pressure center movement curve;
7 is a view showing the contact pressure analysis result according to the thickness difference of the insole.

이하에서는 본 발명의 바람직한 실시예가, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 철저한 이해를 제공할 의도 외에는 다른 의도 없이, 첨부한 도면들을 참조로 하여 상세히 설명될 것이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, without any intention other than to provide a thorough understanding of the present invention to those skilled in the art to which the present invention pertains.

도 1은 본 발명의 일 실시예에 따른 스마트 단말기를 이용한 비대면 맞춤형 인솔 제조 장치의 개략적 블록도이고, 도 2는 도 1의 인솔 제조장치를 이용한 비대면 맞춤형 인솔 제조를 위한 제조공정 순서도이다.1 is a schematic block diagram of a non-face-to-face customized insole manufacturing device using a smart terminal according to an embodiment of the present invention, and FIG. 2 is a manufacturing process flow chart for non-face-to-face customized insole manufacturing using the insole manufacturing device of FIG. 1 .

본 발명에서 스마트 단말기는 유무선 인터넷망 또는 유무선 이동통신망을 통한 유무선 통신이 가능하고, 인솔 제조를 위한 전용 어플리케이션 프로그램(이하 '전용앱' 이라 함)이 설치가능한 단말기를 의미할 수 있다. 상기 스마트 단말기는 스마트폰, 태블릿, PDA 등을 포함하여 통상의 기술자에게 잘 알려진 모바일 단말기가 포함될 수 있다. In the present invention, a smart terminal may refer to a terminal capable of wired/wireless communication through a wired/wireless Internet network or a wired/wireless mobile communication network, and capable of installing a dedicated application program (hereinafter referred to as 'dedicated app') for insole manufacturing. The smart terminal may include a mobile terminal well known to those skilled in the art including a smart phone, tablet, PDA, and the like.

도 1 및 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 스마트 단말기를 이용한 비대면 맞춤형 인솔 제조는, 사용자가 스마트 단말기(100)에 설치된 전용앱을 이용하여 발바닥 동영상을 촬영하여 사용자 정보와 함께 인솔서버(200)에 전송하게 되면, 상기 인솔서버(200)에서 상기 동영상을 이용하여 사용자의 족저면 3D 모델을 생성하고, 상기 족저면 3D 모델을 이용한 보행 시뮬레이션을 수행하여, 거동 변화 데이터가 반영된 인솔을 제작하는 과정으로 수행되게 된다. 이에 따라, 사용자 맞춤형 인솔 제작이 가능하게 된다.As shown in FIGS. 1 and 2, in the manufacturing of non-face-to-face customized insole using a smart terminal according to an embodiment of the present invention, the user shoots a video of the sole of the foot using a dedicated app installed on the smart terminal 100. When the information is transmitted to the insole server 200, the insole server 200 generates a 3D model of the plantar surface of the user using the video, and performs a walking simulation using the 3D model of the plantar surface to change behavior. It is performed in the process of manufacturing an insole that reflects the data. Accordingly, it is possible to manufacture a user-customized insole.

우선적으로, 인솔제조를 위해 상기 인솔서버(200)에서는 상기 전용앱을 통하여 사용자가 사용자 단말기(100)를 이용하여 사용자 정보와 사용자가 촬영한 사용자의 발바닥 동영상을 촬영하여 입력하도록 한다(S110).First of all, in order to manufacture an insole, the insole server 200 allows the user to record and input user information and a video of the user's foot using the user terminal 100 through the dedicated app (S110).

상기 사용자 정보는 도 3에 도시된 바와 같이, 사용자의 성별. 연령, 사용자의 키와 몸무게, 발사이즈, 통증부위와 어느 경우에 통증이 느껴지는지, 당뇨유무, 자주 신는 신발의 종류 등에 대한 정보가 포함될 수 있다. As shown in FIG. 3, the user information includes the user's gender. Information such as age, height and weight of the user, foot size, pain area and when the pain is felt, presence or absence of diabetes, types of shoes worn frequently, and the like may be included.

상기 동영상의 촬영은 사용자가 자신의 발바닥을 향하여 반원을 그리며 촬영하도록 하여 발바닥의 모든 부분이 촬영되도록 하며, 이에 따라 발바닥의 윤곽과 아치깊이 등에 대한 정보의 파악이 가능하도록 하게 된다. 이외에도 발바닥의 모든 부분에 대한 촬영이 가능하도록 발바닥의 일측에서 타측으로 천천히 단말기를 이동하면서 촬영하도록 하는 것이 가능하며, 이외에도 다양한 촬영방식이 적용될 수 있다.The video is captured so that the user draws a semicircle toward the sole of the foot so that all parts of the sole are photographed, and accordingly, it is possible to grasp information about the contour of the sole and the depth of the arch. In addition, it is possible to take a picture while moving the terminal slowly from one side of the sole to the other side so that all parts of the sole can be taken, and various other shooting methods can be applied.

사용자는 상기 사용자 단말기(100)를 통하여 상기 사용자 정보와 발바닥 동영상을 촬영하여 상기 인솔서버(200)에 전송하여 입력되도록 하는 것으로 그 역할이 종료된다. 이후의 과정은 상기 인솔서버(200)를 통해 수행된다.The role of the user ends when the user captures the user information and a video of the sole of the foot through the user terminal 100 and transmits the video to the insole server 200 to be input. Subsequent processes are performed through the insol server 200.

상기 인솔서버(200)에서는 상기 사용자 정보와 발바닥 동영상이 수신되면, 상기 발바닥 동영상으로부터 발바닥의 모든 부위가 포함되도록 프레임(Frame) 단위로 2D 이미지들을 추출하게 된다(S120). When the user information and the sole video are received, the insole server 200 extracts 2D images in frame units to include all parts of the sole from the sole video (S120).

상기 2D 이미지들은 도 4에 도시된 바와 같이, 상기 발바닥을 여러각도에서 촬영한 이미지들로 추출되게 된다.As shown in FIG. 4, the 2D images are extracted as images of the sole of the foot taken from various angles.

다음으로, 추출된 2D 이미지를 "SFM(Structure From Motion) 기술을 기반으로 3D 모델링을 진행하여 3D 모델을 생성한다(S130). 상기 족저면 3D 모델의 생성은 상기 2D 이미지들 간의 관계를 나타내는 이미지 특징점을 추출하여 3차원 기하구조를 구성하는 SFM(Structure From Motion) 알고리즘을 적용하여 수행될 수 있다.Next, 3D modeling is performed on the extracted 2D image based on SFM (Structure From Motion) technology to create a 3D model (S130). The generation of the plantar surface 3D model is an image representing the relationship between the 2D images. It can be performed by applying SFM (Structure From Motion) algorithm that extracts feature points and constructs a 3D geometric structure.

SFM 기술은 2차원으로 촬영한 이미지의 모션정보를 이용해, 촬영된 이미지의 카메라 위치와 방향을 역추적한 후, 이미지들과 카메라들의 관계를 구조화하는 알고리즘으로, 하나의 피사체를 다각도로 촬영하여 각 촬영이미지의 고유한 특징점(Feature point)을 생성하고, 각 촬영 장면마다 특징점들과의 관계를 서로 매칭하고 계산해 카메라의 위치를 얻는 기술이다. 즉, 피사체를 여러 각도로 촬영하여 촬영된 2D 이미지들 간의 관계를 계산하여 2D 이미지에서 피사체의 3D 포인트(point)의 위치를 찾아내고, 이렇게 생성된 3D 포인트(point)들이 모여 점군(point cloud)을 생성하고, 이러한 점군(Point cloud)을 통해 3D 모델을 생성하게 된다. SFM technology is an algorithm that structures the relationship between images and cameras after backtracking the position and direction of the camera in the captured image using the motion information of the image captured in 2D. It is a technology to obtain the position of the camera by generating unique feature points of the photographed image, matching and calculating the relationship between the feature points for each photographed scene. That is, the subject is photographed from various angles, and the relationship between the photographed 2D images is calculated to find the position of the 3D point of the subject in the 2D image, and the 3D points thus generated are gathered to form a point cloud. and create a 3D model through this point cloud.

SFM 알고리즘은 오픈 소스 소프트웨어로 2차원 이미지 간의 관계를 나타내는 이미지 특징점을 추출하는 2차원 특징점 추줄, 3차원 기하 구조와 카메라 모션 정보를 추출하는 3차원 복원 과정, 에러를 최소화하여 카메라 모션을 구하는 최적화 과정, 물체의 표면을 복원하는 과정으로 구성되어 있으며, 이러한 SFM 알고리즘 및 SFM 관련 기술은 통상의 기술자에게 잘 알려져 있으므로, 더 이상의 설명을 생략한다.The SFM algorithm is an open source software that extracts 2D feature points that represent the relationship between 2D images, 2D feature point extraction, 3D geometry and camera motion information extraction, 3D restoration process, and camera motion optimization process that minimizes errors. , It consists of a process of restoring the surface of an object, and since these SFM algorithms and SFM-related technologies are well known to those skilled in the art, further description is omitted.

상술한 바와 같이, SFM 기술을 적용하여 추출된 2D 이미지들을 이용하여 족저면의 윤곽 데이터와 아치깊이 데이터를 추출하는 것이 가능하고, 여기에 상기 사용자 정보에 포함된 사용자의 발 사이즈 비율을 반영하게 되면 사용자의 족저면을 가상으로 구현하는 것이 가능하고, 3D 프린팅이 가능할 정도의 족저면 3D 모델을 생성하는 것이 가능하다. As described above, it is possible to extract contour data and arch depth data of the plantar surface using 2D images extracted by applying the SFM technology, and when the user's foot size ratio included in the user information is reflected here It is possible to virtually implement the plantar surface of the user, and it is possible to create a 3D model of the plantar surface that can be 3D printed.

다음으로, 상기 족저면 3D 모델을 이용한 보행 시뮬레이션을 수행하여, 족저면의 접촉압력 및 변형률을 포함하는 거동 변화 데이터를 수집하게 된다(S140).Next, a walking simulation using the plantar surface 3D model is performed to collect behavior change data including contact pressure and strain of the plantar surface (S140).

상기 보행 시뮬레이션은 유한요소법(FEM:Finite Element Method) 시뮬레이션 방식이 적용될 수 있다. For the walking simulation, a finite element method (FEM) simulation method may be applied.

일반적으로, 모델링 데이터의 수치 해석을 위하여 유한요소법(FEM; Finite Elements Method)이 사용되고 있다. 유한요소법은 연속체인 구조물을 유한개의 요소로 분할하여 각기의 영역에 관하여 계산을 해 나가는 수치계산 방법에 해당한다. 특히, 유한요소법은 정확한 이론 해를 구하기 어려운 문제에 대한 수치적인 근사해법으로서, 복잡한 모델을 근사적으로 계산이 가능하다. 따라서, 발전기, 대형 기계, 발전기 고정자, 튜브 등 불특정한 모양으로 이루어진 모델이라도 유한요소법을 이용하여 효과적으로 그 해석을 수행할 수 있는 것으로 알려져 있다. In general, a finite element method (FEM) is used for numerical analysis of modeling data. The finite element method corresponds to a numerical calculation method in which a continuum structure is divided into a finite number of elements and calculations are made for each area. In particular, the finite element method is a numerical approximation solution to a problem in which an accurate theoretical solution is difficult to obtain, and a complex model can be approximated. Therefore, it is known that the analysis can be effectively performed using the finite element method even for models made of unspecified shapes such as generators, large machines, generator stators, and tubes.

이러한 유한요소법에 기초한 해석은, 구조물 전체의 영역을 절점에서 서로 연결된 유한수(finite)의 요소(elements)로 분할하고, 각 요소별 강성행렬(element stiffness matrix)과 요소의 절점에 가해지는 하중벡터(load vector)를 구하고, 구조물 전체 영역의 유한요소 방정식을 구성한 후, 경계조건(boundary condition)을 위 방정식에 반영하여 구조물 전체의 절점변위(nodal displacement)를 구하고, 각 요소별 절점변위로 변환하여 각 요소의 응력 등을 계산함으로써 전체 구조물의 유한요소 해석이 이루어지게 된다.Analysis based on the finite element method divides the entire area of the structure into a finite number of elements connected to each other at the nodes, and the element stiffness matrix for each element and the load vector applied to the nodes of the element After obtaining the load vector and constructing the finite element equation for the entire area of the structure, the boundary condition is reflected in the above equation to obtain the nodal displacement of the entire structure, and converts it into nodal displacement for each element. Finite element analysis of the entire structure is performed by calculating the stress of each element.

이러한 유한요소법 시뮬레이션을 적용하게 되면, 상기 족저면 3D 모델을 통해 족저면에 나타나는 응력, 변형 등의 거동 변화 데이터를 수집할 수 있으며, 이러한 거동 변화 데이터에 근거하여 족저면에 가해지는 변형이나 접촉압력을 알 수 있게 된다.When this finite element method simulation is applied, it is possible to collect behavior change data such as stress and deformation appearing on the plantar surface through the plantar surface 3D model, and based on these behavior change data, deformation or contact pressure applied to the plantar surface will be able to know

사람이 보행 시 도 5의 화살표와 같이 압력중심이동곡선(CoP Trajectory)을 따라 압력이 집중되게 된다. 유한요소법 시뮬레이션을 적용하게 되면, 족저면에 가해지는 변형이나 접촉압력을 알 수 있게 된다.When a person walks, the pressure is concentrated along the CoP Trajectory as shown by the arrow in FIG. 5 . When the finite element method simulation is applied, the deformation or contact pressure applied to the plantar surface can be known.

이후 상기 3D 모델을 기반으로 상기 거동 변화 데이터를 반영하여, 인솔 제작을 위한 각 접촉 부위별 재료의 경도 및 두께를 정하여 사용자 맞춤형 인솔 제작에 반영하게 된다(S150).Then, based on the 3D model, the behavior change data is reflected, and the hardness and thickness of materials for each contact part for insole production are determined and reflected in the production of a user-customized insole (S150).

본 발명에서는, 족저면에 가해지는 압력을 효과적으로 분산시키고자 인솔제조시에 상기 족저면이 접촉되는 부위를 2개 이상의 부분으로 나누어, 접촉압력이 집중되고 변형률이 큰 부위인 제1부위(도 5의 Section1)와 족저면의 접촉압력이 작고 변형률이 작은 제2부위(도 5의 Section2)로 구분하고, 상기 제1부위(도 5의 Section1)에는 상기 제2부위(도 5의 Section2)보다 경도가 상대적으로 낮아 소프트(soft)하고 상대적으로 두꺼운 재질(EVA low density)을 적용하고, 상기 제2부위(도 5의 Section2)에는 제1부위보다 경도가 상대적으로 높아 하드(hard)하고 상대적으로 얇은 재질(EVA medium density)을 적용하여 접촉압력을 분산시키는 방향으로 인솔이 제조되도록 하게 된다. In the present invention, in order to effectively distribute the pressure applied to the plantar surface, when manufacturing the insole, the area where the plantar surface is in contact is divided into two or more parts, and the first area, which is the area where the contact pressure is concentrated and the strain is large (FIG. 5 It is divided into Section 1) and the second part (Section 2 in Fig. 5), which has a small contact pressure on the plantar surface and a small deformation rate, and the first part (Section 1 in Fig. 5) is harder than the second part (Section 2 in Fig. 5) A relatively low soft and relatively thick material (EVA low density) is applied, and the second part (Section 2 in FIG. 5) has a relatively high hardness than the first part and is hard and relatively thin. By applying the material (EVA medium density), the insole is manufactured in the direction of dispersing the contact pressure.

도 6은 접촉압력과 관계없이 족저면이 접촉되는 부위를 하나의 재질로 구성한 경우(Case1)와, 압력중심이동곡선을 고려하여 접촉부위를 2개 이상의 부분으로 나누어 서로 다른 재질로 구성한 경우(Case2)의 유한요소법 해석결과를 나타낸 것이다. 즉 인솔의 압력중심이동곡선을 고려한 디자인(Case2)과 고려하지 않는 디자인(Case1)의 유한요소법(FEM)을 이용한 접촉압력(Cpress)의 해석 결과를 나타낸 것이다.6 shows a case in which the contact area of the plantar surface is made of one material regardless of the contact pressure (Case 1) and a case in which the contact area is divided into two or more parts and made of different materials in consideration of the pressure center movement curve (Case 2). ) shows the analysis result of the finite element method. That is, it shows the analysis results of the contact pressure (Cpress) using the finite element method (FEM) of the design considering the insole's pressure center movement curve (Case 2) and the design not considering it (Case 1).

도 6에 도시된 바와 같이, 족저면이 접촉되는 부위를 하나의 재질(EVA medium density)로 구성한 경우(Case1)에 비해 족저변이 접촉되는 부위를 2개 이상의 부분으로 나누어 서로 다른 재질(EVA low density 와 EVA medium density)로 구성한 경우에 압력중심이동곡선을 따라 접촉압력이 더 낮음을 알 수 있다. 이에 따라 압력중심이동곡선을 고려하여 접촉부위를 2개 이상의 부분으로 나누어 서로 다른 재질로 구성한 경우(Case2)의 인솔을 착용하는 경우에 발과 신발에 가해지는 압력이 비교적 낮을 것으로 예상할 수 있어, 접촉압력으로 인한 발의 피로감이나 통증을 저하시킬 수 있음을 알 수 있다. As shown in FIG. 6, compared to the case where the plantar contact area is made of one material (EVA medium density) (Case 1), the plantar contact area is divided into two or more parts and different materials (EVA low density) are used. and EVA medium density), it can be seen that the contact pressure is lower along the pressure center shift curve. Accordingly, considering the pressure center movement curve, it can be expected that the pressure applied to the feet and shoes will be relatively low when wearing the insole in case the contact area is divided into two or more parts and composed of different materials (Case 2), It can be seen that fatigue or pain in the feet due to contact pressure can be reduced.

도 7은 인솔의 두께 차이에 따른 유한요소법(FEM)을 이용한 접촉압력 해석결과를 나타낸 도면이다. 7 is a view showing the contact pressure analysis results using the finite element method (FEM) according to the thickness difference of the insole.

도 7에 도시된 바와 같이, 접촉압력이 집중되고 변형률이 큰 부위인 제1부위(도 5의 Section1)의 중족부 두께를 6mm,8mm,10mm로 한 경우의 접촉압력 해석결과를 보면, 인솔에 쓰인 재료가 탄성계수가 작은 재질임을 고려하면 접촉압력이 집중되고 변형률이 큰 부위인 제1부위(도 5의 Section1)의 두께가 얇아짐에 따라 접촉압력이 증가한다는 것으로 해석할 수 있다. 즉 인솔이 두꺼울수록 압력분산능력이 좋다는 결과를 보여준다. 하지만 내구성 측면에서 제1부위의 두께를 무한정 두껍게 할 수 없고 상한선을 두어야 하는 점을 고려하면, 인솔의 중족부 두께가 10mm일 때가 가장 최적의 두께로 하여 적용가능 할 것이다. As shown in FIG. 7, looking at the contact pressure analysis results when the thickness of the midfoot part of the first part (Section 1 in FIG. 5), which is the part where the contact pressure is concentrated and the strain is large, is 6mm, 8mm, and 10mm, Considering that the material used is a material with a small modulus of elasticity, it can be interpreted that the contact pressure increases as the thickness of the first region (Section 1 in FIG. In other words, the thicker the insole, the better the pressure dissipation ability. However, in terms of durability, considering that the thickness of the first part cannot be made infinitely thick and an upper limit must be placed, the most optimal thickness of the insole will be applicable when the thickness of the midfoot part is 10 mm.

이러한 해석결과를 바탕으로 하여 인솔의 제1부위와 제2부위를 지정하고, 제1부위와 제2부위의 재질 및 두께를 정하여 실제 인솔을 제작하는 것이 가능하다.Based on these analysis results, it is possible to manufacture an actual insole by specifying the first and second parts of the insole, and determining the material and thickness of the first and second parts.

상술한 바와 같이, 본 발명에 따르면, 디지털 비대면으로의 스마트 헬스케어 산업에 대한 기대가 확대됨에 따라 족부의 측정과정을 회사에 방문하지 않고 스마트폰 등의 스마트 단말기에 설치된 전용앱으로 직접 진행하면서 소비자-판매자 사이의 비대면 거래가 가능한 장점이 있으며, 비대면 측정임에도 SFM(Structure From Motion) 기술과 유한요소법을 적용하여 대면 수준 이상의 측정 신뢰성을 확보할 수 있으며, 족부의 2D 이미지만으로도 각 부분의 정량적 수치를 파악하는 것이 가능하여 사용자의 발바닥에 최적화된 맞춤형 인솔의 제조가 가능한 장점이 있다. As described above, according to the present invention, as expectations for the digital non-face-to-face smart healthcare industry expand, the foot measurement process is performed directly with a dedicated app installed on a smart terminal such as a smartphone without visiting a company. It has the advantage of enabling non-face-to-face transactions between consumers and sellers, and even though it is non-face-to-face measurement, it is possible to secure measurement reliability beyond face-to-face level by applying SFM (Structure From Motion) technology and finite element method. Since it is possible to grasp the numerical value, there is an advantage in that it is possible to manufacture a customized insole optimized for the sole of the user's foot.

상기한 실시예의 설명은 본 발명의 더욱 철저한 이해를 위하여 도면을 참조로 예를 든 것에 불과하므로, 본 발명을 한정하는 의미로 해석되어서는 안될 것이다. 또한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기본적 원리를 벗어나지 않는 범위 내에서 다양한 변화와 변경이 가능함은 명백하다 할 것이다. The description of the above embodiment is merely an example with reference to the drawings for a more thorough understanding of the present invention, and should not be construed as limiting the present invention. In addition, it will be apparent to those skilled in the art that various changes and modifications are possible within a range that does not deviate from the basic principles of the present invention.

Claims (5)

전용 어플리케이션 프로그램이 설치된 사용자의 스마트 단말기를 통하여, 사용자가 촬영한 사용자의 발바닥 동영상과 사용자 정보를 입력받는 단계와;
상기 발바닥 동영상으로부터 프레임 단위로 2D 이미지들을 추출하고, 추출된 2D 이미지들을 이용하여 족저면의 윤곽데이터와 아치깊이 데이터를 추출하고, 추출된 족저면의 윤곽데이터와 아치깊이 데이터에 상기 사용자의 발사이즈를 반영하여 족저면 3D 모델을 생성하는 단계와;
상기 족저면 3D 모델을 이용한 보행 시뮬레이션을 수행하여, 족저면의 접촉압력 및 변형률을 포함하는 거동 변화 데이터를 수집하는 단계와;
상기 3D 모델을 기반으로 상기 거동 변화 데이터를 반영하여, 인솔 제작을 위한 각 접촉 부위별 재료의 경도 및 두께를 정하여 사용자 맞춤형 인솔 제작에 반영하는 단계를 구비하고,
상기 보행 시뮬레이션은 유한요소법(FEM:Finite Element Method) 시뮬레이션 방식이 적용되도록 수행되어, 상기 족저면 3D 모델을 통해 족저면에 나타나는 상기 거동 변화 데이터를 수집하여 족저면에 가해지는 접촉압력 및 변형률을 파악하고,
상기 인솔 제작시에는, 상기 족저면이 접촉되는 부위를 상기 접촉압력이 집중되고 상기 변형률이 큰 부위인 제1부위와 상기 족저면의 접촉압력이 작고 변형률이 작은 제2부위로 구분하고, 상기 제1부위에는 상기 제2부위보다 경도가 상대적으로 낮고 상대적으로 두꺼운 재질을 적용하고, 상기 제2부위에는 경도가 상대적으로 높고 상대적으로 얇은 재질을 적용하여 접촉압력을 분산시킴을 특징으로 하는 스마트 단말기를 이용한 비대면 맞춤형 인솔 제조방법.
receiving a motion picture of a user's foot and user information captured by a user through a user's smart terminal in which a dedicated application program is installed;
2D images are extracted frame by frame from the video of the sole of the foot, contour data and arch depth data of the plantar surface are extracted using the extracted 2D images, and foot size of the user is calculated based on the extracted contour data and arch depth data of the plantar surface. generating a plantar surface 3D model by reflecting the;
performing a gait simulation using the plantar surface 3D model to collect behavior change data including contact pressure and strain of the plantar surface;
Reflecting the behavioral change data based on the 3D model, determining the hardness and thickness of materials for each contact part for insole manufacturing, and reflecting the result in manufacturing a user-customized insole,
The gait simulation is performed so that the finite element method (FEM) simulation method is applied, and the behavior change data appearing on the plantar surface is collected through the plantar surface 3D model to determine the contact pressure and strain applied to the plantar surface do,
When manufacturing the insole, the part where the plantar surface is in contact is divided into a first part where the contact pressure is concentrated and the strain is large, and a second part where the contact pressure of the plantar surface is small and the strain is small. A smart terminal characterized in that a relatively thick material having a relatively low hardness and a relatively thick material is applied to the first part and a relatively thin material having a relatively high hardness and a relatively thin material is applied to the second part to disperse the contact pressure. Non-face-to-face customized insole manufacturing method using
청구항 1에 있어서,
상기 사용자 정보에는 사용자의 성별, 연령, 사용자의 키와 몸무게, 발사이즈, 통증부위, 당뇨유무에 대한 정보가 포함됨을 특징으로 하는 스마트 단말기를 이용한 비대면 맞춤형 인솔 제조방법.
The method of claim 1,
The non-face-to-face customized insole manufacturing method using a smart terminal, characterized in that the user information includes information on the user's gender, age, height and weight, foot size, pain area, and diabetes.
삭제delete 청구항 1에 있어서,
상기 발바닥 동영상은 발바닥을 향하여 반원을 그리면서 촬영하는 방식으로 여러 각도에서 촬영되며, 상기 2D 이미지들은 상기 발바닥을 여러각도에서 촬영한 이미지들로 추출되고,
상기 족저면 3D 모델의 생성은 상기 2D 이미지들 간의 관계를 나타내는 이미지 특징점을 추출하여 3차원 기하구조를 구성하는 SFM(Structure From Motion) 알고리즘을 적용하여 수행됨을 특징으로 하는 스마트 단말기를 이용한 비대면 맞춤형 인솔 제조방법.
The method of claim 1,
The video of the sole of the foot is captured from various angles by drawing a semicircle toward the sole, and the 2D images are extracted as images of the sole of the foot from various angles,
Generation of the plantar surface 3D model is performed by applying a Structure From Motion (SFM) algorithm that extracts image feature points representing the relationship between the 2D images and constructs a three-dimensional geometric structure. Insole manufacturing method.
삭제delete
KR1020220001528A 2022-01-05 2022-01-05 Method for manufacturing of non-contact personalized insole using smart terminals KR102501998B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220001528A KR102501998B1 (en) 2022-01-05 2022-01-05 Method for manufacturing of non-contact personalized insole using smart terminals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220001528A KR102501998B1 (en) 2022-01-05 2022-01-05 Method for manufacturing of non-contact personalized insole using smart terminals

Publications (1)

Publication Number Publication Date
KR102501998B1 true KR102501998B1 (en) 2023-02-23

Family

ID=85329920

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220001528A KR102501998B1 (en) 2022-01-05 2022-01-05 Method for manufacturing of non-contact personalized insole using smart terminals

Country Status (1)

Country Link
KR (1) KR102501998B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160080615A (en) * 2014-12-30 2016-07-08 (주)비앤케이 Method for making customized insole based on smart device
KR20200023880A (en) 2018-08-27 2020-03-06 삼성전자주식회사 Method for manufacturing an insole
KR20200092264A (en) * 2019-01-24 2020-08-03 고려대학교 산학협력단 Method of Manufacturing Customized Smart Insole Using 3D Printing and Customized Smart Insole Manufactured Thereby
KR102185683B1 (en) * 2020-04-17 2020-12-03 란싱우 Manufacturing method of personalized insoles and personalized insoles thereof
KR20210106721A (en) * 2020-02-21 2021-08-31 경기과학기술대학교 산학협력단 3d insole modeling method and server for foot-fit

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160080615A (en) * 2014-12-30 2016-07-08 (주)비앤케이 Method for making customized insole based on smart device
KR20200023880A (en) 2018-08-27 2020-03-06 삼성전자주식회사 Method for manufacturing an insole
KR20200092264A (en) * 2019-01-24 2020-08-03 고려대학교 산학협력단 Method of Manufacturing Customized Smart Insole Using 3D Printing and Customized Smart Insole Manufactured Thereby
KR20210106721A (en) * 2020-02-21 2021-08-31 경기과학기술대학교 산학협력단 3d insole modeling method and server for foot-fit
KR102185683B1 (en) * 2020-04-17 2020-12-03 란싱우 Manufacturing method of personalized insoles and personalized insoles thereof

Similar Documents

Publication Publication Date Title
US20080292179A1 (en) System and method for evaluating the needs of a person and manufacturing a custom orthotic device
JP2007526028A (en) System and method for making orthotics
WO2008070537A2 (en) System and methods of making custom footwear
US20160331071A1 (en) Systems and methods for making custom orthotics
CN112449576B (en) Method and system for obtaining foot analysis data
CN110379001B (en) Foot product customization method and device, terminal equipment and computer readable storage medium
US11903453B2 (en) System for providing user-customized last and method therefor
Salles et al. Delivering personalised insoles to the high street using additive manufacturing
JP2022550301A (en) Method and system for calculating personalized sole parameter values for custom sole design
Wang et al. Artificial neural networks in the selection of shoe lasts for people with mild diabetes
KR20220040964A (en) Method of operation for foot health customized insole providing device using photography
KR20200092264A (en) Method of Manufacturing Customized Smart Insole Using 3D Printing and Customized Smart Insole Manufactured Thereby
KR102501998B1 (en) Method for manufacturing of non-contact personalized insole using smart terminals
TWI664547B (en) Insole design method and insole design system
CN110573039B (en) Insole design system
KR20190010767A (en) System and method for measuring the shapes of foot
KR102581588B1 (en) Apparatus and method for making custom insoles
Pang et al. Automated Shoe Last Customization using MATLAB Algorithm.
CN114662170B (en) Method, apparatus, device and computer readable medium for generating insole information
KR102472190B1 (en) System and method for recommending user-customized footwear
JP7138683B2 (en) Insole data generation system and insole data generation method
WO2021221672A1 (en) Customized parametric models to manufacture devices
CN117132342A (en) Method for ordering customized insole by utilizing artificial intelligence algorithm
WO2023219907A1 (en) Methods and apparatuses for designing footwear
JP2023088194A (en) Estimation device, estimation method, estimation program, and learning model generation device

Legal Events

Date Code Title Description
N231 Notification of change of applicant
GRNT Written decision to grant