KR102472190B1 - 사용자 맞춤형 풋웨어 추천 시스템 및 그 방법 - Google Patents

사용자 맞춤형 풋웨어 추천 시스템 및 그 방법 Download PDF

Info

Publication number
KR102472190B1
KR102472190B1 KR1020200163692A KR20200163692A KR102472190B1 KR 102472190 B1 KR102472190 B1 KR 102472190B1 KR 1020200163692 A KR1020200163692 A KR 1020200163692A KR 20200163692 A KR20200163692 A KR 20200163692A KR 102472190 B1 KR102472190 B1 KR 102472190B1
Authority
KR
South Korea
Prior art keywords
foot
data
footwear
shape data
camera
Prior art date
Application number
KR1020200163692A
Other languages
English (en)
Other versions
KR20220076550A (ko
Inventor
전성국
김회민
윤정록
김운용
Original Assignee
한국광기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국광기술원 filed Critical 한국광기술원
Priority to KR1020200163692A priority Critical patent/KR102472190B1/ko
Publication of KR20220076550A publication Critical patent/KR20220076550A/ko
Application granted granted Critical
Publication of KR102472190B1 publication Critical patent/KR102472190B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0631Item recommendations
    • AHUMAN NECESSITIES
    • A43FOOTWEAR
    • A43DMACHINES, TOOLS, EQUIPMENT OR METHODS FOR MANUFACTURING OR REPAIRING FOOTWEAR
    • A43D1/00Foot or last measuring devices; Measuring devices for shoe parts
    • A43D1/02Foot-measuring devices
    • A43D1/025Foot-measuring devices comprising optical means, e.g. mirrors, photo-electric cells, for measuring or inspecting feet
    • AHUMAN NECESSITIES
    • A43FOOTWEAR
    • A43DMACHINES, TOOLS, EQUIPMENT OR METHODS FOR MANUFACTURING OR REPAIRING FOOTWEAR
    • A43D1/00Foot or last measuring devices; Measuring devices for shoe parts
    • A43D1/02Foot-measuring devices
    • A43D1/027Shoe fit indicating devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • G06Q30/0203Market surveys; Market polls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Artificial Intelligence (AREA)
  • Game Theory and Decision Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Footwear And Its Accessory, Manufacturing Method And Apparatuses (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 사용자 맞춤형 풋웨어 추천 시스템 및 그 방법에 관한 것으로서, 적어도 하나 이상의 카메라를 포함하는 카메라부를이용하여 족부 스캐닝 스테이지 상에 놓여진 사용자의 족부 표면 전체에 대한 n개의 족부 스캔 데이터를 생성하고, 상기 n개의 족부 스캔 데이터를 기 설정된 좌표계로 정렬하여 병합한 3차원 족부 형상에 대한 분석을 통해 족부의 길이, 폭, 아치 높이를 포함한 족부 변인을 포함하는 족부 형상 데이터를 제공하는 족부 형상 측정 장치; 및 네트워크를 통해 다수의 신발 또는 인솔에 대한 풋웨어 형상 데이터와 평가 데이터를 수집하고, 풋웨어 피팅 알고리즘을 수행하여 상기 풋웨어 형상 데이터와 상기 족부 형상 데이터를 맵핑하여 최대 평가가 예측되는 신발 또는 인솔을 포함한 풋웨어(Footwear)의 추천 정보를 제공하는 풋웨어 추천 서버를 포함하되, 상기 풋웨어 피팅 알고리즘은, 상기 풋웨어 형상 데이터와 족부 형상 데이터를 입력값으로 하고, 상기 평가 데이터를 목표값으로 하는 인공 신경망 기반의 학습 모델을 생성하여 학습하고, 상기 족부 형상 데이터가 입력되면 상기 학습된 학습 모델을 이용하여 상기 족부 형상 데이터에 근거하여 최대의 평가 데이터를 갖는 풋웨어 형상 데이터를 예측하는 것이다.

Description

사용자 맞춤형 풋웨어 추천 시스템 및 그 방법{System and method for recommending user-customized footwear}
본 발명은 인공 신경망 기반의 알고리즘을 이용하여 사용자 맞춤형 풋웨어를 추천할 수 있는 사용자 맞춤형 풋웨어 추천 시스템 및 그 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 일 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
발에는 인체를 지지하고 모든 체중을 받쳐주며, 보행 시 충격을 흡수하고 분산시키는 완충 역할을 할 수 있도록 수많은 인대, 골격, 근육들이 접합, 배열되어 있다. 발바닥의 뼈들은 체중을 분산시키기 위해 활같이 휘어져 아치를 형성하고 있으며, 발 아치와 지면 사이의 공간은 에어 펌프의 역할을 하여 보행 시 충격을 완화하고, 체중이 한 부분 에 집중되지 않게 분산시킨다.
의학 분야에서는 의사의 문진과 방사선 사진 촬영으로 발바닥을 이루는 뼈와 관절의 각도로 평발을 진단하고 있지만, 신발 및 신발 보조용품 분야에서는 정상 발과 평발의 분류를 위해 지면과 닿는 발 바닥면의 2D 이미지를 수집하여 분석하는 방법이 주로 사용된다. 기존에는 잉크를 묻힌 발을 족문기에 올려놓고, 발바닥 지문을 찍어 중족부의 형태를 분석하거나, 아크릴 판 아래에 평판 스캐너를 놓고 발바닥면의 2D 이미지를 스캔하는 방법이 주로 사용되었다.
최근에는 기존의 잉크를 사용한 발 지문 측정 방법을 보완하여, 3D 발 스캔 데이터로부터 디지털 발 지문을 수집하는 방법이 시도되고 있으며, 기술이 발전할수록 발바닥 데이터의 수집은 3D 스캐닝 기반으로 발전할 것으로 예상된다. 3차원 발 스캐너는 대부분 수입에 의존하기 때문에 높은 가격대를 형성하고 있어 저렴한 스캐너 보급이 절실하다.
한편, 인솔은 신발의 내부에서 사용자 발을 편안하게 하는 역할을 하는데, 용도에 따라 운동용 인솔, 특정 족부 질병을 치료하기 위한 의료용 인솔, 자세를 교정하기 위한 교정용 인솔 등이 존재한다. 사람마다 족부 형상이나 인솔의 사용 용도가 다르기 때문에 사용자의 족부 형상이나 사용 용도에 맞게 인솔을 제작해야 한다.
그런데 기존의 인솔 제작 과정은 인솔 설계시 환자의 인솔 스케치와 석고 모형, 해리스매트 등 인솔 설계 과정에 중요하게 사용되는 자료들이 디지털화되지 않아 수치적으로 통합하여 분석하기가 어렵고, 인솔 전문가의 경험이나 직관 등 정성적으로 판단에 의존하기 때문에 데이터를 체계화 및 객관화하는 것이 매우 어려운 실정이다. 이에 따라 인솔의 설계, 제작, 평가 과정을 신속하고 객관적으로 측정할 수 있는 3차원 족부 스캐닝 시스템이 요구되고 있고, 이러한 3차원 족부 스캐닝 시스템은 신속한 3차원 족부 형상의 측정 및 측정 데이터의 높은 재현성과 정밀도가 보장될 수 있어야 한다.
이와 같이, 기존의 발 스캐너와 인솔 제작 시스템은 사용자가 개별적으로 사용자가 인솔 전문가를 통해 인솔 제작을 의뢰하거나 직접 신발을 신어보고 착화감 등을 체험하여 자신에게 맞는 인솔이나 신발을 찾을 수 있었기 때문에, 사용자의 컨디션에 따라 자신에게 맞는 인솔이나 신발을 구매하는데 실패할 수 있고, 맞춤형 인솔이나 신발을 개별적으로 제작 의뢰해야하는 불편함이 있었다.
본 발명은 전술한 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따라 사용자의 족부 형상 데이터에 따라 표준화된 신발/인솔의 형상 데이터를 맵핑하여 착화감이나 사용성 등의 평가 점수가 높은 신발/인솔을 추천할 수 있는 사용자 맞춤형 풋웨어 추천 시스템 및 그 방법을 제공하는 것에 목적이 있다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서 본 발명의 일 실시예에 따른 사용자 맞춤형 풋웨어 추천 시스템은, 적어도 하나 이상의 카메라를 포함하는 카메라부를 이용하여 족부 스캐닝 스테이지 상에 놓여진 사용자의 족부 표면 전체에 대한 n개의 족부 스캔 데이터를 생성하고, 상기 n개의 족부 스캔 데이터를 기 설정된 좌표계로 정렬하여 병합한 3차원 족부 형상에 대한 분석을 통해 족부의 길이, 폭, 아치 높이를 포함한 족부 변인을 포함하는 족부 형상 데이터를 제공하는 족부 형상 측정 장치; 및 네트워크를 통해 다수의 신발 또는 인솔에 대한 풋웨어 형상 데이터와 평가 데이터를 수집하고, 풋웨어 피팅 알고리즘을 수행하여 상기 풋웨어 형상 데이터와 상기 족부 형상 데이터를 맵핑하여 최대 평가가 예측되는 신발 또는 인솔을 포함한 풋웨어(Footwear)의 추천 정보를 제공하는 풋웨어 추천 서버를 포함하되, 상기 풋웨어 피팅 알고리즘은, 상기 풋웨어 형상 데이터와 족부 형상 데이터를 입력값으로 하고, 상기 평가 데이터를 목표값으로 하는 인공 신경망 기반의 학습 모델을 생성하여 학습하고, 상기 족부 형상 데이터가 입력되면 상기 학습된 학습 모델을 이용하여 상기 족부 형상 데이터에 근거하여 최대의 평가 데이터를 갖는 풋웨어 형상 데이터를 예측하는 것이다.
상기 풋웨어 추천 서버는, 적어도 하나 이상의 사용자 단말에 상기 풋웨어 형상 정보에 따라 착화감, 수명, 선호도를 포함한 평가 항목별 점수가 부여되도록 하는 설문 데이터를 전송하고, 상기 사용자 단말로부터 설문 데이터에 대한 평가 데이터를 수신하여 저장하는 것이다.
한편, 상기 족부 형상 측정 장치는, 측정 대상의 족부가 바닥면에 올려지고, 상기 카메라부가 기 설정된 촬영 위치에 각각 설치되는 족부 스캐닝 스테이지; 상기 카메라부를 통해 족부 표면 전체에 대한 족부 스캔 데이터가 각각 전송되면, 상기 족부 스캔 데이터에서 배경 영역을 제외하고 족부 영역을 포함하는 족부 형상 데이터를 각각 추출하여 제공하는 족부 형상 취득부; 상기 카메라부에 의한 좌표계로 표현되는 n 개의 족부 형상 데이터를 기준 좌표계로 정렬하여 하나의 3차원 족부 형상 데이터로 병합하는 데이터 병합부; 상기 3차원 족부 형상 데이터 내 잡음을 제거하여 족부 영역을 추출하고, 상기 추출된 족부 영역으로부터 족부와 바닥면간의 접지면 데이터를 추출하는 데이터 전처리부; 상기 접지면 데이터에 기초하여 수직 및 수평 방향의 주축을 계산하고, 상기 계산된 주축과 상기 접지면 데이터의 경계점을 이용하여 족부의 길이, 폭, 아치를 포함한 족부 변인을 추출하는 족부 변인 추출부; 및 상기 측정 대상의 족부에 대한 3차원 족부 형상을 측정 및 분석하여 족부 변인을 추출하도록 족부 형상 취득부, 데이터 병합부, 데이터 전처리부 및 족부 변인 추출부의 전반적인 동작을 제어하는 제어부를 포함하는 것이다.
상기 카메라부는 족부 전면 영역, 족부 후면 영역 및 족부 내측 영역을 포함한 것이 설정된 촬영 영역을 촬영하기 위해 서로 다른 촬영 위치에 n 개의 카메라가 각각 설치되고, 각 카메라는 색상 카메라와 깊이 카메라의 세트로 구성되는 것이다.
상기 족부 스캔 데이터는 각각의 촬영 영역에 대해 색상 데이터와 깊이 데이터를 포함하고, 상기 족부 형상 취득부는, 상기 색상 데이터와 깊이 데이터에서 특징점을 각각 추출하고, 상기 추출된 특징점에 기초하여 상기 색상 데이터와 깊이 데이터 간의 좌표를 매칭하여 상기 색상 데이터와 깊이 데이터를 정합하는 것이다.
상기 족부 형상 취득부는, 상기 족부 스캐닝 스테이지의 바닥면을 촬영한 배경 데이터에 대해 가우시안 모델링 방식에 의해 배경 모델링을 수행하고, 상기 모델링된 배경 영역과 상기 족부 스캔 데이터의 차 영상을 통해 족부 영역을 추출하여 족부 형상 데이터를 추출하는 것이다.
상기 데이터 병합부는, 기 설정된 위치에 고정된 체크 보드를 상기 카메라부를 이용하여 촬영하고, 상기 촬영된 체크 보드 영상을 이용하여 각 카메라에 의한 좌표계를 하나의 기준 좌표계로 변환하는 회전 행렬과 이동 벡터를 계산하고, 상기 계산된 회전 행렬과 이동 벡터를 통해 각 카메라로부터 획득된 족부 형상 데이터를 하나의 3차원 족부 형상 데이터로 병합하는 것이다.
상기 데이터 전처리부는, 상기 3차원 족부 형상 데이터를 바닥면으로 투영하여 투영 이미지를 생성하고, 상기 투영 이미지 내 화소를 기반으로 연결 성분 분석 처리를 수행하며, 상기 연결 성분 중 기 설정된 크기 이하의 독립 성분들을 제거하여 잡음을 제거하는 것이다.
상기 데이터 전처리부는, 상기 3차원 족부 형상 데이터에서 지면과 기설정된 임계값 이하의 점군 데이터를 추출하고, 상기 추출된 점군 데이터를 지면에 투영하여 투영 이미지를 생성하며, 상기 투영 이미지 내 중심점을 계산하여 상기 중심점으로부터 투영 이미지 내 주변 점들을 샘플링하고, 상기 샘플링된 데이터들을 잇는 선으로 구성되는 폐곡면을 접지면으로 정의하는 것이다.
상기 족부 변인 추출부는, 주성분 분석(Principal Component Analysis, PCA) 알고리즘을 이용하여 상기 접지면 데이터의 수평 주축 및 수직 주축을 계산하고, 상기 계산된 수평 주축 및 수직 주축의 양 끝단의 족부 형상 데이터의 점군 데이터들 중에서 상기 수평 주축 및 수직 주축의 중심점에서 가장 멀리 떨어져 있는 점을 각 주축의 끝점으로 정의하고, 상기 수평 주축의 양 끝단점 간의 거리를 발 길이로 정의하고, 상기 수직 추축의 양끝단점 간의 거리를 발 폭으로 정의하는 것이다.
상기 풋웨어 추천 서버는, 상기 족부 형상 데이터 또는 신발이나 인솔의 표준화된 데이터에 기반한 풋웨어 형상 데이터가 입력되는 입력 모듈; 입력층, 하나 이상의 은닉층 및 출력층으로 구성되어, 상기 풋웨어 형상 데이터와 족부 형상 데이터를 쌍으로 하는 학습용 데이터셋을 이용하여 상기 평가 데이터를 예측하기 위한 가중치 데이터를 출력하는 학습 모델을 학습하는 학습 모듈; 및 상기 학습된 학습 모델을 이용하여 상기 풋웨어 형상 데이터와 상기 족부 형상 데이터를 맵핑하여 최대 평가 데이터가 예측되는 신발 또는 인솔을 포함한 풋웨어(Footwear)의 추천 정보를 제공하는 추천 모듈을 포함하는 것것이다.
본 발명의 일 실시예에 따른 사용자 맞춤형 풋웨어 추천 방법은, 추천 서버에 의해 수행되는 사용자 맞춤형 풋웨어 추천 방법에 있어서, a) 네트워크를 통해 사용자의 족부에 대한 길이, 폭, 아치 높이를 포함한 족부 변인을 포함하는 족부 형상 데이터, 다수의 신발 또는 인솔에 대한 풋웨어 형상 데이터와 평가 데이터를 수집하는 단계; b) 상기 풋웨어 형상 데이터와 족부 형상 데이터를 입력값으로 하고, 상기 평가 데이터를 목표값으로 하는 인공 신경망 기반의 학습 모델을 생성하여 학습하는 단계; 및 c) 상기 학습된 학습 모델을 이용하여 상기 풋웨어 형상 데이터와 상기 족부 형상 데이터를 맵핑하여 최대 평가가 예측되는 신발 또는 인솔을 포함한 풋웨어(Footwear)의 추천 정보를 제공하는 단계를 포함하는 것이다.
상기 a) 단계 이전에, 적어도 하나 이상의 사용자 단말에 상기 풋웨어 형상 정보에 따라 착화감, 수명, 선호도를 포함한 평가 항목별 점수가 부여되도록 하는 설문 데이터를 전송하고, 상기 사용자 단말로부터 설문 데이터에 대한 평가 데이터를 수신하여 저장하는 단계를 더 포함하는 것이다.
상기 c) 단계는, 새로운 사용자의 족부 형상 데이터가 입력되면 상기 학습된 학습 모델을 이용하여 상기 족부 형상 데이터에 근거하여 최대의 평가 데이터를 갖는 풋웨어 형상 데이터를 예측하고, 상기 예측된 풋웨어 형상 데이터에 따른 사용자 맞춤형 신발/인솔을 추천하는 추천정보를 제공하는 것이다.
상기 c) 단계는, 새로운 사용자의 족부 형상 데이터와 풋웨어 형상 데이터가 입력되면, 상기 학습된 학습 모델에 의해 족부 형상 데이터와 풋웨어 형상 데이터와의 평가 데이터를 예측하고, 상기 예측된 평가 데이터에 따라 상기 사용자의 족부 형상 데이터와 풋웨어 형상 데이터의 맵핑 점수를 포함한 추천 정보를 제공하는 것이다.
전술한 본 발명의 과제 해결 수단에 의하면, 본 발명은 족부의 길이, 넓이, 아치, 높이 등의 족부 형상 데이터, 표준화된 풋웨어 형상 데이터, 각종 풋웨어에 대한 평가 데이터를 수집하여 데이터베이스화하고, 인공 신경망 기반의 풋웨어 피팅 알고리즘을 통해 사용자의 족부 형상 데이터에 최적화된 풋웨어를 추천할 수 있다.
따라서, 본 발명은 3D 프린팅 기술을 이용하여 사용자 맞춤형 신발/인솔을 단시간에 대량 생산할 수 있고, 사용자의 족부 형상에 최적의 신발/인솔을 추천함으로써 제품의 반품 비용이 감소할 수 있을 뿐만 아니라, 사용자의 족부에 대한 3차원 형상을 측정할 수 있는 족부 형상 측정 장치를 통해 맞춤형 인솔, 신발, 발 측정에 대한 국산화 및 보급화가 실현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 사용자 맞춤형 풋웨어 추천 시스템의 구성을 설명하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 풋웨어 추천 서버의 구성을 설명하는 도면이다.
도 3은 도 2의 학습 모듈의 입력값과 출력값을 설명하는 도면이다.
도 4는 도 2의 학습 모듈에 의해 생성된 학습용 데이터셋을 설명하는 예시도이다.
도 5는 도 2의 추천 모듈을 데이터 입출력 과정을 설명하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 족부 형상 측정 장치의 구성을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 카메라부의 구성을 설명하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 족부 스캐닝 스테이지의 구성을 설명하는 도면이다.
도 9는 본 발명의 일 실시예에 따른 족부 스캔 데이터를 설명하는 예시도이다.
도 10은 본 발명의 일 실시예에 따른 족부 형상 취득부의 족부 형상 데이터 추출 과정을 설명하는 도면이다.
도 11은 본 발명의 일 실시예에 따른 족부 형상 데이터의 추출 결과를 설명하는 예시도이다.
도 12는 본 발명의 일 실시예에 따라 각 카메라에 의해 추출된 족부 형상 데이터의 정렬 전 상태를 설명하는 도면이다.
도 13은 서로 다른 좌표계에서 표현되어 있는 데이터세트를 하나의 기준 좌표계로 변환하는 회전 행렬과 이동 벡터를 설명하기 위한 개념도이다.
도 14는 본 발명의 일 실시예에 따른 각 카메라에서 촬영된 체크 보드 영상 데이터를 설명하는 도면이다.
도 15는 본 발명의 일 실시예에 따른 3D 월드 좌표계를 기준으로 3차원 족부 형상 데이터를 모델링 형식의 파일로 변환한 데이터를 설명하는 예시도이다.
도 16은 본 발명의 일 실시예에 따른 족부 변인 추출부의 족부 주축 및 족부 변인을 추출하는 과정을 설명하는 도면이다.
도 17은 본 발명의 일 실시예에 따른 족부 변인 추출부의 족부 아치 높이를 추출하는 과정을 설명하는 도면이다.
도 18은 도 17의 족부 아치 높이를 설명하기 위한 예시도이다.
도 19는 본 발명의 일 실시예에 따른 사용자 맞춤형 풋웨어 추천 방법을 설명하는 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 ‘단말’은 휴대성 및 이동성이 보장된 무선 통신 장치일 수 있으며, 예를 들어 스마트 폰, 태블릿 PC 또는 노트북 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치일 수 있다. 또한, ‘단말’은 네트워크를 통해 다른 단말 또는 서버 등에 접속할 수 있는 PC 등의 유선 통신 장치인 것도 가능하다. 또한, 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다.
무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.
또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호간 모순되지 않는 범위 내에서 공유될 수 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 사용자 맞춤형 풋웨어 추천 시스템의 구성을 설명하는 도면이다.
도 1을 참고하면, 사용자 맞춤형 풋웨어 추천 시스템은, 족부 형상 측정 장치(100), 풋웨어 추천 서버(300) 및 적어도 하나 이상의 사용자 단말(200)을 포함하지만 이에 한정되지 않고, 신발/인솔 제조사 서버(미도시), 신발/인솔 쇼핑몰 서버(미도시) 등과 네트워크를 통해 정보를 송수신할 수 있다.
족부 형상 측저 장치(100)는 적어도 하나 이상의 카메라를 이용하여 족부 스캐닝 스테이지 상에 놓여진 사용자의 족부 표면 전체에 대한 n개의 족부 스캔 데이터를 생성하고, n개의 족부 스캔 데이터를 기 설정된 좌표계로 정렬하여 병합한 3차원 족부 형상에 대한 분석을 통해 족부의 길이, 폭, 아치 높이를 포함한 족부 변인을 포함하는 족부 형상 데이터를 제공한다.
풋웨어 추천 서버(300)는 네트워크를 통해 다수의 신발 또는 인솔에 대한 풋웨어 형상 데이터와 평가 데이터를 수집하고, 풋웨어 피팅 알고리즘을 수행하여 수집된 풋웨어 형상 데이터와 족부 형상 데이터를 맵핑하여 최대 평가가 예측되는 신발 또는 인솔을 포함한 풋웨어(Footwear)의 추천 정보를 제공한다.
이때, 풋웨어 추천 서버(300)는 적어도 하나 이상의 사용자 단말(200)에 풋웨어 형상 정보에 따라 착화감, 수명, 선호도를 포함한 평가 항목별 점수가 부여되도록 하는 설문 데이터를 전송하고, 사용자 단말(200)로부터 설문 데이터에 대한 평가 데이터를 수신하여 데이터베이스에 저장한다.
풋웨어 추천 서버(300)는 일반적인 의미의 서버용 컴퓨터 본체일 수 있고, 그 외에 서버 역할을 수행할 수 있는 다양한 형태의 장치로 구현될 수 있다. 구체적으로, 풋웨어 추천 서버(300)는 각각 통신 모듈(미도시), 메모리(미도시), 프로세서(미도시) 및 데이터베이스(미도시)를 포함하는 컴퓨팅 장치에 구현될 수 있는데, 일례로 휴대폰이나 TV, PDA, 태블릿 PC, PC, 노트북 PC 및 기타 사용자 단말 장치 등으로 구현될 수 있다. 한편, 사용자 단말(400)은 스마트폰, 태블릿 PC, PC, 노트북 PC 등으로 구현될 수 있다.
도 2는 본 발명의 일 실시예에 따른 풋웨어 추천 서버의 구성을 설명하는 도면이고, 도 3은 도 2의 학습 모듈의 입력값과 출력값을 설명하는 도면이며, 도 4는 도 2의 학습 모듈에 의해 생성된 학습용 데이터셋을 설명하는 예시도이며, 도 5는 도 2의 추천 모듈을 데이터 입출력 과정을 설명하는 도면이다.
도 2 내지 도 5를 참조하면, 풋웨어 추천 서버(300)는 입력모듈(310), 학습 모듈(320) 및 추천 모듈(330)을 포함한다.
입력 모듈(310)은 사용자의 족부 형상 데이터, 각종 신발이나 인솔의 풋웨어 형상 데이터가 입력된다. 이때, 풋웨어 형상 데이터는 신발/인솔의 사이즈, 폭 등의 신발/인솔을 만들기 위한 표준화된 데이터들로서, 신발/인솔의 제조사 서버로부터 수집될 수 있다.
도 3에 도시된 바와 같이 학습 모듈(320)은 풋웨어 형상 데이터와 족부 형상 데이터를 입력값으로 하고, 가 데이터를 목표값으로 하는 인공 신경망 기반의 학습 모델을 생성하여 학습한다. 이때, 인공 신경망은 입력층, 여러 개의 은닉층 및 출력층으로 구성되고, 지도 학습 모델(Perceptron, Convolutional neural network (CNN), Support vector machine (SVM) 등)이나 하이브리드 학습 모델(deep learning)을 사용할 수 있다.
학습 모듈(320)은 도 4에 도시된 바와 같이, 족부 형상 데이터와 풋웨어 형상 데이터를 쌍으로 하는 학습용 데이터셋이 생성되고, 학습용 데이터셋을 이용하여 가중치 데이터를 출력값으로 출력한다. 학습 모듈(320)은 학습 모델의 실제 값과 목표값에 차이가 없으면 가중치 데이터를 변경하지 않지만, 학습 모델의 실제 값과 목표값에 차이가 발생하면 가중치 데이터를 변경하는 방식으로 학습한다.
추천 모듈(330)은 사용자의 족부 형상 데이터가 입력되면 학습 모듈(320)에서 학습된 학습 모델을 이용하여 족부 형상 데이터에 근거하여 최대의 평가 데이터를 갖는 풋웨어 형상 데이터를 예측하고, 예측된 풋웨어 형상 데이터에 따른 사용자 맞춤형 신발/인솔을 추천하는 추천정보를 사용자 단말(200)에 제공한다.
도 5에 도시된 바와 같이, 추천 모듈(330)은 사용자의 발길이, 발 넓이, 발 높이 등의 족부 형상 데이터와 풋웨어 형상 데이터가 입력되면, 학습 모델에 의해 족부 형상 데이터와 풋웨어 형상 데이터와의 착화감이나 사용감 등의 평가 데이터가 예측될 수 있다. 따라서, 추천 모듈(330)은 사용자가 입력한 풋웨어 형상 데이터가 사용자의 족부에 맞는지에 대한 상호간 맵핑 점수를 포함한 추천 정보(7점 척도 등)를 제공할 수 있다.
또는, 추천 모듈(330)은 사용자의 족부 형상 데이터만 입력된 경우에, 학습 모델에 의해 사용자의 족부 형상 데이터에 최적화된 하나 이상의 풋웨어 형상 데이터를 추출하고, 상기 추출된 풋웨어 형상 데이터들과 사용자의 족부 형상 데이터와의 평가 데이터를 예측한 후 최대값을 갖는 평가 데이터 순으로 추천 정보를 생성하여 사용자 단말(200)에 제공할 수 있다.
풋웨어 추천 서버(300)는 인공신경망 기반의 풋웨어 피팅 알고리즘을 수행하면서 누적되는 데이터들을 데이터베이스에 저장한다. 또한, 인공 신경망 기반의 풋웨어 피팅 알고리즘은 상기한 입력 모듈(310), 학습 모듈(320) 및 추천 모듈(330)에 의해 데이터 입력, 학습 및 추천 정보를 제공하는 일련의 과정들을 수행한다.
상술한 모듈들은 본 발명을 설명하기 위한 일 실시예일 뿐, 이에 한정되지 않고 다양한 변형으로 구현될 수 있다. 또한, 상술한 모듈들은 풋웨어 추천 서버(300)의 프로세서에 의해 제어될 수 있는 컴퓨터로 판독 가능한 기록매체로서 메모리에 저장된다. 또한, 인공신경망 기반의 풋웨어 피팅 알고리즘의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구현될 수 있으며, 하나 이상의 기능을 수행하기 위한 모듈, 프로그램, 루틴, 명령어 세트 또는 프로세스를 포함할 수 있다.
도 6은 본 발명의 일 실시예에 따른 족부 형상 측정 장치의 구성을 나타낸 도면이고, 도 7은 본 발명의 일 실시예에 따른 카메라부의 구성을 설명하는 도면이고, 도 8은 본 발명의 일 실시예에 따른 족부 스캐닝 스테이지의 구성을 설명하는 도면이다.
도 6 내지 도 8을 참조하면, 족부 형상 측정 장치(100)는 카메라부(110), 족부 스캐닝 스테이지(120), 족부 형상 취득부(130), 데이터 병합부(140), 데이터 전처리부(150), 족부 변인 추출부(160) 및 제어부(170)를 포함하지만 이에 한정되지는 않는다.
카메라부(110)는 족부 전면 영역, 족부 후면 영역 및 족부 내측 영역을 포함한 족부 표면 전체를 촬영하기 위해 서로 다른 촬영 위치에 n 개의 카메라(111, 112, 113)가 각각 설치되고, 각 카메라(111, 112, 113)는 색상 카메라와 깊이 카메라의 세트로 구성된다. 이러한 카메라부(110)는 HDR(High Dynamic Range) 영상, LDR(Low Dynamic Range) 영상, 360도(360 degree) 영상, 150도 이상의 화각을 가지는 광각영상을 촬영하는 적어도 1개 이상의 카메라로 구성될 수 있다. 여기서, n은 카메라의 개수로서, 족부 표면 전체를 촬영하기 위해 최소 3대 이상의 카메라 개수가 될 수 있다.
도 7에 도시된 바와 같이, 카메라부(110)가 제1 카메라(111), 제2 카메라(112) 및 제3 카메라(113)를 포함하는 경우에, 제1 카메라(111)는 족부 전면 영역, 제2 카메라(112)는 족부 후면 영역, 제3 카메라(113)는 족부 내측 영역에 대한 족부 스캔 데이터를 각각 획득하여 족부 형상 취득부(130)로 전송한다.
족부 스캔 데이터를 획득하기 이전에, 카메라부(110)는 족부 표면 전체를 촬영하기 위한 최적의 카메라의 촬영 위치를 지정하고, 지정된 촬영 위치에서 각 족부 내측, 족부 후면 및 족부 전면에 조사된 깊이 카메라의 패턴을 이용하여 족부 형상 및 색상 데이터를 획득할 수 있다.
도 8에 도시된 바와 같이, 족부 스캐닝 스테이지(120)는 측정 대상의 족부가 바닥면(121)에 올려지고, 제1 내지 제3 카메라(111, 112, 113)가 기 설정된 촬영 위치에 설치되어 고정된다. 이때, 족부 스캐닝 스테이지(120)는 족저 압력 데이터 취득 모듈(도시되지 않음)을 포함할 수 있다.
족부 형상 취득부(130)는 카메라부(110)를 통해 발등, 발뒤꿈치, 아치 등의 족부 표면 전체에 대한 n 개의 족부 스캔 데이터가 각각 전송되면, n 개의 족부 스캔 데이터에서 배경 영역을 제외하고 족부 영역을 포함하는 족부 형상 데이터를 각각 추출하여 데이터 병합부(140)로 전송한다.
데이터 병합부(140)는 카메라부(110)에 의한 좌표계로 표현되는 n 개의 족부 형상 데이터를 기준 좌표계(예를 들어, 3D 월드 좌표계)로 정렬하여 하나의 3차원 족부 형상 데이터로 병합한다.
데이터 전처리부(150)는 3차원 족부 형상 데이터 내 잡음을 제거하여 족부 영역을 추출하고, 주요 족부 변인을 추출하기 위해 족부 영역으로부터 족부와 바닥면간의 접지면 데이터를 추출한다.
족부 변인 추출부(160)는 접지면 데이터에 기초하여 수직 및 수평 방향의 주축을 계산하고, 계산된 주축과 접지면 데이터의 경계점을 이용하여 족부의 길이, 폭, 아치 높이를 포함한 개인별 족부 특징 분석 및 정량 적 변인을 추출한다.
제어부(170)는 측정 대상의 족부에 대한 3차원 족부 형상을 측정 및 분석하여 주요 족부 변인을 추출할 수 있도록 카메라부(110), 족부 형상 취득부(130), 데이터 병합부(140), 데이터 전처리부(150) 및 족부 변인 추출부(160)의 전반적인 동작을 제어한다.
족부 형상 측정 장치(100)는 통신망과 연동하여 족부 형상 측정 및 분석을 위해 사용자 단말 간의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공하는 통신부, 족부 형상 측정 방법을 수행하기 위한 프로그램이 기록된 메모리 및 제어부(170)에 의해 족부 형상 데이터를 디스플레이하는 디스플레이부를 더 포함할 수 있다. 제어부(170)는 통신부를 통해 측정 대상의 족부 측정 결과를 3차원 이미지 또는 수치 등의 다양한 형태로 측정 대상의 사용자 단말(200)이나 풋웨어 추천 서버(300)로 전송할 수 있다.
이때, 메모리는 제어부(170)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(120)는 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
도 9는 본 발명의 일 실시예에 따른 족부 스캔 데이터를 설명하는 예시도이고, 도 10은 본 발명의 일 실시예에 따른 족부 형상 취득부의 족부 형상 데이터 추출 과정을 설명하는 도면이며, 도 11은 본 발명의 일 실시예에 따른 족부 형상 데이터의 추출 결과를 설명하는 예시도이고, 도 12는 본 발명의 일 실시예에 따라 각 카메라에 의해 추출된 족부 형상 데이터의 정렬전 상태를 설명하는 도면이다.
도 9에 도시된 바와 같이, 카메라부(110)는 색상 카메라와 깊이 카메라의 세트로 구성되어 있어 각 촬영 영역에 대해 깊이 데이터(a)와 색상 데이터(b)를 동시에 취득하여 초당 30 fps 이상의 족부 스캔 데이터를 생성하여 족부 형상 취득부(130)로 전송한다. 이때, 카메라부(110)가 초당 30 fps 이상의 족부 스캔 데이터를 취득하는 경우에, 족부 형상 측정 장치(100)는 정적 환경뿐만 아니라 측정 대상이 소정 길이 이상의 족부 스캐닝 스테이지 상에서 움직이는 동적 환경에서도 족부 형상을 측정할 수 있다.
족부 형상 취득부(130)는 깊이 카메라와 색상 카메라 간 외부 파라미터를 계산하여 깊이 데이터와 색상 데이터를 정합한다. 즉, 체크보드를 이용하여 색상 데이터와 깊이 데이터에서 특징점, 예를 들어 체크보드의 특정한 코너점을 각각 추출하고, 추출된 각 특징점에 기초하여 색상 데이터와 깊이 데이터 간의 좌표를 매칭하여 색상 데이터와 깊이 데이터를 정합한다. 족부 형상 취득부(130)는 족부 스캔 데이터를 3차원 범용 파일의 포맷(예를 들어, obj 파일)로 변환할 수 있다.
도 10에 도시된 바와 같이, 족부 형상 취득부(130)는 족부 스캔 데이터에서 잡음 및 배경 영역을 제거하고, 족부 영역에 대한 ROI(Region Of Interest)를 추출할 수 있다. 이를 위해, 족부 형상 취득부(130)는 족부 스캔 데이터가 전송되기 이전에, 족부 스캐닝 스테이지(120)의 바닥면(121)을 촬영한 배경 데이터에 대해 가우시안 모델링 방식에 의해 배경 모델링을 수행하고, 모델링된 배경 영역과 족부 스캔 데이터의 차 영상을 통해 족부 영역, 즉 도 11에 도시된 바와 같이 족부 전면 영역(a), 족부 내측 영역(b) 및 족부 후면 영역(c)을 추출하여 각각의 족부 형상 데이터를 데이터 병합부(140)에 제공한다.
각 카메라(111, 112, 113)에 의해 추출된 족부 형상 데이터는 도 12에 도시된 바와 같이 각 카메라 기준 좌표로 생성된 것이므로, 데이터 병합부(140)에서 3개의 족부 형상 데이터를 하나의 기준 좌표로 정렬하여 병합해야 한다.
도 13은 서로 다른 좌표계에서 표현되어 있는 데이터세트를 하나의 기준 좌표계로 변환하는 회전 행렬과 이동 벡터를 설명하기 위한 개념도이고, 도 14는 본 발명의 일 실시예에 따른 각 카메라에서 촬영된 체크 보드 영상 데이터를 설명하는 도면이며, 도 15는 본 발명의 일 실시예에 따른 3D 월드 좌표계를 기준으로 3차원 족부 형상 데이터를 모델링 형식의 파일로 변환한 데이터를 설명하는 예시도이다.
도 13에 도시된 바와 같이, 서로 다른 좌표계에서 표현되어 있는 3차원 위치 벡터로 이루어진 데이터세트 A와 데이터세트 B를 동일한 기준 좌표계로 변환하는 회전 행렬(
Figure 112020128828049-pat00001
)과 이동 벡터(
Figure 112020128828049-pat00002
)를 계산해야 한다.
먼저, 각 3차원 위치 벡터의 데이터세트 A와 데이터세트 B의 평균(CA, CB)을 하기한 수학식 1에 의해 계산한다.
[수학식 1]
Figure 112020128828049-pat00003
Figure 112020128828049-pat00004
Figure 112020128828049-pat00005
하기 수학식 2에 의해 각 데이터세트(A, B)의 데이터를 상기에서 구한 각 평균(CA, CB)으로 빼고 행렬(H)을 계산한다.
[수학식 2]
Figure 112020128828049-pat00006
SVD(Singular Value Decomposition)을 이용하여 수학식 3과 같이 회전 행렬(R)을 계산한다.
[수학식 3]
Figure 112020128828049-pat00007
Figure 112020128828049-pat00008
각 데이터세트(A, B)의 데이터와 회전 행렬(R)을 이용하여 수학식 3과 같이 이동 벡터(t)를 계산한다.
[수학식 4]
Figure 112020128828049-pat00009
Figure 112020128828049-pat00010
Figure 112020128828049-pat00011
상기에서 설명한 바와 같이, 서로 다른 좌표계에서 표현되어 있는 데이터를 사전에 정의한 회전 행렬과 이동 벡터를 이용하여 하나의 기준 좌표계로 병합하기 위해 데이터 병합부(140)는 각각의 카메라(111, 112, 113)에서 촬영된 체크 보드 영상을 이용하여 각 카메라에 의한 좌표계와 체크 보드 기준의 3D 월드 좌표계 사이의 회전 행렬과 이동 벡터를 계산한다.
도 14에 도시된 바와 같이 바닥면에 고정된 체크 보드 영상의 취득이 불가능한 족부 내측 영역을 촬영하는 제3 카메라(113)는 족부 후면 영역을 촬영하는 제2 카메라(112)와 공통으로 취득 가능한 공간에 체크 보드를 설치하고, 제2 카메라(112)와 제3 카메라(113)를 통해 체크 보드 영상 내 코너점 위치 데이터를 획득한다(도 14의 (a), (b) 참조).
이렇게 획득한 3차원 코너점 위치 데이터를 수학식 3 및 4과 같이 표현되는 회전 행렬(R)과 이동 벡터(t)의 입력 데이터로 하여 제2 카메라(112)에 의한 좌표계와 제3 카메라(113)에 의한 좌표계 사이의 회전 행렬(Ri,r)과 이동 백터(ti,r)를 계산한다. 즉, 제2 카메라(112)와 제3 카메라(113)를 통해 획득한 각 체크 보드 영상 간 동일 체크 보드 코너점 위치 변화를 통해 제3 카메라(113)와 제1 카메라(111) 간 회전 행렬과 이동 벡터를 계산할 수 있다.
제2 카메라(112)를 통해 획득한 바닥면의 체크 보드 영상에서의 코너점 좌표값과 체크 보드 영상의 왼쪽 하단점을 원점으로 하는 체크 보드 코너점 좌표값을 입력 데이터로 하여, 수학식 3 및 수학식 4를 이용해 제2 카메라에 의한 좌표계와 바닥면 체크 보드 좌표계 간 회전 행렬(Rr) 및 이동 벡터(tr)를 계산한다(도 14의 (c) 참조).
족부 전면 영역을 촬영하는 제1 카메라(111)를 통해 취득한 바닥면의 체크 보드 영상에서의 코너점 좌표값과 체크 보드의 왼쪽 하단점을 원점으로 하는 체크 보드 코너점 좌표값을 입력 데이터로 하여, 수학식 3 및 수학식 4를 이용해 제1 카메라 좌표계와 바닥면 체크 보드 좌표계 간 회전 행렬(Rf) 및 이동 벡터(tf)를 계산한다(도 14의 (d) 참조).
이렇게 구해진 회전 행렬 및 이동 벡터를 통해 각 카메라로 취득된 족부 형상 데이터 세트를 하기 수학식 5와 같이 변환하여 3D 월드 좌표계를 기준으로 정렬하여 병합한다.
[수학식 5]
Figure 112020128828049-pat00012
Figure 112020128828049-pat00013
Figure 112020128828049-pat00014
수학식 5에서,
Figure 112020128828049-pat00015
는 제3 카메라를 통해 취득한 3차원 점군 데이터 세트,
Figure 112020128828049-pat00016
는 좌표계 병합된 제3 카메라를 통해 취득한 3차원 점군 데이터 세트,
Figure 112020128828049-pat00017
는 제2 카메라를 통해 취득한 3차원 점군 데이터 세트,
Figure 112020128828049-pat00018
는 좌표계 병합된 제2 카메라를 통해 취득한 3차원 점군 데이터 세트,
Figure 112020128828049-pat00019
는 제1 카메라를 통해 취득한 3차원 점군 데이터 세트,
Figure 112020128828049-pat00020
는 좌표계 병합된 제1 카메라를 통해 취득한 3차원 점군 데이터 세트를 각각 나타낸다.
도 15에 도시된 바와 같이, 3D 월드 좌표계를 기준으로 3차원 족부 형상 데이터를 모델링 형식의 파일로 변환하면, 제1 카메라에 의한 좌표계로 획득한 데이터(빨간색 점군 데이터), 제2 카메라에 의한 좌표계로 획득한 데이터(녹색 점군 데이터), 제3 카메라에 의한 좌표계로 획득한 데이터(파란색 점군 데이터)가 정합되어 족부 우측, 족부 전면, 족부 후면, 족부 하단의 각 3차원 족부 형상 데이터가 됨을 알 수 있다.
도 16은 본 발명의 일 실시예에 따른 족부 변인 추출부의 족부 주축 및 족부 변인을 추출하는 과정을 설명하는 도면이고, 도 17은 본 발명의 일 실시예에 따른 족부 변인 추출부의 족부 아치 높이를 추출하는 과정을 설명하는 도면이고, 도 18은 도 17의 족부 아치 높이를 설명하기 위한 예시도이다.
족부 변인 추출부(160)는 주성분 분석(Principal Component Analysis, PCA) 알고리즘을 이용하여 접지면 데이터의 수평 및 수직 주축을 계산하고, 이렇게 계산된 수평 및 수직 주축을 족부 주축으로 정의한다. 주성분 분석 알고리즘은 주어진 데이터 분포 상태를 분석하여 데이터가 가장 넓게 퍼져있는 방향을 첫번째 주축으로 하고, 첫번째 주축에 수직한 방향을 두번째 주축으로 할 수 있다.
즉, 주성분 분석 알고리즘은 n 개의 d 차원 데이터세트가 입력되면, d 개의 주축을 출력할 수 있다. 먼저, 데이터 세트 행렬(D,
Figure 112020128828049-pat00021
)을 구축하고, 데이터세트 행렬(D)을 SVD(Singular Value Decomposition)를 통해 수학식 6과 같이 분해하여 행렬(V)의 각 열 벡터를 순서대로 주축으로 정의한다.
[수학식 6]
Figure 112020128828049-pat00022
족부 변인 추출부(160)는 접지면 데이터를 입력 데이터로 하고, 상기한 주성분 분석 알고리즘을 통해 첫 번째 주축(수평 주축), 두 번째 주축(수직 주축)을 족부 길이와 폭을 정의하기 위한 축으로 정의할 수 있다.
도 16에 도시된 바와 같이, 족부 변인 추출부(160)는 족부 주축의 양 끝단의 족부 형상 데이터의 점군 데이터들 중에서 주축의 중심점에서 가장 멀리 떨어져 있는 점을 끝점으로 정의하고, 수평 방향의 족부 주축 방향의 가장 멀리 떨어져 있는 양 끝점 간 거리를 발 길이로 정의하고, 수직 방향의 족부 주축 방향의 가장 멀리 떨어져 있는 양끝점간의 거리를 발 폭으로 정의한다.
한편, 도 17 및 도 18에 도시된 바와 같이, 족부 변인 추출부(160)는 접지면 데이터의 컨벡스 홀(Convex hull) 알고리즘을 이용하여 검출된 외곽선(Contour) 중 발 내측(lateral side)의 가장 긴 선분을 족부 내측 선분으로 검출하고, 검출된 족부 내측 선분의 중점을 계산한 후 중점으로부터 지면의 법선 방향으로 만나는 족부 영역 형상의 점군 데이터를 검출한다. 지면이 X축과 Y축으로 이루어지는 평면일 경우, 지면의 법선 방향은 Z축 방향이 될 수 있다. 이렇게 검출된 점군 데이터와 중점과의 거리로부터 족부 아치 높이를 정의할 수 있다.
도 19는 본 발명의 일 실시예에 따른 사용자 맞춤형 풋웨어 추천 방법을 설명하는 순서도이다.
도 19를 참조하면, 풋웨어 추천 서버(300)는 네트워크를 통해 사용자의 족부에 대한 길이, 폭, 아치 높이를 포함한 족부 변인을 포함하는 족부 형상 데이터, 다수의 신발 또는 인솔에 대한 풋웨어 형상 데이터와 평가 데이터를 수집한다(S1).
이때, 풋웨어 추천 서버(300)는 적어도 하나 이상의 사용자 단말(200)에 풋웨어 형상 정보에 따라 착화감, 수명, 사용성, 선호도를 포함한 평가 항목별 점수가 부여되도록 하는 설문 데이터를 전송하고, 사용자 단말(200)로부터 설문 데이터에 대한 평가 데이터를 수신하여 데이터베이스에 저장할 수 있다. 설문 데이터는 평가항목별로 5점 척도 또는 7점 척도로 점수를 체크할 수 있도록 한다.
풋웨어 추천 서버(300)는 풋웨어 형상 데이터와 족부 형상 데이터를 입력값으로 하고, 평가 데이터를 목표값으로 하는 인공 신경망 기반의 학습 모델을 생성하여 학습한다(S2).
풋웨어 추천 서버(300)는 새로운 사용자의 족부 형상 데이터가 입력되면(S3), 풋웨어 피팅 알고리즘을 통해 학습된 학습 모델을 이용하여 풋웨어 형상 데이터와 족부 형상 데이터를 맵핑하여 최대 평가가 예측되는 신발 또는 인솔을 포함한 풋웨어(Footwear)의 추천 정보를 제공한다(S4, S5). 이때, 풋웨어 추천 정보에는 추천 신발/인솔의 제조사명, 디자인, 착화감 점수, 사용성 점수 등의 평가 데이터가 포함될 수 있다.
이상에서 설명한 본 발명의 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 족부 형상 측정 장치
110 : 카메라부
120 : 족부 스캐닝 스테이지
130 : 족부 형상 취득부
140 : 데이터 병합부
150 : 데이터 전처리부
160 : 족부 변인 추출부
170 : 제어부
300 : 풋웨어 추천 서버
310: 입력 모듈
320 : 학습 모듈
330 : 추천 모듈

Claims (15)

  1. 적어도 하나 이상의 카메라를 포함하는 카메라부를 이용하여 족부 스캐닝 스테이지 상에 놓여진 사용자의 족부 표면 전체에 대한 n개의 족부 스캔 데이터를 생성하고, 상기 n개의 족부 스캔 데이터를 기 설정된 좌표계로 정렬하여 병합한 3차원 족부 형상에 대한 분석을 통해 족부의 길이, 폭, 아치 높이를 포함한 족부 변인을 포함하는 족부 형상 데이터를 제공하는 족부 형상 측정 장치; 및
    네트워크를 통해 다수의 신발 또는 인솔에 대한 풋웨어 형상 데이터와 평가 데이터를 수집하고, 풋웨어 피팅 알고리즘을 수행하여 상기 풋웨어 형상 데이터와 상기 족부 형상 데이터를 맵핑하여 최대 평가가 예측되는 신발 또는 인솔을 포함한 풋웨어(Footwear)의 추천 정보를 제공하는 풋웨어 추천 서버를 포함하되,
    상기 풋웨어 피팅 알고리즘은,
    상기 풋웨어 형상 데이터와 족부 형상 데이터를 입력값으로 하고, 상기 평가 데이터를 목표값으로 하는 인공 신경망 기반의 학습 모델을 생성하여 학습하고, 상기 족부 형상 데이터가 입력되면 상기 학습된 학습 모델을 이용하여 상기 족부 형상 데이터에 근거하여 최대의 평가 데이터를 갖는 풋웨어 형상 데이터를 예측하는 것이고,
    상기 풋웨어 추천 서버는,
    적어도 하나 이상의 사용자의 적어도 하나의 사용자 단말에 각각의 풋웨어 형상 데이터에 대한 착화감, 수명, 선호도를 포함한 평가 항목별 점수를 부여할 수 있는 설문 데이터를 전송하고, 상기 적어도 하나의 사용자 단말로부터 설문 데이터에 대한 평가 데이터를 수신하여 저장하며, 상기 저장된 평가 데이터에 더 기반하여 상기 풋웨어의 추천 정보를 제공하는 것이고,
    상기 족부 형상 측정 장치는,
    상기 카메라부를 통해 족부 표면 전체에 대한 족부 스캔 데이터가 각각 전송되면, 상기 족부 스캔 데이터에서 배경 영역을 제외하고 족부 영역을 포함하는 족부 형상 데이터를 각각 추출하여 제공하는 족부 형상 취득부,
    상기 카메라부에 의한 좌표계로 표현되는 n 개의 족부 형상 데이터를 기준 좌표계로 정렬하여 하나의 3차원 족부 형상 데이터로 병합하는 데이터 병합부,
    상기 3차원 족부 형상 데이터 내 잡음을 제거하여 족부 영역을 추출하고, 상기 추출된 족부 영역으로부터 족부와 바닥면간의 접지면 데이터를 추출하는 데이터 전처리부,
    상기 접지면 데이터에 기초하여 수직 및 수평 방향의 주축을 계산하고, 상기 계산된 주축과 상기 접지면 데이터의 경계점을 이용하여 족부의 길이, 폭, 아치를 포함한 족부 변인을 추출하는 족부 변인 추출부 및
    상기 사용자의 족부에 대한 3차원 족부 형상을 측정 및 분석하여 족부 변인을 추출하도록 족부 형상 취득부, 데이터 병합부, 데이터 전처리부 및 족부 변인 추출부의 전반적인 동작을 제어하는 제어부를 포함하는 것인, 사용자 맞춤형 풋웨어 추천 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 카메라부는 족부 전면 영역, 족부 후면 영역 및 족부 내측 영역을 포함한 것이 설정된 촬영 영역을 촬영하기 위해 서로 다른 촬영 위치에 n 개의 카메라가 각각 설치되고, 각 카메라는 색상 카메라와 깊이 카메라의 세트로 구성되는 것인, 사용자 맞춤형 풋웨어 추천 시스템.
  5. 제1항에 있어서,
    상기 족부 스캔 데이터는 각각의 촬영 영역에 대해 색상 데이터와 깊이 데이터를 포함하고,
    상기 족부 형상 취득부는, 상기 색상 데이터와 깊이 데이터에서 특징점을 각각 추출하고, 상기 추출된 특징점에 기초하여 상기 색상 데이터와 깊이 데이터 간의 좌표를 매칭하여 상기 색상 데이터와 깊이 데이터를 정합하는 것인, 사용자 맞춤형 풋웨어 추천 시스템.
  6. 제1항에 있어서,
    상기 족부 형상 취득부는,
    상기 족부 스캐닝 스테이지의 바닥면을 촬영한 배경 데이터에 대해 가우시안 모델링 방식에 의해 배경 모델링을 수행하고,
    상기 모델링된 배경 영역과 상기 족부 스캔 데이터의 차 영상을 통해 족부 영역을 추출하여 족부 형상 데이터를 추출하는 것인, 사용자 맞춤형 풋웨어 추천 시스템.
  7. 제1항에 있어서,
    상기 데이터 병합부는,
    기 설정된 위치에 고정된 체크 보드를 상기 카메라부를 이용하여 촬영하고, 상기 촬영된 체크 보드 영상을 이용하여 각 카메라에 의한 좌표계를 하나의 기준 좌표계로 변환하는 회전 행렬과 이동 벡터를 계산하고, 상기 계산된 회전 행렬과 이동 벡터를 통해 각 카메라로부터 획득된 족부 형상 데이터를 하나의 3차원 족부 형상 데이터로 병합하는 것인, 사용자 맞춤형 풋웨어 추천 시스템.
  8. 제1항에 있어서,
    상기 데이터 전처리부는,
    상기 3차원 족부 형상 데이터를 바닥면으로 투영하여 투영 이미지를 생성하고, 상기 투영 이미지 내 화소를 기반으로 연결 성분 분석 처리를 수행하며, 상기 연결 성분 중 기 설정된 크기 이하의 독립 성분들을 제거하여 잡음을 제거하는 것인, 사용자 맞춤형 풋웨어 추천 시스템.
  9. 제1항에 있어서,
    상기 데이터 전처리부는,
    상기 3차원 족부 형상 데이터에서 지면과 기설정된 임계값 이하의 점군 데이터를 추출하고,
    상기 추출된 점군 데이터를 지면에 투영하여 투영 이미지를 생성하며,
    상기 투영 이미지 내 중심점을 계산하여 상기 중심점으로부터 투영 이미지 내 주변 점들을 샘플링하고,
    상기 샘플링된 데이터들을 잇는 선으로 구성되는 폐곡면을 접지면으로 정의하는 것인, 사용자 맞춤형 풋웨어 추천 시스템.
  10. 제1항에 있어서,
    상기 족부 변인 추출부는,
    주성분 분석(Principal Component Analysis, PCA) 알고리즘을 이용하여 상기 접지면 데이터의 수평 주축 및 수직 주축을 계산하고, 상기 계산된 수평 주축 및 수직 주축의 양 끝단의 족부 형상 데이터의 점군 데이터들 중에서 상기 수평 주축 및 수직 주축의 중심점에서 가장 멀리 떨어져 있는 점을 각 주축의 끝점으로 정의하고, 상기 수평 주축의 양 끝단점 간의 거리를 발 길이로 정의하고, 상기 수직 주축의 양끝단점 간의 거리를 발 폭으로 정의하는 것인, 사용자 맞춤형 풋웨어 추천 시스템.
  11. 제1항에 있어서,
    상기 풋웨어 추천 서버는,
    상기 족부 형상 데이터 또는 신발이나 인솔의 표준화된 데이터에 기반한 풋웨어 형상 데이터가 입력되는 입력 모듈;
    입력층, 하나 이상의 은닉층 및 출력층으로 구성되어, 상기 풋웨어 형상 데이터와 족부 형상 데이터를 쌍으로 하는 학습용 데이터셋을 이용하여 상기 평가 데이터를 예측하기 위한 가중치 데이터를 출력하는 학습 모델을 학습하는 학습 모듈; 및
    상기 학습된 학습 모델을 이용하여 상기 풋웨어 형상 데이터와 상기 족부 형상 데이터를 맵핑하여 최대 평가 데이터가 예측되는 신발 또는 인솔을 포함한 풋웨어(Footwear)의 추천 정보를 제공하는 추천 모듈을 포함하는 것인, 사용자 맞춤형 풋웨어 추천 시스템.

  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
KR1020200163692A 2020-11-30 2020-11-30 사용자 맞춤형 풋웨어 추천 시스템 및 그 방법 KR102472190B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200163692A KR102472190B1 (ko) 2020-11-30 2020-11-30 사용자 맞춤형 풋웨어 추천 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200163692A KR102472190B1 (ko) 2020-11-30 2020-11-30 사용자 맞춤형 풋웨어 추천 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20220076550A KR20220076550A (ko) 2022-06-08
KR102472190B1 true KR102472190B1 (ko) 2022-11-30

Family

ID=81981946

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200163692A KR102472190B1 (ko) 2020-11-30 2020-11-30 사용자 맞춤형 풋웨어 추천 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102472190B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102663082B1 (ko) 2023-12-20 2024-05-03 주식회사 45스페이스 고객 맞춤형 신발 추천 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180040377A (ko) * 2016-10-12 2018-04-20 제주한라대학교산학협력단 사용자 맞춤형 인솔 제작 장치 및 방법
KR102211650B1 (ko) * 2018-01-19 2021-02-04 네이버 주식회사 인공지능 기반 상품 추천 방법 및 그 시스템
KR102509659B1 (ko) * 2019-01-10 2023-03-15 한국전자통신연구원 딥러닝을 이용한 3차원 전신 골격 모델 생성 장치 및 방법
KR102152970B1 (ko) * 2019-02-27 2020-09-08 주식회사 마크애니 영상 분석을 이용한 개인화된 상품 추천 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102663082B1 (ko) 2023-12-20 2024-05-03 주식회사 45스페이스 고객 맞춤형 신발 추천 시스템

Also Published As

Publication number Publication date
KR20220076550A (ko) 2022-06-08

Similar Documents

Publication Publication Date Title
Clark et al. Three-dimensional cameras and skeleton pose tracking for physical function assessment: A review of uses, validity, current developments and Kinect alternatives
Wade et al. Applications and limitations of current markerless motion capture methods for clinical gait biomechanics
Ceseracciu et al. Comparison of markerless and marker-based motion capture technologies through simultaneous data collection during gait: proof of concept
US11986286B2 (en) Gait-based assessment of neurodegeneration
US20190122424A1 (en) Generation of Body Models and Measurements
Dikovski et al. Evaluation of different feature sets for gait recognition using skeletal data from Kinect
KR102380017B1 (ko) 족부 형상 측정 장치 및 방법
US20210319585A1 (en) Method and system for gaze estimation
CN107924564A (zh) 用于确定预定解剖特征的容积数据的方法和设备
Luximon et al. 3D foot shape generation from 2D information
KR102202490B1 (ko) 3차원 신체 모델 측정 장치 및 방법
CN111401340B (zh) 目标对象的运动检测方法和装置
Tajdari et al. Optimal position of cameras design in a 4d foot scanner
Reyes et al. Automatic digital biometry analysis based on depth maps
KR101938361B1 (ko) X선 영상 내 체형 윤곽선 기반의 골격 상태 예측방법 및 프로그램
KR102472190B1 (ko) 사용자 맞춤형 풋웨어 추천 시스템 및 그 방법
CN117392746A (zh) 康复训练评估辅助方法、装置、计算机设备和存储介质
CN108885087A (zh) 测量装置、测量方法和计算机可读记录介质
CN112955931A (zh) 尺寸测定系统
KR102556001B1 (ko) 보행데이터 기반 파킨슨 증후군 중증도 판별 시스템 및 방법
JP7169213B2 (ja) 身体健康状態映像分析装置、方法並びにシステム
JP2020124367A5 (ko)
WO2022249746A1 (ja) 身体機能推定システム、身体機能推定方法、及び、プログラム
CN116385663B (zh) 动作数据生成方法、装置、电子设备及存储介质
Alothmany et al. Accuracy of joint angles tracking using markerless motion system

Legal Events

Date Code Title Description
E601 Decision to refuse application
GRNT Written decision to grant