WO2023080455A1 - 족부 정보 처리 방법 및 장치 - Google Patents

족부 정보 처리 방법 및 장치 Download PDF

Info

Publication number
WO2023080455A1
WO2023080455A1 PCT/KR2022/014895 KR2022014895W WO2023080455A1 WO 2023080455 A1 WO2023080455 A1 WO 2023080455A1 KR 2022014895 W KR2022014895 W KR 2022014895W WO 2023080455 A1 WO2023080455 A1 WO 2023080455A1
Authority
WO
WIPO (PCT)
Prior art keywords
foot
model
information
ground
information processing
Prior art date
Application number
PCT/KR2022/014895
Other languages
English (en)
French (fr)
Inventor
이선용
남현우
조재훈
Original Assignee
(주)펄핏
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)펄핏 filed Critical (주)펄핏
Publication of WO2023080455A1 publication Critical patent/WO2023080455A1/ko
Priority to US18/587,801 priority Critical patent/US20240188688A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Definitions

  • the foot information processing device 100 may calculate foot related information from the final 3D model and recommend a type and size of shoes.
  • the foot related information includes foot length information, foot width information, foot circumference information, foot thickness information, foot shape information, foot height information, etc. calculated from the final 3D model. can include
  • FIGS. 8A to 8F show that when the foot information processing device 100 is mounted on a smart phone as the electronic device 200, the generated final 3D model is output to the smart phone, and various angles are displayed through manipulation of the user's touch and drag. shows an example of checking the final 3D model.
  • a user of a smart phone can receive a recommendation for the type and size of shoes suitable for him or her using a final 3D model created by taking an image of his or her foot.
  • a foot information processing device may include a processor 191 and a memory 192 .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Game Theory and Decision Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 족부의 3D 스캐닝을 기반으로 하여 신발의 종류 및 사이즈를 추천해 주는 족부 정보 처리 방법 및 장치에 관한 것이다. 본 발명의 일 실시 예에 따른 족부 정보 처리 방법은, 족부 정보 처리 장치의 프로세서에 의해 실행되는 족부 정보 처리 방법으로서, 족부를 여러 각도에서 촬영한 복수의 족부 이미지를 기반으로 족부에 대한 초기 3D 모델을 생성하는 단계와, 초기 3D 모델로부터 지면 및 노이즈를 제거한 중간 3D 모델을 생성하는 단계와, 중간 3D 모델의 생성 시에 지면과 함께 제거된 족부의 일부분을 복구하여 정상 족부 형태를 갖춘 최종 3D 모델을 생성하는 단계와, 최종 3D 모델로부터 족부 관련 정보를 산출하고 신발을 추천하는 단계를 포함할 수 있다.

Description

족부 정보 처리 방법 및 장치
본 발명은 족부의 3D 스캐닝을 기반으로 하여 신발의 종류 및 사이즈를 추천해 주는 족부 정보 처리 방법 및 장치에 관한 것이다.
기존의 맞춤식 신발을 구매하기 위한 발측정 방법으로서 고객이 직접 자신의 발 크기에 대한 항목인 좌우 발길이, 볼 넓이 등의 발 수치를 입력하여 전송하는 방법이나 고가의 3차원 발측정기를 이용하는 방법이 있으나 고객이 직접 측정하는 경우에는 수치에 대한 신뢰성이 떨어지는 문제점이 있다. 또한, 발측정기를 이용할 시에는 고객이 직접 발측정기가 있는 매장을 방문해야 하는 번거로움이 있다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
선행기술 1: 국내 공개특허공보 제10-2005-0081387호(2005.08.19)
본 발명의 일 과제는, 족부 치수 측정을 위해 직접 매장을 방문해야하는 시간적 비용적 장비를 줄이는데 있다.
본 발명의 일 과제는, 족부 치수의 측정이 용이하고, 족부 치수의 정확성을 향상시키는데 있다.
본 발명의 일 과제는 족부 치수 정보에 대응하여 적합한 신발의 종류 및 사이즈를 추천해 주는데 있다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 과제 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해보다 분명하게 이해될 것이다. 또한, 본 발명이 해결하고자 하는 과제 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.
본 발명의 일 실시 예에 따른 족부 정보 처리 방법은, 족부 정보 처리 장치의 프로세서에 의해 실행되는 족부 정보 처리 방법으로서, 족부를 여러 각도에서 촬영한 복수의 족부 이미지를 기반으로 족부에 대한 초기 3D 모델을 생성하는 단계와, 초기 3D 모델로부터 지면 및 노이즈를 제거한 중간 3D 모델을 생성하는 단계와, 중간 3D 모델의 생성 시에 지면과 함께 제거된 족부의 일부분을 복구하여 정상 족부 형태를 갖춘 최종 3D 모델을 생성하는 단계와, 최종 3D 모델로부터 족부 관련 정보를 산출하고 신발을 추천하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 족부 정보 처리 장치는, 족부 정보 처리 장치로서, 프로세서 및 프로세서와 동작 가능하게 연결되고 프로세서에서 수행되는 적어도 하나의 코드를 저장하는 메모리를 포함하고, 메모리는 프로세서를 통해 실행될 때, 프로세서가 족부를 여러 각도에서 촬영한 복수의 족부 이미지를 기반으로 족부에 대한 초기 3D 모델을 생성하고, 초기 3D 모델로부터 지면 및 노이즈를 제거한 중간 3D 모델을 생성하고, 중간 3D 모델의 생성 시에 지면과 함께 제거된 족부의 일부분을 복구하여 정상 족부 형태를 갖춘 최종 3D 모델을 생성하고, 최종 3D 모델로부터 족부 관련 정보를 산출하고 신발을 추천하도록 야기하는 코드를 저장할 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체가 더 제공될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명에 의하면, 족부 치수 측정을 위해 직접 매장을 방문해야 하는 시간적 비용적 장비를 줄일 수 있어 사용자에게 편리함을 제공할 수 있다.
또한, 스마트폰을 이용한 3D 스캐닝을 기반으로 하여 족부 치수의 측정이 용이하고, 족부 치수의 정확성을 향상시킬 수 있다.
또한, 족부 치수 정보에 대응하여 적합한 신발의 종류 및 사이즈를 추천해 주어 사용자의 신발 구매에 도움을 줄 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 실시 예에 따른 족부 정보 처리 장치, 전자 장치 및 이들을 서로 연결하는 네트워크를 포함하는 족부 정보 처리 환경의 예시도이다.
도 2는 다른 실시 예에 따른 족부 정보 처리 환경의 예시도이다.
도 3은 본 실시 예에 따른 족부 정보 처리 장치의 구성을 개략적으로 설명하기 위하여 도시한 블록도이다.
도 4는 본 실시 예에 따른 족부 정보 처리부의 구성을 개략적으로 설명하기 위하여 도시한 블록도이다.
도 5 내지 도 8은 본 실시 예에 따른 족부 정보 처리를 설명하기 위하여 도시한 예시도이다.
도 9는 다른 실시 예에 따른 족부 정보 처리 장치의 구성을 개략적으로 설명하기 위하여 도시한 블록도이다.
도 10은 본 실시 예에 따른 족부 정보 처리 방법을 설명하기 위한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
또한, 본 출원서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 실시 예에 따른 족부 정보 처리 장치, 전자 장치 및 이들을 서로 연결하는 네트워크를 포함하는 족부 정보 처리 환경의 예시도이고, 도 2는 다른 실시 예에 따른 족부 정보 처리 환경의 예시도이다. 도 1 및 도 2를 참조하면, 족부 정보 처리 환경은 족부 정보 처리 장치(100), 전자 장치(200) 및 네트워크(300)를 포함할 수 있다.
족부 정보 처리 장치(100)는 족부를 여러 각도에서 촬영한 복수의 족부 이미지를 기반으로 여러 가지 정보를 획득할 수 있다. 족부 정보 처리 장치(100)는 카메라(도 3의 150)로 촬영한 복수의 족부 이미지로부터 2D RGB 정보를 획득할 수 있다. 족부 정보 처리 장치(100)는 라이다 센서(도 3의 160)에 의해 측정된 족부까지의 거리 정보를 기반으로 한 3D 점군 데이터들(3D point cloud set)을 획득할 수 있다. 족부 정보 처리 장치(100)는 중력 가속도 센서(미도시)에 의해 측정된 지면으로부터 카메라까지의 높이 정보를 획득할 수 있다.
족부 정보 처리 장치(100)는 RGB 정보 및 족부까지의 거리 정보를 기반으로 한 3차원 점군 데이터들을 합성하여 족부에 대한 초기 3D 모델을 생성할 수 있다. 족부 정보 처리 장치(100)는 초기 3D 모델로부터 지면 및 노이즈를 제거한 중간 3D 모델을 생성할 수 있다. 족부 정보 처리 장치(100)는 중간 3D 모델의 생성 시에 지면과 함께 제거된 족부의 일부분을 복구하여 정상 족부 형태를 갖춘 최종 3D 모델을 생성할 수 있다.
족부 정보 처리 장치(100)는 최종 3D 모델로부터 족부 관련 정보를 산출하고 신발의 종류 및 사이즈를 추천할 수 있다. 여기서 족부 관련 정보는, 최종 3D 모델로부터 산출한 족부의 길이 정보와, 족부의 너비 정보와, 족부의 둘레 정보와, 족부의 두께 정보, 족부의 모양(shape) 정보 및 족부의 발등 높이 정보 등을 포함할 수 있다.
족부 정보 처리 장치(100)는 인공지능 알고리즘을 이용하여 신발의 종류 및 사이즈를 추천할 수 있다. 여기서 인공 지능(artificial intelligence, AI)은, 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미할 수 있다.
또한, 인공지능은 그 자체로 존재하는 것이 아니라, 컴퓨터 과학의 다른 분야와 직간접으로 많은 관련을 맺고 있다. 특히 현대에는 정보기술의 여러 분야에서 인공지능적 요소를 도입하여, 그 분야의 문제 풀이에 활용하려는 시도가 매우 활발하게 이루어지고 있다.
머신 러닝(machine learning)은 인공지능의 한 분야로, 컴퓨터에 명시적인 프로그램 없이 배울 수 있는 능력을 부여하는 연구 분야를 포함할 수 있다. 구체적으로 머신 러닝은, 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이라 할 수 있다. 머신 러닝의 알고리즘들은 엄격하게 정해진 정적인 프로그램 명령들을 수행하는 것이라기보다, 입력 데이터를 기반으로 예측이나 결정을 이끌어내기 위해 특정한 모델을 구축하는 방식을 취할 수 있다.
이러한 인공신경망의 머신 러닝 방법으로는 자율학습(unsupervised learning)과 지도학습(supervised learning)이 모두 사용될 수 있다. 또한, 머신 러닝의 일종인 딥러닝(deep learning) 기술은 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습할 수 있다. 딥러닝은 단계를 높여갈수록 복수의 데이터들로부터 핵심적인 데이터를 추출하는 머신 러닝 알고리즘의 집합을 나타낼 수 있다.
족부 정보 처리 장치(100)는 족부 관련 정보를 입력으로 하여 신발의 종류 및 사이즈를 추천하도록 미리 훈련된 심층신경망 모델을 이용하여 족부 관련 정보에 대응하는 신발을 추천할 수 있다. 여기서, 심층신경망 모델은, 족부 관련 정보를 입력으로 하고 신발의 종류 및 사이즈를 레이블로 하는 훈련데이터에 의해 지도학습 방식으로 훈련된 모델일 수 있다.
본 실시 예에서, 족부 정보 처리 장치(100)는 도 1에 도시된 바와 같이 서버 형태로 독립적으로 존재하거나, 도 2에 도시된 바와 같이 족부 정보 처리 장치(100)가 제공하는 족부 정보 처리 기능을 어플리케이션 형태로 구현하여 전자 장치(200)에 탑재시킬 수 있다.
전자 장치(200)는 족부 정보 처리 장치(100)가 제공하는 족부 정보 처리 어플리케이션 및/또는 족부 정보 처리 사이트에 접속하여 족부 정보 처리 서비스를 받을 수 있다. 이러한 전자 장치(200)는 컴퓨팅 장치(미도시)의 기능을 수행할 수고, 카메라가 탑재되어 있는 디바이스로서, 예를 들어, 데스크 탑 컴퓨터, 스마트폰, 태블릿 PC, 노트북, 캠코더, 웹캠 등을 포함할 수 있다.
네트워크(300)는 족부 정보 처리 장치(100)와, 전자 장치(200)를 연결하는 역할을 수행할 수 있다. 이러한 네트워크(300)는 예컨대 LANs(local area networks), WANs(wide area networks), MANs(metropolitan area networks), ISDNs(integrated service digital networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 또한 네트워크(300)는 근거리 통신 및/또는 원거리 통신을 이용하여 정보를 송수신할 수 있다. 여기서, 근거리 통신은 블루투스(bluetooth), RFID(radio frequency identification), 적외선 통신(IrDA, infrared data association), UWB(ultra-wideband), ZigBee, Wi-Fi (wireless fidelity) 기술을 포함할 수 있고, 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술을 포함할 수 있다.
네트워크(300)는 허브, 브리지, 라우터, 스위치와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(300)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(300)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다. 더 나아가 네트워크(300)는 사물 등 분산된 구성 요소들 간에 정보를 주고 받아 처리하는 IoT(Internet of Things, 사물인터넷) 망 및/또는 5G 통신을 지원할 수 있다.
본 실시 예에서, 전자 장치(200)에서 촬영된 복수의 족부 이미지는 저장 매체(도 3의 120)에 포함되는 플래시 저장 매체(flash storage media) 중 하나인 USB(universal serial bus) 메모리 카드(미도시)에 저장될 수 있다. 이후 족부 정보 처리가 필요한 경우, USB 메모리 카드를 전자 장치(200)에 연결시켜, 단일 이차원 영상을 USB 메모리 카드에서 전자 장치(200)로 옮긴 후, 네트워크(300)를 통하여 족부 정보 처리 장치(100)로 전송할 수 있다.
도 3은 본 실시 예에 따른 족부 정보 처리 장치의 구성을 개략적으로 설명하기 위하여 도시한 블록도이다. 이하의 설명에서 도 1 및 도 2에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 도 2를 참조하면, 족부 정보 처리 장치(100)는 통신부(110), 저장 매체(120), 프로그램 저장부(130), 데이터베이스(140), 카메라(150), 라이다 센서(160), 족부 정보 처리부(170) 및 제어부(180)를 포함할 수 있다.
통신부(110)는 네트워크(300)와 연동하여 족부 정보 처리 장치(100)와, 전자 장치(200) 간의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공할 수 있다. 나아가, 통신부(110)는 전자 장치(200)로부터 소정의 정보 요청 신호를 수신하는 역할을 할 수 있고, 족부 정보 처리부(170)가 처리한 정보를 전자 장치(200)로 전송하는 역할을 수행할 수 있다. 여기서, 통신망이라 함은, 족부 정보 처리 장치(100)와 전자 장치(200)를 연결하는 역할을 수행하는 매개체로써, 전자 장치(200)가 족부 정보 처리 장치(100)에 접속한 후 정보를 송수신할 수 있도록 접속 경로를 제공하는 경로를 포함할 수 있다. 또한 통신부(110)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
저장 매체(120)는 제어부(180)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 저장 매체(120)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
프로그램 저장부(130)는 족부를 여러 각도에서 촬영한 복수의 족부 이미지를 기반으로 2D RGB 정보를 획득하는 작업, 라이다 센서(도 3의 160)에 의해 측정된 족부까지의 거리 정보를 기반으로 한 3D 점군 데이터들을 획득하는 작업, 중력 가속도 센서에 의해 측정된 지면으로부터 카메라까지의 높이 정보를 획득하는 작업, RGB 정보 및 족부까지의 거리 정보를 기반으로 한 3차원 점군 데이터들을 합성하여 족부에 대한 초기 3D 모델을 생성하는 작업, 초기 3D 모델로부터 지면 및 노이즈를 제거한 중간 3D 모델을 생성하는 작업, 중간 3D 모델의 생성 시에 지면과 함께 제거된 족부의 일부분을 복구하여 정상 족부 형태를 갖춘 최종 3D 모델을 생성하는 작업, 최종 3D 모델로부터 족부 관련 정보를 산출하고 신발의 종류 및 사이즈를 추천하는 작업 등을 수행하는 제어 소프트웨어를 탑재하고 있다.
데이터베이스(140)는 전자 장치(200)로부터 수집한 족부 이미지와, 족부 이미지를 기반으로 하여 획득한 2D RGB 정보, 족부까지의 거리 정보, 지면으로부터 카메라까지의 높이 정보와, 족부에 대한 초기 3D 모델과, 중간 3D 모델과, 최종 3D 모델과, 최종 3D 모델로부터 산출한 족부 관련 정보와, 신발의 종류 및 사이즈를 추천하기 위한 인공지능 알고리즘과, 중간 3D 모델을 이용하여 지면을 제거하는 알고리즘과, 중간 3D 모델로부터 노이즈를 제거하는 알고리즘과, 중간 3D 모델을 재구성하는 포아송 표면 재구성(poisson surface reconstruction) 알고리즘 등을 저장하는 관리 데이터베이스를 포함할 수 있다.
데이터베이스(140)는 족부 정보 처리 서비스를 제공받을 사용자의 정보를 저장하는 유저 데이터베이스를 포함할 수 있다. 여기서, 사용자의 정보는 사용자의 이름, 소속, 인적 사항, 성별, 나이, 연락처, 이메일, 주소, 이미지 등에 대한 기본적인 정보와, 아이디(ID) (또는 이메일) 및 패스워드(password) 등 사용자의 인증(로그인)에 대한 정보, 접속 국가, 접속 위치, 접속에 이용한 장치에 대한 정보, 접속된 네트워크 환경 등 접속과 관련된 정보 등을 포함할 수 있다.
또한 유저 데이터베이스에는 사용자의 고유정보와, 족부 정보 처리 어플리케이션 및/또는 족부 정보 처리 사이트에 접속한 사용자가 제공받은 정보 및/또는 카테고리 이력, 사용자가 설정한 환경 설정 정보, 사용자가 이용한 자원 사용량 정보, 사용자의 자원 사용량에 대응한 과금 및 결제 정보가 저장될 수 있다.
카메라(150)는 족부 정보 처리 장치(100)의 일측에 장착되어, 족부를 다양한 각도(예를 들어 360도)로 촬영한 복수의 족부 이미지를 생성하는 RGB 카메라를 포함할 수 있다. 여기서, 족부 이미지 각각은 사람의 눈과 비슷한 컬러 정보 즉, RGB 정보가 포함되어 있는 2D 형태의 이미지 정보를 의미할 수 있다.
RGB 카메라는 기본적으로 사람의 시각과 유사하게 사물의 형태와 색상을 인식할 수 있다. 하지만 사물(예를 들어, 족부)로부터 반사된 가시광선을 이미지 정보로 나타내기 때문에 조명, 날씨, 사물의 잘림 등의 외부환경적 요인에 취약하다는 단점을 가진다. 또한, RGB 카메라를 통해 탐지한 객체(예를 들어, 족부)의 정확한 3차원 거리 정보를 획득하기에는 많은 어려움이 있다. 따라서 최근에는 객체 탐지의 성능을 높이기 위해 라이다(Light Detection And Ranging; LiDAR) 센서(160)를 카메라(150)와 함께 사용하여 한계점을 보완할 수 있다.
라이다 센서(160)는 레이저를 방출하여 측정 범위 내의 족부로부터 반사된 신호를 3D 점군 데이터들로 나타낼 수 있다. 라이다 센서(160) 자체에서 파생한 레이저로부터 반사된 신호를 측정하기 때문에 가시광선을 측정하는 카메라(150)와는 다르게 외부환경적 요인에 강인하다는 장점을 가질 수 있다. 또한, 표면 성질에 따른 반사율 정보와 반사된 시간에 따른 거리 정보를 포함하여 족부와의 정확한 거리 측정이 가능하다. 그러나, 반사된 레이저 신호만을 측정하기 때문에 반사 영역에만 포함되는 환경정보를 나타내며 이로 인해 3D 점군 데이터들로 표현되는 데이터의 해상도는 이미지 정보의 10% 이내로 매우 작아 실제 환경의 정보를 모두 표현하는 데에 한계를 가질 수 있다.
족부 정보 처리부(170) 카메라(150)로 촬영한 복수의 족부 이미지로부터 2D RGB 정보DHK, 라이다 센서(160)에 의해 측정된 족부까지의 거리 정보를 기반으로 한 3D 점군 데이터들과, 중력 가속도 센서(미도시)에 의해 측정된 지면으로부터 카메라까지의 높이 정보를 획득할 수 있다.
족부 정보 처리부(170)는 RGB 정보 및 족부까지의 거리 정보를 기반으로 한 3차원 점군 데이터들을 합성하여 족부에 대한 초기 3D 모델을 생성할 수 있다. 족부 정보 처리부(170)는 초기 3D 모델로부터 지면 및 노이즈를 제거한 중간 3D 모델을 생성할 수 있다. 족부 정보 처리부(170)는 중간 3D 모델의 생성 시에 지면과 함께 제거된 족부의 일부분을 복구하여 정상 족부 형태를 갖춘 최종 3D 모델을 생성할 수 있다.
족부 정보 처리부(170)는 최종 3D 모델로부터 족부 관련 정보를 산출하고 신발의 종류 및 사이즈를 추천할 수 있다. 여기서 족부 관련 정보는, 최종 3D 모델로부터 산출한 족부의 길이 정보와, 족부의 너비 정보와, 족부의 둘레 정보와, 족부의 두께 정보, 족부의 모양(shape) 정보 및 족부의 발등 높이 정보 등을 포함할 수 있다. 족부 정보 처리부(170)는 인공지능 알고리즘을 이용하여 신발의 종류 및 사이즈를 추천할 수 있다.
제어부(180)는 일종의 중앙처리장치로서 프로그램 저장부(130)에 탑재된 제어 소프트웨어를 구동하여 족부 정보 처리 장치(100) 전체의 동작을 제어할 수 있다. 제어부(180)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령어로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
도 4는 본 실시 예에 따른 족부 정보 처리부의 구성을 개략적으로 설명하기 위하여 도시한 블록도이고, 도 5 내지 도 8은 본 실시 예에 따른 족부 정보 처리를 설명하기 위하여 도시한 예시도이다. 이하의 설명에서 도 1 내지 도 3에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 도 4 내지 도 8을 참조하면, 족부 정보 처리부(170)는 획득부(171), 제1 생성부(172), 제2 생성부(173), 제3 생성부(174) 및 추천부(175)를 포함할 수 있다.
획득부(171)는 카메라(150)를 이용하여 족부를 다양한 각도(예를 들어 360도)로 촬영한 복수의 족부 이미지로부터 2D 형태의 RGB 정보를 획득할 수 있다. 도 5를 참조하면, 카메라(150)를 이용하여 족부를 중심으로 다양한 각도에서 촬영한 복수의 족부 이미지가 도시되어 있다.
획득부(171)는 복수의 족부 이미지 촬영 시에, 라이다 센서(160)에 의해 측정된 족부까지의 거리 정보를 기반으로 한 3D 점군 데이터들(3D point cloud set)을 획득할 수 있다. 여기서 점군 데이터(포인트 클라우드; point cloud)는 3D 데이터의 표현 방법 중 하나로, 3차원 상의 한 점을 표현하는 방법이고, 위치 좌표와 색상을 동시에 포함할 수 있는 벡터 형태일 수 있다. 예를 들어, 점군 데이터(point cloud)는 (x, y, z, R, G, B)와 같이 표현될 수 있다. 무수히 많은 색상과 위치 데이터들이 모여서 공간적인 구성을 이루는 포인트 클라우드는 밀도가 높아지면 높아질 수록 점점 더 구체적인 데이터가 되면서 하나의 3D 모델로서의 의미를 가질 수 있다.
획득부(171)는 중력 가속도 센서에 의해 측정된 지면으로부터 카메라(150)까지의 높이 정보를 획득할 수 있다.
본 실시 예에서, 족부 정보 처리 장치(100)가 전자 장치(200)로서의 스마트폰에 탑재된 경우, 스마트폰에 구비된 카메라를 이용하여 족부를 다양한 각도(예를 들어 360도)로 촬영하여 복수의 족부 이미지를 생성하여 저장하고, 족부에 대한 이미지 촬영 시에 스마트폰의 위치 좌표를 산출하여 저장하고, 스마트폰에 구비된 라이다 센서를 이용하여 스마트폰으로부터 족부까지의 거리 정보를 기반으로 한 3D 점군 데이터들 산출하여 저장하고, 스마트폰에 구비된 중력 가속도 센서에 의해 지면으로부터 스마트폰까지의 높이 정보를 산출하여 저장할 수 있다.
더 나아가 획득부(171)는 복수의 족부 이미지로부터 중심 객체로서의 족부를 검출할 수 있다. 즉, 카메라(150)로 촬영한 이미지 상에서 족부가 어디 있는지 식별할 수 있다. 획득부(171)는 앵커(anchor) 기반 객체 검출 알고리즘을 이용하여 이미지로부터 족부를 검출할 수 있다. 앵커 기반 객체 검출 방법은 객체 검출 네트워크의 특징맵을 구성하는 각각의 셀에 앵커를 배치하고, 배치된 앵커에 기초하여 객체 유무(Objectness), 클래스 점수(Class score), 객체 위치(Object location) 및 형상(Shape)을 학습하여 객체로서의 족부를 검출할 수 있다.
또한, 획득부(171)는 물체의 사이즈를 측정하는 ARKit(augmented reality kit) 알고리즘을 이용하여, 객체로서의 족부를 인지하고, 족부의 사이즈 측정 결과를 포함하여 주변의 3D 환경 분석 결과를 획득할 수 있다.
제1 생성부(172)는 복수의 족부 이미지로부터 획득한 RGB 정보 및 3D 점군 데이터들을 합성하여 족부에 대한 초기 3D 모델을 생성할 수 있다.
제2 생성부(173)는 초기 3D 모델로부터 지면 및 노이즈를 제거한 중간 3D 모델을 생성할 수 있다.
제2 생성부(173)는 초기 3D 모델에 포함되는 3D 점군 데이터들을 이용하여 하나 이상의 평면을 검출하고, 복수의 족부 이미지 촬영 시에 획득한 지면으로부터 카메라까지의 높이 정보를 기반으로 하여 상기 하나 이상의 평면 중 하나를 지면으로 추정하고 제거할 수 있다.
제2 생성부(173)는 하나 이상의 평면 검출 시에 RANSAC(random sample consensus) 알고리즘을 이용할 수 있다. RANSAC 알고리즘은 3D 점군 데이터들로부터 최소 점(평면의 경우 3개)을 임의로 선택하여 평면을 추정하고, 평면에 부합하는(supported)하는 점들의 개수가 일정 임계치 이상인 경우 평면으로 검출할 수 있다.
다른 실시 예로, 제2 생성부(173)는 노멀 벡터(normal vector)를 이용하여 하나 이상의 평면을 검출할 수도 있다. 각 픽셀에 해당하는 노멀 벡터는 거리 정보를 비교하여 생성하며 유사한 노멀을 갖는 픽셀들이 하나로 그룹핑하여 하나의 평면으로 검출할 수 있다. 각 픽셀들을 그룹핑하기 위해서 잘 알려진 region growing 알고리즘을 적용할 수 있고, 픽셀간의 노멀 벡터가 일정각도 이상 차이 나거나 픽셀간의 깊이가 일정거리 이상 차이 나는 경우 다른 평면으로 가정하여 영역이 확장되는 것을 멈출 수 있다.
제2 생성부(173)는 복수의 족부 이미지 촬영 시에 획득한 지면으로부터 카메라(150)까지의 높이 정보를 이용하여 검출한 하나 이상의 평면 중 하나를 지면으로 추정하고 제거할 수 있다.
예를 들어, 제2 생성부(173)가 족부에 대한 초기 3D 모델을 이용하여 검출한 평면이 3개가 있고, 지면으로부터 카메라(150)까지의 높이 정보가 50cm인 경우, 족부에 대한 초기 3D 모델에서 높이 정보(50cm) 아래에 위치한 평면을 지면으로 추정하고 제거할 수 있다.
본 실시 예서는 촬영 조건이 설정되어 있을 수 있는데, 촬영 조건은 발바닥이 지면에 접촉된 상태에서 족부를 촬영하는 조건을 포함할 수 있다. 따라서, 제2 생성부(173)가 족부에 대한 초기 3D 모델로부터 평면을 결정하고 지면을 제거하는 경우, 발바닥이 함께 제거될 수 있다.
한편, 족부에 대한 초기 3D 모델에는 노이즈가 포함되어 있을 수 있으며, 이러한 노이즈는 복수의 족부 이미지 촬영 시에 발생하거나, 또는 족부에 대한 초기 3D 모델 생성 시에 발생할 수 있다.
일 예로, 족부 정보 처리 장치(100)가 전자 장치(200)로서의 스마트폰에 탑재된 경우, 스마트폰으로 족부를 촬영할 때, 족부가 움직이거나 스마트폰이 움직이면서 노이즈가 발생할 수 있다. 또한 족부에 대한 초기 3D 모델 생성을 위해, RGB 정보 및 3차원 점군 데이터들을 합성할 때 노이즈가 발생할 수 있다. 이는 일반적인 이미지 합성 방식을 따르므로, 일반적인 이미지 합성 시에 발생될 수 있는 노이즈가 포함될 수 있다.
제2 생성부(173)는 군집 분석을 이용하여 복수의 족부 이미지 촬영 시에 발생한 노이즈 또는 족부에 대한 초기 3D 모델 생성 시에 발생한 노이즈를 제거할 수 있다. 일 실시 예로, 제2 생성부(173)는 밀도 기반 군집 분석(DBSCAN, density-based spatial clustering of applications with noise) 알고리즘을 이용하여 노이즈를 제거할 수 있다.
밀도 기반 군집 분석 알고리즘은 밀집되어 있는 영역을 하나의 군집으로 보며, 만약 그 영역이 다른 밀집되어 있는 영역과 연결되어 있다면 군집을 확장하면서 군집분석을 진행하는 기법이다. 밀도 기반 군집 분석 알고리즘에서 가장 중요한 의사 결정은 밀도가 높은 지역을 어떻게 정의하느냐일 수 있다. 밀도가 높은 지역을 정의하기 위해서는, 지정거리 e와 지정거리 e 거리 이내의 필요한 최소 데이터 개수 n이라는 두 가지의 개념이 사용될 수 있다. 상기 지정거리 e는 어떤 데이터 포인트를 기준으로 탐색할 거리를 의미하고, 최소 데이터 개수 n은 해당 데이터를 기준으로 지정거리 e 안에 필요한 데이터 개수를 의미할 수 있다. 밀도 기반 군집 분석 알고리즘은 군집의 개수를 선정하지 않아도 되고, 노이즈 포인트를 분류함으로써 노이즈에 강건한 것만이 아니라 이상치를 탐색하는 데에도 활용될 수 있는 장점이 있다. 또한, 밀도 기반 군집 분석 알고리즘은, 밀도가 높은 영역을 연결하여 군집을 만드는 방식을 통해서 복잡하거나 기하학적인 형태를 가진 데이터에도 적용할 수 있다.
제2 생성부(173)는 노이즈 제거를 위해, 족부에 대한 초기 3D 모델에 포함되는 3D 점군 데이터들 사이의 거리를 계산하고, 3D 점군 데이터들의 밀도를 산출할 수 있다. 제2 생성부(173)는 3D 점군 데이터들 중 산출한 밀도가 기준값 이상이고 집단이 형성된 영역을 추출할 수 있다. 제2 생성부(173)는 추출된 영역에서 일반적인 족부 모양 모델과 유사한 영역을 모아서 족부로 추정하고, 족부 모양 모델과 다른 부분을 노이즈로 판단하여, 노이즈를 제거할 수 있다.
도 6a 내지 도 6c는 제2 생성부(173)의 중간 3D 모델을 생성 과정을 도시하고 있다. 도 6a를 참조하면, 족부에 대한 초기 3D 모델로부터 평면을 검출하고, 지면으로부터 카메라(150)까지의 높이 정보를 이용하여 지면에 대응하는 평면을 제거하며, 지면에 대응하는 평면 제거 시에 발바닥이 함께 제거되는 것을 도시하고 있다. 도 6b를 참조하면, 족부 이미지 촬영 시에 발생하거나, 또는 족부에 대한 초기 3D 모델 생성 시에 발생한 노이즈의 제거를 도시하고 있다. 도 6c는 지면 제거 및 노이즈 제거를 통하여 생성된 족부에 대한 중간 3D 모델을 도시하고 있다.
제3 생성부(174)는 중간 3D 모델의 생성 시에 지면과 함께 제거된 족부의 일부분을 복구하여 정상 족부 형태를 갖춘 최종 3D 모델을 생성할 수 있다.
제3 생성부(174)는 중간 3D 모델에 포함되는 3D 점군 데이터들 중 지면으로부터 기설정된 높이를 가진 3D 점군 데이터들로부터 족부의 표면을 형성하는 아웃라인(outline)을 검출할 수 있다. 제3 생성부(174)는 아웃라인에 대응하는 지면으로부터 기설정된 높이를 가진 3D 점군 데이터들을 지면으로 수직 투영하여 발바닥 부분을 생성할 수 있다. 제3 생성부(174)는 3D 점군 데이터들을 지면으로 수직 투영하여 생성한 발바닥 부분을 지면과 함께 제거된 족부의 일부분으로 복구할 수 있다.
제3 생성부(174)는 발바닥 부분을 복구한 중간 3D 모델을 보간 처리하여 최종 3D 모델을 생성할 수 있다. 여기서 보간 처리한다 함은, 3D 모델을 매끄럽게 가다듬고, 비워진 부분을 채워 넣는 것을 포함할 수 있다.
일 실시 예로, 제3 생성부(174)는 가상의 카메라 위치(실제 족부 이미지가 촬영된 위치)를 사용하여 노멀 벡터를 정렬하는 방법으로 보간 처리를 수행할 수 있다. 족부 정보 처리 장치(100)가 전자 장치(200)로서의 스마트폰에 탑재된 경우, 족부 이미지 촬영 시에 스마트폰이 이동되면서 촬영되기 때문에 촬영된 복수의 족부 이미지가 정확하게 대응되는 위치가 아닐 수 있다. 따라서 스마트폰으로 촬영한 족부 이미지를 이용하여 3D 모델을 생성하면 일부 매끄럽지 못한 부분이 발생할 수 있다. 이렇게 발행된 매끄럽지 못한 부분의 노멀 벡터를 정렬하여 매끄럽게 보정하는 보간 처리를 수행할 수 있다.
다른 실시 예로, 제3 생성부(174)는 포아송 표면 재구성(poisson surface reconstruction) 알고리즘을 이용하여 보간 처리를 수행할 수 있다. 아웃라인의 3D 점군 데이터들을 지면으로 수직 투영하여 발바닥 부분을 생성하면, 실제 족부 모양처럼 매끄럽지 못할 수 있는데, 주변부의 값들을 기반으로 표면을 예측하는 포아송 표면 재구성 알고리즘을 이용하여 3D 모델을 매끄럽게 보정하는 보간 처리를 수행할 수 있다.
도 7a 내지 도 7c는 제3 생성부(174)의 최종 3D 모델을 생성 과정을 도시하고 있다. 도 7a를 참조하면, 발바닥 부분이 제거된 중간 3D 모델을 도시하고 있다. 도 7b를 참조하면, 3D 점군 데이터들로부터 족부의 표면을 형성하는 아웃라인(outline)을 검출하고, 아웃라인에 대응하는 3D 점군 데이터들을 지면으로 수직 투영하여 발바닥 부분을 생성한 예가 도시되어 있다. 도 7c는 발바닥 부분을 복구하고 보간 처리를 수행하여 생성된 최종 3D 모델을 도시하고 있다.
도 8a 내지 도 8f는 족부 정보 처리 장치(100)가 전자 장치(200)로서의 스마트폰에 탑재된 경우, 생성된 최종 3D 모델을 스마트폰에 출력하고, 사용자의 터치 및 드래그의 조작을 통하여 다양한 각도에서 최종 3D 모델을 확인하는 예를 도시하고 있다. 스마트폰의 사용자는 자신의 족부 이미지를 촬영하여 생성된 최종 3D 모델을 이용하여 자신에게 적합한 신발의 종류 및 사이즈를 추천받을 수 있다.
추천부(175)는 최종 3D 모델로부터 족부 관련 정보를 산출하고 신발의 종류 및 사이즈를 추천할 수 있다. 여기서 족부 관련 정보는 족부의 길이 정보와, 족부의 너비 정보와, 족부의 둘레 정보와, 족부의 두께 정보, 족부의 모양 정보 및 족부의 발등 높이 정보를 포함할 수 있다.
추천부(175)는 족부 관련 정보를 입력으로 하여 신발의 종류 및 사이즈를 추천하도록 미리 훈련된 심층신경망 모델을 이용하여 족부 관련 정보에 대응하는 신발의 종류 및 사이즈를 추천할 수 있다. 여기서, 심층신경망 모델은, 족부 관련 정보를 입력으로 하고 신발의 종류 및 사이즈를 레이블로 하는 훈련데이터에 의해 지도학습 방식으로 훈련된 모델일 수 있다.
추천부(175)는 레이블링된 훈련 데이터를 이용하여 초기에 설정된 심층신경망모델을 지도 학습 방식으로 훈련할 수 있다. 여기서, 초기에 설정된 심층신경망모델은 신발의 종류 및 사이즈를 추천할 수 있는 모델로 구성되기 위해 설계된 초기 모델로서 파라미터 값들은 임의의 초기값으로 설정되어 있는 상태이다. 초기 모델은 상술된 훈련 데이터를 통해 훈련되면서 파라미터 값들이 최적화되면서 신발의 종류 및 사이즈를 추천할 수 있는 신발 추천 모델로 완성될 수 있다.
도 9는 다른 실시 예에 따른 족부 정보 처리 장치의 구성을 개략적으로 설명하기 위하여 도시한 블록도이다. 이하의 설명에서 도 1 내지 도 8에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 도 9를 참조하면, 다른 실시 예에 족부 정보 처리 장치는 프로세서(191)와 메모리(192)를 포함할 수 있다.
본 실시 예에서 프로세서(191)는 도 3의 통신부(110), 저장 매체(120), 프로그램 저장부(130), 데이터베이스(140), 카메라(150), 라이다 센서(160), 족부 정보 처리부(170) 및 제어부(180)와, 도 4의 획득부(171), 제1 생성부(172), 제2 생성부(173), 제3 생성부(174) 및 추천부(175)를 포함하는 족부 정보 처리부(170)가 수행하는 기능을 처리할 수 있다.
이러한 프로세서(191)는 족부 정보 처리 장치(100) 전체의 동작을 제어할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령어로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
메모리(192)는 프로세서(191)와 동작 가능하게 연결되고, 프로세서(191)에서 수행되는 동작과 연관하여 적어도 하나의 코드를 저장할 수 있다.
또한, 메모리(192)는 프로세서(191)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있으며, 일 실시 예로 도 3의 데이터베이스(140)에 저장되는 데이터를 저장할 수 있다. 여기서, 메모리(192)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 이러한 메모리(192)는 내장 메모리 및/또는 외장 메모리를 포함할 수 있으며, DRAM, SRAM, 또는 SDRAM 등과 같은 휘발성 메모리, OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, NAND 플래시 메모리, 또는 NOR 플래시 메모리 등과 같은 비휘발성 메모리, SSD, CF(compact flash) 카드, SD 카드, Micro-SD 카드, Mini-SD 카드, Xd 카드, 또는 메모리 스틱(memory stick) 등과 같은 플래시 드라이브, 또는 HDD와 같은 저장 장치를 포함할 수 있다.
도 10은 본 실시 예에 따른 족부 정보 처리 방법을 설명하기 위한 흐름도이다. 이하의 설명에서 도 1 내지 도 9에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 10을 참조하면, S1010단계에서, 족부 정보 처리 장치(100)는 족부를 여러 각도에서 촬영한 복수의 족부 이미지를 기반으로 족부에 대한 초기 3D 모델을 생성할 수 있다. 족부 정보 처리 장치(100)는 족부를 중심으로 카메라를 360도 이동시키면서 촬영한 복수의 족부 이미지로부터 RGB 정보를 획득할 수 있다. 족부 정보 처리 장치(100)는 복수의 족부 이미지 촬영 시에, 라이다 센서에 의해 측정된 족부까지의 거리 정보를 기반으로 한 3D 점군 데이터들(3D point cloud set)을 획득할 수 있다. 족부 정보 처리 장치(100)는 RGB 정보 및 족부까지의 거리 정보를 기반으로 한 3차원 점군 데이터들을 합성하여 족부에 대한 초기 3D 모델을 생성할 수 있다.
S1020단계에서, 족부 정보 처리부(170)는 초기 3D 모델로부터 지면 및 노이즈를 제거한 중간 3D 모델을 생성할 수 있다. 족부 정보 처리 장치(100)는 초기 3D 모델에 포함되는 3D 점군 데이터들을 이용하여 하나 이상의 평면을 검출하고, 복수의 족부 이미지 촬영 시에 획득한 지면으로부터 카메라까지의 높이 정보를 기반으로 하여 하나 이상의 평면 중 하나를 지면으로 추정하고 제거할 수 있다. 족부 정보 처리 장치(100)는 군집 분석을 이용하여 복수의 족부 이미지 촬영 시에 발생한 노이즈 또는 족부에 대한 초기 3D 모델의 생성 시에 발생한 노이즈를 제거할 수 있다.
S1030단계에서, 족부 정보 처리 장치(100)는 중간 3D 모델의 생성 시에 지면과 함께 제거된 족부의 일부분을 복구하여 정상 족부 형태를 갖춘 최종 3D 모델을 생성할 수 있다. 족부 정보 처리 장치(100)는 중간 3D 모델에 포함되는 3D 점군 데이터들 중 지면으로부터 기설정된 높이를 가진 3D 점군 데이터들로부터 족부의 표면을 형성하는 아웃라인(outline)을 검출할 수 있다. 족부 정보 처리 장치(100)는 아웃라인에 대응하는 지면으로부터 기설정된 높이를 가진 3D 점군 데이터들을 지면으로 수직 투영하여 발바닥 부분을 생성할 수 있다. 족부 정보 처리 장치(100)는 발바닥 부분을 지면과 함께 제거된 족부의 일부분으로 복구할 수 있다. 족부 정보 처리 장치(100)는 발바닥 부분이 복구된 3D 모델에 가상의 카메라 위치(실제 족부 이미지가 촬영된 위치)를 사용하여 노멀 벡터를 정렬하는 방법 또는 포아송 표면 재구성(poisson surface reconstruction) 알고리즘을 적용하여 보간 처리를 수행한 결과로서의 최종 3D 모델을 생성할 수 있다.
S1040단계에서, 족부 정보 처리부(170)는 최종 3D 모델로부터 족부 관련 정보를 산출하고 신발의 종류 및 사이즈를 추천할 수 있다. 족부 정보 처리 장치(100)는 최종 3D 모델로부터 족부의 길이 정보와, 족부의 너비 정보와, 족부의 둘레 정보와, 족부의 두께 정보, 족부의 모양 정보 및 족부의 발등 높이 정보를 포함하는 족부 관련 정보를 산출할 수 있다. 족부 정보 처리 장치(100)는 족부 관련 정보를 입력으로 하여 신발의 종류 및 사이즈를 추천하도록 미리 훈련된 심층신경망 모델을 이용하여 족부 관련 정보에 대응하는 신발의 종류 및 사이즈를 추천할 수 있다. 여기서, 심층신경망 모델은, 족부 관련 정보를 입력으로 하고 신발의 종류 및 사이즈를 레이블로 하는 훈련데이터에 의해 지도학습 방식으로 훈련된 모델일 수 있다.
이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (11)

  1. 족부 정보 처리 장치의 프로세서에 의해 실행되는 족부 정보 처리 방법으로서,
    족부를 여러 각도에서 촬영한 복수의 족부 이미지를 기반으로 상기 족부에 대한 초기 3D 모델을 생성하는 단계;
    상기 초기 3D 모델로부터 지면 및 노이즈를 제거한 중간 3D 모델을 생성하는 단계;
    상기 중간 3D 모델의 생성 시에 상기 지면과 함께 제거된 상기 족부의 일부분을 복구하여 정상 족부 형태를 갖춘 최종 3D 모델을 생성하는 단계; 및
    상기 최종 3D 모델로부터 족부 관련 정보를 산출하고 신발을 추천하는 단계를 포함하는,
    족부 정보 처리 방법.
  2. 제 1 항에 있어서,
    상기 초기 3D 모델을 생성하는 단계는,
    족부를 중심으로 카메라를 360도 이동시키면서 촬영한 상기 복수의 족부 이미지로부터 RGB 정보를 획득하는 단계;
    상기 복수의 족부 이미지 촬영 시에, 라이다 센서에 의해 측정된 상기 족부까지의 거리 정보를 기반으로 한 3D 점군 데이터들(3D point cloud set)을 획득하는 단계; 및
    상기 RGB 정보 및 상기 족부까지의 거리 정보를 기반으로 한 3차원 점군 데이터들을 합성하여 상기 족부에 대한 초기 3D 모델을 생성하는 단계를 포함하는,
    족부 정보 처리 방법.
  3. 제 2 항에 있어서,
    상기 중간 3D 모델을 생성하는 단계는,
    상기 초기 3D 모델에 포함되는 상기 3D 점군 데이터들을 이용하여 하나 이상의 평면을 검출하고, 상기 복수의 족부 이미지 촬영 시에 획득한 지면으로부터 카메라까지의 높이 정보를 기반으로 하여 상기 하나 이상의 평면 중 하나를 지면으로 추정하고 제거하는 단계; 및
    군집 분석을 이용하여 상기 복수의 족부 이미지 촬영 시에 발생한 노이즈 또는 상기 족부에 대한 초기 3D 모델의 생성 시에 발생한 노이즈를 제거하는 단계를 포함하는,
    족부 정보 처리 방법.
  4. 제 3 항에 있어서,
    상기 최종 3D 모델을 생성하는 단계는,
    상기 중간 3D 모델에 포함되는 3D 점군 데이터들 중 상기 지면으로부터 기설정된 높이를 가진 3D 점군 데이터들로부터 상기 족부의 표면을 형성하는 아웃라인(outline)을 검출하는 단계;
    상기 아웃라인에 대응하는 상기 지면으로부터 기설정된 높이를 가진 3D 점군 데이터들을 지면으로 수직 투영하여 발바닥 부분을 생성하는 단계; 및
    상기 발바닥 부분을 상기 지면과 함께 제거된 상기 족부의 일부분으로 복구하는 단계를 포함하는,
    족부 정보 처리 방법.
  5. 제 1 항에 있어서,
    상기 신발을 추천하는 단계는,
    상기 최종 3D 모델로부터 상기 족부의 길이 정보와, 상기 족부의 너비 정보와, 상기 족부의 둘레 정보와, 상기 족부의 두께 정보, 상기 족부의 모양(shape) 정보 및 상기 족부의 발등 높이 정보를 포함하는 족부 관련 정보를 산출하는 단계; 및
    족부 관련 정보를 입력으로 하여 신발의 종류 및 사이즈를 추천하도록 미리 훈련된 심층신경망 모델을 이용하여 상기 족부 관련 정보에 대응하는 신발의 종류 및 사이즈를 추천하는 단계를 포함하고,
    상기 심층신경망 모델은,
    족부 관련 정보를 입력으로 하고 신발의 종류 및 사이즈를 레이블로 하는 훈련데이터에 의해 지도학습 방식으로 훈련된 모델인,
    족부 정보 처리 방법.
  6. 컴퓨터를 이용하여 제 1 항 내지 제 5 항의 방법 중 어느 한 항의 방법을 실행시키기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체.
  7. 족부 정보 처리 장치로서,
    프로세서; 및
    상기 프로세서와 동작 가능하게 연결되고 상기 프로세서에서 수행되는 적어도 하나의 코드를 저장하는 메모리를 포함하고,
    상기 메모리는 상기 프로세서를 통해 실행될 때, 상기 프로세서가 족부를 여러 각도에서 촬영한 복수의 족부 이미지를 기반으로 상기 족부에 대한 초기 3D 모델을 생성하고,
    상기 초기 3D 모델로부터 지면 및 노이즈를 제거한 중간 3D 모델을 생성하고,
    상기 중간 3D 모델의 생성 시에 상기 지면과 함께 제거된 상기 족부의 일부분을 복구하여 정상 족부 형태를 갖춘 최종 3D 모델을 생성하고,
    상기 최종 3D 모델로부터 족부 관련 정보를 산출하고 신발을 추천하도록 야기하는 코드를 저장하는,
    족부 정보 처리 장치.
  8. 제 7 항에 있어서,
    상기 메모리는 상기 프로세서로 하여금,
    상기 초기 3D 모델을 생성 시에, 족부를 중심으로 카메라를 360도 이동시키면서 촬영한 상기 복수의 족부 이미지로부터 RGB 정보를 획득하고,
    상기 복수의 족부 이미지 촬영 시에, 라이다 센서에 의해 측정된 상기 족부까지의 거리 정보를 기반으로 한 3D 점군 데이터들(3D point cloud set)을 획득하고,
    상기 RGB 정보 및 상기 족부까지의 거리 정보를 기반으로 한 3차원 점군 데이터들을 합성하여 상기 족부에 대한 초기 3D 모델을 생성하도록 야기하는 코드를 저장하는,
    족부 정보 처리 장치.
  9. 제 8 항에 있어서,
    상기 메모리는 상기 프로세서로 하여금,
    상기 중간 3D 모델을 생성 시에, 상기 3D 점군 데이터들을 이용하여 하나 이상의 평면을 검출하고, 상기 복수의 족부 이미지 촬영 시에 획득한 지면으로부터 카메라까지의 높이 정보를 기반으로 하여 상기 하나 이상의 평면 중 하나를 지면으로 추정하고 제거하고,
    군집 분석을 이용하여 상기 복수의 족부 이미지 촬영 시에 발생한 노이즈 또는 상기 족부에 대한 초기 3D 모델의 생성 시에 발생한 노이즈를 제거하도록 야기하는 코드를 저장하는,
    족부 정보 처리 장치.
  10. 제 9 항에 있어서,
    상기 메모리는 상기 프로세서로 하여금,
    상기 최종 3D 모델을 생성 시에, 상기 중간 3D 모델에 포함되는 3D 점군 데이터들 중 상기 지면으로부터 기설정된 높이를 가진 3D 점군 데이터들로부터 상기 족부의 표면을 형성하는 아웃라인(outline)을 검출하고,
    상기 아웃라인에 대응하는 상기 지면으로부터 기설정된 높이를 가진 3D 점군 데이터들을 지면으로 수직 투영하여 발바닥 부분을 생성하고,
    상기 발바닥 부분을 상기 지면과 함께 제거된 상기 족부의 일부분으로 복구하도록 야기하는 코드를 저장하는,
    족부 정보 처리 장치.
  11. 제 7 항에 있어서,
    상기 메모리는 상기 프로세서로 하여금,
    상기 신발을 추천 시에, 상기 최종 3D 모델로부터 상기 족부의 길이 정보와, 상기 족부의 너비 정보와, 상기 족부의 둘레 정보와, 상기 족부의 두께 정보, 상기 족부의 모양(shape) 정보 및 상기 족부의 발등 높이 정보를 포함하는 족부 관련 정보를 산출하고,
    족부 관련 정보를 입력으로 하여 신발의 종류 및 사이즈를 추천하도록 미리 훈련된 심층신경망 모델을 이용하여 상기 족부 관련 정보에 대응하는 신발의 종류 및 사이즈를 추천하도록 야기하는 코드를 포함하며,
    상기 심층신경망 모델은,
    족부 관련 정보를 입력으로 하고 신발의 종류 및 사이즈를 레이블로 하는 훈련데이터에 의해 지도학습 방식으로 훈련된 모델인,
    족부 정보 처리 장치.
PCT/KR2022/014895 2018-03-09 2022-10-04 족부 정보 처리 방법 및 장치 WO2023080455A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/587,801 US20240188688A1 (en) 2018-03-09 2024-02-26 Mehtod and apparatus for processing foot information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0150726 2021-11-04
KR1020210150726A KR102362470B1 (ko) 2021-11-04 2021-11-04 족부 정보 처리 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/587,801 Continuation US20240188688A1 (en) 2018-03-09 2024-02-26 Mehtod and apparatus for processing foot information

Publications (1)

Publication Number Publication Date
WO2023080455A1 true WO2023080455A1 (ko) 2023-05-11

Family

ID=80325319

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/014895 WO2023080455A1 (ko) 2018-03-09 2022-10-04 족부 정보 처리 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102362470B1 (ko)
WO (1) WO2023080455A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993923A (zh) * 2023-09-22 2023-11-03 长沙能川信息科技有限公司 换流站三维模型制作方法、系统、计算机设备和存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102362470B1 (ko) * 2021-11-04 2022-02-15 (주)펄핏 족부 정보 처리 방법 및 장치
KR102559717B1 (ko) * 2023-01-04 2023-07-26 주식회사 크리토 3d 인간 모델 생성 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130116399A (ko) * 2012-03-07 2013-10-24 삼성메디슨 주식회사 영상 처리 장치 및 방법
KR20200031797A (ko) * 2018-09-17 2020-03-25 디파인드 주식회사 발 사이즈 측정 장치 및 제어 방법
KR20200110120A (ko) * 2019-03-15 2020-09-23 주식회사 스트리스 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
KR20210060804A (ko) * 2019-11-19 2021-05-27 대한민국(국립재활원장) 가상현실 기반 지면 보행 훈련 시스템 및 방법
KR102362470B1 (ko) * 2021-11-04 2022-02-15 (주)펄핏 족부 정보 처리 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050081387A (ko) 2004-02-13 2005-08-19 박차철 인터넷을 이용한 발측정 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130116399A (ko) * 2012-03-07 2013-10-24 삼성메디슨 주식회사 영상 처리 장치 및 방법
KR20200031797A (ko) * 2018-09-17 2020-03-25 디파인드 주식회사 발 사이즈 측정 장치 및 제어 방법
KR20200110120A (ko) * 2019-03-15 2020-09-23 주식회사 스트리스 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
KR20210060804A (ko) * 2019-11-19 2021-05-27 대한민국(국립재활원장) 가상현실 기반 지면 보행 훈련 시스템 및 방법
KR102362470B1 (ko) * 2021-11-04 2022-02-15 (주)펄핏 족부 정보 처리 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KIM HAN-GYEOLL, HWANG YUNHYUK, RHEE SOOAHM: "Automatic Generation of Clustered Solid Building Models Based on Point Cloud", KOREAN JOURNAL OF REMOTE SENSING, vol. 36, no. 6-1, 22 December 2020 (2020-12-22), pages 1349 - 1365, XP093063569, ISSN: 1225-6161, DOI: 10.7780/kjrs.2020.36.6.1.6 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993923A (zh) * 2023-09-22 2023-11-03 长沙能川信息科技有限公司 换流站三维模型制作方法、系统、计算机设备和存储介质
CN116993923B (zh) * 2023-09-22 2023-12-26 长沙能川信息科技有限公司 换流站三维模型制作方法、系统、计算机设备和存储介质

Also Published As

Publication number Publication date
KR102362470B1 (ko) 2022-02-15

Similar Documents

Publication Publication Date Title
WO2023080455A1 (ko) 족부 정보 처리 방법 및 장치
CN110427917B (zh) 用于检测关键点的方法和装置
Seer et al. Kinects and human kinetics: A new approach for studying pedestrian behavior
US11967069B2 (en) Pathological section image processing method and apparatus, system, and storage medium
WO2019240452A1 (ko) 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템
CN113874870A (zh) 基于图像的定位
CN106993112A (zh) 基于景深的背景虚化方法及装置和电子装置
CN110473232A (zh) 图像识别方法、装置、存储介质及电子设备
CN108665541A (zh) 一种基于激光传感器的地图生成方法及装置和机器人
WO2021075772A1 (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
CN110555339A (zh) 一种目标检测方法、系统、装置及存储介质
CN111652314A (zh) 温度检测方法、装置、计算机设备和存储介质
CN113340312A (zh) 一种ar室内实景导航方法及系统
JP2012103213A (ja) 画像処理プログラムおよび画像処理装置
CN115862124A (zh) 视线估计方法、装置、可读存储介质及电子设备
CN112990168B (zh) 一种违法用地监测方法及系统
BR102014025597A2 (pt) método e sistema de referência de um objeto imageado
WO2019164277A1 (ko) 수술영상을 이용한 출혈 평가 방법 및 장치
WO2022044297A1 (ja) 情報処理方法、情報処理装置及び情報処理プログラム
CN102572216B (zh) 图像处理设备及图像处理方法
CN117241142A (zh) 云台相机的俯仰角动态矫正方法和装置、设备及存储介质
CN112258647A (zh) 地图重建方法及装置、计算机可读介质和电子设备
CN114503550A (zh) 信息处理系统、信息处理方法、图像拍摄装置和信息处理装置
KR102531286B1 (ko) 깊이 정보 추정 모델 학습을 위한 데이터 처리 방법 및 장치
CN112801287B (zh) 神经网络性能评估方法及装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22890190

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE