KR20220075984A - 콘택트렌즈 맞춤 추천 및 가상 피팅 시스템 - Google Patents

콘택트렌즈 맞춤 추천 및 가상 피팅 시스템 Download PDF

Info

Publication number
KR20220075984A
KR20220075984A KR1020200164700A KR20200164700A KR20220075984A KR 20220075984 A KR20220075984 A KR 20220075984A KR 1020200164700 A KR1020200164700 A KR 1020200164700A KR 20200164700 A KR20200164700 A KR 20200164700A KR 20220075984 A KR20220075984 A KR 20220075984A
Authority
KR
South Korea
Prior art keywords
contact lens
user
biometric information
fitting
information
Prior art date
Application number
KR1020200164700A
Other languages
English (en)
Inventor
김재윤
Original Assignee
(주)인터비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)인터비젼 filed Critical (주)인터비젼
Priority to KR1020200164700A priority Critical patent/KR20220075984A/ko
Priority to PCT/KR2021/016366 priority patent/WO2022114614A1/ko
Publication of KR20220075984A publication Critical patent/KR20220075984A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 사용자의 생체 정보와 콘택트렌즈 추천 모델을 통해 단시간에 사용자에게 적합한 맞춤 콘택트렌즈를 추천 및 피팅할 수 있는 콘택트렌즈 맞춤 추천 및 가상 피팅 시스템에 관한 것으로, 콘택트렌즈 피팅 이미지를 통해 안면 피부톤, 머리카락 색상에 따른 눈동자 색상을 학습하여 생성한 추천 모델로 카메라부를 통해 사용자의 얼굴을 촬영한 영상 또는 사진이 제어부에 입력되면, 생체정보 판별기가 사용자의 안면영역에서 안면 피부톤을 인식하며, 머리카락영역에서 머리카락 색상 등의 생체 정보를 인식하여, 피팅정보 추천기가 사용자의 생체 정보에 적합한 콘택트렌즈 모델 데이터를 추천해줌으로써, 단시간에 사용자에게 적합한 맞춤 콘택트렌즈를 추천 및 피팅할 수 있는 효과가 있다.

Description

콘택트렌즈 맞춤 추천 및 가상 피팅 시스템{Contact Lens Custom Recommendations and Virtual Fitting System}
본 발명은 콘택트렌즈 맞춤 추천 및 가상 피팅 시스템에 관한 것으로서, 더욱 상세하게는, 사용자의 생체 정보와 인공신경망 기반 콘택트렌즈 추천 모델을 통해 단시간에 사용자에게 적합한 맞춤 콘택트렌즈를 추천 및 피팅할 수 있는 콘택트렌즈 맞춤 추천 및 가상 피팅 시스템에 관한 것이다.
일반적으로 콘택트렌즈는 안구의 전면에 렌즈를 직접 밀착시켜 좋은 시력을 얻으려고 사용하는 것으로 안경과 달리 김 서림이 없고, 가벼울 뿐만 아니라 미관상 보기에도 좋으며, 안경보다 낮은 도수로도 훨씬 잘 보인다는 장점으로 인해 널리 사용되고 있다.
최근에는 이러한 콘택트렌즈가 컬러와 디자인이 다양해짐에 따라 소비자의 관심이 증가함과 동시에 패션 아이템의 하나로써 유행이 확대되고 있다. 즉 콘택트렌즈가 가진 시력을 교정하는 고유의 기능과 함께 패션 아이템으로의 활용이 부각되고 있는 상황이다.
한편, 콘택트렌즈를 구매할 경우 구매자는 자신에게 어울리는 렌즈를 선택해야 하나, 콘택트렌즈는 한번 착용후에는 위생상 재사용이 불가능하기 때문에 안경처럼 직접 착용한 후 고를 수 없다는 문제가 있다. 그렇기 때문에 구매자는 눈으로 콘택트렌즈의 형태만을 확인한 후 구매할 수밖에 없었다.
이와 관련하여 대한민국등록특허공보 제10-1520778호에는 콘택트렌즈의 착용없이도 직접 촬영된 콘택트렌즈와 안면 이미지를 콘택트렌즈 및 눈의 형상 인식을 통해 합성하여 콘택트렌즈의 착용 후의 모습을 알 수 있도록 하는 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램이 공지되어 있다.
그러나 단순히 눈의 형상을 인식 및 합성을 통해 콘택트렌즈의 착용 후 모습을 보여주는 것으로, 사용자에게 어울리는 콘택트렌즈를 고르기 위해서는 장시간 가상 피팅을 해야할 뿐만 아니라, 실제 사용자에게 어울리는 콘택트렌즈를 고르기 어렵다는 문제가 있다.
KR 10-1520778 B1 KR 10-2019-0122955 A KR 10-2020-0075541 A
본 발명의 목적은 사용자의 생체 정보와 인공신경망 기반 콘택트렌즈 추천 모델을 통해 단시간에 사용자에게 적합한 맞춤 콘택트렌즈를 추천 및 피팅할 수 있는 콘택트렌즈 맞춤 추천 및 가상 피팅 시스템을 제공하는 것이다.
본 발명은 콘택트렌즈 맞춤 추천 및 가상 피팅 시스템에 있어서, 콘택트렌즈 가상 피팅 사용자의 영상 또는 사진이 입력되면, 안면 인식, 머리카락 인식 및 눈동자 인식을 통해 콘택트렌즈 맞춤 추천을 위한 사용자의 생체정보를 인식하고 추출하는 생체정보 판별기(210); 상기 생체정보에 대해 가중치가 적용되는 복수의 연산을 통해 사용자에게 적합한 콘택트렌즈를 맞춤 추천해주는 피팅정보 추천기(310); 및 상기 피팅정보 추천기(310)에 의해 추천된 콘택트렌즈를 사용자가 선택할 수 있도록 표시하며, 상기 사용자의 영상 또는 사진에 상기 콘택트렌즈를 합성하여 가상 피팅 영상을 표시해주는 영상 합성기(510);를 포함한다.
여기서 본 발명의 상기 생체정보 판별기(210)에 의해 인식 및 추출된 상기 생체정보로 상기 생체정보에 어울리는 추천 콘택트렌즈를 출력하도록 상기 피팅정보 추천기(310)를 학습시키거나, 상기 생체정보 판별기(210)에 의해 인식 및 추출된 상기 생체정보와 상기 영상 합성기(510)에서 사용자에 의해 선택된 상기 콘택트렌즈 정보로 상기 피팅정보 추천기(310)를 학습시키는 학습기(410);를 더 포함한다.
나아가 본 발명의 상기 생체정보는 안면 피부톤, 머리카락 색상, 눈동자 색상 중 어느 하나 이상을 포함한다.
한편, 본 발명의 상기 생체정보 판별기(210)는, 안면 인식을 통해 안면 특징 데이터를 생성하여, 안면과 머리카락을 구분해서 안면 피부톤을 측정하는 안면 인식부(212)와, 상기 안면 특징 데이터를 참조하여 머리카락 윤곽 정보를 생성하며 머리카락 색상을 측정하는 머리카락 인식부(214)와, 상기 안면 특징 데이터를 참조하여 눈동자 색상을 측정하는 눈동자 인식부(216)를 더 포함한다.
또한 본 발명의 상기 학습기(410)는, 상기 안면 피부톤과 상기 머리카락 색상을 한 쌍으로 매칭하여 학습하고, 학습 데이터를 기반으로 콘택트렌즈 DB(320)에 저장된 콘택트렌즈 모델 데이터(40)와 색상 태크 정보를 매칭하여 저장한다.
본 발명은 콘택트렌즈 피팅 이미지를 통해 안면 피부톤, 머리카락 색상에 따른 눈동자 색상을 학습하여 생성한 추천 모델로 카메라부(110)를 통해 사용자의 얼굴을 촬영한 영상 또는 사진이 제어부(150)에 입력되면, 생체정보 판별기(210)가 사용자의 안면영역(10)에서 안면 피부톤을 인식하며, 머리카락영역(20)에서 머리카락 색상 등의 생체 정보를 인식하여, 피팅정보 추천기(310)가 사용자의 생체 정보에 적합한 콘택트렌즈 모델 데이터(40)를 추천해줌으로써, 단시간에 사용자에게 적합한 맞춤 콘택트렌즈를 추천 및 피팅할 수 있는 효과가 있다.
아울러 본 발명은 영상 합성기(510)를 통해 추천된 콘택트렌즈의 선택 정보와 사용자의 안면 피부톤, 머리카락 색상 등의 생체 정보를 활용하여 학습기(410)의 추천 모델을 계속적으로 학습함으로써 사용자에게 점점 만족도를 높여줄 수 있는 콘택트렌즈를 추천할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 콘택트렌즈 맞춤 추천 및 가상 피팅 시스템의 구성을 도시한 블록도.
도 2는 본 발명의 실시예에 따른 생체정보 판별기(210)를 설명하기 위한 도면.
도 3은 본 발명의 실시예에 따른 생체정보 판별기(210)의 생체 정보 인식 및 학습기(410)를 통한 콘택트렌즈 DB(320)의 매칭을 설명하기 위한 도면.
도 4는 본 발명의 실시예에 따른 사용자의 콘텍트렌즈 가상 피팅을 설명하기 위한 도면.
도 5는 본 발명의 실시예에 따른 학습기(410)의 학습 방법을 설명하기 위한 흐름도.
도 6은 본 발명의 실시예에 따른 사용자의 콘텍트렌즈 가상 피팅 방법을 설명하기 위한 흐름도.
이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른콘택트렌즈 맞춤 추천 및 가상 피팅 시스템을 도시한 블록도이다.
본 발명의 콘택트렌즈 맞춤 추천 및 가상 피팅 시스템(이하 '피팅 시스템(100)'로 칭함)은 카메라부(110), 입력부(120), 저장부(130), 표시부(140) 및 제어부(150)를 포함한다. 여기서 피팅 시스템(100)은 스마트폰이나 테블릿 또는 노트북 등의 휴대용 전자기기 또는 카메라가 구비된 컴퓨터를 의미한다.
카메라부(110)는 사용자의 안면을 기반으로 콘택트렌즈를 가상 피팅하기 위한 영상을 촬영하기 위한 것이다. 카메라부(110)에서 촬영된 영상은 표시부(140)를 통해 출력된다.
카메라부(110)는 이미지 센서를 포함하며, 이미지 센서는 피사체에서 반사되는 빛을 입력받아 전기신호로 변환해주는 역할을 한다. 이때 이미지 센서는 CCD(Charged Coupled Device), CMOS(Complementary Metal-Oxide Semiconductor) 등을 기반으로 구현될 수 있다.
카메라부(110)는 아날로그-디지털 변환기(Analog to Digital Converter)를 더 포함할 수 있으며, 이미지 센서에서 출력되는 전기신호를 디지털 수열로 변환하여 제어부(150)를 통해 표시부(140)로 출력할 수 있다.
입력부(120)는 피팅 시스템의 각종 기능, 동작 등을 제어하기 위한 사용자의 키 조작을 입력받아 입력 신호를 생성하여 제어부(150)에 전달한다. 입력부(120)는 터치스크린, 터치패드, 키패드, 키보드, 마우스, 및 트랙볼을 예로 들 수 있다.
입력부(120)는 전원 On/Off를 위한 전원키, 문자키, 숫자키 및 방향키 중 적어도 어느 하나 이상을 포함할 수 있다. 표시부(140)가 터치스크린으로 구현된 경우, 입력부(120)의 기능이 표시부(140)에서 이루어질 수 있다. 이때 표시부(140)만으로 모든 입력 기능이 수행되는 경우, 입력부(120)는 생략될 수 있다.
표시부(140)는 제어부(150)로부터 화면 표시를 위한 데이터를 수신하여 수신된 데이터를 화면으로 표시할 수 있다. 표시부(140)는 피팅 시스템의 메뉴, 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공할 수 있다. 또한 표시부(140)는 피팅 시스템을 구동하기 위한 별도의 어플리케이션을 통해, 이 어플리케이션을 조작 및 사용하기 위한 정보를 사용자에게 시각적으로 제공할 수 있다.
표시부(140)는 터치스크린, 액정표시장치(LCD, Liguid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 중 어느 하나로 형성될 수 있다. 한편, 표시부(140)는 터치스크린으로 형성된 경우, 전술한 입력부(120) 기능의 일부 또는 전부를 대신 수행할 수 있다.
저장부(130)는 피팅 시스템의 동작에 필요한 각종 데이터, 어플리케이션 또는 프로그램의 동작에 따라 발생된 각종 데이터를 저장하는 역할을 수행한다. 저장부(130)는 낸드(NAND) 플래시 메모리, SD카드와 MicroSD카드, HDD, SDD 등이 될 수 있다.
이러한 저장부(130)는 피팅 시스템의 부팅(Booting) 및 운영(Operation)을 위한 운영체제(OS, Operating System) 또는 피팅 시스템의 구동을 위한 어플리케이션을 저장할 수 있다. 저장부(130)에 저장되는 각종 데이터는 사용자의 조작에 따라, 수정, 삭제, 추가될 수 있다.
제어부(150)는 피팅 시스템의 전반적인 동작 및 전술한 카메라부(110), 입력부(120), 표시부(140) 및 저장부(130) 간의 신호 송수신을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 이러한 제어부(150)는 중앙 처리 장치(CPU, Central Processing Unit), 어플리케이션 프로세서(AP, Application Processor), GPU(Graphic Processing Unit) 등이 될 수 있다.
제어부(150)는 판별부(200), 인공신경망(300), 학습부(400) 및 영상생성부(500)를 포함한다. 이러한 판별부(200), 인공신경망(300), 학습부(400) 및 영상생성부(500)는 하드웨어 형태로 제어부(150)의 일 구성으로 구현되거나, 소프트웨어 형태로 제어부(150)에서 구동될 수 있다.
여기서 판별부(200)는 입력되는 사진 정보 또는 카메라부(110)에서 촬영된 사진 정보에서 생체 정보를 인식하는 역할을 한다. 예를 들어 판별부(200)는 사진 정보를 분석하여 안면 피부톤, 머리카락 색상, 눈동자 색상 등의 정보를 판별할 수 있다. 판별부(200)는 생체정보 판별기(210, 도 2 참조)를 포함한다.
인공신경망(300)은 카메라부(110)에서 촬영된 사용자의 사진 정보에서 판별된 생체 정보를 토대로 사용자에게 적합한 콘택트렌즈를 추천해주는 역할을 한다. 인공신경망(300)은 사용자에게 콘택트렌즈 피팅 정보를 추천하는 피팅정보 추천기(310, 도 4 참조)와 콘택트렌즈 DB(320, 도 4 참조)를 포함한다.
학습부(400)는 판별부(200)에 의해서 판별된 생체 정보를 통해, 생체 정보에 따라 매칭되는 콘택트렌즈를 학습하는 역할을 하는 것으로 학습기(410, 도 4 참조)
아울러 영상생성부(500)는 인공신경망(300)에 의해 추천된 콘택트렌즈를 사용자의 사진에 가상 피팅해주는 역할을 하는 것으로 영상 합성기(510, 도 4 참조)를 포함한다.
한편, 피팅 시스템(100)은 메모리 카드와 같은 외부 저장 매체를 삽입하여 데이터를 저장하도록 하는 저장매체 삽입부, 외부 디지털 기기 또는 컴퓨터와 데이터 교환을 위한 연결 단자 및 충전을 위한 충전 단자글 구비할 수 있다. 또한, 피팅 시스템(100)은 마이크 및 스피커를 통해 오디오 신호를 입력, 출력하거나 디지털 음원을 재생하는 오디오 처리부를 더 포함할 수 있다.
도 2는 본 발명의 실시예에 따른 생체정보 판별기(210)를 설명하기 위한 도면, 도 3은 본 발명의 실시예에 따른 생체정보 판별기(210)의 생체 정보 인식 및 학습기(410)를 통한 콘택트렌즈 DB(320)의 매칭을 설명하기 위한 도면이다.
생체정보 판별기(210)는 제어부(150)의 판별부(200)에 하드웨어 형태로 구성되거나, 소프트웨어 형태로 판별부(200)에서 구동될 수 있다.
생체정보 판별기(210)는 입력되는 사진 정보나 카메라부(110, 도 1 참조)에서 촬영된 영상이나 사진 정보에서 생체 정보를 판별하기 위한 것이다. 생체정보 판별기(210)는 안면 인식부(212), 머리카락 인식부(214) 및 눈동자 인식부(216)를 포함한다.
안면 인식부(212)는 도 3과 같이 사진 정보에서 안면영역(10)을 인식하며, 머리카락 인식부(214)는 머리카락영역(20)을 인식하고, 눈동자 인식부(216)는 눈동자영역(30)을 인식한다.
안면 인식부(212)는 사진 정보에서 안면영역(10)이 되는 안면의 경계를 인식하고, 안면 피부의 톤을 인식하는 역할을 한다. 안면 인식부(212)는 사진에서 안면의 특징점을 추출한다. 예를 들어 머리카락과 안면의 경계와 눈, 코, 입, 귀 등의 위치를 점과 선으로 이루어진 안면 특징 데이터를 추출한다. 이러한 특징 데이터를 토대로 안면 영역에서의 피부 톤을 측정한다. 피부 톤은 RGB, HEX, CMYK, HSL 등의 색상 코드로 측정하되, 안면 영역 전체에서 측정된 피부 톤 값에 대한 평균 값을 사용한다.
머리카락 인식부(214)는 안면 인식부(212)에서 인식된 안면의 경계 외측에 위치한 머리카락영역(20)인 머리카락의 경계를 인식하고, 머리카락의 색상을 인식하는 역할을 한다. 머리카락 인식부(214)는 안면의 경계 외측을 기준으로 다시 외곽에 위치한 머리카락의 경계를 추출하며, 머리 카락 영역에서의 머리카락 색상을 측정한다. 머리카락 색상은 RGB, HEX, CMYK, HSL 등의 색상 코드로 측정하되, 머리 카락 전체에서 측정된 색상값에 대해 평균 값을 사용한다.
눈동자 인식부(216)는 안면 인식부(212)에서 인식된 눈의 위치를 토대로 눈동자영역(30)을 인식하며, 눈동자영역(30)에서 눈동자의 검은자 영역과 흰자 영역 및 검은자 영역에서의 눈동자 색상을 측정한다. 검은자 영역에서도 동공 영역이 아닌 홍채 영역의 색상을 측정한다. 눈동자의 색상도 RGB, HEX, CMYK, HSL 등의 색상 코드로 측정하되, 눈동자 영역 전체에서 측정된 색상값에 대해 평균 값을 사용한다.
한편, 안면 인식부(212), 머리카락 인식부(214) 및 눈동자 인식부(216)는 별도의 시각 엔진과 연계되어 사진 정보에 포함된 안면영역(10), 머리카락영역(20) 및 눈동자영역(30)을 인식하고, 안면 피부 톤과 머리카락 색상 및 눈동자 색상을 인식할 수 있다.
도 3은 본 발명의 실시예에 따른 생체정보 판별기(210)의 생체 정보 인식 및 학습기(410)를 통한 콘택트렌즈 DB(320)의 매칭을 설명하기 위한 도면이다.
도 3에서는 생체정보 판별기(210)로 측정된 색상 정보를 토대로 학습기(410)가 가상 피팅 추천을 위한 학습을 하며, 학습 결과를 피팅 시 활용하기 위하여 콘택트렌즈 DB(320)와 매칭하는 것을 설명하기 위한 것이다.
생체정보 판별기(210)는 도 3과 같이 복수로 입력되는 각각의 사진에서 안면영역(10), 머리카락영역(20) 및 눈동자영역(30)을 인식하고, 각 영역에서의 색상을 인식한다.
예를 들어 색상 인식을 RGB 코드로 한다면, (a)의 경우 안면 피부 톤(FT, Face Tone)은 R(236), G(219), B(207)이며, 머리카락 색상(HC, Hair Color)은 R(64), G(33), B(37)이고, 눈동자 색상(EC, Eye Color)은 R(68), G(42), B(51)로 측정될 수 있다.
(b)의 경우에는 안면 피부 톤(FT)은 R(245), G(207), B(181)이며, 머리카락 색상(HC)은 R(182), G(151), B(119)이고, 눈동자 색상(EC)은 R(107), G(106), B(105)로 측정될 수 있다.
또한 (c)의 경우에는 안면 피부 톤(FT)은 R(255), G(199), B(194)이며, 머리카락 색상(HC)은 R(32), G(13), B(19)이고, 눈동자 색상(EC)은 R(85), G(43), B(44)로 측정될 수 있다.
그에 따라 FT and HC = EC라는 수식을 수립할 수 있으며, 학습기(410)는 이러한 수식에 따라 학습을 진행한다. 이때 복수의 사진은 모집단이 되며, FT, HC, EC는 변수(Parameter)가 된다. 즉 모집단에 추출한 변수로 학습이 이루어져, 콘택트렌즈 추천 모델을 생성하게 된다. 학습에 의해 생성된 콘택트렌즈 추천 모델은 추후 사용자에게 어울리는 가상 피팅 콘택트 렌즈를 추천하게 된다. 학습기(410)에 의해 학습된 콘택트렌즈 추천 모델은 후술할 피팅정보 추천기(310, 도 4 참조)에서 사용된다.
한편, 학습기(410)는 중 눈동자 색상(EC)에 매칭되는 콘택트렌즈 DB(320)의 데이터도 함께 학습을 진행한다. 예를 들어 학습된 EC의 RGB 색상이 보라색이라면, 콘택트렌즈 DB(320)에 저장된 콘택트렌즈 모델 데이터(40) 중 보라색 태그를 가진 것과 매칭이 된다.
즉 콘택트렌즈 DB(320)에는 여러개의 가상 피팅을 위한 콘택트렌즈 모델 데이터(40)가 저장되어 있고, 각 콘택트렌즈 모델 데이터(40)에는 복수의 컬러 코드가 태그로 지정되어 있다. 학습기(410)는 이러한 태그를 토대로 학습된 눈동자 색상(EC)과 매칭되는 콘택트렌즈 DB(320)의 데이터도 같이 학습하게 된다. 그래서 추후 사용자가 콘택트렌즈를 가상 피팅하는 경우 콘택트 추천 모델에 따라 사용자에게 적합한 콘택트렌즈를 추천할 수 있다.
도 1은 본 발명의 실시예에 따른 콘택트렌즈 맞춤 추천 및 가상 피팅 시스템의 구성을 도시한 블록도, 도 2는 본 발명의 실시예에 따른 생체정보 판별기(210)를 설명하기 위한 도면, 도 4는 본 발명의 실시예에 따른 사용자의 콘텍트렌즈 가상 피팅을 설명하기 위한 도면이다.
인공신경망(300)은 피팅정보 추천기(310)를 포함한다. 피팅정보 추천기(310)는 독립적인 인공신경망이며, 복수의 계층으로 이루어질 수 있다. 복수의 계층 각각은 가중치가 적용되는 복수의 연산을 포함한다. 여기서, 복수의 계층은 컨볼루션 계층(convolution layer), 디컨볼루션 계층(deconvolution layer), 풀링 계층(pooling layer), 완전연결계층(fully-connected layer) 등을 예시할 수 있다. 또한, 연산은 컨볼루션(convolution) 연산, 디컨볼루션(deconvolution) 연산, 최대 풀링(maxpooling) 연산, 최소 풀링(min-pooling) 연산, 소프트맥스(soft-max) 연산 등을 예시할 수 있다. 이러한 연산 들은 모두 각각 가중치를 포함한다. 예컨대, 컨볼루션 연산, 풀링 연산 등은 필터를 이용하며, 이러한 필터는 행렬로 이루어지고, 행렬의 각 원소의 값은 가중치가 될 수 있다.
피팅 시스템(100)의 카메라부(110)를 통해 사용자의 얼굴을 촬영하여 영상 또는 사진이 제어부(150)에 입력되면, 생체정보 판별기(210)는 사용자의 얼굴 영상 또는 사진에서 안면영역(10), 머리카락영역(20) 및 눈동자영역(30)을 각각 인식한다. 이때 표시부(140)에는 사용자의 얼굴을 특정 위치에 맞추면서 촬영하도록 가이드라인을 표시할 수 있다.
그리고 안면 인식부(212)를 통해 안면 피부 톤(FT)을 측정하며, 머리카락 인식부(214)를 통해 머리카락 색상(HC)을 측정한다. 이렇게 측정된 안면 피부 톤(FT)과 머리카락 색상(HC) 정보를 인공신경망(300)의 피팅정보 추천기(310)로 보내준다.
그러면 피팅정보 추천기(310)는 안면 피부 톤(FT)과 머리카락 색상(HC)를 변수로 해서 추천 콘택트렌즈 피팅 정보를 출력한다. 이때 추천 콘택트렌즈 피팅 정보는 안면 피부 톤(FT)과 머리카락 색상(HC)에 따라 매칭되는 콘택트렌즈 DB(320) 정보를 출력한다. 즉 콘택트렌즈 DB(320)에서 매칭되는 복수의 추천 콘택트렌즈 모델 데이터(40)를 출력한다.
이때 피팅정보 추천기(310)는 측정된 안면 피부 톤(FT)과 머리카락 색상(HC)에 가중치가 적용되는 복수의 연산을 수행하여 최적의 추천 콘택트렌즈 모델 데이터(40)를 출력한다. 가중치는 예를 들어 안면영역(10)과 머리카락영역(20)의 색상과 면적에 따라 높고 낮음에 따라 달리할 수 있다.
그에 따라 영상 합성기(510)에서는 현재 사용자의 얼굴을 촬영하고 있는 표시부(140)의 화면에 복수의 추천 콘택트렌즈 모델 데이터(40)를 출력하고, 사용자의 선택에 따라 사용자의 눈동자영역(30)에 콘택트렌즈 모델 데이터(40)를 오버랩하여 표시한다. 이때 콘택트렌즈 모델 데이터(40)는 표시부(140)의 하단 측에 일렬로 배치되도록 표시될 수 있다.
아울러 이때 사용자가 선택한 콘택트렌즈 모델 데이터(40)는 사용자의 안면 피부 톤(FT)과 머리카락 색상(HC)와 함께 학습기(410)를 학습시켜준다. 그래서 다수의 사용자가 본 발명의 피팅 시스템(100)을 사용하는 경우 콘택트 추천 모델이 계속적으로 학습되면서 발전하게 된다. 그래서 콘택트렌즈 추천에 대한 사용자의 만족도를 개선하고 높혀줄 수 있게 된다.
도 5는 본 발명의 실시예에 따른 학습기(410)의 학습 방법을 설명하기 위한 흐름도이다.
S11단계는 도3과 같이 콘택트렌즈 피팅 이미지를 수집하고, 이를 정제 및 전처리하는 단계이다. 콘택트렌즈를 착용한 복수의 상반신 이미지를 수집하여, 이미지 크기를 동일한 비율로 잘라주며, 이미지의 명암이나 채도를 인식이 잘 될 수 있도록 통일해준다.
S12단계는 판별부(200, 도 1 참조)를 통해 생체 정보를 판별하고 추출하는 단계이다. 이때 생체 정보는 전술한 바와 같이 안면 피부톤, 머리카락 색상, 눈동자 색상 등의 정보를 판별하고 추출한다.
S13단계는 인공신경망(300)과 학습부(400)를 통해 S12단계에서 판별된 생채 정보를 학습하는 단계이다. 구체적으로 안면 피부톤과 머리카락 색상과 함께 착용되는 눈동자 색상(콘택트 렌즈 색상)을 학습한다.
S14단계는 S13단계에서 학습된 데이터에서 눈동자 색상과 콘택트렌즈 DB(320, 도 4 참조)에 저장된 콘택트렌즈 모델 데이터(40, 도 4 참조)를 매칭해주는 단계이다. 학습부(400)는 이러한 매칭 정보와 함께 학습이 진행된다.
도 6은 본 발명의 실시예에 따른 사용자의 콘텍트렌즈 가상 피팅 방법을 설명하기 위한 흐름도이다.
S21단계는 사용자의 상반신을 촬영하는 단계이다. 즉 사용자가 가상의 콘택트렌즈를 착용하기 전 영상 또는 사진을 촬영하는 단계이다.
S22단계는 S21단계에서 촬영된 영상 또는 사진에서 사용자의 생체 정보를 판별하고 추출하는 단계이다. S22단계에서는 사용자의 영상 또는 사진에서 도4와 같이 안면영역(10, 도 4 참조), 머리카락영역(20, 도 4 참조), 눈동자영역(30, 도 4 참조)을 각각 추출하고, 안면영역(10)에서는 안면 피부 톤(FT)을 측정하고, 머리카락영역(20)에서는 머리카락 색상(HC)을 측정한다. 눈동자영역(30)에서는 눈동자의 위치만 추출한다.
S23단계는 S22단계에서 측정된 안면 피부 톤(FT)과 머리카락 색상(HC) 정보를 인공신경망에 입력해서, 그에 따른 추천 콘택트 렌즈 이미지를 표시부(140, 도 1 참조)에 출력하는 단계이다. 구체적으로 안면 피부 톤(FT)과 머리카락 색상(HC) 정보에 따라 추천되는 콘택트렌즈 색상 정보를 출력하고, 콘택트렌즈 DB(320, 도 4 참조)에서 이 색상과 매칭되는 복수의 추천 콘택트렌즈 모델 데이터(40, 도 4 참조)를 표시부(140) 상에 출력해준다.
S24단계는 사용자가 표시부(140)에 출력된 복수의 추천 콘택트렌즈 모델 데이터(40)중 어느 하나를 선택하는 단계이다. 사용자는 표시부(140)에서 자신이 마음에 드는 콘택트렌즈 모델 데이터(40)중 어느 하나를 선택하게 된다.
S25단계는 S24단계에서 선택한 콘택트렌즈 모델 데이터(40)를 사용자의 영상 또는 사진에서 눈동자영역(30)에 합성하여 표시부(140)에 표시하는 단계이다. 사용자가 표시부(140)에 출력된 복수의 콘택트렌즈 모델 데이터(40) 중 어느 하나를 선택함에 따라 실시간으로 영상 또는 사진에 콘택트렌즈 모델 데이터(40)가 사용자의 눈동자영역(30)에 합성되어 표시된다. 이를 통해 사용자는 콘택트렌즈를 직접 착용하지 않아도, 실제 착용한 것과 유사하게 자신에게 어울리는 콘택트렌즈를 단시간에 손쉽게 고를 수 있게 된다.
S26단계는 S25단계에서 선택한 콘택트렌즈 모델 데이터(40)와 함께 사용자의 안면 피부톤(FT)과 머리카락 색상(HC)를 학습부(400)에 학습시키는 단계이다. S25단계에서 사용자가 선택한 데이터는 안면 피부톤(FT)과 머리카락 색상(HC) 정보와 함께 학습부(400)에 누적되어 학습되게 된다. 그래서 학습 데이터가 누적되게 되고, 학습에 의해 사용자에게 추천되는 콘택트렌즈의 만족도를 점점 높여줄 수 있게 된다.
10 : 안면영역 20 : 머리카락영역 30 : 눈동자영역
40 : 콘택트렌즈 모델 데이터
100 : 피팅 시스템
110 : 카메라부 120 : 입력부 130 : 저장부 140 : 표시부
150 : 제어부
200 : 판별부
210 : 생체정보 판별기
212 : 안면 인식부 214 : 머리카락 인식부
216 : 눈동자 인식부
300 : 인공신경망
310 : 피팅정보 추전기 320 : 콘택트렌즈 DB
400 : 학습부
410 : 학습기
500 : 영상생성부
510 : 영상 합성기

Claims (5)

  1. 콘택트렌즈 맞춤 추천 및 가상 피팅 시스템에 있어서,
    콘택트렌즈 가상 피팅 사용자의 영상 또는 사진이 입력되면, 안면 인식, 머리카락 인식 및 눈동자 인식을 통해 콘택트렌즈 맞춤 추천을 위한 사용자의 생체정보를 인식하고 추출하는 생체정보 판별기(210);
    상기 생체정보에 대해 가중치가 적용되는 복수의 연산을 통해 사용자에게 적합한 콘택트렌즈를 맞춤 추천해주는 피팅정보 추천기(310); 및
    상기 피팅정보 추천기(310)에 의해 추천된 콘택트렌즈를 사용자가 선택할 수 있도록 표시하며, 상기 사용자의 영상 또는 사진에 상기 콘택트렌즈를 합성하여 가상 피팅 영상을 표시해주는 영상 합성기(510);를 포함하는 콘택트렌즈 맞춤 추천 및 가상 피팅 시스템.
  2. 제 1항에 있어서,
    상기 생체정보 판별기(210)에 의해 인식 및 추출된 상기 생체정보로 상기 생체정보에 어울리는 추천 콘택트렌즈를 출력하도록 상기 피팅정보 추천기(310)를 학습시키거나,
    상기 생체정보 판별기(210)에 의해 인식 및 추출된 상기 생체정보와 상기 영상 합성기(510)에서 사용자에 의해 선택된 상기 콘택트렌즈 정보로 상기 피팅정보 추천기(310)를 학습시키는 학습기(410);를 더 포함하는 콘택트렌즈 맞춤 추천 및 가상 피팅 시스템.
  3. 제 1항에 있어서,
    상기 생체정보는 안면 피부톤, 머리카락 색상, 눈동자 색상 중 어느 하나 이상을 포함하는 콘택트렌즈 맞춤 추천 및 가상 피팅 시스템.
  4. 제 1항에 있어서,
    상기 생체정보 판별기(210)는,
    안면 인식을 통해 안면 특징 데이터를 생성하여, 안면과 머리카락을 구분해서 안면 피부톤을 측정하는 안면 인식부(212)와, 상기 안면 특징 데이터를 참조하여 머리카락 윤곽 정보를 생성하며 머리카락 색상을 측정하는 머리카락 인식부(214)와, 상기 안면 특징 데이터를 참조하여 눈동자 색상을 측정하는 눈동자 인식부(216)를 더 포함하는 콘택트렌즈 맞춤 추천 및 가상 피팅 시스템.
  5. 제 4항에 있어서,
    상기 학습기(410)는,
    상기 안면 피부톤과 상기 머리카락 색상을 한 쌍으로 매칭하여 학습하고, 학습 데이터를 기반으로 콘택트렌즈 DB(320)에 저장된 콘택트렌즈 모델 데이터(40)와 색상 태크 정보를 매칭하여 저장하는 콘택트렌즈 맞춤 추천 및 가상 피팅 시스템.
KR1020200164700A 2020-11-30 2020-11-30 콘택트렌즈 맞춤 추천 및 가상 피팅 시스템 KR20220075984A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200164700A KR20220075984A (ko) 2020-11-30 2020-11-30 콘택트렌즈 맞춤 추천 및 가상 피팅 시스템
PCT/KR2021/016366 WO2022114614A1 (ko) 2020-11-30 2021-11-10 콘택트렌즈 맞춤 추천 및 가상 피팅 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200164700A KR20220075984A (ko) 2020-11-30 2020-11-30 콘택트렌즈 맞춤 추천 및 가상 피팅 시스템

Publications (1)

Publication Number Publication Date
KR20220075984A true KR20220075984A (ko) 2022-06-08

Family

ID=81756091

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200164700A KR20220075984A (ko) 2020-11-30 2020-11-30 콘택트렌즈 맞춤 추천 및 가상 피팅 시스템

Country Status (2)

Country Link
KR (1) KR20220075984A (ko)
WO (1) WO2022114614A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101520778B1 (ko) 2014-11-28 2015-05-18 (주) 뷰엠테크놀로지 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램
KR20190122955A (ko) 2018-04-23 2019-10-31 (주)이스트소프트 인공신경망을 이용한 안경 착용 영상을 생성하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR20200075541A (ko) 2018-12-18 2020-06-26 김재윤 안경 착용 시뮬레이션 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6746120B2 (en) * 2000-10-30 2004-06-08 Novartis Ag Method and system for ordering customized cosmetic contact lenses
AU2003202466A1 (en) * 2002-01-04 2003-07-24 Vision Optic Co., Ltd. Spectacle and contact lens selecting system and method thereof
EP1495447A1 (en) * 2002-03-26 2005-01-12 KIM, So-Woon System and method for 3-dimension simulation of glasses
KR101563200B1 (ko) * 2015-03-09 2015-10-26 김상무 컬러렌즈 맞춤 간편화 시스템 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101520778B1 (ko) 2014-11-28 2015-05-18 (주) 뷰엠테크놀로지 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램
KR20190122955A (ko) 2018-04-23 2019-10-31 (주)이스트소프트 인공신경망을 이용한 안경 착용 영상을 생성하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR20200075541A (ko) 2018-12-18 2020-06-26 김재윤 안경 착용 시뮬레이션 방법

Also Published As

Publication number Publication date
WO2022114614A1 (ko) 2022-06-02

Similar Documents

Publication Publication Date Title
CN109905593B (zh) 一种图像处理方法和装置
CN106056064B (zh) 一种人脸识别方法及人脸识别装置
US11748980B2 (en) Makeup evaluation system and operating method thereof
KR101539043B1 (ko) 인물 구도 제안 영상 촬영 장치 및 방법
CN110235169B (zh) 化妆评价系统及其动作方法
KR100947990B1 (ko) 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
TW201814572A (zh) 終端設備、智慧型手機、基於臉部識別的認證方法和系統
CN108076290B (zh) 一种图像处理方法及移动终端
CN108875452A (zh) 人脸识别方法、装置、系统和计算机可读介质
US20170169501A1 (en) Method and system for evaluating fitness between wearer and eyeglasses
KR102134476B1 (ko) 인공신경망을 이용한 가상 피팅 시스템, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
WO2022227393A1 (zh) 图像拍摄方法及装置、电子设备和计算机可读存储介质
CN111242090A (zh) 基于人工智能的人脸识别方法、装置、设备及介质
JP2019048026A (ja) 生体情報解析装置及び手肌解析方法
CN112000221A (zh) 自动检测肌肤的方法、自动指导护肤化妆的方法及终端
KR102554361B1 (ko) 피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치
KR102364929B1 (ko) 피부 변화를 추적하는 전자 장치, 서버, 및 시스템
US11335090B2 (en) Electronic device and method for providing function by using corneal image in electronic device
CN113239220A (zh) 图像推荐方法、装置、终端及可读存储介质
KR102174053B1 (ko) 스마트 거울을 이용한 안경 피팅 시스템의 운영방법
KR102039164B1 (ko) 다중 구조 인공신경망을 이용한 가상 피팅을 수행하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
US11328187B2 (en) Information processing apparatus and information processing method
KR102066892B1 (ko) 메이크업 평가 시스템 및 그의 동작 방법
KR20220075984A (ko) 콘택트렌즈 맞춤 추천 및 가상 피팅 시스템
CN112669100A (zh) 互动式眼镜框试戴系统及方法

Legal Events

Date Code Title Description
E601 Decision to refuse application