KR20220114550A

KR20220114550A - 맥락화된 장비 추천을 위한 장치, 방법, 및 컴퓨터 판독 가능 저장 매체

Info

Publication number: KR20220114550A
Application number: KR1020227019726A
Authority: KR
Inventors: 빠스꺌 알리온느
Original assignee: 에씰로 앙터나시오날
Priority date: 2019-12-17
Filing date: 2020-12-16
Publication date: 2022-08-17
Also published as: BR112022010944A2; US20230010378A1; CN114830162A; EP4078498A1; WO2021122768A1

Abstract

본 개시물은 사용자에게 이들의 얼굴에 대한 안경의 안경테의 적합성에 대한 맥락화된 평가를 제공하기 위한 방법에 관한 것이다. 특히, 본 개시물은 방법에 관한 것으로서, 방법은, 사용자의 얼굴의 특징을 표현하는 사용자 데이터를 수신하는 단계; 안경테의 특징을 표현하는 장비 데이터를 수신하는 단계; 제1 모델에 따라, 사용자의 얼굴과 안경테 사이의 적합성을 표현하는 특정 기준 세트에 대한 값을 생성하는 단계로서, 제1 모델은, 사용자 데이터 및 장비 데이터를 특정 기준의 값과 연관시키도록 트레이닝되는, 단계; 제2 모델에 따라, 특정 기준 세트에 대한 생성된 값에 기초하여 전역적 기준의 값을 생성하는 단계로서, 제2 모델은, 특정 기준의 값을 전역적 기준의 값과 연관시키도록 트레이닝되는, 단계; 사용자의 얼굴에 대하여 안경테를 특성화하는 메시지를 결정하는 단계를 포함한다.

Description

맥락화된 장비 추천을 위한 장치, 방법, 및 컴퓨터 판독 가능 저장 매체

본 개시물은 안경에 관한 것으로서, 구체적으로는, 사용자 얼굴과 시각 장비(visual equipment)의 매칭(matching)에 관한 것이다.

새로운 시각 장비 또는 안경의 선택 동안, 사용자는 흔히 이들의 얼굴 상의 새로운 안경의 심미감(aesthetics)을 결정할 때 내성(self-reflection)에 맡긴다. 또한, 다수의 안경 부분 간에 결정하는 경우, 사용자는 어떤 부분이 가장 매력적인지, 가장 유용성을 갖는지, 또는 이들의 특정 안면골 구조 및 특징(feature)에 가장 적합한지를 결정하기가 어려울 수 있다. 동시에, 환자는, 이들의 얼굴 상의 새로운 안경에 대한 이들 자신의 의견, 및 이들의 얼굴 상의 새로운 안경의 적합성에 관한 제3자(예를 들어, 친구, 가족, 전문가 등)의 가정적 의견으로 고심할 수 있다.

전술한 바와 같이, 적절한 시력의 안경의 필요성과 함께 심미적 매력을 고려하여, 사용자, 사용자의 의사, 및 사용자의 친구가 확실히 만족스러운 새로운 안경 세트를 자신 있게 구매하는 효과적인 방법이 없이는, 안경을 선택하는 일이 부담스러울 수 있다. 본 개시물은 이러한 문제에 대한 솔루션을 제공한다.

전술한 "배경기술" 설명은 대체로 본 개시물의 배경을 제시하기 위한 목적이다. 본 발명자들의 작업은, 출원 시에 종래기술로서 달리 한정되지 않을 수 있는 설명의 양태 뿐만 아니라, 본 배경기술 섹션에 설명되는 정도까지, 본 발명과 대조적인 종래기술로서 명시적으로 또는 암시적으로 인정되지 않는다.

본 개시물은 맥락화된(contextualized) 장비 추천을 위한 장치, 방법, 및 컴퓨터 판독 가능 저장 매체에 관한 것이다.

일 실시형태에 따라, 본 개시물은 또한 사용자의 얼굴 상의 안경테의 맥락(contextual) 평가를 제공하기 위한 방법에 관한 것으로서, 방법은, 사용자의 얼굴의 특징을 표현하는 사용자 데이터를 수신하는 단계; 안경테의 특징을 표현하는 장비 데이터를 수신하는 단계; 제1 모델에 따라, 수신된 사용자 데이터 및 수신된 장비 데이터에 기초하여, 사용자의 얼굴과 안경테 사이의 적합성을 표현하는 특정 기준(specific criteria) 세트에 대한 값을 생성하는 단계로서, 제1 모델은, 사용자 데이터 및 장비 데이터를 특정 기준의 값과 연관시키도록 트레이닝되는, 단계; 처리 회로에 의해 그리고 제2 모델에 따라, 특정 기준 세트에 대한 생성된 값에 기초하여, 전역적 기준(global criterion)의 값을 생성하는 단계로서, 제2 모델은, 특정 기준의 값을 전역적 기준의 값과 연관시키도록 트레이닝되는, 단계; 사용자의 얼굴에 대하여 안경테를 특성화하는 메시지를 결정하는 단계로서, 메시지는, 전역적 기준의 생성된 값 및 특정 기준 세트에 대한 생성된 값과 연관되는, 단계; 및 사용자에게 메시지를 출력하는 단계를 포함한다.

일 실시형태에 따라, 본 개시물은 또한 사용자의 얼굴 상의 안경테의 맥락 평가를 제공하기 위한 장치에 관한 것으로서, 처리 회로를 포함하며, 처리 회로는, 사용자의 얼굴의 특징을 표현하는 사용자 데이터를 수신하고, 안경테의 특징을 표현하는 장비 데이터를 수신하며, 사용자 데이터 및 장비 데이터를 특정 기준의 값과 연관시키도록 트레이닝된 제1 모델에 따라, 수신된 사용자 데이터 및 수신된 장비 데이터에 기초하여, 사용자의 얼굴과 안경테 사이의 적합성을 표현하는 특정 기준 세트에 대한 값을 결정하고, 특정 기준의 값을 전역적 기준의 값과 연관시키도록 트레이닝된 제2 모델에 따라, 특정 기준 세트에 대한 생성된 값에 기초하여 전역적 기준의 값을 생성하며, 사용자의 얼굴에 대하여 안경테를 특성화하고 전역적 기준의 생성된 값 및 특정 기준 세트에 대한 생성된 값과 연관되는, 메시지를 결정하며, 사용자에게 메시지를 출력하도록 구성된다.

또한, 일 실시형태에 따라, 본 개시물은 컴퓨터 판독 가능 명령을 저장하는 비-일시적 컴퓨터 판독 가능 저장 매체에 관한 것으로서, 컴퓨터 판독 가능 명령은, 컴퓨터에 의해 실행될 때, 컴퓨터로 하여금, 사용자의 얼굴 상의 안경테의 맥락 평가를 제공하기 위한 방법을 수행하도록 하며, 방법은, 사용자의 얼굴의 특징을 표현하는 사용자 데이터를 수신하는 단계; 안경테의 특징을 표현하는 장비 데이터를 수신하는 단계; 제1 모델에 따라, 수신된 사용자 데이터 및 수신된 장비 데이터에 기초하여, 사용자의 얼굴과 안경테 사이의 적합성을 표현하는 특정 기준 세트에 대한 값을 생성하는 단계로서, 제1 모델은, 사용자 데이터 및 장비 데이터를 특정 기준의 값과 연관시키도록 트레이닝되는, 단계; 제2 모델에 따라, 특정 기준 세트에 대한 생성된 값에 기초하여 전역적 기준의 값을 생성하는 단계로서, 제2 모델은, 특정 기준의 값을 전역적 기준의 값과 연관시키도록 트레이닝되는, 단계; 사용자의 얼굴에 대하여 안경테를 특성화하는 메시지를 결정하는 단계로서, 메시지는, 전역적 기준의 생성된 값 및 특정 기준 세트에 대한 생성된 값과 연관되는, 단계; 및 사용자에게 메시지를 출력하는 단계를 포함한다.

전술한 단락들은 전반적인 개론으로 제공되었으며, 이하의 청구범위의 범위를 제한하려는 의도가 아니다. 추가적인 장점과 함께, 설명되는 실시형태는 첨부된 도면과 함께 고려되는 이하의 상세한 설명을 참조하여 가장 잘 이해될 것이다.

본 개시물의 보다 완전한 이해 및 이의 수반되는 많은 이점은, 이하의 상세한 설명을 참조하여 첨부된 도면과 관련하여 고려될 때 더 잘 이해되기 때문에 용이하게 달성될 것이며, 첨부된 도면으로서:
도 1은 본 개시물의 예시적인 실시형태에 따라, 안경테를 착용한 사용자의 예시이다;
도 2는 본 개시물의 예시적인 실시형태에 따라, 안경테의 맥락 평가를 제공하기 위한 방법의 흐름도이다;
도 3a는 본 개시물의 예시적인 실시형태에 따라, 안경테의 맥락 평가를 제공하기 위한 방법의 흐름도이다;
도 3b는 본 개시물의 예시적인 실시형태에 따라, 안경테의 맥락 평가를 제공하기 위한 방법의 흐름도이다;
도 4a는 본 개시물의 예시적인 실시형태에 따라, 사용자의 얼굴의 영상의 예시이다;
도 4b는 본 개시물의 예시적인 실시형태에 따라, 안경테의 영상의 예시이다;
도 4c는 본 개시물의 예시적인 실시형태에 따라, 안경테를 착용한 사용자의 영상의 예시이다;
도 5는 본 개시물의 예시적인 실시형태에 따라, 사용자 특징, 장비 특징, 및 사용자 착용 장비의 해당 영상을 포함하는 데이터베이스의 개략도이다;
도 6a는 본 개시물의 예시적인 실시형태에 따라, 안경테의 맥락 평가를 제공하기 위한 방법의 일 양태의 흐름도이다;
도 6b는 본 개시물의 예시적인 실시형태에 따라, 눈 관리 전문가에게 수행되는 설문조사의 예시이다;
도 7a는 본 개시물의 예시적인 실시형태에 따라, 안경테의 맥락 평가를 제공하기 위한 방법의 일 양태의 흐름도이다;
도 7b는 본 개시물의 예시적인 실시형태에 따라, 특정 기준을 결정할 때 사용되는 메트릭(metric)의 예시이다;
도 7c는 본 개시물의 예시적인 실시형태에 따라, 특정 기준을 결정할 때 사용되는 메트릭의 예시이다;
도 7d는 본 개시물의 예시적인 실시형태에 따라, 특정 기준을 결정할 때 사용되는 메트릭의 예시이다;
도 7e는 본 개시물의 예시적인 실시형태에 따라, 특정 기준을 결정할 때 사용되는 메트릭의 예시이다;
도 7f는 본 개시물의 예시적인 실시형태에 따라, 특정 기준을 결정할 때 사용되는 메트릭의 예시이다;
도 7g는 본 개시물의 예시적인 실시형태에 따라, 특정 기준을 결정할 때 사용되는 메트릭의 예시이다;
도 7h는 본 개시물의 예시적인 실시형태에 따라, 특정 기준을 결정할 때 사용되는 메트릭의 예시이다;
도 7i는 본 개시물의 예시적인 실시형태에 따라, 특정 기준을 결정할 때 사용되는 메트릭의 예시이다;
도 7j는 본 개시물의 예시적인 실시형태에 따라, 특정 기준을 결정할 때 사용되는 메트릭의 예시이다;
도 7k는 본 개시물의 예시적인 실시형태에 따라, 특정 기준을 결정할 때 사용되는 메트릭의 예시이다;
도 7l은 본 개시물의 예시적인 실시형태에 따라, 특정 기준을 결정할 때 사용되는 메트릭의 예시이다;
도 8a는 본 개시물의 예시적인 실시형태에 따라, 눈 관리 전문가에게 수행되는 설문조사에 대한 응답의 그래픽 표시이다;
도 8b는 본 개시물의 예시적인 실시형태에 따라, 눈 관리 전문가에게 수행되는 설문조사에 대한 추정 응답의 그래픽 표시이다;
도 9a는 본 개시물의 일 실시형태에 따라, 안경테의 맥락 평가를 제공하기 위한 방법의 일 양태의 흐름도이다;
도 9b는 본 개시물의 일 실시형태에 따라, 안경테의 맥락 평가를 제공하기 위한 방법의 일 양태의 결정 트리(decision tree)의 흐름도이다;
도 10a는 본 개시물의 일 실시형태에 따라, 안경테의 맥락 평가를 제공하기 위한 방법의 일 양태의 흐름도이다;
도 10b는 본 개시물의 일 실시형태에 따라, 안경테의 맥락 평가를 제공하기 위한 방법의 일 양태의 주석 표시된 결정 트리의 흐름도이다;
도 11은 본 개시물의 예시적인 실시형태에 따라, 안경테 적합성 평가 장치의 하드웨어 구성이다; 그리고
도 12는 다른 장비 데이터가 제공되는 경우, 장비 데이터의 맥락화된 평가를 제공하기 위한 방법의 일 양태의 흐름도이다.

본원에 사용된 바와 같은 "일(a)" 또는 "하나(an)"라는 용어는 하나 또는 하나 초과로서 정의된다. 본원에 사용된 바와 같은 "복수"라는 용어는 2개 또는 2개 초과로서 정의된다. 본원에 사용된 바와 같은 "다른"이라는 용어는 적어도 제2 또는 그 초과로서 정의된다. 본원에 사용된 바와 같은 "포함하는(including)" 및/또는 "갖는"이라는 용어는, "포함하는(comprising)"(즉, 열려 있는 표현)으로서 정의된다. "시각 장비", "장비", "장비들", "안경테", "안경테들", "안경", "안경들", 및 "시각 장비들"이라는 용어는, 안경테 및 렌즈 둘 모두를 갖는 장치를 지칭하도록 교환 가능하게 사용될 수 있다. "시각 장비"라는 용어는 단일 시각 장비를 지칭하도록 사용될 수 있는 반면에, "시각 장비들"이라는 용어는 하나보다 많은 시각 장비를 지칭하도록 사용될 수 있다. 본 문서 전반에 걸쳐서 "일 실시형태", "특정 실시형태", "실시형태", "구현예", "실시예" 또는 유사한 용어에 대한 언급은, 실시형태와 관련하여 설명된 구체적인 특징, 구조, 또는 특성이 본 개시물의 적어도 하나의 실시형태에 포함됨을 의미한다. 유사하게, "얼굴의 영상" 및 "사람의 얼굴의 영상"이라는 용어는 교환 가능하게 사용될 수 있는 상응하는 용어이다. 따라서, 본 명세서 전반에 걸친 다양한 곳에서 또는 그러한 문구의 출현은 반드시 동일한 실시형태를 모두 지칭하는 것은 아니다. 또한, 구체적인 특징, 구조, 또는 특성은 제한 없이 하나 이상의 실시형태에서 임의의 적합한 방식으로 조합될 수 있다.

오늘날, 안경을 찾는 환자, 사용자, 또는 소비자는 흔히 안과적으로 적절할 뿐만 아니라 심미적으로 만족스러운 것에 대한 지침이 거의 없이 방치되어 있다. 일부의 경우, 문화적 트렌드가 이들의 의사 결정을 주도한다. 다른 사람의 경우, 친구 및 가족의 의견이 가장 중요하다. 인체 공학적 적합성(ergonomic fit) 및 시력을 우선시하는 또 다른 사람의 경우, 숙련된 눈 관리 전문가(ECP)의 의견이 필요하다.

현재, 사용자는 전술한 특징 중 일부를 제공하지만 전부를 제공하지는 않는 접근법에 접근한다. 예를 들어, 한 가지 접근법은, 개인의 얼굴 상의 랜드마크(landmark)로부터 검출된 형태적 특징과 안경테를 매칭시키기 위한 결정 트리(decision tree)의 구현을 설명하며, 매칭에 따라, 개인과 가장 잘 매칭되는 안경을 결정한다. 다른 접근법에서, 사용자의 스타일 선호도를 이용 가능한 안경테에 매칭시키기 위한 사용자 설문지가 사용될 수 있다. 어느 시나리오에서든, 그리고 일반적으로 흔히 그런 것처럼, 이러한 접근법은 특정 안경이 적합하거나 적합하지 않다는 정보를 사용자에게 제공한다. 그러나, 이러한 접근법은 결정에 대한 맥락을 제공하지 않는다. 예를 들어, 이러한 접근법은 가장 많이 팔리는 랭킹 등을 고려하여 스타일 선호도에 기초하여 사용자에게 안경테를 추천할 수 있지만, 추천은 궁극적으로 단일 "최적합(best fit)" 메트릭을 반영한다. 단일 "최적합" 메트릭은, 사용자 및 안경테의 기본적인 특징에 기초하지만, 안경테의 "적합성"의 과도한 단순화를 제공하여, 추천된 안경테가 "최적합"인 이유를 사용자에게 전달하지 못한다. 경우에 따라, 과도한 단순화는 특정 기준 또는 안경테의 전역적 표시(global mark)에 기초하는 정량적 메트릭(예를 들어, 1 내지 10)일 수 있으며, 메트릭의 해석을 ECP에게 맡긴다. 이러한 방식으로, 특정 안경이 적합하거나 적합하지 않다는 정보를 사용자에게 제공하지만, 이러한 접근법은 그러한 결정이 이루어진 이유(예를 들어, 안경테가 이의 특정 특징에 따라 적합하거나 꼭 적합한 이유)에 관한 텍스트 맥락(textual context)을 사용자에게 제공하지 못한다.

미국 특허출원 공개 번호 제2017/169501호는, 안경 모델, 사용자 얼굴 모델, 및 적합성 평가 매트릭스(fitting evaluation matrix)에 기초하는 안경 적합성 평가 모델을 포함하는 데이터베이스를 설명한다. 적합성 출력을 제공하지만, 안경 적합성 평가 모델은, 사용자의 얼굴에 대한 특정 안경의 적합성을 결정할 때, 단일 전역적 메트릭만을 생성한다.

일 실시형태에 따라, 본 개시물은 사용자의 얼굴 상의 안경테의 맥락 평가를 제공하기 위한 장치, 방법, 및 컴퓨터 판독 가능 저장 매체를 설명한다.

일 실시형태에서, 본 개시물은 사용자 얼굴에 대한 안경의 적합성의 전역적 또는 특정 특성에 관련된 기준에 의해 획득된 가능한 값의 각각의 서브세트에 대해, 상이한 텍스트 설명을 연관시킬 수 있게 한다.

일 실시형태에서, 본 개시물은 안경과 사용자 사이의 적합성을 결정하기 위한 자동 진단 시스템을 포함한다. 자동 진단 시스템은, 적어도 하나의 적합성 메트릭 값, 및 안경이 사용자의 얼굴에 적합하거나 적합하지 않은 이유를 설명하는 연관된 텍스트 설명을 생성할 수 있다. 일 실시예에서, 적어도 하나의 적합성 메트릭 및 연관된 텍스트 설명은, 사용자의 하나 이상의 사진, 안경 처방, 연령, 성별 등을 포함하는 사용자 정보, 및 크기, 색상, 재료 등을 포함하는 장비 특징에 기초할 수 있다.

일 실시형태에서, 본 개시물은 사용자의 얼굴의 특징을 표현하는 사용자 데이터의 결정, 및 상기 안경을 착용한 상기 사용자의 적어도 하나의 사진으로부터 안경테의 특징을 표현하는 장비 데이터의 결정을 제공하기 위한 장치, 방법, 및 컴퓨터 판독 가능 저장 매체에 관한 것이다. 사용자 특징을 안경테 특징과 분리하기 위해, 디지털 영상 처리 및 다른 영상 처리 방법이 사용될 수 있다. 사용자 데이터는, 사용자의 얼굴의 형태적 특징, 구조적 특징, 및 심미적 특징일 수 있다. 장비 데이터는, 장비의 안경테의 총 폭, 장비의 안경테의 양태(aspect)의 치수(예를 들어, 크기 A, 크기 B, 크기 D 등), 장비의 안경테의 상부 부분의 수직 두께, 힌지의 레벨에서의 장비의 안경테의 수평 두께, 장비의 색상, 장비의 재료 등을 포함하는 특징일 수 있다. 사용자의 얼굴의 적어도 하나의 사진은, 사용자, 안경 등의 영상을 획득하도록 구성된 2D 또는 3D 카메라 또는 다른 영상 포착 장치로 생성될 수 있다. 적어도 하나의 적합성 메트릭 값, 및 안경이 사용자의 얼굴에 적합하거나 적합하지 않은 이유를 설명하는 연관된 텍스트 설명은, 결정된 사용자 데이터 및 장비 데이터로부터 생성될 수 있다.

예시적인 실시형태에 따라, 본 개시물은 형태적 및 구조적 특징(즉, 사용자 특징 및 장비 특징), 안과적 요구 사항(즉, 시력 처방), 및 심미적 매력에 기초하여, 적합한 안경 선택을 사용자에게 제시하기 위한 기계 학습 기반 안경테 적합성 평가 장치(즉, 안경 평가 도구)를 설명한다.

예시적인 실시형태에 따라, 본 개시물은, (1) 사용자 특징, 장비 특징, 및 착용된 장비의 위치 데이터, (2) 장비의 적합성과 관련된 특정 및 전역적 기준 값 세트, (3) 전역적 스코어, 등급, 또는 장비의 적합성의 수용에 기초하는 전역적 기준, 및 (4) 스코어, 등급, 또는 특정 적합성 파라미터의 수용에 기초하는 특정 기준에 기초하여, 장비 추천을 위한 방법을 포함하며, 전역적 기준은 특정 기준으로부터 도출될 수 있다.

위에 소개된 바와 같이, 본 개시물은 장비가 적합하거나 적합하지 않은 이유를 사용자가 이해할 수 있게 하는, 텍스트 맥락을 안경 추천 및 평가에 제공한다. 평가는, 기계 학습 기반 접근법에 의해 생성된 모델로부터 결정되는 전역적 및 특정 기준 값에 기초할 수 있다. 각각의 기계 학습 기반 접근법은 ECP에 의해 주석 표시된(annotated) 데이터세트를 포함할 수 있으며, 주석은, 해당 사용자 특징 및 장비 특징 쌍에 대한 각각의 특정 기준 및 전역적 기준을 위한 라벨을 제공한다.

일 실시형태에서, 본 개시물은 관련된 특정 기준에 의해서만 변경되는 바와 같은 전역적 기준을 제공할 수 있다.

일 실시형태에서, 본 개시물은 전역적 기준, 특정 기준, 또는 텍스트 정보를 사용자에게 직접 제공할 수 있다.

일 실시형태에서, 제1 및 제2 모델은, ECP 추천에 기초하여 업데이트될 수 있다. ECP는 안경테 모델 또는 이의 기하학적 특징을 사용자의 얼굴의 사진에 연관시키고, 네트워크를 통해 중앙 서버에 스코어를 통지한다. 이해될 수 있는 바와 같이, 네트워크는, 인터넷과 같은 공중망, 또는 LAN 또는 WAN 네트워크와 같은 전용망, 또는 이의 임의의 조합일 수 있으며, PSTN 또는 ISDN 서브-네트워크를 포함할 수도 있다. 또한, 네트워크는 이더넷 네트워크와 같은 유선일 수 있거나, EDGE, 3G, 4G 및 5G 무선 셀룰러 시스템을 포함하는 셀룰러 네트워크와 같은 무선일 수 있다. 무선 네트워크는, 와이파이(WiFi), 블루투스, 또는 알려져 있는 임의의 다른 무선 통신 형태일 수도 있다. 모델은 실시간으로 업데이트되며, 다른 ECP는 안경과 사용자 사이의 적합성을 결정하는 경우 업데이트로부터 혜택을 받는다.

일 실시형태에서, 전역적 기준은, 기계 학습 기반 접근법을 사용하여 특정 기준의 값으로부터 도출될 수 있다. 기계 학습 기반 접근법은, 특정 기준의 모델의 분류 및 회귀 트리 및/또는 선형 또는 비선형 조합을 포함할 수 있다.

일 실시형태에 따라, 본 개시물은 다수의 기준 ECP 입력 및 기계 학습 기반 다수의 관련 모델을 제공한다. 이러한 기계 학습 기반 모델은 전역적 기준으로만 제한되지 않으며, 그 대신에, 안경테 또는 장비의 전체적인 "적합성"과 가장 관련이 있는 것으로 간주되는 특정 기준에 관한 텍스트 정보를 제공한다. 예를 들어, 장비가 사용자에게 적절히 적합하지 않고, 이러한 부적합성에 대한 주요 동인이 장비의 안경테의 두께인 것으로 결정될 수 있다. 따라서, 사용자는, 이들의 전체적인 "적합성"을 개선하기 위해, 감소된 두께의 안경테를 갖는 유사하게 관련된 장비를 검색할 수 있다.

일 실시형태에 따라, 본 개시물은 다른 장비 데이터가 제공되는 경우 장비 데이터의 맥락화된 평가를 제공하기 위한 장치, 방법, 및 컴퓨터 판독 가능 저장 매체에 관한 것이다. 이러한 방법은 도 12에 도시된다. 장비 데이터가 누락된 제1 장비 데이터 세트가 제시된 경우, 본 개시물의 방법은, 데이터 세트를 적어도 하나의 장비 데이터 세트를 포함하는 데이터베이스의 데이터 세트와 비교한다. 그 다음, 유사한 다른 특징을 갖는 데이터베이스의 안경테로부터의 누락 데이터의 평균값이 계산된다. 예를 들어, 안경테의 평균 두께는, 그것이 플라스틱제인 여성용 안경테라는 것을 인지하여 계산될 수 있다. 데이터베이스는, 누락 데이터의 계산된 평균 값과 동일하거나 가까운 누락 데이터 값을 갖고, 제1 장비 데이터 세트의 다른 값과 동일하거나 가까운 다른 값을 갖는 장비의 제안을 제공할 수 있다. 누락 데이터 값에 대한 또는 하나 또는 다수의 다른 데이터에 대한 공차 값은, 사용자에 의해 각각의 데이터에 대해 개별적으로 선택될 수 있다.

일 실시형태에 따라, 본 개시물은 사용자의 얼굴 및 장비의 적합성의 맥락화된 평가를 제공하기 위한 장치, 방법, 및 컴퓨터 판독 가능 저장 매체를 설명한다. 장비를 착용한 사용자의 영상이 제시된 경우, 본 개시물의 방법은 전역적 기준(예를 들어, 특정 기준)에 기여하는 특징의 맥락이 전역적 기준(즉, 범용 적합성 메트릭)에 제공될 수 있도록 영상을 처리한다. 즉, 본원의 방법은 사용자의 얼굴 및 장비가 잘 매칭되는 것으로 결정할 수 있지만, 동공간 거리와 장비의 렌즈의 중심 사이의 상대 거리가 심미적으로 적절하기 때문에, 사용자의 얼굴 및 장비가 잘 매칭된다고 기술함으로써, 추천이 검증될 수 있다. 또는 일 실시형태에서, 렌즈의 중심 사이의 거리가 동공간 거리 미만이기 때문에(이 경우, 사용자의 동공은 장비의 렌즈의 코 구성 요소에 더 가깝게 위치됨), 사용자의 얼굴 및 장비가 잘 매칭된다고 기술함으로써, 추천이 검증될 수 있다.

일 실시형태에 따라, 전술한 다수의 기준 ECP 입력 및 기계 학습 기반 다수의 관련 모델은, 맥락화된 전역적 기준을 위한 점점 더 견고하고 정확한 결과를 가능하게 한다.

이제 도면을 참조하면, 도 1은 본 개시물의 예시적인 실시형태에 따라, 안경테를 착용한 사용자의 예시이다. 도 1의 예시는 일 실시예에서, 본 개시물의 방법에 대한 입력일 수 있다. 사용자의 특징 및 장비의 특징은 이로부터 결정될 수 있다. 이러한 사상에서, 대안적으로 또는 추가적으로, 본 개시물의 방법에 대한 입력은, 사용자의 얼굴의 영상, 장비의 영상, 또는 유사한 영상으로부터 이전에 결정된 사용자 특징 데이터 및 장비 특징 데이터일 수 있음을 이해할 수 있다.

도 1과 유사한 입력은, 본 개시물의 방법의 구현예를 설명하는 도 2에서와 같은 본 개시물의 방법에 적용될 수 있다.

도 2는 본 개시물의 예시적인 실시형태에 따라, 안경테의 맥락 평가를 제공하기 위한 방법의 흐름도이다. 방법(200)은 안경테 적합성 평가 장치에 의해 수행될 수 있으며, 안경테 적합성 평가 장치는, 본원에 설명된 단계를 수행하도록 구성된 처리 회로를 포함함을 이해할 수 있다. 안경테 적합성 평가 장치는 도 11을 참조하여 보다 상세히 설명될 것이다.

방법(200)의 단계(210)에서, 사용자 데이터가 수신될 수 있다. 사용자 데이터는, 도 3a 및 도 3b를 참조하여 설명되는 바와 같이, 사용자 특징으로서 직접 제공될 수 있거나, 사용자의 얼굴을 포함하는 영상으로부터 결정될 수 있다.

방법(200)의 단계(220)에서, 장비 데이터가 수신될 수 있다. 장비 데이터는, 도 3a 및 도 3b를 참조하여 설명되는 바와 같이, 장비 특징으로서 직접 제공될 수 있거나, 장비를 포함하는 영상으로부터 결정될 수 있다.

방법(200)의 단계(230)에서, 위의 사용자 특징 및 장비 특징을 특정 기준의 기계 학습 기반 모델에 적용함으로써, 특정 기준 값이 생성될 수 있다. 특정 기준 메트릭의 값은, 구체적인 형태적, 심미적, 또는 시각적 고려 사항에 따라, 사용자의 얼굴 및 장비의 적합성에 관련된 특정 기준 메트릭 세트에 기초할 수 있다. 일 실시형태에서, 특정 기준은, 확률, 수량 조합, 스코어 등과 같은, 수치 값 및 연속적 수량일 수 있다. 예를 들어, 특정 기준은 사용자의 동공간 거리를 한정할 수 있다. 일 실시형태에서, 특정 기준은, 영숫자 값으로 한정될 수 있는 정성적 수량일 수 있다. 예를 들어, 정성적 수량은, 사용자의 얼굴의 폭과 대비한 장비의 안경테의 폭에 대한 ECP에 의한 평가를 나타낼 수 있다. 이 경우, ECP는 상대 폭이 (a) 너무 넓은지, (b) 허용 가능한지, 또는 (c) 너무 좁은지 여부를 결정할 수 있다. 다른 경우에, 정성적 수량은, 장비의 안경테 내의 사용자의 눈썹의 존재에 대한 ECP에 의한 평가를 나타낼 수 있다. 이 경우, ECP는 (a) 눈썹이 안경테 내부에서 보이는지, (b) 눈썹 위치 설정이 허용 가능한지, 또는 (c) 눈썹이 안경테 위로 너무 높은지 여부를 결정할 수 있다. 이러한 실시예는, 안경테 적합성과 관련되고 ECP에 의해 평가될 수 있는, 다양한 정성적 수량을 대표할 뿐이다.

방법(200)의 단계(240)에서, 생성된 특정 기준 값을 전역적 기준의 기계 학습 기반 모델에 적용함으로써, 전역적 기준 값이 생성될 수 있다. 일 실시형태에서, 전역적 기준 값은, 위에 한정된 사용자 특징 및 장비 특징에 추가로 기초할 수 있다. 전역적 기준 값은, 사용자의 얼굴에 대한 장비의 전역적 적합성을 나타내는 수치 또는 정성적 값일 수 있다. 일 실시형태에서, 기계 학습 기반 모델은, 생성된 특정 기준 값으로부터 전역적 기준 값을 생성하기 위해 사용될 수 있다. 기계 학습 기반 모델은, 분류 및 회귀 트리에 의해 생성된 결정 트리일 수 있거나, 특정 기준 값의 선형 회귀일 수 있다.

일 실시형태에 따라, 각각의 단계(230) 및 단계(240)에서, 특정 기준 값 및 전역적 기준 값은, ECP로부터의 입력에 기초하여 생성된 기계 학습 기반 접근법에 따라 결정될 수 있다. 예를 들어, 기계 학습 기반 접근법은, 이후에 설명되는 바와 같이, 착용된 장비의 주어진 영상 세트에 대한 전역적 기준 및 특정 기준 값의 입력 및 ECP 평가에 기초할 수 있다.

방법(200)의 단계(250)에서, 단계(230)에서 생성된 특정 기준 값, 및 단계(240)에서 생성된 전역적 기준 값은, 적합성을 특성화하는 메시지를 결정하기 위해 평가될 수 있다. 이러한 방식으로, 전역적 기준 값은 적절한 특정 기준 값에 의해 맥락화될 수 있으므로, 의미가 결여된 값 기반 출력의 대안으로서, 포괄적인 텍스트 및 언어 기반 출력을 제공할 수 있다. 일 실시형태에서, 전역적 기준 및 특정 기준의 평가는 결정 트리에 의해 수행될 수 있으며, 특정 기준 값은, 결정 트리의 분기의 종료 시에 확인된 전역적 기준을 통지하고 맥락화한다. 전역적 기준(예를 들어, "적합", "부적합")은, 전역적 기준의 기초를 형성하는 적절한 특정 기준(예를 들어, "색상 미스매치(mismatch)")과 함께 제공될 수 있다. 결정 트리는 주석 표시된 결정 트리일 수 있으며, 다양한 의미론적 텍스트 템플릿을 한정하는 분기점(bifurcation)을 포함할 수 있고, 각각의 분기점 또는 경로는 특정 기준 값의 평가에 의해 한정되어, 전역적 기준 값을 야기한다. 그 다음, 각각의 결과적인 전역적 기준 값은, 특정 기준의 특징에 의해 맥락화되고 이에 대한 경로를 한정한 ECP에 의해 통지되는, 레이 용어(lay terminology)를 사용하여 표현될 수 있다. 일 실시형태에서, 결과적인 텍스트 설명은, 분기점의 이유에 대한 텍스트 번역문을 포함할 수 있다. 전술한 주석 표시된 결정 트리는, 도 10a 및 도 10b를 참조하여 추가로 설명될 것이다.

방법(200)의 단계(260)에서, 단계(250)에서 결정된 메시지는 사용자에게 출력될 수 있다. 일 실시형태에서, 결정된 메시지는 사용자에게 출력으로서 직접 제공될 수 있다. 다른 실시형태에서, 결정된 메시지는, 안경테 적합성 평가 장치의 특성 및 선호도에 따라 보다 자연적인 메시지를 생성하기 위해, 자동 자연어 생성 도구에 따라 변경될 수 있다. 예를 들어, 변경으로 인해, 상이한 장비에 대해 트리의 동일한 분기점이 후속되는 경우, 불필요하고 불분명하게 보이지 않도록, 주어진 메시지가 다수의 방식으로 제공될 수 있다. 일 실시예에서, 결과는 텍스트 메시지의 재표현일 수 있거나, 특정 기준 값에 의한 전역적 기준 값의 상이한 맥락화일 수 있다. 사용자의 얼굴에 대비한 장비의 치수에 의해 전역적 기준 값을 한정하는 대신에, 전역적 기준 값은, 사용자의 피부색에 대비한 장비의 색상에 따라, 특정 기준 값으로서 한정될 수 있다. 일 실시형태에서, 자동 자연어 생성 도구는, 전역적 기준 값에 대한 대안적인 휴머노이드(humanoid) 설명을 제공하는 경우, 텍스트 맥락이 유의미할 수 있도록, 전역적 기준 값에 대한 어떤 특정 기준의 영향을 고려할 수 있다. 예를 들어, 장비의 색상 및 장비의 치수는, 전역적 기준 값에 대한 동일한 영향을 갖는 특정 기준일 수 있으므로, 자동 자연어 생성 도구에 의해 교환 가능하게 사용될 수 있다.

일 실시형태에서, 메시지는, 오디오, 비디오, 햅틱 등을 포함하는 다양한 방식으로 사용자에게 출력될 수 있다. 일 실시예에서, 메시지는 음성 언어로 사용자에게 전달될 수 있다.

이제 방법(200)의 각각의 단계에 초점을 맞추어, 단계(210) 및 단계(220)가 도 3a 및 도 3b와 관련하여 추가로 상세히 설명될 것이다. 도 3a 및 도 3b는 본 개시물의 예시적인 실시형태에 따라, 안경테의 맥락화된 평가를 제공하기 위한 방법의 각각의 흐름도이다.

도 3a와 관련하여, 방법(200)의 단계(210) 및 방법(200)의 단계(220)는 동시에 수행되며, 각각은 별도의 영상 및/또는 데이터에 대해 수행된다. 예를 들어, 사용자는 이들의 얼굴의 영상을 제공할 수 있으며, 장비 데이터베이스로부터의 선택된 장비와 영상 간의 가정적 매칭에 대한 맥락화된 평가를 요청하길 원할 수 있다.

따라서, 방법(201)의 단계(311)에서, 사용자의 얼굴의 사용자 영상으로부터(단계(312)에서), 또는 사용자 특징 데이터베이스 내에 저장된 사용자 특징으로부터, 사용자 특징이 추출될 수 있다. 사용자 특징 데이터베이스는, 사용자와 연관된 사용자 프로파일을 포함할 수 있으며, 사용자 특징은 저장 및 액세스를 위해 사용자에 의해 입력되었다. 사용자 특징은, 사용자의 얼굴의 형태적 특징, 구조적 특징, 시력 처방, 및 심미적 특징일 수 있다. 방법(201)의 단계(321)에서, 장비의 장비 영상으로부터(단계(322)에서), 또는 장비 특징 데이터베이스 내에 저장된 장비 특징으로부터, 장비 특징이 추출될 수 있다. 장비 특징 데이터베이스는, 온라인 물품 목록에 저장된 복수의 장비와 연관된 장비 특징을 포함할 수 있으며, 각각의 장비 특징 세트는, 장비의 구조적 특징, 심미적 특징, 및 시각적 특징을 한정한다. 대안적으로, 제안된 바와 같이, 사용자 특징 및 장비 특징은, 단계(311) 및 단계(321)에서 각각의 영상으로부터 추출될 수 있다.

도 2의 방법(200)과 유사하게, 단계(311) 및 단계(321)에서 추출된 사용자 특징 및 장비 특징은, 방법(201)의 단계(331)에서 특정 기준 모델에 적용될 수 있다. 사용자 특징 및 장비 특징에 모델을 적용함으로써, 사용자의 얼굴에 대비한 장비의 적합성에 관련된 특정 기준 메트릭 세트에 따라, 특정 기준 메트릭의 값이 생성될 수 있다. 장비의 적합성은, 구체적인 형태적, 심미적, 또는 시각적 고려 사항에 따라 한정될 수 있다. 일 실시형태에서, 특정 기준은, 확률, 수량 조합, 스코어 등과 같은, 수치 값 및 연속적 수량일 수 있다. 일 실시형태에서, 특정 기준은, 영숫자 값으로 한정될 수 있는 정성적 수량일 수 있다.

도 2의 방법(200)과 유사하게, 방법(201)의 단계(331)에서 결정된 특정 기준의 값은, 방법(201)의 단계(341)에서 전역적 기준의 모델에 적용될 수 있다. 결과적인 전역적 기준 값은, 사용자의 얼굴에 대한 장비의 전역적 적합성을 나타내는 수치 또는 정성적 값일 수 있다. 일 실시형태에서, 기계 학습 기반 모델은, 생성된 특정 기준 값으로부터 전역적 기준 값을 생성하기 위해 사용될 수 있다. 기계 학습 기반 모델은, 분류 및 회귀 트리에 의해 생성된 결정 트리일 수 있거나, 특정 기준 값의 선형 회귀일 수 있다.

일 실시예에서, 주석 표시된 결정 트리를 통해 특정 기준 값 및 전역적 기준 값을 생성하면, 방법(201)은 도 2의 방법(200)으로 복귀할 수 있으며, 각각 단계(250 및 260)에서, 메시지가 결정되어 사용자에게 출력될 수 있다.

도 3b와 관련하여, 방법(200)의 단계(210) 및 방법(200)의 단계(220)는 동시에 수행되며, 각각은 장비를 착용한 사용자의 얼굴의 영상을 반영하는 데이터 및/또는 영상에 대해 수행된다. 예를 들어, 사용자는 장비를 착용한 이들의 얼굴의 영상을 제공할 수 있으며, 이들 간의 "적합성"에 대한 맥락화된 평가를 요청하길 원할 수 있다. 이러한 경우는, 사용자가 매장에서 다양한 장비를 착용해보는 경우, 또는 사용자가 온라인 쇼핑을 하면서 다양한 장비를 가상으로 "착용"해보는 경우와 관련될 수 있음을 이해할 수 있다.

따라서, 방법(201)의 단계(311)에서, 장비를 착용한 사용자의 얼굴의 사용자 영상으로부터(단계(302)에서), 사용자 특징이 추출될 수 있다. 사용자 특징은, 사용자의 얼굴의 형태적 특징, 구조적 특징, 및 심미적 특징일 수 있다. 방법(201)의 단계(321)에서, 장비를 착용한 사용자의 얼굴의 사용자 영상으로부터(단계(302)에서), 장비 특징이 추출될 수 있다. 장비 특징은, 장비의 구조적 특징, 심미적 특징, 및 시각적 특징을 한정할 수 있다.

도 2의 방법(200)과 유사하게, 단계(311) 및 단계(321)에서 추출된 사용자 특징 및 장비 특징은, 방법(201)의 단계(331)에서 특정 기준 모델에 적용될 수 있다. 사용자 특징 및 장비 특징에 모델을 적용함으로써, 사용자의 얼굴 및 장비의 적합성에 관련된 특정 기준 메트릭 세트에 따라, 특정 기준 메트릭의 값이 생성될 수 있다. 장비의 적합성은, 구체적인 형태적, 심미적, 또는 시각적 고려 사항에 따라 한정될 수 있다. 일 실시형태에서, 특정 기준은, 확률, 수량 조합, 스코어 등과 같은, 수치 값 및 연속적 수량일 수 있다. 일 실시형태에서, 특정 기준은, 영숫자 값으로 한정될 수 있는 정성적 수량일 수 있다.

상기의 관점에서, 도 4a, 도 4b, 및 도 4c는 도 2의 방법(200)에 대한 가능한 입력을 나타낸다. 일 실시예에서, 사용자는 장비와 무관하게 사용자 영상(412)을 제공할 수 있다. 이러한 방식으로, 사용자는 장비 및 사용자의 얼굴에 대한 맥락화된 평가를 제공하기 위해 평가될 수 있는 장비(422)의 다수의 영상 중 어느 하나를 선택할 수 있다. 대안적으로, 또는 가상 "착용"으로서, 사용자는, 장비를 착용한 사용자의 조합된 영상(402)으로서, 사용자 영상(412) 및 장비 영상(422)을 제공할 수 있다. 위에 제시된 경우 중 어느 하나에서, 사용자 특징 및 장비 특징을 추출하기 위해, 영상이 처리될 수 있다.

위의 설명은 최종 사용자가 경험하는 바와 같은 흐름도에 초점을 맞추었다. 본 개시물의 예시적인 실시형태에서, 최종 사용자는 장비를 착용한 이들의 얼굴의 영상을 제공할 수 있다. 이러한 작업을 가능하게 하기 위해, 특정 기준 모델 및 전역적 기준 모델이 전개되어야 한다.

도 5를 참조하여, 특정 기준 모델은, 사용자 특징, 장비 특징, 및 장비를 착용한 사용자의 해당 영상의 데이터베이스를 생성함으로써 초기에 전개될 수 있다. 이를 위해, 미가공(raw) 데이터베이스 A(533)는, 사용자 특징(511), 장비 특징(521), 및 장비를 착용한 사용자의 해당 영상(502)을 포함하는 복수의 데이터세트를 포함할 수 있다. 장비를 착용한 사용자의 해당 영상(502)은 하나의 영상 또는 복수의 영상일 수 있다. 일 실시형태에서, 미가공 데이터베이스 A(533)의 복수의 데이터세트는, 계산 부담을 최소화하면서 특정 기준의 정밀한 모델을 생성하기에 충분한 다수의 데이터세트일 수 있다.

예시적인 실시형태에 따라, 사용자 특징(511)은, 장비를 착용한 사용자의 해당 영상(502)으로부터, 장비가 없는 사용자의 영상으로부터, 사용자와 연관된 형태적 데이터 등으로부터 추출될 수 있다. 영상은 2차원 이미징 장치 또는 3차원 이미징 장치를 사용하여 획득될 수 있다.

예시적인 실시형태에 따라, 장비 특징(521)은, 장비를 착용한 사용자의 해당 영상(502)으로부터, 사용자의 얼굴이 없는 장비의 영상으로부터, 장비의 디자인의 3차원 렌더링에 따른 장비와 연관된 구조적 데이터로부터, 안경테 추적 장치를 사용하는 측정에 의해 획득된 구조적 데이터로부터, 또는 다른 소스로부터 추출될 수 있다. 영상은 2차원 이미징 장치 또는 3차원 이미징 장치를 사용하여 획득될 수 있다.

예시적인 실시형태에 따라, 장비를 착용한 사용자의 영상(502)은, 장비를 착용한 실제 사용자의 영상, 장비를 가상으로 "착용"한 실제 사용자의 영상, 장비를 가상으로 "착용"한 가상 사용자(즉, 아바타)의 영상 등일 수 있다. 사용자 특징(511) 및 장비 특징(521)은 전술한 기술에 따라 이로부터 획득될 수 있다.

방법(200)으로 복귀하면, 특정 기준 모델 및 전역적 기준 모델은, ECP와 협의하여, 사용자 특징 및 장비 특징에 기초하여 전개될 수 있다. 특정 기준 모델 및 전역적 기준 모델은, 장비를 착용한 사용자의 얼굴의 영상의 ECP에 의한 평가에 기초할 수 있다. 도 6b에 도시된 바와 같은 ECP 설문조사를 완료함으로써, ECP는, "조합된" 영상의 양태와 관련된 특정 기준 세트에 따라 그리고 전역적 기준에 따라, 장비를 착용한 사용자의 얼굴의 영상을 평가할 수 있다.

ECP 평가 프로세스에 대한 개요로서, 그리고 도 6a를 참조하여, 장비를 착용한 사용자의 얼굴의 영상(602)을 포함하는 미가공 데이터세트 A(633)는, ECP 설문조사에 따라 복수의 ECP(634)에 의해 평가될 수 있다. 도 6b에 도시된 바와 같이, ECP 설문조사는, 특정 기준 설문조사 질문 및 전역적 기준 설문조사 질문을 포함할 수 있다. 예를 들어, 설문조사는, 특정 기준으로서, 다음을 포함할 수 있다:

특정 기준 1: 사용자의 머리의 크기에 대비한 장비의 폭에 관한 피드백을 제공한다. 높은 네거티브 스코어는 장비의 폭이 너무 작은 것을 나타내는 반면에, 높은 포지티브 스코어는 장비의 폭이 너무 크다는 것을 나타낸다.

특정 기준 2: 장비/렌즈의 형상에 대비한 동공의 위치에 관한 피드백을 제공한다. 높은 네거티브 스코어는 동공이 장비/렌즈의 코부분(nose)에 너무 가깝다는 것을 나타내는 반면에, 높은 포지티브 스코어는 동공이 측두(temporal) 구성 요소에 너무 가깝다는 것을 나타낸다. ECP 설문조사에는 포함되지 않지만, 동공이 비강 구성 요소에 약간 더 가깝게 하는 것이 전역적으로 바람직하다는 점을 유의해야 한다.

특정 기준 3: 장비 형상에 대비한 눈썹의 외부 구성 요소의 수평 위치에 관한 피드백을 제공한다.

특정 기준 4: 장비의 상부 양태에 대비한 눈썹의 수직 위치에 관한 피드백을 제공한다.

특정 기준 5: 사용자의 뺨에 대비한 장비의 하부 양태의 수직 위치에 관한 피드백을 제공한다.

특정 기준 3, 4 및 5는 네거티브 및 포지티브 값의 유사한 연속체(continuum)로 평가될 수 있다.

특정 기준 6: 사용자의 코 폭에 대비한 장비의 코다리(bridge) 크기에 관한 피드백을 제공한다. 높은 네거티브 스코어는 코다리가 너무 좁다는 것을 나타내는 반면에, 높은 포지티브 스코어는 코다리가 너무 넓다는 것을 나타낸다.

사용자 특징, 장비 특징, 및 장비를 착용한 사용자의 해당 영상의 데이터세트와 연관된 각각의 ECP 설문조사의 결과는, 도 7a를 참조하여 추가로 상세히 설명되는, 주석 표시된 데이터베이스 A의 데이터세트와 함께 저장될 수 있다. 따라서, 각각의 ECP 설문조사의 결과는, 특정 기준의 값을 표현하는 모델, 및 전역적 기준의 값을 표현하는 모델에 기여하며, 모델은, 장비 및 사용자의 얼굴의 제안된 조합의 양태의 ECP의 평가에 기초한다.

일 실시형태에서, 각각의 ECP 설문조사의 결과는, 수학식, 등식 및 부등식 조건, 및 사용자 특징 및 장비 특징에 따라 각각의 특정 기준 모델 및 전역적 기준 모델을 한정하는 논리적 조건에 대한 제약을 제공하기 위해 사용될 수 있다. 이러한 수식의 계수 및 파라미터는, 설명되는 바와 같이, 기계 학습 기반 도구를 사용하여 획득될 수 있다.

예를 들어, 이러한 수식은, 주어진 특정 기준 세트(Sc₁, Sc₂,...,Sc_N)에 대해, 사용자의 얼굴의 측두 폭, 사용자의 얼굴의 접형골(sphenoidal) 폭, 사용자의 눈꺼풀 개구의 중력 중심의 수평 위치, 사용자의 눈썹의 평균 수직 위치, 사용자의 코의 길이 등을 포함하는 사용자 특징, 및 장비의 안경테의 총 폭, 장비의 안경테의 양태의 치수(예를 들어, 크기 A, 크기 B, 크기 D 등), 장비의 안경테의 상부 양태의 수직 두께, 힌지의 레벨에서의 장비의 안경테의 수평 두께, 장비의 색상, 장비의 재료 등을 포함하는 장비 특징에 기초할 수 있다. Sc ₁과 관련된 하나의 수식에서, 수식은 다음과 같이 작성될 수 있다:

Sc ₁ = (측두 폭 - 총 장비 폭 > 20 mm)인 경우 "너무 작음", (측두 폭 - 총 장비 폭 ≤ 20 mm이고, 측두 폭 - 총 장비 폭 ≥ -20 mm)인 경우 "적절함", 그렇지 않으면 "너무 큼"

Sc ₂와 관련된 하나의 수식에서, 수식은 다음과 같이 작성될 수 있다:

Sc ₂ = (접형골 폭 - (2A+D) > 20 mm)인 경우 "너무 작음", (접형골 폭 - (2A+D) ≤ 20 mm이고, 접형골 폭 - (2A+D) ≥ -20 mm)인 경우 "적절함", 그렇지 않으면 "너무 큼"이고,

여기서, A는 "크기 A"(장비의 안경테의 치수)를 나타내며, B는 "크기 B"(장비의 안경테의 치수)를 나타낸다.

Sc ₃과 관련된 하나의 수식에서, 수식은 다음과 같이 작성될 수 있다:

Sc₃ = (max(Y_눈썹)-(장비의 안경테의 Y_상부) > 10 mm)인 경우 "눈썹이 장비의 안경테 위로 너무 높음", max(Y_눈썹)-(장비의 안경테의 Y_상부 <= -5 mm)인 경우 "눈썹이 안경테 내부에서 보임", 그렇지 않으면 "적절함".

전술한 실시예에서, 예를 들어, "너무 작음", "적절함", "너무 큼" 사이의 경계를 한정하는 임계치는, 기계 학습 기반 접근법에 의해 결정될 수 있다. 임계치는, 사용 시에 응답 스케일(answer scale)을 고려하여 결정될 수 있다. 예를 들어, 응답 스케일은 3가지 가능한 모드를 표현하는 텍스트 빈(textual bin)일 수 있거나, -5 내지 +5의 적합성 스케일을 표현하는 수치 빈(numerical bin)일 수 있다. 일 실시형태에서, 임계치는, 도 6b에 도시된 ECP 설문조사의 결과에 적용되는 기계 학습 기반 접근법에 의해 한정될 수 있다. 또한, 임계치는 특정 기준 간의 관계 및 상호 작용에 따라 좌우될 수 있으며, 예를 들어, Sc ₁은 Sc ₃에 영향을 줄 수 있음을 이해할 수 있다.

대안적으로, 그리고 도 8a 및 도 8b를 참조하여 추가로 설명되는 바와 같이, 특정 기준 모델 및 전역적 기준 모델은, 주어진 사용자 데이터세트의 특정 기준 및 전역적 기준에 관한 ECP 설문조사의 결과에 적용되는 바와 같은, 통계적 방법 또는 다른 기계 학습 기반 접근법에 따라 전개될 수도 있다. 이러한 통계적 방법은, 예를 들어 선형 판별 분석을 포함할 수 있다.

이를 위해, 그리고 예시적인 실시형태에 따라, ECP 설문조사는, 미가공 데이터베이스 A(533)로부터 획득된 데이터세트에 관련될 수 있다. ECP 설문조사는, 장비를 착용한 사용자의 일련의 영상(502), 및 각각의 영상과 함께, 사람의 얼굴 및 장비의 적합성의 특정 포인트에 관한 일련의 질문을 포함할 수 있다. 각걱의 질문의 경우, 제한된 수의 가능한 응답이 ECP에 주어질 수 있다. 일 실시예에서, 이는 -5 내지 +5의 스케일, 0 내지 10의 스케일, 또는 N개 항목 세트에서의 선택 항목일 수 있다. ECP 설문조사의 완료 동안 ECP에게 제출된 바와 같은, 예시적인 응답 및 질문은 아래에 설명된다.

질문 1. 귀하는 사용자의 얼굴의 폭에 대비하여, 장비의 폭을 어떻게 평가합니까? (a) 너무 작음, (b) 적절함, 또는 (c) 너무 큼.

질문 2. 귀하는 장비의 직경에 대비하여, 사용자의 동공을 어떻게 평가합니까? (a) 너무 내부, (b) 적절함, (c) 너무 외부.

질문 3. 귀하는 장비의 직경에 대비하여, 사용자의 눈썹의 외부 코너의 위치에 대해 어떻게 생각하십니까? (a) 너무 내부, (b) 적절함, 또는 (c) 너무 외부.

질문 4. 귀하는 사용자의 눈썹에 대비하여, 장비의 안경테의 상부의 위치를 어떻게 평가합니까? (a) 너무 낮음, (b) 적절함, 또는 (c) 너무 높음.

질문 5. 귀하는 사용자의 뺨에 대비하여, 장비의 안경테의 하부의 위치를 어떻게 평가합니까? (a) 너무 낮음, (b) 적절함, 또는 (c) 너무 높음.

질문 6. 귀하는 착용자의 코에 대비하여, 장비의 안경테의 코다리를 어떻게 평가합니까? (a) 너무 좁음, (b) 적절함, 또는 (c) 너무 넓음.

전술한 예시적인 질문은, 도 7b 내지 도 7l과 관련하여 나타낸 바와 같은, 특정 기준 모델의 전개 동안 고려될 수 있는 무수히 많은 특징에 대한 소개를 제공한다. 또한, 특정 기준 모델을 참조하여 전술하였지만, 전역적 기준 모델의 전개 시에, 유사한 접근법이 용이하게 구현될 수 있다.

따라서, 도 7a를 참조하여, 특정 기준 모델 및 전역적 기준 모델의 생성의 흐름도가 이제 설명될 것이다. 구체적으로, 도 7a는 특정 기준 모델(737)을 생성하기 위해, 주석 표시된 데이터베이스 A(736)의 사용자 데이터세트를 제1 기계 학습 접근법(704)에 제출하는 것을 도시한다. 또한, 일 실시형태에서, 주석 표시된 데이터베이스 A(736)의 사용자 데이터세트를 제1 기계 학습 접근법(704)에 제출함으로써, 전역적 기준 모델(747)을 생성할 수 있다.

주석 표시된 데이터베이스 A(736)는, 도 6a에 도시된 미가공 데이터베이스 A의 사용자 특징(711) 및 장비 특징(721), 및 도 6b에 도시된 바와 같이 획득된 해당 ECP 설문조사 결과(735)를 포함한다. 그 다음, 주석 표시된 데이터베이스 A(736)의 데이터세트는, 제1 기계 학습 접근법(704)에 제공될 수 있다.

일 실시형태에 따라, 제1 기계 학습 접근법(704)은, 신경망 등을 포함하는, 복수의 클래스의 객체 또는 이벤트를 특성화하거나 분리하는 특징의 선형 조합을 결정하기 위한 선형 판별 분석 또는 유사한 접근법일 수 있다.

일 실시예에서, 특정 기준 모델(737)이 생성되고, 제1 기계 학습 접근법(704)은 선형 판별 분석(LDA)일 수 있으며, 제1 기계 학습 접근법(704)은, ECP 설문조사 결과(735)를 사용자 특징(711) 및 장비 특징(721)에 연결하는 통계적 법칙을 식별함으로써, ECP 설문조사 결과(735)를 설명하려고 한다. 예를 들어, ECP 설문조사 결과(735)에 따른 LDA는, 주어진 질문(

)에 대해, 해당 사용자 및 장비가 상태

에 있는 확률

를 제공하는 법칙을 지원할 수 있다. 확률은 (

=1, 여기서

및

)로서 다시 작성될 수 있으며,

의 값은 모델의 특정 기준을 표현한다. 전역적 기준 모델을 결정할 때 유사한 접근법이 사용될 수 있음을 이해할 수 있다.

주석 표시된 데이터베이스 A(736)의 사용자 데이터세트에 제1 기계 학습 접근법(704)을 적용하면, 제1 기계 학습 접근법(704)의 출력은, 적절한 특정 기준 모델(737)로서 또는 전역적 기준 모델(747)로서 이해될 수 있다.

도 7b 내지 도 7l은 특정 기준 모델 및 전역적 기준 모델에 기여하는 사용자 특징 및 장비 특징의 전형적인 측정치의 예시를 제공한다.

도 7b는 본 개시물의 예시적인 실시형태에 따라, 사용자의 측두 폭의 값의 전형적인 측정치의 예시이다.

도 7c는 본 개시물의 예시적인 실시형태에 따라, 사용자의 내안각(internal canthus) 거리의 값의 전형적인 측정치의 예시이다.

도 7d는 본 개시물의 예시적인 실시형태에 따라, 사용자의 외안각(external canthus) 거리의 값의 전형적인 측정치의 예시이다.

도 7e는 본 개시물의 예시적인 실시형태에 따라, 사용자의 코 길이의 값의 전형적인 측정치의 예시이다.

도 7f는 본 개시물의 예시적인 실시형태에 따라, 형태적 특징으로서 베이스 및 맨살(raw)에 기초하는 사용자의 코 길이의 값의 전형적인 측정치의 예시이다.

도 7g는 본 개시물의 예시적인 실시형태에 따라, 사용자의 우측 눈썹의 최대 높이의 값의 전형적인 측정치의 예시이다.

도 7h는 본 개시물의 예시적인 실시형태에 따라, 사용자의 우측 눈썹의 평균 높이의 값의 전형적인 측정치의 예시이다.

도 7i는 본 개시물의 예시적인 실시형태에 따라, 사용자의 눈의 내측 코너(medial corner) 사이의 거리의 값의 전형적인 측정치의 예시이다.

도 7j는 본 개시물의 예시적인 실시형태에 따라, 사용자의 눈의 측방향 코너 사이의 거리의 값의 전형적인 측정치의 예시이다.

도 7k는 본 개시물의 예시적인 실시형태에 따라, 사용자의 눈의 좌측 동공 거리 및 우측 동공 거리의 값의 전형적인 측정치의 예시이다.

도 7l은 본 개시물의 예시적인 실시형태에 따라, 사용자의 눈의 내측 코너 사이의 거리의 값의 전형적인 측정치의 예시이다.

위에 소개된 바와 같이, ECP 설문조사 결과, 사용자 특징, 및 장비 특징 간의 관계는, 일 실시예에서, LDA, 또는 제1 기계 학습 접근법의 구현에 따라 한정될 수 있다. 따라서, 사용자 특징 및 장비 특징을 포함하는 알려지지 않은 사용자 데이터세트에 적용된 경우, LDA 트레이닝은 이의 정확한 분류를 보장할 것이다. 따라서, 도 8a는 본 개시물의 예시적인 실시형태에 따라, 트레이닝 데이터로서 사용될 ECP 설문조사에 대한 응답의 그래픽 표현이다.

일 실시형태에 따라, 도 8a는 "귀하는 사용자의 얼굴의 폭에 대비하여, 장비의 폭을 어떻게 평가합니까?"와 같은, ECP 설문조사로부터의 특정 질문을 고려하여 이해될 수 있다. 질문에 대한 응답은, (0) 너무 작음, (1) 적절함, 또는 (2) 너무 큼으로서, 수치적으로 특성화될 수 있다. 도 8a는 트레이닝 데이터로서 간주되는 질문에 대한 응답을 나타낸다. 숫자로 표시된 각각의 응답은, 해당 장비를 갖는 사용자의 영상에 관련된 질문의 평가를 나타낸다. 수평 축은 제1 판별 축(LD1)이며, 수직 축은 제2 판별 축(LD2)이다. 각각은 모델을 위해 사용되는 변수의 선형 조합이다. 도 8a의 실시예에서, 선형 조합은, LD1 = 0.5291134*크기 A + 0.4516208*크기 D - 0.1110664 * 측두 폭 - 0.1571796*힌지 두께 - 0.0956928*접형골 폭으로서, 그리고 LD2 = 0.05257000*크기 A + 0.64085819*크기 D + 0.12367100*측두 폭 - 0.09174694*힌지 두께 - 0.15042168*접형골 폭으로서 작성될 수 있으며, 여기서 "크기 A", "크기 D", "측두 폭", "힌지 두께", 및 "접형골 폭"은 도 7b 내지 도 7l에 설명된 바와 같이 한정된다.

도 8a에 도시된 바와 같은, 그리고 위의 수식에 의해 한정된 바와 같은, LD1 및 LD2는, 설문조사 질문에 대한 응답(즉, (0) 너무 작음, (1) 적절함, 및 (3) 너무 큼) 간의 최대 간격을 제공한다.

ECP 설문조사 결과에 따라 LDA를 트레이닝하고 이에 대한 응답을 가장 잘 분리시키는 LD1 및 LD2의 수식을 식별하면, LDA는 분류되지 않은 사용자 특징 및 장비 특징에 적용될 수 있다. 따라서, 도 8b는 본 개시물의 예시적인 실시형태에 따라, 눈 관리 전문가에게 수행되는 설문조사에 대한 추정 응답의 그래픽 표시이다. 도 8b에서와 같이, LDA는, 사용자의 얼굴에 대해 (0) 너무 작거나, (1) 적절하거나, (2) 너무 큰 것으로 분류될 장비의 안경테에 대한 조건부 확률을 제공한다. 도 8b에 나타낸 데이터는 최대 조건부 확률을 반영한다.

이제 도 9a의 흐름도를 참조하면, 전술한 특정 기준 모델 및 전역적 기준 모델은, 전역적 기준과 특정 기준 사이의 관계를 생성하기 위해, 사용자 데이터세트의 새로운 데이터베이스의 맥락에서 적용될 수 있다. 도 9a의 흐름도의 출력은 특정 기준에 의해 점유된 결정 트리일 수 있으며, 결정 트리의 각각의 분기가 전역적 기준에서 종료되므로, 전역적 기준은, 결정 트리의 동일한 분기를 점유하는 특정 기준의 값으로 설명될 수 있다.

구체적으로, 미가공 데이터베이스 A 및 주석 표시된 데이터베이스 A의 구조와 유사한 구조를 갖는, 미가공 데이터베이스 B(943)로부터의 사용자 데이터세트는, 특정 기준 모델(937) 및 전역적 기준 모델(947)에 모두 제출될 수 있다. 그 다음, 각각의 특정 기준 모델(937) 및 전역적 기준 모델(947)의 출력은, 결정 트리(944)를 생성하기 위해 제2 기계 학습 접근법(905)에 제공될 수 있다. 결정 트리(944)는, 제2 기계 학습 접근법(905)에 의해 결정된 바와 같은 전역적 기준 모델(947)의 출력과 특정 기준 모델(937)의 출력 간의 관계를 반영할 수 있다. 일 실시형태에서, 제2 기계 학습 접근법(905)은 분류 및 회귀 트리일 수 있다. 예를 들어, 각각의 특정 기준의 몇몇 별개의 모드만이 있는 경우(예를 들어, "너무 작음", "적절함", "너무 큼"), 분류 트리가 구현될 수 있다. 다른 경우에, 각각의 기준이 연속체(예를 들어, "-10 내지 +10")로 표현될 수 있는 경우, 회귀 트리가 구현될 수 있다.

도 9b는 특정 기준 모델 및 전역적 기준 모델의 출력에 따라 결정되고, 제2 기계 학습 접근법에 적용되는 바와 같은, 예시적인 결정 트리이다. 결정 트리(944)의 각각의 분기는 전역적 기준 값(942)을 야기할 수 있으며, 전역적 기준 값(942)은 결정 트리(944)의 동일한 분기를 점유하는 특정 기준(932)의 값에 의해 검증됨을 이해할 수 있다.

이제 도 10a를 참조하면, 도 9a 및 도 9b에서 생성된 결정 트리는, 사용자의 얼굴에 대비한 장비의 적합성에 관한 텍스트 맥락을 제공하기 위해 추가로 처리될 수 있다. 이를 위해, 도 9a의 제2 기계 학습 접근법에 의해 생성된 결정 트리(1044)는 ECP에 의해 주석 표시될 수 있으며, ECP 주석(1045)은 이에 따라 결정 트리(1044)를 맥락화하고, 도 10b에 도시된 바와 같이, 주석 표시된 결정 트리(1046)를 생성한다.

즉, 이전의 접근법은 1 내지 10의 스케일(1은 불량한 적합성이고, 10은 양호한 적합성임)에 있는 전역적 기준 값을 제공할 수 있지만, 본 개시물은 평가되는 장비 및 사용자의 얼굴에 기초하여 생성된 특정 기준 값에 따라, 전역적 기준 값이 검증될 수 있는 메커니즘을 제공한다.

일 실시형태에서, 그리고 도 10b에서와 같이, 도 9b에서와 같은 결정 트리는 ECP 의견에 따라 주석 표시될 수 있으므로, 주석 표시된 결정 트리(1046)를 야기할 수 있다. 따라서, 주석 표시된 결정 트리(1046)의 각각의 분기는, 동일한 분기를 점유하는 특정 기준 값(1032)에 기초하는 전역적 기준 값(1042)의 텍스트 맥락을 포함할 수 있다. 예를 들어, ECP에 의해 주석 표시된 바와 같은 "텍스트 2"(1048)는, "안경테의 폭이 귀하의 비교적 좁은 얼굴에 대하여 다소 너무 큼"일 수 있으므로, 사용자 및 안경테의 특정 특징의 맥락에서 안경테 적합성 평가를 제공할 수 있다. 다른 경우에, ECP에 의해 주석 표시된 바와 같은 "텍스트 3"(1049)은, "본 안경테의 폭은 귀하에게 적합하지만, 이를 통해 보이는 귀하의 눈이 약간 중심을 벗어남"일 수 있다. 유사하게, 이러한 주석은, 안경테에 대비한 사용자의 특징의 위치에 관한 맥락과 함께, 안경테 적합성 평가를 제공한다.

일 실시형태에서, 그리고 도 2의 방법(200)을 다시 참조하면, 주석 표시된 결정 트리(1046)는, 맥락화된 평가를 적합성 메시지로서 제공할 수 있다. 그 다음, 적합성 메시지는 사용자에게 출력되어, 앞서 설명된 바와 같이, 안경테 적합성 평가를 제공할 수 있다.

일 실시형태에 따라, 본 개시물의 방법(200)은, 장비가 이들의 얼굴에 왜 적합한지 그리고 어떻게 적합한지를 사용자가 이해할 수 있게 한다. 이를 위해, 사용자는 장비(즉, 안경테)를 착용한 그들 자신의 영상을 제공할 수 있으며, 사용자 특징 및 장비 특징이 이로부터 계산될 수 있다. 그 다음, 사용자 특징 및 장비 특징은, 특정 기준의 값을 결정하기 위해 위에 전개된 특정 기준 모델에 적용될 수 있다. 특정 기준 값을 도 10b의 주석 표시된 결정 트리에 적용함으로써, 전역적 적합성 기준을 결정할 수 있으며, 주석 표시된 결정 트리의 경로는, 적합성 메시지의 형태로 사용자에게 맥락을 제공한다.

이제 도 11을 참조하면, 도 11은 본 개시물의 예시적인 실시형태에 따른 안경테 적합성 평가 장치의 하드웨어 설명이다.

도 11에서, 안경테 적합성 평가 장치는, 전술한 프로세스를 수행하는 CPU(1185)를 포함한다. 안경테 적합성 평가 장치는, 범용 컴퓨터 또는 특정한 특수 목적 기계일 수 있다. 일 실시형태에서, 프로세서(1185)가 시각 장비 선택(그리고 특히, 위의 본 개시물을 참조하여 설명된 프로세스 중 어느 하나)을 수행하도록 프로그래밍된 경우, 안경테 적합성 평가 장치는 특정한 특수 목적 기계가 된다.

대안적으로, 또는 추가적으로, CPU(1185)는, 당업자가 인식하는 바와 같이, FPGA, ASIC, PLD를 통해 또는 별개의 논리 회로를 사용하여 구현될 수 있다. 또한, CPU(1185)는, 전술한 본 발명의 프로세스의 명령을 수행하도록 병렬로 협업하여 작업하는 다수의 프로세서로서 구현될 수 있다.

또한, 안경테 적합성 평가 장치는, 네트워크(1199)에 연결하기 위해, Intel Ethernet PRO 네트워크 인터페이스 카드와 같은, 네트워크 제어기(1188)를 포함한다. 이해될 수 있는 바와 같이, 네트워크(1199)는, 인터넷과 같은 공중망, 또는 LAN 또는 WAN 네트워크와 같은 전용망, 또는 이의 임의의 조합일 수 있으며, PSTN 또는 ISDN 서브-네트워크를 포함할 수도 있다. 또한, 네트워크(1199)는 이더넷 네트워크와 같은 유선일 수 있거나, EDGE, 3G 및 4G 무선 셀룰러 시스템을 포함하는 셀룰러 네트워크와 같은 무선일 수 있다. 무선 네트워크는, 와이파이(WiFi), 블루투스, 또는 알려져 있는 임의의 다른 무선 통신 형태일 수도 있다.

안경테 적합성 평가 장치는, 모니터와 같은 디스플레이(1190)에 연결하기 위한 그래픽 카드 또는 그래픽 어댑터와 같은, 디스플레이 제어기(1189)를 더 포함한다. 범용 I/O 인터페이스(1191)는 키보드 및/또는 마우스(1192)와 연결될 뿐만 아니라, 디스플레이(1190) 상의 또는 디스플레이(1190)와 별개의 터치 스크린 패널(1193)과 연결된다. 또한, 범용 I/O 인터페이스(1191)는 프린터 및 스캐너를 포함하는 다양한 주변장치(1194)에 연결된다. 본 개시물의 일 실시형태에서, 주변장치(1194)는, 사용자, 안경 등의 영상을 획득하도록 구성된 2D 또는 3D 카메라 또는 다른 영상 포착 장치를 포함할 수 있다.

또한, 스피커/마이크로폰(1196)과 연결하여 사운드 및/또는 음악을 제공하기 위해, 사운드 제어기(1195)가 안경테 적합성 평가 장치에 제공된다.

범용 저장 장치 제어기(1197)는, 안경테 적합성 평가 장치의 모든 구성 요소를 상호 연결하기 위해, ISA, EISA, VESA, PCI, 또는 이와 유사한 것일 수 있는 통신 버스(1198)와 저장 매체 디스크(1187)를 연결한다. 디스플레이(1190), 키보드 및/또는 마우스(1192) 뿐만 아니라, 디스플레이 제어기(1189), 저장 장치 제어기(1197), 네트워크 제어기(1188), 사운드 제어기(1195), 및 범용 I/O 인터페이스(1191)의 전반적인 특징 및 기능의 설명은, 이러한 특징이 알려져 있기 때문에 간결성을 위해 본원에서 생략된다.

본 개시물의 맥락에서 설명된 예시적인 회로 요소는 다른 요소로 대체될 수 있으며, 본원에 제공된 실시예와 상이하게 구조화될 수 있다. 또한, 본원에 설명된 특징을 수행하도록 구성된 회로는 다수의 회로 유닛(예를 들어, 칩)으로 구현될 수 있거나, 특징은 단일 칩셋 상의 회로에 조합될 수 있다.

또한, 본원에 설명된 기능 및 특징은 시스템의 다양한 분산형 구성 요소에 의해 실행될 수 있다. 예를 들어, 하나 이상의 프로세서가 이러한 시스템 기능을 실행할 수 있으며, 프로세서는 네트워크로 통신하는 다수의 구성 요소에 걸쳐서 분산된다. 분산형 구성 요소는, 다양한 휴먼 인터페이스 및 통신 장치(예를 들어, 디스플레이 모니터, 스마트폰, 태블릿, 개인 디지털 단말기(PDA))와 더불어, 처리를 공유할 수 있는 하나 이상의 클라이언트 및 서버 기계를 포함할 수 있다. 네트워크는 LAN 또는 WAN과 같은 전용망일 수 있거나, 인터넷과 같은 공중망일 수 있다. 시스템으로의 입력은 직접 사용자 입력을 통해 수신될 수 있으며, 실시간으로 또는 일괄처리 프로세스로서 원격으로 수신될 수 있다. 추가적으로, 일부 구현예는 설명된 것과 동일하지 않은 모듈 또는 하드웨어로 수행될 수 있다. 따라서, 다른 구현예는 청구될 수 있는 범위 내에 있다.

도 12는 다른 장비 데이터가 제공되는 경우, 장비 데이터의 맥락화된 평가를 제공하기 위한 방법의 흐름도이다. 장비 데이터가 누락된 제1 장비 데이터 세트가 제시된 경우, 데이터 세트는, 적어도 하나의 장비 데이터 세트를 포함하는 데이터베이스의 데이터 세트와 비교된다. 그 다음, 유사한 다른 특징을 갖는 데이터베이스의 안경테로부터의 누락 데이터의 평균값이 계산된다. 그 다음, 데이터베이스는, 누락 데이터의 계산된 평균 값과 동일하거나 가까운 누락 데이터 값을 갖고, 제1 장비 데이터 세트의 다른 값과 동일하거나 가까운 다른 값을 갖는 장비의 제안을 제공한다.

명백하게, 위의 교시를 고려하여, 다수의 변형예 및 변경예가 가능하다. 따라서, 첨부된 청구범위의 범위 내에서, 본 발명은 본원에 구체적으로 설명된 것과 달리 실시될 수 있음을 이해해야 한다.

또한, 본 개시물의 실시형태는 이하의 삽입구로 제시될 수 있다.

(1) 사용자의 얼굴 상의 안경테의 맥락 평가를 제공하기 위한 방법으로서, 상기 사용자의 얼굴의 특징을 표현하는 사용자 데이터를 수신하는 단계; 상기 안경테의 특징을 표현하는 장비 데이터를 수신하는 단계; 제1 모델에 따라, 상기 수신된 사용자 데이터 및 상기 수신된 장비 데이터에 기초하여, 상기 사용자의 얼굴과 상기 안경테 사이의 적합성을 표현하는 특정 기준 세트에 대한 값을 생성하는 단계로서, 상기 제1 모델은, 사용자 데이터 및 장비 데이터를 특정 기준의 값과 연관시키도록 트레이닝되는, 단계; 처리 회로에 의해 그리고 제2 모델에 따라, 상기 특정 기준 세트에 대한 상기 생성된 값에 기초하여, 전역적 기준의 값을 생성하는 단계로서, 상기 제2 모델은, 특정 기준의 값을 전역적 기준의 값과 연관시키도록 트레이닝되는, 단계; 상기 사용자의 얼굴에 대하여 상기 안경테를 특성화하는 메시지를 결정하는 단계로서, 상기 메시지는, 상기 전역적 기준의 상기 생성된 값 및 상기 특정 기준 세트에 대한 상기 생성된 값과 연관되는, 단계; 및 상기 사용자에게 상기 메시지를 출력하는 단계를 포함하는, 사용자의 얼굴 상의 안경테의 맥락 평가를 제공하기 위한 방법.

(2) (1)에 있어서, 상기 출력하는 단계는, 자연어 생성기를 상기 결정된 메시지에 적용함으로써, 상기 사용자에게 상기 메시지를 출력하는, 방법.

(3) (1) 또는 (2)에 있어서, 상기 수신된 사용자 데이터는, 상기 사용자의 얼굴의 영상에 기초하는, 방법.

(4) (1) 내지 (3) 중 어느 하나에 있어서, 상기 수신된 장비 데이터는, 상기 안경테의 영상에 기초하는, 방법.

(5) (1) 내지 (4) 중 어느 하나에 있어서, 상기 제1 모델은, 사용자 데이터, 장비 데이터, 및 안경테를 착용한 사용자의 얼굴의 영상을 포함하는 데이터베이스에 제1 기계 학습을 적용함으로써 생성되며, 상기 데이터베이스의 상기 사용자 데이터 및 상기 장비 데이터는, 상기 데이터베이스의 안경테를 착용한 사용자의 얼굴의 영상의 각각의 영상과 연관되고, 상기 제1 기계 학습은, 상기 데이터베이스의 상기 사용자 데이터 및 상기 장비 데이터를 특정 기준의 참조 값 및 전역적 기준의 참조 값과 연관시키도록 트레이닝되는, 방법.

(6) (1) 내지 (5) 중 어느 하나에 있어서, 상기 특정 기준의 참조 값 및 상기 전역적 기준의 참조 값은, 상기 데이터베이스의 안경테를 착용한 얼굴의 영상에 대한 인간 평가에 의해 결정되는, 방법.

(7) (1) 내지 (6) 중 어느 하나에 있어서, 상기 인간 평가는 눈 관리 전문가에 의해 수행되는, 방법.

(8) (1) 내지 (7) 중 어느 하나에 있어서, 상기 제1 기계 학습은 선형 판별 분석인, 방법.

(9) (1) 내지 (8) 중 어느 하나에 있어서, 상기 제2 모델은, 특정 기준의 참조 값 및 전역적 기준의 참조 값에 제2 기계 학습을 적용함으로써 생성되며, 상기 제2 기계 학습은, 상기 특정 기준의 참조 값을 상기 전역적 기준의 참조 값과 연관시키도록 트레이닝되는, 방법.

(10) (1) 내지 (9) 중 어느 하나에 있어서, 상기 제2 모델은 결정 트리인, 방법.

(11) 사용자의 얼굴 상의 안경테의 맥락 평가를 제공하기 위한 장치로서, 처리 회로를 포함하며, 상기 처리 회로는, 상기 사용자의 얼굴의 특징을 표현하는 사용자 데이터를 수신하고, 상기 안경테의 특징을 표현하는 장비 데이터를 수신하며, 사용자 데이터 및 장비 데이터를 특정 기준의 값과 연관시키도록 트레이닝된 제1 모델에 따라, 상기 수신된 사용자 데이터 및 상기 수신된 장비 데이터에 기초하여, 상기 사용자의 얼굴과 상기 안경테 사이의 적합성을 표현하는 특정 기준 세트에 대한 값을 결정하고, 특정 기준의 값을 전역적 기준의 값과 연관시키도록 트레이닝된 제2 모델에 따라, 상기 특정 기준 세트에 대한 상기 생성된 값에 기초하여 전역적 기준의 값을 생성하며, 상기 사용자의 얼굴에 대하여 상기 안경테를 특성화하고, 상기 전역적 기준의 상기 생성된 값 및 상기 특정 기준 세트에 대한 상기 생성된 값과 연관되는, 메시지를 결정하며, 상기 사용자에게 상기 메시지를 출력하도록 구성되는, 사용자의 얼굴 상의 안경테의 맥락 평가를 제공하기 위한 장치.

(12) (11)에 있어서, 상기 제1 모델은, 사용자 데이터, 장비 데이터, 및 안경테를 착용한 사용자의 얼굴의 영상을 포함하는 데이터베이스에 제1 기계 학습을 적용함으로써 생성되며, 상기 데이터베이스의 상기 사용자 데이터 및 상기 장비 데이터는, 상기 데이터베이스의 안경테를 착용한 사용자의 얼굴의 영상의 각각의 영상과 연관되고, 상기 제1 기계 학습은, 상기 데이터베이스의 상기 사용자 데이터 및 상기 장비 데이터를 특정 기준의 참조 값 및 전역적 기준의 참조 값과 연관시키도록 트레이닝되는, 장치.

(13) (11) 또는 (12)에 있어서, 상기 특정 기준의 참조 값 및 상기 전역적 기준의 참조 값은, 상기 데이터베이스의 안경테를 착용한 얼굴의 영상에 대한 인간 평가에 의해 결정되며, 상기 인간 평가는 눈 관리 전문가에 의해 수행되는, 장치.

(14) (11) 내지 (13) 중 어느 하나에 있어서, 상기 제2 모델은, 특정 기준의 참조 값 및 전역적 기준의 참조 값에 제2 기계 학습을 적용함으로써 생성되며, 상기 제2 기계 학습은, 상기 특정 기준의 참조 값을 상기 전역적 기준의 참조 값과 연관시키도록 트레이닝되는, 장치.

(15) 컴퓨터 판독 가능 명령을 저장하는 비-일시적 컴퓨터 판독 가능 저장 매체로서, 상기 컴퓨터 판독 가능 명령은, 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금, 사용자의 얼굴 상의 안경테의 맥락 평가를 제공하기 위한 방법을 수행하도록 하며, 상기 방법은, 상기 사용자의 얼굴의 특징을 표현하는 사용자 데이터를 수신하는 단계; 상기 안경테의 특징을 표현하는 장비 데이터를 수신하는 단계; 제1 모델에 따라, 상기 수신된 사용자 데이터 및 상기 수신된 장비 데이터에 기초하여, 상기 사용자의 얼굴과 상기 안경테 사이의 적합성을 표현하는 특정 기준 세트에 대한 값을 생성하는 단계로서, 상기 제1 모델은, 사용자 데이터 및 장비 데이터를 특정 기준의 값과 연관시키도록 트레이닝되는, 단계; 제2 모델에 따라, 상기 특정 기준 세트에 대한 상기 생성된 값에 기초하여 전역적 기준의 값을 생성하는 단계로서, 상기 제2 모델은, 특정 기준의 값을 전역적 기준의 값과 연관시키도록 트레이닝되는, 단계; 상기 사용자의 얼굴에 대하여 상기 안경테를 특성화하는 메시지를 결정하는 단계로서, 상기 메시지는, 상기 전역적 기준의 상기 생성된 값 및 상기 특정 기준 세트에 대한 상기 생성된 값과 연관되는, 단계; 및 상기 사용자에게 상기 메시지를 출력하는 단계를 포함하는, 컴퓨터 판독 가능 명령을 저장하는 비-일시적 컴퓨터 판독 가능 저장 매체.

따라서, 전술한 설명은 본 발명의 단지 예시적인 실시형태를 개시하고 설명한다. 당업자에 의해 이해되는 바와 같이, 본 발명은 이의 사상 또는 필수적인 특징으로부터 벗어남이 없이 다른 특정 형태로 구현될 수 있다. 따라서, 본 발명의 개시물은, 다른 청구항 뿐만 아니라, 본 발명의 범위를 제한하지 않으면서 예시적인 것으로 의도된다. 본원의 교시의 임의의 용이하게 구별 가능한 변형예를 포함하는 본 개시물은, 진보적인 청구 대상이 대중에게 공공용으로 제공되지 않도록, 전술한 청구항 용어의 범위를 부분적으로 한정한다.

Claims

사용자의 얼굴 상의 안경테의 맥락 평가를 제공하기 위한 방법으로서,
상기 사용자의 얼굴의 특징을 표현하는 사용자 데이터를 수신하는 단계;
상기 안경테의 특징을 표현하는 장비 데이터를 수신하는 단계;
제1 모델에 따라, 상기 수신된 사용자 데이터 및 상기 수신된 장비 데이터에 기초하여, 상기 사용자의 얼굴과 상기 안경테 사이의 적합성을 표현하는 특정 기준 세트에 대한 값을 생성하는 단계로서, 상기 제1 모델은, 사용자 데이터 및 장비 데이터를 특정 기준의 값과 연관시키도록 트레이닝되는, 단계;
처리 회로에 의해 그리고 제2 모델에 따라, 상기 특정 기준 세트에 대한 상기 생성된 값에 기초하여, 전역적 기준의 값을 생성하는 단계로서, 상기 제2 모델은, 특정 기준의 값을 전역적 기준의 값과 연관시키도록 트레이닝되는, 단계;
상기 사용자의 얼굴에 대하여 상기 안경테를 특성화하는 메시지를 결정하는 단계로서, 상기 메시지는, 상기 전역적 기준의 상기 생성된 값 및 상기 특정 기준 세트에 대한 상기 생성된 값과 연관되는, 단계; 및
상기 사용자에게 상기 메시지를 출력하는 단계를 포함하는,
사용자의 얼굴 상의 안경테의 맥락 평가를 제공하기 위한 방법.
제1항에 있어서,
상기 출력하는 단계는, 자연어 생성기를 상기 결정된 메시지에 적용함으로써, 상기 사용자에게 상기 메시지를 출력하는, 방법.
제1항에 있어서,
상기 수신된 사용자 데이터는, 상기 사용자의 얼굴의 영상에 기초하는, 방법.
제1항에 있어서,
상기 수신된 장비 데이터는, 상기 안경테의 영상에 기초하는, 방법.
제1항에 있어서,
상기 제1 모델은, 사용자 데이터, 장비 데이터, 및 안경테를 착용한 사용자의 얼굴의 영상을 포함하는 데이터베이스에 제1 기계 학습을 적용함으로써 생성되며,
상기 데이터베이스의 상기 사용자 데이터 및 상기 장비 데이터는, 상기 데이터베이스의 안경테를 착용한 사용자의 얼굴의 영상의 각각의 영상과 연관되고,
상기 제1 기계 학습은, 상기 데이터베이스의 상기 사용자 데이터 및 상기 장비 데이터를 특정 기준의 참조 값 및 전역적 기준의 참조 값과 연관시키도록 트레이닝되는, 방법.
제5항에 있어서,
상기 특정 기준의 참조 값 및 상기 전역적 기준의 참조 값은, 상기 데이터베이스의 안경테를 착용한 얼굴의 영상에 대한 인간 평가에 의해 결정되는, 방법.
제6항에 있어서,
상기 인간 평가는 눈 관리 전문가에 의해 수행되는, 방법.
제5항에 있어서,
상기 제1 기계 학습은 선형 판별 분석인, 방법.
제1항에 있어서,
상기 제2 모델은, 특정 기준의 참조 값 및 전역적 기준의 참조 값에 제2 기계 학습을 적용함으로써 생성되며,
상기 제2 기계 학습은, 상기 특정 기준의 참조 값을 상기 전역적 기준의 참조 값과 연관시키도록 트레이닝되는, 방법.
제6항에 있어서,
상기 제2 모델은 결정 트리인, 방법.
사용자의 얼굴 상의 안경테의 맥락 평가를 제공하기 위한 장치로서,
처리 회로를 포함하며,
상기 처리 회로는,
상기 사용자의 얼굴의 특징을 표현하는 사용자 데이터를 수신하고,
상기 안경테의 특징을 표현하는 장비 데이터를 수신하며,
사용자 데이터 및 장비 데이터를 특정 기준의 값과 연관시키도록 트레이닝된 제1 모델에 따라, 상기 수신된 사용자 데이터 및 상기 수신된 장비 데이터에 기초하여, 상기 사용자의 얼굴과 상기 안경테 사이의 적합성을 표현하는 특정 기준 세트에 대한 값을 결정하고,
특정 기준의 값을 전역적 기준의 값과 연관시키도록 트레이닝된 제2 모델에 따라, 상기 특정 기준 세트에 대한 상기 생성된 값에 기초하여 전역적 기준의 값을 생성하며,
상기 사용자의 얼굴에 대하여 상기 안경테를 특성화하고, 상기 전역적 기준의 상기 생성된 값 및 상기 특정 기준 세트에 대한 상기 생성된 값과 연관되는, 메시지를 결정하며,
상기 사용자에게 상기 메시지를 출력하도록 구성되는,
사용자의 얼굴 상의 안경테의 맥락 평가를 제공하기 위한 장치.
제11항에 있어서,
상기 제1 모델은, 사용자 데이터, 장비 데이터, 및 안경테를 착용한 사용자의 얼굴의 영상을 포함하는 데이터베이스에 제1 기계 학습을 적용함으로써 생성되며,
상기 데이터베이스의 상기 사용자 데이터 및 상기 장비 데이터는, 상기 데이터베이스의 안경테를 착용한 사용자의 얼굴의 영상의 각각의 영상과 연관되고,
상기 제1 기계 학습은, 상기 데이터베이스의 상기 사용자 데이터 및 상기 장비 데이터를 특정 기준의 참조 값 및 전역적 기준의 참조 값과 연관시키도록 트레이닝되는, 장치.
제12항에 있어서,
상기 특정 기준의 참조 값 및 상기 전역적 기준의 참조 값은, 상기 데이터베이스의 안경테를 착용한 얼굴의 영상에 대한 인간 평가에 의해 결정되며,
상기 인간 평가는 눈 관리 전문가에 의해 수행되는, 장치.
제11항에 있어서,
상기 제2 모델은, 특정 기준의 참조 값 및 전역적 기준의 참조 값에 제2 기계 학습을 적용함으로써 생성되며,
상기 제2 기계 학습은, 상기 특정 기준의 참조 값을 상기 전역적 기준의 참조 값과 연관시키도록 트레이닝되는, 장치.
컴퓨터 판독 가능 명령을 저장하는 비-일시적 컴퓨터 판독 가능 저장 매체로서,
상기 컴퓨터 판독 가능 명령은, 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금, 사용자의 얼굴 상의 안경테의 맥락 평가를 제공하기 위한 방법을 수행하도록 하며,
상기 방법은,
상기 사용자의 얼굴의 특징을 표현하는 사용자 데이터를 수신하는 단계;
상기 안경테의 특징을 표현하는 장비 데이터를 수신하는 단계;
제1 모델에 따라, 상기 수신된 사용자 데이터 및 상기 수신된 장비 데이터에 기초하여, 상기 사용자의 얼굴과 상기 안경테 사이의 적합성을 표현하는 특정 기준 세트에 대한 값을 생성하는 단계로서, 상기 제1 모델은, 사용자 데이터 및 장비 데이터를 특정 기준의 값과 연관시키도록 트레이닝되는, 단계;
제2 모델에 따라, 상기 특정 기준 세트에 대한 상기 생성된 값에 기초하여 전역적 기준의 값을 생성하는 단계로서, 상기 제2 모델은, 특정 기준의 값을 전역적 기준의 값과 연관시키도록 트레이닝되는, 단계;
상기 사용자의 얼굴에 대하여 상기 안경테를 특성화하는 메시지를 결정하는 단계로서, 상기 메시지는, 상기 전역적 기준의 상기 생성된 값 및 상기 특정 기준 세트에 대한 상기 생성된 값과 연관되는, 단계; 및
상기 사용자에게 상기 메시지를 출력하는 단계를 포함하는,
컴퓨터 판독 가능 명령을 저장하는 비-일시적 컴퓨터 판독 가능 저장 매체.