KR102642920B1

KR102642920B1 - 귀형상을 이용한 이어팁 최적화 서비스 제공 시스템

Info

Publication number: KR102642920B1
Application number: KR1020230094814A
Authority: KR
Inventors: 이상원
Original assignee: 주식회사 아즈라
Priority date: 2023-07-20
Filing date: 2023-07-20
Publication date: 2024-03-04

Abstract

귀형상을 이용한 이어팁 최적화 서비스 제공 시스템이 제공되며, 귀형상을 촬영한 후 업로드하고, 귀형상에 대응하는 이어팁을 추천받는 사용자 단말 및 사용자 단말로부터 귀형상을 촬영한 사진을 수신하는 수신부, 사진 내 귀에 대응하는 객체를 탐지, 식별 및 검출하는 검출부, 검출된 객체를 3D 데이터로 복원하는 복원부, 3D 데이터로 복원된 귀 내부의 사이즈 및 형상에 대응하는 이어팁(EarTip)을 추출하는 추출부, 추출된 이어팁을 사용자 단말로 추천하는 추천부를 포함하는 최적화 서비스 제공 서버를 포함한다.

Description

귀형상을 이용한 이어팁 최적화 서비스 제공 시스템{SYSTEM FOR PROVIDING EARTIP OPTIMIZATION SERVICE USING EAR SHAPE AND SIZE}

본 발명은 귀형상을 이용한 이어팁 최적화 서비스 제공 시스템에 관한 것으로, 귀형상을 촬영한 사진을 기반으로 귀형상 데이터와 이어팁 데이터 간 비교를 통하여 사용자의 귀에 맞는 이어팁을 제공할 수 있는 시스템을 제공한다.

이어폰은 귀에 음향적으로 가까이 결합하여 사용되며 전기 신호에서 음향 신호를 얻는 전기 음향 변환기를 의미하며, 헤드폰형, 후크형, 커널형, 오픈형 등이 있고 이어폰 디바이스의 구동 방식에 따라 터치형과 버튼형으로 유형을 구분하기도 한다. 먼저, 헤드폰형은 머리에 걸쳐서 착용하는 방식이고 후크형은 귓바퀴에 걸어서 착용하는 방식이다. 후크형에 해당하는 제품군은 귓바퀴에 걸면서 디바이스 본체가 귀를 덮는 경우와 귓바퀴에 걸면서 디바이스를 귀 안에 착용하는 경우로 나눌 수 있다. 커널형은 무선 이어폰을 외이도 안에 삽입하여 착용하는 방식이고 오픈형은 무선 이어폰을 귓구멍쪽 즉 귀의 이갑개에 착용하는 방식이다. 이어폰의 이어팁(Tip)이 위치하는 장소를 비교해보면 커널형이 오픈형보다 깊숙이 착용된다.

이때, 귀형태에 맞춤형으로 이어폰을 제작하기 위한 방법이 연구 및 개발되었는데, 이와 관련하여 선행기술인 한국공개특허 제2021-0070624호(2021년06월15일 공개) 및 한국공개특허 제2018-0085152호(2018년07월26일 공개)에는, 귀형태를 측정하기 위한 측정샘플을 이용하여 귀형태의 이미지정보를 수집하고, 귀형태에 대응하는 설계를 진행하도록 하는 구성과, 귀형태를 본떠 채득한 귓본을 통하여 외이도 형상에 대응하는 이어폰을 제작하도록 하는 구성이 각각 개시되어 있다.

다만, 전자 및 후자의 경우 모두 각 개인의 귓본을 주조 및 몰딩으로 캐스팅하여 제작한 일대일 맞춤형일 뿐 대중적인 이어폰을 제작하기 위한 구성이 아니다. 다양한 형태로 개발된 이어폰은 사용자의 귀형상과 맞지 않아 통증과 불편함을 유발하기도 한다. 이어폰을 개발하는 대부분의 글로벌 기업들은 한국인의 귀형상에 맞춘 이어팁을 개발한 것이 아니기 때문에 너무 큰 경우에는 통증이 발생하기도 하고 또 너무 작은 경우에는 이어폰이 고정되지 않고 쉽게 탈착되는 현상이 발생하기도 한다. 또, 신제품 개발을 위해서는 귓본(Ear Impression)의 수집이 필요한데 한국인의 귓본의 데이터의 종류와 양이 많지 않아 신제품 개발에 난항을 겪기도 한다. 이에, 각 사용자로부터 귀형상을 촬영한 사진을 수집하고, 귀형상을 딥러닝 및 3D로 분석하여 적합한 이어팁을 추천하는 방법의 연구 및 개발이 요구된다.

본 발명의 일 실시예는, 사용자 단말로부터 귀형상을 촬영한 사진을 업로드받으면, 귀형상 내 귀에 대응하는 객체를 탐지, 식별 및 추출하고, 추출된 객체를 3D 데이터로 복원하며, 3D 데이터로 복원된 귀 내부의 사이즈 및 형상에 대응하는 이어팁을 추출 및 추천함으로써, 사용자의 귀의 사이즈 및 형상에 맞지 않는 이어팁의 주문으로 발생하는 반품률을 줄이고, 귀형상을 포함한 사진 및 3D 데이터를 수집함으로써 빅데이터를 구축함과 동시에 귓본을 수집할 수 있어 신제품 개발에 한국인 귓본 데이터로 이용할 수 있으며, 피드백을 수집하여 귀형상 데이터, 이어팁 데이터 및 피드백 데이터를 데이터셋으로 저장하고, 귀형상 데이터가 입력되면 피드백이 높은순으로 이어팁 데이터를 출력하도록 인공지능 알고리즘을 모델링하며, 모델링된 인공지능 알고리즘으로 귀형상 데이터가 입력되는 경우 평점 및 리뷰가 좋을 것으로 예측되는 순으로 이어팁을 추천해줌으로써 고객만족도를 높일 수 있는, 귀형상을 이용한 이어팁 최적화 서비스 제공 시스템을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 귀형상을 촬영한 후 업로드하고, 귀형상에 대응하는 이어팁을 추천받는 사용자 단말 및 사용자 단말로부터 귀형상을 촬영한 사진을 수신하는 수신부, 사진 내 귀에 대응하는 객체를 탐지, 식별 및 검출하는 검출부, 검출된 객체를 3D 데이터로 복원하는 복원부, 3D 데이터로 복원된 귀 내부의 사이즈 및 형상에 대응하는 이어팁(EarTip)을 추출하는 추출부, 추출된 이어팁을 사용자 단말로 추천하는 추천부를 포함하는 최적화 서비스 제공 서버를 포함한다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자 단말로부터 귀형상을 촬영한 사진을 업로드받으면, 귀형상 내 귀에 대응하는 객체를 탐지, 식별 및 추출하고, 추출된 객체를 3D 데이터로 복원하며, 3D 데이터로 복원된 귀 내부의 사이즈 및 형상에 대응하는 이어팁을 추출 및 추천함으로써, 사용자의 귀의 사이즈 및 형상에 맞지 않는 이어팁의 주문으로 발생하는 반품률을 줄이고, 귀형상을 포함한 사진 및 3D 데이터를 수집함으로써 빅데이터를 구축함과 동시에 귓본을 수집할 수 있어 신제품 개발에 한국인 귓본 데이터로 이용할 수 있으며, 피드백을 수집하여 귀형상 데이터, 이어팁 데이터 및 피드백 데이터를 데이터셋으로 저장하고, 귀형상 데이터가 입력되면 피드백이 높은순으로 이어팁 데이터를 출력하도록 인공지능 알고리즘을 모델링하며, 모델링된 인공지능 알고리즘으로 귀형상 데이터가 입력되는 경우 평점 및 리뷰가 좋을 것으로 예측되는 순으로 이어팁을 추천해줌으로써 고객만족도를 높일 수 있다.

도 1은 본 발명의 일 실시예에 따른 귀형상을 이용한 이어팁 최적화 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 최적화 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 귀형상을 이용한 이어팁 최적화 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 귀형상을 이용한 이어팁 최적화 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체 지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.

본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 귀형상을 이용한 이어팁 최적화 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 귀형상을 이용한 이어팁 최적화 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), 최적화 서비스 제공 서버(300), 적어도 하나의 매장 단말(400)을 포함할 수 있다. 다만, 이러한 도 1의 귀형상을 이용한 이어팁 최적화 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.

이때, 도 1의 각 구성요소들은 일반적으로 네트워크(Network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 최적화 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 최적화 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 적어도 하나의 매장 단말(400)과 연결될 수 있다. 또한, 적어도 하나의 매장 단말(400)은, 네트워크(200)를 통하여 최적화 서비스 제공 서버(300)와 연결될 수 있다.

여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.

적어도 하나의 사용자 단말(100)은, 귀형상을 이용한 이어팁 최적화 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 귀형상을 촬영하여 업로드하고, 이어팁을 추천받는 사용자(User)의 단말일 수 있다.

여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

최적화 서비스 제공 서버(300)는, 귀형상을 이용한 이어팁 최적화 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 최적화 서비스 제공 서버(300)는, 적어도 하나의 이어팁의 형상 및 사이즈를 포함한 이어팁 데이터를 데이터베이스화하는 서버일 수 있다. 또한, 최적화 서비스 제공 서버(300)는, 사용자 단말(100)로부터 귀형상을 촬영하여 업로드하면, 귀를 촬영한 사진 내 귀에 대응하는 객체를 탐지, 식별 및 추출한 후, 3D 데이터로 복원하는 서버일 수 있다. 그리고, 최적화 서비스 제공 서버(300)는 3D 데이터에서 AR 룰러(Ruler)를 이용하여 귀 내부의 적어도 하나의 특징점(Feature Point)을 검출하고, 특징점 내 기 설정된 영역의 사이즈 및 형상을 추출하는 서버일 수 있다. 또한, 최적화 서비스 제공 서버(300)는, 사용자 단말(100)의 귀형상 데이터와 이어팁 데이터 간을 비교함으로써 최적의 이어팁을 추출 및 추천하는 서버일 수 있다.

여기서, 최적화 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.

적어도 하나의 매장 단말(400)은, 귀형상을 이용한 이어팁 최적화 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하는 매장의 단말일 수 있다. 매장 단말(400)은, 재고정보를 최적화 서비스 제공 서버(300)로 업로드하는 단말일 수 있다.

여기서, 적어도 하나의 매장 단말(400)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 매장 단말(400)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 매장 단말(400)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

도 2는 도 1의 시스템에 포함된 최적화 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3 및 도 4는 본 발명의 일 실시예에 따른 귀형상을 이용한 이어팁 최적화 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.

도 2를 참조하면, 최적화 서비스 제공 서버(300)는, 수신부(310), 검출부(320), 복원부(330), 추출부(340), 추천부(350), 센서부(360), 측정부(370), 데이터베이스화부(380), 구축부(390), 피드백저장부(391), 모델링부(393), 감성분석부(395), 신제품개발부(397), 구매연결부(399)를 포함할 수 있다.

본 발명의 일 실시예에 따른 최적화 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100) 및 적어도 하나의 매장 단말(400)로 귀형상을 이용한 이어팁 최적화 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100) 및 적어도 하나의 매장 단말(400)은, 귀형상을 이용한 이어팁 최적화 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100) 및 적어도 하나의 매장 단말(400)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.

도 2를 참조하면, 도 2를 참조하면, 도 2를 설명하기 이전에, 2D 데이터를 3D 데이터로 변환하는 기본개념에 대해 설명한다. 이하에서 설명된 내용은 도 2를 설명하면서 중복하지 않는다.

<포인트 클라우드>

포인트 클라우드란 어떤 좌표계에 속한 점들의 집합이다. 3D 좌표계에서 점은 일반적으로(X, Y, Z)로 정의되며 Depth 이미지에 포인트 클라우드를 적용하여 2D 좌표계를 3D 좌표계로 변환할 수 있다. 먼저, 2D 좌표계인 Depth 이미지를 3D 좌표계로 변환하기 위해서 Depth 이미지를 촬영한 카메라의 내부 파라미터 정보 중 초점거리와 2D Depth 이미지의 좌표, 그리고 Depth Value를 이용한다. 여기서 초점거리는 카메라렌즈에서 이미지 센서까지의 거리이다. 예를 들어, 카메라가 구를 촬영할 때, 구에서 반사되는 빛은 렌즈를 통과한다. 여기서 렌즈를 통과한 빛은 이미지 센서에 상이 맺히게 되고 구에 대한 2D Depth 이미지를 얻게 된다. 2D Depth 이미지를 이용하여 2D 좌표계에서 3D 좌표계로 변환해야 한다. 여기서 Similar TriAngles Rule을 사용하여 간단하게 변환할 수 있다. f는 초점거리이고, u는 Depth 이미지에서 물체가 위치하는 좌표이고, 좌표의 원점은 이미지의 좌상단이 아닌 이미지의 중점이며, z는 2D Depth 이미지에서 2D 좌표에 해당하는 Depth Value이고, x는 3D 좌표계로 변환하였을 때 물체의 X축 좌표라고 가정하면, 이를 이하 수학식 1에 대입하여 2D 이미지의 중점에서 해당 픽셀까지의 x축 방향의 거리(u)를 초점거리(f)로 나눈 값은, 3D 좌표계에서 x좌표를 Depth Value 나눈 값과 같기 때문에 x 좌표를 추정할 수 있다. 그래서 2D Depth 이미지의 u를 X축에 대한 3D 좌표로 변환할 수 있고, 위와 같은 방법을 Y축에 대해서도 반복하면 2D 좌표계를 3D 좌표계로 변환할 수 있다.

<좌표변환>

좌표변환이란 좌표계 상에서 한 점의 위치를 다른 위치로 변환하는 것이다. 컴퓨터 비전에서는 회전변환, 확대변환, 이동변환을 이용하여 여러 이미지 사이의 매칭 관계를 모델링할 수 있다.

<3D 좌표변환>

3D 좌표변환은 3D 공간상 좌표축의 변환이다. 3D 좌표변환은 3D 월드좌표계를 카메라 좌표계로 변경하거나 카메라 좌표계를 3D 월드 좌표계로 변환하여 활용할 수 있고, 이 과정에서 항상 좌표축을 회전변환을 통해 회전시킨 후 이동변환을 하여 카메라 좌표계의 점(X1,Y1,Z1)을 월드 좌표계의 점(X,Y,Z)을 구하는 것이 목적이다. 3D 월드좌표계는 X축과 Y축의 평면이 지면을 나타내고 평면과 수직 방향으로 Z축이 정의되어 있다. 카메라 좌표계는 카메라의 광학축 방향으로 Zc축, 광학축에서 오른쪽 수직 방향으로 Xc축, Xc축과 Zc축의 수직 방향으로 Yc축으로 정의되어 있다.

회전변환은 X축, Y축, Z축을 중심으로 3D 공간상의 점(X,Y,Z)을 θ만큼 회전행렬을 이용하여 각 축의 방향을 기준으로 반시계 방향으로 회전한다. 각 축을 회전시키는 회전행렬은 수학식 2, 수학식 3 및 수학식 4와 같다. 수학식 2는 X축을 기준으로 회전시키는 행렬이고, 수학식 3은 Y축을 기준으로 회전시키는 행렬, 수학식 4는 Z축을 기준으로 회전시키는 행렬이다. 수학식 2 내지 수학식 4의 회전행렬을 조합하여 수학식 5와 같은 임의의 3D 회전을 표현할 수 있다.

이동변환은 카메라 좌표계 상의 점(XC,YC,ZC)을 월드 좌표계 상의 점(X,Y,Z)으로 변환하기 위해 회전변환 후, 이 카메라 좌표계를 월드 좌표계의 방향으로 수학식 6을 이용하여 이동변환한다.

상술한 기본개념을 기반으로 도 2를 참조하면, 수신부(310)는, 사용자 단말(100)로부터 귀형상을 촬영한 사진을 수신할 수 있다. 사용자 단말(100)은, 귀형상을 촬영한 후 업로드할 수 있다.

검출부(320)는, 사진 내 귀에 대응하는 객체를 탐지, 식별 및 검출할 수 있다. 이때, 객체 인식(Object Detection)은 하나의 특정 이미지를 입력했을 때, 주어진 이미지를 분석하여 특정한 객체(Object)의 위치(Location)와 종류(Class)를 파악하는 것이다. 객체 검출 알고리즘은 우선 영상에서 객체의 위치(Localization)를 찾아야하고, 그 위치의 객체가 어떤 물체인지를 분류(Classification)해야 된다. 이를 수행하기 위하여 다양한 방법들이 시도되어왔는데, 최근 단일단계(1-Stage) 검출 방법과 두단계(2-Stage) 검출 방법으로 좁혀지고 있다. 단일단계 검출 방법은 모든 영역에 대해서 위치 검출과 분류를 동시에 수행한다. 두단계 검출 방법은 대략적인 위치 검출을 수행하고, 선출된 후보군들에서 분류를 수행한다. 단일단계 검출은 모든 영역에서 객체의 위치 검출과 분류를 동시에 수행하다보니, 속도는 빠르지만 정확도는 두단계 검출 방법보다 조금 떨어지는 단점이 존재한다. 반대로 두단계 검출기는 객체 위치 검출과 분류가 순차적으로 이루어지므로, 정확도는 상대적으로 뛰어나지만 속도가 느리다는 단점을 가지고 있다. 이때, 본 발명의 일 실시예에서는 단일단계 검출 방법이 빠르기는 하지만 정확도가 낮다는 점에 기반하여 두단계 검출 방법을 이용하도록 한다. 물론, 단일단계 검출 방법을 배제하는 것은 아니다.

<포즈 변화에 강건한 귀 인식모델>

실제 환경에서 포즈 변화에 성능 저하를 방지하고자 귀의 정면 영상을 획득하기 위해서는 사용자에게 특정 행위를 요구해야하는데, 이로 인해 사용자는 부담을 느낄 수 있다. 이에, 포즈 변화에 강건하도록 정면으로부터 포즈 변화, 조명 변화 및 일부 가림 등이 존재하는 다양한 환경의 귀 사진 및 영상에 대한 데이터베이스를 구축할 수 있다. 또, 귀의 형상과 같은 고유한 특성을 고려하기 위하여 전처리로 입력영상에 제로패딩(Zero Padding)을 수행하고, 인식 성능 향상을 위해 VGG-16과 ResNet50 모델 기반 특징 추출 및 스코어 레벨 기반 앙상블 기법을 이용할 수 있다.

<전처리>

대부분 영상의 회전, 밝기나 강도 조절, 잘라내기, 가우시안 블러나 노이즈 등을 적용하여 부족한 영상 수를 추가하기 위한 데이터 증강을 주로 수행하나, 귀의 가로 대 세로 비율, 모양 등 귀 특성을 고려한 전처리는 드물다. 이로 인해 정방형의 CNN 모델 입력층(Input Layer)에 맞춰 입력영상의 크기를 변경하면서 귀의 모양이나 구조에 기하학적 변형이 발생할 수 있으므로, 본 발명의 일 실시예에서는, 원본영상의 비율을 유지하고 CNN의 정방형 입력층 크기에 맞춰 입력영상의 크기를 변경할 때 발생가능한 기하학적 변형을 방지하고자 원본영상의 가로 및 세로 길이가 동일해지도록 제로패딩(Zero Padding)을 적용할 수 있다. CNN 모델 학습에 사용할 데이터를 충분히 확보하기 위해 영상 내의 일정한 영역을 잘라내는 증강(Augmentation) 기법이 흔히 사용되는데, 무작위로 영상을 잘라내면 머리카락, 배경 등 학습에 필요하지 않은 영역이 많은 데이터가 획득될 수도 있다. 따라서 본 발명의 일 실시예에서는 영상의 중심을 기준으로 잘라내기를 수행하여 데이터를 확보할 수 있으며, 8:2 또는 7:3으로 나누어 학습 및 검증 데이터셋으로 설정할 수 있다.

<CNN>

딥러닝 기반의 비제약적 환경에 강인한 귀 인식 모델을 구축하기 위하여 AlexNet, VGG, SqueezeNet 등 다양한 모델을 이용할 수 있다. 본 발명의 일 실시예에서는, 포즈 변화에 강인한 CNN 기반 귀 인식 연구를 위하여 ILSVRC(ImageNet Large-Scale Visual Recognition Challenge)에서 각각 우수한 성적을 거둔 VGG-16와 ResNet50을 이용할 수 있다. 입력영상을 표현하는 특징벡터를 구성하기 위하여, VGG-16에서 두 번째 전연결층(Fully-Connected Layer)를 N 차원의 특징을 추출하고, ResNet50에서는 마지막 합성층(Convolutional Layer)을 거친 후, 평균 풀링(Average Pooling) 연산을 수행한 M 차원의 특징을 추출할 수 있다. 이용가능한 학습 데이터가 적은 경우, ImageNet 등 대규모 데이터베이스로 미리 학습된 모델을 미세조정하는 것이 효과적인 학습 방법으로 널리 알려져 있다. 이에 따라 본 발명의 일 실시예에서도 ImageNet 데이터베이스로 미리 학습(Pre-Trained)된 VGG-16과 ResNet50 모델을 초기 모델로 사용하여 기 구축된 귀 데이터베이스로 재학습할 수 있다.

<앙상블>

앙상블은 여러 모델을 결합하여 각 모델이 가진 정보를 융합함으로써 성능을 향상시키는 기법이다. 앙상블은 데이터 레벨, 특징 레벨 등 다양하게 수행될 수 있으나 서로 다른 형태의 특징벡터 또는 모델 결합 시, 가장 일반적으로 이용되는 방법은 스코어 및 결정 레벨의 앙상블이다. Product Rule, Sum Rule, Min/Max Rule, Median Rule, Majority Voting 등 다양한 방식으로 앙상블을 수행할 수 있으며 일반적으로 Sum Rule 방식이 좋은 성능을 낸다고 알려져 있다. 본 발명의 일 실시예에서는 VGG-16과 ResNet50을 결합하기 위하여 스코어 레벨 앙상블을 이용할 수 있다. 이를 위해 학습 데이터셋으로 동일인 및 타인 쌍을 구성하고 각 쌍의 코사인 거리(Cosine Distance)를 계산할 수 있다. 그리고 코사인 거리의 평균 및 표준 편차 값을 계산하여 검증용 데이터에서 두 모델의 코사인 거리 분포를 정규화하기 위해 수행하는 Z-Score 정규화 기법의 파라미터로 이용할 수 있다. 정규화된 코사인 거리를 앙상블을 수행하는 스코어로 이용하여 Sum Rule 기반 최종 스코어를 계산할 수 있다.

복원부(330)는, 검출된 객체를 3D 데이터로 복원할 수 있다. 이때 후술하겠지만 사용자 단말(100)에서 촬영을 할 때 ToF를 이용하기 때문에 깊이 정보 및 거리 정보를 얻을 수 있고, 이는 3D 데이터를 생성할 때 예를 들어, LiDAR(Light Detection And Ranging)를 비롯하여 스테레오 카메라, 3D 스캐너, RGB-D 센서 등 실세계의 3차원 정보를 획득하는 다양한 센서와 기술로부터 수집된 데이터와 동일하다. 이때, ToF로 촬영된 RGBD(RGB+Depth) 이미지를 3D 포인트 클라우드로 변환하고, 귀 이외의 부분과 노이즈를 제거한 후, 귀 전체의 ARKit로 얻어진 카메라 위치값과, ICP(Iterative Closet Point) 알고리즘을 이용하여 포인트 클라우드를 정합시킨다. 하나의 포인트 클라우드를 전송하여 표면(Surface)을 복원하는 과정을 거쳐 정합된 귀를 메쉬(Mesh)로 변환할 수 있다. 이때, 사용자 단말(100)은 ToF나 Lidar 센서가 제공되는 단말로 가정하고, MetalKit을 이용하여 RGBD를 포인트 클라우드로 변환할 수 있으며, SceneKit를 이용하여 3D 데이터의 복원을 처리할 수 있다. 포인트 클라우드 처리는 Open3D 라이브러리의 기능을 이용하기 위하여 PythonKit를 임베딩하여 이용할 수 있다.

<개별 포인트 클라우드 생성>

ARKit를 이용하여 사용자 단말(100)의 전방 ToF와 Color 카메라에 접근할 수 있다. 이때, Gravity 옵션을 활성화하여 사용자 단말(100)의 월드 좌표계의 Y축이 지구 중력에 평행하도록 한다. 이후 ARFrame에서 Color 카메라와 ToF에서 얻어진 RGBD와 카메라 내부(Intrinsic) 및 외부(Extrinsic) 파라미터를 이용하여 포인트 클라우드를 얻을 수 있다.

<귀 영역 분할 추출>

ARKit를 이용하여 얻은 포인트 클라우드는 귀 이외의 머리카락, 목, 얼굴 등을 포함하고 있어서 귀에 대응하는 Vertice를 제외한 나머지를 제거해야 한다. ARKit에서 Gravity 옵션을 이용했을 때 얻어진 포인트 클라우드는 바닥면이 Y축에 수직하다. 이를 이용하여 대부분의 Vertice를 제거할 수 있다. 또, 노이즈 등을 제거하기 위하여 DBSCAN(Density-Based Spatial Clustering of Applications with Noise) 알고리즘을 이용할 수도 있다. 이 과정은 Phthon 기반 Oepn3D와 Numpy 라이브러리를 이용할 수 있다.

<포인트 클라우드 정합>

귀로부터 3차원 특징점을 이용한 글로벌 카메라 변수 추정 방법을 이용할 수 있다. 또는, ARFrame이 생성될 때 촬영시 추정된 카메라 정보를 제공하는데, 위치 및 자세 정보에 오차를 보일 수 있다. 이를 그대로 사용하는 경우 포인트 클라우드 정합에 대한 정확도가 너무 낮아질 수 있다. 이에, 카메라 위치 정보를 적용한 후 겹치는 부분의 유사성을 고려한 ICP 알고리즘을 이용하여 정합을 진행할 수 있다. 상술한 과정도 PythonKit를 이용할 수 있고 Oepn3D와 Numpy 라이브러리를 이용할 수 있다. 이렇게 정합된 포인트 클라우드는 3차원 메쉬로 변환될 수 있고, 이에 따라 3D 데이터가 생성될 수 있다.

추출부(340)는, 3D 데이터로 복원된 귀 내부의 사이즈 및 형상에 대응하는 이어팁(EarTip)을 추출할 수 있다. 3D 데이터로 변환된 귀의 기 설정된 영역의 사이즈를 재야하는데, 이를 위하여 얼굴의 특징점을 추출하는 것과 같이 귀의 특징점을 추출해야 한다. 이어팁이 들어가는 부위는 정해져있기 때문에 이 부위의 형상 및 사이즈를 재야한다. 이를 위하여 이어팁이 삽입되는 영역의 사이즈 및 형상을 추출하기 위해 특징점(Feature Point)을 추출할 수 있다. 도 4f를 참조하면, 촬영이 되는 부분은 외이(Outer Ear) 부분인데, 외이 부분은 귓바퀴(Pinna), 외이도(Ear Canal)로 이루어져있다. 여기서, 귓바퀴의 내부에서 외이도로 이어지는 부분까지가 이어팁이 삽입될 수 있는 부분이다. 이 부분을 추출하기 위하여 귓바퀴의 내부 영역 및 외이도가 시작되는 영역의 특징점을 추출한 후 사이즈 및 형상을 추출할 수 있다.

<특징점>

우선 3D 데이터에서 특징이 될 수 있는 엣지(Edge) 부분만을 검출한다. 엣지를 검출하기 위해서 캐니 에지 탐지(Canny Edeg Detection)을 이용할 수 있고 이진 영상으로 표현할 수 있다. 합성곱신경망 자기부호화기 기반의 특징 추출 모델을 이용할 수 있는데, 이는 합성곱 2층(Layer), 전연결층 1층, 은닉층(Hidden Layer) 3층으로 구성되어 있다. 입력단에는 엣지가 검출된 이진 영상을 이용할 수 있고, 각 합성곱 층에서는 스트라이드 2를 적용하며, 풀링은 하지 않는다. 은닉층의 마지막 층의 출력은 귀 영상의 특징으로 사용하며, 특징을 추출할 수 있도록 구성할 수 있다. 이후 복호화 부분은 상술한 구성을 역순으로 구성하되, 1차원 형태의 전연결층은 2차원 형태로 재구성할 수 있다. 또, 부호화 과정에 합성곱 대신 DeConvolution을 이용하여 진행할 수 있다. 학습을 할 때에는 과적합을 방지하기 위해 각 층마다 드롭아웃을 적용할 수 있고, 합성곱 신경망 구조의 활성화 함수는 Relu를, 전연결층 이후 심층신경망에서는 시그모이드(Sigmoid)를 적용할 수 있다. 이와 같이 완성된 모델의 학습에 있어서 역오차전파법 중 Adam 옵티마이저를 적용할 수 있다.

<Lidar>

라이다를 이용하는 경우 3D 모델링은 귀 이외의 얼굴, 입술, 코 등 다양한 객체의 점군집 데이터가 혼재되어 있는 상황에서 귀 객체를 분류 및 분할해야하며, 분리된 귀 객체에서 Model Key Feature를 찾는 방법과 Polygon Mesh 형태로 연결하는 방법을 이용할 수 있다. Model Key Feature는 점군집 데이터에서 특징이 있는 중요한 점, 선, 면을 말하며, 3D 모델링을 위해서는 중요 특징을 검출하고 어떤 순서와 관계로 연결해야 하는지에 대한 위상구조(Topology) 정보가 필요하다. Polygon Mesh는 다면체의 형태를 구성하는 폴리곤과 정점(Vertex)의 집합으로 3D 모델링을 수행하는 것을 말하며, 점군집 데이터에서 모든 점이 정점이고 이것들의 관계를 찾아 연결하여 폴리곤들을 만들어 3D 모델을 생성한다. Model Key Feature 방법은 점군집의 중요한 특징만을 검출하여 3D 모델링을 수행하기 때문에 생성된 결과의 데이터 크기가 작고 형태를 단순하고 명확하게 표현할 수 있지만 각 특징적 요소를 정확하게 검출하고 위상구조 관계를 찾는 것은 어렵다. 반대로, Polygon Mesh 방법은 점군집의 모든 점을 정점으로 탐색하고 폴리곤 형태로 연결하여 3D 모델링을 수행하기 때문에 TIN(Triangulated Irregular Network) 등의 Polygon Mesh 생성 알고리즘으로 비교적 쉽게 3D 모델을 생성할 수 있다. 이를 위하여 예를 들어 https://poly.cam/을 이용할 수 있는데, 최근 아이폰에 Lidar 센서가 장착된 것을 이용하여 아이폰에 있는 Lidar 센서를 이용하여 도 3b 내지 도 3j와 같이 3D로 변환하고 이하의 표 1과 같은 각 특징점 간 수치를 측정하는 방법을 이용할 수 있다. 물론, 이용가능한 애플리케이션은 상술한 것에 한정되는 것은 아니다. 또, 상술한 방법 외에도 다양한 방법으로 라이다 데이터로부터 3D 모델을 생성할 수 있음은 물론이라 할 것이다.

추천부(350)는, 추출된 이어팁을 사용자 단말(100)로 추천할 수 있다. 사용자 단말(100)은, 귀형상에 대응하는 이어팁을 추천받을 수 있다. 이때, 이어팁의 형상 및 사이즈도 데이터베이스화가 되어 있고, 이어팁을 설계할 때의 3D 데이터가 존재하므로 3D 데이터 간 비교를 통하여 가장 유사한 형태 및 사이즈의 이어팁을 제공할 수 있다. 이때, 이어폰 설계상 표기한 특징점이나 랜드마크(Landmark)와 귀형상에 대응하는 3차원 데이터의 랜드마크를 이용하여 가상착용시킨 후 압박 및 여유 공간을 분석할 수 있다. 또, 이어팁 시작점에서 외이도가 시작하는 벽면까지의 거리를 이용하여 이어팁의 높이와 너비가 사용자의 귀형상에 대응하는지의 여부를 파악할 수 있다. 이때 사용되는 각 랜드마크와 각 치수는 도 4g를 참조하면, "Wonsup Lee, Xiaopeng Yang, Hayoung Jung, Ilgeun Bok, Chulwoo Kim, Ochae Kwon & Heecheon You(2018) Anthropometric analysis of 3D ear scans of Koreans and Caucasians for ear product design, Ergonomics, 61:11, 1480-1495,"에 게재된 랜드마크와 치수를 이용할 수 있다. 이는, 이하 표 1과 같을 수 있으나 이에 한정되는 것은 아니다.

범주	측정항목	귀 측정항목
귀 전반	Length	Ear Length Otobasion Superius to Otobasion Posterius Horizontal Length Otobasion Superius to Otobasion Posterius Vertical Length Center of Concha to Otobasion Posterius Length Center of Concha to Otobasion Superius Length
	Width	Ear Breadth Ear Protrusion
	Circumference/Arc	upper Otobasion arc
	Angle	Ear Angle Pinna Flare Angle
Concha부위	Length	Cavum Concha Length Center of Concha to Anterior Cymba Concha Length Center of Concha to Superior Cymba Concha Length Superior Cavum Concha to Anterior Cymba Concha Length posterior Concha to Anterior Cymba Concha Length Center of Concha to Incisura intertragica Length
	Width	Cavum Concha Width
	Depth	Cavum Concha Depth
	Circumference/Arc	Cavum Concha Curvature
Ear Canal부위	Length	Ear Canal Length
	Width	Ear Canal Width
	Depth	Ear Canal Depth
	Angle	Ear Canal Azimuth Angle Ear Canal Elevation Angle

센서부(360)는, 사용자 단말(100)에서 귀형상을 촬영할 때 사용자 단말(100)에 내장된 적외선을 이용하여 ToF(Time of Flight)를 이용하여 사용자 단말(100)의 카메라와 귀형상 간 거리를 측정하도록 할 수 있다. 이때, ToF는 신호를 반사한 후 객체에서 반사되어 돌아오는 신호를 측정하는데, 이때 걸린 시간을 이용하여 객체의 깊이(Depth)를 추정한다. 이미지 센서에서 모든 픽셀에 대해 깊이 정보를 감지하여 신뢰있는 깊이맵(Map)을 생성할 수 있고, 이를 이용하여 깊이 카메라나 3D 스캐너가 아니더라도 2D인 사진에 깊이 정보를 취득할 수 있고 이에 따라 Lidar와 같이 3D 데이터를 취득할 수 있게 된다. 이는 상술한 바와 같으므로 상세한 설명을 하지 않는다. 또 안드로이드 기반으로 적외선을 이용한 ToF를 기준으로 설명했으나, Lidar 센서를 ToF로 차용하는 iOS를 기준으로 할 때에는 상술한 ToF 외에도 Lidar를 이용하는 방법도 가능할 수 있다.측정부(370)는, 3D 데이터로 복원한 후 AR 룰러(Ruler)를 이용하여 귀 내부의 적어도 하나의 특징점(Feature Point)을 검출하고, 특징점 내 기 설정된 영역의 사이즈 및 형상을 추출할 수 있다. 이때, 특징점은 표 1의 논문의 랜드마크 또는 각 치수와 같을 수 있으나 이에 한정되는 것은 아니다.

데이터베이스화부(380)는, 적어도 하나의 이어팁의 사이즈 및 형상을 데이터베이스화할 수 있다.

구축부(390)는, 복수의 사용자 단말(100)로부터 촬영된 귀형상이 포함된 사진, 3D 데이터 및 귀의 사이즈 및 형상을 누적하여 빅데이터로 구축할 수 있다. 이때, 사용자 단말(100)은 복수의 주체에 귀속된 복수의 사용자 단말(100)일 수 있다. 물론, 대표적인 귀 영상 데이터베이스인 USTB와 IITD 데이터베이스를 이용할 수도 있으나 한국인을 대상으로 하는 경우에는 한국인의 데이터베이스를 별도로 구축할 필요가 있다. 이에 따라, 판매되는 국가, 결제통화 등을 이용하여 어느 나라에서 구매가 되었는지를 파악한 후, 인종별, 국적별 등으로 나누어 데이터베이스를 구축할 수도 있다.

피드백저장부(391)는, 복수의 사용자 단말(100)에서 이어팁을 구매한 후 별점 및 리뷰를 기재하는 경우, 복수의 사용자 단말(100)의 복수의 귀형상 데이터, 구매 이어팁의 이어팁 데이터, 별점 및 리뷰를 매핑하여 저장할 수 있다. 이때, 인체공학적으로 맞는 이어팁으로 추출되었다고 할지라도 각 사용자의 사용형태, 사용기간, 사용시간 등에 따라 불편할 수도 있고 불편하지 않을 수도 있다. 이에 따라, 인구통계학적 데이터 외에 사용형태, 사용기간, 사용시간, 사용목적 등을 함께 수집한 후, 어떠한 사용형태에서 동일한 이어팁이라도 불편하게 느낄 수 있고 편하게 느낄 수 있는지에 대한 데이터를 분석할 수 있다. 예를 들어, A와 B가 일란성 쌍둥이어서 동일한 Z 귀형상을 가졌다고 가정하고, 동일한 귀형상에 C 이어팁을 구매했는데, A는 일하면서 듣고 B는 운동하면서 듣는 경우를 가정하자. 시간은 동일하다고 가정하고 A는 불편했다고 하고 B는 편했다고 하면, Z 귀형상에 C 이어팁은 일하면서 들을 때 좋은 이어팁일 수 있고, 이러한 상황에 구매하는 사용자에게 적합할 수 있다. 이렇게 각 귀형상, 추천 및 구매된 이어팁, 사용패턴, 평점 및 구매후기를 계속하여 누적하다보면, 어느 종류의 이어팁이 어떤 상황에 더 적합한지, 또 누구에게 더 어울리는지를 파악할 수 있는 재료가 되는 빅데이터가 쌓일 수 있다.

모델링부(393)는, 복수의 귀형상 데이터, 구매 이어팁의 이어팁 데이터, 별점 및 리뷰를 매핑하여 데이터셋을 구축하고, 적어도 하나의 인공지능 알고리즘을 이용하여 귀형상 데이터를 입력하면 별점이 높고 리뷰가 긍정적인 리뷰인 이어팁 데이터를 추출하도록 학습 및 검증할 수 있다. 이때, 적어도 하나의 인공지능 알고리즘은 다양한 알고리즘이 사용될 수 있으므로 어느 하나에 한정하지는 않는다.

감성분석부(395)는, 리뷰로부터 긍정 또는 부정의 감성분석을 위하여 적어도 하나의 언어모델을 이용할 수 있다. 이를 위한 언어모델의 경우 다중분류가 가능하도록 학습된 자연어처리 기반 한국어 감성분석 모델인 KoBERT(Korean Bidirectional Encoder Representations from Transformers)일 수 있으나 이에 한정되는 것은 아니다. 문장의 기본 임베딩 모델로 KoBERT를 이용하되, 추가적으로 전연결층(Fully-Connected Layer)을 연결하여 더 낮은 차원의 최종 임베딩 벡터를 추출할 수 있다. 이후 분류기를 추가하여 세부 감정 분류 과제를 학습을 진행할 수 있다. 손실함수의 성능을 비교하기 위한 기저 모델(Baseline Model)에서는 전연결층과 소프트맥스 함수로 구성된 분류기를 이용할 수 있고, 메트릭 러닝 기반 손실함수가 추가된 모델에서는 각 클래스의 중심 임베딩과의 거리를 기반으로 가장 가까운 클래스를 정답으로 예측하는 분류기 이용할 수 있다.

신제품개발부(397)는, 빅데이터를 신제품 개발의 원천 데이터로 이용하도록 제공할 수 있다.

구매연결부(399)는, 추천된 이어팁을 판매하는 적어도 하나의 온라인 쇼핑몰을 추출하여 사용자 단말(100)로 제공하고, 이어팁을 재고로 보유중인 오프라인 매장을 추출한 후 사용자 단말(100)의 위치를 기준으로 거리가 가까운순으로 나열하여 사용자 단말(100)로 제공할 수 있다.

이하, 상술한 도 2의 최적화 서비스 제공 서버의 구성에 따른 동작 과정을 도 3 및 도 4를 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.

도 3a를 참조하면,(a) 최적화 서비스 제공 서버(300)는 적어도 하나의 이어팁 사이즈 및 형상을 데이터베이스화하고,(b)와 같이 사용자 단말(100)로부터 귀형상을 촬영한 사진을 업로드받으면, 사진 내 객체인 귀를 탐지, 식별 및 추출하며 이로부터 3D 데이터를 복원한다. 그리고, 최적화 서비스 제공 서버(300)는(c)와 같이 귀 사이즈 및 형상을 추출한 후(d)와 같이 최적의 이어팁을 추출 및 추천해줄 수 있다. 도 3b의(a)를 참조하면 최적화 서비스 제공 서버(300)는 이어팁을 구매한 사용자 단말(100)로부터 피드백을 수집하며(b)와 같이 추천 알고리즘을 모델링할 수 있다. (c)와 같이 최적화 서비스 제공 서버(300)는 추천된 이어팁의 구매를 위한 온라인 쇼핑몰이나 오프라인 매장을 연결시켜줄 수 있고(d)와 같이 누적된 귓본에 대한 데이터를 신제품 개발에 이용할 수도 있다. 이를 정리하면 도 4a와 같다. 도 4b의 경우 귀형상 이미지로부터 3D 데이터를 복원하고 이에 대응하는 이어팁을 추천해주는 플로우인데 이에 한정되는 것은 아니다. 현재 본 발명의 출원인은 도 4c의 좌측과 같은 제품을 제조, 제작 및 판매하는데, 도 4c의 우측 및 도 4d 및 도 4e와 같은 본 발명의 일 실시예를 수행하는 경우 이어팁을 자동으로 선정해줄 수 있으므로 빠른 구매의사결정을 유도하고, 반품률도 낮출 수 있어 수익개선에 도움을 줄 수 있다. 도 4g와 도 4f는 본 발명의 일 실시예에 따른 도면이 아니고, 귀의 해부학적 구조, 특징점, 치수, 랜드마크 등을 설명하기 위해 예시적으로 첨부한 도면임을 분명히 한다.

이와 같은 도 2 내지 도 4의 귀형상을 이용한 이어팁 최적화 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 귀형상을 이용한 이어팁 최적화 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 5는 본 발명의 일 실시예에 따른 도 1의 귀형상을 이용한 이어팁 최적화 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 5를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 5에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.

도 5를 참조하면, 최적화 서비스 제공 서버는, 사용자 단말로부터 귀형상을 촬영한 사진을 수신하고(S5100), 사진 내 귀에 대응하는 객체를 탐지, 식별 및 검출한다(S5200).

또, 최적화 서비스 제공 서버는, 검출된 객체를 3D 데이터로 복원하고(S5300), 3D 데이터로 복원된 귀 내부의 사이즈 및 형상에 대응하는 이어팁(EarTip)을 추출한다(S5400).

그리고, 최적화 서비스 제공 서버는 추출된 이어팁을 사용자 단말로 추천한다(S5500).

상술한 단계들(S5100~S5500)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S5100~S5500)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.

이와 같은 도 5의 귀형상을 이용한 이어팁 최적화 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 귀형상을 이용한 이어팁 최적화 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 5를 통해 설명된 일 실시예에 따른 귀형상을 이용한 이어팁 최적화 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 일 실시예에 따른 귀형상을 이용한 이어팁 최적화 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 귀형상을 이용한 이어팁 최적화 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

귀형상을 촬영한 후 업로드하고, 상기 귀형상에 대응하는 이어팁을 추천받는 사용자 단말; 및
상기 사용자 단말로부터 귀형상을 촬영한 사진을 수신하는 수신부, 상기 사진 내 귀에 대응하는 객체를 탐지, 식별 및 검출하는 검출부, 검출된 객체를 3D 데이터로 복원하는 복원부, 상기 3D 데이터로 복원된 귀 내부의 사이즈 및 형상에 대응하는 이어팁(EarTip)을 추출하는 추출부, 추출된 이어팁을 상기 사용자 단말로 추천하는 추천부를 포함하는 최적화 서비스 제공 서버;를 포함하며,
상기 검출부는,
상기 사진 내 귀와 관련한 위치 검출을 수행하고, 선출된 후보군들에서 분류를 수행하여 상기 사진 내 귀에 대응하는 객체를 검출하고,
상기 추출부는,
귓바퀴의 내부에서 외이도로 이어지는 부분까지 이어팁이 삽입될 수 있는 부분을 추출하기 위해서 귓바퀴의 내부 영역 및 외이도가 시작되는 영역의 특징점을 추출한 후, 상기 사용자 단말의 귀형상 데이터인 귀 내부의 사이즈 및 형상을 추출하고, 상기 최적화 서비스 제공 서버에 데이터베이스화된 적어도 하나의 이어팁의 형상 및 사이즈를 포함한 이어팁 데이터와 상기 사용자 단말의 귀형상 데이터를 비교하여 상기 추출된 귀 내부의 사이즈 및 형상에 대응하는 상기 이어팁을 추출하고,
상기 추천부는,
이어폰 설계상 표기한 특징점이나 랜드마크와 귀형상에 대응하는 3차원 데이터의 랜드마크를 이용하여 가상착용시킨 후 압박 및 여유 공간을 분석하고, 이어팁 시작점에서 외이도가 시작하는 벽면까지의 거리를 이용하여 이어팁의 높이와 너비가 사용자의 귀형상에 대응하는지의 여부를 파악하는 것을 특징으로 하는 귀형상을 이용한 이어팁 최적화 서비스 제공 시스템.
제 1 항에 있어서,
상기 복원부는,
상기 검출된 객체를 3D 데이터로 복원할 때 라이다(Lidar)를 이용하는 것을 특징으로 하는 귀형상을 이용한 이어팁 최적화 서비스 제공 시스템.
제 1 항에 있어서,
상기 최적화 서비스 제공 서버는,
상기 사용자 단말에서 상기 귀형상을 촬영할 때 상기 사용자 단말에 내장된 적외선을 이용하여 ToF(Time of Flight)를 이용하여 상기 사용자 단말의 카메라와 상기 귀형상 간 거리를 측정하도록 하는 센서부;
를 더 포함하는 것을 특징으로 하는 귀형상을 이용한 이어팁 최적화 서비스 제공 시스템.
제 1 항에 있어서,
상기 최적화 서비스 제공 서버는,
상기 3D 데이터로 복원한 후 AR 룰러(Ruler)를 이용하여 상기 귀 내부의 적어도 하나의 특징점(Feature Point)을 검출하고, 상기 특징점 내 기 설정된 영역의 사이즈 및 형상을 추출하는 측정부;
를 더 포함하는 것을 특징으로 하는 귀형상을 이용한 이어팁 최적화 서비스 제공 시스템.
제 1 항에 있어서,
상기 최적화 서비스 제공 서버는,
적어도 하나의 이어팁의 사이즈 및 형상을 데이터베이스화하는 데이터베이스화부;
를 더 포함하는 것을 특징으로 하는 귀형상을 이용한 이어팁 최적화 서비스 제공 시스템.
제 1 항에 있어서,
상기 사용자 단말은 복수의 주체에 귀속된 복수의 사용자 단말이고,
상기 최적화 서비스 제공 서버는,
상기 복수의 사용자 단말로부터 촬영된 귀형상이 포함된 사진, 상기 3D 데이터 및 상기 귀의 사이즈 및 형상을 누적하여 빅데이터로 구축하는 구축부;
를 더 포함하는 것을 특징으로 하는 귀형상을 이용한 이어팁 최적화 서비스 제공 시스템.
제 6 항에 있어서,
상기 최적화 서비스 제공 서버는,
상기 복수의 사용자 단말에서 상기 이어팁을 구매한 후 별점 및 리뷰를 기재하는 경우, 상기 복수의 사용자 단말의 복수의 귀형상 데이터, 구매 이어팁의 이어팁 데이터, 별점 및 리뷰를 매핑하여 저장하는 피드백저장부;
를 더 포함하는 것을 특징으로 하는 귀형상을 이용한 이어팁 최적화 서비스 제공 시스템.
제 7 항에 있어서,
상기 최적화 서비스 제공 서버는,
복수의 귀형상 데이터, 구매 이어팁의 이어팁 데이터, 별점 및 리뷰를 매핑하여 데이터셋을 구축하고, 적어도 하나의 인공지능 알고리즘을 이용하여 귀형상 데이터를 입력하면 별점이 높고 상기 리뷰가 긍정적인 리뷰인 이어팁 데이터를 추출하도록 학습 및 검증하는 모델링부;
를 더 포함하는 것을 특징으로 하는 귀형상을 이용한 이어팁 최적화 서비스 제공 시스템.
제 7 항에 있어서,
상기 최적화 서비스 제공 서버는,
상기 리뷰로부터 긍정 또는 부정의 감성분석을 위하여 적어도 하나의 언어모델을 이용하는 감성분석부;
를 더 포함하는 것을 특징으로 하는 귀형상을 이용한 이어팁 최적화 서비스 제공 시스템.
제 6 항에 있어서,
상기 최적화 서비스 제공 서버는,
상기 빅데이터를 신제품 개발의 원천 데이터로 이용하도록 제공하는 신제품개발부;
를 더 포함하는 것을 특징으로 하는 귀형상을 이용한 이어팁 최적화 서비스 제공 시스템.
제 1 항에 있어서,
상기 최적화 서비스 제공 서버는,
추천된 상기 이어팁을 판매하는 적어도 하나의 온라인 쇼핑몰을 추출하여 상기 사용자 단말로 제공하고, 상기 이어팁을 재고로 보유중인 오프라인 매장을 추출한 후 상기 사용자 단말의 위치를 기준으로 거리가 가까운순으로 나열하여 상기 사용자 단말로 제공하는 구매연결부;
를 더 포함하는 것을 특징으로 하는 귀형상을 이용한 이어팁 최적화 서비스 제공 시스템.