KR102226811B1 - 마스크의 사용자 맞춤형 서비스 제공 방법 및 그 시스템 - Google Patents

마스크의 사용자 맞춤형 서비스 제공 방법 및 그 시스템 Download PDF

Info

Publication number
KR102226811B1
KR102226811B1 KR1020190021337A KR20190021337A KR102226811B1 KR 102226811 B1 KR102226811 B1 KR 102226811B1 KR 1020190021337 A KR1020190021337 A KR 1020190021337A KR 20190021337 A KR20190021337 A KR 20190021337A KR 102226811 B1 KR102226811 B1 KR 102226811B1
Authority
KR
South Korea
Prior art keywords
user
face
mask
photographing
providing
Prior art date
Application number
KR1020190021337A
Other languages
English (en)
Other versions
KR20200102833A (ko
Inventor
한대익
Original Assignee
주식회사 쉐마
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 쉐마 filed Critical 주식회사 쉐마
Priority to KR1020190021337A priority Critical patent/KR102226811B1/ko
Publication of KR20200102833A publication Critical patent/KR20200102833A/ko
Application granted granted Critical
Publication of KR102226811B1 publication Critical patent/KR102226811B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0621—Item configuration or customization
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

마스크의 사용자 맞춤형 서비스 제공 방법 및 그 시스템이 개시된다. 본 발명의 일 실시예에 따른 마스크의 사용자 맞춤형 서비스 제공 방법은 사용자의 정면 얼굴과 측면 얼굴을 포함하는 얼굴 영상을 촬영하기 위한 촬영 가이드를 순차적으로 제공하는 단계; 상기 촬영 가이드에 기초하여 상기 사용자의 정면 얼굴과 측면 얼굴을 포함하는 얼굴 영상을 카메라를 이용하여 순차적으로 촬영하는 단계; 상기 촬영된 얼굴 영상과 상기 카메라의 설정 파라미터에 기초하여 상기 사용자의 얼굴을 모델링하는 단계; 및 미리 설정된 마스크들 중 상기 모델링된 사용자의 얼굴에 맞는 마스크를 결정하여 상기 사용자에게 제공하는 단계를 포함한다.

Description

마스크의 사용자 맞춤형 서비스 제공 방법 및 그 시스템 {USER-CUSTOMIZED SERVICE PROVIDING METHOD OF MASK AND SYSTEM THEREFORE}
본 발명은 마스크의 사용자 맞춤형 서비스 제공 기술에 관한 것으로서, 보다 상세하게는 마스크 예를 들어, 방진 마스크 등을 구매하고자 하는 경우 사용자의 얼굴을 촬영한 후 사용자의 얼굴 모델링에 기초하여 사용자 맞춤형 마스크에 대한 정보를 제공할 수 있는 방진 마스크의 사용자 맞춤형 서비스 제공 방법 및 그 시스템에 관한 것이다.
오늘날 산업과 도시의 편익 수단이 발달하며 대기 오염은 심화되고 있다. 대기오염의 원인은 연료의 연소 등 인위적인 것과 화산 분화 등 자연적인 것으로 나뉜다. 인위적인 오염물질은 연료의 연소, 원자력을 이용한 핵에너지의 발생, 화학반응, 물리적 공정 및 자동차, 항공기 등에서 배출된다. 가장 주된 원인은 연료의 연소 시 발생하는 여러 오염물질에 의한 것이다. 이 중 일산화탄소(CO)와 이산화질소(NO2), 아황산가스(SO2) 등이 높은 비율을 차지한다. 특히 이산화황(SO2)의 경우 다른 대기오염물질과 반응하여 추가적인 2차 오염물질을 만들어낸다. 대기오염물질은 입자 크기에 따라 아황산가스나 일산화탄소 등 가스상 물질과 분진 등의 입자상 물질로 구분할 수 있다.
또한 생성과정에 따라 1차 오염물질과 2차 오염물질로 구분되기도 한다. 1차 오염물질이란 발생원으로부터 방출된 물질이 그대로 오염물질이 되어있는 것을 말한다. 예를 들면, 석탄, 석유 등의 연소에 의해 발생되는 매연이나 시멘트 공장 등에서 나오는 분진, 자동차 배기관 등을 통하여 나오는 황산화물 등이다. 2차 오염물질은 1차 오염물질이 대기 중에서 물리, 화학적 반응에 의해 전혀 다른 물질로 생성된 것을 말한다. 자동차나 공장 등에서 배출된 탄화수소와 질소화합물이 태양의 자외선에 의한 광화학반응을 받아서 생긴 산화제 등이 그 예이다. 아황산가스는 황산화물의 일종으로 물에 잘 녹고 무색이며, 자극적인 냄새가 나는 불연성 가스이다. 화산, 온천 등에 존재하며 황화수소와 반응하여 황을 생성한다. 황을 함유하는 석탄, 석유 등의 화석연료가 연소될 때 인위적으로 배출되며, 주요 배출원은 발전소, 난방장치, 금속 제련공장, 정유공장 및 기타 산업공정 등이다. 일산화탄소는 무색, 무취의 유독성 가스로서 연료속의 탄소가 불완전 연소되었을 때 발생한다. 배출원은 주로 자동차이며, 공장의 연료연소 그리고 산불과 같은 자연 발생원 및 주방, 담배연기, 지역난방과 같은 실내 발생원이 있다. 이산화질소는 적갈색의 반응성이 큰 기체로서, 대기 중에서 일산화질소의 산화에 의해서 발생하며, 대기 중에서 휘발성 유기화합물과 반응하여 오존을 생성하는 전구물질(precursor) 역할을 한다. 주요 배출원은 자동차와 고온 연소공정, 화학물질 제조공정 등이며, 토양중의 세균에 의해 생성되는 자연적 현상에 의한 것이다. 오존은 대기 중에 배출된 NOx와 휘발성 유기화합물 등이 자외선과 광화학 반응을 일으켜 생성된 물질로 2차 오염물질에 속한다. 전구물질인 휘발성 유기화합물은 자동차, 화학공장, 정유공장과 같은 산업시설과 자연적 요인 등 다양한 배출원에서 발생한다. 현재 일산화탄소, 암모니아, 질소산화물, 황산화물 등 61종이 대기오염물질로 지정되어 있다. 대기오염물질 중에서 사람의 건강, 재산이나 동물과 식물의 생육에 직접 또는 간접으로 위해를 줄 우려가 있는 물질은 특정대기유해물질로 지정하였다. 현재 다이옥신, 벤젠, 사염화탄소, 포름알데히드 등 35종이 특정대기유해물질로 지정되어 있다.
황사, 먼지바람, 꽃가루, 공기 중 세균, 산불, 화산폭발 등도 대기오염의 주원인이며 인간의 건강을 위협하고 있다. 중국 북경이나 인도네시아 수마트라 도시는 화석연료의 과소비와 팜유생산을 위한 인위적 산불에 연중 30일 이상 시야가 안 보이는 상황이며 이웃 나라 도시까지 피해를 입고 있으며, 동남 아시아의 많은 도시에서는 오토바이와 자동차의 매연에 의해 마스크를 착용하지 않고는 거리를 활보하기가 불가능하다. 또한 건설현장, 청소현장, 특정물 제조 공장, 도색공장, 병원 등의 공기오염은 더욱 심각한 상황이다. 이러한 오염된 공기를 피하려 산업현장이나 스포츠 활동 시 얼굴에 마스크를 착용하고 있다.
또한 과실이나 지진에 의한 건축물이나 시설물의 화재, 터널 내에서 자동차나 열차의 화재, 농업이나 생산현장에서 발생한 유독가스는 사람의 생명을 즉시 앗아갈 수 있다.
본 발명의 실시예들은, 마스크 예를 들어, 방진 마스크 등을 구매하고자 하는 경우 사용자의 얼굴을 촬영한 후 사용자의 얼굴 모델링에 기초하여 사용자 맞춤형 마스크에 대한 정보를 제공할 수 있는 방진 마스크의 사용자 맞춤형 서비스 제공 방법 및 그 시스템을 제공한다.
본 발명의 일 실시예에 따른 마스크의 사용자 맞춤형 서비스 제공 방법은 사용자의 정면 얼굴과 측면 얼굴을 포함하는 얼굴 영상을 촬영하기 위한 촬영 가이드를 순차적으로 제공하는 단계; 상기 촬영 가이드에 기초하여 상기 사용자의 정면 얼굴과 측면 얼굴을 포함하는 얼굴 영상을 카메라를 이용하여 순차적으로 촬영하는 단계; 상기 촬영된 얼굴 영상과 상기 카메라의 설정 파라미터에 기초하여 상기 사용자의 얼굴을 모델링하는 단계; 및 미리 설정된 마스크들 중 상기 모델링된 사용자의 얼굴에 맞는 마스크를 결정하여 상기 사용자에게 제공하는 단계를 포함한다.
나아가, 본 발명의 일 실시예에 따른 마스크의 사용자 맞춤형 서비스 제공 방법은 상기 촬영된 얼굴 영상과 상기 사용자의 얼굴 간의 거리를 계산하는 단계를 더 포함하고, 상기 모델링하는 단계는 상기 계산된 거리를 반영하여 상기 사용자의 얼굴을 모델링할 수 있다.
상기 사용자에게 제공하는 단계는 상기 모델링된 사용자의 얼굴에 상기 결정된 마스크를 착용한 가상 영상을 상기 사용자에게 제공할 수 있다.
상기 촬영하는 단계는 상기 정면 얼굴 촬영 시 상기 사용자의 눈, 코, 입 및 턱이 미리 설정된 제1 영역 내에 들어오도록 가이드하는 촬영 가이드에 기초하여 상기 정면 얼굴을 촬영하고, 상기 측면 얼굴 촬영 시 상기 사용자의 눈, 코, 입, 턱 및 귀가 미리 설정된 제2 영역 내에 들어오도록 가이드하는 촬영 가이드에 기초하여 상기 측면 얼굴을 촬영할 수 있다.
더 나아가, 본 발명의 일 실시예에 따른 마스크의 사용자 맞춤형 서비스 제공 방법은 상기 결정된 마스크를 상기 사용자에 의해 구매 결정되면 상기 결정된 마스크의 컬러, 텍스쳐 및 상기 모델링된 사용자의 얼굴에 대한 피규어 제작 중 적어도 하나를 상기 사용자의 입력을 통해 선택받는 단계를 더 포함할 수 있다.
더 나아가, 본 발명의 일 실시예에 따른 마스크의 사용자 맞춤형 서비스 제공 방법은 상기 모델링된 사용자의 얼굴을 상기 사용자의 정보와 매핑하여 업데이트하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 마스크의 사용자 맞춤형 서비스 제공 시스템은 사용자의 정면 얼굴과 측면 얼굴을 포함하는 얼굴 영상을 촬영하기 위한 촬영 가이드를 순차적으로 제공하는 가이드 제공부; 상기 촬영 가이드에 기초하여 상기 사용자의 정면 얼굴과 측면 얼굴을 포함하는 얼굴 영상을 카메라를 이용하여 순차적으로 촬영하는 촬영부; 상기 촬영된 얼굴 영상과 상기 카메라의 설정 파라미터에 기초하여 상기 사용자의 얼굴을 모델링하는 모델링부; 및 미리 설정된 마스크들 중 상기 모델링된 사용자의 얼굴에 맞는 마스크를 결정하여 상기 사용자에게 제공하는 서비스 제공부를 포함한다.
나아가, 본 발명의 일 실시예에 따른 마스크의 사용자 맞춤형 서비스 제공 시스템은 상기 촬영된 얼굴 영상과 상기 사용자의 얼굴 간의 거리를 계산하는 계산부를 더 포함하고, 상기 모델링부는 상기 계산된 거리를 반영하여 상기 사용자의 얼굴을 모델링할 수 있다.
상기 서비스 제공부는 상기 모델링된 사용자의 얼굴에 상기 결정된 마스크를 착용한 가상 영상을 상기 사용자에게 제공할 수 있다.
상기 촬영부는 상기 정면 얼굴 촬영 시 상기 사용자의 눈, 코, 입 및 턱이 미리 설정된 제1 영역 내에 들어오도록 가이드하는 촬영 가이드에 기초하여 상기 정면 얼굴을 촬영하고, 상기 측면 얼굴 촬영 시 상기 사용자의 눈, 코, 입, 턱 및 귀가 미리 설정된 제2 영역 내에 들어오도록 가이드하는 촬영 가이드에 기초하여 상기 측면 얼굴을 촬영할 수 있다.
상기 서비스 제공부는 상기 결정된 마스크를 상기 사용자에 의해 구매 결정되면 상기 결정된 마스크의 컬러, 텍스쳐 및 상기 모델링된 사용자의 얼굴에 대한 피규어 제작 중 적어도 하나를 상기 사용자의 입력을 통해 선택받을 수 있다.
더 나아가, 본 발명의 일 실시예에 따른 마스크의 사용자 맞춤형 서비스 제공 시스템은 상기 모델링된 사용자의 얼굴을 상기 사용자의 정보와 매핑하여 업데이트하는 업데이트부를 더 포함할 수 있다.
본 발명의 실시예들에 따르면, 마스크 예를 들어, 방진 마스크 등을 구매하고자 하는 경우 사용자의 얼굴 영상을 촬영하기 위한 촬영 가이드를 제공하고, 촬영 가이드에 기초하여 사용자의 정면 얼굴과 측면 얼굴을 포함하는 얼굴 영상을 촬영한 후 촬영된 얼굴 영상에 대한 3차원 모델링을 수행함으로써, 사용자에 맞는 마스크를 온라인을 통해 추천할 수 있고, 추천된 마스크를 사용자의 선택을 통해 구매할 수도 있다.
또한, 본 발명의 실시예들에 따르면, 마스크 뿐만아니라 소비자(또는 사용자)에 최적화된 커스터마이징 마스크를 제공하기 위하여, 마스크의 소재 투명도 및 구성요소들, 즉 교체가능한 방진 필터부, 귀에 걸수 있는 스트랩의 종류, 배기 흡기 밸브 및 기억형상 합금 등의 채용여부들에 대한 선택, 재질, 컬러, 굵기 등의 다양한 콤포넌트들의 선택 요소를 사용자의 얼굴 윤곽에 맞게 적용할 수 있는 맞춤형 서비스를 제공할 수 있으며, 사용자의 얼굴 및 위의 요소들의 3차원 입체 형상이 신속하고 적절히 구성되었는지 확인하여 구매할 수 있는 서비스를 제공할 수 있다.
또한, 본 발명의 실시예들에 따르면, 이렇게 획득된 방대한 자료들을 기반으로 딥 러닝 또는 머신 러닝 등을 이용한 인공 지능 학습을 수행함으로써, 사용자가 실수로 잘못 입력하는 경우라도 큰 범위에 들어가 있는 형상인 경우 미리 학습된 인공 지능이 해당 오류를 잡아내고 자연스럽게 완벽한 실제 착용 모델링을 구현할 수 있고, 따라서 사용자의 제품 구매 후 반품의 문제를 줄일 수 있다.
또한, 본 발명의 실시예들에 따르면, 사용자의 얼굴을 스캔하여 얻어진 데이터에 대해서 가장 최적의 마스크를 신속히 선정하고 이렇게 전세계인들의 방대한 사례를 통하여 지속적으로 얻어진 데이터를 딥 러닝 또는 머신 런닝으로 학습한 인공 지능을 이용하여 전세계의 사용자들에게서 얻어지는 데이터를 이용한 마스크의 내외관의 하드웨어 개발에 점점 더 완벽한 최적의 제품 개발에 기여할 수 있다
또한, 본 발명의 실시예들에 따르면, 골격이 모두 다른 형태로 인하여 마스크를 구성하는 스트랩의 길이와 각 사용자들의 얼굴 곡면에 맞는 마스크의 내측 형상에 대한 데이터를 정확하게 획득할 수 있고, 이를 통해 사용자의 골격과 얼굴 곡면에 최적화된 마스크를 제작할 수 있으며, 이렇게 제작된 마스크를 해당 사용자에게 적절하게 제공할 수 있다.
또한, 본 발명의 실시예들에 따르면, 마스크의 필터에 관하여도 전세계 각 지역별 대기 중 오염도와 오염원이 각각 달라 이에 대한 자료들을 분석하고 이에 따른 지역별 데이터를 입력받거나 미리 수집된 데이터를 근간으로 사용자의 구매 단계에서 이러한 정보를 적절히 제시함으로써, 맞춤형 필터를 제공 할 수 있는 필터의 커스터마이징이 가능하다.
도 1은 본 발명의 시스템을 설명하기 위한 일 예시도를 나타낸 것이다.
도 2는 본 발명의 일 실시예에 따른 마스크의 사용자 맞춤형 서비스 제공 방법에 대한 동작 흐름도를 나타낸 것이다.
도 3은 도 2의 단계 S210과 S220을 설명하기 위한 일 예시도를 나타낸 것이다.
도 4는 도 2의 단계 S240을 설명하기 위한 일 예시도를 나타낸 것이다.
도 5는 본 발명의 일 실시예에 따른 마스크의 사용자 맞춤형 서비스 제공 시스템에 대한 구성을 나타낸 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상 의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 발명의 실시예들은, 마스크 예를 들어, 방진 마스크 등을 구매하고자 하는 경우 사용자의 얼굴 영상을 촬영하기 위한 촬영 가이드를 제공하고, 촬영 가이드에 기초하여 사용자의 정면 얼굴과 측면 얼굴을 포함하는 얼굴 영상을 촬영한 후 촬영된 얼굴 영상에 대한 3차원 모델링을 수행함으로써, 사용자에 맞는 마스크를 온라인을 통해 추천할 수 있고, 추천된 마스크를 사용자의 선택을 통해 구매할 수 있는 서비스를 제공하는 것을 그 요지로 한다.
도 1은 본 발명의 시스템을 설명하기 위한 일 예시도를 나타낸 것이다.
도 1에 도시된 바와 같이, 본 발명의 시스템은 서버(200)와 모바일 기기(100) 예를 들어, 사용자 단말기를 포함한다.
모바일 기기(100)는 본 발명의 서비스를 제공하기 위한 어플리케이션이 설치되고, 설치된 어플리케이션을 통해 제공되는 촬영 가이드를 통해 촬영된 사용자의 정면 얼굴, 측면 얼굴, 상부 얼굴 및 하부 얼굴을 포함하는 얼굴 영상을 서버로 제공하고, 서버에 의해 결정된 사용자의 얼굴에 맞는 마스크에 대한 정보를 사용자에게 제공한다.
여기서, 모바일 기기(100)는 정면 얼굴에 대한 촬영 가이드, 측면 얼굴에 대한 촬영 가이드 등을 각 얼굴 영상을 촬영하는 순서로 순차적으로 제공하고, 순차적으로 제공되는 촬영 가이드에 기초하여 해당 영상 예를 들어, 정면 얼굴 영상, 측면 얼굴 영상을 촬영할 수 있다. 물론, 모바일 기기(100)는 해당 얼굴 영상을 촬영한 후 촬영된 영상이 사용자의 선택 또는 본 발명의 어플리케이션에 의해 자동으로 해당 영상이 모델링 영상을 사용될 수 있는 경우 그 다음 영상을 촬영하기 위한 촬영 가이드 제공 및 해당 얼굴 영상을 촬영할 수 있다.
예를 들어, 모바일 기기(100)는 사용자의 정면 얼굴을 촬영할 때, 사용자의 눈, 코, 턱 등이 미리 설정된 일정 영역 내에 들어오도록 촬영하라는 등의 촬영 가이드를 제공할 수도 있고, 사용자의 눈을 제1 영역 내에, 사용자의 코를 제2 영역 내에, 사용자의 턱을 제3 영역 내에 위치하도록 하여 정면 얼굴을 촬영할 수 있고, 또는 그리드 형태의 패턴을 제공하면서 그리드 형태의 패턴 내에 눈, 코, 입, 턱 등이 모두 위치하도록 촬영 가이드를 제공함으로써, 정면 얼굴을 촬영할 수도 있다. 물론, 모바일 기기(100)는 이러한 촬영 가이드에 맞추기 위하여 확대 또는 축소 등과 같은 줌 기능을 사용할 수 있으며, 이러한 줌 기능에 대한 정보를 서버로 제공할 수도 있다.
나아가, 모바일 기기(100)는 각 얼굴 영상을 촬영할 때 해당 영상을 촬영하는 사용자 얼굴과의 거리를 계산할 수 있다.
여기서, 모바일 기기(100)는 거리를 측정할 수 있는 거리 센서 또는 거리를 측정할 수 있는 다양한 어플리케이션을 이용하여 카메라를 이용하여 얼굴 영상을 촬영할 때 사용자 얼굴과 카메라의 거리를 측정 또는 계산할 수 있다.
모바일 기기(100)에서 카메라와 사용자 얼굴 간의 거리를 측정하는 것은 사용자의 얼굴을 모델링할 때 사용자의 얼굴 크기 예를 들어, 눈부터 턱까지의 거리, 코 높이, 코부터 턱까지의 거리, 귀에서 코까지의 거리, 귀에서 턱까지 거리 등과 같이 실제 사용자의 얼굴 크기 등을 알아야 사용자의 얼굴에 맞는 마스크를 추천할 수 있기 때문이다.
또한, 모바일 기기(100)에 구비된 카메라는 내부 파라미터와 외부 파라미터 등 카메라와 관련된 설정 파라미터들을 포함하고, 이렇게 설정된 카메라의 파라미터 예를 들어, 줌 정보 등은 모바일 기기(100)에서 촬영된 얼굴 영상 및 거리 정보 나아가, 사용자 정보와 함께 서버로 제공될 수 있다.
나아가, 모바일 기기(100)는 얼굴 영상을 촬영하는 사용자의 정보를 사용자의 입력을 통해 서버로 제공할 수도 있다. 예를 들어, 사용자는 얼굴 영상을 촬영하기 전에 사용자의 정보 예를 들어, 남자, 여자, 나이 등을 포함하는 사용자 정보를 사용자 입력을 통해 입력한 후 촬영된 얼굴 영상과 카메라의 설정 파라미터 그리고 거리 정보 등을 서버로 함께 제공할 수도 있다.
또한, 모바일 기기(100)는 각각의 영상을 촬영하는 것으로 한정하지 않으며, 사용자의 얼굴 정면에서 좌측에서 우측 혹은 우측에서 좌측, 하부에서 상부 혹은 상부에서 하부로 사용자의 얼굴 또는 두상 전체를 연속적으로 스캐닝함으로써, 사용자의 얼굴 또는 두상에 대한 3차원 입체 모델링을 자연스럽게 구현할 수도 있다. 물론, 이러한 3차원 입체 모델링은 모바일 기기(100)에서 이루어질 수도 있고, 이러한 데이터를 서버(200)로 전송함으로써, 서버(200)에서 이루어질 수도 있다. 물론, 모바일 기기(100)는 연속적인 스캐닝에 의한 얼굴 촬영이 아니라 각각의 영상을 촬영하는 경우에도 촬영된 영상의 깊이(depth)를 인식하는 경우 모바일 기기(100)에서 3차원 얼굴 모델링을 신속하게 수행할 수도 있다.
네트워크는 모바일 기기(100)와 서버(200)를 연결하는 통신망으로 네트워크가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 인터넷은 PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
서버(200)는 모바일 기기(100)로부터 수신되는 사용자의 얼굴 영상들 예를 들어, 정면 얼굴 영상, 측면 얼굴 영상 등과 촬영된 각 영상과 카메라의 거리 정보, 카메라의 설정 파라미터 정보, 사용자 정보 등을 수신하고, 수신된 정보를 이용하여 사용자의 얼굴을 모델링한다. 예를 들어, 서버는 사용자의 3차원 얼굴을 모델링하며, 눈, 코, 입, 턱 및 귀를 메인으로 모델링할 수 있다.
이 때, 서버(200)는 모델링된 사용자의 얼굴에 맞는 마스크를 추전할 수 있도록, 미리 설정된 마스크들 예컨대, 회사에서 판매하는 마스크들 중에서 사용자의 얼굴 크기와 형상에 맞는 사용자 맞춤형 마스크를 결정하고, 이렇게 결정된 마스크를 모델링된 사용자 얼굴에 피팅하여 그래픽으로 제공함으로써, 사용자가 사용자 얼굴에 맞는 마스크를 선택하기 용이하게 한다. 여기서, 서버(200)는 미리 축적된 데이터를 이용한 딥 러닝 또는 머신 러닝 등에 의한 인공 지능 학습을 수행함으로써, 학습된 인공 지능을 이용하여 사용자의 얼굴에 맞는 마스크를 결정할 수도 있다.
물론, 서버(200)는 모델링된 사용자의 얼굴에 맞는 마스크가 복수 개 결정되는 경우 결정된 마스크들 각각의 모델링된 사용자의 얼굴에 피팅하여 그래픽으로 제공함으로써, 결정된 마스크들 중 적어도 하나의 마스크를 사용자의 입력을 통해 결정되면 결정된 마스크를 최종 사용자 맞춤형 마스크로 사용자에게 제공할 수 있다.
나아가, 서버(200)는 사용자 맞춤형 마스크를 모델링된 사용자 얼굴에 피팅하여 그래픽으로 제공할 때, 마스크를 착용한 사용자의 얼굴에 대하여 정면 영상과 측면 영상 등 제공할 수 있는 다양한 영상을 그래픽으로 제공할 수 있다.
이 때, 서버(200)는 사용자에 의해 해당 마스크를 구매하고자 하는 사용자 입력이 수신되면 해당 마스크에 대한 컬러, 텍스쳐 나아가 모델링된 사용자의 얼굴에 대한 피규어 제작 등을 사용자 입력을 통해 결정함으로써, 구매하고자 하는 마스크에 대한 구체적인 정보를 서버로 제공할 수 있다.
여기서, 모델링된 사용자의 얼굴에 대한 피규어는 마스크의 케이스와 함께 제공할 수도 있으며, 별도의 제품으로 판매할 수도 있다. 물론, 모델링된 사용자의 얼굴에 대한 피규어는 본 발명에서 적용할 수 있는 다양한 방법으로 제공될 수 있다. 물론, 서버(200)는 마스크에 대한 컬러, 텍스쳐 등도 미리 축적된 데이터를 이용하여 미리 인공 지능을 통해 사용자에게 추천해줄 수 있으며, 이렇게 추천된 컬러, 텍스쳐 등이 사용자에 의해 선택되는 경우 해당 마스크에 적용시킬 수도 있다.
그리고, 서버(200)에 의해 모델링된 사용자의 얼굴은 사용자 정보와 매핑되어 저장될 수 있으며, 이렇게 저장된 모델링된 사용자의 얼굴은 사용자가 모바일 기기를 통해 서버에 접속함으로써, 다시 확인할 수 있다. 물론, 서버는 시간 정보와 함께 모델링된 사용자의 얼굴을 저장할 수 있으며, 성장기의 학생은 얼굴일 변할 수 있기 때문에 사용자 정보 및 시간 정보와 함께 모델링된 사용자 정보를 업데이트함으로써, 시간에 따라 변하는 사용자의 얼굴을 확인할 수도 있다. 즉, 서버는 사용자의 얼굴에 대한 모델링 데이터를 시간에 따른 히스토리로 저장할 수도 있다.
더 나아가, 서버(200)는 사용자들 각각의 모바일 기기(100)로부터 수신되는 정보에 기초하여 인종별, 연령별, 성별, 위치별(또는 지역별) 얼굴 또는 마스크 선택과 관련된 데이터를 축적하고, 이렇게 축적된 데이터를 딥 러닝 또는 머신 러닝을 이용하여 지속적으로 인공 지능을 학습함으로써, 인종별, 연령별, 성별 및 위치별 중 적어도 하나의 정보에 따른 마스크를 추천해줄 수도 있다.
또한, 서버(200)는 마스크에 다양한 필터들이 있는 경우 해당 사용자의 위치 정보 또는 지역 정보 예를 들어, 해당 지역의 초미세먼지 정보 및 미세먼지 정보, 마스크 사용시간, 사용자의 근무지역, 사용(또는 근무) 환경 등을 고려 또는 반영하여 적어도 하나의 적절한 필터를 사용자에게 추천할 수도 있다. 물론, 서버(200)는 추천 가능한 다양한 필터들이 존재하는 경우 다양한 필터들을 마스크에 가상 피팅시켜 제공함으로써, 사용자가 시각적으로 확인할 수도 있다. 이러한 필터의 디자인과 컬러 그리고 텍스쳐 등도 사용자의 얼굴, 인종별, 연령별, 성별, 지역별 등에 따라 추천할 수 있으며, 필터의 디자인과 컬러 또한 인공 지능 학습을 통해 학습함으로써, 해당 사용자의 정보(사용자의 얼굴, 인종, 연령, 성별 등을 포함하는 정보)와 지역 정보 등에 기초하여 사용자에게 용이하게 추천해줄 수도 있다. 필터는 흡기구, 배기구, 필터부를 포함할 수 있기 때문에 서버(200)는 흡기구와 배기구의 개수 및 사이즈, 필터부의 기능 등을 선택하도록 함으로써, 최적의 필터를 사용자에게 추천할 수도 있다.
이러한 본 발명에 대해 도 2 내지 도 5를 참조하여 상세히 설명하면 다음과 같다.
도 2는 본 발명의 일 실시예에 따른 마스크의 사용자 맞춤형 서비스 제공 방법에 대한 동작 흐름도를 나타낸 것으로, 도 1에 도시된 모바일 기기와 서버에서 수행하는 동작 흐름도를 나타낸 것이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 마스크의 사용자 맞춤형 서비스 제공 방법은 사용자 단말기에서 본 발명의 어플리케이션을 실행하고, 해당 어플리케이션에서 카메라를 활성화함으로써, 사용자의 정면 얼굴과 측면 얼굴을 포함하는 얼굴 영상을 촬영하기 위한 촬영 가이드를 순차적으로 제공한다(S210).
예컨대, 단계 S210은 도 3에 도시된 바와 같이, 사용자의 정면 얼굴, 측면 얼굴, 상부 얼굴(상부 촬영) 및 하부 얼굴(하부 촬영)을 순차적으로 수행하기 위하여, 해당 영상을 촬영하기 위한 촬영 가이드 예를 들어, 마스크의 경우 코의 높이, 코와 턱까지의 거리, 귀와 턱까지의 거리, 귀와 코까지의 거리 등이 중요하기 때문에 이러한 거리를 명확하게 촬영하기 위한 촬영 가이드를 각 영상 촬영 시 제공할 수 있다. 물론, 이러한 촬영 가이드는 본 발명의 기술을 제공하는 사업자에 의해 결정될 수 있으며, 촬영 상황에 따라 제공되는 촬영 가이드가 변경될 수도 있다. 예를 들어, 사용자가 아이인 경우와 성인인 경우에 따라 촬영 가이드가 상이하게 적용될 수도 있다.
단계 S210에 의해 제공되는 촬영 가이드에 기초하여 사용자의 정면 얼굴과 측면 얼굴을 포함하는 얼굴 영상을 카메라를 이용하여 순차적으로 촬영한다(S220).
여기서, 단계 S220은 하나의 영상이 촬영된 후 사용자의 선택 또는 해당 어플리케이션의 자동 인식에 의해 다음 얼굴 영상 촬영으로 넘어갈 수 있으며, 해당 영상 각각을 촬영할 때 카메라와 해당 얼굴 간의 거리를 계산 또는 측정할 수 있다. 물론, 카메라와 얼굴 간의 거리 측정은 다양한 방법에 의해 이루어질 수 있으며, 본 발명에 적용 가능한 모든 방법을 포함할 수 있다.
나아가, 본 발명에 따른 방법은 영상 각각을 촬영할 때 설정된 카메라의 설정 파라미터를 함께 저장할 수 있으며, 이렇게 저장된 각각의 설정 파라미터는 해당 영상과 함께 서버로 제공할 수 있다.
물론, 본 발명에 따른 방법은 각각의 영상을 촬영하는 것으로 한정하지 않으며, 사용자의 얼굴 정면에서 좌측에서 우측 혹은 우측에서 좌측, 하부에서 상부 혹은 상부에서 하부로 사용자의 얼굴 또는 두상 전체를 연속적으로 스캐닝할 수도 있다.
단계 S220에 의해 사용자의 얼굴 영상 예를 들어, 정면 얼굴 영상, 측면 얼굴 영상, 상부 얼굴 영상 및 하부 얼굴 영상 등이 촬영되면, 촬영된 얼굴 영상과 해당 얼굴 영상을 촬영할 때의 카메라 설정 파라미터 그리고 해당 얼굴 영상을 촬영할 때 카메라와 얼굴 간의 거리 나아가 사용자 정보 등을 서버로 제공하고, 서버에서 수신된 얼굴 영상, 카메라의 설정 파라미터, 카메라와 얼굴 간의 거리 등의 정보에 기초하여 사용자의 얼굴을 모델링 예를 들어, 3차원 모델링을 수행한다(S230).
여기서, 단계 S230은 수신된 다양한 정보에 기초하여 얼굴을 3차원 모델링하는 단계로, 영상과 거리 정보 등을 이용하여 3차원 모델링을 수행할 수 있는 것은 해당 기술 분야에 종사하는 당업자에게 있어서 자명하기에 그 상세한 설명은 생략한다.
물론, 단계 S230에서 수행하는 3차원 모델링이 서버에서 이루어질 수 있지만, 이에 한정하지 않으며 모바일 기기에서 수행되어 서버로 제공될 수도 있다. 즉, 모바일 기기에서 각각 촬영된 영상 또는 연속적인 스캐닝을 통해 사용자의 얼굴 또는 두상에 대한 3차원 입체 모델링을 자연스럽게 구현할 수도 있다. 물론, 모바일 기기는 연속적인 스캐닝에 의한 얼굴 촬영이 아니라 각각의 영상을 촬영하는 경우에도 촬영된 영상의 깊이(depth)를 인식하는 경우 3차원 얼굴 모델링을 신속하게 수행할 수 있다.
나아가, 단계 S230에 의해 모델링된 사용자의 얼굴은 사용자 정보와 함께 매핑되어 업데이트될 수도 있고, 이렇게 업데이트된 모델링된 사용자의 얼굴은 사용자의 모바일 기기에서 서버에 접속하여 확인할 수도 있으며, 시간에 따라 변화된 사용자의 얼굴 또한 확인할 수도 있다.
단계 S230에서 촬영된 사용자의 3차원 얼굴이 모델링되면, 모델링된 사용자의 얼굴에 맞는 마스크를 해당 업체에서 판매하는 마스크들 중에서 결정하고, 결정된 마스크를 모델링된 사용자의 얼굴에 피팅함으로써, 그래픽으로 사용자에게 제공한다(S240).
여기서, 단계 S240은 마스크가 착용된 사용자의 얼굴을 정면, 측면, 상부, 하부 등으로 제공할 수 있으며, 사용자 얼굴에 맞는 마스크 종류가 여러가지인 경우 각각의 마스크를 사용자의 선택에 의해 모델링된 사용자의 얼굴에 피팅시킴으로써, 각각의 마스크를 착용한 사용자의 얼굴을 그래픽으로 제공할 수도 있다.
예컨대, 도 4에 도시된 바와 같이, 모델링된 사용자의 얼굴(410)에 사용자 맞춤형 마스크 즉, 결정된 마스크(420)를 착용한 상태의 그래픽을 사용자에게 제공함으로써, 사용자가 실제 해당 마스크를 착용했을 때의 모습을 알 수 있도록 한다. 비록, 도 4에서 마스크가 착용된 측면 영상만을 도시하였지만, 측면 영상 뿐만 아니라 정면 영상 나아가 사용자 입력을 통해 마스크를 착용한 사용자의 얼굴을 3차원으로 볼 수 있도록 제공할 수도 있다.
이러한 단계 S240은 미리 축적된 데이터를 이용하여 학습된 인공 지능에 의해 수행될 수 있다. 즉, 인공 지능이 사용자의 얼굴에 맞는 마스크를 추천하고, 추천된 마스크를 모델링된 사용자의 얼굴에 피팅시킬 수도 있다.
단계 S240을 통해 사용자 맞춤형 마스크가 착용된 사용자 얼굴을 그래픽으로 제공한 후 사용자에 의해 해당 마스크가 구매 결정되면 구매 결정된 마스크의 컬러, 텍스쳐, 스트랙, 사이즈 나아가 모델링된 사용자의 얼굴에 대한 피규어 제작 중 적어도 하나의 정보를 사용자 입력을 통해 선택한다(S250).
여기서, 단계 S250은 해당 업체에서 제공 가능한 컬러 목록, 텍스쳐 목록 등을 제공할 수 있으며, 제공되는 목록에서 사용자의 입력을 통해 컬러와 텍스쳐를 선택할 수 있다. 물론, 선택된 컬러와 텍스쳐는 사용자가 구매 결정한 마스크에 적용되고, 컬러와 텍스쳐가 적용된 마스크를 그래픽으로 사용자에게 제공함으로써, 해당 컬러와 텍스쳐가 적용된 마스크를 사용자가 시각적으로 확인할 수 있다.
단계 S250이 사용자의 선택 또는 입력에 의해 수행되는 것을 설명하였지만 이에 한정하지 않으며 누적된 전세계 지역별 방대한 자료를 통하여 미리 학습된 인공 지능이 동일연령 혹은 성별, 직업군 등의 사용자에게 컬러, 텍스쳐, 사이즈 등의 요소들을 제안을 할 수도 있다.
나아가, 사용자는 마스크 구매 시 구매 개수와 수령하고자 하는 주소를 입력할 수 있다. 또한, 사용자에 의해 피규어(또는 스티커) 제작이 선택되면, 모델링된 사용자의 얼굴에 대한 피규어를 마스크 케이스에 부착하여 배송할 수도 있고, 별도의 피규어로 제작하여 사용자에게 마스크와 함께 배송할 수도 있다. 물론, 이러한 피규어 제작에 대한 비용은 본 발명의 서비스를 제공하는 사업자에 의해 결정될 수 있다.
비록, 도 2에 도시하진 않았지만, 본 발명의 실시예에 따른 방법은 사용자들 각각의 모바일 기기로부터 수신되는 정보에 기초하여 인종별, 연령별, 성별, 위치별(또는 지역별) 얼굴 또는 마스크 선택과 관련된 데이터를 축적하고, 이렇게 축적된 데이터를 지속적으로 학습함으로써, 인종별, 연령별, 성별 및 위치별 중 적어도 하나의 정보에 따른 마스크를 추천해줄 수도 있다.
또한, 본 발명의 실시예에 따른 방법은 마스크에 다양한 필터들이 있는 경우 해당 사용자의 위치 정보 또는 지역 정보 예를 들어, 해당 지역의 초미세먼지 정보 및 미세먼지 정보, 마스크 사용시간, 사용자의 근무지역, 사용(또는 근무) 환경 등을 고려 또는 반영하여 적어도 하나의 적절한 필터를 사용자에게 추천할 수도 있으며, 추천 가능한 다양한 필터들이 존재하는 경우 다양한 필터들을 마스크에 순차적으로 가상 피팅시켜 제공함으로써, 사용자가 시각적으로 확인할 수도 있다. 이러한 필터의 디자인과 컬러 그리고 텍스쳐 등도 사용자의 얼굴, 인종별, 연령별, 성별, 지역별 등에 따라 추천할 수 있으며, 필터의 디자인과 컬러 또한 인공 지능 학습을 통해 학습함으로써, 해당 사용자의 정보(사용자의 얼굴, 인종, 연령, 성별 등을 포함하는 정보)와 지역 정보 등에 기초하여 사용자에게 용이하게 추천해줄 수도 있다. 나아가, 본 발명의 실시예에 따른 방법은 필터는 흡기구, 배기구, 필터부를 포함할 수 있기 때문에 흡기구와 배기구의 개수 및 사이즈, 필터부의 기능 등을 선택하도록 함으로써, 최적의 필터를 사용자에게 추천할 수도 있다.
이와 같이, 본 발명의 일 실시예에 따른 방법은 마스크 예를 들어, 방진 마스크 등을 구매하고자 하는 경우 사용자의 얼굴 영상을 촬영하기 위한 촬영 가이드를 제공하고, 촬영 가이드에 기초하여 사용자의 정면 얼굴과 측면 얼굴을 포함하는 얼굴 영상을 촬영한 후 촬영된 얼굴 영상에 대한 3차원 모델링을 수행함으로써, 사용자에 맞는 마스크를 온라인을 통해 추천할 수 있고, 추천된 마스크를 사용자의 선택을 통해 구매할 수 있다.
또한, 본 발명의 일 실시예에 따른 방법은 인종별, 연령별, 성별 등에 따라 얼굴 윤곽이 다르기 때문에 온라인 상에서 사용자의 얼굴 윤곽에 맞는 마스크를 구매하기 어려운 문제를 해결하고, 이를 통해 온라인 상에서 사용자의 얼굴 윤곽에 맞는 사용자 맞춤형 마스크를 용이하게 구매할 수 있다.
또한, 본 발명의 일 실시예에 따른 방법은 사용자 정보와 함께 모델링된 사용자 얼굴에 대한 정보를 저장하고, 이를 업데이트함으로써, 사용자가 본 발명의 어플리케이션을 통해 서버에 접속하여 확인할 수도 있다.
또한, 본 발명의 일 실시예에 따른 방법은 촬영 영상에서 카메라와 사용자의 얼굴에 대한 거리 정보 그리고 카메라 설정 파라미터 예를 들어, 줌인, 줌 아웃 정보 등을 함께 수신함으로써, 사용자의 얼굴에 대한 3차원 모델링을 정확하게 수행할 수 있고, 따라서 사용자 얼굴 윤곽에 맞는 사용자 맞춤형 마스크를 추천할 수 있다.
또한, 본 발명의 일 실시예에 따른 방법에 의해 저장된 데이터는 다양한 분야 예를 들어, 선글라스 구매, 캐릭터 제작 등에 적용될 수도 있다.
또한, 본 발명의 일 실시예에 따른 방법은 마스크 뿐만아니라 소비자(또는 사용자)에 최적화된 커스터마이징 마스크를 제공하기 위하여, 마스크의 소재 투명도 및 구성요소들, 즉 교체가능한 방진 필터부, 귀에 걸수 있는 스트랩의 종류, 배기 흡기 밸브 및 기억형상 합금 등의 채용여부들에 대한 선택, 재질, 컬러, 굵기 등의 다양한 콤포넌트들의 선택 요소를 사용자의 얼굴 윤곽에 맞게 적용할 수 있는 맞춤형 서비스를 제공할 수 있으며, 사용자의 얼굴 및 위의 요소들의 3차원 입체 형상이 신속하고 적절히 구성되었는지 확인하여 구매할 수 있는 서비스를 제공할 수 있다.
또한, 본 발명의 일 실시예에 따른 방법은 이렇게 획득된 방대한 자료들을 기반으로 딥 러닝 또는 머신 러닝 등을 이용한 인공 지능 학습을 수행함으로써, 사용자가 실수로 잘못 입력하는 경우라도 큰 범위에 들어가 있는 형상인 경우 미리 학습된 인공 지능이 해당 오류를 잡아내고 자연스럽게 완벽한 실제 착용 모델링을 구현할 수 있고, 따라서 사용자의 제품 구매 후 반품의 문제를 줄일 수 있다.
또한, 본 발명의 일 실시예에 따른 방법은 사용자의 얼굴을 스캔하여 얻어진 데이터에 대해서 가장 최적의 마스크를 신속히 선정하고 이렇게 전세계인들의 방대한 사례를 통하여 지속적으로 얻어진 데이터를 딥 러닝 또는 머신 런닝으로 학습한 인공 지능을 이용하여 전세계의 사용자들에게서 얻어지는 데이터를 이용한 마스크의 내외관의 하드웨어 개발에 점점 더 완벽한 최적의 제품 개발에 기여할 수 있다
또한, 본 발명의 실시예들에 따르면, 골격이 모두 다른 형태로 인하여 마스크를 구성하는 스트랩의 길이와 각 사용자들의 얼굴 곡면에 맞는 마스크의 내측 형상에 대한 데이터를 정확하게 획득할 수 있고, 이를 통해 사용자의 골격과 얼굴 곡면에 최적화된 마스크를 제작할 수 있으며, 이렇게 제작된 마스크를 해당 사용자에게 적절하게 제공할 수 있다.
또한, 본 발명의 일 실시예에 따른 방법은 마스크의 필터에 관하여도 전세계 각 지역별 대기 중 오염도와 오염원이 각각 달라 이에 대한 자료들을 분석하고 이에 따른 지역별 데이터를 입력받거나 미리 수집된 데이터를 근간으로 사용자의 구매 단계에서 이러한 정보를 적절히 제시함으로써, 맞춤형 필터를 제공 할 수 있는 필터의 커스터마이징이 가능하다.
도 5는 본 발명의 일 실시예에 따른 마스크의 사용자 맞춤형 서비스 제공 시스템에 대한 구성을 나타낸 것이다.
도 5를 참조하면, 본 발명의 실시예에 따른 마스크의 사용자 맞춤형 서비스 제공 시스템(500)은 가이드 제공부(510), 촬영부(520), 계산부(530), 모델링부(540), 서비스 제공부(550) 및 업데이트부(560)를 포함한다.
가이드 제공부(510)는 사용자 단말기 예를 들어, 도 1의 모바일 기기에 설치된 본 발명의 어플리케이션이 실행되면, 해당 어플리케이션에서 카메라를 활성화함으로써, 사용자의 정면 얼굴과 측면 얼굴을 포함하는 얼굴 영상을 촬영하기 위한 촬영 가이드를 순차적으로 제공한다.
여기서, 가이드 제공부(510)는 사용자의 정면 얼굴, 측면 얼굴, 상부 얼굴(상부 촬영) 및 하부 얼굴(하부 촬영)을 순차적으로 수행하기 위하여, 해당 영상을 촬영하기 위한 촬영 가이드 예를 들어, 마스크의 경우 코의 높이, 코(또는 코 끝)와 턱까지의 거리, 귀와 턱까지의 거리, 귀와 코까지의 거리 등이 중요하기 때문에 이러한 거리를 명확하게 촬영하기 위한 촬영 가이드를 각 영상 촬영 시 제공할 수 있다.
촬영부(520)는 촬영 가이드에 기초하여 사용자의 정면 얼굴과 측면 얼굴을 포함하는 얼굴 영상을 카메라를 이용하여 순차적으로 촬영한다.
계산부(530)는 촬영부(520)에 의해 얼굴 영상 각각을 촬영할 때 카메라와 해당 얼굴 간의 거리를 계산 또는 측정한다.
여기서, 계산부(530)는 카메라와 얼굴 간의 거리를 측정할 수 있는 다양한 수단 또는 다양한 알고리즘을 이용하여 카메라와 해당 얼굴 간의 거리를 측정할 수 있다.
모델링부(540)는 촬영된 얼굴 영상 예를 들어, 사용자의 정면 얼굴 영상, 측면 얼굴 영상, 상부 얼굴 영상 및 하부 얼굴 영상과 해당 얼굴 영상을 촬영할 때의 카메라 설정 파라미터 그리고 해당 얼굴 영상을 촬영할 때 카메라와 얼굴 간의 거리 등의 정보에 기초하여 사용자의 얼굴을 모델링 예를 들어, 3차원 모델링을 수행한다.
서비스 제공부(550)는 촬영된 사용자의 3차원 얼굴이 모델링되면, 모델링된 사용자의 얼굴에 맞는 마스크를 판매하는 마스크들 중에서 결정(또는 추천)하고, 결정된 마스크를 모델링된 사용자의 얼굴에 피팅함으로써, 그래픽으로 사용자에게 제공한다.
여기서, 서비스 제공부(550)는 마스크가 착용된 사용자의 얼굴을 정면, 측면, 상부, 하부 등으로 제공할 수 있으며, 사용자 얼굴에 맞는 마스크 종류가 여러가지인 경우 각각의 마스크를 사용자의 선택에 의해 모델링된 사용자의 얼굴에 피팅시킴으로써, 각각의 마스크를 착용한 사용자의 얼굴을 그래픽으로 제공할 수도 있다.
나아가, 서비스 제공부(550)는 사용자 맞춤형 마스크가 착용된 사용자 얼굴을 그래픽으로 제공한 후 사용자에 의해 해당 마스크가 구매 결정되면 구매 결정된 마스크의 컬러, 텍스쳐, 스트랙, 사이즈 나아가 모델링된 사용자의 얼굴에 대한 피규어 제작 중 적어도 하나의 정보를 사용자 입력을 통해 선택받을 수 있으며, 이렇게 입력된 정보에 기초하여 사용자가 구매한 마스크가 제작될 수 있도록 해당 정보를 마스크 제작 파트 측으로 제공할 수도 있다.
업데이트부(560)는 모델링된 사용자의 얼굴을 사용자 정보와 함께 매핑하여 업데이트한다.
여기서, 업데이트부(560)에 의해 업데이트된 모델링된 사용자의 얼굴은 사용자 단말기에서 서버에 접속하여 확인할 수도 있으며, 시간에 따라 변화된 사용자의 얼굴 또한 확인할 수도 있다.
비록, 도 5의 구성에서 그 설명이 생략되었더라도, 도 5에 기재된 각 구성 수단은 상기 도 1 내지 도 4에서 설명한 모든 내용을 포함할 수 있다는 것은 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템, 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (12)

  1. 제공부에서 사용자의 정면 얼굴, 상부 얼굴, 하부 얼굴과 측면 얼굴을 포함하는 얼굴 영상을 촬영하기 위한 촬영 가이드를 순차적으로 제공하는 단계;
    촬영부에서 상기 촬영 가이드에 기초하여 상기 사용자의 정면 얼굴, 상부 얼굴, 하부 얼굴과 측면 얼굴을 포함하는 얼굴 영상을 카메라를 이용하여 순차적으로 촬영하는 단계;
    모델링부에서 상기 촬영된 얼굴 영상과 해당 얼굴 영상을 촬영할 때 상기 카메라의 설정 파라미터에 기초하여 상기 사용자의 얼굴을 모델링하는 단계; 및
    서비스 제공부에서 미리 설정된 마스크들 중 상기 모델링된 사용자의 얼굴에 맞는 마스크를 결정하여 상기 사용자에게 제공하는 단계
    를 포함하며,
    계산부에서 상기 촬영된 얼굴 영상과 상기 사용자의 얼굴 간의 거리를 계산하는 단계
    를 더 포함하고,
    상기 모델링하는 단계는
    상기 계산된 거리를 반영하여 상기 사용자의 얼굴을 모델링하며,
    상기 서비스 제공부에서 상기 결정된 마스크를 상기 사용자에 의해 구매 결정되면 상기 결정된 마스크의 컬러, 텍스쳐 및 상기 모델링된 사용자의 얼굴에 대한 피규어 제작을 상기 사용자의 입력을 통해 선택받는 단계
    를 더 포함하고,
    상기 사용자에게 제공하는 단계는
    상기 사용자의 입력에 의해 피규어 제작이 선택되면 상기 모델링된 사용자의 얼굴에 대한 피규어를 마스크 케이스에 부착하여 배송하거나 상기 모델링된 사용자의 얼굴에 대한 피규어를 별도로 제작하여 마스크와 함께 배송하며,
    상기 서비스 제공부에서 상기 사용자의 위치 정보 또는 지역 정보에 대한 초미세먼지 정보와 미세먼지 정보를 반영하여 적어도 하나의 필터를 상기 사용자에게 추천하고, 상기 추천된 적어도 하나의 필터를 상기 모델링된 사용자의 얼굴에 맞는 마스크에 순차적으로 가상 피팅시켜 제공하는 단계
    를 더 포함하며,
    상기 가상 피팅시켜 제공하는 단계는
    상기 사용자의 얼굴, 인종, 연령, 성별과 지역 정보를 고려하여 상기 적어도 하나의 필터를 상기 사용자에게 추천하고, 상기 필터에 포함된 흡기구와 배기구의 개수, 필터부의 기능을 상기 사용자의 입력을 통해 선택받는 마스크의 사용자 맞춤형 서비스 제공 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 사용자에게 제공하는 단계는
    상기 모델링된 사용자의 얼굴에 상기 결정된 마스크를 착용한 가상 영상을 상기 사용자에게 제공하는 것을 특징으로 하는 마스크의 사용자 맞춤형 서비스 제공 방법.
  4. 제1항에 있어서,
    상기 촬영하는 단계는
    상기 정면 얼굴 촬영 시 상기 사용자의 눈, 코, 입 및 턱이 미리 설정된 제1 영역 내에 들어오도록 가이드하는 촬영 가이드에 기초하여 상기 정면 얼굴을 촬영하고, 상기 측면 얼굴 촬영 시 상기 사용자의 눈, 코, 입, 턱 및 귀가 미리 설정된 제2 영역 내에 들어오도록 가이드하는 촬영 가이드에 기초하여 상기 측면 얼굴을 촬영하는 것을 특징으로 하는 마스크의 사용자 맞춤형 서비스 제공 방법.
  5. 삭제
  6. 제1항에 있어서,
    업데이트부에서 상기 모델링된 사용자의 얼굴을 상기 사용자의 정보와 매핑하여 업데이트하는 단계
    를 더 포함하는 것을 특징으로 하는 마스크의 사용자 맞춤형 서비스 제공 방법.
  7. 사용자의 정면 얼굴, 상부 얼굴, 하부 얼굴 과 측면 얼굴을 포함하는 얼굴 영상을 촬영하기 위한 촬영 가이드를 순차적으로 제공하는 가이드 제공부;
    상기 촬영 가이드에 기초하여 상기 사용자의 정면 얼굴, 상부 얼굴, 하부 얼굴 과 측면 얼굴을 포함하는 얼굴 영상을 카메라를 이용하여 순차적으로 촬영하는 촬영부;
    상기 촬영된 얼굴 영상과 해당 얼굴 영상을 촬영할 때 상기 카메라의 설정 파라미터에 기초하여 상기 사용자의 얼굴을 모델링하는 모델링부; 및
    미리 설정된 마스크들 중 상기 모델링된 사용자의 얼굴에 맞는 마스크를 결정하여 상기 사용자에게 제공하는 서비스 제공부
    를 포함하며,
    상기 촬영된 얼굴 영상과 상기 사용자의 얼굴 간의 거리를 계산하는 계산부
    를 더 포함하고,
    상기 모델링부는
    상기 계산된 거리를 반영하여 상기 사용자의 얼굴을 모델링하며,
    상기 서비스 제공부는
    상기 결정된 마스크를 상기 사용자에 의해 구매 결정되면 상기 결정된 마스크의 컬러, 텍스쳐 및 상기 모델링된 사용자의 얼굴에 대한 피규어 제작을 상기 사용자의 입력을 통해 선택받고, 상기 사용자의 입력에 의해 피규어 제작이 선택되면 상기 모델링된 사용자의 얼굴에 대한 피규어를 마스크 케이스에 부착하여 배송하거나 상기 모델링된 사용자의 얼굴에 대한 피규어를 별도로 제작하여 마스크와 함께 배송하며, 상기 사용자의 위치 정보 또는 지역 정보에 대한 초미세먼지 정보와 미세먼지 정보를 반영하여 적어도 하나의 필터를 상기 사용자에게 추천하고, 상기 추천된 적어도 하나의 필터를 상기 모델링된 사용자의 얼굴에 맞는 마스크에 순차적으로 가상 피팅시켜 제공하고, 상기 사용자의 얼굴, 인종, 연령, 성별과 지역 정보를 고려하여 상기 적어도 하나의 필터를 상기 사용자에게 추천하고, 상기 필터에 포함된 흡기구와 배기구의 개수, 필터부의 기능을 상기 사용자의 입력을 통해 선택받는 마스크의 사용자 맞춤형 서비스 제공 시스템.
  8. 삭제
  9. 제7항에 있어서,
    상기 서비스 제공부는
    상기 모델링된 사용자의 얼굴에 상기 결정된 마스크를 착용한 가상 영상을 상기 사용자에게 제공하는 것을 특징으로 하는 마스크의 사용자 맞춤형 서비스 제공 시스템.
  10. 제7항에 있어서,
    상기 촬영부는
    상기 정면 얼굴 촬영 시 상기 사용자의 눈, 코, 입 및 턱이 미리 설정된 제1 영역 내에 들어오도록 가이드하는 촬영 가이드에 기초하여 상기 정면 얼굴을 촬영하고, 상기 측면 얼굴 촬영 시 상기 사용자의 눈, 코, 입, 턱 및 귀가 미리 설정된 제2 영역 내에 들어오도록 가이드하는 촬영 가이드에 기초하여 상기 측면 얼굴을 촬영하는 것을 특징으로 하는 마스크의 사용자 맞춤형 서비스 제공 시스템.
  11. 삭제
  12. 제7항에 있어서,
    상기 모델링된 사용자의 얼굴을 상기 사용자의 정보와 매핑하여 업데이트하는 업데이트부
    를 더 포함하는 것을 특징으로 하는 마스크의 사용자 맞춤형 서비스 제공 시스템.
KR1020190021337A 2019-02-22 2019-02-22 마스크의 사용자 맞춤형 서비스 제공 방법 및 그 시스템 KR102226811B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190021337A KR102226811B1 (ko) 2019-02-22 2019-02-22 마스크의 사용자 맞춤형 서비스 제공 방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190021337A KR102226811B1 (ko) 2019-02-22 2019-02-22 마스크의 사용자 맞춤형 서비스 제공 방법 및 그 시스템

Publications (2)

Publication Number Publication Date
KR20200102833A KR20200102833A (ko) 2020-09-01
KR102226811B1 true KR102226811B1 (ko) 2021-03-12

Family

ID=72450964

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190021337A KR102226811B1 (ko) 2019-02-22 2019-02-22 마스크의 사용자 맞춤형 서비스 제공 방법 및 그 시스템

Country Status (1)

Country Link
KR (1) KR102226811B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100523742B1 (ko) * 2002-03-26 2005-10-26 김소운 3차원 안경 시뮬레이션 시스템 및 방법
KR101867564B1 (ko) * 2015-12-29 2018-07-17 엘리셀 주식회사 개인 맞춤형 마스크 팩 제조 방법과 그 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180084231A (ko) * 2017-01-16 2018-07-25 유정준 개인 맞춤형 스킨케어마스크 제작 판매 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100523742B1 (ko) * 2002-03-26 2005-10-26 김소운 3차원 안경 시뮬레이션 시스템 및 방법
KR101867564B1 (ko) * 2015-12-29 2018-07-17 엘리셀 주식회사 개인 맞춤형 마스크 팩 제조 방법과 그 장치

Also Published As

Publication number Publication date
KR20200102833A (ko) 2020-09-01

Similar Documents

Publication Publication Date Title
JP6581669B2 (ja) 使用者に吸入される空気質のモニタリングが可能なスマートマスク
Dadvand et al. Surrounding greenness and exposure to air pollution during pregnancy: an analysis of personal monitoring data
Cooper et al. Air pollution control: A design approach
Zallaghi et al. Assessing theEffects of nitrogen dioxide in urban air on health of west and southwest cities of Iran
Hajian et al. Modeling wildfire propagation with the stochastic shortest path: A fast simulation approach
KR20190021971A (ko) 스마트 마스크
Dionisio et al. An empirical assessment of exposure measurement error and effect attenuation in bipollutant epidemiologic models
Celis et al. Design of an early alert system for PM2. 5 through a stochastic method and machine learning models
Ravina et al. DIDEM-An integrated model for comparative health damage costs calculation of air pollution
Goar et al. IOT-based smart mask protection against the waves of covid-19
KR102226811B1 (ko) 마스크의 사용자 맞춤형 서비스 제공 방법 및 그 시스템
Khedo et al. Low-cost energy-efficient air quality monitoring system using wireless sensor network
Teologo et al. Air quality index (AQI) classification using CO and NO 2 pollutants: a fuzzy-based approach
Haque et al. Analyzing the spatio-temporal directions of air pollutants for the initial wave of COVID-19 epidemic over Bangladesh: Application of satellite imageries and Google Earth Engine
WO2009053385A1 (fr) Procede de determination d'une evolution temporelle d'un accident qui survient dans une installation a risques
Jiang et al. WFNet: A hierarchical convolutional neural network for wildfire spread prediction
Nurminen et al. A Clean Air Journey Planner for pedestrians using high resolution near real time air quality data
Soderlund et al. Estimating the spread of wildland fires via evidence-based information fusion
Jahan Air pollution around schools and poorer student health and academic performance: a case of dhaka, Bangladesh
Dedoussi Adjoint sensitivity analysis of the atmospheric impacts of combustion emissions
Frost Fire environment analysis at Army Garrison Camp Williams in relation to fire behavior potential for gauging fuel modification needs
Zhang et al. Application of virtual reality technology for emergency evacuation in high-rise buildings
Febriansyah et al. An Android-based COVID Case Monitoring Application Using a Geographic Information System to Educate the Public to be More Aware of COVID-19 Spreads
Blanc et al. How to assess the Environmental State of EU regions with the global concept of sustainability?
Zadoo et al. IoT-Based Air Pollution Monitoring System

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right