KR20240032291A - 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 nft 연계형 nft 미소이미지 활성화 장치 및 방법 - Google Patents
미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 nft 연계형 nft 미소이미지 활성화 장치 및 방법 Download PDFInfo
- Publication number
- KR20240032291A KR20240032291A KR1020220111106A KR20220111106A KR20240032291A KR 20240032291 A KR20240032291 A KR 20240032291A KR 1020220111106 A KR1020220111106 A KR 1020220111106A KR 20220111106 A KR20220111106 A KR 20220111106A KR 20240032291 A KR20240032291 A KR 20240032291A
- Authority
- KR
- South Korea
- Prior art keywords
- nft
- smile
- image
- smile image
- unit
- Prior art date
Links
- 238000012549 training Methods 0.000 title claims abstract description 146
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000004913 activation Effects 0.000 title claims abstract description 23
- 238000000605 extraction Methods 0.000 claims description 20
- 230000000694 effects Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 3
- 238000002329 infrared spectrum Methods 0.000 claims description 2
- 230000003213 activating effect Effects 0.000 claims 1
- 230000008450 motivation Effects 0.000 abstract description 4
- 208000025721 COVID-19 Diseases 0.000 abstract description 2
- 238000011161 development Methods 0.000 abstract description 2
- 230000008921 facial expression Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 5
- 210000001525 retina Anatomy 0.000 description 5
- 244000025254 Cannabis sativa Species 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/08—Auctions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/50—Business processes related to the communications industry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q2220/00—Business processing using cryptography
- G06Q2220/10—Usage protection of distributed data files
- G06Q2220/16—Copy protection or prevention
- G06Q2220/165—Having origin or program ID
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Development Economics (AREA)
- Multimedia (AREA)
- Entrepreneurship & Innovation (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
본 발명에서는 종래 코로나 19로 인해, 얼굴표정이 어두워서, 만나는 사람마다 밝은 이미지보다는 어두운 이미지를 많이 주게되어, 인간관계가 점점 안좋아지는 문제점과, 자신의 미소짓는 이미지를 스마트폰 앱을 통해 트레이닝시켜주는 장치개발과 함께, 미소짓는 이미지 트레이닝이 개발되더라도, 형식적인 것이 아닌, 본인 스스로가 자신의 미소짓는 이미지 트레이닝에 적극적으로 동참할 수 있는 동기부여를 높일 수 있는 장치개발이 없는 문제점을 개선하고자, 시선추적형 깊이카메라부(100), 미소이미지 트레이닝용 앱 모듈(200), NFT판매 중개 서버부(300)로 구성됨으로서, 미소이미지 트레이닝용 앱 모듈을 통해, 어플구조로 다운로드받아 시간이나 장소에 구애받지 않고, 본인의 최상의 미소를 갖도록 트레이닝시킬 수 있고, 시선추적(Eye-tracking)알고리즘엔진부를 통해 시선추적형 깊이카메라부가 구동되기 때문에, 기존에 비해 보다 선명하고, 생동감이 있는 최상의 미소를 촬영시킬 수 있으며, 미소이미지 트레이닝용 앱 모듈을 통해, 현재 본인의 미소이미지 특징점과 매칭되는 미소짓는 연예인이미지를 화면상에 생성시켜, 미소짓는 연예인이미지를 보면서 트레이닝시킬 수 있고, 이로 인해, 본인의 롤모델을 대상으로 닯고싶다는 동기부여를 자극해 줄 수 있어, 본인 스스로의 노력을 통해, 인상과 인격이 더 밝고 좋아져서, 인간관계를 더 좋게 만들 수 있고, 본인의 미소짓는 이미지를 자동적으로 NFT화하여, NFT 판매 중개 서버부를 통해, NFT 판매시키고, NFT 판매금액을 수신받을 수 있는 새로운 수익모델을 제공할 수 있어, 미소이미지 트레이닝용 앱 모듈에 관한 흥미와 관심을 기존에 비해 1.5배~3배 향상시킬 수 있는 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 NFT 연계형 NFT 미소이미지 활성화 장치 및 방법을 제공하는데 그 목적이 있다.
Description
본 발명은 얼굴이미지에서, 미소이미지를 추출한 후, 현재 본인의 미소이미지 특징점과 매칭되는 미소짓는 연예인이미지를 보면서 트레이닝시키고, 미소짓는 본인의 이미지를 NFT화하여, NFT판매 중개시킬 수 있는 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 NFT 연계형 NFT 미소이미지 활성화 장치에 관한 것이다.
현대인들은 한정된 시간과 바쁜 일상 속에서 원하는 정보를 즉각적으로 획득하고자 하는 요구사항을 가지고 있다.
특히, 코로나 19로 인해, 웃는 모습보다는 항상 불안해하며, 근심과 걱정이 가득한 모습으로 살아가고 있다.
이로 인해, 얼굴표정이 어두워서, 만나는 사람마다 밝은 이미지보다는 어두운 이미지를 많이 주게되어, 인간관계가 점점 안좋아지는 문제점이 있었다.
이에, 자신의 미소짓는 이미지를 스마트폰 앱을 통해 트레이닝시켜주는 장치개발과 함께, 미소짓는 이미지 트레이닝이 개발되더라도, 형식적인 것이 아닌, 본인 스스로가 자신의 미소짓는 이미지 트레이닝에 적극적으로 동참할 수 있는 동기부여를 높일 수 있는 장치개발이 시급한 실정이다.
상기의 문제점을 해결하기 위해 본 발명에서는 미소이미지 트레이닝용 앱 모듈을 통해, 어플구조로 다운로드받아 시간이나 장소에 구애받지 않고, 본인의 최상의 미소를 갖도록 트레이닝시킬 수 있고, 시선추적(Eye-tracking)알고리즘엔진부를 통해 시선추적형 깊이카메라부를 구동시킬 수 있으며, 미소이미지 트레이닝용 앱 모듈을 통해, 현재 본인의 미소이미지 특징점과 매칭되는 미소짓는 연예인이미지를 화면상에 생성시켜, 미소짓는 연예인이미지를 보면서 트레이닝시킬 수 있고, 본인의 미소짓는 이미지를 자동적으로 NFT화하여, NFT 판매 중개 서버부를 통해, NFT 판매시키고, NFT 판매금액을 수신받을 수 있는 새로운 수익모델을 제공할 수 있는 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 NFT 연계형 NFT 미소이미지 활성화 장치 및 방법을 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위해 본 발명에 따른 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 NFT 연계형 NFT 미소이미지 활성화 장치는
얼굴이미지에서, 미소이미지를 추출한 후, 현재 본인의 미소이미지 특징점과 매칭되는 미소짓는 연예인이미지를 보면서 트레이닝시키고, 미소짓는 본인의 이미지를 NFT화하여, NFT판매 중개시키도록 구성됨으로서 달성된다.
상기 최상의 미소 NFT 연계형 NFT 미소이미지 활성화 장치는 보다 구체적으로,
스마트디바이스 또는 특정공간 일측에 설치되고, 미소이미지 트레이닝용 앱 모듈의 구동신호에 따라 구동되어, 시선을 추적하면서 촬영하고자 하는 사람의 얼굴 깊이정보를 기반으로, 얼굴을 촬영시키는 시선추적형 깊이카메라부(100)와,
스마트디바이스 내에 어플형태로 활성화되어, 미소이미지 트레이닝용 앱을 다운받아 활성화시켜, 시선추적형 깊이카메라부로부터 전송된 얼굴이미지에서, 미소이미지를 추출한 후, 현재 본인의 미소이미지 특징점과 매칭되는 미소짓는 연예인이미지를 화면상에 생성시켜, 미소짓는 연예인이미지를 보면서 트레이닝시키고, NFT판매 중개 서버부로부터 NFT 판매금액을 수신받는 미소이미지 트레이닝용 앱 모듈(200)과,
NFT 판매사이트와 연계되어, 미소이미지 트레이닝용 앱 모듈에서 생성된 NFT 미소이미지를 중간에서 중개 판매시키고, 판매된 금액 중 수수료를 정산한 후, NFT 판매금액을 미소이미지 트레이닝용 앱 모듈쪽으로 전달시키는 NFT판매 중개 서버부(300)로 구성되는 것을 특징으로 한다.
이상에서 설명한 바와 같이, 본 발명에서는
첫째, 미소이미지 트레이닝용 앱 모듈을 통해, 어플구조로 다운로드받아 시간이나 장소에 구애받지 않고, 본인의 최상의 미소를 갖도록 트레이닝시킬 수 있다.
둘째, 시선추적(Eye-tracking)알고리즘엔진부를 통해 시선추적형 깊이카메라부가 구동되기 때문에, 기존에 비해 보다 선명하고, 생동감이 있는 최상의 미소를 촬영시킬 수 있다.
셋째, 미소이미지 트레이닝용 앱 모듈을 통해, 현재 본인의 미소이미지 특징점과 매칭되는 미소짓는 연예인이미지를 화면상에 생성시켜, 미소짓는 연예인이미지를 보면서 트레이닝시킬 수 있고, 이로 인해, 본인의 롤모델을 대상으로 닯고싶다는 동기부여를 자극해 줄 수 있어, 본인 스스로의 노력을 통해, 인상과 인격이 더 밝고 좋아져서, 인간관계를 더 좋게 만들 수 있다.
넷째, 본인의 미소짓는 이미지를 자동적으로 NFT화하여, NFT 판매 중개 서버부를 통해, NFT 판매시키고, NFT 판매금액을 수신받을 수 있는 새로운 수익모델을 제공할 수 있어, 미소이미지 트레이닝용 앱 모듈에 관한 흥미와 관심을 기존에 비해 1.5배~3배 향상시킬 수 있다.
도 1은 본 발명에 따른 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 NFT 연계형 NFT 미소이미지 활성화 장치(1)의 구성요소를 도시한 블럭도,
도 2는 본 발명에 따른 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 NFT 연계형 NFT 미소이미지 활성화 장치(1)의 구성요소를 도시한 구성도,
도 3은 본 발명에 따른 시선추적형 깊이카메라부의 구성요소를 도시한 블럭도,
도 4는 본 발명에 따른 미소이미지 트레이닝용 앱 모듈의 구성요소를 도시한 블럭도,
도 5는 본 발명에 따른 미소이미지 트레이닝용 액티비티부의 구성요소를 도시한 블럭도,
도 6은 본 발명에 따른 미소이미지 트레이닝용 서비스제어부의 구성요소를 도시한 블럭도,
도 7은 본 발명에 따른 미소이미지 트레이닝용 콘텐츠 제어부의 구성요소를 도시한 블럭도,
도 8은 본 발명에 따른 얼굴검출부의 구성요소를 도시한 블럭도,
도 9는 본 발명에 따른 깊이영상 배경제거부의 구성요소를 도시한 블럭도,
도 10은 본 발명에 따른 그래스 파이어(Grass Fire)알고리즘엔진부를 통해 각 후보 영역들의 탑(Top), 바닥(Bottom), 왼쪽(left), 오른쪽(right)의 좌표들을 구하고, 4개의 좌표를 이용하여 중심의 좌표를 연산시키는 것을 도시한 일실시예도,
도 11은 본 발명에 따른 하아 라이크(Haar like) 특징추출부의 구성요소를 도시한 블럭도,
도 12는 본 발명에 따른 패스트 코너 검출알고리즘엔진부를 통해 중심의 픽셀과 그 주변의 픽셀들과의 차이를 구분하기 위한 임계값을 구성한 후, 비교하여 특징점을 추출시키는 것을 도시한 일실시예도,
도 13은 본 발명에 따른 연예인데이터셋매칭부의 구성요소를 도시한 블럭도,
도 14는 본 발명에 따른 연예인매칭이미지생성부를 통해 미소이미지에서 추출한 특징점과, 연예인이미지의 특징점을 매칭시켜, 매칭율이 70%이상이 연예인이미지를 생성시키는 것을 도시한 일실시예도,
도 15는 본 발명에 따른 NFT판매 중개 서버부의 구성요소를 도시한 블럭도,
도 16은 본 발명에 따른 미소이미지 트레이닝용 앱 모듈을 통해, 현재 본인의 미소이미지 특징점과 매칭되는 미소짓는 연예인이미지를 화면상에 생성시켜, 미소짓는 연예인이미지를 보면서 트레이닝시키는 것을 도시한 일실시예도,
도 17은 본 발명에 따른 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 NFT 연계형 NFT 미소이미지 활성화장치의 구성요소 중 시선추적형 깊이카메라부(100), 미소이미지 트레이닝용 앱 모듈(200), NFT판매 중개 서버부(300)간의 동작과정을 도시한 일실시예도,
도 18은 본 발명에 따른 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 NFT 연계형 NFT 미소이미지 활성화 방법을 도시한 순서도,
도 19는 본 발명에 따른 미소이미지 트레이닝용 앱 모듈을 통해, 시선추적형 깊이카메라부로부터 전송된 얼굴이미지에서, 미소이미지를 추출하는 구체적인 과정을 도시한 순서도.
도 2는 본 발명에 따른 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 NFT 연계형 NFT 미소이미지 활성화 장치(1)의 구성요소를 도시한 구성도,
도 3은 본 발명에 따른 시선추적형 깊이카메라부의 구성요소를 도시한 블럭도,
도 4는 본 발명에 따른 미소이미지 트레이닝용 앱 모듈의 구성요소를 도시한 블럭도,
도 5는 본 발명에 따른 미소이미지 트레이닝용 액티비티부의 구성요소를 도시한 블럭도,
도 6은 본 발명에 따른 미소이미지 트레이닝용 서비스제어부의 구성요소를 도시한 블럭도,
도 7은 본 발명에 따른 미소이미지 트레이닝용 콘텐츠 제어부의 구성요소를 도시한 블럭도,
도 8은 본 발명에 따른 얼굴검출부의 구성요소를 도시한 블럭도,
도 9는 본 발명에 따른 깊이영상 배경제거부의 구성요소를 도시한 블럭도,
도 10은 본 발명에 따른 그래스 파이어(Grass Fire)알고리즘엔진부를 통해 각 후보 영역들의 탑(Top), 바닥(Bottom), 왼쪽(left), 오른쪽(right)의 좌표들을 구하고, 4개의 좌표를 이용하여 중심의 좌표를 연산시키는 것을 도시한 일실시예도,
도 11은 본 발명에 따른 하아 라이크(Haar like) 특징추출부의 구성요소를 도시한 블럭도,
도 12는 본 발명에 따른 패스트 코너 검출알고리즘엔진부를 통해 중심의 픽셀과 그 주변의 픽셀들과의 차이를 구분하기 위한 임계값을 구성한 후, 비교하여 특징점을 추출시키는 것을 도시한 일실시예도,
도 13은 본 발명에 따른 연예인데이터셋매칭부의 구성요소를 도시한 블럭도,
도 14는 본 발명에 따른 연예인매칭이미지생성부를 통해 미소이미지에서 추출한 특징점과, 연예인이미지의 특징점을 매칭시켜, 매칭율이 70%이상이 연예인이미지를 생성시키는 것을 도시한 일실시예도,
도 15는 본 발명에 따른 NFT판매 중개 서버부의 구성요소를 도시한 블럭도,
도 16은 본 발명에 따른 미소이미지 트레이닝용 앱 모듈을 통해, 현재 본인의 미소이미지 특징점과 매칭되는 미소짓는 연예인이미지를 화면상에 생성시켜, 미소짓는 연예인이미지를 보면서 트레이닝시키는 것을 도시한 일실시예도,
도 17은 본 발명에 따른 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 NFT 연계형 NFT 미소이미지 활성화장치의 구성요소 중 시선추적형 깊이카메라부(100), 미소이미지 트레이닝용 앱 모듈(200), NFT판매 중개 서버부(300)간의 동작과정을 도시한 일실시예도,
도 18은 본 발명에 따른 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 NFT 연계형 NFT 미소이미지 활성화 방법을 도시한 순서도,
도 19는 본 발명에 따른 미소이미지 트레이닝용 앱 모듈을 통해, 시선추적형 깊이카메라부로부터 전송된 얼굴이미지에서, 미소이미지를 추출하는 구체적인 과정을 도시한 순서도.
먼저, 본 발명에서 설명되는 최상의 미소는 사용자가 미소지을 때 생성되는 미소이미지와, 미소짓는 연예인이미지를 매칭시켜서, 매칭율이 90%이상이 되는 것을 최상의 미소로 설정된다.
이하, 본 발명에 따른 바람직한 실시예를 도면을 첨부하여 설명한다.
도 1은 본 발명에 따른 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 NFT 연계형 NFT 미소이미지 활성화 장치(1)의 구성요소를 도시한 블럭도에 관한 것이고, 도 2는 본 발명에 따른 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 NFT 연계형 NFT 미소이미지 활성화 장치(1)의 구성요소를 도시한 구성도에 관한 것으로, 이는 얼굴이미지에서, 미소이미지를 추출한 후, 현재 본인의 미소이미지 특징점과 매칭되는 미소짓는 연예인이미지를 보면서 트레이닝시키고, 미소짓는 본인의 이미지를 NFT화하여, NFT판매 중개시키도록 구성된다.
보다 구체적으로, 상기 최상의 미소 NFT 연계형 NFT 미소이미지 활성화 장치(1)는 시선추적형 깊이카메라부(100), 미소이미지 트레이닝용 앱 모듈(200), NFT판매 중개 서버부(300)로 구성된다.
먼저, 본 발명에 따른 시선추적형 깊이카메라부(100)에 관해 설명한다.
상기 시선추적형 깊이카메라부(100)는 스마트디바이스 또는 특정공간 일측에 설치되고, 미소이미지 트레이닝용 앱 모듈의 구동신호에 따라 구동되어, 시선을 추적하면서 촬영하고자 하는 사람의 얼굴 깊이정보를 기반으로, 얼굴을 촬영시키는 역할을 한다.
이는 레이저나 적외선을 객체나 대상 영역에 비추어 되돌아오는 광선을 받아 시간 차이를 계산하는 TOF 방식으로 거리 정보를 계산한다.
영상 화소 단위로 깊이 정보를 얻을 수 있어 움직이는 사람의 얼굴이미지의 실시간 깊이 정보를 모을 수 있다.
상기 시선추적형 깊이카메라부(100)는 도 3에 도시한 바와 같이, 스마트디바이스용 깊이카메라(110), 스마트디바이스용 IR이미터(120), 스마트디바이스용 컬러센서(130), 스마트디바이스용 IR 깊이센서(140), 스마트디바이스용 줌모터(150)로 구성된다.
상기 스마트디바이스용 깊이카메라(110)는 스마트디바이스 일측에 위치되어, 촬영하고자 하는 사람의 얼굴을 촬영시키는 역할을 한다.
상기 스마트디바이스용 IR이미터(120)는 스마트디바이스용 깊이카메라 일측에 위치되어, 적외선 스펙트럼에서 빛의 파장을 방출하는 역할을 한다.
상기 스마트디바이스용 컬러센서(130)는 스마트디바이스용 IR이미터 일측에 위치되어, 표면 색상을 감지하는 역할을 한다.
이는 사용자 얼굴에 투광한 뒤 반사광에서 색도좌표를 계산하여 이를 저장된 기준색도와 비교하는 색도비교분석알고리즘이 포함되어 구성된다.
상기 스마트디바이스용 IR 깊이센서(140)는 스마트디바이스용 컬러센서 일측에 위치되어, 반사된 레이저 빔 포인트로 각 픽셀간 거리를 측정하여 사용자의 얼굴을 인식시키는 역할을 한다.
상기 줌모터(150)는 깊이카메라의 렌즈를 줌인시켜, 확대시키거나, 또는 줌아웃시켜, 축소시키는 역할을 한다.
이처럼, 상기 스마트디바이스용 깊이카메라(110), 스마트디바이스용 IR이미터(120), 스마트디바이스용 컬러센서(130), 스마트디바이스용 IR 깊이센서(140), 스마트디바이스용 줌모터(150)로 이루어진 시선추적형 깊이카메라부(100)를 통해 촬영한 깊이 영상은 카메라 센서로부터 입력받은 영상의 픽셀에 색의 정보 또는 이진영상의 명암정보 대신 깊이의 정보를 가지고 있는 영상이다.
또한, 본 발명에 따른 시선추적형 깊이카메라부(100)는 시선추적(Eye-tracking)알고리즘엔진부(160)가 포함되어 구성된다.
상기 시선추적(Eye-tracking)알고리즘엔진부(160)는 촬영하고자 하는 사람의 눈에 관한 움직임을 동영상으로 촬영하여 시선의 움직임을 관찰하면서, 깊이카메라를 구동시켜 영상촬영시키는 역할을 한다.
이는 시각분석이 가능한 망막(retina)의 중심와(fovea)에서 적외선을 추출하여 시선의 움직임을 파악하고 실험 자료와의 거리, 시선 영상을 촬영하는 카메라의 위치, 실험 자료의 크기 등을 고려하여 시선 위치를 계산하게 된다.
그 결과 참여자의 시선 위치를 좌표를 통해 나타냄으로써 어느 곳을 보는지 시선의 움직임을 관찰할 수 있다.
상기 시선은 눈의 근육을 이용하여 눈동자를 움직여 바라보는 물체와 눈을 잇는 선을 의미하거나, 또는 의도적인 행위로서, 시선의 집중이 바라보는 대상과 관련된 사고가 일어나고 있다는 것을 의미한다.
시선 추적 기법을 사용하여 시선의 움직임을 추적함으로써 의도적, 비의도적 주의 집중을 파악하고 이를 정량적인 데이터로 산출할 수 있다.
시선추적(Eye-tracking)알고리즘엔진부의 시선 추적 과정을 살펴보면, 먼저 시선을 측정하기 위해서 깊이카메라를 이용하여 눈에 관한 움직임을 동영상으로 촬영한다.
사람의 눈에서 망막(retina)은 빛 에너지를 전기 신호로 바꾸어주는 얇은 막으로 망막의 중심에 중심와(fovea)가 위치해 있다.
이 망막의 중심와에서 적외선을 추출하여 움직임을 파악하고, 미리 설정된거리,시선 영상을 촬영하는 깊이카메라의 위치, 자료의 크기 등을 고려하여 시선 위치를 연산시킨다.
그 결과, 참여자의 시선 위치를 좌표를 통해 나타냄으로써 어느 곳을 보는지 시선 추적하게 만든다.
개인 마다 동공의 크기와 움직이는 각도가 다르기 때문에 측정 오차를 줄이고, 정확한 시선을 추적하기 위해서 시점보정(calibration)이 이루어진다.
이처럼, 시선추적(Eye-tracking)알고리즘엔진부를 통해 시선추적형 깊이카메라부가 구동되기 때문에, 기존에 비해 보다 선명하고, 생동감이 있는 최상의 미소를 촬영시킬 수 있다.
다음으로, 본 발명에 따른 미소이미지 트레이닝용 앱 모듈(200)에 관한 설명한다.
상기 미소이미지 트레이닝용 앱 모듈(200)은 스마트디바이스 내에 어플형태로 활성화되어, 미소이미지 트레이닝용 앱을 다운받아 활성화시켜, 시선추적형 깊이카메라부로부터 전송된 얼굴이미지에서, 미소이미지를 추출한 후, 현재 본인의 미소이미지 특징점과 매칭되는 미소짓는 연예인이미지를 화면상에 생성시켜, 미소짓는 연예인이미지를 보면서 트레이닝시키고, NFT판매 중개 서버부로부터 NFT 판매금액을 수신받는 역할을 한다.
이는 도 4에 도시한 바와 같이, 미소이미지 트레이닝용 액티비티부(210), 미소이미지 트레이닝용 서비스제어부(220), 미소이미지 트레이닝용 브로드캐스트 리시버부(230), 미소이미지 트레이닝용 콘텐츠 제어부(240)로 구성된다.
첫째, 본 발명에 따른 미소이미지 트레이닝용 액티비티부(210)에 관해 설명한다.
상기 미소이미지 트레이닝용 액티비티부(210)는 스마트디바이스의 화면상에 미소이미지 트레이닝용소비자 인터페이스(UI)를 생성시키는 역할을 한다.
이는 도 5에 도시한 바와 같이, 미소이미지 트레이닝용 프레그멘트(Fragments)부(211), 미소이미지 트레이닝용 액티비티 라이프 사이클부(212), 미소이미지 트레이닝용 구성변환부(213), 미소이미지 트레이닝용 액티비티결과값수신부(214), 미소이미지 트레이닝용 상태저장부(215), 미소이미지 트레이닝용 권한설정부(216), 미소이미지 트레이닝용 프로세스라이프사이클부(217)로 구성된다.
상기 미소이미지 트레이닝용 프레그멘트(Fragments)부(211)는 한 화면에 다양한 인터페이스 또는 응용 프로그램을 확장 및 구축시키는 역할을 한다.
상기 미소이미지 트레이닝용 액티비티 라이프 사이클부(212)는 액티비티의 동작 상태에 따라 전체(Entire), 가시성(Visible), 이전 수명(Foreground Lifetime)으로 구분하여 사이클을 형성시키는 역할을 한다.
상기 미소이미지 트레이닝용 구성변환부(213)는 액티비티의 환경 변화에 따라 변경시키고, 런타임 변경시 온디스트로이(onDestroy)호출과, 액티비티를 다시 시작시키는 역할을 한다.
상기 미소이미지 트레이닝용 액티비티결과값수신부(214)는 액티비티가 끝나면, 그 결과값을 반환하거나, 또는 그 결과값을 받아오는 역할을 한다.
상기 미소이미지 트레이닝용 상태저장부(215)는 액티비티의 동작상태, 액티비티 결과값을 저장시키는 역할을 한다.
상기 미소이미지 트레이닝용 권한설정부(216)는 특정활동에 대한 액세스 권한 부여를 설정시키는 역할을 한다.
상기 미소이미지 트레이닝용 프로세스라이프사이클부(217)는 미소이미지 트레이닝용 앱의 메모리 부족시 오랜된 프로세스를 설정값에 따라 자동으로 제거하고, 프로세스의 우선순위를 조절시키는 역할을 한다.
둘째, 본 발명에 따른 미소이미지 트레이닝용 서비스제어부(220)에 관해 설명한다.
상기 미소이미지 트레이닝용 서비스제어부(220)는 백그라운드에서 실행되어, 미소이미지 트레이닝용 앱의 또 다른 구성요소를 서비스에 바인딩하여 서비스와 상호작용하면서, 프로세스간 통신을 수행시키도록 제어하는 역할을 한다.
이는 도 6에 도시한 바와 같이, 메인화면그라운드 서비스 제어부(221), 백그라운드서비스 제어부(222), 바인드 제어부(223)가 포함되어 구성된다.
상기 메인화면그라운드 서비스 제어부(221)는 사용자에게 잘 보이는 서비스 작업을 수행시키도록 제어하는 역할을 한다.
일예로, 미소이미지 트레이닝용 앱이라면 클릭시 광고 카테고리를 활성화시킬 때, 메인화면그라운드 서비스 제어부가 구동된다.
그리고, 상기 메인화면그라운드 서비스 제어부는 알림을 표시하고, 사용자가 앱과 상호작용하지 않을 때도 계속 실행되도록 구성된다.
상기 백그라운드서비스 제어부(222)는 사용자에게 직접 보이지 않는 서비스 작업을 수행시키도록 제어하는 역할을 한다.
일예로, 미소이미지 트레이닝용 앱이 저장소를 압축하는데 서비스를 사용했다면, 이것은 백그라운드서비스 제어부의 작업이다.
상기 바인드 제어부(223)는 미소이미지 트레이닝용 앱의 구성요소인 바인드서비스(bindService)를 호출하여 해당 서비스를 바인딩시키면 서비스를 바인딩시키도록 제어하는 역할을 한다.
바인딩된 서비스는 미소이미지 트레이닝용 제어모듈과 인터페이스를 제공하여 구성요소가 서비스와 상호작용하게 하며, 결과를 받을 수 있고, 여러 프로세스에 걸쳐 프로세스간 통신(IPC)으로 수행할 수 있다.
이처럼, 메인화면그라운드 서비스 제어부, 백그라운드서비스 제어부, 바인드 제어부로 이루어진 미소이미지 트레이닝용 서비스 제어부는 사용자가 미소이미지 트레이닝용 앱과 상호작용하는 동안 기본 스레드 밖에서 작업을 수행해야 하는 경우, 새 스레드를 생성시키도록 구성된다.
즉, 미소이미지 트레이닝용 액티비티부가 실행되는 중에만 실시간으로 광고를 재생시키고자 하는 경우, 온크리에이트(onCreate) 안에 스레드를 생성하고, 이를 온스타트(onStart)에서 실행하기 시작한 다음, 온스탑(onStop)에서 중단하도록 구성된다.
셋째, 본 발명에 따른 미소이미지 트레이닝용 브로드캐스트 리시버부(230)에 관해 설명한다.
상기 미소이미지 트레이닝용 브로드캐스트 리시버부(230)는 스마트디바이스의 시스템 이벤트가 발생시 알림의 브로드 캐스트 메시지를 화면상에 생성시키는 역할을 한다.
여기서, 스마트디바이스의 시스템 이벤트는 기기의 충전 알림, 전원오프 알림 등의 이벤트를 말한다.
상기 미소이미지 트레이닝용 브로드캐스트 리시버부는 인터페이스를 제공하지 않고, 시스템 앱과 미소이미지 트레이닝용 앱 사이에서 양방향으로 브로드 캐스트 메시지를 송수신시키도록 구성된다.
그리고, 매니페스트(manifest)엔 선언된 수신자 및 컨텍스트에 등록된 수신자를 통해 브로드캐스트 메시지를 수신하도록 구성된다.
넷째, 본 발명에 따른 미소이미지 트레이닝용 콘텐츠 제어부(240)에 관해 설명한다.
상기 미소이미지 트레이닝용 콘텐츠 제어부(240)는 미소이미지 트레이닝용 앱에 저장한 미소이미지 트레이닝용 콘텐츠에 대한 액세스 권한을 관리하고 제어하는 역할을 한다.
이는 하나의 프로세스의 미소이미지 트레이닝용 콘텐츠에 다른 프로세스에서 실행 중인 코드를 연결하는 표준인터페이스로 구성된다.
또한, 스마트 디바이스의 애플리케이션이 미소이미지 트레이닝용 앱의 미소이미지 트레이닝용 콘텐츠에 안전하게 액세스하여 이를 수정할 수 있도록 허용하는 기능을 제공한다.
그리고, 미소이미지 트레이닝용 콘텐츠 액세스 권한에 데한 세분화된 제어 기능이 구성된다.
이로 인해, 애플리케이션 내에서만 미소이미지 트레이닝용 콘텐츠 제공부에 액세스하도록 제한하거나, 다른 애플리케이션에서 미소이미지 트레이닝용 앱 데이터에 액세스하도록 포괄적인 권한을 부여하거나, 콘텐츠데이터 읽기 및 쓰기에 다른 권한을 설정한다.
본 발명에 따른 미소이미지 트레이닝용 콘텐츠 제어부는 스마트 디바이스의 또 다른 어플리케이션에 맞춤 검색 추전을 구현하거나, 미소이미지 트레이닝용 앱 콘텐츠데이터를 위젯에 노출시킨다.
또한, 미소이미지 트레이닝용 앱에서 여러 가지 데이터 소스에 액세스하기 위한 세부정보를 추상화하도록 구성된다.
즉, 미소이미지 트레이닝용 앱에 SQLite 데이터 베이스에 동영상 및 오디오 파일과 함께 구조화된 기록이 담긴 원본데이터가 저장되어 있다면, 이 원본데이터에 모두 액세스할 수 있다.
상기 미소이미지 트레이닝용 콘텐츠 제어부(240)는 도 7에 도시한 바와 같이, 얼굴검출부(241), 미소이미지 추출부(242), 특징점 추출부(243), 연예인데이터셋매칭부(244), NFT생성부(245), NFT 판매금액수신부(246)가 포함되어 구성된다.
[얼굴검출부(241)]
상기 얼굴검출부(241)는 사람의 얼굴이미지 중에서 깊이영상 배경을 제거하고, 객체를 레이블링시킨 후, 얼굴 이미지를 검출시키는 역할을 한다.
이는 도 8에 도시한 바와 같이, 깊이영상 배경제거부(241a), 객체레이블링부(241b)로 구성된다.
첫째, 본 발명에 따른 깊이영상 배경제거부(241a)에 관해 설명한다.
상기 깊이영상 배경제거부(241a)는 깊이영상의 배경을 제거시키는 역할을 한다.
이는 도 9에 도시한 바와 같이, 깊이 영상 배경 프레임부(241a-1), 배경제거부(241a-2)로 구성된다.
상기 깊이 영상 배경 프레임부(241a-1)는 이전 프레임의 누적값을 계산하는 방식으로 배경을 삭제하기 위해선 필수적으로 해야 하는 전처리 과정을 수행하는 역할을 한다.
본 발명에서는 15프레임 전까지의 값을 누적하고 15프레임이 넘으면 그 누적된 값을 빼주는 방식으로 이루어진다.
상기 배경제거부(241-2)는 프레임의 누적값을 이용하여 현재의 프레임과의 차를 이용해 배경을 제거시키는 역할을 한다.
이는 프레임의 깊이값의 변화가 없는 부분을 배경으로 인식하여 제거하고, 값의 변화가 있는 부분을 객체로 판별해 유지시켜주도록 구성된다.
이러한 과정으로 배경을 삭제시킨다.
여기서, 배경을 없애는 이유는 잡음이 발생되는 지점을 여러 프레임에 나눠서 누적한 후에 결과 프레임에서 빼주면 결국 배경이 제거된 형태를 취할 수 있기 때문이다.
둘째, 본 발명에 따른 객체 레이블링부(241b)에 관해 설명한다.
상기 객체 레이블링부(241b)는 상, 하, 좌, 우 4방향의 탐색을 거쳐 레이블링을 수행시키는 역할을 한다.
이는 그래스 파이어(Grass Fire)알고리즘엔진부(241b-1)가 포함되어 구성된다.
즉, 상,하, 좌, 우 4방향의 탐색이 이루어지도록 구성된다.
레이블링을 수행하기 위해 객체의 후보영역을 255, 나머지 배경부분을 0으로 이진화시킨다.
그래스 파이어(Grass Fire)알고리즘엔진부는 각 후보 영역들의 탑(Top), 바닥(Bottom), 왼쪽(left), 오른쪽(right)의 좌표들을 구할 수 있고, 4개의 좌표를 이용하여 중심의 좌표를 연산시킨다.
도 10에 도시한 바와 같이, 시작 지점(0,0)의 0으로 번호를 부여하여 처음 밝은 화소를 만나면, 스택에 좌표를 저장한 후, 8-이웃 검색을 수행한다.
도 10의 b에 위치한 8-이웃 화소를 검색하여 밝은 화소를 발견하게 되면 번호를 확인하고, 확인한 번호가 0이면 스택에 저장한 후, 8-이웃 화소를 다시 검색한다.
더 이상 밝은 좌표가 없이 배경만 나타난다면 도 10의 c에 위치한 스택에 있는 좌표를 꺼내 탐색한다.
도 10의 d에 위치한 영상에 모든 좌표에 번호가 부여될 때까지 탐색한다.
[미소이미지 추출부(242)]
상기 미소이미지 추출부(242)는 얼굴검출부를 통해 검출시킨 얼굴이미지 중에서 미소짓는 이미지를 추출시키는 역할을 한다.
이는 도 11에 도시한 바와 같이, 하아 라이크(Haar like) 특징추출부(242a)를 통해 추출되도록 구성된다.
여기서, 하아 라이크(Haar like) 특징추출부는 엣지(Edge)나 라인(Line)으로 표현되며, 사각형으로 형성된다.
하아 라이크(Haar like) 특징 값은 두가지 사각형 영역의 명암합의 가중차로 이루어진다.
그리고, 하아 라이크(Haar like) 특징추출부는 엣지 혹은 라인 특징을 갖는 것 중 어느 하나가 선택되어, 얼굴이미지 상에 배치된 후, 미소짓는 이미지를 추출시킨다.
[특징점 추출부(243)]
상기 특징점 추출부(243)는 연예인 미소이미지와 매칭시키기 위해, 미소이미지 추출부를 통해 추출한 미소이미지에서, 특징점을 패스트 코너 검출알고리즘을 통해 추출시키는 역할을 한다.
이는 패스트 코너 검출알고리즘엔진부(243a)가 포함되어 구성된다.
여기서, 패스트 코너 검출알고리즘엔진부(243a)는 중심의 픽셀과 그 주변의 픽셀들과의 차이를 구분하기 위한 임계값으로 구성된다.
도 12에 도시한 바와 같이, 임의의 픽셀 'P'주위로 반경 3픽셀의 둘레를 이루는 16개의 주변 픽셀영역을 설정하고 비교한다.
먼저 1,5,9,13에 위치한 밝기 값을 픽셀 'P'와 비교하여 명암이 다르다면 1, 비슷하면 0을 설정하여 3 이상이 되면 후보 특징점으로 선택한다.
그 후 나머지 밝기 값과 비료글 하여 12 이상이면 특징점으로 결정하게 되고, 각 특징점 주위로 이웃한 8개의 픽셀 밝기 값과 비교하여 제일 큰 값을 가지고 있는 픽셀을 최종 특징점으로 결정한다.
[연예인데이터셋매칭부(244)]
상기 연예인데이터셋매칭부(244)는 미소이미지에서 추출한 특징점을 기반으로 연예인데이터셋에 위치한 연예인 미소이미지를 매칭시키는 역할을 한다.
이는 도 13에 도시한 바와 같이, 연예인데이터셋부(244a), 연예인매칭이미지생성부(244b)로 구성된다.
상기 연예인데이터셋부(244a)는 미소짓고 있는 연예인이미지와, 그 미소짓고 있는 연예인이미지의 특징점을 데이터셋구조로 형성시키는 역할을 한다.
상기 연예인매칭이미지생성부(244b)는 도 14에 도시한 바와 같이, 미소이미지에서 추출한 특징점과, 연예인이미지의 특징점을 매칭시켜, 매칭율이 70%이상이 연예인이미지를 생성시키는 역할을 한다.
이때, 스마트디바이스 상에는 사용자가 미소지을 때 매칭되는 연예인이미지를 생성시켜, 매일 미소짓는 훈련을 반복시키도록 구성할 수가 있다.
[NFT생성부(245)]
상기 NFT 생성부(245)는 연예인매칭이미지생성부를 통해 생성된 미소짓는 연예인 이미지를 보면서 트레이닝하다가, 미소짓는 연예인이미지와 매칭율이 90% 이상인 사용자의 미소이미지를 NFT 형태로 생성시키는 역할을 한다.
여기서, 미소짓는 연예인이미지와 매칭율이 90% 이상이라는 것은 눈, 코, 입술의 특징점을 기준으로 미소짓는 연예인이미지와 매칭율이 90%로 닮은 것을 말한다.
이는 미소짓는 연예인이미지와 매칭율이 90% 이상인 사용자의 미소이미지를 최상의 미소이미지로 설정하여, NFT 형태로 생성시킨다. 그 이유는 NFT시장의 희귀성 특성에 맞도록 구성하기 위함이다.
[NFT 판매금액수신부(246)]
상기 NFT 판매금액수신부(246)는 NFT판매 중개 서버부로부터 NFT 판매금액을 수신받는 역할을 한다.
다음으로, 본 발명에 따른 NFT판매 중개 서버부(300)에 관해 설명한다.
상기 NFT판매 중개 서버부(300)는 NFT 판매사이트와 연계되어, 미소이미지 트레이닝용 앱 모듈에서 생성된 NFT 미소이미지를 중간에서 중개 판매시키고, 판매된 금액 중 수수료를 정산한 후, NFT 판매금액을 미소이미지 트레이닝용 앱 모듈쪽으로 전달시키는 역할을 한다.
이는 도 15에 도시한 바와 같이, NFT 생성데이터수신부(310), NFT 판매사이트연계부(320), NFT 생성데이터업로딩부(330), 비용관리제어부(340)로 구성된다.
상기 NFT 미소이미지수신부(310)는 NFT 생성부에서 생성된 NFT 미소이미지를 수신받아 저장시키는 역할을 한다.
상기 NFT 판매사이트연계부(320)는 NFT 판매사이트와 연계시켜, NFT 판매중개를 수행시키는 역할을 한다.
여기서, NFT 판매사이트는 OPENsea로 이루어진다.
상기NFT 미소이미지업로딩부(330)는 NFT 판매사이트연계부를 통해 NFT 판매사이트와 연계시킨 곳에 NFT 미소이미지를 업로딩시켜 판매를 수행시키는 역할을 한다.
상기 비용관리제어부(340)는 NFT 판매시, 판매된 금액 중 수수료를 정산한 후, NFT를 생성한 미소이미지 트레이닝용 앱 모듈쪽으로 전달시키는 역할을 한다.
이하, 본 발명에 따른 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 NFT 연계형 NFT 미소이미지 활성화 방법의 구체적인 동작과정에 관해 설명한다.
도 18은 본 발명에 따른 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 NFT 연계형 NFT 미소이미지 활성화 방법을 도시한 순서도에 관한 것이다.
먼저, 시선추적형 깊이카메라부가 미소이미지 트레이닝용 앱 모듈의 구동신호에 따라 구동되어, 스마트디바이스상에서 시선을 추적하면서 촬영하고자 하는 사람의 얼굴 깊이정보를 기반으로, 얼굴을 촬영시킨다(S10).
이는 시선추적(Eye-tracking)알고리즘엔진부를 통해, 촬영하고자 하는 사람의 눈에 관한 움직임을 동영상으로 촬영하여 시선의 움직임을 관찰하면서, 깊이카메라를 구동시켜 영상촬영시킨다.
즉, 시각분석이 가능한 망막(retina)의 중심와(fovea)에서 적외선을 추출하여 시선의 움직임을 파악하고 실험 자료와의 거리, 시선 영상을 촬영하는 카메라의 위치, 실험 자료의 크기 등을 고려하여 시선 위치를 계산하게 된다.
다음으로, 미소이미지 트레이닝용 앱 모듈을 통해, 시선추적형 깊이카메라부로부터 전송된 얼굴이미지에서, 미소이미지를 추출한다(S20).
즉, 도 19에 도시한 바와 같이, 얼굴검출부를 통해, 사람의 얼굴이미지 중에서 깊이영상 배경을 제거하고, 객체를 레이블링시킨 후, 얼굴 이미지를 검출시킨다(S21).
이어서, 미소이미지 추출부에서 얼굴검출부를 통해 검출시킨 얼굴이미지 중에서 미소짓는 이미지를 추출시킨다(S22).
이어서, 특징점 추출부에서, 연예인 미소이미지와 매칭시키기 위해, 미소이미지 추출부를 통해 추출한 미소이미지에서, 특징점을 패스트 코너 검출알고리즘을 통해 추출시킨다(S23).
다음으로, 도 16에 도시한 바와 같이, 미소이미지 트레이닝용 앱 모듈을 통해, 현재 본인의 미소이미지 특징점과 매칭되는 미소짓는 연예인이미지를 화면상에 생성시켜, 미소짓는 연예인이미지를 보면서 트레이닝시킨다(S30).
다음으로, 도 17에 도시한 바와 같이, 미소이미지 트레이닝용 앱 모듈을 통해, 미소짓는 연예인이미지와 매칭율이 90% 이상인 사용자의 미소이미지를 NFT 형태로 생성시킨다(S40).
다음으로, 도 17에 도시한 바와 같이, NFT판매 중개 서버부를 통해, 미소이미지 트레이닝용 앱 모듈에서 생성된 NFT 미소이미지를 중간에서 중개 판매시키고, 판매된 금액 중 수수료를 정산한 후, NFT 판매금액을 미소이미지 트레이닝용 앱 모듈쪽으로 전달시킨다(S50).
끝으로, 도 17에 도시한 바와 같이, 미소이미지 트레이닝용 앱 모듈에서, NFT판매 중개 서버부로부터 NFT 판매금액을 수신받아, NFT판매 중개를 완료한다(S60).
1 : 최상의 미소 NFT 연계형 NFT 미소이미지 활성화 장치
100 : 시선추적형 깊이카메라부
110 : 깊이카메라
120 : IR이미터
130 : 컬러센서
140 : IR 깊이센서
150 : 줌모터
160 : 시선추적(Eye-tracking)알고리즘엔진부
200 : 미소이미지 트레이닝용 앱 모듈
210 : 미소이미지 트레이닝용 액티비티부
220 : 미소이미지 트레이닝용 서비스제어부
230 : 미소이미지 트레이닝용 브로드캐스트 리시버부
240 : 미소이미지 트레이닝용 콘텐츠 제어부
300 : NFT판매 중개 서버부
310 : NFT 생성데이터수신부
320 : NFT 판매사이트연계부
330 : NFT 생성데이터업로딩부
340 : 비용관리제어부
100 : 시선추적형 깊이카메라부
110 : 깊이카메라
120 : IR이미터
130 : 컬러센서
140 : IR 깊이센서
150 : 줌모터
160 : 시선추적(Eye-tracking)알고리즘엔진부
200 : 미소이미지 트레이닝용 앱 모듈
210 : 미소이미지 트레이닝용 액티비티부
220 : 미소이미지 트레이닝용 서비스제어부
230 : 미소이미지 트레이닝용 브로드캐스트 리시버부
240 : 미소이미지 트레이닝용 콘텐츠 제어부
300 : NFT판매 중개 서버부
310 : NFT 생성데이터수신부
320 : NFT 판매사이트연계부
330 : NFT 생성데이터업로딩부
340 : 비용관리제어부
Claims (8)
- 얼굴이미지에서, 미소이미지를 추출한 후, 현재 본인의 미소이미지 특징점과 매칭되는 미소짓는 연예인이미지를 보면서 트레이닝시키고, 미소짓는 본인의 이미지를 NFT화하여, NFT판매 중개시키는 것을 특징으로 하는 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 NFT 연계형 NFT 미소이미지 활성화 장치.
- 제1항에 있어서, 상기 최상의 미소 NFT 연계형 NFT 미소이미지 활성화 장치는
스마트디바이스 또는 특정공간 일측에 설치되고, 미소이미지 트레이닝용 앱 모듈의 구동신호에 따라 구동되어, 시선을 추적하면서 촬영하고자 하는 사람의 얼굴 깊이정보를 기반으로, 얼굴을 촬영시키는 시선추적형 깊이카메라부(100)와,
스마트디바이스 내에 어플형태로 활성화되어, 미소이미지 트레이닝용 앱을 다운받아 활성화시켜, 시선추적형 깊이카메라부로부터 전송된 얼굴이미지에서, 미소이미지를 추출한 후, 현재 본인의 미소이미지 특징점과 매칭되는 미소짓는 연예인이미지를 화면상에 생성시켜, 미소짓는 연예인이미지를 보면서 트레이닝시키고, NFT판매 중개 서버부로부터 NFT 판매금액을 수신받는 미소이미지 트레이닝용 앱 모듈(200)과,
NFT 판매사이트와 연계되어, 미소이미지 트레이닝용 앱 모듈에서 생성된 NFT 미소이미지를 중간에서 중개 판매시키고, 판매된 금액 중 수수료를 정산한 후, NFT 판매금액을 미소이미지 트레이닝용 앱 모듈쪽으로 전달시키는 NFT판매 중개 서버부(300)로 구성되는 것을 특징으로 하는 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 NFT 연계형 NFT 미소이미지 활성화 장치.
- 제2항에 있어서, 상기 시선추적형 깊이카메라부(100)는
스마트디바이스 일측에 위치되어, 촬영하고자 하는 사람의 얼굴을 촬영시키는 스마트디바이스용 깊이카메라(110)와,
스마트디바이스용 깊이카메라 일측에 위치되어, 적외선 스펙트럼에서 빛의 파장을 방출하는 스마트디바이스용 IR이미터(120)와,
스마트디바이스용 IR이미터 일측에 위치되어, 표면 색상을 감지하는 스마트디바이스용 컬러센서(130)와,
스마트디바이스용 컬러센서 일측에 위치되어, 반사된 레이저 빔 포인트로 각 픽셀간 거리를 측정하여 사용자의 얼굴을 인식시키는 스마트디바이스용 IR 깊이센서(140)와,
깊이카메라의 렌즈를 줌인시켜, 확대시키거나, 또는 줌아웃시켜, 축소시키는 줌모터(150)로 구성되는 것을 특징으로 하는 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 NFT 연계형 NFT 미소이미지 활성화 장치.
- 제2항에 있어서, 상기 미소이미지 트레이닝용 앱 모듈(200)은
스마트디바이스의 화면상에 미소이미지 트레이닝용소비자 인터페이스(UI)를 생성시키는 미소이미지 트레이닝용 액티비티부(210)와,
백그라운드에서 실행되어, 미소이미지 트레이닝용 앱의 또 다른 구성요소를 서비스에 바인딩하여 서비스와 상호작용하면서, 프로세스간 통신을 수행시키도록 제어하는 미소이미지 트레이닝용 서비스제어부(220)와,
스마트디바이스의 시스템 이벤트가 발생시 알림의 브로드 캐스트 메시지를 화면상에 생성시키는 미소이미지 트레이닝용 브로드캐스트 리시버부(230)와,
미소이미지 트레이닝용 앱에 저장한 미소이미지 트레이닝용 콘텐츠에 대한 액세스 권한을 관리하고 제어하는 미소이미지 트레이닝용 콘텐츠 제어부(240)로 구성되는 것을 특징으로 하는 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 NFT 연계형 NFT 미소이미지 활성화 장치.
- 제4항에 있어서, 상기 미소이미지 트레이닝용 콘텐츠 제어부(240)는
사람의 얼굴이미지 중에서 깊이영상 배경을 제거하고, 객체를 레이블링시킨 후, 얼굴 이미지를 검출시키는 얼굴검출부(241)와,
얼굴검출부를 통해 검출시킨 얼굴이미지 중에서 미소짓는 이미지를 추출시키는 미소이미지 추출부(242)와,
연예인 미소이미지와 매칭시키기 위해, 미소이미지 추출부를 통해 추출한 미소이미지에서, 특징점을 패스트 코너 검출알고리즘을 통해 추출시키는 특징점 추출부(243)와,
미소이미지에서 추출한 특징점을 기반으로 연예인데이터셋에 위치한 연예인 미소이미지를 매칭시키는 연예인데이터셋매칭부(244)와,
연예인매칭이미지생성부를 통해 생성된 미소짓는 연예인 이미지를 보면서 트레이닝하다가, 미소짓는 연예인이미지와 매칭율이 90% 이상인 사용자의 미소이미지를 NFT 형태로 생성시키는 NFT 생성부(245)와,
NFT판매 중개 서버부로부터 NFT 판매금액을 수신받는 NFT 판매금액수신부(246)로 구성되는 것을 특징으로 하는 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 NFT 연계형 NFT 미소이미지 활성화 장치.
- 제2항에 있어서, 상기 NFT판매 중개 서버부(300)는
NFT 생성부에서 생성된 NFT 미소이미지를 수신받아 저장시키는 NFT 미소이미지수신부(310)와,
NFT 판매사이트와 연계시켜, NFT 판매중개를 수행시키는 NFT 판매사이트연계부(320)와,
NFT 판매사이트연계부를 통해 NFT 판매사이트와 연계시킨 곳에 NFT 미소이미지를 업로딩시켜 판매를 수행시키는 NFT 미소이미지업로딩부(330)와,
NFT 판매시, 판매된 금액 중 수수료를 정산한 후, NFT를 생성한 미소이미지 트레이닝용 앱 모듈쪽으로 전달시키는 비용관리제어부(340)로 구성되는 것을 특징으로 하는 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 NFT 연계형 NFT 미소이미지 활성화 장치.
- 시선추적형 깊이카메라부가 미소이미지 트레이닝용 앱 모듈의 구동신호에 따라 구동되어, 스마트디바이스상에서 시선을 추적하면서 촬영하고자 하는 사람의 얼굴 깊이정보를 기반으로, 얼굴을 촬영시키는 단계(S10)와,
미소이미지 트레이닝용 앱 모듈을 통해, 시선추적형 깊이카메라부로부터 전송된 얼굴이미지에서, 미소이미지를 추출하는 단계(S20)와,
미소이미지 트레이닝용 앱 모듈을 통해, 현재 본인의 미소이미지 특징점과 매칭되는 미소짓는 연예인이미지를 화면상에 생성시켜, 미소짓는 연예인이미지를 보면서 트레이닝시키는 단계(S30)와,
미소이미지 트레이닝용 앱 모듈을 통해, 미소짓는 연예인이미지와 매칭율이 90% 이상인 사용자의 미소이미지를 NFT 형태로 생성시키는 단계(S40)와,
NFT판매 중개 서버부를 통해, 미소이미지 트레이닝용 앱 모듈에서 생성된 NFT 미소이미지를 중간에서 중개 판매시키고, 판매된 금액 중 수수료를 정산한 후, NFT 판매금액을 미소이미지 트레이닝용 앱 모듈쪽으로 전달시키는 단계(S50)와,
미소이미지 트레이닝용 앱 모듈에서, NFT판매 중개 서버부로부터 NFT 판매금액을 수신받아, NFT판매 중개를 완료하는 단계(S60)로 이루어지는 것을 특징으로 하는 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 NFT 연계형 NFT 미소이미지 활성화 방법.
- 제7항에 있어서, 상기 미소이미지 트레이닝용 앱 모듈을 통해, 시선추적형 깊이카메라부로부터 전송된 얼굴이미지에서, 미소이미지를 추출하는 단계(S20)는
얼굴검출부를 통해, 사람의 얼굴이미지 중에서 깊이영상 배경을 제거하고, 객체를 레이블링시킨 후, 얼굴 이미지를 검출시키는 단계(S21)와,
미소이미지 추출부에서 얼굴검출부를 통해 검출시킨 얼굴이미지 중에서 미소짓는 이미지를 추출시키는 단계(S22)와,
특징점 추출부에서, 연예인 미소이미지와 매칭시키기 위해, 미소이미지 추출부를 통해 추출한 미소이미지에서, 특징점을 패스트 코너 검출알고리즘을 통해 추출시키는 단계(S23)가 포함되어 이루어지는 것을 특징으로 하는 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 NFT 연계형 NFT 미소이미지 활성화 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220111106A KR20240032291A (ko) | 2022-09-02 | 2022-09-02 | 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 nft 연계형 nft 미소이미지 활성화 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220111106A KR20240032291A (ko) | 2022-09-02 | 2022-09-02 | 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 nft 연계형 nft 미소이미지 활성화 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240032291A true KR20240032291A (ko) | 2024-03-12 |
Family
ID=90299636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220111106A KR20240032291A (ko) | 2022-09-02 | 2022-09-02 | 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 nft 연계형 nft 미소이미지 활성화 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20240032291A (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120084517A (ko) | 2011-01-20 | 2012-07-30 | 원광대학교산학협력단 | 실시간 미소 훈련 시스템 |
-
2022
- 2022-09-02 KR KR1020220111106A patent/KR20240032291A/ko unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120084517A (ko) | 2011-01-20 | 2012-07-30 | 원광대학교산학협력단 | 실시간 미소 훈련 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200175262A1 (en) | Robot navigation for personal assistance | |
| US10318831B2 (en) | Method and system for monitoring the status of the driver of a vehicle | |
| CN106462242B (zh) | 使用视线跟踪的用户界面控制 | |
| US9990861B2 (en) | Smart prosthesis for facilitating artificial vision using scene abstraction | |
| CN108875452A (zh) | 人脸识别方法、装置、系统和计算机可读介质 | |
| US20170011258A1 (en) | Image analysis in support of robotic manipulation | |
| KR102092931B1 (ko) | 시선 추적 방법 및 이를 수행하기 위한 사용자 단말 | |
| KR102106135B1 (ko) | 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법 | |
| US20150006281A1 (en) | Information processor, information processing method, and computer-readable medium | |
| CN105659200A (zh) | 用于显示图形用户界面的方法、设备和系统 | |
| TW201228380A (en) | Comprehension and intent-based content for augmented reality displays | |
| JP7151959B2 (ja) | 映像アライメント方法及びその装置 | |
| KR102134476B1 (ko) | 인공신경망을 이용한 가상 피팅 시스템, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 | |
| CN113920167A (zh) | 一种图像处理方法、装置、存储介质及计算机系统 | |
| CN114245155A (zh) | 直播方法、装置及电子设备 | |
| CN111327888B (zh) | 摄像头控制方法、装置、计算机设备和存储介质 | |
| US11062140B2 (en) | Display method, electronic device and storage medium having the same | |
| CN111723758B (zh) | 视频信息的处理方法、装置、电子设备及存储介质 | |
| KR20140003107A (ko) | 증강 현실 표현 장치 및 방법 | |
| JP2021125876A (ja) | スマート画像キャプチャのためのシステム及び方法 | |
| KR20240032291A (ko) | 미소이미지 트레이닝용 앱 모듈을 통한 최상의 미소 nft 연계형 nft 미소이미지 활성화 장치 및 방법 | |
| CN113495616A (zh) | 终端显示控制方法、终端以及计算机可读存储介质 | |
| CN106815264B (zh) | 一种信息处理方法及系统 | |
| CN114745592A (zh) | 基于人脸识别的弹幕消息的显示方法及系统、设备及介质 | |
| CN113313062A (zh) | 路径获取方法、装置、系统、电子设备及存储介质 |