KR20240041716A - 모바일 장치 및 그 동작 방법 - Google Patents
모바일 장치 및 그 동작 방법 Download PDFInfo
- Publication number
- KR20240041716A KR20240041716A KR1020220121118A KR20220121118A KR20240041716A KR 20240041716 A KR20240041716 A KR 20240041716A KR 1020220121118 A KR1020220121118 A KR 1020220121118A KR 20220121118 A KR20220121118 A KR 20220121118A KR 20240041716 A KR20240041716 A KR 20240041716A
- Authority
- KR
- South Korea
- Prior art keywords
- mobile device
- face
- recognition model
- face recognition
- user
- Prior art date
Links
- 238000011017 operating method Methods 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 62
- 238000012549 training Methods 0.000 claims abstract description 5
- 230000001815 facial effect Effects 0.000 claims description 81
- 238000010586 diagram Methods 0.000 description 37
- 238000004891 communication Methods 0.000 description 35
- 238000013473 artificial intelligence Methods 0.000 description 22
- 239000011521 glass Substances 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000003062 neural network model Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000013523 data management Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000003608 fece Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
- H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
Abstract
모바일 장치 사용자의 얼굴 인식을 위하여 제1 얼굴 인식 모델을 트레이닝 하는 단계, 트레이닝된 제1 얼굴 인식 모델을 적어도 하나의 외부 장치로 전송하고, 적어도 하나의 외부 장치로부터 적어도 하나의 다른 모바일 장치 사용자의 얼굴 인식을 위하여 각각 트레이닝 된 적어도 하나의 제2 얼굴 인식 모델을 획득하는 단계, 모바일 장치에 의하여 획득된 영상으로부터 적어도 하나의 얼굴을 감지하는 단계 및 제1 얼굴 인식 모델 및 적어도 하나의 제2 얼굴 인식 모델을 이용하여 감지된 적어도 하나의 얼굴을 인식하는 단계를 포함하고, 적어도 하나의 제2 얼굴 인식 모델은 적어도 하나의 다른 모바일 장치에서 각 모바일 장치 사용자의 얼굴 인식을 위하여 각각 트레이닝된 모델인, 모바일 장치의 동작 방법이 제공될 수 있다.
Description
다양한 실시예들은 모바일 장치 및 그 동작 방법에 관한 것이다. 더욱 상세하게는 디바이스 별로 학습된 얼굴 인식 모델을 복수의 디바이스가 서로 공유함으로써 다른 사용자의 얼굴을 인식하는 모바일 장치 및 그 동작 방법에 관한 것이다.
기술의 발전에 따라 점점 더 많은 개인 정보가 온라인 상에서 이용되고 있고, 이에 따라 개인 정보 보호의 필요성도 높아지고 있다.
다양한 개인 정보 중, 얼굴 인식 정보와 같은 생체 정보는 금융 애플리케이션을 포함하는 다수의 애플리케이션에서 사용자 식별 방법으로 사용되므로 매우 민감한 개인 정보에 속한다. 또한, 다양한 개인 정보 중, 얼굴 인식 정보와 같은 생체 정보는 금융 애플리케이션을 포함하는 다수의 애플리케이션에서 사용자 식별 방법으로 사용되므로 사용자 식별의 정확도가 중요하다.
이러한 민감한 개인 정보는 사용자의 개인용 디바이스 내에만 존재하는 것이 가장 안전할 것이다. 또한, 개인용 디바이스는 각 사용자에 맞추어 얼굴 인식 모델의 정확도를 향상시킬 수 있다.
따라서, 민감한 개인 정보가 최대한 사용자 디바이스 내에만 존재하면서도 필요한 경우 복수의 디바이스 사이에 공유될 수 있는 기술에 대한 필요가 증가하고 있다.
일 실시예에 따른 모바일 장치의 동작 방법에 있어서, 모바일 장치는 상기 모바일 장치 사용자의 얼굴 인식을 위하여 제1 얼굴 인식 모델을 트레이닝 할 수 있다. 모바일 장치는 상기 트레이닝된 제1 얼굴 인식 모델을 적어도 하나의 외부 장치로 전송하고, 상기 적어도 하나의 외부 장치로부터 적어도 하나의 다른 모바일 장치 사용자의 얼굴 인식을 위하여 각각 트레이닝 된 적어도 하나의 제2 얼굴 인식 모델을 획득할 수 있다. 모바일 장치는 상기 모바일 장치에 의하여 획득된 영상으로부터 적어도 하나의 얼굴을 감지할 수 있다. 모바일 장치는 상기 제1 얼굴 인식 모델 및 상기 적어도 하나의 제2 얼굴 인식 모델을 이용하여 상기 감지된 적어도 하나의 얼굴을 인식할 수 있다. 상기 적어도 하나의 제2 얼굴 인식 모델은 적어도 하나의 다른 모바일 장치에서 각 모바일 장치 사용자의 얼굴 인식을 위하여 각각 트레이닝된 모델일 수 있다.
일 실시예에 따른 모바일 장치는 디스플레이, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 하나 이상의 프로세서를 포함할 수 있다. 모바일 장치에 포함된 상기 하나 이상의 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 모바일 장치 사용자의 얼굴 인식을 위하여 제1 얼굴 인식 모델을 트레이닝 할 수 있다. 모바일 장치에 포함된 상기 하나 이상의 프로세서는, 상기 트레이닝된 제1 얼굴 인식 모델을 적어도 하나의 외부 장치로 전송하고, 상기 적어도 하나의 외부 장치로부터 적어도 하나의 다른 모바일 장치 사용자의 얼굴 인식을 위하여 각각 트레이닝 된 적어도 하나의 제2 얼굴 인식 모델을 획득할 수 있다. 모바일 장치에 포함된 상기 하나 이상의 프로세서는, 상기 모바일 장치에 의하여 획득된 영상으로부터 적어도 하나의 얼굴을 감지할 수 있다. 모바일 장치에 포함된 상기 하나 이상의 프로세서는, 상기 제1 얼굴 인식 모델 및 상기 적어도 하나의 제2 얼굴 인식 모델을 이용하여 상기 감지된 적어도 하나의 얼굴을 인식할 수 있다. 상기 적어도 하나의 제2 얼굴 인식 모델은 적어도 하나의 다른 모바일 장치에서 각 모바일 장치 사용자의 얼굴 인식을 위하여 각각 트레이닝된 모델일 수 있다.
일 실시 예에 따른 컴퓨터로 판독 가능한 기록 매체는 상기 모바일 장치 사용자의 얼굴 인식을 위하여 제1 얼굴 인식 모델을 트레이닝 하는 모바일 장치의 동작 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다. 일 실시 예에 따른 컴퓨터로 판독 가능한 기록 매체는 상기 트레이닝된 제1 얼굴 인식 모델을 적어도 하나의 외부 장치로 전송하고, 상기 적어도 하나의 외부 장치로부터 적어도 하나의 다른 모바일 장치 사용자의 얼굴 인식을 위하여 각각 트레이닝 된 적어도 하나의 제2 얼굴 인식 모델을 획득하는 모바일 장치의 동작 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다. 일 실시 예에 따른 컴퓨터로 판독 가능한 기록 매체는 상기 모바일 장치(100)에 의하여 획득된 영상으로부터 적어도 하나의 얼굴을 감지하는 모바일 장치의 동작 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다. 일 실시 예에 따른 컴퓨터로 판독 가능한 기록 매체는 상기 제1 얼굴 인식 모델 및 상기 적어도 하나의 제2 얼굴 인식 모델을 이용하여 상기 감지된 적어도 하나의 얼굴을 인식하는 모바일 장치의 동작 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다. 일 실시 예에 따른 컴퓨터로 판독 가능한 기록 매체는 상기 적어도 하나의 제2 얼굴 인식 모델은 적어도 하나의 다른 모바일 장치에서 각 모바일 장치 사용자의 얼굴 인식을 위하여 각각 트레이닝된 모델인 모바일 장치의 동작 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다.
도 1은 본 개시의 실시예에 따라 복수의 모바일 장치가 얼굴 인식 모델을 서버에 제공하는 일 예를 나타내는 도면이다.
도 2는 본 개시의 일 실시예에 따라 복수의 모바일 장치가 얼굴 인식 모델을 상호 교환하는 일 예를 나타내는 도면이다.
도 3a는 본 개시의 일 실시예에 따른 모바일 장치가 인공 지능을 이용하여 모바일 장치 사용자의 얼굴을 인식하는 방법의 일 예를 나타내는 흐름도이다.
도 3b는 본 개시의 일 실시예에 따른 모바일 장치 사용자의 얼굴 인식을 위하여 트레이닝된 얼굴 인식 모델의 일 예를 나타내는 도면이다.
도 4는 본 개시의 일 실시예에 따른 모바일 장치의 동작 방법을 나타내는 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 모바일 장치의 동작 방법을 나타내는 흐름도이다.
도 6은 본 개시의 일 실시예에 따른 모바일 장치의 구성을 나타내는 블록도이다.
도 7은 본 개시의 다른 일 실시예에 따른 모바일 장치의 구성을 보다 자세히 설명하기 위한 블록도이다.
도 8은 본 개시의 일 실시예에 따른 모바일 장치가 서버를 기반으로 동작하는 방법을 나타내는 흐름도이다.
도 9a는 본 개시의 일 실시예에 따른 복수의 모바일 장치가 얼굴 인식 모델을 각각 서버에 제공한 상태를 나타내는 도면이다.
도 9b는 본 개시의 일 실시예에 따라 모바일 장치가 서버로 적어도 하나의 얼굴 인식 모델을 요청하는 일 예를 나타내는 도면이다.
도 9c는 본 개시의 일 실시예에 따라 모바일 장치가 서버로부터 적어도 하나의 얼굴 인식 모델을 획득하는 일 예를 나타내는 도면이다.
도 10은 본 개시의 일 실시예에 따른 모바일 장치가 서버 없이 동작하는 방법을 나타내는 흐름도이다.
도 11a는 본 개시의 일 실시예에 따라 각 모바일 장치가 모바일 장치 사용자의 얼굴 인식을 위하여 트레이닝된 얼굴 인식 모델을 저장하고 있는 상태를 나타내는 도면이다.
도 11b는 본 개시의 일 실시예에 따라 모바일 장치가 복수의 다른 모바일 장치에 각 다른 모바일 장치 사용자의 얼굴 인식을 위하여 트레이닝된 얼굴 인식 모델을 요청하는 일 예를 나타내는 도면이다.
도 11c는 본 개시의 일 실시예에 따라 모바일 장치가 복수의 다른 모바일 장치로부터 각 다른 모바일 장치 사용자의 얼굴 인식을 위하여 트레이닝된 얼굴 인식 모델을 획득하는 일 예를 나타내는 도면이다.
도 12는 본 개시의 다른 일 실시예에 따른 모바일 장치가 다른 모바일 장치의 얼굴 인식 모델을 이용하여 주변인의 얼굴을 인식하는 일 예를 나타내는 도면이다.
도 13은 본 개시의 일 실시예에 따라 모바일 장치가 적어도 하나의 외부 장치로부터 획득된 복수의 얼굴 인식 모델을 관리하는 방법의 일 예를 나타내는 도면이다.
도 14는 본 개시의 일 실시예에 따라 모바일 장치가 적어도 하나의 외부 장치로부터 획득된 복수의 얼굴 인식 모델을 관리하는 방법의 일 예를 나타내는 도면이다.
도 15는 본 개시의 일 실시예에 따라 모바일 장치가 복수의 얼굴 인식 모델을 이용하여 인식한 얼굴과 관련된 정보를 디스플레이하는 일 예를 나타내는 도면이다.
도 16은 본 개시의 일 실시예에 따라 모바일 장치가 복수의 얼굴 인식 모델을 이용하여 인식한 얼굴과 관련된 정보를 디스플레이하는 일 예를 나타내는 도면이다.
도 2는 본 개시의 일 실시예에 따라 복수의 모바일 장치가 얼굴 인식 모델을 상호 교환하는 일 예를 나타내는 도면이다.
도 3a는 본 개시의 일 실시예에 따른 모바일 장치가 인공 지능을 이용하여 모바일 장치 사용자의 얼굴을 인식하는 방법의 일 예를 나타내는 흐름도이다.
도 3b는 본 개시의 일 실시예에 따른 모바일 장치 사용자의 얼굴 인식을 위하여 트레이닝된 얼굴 인식 모델의 일 예를 나타내는 도면이다.
도 4는 본 개시의 일 실시예에 따른 모바일 장치의 동작 방법을 나타내는 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 모바일 장치의 동작 방법을 나타내는 흐름도이다.
도 6은 본 개시의 일 실시예에 따른 모바일 장치의 구성을 나타내는 블록도이다.
도 7은 본 개시의 다른 일 실시예에 따른 모바일 장치의 구성을 보다 자세히 설명하기 위한 블록도이다.
도 8은 본 개시의 일 실시예에 따른 모바일 장치가 서버를 기반으로 동작하는 방법을 나타내는 흐름도이다.
도 9a는 본 개시의 일 실시예에 따른 복수의 모바일 장치가 얼굴 인식 모델을 각각 서버에 제공한 상태를 나타내는 도면이다.
도 9b는 본 개시의 일 실시예에 따라 모바일 장치가 서버로 적어도 하나의 얼굴 인식 모델을 요청하는 일 예를 나타내는 도면이다.
도 9c는 본 개시의 일 실시예에 따라 모바일 장치가 서버로부터 적어도 하나의 얼굴 인식 모델을 획득하는 일 예를 나타내는 도면이다.
도 10은 본 개시의 일 실시예에 따른 모바일 장치가 서버 없이 동작하는 방법을 나타내는 흐름도이다.
도 11a는 본 개시의 일 실시예에 따라 각 모바일 장치가 모바일 장치 사용자의 얼굴 인식을 위하여 트레이닝된 얼굴 인식 모델을 저장하고 있는 상태를 나타내는 도면이다.
도 11b는 본 개시의 일 실시예에 따라 모바일 장치가 복수의 다른 모바일 장치에 각 다른 모바일 장치 사용자의 얼굴 인식을 위하여 트레이닝된 얼굴 인식 모델을 요청하는 일 예를 나타내는 도면이다.
도 11c는 본 개시의 일 실시예에 따라 모바일 장치가 복수의 다른 모바일 장치로부터 각 다른 모바일 장치 사용자의 얼굴 인식을 위하여 트레이닝된 얼굴 인식 모델을 획득하는 일 예를 나타내는 도면이다.
도 12는 본 개시의 다른 일 실시예에 따른 모바일 장치가 다른 모바일 장치의 얼굴 인식 모델을 이용하여 주변인의 얼굴을 인식하는 일 예를 나타내는 도면이다.
도 13은 본 개시의 일 실시예에 따라 모바일 장치가 적어도 하나의 외부 장치로부터 획득된 복수의 얼굴 인식 모델을 관리하는 방법의 일 예를 나타내는 도면이다.
도 14는 본 개시의 일 실시예에 따라 모바일 장치가 적어도 하나의 외부 장치로부터 획득된 복수의 얼굴 인식 모델을 관리하는 방법의 일 예를 나타내는 도면이다.
도 15는 본 개시의 일 실시예에 따라 모바일 장치가 복수의 얼굴 인식 모델을 이용하여 인식한 얼굴과 관련된 정보를 디스플레이하는 일 예를 나타내는 도면이다.
도 16은 본 개시의 일 실시예에 따라 모바일 장치가 복수의 얼굴 인식 모델을 이용하여 인식한 얼굴과 관련된 정보를 디스플레이하는 일 예를 나타내는 도면이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시 예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.
또한, 본 개시에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본 명세서, 특히 특허 청구 범위에서 사용된 “상기” 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한, 본 개시에 따른 방법을 설명하는 단계들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 적당한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시 예에서" 또는 "일 실시 예에서" 등의 어구는 반드시 모두 동일한 실시 예를 가리키는 것은 아니다.
본 개시의 일부 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
또한, 명세서에서 "모바일 장치 사용자"는 해당 모바일 장치의 소유자이자 주 소지자로서 모바일장치를 주로 휴대하고 다니면서 모바일 장치의 기능 또는 동작을 제어하여 이용하는 사람을 의미할 수 있다. 예를 들어, 모바일 장치 사용자는 자신의 생체 정보를 인식시켜 모바일 장치의 잠금을 해제할 수 있는 사용자일 수 있다.
도 1은 본 개시의 실시예에 따라 복수의 모바일 장치가 얼굴 인식 모델을 서버에 제공하는 일 예를 나타내는 도면이다.
본 개시에서 모바일 장치(100, 101, 102)는 스마트 폰, 태블릿 PC, 노트북 컴퓨터(laptop computer), 넷북 컴퓨터(netbook computer), PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 디지털 카메라, 캠코더, 네비게이션, MP3 플레이어, 착용형 기기(wearable device), 전자 책 등과 같은 다양한 형태로 구현될 수 있다. 그러나, 이에 제한되는 것은 아니며, 사용자의 얼굴을 인식할 수 있는 모든 장치의 형태로 구현될 수 있다.
모바일 장치(100, 101, 102)는 모바일 장치(100, 101, 102)에 의하여 획득된 영상에 포함된 얼굴을 감지하고, 다양한 얼굴 인식 모델을 이용하여 감지된 얼굴이 누구의 얼굴인지 식별할 수 있다.
이렇게 모바일 장치(100, 101, 102)를 이용하여 얼굴을 인식하기 위하여 종래에는 중앙 서버에 이용자들의 사진을 포함하는 이용자들의 개인 정보를 전송하고, 전송된 이용자들의 개인 정보를 이용하여 서버에서 트레이닝 된 얼굴 인식 모델을 이용하였다.
도 1의 실시예에서 모바일 장치(100, 101, 102)는 각 모바일 장치(100, 101, 102) 사용자의 얼굴 인식을 위하여 얼굴 인식 모델을 모바일 장치(100, 101, 102) 내에서 트레이닝 할 수 있다.
예를 들어, 사용자 A의 모바일 장치(100)는 모바일 장치(100) 사용자인 A의 얼굴 인식을 위한 얼굴 인식 모델을 트레이닝 할 수 있고, 사용자 B의 모바일 장치(101)는 모바일 장치(101) 사용자인 B의 얼굴 인식을 위한 얼굴 인식 모델을 트레이닝 할 수 있으며, 사용자 C의 모바일 장치(102)는 모바일 장치(102) 사용자인 C의 얼굴 인식을 위한 얼굴 인식 모델을 트레이닝 할 수 있다.
도 1의 실시예에서 모바일 장치(100, 101, 102)는 각 모바일 장치(100, 101, 102) 사용자의 얼굴 인식을 위하여 트레이닝된 얼굴 인식 모델을 암호화하여 서버(200)로 전송할 수 있다.
도 1의 실시예에 따른 모바일 장치(100, 101, 102)는 모바일 장치 사용자의 사진과 같은 개인 정보를 서버(200)에 제공하지 않고 트레이닝된 얼굴 인식 모델만을 서버(200)에 제공할 수 있다.
도 1의 실시예에 따른 모바일 장치(100, 101, 102)는 모바일 장치 사용자의 사진과 같은 개인 정보를 서버(200)에 제공하지 않으므로 개인 정보 보호 기능이 향상될 수 있다.
서버(200)는 복수의 모바일 장치(100, 101, 102)로부터 수신된 얼굴 인식 모델을 저장하고, 각 모바일 장치(100, 101, 102)에 제공함으로써 종래의 중앙 서버에서 트레이닝된 얼굴 인식 모델과 동일하게 다양한 이용자들의 얼굴을 인식할 수 있는 얼굴 인식 모델을 모바일 장치(100, 101, 102)에 제공하는 역할을 수행할 수 있다.
도 1의 실시예에서 서버(200)에 저장된 각 모바일 장치(100, 101, 102) 사용자에 대한 얼굴 인식 모델은 모두 각 모바일 장치(100, 101, 102)에서 각 사용자에 맞게 트레이닝 된 모델이므로, 전체 사용자에 대하여 트레이닝된 종래의 얼굴 인식 모델보다 각 사용자에 대한 얼굴 인식의 정확도가 향상될 수 있다.
도 1의 실시예에서 모바일 장치(100, 101, 102)는 모바일 장치 사용자의 사진과 같은 개인 정보를 서버(200)에 제공하지 않고 암호화된 얼굴 인식 모델만을 서버(200)에 제공하므로, 개인 정보 보호 기능이 향상될 수 있다.
본 개시에서 서버(200)는 고정형 또는 이동형일 수 있다.
본 개시에서 서버(200)는 태블릿 PC, 디지털 카메라, 캠코더, 노트북 컴퓨터(laptop computer), 넷북 컴퓨터(netbook computer), 데스크 탑, 전자책 단말기, 화상 전화기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 착용형 기기(wearable device), 스마트 냉장고, 기타 가전, 기타 모바일 디바이스 등과 같은 다양한 형태로 구현될 수 있다.
모바일 장치(100, 101, 102)와 서버(200)는 유, 무선 방식을 포함하는 다양한 방식으로 연결될 수 있다.
각 모바일 장치(100, 101, 102)가 모바일 장치 사용자의 얼굴 인식을 위하여 얼굴 인식 모델을 트레이닝 하는 방법 및 서버(200)에 저장된 얼굴 인식 모델을 이용하여 영상에서 얼굴을 인식하는 방법에 대한 구체적인 내용은 후술한다.
도 2는 본 개시의 일 실시예에 따라 복수의 모바일 장치가 얼굴 인식 모델을 상호 교환하는 일 예를 나타내는 도면이다.
도 2는 서버 없이 모바일 장치(100, 101, 102, 103) 상호 간의 얼굴 인식 모델 공유를 통하여 영상으로부터 얼굴을 인식하기 위한 실시예 일 수 있다.
도 2의 실시예에서 모바일 장치(100, 101, 102, 103)는 각 모바일 장치(100, 101, 102, 103) 사용자의 얼굴 인식을 위하여 얼굴 인식 모델을 모바일 장치(100, 101, 102, 103) 내에서 트레이닝 할 수 있다.
모바일 장치(100, 101, 102, 103)는 각 모바일 장치(100, 101, 102, 103) 사용자의 얼굴 인식을 위하여 트레이닝된 얼굴 인식 모델을 각 모바일 장치(100, 101, 102, 103)에 저장할 수 있다.
일 실시예에서 하나의 모바일 장치(100)는 다른 모바일 장치(101, 102, 103)로 모바일 장치(100) 사용자의 얼굴 인식을 위하여 트레이닝된 얼굴 인식 모델을 전송할 수 있다. 하나의 모바일 장치(100)는 다른 모바일 장치(101, 102, 103)로부터 다른 모바일 장치(101, 102, 103) 사용자의 얼굴 인식을 위하여 트레이닝된 얼굴 인식 모델을 각각 획득할 수 있다.
예를 들어, 모바일 장치(100)는 모바일 장치(100)의 사용자인 A의 얼굴 인식을 위한 사용자 A 얼굴 인식 모델을 다른 모바일 장치(101, 102, 103)로 각각 전송하고, 모바일 장치(101)로부터 모바일 장치(101)의 사용자인 B의 얼굴 인식을 위한 사용자 B 얼굴 인식 모델을 획득하고, 모바일 장치(102)로부터 모바일 장치(102)의 사용자인 C의 얼굴 인식을 위한 사용자 C 얼굴 인식 모델을 획득하고, 모바일 장치(103)로부터 모바일 장치(103)의 사용자인 D의 얼굴 인식을 위한 사용자 D 얼굴 인식 모델을 획득할 수 있다.
도 2의 실시예에서 모바일 장치(100)는 자체적으로 트레이닝한 사용자 A 얼굴 인식 모델 및 다른 모바일 장치(101, 102, 103)로부터 획득한 사용자 B 얼굴 인식 모델, 사용자 C 얼굴 인식 모델 및 사용자 D 얼굴 인식 모델을 저장할 수 있다.
모바일 장치(100)는 저장된 복수의 얼굴 인식 모델들을 이용하여 모바일 장치(100)가 획득한 영상으로부터 얼굴을 인식할 수 있다.
일 실시예에서 모바일 장치(100)는 소정 거리 이내의 다른 모바일 장치로부터 각각 모바일 장치 사용자의 얼굴 인식을 위하여 트레이닝된 얼굴 인식 모델을 획득할 수 있다. 모바일 장치(100)는 획득된 적어도 하나의 얼굴 인식 모델을 이용하여, 주변인의 얼굴을 인식할 수 있다.
각 모바일 장치(100, 101, 102, 103)가 모바일 장치 사용자의 얼굴 인식을 위하여 얼굴 인식 모델을 트레이닝 하는 방법 및 각 모바일 장치(100, 101, 102, 103)에 저장된 얼굴 인식 모델을 서로 공유함으로써 영상에서 얼굴을 인식하는 방법에 대한 구체적인 내용은 후술한다.
각 모바일 장치(100, 101, 102, 103)는 네트워크(300)에 의해 연결되어 서로 정보를 주고 받을 수 있다.
도 3a는 본 개시의 일 실시예에 따른 모바일 장치가 인공 지능을 이용하여 모바일 장치 사용자의 얼굴을 인식하는 방법의 일 예를 나타내는 흐름도이다.
모바일 장치(100)는 인공 지능을 이용한 얼굴 인식 모델을 이용하여 모바일 장치 사용자의 얼굴을 인식할 수 있다.
일 실시예에서 얼굴 인식 모델은 모바일 장치(100) 사용자에 대한 복수의 영상을 이용하여 모바일 장치(100) 사용자의 얼굴을 인식하도록 학습된 뉴럴 네트워크를 이용하여, 모바일 장치(100)가 획득한 영상으로부터, 모바일 장치(100) 사용자의 얼굴을 인식할 수 있다.
일 실시예에서 모바일 장치(100) 사용자의 얼굴을 인식하도록 학습된 뉴럴 네트워크는 모바일 장치(100) 사용자의 얼굴 인식에만 특화될 수 있다.
일 실시예에서 장치(100) 사용자의 얼굴을 인식하도록 학습된 뉴럴 네트워크(310)는 입력된 영상으로부터 적어도 하나의 얼굴을 감지하고, 그 중 모바일 장치(100) 사용자의 얼굴을 인식할 수 있다.
본 개시에서 모바일 장치(100)에 의하여 획득된 영상은 카메라를 통하여 획득된 영상 또는 외부로부터 수신하여 획득된 영상을 포함할 수 있다.
인공지능은 인간 수준의 지능을 구현하는 컴퓨터 시스템으로서 기계가 스스로 학습하고 판단하며, 사용할수록 인식률이 향상되는 시스템이다. 인공지능 기술은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘을 이용하는 기계학습(딥러닝) 기술 및 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 요소 기술들로 구성된다.
예를 들어, 요소 기술들은 인간의 언어/문자를 인식하는 언어적 이해 기술, 사물을 인간의 시각처럼 인식하는 시각적 이해 기술, 정보를 판단하여 논리적으로 추론하고 예측하는 추론/예측 기술, 인간의 경험 정보를 지식데이터로 처리하는 지식 표현 기술 및 차량의 자율 주행, 로봇의 움직임을 제어하는 동작 제어 기술 중 적어도 하나를 포함할 수 있다.
본 개시에 따른 인공지능과 관련된 기능은 도 6의 프로세서(110)와 메모리(120)를 통해 동작될 수 있다. 프로세서(110)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서(110)는, 메모리(120)에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서(110)가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 모바일 장치(100) 자체에서 이루어질 수도 있고, 별도의 서버(200) 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다.
딥 러닝 알고리즘을 이용하는 실시예에서, 프로세서(110)는 기 학습된 심층 신경망 모델(pre-trained deep neural network)(310)을 이용하여, 입력된 영상으로부터 모바일 장치(100) 사용자의 얼굴을 인식할 수 있다. 기 학습된 심층 신경망 모델(310)은 적어도 하나의 모바일 장치(100) 사용자의 영상을 입력 값으로 하고, 모바일 장치(100) 사용자의 얼굴인지 여부를 출력 값으로 하는 학습(learning)을 통해 트레이닝된 인공지능 모델일 수 있다.
일 실시예에서 기 학습된 심층 신경망 모델(310)은 적어도 하나의 모바일 장치(100) 사용자의 영상을 입력 값으로 하고, 모바일 장치(100) 사용자의 식별 값 및 모바일 장치(100) 사용자의 얼굴인지 여부를 출력 값으로 하는 학습(learning)을 통해 트레이닝된 인공지능 모델일 수 있다.
심층 신경망 모델은 예를 들어, 컨볼루션 신경망 모델(Convolutional Neural Network; CNN)일 수 있다. 그러나 이에 한정되는 것은 아니고, 심층 신경망 모델은 순환 신경망 모델(Recurrent Neural Network; RNN), 제한 볼츠만 머신(Restricted Boltzmann Machine; RBM), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks) 중 적어도 하나를 포함하는 공지의 인공지능 모델일 수 있다.
모바일 장치(100)는 입력된 영상에 포함된 얼굴 중 특정 사용자를 인식하는 방법을 그 밖의 다양한 머신 러닝 알고리즘을 이용하여 구현할 수 있다.
도 3b는 본 개시의 일 실시예에 따른 모바일 장치 사용자의 얼굴 인식을 위하여 트레이닝된 얼굴 인식 모델의 일 예를 나타내는 도면이다.
일 실시예에서 도 3b의 얼굴 인식 모델(320)은 도 3a의 방법을 이용하는 얼굴 인식 모델일 수 있다.
일 실시예에서 얼굴 인식 모델(320)은 적어도 하나의 모바일 장치(100) 사용자의 영상을 입력 값으로 하고, 모바일 장치(100) 사용자의 얼굴인지 여부 또는 모바일 장치(100) 사용자의 식별 값 및 모바일 장치(100) 사용자의 얼굴인지 여부를 출력 값으로 하는 학습(learning)을 통해 트레이닝된 인공지능 모델일 수 있다.
얼굴 인식 모델(320)의 입력 값인 적어도 하나의 모바일 장치(100) 사용자의 영상은 사용자에 의하여 앨범 등에서 선택된 영상, 모바일 장치(100)의 이미지 센서를 통하여 획득된 모바일 장치(100) 사용자의 영상, 모바일 장치(100) 사용자가 포함된 동영상을 포함할 수 있다.
일 실시예에서 얼굴 인식 모델(320)은 출력 값에 대한 사용자의 피드백을 수신하여 반영함으로써 점점 더 정확도가 높은 얼굴 인식 모델(320)이 될 수 있다.
예를 들어, 얼굴 인식 모델(320)은 입력된 영상에서 감지된 얼굴이 모바일 장치(100) 사용자가 아니라는 결과를 출력할 수 있다.
그러나 얼굴 인식 모델(320)은 사용자로부터 모바일 장치(100) 사용자가 맞다는 피드백을 수신할 수 있다. 얼굴 인식 모델(320)은 사용자의 피드백을 반영하여, 추가로 학습함으로써 얼굴 인식의 정확도를 향상시킬 수 있다.
이러한 학습이 반복될수록 하나의 모바일 장치(100)에 존재하는 얼굴 인식 모델(320)은 모바일 장치(100) 사용자 즉, 한 명의 사용자에 대하여 지속적으로 인식의 정확도가 향상될 수 있다.
복수의 모바일 장치는 각각 인식 대상인 얼굴이 서로 다를 수 있다. 따라서, 각 모바일 장치의 얼굴 인식 모델(320)은 각각 서로 다른 하나의 얼굴에 대하여 인식의 정확도가 높은 모델일 수 있다.
일 실시예에서 각 얼굴 인식 모델(320)은 어떤 사용자의 얼굴에 대하여 트레이닝된 모델인지에 대한 사용자 정보를 포함할 수 있다. 각 얼굴 인식 모델(320)이 외부 장치로 전송된 경우, 외부 장치는 각 얼굴 인식 모델(320)이 어떤 사용자의 얼굴에 대하여 트레이닝된 모델인지 식별할 수 있다.
외부 장치는 어떤 한 얼굴 인식 모델(320)이 특정 얼굴을 인식한 경우, 해당 얼굴 인식 모델(320)에 대한 사용자 정보를 통하여, 어떤 사용자가 인식된 것인지 결정할 수 있다.
도 4는 본 개시의 일 실시예에 따른 모바일 장치의 동작 방법을 나타내는 흐름도이다.
도 4를 참조하면, 모바일 장치(100)는 모바일 장치(100) 사용자의 얼굴 인식을 위하여 제1 얼굴 인식 모델을 트레이닝할 수 있다(S410).
일 실시예에서, 제1 얼굴 인식 모델은 모바일 장치(100)에 의하여 트레이닝된 모바일 장치(100) 사용자의 얼굴 인식을 위한 얼굴 인식 모델(320)일 수 있다. 일 실시예에서, 제1 얼굴 인식 모델은 도 3a의 방법을 이용하는 모델일 수 있다. 제1 얼굴 인식 모델은 도 3b의 얼굴 인식 모델(320)일 수 있다.
모바일 장치(100)는 트레이닝된 제1 얼굴 인식 모델을 적어도 하나의 외부 장치로 전송하고, 적어도 하나의 외부 장치로부터 적어도 하나의 다른 모바일 장치(101, 102, 103) 사용자의 얼굴 인식을 위하여 각각 트레이닝 된 적어도 하나의 제2 얼굴 인식 모델을 획득할 수 있다(S420).
일 실시예에서 적어도 하나의 제2 얼굴 인식 모델은 적어도 하나의 다른 모바일 장치(101, 102, 103)에서 각 모바일 장치(101, 102, 103) 사용자의 얼굴 인식을 위하여 각각 트레이닝된 모델을 의미할 수 있다. 일 실시예에서, 모바일 장치(100)는 얼굴 인식 모델을 적어도 하나의 외부 장치와 서로 공유할 수 있다.
일 실시예에서 적어도 하나의 외부 장치는 서버(200)이고, 서버(200)는 적어도 하나의 다른 모바일 장치(101, 102, 103)로부터 획득된 적어도 하나의 제2 얼굴 인식 모델을 저장하고 있을 수 있다. 예를 들어, 도 1의 실시예가 이에 해당할 수 있다.
일 실시예에서 적어도 하나의 외부 장치는 모바일 장치(100)로부터 소정 거리 이내에 존재하는 적어도 하나의 다른 모바일 장치(101, 102, 103)이고, 적어도 하나의 다른 모바일 장치(101, 102, 103)는 각각 적어도 하나의 다른 모바일 장치(101, 102, 103) 사용자의 얼굴 인식을 위하여 각각 트레이닝 된 제2 얼굴 인식 모델을 저장하고 있을 수 있다. 예를 들어, 도 2의 실시예가 이에 해당할 수 있다.
일 실시예에서 소정 거리는 사용자에 의하여 수동으로 설정된 거리이거나 모바일 장치(100)에 의하여 자동으로 설정된 거리일 수 있다.
일 실시예에서 모바일 장치(100)는 시간, 장소, 사용자의 활동 상태, 그 밖의 컨텍스트 등을 고려하여 자동으로 소정의 거리를 설정할 수 있다. 예를 들어, 사용자가 걷고 있는 상태인 경우 소정의 거리는 사용자가 뛰고 있는 상태인 경우의 소정의 거리보다 짧을 수 있다. 예를 들어, 사용자가 실내에 있는 경우, 실내 공간의 크기에 따라 소정 거리가 설정될 수 있다.
일 실시예에서 적어도 하나의 외부 장치는 모바일 장치(100)와 동일한 실내공간에 존재하는 적어도 하나의 다른 모바일 장치(101, 102, 103)일 수 있다.
일 실시 예에서, 모바일 장치(100)는 적어도 하나의 외부 장치로 적어도 하나의 제2 얼굴 인식 모델에 대한 요청을 전송할 수 있다. 모바일 장치(100)의 요청에 대한 응답으로 적어도 하나의 외부 장치는 저장하고 있는 적어도 하나의 제2 얼굴 인식 모델을 모바일 장치(100)로 전송할 수 있다.
일 실시예에서, 적어도 하나의 외부 장치는 저장하고 있는 전부 또는 일부의 제2 얼굴 인식 모델을 모바일 장치(100)로 전송할 수 있다.
모바일 장치(100)는 모바일 장치(100)에 의하여 획득된 영상으로부터 적어도 하나의 얼굴을 감지할 수 있다(S430).
일 실시예에서, 모바일 장치(100)에 의하여 획득된 영상은 모바일 장치(100)의 카메라를 통하여 촬영한 영상 혹은 이미지 센서에 의하여 획득된 촬영 전의 영상, 인터넷에서 다운받은 영상 혹은 다른 외부 장치로부터 수신된 영상 중 하나일 수 있다.
일 실시예에서 모바일 장치(100)는 제1 얼굴 인식 모델을 이용하여 영상으로부터 적어도 하나의 얼굴을 감지할 수 있다.
일 실시예에서 모바일 장치(100)는 제1 얼굴 인식 모델이 아닌 별도의 다른 얼굴 인식 알고리즘을 이용하여 영상으로부터 적어도 하나의 얼굴을 감지할 수 있다. 예를 들어, 영상이 가족 사진인 경우, 모바일 장치(100)는 각 가족 구성원의 얼굴을 감지할 수 있다. 4인 가족인 경우, 모바일 장치(100)는 가족 사진으로부터 4개의 얼굴을 감지할 수 있다.
모바일 장치(100)는 제1 얼굴 인식 모델 및 적어도 하나의 제2 얼굴 인식 모델을 이용하여 감지된 적어도 하나의 얼굴을 인식할 수 있다(S440).
명세서에서 "얼굴 인식"은 해당 얼굴이 누구의 얼굴인지 식별하는 것을 의미할 수 있다.
예를 들어, 영상이 가족 사진인 경우, 모바일 장치(100)는 제1 얼굴 인식 모델 및 적어도 하나의 제2 얼굴 인식 모델을 이용하여 감지된 4개의 얼굴이 각각, 엄마, 아빠, 사용자 그리고 동생의 얼굴인 것을 인식할 수 있다.
이 경우 모바일 장치(100)는 제1 얼굴 인식 모델을 이용하여 사용자의 얼굴을 인식하고, 아빠의 모바일 장치로부터 획득된 제2 얼굴 인식 모델을 이용하여 아빠의 얼굴을 인식하고, 엄마의 모바일 장치로부터 획득된 제2 얼굴 인식 모델을 이용하여 엄마의 얼굴을 인식하고, 동생의 모바일 장치로부터 획득된 제2 얼굴 인식 모델을 이용하여 동생의 얼굴을 인식할 수 있다.
일 실시예에서 S430 단계는 S420단계보다 먼저 실행될 수 있다. 즉, 모바일 장치(100)를 통하여 복수의 얼굴이 감지되고, 각 얼굴이 누구의 얼굴인지 식별할 필요가 있다고 판단되는 경우, 모바일 장치(100)는 적어도 하나의 외부 장치로부터 적어도 하나의 다른 모바일 장치 사용자의 얼굴 인식을 위하여 각각 트레이닝 된 적어도 하나의 제2 얼굴 인식 모델을 획득할 수 있다.
일 실시예에서 모바일 장치(100)는 감지된 모든 얼굴이 식별될 때까지 계속해서 적어도 하나의 외부 장치로부터 제2 얼굴 인식 모델을 획득할 수 있다.
도 5는 본 개시의 일 실시예에 따른 모바일 장치의 동작 방법을 나타내는 흐름도이다.
도 5의 S510 단계, S550 단계 및 S560 단계는 각각 도 4의 S410 단계, S430 단계 및 S440 단계와 동일할 수 있다. 따라서 도 4와 중복되는 설명은 생략한다.
도 5를 참조하면, 모바일 장치(100)는 모바일 장치(100) 사용자의 얼굴 인식을 위하여 제1 얼굴 인식 모델을 트레이닝할 수 있다(S510).
모바일 장치(100)는 트레이닝된 제1 얼굴 인식 모델을 암호화할 수 있다(S520).
일 실시예에서, 모바일 장치(100)는 얼굴 인식 모델을 적어도 하나의 외부 장치와 서로 공유하기 전에 암호화함으로써 공유를 허락한 외부 장치에서만 모바일 장치(100)의 제1 얼굴 인식 모델이 이용되도록 제한할 수 있다. 일 실시예에서 모바일 장치(100)는 공유를 허락한 외부 장치에만 복호화 수단을 제공할 수 있다. 일 실시예에서 모바일 장치(100)는 공유를 허락한 외부 장치에서만 복호화가 가능하도록 설정할 수 있다. 암호화 및 복호화의 수단은 제한되지 않고, 다양한 수단이 이용될 수 있다.
이러한 암호화 및 복호화 과정을 통하여, 사용자의 개인 정보는 더 안전하게 보호될 수 있다.
모바일 장치(100)는 암호화된 제1 얼굴 인식 모델을 적어도 하나의 외부 장치로 전송하고, 적어도 하나의 외부 장치로부터 다른 사용자의 얼굴 인식을 위하여 각각 트레이닝 된 적어도 하나의 암호화된 제2 얼굴 인식 모델을 획득할 수 있다(S530).
일 실시예에서 적어도 하나의 제2 얼굴 인식 모델은 적어도 하나의 다른 모바일 장치(101, 102, 103)에서 각 모바일 장치(101, 102, 103) 사용자의 얼굴 인식을 위하여 각각 트레이닝된 모델을 의미할 수 있다. 본 실시예에서 적어도 하나의 제2 얼굴 인식 모델은 암호화된 상태로 수신될 수 있다.
일 실시예에서 적어도 하나의 외부 장치는 서버(200)이고, 서버(200)는 적어도 하나의 다른 모바일 장치(101, 102, 103)로부터 획득된 적어도 하나의 제2 얼굴 인식 모델을 저장하고 있을 수 있다. 예를 들어, 도 1의 실시예가 이에 해당할 수 있다.
일 실시예에서 적어도 하나의 외부 장치는 모바일 장치(100)로부터 소정 거리 이내에 존재하는 적어도 하나의 다른 모바일 장치(101, 102, 103)이고, 적어도 하나의 다른 모바일 장치(101, 102, 103)는 각각 적어도 하나의 다른 모바일 장치(101, 102, 103) 사용자의 얼굴 인식을 위하여 각각 트레이닝 된 제2 얼굴 인식 모델을 저장하고 있을 수 있다. 예를 들어, 도 2의 실시예가 이에 해당할 수 있다.
일 실시 예에서, 모바일 장치(100)는 적어도 하나의 외부 장치로 적어도 하나의 제2 얼굴 인식 모델에 대한 요청을 전송할 수 있다. 모바일 장치(100)의 요청에 대한 응답으로 적어도 하나의 외부 장치는 저장하고 있는 적어도 하나의 제2 얼굴 인식 모델을 암호화하여 모바일 장치(100)로 전송할 수 있다.
일 실시예에서 적어도 하나의 외부 장치는 저장하고 있는 모든 제2 얼굴 인식 모델의 전부 또는 일부를 모바일 장치(100)로 전송할 수 있다.
모바일 장치(100)는 획득된 적어도 하나의 암호화된 제2 얼굴 인식 모델을 복호화 하여 적어도 하나의 제2 얼굴 인식 모델을 획득할 수 있다(S540).
일 실시예에서 모바일 장치(100)는 적어도 하나의 외부 장치로부터 복호화 수단을 획득할 수 있다.
일 실시예에서 모바일 장치(100)는 정당하게 획득된 복호화 수단을 모든 외부 장치로부터 수신된 제2 얼굴 인식 모델의 복호화에 동일하게 이용할 수 있다.
모바일 장치(100)는 모바일 장치(100)에 의하여 획득된 영상으로부터 적어도 하나의 얼굴을 감지할 수 있다(S550).
모바일 장치(100)는 제1 얼굴 인식 모델 및 적어도 하나의 제2 얼굴 인식 모델을 이용하여 감지된 적어도 하나의 얼굴을 인식할 수 있다(S560).
일 실시예에서 S540 단계는 S520단계 또는 S530 단계보다 먼저 실행될 수 있다.
일 실시예에서 모바일 장치(100)를 통하여 복수의 얼굴이 감지되는 경우, 각 얼굴이 누구의 얼굴인지 식별할 필요가 있다고 판단할 수 있다. 이 경우, 모바일 장치(100)는 트레이닝된 제1 얼굴 인식 모델을 암호화하고, 적어도 하나의 외부 장치로부터 적어도 하나의 다른 모바일 장치 사용자의 얼굴 인식을 위하여 각각 트레이닝 된 적어도 하나의 암호화된 제2 얼굴 인식 모델을 획득할 수 있다.
일 실시예에서 모바일 장치(100)는 감지된 모든 얼굴이 식별될 때까지 계속해서 적어도 하나의 외부 장치로부터 암호화된 제2 얼굴 인식 모델을 획득할 수 있다.
도 6은 본 개시의 일 실시예에 따른 모바일 장치의 구성을 나타내는 블록도이다.
도 6을 참조하면, 모바일 장치(100)는 프로세서(110), 메모리(120) 및 디스플레이(130)를 포함할 수 있다.
메모리(120)는, 프로세서(110)의 처리 및 제어를 위한 프로그램을 저장할 수 있다. 또한, 메모리(120)는 모바일 장치(100)로 입력되거나 모바일 장치(100)로부터 출력되는 데이터를 저장할 수 있다.
메모리(120)는 내장 메모리(Internal Memory)(미도시) 및 외장 메모리(External Memory)(미도시) 중 적어도 하나를 포함할 수 있다. 메모리(120)는 제어 이력 정보, 현재 환경 정보 및 상태 정보를 저장할 수 있다.
메모리(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
내장 메모리는, 예를 들어, 휘발성 메모리(예를 들면, DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous Dynamic RAM) 등), 비휘발성 메모리(예를 들면, OTPROM(One Time Programmable ROM), PROM(Programmable ROM), EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 프로세서(110)는 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 프로세서 (110)는 다른 구성요소로부터 수신하거나 생성된 데이터를 비휘발성 메모리에 보존할 수 있다.
외장 메모리는, 예를 들면, CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(extreme Digital) 및 Memory Stick 중 적어도 하나를 포함할 수 있다.
메모리(120)는 프로세서(110)에 의해서 실행 가능한 하나 이상의 인스트럭션을 저장하고 있을 수 있다.
일 실시 예에서, 메모리(120)는 입/출력부(미도시)를 통해 입력되는 각종 정보를 저장할 수 있다.
일 실시 예에서, 메모리(120)는 모바일 장치(100) 사용자의 얼굴 인식을 위하여 제1 얼굴 인식 모델을 트레이닝 하고, 트레이닝된 제1 얼굴 인식 모델을 적어도 하나의 외부 장치로 전송하고, 적어도 하나의 외부 장치로부터 적어도 하나의 다른 모바일 장치(101, 102, 103) 사용자의 얼굴 인식을 위하여 각각 트레이닝 된 적어도 하나의 제2 얼굴 인식 모델을 획득하고, 모바일 장치(100)에 의하여 획득된 영상으로부터 적어도 하나의 얼굴을 감지하고, 제1 얼굴 인식 모델 및 적어도 하나의 제2 얼굴 인식 모델을 이용하여 감지된 적어도 하나의 얼굴을 인식하도록 프로세서를 제어하기 위한 인스트럭션을 저장할 수 있다.
프로세서(110)는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 메모리(120)에 저장된 OS(Operation System) 및 다양한 애플리케이션을 실행할 수 있다.
프로세서(110)는 모바일 장치(100)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 모바일 장치(100)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(RAM), 모바일 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM)을 포함할 수 있다.
프로세서(110)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 또한, 프로세서(110)는 복수의 프로세서를 포함할 수 있다. 예를 들어, 프로세서(110)는 메인 프로세서(main processor, 도시되지 아니함) 및 슬립 모드(sleep mode)에서 동작하는 서브 프로세서(sub processor, 도시되지 아니함)로 구현될 수 있다.
또한, 프로세서(110)는 CPU(Cetral Processing Unit), GPU (Graphic Processing Unit) 및 VPU(Video Processing Unit) 중 적어도 하나를 포함할 수 있다. 또는, 실시예에 따라, CPU, GPU 및 VPU 중 적어도 하나를 통합한 SOC(System On Chip) 형태로 구현될 수 있다.
프로세서(110)는, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 다양한 모바일 장치(100)의 구성 요소를 제어할 수 있다.
일 실시 예에서, 프로세서(110)는 모바일 장치(100) 사용자의 얼굴 인식을 위하여 제1 얼굴 인식 모델을 트레이닝 할 수 있다. 이에 대하여 자세한 내용은 도 2a, 도 2b 등에서 설명한 바와 같다.
일 실시 예에서, 프로세서(110)는 트레이닝된 제1 얼굴 인식 모델을 적어도 하나의 외부 장치로 전송하고, 적어도 하나의 외부 장치로부터 적어도 하나의 다른 모바일 장치(101, 102, 103) 사용자의 얼굴 인식을 위하여 각각 트레이닝 된 적어도 하나의 제2 얼굴 인식 모델을 획득할 수 있다.
일 실시 예에서, 프로세서(110)는 모바일 장치(100)에 의하여 획득된 영상으로부터 적어도 하나의 얼굴을 감지할 수 있다.
일 실시 예에서, 프로세서(110)는 제1 얼굴 인식 모델 및 상기 적어도 하나의 제2 얼굴 인식 모델을 이용하여 상기 감지된 적어도 하나의 얼굴을 인식할 수 있다.
일 실시 예에서, 프로세서(110)는 적어도 하나의 외부 장치로 적어도 하나의 제2 얼굴 인식 모델을 전송해달라는 요청을 전송할 수 있다.
일 실시 예에서, 프로세서(110)는 트레이닝된 제1 얼굴 인식 모델은 암호화하여 적어도 하나의 외부 장치로 전송하고, 획득된 적어도 하나의 제2 얼굴 인식 모델은 복호화하여 감지된 적어도 하나의 얼굴을 인식에 이용할 수 있다.
일 실시 예에서, 프로세서(110)는 소정의 기준에 따라 부여된 우선 순위에 기초하여 적어도 하나의 제2 얼굴 인식 모델을 저장할 수 있다. 이에 관하여 자세한 내용은 후술한다.
일 실시 예에서, 프로세서(110)는 상호 관련성에 기초하여 적어도 하나의 제2 얼굴 인식 모델을 분류하여 저장할 수 있다. 이에 관하여 자세한 내용은 후술한다.
일 실시 예에서, 프로세서(110)는 인식된 적어도 하나의 얼굴과 관련된 애플리케이션으로부터 인식된 적어도 하나의 얼굴과 관련된 정보를 획득하여 적어도 하나의 얼굴이 감지된 영상에 디스플레이 할 수 있다. 이에 관하여 자세한 내용은 후술한다.
도 7은 본 개시의 다른 일 실시예에 따른 모바일 장치의 구성을 보다 자세히 설명하기 위한 블록도이다.
도 7의 모바일 장치(100)는 도 1 내지 도 6에서 설명한 모바일 장치(100)의 일 실시예일 수 있다.
도 7의 프로세서(110)는, 도 6의 프로세서(110)에 도 7의 메모리(120)는 도 6의 메모리(120)에, 도 7의 디스플레이(130)는 도 6의 디스플레이(130)에 대응하는 구성이다. 따라서, 앞에서 설명한 내용과 중복되는 내용은 생략하기로 한다.
도 7의 실시예에 따르면 모바일 장치(100)는 프로세서(110), 메모리(120) 및 디스플레이(130), 외부기기 인터페이스부(140), 사용자 입력부 (150) 및 통신부(160)를 포함할 수 있다. 이하 상기 구성요소들에 대해 차례로 살펴본다.
프로세서(110)는 모바일 장치(300)의 전반적인 동작을 제어할 수 있고, 메모리(120)에 저장된 하나 이상의 인스트럭션을 실행하여 모바일 장치(100)의 동작을 제어할 수 있다.
예를 들어, 프로세서(110)는, 메모리(120)에 저장된 프로그램들을 실행함으로써, 메모리(120) 및 디스플레이(130), 외부기기 인터페이스부(140), 사용자 입력부(150) 및 통신부(160) 등을 전반적으로 제어할 수 있다. 프로세서(110)는 RAM, ROM, CPU, GPU 및 버스 중 적어도 하나를 포함할 수 있다. RAM, ROM, CPU 및 GPU 등은 버스를 통해 서로 연결될 수 있다.
통신부(160)는 모바일 장치(100) 주변에 위치한 복수개의 주변 기기들과 유선 또는 무선 통신 네트워크를 통하여 통신을 수행할 수 있다. 또한, 통신부(160)는 사용자의 실행 가능성을 예측하는데 이용되는 상황 정보를 수신할 수도 있다. 통신부(160)는 근거리 통신에 사용되는 근거리 통신부 및 원거리 통신 규격에 따라서 원거리 통신을 지원하기 위한 서버와 통신을 수행하는 원거리 통신부(미도시)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(와이파이 Direct) 통신부, UWB(Ultra Wideband) 통신부, Ant+ 통신부 이더넷 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
통신부(160)는 인터넷 통신을 위한 네트워크를 통하여 통신을 수행하는 원거리 통신 모듈을 포함할 수 있다. 또한, 통신부(160)는 3G, 4G, 및/또는 5G 등의 통신 규격에 따르는 통신 네트워크를 통하여 통신을 수행하는 원거리 통신 모듈을 포함할 수 있다. 또한, 통신부(160)는 외부 디바이스와 유선으로 통신하기 위해서, 주변 기기와 유선 케이블로 연결되기 위한 적어도 하나의 포트를 포함할 수 있다. 그에 따라서, 통신부(160)는 적어도 하나의 포트를 통하여 유선 연결된 외부 디바이스와 통신을 수행할 수 있다.
외부기기 인터페이스부(140)는 모바일 장치(100)와 다양한 외부 장치 사이의 인터페이스 환경을 제공할 수 있다. 외부기기 인터페이스부(140)은 A/V 입출력부를 포함할 수 있다. 외부기기 인터페이스부(140)는 DVD(Digital Versatile Disk) 및 블루-레이(Blue-ray), 게임 디바이스, 카메라, 컴퓨터, 에어컨, 노트북, 데스크탑, 텔레비전, 디지털 디스플레이 디바이스 등과 같은 외부 장치 등과 유/무선으로 접속될 수 있다. 외부기기 인터페이스부(140)는 연결된 외부 장치를 통하여 입력되는 이미지, 영상, 음성 신호 및 외부 장치에 대한 정보를 모바일 장치(100)의 프로세서(110)로 전달할 수 있다.
A/V 입출력부는 외부 기기에 대한 정보를 모바일 장치(100)로 입력할 수 있도록, USB 단자, CVBS(Composite Video Banking Sync) 단자, 컴포넌트 단자, S-비디오 단자(아날로그), DVI(Digital Visual Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, DP(Display Port), 썬더볼트(Thunderbolt), RGB 단자, D-SUB 단자 등을 포함할 수 있다.
다양한 주변 기기들이 외부기기 인터페이스부(140)를 통해 모바일 장치(100)와 연결될 수 있다.
사용자 입력부(150)는 사용자로부터 사용자의 요청을 입력 받을 수 있는 입력 수단을 의미할 수 있다. 사용자 입력부(150)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠 또는 조그 스위치 중 적어도 하나를 포함할 수 있으나 이에 한정되는 것은 아니다. 키는 모바일 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 다양한 영역에 형성된 기계적 버튼, 휠 등과 같은 다양한 유형의 키를 포함할 수 있다 터치 패널은 사용자의 터치 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력할 수 있다. 터치 패널이 표시 패널과 결합하여 터치 스크린(미도시)을 구성한 경우, 터치 스크린은 정전식이나, 감압식, 압전식 등과 같은 다양한 유형의 터치 센서로 구현될 수 있다. 본 개시의 일 실시예에 따른 모바일 장치(100)는 사용자 입력부(150)를 통해 사용자의 요청을 획득할 수 있다.
디스플레이(130)는 프로세서(110)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이(130)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이(130)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
디스플레이(130)는 통신부(160) 또는 사용자 입력부(150)를 통해 입력되는 각종 컨텐트를 출력하거나, 메모리(120)에 저장된 영상을 출력할 수 있다. 또한, 디스플레이(130)는 사용자 입력부(150)를 통해 사용자가 입력하는 정보를 화면에 출력할 수 있다.
디스플레이(130)는 디스플레이 패널을 포함할 수 있다. 디스플레이 패널은 LCD(Liquid Crystal Display) 패널이거나 또는 LED(Light Emitting Diode), OLED(Organic Light Emitting Diode), CCFL(cold cathode fluorescent lamp) 등 다양한 발광체를 포함하는 패널일 수 있다. 또한 디스플레이 패널은 곡률을 가지는 화면인 곡면(curved) 디스플레이 장치 또는 곡률을 조정 가능한 가변형(flexible) 디스플레이 장치를 포함할 수 있다. 디스플레이 패널은 3차원 디스플레이(3D display), 전기 영동 디스플레이(electrophoretic display)일 수도 있다.
디스플레이 패널의 출력 해상도는 예를 들어, HD(High Definition), Full HD, Ultra HD, 또는 Ultra HD 보다 더 선명한 해상도를 포함할 수 있다.
한편, 도 6 및 도 7에 도시된 모바일 장치(100)의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 모바일 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 1, 도 8, 도 9a, 도 9b 및 도 9c는 서버를 기반으로 동작하는 실시예에 대한 도면이다.
구체적으로 도 8은 본 개시의 일 실시예에 따른 모바일 장치가 서버를 기반으로 동작하는 방법을 나타내는 흐름도이고, 도 9a는 본 개시의 일 실시예에 따른 복수의 모바일 장치가 얼굴 인식 모델을 각각 서버에 제공한 상태를 나타내는 도면이며, 도 9b는 본 개시의 일 실시예에 따라 모바일 장치가 서버로 적어도 하나의 얼굴 인식 모델을 요청하는 일 예를 나타내는 도면이고, 도 9c는 본 개시의 일 실시예에 따라 모바일 장치가 서버로부터 적어도 하나의 얼굴 인식 모델을 획득하는 일 예를 나타내는 도면이다.
각 모바일 장치(100, 101, 102, 103)는 서버(200)로부터 얼굴 인식 기본 모델을 획득할 수 있다(S810).
명세서에서 "얼굴 인식 기본 모델"은 서버(200)가 범용 데이터를 기초로 학습한 얼굴 인식 모델일 수 있다.
일 실시예에서 범용 데이터는 복수의 모바일 장치로부터 동의를 받고 제공 받은 개인 정보 데이터일 수 있다.
일 실시예에서 범용 데이터는 LFW(Labelled Faeces in the wild) dataset, YoutubeFacesDB(ytfaces)와 같은 오픈 데이터 혹은 퍼블릭 데이터의 데이터 셋일 수 있다.
일 실시예에서 얼굴 인식 모델에는 OpenFace 또는 DeepFace 과 같은 오픈 소스의 얼굴 인식 알고리즘이 이용될 수 있다. 그러나 얼굴 인식 모델에서 이용되는 얼굴 인식 알고리즘이 위 예시로 제한되는 것은 아니고, 다양한 얼굴 인식 알고리즘이 이용될 수 있다.
각 모바일 장치(100, 101, 102, 103)는 서버(200)로부터 획득한 얼굴 인식 기본 모델에 사용자 데이터를 추가하여, 각 장치 사용자의 얼굴 인식을 위한 얼굴 인식 모델을 학습할 수 있다(S820).
일 실시예에서, 각 모바일 장치(100, 101, 102, 103)는 서버(200)로부터 획득한 기본 모델에 사용자 데이터를 추가하여, 각 장치 사용자의 얼굴 인식을 위한 얼굴 인식 모델을 학습할 수 있다. 추가된 사용자 데이터는 사용자에 의하여 앨범 등에서 선택된 영상, 모바일 장치(100)의 이미지 센서를 통하여 획득된 모바일 장치(100) 사용자의 영상, 모바일 장치(100) 사용자가 포함된 동영상을 포함할 수 있다.
S820 단계에 대하여 상세한 내용은 도 3a 및 도 3b에 기재된 내용과 동일할 수 있다.
각 모바일 장치(100, 101, 102, 103)는 학습 완료 후, 생성된 모델을 암호화하여 서버에 업로드할 수 있다(S830).
S830 단계의 암호화는 도 5의 S520 단계에 기재된 암호화와 동일할 수 있다.
도 1은 S830 단계의 일 예를 나타내는 도면일 수 있다.
S830 단계가 실행된 결과 즉, 각 모바일 장치(100, 101, 102, 103)가 학습 완료 후, 생성된 모델을 암호화하여 서버에 업로드한 후, 서버(200)는 도 9a에 도시된 것과 같이 복수의 사용자(사용자 B, 사용자 C 등)에 대한 얼굴 인식 모델을 저장하고 있을 수 있다.
각 모바일 장치(100, 101, 102, 103)는 서버(200)로 다른 사용자의 얼굴 인식 모델을 다운로드하게 해줄 것을 요청할 수 있다(S840).
일 실시예에서 각 모바일 장치(100, 101, 102, 103)는 각 모바일 장치(100, 101, 102, 103)로부터 소정 거리 이내에 존재하는 다른 모바일 장치의 사용자 얼굴 인식 모델을 다운로드하게 해줄 것을 서버(200)로 요청할 수 있다.
일 실시예에서 각 모바일 장치(100, 101, 102, 103)는 서버(200)에 저장된 모든 사용자 얼굴 인식 모델을 다운로드하게 해줄 것을 요청할 수 있다.
일 실시예에서 각 모바일 장치(100, 101, 102, 103)는 서버(200)에 저장된 사용자 얼굴 인식 모델 중 적어도 하나를 특정하여 다운로드하게 해줄 것을 요청할 수 있다.
도 9b는 S840 단계의 일 예를 나타낸 도면일 수 있다.
도 9b의 실시예에서 사용자 A는 AR 글라스 형태인 모바일 장치(100)의 사용자 일 수 있다. AR 글라스를 착용한 사용자 A는 서버(200)로 모바일 장치(100)로부터 소정 거리 이내에 존재하는 다른 모바일 장치(101, 102, 103)의 사용자 얼굴 인식 모델을 다운로드하게 해줄 것을 요청할 수 있다.
각 모바일 장치(100, 101, 102, 103)는 효율적인 데이터 관리를 위해 우선순위에 따라 다운로드 된 모델을 저장할 수 있다(S850).
일 실시예에서 각 모바일 장치(100, 101, 102, 103)는 도 9c에 도시된 바와 같이 서버(200)로부터 적어도 하나의 얼굴 인식 모델을 다운로드할 수 있다.
도 9c의 실시예에서 사용자 A의 모바일 장치(100)는 서버(200)로부터 다른 모바일 장치(101) 사용자의 얼굴 인식을 위한 얼굴 인식 모델을 다운로드할 수 있다.
각 모바일 장치(100, 101, 102, 103)가 우선순위에 따라 다운로드 된 모델을 저장하는 것에 대하여 자세한 내용은 도 13에서 후술한다.
각 모바일 장치(100, 101, 102, 103)는 모바일 장치로부터 촬영된 영상으로부터 얼굴을 감지할 수 있다(S860).
각 모바일 장치(100, 101, 102, 103)는 감지된 얼굴 영상에 대해 모바일 장치가 저장하고 있는 모델들을 이용해 얼굴을 인식할 수 있다(S870).
S860 단계 및 S870 단계는 도 4의 S430단계 및 S440 단계와 각각 동일할 수 있다.
도 2, 도 10, 도 11a, 도 11b 및 도 11c는 서버 없이 동작하는 실시예에 대한 도면이다.
구체적으로 도 10은 본 개시의 일 실시예에 따른 모바일 장치가 서버 없이 동작하는 방법을 나타내는 흐름도이고, 도 11a는 본 개시의 일 실시예에 따라 각 모바일 장치가 모바일 장치 사용자의 얼굴 인식을 위하여 트레이닝된 얼굴 인식 모델을 저장하고 있는 상태를 나타내는 도면이며, 도 11b는 본 개시의 일 실시예에 따라 모바일 장치가 복수의 다른 모바일 장치에 각 다른 모바일 장치 사용자의 얼굴 인식을 위하여 트레이닝된 얼굴 인식 모델을 요청하는 일 예를 나타내는 도면이고, 도 11c는 본 개시의 일 실시예에 따라 모바일 장치가 복수의 다른 모바일 장치로부터 각 다른 모바일 장치 사용자의 얼굴 인식을 위하여 트레이닝된 얼굴 인식 모델을 획득하는 일 예를 나타내는 도면이다.
각 모바일 장치(100, 101, 102, 103)는 서버(200)로부터 얼굴 인식 기본 모델을 획득할 수 있다(S1010).
S1010 단계는 도 8의 S810 단계와 동일한 단계일 수 있다.
각 모바일 장치(100, 101, 102, 103)는 기본 모델에 사용자 데이터를 추가하여, 각 장치 사용자의 얼굴 인식을 위한 얼굴 인식 모델을 학습할 수 있다(S1020).
S1020 단계는 도 8의 S820 단계와 동일한 단계일 수 있다.
각 모바일 장치(100, 101, 102, 103)는 학습된 자체 얼굴 인식 모델을 가지고 있는 주변의 다른 모바일 장치를 검색할 수 있다(S1030).
일 실시예에서 각 모바일 장치(100, 101, 102, 103)는 각 장치와 동일한 특정 장소에 있는 주변의 다른 모바일 장치를 검색할 수 있다. 다른 모바일 장치는 학습된 자체 얼굴 인식 모델을 가지고 있는 장치일 수 있다.
일 실시예에서 각 모바일 장치(100, 101, 102, 103)는 각 장치로부터 소정 거리 이내에 위치한 주변의 다른 모바일 장치를 검색할 수 있다. 다른 모바일 장치는 학습된 자체 얼굴 인식 모델을 가지고 있는 장치일 수 있다.
도 11a의 실시예에서 사용자 A의 모바일 장치(100)는 사용자 A의 얼굴 인식을 위한 얼굴 인식 모델을 저장하고 있고, 사용자 B의 모바일 장치(101)는 사용자 B의 얼굴 인식을 위한 얼굴 인식 모델을 저장하고 있으며, 사용자 C의 모바일 장치(102)는 사용자 C의 얼굴 인식을 위한 얼굴 인식 모델을 저장하고 있을 수 있다.
각 모바일 장치(100, 101, 102, 103)는 가지고 있는 모델을 암호화하여 검색된 다른 모바일 장치와 상호 교환을 진행할 수 있다(S1040).
각 모바일 장치(100, 101, 102, 103)는 검색된 다른 모바일 장치와 서로 자체적으로 트레이닝한 얼굴 인식 모델을 암호화하여 상호 교환을 진행할 수 있다.
일 실시예에서 각 모바일 장치(100, 101, 102, 103)는 도 2에 도시된 바와 같이 다른 모바일 장치와 서로 자체적으로 트레이닝한 얼굴 인식 모델을 암호화하여 상호 교환을 진행할 수 있다.
일 실시예에서 각 모바일 장치(100, 101, 102, 103)는 검색된 다른 모바일 장치와 서로 자체적으로 트레이닝한 얼굴 인식 모델을 암호화하지 않고 상호 교환을 진행할 수 있다.
도 2의 실시예에서 사용자 A의 얼굴 인식을 위한 얼굴 인식 모델을 저장하고 있는 사용자 A의 모바일 장치(100)는 사용자 B의 얼굴 인식을 위한 얼굴 인식 모델을 저장하고 있는 사용자 B의 모바일 장치(101), 사용자 C의 얼굴 인식을 위한 얼굴 인식 모델을 저장하고 있는 사용자 C의 모바일 장치(102) 및 사용자 D의 얼굴 인식을 위한 얼굴 인식 모델을 저장하고 있는 사용자 D의 모바일 장치(103)와 얼굴 인식 모델을 상호 교환할 수 있다.
도 11b의 실시예에서 사용자 A의 AR 글라스인 모바일 장치(100)는 사용자 B의 얼굴 인식을 위한 얼굴 인식 모델을 저장하고 있는 사용자 B의 모바일 장치(101), 사용자 C의 얼굴 인식을 위한 얼굴 인식 모델을 저장하고 있는 사용자 C의 모바일 장치(102)에 사용자 A의 얼굴 인식을 위한 얼굴 인식 모델을 제공할 수 있다.
도 11c의 실시예에서 사용자 A의 AR 글라스인 모바일 장치(100)는 사용자 B의 얼굴 인식을 위한 얼굴 인식 모델을 저장하고 있는 사용자 B의 모바일 장치(101) 및 사용자 C의 얼굴 인식을 위한 얼굴 인식 모델을 저장하고 있는 사용자 C의 모바일 장치(102)로부터 각각 사용자 B의 얼굴 인식을 위한 얼굴 인식 모델 및 사용자 B의 얼굴 인식을 위한 얼굴 인식 모델을 획득할 수 있다.
각 모바일 장치(100, 101, 102, 103)는 효율적인 데이터 관리를 위해 우선순위에 따라 다운로드 된 모델을 저장할 수 있다(S1050).
각 모바일 장치(100, 101, 102, 103)가 우선순위에 따라 다운로드 된 모델을 저장하는 것에 대하여 자세한 내용은 도 13에서 후술한다.
각 모바일 장치(100, 101, 102, 103)는 모바일 장치로부터 촬영된 영상으로부터 얼굴을 감지할 수 있다(S1060).
각 모바일 장치(100, 101, 102, 103)는 감지된 얼굴 영상에 대해 모바일 장치가 저장하고 있는 모델들을 이용해 얼굴을 인식할 수 있다(S1070).
S1060 단계 및 S1070 단계는 도 4의 S430단계 및 S440 단계와 각각 동일할 수 있다.
도 12는 본 개시의 다른 일 실시예에 따른 모바일 장치가 다른 모바일 장치의 얼굴 인식 모델을 이용하여 주변인의 얼굴을 인식하는 일 예를 나타내는 도면이다.
AR 글라스인 모바일 장치(100)를 착용한 사용자 A와, AR 글라스인 모바일 장치(101)를 착용한 사용자 B는 동일한 장소에 존재할 수 있다.
AR 글라스인 사용자 A의 모바일 장치(100)는 사용자 B의 모바일 장치(101)로부터 사용자 B의 얼굴 인식을 위한 얼굴 인식 모델(1210)을 획득할 수 있다.
일 실시예에서 사용자 B는 스마트 폰 및 AR 글라스를 본인의 모바일 장치(101)로 이용하고 있는 사용자일 수 있다. 사용자 B의 모바일 장치들(101)은 사용자 B의 얼굴 인식을 위한 얼굴 인식 모델(1210)을 공유할 수 있다. 사용자 A의 AR 글라스인 모바일 장치(100)는 사용자 B의 모바일 장치(101) 중 하나로부터 사용자 B의 얼굴 인식을 위한 얼굴 인식 모델(1210)을 획득할 수 있다.
AR 글라스인 사용자 A의 모바일 장치(100)는 획득된 사용자 B의 얼굴 인식을 위한 얼굴 인식 모델(1210)을 이용하여 감지된 얼굴이 사용자 B의 얼굴임을 인식할 수 있다.
한편 AR 글라스인 사용자 B의 모바일 장치(101)는 사용자 A의 모바일 장치(100)로부터 사용자 A의 얼굴 인식을 위한 얼굴 인식 모델(1220)을 획득할 수 있다.
일 실시예에서 사용자 A는 스마트 폰 및 AR 글라스를 본인의 모바일 장치(100)로 이용하고 있는 사용자일 수 있다. 사용자 A의 모바일 장치들(100)은 사용자 A의 얼굴 인식을 위한 얼굴 인식 모델(1220)을 공유할 수 있다. 사용자 B의 AR 글라스인 모바일 장치(101)는 사용자 A의 모바일 장치(100) 중 하나로부터 사용자 A의 얼굴 인식을 위한 얼굴 인식 모델(1220)을 획득할 수 있다.
AR 글라스인 사용자 B의 모바일 장치(101)는 획득된 사용자 A의 얼굴 인식을 위한 얼굴 인식 모델(1220)을 이용하여 감지된 얼굴이 사용자 A의 얼굴임을 인식할 수 있다.
도 13은 본 개시의 일 실시예에 따라 모바일 장치가 적어도 하나의 외부 장치로부터 획득된 복수의 얼굴 인식 모델을 관리하는 방법의 일 예를 나타내는 도면이다.
모바일 장치(100)는 다른 모바일 장치(101, 102, 103 등) 또는 서버(200)로부터 획득한 복수의 얼굴 인식 모델을 저장할 수 있다.
모바일 장치(100)에 저장된 얼굴 인식 모델이 증가함에 따라 모바일 장치(100)는 효율적인 데이터 관리를 위해 우선순위에 따라 다운로드 된 모델을 저장할 수 있다.
일 실시예에서 모바일 장치(100)는 사용자 B의 얼굴 인식을 위한 얼굴 인식 모델(1310), 사용자 C의 얼굴 인식을 위한 얼굴 인식 모델(1320), 사용자 D의 얼굴 인식을 위한 얼굴 인식 모델(1330) 및 사용자 E의 얼굴 인식을 위한 얼굴 인식 모델(1340)을 저장하고 있을 수 있다.
모바일 장치(100)는 각 얼굴 인식 모델에 대하여 다운로드 횟수 및 사용 횟수를 저장할 수 있다. 다운로드 횟수는 동일한 얼굴 인식 모델이 모바일 장치(100)에 다운로드 된 횟수를 의미하고, 사용 횟수는 해당 얼굴 인식 모델을 이용하여 실제로 대상 얼굴이 인식된 횟수를 의미할 수 있다.
모바일 장치(100)는 각 얼굴 인식 모델의 다운로드 횟수 및 사용 횟수를 기초로 각 얼굴 인식 모델의 우선 순위를 결정할 수 있다.
모바일 장치(100)는 우선 순위가 소정 순위 이하인 얼굴 인식 모델을 주기적으로 삭제할 수 있다.
도 13의 실시예에서는 각 얼굴 인식 모델의 다운로드 횟수 및 사용 횟수를 기초로 우선 순위를 결정하는 예를 기재하였으나, 우선 순위 결정 기준이 각 얼굴 인식 모델의 다운로드 횟수 및 사용 횟수로 제한 되는 것은 아니고, 모바일 장치(100)는 각 얼굴 인식 모델의 다운로드 횟수 및 사용 횟수뿐 아니라 각 얼굴 인식 모델이 사용된 시기, 다운로드 된 시기 및 각 얼굴 인식 모델이 인식하는 사용자와 모바일 장치(100) 사용자의 관계 중 적어도 하나를 기초로 우선 순위를 결정할 수 있다.
도 14는 본 개시의 일 실시예에 따라 모바일 장치가 적어도 하나의 외부 장치로부터 획득된 복수의 얼굴 인식 모델을 관리하는 방법의 일 예를 나타내는 도면이다.
모바일 장치(100)는 다른 모바일 장치(101, 102, 103 등) 또는 서버(200)로부터 획득한 복수의 얼굴 인식 모델을 저장할 수 있다.
모바일 장치(100)에 저장된 얼굴 인식 모델이 증가함에 따라 모바일 장치(100)는 효율적인 데이터 관리를 위해 다운로드 된 모델을 분류하여 저장할 수 있다.
일 실시예에서 모바일 장치(100)는 상호 관련성에 기초하여 얼굴 인식 모델들을 분류하여 저장할 수 있다.
일 실시예에서 모바일 장치(100)는 얼굴 인식 모델이 이용하는 네트워크에 기초하여 얼굴 인식 모델들을 분류하여 저장할 수 있다.
일 실시예에서 모바일 장치(100)는 홈 네트워크를 이용하는 모바일 장치들로부터 획득된 어머니의 얼굴 인식을 위한 얼굴 인식 모델, 아버지의 얼굴 인식을 위한 얼굴 인식 모델, 동생의 얼굴 인식을 위한 얼굴 인식 모델 및 언니의 얼굴 인식을 위한 얼굴 인식 모델을 포함하는 제1 그룹(1410)을 생성할 수 있다.
일 실시예에서 모바일 장치(100)는 회사 네트워크를 이용하는 모바일 장치들로부터 획득된 사용자 B의 얼굴 인식을 위한 얼굴 인식 모델, 사용자 C의 얼굴 인식을 위한 얼굴 인식 모델, 사용자 D의 얼굴 인식을 위한 얼굴 인식 모델, 사용자 E의 얼굴 인식을 위한 얼굴 인식 모델을 포함하는 제2 그룹(1420)을 생성할 수 있다.
도 14의 제1 그룹(1410) 및 제2 그룹(1420)은 예시일 뿐이고, 특정 모임에 포함된 사용자들의 얼굴 인식을 위한 얼굴 인식 모델 그룹, 특정 위치에 존재하는 사용자들의 얼굴 인식을 위한 얼굴 인식 모델 그룹 및 특정 역할을 가진 사용자들의 얼굴 인식을 위한 얼굴 인식 모델 그룹 등 다양한 그룹이 생성될 수 있다.
이러한 그룹의 생성을 통하여 모바일 장치(100)는 효율적으로 얼굴 인식 모델들을 관리하고, 신속하게 필요한 얼굴 인식 모델을 이용할 수 있다.
도 15는 본 개시의 일 실시예에 따라 모바일 장치가 복수의 얼굴 인식 모델을 이용하여 인식한 얼굴과 관련된 정보를 디스플레이하는 일 예를 나타내는 도면이다.
모바일 장치(100)는 도 1 내지 도 14에 기재된 얼굴 인식 방법을 이용하여 인식된 적어도 하나의 얼굴의 주인과 관련된 정보를 저장하고 있는 애플리케이션으로부터 그와 관련된 정보를 획득하여 적어도 하나의 얼굴이 감지된 영상에 디스플레이할 수 있다.
도 15의 실시예에서 AR 글라스인 모바일 장치(100)는 회사의 복도 혹은 회사의 다른 장소에서 획득된 영상으로부터 3개의 얼굴을 감지할 수 있다.
모바일 장치(100)는 도 1 내지 도 14에 기재된 얼굴 인식 방법을 이용하여 감지된 얼굴들이 각각 누구의 얼굴인지 인식할 수 있다.
모바일 장치(100)는 감지된 얼굴 중 1510이 협업 부서에 근무하는 잭슨의 얼굴이고 잭슨과 관련하여 다이어리 애플리케이션, 일정 관리 애플리케이션 또는 메모 애플리케이션으로부터 "XXX 이슈 현황 체크 필요"라는 정보(1520)를 획득할 수 있다.
모바일 장치(100)는 획득된 정보(1520)를 인식된 얼굴과 함께 영상에 디스플레이할 수 있다.
일 실시예에서 획득된 정보(1520)는 인식된 얼굴 근처에서 팝업 메시지의 형태로 디스플레이될 수 있다.
일 실시예에서 획득된 정보(1520)는 인식된 얼굴 근처에서 알림 메시지의 형태로 영상의 위 또는 아래에 디스플레이될 수 있다.
그러나 디스플레이 형태가 팝업 메시지 또는 알림 메시지로 제한되는 것은 아니고, 획득된 정보(1520)는 영상의 가시성을 해치지 않는 범위에서 다양한 방식으로 디스플레이될 수 있다.
일 실시예에서 모바일 장치(100)는 인식된 얼굴 1510에 대응하는 사용자 잭슨의 사진을 회사 데이터베이스로부터 획득할 수 있다. 사용자 잭슨의 사진은 획득된 정보(1520)와 같이 영상에 디스플레이될 수 있다.
모바일 장치(100)는 감지된 얼굴 중 하나인 1530이 올리비아의 얼굴이고 올리비아와 관련하여 다이어리 애플리케이션, 일정 관리 애플리케이션 또는 메모 애플리케이션 등으로부터 "2022.03.15 2:00~3:00 시나리오 회의"라는 정보(1540)를 획득할 수 있다.
모바일 장치(100)는 획득된 정보(1540)를 인식된 얼굴과 함께 디스플레이할 수 있다.
일 실시예에서 획득된 정보(1540)는 인식된 얼굴 근처에서 팝업 메시지의 형태로 디스플레이될 수 있다.
일 실시예에서 획득된 정보(1540)는 인식된 얼굴 근처에서 알림 메시지의 형태로 영상의 위 또는 아래에 디스플레이될 수 있다.
도 16은 본 개시의 일 실시예에 따라 모바일 장치가 복수의 얼굴 인식 모델을 이용하여 인식한 얼굴과 관련된 정보를 디스플레이하는 일 예를 나타내는 도면이다.
모바일 장치(100)는 탄광, 용광로 또는 사고 현장 등과 같은 위험한 장소에서 본 개시의 일 실시예에 따른 얼굴 인식 모델들을 이용하여 작업자들의 안전을 확인할 수 있다.
일 실시예에서 모바일 장치(100)는 사전에 해당 장소에 입장하는 작업자들의 얼굴 인식을 위한 얼굴 인식 모델들을 획득하여 저장할 수 있다.
모바일 장치(100)는 저장된 얼굴 인식 모델들을 이용하여 위험한 장소에서 주기적으로 작업자들의 얼굴을 인식함으로써 각 작업자의 안전을 확인할 수 있다.
일 실시예에서 모바일 장치(100)는 모바일 장치(100)에 의하여 획득된 영상으로부터 적어도 하나의 얼굴(1610, 1620)을 인식하고, 인식된 얼굴의 작업자가 안전하다는 메시지를 영상에 디스플레이하거나, 외부 장치로 송신할 수 있다.
도 16의 실시예에서 모바일 장치(100)는 각 작업자가 소지한 모바일 장치일 수 있다.
도 16의 실시예에서 모바일 장치(100)는 해당 장소의 관리자가 소지한 모바일 장치일 수 있다.
일 실시예에서 모바일 장치(100)는 학교나 학원 등에서 선생님이 소지한 장치일 수 있다. 모바일 장치(100)는 학생들 개개인의 얼굴 인식을 위한 얼굴 인식 모델을 사전에 저장할 수 있다. 모바일 장치(100)는 학생들 개개인의 얼굴 인식을 위한 얼굴 인식 모델을 이용하여 학생들의 얼굴을 인식하고 해당 학생들과 관련하여 참조가 될 수 있는 정보를 디스플레이할 수 있다.
일 실시예에서 모바일 장치(100)는 마트, 쇼핑 몰 및 백화점 등에서 고객들이 소지한 장치일 수 있다. 모바일 장치(100)는 마트, 쇼핑 몰 및 백화점의 고객 응대 직원들 개개인의 얼굴 인식을 위한 얼굴 인식 모델을 사전에 저장할 수 있다. 모바일 장치(100)는 마트, 쇼핑 몰 및 백화점의 고객 응대 직원들 개개인의 얼굴 인식을 위한 얼굴 인식 모델을 이용하여 획득된 영상에서 감지된 얼굴이 도움을 받을 수 있는 직원인지 여부를 식별할 수 있다.
일 실시예에서 모바일 장치(100)는 경찰, 검찰 또는 수사관들이 소지한 장치일 수 있다. 모바일 장치(100)는 잠복 근무 중이거나 일반인으로 위장한 동료들의 얼굴 인식을 위한 얼굴 저장 모델을 사전에 저장할 수 있다. 모바일 장치(100)는 잠복 근무 중이거나 일반인으로 위장한 동료들의 얼굴 인식을 위한 얼굴 저장 모델을 이용하여 획득된 영상에서 감지된 얼굴이 작전 중인 경찰, 검찰 또는 수사관인지 여부를 식별할 수 있다.
일 실시예에 따른 모바일 장치 동작 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 판독 가능 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드가 포함될 수 있다.
전술한 설명은 예시를 위한 것이며, 발명이 속하는 기술분야의 통상의 지식을 가진 자는 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
일 실시예에 따른 모바일 장치(100)의 동작 방법은 상기 모바일 장치(100) 사용자의 얼굴 인식을 위하여 제1 얼굴 인식 모델을 트레이닝 하는 단계, 상기 트레이닝된 제1 얼굴 인식 모델을 적어도 하나의 외부 장치로 전송하고, 상기 적어도 하나의 외부 장치로부터 적어도 하나의 다른 모바일 장치(101, 102, 103) 사용자의 얼굴 인식을 위하여 각각 트레이닝 된 적어도 하나의 제2 얼굴 인식 모델을 획득하는 단계, 상기 모바일 장치(100)에 의하여 획득된 영상으로부터 적어도 하나의 얼굴을 감지하는 단계 및 상기 제1 얼굴 인식 모델 및 상기 적어도 하나의 제2 얼굴 인식 모델을 이용하여 상기 감지된 적어도 하나의 얼굴을 인식하는 단계를 포함하고, 상기 적어도 하나의 제2 얼굴 인식 모델은 적어도 하나의 다른 모바일 장치(101, 102, 103)에서 각 모바일 장치(101, 102, 103) 사용자의 얼굴 인식을 위하여 각각 트레이닝된 모델일 수 있다.
일 실시예에 따른, 상기 제1 얼굴 인식 모델은 상기 모바일 장치(100) 사용자에 대한 복수의 영상을 이용하여 상기 모바일 장치(100) 사용자의 얼굴을 인식하도록 트레이닝 된 얼굴 인식 모델일 수 있다.
일 실시예에 따른 모바일 장치의 동작 방법은 상기 적어도 하나의 외부 장치로 상기 적어도 하나의 제2 얼굴 인식 모델에 대한 요청을 전송하는 단계를 포함하고, 상기 적어도 하나의 외부 장치는 서버(200)이고, 상기 서버(200)는 상기 적어도 하나의 다른 모바일 장치(101, 102, 103)로부터 획득된 상기 적어도 하나의 제2 얼굴 인식 모델을 저장하고 있을 수 있다.
일 실시예에 따른 모바일 장치의 동작 방법은 상기 적어도 하나의 외부 장치로 상기 적어도 하나의 제2 얼굴 인식 모델에 대한 요청을 전송하는 단계를 포함하고, 상기 적어도 하나의 외부 장치는 상기 모바일 장치(100)로부터 소정 거리 이내에 존재하는 상기 적어도 하나의 다른 모바일 장치(101, 102, 103)이고, 상기 적어도 하나의 다른 모바일 장치(101, 102, 103)는 각각 상기 적어도 하나의 다른 모바일 장치(101, 102, 103) 사용자의 얼굴 인식을 위하여 각각 트레이닝 된 제2 얼굴 인식 모델을 저장하고 있을 수 있다.
일 실시예에 따른 모바일 장치의 동작 방법은 상기 트레이닝된 제1 얼굴 인식 모델은 암호화하여 적어도 하나의 외부 장치로 전송하고, 상기 획득된 적어도 하나의 제2 얼굴 인식 모델은 복호화하여 상기 감지된 적어도 하나의 얼굴을 인식에 이용할 수 있다.
상기 적어도 하나의 컨트롤러 컴포넌트 사이의 관계는, 부모, 자식 관계를 포함하고, 자식 컨트롤러 컴포넌트는 부모 컨트롤러 컴포넌트를 클릭하는 경우에만 나타날 수 있다.
일 실시예에 따른, 상기 제1 얼굴 인식 모델 및 상기 적어도 하나의 제2 얼굴 인식 모델 각각은, 인식 대상인 얼굴이 서로 다른 것을 특징으로 할 수 있다.
일 실시예에 따른 모바일 장치의 동작 방법은 소정의 기준에 따라 부여된 우선 순위에 기초하여 상기 적어도 하나의 제2 얼굴 인식 모델을 저장하는 단계를 포함할 수 있다.
일 실시예에 따른 모바일 장치의 동작 방법은 상호 관련성에 기초하여 상기 적어도 하나의 제2 얼굴 인식 모델을 분류하여 저장하는 단계를 포함할 수 있다.
일 실시예에 따른 모바일 장치의 동작 방법은 상기 인식된 적어도 하나의 얼굴과 관련된 애플리케이션으로부터 상기 인식된 적어도 하나의 얼굴과 관련된 정보를 획득하여 상기 적어도 하나의 얼굴이 감지된 영상에 디스플레이하는 단계를 포함할 수 있다.
일 실시예에 따라 상기 모바일 장치(100)에 의하여 획득된 영상은, 카메라를 통하여 획득된 영상 또는 외부로부터 수신하여 획득된 영상을 포함할 수 있다.
일 실시예에 따른 상기 모바일 장치(100)는, 상기 적어도 하나의 컨트롤러 컴포넌트를 디스를레이 하여, 사용자 입력을 획득하는 게임 패드로서만 기능할 수 있다.
일 실시예에 따른 모바일 장치(100)는 디스플레이(130), 하나 이상의 인스트럭션을 저장하는 메모리(120) 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 하나 이상의 프로세서(110)를 포함하고, 상기 하나 이상의 프로세서(110)는, 상기 하나 이상의 인스트럭션을 실행함으로써, 모바일 장치(100) 사용자의 얼굴 인식을 위하여 제1 얼굴 인식 모델을 트레이닝 하고, 상기 트레이닝된 제1 얼굴 인식 모델을 적어도 하나의 외부 장치로 전송하고, 상기 적어도 하나의 외부 장치로부터 적어도 하나의 다른 모바일 장치(101, 102, 103) 사용자의 얼굴 인식을 위하여 각각 트레이닝 된 적어도 하나의 제2 얼굴 인식 모델을 획득하고, 상기 모바일 장치(100)에 의하여 획득된 영상으로부터 적어도 하나의 얼굴을 감지하고, 상기 제1 얼굴 인식 모델 및 상기 적어도 하나의 제2 얼굴 인식 모델을 이용하여 상기 감지된 적어도 하나의 얼굴을 인식하고, 상기 적어도 하나의 제2 얼굴 인식 모델은 적어도 하나의 다른 모바일 장치(101, 102, 103)에서 각 모바일 장치(101, 102, 103) 사용자의 얼굴 인식을 위하여 각각 트레이닝된 모델일 수 있다.
일 실시예에 따른, 상기 제1 얼굴 인식 모델은, 상기 모바일 장치(100) 사용자에 대한 복수의 영상을 이용하여 상기 모바일 장치(100) 사용자의 얼굴을 인식하도록 트레이닝 된 얼굴 인식 모델일 수 있다.
일 실시예에 따른 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 적어도 하나의 외부 장치로 상기 적어도 하나의 제2 얼굴 인식 모델에 대한 요청을 전송하고, 상기 적어도 하나의 외부 장치는 서버(200)이고, 상기 서버(200)는 상기 적어도 하나의 다른 모바일 장치(101, 102, 103)로부터 획득된 상기 적어도 하나의 제2 얼굴 인식 모델을 저장하고 있을 수 있다.
일 실시예에 따른 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 적어도 하나의 외부 장치로 상기 적어도 하나의 제2 얼굴 인식 모델에 대한 요청을 전송하고, 상기 적어도 하나의 외부 장치는 상기 모바일 장치(100)로부터 소정 거리 이내에 존재하는 상기 적어도 하나의 다른 모바일 장치(101, 102, 103)이고, 상기 적어도 하나의 다른 모바일 장치(101, 102, 103)는 각각 상기 적어도 하나의 다른 모바일 장치(101, 102, 103) 사용자의 얼굴 인식을 위하여 각각 트레이닝 된 제2 얼굴 인식 모델을 저장하고 있을 수 있다.
일 실시예에 따른 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 트레이닝된 제1 얼굴 인식 모델은 암호화하여 적어도 하나의 외부 장치로 전송하고, 상기 획득된 적어도 하나의 제2 얼굴 인식 모델은 복호화하여 상기 감지된 적어도 하나의 얼굴을 인식에 이용할 수 있다.
일 실시예에 따른 상기 제1 얼굴 인식 모델 및 상기 적어도 하나의 제2 얼굴 인식 모델 각각은, 인식 대상인 얼굴이 서로 다른 것을 특징으로 할 수 있다.
일 실시예에 따른 상기 제1 얼굴 인식 모델 및 상기 적어도 하나의 제2 얼굴 인식 모델 각각은, 인식 대상인 얼굴이 서로 다른 것을 특징으로 할 수 있다.
일 실시예에 따른 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상호 관련성에 기초하여 상기 적어도 하나의 제2 얼굴 인식 모델을 분류하여 저장할 수 있다.
일 실시예에 따른 상기 프로세서(110)는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 인식된 적어도 하나의 얼굴과 관련된 애플리케이션으로부터 상기 인식된 적어도 하나의 얼굴과 관련된 정보를 획득하여 상기 적어도 하나의 얼굴이 감지된 영상에 디스플레이할 수 있다.
일 실시 예에 따른 컴퓨터로 판독 가능한 기록 매체는 상기 모바일 장치(100) 사용자의 얼굴 인식을 위하여 제1 얼굴 인식 모델을 트레이닝 하는 단계, 상기 트레이닝된 제1 얼굴 인식 모델을 적어도 하나의 외부 장치로 전송하고, 상기 적어도 하나의 외부 장치로부터 적어도 하나의 다른 모바일 장치(101, 102, 103) 사용자의 얼굴 인식을 위하여 각각 트레이닝 된 적어도 하나의 제2 얼굴 인식 모델을 획득하는 단계, 상기 모바일 장치(100)에 의하여 획득된 영상으로부터 적어도 하나의 얼굴을 감지하는 단계 및 상기 제1 얼굴 인식 모델 및 상기 적어도 하나의 제2 얼굴 인식 모델을 이용하여 상기 감지된 적어도 하나의 얼굴을 인식하는 단계를 포함하고, 상기 적어도 하나의 제2 얼굴 인식 모델은 적어도 하나의 다른 모바일 장치(101, 102, 103)에서 각 모바일 장치(101, 102, 103) 사용자의 얼굴 인식을 위하여 각각 트레이닝된 모델인 모바일 장치의 동작 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
Claims (20)
- 모바일 장치(100)의 동작 방법에 있어서,
상기 모바일 장치(100) 사용자의 얼굴 인식을 위하여 제1 얼굴 인식 모델을 트레이닝 하는 단계;
상기 트레이닝된 제1 얼굴 인식 모델을 적어도 하나의 외부 장치로 전송하고, 상기 적어도 하나의 외부 장치로부터 적어도 하나의 다른 모바일 장치(101, 102, 103) 사용자의 얼굴 인식을 위하여 각각 트레이닝 된 적어도 하나의 제2 얼굴 인식 모델을 획득하는 단계;
상기 모바일 장치(100)에 의하여 획득된 영상으로부터 적어도 하나의 얼굴을 감지하는 단계; 및
상기 제1 얼굴 인식 모델 및 상기 적어도 하나의 제2 얼굴 인식 모델을 이용하여 상기 감지된 적어도 하나의 얼굴을 인식하는 단계를 포함하고,
상기 적어도 하나의 제2 얼굴 인식 모델은 적어도 하나의 다른 모바일 장치(101, 102, 103)에서 각 모바일 장치(101, 102, 103) 사용자의 얼굴 인식을 위하여 각각 트레이닝된 모델인, 모바일 장치의 동작 방법. - 제 1항에 있어서, 상기 제1 얼굴 인식 모델은,
상기 모바일 장치(100) 사용자에 대한 복수의 영상을 이용하여 상기 모바일 장치(100) 사용자의 얼굴을 인식하도록 트레이닝 된 얼굴 인식 모델인 모바일 장치의 동작 방법. - 제 1항 내지 제 2항 중 어느 한 항에 있어서,
상기 적어도 하나의 외부 장치로 상기 적어도 하나의 제2 얼굴 인식 모델에 대한 요청을 전송하는 단계를 포함하고,
상기 적어도 하나의 외부 장치는 서버(200)이고,
상기 서버(200)는 상기 적어도 하나의 다른 모바일 장치(101, 102, 103)로부터 획득된 상기 적어도 하나의 제2 얼굴 인식 모델을 저장하고 있는 모바일 장치의 동작 방법. - 제 1항 내지 제 2항 중 어느 한 항에 있어서,
상기 적어도 하나의 외부 장치로 상기 적어도 하나의 제2 얼굴 인식 모델에 대한 요청을 전송하는 단계를 포함하고,
상기 적어도 하나의 외부 장치는 상기 모바일 장치(100)로부터 소정 거리 이내에 존재하는 상기 적어도 하나의 다른 모바일 장치(101, 102, 103)이고,
상기 적어도 하나의 다른 모바일 장치(101, 102, 103)는 각각 상기 적어도 하나의 다른 모바일 장치(101, 102, 103) 사용자의 얼굴 인식을 위하여 각각 트레이닝 된 제2 얼굴 인식 모델을 저장하고 있는 모바일 장치의 동작 방법. - 제 1항 내지 제 4항 중 어느 한 항에 있어서,
상기 트레이닝된 제1 얼굴 인식 모델은 암호화하여 적어도 하나의 외부 장치로 전송하고,
상기 획득된 적어도 하나의 제2 얼굴 인식 모델은 복호화하여 상기 감지된 적어도 하나의 얼굴을 인식에 이용하는 모바일 장치의 동작 방법. - 제 1항 내지 제 5항 중 어느 한 항에 있어서, 상기 제1 얼굴 인식 모델 및 상기 적어도 하나의 제2 얼굴 인식 모델 각각은, 인식 대상인 얼굴이 서로 다른 것을 특징으로 하는 모바일 장치의 동작 방법.
- 제 1항 내지 제 6항 중 어느 한 항에 있어서,
소정의 기준에 따라 부여된 우선 순위에 기초하여 상기 적어도 하나의 제2 얼굴 인식 모델을 저장하는 단계를 포함하는 모바일 장치의 동작 방법. - 제 1항 내지 제 7항 중 어느 한 항에 있어서,
상호 관련성에 기초하여 상기 적어도 하나의 제2 얼굴 인식 모델을 분류하여 저장하는 단계를 포함하는 모바일 장치의 동작 방법. - 제 1항 내지 제 8항 중 어느 한 항에 있어서,
상기 인식된 적어도 하나의 얼굴과 관련된 애플리케이션으로부터 상기 인식된 적어도 하나의 얼굴과 관련된 정보를 획득하여 상기 적어도 하나의 얼굴이 감지된 영상에 디스플레이하는 단계를 포함하는 모바일 장치의 동작 방법. - 제 1항 내지 제 9항 중 어느 한 항에 있어서, 상기 모바일 장치(100)에 의하여 획득된 영상은,
카메라를 통하여 획득된 영상 또는 외부로부터 수신하여 획득된 영상을 포함하는 모바일 장치의 동작 방법. - 디스플레이(130);
하나 이상의 인스트럭션을 저장하는 메모리(120); 및
하나 이상의 프로세서(110)를 포함하고, 상기 하나 이상의 프로세서(110)는, 상기 하나 이상의 인스트럭션을 실행함으로써,
모바일 장치(100) 사용자의 얼굴 인식을 위하여 제1 얼굴 인식 모델을 트레이닝 하고,
상기 트레이닝된 제1 얼굴 인식 모델을 적어도 하나의 외부 장치로 전송하고, 상기 적어도 하나의 외부 장치로부터 적어도 하나의 다른 모바일 장치(101, 102, 103) 사용자의 얼굴 인식을 위하여 각각 트레이닝 된 적어도 하나의 제2 얼굴 인식 모델을 획득하고,
상기 모바일 장치(100)에 의하여 획득된 영상으로부터 적어도 하나의 얼굴을 감지하고,
상기 제1 얼굴 인식 모델 및 상기 적어도 하나의 제2 얼굴 인식 모델을 이용하여 상기 감지된 적어도 하나의 얼굴을 인식하고,
상기 적어도 하나의 제2 얼굴 인식 모델은 적어도 하나의 다른 모바일 장치(101, 102, 103)에서 각 모바일 장치(101, 102, 103) 사용자의 얼굴 인식을 위하여 각각 트레이닝된 모델인, 모바일 장치. - 제 11항에 있어서, 상기 제1 얼굴 인식 모델은,
상기 모바일 장치(100) 사용자에 대한 복수의 영상을 이용하여 상기 모바일 장치(100) 사용자의 얼굴을 인식하도록 트레이닝 된 얼굴 인식 모델인 모바일 장치. - 제 11항 내지 제 12항 중 어느 한 항에 있어서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 적어도 하나의 외부 장치로 상기 적어도 하나의 제2 얼굴 인식 모델에 대한 요청을 전송하고,
상기 적어도 하나의 외부 장치는 서버(200)이고,
상기 서버(200)는 상기 적어도 하나의 다른 모바일 장치(101, 102, 103)로부터 획득된 상기 적어도 하나의 제2 얼굴 인식 모델을 저장하고 있는 모바일 장치. - 제 11항 내지 제 12항 중 어느 한 항에 있어서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 적어도 하나의 외부 장치로 상기 적어도 하나의 제2 얼굴 인식 모델에 대한 요청을 전송하고,
상기 적어도 하나의 외부 장치는 상기 모바일 장치(100)로부터 소정 거리 이내에 존재하는 상기 적어도 하나의 다른 모바일 장치(101, 102, 103)이고,
상기 적어도 하나의 다른 모바일 장치(101, 102, 103)는 각각 상기 적어도 하나의 다른 모바일 장치(101, 102, 103) 사용자의 얼굴 인식을 위하여 각각 트레이닝 된 제2 얼굴 인식 모델을 저장하고 있는 모바일 장치. - 제 11항 내지 제 14항 중 어느 한 항에 있어서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 트레이닝된 제1 얼굴 인식 모델은 암호화하여 적어도 하나의 외부 장치로 전송하고,
상기 획득된 적어도 하나의 제2 얼굴 인식 모델은 복호화하여 상기 감지된 적어도 하나의 얼굴을 인식에 이용하는 모바일 장치. - 제 11항 내지 제 15항 중 어느 한 항에 있어서, 상기 제1 얼굴 인식 모델 및 상기 적어도 하나의 제2 얼굴 인식 모델 각각은, 인식 대상인 얼굴이 서로 다른 것을 특징으로 하는 모바일 장치.
- 제 11항 내지 제 16항 중 어느 한 항에 있어서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
소정의 기준에 따라 부여된 우선 순위에 기초하여 상기 적어도 하나의 제2 얼굴 인식 모델을 저장하는 모바일 장치. - 제 11항 내지 제 17항 중 어느 한 항에 있어서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
상호 관련성에 기초하여 상기 적어도 하나의 제2 얼굴 인식 모델을 분류하여 저장하는 모바일 장치. - 제 11항 내지 제 18항 중 어느 한 항에 있어서, 상기 하나 이상의 프로세서(110)는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 인식된 적어도 하나의 얼굴과 관련된 애플리케이션으로부터 상기 인식된 적어도 하나의 얼굴과 관련된 정보를 획득하여 상기 적어도 하나의 얼굴이 감지된 영상에 디스플레이하는 모바일 장치. - 제1항 내지 제10항 중 어느 한 항의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220121118A KR20240041716A (ko) | 2022-09-23 | 2022-09-23 | 모바일 장치 및 그 동작 방법 |
| PCT/KR2023/011156 WO2024063316A1 (ko) | 2022-09-23 | 2023-07-31 | 모바일 장치 및 그 동작 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220121118A KR20240041716A (ko) | 2022-09-23 | 2022-09-23 | 모바일 장치 및 그 동작 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240041716A true KR20240041716A (ko) | 2024-04-01 |
Family
ID=90454580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220121118A KR20240041716A (ko) | 2022-09-23 | 2022-09-23 | 모바일 장치 및 그 동작 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20240041716A (ko) |
| WO (1) | WO2024063316A1 (ko) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170169358A1 (en) * | 2015-12-09 | 2017-06-15 | Samsung Electronics Co., Ltd. | In-storage computing apparatus and method for decentralized machine learning |
| CN107358157B (zh) * | 2017-06-07 | 2020-10-02 | 创新先进技术有限公司 | 一种人脸活体检测方法、装置以及电子设备 |
| KR102607880B1 (ko) * | 2018-06-19 | 2023-11-29 | 삼성전자주식회사 | 전자 장치 및 그의 제어 방법 |
| KR102139548B1 (ko) * | 2020-04-16 | 2020-07-30 | 주식회사 한국정보보호경영연구소 | 안면인식 기술 기반 분산화된 신원증명 시스템 및 방법 |
| CN112561079A (zh) * | 2020-12-18 | 2021-03-26 | 北京百度网讯科技有限公司 | 分布式的模型训练装置、方法及计算机程序产品 |
-
2022
- 2022-09-23 KR KR1020220121118A patent/KR20240041716A/ko unknown
-
2023
- 2023-07-31 WO PCT/KR2023/011156 patent/WO2024063316A1/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024063316A1 (ko) | 2024-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102615597B1 (ko) | 이미지를 암호화하여 외부 서버에 업로드하기 위한 전자 장치 및 이의 제어 방법 | |
| US20200143149A1 (en) | Electronic apparatus and operation method thereof | |
| US11316976B1 (en) | Call center interface | |
| KR20240006713A (ko) | 챗봇 변경을 위한 위한 전자 장치 및 이의 제어 방법 | |
| US20200118010A1 (en) | System and method for providing content based on knowledge graph | |
| US20200042775A1 (en) | Artificial intelligence server and method for de-identifying face area of unspecific person from image file | |
| US20210342427A1 (en) | Electronic device for performing user authentication and operation method therefor | |
| KR102444932B1 (ko) | 이미지를 암호화하여 외부 서버에 업로드하기 위한 전자 장치 및 이의 제어 방법 | |
| EP3756185B1 (en) | Electronic device for outputting response to speech input by using application and operation method thereof | |
| US10630827B2 (en) | Electronic device and control method thereof | |
| KR102438784B1 (ko) | 데이터를 난독화 및 복호화 하는 전자 장치 및 그의 제어 방법 | |
| US11200075B2 (en) | Artificial intelligence apparatus and method for extracting user's concern | |
| KR20190107626A (ko) | 인공지능 서버 | |
| CN116320149A (zh) | 电子设备和用于控制电子设备的方法 | |
| US20190294983A1 (en) | Machine learning inference routing | |
| KR20190088128A (ko) | 전자 장치 및 그의 제어 방법 | |
| US11468270B2 (en) | Electronic device and feedback information acquisition method therefor | |
| KR102532230B1 (ko) | 전자 장치 및 그 제어 방법 | |
| US20210264905A1 (en) | Electronic device and control method therefor | |
| US10152738B2 (en) | Systems and methods for providing an interactive virtual environment | |
| Zhang et al. | A path planning strategy for searching the most reliable path in uncertain environments | |
| US11854059B2 (en) | Smart apparatus | |
| KR20240041716A (ko) | 모바일 장치 및 그 동작 방법 | |
| US20210004702A1 (en) | System and method for generating information for interaction with a user | |
| US20220373346A1 (en) | Personalized route recommendation and navigation |