KR20200145826A - 신뢰 모바일 컴퓨팅 디바이스와 함께 차량 내 카메라를 사용한 무결절 운전자 인증 - Google Patents
신뢰 모바일 컴퓨팅 디바이스와 함께 차량 내 카메라를 사용한 무결절 운전자 인증 Download PDFInfo
- Publication number
- KR20200145826A KR20200145826A KR1020207018926A KR20207018926A KR20200145826A KR 20200145826 A KR20200145826 A KR 20200145826A KR 1020207018926 A KR1020207018926 A KR 1020207018926A KR 20207018926 A KR20207018926 A KR 20207018926A KR 20200145826 A KR20200145826 A KR 20200145826A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- vehicle
- image
- feature data
- face
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 104
- 239000013598 vector Substances 0.000 claims description 68
- 230000004044 response Effects 0.000 claims description 41
- 239000002131 composite material Substances 0.000 claims description 11
- 238000010801 machine learning Methods 0.000 claims description 10
- 238000012546 transfer Methods 0.000 claims description 5
- 239000011295 pitch Substances 0.000 description 63
- 230000008569 process Effects 0.000 description 33
- 230000001815 facial effect Effects 0.000 description 32
- 230000006870 function Effects 0.000 description 29
- 210000003128 head Anatomy 0.000 description 23
- 238000004891 communication Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 16
- 230000015654 memory Effects 0.000 description 10
- 230000009471 action Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000013136 deep learning model Methods 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 4
- 238000013179 statistical model Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 238000004806 packaging method and process Methods 0.000 description 3
- 229920003023 plastic Polymers 0.000 description 3
- 239000004033 plastic Substances 0.000 description 3
- 238000010897 surface acoustic wave method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 2
- 229910052782 aluminium Inorganic materials 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 229920001971 elastomer Polymers 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 125000000391 vinyl group Chemical group [H]C([*])=C([H])[H] 0.000 description 2
- 229920002554 vinyl polymer Polymers 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 238000012776 robust process Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
- B60R25/20—Means to switch the anti-theft system on or off
- B60R25/2027—Means to switch the anti-theft system on or off with data signals passing through the human body
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
- B60R25/20—Means to switch the anti-theft system on or off
- B60R25/25—Means to switch the anti-theft system on or off using biometry
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
- B60R25/20—Means to switch the anti-theft system on or off
- B60R25/24—Means to switch the anti-theft system on or off using electronic identifiers containing a code not memorised by the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/164—Detection; Localisation; Normalisation using holistic features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
- H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/06—Authentication
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0809—Driver authorisation; Driver identity check
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/60—Context-dependent security
- H04W12/69—Identity-dependent
- H04W12/72—Subscriber identity
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Hardware Design (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Collating Specific Patterns (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
예시적 방법은 모바일 컴퓨팅 디바이스에 의해, 차량의 차량 컴퓨팅 시스템과의 연결을 설정하는 단계, 상기 차량 컴퓨팅 시스템으로부터, 상기 차량의 사용자의 얼굴의 적어도 하나의 이미지와 연관된 특징 데이터를 수신하는 단계, 상기 얼굴의 적어도 하나의 이미지는 상기 차량에 포함된 이미지 캡처 디바이스에 의해 캡처되며, 상기 사용자의 얼굴의 적어도 하나의 이미지와 연관된 특징 데이터와 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지의 특징 데이터 사이의 비교에 기초하여, 상기 차량의 사용자와 이전에 등록된 사용자 사이의 일치를 결정하는 단계, 상기 일치에 기초하여, 상기 차량의 사용자를 인증하는 단계, 및 상기 차량의 사용자에 대한 인증 데이터를 상기 차량 컴퓨팅 시스템에 송신하는 단계를 포함하며, 상기 인증 데이터는 상기 일치를 표시한다.
Description
자동차, 오토바이, 항공기 및 선박과 같은 차량은 기능을 수행하고 차량의 탑승자에게 정보, 엔터테인먼트, 어시스턴트 및/또는 환경 제어를 제공하기 위한 하나 이상의 컴퓨팅 시스템을 포함할 수 있다. 예를 들어, 자동차는 엔터테인먼트 음악, 비디오 또는 기타 컨텐츠를 재생하기 위한 엔터테인먼트 시스템, 정보 및 내비게이션 어시스턴트를 제공하기 위한 내비게이션 시스템, 차량 실내를 난방 또는 냉방하기 위한 온도 제어 시스템, 자동차의 다양한 컴포넌트 또는 구성(예: 썬루프 또는 차양막)을 조정하기 위한 제어 시스템을 제공하기 위한 엔터테인먼트 시스템 또는 상기 기능 중 일부 또는 전부를 수행하는 "인포테인먼트 시스템"을 포함할 수 있다. 현대의 차량에는 디스플레이 디바이스(예: 존재-감응형 디스플레이) 및 컴퓨팅 엔진을 갖는 인포테인먼트 헤드 유닛(IHU)이 장착되며, 이는 운영 체제 및 하나 이상의 애플리케이션을 실행하도록 구성된다.
일반적으로, 본 출원은 차량 내 카메라 및 차량에 통신가능하게 연결된 신뢰(trusted) 모바일 컴퓨팅 디바이스를 사용하여 차량의 운전자에 대한 무결절(seamless) 인증을 수행하는 기법을 설명한다. 신뢰 모바일 컴퓨팅 디바이스는 초기적으로 등록 프로세스를 수행하여, 알려진 사용자의 얼굴의 데이터(예를 들어, 캡처된 이미지와 연관된 얼굴 특징 데이터)를 다양한 상이한 포즈로 캡처할 수 있다. 신뢰 디바이스는 알려진 사용자의 각 데이터 그룹을 포즈 버킷 그룹의 각각의 포즈 버킷에 할당할 수 있다. 신뢰 디바이스는 알려진 사용자의 데이터를 알려진 사용자의 사용자 계정과 연관시킴으로써 데이터를 등록한다. 신뢰 디바이스는 차량 내부에 위치한 알려지지 않은 사용자의 인증 데이터(예를 들어, 계산된 얼굴 특징 정보와 같은 계산된 테스트 데이터)를 후속적으로 수신할 수 있으며, 여기서 인증 이미지는 차량의 차량 내 카메라를 사용하여 캡처되며, 계산된 데이터(예를 들어, 특징 데이터)가 이미지로부터 획득되고 신뢰 디바이스에 의해 사용된다. 신뢰 디바이스는 알려지지 않은 사용자에 대한 인증 특징 데이터를 알려진 사용자의 등록된 특징 데이터와 비교함으로써 알려지지 않은 사용자를 인증할 수 있다. 비교에 기초하여, 신뢰 디바이스는 인증 프로세스의 결과를 차량에 송신하고, 그 후 인증된 사용자에 대해 맞춤화된 차량의 인포테인먼트 헤드 유닛에서 로그인 동작을 수행할 수 있다(예를 들어, 그 사용자의 프로필 및/또는 계정 정보에 기초하여). 결과적으로, 기술된 다양한 기법은 차량의 운전자의 무결절적이고 신뢰할 수 있는 인증을 가능하게 하고, 이 사용자 데이터의 보안을 보호하기 위해 신뢰 디바이스에만 인가된 사용자의 등록 특징 데이터를 저장한다. 일부 경우에, 신뢰 모바일 컴퓨팅 디바이스는 등록된 특징 데이터를 차량 컴퓨팅 시스템에 송신할 수 있고, 그 후 알려지지 않은 사용자에 대한 인증 특징 데이터를 알려진 사용자의 수신된 등록 특징 데이터와 비교함으로써 차량에서 알려지지 않은 사용자에 대한 인증을 수행하도록 구성될 수 있다.
일 예에서, 방법은 모바일 컴퓨팅 디바이스에 의해, 차량의 차량 컴퓨팅 시스템과의 연결을 설정하는 단계, 및 상기 연결을 설정한 후, 상기 모바일 컴퓨팅 디바이스에 의해, 상기 차량 컴퓨팅 시스템으로부터, 상기 차량의 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제1 특징 데이터를 수신하는 단계를 포함하며, 상기 차량의 상기 사용자의 얼굴의 적어도 하나의 이미지는 상기 차량의 적어도 일부에 연결된 이미지 캡처 디바이스에 의해 캡처된다. 예시적 방법은 상기 모바일 컴퓨팅 디바이스에 의해, 상기 제1 특징 데이터와 상기 모바일 컴퓨팅 디바이스의 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제2 특징 데이터 사이의 비교에 기초하여, 상기 차량의 사용자와 상기 이전에 등록된 사용자 상이의 일치를 결정하는 단계, 상기 모바일 컴퓨팅 디바이스에 의해, 상기 일치에 기초하여, 상기 차량의 사용자를 인증하는 단계 및 상기 모바일 컴퓨팅 디바이스에 의해, 상기 차량의 사용자에 대한 인증 데이터를 상기 차량 컴퓨팅 시스템에 송신하는 단계를 포함하며, 상기 인증 데이터는 상기 일치를 표시한다.
다른 예에서, 컴퓨터 판독가능 저장 매체는 명령어를 포함하고, 상기 명령어는 실행될 때 적어도 하나의 프로세서로 하여금: 차량의 차량 컴퓨팅 시스템과의 연결을 설정하게 하고; 상기 연결을 설정한 후, 상기 차량 컴퓨팅 시스템으로부터, 상기 차량의 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제1 특징 데이터를 수신하게 하고, 상기 차량의 상기 사용자의 얼굴의 적어도 하나의 이미지는 상기 차량의 적어도 일부에 연결된 이미지 캡처 디바이스에 의해 캡처되며; 상기 제1 특징 데이터와 상기 모바일 컴퓨팅 디바이스의 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제2 특징 데이터 사이의 비교에 기초하여, 상기 차량의 사용자와 상기 이전에 등록된 사용자 상이의 일치를 결정하게 하고; 상기 일치에 기초하여, 상기 차량의 사용자를 인증하게 하고; 및 상기 차량의 사용자에 대한 인증 데이터를 상기 차량 컴퓨팅 시스템에 송신하게 하며, 상기 인증 데이터는 상기 일치를 표시한다.
다른 예에서, 모바일 컴퓨팅 디바이스는 적어도 하나의 프로세서 및 적어도 하나의 컴퓨터 판독 가능 저장 디바이스를 포함한다. 적어도 하나의 컴퓨터 판독가능 저장 디바이스는 명령어들 저장하며, 상기 명령어는 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금: 차량의 차량 컴퓨팅 시스템과의 연결을 설정하게 하고; 상기 연결을 설정한 후, 상기 차량 컴퓨팅 시스템으로부터, 상기 차량의 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제1 특징 데이터를 수신하게 하고, 상기 차량의 상기 사용자의 얼굴의 적어도 하나의 이미지는 상기 차량의 적어도 일부에 연결된 이미지 캡처 디바이스에 의해 캡처되며; 상기 제1 특징 데이터와 상기 모바일 컴퓨팅 디바이스의 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제2 특징 데이터 사이의 비교에 기초하여, 상기 차량의 사용자와 상기 이전에 등록된 사용자 상이의 일치를 결정하게 하고; 상기 일치에 기초하여, 상기 차량의 사용자를 인증하게 하고; 및 상기 차량의 사용자에 대한 인증 데이터를 상기 차량 컴퓨팅 시스템에 송신하게 하며, 상기 인증 데이터는 상기 일치를 표시한다.
다른 예시에서, 방법은 차량의 차량 컴퓨팅 시스템에 의해, 모바일 컴퓨팅 디바이스와의 연결을 설정하는 단계, 상기 차량 컴퓨팅 시스템은 인포테인먼트 헤드 유닛을 포함하며; 상기 차량 컴퓨팅 시스템에 의해, 상기 차량 내부의 사용자의 존재를 결정하는 단계; 및 상기 차량 내부의 사용자의 존재를 결정한 후, 상기 차량 컴퓨팅 시스템에 의해, 상기 차량의 적어도 일부에 연결된 이미지 캡처 디바이스를 사용하여, 상기 사용자의 얼굴의 적어도 하나의 이미지를 캡처하는 단계를 포함한다. 예시적 방법은 상기 차량 컴퓨팅 시스템에 의해, 상기 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제1 특징 데이터를 결정하는 단계; 상기 차량 컴퓨팅 시스템에 의해, 상기 사용자에 대한 인증 데이터를 수신하는 단계, 상기 인증 데이터는 상기 제1 특징 데이터와 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제2 특징 데이터의 사이의 비교에 기초하여, 상기 사용자와 이전에 등록된 사용자 사이의 일치를 나타내며; 및 상기 차량 컴퓨팅 시스템에 의해, 상기 사용자에 대한 인증 데이터에 기초하여, 상기 사용자를 상기 인포테인먼트 헤드 유닛에 로그인하기 위해 사용자 계정 정보에 액세스하는 단계를 더 포함한다.
다른 예에서, 컴퓨터 판독가능 저장 매체는 명령어를 포함하고, 상기 명령어는 실행될 때 적어도 하나의 프로세서로 하여금: 모바일 컴퓨팅 디바이스의 연결을 설정하게 하고; 차량 내부의 사용자의 존재를 결정하게 하고; 상기 차량 내부의 사용자의 존재를 결정한 후, 상기 차량의 적어도 일부에 연결된 이미지 캡처 디바이스를 사용하여, 상기 사용자의 얼굴의 적어도 하나의 이미지를 캡처하게 하고; 상기 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제1 특징 데이터를 결정하게 하고; 상기 사용자에 대한 인증 데이터를 수신하게 하고, 상기 인증 데이터는 상기 제1 특징 데이터와 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제2 특징 데이터의 사이의 비교에 기초하여, 상기 사용자와 이전에 등록된 사용자 사이의 일치를 나타내며; 및 상기 사용자에 대한 인증 데이터에 기초하여, 상기 사용자를 상기 인포테인먼트 헤드 유닛에 로그인하기 위해 사용자 계정 정보에 액세스하게 한다.
다른 예에서, 차량 컴퓨팅 시스템은 적어도 하나의 프로세서 및 적어도 하나의 컴퓨터 판독 가능 저장 디바이스를 포함한다. 적어도 하나의 컴퓨터 판독가능 저장 디바이스는 명령어들 저장하며, 상기 명령어는 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금: 모바일 컴퓨팅 디바이스와의 연결을 설정하게 하고, 상기 차량 컴퓨팅 시스템은 인포테인먼트 헤드 유닛을 포함하며; 차량 내부의 사용자의 존재를 결정하게 하고; 상기 차량 내부의 사용자의 존재를 결정한 후, 상기 차량의 적어도 일부에 연결된 이미지 캡처 디바이스를 사용하여, 상기 사용자의 얼굴의 적어도 하나의 이미지를 캡처하게 하고; 상기 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제1 특징 데이터를 결정하게 하고; 상기 사용자에 대한 인증 데이터를 수신하게 하고, 상기 인증 데이터는 상기 제1 특징 데이터와 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제2 특징 데이터의 사이의 비교에 기초하여, 상기 사용자와 이전에 등록된 사용자 사이의 일치를 나타내며; 및 상기 사용자에 대한 인증 데이터에 기초하여, 상기 사용자를 인포테인먼트 헤드 유닛에 로그인하기 위해 사용자 계정 정보에 액세스하게 한다.
하나 이상의 예시들의 세부 사항은 첨부 도면과 아래의 설명에서 기술된다. 본 개시의 다른 구성, 오브젝트 및 이점은 설명, 도면 및 청구항으로부터 명백해질 것이다.
도 1은 본 발명의 하나 이상의 양태에 따라, 차량의 사용자를 인증하기 위한 모바일 컴퓨팅 디바이스와 통신하도록 구성된 예시적 차량 컴퓨팅 시스템을 포함하는 차량의 내부의 측면도를 도시하는 개념도이다.
도 2은 본 발명의 하나 이상의 양태에 따라, 차량의 내부의 추가 세부사항을 도시하는 개념도이다.
도 3은 본 발명의 하나 이상의 양태에 따라, 얼굴 등록 동작을 수행하는 예시적 컴퓨팅 시스템을 도시하는 개념도이다.
도 4는 본 발명의 하나 이상의 양태에 따른 예시적 컴퓨팅 시스템을 도시하는 블록도이다.
도 5는 본 발명의 하나 이상의 양태에 따른 예시적 운전자 탑승 및 인증 프로세스를 도시하는 도면이다.
도 6는 본 발명의 하나 이상의 양태에 따른 예시적 얼굴 등록 프로세스를 도시하는 도면이다.
도 7은 본 발명의 하나 이상의 양태에 따라 예시적 컴퓨팅 시스템에 의해 수행된 예시적 동작들을 도시하는 흐름도이다.
도 8은 본 발명의 하나 이상의 양태에 따라 예시적 차량 컴퓨팅 디바이스에 의해 수행된 예시적 동작을 도시하는 흐름도이다.
도 2은 본 발명의 하나 이상의 양태에 따라, 차량의 내부의 추가 세부사항을 도시하는 개념도이다.
도 3은 본 발명의 하나 이상의 양태에 따라, 얼굴 등록 동작을 수행하는 예시적 컴퓨팅 시스템을 도시하는 개념도이다.
도 4는 본 발명의 하나 이상의 양태에 따른 예시적 컴퓨팅 시스템을 도시하는 블록도이다.
도 5는 본 발명의 하나 이상의 양태에 따른 예시적 운전자 탑승 및 인증 프로세스를 도시하는 도면이다.
도 6는 본 발명의 하나 이상의 양태에 따른 예시적 얼굴 등록 프로세스를 도시하는 도면이다.
도 7은 본 발명의 하나 이상의 양태에 따라 예시적 컴퓨팅 시스템에 의해 수행된 예시적 동작들을 도시하는 흐름도이다.
도 8은 본 발명의 하나 이상의 양태에 따라 예시적 차량 컴퓨팅 디바이스에 의해 수행된 예시적 동작을 도시하는 흐름도이다.
상기 언급된 바와 같이, 현대의 차량에는 디스플레이 디바이스(예: 존재-감응형 디스플레이) 및 컴퓨팅 엔진을 갖는 인포테인먼트 헤드 유닛(IHU)이 장착되며, 이는 운영 체제 및 하나 이상의 애플리케이션을 실행하도록 구성된다. IHU는 사용자가 운전하는 동안 풍부하고 개인화된 경험을 가질 수 있게 하며, IHU가 제공하는 애플리케이션을 사용하여 몇 가지 예를 들자면, 선호하는 음악을 듣고, 이메일을 탐색하거나, 선호하는 및/또는 자주 가는 목적지를 선택할 수 있다. 사용자별 개인화된 경험은 IHU의 사용자별 계정에 사용자별 프로필을 저장하여 획득할 수 있다.
일부 경우에, 계정이 초기적으로 생성된 때 차량과 페어링된 전자 열쇠(key fob) 또는 외부 디바이스(예를 들어, 모바일폰)는 사용자를 식별하여 IHU에 로그인할 수 있다. 그러나, 반드시 단지 전자 열쇠 또는 외부 디바이스의 존재만으로 차량의 특정한, 알려진 또는 이전에 식별된 사용자의 인증을 할 필요는 없다. 일부 경우에, IHU는 알려진 신뢰 디바이스의 사용자에게 IHU에 로그인하기 위한 명시적 권한을 부여하기 위해 사용자의 디바이스에 개인 패스코드 또는 암호를 입력할 것을 프롬프트할 수 있다. 그러나 이 접근법은 잠재적으로 무결절적 "타서-운전" 경험에 대한 사용자의 기대를 부정할 수 있다.
현대의 자동차는 다양한 수준의 자율 주행을 지원한다. 일부 자동차는 차량 내 카메라를 사용하여 운전자의 주의를 모니터링하거나 자율 모드와의 안전한 핸드 오프를 결정한다. 일 접근법은 차량용 카메라를 활용하여, 개인 모바일 디바이스의 얼굴 잠금 해제 기능과 유사한 얼굴 기반 식별을 제공하는 것이다. 그러나, 이 얼굴 기반 인증 프로세스는 일반적으로 등록 단계를 수반할 것이며, 이는 카메라가 상이한 포즈로 사용자의 얼굴/생체 특징을 캡처하기 위해 사용자가 안내된 패턴으로 사용자의 얼굴을 이동시키는 것을 포함할 수 있다. 각 포즈는 그 포즈와 연관된 다른 얼굴 또는 다른 생체 특징의 그룹과 연관될 수 있다. 자신의 카메라를 사용하여 차량에 직접 등록을 수행하는 경우, 운전자 대면 카메라를 바라보는 동안 사용자의 머리를 움직이기 위해 차량으로부터 시각적 또는 다른 안내를 받지 못할 수 있기 때문에 특정 문제가 발생할 수 있다.
본 출원은 차량 내 카메라 및 차량에 통신가능하게 연결된 신뢰(trusted) 모바일 컴퓨팅 디바이스를 사용하여 차량의 운전자에 대한 무결절(seamless) 인증을 수행하는 기법을 설명한다. 이 기법들은 신뢰할 수 있는 인증 메커니즘 및 무결절적 사용자 경험을 제공하면서 얼굴 이미지 정보의 사용자 프라이버시를 보장할 수 있다. 신뢰 모바일 컴퓨팅 디바이스는 초기적으로 등록 프로세스를 수행하여, 알려진 사용자의 얼굴의 이미지 데이터(예를 들어, 얼굴 특징 데이터와 같은 계산된 데이터)를 다양한 상이한 포즈로 캡처할 수 있다. 본 명세서에서 사용되는 용어 "이미지 데이터"는 예를 들어, 사용자의 얼굴의 캡처된 이미지로부터 계산되거나 결정되는 데이터(예를 들어, 특징 데이터)를 지칭한다. 신뢰 디바이스는 알려진 사용자의 각 이미지 데이터 그룹을 포즈 버킷 그룹의 각각의 포즈 버킷에 할당할 수 있다. 신뢰 디바이스는 알려진 사용자의 이미지 데이터를 알려진 사용자의 사용자 계정과 연관시킴으로써 이미지 데이터를 등록한다. 신뢰 디바이스는 차량 내부에 위치한 알려지지 않은 사용자의 인증 데이터(예를 들어, 이미지와 연관된 계산된 얼굴 특징 데이터와 같은 테스트 이미지 데이터)를 후속적으로 수신할 수 있으며, 여기서 인증 이미지는 차량의 차량 내 카메라를 사용하여 캡처되며, 계산된 이미지 데이터(예를 들어, 특징 데이터)가 이미지로부터 획득되고 신뢰 디바이스에 의해 사용된다. 신뢰 디바이스는 알려지지 않은 사용자에 대한 인증 특징 데이터를 알려진 사용자의 등록된 특징 데이터와 비교함으로써 알려지지 않은 사용자를 인증할 수 있다. 비교에 기초하여, 신뢰 디바이스는 인증 프로세스의 결과를 차량에 송신하고, 그 후 인증된 사용자에 대해 맞춤화된 IHU에서 로그인 동작을 수행할 수 있다(예를 들어, 그 사용자의 프로필 및/또는 계정 정보에 기초하여). 일부 경우에, 신뢰 모바일 컴퓨팅 디바이스는 등록된 특징 데이터를 차량 컴퓨팅 시스템에 송신할 수 있고, 그 후 알려지지 않은 사용자에 대한 인증 특징 데이터를 알려진 사용자의 수신된 등록 특징 데이터와 비교함으로써 차량에서 알려지지 않은 사용자에 대한 인증을 수행하도록 구성될 수 있다.
일부 예에서, 컴퓨팅 디바이스는 알려지지 않은 사용자의 얼굴의 인증 특징 데이터와 연관된 포즈 버킷을 결정하고, 인증 특징 데이터와 연관된 포즈 버킷과 동일한 포즈 버킷에 포함된 알려진 사용자의 특징 데이터를 선택하고, 알려지지 않은 사용자가 알려진 사용자인지 여부를 결정하기 위해 선택된 특징 데이터를 인증 기능 데이터와 비교한다. 다른 예로서, 컴퓨팅 디바이스는 인증 특징 데이터를 등록된 특징 데이터의 각각의 그룹과 비교하여 알려진 사용자의 등록 특징 데이터 중 어느 것이 알려지지 않은 사용자에 대한 인증 특징 데이터와 가장 유사한지를 결정할 수 있다. 컴퓨팅 디바이스는 포즈 버킷에 상관없이, 알려진 사용자의 가장 유사한 등록 특징 데이터에 기초하여 알려지지 않은 사용자가 알려진 사용자인지 여부를 결정할 수 있다.
몇몇 상이한 포즈 버킷에 포함된 특징 데이터를 등록함으로써, 신뢰 디바이스는 차량의 현재 사용자와 같은 알려지지 않은 사용자를 인증하기 위해 얼굴 인식을 보다 정확하게 수행할 수 있다. 예를 들어, 다수의 포즈 버킷에 포함된 알려진 사용자의 특징 데이터를 등록하는 것은 인증 특징 데이터와 연관된 포즈 버킷(예를 들어, 알려지지 않은 사용자 얼굴의 포즈)이 알려진 사용자의 등록된 특징 데이터(예를 들어, 등록된 특징 데이터에서 알려진 사용자의 포즈)를 포함하는 포즈 버킷과 유사할 확률을 증가시킬 수 있다. 알려지지 않은 사용자의 인증 특징 데이터의 포즈가 알려진 사용자의 하나 이상의 등록된 특징 데이터의 포즈와 유사할 확률을 증가시키는 것은 알려지지 않은 사용자가 실제로 인가된 사용자인 경우 알려지지 않은 사용자를 잘못 거부할 가능성을 감소시킬 수 있다. 일부 예에서, 알려지지 않은 사용자의 인증 특징 데이터의 포즈가 알려진 사용자의 하나 이상의 등록된 특징 데이터의 포즈와 유사할 확률을 증가시키는 것은 알려지지 않은 사용자가 알려진 인가된 사용자 아닌 경우 알려지지 않은 사용자를 잘못 승인할 가능성을 감소시킬 수 있다. 이러한 방식으로, 컴퓨팅 디바이스는 알려지지 않은 사용자의 포즈에 관계없이 알려지지 않은 사용자의 특징 데이터를 보다 정확하게 인증할 수 있다.
도 1은 예시적 차량 컴퓨팅 시스템(100)을 포함하는 차량(예를 들어, 자동차)의 내부의 측면도를 도시하는 개념도이다. 도 1은 차량 컴퓨팅 시스템(100)의 컴포넌트 외에 차량 내부의 단면도를 도시한다. 차량 컴퓨팅 시스템(100)은 사용자 입력을 검출하고 프로세싱하도록 구성된다.
도 1에 도시된 차량은 자동차일 수 있지만, 본 개시의 양태는 트럭, 오토바이, 항공기, 선박, 기차 또는 기타 차량을 포함하는 다른 유형의 차량에도 적용될 수 있다. 도 1에서, 운전자(150)는 일반적으로 좌석(152)을 점유할 수 있다. 자동차의 좌석(152)는 좌석(152)의 탑승자가 스티어링 휠(154)을 물리적으로 제어할 수 있도록 차량의 스티어링 휠(154) 바로 뒤에 위치될 수 있다. 좌석(152)은 도 1에 도시된 차량 내에서 지붕(158) 아래에 위치된다. 스티어링 휠(154)은 대시 보드(156)로부터 돌출될 수 있다. 적어도 하나의 조수석은 좌석(152)에 인접하여 측면으로 위치될 수 있다. 다른 승객 좌석은 좌석(152) 뒤에 또는 좌석(152) 앞에 위치될 수 있다.
또한 도 1에 도시된 바와 같이, 도 1은 차량 컴퓨팅 시스템(100)에 각각 포함될 수 있는 디바이스, 컴포넌트 및 모듈의 집합이다. 차량 컴퓨팅 시스템(100)은 존재-감응형 패널(102) 및 카메라(104)뿐만 아니라 디스플레이(112) 및 제어 유닛(106)을 포함할 수 있지만, 이에 한정되지는 않는다. 존재-감응형 패널(102) 및 카메라(104)와 같은 차량 컴퓨팅 시스템(100)의 하나 이상의 컴포넌트는 자동차의 앞 운전석 및 조수석에 앉은 탑승자에게 직접 및 물리적으로 접근 가능할 수 있고, 중앙 콘솔 내에, 근처 또는 중앙 콘솔에 위치할 수 있다. 이러한 컴포넌트는 그러한 탑승자의 손이 닿기 쉬운 곳에 있을 수 있으며, 또는 대안적으로 뒷좌석과 같은 차량의 다른 승객 구역에 위치될 수 있다. 일부 예에서, 차량 탑승자가 뻗은 팔로 컴포넌트에 도달하기 위해 자신의 좌석에서 위치를 변경할 필요가 없는 경우 컴포넌트는 쉽게 도달할 수 있다. 달리 말하면, 많은 운전자들에게, 예를 들어, 스티어링 휠, 스틱 시프트 및 센터 콘솔의 일반적인 위치는 운전자가 쉽게 접근할 수 있는 범위 내에서 고려될 수 있다. 후술하는 바와 같이, 존재-감응형 패널(102) 및 카메라(104)는 차량 컴퓨팅 시스템(100)에 대한 입력 디바이스로서 기능할 수 있다. 일부 예에서 (예를 들어, 디스플레이(112) 및 제어 유닛(106)과 같은) 차량의 탑승자들에 의해 물리적 액세스를 반드시 필요로 하지 않을 수 있는 차량 컴퓨팅 시스템(100)의 하나 이상의 컴포넌트들은 대시보드(156)에 위치되거나 또는 그 위에 위치되거나 그와 통합될 수 있다. 이러한 컴포넌트는 차량의 탑승자를 마주보거나 그 근처에 자동차 대시보드 및/또는 콘솔의 일부로서 통합될 수 있다. 본 개시에서 추가로 설명되는 바와 같이, 차량 컴퓨팅 시스템(100)은 그래픽 사용자 인터페이스를 출력할 수 있는 디스플레이(112)를 포함할 수 있다. 일부 경우에, 차량 내에 추가 카메라가 제공될 수 있다. 예를 들어, 도 1에 도시된 바와 같이, 스티어링 휠(154)은 사용자 대면 카메라(111)를 포함할 수 있다. 일부 경우에, 추가 사용자 대면 카메라는 대시 보드(156), 천장(158), 콘솔(101) 또는 패널(102) 및/또는 디스플레이(112)와 같은 차량의 다른 요소 또는 컴포넌트 상에 위치될 수 있다. 일부 경우에, 추가 카메라가 차량의 백미러 또는 앞유리에 배치될 수 있다. 일반적으로, 차량 내 카메라(예: 104/111)는 차량의 하나 이상의 부분 또는 컴포넌트에 장착되거나 연결될 수 있다.
좌석(152)에는 사용자(150)가 앉아있다. 사용자(150)는 운전자일 수 있지만, 사용자(150)는 또한 승객 또는 다른 차량 탑승자일 수 있다. 비록 도 1에서 사용자(150)는 종종 앞좌석으로 간주될 수 있는 위치에 도시되어 있지만(예컨대, 스티어링 휠(154) 및 대시 보드(156)에 의해 특성화됨), 사용자(150)는 뒷좌석을 포함하여 차량 내의 다른 위치에 앉을 수 있다.
도 1의 예에서, 사용자(150)는 차량을 탐색 또는 조작할 수 있고, 차량의 하나 이상의 컴포넌트와 인터렉션할 수 있고 및/또는 입력 디바이스 또는 존재-감응형 패널(102 또는 카메라(104)에 입력을 제공할 수 있다. 도 1에서, 사용자(150)는 존재-감응형 패널(102)과 인터렉션하는 것으로 도시되어 있다.
존재-감응형 패널(102)은 존재-감응형 패널(102)의 위치에서 하나 이상의 탭, 제스처 및/또는 다른 사용자 입력을 검출할 수 있다. 이러한 탭, 제스처 또는 다른 입력은 사용자(150)의 하나 이상의 손가락으로부터의 것일 수 있거나, 또는 사용자(150)에 의해 사용되는 스타일러스 또는 다른 디바이스로부터의 것일 수 있다. 이러한 입력은 존재-감응형 패널(102)의 표면 상에 존재하거나 존재-감응형 패널(102) 표면의 임계 거리 내에 있을 수 있다. 도 1의 예시에서, 임계 거리는 존재-감응형 패널(102) 위로 천장(158)을 향해 연장될 수 있다.
존재-감응형 패널(102)의 위치에서 하나 이상의 입력을 검출하는 것에 응답하여, 존재-감응형 패널(102)은 존재-감응형 패널(102)에 의해 검출된 입력의 표시를 UI 모듈(108)에 출력할 수 있다. 일부 예에서, UI 모듈(108)은 입력의 표시에 기초하여 입력에 관한 정보를 결정할 수 있다. 이러한 정보는 예를 들어 입력에 대응하는 하나 이상의 라인, 문자 또는 형상을 나타낼 수 있다. UI 모듈(108)은 입력에 관한 정보를 하나 이상의 애플리케이션 모듈(110)에 출력할 수 있다. 입력에 관한 정보에 응답하여, 하나 이상의 애플리케이션 모듈(110)은 입력에 대응하는 동작을 결정하고 및/또는 동작을 수행할 수 있다. 일부 예에서, 입력에 관한 정보에 응답하여, 하나 이상의 애플리케이션 모듈(110)은 입력에 관한 정보, 동작 또는 수행될 동작을 디스플레이(112)에 출력할 수 있다.
설명되고 도시된 바와 같이, 차량 컴퓨팅 시스템(100)의 일부 또는 전부는 대시 보드(156) 내에 수용될 수 있으며, 일부 예에서 플라스틱, 비닐, 고무, 알루미늄, 강철 또는 임의의 다른 적절한 재료로 구성될 수 있다. 제어 유닛(106)은 적어도 하나의 프로세서 및/또는 적어도 하나의 저장 디바이스를 포함할 수 있고, 플라스틱, 비닐, 고무, 알루미늄, 강철 또는 임의의 다른 적절한 재료로 구성될 수 있는 하우징(105) 내에 수용될 수 있다. 일부 예에서, 하우징(105)은 또한 차량 컴퓨팅 시스템(100)에 기능을 제공하는 하나 이상의 전기 컴포넌트를 둘러싸고 보호하는 견고한 케이스일 수 있다. 일부 예에서, 하우징(105)은 자동차 대시 보드 또는 콘솔에 부착, 장착 또는 다른 방식으로 통합될 수 있다.
도 4에서 추가로 도시되는 바와 같이, 제어 유닛(106)은 하드웨어, 펌웨어 및 소프트웨어의 조합과 같은 하나 이상의 모듈에 대한 운영 환경 또는 플랫폼을 제공할 수 있다. 예를 들어, 제어 유닛(106)은 명령어를 실행하고 하나 이상의 모듈의 데이터를 저장할 수 있는 하나 이상의 프로세서 및 저장 디바이스를 포함할 수 있다. 제어 유닛(106)은 또한 단지 예시적 동작을 언급하자면, 컴포넌트와 정보를 제어, 구성 및/또는 통신하기 위한 존재-감응형 패널(102), 카메라(104) 및 디스플레이(112)를 포함하는, 하나 이상의 다른 소프트웨어 및/또는 하드웨어 컴포넌트에 동작 가능하게 결합될 수 있다.
디스플레이(112)는 LCD 디스플레이, 도트 매트릭스 디스플레이, LED 디스플레이, OLED 디스플레이, e-ink 또는 사용자 또는 차량 탑승자에게 가시적 정보를 출력할 수 있는 유사한 모노크롬 또는 컬러 디스플레이를 사용하여 디스플레이 디바이스와 같은 출력 디바이스로서 기능할 수 있다. 일부 예에서, 디스플레이(112)는 또한 입력 디바이스로서 기능할 수 있어서, 입력 및 출력 디바이스 둘 모두로서 기능한다. 그러한 예에서, 디스플레이(112)는 통합된 존재-감응형 입력 디바이스 및 디스플레이 디바이스를 포함할 수 있다. 예를 들어, 디스플레이(112)는 저항성 터치스크린, 표면 탄성파 터치스크린, 용량성 터치스크린, 투영 커패시턴스 터치스크린, 압력 감지 스크린, 음향 펄스 인식 터치스크린 또는 기타 존재-감응형 기술을 사용하는 존재-감응형 입력 디바이스로서 기능할 수 있다. 사용자 입력에 기초하여, 디스플레이(112)는 사용자에게 출력을 제공할 수 있다. 예를 들어, 디스플레이(112)는 차량 컴퓨팅 시스템(100)에서 실행되는 애플리케이션(예: 내비게이션 애플리케이션)의 다양한 사용자 인터페이스를 제시할 수 있다. 운전자와 같은 차량의 탑승자는 그러한 애플리케이션 중 하나 이상과 인터렉션하기 위해 사용자 입력을 제공할 수 있다.
차량 컴퓨팅 시스템(100)은 차량 탑승자와의 사용자 인터렉션을 요구하는 다른 작업을 보조, 통지, 접대 또는 수행하도록 동작할 수 있다. 차량 컴퓨팅 시스템(100)은 일부 예에서 인포테인먼트 헤드 유닛(IHU), 인포테인먼트 시스템 또는 그 서브 컴포넌트로 지칭될 수 있다. 예를 들어, 차량 컴퓨팅 시스템(100)은 차량의 하나 이상의 탑승자를 대신하여 기능을 수행하거나 정보를 프로세싱하는 하나 이상의 애플리케이션 모듈(110)을 포함할 수 있다. 예를 들어, 차량 컴퓨팅 시스템(100)은 목적지에 대한 길안내를 제공하는 내비게이션 서비스를 제공할 수 있다. 차량 컴퓨팅 시스템(100)은 또한 쿼리에 응답하여 및/또는 선제적 보조 또는 권고로서 정보를 제공하는 정보 검색 서비스를 제공할 수 있다. 차량 컴퓨팅 시스템(100)은 또한 차량에 관한 차량 데이터 또는 오디오 또는 비디오와 같은 멀티미디어를 제공할 수 있다. 차량 컴퓨팅 시스템(100)에 의해 제공될 수 있는 기능의 몇몇 예만이 언급되며, 차량 컴퓨팅 시스템(100)은 많은 추가 기능을 제공할 수 있다. 이러한 방식 및 다른 방식으로, 차량 컴퓨팅 시스템(100)은 차량의 하나 이상의 탑승자에 대한 운전 또는 승차 경험을 개선할 수 있다.
일부 예에서, 차량 컴퓨팅 시스템(100)은 존재-감응형 패널(102)에 의해 검출된 입력, 카메라(104)에 의해 검출된 입력을 통해 및/또는 존재-감응형 패널(102)과 카메라(104)의 조합에 의해 검출된 입력을 통해 제어될 수 있다. 차량 컴퓨팅 시스템(100)은 하나 이상의 추가 입력 디바이스(예를 들어, 마이크로폰, 물리적 버튼 또는 스위치, 또는 다른 유형의 입력 디바이스)에 의해 검출된 입력을 통해 제어될 수 있다.
존재-감응형 패널(102)은 일부 예에서 존재-감응형 패널(102)에서 직접적으로 그리고 물리적으로 발생할 수 있는 사용자 입력에 의해 제공되는 터치 입력을 위한 입력 디바이스로서 단순히 기능할 수 있다. 예를 들어, 존재-감응형 패널(102)은 저항성 터치스크린 또는 터치 패널, 표면 탄성파 터치스크린 또는 터치 패널, 용량성 터치스크린 또는 터치 패널, 투영 커패시턴스 터치스크린 또는 터치 패널, 압력 감지 스크린 또는 터치 패널, 음향 펄스 인식 터치스크린 또는 터치 패널, 또는 기타 존재-감응형 스크린 또는 터치 패널 기술을 사용하는 멀티-터치 존재-감응형 입력 디바이스로서 기능할 수 있다. 일부 예에서, 존재-감응형 패널(102)은 존재-감응형 패널(102)과 연관된 존재-감응형 컴포넌트(들)에서 및/또는 근접하거나 그 범위 내에 있는 객체를 검출할 수 있다. 하나의 예시적인 범위로서, 존재-감응형 패널(102)은 존재-감응형 패널(102)의 2cm 또는 그 이하 내에 있는 손가락 또는 스타일러스와 같은 객체를 검출할 수 있다. 존재-감응형 패널(102)는 객체가 검출된 존재-감응형 입력 디바이스의 위치(예를 들어, (x, y) 좌표)를 결정할 수 있다. 다른 예시적 범위에서, 존재-감응형 패널(102)은 존재-감응형 패널(102)로부터 6인치 또는 그 이하 내에 있는 오브젝트를 검출할 수 있으며, 다른 범위도 가능하다. 존재-감응형 패널(102)은 용량성, 유도성 및/또는 광학 인식 기술을 사용하여 사용자의 손가락, 스타일러스 또는 유사한 것을 검출할 수 있다.
도 1에 도시된 예에서, 존재-감응형 패널(102)은 카메라(104) 위의 중앙 콘솔(101)에 위치될 수 있고, 센터 콘솔(101)은 카메라(104)가 존재-감응형 패널(102)이 물리적으로 카메라(104)의 렌즈 또는 시야를 가리더라도 직접적으로 존재-감응형 패널(102) 바로 위의 이미지를 캡처할 수 있도록 카메라(104)에 투명할 수 있다. 예를 들어, 카메라(104)는 적외선을 수신함으로써 이미지를 캡처하는 적외선 카메라일 수 있고, 존재-감응형 패널(102)은 카메라(104)가 천장(158)과 존재-감응형 패널(102) 사이에서 발생하는 적외선을 수신할 수 있도록 적외선에 투명할 수 있다. 다른 예에서, 카메라(104)는 존재-감응형 패널(102) 바로 아래에 위치되지 않을 수 있고, 카메라(104)는 차량 내의 다른 곳에 위치될 수 있다. 예를 들어, 도 1에 도시된 바와 같이, 스티어링 휠(154)은 사용자 대면 카메라(111)를 포함할 수 있다. 일부 경우에, 추가 사용자 대면 카메라는 대시 보드(156), 천장(158), 콘솔(101) 또는 패널(102) 및/또는 디스플레이(112)와 같은 차량의 다른 요소 또는 컴포넌트 상에 위치될 수 있다.
일부 예에서, 존재-감응형 패널(102)은 입력 디바이스 및 출력 디바이스 둘 모두로서 기능할 수 있다. 상기 예에서, 존재-감응형 패널(102)은 통합형 존재-감응형 입력 디바이스 및 디스플레이 디바이스를 포함할 수 있고, LCD 디스플레이, 도트 매트릭스 디스플레이, LED 디스플레이, OLED 디스플레이, e-ink 또는 사용자 또는 차량 탑승자에게 가시적 정보를 출력할 수 있는 유사한 모노크롬 또는 컬러 디스플레이 중 임의의 것일 수 있다. 존재-감응형 패널(102)이 입력 디바이스 및 출력 디바이스 기능을 모두 포함하는 다른 예에서, 존재-감응형 패널(102)은 두 개의 개별 컴포넌트, 즉 입력을 수신하기 위한 존재-감응형 입력 디바이스 및 출력을 제공하기 위한 디스플레이 디바이스에 의해 구현될 수 있다. 존재-감응형 패널(102)이 입력 디바이스 및 출력 디바이스 기능을 모두 포함하는 예에서, 존재-감응형 패널(102)은 여전히 카메라(104) 위의 중앙 콘솔(101)에 위치될 수 있고, 센터 콘솔(101)은 카메라(104)가 존재-감응형 패널(102) 아래에 위치하더라도 존재-감응형 패널(102) 바로 위의 이미지를 캡처할 수 있도록 여전히 카메라(104)에 투명할 수 있다.
카메라(104) 및/또는 카메라(111)는 카메라 또는 충전 결합 디바이스와 같은 임의의 적절한 유형의 이미지 획득 또는 캡처 디바이스 중 하나 이상일 수 있다. 일부 예에서, 카메라(104)는 높은 시야 및 얕은 초점 심도를 갖는 하나 이상의 적외선 카메라이고, 특정 시야를 갖는 차량 내에서 일반적으로 위쪽을 향하도록 배향된 백릿 적외선 카메라 일 수 있다. 다른 예에서, 카메라(104)는 하나 이상의 다른 적외선 카메라, 열화상 카메라, 열 이미징 카메라, 감광성 카메라, 레인지 센서, 단층 촬영 디바이스, 레이더 디바이스, RGB 카메라 또는 초음파 카메라를 포함할 수 있는 하나 이상의 기타 유형의 카메라 또는 이미지 센서이거나 이들을 더 포함할 수 있다. 일부 예에서, 카메라(104)는 컴퓨터 비전 기법의 적용에 적합한 임의의 이미지 캡처 디바이스일 수 있다. 사용된 센서 또는 카메라의 유형에 따라, 결과 이미지에는 2차원 이미지, 3차원 볼륨 또는 이미지 시퀀스가 포함될 수 있다. 픽셀 값은 전형적으로 하나 이상의 스펙트럼 대역에서의 광 강도에 대응하지만, 음파 또는 전자기파의 깊이, 흡수 또는 반사 또는 핵 자기 공명과 같은 다양한 물리적 측정과 관련될 수 있다.
카메라(104)는 탑승자가 예를 들어 시야에서 제스처할 때 팔, 손목, 손, 스타일러스 및/또는 손가락을 움직임에 따라 운전자와 같은 차량 탑승자의 움직임을 캡처하도록 구성될 수 있고, 사용자(150)의 얼굴의 이미지를 캡처하도록 구성될 수 있다.
상기 기술된 바와 같이, 차량 컴퓨팅 시스템(100)은 사용자 인터페이스(UI) 모듈(108) 및 애플리케이션 모듈(110)을 포함할 수 있다. UI 모듈(108) 및 애플리케이션 모듈(110)은 차량 컴퓨팅 시스템(100)에 의해 또는 하나 이상의 다른 원격 컴퓨팅 디바이스들에 상주하는 및 실행되는 소프트웨어, 하드웨어, 펌웨어 또는 하드웨어, 소프트웨어 및 펌웨어의 조합을 사용하여 본 명세서에 기술된 동작들을 수행할 수 있다. 이와 같이, UI 모듈(108) 및 애플리케이션 모듈(110)은 하드웨어, 소프트웨어 및/또는 하드웨어 및 소프트웨어의 조합으로 구현될 수 있다. 차량 컴퓨팅 시스템(100)은 기본 하드웨어에서 실행되는 가상 머신으로서 또는 그 내부에서 UI 모듈(108), 애플리케이션 모듈(110) 또는 하나 이상의 다른 모듈을 실행할 수 있다. UI 모듈(108) 및 애플리케이션 모듈(110)은 다양한 방식으로 구현될 수 있다. 예를 들어, UI 모듈(108) 및 애플리케이션 모듈(110)은 다운로드 가능하거나 사전 설치된 애플리케이션 또는 "앱"으로 구현될 수 있다. 다른 예에서, UI 모듈(108) 및 애플리케이션 모듈(110)은 차량 컴퓨팅 시스템(100)의 운영 체제의 일부로서 구현될 수 있다.
애플리케이션 모듈(110)은 차량 컴퓨팅 시스템(100)에서 임의의 다양한 동작을 수행하는 기능을 포함할 수 있다. 예를 들어, 애플리케이션 모듈(110)은 몇 가지 예를 들면 내비게이션 애플리케이션, 날씨 애플리케이션, 전화 걸기 애플리케이션, 정보 검색 애플리케이션, 멀티미디어 애플리케이션, 차량 정보 애플리케이션, 이메일 애플리케이션, 문자 메시지 애플리케이션, 인스턴트 메시징 애플리케이션, 소셜 네트워킹 애플리케이션, 날씨 애플리케이션, 주식 시장 애플리케이션, 비상 경보 애플리케이션, 스포츠 애플리케이션 등을 포함할 수 있다. 일반적으로, 차량 컴퓨팅 시스템(100)은 애플리케이션 모듈(110)을 통하든 그렇지 않든 온도 제어 시스템(예를 들어, 난방 및 냉방), 오디오 또는 인포테인먼트 시스템, 좌석, 창문, 차양 또는 앞유리 와이퍼, 크루즈 컨트롤, 차량 내 디스플레이 시스템, 스티어링 휠 제어, 머리 받침, 팔걸이, 측면 또는 후면 거울, 충돌 센서와 연관된 것을 포함하는 동작을 수행하도록 구성될 수 있다. 이러한 동작은 하나 이상의 애플리케이션 모듈(110)에 의해 제어될 수 있거나, 차량 내의 다른 시스템에 의해 제어될 수 있다. 일부 예에서, 이러한 동작은 차량의 비-안전 기능으로 제한될 수 있다. 다른 예들에서, 이러한 동작들은 안전과 관련하여 고려될 수 있는 차량의 하나 이상의 기능들을 포함할 수 있다(예: 회전 신호를 켜거나, 거울을 조정하고, 좌석 벨트를 조정 또는 고정/분리하고, 크루즈 컨트롤 기능을 조정, 가속, 제동).
차량 컴퓨팅 시스템(100)의 제어 유닛(106) 내에서 동작 가능한 것으로 도시되어 있지만, 하나 이상의 애플리케이션 모듈(110)은 차량 컴퓨팅 시스템(100)에 통신 가능하게 연결된 원격 컴퓨팅 디바이스(예: 모바일 컴퓨팅 디바이스(170))에 의해 동작될 수 있다. 이러한 예에서, 원격 컴퓨팅 디바이스에서 실행되는 애플리케이션 모듈은 원격 컴퓨팅 디바이스로 하여금 임의의 적절한 형태의 데이터 통신(예: 유선 또는 무선 네트워크, NFC 또는 BLUETOOTH 등 같은 단거리 무선 통신)을 사용하여 콘텐츠 및 의도 정보를 송신하게 할 수 있다. 일부 예에서, 원격 컴퓨팅 디바이스는 차량 컴퓨팅 시스템(100)에 포함된 컴퓨팅 디바이스와 별개인 컴퓨팅 디바이스일 수 있다. 예를 들어, 원격 컴퓨팅 디바이스는 네트워크에 의해 차량 컴퓨팅 시스템(100)에 동작 가능하게 연결될 수 있다. 원격 컴퓨팅 디바이스의 예는 서버, 스마트폰, 태블릿 컴퓨팅 디바이스, 스마트워치, 및 데스크톱 컴퓨터를 포함할 수 있지만 이에 한정되지는 않는다. 일부 예에서, 원격 컴퓨팅 디바이스는 차량 컴퓨팅 시스템(100)의 통합 컴포넌트일 수 있거나 또는 통합 컴포넌트가 아닐 수 있다. 도 1 도시된 바와 같이, 하나의 그러한 예시적 원격 디바이스는 디스플레이 디바이스(172) 및 하나 이상의 캡처 디바이스(173)를 포함할 수 있고, 하나 이상의 애플리케이션(174)을 실행할 수 있는 모바일 컴퓨팅 디바이스(170)이다. 모바일 컴퓨팅 디바이스(170)의 예는 모바일폰, 태블릿 컴퓨터, 개인 휴대 정보 단말기(PDA), 랩톱 컴퓨터, 휴대용 게임 디바이스, 휴대용 미디어 플레이어, 전자 책 리더기, 웨어러블 디바이스(예: 시계, 손목 장착형 컴퓨팅 디바이스, 머리 장착형 컴퓨팅 디바이스) 또는 다른 유형의 모바일 컴퓨팅 디바이스를 포함할 수 있으나, 이에 한정되지는 않는다. 모바일 컴퓨팅 디바이스(170)는 하나 이상의 프로세서들을 포함할 수 있다. 도 1은 사용자(150)에 의해 착용되고 모바일 컴퓨팅 디바이스(170) 및/또는 시스템(100)에 통신적으로(예를 들어, 하나 이상의 무선 연결을 통해) 연결될 수 있는 모바일 웨어러블 디바이스(107)(예를 들어, 스마트 워치)를 더 도시한다. IHU 시스템(100)은 무선 통신 프로토콜(예를 들어, BLUETOOTH, WIFI, BLUETOOTH Low Energy(BLE))을 사용하여 웨어러블 디바이스(107) 및/또는 모바일 컴퓨팅 디바이스(170)와 통신할 수 있다. 모바일 컴퓨팅 디바이스(170) 및/또는 웨어러블 디바이스(107)가 IHU 시스템(100)과 페어링될 때, 이 디바이스는 IHU 시스템(100)에 대하여 신뢰 디바이스로서 인식될 수 있고, IHU 시스템(100)에 의해 고유 식별자가 할당된다. 이 신뢰 디바이스 및 그 대응하는 고유 식별자는 IHU 시스템(100)에 의해 차량의 사용자(150) 및 사용자(150)에 대한 임의의 프로필 및/또는 계정 정보와 연관된다.
차량 컴퓨팅 시스템(100)의 UI 모듈(108)은 존재-감응형 패널(102)로부터 존재-감응형 패널(102)에서 검출된 사용자 입력의 하나 이상의 표시를 수신할 수 있다. 일반적으로, 존재-감응형 패널(102)이 존재-감응형 패널(102)의 특정한 위치에서 사용자 입력을 검출할 때마다, UI 모듈(108)은 존재-감응형 패널(102)로부터의 사용자 입력의 표시 또는 사용자 입력에 관한 정보를 수신할 수 있다. UI 모듈(108)은 존재-감응형 패널(102)로부터 수신된 정보를 하나 이상의 터치 이벤트 또는 제스처 이벤트의 시퀀스와 같은 하나 이상의 이벤트 세트로 조립할 수 있다. 시퀀스의 각각의 제스처 이벤트는 존재-감응형 패널(102)에서의 입력의 존재 및/또는 입력의 움직임을 특징 짓는 파라미터(예를 들어, 언제, 어디서, 유래된 방향)를 나타내는 데이터 또는 컴포넌트를 포함할 수 있다. 시퀀스 내의 각각의 제스처 이벤트는 존재-감응형 패널(102)의 위치에 대응하는 위치 컴포넌트, 존재-감응형 패널(102)이 위치에서 사용자 입력을 검출할 때에 연관된 시간 컴포넌트 및/또는 제스처 이벤트가 상기 위치에서의 리프트 업 또는 푸시 다운에 해당하는지 여부와 관련된 액션 컴포넌트를 포함할 수 있다.
UI 모듈(108)은 제스처 이벤트의 시퀀스에 기초하여 사용자 입력의 하나 이상의 특성을 결정할 수 있고, 제스처 이벤트의 시퀀스에서 각각의 제스처 이벤트 내의 이들 하나 이상의 특성에 대한 정보를 포함할 수 있다. 예를 들어, UI 모듈(108)은 사용자 입력의 시작 위치, 사용자 입력의 종료 위치, 사용자 입력의 일부의 밀도, 사용자 입력의 일부의 속도, 일부의 방향 및 사용자 입력의 일부의 곡률을 결정할 수 있다. UI 모듈(108)은 존재-감응형 패널(102)로부터 사용자 입력의 표시를 애플리케이션 모듈(110)과 같은 다른 모듈에 전송할 수 있다. UI 모듈(108)은 사용자에 의해 제공된 하나 이상의 단일 또는 다중 터치 제스처를 결정할 수 있다. UI 모듈(108)은 또한 존재-감응형 패널(102)에 의해 검출된 입력에 기초하여 결정을 하고 디스플레이(112)에 의해 제시되는 출력을 생성하기 위해, 차량 컴퓨팅 시스템(100)의 다양한 컴포넌트 사이의 중간자로서 작용할 수 있다. 예를 들어, UI 모듈(108)은 하나 이상의 애플리케이션 모듈(110)으로부터 데이터를 수신하고 디스플레이(112)로 하여금 디스플레이를 위해 그래픽 사용자 인터페이스와 같은 콘텐츠를 출력하게 할 수 있다.
차량 컴퓨팅 시스템(100)의 UI 모듈(108)은 카메라(104)에 의해 검출된 사용자 입력의 하나 이상의 표시를 카메라(104)로부터 수신할 수 있다. 일반적으로, 카메라(104)가 사용자 제스처 또는 움직임을 검출할 때마다, UI 모듈(108)은 카메라(104)로부터 사용자 입력의 표시 또는 사용자 입력에 관한 정보를 수신할 수 있다. UI 모듈(108)은 카메라(104)로부터 수신된 정보를 하나 이상의 움직임 또는 제스처 이벤트의 시퀀스와 같은 하나 이상의 이벤트 세트로 조립할 수 있다. 시퀀스의 각각의 제스처 이벤트는 존재, 제스처 및/또는 시야 내에서 카메라(104)에 의해 캡처된 움직임을 특징 짓는 파라미터(예를 들어, 3차원 공간에서, 시작 방향, 3차원 공간에서의 방향, 손 또는 팔 방향 또는 자세)를 나타내는 데이터 또는 컴포넌트를 포함할 수 있다. 시퀀스 내의 각각의 제스처 이벤트는 시야 내의 3차원 위치에 대응하는 위치 컴포넌트, 카메라(104)가 3차원 공간 내에서 사용자 입력을 검출할 때에 연관된 시간 컴포넌트, 어떤 유형의 제스처였는지에 관한 액션 컴포넌트 및/또는 카메라(104)에 의해 캡처된 하나 이상의 이미지를 포함할 수 있다.
또한, 일부 예에서, 차량 내에 존재-감응형 패널(102) 및 카메라(104)의 구성 및/또는 배치는 운전자(또는 다른 차량 탑승자)가 차량 컴퓨팅 시스템(100)과 인터렉션하기 위한 인체 공학적이고 편안한 방식을 제공할 수 있다. 존재-감응형 패널(102) 및 카메라(104)는 상이한 유형의 입력을 검출할 수 있지만, 본 개시의 하나 이상의 양태에 따른 존재-감응형 패널(102) 및 카메라(104)의 위치는 존재-감응형 패널(102)에 의해 검출된 입력이 차량 탑승자에 의해 카메라(104)에 의해 검출된 입력의 자연스러운 확장인 것으로 인식될 수 있도록 할 수 있다. 유사하게, 카메라(104)에 의해 검출된 입력은 존재 감응형 패널(102)에 의해 검출된 입력의 자연적인 확장으로 차량 탑승자에 의해 인식될 수 있다. 다시 말해서, 이러한 시스템은 차량 탑승자가 사용하기 위해 특히 자연스럽거나 쉬운 사용자 인터페이스를 제공할 수 있다. 일부 경우에, 차량 탑승자는 차량 컴퓨팅 시스템(100)과 인터렉션하는 것이 상대적으로 본능적인 것임을 알아차릴 수 있다.
이하에서 더 설명되는 바와 같이, 다양한 예에 따르면, 모바일 컴퓨팅 디바이스(예를 들어, 모바일 컴퓨팅 디바이스(170), 웨어러블 디바이스(107))는 도 1에 도시된 차량의 차량 컴퓨팅 시스템(100)과의 연결을 설정할 수 있다. 연결을 설정한 후, 모바일 컴퓨팅 디바이스는 차량 컴퓨팅 시스템(100)으로부터 차량 사용자의 얼굴(150)의 적어도 하나의 이미지와 연관된 제1 특징 데이터를 수신할 수 있다. 차량의 사용자(150)의 얼굴의 적어도 하나의 이미지는 차량의 적어도 일부에 연결된 이미지 캡처 디바이스(예를 들어, 카메라(104/111))에 의해 캡처된다. 도 3을 참조하여 아래에 기술될 바와 같이, 모바일 컴퓨팅 디바이스는, 상기 제1 특징 데이터와 상기 모바일 컴퓨팅 디바이스의 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제2 특징 데이터 사이의 비교에 기초하여, 상기 차량의 사용자와 상기 이전에 등록된 사용자 상이의 일치를 결정할 수 있다. 모바일 컴퓨팅 디바이스는 상기 일치에 기초하여, 상기 차량의 사용자(150)를 인증한다. 모바일 컴퓨팅 디바이스는 상기 차량의 사용자(150)에 대한 인증 데이터를 상기 차량 컴퓨팅 시스템(100)에 송신하며, 상기 인증 데이터는 상기 일치를 표시한다.
다양한 예에 따르면, 차량 컴퓨팅 시스템(100)은 모바일 컴퓨팅 디바이스(예를 들어, 모바일 컴퓨팅 디바이스(170), 웨어러블 디바이스(107))와의 연결을 설정할 수 있고, 여기서 차량 컴퓨팅 시스템은 인포테인먼트 헤드 유닛을 포함하고, 차량 내부의 사용자의 존재를 결정한다. 차량 내부의 사용자의 존재를 결정한 후, 차량 컴퓨팅 시스템(100)은 차량의 적어도 일부에 연결된 이미지 캡처 디바이스(예: 카메라(104/111))를 사용하여 얼굴의 적어도 하나의 이미지를 캡처하고, 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제1 특징 데이터를 결정한다. 차량 컴퓨팅 시스템(100)은 상기 사용자에 대한 인증 데이터를 수신하며, 상기 인증 데이터는 상기 제1 특징 데이터와 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제2 특징 데이터의 사이의 비교에 기초하여, 상기 사용자와 이전에 등록된 사용자 사이의 일치를 나타낸다. 차량 컴퓨팅 시스템(100)은 상기 사용자에 대한 인증 데이터에 기초하여, 상기 사용자를 상기 인포테인먼트 헤드 유닛에 로그인하게 위해 사용자 계정 정보에 액세스한다.
일부 경우에, 차량 컴퓨팅 시스템(100)은 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제1 특징 데이터를 모바일 컴퓨팅 디바이스에 송신할 수 있다. 제1 특징 데이터를 송신한 후, 차량 컴퓨팅 시스템(100)은 모바일 컴퓨팅 디바이스로부터 사용자에 대한 인증 데이터를 수신한다.
다른 대안적 경우에, 신뢰 모바일 컴퓨팅 디바이스는 등록된 특징 데이터를 차량 컴퓨팅 시스템(100)에 송신할 수 있고, 그 후 알려지지 않은 사용자에 대한 인증 특징 데이터를 알려진 사용자의 수신된 등록 특징 데이터와 비교함으로써 차량에서 알려지지 않은 사용자에 대한 인증을 수행하도록 구성될 수 있다. 이 경우, 차량 컴퓨팅 시스템(100)은 모바일 컴퓨팅 디바이스로부터 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제2 특징 데이터를 수신하고, 제1 특징 데이터와 제2 특징 데이터를 비교한다. 차량 컴퓨팅 시스템(100)은 비교에 기초하여, 사용자와 이전에 등록된 사용자 사이의 일치를 결정하고, 여기서 인증 데이터는 일치의 표시를 포함한다.
본 개시 전체에 걸쳐서, 컴퓨팅 디바이스가 정보를 분석하기 위해 컴퓨팅 디바이스의 사용자로부터 허가를 받은 경우에만 컴퓨팅 디바이스 및/또는 컴퓨팅 시스템이 컴퓨팅 디바이스와 컴퓨팅 디바이스의 사용자와 연관된 정보(예를 들어, 얼굴 이미지 정보 등)를 분석하는 예시들이 기술되었다. 예를 들면, 아래에 논의되는 상황에서, 컴퓨팅 디바이스 또는 컴퓨팅 시스템이 사용자와 연관된 정보를 수집하거나 사용할 수 있기 전에, 컴퓨팅 디바이스 및/또는 컴퓨팅 시스템의 프로그램 또는 구성이 사용자 정보(예를 들어, 사용자의 현재 위치, 현재 속도 등에 관한 정보)를 수집하고 사용할 수 있는지 여부를 제어하거나 또는 디바이스 및/또는 시스템이 사용자와 관련있을 수 있는 콘텐츠를 수신할지 여부 및/또는 어떻게 수신할지 지시하기 위한 입력을 제공할 기회가 사용자에게 제공된다. 추가로, 특정 데이터는 그것이 컴퓨팅 디바이스 및/또는 컴퓨팅 시스템에 의해 저장되거나 사용되기 전에 하나 이상의 방식들로 취급되어, 개인적으로 식별가능한 정보는 제거된다. 예를 들면, 사용자의 신원은 사용자에 관한 개인적으로 식별가능한 정보가 결정될 수 없도록 취급되거나 또는 사용자의 지리적 위치는 위치 정보가 획득된 곳에서 일반화되어(시, 우편번호 또는 주 수준으로), 사용자의 특정한 위치가 결정될 수 없도록 한다. 따라서, 사용자는 사용자에 관한 정보가 어떻게 수집되는지 그리고 컴퓨팅 디바이스 및 컴퓨팅 시스템에 의해 사용되는지에 대한 제어를 가진다.
도 2은 본 발명의 하나 이상의 양태에 따라, 차량의 내부의 추가 세부사항을 도시하는 개념도이다. 도 2에서, 도 1의 스티어링 휠(154)의 일부가 도시되고, 사용자(150)의 손가락은 콘솔(101)의 패널(102)과 인터렉션하고 있다. 본 개시의 기술에 따르면, 카메라(104)는 사용자(150)의 얼굴 이미지를 획득하고, 이 이미지와 연관된 정보를 모바일 컴퓨팅 디바이스(170)에 제공한다. 모바일 컴퓨팅 디바이스(170)는 사용자(150)의 저장된 얼굴 특징 데이터와의 일치를 식별하기 위해, 수신된 얼굴 특징 데이터와 모바일 컴퓨팅 디바이스(170)에 의해 저장된 인증된 알려진 사용자의 저장된 얼굴 특징 데이터와의 비교에 기초하여 사용자(150)를 인증했다. 모바일 컴퓨팅 디바이스(170)는 사용자(150)에 대한 인증 데이터를 시스템(100)에 송신한다. 시스템(100)은 실제 이미지 정보를 포함하거나 다양한 예에서 이미지 캡처 디바이스(173)에 의해 캡처된 사용자(150)의 이미지의 다양한 특징에 대한 특징 데이터(예를 들어, 특징 벡터 데이터)를 포함하는 특징 데이터를 모바일 컴퓨팅 디바이스(170)에 송신할 수 있다.
일부 예에서, 이 인증 데이터는 사용자(150) 및/또는 모바일 컴퓨팅 디바이스(170)와 연관된 고유 식별자를 포함할 수 있다. 시스템(100)은 (예를 들어, 사용자(150)를 IHU 시스템(100)에 로그인하게 하기 위해) 시스템(100)에 저장된 사용자(150)에 대한 사용자 프로필, 사용자 선호도, 로그인 자격 증명 및/또는 계정 데이터에 액세스하기 위해 이 수신된 인증 데이터를 사용할 수 있다. 그 후 시스템(100)은 사용자(150)에게 특정한 액세스된 정보(예를 들어, 선호도)에 기초하여 사용자(150)를 위한 시스템(100)의 개인화 또는 맞춤형 데이터 디스플레이(112)를 디스플레이할 수 있다. 이 개인화된 정보는 사용자 인터페이스 요소(208 및 204)를 포함할 수 있다. 커서(206)는 사용자 인터페이스 요소(204) 중 하나와 중첩될 수 있다. 커서(206)가 사용자 인터페이스 요소(204) 중 하나 위에 있을 때, 존재-감응형 패널(102)은 존재-감응형 패널(102)에서 하나 이상의 탭 또는 입력을 검출할 수 있고, 시스템(100)은 이 입력에 기초하여 사용자 인터페이스 요소(204)의 선택에 대응하는 입력이 커서(206)에 의해 중첩된다고 결정할 수 있다.
일부 예에서, 디스플레이(112)는 입력 디바이스 및 출력 디바이스 모두로서 동작하는 존재-감응형 패널일 수 있다. 이러한 예에서, 디스플레이(112)는 디스플레이(112)가 사용자 인터페이스 요소(204)를 제시하는 디스플레이(112)상의 위치에서 또는 근처에서 하나 이상의 입력을 검출할 수 있다. 시스템(100)은 입력에 기초하여 입력에 대응하는 선택된 사용자 인터페이스 요소(204)를 식별할 수 있다. 사용자 인터페이스 요소(204)를 선택하는 입력에 응답하여, 시스템(100)은 디스플레이(112)에 정보를 디스플레이하거나 그래픽 사용자 인터페이스를 업데이트하는 것을 포함할 수 있는 동작을 수행할 수 있다. 존재-감응형 패널(102)이 또한 디스플레이로서 작동하는 일부 예에서, 컴퓨팅 디바이스(200)는 존재-감응형 패널(102)에 정보를 추가로 또는 대안적으로 디스플레이하거나 존재-감응형 패널(102)에 표시된 그래픽 사용자 인터페이스를 업데이트할 수 있다.
IHU 시스템(100)의 디스플레이(112)는 시스템(100)과 통신 가능하게 연결된 모바일 컴퓨팅 디바이스(170)에 의해 인증된 임의의 특정한 사용자에 대한 개인화 또는 맞춤형 정보를 디스플레이하도록 구성될 수 있다. 따라서, 사용자(150)를 포함하여 다양한 상이한 인가된 사용자가 차량을 사용하는 경우, 디스플레이(112)는 모바일 컴퓨팅 디바이스(170)에 의해 인증된 각각의 사용자에 대한 사용자 프로필 또는 계정의 설정에 따라 각 사용자에 대해 상이한 맞춤형 정보를 디스플레이하도록 구성될 수 있다. 일부 경우에, 시스템(100)은 또한 차량 및/또는 IHU 시스템(100)의 동작과 연관된 차량의 다양한 다른 설정(예를 들어, 온도 설정, 라디오 설정, 차량 환경 설정 등)을 맞춤화할 수 있다.
도 3은 본 발명의 하나 이상의 양태에 따라, 얼굴 등록 동작을 수행하는 예시적 컴퓨팅 시스템(310)을 도시하는 개념도이다. 컴퓨팅 디바이스(310)는 도 1에 도시된 인증된 사용자의 등록된 이미지 데이터를 저장하도록 구성된 모바일 컴퓨팅 디바이스(170)의 예시일 수 있다. 본 명세서에서 사용되는 용어 "이미지 데이터"는 예를 들어, 사용자의 얼굴의 캡처된 이미지로부터 계산되거나 결정되는 데이터(예를 들어, 특징 데이터)를 지칭한다.
컴퓨팅 디바이스(310)는 스마트폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 컴퓨터 시계, 컴퓨터 안경, 컴퓨터 장갑, 또는 임의의 다른 유형의 휴대용 컴퓨팅 디바이스와 같은 모바일 디바이스일 수 있다. 컴퓨팅 디바이스(310)의 추가적 예는 데스크톱 컴퓨터, 텔레비전, 개인 휴대 정보 단말기(PDA), 휴대용 및 비휴대용 게임 시스템, 디지털 미디어 플레이어 또는 마이크로 콘솔, 전자책 리더기, 모바일 텔레비전 플랫폼, 자동차 내비게이션 및 엔터테인먼트 시스템과 같은 기타 모바일 및 비-모바일 디바이스, 또는 임의의 기타 유형의 웨어러블 및 비-웨어러블, 모바일 또는 비-모바일 컴퓨팅 디바이스를 포함한다.
도 3에 도시된 바와 같이, 컴퓨팅 디바이스(310)는 존재-감응형 디스플레이(PSD)(312), 하나 이상의 이미지 캡처 디바이스(314), 얼굴 인식 모듈(FRM, facial recognition module)(322) 및 등록 정보(328)를 포함한다. 등록 정보(328)는 데이터 저장소를 포함할 수 있다. FRM(322)은 컴퓨팅 디바이스(310)에 상주하는 및/또는 실행되는 소프트웨어, 하드웨어, 펌웨어 또는 하드웨어, 소프트웨어 및 펌웨어의 조합을 사용하여 기술된 동작들을 수행할 수 있다. 컴퓨팅 디바이스(310)는 FRM(322)을 다수의 프로세서들 또는 다수의 디바이스들로 실행할 수 있다. 컴퓨팅 디바이스(310)는 FRM(322)을 언더라잉 하드웨어에서 실행되는 가상 머신으로서 실행할 수 있다. FRM(322)은 운영 체제 또는 컴퓨팅 플랫폼의 하나 이상의 서비스들로서 실행될 수 있다. FRM(322)은 컴퓨팅 플랫폼의 애플리케이션 레이어에서의 하나 이상의 실행가능한 프로그램들로서 실행될 수 있다.
컴퓨팅 디바이스(310)의 PSD(312)는 컴퓨팅 디바이스(310)의 각각의 입력 및/또는 출력 디바이스로서 기능할 수 있다. PSD(312)는 다양한 기술들을 사용하여 구현될 수 있다. 예를 들어, PSD(312)는 저항성 터치스크린, 표면 어코스틱 웨이브 터치스크린, 용량성 터치스크린, 투영 정전 터치스크린, 압력 감응형 스크린, 어코스틱 펄스 인식 터치스크린과 같은 존재 감응형 입력 스크린 또는 다른 존재-감응형 디스플레이 기술을 사용하여 입력 디바이스로서 기능할 수 있다. PSD(312)는 컴퓨팅 디바이스(310)의 사용자로부터 입력을 검출할 수 있다. 예를 들어, PSD(312)는 PSD(312)의 임계 거리에서 또는 PSD(312)의 임계 거리 내에서 수행되는 하나 이상의 제스처를 검출할 수 있다(예를 들어, 사용자는 손가락 또는 스타일러스로 PSD(312)를 만지거나 PSD(112)의 표면의 임계 거리 내에서 손가락 또는 스타일러스를 이동함).
PSD(312)는 또한 LCD 디스플레이, 도트 매트릭스 디스플레이, LED 디스플레이, OLED 디스플레이, e-ink와 같은 임의의 하나 이상의 디스플레이 디바이스 또는 컴퓨팅 디바이스(310)의 사용자에게 가시적 정보를 출력할 수 있는 유사한 모노크롬 또는 컬러 디스플레이를 사용하여 출력(예를 들어, 디스플레이) 디바이스로서 기능할 수 있다. PSD(312)는 컴퓨팅 디바이스(310)에 의해 제공되는 기능과 연관될 수 있는 사용자 인터페이스(예를 들어, 그래픽 사용자 인터페이스)로서 정보를 (예: 사용자에게) 출력할 수 있다. 예를 들어, PSD(312)는 컴퓨팅 디바이스(310)에서 실행되거나 컴퓨팅 디바이스(110)로부터 액세스 가능한 컴퓨팅 플랫폼, 운영 체제, 애플리케이션 및/또는 서비스의 애플리케이션 모듈 또는 다른 구성과 관련된 다양한 사용자 인터페이스를 디스플레이할 수 있다.
이미지 캡처 디바이스(314)는 이미지 캡처 디바이스(도 1의 173)의 일례일 수 있고, 디지털 카메라, 스틸 카메라, 동영상 카메라 등과 같은 하나 이상의 카메라를 포함할 수 있다. 이미지 캡처 디바이스(314)는 스틸 이미지 또는 동영상을 캡처 및 저장할 수 있는 임의의 다른 디바이스를 포함할 수 있다. 일부 예에서, 이미지 캡처 디바이스(314)는 전자 이미지 센서를 통해 이미지들을 디지털 방식으로 기록할 수 있다. 이미지 캡처 디바이스(314)는 가시광선(예를 들어, 대략 380 나노 미터 내지 대략 740 나노 미터 사이의 파장을 갖는 사람이 볼 수 있는 빛) 또는 근적외선(NIR) 빛(예를 들어, 약 750 나노 미터 내지 약 3400 나노 미터의 파장을 갖는 빛과 같은 가시광선 스펙트럼에 인접함)을 검출함에 응답하여 이미지를 표시하는 데이터를 생성하도록 구성될 수 있다. 일부 예에서, 컴퓨팅 디바이스(310)는 2차원 이미지를 나타내는 데이터를 생성하도록 구성된 이미지 캡처 디바이스(314)를 포함한다. 다른 예에서, 컴퓨팅 디바이스(310)는 3차원 이미지를 나타내는 데이터를 생성하도록 구성된 복수의 이미지 캡처 디바이스(314)를 포함한다. 이러한 방식으로, 복수의 이미지 캡처 디바이스(314)는 2차원 이미지, 3차원 이미지 또는 둘 모두를 나타내는 데이터를 생성할 수 있다.
본 개시의 기법들에 따르면, FRM(322)은 얼굴 인식을 수행하여 컴퓨팅 디바이스(310)의 사용자를 인증할 수 있다. 일반적으로, FRM(322)은 등록 프로세스(예를 들어, 컴퓨팅 디바이스(310)의 초기 설정 동안과 같이 한 번)를 수행하고, 인증 프로세스를 주기적으로 실행하여 알려지지 않은 사용자가 실제로는 알려진 사용자인지 여부를 결정할 수 있다. 등록 프로세스 동안, 이미지 캡처 디바이스(314)는 알려진 사용자(338)(예를 들어, 연관된 사용자 계정에 로그인한 사용자)의 하나 이상의 특징 데이터(330A-330H)(통칭하여, "특징 데이터(330)" 또는 보다 일반적으로 "이미지 데이터(330)")를 결정할 수 있고, PSD(312)는 알려진 사용자(338)의 하나 이상의 이미지(333)를 포함하는 그래픽 사용자 인터페이스(GUI)를 출력할 수 있다. 알려진 사용자(338)는 등록된 사용자로 지칭될 수 있다. 일부 예에서, 특징 데이터(330) 각각은 사용자(338)의 특정한 포즈(예를 들어, 사용자(338)의 "포즈 A"에 대한 특징 데이터(330A), 사용자(338)의 "포즈 B"에 대한 특징 데이터(330B))와 연관될 수 있다. 알려진 사용자(338)는 이미지 캡처 디바이스(314)에 의해 데이터가 캡처될 때 GUI 내에서 이미지(333)를 볼 수 있고, 이미지 캡처 디바이스(314)가 다양한 상이한 포즈로 알려진 사용자(338)의 얼굴의 이미지(333)를 캡처할 수 있도록 그의 머리 및/또는 컴퓨팅 디바이스(310)를 조정할 수 있다. 이미지 캡처 디바이스(314)는 이미지(333)와 연관된 데이터를 FRM(322)에 출력할 수 있다. 일례로서, 사용자(338)는 이미지 캡처 디바이스(314)를 향하고 버튼(예를 들어, 물리적 버튼 또는 PSD(312)에 의해 표시되는 그래픽 버튼)을 눌러 이미지 캡처 디바이스(314)가 이미지(333)를 캡처하게 할 수 있다. 다른 예로서, 이미지 캡처 디바이스(314)는 사용자 대면 이미지 캡처 디바이스(314)에 응답하여 이미지(333)를 자동으로 캡처할 수 있다.
FRM(322)은 이미지 캡처 디바이스(314)로부터 수신된 데이터를 분석하고, 계산된 특징 데이터(330) 각각을 하나 이상의 포즈 버킷(332AA-332EE)(통칭하여 포즈 버킷(332))에 할당한다. 특징 데이터(330)는 이미지(333)의 특징 또는 특성을 포함한다. 각각의 포즈 버킷(332)은 사용자 얼굴의 피치 각도 범위(기울기 각도라고도 함) 및 요 각도(팬 각도라고도 함)와 연관된다. 본 명세서에서 사용되는 바와 같이, 피치 각도는 수평 축에 대한 사용자 얼굴의 각도를 나타내고, 요 각도는 수평 축에 수직인 수직 축에 대한 사용자의 얼굴의 각도를 나타낸다. 예를 들어, 각각의 포즈 버킷(332)은 각각의 요 및 피치 범위와 연관될 수 있다. 도 3의 예에서, 각각의 포즈 버킷(332)의 크기는 동일하다(예를 들어, 10도). 예를 들어, 각각의 포즈 버킷(332)은 10도 범위의 피치 각도 및 10도 범위의 요 각도와 연관된다. 그러나, 일부 예에서, 포즈 버킷(332)의 크기는 상이할 수 있다. 예를 들어, 포즈 버킷은 8도 범위의 피치 각도(및/또는 요 각도의 범위)와 연관될 수 있고, 다른 포즈 버킷은 10도 범위의 피치 각도(및/또는 요 각도 범위)와 연관될 수 있다.
예시의 목적으로, 포즈 버킷(332)이 표(331)의 일부로서 도 3에 도시되어 있다. 도 3의 예에 도시된 바와 같이, 표(331)에 도시된 요 및 피치 각도는 각각의 포즈 버킷(332)의 중심을 나타낸다. 예를 들어, 포즈 버킷(332AA)의 중심은 요에서 -20도 및 피치에서 20도이다. 다시 말해서, 포즈 버킷(332AA)은 요에서 -15 내지 -25도, 피치에서 15 내지 25도를 나타낼 수 있다. 마찬가지로, 도 3의 예에서, 포즈 버킷(332AN)의 중심은 요(yaw)에서 20도 및 피치에서 20도이며, 포즈 버킷(332AN)은 요(yaw)에서 15도 내지 25도 및 피치에서 15도 내지 25도를 나타낸다. 표(331)는 25개의 포즈 버킷(332)을 포함하지만, 일부 예에서, 표(331)는 상이한 개수의 포즈 버킷(332)을 포함할 수 있다. 포즈 버킷(332)이 이해를 돕기 위해 테이블(331)의 일부로서 도시되어 있지만, 포즈 버킷(332)은 테이블에 저장되지 않을 수 있다. 포즈 버킷(332)은 임의의 데이터 구조로 저장될 수 있고 임의의 방식으로 구성될 수 있다.
FRM(322)은 이미지(333)에 대한 데이터에 포함된 알려진 사용자(338)의 얼굴의 특성 또는 랜드마크에 기초하여 포즈 버킷(332) 중 어느 것이 특징 데이터와 연관되는지를 결정할 수 있다. 예를 들어, FRM(322)은 사용자의 눈, 코 및 입과 같은 사용자 얼굴의 이미지(333)에서 랜드마크를 검출할 수 있고, 랜드마크에 기초하여 사용자의 얼굴의 요 및 피치 각도를 결정할 수 있다. 예를 들어, FRM(322)은 특정한 포즈(예를 들어, "포즈A")와 연관된 특징 데이터(330A)가 특징 데이터(330A)에서 사용자 얼굴의 요 및 피치 각도, 및 포즈 버킷(332CC)과 연관된 범위 요 및 피치 각도에 기초하여 포즈 버킷(332CC)에 포함되어야 한다고 결정할 수 있다. 예를 들어, FRM(322)은 특징 데이터(330A)에서 사용자 얼굴의 요 각도가 0도이고 알려진 사용자 얼굴의 피치 각도가 0도라고 결정할 수 있다. FRM(322)은 포즈 버킷(332CC)이 -5 내지 5도의 요 각도 범위와 -5도 내지 5도의 피치 각도 범위와 연관되어 있다고 결정할 수 있다(예를 들어, 포즈 버킷(332CC)은 0도 요 및 0도 피치의 중심에 있다). 그러한 예에서, FRM(322)은 특징 데이터(330A)에서 사용자 얼굴의 요 및 피치 각도가 포즈 버킷(332CC)과 연관된 요 및 피치 각도의 범위 내에 속한다는 결정에 응답하여 포즈 버킷(332CC)이 특징 데이터(330A)를 포함한다고 결정할 수 있다.
다른 예로서, FRM(322)은 특징 데이터(330B)에서 사용자 얼굴의 요 각도가 0도이고(예를 들어, 좌우 방향을 중심으로) 사용자 얼굴의 피치 각도가 23도(예를 들어, 알려진 사용자가 올려다봄)라고 결정할 수 있다. FRM(322)은 포즈 버킷(332AC)이 -5 내지 5도의 요 각도 범위와 15도 내지 25도의 피치 각도 범위와 연관되어 있다고 결정할 수 있다(예를 들어, 포즈 버킷(332CC)은 0도 요 및 20도 피치의 중심에 있다). 그러한 예에서, FRM(322)은 특징 데이터(330B)에서 사용자 얼굴의 요 및 피치 각도가 포즈 버킷(332AC)과 연관된 요 및 피치 각도의 범위 내에 속한다는 결정에 응답하여 포즈 버킷(332AC)이 특징 데이터(330B)를 포함한다고 결정할 수 있다.
FRM(322)은 특징 데이터(330)를 결정하고, 임계수의 포즈 버킷(332)이 특징 데이터(330) 중 하나를 포함하는지 여부를 결정할 수 있다. 예를 들어, FRM(322)은 알려진 사용자의 얼굴의 특징 데이터(330)를 포함하는 다수의 포즈 버킷(332)을 결정할 수 있다. 도 3의 예에서, FRM(322)은 특징 데이터(330)가 25개의 가능한 포즈 버킷(332) 중 19개의 포즈 버킷(예를 들어, 332AB, 332AC, 332BA, 332BB, 332BC, 332BD, 332BE, 332CA, 332CB, 332CC, 332CD, 332CE, 332DB, 332DC, 332DD, 332DE, 332EB, 332EC 및 332ED) 내에 포함되는 것으로 결정한다. 일부 예에서, FRM(322)은 특징 데이터(330)를 포함하는 포즈 버킷의 수가 임계치(예를 들어, 15개의 버킷, 17개의 버킷, 19개의 버킷 등; 또는 포즈 버킷(332)의 65 %, 포즈 버킷(332)의 75 %, 포즈 버킷(332)의 85 % 등)을 만족하는지(예를 들어, 크거나 같음) 여부를 결정한다. 예를 들어, FRM(322)은 특징 데이터(330)가 포즈 버킷(332)의 적어도 75% 내에 포함된다는 결정에 응답하여, 특징 데이터(330)를 포함하는 포즈 버킷(332)의 수가 포즈 버킷의 임계수를 만족한다고 결정할 수 있다. 특징 데이터(330)를 포함하는 포즈 버킷(332)의 수가 포즈 버킷의 임계수를 만족한다고 결정하는 것은 특징 데이터(330)가 사용자를 보다 정확하게 인증하기에 충분히 다른 포즈로 알려진 사용자의 얼굴을 나타낸다는 것을 표시할 수 있다.
특징 데이터(330)를 포함하는 포즈 버킷의 수가 포즈 버킷의 임계수를 만족하지 않는다는 결정에 응답하여, 이미지 캡처 디바이스(314)는 등록 프로세스를 위해 하나 이상의 이미지(333)를 캡처할 수 있다. 예를 들어, FRM(322)은 알려진 사용자(338)에게 알려진 사용자(338)의 얼굴의 다른 각도의 이미지(333)를 캡처하기 위해 그의 머리를 이동하도록 지시하는 그래픽 사용자 인터페이스를 출력할 수 있다.
특징 데이터(330)를 포함하는 포즈 버킷의 수가 포즈 버킷의 임계수를 만족한다고 결정함에 응답하여, FRM(322)은 특징 데이터(330)를 알려진 사용자(338)에 대한 사용자 계정과 연관시킬 수 있다. 일부 예에서, 특징 데이터(330)는 각각의 이미지에 대한 이미지 템플릿(임베딩이라고도 함)을 포함할 수 있다. 일례로서, 이미지 템플릿은 일반적으로 사용자 얼굴의 하나 이상의 특징(예를 들어, 생체 특징)의 통계 모델에 대응할 수 있다. 예를 들어, FRM(322)은 복수의 요소 값(예를 들어, 50값, 100값, 500값 등)을 갖는 벡터를 포함하는 이미지 템플릿을 생성할 수 있다. 일부 예에서, 벡터의 각 요소 값은 사용자 얼굴의 특징(예를 들어, 눈 사이의 거리, 코 형상 등)에 대응한다. 대안적으로 또는 추가적으로, 벡터의 요소 값은 얼굴 신원을 나타내는 출력을 생성하도록 트레이닝된, 예를 들어 비선형 기계 학습 모델을 통해 생성될 수 있다. 예를 들어, FRM(322)은 트레이닝된 얼굴 인식 모델을 복수의 특징 데이터(330)에 적용하고 각각의 특징 데이터(330)에 대한 이미지 템플릿(예를 들어, 임베딩)을 벡터로서 출력할 수 있다. 일부 예에서, FRM(322)은 이미지 템플릿 식별자에 데이터를 할당하고 알려진 사용자(338)에 대한 사용자 계정에 대한 사용자 계정 식별자와 각각의 이미지 템플릿 식별자를 연관시킴으로써 특징 데이터(330)를 사용자 계정과 연관시킨다.
FRM(322)은 등록 정보(328)의 데이터 이미지를 특징화할 수 있고, 이는 사용자(338)의 이미지(333)와 연관된 특징 데이터(330)를 포함하는 데이터 저장소를 포함하는 데이터 저장소를 포함할 수 있다. 일부 예에서, FRM(322)은 특징 데이터(330)를 등록 정보(328)에 저장하기 전에 특징 데이터(330)를 암호화한다. 일부 예에서, 등록 정보(328)는 정보가 네트워크를 통해 임의의 다른 디바이스에 전송되지 않도록(예를 들어, 도 1의 차량의 시스템(100)으로 전송되지 않도록) 컴퓨팅 디바이스(310) 상에 로컬적으로 저장될 수 있다. 또한, 컴퓨팅 디바이스(310)는 등록 정보에 저장된 특징 데이터(330)의 하나 이상의 부분을 삭제할 기회를 사용자에게 제공할 수 있다.
FRM(322)은 알려진 사용자(338)에 대한 등록 프로세스를 완료한 후에, 알려지지 않은 사용자(예를 들어, 도 1의 차량의 사용자(150))에 대한 인증 프로세스를 수행할 수 있다. 다시 말해, FRM(322)은 차량의 카메라 중 하나(예를 들어, 카메라(104 및/또는 111))에 의해 캡처된 이미지(333)로부터 결정되고, IHU 시스템(100)에 의해 도 1의 모바일 컴퓨팅 디바이스(170)의 일례일 수 있는 컴퓨팅 디바이스(310)에 전송되는, 사용자(150)의 특징 데이터에 기초하여, 도 1의 차량의 알려지지 않은 사용자(150)를 인증하기 위한 요청을 수신할 수 있다. 시스템(100)은 예를 들어, 이미지 캡처 디바이스(173)에 의해 캡처된 사용자(150)의 이미지의 다양한 특징에 대한 특징 벡터 데이터를 포함하는 특징 데이터(330)를 컴퓨팅 디바이스(310)에 송신할 수 있다.
인증 이미지와 연관된 특징 데이터를 수신 또는 결정하는 것에 응답하여, FRM(322)은 알려지지 않은 사용자(150)가 알려진 사용자(338)인지 여부를 결정할 수 있다. 일부 예에서, FRM(322)은 알려지지 않은 사용자(150)의 얼굴의 인증 이미지를 나타내는 특징 데이터와, 알려진 사용자(338)의 얼굴의 이미지(333)를 나타내는 특징 데이터(330)의 비교에 기초하여, 알려지지 않은 사용자(150)가 알려진 사용자(338)인지 여부를 결정한다. 예를 들어, FRM(322)은 알려지지 않은 사용자(150)의 얼굴의 인증 이미지(들)를 나타내는 특징 데이터와 포즈 독립적(포즈 불변이라고도 함) 기법 또는 포즈 의존적 기법을 사용하여 알려진 사용자(338)의 얼굴의 이미지(333)로부터 계산되거나 결정된 특징 데이터(330)를 비교할 수 있다.
일부 예에서, 포즈 의존적 기법에서, FRM(322)은 인증 특징 데이터 및 사용자(150)의 인증 이미지에서 알려지지 않은 사용자의 얼굴 상기 포즈에 가장 가까운 포즈에서 알려진 사용자(338)의 얼굴과 연관된 특징 데이터(330)에 기초하여, 알려지지 않은 사용자(150)가 알려진 사용자(338)인지 여부를 결정한다. 일례에서, FRM(322)은 알려지지 않은 사용자(150)의 인증 특징 데이터와 연관된 포즈 버킷(332)의 포즈 버킷을 결정한다. 예를 들어, FRM(322)은 특징 데이터(330)와 연관된 포즈 버킷을 결정하는 것과 유사한 방식으로, 알려지지 않은 사용자의 얼굴의 특징 또는 랜드마크에 기초하여 알려지지 않은 사용자(150)의 특징 데이터와 연관된 포즈 버킷을 결정할 수 있다. 예를 들어, FRM(322)은 사용자(150)의 인증 특징 데이터에서 얼굴의 요 각도 및 피치 각도를 결정할 수 있다. FRM(322)은 인증 특징 데이터에서 얼굴의 요 및 피치 각도를 결정하는 것에 응답하여, 포즈 버킷(332) 중 어느 것이 인증 특징 데이터에서 얼굴의 요 및 피치 각도를 포함하는지를 결정할 수 있다. 예를 들어, FRM(322)은 특징 데이터에서 얼굴의 요 및 피치 각도가 각각 20도 및 0도인 것을 결정할 수 있다. FRM(322)은 포즈 버킷(332CD)이 15도 내지 25도의 요 각도 범위 및 -5도 내지 5도의 피치 각도 범위와 연관되어 있다고 결정할 수 있다. 그러한 경우에, FRM(322)은 인증 특징 데이터에서 얼굴의 요 각 및 피치 각도가 포즈 버킷(332CD)과 연관된 요 및 피치 각도의 범위에 포함된다고 결정함에 응답하여, 알려지지 않은 사용자(150)의 인증 특징 데이터가 포즈 버킷(332CD)과 연관되어 있다고 결정할 수 있다.
FRM(322)은 알려지지 않은 사용자(150)의 얼굴의 특징 데이터와 연관된 포즈 버킷 내에 포함된 알려진 사용자(338)의 얼굴의 특징 데이터(330)로부터 특징 데이터를 결정할 수 있다. 다시 말해, FRM(322)은 어느 특징 데이터(330)가 사용자(150)의 인증 특징 데이터의 포즈에 가장 가까운 포즈를 갖는지를 결정할 수 있다. 일례에서, FRM(322)은 사용자(150)의 특징 데이터가 포즈 버킷(332CD)과 연관되어 있다고 결정하고, 포즈 버킷(332CD) 내에 포함된 특징 데이터(330)의 특징 데이터(예를 들어, 포즈 G에 대한 특징 데이터(330G))를 선택한다. FRM(322)은 선택된 특징 데이터(330G)에 대한 유사성 스코어를 결정함으로써, 사용자(150)가 알려진 사용자(338)인지 여부를 결정할 수 있고, 유사성 스코어는 특징 데이터(330G)와 인증 특징 데이터 사이의 유사성을 나타낸다.
일부 예에서, 선택된 특징 데이터(330G)(예를 들어, 알려지지 않은 사용자(150)의 하나 이상의 이미지와 연관된 포즈 버킷(332CD)에 포함된 특징 데이터)에 대한 유사성 스코어를 결정하는 것에 응답하여, FRM(322)은 특징 데이터(330G)에 대한 유사성 스코어가 임계 유사성 스코어를 만족한다(예를 들어, 크거나 같다)고 결정한다. FRM(322)은 특징 데이터(330G)에 대한 유사성 스코어가 임계 유사성 스코어를 만족한다는 결정에 응답하여 알려지지 않은 사용자(150)가 알려진 사용자(338)임을 결정할 수 있고, 피처 데이터(330G)에 대한 유사성 스코어가 임계 유사성 스코어를 만족하지 않는다는 결정에 대한 응답으로 알려지지 않은 사용자(150)가 알려진 사용자가 아니라고 결정할 수 있다.
일부 예에서, FRM(322)은 포즈에 관계없이 알려지지 않은 사용자(150)가 알려진 사용자(338)인지를 결정한다. 다시 말해서, 일부 예에서, FRM(322)은 포즈 불변 기법을 사용하여 알려지지 않은 사용자(150)가 알려진 사용자(338)인지 여부를 결정한다. 예를 들어, FRM(322)은 특징 데이터(330)의 각각의 특징 데이터에 대한 각각의 유사성 스코어를 결정할 수 있고, 여기서 각각의 유사성 스코어는 특징 데이터(330)의 대응하는 특징 데이터와 알려지지 않은 사용자(150)의 인증 특징 데이터 사이의 유사성을 나타낸다.
일 시나리오에서, FRM(322)은 특징 데이터(330)에 대한 각각의 유사성 스코어에 기초하여 알려지지 않은 사용자(150)가 알려진 사용자(338)인지를 결정하기 위해 특징 데이터(330)의 특징 데이터를 선택한다. FRM(322)은 인증 특징 데이터와 가장 근접한 것을 나타내는 유사성 스코어를 갖는 특징 데이터(330)의 특징 데이터를 선택한다. 가장 근접한 일치를 나타내는 스코어는 최저 유사성 스코어 또는 최고 유사성 스코어일 수 있다.
일부 시나리오에서, FRM(322)은 각각의 유사성 스코어에 기초하여 특징 데이터(330)의 둘 이상의 특징 데이터를 선택하여 알려지지 않은 사용자(150)가 알려진 사용자(338)인지 여부를 결정한다. 일 시나리오에서, FRM(322)은 둘 이상의 특징 데이터(330)에 대한 복합 유사성 스코어를 결정한다. 예를 들어, FRM(322)은 특징 데이터(330) 중 둘 이상에 대한 각각의 유사성 스코어의 평균에 기초하여 복합 유사성 스코어를 결정할 수 있고, 복합 유사성 스코어를 임계 유사성 스코어와 비교하여 알려지지 않은 사용자(150)가 알려진 사용자(338)인지 여부를 결정할 수 있다.
다른 예로서, FRM(322)은 둘 이상의 특징 데이터에 대한 각각의 각각의 유사성 스코어를 임계 유사성 스코어와 비교할 수 있다. 그러한 예에서, FRM(322)은 선택된 특징 데이터의 임계수(예를 들어, 100 %, 80 %, 60 % 등)가 임계 유사성 스코어를 만족하는 유사성 스코어를 갖는다는 결정에 응답하여, 알려지지 않은 사용자(150)가 알려진 사용자(338)라고 결정할 수 있다. 예를 들어, 선택된 특징 데이터의 세트가 가장 높은 유사성 스코어를 갖는 특징 데이터(330)의 3개의 특징 데이터를 포함하는 경우, 일부 예에서, FRM(322)은 선택된 3개의 특징 데이터 중 2개에 대한 유사성 스코어가 임계 유사성 스코어를 만족한다는 결정에 응답하여, 알려지지 않은 사용자(150)가 알려진 사용자(338)라고 결정한다.
알려지지 않은 사용자(150)가 알려진 사용자(338)라는 결정에 응답하여, 컴퓨팅 디바이스(310)는 인증 데이터를 차량의 IHU 시스템(100)에 송신할 수 있다. 예를 들어, 컴퓨팅 디바이스(310)는 알려지지 않은 사용자(150)를 알려진 사용자(338)로서 성공적인 인증을 나타내는 데이터를 전송함으로써, 사용자(150)의 인증을 표시할 수 있다. 일부 경우에, 컴퓨팅 디바이스(310)는 사용자(338)(예를 들어, 인증된 사용자(150))를 위해 맞춤화되거나 개인화된 사용자 프로필 및/또는 계정 정보를 시스템(100)에 송신할 수 있다. 일부 경우에, 컴퓨팅 디바이스(310)는 또한 차량의 시스템(100)에 사용자(338) 및/또는 컴퓨팅 디바이스(310)의 고유 식별자를 송신할 수 있다.
일부 실시예에서, 컴퓨팅 디바이스(310)는 하나 이상의 모델(329)을 저장할 수 있다. 예를 들어, 일부 경우에, 컴퓨팅 디바이스(310)는 상술한 바와 같이 개인 식별을 돕는 얼굴 랜드마크를 추출하기 위해 딥러닝 모델을 이용할 수 있다. 이들 모델은 전용 신경 엔진 또는 개인 디바이스의 프로세서에서 실행되도록 맞춤화될 수 있다. 상기 기술된 바와 같이 일부 예시에서, 이미지 템플릿은 일반적으로 사용자 얼굴의 하나 이상의 특징(예를 들어, 생체 특징)의 통계 모델에 대응할 수 있다. 예를 들어, FRM(322)은 복수의 요소 값(예를 들어, 50값, 100값, 500값 등)을 갖는 벡터를 포함하는 이미지 템플릿을 생성할 수 있다. 일부 예에서, 벡터의 각 요소 값은 사용자 얼굴의 특징(예를 들어, 눈 사이의 거리, 코 형상 등)에 대응한다. 대안적으로 또는 추가적으로, 벡터의 요소 값은 얼굴 신원을 나타내는 출력을 생성하도록 트레이닝된, 예를 들어 비선형 기계 학습 모델을 통해 생성될 수 있다. 예를 들어, FRM(322)은 트레이닝된 얼굴 인식 모델을 이미지(333)에 적용하고 각각의 특징 데이터(330)에 대한 이미지 템플릿(예를 들어, 임베딩)을 벡터로서 출력할 수 있다. 대안적으로 또는 추가적으로, 벡터의 요소 값은 얼굴 신원을 나타내는 출력을 생성하도록 트레이닝된 비선형 기계 학습 모델을 통해 생성될 수 있다. 일례로서, 등록 모듈은 트레이닝된 얼굴 인식 모델을 이미지(333)에 적용하고 각각의 특징 데이터(330)에 대한 이미지 템플릿(예를 들어, 벡터)을 출력할 수 있다. 이러한 이미지 템플릿은 벡터로 표현될 수 있고 트레이닝된 얼굴 인식 모델에 의해 생성될 수 있다. 벡터는 각각의 사용자의 얼굴의 특징(예를 들어, 눈 사이의 거리, 코 형상 등)에 각각 대응하는 복수의 요소 값을 포함할 수 있다.
컴퓨팅 디바이스(310)는 알려진 사용자(338)의 특징 데이터(330)를 등록하고, 알려지지 않은 사용자(150)를 인증하는 것으로 설명되지만, 일부 예에서, 하나 이상의 원격 컴퓨팅 디바이스는 본 명세서에 기술된 기능의 전부 또는 일부를 수행할 수 있다. 다른 대안적 경우에, 컴퓨팅 디바이스(310)는 등록된 특징 데이터를 차량 컴퓨팅 시스템(예: 차량 컴퓨팅 시스템(100))에 송신할 수 있고, 그 후 알려지지 않은 사용자에 대한 인증 특징 데이터를 알려진 사용자의 수신된 등록 특징 데이터와 비교함으로써 차량에서 알려지지 않은 사용자에 대한 인증을 수행하도록 구성될 수 있다.
일부 예에서, 컴퓨팅 디바이스(예: 컴퓨팅 디바이스(310) 또는 다른 컴퓨팅 디바이스)는 컴퓨팅 디바이스가 컴퓨팅 디바이스의 사용자로부터 데이터를 이용하도록 허가를 받은 경우에만 컴퓨팅 디바이스(310)의 사용자와 연관된 사용자 데이터를 이용할 수 있다. 예를 들어, 컴퓨팅 디바이스 또는 컴퓨팅 시스템이 사용자와 연관된 정보를 수집하거나 이용할 수 있기 전에, 사용자에게 컴퓨팅 디바이스 및/또는 컴퓨팅 시스템의 프로그램 또는 구성이 사용자 정보를 수집하고 사용할 수 있는지 여부를 제어할 수 있게 하기 위한 입력을 제공할 기회가 제공될 수 있다. 추가로, 특정 정보는 그것이 컴퓨팅 디바이스 및/또는 컴퓨팅 시스템에 의해 저장되거나 사용되기 전에 하나 이상의 방식들로 취급되어, 개인적으로 식별가능한 정보는 제거된다. 예를 들면, 사용자의 신원은 사용자에 관한 개인적으로 식별가능한 정보가 결정될 수 없도록 취급될 수 있다. 예를 들어, 컴퓨팅 디바이스는 이미지 자체를 저장하지 않고 이미지에 대한 특징 데이터 및/또는 이미지 템플릿을 저장할 수 있고, 특징 데이터 및/또는 이미지 템플릿을 임의의 다른 사용자 정보와 연관되지 않은 사용자 식별자와 연관시킬 수 있다. 따라서, 사용자는 사용자에 관한 정보가 어떻게 수집되는지 그리고 컴퓨팅 디바이스 및 컴퓨팅 시스템에 의해 사용되는지에 대한 제어를 가진다.
이러한 방식으로, 본 개시의 기법은 컴퓨팅 디바이스(310)가 몇몇 상이한 포즈 버킷 내에 포함된 알려진 사용자(338)의 특징 데이터를 캡처할 수 있게 한다. 몇몇 상이한 포즈 버킷에서 특징 데이터를 캡처하고 등록함으로써, 컴퓨팅 디바이스(310)는 알려진 사용자(338)의 특징 데이터를 포함하는 포즈 버킷의 수를 증가시킬 수 있고, 이는 컴퓨팅 디바이스(310)가 알려지지 않은 사용자(예: 사용자(150))에 대한 인증 특징 데이터의 포즈 버킷과 관계없이 알려지지 않은 사용자의 특징 데이터를 보다 정확하게 인증하게 한다. 예를 들어, 등록된 특징 데이터를 포함하는 포즈 버킷의 수를 증가시키는 것은 알려지지 않은 사용자의 인증 특징 데이터와 연관된 포즈 버킷이 알려진 사용자(338)의 등록된 특징 데이터의 하나 이상의 그룹을 포함하는 포즈 버킷과 유사 할 확률을 증가시킬 수 있고, 이는 알려지지 않은 사용자가 실제로는 알려진, 인가된 사용자인 경우 알려지지 않은 사용자를 잘못 거부할 가능성을 감소시켜, 잠재적으로 사용자 경험을 개선할 수 있다. 또한, 잘못된 거부의 가능성을 감소시키는 것은 컴퓨팅 디바이스가 증가된 액세스 모드로 진입하기 위해 사용되는 인증 시도(예를 들어, 얼굴 인식, 지문 인식, PIN 또는 암호 등)의 수를 감소시킬 수 있고, 이는 프로세서가 사용하는 프로세싱 주기의 양을 감소시키고 배터리 수명을 향상시킨다. 일부 예에서, 설명된 기법은 알려지지 않은 사용자가 알려진, 인가된 사용자가 아닌 경우 알려지지 않은 사용자를 잘못 인증할 가능성을 감소시킬 수 있으며, 이는 컴퓨팅 디바이스(310)의 보안을 증가시킬 수 있다.
도 4는 본 발명의 하나 이상의 양태에 따른 예시적 컴퓨팅 시스템(410)을 도시하는 블록도이다. 컴퓨팅 시스템(410)은 도 3의 컴퓨팅 시스템(310), 도 1의 모바일 컴퓨팅 디바이스(170) 및/또는 도 1의 차량 컴퓨팅 시스템(100)의 보다 상세한 예이다. 도 4는 컴퓨팅 시스템(410)의 단지 하나의 특정한 예시를 도시하며, 컴퓨팅 시스템(410)의 많은 다른 예시들이 다른 경우들에 사용될 수 있고, 예시적 컴퓨팅 시스템(410)에 포함된 컴포넌트들의 서브셋을 포함하거나 또는 도 4에서 도시되지 않은 추가적인 컴포넌트들을 포함할 수 있다. 본 명세서에서 사용되는 용어 "이미지 데이터"는 예를 들어, 사용자의 얼굴의 캡처된 이미지로부터 계산되거나 결정되는 데이터(예를 들어, 특징 데이터)를 지칭한다.
도 4의 예에 도시된 바와 같이. 컴퓨팅 시스템(410)은 PSD(412), 하나 이상의 이미지 캡처 디바이스(414), 하나 이상의 프로세서(430), 하나 이상의 입력 컴포넌트(442), 하나 이상의 출력 컴포넌트(444), 하나 이상의 통신 유닛(446) 및 하나 이상의 저장 디바이스(448)를 포함한다. 컴퓨팅 시스템(410)의 저장 디바이스(448)는 FRM(422) 및 등록 정보(428)를 포함한다.
통신 채널(449)은 컴포넌트 간 통신을 위해(물리적, 통신적으로 및/또는 동작적으로) 각각의 컴포넌트들(412, 414, 430, 442, 444, 446 및 448)와 상호연결될 수 있다. 일부 예시에서, 통신 채널(449)은 시스템 버스, 네트워크 연결, 프로세스 간 통신 데이터 구조 또는 데이터(정보로 지칭됨)를 통신하기 위한 임의의 기타 컴포넌트를 포함할 수 있다.
이미지 캡처 디바이스(414)는 디지털 카메라, 스틸 카메라, 동영상 카메라 등과 같은 하나 이상의 카메라를 포함할 수 있다. 이미지 캡처 디바이스(414)는 스틸 이미지 또는 동영상을 캡처 및 저장할 수 있는 임의의 다른 디바이스를 포함할 수 있다. 일부 예에서, 이미지 캡처 디바이스(414)는 전자 이미지 센서를 통해 이미지들을 디지털 방식으로 기록할 수 있다. 이미지 캡처 디바이스(414)는 가시광선을 검출하도록 구성된 하나 이상의 디바이스(예: 가시 광선 카메라), 근적외선을 검출하도록 구성된 하나 이상의 디바이스(예를 들어, 근적외선 카메라) 또는 그들의 조합을 포함할 수 있다. 일부 예에서, 이미지 캡처 디바이스(414)는 2차원 이미지들을 나타내는 이미지 데이터, 3차원 이미지들을 나타내는 데이터 또는 이들의 조합을 생성할 수 있다. 이러한 방식으로, 복수의 이미지 캡처 디바이스(414)는 가시광선, 근적외선 또는 이들의 조합을 캡처할 수 있고, 2차원 이미지, 3차원 이미지 또는 둘 모두를 나타내는 데이터를 생성할 수 있다.
컴퓨팅 시스템(410)의 하나 이상의 통신 유닛(446)은 데이터를 전송 및/또는 수신함으로써 외부 디바이스와 통신할 수 있다. 예를 들어, 컴퓨팅 시스템(410)은 셀룰러 무선 네트워크와 같은 무선 네트워크 상에서 무선 신호를 송신 및/또는 수신하기 위해 통신 유닛들(446)을 사용할 수 있다. 일부 예시에서, 통신 유닛(446)은 위성 위치 확인 시스템(GPS) 네트워크와 같은 위성 네트워크 상에서 위성 신호를 전송 및/또는 수신할 수 있다. 통신 유닛(446)의 예시들은(이더넷 카드와 같은) 네트워크 인터페이스 카드, 광학적 트랜스시버, 라디오 주파수 트랜스시버, GPS 수신기 또는 정보를 송신 및/또는 수신할 수 있는 임의의 기타 유형의 디바이스를 포함한다. 통신 유닛(446)의 다른 예는 단파 라디오(예를 들어, NFC, BLUETOOTH(BLE 포함)), GPS, 3G, 4G, 5G, 및 모바일 디바이스에서 발견되는 WIFI 라디오 뿐만 아니라 USB 제어기 등을 포함할 수 있다.
컴퓨팅 시스템(410)의 하나 이상의 입력 컴포넌트(442)는 입력을 수신할 수 있다. 입력의 예는 촉각, 오디오, 키네틱 및 광학 입력이다. 컴퓨팅 시스템(410)의 입력 컴포넌트(442)는 일 예에서 마우스, 키보드, 음성 응답 시스템, 비디오 카메라, 버튼, 제어 패드, 마이크로폰 또는 사람 또는 기계로부터의 입력을 검출하기 위한 임의의 기타 유형의 디바이스를 포함한다. 일부 예에서, 입력 컴포넌트(442)는 존재-감응형 스크린, 터치 감지 스크린 등을 포함할 수 있는 존재-감응형 입력 컴포넌트일 수 있다.
컴퓨팅 시스템(410)의 하나 이상의 출력 컴포넌트(444)는 출력을 생성할 수 있다. 출력의 예는 촉각, 오디오 및 비디오 출력이다. 일부 예시에서, 컴퓨팅 시스템(410)의 출력 컴포넌트(444)은 존재-감응형 스크린, 사운드 카드, 비디오 그래픽 어댑터 카드, 스피커, 음극선관(CRT) 모니터, 액정 디스플레이(LCD)또는 사람 또는 기계에 출력을 생성하기 위한 임의의 기타 유형의 디바이스를 포함한다. 출력 컴포넌트는 음극선관(CRT) 모니터, 액정 디스플레이(LCD), 발광 다이오드(LED) 또는 촉각, 오디오 및/또는 시각적 출력을 생성하기 위한 임의의 기타 유형의 디바이스와 같은 디스플레이 컴포넌트를 포함할 수 있다.
일부 예시에서, 컴퓨팅 시스템(410)의 PSD(412)는 입력 컴포넌트(442) 및/또는 출력 컴포넌트(444)의 기능을 포함할 수 있다. 도 4의 예에서, PSD(412)는 존재-감응형 스크린 또는 터치 감응형 스크린과 같은 존재-감응형 입력 컴포넌트(464)를 포함할 수 있다. 일부 예시에서, 존재-감응형 입력 컴포넌트(464)는 존재-감응형 입력 컴포넌트에 있는 및/또는 그 부근의 객체를 검출할 수 있다. 하나의 예시적인 범위로서, 존재-감응형 입력 컴포넌트(464)는 존재-감응형 입력 컴포넌트(464)의 2인치 또는 그 이하 내에 있는 손가락 또는 스타일러스와 같은 객체를 검출할 수 있다. 존재-감응형 입력 컴포넌트(464)는 객체가 검출된 존재-감응형 입력 컴포넌트의 위치(예를 들어, (x, y) 좌표)를 결정할 수 있다. 다른 예시적 범위에서, 존재-감응형 입력 컴포넌트(464)는 존재-감응형 입력 컴포넌트(464)로부터 2인치 또는 그 이하 내에 있는 오브젝트를 검출할 수 있으며, 다른 범위도 가능하다. 존재-감응형 입력 컴포넌트(464)는 용량성, 유도성 및/또는 광학 인식 기술을 사용하여 사용자의 손가락에 의해 선택된 존재 감응형 입력 컴포넌트(464)의 위치를 결정할 수 있다.
일부 예에서, PSD(412)는 또한 출력 컴포넌트(444)와 관련하여 기술된 바와 같이 촉각적, 오디오 또는 비디오 자극을 사용하여 사용자에게 출력을 제공한다. 예를 들어, PSD(412)는 그래픽 사용자 인터페이스를 디스플레이하는 디스플레이 컴포넌트(462)를 포함할 수 있다. 디스플레이 컴포넌트(462)는 출력 컴포넌트(444)와 관련하여 설명된 바와 같이 시각적 출력을 제공하는 임의의 유형의 출력 컴포넌트일 수 있다. 컴퓨팅 시스템(410)의 통합된 컴포넌트로서 도시되어 있지만, PSD(412)는 입력 및 출력을 전송 및/또는 수신하기 위해 컴퓨팅 시스템(410)와 데이터 또는 정보 경로를 공유하는 외부 컴포넌트일 수 있다. 예를 들어, PSD(412)는 컴퓨팅 시스템(410)의 외부 패키징(예를 들어, 모바일폰 상의 스크린) 내에 위치되고 물리적으로 연결된 컴퓨팅 시스템(410)의 내장 컴포넌트일 수 있다. 다른 예시에서, PSD(412)는 컴퓨팅 시스템(410)의 패키징(예를 들어, 태블릿 컴퓨터와 유선 및/또는 무선 데이터 경로를 공유하는 모니터, 프로젝터)의 외부에 위치되고 물리적으로 분리된 컴퓨팅 시스템(410)의 외부 컴포넌트일 수 있다. 일부 예에서, PSD(412)는 컴퓨팅 시스템(410)의 패키징 외부에 위치하고 물리적으로 분리된 경우, 두 개의 개별 컴포넌트: 입력을 수신하기 위한 존재-감응형 입력 컴포넌트(464) 및 출력을 제공하기 위한 디스플레이 컴포넌트(462)에 의해 구현될 수 있다.
컴퓨팅 시스템(410) 내의 하나 이상의 저장 컴포넌트(448)는 컴퓨팅 시스템(410)의 동작 동안 프로세싱을 위한 정보를 저장할 수 있다(예를 들어, 컴퓨팅 시스템(410)는 컴퓨팅 디바이스(410)에서의 실행 중에 FRM(422)에 의해 액세스되는 데이터를 저장할 수 있다). 일부 예시에서, 저장 컴포넌트(448)는 저장 컴포넌트(448)의 주목적이 장기간 저장이 아님을 의미하는 임시적 메모리이다. 컴퓨팅 시스템(410) 상의 저장 컴포넌트(448)는 휘발성 메모리로서 정보의 단기 저장을 위해 구성될 수 있고, 따라서 전원이 꺼지면 저장된 콘텐츠를 보유하지 않는다. 휘발성 메모리들의 예시들은 RAM(random access memory), DRAM(dynamic random access memory), SRAM(static random access memory) 및 당업계에서 공지된 기타 형태의 휘발성 메모리를 포함할 수 있다.
일부 예시에서, 저장 컴포넌트들(448)은 하나 이상의 컴퓨터 판독가능 저장 매체를 포함한다. 일부 예시에서, 저장 컴포넌트들(448)은 하나 이상의 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 저장 컴포넌트들(448)은 일반적으로 휘발성 메모리에 저장되는 것보다 많은 양의 정보를 저장하도록 구성될 수 있다. 저장 컴포넌트들(448)은 비휘발성 메모리 공간으로서 정보의 장기 저장을 위해 구성될 수 있고 전원 켜짐/꺼짐 순환 이후에도 정보를 보유한다. 비휘발성 메모리의 예시들은 자기적 하드 디스크, 광학 디스크, 플래시 메모리 또는 EPROM 또는 EEPROM의 형태를 포함한다. 저장 컴포넌트(448)는 FRM(422)과 연관된 프로그램 명령어들 및/또는 정보(예: 데이터)를 저장할 수 있다. 저장 컴포넌트(448)는 FRM(422) 및 등록 정보(428)와 연관된 데이터 및/또는 다른 정보를 저장하도록 구성된 메모리를 포함할 수 있다.
하나 이상의 프로세서들(430)은 기능을 구현하고 및/또는 컴퓨팅 시스템(410)과 연관된 명령어들을 실행할 수 있다. 프로세서들(430)의 예들은 어플리케이션 프로세서, 디스플레이 제어기, 보조 프로세서, 하나 이상의 센서 허브 및 프로세서, 프로세싱 유닛, 또는 프로세싱 디바이스로서 기능하도록 구성된 임의의 다른 하드웨어를 포함한다. FRM(422)은 컴퓨팅 시스템(410)의 다양한 액션들, 동작들 또는 기능들을 수행하기 위해 프로세서들(430)에 의해 동작 가능할 수 있다.
특정 예에서, 컴퓨팅 시스템(410)이 차량 컴퓨팅 시스템(100)의 예를 포함하는 경우, 저장 디바이스(448)는 차량 컴퓨팅 시스템(100)의 대응하는 기능을 구현하기 위해 프로세서(430)에 의해 실행 가능한 정보 및/또는 모듈들을 포함할 수 있다(예: 도 1 및/또는 도 5에서 시스템(100)을 참조하여 도시되고 설명된 바와 같이). 다른 예에서, 도 4에 도시된 바와 같이, 컴퓨팅 시스템(410)이 도 3의 컴퓨팅 디바이스(310)의 예를 포함하는 경우, 컴퓨팅 시스템(410)의 프로세서(430)는 프로세서(430)로 FRM(422)에 기인하는 본 명세서에 기술된 동작들을 수행하게 하는 저장 컴포넌트(448)에 의해 저장된 명령어를 검색하고 실행할 수 있다. 명령어는 프로세서(430)에 의해 실행될 때, 컴퓨팅 시스템(410)으로 하여금 저장 컴포넌트(448) 내에 정보를 저장하게 한다.
FRM(422)은 도 3의 컴퓨팅 디바이스(310)의 FRM(322)의 모든 기능을 포함할 수 있고, 컴퓨팅 시스템(410)의 사용자를 인증하기 위해 얼굴 인식을 수행하기 위한 FRM(322)과 유사한 동작을 수행할 수 있다. FRM(422)은 등록 모듈(424) 및 인증 모듈(426)을 포함할 수 있다.
일부 예에서, 등록 모듈(424)은 컴퓨팅 시스템(410)의 알려진 사용자의 이미지 데이터를 알려진 사용자에 대한 사용자 계정과 연관시키기 위해 등록 프로세스를 수행할 수 있다. 일부 예에서, 등록 모듈(424)은 예를 들어, 새로운 계정을 설정할 때 주어진 사용자 계정에 대해 등록 프로세스를 한 번 수행할 수 있다.
등록 단계 동안, 이미지 캡처 디바이스(414)는 컴퓨팅 시스템(410)의 알려진 사용자(예를 들어, 연관된 사용자 계정에 로그인한 사용자)의 (도 1)의 하나 이상의 이미지 데이터(330)를 캡처하고, 각각의 이미지를 나타내는 이미지 데이터를 생성한다. FRM(422)의 등록 모듈(424)은 이미지 캡처 디바이스(414)로부터 이미지 데이터를 수신하고, 이미지 데이터(330) 각각을 (도 1의) 하나 이상의 포즈 버킷(332)에 할당하기 위해 이미지 데이터를 분석할 수 있다.
등록 모듈(424)은 이미지 데이터에 포함된 알려진 사용자의 얼굴의 특성 또는 랜드마크에 기초하여 어떤 포즈 버킷(332)이 이미지 데이터와 연관되는지를 결정할 수 있다. 예를 들어, 등록 모듈(424)은 사용자의 눈, 코 및 입과 같은 알려지지 않은 사용자의 얼굴의 이미지 데이터에서 랜드 마크를 검출할 수 있고, 랜드 마크에 기초하여 얼굴의 요 및 피치 각도를 결정할 수 있다. 예를 들어, 등록 모듈(424)은 이미지 데이터(330A)를 수신하고, 이미지 데이터 (330A)에서 랜드마크들에 기초하여, 이미지 데이터(330A)에서 사용자 얼굴의 요 각도가 대략 0도이고 이미지 데이터(330A)에서 사용자 얼굴의 피치 각도가 대략 0도인 것으로 결정할 수 있다. 등록 모듈(424)은 포즈 버킷(332CC)이 -5도 내지 5도의 요 각도 범위 및 -5도 내지 5도의 피치 각도 범위를 포함한다고 결정할 수 있다(예를 들어, 포즈 버킷(332CC)은 0도 요 및 0도 피치를 중심으로 함). 그러한 예에서, 등록 모듈(424)은 이미지 데이터(330A)에서 사용자 얼굴의 요 및 피치 각도가 포즈 버킷(332CC)에 대한 피치 및 요 각도의 범위 내에 있다고 결정하여, 등록 모듈(424)은 이미지 데이터(330A)가 포즈 버킷(332CC)에 포함되어야 한다고 결정한다. 일부 예에서, 등록 모듈(424)은 이미지 데이터(330A)에서 사용자의 얼굴의 롤의 양을 결정할 수 있다. 예를 들어, 등록 모듈(424)은 이미지 데이터(330A)에서 요 각도, 피치 각도 및 사용자 얼굴의 롤에 기초하여, 어떤 포즈 버킷(332)이 이미지 데이터(330A)를 포함하는지를 결정할 수 있다.
일부 예에서, 등록 모듈(424)은 이미지 데이터(330A)가 복수의 포즈 버킷(332)에 포함되어야 하는지 여부를 결정한다. 예를 들어, 등록 모듈(424)은 이미지 데이터(330A)의 요 및 피치 각도가 주어진 포즈 버킷(332)의 중심의 미리 정의된 거리(예를 들어, 10도의 반경) 내에 있을 때 주어진 포즈 버킷 내에 이미지 데이터(330A)를 포함할 수 있다. 예를 들어, 등록 모듈(424)은 이미지 데이터(330A)에서 사용자 얼굴의 요 및 피치 각도가 각각 0도 및 0도인 것으로 결정할 수 있다. 일 예에서, 미리 정의된 거리는 10도일 수 있고, 포즈 버킷(332BC)은 0도 요 및 10도 피치에 중심을 둘 수 있어서, 등록 모듈(424)은 이미지 데이터(330A)의 요 및 피치 각도가 포즈 버킷(332BC)의 중심의 미리 정의된 거리 내에 있다고 결정할 수 있다. 그러한 경우에, 등록 모듈(424)은 포즈 버킷(332BC)에 이미지 데이터(330A)를 포함할 수 있다. 유사하게, 등록 모듈(424)은 이미지 데이터(330A)에 대한 요 및 피치 각도가 포즈 버킷(332CB, 332CD 및 332DC)의 중심의 미리 정의된 거리 내에 있고, 포즈 버킷(332CB, 332CD 및 332Dc)에 더하여 포즈 버킷(332CC 및 332Bc)에 이미지 데이터(330A)에 포함한다고 결정할 수 있다.
일부 예에서, 등록 모듈(424)은 이미지 데이터(330A)를 수신한 후 이미지 데이터(330B)를 수신한다. 등록 모듈(424)은 임의의 포즈 버킷(332)에 이미지 데이터(330B)를 포함할지 여부를 결정할 수 있다. 등록 모듈(424)은 이미지 데이터(330B)에서 랜드마크들에 기초하여, 이미지 데이터(330B)에서 사용자 얼굴의 요 각도가 대략 0도이고 이미지 데이터(330B)에서 사용자 얼굴의 피치 각도가 대략 0도인 것으로 결정할 수 있다. 등록 모듈(424)은 포즈 버킷(332AC)이 -5도 내지 5도의 요 각도 범위 및 15도 내지 25도의 피치 각도 범위를 포함한다고 결정할 수 있다(예를 들어, 포즈 버킷(332AC)은 0도 요 및 20도 피치를 중심으로 함). 그러한 예에서, 등록 모듈(424)은 이미지 데이터(330B)에서 사용자 얼굴의 요 및 피치 각도가 포즈 버킷(332AC)에 대한 피치 및 요 각도의 범위 내에 있다고 결정할 수 있다. 등록 모듈(424)은 포즈 버킷(332AC)이 이미지 데이터(330) 중 하나를 포함하는지 여부를 결정할 수 있고, 포즈 버킷(332AC)이 이미 이미지 데이터를 포함하지 않는다는 결정에 응답하여 포즈 버킷(332AC)에 이미지 데이터(330B)를 포함할 수 있다.
등록 모듈(424)은 임의의 다른 포즈 버킷(332)에 이미지 데이터(330B)를 포함할지 여부를 결정할 수 있다. 예를 들어, 등록 모듈(424)은 이미지 데이터(330B)에 대한 요 및 피치 각도가 다른 포즈 버킷(332)의 중심의 미리 정의된 거리 내에 있는지 여부를 결정할 수 있다. 예를 들어, 등록 모듈(424)은 미리 정의된 거리가 10도이고 포즈 버킷(332BC)이 0도 요 및 10도 피치에 집중되어 있다고 결정하여, 등록 모듈(424)이 이미지 데이터(330B)의 요 및 피치 각도(예를 들어, 0도 요, 19도 피치)는 포즈 버킷 중심(332BC)의 미리 정의된 거리 내에 있다. 등록 모듈(424)은 이미지 데이터(330B)에 대한 요 및 피치 각도가 포즈 버킷 중심(332BC)의 미리 정의된 임계치 내에 있다는 결정에 응답하여, 포즈 버킷(332BC)에 이미지 데이터(330B)를 포함할지 여부를 결정할 수 있다.
일부 예에서, 등록 모듈(424)은 포즈 버킷(332BC)이 이미 이미지 데이터(330A)를 포함한다고 결정하고, 포즈 버킷(332BC)에서 이미지 데이터(330A)를 이미지 데이터(330B)로 교체할지 여부를 결정한다. 일 예에서, 등록 모듈(424)은 포즈 버킷(332BC)의 중심과 이미지 데이터(330A, 330B)에 대한 각각의 요 및 피치 각도 사이의 거리에 기초하여, 포즈 버킷(332BC)에서 이미지 데이터(330A)를 이미지 데이터(330B)로 교체할지 여부를 결정할 수 있다. 예를 들어, 등록 모듈(424)은 이미지 데이터(330A)에 대한 요 및 피치 각도가 0도, 0 도임을 결정할 수 있고; 이미지 데이터(330B)에 대한 요 및 피치 각도는 0도, 19도이고, 포즈 버킷(332BC)의 중심에 대한 요 및 피치 각도는 0도, 10도이다. 이러한 예에서, 등록 모듈(424)은 이미지 데이터(330B)가 이미지 데이터(330A)보다 포즈 버킷(332BC)의 중심에 더 가깝다고 결정하고, 포즈 버킷(332BC) 내에서 이미지 데이터(330A)를 이미지 데이터(330B)로 교체할 수 있다.
일부 예에서, 등록 모듈(424)은 이미지 데이터(330A, 330B)의 수신 순서에 기초하여 포즈 버킷(332BC) 내에서 이미지 데이터(330A) 또는 이미지 데이터(330B)를 포함할지 여부를 결정할 수 있다. 예를 들어, 등록 모듈(424)은 포즈 버킷(332BC) 내에서 가장 오래된 이미지 데이터(예를 들어, 먼저 수신된 이미지 데이터)를 포함할 수 있다. 그러한 예에서, 등록 모듈(424)은 이미지 데이터(330A)가 먼저 수신될 때 이미지 데이터(330A)가 포즈 버킷(332BC) 내에 포함되어야 한다고 결정할 수 있다. 다른 예에서, 등록 모듈(424)은 포즈 버킷(332BC) 내에 가장 최근의 이미지 데이터를 포함할 수 있다. 이러한 예에서, 등록 모듈(424)은 이미지 데이터(330B)가 포즈 버킷(332BC) 내에 포함되어야 한다고 결정할 수 있다.
등록 모듈(424)은 이미지 캡처 디바이스(414)로부터 이미지 데이터(330)를 표시하는 데이터를 수신하고, 포즈 버킷(332)의 임계수가 이미지 데이터(330) 중 하나를 포함하는지 여부를 결정할 수 있다. 예를 들어, 등록 모듈(424)은 알려진 사용자의 얼굴의 이미지 데이터(330)를 포함하는 다수의 포즈 버킷(332)을 결정할 수 있다. 포즈 버킷(332)의 수를 결정하는 것에 응답하여, 등록 모듈(424)은 이미지 데이터(330)를 포함하는 포즈 버킷의 수가 포즈 버킷의 임계수를 만족하는지(예를 들어, 크거나 같은지)를 결정한다. 예를 들어, FRM(424)은 이미지 데이터(330)가 포즈 버킷(332)의 적어도 75% 내에 포함된다는 결정에 응답하여, 이미지 데이터(330)를 포함하는 포즈 버킷(332)의 수가 포즈 버킷의 임계수를 만족한다고 결정할 수 있다. 이미지 데이터(330)를 포함하는 포즈 버킷의 수가 포즈 버킷의 임계수를 만족하지 않는다는 결정에 응답하여, 등록 모듈(424)은 이미지 캡처 디바이스(414)로 하여금 등록 프로세스를 위해 하나 이상의 추가 이미지 데이터(330)를 캡처하게 할 수 있다.
일부 예에서, 등록 모듈(424)은 이미지 데이터(330)를 포함하는 포즈 버킷의 수가 포즈 버킷의 임계수를 만족한다는 결정에 응답하여, 이미지 데이터(330)를 나타내는 데이터를 알려진 사용자에 대한 사용자 계정과 연관시킬 수 있다. 일부 예에서, 이미지 데이터(330)는 각각의 이미지(예를 들어, 계산된 얼굴 특징 데이터)에 대한 이미지 자체 또는 이미지 템플릿을 포함할 수 있다. 이미지 템플릿은 복수의 요소 값(예를 들어, 50 값, 100 값, 500 값 등)을 갖는 벡터를 포함할 수 있다. 일부 예에서, 벡터의 각 요소 값은 사용자 얼굴의 특징(예를 들어, 눈 사이의 거리, 코 형상 등)에 대응한다. 대안적으로 또는 추가적으로, 벡터의 요소 값은 얼굴 신원을 나타내는 출력을 생성하도록 트레이닝된 비선형 기계 학습 모델을 통해 생성될 수 있다. 일례로서, 등록 모듈(424)은 트레이닝된 얼굴 인식 모델을 복수의 이미지 데이터(330)에 적용하고 각각의 이미지 데이터(330)에 대한 이미지 템플릿(예를 들어, 벡터)을 출력할 수 있다. 일부 예에서, 등록 모듈(424)은 각 이미지 템플릿을 이미지 템플릿 식별자에 할당하고 알려진 사용자에 대한 사용자 계정에 대한 사용자 계정 식별자와 각각의 이미지 템플릿 식별자를 연관시킴으로써 이미지 데이터(330)를 표시하는 데이터를 사용자 계정과 연관시킨다.
등록 모듈(424)은 이미지 정보(330)를 나타내는 데이터(예를 들어, 이미지 자체 또는 이미지 템플릿)를 등록된 정보(428)에 저장할 수 있다. 일부 예에서, 등록 모듈(424)은 이미지 데이터(330)를 나타내는 데이터를 저장하기 전에 이미지 데이터(330)를 나타내는 데이터를 암호화한다. 이미지 데이터(330)는 데이터가 네트워크를 통해 다른 디바이스에 전송되지 않도록 컴퓨팅 시스템(410)에 로컬적으로 저장될 수 있다. 또한, 컴퓨팅 시스템(410)은 이미지 데이터(330)를 나타내는 데이터를 삭제할 기회를 사용자에게 제공할 수 있다.
일부 시나리오에서, 인증 모듈(426)은 (도 1의) 알려지지 않은 사용자(150)의 얼굴의 인증 이미지를 나타내는 데이터를 수신하는 것에 응답하여 인증 프로세스를 수행한다. 알려지지 않은 사용자의 얼굴의 이미지를 나타내는 데이터는 이미지 자체 또는 알려지지 않은 사용자의 얼굴의 특성을 나타내는 이미지 템플릿을 포함할 수 있다.
인증 이미지 데이터를 나타내는 데이터를 수신하는 것에 응답하여, 인증 모듈(426)은 알려지지 않은 사용자(150)가 알려진 사용자(338)인지를 결정할 수 있다. 인증 모듈(426)은 사용자(150)의 인증 이미지 데이터 및 하나 이상의 등록 이미지 데이터(330)에 기초하여 알려지지 않은 사용자(150)가 알려진 사용자(338)인지 여부를 결정할 수 있다. 일부 경우에, 인증 모듈(426)은 포즈 독립적(포즈 불변이라고도 함) 기법 또는 포즈 의존적 기법을 사용하여 알려지지 않은 사용자(150)가 알려진 사용자(338)인지 여부를 결정한다.
일부 포즈 의존적 예에서, 인증 모듈(426)은 인증 이미지 데이터 및 인증 이미지에서 알려지지 않은 사용자(150)의 얼굴의 포즈에 가장 근접한 포즈에서 알려진 사용자의 얼굴을 포함하는 이미지 데이터(330)의 특정 이미지 데이터에 기초하여, 알려지지 않은 사용자(150)가 알려진 사용자(338)인지 여부를 결정한다. 일례에서, 인증 이미지 데이터에서 얼굴의 포즈에 가장 가까운 포즈에 알려진 사용자(338)의 얼굴을 포함하는 특정한 이미지 데이터(330)는 인증 이미지 데이터와 연관된 포즈 버킷(332)과 동일한 포즈 버킷에 포함된 이미지 데이터(330)의 특정한 이미지일 수 있다.
인증 모듈(426)은 알려지지 않은 사용자(150)의 인증 이미지 데이터와 연관된 포즈 버킷(332)의 포즈 버킷을 결정할 수 있다. 예를 들어, 인증 모듈(426)은 알려지지 않은 사용자의 얼굴의 특성 또는 랜드마크에 기초하여, 이 이미지 데이터와 연관된 포즈 버킷을 결정할 수 있다. 예를 들어, 인증 모듈(426)은 인증 이미지 데이터에서 얼굴의 요 각도 및 피치 각도를 결정할 수 있다. 인증 이미지 데이터에서 얼굴의 요 및 피치 각도를 결정하는 것에 응답하여, 인증 모듈(426)은 포즈 버킷(332) 중 어느 것이 인증 이미지 데이터에서 얼굴의 요 및 피치 각도를 포함하는지를 결정하고, 그 포즈 버킷(예를 들어, 포즈 버킷(332CD)은 인증 이미지 데이터와 연관된 포즈 버킷이라고 결정한다. 일부 예에서, 인증 모듈(426)은 인증 이미지 데이터에서 알려지지 않은 사용자(150)의 얼굴의 롤을 결정할 수 있다. 인증 모듈(426)은 인증 이미지 데이터에서 요 각도, 피치 각도 및 얼굴의 롤에 기초하여, 어떤 포즈 버킷(332)이 인증 이미지 데이터와 연관되는지를 결정할 수 있다.
인증 모듈(426)은 이미지 데이터(330) 중 어느 것이 인증 이미지 데이터와 연관된 포즈 버킷(예를 들어, 포즈 버킷(332CD)) 내에 포함되는지를 결정할 수 있다. 포즈 버킷(332CD)이 인증 이미지 데이터와 연관되는 예에서, 인증 모듈(426)은 등록된 정보(428)를 쿼리하고, 이미지 데이터(330G)가 포즈 버킷(332CD) 내에 포함되어 있다고 결정할 수 있다. 인증 이미지 데이터와 연관된 포즈 버킷 내에 이미지 데이터(330G)가 포함되어 있다는 결정에 응답하여, 인증 모듈(426)은 선택된 이미지 데이터(330G)에 대한 유사성 스코어를 결정함으로써 사용자(150)가 알려진 사용자(338)인지를 결정할 수 있다. 일부 예에서, 이미지 데이터(330G)에 대한 유사성 스코어는 이미지 데이터(330G)와 인증 이미지 데이터 사이의 유사성을 나타낸다.
인증 모듈(426)은 이미지 데이터(330G)를 나타내는 데이터 및 인증 이미지 데이터를 나타내는 데이터에 기초하여 이미지 데이터(330G)에 대한 유사성 스코어를 결정할 수 있다. 일부 예에서, 이미지 데이터(330G)를 나타내는 데이터는 이미지 데이터(330G)에 대한 이미지 템플릿을 포함한다. 이러한 이미지 템플릿은 벡터로 표현될 수 있고 트레이닝된 얼굴 인식 모델에 의해 생성될 수 있다. 벡터는 각각의 사용자의 얼굴의 특징(예를 들어, 눈 사이의 거리, 코 형상 등)에 각각 대응하는 복수의 요소 값을 포함할 수 있다. 유사하게, 인증 이미지 데이터는 유사한 방식으로 생성된 벡터를 포함할 수 있다. 일부 예에서, 인증 모듈(426)은 이미지 데이터를 표현하는 벡터(330G)와 인증 이미지 데이터를 표현하는 벡터 사이의 각도를 계산함으로써 유사성 스코어를 결정한다. 다른 예로서, 인증 모듈(426)은 이미지 데이터(330G)를 표현하는 벡터와 인증 이미지 데이터를 표현하는 벡터 사이의 코사인 유사성을 결정함으로써 이미지 데이터(330G)에 대한 유사성 스코어를 결정할 수 있다.
일부 예에서, 인증 모듈(426)은 이미지 데이터(330G)에 대한 유사성 스코어가 임계 유사성 스코어를 만족하는지 여부를 결정한다. 일례로서, 인증 모듈(426)은 이미지 데이터(330G)를 표현하는 벡터와 인증 이미지 데이터를 표현하는 벡터 사이의 각도를 결정함으로써 이미지 데이터(330G)에 대한 유사성 스코어를 결정하고, 유사성 스코어가 임계 유사성 스코어보다 작다고 결정함에 응답하여 이미지 데이터(330G)에 대한 유사성 스코어가 임계 유사성 스코어를 만족한다고 결정한다. 다른 예로서, 인증 모듈(426)은 이미지 데이터(330G)를 표현하는 벡터와 인증 이미지 데이터를 표현하는 벡터 사이의 코사인 유사성을 결정함으로써 이미지 데이터(330G)에 대한 유사성 스코어를 결정하고, 유사성 스코어가 임계 유사성 스코어보다 크다고 결정함에 응답하여, 이미지 데이터(330G)에 대한 유사성 스코어가 임계 유사성 스코어를 만족한다고 결정한다.
인증 모듈(426)은 이미지 데이터(330G)에 대한 유사성 스코어가 임계 유사성 스코어를 만족한다는 결정에 응답하여, 알려지지 않은 사용자(150)가 알려진 사용자(338)인 것으로 결정할 수 있다. 유사하게, 인증 모듈(426)은 이미지 데이터(330G)에 대한 유사성 스코어가 임계 유사성 스코어를 만족하지 않는다는 결정에 응답하여, 알려지지 않은 사용자(150)가 알려진 사용자(338)가 아니라고 결정할 수 있다.
일부 포즈 독립적 예에서, 인증 모듈(426)은 이미지 데이터(330) 각각에 대한 각각의 유사성 스코어를 결정하여, 알려지지 않은 사용자(150)가 알려진 사용자(338)인지 여부를 결정한다. 각각의 유사성 스코어는 이미지 데이터(330)의 대응하는 이미지 데이터와 인증 이미지 데이터 사이의 유사성을 나타낸다. 상술한 바와 같이, 인증 모듈(426)은 각각의 이미지 데이터(330)를 나타내는 데이터 및 인증 이미지 데이터를 나타내는 데이터에 기초하여 이미지 데이터(330) 각각에 대한 각각의 유사성 스코어를 결정할 수 있다. 일부 예에서, 이미지 데이터(330)를 나타내는 데이터는 각각의 이미지 템플릿을 포함한다. 이러한 이미지 템플릿은 벡터로 표현될 수 있고 트레이닝된 얼굴 인식 모델에 의해 생성될 수 있다. 벡터는 사용자 얼굴의 각각의 특징에 각각 대응하는 복수의 요소 값을 포함할 수 있다. 이러한 예에서, 인증 이미지 데이터를 나타내는 데이터는 알려지지 않은 사용자(150)의 얼굴의 각각의 특징에 각각 대응하는 복수의 요소 값을 포함하는 벡터를 포함할 수 있다. 일부 시나리오에서, 인증 모듈(426)은 각각의 벡터와 인증 이미지 데이터를 표현하는 벡터 사이의 각도를 계산함으로써 이미지 데이터(330) 각각에 대한 각각의 유사성 스코어를 결정한다. 다른 예로서, 인증 모듈(426)은 이미지 데이터(330) 각각에 대한 각각의 벡터와 인증 이미지 데이터를 표현하는 벡터 사이의 코사인 유사성을 결정함으로써 이미지 데이터(330) 각각에 대한 각각의 유사성 스코어를 결정할 수 있다.
일 포즈 독립적 예에서, 인증 모듈(426)은 이미지 데이터(330)에 대한 각각의 유사성 스코어에 기초하여, 이미지 데이터(330)의 이미지 데이터를 선택하여 알려지지 않은 사용자(150)가 알려진 사용자(338)인지를 결정한다. 인증 모듈(426)은 인증 이미지 데이터와 가장 근접한 것을 나타내는 유사성 스코어를 갖는 이미지 데이터(330)의 단일 이미지 데이터를 선택한다. 일부 예에서, 인증 모듈(426)은 이미지 데이터(330)의 각각의 이미지 데이터를 표현하는 각각의 벡터와 인증 이미지 데이터를 표현하는 벡터 사이의 각도에 기초하여 이미지 데이터(330)에 대한 각각의 유사성 스코어를 결정하고, 가장 근접한 일치를 나타내는 스코어가 가장 낮은 유사성 스코어라고 결정한다(예를 들어, 두 벡터 사이의 각도가 작을수록 벡터가 서로 더 근접함). 다른 예에서, 인증 모듈(426)은 이미지 데이터(330)의 각각의 이미지 데이터를 표현하는 각각의 벡터와 인증 이미지 데이터를 표현하는 벡터 사이의 코사인 유사성에 기초하여 이미지 데이터(330)에 대한 각각의 유사성 스코어를 결정하고, 가장 근접한 일치를 나타내는 스코어가 가장 높은 유사성 스코어라고 결정한다(예를 들어, 두 벡터 사이의 코사인 값이 클수록 벡터가 더 유사함).
일부 시나리오에서, 인증 모듈(426)은 각각의 유사성 스코어에 기초하여 이미지 데이터(330)의 둘 이상의 이미지 데이터를 선택하여 알려지지 않은 사용자(150)가 알려진 사용자(338)인지 여부를 결정한다. 일 시나리오에서, 인증 모듈(426)은 둘 이상의 이미지 데이터(330)에 대한 복합 유사성 스코어를 결정한다. 일부 경우에, 인증 모듈(426)은 둘 이상의 이미지 데이터(330)에 대한 최고 유사성 스코어 또는 둘 이상의 이미지 데이터(330)에 대한 최저 유사성 스코어에 기초하여 복합 유사성 스코어를 결정할 수 있다. 일 예에서, 인증 모듈(426)은 이미지 데이터(330) 중 둘 이상에 대한 각각의 유사성 스코어의 평균에 기초하여 복합 유사성 스코어를 결정할 수 있고, 복합 유사성 스코어를 임계 유사성 스코어와 비교하여 알려지지 않은 사용자(150)가 알려진 사용자(338)인지 여부를 결정할 수 있다.
다른 예로서, 인증 모듈(426)은 둘 이상의 이미지 데이터에 대한 각각의 유사성 스코어를 임계 유사성 스코어와 비교할 수 있다. 그러한 예에서, 인증 모듈(426)은 선택된 이미지 데이터의 임계수(예를 들어, 100 %, 80 %, 60 % 등)가 임계 유사성 스코어를 만족하는 유사성 스코어를 갖는다는 결정에 응답하여, 알려지지 않은 사용자(150)가 알려진 사용자(338)라고 결정할 수 있다. 예를 들어, 인증 모듈(426)은 선택된 이미지 데이터의 세트가 가장 높은 유사성 스코어를 갖는 이미지 데이터(330)의 3개의 이미지 데이터를 포함한다고 결정할 수 있고, 선택된 3개의 이미지 데이터 중 2개에 대한 유사성 스코어가 임계 유사성 스코어를 만족한다고 결정함에 응답하여, 알려지지 않은 사용자(150)가 알려진 사용자(338)라고 결정할 수 있다.
일부 경우에, 저장 디바이스(448)는 또한 하나 이상의 모델(429)을 저장할 수 있다. 예를 들어, 일부 경우에, 컴퓨팅 디바이스(310)는 상술한 바와 같이 개인 식별을 돕는 얼굴 랜드마크를 추출하기 위해 딥러닝 모델을 이용할 수 있다. 이들 모델은 전용 신경 엔진 또는 개인 디바이스의 프로세서에서 실행되도록 맞춤화될 수 있다. 상기 기술된 바와 같이 일부 예시에서, 이미지 템플릿은 일반적으로 사용자 얼굴의 하나 이상의 특징(예를 들어, 생체 특징)의 통계 모델에 대응할 수 있다. 예를 들어, FRM(322)은 복수의 요소 값(예를 들어, 50값, 100값, 500값 등)을 갖는 벡터를 포함하는 이미지 템플릿을 생성할 수 있다. 일부 예에서, 벡터의 각 요소 값은 사용자 얼굴의 특징(예를 들어, 눈 사이의 거리, 코 형상 등)에 대응한다. 대안적으로 또는 추가적으로, 벡터의 요소 값은 얼굴 신원을 나타내는 출력을 생성하도록 트레이닝된, 예를 들어 비선형 기계 학습 모델을 통해 생성될 수 있다. 예를 들어, FRM(322)은 트레이닝된 얼굴 인식 모델을 복수의 특징 데이터(330)에 적용하고 각각의 이미지 데이터(330)에 대한 이미지 템플릿(예를 들어, 임베딩)을 벡터로서 출력할 수 있다. 대안적으로 또는 추가적으로, 벡터의 요소 값은 얼굴 신원을 나타내는 출력을 생성하도록 트레이닝된 비선형 기계 학습 모델을 통해 생성될 수 있다. 일례로서, 등록 모듈(424)은 트레이닝된 얼굴 인식 모델을 복수의 이미지 데이터(330)에 적용하고 각각의 이미지 데이터(330)에 대한 이미지 템플릿(예를 들어, 벡터)을 출력할 수 있다. 이러한 이미지 템플릿은 벡터로 표현될 수 있고 트레이닝된 얼굴 인식 모델에 의해 생성될 수 있다. 벡터는 각각의 사용자의 얼굴의 특징(예를 들어, 눈 사이의 거리, 코 형상 등)에 각각 대응하는 복수의 요소 값을 포함할 수 있다.
일부 경우에, 알려진 사용자와 연관된 생체 특징 정보 또는 식별자는 다양한 등록 이미지 데이터 및/또는 등록 정보(428)에 저장된 해당 사용자에 대한 특징을 포함할 수 있으며, 이는 이미지 데이터(330)에 대한 다양한 상이한 포즈에 대한 이미지 데이터 및/또는 특징 정보를 포함할 수 있다. 등록 정보(428)에 저장된 이 생체 정보는 일부 경우에 사용자의 고유 식별자 및/또는 사용자에 특정적인 사용자 프로필 또는 계정에 대한 정보를 포함할 수 있다. 기계 모델은 로컬적으로(예를 들어, 컴퓨팅 시스템(410)의 모델(429)에) 저장되거나, 디바이스(410)로부터 원격으로(예를 들어, 하나 이상의 원격 서버에) 저장될 수 있다.
알려지지 않은 사용자(150)가 알려진 사용자(338)라는 결정에 응답하여, 컴퓨팅 디바이스(310)는 인증 데이터를 차량의 IHU 시스템(100)에 송신할 수 있다. 예를 들어, 컴퓨팅 디바이스(310)는 알려지지 않은 사용자(150)를 알려진 사용자(338)로서 성공적인 인증을 나타내는 데이터를 전송함으로써, 사용자(150)의 인증을 표시할 수 있다. 일부 경우에, 컴퓨팅 디바이스(310)는 사용자(338)(예를 들어, 인증된 사용자(150))를 위해 맞춤화되거나 개인화된 사용자 프로필 및/또는 계정 정보를 시스템(100)에 송신할 수 있다. 일부 경우에, 컴퓨팅 디바이스(310)는 또한 차량의 시스템(100)에 사용자(338) 및/또는 컴퓨팅 디바이스(310)의 고유 식별자를 송신할 수 있다.
도 5는 본 개시의 하나 이상의 양태에 따른 예시적 운전자 탑승 및 인증 프로세스를 도시하는 도면이며, 도 6은 본 발명의 하나 이상의 양태에 따른 예시적 얼굴 등록 프로세스를 도시하는 도면이다. 운전자와 같은 사용자(150)의 등록 또는 탑승은 예를 들어 IHU 시스템(100)에서 계정을 생성할 때 사용자의 개인 디바이스(예를 들어, 도 1의 모바일 컴퓨팅 디바이스(170), 도 3의 컴퓨팅 디바이스(310))에서 수행될 수 있다. 이 프로세스는, 예를 들어, 도 3을 참조하여 전술한 바와 같이, 디바이스 상의 전면 카메라를 사용하여, 사용자 얼굴의 생체 특징을 캡처하는 개인 디바이스에서 등록 애플리케이션을 실행하는 것을 포함한다. 이러한 대응하는 얼굴 특징은 개인 디바이스에 특징 데이터로서 저장된다(예를 들어, 등록 정보(328)). 개인 디바이스는 IHU(예를 들어, 도 1의 IHU 시스템(100))와 신뢰 디바이스로서 등록/페어링된다. 개인 디바이스의 카메라(예를 들어, 컴퓨팅 디바이스(310)의 하나 이상의 이미지 캡처 디바이스(314) 중 하나 이상)는 근적외선(NIR) 프레임 및/또는 적녹청(RGB) 프레임을 캡처하는 카메라와 같은 다양한 상이한 유형의 카메라일 수 있다. 개인 디바이스가 IHU와 페어링되면 개인 디바이스는 IHU와 관련하여 신뢰 디바이스로 인식되고 IHU에 의해 고유 식별자가 할당된다. 이 신뢰 디바이스 및 그에 대응하는 고유 식별자는 IHU에 의해 차량의 사용자(예를 들어, 사용자(150)) 및 해당 사용자에 대한 임의의 프로필 및/또는 계정 정보와 연관된다.
다양한 예에서, 등록 프로세스는 다음과 같은 양태를 포함할 수 있다. 모바일 컴퓨팅 디바이스(170) 및/또는 컴퓨팅 디바이스(310)와 같은 다양한 개인 컴퓨팅 디바이스 또는 시스템에는 카메라와 같은 정면 이미지 캡처 디바이스(173 또는 314)가 장착될 수 있다. 이들 카메라는 얼굴 식별을 위해 NIR 및/또는 RGB 프레임(551)을 사용 또는 제공할 수 있으며, 이 프레임(551)은 도 3에 도시된 이미지(333)의 일례일 수 있다. NIR 스펙트럼은 일부 경우에, 다른 조명 조건에 더 잘 적응할 수 있다. 일부 예에서, 개인 디바이스는 전술한 바와 같이 개인 식별을 돕는 얼굴 랜드마크를 추출하기 위해 딥러닝 모델을 이용할 수 있다. 이들 모델은 전용 신경 엔진 또는 개인 디바이스의 프로세서에서 실행되도록 맞춤화될 수 있다. 전술한 바와 같이, 일부 예에서, 이미지 템플릿은 일반적으로 사용자 얼굴의 하나 이상의 특징(예를 들어, 생체 특징)(553)의 통계 모델에 대응할 수 있고, 여기서 특징(553)은 특징 데이터(330) 중 일례일 수 있다. 일부 경우에, 컴퓨팅 디바이스(310)는 트레이닝된 이미지 및/또는 NIR 카메라 및/또는 RGB 카메라로 촬영된 이미지에 대한 특징 데이터에 기초하는 모델 정보를 모델들(329) 내에 포함할 수 있다. 일부 경우에, 컴퓨팅 디바이스(310)는 모델(329)의 정보(예: 특징 데이터)를 하나의 색 공간(RGB 공간)에서 다른 색 공간(NIR 공간)으로 증류할 수 있다. 결과적으로, 도 1의 차량 내에 사용되는 카메라는 컴퓨팅 디바이스(310)에 사용된 이미지 캡처 디바이스(예를 들어, 카메라)(314)와 반드시 동일한 유형일 필요는 없다. 예를 들어, 차량은 NIR 카메라를 포함할 수 있지만, 이미지 캡처 디바이스(314)는 RGB 카메라를 포함할 수 있다. 다양한 예에서, 도 1의 차량 내에 사용되는 카메라는 컴퓨팅 디바이스(310)에 포함된 이미지 캡처 디바이스(314)와 동일한 유형일 수 있다.
예를 들어, FRM(322)은 복수의 요소 값(예를 들어, 50값, 100값, 500값 등)을 갖는 벡터를 포함하는 이미지 템플릿을 생성할 수 있다. 일부 예에서, 벡터의 각 요소 값은 사용자 얼굴의 특징(예를 들어, 눈 사이의 거리, 코 형상 등)에 대응한다. 대안적으로 또는 추가적으로, 벡터의 요소 값은 얼굴 신원을 나타내는 출력을 생성하도록 트레이닝된, 예를 들어 비선형 기계 학습 모델을 통해 생성될 수 있다. 예를 들어, FRM(322)은 트레이닝된 얼굴 인식 모델을 프레임(551)에 적용하고 각각의 특징(553)에서 각각의 얼굴 특징들에 대한 이미지 템플릿(예를 들어, 임베딩)을 벡터로서 출력할 수 있다. 대안적으로 또는 추가적으로, 벡터의 요소 값은 얼굴 신원을 나타내는 출력을 생성하도록 트레이닝된 비선형 기계 학습 모델을 통해 생성될 수 있다.
일례로서, 등록 모듈은 트레이닝된 얼굴 인식 모델을 프레임(551)에 적용하고 특징(553)에서 각각의 얼굴 특징들에 대한 이미지 템플릿(예를 들어, 벡터)을 출력할 수 있다. 이러한 이미지 템플릿은 벡터로 표현될 수 있고 트레이닝된 얼굴 인식 모델에 의해 생성될 수 있다. 벡터는 각각의 사용자의 얼굴의 특징(예를 들어, 눈 사이의 거리, 코 형상 등)에 각각 대응하는 복수의 요소 값을 포함할 수 있다. 일부 경우에, 알려진 사용자와 연관된 생체 특징 정보 또는 식별자(555)는 신뢰 디바이스(예를 들어, 등록 정보(328))에 저장된 해당 사용자에 대한 다양한 등록 특징을 포함할 수 있고, 저장된 정보는 다양한 상이한 포즈에 대한 특징 정보를 포함할 수 있다. 등록 정보(328)에 저장된 이 생체 정보는 사용자의 고유 식별자 및/또는 사용자에 특정적인 사용자 프로필 또는 계정에 대한 정보를 포함할 수 있다. 기계 모델은 로컬적으로(예를 들어, 모바일 컴퓨팅 디바이스(170), 컴퓨팅 디바이스(310), 컴퓨팅 시스템(410), IHU 시스템에) 저장될 수 있거나, 이들 시스템으로부터 원격으로(예를 들어, 하나 이상의 원격 서버에) 저장될 수 있다.
도 5에 도시된 것에 대한 하나 이상의 대안적 예시에서, 신뢰 컴퓨팅 디바이스는 등록된 특징 데이터를 차량 컴퓨팅 시스템(예: 차량 컴퓨팅 시스템(100))에 송신할 수 있고, 그 후 알려지지 않은 사용자에 대한 인증 특징 데이터를 알려진 사용자의 수신된 등록 특징 데이터와 비교함으로써 차량에서 알려지지 않은 사용자에 대한 인증을 수행하도록 구성될 수 있다. 이들 경우에, 차량 컴퓨팅 시스템(100)은 상기 모바일 컴퓨팅 디바이스로부터, 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 제2 특징 데이터를 수신하는 단계. 차량 컴퓨팅 시스템(100)은 차량 내에서 사용자의 얼굴의 캡처된 이미지와 연관된 특징 데이터(예를 들어, 특징(559))를 포함하는 이 수신된 특징 데이터로 구성될 수 있다. 차량 컴퓨팅 시스템(100)은 비교에 기초하여, 차량의 사용자와 이전에 등록된 사용자 사이의 일치를 결정하고, 여기서 차량 컴퓨팅 시스템(100)에 의해 프로세싱된 인증 데이터는 일치의 표시를 포함한다.
도 3을 참조하여 전술한 바와 같이, 그리고 도 5에 도시된 바와 같이, 등록 프로세스 동안, 컴퓨팅 디바이스(예를 들어, 모바일 컴퓨팅 디바이스(170), 컴퓨팅 디바이스(310))는 동일한 사용자(예를 들어, 알려진 사용자(338))의 상이한 얼굴 포즈에 대해 얼굴 이미지 데이터(예를 들어, 특징 데이터)의 갤러리를 생성할 수 있다. 얼굴 포즈 추정은 얼굴의 팬 및 틸트 값으로 구성된다. 얼굴 특징이 등록된 포즈는 개인 디바이스에 패턴으로 나타날 수 있다. 이들 패턴은 사용자가 도 6에 도시된 바와 같이 얼굴의 다른 포즈를 캡처하기 위해 머리를 움직이도록 안내한다.
도 6은 개인 디바이스의 애플리케이션 내에서 이것이 어떻게 달성될 수 있는지에 관한 스크린 디스플레이를 도시한다. 알려진 사용자(338)는 PSD(312)에서 출력되는 사용자(338)의 하나 이상의 이미지를 보기 위해 하나 이상의 이미지 캡처 디바이스(314)를 이용할 수 있다. 이들 이미지의 표현은 사용자(338)에 의해 보이는 그래픽 프레임(600) 내의 PSD(312)에 디스플레이될 수 있다. 컴퓨팅 디바이스(310)는 도 6에 도시된 바와 같이 PSD(312)를 통해 사용자(338)에게 지시를 출력할 수 있다.
예를 들어, 컴퓨팅 디바이스(310)는 사용자(338)의 얼굴을 프레임(600) 내에 위치시키고 이어서 프레임(600)에 도시된 모든 점들이 특정 색상(예: 녹색)을 바뀌거나 채워지지 않은 점에서 완전히 채워진 점으로 전환될 때까지 사용자(338)의 머리를 부드럽게 회전시키기 위해 이미지 캡처 디바이스(314)에 대해 자신의 얼굴을 이동시키는 지시를 사용자(338)에게 출력할 수 있다. 도 6에 도시된 바와 같이, 프레임(600)에 포함된 9개의 도트는 현재 채워지지 않았으며, 이는 사용자(338)가 모든 도트가 녹색으로 변하거나 채워지지 않은 상태에서 채워진 상태 또는 색(예를 들어, 검은색)으로 전환될 때까지 머리를 회전시켜야한다는 것을 나타낸다. 사용자(338)가 그렇게 한 후에, 이미지 캡처 디바이스(314)는 주어진 포즈에 대한 이미지를 등록 정보(예를 들어, 데이터 저장소)(328)에 캡처하고 저장할 것이다. 컴퓨팅 디바이스(310)는 도 3을 참조하여 앞서 설명된 바와 같이, 상이한 피치 및 요 각도에 기초하여, 다양한 상이한 포즈에 대한 특징 데이터(330)를 캡처할 때 사용자(338)에게 다양한 상이한 포즈를 타격하도록 지시할 수 있다. 컴퓨팅 디바이스(310)는 사용자(338)의 이들 상이한 포즈 각각에 대해 도 6을 참조하여 상기 프로세스를 반복할 수 있다. 다양한 상이한 얼굴 포즈에 대한 대응하는 특징/랜드 마크의 얼굴 특징 데이터는 등록 정보(328)로 등록 갤러리에 저장될 수 있다. 일부 경우에, 등록 정보(328)는 개인 디바이스(310)의 보안 엔클레이브를 포함할 수 있다.
모바일 컴퓨팅 디바이스(170)의 일례인 컴퓨팅 디바이스(310)는 도 1에 도시된 차량의 IHU 시스템(100)에 등록될 수 있고, 등록시, 차량에 대한 신뢰 동반 디바이스일 수 있다. IHU 시스템(100)은 컴퓨팅 디바이스(310) 및/또는 알려진 사용자(338)에 고유 식별자를 할당할 수 있으며, 이는 IHU 시스템(100) 상의 사용자의 계정과 연관될 수 있다. 예를 들어, 앞서 도 1 내지 도 2를 참조하여 설명된 바와 같이, 차량의 사용자(150)는 사용자(150)를 위해 맞춤화되거나 개인화된 IHU 시스템(100)의 디스플레이(112) 상에 디스플레이될 수 있는 정보와 연관된, 사용자(150)에 대한 개인 프로필을 포함하는 IHU 시스템(100)에 대한 사용자의 계정을 가질 수 있다. 사용자(150)가 디바이스(310)의 알려진 사용자(338)로서 인증될 때, IHU 시스템(100)에 의해 컴퓨팅 디바이스(310) 및/또는 알려진 사용자(338)에 할당된 고유 식별자는 사용자(150)의 사용자 계정 또는 프로필과 연관될 수 있다.
일부 경우에, 사용자(150)는 또한 웨어러블 디바이스(107)(예를 들어, 스마트 워치)를 가질 수 있다. 이러한 경우에, 모바일 컴퓨팅 디바이스(170)는 일부 예에서 웨어러블 디바이스(107)와 통신하여 저장을 위해 등록 정보(328)에 포함된 정보를 웨어러블 디바이스(107)에 제공할 수 있다. 이러한 예에서, 웨어러블 디바이스(107)는 등록 정보(328)에 포함된 정보를 저장하도록 구성될 수 있다. 결과적으로, 웨어러블 디바이스(107)가 이 정보를 저장하면, 웨어러블 디바이스(107)는 도 3을 참조하여 전술한 인증 기능을 수행할 수 있다. 일부 경우에, 웨어러블 디바이스(107)는 도 3에 도시된 컴퓨팅 디바이스(310)의 예시일 수 있다. 이러한 경우에, 차량의 사용자(150)는 차량 내에 또는 IHU 시스템(100)에 근접한 별도의 모바일 컴퓨팅 디바이스(170)를 반드시 가질 필요가 없다. 대신에, IHU 시스템(100)은 사용자(150)를 인증하기 위해 웨어러블 디바이스(107)와 직접 통신할 수 있다. 이전에 언급된 바와 같이, IHU 시스템(100)은 무선 통신 프로토콜(예를 들어, BLUETOOTH, WIFI, BLE))을 사용하여 웨어러블 디바이스(107) 및/또는 모바일 컴퓨팅 디바이스(170)와 통신할 수 있다.
다시 도 5를 참조하면, 도 1에 도시된 차량의 사용자(150)를 인증할 때, 차량 내 운전자 대면 카메라(104/111)(예를 들어, NIR 또는 RGB 카메라)로부터의 이미지 프레임(557)은 운전자 좌석에 앉을 수 있는 사용자(150)의 얼굴의 생체 특징(559)을 계산하는데 사용된다. 이 특징(559)은 IHU 시스템(100)으로부터 컴퓨팅 디바이스(310)(예를 들어, 모바일 컴퓨팅 디바이스(170), 웨어러블 디바이스(107))로 송신되고(563), 이는 예를 들어, 추가로 설명되는, 도용되지 않은 특징을 위해 보안 채널을 통해 발생할 수 있다. 컴퓨팅 디바이스(310)는 시스템(100)과 관련하여 이전에 등록된 신뢰 디바이스일 수 있다.
전술한 바와 같이, 컴퓨팅 디바이스(310)의 소프트웨어는 현재 드라이버(150)의 얼굴 특징 및 등록된 알려진 사용자(338)에 일치가 있는지를 결정한다. 일치하는 것이 있으면, 컴퓨팅 디바이스(310)는 일치를 나타내는 데이터를 IHU 시스템(100)에 송신하고, IHU 시스템(100)은 등록된 사용자의 인증을 표현하는 일치를 나타내는 이 데이터를 수신하고(565), 등록된 사용자(예를 들어, 차량의 사용자(150))의 로그인을 진행한다.
얼굴 특징 추정과 관련하여, 등록 모델과 유사한 모델이 IHU 시스템(100)에 의해 사용될 수 있다. 전술한 바와 같이, 컴퓨팅 디바이스(310)는 이미지 캡처 디바이스(314)에 의해 촬영된 알려진 사용자(338)의 이미지에 대한 특징 벡터 데이터를 식별하기 위해 하나 이상의 모델(329)(예를 들어, 등록 모델)을 이용할 수 있다. IHU 시스템(100)은 차량에서 카메라(104 및/또는 111)에 의해 촬영된 사용자(150)의 이미지에 대한 특징 벡터 데이터를 식별하기 위해 유사한 모델을 이용할 수 있다. IHU 시스템(100)은 예를 들어 카메라(104, 111)에 의해 획득된 NIR 이미지에 기초하여 사용자(150)의 얼굴 특징을 결정하기 위해 이들 모델을 이용할 수 있다. 이러한 특징은 일부 경우에 인증 사용자(150)를 위해 IHU 시스템(100)에 의해 신뢰 디바이스(예를 들어, 컴퓨팅 디바이스(310), 모바일 컴퓨팅 디바이스(170))로 암호화되어 송신될 수 있다. IHU 시스템 및 신뢰 디바이스는 다양한 엔티티들 간에 교환되는 특징 데이터의 기밀성을 유지하기 위해 다양한 상이한 암호화/복호화 기법을 사용하여 통신할 수 있다. 일부 예에서, IHU 시스템(100)은 이전에 등록된 신뢰 디바이스와 보안 통신 채널을 설정할 수 있다. 이 채널은 예를 들어 BLUETOOTH/BLE 또는 기타 무선 인터페이스를 통해 설정될 수 있다.
이전에 기술된 바와 같이(예: 도 3을 참조), 신뢰 디바이스(예를 들어, 컴퓨팅 디바이스(310))에 대한 인증과 관련하여, 신뢰 디바이스는 IHU 시스템(100)으로부터 들어오는 특징 데이터(예를 들어, 특징 벡터 데이터)를 수신할 수 있고, 상기 데이터를 저장된 특징 벡터의 갤러리와 비교할 수 있고, 일치가 결정된다. 일치하는 것이 있으면, 이 일치의 표시 및/또는 사용자(예를 들어, 등록된 토큰)에 대한 인증 데이터는 보안 채널을 통해 IHU 시스템(100)으로 송신되며, 이는 사용자(150)를 IHU 시스템(100)에 로그인하게 위한 트리거로서 사용되거나 서비스될 수 있다.
일부 경우에, 도난된 개인 디바이스(예를 들어, 컴퓨팅 디바이스(310))를 갖는 침입자는 예를 들어 소유자(예: 사용자(150))의 3차원 마스크 또는 소유자 얼굴의 다른 이미지(예: 종이 이미지)를 사용하여 IHU 시스템(100)의 잠금을 해제하려고 시도할 수 있다. IHU 시스템 및/또는 컴퓨팅 디바이스(310)에 의해 사용되는 딥러닝 모델은 도용 검출(561)의 일부로서 이러한 도용 시도를 발견하거나 검출할 수 있고, 인증 절차를 중단할 수 있다. 예를 들어, 이들 모델은 다양한 상이한 오브젝트 및 오브젝트의 유형(예를 들어, 인간 오브젝트, 종이 오브젝트, 플라스틱 오브젝트)으로 트레이닝될 수 있다. s결과적으로, 모델은 이들 상이한 유형의 오브젝트의 이미지와 연관된 특징을 포함하는 다양한 상이한 특징 데이터(예를 들어, 특징 벡터)를 포함할 수 있고, 모델은 그러한 도용 시도와 연관된 인증 절차를 중단하기 위해 예를 들어, 3차원 마스크 또는 소유자의 종이 이미지의 특징을 식별하는데 사용될 수 있다.
또한, 다양한 예에서, IHU 시스템(100)은 사용자(150)의 존재를 결정하기 위해 딥러닝 모델 및/또는 다른 신호로부터의 입력을 이용하고 및/또는 카메라(104/111)를 사용하여 사용자(150)의 얼굴 이미지를 캡처하기에 적절한 또는 최적의 시간을 이용할 수 있다. 예를 들어, IHU 시스템(100)은 사용자(150)의 시선을 결정하기 위해, 대응하는 특징 벡터 정보를 저장하기 위해 다양한 이미지 정보로 트레이닝된 학습 모델을 이용할 수 있다. IHU 시스템(100)은 사용자(150)의 시선이 카메라를 향할 때, 또는 사용자(150)의 포즈가 사용자(150)를 인증하는데 사용하기 위해 증가된 수의 얼굴 특징 정보를 캡처하기에 최적일 때, 사용자(150)의 얼굴 이미지를 캡처하도록 결정할 수 있다. 또한, 시스템(100)은 차량에 의해 제공되는 추가 신호를 이용할 수 있다. 예를 들어, 차량이 사용자(150)의 안전 벨트가 조여져 있음을 나타내는 신호를 시스템(100)에 제공하거나, 스티어링 휠(154)에 사용자(150)의 손이 있거나 또는 차량의 기어를 파킹에서 드라이브로 변경하는 것을 나타내는 경우, 시스템(100)은 이들 신호를 (독립적으로 또는 카메라로부터 수집된 시선 정보와 함께) 사용하여, 카메라(104/111)를 사용하여 사용자(150)의 얼굴 이미지를 캡처하기에 적절한 또는 최적의 시간을 결정한다.
위에서 언급된 바와 같이, 많은 경우에, IHU 시스템(100)에 의해 사용되는 카메라(예를 들어, 카메라(104/111) 및/또는 컴퓨팅 디바이스(310)에 의해 사용되는 카메라(예를 들어, 이미지 캡처 디바이스(314))는 주변 조명 및 선글라스와 같은 착용된 아이템에 개선된 적응성을 제공할 수 있는 NIR 카메라를 포함할 수 있다. 그러나, 이들 시스템 및 디바이스는 임의의 수의 다른 유형의 카메라(예를 들어, RGB 카메라, NIR 카메라 등)를 사용할 수 있다.
본 개시의 기법은 상이한 카메라(예를 들어, IHU 시스템(100)의 카메라 및 컴퓨팅 디바이스(310)의 카메라)에 의해 캡처된 프레임들로부터 계산된 생체 특징들을 사용하여 사용자(예를 들어, 사용자(150))의 신뢰할 수 있는 인증의 시도를 해결하며, 여기서 상기 비교 및 인증은 다양한 상이한 조명 조건에 변하지 않거나 적응 가능할 수 있다. 전술한 바와 같이, IHU 시스템(100) 및 컴퓨팅 디바이스(310)의 카메라는 동일한 유형 또는 상이한 유형일 수 있으며, 이는 추가적인 유연성을 제공한다. 시스템(100) 및/또는 컴퓨팅 디바이스(310)에 사용된 모델은 상이한 카메라를 사용하여 캡처된 동일한 개인의 얼굴에 대해 매칭가능한 특징을 생성할 수 있는 접근법을 사용하여 트레이닝될 수 있다. 개시된 기법은 또한 컴퓨팅 디바이스(310)에서 상이한 사용자 포즈에 대해 저장된 강건한 프로세스 및 등록 특징 데이터로 인해, IHU 시스템(100)의 차량 내 카메라와 다른 거리/포즈에서 얼굴을 안정적으로 처리한다.
이들 양태는 사용자(150)에 의한 사용자 개입없이 잠재적으로 달성될 수 있으며, 사용자(150)에 대한 무결절적 "타서 바로 운전" 경험을 제공한다. 생체 특징을 계산하기 위해 IHU 시스템(100) 및/또는 컴퓨팅 디바이스(310)에 의해 사용된 모델은 상기 워크 플로우가 다른 개인 디바이스(예를 들어, 다양한 다른 운영 체제를 실행하는 개인 디바이스)와 함께 작동하게 한다. 또한, 임의의 사용자의 얼굴 특징이 사용자의 개인 디바이스(예를 들어, 신뢰 디바이스(310))에 머무르기 때문에, 사용자의 개인 생체 신원 및 정보는 다양한 상이한 개인이 잠재적으로 사용하는 공유 차량에 포함될 수 있는 IHU 시스템이 아닌 사용자의 개인 디바이스에만 존재한다.
일부 예서, 개시된 기법은 또한 사용자가 차량을 사용한 후 임의의 개인 정보를 소거할 필요없이, 렌탈/공유/리스 차량에 로그인할 수 있고 동일한 개인화된 경험을 갖는 사용례를 가능하게 한다. 이러한 예에서, 그러한 차량의 IHU 시스템(100)에는 개인 정보가 저장되지 않고, 대신 사용자의 개인 디바이스(예를 들어, 디바이스(310))에만 저장된다.
일부 다른 예에서, 개시된 기법의 다른 용도는 차량 공유 애플리케이션이 등록된 운전자(예를 들어, 사용자(150))의 신원을 확인하고, 도난당했거나 등록된 운전자의 개인 디바이스를 소지한 미등록 개인이 IHU 시스템(100)을 사용하는 임의의 승차 요청을 방지한다. 특정 다른 예에서, 개시된 기법은 미인가 개인들이 차량을 운전하는 것을 방지하기 위해, 사용자(150)가 차량을 운전하게 하기 전에 차량의 사용자(150)의 신원을 확인하거나 인증할 수 있다.
도 7은 본 발명의 하나 이상의 양태에 따라 예시적 컴퓨팅 시스템에 의해 수행된 예시적 프로세스를 도시하는 흐름도이다. 예를 들어, 도 7에 도시된 프로세스는 모바일 컴퓨팅 디바이스(170)(도 1), 웨어러블 디바이스(107)(도 1), 모바일 컴퓨팅 디바이스(310)(도 3) 및/또는 모바일 컴퓨팅 디바이스(410)(도 4)에 의해 수행될 수 있다. 단지 예시의 목적으로, 도 7의 프로세스는 컴퓨팅 디바이스(310)에 의해 수행되는 동작을 참조하여 설명될 것이다.
컴퓨팅 디바이스(310)는 차량의 차량 컴퓨팅 시스템(예를 들어, IHU 시스템(100))과의 연결을 설정할 수 있다(702). 예를 들어, 컴퓨팅 디바이스(310)는 이 연결을 설정하기 위해 하나 이상의 통신 유닛(예를 들어, 통신 유닛(446))을 이용할 수 있다. 연결을 설정한 후, 컴퓨팅 디바이스(310)는 차량 컴퓨팅 시스템으로부터 차량의 사용자(예를 들어, 사용자(150))의 얼굴의 적어도 하나의 이미지와 연관된 제1 특징 데이터를 수신할 수 있다(704). 차량 사용자의 얼굴의 적어도 하나의 이미지는 차량의 적어도 일부에 연결된 이미지 캡처 디바이스(예를 들어, 카메라(104, 111))에 의해 캡처될 수 있다.
그 후, 컴퓨팅 디바이스(310)는 상기 제1 특징 데이터와 이전에 등록된 사용자(예: 사용자(338))의 얼굴의 적어도 하나의 이미지와 연관된 제2 특징 데이터(예: 등록 정보(328)에 저장된 이미지(330)와 연관된 특징 데이터) 사이의 비교에 기초하여, 상기 차량의 사용자와 상기 이전에 등록된 사용자 상이의 일치를 결정할 수 있다. 컴퓨팅 디바이스(310)는 일치에 기초하여 차량의 사용자를 인증하고(708), 차량의 사용자에 대한 인증 데이터를 차량 컴퓨팅 시스템에 송신할 수 있고(710), 여기서 인증 데이터는 일치를 나타낸다.
도 8은 본 발명의 하나 이상의 양태에 따라 예시적 차량 컴퓨팅 디바이스에 의해 수행된 예시적 프로세스를 도시하는 흐름도이다. 예를 들어, 도 8에 도시된 프로세스는 도 1의 차량 컴퓨팅 시스템(100) 및/또는 컴퓨팅 시스템(410)(도 4)에 의해 수행될 수 있다. 단지 예시의 목적으로, 도 8의 프로세스는 차량 컴퓨팅 시스템(100)에 의해 수행되는 동작을 참조하여 설명될 것이다.
차량 컴퓨팅 시스템(100)은 모바일 컴퓨팅 디바이스(예를 들어, 도 1의 모바일 컴퓨팅 디바이스(170), 도 1의 웨어러블 디바이스(107), 도 3의 컴퓨팅 디바이스(310))와 연결을 설정할 수 있고, 상기 차량 컴퓨팅 시스템은 인포테인먼트 헤드 유닛을 포함한다. 차량 컴퓨팅 시스템(100)은 차량 내부의 사용자(예를 들어, 사용자(150))의 존재를 결정할 수 있다(804). 상기 차량 내부의 사용자의 존재를 결정한 후, 차량 컴퓨팅 시스템(100)은 상기 차량의 적어도 일부에 연결된 이미지 캡처 디바이스(예: 카메라(104 및/또는 111)를 사용하여, 상기 사용자의 얼굴의 적어도 하나의 이미지를 캡처한다(806).
차량 컴퓨팅 시스템(100)은 사용자 얼굴의 적어도 하나의 이미지와 연관된 제1 특징 데이터를 결정하고(808), 사용자에 대한 인증 데이터를 수신한다(810). 인증 데이터는 사용자와 이전에 등록된 사용자 사이의 일치를 나타낸다. 차량 컴퓨팅 시스템(100)은 상기 사용자에 대한 인증 데이터에 기초하여, 상기 사용자를 상기 인포테인먼트 헤드 유닛에 로그인시키기 위해 사용자 계정 정보에 액세스한다(812).
다음의 예는 단지 예시의 목적으로 제공된다.
예 1: 방법으로서, 모바일 컴퓨팅 디바이스에 의해, 차량의 차량 컴퓨팅 시스템과의 연결을 설정하는 단계; 상기 연결을 설정한 후, 상기 모바일 컴퓨팅 디바이스에 의해, 상기 차량 컴퓨팅 시스템으로부터, 상기 차량의 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제1 특징 데이터를 수신하는 단계, 상기 차량의 상기 사용자의 얼굴의 적어도 하나의 이미지는 상기 차량의 적어도 일부에 연결된 이미지 캡처 디바이스에 의해 캡처되며; 상기 모바일 컴퓨팅 디바이스에 의해, 상기 제1 특징 데이터와 상기 모바일 컴퓨팅 디바이스의 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제2 특징 데이터 사이의 비교에 기초하여, 상기 차량의 사용자와 상기 이전에 등록된 사용자 상이의 일치를 결정하는 단계; 상기 모바일 컴퓨팅 디바이스에 의해, 상기 일치에 기초하여, 상기 차량의 사용자를 인증하는 단계; 및 상기 모바일 컴퓨팅 디바이스에 의해, 상기 차량의 사용자에 대한 인증 데이터를 상기 차량 컴퓨팅 시스템에 송신하는 단계를 포함하며, 상기 인증 데이터는 상기 일치를 표시하는, 방법.
예 2: 예 1에 있어서, 상기 차량 컴퓨팅 시스템은 인포테인먼트 헤드 유닛을 포함하고, 그리고 상기 모바일 컴퓨팅 디바이스에 의해, 상기 차량의 사용자에 대한 상기 인증 데이터를 상기 차량 컴퓨팅 시스템에 송신하는 단계는 상기 차량 컴퓨팅 시스템으로 하여금 사용자 계정 정보에 엑세스하여 상기 차량의 사용자를 상기 인포테인먼트 헤드 유닛에 로그인하게 하는 것인, 방법.
예 3: 예 1 내지 예 2 중 임의의 것에 있어서, 상기 차량의 사용자에 대한 상기 인증 데이터는 상기 모바일 컴퓨팅 디바이스 또는 상기 차량의 사용자 중 적어도 하나와 연관된 고유 식별 정보를 포함하는, 방법.
예 4: 예 1 내지 예 3 중 임의의 것에 있어서, 청구항 1 내지 3 중 어느 한 항에 있어서, 상기 연결을 설정하는 단계는 상기 모바일 컴퓨팅 디바이스를 상기 차량의 차량 컴퓨팅 시스템과 안전하게 페어링하는 것을 포함하고, 상기 모바일 컴퓨팅 디바이스는 상기 차량 컴퓨팅 시스템에서 상기 차량의 사용자의 사용자 계정과 연관된 신뢰 디바이스를 포함하는, 방법.
예 5: 예 1 내지 예 4 중 임의의 것에 있어서, 상기 차량의 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 특징 데이터를 수신하는 단계는, 상기 모바일 컴퓨팅 디바이스에 의해, 상기 차량 컴퓨팅 시스템으로부터, 상기 차량의 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 특징 데이터의 암호화된 사본을 수신하는 것을 포함하는, 방법.
예 6: 예 1 내지 예 5 중 임의의 것에 있어서, 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제2 특징 데이터는 적어도 하나의 특징 벡터와 연관되고 복수의 포즈 버킷으로부터의 적어도 하나의 포즈 버킷에 포함되며; 그리고 상기 복수의 포즈 버킷으로부터의 각각의 포즈 버킷은 상기 이전에 등록된 사용자의 얼굴의 각각의 피치(pitch) 각도 범위 및 상기 이전에 등록된 사용자의 얼굴의 각각의 요(yaw) 각도의 범위와 연관되는 것인, 방법.
예 7: 예 6에 있어서, 상기 모바일 컴퓨팅 디바이스에 의해, 상기 제2 특징 데이터로부터, 상기 복수의 포즈 버킷 중 특정한 포즈 버킷에 포함된 특징 데이터를 선택하는 단계; 상기 특정한 포즈 버킷은 상기 차량의 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제1 특징 데이터와 연관되고, 그리고 상기 차량의 사용자와 상기 이전에 등록된 사용자 사이의 일치를 결정하는 단계는 상기 제1 특징 데이터 및 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 선택된 특징 데이터에 기초하는, 방법.
예 8: 예 7에 있어서, 상기 모바일 컴퓨팅 디바이스에 의해, 상기 차량의 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제1 특징 데이터와 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 선택된 특징 데이터 사이의 유사성을 나타내는 유사성 스코어를 결정하는 단계; 상기 차량의 사용자와 상기 이전에 등록된 사용자 사이의 일치를 결정하는 단계는 상기 유사성 스코어가 임계 유사성 스코어를 만족한다는 결정에 응답하여 발생하는, 방법.
예 9: 예 1 내지 예 8 중 임의의 것에 있어서, 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 제2 특징 데이터는 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 복수의 특징 데이터를 포함하며, 상기 방법은: 상기 모바일 컴퓨팅 디바이스에 의해, 상기 차량의 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 제1 특징 데이터 및 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 복수의 특징 데이터 중 각 특징 데이터에 기초하여, 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 복수의 특징 데이터 중 각 특징 데이터에 대한 각각의 유사성 스코어를 결정하는 단계를 더 포함하며, 각 유사성 스코어는 상기 차량의 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 제1 데이터와 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 복수의 특징 데이터 중 상기 각각의 특징 데이터 사이의 유사성을 나타내며; 상기 차량의 사용자와 상기 이전에 등록된 사용자 사이의 일치를 결정하는 단계는 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 복수의 특징 데이터에 대한 상기 각각의 유사성 스코어에 기초하는, 방법.
예 10: 예 9에 있어서, 상기 모바일 컴퓨팅 디바이스에 의해, 상기 각각의 유사성 스코어에 기초하여, 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 복수의 특징 데이터 중 가장 높은 순위의 특징 데이터를 결정하는 단계; 상기 차량의 사용자와 상기 이전에 등록된 사용자 사이의 일치를 결정하는 단계는 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 복수의 특징 데이터 중 가장 높은 순위의 특징 데이터에 기초하는, 방법.
예 11: 예 9에 있어서, 상기 모바일 컴퓨팅 디바이스에 의해, 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 복수의 특징 데이터 중 둘 이상의 특징 데이터에 대한 유사성 스코어에 기초하여, 복합 유사성 스코어를 결정하는 단계; 상기 차량의 사용자와 상기 이전에 등록된 사용자 사이의 일치를 결정하는 단계는 상기 복합 유사성 스코어가 임계 유사성 스코어를 만족한다는 결정에 대한 응답인, 방법.
예 12: 예 9에 있어서, 상기 차량의 사용자와 상기 이전에 등록된 사용자 사이의 일치를 결정하는 단계는 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 둘 이상의 특징 데이터 각각에 대한 상기 각각의 유사성 스코어를 결정함에 대한 응답인, 방법.
예 13: 예 1 내지 예 12 중 임의의 것에 있어서, 상기 모바일 컴퓨팅 디바이스에 의해, 등록 단계 동안, 기계 학습 모델을 사용하여 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지의 제2 특징 데이터를 결정하는 단계를 더 포함하는, 방법.
예 14: 예 1 내지 예 13 중 임의의 것에 있어서, 상기 모바일 컴퓨팅 디바이스는 웨어러블 컴퓨팅 디바이스를 포함하는, 방법.
예 15: 방법으로서, 차량의 차량 컴퓨팅 시스템에 의해, 모바일 컴퓨팅 디바이스와의 연결을 설정하는 단계, 상기 차량 컴퓨팅 시스템은 인포테인먼트 헤드 유닛을 포함하며; 상기 차량 컴퓨팅 시스템에 의해, 상기 차량 내부의 사용자의 존재를 결정하는 단계; 상기 차량 내부의 사용자의 존재를 결정한 후, 상기 차량 컴퓨팅 시스템에 의해, 상기 차량의 적어도 일부에 연결된 이미지 캡처 디바이스를 사용하여, 상기 사용자의 얼굴의 적어도 하나의 이미지를 캡처하는 단계; 상기 차량 컴퓨팅 시스템에 의해, 상기 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제1 특징 데이터를 결정하는 단계; 상기 차량 컴퓨팅 시스템에 의해, 상기 사용자에 대한 인증 데이터를 수신하는 단계, 상기 인증 데이터는 상기 제1 특징 데이터와 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제2 특징 데이터의 사이의 비교에 기초하여, 상기 사용자와 이전에 등록된 사용자 사이의 일치를 나타내며; 상기 차량 컴퓨팅 시스템에 의해, 상기 사용자에 대한 인증 데이터에 기초하여, 상기 사용자를 상기 인포테인먼트 헤드 유닛에 로그인하기 위해 사용자 계정 정보에 액세스하는 단계를 포함하는, 방법.
예 16: 예 15에 있어서, 상기 차량 컴퓨팅 시스템에 의해, 상기 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 제1 특징 데이터를 상기 모바일 컴퓨팅 디바이스에 송신하는 단계; 상기 사용자에 대한 인증 데이터를 수신하는 단계는, 상기 제1 특징 데이터를 송신한 후, 상기 차량 컴퓨팅 시스템에 의해, 상기 모바일 컴퓨팅 디바이스로부터, 상기 사용자에 대한 인증 데이터를 수신하는 단계를 포함하는, 방법.
예 17: 예 15에 있어서, 상기 차량 컴퓨팅 시스템에 의해, 상기 모바일 컴퓨팅 디바이스로부터, 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 제2 특징 데이터를 수신하는 단계; 상기 차량 컴퓨팅 시스템에 의해, 상기 제1 특징 데이터와 상기 제2 특징 데이터를 비교하는 단계; 및 상기 차량 컴퓨팅 시스템에 의해, 상기 비교에 기초하여, 상기 사용자와 상기 이전에 등록된 사용자 사이의 일치를 결정하는 단계를 더 포함하며, 상기 인증 데이터는 상기 일치의 표시를 포함하는, 방법.
예 18: 시스템으로서, 적어도 하나의 프로세서; 및 명령어를 저장하는 적어도 하나의 컴퓨터 판독가능 저장 디바이스로서, 상기 명령어는 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금 예 1 내지 17 중 어느 한 항의 방법을 수행하게 하는, 컴퓨터 판독가능 저장 디바이스.
예 19: 명령어들을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 명령어들은 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금 예 1 내지 17 중 어느 하나의 방법을 수행하게 하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
하나 이상의 예시들에서, 기술된 기능들은 하드웨어, 하드웨어 및 소프트웨어, 하드웨어 및 펌웨어 또는 그것들의 임의의 조합에서 구현될 수 있다. 소프트웨어에서 구현되는 경우, 기능들은 하나 이상의 명령어들 또는 코드로서 컴퓨터 판독가능 매체에 저장되거나 컴퓨터 판독가능 매체를 통해 전송되고 하드웨어 기반 프로세싱 유닛에 의해 실행된다. 컴퓨터 판독가능 매체는 컴퓨터 판독가능 저장 매체 또는 매체들을 포함할 수 있고, 이는 데이터 저장 매체와 같은 유형적 매체 또는 예를 들어 통신 프로토콜에 따라 한 곳에서 다른 곳으로 컴퓨터 프로그램의 전송을 지원하는 임의의 매체를 포함하는 통신 매체에 대응한다. 이 방식에서, 컴퓨터 판독가능 매체는 일반적으로 (1) 비일시적인 유형적 컴퓨터 판독가능 저장 매체 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수 있다. 데이터 저장 매체는 본 개시에서 기술된 기법들의 구현을 위해 명령어들, 코드 및/또는 데이터 구조들을 검색하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 사용가능한 매체일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수 있다.
제한이 아닌 예시로서, 그러한 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 기타 광학 디스크 스토리지, 자기 디스크 스토리지, 또는 기타 자기 저장 디바이스들, 플래시 메모리 또는 명령어들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 기타 저장 매체를 포함할 수 있다. 또한, 임의의 연결이 컴퓨터 판독가능 매체에 적절하게 명명될 수 있다. 예를 들면, 웹사이트, 서버 또는 동축 케이블, 광섬유 케이블, 꼬임쌍선, DSL 또는 적외선, 라디오 및 마이크로웨이브와 같은 무선 기술들을 사용하는 기타 원격 소스로부터 전송되는 경우, 동축 케이블, 광섬유 케이블, 꼬임쌍선, DSL 또는 적외선, 라디오 및 마이크로웨이브와 같은 무선 기술들은 매체의 정의에 포함된다. 그러나, 컴퓨터 판독가능 저장 매체 및 매체들 및 데이터 저장 매체는 연결, 반송파, 신호 또는 다른 일시적인 매체를 포함하지 않으나, 대신에 비일시적인 유형적 저장 매체를 지칭한다. 본 명세서에서 사용된 바와 같이, 디스크 및 디스크들은 컴팩트 디스크(CD), 레이저 디스크, 광학 디스크, DVD, 플로피 디스크 및 블루레이 디스크를 포함하며, 디스크들은 보통 데이터를 자기적으로 재생산하면서 디스크들은 데이터를 레이저로 광학적으로 재생산한다. 또한, 상기의 조합들은 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
명령어들은 하나 이상의 디지털 신호 프로세서들(DSP), 범용 마이크로프로세서들, 주문형 집적회로들(ASIC), 필드 프로그램가능 논리 배열들(FPGA) 또는 기타 균등한 통합 또는 이산 논리 회로와 같은 하나 이상의 프로세서들에 의해 실행될 수 있다. 따라서, 본 명세서에서 사용된 바와 같이, 용어 "프로세서"는 임의의 상기 구조 또는 본 명세서에 기술된 기법들의 구현에 적절한 임의의 기타 구조를 지칭할 수 있다. 추가로, 일부 양태에서, 본 명세서에 기술된 기능은 전용 하드웨어 및/또는 소프트웨어 모듈들 내에서 제공될 수 있다. 또한, 기법들은 하나 이상의 회로들 또는 논리 엘리먼트들에서 완전히 구현될 수 있다.
본 개시의 기법들은 무선 헤드셋, 집적 회로(IC) 또는 IC의 세트(예를 들어, 칩셋)를 포함하는 광범위한 디바이스들 또는 장치들에서 구현될 수 있다. 다양한 컴포넌트들, 모듈들 또는 유닛들이 개시된 기법들을 수행하도록 구성된 디바이스들의 기능적 양태들을 강조하기 위해 본 개시에서 기술되었지만, 상이한 하드웨어 유닛들에 의한 실현을 필수적으로 요구하지 않는다. 오히려, 상기 기술된 바와 같이, 다양한 유닛들이 적절한 소프트웨어 및/또는 펌웨어와 함께 하드웨어 유닛에서 조합되거나 상기 기술된 바와 같은 하나 이상의 프로세서들을 포함하는 상호 동작적 하드웨어 유닛들의 집합에 의해 제공될 수 있다.
다양한 실시예들이 기술되었다. 이들 및 다른 실시예들도 다음의 청구항들의 범위 내에 있다.
Claims (19)
- 방법으로서,
모바일 컴퓨팅 디바이스에 의해, 차량의 차량 컴퓨팅 시스템과의 연결을 설정하는 단계;
상기 연결을 설정한 후, 상기 모바일 컴퓨팅 디바이스에 의해, 상기 차량 컴퓨팅 시스템으로부터, 상기 차량의 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제1 특징 데이터를 수신하는 단계, 상기 차량의 상기 사용자의 얼굴의 적어도 하나의 이미지는 상기 차량의 적어도 일부에 연결된 이미지 캡처 디바이스에 의해 캡처되며;
상기 모바일 컴퓨팅 디바이스에 의해, 상기 제1 특징 데이터와 상기 모바일 컴퓨팅 디바이스의 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제2 특징 데이터 사이의 비교에 기초하여, 상기 차량의 사용자와 상기 이전에 등록된 사용자 상이의 일치를 결정하는 단계;
상기 모바일 컴퓨팅 디바이스에 의해, 상기 일치에 기초하여, 상기 차량의 사용자를 인증하는 단계; 및
상기 모바일 컴퓨팅 디바이스에 의해, 상기 차량의 사용자에 대한 인증 데이터를 상기 차량 컴퓨팅 시스템에 송신하는 단계를 포함하며, 상기 인증 데이터는 상기 일치를 표시하는 것인, 방법. - 청구항 1에 있어서,
상기 차량 컴퓨팅 시스템은 인포테인먼트 헤드 유닛을 포함하고, 그리고
상기 모바일 컴퓨팅 디바이스에 의해, 상기 차량의 사용자에 대한 상기 인증 데이터를 상기 차량 컴퓨팅 시스템에 송신하는 단계는 상기 차량 컴퓨팅 시스템으로 하여금 사용자 계정 정보에 엑세스하여 상기 차량의 사용자를 상기 인포테인먼트 헤드 유닛에 로그인하게 하는 것인, 방법. - 청구항 1 내지 2 중 어느 한 항에 있어서, 상기 차량의 사용자에 대한 상기 인증 데이터는 상기 모바일 컴퓨팅 디바이스 또는 상기 차량의 사용자 중 적어도 하나와 연관된 고유 식별 정보를 포함하는, 방법.
- 청구항 1 내지 3 중 어느 한 항에 있어서, 상기 연결을 설정하는 단계는 상기 모바일 컴퓨팅 디바이스를 상기 차량의 차량 컴퓨팅 시스템과 안전하게 페어링하는 것을 포함하고, 상기 모바일 컴퓨팅 디바이스는 상기 차량 컴퓨팅 시스템에서 상기 차량의 사용자의 사용자 계정과 연관된 신뢰 디바이스를 포함하는, 방법.
- 청구항 1 내지 4 중 어느 한 항에 있어서, 상기 차량의 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 특징 데이터를 수신하는 단계는, 상기 모바일 컴퓨팅 디바이스에 의해, 상기 차량 컴퓨팅 시스템으로부터, 상기 차량의 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 특징 데이터의 암호화된 사본을 수신하는 것을 포함하는, 방법.
- 청구항 1 내지 5 중 어느 한 항에 있어서,
상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제2 특징 데이터는 적어도 하나의 특징 벡터와 연관되고 복수의 포즈 버킷으로부터의 적어도 하나의 포즈 버킷에 포함되며; 그리고
상기 복수의 포즈 버킷으로부터의 각각의 포즈 버킷은 상기 이전에 등록된 사용자의 얼굴의 각각의 피치(pitch) 각도 범위 및 상기 이전에 등록된 사용자의 얼굴의 각각의 요(yaw) 각도의 범위와 연관되는 것인, 방법. - 청구항 6에 있어서,
상기 모바일 컴퓨팅 디바이스에 의해, 상기 제2 특징 데이터로부터, 상기 복수의 포즈 버킷 중 특정한 포즈 버킷에 포함된 특징 데이터를 선택하는 단계;
상기 특정한 포즈 버킷은 상기 차량의 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제1 특징 데이터와 연관되고, 그리고
상기 차량의 사용자와 상기 이전에 등록된 사용자 사이의 일치를 결정하는 단계는 상기 제1 특징 데이터 및 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 선택된 특징 데이터에 기초하는, 방법. - 청구항 7에 있어서,
상기 모바일 컴퓨팅 디바이스에 의해, 상기 차량의 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제1 특징 데이터와 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 선택된 특징 데이터 사이의 유사성을 나타내는 유사성 스코어를 결정하는 단계;
상기 차량의 사용자와 상기 이전에 등록된 사용자 사이의 일치를 결정하는 단계는 상기 유사성 스코어가 임계 유사성 스코어를 만족한다는 결정에 응답하여 발생하는, 방법. - 청구항 1 내지 8 중 어느 한 항에 있어서, 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 제2 특징 데이터는 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 복수의 특징 데이터를 포함하며, 상기 방법은:
상기 모바일 컴퓨팅 디바이스에 의해, 상기 차량의 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 제1 특징 데이터 및 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 복수의 특징 데이터 중 각 특징 데이터에 기초하여, 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 복수의 특징 데이터 중 각 특징 데이터에 대한 각각의 유사성 스코어를 결정하는 단계를 더 포함하며, 각 유사성 스코어는 상기 차량의 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 제1 특징 데이터와 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 복수의 특징 데이터 중 상기 각각의 특징 데이터 사이의 유사성을 나타내며;
상기 차량의 사용자와 상기 이전에 등록된 사용자 사이의 일치를 결정하는 단계는 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 복수의 특징 데이터에 대한 상기 각각의 유사성 스코어에 기초하는, 방법. - 청구항 9에 있어서,
상기 모바일 컴퓨팅 디바이스에 의해, 상기 각각의 유사성 스코어에 기초하여, 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 복수의 특징 데이터 중 가장 높은 순위의 특징 데이터를 결정하는 단계;
상기 차량의 사용자와 상기 이전에 등록된 사용자 사이의 일치를 결정하는 단계는 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 복수의 특징 데이터 중 가장 높은 순위의 특징 데이터에 기초하는, 방법. - 청구항 9에 있어서,
상기 모바일 컴퓨팅 디바이스에 의해, 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 복수의 특징 데이터 중 둘 이상의 특징 데이터에 대한 유사성 스코어에 기초하여, 복합 유사성 스코어를 결정하는 단계;
상기 차량의 사용자와 상기 이전에 등록된 사용자 사이의 일치를 결정하는 단계는 상기 복합 유사성 스코어가 임계 유사성 스코어를 만족한다는 결정에 대한 응답인, 방법. - 청구항 11에 있어서, 상기 차량의 사용자와 상기 이전에 등록된 사용자 사이의 일치를 결정하는 단계는 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 둘 이상의 특징 데이터 각각에 대한 상기 각각의 유사성 스코어를 결정함에 대한 응답인, 방법.
- 청구항 1 내지 12 중 어느 한 항에 있어서,
상기 모바일 컴퓨팅 디바이스에 의해, 등록 단계 동안, 기계 학습 모델을 사용하여 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지의 제2 특징 데이터를 결정하는 단계를 더 포함하는, 방법. - 청구항 1 내지 13 중 어느 한 항에 있어서, 상기 모바일 컴퓨팅 디바이스는 웨어러블 디바이스를 포함하는, 방법.
- 방법으로서,
차량의 차량 컴퓨팅 시스템에 의해, 모바일 컴퓨팅 디바이스와의 연결을 설정하는 단계, 상기 차량 컴퓨팅 시스템은 인포테인먼트 헤드 유닛을 포함하며;
상기 차량 컴퓨팅 시스템에 의해, 상기 차량 내부의 사용자의 존재를 결정하는 단계;
상기 차량 내부의 사용자의 존재를 결정한 후, 상기 차량 컴퓨팅 시스템에 의해, 상기 차량의 적어도 일부에 연결된 이미지 캡처 디바이스를 사용하여, 상기 사용자의 얼굴의 적어도 하나의 이미지를 캡처하는 단계;
상기 차량 컴퓨팅 시스템에 의해, 상기 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제1 특징 데이터를 결정하는 단계;
상기 차량 컴퓨팅 시스템에 의해, 상기 사용자에 대한 인증 데이터를 수신하는 단계, 상기 인증 데이터는 상기 제1 특징 데이터와 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 제2 특징 데이터의 사이의 비교에 기초하여, 상기 사용자와 이전에 등록된 사용자 사이의 일치를 나타내며;
상기 차량 컴퓨팅 시스템에 의해, 상기 사용자에 대한 인증 데이터에 기초하여, 상기 사용자를 상기 인포테인먼트 헤드 유닛에 로그인하기 위해 사용자 계정 정보에 액세스하는 단계를 포함하는, 방법. - 청구항 15에 있어서,
상기 차량 컴퓨팅 시스템에 의해, 상기 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 제1 특징 데이터를 상기 모바일 컴퓨팅 디바이스에 송신하는 단계;
상기 사용자에 대한 인증 데이터를 수신하는 단계는, 상기 제1 특징 데이터를 송신한 후, 상기 차량 컴퓨팅 시스템에 의해, 상기 모바일 컴퓨팅 디바이스로부터, 상기 사용자에 대한 인증 데이터를 수신하는 단계를 포함하는, 방법. - 청구항 15에 있어서,
상기 차량 컴퓨팅 시스템에 의해, 상기 모바일 컴퓨팅 디바이스로부터, 상기 이전에 등록된 사용자의 얼굴의 적어도 하나의 이미지와 연관된 상기 제2 특징 데이터를 수신하는 단계;
상기 차량 컴퓨팅 시스템에 의해, 상기 제1 특징 데이터와 상기 제2 특징 데이터를 비교하는 단계; 및
상기 차량 컴퓨팅 시스템에 의해, 상기 비교에 기초하여, 상기 사용자와 상기 이전에 등록된 사용자 사이의 일치를 결정하는 단계를 더 포함하며,
상기 인증 데이터는 상기 일치의 표시를 포함하는, 방법. - 시스템으로서,
적어도 하나의 프로세서; 및
명령어를 저장하는 적어도 하나의 컴퓨터 판독가능 저장 디바이스로서, 상기 명령어는 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금 청구항 1 내지 17 중 어느 한 항의 방법을 수행하게 하는, 컴퓨터 판독가능 저장 디바이스. - 명령어를 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 명령어는 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금 청구항 1 내지 17 중 어느 한 항의 방법을 수행하게 하는, 컴퓨터 판독가능 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962862581P | 2019-06-17 | 2019-06-17 | |
| US62/862,581 | 2019-06-17 | ||
| PCT/US2019/062035 WO2020256765A1 (en) | 2019-06-17 | 2019-11-18 | Seamless driver authentication using an in-vehicle camera in conjunction with a trusted mobile computing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200145826A true KR20200145826A (ko) | 2020-12-30 |
| KR102504746B1 KR102504746B1 (ko) | 2023-03-02 |
Family
ID=68848453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207018926A KR102504746B1 (ko) | 2019-06-17 | 2019-11-18 | 신뢰 모바일 컴퓨팅 디바이스와 함께 차량 내 카메라를 사용한 무결절 운전자 인증 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20210229673A1 (ko) |
| EP (1) | EP3771314B1 (ko) |
| JP (1) | JP7049453B2 (ko) |
| KR (1) | KR102504746B1 (ko) |
| CN (1) | CN112399935B (ko) |
| WO (1) | WO2020256765A1 (ko) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11386678B2 (en) * | 2018-11-13 | 2022-07-12 | Denso International America, Inc. | Driver authentication for vehicle-sharing fleet |
| US12034785B2 (en) | 2020-08-28 | 2024-07-09 | Tmrw Foundation Ip S.Àr.L. | System and method enabling interactions in virtual environments with virtual presence |
| US12107907B2 (en) | 2020-08-28 | 2024-10-01 | Tmrw Foundation Ip S.Àr.L. | System and method enabling interactions in virtual environments with virtual presence |
| US20220070236A1 (en) * | 2020-08-28 | 2022-03-03 | Tmrw Foundation Ip S. À R.L. | Graphical representation-based user authentication system and method |
| US11861041B2 (en) * | 2021-02-08 | 2024-01-02 | Capital One Services, Llc | Methods and systems for automatically preserving a user session on a public access shared computer |
| US12095761B2 (en) | 2021-12-02 | 2024-09-17 | Ford Global Technologies, Llc | Enhanced biometric authorization |
| US20230237130A1 (en) * | 2022-01-27 | 2023-07-27 | Cypress Semiconductor Corporation | Multi-layered authentication and permission methods, systems and apparatuses |
| WO2024127415A1 (en) * | 2022-12-13 | 2024-06-20 | Tvs Motor Company Limited | A system and method for communication between a vehicle and a rider accessory device |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050053130A (ko) * | 2003-12-02 | 2005-06-08 | 삼성전자주식회사 | 대용량 얼굴 인식 장치 및 방법 |
| JP2008213634A (ja) * | 2007-03-02 | 2008-09-18 | Denso Corp | 運転環境設定システム、車載装置、携帯装置、管理装置、車載装置用プログラム、携帯装置用プログラム及び管理装置用プログラム |
| JP2009286342A (ja) * | 2008-05-30 | 2009-12-10 | Fujitsu Ten Ltd | 生体情報照合装置、生体情報照合システムおよび生体情報照合方法 |
| KR20140138612A (ko) * | 2012-02-27 | 2014-12-04 | 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. | 차량 개인화를 위한 방법 및 시스템 |
| WO2015001791A1 (ja) * | 2013-07-03 | 2015-01-08 | パナソニックＩｐマネジメント株式会社 | 物体認識装置及び物体認識方法 |
| KR20160059793A (ko) * | 2014-11-19 | 2016-05-27 | 현대자동차주식회사 | 사용자 인증을 이용한 차량 제어장치 및 방법 |
| KR20170017111A (ko) * | 2015-08-05 | 2017-02-15 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
| EP3456592A1 (en) * | 2017-09-15 | 2019-03-20 | Nxp B.V. | Automobile-person interaction |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4675492B2 (ja) | 2001-03-22 | 2011-04-20 | 本田技研工業株式会社 | 顔画像を使用した個人認証装置 |
| JP4696857B2 (ja) | 2005-11-02 | 2011-06-08 | オムロン株式会社 | 顔照合装置 |
| US10169646B2 (en) * | 2007-12-31 | 2019-01-01 | Applied Recognition Inc. | Face authentication to mitigate spoofing |
| JP2009284442A (ja) | 2008-05-26 | 2009-12-03 | Fujitsu Ten Ltd | 人物認証装置および人物認証方法 |
| US20100039224A1 (en) * | 2008-05-26 | 2010-02-18 | Okude Kazuhiro | Biometrics information matching apparatus, biometrics information matching system, biometrics information matching method, person authentication apparatus, and person authentication method |
| JP6225460B2 (ja) | 2013-04-08 | 2017-11-08 | オムロン株式会社 | 画像処理装置、画像処理方法、制御プログラムおよび記録媒体 |
| CN103434484B (zh) * | 2013-08-20 | 2016-04-27 | 安科智慧城市技术（中国）有限公司 | 车载识别认证装置、移动终端、智能车钥控制系统及方法 |
| JP2016055789A (ja) | 2014-09-10 | 2016-04-21 | トヨタ自動車株式会社 | 車両用認証装置 |
| CN105096528B (zh) * | 2015-08-05 | 2017-07-11 | 广州云从信息科技有限公司 | 一种疲劳驾驶检测方法及系统 |
| CN105644500B (zh) * | 2016-02-05 | 2018-02-23 | 重庆广播电视大学 | 基于无线安防系统的车门开启控制方法 |
| JP2019032694A (ja) | 2017-08-08 | 2019-02-28 | キヤノン株式会社 | 情報処理装置、システム、情報処理方法及びプログラム |
| US11072311B2 (en) * | 2017-09-05 | 2021-07-27 | Future Mobility Corporation Limited | Methods and systems for user recognition and expression for an automobile |
| JP6691309B2 (ja) | 2017-10-31 | 2020-04-28 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、及びその制御方法、プログラム |
| CN107800708B (zh) * | 2017-11-06 | 2022-07-01 | 上海擎感智能科技有限公司 | 一种车机账户自动登录方法和车机装置 |
| US10676067B2 (en) * | 2018-01-05 | 2020-06-09 | Byton Limited | User capture device configuration for a vehicle |
-
2019
- 2019-11-12 US US16/764,322 patent/US20210229673A1/en not_active Abandoned
- 2019-11-18 WO PCT/US2019/062035 patent/WO2020256765A1/en unknown
- 2019-11-18 EP EP19818400.4A patent/EP3771314B1/en active Active
- 2019-11-18 CN CN201980007317.9A patent/CN112399935B/zh active Active
- 2019-11-18 KR KR1020207018926A patent/KR102504746B1/ko active IP Right Grant
- 2019-11-18 JP JP2020529580A patent/JP7049453B2/ja active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050053130A (ko) * | 2003-12-02 | 2005-06-08 | 삼성전자주식회사 | 대용량 얼굴 인식 장치 및 방법 |
| JP2008213634A (ja) * | 2007-03-02 | 2008-09-18 | Denso Corp | 運転環境設定システム、車載装置、携帯装置、管理装置、車載装置用プログラム、携帯装置用プログラム及び管理装置用プログラム |
| JP2009286342A (ja) * | 2008-05-30 | 2009-12-10 | Fujitsu Ten Ltd | 生体情報照合装置、生体情報照合システムおよび生体情報照合方法 |
| KR20140138612A (ko) * | 2012-02-27 | 2014-12-04 | 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. | 차량 개인화를 위한 방법 및 시스템 |
| WO2015001791A1 (ja) * | 2013-07-03 | 2015-01-08 | パナソニックＩｐマネジメント株式会社 | 物体認識装置及び物体認識方法 |
| KR20160059793A (ko) * | 2014-11-19 | 2016-05-27 | 현대자동차주식회사 | 사용자 인증을 이용한 차량 제어장치 및 방법 |
| KR20170017111A (ko) * | 2015-08-05 | 2017-02-15 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
| EP3456592A1 (en) * | 2017-09-15 | 2019-03-20 | Nxp B.V. | Automobile-person interaction |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021531521A (ja) | 2021-11-18 |
| CN112399935A (zh) | 2021-02-23 |
| CN112399935B (zh) | 2023-05-02 |
| US20210229673A1 (en) | 2021-07-29 |
| KR102504746B1 (ko) | 2023-03-02 |
| WO2020256765A1 (en) | 2020-12-24 |
| EP3771314B1 (en) | 2022-08-03 |
| EP3771314A1 (en) | 2021-02-03 |
| JP7049453B2 (ja) | 2022-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102504746B1 (ko) | 신뢰 모바일 컴퓨팅 디바이스와 함께 차량 내 카메라를 사용한 무결절 운전자 인증 | |
| US9530265B2 (en) | Mobile terminal and vehicle control | |
| KR101854633B1 (ko) | 인터랙티브 차량 제어 시스템을 위한 통합된 웨어러블 용품 | |
| US11072311B2 (en) | Methods and systems for user recognition and expression for an automobile | |
| CN110268408B (zh) | 用于汽车的双因素生物测定认证 | |
| US9760698B2 (en) | Integrated wearable article for interactive vehicle control system | |
| US9800717B2 (en) | Mobile terminal and method for controlling the same | |
| CN107757553B (zh) | 识别用户的方法、装置、系统及相关车辆 | |
| KR101659027B1 (ko) | 이동 단말기 및 차량 제어 장치 | |
| US20180174450A1 (en) | A notification system of a car and method of controlling therefor | |
| CN104691449A (zh) | 车辆控制设备及其方法 | |
| US20210229633A1 (en) | Biometric user authenticating keys for vehicles and methods of use | |
| KR20210031267A (ko) | 인증을 수행하는 차량용 전자 기기, 차량 인증에 이용되는 모바일 기기, 차량 인증 시스템, 및 차량의 인증 방법 | |
| WO2018022329A1 (en) | Detecting user interactions with a computing system of a vehicle | |
| KR102093858B1 (ko) | 바이오메트릭스 기반 차량 제어 장치 및 이를 이용한 차량 제어 방법 | |
| US20200154273A1 (en) | Vehicle having connected car service and method of controlling the same | |
| US11928895B2 (en) | Electronic device and control method therefor | |
| US10471965B2 (en) | Securing guest access to vehicle | |
| KR101578741B1 (ko) | 이동 단말기 및 그 제어 방법 | |
| KR20160023755A (ko) | 이동 단말기 및 그 제어 방법 | |
| CN109606307B (zh) | 一种汽车控制装置和汽车 | |
| EP4439363A1 (en) | Systems and methods for electronic device access | |
| KR102220367B1 (ko) | 이동 단말기 및 그 제어 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right |