KR20210013129A - 차량의 도어록 해제 방법 및 장치, 시스템, 차량, 전자 기기 및 기억 매체 - Google Patents

차량의 도어록 해제 방법 및 장치, 시스템, 차량, 전자 기기 및 기억 매체 Download PDF

Info

Publication number
KR20210013129A
KR20210013129A KR1020207036673A KR20207036673A KR20210013129A KR 20210013129 A KR20210013129 A KR 20210013129A KR 1020207036673 A KR1020207036673 A KR 1020207036673A KR 20207036673 A KR20207036673 A KR 20207036673A KR 20210013129 A KR20210013129 A KR 20210013129A
Authority
KR
South Korea
Prior art keywords
image
depth
vehicle
distance
target object
Prior art date
Application number
KR1020207036673A
Other languages
English (en)
Inventor
신 후
청 황
Original Assignee
상하이 센스타임 린강 인텔리전트 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상하이 센스타임 린강 인텔리전트 테크놀로지 컴퍼니 리미티드 filed Critical 상하이 센스타임 린강 인텔리전트 테크놀로지 컴퍼니 리미티드
Publication of KR20210013129A publication Critical patent/KR20210013129A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31—Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/34—Detection related to theft or to other events relevant to anti-theft systems of conditions of vehicle components, e.g. of windows, door locks or gear selectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G06K9/00288—
    • G06K9/00906—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2325/00—Indexing scheme relating to vehicle anti-theft devices
    • B60R2325/10—Communication protocols, communication systems of vehicle anti-theft devices
    • B60R2325/101—Bluetooth
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2325/00—Indexing scheme relating to vehicle anti-theft devices
    • B60R2325/20—Communication devices for vehicle anti-theft devices
    • B60R2325/205—Mobile phones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C2209/00—Indexing scheme relating to groups G07C9/00 - G07C9/38
    • G07C2209/60—Indexing scheme relating to groups G07C9/00174 - G07C9/00944
    • G07C2209/63—Comprising locating means for detecting the position of the data carrier, i.e. within the vehicle or within a certain distance from the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Geometry (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Lock And Its Accessories (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 차량의 도어록 해제 방법 및 장치, 시스템, 차량, 전자 기기 및 기억 매체에 관한 것으로, 상기 방법은 차량에 설치되는 하나 이상의 거리 센서에 의해 상기 차량 밖의 목표 대상물과 상기 차량 사이의 거리를 취득하는 것과, 상기 거리가 소정의 조건을 충족함에 따라, 상기 차량에 설치되는 이미지 취득 모듈을, 상기 목표 대상물의 제1 이미지를 취득하도록 기상시켜 제어하는 것과, 상기 제1 이미지에 기초하여 얼굴 인식을 행하는 것과, 얼굴 인식의 성공에 따라, 상기 차량의 하나 이상의 도어록에 도어록 해제 명령을 송신하는 것을 포함한다.

Description

차량의 도어록 해제 방법 및 장치, 시스템, 차량, 전자 기기 및 기억 매체
본원은 2019년 2월 28일에 중국 특허국에 제출된, 출원번호 201910152568.8, 발명의 명칭 「차량의 도어록 해제 방법 및 장치, 시스템, 차량, 전자 기기 및 기억 매체」인 중국 특허출원의 우선권을 주장하고, 그 개시의 전부가 참조에 의해 본원에 포함된다.
본 발명은 차량 기술에 관한 것으로, 특히 차량의 도어록(door lock) 해제 방법 및 장치, 시스템, 차량, 전자 기기 및 기억 매체에 관한 것이다.
현재, 사용자는 차량의 키로 도어를 잠금 해제한다. 따라서, 차량의 키를 갖고 있어야 한다는 불편한 문제가 존재한다. 또한, 차량의 키의 파손, 실효, 분실이 발생할 우려가 있다.
본 발명은 차량의 도어록 해제의 기술적 해결 수단을 제공한다.
본 발명의 일 측면에 의하면, 차량에 설치되는 하나 이상의 거리 센서에 의해 상기 차량 밖의 목표 대상물과 상기 차량 사이의 거리를 취득하는 것과, 상기 거리가 소정의 조건을 충족함에 따라, 상기 차량에 설치되는 이미지 취득 모듈을 상기 목표 대상물의 제1 이미지를 취득하도록 기상(wake up)시켜 제어하는 것과, 상기 제1 이미지에 기초하여 얼굴 인식을 행하는 것과, 얼굴 인식의 성공에 따라, 상기 차량의 하나 이상의 도어록에 도어록 해제 명령을 송신하는 것을 포함하는 차량의 도어록 해제 방법을 제공한다.
본 발명의 다른 측면에 의하면, 차량에 설치되는 하나 이상의 거리 센서에 의해 상기 차량 밖의 목표 대상물과 상기 차량 사이의 거리를 취득하기 위한 취득 모듈과, 상기 거리가 소정의 조건을 충족함에 따라, 상기 차량에 설치되는 이미지 취득 모듈을, 상기 목표 대상물의 제1 이미지를 취득하도록 기상시켜 제어하기 위한 기상 제어 모듈과, 상기 제1 이미지에 기초하여 얼굴 인식을 행하기 위한 얼굴 인식 모듈과, 얼굴 인식의 성공에 따라, 상기 차량의 하나 이상의 도어록에 도어록 해제 명령을 송신하기 위한 송신 모듈을 포함하는 차량의 도어록 해제 장치를 제공한다.
본 발명의 다른 측면에 의하면, 메모리, 얼굴 인식 시스템, 이미지 취득 모듈 및 인체 근접 감시 시스템을 포함하고, 상기 얼굴 인식 시스템은 상기 메모리, 상기 이미지 취득 모듈 및 상기 인체 근접 감시 시스템에 각각 접속되고, 상기 인체 근접 감시 시스템은 거리가 소정의 조건을 충족하면 상기 얼굴 인식 시스템을 기상시키는 마이크로 프로세서 및 상기 마이크로 프로세서에 접속되는 하나 이상의 거리 센서를 포함하고, 상기 얼굴 인식 시스템은 도어 영역 컨트롤러에 접속되는 통신 인터페이스가 추가로 설치되고, 얼굴 인식이 성공하면 상기 통신 인터페이스에 의해 상기 도어 영역 컨트롤러에 도어를 해정하기 위한 제어 정보를 송신하는 차량 탑재 얼굴 인증 잠금 해제 시스템을 제공한다.
본 발명의 다른 측면에 의하면, 상기 차량 탑재 얼굴 인증 잠금 해제 시스템을 포함하고, 상기 차량 탑재 얼굴 인증 잠금 해제 시스템은 상기 차량의 도어 영역 컨트롤러에 접속되는 차량을 제공한다.
본 발명의 다른 측면에 의하면, 프로세서와, 프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하고, 상기 프로세서는 상기 차량의 도어록 해제 방법을 실행하도록 구성되는 전자 기기를 제공한다.
본 발명의 다른 측면에 의하면, 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령은 프로세서에 의해 실행되면, 상기 차량의 도어록 해제 방법을 실현시키는 컴퓨터 판독 가능 기억 매체를 제공한다.
본 발명의 다른 측면에 의하면, 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 판독 가능 코드는 전자 기기에서 동작하면, 상기 전자 기기의 프로세서에 상기 차량의 도어록 해제 방법을 실현하기 위한 명령을 실행시키는 컴퓨터 프로그램을 제공한다.
본 발명의 실시예에서는 차량에 설치되는 하나 이상의 거리 센서에 의해 상기 차량 밖의 목표 대상물과 상기 차량 사이의 거리를 취득하고, 상기 거리가 소정의 조건을 충족함에 따라, 상기 차량에 설치되는 이미지 취득 모듈을, 상기 목표 대상물의 제1 이미지를 취득하도록 기상시켜 제어하고, 상기 제1 이미지에 기초하여 얼굴 인식을 행하고, 얼굴 인식의 성공에 따라 상기 차량의 하나 이상의 도어록에 도어록 해제 명령을 송신함으로써, 도어록 해제의 보안성을 확보한 후, 도어록 해제의 편리성을 높일 수 있다.
이상의 일반적인 설명과 이하의 상세한 설명은 예시적 및 설명적인 것에 불과하며, 본 발명을 제한하는 것은 아닌 것으로 이해해야 한다.
본 발명의 다른 특징 및 측면은 이하의 도면을 참조하면서 예시적인 실시예를 상세히 설명함으로써 명확해진다.
여기서, 본 명세서의 일부로서 포함되는 도면은 본 발명에 적합한 실시예를 나타내는 것이고, 명세서와 함께 본 발명의 기술적 수단을 설명하기 위해 사용된다.
도 1은 본 발명의 실시예에 따른 차량의 도어록 해제 방법의 흐름도를 나타낸다.
도 2는 차량의 B필러의 모식도를 나타낸다.
도 3은 본 발명의 실시예에 따른 차량의 도어록 해제 방법에서의 차량의 도어록 해제 장치의 장착 높이와 식별 가능한 신장 범위의 모식도를 나타낸다.
도 4는 본 발명의 실시예에 따른 차량의 도어록 해제 방법에서의 초음파 거리 센서의 수평 방향 검지 각도 및 초음파 거리 센서의 검지 반경의 모식도를 나타낸다.
도 5a는 본 발명의 실시예에 따른 차량의 도어록 해제 방법에서의 이미지 센서 및 심도 센서의 모식도를 나타낸다.
도 5b는 본 발명의 실시예에 따른 차량의 도어록 해제 방법에서의 이미지 센서 및 심도 센서의 다른 모식도를 나타낸다.
도 6은 본 발명의 실시예에 따른 생체 검출 방법의 일례의 모식도를 나타낸다.
도 7은 본 발명의 실시예에 따른 생체 검출 방법에 있어서 제1 이미지 및 제2 심도맵에 기초하여 제1 이미지에서의 목표 대상물의 생체 검출 결과를 결정하는 일례의 모식도를 나타낸다.
도 8은 본 발명의 실시예에 따른 차량의 도어록 해제 방법에서의 심도 예측 뉴럴 네트워크의 모식도를 나타낸다.
도 9는 본 발명의 실시예에 따른 차량의 도어록 해제 방법에서의 관련도 검출 뉴럴 네트워크의 모식도를 나타낸다.
도 10은 본 발명의 실시예에 따른 차량의 도어록 해제 방법에서의 심도맵 갱신의 예시적인 모식도를 나타낸다.
도 11은 본 발명의 실시예에 따른 차량의 도어록 해제 방법에서의 주변 화소의 모식도를 나타낸다.
도 12는 본 발명의 실시예에 따른 차량의 도어록 해제 방법에서의 주변 화소의 다른 모식도를 나타낸다.
도 13은 본 발명의 실시예에 따른 차량의 도어록 해제 장치의 블록도를 나타낸다.
도 14는 본 발명의 실시예에 따른 차량 탑재 얼굴 인증 잠금 해제 시스템의 블록도를 나타낸다.
도 15는 본 발명의 실시예에 따른 차량 탑재 얼굴 인증 잠금 해제 시스템의 모식도를 나타낸다.
도 16은 본 발명의 실시예에 따른 차량의 모식도를 나타낸다.
도 17은 예시적인 일 실시예를 나타내는 전자 기기(800)의 블록도이다.
이하에 도면을 참조하면서 본 발명의 다양한 예시적인 실시예, 특징 및 측면을 상세하게 설명한다. 도면에서 동일한 부호는 동일 또는 유사한 기능의 요소를 나타낸다. 도면에서 실시예의 다양한 측면을 나타냈으나, 특별히 언급하지 않는 한, 비례에 따라 도면을 그릴 필요는 없다.
여기에서의 용어 「예시적」이란, 「예, 실시예로서 사용되는 것 또는 설명적인 것」을 의미한다. 여기에서 「예시적」으로 설명되는 어떠한 실시예도 다른 실시예보다 바람직하거나 또는 우수한 것으로 이해해서는 안된다.
본 명세서에서의 용어 「및/또는」은 단순히 관련 대상의 관련 관계를 기술하기 위한 것에 불과하고, 3개의 관계가 존재 가능함을 나타내며, 예를 들면, A 및/또는 B는 A만이 존재하거나, A와 B가 동시에 존재하거나, B만이 존재하는 세 가지 경우를 나타낼 수 있다. 또한, 본 명세서에서, 용어 「하나 이상」은 다종 중 어느 하나 또는 다종 중 적어도 두 개의 임의의 조합을 나타내고, 예를 들면, A, B 및 C 중 하나 이상을 포함하는 것은, A, B 및 C로 구성되는 집합에서 선택된 어느 하나 또는 복수의 요소를 포함하는 것을 나타낼 수 있다.
또한, 본 발명을 보다 효과적으로 설명하기 위해, 이하의 구체적인 실시형태에서 다양한 구체적인 상세를 개시한다. 당업자이면 본 발명은 어떤 구체적인 상세가 없어도 동일하게 실시할 수 있는 것으로 이해해야 한다. 일부 실시예에서는 본 발명의 취지를 강조하기 위해 당업자에게 이미 알려진 방법, 수단, 요소 및 회로에 대해 상세한 설명을 생략한다.
도 1은 본 발명의 실시예에 따른 차량의 도어록 해제 방법의 흐름도를 나타낸다. 이 차량의 도어록 해제 방법은 차량의 도어록 해제 장치에 의해 실행되도록 해도 된다. 예를 들면, 이 차량의 도어록 해제 장치는 차량의 B필러, 하나 이상의 도어, 및 하나 이상의 백미러 중 하나 이상에 장착되도록 해도 된다. 도 2는 차량의 B필러의 모식도를 나타낸다. 예를 들면, 차량의 도어록 해제 장치는 B필러에 지면에서 130㎝∼160㎝ 떨어진 지점에 장착되고, 그 수평 인식 거리가 30㎝∼100㎝이도록 해도 되지만, 여기에서 이를 한정하지 않는다. 도 3은 본 발명의 실시예에 따른 차량의 도어록 해제 방법에서의 차량의 도어록 해제 장치의 장착 높이와 인식 가능한 신장 범위의 모식도를 나타낸다. 도 3에 나타내는 예에 있어서, 차량의 도어록 해제 장치의 장착 높이가 160㎝이고, 인식 가능한 신장 범위가 140㎝∼190㎝이다.
가능한 일 실시형태에서는 이 차량의 도어록 해제 방법은 프로세서에 의해 메모리에 기억되어 있는 컴퓨터 판독 가능 명령을 불러 냄으로써 실현되도록 해도 된다.
도 1에 나타내는 바와 같이, 이 차량의 도어록 해제 방법은 단계(S11)∼단계(S14)를 포함한다.
단계(S11)에서 차량에 설치되는 하나 이상의 거리 센서에 의해 차량 밖의 목표 대상물과 차량 사이의 거리를 취득한다.
가능한 일 실시형태에서는 하나 이상의 거리 센서는 블루투스 거리 센서를 포함하고, 차량에 설치되는 하나 이상의 거리 센서에 의해 차량 밖의 목표 대상물과 차량 사이의 거리를 취득하는 것은 외부 장치와 블루투스 거리 센서의 블루투스에 의한 페어링 접속을 확립하는 것과, 블루투스에 의한 페어링 접속의 성공에 따라, 블루투스 거리 센서에 의해 외부 장치를 갖고 있는 목표 대상물과 차량 사이의 제1 거리를 취득하는 것을 포함한다.
이 실시형태에서는 외부 장치는 예를 들면, 휴대전화, 웨어러블 장치 또는 전자 키 등 블루투스 기능이 있는 어떠한 휴대용 장치여도 된다. 여기서, 웨어러블 장치는 스마트 팔찌 또는 스마트 글래스 등이어도 된다.
일례에서, 하나 이상의 거리 센서가 블루투스 거리 센서를 포함하는 경우에, RSSI(Received Signal Strength Indication, 수신 신호 강도 인디케이션)에 의해 외부 장치를 갖고 있는 목표 대상물과 차량 사이의 제1 거리를 계측하도록 해도 된다. 여기서, 블루투스에 의한 거리 측정 범위가 1∼100m이다. 예를 들면, 외부 장치를 갖고 있는 목표 대상물과 차량 사이의 제1 거리가 식 1에 의해 결정되도록 해도 된다.
Figure pct00001
단,
Figure pct00002
는 현재의 RSSI를 나타내고,
Figure pct00003
는 마스터와 슬레이브(블루투스 거리 센서와 외부 장치)의 거리가 1m인 경우의 RSSI를 나타내고,
Figure pct00004
은 온도, 습도 등의 환경 요소에 관련된 전파 상수(propagation constant)를 나타내고,
Figure pct00005
은 외부 장치를 갖고 있는 목표 대상물과 블루투스 거리 센서 사이의 제1 거리를 나타낸다.
일례에서,
Figure pct00006
이 환경의 변화에 따라 변화한다. 상이한 환경에서 거리를 측정하기 전에 환경 요소(예를 들면, 온도 및 습도)에 따라
Figure pct00007
을 조정할 필요가 있다. 환경 요소에 따라
Figure pct00008
을 조정함으로써 상이한 환경에서 블루투스에 의한 거리 측정의 정확성을 높일 수 있다.
일례에서,
Figure pct00009
는 상이한 외부 장치에 따라 교정될 필요가 있다. 상이한 외부 장치에 따라
Figure pct00010
를 교정함으로써, 상이한 외부 장치에 대해 블루투스에 의한 거리 측정의 정확성을 높일 수 있다.
일례에서, 블루투스 거리 센서에서 검출된 제1 거리를 복수회 취득하고, 복수회 취득된 제1 거리의 평균값에 기초하여 소정의 조건을 충족하는지 여부를 판정하도록 해도 된다. 이에 의해, 1회의 거리 측정에 비해 오차를 작게 할 수 있다.
이 실시형태에서는 외부 장치와 블루투스 거리 센서의 블루투스에 의한 페어링 접속을 확립함으로써, 블루투스 인증이 추가되고, 도어록 해제의 보안성을 높일 수 있다.
가능한 다른 일 실시형태에서는 하나 이상의 거리 센서는 초음파 거리 센서를 포함하고, 차량에 설치되는 하나 이상의 거리 센서에 의해 차량 밖의 목표 대상물과 차량 사이의 거리를 취득하는 것은 차량의 차실 외부에 설치되는 초음파 거리 센서에 의해 목표 대상물과 차량 사이의 제2 거리를 취득하는 것을 포함한다.
일례에서, 초음파에 의한 거리 측정 범위는 0.1∼10m이고, 측정의 정밀도는 1㎝이다. 초음파에 의한 거리 측정의 공식은 식 3으로 나타내도 된다.
Figure pct00011
단, L은 제2 거리를 나타내고, C는 공기 중에서의 초음파의 전파 속도를 나타내고, Tu는 초음파의 송신 시간과 수신 시간의 시간차의 1/2과 동일하다.
단계 S12에서, 거리가 소정의 조건을 충족함에 따라 차량에 설치되는 이미지 취득 모듈을, 목표 대상물의 제1 이미지를 취득하도록 기상시켜 제어한다.
가능한 일 실시형태에서는 소정의 조건은 거리가 소정의 거리 임계치보다 작은 것과, 거리가 소정의 거리 임계치보다 작아지는 지속 시간이 소정의 시간 임계치에 도달하는 것과, 지속 시간의 기간에 취득되는 거리가 목표 대상물이 차량에 접근하고 있음을 나타내는 것 중 하나 이상을 포함한다.
일례에서, 소정의 조건은 거리가 소정의 거리 임계치보다 작은 것이다. 예를 들면, 블루투스 거리 센서에 의해 복수회 검출된 제1 거리의 평균값이 거리 임계치보다 작아지면 소정의 조건을 충족하는 것으로 판정한다. 예를 들면, 거리 임계치가 5m이다.
다른 예에서, 소정의 조건은 거리가 소정의 거리 임계치보다 작아지는 지속 시간이 소정의 시간 임계치에 도달하는 것이다. 예를 들면, 초음파 거리 센서에 의해 검출된 제2 거리를 취득하는 경우에 제2 거리가 거리 임계치보다 작아지는 지속 시간이 시간 임계치에 도달하면 소정의 조건을 충족하는 것으로 판정한다.
가능한 일 실시형태에서는 하나 이상의 거리 센서는 블루투스 거리 센서 및 초음파 거리 센서를 포함하고, 차량에 설치되는 하나 이상의 거리 센서에 의해 차량 밖의 목표 대상물과 차량 사이의 거리를 취득하는 것은 외부 장치와 블루투스 거리 센서의 블루투스에 의한 페어링 접속을 확립하는 것과, 블루투스에 의한 페어링 접속의 성공에 따라, 블루투스 거리 센서에 의해 외부 장치를 갖고 있는 목표 대상물과 차량 사이의 제1 거리를 취득하는 것과, 초음파 거리 센서에 의해 목표 대상물과 차량 사이의 제2 거리를 취득하는 것을 포함하고, 거리가 소정의 조건을 충족함에 따라 차량에 설치되는 이미지 취득 모듈을, 목표 대상물의 제1 이미지를 취득하도록 기상시켜 제어하는 것은 제1 거리 및 제2 거리가 소정의 조건을 충족함에 따라 차량에 설치되는 이미지 취득 모듈을, 목표 대상물의 제1 이미지를 취득하도록 기상시켜 제어하는 것을 포함한다.
이 실시형태에서는 블루투스 거리 센서와 초음파 거리 센서를 협동시킴으로써, 도어록 해제의 보안성을 높일 수 있다.
가능한 일 실시형태에서는 소정의 조건은 제1 소정의 조건 및 제2 소정의 조건을 포함하고, 제1 소정의 조건은 제1 거리가 소정의 제1 거리 임계치보다 작은 것과, 제1 거리가 소정의 제1 거리 임계치보다 작아지는 지속 시간이 소정의 시간 임계치에 도달하는 것과, 지속 시간의 기간에 취득되는 제1 거리가 목표 대상물이 차량에 접근하고 있음을 나타내는 것 중 하나 이상을 포함하고, 제2 소정의 조건은 제2 거리가 제1 거리 임계치보다 작은 소정의 제2 거리 임계치보다 작은 것과, 제2 거리가 소정의 제2 거리 임계치보다 작아지는 지속 시간이 소정의 시간 임계치에 도달하는 것을 포함한다.
가능한 일 실시형태에서는 제1 거리 및 제2 거리가 소정의 조건을 충족함에 따라 차량에 설치되는 이미지 취득 모듈을, 목표 대상물의 제1 이미지를 취득하도록 기상시켜 제어하는 것은 제1 거리가 제1 소정의 조건을 충족함에 따라 차량에 설치되는 얼굴 인식 시스템을 기상시키는 것과, 제2 거리가 제2 소정의 조건을 충족함에 따라 기상된 얼굴 인식 시스템에 의해 목표 대상물의 제1 이미지를 취득하도록 이미지 취득 모듈을 제어하는 것을 포함한다.
얼굴 인식 시스템의 기상은 통상, 약간의 시간, 예를 들면, 4∼5초가 걸리기 때문에, 얼굴 인식 트리거 및 처리가 늦어져, 사용자 경험에 영향을 미친다. 상기 실시형태에서는 블루투스 거리 센서와 초음파 거리 센서를 조합함으로써, 얼굴 인식 시스템은 블루투스 거리 센서에서 취득된 제1 거리가 제1 소정의 조건을 충족하면, 기상되어 조기에 동작 가능 상태가 되고, 초음파 거리 센서에서 취득된 제2 거리가 제2 소정의 조건을 충족하면, 얼굴 이미지 처리를 신속하게 실행할 수 있다. 이와 같이, 얼굴 인식의 효율을 높이고, 사용자 경험을 개선시킬 수 있다.
가능한 일 실시형태에서는 거리 센서는 초음파 거리 센서이고, 소정의 거리 임계치는 산출되어 얻은, 차량 밖의 목표 대상물과 차량 사이의 거리 임계치의 기준값을 나타내는 거리 임계치 기준값 및 차량 밖의 목표 대상물과 차량 사이의 거리 임계치 오프셋값을 나타내는 소정의 거리 임계치 오프셋값에 기초하여 결정된다.
일례에서, 거리 오프셋값은 사람이 서있음으로써 차지하는 거리에 기초하여 결정되도록 해도 된다. 예를 들면, 거리 오프셋값은 초기화시에 디폴트값이 설정된다. 예를 들면, 디폴트값이 10㎝가 된다.
가능한 일 실시형태에서는 소정의 거리 임계치는 거리 임계치 기준값과 소정의 거리 임계치 오프셋값의 차와 동일하다. 예를 들면, 거리 임계치 기준값을 D'로 하고, 거리 임계치 오프셋값을 Dw로 하면 소정의 거리 임계치는 식 4에 의해 결정되어도 된다.
Figure pct00012
거리 임계치 기준값 및 거리 임계치 오프셋값에 기초하여 소정의 거리 임계치를 결정하는 양태에 대해, 상기와 같이 소정의 거리 임계치가 거리 임계치 기준값과 거리 임계치 오프셋값의 차와 동일한 것을 예로서 설명하지만, 당업자이면 본 발명에 있어서 이것에 한정되지 않는 것으로 이해할 수 있다. 당업자이면, 실제 적용 장면의 요구 및/또는 개인적인 취향에 따라 소정의 거리 임계치를 거리 임계치 기준값 및 거리 임계치 오프셋값에 기초하여 결정하는 구체적인 실현 형태를 유연하게 설정할 수 있다. 예를 들면, 소정의 거리 임계치는 거리 임계치 기준값과 거리 임계치 오프셋값의 합과 동일하게 해도 된다. 또한, 예를 들면, 거리 임계치 기준값과, 거리 임계치 오프셋값과 제5 소정 계수의 곱의 차를 소정의 거리 임계치로서 결정하도록 해도 된다.
일례에서, 거리 임계치 기준값은 차량의 이그니션 오프 후의 특정 기간의 차량 밖의 대상물과 차량 사이의 거리의 평균값을 나타내는 차량의 이그니션 오프 후의 거리 평균값과, 도어록 해제 가능한 최대 거리 중 최소값을 취한다. 예를 들면, 차량의 이그니션 오프 후의 특정 기간을 차량의 이그니션 오프 후의 N초로 하면, 차량의 이그니션 오프 후의 특정 기간에 거리 센서에 의해 검출한 거리의 평균값이
Figure pct00013
가 되고, 단,
Figure pct00014
는 거리 센서에서 취득된 t시각의 거리값을 나타낸다. 예를 들면, 도어록 해제 가능한 최대 거리를
Figure pct00015
로 하면, 거리 임계치 기준값은 식 5에 의해 결정되어도 된다.
Figure pct00016
즉, 거리 임계치 기준값은 차량의 이그니션 오프 후의 거리 평균값
Figure pct00017
과 도어록 해제 가능한 최대 거리
Figure pct00018
중 최소값을 취한다.
다른 예에서, 거리 임계치 기준값은 차량의 이그니션 오프 후의 거리 평균값과 동일하다. 이 예에서, 도어록 해제 가능한 최대 거리를 고려하지 않고, 차량의 이그니션 오프 후의 거리 평균값에만 기초하여 거리 임계치 기준값을 결정한다.
다른 예에서, 거리 임계치 기준값은 도어록 해제 가능한 최대 거리와 동일하다. 이 예에서, 차량의 이그니션 오프 후의 거리 평균값을 고려하지 않고, 도어록 해제 가능한 최대 거리에만 기초하여 거리 임계치 기준값을 결정한다.
가능한 일 실시형태에서는 거리 임계치 기준값은 주기적으로 갱신된다. 예를 들면, 거리 임계치 기준값의 갱신 주기는 5분이고, 즉, 거리 임계치 기준값을 5분마다 갱신하도록 해도 된다. 거리 임계치 기준값을 주기적으로 갱신함으로써, 상이한 환경에 적응 가능해진다.
가능한 다른 일 실시형태에서는 결정된 거리 임계치 기준값을 갱신하지 않아도 된다.
가능한 다른 일 실시형태에서는 소정의 거리 임계치는 디폴트값으로 설정되어도 된다.
가능한 일 실시형태에서는 거리 센서는 초음파 거리 센서이고, 소정의 시간 임계치는 산출되어 얻은, 차량 밖의 대상물과 차량 사이의 거리가 소정의 거리 임계치보다 작아지는 시간의 임계치의 기준값을 나타내는 시간 임계치 기준값 및 차량 밖의 대상물과 차량 사이의 거리가 소정의 거리 임계치보다 작아지는 시간의 임계치의 오프셋값을 나타내는 시간 임계치 오프셋값에 기초하여 결정된다.
일부 실시예에서는 시간 임계치 오프셋값은 실험적으로 결정되어도 된다. 일례에 있어서, 시간 임계치 오프셋값은 시간 임계치 기준값의 1/2로 디폴트로 설정되어도 된다. 당업자이면 실제 적용 장면의 요구 및/또는 개인적인 취향에 따라 시간 임계치 오프셋값을 유연하게 설정할 수 있고, 여기에 한정되지 않는다.
가능한 다른 일 실시형태에서는 소정의 시간 임계치는 디폴트값으로 설정되어도 된다.
가능한 일 실시형태에서는 소정의 시간 임계치는 시간 임계치 기준값과 시간 임계치 오프셋값의 합과 동일하다. 예를 들면, 시간 임계치 기준값을 Ts로 하고, 시간 임계치 오프셋값을 Tw로 하면, 소정의 시간 임계치는 식 6에 의해 결정되어도 된다.
Figure pct00019
시간 임계치 기준값 및 시간 임계치 오프셋값에 기초하여 소정의 시간 임계치를 결정하는 양태에 대해, 상기와 같이 소정의 시간 임계치가 시간 임계치 기준값과 시간 임계치 오프셋값의 합과 동일한 것을 예로서 설명했지만, 당업자이면 본 발명에서 이에 한정되지 않는 것으로 이해할 수 있다. 당업자이면 실제 적용 장면의 요구 및/또는 개인적인 취향에 따라 소정의 시간 임계치를 시간 임계치 기준값 및 시간 임계치 오프셋값에 기초하여 결정하는 구체적인 실현 형태를 유연하게 설정할 수 있다. 예를 들면, 소정의 시간 임계치는 시간 임계치 기준값과 시간 임계치 오프셋값의 차와 동일하도록 해도 된다. 또한, 예를 들면, 시간 임계치 오프셋값과 제6 소정 계수의 곱과, 시간 임계치 기준값의 합을 소정의 시간 임계치로서 결정하도록 해도 된다.
가능한 일 실시형태에서는 시간 임계치 기준값은 초음파 거리 센서의 수평 방향 검지 각도, 초음파 거리 센서의 검지 반경, 대상물 사이즈 및 대상물 속도 중 하나 또는 복수에 기초하여 결정된다.
도 4는 본 발명의 실시예에 따른 차량의 도어록 해제 방법에서의 초음파 거리 센서의 수평 방향 검지 각도 및 초음파 거리 센서의 검지 반경의 모식도를 나타낸다. 예를 들면, 시간 임계치 기준값은 초음파 거리 센서의 수평 방향 검지 각도, 초음파 거리 센서의 검지 반경, 1종 이상의 목표 대상물 사이즈 및 1종 이상의 목표 대상물 속도에 기초하여 결정된다. 초음파 거리 센서의 검지 반경은 초음파 거리 센서의 수평 방향의 검지 반경으로 해도 된다. 초음파 거리 센서의 검지 반경은 도어록 해제 가능한 최대 거리, 예를 들면, 1m와 동일하도록 해도 된다.
다른 예에서, 시간 임계치 기준값은 디폴트값으로 설정되어도 되고, 다른 파라미터에 기초하여 결정되어도 되고, 여기에 한정되지 않는다.
가능한 일 실시형태에서는 이 방법은 종별마다의 대상물 사이즈, 종별마다의 대상물 속도, 초음파 거리 센서의 수평 방향 검지 각도 및 초음파 거리 센서의 검지 반경에 기초하여, 종별마다의 대상물에 대응하는 후보 기준값을 결정하는 것과, 종별마다의 대상물에 대응하는 후보 기준값에서 시간 임계치 기준값을 결정하는 것을 추가로 포함한다.
예를 들면, 종별은 보행자 종별, 자전거 종별 및 오토바이 종별 등을 포함해도 된다. 대상물 사이즈는 대상물의 폭이도록 해도 된다. 예를 들면, 보행자 종별의 대상물 사이즈는 보행자의 폭의 경험치이고, 자전거 종별의 대상물 사이즈는 자전거 폭의 경험치 등이도록 해도 된다. 대상물 속도는 대상물 속도의 경험치이도록 해도 된다. 예를 들면, 보행자 종별의 대상물 속도는 보행자의 보행 속도의 경험치이도록 해도 된다.
일례에서, 종별마다의 대상물 사이즈, 종별마다의 대상물 속도, 초음파 거리 센서의 수평 방향 검지 각도 및 초음파 거리 센서의 검지 반경에 기초하여, 종별마다의 대상물에 대응하는 후보 기준값을 결정하는 것은 식 2를 사용하여 종별
Figure pct00020
의 대상에 대응하는 후보 기준값
Figure pct00021
를 결정하는 것을 포함한다.
Figure pct00022
단,
Figure pct00023
는 거리 센서의 수평 방향 검지 각도를 나타내고,
Figure pct00024
은 거리 센서의 검지 반경을 나타내고,
Figure pct00025
는 종별
Figure pct00026
의 대상물 사이즈를 나타내고,
Figure pct00027
는 종별
Figure pct00028
의 대상물 속도를 나타낸다.
종별마다의 대상물 사이즈, 종별마다의 대상물 속도, 초음파 거리 센서의 수평 방향 검지 각도 및 초음파 거리 센서의 검지 반경에 기초하여, 종별마다의 대상물에 대응하는 후보 기준값을 결정하는 양태에 대해, 상기와 같이 식 2를 예로서 설명했지만, 당업자이면 본 발명에서 이에 한정되지 않는 것으로 이해할 수 있다. 예를 들면, 당업자는 실제 적용 장면의 요구에 따라 식 2를 조정할 수 있다.
가능한 일 실시형태에서는 종별마다의 대상물에 대응하는 후보 기준값에서 시간 임계치 기준값을 결정하는 것은 종별마다의 대상물에 대응하는 후보 기준값 중 최대값을 시간 임계치 기준값으로서 결정하는 것을 포함한다.
다른 예에서, 종별마다의 대상물에 대응하는 후보 기준값의 평균값을 시간 임계치 기준값으로서 결정해도 되고, 종별마다의 대상물에 대응하는 후보 기준값 중 하나를 시간 임계치 기준값으로서 랜덤으로 선택해도 되지만, 여기에 한정되지 않는다.
일부 실시예에서는 소정의 시간 임계치는 체험에 영향을 주지 않도록 1초보다 작게 설정된다. 일례에서는, 초음파 거리 센서의 수평 방향 검지 각도를 작게 함으로써, 보행자, 자전거 등의 통과에 의한 간섭을 감소시킬 수 있다.
본 발명의 실시예에서는 환경에 따라 소정의 시간 임계치를 동적으로 갱신하지 않도록 해도 된다.
본 발명의 실시예에서는 거리 센서는 장시간에 걸쳐 저소비 전력(<5mA)으로 동작할 수 있다.
단계(S13)에서 제1 이미지에 기초하여 얼굴 인식을 행한다.
가능한 일 실시형태에서는 얼굴 인식은 생체 검출 및 얼굴 인증을 포함하고, 제1 이미지에 기초하여 얼굴 인식을 행하는 것은 이미지 취득 모듈의 이미지 센서에 의해 제1 이미지를 취득하고, 제1 이미지 및 미리 등록된 얼굴 특징에 기초하여 얼굴 인증을 행하는 것과, 이미지 취득 모듈의 심도 센서에 의해 제1 이미지에 대응하는 제1 심도맵을 취득하고, 제1 이미지 및 제1 심도맵에 기초하여 생체 검출을 행하는 것을 포함한다.
본 발명의 실시예에서는 제1 이미지는 목표 대상물을 포함한다. 여기서, 목표 대상물은 얼굴 또는 인체의 적어도 일부여도 되고, 본 발명의 실시예에서 이에 대해 한정하지 않는다.
여기서, 제1 이미지는 정적 이미지 또는 비디오 프레임의 이미지여도 된다. 예를 들면, 비디오 시퀀스에서 선택된 이미지를 제1 이미지로 하고, 또한 다양한 방식으로 비디오 시퀀스에서 이미지를 선택할 수 있다. 구체적인 일례에서는 제1 이미지는 비디오 시퀀스에서 선택된 소정의 품질 조건을 충족하는 이미지이고, 이 소정의 품질 조건은 목표 대상물을 포함하는지 여부, 목표 대상물이 이미지의 중심 영역에 위치하는지 여부, 목표 대상물이 완전히 이미지에 포함되는지 여부, 목표 대상물이 이미지에서 차지하는 비율, 목표 대상물의 상태(예를 들면, 얼굴 각도), 이미지 선명도, 이미지 노광도 등 중 하나 또는 임의의 조합을 포함해도 되고, 본 발명의 실시예에서 이들에 한정하지 않는다.
일례에서, 생체 검출을 행하고 나서 얼굴 인증을 행하도록 해도 된다. 예를 들면, 목표 대상물이 생체임을 나타내는 목표 대상물의 생체 검출 결과인 경우, 얼굴 인증 플로우가 트리거되고, 목표 대상물이 보철임을 나타내는 목표 대상물의 생체 검출 결과인 경우, 얼굴 인증 플로우가 트리거되지 않는다.
다른 예에 있어서, 얼굴 인증을 행하고 나서 생체 검출을 행하도록 해도 된다. 예를 들면, 얼굴 인증이 성공할 경우, 생체 검출 플로우가 트리거되고, 얼굴 인증이 실패할 경우, 생체 검출 플로우가 트리거되지 않는다.
다른 예에서, 생체 검출과 얼굴 인증을 동시에 행하도록 해도 된다.
이 실시형태에서는 생체 검출은 목표 대상물이 생체인지 여부를 검증하기 위한 것으로, 예를 들면, 목표 대상물이 인체인지 여부를 검증할 수 있다. 얼굴 인증은 취득된 이미지에서의 얼굴 특징을 추출하고, 취득된 이미지에서의 얼굴 특징을 미리 등록된 얼굴 특징과 조합(照合)하고, 동일한 사람의 얼굴 특징인지 여부를 판단하기 위한 것이고, 예를 들면, 취득된 이미지에서의 얼굴 특징이 차량 소유자의 얼굴 특징인지 여부를 판단할 수 있다.
본 발명의 실시예에서는 심도 센서란 심도 정보를 취득하기 위한 센서를 가리킨다. 본 발명의 실시예는 심도 센서의 동작 원리 및 동작 파장대를 한정하지 않는다.
본 발명의 실시예에서는 이미지 취득 모듈의 이미지 센서와 심도 센서는 별도로 설치되어도 되고, 일체적으로 설치되어도 된다. 예를 들면, 이미지 취득 모듈의 이미지 센서와 심도 센서는 이미지 센서가 RGB(Red, 적; Green; 녹; Blue, 청) 센서 또는 적외선 센서를 채용하고, 심도 센서가 양안 적외선 센서 또는 TOF(Time of Flight, 비행 시간) 센서를 채용하도록 별도로 설치되어도 되고, 이미지 취득 모듈이 RGBD(Red, 적; Green 녹; Blue, 청; Deep 심도) 센서를 사용하여 이미지 센서와 심도 센서의 기능을 실현하도록 일체적으로 설치되어도 된다.
일례로서, 이미지 센서는 RGB 센서이다. 이미지 센서가 RGB 센서인 경우, 이미지 센서에서 취득된 이미지는 RGB 이미지이다.
다른 예로서, 이미지 센서는 적외선 센서이다. 이미지 센서가 적외선 센서인 경우, 이미지 센서에서 취득된 이미지는 적외선 이미지이다. 여기서, 적외선 이미지는 스팟이 있는 것이어도 되고, 스팟이 없는 것이어도 된다.
다른 예에서, 이미지 센서는 다른 종별의 센서여도 되고, 본 발명의 실시예에서 이에 대해 한정하지 않는다.
선택 가능적으로, 차량의 도어록 해제 장치는 다양한 방식으로 제1 이미지를 취득할 수 있다. 예를 들면, 일부 실시예에서는 차량의 도어록 해제 장치에 카메라가 설치되어 있고, 차량의 도어록 해제 장치는 카메라에 의해 정적 이미지 또는 비디오 스트림을 취득하여 제1 이미지를 얻는다. 본 발명의 실시예에서, 제1 이미지의 취득 방식에 대해 한정하지 않는다.
일례로서, 심도 센서는 3차원 센서이다. 예를 들면, 심도 센서는 2개의 적외선 카메라를 포함하는 양안 적외선 센서, 비행 시간 TOF 센서 또는 구조화 광센서이다. 구조화 광센서는 코드화 구조화 광센서 또는 스페클 구조화 광센서여도 된다. 심도 센서에 의해 목표 대상물의 심도맵을 취득함으로써, 고정밀도의 심도맵을 취득할 수 있다. 본 발명의 실시예는 목표 대상물을 포함하는 심도맵을 사용하여 생체 검출을 행함으로써, 목표 대상물의 심도 정보를 충분히 발견할 수 있고, 생체 검출의 정확성을 높일 수 있다. 예를 들면, 목표 대상물이 얼굴인 경우, 본 발명의 실시예는 얼굴을 포함하는 심도맵을 사용하여 생체 검출을 행함으로써, 얼굴 데이터의 심도 정보를 충분히 발견할 수 있고, 생체 얼굴 검출의 정확성을 높일 수 있다.
일례에서, TOF 센서는 적외선 파장역에 기초하는 TOF 모듈을 사용한다. 이 예에서, 적외선 파장역에 기초하는 TOF 모듈을 사용함으로써, 외부 광선에 의한 심도맵의 촬영에 대한 영향을 저감시킬 수 있다.
본 발명의 실시예에서는 제1 심도맵과 제1 이미지는 대응하는 것이다. 예를 들면, 제1 심도맵 및 제1 이미지는 각각 심도 센서 및 이미지 센서에 의해 동일한 장면에 대해 취득한 것이고, 또는 심도 센서 및 이미지 센서에 의해 동일 시각에서 동일 목표 영역에 대해 취득된 것이지만, 본 발명의 실시예는 이에 대해 한정하지 않는다.
도 5a는 본 발명의 실시예에 따른 차량의 도어록 해제 방법에서의 이미지 센서 및 심도 센서의 모식도를 나타낸다. 도 5a에 나타내는 예에서, 이미지 센서는 RGB 센서이고, 이미지 센서의 카메라는 RGB 카메라이고, 심도 센서는 양안 적외선 센서이고, 이미지 센서의 RGB 카메라의 양측에 설치되는 2개의 적외선(IR) 카메라를 포함한다. 여기서, 2개의 적외선 카메라는 양안 시차의 원리에 기초하여 심도 정보를 취득한다.
일례에서, 이미지 취득 모듈은 양안 적외선 센서의 적외선 카메라와 이미지 센서의 카메라 사이에 설치되는 것으로서, 이미지 센서용 보광 라이트 및 심도 센서용 보광 라이트 중 적어도 일방을 포함하는 하나 이상의 보광 라이트를 추가로 포함한다. 예를 들면, 이미지 센서가 RGB 센서인 경우, 이미지 센서용 보광 라이트는 화이트 라이트이고, 이미지 센서가 적외선 센서인 경우, 이미지 센서용 보광 라이트는 적외선 라이트이고, 심도 센서가 양안 적외선 센서인 경우, 심도 센서용 보광 라이트는 적외선 라이트이도록 해도 된다. 도 5a에 나타내는 예에서 양안 적외선 센서의 적외선 카메라와 이미지 센서의 카메라 사이에 적외선 라이트가 설치되어 있다. 예를 들면, 적외선 라이트는 940㎚의 적외선을 사용하도록 해도 된다.
일례에서, 보광 라이트는 노멀 오픈 모드로 해도 된다. 이 예에서, 이미지 취득 모듈의 카메라가 동작 상태에 있을 때, 보광 라이트는 온 상태에 있다.
다른 예에서, 광선이 부족한 경우에 보광 라이트를 온으로 해도 된다. 예를 들면, 환경 광센서에 의해 환경 광 강도를 취득하고, 환경 광 강도가 광 강도 임계치보다 낮은 경우에 광선이 부족한 것으로 판정하고, 보광 라이트를 온으로 하도록 해도 된다.
도 5b는 본 발명의 실시예에 따른 차량의 도어록 해제 방법에서의 이미지 센서 및 심도 센서의 다른 모식도를 나타낸다. 도 5b에 나타내는 예에서, 이미지 센서는 RGB 센서이고, 이미지 센서의 카메라는 RGB 카메라이고, 심도 센서는 TOF 센서이다.
일례에서, 이미지 취득 모듈은 심도 센서의 카메라와 이미지 센서의 카메라 사이에 설치되는 레이저를 추가로 포함한다. 예를 들면, 레이저가 TOF 센서의 카메라와 RGB 센서의 카메라 사이에 설치된다. 예를 들면, 레이저는 VCSEL(Vertical Cavity Surface Emitting Laser, 수직 공진기면 발광 레이저)이고, TOF 센서는 VCSEL에서 발생한 레이저 광에 의해 심도맵을 취득한다.
본 발명의 실시예에서는 심도 센서는 심도맵을 취득하기 위한 것이고, 이미지 센서는 2차원 이미지를 취득하기 위한 것이다. RGB 센서 및 적외선 센서를 예로서 이미지 센서를 설명하고, 양안 적외선 센서, TOF 센서 및 구조화 광센서를 예로서 심도 센서를 설명했지만, 당업자이면 본 발명의 실시예에서 이에 한정되지 않는 것으로 이해할 수 있다. 당업자이면 실제 적용의 요구에 따라 이미지 센서 및 심도 센서의 종류를 선택해도 되고, 2차원 이미지 및 심도맵의 취득을 각각 실현할 수 있으면 된다.
단계(S14)에서 얼굴 인식의 성공에 따라 차량의 하나 이상의 도어록에 도어록 해제 명령을 송신한다.
일례에서, 차량의 도어록 해제 장치의 SoC는 도어 영역 컨트롤러에 도어록 해제 명령을 송신하여, 도어를 해정하도록 제어할 수 있다.
본 발명의 실시예에 있어서의 도어는 출입을 위한 도어(예를 들면, 좌전 도어, 우전 도어, 좌후 도어, 우후 도어)를 포함해도 되고, 차량의 트렁크 도어 등을 포함해도 된다. 이에 따라, 상기 하나 이상의 도어록은 좌전 도어록, 우전 도어록, 좌후 도어록, 우후 도어록 및 트렁크 도어록 등 중 하나 이상을 포함해도 된다.
가능한 일 실시형태에서는 상기 얼굴 인식은 권한 인증을 추가로 포함하고, 상기 제1 이미지에 기초하여 얼굴 인식을 행하는 것은 제1 이미지에 기초하여 상기 목표 대상물의 해정 권한 정보를 취득하는 것과, 상기 목표 대상물의 해정 권한 정보에 기초하여 권한 인증을 행하는 것을 포함한다. 이 실시형태에 의하면, 상이한 사용자에 대해 상이한 해정 권한 정보를 설정할 수 있어, 차량의 보안성을 높일 수 있다.
이 실시형태의 일례로서, 상기 목표 대상물의 해정 권한 정보는 상기 목표 대상물에 해정 권한을 갖게 하는 도어의 정보, 상기 목표 대상물의 해정 권한의 기간, 상기 목표 대상물에 대응하는 해정 권한의 횟수 중 하나 또는 복수를 포함한다.
예를 들면, 상기 목표 대상물에 해정 권한을 갖게 하는 도어의 정보는 모든 도어 또는 일부의 도어로 해도 된다. 예를 들면, 차량 소유자나 차량 소유자의 가족, 친구에게 해정 권한을 갖게 하는 도어는 모든 도어이고, 배달원이나 부동산 관리 스태프에게 해정 권한을 갖게 하는 도어는 트렁크 도어이도록 해도 된다. 단, 차량 소유자에 의해 타인에게 해정 권한을 갖게 하는 도어 정보를 설정해도 된다. 예를 들면, 배차 서비스의 장면에서는 승객에게 해정 권한을 갖게 하는 도어는 운전석 이외의 도어 및 트렁크 도어이도록 해도 된다.
예를 들면, 목표 대상물의 해정 권한의 기간은 모든 시간대로 해도 되고, 소정의 시간대로 해도 된다. 예를 들면, 차량 소유자나 차량 소유자의 가족의 해정 권한의 기간은 모든 시간대이도록 해도 된다. 차량 소유자에 의해 타인에게 해정 권한의 기간을 설정해도 된다. 예를 들면, 차량 소유자는 차량을 친구에게 빌려주는 장면에서는 친구의 해정 권한의 기간을 2일간으로 설정해도 된다. 또한, 예를 들면, 차량 소유자는 배달원으로부터 연락을 받은 후, 배달원의 해정 권한의 기간을 2019년 9월 29일 13:00-14:00로 설정해도 된다. 또한, 예를 들면, 렌터카의 장면에서는 고객이 차량을 3일간 임차하면, 렌터카 스태프는 이 고객의 해정 권한의 기간을 3일간으로 설정해도 된다. 또한, 예를 들면, 배차 서비스의 장면에서는 승객의 해정 권한의 기간을 여행 주문서에 기재되어 있는 서비스 기간으로 해도 된다.
예를 들면, 목표 대상물에 대응하는 해정 권한의 횟수는 무한 횟수 또는 유한 횟수로 해도 된다. 예를 들면, 차량 소유자나 차량 소유자의 가족, 친구에 대응하는 해정 권한의 횟수는 무한 횟수로 해도 된다. 또한, 예를 들면, 배달원에 대응하는 해정 권한의 횟수는 유한 횟수, 예를 들면, 1회로 해도 된다.
가능한 일 실시형태에서는 제1 이미지 및 제1 심도맵에 기초하여 생체 검출을 행하는 것은 제1 이미지에 기초하여 제1 심도맵을 갱신하여 제2 심도맵을 얻는 것과, 제1 이미지 및 제2 심도맵에 기초하여 목표 대상물의 생체 검출 결과를 결정하는 것을 포함한다.
구체적으로는 제1 이미지에 기초하여 제1 심도맵에서의 하나 또는 복수의 화소의 심도값을 갱신하여 제2 심도맵을 얻는다.
일부 실시예에서는 제1 이미지에 기초하여 제1 심도맵에서의 심도 실효 화소의 심도값을 갱신하여 제2 심도맵을 얻는다.
여기서, 심도맵에서의 심도 실효 화소란, 심도맵에 포함되고, 무효한 심도값을 갖는 화소, 즉 정확하지 않은 심도값 또는 현실에 명백히 맞지 않는 심도값을 갖는 화소를 가리켜도 된다. 심도 실효 화소의 수는 1개 또는 복수여도 된다. 심도맵에서의 하나 이상의 심도 실효 화소의 심도값을 갱신함으로써, 심도 실효 화소의 심도값이 보다 정확해지고, 생체 검출의 정확도를 높이는 데 기여한다.
일부 실시예에서는 제1 심도맵은 결손값이 있는 심도맵이고, 제1 이미지에 기초하여 제1 심도맵을 수복함으로써 제2 심도맵을 얻는다. 여기서, 선택 가능적으로, 제1 심도맵의 수복에는 결손 화소의 심도값의 결정 또는 보완을 포함하지만, 본 발명의 실시예는 이에 한정되지 않는다.
본 발명의 실시예에서는 다양한 방식으로 제1 심도맵을 갱신 또는 수복할 수 있다. 일부 실시예에서는 제1 이미지를 직접 사용하여 생체 검출을 행하고, 예를 들면, 제1 이미지를 직접 사용하여 제1 심도맵을 갱신한다. 다른 일부 실시예에서는 제1 이미지를 전처리하고, 전처리 후의 제1 이미지에 기초하여 생체 검출을 행한다. 예를 들면, 제1 이미지에서 목표 대상물의 이미지를 취득하고, 목표 대상물의 이미지에 기초하여 제1 심도맵을 갱신한다.
다양한 방식으로 제1 이미지에서 목표 대상물의 이미지를 잘라낼 수 있다. 일례로서, 제1 이미지에 대해 목표 검출을 행하여 목표 대상물의 위치 정보, 예를 들면, 목표 대상물의 경계 박스(bounding box)의 위치 정보를 얻고, 목표 대상물의 위치 정보에 기초하여 제1 이미지에서 목표 대상물의 이미지를 잘라낸다. 예를 들면, 제1 이미지에서 목표 대상물의 경계 박스가 소재하는 영역의 이미지를 목표 대상물의 이미지로서 잘라내고, 또한, 예를 들면, 목표 대상물의 경계 박스를 일정한 배수로 확대하고, 제1 이미지에서 확대된 경계 박스가 소재하는 영역의 이미지를 목표 대상물의 이미지로서 잘라낸다. 다른 예로서, 제1 이미지에서의 목표 대상물의 키포인트 정보를 취득하고, 목표 대상물의 키포인트 정보에 기초하여 제1 이미지에서 목표 대상물의 이미지를 취득한다.
선택 가능적으로, 제1 이미지에 대해 목표 검출을 행하여 목표 대상물의 소재 영역의 위치 정보를 얻고, 목표 대상물의 소재 영역의 이미지에 대해 키포인트 검출을 행하여, 제1 이미지에서의 목표 대상물의 키포인트 정보를 얻는다.
선택 가능적으로, 목표 대상물의 키포인트 정보는 목표 대상물의 복수의 키포인트의 위치 정보를 포함해도 된다. 목표 대상물이 얼굴일 경우, 목표 대상물의 키포인트는 눈의 키포인트, 눈썹의 키포인트, 코의 키포인트, 입의 키포인트 및 얼굴 윤곽의 키포인트 등 중 하나 또는 복수를 포함해도 된다. 여기서, 눈의 키포인트는 눈 윤곽의 키포인트, 눈꼬리의 키포인트 및 눈동자의 키포인트 등 중 하나 또는 복수를 포함해도 된다.
일례에서, 목표 대상물의 키포인트 정보에 기초하여 목표 대상물의 윤곽을 결정하고, 목표 대상물의 윤곽에 기초하여 제1 이미지에서 목표 대상물의 이미지를 잘라낸다. 목표 검출에 의해 얻어진 목표 대상물의 위치 정보와 비교하면, 키포인트 정보에 의해 얻어진 목표 대상물의 위치가 보다 정확하고, 후속의 생체 검출의 정확도 향상에 기여한다.
선택 가능적으로, 제1 이미지에서의 목표 대상물의 키포인트에 기초하여 제1 이미지에서의 목표 대상물의 윤곽을 결정하고, 제1 이미지에서의 목표 대상물의 윤곽이 소재하는 영역의 이미지 또는 목표 대상물의 윤곽이 소재하는 영역이 일정한 배수로 확대된 영역의 이미지를, 목표 대상물의 이미지로서 결정하도록 해도 된다. 예를 들면, 제1 이미지에서 목표 대상물의 키포인트에 기초하여 결정된 타원형 영역을 목표 대상물의 이미지로서 결정하거나, 또는 제1 이미지에서 목표 대상물의 키포인트에 기초하여 결정된 타원형 영역의 최소 외접 직사각형 영역을 목표 대상물의 이미지로서 결정하도록 해도 되지만, 본 발명의 실시예는 목표 대상물의 이미지의 취득 방식을 한정하지 않는다.
이와 같이, 제1 이미지에서 목표 대상물의 이미지를 취득하고, 목표 대상물의 이미지에 기초하여 생체 검출을 행함으로써, 제1 이미지에서의 배경 정보에 의한 생체 검출에 대한 간섭을 저감시킬 수 있다.
본 발명의 실시예에서는 취득된 원래의 심도맵에 대해 갱신 처리를 행하도록 해도 된다. 혹은 일부 실시예에서는 제1 심도맵에서 목표 대상물의 심도맵을 취득하고, 제1 이미지에 기초하여 목표 대상물의 심도맵을 갱신하여 제2 심도맵을 얻는다.
일례로서, 제1 이미지에서의 목표 대상물의 위치 정보를 취득하고, 목표 대상물의 위치 정보에 기초하여 제1 심도맵에서 목표 대상물의 심도맵을 취득한다. 여기서, 선택 가능적으로, 미리 제1 심도맵 및 제1 이미지에 대해 등록 또는 위치 맞춤 처리를 행해도 된다. 본 발명의 실시예는 목표 대상물의 심도맵의 취득 방식을 한정하지 않는다.
이와 같이, 제1 심도맵에서 목표 대상물의 심도맵을 취득하고, 제1 이미지에 기초하여 목표 대상물의 심도맵을 갱신하여 제2 심도맵을 얻음으로써, 제1 심도맵에서의 배경 정보에 의한 생체 검출에 대한 간섭을 저감시킬 수 있다.
일부 실시예에서는 제1 이미지 및 제1 이미지에 대응하는 제1 심도맵이 취득된 후, 이미지 센서의 파라미터 및 심도 센서의 파라미터에 기초하여, 제1 이미지와 제1 심도맵의 위치 맞춤을 한다.
일례로서, 제1 심도맵에 대해 변환 처리를 행하여, 변환 처리 후의 제1 심도맵과 제1 이미지의 위치 맞춤을 하도록 해도 된다. 예를 들면, 심도 센서의 파라미터 및 이미지 센서의 파라미터에 기초하여 제1 변환 행렬을 결정하고, 제1 변환 행렬에 기초하여 제1 심도맵에 대해 변환 처리를 행하도록 해도 된다. 이에 따라, 제1 이미지의 적어도 일부에 기초하여, 변환 처리 후의 제1 심도맵의 적어도 일부를 갱신하여 제2 심도맵을 얻도록 해도 된다. 예를 들면, 제1 이미지에 기초하여 변환 처리 후의 제1 심도맵을 갱신하여 제2 심도맵을 얻는다. 또한, 예를 들면, 제1 이미지에서 잘라낸 목표 대상물의 이미지에 기초하여, 제1 심도맵에서 잘라낸 목표 대상물의 심도맵을 갱신하여 제2 심도맵을 얻는 등 하도록 한다.
다른 예로서, 제1 이미지에 대해 변환 처리를 행하여, 변환 처리 후의 제1 이미지와 제1 심도맵의 위치 맞춤을 하도록 해도 된다. 예를 들면, 심도 센서의 파라미터 및 이미지 센서의 파라미터에 기초하여 제2 변환 행렬을 결정하고, 제2 변환 행렬에 기초하여 제1 이미지에 대해 변환 처리를 행하도록 해도 된다. 이에 따라, 변환 처리 후의 제1 이미지의 적어도 일부에 기초하여 제1 심도맵의 적어도 일부를 갱신하여 제2 심도맵을 얻도록 해도 된다.
선택 가능적으로, 심도 센서의 파라미터는 심도 센서의 내부 파라미터 및/또는 외부 파라미터를 포함해도 되고, 이미지 센서의 파라미터는 이미지 센서의 내부 파라미터 및/또는 외부 파라미터를 포함해도 된다. 제1 심도맵과 제1 이미지의 위치 맞춤을 함으로써, 제1 심도맵과 제1 이미지의 대응 부분의, 제1 심도맵과 제1 이미지에서의 위치가 동일하도록 할 수 있다.
상술한 예에서는 제1 이미지는 원래의 이미지(예를 들면, RGB 또는 적외선 이미지)이고, 다른 일부 실시예에서는 제1 이미지는 원래의 이미지에서 잘라낸 목표 대상물의 이미지여도 되고, 유사하게, 제1 심도맵은 원래의 심도맵에서 잘라낸 목표 대상물의 심도맵이어도 되지만, 본 발명의 실시예는 이들을 한정하지 않는다.
도 6은 본 발명의 실시예에 따른 생체 검출 방법의 일례의 모식도를 나타낸다. 도 6에 나타내는 예에서, 제1 이미지가 RGB 이미지이고, 또한 목표 대상물이 얼굴이고, RGB 이미지와 제1 심도맵에 대해 s보정 처리를 행하고, 처리 후의 이미지를 얼굴 키포인트 모델에 입력하여 처리하고, RGB 얼굴 이미지(목표 대상물의 이미지) 및 심도 얼굴 이미지(목표 대상물의 심도맵)를 얻고, RGB 얼굴 이미지에 기초하여 심도 얼굴 이미지를 갱신 또는 수복한다. 이와 같이, 후속의 데이터 처리량을 저감시켜, 생체 검출 효율 및 정확도를 높일 수 있다.
본 발명의 실시예에서는 목표 대상물의 생체 검출 결과는 목표 대상물이 생체임을 나타내거나, 또는 목표 대상물이 보철임을 나타내도록 해도 된다.
일부 실시예에서는 제1 이미지 및 제2 심도맵을 생체 검출 뉴럴 네트워크에 입력하고 처리하여, 제1 이미지에서의 목표 대상물의 생체 검출 결과를 얻는다. 또는, 다른 생체 검출 알고리즘에 의해 제1 이미지 및 제2 심도맵을 처리하여 생체 검출 결과를 얻는다.
일부 실시예에서는 제1 이미지에 대해 특징 추출 처리를 행하여 제1 특징 정보를 얻고, 제2 심도맵에 대해 특징 추출 처리를 행하여 제2 특징 정보를 얻고, 제1 특징 정보 및 제2 특징 정보에 기초하여 제1 이미지에서의 목표 대상물의 생체 검출 결과를 결정한다.
여기서, 선택 가능적으로, 특징 추출 처리는 뉴럴 네트워크 또는 다른 기계 학습 알고리즘에 의해 실현할 수 있고, 추출된 특징 정보의 종별은 선택 가능적으로 샘플을 사용한 학습에 의해 얻을 수 있지만, 본 발명의 실시예는 이들에 한정되지 않는다.
일부 특정 장면(예를 들면, 실외의 광이 강한 장면)에서는 취득되는 심도맵(예를 들면, 심도 센서에서 취득되는 심도맵)은 일부 면적이 실효가 되는 경우가 있다. 또한, 정상적인 광의 조사에서도 안경에 의한 반사, 검은 머리카락 또는 검은 안경테 등의 요인에 의해 심도맵의 부분적 실효를 랜덤으로 일으킨다. 일부 특별한 종이도, 유사하게, 인쇄된 얼굴 사진의 심도맵에 넓은 면적의 실효 또는 부분적 실효를 일으킨다. 또한, 심도 센서에서의 액티브 광원이 차폐되는 경우, 보철의 심도맵의 일부가 실효가 되지만, 보철의 이미지 센서에서의 결상이 정상이 될 수 있다. 이와 같이, 심도맵의 일부 또는 전부가 실효가 되는 경우에, 심도맵에 기초하는 생체와 보철의 구별에 오차가 발생한다. 따라서, 본 발명의 실시예에서는 제1 심도맵을 수복 또는 갱신하고, 수복 또는 갱신 후의 심도맵을 사용하여 생체 검출을 행함으로써, 생체 검출의 정확도의 향상에 기여한다.
도 7은 본 발명의 실시예에 따른 생체 검출 방법으로 제1 이미지 및 제2 심도맵에 기초하여 제1 이미지 중에 있어서의 목표 대상물의 생체 검출 결과를 결정하는 일례의 모식도를 나타낸다.
이 예에서, 제1 이미지 및 제2 심도맵을 생체 검출 네트워크에 입력하여 생체 검출 처리를 행하고, 생체 검출 결과를 얻는다.
도 7에 나타내는 바와 같이, 이 생체 검출 네트워크는 제1 이미지에 대해 특징 추출 처리를 행하여 제1 특징 정보를 얻기 위한 제1 서브 네트워크 및 제2 심도맵에 대해 특징 추출 처리를 행하여 제2 특징 정보를 얻기 위한 제2 서브 네트워크와 같은 두 개의 브랜치를 포함한다.
선택 가능적인 일례에서는 제1 서브 네트워크는 합성곱층, 다운 샘플링층 및 전체 결합층을 포함해도 된다.
예를 들면, 제1 서브 네트워크는 1층의 합성곱층, 1층의 다운 샘플링층 및 1층의 전체 결합층을 포함해도 된다. 여기서, 이 1층의 합성곱층은 하나 또는 복수의 합성곱층을 포함해도 되고, 이 1층의 다운 샘플링층은 하나 또는 복수의 다운 샘플링층을 포함해도 되고, 이 1층의 전체 결합층은 하나 또는 복수의 전체 결합층을 포함해도 된다.
또한, 예를 들면, 제1 서브 네트워크는 다층의 합성곱층, 다층의 다운 샘플링층 및 1층의 전체 결합층을 포함해도 된다. 여기서, 각 층의 합성곱층은 하나 또는 복수의 합성곱층을 포함해도 되고, 각 층의 다운 샘플링층은 하나 또는 복수의 다운 샘플링층을 포함해도 되고, 이 1층의 전체 결합층은 하나 또는 복수의 전체 결합층을 포함해도 된다. 여기서, 제i 층의 합성곱층 뒤에 제i 층의 다운 샘플링층이 캐스케이드 접속되고, 제i 층의 다운 샘플링층 뒤에 제i+1층의 합성곱층이 캐스케이드 접속되고, 제n 층의 다운 샘플링층 뒤에 전체 결합층이 캐스케이드 접속되고, 여기서, i 및 n은 전부 양의 정수이고, 1≤i≤n이고, n은 심도 예측 뉴럴 네트워크에서의 합성곱층 및 다운 샘플링층의 층수이다.
또는, 제1 서브 네트워크는 합성곱층, 다운 샘플링층, 정규화층 및 전체 결합층을 포함해도 된다.
예를 들면, 제1 서브 네트워크는 1층의 합성곱층, 1개의 정규화층, 1층의 다운 샘플링층 및 1층의 전체 결합층을 포함해도 된다. 여기서, 이 1층의 합성곱층은 하나 또는 복수의 합성곱층을 포함해도 되고, 이 1층의 다운 샘플링층은 하나 또는 복수의 다운 샘플링층을 포함해도 되고, 이 1층의 전체 결합층은 하나 또는 복수의 전체 결합층을 포함해도 된다.
또한, 예를 들면, 제1 서브 네트워크는 다층의 합성곱층, 복수의 정규화층, 다층의 다운 샘플링층 및 1층의 전체 결합층을 포함해도 된다. 여기서, 각 층의 합성곱층은 하나 또는 복수의 합성곱층을 포함해도 되고, 각 층의 다운 샘플링층은 하나 또는 복수의 다운 샘플링층을 포함해도 되고, 이 1층의 전체 결합층은 하나 또는 복수의 전체 결합층을 포함해도 된다. 여기서, 제i 층의 합성곱층 뒤에 제i 정규화층이 캐스케이드 접속되고, 제i 정규화층 뒤에 제i 층의 다운 샘플링층이 캐스케이드 접속되고, 제i 층의 다운 샘플링층 뒤에 제i+1층 합성곱층이 캐스케이드 접속되고, 제n 층의 다운 샘플링층 뒤에, 전체 결합층이 캐스케이드 접속되고, 여기서, i 및 n은 전부 양의 정수이고, 1≤i≤n이고, n은 제1 서브 네트워크에서의 합성곱층, 다운 샘플링층의 층수 및 정규화층의 개수를 나타낸다.
일례로서, 제1 이미지에 대해 합성곱 처리를 행하여 제1 합성곱 결과를 얻고, 제1 합성곱 결과에 대해 다운 샘플링 처리를 행하여 제1 다운 샘플링 결과를 얻고, 제1 다운 샘플링 결과에 기초하여 제1 특징 정보를 얻는다.
예를 들면, 1층의 합성곱층 및 1층의 다운 샘플링층에 의해 제1 이미지에 대해 합성곱 처리 및 다운 샘플링 처리를 행하도록 해도 된다. 여기서, 이 1층의 합성곱층은 하나 또는 복수의 합성곱층을 포함해도 되고, 이 1층의 다운 샘플링층은 하나 또는 복수의 다운 샘플링층을 포함해도 된다.
또한, 예를 들면, 다층의 합성곱층 및 다층의 다운 샘플링층에 의해 제1 이미지에 대해 합성곱 처리 및 다운 샘플링 처리를 행하도록 해도 된다. 여기서, 각 층의 합성곱층은 하나 또는 복수의 합성곱층을 포함해도 되고, 각 층의 다운 샘플링층은 하나 또는 복수의 다운 샘플링층을 포함해도 된다.
예를 들면, 제1 합성곱 결과에 대해 다운 샘플링을 행하여 제1 다운 샘플링 결과를 얻는 것은 제1 합성곱 결과에 대해 정규화 처리를 행하여 제1 정규화 결과를 얻는 것과, 제1 정규화 결과에 대해 다운 샘플링 처리를 행하여 제1 다운 샘플링 결과를 얻는 것을 포함하도록 해도 된다.
예를 들면, 제1 다운 샘플링 결과를 전체 결합층에 입력하여, 전체 결합층에 의해 제1 다운 샘플링 결과에 대해 융합 처리를 행하여, 제1 특징 정보를 얻도록 해도 된다.
선택 가능적으로, 제2 서브 네트워크는 제1 서브 네트워크와 동일한 네트워크 구조를 갖지만, 상이한 파라미터를 갖는다. 또는 제2 서브 네트워크는 제1 서브 네트워크와 상이한 네트워크 구조를 갖는다. 본 발명의 실시예는 제2 서브 네트워크의 구체적인 실현에 대해 한정하지 않는다.
도 7에 나타내는 바와 같이, 생체 검출 네트워크는 제1 서브 네트워크에 의해 얻어진 제1 특징 정보 및 제2 서브 네트워크에 의해 얻어진 제2 특징 정보를 처리하여, 제1 이미지에서의 목표 대상물의 생체 검출 결과를 얻기 위한 제3 서브 네트워크를 추가로 포함한다. 선택 가능적으로, 제3 서브 네트워크는 전체 결합층 및 출력층을 포함해도 된다. 예를 들면, 출력층은 softmax 함수를 채용하여 출력층의 출력이 1인 경우, 목표 대상물이 생체임을 나타내고, 출력층의 출력이 0인 경우, 목표 대상물이 보철임을 나타내지만, 본 발명의 실시예에서 제3 서브 네트워크의 구체적인 실현에 대해 한정하지 않는다.
일례로서, 제1 특징 정보 및 제2 특징 정보에 대해 융합 처리를 행하여 제3 특징 정보를 얻고, 제3 특징 정보에 기초하여 제1 이미지에서의 목표 대상물의 생체 검출 결과를 결정한다.
예를 들면, 전체 결합층에 의해 제1 특징 정보 및 제2 특징 정보에 대해 융합 처리를 행하여 제3 특징 정보를 얻는다.
일부 실시예에서는 제3 특징 정보에 기초하여 제1 이미지에서의 목표 대상물이 생체인 확률을 얻고, 목표 대상물이 생체인 확률에 기초하여 목표 대상물의 생체 검출 결과를 결정한다.
예를 들면, 목표 대상물이 생체인 확률이 제2 임계치보다 큰 경우, 목표 대상물이 생체임을 나타내는 목표 대상물의 생체 검출 결과로 결정된다. 또한, 예를 들면, 목표 대상물이 생체인 확률이 제2 임계치 이하인 경우, 목표 대상물의 생체 검출 결과로서 보철인 것으로 결정된다.
일부 다른 실시예에서는 제3 특징 정보에 기초하여 목표 대상물이 보철인 확률을 얻고, 목표 대상물이 보철인 확률에 기초하여 목표 대상물의 생체 검출 결과를 결정한다. 예를 들면, 목표 대상물이 보철인 확률이 제3 임계치보다 큰 경우, 목표 대상물이 보철임을 나타내는 목표 대상물의 생체 검출 결과로 결정된다. 또한, 예를 들면, 목표 대상물이 보철인 확률이 제3 임계치 이하인 경우, 목표 대상물의 생체 검출 결과로서 생체인 것으로 결정된다.
일례에서, 제3 특징 정보를 Softmax층에 입력하여, Softmax층에 의해 목표 대상물이 생체 또는 보철인 확률을 얻도록 해도 된다. 예를 들면, Softmax층의 출력에는 목표 대상물이 생체인 확률을 나타내는 뉴런 및 목표 대상물이 보철인 확률을 나타내는 뉴런과 같은 두 가지의 것을 포함하지만, 본 발명의 실시예는 이에 한정되지 않는다.
본 발명의 실시예에서는 제1 이미지 및 제1 이미지에 대응하는 제1 심도맵을 취득하고, 제1 이미지에 기초하여 제1 심도맵을 갱신하여 제2 심도맵을 얻고, 제1 이미지 및 제2 심도맵에 기초하여 제1 이미지에서의 목표 대상물의 생체 검출 결과를 결정함으로써, 심도맵을 개선하고, 생체 검출의 정확성을 높일 수 있다.
가능한 일 실시형태에서는 제1 이미지에 기초하여 제1 심도맵을 갱신하여, 제2 심도맵을 얻는 것은 제1 이미지에 기초하여, 제1 이미지에서의 복수의 화소의, 심도 예측값 및 이 복수의 화소끼리의 관련도를 나타내는 관련 정보를 결정하는 것과, 이 복수의 화소의 심도 예측값 및 관련 정보에 기초하여 제1 심도맵을 갱신하여, 제2 심도맵을 얻는 것을 포함한다.
구체적으로는 제1 이미지에 기초하여 제1 이미지에서의 복수의 화소의 심도 예측값을 결정하고, 복수의 화소의 심도 예측값에 기초하여 제1 심도맵을 수복하여 개선한다.
구체적으로는 제1 이미지를 처리하여 제1 이미지에서의 복수의 화소의 심도 예측값을 얻는다. 예를 들면, 제1 이미지를 심도 예측 뉴럴 네트워크에 입력하고 처리하여, 복수의 화소의 심도 예측 결과를 얻고, 예를 들면, 제1 이미지에 대응하는 심도 예측맵을 얻지만, 본 발명의 실시예는 이에 한정되지 않는다.
일부 실시예에서는 제1 이미지 및 제1 심도맵에 기초하여, 제1 이미지에서의 복수의 화소의 심도 예측값을 결정한다.
일례로서, 제1 이미지 및 제1 심도맵을 심도 예측 뉴럴 네트워크에 입력하고 처리하여, 제1 이미지에서의 복수의 화소의 심도 예측값을 얻는다. 또는, 다른 방식에 의해 제1 이미지 및 제1 심도맵을 처리하여 복수의 화소의 심도 예측을 얻지만, 본 발명의 실시예는 심도 예측값의 취득 방식에 대해 한정하지 않는다.
도 8은 본 발명의 실시예에 따른 차량의 도어록 해제 방법에서의 심도 예측 뉴럴 네트워크의 모식도를 나타낸다. 도 8에 나타내는 바와 같이, 제1 이미지 및 제1 심도맵을 심도 예측 뉴럴 네트워크에 입력하고 처리하여, 초기 심도 추정맵을 얻도록 해도 된다. 초기 심도 추정맵에 기초하여, 제1 이미지에서의 복수의 화소의 심도 예측값을 결정할 수 있다. 예를 들면, 초기 심도 추정맵의 화소값은 제1 이미지에서의 대응 화소의 심도 예측값이다.
심도 예측 뉴럴 네트워크는 다양한 네트워크 구조에 의해 실현될 수 있다. 일례에서, 심도 예측 뉴럴 네트워크는 코드화 부분 및 디코드 부분을 포함한다. 여기서, 선택 가능적으로 코드화 부분은 합성곱층 및 다운 샘플링층을 포함하고, 디코드 부분은 역합성곱층 및/또는 업 샘플링층을 포함하도록 해도 된다. 또한, 코드화 부분 및/또는 디코드 부분은 정규화층을 추가로 포함해도 된다. 본 발명의 실시예는 코드화 부분 및 디코드 부분의 구체적인 실현에 대해 한정하지 않는다. 코드화 부분에서 네트워크층수의 증가에 따라, 특징맵의 해상도가 점차 낮아져, 특징맵의 수량이 점차 많아지고, 이에 의해 풍부한 시멘틱 특징 및 이미지의 공간 특징을 얻을 수 있고, 디코드 부분에서 특징맵의 해상도가 점차 증대되고, 디코드 부분에서 최종적으로 출력하는 특징맵의 해상도가 제1 심도맵의 해상도와 동일하다.
일부 실시예에서는 제1 이미지 및 제1 심도맵에 대해 융합 처리를 행하여 융합 결과를 얻고, 융합 결과에 기초하여 제1 이미지에서의 복수의 화소의 심도 예측값을 결정한다.
일례에서, 제1 이미지 및 제1 심도맵을 결합(concat)하여, 융합 결과를 얻도록 해도 된다.
일례에서, 융합 결과에 대해 합성곱 처리를 행하여 제2 합성곱 결과를 얻고, 제2 합성곱 결과에 기초하여 다운 샘플링을 행하여 제1 코드화 결과를 얻고, 제1 코드화 결과에 기초하여 제1 이미지에서의 복수의 화소의 심도 예측값을 결정한다.
예를 들면, 합성곱층에 의해 융합 결과에 대해 합성곱 처리를 행하여 제2 합성곱 결과를 얻도록 해도 된다.
예를 들면, 제2 합성곱 결과에 대해 정규화 처리를 행하여 제2 정규화 결과를 얻고, 제2 정규화 결과에 대해 다운 샘플링 처리를 행하여 제1 코드화 결과를 얻는다. 여기서, 정규화층에 의해 제2 합성곱 결과에 대해 정규화 처리를 행하여 제2 정규화 결과를 얻고, 다운 샘플링층에 의해 제2 정규화 결과에 대해 다운 샘플링 처리를 행하여 제1 코드화 결과를 얻도록 해도 된다. 또는 다운 샘플링층에 의해 제2 합성곱 결과에 대해 다운 샘플링 처리를 행하여 제1 코드화 결과를 얻도록 해도 된다.
예를 들면, 제1 코드화 결과에 대해 역합성곱 처리를 행하여 제1 역합성곱 결과를 얻고, 제1 역합성곱 결과에 대해 정규화 처리를 행하여 심도 예측값을 얻는다. 여기서, 역합성곱층에 의해 제1 코드화 결과에 대해 역합성곱 처리를 행하여 제1 역합성곱 결과를 얻고, 정규화층에 의해 제1 역합성곱 결과에 대해 정규화 처리를 행하여 심도 예측값을 얻도록 해도 된다. 또는, 역합성곱층에 의해 제1 코드화 결과에 대해 역합성곱 처리를 행하여 심도 예측값을 얻도록 해도 된다.
예를 들면, 제1 코드화 결과에 대해 업 샘플링 처리를 행하여 제1 업 샘플링 결과를 얻고, 제1 업 샘플링 결과에 대해 정규화 처리를 행하여 심도 예측값을 얻는다. 여기서, 업 샘플링층에 의해 제1 코드화 결과에 대해 업 샘플링 처리를 행하여 제1 업 샘플링 결과를 얻고, 정규화층에 의해 제1 업 샘플링 결과에 대해 정규화 처리를 행하여 심도 예측값을 얻도록 해도 된다. 또는, 업 샘플링층에 의해 제1 코드화 결과에 대해 업 샘플링 처리를 행하여 심도 예측값을 얻도록 해도 된다.
또한, 제1 이미지를 처리하여 제1 이미지에서의 복수의 화소의 관련 정보를 얻는다. 여기서, 제1 이미지에서의 복수의 화소의 관련 정보는 제1 이미지의 복수의 화소의 각각과 그 주변 화소의 관련도를 포함하도록 해도 된다. 여기서, 화소의 주변 화소는 화소에 인접하는 하나 이상의 인접 화소를 포함해도 되고, 또는 이 화소 사이의 간격이 일정한 수치를 초과하지 않는 복수의 화소를 포함해도 된다. 예를 들면, 도 11에 나타내는 바와 같이, 화소 5의 주변 화소는 그에 인접하는 화소 1, 화소 2, 화소 3, 화소 4, 화소 6, 화소 7, 화소 8 및 화소 9를 포함하고, 이에 따라 제1 이미지에서의 복수의 화소의 관련 정보는 화소 1, 화소 2, 화소 3, 화소 4, 화소 6, 화소 7, 화소 8 및 화소 9와 화소 5의 관련도를 포함한다. 일례로서, 제1 화소와 제2 화소의 관련도는 제1 화소와 제2 화소의 상관성에 의해 측정 가능하고, 여기서, 본 발명의 실시예는 관련 기술을 사용하여 화소끼리의 상관성을 결정할 수 있고, 여기서 상세한 설명을 생략한다.
본 발명의 실시예는 다양한 방식에 의해 복수의 화소의 관련 정보를 결정할 수 있다. 일부 실시예에서는 제1 이미지를 관련도 검출 뉴럴 네트워크에 입력하고 처리하여, 제1 이미지에서의 복수의 화소의 관련 정보를 얻는다. 예를 들면, 제1 이미지에 대응하는 관련 특징맵을 얻는다. 또는 다른 알고리즘에 의해 복수의 화소의 관련 정보를 얻어도 된다. 본 발명의 실시예는 관련 정보의 취득 방식에 대해 한정하지 않는다.
도 9는 본 발명의 실시예에 따른 차량의 도어록 해제 방법에서의 관련도 검출 뉴럴 네트워크의 모식도를 나타낸다. 도 9에 나타내는 바와 같이, 제1 이미지를 관련도 검출 뉴럴 네트워크에 입력하고 처리하여, 복수장의 관련 특징맵을 얻는다. 복수장의 관련 특징맵에 기초하여, 제1 이미지에서의 복수의 화소의 관련 정보를 결정할 수 있다. 예를 들면, 어느 화소의 주변 화소란, 이 화소와의 거리가 0과 동일한 화소를 가리키고, 즉, 이 화소의 주변 화소란, 이 화소에 인접하는 화소를 말한다. 이 경우, 관련도 검출 뉴럴 네트워크는 8장의 관련 특징맵을 출력한다. 예를 들면, 제1 관련 특징맵에서 화소 Pi,j의 화소값＝제1 이미지의 화소 Pi-1, j-1과 화소 Pi,j의 관련도이고, 단, Pi,j는 제i 행 제j 열의 화소를 나타내고, 제2 관련 특징맵에서 화소 Pi,j의 화소값＝제1 이미지의 화소 Pi-1,j와 화소 Pi,j의 관련도이고, 제3 관련 특징맵에서 화소 Pi,j의 화소값＝제1 이미지의 화소 Pi-1, j+1과 화소 Pi,j의 관련도이고, 제4 관련 특징맵에서 화소 Pi,j의 화소값＝제1 이미지의 화소 Pi,j-1과 화소 Pi,j의 관련도이고, 제5 관련 특징맵에서 화소 Pi,j의 화소값＝제1 이미지의 화소 Pi,j+1과 화소 Pi,j의 관련도이고, 제6 관련 특징맵에서 화소 Pi,j의 화소값＝제1 이미지의 화소 Pi+1,j-1과 화소 Pi,j의 관련도이고, 제7 관련 특징맵에서 화소 Pi,j의 화소값＝제1 이미지의 화소 Pi+1,j와 화소 Pi,j의 관련도이고, 제8 관련 특징맵에서 화소 Pi,j의 화소값＝제1 이미지의 화소 Pi+1,j+1과 화소 Pi,j의 관련도이다.
관련도 검출 뉴럴 네트워크는 다양한 네트워크 구조에 의해 실현될 수 있다. 일례로서, 관련도 검출 뉴럴 네트워크는 코드화 부분 및 디코드 부분을 포함하도록 해도 된다. 여기서, 코드화 부분은 합성곱층 및 다운 샘플링층을 포함하고, 디코드 부분은 역합성곱층 및/또는 업 샘플링층을 포함하도록 해도 된다. 코드화 부분은 정규화층을 추가로 포함해도 되고, 디코드 부분은 정규화층을 포함해도 된다. 코드화 부분에서 특징맵의 해상도가 점차 낮아져, 특징맵의 수량이 점차 많아지고, 이에 의해 풍부한 시멘틱 특징 및 이미지의 공간 특징이 얻어지고, 디코드 부분에서 특징맵의 해상도가 점차 증대되고, 디코드 부분에서 최종적으로 출력하는 특징맵의 해상도가 제1 이미지의 해상도와 동일하다. 본 발명의 실시예에서는 관련 정보는 이미지여도 되고, 다른 데이터 형식, 예를 들면, 행렬 등이어도 된다.
일례로서, 제1 이미지를 관련도 검출 뉴럴 네트워크에 입력하고 처리하여, 제1 이미지에서의 복수의 화소의 관련 정보를 얻는 것은 제1 이미지에 대해 합성곱 처리를 행하여 제3 합성곱 결과를 얻는 것과, 제3 합성곱 결과에 기초하여 다운 샘플링 처리를 행하여 제2 코드화 결과를 얻는 것과, 제2 코드화 결과에 기초하여 제1 이미지에서의 복수의 화소의 관련 정보를 얻는 것을 포함하도록 해도 된다.
일례에서, 합성곱층에 의해 제1 이미지에 대해 합성곱 처리를 행하여 제3 합성곱 결과를 얻도록 해도 된다.
일례에서, 제3 합성곱 결과에 기초하여 다운 샘플링 처리를 행하여 제2 코드화 결과를 얻는 것은 제3 합성곱 결과에 대해 정규화 처리를 행하여 제3 정규화 결과를 얻는 것과, 제3 정규화 결과에 대해 다운 샘플링 처리를 행하여 제2 코드화 결과를 얻는 것을 포함하도록 해도 된다. 이 예에서, 정규화층에 의해 제3 합성곱 결과에 대해 정규화 처리를 행하여 제3 정규화 결과를 얻고, 다운 샘플링층에 의해 제3 정규화 결과에 대해 다운 샘플링 처리를 행하여 제2 코드화 결과를 얻도록 해도 된다. 또는 다운 샘플링층에 의해 제3 합성곱 결과에 대해 다운 샘플링 처리를 행하여 제2 코드화 결과를 얻도록 해도 된다.
일례에서, 제2 코드화 결과에 기초하여, 관련 정보를 결정하는 것은 제2 코드화 결과에 대해 역합성곱 처리를 행하여 제2 역합성곱 결과를 얻는 것과, 제2 역합성곱 결과에 대해 정규화 처리를 행하여 관련 정보를 얻는 것을 포함하도록 해도 된다. 이 예에서, 역합성곱층에 의해 제2 코드화 결과에 대해 역합성곱 처리를 행하여 제2 역합성곱 결과를 얻고, 정규화층에 의해 제2 역합성곱 결과에 대해 정규화 처리를 행하여 관련 정보를 얻도록 해도 된다. 또는, 역합성곱층에 의해 제2 코드화 결과에 대해 역합성곱 처리를 행하여 관련 정보를 얻도록 해도 된다.
일례에서, 제2 코드화 결과에 기초하여 관련 정보를 결정하는 것은 제2 코드화 결과에 대해 업 샘플링 처리를 행하여 제2 업 샘플링 결과를 얻는 것과, 제2 업 샘플링 결과에 대해 정규화 처리를 행하여 관련 정보를 얻는 것을 포함하도록 해도 된다. 예에서, 업 샘플링층에 의해 제2 코드화 결과에 대해 업 샘플링 처리를 행하여 제2 업 샘플링 결과를 얻고, 정규화층에 의해 제2 업 샘플링 결과에 대해 정규화 처리를 행하여 관련 정보를 얻도록 해도 된다. 또는, 업 샘플링층에 의해 제2 코드화 결과에 대해 업 샘플링 처리를 행하여 관련 정보를 얻도록 해도 된다.
현재의 TOF, 구조화 광 등의 3D 센서는 실외에 위치하는 경우, 태양광에 영향을 받기 쉽고, 심도맵에 넓은 면적의 홀·결손이 발생하여, 3D 생체 검출 알고리즘의 성능에 영향을 미친다. 본 발명의 실시예에서, 심도맵의 자기 개선에 기초하는 3D 생체 검출 알고리즘에서 3D 센서에서 검출된 심도맵을 개선하고 수복함으로써, 3D 생체 검출 알고리즘의 성능이 높아진다.
일부 실시예에서는 복수의 화소의 심도 예측값 및 관련 정보가 얻어진 후, 복수의 화소의 심도 예측값 및 관련 정보에 기초하여, 제1 심도맵을 갱신하여 제2 심도맵을 얻는다. 도 10은 본 발명의 실시예에 따른 차량의 도어록 해제 방법에서의 심도맵 갱신의 예시적인 모식도를 나타낸다. 도 10에 나타내는 예에서, 제1 심도맵은 결손값이 있는 심도맵이고, 얻어진 복수의 화소의 심도 예측값 및 관련 정보는 각각 초기 심도 추정맵 및 관련 특징맵이고, 이 경우, 결손값이 있는 심도맵, 초기 심도 추정맵 및 관련 특징맵을 심도맵 갱신 모듈(예를 들면, 심도 갱신 뉴럴 네트워크)에 입력하고 처리하여, 최종적인 심도맵, 즉 제2 심도맵을 얻는다.
일부 실시예에서는 이 복수의 화소의 심도 예측값에서 심도 실효 화소의 심도 예측값 및 심도 실효 화소의 복수의 주변 화소의 심도 예측값을 취득하고, 이 복수의 화소의 관련 정보에서 심도 실효 화소와 심도 실효 화소의 복수의 주변 화소의 관련도를 취득하고, 심도 실효 화소의 심도 예측값, 심도 실효 화소의 복수의 주변 화소의 심도 예측값 및 심도 실효 화소와 심도 실효 화소의 주변 화소의 관련도에 기초하여, 심도 실효 화소의 갱신 후의 심도값을 결정한다.
본 발명의 실시예에서는 다양한 방식에 의해 심도맵에서의 심도 실효 화소를 결정할 수 있다. 일례로서, 제1 심도맵에서 심도값이 0과 동일한 화소를 심도 실효 화소로서 결정하거나, 또는 제1 심도맵에서 심도값을 갖지 않는 화소를 심도 실효 화소로서 결정한다.
이 예에서, 결손값이 있는 제1 심도맵에서, 값이 있는(즉, 심도값이 0이 아닌) 부분에 대해 그 심도값이 정확하고 신뢰 가능한 것으로 간주하고, 그 심도값을 갱신하지 않고 원래의 심도값을 유지하고, 심도값이 0이 되는 화소에 대해 심도값을 갱신한다.
다른 예로서, 심도 센서는 심도 실효 화소의 판정에 대한 심도값으로서, 하나 또는 복수의 소정의 수치 또는 소정의 범위를 설정해도 된다. 예에서, 제1 심도맵에서, 심도값이 소정의 값과 동일하거나 또는 소정의 범위에 있는 화소를 심도 실효 화소로서 결정하도록 해도 된다.
본 발명의 실시예에서, 다른 통계 방식에 의해 제1 심도맵에서의 심도 실효 화소를 결정해도 되지만, 심도 실효 화소의 결정 방식에 대해 한정하지 않는다.
이 실시형태에서는 제1 이미지에서의 심도 실효 화소와 동일한 위치의 화소의 심도값을 심도 실효 화소의 심도 예측값으로서 결정해도 되고, 유사하게, 제1 이미지에서의 심도 실효 화소의 주변 화소와 동일한 위치의 화소의 심도값을 심도 실효 화소의 주변 화소의 심도 예측값으로서 결정해도 된다.
일례로서, 심도 실효 화소의 주변 화소와 심도 실효 화소 사이의 거리는 제1 임계치 이하이다.
도 11은 본 발명의 실시예에 따른 차량의 도어록 해제 방법에서의 주변 화소의 모식도를 나타낸다. 예를 들면, 제1 임계치가 0인 경우, 인접 화소만을 주변 화소로 한다. 예를 들면, 화소 5의 인접 화소는 화소 1, 화소 2, 화소 3, 화소 4, 화소 6, 화소 7, 화소 8 및 화소 9를 포함하고, 화소 1, 화소 2, 화소 3, 화소 4, 화소 6, 화소 7, 화소 8 및 화소 9만을 화소 5의 주변 화소로 한다.
도 12는 본 발명의 실시예에 따른 차량의 도어록 해제 방법에서의 주변 화소의 다른 모식도를 나타낸다. 예를 들면, 제1 임계치가 1인 경우, 인접한 화소 외에 인접 화소의 추가로 인접하는 화소도 주변 화소로 한다. 즉, 화소 1, 화소 2, 화소 3, 화소 4, 화소 6, 화소 7, 화소 8 및 화소 9 외에 화소 10∼화소 25도 화소 5의 주변 화소로 한다.
일례로서, 심도 실효 화소의 주변 화소의 심도 예측값 및 심도 실효 화소와 심도 실효 화소의 복수의 주변 화소의 관련도에 기초하여, 심도 실효 화소의 심도 관련값을 결정하고, 심도 실효 화소의 심도 예측값 및 심도 관련값에 기초하여, 심도 실효 화소의 갱신 후의 심도값을 결정한다.
다른 예로서, 심도 실효 화소의 주변 화소의 심도 예측값 및 심도 실효 화소와 이 주변 화소의 관련도에 기초하여, 심도 실효 화소에 대한 이 주변 화소의 유효 심도값을 결정하고, 심도 실효 화소에 대한 그 각 주변 화소의 유효 심도값 및 심도 실효 화소의 심도 예측값에 기초하여, 심도 실효 화소의 갱신 후의 심도값을 결정한다. 예를 들면, 심도 실효 화소의 1개의 주변 화소의 심도 예측값과 이 주변 화소에 대응하는 관련도의 곱을, 심도 실효 화소에 대한 이 주변 화소의 유효 심도값으로서 결정해도 된다. 여기서, 이 주변 화소에 대응하는 관련도란, 이 주변 화소와 심도 실효 화소의 관련도를 가리킨다. 예를 들면, 심도 실효 화소에 대한 그 각 주변 화소의 유효 심도값의 합과 제1 소정 계수의 곱을 결정하여 제1 곱을 얻고, 심도 실효 화소의 심도 예측값과 제2 소정 계수를 곱을 결정하여 제2 곱을 얻고, 제1 곱과 제2 곱의 합을 심도 실효 화소의 갱신 후의 심도값으로서 결정하도록 해도 된다. 일부 실시예에서는 제1 소정 계수와 제2 소정 계수의 합은 1로 한다.
일례에서, 심도 실효 화소와 각 주변 화소의 관련도를 각 주변 화소의 가중치로서, 심도 실효 화소의 복수의 주변 화소의 심도 예측값에 대해 가중합 처리를 행하여, 심도 실효 화소의 심도 관련값을 얻는다. 예를 들면, 화소 5를 심도 실효 화소로 하는 경우, 심도 실효 화소5의 심도 관련값이 XX가 되고, 심도 실효 화소 5의 갱신 후의 심도값은 식 7에 의해 결정될 수 있다.
Figure pct00029
단,
Figure pct00030
이고,
Figure pct00031
는 화소
Figure pct00032
와 화소 5의 관련도를 나타내고,
Figure pct00033
는 화소
Figure pct00034
의 심도 예측값을 나타낸다.
다른 예에서, 심도 실효 화소의 복수의 주변 화소 중의 각 주변 화소와 심도 실효 화소의 관련도 및 각 주변 화소의 심도 예측값의 곱을 결정하고, 곱의 최대값을 심도 실효 화소의 심도 관련값으로 한다.
일례에서, 심도 실효 화소의 심도 예측값과 심도 관련값의 합을 심도 실효 화소의 갱신 후의 심도값으로 한다.
다른 예에서, 심도 실효 화소의 심도 예측값과 제3 소정 계수의 곱을 결정하여 제3 곱을 얻고, 심도 관련값과 제4 소정 계수의 곱을 결정하여 제4 곱을 얻고, 제3 곱과 제4 곱의 합을 심도 실효 화소의 갱신 후의 심도값으로 한다. 일부 실시예에서는 제3 소정 계수와 제4 소정 계수의 합은 1로 한다.
일부 실시예에서는 제2 심도맵에서의 비심도 실효 화소의 심도값은 제1 심도맵에서의 이 비심도 실효 화소의 심도값과 동일하다.
일부 다른 실시예에서는 비심도 실효 화소의 심도값을 갱신하여, 보다 정확한 제2 심도맵을 얻도록 해도 된다. 이에 의해, 생체 검출의 정확성을 더욱 높일 수 있다.
본 발명의 실시예에서는 차량에 설치되는 하나 이상의 거리 센서에 의해 차량 밖의 목표 대상물과 차량 사이의 거리를 취득하고, 거리가 소정의 조건을 충족함에 따라 차량에 설치되는 이미지 취득 모듈을, 목표 대상물의 제1 이미지를 취득하도록 기상시켜 제어하고, 제1 이미지에 기초하여 얼굴 인식을 행하고, 얼굴 인식의 성공에 따라 차량의 하나 이상의 도어록에 도어록 해제 명령을 송신함으로써, 도어록 해제의 보안성을 확보한 후, 도어록 해제의 편리성을 높일 수 있다. 본 발명의 실시예를 채용하면, 차량 소유자가 차량에 접근하고 있을 때 의도적으로 동작(예를 들면, 버튼의 터치, 제스처)하지 않고, 생체 검출과 얼굴 인증 플로우를 자동적으로 트리거하고, 차량 소유자의 생체 검출과 얼굴 인증이 성공하면 도어를 자동적으로 열 수 있다.
가능한 일 실시형태에서는 이 방법은 제1 이미지에 기초하여 얼굴 인식을 행한 후, 얼굴 인식의 실패에 따라, 차량에 설치되는 패스워드 잠금 해제 모듈을 액티브화하여, 패스워드에 의한 잠금 해제 플로우를 기동하는 것을 추가로 포함한다.
이 실시형태에서는 패스워드에 의한 잠금 해제는 얼굴 인식에 의한 잠금 해제의 대체 수단이 된다. 얼굴 인식 실패의 원인은 목표 대상물이 보철임을 나타내는 생체 검출 결과인 것, 얼굴 인증이 실패한 것, 이미지 취득이 실패한(예를 들면, 카메라가 고장난) 것, 및 인식 횟수가 소정의 횟수를 초과한 것 등 중 하나 이상을 포함해도 된다. 목표 대상물의 얼굴 인식이 실패하면, 패스워드에 의한 잠금 해제 플로우를 기동한다. 예를 들면, B필러의 터치 스크린에 의해 사용자로부터 입력하는 패스워드를 취득하도록 해도 된다. 일례에서, 패스워드를 M회, 예를 들면, 5회 연속으로 잘못 입력한 경우, 패스워드에 의한 잠금을 해제를 실효하도록 해도 된다.
가능한 일 실시형태에서는 이 방법은 이미지 취득 모듈에 의해 취득한 차량 소유자의 얼굴 이미지에 기초하여 차량 소유자의 등록을 행하는 것과, 차량 소유자의 단말 장치에 의해 취득한 차량 소유자의 얼굴 이미지에 기초하여 원격 등록을 행하고, 차량 소유자의 얼굴 이미지를 포함하는 등록 정보를 차량에 송신하는 것 중 하나 또는 두 개를 추가로 포함한다.
일례에서, 이미지 취득 모듈에 의해 취득한 차량 소유자의 얼굴 이미지에 기초하여 차량 소유자의 등록을 행하는 것은 터치 스크린의 등록 버튼이 클릭된 것을 검출하면, 사용자에게 패스워드 입력을 요구하고, 패스워드 검증이 성공하면, 이미지 취득 모듈의 RGB 카메라를 온으로 하여 사용자의 얼굴 이미지를 취득하고, 취득된 얼굴 이미지에 기초하는 등록을 행하고, 후속의 얼굴 인증시에 얼굴의 조합을 행하도록 이 얼굴 이미지에서의 얼굴 특징을 미리 등록되는 얼굴 특징으로서 추출하는 것을 포함한다.
일례에서, 차량 소유자의 단말 장치에 의해 취득한 차량 소유자의 얼굴 이미지에 기초하여 원격 등록을 행하고, 차량 소유자의 얼굴 이미지를 포함하는 등록 정보를 차량에 송신한다. 이 예에서, 차량 소유자는 휴대 전화의 App(Application, 애플리케이션)을 통해 TSP(Telematics Service Provider, 자동차 텔레매틱스 서비스 프로바이더) 클라우드에 차량 소유자의 얼굴 이미지를 포함하는 등록 요구를 송신하고, TSP 클라우드는 등록 요구를 도어록 해제 장치의 차량 탑재용 T-Box(Telematics Box, 텔레매틱스 박스)로 송신하고, 차량 탑재용 T-Box는 등록 요구에 따라 얼굴 인식 기능을 액티브화하고, 후속의 얼굴 인증시에 얼굴의 조합을 행하도록 등록 요구에 포함되는 얼굴 이미지에서의 얼굴 특징을 미리 등록되는 얼굴 특징으로 하도록 해도 된다.
본 발명에서 언급되는 상기 각 방법의 실시예는 원리와 논리에 위반되지 않는 한, 서로 조합하여 실시예를 형성할 수 있는 것으로 이해할 수 있고, 분량에 한정이 있으므로, 본 발명에서는 상세한 설명을 생략한다.
당업자이면, 구체적인 실시형태의 상기 방법에 있어서 기재된 각 단계의 순서는 실시 순서를 엄밀하게 당해 순서에 한정하는 것이 아니다. 각 단계의 구체적인 실행 순서는 각 단계의 기능과 가능한 내재적 논리에 따라 결정되는 것을 이해해야 한다.
또한, 본 발명은 차량의 도어록 해제 장치, 전자 기기, 컴퓨터 판독 가능 기억 매체, 프로그램을 추가로 제공하고, 이들 전부도 본 발명에서 제공되는 차량의 도어록 해제 방법 중 어느 하나를 실현하기 위해 이용 가능하고, 대응하는 기술적 수단 및 설명에 대해서는 방법의 대응하는 기재를 참조하면 되고, 여기서 생략한다.
도 13은 본 발명의 실시예에 따른 차량의 도어록 해제 장치의 블록도를 나타낸다. 이 장치는 차량에 설치되는 하나 이상의 거리 센서에 의해 차량 밖의 목표 대상물과 차량 사이의 거리를 취득하기 위한 취득 모듈(21)과, 거리가 소정의 조건을 충족함에 따라 차량에 설치되는 이미지 취득 모듈을, 목표 대상물의 제1 이미지를 취득하도록 기상시켜 제어하기 위한 기상 제어 모듈(22)과, 제1 이미지에 기초하여 얼굴 인식을 행하기 위한 얼굴 인식 모듈(23)과, 얼굴 인식의 성공에 따라 차량의 하나 이상의 도어록에 도어록 해제 명령을 송신하기 위한 송신 모듈(24)을 포함한다.
본 발명의 실시예에서는 차량에 설치되는 하나 이상의 거리 센서에 의해 차량 밖의 목표 대상물과 차량 사이의 거리를 취득하고, 거리가 소정의 조건을 충족함에 따라, 차량에 설치되는 이미지 취득 모듈을, 목표 대상물의 제1 이미지를 취득하도록 기상시켜 제어하고, 제1 이미지에 기초하여 얼굴 인식을 행하고, 얼굴 인식의 성공에 따라, 차량의 하나 이상의 도어록에 도어록 해제 명령을 송신함으로써, 도어록 해제의 보안성을 확보한 후, 도어록 해제의 편리성을 높일 수 있다.
가능한 일 실시형태에서는 소정의 조건은 거리가 소정의 거리 임계치보다 작은 것과, 거리가 소정의 거리 임계치보다 작아지는 지속 시간이 소정의 시간 임계치에 도달하는 것과, 지속 시간의 기간에 취득되는 거리가 목표 대상물이 차량에 접근하고 있음을 나타내는 것 중 하나 이상을 포함한다.
가능한 일 실시형태에서는 하나 이상의 거리 센서는 블루투스 거리 센서를 포함하고, 취득 모듈(21)은 외부 장치와 블루투스 거리 센서의 블루투스에 의한 페어링 접속을 확립하는 것과, 블루투스에 의한 페어링 접속의 성공에 따라, 블루투스 거리 센서에 의해 외부 장치를 갖고 있는 목표 대상물과 차량 사이의 제1 거리를 취득하는 것에 사용된다.
본 실시형태에서는 외부 장치는 예를 들면, 휴대 전화, 웨어러블 장치 또는 전자 키 등 블루투스 기능이 있는 어떠한 휴대용 장치여도 된다. 여기서, 웨어러블 장치는 스마트 팔찌 또는 스마트 글래스 등이어도 된다.
이 실시형태에서는 외부 장치와 블루투스 거리 센서의 블루투스에 의한 페어링 접속을 확립함으로써, 블루투스 인증이 추가되고, 도어록 해제의 보안성을 높일 수 있다.
가능한 일 실시형태에서는 하나 이상의 거리 센서는 초음파 거리 센서를 포함하고, 취득 모듈(21)은 차량의 차실 외부에 설치되는 초음파 거리 센서에 의해 목표 대상물과 차량 사이의 제2 거리를 취득하는 것에 사용된다.
가능한 일 실시형태에서는 하나 이상의 거리 센서는 블루투스 거리 센서 및 초음파 거리 센서를 포함하고, 취득 모듈(21)은 외부 장치와 블루투스 거리 센서의 블루투스에 의한 페어링 접속을 확립하는 것과, 블루투스에 의한 페어링 접속의 성공에 따라, 블루투스 거리 센서에 의해 외부 장치를 갖고 있는 목표 대상물과 차량 사이의 제1 거리를 취득하는 것과, 초음파 거리 센서에 의해 목표 대상물과 차량 사이의 제2 거리를 취득하는 것에 사용되고, 기상 제어 모듈(22)은 제1 거리 및 제2 거리가 소정의 조건을 충족함에 따라, 차량에 설치되는 이미지 취득 모듈을, 목표 대상물의 제1 이미지를 취득하도록 기상시켜 제어하는 것에 사용된다.
이 실시형태에서는 블루투스 거리 센서와 초음파 거리 센서를 협동시킴으로써, 도어록 해제의 보안성을 높일 수 있다.
가능한 일 실시형태에서는 소정의 조건은 제1 소정의 조건 및 제2 소정의 조건을 포함하고, 제1 소정의 조건은 제1 거리가 소정의 제1 거리 임계치보다 작은 것과, 제1 거리가 소정의 제1 거리 임계치보다 작아지는 지속 시간이 소정의 시간 임계치에 도달하는 것, 지속 시간의 기간에 취득되는 제1 거리가 목표 대상물이 차량에 접근하고 있음을 나타내는 것 중 하나 이상을 포함하고, 제2 소정의 조건은 제2 거리가 제1 거리 임계치보다 작은 소정의 제2 거리 임계치보다 작은 것과, 제2 거리가 소정의 제2 거리 임계치보다 작아지는 지속 시간이 소정의 시간 임계치에 도달하는 것을 포함한다.
가능한 일 실시형태에서는 기상 제어 모듈(22)은 제1 거리가 제1 소정의 조건을 충족함에 따라, 차량에 설치되는 얼굴 인식 시스템을 기상시키기 위한 기상 서브 모듈과, 제2 거리가 제2 소정의 조건을 충족함에 따라, 기상된 얼굴 인식 시스템에 의해, 목표 대상물의 제1 이미지를 취득하도록 이미지 취득 모듈을 제어하기 위한 제어 서브 모듈을 포함한다.
얼굴 인식 시스템의 기상은 통상 약간의 시간, 예를 들면 4∼5초가 걸리기 때문에, 얼굴 인식 트리거 및 처리가 늦어져, 사용자 경험에 영향을 미친다. 상기 실시형태에서는 블루투스 거리 센서와 초음파 거리 센서를 조합함으로써, 얼굴 인식 시스템은 블루투스 거리 센서에서 취득된 제1 거리가 제1 소정의 조건을 충족하면, 기상되어 조기에 동작 가능 상태가 되고, 초음파 거리 센서에서 취득된 제2 거리가 제2 소정의 조건을 충족하면, 얼굴 이미지 처리를 신속하게 실행할 수 있다. 이와 같이, 얼굴 인식의 효율을 높이고, 사용자 경험을 개선시킬 수 있다.
가능한 일 실시형태에서는 거리 센서는 초음파 거리 센서이고, 소정의 거리 임계치는 산출되어 얻은, 차량 밖의 대상물과 차량 사이의 거리 임계치의 기준값을 나타내는 거리 임계치 기준값 및 차량 밖의 대상물과 차량 사이의 거리의 임계치의 오프셋값을 나타내는 소정의 거리 임계치 오프셋값에 기초하여 결정된다.
가능한 일 실시형태에서는 소정의 거리 임계치는 거리 임계치 기준값과 소정의 거리 임계치 오프셋값의 차와 동일하다.
가능한 일 실시형태에서는 거리 임계치 기준값은 차량의 이그니션 오프 후의 특정 기간의 차량 밖의 대상물과 차량 사이의 거리의 평균값을 나타내는 차량의 이그니션 오프 후의 거리 평균값과, 도어록 해제 가능한 최대 거리 중 최소값을 취한다.
가능한 일 실시형태에서는 거리 임계치 기준값은 주기적으로 갱신된다. 거리 임계치 기준값을 주기적으로 갱신함으로써, 상이한 환경에 적응 가능해진다.
가능한 일 실시형태에서는 거리 센서는 초음파 거리 센서이고, 소정의 시간 임계치는 산출되어 얻은, 차량 밖의 대상물과 차량 사이의 거리가 소정의 거리 임계치보다 작아지는 시간의 임계치의 기준값을 나타내는 시간 임계치 기준값 및 차량 밖의 대상물과 차량 사이의 거리가 소정의 거리 임계치보다 작아지는 시간의 임계치의 오프셋값을 나타내는 시간 임계치 오프셋값에 기초하여 결정된다.
가능한 일 실시형태에서는 소정의 시간 임계치는 시간 임계치 기준값과 시간 임계치 오프셋값의 합과 동일하다.
가능한 일 실시형태에서는 시간 임계치 기준값은 초음파 거리 센서의 수평 방향 검지 각도, 초음파 거리 센서의 검지 반경, 대상물 사이즈 및 대상물 속도 중 하나 또는 복수에 기초하여 결정된다.
가능한 일 실시형태에서는 장치는 종별마다의 대상물 사이즈, 종별마다의 대상물 속도, 초음파 거리 센서의 수평 방향 검지 각도 및 초음파 거리 센서의 검지 반경에 기초하여, 종별마다의 대상물에 대응하는 후보 기준값을 결정하기 위한 제1 결정 모듈과, 종별마다의 대상물에 대응하는 후보 기준값에서 시간 임계치 기준값을 결정하기 위한 제2 결정 모듈을 추가로 포함한다.
가능한 일 실시형태에서는 제2 결정 모듈은 종별마다의 대상물에 대응하는 후보 기준값 중 최대값을 시간 임계치 기준값으로서 결정하는 것에 사용된다.
일부 실시예에서는 소정의 시간 임계치는 체험에 영향을 주지 않도록 1초보다 작게 설정된다. 일례에서는 초음파 거리 센서의 수평 방향 검지 각도를 작게 함으로써, 보행자, 자전거 등의 통과에 의한 간섭을 감소시킬 수 있다.
가능한 일 실시형태에서는 얼굴 인식은 생체 검출 및 얼굴 인증을 포함하고, 얼굴 인식 모듈(23)은 이미지 취득 모듈의 이미지 센서에 의해 제1 이미지를 취득하고, 제1 이미지 및 미리 등록된 얼굴 특징에 기초하여 얼굴 인증을 행하기 위한 얼굴 인증 모듈과, 이미지 취득 모듈의 심도 센서에 의해 제1 이미지에 대응하는 제1 심도맵을 취득하고, 제1 이미지 및 제1 심도맵에 기초하여 생체 검출을 행하기 위한 생체 검출 모듈을 포함한다.
본 실시형태에서는 생체 검출은 목표 대상물이 생체인지 여부를 검증하기 위한 것으로, 예를 들면, 목표 대상물이 인체인지 여부를 검증할 수 있다. 얼굴 인증은 취득된 이미지에서의 얼굴 특징을 추출하고, 취득된 이미지에서의 얼굴 특징을 미리 등록된 얼굴 특징과 조합하고, 동일한 사람의 얼굴 특징인지 여부를 판단하기 위한 것이고, 예를 들면, 취득된 이미지에서의 얼굴 특징이 차량 소유자의 얼굴 특징인지 여부를 판단할 수 있다.
가능한 일 실시형태에서는 생체 검출 모듈은 제1 이미지에 기초하여 제1 심도맵을 갱신하여 제2 심도맵을 얻기 위한 갱신 서브 모듈과, 제1 이미지 및 제2 심도맵에 기초하여 목표 대상물의 생체 검출 결과를 결정하기 위한 결정 서브 모듈을 포함한다.
가능한 일 실시형태에서는 이미지 센서는 RGB 이미지 센서 또는 적외선 센서를 포함하고, 심도 센서는 양안 적외선 센서 또는 비행 시간 TOF 센서를 포함한다. 여기서, 양안 적외선 센서는 2개의 적외선 카메라를 포함한다. 구조화 광센서는 코드화 구조 광센서 또는 스페클 구조화 광센서여도 된다. 심도 센서에 의해 목표 대상물의 심도맵을 취득함으로써, 고정밀도의 심도맵을 얻을 수 있다. 본 발명의 실시예는 목표 대상물을 포함하는 심도맵을 사용하여 생체 검출을 행함으로써, 목표 대상물의 심도 정보를 충분히 발견할 수 있고, 생체 검출의 정확성을 높일 수 있다. 예를 들면, 목표 대상물이 얼굴인 경우, 본 발명의 실시예는 얼굴을 포함하는 심도맵을 사용하여 생체 검출을 행함으로써, 얼굴 데이터의 심도 정보를 충분히 발견할 수 있고, 생체 얼굴 검출의 정확성을 높일 수 있다.
가능한 일 실시형태에서는 TOF 센서는 적외선 파장역에 기초하는 TOF 모듈을 사용한다. 적외선 파장역에 기초하는 TOF 모듈을 사용함으로써, 외부 광선에 의한 심도맵의 촬영에 대한 영향을 저감시킬 수 있다.
가능한 일 실시형태에서는 갱신 서브 모듈은 제1 이미지에 기초하여 제1 심도맵에서의 심도 실효 화소의 심도값을 갱신하여, 제2 심도맵을 얻는 것에 사용된다.
여기서,여기서,서의 심도 실효 화소란, 심도맵에 포함되고, 무효한 심도값을 갖는 화소, 즉 정확하지 않은 심도값 또는 현실에 명백히 맞지 않는 심도값을 갖는 화소를 가리켜도 된다. 심도 실효 화소의 수는 하나 또는 복수여도 된다. 심도맵에서의 하나 이상의 심도 실효 화소의 심도값을 갱신함으로써, 심도 실효 화소의 심도값이 보다 정확해지고, 생체 검출의 정확도를 높이는 데 기여한다.
가능한 일 실시형태에서는 갱신 서브 모듈은 제1 이미지에 기초하여 제1 이미지에서의 복수의 화소의, 심도 예측값 및 복수의 화소끼리의 관련도를 나타내는 관련 정보를 결정하는 것과, 복수의 화소의 심도 예측값 및 관련 정보에 기초하여 제1 심도맵을 갱신하여, 제2 심도맵을 얻는 것에 사용된다.
가능한 일 실시형태에서는 갱신 서브 모듈은 제1 심도맵에서의 심도 실효 화소를 결정하는 것과, 복수의 화소의 심도 예측값에서 심도 실효 화소의 심도 예측값 및 심도 실효 화소의 복수의 주변 화소의 심도 예측값을 취득하는 것과, 복수의 화소의 관련 정보에서 심도 실효 화소와 심도 실효 화소의 복수의 주변 화소의 관련도를 취득하는 것과, 심도 실효 화소의 심도 예측값, 심도 실효 화소의 복수의 주변 화소의 심도 예측값 및 심도 실효 화소와 심도 실효 화소의 주변 화소의 관련도에 기초하여, 심도 실효 화소의 갱신 후의 심도값을 결정하는 것에 사용된다.
가능한 일 실시형태에서는 갱신 서브 모듈은 심도 실효 화소의 주변 화소의 심도 예측값 및 심도 실효 화소와 심도 실효 화소의 복수의 주변 화소의 관련도에 기초하여, 심도 실효 화소의 심도 관련값을 결정하는 것과, 심도 실효 화소의 심도 예측값 및 심도 관련값에 기초하여 심도 실효 화소의 갱신 후의 심도값을 결정하는 것에 사용된다.
가능한 일 실시형태에서는 갱신 서브 모듈은 심도 실효 화소와 각 주변 화소의 관련도를 각 주변 화소의 가중치로서, 심도 실효 화소의 복수의 주변 화소의 심도 예측값에 대해 가중합 처리를 행하여, 심도 실효 화소의 심도 관련값을 얻는 것에 사용된다.
가능한 일 실시형태에서는 갱신 서브 모듈은 제1 이미지 및 제1 심도맵에 기초하여, 제1 이미지에서의 복수의 화소의 심도 예측값을 결정하는 것에 사용된다.
가능한 일 실시형태에서는 갱신 서브 모듈은 제1 이미지 및 제1 심도맵을 심도 예측 뉴럴 네트워크에 입력하고 처리하여, 제1 이미지에서의 복수의 화소의 심도 예측값을 얻는 것에 사용된다.
가능한 일 실시형태에서는 갱신 서브 모듈은 제1 이미지 및 제1 심도맵에 대해 융합 처리를 행하여, 융합 결과를 얻는 것과, 융합 결과에 기초하여, 제1 이미지에서의 복수의 화소의 심도 예측값을 결정하는 것에 사용된다.
가능한 일 실시형태에서는 갱신 서브 모듈은 제1 이미지를 관련도 검출 뉴럴 네트워크에 입력하고 처리하여, 제1 이미지에서의 복수의 화소의 관련 정보를 얻는 것에 사용된다.
가능한 일 실시형태에서는 갱신 서브 모듈은 제1 이미지에서 목표 대상물의 이미지를 취득하는 것과, 목표 대상물의 이미지에 기초하여 제1 심도맵을 갱신하는 것에 사용된다.
가능한 일 실시형태에서는 갱신 서브 모듈은 제1 이미지에서의 목표 대상물의 키포인트 정보를 취득하는 것과, 목표 대상물의 키포인트 정보에 기초하여, 제1 이미지에서 목표 대상물의 이미지를 취득하는 것에 사용된다.
일례에서, 목표 대상물의 키포인트 정보에 기초하여 목표 대상물의 윤곽을 결정하고, 목표 대상물의 윤곽에 기초하여 제1 이미지에서 목표 대상물의 이미지를 잘라낸다. 목표 검출에 의해 얻어진 목표 대상물의 위치 정보와 비교하면, 키포인트 정보에 의해 얻어진 목표 대상물의 위치가 보다 정확하고, 후속의 생체 검출의 정확도 향상에 기여한다.
이와 같이, 제1 이미지에서 목표 대상물의 이미지를 취득하고, 목표 대상물의 이미지에 기초하여 생체 검출을 행함으로써, 제1 이미지에서의 배경 정보에 의한 생체 검출에 대한 간섭을 저감시킬 수 있다.
가능한 일 실시형태에서는 갱신 서브 모듈은 제1 이미지에 대해 목표 검출을 행하여, 목표 대상물의 소재 영역을 얻는 것과, 목표 대상물의 소재 영역의 이미지에 대해 키포인트 검출을 행하여, 제1 이미지에서의 목표 대상물의 키포인트 정보를 얻는 것에 사용된다.
가능한 일 실시형태에서는 갱신 서브 모듈은 제1 심도맵에서 목표 대상물의 심도맵을 취득하는 것과, 제1 이미지에 기초하여 목표 대상물의 심도맵을 갱신하여 제2 심도맵을 얻는 것에 사용된다.
이와 같이, 제1 심도맵에서 목표 대상물의 심도맵을 취득하고, 제1 이미지에 기초하여 목표 대상물의 심도맵을 갱신하여 제2 심도맵을 얻음으로써, 제1 심도맵에서의 배경 정보에 의한 생체 검출에 대한 간섭을 저감시킬 수 있다.
일부 특정 장면(예를 들면, 실외의 광이 강한 장면)에서는 취득되는 심도맵(예를 들면, 심도 센서에서 취득되는 심도맵)은 일부 면적이 실효가 되는 경우가 있다. 또한, 정상적인 광의 조사에서도 안경에 의한 반사, 검은 머리카락 또는 검은 안경테 등의 요인에 의해 심도맵의 부분적 실효를 랜덤으로 일으킨다. 일부 특별한 종이도, 유사하게, 인쇄된 얼굴 이미지의 심도맵에 넓은 면적의 실효 또는 부분적 실효를 일으킨다. 또한, 심도 센서의 액티브 광원이 차폐되는 경우, 보철의 심도맵의 일부가 실효가 되지만, 보철의 이미지 센서에서의 결상이 정상이 될 수 있다. 이와 같이, 심도맵의 일부 또는 전부가 실효가 되는 경우에, 심도맵에 기초하는 생체와 보철의 구별에 오차가 발생한다. 따라서, 본 발명의 실시예에서는 제1 심도맵을 수복 또는 갱신하고, 수복 또는 갱신 후의 심도맵을 사용하여 생체 검출을 행함으로써, 생체 검출의 정확도의 향상에 기여한다.
가능한 일 실시형태에서는 결정 서브 모듈은 제1 이미지 및 제2 심도맵을 생체 검출 뉴럴 네트워크에 입력하고 처리하여, 목표 대상물의 생체 검출 결과를 얻는 것에 사용된다.
가능한 일 실시형태에서는 결정 서브 모듈은 제1 이미지에 대해 특징 추출 처리를 행하여 제1 특징 정보를 얻는 것과, 제2 심도맵에 대해 특징 추출 처리를 행하여 제2 특징 정보를 얻는 것과, 제1 특징 정보 및 제2 특징 정보에 기초하여 목표 대상물의 생체 검출 결과를 결정하는 것에 사용된다.
여기에서 선택 가능적으로, 특징 추출 처리는 뉴럴 네트워크 또는 다른 기계 학습 알고리즘에 의해 실현할 수 있고, 추출된 특징 정보의 종별은 선택 가능적으로 샘플을 사용한 학습에 의해 얻을 수 있지만, 본 발명의 실시예는 이들에 대해 한정되지 않는다.
가능한 일 실시형태에서는 결정 서브 모듈은 제1 특징 정보 및 제2 특징 정보에 대해 융합 처리를 행하여 제3 특징 정보를 얻는 것과, 제3 특징 정보에 기초하여 목표 대상물의 생체 검출 결과를 결정하는 것에 사용된다.
가능한 일 실시형태에서는 결정 서브 모듈은 제3 특징 정보에 기초하여 목표 대상물이 생체인 확률을 얻는 것과, 목표 대상물이 생체인 확률에 기초하여 목표 대상물의 생체 검출 결과를 결정하는 것에 사용된다.
본 발명의 실시예에서는 차량에 설치되는 하나 이상의 거리 센서에 의해 차량 밖의 목표 대상물과 차량 사이의 거리를 취득하고, 거리가 소정의 조건을 충족함에 따라, 차량에 설치되는 이미지 취득 모듈을, 목표 대상물의 제1 이미지를 취득하도록 기상시켜 제어하고, 제1 이미지에 기초하여 얼굴 인식을 행하고, 얼굴 인식의 성공에 따라 차량의 하나 이상의 도어록에 도어록 해제 명령을 송신함으로써, 도어록 해제의 보안성을 확보한 후, 도어록 해제의 편리성을 높일 수 있다. 본 발명의 실시예를 채용하면, 차량 소유자가 차량에 접근하고 있을 때 의도적으로 동작(예를 들면, 버튼의 터치, 제스처)하지 않고 생체 검출과 얼굴 인증 플로우를 자동적으로 트리거하고, 차량 소유자의 생체 검출과 얼굴 인증이 성공하면 도어를 자동적으로 열 수 있다.
가능한 일 실시형태에서는 장치는 얼굴 인식의 실패에 따라 차량에 설치되는 패스워드 잠금 해제 모듈을 액티브화하여, 패스워드에 의한 잠금 해제 플로우를 기동하기 위한 액티브화 기동 모듈을 추가로 포함한다.
이 실시형태에서는 패스워드에 의한 잠금 해제는 얼굴 인식에 의한 잠금 해제의 대체 수단이 된다. 얼굴 인식 실패의 원인은 목표 대상물이 보철임을 나타내는 생체 검출 결과인 것, 얼굴 인증이 실패한 것, 이미지 취득이 실패한(예를 들면, 카메라가 고장난) 것, 및 인식 횟수가 소정의 횟수를 초과한 것 등 중 하나 이상을 포함해도 된다. 목표 대상물의 얼굴 인식이 실패하면, 패스워드에 의한 잠금 해제 플로우를 기동한다. 예를 들면, B필러의 터치 스크린에 의해 사용자로부터 입력하는 패스워드를 취득하도록 해도 된다.
가능한 일 실시형태에서는 장치는 이미지 취득 모듈에 의해 취득한 차량 소유자의 얼굴 이미지에 기초하여 차량 소유자의 등록을 행하는 것과, 차량 소유자의 단말 장치에 의해 취득한 차량 소유자의 얼굴 이미지에 기초하여 원격 등록을 행하고, 차량 소유자의 얼굴 이미지를 포함하는 등록 정보를 차량에 송신하는 것 중 하나 또는 두 개에 사용되는 등록 모듈을 추가로 포함한다.
이 실시형태에 의하면, 후속의 얼굴 인증시에 이 미리 등록된 얼굴 특징에 기초하여 얼굴 조합을 행할 수 있다.
일부 실시예에서는 본 발명의 실시예에서 제공된 장치에 구비하는 기능 또는 모듈은 상기 방법 실시예에 기재된 방법을 실행하기 위해 사용되는 것이고, 그 구체적인 실시에 대해서는 상기 방법 실시예의 기재를 참조하면 되고, 설명을 간략화하기 위해, 여기에서는 중복 설명은 생략한다.
도 14은 본 발명의 실시예에 따른 차량 탑재 얼굴 인증 잠금 해제 시스템의 블록도를 나타낸다. 도 14에 나타내는 바와 같이, 이 차량 탑재 얼굴 인증 잠금 해제 시스템은 메모리(31), 얼굴 인식 시스템(32), 이미지 취득 모듈(33) 및 인체 근접 감시 시스템(34)을 포함하고, 얼굴 인식 시스템(32)은 메모리(31), 이미지 취득 모듈(33) 및 인체 근접 감시 시스템(34)에 각각 접속되고, 인체 근접 감시 시스템(34)은 거리가 소정의 조건을 충족하면 얼굴 인식 시스템을 기상시키는 마이크로 프로세서(341) 및 마이크로 프로세서(341)에 접속되는 하나 이상의 거리 센서(342)를 포함하고, 얼굴 인식 시스템(32)은 도어 영역 컨트롤러에 접속되는 통신 인터페이스가 추가로 설치되고, 얼굴 인식이 성공하면 통신 인터페이스에 의해 도어 영역 컨트롤러에 도어를 해정하기 위한 제어 정보를 송신한다.
일례에서, 메모리(31)는 플래시 메모리(Flash) 및 DDR3(Double Date Rate 3, 제3 세대의 더블 데이터 레이트) 메모리 중 하나 이상을 포함해도 된다.
일례에서, 얼굴 인식 시스템(32)은 SoC(System on Chip, 시스템 온 칩)를 사용하여 실현되어도 된다.
일례에서, 얼굴 인식 시스템(32)은 CAN(Controller Area Network, 컨트롤러 에어리어 네트워크) 버스를 통해 도어 영역 컨트롤러에 접속된다.
가능한 일 실시형태에서는 하나 이상의 거리 센서(342)는 블루투스 거리 센서 및 초음파 거리 센서 중 하나 이상을 포함한다.
일례에서, 초음파 거리 센서는 시리얼(Serial) 버스를 통해 마이크로 프로세서(341)에 접속된다.
가능한 일 실시형태에서는 이미지 취득 모듈(33)은 이미지 센서 및 심도 센서를 포함한다.
일례에서, 이미지 센서는 RGB 센서 및 적외선 센서 중 하나 이상을 포함한다.
일례에서, 심도 센서는 양안 적외선 센서 및 비행 시간 TOF 센서 중 하나 이상을 포함한다.
가능한 일 실시형태에서는 심도 센서는 2개의 적외선 카메라가 이미지 센서의 카메라의 양측에 설치되는 양안 적외선 센서를 포함한다. 예를 들면, 도 5a에 나타내는 예에서 이미지 센서는 RGB 센서이고, 이미지 센서의 카메라는 RGB 카메라이고, 심도 센서는 양안 적외선 센서이고, 2개의 IR(적외선) 카메라를 포함하고, 양안 적외선 센서의 2개의 적외선 카메라가 이미지 센서의 RGB 카메라의 양측에 설치된다.
일례에서, 이미지 취득 모듈(33)은 양안 적외선 센서의 적외선 카메라와 이미지 센서의 카메라 사이에 설치되는 것으로서, 이미지 센서용 보광 라이트 및 심도 센서용 보광 라이트 중 적어도 일방을 포함하는 하나 이상의 보광 라이트를 추가로 포함한다. 예를 들면, 이미지 센서가 RGB 센서인 경우, 이미지 센서용 보광 라이트는 화이트 라이트이고, 이미지 센서가 적외선 센서인 경우, 이미지 센서용 보광 라이트는 적외선 라이트이고, 심도 센서가 양안 적외선 센서인 경우, 심도 센서용 보광 라이트는 적외선 라이트이도록 해도 된다. 도 5a에 나타내는 예에서, 양안 적외선 센서의 적외선 카메라와 이미지 센서의 카메라 사이에 적외선 라이트가 설치된다. 예를 들면, 적외선 라이트는 940㎚의 적외선을 사용하도록 해도 된다.
일례에서, 보광 라이트는 노멀 오픈 모드로 해도 된다. 이 예에서, 이미지 취득 모듈의 카메라가 동작 상태에 있을 때, 보광 라이트는 온 상태에 있다.
다른 예에서, 광선이 부족한 경우에 보광 라이트를 온으로 해도 된다. 예를 들면, 환경 광센서에 의해 환경 광 강도를 취득하고, 환경 광 강도가 광 강도 임계치보다 낮은 경우에 광선이 부족한 것으로 판정하고, 보광 라이트를 온으로 하도록 해도 된다.
가능한 일 실시형태에서는 이미지 취득 모듈(33)은 심도 센서의 카메라와 이미지 센서의 카메라 사이에 설치되는 레이저를 추가로 포함한다. 예를 들면, 도 5b에 나타내는 예에서, 이미지 센서가 RGB 센서이고, 이미지 센서의 카메라가 RGB 카메라이고, 심도 센서가 TOF 센서이고, 레이저가 TOF 센서의 카메라와 RGB 센서의 카메라 사이에 설치되어 있다. 예를 들면, 레이저 VCSEL이고, TOF 센서는 VCSEL에서 발생한 레이저 광에 의해 심도맵을 취득한다.
일례에서, 심도 센서는 LVDS(Low-Voltage Differential Signaling, 저전압 차동 신호) 인터페이스를 통해 얼굴 인식 시스템(32)에 접속된다.
가능한 일 실시형태에서는 차량 탑재 얼굴 인증 잠금 해제 시스템은 얼굴 인식 시스템(32)에 접속되고, 도어를 해정하기 위한 패스워드 잠금 해제 모듈(35)을 추가로 포함한다.
가능한 일 실시형태에서는 패스워드 잠금 해제 모듈(35)은 터치 스크린 및 키보드 중 하나 또는 2개를 포함한다.
일례에서, 터치 스크린은 FPD-Link(Flat Panel Display Link, 플랫 패널 디스플레이 링크)를 통해 얼굴 인식 시스템(32)에 접속된다.
가능한 일 실시형태에서는 차량 탑재 얼굴 인증 잠금 해제 시스템은 마이크로 프로세서(341) 및 얼굴 인식 시스템(32)에 각각 접속되는 전지 모듈(36)을 추가로 포함한다.
가능한 일 실시형태에서는 메모리(31), 얼굴 인식 시스템(32), 인체 근접 감시 시스템(34) 및 전지 모듈(36)은 ECU(Electronic Control Unit, 전자 제어 유닛)에 탑재되어도 된다.
도 15는 본 발명의 실시예에 따른 차량 탑재 얼굴 인증 잠금 해제 시스템의 모식도를 나타낸다. 도 15에 나타내는 예에서, 메모리(31), 얼굴 인식 시스템(32), 인체 근접 감시 시스템(34) 및 전지 모듈(Power Management)(36)은 ECU에 탑재되어 있고, 얼굴 인식 시스템(32)은 SoC를 사용하여 실현되고, 메모리(31)는 플래시 메모리(Flash) 및 DDR3 메모리를 포함하고, 하나 이상의 거리 센서(342)는 블루투스(Bluetooth) 거리 센서 및 초음파(Ultrasonic) 거리 센서를 포함하고, 이미지 취득 모듈(33)은 심도 센서(3D Camera)를 포함하고, 심도 센서는 LVDS 인터페이스를 통해 얼굴 인식 시스템(32)에 접속되고, 패스워드 잠금 해제 모듈(35)은 터치 스크린(Touch Screen)을 포함하고, 터치 스크린은 FPD-Link를 통해 얼굴 인식 시스템(32)에 접속되고, 얼굴 인식 시스템(32)은 CAN 버스를 통해 도어 영역 컨트롤러에 접속된다.
도 16은 본 발명의 실시예에 따른 차량의 모식도를 나타낸다. 도 16에 나타내는 바와 같이, 차량은 도어 영역 컨트롤러(42)에 접속되는 차량 탑재 얼굴 인증 잠금 해제 시스템(41)을 포함한다.
가능한 일 실시형태에서는 이미지 취득 모듈이 차량의 차실 외부에 설치된다.
가능한 일 실시형태에서는 이미지 취득 모듈은 차량의 B필러, 하나 이상의 도어, 하나 이상의 백미러 중 하나 이상에 설치된다.
가능한 일 실시형태에서는 얼굴 인식 시스템은 차량 내에 설치되고, CAN 버스를 통해 도어 영역 컨트롤러에 접속된다.
가능한 일 실시형태에서는 하나 이상의 거리 센서는 차량 내에 설치되는 블루투스 거리 센서를 포함한다.
가능한 일 실시형태에서는 하나 이상의 거리 센서는 차량의 차실 외부에 설치되는 초음파 거리 센서를 포함한다.
본 발명의 실시예는 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령은 프로세서에 의해 실행되면, 상기 방법을 실현시키는 컴퓨터 판독 가능 기억 매체를 추가로 제공한다. 컴퓨터 판독 가능 기억 매체는 비휘발성 컴퓨터 판독 가능 기억 매체여도 되고, 또는 휘발성 컴퓨터 판독 가능 기억 매체여도 된다.
본 발명의 실시예는 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 판독 가능 코드는 전자 기기에서 동작하면, 상기 전자 기기의 프로세서에 상기 차량의 도어록 해제 방법을 실현하기 위한 명령을 실행시키는 컴퓨터 프로그램을 추가로 제공한다.
본 발명의 실시예는 프로세서와, 프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하고, 상기 프로세서는 상기 방법을 실행하도록 구성되는 전자 기기를 추가로 제공한다.
전자 기기는 단말, 서버 또는 다른 형태의 장치로서 제공되어도 된다.
도 17은 예시적인 일 실시예에 기초하여 나타낸 전자 기기(800)의 블록도이다. 예를 들면, 전자 기기(800)는 차량의 도어록 해제 장치 등의 단말이어도 된다.
도 17을 참조하면, 전자 기기(800)는 처리 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(I/O) 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중 하나 이상을 포함할 수 있다.
처리 컴포넌트(802)는 통상 전자 기기(800)의 전체적인 동작, 예를 들면, 표시, 전화의 호출, 데이터 통신, 카메라 동작 및 기록 동작과 관련되는 동작을 제어한다. 처리 컴포넌트(802)는 상기 방법 중 전부 또는 일부 단계를 실행하기 위해, 명령을 실행하는 하나 또는 복수의 프로세서(820)를 포함해도 된다. 또한, 처리 컴포넌트(802)는 다른 컴포넌트와의 상호 작용을 위한 하나 또는 복수의 모듈을 포함해도 된다. 예를 들면, 처리 컴포넌트(802)는 멀티미디어 컴포넌트(808)와의 상호 작용을 위해 멀티미디어 모듈을 포함해도 된다.
메모리(804)는 전자 기기(800)에서의 동작을 서포트하기 위한 다양한 타입의 데이터를 기억하도록 구성된다. 상기 데이터는 예로서, 전자 기기(800)에서 운용하는 모든 애플리케이션 프로그램 또는 방법의 명령, 연락처 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(804)는 예를 들면, 정적 랜덤 액세스 메모리(SRAM), 전기적 소거 가능 프로그래머블 판독 전용 메모리(EEPROM), 소거 가능 프로그래머블 판독 전용 메모리(EPROM), 프로그래머블 판독 전용 메모리(PROM), 판독 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광디스크 등의 다양한 타입의 휘발성 또는 비휘발성 기억 장치 또는 이들의 조합에 의해 실현할 수 있다.
전원 컴포넌트(806)는 전자 기기(800)의 각 컴포넌트에 전력을 공급한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 또는 복수의 전원 및 전자 기기(800)를 위한 전력 생성, 관리 및 배분에 관련되는 다른 컴포넌트를 포함해도 된다.
멀티미디어 컴포넌트(808)는 상기 전자 기기(800)와 사용자 사이에서 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서는 스크린은 액정 디스플레이(LCD) 및 터치 패널(TP)을 포함해도 된다. 스크린이 터치 패널을 포함하는 경우, 사용자로부터의 입력 신호를 수신하는 터치 스크린으로서 실현해도 된다. 터치 스크린은 터치, 슬라이드 및 터치 패널에서의 제스처를 검지하기 위해, 하나 또는 복수의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 검지할 뿐만 아니라, 상기 터치 또는 슬라이드 조작에 관련되는 지속 시간 및 압력을 검출하도록 해도 된다. 일부 실시예에서는 멀티미디어 컴포넌트(808)는 전면 카메라 및/또는 후면 카메라를 포함한다. 전자 기기(800)가 동작 모드, 예를 들면, 촬영 모드 또는 촬상 모드가 되는 경우, 전면 카메라 및/또는 후면 카메라는 외부의 멀티미디어 데이터를 수신하도록 해도 된다. 전면 카메라 및/또는 후면 카메라는 고정된 광학 렌즈계, 또는 초점 거리 및 광학 줌 능력을 갖는 것이어도 된다.
오디오 컴포넌트(810)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들면, 오디오 컴포넌트(810)는 마이크(MIC)를 포함하고, 마이크(MIC)는 전자 기기(800)가 동작 모드, 예를 들면, 호출 모드, 기록 모드 및 음성 인식 모드인 경우, 외부의 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 추가로 메모리(804)에 기억되거나, 또는 통신 컴포넌트(816)를 통해 송신되어도 된다. 일부 실시예에서는 오디오 컴포넌트(810)는 오디오 신호를 출력하기 위한 스피커를 추가로 포함한다.
I/O 인터페이스(812)는 처리 컴포넌트(802)와 주변 인터페이스 모듈 사이에서 인터페이스를 제공하고, 상기 주변 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등이어도 된다. 상기 버튼은 홈 버튼, 음량 버튼, 시작 버튼 및 잠금 버튼을 포함해도 되지만, 이들에 한정되지 않는다.
센서 컴포넌트(814)는 전자 기기(800)의 각 측면의 상태 평가를 위한 하나 또는 복수의 센서를 포함한다. 예를 들면, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태, 예를 들면, 전자 기기(800)의 표시 장치 및 키패드와 같은 컴포넌트의 상대적 위치 결정을 검출할 수 있고, 센서 컴포넌트(814)는 추가로 전자 기기(800) 또는 전자 기기(800)의 컴포넌트의 위치 변화, 사용자와 전자 기기(800)의 접촉 유무, 전자 기기(800)의 방위 또는 가감속 및 전자 기기(800)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(814)는 어떠한 물리적 접촉도 없는 경우, 근방의 물체의 존재를 검출하도록 구성된 근접 센서를 포함한다. 센서 컴포넌트(814)는 추가로 CMOS 또는 CCD 이미지 센서와 같은, 이미징 애플리케이션에서 사용하는 광센서를 포함해도 된다. 일부 실시예에서는 상기 센서 컴포넌트(814)는 추가로 가속도 센서, 자이로스코프 센서, 자기 센서, 압력 센서 또는 온도 센서를 포함해도 된다.
통신 컴포넌트(816)는 전자 기기(800)와 다른 기기 사이의 유선 또는 무선 통신을 실현하도록 구성된다. 전자 기기(800)는 통신 규격에 기초하는 무선 네트워크, 예를 들면, WiFi, 2G, 3G, 4G 혹은 5G 또는 이들의 조합에 액세스할 수 있다. 예시적 일 실시예에서는 통신 컴포넌트(816)는 방송 채널을 통해 외부의 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 일 예시적 실시예에서는 상기 통신 컴포넌트(816)는 추가로 근거리 통신을 촉진시키기 위해 근거리 무선 통신(NFC) 모듈을 포함한다. 예를 들면, NFC 모듈은 무선 주파수 식별(RFID) 기술, 적외선 데이터 협회(IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술 및 다른 기술에 의해 실현할 수 있다.
예시적인 실시예에서는 전자 기기(800)는 하나 또는 복수의 특정 용도용 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 디바이스(DSPD), 프로그래머블 로직 디바이스(PLD), 필드 프로그래머블 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 요소에 의해 실현되고, 상기 방법을 실행하기 위해 사용할 수 있다.
예시적인 실시예에서는 추가로 비휘발성 컴퓨터 판독 가능 기억 매체, 예를 들면, 컴퓨터 프로그램 명령을 포함하는 메모리(804)가 제공되고, 상기 컴퓨터 프로그램 명령은 전자 기기(800)의 프로세서(820)에 의해 실행되면, 상기 방법을 실행시킬 수 있다.
본 발명은 시스템, 방법 및/또는 컴퓨터 프로그램 제품이어도 된다. 컴퓨터 프로그램 제품은 프로세서에 본 발명의 각 양태를 실현시키기 위한 컴퓨터 판독 가능 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체를 포함할 수 있다.
컴퓨터 판독 가능 기억 매체는 명령 실행 장치에 사용되는 명령을 저장 및 기억 가능한 유형(有形)의 장치여도 된다. 컴퓨터 판독 가능 기억 매체는 예를 들면, 전기 기억 장치, 자기 기억 장치, 광 기억 장치, 전자 기억 장치, 반도체 기억 장치 또는 상기 임의의 적당한 조합이어도 되지만, 이들에 한정되지 않는다. 컴퓨터 판독 가능 기억 매체의 더욱 구체적인 예(비망라적 리스트)로는 휴대형 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능 프로그래머블 판독 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대형 콤팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다용도 디스크(DVD), 메모리 스틱, 플로피 디스크, 예를 들면, 명령이 기억되어 있는 펀치 카드 또는 슬롯 내의 돌기 구조와 같은 기계적 부호화 장치 및 상기 임의의 적당한 조합을 포함한다. 여기에서 사용되는 컴퓨터 판독 가능 기억 매체는 순시 신호 자체, 예를 들면, 무선 전파 또는 기타 자유롭게 전파되는 전자파, 도파로 또는 다른 전송 매체를 경유하여 전파되는 전자파(예를 들면, 광파이버 케이블을 통과하는 광펄스) 또는 전선을 경유하여 전송되는 전기 신호로 해석되는 것은 아니다.
여기에서 기술된 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에서 각 계산/처리 기기에 다운로드되어도 되고, 또는 네트워크, 예를 들면, 인터넷, 로컬 에어리어 네트워크, 광역 네트워크 및/또는 무선 네트워크를 경유하여 외부 컴퓨터 또는 외부 기억 장치에 다운로드되어도 된다. 네트워크는 구리 전송 케이블, 광파이버 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함해도 된다. 각 계산/처리 기기 내의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크에서 컴퓨터 판독 가능 프로그램 명령을 수신하고, 상기 컴퓨터 판독 가능 프로그램 명령을 전송하고, 각 계산/처리 기기 내의 컴퓨터 판독 가능 기억 매체에 기억시킨다.
본 발명의 동작을 실행하기 위한 컴퓨터 프로그램 명령은 어셈블러 명령, 명령 세트 아키텍처(ISA) 명령, 기계어 명령, 기계 의존 명령, 마이크로 코드, 펌웨어 명령, 상태 설정 데이터 또는 Smalltalk, C++ 등의 오브젝트 지향 프로그래밍 언어 및 「C」언어 또는 유사한 프로그래밍 언어 등의 일반적인 절차형 프로그래밍 언어를 포함하는 하나 또는 복수의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 목표 코드(target code)여도 된다. 컴퓨터 판독 가능 프로그램 명령은 완전히 사용자의 컴퓨터에서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에서 실행되어도 되고, 독립형 소프트웨어 패키지로서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에서 또한 부분적으로 리모트 컴퓨터에서 실행되어도 되고, 또는 완전히 리모트 컴퓨터에서 혹은 서버에서 실행되어도 된다. 리모트 컴퓨터의 경우, 리모트 컴퓨터는 로컬 에어리어 네트워크(LAN) 또는 광역 네트워크(WAN)를 포함하는 임의의 종별의 네트워크를 경유하여 사용자의 컴퓨터에 접속되어도 되고, 또는 (예를 들면, 인터넷 서비스 프로바이더를 이용해 인터넷을 경유하여) 외부 컴퓨터에 접속되어도 된다. 일부 실시예에서는 컴퓨터 판독 가능 프로그램 명령의 상태 정보를 이용하여, 예를 들면, 프로그래머블 논리 회로, 필드 프로그래머블 게이트 어레이(FPGA) 또는 프로그래머블 논리 어레이(PLA) 등의 전자 회로를 맞춤 제조하고, 상기 전자 회로에 의해 컴퓨터 판독 가능 프로그램 명령을 실행함으로써, 본 발명의 각 양태를 실현하도록 해도 된다.
여기서, 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하면서 본 발명의 각 양태를 설명하였다. 흐름도 및/또는 블록도의 각 블록과, 흐름도 및/또는 블록도의 각 블록의 조합은 전부 컴퓨터 판독 가능 프로그램 명령에 의해 실현할 수 있는 것으로 이해되어야 한다.
상기 컴퓨터 판독 가능 프로그램 명령은 범용 컴퓨터, 전용 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 제공되어 상기 명령이 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 의해 실행되면, 흐름도 및/또는 블록도의 하나 또는 복수의 블록에서 지정된 기능/동작을 실현하도록 기계를 제조해도 된다. 또한, 상기 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에 기억시키고, 컴퓨터, 프로그래머블 데이터 처리 장치 및/또는 기타 기기를 특정 방식으로 동작시키도록 해도 된다. 이에 의해, 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체는 흐름도 및/또는 블록도의 하나 또는 복수의 블록에서 지정된 기능/동작의 각 측면을 실현하기 위한 명령을 갖는 제품을 포함한다.
컴퓨터 판독 가능 프로그램 명령을 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 기기에 로드하고, 컴퓨터, 기타 프로그래머블 처리 장치 또는 기타 기기에 일련의 동작 단계를 실행시킴으로써, 컴퓨터에 의해 실시 가능한 프로세스를 생성하도록 해도 된다. 이에 의해, 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 기기에서 실행되는 명령에 의해 흐름도 및/또는 블록도의 하나 또는 복수의 블록에서 지정된 기능/동작을 실현한다.
도면 중 흐름도 및 블록도는 본 발명의 복수의 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 실현 가능한 시스템 아키텍처, 기능 및 동작을 나타낸다. 이 점에서는 흐름도 또는 블록도에서의 각 블록은 하나의 모듈, 프로그램 세그먼트 또는 명령의 일부분을 대표할 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령의 일부분은 지정된 논리 기능을 실현하기 위한 하나 또는 복수의 실행 가능 명령을 포함한다. 일부 대안으로서의 실현 형태에서는 블록에 표기되는 기능은 도면에 기재된 순서와 상이한 순서로 실현해도 된다. 예를 들면, 연속적인 두 개의 블록은 실질적으로 동시에 실행해도 되고, 이러한 기능에 의해 반대 순서로 실행해도 되는 경우가 있다. 블록도 및/또는 흐름도에서의 각 블록과, 블록도 및/또는 흐름도에서의 블록의 조합은 지정되는 기능 또는 동작을 실행하는 하드웨어에 기초하는 전용 시스템에 의해 실현되어도 되고, 또는 전용 하드웨어와 컴퓨터 명령의 조합에 의해 실현되어도 되는 것에 주의해야 한다.
이상, 본 발명의 각 실시예를 기술했지만, 상기 설명은 망라적인 것이 아니라 예시적인 것이고, 또한 개시된 각 실시예에 한정되는 것도 아니다. 당업자에게 있어서, 설명된 각 실시예의 범위 및 정신에서 벗어나지 않고, 다양한 수정 및 변경이 자명하다. 본 명세서에 사용된 용어는 각 실시예의 원리, 실제 적용 또는 종래 기술에 대한 기술적 개선을 바람직하게 해석하거나, 또는 다른 당업자에게 본 명세서에 개시된 각 실시예를 이해시키기 위한 것이다.

Claims (96)

  1. 차량에 설치되는 하나 이상의 거리 센서에 의해 상기 차량 밖의 목표 대상물과 상기 차량 사이의 거리를 취득하는 것과,
    상기 거리가 소정의 조건을 충족함에 따라, 상기 차량에 설치되는 이미지 취득 모듈을, 상기 목표 대상물의 제1 이미지를 취득하도록 기상시켜 제어하는 것과,
    상기 제1 이미지에 기초하여 얼굴 인식을 행하는 것과,
    얼굴 인식의 성공에 따라, 상기 차량의 하나 이상의 도어록에 도어록 해제 명령을 송신하는 것을 포함하는, 차량의 도어록 해제 방법.
  2. 제 1 항에 있어서,
    상기 소정의 조건은
    상기 거리가 소정의 거리 임계치보다 작은 것과,
    상기 거리가 소정의 거리 임계치보다 작아지는 지속 시간이 소정의 시간 임계치에 도달하는 것과,
    지속 시간의 기간에 취득되는 상기 거리가 상기 목표 대상물이 상기 차량에 접근하고 있음을 나타내는 것 중 하나 이상을 포함하는, 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 하나 이상의 거리 센서는 블루투스 거리 센서를 포함하고,
    상기 차량에 설치되는 하나 이상의 거리 센서에 의해 상기 차량 밖의 목표 대상물과 상기 차량 사이의 거리를 취득하는 것은,
    외부 장치와 상기 블루투스 거리 센서의 블루투스에 의한 페어링 접속을 확립하는 것과,
    상기 블루투스에 의한 페어링 접속의 성공에 따라, 상기 블루투스 거리 센서에 의해 상기 외부 장치를 갖고 있는 목표 대상물과 상기 차량 사이의 제1 거리를 취득하는 것을 포함하는, 방법.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 하나 이상의 거리 센서는 초음파 거리 센서를 포함하고,
    상기 차량에 설치되는 하나 이상의 거리 센서에 의해 상기 차량 밖의 목표 대상물과 상기 차량 사이의 거리를 취득하는 것은,
    상기 차량의 차실 외부에 설치되는 상기 초음파 거리 센서에 의해 상기 목표 대상물과 상기 차량 사이의 제2 거리를 취득하는 것을 포함하는, 방법.
  5. 제 1 항 또는 제 2 항에 있어서,
    상기 하나 이상의 거리 센서는 블루투스 거리 센서 및 초음파 거리 센서를 포함하고,
    상기 차량에 설치되는 하나 이상의 거리 센서에 의해 상기 차량 밖의 목표 대상물과 상기 차량 사이의 거리를 취득하는 것은, 외부 장치와 상기 블루투스 거리 센서의 블루투스에 의한 페어링 접속을 확립하는 것과, 상기 블루투스에 의한 페어링 접속의 성공에 따라, 상기 블루투스 거리 센서에 의해 상기 외부 장치를 갖고 있는 목표 대상물과 상기 차량 사이의 제1 거리를 취득하는 것과, 상기 초음파 거리 센서에 의해 상기 목표 대상물과 상기 차량 사이의 제2 거리를 취득하는 것을 포함하고,
    상기 거리가 소정의 조건을 충족함에 따라, 상기 차량에 설치되는 이미지 취득 모듈을, 상기 목표 대상물의 제1 이미지를 취득하도록 기상시켜 제어하는 것은, 상기 제1 거리 및 상기 제2 거리가 소정의 조건을 충족함에 따라, 상기 차량에 설치되는 이미지 취득 모듈을 상기 목표 대상물의 제1 이미지를 취득하도록 기상시켜 제어하는, 방법.
  6. 제 5 항에 있어서,
    상기 소정의 조건은 제1 소정의 조건 및 제2 소정의 조건을 포함하고,
    상기 제1 소정의 조건은 상기 제1 거리가 소정의 제1 거리 임계치보다 작은 것과, 상기 제1 거리가 소정의 제1 거리 임계치보다 작아지는 지속 시간이 소정의 시간 임계치에 도달하는 것과, 지속 시간의 기간에 취득되는 상기 제1 거리가 상기 목표 대상물이 상기 차량에 접근하고 있음을 나타내는 것 중 하나 이상을 포함하고,
    상기 제2 소정의 조건은 상기 제2 거리가 상기 제1 거리 임계치보다 작은 소정의 제2 거리 임계치보다 작은 것과, 상기 제2 거리가 소정의 제2 거리 임계치보다 작아지는 지속 시간이 소정의 시간 임계치에 도달하는 것을 포함하는, 방법.
  7. 제 5 항 또는 제 6 항에 있어서,
    상기 제1 거리 및 상기 제2 거리가 소정의 조건을 충족함에 따라, 상기 차량에 설치되는 이미지 취득 모듈을, 상기 목표 대상물의 제1 이미지를 취득하도록 기상시켜 제어하는 것은,
    상기 제1 거리가 제1 소정의 조건을 충족함에 따라, 상기 차량에 설치되는 얼굴 인식 시스템을 기상시키는 것과,
    상기 제2 거리가 제2 소정의 조건을 충족함에 따라, 기상된 상기 얼굴 인식 시스템에 의해 상기 목표 대상물의 제1 이미지를 취득하도록 상기 이미지 취득 모듈을 제어하는 것을 포함하는, 방법.
  8. 제 2 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 거리 센서는 초음파 거리 센서이고, 상기 소정의 거리 임계치는 산출되어 얻은, 상기 차량 밖의 대상물과 상기 차량 사이의 거리 임계치의 기준값을 나타내는 거리 임계치 기준값 및 상기 차량 밖의 대상물과 상기 차량 사이의 거리의 임계치의 오프셋값을 나타내는 소정의 거리 임계치 오프셋값에 기초하여 결정되는, 방법.
  9. 제 8 항에 있어서,
    상기 소정의 거리 임계치는 상기 거리 임계치 기준값과 상기 소정의 거리 임계치 오프셋값의 차와 동일한, 방법.
  10. 제 8 항 또는 제 9 항에 있어서,
    상기 거리 임계치 기준값은 차량의 이그니션 오프 후의 특정 기간의 상기 차량 밖의 대상물과 상기 차량 사이의 거리의 평균값을 나타내는 차량의 이그니션 오프 후의 거리 평균값과, 도어록 해제 가능한 최대 거리 중 최소값을 취하는, 방법.
  11. 제 8 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 거리 임계치 기준값은 주기적으로 갱신되는, 방법.
  12. 제 2 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 거리 센서는 초음파 거리 센서이고, 상기 소정의 시간 임계치는 산출되어 얻은, 상기 차량 밖의 대상물과 상기 차량 사이의 거리가 상기 소정의 거리 임계치보다 작아지는 시간의 임계치의 기준값을 나타내는 시간 임계치 기준값 및 상기 차량 밖의 대상물과 상기 차량 사이의 거리가 상기 소정의 거리 임계치보다 작아지는 시간의 임계치의 오프셋값을 나타내는 시간 임계치 오프셋값에 기초하여 결정되는, 방법.
  13. 제 12 항에 있어서,
    상기 소정의 시간 임계치는 상기 시간 임계치 기준값과 상기 시간 임계치 오프셋값의 합과 동일한, 방법.
  14. 제 12 항 또는 제 13 항에 있어서,
    상기 시간 임계치 기준값은 상기 초음파 거리 센서의 수평 방향 검지 각도, 상기 초음파 거리 센서의 검지 반경, 대상물 사이즈 및 대상물 속도 중 하나 또는 복수에 기초하여 결정되는, 방법.
  15. 제 14 항에 있어서,
    종별마다의 대상물 사이즈, 종별마다의 대상물 속도, 상기 초음파 거리 센서의 수평 방향 검지 각도 및 상기 초음파 거리 센서의 검지 반경에 기초하여, 종별마다의 대상물에 대응하는 후보 기준값을 결정하는 것과,
    상기 종별마다의 대상물에 대응하는 후보 기준값에서 상기 시간 임계치 기준값을 결정하는 것을 추가로 포함하는, 방법.
  16. 제 15 항에 있어서,
    상기 종별마다의 대상물에 대응하는 후보 기준값에서 상기 시간 임계치 기준값을 결정하는 것은,
    종별마다의 대상물에 대응하는 후보 기준값 중 최대값을 상기 시간 임계치 기준값으로서 결정하는 것을 포함하는, 방법.
  17. 제 1 항 내지 제 16 항 중 어느 한 항에 있어서,
    상기 얼굴 인식은 생체 검출 및 얼굴 인증을 포함하고,
    상기 제1 이미지에 기초하여 얼굴 인식을 행하는 것은,
    상기 이미지 취득 모듈의 이미지 센서에 의해 상기 제1 이미지를 취득하고, 상기 제1 이미지 및 미리 등록된 얼굴 특징에 기초하여 얼굴 인증을 행하는 것과,
    상기 이미지 취득 모듈의 심도 센서에 의해 상기 제1 이미지에 대응하는 제1 심도맵을 취득하고, 상기 제1 이미지 및 상기 제1 심도맵에 기초하여 생체 검출을 행하는 것을 포함하는, 방법.
  18. 제 17 항에 있어서,
    상기 제1 이미지 및 상기 제1 심도맵에 기초하여 생체 검출을 행하는 것은,
    상기 제1 이미지에 기초하여 상기 제1 심도맵을 갱신하여, 제2 심도맵을 얻는 것과,
    상기 제1 이미지 및 상기 제2 심도맵에 기초하여 상기 목표 대상물의 생체 검출 결과를 결정하는 것을 포함하는, 방법.
  19. 제 17 항 또는 제 18 항에 있어서,
    상기 이미지 센서는 RGB 이미지 센서 또는 적외선 센서를 포함하고,
    상기 심도 센서는 양안 적외선 센서 또는 비행 시간 TOF 센서를 포함하는, 방법.
  20. 제 19 항에 있어서,
    상기 TOF 센서는 적외선 파장역에 기초하는 TOF 모듈을 사용하는, 방법.
  21. 제 18 항 내지 제 20 항 중 어느 한 항에 있어서,
    상기 제1 이미지에 기초하여 상기 제1 심도맵을 갱신하여, 제2 심도맵을 얻는 것은,
    상기 제1 이미지에 기초하여 상기 제1 심도맵에서의 심도 실효 화소의 심도값을 갱신하여 상기 제2 심도맵을 얻는 것을 포함하는, 방법.
  22. 제 18 항 내지 제 21 항 중 어느 한 항에 있어서,
    상기 제1 이미지에 기초하여 상기 제1 심도맵을 갱신하여, 제2 심도맵을 얻는 것은,
    상기 제1 이미지에 기초하여, 상기 제1 이미지에서의 복수의 화소의, 심도 예측값 및 상기 복수의 화소끼리의 관련도를 나타내는 관련 정보를 결정하는 것과,
    상기 복수의 화소의 심도 예측값 및 관련 정보에 기초하여 상기 제1 심도맵을 갱신하여, 제2 심도맵을 얻는 것을 포함하는, 방법.
  23. 제 22 항에 있어서,
    상기 복수의 화소의 심도 예측값 및 관련 정보에 기초하여 상기 제1 심도맵을 갱신하여, 제2 심도맵을 얻는 것은,
    상기 제1 심도맵에서의 심도 실효 화소를 결정하는 것과,
    상기 복수의 화소의 심도 예측값에서 상기 심도 실효 화소의 심도 예측값 및 상기 심도 실효 화소의 복수의 주변 화소의 심도 예측값을 취득하는 것과,
    상기 복수의 화소의 관련 정보에서 상기 심도 실효 화소와 상기 심도 실효 화소의 복수의 주변 화소의 관련도를 취득하는 것과,
    상기 심도 실효 화소의 심도 예측값, 상기 심도 실효 화소의 복수의 주변 화소의 심도 예측값 및 상기 심도 실효 화소와 상기 심도 실효 화소의 주변 화소의 관련도에 기초하여, 상기 심도 실효 화소의 갱신 후의 심도값을 결정하는 것을 포함하는, 방법.
  24. 제 23 항에 있어서,
    상기 심도 실효 화소의 심도 예측값, 상기 심도 실효 화소의 복수의 주변 화소의 심도 예측값 및 상기 심도 실효 화소와 상기 심도 실효 화소의 복수의 주변 화소의 관련도에 기초하여, 상기 심도 실효 화소의 갱신 후의 심도값을 결정하는 것은,
    상기 심도 실효 화소의 주변 화소의 심도 예측값 및 상기 심도 실효 화소와 상기 심도 실효 화소의 복수의 주변 화소의 관련도에 기초하여, 상기 심도 실효 화소의 심도 관련값을 결정하는 것과,
    상기 심도 실효 화소의 심도 예측값 및 상기 심도 관련값에 기초하여, 상기 심도 실효 화소의 갱신 후의 심도값을 결정하는 것을 포함하는, 방법.
  25. 제 24 항에 있어서,
    상기 심도 실효 화소의 주변 화소의 심도 예측값 및 상기 심도 실효 화소와 상기 심도 실효 화소의 복수의 주변 화소의 관련도에 기초하여, 상기 심도 실효 화소의 심도 관련값을 결정하는 것은,
    상기 심도 실효 화소와 각 주변 화소의 관련도를 상기 각 주변 화소의 가중치로서, 상기 심도 실효 화소의 복수의 주변 화소의 심도 예측값에 대해 가중합 처리를 행하여, 상기 심도 실효 화소의 심도 관련값을 얻는 것을 포함하는, 방법.
  26. 제 22 항 내지 제 25 항 중 어느 한 항에 있어서,
    상기 제1 이미지에 기초하여 상기 제1 이미지에서의 복수의 화소의 심도 예측값을 결정하는 것은,
    상기 제1 이미지 및 상기 제1 심도맵에 기초하여, 상기 제1 이미지에서의 복수의 화소의 심도 예측값을 결정하는 것을 포함하는, 방법.
  27. 제 26 항에 있어서,
    상기 제1 이미지 및 상기 제1 심도맵에 기초하여, 상기 제1 이미지에서의 복수의 화소의 심도 예측값을 결정하는 것은,
    상기 제1 이미지 및 상기 제1 심도맵을 심도 예측 뉴럴 네트워크에 입력하고 처리하여, 상기 제1 이미지에서의 복수의 화소의 심도 예측값을 얻는 것을 포함하는, 방법.
  28. 제 26 항 또는 제 27 항에 있어서,
    상기 제1 이미지 및 상기 제1 심도맵에 기초하여, 상기 제1 이미지에서의 복수의 화소의 심도 예측값을 결정하는 것은,
    상기 제1 이미지 및 상기 제1 심도맵에 대해 융합 처리를 행하여, 융합 결과를 얻는 것과,
    상기 융합 결과에 기초하여, 상기 제1 이미지에서의 복수의 화소의 심도 예측값을 결정하는 것을 포함하는, 방법.
  29. 제 22 항 내지 제 28 항 중 어느 한 항에 있어서,
    상기 제1 이미지에 기초하여 상기 제1 이미지에서의 복수의 화소끼리의 관련 정보를 결정하는 것은,
    상기 제1 이미지를 관련도 검출 뉴럴 네트워크에 입력하고 처리하여, 상기 제1 이미지에서의 복수의 화소의 관련 정보를 얻는 것을 포함하는, 방법.
  30. 제 18 항 내지 제 29 항 중 어느 한 항에 있어서,
    상기 제1 이미지에 기초하여 상기 제1 심도맵을 갱신하는 것은,
    상기 제1 이미지에서 상기 목표 대상물의 이미지를 취득하는 것과,
    상기 목표 대상물의 이미지에 기초하여 상기 제1 심도맵을 갱신하는 것을 포함하는, 방법.
  31. 제 30 항에 있어서,
    상기 제1 이미지에서 상기 목표 대상물의 이미지를 취득하는 것은,
    상기 제1 이미지에서의 상기 목표 대상물의 키포인트 정보를 취득하는 것과,
    상기 목표 대상물의 키포인트 정보에 기초하여, 상기 제1 이미지에서 상기 목표 대상물의 이미지를 취득하는 것을 포함하는, 방법.
  32. 제 31 항에 있어서,
    상기 제1 이미지에서의 상기 목표 대상물의 키포인트 정보를 취득하는 것은,
    상기 제1 이미지에 대해 목표 검출을 행하여, 상기 목표 대상물의 소재 영역을 얻는 것과,
    상기 목표 대상물의 소재 영역의 이미지에 대해 키포인트 검출을 행하여, 상기 제1 이미지에서의 상기 목표 대상물의 키포인트 정보를 얻는 것을 포함하는, 방법.
  33. 제 18 항 내지 제 32 항 중 어느 한 항에 있어서,
    상기 제1 이미지에 기초하여 상기 제1 심도맵을 갱신하여, 제2 심도맵을 얻는 것은,
    상기 제1 심도맵에서 상기 목표 대상물의 심도맵을 취득하는 것과,
    상기 제1 이미지에 기초하여 상기 목표 대상물의 심도맵을 갱신하여, 상기 제2 심도맵을 얻는 것을 포함하는, 방법.
  34. 제 18 항 내지 제 33 항 중 어느 한 항에 있어서,
    상기 제1 이미지 및 상기 제2 심도맵에 기초하여 상기 목표 대상물의 생체 검출 결과를 결정하는 것은,
    상기 제1 이미지 및 상기 제2 심도맵을 생체 검출 뉴럴 네트워크에 입력하고 처리하여, 상기 목표 대상물의 생체 검출 결과를 얻는 것을 포함하는, 방법.
  35. 제 18 항 내지 제 34 항 중 어느 한 항에 있어서,
    상기 제1 이미지 및 상기 제2 심도맵에 기초하여 상기 목표 대상물의 생체 검출 결과를 결정하는 것은,
    상기 제1 이미지에 대해 특징 추출 처리를 행하여 제1 특징 정보를 얻는 것과,
    상기 제2 심도맵에 대해 특징 추출 처리를 행하여 제2 특징 정보를 얻는 것과,
    상기 제1 특징 정보 및 상기 제2 특징 정보에 기초하여 상기 목표 대상물의 생체 검출 결과를 결정하는 것을 포함하는, 방법.
  36. 제 35 항에 있어서,
    상기 제1 특징 정보 및 상기 제2 특징 정보에 기초하여 상기 목표 대상물의 생체 검출 결과를 결정하는 것은,
    상기 제1 특징 정보 및 상기 제2 특징 정보에 대해 융합 처리를 행하여, 제3 특징 정보를 얻는 것과,
    상기 제3 특징 정보에 기초하여 상기 목표 대상물의 생체 검출 결과를 결정하는 것을 포함하는, 방법.
  37. 제 36 항에 있어서,
    상기 제3 특징 정보에 기초하여 상기 목표 대상물의 생체 검출 결과를 결정하는 것은,
    상기 제3 특징 정보에 기초하여 상기 목표 대상물이 생체인 확률을 얻는 것과,
    상기 목표 대상물이 생체인 확률에 기초하여 상기 목표 대상물의 생체 검출 결과를 결정하는 것을 포함하는, 방법.
  38. 제 1 항 내지 제 37 항 중 어느 한 항에 있어서,
    상기 제1 이미지에 기초하여 얼굴 인식을 행한 후, 추가로,
    얼굴 인식의 실패에 따라, 상기 차량에 설치되는 패스워드 잠금 해제 모듈을 액티브화하여, 패스워드에 의한 잠금 해제 플로우를 기동하는 것을 포함하는, 방법.
  39. 제 1 항 내지 제 38 항 중 어느 한 항에 있어서,
    상기 이미지 취득 모듈에 의해 취득한 차량 소유자의 얼굴 이미지에 기초하여 차량 소유자의 등록을 행하는 것과,
    상기 차량 소유자의 단말 장치에 의해 취득한 상기 차량 소유자의 얼굴 이미지에 기초하여 원격 등록을 행하고, 상기 차량 소유자의 얼굴 이미지를 포함하는 등록 정보를 상기 차량에 송신하는 것 중 하나 또는 두 개를 추가로 포함하는, 방법.
  40. 차량에 설치되는 하나 이상의 거리 센서에 의해 상기 차량 밖의 목표 대상물과 상기 차량 사이의 거리를 취득하기 위한 취득 모듈과,
    상기 거리가 소정의 조건을 충족함에 따라, 상기 차량에 설치되는 이미지 취득 모듈을, 상기 목표 대상물의 제1 이미지를 취득하도록 기상시켜 제어하기 위한 기상 제어 모듈과,
    상기 제1 이미지에 기초하여 얼굴 인식을 행하기 위한 얼굴 인식 모듈과,
    얼굴 인식의 성공에 따라, 상기 차량의 하나 이상의 도어록에 도어록 해제 명령을 송신하기 위한 송신 모듈을 포함하는, 차량의 도어록 해제 장치.
  41. 제 40 항에 있어서,
    상기 소정의 조건은
    상기 거리가 소정의 거리 임계치보다 작은 것과,
    상기 거리가 소정의 거리 임계치보다 작아지는 지속 시간이 소정의 시간 임계치에 도달하는 것과,
    지속 시간의 기간에 취득되는 상기 거리가 상기 목표 대상물이 상기 차량에 접근하고 있음을 나타내는 것 중 하나 이상을 포함하는, 장치.
  42. 제 40 항 또는 제 41 항에 있어서,
    상기 하나 이상의 거리 센서는 블루투스 거리 센서를 포함하고,
    상기 취득 모듈은
    외부 장치와 상기 블루투스 거리 센서의 블루투스에 의한 페어링 접속을 확립하는 것과,
    상기 블루투스에 의한 페어링 접속의 성공에 따라, 상기 블루투스 거리 센서에 의해 상기 외부 장치를 갖고 있는 목표 대상물과 상기 차량 사이의 제1 거리를 취득하는 것에 사용되는, 장치.
  43. 제 40 항 또는 제 41 항에 있어서,
    상기 하나 이상의 거리 센서는 초음파 거리 센서를 포함하고,
    상기 취득 모듈은
    상기 차량의 차실 외부에 설치되는 상기 초음파 거리 센서에 의해 상기 목표 대상물과 상기 차량 사이의 제2 거리를 취득하는 것에 사용되는, 장치.
  44. 제 40 항 또는 제 41 항에 있어서,
    상기 하나 이상의 거리 센서는 블루투스 거리 센서 및 초음파 거리 센서를 포함하고,
    상기 취득 모듈은 외부 장치와 상기 블루투스 거리 센서의 블루투스에 의한 페어링 접속을 확립하는 것과, 상기 블루투스에 의한 페어링 접속의 성공에 따라, 상기 블루투스 거리 센서에 의해 상기 외부 장치를 갖고 있는 목표 대상물과 상기 차량 사이의 제1 거리를 취득하는 것과, 상기 초음파 거리 센서에 의해 상기 목표 대상물과 상기 차량 사이의 제2 거리를 취득하는 것에 사용되고,
    상기 기상 제어 모듈은 상기 제1 거리 및 상기 제2 거리가 소정의 조건을 충족함에 따라, 상기 차량에 설치되는 이미지 취득 모듈을, 상기 목표 대상물의 제1 이미지를 취득하도록 기상시켜 제어하는 것에 사용되는, 장치.
  45. 제 44 항에 있어서,
    상기 소정의 조건은 제1 소정의 조건 및 제2 소정의 조건을 포함하고,
    상기 제1 소정의 조건은 상기 제1 거리가 소정의 제1 거리 임계치보다 작은 것과, 상기 제1 거리가 소정의 제1 거리 임계치보다 작아지는 지속 시간이 소정의 시간 임계치에 도달하는 것과, 지속 시간의 기간에 취득되는 상기 제1 거리가 상기 목표 대상물이 상기 차량에 접근하고 있음을 나타내는 것 중 하나 이상을 포함하고,
    상기 제2 소정의 조건은 상기 제2 거리가 상기 제1 거리 임계치보다 작은 소정의 제2 거리 임계치보다 작은 것과, 상기 제2 거리가 소정의 제2 거리 임계치보다 작아지는 지속 시간이 소정의 시간 임계치에 도달하는 것을 포함하는, 장치.
  46. 제 44 항 또는 제 45 항에 있어서,
    상기 기상 제어 모듈은
    상기 제1 거리가 제1 소정의 조건을 충족함에 따라, 상기 차량에 설치되는 얼굴 인식 시스템을 기상시키기 위한 기상 서브 모듈과,
    상기 제2 거리가 제2 소정의 조건을 충족함에 따라, 기상된 상기 얼굴 인식 시스템에 의해 상기 목표 대상물의 제1 이미지를 취득하도록 상기 이미지 취득 모듈을 제어하기 위한 제어 서브 모듈을 포함하는, 장치.
  47. 제 41 항 내지 제 46 항 중 어느 한 항에 있어서,
    상기 거리 센서는 초음파 거리 센서이고, 상기 소정의 거리 임계치는 산출되어 얻은, 상기 차량 밖의 대상물과 상기 차량 사이의 거리 임계치의 기준값을 나타내는 거리 임계치 기준값 및 상기 차량 밖의 대상물과 상기 차량 사이의 거리의 임계치의 오프셋값을 나타내는 소정의 거리 임계치 오프셋값에 기초하여 결정되는, 장치.
  48. 제 47 항에 있어서,
    상기 소정의 거리 임계치는 상기 거리 임계치 기준값과 상기 소정의 거리 임계치 오프셋값의 차와 동일한, 장치.
  49. 제 47 항 또는 제 48 항에 있어서,
    상기 거리 임계치 기준값은 차량의 이그니션 오프 후의 특정 기간의 상기 차량 밖의 대상물과 상기 차량 사이의 거리의 평균값을 나타내는 차량의 이그니션 오프 후의 거리 평균값과, 도어록 해제 가능한 최대 거리 중 최소값을 취하는, 장치.
  50. 제 47 항 내지 제 49 항 중 어느 한 항에 있어서,
    상기 거리 임계치 기준값은 주기적으로 갱신되는, 장치.
  51. 제 41 항 내지 제 50 항 중 어느 한 항에 있어서,
    상기 거리 센서는 초음파 거리 센서이고, 상기 소정의 시간 임계치는 산출되어 얻은, 상기 차량 밖의 대상물과 상기 차량 사이의 거리가 상기 소정의 거리 임계치보다 작아지는 시간의 임계치의 기준값을 나타내는 시간 임계치 기준값 및 상기 차량 밖의 대상물과 상기 차량 사이의 거리가 상기 소정의 거리 임계치보다 작아지는 시간의 임계치의 오프셋값을 나타내는 시간 임계치 오프셋값에 기초하여 결정되는, 장치.
  52. 제 51 항에 있어서,
    상기 소정의 시간 임계치는 상기 시간 임계치 기준값과 상기 시간 임계치 오프셋값의 합과 동일한, 장치.
  53. 제 51 항 또는 제 52 항에 있어서,
    상기 시간 임계치 기준값은 상기 초음파 거리 센서의 수평 방향 검지 각도, 상기 초음파 거리 센서의 검지 반경, 대상물 사이즈 및 대상물 속도 중 하나 또는 복수에 기초하여 결정되는, 장치.
  54. 제 53 항에 있어서,
    종별마다의 대상물 사이즈, 종별마다의 대상물 속도, 상기 초음파 거리 센서의 수평 방향 검지 각도 및 상기 초음파 거리 센서의 검지 반경에 기초하여, 종별마다의 대상물에 대응하는 후보 기준값을 결정하기 위한 제1 결정 모듈과,
    상기 종별마다의 대상물에 대응하는 후보 기준값에서 상기 시간 임계치 기준값을 결정하기 위한 제2 결정 모듈을 추가로 포함하는, 장치.
  55. 제 54 항에 있어서,
    상기 제2 결정 모듈은
    종별마다의 대상물에 대응하는 후보 기준값 중 최대값을 상기 시간 임계치 기준값으로서 결정하는 것에 사용되는, 장치.
  56. 제 40 항 내지 제 55 항 중 어느 한 항에 있어서,
    상기 얼굴 인식은 생체 검출 및 얼굴 인증을 포함하고,
    상기 얼굴 인식 모듈은
    상기 이미지 취득 모듈의 이미지 센서에 의해 상기 제1 이미지를 취득하고, 상기 제1 이미지 및 미리 등록된 얼굴 특징에 기초하여 얼굴 인증을 행하기 위한 얼굴 인증 모듈과,
    상기 이미지 취득 모듈의 심도 센서에 의해 상기 제1 이미지에 대응하는 제1 심도맵을 취득하고, 상기 제1 이미지 및 상기 제1 심도맵에 기초하여 생체 검출을 행하기 위한 생체 검출 모듈을 포함하는, 장치.
  57. 제 56 항에 있어서,
    상기 생체 검출 모듈은
    상기 제1 이미지에 기초하여 상기 제1 심도맵을 갱신하여, 제2 심도맵을 얻기 위한 갱신 서브 모듈과,
    상기 제1 이미지 및 상기 제2 심도맵에 기초하여 상기 목표 대상물의 생체 검출 결과를 결정하기 위한 결정 서브 모듈을 포함하는, 장치.
  58. 제 56 항 또는 제 57 항에 있어서,
    상기 이미지 센서는 RGB 이미지 센서 또는 적외선 센서를 포함하고,
    상기 심도 센서는 양안 적외선 센서 또는 비행 시간 TOF 센서를 포함하는, 장치.
  59. 제 58 항에 있어서,
    상기 TOF 센서는 적외선 파장역에 기초하는 TOF 모듈을 사용하는, 장치.
  60. 제 57 항 내지 제 59 항 중 어느 한 항에 있어서,
    상기 갱신 서브 모듈은
    상기 제1 이미지에 기초하여 상기 제1 심도맵에서의 심도 실효 화소의 심도값을 갱신하여 상기 제2 심도맵을 얻는 것에 사용되는, 장치.
  61. 제 57 항 내지 제 60 항 중 어느 한 항에 있어서,
    상기 갱신 서브 모듈은
    상기 제1 이미지에 기초하여, 상기 제1 이미지에서의 복수의 화소의, 심도 예측값 및 상기 복수의 화소끼리의 관련도를 나타내는 관련 정보를 결정하는 것과,
    상기 복수의 화소의 심도 예측값 및 관련 정보에 기초하여 상기 제1 심도맵을 갱신하여, 제2 심도맵을 얻는 것에 사용되는, 장치.
  62. 제 61 항에 있어서,
    상기 갱신 서브 모듈은
    상기 제1 심도맵에서의 심도 실효 화소를 결정하는 것과,
    상기 복수의 화소의 심도 예측값에서 상기 심도 실효 화소의 심도 예측값 및 상기 심도 실효 화소의 복수의 주변 화소의 심도 예측값을 취득하는 것과,
    상기 복수의 화소의 관련 정보에서 상기 심도 실효 화소와 상기 심도 실효 화소의 복수의 주변 화소의 관련도를 취득하는 것과,
    상기 심도 실효 화소의 심도 예측값, 상기 심도 실효 화소의 복수의 주변 화소의 심도 예측값 및 상기 심도 실효 화소와 상기 심도 실효 화소의 주변 화소의 관련도에 기초하여, 상기 심도 실효 화소의 갱신 후의 심도값을 결정하는 것에 사용되는, 장치.
  63. 제 62 항에 있어서,
    상기 갱신 서브 모듈은
    상기 심도 실효 화소의 주변 화소의 심도 예측값 및 상기 심도 실효 화소와 상기 심도 실효 화소의 복수의 주변 화소의 관련도에 기초하여, 상기 심도 실효 화소의 심도 관련값을 결정하는 것과,
    상기 심도 실효 화소의 심도 예측값 및 상기 심도 관련값에 기초하여, 상기 심도 실효 화소의 갱신 후의 심도값을 결정하는 것에 사용되는, 장치.
  64. 제 63 항에 있어서,
    상기 갱신 서브 모듈은
    상기 심도 실효 화소와 각 주변 화소의 관련도를 상기 각 주변 화소의 가중치로서, 상기 심도 실효 화소의 복수의 주변 화소의 심도 예측값에 대해 가중합 처리를 행하여, 상기 심도 실효 화소의 심도 관련값을 얻는 것에 사용되는, 장치.
  65. 제 61 항 내지 제 64 항 중 어느 한 항에 있어서,
    상기 갱신 서브 모듈은
    상기 제1 이미지 및 상기 제1 심도맵에 기초하여, 상기 제1 이미지에서의 복수의 화소의 심도 예측값을 결정하는 것에 사용되는, 장치.
  66. 제 65 항에 있어서,
    상기 갱신 서브 모듈은
    상기 제1 이미지 및 상기 제1 심도맵을 심도 예측 뉴럴 네트워크에 입력하고 처리하여, 상기 제1 이미지에서의 복수의 화소의 심도 예측값을 얻는 것에 사용되는, 장치.
  67. 제 65 항 또는 제 66 항에 있어서,
    상기 갱신 서브 모듈은
    상기 제1 이미지 및 상기 제1 심도맵에 대해 융합 처리를 행하여, 융합 결과를 얻는 것과,
    상기 융합 결과에 기초하여, 상기 제1 이미지에서의 복수의 화소의 심도 예측값을 결정하는 것에 사용되는, 장치.
  68. 제 61 항 내지 제 67 항 중 어느 한 항에 있어서,
    상기 갱신 서브 모듈은
    상기 제1 이미지를 관련도 검출 뉴럴 네트워크에 입력하고 처리하여, 상기 제1 이미지에서의 복수의 화소의 관련 정보를 얻는 것에 사용되는, 장치.
  69. 제 57 항 내지 제 68 항 중 어느 한 항에 있어서,
    상기 갱신 서브 모듈은
    상기 제1 이미지에서 상기 목표 대상물의 이미지를 취득하는 것과,
    상기 목표 대상물의 이미지에 기초하여 상기 제1 심도맵을 갱신하는 것에 사용되는, 장치.
  70. 제 69 항에 있어서,
    상기 갱신 서브 모듈은
    상기 제1 이미지에서의 상기 목표 대상물의 키포인트 정보를 취득하는 것과,
    상기 목표 대상물의 키포인트 정보에 기초하여, 상기 제1 이미지에서 상기 목표 대상물의 이미지를 취득하는 것에 사용되는, 장치.
  71. 제 70 항에 있어서,
    상기 갱신 서브 모듈은
    상기 제1 이미지에 대해 목표 검출을 행하여, 상기 목표 대상물의 소재 영역을 얻는 것과,
    상기 목표 대상물의 소재 영역의 이미지에 대해 키포인트 검출을 행하여, 상기 제1 이미지에서의 상기 목표 대상물의 키포인트 정보를 얻는 것에 사용되는, 장치.
  72. 제 57 항 내지 제 71 항 중 어느 한 항에 있어서,
    상기 갱신 서브 모듈은
    상기 제1 심도맵에서 상기 목표 대상물의 심도맵을 취득하는 것과,
    상기 제1 이미지에 기초하여 상기 목표 대상물의 심도맵을 갱신하여, 상기 제2 심도맵을 얻는 것에 사용되는, 장치.
  73. 제 57 항 내지 제 72 항 중 어느 한 항에 있어서,
    상기 결정 서브 모듈은
    상기 제1 이미지 및 상기 제2 심도맵을 생체 검출 뉴럴 네트워크에 입력하고 처리하여, 상기 목표 대상물의 생체 검출 결과를 얻는 것에 사용되는, 장치.
  74. 제 57 항 내지 제 73 항 중 어느 한 항에 있어서,
    상기 결정 서브 모듈은
    상기 제1 이미지에 대해 특징 추출 처리를 행하여 제1 특징 정보를 얻는 것과,
    상기 제2 심도맵에 대해 특징 추출 처리를 행하여 제2 특징 정보를 얻는 것과,
    상기 제1 특징 정보 및 상기 제2 특징 정보에 기초하여 상기 목표 대상물의 생체 검출 결과를 결정하는 것에 사용되는, 장치.
  75. 제 74 항에 있어서,
    상기 결정 서브 모듈은
    상기 제1 특징 정보 및 상기 제2 특징 정보에 대해 융합 처리를 행하여, 제3 특징 정보를 얻는 것과,
    상기 제3 특징 정보에 기초하여 상기 목표 대상물의 생체 검출 결과를 결정하는 것에 사용되는, 장치.
  76. 제 75 항에 있어서,
    상기 결정 서브 모듈은
    상기 제3 특징 정보에 기초하여 상기 목표 대상물이 생체인 확률을 얻는 것과,
    상기 목표 대상물이 생체인 확률에 기초하여 상기 목표 대상물의 생체 검출 결과를 결정하는 것에 사용되는, 장치.
  77. 제 40 항 내지 제 76 항 중 어느 한 항에 있어서,
    얼굴 인식의 실패에 따라 상기 차량에 설치되는 패스워드 잠금 해제 모듈을 액티브화하여, 패스워드에 의한 잠금 해제 플로우를 기동하기 위한 액티브화 기동 모듈을 추가로 포함하는, 장치.
  78. 제 40 항 내지 제 77 항 중 어느 한 항에 있어서,
    상기 이미지 취득 모듈에 의해 취득한 차량 소유자의 얼굴 이미지에 기초하여 차량 소유자의 등록을 행하는 것과,
    상기 차량 소유자의 단말 장치에 의해 취득한 상기 차량 소유자의 얼굴 이미지에 기초하여 원격 등록을 행하고, 상기 차량 소유자의 얼굴 이미지를 포함하는 등록 정보를 상기 차량에 송신하는 것 중 하나 또는 두 개에 사용되는 등록 모듈을 추가로 포함하는, 장치.
  79. 메모리, 얼굴 인식 시스템, 이미지 취득 모듈 및 인체 근접 감시 시스템을 포함하고, 상기 얼굴 인식 시스템은 상기 메모리, 상기 이미지 취득 모듈 및 상기 인체 근접 감시 시스템에 각각 접속되고, 상기 인체 근접 감시 시스템은 거리가 소정의 조건을 충족하면 상기 얼굴 인식 시스템을 기상시키는 마이크로 프로세서 및 상기 마이크로 프로세서에 접속되는 하나 이상의 거리 센서를 포함하고, 상기 얼굴 인식 시스템은 도어 영역 컨트롤러에 접속되는 통신 인터페이스가 추가로 설치되고, 얼굴 인식이 성공하면 상기 통신 인터페이스에 의해 상기 도어 영역 컨트롤러에 도어를 해정하기 위한 제어 정보를 송신하는, 차량 탑재 얼굴 인증 잠금 해제 시스템.
  80. 제 79 항에 있어서,
    상기 하나 이상의 거리 센서는 블루투스 거리 센서 및 초음파 거리 센서 중 적어도 일방을 포함하는, 차량 탑재 얼굴 인증 잠금 해제 시스템.
  81. 제 79 항 또는 제 80 항에 있어서,
    상기 이미지 취득 모듈은 이미지 센서 및 심도 센서를 포함하는, 차량 탑재 얼굴 인증 잠금 해제 시스템.
  82. 제 81 항에 있어서,
    상기 심도 센서는 2개의 적외선 카메라가 상기 이미지 센서의 카메라의 양측에 설치되는 양안 적외선 센서를 포함하는, 차량 탑재 얼굴 인증 잠금 해제 시스템.
  83. 제 82 항에 있어서,
    상기 이미지 취득 모듈은 상기 양안 적외선 센서의 적외선 카메라와 상기 이미지 센서의 카메라 사이에 설치되는 보광 라이트로서, 상기 이미지 센서용 보광 라이트와 상기 심도 센서용 보광 라이트 중 적어도 일방을 포함하는 하나 이상의 보광 라이트를 추가로 포함하는, 차량 탑재 얼굴 인증 잠금 해제 시스템.
  84. 제 81 항에 있어서,
    상기 이미지 취득 모듈은 상기 심도 센서의 카메라와 상기 이미지 센서의 카메라 사이에 설치되는 레이저를 추가로 포함하는, 차량 탑재 얼굴 인증 잠금 해제 시스템.
  85. 제 79 항 내지 제 84 항 중 어느 한 항에 있어서,
    상기 얼굴 인식 시스템에 접속되고, 도어를 해정하기 위한 패스워드 잠금 해제 모듈을 추가로 포함하는, 차량 탑재 얼굴 인증 잠금 해제 시스템.
  86. 제 85 항에 있어서,
    상기 패스워드 잠금 해제 모듈은 터치 스크린 및 키보드 중 하나 또는 두 개를 포함하는, 차량 탑재 얼굴 인증 잠금 해제 시스템.
  87. 제 79 항 내지 제 86 항 중 어느 한 항에 있어서,
    상기 마이크로 프로세서 및 상기 얼굴 인식 시스템에 각각 접속되는 전지 모듈을 추가로 포함하는, 차량 탑재 얼굴 인증 잠금 해제 시스템.
  88. 제 79 항 내지 제 87 항 중 어느 한 항의 차량 탑재 얼굴 인증 잠금 해제 시스템을 포함하고, 상기 차량 탑재 얼굴 인증 잠금 해제 시스템은 상기 차량의 도어 영역 컨트롤러에 접속되는, 차량.
  89. 제 88 항에 있어서,
    상기 이미지 취득 모듈이 상기 차량의 차실 외부에 설치되는, 차량.
  90. 제 89 항에 있어서,
    상기 이미지 취득 모듈은 상기 차량의 B필러, 하나 이상의 도어, 및 하나 이상의 백미러 중 하나 이상에 설치되는, 차량.
  91. 제 88 항 내지 제 90 항 중 어느 한 항에 있어서,
    상기 얼굴 인식 시스템은 상기 차량 내에 설치되고, CAN 버스를 통해 상기 도어 영역 컨트롤러에 접속되는, 차량.
  92. 제 88 항 내지 제 91 항 중 어느 한 항에 있어서,
    상기 하나 이상의 거리 센서는 상기 차량 내에 설치되는 블루투스 거리 센서를 포함하는, 차량.
  93. 제 88 항 내지 제 92 항 중 어느 한 항에 있어서,
    상기 하나 이상의 거리 센서는 상기 차량의 차실 외부에 설치되는 초음파 거리 센서를 포함하는, 차량.
  94. 프로세서와,
    프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하고,
    상기 프로세서는 제 1 항 내지 제 39 항 중 어느 한 항의 방법을 실행하도록 구성되는, 전자 기기.
  95. 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령은 프로세서에 의해 실행되면, 제 1 항 내지 제 39 항 중 어느 한 항의 방법을 실현시키는, 컴퓨터 판독 가능 기억 매체.
  96. 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 판독 가능 코드는 전자 기기에서 동작하면, 상기 전자 기기의 프로세서에 제 1 항 내지 제 39 항 중 어느 한 항의 방법을 실행시키는, 컴퓨터 프로그램.
KR1020207036673A 2019-02-28 2019-11-27 차량의 도어록 해제 방법 및 장치, 시스템, 차량, 전자 기기 및 기억 매체 KR20210013129A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910152568.8 2019-02-28
CN201910152568.8A CN110930547A (zh) 2019-02-28 2019-02-28 车门解锁方法及装置、系统、车、电子设备和存储介质
PCT/CN2019/121251 WO2020173155A1 (zh) 2019-02-28 2019-11-27 车门解锁方法及装置、系统、车、电子设备和存储介质

Publications (1)

Publication Number Publication Date
KR20210013129A true KR20210013129A (ko) 2021-02-03

Family

ID=69855718

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207036673A KR20210013129A (ko) 2019-02-28 2019-11-27 차량의 도어록 해제 방법 및 장치, 시스템, 차량, 전자 기기 및 기억 매체

Country Status (7)

Country Link
US (1) US20210009080A1 (ko)
JP (2) JP7035270B2 (ko)
KR (1) KR20210013129A (ko)
CN (1) CN110930547A (ko)
SG (1) SG11202009419RA (ko)
TW (1) TWI785312B (ko)
WO (1) WO2020173155A1 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111332252B (zh) * 2020-02-19 2022-11-29 上海商汤临港智能科技有限公司 车门解锁方法、装置、系统、电子设备和存储介质
CN212447430U (zh) * 2020-03-30 2021-02-02 上海商汤临港智能科技有限公司 车门解锁系统
CN111516640B (zh) * 2020-04-24 2022-01-04 上海商汤临港智能科技有限公司 车门控制方法、车辆、系统、电子设备和存储介质
CN111540090A (zh) * 2020-04-29 2020-08-14 北京市商汤科技开发有限公司 控制车门解锁的方法、装置、车辆、电子设备及存储介质
CN111862030B (zh) * 2020-07-15 2024-02-09 北京百度网讯科技有限公司 一种人脸合成图检测方法、装置、电子设备及存储介质
CN111915641A (zh) * 2020-08-12 2020-11-10 四川长虹电器股份有限公司 一种基于tof技术的车辆测速方法及系统
CN114120484A (zh) * 2020-08-31 2022-03-01 比亚迪股份有限公司 一种面部识别系统及车辆
CN112135275B (zh) * 2020-09-24 2023-08-18 Oppo广东移动通信有限公司 蓝牙扫描方法、装置、电子设备和可读存储介质
CN112562154B (zh) * 2020-11-04 2022-08-26 重庆恢恢信息技术有限公司 一种实现智慧建筑工地区域建筑人员安全意识保障方法
CN112615983A (zh) * 2020-12-09 2021-04-06 广州橙行智动汽车科技有限公司 车辆闭锁方法、装置、车辆以及存储介质
EP4017057A1 (en) * 2020-12-18 2022-06-22 INTEL Corporation Resource allocation for cellular networks
WO2022217294A1 (en) * 2021-04-09 2022-10-13 Qualcomm Incorporated Personalized biometric anti-spoofing protection using machine learning and enrollment data
CN113177584B (zh) * 2021-04-19 2022-10-28 合肥工业大学 基于零样本学习的复合故障诊断方法
DE102021002165A1 (de) 2021-04-23 2022-10-27 Mercedes-Benz Group AG Verfahren und Kraftfahrzeug
CN113060094B (zh) * 2021-04-29 2022-07-26 北京车和家信息技术有限公司 一种车辆的控制方法、装置和车载设备
CN113327348A (zh) * 2021-05-08 2021-08-31 宁波盈芯信息科技有限公司 一种联网型3d人脸智能锁
CN112950820B (zh) * 2021-05-14 2021-07-16 北京旗偲智能科技有限公司 一种车辆的自动控制方法、装置、系统及存储介质
CN112950819A (zh) * 2021-05-14 2021-06-11 北京旗偲智能科技有限公司 车辆解锁控制方法、装置、服务器及存储介质
KR20230011551A (ko) * 2021-07-14 2023-01-25 현대자동차주식회사 인증 장치 및 그를 가지는 차량
EP4374335A1 (en) * 2021-07-19 2024-05-29 Sony Semiconductor Solutions Corporation Electronic device and method
TWI785761B (zh) * 2021-08-26 2022-12-01 崑山科技大學 車用智能之二階段安全控制系統
CN113815562A (zh) * 2021-09-24 2021-12-21 上汽通用五菱汽车股份有限公司 基于全景摄像头的车辆解锁方法、设备及存储介质
CN113838465A (zh) * 2021-09-30 2021-12-24 广东美的厨房电器制造有限公司 智能设备的控制方法及其装置、智能设备和可读存储介质
EP4184432A4 (en) * 2021-09-30 2023-10-11 Rakuten Group, Inc. INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING PROGRAM
CN114268380B (zh) * 2021-10-27 2024-03-08 浙江零跑科技股份有限公司 一种基于声波通信的汽车蓝牙无感进入改进方法
CN114954354A (zh) * 2022-04-02 2022-08-30 阿维塔科技(重庆)有限公司 车门解锁方法、装置、设备及计算机可读存储介质
US20230316552A1 (en) * 2022-04-04 2023-10-05 Microsoft Technology Licensing, Llc Repairing image depth values for an object with a light absorbing surface
CN114872659B (zh) * 2022-04-19 2023-03-10 支付宝(杭州)信息技术有限公司 车辆控制方法及装置
WO2023248807A1 (ja) * 2022-06-21 2023-12-28 ソニーグループ株式会社 画像処理装置および方法
CN115546939B (zh) * 2022-09-19 2024-09-17 国网青海省电力公司信息通信公司 解锁方式确定方法、装置及电子设备
TWI833429B (zh) * 2022-11-08 2024-02-21 國立勤益科技大學 智慧辨識門鎖系統
CN115527293B (zh) * 2022-11-25 2023-04-07 广州万协通信息技术有限公司 安全芯片基于人体特征开门的方法及安全芯片装置
CN116805430B (zh) * 2022-12-12 2024-01-02 安徽国防科技职业学院 一种基于大数据的数字图像安全处理系统
CN116605176B (zh) * 2023-07-20 2023-11-07 江西欧迈斯微电子有限公司 开闭锁控制方法、装置及车辆

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7663502B2 (en) * 1992-05-05 2010-02-16 Intelligent Technologies International, Inc. Asset system control arrangement and method
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
US20090046538A1 (en) * 1995-06-07 2009-02-19 Automotive Technologies International, Inc. Apparatus and method for Determining Presence of Objects in a Vehicle
US8169311B1 (en) * 1999-12-15 2012-05-01 Automotive Technologies International, Inc. Wireless transmission system for vehicular component control and monitoring
US20070126561A1 (en) * 2000-09-08 2007-06-07 Automotive Technologies International, Inc. Integrated Keyless Entry System and Vehicle Component Monitoring
US8054203B2 (en) * 1995-06-07 2011-11-08 Automotive Technologies International, Inc. Apparatus and method for determining presence of objects in a vehicle
JP3216586B2 (ja) * 1997-09-17 2001-10-09 トヨタ自動車株式会社 車両用遠隔操作制御装置およびそのシステム
DE10105060B4 (de) * 2001-02-05 2004-04-08 Siemens Ag Zugangskontrollsystem
JP2006161545A (ja) 2004-11-10 2006-06-22 Denso Corp スマートエントリシステム用車載装置
JP2006328932A (ja) 2005-04-28 2006-12-07 Denso Corp 車両ドア制御システム
JP4509042B2 (ja) * 2006-02-13 2010-07-21 株式会社デンソー 自動車用もてなし情報提供システム
US7636033B2 (en) * 2006-04-05 2009-12-22 Larry Golden Multi sensor detection, stall to stop and lock disabling system
JP4572889B2 (ja) * 2006-11-20 2010-11-04 株式会社デンソー 自動車用ユーザーもてなしシステム
TW200831767A (en) * 2007-01-22 2008-08-01 shi-xiong Li Door lock control system with integrated sensing and video identification functions
US10289288B2 (en) * 2011-04-22 2019-05-14 Emerging Automotive, Llc Vehicle systems for providing access to vehicle controls, functions, environment and applications to guests/passengers via mobile devices
US10254764B2 (en) * 2016-05-31 2019-04-09 Peloton Technology, Inc. Platoon controller state machine
CN102609941A (zh) * 2012-01-31 2012-07-25 北京航空航天大学 基于ToF深度相机的三维注册方法
US20140310379A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Vehicle initiated communications with third parties via virtual personality
US9082239B2 (en) * 2012-03-14 2015-07-14 Flextronics Ap, Llc Intelligent vehicle for assisting vehicle occupants
US9378601B2 (en) * 2012-03-14 2016-06-28 Autoconnect Holdings Llc Providing home automation information via communication with a vehicle
US8457367B1 (en) * 2012-06-26 2013-06-04 Google Inc. Facial recognition
US8542879B1 (en) * 2012-06-26 2013-09-24 Google Inc. Facial recognition
TW201402378A (zh) * 2012-07-11 2014-01-16 Hon Hai Prec Ind Co Ltd 汽車啟動控制系統及方法
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
WO2014172320A1 (en) * 2013-04-15 2014-10-23 Flextronics Ap, Llc Vehicle location-based home automation triggers
US20150009010A1 (en) * 2013-07-03 2015-01-08 Magna Electronics Inc. Vehicle vision system with driver detection
US9761074B2 (en) * 2014-03-12 2017-09-12 August Home Inc. Intelligent door lock system with audio and RF communication
US9582888B2 (en) 2014-06-19 2017-02-28 Qualcomm Incorporated Structured light three-dimensional (3D) depth map based on content filtering
US20160078696A1 (en) 2014-09-15 2016-03-17 Skr Labs, Llc Access method and system with wearable controller
US20160300410A1 (en) * 2015-04-10 2016-10-13 Jaguar Land Rover Limited Door Access System for a Vehicle
JP6447379B2 (ja) 2015-06-15 2019-01-09 トヨタ自動車株式会社 認証装置、認証システムおよび認証方法
KR102146398B1 (ko) 2015-07-14 2020-08-20 삼성전자주식회사 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
JP6614999B2 (ja) 2016-02-23 2019-12-04 株式会社東海理化電機製作所 電子キーシステム
US20170263017A1 (en) * 2016-03-11 2017-09-14 Quan Wang System and method for tracking gaze position
JP6790483B2 (ja) 2016-06-16 2020-11-25 日産自動車株式会社 認証方法及び認証装置
MX2018016065A (es) * 2016-06-24 2019-03-28 Crown Equip Corp Credencial electronica para autenticar y rastraer a un operador de vehiculo industrial.
US20180032042A1 (en) * 2016-08-01 2018-02-01 Qualcomm Incorporated System And Method Of Dynamically Controlling Parameters For Processing Sensor Output Data
JP2018036102A (ja) * 2016-08-30 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 測距装置、および、測距装置の制御方法
JP6399064B2 (ja) * 2016-09-07 2018-10-03 トヨタ自動車株式会社 ユーザ特定システム
US10031523B2 (en) * 2016-11-07 2018-07-24 Nio Usa, Inc. Method and system for behavioral sharing in autonomous vehicles
US10472091B2 (en) * 2016-12-02 2019-11-12 Adesa, Inc. Method and apparatus using a drone to input vehicle data
EP3556119A4 (en) * 2016-12-14 2020-01-22 Denso Corporation METHOD AND SYSTEM FOR ESTABLISHING MICROLOCATION AREAS
US10721859B2 (en) * 2017-01-08 2020-07-28 Dolly Y. Wu PLLC Monitoring and control implement for crop improvement
US10255670B1 (en) * 2017-01-08 2019-04-09 Dolly Y. Wu PLLC Image sensor and module for agricultural crop improvement
JP2018145589A (ja) * 2017-03-01 2018-09-20 オムロンオートモーティブエレクトロニクス株式会社 車両ドア開閉制御装置
CN106951842A (zh) * 2017-03-09 2017-07-14 重庆长安汽车股份有限公司 汽车后备箱智能开启系统及方法
JP6446086B2 (ja) * 2017-03-31 2018-12-26 本田技研工業株式会社 非接触電力伝送システム
JP6450414B2 (ja) * 2017-03-31 2019-01-09 本田技研工業株式会社 非接触電力伝送システム
JP2018174686A (ja) * 2017-03-31 2018-11-08 本田技研工業株式会社 非接触電力伝送システム
WO2018191894A1 (zh) * 2017-04-19 2018-10-25 深圳市汇顶科技股份有限公司 一种车辆解锁方法及车辆解锁系统
CN206741431U (zh) * 2017-05-09 2017-12-12 深圳未来立体教育科技有限公司 桌面型空间立体交互系统
CN107578418B (zh) * 2017-09-08 2020-05-19 华中科技大学 一种融合色彩和深度信息的室内场景轮廓检测方法
WO2019056310A1 (en) * 2017-09-22 2019-03-28 Qualcomm Incorporated SYSTEMS AND METHODS FOR DETECTING FACIAL ACTIVITY
CN108197537A (zh) * 2017-12-21 2018-06-22 广东汇泰龙科技有限公司 一种云锁上基于电容式指纹头采集指纹的方法、设备
CN108109249A (zh) 2018-01-26 2018-06-01 河南云拓智能科技有限公司 智能云门禁管理系统及方法
CN207752544U (zh) 2018-01-26 2018-08-21 河南云拓智能科技有限公司 一种智能门禁设备
CN108520582B (zh) * 2018-03-29 2020-08-18 荣成名骏户外休闲用品股份有限公司 汽车开关门自动感应系统
CN108846924A (zh) * 2018-05-31 2018-11-20 上海商汤智能科技有限公司 车辆及车门解锁控制方法、装置和车门解锁系统
CN108549886A (zh) * 2018-06-29 2018-09-18 汉王科技股份有限公司 一种人脸活体检测方法及装置
CN109190539B (zh) * 2018-08-24 2020-07-07 阿里巴巴集团控股有限公司 人脸识别方法及装置
US11060864B1 (en) * 2019-01-22 2021-07-13 Tp Lab, Inc. Controller for measuring distance from reference location and real size of object using a plurality of cameras
US11091949B2 (en) * 2019-02-13 2021-08-17 Ford Global Technologies, Llc Liftgate opening height control

Also Published As

Publication number Publication date
JP7035270B2 (ja) 2022-03-14
TWI785312B (zh) 2022-12-01
CN110930547A (zh) 2020-03-27
JP7428993B2 (ja) 2024-02-07
US20210009080A1 (en) 2021-01-14
JP2021516646A (ja) 2021-07-08
WO2020173155A1 (zh) 2020-09-03
JP2022091755A (ja) 2022-06-21
TW202034195A (zh) 2020-09-16
SG11202009419RA (en) 2020-10-29

Similar Documents

Publication Publication Date Title
KR20210013129A (ko) 차량의 도어록 해제 방법 및 장치, 시스템, 차량, 전자 기기 및 기억 매체
KR20220070581A (ko) 차량의 도어 잠금 해제 방법 및 장치, 시스템, 차량, 전자 기기 및 기억 매체
WO2021077738A1 (zh) 车门控制方法及装置、系统、车、电子设备和存储介质
US20230079783A1 (en) System, method, and computer program for enabling operation based on user authorization
US20210195086A1 (en) Optical array for high-quality imaging in harsh environments
US10289825B2 (en) Login access control for secure/private data
KR102391792B1 (ko) 생체 검출 방법, 장치 및 시스템, 전자 기기 및 저장 매체
CN111332252A (zh) 车门解锁方法、装置、系统、电子设备和存储介质
CN111626086A (zh) 活体检测方法、装置及系统、电子设备和存储介质
CN115641518A (zh) 一种无人机用视图感知网络模型及目标检测方法
KR102090907B1 (ko) 영상개선 및 딥러닝 기술을 접목한 차량검출 및 번호인식 방법과 이를 이용한 주차시스템
CN114627443B (zh) 目标检测方法、装置、存储介质、电子设备及车辆
US20230290137A1 (en) Information processing apparatus, information processing method, and program
CN115384541A (zh) 行驶风险检测的方法和系统
KR20230084805A (ko) 차량 및 차량의 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application