KR102349995B1 - 운전자 상태에 따라 맞춤형의 캘리브레이션을 위해 운전자 보조 장치를 자동으로 조정하는 방법 및 장치 - Google Patents

운전자 상태에 따라 맞춤형의 캘리브레이션을 위해 운전자 보조 장치를 자동으로 조정하는 방법 및 장치 Download PDF

Info

Publication number
KR102349995B1
KR102349995B1 KR1020200007637A KR20200007637A KR102349995B1 KR 102349995 B1 KR102349995 B1 KR 102349995B1 KR 1020200007637 A KR1020200007637 A KR 1020200007637A KR 20200007637 A KR20200007637 A KR 20200007637A KR 102349995 B1 KR102349995 B1 KR 102349995B1
Authority
KR
South Korea
Prior art keywords
driver
keypoint
image
body image
eye
Prior art date
Application number
KR1020200007637A
Other languages
English (en)
Other versions
KR20200095384A (ko
Inventor
김용중
김인수
김학경
남운현
부석훈
성명철
유우주
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20200095384A publication Critical patent/KR20200095384A/ko
Application granted granted Critical
Publication of KR102349995B1 publication Critical patent/KR102349995B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/025—Rear-view mirror arrangements comprising special mechanical means for correcting the field of view in relation to particular driving conditions, e.g. change of lane; scanning mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Mounting And Adjusting Of Optical Elements (AREA)
  • Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)

Abstract

본 발명은 운전자 상태에 따라 운전자 보조 장치의 위치를 조정하는 방법에 있어서, 조정 위치 장치는, (a) 운전자가 차량의 운전자석에 착석하여 상기 차량의 시동을 건 후 획득된 상기 운전자의 상반신 이미지와 하반신 이미지를 포즈 예측 네트워크에 입력하여, 바디 키포인트를 획득하고, 바디 파트 길이를 계산하며 운전자석 위치를 조정하도록 하고, (b) 상기 차량이 운행되는 중, 상기 상반신 이미지를 얼굴 검출기에 입력하여 얼굴 부분을 검출하도록 하고, 상기 얼굴 부분을 눈 검출기에 입력하여 눈 부분을 검출하도록 하며, 상기 조정된 운전석 위치와 눈의 2D 좌표를 3D 좌표 변환기에 입력하여, 상기 2D 좌표와 상기 운전자석의 위치를 참조로 하여 상기 눈의 3D 좌표를 생성하도록 하고, 상기 3D 좌표를 참조로 하여 상기 차량의 미러의 위치를 조정하도록 하는 단계를 포함하는 방법에 관한 것이다.

Description

운전자 상태에 따라 맞춤형의 캘리브레이션을 위해 운전자 보조 장치를 자동으로 조정하는 방법 및 장치 {METHOD AND DEVICE FOR ADJUSTING DRIVER ASSISTANCE APPARATUS AUTOMATICALLY FOR PERSONALIZATION AND CALIBRATION ACCORDING TO DRIVER'S STATUS}
본 발명은 차량의 운전자 보조 장치에 관한 것으로, 보다 상세하게는 운전자 상태에 따라 상기 운전자 보조 장치를 자동으로 조정하는 방법 및 장치에 관한 것이다.
일반적으로 차량을 운전할 때는 항상 전방을 주시해야 하는 동시에 후방을 주시해야 하므로, 운전자가 전방을 보면서 후방을 볼 수 있도록 미러가 차량에 장착된다.
한편, 차량에는 차량 내 전방에 1개, 차량 외 좌우 프런트 도어 쪽에 각각 1개씩, 총 3개의 미러가 배치되는 것이 일반적이다.
차량의 좌우 프런트 도어 양측에는 사이드뷰 미러(side-view mirror)가 장착되어 운전자가 차량 옆의 후방 시야를 확보할 수 있도록 도움을 주며, 차량 내의 전방 윈드실드글라스에는 리어뷰 미러(rear-view mirror)가 장착되어 운전자가 차량의 후방 시야를 확보할 수 있게 도움을 준다.
이때, 운전자가 미러를 통해 후방 시야 확보가 어려운 경우 리어뷰 미러와 사이드뷰 미러의 각도를 수동으로 조절해야 시야 확보가 가능하다.
또한, 운전자는 자신의 신체 조건에 맞게 운전자석의 위치를 조정해야 한다.
하지만, 어느 운전자가 다른 운전자에 의해 운전자석의 위치와 미러의 위치가 조정된 차량을 운전하려면, 자신의 신체 조건에 맞게 운전자석의 위치와 미러의 위치를 다시 조정해야 하는 문제점이 있다.
따라서, 본 발명에서는 운전자의 신체 조건에 따라 운전자석의 미러의 위치를 자동적으로 조정할 수 있도록 하는 방안을 제안하고자 한다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
본 발명은 운전자 상태에 따라 운전자 보조 장치를 자동으로 조정할 수 있도록 하는 것을 다른 목적으로 한다.
본 발명은 운전자 상태에 따라 운전자석과 하나 이상의 미러의 위치를 자동으로 조정할 수 있도록 하는 것을 또 다른 목적으로 한다.
본 발명은 운전자의 시선(gaze)을 추적해 미러의 위치를 실시간 자동으로 조정할 수 있도록 하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 운전자 상태에 따라 운전자 보조 장치의 위치를 조정하는 방법에 있어서, (a) 운전자가 차량의 운전자석에 착석하여 상기 차량의 시동을 건 후 상기 운전자의 적어도 하나의 상반신 이미지 및 적어도 하나의 하반신 이미지가 획득되면, 상기 상반신 이미지와 상기 하반신 이미지를 포즈 예측 네트워크에 입력하는 프로세스를 수행함으로써 상기 포즈 예측 네트워크로 하여금, (i) 상기 상반신 이미지 및 상기 하반신 이미지에 위치하는, 상기 운전자에 대응하는 하나 이상의 바디 키포인트를 획득하도록 하고, (ii) 상기 바디 키포인트를 참조로 하여 상기 운전자의 적어도 하나의 바디 파트 길이를 계산하도록 하며, (iii) 상기 운전자의 상기 계산된 바디 파트 길이를 참조로 하여 상기 운전자석의 위치를 조정하도록 하는 단계; 및 (b) 상기 위치 조정 장치가, 상기 운전자석의 위치가 조정된 상태에서 상기 차량이 운행되는 중, (i) 상기 상반신 이미지를 얼굴 검출기에 입력하여, 상기 얼굴 검출기로 하여금, 상기 상반신 이미지에서 상기 운전자의 적어도 하나의 얼굴 부분을 검출하도록 하는 프로세스, (ii) 상기 얼굴 부분을 눈 검출기에 입력하여, 상기 눈 검출기로 하여금, 상기 얼굴 부분에서 상기 운전자의 적어도 하나의 눈 부분을 검출하도록 하는 프로세스, (iii) 상기 검출된 눈 부분에서 상기 운전자의 적어도 하나의 눈에 대응하는 2D 좌표와 상기 조정된 운전자석의 위치를 3D 좌표 변환기에 입력하여, 상기 3D 좌표 변환기로 하여금, 상기 운전자석의 위치 및 상기 눈의 2D 좌표를 참조하여 상기 운전자의 상기 눈의 3D 좌표를 생성하도록 하며, 상기 눈의 상기 3D 좌표를 참조하여 상기 차량의 적어도 하나의 미러의 적어도 하나의 위치를 조정하도록 하는 단계;를 포함하는 것을 특징으로 하는 방법이 개시된다.
일 실시예에서, 상기 (a) 단계에서, 상기 위치 조정 장치는, 상기 포즈 예측 네트워크로 하여금, (i) 특징 추출기를 통해 상기 상반신 이미지 및 상기 하반신 이미지 각각으로부터 하나 이상의 특징을 추출하여 하나 이상의 특징 텐서 각각을 생성하도록 하고, (ii) 키포인트 히트맵(keypoint heatmap) 및 파트 어피니티 필드(part affinity field) 추출기를 통해 상기 특징 텐서 각각에 대응하는 하나 이상의 키포인트 히트맵 및 하나 이상의 파트 어피니티 필드 각각을 생성하도록 하며, (iii) 키포인트 그룹핑(grouping) 레이어를 통해 상기 키포인트 히트맵 각각으로부터 하나 이상의 키포인트를 추출하도록 하고, 상기 파트 어피니티 필드 각각을 참조로 하여 상기 추출된 키포인트 각각을 그룹핑하여 상기 운전자에 대응하는 상기 바디 키포인트를 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 위치 조정 장치는, 상기 포즈 예측 네트워크로 하여금, 상기 특징 추출기의 적어도 하나의 컨벌루션 레이어를 통해, 적어도 하나의 컨벌루션 연산을 상기 상반신 이미지 및 상기 하반신 이미지 각각에 적용하여 상기 특징 텐서 각각을 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 위치 조정 장치는, 상기 포즈 예측 네트워크로 하여금, 상기 키포인트 히트맵 및 파트 어피니티 필드 추출기의 풀리 컨벌루션 네트워크 또는 적어도 하나의 1x1 컨벌루션 레이어를 통해, 상기 특징 텐서 각각에 적어도 하나의 풀리 컨벌루션 연산 또는 적어도 하나의 1x1 컨벌루션 연산을 적용함으로써 상기 특징 텐서 각각에 대응하는 상기 키포인트 히트맵 각각 및 상기 파트 어피니티 필드 각각을 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 위치 조정 장치는, 상기 포즈 예측 네트워크로 하여금, 상기 키포인트 그룹핑 레이어를 통해, 상기 키포인트 히트맵 각각에서 가장 높은 지점 각각을, 상기 키포인트 히트맵 각각에 대응하는 상기 키포인트 각각으로서 추출하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 위치 조정 장치는, 상기 포즈 예측 네트워크로 하여금, 상기 키포인트 그룹핑 레이어를 통해, 상기 파트 어피니티 필드 각각을 참조로 하여, 상기 추출된 키포인트의 페어들 중 서로 연결될 확률이 가장 높은 페어들을 각각 연결함으로써, 상기 추출된 키포인트를 그룹핑하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (b) 단계에서, 상기 위치 조정 장치는, 상기 얼굴 검출기로 하여금, (i) 컨벌루션 레이어를 통해 상기 상반신 이미지에 적어도 하나의 컨벌루션 연산을 적용하여 적어도 하나의 특징 맵을 생성하도록 하고, (ii) RPN(region proposal network)를 통해 상기 특징 맵 상의 하나 이상의 객체에 대응되는 하나 이상의 프로포잘 박스를 생성하도록 하며, (iii) 풀링 레이어를 통해 상기 특징 맵 상의 상기 프로포잘 박스에 대응하는 하나 이상의 영역에 적어도 하나의 풀링 연산을 적용하여 적어도 하나의 특징 벡터를 생성하도록 하고, (iv) FC(fully-connected) 레이어를 통해 상기 특징 벡터에 적어도 하나의 FC 연산을 적용하여 적어도 하나의 FC 출력값을 생성하도록 하며, (v) 상기 FC 레이어의 상기 FC 출력값에 클래시피케이션 연산 및 리그레션 연산을 적용하여 각각의 상기 객체에 대한 클래스 정보 및 리그레션 정보를 출력하도록 한 다음, 클래시피케이션 레이어 및 리그레션 레이어를 통해 상기 상반신이미지 상의 상기 운전자의 상기 얼굴 부분을 검출하도록 하되, 상기 객체 각각은 상기 프로포잘 박스 각각에 대응하는 것을 특징으로 한다.
일 실시예에서, 상기 (b) 단계에서, 상기 위치 조정 장치는, 상기 눈 검출기로 하여금, 상기 얼굴 부분을 적어도 하나의 MCT(Modified Census Transform) 이미지로 변환하도록 하고, 에이다부스트(Adaboost) 알고리즘을 사용하여 상기 MCT 이미지로부터 획득된 눈 검출용 특징 데이터로부터 상기 운전자의 상기 눈 부분을 검출하도록 하되, 국부 부분의 밝기의 평균과 상기 얼굴 부분의 밝기 간 차이가 상기 MCT 이미지로 인코딩되는 것을 특징으로 한다.
일 실시예에서, 상기 운전자석의 상기 위치는 상기 상반신 이미지를 획득하는 적어도 하나의 카메라와 상기 운전자석 사이의 거리인 것을 특징으로 한다.
일 실시예에서, 상기 (a) 단계에서, 상기 위치 조정 장치는, 상기 운전자의 상기 바디 파트 길이를 참조하여 상기 차량의 운전대의 위치를 더 조정하는 프로세스를 수행하는 것을 특징으로 한다.
본 발명의 다른 태양에 따르면, 운전자 상태에 따라 운전자 보조 장치의 위치를 조정하는 위치 조정 장치에 있어서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 (I) 운전자가 차량의 운전자석에 착석하여 상기 차량의 시동을 건 후 상기 운전자의 적어도 하나의 상반신 이미지 및 적어도 하나의 하반신 이미지가 획득되면, 상기 상반신 이미지와 상기 하반신 이미지를 포즈 예측 네트워크에 입력하는 프로세스를 수행함으로써 상기 포즈 예측 네트워크로 하여금, (i) 상기 상반신 이미지 및 상기 하반신 이미지에 위치하는, 상기 운전자에 대응하는 하나 이상의 바디 키포인트를 획득하도록 하고, (ii) 상기 바디 키포인트를 참조로 하여 상기 운전자의 적어도 하나의 바디 파트 길이를 계산하며, (iii) 상기 운전자의 상기 계산된 바디 파트 길이를 참조로 하여 상기 운전자석의 위치를 조정하도록 하는 프로세스; 및 (II) 상기 운전자석의 위치가 조정된 상태에서 상기 차량이 운행되는 중, (i) 상기 상반신 이미지를 얼굴 검출기에 입력하여, 상기 얼굴 검출기로 하여금, 상기 상반신 이미지에서 상기 운전자의 적어도 하나의 얼굴 부분을 검출하도록 하는 프로세스, (ii) 상기 얼굴 부분을 눈 검출기에 입력하여, 상기 눈 검출기로 하여금, 상기 얼굴 부분에서 상기 운전자의 적어도 하나의 눈 부분을 검출하도록 하는 프로세스, (iii) 상기 검출된 눈 부분에서 상기 운전자의 적어도 하나의 눈에 대응하는 2D 좌표와 상기 조정된 운전자석의 위치를 3D 좌표 변환기에 입력하여, 상기 3D 좌표 변환기로 하여금, 상기 운전자석의 위치 및 상기 눈의 2D 좌표를 참조하여 상기 운전자의 상기 눈의 3D 좌표를 생성하며, 상기 눈의 상기 3D 좌표를 참조하여 상기 차량의 적어도 하나의 미러의 적어도 하나의 위치를 조정하도록 하는 프로세스;를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 위치 조정 장치가 개시된다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서는, 상기 포즈 예측 네트워크로 하여금, (i) 특징 추출기를 통해 상기 상반신 이미지 및 상기 하반신 이미지 각각으로부터 하나 이상의 특징을 추출하여 하나 이상의 특징 텐서 각각을 생성하도록 하고, (ii) 키포인트 히트맵(keypoint heatmap) 및 파트 어피니티 필드(part affinity field) 추출기를 통해 상기 특징 텐서 각각에 대응하는 하나 이상의 키포인트 히트맵 및 하나 이상의 파트 어피니티 필드 각각을 생성하도록 하며, (iii) 키포인트 그룹핑(grouping) 레이어를 통해 상기 키포인트 히트맵 각각으로부터 하나 이상의 키포인트를 추출하도록 하고, 상기 파트 어피니티 필드 각각을 참조로 하여 상기 추출된 키포인트 각각을 그룹핑하여 상기 운전자에 대응하는 상기 바디 키포인트를 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 프로세서는, 상기 포즈 예측 네트워크로 하여금, 상기 특징 추출기의 적어도 하나의 컨벌루션 레이어를 통해, 적어도 하나의 컨벌루션 연산을 상기 상반신 이미지 및 상기 하반신 이미지 각각에 적용하여 상기 특징 텐서 각각을 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 프로세서는, 상기 포즈 예측 네트워크로 하여금, 상기 키포인트 히트맵 및 파트 어피니티 필드 추출기의 풀리 컨벌루션 네트워크 또는 적어도 하나의 1x1 컨벌루션 레이어를 통해, 상기 특징 텐서 각각에 적어도 하나의 풀리 컨벌루션 연산 또는 적어도 하나의 1x1 컨벌루션 연산을 적용함으로써 상기 특징 텐서 각각에 대응하는 상기 키포인트 히트맵 각각 및 상기 파트 어피니티 필드 각각을 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 프로세서는, 상기 포즈 예측 네트워크로 하여금, 상기 키포인트 그룹핑 레이어를 통해, 상기 키포인트 히트맵 각각에서 가장 높은 지점 각각을, 상기 키포인트 히트맵 각각에 대응하는 상기 키포인트 각각으로서 추출하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 프로세서는, 상기 포즈 예측 네트워크로 하여금, 상기 키포인트 그룹핑 레이어를 통해, 상기 파트 어피니티 필드 각각을 참조로 하여, 상기 추출된 키포인트의 페어들 중 서로 연결될 확률이 가장 높은 페어들을 각각 연결함으로써, 상기 추출된 키포인트를 그룹핑하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서는, 상기 얼굴 검출기로 하여금, (i) 컨벌루션 레이어를 통해 상기 상반신 이미지에 적어도 하나의 컨벌루션 연산을 적용하여 적어도 하나의 특징 맵을 생성하도록 하고, (ii) RPN(region proposal network)를 통해 상기 특징 맵 상의 하나 이상의 객체에 대응되는 하나 이상의 프로포잘 박스를 생성하도록 하며, (iii) 풀링 레이어를 통해 상기 특징 맵 상의 상기 프로포잘 박스에 대응하는 하나 이상의 영역에 적어도 하나의 풀링 연산을 적용하여 적어도 하나의 특징 벡터를 생성하도록 하고, (iv) FC(fully-connected) 레이어를 통해 상기 특징 벡터에 적어도 하나의 FC 연산을 적용하여 적어도 하나의 FC 출력값을 생성하도록 하며, (v) 상기 FC 레이어의 상기 FC 출력값에 클래시피케이션 연산 및 리그레션 연산을 적용하여 각각의 상기 객체에 대한 클래스 정보 및 리그레션 정보를 출력하도록 한 다음, 클래시피케이션 레이어 및 리그레션 레이어를 통해 상기 상반신이미지 상의 상기 운전자의 상기 얼굴 부분을 검출하도록 하되, 상기 객체 각각은 상기 프로포잘 박스 각각에 대응하는 것을 특징으로 한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서는, 상기 눈 검출기로 하여금, 상기 얼굴 부분을 적어도 하나의 MCT(Modified Census Transform) 이미지로 변환하도록 하고, 에이다부스트(Adaboost) 알고리즘을 사용하여 상기 MCT 이미지로부터 획득된 눈 검출용 특징 데이터로부터 상기 운전자의 상기 눈 부분을 검출하도록 하되, 국부 부분의 밝기의 평균과 상기 얼굴 부분의 밝기 간 차이가 상기 MCT 이미지로 인코딩되는 것을 특징으로 한다.
일 실시예에서, 상기 운전자석의 상기 위치는 상기 상반신 이미지를 획득하는 적어도 하나의 카메라와 상기 운전자석 사이의 거리인 것을 특징으로 한다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서는, 상기 운전자의 상기 바디 파트 길이를 참조하여 상기 차량의 운전대의 위치를 더 조정하는 프로세스를 수행하는 것을 특징으로 한다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명은 운전자 상태에 따라 운전자 보조 장치를 자동으로 조정하여 운전자의 편의성을 향상시킬 수 있는 효과가 있다.
본 발명은 운전자 상태에 따라 운전자석의 위치를 자동으로 조정하여 운전자의 편의성을 향상시킬 수 있는 효과가 있다.
본 발명은 운전자의 시선(gaze)을 추적해 미러의 위치를 실시간 자동으로 조정하여 운전자의 편의성을 향상시키고, 운전자로 하여금 미러를 이용해 주변 환경을 정확히 인식할 수 있도록 하여 교통 사고를 방지할 수 있는 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따른 운전자 상태에 따라 운전자 보조 장치의 위치를 조정하는 위치 조정 장치를 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 운전자 상태에 따라 운전자 보조 장치의 위치를 조정하는 방법을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 운전자 상태에 따라 운전자 보조 장치의 위치를 조정하는 방법에서, 운전자의 바디 키포인트를 검출하는 과정을 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 운전자 상태에 따라 운전자 보조 장치의 위치를 조정하는 방법에서, 운전자의 얼굴을 검출하는 과정을 개략적으로 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 운전자 상태에 따라 운전자 보조 장치의 위치를 조정하는 위치 조정 장치를 개략적으로 나타낸 도면이다. 도 1을 참조하면, 상기 위치 조정 장치(1000)는, 상기 검출된 운전자 상태에 따라 상기 운전자 보조 장치의 위치를 조정하는 인스트럭션들을 저장하는 메모리(1100)와, 상기 운전자 상태에 따라 상기 운전자 보조 장치의 위치를 조정하는 상기 메모리(1100)에 저장된 인스트럭션들에 대응하는 프로세스를 수행하는 프로세서(1200)를 포함할 수 있다.
구체적으로, 상기 위치 조정 장치(1000)는 전형적으로 적어도 하나의 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 적어도 하나의 컴퓨터 소프트웨어(즉, 상기 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.
상기 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.
그러나, 이러한 상기 컴퓨팅 장치에 대한 설명이 본 발명을 실시하기 위한 프로세서, 메모리, 매체 또는 기타 컴퓨팅 구성요소가 통합된 형태인 통합 프로세서의 경우를 배제하는 것은 아니다.
이와 같이 구성된 본 발명의 일 실시예에 따른 상기 위치 조정 장치(1000)를 이용하여 상기 운전자 상태에 따라 상기 운전자 보조 장치의 위치를 조정하는 방법을 도 2를 참조하여 설명하면 다음과 같다.
먼저, 운전자가 차량의 운전자석에 착석하여 상기 차량의 시동을 건 후 제1 이미지인 상기 운전자의 적어도 하나의 상반신 이미지 및 제2 이미지인 상기 운전자의 적어도 하나의 하반신 이미지가 획득되면, 상기 위치 조정 장치(1000)는 상기 상반신 이미지와 상기 하반신 이미지를 포즈 예측 네트워크에 입력하는 프로세스를 수행하여, 상기 포즈 예측 네트워크(100)로 하여금, 상기 상반신 이미지 및 상기 하반신 이미지에 위치하는, 상기 운전자에 대응하는 하나 이상의 바디 키포인트를 획득하도록 하고, 상기 바디 키포인트를 참조로 하여 상기 운전자의 적어도 하나의 바디 파트 길이를 계산하도록 할 수 있다.
이때, 상기 상반신 이미지와 상기 하반신 이미지는 상기 차량의 실내에 설치된 하나 이상의 카메라에 의해 획득될 수 있다. 그리고, 상기 카메라는 상기 차량의 실내에서 상기 운전자의 상반신을 촬영하는 적어도 하나의 카메라와, 상기 차량의 실내에서 상기 운전자의 하반신을 촬영하는 적어도 하나의 카메라를 포함할 수 있다. 또한, 상기 운전자의 상기 상반신과 상기 하반신은 상기 운전자의 배꼽을 기준으로 판단할 수 있으나, 본 발명의 범위는 이에 한정되지 않으며, 상기 운전자의 적어도 하나의 얼굴 부분이 상기 운전자의 상반신 이미지에 포함되도록 임의의 지점에 기반하여 판단할 수 있다.
그리고, 상기 포즈 예측 네트워크(100)는 상기 운전자의 상기 상반신 이미지와 상기 하반신 이미지를 바디 키포인트 검출기(110)에 입력하여, 상기 바디 키포인트 검출기(110)로 하여금, 상기 상반신 이미지와 상기 하반신 이미지 각각으로부터 상기 운전자에 대응하는 상기 바디 키포인트를 획득하도록 할 수 있다.
이때, 상기 차량 내에 설치된 상기 카메라로 획득한 영상 또는 이미지는 바디를 많이 가린 상태일 수 있으며, 이러한 경우, 종래의 객체 검출기는 많이 가려진 특정 운전자를 검출하는데 실패할 수 있으나, 상기 바디 키포인트 검출기(110)는 보이는 부분만을 이용하여 상기 운전자가 있는지를 판단할 수 있다. 그리고, 상기 운전자는 포즈 다양성 범위가 크기 때문에 상기 바디 키포인트 검출기(110)는 상기 종래의 객체 검출기보다 훨씬 유용하다.
일 예로, 도 3을 참조하여, 바디 키포인트 검출기(110)가 상기 바디 키포인트를 검출하는 과정을 설명하면 다음과 같다.
상기 제1 이미지인 상기 운전자의 상반신 이미지와 상기 제2 이미지인 상기 운전자의 하반신 이미지가 획득되면, 상기 바디 키포인트 검출기(110)는 상기 특징 추출기 네트워크(111)로 하여금 상기 상반신 이미지와 상기 하반신 이미지 각각에 적어도 하나의 컨벌루션 연산을 적용하여 상기 상반신 이미지와 상기 하반신 이미지 각각에 대응하는 하나 이상의 특징 텐서 각각을 출력하도록 한다. 이때, 상기 특징 추출기 네트워크(111)는 적어도 하나의 컨벌루션 연산을 수행할 수 있는 하나 이상의 컨벌루션 레이어를 포함하는 하나 이상의 컨벌루션 블록일 수 있다.
그리고, 상기 바디 키포인트 검출기(110)는 상기 특징 텐서 각각을 상기 키포인트 히트맵 및 파트 어피니티 필드 추출기(112)에 입력하여, 상기 키포인트 히트맵 및 파트 어피니티 필드 추출기(112)로 하여금, (i) 상기 특징 텐서 각각에 대응하는 키포인트 히트맵 각각 및 (ii) 상기 키포인트 간 관계를 나타내는 벡터 맵인 파트 어피니티 필드 각각을 생성하도록 할 수 있다. 이때, 각각의 상기 파트 어피니티 필드는 특정 키포인트와 타 키포인트의 연결성을 나타낸 맵일 수 있고, 각각의 키포인트 히트맵 페어들에 대해 서로 연결될 확률을 나타내는 맵일 수 있다. 그리고 "히트맵"은 열을 뜻하는 히트(heat)와 지도를 뜻하는 맵(map)을 결합시킨 것으로, 색상으로 표현할 수 있는 다양한 정보를 일정한 이미지 위에 열분포 형태의 그래픽으로 생성한 것일 수 있다.
이때, 상기 키포인트 히트맵 및 파트 어피니티 필드 추출기(112)는 풀리 컨벌루션 네트워크를 포함할 수 있다.
또한, 상기 키포인트 히트맵 및 파트 어피니티 필드 추출기(112)는 적어도 하나의 1x1 컨벌루션 연산을 상기 특징 텐서에 적용하는 하나 이상의 1 x 1 컨벌루션 레이어를 포함할 수 있다.
또한, 상기 키포인트 히트맵 및 파트 어피니티 필드 추출기(112)는 이분 매칭(bipartite matching)을 이용하여 각각의 키포인트 간 관계를 검출함으로써 상기 파트 어피니티 필드를 생성할 수 있다. 즉, 상기 키포인트 간 관계는 상기 이분 매칭을 통해 확인할 수 있다.
이후, 상기 바디 키포인트 검출기(110)는, 상기 키포인트 그룹핑 레이어(113)로 하여금, 상기 키포인트 히트맵 각각으로부터 상기 키포인트를 추출하고, 상기 추출된 상호 연결 확률을 참조하여, 연결될 확률이 가장 높은 키포인트끼리 페어들 각각으로 연결하도록 할 수 있다. 이때, 상기 바디 키포인트 검출기는, 각 채널에 대응하는 각각의 상기 키포인트 히트맵 내 각각의 가장 높은 지점, 즉 가장 높은 히트값을 갖는 각각의 포인트를, 각각의 상기 키포인트 히트맵에 대응되는 각각의 상기 키포인트로서 추출할 수 있으며, 상기 파트 어피니티 필드를 참조하여, 상기 추출된 키포인트 중 연결될 확률이 가장 높은 키포인트끼리 페어로 하여 연결함으로써, 상기 추출된 키포인트를 그룹핑할 수 있다. 일 예로, 상기 추출된 키포인트 중 어느 하나의 키포인트와 연결될 확률이 가장 높은 다른 하나의 키포인트를 하나의 페어로 연결하는 과정을 추출된 키포인트들 모두에 대해 수행함으로써 키포인트들을 그룹핑할 수 있다.
다음으로, 다시 도 2를 참조하면, 상기 위치 조정 장치(1000)는, 상기 포즈 예측 네트워크(100)로 하여금, 상기 운전자의 상기 상반신 이미지와 상기 하반신 이미지 각각으로부터 검출된 상기 운전자의 상기 바디 키포인트를 참조하여, 상기 운전자의 하나 이상의 바디 파트를 생성하도록 하며, 상기 바디 파트를 참조로 하여 상기 바디 파트의 길이 정보인 상기 바디 파트 길이에 관한 정보를 생성하도록 할 수 있다. 일 예로, 상기 바디 파트 길이에 관한 정보는 상기 운전자의 어깨 너비, 팔 길이, 다리 길이, 키 등을 포함할 수 있다.
다음으로, 상기 위치 조정 장치(1000)는 상기 운전자 보조 장치를 조정하여, 예를 들어 상기 포즈 예측 네트워크(100)를 통해 확인된 상기 운전자의 상기 바디 파트 길이에 관한 정보에 따라 운전석 위치 또는 운전대의 위치를 조정할 수 있다.
다음으로, 상기와 같은 방법에 의해, 상기 운전자석의 위치가 상기 운전자 상태에 따라 조정된 상태에서, 상기 위치 조정 장치(1000)는 상기 획득된 제1 이미지인 상기 운전자의 상기 상반신 이미지를 얼굴 검출기(200)에 입력하여, 상기 얼굴 검출기(200)로 하여금 상기 상반신 이미지로부터 상기 운전자의 상기 얼굴 부분을 검출하도록 할 수 있다. 이때, 상기 얼굴 검출기(200)는 CNN(Convolutional Neural Network)에 기반한 검출기일 수 있으나, 본 발명의 범위는 이에 한정되지 않는다. 또한 상기 얼굴 검출기(200)는 상기 전체 바디 이미지로부터 상기 운전자의 상기 얼굴 부분을 검출하도록 설명되었으나, 다른 예로, 상기 상반신 이미지를 크로핑(cropping)하여 얼굴이 위치하는 것으로 예측되는 상기 상반신의 특정 영역만을 이용해 얼굴 검출에 이용될 수도 있다.
일 예로, 도 4를 참조하면, 상기 CNN 기반의 상기 얼굴 검출기(200)는, 적어도 하나의 컨벌루션 레이어(201)를 통해 상기 상반신 이미지에 적어도 하나의 컨벌루션 연산을 적용하여 적어도 하나의 특징 맵을 생성하도록 하고, RPN(region proposal network)(202)을 통해 상기 특징 맵 상의 하나 이상의 객체에 대응하는 하나 이상의 프로포잘 박스를 생성하는 프로세스를 수행할 수 있다. 그리고, 상기 얼굴 검출기(200)는 풀링 레이어(203)를 통해 상기 특징 맵 상의 상기 프로포잘 박스에 대응하는 하나 이상의 영역에 적어도 하나의 풀링 연산을 적용하여 적어도 하나의 특징 벡터를 생성하는 프로세스, 및 FC 레이어(204)를 통해 상기 특징 벡터에 적어도 하나의 FC 연산을 적용하여 적어도 하나의 FC 출력값을 생성하는 프로세스를 수행할 수 있다. 이후, 상기 얼굴 검출기(200)는, 클래시피케이션 연산과 리그레션 연산을 상기 FC 레이어(204)의 상기 FC 출력값에 적용하여 상기 객체 각각에 대한 클래스 정보와 리그레션 정보를 출력하여, 상기 객체 각각이 프로포잘 박스 각각에 대응하는 클래시피케이션 레이어(205) 및 리그레션 레이어(206)를 통해 상기 실내 이미지 상의 상기 운전자의 상기 얼굴 부분을 검출할 수 있다. 다시 도 2를 참조로 하면, 상기 위치 조정 장치(1000)는 눈 검출기(300)로 하여금 상기 얼굴 검출기(200)로부터 검출된 상기 운전자의 상기 얼굴 부분에서 적어도 하나의 눈 부분을 검출함으로써 적어도 하나의 눈의 2D 좌표를 생성하도록 할 수 있다.
일 예로, 상기 눈 검출기(300)는 상기 얼굴 부분을 적어도 하나의 MCT(Modified Census Transform) 이미지로 변환하고, 에이다부스트(Adaboost) 알고리즘을 사용하여 상기 MCT 이미지로부터 획득된 눈 검출용 특징 데이터로부터 상기 운전자의 상기 눈 부분을 검출하도록 하되, 국부 부분의 밝기의 평균과 상기 얼굴 부분의 밝기 간 차이가 상기 MCT 이미지로 인코딩될 수 있다.
다음으로, 상기 위치 조정 장치(1000)는 상기 검출된 눈 부분에서 상기 운전자의 상기 눈에 대응하는 2D 좌표와 상기 조정된 운전자석의 위치를 3D 좌표 변환기(400)에 입력하여, 상기 3D 좌표 변환기(400)로 하여금, 상기 조정된 운전자석의 위치 및 상기 눈의 2D 좌표를 참조하여 상기 운전자의 상기 눈의 3D 좌표를 생성하도록 하며, 상기 눈의 상기 3D 좌표를 참조하여 상기 차량의 적어도 하나의 미러의 적어도 하나의 위치를 조정하도록 할 수 있다.
즉, 상기 운전자의 상기 상반신 이미지를 획득하는 상기 카메라 및 상기 운전자석 간 거리는, 상기 바디 파트 길이에 따라 조정된 상기 운전자석의 위치를 참조하여 획득될 수 있고, 상기 카메라와 상기 조정된 운전자석 간 거리와 상기 눈의 상기 2D 좌표를 이용하여 상기 눈의 3D 좌표를 획득할 수 있다.
그리고, 상기 위치 조정 장치(1000)는 (i) 상기 눈의 상기 3D 좌표를 참조로 하여 상기 운전자의 시선 방향을 예측하고, (ii) 상기 운전자의 상기 예측된 시선 방향에 따라, 상기 미러의 위치, 즉 상기 미러의 각도를 조정하여 상기 운전자의 상기 예측된 시선 방향에 따라 상기 미러의 반사각을 자동으로 조정함으로써 상기 운전자로 하여금 상기 차량의 주변 상황을 인식할 수 있도록 할 수 있다.
한편, 다른 예로, 상기 운전자의 상기 상반신 이미지와 하반신 이미지를 사용하는 것과는 달리, 상기 운전자의 하나의 이미지만을 사용할 수도 있다. 즉, 상기 운전자의 하나의 이미지로부터 상기 운전자의 상기 바디 키포인트와 상기 얼굴 부분을 검출할 수도 있다.
상기에서 설명한 바와 같이, 본 발명은 상기 카메라로부터 촬영된 상기 운전자의 사진을 이용하여 운전자 상태를 모니터링하고, 상기 운전자의 상기 바디 키포인트를 이용한 상기 바디 파트 길이에 따라 상기 운전자석의 위치를 조정하며, 상기 운전자의 시선 모니터링을 통해 판단된 상기 운전자의 시선에 따라 상기 미러의 각도를 조정함으로써 상기 운전자 보조 장치의 맞춤형의 온라인 캘리브레이션이 가능하도록 할 수 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (20)

  1. 운전자 상태에 따라 운전자 보조 장치의 위치를 조정하는 방법에 있어서,
    (a) 운전자가 차량의 운전자석에 착석하여 상기 차량의 시동을 건 후 상기 운전자의 적어도 하나의 상반신 이미지 및 적어도 하나의 하반신 이미지가 하나 이상의 일반적인 카메라에 의해 획득되면, 위치 조정 장치가, 상기 상반신 이미지와 상기 하반신 이미지를 포즈 예측 네트워크에 입력하는 프로세스를 수행함으로써 상기 포즈 예측 네트워크로 하여금, (i) 상기 상반신 이미지 및 상기 하반신 이미지에 위치하는, 상기 운전자에 대응하는 하나 이상의 바디 키포인트를 획득하도록 하고, (ii) 상기 바디 키포인트를 참조로 하여 상기 운전자의 적어도 하나의 바디 파트를 생성하도록 하며, 상기 바디 파트를 참조로 바디 파트 길이를 계산하도록 하며, (iii) 상기 운전자의 상기 계산된 바디 파트 길이를 참조로 하여 상기 운전자석의 위치를 조정하도록 하는 단계; 및
    (b) 상기 위치 조정 장치가, 상기 운전자석의 위치가 조정된 상태에서 상기 차량이 운행되는 중, (i) 상기 카메라에 의해 검출되는 주행 중 상반신 이미지를 얼굴 검출기에 입력하여, 상기 얼굴 검출기로 하여금, 상기 주행 중 상반신 이미지에서 상기 운전자의 적어도 하나의 얼굴 부분을 검출하도록 하는 프로세스, (ii) 상기 얼굴 부분을 눈 검출기에 입력하여, 상기 눈 검출기로 하여금, 상기 얼굴 부분에서 상기 운전자의 적어도 하나의 눈 부분을 검출하도록 하는 프로세스, (iii) 상기 검출된 눈 부분에서 상기 운전자의 적어도 하나의 눈에 대응하는 2D 좌표와 상기 운전자의 상기 바디 파트 길이를 참조로 조정된 운전자석의 위치를 3D 좌표 변환기에 입력하여, 상기 3D 좌표 변환기로 하여금, 상기 운전자석의 위치 및 상기 눈의 2D 좌표를 참조하여 상기 운전자의 상기 눈의 3D 좌표를 생성하도록 하며, 상기 눈의 상기 3D 좌표를 참조하여 상기 운전자의 시선 방향을 예측하며, 상기 차량이 운행되는 중 상기 운전자의 예측된 시선 방향에 따라 상기 차량의 적어도 하나의 미러의 반사각을 조정하도록 하는 단계;
    를 포함하며,
    상기 (a) 단계에서,
    상기 위치 조정 장치는, 상기 포즈 예측 네트워크로 하여금, (i) 특징 추출기를 통해 상기 상반신 이미지 및 상기 하반신 이미지 각각으로부터 하나 이상의 특징을 추출하여 하나 이상의 특징 텐서 각각을 생성하도록 하고, (ii) 키포인트 히트맵(keypoint heatmap) 및 파트 어피니티 필드(part affinity field) 추출기를 통해 상기 특징 텐서 각각에 대응하는 하나 이상의 키포인트 히트맵 및 하나 이상의 파트 어피니티 필드 각각을 생성하도록 하며, (iii) 키포인트 그룹핑(grouping) 레이어를 통해 상기 키포인트 히트맵 각각으로부터 하나 이상의 키포인트를 추출하도록 하고, 상기 파트 어피니티 필드 각각을 참조로 하여 상기 추출된 키포인트 각각을 그룹핑하여 상기 운전자에 대응하는 상기 바디 키포인트를 생성하도록 하는 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 위치 조정 장치는, 상기 포즈 예측 네트워크로 하여금, 상기 특징 추출기의 적어도 하나의 컨벌루션 레이어를 통해, 적어도 하나의 컨벌루션 연산을 상기 상반신 이미지 및 상기 하반신 이미지 각각에 적용하여 상기 특징 텐서 각각을 생성하도록 하는 방법.
  4. 제1항에 있어서,
    상기 위치 조정 장치는, 상기 포즈 예측 네트워크로 하여금, 상기 키포인트 히트맵 및 파트 어피니티 필드 추출기의 풀리 컨벌루션 네트워크 또는 적어도 하나의 1x1 컨벌루션 레이어를 통해, 상기 특징 텐서 각각에 적어도 하나의 풀리 컨벌루션 연산 또는 적어도 하나의 1x1 컨벌루션 연산을 적용함으로써 상기 특징 텐서 각각에 대응하는 상기 키포인트 히트맵 각각 및 상기 파트 어피니티 필드 각각을 생성하도록 하는 방법.
  5. 제1항에 있어서,
    상기 위치 조정 장치는, 상기 포즈 예측 네트워크로 하여금, 상기 키포인트 그룹핑 레이어를 통해, 상기 키포인트 히트맵 각각에서 가장 높은 지점 각각을, 상기 키포인트 히트맵 각각에 대응하는 상기 키포인트 각각으로서 추출하도록 하는 방법.
  6. 제5항에 있어서,
    상기 위치 조정 장치는, 상기 포즈 예측 네트워크로 하여금, 상기 키포인트 그룹핑 레이어를 통해, 상기 파트 어피니티 필드 각각을 참조로 하여, 상기 추출된 키포인트의 페어들 중 서로 연결될 확률이 가장 높은 페어들을 각각 연결함으로써, 상기 추출된 키포인트를 그룹핑하도록 하는 방법.
  7. 제1항에 있어서,
    상기 (b) 단계에서,
    상기 위치 조정 장치는, 상기 얼굴 검출기로 하여금, (i) 컨벌루션 레이어를 통해 상기 주행 중 상반신 이미지에 적어도 하나의 컨벌루션 연산을 적용하여 적어도 하나의 특징 맵을 생성하도록 하고, (ii) RPN(region proposal network)를 통해 상기 특징 맵 상의 하나 이상의 객체에 대응되는 하나 이상의 프로포잘 박스를 생성하도록 하며, (iii) 풀링 레이어를 통해 상기 특징 맵 상의 상기 프로포잘 박스에 대응하는 하나 이상의 영역에 적어도 하나의 풀링 연산을 적용하여 적어도 하나의 특징 벡터를 생성하도록 하고, (iv) FC(fully-connected) 레이어를 통해 상기 특징 벡터에 적어도 하나의 FC 연산을 적용하여 적어도 하나의 FC 출력값을 생성하도록 하며, (v) 상기 FC 레이어의 상기 FC 출력값에 클래시피케이션 연산 및 리그레션 연산을 적용하여 각각의 상기 객체에 대한 클래스 정보 및 리그레션 정보를 출력하도록 한 다음, 클래시피케이션 레이어 및 리그레션 레이어를 통해 상기 주행 중 상반신 이미지 상의 상기 운전자의 상기 얼굴 부분을 검출하도록 하되, 상기 객체 각각은 상기 프로포잘 박스 각각에 대응 하는 방법.
  8. 제7항에 있어서,
    상기 (b) 단계에서,
    상기 위치 조정 장치는, 상기 눈 검출기로 하여금, 상기 얼굴 부분을 적어도 하나의 MCT(Modified Census Transform) 이미지로 변환하도록 하고, 에이다부스트(Adaboost) 알고리즘을 사용하여 상기 MCT 이미지로부터 획득된 눈 검출용 특징 데이터로부터 상기 운전자의 상기 눈 부분을 검출하도록 하되, 국부 부분의 밝기의 평균과 상기 얼굴 부분의 밝기 간 차이가 상기 MCT 이미지로 인코딩되는 방법.
  9. 제1항에 있어서,
    상기 운전자석의 상기 위치는 상기 상반신 이미지를 획득하는 적어도 하나의 카메라와 상기 운전자석 사이의 거리인 방법.
  10. 제1항에 있어서,
    상기 (a) 단계에서,
    상기 위치 조정 장치는, 상기 운전자의 상기 바디 파트 길이를 참조하여 상기 차량의 운전대의 위치를 더 조정하는 프로세스를 수행하는 방법.
  11. 운전자 상태에 따라 운전자 보조 장치의 위치를 조정하는 위치 조정 장치에 있어서,
    인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    (I) 운전자가 차량의 운전자석에 착석하여 상기 차량의 시동을 건 후 상기 운전자의 적어도 하나의 상반신 이미지 및 적어도 하나의 하반신 이미지가 하나 이상의 일반적인 카메라에 의해 획득되면, 위치 조정 장치가, 상기 상반신 이미지와 상기 하반신 이미지를 포즈 예측 네트워크에 입력하는 프로세스를 수행함으로써 상기 포즈 예측 네트워크로 하여금, (i) 상기 상반신 이미지 및 상기 하반신 이미지에 위치하는, 상기 운전자에 대응하는 하나 이상의 바디 키포인트를 획득하도록 하고, (ii) 상기 바디 키포인트를 참조로 하여 상기 운전자의 적어도 하나의 바디 파트를 생성하도록 하며, 상기 바디 파트를 참조로 바디 파티 길이를 계산하며, (iii) 상기 운전자의 상기 계산된 바디 파트 길이를 참조로 하여 상기 운전자석의 위치를 조정하도록 하는 프로세스; 및 (II) 상기 운전자석의 위치가 조정된 상태에서 상기 차량이 운행되는 중, (i) 상기 카메라에 의해 검출되는 주행 중 상반신 이미지를 얼굴 검출기에 입력하여, 상기 얼굴 검출기로 하여금, 상기 주행 중 상반신 이미지에서 상기 운전자의 적어도 하나의 얼굴 부분을 검출하도록 하는 프로세스, (ii) 상기 얼굴 부분을 눈 검출기에 입력하여, 상기 눈 검출기로 하여금, 상기 얼굴 부분에서 상기 운전자의 적어도 하나의 눈 부분을 검출하도록 하는 프로세스, (iii) 상기 검출된 눈 부분에서 상기 운전자의 적어도 하나의 눈에 대응하는 2D 좌표와 상기 운전자의 상기 바디 파트 길이를 참조로 조정된 운전자석의 위치를 3D 좌표 변환기에 입력하여, 상기 3D 좌표 변환기로 하여금, 상기 운전자석의 위치 및 상기 눈의 2D 좌표를 참조하여 상기 운전자의 상기 눈의 3D 좌표를 생성하며, 상기 눈의 상기 3D 좌표를 참조하여 상기 운전자의 시선 방향을 예측하며, 상기 차량이 운행되는 중 상기 운전자의 예측된 시선 방향에 따라 상기 차량의 적어도 하나의 미러의 반사각을 조정하도록 하는 프로세스;를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하며,
    상기 (I) 프로세스에서,
    상기 프로세서는, 상기 포즈 예측 네트워크로 하여금, (i) 특징 추출기를 통해 상기 상반신 이미지 및 상기 하반신 이미지 각각으로부터 하나 이상의 특징을 추출하여 하나 이상의 특징 텐서 각각을 생성하도록 하고, (ii) 키포인트 히트맵(keypoint heatmap) 및 파트 어피니티 필드(part affinity field) 추출기를 통해 상기 특징 텐서 각각에 대응하는 하나 이상의 키포인트 히트맵 및 하나 이상의 파트 어피니티 필드 각각을 생성하도록 하며, (iii) 키포인트 그룹핑(grouping) 레이어를 통해 상기 키포인트 히트맵 각각으로부터 하나 이상의 키포인트를 추출하도록 하고, 상기 파트 어피니티 필드 각각을 참조로 하여 상기 추출된 키포인트 각각을 그룹핑하여 상기 운전자에 대응하는 상기 바디 키포인트를 생성하도록 하는 위치 조정 장치.
  12. 삭제
  13. 제11항에 있어서,
    상기 프로세서는, 상기 포즈 예측 네트워크로 하여금, 상기 특징 추출기의 적어도 하나의 컨벌루션 레이어를 통해, 적어도 하나의 컨벌루션 연산을 상기 상반신 이미지 및 상기 하반신 이미지 각각에 적용하여 상기 특징 텐서 각각을 생성하도록 하는 위치 조정 장치.
  14. 제11항에 있어서,
    상기 프로세서는, 상기 포즈 예측 네트워크로 하여금, 상기 키포인트 히트맵 및 파트 어피니티 필드 추출기의 풀리 컨벌루션 네트워크 또는 적어도 하나의 1x1 컨벌루션 레이어를 통해, 상기 특징 텐서 각각에 적어도 하나의 풀리 컨벌루션 연산 또는 적어도 하나의 1x1 컨벌루션 연산을 적용함으로써 상기 특징 텐서 각각에 대응하는 상기 키포인트 히트맵 각각 및 상기 파트 어피니티 필드 각각을 생성하도록 하는 위치 조정 장치.
  15. 제11항에 있어서,
    상기 프로세서는, 상기 포즈 예측 네트워크로 하여금, 상기 키포인트 그룹핑 레이어를 통해, 상기 키포인트 히트맵 각각에서 가장 높은 지점 각각을, 상기 키포인트 히트맵 각각에 대응하는 상기 키포인트 각각으로서 추출하도록 하는 위치 조정 장치.
  16. 제15항에 있어서,
    상기 프로세서는, 상기 포즈 예측 네트워크로 하여금, 상기 키포인트 그룹핑 레이어를 통해, 상기 파트 어피니티 필드 각각을 참조로 하여, 상기 추출된 키포인트의 페어들 중 서로 연결될 확률이 가장 높은 페어들을 각각 연결함으로써, 상기 추출된 키포인트를 그룹핑하도록 하는 위치 조정 장치.
  17. 제11항에 있어서,
    상기 (II) 프로세스에서,
    상기 프로세서는, 상기 얼굴 검출기로 하여금, (i) 컨벌루션 레이어를 통해 상기 주행 중 상반신 이미지에 적어도 하나의 컨벌루션 연산을 적용하여 적어도 하나의 특징 맵을 생성하도록 하고, (ii) RPN(region proposal network)를 통해 상기 특징 맵 상의 하나 이상의 객체에 대응되는 하나 이상의 프로포잘 박스를 생성하도록 하며, (iii) 풀링 레이어를 통해 상기 특징 맵 상의 상기 프로포잘 박스에 대응하는 하나 이상의 영역에 적어도 하나의 풀링 연산을 적용하여 적어도 하나의 특징 벡터를 생성하도록 하고, (iv) FC(fully-connected) 레이어를 통해 상기 특징 벡터에 적어도 하나의 FC 연산을 적용하여 적어도 하나의 FC 출력값을 생성하도록 하며, (v) 상기 FC 레이어의 상기 FC 출력값에 클래시피케이션 연산 및 리그레션 연산을 적용하여 각각의 상기 객체에 대한 클래스 정보 및 리그레션 정보를 출력하도록 한 다음, 클래시피케이션 레이어 및 리그레션 레이어를 통해 상기 주행 중 상반신 이미지 상의 상기 운전자의 상기 얼굴 부분을 검출하도록 하되, 상기 객체 각각은 상기 프로포잘 박스 각각에 대응 하는 위치 조정 장치.
  18. 제17항에 있어서,
    상기 (II) 프로세스에서,
    상기 프로세서는, 상기 눈 검출기로 하여금, 상기 얼굴 부분을 적어도 하나의 MCT(Modified Census Transform) 이미지로 변환하도록 하고, 에이다부스트(Adaboost) 알고리즘을 사용하여 상기 MCT 이미지로부터 획득된 눈 검출용 특징 데이터로부터 상기 운전자의 상기 눈 부분을 검출하도록 하되, 국부 부분의 밝기의 평균과 상기 얼굴 부분의 밝기 간 차이가 상기 MCT 이미지로 인코딩되는 위치 조정 장치.
  19. 제11항에 있어서,
    상기 운전자석의 상기 위치는 상기 상반신 이미지를 획득하는 적어도 하나의 카메라와 상기 운전자석 사이의 거리인 위치 조정 장치.
  20. 제11항에 있어서,
    상기 (I) 프로세스에서,
    상기 프로세서는, 상기 운전자의 상기 바디 파트 길이를 참조하여 상기 차량의 운전대의 위치를 더 조정하는 프로세스를 수행하는 위치 조정 장치.
KR1020200007637A 2019-01-31 2020-01-20 운전자 상태에 따라 맞춤형의 캘리브레이션을 위해 운전자 보조 장치를 자동으로 조정하는 방법 및 장치 KR102349995B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799296P 2019-01-31 2019-01-31
US62/799,296 2019-01-31
US16/738,579 2020-01-09
US16/738,579 US10821897B2 (en) 2019-01-31 2020-01-09 Method and device for adjusting driver assistance apparatus automatically for personalization and calibration according to driver's status

Publications (2)

Publication Number Publication Date
KR20200095384A KR20200095384A (ko) 2020-08-10
KR102349995B1 true KR102349995B1 (ko) 2022-01-12

Family

ID=69326348

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200007637A KR102349995B1 (ko) 2019-01-31 2020-01-20 운전자 상태에 따라 맞춤형의 캘리브레이션을 위해 운전자 보조 장치를 자동으로 조정하는 방법 및 장치

Country Status (5)

Country Link
US (1) US10821897B2 (ko)
EP (1) EP3699814A1 (ko)
JP (1) JP6938055B2 (ko)
KR (1) KR102349995B1 (ko)
CN (1) CN111507171B (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11458915B2 (en) * 2019-07-15 2022-10-04 International Business Machines Corporation Vehicle setting adjustment
US11475589B2 (en) * 2020-04-03 2022-10-18 Fanuc Corporation 3D pose estimation by a 2D camera
US20220084238A1 (en) * 2020-09-11 2022-03-17 Fanuc Corporation Multiple transparent objects 3d detection
CN113044045B (zh) * 2021-03-09 2023-07-04 吉林大学 一种智能座舱内座椅自适应调整方法
CN113043922A (zh) * 2021-04-25 2021-06-29 武汉驰必得科技有限公司 基于用户特征识别和数据分析的电动汽车驾驶座椅智能调控方法、系统、设备和存储介质
DE102022106797B3 (de) 2022-03-23 2023-04-27 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur automatischen Einstellung zumindest eines Rückspiegels eines Kraftfahrzeugs
CN115891871B (zh) * 2022-11-16 2024-05-17 阿维塔科技(重庆)有限公司 车辆座舱的控制方法、装置及计算机可读存储介质
CN117315726B (zh) * 2023-11-30 2024-03-22 武汉未来幻影科技有限公司 一种驾驶员坐姿高低识别方法、装置以及处理设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160368509A1 (en) * 2015-06-17 2016-12-22 Ford Global Technologies, Llc Method for adjusting a position of a component of a vehicle
US20170147905A1 (en) * 2015-11-25 2017-05-25 Baidu Usa Llc Systems and methods for end-to-end object detection

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9290146B2 (en) 1992-05-05 2016-03-22 Intelligent Technologies International, Inc. Optical monitoring of vehicle interiors
JP4908704B2 (ja) * 2001-09-27 2012-04-04 株式会社東海理化電機製作所 車両室内監視装置
US8391554B2 (en) * 2008-10-01 2013-03-05 GM Global Technology Operations LLC Eye detection system using a single camera
KR20110060295A (ko) * 2009-11-30 2011-06-08 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
US8587703B2 (en) * 2009-12-01 2013-11-19 Aptina Imaging Corporation Systems and methods for image restoration
US20120053794A1 (en) * 2010-08-25 2012-03-01 Gm Global Technology Operations, Inc. Individualizable convenience system for drivers
US9296338B2 (en) * 2014-02-24 2016-03-29 Intel Corporation Vehicle mirror adjustment
US9707913B1 (en) * 2016-03-23 2017-07-18 Toyota Motor Enegineering & Manufacturing North America, Inc. System and method for determining optimal vehicle component settings
US10354362B2 (en) * 2016-09-08 2019-07-16 Carnegie Mellon University Methods and software for detecting objects in images using a multiscale fast region-based convolutional neural network
US10796452B2 (en) * 2017-12-03 2020-10-06 Facebook, Inc. Optimizations for structure mapping and up-sampling
JP6392478B1 (ja) * 2018-04-26 2018-09-19 株式会社 ディー・エヌ・エー 情報処理装置、情報処理プログラム、及び、情報処理方法
CN108657029B (zh) * 2018-05-17 2020-04-28 华南理工大学 一种基于肢体长度预测的汽车驾驶席座椅智能调节系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160368509A1 (en) * 2015-06-17 2016-12-22 Ford Global Technologies, Llc Method for adjusting a position of a component of a vehicle
US20170147905A1 (en) * 2015-11-25 2017-05-25 Baidu Usa Llc Systems and methods for end-to-end object detection

Also Published As

Publication number Publication date
EP3699814A1 (en) 2020-08-26
US20200247321A1 (en) 2020-08-06
US10821897B2 (en) 2020-11-03
JP6938055B2 (ja) 2021-09-22
KR20200095384A (ko) 2020-08-10
CN111507171B (zh) 2023-08-01
CN111507171A (zh) 2020-08-07
JP2020126638A (ja) 2020-08-20

Similar Documents

Publication Publication Date Title
KR102349995B1 (ko) 운전자 상태에 따라 맞춤형의 캘리브레이션을 위해 운전자 보조 장치를 자동으로 조정하는 방법 및 장치
KR102321011B1 (ko) V2v 연결을 통해 사람의 상태 인식을 활용해 검출된 운전자의 이상 상태를 경고하기 위한 방법 및 장치
KR102277531B1 (ko) 라이더, 레이더 및 카메라 센서의 데이터를 사용하는 강화 학습을 기초로 하여 자율 주행 시 최적화된 자원 할당을 위한 방법 및 장치
KR102224818B1 (ko) 자동차의 차선 변경에 대한 위험을 경보하는 방법 및 이를 이용한 경보 장치
US10137890B2 (en) Occluded obstacle classification for vehicles
KR102320979B1 (ko) 딥 뉴럴 네트워크를 기반으로 한 이미지 분석을 통해 사람의 상태 및 주행 환경을 식별하여 자율 주행을 보조하는 자율 주행 보조 안경
US20190092318A1 (en) Systems and methods for rear signal identification using machine learning
EP3690846A1 (en) Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route
CN111860227B (zh) 训练轨迹规划模型的方法、装置和计算机存储介质
JP6574611B2 (ja) 立体画像に基づいて距離情報を求めるためのセンサシステム
US20150036887A1 (en) Method of determining a ground plane on the basis of a depth image
WO2021226921A1 (en) Method and system of data processing for autonomous driving
KR102349953B1 (ko) 자동차의 블라인드 스팟 모니터링을 위한 학습 방법과 테스팅 방법, 및 이를 이용한 학습 장치와 테스팅 장치
WO2020160155A1 (en) Dynamic distance estimation output generation based on monocular video
US10635915B1 (en) Method and device for warning blind spot cooperatively based on V2V communication with fault tolerance and fluctuation robustness in extreme situation
KR102373492B1 (ko) 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 보정하는 방법 및 이를 이용한 장치
US10635917B1 (en) Method and device for detecting vehicle occupancy using passenger's keypoint detected through image analysis for humans' status recognition
WO2020237942A1 (zh) 一种行人3d位置的检测方法及装置、车载终端
CN112889071A (zh) 用于确定二维图像中深度信息的系统和方法
KR102337352B1 (ko) 스마트폰을 사용하는 보행자를 보호하기 위한 첨단 보행자 보조 시스템을 제공하는 방법 및 장치
EP3679545A1 (en) Image processing device, image processing method, and program
EP3690817B1 (en) Method for providing robust object distance estimation based on camera by performing pitch calibration of camera more precisely with fusion of information acquired through camera and information acquired through v2v communication and device using the same
US9076034B2 (en) Object localization using vertical symmetry
KR102349906B1 (ko) 자동차의 블라인드 스팟 모니터링을 위한 학습 방법과 테스팅 방법, 및 이를 이용한 학습 장치와 테스팅 장치
JP7454685B2 (ja) 車両走行路内のデブリの検出

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right