KR20230096530A - 주행 제어 장치 및 방법 - Google Patents

주행 제어 장치 및 방법 Download PDF

Info

Publication number
KR20230096530A
KR20230096530A KR1020210186105A KR20210186105A KR20230096530A KR 20230096530 A KR20230096530 A KR 20230096530A KR 1020210186105 A KR1020210186105 A KR 1020210186105A KR 20210186105 A KR20210186105 A KR 20210186105A KR 20230096530 A KR20230096530 A KR 20230096530A
Authority
KR
South Korea
Prior art keywords
image
vehicle
information
detected
driving control
Prior art date
Application number
KR1020210186105A
Other languages
English (en)
Inventor
전바롬
오도관
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210186105A priority Critical patent/KR20230096530A/ko
Priority to US17/888,056 priority patent/US20230206648A1/en
Publication of KR20230096530A publication Critical patent/KR20230096530A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G06T3/047—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/20—Data confidence level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Abstract

차량의 주행 제어를 위한 장치 및 방법에 관한 것이다. 일 실시 예에 따른 주행 제어 방법은 차량의 제1 위치에 설치된 제1 초광각 렌즈(ultra wide lens)로 촬영된 제1 영상을 획득하는 단계, 차량의 제2 위치에 설치된 제2 초광각 렌즈로 촬영된 제2 영상을 획득하는 단계, 제1 영상 및 제2 영상에 기초하여, 차량의 운전자 및 탑승자의 상태를 모니터링하는 단계, 제1 영상 및 제2 영상의 매칭에 기초하여, 사각 지대 영역에서 객체를 검출하는 단계 및 모니터링 결과 및 객체 검출 결과에 기초하여, 차량의 주행 제어를 위한 정보를 생성하는 단계를 포함할 수 있다.

Description

주행 제어 장치 및 방법{DRIVING CONTROL APPARATUS AND METHOD}
아래의 개시는 차량의 주행 제어를 위한 장치 및 방법에 관한 것이다.
자율 주행 기술에 대한 수요가 증가함에 따라, 운전을 지원하기 위한 기술의 개발이 활발히 이루어지고 있다. 예를 들어, 운전자 모니터링 시스템(driver monitoring system)은 카메라를 기반으로 한 시스템으로, 운전자의 졸음이나 주의 산만 징후를 감지하고, 운전자에게 경고 기능을 수행하는 것과 같은 주행을 위한 운전자 지원 기능을 위한 것이다. 운전자 외에도 탑승자 모니터링 시스템(occupant monitoring system)은 탑승자의 상태를 판별하고 식별된 탑승자에게 특정한 맞춤형 환경을 제공하기 위한 것이며, 예를 들어 정차한 차 내부에 어린이가 탑승하였는지 여부를 감지하여 운전자에게 알리는 기능을 수행할 수 있다.
아래 실시 예들을 통해, 별도의 사각 지대 감지를 위한 센서 없이, 운전자 및 탑승자를 모니터링하기 위한 센서를 통해, 운전자 및 탑승자를 모니터링함과 동시에 사각 지대를 탐지하기 위한 기술을 제공할 수 있다.
아래 실시 예들을 통해, 차량 내부에 설치된 복수의 센서에서 수집된 복수의 영상을 이용하여 객체 인식의 정확도를 향상시키기 위한 기술을 제공할 수 있다.
일 실시 예에 따른 주행 제어 방법은 차량의 제1 위치에 설치된 제1 초광각 렌즈(ultra wide lens)로 촬영된 제1 영상을 획득하는 단계; 상기 차량의 제2 위치에 설치된 제2 초광각 렌즈로 촬영된 제2 영상을 획득하는 단계; 상기 제1 영상 및 상기 제2 영상에 기초하여, 상기 차량의 운전자 및 탑승자의 상태를 모니터링하는 단계; 상기 제1 영상 및 상기 제2 영상의 매칭에 기초하여, 사각 지대 영역에서 객체를 검출하는 단계; 및 상기 모니터링의 결과 및 상기 객체의 검출 결과에 기초하여, 상기 차량의 주행 제어를 위한 정보를 생성하는 단계를 포함한다.
상기 사각 지대 영역에서 객체를 검출하는 단계는 상기 제1 영상에서 검출된 객체 및 상기 제2 영상에서 검출된 객체의 매칭 관계에 기초하여, 상기 제1 영상에서 검출되지 않은 객체의 정보를 상기 제2 영상에 기초하여 획득하는 단계를 포함할 수 있다.
상기 사각 지대 영역에서 객체를 검출하는 단계는 상기 제1 영상 및 상기 제2 영상을 매칭함으로써, 상기 제1 영상 및 상기 제2 영상 모두에서 검출된 상기 사각 지대 영역 내 객체를 식별하는 단계; 및 상기 제1 영상에서 검출된 상기 식별된 객체의 제1 인식 정보 및 상기 제2 영상에서 검출된 상기 식별된 객체의 제2 인식 정보에 기초하여, 상기 식별된 객체의 인식 정보를 획득하는 단계를 포함할 수 있다.
상기 식별된 객체의 인식 정보를 획득하는 단계는 상기 식별된 객체에 대응하는 상기 제1 영상의 신뢰도 및 상기 식별된 객체에 대응하는 상기 제2 영상의 신뢰도에 기초하여, 상기 제1 인식 정보 및 상기 제2 인식 정보를 가중 합함으로써, 상기 식별된 객체의 인식 정보를 획득하는 단계를 포함할 수 있다.
상기 사각 지대 영역에서 객체를 검출하는 단계는 상기 제1 영상 및 상기 제2 영상을 매칭함으로써, 상기 제1 영상 및 상기 제2 영상 모두에서 검출된 상기 사각 지대 영역 내 객체를 식별하는 단계; 및 상기 제1 영상에서 검출된 상기 식별된 객체의 제1 위치 정보 및 상기 제2 영상에서 검출된 상기 식별된 객체의 제2 위치 정보에 기초하여, 상기 식별된 객체의 위치 정보를 획득하는 단계를 포함할 수 있다.
상기 식별된 객체의 위치 정보를 획득하는 단계는 상기 식별된 객체에 대응하는 상기 제1 영상의 신뢰도 및 상기 식별된 객체에 대응하는 상기 제2 영상의 신뢰도에 기초하여, 상기 제1 위치 정보 및 상기 제2 위치 정보를 가중 합함으로써, 상기 식별된 객체의 위치 정보를 획득하는 단계를 포함할 수 있다.
상기 식별된 객체의 위치 정보를 획득하는 단계는 상기 제1 위치 및 상기 제2 위치의 차이에 기초하여, 상기 제1 위치 정보 및 상기 제2 위치 정보를 보정함으로써, 상기 식별된 객체의 위치 정보를 획득하는 단계를 포함할 수 있다.
상기 사각 지대 영역에서 객체를 검출하는 단계는 상기 사각 지대 영역에 포함된 객체의 인식 정보를 획득하는 단계; 및 상기 사각 지대 영역에 포함된 객체의 위치 정보를 획득하는 단계를 포함할 수 있다.
상기 차량의 운전자 및 탑승자의 상태를 모니터링하는 단계는 상기 제1 영상 및 상기 제2 영상에서 상기 차량의 내부 영역에 관한 정보에 기초하여, 상기 차량의 운전자 및 상기 차량의 탑승자를 검출하는 단계; 및 상기 검출된 운전자의 상태 및 상기 검출된 탑승자의 상태를 모니터링하는 단계를 포함할 수 있다.
상기 제1 위치에 설치된 제1 초광각 렌즈는 상기 차량의 앞좌석을 촬영하기 위한 DMS(driver monitoring system) 카메라를 포함할 수 있다.
상기 제2 위치에 설치된 제2 초광각 렌즈는 상기 차량의 뒷좌석을 촬영하기 위한 OMS(occupant monitoring system) 카메라를 포함할 수 있다.
일 실시 예에 따른 주행 제어 장치는 차량의 제1 위치에 설치된 제1 초광각 렌즈(ultra wide lens)로 촬영된 제1 영상을 획득하고, 상기 차량의 제2 위치에 설치된 제2 초광각 렌즈로 촬영된 제2 영상을 획득하고, 상기 제1 영상 및 상기 제2 영상에 기초하여, 상기 차량의 운전자 및 탑승자의 상태를 모니터링하고, 상기 제1 영상 및 상기 제2 영상의 매칭에 기초하여, 사각 지대 영역에서 객체를 검출하며, 상기 모니터링의 결과 및 상기 객체의 검출 결과에 기초하여, 상기 차량의 주행 제어를 위한 정보를 생성하는, 적어도 하나의 프로세서를 포함한다.
상기 프로세서는, 상기 사각 지대 영역에서 객체를 검출함에 있어서, 상기 제1 영상에서 검출된 객체 및 상기 제2 영상에서 검출된 객체의 매칭 관계에 기초하여, 상기 제1 영상에서 검출되지 않은 객체의 정보를 상기 제2 영상에 기초하여 획득할 수 있다.
상기 프로세서는, 상기 사각 지대 영역에서 객체를 검출함에 있어서, 상기 제1 영상 및 상기 제2 영상을 매칭함으로써, 상기 제1 영상 및 상기 제2 영상 모두에서 검출된 상기 사각 지대 영역 내 객체를 식별하고, 상기 제1 영상에서 검출된 상기 식별된 객체의 제1 인식 정보 및 상기 제2 영상에서 검출된 상기 식별된 객체의 제2 인식 정보에 기초하여, 상기 식별된 객체의 인식 정보를 획득할 수 있다.
상기 프로세서는, 상기 식별된 객체의 인식 정보를 획득함에 있어서, 상기 식별된 객체에 대응하는 상기 제1 영상의 신뢰도 및 상기 식별된 객체에 대응하는 상기 제2 영상의 신뢰도에 기초하여, 상기 제1 인식 정보 및 상기 제2 인식 정보를 가중 합함으로써, 상기 식별된 객체의 인식 정보를 획득할 수 있다.
상기 프로세서는, 상기 사각 지대 영역에서 객체를 검출함에 있어서, 상기 제1 영상 및 상기 제2 영상을 매칭함으로써, 상기 제1 영상 및 상기 제2 영상 모두에서 검출된 상기 사각 지대 영역 내 객체를 식별하고, 상기 제1 영상에서 검출된 상기 식별된 객체의 제1 위치 정보 및 상기 제2 영상에서 검출된 상기 식별된 객체의 제2 위치 정보에 기초하여, 상기 식별된 객체의 위치 정보를 획득할 수 있다.
상기 프로세서는, 상기 식별된 객체의 위치 정보를 획득함에 있어서, 상기 식별된 객체에 대응하는 상기 제1 영상의 신뢰도 및 상기 식별된 객체에 대응하는 상기 제2 영상의 신뢰도에 기초하여, 상기 제1 위치 정보 및 상기 제2 위치 정보를 가중 합함으로써, 상기 식별된 객체의 위치 정보를 획득할 수 있다.
상기 프로세서는, 상기 식별된 객체의 위치 정보를 획득함에 있어서, 상기 제1 위치 및 상기 제2 위치의 차이에 기초하여, 상기 제1 위치 정보 및 상기 제2 위치 정보를 보정함으로써, 상기 식별된 객체의 위치 정보를 획득할 수 있다.
상기 프로세서는, 상기 사각 지대 영역에서 객체를 검출함에 있어서, 상기 사각 지대 영역에 포함된 객체의 인식 정보를 획득하고, 상기 사각 지대 영역에 포함된 객체의 위치 정보를 획득할 수 있다.
상기 프로세서는, 상기 차량의 운전자 및 탑승자의 상태를 모니터링함에 있어서, 상기 제1 영상 및 상기 제2 영상에서 상기 차량의 내부 영역에 관한 정보에 기초하여, 상기 차량의 운전자 및 상기 차량의 탑승자를 검출하고, 상기 검출된 운전자의 상태 및 상기 검출된 탑승자의 상태를 모니터링할 수 있다.
도 1은 일 실시 예에 따른 주행 제어 방법의 동작 흐름도이다.
도 2는 일 실시 예에 따른 복수의 초광각 렌즈가 설치되는 차량 내부의 위치를 설명하기 위한 도면이다.
도 3은 일 실시 예에 따른 주행 환경에서 사각 지대 영역을 설명하기 위한 도면이다.
도 4는 일 실시 예에 따른 초광각 렌즈의 화각을 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 영상의 매칭을 설명하기 위한 도면이다.
도 6은 일 실시 예에 따른 차량의 주행 제어를 위한 장치의 구성의 예시도이다.
도 7은 일 실시 예에 따른 차량의 주행 제어를 위한 장치의 구체적인 구성의 예시도이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시 예에 따른 주행 제어 방법의 동작 흐름도이다.
도 1을 참조하면, 일 실시 예에 따른 주행 제어 방법은 차량의 제1 위치에 설치된 제1 초광각 렌즈(ultra wide lens)로 촬영된 제1 영상을 획득하는 단계(110), 차량의 제2 위치에 설치된 제2 초광각 렌즈로 촬영된 제2 영상을 획득하는 단계(120), 제1 영상 및 제2 영상에 기초하여, 차량의 운전자 및 탑승자의 상태를 모니터링하는 단계(130), 제1 영상 및 제2 영상의 매칭에 기초하여, 사각 지대 영역에서 객체를 검출하는 단계(140) 및 모니터링 결과 및 객체 검출 결과에 기초하여, 차량의 주행 제어를 위한 정보를 생성하는 단계(150)를 포함할 수 있다.
일 실시 예에 따른 주행 제어 방법은 차량의 주행 제어를 위한 장치의 적어도 하나의 프로세서에 의해 수행될 수 있다. 일 실시 예에 따른 주행 정보 제공을 위한 장치의 구체적인 구성은 이하에서 상술한다.
일 실시 예에 따르면, 단계(110) 및 단계(120)는 차량의 서로 다른 위치에 설치된 복수의 초광각 렌즈들을 통하여 복수의 영상들을 획득하는 단계를 포함할 수 있다.
광각 렌즈(wide-angle lens)는 사람의 눈과 가장 유사한 원근감을 가질 수 있는 초점 거리의 렌즈인 표준 렌즈에 비해 초점 거리가 작은 렌즈를 의미한다. 초광각 렌즈(ultra wide lens)는 광각 렌즈보다 초점 거리가 더 작은 렌즈로, 예를 들어 35mm 포맷(135필름)에서는 초점 거리가 24mm이하인 렌즈는 초광각 렌즈, 35mm 이하 25mm 이상인 렌즈는 광각 렌즈로 분류될 수 있고, APS-C 규격에서는 초점 거리가 16mm 이하인 렌즈는 초광각 렌즈, 23mm 이하 17mm 이상인 렌즈는 광각 렌즈로 분류될 수 있다. 다시 말해, 초광각 렌즈는 미리 정해진 기준에 의해 광각 렌즈와 구분되며, 광각 렌즈에 비해 초점 거리가 작아 더 넓은 화각(angle of view)을 갖는 렌즈에 해당할 수 있다.
차량 내부에 초광각 렌즈를 설치하는 경우, 화각이 넓은 초광각 렌즈를 통해 차량 내부 뿐 아니라, 차량 외부까지 촬영된 영상이 획득될 수 있다. 초광각 렌즈는 차량의 제1 위치 및 제2 위치를 포함하는 복수의 위치에 설치될 수 있다. 예를 들어, 차량의 제1 위치에 설치된 초광각 렌즈는 차량의 앞좌석을 촬영하기 위한 DMS(driver monitoring system) 카메라를 포함할 수 있고, 제2 위치에 설치된 초광각 렌즈는 차량의 뒷좌석을 촬영하기 위한 OMS(occupant monitoring system) 카메라를 포함할 수 있다. 복수의 초광각 렌즈를 구분하여 지칭하기 위하여 제1 위치에 설치된 초광각 렌즈는 제1 초광각 렌즈, 제2 위치에 설치된 초광각 렌즈는 제2 초광각 렌즈로 지칭하며, 제1 초광각 렌즈를 통하여 획득된 영상은 제1 영상, 제2 초광각 렌즈를 통하여 획득된 영상은 제2 영상으로 지칭한다.
예를 들어, 도 2를 참조하면, 차량의 앞좌석을 촬영하기 위한 차량 앞 열의 중앙(201) 및 차량의 뒷좌석을 촬영하기 위한 차량 뒤 열의 중앙(202)에 초광각 렌즈가 설치될 수 있다. 실시 예에 따라, 초광각 렌즈는 차량의 다양한 위치에 설치될 수 있으나, 이하에서 초광각 렌즈는 도 2에 도시된 바와 같이 차량 앞 열의 중앙(201) 및 뒤 열의 중앙(202)에 설치된 경우를 예로 들어 설명하며, 제1 위치는 차량 앞 열의 중앙(201), 제2 위치는 차량 뒤 열의 중앙(202)을 지칭하기로 한다.
일 실시 예에 따르면, 차량 내부의 제1 위치에 설치된 제1 초광각 렌즈를 통해 차량의 앞좌석과 차량 외부가 촬영된 제1 영상이 획득될 수 있으며, 차량 내부의 제2 위치에 설치된 제2 초광각 렌즈를 통해 차량의 뒷좌석과 차량 외부가 촬영된 제2 영상이 획득될 수 있다. 예를 들어, 도 2를 참조하면, 차량 앞 열에 설치된 제1 초광각 렌즈를 통해 화각(210)에 대응하는 차량의 운전자석 및 보조석을 포함하는 차량 앞 열의 내부와 차량의 좌우 측면 영상이 획득될 수 있다. 또한, 차량 뒤 열에 설치된 제2 초광각 렌즈를 통해 화각(220)에 대응하는 차량의 뒷좌석을 포함하는 차량 뒤 열의 내부와 차량의 좌우 측면 영상이 획득될 수 있다. 초광각 렌즈를 이용하는 경우, 표준 렌즈 혹은 광각 렌즈를 이용하는 경우보다 카메라의 화각이 넓어질 수 있으며, 표준 렌즈 혹은 광각 렌즈의 화각에 포함되지 않는 차량의 좌우 측면을 촬영한 영상이 획득될 수 있다.
일 실시 예에 따른 단계(130)는 제1 영상 및 제2 영상에서 운전자 및 차량의 탑승자를 검출하는 단계 및 검출된 운전자 및 탑승자의 상태를 모니터링하는 단계를 포함할 수 있다. 제1 영상 및 제2 영상에서 차량의 내부 영역에 관한 정보에 기초하여 차량의 운전자 및 탑승자가 검출될 수 있다. 차량의 내부 영역에 관한 정보는 제1 영상 및 제2 영상에서 차량의 외부와 구분되는 차량의 내부에 해당하는 영역에 관한 정보 및 차량의 좌석 위치에 관한 정보를 포함할 수 있다.
일 실시 예에 따르면, 제1 영상 및 제2 영상에서 차량 내부의 탑승자와 차량 외부에 위치한 사람은 다른 클래스로 구분되어 인식될 수 있다. 예를 들어, 제1 영상 및 제2 영상에서 차량 내부에 해당하는 영역과 차량 외부에 해당하는 영역은 구분되어 인식될 수 있으며, 차량 내부 영역에서 인식된 사람 객체는 운전자 혹은 탑승자로 인식될 수 있다. 한편, 차량 외부에 위치한 보행자나 다른 차량의 탑승자는 운전자 혹은 탑승자와 구분되는 다른 유형의 객체로 인식될 수 있다.
일 실시 예에 따르면, 영상에서 차량의 내부 영역과 외부 영역은 씬 세그멘테이션 및/또는 객체 검출 알고리즘에 의해 구분될 수도 있고, 차량의 너비와 길이를 포함하는 크기에 관한 정보 및 영상을 촬영한 초광각 렌즈의 초점 거리를 포함하는 촬영 환경에 관한 정보에 기초하여 계산을 통해 구분될 수도 있다.
일 실시 예에 따르면, 운전자석의 위치에 기초하여 차량 내부의 탑승자 중 운전자가 구분될 수 있다. 예를 들어, 한국에서 운행하는 차량은 앞 열의 좌측이 운전자석에 해당하므로, 제1 영상에서 앞 열 좌측 좌석에 해당하는 위치에서 검출된 사람이 운전자로 인식될 수 있다.
일 예로, 프로세서는 제1 영상 및/또는 제2 영상에 기초하여, 차량 앞 열에 위치한 운전자의 상태를 모니터링할 수 있으며, 제1 영상 및/또는 제2 영상에서 차량 내부에서 운전자 외 다른 탑승자가 검출된 경우, 다른 탑승자의 상태를 모니터링할 수 있다. 모니터링되는 운전자의 상태는 영상에서 인식되는 운전자의 주행에 관련된 상태로, 예를 들어, 운전자의 전방 주시 여부에 관한 상태 및 운전자의 운전대를 잡고 있는지 여부에 관한 상태를 포함할 수 있다. 보다 구체적으로, 프로세서는 제1 영상 및/또는 제2 영상에서 운전자석의 위치에 기초하여 운전자를 검출하고, 운전자의 시선을 추적함으로써 운전자의 전방 주시 여부를 판단할 수 있으며, 운전자의 손의 위치와 운전대의 위치에 기초하여 운전자가 운전대를 잡고 있는지 여부를 판단할 수 있다. 모니터링되는 탑승자의 상태는 영상에서 인식되는 탑승자에 관한 정보로, 예를 들어 보조석의 위치에 기초하여 보조석에 착석한 탑승자의 존재 여부, 혹은 뒷좌석의 위치에 기초하여 뒷좌석에 착석한 탑승자의 존재 여부의 상태를 포함할 수 있다.
일 실시 예에 따르면, 초광각 렌즈가 설치된 차량 내 위치에 기초하여 모니터링 대상이 결정될 수 있다. 예를 들어, 차량의 앞 열에 설치된 제1 초광각 렌즈에서 획득된 제1 영상에서 운전자 및 보조석에 탑승한 탑승자가 모니터링될 수 있으며, 차량의 뒤 열에 설치된 제2 초광각 렌즈에서 획득된 제2 영상에서 뒷좌석에 탑승한 탑승자가 모니터링될 수 있다.
일 실시 예에 따른 단계(140)는 차량의 내부 영역과 구분되는 사각 지대 영역에서 제1 영상 및 상기 제2 영상의 매칭에 기초하여 객체를 검출하는 단계를 포함할 수 있다.
사각 지대는 차량의 사이드 미러(side mirror) 및 인사이드 미러(inside mirror)의 시야각과 운전자의 전방 시야각에 포함되지 않는 차량 주변의 보이지 않는 영역에 해당한다. 예를 들어, 도 3을 참조하면, 운전자의 전방 시야각(301)과 사이드 미러(side mirror) 및 인사이드 미러(inside mirror)의 시야각(302)에 포함되지 않는 영역(310, 320)은 사각 지대 영역에 해당할 수 있다.
일 실시 예에 따르면, 차량에 설치된 초광각 렌즈를 통해 사각 지대의 적어도 일부의 영역을 포함하는 영상이 획득될 수 있다. 예를 들어, 도 4를 참조하면, 제1 위치(401)에 설치된 제1초광각 렌즈를 통해 획득된 제1 영상은 사각 지대의 일부 영역을 포함할 수 있으며, 제2 위치(402)에 설치된 초광각 렌즈를 통해 획득된 제2 영상은 사각 지대의 일부 영역을 포함할 수 있다. 제1 영상과 제2 영상은 서로 다른 위치에 설치된 초광각 렌즈로부터 획득된 영상이므로, 서로 다른 사각 지대의 영역을 포함할 수 있다.
일 실시 예에 따르면, 제1 영상 및 제2 영상에 기초하여 사각 지대에 위치한 객체가 검출될 수 있다. 예를 들어, 사각 지대에서 검출된 객체는 차량, 보행자, 자전거, 오토바이를 포함할 수 있다.
일 실시 예에 따르면, 사각 지대 영역에서 객체를 검출하는 단계(140)는 사각 지대 영역에 포함된 객체의 인식 정보를 획득하는 단계 및 사각 지대 영역에 포함된 객체의 위치 정보를 획득하는 단계를 포함할 수 있다. 일 예로, 제1 영상 및/또는 제2 영상에서 씬 세그멘테이션(scene segmentation), 객체 검출(object detection)과 같은 객체 인식 알고리즘을 통하여 사각 지대에 위치한 객체의 인식 정보 및 객체의 위치 정보를 획득할 수 있다. 객체의 인식 정보는 객체의 유형에 관한 클래스 종류를 포함할 수 있으며, 예를 들어 클래스 종류는 객체의 분류(classification)에 따른 차량, 보행자, 자전거, 오토바이를 포함할 수 있다. 객체의 위치 정보는 차량 혹은 영상을 촬영한 센서를 기준으로 한 객체의 위치를 지시하는 값으로, 객체의 깊이 정보를 포함하는 3차원의 위치 정보를 포함할 수 있다. 객체의 3차원의 위치는 영상에서 깊이 추정 알고리즘과 같은 위치 정보를 추정하기 위한 알고리즘에 기초하여 추정된 정보에 해당할 수 있다. 객체의 깊이 정보는 센서와 객체 사이의 거리에 해당하는 바, 객체의 깊이 정보에 기초하여 사각 지대 영역에 위치한 객체와 차량과의 거리가 판단될 수 있으므로, 사각 지대 영역에 위치한 객체의 깊이 정보는 주행 정보 생성에 이용될 수 있다.
일 실시 예에 따르면, 제1 초광각 렌즈에 의해 촬영되는 영역과 제2 초광각 렌즈에 의해 촬영되는 영역은 적어도 일부가 서로 겹칠 수 있으며, 사각 지대의 일부 영역은 제1 영상과 제2 영상 모두에 포함될 수 있다. 제1 영상과 제2 영상의 매칭을 통해 제1 영상에서 검출된 객체 정보와 제2 영상에서 검출된 객체 정보가 보정될 수 있다. 영상의 매칭은 복수의 영상에서 동일한 객체를 촬영한 영역들을 매칭시키는 것으로, 예를 들어 도 5를 참조하면, 동일한 객체(501)를 서로 다른 각도에서 촬영하여 획득된 두 영상(510, 520)에서 하나의 영상(510)의 각 픽셀(511)을 다른 영상(520)의 동일한 부분(502)을 촬영한 픽셀(521)에 매칭시키는 것을 의미할 수 있다. 일 실시 예에 따르면, 영상의 매칭은 공지된 다양한 매칭 알고리즘을 이용하여 수행될 수 있으며, 제1 초광각 렌즈 및 제2 초광각 렌즈가 차량의 미리 정해진 위치에 설치되는 특징을 이용하여, 제1 초광각 렌즈 및 제2 초광각 렌즈의 위치 관계에 기초하여 매칭을 수행하거나, 매칭 알고리즘에 따른 매칭 결과를 보정할 수도 있다.
일 실시 예에 따르면, 사각 지대 영역에서 객체를 검출하는 단계(140)는 제1 영상에서 검출된 객체 및 제2 영상에서 검출된 객체의 매칭 관계에 기초하여, 제1 영상에서 검출되지 않은 객체의 정보를 제2 영상에 기초하여 획득하는 단계를 포함할 수 있다. 일 실시 예에 따르면, 제1 영상 및 제2 영상의 매칭을 통해 동일한 부분을 촬영한 제1 영상의 픽셀 및 제2 영상의 픽셀의 매칭 관계가 획득될 수 있다. 제1 영상 및 제2 영상의 매칭 관계에 기초하여 사각 지대 영역의 객체 검출 결과가 보정될 수 있다. 일 예로, 사각 지대에 위치한 객체가 제1 영상에서는 다른 객체에 가려 검출되지 않았으나, 제2 영상에서 검출될 수 있다. 이 경우, 제1 영상에서 검출되지 않은 객체에 관한 정보는 제2 영상의 검출 결과를 이용하여 획득될 수 있다.
다시 말해, 제1 영상 및 제2 영상의 매칭에 기초하여 제1 영상의 객체 검출 결과 및 제2 영상의 객체 검출 결과를 상호 보완하여, 객체 검출의 정확도를 향상시킬 수 있다. 하나의 초광각 렌즈를 사용하여 사각 지대에 객체가 존재하는지 여부를 판단하는 경우 해당 초광각 렌즈의 오류 또는 다른 객체에 의한 가림과 같은 현상으로 객체 검출의 오류를 범할 수 있다. 복수의 초광각 렌즈를 이용하는 경우에는 하나의 초광각 렌즈가 사각지대에 존재하는 객체를 탐지하지 못하더라도 다른 초광각 렌즈가 정상적으로 사각지대에 존재하는 객체를 탐지할 수 있다. 다시 말해, 차량에 설치된 복수의 초광각 렌즈를 이용하여, 하나의 초광각 렌즈를 통해 획득된 영상에서 검출되지 않은 사각 지대의 객체를 다른 초광각 렌즈를 통해 획득된 영상으로부터 검출함으로써, 객체 검출의 정확도를 향상시킬 수 있다.
일 실시 예에 따르면, 프로세서는 제1 영상 및 제2 영상의 검출 결과를 합하여, 객체 검출의 정확도를 향상시킬 수 있다.
일 예로, 사각 지대 영역에서 객체를 검출하는 단계(140)는 제1 영상 및 제2 영상을 매칭함으로써, 제1 영상 및 상기 제2 영상 모두에서 검출된 사각 지대 영역 내 객체를 식별하는 단계 및 제1 영상에서 검출된 식별된 객체의 제1 인식 정보 및 제2 영상에서 검출된 식별된 객체의 제2 인식 정보에 기초하여, 식별된 객체의 인식 정보를 획득하는 단계를 포함할 수 있다. 객체의 인식 정보는 해당 객체가 각 클래스에 대응될 확률을 포함할 수 있으며, 확률이 가장 높은 클래스가 해당 객체의 인식 결과로 획득될 수 있다.
예를 들어, 제1 영상에서 '차량'에 해당하는 제1 객체가 포함된 영역의 화질이 좋지 않거나, 다른 객체에 가리거나, 각도 상 정확도가 떨어지는 위치에 해당하는 것과 같은 이유로 제1 객체에 대한 인식의 정확도가 떨어지는 경우, 제1 영상에서 검출된 제1 객체의 인식 정보는 제1 객체가 '차량'에 해당할 확률 0.45, '도로'에 해당할 확률이 0.55를 포함할 수 있다. 한편, 제2 영상에서 검출된 제1 객체의 인식 정보는 제1 객체가 '차량'에 해당할 확률 0.95, '도로'에 해당할 확률 0.05를 포함할 수 있다. 이 경우, 제1 영상에서 검출된 제1 객체의 인식 정보와 제2 영상에서 검출된 제1 객체의 인식 정보를 합함으로써, 제1 객체는 제1 영상의 검출 결과와 달리 '차량'으로 인식될 수 있다. 다시 말해, 제1 영상 및 제2 영상의 객체 인식 결과의 합에 기초하여, 객체에 관한 인식 정보의 정확도를 향상시킬 수 있다.
일 실시 예에 따르면, 식별된 객체의 인식 정보를 획득하는 단계는 식별된 객체에 대응하는 제1 영상의 신뢰도 및 식별된 객체에 대응하는 제2 영상의 신뢰도에 기초하여, 제1 인식 정보 및 제2 인식 정보를 가중 합함으로써, 식별된 객체의 인식 정보를 획득하는 단계를 포함할 수 있다. 신뢰도는 영상에 대하여 객체 인식 알고리즘을 수행한 결과 획득되는 정보로, 예를 들어 객체가 포함된 영역의 화질이 좋지 않거나, 다른 객체에 가리거나, 각도 상 정확도가 떨어지는 위치에 해당하는 것과 같은 객체에 대한 인식의 정확도가 떨어지는 요인이 있는 것으로 판단되는 경우, 낮은 값으로 결정될 수 있다. 식별된 객체에 대응하는 제1 영상의 신뢰도 및 식별된 객체에 대응하는 제2 영상의 신뢰도를 가중치로 하여, 제1 인식 정보 및 제2 인식 정보를 가중 합함으로써 신뢰도가 높은 영상의 인식 정보에 비중을 크게 둔 결과가 객체에 대한 인식 정보로 획득될 수 있다.
또 일 예로, 사각 지대 영역에서 객체를 검출하는 단계(140)는 제1 영상 및 상기 제2 영상을 매칭함으로써, 제1 영상 및 제2 영상 모두에서 검출된 사각 지대 영역 내 객체를 식별하는 단계 및 제1 영상에서 검출된 식별된 객체의 제1 위치 정보 및 제2 영상에서 검출된 식별된 객체의 제2 위치 정보에 기초하여, 식별된 객체의 위치 정보를 획득하는 단계를 포함할 수 있다.
상술한 바와 같이, 객체의 위치 정보는 객체의 깊이 정보를 포함하는 3차원의 위치를 포함할 수 있다. 3차원의 위치는 특정 점을 기준으로 하는 좌표계 상의 좌표 값으로 나타낼 수 있다. 식별된 객체의 인식 정보를 획득하는 동작과 마찬가지로, 제1 영상 및 제2 영상에서 검출된 객체에 대한 위치 정보를 합하여, 정확도가 향상된 객체의 위치 정보가 획득될 수 있다. 제1 영상 및 제2 영상에서 검출된 객체에 대한 위치 정보를 합하는 경우, 제1 영상에서 검출된 위치 정보와 제2 영상에서 검출된 위치 정보를 동일한 기준점에 대응하는 위치 정보로 변환하는 동작이 수반될 수 있다.
일 실시 예에 따른 식별된 객체의 위치 정보를 획득하는 단계는 식별된 객체에 대응하는 제1 영상의 신뢰도 및 식별된 객체에 대응하는 제2 영상의 신뢰도에 기초하여, 제1 위치 정보 및 제2 위치 정보를 가중 합함으로써, 식별된 객체의 위치 정보를 획득하는 단계를 포함할 수 있다. 일 실시 예에 따르면, 제1 영상 및 제2 영상에서 모두 검출된 객체의 위치 정보는 제1 영상에서 검출된 해당 객체의 위치 정보와 제2 영상에서 검출된 해당 객체의 위치 정보의 평균 값으로 결정될 수도 있다.
일 실시 예에 따르면, 식별된 객체의 위치 정보를 획득하는 단계는 제1 위치 및 제2 위치의 차이에 기초하여, 제1 위치 정보 및 제2 위치 정보를 보정함으로써, 식별된 객체의 위치 정보를 획득하는 단계를 포함할 수 있다. 미리 결정된 제1 영상을 촬영한 제1 초광각 렌즈가 설치된 제1 위치와 제2 영상을 촬영한 제2 초광각 렌즈가 설치된 제2 위치의 차이는 동일한 객체에 대한 제1 영상 및 제2 영상의 깊이 값의 차이에 대응될 수 있으므로, 이에 기초하여 제1 위치 정보 및 제2 위치 정보가 보정될 수 있다.
일 실시 예에 따른 단계(150)는 차량의 운전자 및 탑승자의 상태 모니터링 결과에 기초하여 차량의 주행 제어를 위한 정보를 생성하는 단계 및 사각 지대 영역에서의 객체 검출 결과에 기초하여 차량의 주행 제어를 위한 정보를 생성하는 단계를 포함할 수 있다. 차량의 주행 제어를 위한 정보는 차량의 운전자의 운전을 지원하기 위하여 생성되는 정보로, 예를 들어 운전자에게 특정 정보를 알리기 위한 신호 및 차량의 주행에 관한 장치를 제어하기 위한 신호를 포함할 수 있다.
일 예로, 프로세서는 제1 영상 및 제2 영상에서 운전자 및 탑승자의 상태를 파악하고 파악된 결과를 바탕으로 운전자에게 경고하기 위한 신호를 생성하거나, ADAS(Advanced Driver Assistance Systems) 기능과 연계하여 차량의 조향 및 제어를 위한 신호를 생성할 수 있다. 예를 들어, 운전자 상태 모니터링 결과 운전자가 전방을 주시하지 않고 있는 것으로 판단되는 경우, 운전자에게 전방 주시할 것을 경고하기 위한 시각적 및/또는 청각적 신호를 생성할 수 있다. 또 예를 들어, 탑승자 상태 모니터링 결과 탑승자의 존재 여부를 운전자에게 알리기 위한 신호를 생성할 수 있다. 일 실시 예에 따르면, 탑승자의 존재 여부를 운전자에게 알리기 위한 신호는 차량의 주행 상태에 기초하여 제공될 수도 있다. 예를 들어, 차량의 주행이 중단된 것으로 판단된 경우, 탑승자가 차량 내부에 존재하고 있는 것을 운전자에게 알리기 위한 신호를 생성하여 운전자가 아기를 차량 내부에 두고 내리는 것을 방지할 수 있다.
또 일 예로, 프로세서는 제1 영상 및 제2 영상에서 사각 지대 영역에 위치한 객체를 검출하고 검출 결과를 바탕으로 운전자에게 경고하기 위한 신호를 생성하거나, ADAS기능과 연계하여 차량의 조향 및 제어를 위한 신호를 생성할 수 있다. 예를 들어, 사각 지대 영역에 위치한 객체가 차량과 임계 값 이내의 위치에 있는 경우 운전자에게 객체의 존재 및 위치를 알리는 신호를 생성하거나, 차량이 해당 객체 방향으로 이동하지 않도록 차량을 제어하는 신호를 생성할 수 있다.
도 6은 일 실시 예에 따른 차량의 주행 제어를 위한 장치의 구성의 예시도이다.
도 6을 참조하면, 장치(600)는 프로세서(601), 메모리(603) 및 통신 모듈(605)를 포함한다. 일 실시 예에 따른 장치(600)는 도 1 내지 도 5를 통하여 전술한 주행 제어 방법을 수행하는 장치를 포함할 수 있다. 예를 들어, 장치(600)는 칩 형태로 구현되어 차량의 DMS 및/또는 OMS 모듈에 탑재될 수도 있고, 차량과 통신하여 차량의 주행 제어에 필요한 정보를 제공하는 모듈로 구현될 수도 있다.
일 실시 예에 따른 프로세서(601)는 도 1 내지 도 5를 통하여 전술한 주행 제어 방법에 포함된 적어도 하나의 동작을 수행하는 적어도 하나의 프로세서를 포함할 수 있다. 예를 들어, 프로세서(601)는 차량의 제1 위치에 설치된 제1 초광각 렌즈로 촬영된 제1 영상 및 제2 위치에 설치된 제2 초광각 렌즈로 촬영된 제2 영상을 획득하는 동작, 제1 영상 및 제2 영상에 기초하여, 차량의 운전자 및 탑승자의 상태를 모니터링하는 동작, 제1 영상 및 제2 영상의 매칭에 기초하여, 사각 지대 영역에서 객체를 검출하는 동작 및 모니터링 결과 및 객체 검출 결과에 기초하여, 차량의 주행 제어를 위한 정보를 생성하는 동작을 수행할 수 있다.
일 실시 예에 따른 메모리(603)는 휘발성 메모리 또는 비휘발성 메모리일 수 있으며, 도 1 내지 도 5를 통하여 전술한 주행 제어 방법에 관한 데이터를 저장할 수 있다. 일 예로, 메모리(603)는 주행 제어 방법의 수행 과정에서 발생한 데이터 혹은 주행 제어 방법을 수행하기 위하여 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리(603)는 복수의 초광각 렌즈를 포함하는 센서로부터 수신된 제1 영상 및 제2 영상을 저장할 수 있으며, 제1 영상 및 제2 영상에서 차량의 운전자 및 탑승자의 상태를 모니터링한 결과 및 사각 지대 영역 내 객체의 검출 결과를 저장할 수 있다. 또 예를 들어, 메모리(603)는 차량의 운전자 및 탑승자의 상태를 모니터링하기 위한 알고리즘 및 객체 검출 알고리즘을 수행하기 위한 코드를 저장할 수 있다.
일 실시 예에 따른 통신 모듈(605)은 네트워크를 통해 장치(600)가 다른 전자 기기 또는 다른 장치와 통신하기 위한 기능을 제공할 수 있다. 다시 말해, 장치(600)는 통신 모듈(605)를 통하여 외부 장치(예를 들어, 유저의 단말, 장치 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다. 예를 들어, 제1 초광각 렌즈를 포함하는 제1 센서 및 제2 초광각 렌즈를 포함하는 제2 센서가 외부 장치에 해당하는 경우, 장치(600)는 통신 모듈(605)을 통해 제1 센서 및 제2 센서와 데이터를 송수신할 수 있다. 또 예를 들어, 장치(600)는 통신 모듈(605)을 통해 주행 제어를 위하여 생성된 정보를 모니터, 스피커, 전용 표시 장치와 같은 정보 전달 장치에 전송할 수 있다.
일 실시 예에 따르면, 메모리(603)는 도 1 내지 도 5를 통하여 전술한 주행 제어 방법이 구현된 프로그램을 저장할 수 있다. 프로세서(601)는 메모리(603)에 저장된 프로그램을 실행하고, 장치(600)를 제어할 수 있다. 프로세서(601)에 의하여 실행되는 프로그램의 코드는 메모리(603)에 저장될 수 있다.
일 실시 예에 따른 장치(600)는 도시되지 않은 다른 구성 요소들을 더 포함할 수 있다. 예를 들어, 장치(600)는 통신 모듈(605)과의 인터페이스를 위한 수단으로 입력 장치 및 출력 장치를 포함하는 입출력 인터페이스를 더 포함할 수 있다. 또 예를 들어, 장치(600)는 제1 센서 및 제2 센서를 포함하는 입력 장치를 더 포함할 수 있으며, 생성된 정보를 제공하기 위한 모니터, 스피커와 같은 출력 장치를 더 포함할 수 있다. 이 외에도 트랜시버(transceiver), 각종 센서, 데이터베이스 등과 같은 다른 구성 요소들을 더 포함할 수도 있다.
도 7은 일 실시 예에 따른 차량의 주행 제어를 위한 장치의 구체적인 구성의 예시도이다.
도 7을 참조하면, 장치(700)는 영상 취득 모듈(710), 운전자 및 탑승자 모니터링 모듈(720), 사각 지대 탐지 모듈(730) 및 정보 생성 모듈(740)을 포함할 수 있다. 도 7에 도시된 장치(700)에 포함된 모듈들(710 내지 740)은 장치에서 수행되는 동작에 따라 구분된 논리적인 구조의 예시로, 장치(700)의 물리적인 구조를 한정하는 것은 아니다. 일 실시 예에 따른 주행 제어를 위한 장치(700)는 도 6을 통해 상술한 장치(600)에 대응될 수 있으며, 모듈들(710 내지 740)은 적어도 하나의 프로세서에 대응될 수 있다.
일 실시 예에 따른 영상 취득 모듈(710)은 도 1을 통하여 상술한 단계(110) 및 단계(120)의 동작을 수행할 수 있다. 영상 취득 모듈(710)은 DMS 카메라(701) 및 OMS 카메라(702)로부터 제1 영상 및 제2 영상을 수신할 수 있다. DMS 카메라(701) 및 OMS 카메라(702)는 각각 초광각 렌즈를 탑재한 센서에 해당할 수 있다. 일 예로, DMS 카메라(701)는 차량의 앞좌석을 촬영하기 위하여 앞 열의 중앙에 해당하는 제1 위치에 설치될 수 있으며, OMS 카메라(702)는 차량의 뒷좌석을 촬영하기 위하여 뒤 열의 중앙에 해당하는 제2 위치에 설치될 수 있다. 도 7은 DMS 카메라(701) 및 OMS 카메라(702)는 장치(700)의 외부 장치로 도시하고 있으나, 일 실시 예에 따른 장치(700)는 DMS 카메라(701) 및 OMS 카메라(702)를 포함할 수도 있다.
일 실시 예에 따른 운전자 및 탑승자 모니터링 모듈(720)은 도 1을 통하여 상술한 단계(130)의 동작을 수행할 수 있다. 예를 들어, 모듈(720)은 제1 영상 및 제2 영상에 기초하여, 운전자의 시선 인식, 운전자의 졸음 여부 인식, 운전자의 집중 여부 인식 및/또는 탑승자의 존재 여부 인식을 위한 동작을 수행할 수 있다.
일 실시 예에 따른 사각 지대 탐지 모듈(730)은 도 1을 통하여 상술한 단계(140)의 동작을 수행할 수 있다. 예를 들어, 모듈(730)은 사각 지대 영역에 위치한 차량, 보행자, 자전거 및 오토바이를 포함하는 객체를 검출 및 인식하는 동작을 수행할 수 있다.
일 실시 예에 따른 정보 생성 모듈(740)은 도 1을 통하셔 상술한 단계(150)의 동작을 수행할 수 있다. 예를 들어, 모듈(740)은 모듈(720)의 모니터링 결과에 기초하여 운전자에게 전방 주시를 경고하기 위한 신호 및/또는 탑승자 정보를 제공하기 위한 신호를 생성할 수 있으며, 모듈(730)의 객체 검출 결과에 기초하여 운전자에게 사각 지대에 위치한 객체에 관한 정보를 알리기 위한 신호 및/또는 사각 지대에 위치한 객체에 관한 정보에 기초하여 차량의 주행에 관한 장치를 제어하기 위한 신호를 생성할 수 있다.
일 실시 예에 따른 모듈(740)에서 생성된 신호는 정보 전달 장치(703)를 통해 출력될 수 있다. 정보 전달 장치(703)는 청각적 신호를 출력하기 위한 스피커, 시각적 신호를 출력하기 위한 모니터를 포함할 수 있으며, 따른 모듈(740)에서 생성된 신호를 출력하기 위한 전용 표시 장치를 포함할 수도 있다. 정보 전달 장치(703)의 적어도 일부는 차량에 포함될 수도 있고, 차량과 연동된 운전자의 단말에 포함될 수도 있다. 도 7은 정보 전달 장치(703)는 장치(700)의 외부 장치로 도시하고 있으나, 일 실시 예에 따른 장치(700)는 정보 전달 장치(703)의 적어도 일부를 포함할 수도 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 저장할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 차량의 제1 위치에 설치된 제1 초광각 렌즈(ultra wide lens)로 촬영된 제1 영상을 획득하는 단계;
    상기 차량의 제2 위치에 설치된 제2 초광각 렌즈로 촬영된 제2 영상을 획득하는 단계;
    상기 제1 영상 및 상기 제2 영상에 기초하여, 상기 차량의 운전자 및 탑승자의 상태를 모니터링하는 단계;
    상기 제1 영상 및 상기 제2 영상의 매칭에 기초하여, 사각 지대 영역에서 객체를 검출하는 단계; 및
    상기 모니터링의 결과 및 상기 객체의 검출 결과에 기초하여, 상기 차량의 주행 제어를 위한 정보를 생성하는 단계
    를 포함하는,
    주행 제어 방법.
  2. 제1항에 있어서,
    상기 사각 지대 영역에서 객체를 검출하는 단계는
    상기 제1 영상에서 검출된 객체 및 상기 제2 영상에서 검출된 객체의 매칭 관계에 기초하여, 상기 제1 영상에서 검출되지 않은 객체의 정보를 상기 제2 영상에 기초하여 획득하는 단계
    를 포함하는,
    주행 제어 방법.
  3. 제1항에 있어서,
    상기 사각 지대 영역에서 객체를 검출하는 단계는
    상기 제1 영상 및 상기 제2 영상을 매칭함으로써, 상기 제1 영상 및 상기 제2 영상 모두에서 검출된 상기 사각 지대 영역 내 객체를 식별하는 단계; 및
    상기 제1 영상에서 검출된 상기 식별된 객체의 제1 인식 정보 및 상기 제2 영상에서 검출된 상기 식별된 객체의 제2 인식 정보에 기초하여, 상기 식별된 객체의 인식 정보를 획득하는 단계
    를 포함하는,
    주행 제어 방법.
  4. 제3항에 있어서,
    상기 식별된 객체의 인식 정보를 획득하는 단계는
    상기 식별된 객체에 대응하는 상기 제1 영상의 신뢰도 및 상기 식별된 객체에 대응하는 상기 제2 영상의 신뢰도에 기초하여, 상기 제1 인식 정보 및 상기 제2 인식 정보를 가중 합함으로써, 상기 식별된 객체의 인식 정보를 획득하는 단계
    를 포함하는,
    주행 제어 방법.
  5. 제1항에 있어서,
    상기 사각 지대 영역에서 객체를 검출하는 단계는
    상기 제1 영상 및 상기 제2 영상을 매칭함으로써, 상기 제1 영상 및 상기 제2 영상 모두에서 검출된 상기 사각 지대 영역 내 객체를 식별하는 단계; 및
    상기 제1 영상에서 검출된 상기 식별된 객체의 제1 위치 정보 및 상기 제2 영상에서 검출된 상기 식별된 객체의 제2 위치 정보에 기초하여, 상기 식별된 객체의 위치 정보를 획득하는 단계
    를 포함하는,
    주행 제어 방법.
  6. 제5항에 있어서,
    상기 식별된 객체의 위치 정보를 획득하는 단계는
    상기 식별된 객체에 대응하는 상기 제1 영상의 신뢰도 및 상기 식별된 객체에 대응하는 상기 제2 영상의 신뢰도에 기초하여, 상기 제1 위치 정보 및 상기 제2 위치 정보를 가중 합함으로써, 상기 식별된 객체의 위치 정보를 획득하는 단계
    를 포함하는,
    주행 제어 방법.
  7. 제5항에 있어서,
    상기 식별된 객체의 위치 정보를 획득하는 단계는
    상기 제1 위치 및 상기 제2 위치의 차이에 기초하여, 상기 제1 위치 정보 및 상기 제2 위치 정보를 보정함으로써, 상기 식별된 객체의 위치 정보를 획득하는 단계
    를 포함하는,
    주행 제어 방법.
  8. 제1항에 있어서,
    상기 사각 지대 영역에서 객체를 검출하는 단계는
    상기 사각 지대 영역에 포함된 객체의 인식 정보를 획득하는 단계; 및
    상기 사각 지대 영역에 포함된 객체의 위치 정보를 획득하는 단계
    를 포함하는,
    주행 제어 방법.
  9. 제1항에 있어서,
    상기 차량의 운전자 및 탑승자의 상태를 모니터링하는 단계는
    상기 제1 영상 및 상기 제2 영상에서 상기 차량의 내부 영역에 관한 정보에 기초하여, 상기 차량의 운전자 및 상기 차량의 탑승자를 검출하는 단계; 및
    상기 검출된 운전자의 상태 및 상기 검출된 탑승자의 상태를 모니터링하는 단계
    를 포함하는,
    주행 제어 방법.
  10. 제1항에 있어서,
    상기 제1 위치에 설치된 제1 초광각 렌즈는 상기 차량의 앞좌석을 촬영하기 위한 DMS(driver monitoring system) 카메라를 포함하고,
    상기 제2 위치에 설치된 제2 초광각 렌즈는 상기 차량의 뒷좌석을 촬영하기 위한 OMS(occupant monitoring system) 카메라를 포함하는,
    주행 제어 방법.
  11. 하드웨어와 결합되어 제1항 내지 제10항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  12. 차량의 제1 위치에 설치된 제1 초광각 렌즈(ultra wide lens)로 촬영된 제1 영상을 획득하고,
    상기 차량의 제2 위치에 설치된 제2 초광각 렌즈로 촬영된 제2 영상을 획득하고,
    상기 제1 영상 및 상기 제2 영상에 기초하여, 상기 차량의 운전자 및 탑승자의 상태를 모니터링하고,
    상기 제1 영상 및 상기 제2 영상의 매칭에 기초하여, 사각 지대 영역에서 객체를 검출하며,
    상기 모니터링의 결과 및 상기 객체의 검출 결과에 기초하여, 상기 차량의 주행 제어를 위한 정보를 생성하는,
    적어도 하나의 프로세서
    를 포함하는,
    주행 제어 장치.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 사각 지대 영역에서 객체를 검출함에 있어서,
    상기 제1 영상에서 검출된 객체 및 상기 제2 영상에서 검출된 객체의 매칭 관계에 기초하여, 상기 제1 영상에서 검출되지 않은 객체의 정보를 상기 제2 영상에 기초하여 획득하는,
    주행 제어 장치.
  14. 제12항에 있어서,
    상기 프로세서는,
    상기 사각 지대 영역에서 객체를 검출함에 있어서,
    상기 제1 영상 및 상기 제2 영상을 매칭함으로써, 상기 제1 영상 및 상기 제2 영상 모두에서 검출된 상기 사각 지대 영역 내 객체를 식별하고,
    상기 제1 영상에서 검출된 상기 식별된 객체의 제1 인식 정보 및 상기 제2 영상에서 검출된 상기 식별된 객체의 제2 인식 정보에 기초하여, 상기 식별된 객체의 인식 정보를 획득하는,
    주행 제어 장치.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 식별된 객체의 인식 정보를 획득함에 있어서,
    상기 식별된 객체에 대응하는 상기 제1 영상의 신뢰도 및 상기 식별된 객체에 대응하는 상기 제2 영상의 신뢰도에 기초하여, 상기 제1 인식 정보 및 상기 제2 인식 정보를 가중 합함으로써, 상기 식별된 객체의 인식 정보를 획득하는,
    주행 제어 장치.
  16. 제12항에 있어서,
    상기 프로세서는,
    상기 사각 지대 영역에서 객체를 검출함에 있어서,
    상기 제1 영상 및 상기 제2 영상을 매칭함으로써, 상기 제1 영상 및 상기 제2 영상 모두에서 검출된 상기 사각 지대 영역 내 객체를 식별하고,
    상기 제1 영상에서 검출된 상기 식별된 객체의 제1 위치 정보 및 상기 제2 영상에서 검출된 상기 식별된 객체의 제2 위치 정보에 기초하여, 상기 식별된 객체의 위치 정보를 획득하는,
    주행 제어 장치.
  17. 제16항에 있어서,
    상기 프로세서는,
    상기 식별된 객체의 위치 정보를 획득함에 있어서,
    상기 식별된 객체에 대응하는 상기 제1 영상의 신뢰도 및 상기 식별된 객체에 대응하는 상기 제2 영상의 신뢰도에 기초하여, 상기 제1 위치 정보 및 상기 제2 위치 정보를 가중 합함으로써, 상기 식별된 객체의 위치 정보를 획득하는,
    주행 제어 장치.
  18. 제16항에 있어서,
    상기 프로세서는,
    상기 식별된 객체의 위치 정보를 획득함에 있어서,
    상기 제1 위치 및 상기 제2 위치의 차이에 기초하여, 상기 제1 위치 정보 및 상기 제2 위치 정보를 보정함으로써, 상기 식별된 객체의 위치 정보를 획득하는,
    주행 제어 장치.
  19. 제12항에 있어서,
    상기 프로세서는,
    상기 사각 지대 영역에서 객체를 검출함에 있어서,
    상기 사각 지대 영역에 포함된 객체의 인식 정보를 획득하고,
    상기 사각 지대 영역에 포함된 객체의 위치 정보를 획득하는,
    주행 제어 장치.
  20. 제12항에 있어서,
    상기 프로세서는,
    상기 차량의 운전자 및 탑승자의 상태를 모니터링함에 있어서,
    상기 제1 영상 및 상기 제2 영상에서 상기 차량의 내부 영역에 관한 정보에 기초하여, 상기 차량의 운전자 및 상기 차량의 탑승자를 검출하고,
    상기 검출된 운전자의 상태 및 상기 검출된 탑승자의 상태를 모니터링하는,
    주행 제어 장치.

KR1020210186105A 2021-12-23 2021-12-23 주행 제어 장치 및 방법 KR20230096530A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210186105A KR20230096530A (ko) 2021-12-23 2021-12-23 주행 제어 장치 및 방법
US17/888,056 US20230206648A1 (en) 2021-12-23 2022-08-15 Apparatus and method with driving control

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210186105A KR20230096530A (ko) 2021-12-23 2021-12-23 주행 제어 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230096530A true KR20230096530A (ko) 2023-06-30

Family

ID=86896848

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210186105A KR20230096530A (ko) 2021-12-23 2021-12-23 주행 제어 장치 및 방법

Country Status (2)

Country Link
US (1) US20230206648A1 (ko)
KR (1) KR20230096530A (ko)

Also Published As

Publication number Publication date
US20230206648A1 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
JP6266238B2 (ja) 接近物検出システム、及び車両
US11034294B2 (en) Driving notification method and driving notification system
CN104573623B (zh) 人脸检测装置、方法
US9592764B2 (en) Redundant object detection for driver assistance systems
US9025819B2 (en) Apparatus and method for tracking the position of a peripheral vehicle
US20220180483A1 (en) Image processing device, image processing method, and program
US11126875B2 (en) Method and device of multi-focal sensing of an obstacle and non-volatile computer-readable storage medium
JP2018022234A (ja) 画像処理装置、外界認識装置
US20130162826A1 (en) Method of detecting an obstacle and driver assist system
US10776649B2 (en) Method and apparatus for monitoring region around vehicle
WO2019068699A1 (en) METHOD FOR CLASSIFYING AN OBJECT POINT AS STATIC OR DYNAMIC, DRIVER ASSISTANCE SYSTEM, AND MOTOR VEHICLE
US11827148B2 (en) Display control device, display control method, moving body, and storage medium
KR20230096530A (ko) 주행 제어 장치 및 방법
KR20210023859A (ko) 화상 처리 장치, 이동 장치 및 방법, 그리고 프로그램
CN110199318B (zh) 驾驶员状态推定装置以及驾驶员状态推定方法
KR101875517B1 (ko) 영상 처리 방법 및 장치
KR20190046551A (ko) 차량 주행제어 장치 및 방법
US10824884B2 (en) Device for providing improved obstacle identification
US20200111227A1 (en) Orientation detection apparatus for vehicle, image processing system, vehicle, and orientation detection method for vehicle
JP7051014B2 (ja) 顔検出処理装置および顔検出処理方法
JP7322651B2 (ja) 障害物認識装置
WO2023112127A1 (ja) 画像認識装置、および、画像認識方法
JP2024029977A (ja) 表示制御装置
US11983896B2 (en) Line-of-sight detection apparatus and line-of-sight detection method
JP2024020838A (ja) 表示制御装置