KR20130015739A - 운전자 상태 기반의 자율 이동 방법 및 그 장치 - Google Patents

운전자 상태 기반의 자율 이동 방법 및 그 장치 Download PDF

Info

Publication number
KR20130015739A
KR20130015739A KR1020110077914A KR20110077914A KR20130015739A KR 20130015739 A KR20130015739 A KR 20130015739A KR 1020110077914 A KR1020110077914 A KR 1020110077914A KR 20110077914 A KR20110077914 A KR 20110077914A KR 20130015739 A KR20130015739 A KR 20130015739A
Authority
KR
South Korea
Prior art keywords
driver
state
monitoring
assistance system
mobile device
Prior art date
Application number
KR1020110077914A
Other languages
English (en)
Inventor
김종헌
박영경
이중재
김현수
박준오
안드레아스 박
디르 산드라 셰이커
이제훈
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020110077914A priority Critical patent/KR20130015739A/ko
Publication of KR20130015739A publication Critical patent/KR20130015739A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0836—Inactivity or incapacity of driver due to alcohol
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/14—Cruise control

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 명세서는 자율 이동 방법에 관한 것으로, 보다 상세하게는 운전자 상태 모니터링에 기반의 자율 이동 방법 및 이를 이용하는 장치에 관한 것이다. 상기 방법은 지능형 운전자 주행 안전 보조 시스템(ADAS; Advanced Driver Assistance System)을 수행하는 단계, 센서를 통해서 운전자의 상태를 모니터링 하는 단계, 상기 지능형 운전자 주행 안전 보조 시스템의 수행을 취소할 경우, 상기 센서를 통해서 모니터링된 운전자의 상태를 기반으로 상기 안전 보조 시스템의 수행 취소를 상기 운전자에게 전달할 방법을 결정하는 단계 및 상기 결정된 안전 보조 시스템의 수행 취소 전달 방법을 상기 운전자에게 전달하는 단계를 포함하는 것을 특징으로 할 수 있다.

Description

운전자 상태 기반의 자율 이동 방법 및 그 장치{METHOD FOR AUTONOMOUS MOVEMENT BASED ON DRIVER STATE AND APPARATUS THREOF}
본 명세서는 자율 이동 방법에 관한 것으로, 보다 상세하게는 운전자 상태 기반의 자율 이동 방법 및 이를 이용하는 장치에 관한 것이다.
자동차 산업에서 최근 안정성을 향상시키기 위한 추세는 여러 대의 주변 카메라 센서와 지능형 이미지 프로세싱 기술을 통합시킴으로써 차선 이탈 경고, 충돌 회피, 사각지대 모니터링, 향상된 후방감시 카메라 그리고 물체 탐지 기능을 갖는 서라운 뷰 기능과 같은 지능형 운전자 주행 안전 보조 시스템(ADAS; Advance Driver Assistance System)을 가능하게 하는 것이다.
그런데 이러한 지능형 운전자 주행 안전 보조 시스템은 운전자의 상태와 상관없이 운전자 주행 안전 보조 시스템의 제어를 취소 상황이 발생하면 경보 혹은 표시등의 점등, 점멸 등으로 시스템의 상태를 표시하였다. 이러한 형태의 경고는 운전자를 보조하지만 운전자가 여전히 운전에 집중하고 하는 자동 차간 거리 유지 장치 또는 적응형 차량 순항 제어 시스템(ACC; Adaptive Cruise Control) 및 LKS(Lane Keeping System)에서는 가능하지만, 자율 주행과 같이 차량의 주행 통제권이 운전자에서 차량으로 이전된 시스템의 경우, 운전자의 상태에 따라 시스템 상태에 대한 정보의 전달 방법을 달리하는 것이 필요하다.
따라서, 본 명세서의 목적은 적응형 차량 순항 제어 시스템(ACC; Adaptive Cruise Control), 차선 유지 시스템(LKS; Lane Keeping System) 그리고 자율 주행(Autonomous driving) 등과 같은 지능형 운전자 주행 안전 보조 시스템(ADAS; Advance Driver Assistance System)을 운용하는데 있어 차량의 내부 또는 외부 요인으로 인해 운전자 보조 시스템의 수행(또는 제어)를 취소할 때 운전자의 대응 정도를 최대화 하면서 조정할 수 있는 장치 및 그 방법을 제공하는데 있다.
본 명세서에 개시된 일 실시예에 따른 운전자 상태 기반의 자율 이동 방법은
지능형 운전자 주행 안전 보조 시스템(ADAS; Advanced Driver Assistance System)을 수행하는 단계, 센서를 통해서 운전자의 상태를 모니터링 하는 단계, 상기 지능형 운전자 주행 안전 보조 시스템의 수행을 취소할 경우, 상기 센서를 통해서 모니터링된 운전자의 상태를 기반으로 상기 안전 보조 시스템의 수행 취소를 상기 운전자에게 전달할 방법을 결정하는 단계 및 상기 결정된 안전 보조 시스템의 수행 취소 전달 방법을 상기 운전자에게 전달하는 단계를 포함할 수 있다.
상기 운전자의 상태를 모니터링 하는 단계에서는 카메라, 체온계, 심장 박동 측정기, 혈중 알코올 농도 측정기, 혈당 측정기 또는 그 어떠한 조합의 센서를 이용해서 운전자의 상태를 모니터링 하는 것을 특징으로 할 수 있다. 상기 운전자의 상태를 모니터링 하는 단계에서는 카메라가 소정의 시간 간격으로 운전자의 상태를 모니터링 하는 것을 특징으로 할 수 있다.
상기 운전자의 상태를 모니터링 하는 단계에서는 카메라를 통해서 운전자의 졸음, 음주, 기타 부주의 상태 또는 그 어떠한 조합의 상태를 모니터링 하는 것을 특징으로 할 수 있다. 상기 운전자의 상태를 모니터링 하는 단계에서는 카메라를 통한 영상인식을 통해서 운전자의 얼굴의 상태, 눈의 상태를 또는 그 어떠한 조합의 상태를 인식하는 것을 특징으로 할 수 있다.
상기 안전 보조 시스템의 수행 취소를 상기 운전자에게 전달하는 방법을 결정하는 단계에서는 표시 장치 내에 경고 메시지 표시, 소리에 의한 경고, 조명의 색깔 및 깜박임에 의한 경고, 운전석 및 기타 동승 자석 진동 및 햅틱 경고, 안전 밸트 장력을 통한 경보 또는 그 어떠한 조합을 이용해서 상기 운전자에게 전달할지를 결정하는 것을 특징으로 할 수 있다.
상기 결정된 안전 보조 시스템의 수행 취소 전달 방법을 상기 운전자에게 전달하는 단계에서는 상기 운전자가 경보 및 기타 경고에 반응하지 않을 때 자동으로 주행 가능한 안전 지역까지 주행하는 오류 허용 제어(fault tolerant control)를 포함하는 것을 특징으로 할 수 있다.
상기한 바와 같이 본 명세서에 개시된 일 실시예에 따른 운전자 상태 기반의 자율 이동 방법 및 이를 이용하는 장치에 따르면 자율 이동 장치가 센서를 이용해서 운전자의 상태를 모니터링하고, 모니터링된 운전자의 상태에 따라서 시스템 상태에 대한 정보의 전달 방법을 결정함으로써 적응적으로 운전자의 대응 정도를 조정 할 수 있는 효과가 있다.
도 1은 본 명세서에 개시된 일 실시예에 따른 자율 이동 장치를 나타낸 도면이다.
도 2는 본 명세서에 개시된 일 실시예에 따른 운전자 상태 기반의 자율 이동 방법을 나타내는 순서도이다.
도 3은 본 명세서에 개시된 일 실시예에 따른 영상인식을 통한 운전자의 얼굴상태 기반 자율이동 방법을 나타낸 예시도 이다.
도 4는 본 명세서에 개시된 일 실시예에 따른 영상인식을 통한 운전자의 눈 상태 기반 자율이동 방법을 나타낸 예시도 이다.
본 명세서에 개시된 실시 예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 파일 데이터, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수 있다.
컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기의 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 예도 마찬가지다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 명세서에 개시된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 기술적인 용어가 본 명세서에 개시된 기술의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 기술의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 그 기술의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
　　　이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예들을 상세히 설명하도록 한다.
　　　도 1은 본 명세서에 개시된 일 실시예에 따른 자율 이동 장치를 나타낸 도면이다.
도 1을 참조하면, 자율 이동 장치(100)는 3D 센서부(110), 센서부(120), GPS 송수신부(130), 제어부(140) 및 출력부(150)를 포함하여 구성될 수 있다.
3D 센서부(110)는 회전체 반사경과 집광 렌즈 및 촬상 소자를 이용하여 전방위, 후방위 및/또는 측방위를 한번에 촬영하는 카메라 시스템으로서, 보안 시설과 감시 카메라, 로봇 비전 등에 응용된다. 회전체 반사경의 형상으로는 쌍곡면이나 구면, 원추형, 복합형 등 다양하다.
또한, 촬상 소자로는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor)가 사용된다. 이 촬상 소자의 촬상면에 투영되는 화상(즉 전방위 영상)은 회전체 반사경에 반사된 것이어서 인간이 그대로 관찰하기에는 적합하지 않은 일그러진 화상이다. 따라서 3D 센서부(110)는 화상의 정확한 관찰을 위해 촬상 소자의 출력을 마이크로프로세서 등을 통해 그 좌표를 변환하여 새로운 파노라마 영상을 만들어낸다.
본 명세서의 실시 예에 따르면, 3D 센서부(110)는 전방위를 3차원적으로 촬영하여 3차원 거리 데이터를 획득하기 위해 스테레오 카메라(stereo camera), 깊이 카메라(depth camera), 이동식 스테레오 카메라(moving stereo camera) 및 라이다(Light Detection and Ranging; LIDAR) 장비 중 하나 이상을 포함하여 구성될 수 있다.
스테레오 카메라는 복수의 카메라로 구성되는 영상 장치이다. 3D 센서부(110)를 통해 얻은 전방위 영상은 3D 센서부(110) 주변에 대한 2차원적인 정보를 제공한다. 만약 복수의 카메라를 통해 서로 다른 방향에서 촬영한 복수의 영상을 이용하면 3D 센서부(110) 주변에 대한 3차원적인 정보를 얻을 수 있다. 이와 같은 스테레오 카메라를 자율 이동 장치 또는 이동 로봇의 위치 인식 및 지도 생성에 이용하기도 한다.
깊이 카메라는 장애물을 촬영 또는 측정하여 영상과 거리 데이터를 추출하는 카메라이다. 즉, 깊이 카메라는 일반적인 카메라와 같이 장애물을 촬상하여 영상 또는 이미지 데이터를 만들고, 각 영상의 픽셀에 해당하는 실제 위치에서 카메라로부터의 거리를 측정하여 거리 데이터를 만든다.
예를 들면, 깊이 카메라로서 3D-TOF 카메라(Camera) 등이 이용될 수 있다. 3D-TOF 카메라는 이름에서 알 수 있듯이 Time of flight 이론에 의해 깊이를 측정하는 카메라이다. 즉, 상기 카메라는 적외선 LED를 이용하여 매우 짧은 펄스(약 20MHz)로 발광시키고, 되돌아오는 위상 시간차를 계산해서 깊이 값을 찾아내는 방식이다. 마치 레이더와 같은 개념이 적용된 카메라이다.
깊이 카메라는 사물을 촬영할 때 거리 데이터를 필터링하여 특정 거리 내에 있는 장애물만을 골라낼 수 있다. 즉, 깊이 카메라의 거리 데이터를 이용하여, 근거리 위치(near field)와 원거리 위치(far field)의 장애물은 제외하고, 목표로 하는 특정거리 위치(depth field)에 위치하는 물체들만 골라(segmentation)낼 수 있다.
이동식 스테레오 카메라는 스테레오 카메라의 위치가 장애물의 거리에 따라 능동적으로 변하여 관측 장애물에 대한 주시각을 고정시키는 카메라를 말한다. 스테레오 카메라는 일반적으로 두 대의 카메라를 평행하게 배치하고 영상을 획득하며, 획득 영상의 스테레오 시차에 따라 장애물까지의 거리를 계산할 수 있다. 이러한 스테레오 카메라는 광축이 항상 평행하게 배치되어 고정된 형태의 수동적인 카메라이다.
반면, 이동식 스테레오 카메라는 광축의 기하학적 위치를 능동적으로 변화시켜 주시각을 고정시킨다. 이렇게 스테레오 카메라의 주시 각도를 장애물의 거리에 따라 제어하는 것을 주시각 제어라 한다. 주시각 제어 스테레오 카메라는 움직이는 장애물에 대한 스테레오 시차를 항상 일정하게 유지하여 입체 영상 관측자에게 보다 자연스러운 입체 영상을 제공하며 장애물에 대한 거리 측정이나 스테레오 영상 처리에 있어서 유용한 정보를 제공한다.
라이다(LIDAR) 장비는 자율 이동 장치(100)의 전면에 위치한 장애물의 존재와 거리를 감지하기 위해 구비된다. 라이다 장비는 레이더(Radar)와 동일한 원리를 이용해 사물에 직접적인 접촉 없이 원하는 정보를 취득하는 능동형 원격 탐사(Remote Sensing)의 한 종류다. 라이다 장비는 정보를 취득하고자 하는 목표물에 레이저(Laser)를 쏘아 목표물로부터 반사되어 돌아오는 전자파의 시차와 에너지 변화를 감지해 원하는 거리 정보를 취득한다.
라이다 장비는 측정하고자 하는 목적이나 대상물에 따라 DIAL(DIfferentail Absorption LIDAR), 도플러 라이다(Doppler LIDAR), 거리 측정 라이다(Range finder LIDAR)의 세 종류로 나뉜다. DIAL은 측정하고자 하는 물체에 대한 흡수 정도가 서로 다른 두 개의 레이저를 이용해 대기중의 수증기, 오존, 공해 물질 등의 농도 측정에 활용되고, 도플러 라이다(Doppler LIDAR)는 도플러 원리를 이용해 물체의 이동 속도 측정에 이용된다.
그러나 일반적으로 라이다라고 하면 거리 측정 라이다(Range finder LIDAR)를 지칭하며 이것은 위성 측위 시스템(Global Positioning System; 이하 GPS)과 관성 항법 유도 장치(Inertial Navigation System; 이하 INS), 레이저 스캐너(LASER SCANNER) 시스템을 이용하여 대상물과의 거리 정보를 조합함으로써 3차원 지형 정보를 취득한다.
자율 이동 장치(100)에 라이다 시스템을 활용하는 경우, GPS, INS, 3차원 레이저 측량 기술, 사진 측량 기술로 구현된 다양한 센서들을 통합하여 자율 이동 장치(100)에 탑재하고, 자율 이동 장치(100)의 운행과 함께 주행 경로에 있는 지형 지물의 위치 측정과 시각 정보를 취득할 수 있도록 구현한다.
본 명세서의 실시 예에 따르면, 라이다 장비는 자율 이동 장치(100)의 이동 경로 전면에 위치한 장애물의 존재와 장애물까지의 거리 및 장애물의 이동을 감지하여 3차원 거리 데이터를 획득하고, 획득된 데이터를 제어부(140)로 전송하여 장애물이 없는 공간으로 자율 이동 장치(100)가 이동할 수 있도록 한다.
또한, 본 명세서의 실시 예에 따르면, 3D 센서부(110)는 상기에 열거한 장비들을 통해 영상 기반 위치 추정 정보(visual odometry)를 획득한다. 위치 추정 정보는 3차원 거리 데이터 획득을 통해 알려진 주변 장애물을 근거로 자율 이동 장치(100)의 현재 위치를 추정하여 획득하는 정보를 말한다. 자율 이동 장치(100)는 위치 추정 정보를 주행 정보로 이용하여, 자율 이동 장치(100)의 주행 경로를 결정할 수 있다.
센서부(120)는 자율 이동 장치(100)의 운동, 온도, 압력 등 자율 이동 장치(100)의 각종 상태 변화를 감지하고, 자율 이동 장치(100)의 주행 정보를 획득한다. 획득된 주행 정보는 제어부(140)를 통해 자율 이동 장치(100)의 운전 조작을 위한 정보로써 처리된다.
센서부(120)는 스티어링(steering) 감지부(121), 속도 센서(122), 가속 센서(123), 위치 센서(124)를 포함하여 이루어질 수 있다.
스티어링 감지부(121)는 자율 이동 장치(100)의 조향 휠에 연동되어, 회전되는 로터, 로터와 일체로 회전하는 기어, 자력을 발생시키는 자성체의 회전에 의한 위상 변화를 감지하는 감지부, 감지부의 입력을 연산 및 출력하는 연산부 및 연산부를 실장하기 위한 PCB 기판과 하우징을 포함하여 이루어질 수 있으나, 이에 한정되지 않는다. 따라서 스티어링 감지부(121)는 추가적인 구성을 더 포함하거나 일부 구성이 생략된 다양한 조향 휠 각도 감지 장치일 수 있다.
속도 센서(122) 또는 가속 센서(123)는 자율 이동 장치(100)의 바퀴 속도, 자율 이동 장치(100)의 이동 속도 정보 등을 획득하기 위해 자율 이동 장치(100)의 내부 또는 바퀴에 구비된다.
위치 센서(124) 또는 GPS 송수신부(130)는 자율 이동 장치(100)의 위치에 대한 정보를 취득하기 위해 사용된다. 기본적으로 자율 이동 장치(100)는 자기 자신의 움직임에 대한 정보를 얻기 위해 센서를 구비한다. 이러한 센서의 예로는, 위치 센서(124)나 GPS 송수신부(130) 등이 대표적이며, 실외에서 단독으로 사용할 경우 보통 10m 이상의 오차를 갖기 때문에 절대 위치를 얻기 위한 보조적인 정보로만 사용할 수 있다. 따라서 자율 이동 장치(100)는 오차 없는 절대 위치를 파악하기 위한 부가적인 측량 센서를 부착하고, 측량 센서로부터 얻어진 정보를 가공하여 자율 이동 장치(100)의 위치 정보를 예측한다.
본 명세서의 실시 예에 따르면, 자율 이동 장치(100)는 부가적인 측량 센서로 라이다 장비를 구비할 수 있다.
위치 센서(124) 또는 GPS 송수신부(130)는 설정 입력 수단의 조작 결과에 따라 마이컴 등으로 실현되는 제어부(140)가 통신 기지국(미도시)을 매개로 하여 현재 위치의 지도 정보를 읽어내도록 지시할 수 있다. 제어부(140)는 액정표시장치 등으로 실현되는 출력부(150)를 구동하여 지도 이미지를 표시할 수 있다. 위치 센서(124) 또는 GPS 송수신부(130)는 통신 기지국과 연결되어 유무선 네트워크 내에 존재하는 다른 이동 장치 또는 자료 관리 컴퓨터로 자율 이동 장치(100)의 위치를 송수신할 수 있다.
본 명세서의 실시 예에 따르면, 자율 이동 장치(100)는 위치 센서(124) 또는 GPS 송수신부(130)를 통해 자율 이동 장치(100)의 현재 위치를 인지하고, 장애물 감지 결과 결정된 주행 경로로 이동하도록 제어되며, 출력부(150)를 통하여 현재 위치와 결정된 주행 경로를 이미지로 표시할 수 있다.
제어부(140)는 자율 이동 장치(100)의 각종 구성을 제어하고, 3차원 거리 데이터를 처리하기 위해 3D 센서부(110)와 통신 가능하도록 전기적으로 연결된다. 제어부(140)는 3D 센서부(110)에서 출력된 전기 신호를 영상 신호로 변환하고, 변환된 영상 신호를 통해 구현되는 영상으로부터 3D 센서부(110) 주변의 3차원 주행 맵을 생성한다. 생성된 3차원 주행 맵은 제어부(140)의 제어에 의해 3D 센서부(110)의 위치가 변경될 때마다 갱신된다. 또한, 제어부(140)는 3차원 지도로부터 자율 이동 장치(100)의 현재 위치 및 주변의 지형을 파악하여 위치 제어를 수행한다.
본 명세서의 실시 예에 따르면, 제어부(140)는 3D 센서부(110)를 통해 얻어진 3차원 거리 데이터를 복셀(Voxel) 형상으로 영상 처리하고, 처리된 영상을 보간하여 3차원 주행 맵을 생성한다. 이후에 자율 이동 장치(100)는 생성된 주행 맵을 근거로 주행 경로를 결정한다.
복셀을 기반으로 한 영상 처리, 주행 맵 생성 및 주행 경로 결정에 대하여는 하기에서 구체적으로 설명하도록 한다.
제어부(140)는 결정된 주행 경로로 자율 이동 장치(100)가 이동할 수 있도록, 자율 이동 장치(100)의 구동부(미도시)를 제어할 수 있다. 제어부(140)는 자율 이동 장치(100)가 원하는 방향으로 이동하도록 자율 이동 장치(100)의 회전 운동을 제어하거나, 구동부에 포함된 엔진 또는 바퀴 축을 조절하여 전진 또는 후진 운동을 제어할 수 있다. 또한, 제어부(140)는 자율 이동 장치(100)의 주행 중, 결정된 주행 경로에 대한 실제 주행 방향의 오차로 인해 결정 경로에서 벗어나는 경우 경로 오차를 보정하는 제어를 수행할 수 있다.
출력부(150)는 자율 이동 장치(100)에 임베디드 형태로 고정되어 있거나 탈부착이 가능한 형태로 구비될 수 있다. 또한, 출력부(150)는 제어부(140)의 제어에 의해 결정된 주행 경로를 표시하여 자율 이동 장치(100)의 이동 방향을 예측하는데 사용될 수 있다.
출력부(150)는 디스플레이부(151)를 포함하며, 제어부(150)를 통해 결정된 주행 경로를 UI(User Interface) 또는 GUI(Graphic User Interface)를 이용하여 표시한다. 디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
추가로, 출력부(150)는 오디오 출력부(152)를 포함할 수 있으며, 이어폰을 연결하는 기능을 수행하는 오디오 잭(153)을 포함할 수 있다. 여기서, 오디오 출력부(152)는 스피커일 수 있다.
출력부(150)는 본 명세서의 실시 예에 따른 주행 경로의 표시 외에 자율 이동 장치(100)의 이동 속도, 이동 시간, 목적지, 방위각 등의 정보를 표시할 수 있다. 주행 경로 등의 표시는 페이퍼 지도(paper map) 형태의 2차원 방위 고정 맵 또는 3차원 입체 형상의 맵을 사용할 수 있다.
또한, 자율 이동 장치(100)는 필요에 따라 저장부(미도시)를 더 구비할 수 있다. 저장부(미도시)는 각종 메뉴 화면, 다양한 사용자 인터페이스(User Interface; UI) 및/또는 그래픽 사용자 인터페이스(Graphic User Interface; GUI)를 저장한다.
또한, 상기 저장부는, 3차원 거리 데이터를 복셀 형상의 데이터로 변환하는 데 있어서, 변환 후의 복셀 수를 계산하는데 필요한 수학식을 저장한다.
또한, 상기 저장부는, 자율 이동 장치(100)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다.
또한, 상기 저장부는, 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 롬(Read-Only Memory; ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 램(Random Access Memory; RAM), SRAM(Static Random Access Memory), 자기 메모리, 자기 디스크, 광 디스크 중 적어도 하나의 저장 매체를 포함할 수 있다.
상기에서는 일반적인 자율 이동 장치(100)의 구성에 대하여 설명되었으나, 본 명세서의 실시 예가 적용될 수 있는 자율 이동 장치(100)는 상기에 열거된 구성으로 한정되지 않으며, 추가적인 기능부를 더 포함할 수 있으며, 상기에 설명된 기능을 수행하는 데 있어, 열거되지 않은 다른 기능부가 이용될 수 있다.
도 2는 본 명세서에 개시된 일 실시예에 따른 운전자의 상태 기반의 자율 이동 방법을 나타내는 순서도이다.
도 2에 도시된 바와 같이 자율 이동 장치(100)가 운전자 상태에 기반한 자율 방법은 운전자 주행 안전 보조 시스템 수행 단계(S200), 운전자 상태 모니터링 단계(S210), 운전자 주행 안전 보조 시스템 수행 취소 단계(S220), 운전자 상태에 따른 수행 취소 방법 결정 단계(S230), 결정된 취소 방법을 운전자에게 전달하는 단계(S240)를 포함한다.
운전자 주행 안전 보조 시스템 수행 단계(S200)에서 상기 제어부(140)는 자동차의 안전성을 향상시키기 위해 능동 안전(Active Safety) 및 지능형 운전자 주행 안전 보조 시스템(ADAS; Advance Driver Assistance System)을 수행하거나 주행 중 차로를 유지하는 LKS(Lane Keeping System)와 ACC(Adaptive Cruise Control)등을 수행하여 운전자의 장거리 운전에 따른 부담을 경감시켜주고 사고의 원인을 줄여 줄 수 있다.
상기 운전자 상태 모니터링 단계(S210)에서 상기 제어부(140)는 센싱부(120)의 카메라, 체온계, 심장 박동 측정기, 혈중 알코올 농도 측정기, 혈당 측정기 또는 그 어떠한 조합을 이용해서 운전자의 상태를 모니터링(또는 감시)할 수 있다.
운전자 주행 안전 보조 시스템 수행 취소 단계(220)에서 상기 제어부(140)는 적응형 차량 순항 제어 시스템(ACC), 차선 유지 시스템(LKS) 그리고 자율 주행(Autonomous driving) 등과 같은 지능형 운전자 주행 안전 보조 시스템(ADAS)을 운용하는데있어 차량의 내부 또는 외부 요인으로 인해서 지능형 운전자 주행 안전 보조 시스템의 수행을 취소할 때, 운전자의 상태를 인지하여 운전자의 대응 정도를 조정할 수 있다.
기존에는 운전자의 상태와 상관없이 제어 취소 상황이 발생하면 경보 혹은 표시등의 점등, 점멸 등으로 상기 운전자 안전 보조 시스템을 상태를 나타내었다. 이러한 형태의 경고는 운전자를 보조하지만, 운전자가 여전히 운전에 집중해야만 하는 차량 순항 제어 시스템(ACC) 또는 차선 유지 시스템(LKS)에서는 적용 가능하다. 하지만, 자율 주행과 같이 차량의 주행 통제권이 운전자에서 차량으로 이전된 시스템의 경우, 운전자의 상태에 따라서 안전 보조 시스템의 상태를 나타내는 방법이 달라져야만 한다.
자율 주행은 기술의 발전에 따라 차량 순항 제어 시스템(ACC) 및 차선 유지 시스템(LKS)와 같은 현재의 운전 보조 시스템은 주행 환경이 비교적 간단한 자동차 전용 고속도로 및 주행 환경이 좀더 복잡한 도심에서 반 자율 주행에서 완전한 자율 주행으로 발전해 나갈 것이다.
예를 들어 구글의 무인 자율 주행 차량의 시스템 구성은 조향과 가속도 또는 감속 제어를 할 수 있는 액츄에이터, 현재 차량의 위치를 파악하기 위한 주변 환경 인지 카메라와 GPS, 주변 주행 차량 및 장애물의 위치와 진행 방향을 판단하고, 충돌을 회피해서 주행하게 하는 센서 및 컴퓨터 등을 포함하고 있다.
운전자 상태에 따른 수행 취소 방법 결정 단계(S230)에서 상기 제어부(140)는 상기 운전자 주행 안전 보조 시스템 수행 단계(S200)와 상기 운전자 상태 모니터링 단계(S210)를 통합하여 자율 또는 반자율 주행 차량 내에서 시스템 이상이 발생하거나, 목적지에 도착한 경우 그리고 반자율 주행의 경우 자율 주행 시스템에서 운전자로 다시 운전 주도권을 넘겨야 하는 시점, 즉, 상기 운전자 주행 안전 보조 시스템 수행 취소 단계(220)에 운전자의 상태를 인식하여 자율 주행 시스템이 대응하는 수준을 결정할 수 있다.
여기서 시스템 대응이란 경보, 표시 장치 내에 경고 메시지 표시, 조명의 색깔 및 깜박임에 의한 경고, 운전석 및 기타 동승자석 진동 및 햅틱 경고 그리고 안전 벨트 장력을 통한 경보 등을 포함할 수 있다.
결정된 취소 방법을 운전자에게 전달하는 단계(S240)에서는 상기 제어부(140)가 상기 운전자 상태에 따른 수행 취소 방법 결정 단계(S230)에서 결정된 취소 방법으로 운전자 주행 안전 보조 시스템 수행 취소를 운전자에 전달한다. 여기서 만약, 상기 운전자 주행 안전 보조 시스템 수행 단계(S200)가 반 자율 주행으로 수행되고 있는 경우, 운전 주도권을 넘겨야 할 때 예를들어 자율 주행이 가능한 자동차 전용 도로 구간 종료 시점에서 운전자가 경보 및 기타 경고에 반응하지 않을 때 시스템이 자동으로 주행 가능한 안전 지역까지 주행하는 오류 허용 제어(fault tolerant control)을 포함할 수 있다.
기존의 운전자 상태 검출 시스템은 졸음, 음주, 기타 부주의 상태를 검출하여 운전자에 경고하는 시스템이지만 본 발명에서는 운전자의 상태 검출을 통한 자율 주행 시스템의 상태에 대한 대응 제어 및 경고를 수행한다.
　　　도 3은 본 명세서에 개시된 일 실시예에 따른 영상 인식을 통한 운전자의 얼굴 상태 기반 자율 이동 방법을 나타낸 예시도 이다. 도 3은 카메라를 통한 영상 인식을 통해서 운전자 얼굴의 상태 또는 얼굴의 방향을 이용해서 운전자의 상태를 모니터링 하는 것을 나타내고 있다.
　　　도 3의 (a)는 촬영된 사용자 얼굴의 이미지에서 얼굴의 단 방향과 장 방향을 파악하여, 상기 얼굴의 단 방향의 특정 위치와 수평이 되는 얼굴의 방향을 기준이 되는 수평인 방향과 서로 비교하고, 수평 방향과 얼굴의 단 방향이 미리 정해진 값 내에서 서로 일치할 경우, 운전자의 상태를 정상 상태로 인식하고 이를 고려하여 경보, 표시 장치 내에 경고 메시지 표시 등의 취소 방법 결정을 결정할 수 있음을 나타내고 있다.
　　　도 3의 (b)는 촬영된 사용자 얼굴의 이미지에서 얼굴의 단 방향과 장 방향을 파악하여, 상기 얼굴의 단 방향의 특정 위치와 수평이 되는 얼굴의 방향을 기준이 되는 수평인 방향과 서로 비교하고, 수평 방향과 얼굴의 단 방향이 미리 정해진 값 내에서 서로 일치하지 않을 경우, 운전자의 상태를 졸음, 음주 또는 기타 부주의 상태로 인식하고 이를 고려하여 운전석 및 기타 동승자석 진동 및 햅틱 경고 그리고 안전 벨트 장력을 통한 경보 등의 취소 방법 결정을 결정할 수 있음을 나타내고 있다.
도 4는 본 명세서에 개시된 일 실시예에 따른 영상인식을 통한 운전자의 눈 상태 기반 자율이동 방법을 나타낸 예시도 이다.
도 4는 카메라를 통한 영상인식을 통해서 운전자 눈동자 또는 홍채의 검출 유무 등을 이용해서 운전자의 졸음 운전 상태를 모니터링 할 수 있음을 나타내고 있다.
도 4의 (a)는 수평 방향과 촬영된 사용자 얼굴의 이미지에서 두 눈의 위치를 파악하여, 파악된 두 눈의 홍채 또는 눈동자의 검출 여부를 판단하고, 운전자의 홍채 또는 눈동자가 미리 정해진 값 이상으로 검출될 경우, 운전자의 상태를 정상 상태로 인식하고 이를 고려하여 경보, 표시 장치 내에 경고 메시지 표시 등의 취소 방법 결정을 결정할 수 있음을 나타내고 있다.
　　　도 4의 (b)는 수평 방향과 촬영된 사용자 얼굴의 이미지에서 두 눈의 위치를 파악하여, 파악된 두 눈의 홍채 또는 눈동자의 검출 여부를 판단하고, 운전자의 홍채 또는 눈동자가 미리 정해진 값 이상으로 검출되지 않을 경우, 운전자의 상태를 졸음, 음주 또는 기타 부주의 상태로 인식하고 이를 고려하여 운전석 및 기타 동승자석 진동 및 햅틱 경고 그리고 안전 벨트 장력을 통한 경보 등의 취소 방법 결정을 결정할 수 있음을 나타내고 있다.
100: 자율 이동 장치
110: 3D 센서부
120: 센서부
130: GPS 송수신부
140: 제어부
150: 출력부

Claims (14)

  1. 지능형 운전자 주행 안전 보조 시스템(ADAS; Advanced Driver Assistance System)을 수행하는 단계;
    센서를 통해서 운전자의 상태를 모니터링하는 단계;
    상기 지능형 운전자 주행 안전 보조 시스템의 수행을 취소할 경우, 상기 센서를 통해서 모니터링된 운전자의 상태를 기반으로 상기 안전 보조 시스템의 수행 취소를 상기 운전자에게 전달할 방법을 결정하는 단계; 및
    상기 결정된 안전 보조 시스템의 수행 취소 전달 방법을 상기 운전자에게 전달하는 단계;
    를 포함하는 것을 특징으로 하는 운전자 상태 기반의 자율 이동 방법.
  2. 제 1항에 있어서,
    상기 운전자의 상태를 모니터링 하는 단계에서는 카메라, 체온계, 심장 박동 측정기, 혈중 알코올 농도 측정기, 혈당 측정기 또는 그 어떠한 조합의 센서를 이용해서 운전자의 상태를 모니터링 하는 것을 특징으로 하는 운전자 상태 기반의 자율 이동 방법.
  3. 제 1항에 있어서,
    상기 운전자의 상태를 모니터링 하는 단계에서는 카메라가 소정의 시간 간격으로 운전자의 상태를 모니터링 하는 것을 특징으로 하는 운전자 상태 기반의 자율 이동 방법.
  4. 제 1항에 있어서,
    상기 운전자의 상태를 모니터링 하는 단계에서는 카메라를 통해서 운전자의 졸음, 음주, 기타 부주의 상태 또는 그 어떠한 조합의 상태를 모니터링 하는 것을 특징으로 하는 운전자 상태 기반의 자율 이동 방법.
  5. 제 1항에 있어서,
    상기 운전자의 상태를 모니터링 하는 단계에서는 카메라를 통한 영상인식을 통해서 운전자의 얼굴의 상태, 눈의 상태를 또는 그 어떠한 조합의 상태를 인식하는 것을 특징으로 하는 운전자 상태 기반의 자율 이동 방법.
  6. 제 1항에 있어서,
    상기 안전 보조 시스템의 수행 취소를 상기 운전자에게 전달하는 방법을 결정하는 단계에서는 표시 장치 내에 경고 메시지 표시, 소리에 의한 경고, 조명의 색깔 및 깜박임에 의한 경고, 운전석 및 기타 동승 자석 진동 및 햅틱 경고, 안전 밸트 장력을 통한 경보 또는 그 어떠한 조합을 이용해서 상기 운전자에게 전달할지를 결정하는 것을 특징으로 하는 운전자 상태 기반의 자율 이동 방법.
  7. 제 1항에 있어서,
    상기 결정된 안전 보조 시스템의 수행 취소 전달 방법을 상기 운전자에게 전달하는 단계에서는 상기 운전자가 경보 및 기타 경고에 반응하지 않을 때 자동으로 주행 가능한 안전 지역까지 주행하는 오류 허용 제어(fault tolerant control)을 포함하는 것을 특징으로 하는 운전자 상태 기반의 자율 이동 방법.
  8. 지능형 운전자 주행 안전 보조 시스템(ADAS; Advanced Driver Assistance System)을 수행하고,
    센서를 통해서 운전자의 상태를 모니터링하며,
    상기 지능형 운전자 주행 안전 보조 시스템의 수행을 취소할 경우, 상기 센서를 통해서 모니터링된 운전자의 상태를 기반으로 상기 안전 보조 시스템의 수행 취소를 상기 운전자에게 전달할 방법을 결정하고,
    상기 결정된 안전 보조 시스템의 수행 취소 전달 방법을 상기 운전자에게 전달하는 제어부;
    를 포함하는 것을 특징으로 하는 운전자 상태 기반의 자율 이동 장치.
  9. 제 8항에 있어서,
    상기 제어부에서 운전자의 상태를 모니터링 하는 것은 카메라, 체온계, 심장 박동 측정기, 혈중 알코올 농도 측정기, 혈당 측정기 또는 그 어떠한 조합의 센서를 이용해서 운전자의 상태를 모니터링 하는 것을 특징으로 하는 운전자 상태 기반의 자율 이동 장치.
  10. 제 8항에 있어서,
    상기 제어부에서 운전자의 상태를 모니터링 하는 것은 카메라가 소정의 시간 간격으로 운전자의 상태를 모니터링 하는 것을 특징으로 하는 운전자 상태 기반의 자율 이동 장치.
  11. 제 8항에 있어서,
    상기 제어부에서 운전자의 상태를 모니터링 하는 것은 카메라를 통해서 운전자의 졸음, 음주, 기타 부주의 상태 또는 그 어떠한 조합의 상태를 모니터링 하는 것을 특징으로 하는 운전자 상태 기반의 자율 이동 장치.
  12. 제 8항에 있어서,
    상기 제어부에서 운전자의 상태를 모니터링 하는 것은 카메라를 통한 영상 인식을 통해서 운전자의 얼굴의 상태, 눈의 상태를 또는 그 어떠한 조합의 상태를 인식하는 것을 특징으로 하는 운전자 상태 기반의 자율 이동 장치.
  13. 제 8항에 있어서,
    상기 제어부에서 안전 보조 시스템의 수행 취소를 상기 운전자에게 전달하는 방법을 결정하는 것은 표시 장치 내에 경고 메시지 표시, 소리에 의한 경고, 조명의 색깔 및 깜박임에 의한 경고, 운전석 및 기타 동승 자석 진동 및 햅틱 경고, 안전 밸트 장력을 통한 경보 또는 그 어떠한 조합을 이용해서 상기 운전자에게 전달할지를 결정하는 것을 특징으로 하는 운전자 상태 기반의 자율 이동 장치.
  14. 제 8항에 있어서,
    상기 제어부에서 결정된 안전 보조 시스템의 수행 취소 전달 방법을 상기 운전자에게 전달하는 것은 상기 운전자가 경보 및 기타 경고에 반응하지 않을 때 자동으로 주행 가능한 안전 지역까지 주행하는 오류 허용 제어(fault tolerant control)을 포함하는 것을 특징으로 하는 운전자 상태 기반의 자율 이동 장치.
KR1020110077914A 2011-08-04 2011-08-04 운전자 상태 기반의 자율 이동 방법 및 그 장치 KR20130015739A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110077914A KR20130015739A (ko) 2011-08-04 2011-08-04 운전자 상태 기반의 자율 이동 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110077914A KR20130015739A (ko) 2011-08-04 2011-08-04 운전자 상태 기반의 자율 이동 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR20130015739A true KR20130015739A (ko) 2013-02-14

Family

ID=47895489

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110077914A KR20130015739A (ko) 2011-08-04 2011-08-04 운전자 상태 기반의 자율 이동 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR20130015739A (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101470190B1 (ko) * 2013-07-09 2014-12-05 현대자동차주식회사 자율주행 시스템의 고장 처리 장치 및 그 방법
CN105539450A (zh) * 2015-12-02 2016-05-04 东软集团股份有限公司 一种驾驶行程的自动识别方法和装置
US9457814B2 (en) 2014-04-04 2016-10-04 Hyundai Motor Company Apparatus and method for controlling driving of vehicle based on driver's fatigue
WO2017003052A1 (ko) * 2015-06-29 2017-01-05 엘지전자 주식회사 차량 운전 보조 방법 및 차량
WO2017018852A1 (ko) * 2015-07-30 2017-02-02 삼성전자 주식회사 자율 주행 차량 및 자율 주행 차량 제어 방법
JP2018055469A (ja) * 2016-09-29 2018-04-05 トヨタ自動車株式会社 車両用覚醒システム
US10422649B2 (en) 2014-02-24 2019-09-24 Ford Global Technologies, Llc Autonomous driving sensing system and method
CN111267613A (zh) * 2020-03-20 2020-06-12 河北凯通信息技术服务有限公司 一种基于物联网的车载式物流监控系统
US10962378B2 (en) 2015-07-30 2021-03-30 Samsung Electronics Co., Ltd. Autonomous vehicle and method of controlling the autonomous vehicle
KR20210119929A (ko) * 2014-10-23 2021-10-06 현대모비스 주식회사 차량 자율 주행 장치 및 차량 자율 주행 방법
CN116587847A (zh) * 2023-05-16 2023-08-15 深圳多为智联科技有限公司 一种汽车安全控制系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9529361B2 (en) 2013-07-09 2016-12-27 Hyundai Motor Company Apparatus and method for managing failure in autonomous navigation system
KR101470190B1 (ko) * 2013-07-09 2014-12-05 현대자동차주식회사 자율주행 시스템의 고장 처리 장치 및 그 방법
US10422649B2 (en) 2014-02-24 2019-09-24 Ford Global Technologies, Llc Autonomous driving sensing system and method
US9457814B2 (en) 2014-04-04 2016-10-04 Hyundai Motor Company Apparatus and method for controlling driving of vehicle based on driver's fatigue
KR20210119929A (ko) * 2014-10-23 2021-10-06 현대모비스 주식회사 차량 자율 주행 장치 및 차량 자율 주행 방법
US10800428B2 (en) 2015-06-29 2020-10-13 Lg Electronics Inc. Vehicle driving assistance method and vehicle
WO2017003052A1 (ko) * 2015-06-29 2017-01-05 엘지전자 주식회사 차량 운전 보조 방법 및 차량
WO2017018852A1 (ko) * 2015-07-30 2017-02-02 삼성전자 주식회사 자율 주행 차량 및 자율 주행 차량 제어 방법
US10962378B2 (en) 2015-07-30 2021-03-30 Samsung Electronics Co., Ltd. Autonomous vehicle and method of controlling the autonomous vehicle
CN105539450A (zh) * 2015-12-02 2016-05-04 东软集团股份有限公司 一种驾驶行程的自动识别方法和装置
JP2018055469A (ja) * 2016-09-29 2018-04-05 トヨタ自動車株式会社 車両用覚醒システム
CN111267613A (zh) * 2020-03-20 2020-06-12 河北凯通信息技术服务有限公司 一种基于物联网的车载式物流监控系统
CN116587847A (zh) * 2023-05-16 2023-08-15 深圳多为智联科技有限公司 一种汽车安全控制系统

Similar Documents

Publication Publication Date Title
KR20130015739A (ko) 운전자 상태 기반의 자율 이동 방법 및 그 장치
US10885791B2 (en) Vehicle dispatch system, autonomous driving vehicle, and vehicle dispatch method
KR101622028B1 (ko) 차량 통신을 이용한 차량 제어 장치 및 제어 방법
AU2012304392B2 (en) Intelligent laser tracking system and method for mobile and fixed position traffic monitoring and enforcement applications
EP2444919B1 (en) Method and apparatus for generating alerts
CN110377026B (zh) 信息处理装置、存储介质和信息处理方法
US20160188977A1 (en) Mobile Security Robot
JP4981566B2 (ja) 運転支援装置および運転支援方法
JP6808590B2 (ja) 情報処理装置、情報処理方法、プログラムおよび移動体
JP2006327527A (ja) 車両の走行安全装置
US20220036043A1 (en) Information processing apparatus, information processing method, program, mobile-object control apparatus, and mobile object
JP2008052741A (ja) 車両の周囲を画像化する方法およびそのためのシステム
WO2019026715A1 (ja) 制御装置、および制御方法、プログラム、並びに移動体
CN112534487B (zh) 信息处理设备、移动体、信息处理方法和程序
KR20200131832A (ko) 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램
JP6693489B2 (ja) 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム
JP6683185B2 (ja) 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム
US20210052156A1 (en) Gaze detector, method for controlling gaze detector, method for detecting corneal reflection image position, and storage medium
CN110539638A (zh) 一种交通设备辅助驾驶的方法及装置
KR101700764B1 (ko) 자율 이동 방법 및 그 장치
CN108933930A (zh) 汽车便携式大视角成像监控系统
JP4652260B2 (ja) 障害物認識装置
JP6083261B2 (ja) 情報処理センターおよび車載機
US11987271B2 (en) Information processing apparatus, information processing method, mobile-object control apparatus, and mobile object
EP4194883A1 (en) Device and method for determining objects around a vehicle

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application