KR20160098737A - 운전 행동 개선 방법 및 장치 - Google Patents

운전 행동 개선 방법 및 장치 Download PDF

Info

Publication number
KR20160098737A
KR20160098737A KR1020150020696A KR20150020696A KR20160098737A KR 20160098737 A KR20160098737 A KR 20160098737A KR 1020150020696 A KR1020150020696 A KR 1020150020696A KR 20150020696 A KR20150020696 A KR 20150020696A KR 20160098737 A KR20160098737 A KR 20160098737A
Authority
KR
South Korea
Prior art keywords
driver
driving behavior
unit
recognizing
depth image
Prior art date
Application number
KR1020150020696A
Other languages
English (en)
Inventor
조영철
Original Assignee
조영철
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조영철 filed Critical 조영철
Priority to KR1020150020696A priority Critical patent/KR20160098737A/ko
Publication of KR20160098737A publication Critical patent/KR20160098737A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B60W2050/14—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

운전 행동 개선 방법 및 장치가 개시된다.
일 실시예에 따른 운전 행동 개선 방법은 운전자의 동작을 인식하는 단계; 자차의 주변 환경을 인식하는 단계; 상기 동작 인식 결과 및 상기 주변 환경 인식 결과에 기초하여 상기 운전자의 운전 행동을 분석하는 단계; 상기 운전 행동 분석 결과에 기초하여 상기 운전자의 운전 행동을 개선하는데 필요한 운전 행동 개선 정보를 생성하는 단계; 및 상기 운전 행동 개선 정보를 출력하는 단계를 포함한다.

Description

운전 행동 개선 방법 및 장치{Method and apparatus for improving g driving action}
운전 행동 개선 방법 및 장치가 개시된다. 구체적으로, 운전자의 좋지 않은 운전 행동을 개선시킬 수 있는 운전 행동 개선 방법 및 장치가 개시된다.
교통사고는 올바르지 않은 운전 행동 때문에 발생되는 경우가 많다. 즉, 차량을 출발시키기 전에 좌우 확인을 하지 않는다던지, 주행 중에 정지선을 잘 지키지 않는다던지, 신호등의 신호나 표지판의 내용을 지키지 않는 행동들로 인해 사고가 발생한다.
그런데 기존의 차량은 차량의 전방 및 후방에 물체나 사람의 존재 여부에 대해서만 안내를 할 뿐, 운전자의 운전 행동을 개선시킬 수 있는 정보를 제공하고 있지 못하다.
대한민국공개특허 10-2014-0096609 (발명의 명칭: 생체정보를 통한 운전자 개인인식 및 운전상태 변화정보 제공방법, 공개일: 2014년 8월 6일)
운전자의 운전 행동 및 자차의 주변 환경에 기초하여, 운전자의 운전 행동을 분석하고, 분석 결과에 기초한 운전 행동 개선 정보를 운전자에게 제공함으로써, 운전자의 운전 행동을 개선시킬 수 있는 운전 행동 개선 방법 및 장치가 개시된다.
상술한 과제를 해결하기 위하여, 일 실시예에 따른 운전 행동 개선 방법은 운전자의 동작을 인식하는 단계; 자차의 주변 환경을 인식하는 단계; 상기 동작 인식 결과 및 상기 주변 환경 인식 결과에 기초하여 상기 운전자의 운전 행동을 분석하는 단계; 상기 운전 행동 분석 결과에 기초하여 상기 운전자의 운전 행동을 개선하는데 필요한 운전 행동 개선 정보를 생성하는 단계; 및 상기 운전 행동 개선 정보를 출력하는 단계를 포함한다.
상기 운전자의 동작은 머리의 움직임을 포함한다.
상기 운전자의 동작을 인식하는 단계는 상기 운전자에 대한 깊이 영상을 획득하는 단계; 상기 깊이 영상으로부터 배경 영역과 사람 영역을 분리하는 단계; 상기 사람 영역에서 신체 각 부위를 식별하는 단계; 상기 신체 각 부위를 연결하는 각 관절을 식별하는 단계; 상기 각 관절을 연결하는 골격을 생성하는 단계; 상기 생성된 골격에 기초하여 상기 신체 각 부위의 3차원 위치 정보를 분석하는 단계; 및 상기 3차원 위치 정보에 기초하여 상기 신체 각 부위의 움직임을 추적하는 단계를 포함한다.
상기 자차의 주변 환경은 정지선, 신호등 및 표지판 중 적어도 하나를 포함한다.
상기 운전자의 운전 행동은 상기 운전자가 주행 전에 좌우를 확인하는 행동, 상기 운전자가 상기 정지선을 지키는 행동, 상기 운전자가 상기 신호등이 녹색일 때 좌우를 확인하는 행동, 상기 표지판을 확인하는 행동 중 적어도 하나를 포함한다.
상술한 과제를 해결하기 위하여, 일 실시예에 따른 운전 행동 개선 장치는 운전자의 동작을 인식하는 동작 인식부; 자차의 주변 환경을 인식하는 주변 환경 인식부; 상기 동작 인식 결과 및 상기 주변 환경 인식 결과에 기초하여 상기 운전자의 운전 행동을 분석하는 분석부; 상기 운전 행동 분석 결과에 기초하여 상기 운전자의 운전 행동을 개선하는데 필요한 운전 행동 개선 정보를 생성하는 제어부; 및 상기 운전 행동 개선 정보를 출력하는 출력부를 포함한다.
상기 동작 인식부는 접촉식 동작 인식 방법 또는 비접촉식 동작 인식 방법에 따라 상기 운전자의 동작을 인식한다.
상기 동작 인식부는 상기 운전자에 대한 깊이 영상을 획득하는 깊이 영상 획득부; 및 상기 깊이 영상으로부터 상기 운전자의 동작을 인식하는 깊이 영상 처리부를 포함한다.
운전자의 운전 행동 및 자차의 주변 환경에 기초하여, 운전자의 운전 행동을 분석하고, 분석 결과에 기초한 운전 행동 개선 정보를 운전자에게 제공함으로써, 운전자가 자신의 좋지 않은 운전 습관을 고칠 수 있도록 유도할 수 있으며, 좋지 않은 운전 행동으로 인한 사고를 방지할 수 있다.
도 1은 일 실시예에 따른 운전 행동 개선 장치의 구성을 도시한 도면이다.
도 2는 일 실시예에 따른 운전 행동 개선 방법을 도시한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 출입문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 설명한다. 도면에서 동일한 도면 부호는 동일한 구성 요소를 나타낸다.
도 1은 일 실시예에 따른 운전 행동 개선 장치(100)의 구성을 도시한 도면이다.
도 1을 참조하면, 운전 행동 개선 장치(100)는 버튼부(110), 동작 인식부(120), 주변 환경 인식부(130), 분석부(150), 제어부(140), 출력부(160), 저장부(170), 통신부(180) 및 전원부(190)를 포함할 수 있다.
버튼부(110)는 운전자로부터 명령을 입력받는다. 예를 들면, 전원 공급 명령, 전원 공급 중지 명령 등을 입력받는다. 이를 위해 버튼부(110)는 하나 이상의 버턴을 포함할 수 있다.
동작 인식부(120)는 운전자의 동작을 인식한다. 동작 인식부(120)는 접촉식 동작 인식 방법 및 비접촉식 동작 인식 방법 중 적어도 하나의 방법에 따라 운전자의 동작을 인식한다.
접촉식 동작 인식 방법에 따라 운전자의 동작을 인식하는 경우, 동작 인식부(120)는 운전자의 신체에 접촉되어 신호를 감지하는 접촉식 센서 및 접촉식 센서에서 감지된 신호를 처리하여 운전자의 동작을 인식하는 처리부를 포함할 수 있다.
일 예로, 동작 인식부(120)는 운전자의 팔에 착용되는 팔띠(arm band) 형태를 가질 수 있다. 이 때, 접촉식 센서로는 근전도 센서(Electromyography, EMG)가 사용될 수 있다. 그리고 처리부는 근전도 센서에서 감지된 근전도 신호를 처리하여 운전자의 팔의 움직임이나 손 동작을 인식한다.
다른 예로, 동작 인식부(120)는 하나 이상의 IMU 센서(Inertial measurement unit Sensor)를 포함할 수도 있다. IMU 센서는 MEMS(Micro Mechanical System) 기반의 9축 IMU 센서일 수 있다. 9축 IMU 센서는 3축 가속도 센서(Acceleration Sensor)와, 3축 자이로스코프 센서(Gyroscope Sensor)와, 3축 지자기 센서(terrestrial magnetism Sensor)를 포함한다. 3축 가속도 센서는 x축, y축, z축의 이동관성(가속도)을 측정한다. 3축 자이로스코프 센서는 x축, y축, z축의 회전관성(각속도)을 측정한다. 3축 지자기 센서는 x축, y축, z축의방위각(지자기의 방향)을 측정한다. 9축 IMU 센서 대신, 3축 가속도 센서, 3축 자이로스코프 센서, 3축 지자기 센서 중 적어도 하나가 사용될 수도 있다.
비접촉식 동작 인식 방법에 따라 운전자의 동작을 인식하는 경우, 동작 인식부(120)는 운전자에 대한 깊이 영상을 획득하는 깊이 영상 획득부(121) 및 깊이 영상을 처리하여 운전자의 동작을 인식하는 깊이 영상 처리부(122)를 포함할 수 있다.
깊이 영상 획득부(121)는 깊이 카메라(depth camera)를 포함할 수 있다. 일 예로, 깊이 카메라는 TOF(Time Of Flight) 방식의 깊이 카메라가 사용될 수 있다. TOF 방식의 깊이 카메라는 대상체(예를 들어, 운전자)에게 소정의 신호를 조사한 다음, 대상체에서 반사된 신호가 수신되기까지의 신호에 기초하여, 대상체에 대한 깊이 영상을 획득한다. 이 때, 대상체로 조사되는 신호는 적외선 광이거나, 초음파 신호일 수 있다.
다른 예로, 깊이 카메라는 구조광 방식의 깊이 카메라가 사용될 수 있다. 구조광 방식의 깊이 카메라는 특정한 패턴을 가지는 구조광(structured light)을 대상체로 투영하고, 대상체에 의해 왜곡된 광 패턴을 촬영하여 대상체에 대한 싶이 영상을 획득한다.
구체적으로, 구조광 방식의 깊이 카메라는 적외선 프로젝터 및 적외선 카메라를 포함할 수 있다. 적외선 프로젝터는 대상체로 구조광을 투영한다. 여기서, 구조광은 특정한 패턴을 가지는 광을 의미한다. 적외선 프로젝터는 사전 지정된 패턴으로 배열된 복수의 적외선 발광다이오드(Infrared Rays Light Emitting Diode, IR LED)로 대체될 수도 있다. 적외선 카메라는 대상체에 의해 왜곡된 광 패턴을 촬영한다. 적외선 카메라는 적외선 영상 센서를 포함할 수 있다. 영상 센서로는 CCD(Charge Coupled Device) 영상 센서, CMOS(Complementary Metal Oxide Semiconductor) 영상 센서를 예로 들 수 있다.
대상체에 의해 왜곡된 광 패턴이 적외선 카메라에 의해 촬영되면, 대상체에 의해 왜곡된 광 패턴이 획득된다. 이처럼 대상체에 의해 왜곡된 광 패턴이 획득되면, 깊이 영상 처리부(122)는 대상체로 투영된 광 패턴과 대상체에 의해 왜곡된 광 패턴을 비교하여 대상체에 대한 3차원 정보(예를 들면, 깊이 영상)를 얻는다. 이 후, 깊이 영상 처리부(122)는 깊이 영상을 처리하여 운전자의 동작을 인식한다.
구체적으로, 깊이 영상 처리부(122)는 깊이 영상으로부터 배경 영역과 사람 영역을 분리한다. 그 다음, 깊이 영상 처리부(122)는 분리된 사람 영역에서 신체 각 부위를 식별하고, 신체의 각 부위를 연결하는 관절(joint)을 식별한다. 이 후, 영상 처리부는 각 관절을 연결하는 골격(skeleton)을 생성한 다음, 신체 각 부위의 3차원 위치 정보를 분석한다. 그 다음, 깊이 영상 처리부(122)는 신체 각 부위가 움직이는 경우, 각 부위의 움직임을 추적한다(motion tracking). 예를 들면, 깊이 영상 처리부(122)는 운전자의 머리의 움직임을 추적한다.
이러한 방식으로 운전자의 동작이 인식되면, 인식 결과는 후술될 저장부(170)에 저장된다. 예를 들면, 인식된 동작의 종류와 동작이 인식된 시각이 저장부(170)에 저장된다.
주변 환경 인식부(130)는 자차의 주변 환경을 인식한다. 자차의 주변 환경으로는 정지선, 신호등 및 표지판 등을 예로 들 수 있다.
주변 환경 인식부(130)는 자차의 주변 환경에 대한 영상을 획득하는 주변 환경 영상 획득부(131) 및 주변 환경 영상을 처리하여 주변 환경을 인식하는 주변 환경 영상 처리부(132)를 포함할 수 있다.
주변 환경 영상 획득부(131)는 예를 들어, 자차의 전방을 촬영한다. 주변 환경 영상 획득부(131)는 하나 이상의 2차원 카메라, 또는 3차원 카메라를 포함할 수 있다.
주변 환경 영상 처리부(132)는 주변 환경 영상을 처리하여 자차의 주변 환경을 인식한다. 일 예로, 주변 환경 영상 처리부(132)는 주변 환경 영상에서 에지를 검출하고, 검출된 에지로부터 직선 성분을 검출한다. 그리고 검출된 직선 성분이 교차하는 교차점의 위치를 소실점의 위치로 결정하고, 소실점의 위치를 기준으로 정지선 검출을 위한 관심영역(Region Of Interese; ROI)을 설정다. 그리고 관심영역으로부터 정지선을 검출한다.
다른 예로, 주변 환경 영상 처리부(132)는 주변 환경 영상에서 표지판 검출을 위한 관심영역을 설정하고, 관심영역 내에 있는 표지판을 인식한다. 이 때, 표지판 검출을 위한 관심영역은 표지판을 포함하되, 표지판 검출을 위한 탐색 범위를 최소화할 수 있도록 설정될 수 있다. 관심 영역은 예를 들어, 아다부스트 알고리즘(Adaboost algorithm)에 기초하여 설정될 수 있다.
상술한 바와 같은 방식으로, 자차 주변의 주변 환경이 인식되면, 인식 결과는 후술될 저장부(170)에 저장된다. 예를 들면, 인식된 주변 환경의 종류와 주변 환경이 인식된 시각이 저장부(170)에 저장된다.
분석부(150)는 동작 인식부(120)의 동작 인식 결과 및 주변 환경 인식부(130)의 주변 환경 인식 결과에 기초하여, 운전자의 운전 행동을 분석한다. 구체적으로, 분석부(150)는 운전자의 동작이 인식된 시각과 주변 환경이 인식된 시각을 서로 비교하여, 주행 전, 주행 중, 주행 후의 운전자의 운전 행동을 분석한다. 예를 들면, 주행 전 운전자가 좌우 확인을 하는지, 주행 중 정지선을 지키는지, 신호등이 녹색일 때 운전자가 좌우 확인을 하는지, 운전자가 표지판을 확인하는지 등을 분석한다. 이러한 운전 행동 분석 결과는 운전자에게 제공되거나, 운전 행동 개선 정보를 생성하는데 활용될 수 있다.
제어부(140)는 각 구성요소들을 연결하고 제어한다. 예를 들어, 제어부(140)는 주변 환경 인식부(130)에서 주변 환경이 인식되는 경우, 저장부(170)를 조회하여, 사전에 인식된 운전 행동들 중에서, 현재 인식된 주변 환경과 관련된 운전 행동이 있는지를 판단한다.
판단 결과, 현재 인식된 주변 환경과 관련된 운전 행동이 있다면, 제어부(140)는 해당 운전 행동과 관련된 운전 행동 개선 정보를 생성한다. 운전 행동 개선 정보는 운전자가 운전 행동을 개선하는데 필요한 정보를 말한다. 예를 들어, 운전자가 주행 전 좌우를 확인하지 않는 운전 행동을 가지고 있다고 하자. 이 경우, 제어부(140)는 차량에 시동이 걸리면, 주행 전 좌우를 확인할 것을 요청하는 안내 정보를 자동으로 생성한다. 이로써, 주행을 시작하기 전에 운전자가 좌우를 확인할 수 있도록 한다. 다른 예로, 운전자가 신호등이 녹색일 때 좌우를 확인하지 않는 운전 행동을 가지고 있다고 하자. 이 경우, 제어부(140)는 주변 환경 영상에서 신호등이 검출되는 경우, 좌우를 확인할 것을 요청하는 안내 정보를 생성한다. 이로써, 운전자가 신호등이 녹색일 때 좌우를 확인할 수 있도록 한다.
출력부(160)는 분석부(150)의 분석 결과나 안내 정보 생성부의 운전 행동 개선 정보를 시각적 신호, 청각적 신호 및 촉각적 신호 중 적어도 하나로 출력한다. 이를 위해 출력부(160)는 영상 출력부(161), 음성 출력부(162), 및 음성 출력부(163) 중 적어도 하나를 포함할 수 있다.
영상 출력부(161)로는 디스플레이를 예로 들 수 있다. 디스플레이는 고정형 디스플레이, 연성 디스플레이(flexible display), 투명 디스플레이, 불투명 디스플레이, 또는 이들의 조합을 포함할 수 있다. 영상 출력부(161)는 예를 들어, 차량의 앞쪽 유리에 포함될 수도 있다. 음성 출력부(162)로는 스피커를 예로 들 수 있다. 음성 출력부(162)는 차량 내부에 배치될 수 있다. 음성 출력부(163)로는 압력 감각을 출력하는 압각 출력부(160), 진동 감각을 출력하는 진동 출력부(160)를 예로 들 수 있다. 음성 출력부(163)를 예를 들어, 운전석에 배치될 수 있다.
저장부(170)는 운전 행동 개선 장치(100)가 동작하는데 필요한 데이터, 프로그램, 또는 알고리즘을 저장한다. 예를 들면, 깊이 영상으로부터 운전자의 동작을 인식하기 위한 알고리즘, 주변 환경 영상으로부터 자차의 주변 환경을 인식하기 위한 알고리즘을 저장할 수 있다. 이러한 저장부(170)는 휘발성 메모리, 비휘발성 메모리, 광 디스크 드라이브, 광자기 디스크 드라이브, 하드디스크 드라이브, 또는 이들의 조합으로 이루어질 수 있다.
통신부(180)는 외부 장치와 신호 및/또는 데이터를 송수신한다. 예를 들어, 통신부(180)는 운전 행동 개선 장치(100)가 동작하는데 필요한 데이터나 프로그램을 외부 장치(예를 들어, 서버)로부터 수신하고, 운전자의 운전 행동 분석 결과나 운전 행동 개선 정보를 다른 외부 장치(예를 들어, 스마트폰, 태블릿 등의 스마트 장치)로 전송한다. 이를 위하여 통신부(180)는 유선 통신 방식 및/또는 무선 통신 방식을 지원할 수 있다. 무선 통신 방식으로는 근거리무선통신(Near Field Communication, NFC), 무선 유에스비(Wireless USB), 울트라와이드밴드(Ultra Wide Band, UWB), 와이파이(WiFi), 블루투스(Bluetooth), 지그비(ZIGBEE), 무선 주파수 통신(Radio Frequency, RF), 및 적외선 통신(Infrared Data Association, IrDA)을 예로 들 수 있다.
전원부(190)는 버튼부(110)를 통해 전원 공급 명령이 입력되는 경우, 운전 행동 개선 장치(100) 내의 각 구성요소들로 전력을 공급한다. 일 예로, 전원부(190)는 운전 행동 개선 장치(100)로부터 기계적으로 분리 가능하도록 구현될 수 있다. 분리된 전원부(190)는 여분의 다른 전원부(도시되지 않음)로 교체되거나, 별도로 마련된 충전 장치(도시되지 않음)와 전기적으로 연결되어 충전될 수 있다. 다른 예로, 전원부(190)는 운전 행동 개선 장치(100)와 기계적으로 일체형으로 구현될 수 있다. 이 경우, 전원부(190)는 자차에 배치된 전력 공급원(도시되지 않음)에 의해 충전될 수 있다. 이 때, 전원부(190)는 유선전력전송 기술 또는 무선전력전송 기술에 따라, 외부 전력 공급원으로부터 전력을 공급받을 수 있다.
도 2는 일 실시예에 따른 운전 행동 개선 방법을 도시한 흐름도이다.
운전자가 차량에 탑승하면, 운전 행동 개선 장치(100)는 운전자의 동작을 인식한다(S210). 구체적으로, 주행 전, 주행 중, 주행 후의 운전자의 동작을 인식한다. 상기 S210 단계는 동작 인식부(120)에 의해 수행될 수 있다. 동작 인식부(120)가 비접촉 방식으로 운전자의 동작을 인식하는 경우, 상기 S210 단계는 깊이 영상 획득부를 이용하여 운전자에 대한 깊이 영상을 획득하는 단계와, 깊이 영상으로부터 배경 영역과 사람 영역을 분리하는 단계와, 분리된 사람 영역에서 신체 각 부위를 식별하는 단계와, 신체 각 부위를 연결하는 관절을 식별하는 단계와, 각 관절을 연결하는 골격을 생성하는 단계와, 생성된 골격에 기초하여 신체 각 부위의 3차원 위치 정보를 분석하는 단계와, 3차원 위치 정보에 기초하여 신체 각 부위의 움직임을 추적하는 단계를 포함할 수 있다.
다음으로, 운전 행동 개선 장치(100)는 자차의 주변 환경을 인식한다(S220). 상기 S220 단계는 주변 환경 인식부(130)에 의해 수행될 수 있다. 자차의 주변 환경으로는 정지선, 신호등, 및 표지판을 예로 들 수 있다.
자차의 주변 환경이 인식되면, 운전 행동 개선 장치(100)는 인식된 주변 상황과 관련하여 사전에 분석된 운전자의 운전 행동이 존재하는지를 판단한다(S230). 이러한 판단은 제어부(140)에 의해 수행될 수 있다.
S230 단계의 판단 결과, 인식된 주변 상황과 관련하여 사전에 분석된 운전 행동이 존재하지 않는다면, 운전 행동 개선 장치(100)는 동작 인식 결과 및 주변 환경 인식 결과에 기초하여 운전자의 운전 행동을 분석한다(S240). 구체적으로, 인식된 동작의 종류, 동작이 인식된 시간, 인식된 주변 환경의 종류 및 주변 환경이 인식된 시각 등을 비교하여, 운전자의 운전 행동을 분석한다. 예를 들어, 주행 전 운전자의 머리의 움직임이 감지되지 않았다면, 운전자가 주행 전에 좌우를 확인하지 않는 운전 행동을 가진 것으로 분석한다. 상기 S250 단계는 분석부(150)에 의해 수행되며, 운전 행동 분석 결과는 저장부(170)에 저장된다(S250). 다른 실시예에 따르면, 운전 행동 분석 결과는 출력부를 통해 출력될 수도 있다.
S230 단계의 판단 결과, 인식된 주변 상황과 관련하여 사전에 분석된 운전 행동이 존재한다면, 운전 행동과 관련된 운전 행동 개선 정보가 생성된다(S260). 상기 S260 단계는 제어부(140)에 의해 수행된다.
생성된 운전 행동 개선 정보는 출력부(160)를 통해 출력된다(S270). 이 때, 운전 행동 개선 정보는 시각적 신호, 청각적 신호, 촉각적 신호 중 적어도 하나의 형태로 출력될 수 있다. 운전 행동 개선 정보가 출력되면, 운전자는 출력된 정보를 인지하고, 잘못된 운전 행동을 하지 않도록 노력할 수 있다.
이상으로 본 발명의 실시예들을 설명하였다. 전술한 실시예들에 더하여, 본 발명의 실시예들은 전술한 실시예의 적어도 하나의 처리 요소를 제어하기 위한 컴퓨터 판독 가능한 코드/명령을 포함하는 매체 예를 들면, 컴퓨터 판독 가능한 매체를 통해 구현될 수도 있다. 상기 매체는 상기 컴퓨터 판독 가능한 코드의 저장 및/또는 전송을 가능하게 하는 매체/매체들에 대응할 수 있다.
상기 컴퓨터 판독 가능한 코드는, 매체에 기록될 수 있을 뿐만 아니라, 인터넷을 통해 전송될 수도 있는데, 상기 매체는 예를 들어, 마그네틱 저장 매체(예를 들면, ROM, 플로피 디스크, 하드 디스크 등) 및 광학 기록 매체(예를 들면, CD-ROM, Blu-Ray, DVD)와 같은 기록 매체, 반송파(carrier wave)와 같은 전송매체를 포함할 수 있다. 상기 매체들은 분산 네트워크일 수도 있으므로, 컴퓨터로 읽을 수 있는 코드는 분산 방식으로 저장/전송되고 실행될 수 있다. 또한 더 나아가, 단지 일 예로써, 처리 요소는 프로세서 또는 컴퓨터 프로세서를 포함할 수 있고, 상기 처리 요소는 하나의 디바이스 내에 분산 및/또는 포함될 수 있다.
이상과 같이 예시된 도면을 참조로 하여, 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적이 아닌 것으로 이해해야만 한다.
100: 운전 행동 개선 장치

Claims (8)

  1. 운전자의 동작을 인식하는 단계;
    자차의 주변 환경을 인식하는 단계;
    상기 동작 인식 결과 및 상기 주변 환경 인식 결과에 기초하여 상기 운전자의 운전 행동을 분석하는 단계;
    상기 운전 행동 분석 결과에 기초하여 상기 운전자의 운전 행동을 개선하는데 필요한 운전 행동 개선 정보를 생성하는 단계; 및
    상기 운전 행동 개선 정보를 출력하는 단계를 포함하는, 운전 행동 개선 방법.
  2. 제1항에 있어서,
    상기 운전자의 동작은 머리의 움직임을 포함하는, 운전 행동 개선 방법.
  3. 제1항에 있어서,
    상기 운전자의 동작을 인식하는 단계는
    상기 운전자에 대한 깊이 영상을 획득하는 단계;
    상기 깊이 영상으로부터 배경 영역과 사람 영역을 분리하는 단계;
    상기 사람 영역에서 신체 각 부위를 식별하는 단계;
    상기 신체 각 부위를 연결하는 각 관절을 식별하는 단계;
    상기 각 관절을 연결하는 골격을 생성하는 단계;
    상기 생성된 골격에 기초하여 상기 신체 각 부위의 3차원 위치 정보를 분석하는 단계; 및
    상기 3차원 위치 정보에 기초하여 상기 신체 각 부위의 움직임을 추적하는 단계를 포함하는, 운전 행동 개선 방법.
  4. 제1항에 있어서,
    상기 자차의 주변 환경은 정지선, 신호등 및 표지판 중 적어도 하나를 포함하는, 운전 행동 개선 방법.
  5. 제1항에 있어서,
    상기 운전자의 운전 행동은
    상기 운전자가 주행 전에 좌우를 확인하는 행동, 상기 운전자가 상기 정지선을 지키는 행동, 상기 운전자가 상기 신호등이 녹색일 때 좌우를 확인하는 행동, 상기 표지판을 확인하는 행동 중 적어도 하나를 포함하는, 운전 행동 개선 방법.
  6. 운전자의 동작을 인식하는 동작 인식부;
    자차의 주변 환경을 인식하는 주변 환경 인식부;
    상기 동작 인식 결과 및 상기 주변 환경 인식 결과에 기초하여 상기 운전자의 운전 행동을 분석하는 분석부;
    상기 운전 행동 분석 결과에 기초하여 상기 운전자의 운전 행동을 개선하는데 필요한 운전 행동 개선 정보를 생성하는 제어부; 및
    상기 운전 행동 개선 정보를 출력하는 출력부를 포함하는, 운전 행동 개선 장치.
  7. 제6항에 있어서,
    상기 동작 인식부는
    접촉식 동작 인식 방법 또는 비접촉식 동작 인식 방법에 따라 상기 운전자의 동작을 인식하는, 운전 행동 개선 장치.
  8. 제7항에 있어서,
    상기 동작 인식부는
    상기 운전자에 대한 깊이 영상을 획득하는 깊이 영상 획득부; 및
    상기 깊이 영상으로부터 상기 운전자의 동작을 인식하는 깊이 영상 처리부를 포함하는, 운전 행동 개선 장치.
KR1020150020696A 2015-02-11 2015-02-11 운전 행동 개선 방법 및 장치 KR20160098737A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150020696A KR20160098737A (ko) 2015-02-11 2015-02-11 운전 행동 개선 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150020696A KR20160098737A (ko) 2015-02-11 2015-02-11 운전 행동 개선 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20160098737A true KR20160098737A (ko) 2016-08-19

Family

ID=56874823

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150020696A KR20160098737A (ko) 2015-02-11 2015-02-11 운전 행동 개선 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20160098737A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020086015A1 (en) * 2018-10-22 2020-04-30 Innomel Muhendislik Sanayi Ve Ticaret Limited Sirketi A system that perceives, reports fatigue and distraction of the driver and processes big data and a method of its implementation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140096609A (ko) 2013-01-28 2014-08-06 주식회사 라이프사이언스테크놀로지 생체정보를 통한 운전자 개인인식 및 운전상태 변화정보 제공방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140096609A (ko) 2013-01-28 2014-08-06 주식회사 라이프사이언스테크놀로지 생체정보를 통한 운전자 개인인식 및 운전상태 변화정보 제공방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020086015A1 (en) * 2018-10-22 2020-04-30 Innomel Muhendislik Sanayi Ve Ticaret Limited Sirketi A system that perceives, reports fatigue and distraction of the driver and processes big data and a method of its implementation

Similar Documents

Publication Publication Date Title
US10339711B2 (en) System and method for providing augmented reality based directions based on verbal and gestural cues
EP2960630B1 (en) Eyewear-type terminal and method for controlling the same
US10169880B2 (en) Information processing apparatus, information processing method, and program
JPWO2018025531A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2006192563A (ja) 識別対象識別装置およびそれを備えたロボット
US10062302B2 (en) Vision-assist systems for orientation and mobility training
US11307412B1 (en) Audio visualizer eyewear device
US20190073546A1 (en) Driver state recognition apparatus, driver state recognition system, and driver state recognition method
US11721045B2 (en) Audio-triggered augmented reality eyewear device
US20210390882A1 (en) Blind assist eyewear with geometric hazard detection
JP2021144260A (ja) 情報処理装置、情報処理方法、プログラム、および情報処理システム
KR20200144363A (ko) 로봇 및 그의 구동 방법
KR20160114486A (ko) 이동단말기 및 이동 단말기의 제어방법
EP3640840B1 (en) Tracking method and apparatus for smart glasses, smart glasses and storage medium
US20240045214A1 (en) Blind assist glasses with remote assistance
US10627898B2 (en) Control method, control device, system and motor vehicle comprising such a control device
KR101698102B1 (ko) 차량 제어 장치 및 이의 제어 방법
KR20160098737A (ko) 운전 행동 개선 방법 및 장치
Botezatu et al. Development of a versatile assistive system for the visually impaired based on sensor fusion
KR20160144643A (ko) 어라운드 뷰 제공장치 및 이를 구비한 차량
KR20160088760A (ko) 개인용 무인 비행체
US20220323286A1 (en) Enabling the visually impaired with ar using force feedback
US20230222742A1 (en) Information processing apparatus, information processing method, and information processing program
US11288840B2 (en) Artificial intelligence apparatus for estimating pose of head and method for the same
JP7374581B2 (ja) ロボット、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application