KR20130058991A - 제스처 인식 운전보조시스템 - Google Patents

제스처 인식 운전보조시스템 Download PDF

Info

Publication number
KR20130058991A
KR20130058991A KR1020110125042A KR20110125042A KR20130058991A KR 20130058991 A KR20130058991 A KR 20130058991A KR 1020110125042 A KR1020110125042 A KR 1020110125042A KR 20110125042 A KR20110125042 A KR 20110125042A KR 20130058991 A KR20130058991 A KR 20130058991A
Authority
KR
South Korea
Prior art keywords
image
driver
unit
vehicle
external information
Prior art date
Application number
KR1020110125042A
Other languages
English (en)
Inventor
민정상
홍기범
오광명
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020110125042A priority Critical patent/KR20130058991A/ko
Publication of KR20130058991A publication Critical patent/KR20130058991A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/25—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using haptic output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 본 발명은 제스처 인식 운전보조시스템에 관한 것으로, 더욱 상세하게는 운전자의 특정 포인팅 모션을 감지하여 포인팅 방향의 차량 외부 장애물에 대한 정보를 운전석 부근에 설치된 HUD 또는 기타 디스플레이장치에 정보를 제공할 수 있도록, 차량의 핸들 또는 운전석 주변에 설치되어 운전자의 특정 제스처를 인식하는 내부촬영수단; 상기 내부촬영수단을 통해 입력된 영상정보를 수신하여 방향지시여부를 판단하고, 기 설정된 이미지와 동일성 여부를 판단하여 동일한 경우 차량 외측의 영상 및 장애물을 촬영하도록 외부정보 획득수단에 신호를 보내는 방향검출제어수단; 상기 방향검출제어수단의 제어신호에 따라 해당 방향에 대한 차량의 외측 영상 및 장애물을 인식하는 외부정보 획득수단; 상기 외부정보 획득수단에서 획득한 차량의 주변 영상 및 차량과 장애물간의 거리를 운전자가 식별할 수 있도록 영상, 소리, 진동 중 어느 하나 이상의 방법으로 피드백하는 영상 정보제공수단; 상기 방향검출제어수단, 외부정보 획득수단 및 영상 정보제공수단과 연계되어 이미지판독, 데이터를 처리, 좌표설정, 피드백신호 설정 등 필요한 데이터 처리와 제어명령처리 및 메모리 기능이 구비된 마이크로컴퓨터;를 포함하여 구성된다.

Description

제스처 인식 운전보조시스템{Driving assistant system having a function of gesture recognition}
본 발명은 제스처 인식 운전보조시스템에 관한 것으로, 더욱 상세하게는 운전자의 특정 포인팅 모션을 감지하여 포인팅 방향의 차량 외부 장애물에 대한 정보를 운전석 부근에 설치된 HUD 또는 기타 디스플레이장치에 정보를 제공하여 안전운전이 가능하도록 하는 제스처 인식 운전보조시스템에 관한 것이다.
일반적으로 차량에는 다양한 안정장치가 설치되어 있고, 근래에는 컴퓨터를 비롯한 각종 통신 및 전자기술의 발달로 인해 운전자 및 승객의 안전 편의시설이 향상되고 있다.
특히, 운전이 미숙한 운전자 뿐만 아니라 차량의 성능이 고급화됨에 따라 차량의 접촉사고나 추돌 사고 등을 미연에 방지하기 위한 안전장치로 차량의 전후방 범퍼나 후방 사이드미러, 차체 외측 등에 각종 센서나 카메라 등을 설치하여 운전자가 미처 파악하지 못하는 차량의 주변 정보를 운전자에게 제공하여 차량운행시 사고를 미연에 방지함은 물론 운전 편의성을 대폭 향상시키는 다양한 안전장치가 보급되고 있는 추세에 있다.
일례로, 종래의 대표적인 안전장치로는 차량의 전후방 범퍼에 매립되어 차량과 차량에 근접한 장애물과의 거리를 소리로 알려주는 경고장치가 있고, 범퍼나 차체 등에 카메라를 설치한 경우 운행되는 차량 주변의 영상이 실내에 설치된 디스플레이장치에 화면으로 나타나 운전자는 디스플레이장치에 출력되는 영상을 바탕으로 주차 등을 수행하게 된다.
그러나, 이러한 종래의 안전장치는 주로 차량의 전후방 범퍼에 설치되어 차량의 전후방 상황만을 인식할 수 있도록 구성되어, 운전자의 시야 확보가 어려운 사각지대나 바퀴의 주행방향에 장애물이 존재할 경우, 이를 감지하지 못해 운전이 미숙한 운전자 등은 수시로 접촉사고가 발생되어 차량이 손상되는 등 경제적 및 인적 손실을 감당해야 하는 문제점이 있었다.
본 발명은 상술한 종래의 차량 운전보조장치의 단점을 해결하기 위해 안출된 것으로, 본 발명은 운전자가 특별히 시야확보 및 장애물 여부를 판단할 필요가 있는 방향을 특정 제스처로 나타낼 때, 제스처가 지시하는 방향의 차량 외측 장애물 정보를 소리나 진동 및 영상으로 제공해줌으로써 시야 확보가 어려운 사각지대에 대한 충분한 정보 파악을 통해 안전운전이 가능하도록 하는데 그 목적이 있다.
특히, 본 발명은 측면 장애물에 대한 정보파악을 통해 초보 운전자들이 쉽게 일으키는 접촉사고 및 인사사고를 방지하여 운전에 대한 불안감을 해소할 수 있도록 하는데 또 다른 목적이 있다.
또한, 본 발명은 운전자의 개인별 특징에 따라 특정상황에 대처능력이 부족한 경우, 운전자의 특정 행동에 따라 차량에 비치된 디스플레이장치에 안전운전 도우미가 실행되어 차량 운전을 보조할 수 있도록 하여 운전자별 취약점을 보완하여 안전운전이 가능하도록 하는데 또 다른 목적이 있다.
상술한 목적을 달성하기 위해, 본 발명에 따른 제스처 인식 운전보조시스템은 차량의 운전석 주변에 설치되어 운전자의 특정 제스처를 인식하는 내부촬영수단; 상기 내부촬영수단을 통해 입력된 영상정보를 수신하여 방향지시여부를 판단하고, 기 설정된 이미지와 동일성 여부를 판단하여 동일한 경우 차량 외측의 영상 및 장애물을 촬영하도록 외부정보 획득수단에 신호를 보내는 방향검출제어수단; 상기 방향검출제어수단의 제어신호에 따라 해당 방향에 대한 차량의 외측 영상 및 장애물을 인식하는 외부정보 획득수단; 상기 외부정보 획득수단에서 획득한 차량의 주변 영상 및 차량과 장애물간의 거리를 운전자가 식별할 수 있도록 영상, 소리, 진동 중 어느 하나 이상의 방법으로 피드백하는 영상 정보제공수단; 상기 방향검출제어수단, 외부정보 획득수단 및 영상 정보제공수단과 연계되어 이미지판독, 데이터를 처리, 좌표설정, 피드백신호 설정 등 필요한 데이터 처리와 제어명령처리 및 메모리 기능이 구비된 마이크로컴퓨터;를 포함하여 구성되는 특징을 갖는다.
그리고, 상기 내부촬영수단은 운전석 상방 천정에 설치되어 운전자의 손의 움직임을 3차원 영상으로 획득하는 3차원 모션센서로 구성되고, 상기 방향검출제어수단은 운전자의 손의 형상이나 움직임을 파악하는 형상인식부와, 상기 형상인식부에서 인식된 이미지가 기 설정된 이미지와 동일한 경우 지시하는 방향을 검출하는 지시검출부와, 상기 지시검출부로부터 전달된 신호에 따라 좌표를 정하고, 정하여진 좌표값을 토대로 방위각을 계산하는 좌표설정부를 포함한다.
또한, 상기 외부정보 획득수단은 차량의 전후방 및 측방에 설치되어지되, 상기 방향검출제어수단으로부터 전달된 신호에 따라 차량 외부의 촬영 및 감지방향을 설정하여 장애물에 대한 정보를 획득하는 영상촬영카메라 및 거리감지센서를 포함하고, 상기 영상 정보제공수단은 대시보드에 설치되는 HUD, 멀티미디어플레이어 및 진동발생장치 중 어느 하나 이상으로 구성된 특징을 갖는다.
또한, 상기 제스처 인식 운전보조시스템에는 운전자가 핸들을 두드리면 핸들에서 발생되는 진동을 감지하는 진동감지센서가 설치되고, 상기 진동감지센서에 의해 수득한 일정한 전기적 신호가 상기 ECU로 전달되는 경우, 상기 외부정보 획득수단에서 획득한 정보를 토대로 가상의 주행로 영상이 생성되고, 상기 영상 정보제공수단을 통해 주행차량 이미지와 주행로의 영상이 하나의 화면으로 팝업되는 안전운전 도우미 영상이 표출되도록 구성되어 운전자가 안전운행이 가능하도록 한다.
특히, 상기 형상인식부에서 인식되는 운전자의 손의 형상은 한쪽 손바닥 형상으로 하여 운전자의 제스처를 정확하기 인지할 수 있도록 구성된다.
상술한 본 발명의 실시예에 따른 제스처 인식 운전보조시스템은 협소한 곡선로를 주행하거나 주차시에 도로 경계석 등을 운전자가 미처 파악하지 못하여 가벼운 접촉사고가 발생하거나 차량 긁힘이 발생하는 것을 예방할 수 있도록 한다.
특히, 초보운전자들의 경우, 시야확보가 어려운 사각지대에 대한 주변 장애물 여부를 운전중 특정 제스처를 취해 특정 부위에 대한 영상을 획득, 확인하여 안전운전을 수행할 수 있도록 한다.
도 1 본 발명의 실시예에 따른 제스처 인식 운전보조시스템이 적용된 차량의 주행상태도
도 2는 본 발명의 실시예에 따른 제스처 인식 운전보조시스템의 개략적인 전체 구성도,
도 3은 본 발명의 실시예에 따른 제스처 인식 운전보조시스템에서 운전자의 제스처를 인식하여 처리하는 개략적인 순서도,
도 4는 운전자가 특정 충격을 핸들에 가하거나 특정 방향을 지시할 경우, 해당 부위에 대한 외부 영상을 차량 내 디스플레이장치에 표시하는 개략적 순서도이다.
본 발명의 실시예에 따른 제스처 인식 운전보조시스템은 운전자가 운전중에 차량 외부의 사각지대에 대한 시야확보가 어려울 경우, 필요한 방향으로 손을 뻗어 특정한 제스처를 취하게 되면, 차량 내부에 설치된 촬영수단이 운전자의 움직임을 감지하여 영상을 획득하고, 획득한 영상을 분석하여 방향을 설정하고, 설정된 방향에 대한 차량 외부영상과 거리를 촬영 및 감지하여 차량 내부에서 설치된 영상 정보제공수단을 통해 표시되어 안전운전을 하는데 보조역할을 할 수 있도록 구성된다.
이하, 본 발명의 바람직한 실시예에 대하여 첨부된 도면을 참고하여 상세히 설명하기로 한다. 그러나 다음에 예시되는 본 발명의 실시예는 다양한 형태로 변형되어 실시될 수 있는 것으로, 상세한 설명에 예시된 실시예는 당업자가 본 발명을 보다 완전하게 실시할 수 있도록 설명하기 위한 것이다.
도 1은 본 발명의 실시예에 따른 제스처 인식 운전보조시스템이 설치된 차량을 이용하여 도로를 주행하는 상태도이고, 도 2는 본 발명의 전체 구성에 대한 개념적인 개략도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 제스처 인식 운전보조시스템은 차량 내부와 차량 외부에 각각 복수의 수단이 설치되어 차량 내부에 설치된 마이크로컴퓨터(이하, ECU라 함)에 의해 통합 제어되어 최종 필요한 영상이 운전석 주변, 즉 대시보드(7)상에 설치된 영상정보제공수단(40)에 제공되어 운전자가 영상정보제공수단(40)에 표시된 영상 등을 토대로 안전운전을 할 수 있도록 보조하는 역할을 담담하도록 구성된다.
즉, 도 2를 참조하면서 본 발명에 따른 제스처 인식 운전보조시스템의 구성 및 동작에 대해 더욱 상세히 설명하면, 운전석 주변에 설치되어 운전자의 특정 제스처(gesture)를 인식하여 그 움직임을 촬영하는 내부촬영수단(10)이 설치되고, 상기 내부촬영수단(10)을 통해 획득된 영상정보를 수신하여 기 설정된 이미지와 동일성 여부를 판단하여 운전자가 방향지시여부를 가리키는 것인지 정확하게 판단하고, 방향을 지시한 것으로 판단될 경우 그 지시방향을 설정하여 차량 외측의 주변영상이나 차량에 근접한 장애물을 촬영하도록 외부정보 획득수단(30)에 신호를 보내는 방향검출제어수단(20)이 구비되며, 상기 방향검출제어수단(20)의 제어신호에 따라 해당 방향에 대한 차량 외측의 주변 영상이나 근접한 장애물에 대한 영상을 인식하는 외부정보 획득수단(30)을 포함한다.
이와 더불어, 상기 외부정보 획득수단(30)에서 획득한 차량의 주변 영상 및 차량에 근접한 장애물(60)의 거리를 파악하여 운전자가 식별할 수 있도록 영상, 소리, 진동 중 어느 하나 이상의 방법으로 운전자에게 피드백하는 영상 정보제공수단(40)이 운전석 근방에 설치되고, 상기 방향검출제어수단(20), 외부정보 획득수단(30) 및 영상 정보제공수단(40)과 연계되어 이미지판독, 데이터를 처리, 좌표설정, 피드백신호 설정 등 각 수단에서 필요한 데이터 처리와 제어명령처리 및 메모리 기능이 구비되어 차량 내부에 설치되는 ECU(50)를 포함하여 구성된다.
상술한 주요 구성에 대하여 더욱 상세히 설명하면, 상기 내부촬영수단(10)은 운전석 상방 천정 또는 내측 윈드쉴드 상방에 설치되어지되 운전자의 움직임, 좀더 바람직하게는 운전자 손의 움직임을 3차원 영상으로 획득할 수 있는 적합한 위치로 핸들 또는 운전석 중심부로부터 약 500mm 내외의 위치에 설치되며, 그 종류로는 3차원 모션센서로 구성되는 것이 바람직하다.
상기 3차원 모션센서는 다양한 종류의 기기를 시중에서 쉽게 구하여 채택 가능하지만, 주·야간 등 차량 실내의 밝기에 영향을 덜 받고, 고열 및 충격에 강하며 자체 화질과 떨림을 보정할 수 있는 고화질 카메라를 채택하는 것이 바람직하다.
또한, 상기 방향검출제어수단(20)은 운전자의 손의 형상이나 움직임을 파악하는 형상인식부(22)와, 상기 형상인식부(22)에서 인식된 이미지가 기 설정된 이미지와 동일한 지 여부를 판단하여 동일하다고 판단된 경우 손이 지시하는 방향을 검출하는 지시검출부(24)와, 상기 지시검출부로부터 전달된 신호에 따라 좌표를 정하고, 정하여진 좌표값을 토대로 방위각을 계산하는 좌표설정부(26)를 포함하여 구성되는 것으로, 이와 같은 구성은 본 발명의 설명을 용이하기 위해 별도로 설명하고 있지만, 실제적으로는 ECU에 포함되어 처리된다.
상기 형상인식부(22)는 입력된 영상의 이미지를 3차원으로 분석, 이때 입력된 화상을 디지털화하여 불필요한 주변화상은 제거하고 손바닥의 형상만 추출하는 작업을 수행하여 다른 조작장치를 조작하기 위한 움직임인지를 운전자가 특정 방향을 지시하는 제스처인지를 파악하게 된다.
본 발명의 실시예에 적용된 상기 형상인식부(22)는 운전자의 손의 형상 또는 제스처중 한쪽 손바닥을 인식할 수 있도록 구성된다.
즉, 상기 내부촬영수단(10)에서 실시간으로 이루어지는 영상촬영과, 이 촬영된 영상으로부터 입력된 많은 영상데이터중에서 실제로 운전자가 필요한 방향지시 제스처인지를 파악하는 것이 상기 형상인식부(22)에서의 중요한 기능이다.
따라서, 상기 형상인식부(22)는 입력되는 다양한 영상을 정확하게 판별할 수 있도록 하고, 그 정확성을 높일 수 있도록 다양한 운전자 손의 제스처 이미지 또는 패턴들이 저장되어 있어서, 입력되는 영상 이미지를 저장된 영상데이터와 비교하여 운전자가 방향지시를 하는 것인지 아니면 다른 조작장치를 조작하기 위한 동작을 하는 것인지 파악하게 된다.
예를 들면, 운전자의 손바닥, 손가락, 주먹 등을 촬영한 화상으로부터 그들의 형상을 인식하여 기 저장된 패턴들과 상호 대비를 통해 적부 여부를 판단해보고, 손가락, 주먹 등의 화상에 대해서는 불필요한 데이터로 인식하여 버리고, 손바닥 화상만을 필요한 데이터로 받아들여 그 방향성을 찾게 되고, 적합한 손바닥 형상은 별도 메모리에 저장된다.
이와 같이, 형상인식부(22)에서 촬영한 화상에 대하여 운전자가 방향을 지시하는 것으로 판단되면, 상기 지시검출부(24)는 화상으로 획득한 영상을 3차원 좌표 프로그램에 의해 그 지시방향을 추적하여 정확한 방향을 설정한다.
본 발명의 실시예는 다양한 손의 형상을 기억하고 있을 필요가 없고 단지 하나의 형상인 손바닥을 펴고 있는 형상만을 기억하고 있으면 되므로, 형상인식부의 데이터 처리가 빠르고, 운전자 또한 다양한 패턴의 손 형상 중 손바닥을 편 상태의 하나의 제스처만 취하면 되므로 운전 중 불필요한 동작을 취할 필요가 없다.
상기 지시검출부(24)에서 방향설정이 되면 상기 좌표설정부(26)에서는 저장된 프로그램을 통해 3축 좌표점을 파악하여 ECU(50)에 통보하게 된다.
상기 ECU(50)에서는 전달된 좌표값에 해당되는 전기적인 신호를 상기 외부정보 획득수단(30)으로 보내 외부 영상을 촬영하도록 한다.
상기 외부정보 획득수단(30)은 차량의 전후방 및 측방에 설치되어지되, 전후방 부위는 범퍼 등에 내장되는 것이 바람직하고, 측방부위는 후방미러등에 설치되는 것이 바람직하며, 상기 ECU(50)로부터 전달된 신호에 따라 특정 방향에 대한 차량 외부의 영상을 촬영하고, 영상 촬영이 이루어지는 방향의 전방에 위치한 장애물을 감지하도록 복수개의 영상촬영카메라 및 거리감지센서가 차량의 전후방 및 측방에 각각 설치된다.
상기 외부정보 획득수단(30)을 구성하는 복수개의 영상촬영카메라 및 거리감지센서는 ECU에서 전달된 신호에 따라 자동으로 방향 설정되어 해당 방향에 대한 영상 및 거리를 감지할 수 있도록 자동 각도조절이 가능한 구조로 이루어진다.
그리고, 상기 외부정보 획득수단(30)의 영상촬영카메라 및 거리감지센서에서 인식된 정보는 상기 ECU(50)를 거치면서 촬영된 영상에 거리감지센서에서 감지된 신호로부터 획득한 거리정보가 디지털로 변환되어 함께 표시되어 운전석 근처에 설치된 상기 영상 정보제공수단(40)을 통해 운전자에게 피드백되는 것으로, 상술한 구성으로 이루어지는 본 발명의 제스처 인식 운전보조시스템의 동작과정이 도 3에 간단히 플로우 챠트로 도시되어 있다.
상기 영상정보제공수단(40)에 제공되는 외부 영상은 하나의 정지된 화면이 될 수 있고 실시간 연속적인 영상이 될 수 있으며, 운전석 부근에 설치되는 상기 영상정보제공수단(40)은 대시보드에 설치되는 HUD(Head up disply), 멀티미디어플레이어 및 진동발생장치 중 어느 하나 이상을 통해 영상이나 소리 및 진동으로 운전자에게 피드백된다.
한편, 상기 제스처 인식 운전보조시스템는 운전자가 손바닥을 이용하여 특정방향을 가리키는 제스처를 취함으로써 그 영상을 획득하여 운전자가 필요한 방향의 사각지대 영상 및 거리를 운전자에게 피드백하는 구성으로 이루어져 운전자의 안전을 도모할 수 있도록 구성되지만, 이하에서는 운전자가 핸들을 파지한 상태에서 핸들을 두드리는 등 특정한 행동을 취할 경우, 이를 감지하여 운전석 주변에 설치된 상기 영상 정보제공수단(40)에 주행로 및 주변 장애물 영상을 디스플레이할 수 있도록 하여 차량이 진행할 방향에 대한 시뮬레이션을 통해 안전을 도모할 수 있도록 하는 또 다른 구성을 포함한다.
즉, 도 4의 플로우챠트 및 동작구성도에 도시된 바와 같이, 운전자가 운전중에 커브길이나 좁은 도로를 서행하다가 운전하는 차량과 도로 및 주변 장애물과의 거리 파악이 어려운 경우, 운전자가 잡고 있는 핸들(5)을 일정 강도로 두드리면, 상기 핸들(5)에는 운전자가 두드리는 진동을 감지할 수 있는 진동감지센서(6)가 설치되어 이를 감지하게 된다.
상기 핸들(5)에 설치된 진동감지센서(6)는 통상의 운전상황에서 노면상태에 따라 핸들이 떨리는 연속적이고 불규칙한 진동과 운전자가 핸들을 두드리는 규칙적인 진동을 분별할 수 있도록 알고리즘으로 설정되어, 핸들에서 전달되는 일정한 충격 이상의 진동을 감지한 경우, 그 감지된 진동신호를 ECU(50)로 보내게 된다.
상기 ECU(50)는 진동감지센서(6)에서 특정 신호가 전달되면, 상기 외부정보 획득수단의 외부영상카메라 또는 거리감지센서를 통해 주행로 및 그 주변영상과 장애물 여부, 주행차량의 조향각 등을 파악한 후에 차량이 주행할 도로 영상이미지를 생성한다.
주행도로 영상 이미지가 생성되면, 그 영상이미지에 차량 모양의 캐릭터가 표시되어 차량과 가상의 도로 영상이미지가 영상 정보제공수단(40)에 표시되는 안전운전도우미 프로그램이 제공된다.
따라서, 운전자는 자신이 주행하고 있는 도로와 차량의 이미지를 안전운전도우미 프로그램을 통해 운전방향과 장애물 상태를 파악하면서 안전운전을 할 수 있게 된다.
상기 안전운전 도우미프로그램은 ECU에 입력된 차량제원을 토대로 차량 캐릭터가 하나의 이미지로 형상화되어 저장된 데이터 및 주행차량의 조향각 센서로부터 입력되는 조향각도를 파악하여 가상의 주행도로가 자동으로 형상화되는 가상 주행로 이미지를 통해 운전자에게 차량이 주행할 도로 및 방향이 자동으로 시뮬레이션 제공하게 된다.
이상, 본 발명을 바람직한 실시예를 들어 상세하게 설명하였으나, 본 발명의 권리범위는 상술한 실시예에 의해 한정되는 것은 아니고, 본 발명의 기술적 사상의 범위내에서 당 분야의 통상의 지식을 가진자에 의해 다양한 변형실시가 가능하며, 이러한 변형된 실시 또한 첨부된 청구범위에 속하는 것은 당연하다.
상술한 본 발명의 실시예에 따른 제스처 인식 운전보조시스템은 더욱 지능화되고 운전자 편의주의를 추구하는 자동차에 적용할 경우, 운전자의 안전 운전을 보조할 수 있도록 할 뿐만 아니라 운전이 미숙한 초보 운전자들도 본 발명에 따른 운전보조시스템을 통해 접촉사고의 발생을 줄이고, 도로 폭이 좁은 도로, 곡선로 등을 도로 상태나 여건에 관계없이 접촉사고의 부담을 줄이면서 안전운전을 할 수 있도록 한다.
5 : 핸들 6 : 진동감지센서
7 : 대쉬보드 10 : 내부촬영수단
20 : 방향검출 제어수단 30 : 외부정보획득수단
40 : 영상 정보제공수단 50 : 마이크로컴퓨터(ECU)
60 : 장애물

Claims (5)

  1. 차량의 핸들 또는 운전석 주변에 설치되어 운전자의 특정 제스처를 인식하는 내부촬영수단;
    상기 내부촬영수단을 통해 입력된 영상정보를 수신하여 방향지시여부를 판단하고, 기 설정된 이미지와 동일성 여부를 판단하여 동일한 경우 차량 외측의 영상 및 장애물을 촬영하도록 외부정보 획득수단에 신호를 보내는 방향검출제어수단;
    상기 방향검출제어수단의 제어신호에 따라 해당 방향에 대한 차량의 외측 영상 및 장애물을 인식하는 외부정보 획득수단;
    상기 외부정보 획득수단에서 획득한 차량의 주변 영상 및 차량과 장애물간의 거리를 운전자가 식별할 수 있도록 영상, 소리, 진동 중 어느 하나 이상의 방법으로 피드백하는 영상 정보제공수단;
    상기 방향검출제어수단, 외부정보 획득수단 및 영상 정보제공수단과 연계되어 이미지판독, 데이터를 처리, 좌표설정, 피드백신호 설정 등 필요한 데이터 처리와 제어명령처리 및 메모리 기능이 구비된 마이크로컴퓨터;를 포함하여 구성되는 것을 특징으로 하는 제스처 인식 운전보조시스템.
  2. 청구항 1에 있어서,
    상기 내부촬영수단은 운전석 상방 천정에 설치되어 운전자의 손의 움직임을 3차원 영상으로 획득하는 3차원 모션센서로 구성되고,
    상기 방향검출제어수단은 운전자의 손의 형상이나 움직임을 파악하는 형상인식부와, 상기 형상인식부에서 인식된 이미지가 기 설정된 이미지와 동일한 경우 지시하는 방향을 검출하는 지시검출부와, 상기 지시검출부로부터 전달된 신호에 따라 좌표를 정하고, 정하여진 좌표값을 토대로 방위각을 계산하는 좌표설정부를 포함하고,
    상기 외부정보 획득수단은 차량의 전후방 및 측방에 설치되어지되, 상기 방향검출제어수단으로부터 전달된 신호에 따라 차량 외부의 촬영 및 감지방향을 설정하여 장애물에 대한 정보를 획득하는 영상촬영카메라 및 거리감지센서를 포함하고,
    상기 영상 정보제공수단은 대시보드에 설치되는 HUD, 멀티미디어플레이어 및 진동발생장치 중 어느 하나 이상으로 구성된 것을 특징으로 하는 제스처 인식 운전보조시스템.
  3. 청구항 1에 있어서,
    상기 핸들에는 운전자가 운전중 규칙적인 충격을 가하여 두드리면 핸들에서 발생되는 진동을 감지하는 진동감지센서가 설치되고,
    상기 진동감지센서에 의해 수득한 일정한 전기적 신호가 상기 ECU로 전달되는 경우, 상기 ECU는 상기 외부정보 획득수단에서 획득한 정보를 토대로 가상의 주행로 영상을 생성하여 상기 영상 정보제공수단을 통해 주행차량 이미지와 주행로의 영상이 하나의 화면으로 팝업되는 안전운전 도우미 프로그램이 실행되도록 구성되는 것을 특징으로 하는 제스처 인식 운전보조시스템.
  4. 청구항 2에 있어서,
    상기 형상인식부에서 인식되는 운전자의 손의 형상은 한쪽 손바닥 형상인 것을 특징으로 하는 제스처 인식 운전보조시스템.
  5. 청구항 2에 있어서,
    상기 외부정보 획득수단의 외부영상촬영카메라 및 거리감지센서는 ECU에서 전달된 좌표신호에 따라 그 촬영영역 및 방향을 향해 자동으로 각도조절이 이루어지도록 구성되는 것을 특징으로 하는 제스처 인식 운전보조시스템.
KR1020110125042A 2011-11-28 2011-11-28 제스처 인식 운전보조시스템 KR20130058991A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110125042A KR20130058991A (ko) 2011-11-28 2011-11-28 제스처 인식 운전보조시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110125042A KR20130058991A (ko) 2011-11-28 2011-11-28 제스처 인식 운전보조시스템

Publications (1)

Publication Number Publication Date
KR20130058991A true KR20130058991A (ko) 2013-06-05

Family

ID=48858042

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110125042A KR20130058991A (ko) 2011-11-28 2011-11-28 제스처 인식 운전보조시스템

Country Status (1)

Country Link
KR (1) KR20130058991A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170054812A (ko) * 2015-11-10 2017-05-18 현대자동차주식회사 휠레벨러에 장착된 hud 검사시스템 및 hud 검사방법
US10286905B2 (en) 2015-08-03 2019-05-14 Lg Electronics Inc. Driver assistance apparatus and control method for the same
CN110852190A (zh) * 2019-10-23 2020-02-28 华中科技大学 一种融合目标检测与手势识别的驾驶行为识别方法及系统
KR102095676B1 (ko) * 2019-04-25 2020-03-31 유니텔전자 (주) 차량의 측후방 영상표시장치 및 그 방법
CN112477973A (zh) * 2021-01-13 2021-03-12 江苏泰协智能科技有限公司 汽车方向盘hod、加热与振动三合一模块
CN112874631A (zh) * 2021-02-03 2021-06-01 江苏泰协智能科技有限公司 汽车方向盘hod监测系统
CN114115246A (zh) * 2021-11-09 2022-03-01 上海车右智能科技有限公司 一种远程驾驶辅助系统及其方法
CN115790819A (zh) * 2022-08-24 2023-03-14 宁波普瑞均胜汽车电子有限公司 车载触摸设备敲击检测方法、装置、触摸设备和存储介质

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10286905B2 (en) 2015-08-03 2019-05-14 Lg Electronics Inc. Driver assistance apparatus and control method for the same
KR20170054812A (ko) * 2015-11-10 2017-05-18 현대자동차주식회사 휠레벨러에 장착된 hud 검사시스템 및 hud 검사방법
KR102095676B1 (ko) * 2019-04-25 2020-03-31 유니텔전자 (주) 차량의 측후방 영상표시장치 및 그 방법
WO2020218712A1 (ko) * 2019-04-25 2020-10-29 유니텔전자(주) 차량의 측후방 영상표시장치 및 그 방법
US11661008B2 (en) 2019-04-25 2023-05-30 Unitel Electronics Co., Ltd. Device for displaying lateral rear images of vehicle and method therefor
CN110852190A (zh) * 2019-10-23 2020-02-28 华中科技大学 一种融合目标检测与手势识别的驾驶行为识别方法及系统
CN110852190B (zh) * 2019-10-23 2022-05-20 华中科技大学 一种融合目标检测与手势识别的驾驶行为识别方法及系统
CN112477973A (zh) * 2021-01-13 2021-03-12 江苏泰协智能科技有限公司 汽车方向盘hod、加热与振动三合一模块
CN112874631A (zh) * 2021-02-03 2021-06-01 江苏泰协智能科技有限公司 汽车方向盘hod监测系统
CN114115246A (zh) * 2021-11-09 2022-03-01 上海车右智能科技有限公司 一种远程驾驶辅助系统及其方法
CN114115246B (zh) * 2021-11-09 2024-01-23 上海车右智能科技有限公司 一种远程驾驶辅助系统及其方法
CN115790819A (zh) * 2022-08-24 2023-03-14 宁波普瑞均胜汽车电子有限公司 车载触摸设备敲击检测方法、装置、触摸设备和存储介质

Similar Documents

Publication Publication Date Title
US10572746B2 (en) Apparatus detecting driving incapability state of driver
US10909399B2 (en) Apparatus detecting driving incapability state of driver
KR20130058991A (ko) 제스처 인식 운전보조시스템
JP7005933B2 (ja) 運転者監視装置、及び運転者監視方法
CN109636924B (zh) 基于现实路况信息三维建模的车载多模式增强现实系统
JP4879189B2 (ja) 安全走行支援装置
US7710246B2 (en) Vehicle driving assist system
CN103019524B (zh) 车辆操作输入装置和用于车辆操作输入装置的控制方法
JP6834704B2 (ja) 走行支援装置及びコンピュータプログラム
JP4412380B2 (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
CN102203837B (zh) 车辆周围监测装置
JP6350145B2 (ja) 顔向き検出装置及び車両用警告システム
JP6459205B2 (ja) 車両用表示システム
US20140375812A1 (en) Method for representing a vehicle's surrounding environment
JP4702348B2 (ja) 車載画像表示装置
JP2009040107A (ja) 画像表示制御装置及び画像表示制御システム
JP4946682B2 (ja) 車両用走行支援装置
TWI522257B (zh) 車用安全系統及其運作方法
JP6375816B2 (ja) 車両用周辺情報表示システム及び表示装置
JP6342874B2 (ja) 画像認識装置
JP4795281B2 (ja) 車両の安全装置
KR20210120398A (ko) 차량에 탑재된 CMS 사이드 디스플레이(Camera Monitoring System Side Display)를 이용하여 영상을 디스플레이하는 전자 장치 및 그 동작 방법
JP7099036B2 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
WO2019155913A1 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、データ処理プログラム、及び記憶媒体
JP2009251761A (ja) 運転支援システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application