KR20210017515A - 차량의 모션 인식 장치 및 방법 - Google Patents

차량의 모션 인식 장치 및 방법 Download PDF

Info

Publication number
KR20210017515A
KR20210017515A KR1020190096900A KR20190096900A KR20210017515A KR 20210017515 A KR20210017515 A KR 20210017515A KR 1020190096900 A KR1020190096900 A KR 1020190096900A KR 20190096900 A KR20190096900 A KR 20190096900A KR 20210017515 A KR20210017515 A KR 20210017515A
Authority
KR
South Korea
Prior art keywords
motion
area
user
recognized
vehicle
Prior art date
Application number
KR1020190096900A
Other languages
English (en)
Inventor
오세민
주영성
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020190096900A priority Critical patent/KR20210017515A/ko
Priority to US16/700,079 priority patent/US11495034B2/en
Publication of KR20210017515A publication Critical patent/KR20210017515A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01542—Passenger detection systems detecting passenger motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G06K9/00832—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/009—Priority selection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

본 발명의 일 실시예에 따른 차량의 모션 인식 장치는 사용자 영상을 획득하는 카메라, 및 상기 사용자 영상을 제1 영역, 제2 영역 및 상기 제1 영역과 제2 영역이 중첩되어 형성되는 제3 영역으로 구분하고, 상기 제1 영역, 제2 영역 및 제3 영역 중 적어도 어느 하나의 영역에서 발생되는 사용자의 모션을 인식하는 제어기를 포함할 수 있다.

Description

차량의 모션 인식 장치 및 방법{APPARATUS AND METHOD FOR RECOGNIZING USER'S MOTION OF VEHICLE}
본 발명은 차량의 모션 인식 장치 및 방법에 관한 것이다.
최근에는 모션 인식을 이용한 기기 제어 기술이 차량에도 도입되고 있으며, 일부 차량 제조사들에서는 카메라를 이용한 모션 인식 기술을 탑재한 차량의 양산까지 이루어지고 있다. 사용자들은 모션 인식 기술을 이용하여 더욱 편리하게 차량 내의 다양한 기기들을 제어할 수 있게 되었다.
그러나, 아직까지 모션 인식 기술의 경우 인식률이 떨어지는 단점이 있고, 차량 내에 탑승한 여러 사용자로부터 발생되는 모션을 인식하는 경우 오인식이 발생하는 문제가 있다.
본 발명의 일 목적은 차량 내의 복수의 사용자로부터 발생되는 모션을 인식할 수 있는 차량의 모션 인식 장치 및 방법을 제공하는 데 있다.
본 발명의 일 목적은 차량 내의 사용자로부터 발생되는 모션의 인식률을 향상시킬 수 있는 차량의 모션 인식 장치 및 방법을 제공하는 데 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 차량의 모션 인식 장치는 사용자 영상을 획득하는 카메라, 및 상기 사용자 영상을 제1 영역, 제2 영역 및 상기 제1 영역과 제2 영역이 중첩되어 형성되는 제3 영역으로 구분하고, 상기 제1 영역, 제2 영역 및 제3 영역 중 적어도 어느 하나의 영역에서 발생되는 사용자의 모션을 인식하는 제어기를 포함할 수 있다.
일 실시예에서, 상기 제1 영역은 제1 메인 영역 및 제1 서브 영역을 포함하고, 상기 제2 영역은 제2 메인 영역 및 제2 서브 영역을 포함할 수 있다.
일 실시예에서, 상기 제어기는 상기 제1 서브 영역에서 인식되는 사용자의 모션보다 상기 제1 메인 영역에서 인식되는 사용자의 모션에 더 높은 우선 순위를 부여하고, 상기 제2 서브 영역에서 인식되는 사용자의 모션보다 상기 제2 메인 영역에서 인식되는 사용자의 모션에 더 높은 우선 순위를 부여할 수 있다.
일 실시예에서, 상기 제어기는 상기 우선 순위에 기초하여 상기 인식된 사용자의 모션에 대응하는 제어 명령을 생성할 수 있다.
일 실시예에서, 상기 제어기는 상기 제1 영역에서 발생되는 사용자의 모션이 차량의 주행 제어와 관련된 모션으로 인식되는 경우 대응되는 제어 명령을 생성하고, 상기 제2 영역에서 발생되는 사용자의 모션이 차량의 주행 제어와 관련된 모션으로 인식되는 경우 상기 제어 명령을 생성하지 않을 수 있다.
일 실시예에서, 상기 제어기는 차량이 주행중인 상태에서 상기 제2 영역에서 발생되는 사용자의 모션이 인포테인먼트 시스템의 제어와 관련된 모션으로 인식되는 경우 대응되는 제어 명령을 생성하고, 상기 제1 영역에서 발생되는 사용자의 모션이 인포테인먼트 시스템의 제어와 관련된 모션으로 인식되는 경우 상기 제어 명령을 생성하지 않을 수 있다.
일 실시예에서, 상기 제어기는 상기 제3 영역에서 발생되는 사용자의 모션이 인식되는 경우, 상기 사용자의 모션을 상기 제1 영역 또는 제2 영역에 탑승한 사용자의 모션으로 판단하고, 상기 사용자의 모션이 상기 제1 영역에 탑승한 사용자의 인포테인먼트 시스템의 제어와 관련된 모션으로 인식되는 경우 제어 명령을 생성하지 않고, 상기 사용자의 모션이 상기 제2 영역에 탑승한 사용자의 내비게이션 제어와 관련된 모션으로 인식되는 경우 상기 제어 명령을 생성할 수 있다.
일 실시예에서, 상기 제어기는 차량의 주행 환경에 기초하여 상기 제1 영역에서 인식되는 사용자의 모션과 상기 제2 영역에서 인식되는 사용자의 모션의 우선 순위를 결정할 수 있다.
일 실시예에서, 상기 제어기는 상기 제1 영역에서 발생되는 사용자의 제1 모션, 상기 제2 영역에서 발생되는 사용자의 제2 모션 및 상기 제3 영역에서 발생되는 사용자의 제3 모션 중 적어도 하나의 모션을 인식하고, 상기 제1 모션, 제2 모션 및 제3 모션 중 적어도 2개의 모션이 기설정된 모션 조합에 대응하는 경우 대응되는 제어 명령을 생성할 수 있다.
일 실시예에서, 상기 제어기는 상기 제1 영역, 제2 영역 및 제3 영역 중 적어도 하나의 영역에서 발생되는 사용자의 모션의 빈도 또는 패턴에 기초하여 상기 제1 영역, 제2 영역 또는 제3 영역의 크기 또는 너비를 결정할 수 있다.
일 실시예에서, 상기 사용자는 운전석에 탑승하는 제1 사용자 및 조수석에 탑승하는 제2 사용자를 포함하고, 상기 제1 영역은 상기 운전석을 포함하는 영역으로 정의되고, 상기 제2 영역은 상기 조수석을 포함하는 영역으로 정의될 수 있다.
일 실시예에서, 상기 제어기는 상기 제3 영역으로의 사용자의 모션 진입 방향 또는 기저장된 상기 사용자의 이미지에 기초하여 상기 제3 영역에서 발생된 사용자의 모션을 상기 제1 영역 또는 제2 영역에서 발생된 사용자의 모션으로 인식할 수 있다.
일 실시예에서, 상기 카메라는 상기 제1 사용자의 사용자 영상을 촬영하는 제1 카메라; 및 상기 제2 사용자의 사용자 영상을 촬영하는 제2 카메라를 포함할 수 있다.
일 실시예에서, 상기 제어기는 상기 제1 영역 및 제2 영역에 기 설정된 우선 순위에 기초하여 상기 제1 영역, 제2 영역 및 제3 영역 중 적어도 어느 하나의 영역에서 발생되는 사용자의 모션을 인식할 수 있다.
본 발명의 일 실시예에 따른 차량의 모션 인식 방법은 사용자 영상을 획득하는 단계, 상기 사용자 영상을 제1 영역, 제2 영역 및 상기 제1 영역과 제2 영역이 중첩되어 형성되는 제3 영역으로 구분하는 단계, 및 상기 제1 영역, 제2 영역 및 제3 영역 중 적어도 어느 하나의 영역에서 발생되는 사용자의 모션을 인식하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 영역은 제1 메인 영역 및 제1 서브 영역을 포함하고, 상기 제2 영역은 제2 메인 영역 및 제2 서브 영역을 포함할 수 있다.
일 실시예에서, 상기 제1 영역, 제2 영역 및 제3 영역 중 적어도 어느 하나의 영역에서 발생되는 사용자의 모션을 인식하는 단계는 상기 제1 서브 영역에서 인식되는 사용자의 모션보다 상기 제1 메인 영역에서 인식되는 사용자의 모션에 더 높은 우선 순위를 부여하고, 상기 제2 서브 영역에서 인식되는 사용자의 모션보다 상기 제2 메인 영역에서 인식되는 사용자의 모션에 더 높은 우선 순위를 부여할 수 있다.
일 실시예에서, 상기 제1 영역, 제2 영역 및 제3 영역 중 적어도 어느 하나의 영역에서 발생되는 사용자의 모션을 인식하는 단계는 상기 제1 영역에서 발생되는 사용자의 모션이 차량의 주행 제어와 관련된 모션으로 인식되는 경우 대응되는 제어 명령을 생성하고, 상기 제2 영역에서 발생되는 사용자의 모션이 차량의 주행 제어와 관련된 모션으로 인식되는 경우 상기 제어 명령을 생성하지 않을 수 있다.
일 실시예에서, 상기 제1 영역, 제2 영역 및 제3 영역 중 적어도 어느 하나의 영역에서 발생되는 사용자의 모션을 인식하는 단계는 차량이 주행중인 상태에서 상기 제2 영역에서 발생되는 사용자의 모션이 내비게이션 제어와 관련된 모션으로 인식되는 경우 대응되는 제어 명령을 생성하고, 상기 제1 영역에서 발생되는 사용자의 모션이 내비게이션 제어와 관련된 모션으로 인식되는 경우 상기 제어 명령을 생성하지 않을 수 있다.
일 실시예에서, 상기 제1 영역, 제2 영역 및 제3 영역 중 적어도 어느 하나의 영역에서 발생되는 사용자의 모션을 인식하는 단계는 상기 제1 영역 및 제2 영역에 기 설정된 우선 순위에 기초하여 상기 제1 영역, 제2 영역 및 제3 영역 중 적어도 어느 하나의 영역에서 발생되는 사용자의 모션을 인식할 수 있다.
본 발명의 일 실시예에 따른 차량의 모션 인식 장치 및 방법에 따르면 차량 내의 복수의 사용자로부터 발생되는 모션을 인식할 수 있다.
본 발명의 일 실시예에 따른 차량의 모션 인식 장치 및 방법에 따르면 차량 내의 사용자로부터 발생되는 모션의 인식률을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량의 모션 인식 장치를 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 사용자 영상의 제1 영역, 제2 영역 및 제3 영역에서의 차량의 모션 인식 장치의 동작을 설명하기 위한 도면이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 제3 영역의 변화를 설명하기 위한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 차량의 모션 인식 장치를 보여주는 블록도이다.
도 7은 본 발명의 또 다른 실시예에 따른 차량의 모션 인식 장치를 보여주는 블록도이다.
도 8은 본 발명의 일 실시예에 따른 차량의 모션 인식 방법을 보여주는 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 차량의 모션 인식 방법을 실행하기 위한 컴퓨팅 시스템을 보여준다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 차량의 모션 인식 장치를 보여주는 블록도이다. 도 2는 본 발명의 일 실시예에 따른 사용자 영상의 제1 영역, 제2 영역 및 제3 영역에서의 차량의 모션 인식 장치의 동작을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 차량의 모션 인식 장치(100)는 카메라(110) 및 제어기(120)를 포함할 수 있다.
카메라(110)는 차량 내의 사용자를 촬영하여 사용자 영상을 획득할 수 있다. 사용자는 운전석에 탑승하는 제1 사용자와 조수석에 탑승하는 제2 사용자를 포함할 수 있다. 예를 들어, 카메라(110)는 차량 내의 대쉬보드 상에 배치되어 제1 사용자 및 제2 사용자를 촬영할 수 있다.
제어기(120)는 사용자 영상을 이용하여 사용자의 모션을 인식할 수 있다. 이를 위해 제어기(120)는 사용자 영상을 복수의 영역으로 구분할 수 있다. 예를 들어, 제어기(120)는 사용자 영상을 제1 영역, 제2 영역 및 제3 영역으로 구분할 수 있으며, 여기서 제3 영역은 제1 영역과 제2 영역이 중첩되어 형성되는 영역으로 정의될 수 있다. 예를 들어, 제1 영역은 운전석을 포함하는 영역으로서 제1 사용자를 중심으로 형성되는 다각형, 원형, 타원형 영역으로 정의될 수 있고, 제2 영역은 조수석을 포함하는 영역으로서 제2 사용자를 중심으로 형성되는 다각형, 원형, 타원형 영역으로 정의될 수 있다.
제어기(120)는 제1 영역, 제2 영역 및 제3 영역 중 적어도 하나의 영역에서 발생되는 사용자의 모션을 인식할 수 있다. 따라서, 제어기(120)는 차량 내에 탑승한 다수의 사용자로부터 발생되는 모션을 인식할 수 있다. 제어기(120)는 잘 알려진 다양한 모션 인식 알고리즘에 기반하여 사용자 모션을 인식할 수 있다. 따라서
제어기(120)는 인식된 사용자 모션에 기반하여 제어 명령을 생성할 수 있고, 제어 명령을 이용하여 차량 내의 다양한 장치 또는 기기들의 동작을 제어할 수 있다.
이하에서는 도 2를 참조하여, 제어기(120)의 동작에 대해 구체적으로 설명한다.
도 2를 참조하면, 카메라(110)를 통해 획득되는 사용자 영상의 일 예가 도시된다. 상술한 바와 같이, 제어기(120)는 사용자 영상(200)을 제1 영역(210), 제2 영역(220), 및 제3 영역(230)으로 구분할 수 있다.
제1 영역(210)은 제1 메인 영역(211) 및 제1 서브 영역(212)을 포함할 수 있고, 제2 영역(220)은 제2 메인 영역(221) 및 제2 서브 영역(222)을 포함할 수 있다. 예를 들어, 제1 메인 영역(211)은 제1 사용자의 얼굴을 중심으로 형성되는 직사각형 영역으로 정의될 수 있고, 제1 서브 영역(212)은 제1 영역(210)에서 제1 메인 영역(211)을 제외한 나머지 영역으로 정의될 수 있다. 예를 들어, 제2 메인 영역(221)은 제2 사용자의 얼굴을 중심으로 형성되는 직사각형 영역으로 정의될 수 있고, 제2 서브 영역(222)은 제2 영역(220)에서 제2 메인 영역(221)을 제외한 나머지 영역으로 정의될 수 있다.
제어기(120)는 제1 서브 영역(212)에서 인식되는 사용자의 모션(ex. 제 1 사용자의 모션)보다 제1 메인 영역(211)에서 인식되는 사용자의 모션에 더 높은 우선 순위를 부여할 수 있다. 제어기(120)는 제2 서브 영역(222)에서 인식되는 사용자의 모션보다 제2 메인 영역(221)에서 인식되는 사용자의 모션에 더 높은 우선 순위를 부여할 수 있다.
예를 들면, 제1 서브 영역(212)에서 제1 사용자로부터 차량의 음향기기(ex. 인포테인먼트 시스템)의 볼륨을 낮추도록 제어하는 모션이 인식되고, 제1 메인 영역(211)에서 제1 사용자로부터 차량의 음향기기의 볼륨을 높이는 모션이 인식되는 경우, 제어기(120)는 제1 메인 영역(211)에서 인식된 차량의 음향기기의 볼륨을 높이는 모션에 기초하여 제어 명령을 생성할 수 있다.
제어기(120)는 제1 영역(210)에서 발생되는 사용자의 모션이 차량의 주행 제어와 관련된 모션으로 인식되는 경우 대응되는 제어 명령을 생성할 수 있고, 제2 영역(220)에서 발생되는 사용자의 모션이 차량의 주행 제어와 관련된 모션으로 인식되는 경우 제어 명령을 생성하지 않을 수 있다. 즉, 제어기(120)는 차량의 주행 제어와 관련된 모션에 대해서는 제1 사용자의 모션을 제2 사용자의 모션보다 우선하여 인식할 수 있다. 이는 차량의 주행 제어에 대해서는 제1 사용자, 즉, 운전자의 우선권을 보장하여 차량의 안전한 주행을 지원하기 위함이다. 예들 들어, 차량의 주행 제어와 관련된 모션은 차량의 변속 제어, 속도 제어, 주행 보조 장치들의 동작을 제어 등을 포함할 수 있으나 이에 제한되는 것은 아니다.
예를 들어, 제1 영역(210)에서 변속 제어 모션(ex. 기어단을 변경하도록 제어하는 모션)이 인식되는 경우 제어기(120)는 대응되는 제어 명령을 생성할 수 있다. 하지만, 제2 영역(220)에서 변속 제어 모션이 인식되는 경우 제어기(120)는 대응되는 제어 명령을 생성하지 않을 수 있다.
제어기(120)는 차량이 주행중인 상태에서 제2 영역(220)에서 발생되는 사용자의 모션이 내비게이션 제어(ex. 차량의 인포테인먼트 시스템과 관련된 제어)와 관련된 모션으로 인식되는 경우 대응되는 제어 명령을 생성하고, 제1 영역(210)에서 발생되는 사용자의 모션이 내비게이션 제어와 관련된 모션으로 인식되는 경우 제어 명령을 생성하지 않을 수 있다. 즉, 제어기(120)는 제1 사용자에 의한 조작이 불가능한 제어 명령(ex. 차량이 주행 중인 상태에서 내비게이션 목적지 입력을 위한 모션)과 관련된 사용자 모션이 제1 영역(210)에서 인식되는 경우 제어 명령을 생성하지 않을 수 있다. 한편, 제1 사용자에 의한 조작이 불가능한 제어 명령과 관련된 사용자 모션은 상술한 목적지 입력을 위한 모션 이외에도 블루투스 연결을 위한 사용자 모션을 더 포함할 수 있다.
제어기(120)는 차량의 주행 환경에 기초하여 제1 영역(210)에서 인식되는 사용자의 모션과 제2 영역(220)에서 인식되는 사용자의 모션의 우선 순위를 결정할 수 있다.
예를 들어, 제어기(120)는 차량의 속도가 일정 속도(ex. 100 km/h) 이상인 경우 안전을 위해 제2 영역(220)에서 인식되는 사용자의 모션을 제1 영역(210)에서 인식되는 사용자의 모션보다 우선하여 인식할 수 있다. 또한, 예를 들어, 제어기(120)는 차량의 주행 보조 장치가 동작 중인 경우에는 차량의 속도가 일정 속도 이상인 경우에도 제1 영역(210)에서 인식되는 사용자의 모션을 제2 영역(220)에서 인식되는 사용자의 모션보다 우선하여 인식할 수 있다.
제어기(120)는 제1 영역(210)에서 발생되는 사용자의 제1 모션, 제2 영역(220)에서 발생되는 사용자의 제2 모션 및 제3 영역(230)에서 발생되는 사용자의 제3 모션을 인식하고, 제1 모션, 제2 모션 및 제3 모션 중 적어도 2개의 모션이 기설정된 모션 조합에 대응하는 경우 대응되는 제어 명령을 생성할 수 있다. 예를 들어, 기설정된 모션 조합은 제1 모션은 'O', 제2 모션은 '△'인 경우와 같이 다양한 조합으로 설정될 수 있다. 제어기(120)는 제1 모션과 제2 모션이 기설정된 모션 조합에 대응하는 경우 음악 재생, 사용자 설정 화면 출력 등 다양한 기능을 실행하는 제어 명령을 생성함으로써 사용자의 편의성을 향상시킬 수 있고, 흥미를 유발할 수 있다.
제어기(120)는 제3 영역(230)에서 사용자의 모션이 발생되는 경우 제3 영역(230)으로의 사용자의 모션의 진입 방향 또는 기저장된 사용자 이미지와의 매칭 결과(ex. 이미지 분석을 통해 사용자의 손이 누구의 손인지 확인)에 기초하여 제3 영역(230)에서 발생된 사용자의 모션을 제1 영역(210) 또는 제2 영역(220)에서 발생된 사용자의 모션으로 인식할 수 있다. 예를 들어, 제어기(120)는 제1 영역(210)으로부터 제3 영역(230)으로 진입한 사용자의 손을 통해 발생되는 모션은 제1 사용자의 모션으로 인식할 수 있고, 따라서 제1 영역(210)에서 발생된 사용자의 모션으로 인식할 수 있다.
예를 들어, 제어기(120) 제3 영역(230)에서 발생되는 사용자의 모션이 인식되는 경우, 사용자의 모션을 제1 영역(210) 또는 제2 영역(220)에 탑승한 사용자의 모션으로 판단할 수 있다. 제어기(120)는 사용자의 모션이 제1 영역(210)에 탑승한 사용자의 내비게이션 제어와 관련된 모션으로 인식되는 경우 제어 명령을 생성하지 않고, 사용자의 모션이 제2 영역(220)에 탑승한 사용자의 내비게이션 제어와 관련된 모션으로 인식되는 경우 제어 명령을 생성할 수 있다.
제어기(120)는 제1 영역(210) 및 제2 영역(220)에 기 설정된 우선 순위에 기초하여 제1 영역(210), 제2 영역(220) 및 제3 영역(230) 중 적어도 어느 하나의 영역에서 발생되는 사용자의 모션을 인식할 수 있다. 이를 위해, 제어기(120)는 차량의 특정 기능을 실행하기 위한 제어 명령에 대응되는 사용자의 모션이 인식되는 영역에 대해 제1 영역(210) 및 제2 영역(220)에 우선 순위를 부여할 수 있다. 예를 들어, 제어기(120)는 차량의 인포테인먼트 시스템을 동작시키기 위한 제어 명령에 대응되는 사용자의 모션이 인식되는 영역의 경우 제2 영역(220)보다 제1 영역(210)에 높은 우선 순위를 부여할 수 있다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 제3 영역의 변화를 설명하기 위한 도면이다.
도 3 내지 도 5를 참조하면, 제어기(120)는 제1 영역(210), 제2 영역(220) 및 제3 영역(230) 중 적어도 하나의 영역에서 발생되는 사용자의 모션의 빈도 또는 패턴에 기초하여 제1 영역(210), 제2 영역(220) 또는 제3 영역(230)의 크기 또는 너비를 결정할 수 있다. 예를 들어, 제어기(120)는 사용자의 모션의 빈도 또는 패턴 정보를 사용자의 입력, 다른 디바이스와의 통신을 통해 획득할 수 있으며, 카메라(110)를 통해 소정 기간동안 획득되는 사용자 영상을 축적 및 분석하여 사용자의 모션의 빈도 또는 패턴 정보를 생성할 수도 있다.
예를 들어, 도 3을 참조하면, 제어기(120)는 제1 영역(210)에서 발생되는 사용자의 모션의 빈도가 제2 영역(220)에서 발생되는 사용자의 모션의 빈도보다 높은 경우 제1 영역(210)을 제2 영역(220)보다 넓게 결정할 수 있다.
예를 들어, 도 4를 참조하면, 제어기(120)는 제1 영역(210) 및 제2 영역(220)에서 사용자의 모션이 발생되는 위치의 분포가 산발적인 경우(즉, 사용자의 모션이 발생되는 패턴이 산발적인 경우), 제1 영역(210) 및 제2 영역(220)의 크기 또는 너비를 확대시킬 수 있다.
또한, 예를 들어, 제어기(120)는 제3 영역(230)에서 발생되는 사용자의 모션의 빈도가 제1 영역(210) 및 제2 영역(220)에서 발생되는 모션의 빈도보다 높은 경우 제3 영역(230)을 가장 넓게 설정할 수 있다. 이는 제1 영역(210) 및 제2 영역(220)이 중첩되는 영역을 확대함으로써 가능할 수 있다.
상술한 바와 같이, 제어기(120)는 제1 영역(210), 제2 영역(220), 및 제3 영역(230)의 크기 또는 너비를 적응적으로 결정함으로써 모션 인식률을 향상시킬 수 있다.
도 6은 본 발명의 다른 실시예에 따른 차량의 모션 인식 장치의 카메라를 보여주는 블록도이다.
도 6을 참조하면, 본 발명의 다른 실시예에 따른 차량의 모션 인식 장치의 카메라(110)는 제1 카메라(111) 및 제2 카메라(112)를 포함할 수 있다.
제1 카메라(111)는 제1 사용자(ex. 운전자)의 사용자 영상을 획득할 수 있다.
제2 카메라(112)는 제2 사용자(ex. 조수석 탑승자)의 사용자 영상을 획득할 수 있다.
이와 같이, 본 발명의 다른 실시예에 따른 차량의 모션 인식 장치의 카메라(110)는 제1 카메라(111) 및 제2 카메라(112)를 포함함으로써 사용자 별로 사용자 영상을 획득할 수 있어 모션 인식률을 더욱 향상시킬 수 있다.
도 7은 본 발명의 또 다른 실시예에 따른 차량의 모션 인식 장치를 보여주는 블록도이다.
도 7을 참조하면, 본 발명의 또 다른 실시예에 따른 차량의 모션 인식 장치(300)는 카메라(310), 음성 인식부(320), 및 제어기(330)를 포함할 수 있다. 여기서, 카메라(310)는 도 1 및 도 6을 참조하여 설명한 카메라(110)와 실질적으로 동일할 수 있으므로 중복되는 설명은 생략한다.
음성 인식부(320)는 입력되는 사용자의 음성을 인식할 수 있다. 예를 들어, 음성 인식부(320)는 입력되는 사용자의 음성에 기반하여 사용자를 식별할 수 있고, 사용자의 감정 상태, 사용자들 간의 관계, 사용자의 성별 등을 분석할 수도 있다.
제어기(330)는 음성 인식부(320)로부터 전달되는 사용자 인식 결과, 사용자의 감정 상태, 사용자들 간의 관계, 사용자의 성별 등에 기초하여 제1 영역(210) 및 제2 영역(220)에 사용자의 모션 인식에 관한 우선 순위를 설정할 수 있다. 예를 들어, 제어기(330)는 제1 사용자가 제2 사용자보다 연장자이거나, 대화의 주도권을 갖고 있는 경우 제2 영역(220)보다 제1 영역(210)에 높은 우선 순위를 설정할 수 있다. 또한, 예를 들어, 제어기(330)는 제2 사용자가 여성이고, 제1 사용자가 남성인 경우 제1 영역(210)보다 제2 영역(220)에 높은 우선 순위를 설정할 수 있다.
제어기(330)는 카메라(310)로부터 전달되는 사용자 영상에 기초하여 제1 영역(210) 및 제2 영역(220)에 사용자의 모션 인식에 관한 우선 순위를 설정할 수 있다. 예를 들어, 제어기(330)는 사용자 영상에 나타난 사용자의 표정 등을 분석한 결과, 제1 사용자의 모션 인식이 더욱 시급한 경우, 제2 영역(220)보다 제1 영역(210)에 높은 우선 순위를 설정할 수 있다.
따라서, 본 발명의 또 다른 실시예에 따른 차량의 모션 인식 장치(300)에 따르면 다양한 상황에 적응적으로 사용자 모션 인식이 가능하므로 사용자의 편의성이 향상될 수 있고, 모션 인식률 또한 향상될 수 있다.
도 8은 본 발명의 일 실시예에 따른 차량의 모션 인식 방법을 보여주는 흐름도이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 차량의 모션 인식 방법은 사용자 영상을 획득하는 단계(S110), 사용자 영상을 제1 영역, 제2 영역, 및 제1 영역과 제2 영역이 중첩되어 형성되는 제3 영역으로 구분하는 단계(S120), 및 제1 영역, 제2 영역 및 제3 영역 중 적어도 어느 하나의 영역에서 발생되는 사용자의 모션을 인식하는 단계(S130)를 포함할 수 있다.
이하에서는 도 1 및 도 2를 참조하여 상술한 S110 단계 내지 S130 단계를 구체적으로 설명한다.
S110 단계에서, 카메라(110)는 차량 내의 사용자를 촬영하여 사용자 영상을 획득할 수 있다. 사용자는 운전석에 탑승하는 제1 사용자와 조수석에 탑승하는 제2 사용자를 포함할 수 있다.
S120 단계에서, 제어기(120)는 사용자 영상을 복수의 영역으로 구분할 수 있다. 예를 들어, 제어기(120)는 사용자 영상을 제1 영역, 제2 영역 및 제3 영역으로 구분할 수 있으며, 여기서 제3 영역은 제1 영역과 제2 영역이 중첩되어 형성되는 영역으로 정의될 수 있다. 예를 들어, 제1 영역은 운전석을 포함하는 영역으로서 제1 사용자를 중심으로 형성되는 다각형, 원형, 타원형 영역으로 정의될 수 있고, 제2 영역은 조수석을 포함하는 영역으로서 제2 사용자를 중심으로 형성되는 다각형, 원형, 타원형 영역으로 정의될 수 있다.
S130 단계에서, 제어기(120)는 제1 영역, 제2 영역 및 제3 영역 중 적어도 하나의 영역에서 발생되는 사용자의 모션을 인식할 수 있다. 따라서, 제어기(120)는 차량 내에 탑승한 다수의 사용자로부터 발생되는 모션을 인식할 수 있다. 제어기(120)는 잘 알려진 다양한 모션 인식 알고리즘에 기반하여 사용자 모션을 인식할 수 있다. 제어기(120)는 인식된 사용자 모션에 기반하여 제어 명령을 생성할 수 있고, 제어 명령을 이용하여 차량 내의 다양한 장치 또는 기기들의 동작을 제어할 수 있다.
한편, 사용자 영상의 제1 영역(210)은 제1 메인 영역(211) 및 제1 서브 영역(212)을 포함할 수 있고, 제2 영역(220)은 제2 메인 영역(221) 및 제2 서브 영역(222)을 포함할 수 있다.
제어기(120)는 제1 서브 영역(212)에서 인식되는 사용자의 모션(ex. 제 1 사용자의 모션)보다 제1 메인 영역(211)에서 인식되는 사용자의 모션에 더 높은 우선 순위를 부여할 수 있다. 제어기(120)는 제2 서브 영역(222)에서 인식되는 사용자의 모션보다 제2 메인 영역(221)에서 인식되는 사용자의 모션에 더 높은 우선 순위를 부여할 수 있다.
제어기(120)는 제1 영역(210)에서 발생되는 사용자의 모션이 차량의 주행 제어와 관련된 모션으로 인식되는 경우 대응되는 제어 명령을 생성할 수 있고, 제2 영역(220)에서 발생되는 사용자의 모션이 차량의 주행 제어와 관련된 모션으로 인식되는 경우 제어 명령을 생성하지 않을 수 있다. 즉, 제어기(120)는 차량의 주행 제어와 관련된 모션에 대해서는 제1 사용자의 모션을 제2 사용자의 모션보다 우선하여 인식할 수 있다. 이는 차량의 주행 제어에 대해서는 제1 사용자, 즉, 운전자의 우선권을 보장하여 차량의 안전한 주행을 지원하기 위함이다.
제어기(120)는 차량이 주행중인 상태에서 제2 영역(220)에서 발생되는 사용자의 모션이 내비게이션 제어와 관련된 모션으로 인식되는 경우 대응되는 제어 명령을 생성하고, 제1 영역(210)에서 발생되는 사용자의 모션이 내비게이션 제어와 관련된 모션으로 인식되는 경우 제어 명령을 생성하지 않을 수 있다. 즉, 제어기(120)는 제1 사용자에 의한 조작이 불가능한 제어 명령(ex. 차량이 주행 중인 상태에서 내비게이션 목적지 입력을 위한 모션)과 관련된 사용자 모션이 제1 영역(210)에서 인식되는 경우 제어 명령을 생성하지 않을 수 있다.
제어기(120)는 차량의 주행 환경에 기초하여 제1 영역(210)에서 인식되는 사용자의 모션과 제2 영역(220)에서 인식되는 사용자의 모션의 우선 순위를 결정할 수 있다.
제어기(120)는 제1 영역(210)에서 발생되는 사용자의 제1 모션과 제2 영역(220)에서 발생되는 사용자의 제2 모션을 인식하고, 제1 모션과 제2 모션이 기설정된 모션 조합에 대응하는 경우 대응되는 제어 명령을 생성할 수 있다. 예를 들어, 기설정된 모션 조합은 제1 모션은 'O', 제2 모션은 '△'인 경우와 같이 다양한 조합으로 설정될 수 있다. 제어기(120)는 제1 모션과 제2 모션이 기설정된 모션 조합에 대응하는 경우 음악 재생, 사용자 설정 화면 출력 등 다양한 기능을 실행하는 제어 명령을 생성함으로써 사용자의 편의성을 향상시킬 수 있고, 흥미를 유발할 수 있다.
제어기(120)는 제3 영역(230)에서 사용자의 모션이 발생되는 경우 제3 영역(230)으로의 사용자의 모션의 진입 방향 또는 기저장된 사용자 이미지와의 매칭 결과(ex. 이미지 분석을 통해 사용자의 손이 누구의 손인지 확인)에 기초하여 제3 영역(230)에서 발생된 사용자의 모션을 제1 영역(210) 또는 제2 영역(220)에서 발생된 사용자의 모션으로 인식할 수 있다.
제어기(120)는 제1 영역(210) 및 제2 영역(220)에 기 설정된 우선 순위에 기초하여 제1 영역(210), 제2 영역(220) 및 제3 영역(230) 중 적어도 어느 하나의 영역에서 발생되는 사용자의 모션을 인식할 수 있다.
도 9는 본 발명의 일 실시예에 따른 차량의 모션 인식 방법을 실행하기 위한 컴퓨팅 시스템을 보여준다.
도 9를 참조하면, 상술한 본 발명의 일 실시예에 따른 차량의 모션 인식 방법은 컴퓨팅 시스템을 통해서도 구현될 수 있다. 컴퓨팅 시스템(1000)은 시스템 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100, 300: 차량의 모션 인식 장치
110, 310: 카메라
111: 제 1 카메라
112: 제 2 카메라
120, 330: 제어기
320: 음성인식부
1000: 컴퓨팅 시스템
1100: 프로세서
1200: 시스템 버스
1300: 메모리
1310: ROM
1320: RAM
1400: 사용자 인터페이스 입력장치
1500: 사용자 인터페이스 출력장치
1600: 스토리지
1700: 네트워크 인터페이스

Claims (20)

  1. 사용자 영상을 획득하는 카메라; 및
    상기 사용자 영상을 제1 영역, 제2 영역 및 상기 제1 영역과 제2 영역이 중첩되어 형성되는 제3 영역으로 구분하고, 상기 제1 영역, 제2 영역 및 제3 영역 중 적어도 어느 하나의 영역에서 발생되는 사용자의 모션을 인식하는 제어기를 포함하는 차량의 모션 인식 장치.
  2. 제 1 항에 있어서,
    상기 제1 영역은 제1 메인 영역 및 제1 서브 영역을 포함하고, 상기 제2 영역은 제2 메인 영역 및 제2 서브 영역을 포함하는 것을 특징으로 하는 차량의 모션 인식 장치.
  3. 제 2 항에 있어서,
    상기 제어기는 상기 제1 서브 영역에서 인식되는 사용자의 모션보다 상기 제1 메인 영역에서 인식되는 사용자의 모션에 더 높은 우선 순위를 부여하고, 상기 제2 서브 영역에서 인식되는 사용자의 모션보다 상기 제2 메인 영역에서 인식되는 사용자의 모션에 더 높은 우선 순위를 부여하는 것을 특징으로 하는 차량의 모션 인식 장치.
  4. 제 3 항에 있어서,
    상기 제어기는 상기 우선 순위에 기초하여 상기 인식된 사용자의 모션에 대응하는 제어 명령을 생성하는 것을 특징으로 하는 차량의 모션 인식 장치.
  5. 제 1 항에 있어서,
    상기 제어기는 상기 제1 영역에서 발생되는 사용자의 모션이 차량의 주행 제어와 관련된 모션으로 인식되는 경우 대응되는 제어 명령을 생성하고, 상기 제2 영역에서 발생되는 사용자의 모션이 차량의 주행 제어와 관련된 모션으로 인식되는 경우 상기 제어 명령을 생성하지 않는 것을 특징으로 하는 차량의 모션 인식 장치.
  6. 제 1 항에 있어서,
    상기 제어기는 차량이 주행중인 상태에서 상기 제2 영역에서 발생되는 사용자의 모션이 인포테인먼트 시스템의 제어와 관련된 모션으로 인식되는 경우 대응되는 제어 명령을 생성하고, 상기 제1 영역에서 발생되는 사용자의 모션이 인포테인먼트 시스템의 제어와 관련된 모션으로 인식되는 경우 상기 제어 명령을 생성하지 않는 것을 특징으로 하는 차량의 모션 인식 장치.
  7. 제 1 항에 있어서,
    상기 제어기는 상기 제3 영역에서 발생되는 사용자의 모션이 인식되는 경우, 상기 사용자의 모션을 상기 제1 영역 또는 제2 영역에 탑승한 사용자의 모션으로 판단하고, 상기 사용자의 모션이 상기 제1 영역에 탑승한 사용자의 인포테인먼트 시스템의 제어와 관련된 모션으로 인식되는 경우 제어 명령을 생성하지 않고, 상기 사용자의 모션이 상기 제2 영역에 탑승한 사용자의 내비게이션 제어와 관련된 모션으로 인식되는 경우 상기 제어 명령을 생성하는 것을 특징으로 하는 차량의 모션 인식 장치.
  8. 제 1 항에 있어서,
    상기 제어기는 차량의 주행 환경에 기초하여 상기 제1 영역에서 인식되는 사용자의 모션과 상기 제2 영역에서 인식되는 사용자의 모션의 우선 순위를 결정하는 것을 특징으로 하는 차량의 모션 인식 장치.
  9. 제 1 항에 있어서,
    상기 제어기는 상기 제1 영역에서 발생되는 사용자의 제1 모션, 상기 제2 영역에서 발생되는 사용자의 제2 모션 및 상기 제3 영역에서 발생되는 사용자의 제3 모션 중 적어도 하나의 모션을 인식하고, 상기 제1 모션, 제2 모션 및 제3 모션 중 적어도 2개의 모션이 기설정된 모션 조합에 대응하는 경우 대응되는 제어 명령을 생성하는 것을 특징으로 하는 차량의 모션 인식 장치.
  10. 제 1 항에 있어서,
    상기 제어기는 상기 제1 영역, 제2 영역 및 제3 영역 중 적어도 하나의 영역에서 발생되는 사용자의 모션의 빈도 또는 패턴에 기초하여 상기 제1 영역, 제2 영역 또는 제3 영역의 크기 또는 너비를 설정하는 것을 특징으로 하는 차량의 모션 인식 장치.
  11. 제 1 항에 있어서,
    상기 사용자는 운전석에 탑승하는 제1 사용자 및 조수석에 탑승하는 제2 사용자를 포함하고, 상기 제1 영역은 상기 운전석을 포함하는 영역으로 정의되고, 상기 제2 영역은 상기 조수석을 포함하는 영역으로 정의되는 것을 특징으로 하는 차량의 모션 인식 장치.
  12. 제 11 항에 있어서,
    상기 제어기는 상기 제3 영역으로의 사용자의 모션 진입 방향 또는 기저장된 상기 사용자의 이미지에 기초하여 상기 제3 영역에서 발생된 사용자의 모션을 상기 제1 영역 또는 제2 영역에서 발생된 사용자의 모션으로 인식하는 것을 특징으로 하는 차량의 모션 인식 장치.
  13. 제 11 항에 있어서,
    상기 카메라는 상기 제1 사용자의 사용자 영상을 촬영하는 제1 카메라; 및
    상기 제2 사용자의 사용자 영상을 촬영하는 제2 카메라를 포함하는 것을 특징으로 하는 차량의 모션 인식 장치.
  14. 제 1 항에 있어서,
    상기 제어기는 상기 제1 영역 및 제2 영역에 기 설정된 우선 순위에 기초하여 상기 제1 영역, 제2 영역 및 제3 영역 중 적어도 어느 하나의 영역에서 발생되는 사용자의 모션을 인식하는 것을 특징으로 하는 차량의 모션 인식 장치.
  15. 사용자 영상을 획득하는 단계;
    상기 사용자 영상을 제1 영역, 제2 영역 및 상기 제1 영역과 제2 영역이 중첩되어 형성되는 제3 영역으로 구분하는 단계; 및
    상기 제1 영역, 제2 영역 및 제3 영역 중 적어도 어느 하나의 영역에서 발생되는 사용자의 모션을 인식하는 단계를 포함하는 차량의 모션 인식 방법.
  16. 제 15 항에 있어서,
    상기 제1 영역은 제1 메인 영역 및 제1 서브 영역을 포함하고, 상기 제2 영역은 제2 메인 영역 및 제2 서브 영역을 포함하는 것을 특징으로 하는 차량의 모션 인식 방법.
  17. 제 16 항에 있어서,
    상기 제1 영역, 제2 영역 및 제3 영역 중 적어도 어느 하나의 영역에서 발생되는 사용자의 모션을 인식하는 단계는 상기 제1 서브 영역에서 인식되는 사용자의 모션보다 상기 제1 메인 영역에서 인식되는 사용자의 모션에 더 높은 우선 순위를 부여하고, 상기 제2 서브 영역에서 인식되는 사용자의 모션보다 상기 제2 메인 영역에서 인식되는 사용자의 모션에 더 높은 우선 순위를 부여하는 것을 특징으로 하는 차량의 모션 인식 방법.
  18. 제 15 항에 있어서,
    상기 제1 영역, 제2 영역 및 제3 영역 중 적어도 어느 하나의 영역에서 발생되는 사용자의 모션을 인식하는 단계는 상기 제1 영역에서 발생되는 사용자의 모션이 차량의 주행 제어와 관련된 모션으로 인식되는 경우 대응되는 제어 명령을 생성하고, 상기 제2 영역에서 발생되는 사용자의 모션이 차량의 주행 제어와 관련된 모션으로 인식되는 경우 상기 제어 명령을 생성하지 않는 것을 특징으로 하는 차량의 모션 인식 방법.
  19. 제 15 항에 있어서,
    상기 제1 영역, 제2 영역 및 제3 영역 중 적어도 어느 하나의 영역에서 발생되는 사용자의 모션을 인식하는 단계는 차량이 주행중인 상태에서 상기 제2 영역에서 발생되는 사용자의 모션이 인포테인먼트 시스템의 제어와 관련된 모션으로 인식되는 경우 대응되는 제어 명령을 생성하고, 상기 제1 영역에서 발생되는 사용자의 모션이 인포테인먼트 시스템의 제어와 관련된 모션으로 인식되는 경우 상기 제어 명령을 생성하지 않는 것을 특징으로 하는 차량의 모션 인식 방법.
  20. 제 15 항에 있어서,
    상기 제1 영역, 제2 영역 및 제3 영역 중 적어도 어느 하나의 영역에서 발생되는 사용자의 모션을 인식하는 단계는 상기 제1 영역 및 제2 영역에 기 설정된 우선 순위에 기초하여 상기 제1 영역, 제2 영역 및 제3 영역 중 적어도 어느 하나의 영역에서 발생되는 사용자의 모션을 인식하는 것을 특징으로 하는 차량의 모션 인식 방법.
KR1020190096900A 2019-08-08 2019-08-08 차량의 모션 인식 장치 및 방법 KR20210017515A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190096900A KR20210017515A (ko) 2019-08-08 2019-08-08 차량의 모션 인식 장치 및 방법
US16/700,079 US11495034B2 (en) 2019-08-08 2019-12-02 Device and method for recognizing motion in vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190096900A KR20210017515A (ko) 2019-08-08 2019-08-08 차량의 모션 인식 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210017515A true KR20210017515A (ko) 2021-02-17

Family

ID=74498382

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190096900A KR20210017515A (ko) 2019-08-08 2019-08-08 차량의 모션 인식 장치 및 방법

Country Status (2)

Country Link
US (1) US11495034B2 (ko)
KR (1) KR20210017515A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021184356A1 (en) 2020-03-20 2021-09-23 Huawei Technologies Co., Ltd. Methods and systems for hand gesture-based control of a device

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5018926B2 (ja) * 2010-04-19 2012-09-05 株式会社デンソー 運転補助装置、及びプログラム
US8942881B2 (en) * 2012-04-02 2015-01-27 Google Inc. Gesture-based automotive controls
US9747898B2 (en) * 2013-03-15 2017-08-29 Honda Motor Co., Ltd. Interpretation of ambiguous vehicle instructions
KR101824921B1 (ko) * 2013-06-11 2018-02-05 삼성전자주식회사 제스처 기반 통신 서비스 수행 방법 및 장치
US10272920B2 (en) * 2013-10-11 2019-04-30 Panasonic Intellectual Property Corporation Of America Processing method, program, processing apparatus, and detection system
KR101537936B1 (ko) * 2013-11-08 2015-07-21 현대자동차주식회사 차량 및 그 제어방법
JP5899251B2 (ja) * 2014-01-29 2016-04-06 本田技研工業株式会社 車両用入力装置
US9381813B2 (en) * 2014-03-24 2016-07-05 Harman International Industries, Incorporated Selective message presentation by in-vehicle computing system
US9457816B2 (en) * 2014-07-21 2016-10-04 Ford Global Technologies, Llc Controlling access to an in-vehicle human-machine interface
KR101556521B1 (ko) * 2014-10-06 2015-10-13 현대자동차주식회사 휴먼 머신 인터페이스 장치, 그를 가지는 차량 및 그 제어 방법
KR101624180B1 (ko) * 2014-12-09 2016-05-25 현대자동차주식회사 단말기, 그를 가지는 차량 및 그의 제어 방법
US10181266B2 (en) * 2015-09-11 2019-01-15 Sony Corporation System and method to provide driving assistance
JP2017059103A (ja) * 2015-09-18 2017-03-23 パナソニックＩｐマネジメント株式会社 判定装置、判定方法、判定プログラムおよび記録媒体
US10272742B2 (en) * 2017-01-26 2019-04-30 GM Global Technology Operations LLC HVAC systems and methods for controlling zoned interior temperatures of a vehicle including display of thermographic anthropomorphic figures
US11702066B2 (en) * 2017-03-01 2023-07-18 Qualcomm Incorporated Systems and methods for operating a vehicle based on sensor data
KR101930462B1 (ko) * 2017-09-25 2018-12-17 엘지전자 주식회사 차량 제어 장치 및 그것을 포함하는 차량
EP3769510A1 (en) * 2018-05-07 2021-01-27 Apple Inc. User interfaces for viewing live video feeds and recorded video
US20200031228A1 (en) * 2018-07-24 2020-01-30 Panasonic Intellectual Property Management Co., Ltd. Vehicle and method for controlling electronic business transaction system
US11112875B1 (en) * 2020-03-20 2021-09-07 Huawei Technologies Co., Ltd. Methods and systems for controlling a device using hand gestures in multi-user environment

Also Published As

Publication number Publication date
US11495034B2 (en) 2022-11-08
US20210042544A1 (en) 2021-02-11

Similar Documents

Publication Publication Date Title
KR102395288B1 (ko) 홀로그램 표시 제어 장치 및 방법, 그리고 차량 시스템
US11481975B2 (en) Image processing method and apparatus, electronic device, and computer-readable storage medium
US7636663B2 (en) On-vehicle acoustic control system and method
US20190051302A1 (en) Technologies for contextual natural language generation in a vehicle
CN110770693A (zh) 手势操作装置及手势操作方法
KR102242068B1 (ko) 차량의 경적음 출력 제어 장치 및 방법
CN112558305B (zh) 显示画面的控制方法、装置、介质及抬头显示控制系统
US20180005057A1 (en) Apparatus and method for capturing face image of decreased reflection on spectacles in vehicle
EP4096218A1 (en) Video recording method using plurality of cameras, and device therefor
KR20210017515A (ko) 차량의 모션 인식 장치 및 방법
KR20220016423A (ko) 차량 및 그의 제어방법
JP2018055264A (ja) ジェスチャ検出装置
JP2024505968A (ja) 乗員発話検出方法及び装置、電子機器並びに記憶媒体
US20150030260A1 (en) Analysis system
US20210264911A1 (en) Apparatus and method for recognizing a voice in a vehicle
CN111045512A (zh) 车辆、输出车辆的信息的方法及计算机可读记录介质
CN113002461A (zh) Ar-hud系统的虚像位置调整方法、装置及存储介质
CN112783585A (zh) 界面调整方法、装置、电子设备、车辆及存储介质
KR102371513B1 (ko) 대화 시스템 및 대화 처리 방법
CN112109729A (zh) 用于车载系统的人机交互方法、装置和系统
US20150070267A1 (en) Misrecognition reducing motion recognition apparatus and method
CN114954323A (zh) 一种基于设备状态和用户行为的车辆控制方法以及装置
KR102299495B1 (ko) 자율주행 경고 장치, 그를 포함한 시스템 및 그 방법
KR101968620B1 (ko) 차량용 hmi 시스템 및 방법
JP2020144551A (ja) 制御装置および制御方法