KR20210070011A - 차량 내 모션 제어 장치 및 방법 - Google Patents

차량 내 모션 제어 장치 및 방법 Download PDF

Info

Publication number
KR20210070011A
KR20210070011A KR1020190159971A KR20190159971A KR20210070011A KR 20210070011 A KR20210070011 A KR 20210070011A KR 1020190159971 A KR1020190159971 A KR 1020190159971A KR 20190159971 A KR20190159971 A KR 20190159971A KR 20210070011 A KR20210070011 A KR 20210070011A
Authority
KR
South Korea
Prior art keywords
motion
subject
camera
control
target
Prior art date
Application number
KR1020190159971A
Other languages
English (en)
Inventor
주영성
오세민
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020190159971A priority Critical patent/KR20210070011A/ko
Publication of KR20210070011A publication Critical patent/KR20210070011A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G06K9/00832—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0059—Signal noise suppression
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 모션 제어 장치 및 방법에 관한 것으로, 차량에 설치되어 영상을 촬영하는 제1카메라, 및 상기 제1카메라를 통해 모션 인식 대상자가 아닌 미대상자를 인식하면 상기 영상에서 상기 미대상자의 모션을 필터링하고, 상기 필터링된 촬영 영상을 분석하여 상기 대상자의 모션을 인식하고 인식된 모션에 매칭되는 제어 명령을 확인하여 제어 대상의 동작을 제어하는 처리부를 포함한다.

Description

차량 내 모션 제어 장치 및 방법{IN-VEHICLE MOTION CONTROL APPARATUS AND METHOD}
본 발명은 차량 내 모션 제어 장치 및 방법에 관한 것이다.
운전자의 편의성을 향상시키기 위해 차량에 모션 제어 기술이 적용되고 있다. 이러한 모션 제어 기술은 운전자가 주행 중에 안전하게 차량 내 기기들을 조작할 수 있게 한다. 그러나, 종래의 모션 제어 기술은 차량에 운전자 외 동승자가 존재하는 경우 동승자의 모션을 제어 모션(제어 동작)으로 오인하여 오동작하는 상황이 발생한다. 이에, 다양한 환경에서도 모션 제어 정확도를 높일 수 있는 기술의 니즈가 높아지고 있다.
KR 100651034 B1 KR 1020160106653 A
본 발명은 카메라를 통해 획득한 영상에서 시선, 의상 및 신체 라인 등의 정보를 기반으로 모션 인식 미대상자를 필터링하여 모션 인식 대상자의 모션을 정확하게 인식할 수 있게 하는 차량 내 모션 인식 장치 및 방법을 제공하고자 한다.
상기한 과제를 해결하기 위하여, 본 발명의 일 실시 예에 따른 모션 제어 장치는 차량에 설치되어 영상을 촬영하는 제1카메라, 및 상기 제1카메라를 통해 모션 인식 대상자가 아닌 미대상자를 인식하면 상기 영상에서 상기 미대상자의 모션을 필터링하고, 상기 필터링된 촬영 영상을 분석하여 상기 대상자의 모션을 인식하고 인식된 모션에 매칭되는 제어 명령을 확인하여 제어 대상의 동작을 제어하는 처리부를 포함한다.
상기 제1카메라는, 조도 센서를 통해 주변 밝기를 측정하고 측정된 주변 밝기에 근거하여 조리개를 조절하는 것을 특징으로 한다.
상기 처리부는, 기정해진 모션 또는 음성 입력이 있는 경우 모션 제어 모드로 진입하는 것을 특징으로 한다.
상기 처리부는, 상기 대상자의 시선을 분석하여 제어 대상을 파악하는 것을 특징으로 한다.
상기 처리부는, 상기 대상자의 시선이 닿는 지점에 제어 대상이 존재하지 않거나 또는 상기 대상자의 모션이 상기 제어 대상에 매칭되는 제어 동작이 아닌 경우 상기 대상자의 모션 입력을 노이즈 처리하는 것을 특징으로 한다.
상기 처리부는, 상기 대상자의 의상 색상과 불일치하는 색상의 의상을 착용한 탑승자를 상기 미대상자로 식별하여 노이즈 처리하는 것을 특징으로 한다.
상기 처리부는, 기지정된 대상자 위치를 기준으로 탑승자의 신체 라인이 불연속성을 가지는 경우 해당 탑승자를 상기 미대상자로 인식하여 노이즈 처리하는 것을 특징으로 한다.
상기 제1카메라와 상이한 위치에 배치되며 상기 제1카메라의 촬영 영역과 일부 중첩되는 촬영 영역을 가지는 제2카메라를 더 포함하는 것을 특징으로 한다.
상기 처리부는, 상기 대상자의 모션이 상기 제1카메라의 촬영 영역을 벗어나는 경우, 상기 제1카메라 및 상기 제2카메라에 의해 촬영된 영상들을 분석하여 상기 대상자의 모션을 인식하는 것을 특징으로 한다.
한편, 본 발명의 일 실시 예에 따른 모션 제어 방법은 제1카메라를 통해 모션 인식 대상자가 아닌 미대상자를 인식하는 단계, 상기 제1카메라의 촬영 영상에서 상기 미대상자의 모션을 필터링하는 단계, 상기 필터링된 촬영 영상을 분석하여 상기 대상자의 모션을 인식하는 단계, 및 상기 대상자의 모션에 매칭되는 제어 명령을 확인하여 제어 대상의 동작을 제어하는 단계를 포함한다.
상기 미대상자의 모션을 필터링하는 단계는, 상기 대상자의 시선을 분석하여 제어 대상을 파악하는 단계를 포함하는 것을 특징으로 한다.
상기 미대상자의 모션을 필터링하는 단계는, 상기 대상자의 시선이 닿는 지점에 제어 대상이 존재하지 않거나 또는 상기 대상자의 모션이 상기 제어 대상에 매칭되는 제어 동작이 아닌 경우 상기 대상자의 모션 입력을 노이즈 처리하는 단계를 포함하는 것을 특징으로 한다.
상기 미대상자의 모션을 필터링하는 단계는, 상기 대상자의 의상 색상과 불일치하는 색상의 의상을 착용한 탑승자를 상기 미대상자로 식별하여 노이즈 처리하는 단계를 포함하는 것을 특징으로 한다.
상기 미대상자의 모션을 필터링하는 단계는, 기지정된 대상자 위치를 기준으로 탑승자의 신체 라인이 불연속성을 가지는 경우 해당 탑승자를 상기 미대상자로 인식하여 노이즈 처리하는 단계를 포함하는 것을 특징으로 한다.
상기 대상자의 모션을 인식하는 단계는, 상기 대상자의 모션이 상기 제1카메라의 촬영 영역을 벗어나는 경우, 상기 제1카메라 및 제2카메라에 의해 촬영된 영상들을 분석하여 상기 대상자의 모션을 인식하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 모션 제어의 정확도를 높여 더 넓은 영역의 모션 제어가 가능하게 한다.
본 발명에 따르면, 제어기들을 대체하여 내부 디자인의 높은 자유도를 얻을 수 있다.
정면을 응시하며 제어가 가능하여 안전주행을 할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 차량 제어 장치의 블록구성도.
도 2 및 도 3은 본 발명의 일 실시 예에 따른 미대상자의 모션 필터링을 설명하기 위한 도면.
도 4 및 도 5는 본 발명의 일 실시 예에 따른 하나의 카메라로 모션 인식이 어려운 경우 모션 제어를 설명하기 위한 도면.
도 6은 본 발명의 일 실시 예에 따른 모션 제어 방법을 도시한 흐름도.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시 예에 따른 차량 제어 장치의 블록구성도를 도시하고, 도 2 및 도 3은 본 발명의 일 실시 예에 따른 미대상자의 모션 필터링을 설명하기 위한 도면이며, 도 4 및 도 5는 본 발명의 일 실시 예에 따른 하나의 카메라로 모션 인식이 어려운 경우 모션 제어를 설명하기 위한 도면이다.
도 1을 참조하면, 모션 제어 장치(100)는 제1카메라(110), 제2카메라(120), 저장부(130), 차내기기(140) 및 처리부(150)를 포함한다.
제1카메라(110)는 차량에 설치되어 차량 실내를 촬영한다. 카메라(110)는 2차원 카메라 또는 3차원 카메라로 구현될 수 있다. 여기서, 3차원 카메라는 깊이(depth distance)를 알 수 있는 카메라로, TOF(Time of Flight) 카메라, 스테레오 카메라 또는 구조광(Structured Light) 카메라 등으로 구현될 수 있다.
제1카메라(110)는 조도 센서 및 이미지 센서 등을 포함할 수 있다. 조도 센서는 빛의 세기를 측정하는 것으로, 카메라(110)로 입사되는 빛의 세기를 측정한다. 이미지 센서는 CCD(charge coupled device) 이미지 센서(image sensor), CMOS(complementary metal oxide semi-conductor) 이미지 센서, CPD(charge priming device) 이미지 센서 및 CID(charge injection device) 이미지 센서 등과 같은 이미지 센서들 중 적어도 하나 이상의 이미지 센서로 구현될 수 있다.
제1카메라(110)는 이미지 센서를 통해 획득한 영상에 대해 노이즈(noise) 제거, 컬러재현, 파일 압축, 화질 조절 및 채도 조절 등의 이미지 처리를 수행하는 이미지 처리기를 포함할 수 있다.
제1카메라(110)는 조도 센서에 의해 감지되는 빛의 세기(밝기)에 근거하여 조리개를 조절하여 모션 인식을 위한 최적의 조도 및 명도를 조절한다. 제1카메라(110)는 조도 센서에 의해 측정된 빛의 세기를 기반으로 최적 노출 수치를 계산한다. 제1카메라(110)는 계산된 최적 노출 수치에 근거하여 조리개를 조절하여 렌즈를 통과하는 빛의 양을 조절한다.
제2카메라(120)는 차량 내 제1카메라(110)와 상이한 위치에 배치된다. 제2카메라(120)의 촬영 영역(촬영 범위)과 제1카메라(110)의 촬영 영역의 일부가 겹치도록 제1카메라(110)와 제2카메라(120)가 배치된다. 제2카메라(120)는 제1카메라(110)와 같이 2차원 카메라 또는 3차원 카메라로 구현될 수 있으며, 조도 센서 및 이미지 센서 등을 포함할 수 있다. 제2카메라(120)는 조도 센서를 통해 주변 밝기를 측정하고 측정된 주변 밝기에 근거하여 조리개를 조절하여 렌즈로 입사되는 빛의 양을 조절한다.
저장부(130)는 처리부(150)의 동작을 위한 프로그램을 저장할 수 있고, 처리부(150)의 입력 데이터 및/또는 출력 데이터를 임시로 저장할 수 있다. 저장부(130)는 시선 인식 알고리즘, 모션 인식 알고리즘, 노이즈 처리 알고리즘 및 학습 알고리즘 등을 저장할 수도 있다. 저장부(130)는 제어 대상별 제어 모션 정보 및 학습된 데이터를 데이터베이스 형태로 저장할 수 있다. 저장부(130)는 플래시 메모리(flash memory), 하드디스크(hard disk), SD 카드(Secure Digital Card), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read Only Memory, ROM), PROM(Programmable Read Only Memory), EEPROM(Electrically Erasable and Programmable ROM), EPROM(Erasable and Programmable ROM), 레지스터, 착탈형 디스크 및 웹 스토리지(web storage) 등의 저장매체(기록매체) 중 적어도 하나로 구현될 수 있다.
차내기기(140)는 차량에 탑재되어 정해진 기능을 수행하는 기기로, 전자제어장치(ECU: Electric Control Unit), AVN(Audio Video Navigation), 공조제어장치 및 멀티미디어 장치 등일 수 있다.
처리부(150)는 모션 제어 장치(100)의 전반적인 동작을 제어한다. 처리부(150)는 ASIC(Application Specific Integrated Circuit), DSP(Digital Signal Processor), PLD(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), CPU(Central Processing unit), 마이크로 컨트롤러(microcontrollers) 및 마이크로 프로세서(microprocessors) 중 적어도 하나로 구현될 수 있다.
처리부(150)는 모션 제어 모드 진입을 지시하는 명령(이하, 모션 제어 진입 명령)을 입력 받으면, 모션 제어 기능을 활성화한다. 모션 제어 진입 명령은 기정해진 모션 또는 음성으로 입력될 수 있다.
처리부(150)는 모션 제어 진입 명령에 따라 모션 제어 모드로 진입한다. 처리부(150)는 모션 제어 모드로 진입 시 제1카메라(110) 또는 제1카메라(110) 및 제2카메라(120)를 구동시킨다.
처리부(150)는 제1카메라(110)를 통해 영상을 촬영한다. 처리부(150)는 제1카메라(110)에 의해 촬영된 영상(촬영 영상)에서 모션 인식 대상자(이하, 대상자)를 인식한다. 처리부(150)는 촬영 영상에서 가장 큰 비중을 차지하는 색상 또는 패턴을 파악함으로써 대상자를 결정한다. 또한, 처리부(150)는 촬영 영상 내 모션 인식 대상자가 아닌 탑승자 즉, 모션 인식 미대상자(이하, 미대상자)를 인식한다.
처리부(150)는 촬영 영상에서 대상자 외 미대상자가 인식되면, 노이즈 처리를 통해 촬영 영상에서 미대상자(예: 동승자)를 필터링한다. 이를 위해, 처리부(150)는 다음의 3가지 구분 방식 중 적어도 하나를 이용하여 미대상자 필터링을 수행할 수 있다.
첫 번째는, 대상자의 시선 인식을 통해 제어 대상을 파악하여 모션 제어를 실시한다. 처리부(150)는 촬영 영상을 이용한 시선 인식을 통해 대상자(예: 운전자)의 시선을 검출한다. 처리부(150)는 대상자의 시선이 닿는 점 즉, 주시점에 위치하는 차내기기(140)를 제어 대상으로 인식한다. 처리부(150)는 촬영 영상을 분석하여 주시점의 위치를 산출하고 산출된 주시점의 위치에 매핑되는 차내기기(140)를 제어 대상으로 결정한다. 처리부(150)는 공지된 시선 인식 기술 중 적어도 하나를 이용하여 대상자의 시선을 감지할 수 있다. 한편, 처리부(150)는 주시점에 매핑되는 차내기기(140)가 존재하지 않는 경우, 촬영 영상에서 인식한 대상자의 모션을 노이즈 처리한다. 또한, 처리부(150)는 촬영 영상에서 인식한 대상자의 모션이 제어 대상과 매칭되는 제어 동작이 아닌 경우, 대상자의 모션을 노이즈 처리한다.
두 번째는, 대상자 및 미대상자의 의상을 비교하여 미대상자를 필터링한다. 처리부(150)는 촬영 영상에서 대상자의 RGB 색상을 파악한다. 차량 내 대상자가 위치하는 공간은 한정적이므로, 처리부(150)는 지정된 공간에 위치하는 탑승자를 대상자로 인식한다. 도 2를 참조하면, 처리부(150)는 제1카메라(110)의 촬영 영역(A) 내 기준 위치(Lref)에 위치하는 대상자의 의상 색상을 인식한다. 처리부(150)는 촬영 영상에서 대상자의 의상 색상과 일치하지 않는 의상을 입은 탑승자를 미대상자로 인식하여 해당 탑승자를 노이즈 처리한다. 예컨대, 처리부(150)는 대상자의 의상 색상과 불일치하는 색상의 의상 영역(N)을 노이즈로 처리한다. 본 실시 예에서는 설명의 이해를 돕기 위해 대상자와 탑승자의 의상 색상을 비교하는 것을 예로 들어 설명하고 있으나, 이에 한정되지 않고 의상 패턴 비교를 통해 미대상자를 필터링하도록 구현할 수도 있다.
세 번째로는, 촬영 영상 내 대상자의 얼굴 및 몸체의 연속성을 파악하여 불연속성을 가지는 탑승자의 모션을 노이즈 처리한다. 처리부(150)는 촬영 영상 내 대상자의 얼굴 및 몸체를 연결하는 기준선(Lref)을 기준으로 신체 라인이 연속성을 가지는 탑승자를 대상자로 인식한다. 또한, 처리부(150)는 기준선(Lref)을 기준으로 신체 라인이 불연속성을 가지는 탑승자를 미대상자로 인식하여 해당 미대상자의 모션을 노이즈 처리한다. 도 3을 참조하면, 처리부(150)는 촬영 영상에서 신체 라인(예: 팔 라인 또는 다리 라인 등) L1 및 L2를 추출하고, 기준선(Lref)을 기준으로 추출된 신체 라인 L1이 연속성을 가지는 경우 해당 신체 라인에 매칭되는 탑승자의 모션을 인식한다. 한편, 처리부(150)는 추출된 신체 라인 L2가 기준선(Lref)을 기준으로 불연속성을 가지는 경우, 해당 신체 라인에 매칭되는 탑승자의 모션을 노이즈 처리한다.
처리부(150)는 영상 분석을 통해 촬영 영상에서 미대상자의 모션을 필터링한 후, 대상자의 모션을 분석한다. 즉, 처리부(150)는 미대상자의 모션을 필터링한 촬영 영상을 분석하여 대상자의 모션을 인식한다. 처리부(150)는 인식된 대상자의 모션에 매핑되는 제어 명령을 확인한다. 처리부(150)는 제어 명령에 따라 제어 대상의 동작을 제어한다.
처리부(150)는 대상자의 모션 입력이 제1카메라(110)의 촬영 영역을 벗어난 경우, 학습된 데이터(학습 데이터)를 기반으로 입력된 대상자의 모션에 매핑되는 제어 명령을 결정한다. 한편, 처리부(150)는 학습 데이터를 기반으로 대상자의 모션에 매핑되는 제어 명령을 결정할 수 없는 경우, 제2카메라(120)를 통해 제1카메라(110)의 촬영 영역을 벗어난 대상자의 모션을 감지한다. 예를 들어, 도 4에 도시된 바와 같이, 제1카메라(110)의 제1촬영 영역을 벗어난 대상자의 모션을 감지하는 경우, 처리부(150)는 제2카메라(120)를 통해 제1카메라(110)의 제1촬영 영역을 벗어난 대상자의 모션을 촬영한다. 즉, 처리부(150)는 도 5와 같이 제2카메라(120)의 제2촬영 영역 내 대상자의 신체를 촬영한다. 처리부(150)는 제1카메라(110) 및 제2카메라(120)에 의해 촬영된 영상들을 분석하여 대상자의 모션을 인식한다.
도 6은 본 발명의 일 실시 예에 따른 모션 제어 방법을 도시한 흐름도이다.
처리부(150)는 제1카메라(110)에 의해 촬영된 영상(촬영 영상)에서 모션 인식 대상자가 아닌 미대상자를 인식한다(S110). 처리부(150)는 기정해진 모션 제어 진입 명령이 입력되면 모션 제어 모드로 진입한다. 여기서, 모션 제어 진입 명령은 기정해진 모션 또는 음성 메시지로 구현될 수 있다. 처리부(150)는 모션 제어 모드로 진입 시 제1카메라(110)를 통해 차량 실내를 촬영한다. 처리부(150)는 지정된 대상자 위치를 기준으로 제1카메라(110)의 촬영 영상에서 대상자와 미대상자를 식별한다.
처리부(150)는 미대상자가 인식되면, 영상 처리를 통해 촬영 영상에서 미대상자의 모션을 필터링한다(S120). 처리부(150)는 대상자의 의도치 않는 모션 입력을 구분하기 위해, 촬영 영상 분석을 통해 대상자의 시선을 인식하여 제어 대상을 파악한다. 다시 말해서, 처리부(150)는 대상자의 시선이 닿는 지점에 위치하는 차내기기(140)를 제어 대상으로 결정한다. 처리부(150)는 대상자의 시선이 닿는 지점에 위치하는 제어 대상이 존재하지 않거나 또는 대상자의 모션이 제어 대상에 매칭되는 제어 동작(제어 모션)이 아닌 경우, 대상자의 모션을 노이즈 처리한다. 처리부(150)는 촬영 영상 내 대상자의 의상 색상을 인식하고 대상자의 의상 색상과 불일치하는 색상의 의상을 입고 있는 탑승자를 미대상자로 인식하여 노이즈 처리한다. 또한, 처리부(150)는 촬영 영상에서 대상자의 머리와 몸체를 연결하는 기준선을 기준으로 연속성을 가지는 신체 라인을 포함하는 탑승자를 대상자로 인식한다. 한편, 처리부(150)는 기준선을 기준으로 불연속성을 가지는 신체 라인을 포함하는 탑승자을 미대상자로 인식하여 노이즈 처리한다.
처리부(150)는 필터링된 촬영 영상을 분석하여 대상자의 모션을 인식한다(S130). 이때, 처리부(150)는 대상자의 모션이 제어 대상과 매칭되는 제어 동작인지를 확인할 수 있다. 처리부(150)는 대상자의 모션이 제1카메라(110)의 촬영 영역을 벗어나는 경우, 제2카메라(120)를 통해 제1카메라(110)의 촬영 영역을 벗어난 영역을 촬영한다. 처리부(150)는 제1카메라(110) 및 제2카메라(120)에 의해 촬영된 영상들을 분석하여 대상자의 모션을 인식할 수 있다.
처리부(150)는 인식된 대상자의 모션에 대응하는 제어 명령을 매칭한다(S140). 예를 들어, 처리부(150)는 제어 대상이 멀티미디어 재생장치이며 인식된 대상자의 모션이 손을 좌에서 우로 이동하는 동작인 경우, 대상자의 모션에 매칭되는 제어 명령이 '다음 곡 재생'임을 확인할 수 있다.
처리부(150)는 제어 명령에 따라 제어 대상의 동작을 제어한다(S150). 예를 들어, 처리부(150)는 제어 명령이 '다음 곡 재생'인 경우, 멀티미디어 장치가 다음 곡을 재생하도록 제어한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: 제1카메라
120: 제2카메라
130: 저장부
140: 차내기기
150: 처리부

Claims (16)

  1. 차량에 설치되어 영상을 촬영하는 제1카메라, 및
    상기 제1카메라를 통해 모션 인식 대상자가 아닌 미대상자를 인식하면 상기 영상에서 상기 미대상자의 모션을 필터링하고, 상기 필터링된 촬영 영상을 분석하여 상기 대상자의 모션을 인식하고 인식된 모션에 매칭되는 제어 명령을 확인하여 제어 대상의 동작을 제어하는 처리부를 포함하는 모션 제어 장치.
  2. 제1항에 있어서,
    상기 제1카메라는, 조도 센서를 통해 주변 밝기를 측정하고 측정된 주변 밝기에 근거하여 조리개를 조절하는 것을 특징으로 하는 모션 제어 장치.
  3. 제1항에 있어서,
    상기 처리부는, 기정해진 모션 또는 음성 입력이 있는 경우 모션 제어 모드로 진입하는 것을 특징으로 하는 모션 제어 장치.
  4. 제1항에 있어서,
    상기 처리부는, 상기 대상자의 시선을 분석하여 제어 대상을 파악하는 것을 특징으로 하는 모션 제어 장치.
  5. 제4항에 있어서,
    상기 처리부는, 상기 대상자의 시선이 닿는 지점에 제어 대상이 존재하지 않거나 또는 상기 대상자의 모션이 상기 제어 대상에 매칭되는 제어 동작이 아닌 경우 상기 대상자의 모션 입력을 노이즈 처리하는 것을 특징으로 하는 모션 제어 장치.
  6. 제1항에 있어서,
    상기 처리부는, 상기 대상자의 의상 색상과 불일치하는 색상의 의상을 착용한 탑승자를 상기 미대상자로 식별하여 노이즈 처리하는 것을 특징으로 하는 모션 제어 장치.
  7. 제6항에 있어서,
    상기 대상자는, 상기 촬영 영상에서 가장 큰 비중을 차지하는 색상 또는 패턴을 파악하여 결정되는 것을 특징으로 하는 모션 제어 장치.
  8. 제1항에 있어서,
    상기 처리부는, 기지정된 대상자 위치를 기준으로 탑승자의 신체 라인이 불연속성을 가지는 경우 해당 탑승자를 상기 미대상자로 인식하여 노이즈 처리하는 것을 특징으로 하는 모션 제어 장치.
  9. 제1항에 있어서,
    상기 제1카메라와 상이한 위치에 배치되며 상기 제1카메라의 촬영 영역과 일부 중첩되는 촬영 영역을 가지는 제2카메라를 더 포함하는 것을 특징으로 하는 모션 제어 장치.
  10. 제9항에 있어서,
    상기 처리부는, 상기 대상자의 모션이 상기 제1카메라의 촬영 영역을 벗어나는 경우, 상기 제1카메라 및 상기 제2카메라에 의해 촬영된 영상들을 분석하여 상기 대상자의 모션을 인식하는 것을 특징으로 하는 모션 제어 장치.
  11. 제1카메라를 통해 모션 인식 대상자가 아닌 미대상자를 인식하는 단계,
    상기 제1카메라의 촬영 영상에서 상기 미대상자의 모션을 필터링하는 단계,
    상기 필터링된 촬영 영상을 분석하여 상기 대상자의 모션을 인식하는 단계, 및
    상기 대상자의 모션에 매칭되는 제어 명령을 확인하여 제어 대상의 동작을 제어하는 단계를 포함하는 모션 제어 방법.
  12. 제11항에 있어서,
    상기 미대상자의 모션을 필터링하는 단계는,
    상기 대상자의 시선을 분석하여 제어 대상을 파악하는 단계를 포함하는 것을 특징으로 하는 모션 제어 방법.
  13. 제12항에 있어서,
    상기 미대상자의 모션을 필터링하는 단계는,
    상기 대상자의 시선이 닿는 지점에 제어 대상이 존재하지 않거나 또는 상기 대상자의 모션이 상기 제어 대상에 매칭되는 제어 동작이 아닌 경우 상기 대상자의 모션 입력을 노이즈 처리하는 단계를 포함하는 것을 특징으로 하는 모션 제어 방법.
  14. 제11항에 있어서,
    상기 미대상자의 모션을 필터링하는 단계는,
    상기 대상자의 의상 색상과 불일치하는 색상의 의상을 착용한 탑승자를 상기 미대상자로 식별하여 노이즈 처리하는 단계를 포함하는 것을 특징으로 하는 모션 제어 방법.
  15. 제11항에 있어서,
    상기 미대상자의 모션을 필터링하는 단계는,
    기지정된 대상자 위치를 기준으로 탑승자의 신체 라인이 불연속성을 가지는 경우 해당 탑승자를 상기 미대상자로 인식하여 노이즈 처리하는 단계를 포함하는 것을 특징으로 하는 모션 제어 방법.
  16. 제11항에 있어서,
    상기 대상자의 모션을 인식하는 단계는,
    상기 대상자의 모션이 상기 제1카메라의 촬영 영역을 벗어나는 경우, 상기 제1카메라 및 제2카메라에 의해 촬영된 영상들을 분석하여 상기 대상자의 모션을 인식하는 단계를 포함하는 것을 특징으로 하는 모션 제어 방법.
KR1020190159971A 2019-12-04 2019-12-04 차량 내 모션 제어 장치 및 방법 KR20210070011A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190159971A KR20210070011A (ko) 2019-12-04 2019-12-04 차량 내 모션 제어 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190159971A KR20210070011A (ko) 2019-12-04 2019-12-04 차량 내 모션 제어 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210070011A true KR20210070011A (ko) 2021-06-14

Family

ID=76417638

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190159971A KR20210070011A (ko) 2019-12-04 2019-12-04 차량 내 모션 제어 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20210070011A (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100651034B1 (ko) 2004-12-08 2006-11-29 한국전자통신연구원 대상 물체 검출 시스템 및 그 방법
KR20160106653A (ko) 2014-01-10 2016-09-12 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 조정된 스피치 및 제스처 입력

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100651034B1 (ko) 2004-12-08 2006-11-29 한국전자통신연구원 대상 물체 검출 시스템 및 그 방법
KR20160106653A (ko) 2014-01-10 2016-09-12 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 조정된 스피치 및 제스처 입력

Similar Documents

Publication Publication Date Title
US8983151B2 (en) Apparatus for recognizing face based on environment adaptation
US10018804B2 (en) Apparatus and method for multiple mode image acquisition for iris imaging
US20170009509A1 (en) Device and method for opening trunk of vehicle, and recording medium for recording program for executing method
US10970572B2 (en) Driver condition detection system
US20060104454A1 (en) Method for selectively picking up a sound signal
US20140160252A1 (en) Redundant object detection for driver assistance systems
JP2012121386A (ja) 車載装置
US20150091714A1 (en) Filtering device and environment recognition system
KR20210070011A (ko) 차량 내 모션 제어 장치 및 방법
JP4668863B2 (ja) 撮像装置
TW201536609A (zh) 障礙物偵測裝置
KR102288753B1 (ko) 운전자 모니터링 장치 및 방법
KR20200120977A (ko) 차량 상태 관리 장치 및 방법
US20220309805A1 (en) Apparatus, method, and computer program for detecting lane boundary
KR20150028619A (ko) 오인식 저감형 모션 인식 장치 및 그 방법
JP7483060B2 (ja) 手検出装置、ジェスチャー認識装置および手検出方法
US10841495B2 (en) Vehicle camera device and exposure parameter setting method thereof
JP2009297321A (ja) 視線方向認識エラー検出装置
KR20160040335A (ko) 저조도 상황에서 영상 인식 개선을 위한 적외선 조명 기능을 포함한 저전력 차량용 영상 저장 장치 및 방법
TWI815046B (zh) 行車輔助方法及車載裝置
US20230106188A1 (en) Vehicular vision system with object classification based on change in orientation of object
US12001533B2 (en) Method and system for authenticating an occupant within an interior of a vehicle
JP2023047159A (ja) ジェスチャ検出装置、ドア開閉システム、及びジェスチャ検出方法
KR20040006703A (ko) 홍채 인식 시스템
JP2009252094A (ja) 顔画像検出装置

Legal Events

Date Code Title Description
A201 Request for examination