KR20150067680A - 차량용 제스처 인식 시스템 및 그 방법 - Google Patents

차량용 제스처 인식 시스템 및 그 방법 Download PDF

Info

Publication number
KR20150067680A
KR20150067680A KR1020130153472A KR20130153472A KR20150067680A KR 20150067680 A KR20150067680 A KR 20150067680A KR 1020130153472 A KR1020130153472 A KR 1020130153472A KR 20130153472 A KR20130153472 A KR 20130153472A KR 20150067680 A KR20150067680 A KR 20150067680A
Authority
KR
South Korea
Prior art keywords
hand
gesture
gesture recognition
vehicle
tracking area
Prior art date
Application number
KR1020130153472A
Other languages
English (en)
Other versions
KR101534742B1 (ko
Inventor
김선아
신동수
이정엄
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020130153472A priority Critical patent/KR101534742B1/ko
Priority to DE102014221510.2A priority patent/DE102014221510A1/de
Priority to US14/523,491 priority patent/US9383826B2/en
Priority to CN201410613752.5A priority patent/CN104699238B/zh
Publication of KR20150067680A publication Critical patent/KR20150067680A/ko
Application granted granted Critical
Publication of KR101534742B1 publication Critical patent/KR101534742B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

차량용 제스처 인식 시스템 및 그 방법이 개시된다.
본 발명의 실시 예에 따른 차량 내 설치되어 차량 내부를 촬영하는 카메라부; 및 상기 카메라부를 통해 획득된 상기 영상에서 검출된 탑승자 손의 위치를 중심으로 소정의 추적 영역(Region of Interest)을 설정하고 상기 추적 영역 내에서만 연산을 수행하여 제스처 정보를 인식하되, 상기 손의 움직임을 추적하여 상기 손의 움직임 방향으로는 상기 추적 영역을 연장하고, 상기 손의 움직임 방향과 수직한 방향으로는 상기 추적 영역을 축소하는 제스처 인식부를 포함한다.

Description

차량용 제스처 인식 시스템 및 그 방법{SYSTEM AND METHOD FOR GESTURE RECOGNITION OF VEHICLE}
본 발명은 차량용 제스처 인식 시스템 및 그 방법에 관한 것이다.
일반적으로 카메라 기반 제스처 인식 기술은 차량, 스마트 TV, 게임기, 휴대폰 등과 같이 다양한 분야에서 사용되고 있다.
이러한 카메라 기반 제스처 인식 기술에서는 제스처 인식 성공률과 함께, 획득된 영상에서 제스처를 인식 처리하는 속도에 따른 응답성이 매우 중요한 요소로 여겨지고 있다.
한편, 도 1은 종래의 제스처 인식 방법을 개략적으로 나타낸다.
첨부된 도 1을 참조하면, 종래의 제스처 인식 방법은 카메라를 통해 촬영된 영상을 획득하면, 그 영상에서 배경 이미지를 제거하여 손을 검출한 후 손을 추적하는 연산을 과정을 통해 제스처를 인식하고 있다.
이 때, 손의 추적 시 추적 영역을 넓게 볼수록 손이 빨리 움직일 경우에도 놓치지 않을 수 있기 때문에 종래의 인식 모듈에서는 영상을 이루고 있는 매 프레임마다 이미지 전체를 인식 범위로 하여 계산하는 과정을 포함하고 있다.
그러나, 추적영역이 넓을 경우에는 그 연산량이 많아 전체 시스템 처리 속도가 지연되어 응답성이 떨어지고 오 검출율이 증가하는 단점이 있다.
특히, 차량에 적용된 제스처 입력 시스템에서는 운전자의 제스처 입력 시 그 응답성과 인식 성공율이 떨어지게 되면 운전자의 반복적인 제스처 입력을 유발하게 되어 운전에 집중할 수 없을 뿐 아니라 자칫 대형 사고로 이어지는 문제가 있으므로 이러한 문제를 해결할 수 있는 방안이 절실하다.
본 발명의 실시 예는 차량 내에서 제스처 인식 시스템을 사용하는 경우 손의 중심점을 기준으로 소정 추적 영역(Region of Interest, ROI)을 설정하고, 손의 이동특성에 따른 추정 영역(ROI)을 제한하도록 재설정하여 추적 안정성 및 시스템 속도를 향상시키는 차량용 제스처 인식 시스템 및 그 방법을 제공하고자 한다.
본 발명의 일 측면에 따르면, 차량 내 설치되어 차량 내부를 촬영하는 카메라부; 및 상기 카메라부를 통해 획득된 영상에서 검출된 탑승자 손의 위치를 중심으로 소정의 추적 영역(Region of Interest)을 설정하고 상기 추적 영역 내에서만 연산을 수행하여 제스처 정보를 인식하되, 상기 손의 움직임을 추적하여 상기 손의 움직임 방향으로는 상기 추적 영역을 연장하고, 상기 손의 움직임 방향과 수직한 방향으로는 상기 추적 영역을 축소하는 제스처 인식부를 포함한다.
또한, 상기 제스처 인식부는, 상기 영상에서 배경 이미지를 제거한 후 전처리 작업을 통해 각 프레임에 대한 이미지 보정을 하는 영상 처리부; 및 전처리된 상기 영상에서 미리 저장된 손의 형태에 따른 특징점을 이용하여 상기 손을 검출하고, 검출된 손의 위치를 중심으로 상기 추적 영역을 설정하는 제스처 처리 모듈을 포함한다.
또한, 상기 제스처 인식 모듈은, 상기 영상에서 손의 색깔, 형태, 밝기의 특징점을 추출한 후 손의 형태 모델링을 통해 손을 검출할 수 있다.
또한, 상기 제스처 인식 모듈은, 검출된 손을 차량 내 설정된 픽셀 좌표계와 비교하여 손의 위치를 검출할 수 있다.
또한, 상기 제스처 인식 모듈은, 상기 손의 중심점이 소정 속도 이상으로 움직이면 상기 추적 영역을 재설정하고, 상기 소정 속도 미만으로 움직이면 상기 재설정된 추적영역을 원래의 추적영역으로 복원할 수 있다.
또한, 상기 제스처 인식 모듈은, 3프레임 이상 손의 위치를 추적한 후 상기 손의 움직임 속도 및 방향을 계산할 수 있다.
또한, 상기 제스처 인식부는, 차량 내 각종 편의 기능과 연계되는 제스처를 미리 저장하는 저장 모듈; 및 상기 제스처 인식 모듈에서 인식된 상기 제스처 정보와 상기 저장 모듈에 저장된 기능별 제스처를 비교하여 동일한 제스처가 검출되면 이에 매칭된 기능을 수행하는 제어 모듈을 더 포함할 수 있다.
또한, 상기 제어 모듈은, 제스처 입력 상태 여부와 그에 따른 기능별 동작 상황을 차량의 AVN(Audio video navigation system)시스템과 연동하여 시각적 또는 청각적으로 표시할 수 있다.
또한, 상기 제스처 정보는, 상기 손의 위치, 손의 형태 및 손이 움직는 이동궤적을 포함하고, 상기 손의 형태는 신체의 골격과 관절점, 가위, 바위, 보와 같이 손가락 일부를 꼽거나 편형태를 포함할 수 있다.
한편, 본 발명의 일 측면에 따른, 차량용 제스처 인식 시스템의 제스처 인식 방법은, a) 카메라부를 통해 획득된 차량 내 영상에서 검출된 탑승자 손의 위치를 중심으로 소정의 기본 추적 영역(Region of Interest)을 설정하는 단계; b) 상기 기본 추적 영역 내에서의 손의 움직임을 추적하여 손의 움직임 방향과 속도를 계산하는 단계; c) 상기 손의 움직임 속도가 소정 속도 이상이면, 상기 손의 움직임 방향으로는 추적 영역을 연장하고, 상기 손의 움직임 방향과 수직한 방향으로는 추적 영역을 축소하여 재설정하는 단계; 및 d) 상기한 과정으로 제스처 정보가 인식되면 상기 제스처 정보를 기 저장된 제스처와 비교하여 이에 매칭된 기능을 수행하는 단계를 포함한다.
또한, 상기 a) 단계는, 상기 획득된 영상에서 배경 이미지를 제거한 후 이미지 작업을 통해 각 프레임에 대한 이미지를 보정하는 단계를 포함할 수 있다.
또한, 상기 a) 단계는, 상기 소정 속도 미만에서는 손의 중심점을 기준으로 네 변의 길이가 동일한 정사각형 형태의 상기 기본 추적 영역을 설정할 수 있다.
또한, 상기 c) 단계는, 재설정된 추적 영역내에서의 손의 움직임을 추적하여 손의 움직임 방향과 속도를 계산하는 단계; 및 상기 재설정된 추적 영역을 상기 기본 추적영역으로 복원하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따르면, 제스처 인식을 위해 손의 위치를 중심으로 일정 추적 영역(ROI)을 설정하여 추적 영역에 대해서만 연산을 수행하고, 손 움직임 방향에 따라 재설정되는 추적 영역을 연장함으로써 제스쳐 인식 성공율으 높일 수 있다.
또한, 손 움직임 방향과 직교하는 방향의 추정 영역(ROI)을 제한하도록 재설정함으로써 전체 시스템 연산 속도를 높이고 그 응답성을 향상시킬 수 있다.
도 1은 종래의 제스처 인식 방법을 개략적으로 나타낸다.
도 2는 본 발명의 실시 예에 따른 차량용 제스처 인식 시스템을 개략적으로 나타낸 블록도이다.
도 3은 본 발명의 제스처 인식부의 구성을 개략적으로 나타낸 블록도이다.
도 4는 본 발명의 실시 예에 따른 영상에서 손의 특정점 추출 방법을 나타낸다.
도 5는 본 발명의 실시 예에 따른 손의 중심점 이동에 따른 추적영역 재설정을 방법을 나타낸다.
도 6은 본 발명의 실시 예에 따른 차량용 제스처 인식 방법을 개략적으로 나타낸 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이제 본 발명의 실시 예에 따른 차량용 제스처 인식 시스템 및 그 방법에 대하여 도면을 참조로 하여 상세하게 설명한다.
도 2는 본 발명의 실시 예에 따른 차량용 제스처 인식 시스템을 개략적으로 나타낸 블록도이다.
첨부된 도 2를 참조하면, 본 발명의 실시 예에 따른 차량용 제스처 인식 시스템(100)은 카메라부(110) 및 제스처 인식부(120)를 포함한다.
카메라부(110)는 차량 내 설치되어 차량 내부를 촬영하고 촬영된 영상을 제스처 인식부(120)로 전달한다.
제스처 인식부(120)는 카메라부(110)를 통해 획득된 차량 내 영상에서 배경 이미지를 제거하여 손을 검출하고, 검출된 손의 위치를 중심으로 소정의 추적 영역(Region of Interest, ROI)을 설정하며, 상기 추적 영역 내에서만 연산을 수행하여 제스처를 인식한다. 여기서, 추적 ROI는 영상에서 시간에 따른 손의 위치를 추적하여 제스처를 인식하기 위해 설정되는 연산 수행 영역을 의미한다.
한편, 도 3은 본 발명의 제스처 인식부의 구성을 개략적으로 나타낸 블록도이다.
첨부된 도 3을 참조하면, 본 발명의 실시 예에 따른 제스처 인식부(120)는 저장 모듈(121), 영상 처리 모듈(122), 제스처 인식 모듈(123) 및 제어 모듈(124)을 포함한다.
저장 모듈(121)은 차량 내 각종 편의 기능과 연계되는 제스처를 미리 저장한다.
예컨대, 저장 모듈(121)은 차량 내 각종 기능을 조작하기 위하여 탑승자의 골격과 관절의 위치 및 그 위치의 변화를 근거로 미리 지정된 제스처를 저장한다. 여기서, 상기 골격과 관절은 팔꿈치, 손목, 손가락 등을 포함할 수 있다.
영상 처리 모듈(122)은 카메라부(110)를 통해 획득된 영상에서 배경 이미지를 제거한 후 이미지 작업을 통해 각 프레임에 대한 이미지 보정을 하는 전처리(Pre-processing) 작업을 수행한다.
제스처 인식 모듈(123)은 전처리된 영상에서 미리 저장된 손의 형태에 따른특징점을 이용하여 손을 검출하고, 검출된 손의 위치를 중심으로 소정의 추적 영역(Region of Interest, ROI)을 설정하며, 상기 추적 영역 내에서만 연산을 수행하여 제스처를 인식한다.
도 4는 본 발명의 실시 예에 따른 영상에서 손의 특정점 추출 방법을 나타낸다.
첨부된 도 4를 참조하면, 제스처 인식 모듈(123)은 전처리된 영상에서 손의 색깔, 형태, 밝기 등의 다양한 특징점을 추출한 후 손의 형태 모델링을 통해 손을 검출할 수 있다.
또한, 제스처 인식 모듈(123)은 검출된 손을 차량 내 설정된 픽셀 좌표계와 비교하여 손의 위치(좌표)를 검출한다. 이 때, 손의 위치는 카메라부(110)의 성능에 따라 3차원 좌표(X, Y, Z) 또는 2차원 좌표(X, Y)로 검출할 수 있다.
한편, 본 발명의 실시 예에 따른 제스처 인식 모듈(123)은 도 1과 같이 손의 중심으로부터 소정의 추적 영역(Region of Interest, ROI)을 설정하고, 촬영된 영상 이미지 전체가 아닌 설정된 상기 추적 영역 내에서만 연산을 실시하도록 함으로써 시스템 응답 속도를 획기적으로 줄일 수 있다.
이러한 내용을 다음의 도 5 및 도 6을 통해 좀더 구체적으로 설명한다.
도 5는 본 발명의 실시 예에 따른 손의 중심점 이동에 따른 추적영역 재설정을 방법을 나타낸다.
첨부된 도 5를 참조하면, 본 발명의 실시 예에 따른 제스처 인식 모듈(123)은 영상 내 이전 프레임과 현재 프레임을 비교하여 손의 움직임이 거의 없는 소정 속도 미만에서는 (A)와 같이 손을 중심으로 상하좌우의 네 변의 길이가 동일한 추적 영역을 설정한다.
예컨대, 제스처 인식 모듈(123)은 신뢰성을 위해 3프레임 이상 손 위치를 추적한 후 손의 움직임 속도 및 방향을 계산한다.
그리고, 제스처 인식 모듈(123)은 손의 중심점이 소정 속도 이상으로 좌우로 움직이면 계속해서 좌우로 움직일 가능성이 높으므로 (B)와 같이 추적영역을 가로방향으로 연장하여 재설정한다. 이 때, 손의 움직임 방향(진행 방향)과 수직하는 세로 방향으로는 추적 영역을 축소하여 축소된 만큼 연산 처리량을 줄일 수 있다.
가령, 손이 1프레임 동안 우측으로 1픽셀(Pixel)이동할 경우, 추적 영역은 좌우로 10픽셀(Pixel) 상하로 6픽셀(Pixel) 크기를 갖는 직사각형 추적영역으로 재설정하여 그 영역에서만 추적을 한다.
또한, 제스처 인식 모듈(123)은 손의 중심점이 소정 속도 이상으로 상하로 움직이면 계속해서 상하로 움직일 가능성이 높으므로 (C)와 같이 추적영역을 세로방향으로 연장하여 재설정한다. 이 때, 손의 움직임 방향과 수직하는 가로 방향으로는 추적 영역을 축소하여 축소된 만큼 연산 처리량을 줄일 수 있다.
또한, 제스처 인식 모듈(123)은 손의 중심점이 일정 방향으로 가속되어 일정 방향으로 추적영역이 연장 재구성된 이후에, 손의 중심점이 소정 속도 미만으로 느려지거나 정지하면 이동의 (A)와 같이 원래의 기본 추적 영역으로 복원할 수 있다.
가령, 이동속도가 1픽셀(Pixel) 미만이거나 소정 속도보다 느린 경우 기본 추적 영역으로 복원할 수 있다.
이후, 제스처 인식 모듈(123)은 설정된 추적 영역을 연산 처리하여 탑승자(운전자 또는 동승자)의 제스처 정보를 인식한다.
여기서, 제스처 정보는 손의 위치, 손의 형태 및 손이 움직는 이동궤적(동작)을 포함한다. 그리고, 상기 손의 형태는 신체의 골격과 관절점, 가위, 바위, 보와 같이 손가락 일부를 꼽거나 편형태를 포함할 수 있다.
한편, 제어 모듈(124)은 본 발명의 실시 예에 따른 차량 제스처 인식을 위한 상기 구성의 전반적인 동작을 제어하며, 이를 위한 프로그램 및 데이터를 저장한다.
제어 모듈(124)은 제스처 인식 모듈(123)에서 인식된 제스처 정보와 저장 모듈(121)에 저장되어 있는 기능별 제스처를 비교하여 동일한 제스처가 검출되면 이에 매칭된 기능을 수행한다.
이 때, 제어 모듈(1124)는 도면에서는 생략되었으나 제스처 정보와 매칭된 기능을 실행하기 위하여 차량 내 각종 저자 제어 유닛과 연동될 수 있다.
또한, 제어 모듈(124)은 제스처 입력 상태 여부와 그에 따른 기능별 동작 상황을 차량의 AVN(Audio video navigation system)시스템과 연동하여 시각적 또는 청각적으로 표시할 수 있다.
한편, 전술한 본 발명의 실시 예에 따른 차량용 제스처 인식 시스템(100)의 구성을 바탕으로 하는 차량용 제스처 인식 방법을 설명한다.
도 6은 본 발명의 실시 예에 따른 차량용 제스처 인식 방법을 개략적으로 나타낸 흐름도이다.
첨부된 도 6을 참조하면, 본 발명의 실시 예에 따른 차량용 제스처 인식 시스템(100)은 카메라부(110)를 통해 촬영된 차량 내 영상을 획득한다(S101).
차량용 제스처 인식 시스템(100)은 획득된 영상에서 배경 이미지를 제거한 후 이미지 작업을 통해 각 프레임에 대한 이미지 보정을 하는 전처리 작업을 수행한다(S102).
차량용 제스처 인식 시스템(100)은 전처리된 영상에서 미리 저장된 손의 형태에 따른 특징점을 이용하여 손을 검출하고(S103), 검출된 손의 위치를 중심으로 소정의 기본 추적 영역을 설정한다(S104).
이 때, 차량용 제스처 인식 시스템(100)은 영상을 이루는 이전 프레임과 현재 프레임을 비교하여 손의 움직임이 거의 없는 소정 속도 미만에서는 손의 중심점을 기준으로 네 변의 길이가 동일한 정사각형 형태의 기본 추적 영역을 설정할 수 있다.
차량용 제스처 인식 시스템(100)은 상기 기본 추적영역에 기반한 연산을 수행하고 적어도 하나의 이전 프레임의 비교를 통해 시간에 따른 손의 움직임을 추적한다(S105). 이 때, 차량용 제스처 인식 시스템(100)은 손 움직임의 방향 및 속도를 계산할 수 있다(S105).
차량용 제스처 인식 시스템(100)은 손 움직임 속도가 소정 속도 이상이면(S106; 예), 손 움직임의 방향 및 속도에 따라 상기 기본 추적 영역을 변경하여 재설정하고(S107), 재설정된 추적영역 내에서의 손 움직임을 추적한다(S108).
예컨대, 차량용 제스처 인식 시스템(100)은 손의 중심점이 소정 속도 이상으로 좌우로 움직이면 추적영역을 가로방향으로 연장하여 재설정하거나, 상기 소정 속도 이상으로 상하로 움직이면 세로방향으로 연장하여 재설정할 수 있다. 이 때, 재설정된 추적영역은 손의 움직임 방향과 직교하는 방향으로는 일정 추적영역을 축소하여 축소된 만큼의 연산 처리량을 줄일 수 있다.
차량용 제스처 인식 시스템(100)은 재설정된 추적영역 내에서의 손 움직임이 방향 및 속도를 계산하여, 손움직임 속도가 소정 속도 미만이면(S109; 예), 원래의 상기 기본 추적영역으로 복원한다(S111).
그리고, 차량용 제스처 인식 시스템(100)은 상기한 과정으로 제스처 정보가 인식되면(S111; 예), 상기 제스처 정보를 기 저장된 제스처와 비교하여 매칭된 기능을 수행한다(S112).
반면, 차량용 제스처 인식 시스템(100)은 상기 S106 단계에서 손움직임 속도가 소정 속도 미만이거나(S106; 아니오), 상기 S111 단계에서 제스처 정보가 인식되지 않았으면(S111; 아니오), 기본 추적영역에서 손 움직임 추적을 계속한다(S105).
또한, 차량용 제스처 인식 시스템(100)은 상기 S109 단계에서 손 움직임 속도가 소정 속도 미만이 아니면(S109; 아니오), 재설정된 추적영역 내에서 손 움직임 추적을 계속한다(S108).
이와 같이 본 발명의 실시 예에 따르면, 제스처 인식을 위해 손의 위치를 중심으로 일정 추적 영역(ROI)을 설정하여 추적 영역에 대해서만 연산을 수행하고, 손 움직임 방향에 따라 재설정되는 추적 영역을 연장함으로써 제스쳐 인식 성공율으 높일 수 있는 효과가 있다.
또한, 손 움직임 방향과 직교하는 방향의 추정 영역(ROI)을 제한하도록 재설정함으로써 전체 시스템 연산 속도를 높이고 그 응답성을 향상시킬 수 있는 효과가 있다.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 차량용 제스처 인식 시스템 110: 카메라부
120: 제스처 인식부 121: 저장모듈
122: 영상 처리 모듈 123: 제스처 인식 모듈
124: 제어 모듈

Claims (13)

  1. 차량 내 설치되어 차량 내부를 촬영하는 카메라부; 및
    상기 카메라부를 통해 획득된 영상에서 검출된 탑승자 손의 위치를 중심으로 소정의 추적 영역(Region of Interest)을 설정하고 상기 추적 영역 내에서만 연산을 수행하여 제스처 정보를 인식하되, 상기 손의 움직임을 추적하여 상기 손의 움직임 방향으로는 상기 추적 영역을 연장하고, 상기 손의 움직임 방향과 수직한 방향으로는 상기 추적 영역을 축소하는 제스처 인식부를 포함하는 차량용 제스처 인식 시스템.
  2. 제 1 항에 있어서,
    상기 제스처 인식부는,
    상기 영상에서 배경 이미지를 제거한 후 전처리 작업을 통해 각 프레임에 대한 이미지 보정을 하는 영상 처리부; 및
    전처리된 상기 영상에서 미리 저장된 손의 형태에 따른 특징점을 이용하여 상기 손을 검출하고, 검출된 손의 위치를 중심으로 상기 추적 영역을 설정하는 제스처 처리 모듈을 포함하는 차량용 제스처 인식 시스템.
  3. 제 2 항에 있어서,
    상기 제스처 인식 모듈은,
    상기 영상에서 손의 색깔, 형태, 밝기의 특징점을 추출한 후 손의 형태 모델링을 통해 손을 검출하는 것을 특징으로 하는 차량용 제스처 인식 시스템.
  4. 제 2 항에 있어서,
    상기 제스처 인식 모듈은,
    검출된 손을 차량 내 설정된 픽셀 좌표계와 비교하여 손의 위치를 검출하는 것을 특징으로 하는 차량용 제스처 인식 시스템.
  5. 제 2 항에 있어서,
    상기 제스처 인식 모듈은,
    상기 손의 중심점이 소정 속도 이상으로 움직이면 상기 추적 영역을 재설정하고, 상기 소정 속도 미만으로 움직이면 상기 재설정된 추적영역을 원래 추적영역으로 복원하는 차량용 제스처 인식 시스템.
  6. 제 2 항에 있어서,
    상기 제스처 인식 모듈은,
    3프레임 이상 손의 위치를 추적한 후 상기 손의 움직임 속도 및 방향을 계산하는 것을 특징으로 하는 차량용 제스처 인식 시스템.
  7. 제 1 항 또는 제 2 항에 있어서,
    상기 제스처 인식부는,
    차량 내 각종 편의 기능과 연계되는 제스처를 미리 저장하는 저장 모듈; 및
    상기 제스처 인식 모듈에서 인식된 상기 제스처 정보와 상기 저장 모듈에 저장된 기능별 제스처를 비교하여 동일한 제스처가 검출되면 이에 매칭된 기능을 수행하는 제어 모듈을 더 포함하는 차량용 제스처 인식 시스템.
  8. 제 7 항에 있어서,
    상기 제어 모듈은,
    제스처 입력 상태 여부와 그에 따른 기능별 동작 상황을 차량의 AVN(Audio video navigation system)시스템과 연동하여 시각적 또는 청각적으로 표시하는 것을 특징으로 하는 차량용 제스처 인식 시스템.
  9. 제 1 항에 있어서,
    상기 제스처 정보는,
    상기 손의 위치, 손의 형태 및 손이 움직는 이동궤적을 포함하고, 상기 손의 형태는 신체의 골격과 관절점, 가위, 바위, 보와 같이 손가락 일부를 꼽거나 편형태를 포함하는 차량용 제스처 인식 시스템.
  10. 차량용 제스처 인식 시스템의 제스처 인식 방법에 있어서,
    a) 카메라부를 통해 획득된 차량 내 영상에서 검출된 탑승자 손의 위치를 중심으로 소정의 기본 추적 영역(Region of Interest)을 설정하는 단계;
    b) 상기 기본 추적 영역 내에서의 손의 움직임을 추적하여 손의 움직임 방향과 속도를 계산하는 단계;
    c) 상기 손의 움직임 속도가 소정 속도 이상이면, 상기 손의 움직임 방향으로는 추적 영역을 연장하고, 상기 손의 움직임 방향과 수직한 방향으로는 추적 영역을 축소하여 재설정하는 단계; 및
    d) 상기한 과정으로 제스처 정보가 인식되면 상기 제스처 정보를 기 저장된 제스처와 비교하여 이에 매칭된 기능을 수행하는 단계
    를 포함하는 차량용 제스처 인식 방법.
  11. 제 10 항에 있어서,
    상기 a) 단계는,
    상기 획득된 영상에서 배경 이미지를 제거한 후 이미지 작업을 통해 각 프레임에 대한 이미지를 보정하는 단계를 포함하는 차량용 제스처 인식 방법.
  12. 제 10 항에 있어서,
    상기 a) 단계는,
    상기 소정 속도 미만에서는 손의 중심점을 기준으로 네 변의 길이가 동일한 정사각형 형태의 상기 기본 추적 영역을 설정하는 차량용 제스처 인식 방법.
  13. 제 10 항에 있어서,
    상기 c) 단계는,
    재설정된 추적 영역내에서의 손의 움직임을 추적하여 손의 움직임 방향과 속도를 계산하는 단계; 및
    상기 재설정된 추적 영역을 상기 기본 추적영역으로 복원하는 단계
    를 포함하는 차량용 제스처 인식 방법.

KR1020130153472A 2013-12-10 2013-12-10 차량용 제스처 인식 시스템 및 그 방법 KR101534742B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130153472A KR101534742B1 (ko) 2013-12-10 2013-12-10 차량용 제스처 인식 시스템 및 그 방법
DE102014221510.2A DE102014221510A1 (de) 2013-12-10 2014-10-23 System und Verfahren für das Erkennen einer Benutzergeste für das Ausführen der Bedienung eines Fahrzeugs
US14/523,491 US9383826B2 (en) 2013-12-10 2014-10-24 System and method for recognizing user's gesture for carrying out operation of vehicle
CN201410613752.5A CN104699238B (zh) 2013-12-10 2014-11-04 用于识别用户的手势以执行车辆的操作的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130153472A KR101534742B1 (ko) 2013-12-10 2013-12-10 차량용 제스처 인식 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20150067680A true KR20150067680A (ko) 2015-06-18
KR101534742B1 KR101534742B1 (ko) 2015-07-07

Family

ID=53185523

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130153472A KR101534742B1 (ko) 2013-12-10 2013-12-10 차량용 제스처 인식 시스템 및 그 방법

Country Status (4)

Country Link
US (1) US9383826B2 (ko)
KR (1) KR101534742B1 (ko)
CN (1) CN104699238B (ko)
DE (1) DE102014221510A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101724108B1 (ko) * 2015-10-26 2017-04-06 재단법인대구경북과학기술원 손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893929A (zh) * 2015-12-27 2016-08-24 乐视致新电子科技（天津）有限公司 手指与手腕的区分方法及其装置
CN105677039B (zh) * 2016-02-16 2020-06-09 北京博研智通科技有限公司 一种基于手势检测驾驶状态的方法、装置及可穿戴设备
WO2017155740A1 (en) * 2016-03-08 2017-09-14 Pcms Holdings, Inc. System and method for automated recognition of a transportation customer
KR101882202B1 (ko) * 2016-07-11 2018-08-24 현대자동차주식회사 사용자 인터페이스 장치, 이를 포함하는 차량 및 차량의 제어 방법
DE102017202380A1 (de) * 2017-02-15 2018-08-16 Bayerische Motoren Werke Aktiengesellschaft Automatisierte Aktivierung eines Sichtunterstützungssystems
CN107291235B (zh) * 2017-06-22 2021-09-21 三星电子（中国）研发中心 控制方法和装置
FR3069657A1 (fr) * 2017-07-31 2019-02-01 Valeo Comfort And Driving Assistance Dispositif optique pour l'observation d'un habitacle de vehicule
US10783712B2 (en) * 2018-06-27 2020-09-22 Facebook Technologies, Llc Visual flairs for emphasizing gestures in artificial-reality environments
CN110794692B (zh) * 2018-08-03 2021-07-23 珠海格力电器股份有限公司 家电设备的移动控制方法、装置及家电设备
JP7091983B2 (ja) * 2018-10-01 2022-06-28 トヨタ自動車株式会社 機器制御装置
JP7077255B2 (ja) * 2019-03-14 2022-05-30 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
CN110069137B (zh) * 2019-04-30 2022-07-08 徐州重型机械有限公司 手势控制方法、控制装置和控制系统
US20210201661A1 (en) * 2019-12-31 2021-07-01 Midea Group Co., Ltd. System and Method of Hand Gesture Detection
CN112513787B (zh) * 2020-07-03 2022-04-12 华为技术有限公司 车内隔空手势的交互方法、电子装置及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7190811B2 (en) 2004-11-02 2007-03-13 Honda Motor Co., Ltd. Adaptive tracking for gesture interfaces
JP5569062B2 (ja) * 2010-03-15 2014-08-13 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識装置の制御方法、および、制御プログラム
US8781221B2 (en) 2011-04-11 2014-07-15 Intel Corporation Hand gesture recognition system
US20120262381A1 (en) * 2011-04-18 2012-10-18 Research In Motion Limited Portable electronic device and method of controlling same
KR101747892B1 (ko) * 2011-06-02 2017-06-16 한국전자통신연구원 제스처 인식 기반 사용자 상호 작용 방법 및 이를 위한 장치
JP5845002B2 (ja) * 2011-06-07 2016-01-20 ソニー株式会社 画像処理装置および方法、並びにプログラム
KR101868903B1 (ko) * 2012-01-11 2018-06-20 한국전자통신연구원 손 추적 장치 및 방법
CN103376890B (zh) * 2012-04-16 2016-08-31 富士通株式会社 基于视觉的手势遥控系统
CN102799273B (zh) * 2012-07-11 2015-04-15 华南理工大学 交互控制系统及其交互控制方法
CN102831439B (zh) * 2012-08-15 2015-09-23 深圳先进技术研究院 手势跟踪方法及系统
EP2746805B1 (de) * 2012-12-21 2017-07-12 Delphi Technologies, Inc. Ultraschallinnenraumüberwachungsanlage für ein Kraftfahrzeug
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
CN103294996B (zh) * 2013-05-09 2016-04-27 电子科技大学 一种3d手势识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101724108B1 (ko) * 2015-10-26 2017-04-06 재단법인대구경북과학기술원 손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치

Also Published As

Publication number Publication date
US9383826B2 (en) 2016-07-05
US20150160735A1 (en) 2015-06-11
CN104699238B (zh) 2019-01-22
CN104699238A (zh) 2015-06-10
KR101534742B1 (ko) 2015-07-07
DE102014221510A1 (de) 2015-06-11

Similar Documents

Publication Publication Date Title
KR101534742B1 (ko) 차량용 제스처 인식 시스템 및 그 방법
KR101877570B1 (ko) Ａｖ 영상 기반의 주차위치 설정 장치 및 그 방법
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101784183B1 (ko) ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
CN111566612A (zh) 基于姿势和视线的视觉数据采集系统
US9542003B2 (en) Image processing device, image processing method, and a computer-readable non-transitory medium
US20180114067A1 (en) Apparatus and method for extracting objects in view point of moving vehicle
US9256324B2 (en) Interactive operation method of electronic apparatus
KR20170056860A (ko) 이미지 생성 방법 및 장치
US11416078B2 (en) Method, system and computer program for remotely controlling a display device via head gestures
US8891828B2 (en) Image processing apparatus and image processing method
JP5253227B2 (ja) 画像入力装置及び被写体検出方法、プログラム
CN105759955B (zh) 输入装置
CN104065949A (zh) 一种电视虚拟触控方法及系统
US20210049382A1 (en) Non-line of sight obstacle detection
JP5829155B2 (ja) 歩行者検出装置及びプログラム
US9761009B2 (en) Motion tracking device control systems and methods
CN114510142B (zh) 基于二维图像的手势识别方法及其系统和电子设备
KR20150067679A (ko) 차량용 제스처 인식 시스템 및 그 방법
KR101844367B1 (ko) 부분 포즈 추정에 의하여 개략적인 전체 초기설정을 사용하는 머리 포즈 추정 방법 및 장치
KR20130019485A (ko) 마커를 기반으로 하는 증강현실 시스템 및 그 객체 증강방법
KR101837482B1 (ko) 영상처리방법 및 장치, 그리고 이를 이용한 제스처 인식 인터페이스 방법 및 장치
KR20160111151A (ko) 영상처리방법 및 장치, 그리고 이를 이용한 제스처 인식 인터페이스 방법 및 장치
CN112329508A (zh) 手势识别方法、装置、设备及可读存储介质
KR20170067398A (ko) 얼굴 모션 변화에 따른 삼각 매쉬 모델을 활용하는 사용자 인터페이스 제어 방법 및 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 4