KR20150054042A

KR20150054042A - 차량 및 그 제어방법

Info

Publication number: KR20150054042A
Application number: KR1020130135532A
Authority: KR
Inventors: 한재선한재선; 한재선; 김주현김주현; 김주현
Original assignee: 현대자동차주식회사; 기아자동차주식회사
Priority date: 2013-11-08
Filing date: 2013-11-08
Publication date: 2015-05-20
Also published as: CN104627094B; KR101537936B1; CN104627094A; US20150131857A1

Abstract

본 발명의 일 측면은, 사용자의 제스처를 인식함에 있어 운전자의 제스처와 동승자의 제스처를 구분함으로써 동승자에 의해 차량이 오작동되거나 임의로 작동되는 것을 방지할 수 있는 차량 및 그 제어방법을 제공한다.
본 발명의 일 실시예에 따른 차량은, 차량의 내부에 장착되어 운전자 또는 동승자의 제스처가 포함되는 제스처 영역을 촬영하는 촬영부; 상기 촬영부가 촬영한 제스처 영상으로부터 관심 객체를 검출하고, 상기 관심 객체가 상기 운전자의 것인지 여부를 판단하는 영상 분석부; 및 상기 관심 객체가 상기 운전자의 것이면, 상기 관심 객체가 나타내는 제스처를 인식하고 그에 대응되는 제어 신호를 생성하는 제어부를 포함한다.

Description

차량 및 그 제어방법{VEHICLE AND CONTROL METHOD FOR THE SAME}

개시된 발명은 사용자의 제스처를 인식하고, 인식된 제스처에 따라 특정 기능을 수행하는 차량 및 그 제어방법에 관한 것이다.

차량에 대한 기술이 발전함에 따라, 차량이 수행하는 기본적인 기능인 주행 이외에도 사용자의 편의를 위한 다양한 기능이 제공되고 있다.

이처럼 차량이 수행할 수 있는 기능이 다양해지면서 사용자의 조작 부하가 증가되고, 조작 부하의 증가는 운전에 대한 집중도를 저하시켜 안전 운전을 방해하는 요인이 된다. 또한, 기기의 조작이 미숙한 사용자는 차량이 수행할 수 있는 기능을 제대로 활용하지 못하게 된다.

따라서, 사용자의 조작 부하를 감소시키기 위한 사용자 인터페이스에 대한 연구 및 개발이 이루어지고 있는바, 특히, 간단한 제스처(gesture)만으로 특정 기능을 제어할 수 있게 하는 제스처 인식 기술이 차량에 적용되면, 사용자의 조작 부하를 효과적으로 감소시킬 수 있을 것으로 기대되고 있다.

본 발명의 일 측면은, 사용자의 제스처를 인식함에 있어 운전자의 제스처와 동승자의 제스처를 구분함으로써 동승자에 의해 차량이 오작동되거나 임의로 작동되는 것을 방지할 수 있는 차량 및 그 제어방법을 제공한다.

본 발명의 일 실시예에 따른 차량은, 차량의 내부에 장착되어 운전자 또는 동승자의 제스처가 포함되는 제스처 영역을 촬영하는 촬영부; 상기 촬영부가 촬영한 제스처 영상으로부터 관심 객체를 검출하고, 상기 관심 객체가 상기 운전자의 것인지 여부를 판단하는 영상 분석부; 및 상기 관심 객체가 상기 운전자의 것이면, 상기 관심 객체가 나타내는 제스처를 인식하고 그에 대응되는 제어 신호를 생성하는 제어부를 포함한다.

상기 영상 분석부는, 상기 관심 객체에 대해 관심 패턴을 추출하고, 상기 관심 패턴이 미리 정의된 특징을 갖는지 여부를 판단할 수 있다.

상기 영상 분석부는, 상기 관심 패턴이 상기 미리 정의된 특징을 가지면, 상기 관심 객체를 상기 운전자의 것으로 판단할 수 있다.

상기 관심 객체는, 인체의 팔 또는 손인 것으로 할 수 있다.

상기 관심 패턴은, 상기 팔의 끝부터 상기 팔과 상기 손의 연결부위인 손목까지 연결된 손목연결 패턴을 포함할 수 있다.

상기 미리 정의된 특징은, 상기 손목연결 패턴이 상기 제스처 영역의 왼쪽 또는 오른쪽에서부터 시작되는지 여부인 것으로 할 수 있다.

상기 차량이 LHD(Left Hand Drive) 차량인 경우, 상기 영상 분석부는 상기 손목연결 패턴이 상기 제스처 영역의 왼쪽에서부터 시작되면 상기 관심 객체를 상기 운전자의 것으로 판단할 수 있다.

상기 차량이 RHD(Right Hand Drive) 차량인 경우, 상기 영상 분석부는 상기 손목연결 패턴이 상기 제스처 영역의 오른쪽에서부터 시작되면 상기 관심 객체를 상기 운전자의 것으로 판단할 수 있다.

상기 관심 패턴은, 상기 팔과 상기 손의 연결부위인 손목과 상기 손의 엄지 손가락 끝을 연결하여 형성되는 제1손가락 패턴 및 상기 손목과 상기 엄지 손가락이 아닌 다른 손가락 끝을 연결하여 형성되는 제2손가락 패턴을 포함할 수 있다.

상기 미리 정의된 특징은, 상기 제1손가락 패턴이 상기 제2손가락 패턴보다 왼쪽 또는 오른쪽에 위치하는지 여부인 것으로 할 수 있다.

상기 차량이LHD(Left Hand Drive) 차량인 경우, 상기 영상 분석부는 상기 제1손가락 패턴이 상기 제2손가락 패턴보다 왼쪽에 있으면 상기 관심 객체를 상기 운전자의 것으로 판단할 수 있다.

상기 차량이RHD(Right Hand Drive) 차량인 경우, 상기 영상 분석부는 상기 제1손가락 패턴이 상기 제2손가락 패턴보다 오른쪽에 있으면 상기 관심 객체를 상기 운전자의 것으로 판단할 수 있다.

상기 차량은, 특정 제스처와 특정 동작을 맵핑시켜 저장하는 저장부를 더 포함할 수 있다.

상기 제어부는, 상기 저장부에서 상기 관심 객체가 나타내는 제스처와 일치하는 특정 제스처를 검색하고, 상기 검색된 특정 제스처에 맵핑된 특정 동작을 실행시킬 수 있는 제어 신호를 생성할 수 있다.

상기 저장부는, 특정 제스처와 제스처 인식 권한의 변경을 맵핑시켜 저장할 수 있다.

상기 제어부는, 상기 관심 객체가 나타내는 제스처가 상기 특정 제스처와 일치하면, 제스처 인식 권한의 변경을 위한 제어 신호를 생성할 수 있다.

상기 제스처 인식 권한의 변경은, 상기 제스처 인식 권한의 주체를 상기 동승자까지 확대하는 것 및 상기 제스처 인식 권한의 주체를 상기 운전자에게 한정시키는 것을 포함할 수 있다.

본 발명의 일 실시예에 따른 차량의 제어방법은, 운전자 또는 동승자의 제스처가 포함되는 제스처 영역을 촬영하고; 상기 제스처 영역이 촬영된 제스처 영상으로부터 관심 객체를 검출하고; 상기 관심 객체가 상기 운전자의 것인지 여부를 판단하고; 상기 관심 객체가 상기 운전자의 것이면, 상기 관심 객체가 나타내는 제스처를 인식하고 그에 대응되는 제어 신호를 생성하는 것을 포함한다..

상기 차량의 제어방법은, 상기 관심 객체에 대해 관심 패턴을 추출하고; 상기 관심 패턴이 미리 정의된 특징을 가지면, 상기 관심 객체를 상기 운전자의 것으로 판단하는 것을 더 포함할 수 있다.

상기 관심 객체는, 인체의 팔 또는 손이고, 상기 관심 패턴은, 상기 팔의 끝부터 상기 팔과 상기 손의 연결부위인 손목까지 연결된 손목연결 패턴을 포함할 수 있다.

상기 관심 객체는, 인체의 팔 또는 손이고 상기 관심 패턴은, 상기 팔과 상기 손의 연결부위인 손목과 상기 손의 엄지 손가락 끝을 연결하여 형성되는 제1손가락 패턴 및 상기 손목과 상기 엄지 손가락이 아닌 다른 손가락 끝을 연결하여 형성되는 제2손가락 패턴을 포함할 수 있다.

본 발명의 일 측면에 따른 차량 및 그 제어방법에 의하면, 사용자의 제스처를 인식함에 있어 운전자의 제스처와 동승자의 제스처를 구분함으로써 동승자에 의해 차량이 오작동되거나 임의로 작동되는 것을 방지할 수 있다.

도 1은 본 발명의 일 실시예에 따른 차량을 외부에서 바라본 외관도이다.
도 2는 본 발명의 일 실시예에 따른 차량의 제어 블록도이다.
도 3은 본 발명의 일 실시예에 따른 차량의 내부 구성을 나타낸 도면이다.
도 4는 촬영부에 의해 촬영되는 영역인 제스처 영역을 나타낸 도면이다.
도 5는 촬영부가 차량의 헤드라이닝에 장착된 실시예를 나타낸 도면이다.
도 6은 촬영부가 차량의 센터 콘솔에 장착된 실시예를 나타낸 도면이다.
도 7 내지 도 9는 영상 분석부에서 운전자를 식별하기 위해 수행하는 패턴 분석의 예시를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 차량에 있어서, AVN 장치를 포함하는 차량의 제어 블록도이다.
도 11은 본 발명의 일 실시예에 따른 차량에 있어서, 공조 장치를 포함하는 차량의 제어 블록도이다.
도 12 는 제스처 인식 권한의 주체를 동승자까지 확대할 수 있는 특정 제스처의 예시를 나타낸 도면이다.
도 13은 동승자에게도 제스처 인식 권한이 부여된 경우, 영상 분석부가 동승자를 식별하기 위해 수행하는 패턴 분석의 예시를 나타낸 도면이다.
도 14 및 도 15는 제스처 인식 권한을 동승자로부터 다시 가져올 수 있는 특정 제스처의 예시를 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 차량의 제어방법에 관한 순서도이다.

이하 첨부된 도면을 참조하여 본 발명의 일 측면에 따른 차량 및 그 제어방법에 관한 실시예를 상세하게 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 차량을 외부에서 바라본 외관도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 차량(100)은 차량(100)의 외관을 형성하는 본체(1), 차량(100)을 이동시키는 차륜(51, 52), 차륜(51, 52)을 회전시키는 구동 장치(60), 차량(100) 내부를 외부로부터 차폐시키는 도어(71, 72(도 3 참조)), 차량(100) 내부의 운전자에게 차량(100) 전방의 시야를 제공하는 전면 유리(30), 운전자에게 차량(100) 후방의 시야를 제공하는 사이드 미러(81, 82)를 포함한다.

차륜(51, 52)은 차량의 전방에 마련되는 전륜(51), 차량의 후방에 마련되는 후륜(52)을 포함하며, 구동 장치(60)는 본체(1)가 전방 또는 후방으로 이동하도록 전륜(51) 또는 후륜(52)에 회전력을 제공한다. 이와 같은 구동 장치(60)는 화석 연료를 연소시켜 회전력을 생성하는 엔진(engine) 또는 축전기(미도시)로부터 전원을 공급받아 회전력을 생성하는 모터(motor)를 채용할 수 있다.

도어(71, 72)는 본체(1)의 좌측 및 우측에 회동 가능하게 마련되어 개방 시에 운전자가 차량(100)의 내부에 탑승할 수 있도록 하며, 폐쇄 시에 차량(100)의 내부를 외부로부터 차폐시킨다.

전면 유리(30)는 본체(100)의 전방 상측에 마련되어 차량(100) 내부의 운전자가 차량(100) 전방의 시각 정보를 획득할 수 있도록 하는 것으로서, 윈드쉴드 글래스(windshield glass)라고도 한다.

또한, 사이드 미러(81, 82)는 본체(1)의 좌측에 마련되는 좌측 사이드 미러(81) 및 우측에 마련되는 우측 사이드 미러(82)를 포함하며, 차량(100) 내부의 운전자가 차량(100) 측면 및 후방의 시각 정보를 획득할 수 있도록 한다.

이외에도 차량(100)은 후면 또는 측면의 장애물 내지 다른 차량을 감지하는 근접 센서, 강수 여부 및 강수량을 감지하는 레인 센서 등의 감지 장치를 포함할 수 있다.

근접 센서는 차량의 측면 또는 후면에 감지 신호를 발신하고, 다른 차량 등의 장애물로부터 반사되는 반사 신호를 수신할 수 있다. 수신된 반사 신호의 파형을 기초로 차량(100) 측면이나 후면의 장애물의 존재 여부를 감지하고, 장애물의 위치를 검출할 수 있다. 이와 같은 근접 센서의 일 예로서 초음파를 발신하고, 장애물에 반사된 초음파를 이용하여 장애물까지의 거리를 검출하는 방식을 채용할 수 있다.

도 2는 본 발명의 일 실시예에 따른 차량의 제어 블록도이다.

도 2를 참조하면, 차량(100)은 차량(100) 내부의 특정 영역을 촬영하는 촬영부(110), 촬영된 영상으로부터 관심 객체를 검출하고 검출된 관심 객체가 운전자의 것인지 여부를 판단하는 영상 분석부(120), 검출된 관심 객체가 운전자의 것이면 관심 객체가 나타내는 제스처를 인식하고 그에 대응되는 제어 신호를 생성하는 제어부(131) 및 제스처와 그에 대응되는 이벤트가 저장된 저장부(132)를 포함한다. 본 발명의 실시예에서, 사용자는 차량(100)에 탑승한 운전자 및 동승자를 포함하는 것으로 한다.

촬영부(110)는 차량(100) 내부에 장착되어 특정 영역을 촬영하는바, 특정 영역은 제스처를 취하는 운전자의 신체 일부가 포함된 영역이다. 이하 상술할 실시예에서는 이 특정 영역을 제스처 영역이라 하고, 촬영부(110)가 촬영한 영상을 제스처 영상이라 하기로 한다.

촬영부(110)는 CCD 센서, CMOS 센서 등의 영상 센서를 포함할 수 있고, 적외선 영역에 대해서도 충분한 감도를 가진 영상 센서를 포함하면 적외선 촬영을 하는 것이 가능하다. 즉, 촬영부(110)는 일반 카메라뿐만 아니라 적외선 카메라로 구현되는 것도 가능하다.

촬영부(110)가 적외선 카메라로 구현되는 경우, 피사체에 적외선을 조사하는 적외선 광원을 더 포함하여 영상 센서로 하여금 피사체에 반사되어 돌아오는 적외선을 감지하도록 할 수 있다. 적외선 광원의 일 예로 적외선 LED(Light Emitting Diode)를 사용할 수 있다. 또는, 별도의 적외선 광원을 구비하지 않고 피사체에서 자체적으로 발생되는 적외선을 감지하는 것도 가능하다.

이 밖에도 촬영부(110)는 제스처 영상을 광신호로 받아들이는 렌즈를 더 포함할 수 있고, 영상 센서가 렌즈에서 받아들인 광신호를 전기신호로 변환하여 출력하면 이 전기신호를 데이터 처리 가능한 디지털 신호로 변환하는 영상 A/D(Analog to Digital) 변환기를 더 포함할 수 있다.

또한, 촬영부(110)가 적외선 카메라로 구현되는 경우에는 자외선, 가시광선 등 적외선 이외의 광선을 차단하여 외부 노이즈를 제거하는 적외선 필터를 더 구비하는 것도 가능하다.

운전자가 운전 중에 가장 용이하게 취할 수 있는 제스처는 팔 또는 손에 의한 제스처일 수 있다. 따라서, 제어부(132)에서 인식할 수 있는 제스처는 운전자의 팔 또는 손에 의한 제스처일 수 있고, 영상 분석부(120)에서 검출하는 관심 객체는 운전자의 팔 또는 손일 수 있다. 제어부(132)가 운전자의 팔 또는 손에 의한 제스처를 인식하기 위해서는, 촬영부(110)가 촬영하는 제스처 영상에 운전자의 팔 또는 손이 포함되어야 한다. 이하, 운전자의 팔 또는 손이 포함된 영상을 촬영하기 위한 촬영부(110)의 위치를 설명한다.

도 3은 본 발명의 일 실시예에 따른 차량의 내부 구성을 나타낸 도면이고, 도 4는 촬영부에 의해 촬영되는 영역인 제스처 영역을 나타낸 도면이다.

도 3을 참조하면, 촬영부(110)는 운전자의 손을 촬영할 수 있도록 차량(100) 앞쪽의 대시보드(10)에 장착될 수 있다.

대시보드(10)의 중앙 영역인 센터페시아(11)에는 AVN(Audio Video Navigation) 디스플레이(141)와 AVN 입력부(142)가 마련될 수 있다. AVN(140)은 오디오, 비디오 및 내비게이션 기능을 통합적으로 수행할 수 있는 장치로서, AVN 디스플레이(141)는 오디오 화면, 비디오 화면 및 내비게이션 화면 중 적어도 하나를 선택적으로 표시할 수 있고, LCD(Liquid Crystal Display), LED(Light Emitting Diode), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diode), CRT(Cathode Ray Tube) 등으로 구현될 수 있다.

사용자는 AVN 입력부(142)를 조작하여 AVN(140)을 제어하기 위한 명령을 입력할 수 있다. AVN 입력부(142)는 도 3에 도시된 바와 같이 AVN 디스플레이(141)와 인접한 영역에 하드 키 타입으로 마련될 수도 있고, AVN 디스플레이(141)가 터치 스크린 타입으로 구현되는 경우에는 AVN 디스플레이(141)가 AVN 입력부(142)의 기능도 함께 수행할 수 있다.

차량(100)의 내부에는 음향을 출력할 수 있는 스피커(143)가 마련되는바, 오디오 기능, 비디오 기능 및 내비게이션 기능을 수행함에 있어 필요한 음향이 스피커(143)를 통해 출력될 수 있다.

운전석(21) 쪽의 대시보드(10)에는 스티어링 휠(12)이 마련되며, 대시보드(10)의 영역 중 스티어링 휠(12)이 마련된 영역과 인접한 영역에는 차량(100)의 현재 속도를 나타내는 속도 게이지((161b)와 차량(100)의 RPM을 나타내는 RPM 게이지(161c)가 구비될 수 있으며, 이와 더불어 차량(100)에 관한 정보를 디지털 화면으로 표시하는 클러스터 디스플레이(161a)가 더 구비될 수 있다.

스티어링 휠(12)에는 클러스터 입력부(162)가 마련되어 클러스터 디스플레이(161a)에 표시될 정보에 관한 선택을 사용자로부터 입력 받을 수 있다. 또한, 클러스터 입력부(162)는 운전자가 운전 중에도 용이하게 조작할 수 있으므로, 클러스터 디스플레이(161a)에 표시될 정보에 관한 선택뿐만 아니라 AVN장치를 제어하기 위한 명령도 입력 받을 수 있다.

한편, 센터 콘솔(40)에는 죠그 서틀(jog shuttle) 타입 또는 하드 키 타입의 센터 입력부(43)가 마련될 수 있다. 센터 콘솔(40)은 운전석(21)과 조수석(22) 사이에 위치하여 기어조작 레버(41)와 트레이(42)가 형성된 부분을 의미한다. 센터 입력부(43)는 AVN 입력부(142)의 전부 또는 일부 기능을 수행하거나, 클러스터 입력부(162)의 전부 또는 일부 기능을 수행할 수 있다.

이하, 도 4를 참조하여 촬영부(110)의 장착 위치를 더 구체적으로 설명하도록 한다.

일 예로, 제스처 영역(5)의 좌우 영역은 도 4에 도시된 바와 같이 스티어링 휠(12)의 중심으로부터 우측 방향으로 이어질 수 있으며, AVN 디스플레이(141)의 중심에서 운전석(21) 쪽으로 약간 치우친 지점(약 5도)까지 이어질 수 있다.

그리고, 제스처 영역(5)의 상하 영역은 스티어링 휠(12)의 상단+α 지점으로부터 스티어링 휠(12)의 하단+β 지점까지 이어질 수 있다. 여기서, +α와 +β는 스티어링 휠(12)의 상하 틸팅(tilting) 각도를 고려한 것으로서, 상호 동일한 값을 가질 수도 있고 다른 값을 가질 수도 있다.

도 4의 제스처 영역(5)은 통상적으로 운전자(3)의 오른손이 스티어링 휠(12)을 중심으로 일정 반경 내에 위치한다는 점에 기초하여 설정된 것이다. 운전자(3)의 오른손을 촬영하는 것은 차량(100)이 LHD(Left Hand Drive) 차량 즉, 스티어링 휠(12)이 왼쪽에 장착된 차량인 경우에 적용되는 것이므로, 차량(100)이 RHD(Right Hand Drive) 차량인 경우에는 제스처 영역(5)의 좌우 영역이 스티어링 휠(12)의 중심으로부터 좌측 방향으로 이어질 수 있다.

상술한 도 4의 제스처 영역(5)은 촬영부(110)가 촬영하는 영역에 대한 일 예시에 불과하며, 촬영된 영상에 운전자(3)의 손이 포함될 수만 있으면 제스처 영역(5)이 될 수 있다.

촬영부(110)는 제스처 영역(5)을 촬영할 수 있는 위치에 장착되며, 촬영부(110)의 장착 위치를 결정함에 있어 제스처 영역(5)과 함께 촬영부(110)의 화각(angle of view)이 고려될 수 있다.

도 5는 촬영부가 차량의 헤드라이닝에 장착된 실시예를 나타낸 도면이고, 도 6은 촬영부가 차량의 센터 콘솔에 장착된 실시예를 나타낸 도면이다.

촬영부(110)는 제스처 영역(5)을 촬영할 수만 있으면, 대시보드(10) 이외의 위치에도 장착될 수 있는바, 도 5에 도시된 바와 같이 헤드라이닝(13)에 장착될 수도 있고, 도 6에 도시된 바와 같이 센터 콘솔(40)에 장착되는 것도 가능하다.

다만, 촬영부(110)가 헤드라이닝(13)이나 센터 콘솔(40)에 장착되면, 제스처 영역(5)이 도 4의 예시와는 달라지게 된다. 촬영부(110)가 헤드라이닝(13) 또는 센터 콘솔(40)에 장착되는 경우에 대한 제스처 영역(5)의 일 예로, 좌우 영역은 도 4의 예시와 마찬가지로 스티어링 휠(12)의 중심으로부터 우측 방향으로 이어질 수 있으며, AVN 디스플레이(141)의 중심에서 운전석(21) 쪽으로 약간 치우친 지점(약 5도)까지 이어질 수 있다. 그러나, 제스처 영역(5)의 상하 영역은 도 4의 예시와 달리 대시보드(10)부터 센터 콘솔(40)의 트레이(42)까지 이어질 수 있다.

도 7 내지 도 9는 영상 분석부에서 운전자를 식별하기 위해 수행하는 패턴 분석의 예시를 나타낸 도면이다.

촬영부(110)가 제스처 영역(5)을 촬영한다 하더라도, 촬영된 제스처 영상에는 운전자(3)의 손 이외에 조수석(22)이나 뒷자석에 탑승한 동승자의 손이 더 포함되거나, 운전자(3)의 손은 포함되지 않고 동승자의 손만 포함되는 경우가 있을 수 있다. 이 경우, 제어부(131)가 동승자의 손이 나타내는 제스처를 인식하여 그에 대응되는 동작을 실행시키게 되면, 운전자의 의도와 다르게 차량(100)이 임의로 작동되거나 오작동될 수 있다. 따라서, 영상 분석부(120)는 제스처 영상에 나타난 손이 운전자(3)의 것인지, 동승자의 것인지 여부를 식별하고, 운전자(3)의 것인 경우에만 제어부(131)가 제스처를 인식할 수 있도록 한다.

앞서, 영상 분석부(120)에서 검출하는 관심 객체가 운전자의 팔 또는 손일 수 있다고 하였다. 따라서, 저장부(132)는 제스처 영상에 나타날 수 있는 인체의 팔과 손이 갖는 특징에 관한 정보 및 각 손가락이 갖는 특징에 관한 정보를 저장할 수 있다. 저장부(132)는 하드 디스크, 플래시 메모리, 롬(ROM), 광디스크 드라이브 등 정보의 입출력이 가능한 적어도 하나의 기억 소자를 포함할 수 있다.

영상 분석부(120)는 저장부(132)에 저장된 정보에 기초하여 제스처 영상으로부터 관심 객체를 검출할 수 있다. 구체적인 예로서, 영상 분석부(120)는 제스처 영상을 구성하는 픽셀값에 기초하여 일정 윤곽을 갖는 객체를 검출하고, 검출된 객체가 저장부(132)에 저장된 사용자의 팔의 형상 및 손의 형상의 특징을 가지면 검출된 객체를 사용자의 팔과 손으로 인식할 수 있고, 사용자의 팔과 손이 연결되는 부분은 손목으로 인식할 수 있다.

제스처 영상이 컬러 영상인 경우에는 픽셀값에 포함된 색상 정보 특히, 피부색 정보에 기초하여 일정 윤곽을 갖는 객체를 검출할 수 있고, 사용자의 영상이 적외선 영상인 경우에는 픽셀값에 포함된 밝기 정보에 기초하여 일정 윤곽을 갖는 객체를 검출할 수 있다.

관심 객체가 검출되면, 영상 분석부(120)는 검출된 관심 객체에 대해 관심 패턴을 추출한다. 관심 패턴은 팔의 특정 포인트와 손목 포인트를 연결하는 손목연결 패턴, 손가락들 사이의 관계를 나타내는 손가락 패턴 등을 포함할 수 있다.

구체적으로, 영상 분석부(120)는 도 7에 도시된 바와 같이 제스처 영역(5)에 존재하는 인체의 팔 끝 포인트(a)와 인체의 손목에 위치하는 손목 포인트(b)를 연결한 손목연결 패턴(a-b)을 관심 패턴으로서 추출할 수 있다.

그리고, 추출된 손목연결 패턴(a-b)이 미리 정의된 특징을 갖는지 여부를 판단하고, 미리 정의된 특징을 가지면 해당 관심 객체(1)를 운전자의 것으로 판단한다. 차량(100)이 LHD 차량인 경우에는 운전자의 손이 제스처 영역(5)의 왼쪽에서 들어올 것으로 예상할 수 있다. 따라서, 영상 분석부(120)는 손목연결 패턴(a-b)이 제스처 영역(5)의 좌측에서부터 시작되는지 여부를 판단한다.

예를 들어, 영상 분석부(120)는 팔 끝 포인트(a)가 제스처 영역(5)의 좌측 경계 영역(L)에 위치하는 경우에, 손목연결 패턴(a-b)이 제스처 영역(5)의 왼쪽에서부터 시작된 것으로 판단할 수 있고, 검출된 관심 객체(1)를 운전자의 것으로 판단할 수 있다. 여기서, 좌측 경계 영역(L)은 제스처 영역(5)을 구성하는 네 개의 모서리 중 좌측 모서리의 하측 단부를 포함하는 일부 영역과 하측 모서리의 좌측 단부를 포함하는 일부 영역에 의해 형성될 수 있다.

그러나, 운전자의 팔이 제스처 영역(5)에 모두 포함되어 그 경계에 걸쳐있지 않은 경우도 있다. 따라서, 팔 끝 포인트(a)가 제스처 영역(5)의 좌측 경계 영역(L)에 위치하지 않는 경우라도, 팔 끝 포인트(a)가 손목 포인트(b)보다 왼쪽에 있다면, 영상 분석부(120)는 관심 객체(1)를 운전자의 것으로 판단할 수 있다.

또는 운전자의 손만 제스처 영역(5)에 포함된 경우도 있을 수 있다. 따라서, 제스처 영상에 팔 끝 포인트(a)가 존재하지 않는 경우라도, 사용자의 손바닥이 제스처 영역(5)의 좌측 경계 영역(L)에 걸쳐 있거나, 손목 포인트(b)가 좌측 경계 영역(L)에 위치한다면, 영상 분석부(120)는 관심 객체(1)를 운전자의 것으로 판단할 수 있다.

한편, 영상 분석부(120)는 손목연결 패턴(a-b)이 제스처 영역(5)의 좌측에서부터 시작되는지 여부만을 판단할 수도 있으나, 운전자 식별의 정확성을 더 향상시키기 위해 운전자를 식별하는 추가적인 알고리즘을 더 포함할 수 있다.

1차적으로 손목연결 패턴(a-b)이 제스처 영역(5)의 좌측에서부터 시작되는지 여부를 확인하고, 2차적으로 손가락 패턴을 이용하여 관심 객체(1)가 운전자의 것인지 여부를 한 번 더 확인할 수 있다.

이를 위해, 영상 분석부(120)는 제스처 영상으로부터 손가락 패턴을 추출한다. 도 8의 예시에 따르면, 손가락 패턴은 손목 포인트(b)와 엄지 손가락 끝 포인트(c)를 연결하여 형성되는 제1손가락 패턴(b-c)과 손목 포인트(b)와 엄지 손가락이 아닌 다른 손가락 끝 포인트(d)를 연결하여 형성되는 제2손가락 패턴(b-d)을 포함할 수 있다.

영상 분석부(120)는 제1손가락 패턴(b-c)이 제2손가락 패턴(b-d)보다 좌측에 있으면, 제스처 영상에 나타난 관심 객체(1)를 운전자의 것으로 최종적으로 판단할 수 있다.

도 9를 참조하여 관심 객체(1)가 운전자의 것이 아닌 경우를 설명한다. 촬영부(110)가 도 9에 도시된 제스처 영역(5)을 촬영한 경우, 손목연결 패턴(a-b)이 좌측 경계 영역(L)에서부터 시작되지 않으므로 영상 분석부(120)는 관심 객체(1)가 운전자의 것이 아니라고 판단할 수 있다. 추가적으로, 제1손가락 패턴(b-c)이 제2손가락 패턴(b-d)보다 우측에 있으므로 관심 객체(1)가 운전자의 것이 아닌 것으로 최종적으로 판단할 수 있다.

또한, 영상 분석부(120)가 상기 두 가지 알고리즘을 이용하여 운전자를 식별함에 있어서, 그 순서가 바뀌는 것도 무방하고, 둘 중 하나의 알고리즘만 이용하는 것도 가능하다. 구체적으로, 손가락 패턴을 이용하여 관심 객체(1)가 운전자의 것인지 여부를 먼저 판단하고, 운전자의 것으로 판단된 경우에 한하여 손목연결 패턴을 이용하여 한 번 더 확인할 수 있다. 또한, 손가락 패턴만을 이용하거나 손목연결 패턴만을 이용하는 것도 가능하다.

또한, 제스처 영역(5)에 운전자의 손과 동승자의 손이 모두 포함된 경우에도 전술한 알고리즘에 따라 운전자의 손에 대한 관심 패턴과 동승자의 손에 대한 관심 패턴을 구분할 수 있음은 물론이다.

상기 도 7내지 도 9를 참조하여 설명한 운전자 식별 알고리즘은 차량(100)이 LHD 차량인 경우에 대해 적용될 수 있는 것으로서, 차량(100)이 RHD 차량인 경우에는 손목연결 패턴이 제스처 영역(5)의 우측 영역으로부터 시작되는 경우 또는 제1손가락 패턴이 제2손가락 패턴보다 우측에 있는 경우에 제스처 영상에 나타난 관심 객체(1)를 운전자의 것으로 판단할 수 있다.

전술한 알고리즘은 영상 분석부(120)에 적용될 수 있는 일 예시에 불과하며, 본 발명의 실시예가 상기 예시에 한정되는 것은 아니다. 따라서, 손목연결 패턴이나 손가락 패턴이 아닌 다른 패턴을 관심 패턴으로 설정하는 것도 가능하고, 손목연결 패턴이나 손가락 패턴의 다른 특징을 이용하여 관심 객체(1)가 운전자의 것인지 여부를 판단하는 것도 가능하다.

한편, 제스처 영상에는 조수석(22)에 탑승한 동승자의 손뿐만 아니라, 뒷자석에 탑승한 동승자의 손이 포함될 수도 있다. 뒷자석에 탑승한 동승자가 운전석(21) 쪽에 위치하는 경우에는 관심 패턴의 방향성만으로 운전자와 동승자를 구별하기 어려울 수 있다. 따라서, 차량(100)은 촬영부(110)와 피사체 사이의 거리 정보를 이용하여 운전자와 동승자를 구별할 수 있는바, 촬영부(110)가 적외선 광원을 포함하는 적외선 카메라로 구현되는 경우, 영상 센서가 감지하는 신호의 문턱 값(threshold value)을 제어하여 일정 거리 내에 존재하는 피사체만 촬영하도록 할 수 있다. 또는, 영상 분석부(120)에서 픽셀값이 미리 정의된 기준값 이상인 영역에 대해서만 운전자의 손이 위치하는 영역으로 판단하는 것도 가능하다.

또는 촬영부(110)를 3D 카메라로 구현하여 제스처 영상에 깊이 정보가 포함되도록 하는 것도 가능한바, 영상 분석부(120)는 촬영부(110)와 일정 거리 내에 존재하는 관심 객체(1)에 대해서만 관심 패턴을 검출함으로써, 뒷자석에 탑승한 동승자의 손을 걸러낼 수 있다.

제스처 영상에 나타난 관심 객체(1)가 운전자의 것으로 판단되면, 제어부(131)는 관심 객체(1)가 나타내는 제스처를 인식하고, 인식된 제스처에 대응되는 제어 신호를 생성한다. 제어부(131)에서 인식할 수 있는 제스처는 정적인 포즈(pose)나 동적인 모션(motion)을 모두 포함하는 개념으로 정의한다.

제어부(131)는 공지된 제스처 인식 기술 중 적어도 하나를 사용하여 관심 객체가 나타내는 제스처를 인식할 수 있는바, 예를 들어, 운전자의 손이 나타내는 모션을 인식하는 경우에는 제스처 영상으로부터 손의 모션을 나타내는 모션 패턴을 검출하고, 검출된 모션 패턴이 저장부(132)에 저장된 모션 패턴과 일치하는지 여부를 판단할 수 있다. 제어부(131)는 두 패턴의 일치성을 판단하기 위해, DTW(Dynamic Time Warping) 알고리즘 또는 HMM(Hidden Markov Model) 알고리즘 등의 다양한 알고리즘 중 하나를 이용할 수 있다.

저장부(132)에는 특정 제스처와 그에 대응되는 이벤트가 맵핑되어 저장되어 있다. 따라서, 제어부(131)는 제스처 영상으로부터 인식한 제스처와 일치하는 특정 제스처를 저장부(132)에서 검색하고, 검색된 특정 제스처에 대응되는 이벤트를 실행할 수 있는 제어 신호를 생성한다. 이하, 도 10 및 도 11을 참조하여 제어부(131)의 동작을 구체적으로 설명하도록 한다.

도 10은 본 발명의 일 실시예에 따른 차량에 있어서, AVN 장치를 포함하는 차량의 제어 블록도이고, 도 11은 본 발명의 일 실시예에 따른 차량에 있어서, 공조 장치를 포함하는 차량의 제어 블록도이다.

도 10을 참조하면, 차량(100)은 오디오 기능, 비디오 기능 및 내비게이션 기능을 수행하는 AVN 장치(140)를 포함할 수 있다. 다시 도 3을 참조하면, AVN 장치(140)는 오디오 화면, 비디오 화면 및 내비게이션 화면 중 적어도 하나를 선택적으로 표시하는 AVN 디스플레이(141), AVN 장치(140)에 관한 제어 명령을 입력하는 AVN 입력부(142) 및 각 기능을 수행하는데 필요한 음향을 출력하는 스피커(143)를 포함한다.

운전 중인 운전자가 AVN 입력부(142)를 조작하여 AVN 장치(140)에 관한 제어 명령을 입력하는 것은 운전에 대한 집중도를 저하시켜 안전 운전을 방해할 수 있다. 따라서, 저장부(132)는 운전자의 손이 나타내는 특정 제스처에 대응되는 이벤트로 AVN 장치(140)의 동작을 저장할 수 있다.

저장부(132)에는 여러 종류의 제스처가 저장될 수 있고, 각각의 제스처에 다른 AVN 장치(140)의 동작이 맵핑될 수 있는바, 예를 들어, 제스처 1에는 오디오 기능의 온(on)이 맵핑되고, 제스처 2에는 비디오 기능의 온이 맵핑되고, 제스처 3에는 내비게이션 기능의 온이 맵핑될 수 있다.

제어부(131)가 인식한 제스처가 제스처 1인 경우, 오디오 기능을 온 시키기 위한 제어 신호를 생성하여AVN 장치(140)로 전송하고, 제어부(131)가 인식한 제스처가 제스처 2 또는 제스처 3인 경우, 비디오 기능 또는 내비게이션 기능을 온 시키기 위한 제어 신호를 생성하여 AVN 장치(140)로 전송할 수 있다.

또는, 오디오 기능, 비디오 기능 및 내비게이션 기능 중 적어도 두 개의 기능이 수행 중일 때, AVN 디스플레이(141)에 표시되는 화면을 전환하는 동작이 특정 제스처에 맵핑되어 저장되는 것도 가능하다. 예를 들어, 제스처 4에 오디오 화면으로의 전환이 맵핑되고, 제스처 5에는 내비게이션 화면으로의 전환이 맵핑될 수 있다.

따라서, 제어부(131)가 인식한 제스처가 제스처 4인 경우, AVN 디스플레이(141)에 표시되는 화면을 오디오 화면으로 전환시키기 위한 제어 신호를 생성하여 AVN 장치(140)로 전송할 수 있고, 제어부(131)가 인식한 제스처가 제스처 5인 경우, AVN 디스플레이(141)에 표시되는 화면을 내비게이션 화면으로 전환시키기 위한 제어 신호를 생성하여 AVN 장치(140)로 전송할 수 있다.

도 11을 참조하면, 차량(100)은 그 내부의 온도를 제어할 수 있는 공조 장치(150)를 포함할 수 있고, 제어부(131)는 공조 장치(150)를 제어하여 차량(100) 내부의 온도를 조절할 수 있다. 공조 장치(150)는 차량(100) 내부의 난방 및 냉방을 모두 수행할 수 있으며, 가열되거나 냉각된 공기를 통풍구(143)를 통해 배출함으로써 차량(100) 내부의 온도를 조절할 수 있다.

차량(100)에 구비되는 공조 장치는 널리 공지된 기술이므로, 이에 관한 더 구체적인 설명은 생략하도록 한다.

사용자는 공조 장치(150)를 이용하여 차량(100) 내부의 온도를 제어하기 위해, 상기 도 3에 도시된 바와 같이 센터페시아(11)에 마련된 공조 입력부(151)를 조작해야 한다. 그러나, 운전 중에 공조 입력부(151)를 조작하는 것은 안전 운전에 방해가 될 수 있고, 날씨가 매우 춥거나 매우 더운 날에는 사용자가 차량(100)에 타자마자 원하는 온도로 신속하게 차량(100) 내부의 온도를 제어하는 것이 필요하다.

따라서, 저장부(132)에 운전자의 손이 나타내는 특정 제스처에 대응되는 이벤트로 공조 장치(150)의 동작이 맵핑되어 저장될 수 있다. 예를 들어, 저장부(132)에 저장된 제스처 1에 차량(100)의 내부 온도를 미리 설정된 온도로 제어하는 동작이 맵핑되고, 제스처 2에는 차량(100)의 내부 온도를 최저 온도로 제어하는 동작이 맵핑되고, 제스처 3에는 차량(100)의 내부 온도를 최고 온도로 제어하는 동작이 맵핑될 수 있다.

그리고, 제어부(131)가 인식한 제스처가 제스처 1인 경우, 차량(100)의 내부 온도를 미리 설정된 온도로 제어하기 위한 제어 신호를 생성하여 공조 장치(150)로 전송하고, 제어부(131)가 인식한 제스처가 제스처 2인 경우, 차량(100)의 내부 온도를 최저 온도로 제어하기 위한 제어 신호를 생성하여 공조 장치(150)로 전송하고, 제어부(131)가 인식한 제스처가 제스처 3인 경우, 차량(100)의 내부 온도를 최고 온도로 제어하기 위한 제어 신호를 생성하여 공조 장치(150)로 전송할 수 있다.

전술한 AVN 장치(140)와 공조 장치(150)의 동작은 특정 제스처에 맵핑될 수 있는 동작의 예시에 불과하며, 본 발명의 실시예가 상기 예시에 한정되는 것은 아니다. 또한, AVN 장치(140)와 공조 장치(150) 외에도 사용자가 명령을 입력하여 제어될 수 있는 장치이면 그 동작을 특정 제스처에 맵핑시켜 저장할 수 있다.

한편, 운전자에게 한정되어 있던 제스처 인식 권한을 변경하는 것도 가능한바, 제스처 인식 권한을 동승자에게도 부여하거나 부여한 권한을 다시 가져올 수도 있다. 사용자가 차량(100)에 구비된 다양한 입력부(142,143,162)를 조작하여 제스처 인식 권한을 변경하는 것도 가능하나, 제스처 인식 권한의 변경이 제스처 인식을 통해 이루어지도록 하는 것도 가능하다.

도 12 는 제스처 인식 권한의 주체를 동승자까지 확대할 수 있는 특정 제스처의 예시를 나타낸 도면이다.

제스처 인식 권한을 변경하기 위해, 저장부(132)에 특정 제스처와 제스처 인식 권한 변경 동작을 맵핑시켜 저장할 수 있다. 예를 들어, 저장부(132)는 검지 손가락을 펴서 조수석 방향 즉, 우측 방향을 가리키고 나머지 손가락들은 구부린 상태의 제스처를 제스처 인식 권한을 조수석의 동승자게도 부여하는 동작에 맵핑시켜 저장할 수 있다.

따라서, 도 12에 도시된 바와 같이 관심 객체(1)가 운전자의 것이고, 관심 객체(1)가 나타내는 제스처가 검지 손가락을 조수석 방향, 즉 우측 방향을 가리키고 나머지 손가락들은 구부린 포즈인 경우, 제어부(131)는 관심 객체(1)가 나타내는 제스처를 인식하고 제스처 인식 권한의 주체를 조수석의 동승자까지 확대시킨다. 즉, 제스처 인식 권한을 동승자에게도 부여한다.

동승자도 제스처 인식 권한을 갖게 된 경우, 영상 분석부(120)는 관심 객체(1)가 운전자 또는 동승자의 것인지 여부를 판단하고, 관심 객체(1)가 운전자의 것이 아닌 동승자의 것인 경우에도 제어부(131)는 관심 객체(1)가 나타내는 제스처를 인식하여 그에 대응되는 동작을 실행시키기 위한 제어 신호를 생성할 수 있다.

도 13은 동승자에게도 제스처 인식 권한이 부여된 경우, 영상 분석부가 동승자를 식별하기 위해 수행하는 패턴 분석의 예시를 나타낸 도면이다.

동승자에게도 제스처 인식 권한이 있는 경우에는, 영상 분석부(120)가 관심 객체(1)가 누구의 것인지를 판단함에 있어서 제스처 인식 권한이 운전자에게 있었던 경우와 반대의 기준도 함께 적용할 수 있다. 예를 들어, 제스처 인식 권한이 운전자에게 있는 경우에는 상기 도 7에 도시된 바와 같이 손목연결 패턴(a-b)이 제스처 영역(5)의 좌측 경계 영역(L)에서부터 시작되는지 여부 또는 제1손가락 패턴(b-c)이 제2손가락 패턴(b-d)의 왼쪽에 위치하는지 여부만을 기준으로 운전자를 식별하였다.

그러나, 제스처 인식 권한이 동승자에게 있는 경우에는, 도 13에 도시된 바와 같이 손목연결 패턴(a-b)이 제스처 영역(5)의 우측 경계 영역(R)에서부터 시작되는지 여부 또는 제1손가락 패턴(b-c)이 제2손가락 패턴(b-d)의 오른쪽에 위치하는지 여부를 기준으로 동승자를 식별할 수 있다. 즉, 손목연결 패턴(a-b)이 제스처 영역(5)의 우측 경계 영역(R)에서부터 시작되거나 제1손가락 패턴(b-c)이 제2손가락 패턴(b-d)의 오른쪽에 위치하면 관심 객체(1)를 동승자의 것으로 판단할 수 있다.

제어부(131)는 제스처 영역(5)에 나타난 관심 객체(1)가 운전자의 것인 경우뿐만 아니라 동승자의 것인 경우에도 관심 객체가 나타내는 제스처를 인식하여 그에 대응되는 동작을 실행시킬 수 있다.

한편, 제스처 인식 권한의 주체를 조수석(22)에 탑승한 동승자뿐만 아니라 뒷자석에 탑승한 동승자에게까지도 확대할 수 있다. 이 경우에는 영상 분석부(120)에서 관심 객체(1)가 누구의 것인지 판단하는 알고리즘을 생략하고, 제어부(131)에서 바로 관심 객체(1)가 나타내는 제스처를 인식할 수 잇다.

도 14 및 도 15는 제스처 인식 권한을 동승자로부터 다시 가져올 수 있는 특정 제스처의 예시를 나타낸 도면이다.

전술한 바와 같이 제스처 인식 권한을 변경하기 위해, 저장부(132)에 특정 제스처와 제스처 인식 권한 변경 동작을 맵핑시켜 저장할 수 있는바, 제스처 인식 권한의 변경은 제스처 인식 권한의 주체를 다시 운전자로 한정시키는 것도 포함할 수 있다. 예를 들어, 저장부(132)는 손바닥을 폈다가 다시 오므리는 동작을 반복하는 모션을 제스처 인식 권한을 다시 운전자에게 한정시키는 동작에 맵핑시켜 저장할 수 있다.

따라서, 도 14에 도시된 바와 같이 관심 객체가 운전자의 것이고, 관심 객체가 나타내는 제스처가 손바닥을 폈다가 다시 오므리는 동작을 반복하는 모션인 경우, 제어부(131)는 관심 객체(1)가 나타내는 제스처를 인식하고 제스처 인식 권한을 다시 운전자에게 한정시킨다. 제스처 인식 권한이 다시 운전자에게 한정된 이후에는 영상 분석부(120)에서 제스처 영역(5)에 존재하는 관심 객체(1)가 운전자의 것인지 여부를 판단하고, 관심 객체(1)가 운전자의 것인 경우에만 제어부(131)에서 관심 객체가 나타내는 제스처를 인식하여 그에 대응되는 동작을 실행시킬 수 있다.

또 다른 예로서, 저장부(132)는 주먹을 쥐고 있는 포즈를 제스처 인식 권한을 다시 운전자에게 한정시키는 동작에 맵핑시켜 저장할 수 있다. 따라서, 도 15에 도시된 바와 같이 관심 객체(1)가 운전자의 것이고, 관심 객체(1)가 나타내는 제스처가 주먹을 쥐는 포즈인 경우, 제어부(131)는 관심 객체(1)가 나타내는 제스처를 인식하고 제스처 인식 권한을 다시 운전자에게 한정시킨다.

이처럼, 운전자는 제스처를 통해 제스처 인식의 권한의 주체를 자유롭게 변경함으로써 상황에 맞게 차량(100)에 대한 통제권을 조정할 수 있다.

상기 도 12, 도 14 및 도 15에 도시된 제스처는 제스처 인식 권한을 변경할 수 있는 제스처의 예시들에 불과하며, 본 발명의 실시예에서는 상기 제스처들 이외에도 운전자가 취할 수 있고, 제어부(131)가 인식할 수 있는 다양한 제스처들이 사용될 수 있다.

이하 본 발명의 일 측면에 따른 차량의 제어방법에 관한 실시예를 설명하도록 한다. 본 발명의 일 측면에 따른 차량의 제어방법에는 전술한 실시예에 따른 차량(100)이 적용될 수 있는바, 상기 도 1 내지 도 15에 관한 설명은 후술할 차량의 제어방법에 대해서도 적용될 수 있음은 물론이다.

도 16은 본 발명의 일 실시예에 따른 차량의 제어방법에 관한 순서도이다.

도 16을 참조하면, 먼저 촬영부(110)를 이용하여 제스처 영상을 촬영한다(311). 제스처 영상은 제스처 영역이 촬영된 영상이며, 제스처 영역은 제스처를 취하는 운전자의 신체 일부가 포함된 영역이다. 당해 실시예에서는 제스처를 취하는 운전자의 신체 일부가 손인 것으로 한다. 따라서, 촬영부(110)가 촬영하는 제스처 영상은 운전자의 손이 포함된 영상이 된다.

촬영된 제스처 영상으로부터 관심 객체를 검출한다(312). 당해 실시예에서는 관심 객체가 사용자의 손이 되며, 사용자는 운전자와 동승자를 포함한다.

관심 객체가 검출되면, 검출된 관심 객체에 대해 관심 패턴을 추출한다(313). 관심 패턴은 팔의 특정 포인트와 손목 포인트를 연결하는 손목연결 패턴, 손가락들 사이의 관계를 나타내는 손가락 패턴 등을 포함할 수 있다. 구체적으로, 상기 도 7을 참조하면, 제스처 영역(5)에 존재하는 인체의 팔 끝 포인트(a)와 인체의 손목에 위치하는 손목 포인트(b)를 연결한 손목연결 패턴(a-b)을 관심 패턴으로서 추출할 수 있다. 또한, 상기 도 8에 도시된 바와 같이 손목 포인트(b)와 엄지 손가락 끝 포인트(c)를 연결하여 형성되는 제1손가락 패턴(b-c)과 손목 포인트(b)와 엄지 손가락이 아닌 다른 손가락 끝 포인트(d)를 연결하여 형성되는 제2손가락 패턴(b-d)도 관심 패턴으로서 추출할 수 있다.

추출된 관심 패턴이 미리 정의된 특징을 갖는지 여부를 판단한다(314). 예를 들어, 상기 도 7에 도시된 바와 같이 손목연결 패턴(a-b)이 제스처 영역(5)의 왼쪽에서부터 시작되는지 여부, 더 구체적으로는 손목연결 패턴(a-b)의 팔 끝 포인트(a)가 좌측 경계 영역(L)에 위치하는지 여부를 판단할 수 있다. 또는, 상기 도 8에 도시된 바와 같이 제1손가락 패턴(b-c)이 제2손가락 패턴(b-d)보다 좌측에 있는지 여부를 판단할 수도 있다.

관심 패턴이 미리 정의된 특징을 가지면(314의 예), 검출된 관심 객체를 운전자의 것으로 판단한다(315).

그리고, 검출된 관심 객체가 나타내는 제스처를 인식하고(316), 인식된 제스처에 대응되는 동작을 수행한다. 인식된 제스처에 대응되는 동작은 저장부(132)에 미리 저장되어 있으며, 사용자가 설정 및 변경하는 것이 가능하다.

한편, 운전자는 제스처를 통해 제스처 인식 권한의 주체를 자유롭게 변경함으로써 상황에 맞게 차량에 대한 통제권을 조정할 수 있다. 이를 위해, 특정 제스처를 제스처 인식 권한의 주체 확대와 맵핑시켜 저장하고, 이 특정 제스처가 인식되면, 제스처 인식 권한을 동승자에게도 부여할 수 있다. 즉, 제스처 인식 권한의 주체를 동승자까지 확대할 수 있다. 또한, 제스처 인식 권한을 다시 운전자에게 한정하는 것도 가능한바, 그에 대응되는 다른 특정 제스처를 저장하고, 다른 특정 제스처가 인식되면, 제스처 인식 권한의 주체를 다시 운전자에게 한정시킬 수 있다.

전술한 차량 및 그 제어방법의 실시예에 의하면, 사용자의 제스처를 인식함에 있어 운전자의 제스처와 동승자의 제스처를 구분함으로써 동승자에 의해 차량이 오작동되거나 임의로 작동되는 것을 방지할 수 있다.

100 : 차량 110 : 촬영부
120 : 영상 분석부 131 : 제어부
132 : 저장부

Claims

차량의 내부에 장착되어 운전자 또는 동승자의 제스처가 포함되는 제스처 영역을 촬영하는 촬영부;
상기 촬영부가 촬영한 제스처 영상으로부터 관심 객체를 검출하고, 상기 관심 객체가 상기 운전자의 것인지 여부를 판단하는 영상 분석부; 및
상기 관심 객체가 상기 운전자의 것이면, 상기 관심 객체가 나타내는 제스처를 인식하고 그에 대응되는 제어 신호를 생성하는 제어부를 포함하는 차량.
제 1 항에 있어서,
상기 영상 분석부는,
상기 관심 객체에 대해 관심 패턴을 추출하고, 상기 관심 패턴이 미리 정의된 특징을 갖는지 여부를 판단하는 차량.
제 2 항에 있어서,
상기 영상 분석부는,
상기 관심 패턴이 상기 미리 정의된 특징을 가지면, 상기 관심 객체를 상기 운전자의 것으로 판단하는 차량.
제 3 항에 있어서,
상기 관심 객체는, 인체의 팔 또는 손인 것으로 하는 차량.
제 4 항에 있어서,
상기 관심 패턴은, 상기 팔의 끝부터 상기 팔과 상기 손의 연결부위인 손목까지 연결된 손목연결 패턴을 포함하는 차량.
제 5 항에 있어서,
상기 미리 정의된 특징은,
상기 손목연결 패턴이 상기 제스처 영역의 왼쪽 또는 오른쪽에서부터 시작되는지 여부인 것으로 하는 차량.
제 6 항에 있어서,
상기 차량이 LHD(Left Hand Drive) 차량인 경우, 상기 영상 분석부는 상기 손목연결 패턴이 상기 제스처 영역의 왼쪽에서부터 시작되면 상기 관심 객체를 상기 운전자의 것으로 판단하는 차량.
제 6 항에 있어서,
상기 차량이 RHD(Right Hand Drive) 차량인 경우, 상기 영상 분석부는 상기 손목연결 패턴이 상기 제스처 영역의 오른쪽에서부터 시작되면 상기 관심 객체를 상기 운전자의 것으로 판단하는 차량.
제 4 항에 있어서,
상기 관심 패턴은, 상기 팔과 상기 손의 연결부위인 손목과 상기 손의 엄지 손가락 끝을 연결하여 형성되는 제1손가락 패턴 및 상기 손목과 상기 엄지 손가락이 아닌 다른 손가락 끝을 연결하여 형성되는 제2손가락 패턴을 포함하는 차량.
제 9 항에 있어서,
상기 미리 정의된 특징은,
상기 제1손가락 패턴이 상기 제2손가락 패턴보다 왼쪽 또는 오른쪽에 위치하는지 여부인 것으로 하는 차량.
제 10 항에 있어서,
상기 차량이LHD(Left Hand Drive) 차량인 경우, 상기 영상 분석부는 상기 제1손가락 패턴이 상기 제2손가락 패턴보다 왼쪽에 있으면 상기 관심 객체를 상기 운전자의 것으로 판단하는 차량.
제 10 항에 있어서,
상기 차량이RHD(Right Hand Drive) 차량인 경우, 상기 영상 분석부는 상기 제1손가락 패턴이 상기 제2손가락 패턴보다 오른쪽에 있으면 상기 관심 객체를 상기 운전자의 것으로 판단하는 차량.
제 3 항에 있어서,
특정 제스처와 특정 동작을 맵핑시켜 저장하는 저장부를 더 포함하는 차량.
제 13 항에 있어서,
상기 제어부는,
상기 저장부에서 상기 관심 객체가 나타내는 제스처와 일치하는 특정 제스처를 검색하고, 상기 검색된 특정 제스처에 맵핑된 특정 동작을 실행시킬 수 있는 제어 신호를 생성하는 차량.
제 14 항에 있어서,
상기 저장부는,
특정 제스처와 제스처 인식 권한의 변경을 맵핑시켜 저장하는 차량.
제 15 항에 있어서,
상기 제어부는,
상기 관심 객체가 나타내는 제스처가 상기 특정 제스처와 일치하면, 제스처 인식 권한의 변경을 위한 제어 신호를 생성하는 차량.
제 16 항에 있어서,
상기 제스처 인식 권한의 변경은,
상기 제스처 인식 권한의 주체를 상기 동승자까지 확대하는 것 및 상기 제스처 인식 권한의 주체를 상기 운전자에게 한정시키는 것을 포함하는 차량.
운전자 또는 동승자의 제스처가 포함되는 제스처 영역을 촬영하고;
상기 제스처 영역이 촬영된 제스처 영상으로부터 관심 객체를 검출하고;
상기 관심 객체가 상기 운전자의 것인지 여부를 판단하고;
상기 관심 객체가 상기 운전자의 것이면, 상기 관심 객체가 나타내는 제스처를 인식하고 그에 대응되는 제어 신호를 생성하는 것을 포함하는 차량의 제어방법.
제 18 항에 있어서,
상기 관심 객체에 대해 관심 패턴을 추출하고;
상기 관심 패턴이 미리 정의된 특징을 가지면, 상기 관심 객체를 상기 운전자의 것으로 판단하는 것을 더 포함하는 차량의 제어방법.
제 19 항에 있어서,
상기 관심 객체는, 인체의 팔 또는 손이고,
상기 관심 패턴은, 상기 팔의 끝부터 상기 팔과 상기 손의 연결부위인 손목까지 연결된 손목연결 패턴을 포함하는 차량의 제어방법.
제 20 항에 있어서,
상기 미리 정의된 특징은,
상기 손목연결 패턴이 상기 제스처 영역의 왼쪽 또는 오른쪽에서부터 시작되는지 여부인 것으로 하는 차량의 제어방법.
제 19 항에 있어서,
상기 관심 객체는, 인체의 팔 또는 손이고
상기 관심 패턴은, 상기 팔과 상기 손의 연결부위인 손목과 상기 손의 엄지 손가락 끝을 연결하여 형성되는 제1손가락 패턴 및 상기 손목과 상기 엄지 손가락이 아닌 다른 손가락 끝을 연결하여 형성되는 제2손가락 패턴을 포함하는 차량의 제어방법.
제 22 항에 있어서,
상기 미리 정의된 특징은,
상기 제1손가락 패턴이 상기 제2손가락 패턴보다 왼쪽 또는 오른쪽에 위치하는지 여부인 것으로 하는 차량의 제어방법.