KR20160093774A

KR20160093774A - 동작인식에 기반한 자동차 모의 운전 제어장치 및 그 방법

Info

Publication number: KR20160093774A
Application number: KR1020150014231A
Authority: KR
Inventors: 정광모; 박병하; 신춘성
Original assignee: 전자부품연구원
Priority date: 2015-01-29
Filing date: 2015-01-29
Publication date: 2016-08-09
Also published as: KR101973982B1

Abstract

본 발명은 자동차 모의 운전 훈련 시스템에 관한 것으로, 특히 운전자의 손가락 동작을 인식하여 자동차 모의 운전 훈련 시스템에 포함된 부속 장치들을 제어하는 장치 및 방법에 관한 것이다. 본 발명의 동작인식에 기반한 자동차 모의 운전 제어장치는,
운전자의 손가락 촬상 영상으로부터 손가락 개수 및 손가락 동작을 인식하기 위한 동작 인식부와, 인식된 손가락 개수와 그 인식된 개수의 손가락 동작 별로 부속장치 제어명령이 맵핑되어 있는 저장부와, 인식된 손가락 개수 및 손가락 동작에 맵핑된 부속장치 제어명령을 독출하여 자동차 모의 운전 훈련 시스템에 포함된 부속 장치를 제어하거나 제어 요청하기 위한 제어부를 포함함을 특징으로 한다.

Description

동작인식에 기반한 자동차 모의 운전 제어장치 및 그 방법{BASED ON BODY ACTION RECOGNITION, CONTROL APPARATUS AND METHOD FOR SIMULATED CAR DRIVER}

본 발명은 자동차 모의 운전 훈련 시스템에 관한 것으로, 특히 운전자의 손가락 동작을 인식하여 자동차 모의 운전 훈련 시스템에 포함된 부속 장치들을 제어하는 장치 및 방법에 관한 것이다.

사용자의 동작인식을 통해 콘텐츠 인터랙션을 수행하는 NUI(Natural User Interface) 기술은 콘솔 게임기를 시작으로 스마트 TV, PC, 스마트 폰에 채택되어 사용자에게 모션 기반 콘텐츠 인터랙션 경험을 제공하고 있다.

NUI는 키보드나 마우스 같은 부가적 장치 없이 사람의 자연스러운 행동을 이용해 장치를 작동시키는 것을 말하는데, 손동작(멀티터치, 동작인식), 뇌파(뇌파인식), 음성(음성인식) 등 사람 신체의 일부 혹은 음성, 뇌파를 이용해 장치를 제어할 수 있어서 거부감 없이 쉽고 편리하게 이용할 수 있는 장점이 있다.

이러한 NUI 기술은 이미 IT 분야에 적용되어 사용(스마트 폰의 음성인식기술)되고 있으며 자동차 산업에 적용되기 시작하였다. CES 2015 전시회에서 메이저 차량 제조사들이 운전자의 손동작을 인식하여 제어되는 카 인포테인먼트 시스템을 전시한 것이 그 좋은 예라 할 수 있다.

네비게이션, 카 오디오, 카 인포테인먼트 시스템과 같은 차량 내 부속장치를 제어하는 방법은 운전자가 직접 손으로 조작하는 방식에서 화면 터치 방식, 음성 인식 방식으로 발전해 왔으며, 앞으로는 현재의 기술동향을 고려해 볼 때 NUI 기술을 자동차 산업분야에 보다 적극적으로 접목하는 방식으로 발전해갈 것으로 예상된다. 그 이유는 안전운전을 위해 운전자의 시선을 뺏지 않으면서도 차량 내 부속장치들을 원활하게 조작해야 하기 때문이다.

이와 같이 자동차 산업분야에 NUI 기술이 접목되기 시작하였다는 점에서 보다 신속하게 시장을 선점할 수 있는 계기를 마련하기 위한 기술개발이 절실히 요구된다. 이에 본 발명자는 실제 자동차 시스템에 적용하기에 앞서 하나의 모의 운전 훈련 시스템을 통해 안전하게 운전을 수행하면서 자동차 내에 부속된 여러 장치들을 동작만으로 편리하게 제어할 수 있는 시스템을 개발하기에 이르렀다.

대한민국 공개특허공보 10-2013-0046759 대한민국 공개특허공보 10-2012-0000919

상술한 바와 같이 본 발명은 자동차 산업분야에 접목되기 시작한 NUI 기술추세를 감안하여 창안된 발명으로서, 운전자의 손가락 동작을 인식하여 자동차 모의 운전 훈련 시스템에 포함된 부속 장치들을 편리하게 제어할 수 있는 장치 및 방법을 제공함을 주요 목적으로 한다.

더 나아가 본 발명의 또 다른 목적은 운전자의 손가락 수 및 동작을 인식하여 자동차 모의 운전 훈련 시스템에 포함된 부속 장치들을 편리하게 제어할 수 있는 장치 및 방법을 제공함을 목적으로 한다.

상술한 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 동작인식에 기반한 자동차 모의 운전 제어장치는,

입력 가능한 운전자의 손가락 촬상 영상으로부터 손가락 개수 및 손가락 동작을 인식하기 위한 동작 인식부와;

인식된 손가락 개수와 그 인식된 개수의 손가락 동작 별로 부속장치 제어명령이 맵핑되어 있는 저장부와;

인식된 손가락 개수 및 손가락 동작에 맵핑된 부속장치 제어명령을 독출하여 자동차 모의 운전 훈련 시스템에 포함된 부속 장치를 제어하거나 제어 요청하기 위한 제어부;를 포함함을 특징으로 하며,

운전자의 손가락 촬상 영상을 얻기 위한 3D 촬영부;를 더 포함함을 또 다른 특징으로 한다.

상술한 자동차 모의 운전 제어장치들에서 동작 인식부는,

상기 손가락 촬상 영상으로부터 깊이값 및 컬러정보를 이용해 기 설정된 범위보다 작거나 큰 영역들을 필터링 제거하는 방식으로 손 영역의 깊이값만을 추출하기 위한 1차 필터링부와;

필터링된 손 영역의 깊이값들에 대해 레이블링 처리하여 각 손가락 끝점의 픽셀들을 그룹화시켜 손가락 개수를 파악하기 위한 손가락 개수 인식부와;

인식된 손가락 끝점의 움직임 방향을 추적하여 손가락 동작을 인식하기 위한 손가락 동작 인식부;를 포함함을 또 다른 특징으로 한다.

한편 본 발명의 실시예에 따른 자동차 모의 운전 제어방법은 자동차 모의 운전 훈련 시스템에 탑재되어 실행 가능한 방법으로서,

깊이값을 가지는 손가락 촬상 영상으로부터 깊이값 및 컬러정보를 이용해 기 설정된 범위보다 작거나 큰 영역들을 필터링 제거하는 방식으로 손 영역의 깊이값만을 추출하기 위한 1차 필터링 단계와;

필터링된 손 영역의 깊이값들에 대해 레이블링 처리하여 각 손가락 끝점의 픽셀들을 그룹화시켜 손가락 개수를 인식하는 단계와;

인식된 손가락 끝점의 움직임 방향을 추적하여 손가락 동작을 인식하는 단계와;

인식된 손가락 개수 및 손가락 동작에 매핑된 부속장치 제어명령을 독출하여 자동차 모의 운전 훈련 시스템에 포함된 부속 장치를 제어하거나 제어 요청하는 단계;를 포함함을 특징으로 한다.

상술한 과제 해결 수단에 따르면, 본 발명은 운전자의 손가락 동작을 자동 인식하여 자동차 모의 운전 훈련 시스템에 포함된 부속 장치들을 제어할 수 있기 때문에, 운전자는 운전중 전방을 주시하면서 편리하게 차량 내 부속장치들을 제어할 수 있는 효과를 얻을 수 있으며, 차량 제조사들은 이러한 모의 운전 훈련 시스템을 실제 자동차에 접목함으로써 NUI 기술이 접목된 자동차 산업분야에서 시장을 선점할 수 있는 효과를 얻을 수 있다.

도 1은 본 발명의 실시예에 따른 동작인식에 기반한 자동차 모의 운전 제어장치의 블럭 구성 예시도.
도 2는 본 발명의 실시예에 따른 동작인식에 기반한 자동차 모의 운전 제어 흐름 예시도.
도 3 내지 도 5는 본 발명의 실시예에 따른 손가락 개수 및 동작 인식을 설명하기 위해 필요한 영상 화면 표시 예시도.

이하 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 관련된 공지 기능 혹은 구성과 같은 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.

도 1은 본 발명의 실시예에 따른 동작인식에 기반한 자동차 모의 운전 제어장치의 블럭 구성도를 예시한 것이다.

도 1을 참조하면, 동작인식 센서(100)는 운전자 혹은 훈련자의 신체 일부, 예를 들면 손가락의 개수와 동작을 인식하기 위한 근접 센서로서, 컬러 정보와 함께 깊이값 정보가 포함된 촬상 영상을 얻을 수 있는 3D 촬영부(혹은 3D 카메라)(100)로 구현 가능하다. 이러한 3D 촬영부(100)는 자동차 모의 운전 제어장치의 구성요소일 수도 있으며, 외부 장치로서 자동차 모의 운전 제어장치에 연결되어 사용될 수도 있다.

자동차 모의 운전 제어장치를 구성하는 동작 인식부(200)는 3D 촬영부(100)로부터 입력 가능한 운전자의 손가락 촬상 영상으로부터 손가락 개수 및 손가락 동작을 인식하고, 인식된 손가락 개수 및 손가락 동작 정보를 후술할 제어부(300)로 전달한다.

보다 구체적으로 상기 동작 인식부(200)는 손가락 촬상 영상으로부터 깊이값 및 컬러정보를 이용해 기 설정된 범위보다 작거나 큰 영역들을 필터링 제거하는 방식으로 손 영역의 깊이값만을 추출하기 위한 1차 필터링부(210)와,

필터링된 손 영역의 깊이값들에 대해 레이블링(labeling) 처리하여 각 손가락 끝점의 픽셀들을 그룹화시켜 손가락 개수를 파악하기 위한 손가락 개수 인식부(220)와,

인식된 손가락 끝점의 움직임 방향을 추적하여 손가락 동작을 인식하기 위한 손가락 동작 인식부(230)를 포함한다.

자동차 모의 운전 제어장치의 제어부(300)는 내부 메모리에 저장된 제어 프로그램 데이터에 기초하여 자동차 모의 운전 제어장치의 동작을 제어한다. 예를 들면, 제어부(300)는 동작 인식부(200)에서 인식된 손가락 개수 및 손가락 동작에 맵핑된 부속장치 제어명령을 독출하여 자동차 모의 운전 훈련 시스템에 포함된 부속 장치(오디오, 네비게이션 등)(500)를 직접 제어하거나 부속장치(500)를 별도 제어하는 제어부에게 제어를 요청할 수 있다.

이를 위해 제어부(300)는 인식된 손가락 개수와 그 인식된 개수의 손가락 동작 별로 부속장치(500) 제어명령이 맵핑되어 있는 저장부를 내부에 포함할 수 있으며, 경우에 따라서는 상기 저장부가 제어부(300) 외부에 위치하여 액세스 될 수도 있다. 하기 표 1은 인식된 손가락 개수와 그 인식된 개수의 손가락 동작 별로 부속장치(500) 제어명령이 맵핑되어 있는 형태를 예시한 것이다. 이는 하나의 예시에 불과하며 다양한 손가락 동작 인식에 따라 여러 제어명령이 맵핑되어 사용될 수 있을 것이다.

손가락 개수	손가락 동작 인식	제어명령
1	상	방향키 상으로 이동
	하	방향키 하로 이동
	좌	방향키 좌로 이동
	우	방향키 우로 이동
2		선택/확인
3		취소/뒤로가기

도 1에서 미설명된 인터페이스부(I/F)(400)는 자동차 모의 운전 제어장치와 자동차 부속장치(500)간에 데이터 전송을 인터페이스해 주는 블럭으로서, 이 또한 시스템 설계에 따라서는 생략 가능한 기술 구성요소이다.

이하 상술한 구성을 가지는 자동차 모의 운전 제어장치의 동작을 도 2 내지 도 5를 참조하여 보다 구체적으로 설명하기로 한다.

도 2는 본 발명의 실시예에 따른 동작인식에 기반한 자동차 모의 운전 제어 흐름도를 예시한 것이며, 도 3 내지 도 5는 본 발명의 실시예에 따른 손가락 개수 및 동작 인식을 설명하기 위해 필요한 영상 화면을 예시한 것이다.

도 2를 참조하면, 우선 자동차 모의 운전 제어장치은 동작인식 센서인 3D 촬영부(100)로부터 운전자(훈련자)의 손가락 촬상영상을 입력(S10단계) 받는다. 이러한 손가락 촬상영상의 예가 도 3의 (a)에 도시되어 있다. 손가락 촬상영상이 입력되면, 동작 인식부(200)의 1차 필터링부(210)에서는 깊이값을 가지는 손가락 촬상 영상으로부터 깊이값 및 컬러정보를 이용해 기 설정된 범위보다 작거나 큰 영역들을 필터링 제거하는 방식으로 손 영역의 깊이값만을 추출한다(S20단계)(도 3의 (b))

이어 손가락 개수 인식부9220)는 1차 필터링된 손 영역의 깊이값들에 대해 레이블링 처리하여 각 손가락 끝점의 픽셀들을 그룹화시켜 도 4에서와 같이 손가락 개수를 인식(S30단계)한다.

이어서 손가락 동작 인식부(230)는 인식된 손가락 끝점의 움직임 방향을 도 5에서와 같이 구분된 영역에서 추적하여 끝점의 움직임 이동에 따라 손가락 동작을 인식(S40단계)한다.

손가락 개수 인식부(220)와 손가락 동작 인식부(230) 각각에서 인식된 손가락 개수 정보와 손가락 동작 인식 정보는 제어부(300)로 전달됨으로써, 제어부(300)는 인식된 손가락 개수 및 손가락 동작에 매핑된 부속장치 제어명령을 저장부에서 독출(S50단계)하여 자동차 모의 운전 훈련 시스템에 포함된 부속 장치(500)를 직접 제어하거나 외부 제어부에 제어 요청(S60단계)한다.

예를 들어 제어하고자 하는 장치가 오디오로 선택된 경우(이러한 부속장치 선택 역시 손가락 개수 및 동작을 인식하여 제어되도록 시스템 설계할 수도 있을 것이다), 운전자는 손가락 하나가 촬상이 이루어지도록 하고, 손가락 하나를 상방으로 이동시켜 방향키 상부로의 조작명령을 입력한 효과를 얻을 수 있다.

따라서 본 발명은 운전자의 손가락 동작을 자동 인식하여 자동차 모의 운전 훈련 시스템에 포함된 부속 장치들을 제어할 수 있기 때문에, 운전자는 운전중 전방을 주시하면서 편리하게 차량 내 부속장치들을 제어할 수 있는 효과를 얻을 수 있으며, 차량 제조사들은 이러한 모의 운전 훈련 시스템을 실제 자동차에 접목함으로써 NUI 기술이 접목된 자동차 산업분야에서 시장을 선점할 수 있는 효과를 얻을 수 있다.

이상 본 발명은 도면에 도시된 실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

Claims

운전자의 손가락 촬상 영상으로부터 손가락 개수 및 손가락 동작을 인식하기 위한 동작 인식부와;
인식된 손가락 개수와 그 인식된 개수의 손가락 동작 별로 부속장치 제어명령이 맵핑되어 있는 저장부와;
인식된 손가락 개수 및 손가락 동작에 맵핑된 부속장치 제어명령을 독출하여 자동차 모의 운전 훈련 시스템에 포함된 부속 장치를 제어하거나 제어 요청하기 위한 제어부;를 포함함을 특징으로 하는 동작인식에 기반한 자동차 모의 운전 제어장치.
청구항 1에 있어서, 운전자의 손가락 촬상 영상을 얻기 위한 3D 촬영부;를 더 포함함을 특징으로 하는 동작인식에 기반한 자동차 모의 운전 제어장치.
청구항 1 또는 청구항 2에 있어서, 상기 동작 인식부는,
상기 손가락 촬상 영상으로부터 깊이값 및 컬러정보를 이용해 기 설정된 범위보다 작거나 큰 영역들을 필터링 제거하는 방식으로 손 영역의 깊이값만을 추출하기 위한 1차 필터링부와;
필터링된 손 영역의 깊이값들에 대해 레이블링 처리하여 각 손가락 끝점의 픽셀들을 그룹화시켜 손가락 개수를 파악하기 위한 손가락 개수 인식부와;
인식된 손가락 끝점의 움직임 방향을 추적하여 손가락 동작을 인식하기 위한 손가락 동작 인식부;를 포함함을 특징으로 하는 동작인식에 기반한 자동차 모의 운전 제어장치.
깊이값을 가지는 손가락 촬상 영상으로부터 깊이값 및 컬러정보를 이용해 기 설정된 범위보다 작거나 큰 영역들을 필터링 제거하는 방식으로 손 영역의 깊이값만을 추출하기 위한 1차 필터링 단계와;
필터링된 손 영역의 깊이값들에 대해 레이블링 처리하여 각 손가락 끝점의 픽셀들을 그룹화시켜 손가락 개수를 인식하는 단계와;
인식된 손가락 끝점의 움직임 방향을 추적하여 손가락 동작을 인식하는 단계와;
인식된 손가락 개수 및 손가락 동작에 매핑된 부속장치 제어명령을 독출하여 자동차 모의 운전 훈련 시스템에 포함된 부속 장치를 제어하거나 제어 요청하는 단계;를 포함함을 특징으로 하는 동작인식에 기반한 자동차 모의 운전 제어방법.