KR101704065B1 - 차량 인터랙션 시스템 - Google Patents

Abstract

입력 가능 영역에서 제스쳐의 발생을 감지하는 카메라, 카메라에 의해 입력된 영상 중 제스쳐를 입력하는 신체를 추출하고 해당 신체의 위치를 계산하는 영상처리 모듈, 상기 영상처리 모듈에 의해 인식된 제스쳐에 따른 피드백신호를 발생시키는 피드백 모듈을 포함하고, 이러한 피드백 모듈은, 바람을 발생시키는 풍력발생장치 및 발생된 바람에 지향성을 부여하는 초음파 발생장치를 포함하는 초음파 풍압 모듈이거나, 적외선을 발생시키는 적외선 발생장치 및 발생된 적외선을 집광하는 반사경과 렌즈를 포함하는 적외선 온열 램프 모듈이거나, 영상처리 모듈에 의해 추출된 제스쳐 입력 신체가 입력 가능 영역에 있을 때 이를 입력 가능 표시를 시각적으로 피드백하고 영상처리 모듈에 의해 추출된 제스쳐가 정상적으로 입력된 경우 해당 제스쳐가 표시되거나 해당 제스쳐 입력 후 진행되는 화면을 시각적으로 피드백하는 시각 및 청각 피드백 모듈인 차량 인터랙션 시스템이다.

Description

차량 인터랙션 시스템{Interaction System for Vehicles}

본 발명은 차량 인터랙션 시스템에 관한 것으로서, 보다 상세하게는 탑승자의 제스쳐를 인식하여 촉각, 시각 또는 청각 방식으로 피드백을 함으로써 제스쳐 오입력을 감소시키고 운전자의 시야나 신경이 분산되지 않도록 하는 기술이다.

차량 내 인터랙션 시스템에서 피드백은 시각적인 디스플레이나 조명, 또는 청각적인 소리가 대부분을 차지한다. 가령 운전자는 네비게이션의 터치 디스플레이를 조작하고, 이에 대해 네비게이션 시스템은 화면을 변경시키거나 소리를 내는 방식으로 운전자에게 운전자의 입력이 제대로 입력되었음을 피드백한다.

그러나 이러한 과정에서 운전자의 시각적 집중력이 디스플레이에 분산되고 청각적 집중력이 피드백 소리에 분산되기 때문에, 차량 내 인터랙션 시스템 조작과정에서 실제 많은 사고가 발생한다.

이에 카메라 등을 사용하여 촬영되는 탑승자의 제스쳐를 인지하는 방식을 사용한다면 디스플레이 패널 조작으로 인한 시야의 분산은 어느 정도 피할 수가 있겠지만, 이러한 비접촉식 입력 방식에 대해서는 위와 같은 기존의 방식으로 마땅한 피드백신호를 발생시킬 수 없다는 문제점이 있다.

이러한 피드백 신호가 없다면 제스쳐의 시종이 불명확하고, 제스쳐와 제스쳐 사이의 동작도 제스쳐로 인식되는 등 입력이 쉽지 않다는 문제가 야기된다.

이에 본 발명은 비접촉식 제스쳐를 이용한 입력에 대응하여 적절한 신호를 발생시킴으로써 운전자의 시선이나 청각적 주의력 분산 없이 안전운행을 하면서 정확한 입력이 가능하도록 하는 차량 인터랙션 시스템을 제공함을 목적으로 한다.

상기한 과제를 해결하기 위해 본 발명은 입력 가능 영역에서 제스쳐의 발생을 감지하는 카메라,

카메라에 의해 입력된 영상 중 제스쳐를 입력하는 신체를 추출하고 해당 신체의 위치를 계산하는 영상처리 모듈,

상기 영상처리 모듈에 의해 인식된 제스쳐에 따른 피드백신호를 발생시키는 피드백 모듈을 포함하는 차량 인터랙션 시스템을 제공한다.

여기서 상기 피드백 모듈은 초음파 풍압 모듈과 상기 초음파 풍압 모듈의 방향을 정해주는 액추에이터를 포함하고,

상기 초음파 풍압 모듈은, 바람을 발생시키는 풍력발생장치와, 발생된 바람에 지향성을 부여하는 초음파 발생장치를 포함할 수 있다.

또한 여기서 상기 피드백 모듈은 적외선 온열 램프 모듈과 상기 적외선 온열 램프 모듈의 방향을 정해주는 액추에이터를 포함하고, 상기 적외선 온열 램프 모듈은, 적외선을 발생시키는 적외선 발생장치와, 발생된 적외선을 집광하는 반사경 및 렌즈를 포함할 수 있다.

또한 여기서 상기 피드백 모듈은 시각 및 청각 피드백 모듈을 포함하고, 상기 시각 및 청각 피드백 모듈은, 영상처리 모듈에 의해 추출된 제스쳐 입력 신체가 입력 가능 영역에 있을 때 이를 입력 가능 표시를 시각적으로 피드백하고, 영상처리 모듈에 의해 추출된 제스쳐가 정상적으로 입력된 경우 해당 제스쳐가 표시되거나 해당 제스쳐 입력 후 진행되는 화면을 시각적으로 피드백할 수 있다.

상기와 같은 본 발명에 의하면, 사용자가 어떻게 제스쳐를 취하면 어떻게 입력되는지에 대한 감각이 생기게 된다. 이 동작이 익숙해지면 사용자의 인지부하가 줄게 되고 제스쳐를 취할 때 오입력이 줄어들고 사용자 만족감이 늘어나게 된다.

운전자 손에 직접 풍압이나 온열감으로 피드백을 주게 되면 운전시 시선이 이동하지 않고도 제스쳐에 대한 느낌을 주므로 시선분산을 줄여주고 사용편의성을 높여준다.

도 1은 본 발명에 따른 인터랙션 시스템의 제1실시예를 나타낸 도면이다.
도 2는 본 발명에 따른 인터랙션 시스템의 제1실시예의 알고리즘을 나타낸 도면이다.
도 3은 본 발명에 따른 인터랙션 시스템의 제2실시예를 나타낸 도면이다.
도 4는 본 발명에 따른 인터랙션 시스템의 제2실시예의 알고리즘을 나타낸 도면이다.
도 5는 본 발명에 따른 인터랙션 시스템의 제3실시예를 나타낸 도면이다.
도 6은 본 발명에 따른 인터랙션 시스템의 제3실시예의 알고리즘을 나타낸 도면이다.

이하, 도 1 내지 도 6을 참고하여 본 발명의 구체적인 실시예를 설명하기로 한다.

먼저, 도 1과 2를 참조하여 본 발명의 제1실시예를 설명한다.

차량의 실내에는 운전자의 근처 일정 영역을 지속적으로 촬영할 수 있는 카메라(2)와, 상기 일정 영역에 위치하여 촬영된 신체에서 제스쳐를 입력하는 신체부위(1;가령 손, 손가락 등)를 공지의 영상처리기법을 이용하여 추출하고, 추출된 신체의 위치를 계산하는 영상처리 모듈(10)이 설치되어 있다.

영상처리 모듈(10)은 추출된 신체 위치의 변동을 통해 제스쳐를 확정할 수 있게 되는데, 제스쳐가 확정된 경우 해당 제스쳐가 저장모듈(20)에 저장되어 있는 소정의 제스쳐와 일치하는지 확인하고, 소정의 제스쳐와 일치할 경우 올바른 입력이 이루어졌음을 운전자에게 알려야 한다. 이때, 저장모듈(20)은 손 흔들기, 주먹쥐기, 박수치기 등 다양한 제스쳐 형태를 미리 저장한다.

이를 위해 차량의 실내에는 상기 영상처리 모듈(10)에 의해 인식된 제스쳐에 따른 피드백신호를 발생시키는 피드백 모듈로서 초음파 풍압 모듈(3)이 설치되어 있다.

초음파 풍압 모듈(3)은 고지향성을 가지는 것으로서, 초음파를 이용하여 바람이 지향성을 가지게 함으로써 손끝과 같은 좁은 영역에 바람을 보낼 수 있도록 구성한다. 특히 초음파는 주파수가 높을수록 직진성이 커지고 분산각이 줄어들어 바람의 진행 영역을 좁게 한정시키기에 좋고 주파수 제어를 통해 제어가 용이하다.

이 때 바람의 방향은 현재 신체부위가 위치하는 곳을 향해야 하는데 신체부위의 위치는 영상처리 모듈(10)을 통해 획득할 수 있다.

영상처리 모듈(10)에 의해 획득된 신체의 위치로 초음파 풍압 모듈(3)의 방향을 이동시켜야 하는데 이는 초음파 풍압 모듈(3)에 설치된 액추에이터(미도시)의 제어를 통해 수행할 수 있으며, 이러한 제어는 가령 무인 터렛과 같은 기술에 사용되는 방식을 사용할 수 있다.

도 2를 참조하여, 본 발명의 제 1 실시예에 따른 제스쳐 인식에 따른 피드백 방법을 설명하면 아래와 같다.

먼저, 카메라(2)를 이용하여 제스쳐 발생을 감지하면(S11), 영상처리모듈(10)은 카메라(20)에 의해 획득된 영상정보로부터 제스쳐 입력 위치 및 특징을 확인하고(S12) 제스쳐를 입력한 신체부위의 위치를 산출한다(S13).

이에, 영상처리모듈(10)은 초음파 풍압모듈(3)이 지향성 초음파를 발생하도록 제어하고(S14), 초음파 풍압모듈(30)은 제스쳐를 입력한 신체부위에 지향성 초음파를 발생한다(S15).

이하 도 3과 4를 참조하여 본 발명의 제1실시예에서 피드백 모듈이 변형된 제2실시예를 설명하되, 제1실시예와 중복되는 카메라(2)와 영상처리 모듈(10) 부분에 대한 설명은 생략하기로 한다.

제2실시예의 차량의 실내에는 피드백 모듈로서 적외선 온열 램프 모듈(4)을 사용한다.

적외선 온열램프 모듈(4)은 신체와 접촉하는 지점의 온도를 의미 있는 정도로 상승시키지만 뜨겁거나 화상을 입을 정도에 이르지는 않도록 제어되는 적외선 발생장치(미도시)를 포함하며, 적외선이 퍼지지 않고 손끝과 같은 좁은 영역에 모일 수 있도록 하는 반사경 및 렌즈(미도시)를 더 포함한다.

적외선의 방사 방향의 조절에 관한 부분은 제1실시예와 동일하다.

도 4의 과정 S21~S23, S25는 도 2의 과정 S11~S13, S15와 동일하고 피드백으로서 지향성 초음파 대신에 적외선 온열램프를 작동하는 부분만 상이하다.

이하 도 5와 6을 참조하여 본 발명의 제3실시예를 설명한다. 제3실시예 역시 제1실시예와 카메라(2)와 영상처리 모듈(10) 부분은 동일하다.

제3실시예에서의 피드백 모듈로는 시각 및 청각 피드백 모듈(5)이 설치된다.

시각적 피드백 장치로는 LCD 등의 디스플레이, 또는 HUD 등이 사용될 수 있고, 청각적 장치로는 알람 음이 발생하거나 어떠한 동작이 수행되는지에 대한 음성안내 등이 발생할 수 있다.

운전자의 입력 신체가 제스쳐 입력을 위한 소정의 입력가능영역에 위치하며 머무는 경우에는 손과 같은 모양이 뜨면서 게이지가 차오르거나 테두리 색이 변하는 등의 방법으로 사용자에게 알려준다.

또 제스쳐에 의한 입력이 정상적으로 이루어졌음을 알리기 위해서는 해당 제스쳐에 대한 아이콘을 표시하거나 해당 제스쳐에 따른 다음 화면이 뜨는 방식으로 사용자에게 알려줄 수 있다.

이하, 도 6을 참조하여, 시각 및 청각 피드백을 제공하는 방법을 설명하기로 한다.

먼저, 카메라(2)를 통해 제스쳐 발생이 감지되면(S31), 영상처리모듈(10)은 저장모듈(20)에 저장된 제스쳐와 비교하여 제스쳐를 확인하고(S32), 제스쳐 특징에 맞는 시나리오를 선택한다(S33). 그 후 영상처리모듈(10)은 시각 및 청각 피드백모듈(5)을 제어하여, 시각 및 청각 피드백모듈(5)이 시나리오별 시청각 아웃풋을 출력하고(S34), 시청각 사용자 입력 피드백을 제공한다(S35).

이와 같이, 본 발명은 운전자의 제스쳐를 인식하고 제스쳐 인식 시 적절한 피드백을 제공하도록 함으로써 제스쳐 오인식을 최소화할 수 있다.

1 : 제스쳐 입력 신체
2 : 카메라
3 : 초음파 풍압 모듈
4 : 적외선 온열램프 모듈
5 : 시작 및 청각 피드백 모듈
10 : 영상처리 모듈

Claims (6)

1. 입력 가능 영역에서 제스쳐의 발생을 감지하는 카메라;
   카메라에 의해 입력된 영상 중 제스쳐를 입력하는 신체를 추출하고 해당 신체의 위치를 계산하는 영상처리 모듈; 및
   상기 영상처리 모듈에 의해 인식된 제스쳐에 따른 피드백신호를 발생시키는 피드백 모듈을 포함하고
   상기 피드백 모듈은,
   적외선을 발생시키는 적외선 온열 램프 모듈; 및
   상기 적외선 온열 램프 모듈의 방향을 정해주는 액추에이터를 포함하는 것을 특징으로 하는 차량 인터랙션 시스템.
2. 청구항 1에 있어서,
   상기 피드백 모듈은,
   풍압을 발생시키는 초음파 풍압 모듈; 및
   상기 초음파 풍압 모듈의 방향을 정해주는 액추에이터를 포함하는 차량 인터랙션 시스템.
3. 청구항 2에 있어서,
   상기 초음파 풍압 모듈은,
   바람을 발생시키는 풍력발생장치; 및
   발생된 바람에 지향성을 부여하는 초음파 발생장치를 포함하는 차량 인터랙션 시스템.
4. 삭제
5. 청구항 1에 있어서,
   상기 적외선 온열 램프 모듈은,
   적외선을 발생시키는 적외선 발생장치; 및
   발생된 적외선을 집광하는 반사경 및 렌즈를 포함하는 차량 인터랙션 시스템.
6. 청구항 1에 있어서,
   상기 피드백 모듈은 시각 및 청각 피드백 모듈을 포함하고,
   상기 시각 및 청각 피드백 모듈은,
   영상처리 모듈에 의해 추출된 제스쳐 입력 신체가 입력 가능 영역에 있을 때 이를 입력 가능 표시를 시각적으로 피드백하고,
   영상처리 모듈에 의해 추출된 제스쳐가 정상적으로 입력된 경우 해당 제스쳐가 표시되거나 해당 제스쳐 입력 후 진행되는 화면을 시각적으로 피드백하는 차량 인터랙션 시스템.

Images