KR100969102B1 - 차량용 표시수단 조작장치를 제어하기 위한 방법 - Google Patents

Abstract

본 발명은 차량용 표시수단 조작장치를 제어하기 위한 방법에 관한 것으로서, 더욱 상세하게는 운전자의 운전 조작에 영향이 적은 위치에 조작부를 배치하고, 운전자의 시선 이동이 적은 위치에 표시부를 배치하여, 운전에 지장이 없는 범위내에서 보다 안전하면서도 단시간에 원하는 기능에 대한 조작을 용이하게 실시할 수 있도록 한 차량용 표시수단 조작장치를 제어하기 위한에 관한 것이다.

상기한 목적을 달성하기 위한 본 발명은 조작부에 올려진 손가락을 촬상부에서 촬영하는 단계와; 상기 조작부에 접촉하고 있는 손가락의 접촉점 좌표값를 검출하되, 손가락이 접촉하는 영역의 중심 위치에 해당하는 좌표값을 검출하는 단계와; 검출된 좌표값에 따라 표시부에 실제 손가락 화상이 합성 표시되는 단계; 를 포함하는 것을 특징으로 하는 차량용 표시수단 조작장치를 제어하기 위한 방법을 제공한다.

차량용, 표시수단, 조작장치, 촬상부, 화상 처리부, 손가락 화상

Description

차량용 표시수단 조작장치를 제어하기 위한 방법{Method for controlling display operating device of vehicle}

본 발명은 차량용 표시수단 조작장치를 제어하기 위한 방법에 관한 것으로서, 더욱 상세하게는 운전자의 운전 조작에 영향이 적은 위치에 조작부를 배치하고, 운전자의 시선 이동이 적은 위치에 표시부를 배치하여, 운전에 지장이 없는 범위내에서 보다 안전하면서도 단시간에 원하는 기능에 대한 조작을 용이하게 실시할 수 있도록 한 차량용 표시수단 조작장치를 제어하기 위한 방법에 관한 것이다.

차량의 실내에 네비게이션, 라디오, TV, 인터넷 등을 사용할 수 있는 표시수단(예를 들어, 터치 스크린) 등이 갖추어져 있으며, 이 표시수단에 표시되는 각종 기능을 조작하는 방법은 직접 표시수단을 터치하여 조작하거나 조그셔틀과 같은 조작수단을 이용하여 조작하는 방법 등이 있다.

또한, 종래 기술로서 첨부한 도 9에 도시된 바와 같이, 콘솔 부위에 마련된 조작부(21)에 손을 올려 놓게 되면, 조작을 실시하는 손을 촬상부(22)에서 촬영하 는 동시에 그 손가락 화상을 조작 메뉴를 표시하는 표시부(10)에 합성 표시하여, 운전자가 상기 표시부(10)에 표시되는 손가락 화상을 보면서 조작 메뉴를 조작하도록 함으로써, 운전자의 시선 이동이 적고, 조작에 대한 부하를 경감할 수 있는 표시수단 조작장치가 알려져 있다.

상기와 같은 차량용 표시수단 조작장치에서, 촬상한 손가락의 화상을 표시부에 합성할 때, 조작자가 보기 쉽도록 하는 몇 개의 묘화 방법이 제안되고 있다.

예를 들면, 일본공개특허 제2007-286696호에는 아래와 같은 기술이 공개되고 있다.

1. 표시부에 손화상이 표시될 때, 손화상 중 손가락의 첨단 부분이 손과 조작부의 접점이다고 믿어 버리는 습성이 조작자에게 존재하며, 그 때문에 표시부에 표시되는 손화상이 실제의 손보다 작게 보이도록 하는 기술이 포함되어 있다.

즉, 첨부한 도 10의 좌측에 도시된 바와 같이 손가락을 굽히지 않은 상태에서 손가락의 배의 부분이 조작부에 접촉하는 경우, 표시부에 표시되는 손가락 화상에 손가락을 손쉽게 맞출 수 있다.

그러나, 첨부한 도 10의 우측에 도시된 바와 같이 손가락을 굽힌 상태에서 손가락 끝으로 조작을 실시하거나 손가락의 배로 조작을 실시하는 경우, 조작부와 손간의 접촉점이 혼동되어 표시부에 표시되는 손가락 화상으로부터 빗나간 위치에 접촉점이 있는 것으로 인식됨으로써, 조작자에게 혼란감을 줄 수 있다.

또한, 첨부한 도 11의 (b)에 도시된 바와 같이 손가락 화상을 촬상하는 카메라의 설치 위치를 기울기를 갖는 상부 경사방향으로부터 촬상할 수 있도록 함으로 써, 도 11의 (a)에 도시된 바와 같이 바로 위로부터 촬상할 경우에 생기는 손가락 화상의 첨단과 손가락이 조작부 표면에 압력을 가하는 부분과의 차이가 작아지게 된다.

그러나, 손가락 화상을 기울기를 갖는 위치에서 촬상하는 경우, 조작부로부터 손가락이 띄운 상태하면, 실제의 손가락 위치로부터 크게 벗어난 위치에 접촉점이 있는 것으로 촬영되어 표시부에 표시되는 손가락 화상의 접촉점이 본래 좌표에서 벗어난 위치에 표시될 수 있다.

2. 복수의 손가락으로 조작을 실시하는 경우, 표시되는 손가락의 화상이 집게 손가락과 중지를 혼동시키지 않고 표시되도록 손가락 판정수단을 사용하고, 손가락 화상의 형상, 손가락의 굵기, 손가락의 첨단부를 인식하는 기술이 포함되어 있다.

예를 들면, 가장 긴 중지의 판정을 실시해, 중지의 표시를 다른 손가락과 색채 등으로 차별 표시를 함으로써, 조작자가 인식하는 기준점이 되도록 한다.

그러나, 조작을 실시하는 손가락이 첨부한 도 5에 도시된 바와 같이 여러가지 형태로 굽혀진 상태라면, 손가락 판정이 곤란한 문제점이 있다.

3. 조작부와 손가락의 첨단부가 접촉한다고 추정되는 위치를 원형 모양의 하이라이트로 표시하여, 표시부의 해당 기능이 선택되고 있는 것을 명확하게 표시하는 기술이 포함되어 있다.

그러나, 상기와 같이 손가락의 끝으로 조작하거나, 손가락을 굽힌 상태로 조작하는 경우, 접촉점을 특정하는 것에 어려움이 있고, 또한 원형 모양의 하이라이 트 표시는 손가락의 위치를 대략적으로 밖에 특정할 수 없기 때문에 세밀한 영역을 선택하는 조작에 어려움이 있다.

4. 조작부에 손이 접촉하기 전에 표시부에 합성하는 기술이 포함되어 있지만, 조작부 상부의 촬상 에리어의 경계선 부근에서 손이 휘청거릴 때, 표시부에서는 손화상의 표시가 정확하게 표시되지 않는 단점이 있다.

본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위하여 안출한 것으로서, 운전자의 운전 조작에 영향이 적은 위치에 배치되는 조작부와, 조작부에 올려진 손가락을 촬상하여 표시부에 합성 표시하는 촬상부와, 운전자의 시선 이동이 적은 위치에 배치되는 표시부을 포함하는 표시구단 조작장치를 운전에 지장이 없는 범위내에서 보다 안전하면서도 단시간에 원하는 기능에 대한 조작을 용이하게 실시할 수 있도록 개선시킨 차량의 표시수단 조작장치 및 방법을 제공하는데 그 목적이 있다.

상기한 목적을 달성하기 위한 본 발명은 조작부에 올려진 손가락을 촬상부에서 촬영하는 단계와; 상기 조작부에 접촉하고 있는 손가락의 접촉점 좌표값를 검출하되, 손가락이 접촉하는 영역의 중심 위치에 해당하는 좌표값을 검출하는 단계 와; 검출된 좌표값에 따라 표시부에 실제 손가락 화상이 합성 표시되는 단계; 를 포함하는 것을 특징으로 하는 차량용 표시수단 조작장치를 제어하기 위한 방법을 제공한다.

바람직한 일 구현예로서, 손가락의 끝과 테두리 부위의 정점을 검출하는 단계와; 검출 지점을 기준으로 손가락 화상의 사이즈를 축소하여 표시부에 표시하는 단계; 를 더 포함하는 것을 특징으로 한다.

바람직한 다른 구현예로서, 상기 표시부에 손가락 화상이 표시될 때, 상기 조작부에 접촉하는 손가락과 비접촉하는 손가락이 구별 표시되는 단계를 더 포함하는 것을 특징으로 한다.

또한, 상기 조작부에 접촉하는 손가락을 유색 표시하거나 굵은 선으로 표시하고, 비접촉 손가락은 무색 표시하는 동시에 점선으로 표시하는 것을 특징으로 한다.

바람직한 또 다른 구현예로서, 상기 표시부에 표시되는 손가락 화상의 표시 또는 표시 삭제 기능에 페이드인-페이드아웃 기능을 부여하거나, 표시 또는 표시 삭제 시간에 히스테리시스를 부여한 것을 특징으로 한다.

상기한 과제 해결 수단을 통하여, 본 발명은 다음과 같은 효과를 제공할 수 있다.

본 발명에 따르면, 표시부에 표시되는 각종 메뉴 등을 조작부에서 손가락으 로 조작하되, 운전에 지장이 없는 범위내에서 보다 안전하면서도 단시간에 원하는 기능에 대한 조작을 용이하게 실시할 수 있다.

또한, 조작을 실시하는 손가락이 굽혀진 상태라 하더라도, 손가락 화상이 표시부에 명확하게 표시됨으로써, 조작자가 보다 쉽고 편리하게 각종 메뉴를 조작할 수 있다.

이하, 본 발명의 바람직한 실시예를 첨부도면을 참조로 상세하게 설명하기로 한다.

본 발명은 도 1에 도시된 바와 같이, 운전자의 손이 편안하게 거치될 수 있는 변속기어와 콘솔 사이 위치에 일종의 패드와 같은 조작부를 배치하고, 운전자의 시선이 크게 벗어나지 않는 위치에 네비게이션 등과 같은 표시부를 배치한 상태에서, 상기 조작부에 거치된 손가락을 촬상하여 손가락 화상이 표시부에 합성 표시되도록 하되, 표시부에 표시되는 각종 조작 메뉴를 번거로움 내지 불편함을 느끼지 않고 손가락 화상을 사용해 편리하게 조작할 수 있도록 한 점에 주안점이 있다.

먼저, 본 발명에 관련되는 표시수단 조작장치에 대한 구성을 첨부한 도 8을 참조로 설명하면 다음과 같다.

본 발명에 관련되는 표시수단 조작장치은 손가락을 포함한 손을 촬상하기 위한 촬상부(22)와, 주로 압하에 의해서 조작을 실시하는 조작부(21)와, 촬상한 손가락 화상을 잘라내 조작하기 쉬운 상태에 처리하여 표시부에 합성시키는 화상 처리 부(30)와, 서로 합성된 메뉴 화면 및 손가락 화상을 표시하는 표시부(10)와, 조작 대상인 네비게이션, 오디오, 에어콘 등의 각종 기기(42)를 표시부(10)로 제어하기 위한 표시 제어부(41)를 포함하여 구성된다.

또한, 상기 조작부(21)에서 압하 좌표를 표시 제어부(41)에 보내어 각종 기기(42)에 대한 제어가 이루어진다.

여기서, 상기와 같은 구성을 기반으로 이루어지는 본 발명의 표시수단 조작장치에 대한 제어 방법을 설명하면 다음과 같다.

제1제어예

상기 조작부(21)에 손가락이 올려진 상태에서 촬상부(22)의 촬영이 이루어진 후 그 영상신호가 화상 처리부(30)에 전송되되, 상기 조작부(21)에 압하력으로 작용하는 손가락 조작 신호도 함께 화상 처리부(30)에 전송되어, 상기 조작부(21)에 접촉하고 있는 손가락과 그 접촉점 좌표값를 검출하게 된다.

이에, 상기 조작부(21)에 손가락을 접촉하되 손가락이 굽혀지거나 손가락이 펼쳐진 상태에 상관없이, 그리고 도 4에 도시된 바와 같이 손가락의 배부위가 접촉하거나 손가락의 선단부가 접촉하는 것에 상관없이, 손가락이 접촉하고 있는 영역의 중심 위치에 해당하는 좌표값을 검출하고, 그 검출된 접촉점 좌표값이 조작을 위한 기준점이 되도록 한다.

즉, 접촉점 좌표값을 상기 표시부(10)에 펼쳐진 상태의 손가락 화상으로 표시하되, 상기 조작부(21)에 접촉하고 있는 영역의 중심 위치에 해당하는 좌표점을 검출해 손가락 화상에 합성 표시한다.

따라서, 상기 손가락이 굽혀진 상태에서 조작부(21)를 조작하더라도, 검출된 좌표값에 따라 상기 표시부(10)에는 실제 손가락 화상이 합성 표시되고, 이때 표시부(10)에 표시되는 손가락 화상의 배 위치가 검출된 좌표값이 된다.

이에 따라, 손가락을 굽힌 상태에서 손가락 끝으로 조작부(21)를 압하 조작하는 경우라도, 정확하게 표시부의 메뉴 영역을 확인하면서 선택할 수 있다.

한편, 본 발명에 따르면, 상기 표시부(10)와 조작부(21)의 각각의 크기에 있어서, 상기 표시부(10)는 보기 쉽게 큰 사이즈가 좋고, 조작부(21)는 공간 절약을 위해 손가락의 움직임 면적을 제한하도록 작은 것이 바람직한다.

이렇게 상기 표시부(10)는 크고 조작부(21)는 작은 사이즈로 채택함에 따라, 상기 표시부에 표시되는 손가락 화상이 실제 손의 크기보다 크게 표시되고, 또한 상기 표시부(10)에 중첩 표시되는 손가락의 화상이 상대적으로 커지게 되어, 손가락 화상이 표시부의 조작 메뉴 또는 지도 표시 등과 겹쳐져 오히려 표시부의 내용들을 가리게 되는 점이 있을 수 있다.

이러한 점을 감안하여, 상기 표시부(10)에 표시되는 손가락 화상은 조작부와의 상대적인 위치 좌표, 즉 압하하는 좌표에 관계없이 작게 표시되도록 한다.

예를 들어, 상기 표시부(10)에 축소 표시되는 손가락 화상은 첨부한 도 6에 도시된 바와 같이 손가락의 끝과 테두리 등, 각 부위의 정점을 검출하고, 그 검출 지점을 기준으로 손가락 화상의 사이즈를 축소함으로써, 표시부상의 손가락 화상이 차지하는 비율이 낮아져 표시부의 내용들을 용이하게 볼 수 있다.

제2제어예

본 발명의 제2제어예는 조작부에 접촉하는 손가락과 접촉하지 않는 손가락을 검출하여 첨부한 도 7에 도시된 바와 같이 표시부에 차별화시켜 표시한 점에 주안점이 있다.

즉, 상기 조작부(21)에 손가락이 올려진 상태에서 촬상부(22)의 촬영이 이루어진 후 그 영상신호가 화상 처리부(30)에 전송되되, 상기 조작부(21)에 압하력으로 작용하는 손가락 조작 신호도 함께 화상 처리부(30)에 전송되어, 이 화상 처리부(30)에서 상기 조작부(21)에 접촉하고 있는 손가락만을 상기 표시부(10)에 구별하여 표시하게 된다.

예를 들어, 도 7의 (A)에 도시된 바와 같이, 윤곽선 타입(실선, 점선등)으로 접촉, 비접촉을 구분하되, 접촉하고 손가락 화상은 분명한 실선의 윤곽선으로 표시하고, 접촉하지 않는 손가락 화상은 얇은 점선으로 표시한다.

또한 도 7의 (B)에 도시된 바와 같이, 접촉하는 손가락 화상은 유색 표시(피부색등)로 하고, 비접촉 손가락 화상은 윤곽선으로 표시하되, 손가락 화상이 표시부의 메뉴 항목이나 지도 표기와 겹쳐져 가리지 않도록 유색 표시는 반투명색으로 하는 것이 바람직하다.

또한 도 7의 (C)에 도시된 바와 같이, 조작부를 접촉하고 있던 손가락의 접촉점 좌표값이 표시부의 조작 메뉴상에 정확하게 들어가면, 해당 조작 메뉴를 하이라이트 표시 혹은 줌업 표시하여, 해당 조작 메뉴를 강조 표시한다.

또한 도 7의 (D)에 도시된 바와 같이, 표시부에 손가락의 접촉점 좌표값 표시와 접촉 부위의 차별화 표시를 조합하여 표시할 수 있다.

이에, 복수개의 손가락으로 조작을 실시할 때, 조작을 위한 손가락이 어느 손가락인지를 판별할 수 있게 되어, 조작자는 손가락 화상을 보면서 각종 메뉴를 보다 간편하면서도 명확하게 조작할 수 있다.

종래에는 복수개의 손가락의 표시중 어느 손가락이 실제 조작 대상의 손가락인지를 판단하는 것은 손가락을 실제로 움직여서 인식하고, 또한 움직이는 손가락을 기준으로 다른 손가락을 인식할 수 있어지만, 본 발명에 따르면 손가락을 움직여 기준이 되는 손가락을 찾을 필요가 없어져 조작성의 향상시킬 수 있다.

상기와 같은 제1 및 제2제어예에서, 상기 조작부(21)와 손가락과의 접촉점의 판정은 첨부한 도 2에 도시된 바와 같이, 조작부(21)와 일체가 된 카메라(22)가 조작부(21)의 아래방향으로부터 조작을 실시하는 손가락을 촬상하고, 그 촬상한 화상에 의해 판정되고, 또한 접촉 판정은 손가락이 조작부에 접촉했을 때에 도 3과 같이 변화하는 손가락 화상에 의해서 판단되며, 또한 상기 접촉점 좌표값은 조작부(21)와 손가락의 접촉점의 중심 위치를 산출하며, 표시부에 손가락 화상으로 표시된다.

제3제어예

상기 표시부(10)에 합성 표시되는 손가락 화상의 표시 및 표시 삭제 기능에 있어서, 촬상부(22)의 촬상 영역 부근에서 순간적으로 빠른 손 동작에 의해서 표시부에 손가락 화상이 명확하게 보이지 않는 현상이 발생될 수 있다.

이러한 점을 감안하여, 본 발명의 제3제어예는 표시부에 표시되는 손가락 화상의 표시 또는 표시 삭제 기능에 있어서, 손가락 화상을 합성할 때는 서서히 표 시하고 삭제할 때에도 서서히 손가락 화상이 사라져 가는 페이드인-페이드아웃 기능을 부여하거나, 표시 또는 표시 삭제 시간에 히스테리시스를 부여하여, 손가락이 보였다가 보이지 않는 불명확한 현상을 방지할 수 있다.

도 1은 본 발명에 따른 차량의 표시수단 조작 장치의 표시부와 조작부를 보여주는 개략도,

도 2는 본 발명에 따른 차량의 표시수단 조작 장치의 조작부에 대한 개략적인 단면도,

도 3은 접촉시와 비접촉시의 촬상 화상예를 나타내는 개략도,

도 4는 압하시의 손가락 상태와 접촉 위치의 예를 나타내는 개략도,

도 5는 손가락을 굽히고 조작을 실시했을 때의 접촉점의 예를 나타내는 개략도,

도 6은 손가락 화상이 축소되는 예를 설명하는 개략도,

도 7은 표시부에 대한 손가락 접촉점의 여러가지 실시예를 설명하는 개략도,

도 8은 본 발명에 따른 차량의 표시수단 조작 장치에 대한 시스템 블럭도,

도 9 내지 도 11은 종래의 차량의 표시수단 조작 장치를 나타내는 개략도.

<도면의 주요 부분에 대한 부호의 설명>

10 : 표시부 21 : 조작부

22 : 촬상부 30 : 화상 처리부

41 : 표시 제어부 42 : 조작 대상 기기

Claims (5)

1. 조작부(21)에 올려진 손가락을 촬상부(22)에서 촬영하는 단계와;

   상기 조작부(21)에 접촉하고 있는 손가락의 접촉점 좌표값를 검출하되, 조작부(21)에 올려진 손가락이 굽혀지거나 펼쳐진 상태, 손가락의 배부위가 접촉하거나 손가락의 선단부가 접촉하는 상태라 하더라도 손가락이 접촉하고 있는 영역의 중심 위치에 해당하는 좌표값을 검출하는 단계;

   검출된 좌표값에 따라 표시부(10)에 실제 손가락 화상을 합성 표시하되, 손가락의 끝과 테두리 부위의 정점을 검출하고, 이 검출 지점을 기준으로 손가락 화상의 사이즈를 축소하여 표시부(10)에 합성 표시하는 단계와;

   상기 표시부(10)에 손가락 화상이 표시될 때, 상기 조작부(21)에 접촉하는 손가락과 비접촉하는 손가락이 구별 표시되는 단계;

   를 포함하는 것을 특징으로 하는 차량용 표시수단 조작장치를 제어하기 위한 방법.
2. 삭제
3. 삭제
4. 청구항 1에 있어서,

   상기 조작부(21)에 접촉하는 손가락을 유색 표시하거나 굵은 선으로 표시하고, 비접촉 손가락은 무색 표시하는 동시에 점선으로 표시하는 것을 특징으로 하는 차량용 표시수단 조작장치를 제어하기 위한 방법.
5. 청구항 1에 있어서,

   상기 표시부(10)에 표시되는 손가락 화상의 표시 또는 표시 삭제 기능에 페이드인-페이드아웃 기능을 부여하거나, 표시 또는 표시 삭제 시간에 히스테리시스를 부여한 것을 특징으로 하는 차량용 표시수단 조작장치를 제어하기 위한 방법.

Images