KR102302254B1 - 차량 내에서 사람의 머리 움직임을 활용한 인터페이스 장치 - Google Patents

Abstract

본발명은 차량 내에서 사람의 머리 움직임을 활용한 인터페이스 장치에 관한 것으로, 차량 좌석의 헤드레스트 부위에 운전자의 머리 움직임을 감지할 수 있는 센서를 장착하여 차량내 인포테인먼트, 안전운전 보조, 공간포인팅 시스템을 제어하는 것으로,
본발명은 사용자가 어디에 시선을 두고 있는지 파악할 수 있다면 탑승자의 안전을 위해서 경고를 할 수도 있고, LBS(위치기반서비스)를 활용함에 있어서 탑승자의 의도를 보다 분명하게 파악할 수 있으며, 상하좌우 오랫동안 전방 주시 이탈시 운전 집중 경고하며, 차량내에서 위치정보 활용한 컨텐츠 활용시 운전자 시선 위치 파악하여 공간 포인팅 인터페이스에 활용하는 현저한 효과가 있다.

Description

차량 내에서 사람의 머리 움직임을 활용한 인터페이스 장치{Interface device utilizing human head movement in the vehicle}

본 발명은 차량 좌석의 헤드레스트 부위에 운전자의 머리 움직임을 감지할 수 있는 센서를 장착하여 차량내 인포테인먼트 시스템을 제어하는데 활용하는 차량 내에서 사람의 머리 움직임을 활용한 인터페이스 장치에 관한 것이다.

일반적으로 최근은 다양한 차량 인포테인먼트 시스템이 등장되었다. 그러므로 차량에서 활용 가능한 사용자 컨텐츠가 증가되었다. 그러나 복잡해지는 정보량 대비, 차량 인터페이스는 한계점이 있고, 버튼 조작 및 터치 조작은 시선분산 및 조작 부하를 일으키며, 음성인식 및 제스처 인식 인터페이스는 정확도가 떨어지며 안전운전에 기여가 부족하다. 그러므로 운전자의 정확한 조작 의도를 파악하기 위한 인터페이스 장치 필요하다. 일례로서, 종래기술인 공개특허공보 10-2016-0032905호에는 운전자의 시선방향에 반응하는 촬상장치에 있어서, 상기 운전자가 착용한 웨어러블 디바이스로부터 움직임 정보를 수신하는 수신부;

상기 수신한 움직임 정보에 기초하여 상기 운전자의 움직임을 해석하는 움직임 해석부; 및

상기 해석된 움직임에 기초하여 상기 촬상장치의 촬상영역을 변화시키는 제어부;

를 포함하되, 상기 움직임 해석부가 상기 움직임이 사고에 해당한다고 해석한 경우, 상기 제어부는 상기 촬상영역을 회전시키면서 상기 촬상장치가 주변 상황 및 상기 운전자를 촬영하도록 제어하도록 구성되는, 촬상장치가 공개되어 있다.

또한 등록특허공보 등록번호 10-1914190호에는 운전자 시선 추적 장치에 있어서, 적외선 조명이 비친 운전자의 얼굴을 촬영하여 운전자 얼굴 영상을 생성하는 얼굴 영상 입력부; 및 상기 운전자 얼굴 영상에 대한 캘리브레이션을 수행하여 운전자의 초기 시선 정보를 획득하고, 상기 운전자 얼굴 영상 및 상기 초기 시선 정보를 이용하여 얼굴 특징점을 검출하고, 얼굴 특징점을 기반으로 운전자의 시선위치를 산출하는 시선 위치 검출부를 포함하며, 상기 시선 위치 검출부는 입력된 얼굴 영상에서 얼굴의 특징점을 검출하는 얼굴 특징점 검출부;

상기 얼굴 특징점을 기반으로 관심 영역을 지정하고, 지정된 관심 영역에서 동공 중심 위치를 검출하는 동공 중심 검출부;

상기 관심 영역에서 각막 반사광 영역을 지정하여 해당 영역의 기하학적 중심(geometric center)을 산출함으로써 각막 반사광 중심 위치를 검출하는 각막 반사광 검출부;

상기 얼굴 특징점 중 내안각 위치를 검출하는 내안각 위치 검출부; 및

상기 동공 중심 위치를 상기 각막 반사광 중심 위치 및 상기 내안각 위치를 기반으로 보정을 하고 시선 위치 정보를 산출하는 시선 위치 산출부를 포함하되, 상기 시선 위치 산출부는, 사전에 여러 명이 모니터에서 분할된 9개의 지점을 응시할 때의 눈 이미지 면(Plane)상의 상기 9개 지점의 동공중심위치 평균값을 모니터 이미지 면(Plane) 상에서 4개로 분할된 기하학적 변환행렬을 통하여 변환 처리된 평균시선정보 데이터에 상기 보정된 동공 중심 위치를 적용하여 상기 시선 위치 정보를 산출하는 것을 특징으로 하는 운전자 시선 추적 장치가 공개되어 있다.

그러나 상기 종래기술들 시선추적은 유효성이 떨어지며, 노이즈 데이터를 양산하며, 운전자의 눈동자 움직임을 카메라 비전에 의해 운전자의 시선으로 측정하여 시선측정이 부정확하며, 노이즈가 많아 부정확한 데이터에 의한 안전사고의 위험이 큰 단점이 있었다.

더욱이 시선의 움직임은 조건 반사의 영향을 많이 받아서 의도치 않은 움직임을 많이 만들어낸다. 인간의 안구운동 특성상 시선을 몇초이상 고정하는 것은 매우 어려운 일이며, 미세운동, 추적운동, 도약운동 등의 움직임을 통해 대상물체를 식별하는 특징이 있다. 종래의 시선추적은 그래서 의도하지 않은 결과를 만들어내는 문제점이 있었다.

따라서 본 발명은 상기와 같은 문제점을 해결하고자 안출된 것으로, 본발명은 사용자가 어디에 시선을 두고 있는지 파악할 수 있다면 탑승자의 안전을 위해서 경고를 할 수도 있고, LBS(위치기반서비스)를 활용함에 있어서 탑승자의 의도를 보다 분명하게 파악할 수 있으며, 상하좌우 오랫동안 전방 주시 이탈시 운전 집중 경고하며,

차량내에서 위치정보 활용한 컨텐츠 활용시 운전자 시선 위치 파악하여 공간 포인팅 인터페이스에 활용하는 차량 내에서 사람의 머리 움직임을 활용한 인터페이스 장치를 제공하고자 하는 것이다.

또한 종래의 시선추적을 하는 것보다 사용자가 어디를 보고 있는지에 대한 방향벡터의 해상도는 떨어지지만, 사용자의 의도는 보다 분명해지는 차량 내에서 사람의 머리 움직임을 활용한 인터페이스 장치를 제공하고자 하는 것이다.

본발명은 차량 내에서 사람의 머리 움직임을 활용한 인터페이스 장치에 관한 것으로, 차량 좌석의 헤드레스트 부위에 운전자의 머리 움직임을 감지할 수 있는 센서를 장착하여 차량내 인포테인먼트, 안전운전 보조, 공간포인팅 시스템을 제어하는 것을 특징으로 한다.

따라서 본발명은 사용자가 어디에 시선을 두고 있는지 파악할 수 있다면 탑승자의 안전을 위해서 경고를 할 수도 있고, LBS(위치기반서비스)를 활용함에 있어서 탑승자의 의도를 보다 분명하게 파악할 수 있으며, 상하좌우 오랫동안 전방 주시 이탈시 운전 집중 경고하며, 차량내에서 위치정보 활용한 컨텐츠 활용시 운전자 시선 위치 파악하여 공간 포인팅 인터페이스에 활용하는 현저한 효과가 있다.

또한, 헤드의 움직임이 현저할 경우, 멀미를 일으킬 수 있는 도로환경/운전환경인 것을 인식하여 보다 쾌적한 운행조건이 될 수 있도록 속도나 조향을 제어하는 현저한 효과가 있다.

도 1은 본발명의 차량 내에서 사람의 머리 움직임을 활용한 인터페이스 장치의 구성도
도 2는 본발명의 좌석 헤드레스트에 센서가 설치된 상태를 나타낸 구성도
도 3은 본발명의 사용자 머리의 전후 이동감지 측면도
도 4a는 본발명의 사용자 머리의 상하, 좌우 끄덕임 감지 정면도
도 4b는 본발명의 사용자 머리의 상하, 좌우 끄덕임 감지(X, Y, Z축 회전) 정면도
도 5는 본발명의 사용자 헤드 지향 방향 센싱과 손가락 감지 장치 연계를 통해 운전자 시선벡터 계산 가능한 것을 나타낸 개요도

본발명은 차량 내에서 사람의 머리 움직임을 활용한 인터페이스 장치에 관한 것으로, 차량 좌석의 헤드레스트 부위에 운전자의 머리 움직임을 감지할 수 있는 센서를 장착하여 차량내 인포테인먼트, 안전운전 보조, 공간포인팅 시스템을 제어하는 것을 특징으로 한다.

또한, 상기 센서는 광센서, 압전센서, 또는 가속도센서인 것을 특징으로 한다.

또한, 상기 운전자 헤드 움직임을 통해 운전자가 시선을 옮기고자 하는 의도를 유추하는 것을 특징으로 한다.

또한, 상기 운전자 시선 영역과 손가락 포인트를 연결하여 운전자가 3차원 공간 상의 어디를 포인팅 하는지 유추하는 것을 특징으로 한다.

본발명을 첨부도면에 의해 상세히 설명하면 다음과 같다.

도 1은 본발명의 차량 내에서 사람의 머리 움직임을 활용한 인터페이스 장치의 구성도, 도 2는 본발명의 좌석 헤드레스트에 센서가 설치된 상태를 나타낸 구성도, 도 3은 본발명의 사용자 머리의 전후 이동감지 측면도, 도 4a는 본발명의 사용자 머리의 상하, 좌우 끄덕임 감지 정면도, 도 4b는 본발명의 사용자 머리의 상하, 좌우 끄덕임 감지(X, Y, Z축 회전) 정면도, 도 5는 본발명의 사용자 헤드 지향 방향 센싱과 손가락 감지 장치 연계를 통해 운전자 시선벡터 계산 가능한 것을 나타낸 개요도이다.

본발명은 운전자의 분명한 조작의도와 시선파악이 가능한 헤드의 움직임을 인터페이스로 활용한다.

자동차에서 운전자가 시선을 어디에 두고 있는지 아는 것은 여러모로 도움이 된다. 후측방 차량 접근을 감지하여 후측방 경보장치가 작동함에도 불구하고 운전자가 확인을 하고 있지 않다면 위험하다고 알려주어야 한다.

또는 운전자의 시선이 경보사인을 확인했다면 경보 알람을 줄일 수 있을 것이다.

자율주행 기술이 차량에 들어오게 되면, 운전자나 동승자는 더 많은 인포테인먼트 시스템의 컨텐츠에 노출되게 된다. 이 때 사용자가 어디에 시선을 두고 있는지 파악할 수 있다면 탑승자의 안전을 위해서 경고를 할 수도 있고, LBS(위치기반서비스)를 활용함에 있어서 탑승자의 의도를 보다 분명하게 파악할 수 있을 것이다.

본 발명은 차량 좌석의 헤드레스트 부위에 운전자의 머리 움직임을 감지할 수 있는 센서를 장착하여 차량내 인포테인먼트 시스템을 제어하는데 활용한다.

시트 헤드레스트에는 광센서 시스템을 적용되는 것으로, 1개 이상의 광센서 적용시 무빙과 틸팅 감지 가능하다. 특히 센서를 3개 이상 설치시 모든 축에 대한 움직임 등을 측정하는 것으로, 각각 광센서에 의해 각각 거리를 측정하며, 3개 센서를 종합하여 XYZ축 상대위치를 측정하는 알고리즘에 의해 가능하다. 센서에서의 광센서 감지값이 제어부에 전송되면 제어부는 운전자의 머리부위 위치를 알게 되는 것이며 시선위치를 유추하게 된다.

특히 광마우스와 같이 적외선 및 가시광선을 이용하여 탐지하는 송신부와 수신부, 계산 모듈이 제어부와 함께 구비된다.

버튼조작, 경고알람, 제스처, 스피커, 디스플레이 표시 등 다른 인터페이스 장치와 제어부에 의해 연계된다.

그리고 본발명의 동작은 차선 변경시 운전자 헤드의 좌우 정보 파악 여부를 확인하여 경고하며 인터페이스를 조절한다.

끄덕임과 가로저음 등 통용되는 yes, no 제스처를 인포테인먼트 시스템 제어에 활용한다.

운전자 헤드 움직임을 통해 시선 위치 유추하여 정보 알람을 조절한다.

운전자 헤드 움직임이 없을 시 혹은 상하 움직임 반복시 졸음운전에 대해 경고한다.

상하좌우를 오랫동안 할 시 전방 주시 이탈로 판단하여 운전 집중하도록 경고한다.

그리고 차량내에서 위치정보 활용한 컨텐츠 활용시 운전자 시선 위치 파악하여 공간 포인팅 인터페이스에 활용한다.

헤드레스트에서 사용자 헤드 이격시, 안전을 위해 헤드레스트 밀착을 경고할 수 있다. 이는 다른 실시례로서 헤드레스트 전면에 압력센서를 부착하고 센서에서 제어부로 l 신호를 전송하고 제어부는 운전자 헤드가 일정시간 떨어지면 경보수단을 동작시켜 헤드레스트 밀착을 경고할 수 있다.

그리고 본발명은 디스플레이내 컨텐츠 선택을 위한 포인터 이동시 헤드제스처 움직임으로 제어한다.

또한 헤드레스트에 가속도 센서를 각 방향으로 설치하여 상하좌우 헤드움직임 가속도를 감지하여 주행 노면 상태 안정성을 검토할 수 있다. 제어부는 센서에서 전송되는 상하좌우 헤드움직임 가속도 같이 일정시간내 일정수치를 초과하는 수치가 설정치 이상으로 반복되면 속도를 줄이게 경보수단을 통해 지시하는 등의 조치를 취하게 된다.

그리고 본발명은 차량내 헤드 방향에 따라 좌우 앞뒤 사운드 입체적 제어를 할 수 있다.

따라서 본발명은 사용자가 어디에 시선을 두고자 하는지 의도를 파악할 수 있다면 탑승자의 안전을 위해서 경고를 할 수도 있고, LBS(위치기반서비스)를 활용함에 있어서 탑승자의 의도를 보다 분명하게 파악할 수 있으며, 상하좌우 오랫동안 전방 주시 이탈시 운전 집중 경고하며,

차량내에서 위치정보 활용한 컨텐츠 활용시 운전자 시선 위치 파악하여 공간 포인팅 인터페이스에 활용하는 현저한 효과가 있다.

1 : 좌석 헤드레스트
2 : 발광다이오드와 수신부를 포함하는 광센서

Claims (4)

1. 차량 좌석의 헤드레스트 부위에 운전자의 머리 움직임을 감지할 수 있는 센서를 장착하여 차량내 인포테인먼트, 안전운전 보조, 및 공간포인팅 시스템을 제어하는 것으로, 상기 센서는 광센서, 압전센서, 또는 가속도센서이며, 상기 운전자 헤드 움직임을 통해 운전자가 시선을 옮기고자 하는 의도를 유추하는 것으로, 상기 운전자 시선 영역과 손가락 포인트를 연결하여 운전자가 3차원 공간 상의 어디를 포인팅 하는지 유추하는 차량 내에서 사람의 머리 움직임을 활용한 인터페이스 장치에 있어서,
   시트 헤드레스트에는 광센서 시스템을 적용되는 것으로, 센서를 3개 이상 설치하는 것으로, 각각 광센서에 의해 각각 거리를 측정하는 것으로, 3개 센서를 종합하여 XYZ축 상대위치를 측정하며, 센서에서의 광센서 감지값이 제어부에 전송되면 제어부는 운전자의 머리부위 위치를 알게 되며 시선위치를 유추하게 되는 것이며, 차선 변경시 운전자 헤드의 좌우 정보 파악 여부를 확인하여 경고하며 인터페이스를 조절하는 것으로,
   끄덕임과 가로저음으로 통용되는 yes, no 제스처를 인포테인먼트 시스템 제어에 활용하는 것으로, 운전자 헤드 움직임을 통해 시선 위치 유추하여 정보 알람을 조절하는 것이며, 운전자 헤드 움직임이 없을 시 혹은 상하 움직임 반복시 졸음운전에 대해 제어부는 경고하게 되며, 상하좌우를 오랫동안 할 시 전방 주시 이탈로 판단하여 운전 집중하도록 경고하며, 차량내에서 위치정보 활용한 컨텐츠 활용시 운전자 시선 위치를 파악하여 제어부는 공간 포인팅 인터페이스에 활용하며, 헤드레스트에서 사용자 헤드 이격시, 안전을 위해 헤드레스트 밀착을 경고할 수 있는 것으로, 헤드레스트 전면에 압력센서를 부착하고 센서에서 제어부로 신호를 전송하고 제어부는 운전자 헤드가 일정시간 떨어지면 경보수단을 동작시켜 헤드레스트 밀착을 경고할 수 있고, 디스플레이내 컨텐츠 선택을 위한 포인터 이동시 헤드제스처 움직임으로 제어하며, 헤드레스트에 가속도 센서를 각 방향으로 설치하여 상하좌우 헤드움직임 가속도를 감지하여 주행 노면 상태 안정성을 검토할 수 있는 것으로, 제어부는 센서에서 전송되는 상하좌우 헤드움직임 가속도 같이 일정시간내 일정수치를 초과하는 수치가 설정치 이상으로 반복되면 속도를 줄이게 경보수단을 통해 지시하는 조치를 취하게 되고, 량내 헤드 방향에 따라 좌우 앞뒤 사운드 입체적 제어를 할 수 있는 것을 특징으로 하는 차량 내에서 사람의 머리 움직임을 활용한 인터페이스 장치
2. 삭제
3. 삭제
4. 삭제

Images