KR101612824B1 - Hmd를 이용한 운전자 상태 모니터링 방법 및 장치 - Google Patents

Hmd를 이용한 운전자 상태 모니터링 방법 및 장치 Download PDF

Info

Publication number
KR101612824B1
KR101612824B1 KR1020140162338A KR20140162338A KR101612824B1 KR 101612824 B1 KR101612824 B1 KR 101612824B1 KR 1020140162338 A KR1020140162338 A KR 1020140162338A KR 20140162338 A KR20140162338 A KR 20140162338A KR 101612824 B1 KR101612824 B1 KR 101612824B1
Authority
KR
South Korea
Prior art keywords
driver
vehicle
traveling direction
direction information
head unit
Prior art date
Application number
KR1020140162338A
Other languages
English (en)
Inventor
허근행
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020140162338A priority Critical patent/KR101612824B1/ko
Priority to US14/684,303 priority patent/US9842267B2/en
Priority to CN201510218617.5A priority patent/CN106184055A/zh
Application granted granted Critical
Publication of KR101612824B1 publication Critical patent/KR101612824B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Mechanical Engineering (AREA)

Abstract

본 발명은 HMD를 이용한 운전자 상태 모니터링 방법 및 장치와 그를 위한 시스템에 관한 것이다. 본 발명의 일 실시예에 따른 차량 헤드 유닛과 근거리 무선 통신을 통해 연동되는 단말에서의 운전자 상태 모니터링 방법은 상기 차량 헤드 유닛으로부터 차량 진행 방향 정보를 수신하는 단계와 상기 차량 진행 방향 정보를 이용하여 운전자의 시선 이탈 여부를 판단하는 단계와 상기 판단 결과, 상기 운전자의 시선 이탈이 확인되면, 운전자 시선 이탈 경고 메시지를 상기 차량 헤드 유닛에 전송하는 단계를 포함할 수 있다. 따라서, 본 발명은 HMD를 이용하여 보다 효과적인 안전 주행 보조 방법 및 장치 그를 위한 시스템을 제공하는 장점이 있다.

Description

HMD를 이용한 운전자 상태 모니터링 방법 및 장치{Method and apparatus for Monitoring Driver Status using Head Mounted Display}
본 발명은 운전자 상태 모니터링 방법 및 장치에 관한 것으로서, 상세하게, 안경 타입의 웨어러블 디바이스를 이용하여 운전자의 상태를 모니터링하는 것이 가능한 HMD를 이용한 운전자 상태 모니터링 방법 및 장치에 관한 것이다.
최근 급격한 IT 기술의 발전은 자동차 산업에도 많은 영향을 미치고 있으며, 다양한 IT 기술이 차량에 접목되고 있는 실정이다.
또한, 차량 운행에 있어서의 안전을 보장하기 위한 다양한 안전 운행 보조 기능이 차량에 탑재되고 있다.
웨어러블 디바이스(Wearable Device)는 신체에 부착하여 컴퓨팅 행위를 할 수 있는 기기로서, 최근에는 멀티미디어 재생 기능뿐만 아니라 모바일 기능 및 각종 센싱 기능이 탑재된 웨어러블 디바이스가 출시되고 있다.
웨어러블 디바이스의 형태는 손목 시계 타입의 스마트워치(Smart Watch), 구글 글라스와 같은 안경 형태의 웨어러블 글라스(Wearable Glass), 암밴드 형태의 웨어러블 디바이스 등이 대표적이다.
차량 안전 운행에 적용 가능한 웨어러블 디바이스는 안전 운행에 방해가 되지 않으며, 운전자의 시선이 분산되지 않고, 항상 전방을 주시하면서 사용할 수 있는 것이 중요하다.
한편, 주행 중 운전자의 상태를 파악하여 특정 조치-예를 들면, 경고 및 알람 메시지를 출력-를 수행하는 DSM(Driver Status Monitoring) 시스템에 적용되는 웨어러블 디바이스의 경우, 운전자 상태 파악을 위한 각종 센서, 외부 기기와의 정보 송수신을 위한 통신 모듈, 디스플레이 및 카메라 등의 장착이 요구된다.
하지만, 종래에는 차량 안전 운행과 관련된 효과적인 웨어러블 디바이스가 제공되지 않았다.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위해 고안된 것으로, 본 발명의 목적은 HMD를 이용한 운전자 상태 모니터링 방법 및 장치를 제공하는 것이다.
본 발명의 다른 목적은 운전자의 상태를 실시간 모니터링하여 시선 이탈 여부를 판단하고 이를 통보하는 것이 가능한 HMD를 이용한 운전자 상태 모니터링 방법 및 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 주행 안내 중 차량 회전 필요 여부에 따라 적응적으로 시선 이탈 허용각을 산출하고, 이를 이용하여 운전자 시선 이탈 여부를 판단하는 것이 가능한 HMD를 이용한 운전자 상태 모니터링 방법 및 장치를 제공하는 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명은 HMD를 이용한 운전자 상태 모니터링 방법 및 장치와 그를 위한 시스템에 관한 것이다.
본 발명의 일 실시예에 따른 차량 헤드 유닛과 근거리 무선 통신을 통해 연동되는 단말에서의 운전자 상태 모니터링 방법은 상기 차량 헤드 유닛으로부터 차량 진행 방향 정보를 수신하는 단계와 상기 차량 진행 방향 정보를 이용하여 운전자의 시선 이탈 여부를 판단하는 단계와 상기 판단 결과, 상기 운전자의 시선 이탈이 확인되면, 운전자 시선 이탈 경고 메시지를 상기 차량 헤드 유닛에 전송하는 단계를 포함할 수 있다.
본 발명의 다른 일 실시예는 상기 운전자 상태 모니터링 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
본 발명의 또 다른 일 실시예에 따른 차량 헤드 유닛과 근거리 무선 통신을 통해 연동하여 운자자 상태를 모니터링하는 장치는 상기 차량 헤드 유닛으로부터 차량 진행 방향 정보를 수신하는 수단과 상기 차량 진행 방향 정보를 이용하여 운전자의 시선 이탈 여부를 판단하는 수단과 상기 판단 결과, 상기 운전자의 시선 이탈이 확인되면, 운전자 시선 이탈 경고 메시지를 상기 차량 헤드 유닛에 전송하는 수단을 포함할 수 있다.
본 발명의 또 다른 일 실시예에 따른 운전자 상태 모니터링 시스템은 차량 진행 방향을 감지하고, 상기 감지된 차량 진행 방향에 관한 정보를 근거리 무선 통신을 통해 전송하는 차량 헤드 유닛과 상기 근거리 무선 통신을 통해 상기 차량 진행 방향에 관한 정보를 수신하고, 상기 수신된 차량 진행 방향에 관한 정보를 이용하여 운전자의 시선 이탈 여부를 판단하고, 상기 판단 결과에 따라 운전자 시선 이탈 경고 메시지를 상기 차량 헤드 유닛에 전송하는 단말을 포함할 수 있다.
상기 본 발명의 양태들은 본 발명의 바람직한 실시예들 중 일부에 불과하며, 본원 발명의 기술적 특징들이 반영된 다양한 실시예들이 당해 기술분야의 통상적인 지식을 가진 자에 의해 이하 상술할 본 발명의 상세한 설명을 기반으로 도출되고 이해될 수 있다.
본 발명에 따른 방법 및 장치에 대한 효과에 대해 설명하면 다음과 같다.
첫째, 본 발명은 HMD를 이용한 운전자 상태 모니터링 방법 및 장치를 제공하는 장점이 있다.
둘째, 본 발명은 운전자의 상태를 실시간 모니터링하여 시선 이탈 여부를 판단하고 이를 운전자에 통보함으로써, 안전 운행을 가능하게 하는 HMD를 이용한 운전자 상태 모니터링 방법 및 장치를 제공하는 장점이 있다.
셋째, 본 발명은 주행 안내 중 차량 회전 필요 여부에 따라 적응적으로 시선 이탈 허용각을 산출하고, 이를 이용하여 운전자 시선 이탈 여부를 판단하는 것이 가능한 HMD를 이용한 운전자 상태 모니터링 방법 및 장치를 제공하는 장점이 있다.
넷째, 본 발명은 시선 이탈 확인 시 HMD에 의해 촬영된 영상을 서버에 실시간 전송하고, 추후 확인 가능하게 함으로써, 안전 운행에 대한 경각심을 고취시킬 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이하에 첨부되는 도면들은 본 발명에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 발명에 대한 실시예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시예로 구성될 수 있다.
도 1은 본 발명에 따른 운전자 상태 모니터링 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 운전자의 시선 이탈에 대한 판단 기준을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 차량 회전에 따른 시선 이탈 허용각 변경 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 HMD를 이용한 운전자 상태 모니터링 절차를 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 주행 중 적응적으로 시선 이탈 허용각을 변경하는 절차를 설명하기 위한 흐름도이다.
이하, 본 발명의 실시예들이 적용되는 장치 및 다양한 방법들에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성 요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명에 따른 운전자 상태 모니터링 시스템의 구성도이다.
도 1을 참조하면, 운전자 상태 모니터링 시스템은 크게 차량 헤드 유닛(Vehicle Head Unit, 10), 사용자 단말(20), 이동통신망(30), 텔레매틱스 센터 서버(40)를 포함하여 구성될 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성 요소들을 갖는 시스템으로 구현될 수도 있다.
차량 헤드 유닛(10)은 근거리 무선 통신 연결을 통해 사용자 단말(20)과 통신할 수 있다. 여기서, 근거리 무선 통신은 차량 내 와이파이(Wi-Fi) 통신, 블루투스(Bluetooth) 통신, 적외선 통신(IrDA, infrared Data Association), UWB(UltraWideband) 통신, Zigbee 통신, RFID(Radio Frequency Identification) 통신 등을 포함할 수 있다.
본 발명에 따른 차량 헤드 유닛(10)은 출력부(11), 차량 통신부(12), 주행 방향 감지부(13), 주행 정보 제공부(14) 및 제어부(15)를 포함하여 구성될 수 있다.
출력부(11)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로서, 디스플레이 모듈, 음향 출력 모듈, 알람 모듈 등이 포함되어 구성될 수 있다.
디스플레이 모듈은 차량 헤드 유닛(10)에서 처리되는 정보를 표시 출력한다. 예를 들어, 차량 헤드 유닛(10)가 주행 안내 모드인 주행 안내와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 차량 헤드 유닛(10)이 전화 통화 모드인 경우에는 전화 통화와 관련된 UI, GUI를 표시한다. 차량 헤드 유닛(10)이 멀티미디어 재생 모드인 경우, 멀티미디어 재생과 관련된 UI, GUI를 표시한다. 차량 헤드 유닛(10)이 카메라 영상 표시 모드인 경우, 차량 내 탑재된 카메라에 의해 촬영된 영상이 디스플레이 모듈을 통해 표시될 수 있다. 특히, 본 발명에 따른 디스플레이 모듈은 운전자 시선 이탈이 확인된 경우, 소정 경고 메시지를 화면에 표시할 수 있다.
디스플레이 모듈은 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 투명 LCD 등이 있다. 디스플레이 모듈(131)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 차량 헤드 유닛(10)의 바디 중 디스플레이 모듈이 차지하는 영역을 통해 후방에 위치한 사물을 볼 수 있다.
차량 센터페시아의 구현 형태에 따라 디스플레이 모듈이 2개 이상 존재할 수 있다. 예를 들어, 차량 센터페시아에는 복수의 디스플레이 모듈들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
디스플레이 모듈과 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 약칭함)에, 디스플레이 모듈은 출력 장치 이외에 입력 장치로도 사용될 수 있다.
터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서는 디스플레이 모듈의 특정 부위에 가해진 압력 또는 디스플레이 모듈의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력 신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(15)로 전송한다. 이로써, 제어부(15)는 디스플레이 모듈의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
음향 출력 모듈은 멀티미디어 재생, 주행 정보 안내, 각종 경고/알람 메시지 수신 및 호신호 수신 등에 따라 소리를 출력하는 기능을 수행한다. 이러한 음향 출력 모듈에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다. 또한, 음향 출력 모듈은 차량 헤드 유닛(10) 또는 차량 센터페시아 일측에 구비된 이어폰잭을 통해 음향을 출력할 수 있다.
알람 모듈은 차량 헤드 유닛(10)을 통해 특정 이벤트 발생을 알리기 위한 신호를 출력한다. 여기서, 차량 헤드 유닛(10)상에서 발생 되는 이벤트의 예로는 호 신호 수신, 문자 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 특히, 본 발명에 따른 알람 모듈은 운전자의 시선 이탈이 감지되면, 소정 경고 알람 신호를 생성하여 출력할 수 있다.
알람 모듈은 차량 운전자 좌석 일측에 장착된 진동 모듈과 연동될 수도 있다. 일 예로, 알람 모듈은 운전자의 시선 이탈이 감지되면, 진동 모듈에 소정 제어 신호를 송출하고, 진동 모듈은 진동 모터를 구도하여 운전자 좌석에 진동이 느껴지도록 제어할 수 있다. 이때, 운전자는 좌석 진동을 통해 전방을 주시할 수 있다.
또한, 알람 모듈은 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 비디오 신호나 오디오 신호는 디스플레이 모듈이나 음향 출력 모듈을 통해서도 출력될 수 있다. 또한, 알람 모듈은 디스플레이 화면상의 조도 변화, 카메라 후레쉬 발광 등을 통해서도 특정 이벤트 발생을 알릴 수 있다.
차량 통신부(12)는 근거리 무선 통신 연결을 통해 사용자 단말(20)과 데이터 송수신을 수행할 수 있다. 또한, 차량 통신부(12)는 이동통신망(30)에 접속하여 텔레매티스 센터(40)와 정보를 송수신할 수도 있다.
주행 방향 감지부(13)는 지자계 센서 등을 이용하여 운전자 시선 이탈 판단의 기준이 되는 현재 차량의 주행(진행) 방향을 감지하는 기능을 수행한다.
주행 정보 제공부(14)는 주행 안내 중 전방에서 차량 회전이 필요한지 여부를 판단하고 이를 통보하는 기능을 수행한다. 일 예로, 주행 정보 제공부(14)는 전방에서 차량 회전이 필요한 경우, 회전 방향 및 회전각을 산출하여 제어부(15)에 전달할 수 있다.
제어부(15)는 차량 헤드 유닛(10)의 전반적인 제어를 수행한다.
특히, 본 발명에 따른 제어부(15)는 차량 주행 방향이 소정 기준치 이상 변경된 경우, 차량 주행 방향이 변경되었음을 지시하는 소정 제어 신호를 사용자 단말(20)에 전송할 수 있다.
또한, 본 발명에 따른 제어부(15)는 주행 안내 중 차량 회전이 필요함이 감지되면, 회전 방향 및 회전각이 포함된 소정 제어 신호를 사용자 단말(20)에 전송할 수 있다.
이동통신망(30)은 사용자 단말(20)과 텔레매틱스 센터 서버(40) 및(또는) 차량 헤드 유닛(10)과 텔레매틱스 센터 서버(40) 사이의 이동 통신 연결 서비스를 제공하며, WCDMA(Wideband Code Division Multiple Access), HSPA(High Speed Pack Access), LTE(Long Term Evolution)/LTE-Advanced 중 적어도 하나의 무선 통신 규격을 지원하는 통신망일 수 있다.
텔레매틱스 센터 서버(40)는 이동통신망(30)을 통해 차량 헤드 유닛(10) 및(또는) 사용자 단말(10)과 통신할 수 있다. 특히, 텔레매틱스 센터 서버(40)는 사용자 단말(20)에 의해 운전자 시선 이탈이 감지되면, 사용자 단말(40)에 의해 촬영된 영상을 수신할 수 있다. 이때, 수신된 영상은 주행 영상 저장 데이터베이스(42)에 저장될 수 있다.
또한, 텔레매틱스 센터 서버(40)는 사용자 단말(20) 및(또는) 차량 헤드 유닛(10)의 요청에 따라 저장된 영상을 주행 영상 저장 데이터베이스(42)로부터 독출하여 전송할 수도 있다.
본 발명에 적용되는 사용자 단말(20)은 안경 형태의 웨어러블 디바이스(21)-이하, HMD(Head Monitoring Device) 및 웨어러블 글라스와 혼용하여 사용함- 및(또는) 스마트폰(22)을 포함하여 구성될 수 있다.
HMD(21)에 이동 통신 모듈이 탑재된 경우, HMD(21)는 직접 이동통신망(30)을 통해 텔레매틱스 센터 서버(40)와 통신할 수 있다. 반면, HMD(21)에 이동 통신 모듈이 탑재되지 않은 경우, HMD(21)는 스마트폰(22)을 핫스팟(Hotspot 또는 Access Point)으로 설정하여 텔레매틱스 센터 서버(40)와 통신할 수도 있다. 이때, HMD(21)와 스마트폰(22)은 블루투스와 같은 근거리 무선 통신을 통해 연결될 수 있다.
또한, HMD(21)에 근거리 무선 통신 모듈이 탑재된 경우, HMD(21)는 직접 근거리 무선 통신을 통해 차량 헤드 유닛(10)과 통신할 수 있다.
일 예로, HMD(21)는 근거리 무선 통신을 통해 차량 헤드 유닛(10)으로부터 변경된 차량 진행 방향 정보, 차량 회전 방향 및 회전각에 관한 정보 등을 수신할 수 있다. 또한, HMD(21)는 운전자 시선 이탈이 감지된 경우, 근거리 무선 통신을 통해 운전자 시선 이탈 통보 메시지를 차량 헤드 유닛(10)에 전송할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 운전자의 시선 이탈에 대한 판단 기준을 설명하기 위한 도면이다.
도 2를 참조하면, HMD(21)는 구비된 지자계 센서 및(또는) 시선 감지 센서등을 이용하여 운전자의 시선 방향을 감지하고, 감지된 운전자의 시선 방향을 시선 이탈 허용각과 비교하여 운전자의 시선이 시선 안정 영역을 벗어나는지를 판단할 수 있다.
이때, 시선 이탈 여부를 판단하기 위한 기준 방향은 차량 주행(진행) 방향(a, 201)-즉, 차량 앞면이 바라보고 있는 방향-이며, HMD(21)는 a(201)에서 좌우로 허용각 b(202 및 203)를 벗어나지 않는 경우, 운전자의 시선이 시선 안정 영역에 위치한 것으로 판단한다. 따라서, 시선 이탈 허용각은 a-b(204)에서 a+b(205) 사이의 값이다.
만약, 운전자의 시선이 시선 이탈 허용각을 벗어난 경우-즉, 시선 이탈 영역에 위치한 경우-, HMD(21)는 운전자의 시선 이탈을 감지하여 차량 헤드 유닛(10)에 운전자 시선 이탈을 알리는 소정 제어 신호를 송출할 수 있다.
도 3은 본 발명의 일 실시예에 따른 차량 회전에 따른 시선 이탈 허용각 변경 방법을 설명하기 위한 도면이다.
본 발명에 적용되는 시선 이탈 허용각은 주행 경로에 따라 동적으로 변경될 수 있다. 일 예로, 주행 안내 중 전방에서 차량 회전이 요구되는 경우, 시선 이탈 허용각은 증가될 수 있다. 여기서, 차량 회전은 좌회전. 우회전. U턴 등을 포함할 수 있다.
또한, 시선 이탈 허용각은 차량의 회전 방향 및 회전각에 따라 적응적으로 결정될 수 있다.
도 3을 참조하면, 차량이 주행 안내 경로(315)상의 위치 A(311)에서 주행중인 경우, 위치 A(311)에 대응되는 시선 이탈 허용각은 도면 번호 320에 도시된 바와 같이 a-b에서 a+b 사이의 값일 수 있다.
차량이 위치 B(312)에 접근하여 우회전이 필요한 경우, 위치 B(312)에 대응되는 시선 이탈 허용각은 도면 번호 330에 도시된 바와 같이, a-b에서 a+b+c 사이의 값으로 변경될 수 있다. 여기서, c값은 현재 차량 위치에서 회전 지점(314)까지의 남은 거리에 반비례하여 증가할 수 있다. 또한, c값은 회전 지점(314)에서의 차량 회전각에 비례하여 증가할 수도 있다.
차량이 우회전을 완료하고 위치 C(313)에 있는 경우, 위치 C(313)에 대응되는 시선 이탈 허용각은 도면 번호 340에 도시된 바와 같이, a'-b에서 a'+b 사이의 값으로 변경될 수 있다. 이때, 차량 진행 방향이 변경되어 시선 이탈 여부를 판단하기 위한 기준 방향 a에서 a'로 변경되었음을 주의해야 한다.
도 4는 본 발명의 일 실시예에 따른 HMD를 이용한 운전자 상태 모니터링 절차를 설명하기 위한 흐름도이다.
도 4를 참조하면, 차량 헤드 유닛(10)의 주행 방향 감지부(13)는 지자계 센서 또는 다른 차량 주행(진행) 방향을 감지하는 것이 가능한 센싱 기능 등을 이용하여 현재 차량의 진행 방향을 감지할 수 있다(S401).
주행 방향 감지부(13)가 감지된 차량 진행 방향에 대한 정보를 소정 주기로 제어부(15)에 전달할 수 있다(S403). 예를 들면, 차량 진행 방향은 나침반의 정북 방향 기준으로 산출될 수 있다. 예를 들어, 정북 방향을 기준으로 동쪽 30도 방향으로 차량이 진행중인 경우, 차량 진행 방향 정보는 E30일 수 있다. 다른 일 예로, 정북 방향을 기준으로 서쪽 120도 방향으로 차량이 진행중인 경우, 차량 진행 방향 정보는 W120일 수 있다.
제어부(15)는 수신된 차량 진행 방향(Dn)과 바로 이전에 수신된 차량 진행 방향(Dn -1)의 차이-즉, 차량 진행 방향의 변화-가 소정 기준치를 초과하는지를 판단한다(S405).
판단 결과, 차량 진행 방향의 변화가 기준치를 초과하면, 제어부(15)는 변경된 차량 진행 방향 정보를 근거리 무선 통신을 통해 HMD(21)에 전송할 수 있다(S407).
HMD(21)는 운자자의 웨어러블 글라스 착용을 감지하거나 차량 헤드 유닛(10)으로부터 소정 피로도 측정 시작 제어 메시지를 수신하거나 HMD(21)상에서의 소정 사용자 입력에 따라 운전자의 피로도 측정을 개시할 수 있다(S409).
여기서, 운전자의 피로도 측정은 하기의< 수식 1>에 의해 산출될 수 있다.
<수식 1>
Figure 112014111890111-pat00001
여기서, β는 피로도, βr은 피로도 상수이다.
즉, 본 발명의 HMD(21)는 피로도 측정이 개시되면, 단위 시간 동안 웨어러블 글라스 착용자의 눈 깜박임 횟수 및 해당 단위 시간 동안 눈을 감고 있는 시간을 산출하여 운전자의 피로도를 측정할 수 있다.
또한, HMD(21)는 측정된 피로도에 기반하여 시선 이탈 허용 시간을 산출할 수 있다(S411). 여기서, 시선 이탈 허용 시간은 하기의 <수식 2>에 의해 산출될 수 있다.
<수식 2>
Figure 112014111890111-pat00002
여기서, T는 시선 이탈 허용 시간, Tr은 시선 이탈 상수, β는 피로도를 의미한다.
상기 <수식 2>에 따르면, 시선 이탈 허용 시간(T)은 피로도(β)가 증가함에 따라 감소하는 것을 알 수 있다. 이 후, HMD(21)는 상기한 407 단계에서 수신된 차량 진행 방향 정보와 산출된 시선 이탈 허용 시간(T) 등을 이용하여 운전자의 시선 이탈 여부를 판단할 수 있다(S413 내지 S415).
판단 결과, 시선 이탈이면, HMD(21)는 운전자의 시선이 이탈되었음을 알리는 소정 제어 메시지-이하, 운전자 시선 이탈 경고 메시지라 명함-를 차량 헤드 유닛(10)의 제어부(15)에 전송할 수 있다(S417). 이 경우, 제어부(15)는 운전자 시선 이탈 통보 메시지가 수신되면, 소정 경고 메시지가 출력되도록 제어할 수 있다(S419). 일 예로, 제어부(15)는 출력부(11)를 통해 경고 메시지를 디스플레이 화면에 출력되도록 제어하거나, 소정 경고음 또는 경고 안내 메시지가 스피커를 통해 출력되도록 제어할 수 있다. 다른 일 예로, 제어부(15)는 운전자 좌석 시트가 진동되도록 제어할 수도 있다. 또 다른 일 예로, 제어부(15)는 비상등이 점멸되도록 제어할 수도 있다.
HMD(21)는 운전 시선 이탈 경고 메시지를 전송한 후, HMD(21)에 구비된 전방 주시 카메라를 구동하여 전방 촬영을 시작하고, 촬영된 영상을 이동통신망(30)을 통해 텔레매틱스 센터 서버(40)에 전송할 수 있다(S421 내지 423).
텔레매틱스 센터 서버(40)는 수신된 영상을 주행 영상 저장 데이터베이스(42)에 저장한다(S435).
도 5는 본 발명의 일 실시예에 따른 주행 중 적응적으로 시선 이탈 허용각을 변경하는 절차를 설명하기 위한 흐름도이다.
도 5를 참조하면, 차량 헤드 유닛(10)의 주행 정보 제공부(14)는 주행 안내가 시작되면 전방에 회전이 필요한지 판단한다(S501 내지 S503).
판단 결과, 전방에 회전이 필요하면, 주행 정보 제공부(14)는 회전 방향 및 회전각을 산출한다(S505).
주행 정보 제공부(14)는 회전 방향 및 회전각 정보를 차량 통신부(12)를 통해 HMD(21)에 전송한다(S507).
HMD(21)는 수신된 회전 방향 및 회전각에 기반하여 시선 이탈 허용각을 산출하고 산출된 시선 이탈 허용각을 적용하여 운전자의 시선 이탈 여부를 판단할 수 있다(S511).
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.
따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
10: 차량 헤드 유닛 11: 출력부
12: 차량 통신부 13: 주행 방향 감지부
14: 주행 정보 제공부 15: 제어부
20: 사용자 단말
21: HMD(Head Monitoring Device) 또는 웨어러블 글라스
30: 이동 통신망 40: 텔레매틱스 센터 서버

Claims (30)

  1. 차량 헤드 유닛과 근거리 무선 통신을 통해 연동되는 단말에서의 운전자 상태 모니터링 방법에 있어서,
    지자계 정보를 이용하여 산출된 차량 진행 방향 정보를 상기 차량 헤드 유닛으로부터 수신하는 단계;
    상기 차량 진행 방향 정보 및 좌우 허용각에 기반하여 시선 이탈 허용각을 산출하는 단계;
    상기 운전자의 눈 깜박임 회수 및 단위 시간 동안 상기 운전자가 눈을 감고 있는 시간에 기반하여 상기 운전자의 피로도를 측정하는 단계;
    상기 측정된 피로도에 기반하여 시선 이탈 허용 시간을 산출하는 단계;
    상기 운전자의 시선이 상기 시선 이탈 허용각을 벗어난 시간을 상기 시선 이탈 허용 시간과 비교하여 운전자의 시선 이탈 여부를 판단하는 단계; 및
    상기 판단 결과, 상기 운전자의 시선 이탈이 확인되면, 운전자 시선 이탈 경고 메시지를 상기 차량 헤드 유닛에 전송하는 단계
    를 포함하는, 운전자 상태 모니터링 방법.
  2. 제1항에 있어서,
    상기 운전자의 시선 이탈이 확인되면, 상기 단말에 탑재된 카메라를 구동하여 전방 촬영을 수행하는 단계를 더 포함하는, 운전자 상태 모니터링 방법.
  3. 제2항에 있어서,
    상기 촬영된 영상을 이동통신망을 통해 서버에 전송하는 단계를 더 포함하는, 운전자 상태 모니터링 방법.
  4. 제3항에 있어서,
    상기 단말은 근거리 무선 통신을 통해 제2 단말과 연동되며, 상기 제2 단말을 통해 상기 촬영된 영상이 상기 서버에 전송되는, 운전자 상태 모니터링 방법.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 시선 이탈 허용 시간은 상기 피로도가 증가하면 감소하는, 운전자 상태 모니터링 방법.
  8. 제1항에 있어서,
    상기 차량 진행 방향 정보는 해당 차량의 현재 진행 방향 정보, 주행 경로 상에서의 회전 방향 정보, 회전각 정보 중 적어도 하나를 포함하는, 운전자 상태 모니터링 방법.
  9. 삭제
  10. 제1항에 있어서,
    상기 운전자의 시선은 상기 단말에 구비된 지자기 센서, 시선 감지 센서 중 적어도 하나를 이용하여 감지되는, 운전자 상태 모니터링 방법.
  11. 제1항에 있어서,
    상기 단말은 안경 형태의 웨어러블 디바이스인, 운전자 상태 모니터링 방법.
  12. 제1항에 있어서,
    상기 근거리 무선 통신은 차량 내 와이파이(Wi-Fi) 통신, 블루투스(Bluetooth) 통신, 적외선 통신(IrDA, infrared Data Association), UWB(UltraWideband) 통신, Zigbee 통신, RFID(Radio Frequency Identification) 통신 중 어느 하나인, 운전자 상태 모니터링 방법.
  13. 제8항에 있어서,
    상기 차량 진행 방향 정보는 회전 지점에 관한 정보를 더 포함하되, 해당 차량이 상기 회전 지점에 접근함에 따라 상기 차량 진행 방향을 기준으로 상기 회전 방향의 시선 이탈 허용각을 증가시키는, 운전자 상태 모니터링 방법.
  14. 제1항에 있어서,
    상기 차량 진행 방향 정보는 해당 차량의 진행 방향이 기준치 이상 변경되는 경우, 상기 차량 헤드 유닛으로부터 수신되는, 운전자 상태 모니터링 방법.
  15. 제1항 내지 제4항, 제7항 내지 제8항, 제10항 내지 제14항 중 어느 한 항에 기재된 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  16. 차량 헤드 유닛과 근거리 무선 통신을 통해 연동하여 운자자 상태를 모니터링하는 장치에 있어서,
    지자계 정보를 이용하여 산출된 차량 진행 방향 정보를 상기 차량 헤드 유닛으로부터 수신하는 수단;
    상기 차량 진행 방향 정보 및 좌우 허용각에 기반하여 시선 이탈 허용각을 산출하는 수단;
    상기 운전자의 눈 깜박임 회수 및 단위 시간 동안 운전자가 눈을 감고 있는 시간에 기반하여 상기 운전자의 피로도를 측정하는 수단;
    상기 측정된 피로도에 기반하여 시선 이탈 허용 시간을 산출하는 수단;
    상기 운전자의 시선이 상기 시선 이탈 허용각을 벗어난 시간을 상기 시선 이탈 허용 시간과 비교하여 운전자의 시선 이탈 여부를 판단하는 수단; 및
    상기 판단 결과, 상기 운전자의 시선 이탈이 확인되면, 운전자 시선 이탈 경고 메시지를 상기 차량 헤드 유닛에 전송하는 수단
    을 포함하는, 운전자 상태 모니터링 장치.
  17. 제16항에 있어서,
    상기 운전자의 시선 이탈이 확인되면, 상기 장치에 탑재된 카메라를 구동하여 전방 촬영을 수행하는 수단을 더 포함하는, 운전자 상태 모니터링 장치.
  18. 제17항에 있어서,
    상기 촬영된 영상을 이동통신망을 통해 서버에 전송하는 수단을 더 포함하는, 운전자 상태 모니터링 장치.
  19. 제18항에 있어서,
    상기 장치는 근거리 무선 통신을 통해 제2 단말과 연동되며, 상기 제2 단말을 핫스팟으로 상기 촬영된 영상이 상기 제2 단말을 통해 상기 서버에 전송되는, 운전자 상태 모니터링 장치.
  20. 삭제
  21. 삭제
  22. 제16항에 있어서,
    상기 시선 이탈 허용 시간은 상기 피로도가 증가하면 감소하는, 운전자 상태 모니터링 장치.
  23. 제16항에 있어서,
    상기 차량 진행 방향 정보는 해당 차량의 현재 진행 방향 정보, 주행 경로 상에서의 회전 방향 정보, 회전각 정보 중 적어도 하나를 포함하는, 운전자 상태 모니터링 장치.
  24. 제23항에 있어서,
    상기 장치에 구비된 지자기 센서, 시선 감지 센서 중 적어도 하나를 이용하여 상기 운전자의 시선을 감지하는, 운전자 상태 모니터링 장치.
  25. 제16항에 있어서,
    상기 장치는 안경 형태의 웨어러블 디바이스인, 운전자 상태 모니터링 장치.
  26. 제16항에 있어서,
    상기 근거리 무선 통신은 차량 내 와이파이(Wi-Fi) 통신, 블루투스(Bluetooth) 통신, 적외선 통신(IrDA, infrared Data Association), UWB(UltraWideband) 통신, Zigbee 통신, RFID(Radio Frequency Identification) 통신 중 어느 하나인, 운전자 상태 모니터링 장치.
  27. 제23항에 있어서,
    상기 차량 진행 방향 정보는 회전 지점에 관한 정보를 더 포함하되, 해당 차량이 상기 회전 지점에 접근함에 따라 상기 차량의 현재 진행 방향을 기준으로 상기 회전 방향의 시선 이탈 허용각을 증가시키는, 운전자 상태 모니터링 장치.
  28. 제16항에 있어서,
    해당 차량의 진행 방향이 기준치 이상 변경되는 경우, 상기 차량 헤드 유닛으로부터 상기 차량 진행 방향 정보를 수신하는, 운전자 상태 모니터링 장치.
  29. 지자계 정보를 이용하여 차량의 현재 진행 방향을 감지하고, 상기 감지된 차량의 현재 진행 방향을 포함하는 차량 진행 방향 정보를 근거리 무선 통신을 통해 전송하는 차량 헤드 유닛; 및
    상기 근거리 무선 통신을 통해 상기 차량 진행 방향 정보가 수신하고, 상기 차량 진행 방향 정보 및 좌우 허용각에 기반하여 시선 이탈 허용각을 산출하고, 운전자의 눈 깜박임 회수 및 단위 시간 동안 상기 운전자가 눈을 감고 있는 시간에 기반하여 상기 운전자의 피로도를 측정하고, 상기 측정된 피로도에 기반하여 시선 이탈 허용 시간을 산출하고, 상기 운전자의 시선이 상기 시선 이탈 허용각을 벗어난 시간을 상기 시선 이탈 허용 시간과 비교하여 운전자의 시선 이탈 여부를 판단하는 단말
    을 포함하는, 운전자 상태 모니터링 시스템.
  30. 제29항에 있어서,
    상기 판단 결과, 상기 운전자의 시선 이탈이 확인되면, 상기 단말의 전방 카메라를 통해 촬영된 영상을 이동통신망을 통해 수신하는 서버를 더 포함하는, 운전자 상태 모니터링 시스템.
KR1020140162338A 2014-11-20 2014-11-20 Hmd를 이용한 운전자 상태 모니터링 방법 및 장치 KR101612824B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140162338A KR101612824B1 (ko) 2014-11-20 2014-11-20 Hmd를 이용한 운전자 상태 모니터링 방법 및 장치
US14/684,303 US9842267B2 (en) 2014-11-20 2015-04-10 Method and apparatus for monitoring driver status using head mounted display
CN201510218617.5A CN106184055A (zh) 2014-11-20 2015-04-30 用于使用头戴式显示器监测驾驶员状态的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140162338A KR101612824B1 (ko) 2014-11-20 2014-11-20 Hmd를 이용한 운전자 상태 모니터링 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101612824B1 true KR101612824B1 (ko) 2016-04-15

Family

ID=55801872

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140162338A KR101612824B1 (ko) 2014-11-20 2014-11-20 Hmd를 이용한 운전자 상태 모니터링 방법 및 장치

Country Status (3)

Country Link
US (1) US9842267B2 (ko)
KR (1) KR101612824B1 (ko)
CN (1) CN106184055A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021006362A1 (ko) * 2019-07-05 2021-01-14 엘지전자 주식회사 운전자 시선 감지를 통한 차량의 주행 상황 표시 방법 및 이를 위한 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6917708B2 (ja) * 2016-02-29 2021-08-11 株式会社デンソー 運転者監視システム
DE102017200194A1 (de) * 2017-01-09 2018-07-12 Ford Global Technologies, Llc Fahrzeug mit flexibler Fahrzeugführerposition und Verfahren zum Führen eines Fahrzeugs
US10082869B2 (en) * 2017-02-03 2018-09-25 Qualcomm Incorporated Maintaining occupant awareness in vehicles
CN107421522A (zh) * 2017-04-27 2017-12-01 深圳市元征科技股份有限公司 航向显示方法及装置
KR20190061726A (ko) * 2017-11-28 2019-06-05 현대자동차주식회사 차량의 운전제어권 조정 시스템 및 방법
KR20190071097A (ko) * 2017-12-14 2019-06-24 현대자동차주식회사 차량의 디스플레이 제어 장치 및 방법, 그리고 차량 시스템
KR20220000536A (ko) * 2020-06-26 2022-01-04 현대자동차주식회사 차량 주행 제어 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005153660A (ja) 2003-11-25 2005-06-16 Fujitsu Ten Ltd 運転支援装置
JP2014211787A (ja) 2013-04-19 2014-11-13 本田技研工業株式会社 情報提供装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09218375A (ja) 1996-02-08 1997-08-19 Canon Inc 疲労判定方法及びそれを用いた観察装置
US6926429B2 (en) 2002-01-30 2005-08-09 Delphi Technologies, Inc. Eye tracking/HUD system
JP2004219664A (ja) 2003-01-14 2004-08-05 Sumitomo Electric Ind Ltd 情報表示システム及び情報表示方法
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
JP4961934B2 (ja) 2006-10-11 2012-06-27 株式会社デンソー 運転支援装置
JP5499277B2 (ja) 2008-01-22 2014-05-21 株式会社国際電気通信基礎技術研究所 危険運転予防意識判定システムおよび危険運転予防意識判定方法
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
JP2011128799A (ja) 2009-12-16 2011-06-30 Panasonic Corp 運転者状態推定装置及び運転者状態推定方法
EP2557549B1 (en) * 2010-04-05 2022-10-12 Toyota Jidosha Kabushiki Kaisha Biological body state assessment device
JP2012137639A (ja) 2010-12-27 2012-07-19 Brother Ind Ltd ヘッドマウントディスプレイ、制御プログラム、及び制御方法
KR20120075672A (ko) 2010-12-29 2012-07-09 성균관대학교산학협력단 시선방향 검출을 이용한 안전운전 유도 시스템 및 그 방법
KR102118438B1 (ko) * 2013-01-28 2020-06-04 한국전자통신연구원 차량용 헤드업 디스플레이 장치 및 그 방법
US8952819B2 (en) * 2013-01-31 2015-02-10 Lytx, Inc. Direct observation event triggering of drowsiness
US20140375785A1 (en) * 2013-06-19 2014-12-25 Raytheon Company Imaging-based monitoring of stress and fatigue
US9767373B2 (en) * 2014-09-05 2017-09-19 Ford Global Technologies, Llc Head-mounted display head pose and activity estimation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005153660A (ja) 2003-11-25 2005-06-16 Fujitsu Ten Ltd 運転支援装置
JP2014211787A (ja) 2013-04-19 2014-11-13 本田技研工業株式会社 情報提供装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021006362A1 (ko) * 2019-07-05 2021-01-14 엘지전자 주식회사 운전자 시선 감지를 통한 차량의 주행 상황 표시 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
US20160148064A1 (en) 2016-05-26
US9842267B2 (en) 2017-12-12
CN106184055A (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
KR101612824B1 (ko) Hmd를 이용한 운전자 상태 모니터링 방법 및 장치
US8498816B2 (en) Systems including mobile devices and head-mountable displays that selectively display content, such mobile devices, and computer-readable storage media for controlling such mobile devices
US9815333B2 (en) Method and device for managing a self-balancing vehicle based on providing a warning message to a smart wearable device
AU2014377550B2 (en) Vehicle control system
US20140098008A1 (en) Method and apparatus for vehicle enabled visual augmentation
WO2015008270A2 (en) Risk assessment using portable devices
US9958275B2 (en) System and method for wearable smart device communications
KR101663113B1 (ko) 웨어러블 디바이스와의 통신이 가능한 차량용 장치 및 그 제어 방법
CN106205177A (zh) 使用智能眼镜提供车辆位置的引导的方法及其设备
US10481599B2 (en) Methods and systems for controlling an object using a head-mounted display
KR20160045342A (ko) 웨어러블 기기를 이용한 차량 제어장치 및 방법
US20160070101A1 (en) Head mounted display device, control method for head mounted display device, information system, and computer program
KR101572941B1 (ko) 이벤트 알림 방법 및 이를 위한 장치
JP2017123598A (ja) システム、情報端末、情報通知プログラムおよび情報通知方法
KR101647108B1 (ko) 웨어러블 디바이스를 이용한 차량 긴급 구난 서비스 제공 방법 및 시스템
JP2017161645A (ja) 表示制御方法、通信装置、表示制御プログラムおよび表示制御装置
KR20150119636A (ko) 노티피케이션을 제공하는 hmd 디바이스 및 그 제어 방법
US10632910B2 (en) Driving support device, driving situation information acquiring system, driving support method, and program
KR20170007001A (ko) 단말의 눈동자 인식 기능을 이용한 안전 운전 제어 방법, 장치 및 기록매체
US10878700B2 (en) Surrounding area monitoring apparatus and surrounding area monitoring method
KR20160072985A (ko) 스마트 글래스를 이용한 도착시간 알림 시스템 및 그 방법
KR101613022B1 (ko) 착용형 햅틱 장치 및 그것을 이용한 보행 안내 정보 제공 방법
KR20130063662A (ko) 사용자 착용식 단말기를 이용한 텔레매틱스 시스템
US20210014457A1 (en) Information processing device, information processing method, and program
WO2020230892A1 (ja) 処理装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190327

Year of fee payment: 4