KR101655826B1 - 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템 - Google Patents

웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템 Download PDF

Info

Publication number
KR101655826B1
KR101655826B1 KR1020160066561A KR20160066561A KR101655826B1 KR 101655826 B1 KR101655826 B1 KR 101655826B1 KR 1020160066561 A KR1020160066561 A KR 1020160066561A KR 20160066561 A KR20160066561 A KR 20160066561A KR 101655826 B1 KR101655826 B1 KR 101655826B1
Authority
KR
South Korea
Prior art keywords
user
wearable glass
unit
photographing unit
image
Prior art date
Application number
KR1020160066561A
Other languages
English (en)
Other versions
KR20160071360A (ko
Inventor
박성우
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020160066561A priority Critical patent/KR101655826B1/ko
Publication of KR20160071360A publication Critical patent/KR20160071360A/ko
Application granted granted Critical
Publication of KR101655826B1 publication Critical patent/KR101655826B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

웨어러블 글래스가 개시된다. 본 글래스는 전방을 촬영하는 제1 촬영부, 사용자 시선 방향을 추적하는 제2 촬영부 및 제1 촬영부를 통해 촬영된 타겟 영상을 타겟 영상에 대응되는 차량의 3D 인테리어 지도에 매칭시켜 사용자의 머리 방향을 판단하는 제어부를 포함하며, 상기 제어부는 사용자의 머리 방향 및 시선 방향에 기초하여, 타겟 영상 내에 사용자의 시선에 대응되는 오브젝트를 특정한다. 이에 따라 사용자 편의성이 향상될 수 있다.

Description

웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템{WEARABLE GLASS, CONTROL METHOD THEREOF AND VEHICLE CONTROL SYSTEM}
본 발명은 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템에 관한 것으로 더 상세하게는 차량을 효율적으로 컨트롤하는 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템에 관한 것이다.
전자제어기술의 비약적인 발전에 따라 자동차에서도 기계적인 방법에 의해 동작하던 각종 장치들이 운전자의 편리성 및 운행의 안전성 등의 이유로 전기적인 방법에 의해 구동되고 있으며, 자동차의 시스템은 점차 고도화되고 최첨단화되어 가고 있다. 그 중에서도 차량에 탑재된 기술은 나날히 발전하고 있는 실정이다.
한편, 이동 단말기의 수준 역시 비약적으로 발전하고 있고, 이동 단말기가 웨어러블 글래스 형태로 구성되기도 한다.
웨어러블 글래스는 웨어러블 글래스에 탑재된 카메라를 이용하여 영상을 촬영하고 촬영된 영상을 디스플레이하기도 하며, 다른 전자 장치와 통신을 수행할 수도 있다. 따라서, 웨어러블 글래스를 이용한 다양한 기술이 소개되고 있는 실정이다.
종래기술에서는 웨어러블 글래스에 부착된 카메라로 안구 영상을 획득하여 시선위치를 추적하고 대응 명령을 수행하는 내용을 개시하나, 보다 효율적으로 차량을 제어하는 웨어러블 글래스 및 이를 이용한 차량 제어 방법의 대두가 요청된다.
한국공개특허 2013-0015488 호
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 하나의 목적은 복수의 촬영부를 이용하여 사용자의 시선을 정확하게 인식하는 웨어러블 글래스를 제공함에 있다.
또한, 본 발명의 다른 목적은 3D 인테리어 지도와 이에 대응되는 촬영영상을 매칭시켜 사용자의 시선이 고정되는 오브젝트를 보다 잘 인식하도록 제어하는 웨어러블 글래스 및 이를 이용한 차량 제어 방법을 제공함에 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 바와 같은 본 발명의 다양한 실시 예와 관련된 사용자가 착용한 웨어러블 글래스의 제어 방법은 제1 촬영부를 통해 촬영된 타겟 영상을 상기 타겟 영상에 대응되는 차량의 3D 인테리어 지도에 매칭시켜 상기 사용자의 머리 방향을 판단하는 단계, 제2 촬영부로 사용자의 시선 방향을 추적하는 단계 및 상기 사용자의 머리 방향 및 시선 방향에 기초하여, 상기 타겟 영상 내에 사용자의 시선에 대응되는 오브젝트를 특정하는 단계를 포함할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시 예에 따르면, 복수의 촬영부를 이용하여 사용자의 시선이 정확하게 인식됨으로써, 사용자 편의성 및 장치 효율성이 향상될 수 있다.
또한, 3D 인테리어 지도와 이에 대응되는 촬영영상을 매칭시켜 사용자의 시선이 고정되는 오브젝트가 보다 잘 인식됨으로써, 사용자 편의성 및 장치 효율성이 향상될 수 있다.
본 발명에서 얻은 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 웨어러블 글래스의 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 웨어러블 글래스의 외관을 나타내는 사시도이다.
도 3은 본 발명의 일 실시 예에 따른 웨어러블 글래스의 제어 방법을 나타내는 시퀀스도이다.
도 4-1은 3D 인테리어 지도를 나타내는 도면이다. 도 4-2는 제1 촬영부(110)를 통해 3D 인테리어 지도에 대응되는 뷰를 촬영한 것을 나타내는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 웨어러블 글래스를 이용하여, 사용자의 안구 움직임이 추적되는 것을 나타내는 도면이다.
도 6은 사용자의 시선이 특정 오브젝트에 고정되는 경우를 나타내는 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시 예에 따른 웨어러블 글래스의 블록도이다.
도 1에 따르면, 웨어러블 글래스(100)는 제1 촬영부(110), 제2 촬영부(120), 통신부(130), 메모리(140), 제어부(150)를 포함한다. 다만, 도 1에 도시된 구성요소들은 웨어러블 글래스(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 웨어러블 글래스는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
제1 촬영부(110)는 사용자가 바라보는 방향(전방)을 촬영한다. 제1 촬영부(110)는 제어부(150)의 제어에 따라, 촬영 모드 또는 화상통화 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상의 화상 프레임을 처리할 수 있다. 처리된 화상 프레임은 웨어러블 글래스의 디스플레이(미도시)에 디스플레이될 수 있고, 메모리(140)에 저장될 수 있다.
제2 촬영부(120)는 웨어러블 글래스(100)를 착용한 사용자를 촬영할 수 있다. 특히 제2 촬영부(120)는 사용자의 안구 움직임(가령, 동공)을 추적하여 촬영할 수 있다. 또한, 상기 제1 촬영부(110) 및 제2 촬영부(120)는 사용자의 좌안 및 우안 중 적어도 하나에 인접하게 배치될 수 있다.
여기서, 제2 촬영부(120)를 통해 사용자의 안구 움직임을 측정하여, 사용자의 시선 방향이 파악될 수 있다.
아울러, 제1 촬영부(110)를 통해 전방을 촬영하여 사용자의 머리 움직임이 파악되어 정확하게 사용자의 시선이 판단될 수 있다.
통신부(130)는 외부 디바이스와 통신을 수행한다. 통신부(130)는 유선으로 외부 디바이스와 통신을 수행하기도 하고, 무선으로 외부 디바이스와 통신을 수행할 수 있다. 통신부(130)는 블루투스, 와이파이 등의 무선 통신을 통해 차량 AVN 단말 및 차량 내 ECU(Electronic Control Unit)과 통신을 수행할 수 있다.
또한, 통신부(130)는 이동 통신 모듈을 이용하여 외부 이동 단말기와 통신을 수행할 수도 있다.
메모리(140)는 웨어러블 글래스(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(140)는 웨어러블 글래스(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 웨어러블 글래스(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 센터로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 웨어러블 글래스(100)의 기본적인 기능을 위하여 출고 당시부터 웨어러블 글래스(100) 상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(140)에 저장되고, 웨어러블 글래스(100) 상에 설치되어, 제어부(150)에 의하여 상기 웨어러블 글래스(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
메모리(140)는 플래시 저장부 타입(flash memory type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type) 및 카드 타입의 저장부(예를 들어 SD 또는 XD 저장부 등) 중 적어도 하나를 포함할 수 있다. 또한, 메모리(140)는 웹 스토리지 형태로 구성될 수도 있다.
제어부(150)는 웨어러블 글래스(100)의 전반적인 동작을 제어할 수 있다. 구체적인 제어 방법은 도 3에서 후술하기로 한다.
도 2는 본 발명의 일 실시 예에 따른 웨어러블 글래스의 외관을 나타내는 사시도이다.
도 2에 따르면, 웨어러블 글래스(400)는 인체의 두부에 착용 가능하도록 구성되며, 이를 위한 프레임부(케이스, 하우징 등)을 구비할 수 있다. 프레임부는 착용이 용이하도록 플렉서블 재질로 형성될 수 있다. 본 도면에서는, 프레임부가 서로 다른 재질의 제1 프레임(401)과 제2 프레임(402)을 포함하는 것을 예시하고 있다. 여기서, 웨어러블 글래스(400)는 이동 단말기의 기능을 포함하는 것으로 상정하기로 한다.
프레임부는 두부에 지지되며, 각종 부품들이 장착되는 공간을 마련한다. 도시된 바와 같이, 프레임부에는 제어 모듈(480), 음향 출력 모듈(452) 등과 같은 전자부품이 장착될 수 있다. 또한, 프레임부에는 좌안 및 우안 중 적어도 하나를 덮는 렌즈(403)가 착탈 가능하게 장착될 수 있다.
제어 모듈(480)은 웨어러블 글래스(400)에 구비되는 각종 전자부품을 제어하도록 이루어진다. 제어 모듈(480)은 앞서 설명한 제어부(150)에 대응되 는 구성으로 이해될 수 있다. 본 도면에서는, 제어 모듈(480)이 일측 두부 상의 프레임부에 설치된 것을 예시하고 있다. 하지만, 제어 모듈(480)의 위치는 이에 한정되지 않는다.
디스플레이부(451)는 헤드 마운티드 디스플레이(Head Mounted Display, HMD) 형태로 구현될 수 있다. HMD 형태란, 두부에 장착되어, 사용자의 눈 앞에 직접 영상을 보여주는 디스플레이 방식을 말한다. 사용자가 웨어러블 글래스(400)를 착용하였을 때, 사용자의 눈 앞에 직접 영상을 제공할 수 있도록, 디스플레이부(451)는 좌안 및 우안 중 적어도 하나에 대응되게 배치될 수 있다. 본 도면에서는, 사용자의 우안을 향하여 영상을 출력할 수 있도록, 디스플레이부(451)가 우안에 대응되는 부분에 위치한 것을 예시하고 있다.
디스플레이부(451)는 프리즘을 이용하여 사용자의 눈으로 이미지를 투사할 수 있다. 또한, 사용자가 투사된 이미지와 전방의 일반 시야(사용자가 눈을 통하여 바라보는 범위)를 함께 볼 수 있도록, 프리즘은 투광성으로 형성될 수 있다.
이처럼, 디스플레이부(451)를 통하여 출력되는 영상은, 일반 시야와 오버랩(overlap)되어 보여질 수 있다. 웨어러블 글래스(400)는 이러한 디스플레이의 특성을 이용하여 현실의 이미지나 배경에 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 증강현실(Augmented Reality, AR)을 제공할 수 있다.
제1 촬영부(421)는 좌안 및 우안 중 적어도 하나에 인접하게 배치되어, 전방의 영상을 촬영하도록 형성된다. 제1 촬영부(421)가 눈에 인접하여 위치하므로, 제1 촬영부(421)는 사용자가 바라보는 장면을 영상으로 획득할 수 있다.
본 도면에서는, 제1 촬영부(421)가 제어 모듈(480)에 구비된 것을 예시하고 있으나, 반드시 이에 한정되는 것은 아니다. 제1 촬영부(421)는 상기 프레임부에 설치될 수도 있으며, 복수 개로 구비되어 입체 영상을 획득하도록 이루어질 수도 있다.
웨어러블 글래스(400)는 제어명령을 입력 받기 위하여 조작되는 사용자 입력부(423a, 423b)를 구비할 수 있다. 사용자 입력부(423a, 423b)는 터치, 푸시 등 사용자가 촉각적인 느낌을 가면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다. 본 도면에서는, 프레임부와 제어 모듈(480)에 각각 푸시 및 터치 입력 방식의 사용자 입력부(423a, 423b)가 구비된 것을 예시하고 있다.
또한, 웨어러블 글래스(400)에는 사운드를 입력 받아 전기적인 음성 데이터로 처리하는 마이크로폰(미도시) 및 음향을 출력하는 음향 출력 모듈(452)이 구비될 수 있다. 음향 출력 모듈(452)은 일반적인 음향 출력 방식 또는 골전도 방식으로 음향을 전달하도록 이루어질 수 있다. 음향 출력 모듈(452)이 골전도 방식으로 구현되는 경우, 사용자가 이동 단말기(400)를 착용시, 음향 출력 모듈(452)은 두부에 밀착되며, 두개골을 진동시켜 음향을 전달하게 된다.
또한, 도 2에서는 도시되지 않았으나, 웨어러블 글래스(100)는 제2 촬영부(120)를 포함할 수 있다. 제2 촬영부(120)는 사용자의 안구를 추적하여 동공의 방향을 촬영할 수 있다. 이에 따라 제2 촬영부(120)는 사용자의 시선 방향을 추적할 수 있다. 다만, 제2 촬영부(120)만으로는 사용자의 시선 방향은 추적되나, 사용자의 시선은 파악되기는 어렵다. 왜냐하면, 사용자의 시선 방향이 고정되더라도 두부의 움직임에 따라 사용자의 시선이 바뀌기 때문이다.
도 3은 본 발명의 일 실시 예에 따른 웨어러블 글래스의 제어 방법을 나타내는 시퀀스도이다.
일단, 제어부(150)는 제1 촬영부를 통해 촬영된 타겟 영상을 상기 타겟 영상에 대응되는 차량의 3D 인테리어 지도에 매칭시켜 상기 사용자의 머리 방향을 판단한다 (S310). 구체적인 설명은 도 4-1 및 도 4-2를 참고하여 설명하기로 한다.
도 4-1는 3D 인테리어 지도를 나타내는 도면이다. 도 4-2는 제1 촬영부(110)를 통해 3D 인테리어 지도에 대응되는 뷰를 촬영한 것을 나타내는 도면이다.
3D 인테리어 지도는 차량 내부 뷰(View) 정보에 기초하여, 차량 내부를 표시할 수 있는 데이터를 포함한다. 3D 인테리어 지도의 데이터 정보는 3D 에 기반하기 때문에 보다 현실성, 입체성을 제공할 수 있다.
제어부(150)는 차량에 저장된 3D인테리어 지도(가령, AVN 단말에 저장)를 통신부(130)를 통해 수신할 수 있다. 상기의 3D 인테리어 지도는 웨어러블 글래스(100)에 탑재된 디스플레이(미도시)를 통해 표시될 수 있다.
제어부(150)는 차량 내부 중 특정 뷰에 해당되는 도 4-1와 같은 화면에서 복수의 제1 기준점((X1, Y1, Z1), (X2, Y2, Z2), (X3, Y3, Z3))을 설정할 수 있다. 제어부(150)는 3D 인테리어 뷰의 특정 지도에 대응되어 도 4-2와 같이 제1 촬영부(110)를 통해 타겟 영상을 촬영할 수 있다. 또한, 제어부(150)는 복수의 제1 기준점에 대응되도록 복수의 제2 기준점((X4, Y4, Z4), (X5, Y5, Z5), (X6, Y6, Z6))을 설정할 수 있다. 제어부(150)는 제1 촬영부(110)로 촬영된 타겟 영상(도4-2)을 타겟 영상에 대응되는 3D 인테리어 지도(도 4-2)에 매칭한다.
여기서, 도 4-2의 화면은 2D 영상으로 구성된다. 다만, 추후 기술의 발전에 따라 제어부(150)는 3D 영상으로 화면을 구성할 수 있다.
이와 같이, 제어부(150)가 3D 인테리어 지도를 이에 대응되는 타겟 영상에 매칭시키는 경우, 3D 데이터가 2D 데이터보다 공간 표현력이 우수한 바, 웨어러블 글래스의 오브젝트 인식률을 높힐 수 있다.
다시 도 3으로 돌아가서, S310 단계 이후, 제2 촬영부로 사용자의 시선 방향을 추적한다(S320). 본 단계는 도 5를 참고하여 설명하기로 한다. 한편, S320 단계가 S310 단계보다 후속 단계로 설명하였으나, 상기 S320 단계가 S310 보다 먼저 수행될 수도 있다.
제어부(150)는 제2 촬영부(120)를 제어하여 사용자의 안구의 움직임을 추적하고 촬영할 수 있다.
제어부(150)는 사용자 동공(510)의 움직임을 추적할 수 있다. 가령, 사용자 동공이 아래 쪽으로 움직이는 경우(520) 또는 윗쪽으로 움직이는 경우(S530), 제어부(150)는 사용자 동공을 추적하여 촬영할 수 있다. 또한, 제어부(150)는 사용자 동공의 움직임의 동선을 추적할 수도 있다(540).
여기서, 제어부(150)는 제2 촬영부(120)를 통해서 사용자의 시선 방향을 추적할 수는 있으나, 정확하게 사용자의 시선을 파악할 수는 없다. 예를 들면, 제어부(150)는 사용자의 동공은 동일한 지점을 응시하고 있더라도, 사용자의 머리가 움직이는 경우, 정확한 사용자의 시선을 파악할 수는 없다. 이때, 제어부(150)는 제1 촬영부(110)를 통해, 사용자의 시선을 정확하게 판단할 수 있다.
다시 도 3으로 돌아가서, S320 단계 이후, 제어부(150)는 추적된 시선 방향에 기초하여 타겟 영상에서 사용자의 시선에 대응되는 오브젝트를 특정한다(S330). 도 6을 참고하여 설명하기로 한다.
도 6은 사용자의 시선이 특정 오브젝트에 고정되는 경우를 나타내는 도면이다.
도 6에 따르면, 제어부(150)는 제1 촬영부(110)를 통해 영상을 촬영하면서, 제2 촬영부(120)를 통해 사용자의 안구 움직임을 추적할 수 있다. 제어부(150)는 사용자(U)의 시선을 인식하여, 사용자(U)가 바라보는 오브젝트를 특정할 수 있다. 제어부(150)는 사용자가 AVN 단말(610)을 바라보는 경우, AVN 단말을 특정할 수 있다.
여기서, 제어부(150)는 사용자의 시선이 고정되는 AVN 단말, 사이드 미러, 클러스터, HUD, 핸들 등을 특정할 수 있다. 특정되는 오브젝트는 상술한 것 이외에도 다양할 수 있다.
이때, 제어부(150)는 웨어러블 글래스(100)의 디스플레이(미도시)에 제1 촬영부가 촬영하는 영상을 디스플레이할 수 있고, 추가적으로 사용자(U)의 시선에 의해 특정된 오브젝트를 하이라이트시켜 디스플레이할 수 있다.
제어부(150)는 사용자(U)의 시선에 기초하여 다양한 동작을 수행할 수 있다. 제어부(150)는 사용자(U)의 시선이 오브젝트에 기 설정된 시간 동안 고정되는 경우, 기 설정된 제어 명령이 입력된 것을 판단할 수 있다.
이하에서는 다양한 실시 예를 기술하기로 한다.
제어부(150)는 차량 주행 중에 운전자의 시선이 차량 전면 유리를 기 설정된 시간 이상 벗어나는 경우, 기 설정된 동작을 수행할 수 있다. 이와 같은 경우에 제어부(150)는 운전자가 졸음 운전을 하고 있는 것으로 판단할 수 있다. 이런 경우, 제어부(150)는 경고 알림을 발하여 사용자에게 알릴 수 있다.
또한, 사용자의 시선이 컨트롤 가능 유닛(가령, 사이드 미러, 후방 미러 좌우 깜빡이 등)에 고정되는 경우, 해당 컨트롤 가능 유닛은 제어 대상으로 선정될 수 있다. 이 경우, 해당 컨트롤 가능 유닛에 조작이 입력되는 경우, 해당 컨트롤 가능 유닛은 입력된 조작에 대응되는 동작을 수행할 수 있다.
또한, 음성 명령의 보조 인식 장치로 웨어러블 글래스가 이용될 수 있다. 가령, 2초간 우측 깜빡이에 시선 고정되고 '온' 음성이 입력되는 경우, 해당 우측 깜빡이가 온상태로 될 수 있다.
또한, 운전자의 시선이 주행 시선 영역 외로 정해진 시간 이상 이탈하는 경우, 차량 내 사운드 시스템에서 경고음을 발할 수도 있고, 차량 속도를 조절할 수도 있다. 여기서 주행 시선 영역이란, 기 설정된 영역으로 운전자가 주행 중에 시선이 필연적으로 고정되는 영역을 의미한다.
또한, 우측 사이드 미러에 시선 고정 후 스티어링 휠 상하좌우 조작계를 통해 거울 위치 조절될 수 있다.
상술한 실시 예 이외에도 웨어러블 글래스를 이용하여 다양한 기능을 수행할 수 있다.
한편, 본 발명의 다른 실시 예에 따른 차량 제어 시스템은 3D 인테리어 지도 정보를 웨어러블 글래스(100)로 전송하는 AVN 단말 및 3D 인테리어 지도정보를 수신하여, 제1 촬영부(110)로 촬영된 타겟 영상을 타겟 영상에 대응되는 3D 인테리어 지도에 매칭하여 사용자의 머리 방향을 판단하고, 제2 촬영부(120)로 사용자의 시선 방향을 추적하는 웨어러블 글래스를 포함할 수 있다. 여기서, 웨어러블 글래스(100)는 추적된 머리 방향 및 시선 방향에 기초하여, 촬영 중인 상기 제2 영상에서 사용자의 시선에 대응되는 오브젝트를 특정할 수 있다.
여기서, 웨어러블 글래스(100)는, 특정된 오브젝트가 제어 명령 수신을 대기하라는 메세지를 상기 오브젝트로 전송할 수 있다. 특정된 오브젝트가 바로 웨어러블 글래스(100)와 통신 가능한 경우가 아니라면, AVN 단말이 웨어러블 글래스(100)로부터 해당 정보를 수신하여 차량 내부 통신(가령, CAN)을 통해 해당 정보를 특정된 오브젝트로 전송할 수 있다. 특정된 오브젝트는 제어 명령을 수신하는 경우, 상기 제어 명령에 대응되는 동작을 수행할 수 있다.
한편, 본 발명의 일 실시 예에 따른 AVN 단말의 제어 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 제어 방법은, 웨어러블 기기의 위치를 판단하는 단계 및 상기 위치에 기초한 서비스를 제공하는 단계를 포함할 수 있다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 단말의 제어부(150)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위 에 포함된다.
100 : 웨어러블 글래스 110 : 제1 촬영부
120 : 제2 촬영부

Claims (7)

  1. 차량 제어 시스템에 있어서,
    웨어러블 글래스로부터 사용자의 머리방향 및 시선방향이 고려된 뷰 데이터를 수신하는 차량 통신부; 및
    상기 뷰 데이터 및 기 저장된 3D 인테리어 지도 정보에 기초하여, 제어 오브젝트를 특정하고, 상기 오브젝트에 관한 조작 명령이 입력되는 경우, 상기 조작 명령에 대응되도록 상기 오브젝트를 제어하는 제어부;를 포함하는, 차량 제어 시스템.
  2. 제1항에 있어서,
    상기 차량 통신부는 AVN 단말에 포함된, 차량 제어 시스템.
  3. 제1항에 있어서,
    상기 제어 오브젝트는,
    사이드 미러 또는 후방미러를 포함하는, 차량 제어 시스템.
  4. 제1항에 있어서,
    음성 명령 수신부;를 더 포함하며,
    상기 오브젝트에 관한 조작 명령은, 상기 음성 명령 수신부를 통해 입력되는, 차량 제어 시스템.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 웨어러블 글래스로부터 주행 시선 영역의 이탈 명령을 수신하는 경우, 경고 알림 메시지를 제공하는, 차량 제어 시스템.
  6. 제1항에 있어서,
    상기 3D 인테리어 지도 정보는 3D 영상을 포함하는, 차량 제어 시스템.
  7. 제1항에 있어서,
    상기 제어부는,
    상기 제어 오브젝트에 사용자의 시선이 소정 시간 고정되는 경우, 상기 제어 오브젝트를 특정하는, 차량 제어 시스템.
KR1020160066561A 2016-05-30 2016-05-30 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템 KR101655826B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160066561A KR101655826B1 (ko) 2016-05-30 2016-05-30 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160066561A KR101655826B1 (ko) 2016-05-30 2016-05-30 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020140178327A Division KR101655818B1 (ko) 2014-12-11 2014-12-11 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템

Publications (2)

Publication Number Publication Date
KR20160071360A KR20160071360A (ko) 2016-06-21
KR101655826B1 true KR101655826B1 (ko) 2016-09-08

Family

ID=56353892

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160066561A KR101655826B1 (ko) 2016-05-30 2016-05-30 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템

Country Status (1)

Country Link
KR (1) KR101655826B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109725714B (zh) 2018-11-14 2022-06-14 北京七鑫易维信息技术有限公司 视线确定方法、装置、系统、以及头戴式眼动设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000187552A (ja) 1998-12-21 2000-07-04 Nec Gumma Ltd 視点追従型入力装置及び視点追従型入力方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110115846A (ko) 2010-04-16 2011-10-24 서울반도체 주식회사 Ｌｅｄ 패키지 및 그 제조 방법
KR101544524B1 (ko) * 2010-12-16 2015-08-17 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
KR20120071220A (ko) * 2010-12-22 2012-07-02 한국전자통신연구원 시선추적을 통한 안전운전 지원 장치 및 방법
KR20120127790A (ko) * 2011-05-16 2012-11-26 경북대학교 산학협력단 시선추적 시스템 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000187552A (ja) 1998-12-21 2000-07-04 Nec Gumma Ltd 視点追従型入力装置及び視点追従型入力方法

Also Published As

Publication number Publication date
KR20160071360A (ko) 2016-06-21

Similar Documents

Publication Publication Date Title
KR101655818B1 (ko) 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템
JP7060031B2 (ja) 運転者監視システム
CN107415938B (zh) 基于乘员位置和注意力控制自主车辆功能和输出
US9164588B1 (en) Wearable computing device with gesture recognition
US20190317328A1 (en) System and method for providing augmented-reality assistance for vehicular navigation
US9442631B1 (en) Methods and systems for hands-free browsing in a wearable computing device
US9274599B1 (en) Input detection
KR101867915B1 (ko) 차량에서 웨어러블 기기를 이용한 기능 실행 방법 및 이를 수행하는 차량
US11378802B2 (en) Smart eyeglasses
KR101596751B1 (ko) 운전자 맞춤형 사각 영역 표시 방법 및 장치
WO2018059934A1 (en) Augmented reality communication system and augmented reality interaction device
US20140098008A1 (en) Method and apparatus for vehicle enabled visual augmentation
US20190227694A1 (en) Device for providing augmented reality service, and method of operating the same
US20180143433A1 (en) Head mounted display, control method thereof, and computer program
JP2018142857A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
CN104890570B (zh) 佩戴式车辆信息指示器以及使用其指示车辆信息的方法
JP2019109850A (ja) 透過型表示装置、表示制御方法、およびコンピュータープログラム
US11626028B2 (en) System and method for providing vehicle function guidance and virtual test-driving experience based on augmented reality content
KR20140145332A (ko) 차량용 hmd 시스템 및 그 작동 방법
JP2017219827A (ja) 画像安定化方法及び電子デバイス
KR20180037909A (ko) 스마트 안경
KR101655826B1 (ko) 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템
JP7078568B2 (ja) 表示装置、表示制御方法、及び表示システム
KR20170084443A (ko) 헤드 마운트 디스플레이 장치 제어방법
WO2017150466A1 (ja) 運転者監視システム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190827

Year of fee payment: 4