KR101646449B1 - 시선 인식 시스템 및 방법 - Google Patents

시선 인식 시스템 및 방법 Download PDF

Info

Publication number
KR101646449B1
KR101646449B1 KR1020150021492A KR20150021492A KR101646449B1 KR 101646449 B1 KR101646449 B1 KR 101646449B1 KR 1020150021492 A KR1020150021492 A KR 1020150021492A KR 20150021492 A KR20150021492 A KR 20150021492A KR 101646449 B1 KR101646449 B1 KR 101646449B1
Authority
KR
South Korea
Prior art keywords
sound wave
user
unit
transmitter
wave transmitter
Prior art date
Application number
KR1020150021492A
Other languages
English (en)
Inventor
오광명
사성진
박성민
이희승
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020150021492A priority Critical patent/KR101646449B1/ko
Priority to US14/838,346 priority patent/US20160238701A1/en
Application granted granted Critical
Publication of KR101646449B1 publication Critical patent/KR101646449B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18—Methods or devices for transmitting, conducting or directing sound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/186—Determination of attitude
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0057—Frequency analysis, spectral techniques or transforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/60—Doppler effect
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/215—Selection or confirmation of options

Abstract

본 발명은 시선 인식 시스템 및 방법에 관한 것으로, 사용자의 머리에 배치된 하나 이상의 음파 발신기로부터 출력되는 음파 신호들을 감지하는 신호 감지 단계와, 상기 음파 신호들을 분석하는 신호 분석 단계와, 상기 음파 신호들에 대한 신호 분석결과를 통해 상기 음파 발신기의 상대적 변위를 감지하여 상기 사용자의 시선 변화를 인식하는 시선 인식 단계를 포함한다.

Description

시선 인식 시스템 및 방법{GAZE RECOGNITION SYSTEM AND METHOD}
본 발명은 시선 인식 시스템 및 방법에 관한 것으로, 더욱 상세하게는 사용자의 머리에 착용하는 액세서리에 음파를 발생시키는 장치를 부착하고 그 장치로부터 출력되는 음파를 분석하여 사용자의 시선을 인식하는 시선 인식 시스템 및 방법에 관한 것이다.
일반적으로, 시선 인식 시스템은 카메라를 통해 획득한 영상에 대한 이미지 처리를 통해 사용자의 얼굴 및/또는 눈동자의 움직임을 추적한다. 이러한 카메라 기반의 시선 인식 시스템은 차량 내부에 카메라를 설치하여 운전자의 시선을 인식하거나 또는 구글 글라스와 같이 안경에 카메라를 부착하여 해당 안경을 착용한 사용자의 시선을 인식한다.
또는, 적외선 방식의 시선 인식 시스템은 사용자에게 적외선을 송신하고 수신되는 적외선(빛)을 통해 사용자의 얼굴이나 동공의 움직임을 인식하여 시선을 추적한다.
이와 같이, 카메라 기반 및 적외선 방식의 시선 인식 시스템은 고가의 장비로 양산의 어려움 있으며, 외부광에 의해 얼굴에 부분적으로 그늘이 지거나 광량이 바뀔 경우 인식률이 저하된다.
또한, 카메라 기반 시선 인식 시스템은 카메라를 통해 획득한 영상에서 사람 얼굴과 배경을 구분하는데 많은 시간 및 자원을 소모하게 된다. 다시 말해서, 종래기술은 얼굴의 3차원 형태를 구분하고 배경과 분리하기 위해 복잡한 알고리즘과 그에 따른 리소스가 필요하다. 이러한 시선 인식 시스템은 실제 차량 환경에서 운전자 시선 인식의 활용도는 높지만 높은 해상도의 벡터를 얻기 위해서는 고가의 장비가 필요하다.
또한, 종래의 안경형 시선 인식 장치는 사용자가 카메라가 부착된 안경을 착용해야 하므로 사용자에게 착용에 따른 부담을 제공한다.
JP 4385392 B2 KR 101091288 B1 KR 1020140099899 A
본 발명은 상기한 종래기술의 문제점을 해결하기 위하여 안출된 것으로, 사용자의 머리에 착용하는 액세서리에 음파를 발생시키는 장치를 부착하고 그 장치로부터 출력되는 음파를 분석하여 사용자의 시선을 인식하는 시선 인식 시스템 및 방법을 제공하고자 한다.
상기한 과제를 해결하기 위하여, 본 발명의 실시예에 따른 시선 인식 방법은 사용자의 머리에 배치된 하나 이상의 음파 발신기로부터 출력되는 음파 신호들을 감지하는 신호 감지 단계와, 상기 음파 신호들을 분석하는 신호 분석 단계와, 상기 음파 신호들에 대한 신호 분석결과를 통해 상기 음파 발신기의 상대적 변위를 감지하여 상기 사용자의 시선 변화를 인식하는 시선 인식 단계를 포함하는 것을 특징으로 한다.
또한, 상기 음파 발신기는, 각기 다른 패턴의 음파 신호를 발생시키는 것을 특징으로 한다.
또한, 상기 음파 신호는, 가청주파수 범위를 벗어나는 초음파 또는 고주파로 구현되는 것을 특징으로 한다.
또한, 상기 신호 분석 단계는, 상기 음파 발신기의 상대적 거리 변화에 따른 상기 음파 신호의 강도 변화를 연산하는 것을 특징으로 한다.
또한, 상기 신호 분석 단계는, 상기 음파 발신기의 움직임에 따른 도플러 효과에 의한 상기 음파 신호의 주파수 편차를 연산하는 것을 특징으로 한다.
또한, 상기 시선 인식 단계는, 상기 음파 발신기가 부착된 액세서리가 향하는 3차원상의 벡터를 도출하는 것을 특징으로 한다.
한편, 본 발명의 실시예에 따른 시선 인식 시스템은 사용자의 머리에 착용되는 액세서리에 탈착 가능하며 각기 다른 음파 신호를 출력하는 하나 이상의 음파 발신기와, 상기 하나 이상의 음파 발신기로부터 출력되는 음파 신호들을 수신하고 그 수신한 음파 신호들의 신호 분석을 통해 상기 음파 발신기의 상대적 변위를 감지하여 상기 사용자의 시선 변화를 인식하는 시선인식기를 포함하는 것을 특징으로 한다.
또한, 상기 음파 발신기는, 미리 정해진 패턴의 음파 신호를 생성하는 음파 생성부와, 상기 음파 신호를 외부로 출력하는 음파 출력부를 포함하는 것을 특징으로 한다.
또한, 상기 음파 발신기는, 상기 사용자의 액세서리 착용여부를 감지하는 착용 감지부를 더 포함하는 것을 특징으로 한다.
또한, 상기 시선인식기는, 상기 음파 신호들을 감지하는 음파 감지부와, 상기 음파 신호들의 강도 변화 및 도플러 효과에 의한 주파수 편차를 연산하여 상기 음파 발신기의 상대적 위치를 연산하는 연산부와, 상기 음파 발신기의 상대적 위치에 근거하여 사용자의 시선을 인식하는 제어부를 포함하는 것을 특징으로 한다.
또한, 상기 연산부는, 상기 음파 감지부로부터 상기 음파 발신기의 상대적 거리 변화에 따른 해당 음파 발신기로부터 출력되는 음파 신호의 강도 변화를 연산하는 것을 특징으로 한다.
또한, 상기 연산부는, 상기 음파 발신기의 움직임에 따른 도플러 효과에 의한 해당 음파 발신기로부터 출력되는 음파 신호의 주파수 편차를 연산하는 것을 특징으로 한다.
또한, 상기 시선인식기는, 상기 제어부가 인식한 사용자의 시선 움직임에 따른 입력신호를 발생시키는 입력부를 더 포함하는 것을 특징으로 한다.
또한, 상기 시선인식기는, 상기 사용자의 시선정보에 따라 사용자의 주행 안전여부를 파악하여 경고를 출력하는 경고부를 더 포함하는 것을 특징으로 한다.
또한, 상기 시선인식기는, 상기 사용자의 시선 인식 결과에 근거하여 사용자가 장애물을 인지했는지 여부를 파악하여 사용자가 장애물을 인지하지 못한 경우 장애물을 회피하도록 차량 주행을 제어하는 차량제어부를 더 포함하는 것을 특징으로 한다.
본 발명의 실시예들은 사용자가 머리에 착용하는 액세서리에 착탈이 가능한 음파 발신기를 배치하고 그 음파 발신기에서 출력하는 음파를 감지하여 인식하고 음파 발신기의 상대적 위치 및 움직임을 연산하는 시선인식기를 차량에 배치함으로써, 사용자의 착용 부담감을 줄일 수 있다.
또한, 본 발명에 따르면, 시선인식기가 차량 실내에 고정된 위치에 부착하여 활용함으로써, 시선 인식의 인식률을 향상시킬 수 있다.
또한, 본 발명에 따르면, 시선인식기는 사용자의 머리 움직임에 따른 상대적인 음파의 변화량을 추적하여 연산하므로 외부광 변화와 같은 차량 환경의 영향에 강인하다.
또한, 본 발명에 따르면, 비교적 저렴한 비용으로 운전자의 시선을 인식할 수 있다.
도 1은 본 발명의 일 실시예에 따른 시선 인식 시스템의 블록구성도.
도 2는 도 1에 도시된 음파 발신기와 음파 감지부의 설치 예를 도시한 예시도.
도 3은 본 발명의 일 실시예에 따른 음파 발신기의 음파신호 발신 과정을 도시한 흐름도.
도 4는 본 발명의 일 실시예에 따른 시선 인식 방법을 도시한 흐름도.
본 명세서에 기재된 "포함하다", "구성하다", "가지다" 등의 용어는 특별히 반대되는 기재가 없는 한 해당 구성요소가 내재될 수 있음을 의미하는 것이므로 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 본 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일", "하나" 및 "그" 등의 관사는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
이하, 첨부한 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 시선 인식 시스템의 블록구성도이고, 도 2는 도 1에 도시된 음파 발신기와 음파 감지부의 설치 예를 도시한 예시도이다.
도 1에 도시된 바와 같이, 시선 인식 시스템은 음파 발신기(100)와 시선인식기(200)를 포함한다.
음파 발신기(100)는 사용자가 머리에 착용하는 액세서리(예: 안경, 선글라스, 모자 등)에 탈착 가능한 형태 또는 결합된 형태로 구현된다. 음파 발신기(100)가 부착된 액세서리가 사용자의 두부에 착용되면 음파 발신기(100)는 단위 시간마다 미리 정해진 각기 다른 펄스의 음파 신호를 같은 시간 간격으로 발생시킨다. 즉, 음파 발신기(100)는 각기 다른 패턴의 음파 신호를 출력한다.
예를 들어, 음파 발신기(100)가 안경에 부착되는 경우, 도 2에 도시된 바와 같이 안경의 좌측과 우측에 각각 하나씩 설치되고, 두 음파 발신기들(100)은 서로 다른 패턴의 음파 신호를 발생시킨다.
이러한 음파 발신기(100)는 착용 감지부(110), 음파 생성부(120), 음파 출력부(130)를 포함한다.
착용 감지부(110)는 사용자의 음파 발신기(100) 착용 여부를 감지하여 동작(음파 신호 발생) 또는 정지 신호(음파 신호 발생 중단)를 출력한다. 착용 감지부(110)는 근접센서 또는 열 센서 등으로 구현될 수 있다. 본 실시예에서는 착용 감지부(110)가 센서로 구현되는 것을 개시하고 있으나, 이에 한정되지 않고 스위치와 같은 하드웨어로 구현될 수도 있다.
음파 생성부(120)는 착용 감지부(110)로부터 동작을 지시하는 제어신호를 수신하면 정해진 패턴의 음파 신호를 생성한다. 음파 생성부(120)는 사람의 가청주파수 범위를 벗어나는 음파(예: 초음파 또는 고주파 등)를 발생시킨다.
음파 출력부(130)는 음파 생성부(120)에서 생성된 음파 신호를 외부로 출력한다. 이러한 음파 출력부(130)는 소형 스피커로 구현된다.
시선인식기(200)는 음파 발신기(100)로부터 출력되는 음파 신호를 감지하고 그 음파 신호를 이용하여 음파 발신기(100)의 위치를 인식하여 사용자의 시선 변화를 감지한다. 시선인식기(200)는 차량 내에 설치된다.
시선인식기(200)는 음파 감지부(210), 연산부(220), 입력부(230), 디스플레이부(240), 경고부(250), 차량제어부(260), 제어부(270)를 포함한다.
음파 감지부(210)는 차량 내부에 미리 정해진 하나 이상의 고정위치에 설치된다. 예를 들어, 도 2에 도시된 바와 같이, 음파 감지부(210)는 차량 내 전방에 2개와 후방에 1개가 각각 설치된다.
음파 감지부(210)는 하나 이상의 음파 발신기(100)에서 발생시키는 음파 신호들을 인식한다. 이러한 음파 감지부(210)는 차량내 기설치된 마이크를 이용하여 구현될 수 있다.
음파 감지부(210)는 하나 이상의 음파 발신기(100)로부터 출력되는 음파 신호를 수신하여 그 패턴을 인식한다. 다시 말해서, 음파 감지부(210)는 수신한 하나 이상의 음파 신호를 음파 발신기(100)별로 구분하여 분류한다.
연산부(220)는 음파 감지부(210)를 통해 감지한 음파 신호의 강도 및 도플러 효과에 의한 주파수 편차를 연산하여 음파 발신기(100)의 상대적 변위를 감지한다. 본 실시예는 제한된 공간인 차량 내부의 공간 특성을 활용하여 하나 이상의 특정 위치에 설치된 음파 감지부(210)가 물리적으로 고정된 위치좌표를 갖게 되므로, 음파 신호를 출력하는 음파 발신기(100)의 위치 및 움직임 변화를 계산할 수 있다.
다시 말해서, 연산부(220)는 음파 감지부(210)를 기준으로 음파 발신기(100)의 상대적 거리 변화에 따라 달라지는 음파의 강도 변화를 연산한다. 그리고, 연산부(220)는 음파 발신기(100)의 움직임에 따른 도플러 효과에 의한 주파수 편차를 연산할 수 있다.
연산부(210)는 반사 수신을 피하기 위해 첫번째로 수신되는 음파 신호(펄스 신호)들 간의 시간차를 통해 음파 발신기(100)의 공간상 좌표가 어떻게 변하는지를 계산할 수 있다. 다시 말해서, 연산부(210)는 각각의 음파 발신기(100)가 동시에 발생시킨 각기 다른 음파 신호를 수신하면 그 수신한 음파 신호들 간의 시간차를 연산한다. 이는, 사용자의 시선 움직임(머리 움직임)에 따라 음파 발신기(100)가 이동하므로, 각 음파 발신기(100)에서 출력하는 음파 신호들이 음파 감지부(210)에 도달하는 데까지 소요되는 시간이 각기 다르다는 점을 이용한 것이다.
연산부(220)는 하나 이상의 음파 감지부(210)로부터 수신되는 음파 신호들을 분석하여 음파 발신기(100)가 부착된 액세서리(예: 안경)가 향하는 3차원 상의 벡터를 도출할 수 있다.
입력부(230)는 사용자가 데이터 및 제어명령을 입력하기 위한 것으로, 버튼, 스위치, 터치패드, 터치스크린 등과 같은 입력장치 중 어느 하나 이상의 입력장치로 구현될 수 있다.
또는, 입력부(230)는 사용자의 머리 움직임(시선 움직임)을 파악하고 그 사용자의 머리 움직임에 따라 예스(yes) 또는 노(No)와 같은 단순 선택입력을 발생시킨다.
디스플레이부(240)는 시선인식기(200)의 동작에 따른 진행상황 및 결과 등의 각종 데이터를 표시한다.
디스플레이부(240)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 투명디스플레이, 헤드업 디스플레이(head-up display, HUD), 터치스크린 중에서 하나 이상을 포함할 수 있다.
경고부(250)는 사용자의 시선정보에 근거하여 경고신호를 출력한다. 예를 들어, 경고부(250)는 사용자의 시선이 아래로 내려가서나 또는 움직임이 기준 이하로 적을 시 졸음 경보를 출력한다. 또는, 경고부(250)는 차선 이탈, 근접 차량 정보 등과 연계하여 운전자가 적절한 시선 움직임이 없을 시 경고 신호를 출력한다.
차량제어부(260)는 시선 인식에 따른 차량의 동작을 제어한다. 예를 들어, 차량제어부(260)는 사용자의 시선 방향을 추적한 결과에 근거하여 사용자가 장애물을 인지했는지 여부를 파악하여 사용자가 장애물을 인지하지 못한 것으로 파악되면 장애물을 회피하도록 차량 주행을 제어한다.
경고부(250) 및 차량제어부(260)는 차량 네트워크를 통해 제어부(270)과 연결된다. 차량 네트워크는 CAN(Controller Area Network), MOST(Media Oriented Systems Transport) 네트워크, LIN(Local Interconnect Network) 중 어느 하나로 구현될 수 있다.
제어부(270)는 연산부(220)에 의해 산출된 음파 발신기(100)의 위치 및 움직임 변화에 근거하여 사용자의 시선 방향을 인식한다. 다시 말해서, 제어부(270)는 연산부(220)의 연산결과에 기초하여 사용자의 시선이 어느 방향을 향하고 있는지를 인식한다.
제어부(270)는 고정된 위치좌표를 갖는 음파 감지부(210)를 활용해 사용자의 머리 움직임을 분석해냄으로써 실내 AVN(Audio Video Navigation) 제어나 디스플레이 제어 시 시선정보를 활용하여 미리 준비모드로 진입하거나 조명을 켜는 등 사용성을 향상시킬 수 있다.
또한, 제어부(270)는 차선 변경 시 사이드 미러를 통해 주변 차량을 확인하는 행동을 그대로 활용하여 좌우 전자식 디스플레이에 차량 외부 정보를 표시하도록 할 수 있다.
이와 같이, 본 실시예는 운전자(사용자)가 좌우로 머리를 움직이는 것과 같은 확실한 의도를 보일 때만 정보를 표시하므로 디스플레이가 항상 커져 있을 필요가 없다. 따라서, 좌우 전자식 디스플레이가 상시 켜져 있음으로 인한 시선분산을 줄이고 필요시 디스플레이가 켜짐으로써 정보의 집중도를 높일 수 있다.
도 3은 본 발명의 일 실시예에 따른 음파 발신기의 음파신호 발신 과정을 도시한 흐름도이다. 본 실시예는 안경에 음파 발신기가 부착된 경우를 예로 들어 설명한다.
음파 발신기(100)는 사용자의 안경 착용을 확인한다(S101). 즉, 음파 발신기(100)의 착용 감지부(110)는 사용자가 음파 발신기(100)가 부착된 안경을 착용했는지를 확인한다.
음파 발신기(100)는 사용자의 안경 착용이 감지되면, 음파 생성부(120)를 제어하여 미리 정해진 특정 패턴의 음파 신호를 생성한다(S103). 이때, 음파 생성부(120)는 각기 다른 펄스의 음파 신호를 생성한다.
음파 발신기(100)의 음파 출력부(130)는 음파 생성부(120)에 의해 생성된 음파 신호를 외부로 출력한다(S105).
이후, 음파 발신기(100)는 사용자가 음파 발신기가 부착된 안경을 벗으면 안경 미착용으로 인식하여 동작을 정지한다. 즉, 음파 발신기(100)는 음파 신호의 발신을 중단한다.
도 4는 본 발명의 일 실시예에 따른 시선 인식 방법을 도시한 흐름도이다.
시선인식기(200)는 하나 이상의 음파 감지부(210)를 통해 하나 이상의 음파 발신기(100)로부터 출력되는 음파 신호를 감지한다(S111). 이때, 음파 감지부(210)는 차량 실내에 하나 이상의 고정된 위치에 설치되어 하나 이상의 음파 감지부(210)로부터 출력되는 각기 다른 패턴의 음파 신호를 수신한다.
시선인식기(200)는 감지한 음파 신호를 분석한다(S113). 시선인식기(200)의 연산부(220)는 음파 감지부(210)로부터 음파 발신기(100)의 거리 변화에 따른 음파 신호의 강도 변화를 연산하고, 음파 발신기(100)의 움직임에 따른 도플러 효과에 의한 주파수 편차를 연산한다.
시선인식기(200)는 음파 신호를 분석하여 음파 발신기(100)의 상대적 변위를 감지한다(S115). 연산부(220)는 음파 신호의 강도 변화 및 주파수 편차와 같은 연산결과에 기초하여 음파 발신기(100)의 상대적 변위를 인식한다.
시선인식기(200)는 음파 발신기(100)의 상대적 변위에 근거하여 시선방향을 인식한다(S117).
이상에서 설명된 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.
본 발명에 따른 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다.
본 발명은 본 발명의 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
100: 음파 발신기 110: 착용 감지부
120: 음파 생성부 130: 음파 출력부
200: 시선인식기 210: 음파 감지부
220: 연산부 230: 입력부
240: 디스플레이부 250: 경고부
260: 차량제어부 270: 제어부

Claims (17)

  1. 사용자의 머리에 착용되는 액세서리에 탈착 가능한 하나 이상의 음파 발신기로부터 출력되는 음파 신호들을 감지하는 신호 감지 단계와,
    상기 음파 신호들을 분석하는 신호 분석 단계와,
    상기 음파 신호들에 대한 신호 분석결과를 통해 상기 음파 발신기의 상대적 변위를 감지하여 상기 사용자의 시선 변화를 인식하는 시선 인식 단계를 포함하고,
    상기 신호 분석 단계에서 반사 수신을 피하기 위해 첫번째로 수신되는 음파 신호들 간의 시간차를 산출하는 것을 특징으로 하는 시선 인식 방법.
  2. 제1항에 있어서,
    상기 음파 발신기는,
    각기 다른 패턴의 음파 신호를 발생시키는 것을 특징으로 하는 시선 인식 방법.
  3. 제1항에 있어서,
    상기 음파 신호는,
    가청주파수 범위를 벗어나는 초음파 또는 고주파로 구현되는 것을 특징으로 하는 시선 인식 방법.
  4. 제1항에 있어서,
    상기 신호 분석 단계는,
    상기 음파 발신기의 상대적 거리 변화에 따른 상기 음파 신호의 강도 변화를 연산하는 것을 특징으로 하는 시선 인식 방법.
  5. 제1항에 있어서,
    상기 신호 분석 단계는,
    상기 음파 발신기의 움직임에 따른 도플러 효과에 의한 상기 음파 신호의 주파수 편차를 연산하는 것을 특징으로 하는 시선 인식 방법.
  6. 제1항에 있어서,
    상기 신호 분석 단계는,
    상기 음파 발신기의 움직임에 따라 각각의 음파 발신기가 동시에 발생시킨 각기 다른 음파 신호들 간의 시간차를 연산하는 것을 특징으로 하는 시선 인식 방법.
  7. 제1항에 있어서,
    상기 시선 인식 단계는,
    상기 음파 발신기가 부착된 액세서리가 향하는 3차원상의 벡터를 도출하는 것을 특징으로 하는 시선 인식 방법.
  8. 사용자의 머리에 착용되는 액세서리에 탈착 가능하며 각기 다른 음파 신호를 출력하는 하나 이상의 음파 발신기와,
    상기 하나 이상의 음파 발신기로부터 출력되는 음파 신호들을 수신하고 그 수신한 음파 신호들의 신호 분석을 통해 상기 음파 발신기의 상대적 변위를 감지하여 상기 사용자의 시선 변화를 인식하는 시선인식기를 포함하고,
    상기 시선인식기는 상기 음파 신호들을 감지하는 음파 감지부와, 상기 음파 신호들의 강도 변화 및 도플러 효과에 의한 주파수 편차를 연산하여 상기 음파 발신기의 상대적 위치를 연산하는 연산부를 포함하고,
    상기 연산부는 반사 수신을 피하기 위해 첫번째로 수신되는 음파 신호들 간의 시간차를 산출하는 것을 특징으로 하는 시선 인식 시스템.
  9. 제8항에 있어서,
    상기 음파 발신기는,
    미리 정해진 패턴의 음파 신호를 생성하는 음파 생성부와,
    상기 음파 신호를 외부로 출력하는 음파 출력부를 포함하는 것을 특징으로 하는 시선 인식 시스템.
  10. 제9항에 있어서,
    상기 음파 발신기는,
    상기 사용자의 액세서리 착용여부를 감지하는 착용 감지부를 더 포함하는 것을 특징으로 하는 시선 인식 시스템.
  11. 제8항에 있어서,
    상기 시선인식기는,
    상기 음파 발신기의 상대적 위치에 근거하여 사용자의 시선을 인식하는 제어부를 포함하는 것을 특징으로 하는 시선 인식 시스템.
  12. 제11항에 있어서,
    상기 연산부는,
    상기 음파 감지부로부터 상기 음파 발신기의 상대적 거리 변화에 따른 해당 음파 발신기로부터 출력되는 음파 신호의 강도 변화를 연산하는 것을 특징으로 하는 시선 인식 시스템.
  13. 제11항에 있어서,
    상기 연산부는,
    상기 음파 발신기의 움직임에 따른 도플러 효과에 의한 해당 음파 발신기로부터 출력되는 음파 신호의 주파수 편차를 연산하는 것을 특징으로 하는 시선 인식 시스템.
  14. 제11항에 있어서,
    상기 연산부는,
    상기 음파 발신기의 움직임에 따라 각각의 음파 발신기가 동시에 발생시킨 각기 다른 음파 신호들 간의 시간차를 연산하는 것을 특징으로 하는 시선 인식 시스템.
  15. 제11항에 있어서,
    상기 시선인식기는,
    상기 제어부가 인식한 사용자의 시선 움직임에 따른 입력신호를 발생시키는 입력부를 더 포함하는 것을 특징으로 하는 시선 인식 시스템.
  16. 제11항에 있어서,
    상기 시선인식기는,
    상기 사용자의 시선정보에 따라 사용자의 주행 안전여부를 파악하여 경고를 출력하는 경고부를 더 포함하는 것을 특징으로 하는 시선 인식 시스템.
  17. 제11항에 있어서,
    상기 시선인식기는,
    상기 사용자의 시선 인식 결과에 근거하여 사용자가 장애물을 인지했는지 여부를 파악하여 사용자가 장애물을 인지하지 못한 경우 장애물을 회피하도록 차량 주행을 제어하는 차량제어부를 더 포함하는 것을 특징으로 하는 시선 인식 시스템.
KR1020150021492A 2015-02-12 2015-02-12 시선 인식 시스템 및 방법 KR101646449B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150021492A KR101646449B1 (ko) 2015-02-12 2015-02-12 시선 인식 시스템 및 방법
US14/838,346 US20160238701A1 (en) 2015-02-12 2015-08-27 Gaze recognition system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150021492A KR101646449B1 (ko) 2015-02-12 2015-02-12 시선 인식 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101646449B1 true KR101646449B1 (ko) 2016-08-05

Family

ID=56620999

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150021492A KR101646449B1 (ko) 2015-02-12 2015-02-12 시선 인식 시스템 및 방법

Country Status (2)

Country Link
US (1) US20160238701A1 (ko)
KR (1) KR101646449B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10140690B2 (en) * 2017-02-03 2018-11-27 Harman International Industries, Incorporated System and method for image presentation by a vehicle driver assist module

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4385392B2 (ja) 2000-06-15 2009-12-16 マツダ株式会社 車両用情報提供装置
KR20110101944A (ko) * 2010-03-10 2011-09-16 삼성전자주식회사 3ｄ 안경, 3ｄ 안경의 구동방법 및 3ｄ 영상 제공 시스템
KR101091288B1 (ko) 2009-12-02 2011-12-07 현대자동차주식회사 자동차용 디스플레이 장치 및 방법
KR20140099899A (ko) 2011-11-07 2014-08-13 아이플루언스, 인크. 고-분해능 주시 추적을 위한 시스템들 및 방법들
KR20140108492A (ko) * 2013-02-25 2014-09-11 한국산업기술대학교산학협력단 대상 물체의 3차원적 움직임 및 속도를 인식할 수 있는 입력장치 및 이를 이용한 전자 기기

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3777305A (en) * 1972-04-10 1973-12-04 Us Navy Ultrasonic angle measurement system
AU2003211065A1 (en) * 2002-02-19 2003-09-09 Volvo Technology Corporation System and method for monitoring and managing driver attention loads
CA2473564C (en) * 2002-02-27 2012-11-13 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of National Defence Identification and location of an object via passive acoustic detection
JP4206928B2 (ja) * 2004-01-19 2009-01-14 株式会社デンソー 衝突可能性判定装置
US20100238161A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
US20110096941A1 (en) * 2009-10-28 2011-04-28 Alcatel-Lucent Usa, Incorporated Self-steering directional loudspeakers and a method of operation thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4385392B2 (ja) 2000-06-15 2009-12-16 マツダ株式会社 車両用情報提供装置
KR101091288B1 (ko) 2009-12-02 2011-12-07 현대자동차주식회사 자동차용 디스플레이 장치 및 방법
KR20110101944A (ko) * 2010-03-10 2011-09-16 삼성전자주식회사 3ｄ 안경, 3ｄ 안경의 구동방법 및 3ｄ 영상 제공 시스템
KR20140099899A (ko) 2011-11-07 2014-08-13 아이플루언스, 인크. 고-분해능 주시 추적을 위한 시스템들 및 방법들
KR20140108492A (ko) * 2013-02-25 2014-09-11 한국산업기술대학교산학협력단 대상 물체의 3차원적 움직임 및 속도를 인식할 수 있는 입력장치 및 이를 이용한 전자 기기

Also Published As

Publication number Publication date
US20160238701A1 (en) 2016-08-18

Similar Documents

Publication Publication Date Title
US20230209030A1 (en) Scope of coverage indication in immersive displays
US9730010B2 (en) Method for providing guidance to location of vehicle using smart glasses and apparatus for carrying out the same
US20230351633A1 (en) Vehicle system for controlling and not controlling electronic device
JP2018156175A (ja) 車両の表示システム及び車両の表示システムの制御方法
US20130293466A1 (en) Operation device
CN104765445A (zh) 显示器上的眼睛聚散检测
KR20160088717A (ko) 차량에서 웨어러블 기기를 이용한 기능 실행 방법 및 이를 수행하는 차량
KR101567194B1 (ko) 착탈식 차량 정보 인디케이터 및 이를 이용한 차량 정보 인디케이팅 방법
CN108621922A (zh) 车辆的显示系统及车辆的显示系统的控制方法
JP5763464B2 (ja) 位置特定装置及び車両
KR101646449B1 (ko) 시선 인식 시스템 및 방법
CN105323539A (zh) 车用安全系统及其操作方法
US11694345B2 (en) Moving object tracking using object and scene trackers
US20210397248A1 (en) Head orientation tracking
US11266307B2 (en) Evaluation device, evaluation method, and non-transitory storage medium
JP2009099028A (ja) 視覚情報呈示装置及び視覚情報呈示方法
US11422622B2 (en) Electronic device and operating method thereof
US20230068608A1 (en) Gaze tracking for a retinal projection display system
US20230054450A1 (en) Retinal projection display system
KR101544790B1 (ko) 차량의 물체 검출장치 및 그 검출방법
US11442543B1 (en) Electronic devices with monocular gaze estimation capabilities
US11241152B2 (en) Evaluation device, evaluation method, and non-transitory storage medium
US20220269342A1 (en) Electronic device and method of operating the same
US20230168522A1 (en) Eyewear with direction of sound arrival detection
EP3975114A1 (en) Eyeball detection device, line-of-sight detection device, eyeball detection method, and eyeball detection program

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190729

Year of fee payment: 4