KR20190078690A - 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 장치 및 그 방법 - Google Patents

사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 장치 및 그 방법 Download PDF

Info

Publication number
KR20190078690A
KR20190078690A KR1020170171408A KR20170171408A KR20190078690A KR 20190078690 A KR20190078690 A KR 20190078690A KR 1020170171408 A KR1020170171408 A KR 1020170171408A KR 20170171408 A KR20170171408 A KR 20170171408A KR 20190078690 A KR20190078690 A KR 20190078690A
Authority
KR
South Korea
Prior art keywords
user
language
display environment
display
gaze
Prior art date
Application number
KR1020170171408A
Other languages
English (en)
Other versions
KR102518653B1 (ko
Inventor
권준성
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020170171408A priority Critical patent/KR102518653B1/ko
Publication of KR20190078690A publication Critical patent/KR20190078690A/ko
Application granted granted Critical
Publication of KR102518653B1 publication Critical patent/KR102518653B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/81—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/50—Control arrangements; Data network features
    • B60K2370/52—Control of displays

Abstract

본 발명은 사용자 사용 언어 방향 기반의 UI/UX 미러링 장치 및 그 방법에 관한 것으로, 본 발명의 일실시예에 따른 사용자 사용 언어 방향 기반의 UI/UX 미러링 장치는, 디스플레이 환경 구성 장치를 통해 표시된 화면을 향하는 사용자의 시선을 인식하여 사용자 시선 위치와 사용자 시선 흐름을 추적하기 위한 시선 인식 및 추적부; 상기 추적된 사용자 시선 추적 결과를 분석하여 사용자 사용 언어 방향을 판단하기 위한 시선 분석부; 및 상기 디스플레이 환경 구성 장치에 기 적용된 '설정 언어 방향'과 상기 시선 분석부에 의해 판단된 '사용자 사용 언어 방향'의 비교 결과에 따라, 상기 디스플레이 환경 구성 장치로 디스플레이 환경 미러링에 대한 제어 명령을 전송하기 위한 디스플레이 환경 미러링 제어부;를 포함한다.

Description

사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 장치 및 그 방법{DISPLAY CONTROL DEVICE AND METHOD ORGANIZING DISPLAY ENVIRONMENT USER PRIMARY LANGUAGE DIRECTION}
본 발명은 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 장치 및 그 방법에 관한 것으로서, 보다 상세하게는, 사용자의 시선 분석을 통해 사용자 사용 언어 방향(즉, RTL 언어 또는 LTR 언어)을 판단하여 사용자에게 적합한 언어 방향에 따라 화면을 적용 또는 변경함으로써, 시스템 언어 설정으로 인해 차량의 주행중 주의 분산 및 안전 위험을 절감하기 위한, 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 장치 및 그 방법에 관한 것이다.
최근에는 차량용 네비게이션에서는 사용자 환경으로서, UI/UX(User Interface/User eXperience)에 대해 다양한 언어를 지원할 것이 요구되고 있다.
대부분의 국가에서는 왼쪽에서 오른쪽으로 쓰여지고 읽혀지는 언어(Left To Right, LTR)가 사용된다. LTR 언어의 대표적인 예가 영어, 한국어, 스페인어 등이 해당된다.
하지만, 일부 국가에서는 오른쪽에서 왼쪽으로 쓰여지고 읽혀지는 언어(Right To Left, RTL)가 사용된다. RTL 언어의 대표적인 예가 아랍어 또는 히브리어 등이 해당된다.
LTR 언어를 사용하는 사람들과 RTL 언어를 사용하는 사람들은 서로 반대되는 방향에 대한 사고방식을 가질 수 있다.
예를 들어, LTR 언어를 사용하는 사람들과 RTL 언어를 사용하는 사람들은 시간의 흐름이 어떻게 연결되었는가에 대한 차이가 있다. 즉, LTR 언어를 사용하는 사람들은 시간이 왼쪽에서 오른쪽으로 흐르는 것으로 시간을 묘사하고, RTL 언어를 사용하는 사람들은 시간이 오른쪽에서 왼쪽으로 흐르는 것으로 시간을 묘사한다.
미러링(mirroring)은 LTR에서 RTL로 또는 그 반대로 UI/UX를 변경하는 것을 말하며, UI/UX의 레이아웃과 그래픽 요소 모두에 영향을 미친다. 따라서, 전자기기를 사용하는 사용자들은 자신이 사용하는 언어의 방향에 맞게 자신에게 익숙한 UI/UX로 변경하는 것이 중요하다.
특히, 차량용 네비게이션의 UI/UX는 사용자 사용 언어 방향에 따라 미러링하는 과정이 차량 운전에 영향을 미칠 수 있다.
먼저, RTL 언어 사용 운전자가 시스템 언어를 LTR 언어로 차량 주행을 시작한 경우에, RTL UX/UI를 적용하기 위해 시스템 설정 진입 후 언어를 변경하는 과정을 거쳐야 한다. 이는 운전자의 차량 운전에 있어서 주의 분산 및 안전에 위협이 될 수 있다.
그리고, 시스템 언어가 RTL 언어로 설정된 차량에 LTR 언어 운전자가 탑승한 경우(카세어링 등)에, RTL 언어는 공용적으로 사용하는 언어가 아니므로 언어 변경을 위한 시스템 설정에 진입하는데 어려움을 겪을 수 있다.
따라서, 차량용 네비게이션은 사용자 사용 언어 방향에 따라 적절한 UI/UX를 운전자가 시스템 설정을 통해 시스템 언어를 변경하는 차량 중심이 아니라, 운전자의 사용 언어를 판단하여 시스템 언어 변경을 용이하게 변경 가능한 운전자 중심의 미러링 가능한 환경이 제공될 필요가 있다.
대한민국 공개특허공보 제10-2014-0075266호
본 발명의 목적은 사용자의 시선 분석을 통해 사용자 사용 언어 방향(즉, RTL 언어 또는 LTR 언어)을 판단하여 사용자에게 적합한 언어 방향에 따른 UI/UX를 적용 또는 변경함으로써, 시스템 언어 설정으로 인해 차량의 주행중 주의 분산 및 안전 위험을 절감하기 위한, 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 장치 및 그 방법을 제공하는데 있다.
본 발명의 일실시예에 따른 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 장치는, 디스플레이 환경 구성 장치를 통해 표시된 화면을 향하는 사용자의 시선을 인식하여 사용자 시선 위치와 사용자 시선 흐름을 추적하기 위한 시선 인식 및 추적부; 상기 추적된 사용자 시선 추적 결과를 분석하여 사용자 사용 언어 방향을 판단하기 위한 시선 분석부; 및 상기 디스플레이 환경 구성 장치에 기 적용된 '설정 언어 방향'과 상기 시선 분석부에 의해 판단된 '사용자 사용 언어 방향'의 비교 결과에 따라, 상기 디스플레이 환경 구성 장치로 디스플레이 환경 미러링에 대한 제어 명령을 전송하기 위한 디스플레이 환경 미러링 제어부;를 포함할 수 있다.
상기 시선 분석부는, 상기 디스플레이 환경 구성 장치를 통해 표시된 화면에서 첫번째 사용자 시선 위치가 우측 상단, 사용자 시선의 움직임 방향이 우측에서 좌측인 경우에, 사용자 사용 언어 방향을 RTL(Right To Left) 언어로 판단하고, 상기 디스플레이 환경 구성 장치를 통해 표시된 화면에서 첫번째 사용자 시선 위치가 좌측 상단, 사용자 시선의 움직임 방향이 좌측에서 우측인 경우에, 사용자 사용 언어 방향을 LTR(Left To Right) 언어로 판단하는 것일 수 있다.
상기 디스플레이 환경 미러링 제어부는, 상기 비교 결과로, 언어 방향이 일치하지 않는 경우에, 상기 시선 분석부에 의해 판단된 '사용자 사용 언어 방향'과 동일한 언어 방향을 기반으로 하는 디스플레이 환경 미러링에 대한 제어 명령을 상기 디스플레이 환경 구성 장치로 전송하는 것일 수 있다.
상기 디스플레이 환경 미러링 제어부는, 상기 비교 결과로, 언어 방향이 일치하지 않는 경우에, 상기 디스플레이 환경 구성 장치에 기 적용된 디스플레이 환경을 변경할지에 대한 사용자 의사를 확인하는 것일 수 있다.
상기 디스플레이 환경 미러링 제어부는, GPS 정보를 이용하여 RTL 언어와 LTR 언어 각각의 대표 언어를 미리 특정하는 것일 수 있다.
상기 디스플레이 환경 구성 장치는, 디스플레이 장치와 HMI(Human Machine Interface) 장치를 포함하고, 상기 디스플레이 장치는, 네비게이션, 클러스터/HUD를 포함하며, 상기 HMI 장치는, CCP 조작부, 모션 입력부를 포함하는 것일 수 있다.
상기 디스플레이 환경 미러링에 대한 제어 명령은, 상기 디스플레이 장치 및 상기 HMI 장치에 포함된 각각의 기기에 개별적 또는 전체적으로 적용되는 것일 수 있다.
한편, 본 발명의 일실시예에 따른 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 방법은, 디스플레이 환경 구성 장치를 통해 표시된 화면을 향하는 사용자의 시선을 인식하여 사용자 시선 위치와 사용자 시선 흐름을 추적하는 단계; 상기 추적된 사용자 시선 추적 결과를 분석하여 사용자 사용 언어 방향을 판단하는 단계; 및 상기 디스플레이 환경 구성 장치에 기 적용된 '설정 언어 방향'과 상기 시선 분석부에 의해 판단된 '사용자 사용 언어 방향'의 비교 결과에 따라, 상기 디스플레이 환경 구성 장치로 디스플레이 환경 미러링에 대한 제어 명령을 전송하는 단계;를 포함할 수 있다.
상기 판단 단계는, 상기 디스플레이 환경 구성 장치를 통해 표시된 화면에서 첫번째 사용자 시선 위치가 우측 상단, 사용자 시선의 움직임 방향이 우측에서 좌측인 경우에, 사용자 사용 언어 방향을 RTL 언어로 판단하고, 상기 디스플레이 환경 구성 장치를 통해 표시된 화면에서 첫번째 사용자 시선 위치가 좌측 상단, 사용자 시선의 움직임 방향이 좌측에서 우측인 경우에, 사용자 사용 언어 방향을 LTR 언어로 판단하는 것일 수 있다.
상기 전송 단계는, 상기 비교 결과로, 언어 방향이 일치하지 않는 경우에, 상기 시선 분석부에 의해 판단된 '사용자 사용 언어 방향'과 동일한 언어 방향을 기반으로 하는 디스플레이 환경 미러링에 대한 제어 명령을 상기 디스플레이 환경 구성 장치로 전송하는 것일 수 있다.
상기 전송 단계는, 상기 비교 결과로, 언어 방향이 일치하지 않는 경우에, 상기 디스플레이 환경 구성 장치에 기 적용된 디스플레이 환경을 변경할지에 대한 사용자 의사를 확인하는 단계;를 포함할 수 있다.
일실시예에 의하면, 상기 추적 단계 이전에, GPS 정보를 이용하여 RTL 언어와 LTR 언어 각각의 대표 언어를 미리 특정하는 단계;를 더 포함할 수 있다.
본 발명은 사용자의 시선 분석을 통해 사용자 사용 언어 방향(즉, RTL 언어 또는 LTR 언어)을 판단하여 사용자에게 적합한 언어 방향에 따른 UI/UX를 적용 또는 변경함으로써 시스템 언어 설정으로 인해 차량의 주행중 주의 분산 및 안전 위험을 절감할 수 있다.
또한, 본 발명은 RTL 언어 혹은 LTR 언어 사용자를 구분하여 사용자에 맞는 UI/UX를 제공 혹은 변경하도록 제안할 수 있다.
또한, 본 발명은 사용자가 주행중 언어 변경을 위한 조작이 불필요하게 되며, 주행 중 사용자의 주의 분산을 줄이고 조작 중 안전 사고의 위험을 절감시킬 수 있다.
또한, 본 발명은 RTL 언어(예, 아랍어)로 설정된 경우에, RTL 언어 이해가 쉽지 않은 사용자가 LTR 언어로 언어 변경을 위한 어려움과 불편함을 최소화할 수 있다.
도 1은 본 발명의 일실시예에 따른 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 장치에 대한 도면,
도 2는 네비게이션 경고 화면을 이용하여 사용자 사용 언어 방향을 변경하는 과정을 설명하는 도면,
도 3은 네비게이션의 메뉴 화면을 이용하여 사용자 사용 언어 방향을 변경하는 과정을 설명하는 도면,
도 4는 디스플레이 환경 미러링 적용 상태를 확인하는 팝업을 나타낸 도면,
도 5는 본 발명의 일실시예에 따른 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 방법에 대한 도면이다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 본 발명의 일실시예에 따른 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 장치에 대한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 장치(이하 '디스플레이 제어 장치'라 함)(100)는, 사용자의 시선 분석을 통해 사용자 사용 언어 방향(즉, RTL 언어 또는 LTR 언어)을 판단하여 사용자에게 적합한 언어 방향에 따라 디스플레이 환경으로 적용 또는 변경함으로써, 시스템 언어 설정으로 인해 차량의 주행중 주의 분산 및 안전 위험을 절감할 수 있게 한다.
즉, 디스플레이 제어 장치(100)는 사용자가 희망하는 언어(language)를 설정한 다음, 설정된 사용자 사용 언어 방향에 따라 사용자에게 적합한 디스플레이 환경을 변경하는 방식이 아니라, 사용자의 시선을 분석함에 따라 사용자 사용 언어 방향을 자동으로 판단하여 사용자에게 적합한 디스플레이 환경을 자동으로 변경하거나, 디스플레이 환경 변경에 대해 사용자에게 제안하는 것이다.
이처럼, 디스플레이 제어 장치(100)는 RTL 언어 또는 LTR 언어를 사용하는 사용자(즉, 운전자)에게 자동으로 사용자 사용 언어 방향에 따라 디스플레이 환경을 자동으로 적용하거나, 디스플레이 환경 변경에 대해 사용자에게 제안할 수 있다.
이에 따라, 디스플레이 제어 장치(100)는 사용자 사용 언어 방향에 따라 적합한 디스플레이 환경을 적용 또는 변경하기 위해, 차량에 탑재되어 있는 디스플레이 환경 구성 장치(200)의 디스플레이 환경 구성에 대한 미러링(mirroring)을 제어한다.
이를 위해, 디스플레이 제어 장치(100)는 시선 인식 및 추적부(110), 시선 분석부(120), 디스플레이 환경 미러링 제어부(130)를 포함한다.
시선 인식 및 추적부(110)는 디스플레이 환경 구성 장치(200)를 통해 표시된 화면을 향하는 사용자의 시선을 인식하여 사용자 시선 위치와 사용자 시선 흐름을 추적한다. 여기서, 시선 인식 및 추적부(110)는 카메라 및 적외선 LED 등을 통해 사용자의 눈동자의 움직임을 감지하고, 이를 이미지 프로세싱을 통해 동공(또는 홍채) 움직임 및 시선 방향을 검출하여 사용자 시선을 인식 및 추적한다.
이를 통해, 시선 인식 및 추적부(110)는 디스플레이 환경 구성 장치(200)를 통해 표시된 화면을 향하는 사용자의 첫번째 시선이 반복적으로 머무는 사용자 시선 위치(즉, 우측 상단 또는 좌측 상단), 사용자 시선의 움직임 방향(즉, 우측에서 좌측, 또는 좌측에서 우측)을 인식 및 추적할 수 있다.
시선 분석부(120)는 시선 인식 및 추적부(110)로부터 전달된 사용자 시선 위치와 사용자 시선 흐름에 대한 '사용자 시선 추적 결과'를 분석하여 '사용자 사용 언어 방향'(즉, RTL 언어 또는 LTR 언어)을 판단한다.
즉, 시선 분석부(120)는 첫번째 사용자 시선 위치가 우측 상단, 사용자 시선의 움직임 방향이 우측에서 좌측일 때, RTL 언어 사용자로 판단한다. 또한, 시선 분석부(120)는 첫번째 사용자 시선 위치가 좌측 상단, 사용자 시선의 움직임 방향이 좌측에서 우측일 때, LTR 언어 사용자로 판단한다.
디스플레이 환경 미러링 제어부(130)는 디스플레이 환경 구성 장치(200)에 기 적용된 '설정 언어 방향(즉, RTL 언어 또는 LTR 언어)'을 알고 있다. 이때, 디스플레이 환경 미러링 제어부(130)는 시선 분석부(120)로부터 전달된 '사용자 사용 언어 방향의 판단 결과'를 디스플레이 환경 구성 장치(200)에 기 적용된 '설정 언어 방향'과 비교한다.
디스플레이 환경 미러링 제어부(130)는 전술한 비교 결과에 따라 디스플레이 환경 구성 장치(200)를 통해 언어 방향 미러링에 대한 사용자 의사를 확인한다. 이때, 디스플레이 환경 미러링 제어부(130)는 시선 분석부(120)로부터 전달된 '언어 방향 판단 결과'와 디스플레이 환경 구성 장치(200)에 기 적용된 '설정 언어 방향'이 일치하지 않는 경우에, 시선 분석부(120)로부터 전달된 '언어 방향 판단 결과'와 동일한 언어 방향을 기반으로 하여 디스플레이 환경 구성 장치(200)의 디스플레이 환경 구성을 변경할지에 대한 사용자 의사를 확인한다.
구체적으로, 디스플레이 환경 미러링 제어부(130)는 언어 방향 판단 결과가 'RTL 언어'이고, 설정 언어 방향이 'LTR 언어'일 경우에, RTL 언어 기반의 디스플레이 환경 구성으로 변경할지에 대해 사용자 의사를 확인한다.
마찬가지로, 디스플레이 환경 미러링 제어부(130)는 언어 방향 판단 결과가 'LTR 언어'이고, 설정 언어 방향이 'RTL 언어'일 경우에, LTR 언어 기반의 디스플레이 환경 구성으로 변경할지에 대해 사용자 의사를 확인한다.
한편, 디스플레이 환경 미러링 제어부(130)는 GPS 정보를 이용하여 RTL 언어 또는 LTR 언어에 해당되는 언어들 중 어느 하나의 대표 언어를 특정할 수 있다. 예를 들어, 아랍어를 주로 사용하는 국가에서는 RTL 언어의 대표 언어를 영어로 특정하고, LTR 언어의 대표 언어를 아랍어로 특정할 수 있다.
따라서, 디스플레이 환경 미러링 제어부(130)는 RTL 언어 또는 LTR 언어에 해당되는 언어들 중 어느 하나의 언어를 선정하는 과정을 생략할 수 있다. 다만, 디스플레이 환경 미러링 제어부(130)는 필요에 따라, RTL 언어 또는 LTR 언어 기반의 디스플레이 환경 구성을 선정한 다음, 선정된 언어 방향에 따라 어느 하나의 언어를 특정하는 과정을 수행할 수도 있다.
그리고, 디스플레이 환경 미러링 제어부(130)는 사용자에 의해 언어 방향 미러링에 대한 동의가 있으면, 디스플레이 환경 미러링에 대한 제어 명령을 디스플레이 환경 구성 장치(200)로 전송한다. 이에 따라, 디스플레이 환경 구성 장치(200)는 언어 방향 판단 결과에 해당되는 언어 방향에 기초하여 디스플레이 환경 구성을 변경하게 된다.
디스플레이 환경 구성 장치(200)는 디스플레이 장치(210)와 HMI(Human Machine Interface) 장치(220)를 포함할 수 있다. 디스플레이 장치(210)는 네비게이션, 클러스터/HUD 등이 있고, HMI 장치(220)는 CCP 조작부, 모션 입력부 등이 있다. 여기서, CCP 조작부는 중앙집중조작 기능으로서, LTR 언어 기반의 디스플레이 환경 구성에서 시계 방향으로 회전하게 하고, RTL 언어 기반의 디스플레이 환경 구성에서 반시계 방향으로 회전하게 한다.
디스플레이 환경 구성 장치(200)는 디스플레이 환경 미러링 제어부(130)로부터 전송된 디스플레이 환경 미러링에 대한 제어 명령을 디스플레이 장치(210)와 HMI 장치(220)에 포함된 각각의 기기에 개별적으로 적용하거나, 전체적으로 적용할 수 있다.
여기서, RTL 언어 기반의 디스플레이 환경 구성은 LTR 언어 기반의 디스플레이 환경 구성의 좌우가 반전된 모습을 나타내고, HMI 조작 방식도 반영된다. 즉, RTL 언어 기반의 디스플레이 환경 구성은 표시 항목의 좌우가 반전되고, 텍스트의 우측 정렬, 그림의 우측 우선 배열 등으로 나타낸다. 이는 통상적으로 RTL 언어에서 사용되는 디스플레이 환경 구성으로 표현된다.
예를 들어, RTL 언어 기반의 디스플레이 환경 구성에서, 아이콘은 텍스트 우측에 위치하고, 버튼은 역순으로 위치한다. 또한, 텍스트는 미러링되지만, 시계와 전화번호(즉, 숫자)는 미러링되지 않는다.
도 2는 네비게이션 경고 화면을 이용하여 사용자 사용 언어 방향을 변경하는 과정을 설명하는 도면이다.
도 2는 디스플레이 장치(210) 중 네비게이션의 경고 화면을 LTR 언어와 RTL 언어로 동시에 표시되는 상황(bi-directional 환경)을 예시로 나타낸다. 여기서, 네비게이션의 경고 화면에서, 좌측 영역(211)은 LTR 언어인 영어로 기재된 경고문구가 표시되고, 우측 영역(212)은 RTL 언어인 아랍어로 기재된 경고문구가 표시된다.
이 경우, 시선 인식 및 추적부(110)는 사용자의 시선을 인식하여 사용자 시선 위치와 사용자 시선 흐름을 추적한다. 시선 분석부(120)는 시선 인식 및 추적부(110)로부터 전달된 사용자 시선 위치와 사용자 시선 흐름에 대한 사용자 시선 추적 결과를 분석하여 사용자 사용 언어 방향을 판단한다.
여기서는 시선 분석부(120)가 사용자 사용 언어 방향을 RTL 언어로 판단하는 경우를 나타낸다. 즉, 시선 인식 및 추적부(110)는 사용자의 시선을 인식 및 추적함에 따라 사용자의 시선이 RTL 언어 기반의 경고문구가 기재된 우측 영역(212)에 사용자의 시선(111)이 머무는 것을 확인하고, 시선 분석부(120)는 사용자의 시선이 우측 영역(212)에 머무는 것을 확인함에 따라 사용자 사용 언어 방향을 RTL 언어로 판단한다.
이에 따라, 디스플레이 환경 미러링 제어부(130)는 시선 분석부(120)로부터 전달된 '언어 방향 판단 결과'와 디스플레이 환경 구성 장치(200)에 기 적용된 '설정 언어 방향'이 일치하지 않는 경우에, 디스플레이 환경 미러링에 대한 제어 명령을 디스플레이 환경 구성 장치(200)로 전송한다.
도 3은 네비게이션의 메뉴 화면을 이용하여 사용자 사용 언어 방향을 변경하는 과정을 설명하는 도면이다.
도 3을 참조하면, 시선 인식 및 추적부(110)는 네비게이션의 메뉴 화면이 디스플레이 장치(210)를 통해 표시될 때, 사용자의 시선(111)을 인식 및 추적함에 따라 사용자의 시선(111)이 메뉴 화면의 우측 상단에 머무르는지 혹은 좌측 상단에 머무르는지를 판단한다. 사용자의 시선(111)이 메뉴 화면의 우측 상단에 머무는 경우에는 사용자 사용 언어 방향이 RTL 언어로 판단하고, 좌측 상단에 머무는 경우에는 사용자 사용 언어 방향이 LTR 언어로 판단한다. 여기서는 사용자의 시선(111)이 네비게이션의 메뉴 화면에서 우측 상단에 머무는 경우를 나타낸다.
시선 분석부(120)는 사용자의 시선(111)이 네비게이션의 메뉴 화면에서 우측 상단에 머무는 것을 확인함에 따라 사용자 사용 언어 방향을 RTL 언어로 판단한다.
이에 따라, 디스플레이 환경 미러링 제어부(130)는 언어 방향 판단 결과가 RTL 언어이고, 설정 언어 방향이 LTR 언어이므로, RTL 언어 기반의 디스플레이 환경으로 변경할지에 대해 사용자의 의사를 확인한다. 이때, 디스플레이 환경 미러링 제어부(130)는 사용자의 의사를 확인함에 따라 RTL 언어 기반의 디스플레이 환경 미러링에 대한 제어 명령을 디스플레이 환경 구성 장치(200)로 전송한다.
디스플레이 환경 구성 장치(200)는 디스플레이 환경 미러링에 대한 제어 명령에 따라 RTL 언어 기반의 디스플레이 환경을 제공하게 된다. 즉, LTR 언어(영어) 기반의 메뉴 화면(213)은 도 3과 같이, 디스플레이 환경 미러링을 통해 RTL 언어(아랍어) 기반의 메뉴 화면(214)으로 변경된다. 이는 RTL 언어의 텍스트 변경, 메뉴 배치의 변경(즉, 우측 우선 정렬), 팝업 형태의 변경, 메뉴 버튼 및 그림 위치의 변경, CCP 조작부의 회전방향의 변경(시계방향→반시계방향) 등이 해당될 수 있다.
아울러, 디스플레이 환경 미러링 제어부(130)는 RTL 언어 기반의 디스플레이 환경이 적용된 이후에 필요에 따라 팝업 또는 음성안내를 통해 사용자의 의사를 문의할 수 있다. 도 4는 디스플레이 환경 미러링 적용 상태를 확인하는 팝업을 나타낸 도면이다. 도 4와 같이, 팝업(215)은 Yes/No 표시 이외에 팝업 타임아웃(예, 10초) 기능이 포함될 수 있으며, 시동 종료까지 다시 표시되지 않을 수 있다.
도 5는 본 발명의 일실시예에 따른 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 방법에 대한 도면이다.
디스플레이 제어 장치(100)는 사용자의 시선을 인식하여 사용자 시선 위치와 사용자 시선 흐름을 추적한다(S301).
이후, 디스플레이 제어 장치(100)는 사용자 시선 추적 결과를 분석하여 사용자 사용 언어 방향(즉, RTL 언어 또는 LTR 언어)을 판단한다(S302). 이때, 디스플레이 제어 장치(100)는 네비게이션의 경고 화면 또는 메뉴 화면에서 사용자의 시선을 인식 및 추적한 결과를 이용하여 사용자 사용 언어 방향을 판단할 수 있다.
그런 다음, 디스플레이 제어 장치(100)는 사용자 사용 언어 방향의 판단 결과와 기 적용된 설정 언어 방향을 비교한다(S303).
이때, 디스플레이 제어 장치(100)는 사용자 사용 언어 방향의 판단 결과와 기 적용된 설정 언어 방향이 일치하지 않으면(S303), UI/UX 미러링에 대해 사용자가 동의하는지를 확인한다(S304). 여기서, 디스플레이 제어 장치(100)는 사용자가 동의하는지를 확인할 때, Yes/No를 확인하는 팝업 형태, 음성인식을 통한 확인 형태가 가능하며, 필요에 따라 사용자가 동의하는 과정을 생략할 수 있다.
또한, 디스플레이 제어 장치(100)는 S304 단계의 경우에 S306 단계 이후에, 디스플레이 환경 미러링 결과를 유지하는지에 대한 사용자 확인 과정으로 변경될 수도 있다.
반면에, 디스플레이 제어 장치(100)는 사용자 사용 언어 방향의 판단 결과와 기 적용된 설정 언어 방향이 일치하면(S303), 기 적용된 디스플레이 환경을 유지한다(S304).
한편, 디스플레이 제어 장치(100)는 디스플레이 환경 미러링에 대해 사용자가 동의하는 경우에(S304), 디스플레이 환경 구성 장치(200)로 디스플레이 환경 미러링에 대한 제어명령을 전송한다(S306).
반면에, 디스플레이 제어 장치(100)는 디스플레이 환경 미러링에 대해 사용자가 동의하지 않는 경우에(S304), 기 적용된 디스플레이 환경을 유지한다(S304).
일부 실시 예에 의한 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
비록 상기 설명이 다양한 실시예들에 적용되는 본 발명의 신규한 특징들에 초점을 맞추어 설명되었지만, 본 기술 분야에 숙달된 기술을 가진 사람은 본 발명의 범위를 벗어나지 않으면서도 상기 설명된 장치 및 방법의 형태 및 세부 사항에서 다양한 삭제, 대체, 및 변경이 가능함을 이해할 것이다. 따라서, 본 발명의 범위는 상기 설명에서보다는 첨부된 특허청구범위에 의해 정의된다. 특허청구범위의 균등 범위 안의 모든 변형은 본 발명의 범위에 포섭된다.
100 : 디스플레이 제어 장치 110 : 시선 인식 및 추적부
120 : 시선 분석부 130 : 디스플레이 환경 미러링 제어부
200 : 디스플레이 환경 구성 장치 210 : 디스플레이 장치
220 : HMI 장치

Claims (12)

  1. 디스플레이 환경 구성 장치를 통해 표시된 화면을 향하는 사용자의 시선을 인식하여 사용자 시선 위치와 사용자 시선 흐름을 추적하기 위한 시선 인식 및 추적부;
    상기 추적된 사용자 시선 추적 결과를 분석하여 사용자 사용 언어 방향을 판단하기 위한 시선 분석부; 및
    상기 디스플레이 환경 구성 장치에 기 적용된 '설정 언어 방향'과 상기 시선 분석부에 의해 판단된 '사용자 사용 언어 방향'의 비교 결과에 따라, 상기 디스플레이 환경 구성 장치로 디스플레이 환경 미러링에 대한 제어 명령을 전송하기 위한 디스플레이 환경 미러링 제어부;
    를 포함하는 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 장치.
  2. 제 1 항에 있어서,
    상기 시선 분석부는,
    상기 디스플레이 환경 구성 장치를 통해 표시된 화면에서 첫번째 사용자 시선 위치가 우측 상단, 사용자 시선의 움직임 방향이 우측에서 좌측인 경우에, 사용자 사용 언어 방향을 RTL(Right To Left) 언어로 판단하고,
    상기 디스플레이 환경 구성 장치를 통해 표시된 화면에서 첫번째 사용자 시선 위치가 좌측 상단, 사용자 시선의 움직임 방향이 좌측에서 우측인 경우에, 사용자 사용 언어 방향을 LTR(Left To Right) 언어로 판단하는 것인 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 장치.
  3. 제 1 항에 있어서,
    상기 디스플레이 환경 미러링 제어부는,
    상기 비교 결과로, 언어 방향이 일치하지 않는 경우에, 상기 시선 분석부에 의해 판단된 '사용자 사용 언어 방향'과 동일한 언어 방향을 기반으로 하는 디스플레이 환경 미러링에 대한 제어 명령을 상기 디스플레이 환경 구성 장치로 전송하는 것인 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 장치.
  4. 제 1 항에 있어서,
    상기 디스플레이 환경 미러링 제어부는,
    상기 비교 결과로, 언어 방향이 일치하지 않는 경우에, 상기 디스플레이 환경 구성 장치에 기 적용된 디스플레이 환경을 변경할지에 대한 사용자 의사를 확인하는 것인 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 장치.
  5. 제 1 항에 있어서,
    상기 디스플레이 환경 미러링 제어부는,
    GPS 정보를 이용하여 RTL 언어와 LTR 언어 각각의 대표 언어를 미리 특정하는 것인 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 장치.
  6. 제 1 항에 있어서,
    상기 디스플레이 환경 구성 장치는,
    디스플레이 장치와 HMI(Human Machine Interface) 장치를 포함하고, 상기 디스플레이 장치는, 네비게이션, 클러스터/HUD를 포함하며, 상기 HMI 장치는, CCP 조작부, 모션 입력부를 포함하는 것인 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 장치.
  7. 제 1 항에 있어서,
    상기 디스플레이 환경 미러링에 대한 제어 명령은,
    상기 디스플레이 장치 및 상기 HMI 장치에 포함된 각각의 기기에 개별적 또는 전체적으로 적용되는 것인 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 장치.
  8. 디스플레이 환경 구성 장치를 통해 표시된 화면을 향하는 사용자의 시선을 인식하여 사용자 시선 위치와 사용자 시선 흐름을 추적하는 단계;
    상기 추적된 사용자 시선 추적 결과를 분석하여 사용자 사용 언어 방향을 판단하는 단계; 및
    상기 디스플레이 환경 구성 장치에 기 적용된 '설정 언어 방향'과 상기 시선 분석부에 의해 판단된 '사용자 사용 언어 방향'의 비교 결과에 따라, 상기 디스플레이 환경 구성 장치로 디스플레이 환경 미러링에 대한 제어 명령을 전송하는 단계;
    를 포함하는 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 방법.
  9. 제 8 항에 있어서,
    상기 판단 단계는,
    상기 디스플레이 환경 구성 장치를 통해 표시된 화면에서 첫번째 사용자 시선 위치가 우측 상단, 사용자 시선의 움직임 방향이 우측에서 좌측인 경우에, 사용자 사용 언어 방향을 RTL 언어로 판단하고,
    상기 디스플레이 환경 구성 장치를 통해 표시된 화면에서 첫번째 사용자 시선 위치가 좌측 상단, 사용자 시선의 움직임 방향이 좌측에서 우측인 경우에, 사용자 사용 언어 방향을 LTR 언어로 판단하는 것인 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 방법.
  10. 제 8 항에 있어서,
    상기 전송 단계는,
    상기 비교 결과로, 언어 방향이 일치하지 않는 경우에, 상기 시선 분석부에 의해 판단된 '사용자 사용 언어 방향'과 동일한 언어 방향을 기반으로 하는 디스플레이 환경 미러링에 대한 제어 명령을 상기 디스플레이 환경 구성 장치로 전송하는 것인 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 방법.
  11. 제 8 항에 있어서,
    상기 전송 단계는,
    상기 비교 결과로, 언어 방향이 일치하지 않는 경우에, 상기 디스플레이 환경 구성 장치에 기 적용된 디스플레이 환경을 변경할지에 대한 사용자 의사를 확인하는 단계;를 포함하는 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 방법.
  12. 제 8 항에 있어서,
    상기 추적 단계 이전에, GPS 정보를 이용하여 RTL 언어와 LTR 언어 각각의 대표 언어를 미리 특정하는 단계;
    를 더 포함하는 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 방법.
KR1020170171408A 2017-12-13 2017-12-13 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 장치 및 그 방법 KR102518653B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170171408A KR102518653B1 (ko) 2017-12-13 2017-12-13 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170171408A KR102518653B1 (ko) 2017-12-13 2017-12-13 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20190078690A true KR20190078690A (ko) 2019-07-05
KR102518653B1 KR102518653B1 (ko) 2023-04-06

Family

ID=67225025

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170171408A KR102518653B1 (ko) 2017-12-13 2017-12-13 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102518653B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000071286A (ko) * 1999-02-26 2000-11-25 포만 제프리 엘 양방향 네트워크 언어 지원
KR20140041570A (ko) * 2011-06-24 2014-04-04 톰슨 라이센싱 사용자의 눈 이동으로 동작가능한 컴퓨터 장치 및 컴퓨터 장치를 동작하는 방법
KR20140075266A (ko) 2012-12-11 2014-06-19 한국전자통신연구원 사용자 시선 방향에 기반한 콘텐츠 분석 및 활용 방법
KR20170092167A (ko) * 2016-02-02 2017-08-11 한국전자통신연구원 시선 추적을 이용한 제어 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000071286A (ko) * 1999-02-26 2000-11-25 포만 제프리 엘 양방향 네트워크 언어 지원
KR20140041570A (ko) * 2011-06-24 2014-04-04 톰슨 라이센싱 사용자의 눈 이동으로 동작가능한 컴퓨터 장치 및 컴퓨터 장치를 동작하는 방법
KR20140075266A (ko) 2012-12-11 2014-06-19 한국전자통신연구원 사용자 시선 방향에 기반한 콘텐츠 분석 및 활용 방법
KR20170092167A (ko) * 2016-02-02 2017-08-11 한국전자통신연구원 시선 추적을 이용한 제어 장치

Also Published As

Publication number Publication date
KR102518653B1 (ko) 2023-04-06

Similar Documents

Publication Publication Date Title
US11409497B2 (en) Hands-free navigation of touch-based operating systems
US10585288B2 (en) Computer display device mounted on eyeglasses
EP2996015B1 (en) Method to use augmented reality to function as hmi display
US9703373B2 (en) User interface control using gaze tracking
US20180210544A1 (en) Head Tracking Based Gesture Control Techniques For Head Mounted Displays
KR20150076627A (ko) 차량 운전 학습 시스템 및 방법
KR20180126707A (ko) 홀로그램 표시 제어 장치 및 방법, 그리고 차량 시스템
JP6516989B2 (ja) ヘッドマウント装置を介する表示方法
US20150138084A1 (en) Head-Tracking Based Selection Technique for Head Mounted Displays (HMD)
CN103885743A (zh) 结合注视跟踪技术的语音文本输入方法和系统
KR20150032019A (ko) 시선 추적 기반의 사용자 인터페이스 방법 및 그 장치
EP2741171A1 (en) Method, human-machine interface and vehicle
JP2017508193A (ja) ユーザ設定可能な発話コマンド
US20210117048A1 (en) Adaptive assistive technology techniques for computing devices
US11915671B2 (en) Eye gaze control of magnification user interface
JP2013136131A (ja) ロボットの制御方法、ロボットの制御装置、及びロボット
US20140368432A1 (en) Wearable smart glasses as well as device and method for controlling the same
US20180136904A1 (en) Electronic device and method for controlling electronic device using speech recognition
KR20190078690A (ko) 사용자 사용 언어 방향에 따라 디스플레이 환경을 구성하는 디스플레이 제어 장치 및 그 방법
JP2016514274A (ja) ディスプレイ装置に表示された文字の色相変更装置及び方法
KR20140127146A (ko) 디스플레이 장치 및 그의 제어 방법
WO2016006070A1 (ja) 携帯情報端末装置及びそれと連携するヘッドマウントディスプレイ
CN109703495A (zh) 基于生物识别的辅助驾驶方法及装置、介质和电子设备
JP2017109656A (ja) 情報生成装置、情報提示システムおよび情報生成方法
JP6545415B1 (ja) 編集装置、編集方法、編集プログラム、および、編集システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant