KR102446387B1 - 전자 장치 및 그의 텍스트 제공 방법 - Google Patents

전자 장치 및 그의 텍스트 제공 방법 Download PDF

Info

Publication number
KR102446387B1
KR102446387B1 KR1020170161962A KR20170161962A KR102446387B1 KR 102446387 B1 KR102446387 B1 KR 102446387B1 KR 1020170161962 A KR1020170161962 A KR 1020170161962A KR 20170161962 A KR20170161962 A KR 20170161962A KR 102446387 B1 KR102446387 B1 KR 102446387B1
Authority
KR
South Korea
Prior art keywords
text
user
windshield
gaze
camera
Prior art date
Application number
KR1020170161962A
Other languages
English (en)
Other versions
KR20190069633A (ko
Inventor
원영민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170161962A priority Critical patent/KR102446387B1/ko
Priority to CN201880077079.4A priority patent/CN111727132B/zh
Priority to PCT/KR2018/011818 priority patent/WO2019107730A1/ko
Priority to EP18883765.2A priority patent/EP3666579A4/en
Priority to US16/754,611 priority patent/US11440408B2/en
Publication of KR20190069633A publication Critical patent/KR20190069633A/ko
Application granted granted Critical
Publication of KR102446387B1 publication Critical patent/KR102446387B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B60K35/10—
    • B60K35/23—
    • B60K35/28—
    • B60K35/285—
    • B60K35/60—
    • B60K35/654—
    • B60K35/81—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00—Dashboards
    • B60K37/02—Arrangement of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • B60K2360/149—
    • B60K2360/163—
    • B60K2360/164—
    • B60K2360/166—
    • B60K2360/167—
    • B60K2360/177—
    • B60K2360/178—
    • B60K2360/21—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/20—Optical features of instruments
    • B60K2370/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2370/00—Details of arrangements or adaptations of instruments specially adapted for vehicles, not covered by groups B60K35/00, B60K37/00
    • B60K2370/50—Control arrangements; Data network features
    • B60K2370/52—Control of displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Abstract

전자 장치가 개시된다. 본 전자 장치는 운송 수단의 윈드실드에 이미지를 표시하는 디스플레이, 운송 수단에 탑승한 사용자를 촬영하기 위한 제1 카메라, 운송 수단의 외부를 촬영하기 위한 제2 카메라 및 제2 카메라를 통해 촬영된 이미지에 포함된 텍스트를 다른 언어로 번역하고, 번역된 텍스트를 윈드실드에 표시하도록 디스플레이를 제어하는 프로세서를 포함하며, 프로세서는 운송 수단의 주행 속도 및 제1 카메라를 통해 촬영된 사용자의 시선에 기초하여, 윈드실드의 서로 다른 영역에 번역된 텍스트를 표시한다.

Description

전자 장치 및 그의 텍스트 제공 방법 {ELECTRONIC APPARATUS AND METHOD FOR PROVIDING A TEXT THEREOF}
본 개시는 전자 장치 및 그의 텍스트 제공 방법에 관한 것으로, 더욱 상세하게는 운송 수단에 마련된 윈드실드에 텍스트를 표시하는 전자 장치 및 그의 텍스트 제공 방법에 관한 것이다.
최근 전자 기술의 발전으로, 대부분의 차량에는 내비게이션이 구비되어 있으며, 사용자는 내비게이션을 통해 목적지까지의 길 안내를 제공받을 수 있게 되었다.
하지만, 내비게이션에는 모든 건물, 상점, 식당 등이 표시되어 있기 않기 때문에, 사용자는 다소 간의 불편함을 느끼기도 하였다. 특히, 사용자는 자신이 이해하지 못하는 언어를 사용하는 국가에서 차량을 운전할 때, 내비게이션만으로는 자신이 원하는 곳을 찾을 수 없는 경우도 있다.
이에 따라, 사용자가 차량을 운전할 때, 그 주변에 존재하는 텍스트에 대한 정보를 제공하기 위한 방안이 모색이 요청된다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 운송 수단 주변제 존재하는 텍스트를 번역하여 운송 수단의 윈드실드에 표시하되, 운송 수단의 이동 속도에 따라 윈드실드의 서로 다른 영역에 번역된 텍스트를 제공할 수 있는 전자 장치 및 그의 텍스트 제공 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 운송 수단에 구비된 전자 장치는 상기 운송 수단의 윈드실드(windshield)에 이미지를 표시하는 디스플레이, 상기 운송 수단에 탑승한 사용자를 촬영하기 위한 제1 카메라, 상기 운송 수단의 외부를 촬영하기 위한 제2 카메라 및 상기 제2 카메라를 통해 촬영된 이미지에 포함된 텍스트를 다른 언어로 번역하고, 상기 번역된 텍스트를 상기 윈드실드에 표시하도록 상기 디스플레이를 제어하는 프로세서를 포함하며, 상기 프로세서는 상기 운송 수단의 주행 속도 및 상기 제1 카메라를 통해 촬영된 상기 사용자의 시선에 기초하여 상기 윈드실드의 서로 다른 영역에 상기 번역된 텍스트를 표시한다.
여기에서, 상기 프로세서는 상기 주행 속도가 기설정된 속도보다 느린 경우, 상기 제1 카메라를 통해 촬영된 상기 사용자의 시선을 검출하고, 상기 사용자의 시선에 기초하여 결정된 상기 윈드실드의 영역에 상기 번역된 텍스트를 표시할 수 있다.
또한, 상기 프로세서는 상기 검출된 사용자의 시선에 기초하여 상기 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 상기 사용자의 시선이 향하는 텍스트를 판단하고, 상기 판단된 텍스트를 다른 언어로 번역하고, 상기 윈드실드에서 상기 사용자의 시선이 향하는 영역에 상기 번역된 텍스트를 표시할 수 있다.
그리고, 상기 프로세서는 상기 사용자의 시선이 변경되면, 상기 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 상기 변경된 사용자의 시선이 향하는 텍스트를 판단하고, 상기 판단된 텍스트를 다른 언어로 번역하고, 상기 윈드실드에서 상기 변경된 사용자의 시선이 향하는 영역에 상기 번역된 텍스트를 표시할 수 있다.
한편, 상기 프로세서는 상기 주행 속도가 기설정된 속도 이상인 경우, 상기 사용자의 시선을 검출함이 없이 상기 윈드실드의 기설정된 영역에 상기 번역된 텍스트를 표시할 수 있다.
여기에서, 상기 프로세서는 상기 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 상기 윈드실드의 기설정된 영역에 투과되는 텍스트를 판단하고, 상기 판단된 텍스트를 다른 언어로 번역하고, 상기 윈드실드의 기설정된 영역에 상기 번역된 텍스트를 표시할 수 있다.
한편, 상기 프로세서는 상기 번역된 텍스트 중에서 사용자로부터 입력된 텍스트와 매칭되는 텍스트가 존재하는 경우, 상기 매칭되는 텍스트가 존재함을 나타내기 위한 피드백을 제공할 수 있다.
한편, 본 발명의 일 실시 예에 따른 운송 수단에 구비된 전자 장치의 텍스트 제공 방법은 제1 카메라를 통해 상기 운송 수단에 탑승한 사용자를 촬영하는 단계, 제2 카메라를 통해 상기 운송 수단의 외부를 촬영하는 단계 및 상기 제2 카메라를 통해 촬영된 이미지에 포함된 텍스트를 다른 언어로 번역하고, 상기 번역된 텍스트를 상기 운송 수단의 윈드실드에 표시하는 단계를 포함하며, 상기 표시하는 단계는 상기 운송 수단의 주행 속도 및 상기 제1 카메라를 통해 촬영된 상기 사용자의 시선에 기초하여, 상기 윈드실드의 서로 다른 영역에 상기 번역된 텍스트를 표시한다.
여기에서, 상기 표시하는 단계는 상기 주행 속도가 기설정된 속도보다 느린 경우, 상기 제1 카메라를 통해 촬영된 상기 사용자의 시선을 검출하고, 상기 사용자의 시선에 기초하여 결정된 상기 윈드실드의 영역에 상기 번역된 텍스트를 표시할 수 있다.
또한, 상기 표시하는 단계는 상기 검출된 사용자의 시선에 기초하여 상기 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 상기 사용자의 시선이 향하는 텍스트를 판단하고, 상기 판단된 텍스트를 다른 언어로 번역하고, 상기 윈드실드에서 상기 사용자의 시선이 향하는 영역에 상기 번역된 텍스트를 표시할 수 있다.
그리고, 상기 표시하는 단계는 상기 사용자의 시선이 변경되면, 상기 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 상기 변경된 사용자의 시선이 향하는 텍스트를 판단하고, 상기 판단된 텍스트를 다른 언어로 번역하고, 상기 윈드실드에서 상기 변경된 사용자의 시선이 향하는 영역에 상기 번역된 텍스트를 표시할 수 있다.
한편, 상기 표시하는 단계는 상기 주행 속도가 기설정된 속도 이상인 경우, 상기 사용자의 시선을 검출함이 없이 상기 윈드실드의 기설정된 영역에 상기 번역된 텍스트를 표시할 수 있다.
여기에서, 상기 표시하는 단계는 상기 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 상기 윈드실드의 기설정된 영역에 투과되는 텍스트를 판단하고, 상기 판단된 텍스트를 다른 언어로 번역하고, 상기 윈드실드의 기설정된 영역에 상기 번역된 텍스트를 표시할 수 있다.
한편, 본 발명에 따른 텍스트 제공 방법은 상기 번역된 텍스트 중에서 사용자로부터 입력된 텍스트와 매칭되는 텍스트가 존재하는 경우, 상기 매칭되는 텍스트가 존재함을 나타내기 위한 피드백을 제공하는 단계를 더 포함할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 운송 수단의 외부에 존재하는 텍스트를 실시간으로 번역하여 윈드실드에 표시한다는 점에서, 사용자가 자신이 이해하지 못하는 언어를 사용하는 지역에서 운송 수단을 운전할 때에도 주행에 대한 편의를 제공받을 수 있다. 특히, 운송 수단의 이동 속도에 따라, 번역된 텍스트가 윈드실드의 서로 다른 영역에 표시된다는 점에서, 사용자는 운전에 방해를 받지 않으면서도 다양한 정보를 제공받을 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면,
도 2는 본 발명의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도,
도 3 및 도 4는 본 발명의 다양한 실시 예에 따라 투과 영역을 판단하는 방법을 설명하기 위한 도면들,
도 5 내지 도 7은 본 발명의 다양한 실시 예에 따라 번역된 텍스트를 제공하는 방법을 설명하기 위한 도면들,
도 8은 본 발명의 일 실시 예에 따라 사용자로부터 텍스트를 입력받는 방법을 설명하기 위한 도면,
도 9 및 도 10은 본 발명의 다양한 실시 예에 따라 입력된 텍스트와 매칭되는 텍스트를 제공하는 방법을 설명하기 위한 도면들,
도 11은 본 발명의 일 실시 예에 따른 전자 장치를 구비한 운송 수단의 구성을 개략적으로 도시한 블록도, 그리고
도 12는 본 발명의 일 실시 예에 따른 텍스트 제공 방법을 설명하기 위한 흐름도이다.
이하에서 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.
본 개시에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 개시에서, 운송 수단(vehicle)은 사람이 탑승하거나 화물이 적재되어 이동할 수 있는 운송 수단으로서, 예를 들어, 차량, 비행기, 오토바이, (전기) 자전거, 전동휠, 선박 또는 기차 등이 있을 수 있다. 또한, 운송 수단이 차량인 경우, 차량은 소형, 중형, 대형, 이륜 및 특수 차량을 포함할 수 있으며, 승용, 승합, 트럭, 버스 및 화물 차량 등을 포함할 수 있다. 또한, 본 개시의 사용자는 운송 수단에 탑승한 사람으로, 예를 들어, 운전자, 조정사, 기관사 또는 항해사 등과 같이 운송 수단을 운전 또는 조정하는 사람이거나, 운송 수단에 탑승한 동승자일 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 전자 장치(100)는 운송 수단(10)에 탑재될 수 있다. 이 경우, 전자 장치(100)는 운송 수단(10)에 구비된 별도의 시스템일 수 있고, 또는 ADAS(advanced driver assist system)와 같은 보조 시스템일 수도 있고, 이러한 보조 시스템의 일부일 수도 있다. 또한, 전자 장치(100)는 운송 수단(10)의 운전과 관련된 다양한 기능 등을 전자적으로 제어하는 ECU(electronic control unit)와 같은 제어 장치일 수도 있고, 이러한 제어 장치의 일부일 수도 있다.
전자 장치(100)는 운송 수단(10)의 윈드실드(windshield)(11)(즉, 운송 수단(10)의 프런트 글래스(front glass))에 다양한 화면을 표시할 수 있다.
특히, 전자 장치(100)는 운송 수단(10)의 외부를 촬영한 이미지에 포함된 텍스트를 사용자가 이해할 수 있는 언어로 번역하고, 번역된 텍스트를 윈드실드에 표시할 수 있다.
이때, 전자 장치(100)는 운송 수단(10)의 이동 속도에 따라, 사용자가 물체에 표시된 텍스트를 보았을 때 해당 텍스트가 윈드실드에서 투과되어 보이는 영역에 번역된 텍스트를 표시하거나, 사용자의 시선과는 무관하게 윈드실드의 특정한 영역에 번역된 텍스트를 표시할 수 있다.
이와 같이, 본 발명의 다양한 실시 예에 따르면, 운송 수단(10)의 외부에 존재하는 텍스트를 실시간으로 번역하여 윈드실드에 표시한다는 점에서, 사용자가 자신이 이해하지 못하는 언어를 사용하는 지역에서 운송 수단(10)을 운전할 때에도 주행에 대한 편의를 제공받을 수 있다.
특히, 운송 수단(10)의 이동 속도에 따라, 번역된 텍스트가 윈드실드의 서로 다른 영역에 표시된다는 점에서, 사용자는 운전에 방해를 받지 않으면서도 다양한 정보를 제공받을 수 있게 된다.
이하에서는 본 발명의 다양한 실시 예에 따라 윈드실드에 텍스트를 표시하는 방법에 대해 구체적으로 설명하도록 한다.
도 2는 본 발명의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 2를 참조하면, 전자 장치(100)는 디스플레이(110), 제1 카메라(120), 제2 카메라(130) 및 프로세서(140)를 포함한다.
디스플레이(110)는 운송 수단(10)의 윈드실드에 이미지를 표시한다. 특히, 디스플레이(110)는 텍스트를 포함하는 이미지를 운송 수단(10)의 윈드실드에 표시할 수 있다.
여기에서, 텍스트는 운송 수단(10)의 외부를 촬영한 이미지에 포함된 텍스트가 사용자가 이해 가능한 언어로 번역된 텍스트일 수 있다.
이를 위해, 디스플레이(110)는 HUD(Head Up Display)로 구현되어, 윈드실드에 영상을 투사하여 화면을 표시할 수 있다. 뿐만 아니라, 디스플레이(110)는 운송 수단(10)의 윈드실드에 배치된 투명 디스플레이로 구현될 수도 있다.
제1 카메라(120)는 운송 수단(10)에 탑승한 사용자를 촬영한다. 예를 들어, 제1 카메라(120)는 윈드실드의 상측 부분에 위치하여, 운송 수단(10)의 내부 방향으로 촬영을 수행할 수 있다. 이에 따라, 제1 카메라(120)는 운송 수단(10)에 탑승한 사용자를 촬영할 수 있다. 이하에서는 설명의 제1 카메라(120)를 통해 촬영된 이미지를 후방 이미지라 한다.
제2 카메라(130)는 운송 수단(10)의 외부를 촬영한다. 구체적으로, 제2 카메라(130)는 윈드실드의 상측 부분에 위치하여, 운송 수단(10)의 외부 방향으로 촬영을 수행할 수 있다. 즉, 제2 카메라(130)는 제1 카메라(120)와 같은 위치에 배치되나, 제1 카메라(120)와는 반대 방향으로 촬영을 수행할 수 있다. 이에 따라, 제2 카메라(130)는 운송 수단(10)의 전방에 존재하는 다양한 물체를 촬영할 수 있다. 이하에서는 설명의 제2 카메라(130)를 통해 촬영된 이미지를 전방 이미지라 한다.
여기에서, 물체는 외부 환경에 존재하는 표지판, 건물의 간판 등을 포함할 수 있다.
프로세서(140)는 전자 장치(100)의 전반적인 동작을 제어한다.
먼저, 프로세서(140)는 제1 및 제2 카메라(120, 130)를 통해 촬영된 이미지를 이용하여, 위드실드 상에서 물체가 투과되는 영역을 판단할 수 있다. 이하에서, 설명의 편의를 위해 물체가 투과되는 영역을 투과 영역이라 한다.
이를 위해, 프로세서(140)는 제1 카메라(120)를 통해 촬영된 이미지 즉, 후방 이미지에서 사용자를 검출하고, 사용자의 3차원 공간 상의 좌표를 획득할 수 있다.
구체적으로, 프로세서(140)는 후방 이미지에서 에지(edge)를 검출하여 물체를 식별하고, 해당 물체가 사람의 얼굴, 형상 등에 해당하는지를 판단하여 후방 이미지에서 사용자를 검출할 수 있다. 그리고, 제1 카메라(120)가 뎁스 카메라로 구현되는 경우, 프로세서(140)는 후방 이미지를 이용하여 제1 카메라(120)가 위치한 지점을 기준으로 사용자와의 거리, 각도 및 방향 등을 검출하여, 사용자의 3차원 공간 상의 좌표 값을 획득할 수 있다.
하지만, 상술한 방법은 일 예일 뿐이고, 사용자를 검출하고 검출된 사용자의 좌표 값을 획득하기 위해 다양한 알고리즘이 이용될 수 있음은 물론이다.
한편, 프로세서(140)는 사용자의 시선을 검출할 수 있다. 이를 위해, 제1 카메라(120)는 사용자에게 빛을 방출할 수 있는 적어도 하나의 발광 소자(가령, IR LED 등)를 포함할 수 있다.
이 경우, 프로세서(140)는 후방 이미지에서 사용자의 눈을 검출하고, 후방 이미지에서 발광 소자로부터 방출된 빛이 사용자의 눈에서 반사된 위치를 감지하여 사용자의 시선을 검출할 수 있다.
예를 들어, 프로세서(140)는 사용자의 눈에서 동공을 검출하고, 발광 소자에서 방출된 빛이 사용자의 각막에서 반사되는 위치를 판단할 수 있다. 그리고, 프로세서(140)는 동공의 중심 위치와 각막에서 빛이 반사된 위치 사이의 상대적인 위치 관계를 이용하여 눈의 초기 위치를 설정할 수 있다. 이때, 프로세서(140)는 사용자가 정면을 바라볼 때를 기준으로, 눈의 초기 위치를 설정할 수 있다. 여기에서, 사용자가 정면을 바라보는지 여부는 홍채를 기준으로 좌측 및 우측의 흰자위(즉, 공막)가 눈에서 차지하는 비율 등에 따라 결정될 수 있다.
한편, 사용자의 위치는 일정하게 유지되면서 시선만 변경되는 경우, 각막에서 반사되는 빛의 위치는 변경되지 않지만, 동공 중심의 위치는 변경된다. 이에 따라, 프로세서(140)는 두 지점 사이의 차이를 초기 위치에서의 동공의 중심 위치와 빛이 반사된 위치 사이의 차이와 비교하여, 사용자의 시선을 판단할 수 있다.
하지만, 상술한 방법은 일 예일 뿐이고, 사용자의 시선 추적을 위해 다양한 시선 추적 알고리즘이 이용될 수 있음은 물론이다.
또한, 프로세서(140)는 제2 카메라(130)를 통해 촬영된 이미지 즉, 전방 이미지에서 물체를 검출하고, 물체의 3차원 공간 상의 좌표를 획득할 수 있다.
구체적으로, 프로세서(140)는 전방 이미지에서 에지를 검출하여 물체를 식별할 수 있다. 그리고, 제2 카메라(130)가 뎁스 카메라로 구현되는 경우, 프로세서(140)는 전방 이미지를 이용하여 제2 카메라(130)가 위치한 지점을 기준으로 물체와의 거리, 각도 및 방향 등을 검출하여, 물체의 3차원 공간 상의 좌표 값을 획득할 수 있다.
하지만, 상술한 방법은 일 예일 뿐이고, 물체를 검출하고 검출된 물체의 좌표 값을 획득하기 위해 다양한 알고리즘이 이용될 수 있음은 물론이다.
한편, 프로세서(140)는 사용자 및 물체의 좌표 값을 이용하여, 윈드실드 상에서 물체가 투과되어 보이는 영역 즉, 투과 영역을 판단할 수 있다.
먼저, 프로세서(140)는 운송 수단(10)의 외부에 존재하는 적어도 하나의 물체 중에서 사용자가 바라보는 물체가 윈드실드 상에서 투과되어 보이는 영역을 판단할 수 있다. 즉, 프로세서(140)는 사용자의 시선을 고려하여, 사용자가 현재 바라보고 있는 물체가 윈드실드 상에서 투과되는 영역을 판단할 수 있다.
예를 들어, 도 3과 같이, 제1 및 제2 카메라(120, 130)가 설치된 위치를 원점으로 보고, 사용자(31)의 위치를 L1(x1, y1, z1), 제1 물체(32)의 위치를 L2(x2, y2, z2), 제2 물체(33)의 위치를 L3(x3, y3, z3)로 가정한다.
이 경우, 프로세서(140)는 사용자의 시선에 기초하여 사용자가 바라보고 있는 물체를 판단하고, 사용자가 바라보고 있는 물체가 윈드실드 상에서 투과되어 보이는 영역을 판단할 수 있다.
예를 들어, 도 3과 같이, L1 지점을 기준으로 사용자의 시선(34)이 향하는 방향으로 사용자의 시야각을 고려한 일정한 각도를 갖는 2 개의 직선을 그렸을 때, 2 개의 직선 사이에 제2 물체(33)가 존재하게 된다. 이에 따라, 프로세서(140)는 사용자가 제2 물체(33)를 바라보고 있는 것으로 판단할 수 있다.
그리고, 프로세서(140)는 L1과 L3 지점을 연결하는 직선을 결정하고, 3차원 공간 상에서 윈드실드(11)가 형성하는 면과 해당 직선이 만나는 영역 T을 사용자가 바라보는 제2 물체(33)가 윈드실드(11) 상에서 투과되어 보이는 영역으로 판단할 수 있다. 여기에서, T는 물체의 크기와 사용자와 물체 간의 거리 등에 따라 면과 직선이 만나는 지점을 기준으로 일정 거리 이내의 영역이 될 수 있다.
한편, 프로세서(140)는 사용자의 시선을 별도로 고려하지 않고 윈드실드 상에서 물체가 투과되는 영역을 판단하고, 해당 영역이 윈드실드의 기설정된 영역 내에 속하는지를 판단할 수도 있다.
여기에서, 사용자의 시선을 고려하지 않는다는 것은 실제 사용자가 바라보고 있는 방향을 고려하지 않고 사용자가 전방을 바라보고 있는 것으로 가정하여, 윈드실드 상에서 물체가 투과되는 영역을 판단하는 것을 의미할 수 있다. 그리고, 기설정된 영역은 윈드실드의 가운데를 기준으로 일정 거리 이내의 영역을 의미할 수 있다.
예를 들어, 도 4와 같이, 제1 및 제2 카메라(120, 130)가 설치된 위치를 원점으로 보고, 사용자(41)의 위치를 L1(x1, y1, z1), 제1 물체(42)의 위치를 L2(x2, y2, z2), 제2 물체(43)의 위치를 L3(x3, y3, z3)로 가정한다.
이 경우, 프로세서(140)는 사용자가 정면 방향을 바라보고 있는 것으로 가정하고, 사용자의 위치를 기준으로 물체가 윈드실드 상에서 투과되는 영역을 판단할 수 있다.
예를 들어, 프로세서(140)는 L1과 L2 지점을 연결하는 직선을 결정하고, 3차원 공간 상에서 윈드실드(11)가 형성하는 면과 해당 직선이 만나는 영역 T1을 제1 물체(42)가 정면을 바라보는 사용자에게 윈드실드 상에서 투과되어 보이는 영역으로 판단할 수 있다. 여기에서, T1은 물체의 크기와 사용자와 물체 간의 거리 등에 따라 면과 직선이 만나는 지점을 기준으로 일정 거리 이내의 영역이 될 수 있다.
또한, 프로세서(140)는 L1과 L3 지점을 연결하는 직선을 결정하고 3차원 공간 상에서 윈드실드(11)가 형성하는 면과 해당 직선이 만나는 영역 T2를 제2 물체(43)가 정면을 바라보는 사용자에게 윈드실드 상에서 투과되어 보이는 영역으로 판단할 수 있다. 여기에서, T2는 물체의 크기와 사용자와 물체 간의 거리 등에 따라 면과 직선이 만나는 지점을 기준으로 일정 거리 이내의 영역이 될 수 있다.
그리고, 프로세서(140)는 각 물체에 대한 투과 영역이 윈드실드의 기설정된 영역 내에 존재하는지를 판단할 수 있다.
예를 들어, 도 4와 같이, 기설정된 영역이 A와 같은 경우, 프로세서(140)는 T1 영역은 기설정된 영역 A에 속하지 않고, T2 영역은 기설정된 영역에 속하는 것으로 판단할 수 있다. 즉, 프로세서(140)는 제1 및 제2 물체(42, 43) 중에서, 제2 물체(43)가 윈드실드(11) 상에 투과되는 영역이 기설정된 영역에 속하는 것으로 판단할 수 있다.
이와 같은 방법을 통해, 프로세서(140)는 물체가 윈드실드 상에서 투과되는 영역을 판단할 수 있다.
한편, 프로세서(140)는 제2 카메라(130)를 통해 촬영된 이미지에 포함된 텍스트를 다른 언어로 번역하고, 번역된 텍스트를 윈드실드에 표시하도록 디스플레이(110)를 제어할 수 있다.
이를 위해, 프로세서(140)는 텍스트 판독 알고리즘(가령, OCR(optical character reader) 알고리즘 등)을 이용하여, 제2 카메라(130)를 통해 촬영된 물체에 써져 있는 텍스트를 인식할 수 있다.
그리고, 프로세서(140)는 인식된 텍스트를 다른 언어로 번역할 수 있다.
이때, 텍스트를 어떠한 언어로 번역할 것인지는 사용자에 의해 미리 설정될 수 있다. 예를 들어, 사용자는 자신이 이해할 수 있는 언어를 텍스트가 번역될 언어로 설정할 수 있다.
이 경우, 전자 장치(100)는 텍스트 번역을 위한 언어 데이터베이스를 포함할 수 있으며, 프로세서(140)는 언어 데이터베이스를 이용하여 인식된 텍스트에 대한 번역을 수행할 수 있다.
뿐만 아니라, 프로세서(140)는 번역 서비스를 제공하는 서버(미도시)로 인식된 텍스트를 전송하고, 서버(미도시)로부터 번역된 텍스트를 제공받을 수도 있다. 이를 위해, 전자 장치(100)는 서버(미도시)와 통신을 수행하기 위한 통신 모듈을 포함할 수 있다.
한편, 프로세서(140)는 운송 수단의 주행 속도 및 제1 카메라(120)를 통해 촬영된 사용자의 시선에 기초하여 윈드실드의 서로 다른 영역에 번역된 텍스트를 표시할 수 있다.
먼저, 프로세서(140)는 운송 수단(10)의 주행 속도가 기설정된 속도보다 느린 경우, 제1 카메라(120)를 통해 촬영된 사용자의 시선을 검출하고, 사용자의 시선에 기초하여 결정된 윈드실드의 영역에 번역된 텍스트를 표시할 수 있다.
구체적으로, 프로세서(140)는 검출된 사용자의 시선에 기초하여 제2 카메라(130)를 통해 촬영된 적어도 하나의 텍스트 중 사용자의 시선이 향하는 텍스트를 판단하고, 판단된 텍스트를 다른 언어로 번역하고, 윈드실드에서 사용자의 시선이 향하는 영역에 번역된 텍스트를 표시할 수 있다.
즉, 운송 수단(10)의 주행 속도가 기설정된 속도보다 느린 경우, 사용자는 운전에 대한 방해 없이 자신의 시야에 들어오는 텍스트를 인식할 가능성이 높은 것으로 볼 수 있다.
이에 따라, 프로세서(140)는 운송 수단(10)의 주행 속도가 기설정된 속도보다 느린 경우, 사용자가 바라보고 있는 텍스트를 우선적으로 번역하고, 번역된 텍스트를 사용자가 바라보고 있는 텍스트가 윈드실드 상에서 투과되는 영역에 표시하게 된다.
이때, 프로세서(140)는 제2 카메라(130)를 통해 촬영된 이미지에 존재하는 다른 텍스트들에 대해서는 번역을 수행하지 않거나, 사용자가 바라보고 있는 텍스트를 먼저 번역한 이후에 번역을 수행할 수 있다. 이와 같이, 번역 부담을 감소시켜 실시간으로 텍스트를 번역하여 제공할 수 있게 된다.
한편, 사용자의 시선이 향하는 영역에 존재하는 물체 즉, 텍스트를 판단하고, 윈드실드 상에서 사용자의 시선이 향하는 영역 즉, 해당 물체가 윈드실드 상에서 투과되어 보이는 영역을 판단하는 방법과 관련하여서는 도 3에서 설명한 바와 같다.
예를 들어, 도 5와 같이, 운송 수단(10)이 기설정된 속도(가령 30km/h)보다 작은 속도로 이동하고, 제2 카메라(130)를 통해 촬영된 이미지에서 "DENTIST(510)", "NAILS(520)", "SNACK(530)"과 같은 텍스트가 인식된 경우를 가정한다.
이때, 프로세서(140)는 사용자의 시선이 향하는 영역에 "NAILS(520)", "SNACK(530)"이 존재하는 경우, 인식된 텍스트들 중에서 사용자의 시선이 향하는 영역에 존재하는 "NAILS(520)", "SNACK(530)"을 한국어로 번역할 수 있다.
그리고, 프로세서(140)는 윈드실드 상에서 "NAILS(520)"가 투과되어 보이는 영역(540)에 "NAILS(520)"이 한국어로 표현된 "손톱(560)"을 표시하고, 윈드실드 상에서 "SNACK(530)"가 투과되어 보이는 영역(550)에 "SNACK(530)"이 한국어로 표현된 "간식(570)"을 표시할 수 있다.
한편, 프로세서(140)는 사용자의 시선이 변경되면, 제2 카메라(130)를 통해 촬영된 적어도 하나의 텍스트 중 변경된 사용자의 시선이 향하는 텍스트를 판단하고, 판단된 텍스트를 다른 언어로 번역하고, 윈드실드에서 변경된 사용자의 시선이 향하는 영역에 번역된 텍스트를 표시할 수 있다.
즉, 사용자의 시선이 변경되어 사용자가 다른 곳을 바라보는 경우, 프로세서(140)는 이전에 표시되던 텍스트는 제거하고, 사용자가 새롭게 바라보는 영역에 존재하는 텍스트를 번역하여 윈드실드에 표시할 수 있다.
예를 들어, 도 5와 같이 사용자가 "NAILS", "SNACK"를 바라보다가, 시선을 변경하여 "DENTIST"를 바라보는 경우를 가정한다.
이 경우, 도 6과 같이, 프로세서(140)는 인식된 텍스트들(610, 620, 630) 중에서, 사용자의 시선이 향하는 영역에 존재하는 "DENTIST(610)"를 한국어로 번역할 수 있다.
그리고, 프로세서(140)는 윈드실드 상에서 "DENTIST(610)"가 투과되어 보이는 영역(640)에 "DENTIST(610)"이 한국어로 표현된 "치과(650)"을 표시할 수 있다. 이 경우, 프로세서(140)는 이전에 표시되던 "NAILS" 및 "SNACK"에 대한 한국어 표현은 윈드실드 상에서 제거할 수 있다 .
이와 같이, 프로세서(140)는 운송 수단(10)의 속도가 기설정된 속도보다 느린 경우, 번역된 텍스트를 사용자의 시선을 고려하여 윈드실드 상에 표시할 수 있다.
한편, 프로세서(140)는 운송 수단(10)의 주행 속도가 기설정된 속도 이상인 경우, 사용자의 시선을 검출함이 없이 윈드실드의 기설정된 영역에 번역된 텍스트를 표시할 수 있다. 여기에서, 기설정된 영역은 윈드실드의 가운데를 기준으로 일정 거리 이내의 영역일 수 있다.
구체적으로, 프로세서(140)는 제2 카메라(130)를 통해 촬영된 적어도 하나의 텍스트 중 윈드실드의 기설정된 영역에 투과되는 텍스트를 판단하고, 판단된 텍스트를 다른 언어로 번역하고, 윈드실드의 기설정된 영역에 번역된 텍스트를 표시할 수 있다.
즉, 운송 수단(10)의 주행 속도가 기설정된 속도보다 빠른 경우, 사용자는 고속으로 운송 수단(10)을 주행하므로 시선은 전방을 향하고 있을 가능성이 높은 것으로 볼 수 있다.
이에 따라, 프로세서(140)는 운송 수단(10)의 주행 속도가 기설정된 속도보가 빠른 경우, 사용자의 시선을 별도로 감지하지 않고 사용자가 전방을 바라보고 있는 것으로 가정하여, 윈드실드의 기설정된 영역에 투과되는 텍스트를 판단하고, 판단된 텍스트를 우선적으로 번역하고, 번역된 텍스트를 투과되는 영역에 표시하게 된다.
이때, 프로세서(140)는 제2 카메라(130)를 통해 촬영된 이미지에 존재하는 다른 텍스트들에 대해서는 번역을 수행하지 않거나, 사용자가 바라보고 있는 텍스트를 먼저 번역한 이후에 번역을 수행할 수 있다. 이와 같이, 번역 부담을 감소시켜 실시간으로 텍스트를 번역하여 제공할 수 있게 된다.
한편, 사용자의 시선을 별도로 감지하지 않고 물체 즉, 텍스트가 윈드실드 상에 투과되는 영역을 판단하고, 해당 영역이 윈드실드의 기설정된 영역에 포함되는지를 판단하는 방법과 관련하여서는 도 4에서 설명한 바와 같다.
예를 들어, 도 7과 같이, 운송 수단(10)이 기설정된 속도(가령 30km/h)보다 높은 속도로 이동하고, 제2 카메라(130)를 통해 촬영된 이미지에서 "Park(710)", "International Airport(720)", "Gas Station(730)"과 같은 텍스트가 인식된 경우를 가정한다.
이때, 프로세서(140)는 이들 텍스트들 중에서, 윈드실드에 투과되는 영역이 기설정된 영역(740) 내에 포함되는 "International Airport(720)", "Gas Station(730)"을 한국어로 번역할 수 있다.
그리고, 프로세서(140)는 윈드실드 상에서 "International Airport(720)"가 투과되는 영역(750)에 "International Airport(720)"이 한국어로 표현된 "국제공항(770)"을 표시하고, 윈드실드 상에서 "Gas Station(730)"이 투과되는 영역(760)에 "Gas Station(730)"이 한국어로 표현된 "주유소(780)"을 표시할 수 있다. 이때, 윈드실드에 투과되는 영역이 기설정된 영역(740) 내에 포함되지 않는 텍스트인 "Park(710)"는 한국어로 표시되지 않게 된다.
한편, 프로세서(140)는 번역된 텍스트 중에서 사용자로부터 입력된 텍스트와 매칭되는 텍스트가 존재하는 경우, 매칭되는 텍스트가 존재함을 나타내기 위한 피드백을 제공할 수 있다.
이를 위해, 프로세서(140)는 사용자로부터 텍스트를 입력받을 수 있다. 이 경우, 사용자는 자신이 이해할 수 있는 언어로 텍스트를 입력할 수 있으며, 텍스트는 자신이 가고자 하는 목적지 또는 찾고자 하는 장소 등에 대한 명칭이 될 수 있다.
예를 들어, 도 8과 같이, 사용자는 운송 수단(10)의 센터페시아(center fascia)에 마련된 터치 스크린을 통해, 한국어로 "편의점"과 같이 입력할 수 있다.
다만, 이는 일 예일 뿐이고, 사용자는 전자 장치(100)와 통신을 수행하는 다른 전자 장치 가령, 스마트폰(smartphone) 등과 같은 별도의 외부 장치를 통해 텍스트를 입력할 수도 있다. 이 경우, 외부 장치는 입력된 텍스트를 전자 장치(100)로 전송할 수 있으며, 이를 위해, 전자 장치(100)는 외부 장치와 통신을 수행하기 위한 통신 모듈을 포함할 수 있다.
한편, 피드백은 다양한 형태로 제공될 수 있다. 예를 들어, 프로세서(140)는 사용자로부터 입력된 텍스트와 매칭되는 텍스트의 색상, 형태, 크기 등을 다른 텍스트와는 구별되도록 표시할 수 있다. 다른 예로, 프로세서(140)는 사용자로부터 입력된 텍스트와 매칭되는 텍스트가 존재하는 경우, 운송 장치(10)의 핸들, 의자 등에 대한 진동 피드백을 제공하거나, 운송 장치(10)의 스피커를 통해 특정한 사운드를 출력할 수도 있다.
예를 들어, 도 9를 참조하면, 도 5에서 설명한 바와 같이, 사용자의 시선이 향하는 영역에 존재하는 텍스트가 "NAILS(910)", "SNACK(920)"인 경우, 프로세서(140)는 윈드실드 상에서 "NAILS(910)"가 투과되어 보이는 영역에 "NAILS(910)"이 한국어로 표현된 "손톱(930)"을 표시하고, 윈드실드 상에서 "SNACK(920)"이 투과되어 보이는 영역에 "SNACK(920)"이 한국어로 표현된 "간식(940)"을 표시할 수 있다.
이때, 사용자로부터 미리 입력된 텍스트가 "간식"인 경우, 프로세서(140)는 "간식(940)"을 "손톱(930)"보다 큰 사이즈로 표시할 수 있다.
다른 예로, 도 10을 참조하면, 도 7에서 설명한 바와 같이, 윈드실드 내의 기설정된 영역에 포함되는 텍스트가 "International Airport(1010)", "Gas Station(1020)"과 같은 텍스트가 인식된 경우, 프로세서(140)는 윈드실드 상에서 "International Airport(1010)"가 투과되는 영역에 "International Airport(1010)"이 한국어로 표현된 "국제공항(1030)"을 표시하고, 윈드실드 상에서 "Gas Station(1020)"이 투과되는 영역에 "Gas Station(1020)"이 한국어로 표현된 "주유소(1040)"을 표시할 수 있다.
이때, 사용자로부터 미리 입력된 텍스트가 "주유소"인 경우, 프로세서(140)는 "주유소(1040)"를 "국제공항(1030)"과는 다른 색상으로 표시할 수 있다.
한편, 전술한 예에서는 운송 수단(10)의 이동 속도에 따라 텍스트를 서로 다른 영역에 표시할 때, 사용자로부터 미리 입력된 텍스트가 존재하는 경우, 그에 대한 피드백을 제공하는 것으로 설명하였다.
하지만, 이는 일 예일 뿐이고, 프로세서(140)는 사용자로부터 미리 입력된 텍스트만을 고려하여, 그에 대한 피드백을 제공할 수도 있다.
구체적으로, 프로세서(140)는 제2 카메라(130)를 통해 촬영된 영상에서 텍스트를 인식하고, 인식된 텍스트 중에서 사용자로부터 입력된 텍스트와 매칭되는 텍스트가 존재하는지를 판단할 수 있다.
이때, 제2 카메라(130)를 통해 촬영된 영상에 포함된 텍스트와 사용자로부터 입력된 텍스트는 서로 다른 언어일 수 있다.
그리고, 프로세서(140)는 인식된 텍스트 중에서 사용자로부터 입력된 텍스트와 매칭되는 텍스트가 존재하는 경우, 그에 대한 피드백을 제공할 수 있다.
예를 들어, 프로세서(140)는 인식된 텍스트 중에서 사용자로부터 입력된 텍스트가 존재하는 경우, 해당 텍스트만을 윈드실드 상에서 투과되는 영역에 표시하거나, 다른 텍스트들과 함께 표시하되 해당 텍스트의 색상, 형태, 크기 등을 다른 텍스트와 구별되도록 표시할 수 있다. 또한, 프로세서(140)는 인식된 텍스트 중에서 사용자로부터 입력된 텍스트가 존재하는 경우, 운송 장치(10)의 핸들, 의자 등에 대한 진동 피드백을 제공하거나, 운송 장치(10)의 스피커를 통해 특정한 사운드를 출력할 수도 있다.
도 11은 본 발명의 일 실시 예에 따른 전자 장치를 구비한 운송 수단의 구성을 개략적으로 도시한 블록도이다.
도 11에서는 운송 수단(10)이 차량으로 구현되는 것을 일 예로 설명하도록 한다.
도 11을 참조하면, 운송 수단(10)는 본 발명의 일 실시 예에 따른 전자 장치(100)를 포함하며, 그에 더해, 첨단 운전 보조 시스템인 ADAS(12), 운송 수단(10)의 구동/제동/조향 등 운송 수단(10)의 운행과 관련된 전반적인 제어를 수행하는 ECU(13), 입력부(14), 감지부(15), 출력부(16), 구동부(17) 및 도어(18)를 포함할 수 있다.
도 2에서, 전자 장치(100)는 첨단 운전 보조 시스템인 ADAS(12) 및 ECU(13)와 구별되도록 도시되었으나, 이는 일 예일 뿐이며, 다양한 실시 예에 따르면, 전자 장치(100)의 구성요소 중 적어도 하나는 ADAS(12)의 전체 또는 일부, 또는, ECU(13)의 전체 또는 일부가 될 수 있다.
ADAS(12)는 운전자의 주행 보조 시스템 또는 첨단 주행 보조 시스템이라 칭할 수 있으며, 자동차의 안전과 관련된 다양한 보조 기능을 제공할 수 있다.
예를 들어, ADAS(12)는 전방의 운송 수단을 인식하여 안전 거리를 자동으로 유지하는 어뎁티브 크루즈 컨트롤(adaptive cruise control) 기능, 전방의 운송 수단까지의 거리를 인식하여 자동으로 속도를 조절하는 스마트 크루즈 컨트롤(smart cruise control) 기능, 도심 정체 구간에서 전방의 운송 수단과 일정 거리를 유지해지는 트랙픽 잼 어시스트(traffic jam assist) 기능, 주야 및 마주 오는 운송 수단의 유무에 따라 상향등과 하향 등을 교대로 동작시키는 어뎁티브 하이빔(adaptive highbeam) 기능, 적외선 또는 열화상 카메라를 이용하여 운전자의 눈에 보이지 않는 물체를 미리 감지하여 알려주는 나이트 비젼(night vision) 기능, 운전자에게 보이지 않는 사각 지대의 운송 수단의 존재 여부를 탐색하여 알려주는 사각 경보 시스템(blind spot warning) 기능 등을 제공할 수 있다.
ECU(13)는 예를 들어, 운송 수단(10)의 상태를 감지하여 운송 수단(10)의 엔진이 고장나지 않도록 연료의 분사량과 점화 시기를 결정할 수 있다.
예를 들어, ECU(13)는 운송 수단(10)의 엔진의 회전수와 흡입 공기량, 흡입 압력, 액셀러레이터 개방 정도를 고려하여 미리 설정한 점화 시기 MAP(Manifold Absolute Pressure) 값과 연료 분사 MAP 값에 기초하여 수온센서, 산소센서 등을 보정하고 인젝터의 개폐율을 조정할 수 있다.
입력부(14)는 운송 수단(10)의 제어와 관련된 다양한 사용자 명령을 입력받을 수 있으며, 운송 수단(10)에 구비될 수 있다. 이를 위해, 입력부(14)는 복수의 버튼 또는 터치 스크린을 포함할 수 있다. 이 경우, 프로세서(140)는 입력부(14)를 통해 입력받은 사용자 명령에 따라 동작하도록 운송 수단(10)의 각종 구성요소를 제어할 수 있다.
감지부(15)는 운송 수단(10)의 주변 환경을 감지할 수 있다. 예를 들어, 감지부(15)는 운송 수단(10)의 주변 환경을 감지하기 위하여, 라이더(Lidar) 센서, 레이다(Radar) 센서, 초음파 센서, 비젼(Vision) 센서, 적외선 센서, LED 센서 등과 같은 물체 감지 센서 또는 거리 감지 센서를 포함할 수 있다.
그 밖에, 감지부(15)는 가속도 센서(acceleration sensor), 자이로 센서(gyro sensor), 조도 센서(illuminance sensor), 근접 센서(proximity sensor), 압력 센서(pressure sensor), 노이즈 센서(noise sensor)(예컨대, 마이크), 비디오 센서(video sensor)(예컨대, 카메라 모듈), 온도 센서, 충격 센서(shock sensor), 기울기 센서(tilt sensor), 자기장 센서(3-axis Magnetic sensor), 음성 인식 센서, 또는 타이머 중 적어도 하나의 센서를 더 포함할 수 있다.
그 밖에, 감지부(15)는 운송 수단(10) 내의 배터리 상태 정보, 연료 상태 정보, 엔진 상태 정보(엔진 상태, 엔진 오일 상태, 타이밍 벨트 상태에 관한 정보), 타이어 정보(타이어 마모도, 뒤틀림 정도 등), 주행 속도 정보, 주행 방향 정보, 휠 또는 스티어링의 회전에 따른 조향 정보, 차량 램프 정보, 차량 내부 온도 및 습도 정보, 차량의 기울기 정보 등을 감지할 수 있다. 또한, 감지부(15)는 조도 센서를 통해, 주간인지 야간인지 여부를 판단할 수 있으며, 감지부(15)는 주간의 밝기 정도 또는 사용자의 시선 방향에 따른 조도 정보를 획득할 수도 있다.
이 경우, 프로세서(140)는 감지부(15)에서 실시간으로 획득한 감지 정보를 이용하여 운송 수단(10)의 각종 구성요소를 제어할 수 있다.
출력부(16)는 다양한 화면을 디스플레이하기 위한 디스플레이(미도시) 및 다양한 오디오를 출력하기 위한 스피커(미도시)를 포함할 수 있다.
이 경우, 디스플레이(미도시)는 센터페시아에 위치하거나 유리창 또는 좌석에 위치할 수 있고, 또는, 전면 유리창 즉, 윈드실드에 이미지를 투사하는 방식의 헤드업 디스플레이로 구현될 수도 있다.
한편, 디스플레이(미도시) 및 스피커(미도시)는 전자 장치(100)의 구성요소가 될 수도 있다.
구동부(17)는 운행을 포함한 운송 수단(10)의 각종 동작을 제어하는 구성요소를 구동하기 위해, 램프 구동부, 조향 구동부, 브레이크 구동부, 동력원 구동부, 서스펜션 구동부 등을 포함할 수 있다.
한편, 도시되지는 않았으나, 운송 수단(10)은 운송 수단(10)을 제어하기 위한 각종 프로그램 및 데이터가 저장된 구비된 메모리(미도시)를 더 포함할 수 있다. 이 경우, 메모리(미도시)의 적어도 일부는 운송 수단(10)에 별도로 마련될 수도 있고, 또는, 운송 수단(10)의 ADAS(12) 또는 ECU(13)에 포함될 수도 있다. 다만, 전자 장치(100)에 마련된 메모리(미도시)가 운송 수단(10)을 제어하기 위한 각종 프로그램 및 데이터를 저장할 수도 있다.
한편, 프로세서(140)는 운송 수단(10)에 포함된 각종 구성요소와 연결되어 다양한 데이터 및 신호를 송수신할 수 있다. 그리고, 프로세서(140)는 제어 명령을 생성하고 전송하여 차량에 포함된 각종 구성요소를 제어할 수 있다. 다만, 이는 일 예일 뿐이고, 운송 수단(10)에 포함된 각종 구성요소를 제어하기 위한 별도의 프로세서가 운송 수단(10)에 마련될 수도 있다.
이 경우, 프로세서(140)는 예를 들어, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(140)에 연결된 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 또한, 프로세서(140)는 다른 구성요소들 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장할 수 있다.
이를 위해, 프로세서(140)는 해당 동작을 수행하기 위한 전용 프로세서(예, 임베디드 프로세서) 또는 메모리 디바이스에 저장된 하나 이상의 소프트웨어 프로그램을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU, GPU 또는 application processor)로 구현될 수 있다.
한편, 상술한 예에서는 전자 장치(100)가 운송 수단(10)에 탑재되는 것으로 설명하였으나, 이는 일 예에 불과하다.
즉, 전자 장치(100)가 운송 수단(10)에 장착되는 외부 장치로 구현되는 경우, 전자 장치(100)는 스마트폰, 태블릿 PC(tablet personal computer), PDA(personal digital assistant) 또는 PMP(portable multimedia player) 등으로 구현되거나, 이러한 기기들의 일부가 될 수도 있고, 또한, 차량용 커넥터(예: OBD 단자 또는 OBD 커넥터 등)에 연결되는 자기 진단 기기(on board diagnostics, OBD), 네비게이션 등과 같은 운전 보조 장치로 구현되거나, 이러한 기기들의 일부가 될 수도 있다.
예를 들어, 전자 장치(100)가 스마트폰으로 구현되는 경우, 전자 장치(100)는 운송 수단(10)에 장착되어, 전자 장치(100)의 전면 카메라를 통해 사용자를 촬영하고, 전자 장치(100)의 후면 카메라를 통해 운송 수단(100)의 외부를 촬영할 수 있다. 이 경우, 프로세서(140)는 촬영된 이미지를 이용하여, 전술한 바와 같은 동작을 수행하여 운송 수단(10)의 이동 속도에 따라 윈드실드의 서로 다른 영역에 번역된 텍스트를 표시할 수 있다.
이 경우, 전자 장치(100)는 운송 수단(10)에 마련된 시스템과 통신을 수행하여 운송 수단(10)에 대한 이동 속도에 대한 정보를 수신받을 수 있다. 한편, 번역된 텍스트를 표시할 때, 전자 장치(100)는 자신에 마련된 투사 유닛을 통해 운송 수단(10)의 윈드실드에 이미지를 투사하거나, 또는, 운송 수단(10)에 마련된 투사 유닛을 제어하여 윈드실드에 이미지를 투사할 수 있다.
한편, 상술한 예에서는 운송 수단의 속도에 따라 사용자가 물체에 표시된 텍스트를 보았을 때 해당 텍스트가 윈드실드에서 투과되어 보이는 영역에 번역된 텍스트를 표시하거나, 사용자의 시선과는 무관하게 윈드실드의 특정한 영역에 번역된 텍스트를 제공하는 것으로 설명하였다.
다만, 이는 일 예일 뿐이고, 프로세서(140)는 사용자의 시선 이외에도 휠 또는 스티어링의 회전 방향(또는, 각도)에 따라 텍스트를 번역하여 제공할 수도 있다.
구체적으로, 프로세서(140)는 감지부(15)에서 감지된 휠 또는 스티어링의 회전 방향에 따라, 운송 수단(10)이 회전하는 방향에 존재하는 텍스트를 번역하고, 번역된 텍스트를 윈드실드에 표시할 수 있다.
예를 들어, 프로세서(140)는 운송 수단(10)이 좌측으로 회전하는 경우, 윈드실드에서 좌측 영역에 투과되는 텍스트를 번역하고, 번역된 텍스트를 윈드실드의 좌측 영역에 표시할 수 있다. 또한, 프로세서(140)는 운송 수단(10)이 우측으로 회전하는 경우, 윈드실드에서 우측 영역에 투과되는 텍스트를 번역하고, 번역된 텍스트를 윈드실드의 우측 영역에 표시할 수 있다.
이와 같이, 휠 또는 스티어링의 회전 방향에 따라 서로 다른 영역에 번역된 텍스트가 제공될 수도 있다.
도 12는 본 발명의 일 실시 예에 따른 텍스트 제공 방법을 설명하기 위한 흐름도이다.
먼저, 제1 카메라를 통해 상기 운송 수단에 탑승한 사용자를 촬영하고(S1210), 제2 카메라를 통해 상기 운송 수단의 외부를 촬영한다(S1220).
그리고, 제2 카메라를 통해 촬영된 이미지에 포함된 텍스트를 다른 언어로 번역하고, 번역된 텍스트를 운송 수단의 윈드실드에 표시한다(S1230).
이때, 운송 수단의 주행 속도 및 제1 카메라를 통해 촬영된 사용자의 시선에 기초하여, 윈드실드의 서로 다른 영역에 번역된 텍스트를 표시할 수 있다.
먼저, S1230 단계는 주행 속도가 기설정된 속도보다 느린 경우, 제1 카메라를 통해 촬영된 상기 사용자의 시선을 검출하고, 사용자의 시선에 기초하여 결정된 윈드실드의 영역에 번역된 텍스트를 표시할 수 있다.
구체적으로, 검출된 사용자의 시선에 기초하여 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 사용자의 시선이 향하는 텍스트를 판단하고, 판단된 텍스트를 다른 언어로 번역하고, 윈드실드에서 사용자의 시선이 향하는 영역에 번역된 텍스트를 표시할 수 있다.
또한, 사용자의 시선이 변경되면, 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 변경된 사용자의 시선이 향하는 텍스트를 판단하고, 판단된 텍스트를 다른 언어로 번역하고, 윈드실드에서 변경된 사용자의 시선이 향하는 영역에 번역된 텍스트를 표시할 수 있다.
한편, S1230 단계는 주행 속도가 기설정된 속도 이상인 경우, 사용자의 시선을 검출함이 없이 윈드실드의 기설정된 영역에 번역된 텍스트를 표시할 수 있다.
구체적으로, 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 윈드실드의 기설정된 영역에 투과되는 텍스트를 판단하고, 판단된 텍스트를 다른 언어로 번역하고, 윈드실드의 기설정된 영역에 번역된 텍스트를 표시할 수 있다.
한편, 번역된 텍스트 중에서 사용자로부터 입력된 텍스트와 매칭되는 텍스트가 존재하는 경우, 매칭되는 텍스트가 존재함을 나타내기 위한 피드백을 제공할 수 있다.
이와 같이 텍스트를 표시하는 구체적인 방법에 대해서는 상술한 바 있다.
본 개시의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(100))를 포함할 수 있다. 상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
100 : 전자 장치 110 : 디스플레이
120 : 제1 카메라 130 : 제2 카메라
140 : 프로세서

Claims (14)

  1. 운송 수단에 구비된 전자 장치에 있어서,
    상기 운송 수단의 윈드실드(windshield)에 이미지를 표시하는 디스플레이;
    상기 운송 수단에 탑승한 사용자를 촬영하기 위한 제1 카메라;
    상기 운송 수단의 외부를 촬영하기 위한 제2 카메라; 및
    상기 제2 카메라를 통해 촬영된 이미지에 포함된 텍스트를 다른 언어로 번역하고, 상기 운송 수단의 주행 속도 및 상기 제1 카메라를 통해 촬영된 상기 사용자의 시선에 기초하여 상기 번역된 텍스트를 상기 윈드실드에 표시하도록 상기 디스플레이를 제어하는 프로세서;를 포함하며,
    상기 프로세서는,
    상기 주행 속도가 기 설정된 속도 미만인 경우, 상기 사용자의 시선에 기초하여 결정된 상기 윈드실드의 영역에 상기 번역된 텍스트를 표시하고,
    상기 주행 속도가 상기 기 설정된 속도 이상인 경우, 상기 텍스트 중에서 상기 윈드실드에 투과되는 영역이 상기 윈드실드의 중심부를 기준으로 임계 거리 이내의 영역 내에 포함되는 텍스트만을 번역하여 표시하는, 전자 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 검출된 사용자의 시선에 기초하여 상기 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 상기 사용자의 시선이 향하는 텍스트를 판단하고, 상기 판단된 텍스트를 다른 언어로 번역하고, 상기 윈드실드에서 상기 사용자의 시선이 향하는 영역에 상기 번역된 텍스트를 표시하는, 전자 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 사용자의 시선이 변경되면, 상기 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 상기 변경된 사용자의 시선이 향하는 텍스트를 판단하고, 상기 판단된 텍스트를 다른 언어로 번역하고, 상기 윈드실드에서 상기 변경된 사용자의 시선이 향하는 영역에 상기 번역된 텍스트를 표시하는, 전자 장치.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 번역된 텍스트 중에서 사용자로부터 입력된 텍스트와 매칭되는 텍스트가 존재하는 경우, 상기 매칭되는 텍스트가 존재함을 나타내기 위한 피드백을 제공하는, 전자 장치.
  8. 운송 수단에 구비된 전자 장치의 텍스트 제공 방법에 있어서,
    제1 카메라를 통해 상기 운송 수단에 탑승한 사용자를 촬영하는 단계;
    제2 카메라를 통해 상기 운송 수단의 외부를 촬영하는 단계; 및
    상기 제2 카메라를 통해 촬영된 이미지에 포함된 텍스트를 다른 언어로 번역하고, 상기 운송 수단의 주행 속도 및 상기 제1 카메라를 통해 촬영된 상기 사용자의 시선에 기초하여 상기 번역된 텍스트를 상기 운송 수단의 윈드실드에 표시하는 단계;를 포함하며,
    상기 표시하는 단계는,
    상기 주행 속도가 기 설정된 속도 미만인 경우, 상기 사용자의 시선에 기초하여 결정된 상기 윈드실드의 영역에 상기 번역된 텍스트를 표시하는 단계; 및
    상기 주행 속도가 상기 기 설정된 속도 이상인 경우, 상기 텍스트 중에서 상기 윈드실드에 투과되는 영역이 상기 윈드실드의 중심부를 기준으로 임계 거리 이내의 영역 내에 포함되는 텍스트만을 번역하여 표시하는 단계;를 포함하는, 텍스트 제공 방법.
  9. 삭제
  10. 제8항에 있어서,
    상기 표시하는 단계는,
    상기 검출된 사용자의 시선에 기초하여 상기 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 상기 사용자의 시선이 향하는 텍스트를 판단하고, 상기 판단된 텍스트를 다른 언어로 번역하고, 상기 윈드실드에서 상기 사용자의 시선이 향하는 영역에 상기 번역된 텍스트를 표시하는, 텍스트 제공 방법.
  11. 제10항에 있어서,
    상기 표시하는 단계는,
    상기 사용자의 시선이 변경되면, 상기 제2 카메라를 통해 촬영된 적어도 하나의 텍스트 중 상기 변경된 사용자의 시선이 향하는 텍스트를 판단하고, 상기 판단된 텍스트를 다른 언어로 번역하고, 상기 윈드실드에서 상기 변경된 사용자의 시선이 향하는 영역에 상기 번역된 텍스트를 표시하는, 텍스트 제공 방법.
  12. 삭제
  13. 삭제
  14. 제8항에 있어서,
    상기 번역된 텍스트 중에서 사용자로부터 입력된 텍스트와 매칭되는 텍스트가 존재하는 경우, 상기 매칭되는 텍스트가 존재함을 나타내기 위한 피드백을 제공하는 단계;를 더 포함하는, 텍스트 제공 방법.
KR1020170161962A 2017-11-29 2017-11-29 전자 장치 및 그의 텍스트 제공 방법 KR102446387B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170161962A KR102446387B1 (ko) 2017-11-29 2017-11-29 전자 장치 및 그의 텍스트 제공 방법
CN201880077079.4A CN111727132B (zh) 2017-11-29 2018-10-08 电子设备及其文本提供方法
PCT/KR2018/011818 WO2019107730A1 (ko) 2017-11-29 2018-10-08 전자 장치 및 그의 텍스트 제공 방법
EP18883765.2A EP3666579A4 (en) 2017-11-29 2018-10-08 ELECTRONIC DEVICE AND METHOD FOR PROVIDING ASSOCIATED TEXT
US16/754,611 US11440408B2 (en) 2017-11-29 2018-10-08 Electronic device and text providing method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170161962A KR102446387B1 (ko) 2017-11-29 2017-11-29 전자 장치 및 그의 텍스트 제공 방법

Publications (2)

Publication Number Publication Date
KR20190069633A KR20190069633A (ko) 2019-06-20
KR102446387B1 true KR102446387B1 (ko) 2022-09-22

Family

ID=66665612

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170161962A KR102446387B1 (ko) 2017-11-29 2017-11-29 전자 장치 및 그의 텍스트 제공 방법

Country Status (5)

Country Link
US (1) US11440408B2 (ko)
EP (1) EP3666579A4 (ko)
KR (1) KR102446387B1 (ko)
CN (1) CN111727132B (ko)
WO (1) WO2019107730A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11869213B2 (en) * 2020-01-17 2024-01-09 Samsung Electronics Co., Ltd. Electronic device for analyzing skin image and method for controlling the same
EP4134867A4 (en) * 2020-04-30 2023-05-31 Huawei Technologies Co., Ltd. IDENTIFICATION METHOD AND DEVICE FOR IDENTIFICATION OF AN OBJECT OF INTEREST OF A USER

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016095688A (ja) * 2014-11-14 2016-05-26 株式会社デンソー 車載用情報表示装置
US20170054842A1 (en) 2015-08-21 2017-02-23 Lg Electronics Inc. Apparatus and method for controlling portable device in vehicle

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4925272A (en) * 1988-02-15 1990-05-15 Yazaki Corporation Indication display unit for vehicles
US20020043025A1 (en) * 2000-10-17 2002-04-18 Zayas Jose A. Retractable parking space barrier
US7389602B1 (en) * 2001-07-11 2008-06-24 Anthony Simoes Handicap placard dash display
US20040210444A1 (en) * 2003-04-17 2004-10-21 International Business Machines Corporation System and method for translating languages using portable display device
KR100613906B1 (ko) 2004-11-16 2006-08-21 한국전자통신연구원 주행속도 기반 연속적인 공간영역 질의 처리에 의한헤드업 디스플레이 장치를 갖는 차량항법 시스템 및 그의정보 출력 방법
US20060209190A1 (en) * 2005-03-04 2006-09-21 Walters Kenneth S Vehicle directional monitoring system
US8144990B2 (en) * 2007-03-22 2012-03-27 Sony Ericsson Mobile Communications Ab Translation and display of text in picture
JP2009139940A (ja) * 2007-11-16 2009-06-25 Panasonic Corp 画像表示装置
KR101588890B1 (ko) 2008-07-10 2016-01-27 삼성전자주식회사 카메라 기반 영상의 문자 인식 및 번역 방법
KR100926165B1 (ko) * 2009-08-18 2009-11-10 (주)애니쿼터스 Ｎｆｃ 컨트롤러를 통한 원샷 ｃａｌｌ·원샷 ｓｍｓ·원샷 인터넷 접속 기능을 갖는 휴대폰 단말기 자동전송 장치 및 방법
US8894415B2 (en) * 2009-09-29 2014-11-25 Advanced Training System Llc System, method and apparatus for driver training
US8804247B2 (en) * 2009-12-14 2014-08-12 Panasonic Corporation Transmissive display device
CN102640033B (zh) * 2010-10-01 2014-12-10 松下电器产业株式会社 显示装置、移动体以及控制装置
KR101628394B1 (ko) * 2010-11-22 2016-06-08 현대자동차주식회사 운전자 시선 거리 추적 방법
US9421866B2 (en) 2011-09-23 2016-08-23 Visteon Global Technologies, Inc. Vehicle system and method for providing information regarding an external item a driver is focusing on
JP5630518B2 (ja) * 2012-03-14 2014-11-26 株式会社デンソー 運転支援装置
KR101723080B1 (ko) * 2012-03-15 2017-04-04 에스케이텔레콤 주식회사 차량의 정보 표시 시스템 및 방법
KR20140058309A (ko) * 2012-11-06 2014-05-14 삼성전자주식회사 차량용 컨트롤 장치
CN103885743A (zh) * 2012-12-24 2014-06-25 大陆汽车投资（上海）有限公司 结合注视跟踪技术的语音文本输入方法和系统
US10339711B2 (en) * 2013-03-15 2019-07-02 Honda Motor Co., Ltd. System and method for providing augmented reality based directions based on verbal and gestural cues
CA2906399A1 (en) 2013-03-15 2014-10-09 Translate Abroad, Inc. Systems and methods for displaying foreign character sets and their translations in real time on resource-constrained mobile devices
US20140375810A1 (en) * 2013-06-21 2014-12-25 Digimarc Corporation Vehicular safety methods and arrangements
CN104597625A (zh) 2013-10-30 2015-05-06 富泰华工业（深圳）有限公司 智能眼镜
EP2869676A1 (en) * 2013-10-31 2015-05-06 Hendrikus A. Le Sage Transparent illuminated display system for automobiles
KR20150066036A (ko) 2013-12-06 2015-06-16 이동녀 투명 네비게이션을 이용한 위치 안내 시스템 및 그 방법
CN106233184B (zh) * 2014-03-31 2019-12-20 伟雷股份公司 透过汽车挡风玻璃显示信息的方法及其实施装置
US9720259B2 (en) * 2014-10-13 2017-08-01 William Hart Eyewear pupilometer
US20160323722A1 (en) * 2014-11-12 2016-11-03 Katherine Rose Kovarik Method and System for Improving the Safety of Driving While Communicating
JP2016161479A (ja) 2015-03-04 2016-09-05 株式会社ゼンリンデータコム ナビゲーションシステム及びナビゲーション方法
DE102016203185A1 (de) * 2015-03-11 2016-09-15 Hyundai Mobis Co., Ltd. Head-Up-Display und Steuerverfahren dafür
JP2016173802A (ja) 2015-03-18 2016-09-29 株式会社ゼンリンデータコム 経路案内装置
KR20160120104A (ko) * 2015-04-07 2016-10-17 엘지전자 주식회사 차량용 표시장치 및 그것의 제어방법
KR101916993B1 (ko) * 2015-12-24 2018-11-08 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어방법
JP6272375B2 (ja) 2016-03-18 2018-01-31 株式会社Ｓｕｂａｒｕ 車両用表示制御装置
CN206155363U (zh) * 2016-09-28 2017-05-10 马文强 一种眼动行为分析及车辆屏幕控制装置
JP6523561B1 (ja) * 2017-09-15 2019-06-05 三菱電機株式会社 照射装置および照射方法
KR102073861B1 (ko) * 2018-01-17 2020-02-05 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016095688A (ja) * 2014-11-14 2016-05-26 株式会社デンソー 車載用情報表示装置
US20170054842A1 (en) 2015-08-21 2017-02-23 Lg Electronics Inc. Apparatus and method for controlling portable device in vehicle

Also Published As

Publication number Publication date
WO2019107730A1 (ko) 2019-06-06
KR20190069633A (ko) 2019-06-20
EP3666579A4 (en) 2020-10-21
EP3666579A1 (en) 2020-06-17
US11440408B2 (en) 2022-09-13
CN111727132B (zh) 2023-07-25
US20210197665A1 (en) 2021-07-01
CN111727132A (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
KR102366723B1 (ko) 운송 수단으로 시야 확보 영상을 제공하는 방법, 이를 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
CN107914713B (zh) 车辆用显示装置及包括其的车辆
KR101895485B1 (ko) 운전 보조 장치 및 그 제어 방법
US9639990B2 (en) Display control apparatus, computer-implemented method, storage medium, and projection apparatus
KR101579100B1 (ko) 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
CN106915302B (zh) 用于车辆的显示装置及其控制方法
US10748428B2 (en) Vehicle and control method therefor
US11127373B2 (en) Augmented reality wearable system for vehicle occupants
KR101949358B1 (ko) 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
KR101855940B1 (ko) 차량용 증강현실 제공 장치 및 그 제어방법
KR20160142167A (ko) 차량용 디스플레이 장치 및 이를 구비한 차량
KR20150141805A (ko) 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
KR102266354B1 (ko) 다중설정을 위한 생체인증 장치 및 방법
JP2017007481A (ja) 車載ヘッドアップディスプレイ装置及び車載表示システム
KR101708676B1 (ko) 운전자 보조 장치 및 그 제어방법
KR102446387B1 (ko) 전자 장치 및 그의 텍스트 제공 방법
KR101767507B1 (ko) 차량용 디스플레이 장치 및 그 제어 방법
KR101850857B1 (ko) 디스플레이 장치 및 이를 포함하는 차량
KR102043954B1 (ko) 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법
KR20200067120A (ko) 차량 제어장치 및 차량 제어방법
KR102089955B1 (ko) 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법
KR102192146B1 (ko) 차량 제어장치 및 차량 제어방법
KR102480989B1 (ko) 차량용 디스플레이 장치 및 그 동작 방법
KR102541416B1 (ko) 실시간 교통정보를 반영한 헤드업 디스플레이 영상 표시 방법 및 장치
US20230141584A1 (en) Apparatus for displaying at least one virtual lane line based on environmental condition and method of controlling same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right