KR20190091230A - 전자 장치 및 그의 구동 방법 - Google Patents

전자 장치 및 그의 구동 방법 Download PDF

Info

Publication number
KR20190091230A
KR20190091230A KR1020190085374A KR20190085374A KR20190091230A KR 20190091230 A KR20190091230 A KR 20190091230A KR 1020190085374 A KR1020190085374 A KR 1020190085374A KR 20190085374 A KR20190085374 A KR 20190085374A KR 20190091230 A KR20190091230 A KR 20190091230A
Authority
KR
South Korea
Prior art keywords
user
area
motion
gaze
specific area
Prior art date
Application number
KR1020190085374A
Other languages
English (en)
Inventor
맹지찬
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020190085374A priority Critical patent/KR20190091230A/ko
Publication of KR20190091230A publication Critical patent/KR20190091230A/ko
Priority to US16/559,431 priority patent/US20190392195A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/34—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G06K9/00221—
    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B60K2370/788—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/10—Indexing codes relating to particular vehicle conditions
    • B60Q2300/14—Other vehicle conditions
    • B60Q2300/142—Turn signal actuation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Ophthalmology & Optometry (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

탑재된 인공지능(artificial intelligence, AI) 알고리즘 및/또는 기계학습(machine learning) 알고리즘을 실행하며, 5G 통신 환경에서 다른 전자 기기들 및 외부 서버와 통신할 수 있는 전자 장치 및 그의 구동 방법이 개시된다. 본 전자 장치는 카메라, 소정의 콘텐츠를 디스플레이하는 디스플레이 및 사용자의 시선, 표정 및 모션 중 적어도 하나를 카메라를 통해 인식하고, 인식된 사용자의 시선, 표정 및 모션 중 적어도 하나에 기초하여 사용자에 대한 인터랙션 명령을 결정하고, 결정된 인터랙션 명령을 수행하는 프로세서를 포함한다. 이에 따라, 사용자 편의가 제고될 수 있다.

Description

전자 장치 및 그의 구동 방법{ELECTRONIC APPARATUS AND OPERATING METHOD THEREOF}
본 발명은 전자 장치 및 그의 구동 방법에 관한 것으로, 더욱 상세하게는 사용자의 반응에 기초하여 구동하는 전자 장치 및 그의 구동 방법에 관한 것이다.
전자 장치는 주로 반도체를 실장한 장치로, 디스플레이 장치, 차량에 탑재된 장치, 모바일 장치, 컴퓨터, 로봇 등을 포함할 수 있으며, 기술의 발전에 따라 사용자 편의성, 장치 안정성 및 효율성을 고려한 다양한 전자 장치가 끊임없이 등장하고 있는 실정이다.
선행 기술 1에 개시된 멀티미디어 장치는 사용자 제스쳐를 인식하여 인식된 사용자 제스쳐에 기초한 환경 설정 메뉴를 제공하며, 제스쳐 인식이 실패하는 경우 제스쳐를 인식할 수 있는 가이드 메시지를 제공한다.
다만, 상기 멀티미디어 장치의 경우 사용자의 제스쳐만 인식 가능하며, 인식된 제스쳐도 장치의 환경 설정을 위해서만 이용됨으로써, 다양한 사용자의 반응을 인식하지 못하는 한계가 있다.
선행 기술 2에 개시된 전자 장치는 사용자가 전자 장치로 접근하는 경우, 사용자의 모션을 트래킹한다.
다만, 선행 기술 2에 개시된 전자 장치는 사용자의 모션을 정확하게 인식하기 위한 방법을 제공할 뿐, 사용자의 시선 및 표정 등을 고려한 사용자 친화적 서비스를 제공하지 못하는 한계가 있다.
선행 기술 1 : 공개특허공보 제10-2012-0051211호(2012.5.22 공개) 선행 기술 2 : 공개특허공보 제10-2012-0080070(2012.7.16 공개)
본 발명이 해결하고자 하는 과제는 콘텐츠를 바라보는 사용자의 다양한 반응에 기초하여 사용자 맞춤형 오퍼레이션을 수행하는 전자 장치 및 그의 구동 방법을 제공하는데 있다.
본 발명의 또 다른 과제는 사용자의 시선, 표정 및 모션을 인식하여 사용자의 필요를 신속하게 파악하고 서비스하는 전자 장치 및 그의 구동 방법을 제공하는데 있다.
본 발명의 또 다른 과제는 사용자의 반응에 기초하여 차량 운행시 사각에 위치한 보행자 및 장애물의 위치를 파악하는 전자 장치 및 그의 구동 방법을 제공하는데 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 일 실시 예에 따른 전자 장치의 구동 방법은 사용자의 반응에 기초하여 사용자를 위한 인터랙션 구동을 수행할 수 있다.
구체적으로, 상기 전자 장치의 구동 방법은 카메라의 촬영 범위 내에 위치한 사용자의 시선, 표정 및 모션 중 적어도 하나를 인식하는 단계, 인식된 사용자의 시선, 표정 및 모션 중 적어도 하나에 기초하여 사용자에 대한 인터랙션 명령을 결정하는 단계 및 결정된 인터랙션 명령을 수행하는 단계를 포함할 수 있다.
또한, 상기 구동 방법은 기 저장된 인식 모델에 기초하여 촬영된 상기 사용자를 인식하는 단계를 더 포함할 수 있다.
여기서, 상기 인터랙션 명령을 결정하는 단계는 인식된 상기 사용자의 시선, 표정 및 모션 중 적어도 하나에 기초하여, 상기 사용자에 대한 인터랙션 명령을 기 저장된 반응 모델에 따라 결정하는 단계를 포함할 수 있다.
상기 구동 방법은 상기 사용자의 시선, 표정 및 모션 중 적어도 하나를 인식하는 단계 이전에, 소정의 콘텐츠를 디스플레이하는 단계를 더 포함할 수 있다.
몇몇 실시 예에서, 상기 인식하는 단계는, 사용자의 시선이 콘텐츠의 특정 영역에 소정 타임 구간 동안 포커싱되는 경우, 사용자의 눈 찡그림 표정 또는 특정 영역에 근접하기 위한 모션을 인식하는 단계를 포함할 수 있다.
또한, 상기 인터랙션 명령을 결정하는 단계는, 인식된 표정 또는 모션에 기초하여 특정 영역을 확대하여 디스플레이하기 위한 인터랙션 명령을 결정하는 단계를 포함할 수 있다.
몇몇 실시 예에서, 상기 인식하는 단계는, 사용자의 시선이 콘텐츠의 특정 영역에 소정 타임 구간 동안 포커싱되는 경우, 특정 영역을 가리키는 상기 사용자의 모션을 인식하는 단계를 포함할 수 있다.
또한, 상기 인터랙션 명령을 결정하는 단계는, 인식된 모션에 기초하여 특정 영역에 관련된 정보를 디스플레이하기 위한 인터랙션 명령을 결정하는 단계를 포함할 수 있다.
상기 결정된 인터랙션 명령을 수행하는 단계는, 특정 영역에 관련된 정보를 디스플레이하기 위한 인터랙션 명령이 결정되는 경우, 디스플레이 영역을 복수의 구분 영역으로 분할하는 단계 및 제1 구분 영역에 상기 콘텐츠를 디스플레이하고, 제2 구분 영역에 특정 영역에 관련된 정보를 디스플레이하는 단계를 포함할 수 있다.
상기 제2 구분 영역에 특정 영역에 관련된 정보를 디스플레이하는 단계는, 특정 영역에 표시된 물품과 관련된 구매 정보를 제2 구분 영역에 디스플레이하는 단계를 포함할 수 있다.
아울러, 차량에 상기 전자 장치가 적용되는 경우, 상기 인터랙션 명령을 결정하는 단계는, 인식된 사용자의 시선이 소정 타임 구간 동안 차량 내부의 프론트 필러(Front Pillar) 영역에 포커싱되는 경우, 프론트 필러 영역에 대응되는 차량 외부를 촬영하는 단계 및 프론트 필러 영역에 대응되는 차량 외부의 영상을 프론트 필러 영역에 디스플레이하기 위한 인터랙션 명령을 결정하는 단계를 포함할 수 있다.
상기 과제를 달성하기 위하여, 본 발명의 일 실시 예에 따른 전자 장치는 카메라, 소정의 콘텐츠를 디스플레이하는 디스플레이 및 사용자의 시선, 표정 및 모션 중 적어도 하나를 카메라를 통해 인식하고, 인식된 사용자의 시선, 표정 및 모션 중 적어도 하나에 기초하여 사용자에 대한 인터랙션 명령을 결정하고, 결정된 인터랙션 명령을 수행하는 프로세서를 포함할 수 있다.
상기 과제를 달성하기 위하여, 본 발명의 일 실시 예에 따른 차량에 탑재된 전자 장치는 차량의 내부에 위치한 사용자를 촬영하는 제1 카메라, 차량의 외부를 촬영하는 제2 카메라 및 제1 카메라를 통해 사용자의 시선, 표정 및 모션 중 적어도 하나를 인식하고, 인식된 사용자의 시선, 표정 및 모션 중 적어도 하나에 기초하여 인터랙션 명령을 결정하고, 결정된 인터랙션 명령을 수행하는 프로세서를 포함하며, 프로세서는 사용자의 시선이 차량 내부의 프론트 필러(Front Pillar) 영역에 소정 타임 구간 동안 포커싱되는 경우, 프론트 필러 영역에 대응되는 차량 외부를 제2 카메라를 이용하여 촬영하고, 프론트 필러 영역에 대응되는 차량 외부의 영상을 프론트 필러 영역에 디스플레이하기 위한 인터랙션 명령을 결정할 수 있다.
본 발명의 다양한 실시 예에 따르면 아래와 같은 효과가 도출될 수 있다.
첫째로, 콘텐츠를 바라보는 사용자의 다양한 반응에 기초하여 사용자 맞춤형 오퍼레이션을 수행하는 전자 장치가 제공됨으로써, 사용자의 제품 사용에 대한 편의가 제고될 수 있다.
둘째로, 사용자의 반응에 의해 사용자의 필요를 신속하게 파악하고 대응할 수 있으므로, 사용자 편의가 제공될 수 있고 제품 사용성에 추가적 가치가 제공될 수 있다.
셋째로, 차량 운행시 차량 측전방 영역의 사각에 배치된 보행자 또는 장애물의 위치가 사용자의 간단한 모션에 의해 표시됨으로써, 사용자 편의가 제고될 수 있으며, 차량 운행 안정성이 향상될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 하나 이상의 전자 장치 및 하나 이상의 시스템이 서로 연결되는 네트워크 환경을 설명하기 위한 개략도,
도 2는 본 발명의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블록도,
도 3 내지 도 6은 본 발명의 다양한 실시 예에 따른 사용자와 인터랙션을 수행하는 전자 장치의 구동을 설명하기 위한 도면들, 그리고,
도 7은 본 발명의 일 실시 예에 따른 전자 장치의 구동 방법을 나타내는 시퀀스도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 동일하거나 유사한 구성요소에는 동일 유사한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치(100), 차량에 탑재된 전자 장치(200) 및 외부 시스템(300)이 네트워크(400)를 통해 연결되는 환경을 설명하기 위한 개략도이다.
전자 장치(100)는 디스플레이 장치를 포함할 수 있다. 선택적 실시 예로 상기 전자 장치(100)는 카메라를 구비한 이동 단말, 냉장고, 컴퓨터, 모니터 등을 포함할 수 있다. 전자 장치(100)는 통신부(도 2의 110)를 구비하여 네트워크(400)를 통해 외부 시스템(300)과 통신할 수 있다. 여기서, 외부 시스템(300)은 고속으로 딥러닝 연산을 수행하는 시스템 및 다양한 서버/시스템 등을 포함할 수 있다.
차량에 탑재된 전자 장치(200)는 ECU(Electric Control Unit), AVN(Audio Video Navigation) 모듈, 카메라, 디스플레이, 프로젝터 등을 포함할 수 있으며, 네트워크(400)를 통해 외부 시스템(300)과 통신할 수 있다. 여기서, 외부 시스템(300)은 고속으로 딥러닝 연산을 수행하는 시스템, 텔레매틱스 시스템, 자율 주행 차량을 제어하는 시스템 등을 포함할 수 있다.
상기 전자 장치들(100, 200) 및 외부 시스템(300)은 모두 5G 모듈을 탑재하여 100Mbps 내지 20Gbps(또는, 그 이상) 속도로 데이터를 송수신할 수 있어서 대용량의 동영상 파일을 다양한 기기로 전송할 수 있으며, 저전력으로 구동되어 전력 소비를 최소화할 수 있다.
이하에서는 상기 전자 장치(100)의 구성을 도 2를 참고하여 설명하기로 한다.
전자 장치(100)는 통신부(110), 입력부(120), 센싱부(130), 출력부(140), 저장부(150), 전원공급부(160) 및 프로세서(190)를 포함할 수 있다. 도 2에 도시된 구성요소들은 전자 장치(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 전자 장치(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
먼저, 통신부(110)는 전자 장치(100) 및 하나 이상의 통신기기들 사이의 통신을 수행하기 위한 모듈이다. 만약, 전자 장치(100)가 일반적인 가정에 배치된 경우, 전자 장치(100)는 다양한 통신 기기들(가령, 냉장고, IPTV(Internet Protocol TeleVision), 블루투스 스피커, AI(Artificial Intellingence) 스피커, 이동 단말 등)과 홈네트워크를 구성할 수 있다.
상기 통신부(110)는 이동 통신 모듈 및 근거리 통신 모듈을 포함할 수 있다. 먼저, 이동 통신 모듈은 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced), 5G(Generation) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 또한, 통신부(110)는 근거리 통신 모듈을 포함할 수 있다. 여기서, 근거리 통신 모듈은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여 근거리 통신을 수행할 수 있다.
또한, 통신부(110)는 각종 사물 지능 통신(IoT(Internet of Things), IoE(Internet of Everything), IoST(Internet of Small Things) 등)을 지원할 수 있으며, 통신부(110)는 M2M(Machine to Machine) 통신, V2X(Vehicle to Everything Communication) 통신, D2D(Device to Device) 통신 등을 지원할 수 있다.
입력부(120)는 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 123) 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 상기 입력부(120)는 상기 카메라(121) 및 마이크(123)를 복수로 포함할 수 있다. 카메라(121)는 사용자(가령, 유저, 동물 등)를 촬영할 수 있다.
센싱부(130)는 전자 장치(100) 내 정보, 전자 장치(100)를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(130)는 거리 감지 센서(131, 가령, 근접센서(proximity sensor), PIR(Passive Infrared) 센서, 라이다(Lidar sensor) 센서 등), 무게 감지 센서, 조도 센서(illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 123 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 전자 장치(100)는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
출력부(140)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이(141, 복수로 구현될 수 있음), 프로젝터(복수로 구현될 수 있음), 하나 이상의 발광 소자, 음향 출력부, 및 햅팁 모듈 중에서 적어도 하나를 포함할 수 있다.
여기서, 디스플레이(141)는 소정의 영상을 디스플레이할 수 있으며, 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린으로 구현될 수 있다. 이러한 터치 스크린은, 전자 장치(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 전자 장치(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
저장부(150)는 전자 장치(100)의 다양한 기능을 지원하는 데이터를 저장한다. 저장부(150)는 전자 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 전자 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드될 수 있다. 또한, 저장부(150)는 전자 장치(100)와 인터랙션을 수행하려는 사용자 정보를 저장할 수 있다. 상기 사용자 정보는 인식된 사용자가 누구인지 식별하는데 사용될 수 있다.
아울러, 저장부(150)는 인공 지능, 머신 러닝, 인공 신경망을 이용하여 연산을 수행하는데 필요한 정보를 저장할 수 있다. 본 명세서에서는 프로세서(190)가 저장부(150)에 저장된 모델들(가령, 시선 트래킹 모델, 인식 모델, 반응 모델 등)을 이용하여 자체적으로 머신 러닝 또는 인공 신경망 연산을 수행하는 것으로 상정한다. 선택적 실시 예로 외부 시스템(도 1의 300)이 인공 지능, 머신 러닝, 인공 신경망 연산 등을 수행하고, 전자 장치(100)가 연산 결과를 이용하는 것도 구현상 가능하다.
이하에서는 참고적으로 인공 지능, 머신 러닝, 인공 신경망에 대해 설명하기로 한다. 인공 지능(artificial intelligence, AI)은 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미한다.
머신 러닝은 인공지능의 한 분야로, 컴퓨터에 명시적인 프로그램 없이 배울 수 있는 능력을 부여하는 연구 분야이다. 구체적으로 머신 러닝은, 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이라 할 수 있다. 머신 러닝의 알고리즘들은 엄격하게 정해진 정적인 프로그램 명령들을 수행하는 것이라기보다, 입력 데이터를 기반으로 예측이나 결정을 이끌어내기 위해 특정한 모델을 구축하는 방식을 취한다. 용어 '머신 러닝'은 용어 '기계 학습'과 혼용되어 사용될 수 있다.
기계 학습에서 데이터를 어떻게 분류할 것인가를 놓고, 많은 기계 학습 알고리즘이 개발되었다. 의사결정나무(Decision Tree)나 베이지안 망(Bayesian network), 서포트벡터머신(SVM: support vector machine), 그리고 인공 신경망(ANN: Artificial Neural Network) 등이 대표적이다.
인공신경망은 생물학적 뉴런의 동작원리와 뉴런간의 연결 관계를 모델링한 것으로 노드(node) 또는 처리 요소(processing element)라고 하는 다수의 뉴런들이 레이어(layer) 구조의 형태로 연결된 정보처리 시스템이다.
인공 신경망은 기계 학습에서 사용되는 모델로써, 기계학습과 인지과학에서 생물학의 신경망(동물의 중추신경계 중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘이다.
구체적으로, 인공신경망은 시냅스(synapse)의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 용어 인공신경망은 용어 뉴럴 네트워크(Neural Network)와 혼용되어 사용될 수 있다.
인공신경망은 복수의 레이어(layer)를 포함할 수 있고, 레이어들 각각은 복수의 뉴런(neuron)을 포함할 수 있다. 또한 인공신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다.
인공 신경망은 일반적으로 다음의 세가지 인자, 즉 (1) 다른 레이어의 뉴런들 사이의 연결 패턴 (2) 연결의 가중치를 갱신하는 학습 과정 (3) 이전 레이어로부터 수신되는 입력에 대한 가중 합으로부터 출력값을 생성하는 활성화 함수에 의해 정의될 수 있다.
인공 신경망은, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network), MLP(Multilayer Perceptron), CNN(Convolutional Neural Network)와 같은 방식의 네트워크 모델들을 포함할 수 있으나, 이에 한정되지 않는다. 본 명세서에서 용어 '레이어'는 용어 '계층'과 혼용되어 사용될 수 있다.
인공신경망은 계층 수에 따라 단층 신경망(Single-Layer Neural Networks)과 다층 신경망(Multi-Layer Neural Networks)으로 구분된다. 일반적인 단층 신경망은, 입력층과 출력층으로 구성된다. 또한 일반적인 다층 신경망은 입력층(Input Layer)과 하나 이상의 은닉층(Hidden Layer), 출력층(Output Layer)으로 구성된다.
입력층은 외부의 자료들을 받아들이는 층으로서, 입력층의 뉴런 수는 입력되는 변수의 수와 동일하며, 은닉층은 입력층과 출력층 사이에 위치하며 입력층으로부터 신호를 받아 특성을 추출하여 출력층으로 전달한다. 출력층은 은닉층으로부터 신호를 받고, 수신한 신호에 기반한 출력 값을 출력한다. 뉴런간의 입력신호는 각각의 연결강도(가중치)와 곱해진 후 합산된다. 선택적으로 비아스(Bias)가 추가적으로 합산될 수 있으며, 이 합이 뉴런의 임계치보다 크면 뉴런이 활성화되어 활성화 함수를 통하여 획득한 출력값을 출력한다.
한편 입력층과 출력 층 사이에 복수의 은닉층을 포함하는 심층 신경망은, 기계 학습 기술의 한 종류인 딥 러닝을 구현하는 대표적인 인공 신경망일 수 있다. 한편 용어 '딥 러닝'은 용어 '심층 학습'과 혼용되어 사용될 수 있다.
인공 신경망은 훈련 데이터(training data)를 이용하여 학습(training)될 수 있다. 여기서 학습이란, 입력 데이터를 분류(classification)하거나 회귀분석(regression)하거나 군집화 (clustering) 하는 등의 목적을 달성하기 위하여, 학습 데이터를 이용하여 인공 신경망의 파라미터(parameter)를 결정하는 과정을 의미할 수 있다. 인공 신경망의 파라미터의 대표적인 예시로써, 시냅스에 부여되는 가중치(weight)나 뉴런에 적용되는 편향(bias)을 들 수 있다.
훈련 데이터에 의하여 학습된 인공 신경망은, 입력 데이터를 입력 데이터가 가지는 패턴에 따라 분류하거나 군집화 할 수 있다. 훈련 데이터를 이용하여 학습된 인공 신경망을, 본 명세서에서는 학습 모델(a trained model)이라 명칭 할 수 있다.
다음은 인공 신경망의 학습 방식에 대하여 설명한다. 인공 신경망의 학습 방식은 크게, 지도 학습, 비 지도 학습, 준 지도 학습(Semi-Supervised Learning), 강화 학습(Reinforcement Learning)으로 분류될 수 있다.
지도 학습은 훈련 데이터로부터 하나의 함수를 유추해내기 위한 기계 학습의 한 방법이다. 그리고 이렇게 유추되는 함수 중, 연속 적인 값을 출력하는 것을 회귀분석(Regression)이라 하고, 입력 벡터의 클래스(class)를 예측하여 출력하는 것을 분류(Classification)라고 할 수 있다. 지도 학습에서는, 훈련 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시킨다.
여기서 레이블이란, 훈련 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 훈련 데이터가 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과값)을 레이블 또는 레이블링 데이터(labeling data)이라 명칭 한다. 또한 본 명세서에서는, 인공 신경망의 학습을 위하여 훈련 데이터에 레이블을 설정하는 것을, 훈련 데이터에 레이블링 데이터를 레이블링(labeling) 한다고 명칭 한다. 이 경우 훈련 데이터와 훈련 데이터에 대응하는 레이블)은 하나의 트레이닝 셋(training set)을 구성하고, 인공 신경망에는 트레이닝 셋의 형태로 입력될 수 있다.
한편 훈련 데이터는 복수의 특징(feature)을 나타내고, 훈련 데이터에 레이블이 레이블링 된다는 것은 훈련 데이터가 나타내는 특징에 레이블이 달린다는 것을 의미할 수 있다. 이 경우 훈련 데이터는 입력 객체의 특징을 벡터 형태로 나타낼 수 있다.
인공 신경망은 훈련 데이터와 레이블링 데이터를 이용하여, 훈련 데이터와 레이블링 데이터의 연관 관계에 대한 함수를 유추할 수 있다. 그리고, 인공 신경망에서 유추된 함수에 대한 평가를 통해 인공 신경망의 파라미터가 결정(최적화)될 수 있다.
비 지도 학습은 기계 학습의 일종으로, 훈련 데이터에 대한 레이블이 주어지지 않는다.
구체적으로, 비 지도 학습은, 훈련 데이터 및 훈련 데이터에 대응하는 레이블의 연관 관계 보다는, 훈련 데이터 자체에서 패턴을 찾아 분류하도록 인공 신경망을 학습시키는 학습 방법일 수 있다. 비 지도 학습의 예로는, 군집화 또는 독립 성분 분석(Independent Component Analysis)을 들 수 있다. 본 명세서에서 용어 '군집화'는 용어 '클러스터링'과 혼용되어 사용될 수 있다. 비지도 학습을 이용하는 인공 신경망의 일례로 생성적 적대 신경망(GAN: Generative Adversarial Network), 오토 인코더(AE: Autoencoder)를 들 수 있다.
생성적 적대 신경망이란, 생성기(generator)와 판별기(discriminator), 두 개의 서로 다른 인공지능이 경쟁하며 성능을 개선하는 머신 러닝 방법이다. 이 경우 생성기는 새로운 데이터를 창조하는 모형으로, 원본 데이터를 기반으로 새로운 데이터를 생성할 수 있다.
또한 판별기는 데이터의 패턴을 인식하는 모형으로, 입력된 데이터가 원본 데이터인지 또는 생성기에서 생성한 새로운 데이터인지 여부를 감별하는 역할을 수행할 수 있다. 그리고 생성기는 판별기를 속이지 못한 데이터를 입력 받아 학습하며, 판별기는 생성기로부터 속은 데이터를 입력 받아 학습할 수 있다. 이에 따라 생성기는 판별기를 최대한 잘 속이도록 진화할 수 있고, 판별기는 원본 데이터와 생성기에 의해 생성된 데이터를 잘 구분하도록 진화할 수 있다.
다시 도 2로 돌아가서, 상기 저장부(150)는 인식 모델(151)에 관련된 구동 소스 코드 및 반응 모델(153)에 관련된 구동 소스 코드를 저장할 수 있다.
여기서, 인식 모델(151)은 사용자를 인식하기 위해 필요한 정보일 수 있으며, 카메라(121)를 통해 직접 사용자를 인식하거나 카메라(121)에 의해 촬영된 영상에서 사용자를 인식할 때 프로세서(190)에 의해 메모리에 로딩되어 연산 수행에 사용될 수 있다.
또한, 반응 모델(153)은 사용자에 관한 인터랙션 명령을 결정하기 위해 프로세서(190)에 의해 메모리에 로딩되어 연산 수행에 사용될 수 있다. 반응 모델(153)은 사용자가 특정 반응을 하면 이에 대한 의미, 동작 등을 결정하는데 이용될 수 있다.
여기서, 인터랙션 명령은 상기 사용자와의 인터랙션을 수행하기 위한 명령이며, 전자 장치(100)의 자체적으로 사용자와 상호 작용하기 위한 구동을 트리거하는 명령일 수 있으며, 선택적 및 부가적 실시 예로 외부 시스템(도 1의 300)과 통신하기 위한 동작 명령을 포함할 수 있다.
아울러, 상기 저장부(150)는 사용자의 시선을 카메라(121)를 통해 정확하게 트래킹하기 위한 시선 트래킹 모델(미도시)도 포함할 수 있다. 프로세서(190)는 각 모델에 대응되는 소스 코드를 메모리에 로딩하여 프로세싱을 수행할 수 있다.
전원공급부(160)는 프로세서(190)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 전자 장치(100)의 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(160)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다. 상기 배터리는 유선 또는 무선 충전 방식으로 충전될 수 있는데, 무선 충전 방식은 자기 유도 방식 또는 자기 공진 방식을 포함할 수 있다.
프로세서(190)는 전자 장치(100)의 구성들을 컨트롤하는 모듈이다. 상기 프로세서(190)는 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
프로세서(190)는 사용자의 반응을 인식하고 인식된 사용자의 반응에 기초하여 사용자에 대한 인터랙션 명령을 결정하고, 결정된 인터랙션 명령을 수행할 수 있다. 선택적 실시 예로 사용자는 동물, 로봇 등으로 대체될 수 있다. 사용자의 반응은 시선, 표정 및 모션 등을 포함할 수 있으나, 카메라(121)로 인식할 수 있는 동작, 감정 등이라면 다른 것들도 포함할 수 있다.
구체적으로, 프로세서(190)는 사용자의 시선을 카메라(121)를 통해 트래킹할 수 있다. 프로세서(190)는 실시간으로 사용자의 시선을 카메라(121)로 추적할 수 있으며, 선택적 실시 예로 사용자의 시선을 카메라(121)를 통해 촬영하고 촬영된 영상에서 사용자의 시선을 추적할 수 있다. 즉, 프로세서(190)는 사용자의 시선을 인식할 수 있다.
또한, 프로세서(190)는 카메라(121)로 촬영한 사용자의 반응에 기초하여 인터랙션 명령을 결정할 수 있다. 전자 장치(100)가 디스플레이 장치인 경우, 프로세서(190)는 사용자의 시선이 디스플레이되는 콘텐츠의 특정 영역에 소정 타임 구간 동안 포커싱되는 경우, 사용자의 눈 찡그림 표정 또는 상기 특정 영역에 근접하기 위한 모션을 인식할 수 있다. 소정 타임 구간의 경우, 수초로 결정될 수 있으나, 실시 예가 이에 국한되는 것은 아니다. 또한, 상기 표정 및 모션은 실시 예에 따라 다르게 구현될 수 있다.
이 경우, 프로세서(190)는 인식된 표정 또는 모션에 기초하여 특정 영역을 확대하여 디스플레이하기 위한 인터랙션 명령을 결정할 수 있다.
또한, 프로세서(190)는 사용자의 시선이 상기 콘텐츠의 특정 영역에 소정 타임 구간 동안 포커싱되는 경우, 상기 특정 영역을 가리키는 상기 사용자의 모션을 인식할 수 있다.
프로세서(190)는 인식된 모션에 기초하여 특정 영역에 관련된 정보를 디스플레이(141)에 디스플레이하기 위한 인터랙션 명령을 결정할 수 있다.
또한, 상기 프로세서(190)는 특정 영역에 관련된 정보를 디스플레이하기 위한 인터랙션 명령을 결정한 경우, 디스플레이(141)를 복수의 구분 영역으로 분할하고, 제1 구분 영역에 상기 콘텐츠를 디스플레이하고, 제2 구분 영역에 상기 특정 영역에 관련된 정보를 표시하도록 상기 디스플레이(141)를 제어할 수 있다. 여기서, 분할 화면의 수는 실시 예에 따라 다르게 구현될 수 있다.
또한, 프로세서(190)는 저장부(150)에 저장된 콘텐츠의 특정 영역에 대응되는 정보를 이용하여 콘텐츠를 가공 및 재구성하여 사용자에게 제공할 수 있다.
이하에서는 도 3 내지 도 6을 참고하여 본 발명의 다양한 실시 예에 따른 전자 장치(100)의 구동을 설명하기로 한다. 도 3 내지 도 5는 전자 장치(100)가 디스플레이 장치인 것으로 설명하고, 도 6은 전자 장치(100)가 차량에 탑재된 전자 장치인 것으로 설명한다.
도 3을 참고하면, 전자 장치(100)는 카메라(121)를 구비하여 사용자를 촬영할 수 있다.
전자 장치(100)는 디스플레이(141) 상에 소정의 영상(가령, 영화의 극중 인물 소개 영상)을 디스플레이할 수 있다. 여기서, 전자 장치(100)는 특정 인물(320)을 디스플레이(141)에 표시할 수 있으며, 특정 문구(310a)를 디스플레이(141)에 표시할 수 있다.
사용자(USER)는 특정 문구(310a)를 인식하지 못할 수 있어서, 특정 문구(310a)를 바라보면서 눈 찡그림 표정을 지을 수 있다. 구체적으로, 사용자(USER)는 눈 주변의 근육을 찡그릴 수 있다(330, USER FACE). 그러면서, 사용자(USER)는 "잘 안보이네"라는 음성을 발할 수도 있다.
전자 장치(100)는 카메라(121)로 유저(USER)를 모니터링하면서 촬영된 사용자(USER)의 시선, 표정 및/또는 모션 중 적어도 하나에 기초하여 수행할 인터랙션 명령을 결정할 수 있는데, 구체적으로, 전자 장치(100)의 프로세서(190)는 특정 문구(310b)가 확대(줌인)되어 디스플레이(141)에 표시되도록 디스플레이(141)를 제어할 수 있다. 선택적 실시 예로, 프로세서(190)는 특정 인물(320)의 주변에 특정 문구(310a)를 확대하는 방식으로 디스플레이(141)를 제어할 수도 있다.
프로세서(190)는 사용자의 시선뿐만 아니라 표정 및/또는 모션을 모두 고려하여 인터랙션 명령을 결정할 수 있다. 가령, 프로세서(190)는 유저(USER)가 특정 영역에 시선을 포커싱하고, 특정 영역에 근접하기 위한 모션을 인식하는 경우, 인식된 모션에 기초하여 특정 영역을 확대하여 디스플레이하도록 디스플레이(141)를 제어할 수 있다.
프로세서(190)는 사용자(USER)를 인식할 때, 저장부(150)에 저장된 (사용자) 인식 모델(151)을 이용하여 사용자(USER)를 인식할 수 있다. 가령, 프로세서(190)는 지도 학습 또는 비지도 학습으로 생성된 인식 모델(151)에 기초하여 영상에서 사용자(USER)를 특정하여 인식할 수 있다. 선택적 실시 예로 상기 인식 모델(151)은 다양한 신경망 알고리즘 및 기계 학습을 수행하는데 필요한 컴퓨터 프로그램을 포함할 수 있다.
또한, 프로세서(190)는 인식된 사용자(USER)의 인터랙션 명령을 (사용자) 반응 모델(153)에 기초하여 결정할 수 있다. 즉, 프로세서(190)는 지도 학습 또는 비지도 학습으로 생성된 (사용자) 반응 모델(153)에 기초하여 인터랙션 명령을 결정할 수 있다. 이에, 프로세서(190)는 유저(USER) 맞춤형으로 특정 반응에 대응되는 인터랙션 명령을 결정할 수 있다. 선택적 실시 예로 상기 반응 모델(151)은 다양한 신경망 알고리즘 및 기계 학습을 수행하는데 필요한 컴퓨터 프로그램을 포함할 수 있다.
도 4를 참고하면, 전자 장치(100)는 카메라(121)를 구비하여 사용자(USER)를 촬영할 수 있다. 전자 장치(100)는 사용자(USER)의 시선을 트래킹할 수 있으며, 구현 예에 따라서는 시선 트래킹 모델이 저장부(150)에 저장되고 메모리에 로딩되어 프로세서(190)에 의해 연산이 수행될 수 있다.
프로세서(100)는 콘텐츠를 디스플레이(141)에 출력할 수 있으며, 프로세서(100)는 상기 콘텐츠를 외부 시스템(300) 또는 저장부(150)에서 획득할 수 있다. 획득되는 정보는 다양하게 구현될 수 있다.
프로세서(100)는 사용자(USER)의 시선이 소정 타임 구간 동안 특정 콘텐츠의 특정 영역(420a)에 머무르고, 사용자(USER)가 콘텐츠의 특정 영역(420a)을 가리키는 모션(손가락 또는 포인터 등을 통해)을 수행하면, 사용자(USER)와 인터랙션하기 위한 명령을 세팅할 수 있다.
구체적으로, 프로세서(100)는 콘텐츠의 특정 영역(420a) 옆에 특정 영역(420a)에 관련된 정보인 제조사 정보 및 모델명 정보를 일 영역(410)에 표시할 수 있다.
도 5를 참고하면, 프로세서(100)는 사용자(USER)의 시선이 소정 타임 구간 동안 콘텐츠의 특정 영역(420a)에 머무르고, 사용자(USER)가 특정 영역을 가리키는 경우, 특정 영역(420a, 또는 특정 영역에 표시된 아이템)에 관련된 정보를 디스플레이하기 위한 인터랙션 명령을 결정한다.
구체적으로, 프로세서(100)는 도 4와 마찬가지로 특정 영역(420a)에 표시된 물품의 제조사 정보 및 모델 정보를 디스플레이(141)에 표시할 수 있다(410).
선택적 실시 예로, 프로세서(190)는 디스플레이(141)의 영역을 가상적으로 분할하고, 분할된 제1 구분 영역에는 콘텐츠의 특정 영역을 디스플레이하고 분할된 제2 구분 영역에는 특정 영역에 관련된 정보를 표시할 수 있다.
더 나아가, 프로세서(190)는 카메라(121)를 통해 사용자(USER)가 통화를 수행하기 위한 모션을 수행하는 경우 이를 인식할 수 있다. 이 경우, 프로세서(190)는 특정 영역(420b)에 표시된 물품과 관련된 구매 정보를 제2 구분 영역(440b)에 표시할 수 있다. 여기서, 상기 구매 정보는 물품 판매 지점 정보(443a) 및 담당 영업 사원의 연락처 정보(443b) 등을 포함할 수 있다.
도 6을 참고하면, 전자 장치(100, 및 도 1의 200)는 차량에 탑재될 수 있다. 전자 장치(100)는 차량 내의 ECU(Electric Control Unit), 디스플레이(543)을 구비한 AVN 모듈, 소위 A 필러라 불리고 차량의 차체와 지붕을 연결하는 기둥 중에서 프론트에 배치된 프론트 필러(FP, Front Pillar)의 내부에 영상을 프로젝팅하는 프로젝터(541) 등을 포함할 수 있으며, 전자 장치(100)는 도 2에 도시된 전자 장치의 구성들을 모두 포함할 수 있다.
먼저, 제1 카메라(121)는 사용자(USER)를 촬영하는 모듈로, 속도계, 계기판 등이 배치된 클러스터에 배치될 수 있으며, 프로젝터(541)는 오버헤드콘솔(541)의 각 사이드(541a, 541b)에 각각 배치될 수 있다.
또한, 전자 장치(100)는 차량 외부를 촬영하는 제2 카메라(미도시)를 더 포함하여, 차량이 회전할 때 또는 차선을 변경할 때, 사각에 배치된 보행자, 장애물(가령, 기물 또는 차량)을 인식할 수 있다.
전자 장치(100)의 프로세서(190)는 제1 카메라(521)를 통해 촬영된 사용자(USER)의 시선, 표정 및/또는 모션 중 적어도 하나에 기초한 인터랙션 명령을 결정하고, 결정된 인터랙션 명령을 수행할 수 있다.
구체적으로, 프로세서(190)는 사용자(USER)의 시선이 소정 타임 구간 동안 차량 내부의 프론트 필러 영역(FP)에 포커싱되는 경우, 프론트 필러 영역(FP)에 대응되는 차량 외부를 제2 카메라를 통해 촬영할 수 있다.
프로세서(190)는 촬영된 차량 외부에 보행자(550a) 또는 장애물을 인식한 경우, 상기 보행자(550a) 또는 장애물에 관한 가시화 정보를 상기 프론트 필러 영역(FP)에 디스플레이하기 위한 인터랙션 명령을 결정할 수 있다. 상기 가시화 정보는 오부 보행자(550a) 또는 장애물을 표시하는 형태 및/또는 경고 알림 소자(550c) 등을 포함할 수 있다. 즉, 프로세서(190)는 프론트 필러 영역(FP)에 대응되는 차량 외부의 영상을 프론트 필러 영역(FP)에 디스플레이할 수 있다. 이에 따라, 자율 주행 차량 또는 운전자 주행 차랑의 사고가 미연에 방지될 수 있다.
아울러, 프로세서(190)는 사용자(USER)의 차량 이용 시간 정보, 차량 습관 정보, 빈도수가 높은 이동 경로 등의 정보에 기초하여 교통이 혼잡한 영역 정보, 사고가 빈번한 영역 정보 등을 모델 정보로 생성하여 저장부(150)에 저장할 수 있다. 선택적 실시 예로 상기 모델 정보는 외부 시스템(도 1의 300)에서 생성하여 외부 시스템(300)에 저장될 수 있다.
또한, 프론트 필러 영역(FP)에 대응되는 차량 외부를 촬영하기 전에, 상기 프론트 필러 영역(FP)에 대응되는 좌측 또는 우측 방향 지시 점멸등이 활성화될 수 있다. 즉, 프로세서(190)는 좌회전/우회전, 차로 변경 등을 수행할 때, 상술한 기능을 전자 장치(100)에 적용할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 전자 장치(100)의 구동 방법을 나타내는 시퀀스도이다.
전자 장치(100)는 카메라의 촬영 범위 내에 위치한 사용자의 반응을 인식한다(S710).
전자 장치(100)는 카메라를 실시간으로 모니터링할 수 있으며, 사용자의 시선을 트래킹하게 할 수 있다. 선택적 실시 예로 전자 장치(100)는 사용자의 시선을 촬영한 영상에서 사용자의 시선을 트래킹할 수 있다.
이때, 전자 장치(100)는 사용자와의 거리를 거리 감지 센서를 이용하여 산출할 수 있다. 전자 장치(100)는 촬영된 영상에서 사용자의 시선이 머무르는 지점을 검출할 수 있으며, 선택적 실시 예로 전자 장치(100)는 카메라의 촬영 포커스를 트래킹하여 사용자의 시선이 머무르는 지점을 검출할 수 있다.
또한, 전자 장치(100)는 카메라를 이용하여 사용자의 표정 및 모션을 인식할 수 있다.
그 후에, 전자 장치(100)는 인식된 사용자의 반응에 기초한 인터랙션 명령을 결정한다(S720).
전자 장치(100)는 트래킹된 상기 사용자의 시선, 표정 및 모션 중 적어도 하나에 기초한 상기 사용자에 대한 인터랙션 명령을 결정할 수 있다.
마지막으로, 전자 장치(100)는 결정된 인터랙션 명령을 수행한다(S730).
아울러, 전자 장치(100)의 구동 방법은 기 저장된 인식 모델에 기초하여 촬영된 상기 사용자를 인식하는 단계를 더 포함할 수 있다. 여기서, 인식 모델은 촬영 영상에서 사용자를 인식하는데 필요한 정보를 포함할 수 있다.
상기 S720 단계는 인식된 상기 사용자에 대한 인터랙션 명령을 기 저장된 반응 모델에 기초하여 결정하는 단계를 포함할 수 있다. 여기서, 반응 모델은 상술한 바 구체적인 설명은 생략하기로 한다.
전자 장치(100)가 디스플레이 장치인 경우, 상기 전자 장치(100)의 구동 방법은 상기 S710 단계 이전에 소정의 콘텐츠를 디스플레이하는 단계를 더 포함할 수 있다. 이 경우, 아래 2 가지의 실시 예가 적용될 수 있다.
첫번째로, 상기 전자 장치(100)의 구동 방법은 사용자의 시선이 콘텐츠의 특정 영역에 소정 타임 구간 동안 포커싱되는 경우, 사용자의 눈 찡그림 표정 또는 상기 특정 영역에 근접하기 위한 모션을 인식하는 단계를 더 포함할 수 있다.
이 경우, 전자 장치(100)는 기 인식된 표정 또는 모션에 기초하여 상기 특정 영역을 확대하여 디스플레이하기 위한 인터랙션 명령을 결정할 수 있다.
두번째로, 상기 전자 장치(100)의 구동 방법은 사용자의 시선이 콘텐츠의 특정 영역에 소정 타임 구간 동안 포커싱되는 경우, 특정 영역을 가리키는 사용자의 모션을 인식하는 단계를 더 포함할 수 있다.
이 경우, 전자 장치(100)는 인식된 모션에 기초하여 특정 영역에 관련된 정보를 디스플레이하기 위한 인터랙션 명령을 결정할 수 있다.
전자 장치(100)는 디스플레이를 가상적으로 분할하여 사용할 수 있다. 구체적으로, 전자 장치(100)는 특정 영역에 관련된 정보를 디스플레이하기 위한 인터랙션 명령이 결정되는 경우, 디스플레이 영역을 복수의 구분 영역으로 분할하고, 제1 구분 영역에 콘텐츠를 디스플레이하고, 제2 구분 영역에 상기 특정 영역에 관련된 정보를 디스플레이할 수 있다.
여기서, 전자 장치(100)는 제2 구분 영역에 특정 영역에 관련된 정보를 디스플레이하는 할 때, 사용자가 통화를 수행하기 위한 모션을 추가적으로 수행하는 경우, 특정 영역에 표시된 물품과 관련된 구매 정보를 상기 제2 구분 영역에 디스플레이할 수 있다.
또한, 상기 전자 장치(100)는 사용자의 시선이 머무는 아이템이 카메라의 촬영 범위 내인 경우, 아이템을 줌인 또는 줌아웃 포커싱할 수 있다. 이에 따라, 사용자가 포커싱하는 콘텐츠를 보다 자세히 살펴볼 수 있는데, 반드시 디스플레이 장치가 아닌 경우에도 상기 콘텐츠가 포커싱될 수 있다.
또한, 상기 전자 장치(100)는 차량에 탑재될 수 있다. 이 경우, ㅅ상기 전자 장치(100)의 구동 방법에서 S720 단계는 트래킹된 사용자의 시선이 소정 타임 구간 동안 차량 내부의 프론트 필러(Front Pillar) 영역에 포커싱되는 경우, 프론트 필러 영역에 대응되는 차량 외부를 촬영하는 단계 및 차량 외부에 위치한 보행자 또는 장애물을 인식하는 경우, 보행자 또는 장애물에 관한 정보를 프론트 필러 영역에 디스플레이하기 위한 인터랙션 명령을 결정하는 단계를 포함할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한, 상기 컴퓨터는 전자 장치(100)의 프로세서(190)을 포함할 수도 있다.
앞에서, 본 발명의 특정한 실시예가 설명되고 도시되었지만 본 발명은 기재된 실시예에 한정되는 것이 아니고, 이 기술 분야에서 통상의 지식을 가진 자는 본 발명의 사상 및 범위를 벗어나지 않고서 다른 구체적인 실시예로 다양하게 수정 및 변형할 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 설명된 실시예에 의하여 정하여 질 것이 아니고 청구범위에 기재된 기술적 사상에 의해 정하여져야 할 것이다.

Claims (16)

  1. 전자 장치의 구동 방법으로서,
    카메라의 촬영 범위 내에 위치한 사용자의 시선, 표정 및 모션 중 적어도 하나를 인식하는 단계;
    인식된 상기 사용자의 시선, 표정 및 모션 중 적어도 하나에 기초하여 상기 사용자에 대한 인터랙션 명령을 결정하는 단계; 및
    결정된 인터랙션 명령을 수행하는 단계를 포함하는, 전자 장치의 구동 방법.
  2. 제1항에 있어서,
    기 저장된 인식 모델에 기초하여 촬영된 상기 사용자를 인식하는 단계를 더 포함하며,
    상기 인터랙션 명령을 결정하는 단계는,
    인식된 상기 사용자의 시선, 표정 및 모션 중 적어도 하나에 기초하여, 상기 사용자에 대한 인터랙션 명령을 기 저장된 반응 모델에 따라 결정하는 단계를 포함하는, 전자 장치의 구동 방법.
  3. 제1항에 있어서,
    상기 사용자의 시선, 표정 및 모션 중 적어도 하나를 인식하는 단계 이전에, 소정의 콘텐츠를 디스플레이하는 단계를 더 포함하는, 전자 장치의 구동 방법.
  4. 제3항에 있어서,
    상기 인식하는 단계는,
    상기 사용자의 시선이 상기 콘텐츠의 특정 영역에 소정 타임 구간 동안 포커싱되는 경우, 상기 사용자의 눈 찡그림 표정 또는 상기 특정 영역에 근접하기 위한 모션을 인식하는 단계를 포함하며,
    상기 인터랙션 명령을 결정하는 단계는,
    상기 인식된 표정 또는 모션에 기초하여 상기 특정 영역을 확대하여 디스플레이하기 위한 인터랙션 명령을 결정하는 단계를 포함하는, 전자 장치의 구동 방법.
  5. 제3항에 있어서,
    상기 인식하는 단계는,
    상기 사용자의 시선이 상기 콘텐츠의 특정 영역에 소정 타임 구간 동안 포커싱되는 경우, 상기 특정 영역을 가리키는 상기 사용자의 모션을 인식하는 단계를 포함하며,
    상기 인터랙션 명령을 결정하는 단계는,
    상기 인식된 모션에 기초하여 상기 특정 영역에 관련된 정보를 디스플레이하기 위한 인터랙션 명령을 결정하는 단계를 포함하는, 전자 장치의 구동 방법.
  6. 제5항에 있어서,
    상기 결정된 인터랙션 명령을 수행하는 단계는,
    상기 특정 영역에 관련된 정보를 디스플레이하기 위한 인터랙션 명령이 결정되는 경우, 디스플레이 영역을 복수의 구분 영역으로 분할하는 단계; 및
    제1 구분 영역에 상기 콘텐츠를 디스플레이하고, 제2 구분 영역에 상기 특정 영역에 관련된 정보를 디스플레이하는 단계를 포함하는, 전자 장치의 구동 방법.
  7. 제6항에 있어서,
    상기 제2 구분 영역에 상기 특정 영역에 관련된 정보를 디스플레이하는 단계는,
    상기 특정 영역에 표시된 물품과 관련된 구매 정보를 상기 제2 구분 영역에 디스플레이하는 단계를 포함하는, 전자 장치의 구동 방법.
  8. 제1항에 있어서,
    상기 인터랙션 명령을 결정하는 단계는,
    인식된 상기 사용자의 시선이 소정 타임 구간 동안 차량 내부의 프론트 필러(Front Pillar) 영역에 포커싱되는 경우, 상기 프론트 필러 영역에 대응되는 차량 외부를 촬영하는 단계; 및
    상기 프론트 필러 영역에 대응되는 차량 외부의 영상을 상기 프론트 필러 영역에 디스플레이하기 위한 인터랙션 명령을 결정하는 단계를 포함하는, 전자 장치의 구동 방법.
  9. 제8항에 있어서,
    상기 프론트 필러 영역에 대응되는 차량 외부를 촬영하는 단계 이전에, 상기 프론트 필러 영역에 대응되는 좌측 또는 우측 방향 지시 점멸등이 활성화되는 단계를 더 포함하는, 전자 장치의 구동 방법.
  10. 전자 장치로서,
    카메라;
    소정의 콘텐츠를 디스플레이하는 디스플레이; 및
    상기 사용자의 시선, 표정 및 모션 중 적어도 하나를 상기 카메라를 통해 인식하고, 인식된 상기 사용자의 시선, 표정 및 모션 중 적어도 하나에 기초하여 상기 사용자에 대한 인터랙션 명령을 결정하고, 결정된 인터랙션 명령을 수행하는 프로세서를 포함하는, 전자 장치.
  11. 제10항에 있어서,
    사용자를 인식하기 위한 인식 모델 및 인식된 사용자에 관한 인터랙션 명령을 결정하기 위한 반응 모델을 저장하는 저장부를 더 포함하는, 전자 장치.
  12. 제10항에 있어서,
    상기 프로세서는,
    상기 사용자의 시선이 상기 콘텐츠의 특정 영역에 소정 타임 구간 동안 포커싱되는 경우, 상기 사용자의 눈 찡그림 표정 또는 상기 특정 영역에 근접하기 위한 모션을 인식하며,
    상기 인식된 표정 또는 모션에 기초하여 상기 특정 영역을 확대하여 디스플레이하기 위한 인터랙션 명령을 결정하는, 전자 장치.
  13. 제10항에 있어서,
    상기 프로세서는,
    상기 사용자의 시선이 상기 콘텐츠의 특정 영역에 소정 타임 구간 동안 포커싱되는 경우, 상기 특정 영역을 가리키는 상기 사용자의 모션을 인식하며,
    상기 인식된 모션에 기초하여 상기 특정 영역에 관련된 정보를 상기 디스플레이에 디스플레이하기 위한 인터랙션 명령을 결정하는, 전자 장치.
  14. 제13항에 있어서,
    상기 프로세서는,
    상기 특정 영역에 관련된 정보를 디스플레이하기 위한 인터랙션 명령을 결정한 경우, 상기 디스플레이를 복수의 구분 영역으로 분할하고, 제1 구분 영역에 상기 콘텐츠를 디스플레이하고, 제2 구분 영역에 상기 특정 영역에 관련된 정보를 표시하도록 상기 디스플레이를 제어하는, 전자 장치.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 특정 영역에 표시된 물품과 관련된 구매 정보를 상기 제2 구분 영역에 표시하도록 상기 디스플레이를 제어하는, 전자 장치.
  16. 차량에 탑재된 전자 장치로서,
    상기 차량의 내부에 위치한 사용자를 촬영하는 제1 카메라;
    상기 차량의 외부를 촬영하는 제2 카메라; 및
    상기 제1 카메라를 통해 상기 사용자의 시선, 표정 및 모션 중 적어도 하나를 인식하고, 인식된 상기 사용자의 시선, 표정 및 모션 중 적어도 하나에 기초하여 인터랙션 명령을 결정하고, 결정된 인터랙션 명령을 수행하는 프로세서를 포함하며,
    상기 프로세서는,
    상기 사용자의 시선이 차량 내부의 프론트 필러(Front Pillar) 영역에 소정 타임 구간 동안 포커싱되는 경우, 상기 프론트 필러 영역에 대응되는 차량 외부를 상기 제2 카메라를 이용하여 촬영하고,
    상기 프론트 필러 영역에 대응되는 차량 외부의 영상을 상기 프론트 필러 영역에 디스플레이하기 위한 인터랙션 명령을 결정하는, 전자 장치.

KR1020190085374A 2019-07-15 2019-07-15 전자 장치 및 그의 구동 방법 KR20190091230A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190085374A KR20190091230A (ko) 2019-07-15 2019-07-15 전자 장치 및 그의 구동 방법
US16/559,431 US20190392195A1 (en) 2019-07-15 2019-09-03 Electronic apparatus and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190085374A KR20190091230A (ko) 2019-07-15 2019-07-15 전자 장치 및 그의 구동 방법

Publications (1)

Publication Number Publication Date
KR20190091230A true KR20190091230A (ko) 2019-08-05

Family

ID=67615932

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190085374A KR20190091230A (ko) 2019-07-15 2019-07-15 전자 장치 및 그의 구동 방법

Country Status (2)

Country Link
US (1) US20190392195A1 (ko)
KR (1) KR20190091230A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112046496A (zh) * 2020-09-04 2020-12-08 华人运通(上海)云计算科技有限公司 一种车辆交互方法及系统
KR102243432B1 (ko) * 2019-11-20 2021-04-21 한국산업기술대학교산학협력단 운전자의 표정 정보에 기반한 차량 제어 방법 및 시스템
WO2021125647A1 (en) * 2019-12-19 2021-06-24 Samsung Electronics Co., Ltd. Method and apparatus for dynamic human-computer interaction
WO2022131413A1 (ko) * 2020-12-18 2022-06-23 주식회사 다성기술 다관절 암을 이용하는 돌봄용 서비스 로봇

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210062955A (ko) * 2019-11-22 2021-06-01 엘지전자 주식회사 사용자인식에 기반한 디바이스의 제어
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
US20230010223A1 (en) * 2021-07-08 2023-01-12 Volvo Car Corporation Integrated modular overhead console system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012051211A (ja) 2010-08-31 2012-03-15 Canon Inc インクジェット記録装置およびインクジェット記録方法
JP2012080070A (ja) 2010-09-30 2012-04-19 Everlight Yi-Guang Technology (Shanghai) Ltd 発光ダイオードパッケージ構造及びその製造方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012051211A (ja) 2010-08-31 2012-03-15 Canon Inc インクジェット記録装置およびインクジェット記録方法
JP2012080070A (ja) 2010-09-30 2012-04-19 Everlight Yi-Guang Technology (Shanghai) Ltd 発光ダイオードパッケージ構造及びその製造方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102243432B1 (ko) * 2019-11-20 2021-04-21 한국산업기술대학교산학협력단 운전자의 표정 정보에 기반한 차량 제어 방법 및 시스템
WO2021125647A1 (en) * 2019-12-19 2021-06-24 Samsung Electronics Co., Ltd. Method and apparatus for dynamic human-computer interaction
CN112046496A (zh) * 2020-09-04 2020-12-08 华人运通(上海)云计算科技有限公司 一种车辆交互方法及系统
WO2022131413A1 (ko) * 2020-12-18 2022-06-23 주식회사 다성기술 다관절 암을 이용하는 돌봄용 서비스 로봇

Also Published As

Publication number Publication date
US20190392195A1 (en) 2019-12-26

Similar Documents

Publication Publication Date Title
KR20190091230A (ko) 전자 장치 및 그의 구동 방법
Alkinani et al. Detecting human driver inattentive and aggressive driving behavior using deep learning: Recent advances, requirements and open challenges
KR102605968B1 (ko) 차량 제어 장치
US10803323B2 (en) Electronic device and method of detecting driving event of vehicle
US11449045B2 (en) Artificial intelligence device and method of diagnosing malfunction using operation log and artificial intelligence model
US11126833B2 (en) Artificial intelligence apparatus for recognizing user from image data and method for the same
Kose et al. Real-time driver state monitoring using a CNN based spatio-temporal approach
KR20180125885A (ko) 차량의 주행 이벤트를 검출하는 전자 장치 및 방법
US11592825B2 (en) Electronic device and operation method therefor
KR20190107621A (ko) 상황 인식에 기반한 어플리케이션 추천을 위한 장치 및 제어 방법
KR102474246B1 (ko) 복수 개의 전자 디바이스를 이용하여 신경망 모델을 처리하는 방법 및 시스템
US20200050894A1 (en) Artificial intelligence apparatus and method for providing location information of vehicle
US11138844B2 (en) Artificial intelligence apparatus and method for detecting theft and tracing IoT device using same
KR102663969B1 (ko) 교통 정보에 기반한 오토 스탑 시스템을 제어하는 인공 지능 장치 및 그 방법
US11710036B2 (en) Artificial intelligence server
US11421610B2 (en) Artificial intelligence apparatus for controlling auto stop system and method therefor
CN112020411B (zh) 用于向用户提供服务的移动机器人装置和方法
KR20190107626A (ko) 인공지능 서버
KR20190094293A (ko) 주행 정보에 기반한 오토 스탑 시스템을 제어하는 인공 지능 장치 및 그 방법
US11769047B2 (en) Artificial intelligence apparatus using a plurality of output layers and method for same
KR102399809B1 (ko) 전자 장치 및 그 제어 방법
US10931813B1 (en) Artificial intelligence apparatus for providing notification and method for same
US11604959B2 (en) Artificial intelligence-based apparatus and method for providing wake-up time and bed time information
KR20210052034A (ko) 생체 정보의 위조 검증 장치 및 방법
US11971972B2 (en) Artificial intelligence apparatus and method for controlling authority to use external device based on user identification using image recognition