KR20190137032A - 전자 장치 및 그의 동작 방법 - Google Patents

전자 장치 및 그의 동작 방법 Download PDF

Info

Publication number
KR20190137032A
KR20190137032A KR1020190148568A KR20190148568A KR20190137032A KR 20190137032 A KR20190137032 A KR 20190137032A KR 1020190148568 A KR1020190148568 A KR 1020190148568A KR 20190148568 A KR20190148568 A KR 20190148568A KR 20190137032 A KR20190137032 A KR 20190137032A
Authority
KR
South Korea
Prior art keywords
occupant
vehicle
owner
electronic device
sensing information
Prior art date
Application number
KR1020190148568A
Other languages
English (en)
Inventor
김현규
송기봉
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020190148568A priority Critical patent/KR20190137032A/ko
Publication of KR20190137032A publication Critical patent/KR20190137032A/ko
Priority to US16/730,895 priority patent/US11170239B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/02—Mechanical actuation
    • G08B13/14—Mechanical actuation by lifting or attempted removal of hand-portable articles
    • G08B13/1427—Mechanical actuation by lifting or attempted removal of hand-portable articles with transmitter-receiver for distance detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0266—System arrangements wherein the object is to detect the exact distance between parent and child or surveyor and item
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Child & Adolescent Psychology (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Emergency Management (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Medical Informatics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량의 내부 환경에 관한 센싱 정보에 기초하여 물체가 탑승자로부터 떨어지는 경우 물체의 오너를 설정하는 방법 및 이를 위한 전자 장치를 제공한다. 본 개시에서는, 전자 장치, 차량, 차량 단말, 및 자율 주행 차량 중 하나 이상은 인공지능(Artificial Intelligence) 모듈, 드론(Unmmaned Aerial Vehicle, UAV), 로봇, 증강 현실(Augmented Reality, AR) 장치, 가상 현실(Virtual Reality, VR) 장치, 5G서비스와 관련된 장치 등과 연계될 수 있다.

Description

전자 장치 및 그의 동작 방법{ELECTRONIC APPARATUS AND OPERATION METHOD THEREOF}
본 개시는 차량 내의 물체의 오너를 설정하는 방법 및 이를 위한 전자 장치에 관한 것이다.
차량에 탑승한 승객이 물체를 차량 내에서 분실하거나 도난당하는 경우가 종종 발생하는 바, 차량 내의 물체의 오너(owner)를 보다 효과적으로 설정하기 위한 필요성이 존재한다.
또한, 자율 주행 차량은 차량 주변의 환경 및 차량 상태를 인식하고, 이에 따라 차량의 주행을 제어할 수 있는 자율 주행 장치가 탑재된 차량을 의미한다. 자율 주행 차량의 연구가 진행됨에 따라, 자율 주행 차량을 이용하여 사용자의 편의성을 증대시킬 수 있는 다양한 서비스에 관한 연구도 함께 진행 중에 있다.
개시된 실시 예들은 전자 장치 및 그의 동작 방법을 개시하고자 한다. 본 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시 예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
본 개시의 일 실시 예에 따른, 전자 장치의 동작 방법은, 차량 내 물체에 관한 센싱 정보 및 물체를 소지하는 탑승자의 동작에 관한 센싱 정보를 획득하는 단계; 획득된 센싱 정보에 기초하여, 물체가 상기 탑승자로부터 떨어지는 경우 물체의 오너(owner)를 설정하는 단계; 및 소정의 상황이 발생하는 경우 물체에 관한 정보를 물체의 오너에게 제공하는 단계를 포함할 수 있다.
다른 일 실시 예에 따라, 전자 장치는, 차량 내 물체에 관한 센싱 정보 및 물체를 소지하는 탑승자의 동작에 관한 센싱 정보를 획득하는 인터페이스; 및 획득된 센싱 정보에 기초하여, 물체가 탑승자로부터 떨어지는 경우 물체의 오너(owner)를 설정하고, 소정의 상황이 발생하는 경우, 출력부를 통해, 물체에 관한 정보를 물체의 오너에게 제공하는 제어부를 포함할 수 있다.
또 다른 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는 상술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 비휘발성 기록매체를 포함한다.
기타 실시 예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 개시에 따르면, 전자 장치는, 차량의 내부 환경에 관한 센싱 정보를 기초로 탑승자로부터 떨어진 물체의 오너를 보다 정확하게 설정할 수 있는 바, 탑승자 편의를 증대할 수 있다. 또한, 전자 장치는 탑승자로부터 떨어지는 물체에 관한 탑승자의 의도를 판단하고, 탑승자의 의도를 기초로 물체의 오너를 설정하는 바, 보다 정확한 오너 설정이 가능할 수 있다.
발명의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당해 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시 예에 따른 AI 장치를 나타낸다.
도 2는 일 실시 예에 따른 AI 서버를 나타낸다.
도 3은 일 실시 예에 따른 AI 시스템을 나타낸다.
도 4는 전자 장치가 동작하는 실시예를 나타낸다.
도 5는 전자 장치가 동작하는 흐름도의 일 실시예를 나타낸다.
도 6은 전자 장치가 탑승자의 오너를 설정하는 일 실시예를 나타낸다.
도 7은 전자 장치가 물체의 오너를 변경하는 일 실시예를 나타낸다.
도 8은 전자 장치가 물체의 오너를 변경하는 다른 실시예를 나타낸다.
도 9는 전자 장치가 물체의 오너를 설정하는 다른 실시예를 나타낸다.
도 10은 전자 장치가 물체에 관한 정보를 제공하는 일 실시예를 나타낸다.
도 11은 전자 장치가 물체에 관한 정보를 제공하는 다른 실시예를 나타낸다.
도 12는 전자 장치가 물체에 관한 정보를 제공하는 또 다른 실시예를 나타낸다.
도 13은 전자 장치가 물체에 관한 정보를 제공하는 또 다른 실시예를 나타낸다.
도 14는 전자 장치의 블록도를 나타낸다.
실시 예들에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "..부", "..모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
또한, 본 명세서에서 인공 지능(AI, Artificial Intelligence)은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.
인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로써, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.
인공 신경망은 입력층(Input Layer), 출력층(Output Layer), 그리고 선택적으로 하나 이상의 은닉층(Hidden Layer)을 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함수 값을 출력할 수 있다.
모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향 등이 포함된다. 그리고, 하이퍼파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.
인공 신경망의 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.
머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.
지도 학습은 학습 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.
인공 신경망 중에서 복수의 은닉층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 이하에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용된다.
또한, 본 명세서에서 차량은 자율 주행 차량이 될 수 있다. 자율 주행은 스스로 주행하는 기술을 의미하며, 자율 주행 차량은 사용자의 조작 없이 또는 사용자의 최소한의 조작으로 주행하는 차량(Vehicle)을 의미한다. 또한, 자율 주행 차량은 차량 주변의 환경 및 차량 상태를 인식하고, 이에 따라 차량의 주행을 제어할 수 있는 자율 주행 장치가 탑재된 차량을 의미할 수 있다. 자율 주행 기능을 가진 로봇으로 볼 수 있다.
예컨대, 자율 주행에는 주행중인 차선을 유지하는 기술, 어댑티브 크루즈 컨트롤과 같이 속도를 자동으로 조절하는 기술, 정해진 경로를 따라 자동으로 주행하는 기술, 목적지가 설정되면 자동으로 경로를 설정하여 주행하는 기술 등이 모두 포함될 수 있다.
여기서 차량은 내연 기관만을 구비하는 차량, 내연 기관과 전기 모터를 함께 구비하는 하이브리드 차량, 그리고 전기 모터만을 구비하는 전기 차량을 모두 포괄하며, 자동차뿐만 아니라 기차, 오토바이 등을 포함할 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하에서는 도면을 참조하여 본 개시의 실시 예들을 상세히 설명한다.
도 1은 일 실시 예에 따른 AI 장치를 나타낸다.
AI 장치(100)는 TV, 프로젝터, 휴대폰, 스마트폰, 데스크탑 컴퓨터, 노트북, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC, 웨어러블 장치, 셋톱박스(STB), 냉장고, 데스크탑 컴퓨터, 디지털 사이니지, 로봇, 차량, XR 장치 등과 같은, 고정형 기기 또는 이동 가능한 기기 등으로 구현될 수 있다.
도 1을 참조하면, AI 장치(100)는 통신부(110), 입력부(120), 러닝 프로세서(130), 센싱부(140), 출력부(150), 메모리(170) 및 프로세서(180) 등을 포함할 수 있다. 그러나, 도 1에 도시된 구성 요소 모두가 AI 장치(100)의 필수 구성 요소인 것은 아니다. 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 AI 장치가 구현될 수도 있고, 도 1에 도시된 구성 요소보다 적은 구성 요소에 의해 AI 장치가 구현될 수도 있다.
통신부(110)는 유무선 통신 기술을 이용하여 다른 AI 장치(100a 내지 100e)나 AI 서버(200) 등의 외부 장치들과 데이터를 송수신할 수 있다. 예컨대, 통신부(110)는 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다.
이때, 통신부(110)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multiple Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(BluetoothTM), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등이 있다.
입력부(120)는 다양한 종류의 데이터를 획득할 수 있다.
이때, 입력부(120)는 영상 신호 입력을 위한 카메라, 오디오 신호를 수신하기 위한 마이크로폰, 사용자로부터 정보를 입력 받기 위한 사용자 입력부 등을 포함할 수 있다. 여기서, 카메라나 마이크로폰을 센서로 취급하여, 카메라나 마이크로폰으로부터 획득한 신호를 센싱 데이터 또는 센서 정보라고 할 수도 있다.
입력부(120)는 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때 사용될 입력 데이터 등을 획득할 수 있다. 입력부(120)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 프로세서(180) 또는 러닝 프로세서(130)는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.
러닝 프로세서(130)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.
이때, 러닝 프로세서(130)는 AI 서버(200)의 러닝 프로세서(240)와 함께 AI 프로세싱을 수행할 수 있다.
이때, 러닝 프로세서(130)는 AI 장치(100)에 통합되거나 구현된 메모리를 포함할 수 있다. 또는, 러닝 프로세서(130)는 메모리(170), AI 장치(100)에 직접 결합된 외부 메모리 또는 외부 장치에서 유지되는 메모리를 사용하여 구현될 수도 있다.
센싱부(140)는 다양한 센서들을 이용하여 AI 장치(100) 내부 정보, AI 장치(100)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다.
이때, 센싱부(140)에 포함되는 센서에는 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰, 라이다, 레이더 등이 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다.
이때, 출력부(150)에는 시각 정보를 출력하는 디스플레이부, 청각 정보를 출력하는 스피커, 촉각 정보를 출력하는 햅틱 모듈 등이 포함될 수 있다.
메모리(170)는 AI 장치(100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예컨대, 메모리(170)는 입력부(120)에서 획득한 입력 데이터, 학습 데이터, 학습 모델, 학습 히스토리 등을 저장할 수 있다. 메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서(180)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, AI 장치(100)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 프로세서(180)는 AI 장치(100)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다.
이를 위해, 프로세서(180)는 러닝 프로세서(130) 또는 메모리(170)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 AI 장치(100)의 구성 요소들을 제어할 수 있다.
이때, 프로세서(180)는 결정된 동작을 수행하기 위하여 외부 장치의 연계가 필요한 경우, 해당 외부 장치를 제어하기 위한 제어 신호를 생성하고, 생성한 제어 신호를 해당 외부 장치에 전송할 수 있다.
프로세서(180)는 사용자 입력에 대하여 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 사용자의 요구 사항을 결정할 수 있다.
이때, 프로세서(180)는 음성 입력을 문자열로 변환하기 위한 STT(Speech To Text) 엔진 또는 자연어의 의도 정보를 획득하기 위한 자연어 처리(NLP: Natural Language Processing) 엔진 중에서 적어도 하나 이상을 이용하여, 사용자 입력에 상응하는 의도 정보를 획득할 수 있다.
이때, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 적어도 일부가 머신 러닝 알고리즘에 따라 학습된 인공 신경망으로 구성될 수 있다. 그리고, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 러닝 프로세서(130)에 의해 학습된 것이나, AI 서버(200)의 러닝 프로세서(240)에 의해 학습된 것이거나, 또는 이들의 분산 처리에 의해 학습된 것일 수 있다.
프로세서(180)는 AI 장치(100)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리(170) 또는 러닝 프로세서(130)에 저장하거나, AI 서버(200) 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.
프로세서(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, AI 장치(100)의 구성 요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(180)는 상기 응용 프로그램의 구동을 위하여, AI 장치(100)에 포함된 구성 요소들 중 둘 이상을 서로 조합하여 동작시킬 수 있다.
도 2는 일 실시 예에 따른 AI 서버를 나타낸다.
도 2를 참조하면, AI 서버(200)는 머신 러닝 알고리즘을 이용하여 인공 신경망을 학습시키거나 학습된 인공 신경망을 이용하는 장치를 의미할 수 있다. 여기서, AI 서버(200)는 복수의 서버들로 구성되어 분산 처리를 수행할 수도 있고, 5G 네트워크로 정의될 수 있다. 이때, AI 서버(200)는 AI 장치(100)의 일부의 구성으로 포함되어, AI 프로세싱 중 적어도 일부를 함께 수행할 수도 있다.
AI 서버(200)는 통신부(210), 메모리(230), 러닝 프로세서(240) 및 프로세서(260) 등을 포함할 수 있다.
통신부(210)는 AI 장치(100) 등의 외부 장치와 데이터를 송수신할 수 있다.
메모리(230)는 모델 저장부(231)를 포함할 수 있다. 모델 저장부(231)는 러닝 프로세서(240)를 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망, 231a)을 저장할 수 있다.
러닝 프로세서(240)는 학습 데이터를 이용하여 인공 신경망(231a)을 학습시킬 수 있다. 학습 모델은 인공 신경망의 AI 서버(200)에 탑재된 상태에서 이용되거나, AI 장치(100) 등의 외부 장치에 탑재되어 이용될 수도 있다.
학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(230)에 저장될 수 있다.
프로세서(260)는 학습 모델을 이용하여 새로운 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수 있다.
도 3은 일 실시 예에 따른 AI 시스템을 나타낸다.
도 3을 참조하면, AI 시스템(1)은 AI 서버(200), 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중에서 적어도 하나 이상이 클라우드 네트워크(10)와 연결된다. 여기서, AI 기술이 적용된 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 등을 AI 장치(100a 내지 100e)라 칭할 수 있다.
클라우드 네트워크(10)는 클라우드 컴퓨팅 인프라의 일부를 구성하거나 클라우드 컴퓨팅 인프라 안에 존재하는 네트워크를 의미할 수 있다. 여기서, 클라우드 네트워크(10)는 3G 네트워크, 4G 또는 LTE(Long Term Evolution) 네트워크 또는 5G 네트워크 등을 이용하여 구성될 수 있다.
즉, AI 시스템(1)을 구성하는 각 장치들(100a 내지 100e, 200)은 클라우드 네트워크(10)를 통해 서로 연결될 수 있다. 특히, 각 장치들(100a 내지 100e, 200)은 기지국을 통해서 서로 통신할 수도 있지만, 기지국을 통하지 않고 직접 서로 통신할 수도 있다.
AI 서버(200)는 AI 프로세싱을 수행하는 서버와 빅 데이터에 대한 연산을 수행하는 서버를 포함할 수 있다.
AI 서버(200)는 AI 시스템(1)을 구성하는 AI 장치들인 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중에서 적어도 하나 이상과 클라우드 네트워크(10)를 통하여 연결되고, 연결된 AI 장치들(100a 내지 100e)의 AI 프로세싱을 적어도 일부를 도울 수 있다.
이때, AI 서버(200)는 AI 장치(100a 내지 100e)를 대신하여 머신 러닝 알고리즘에 따라 인공 신경망을 학습시킬 수 있고, 학습 모델을 직접 저장하거나 AI 장치(100a 내지 100e)에 전송할 수 있다.
이때, AI 서버(200)는 AI 장치(100a 내지 100e)로부터 입력 데이터를 수신하고, 학습 모델을 이용하여 수신한 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성하여 AI 장치(100a 내지 100e)로 전송할 수 있다.
또는, AI 장치(100a 내지 100e)는 직접 학습 모델을 이용하여 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수도 있다.
이하에서는, 상술한 기술이 적용되는 AI 장치(100a 내지 100e)의 다양한 실시 예들을 설명한다. 여기서, 도 3에 도시된 AI 장치(100a 내지 100e)는 도 1에 도시된 AI 장치(100)의 구체적인 실시 예로 볼 수 있다.
본 실시 예에 따른 자율 주행 차량(100b)은 AI 기술이 적용되어, 이동형 로봇, 차량, 무인 비행체 등으로 구현될 수 있다.
자율 주행 차량(100b)은 자율 주행 기능을 제어하기 위한 자율 주행 제어 모듈을 포함할 수 있고, 자율 주행 제어 모듈은 소프트웨어 모듈 또는 이를 하드웨어로 구현한 칩을 의미할 수 있다. 자율 주행 제어 모듈은 자율 주행 차량(100b)의 구성으로써 내부에 포함될 수도 있지만, 자율 주행 차량(100b)의 외부에 별도의 하드웨어로 구성되어 연결될 수도 있다.
자율 주행 차량(100b)은 다양한 종류의 센서들로부터 획득한 센서 정보를 이용하여 자율 주행 차량(100b)의 상태 정보를 획득하거나, 주변 환경 및 객체를 검출(인식)하거나, 맵 데이터를 생성하거나, 이동 경로 및 주행 계획을 결정하거나, 동작을 결정할 수 있다.
여기서, 자율 주행 차량(100b)은 이동 경로 및 주행 계획을 결정하기 위하여, 로봇(100a)과 마찬가지로, 라이다, 레이더, 카메라 중에서 적어도 하나 이상의 센서에서 획득한 센서 정보를 이용할 수 있다.
특히, 자율 주행 차량(100b)은 시야가 가려지는 영역이나 일정 거리 이상의 영역에 대한 환경이나 객체는 외부 장치들로부터 센서 정보를 수신하여 인식하거나, 외부 장치들로부터 직접 인식된 정보를 수신할 수 있다.
자율 주행 차량(100b)은 적어도 하나 이상의 인공 신경망으로 구성된 학습 모델을 이용하여 상기한 동작들을 수행할 수 있다. 예컨대, 자율 주행 차량(100b)은 학습 모델을 이용하여 주변 환경 및 객체를 인식할 수 있고, 인식된 주변 환경 정보 또는 객체 정보를 이용하여 주행 동선을 결정할 수 있다. 여기서, 학습 모델은 자율 주행 차량(100b)에서 직접 학습되거나, AI 서버(200) 등의 외부 장치에서 학습된 것일 수 있다.
이때, 자율 주행 차량(100b)은 직접 학습 모델을 이용하여 결과를 생성하여 동작을 수행할 수도 있지만, AI 서버(200) 등의 외부 장치에 센서 정보를 전송하고 그에 따라 생성된 결과를 수신하여 동작을 수행할 수도 있다.
자율 주행 차량(100b)은 맵 데이터, 센서 정보로부터 검출한 객체 정보 또는 외부 장치로부터 획득한 객체 정보 중에서 적어도 하나 이상을 이용하여 이동 경로와 주행 계획을 결정하고, 구동부를 제어하여 결정된 이동 경로와 주행 계획에 따라 자율 주행 차량(100b)을 주행시킬 수 있다.
맵 데이터에는 자율 주행 차량(100b)이 주행하는 공간(예컨대, 도로)에 배치된 다양한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 예컨대, 맵 데이터에는 가로등, 바위, 건물 등의 고정 객체들과 차량, 보행자 등의 이동 가능한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 그리고, 객체 식별 정보에는 명칭, 종류, 거리, 위치 등이 포함될 수 있다.
또한, 자율 주행 차량(100b)은 사용자의 제어/상호작용에 기초하여 구동부를 제어함으로써, 동작을 수행하거나 주행할 수 있다. 이때, 자율 주행 차량(100b)은 사용자의 동작이나 음성 발화에 따른 상호작용의 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 응답을 결정하여 동작을 수행할 수 있다.
도 4는 전자 장치가 동작하는 실시예를 나타낸다.
일 실시예에 따라, 전자 장치(400)는 차량에 포함될 수 있으며, 예를 들어, 전자 장치(400)는 자율 주행 차량에 포함되는 차량용 단말일 수 있다. 다른 실시예에 따라, 전자 장치(400)는 차량에 포함되지 않을 수 있으며, 예를 들어, 전자 장치(400)는 서버에 포함될 수 있다.
전자 장치(400)는 차량의 내부 환경에 관한 센싱 정보를 획득할 수 있다. 구체적으로, 전자 장치(400)는 차량에 장착된 센서로부터 차량 내 물체(410)에 관한 센싱 정보, 및 물체(410)를 소지하는 탑승자(420)의 동작에 관한 센싱 정보를 획득할 수 있다.
전자 장치(400)는 획득된 센싱 정보에 기초하여, 물체(410)가 탑승자(420)로부터 떨어지는 경우, 물체(410)의 오너(owner)를 설정할 수 있다. 구체적으로, 전자 장치(400)는 물체(410) 및 탑승자(420)의 동작에 관한 센싱 정보에 기초하여, 물체(410)가 탑승자(420)로부터 떨어지는 또는 분리되는 상황을 인식할 수 있고, 물체(410)의 오너를 설정할 수 있다.
일 실시예에 따라, 전자 장치(400)는, 물체(410)가 탑승자(420)로부터 떨어지는 시점 이전에 탑승자(420)가 물체(410)를 내려놓는 동작을 인식할 수 있고, 그 결과 전자 장치(400)는 물체(410)의 오너를 탑승자(420)로 설정할 수 있다. 다른 실시예에 따라, 전자 장치(400)는, 탑승자(420)가 물체를 다른 탑승자에게 전달하는 동작을 인식할 수 있고, 그 결과 전자 장치(400)는 물체(410)의 오너를 다른 탑승자로 설정할 수 있다.
전자 장치(400)는 소정의 상황이 발생하는 경우 물체(410)에 관한 정보를 물체(410)의 오너에게 제공할 수 있다. 일 실시예에 따라, 물체(410)의 오너인 탑승자(420)가 물체(410)를 차량 내에 내버려둔 채로 차량에서 하차하는 경우, 전자 장치(400)는 탑승자(420)에게 물체(410)에 관한 정보를 제공할 수 있다. 예를 들어, 전자 장치(400)는 차량 내 음성 출력부를 통해 분실물(lost item)인 물체(410)에 관한 정보를 물체(410)의 오너인 탑승자(420)에게 제공할 수 있다. 다른 실시예에 따라, 물체(410)의 오너가 아닌 다른 탑승자가 물체(410)를 소지한 채로 차량에서 하차하는 경우, 전자 장치(400)는 탑승자(420)에게 물체(410)에 관한 정보를 제공할 수 있다. 예를 들어, 전자 장치(400)는 탑승자(420)의 단말 내 디스플레이를 통해 도난품인 물체(410)에 관한 정보를 물체(410)의 오너인 탑승자(420)에게 제공할 수 있다.
도 5는 전자 장치가 동작하는 흐름도의 일 실시예를 나타낸다.
단계 S510에서, 전자 장치(400)는, 차량 내 물체에 관한 센싱 정보, 및 물체를 소지하는 탑승자의 동작에 관한 센싱 정보를 획득할 수 있다.
일 실시예에 따라, 차량 내 적어도 하나의 센서는 차량 내 물체를 센싱할 수 있고, 물체에 관한 센싱 정보를 전자 장치(400)로 전송할 수 있다. 물체에 관한 센싱 정보는, 물체의 형상, 종류 및 위치와 같은 정보를 포함할 수 있다. 차량 내 적어도 하나의 센서는 카메라를 포함할 수 있다. 또한, 차량 내 적어도 하나의 센서는 물체를 소지하는 탑승자의 동작을 센싱할 수 있고, 탑승자의 동작에 관한 센싱 정보를 전자 장치(400)로 전송할 수 있다. 탑승자의 동작에 관한 센싱 정보는 탑승자의 손 또는 팔의 움직임에 관한 정보를 포함할 수 있다.
다른 실시예에 따라, 전자 장치(400)는 적어도 하나의 센서를 포함하는 바, 적어도 하나의 센서를 통해 차량 내 물체에 관한 센싱 정보, 및 물체를 소지하는 탑승자의 동작에 관한 센싱 정보를 획득할 수 있다. 또 다른 실시예에 따라, 전자 장치(400)는 메모리로부터 메모리에 저장된 차량 내 물체에 관한 센싱 정보, 및 물체를 소지하는 탑승자의 동작에 관한 센싱 정보를 획득할 수 있다.
단계 S520에서, 전자 장치(400)는 S510에서 획득된 센싱 정보에 기초하여, 물체가 탑승자로부터 떨어지는 경우 물체의 오너를 설정할 수 있다.
전자 장치(400)는 S510에서 획득된 센싱 정보에 기초하여 물체가 탑승자로부터 떨어지는 또는 분리되는 상황을 인식할 수 있다. 구체적으로, 전자 장치(400)는 물체 및 물체를 소지하는 탑승자의 동작에 관한 센싱 정보에 기초하여, 물체가 탑승자의 손으로부터 떨어지는 것을 인식할 수 있고, 이에 따라 물체가 탑승자로부터 떨어진다고 판단할 수 있다.
전자 장치(400)는 물체가 탑승자로부터 떨어지는 상황 별로 물체의 오너를 설정할 수 있다. 일 실시예에 따라, 전자 장치(400)는 물체가 탑승자로부터 떨어지는 시점 이전에 탑승자가 물체를 내려놓는 동작이 존재하는지 여부를 판단할 수 있고, 판단 결과 존재하는 경우, 물체의 오너를 탑승자로 설정할 수 있다. 다른 실시예에 따라, 전자 장치(400)는 물체가 탑승자로부터 떨어지는 시점 이전에 탑승자가 물체를 다른 탑승자에게 전달하는 동작을 인식하는 경우, 물체의 오너를 다른 탑승자로 설정할 수 있다. 또 다른 실시예에 따라, 전자 장치(400)는 물체가 탑승자로부터 떨어지는 상황에 따라 물체의 오너를 설정하지 않을 수 있다. 예를 들어, 전자 장치(400)는 탑승자가 물체를 버렸다고 인식하는 경우 물체의 오너를 설정하지 않을 수 있다.
전자 장치(400)는 물체의 종류에 기초하여 물체가 탑승자로부터 떨어지는 경우 물체의 오너를 설정할 수 있다. 예를 들어, 전자 장치(400)는, 물체가 탑승자의 좌석과 무선 또는 유선으로 연결된 커넥티드 디바이스(connected device)인 경우, 물체의 오너를 탑승자로 설정할 수 있다.
단계 S530에서, 전자 장치(400)는, 소정의 상황이 발생하는 경우 물체에 관한 정보를 물체의 오너에게 제공할 수 있다.
일 실시예에 따라, 전자 장치(400)는, 물체의 오너가 차량에서 하차 시에 물체가 차량 내에 남아있는 상황을 인식할 수 있고, 물체에 관한 정보를 물체의 오너에게 제공할 수 있다. 예를 들어, 전자 장치(400)는 물체가 차량에서 분실된 상태라는 정보를 물체의 오너에게 제공할 수 있다. 다른 실시예에 따라, 전자 장치(400)는, 물체가 차량으로부터 벗어날 시에 물체의 오너가 차량 내에 남아있는 상황을 인식할 수 있고, 물체에 관한 정보를 물체의 오너에게 제공할 수 있다. 예를 들어, 전자 장치(400)는 물체가 다른 탑승자에 의해 도난 되었다는 정보를 물체의 오너에게 제공할 수 있다.
일 실시예에 따라, 전자 장치(400)는 차량에 장착된 출력부를 통해 물체에 관한 정보를 물체의 오너에게 제공할 수 있다. 예를 들어, 전자 장치(400)는 차량에 장착된 영상 출력부 또는 음성 출력부를 통해 물체에 관한 정보를 물체의 오너에게 제공할 수 있다. 다른 실시예에 따라, 전자 장치(400)는 물체의 오너의 디바이스를 통해 물체에 관한 정보를 물체의 오너에게 제공할 수 있다. 예를 들어, 전자 장치(400)는 물체의 오너의 스마트폰을 통해 물체에 관한 정보를 물체의 오너에게 제공할 수 있다.
전자 장치(400)는 물체의 오너가 아닌 제1탑승자가 물체를 소지한 채로 차량에서 하차 시에, 물체에 관한 정보를 제1탑승자에게 제공할 수 있다. 예를 들어, 전자 장치(400)는 제1탑승자가 권한 없이 물체를 소지한 상태로 차량에서 하차한다는 정보를 제1탑승자에게 제공할 수 있다.
전자 장치(400)는 물체의 오너가 차량에서 하차 시에 물체가 차량 내에 남아있는 상황을 인식할 수 있고, 물체에 관한 정보를 외부 장치로 전송할 수 있다. 예를 들어, 전자 장치(400)는 물체가 분실된 상태라는 정보를 외부 장치로 전송할 수 있다. 전자 장치(400)는 오너가 설정되지 않은 물체에 관한 정보를 외부 장치로 전송할 수 있다. 예를 들어, 전자 장치(400)는 오너가 설정되지 않은 물체의 제거를 위해, 물체에 관한 정보를 청소 장치로 전송할 수 있다.
따라서, 전자 장치(400)는 차량의 내부 환경에 관한 센싱 정보를 기초로 탑승자로부터 떨어진 물체의 오너를 보다 정확하게 설정할 수 있는 바, 탑승자 편의를 증대할 수 있다. 예를 들어, 전자 장치(400)는 분실된 물체의 오너를 정확히 설정하여 물체의 오너에게 분실된 물체에 관한 정보를 제공할 수 있다. 또한, 전자 장치(400)는 탑승자로부터 떨어지는 물체에 관한 탑승자의 의도를 판단하고, 탑승자의 의도를 기초로 물체의 오너를 설정하는 바, 보다 정확한 오너 설정이 가능할 수 있다. 예를 들어, 전자 장치(400)는 탑승자로부터 물체가 떨어지는 경우, 탑승자가 물체를 의도치 않게 떨어뜨리는지 여부 또는 탑승자가 의도적으로 물체를 버리는지 여부를 판단할 수 있고, 탑승자가 의도적으로 물체를 버리는 경우 물체의 오너를 설정하지 않을 수 있다.
도 6은 전자 장치가 탑승자의 오너를 설정하는 일 실시예를 나타낸다.
단계 S610에서, 전자 장치(400)는 차량의 내부 환경에 관한 센싱 정보 및 차량의 주행 상태에 관한 센싱 정보를 획득할 수 있다. 일 실시예에 따라, 전자 장치(400)는 차량의 적어도 하나의 센서로부터 물체에 관한 센싱 정보, 물체를 소지하는 탑승자의 동작에 관한 센싱 정보, 및 차량의 주행 상태에 관한 센싱 정보를 획득할 수 있다. 예를 들어, 전자 장치(400)는 차량의 카메라를 통해 물체에 관한 센싱 정보, 탑승자의 동작에 관한 센싱 정보, 및 탑승자의 신체에 부착된 액세서리에 관한 센싱 정보를 획득할 수 있으며, 차량의 GPS 및 가속도 센서를 통해 차량의 주행 상태에 관한 센싱 정보를 획득할 수 있다. 또 다른 예에 따라, 전자 장치(400)는 차량의 오토 레벨링 센서 및 충격 센서를 통해 차량의 흔들리는 상태에 관한 정보를 획득할 수 있다. 또한, 전자 장치(400)는 차량의 적어도 하나의 센서로부터 차량 내 다른 탑승자의 동작에 관한 센싱 정보를 획득할 수 있다.
단계 S620에서, 전자 장치(400)는 물체가 탑승자로부터 떨어지는 시점 이전에 탑승자가 물체를 내려놓는 동작이 존재하였는지 여부를 판단할 수 있다. 구체적으로, 전자 장치(400)는 물체에 관한 센싱 정보 및 탑승자의 동작에 관한 센싱 정보에 기초하여 물체가 탑승자로부터 떨어지는 시점을 인식할 수 있고, 시점 이전에 탑승자가 물체를 내려놓는 동작이 존재하였는지 여부를 판단할 수 있다. 전자 장치(400)는 탑승자의 손 또는 팔을 인식할 수 있고, 탑승자의 손 또는 팔의 움직임을 통해 탑승자가 물체를 내려놓는 동작을 인식할 수 있다. 예를 들어, 전자 장치(400)는 행동 인지 알고리즘을 통해 탑승자가 물체를 내려놓는 동작을 인식할 수 있다. 일 실시예에 따라, 전자 장치(400)는 사람이 물체를 내려놓는 동작을 인식하기 위한 인공지능 모델을 이용하여, 탑승자가 물체를 내려놓는 동작을 인식할 수 있다. 예를 들어, 전자 장치(400)는 기 학습된 딥 러닝 모델을 통해 탑승자가 물체를 내려놓는 동작을 인식할 수 있다. 또한, 전자 장치(400)는 탑승자의 동작에 관한 센싱 정보에 기초하여 딥 러닝 모델을 학습시킬 수 있고, 학습된 딥 러닝 모델을 통해 탑승자가 물체를 내려놓는 동작을 인식할 수 있다.
전자 장치(400)는 물체에 관한 센싱 정보 및 물체를 소지하는 탑승자의 동작에 관한 센싱 정보에 기초하여, 탑승자의 동작을 인식하였지만 물체의 존재가 인식되지 않는 경우 탑승자가 물체를 내려놓는 동작이 존재하지 않았다고 판단할 수 있다. 예를 들어, 탑승자가 물체를 탑승자의 주머니에 넣는 동작을 하는 경우, 카메라를 통해 물체의 존재가 인식되지 않으므로, 전자 장치(400)는 탑승자가 물체를 내려놓는 동작이 존재하지 않았다고 판단할 수 있다.
S620의 판단 결과, 물체가 탑승자로부터 떨어지는 시점 이전에 탑승자가 물체를 내려놓는 동작이 존재하는 경우, 단계 S630에서, 전자 장치(400)는 탑승자가 의도적으로 물체를 내려놓았다고 인식할 수 있다. 또한, 단계 S640에서, 전자 장치(400)는 탑승자가 의도적으로 물체를 내려놓았다고 인식함에 따라, 물체의 오너를 탑승자로 설정할 수 있다.
S620의 판단 결과, 물체가 탑승자로부터 떨어지는 시점 이전에 탑승자가 물체를 내려놓는 동작이 존재하지 않은 경우, 단계 S650에서, 전자 장치(400)는 물체가 탑승자로부터 떨어지는 시점 이전에 차량의 흔들림이 존재하였는지 여부를 판단할 수 있다. 구체적으로, 전자 장치(400)는 차량의 주행 상태에 관한 센싱 정보에 기초하여 차량의 흔들림의 정도가 기 설정된 임계치를 넘는지 여부를 판단할 수 있다. 전자 장치(400)는 물체가 떨어지는 시점 이전에 차량의 주행 상태에 관한 CAN(Controller Area Network) 데이터를 통해 차량의 흔들림의 정도가 기 설정된 임계치를 넘는지 여부를 판단할 수 있다. 예를 들어, 전자 장치(400)는 차량의 오토 레벨링 센싱 결과 또는 차량의 충격 센싱 결과에 기초하여 차량의 흔들림의 정도가 기 설정된 임계치를 넘는 경우, 차량의 흔들림이 존재하였다고 판단할 수 있다.
S650의 판단 결과, 물체가 탑승자로부터 떨어지는 시점 이전에 차량의 흔들림이 존재하는 경우, 단계 S660에서, 전자 장치(400)는 탑승자가 의도치 않게 물체를 떨어뜨렸다고 인식할 수 있다. 또한, 단계 S640에서, 전자 장치(400)는 탑승자가 의도치 않게 물체를 떨어뜨렸다고 인식함에 따라, 물체의 오너를 탑승자로 설정할 수 있다.
S650의 판단 결과, 물체가 탑승자로부터 떨어지는 시점 이전에 차량의 흔들림이 존재하지 않은 경우, 단계 S670에서, 전자 장치(400)는 탑승자가 의도적으로 물체를 버렸다고 인식할 수 있다. 또한, 단계 S680에서, 전자 장치(400)는 탑승자가 의도적으로 물체를 버렸다고 인식함에 따라, 물체의 오너를 설정하지 않을 수 있다.
도 7은 전자 장치가 물체의 오너를 변경하는 일 실시예를 나타낸다.
단계 S710에서, 전자 장치(400)는 물체의 오너를 탑승자로 설정할 수 있다. 일 예에 따라, 전자 장치(400)는 탑승자가 물체를 소지하고 있다고 인식하는 경우 물체의 오너를 탑승자로 설정할 수 있다. 다른 예에 따라, 전자 장치(400)는 탑승자가 의도적으로 물체를 내려놓았거나 의도치 않게 물체를 떨어뜨렸다고 인식하는 경우, 물체의 오너를 탑승자로 설정할 수 있다.
단계 S720에서, 전자 장치(400)는 물체를 다른 탑승자가 획득하였는지 여부를 판단할 수 있다. 구체적으로, 전자 장치(400)는 차량의 내부 환경에 관한 센싱 정보에 기초하여, 탑승자가 오너인 물체를 다른 탑승자가 획득하였는지 여부를 판단할 수 있다. 일 예에 따라, 전자 장치(400)는, 다른 탑승자가 탑승자에 의해 놓여지거나 떨어진 물체를 다른 탑승자가 줍는 동작을 인식할 수 있고, 이에 따라 물체를 다른 탑승자가 획득하였다고 인식할 수 있다. 다른 예에 따라, 전자 장치(400)는 탑승자가 물체를 다른 탑승자에게 전달하는 동작을 인식할 수 있고, 이에 따라 물체를 다른 탑승자가 획득하였다고 판단할 수 있다.
단계 S730에서, 전자 장치(400)는 물체에 대한 허가가 이루어졌는지 여부를 판단할 수 있다. 다시 말해, 전자 장치(400)는 물체의 오너인 탑승자가 물체에 대한 허가를 다른 탑승자에게 하였는지 여부를 판단할 수 있다. 일 실시예에 따라, 전자 장치(400)는 탑승자와 다른 탑승자 간의 대화에 관한 센싱 정보에 기초하여, 물체의 오너인 탑승자가 물체에 대한 허가를 다른 탑승자에게 하였는지 여부를 판단할 수 있다. 예를 들어, 전자 장치(400)는 탑승자와 다른 탑승자 간의 대화 내용에서 허가 관련 내용이 언급되는 경우, 물체의 오너인 탑승자가 물체에 대한 허가를 다른 탑승자에게 하였다고 판단할 수 있다. 다른 실시예에 따라, 전자 장치(400)는 물체의 오너인 탑승자가 물체를 다른 탑승자에게 직접 전달하는 경우, 탑승자가 물체에 대한 허가를 다른 탑승자에게 하였다고 판단할 수 있다.
도 7에서 S720 및 S730의 순서는 일 실시예이므로, 다른 실시예에 따라 전자 장치(400)는 S720 및 S730의 판단을 동시에 수행할 수 있고, 또 다른 실시예에 따라 전자 장치(400)는 S730의 판단을 먼저 수행한 후에 S720의 판단을 수행할 수 있다.
S730의 판단 결과 물체에 대한 허가가 이루어진 경우, 단계 S740에서, 전자 장치(400)는 물체의 오너를 탑승자에서 다른 탑승자로 변경할 수 있다. S720의 판단 결과 다른 탑승자가 획득하지 않거나, S720의 판단 결과 다른 탑승자가 획득하더라도 S730의 판단 결과 물체에 대한 허가가 이루어지지 않은 경우, 단계 S750에서, 전자 장치(400)는 물체의 오너를 변경하지 않을 수 있다. 다시 말해, 전자 장치(400)는 물체의 오너를 탑승자로 유지할 수 있다.
도 8은 전자 장치가 물체의 오너를 변경하는 다른 실시예를 나타낸다.
단계 S810에서, 전자 장치(400)는 차량의 내부 환경에 관한 센싱 정보를 획득할 수 있다. 전자 장치(400)는 차량 내부의 물체에 관한 센싱 정보 및 차량 내부의 적어도 하나의 탑승자에 관한 센싱 정보를 획득할 수 있다. 예를 들어, 전자 장치(400)는 카메라를 통해 적어도 하나의 탑승자의 동작에 관한 센싱 정보를 획득할 수 있으며, 마이크를 통해 적어도 하나의 탑승자의 음성에 관한 센싱 정보를 획득할 수 있다.
단계 S820에서, 전자 장치(400)는 S810에서 획득된 센싱 정보에 기초하여 물체의 오너인 제1탑승자가 의도적으로 물체를 내려놓았다고 인식할 수 있다.
단계 S830에서, 전자 장치(400)는 S810에서 획득된 센싱 정보에 기초하여, 제1탑승자가 물체에 대한 허가의 내용이 포함된 문장을 말하였는지 여부를 판단할 수 있다. 구체적으로, 전자 장치(400)는 S810에서 획득된 센싱 정보에 기초하여, 제1탑승자와 적어도 하나의 다른 탑승자 간의 대화에서 제1탑승자가 물체에 대한 허가의 내용이 포함된 문장을 말하였는지 여부를 판단할 수 있다. 예를 들어, 전자 장치(400)는 제1탑승자가 말한 문장 내에서 물체와 관련된 단어 및 허락과 관련된 단어가 존재하는 경우, 제1탑승자가 물체에 대한 허가의 내용이 포함된 문장을 말하였다고 판단할 수 있다.
S830의 판단 결과, 제1탑승자가 물체에 대한 허가의 내용이 포함된 문장을 말하였다고 판단된 경우, 단계 S840에서, 전자 장치(400)는 대화에 참여한 탑승자가 3명 이상인지 여부를 판단할 수 있다.
S840의 판단 결과, 대화에 참여한 탑승자가 3명 이상인 경우, 단계 S850에서, 전자 장치(400)는 카메라를 통해 물체를 가져간 제2탑승자를 인식할 수 있고, 물체의 오너를 제1탑승자에서 제2탑승자로 변경할 수 있다.
단계 S860에서, 전자 장치(400)는 제2탑승자의 목소리에 관한 정보를 차량 내 데이터베이스(DB) 또는 전자 장치(400) 내 데이터베이스에 저장할 수 있다.
S840의 판단 결과, 대화에 참여한 탑승자가 3명 미만인 경우, 단계 S870에서, 전자 장치(400)는 대화에 참여한 제2탑승자의 목소리가 차량 내 데이터베이스 또는 전자 장치(400) 내 데이터베이스에 존재하는지 여부를 판단할 수 있다. S870의 판단 결과, 제2탑승자의 목소리가 데이터베이스에 존재하는 경우, 단계 S880에서, 전자 장치(400)는 물체의 오너를 제1탑승자에서 제2탑승자로 변경할 수 있다.
S870의 판단 결과, 제2탑승자의 목소리가 데이터베이스에 존재하지 않는 경우, 단계 S850에서, 전자 장치(400)는 카메라를 통해 물체를 가져간 제2탑승자를 인식할 수 있고, 물체의 오너를 제1탑승자에서 제2탑승자로 변경할 수 있다. 또한, 단계 S860에서, 전자 장치(400)는 제2탑승자의 목소리에 관한 정보를 차량 내 데이터베이스(DB) 또는 전자 장치(400) 내 데이터베이스에 저장할 수 있다.
도 9는 전자 장치가 물체의 오너를 설정하는 다른 실시예를 나타낸다.
단계 S910에서, 전자 장치(400)는 차량의 내부 환경에 관한 센싱 정보를 획득할 수 있다. 구체적으로, 전자 장치(400)는 차량 내부의 물체에 관한 센싱 정보 및 물체를 소지하는 탑승자의 동작에 관한 센싱 정보를 획득할 수 있다.
단계 S920에서, 전자 장치(400)는 S910에서 획득된 센싱 정보에 기초하여, 탑승자로부터 물체가 떨어졌는지 여부를 판단할 수 있다. 예를 들어, 전자 장치(400)는 탑승자가 물체를 의도적으로 내려놓았는지 여부, 탑승자가 물체를 의도치 않게 떨어뜨렸는지 여부, 또는 탑승자가 물체를 다른 탑승자에게 전달하였는지 여부를 판단할 수 있다.
S920의 판단 결과, 물체가 탑승자로부터 떨어졌다고 판단된 경우, 단계 S930에서, 전자 장치(400)는 물체가 커넥티드 디바이스(connected device)인지 여부를 판단할 수 있다. 일 실시예에 따라, 전자 장치(400)는 탑승자로부터 떨어진 물체가 탑승자의 좌석과 유선 또는 무선으로 연결된 커넥티드 디바이스인지 여부를 판단할 수 있다. 예를 들어, 전자 장치(400)는 물체가 탑승자의 좌석과 유선 또는 무선으로 연결된 이어폰인지 여부를 판단할 수 있다. 다른 실시예에 따라, 전자 장치(400)는 탑승자로부터 떨어진 물체가 탑승자의 디바이스와 유선 또는 무선으로 연결된 커넥티드 디바이스인지 여부를 판단할 수 있다.
S930의 판단 결과, 물체가 커넥티드 디바이스인 것으로 판단된 경우, 전자 장치(400)는 물체의 오너를 탑승자로 설정할 수 있다. 또한, 전자 장치(400)는 물체가 커넥티드 디바이스인 경우 물체의 오너를 탑승자로 설정한 이후 물체의 오너를 다른 탑승자로 변경하지 않을 수 있다. 다시 말해, 전자 장치(400)는 물체의 오너를 탑승자로 변경없이 유지할 수 있다. 예를 들어, 전자 장치(400)는 물체의 오너를 탑승자로 설정한 이후, 탑승자가 물체를 다른 탑승자에게 전달하더라도 물체의 오너를 변경하지 않을 수 있으며, 탑승자가 대화 내용에서 물체에 대한 허가를 한 경우라도 물체의 오너를 변경하지 않을 수 있다.
도 10은 전자 장치가 물체에 관한 정보를 제공하는 일 실시예를 나타낸다.
전자 장치(1000)는 차량의 내부 환경에 관한 센싱 정보에 기초하여, 물체(1030)가 탑승자(1020)로부터 떨어지는 상황을 인식할 수 있고, 물체(1030)의 오너를 탑승자(1020)로 설정할 수 있다.
전자 장치(1000)는, 탑승자(1020)가 물체(1030)를 차량 내에 남겨둔 상태로 차량에서 하차하는 경우, 출력부(1010)를 통해 물체(1030)에 관한 정보를 탑승자(1020)에게 제공할 수 있다. 구체적으로, 전자 장치(1000)는 차량의 내부 환경에 관한 센싱 정보에 기초하여 탑승자(1020)가 물체(1030)를 차량 내에 남겨둔 상태로 차량에서 하차하는 상황을 인식할 수 있고, 그 결과 출력부(1010)를 통해 물체(1030)에 관한 정보를 탑승자(1020)에게 제공할 수 있다. 예를 들어, 차량이 목적지에 도착함에 따라, 탑승자(1020)는 내려놓거나 떨어뜨린 물체(1030)를 남겨둔 채로 차량에서 하차할 수 있다. 이 때, 전자 장치(1000)는 출력부(1010)를 제어하여 물체(1030)가 차량에 남겨진 상태라는 정보를 탑승자(1020)에게 제공할 수 있다. 출력부(1010)는 차량에 장착된 영상 출력부 또는 음성 출력부가 될 수 있는 바, 전자 장치(1000)는 출력부(1010)의 음성 출력 또는 영상 출력을 통해 물체(1030)에 관한 정보를 탑승자(1020)에게 제공할 수 있다.
일 실시예에 따라, 출력부(1010)는 차량에 포함될 수 있다. 다른 실시예에 따라, 출력부(1010)는 탑승자(1020)가 소지하는 디바이스에 포함될 수 있다. 또 다른 실시예에 따라, 출력부(1010)는 전자 장치(1000)에 포함될 수 있다.
도 11은 전자 장치가 물체에 관한 정보를 제공하는 다른 실시예를 나타낸다.
전자 장치(1100)는 차량의 내부 환경에 관한 센싱 정보에 기초하여, 물체(1130)가 제1탑승자(1110)로부터 떨어지는 상황을 인식할 수 있고, 물체(1130)의 오너를 제1탑승자(1110)로 설정할 수 있다. 또한, 전자 장치(1100)는 제2탑승자(1120)가 탑승자(1110)로부터 떨어지는 물체(1130)를 획득한 경우에도 물체(1130)의 오너를 제1탑승자(1110)로 설정할 수 있다.
전자 장치(1100)는, 물체(1130)의 오너가 아닌 제2탑승자(1120)가 물체(1130)를 소지한 채로 차량에서 하차하는 경우, 디바이스(1140)를 통해 물체(1130)에 관한 정보를 제2탑승자(1120)에게 제공할 수 있다. 예를 들어, 제2탑승자(1120)가 의도치 않게 제1탑승자(1110)의 물체(1130)를 소지한 채로 차량에서 하차할 수 있고, 전자 장치(1100)는 제2탑승자(1120)의 디바이스(1140)의 디스플레이를 제어하여 "다른 탑승자의 물건을 소지하고 있습니다"라는 정보를 제2탑승자(1120)에게 제공할 수 있다.
전자 장치(1100)는, 물체(1130)의 오너가 아닌 제2탑승자(1120)가 물체(1130)를 소지한 채로 차량에서 하차하는 경우, 차량 또는 제1탑승자(1110)의 디바이스에 포함된 출력부를 통해 물체(1130)에 관한 정보를 제1탑승자(1110)에게 제공할 수 있다. 예를 들어, 전자 장치(1100)는 차량 또는 제1탑승자(1110)의 디바이스에 포함된 출력부를 통해 "다른 탑승자가 물체를 소지한 채로 하차하고 있습니다."라는 정보를 제1탑승자(1110)에게 제공할 수 있다.
도 12는 전자 장치가 물체에 관한 정보를 제공하는 또 다른 실시예를 나타낸다.
전자 장치(1200)는 차량의 내부 환경에 관한 센싱 정보에 기초하여, 탑승자가 물체(1210)를 버리는 상황을 인식할 수 있고, 이에 따라 물체(1210)의 오너를 설정하지 않을 수 있다.
전자 장치(1200)는 물체(1210)에 관한 정보를 외부 장치(1220)로 전송할 수 있다. 일 실시예에 따라, 전자 장치(1200)는 물체(1210)의 위치 정보를 외부 장치(1220)로 전송할 수 있다. 외부 장치(1220)는 물체(1210)의 위치 정보에 기초하여 물체(1210)를 처리할 수 있다. 예를 들어, 물체(1210)가 버려진 쓰레기이고 외부 장치(1220)는 청소 로봇일 수 있는 바, 외부 장치(1220)는 물체(1210)의 위치 정보에 기초하여 물체(1210)를 제거할 수 있다.
도 13은 전자 장치가 물체에 관한 정보를 제공하는 또 다른 실시예를 나타낸다.
전자 장치(1300)는 차량의 내부 환경에 관한 센싱 정보에 기초하여 물체(1320)가 탑승자(1310)로부터 떨어지는 상황을 인식할 수 있고, 물체(1320)의 오너를 탑승자(1310)로 설정할 수 있다. 또한, 전자 장치(1300)는 물체(1320)가 탑승자의 좌석과 유선 또는 무선으로 연결된 커넥티드 디바이스임을 인식할 수 있다. 예를 들어, 물체(1320)는 탑승자의 좌석과 유선 또는 무선으로 연결된 이어폰일 수 있다.
전자 장치(1300)는 커넥티드 디바이스인 물체(1320)가 탑승자(1310)로부터 떨어지는 상황을 인식할 수 있고, 물체(1320)에 관한 정보를 탑승자(1310)에게 제공할 수 있다. 예를 들어, 전자 장치(1300)는 탑승자의 좌석에 장착된 디스플레이(1340)를 통해 물체(1320)가 탑승자(1310)로부터 떨어졌다는 정보는 탑승자(1310)에게 제공할 수 있다. 다른 실시예에 따라, 전자 장치(1300)는 탑승자(1310)가 소지하는 디바이스의 알람을 통해 물체(1320)가 탑승자(1310)로부터 떨어졌다는 정보는 탑승자(1310)에게 제공할 수 있다.
도 14는 전자 장치의 블록도를 나타낸다.
전자 장치(1400)는 일 실시예에 따라 차량에 포함될 수 있으며, 다른 실시예에 따라 서버에 포함될 수 있다.
전자 장치(1400)는 일 실시예에 따라, 인터페이스(interface)(1410) 및 제어부(1420)를 포함할 수 있다. 도 14에 도시된 전자 장치(1400)은 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 14에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
인터페이스(1410)는 차량의 내부 환경에 관한 센싱 정보를 획득할 수 있다. 구체적으로, 인터페이스(1410)는 차량 내 물체에 관한 센싱 정보, 물체를 소지하는 탑승자의 동작에 관한 센싱 정보, 차량의 주행 상태에 관한 센싱 정보, 및 탑승자와 다른 탑승자 간의 대화에 관한 센싱 정보를 획득할 수 있다. 일 실시예에 따라, 인터페이스(1410)는 차량의 적어도 하나의 센서로부터 차량의 내부 환경에 관한 센싱 정보를 획득할 수 있다. 다른 실시예에 따라, 인터페이스(1410)는 전자 장치(1400)의 적어도 하나의 센서로부터 차량의 내부 환경에 관한 센싱 정보를 획득할 수 있다. 또 다른 실시예에 따라, 인터페이스(1410)는 전자 장치(1400)의 메모리로부터 차량의 내부 환경에 관한 센싱 정보를 획득할 수 있다.
제어부(1420)는 전자 장치(1400)의 전반의 동작을 제어하고 데이터 및 신호를 처리할 수 있다. 제어부(1420)는 적어도 하나의 하드웨어 유닛으로 구성될 수 있다. 또한, 제어부(1420)는 메모리에 저장된 프로그램 코드를 실행하여 생성되는 하나 이상의 소프트웨어 모듈에 의해 동작할 수 있다.
제어부(1420)는 인터페이스(1410)에 의해 획득된 센싱 정보에 기초하여, 물체가 탑승자로부터 떨어지는 경우 물체의 오너를 설정할 수 있다. 일 실시예에 따라, 제어부(1420)는 획득된 센싱 정보에 기초하여, 물체가 상기 탑승자로부터 떨어지는 시점 이전에 탑승자가 물체를 내려놓는 동작이 존재하는지 여부를 판단할 수 있고, 판단 결과 존재하는 경우, 물체의 오너를 상기 탑승자로 설정할 수 있다. 또한, 제어부(1420)는 획득된 센싱 정보에 기초하여, 물체를 다른 탑승자가 소지하고 있는지 여부 및 대화에서 물체에 대한 허가 내용이 존재하는지 여부를 판단할 수 있고, 판단 결과, 물체를 다른 탑승자가 소지하고 대화에서 허가 내용이 존재하는 경우, 물체의 오너를 탑승자에서 다른 탑승자로 변경할 수 있다. 다른 실시예에 따라, 제어부(1420)는 획득된 센싱 정보에 기초하여, 물체가 탑승자로부터 떨어지는 시점 이전에 탑승자가 물체를 내려놓는 동작이 존재하는지 여부 및 차량의 흔들림이 존재하는지 여부를 판단할 수 있고, 판단 결과 물체를 내려놓는 동작이 존재하지 않고, 차량의 흔들림이 존재하는 경우, 물체의 오너를 탑승자로 설정할 수 있다. 또 다른 실시예에 따라, 제어부(1420)는 획득된 센싱 정보에 기초하여, 물체가 탑승자로부터 떨어지는 시점 이전에 탑승자가 물체를 내려놓는 동작이 존재하는지 여부 및 차량의 흔들림이 존재하는지 여부를 판단할 수 있고, 판단 결과 물체를 내려놓는 동작이 존재하지 않고, 차량의 흔들림이 존재하지 않은 경우, 물체의 오너를 설정하지 않을 수 있다.
제어부(1420)는 획득된 센싱 정보에 기초하여, 물체가 탑승자로부터 떨어지는 시점 이전에 탑승자가 물체를 다른 탑승자에게 전달하는 동작이 존재하는지 여부를 판단할 수 있고, 판단 결과 존재하는 경우, 물체의 오너를 다른 탑승자로 설정할 수 있다.
제어부(1420)는 획득된 센싱 정보에 기초하여, 물체가 탑승자의 좌석과 무선 또는 유선으로 연결된 커넥티드 디바이스(connected device)인지 여부를 판단할 수 있고, 판단 결과 물체가 커넥티드 디바이스인 경우, 물체의 오너를 탑승자로 설정할 수 있다.
제어부(1420)는 물체의 오너가 물체를 차량 내에 남겨둔 상태로 차량에서 하차하는 경우, 물체에 관한 정보를 출력부를 통해 물체의 오너에게 제공할 수 있다. 출력부는 차량 및 물체의 오너가 소지하는 디바이스 중 적어도 하나에 포함될 수 있다.
제어부(1420)는 물체의 오너가 아닌 다른 탑승자가 물체를 소지한 채로 차량에서 하차하는 경우, 물체에 관한 정보를 출력부를 통해 물체의 오너 및 다른 탑승자 중 적어도 하나에게 제공할 수 있다.
전술한 실시예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-Access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
전술한 실시예들은 일 예시일 뿐 후술하는 청구항들의 범위 내에서 다른 실시예들이 구현될 수 있다.

Claims (20)

  1. 전자 장치의 동작 방법으로서,
    차량 내 물체에 관한 센싱 정보 및 상기 물체를 소지하는 탑승자의 동작에 관한 센싱 정보를 획득하는 단계;
    상기 획득된 센싱 정보에 기초하여, 상기 물체가 상기 탑승자로부터 떨어지는 경우 상기 물체의 오너(owner)를 설정하는 단계; 및
    소정의 상황이 발생하는 경우 상기 물체에 관한 정보를 상기 물체의 오너에게 제공하는 단계를 포함하는, 동작 방법.
  2. 제1항에 있어서,
    상기 설정하는 단계는,
    상기 획득된 센싱 정보에 기초하여, 상기 물체가 상기 탑승자로부터 떨어지는 시점 이전에 상기 탑승자가 상기 물체를 내려놓는 동작이 존재하는지 여부를 판단하는 단계; 및
    상기 판단 결과 존재하는 경우, 상기 물체의 오너를 상기 탑승자로 설정하는 단계를 포함하는, 동작 방법.
  3. 제2항에 있어서,
    상기 설정하는 단계는,
    상기 탑승자가 오너인 물체를 다른 탑승자가 소지하더라도 상기 물체의 오너를 상기 탑승자로 유지하는 단계를 더 포함하는, 동작 방법.
  4. 제2항에 있어서,
    상기 획득하는 단계는,
    상기 탑승자와 다른 탑승자 간의 대화에 관한 센싱 정보를 획득하는 단계를 포함하고,
    상기 설정하는 단계는,
    상기 획득된 센싱 정보에 기초하여, 상기 물체를 상기 다른 탑승자가 소지하고 있는지 여부 및 상기 대화에서 상기 물체에 대한 허가 내용이 존재하는지 여부를 판단하는 단계; 및
    상기 판단 결과 상기 물체를 상기 다른 탑승자가 소지하고 상기 대화에서 허가 내용이 존재하는 경우, 상기 물체의 오너를 상기 탑승자에서 상기 다른 탑승자로 변경하는 단계를 더 포함하는, 동작 방법.
  5. 제1항에 있어서,
    상기 획득하는 단계는,
    상기 차량의 주행 상태에 관한 센싱 정보를 획득하는 단계를 포함하고,
    상기 설정하는 단계는,
    상기 획득된 센싱 정보에 기초하여, 상기 물체가 상기 탑승자로부터 떨어지는 시점 이전에 상기 탑승자가 상기 물체를 내려놓는 동작이 존재하는지 여부 및 상기 차량의 흔들림이 존재하는지 여부를 판단하는 단계; 및
    상기 판단 결과 상기 물체를 내려놓는 동작이 존재하지 않고, 상기 차량의 흔들림이 존재하는 경우, 상기 물체의 오너를 탑승자로 설정하는 단계를 포함하는, 동작 방법.
  6. 제1항에 있어서,
    상기 획득하는 단계는,
    상기 차량의 주행 상태에 관한 센싱 정보를 획득하는 단계를 포함하고,
    상기 설정하는 단계는,
    상기 획득된 센싱 정보에 기초하여, 상기 물체가 상기 탑승자로부터 떨어지는 시점 이전에 상기 탑승자가 상기 물체를 내려놓는 동작이 존재하는지 여부 및 상기 차량의 흔들림이 존재하는지 여부를 판단하는 단계; 및
    상기 판단 결과 상기 물체를 내려놓는 동작이 존재하지 않고, 상기 차량의 흔들림이 존재하지 않은 경우, 상기 물체의 오너를 설정하지 않는 단계를 더 포함하고,
    상기 물체에 관한 정보를 외부 장치로 전송하는 단계를 더 포함하는, 동작 방법.
  7. 제1항에 있어서,
    상기 설정하는 단계는,
    상기 획득된 센싱 정보에 기초하여, 상기 물체가 상기 탑승자로부터 떨어지는 시점 이전에 상기 탑승자가 상기 물체를 다른 탑승자에게 전달하는 동작이 존재하는지 여부를 판단하는 단계; 및
    상기 판단 결과 존재하는 경우, 상기 물체의 오너를 상기 다른 탑승자로 설정하는 단계를 포함하는, 동작 방법.
  8. 제1항에 있어서,
    상기 설정하는 단계는,
    상기 획득된 센싱 정보에 기초하여, 상기 물체가 상기 탑승자의 좌석과 무선 또는 유선으로 연결된 커넥티드 디바이스(connected device)인지 여부를 판단하는 단계; 및
    상기 판단 결과 상기 물체가 커넥티드 디바이스인 경우, 상기 물체의 오너를 상기 탑승자로 설정하는 단계를 포함하는, 동작 방법.
  9. 제1항에 있어서,
    상기 제공하는 단계는,
    상기 물체의 오너가 상기 물체를 상기 차량 내에 남겨둔 상태로 상기 차량에서 하차하는 경우, 상기 물체에 관한 정보를 출력부를 통해 상기 물체의 오너에게 제공하는 단계를 포함하는, 동작 방법.
  10. 제9항에 있어서,
    상기 출력부는,
    상기 차량 및 상기 물체의 오너가 소지하는 디바이스 중 적어도 하나에 포함되는, 동작 방법.
  11. 제1항에 있어서,
    상기 제공하는 단계는,
    상기 물체의 오너가 아닌 다른 탑승자가 상기 물체를 소지한 채로 상기 차량에서 하차하는 경우, 상기 물체에 관한 정보를 출력부를 통해 상기 물체의 오너 및 상기 다른 탑승자 중 적어도 하나에게 제공하는 단계를 포함하는, 동작 방법.
  12. 제1항 내지 제11항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 비휘발성 기록매체.
  13. 전자 장치로서,
    차량 내 물체에 관한 센싱 정보 및 상기 물체를 소지하는 탑승자의 동작에 관한 센싱 정보를 획득하는 인터페이스; 및
    상기 획득된 센싱 정보에 기초하여, 상기 물체가 상기 탑승자로부터 떨어지는 경우 상기 물체의 오너(owner)를 설정하고, 소정의 상황이 발생하는 경우, 출력부를 통해, 상기 물체에 관한 정보를 상기 물체의 오너에게 제공하는 제어부를 포함하는, 전자 장치.
  14. 제13항에 있어서,
    상기 제어부는,
    상기 획득된 센싱 정보에 기초하여, 상기 물체가 상기 탑승자로부터 떨어지는 시점 이전에 상기 탑승자가 상기 물체를 내려놓는 동작이 존재하는지 여부를 판단하고, 상기 판단 결과 존재하는 경우, 상기 물체의 오너를 상기 탑승자로 설정하는, 전자 장치.
  15. 제14항에 있어서,
    상기 인터페이스는,
    상기 탑승자와 다른 탑승자 간의 대화에 관한 센싱 정보를 더 획득하고,
    상기 제어부는,
    상기 획득된 센싱 정보에 기초하여, 상기 물체를 상기 다른 탑승자가 소지하고 있는지 여부 및 상기 대화에서 상기 물체에 대한 허가 내용이 존재하는지 여부를 판단하고, 상기 판단 결과 상기 물체를 상기 다른 탑승자가 소지하고 상기 대화에서 허가 내용이 존재하는 경우, 상기 물체의 오너를 상기 탑승자에서 상기 다른 탑승자로 변경하는, 전자 장치.
  16. 제13항에 있어서,
    상기 인터페이스는,
    상기 차량의 주행 상태에 관한 센싱 정보를 더 획득하고,
    상기 제어부는,
    상기 획득된 센싱 정보에 기초하여, 상기 물체가 상기 탑승자로부터 떨어지는 시점 이전에 상기 탑승자가 상기 물체를 내려놓는 동작이 존재하는지 여부 및 상기 차량의 흔들림이 존재하는지 여부를 판단하고, 상기 판단 결과 상기 물체를 내려놓는 동작이 존재하지 않고 상기 차량의 흔들림이 존재하는 경우, 상기 물체의 오너를 탑승자로 설정하는, 전자 장치.
  17. 제13항에 있어서,
    상기 인터페이스는,
    상기 차량의 주행 상태에 관한 센싱 정보를 더 획득하고,
    상기 제어부는,
    상기 획득된 센싱 정보에 기초하여, 상기 물체가 상기 탑승자로부터 떨어지는 시점 이전에 상기 탑승자가 상기 물체를 내려놓는 동작이 존재하는지 여부 및 상기 차량의 흔들림이 존재하는지 여부를 판단하고, 상기 판단 결과 상기 물체를 내려놓는 동작이 존재하지 않고 상기 차량의 흔들림이 존재하지 않은 경우, 상기 물체의 오너를 설정하지 않는, 전자 장치.
  18. 제13항에 있어서,
    상기 제어부는,
    상기 물체의 오너가 상기 물체를 상기 차량 내에 남겨둔 상태로 상기 차량에서 하차하는 경우, 상기 물체에 관한 정보를 상기 출력부를 통해 상기 물체의 오너에게 제공하는, 전자 장치.
  19. 제13항에 있어서,
    상기 출력부는,
    상기 차량 및 상기 물체의 오너가 소지하는 디바이스 중 적어도 하나에 포함되는, 전자 장치.
  20. 제13항에 있어서,
    상기 제어부는,
    상기 물체의 오너가 아닌 다른 탑승자가 상기 물체를 소지한 채로 상기 차량에서 하차하는 경우, 상기 물체에 관한 정보를 상기 출력부를 통해 상기 물체의 오너 및 상기 다른 탑승자 중 적어도 하나에게 제공하는, 전자 장치.
KR1020190148568A 2019-11-19 2019-11-19 전자 장치 및 그의 동작 방법 KR20190137032A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190148568A KR20190137032A (ko) 2019-11-19 2019-11-19 전자 장치 및 그의 동작 방법
US16/730,895 US11170239B2 (en) 2019-11-19 2019-12-30 Electronic apparatus and operation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190148568A KR20190137032A (ko) 2019-11-19 2019-11-19 전자 장치 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
KR20190137032A true KR20190137032A (ko) 2019-12-10

Family

ID=69002527

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190148568A KR20190137032A (ko) 2019-11-19 2019-11-19 전자 장치 및 그의 동작 방법

Country Status (2)

Country Link
US (1) US11170239B2 (ko)
KR (1) KR20190137032A (ko)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8320613B2 (en) * 2008-06-04 2012-11-27 Lockheed Martin Corporation Detecting and tracking targets in images based on estimated target geometry
US20160006577A1 (en) * 2009-10-08 2016-01-07 Bringrr Systems, Llc Method and device to set household parameters based on the movement of items
US8570168B2 (en) * 2009-10-08 2013-10-29 Bringrr Systems, Llc System, method and device to interrogate for the presence of objects
ITMI20131241A1 (it) * 2013-07-24 2015-01-25 Wina S R L Sistema e metodo di ausilio per ipovendenti o non vedenti
KR101623560B1 (ko) 2014-03-11 2016-05-23 (주)유비그린 택시 승객을 위한 휴대단말 분실방지 시스템 및 그 제어방법
KR101841948B1 (ko) * 2015-10-02 2018-03-26 엘지전자 주식회사 차량 내 분실물 예방 서비스 제공장치, 제공방법 및 이동 단말기
JP6241796B2 (ja) * 2015-12-25 2017-12-06 パナソニックＩｐマネジメント株式会社 置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法
US10303961B1 (en) * 2017-04-13 2019-05-28 Zoox, Inc. Object detection and passenger notification
US11017537B2 (en) * 2017-04-28 2021-05-25 Hitachi Kokusai Electric Inc. Image monitoring system
US10423924B2 (en) * 2017-11-16 2019-09-24 Symbol Technologies, Llc Detection of misplaced objects and association with qualified target in venue for object return
US11600072B2 (en) * 2018-12-12 2023-03-07 Motorola Solutions, Inc. Object left behind detection

Also Published As

Publication number Publication date
US20200134334A1 (en) 2020-04-30
US11170239B2 (en) 2021-11-09

Similar Documents

Publication Publication Date Title
US11663516B2 (en) Artificial intelligence apparatus and method for updating artificial intelligence model
KR102281602B1 (ko) 사용자의 발화 음성을 인식하는 인공 지능 장치 및 그 방법
KR20190110498A (ko) 영상 파일에서 불특정 인물의 얼굴 영역을 비식별화 처리하는 인공 지능 서버 및 그 방법
US11568239B2 (en) Artificial intelligence server and method for providing information to user
US11383379B2 (en) Artificial intelligence server for controlling plurality of robots and method for the same
KR20190104263A (ko) 인공지능 기반의 음성 인식 서비스 제공 장치 및 방법
KR20190096878A (ko) 인공지능 기반의 공기조화기
KR20190098735A (ko) 차량 단말 및 그의 동작 방법
KR102331672B1 (ko) 사용자의 위치를 결정하는 인공 지능 장치 및 그 방법
US10872438B2 (en) Artificial intelligence device capable of being controlled according to user's gaze and method of operating the same
KR102225975B1 (ko) 엔진음 합성 장치 및 엔진음 합성 방법
KR20190107626A (ko) 인공지능 서버
US11482210B2 (en) Artificial intelligence device capable of controlling other devices based on device information
KR20190106862A (ko) 인공지능 장치 및 그를 이용한 IoT 기기의 도난 감지 및 탐색 방법
KR20190101333A (ko) 음성 인식 장치 및 음성 인식 방법
US20190377362A1 (en) Artificial intelligence device installed in vehicle and method therefor
KR20190101330A (ko) 음성 처리 장치 및 음성 처리 방법
US20210239338A1 (en) Artificial intelligence device for freezing product and method therefor
KR20190094304A (ko) 음성 인식 기능을 제공하는 인공 지능 로봇 및 그의 동작 방법
US11605378B2 (en) Intelligent gateway device and system including the same
US11455529B2 (en) Artificial intelligence server for controlling a plurality of robots based on guidance urgency
KR20190098097A (ko) 전자 제어 시스템
KR20190094312A (ko) 인공 지능을 이용하여, 복수의 로봇들을 제어하는 관제 시스템
US10931813B1 (en) Artificial intelligence apparatus for providing notification and method for same
US20210155262A1 (en) Electronic apparatus and operation method thereof