KR20210004173A - 사용자 모니터링 방법 및 장치 - Google Patents

사용자 모니터링 방법 및 장치 Download PDF

Info

Publication number
KR20210004173A
KR20210004173A KR1020190080153A KR20190080153A KR20210004173A KR 20210004173 A KR20210004173 A KR 20210004173A KR 1020190080153 A KR1020190080153 A KR 1020190080153A KR 20190080153 A KR20190080153 A KR 20190080153A KR 20210004173 A KR20210004173 A KR 20210004173A
Authority
KR
South Korea
Prior art keywords
user
preset
possibility
information
monitoring device
Prior art date
Application number
KR1020190080153A
Other languages
English (en)
Inventor
김현규
송기봉
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020190080153A priority Critical patent/KR20210004173A/ko
Priority to US16/541,597 priority patent/US20190371149A1/en
Publication of KR20210004173A publication Critical patent/KR20210004173A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/186—Fuzzy logic; neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0233—System arrangements with pre-alarms, e.g. when a first distance is exceeded
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G06K9/00221—
    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/16—Actuation by interference with mechanical vibrations in air or other fluid
    • G08B13/1654—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems
    • G08B13/1672—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems using sonic detecting means, e.g. a microphone operating in the audio frequency range
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0277—Communication between units on a local network, e.g. Bluetooth, piconet, zigbee, Wireless Personal Area Networks [WPAN]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/002—Generating a prealarm to the central station

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Child & Adolescent Psychology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Fuzzy Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Traffic Control Systems (AREA)

Abstract

사용자 모니터링 방법 및 장치가 개시된다. 사용자 모니터링 방법은 자율주행차량 내부의 이미지 정보를 획득하는 단계, 획득한 이미지 정보를 기반으로 자율주행 차량에 탑승한 미리 설정된 사용자 이외의 다른 사용자와 관련된 정보를 모니터링하는 단계, 모니터링한 관련된 정보를 기반으로 학습된 상호 작용 가능성 예측 모델을 이용하여 다른 사용자에 의해 미리 설정된 사용자에 대한 특정 행위 가능성을 확인하는 단계, 확인 결과에 따른 미리 설정된 동작을 수행하는 단계를 포함할 수 있다. 본 발명의 자율주행 차량, 범죄 예측 장치 중 하나 이상은 인공지능(Artificial Intelligence) 모듈, 드론(Unmmaned Aerial Vehicle, UAV), 로봇, 증강 현실(Augmented Reality, AR) 장치, 가상 현실(Virtual Reality, VR) 장치, 5G서비스와 관련된 장치 등과 연계될 수 있다.

Description

사용자 모니터링 방법 및 장치{APPARATUS AND METHOD FOR USER MONITORING}
본 개시는 사용자 모니터링 방법 및 장치에 관한 것으로, 구체적으로 미리 설정된 사용자에 대해 다른 사용자에 의한 범죄 가능성에 따른 동작을 수행할 수 있는 사용자 모니터링 방법 및 장치에 관한 것이다.
핵가족화와 저 출산으로 인하여 각 가정당 1~2명의 자녀만 양육함에 따라 자녀에 대한 보호의 필요성이 점차로 높아지고 있다. 또한, 아동에 대한 범죄가 증가함에 따라 가정 바깥에서 자녀가 안전하게 보호될 수 있는 기술에 대한 요구가 증가하고 있다. 특히, 어린 자녀 혼자 차량을 통해 등/하교할 때, 많은 범죄들이 발생하고 있어 부모들의 걱정이 심각해지고 있어, 자녀의 안전을 보장할 수 있는 기술 수요가 증가하고 있다. 따라서, 차량과 같은 일정한 공간에 위치한 자녀가 범죄 가능성으로부터 보호될 수 있는 기술이 필요하다.
개시된 실시 예들은 미리 설정된 사용자(예를 들면, 어린 자녀)에 대해 다른 사용자에 의한 범죄 가능성에 따른 동작을 수행할 수 있는 사용자 모니터링 방법 및 장치를 개시한다. 본 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시 예 들로부터 또 다른 기술적 과제들이 유추될 수 있다.
본 발명의 일 실시 예에 따른, 사용자 모니터링 방법은 자율주행 차량 내부의이미지 정보를 획득하는 단계, 획득한 이미지 정보를 기반으로 자율주행 차량에 탑승한 미리 설정된 사용자 이외의 다른 사용자와 관련된 정보를 모니터링하는 단계, 모니터링한 관련된 정보를 기반으로 학습된 상호 작용 가능성 예측 모델을 이용하여 다른 사용자에 의해 미리 설정된 사용자에 대한 특정 행위 가능성을 확인하는 단계, 및 확인 결과에 따른 미리 설정된 동작을 수행하는 단계를 포함할 수 있다.
본 발명의 다른 일 실시 예에 따른, 사용자 모니터링 장치는 자율주행 차량 내부의 이미지 정보를 획득하는 센서, 획득한 이미지 정보를 기반으로 자율주행 차량에 탑승한 미리 설정된 사용자 이외의 다른 사용자와 관련된 정보를 모니터링하고, 모니터링한 관련된 정보를 기반으로 학습된 상호 작용 가능성 예측 모델을 이용하여 다른 사용자에 의해 미리 설정된 사용자에 대한 특정 행위 가능성을 확인하고, 확인 결과에 따른 미리 설정된 동작을 수행하는 프로세서를 포함할 수 있다.
기타 실시 예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 명세서의 실시 예에 따르면 아래와 같은 효과가 하나 혹은 그 이상 있다.
첫째, 차량과 같은 일정한 공간에 위치한 사용자를 모니터링하여, 어린 자녀와 같은 미리 설정된 사용자의 안전을 보장할 수 있는 효과가 있다.
둘째, 어린 자녀와 같은 미리 설정된 사용자와 관련된 정보(예를 들면, 성향)를 반영하여 미리 설정된 사용자에 대한 범죄 가능성을 확인할 수 있어, 미리 설정된 사용자를 보다 안전하게 보호할 수 있는 효과가 있다.
셋째, 미리 설정된 사용자 이외의 다른 사용자와 관련된 정보를 모니터링하여 모니터링 정보에 기초하여 범죄 가능성이 확인될 수 있어, 미리 설정된 사용자가 보다 안전하게 보호될 수 있는 효과가 있다.
발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당해 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 AI 장치(100)를 나타낸다.
도 2는 본 발명의 일 실시 예에 따른 AI 서버(200)를 나타낸다.
도 3은 본 발명의 일 실시 예에 따른 AI 시스템(1)을 나타낸다.
도 4는 본 발명의 일 실시 예에 따른 사용자 모니터링 장치를 이용하여, 차량에 탑승한 탑승객에 의해 미리 설정된 탑승객에 대한 특정 행위 가능성을 확인하는 사용자 모니터링 방법의 일례를 나타내는 도면이다.
도 5는 본 발명의 다른 일 실시 예에 따른 사용자 모니터링 장치를 이용하여, 차량에 탑승한 탑승객에 의해 미리 설정된 탑승객에 대한 특정 행위 가능성을 확인하는 사용자 모니터링 방법의 일례를 나타내는 도면이다.
도 6은 본 발명의 또 다른 일 실시 예에 따른 사용자 모니터링 장치를 이용하여, 차량에 탑승한 탑승객에 의해 미리 설정된 탑승객에 대한 특정 행위 가능성을 확인하는 사용자 모니터링 방법의 일례를 나타내는 도면이다.
도 7은 일 실시 예에 따른, 사용자 모니터링 장치의 블록도를 나타낸 도면이다.
도 8은 일 실시 예에 따른 사용자 모니터링 장치를 이용한 사용자 모니터링 방법을 나타내는 흐름도이다.
도 9는 일 실시 예에 따른 미리 설정된 사용자 이외의 다른 사용자의 과거 기록 및 외모 상태에 따른 특정 행위 가능성의 변경을 나타낸 도면이다.
도 10은 다른 일 실시 예에 미리 설정된 사용자와 관련된 정보를 반영하여 특정 행위 가능성을 변경하는 것을 나타낸 도면이다.
이하, 실시 예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시 예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 실시 예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수 개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시 예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 본 명세서에서 인공 지능(AI, Artificial Intelligence)은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.
인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로써, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력 값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.
인공 신경망은 입력 층(Input Layer), 출력 층(Output Layer), 그리고 선택적으로 하나 이상의 은닉 층(Hidden Layer)을 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함수 값을 출력할 수 있다.
모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향 등이 포함된다. 그리고, 하이퍼 파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습 률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.
인공 신경망의 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.
머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.
지도 학습은 학습 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.
인공 신경망 중에서 복수의 은닉 층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 이하에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용된다.
또한, 본 명세서에서 자율 주행은 스스로 주행하는 기술을 의미하며, 자율 주행 차량은 사용자의 조작 없이 또는 사용자의 최소한의 조작으로 주행하는 차량(Vehicle)을 의미한다.
예컨대, 자율 주행에는 주행중인 차선을 유지하는 기술, 어댑티브 크루즈 컨트롤과 같이 속도를 자동으로 조절하는 기술, 정해진 경로를 따라 자동으로 주행하는 기술, 목적지가 설정되면 자동으로 경로를 설정하여 주행하는 기술 등이 모두 포함될 수 있다.
여기서 차량은 내연 기관 만을 구비하는 차량, 내연 기관과 전기 모터를 함께 구비하는 하이브리드 차량, 그리고 전기 모터만을 구비하는 전기 차량을 모두 포괄하며, 자동차뿐만 아니라 기차, 오토바이 등을 포함할 수 있다.
이때, 자율 주행 차량은 자율 주행 기능을 가진 로봇으로 볼 수 있다.
도 1은 본 발명의 일 실시 예에 따른 AI 장치(100)를 나타낸다.
AI 장치(100)는 TV, 프로젝터, 휴대폰, 스마트폰, 데스크 탑 컴퓨터, 노트북, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC, 웨어러블 장치, 셋 톱 박스(STB), DMB 수신기, 라디오, 세탁기, 냉장고, 데스크 탑 컴퓨터, 디지털 사이니지, 로봇, 차량 등과 같은, 고정형 기기 또는 이동 가능한 기기 등으로 구현될 수 있다.
도 1을 참조하면, 단말기(100)는 통신부(110), 입력부(120), 러닝 프로세서(130), 센싱부(140), 출력부(150), 메모리(170) 및 프로세서(180) 등을 포함할 수 있다.
통신부(110)는 유무선 통신 기술을 이용하여 다른 AI 장치(100a 내지 100e)나 AI 서버(200) 등의 외부 장치들과 데이터를 송수신할 수 있다. 예컨대, 통신부(110)는 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다.
이때, 통신부(110)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등이 있다.
입력부(120)는 다양한 종류의 데이터를 획득할 수 있다.
이때, 입력부(120)는 영상 신호 입력을 위한 카메라, 오디오 신호를 수신하기 위한 마이크로폰, 사용자로부터 정보를 입력 받기 위한 사용자 입력부 등을 포함할 수 있다. 여기서, 카메라나 마이크로폰을 센서로 취급하여, 카메라나 마이크로 폰 로부터 획득한 신호를 센싱 데이터 또는 센서 정보라고 할 수도 있다.
입력부(120)는 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때 사용될 입력 데이터 등을 획득할 수 있다. 입력부(120)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 프로세서(180) 또는 러닝 프로세서(130)는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.
러닝 프로세서(130)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.
이때, 러닝 프로세서(130)는 AI 서버(200)의 러닝 프로세서(240)과 함께 AI 프로세싱을 수행할 수 있다.
이때, 러닝 프로세서(130)는 AI 장치(100)에 통합되거나 구현된 메모리를 포함할 수 있다. 또는, 러닝 프로세서(130)는 메모리(170), AI 장치(100)에 직접 결합된 외부 메모리 또는 외부 장치에서 유지되는 메모리를 사용하여 구현될 수도 있다.
센싱부(140)는 다양한 센서들을 이용하여 AI 장치(100) 내부 정보, AI 장치(100)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다.
이때, 센싱부(140)에 포함되는 센서에는 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰, 라이다, 레이더 등이 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다.
이때, 출력부(150)에는 시각 정보를 출력하는 디스플레이부, 청각 정보를 출력하는 스피커, 촉각 정보를 출력하는 햅틱 모듈 등이 포함될 수 있다.
메모리(170)는 AI 장치(100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예컨대, 메모리(170)는 입력부(120)에서 획득한 입력 데이터, 학습 데이터, 학습 모델, 학습 히스토리 등을 저장할 수 있다. 메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서(180)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, AI 장치(100)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 프로세서(180)는 AI 장치(100)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다.
이를 위해, 프로세서(180)는 러닝 프로세서(130) 또는 메모리(170)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 AI 장치(100)의 구성 요소들을 제어할 수 있다.
이때, 프로세서(180)는 결정된 동작을 수행하기 위하여 외부 장치의 연계가 필요한 경우, 해당 외부 장치를 제어하기 위한 제어 신호를 생성하고, 생성한 제어 신호를 해당 외부 장치에 전송할 수 있다.
프로세서(180)는 사용자 입력에 대하여 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 사용자의 요구 사항을 결정할 수 있다.
이때, 프로세서(180)는 음성 입력을 문자열로 변환하기 위한 STT(Speech To Text) 엔진 또는 자연어의 의도 정보를 획득하기 위한 자연어 처리(NLP: Natural Language Processing) 엔진 중에서 적어도 하나 이상을 이용하여, 사용자 입력에 상응하는 의도 정보를 획득할 수 있다.
이때, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 적어도 일부가 머신 러닝 알고리즘에 따라 학습된 인공 신경망으로 구성될 수 있다. 그리고, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 러닝 프로세서(130)에 의해 학습된 것이나, AI 서버(200)의 러닝 프로세서(240)에 의해 학습된 것이거나, 또는 이들의 분산 처리에 의해 학습된 것일 수 있다.
프로세서(180)는 AI 장치(100)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리(170) 또는 러닝 프로세서(130)에 저장하거나, AI 서버(200) 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.
프로세서(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, AI 장치(100)의 구성 요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(180)는 상기 응용 프로그램의 구동을 위하여, AI 장치(100)에 포함된 구성 요소들 중 둘 이상을 서로 조합하여 동작시킬 수 있다.
도 2는 본 발명의 일 실시 예에 따른 AI 서버(200)를 나타낸다.
도 2를 참조하면, AI 서버(200)는 머신 러닝 알고리즘을 이용하여 인공 신경망을 학습시키거나 학습된 인공 신경망을 이용하는 장치를 의미할 수 있다. 여기서, AI 서버(200)는 복수의 서버들로 구성되어 분산 처리를 수행할 수도 있고, 5G 네트워크로 정의될 수 있다. 이때, AI 서버(200)는 AI 장치(100)의 일부의 구성으로 포함되어, AI 프로세싱 중 적어도 일부를 함께 수행할 수도 있다.
AI 서버(200)는 통신부(210), 메모리(230), 러닝 프로세서(240) 및 프로세서(260) 등을 포함할 수 있다.
통신부(210)는 AI 장치(100) 등의 외부 장치와 데이터를 송수신할 수 있다.
메모리(230)는 모델 저장부(231)를 포함할 수 있다. 모델 저장부(231)는 러닝 프로세서(240)을 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망, 231a)을 저장할 수 있다.
러닝 프로세서(240)는 학습 데이터를 이용하여 인공 신경망(231a)을 학습시킬 수 있다. 학습 모델은 인공 신경망의 AI 서버(200)에 탑재된 상태에서 이용되거나, AI 장치(100) 등의 외부 장치에 탑재되어 이용될 수도 있다.
학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(230)에 저장될 수 있다.
프로세서(260)는 학습 모델을 이용하여 새로운 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 AI 시스템(1)을 나타낸다.
도 3을 참조하면, AI 시스템(1)은 AI 서버(200), 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중에서 적어도 하나 이상이 클라우드 네트워크(10)와 연결된다. 여기서, AI 기술이 적용된 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 등을 AI 장치(100a 내지 100e)라 칭할 수 있다.
클라우드 네트워크(10)는 클라우드 컴퓨팅 인프라의 일부를 구성하거나 클라우드 컴퓨팅 인프라 안에 존재하는 네트워크를 의미할 수 있다. 여기서, 클라우드 네트워크(10)는 3G 네트워크, 4G 또는 LTE(Long Term Evolution) 네트워크 또는 5G 네트워크 등을 이용하여 구성될 수 있다.
즉, AI 시스템(1)을 구성하는 각 장치들(100a 내지 100e, 200)은 클라우드 네트워크(10)를 통해 서로 연결될 수 있다. 특히, 각 장치들(100a 내지 100e, 200)은 기지국을 통해서 서로 통신할 수도 있지만, 기지국을 통하지 않고 직접 서로 통신할 수도 있다.
AI 서버(200)는 AI 프로세싱을 수행하는 서버와 빅 데이터에 대한 연산을 수행하는 서버를 포함할 수 있다.
AI 서버(200)는 AI 시스템(1)을 구성하는 AI 장치들인 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중에서 적어도 하나 이상과 클라우드 네트워크(10)을 통하여 연결되고, 연결된 AI 장치들(100a 내지 100e)의 AI 프로세싱을 적어도 일부를 도울 수 있다.
이때, AI 서버(200)는 AI 장치(100a 내지 100e)를 대신하여 머신 러닝 알고리즘에 따라 인공 신경망을 학습시킬 수 있고, 학습 모델을 직접 저장하거나 AI 장치(100a 내지 100e)에 전송할 수 있다.
이때, AI 서버(200)는 AI 장치(100a 내지 100e)로부터 입력 데이터를 수신하고, 학습 모델을 이용하여 수신한 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성하여 AI 장치(100a 내지 100e)로 전송할 수 있다.
또는, AI 장치(100a 내지 100e)는 직접 학습 모델을 이용하여 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수도 있다.
이하에서는, 상술한 기술이 적용되는 AI 장치(100a 내지 100e)의 다양한 실시 예들을 설명한다. 여기서, 도 3에 도시된 AI 장치(100a 내지 100e)는 도 1에 도시된 AI 장치(100)의 구체적인 실시 예로 볼 수 있다.
본 실시 예에 따른 자율 주행 차량(100b)은 AI 기술이 적용되어, 이동형 로봇, 차량, 무인 비행체 등으로 구현될 수 있다.
자율 주행 차량(100b)은 자율 주행 기능을 제어하기 위한 자율 주행 제어 모듈을 포함할 수 있고, 자율 주행 제어 모듈은 소프트웨어 모듈 또는 이를 하드웨어로 구현한 칩을 의미할 수 있다. 자율 주행 제어 모듈은 자율 주행 차량(100b)의 구성으로써 내부에 포함될 수도 있지만, 자율 주행 차량(100b)의 외부에 별도의 하드웨어로 구성되어 연결될 수도 있다.
자율 주행 차량(100b)은 다양한 종류의 센서들로부터 획득한 센서 정보를 이용하여 자율 주행 차량(100b)의 상태 정보를 획득하거나, 주변 환경 및 객체를 검출(인식)하거나, 맵 데이터를 생성하거나, 이동 경로 및 주행 계획을 결정하거나, 동작을 결정할 수 있다.
여기서, 자율 주행 차량(100b)은 이동 경로 및 주행 계획을 결정하기 위하여, 로봇(100a)과 마찬가지로, 라이다, 레이더, 카메라 중에서 적어도 하나 이상의 센서에서 획득한 센서 정보를 이용할 수 있다.
특히, 자율 주행 차량(100b)은 시야가 가려지는 영역이나 일정 거리 이상의 영역에 대한 환경이나 객체는 외부 장치들로부터 센서 정보를 수신하여 인식하거나, 외부 장치들로부터 직접 인식된 정보를 수신할 수 있다.
자율 주행 차량(100b)은 적어도 하나 이상의 인공 신경망으로 구성된 학습 모델을 이용하여 상기한 동작들을 수행할 수 있다. 예컨대, 자율 주행 차량(100b)은 학습 모델을 이용하여 주변 환경 및 객체를 인식할 수 있고, 인식된 주변 환경 정보 또는 객체 정보를 이용하여 주행 동선을 결정할 수 있다. 여기서, 학습 모델은 자율 주행 차량(100b)에서 직접 학습되거나, AI 서버(200) 등의 외부 장치에서 학습된 것일 수 있다.
이때, 자율 주행 차량(100b)은 직접 학습 모델을 이용하여 결과를 생성하여 동작을 수행할 수도 있지만, AI 서버(200) 등의 외부 장치에 센서 정보를 전송하고 그에 따라 생성된 결과를 수신하여 동작을 수행할 수도 있다.
자율 주행 차량(100b)은 맵 데이터, 센서 정보로부터 검출한 객체 정보 또는 외부 장치로부터 획득한 객체 정보 중에서 적어도 하나 이상을 이용하여 이동 경로와 주행 계획을 결정하고, 구동부를 제어하여 결정된 이동 경로와 주행 계획에 따라 자율 주행 차량(100b)을 주행 시킬 수 있다.
맵 데이터에는 자율 주행 차량(100b)이 주행하는 공간(예컨대, 도로)에 배치된 다양한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 예컨대, 맵 데이터에는 가로등, 바위, 건물 등의 고정 객체들과 차량, 보행자 등의 이동 가능한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 그리고, 객체 식별 정보에는 명칭, 종류, 거리, 위치 등이 포함될 수 있다.
또한, 자율 주행 차량(100b)은 사용자의 제어/상호작용에 기초하여 구동부를 제어함으로써, 동작을 수행하거나 주행할 수 있다. 이때, 자율 주행 차량(100b)은 사용자의 동작이나 음성 발화에 따른 상호작용의 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 응답을 결정하여 동작을 수행할 수 있다.
본 발명의 일 실시 예에 따른 사용자 모니터링 장치는 AI 기술이 적용되어 자율주행 차량의 내/외부에 포함될 수 있다. 또한 실시 예에서 예측되는 범죄 가능성은 실제 형법적 범죄와 관련된 정보일 수 있으나 이에 제한되지 않으며, 사용자에 의해 설정된 특정 행위를 할 수 있는 가능성 또는, 어린 자녀와의 상관된 특정 행위를 할 수 있는 가능성을 포함할 수도 있다. 실시 예에서 특정 행위 가능성은 특정 행위를 할 수 있는 가능성과 범죄 가능성을 포함하는 의미를 가진다.
도 4는 본 발명의 일 실시 예에 따른 사용자 모니터링 장치를 이용하여, 차량에 탑승한 탑승객에 의해 미리 설정된 탑승객에 대한 특정 행위 가능성을 확인하는 사용자 모니터링 방법의 일례를 나타내는 도면이다.
사용자 모니터링 장치는 컴퓨터에서 읽을 수 있는 명령어를 포함하는 메모리, 명령어를 실행하는 프로세서를 포함할 수 있다. 자율주행 차량 내부를 모니터링하는 센서는 사용자 모니터링 장치에 내장되거나 또는 센서로부터 측정된 정보를 사용자 모니터링 장치가 수신할 수 있다. 실시 예에서 차량 내부 모니터링은 프로세서가 획득한 이미지 정보 및 사운드 정보 중 적어도 하나를 기반으로 수행될 수 있다. 일 예에서 이미지 정보 및 사운드 정보 중 적어도 하나는 반복적으로 획득될 수 있으며, 프로세서는 획득된 이미지 정보 및 사운드 정보 중 적어도 하나를 기반으로 차량 내부를 모니터링 할 수 있다. 실시 예에서 프로세서는 판단 결과에 따라 이미지 정보 및 사운드 정보 중 적어도 하나를 획득하는 빈도를 변경할 수 있다. 또한 프로세서는 모니터링 하는 시간, 차량의 위치 및 차량 내부에 탑승한 사용자의 숫자 중 적어도 하나를 기반으로 이미지 정보 및 사운드 정보 중 하나를 획득하는 빈도를 결정할 수 있다.
일 실시 예에 따르면, 자율주행 차량에 적어도 한 명 이상의 사용자가 탑승할 수 있다. 이때, 차량에 탑승한 사용자 중에 미리 설정된 사용자가 있을 수 있다. 여기서, 미리 설정된 사용자는 자율주행 차량 외부 서버를 통해 사전에 지정된 사용자일 수 있다. 예를 들면, 외부 서버를 통해 부모가 어린 자녀를 사전에 설정할 수 있고, 어린 자녀가 등/하교를 위해 자율주행 차량에 탑승할 경우 센서는 어린 자녀를 인식할 수 있다. 여기서, 외부 서버는 미리 설정된 사용자에 대한 특정 행위 가능성을 추정하는 서비스를 제공하는 서버로서, 지정된 사용자에게 알림을 전송할 수 있다. 실시 예에서 대상 사용자를 어린 자녀로 설명하나 이에 제한되지 않으며, 사용자의 설정 및 프로세서의 판단 중 적어도 하나를 기반으로 인식되는 사용자가 결정될 수 있다.
자율주행 차량 내부에는 미리 설정된 사용자 이외의 다른 사용자도 탑승할 수 있다. 이때, 탑승한 대부분의 다른 사용자는 미리 설정된 사용자에 대해 범죄 가능성이 낮을 수 있지만, 탑승객 중 일부는 미리 설정된 사용자에 대해 범죄 가능성이 존재할 수 있다.
센서가 획득한 차량 내부의 이미지 정보 및/또는 사운드 정보에 기반하여, 프로세서는 자율주행 차량에 탑승한 다른 사용자(410)와 관련된 정보를 모니터링할 수 있다. 구체적으로 프로세서는 다른 사용자(410)의 시선을 추적하여 미리 설정된 사용자(420)(예를 들면, 어린 자녀)를 바라보는지 여부를 모니터링할 수 있다. 사용자 모니터링 장치에 내장된 프로세서는 상호 작용 가능성 예측 모델을 이용하여 다른 사용자(410)에 의한 어린 자녀(420)에 대한 범죄 가능성을 확인할 수 있고, 프로세서는 확인 결과에 따른 미리 설정된 동작을 수행할 수 있다. 여기서, 범죄 가능성은 실제 형법적 범죄와 관련된 정보일 수 있으나 이에 제한되지 않으며, 사용자에 의해 설정된 특정 행위를 할 수 있는 가능성 또는, 어린 자녀와의 상관된 특정 행위를 할 수 있는 가능성을 포함할 수도 있다. 예를 들면, 부모가 어린 자녀(420)의 얼굴에 대한 접촉 행위를 사전에 설정한 경우, 어린 자녀(420)의 얼굴에 대한 다른 사용자(410)의 접촉은 특정 행위 가능성이 있는 것으로 확인될 수 있다.
이때, 확인 결과는 일례로서 안전/경고/위험으로 구분될 수 있거나, 또는 보다 세분화하여 구분될 수도 있다. 예를 들면, 자율주행 차량에 탑승한 다른 사용자(410)가 사용자 단말 사용과 같은 일반적인 행동을 하는 경우 사용자 모니터링 장치는 특정 행위 가능성을 안전으로 확인할 수 있다. 또는 자율주행 차량에 탑승한 다른 사용자(410)가 어린 자녀(420)를 지속적으로 바라보거나 비속어를 사용하는 경우 사용자 모니터링 장치는 특정 행위 가능성을 경고로 확인할 수 있다. 실시 예에서 일반적인 행동을 판단하는 것은 기 설정된 정보 및 자율주행 차량에 탑승한 사용자들의 행동의 통계 정보 중 적어도 하나를 기반으로 프로세서가 판단할 수도 있다.
또는 경고로 확인되는 다른 사용자(410)가 어린 자녀(420)와 접촉이 발생한 경우 사용자 모니터링 장치는 특정 행위 가능성을 위험으로 확인할 수 있다. 이때, 확인된 특정 행위 가능성은 다른 사용자(410)와 어린 자녀(420)간의 상호 작용, 어린 자녀(420)와 관련된 정보의 반영, 다른 사용자(410)의 과거 기록의 고려에 따라 변경될 수 있다. 확인된 특정 행위 가능성의 변경은 이하 다른 도면에서 자세히 기재한다. 만약, 확인 결과가 안전인 경우 사용자 모니터링 장치는 지정된 사용자에게 알림을 전송하지 않을 수 있거나, 또는 확인 결과가 경고인 경우 사용자 모니터링 장치는 지정된 사용자(예를 들면, 어린 자녀 및 보호자)에게 알림을 전송할 수 있거나, 또는 확인 결과가 위험인 경우 사용자 모니터링 장치는 지정된 사용자(예를 들면, 어린 자녀 및 보호자)뿐만 아니라 경찰서 및 자율주행 차량으로 알림을 전송할 수 있고 알림을 수신한 자율주행 차량은 내/외부 디스플레이를 이용하여 위험을 표시할 수 있다. 실시 예에서 알림이 전송되는 자율주행 차량은 현재 차량의 위치 정보, 어린 자녀 정보 및 보호자 정보 중 하나를 기반으로 결정될 수 있다.
구체적으로, 다른 사용자(410)가 어린 자녀(420)를 바라보는 경우, 프로세서는 다른 사용자(410)가 어린 자녀(420)를 바라보는 시선의 횟수 및/또는 바라보는 시간을 모니터링할 수 있다. 즉, 프로세서는 다른 사용자(410)가 자율주행 차량 내부의 다른 탑승객을 바라보는 시선의 횟수보다 어린 자녀(420)를 바라보는 횟수가 많은지 여부를 모니터링하거나, 또는 다른 사용자(410)가 어린 자녀(420)를 바라보는 시간을 모니터링하거나, 또는 다른 사용자(410)가 어린 자녀(420)를 일정한 시간 동안 바라보는 횟수의 증/감 여부를 모니터링할 수 있다.
예를 들면, 다른 사용자(410)가 다른 탑승객보다 어린 자녀(420)를 바라보는 횟수가 많다고 판단하거나 및/또는 다른 사용자(410)가 어린 자녀(420)를 바라보는 시간이 사전에 결정된 기준 이상이라고 판단하거나 및/또는 다른 사용자(410)가 어린 자녀(420)를 일정한 시간 동안 바라보는 시선의 횟수가 증가한다고 판단된 경우, 사용자 모니터링 장치는 경고 또는 위험에 대응하는 동작을 수행할 수 있다. 다른 예를 들면, 다른 사용자(410)가 다른 탑승객보다 어린 자녀(420)를 바라보는 횟수가 적다고 판단하거나 및/또는 다른 사용자(410)가 어린 자녀(420)를 바라보는 시간이 사전에 결정된 기준 이하라고 판단하거나 및/또는 다른 사용자(410)가 어린 자녀(420)를 일정한 시간 동안 바라보는 시선의 횟수가 감소한다고 판단된 경우, 사용자 모니터링 장치는 안전에 대응하는 동작을 수행할 수 있다.
또한, 프로세서는 다른 사용자(410)가 어린 자녀(420)를 바라보면서 얼굴 표정이 변화하는지 여부 및/또는 다른 사용자(410)가 어린 자녀(420)를 바라보면서 특정한 행동을 하는지 여부를 모니터링할 수 있다. 예를 들면, 다른 사용자(410)가 어린 자녀(420)를 바라보면서 얼굴 표정이 굳어지거나 또는 웃는지 여부 및/또는 다른 사용자(410)가 어린 자녀(420)를 바라보면서 특정한 행동(예를 들면, 위협 행동)을 하는지 여부가 모니터링될 수 있고, 사용자 모니터링 장치는 각각에 대응하는 미리 설정된 동작을 수행할 수 있다.
또한, 다른 사용자(410)의 얼굴을 통해 조회된 과거 기록을 고려하여, 사용자 모니터링 장치는 특정 행위 가능성을 확인할 수 있다. 여기서, 조회되는 과거 기록은 범죄 기록을 포함할 수 있다. 예를 들면, 범죄 기록이 있는 다른 사용자(410)이 어린 자녀(420)를 바라볼 때와 범죄 기록이 없는 다른 사용자(410)이 어린 자녀(410)을 바라볼 때, 사용자 모니터링 장치는 동일한 행동이라도 특정 행위 가능성을 다르게 확인할 수 있다.
여기서, 상호 작용 가능성 예측 모델은 딥 러닝의 일례인 딥 뉴럴 네트워크(Deep Neural Network, DNN)를 통해 사전에 학습될 수 있으며, 모니터링한 관련된 정보에 기초하여 업데이트될 수 있다. 따라서, 사용자 모니터링 장치는 업데이트된 상호 작용 가능성 예측 모델을 이용하여, 자율주행 차량에 탑승한 다른 사용자(410)에 의해 미리 설정된 사용자(420)에 대한 특정 행위 가능성을 확인할 수 있다.
실시 예에서, 자율주행 차량은 특정 공간의 일례로서, 사용자 모니터링 방법은모니터링 대상이 있는 특정 공간 내부의 사용자에게 적용될 수 있다. 따라서, 특정 공간은 건물 내의 일정 영역일 수 있거나, 또는 이미지 정보 및/또는 사운드 정보가 획득될 수 있는 일정 영역을 포함할 수 있다.
도 5는 본 발명의 다른 일 실시 예에 따른 사용자 모니터링 장치를 이용하여, 차량에 탑승한 탑승객에 의해 미리 설정된 탑승객에 대한 특정 행위 가능성을 확인하는 사용자 모니터링 방법의 일례를 나타내는 도면이다. 전술한 사용자 모니터링 장치에 대한 기재가 도 5의 사용자 모니터링 장치에도 적용될 수 있다.
자율주행 차량에 적어도 한 명 이상의 사용자가 탑승할 수 있다. 이때, 차량에 탑승한 사용자 중에 미리 설정된 사용자가 있을 수 있다. 여기서, 미리 설정된 사용자는 자율주행 차량 외부 서버를 통해 사전에 지정된 사용자일 수 있다. 예를 들면, 자율주행 차량 외부 서버를 통해 부모가 어린 자녀를 사전에 설정할 수 있고, 어린 자녀가 등/하교를 위해 자율주행 차량에 탑승할 경우 센서는 어린 자녀를 인식할 수 있다. 여기서, 자율주행 차량 외부 서버는 미리 설정된 사용자에 대한 특정 행위 가능성을 예측하는 서비스를 제공하는 서버로서, 지정된 사용자에게 알림을 전송할 수 있다. 실시 예에서 대상 사용자를 어린 자녀로 설명하나 이에 제한되지 않으며, 사용자의 설정 및 프로세서의 판단 중 적어도 하나를 기반으로 인식되는 사용자가 결정될 수 있다.
자율주행 차량 내부에는 미리 설정된 사용자 이외의 다른 사용자도 탑승할 수 있다. 이때, 탑승한 대부분의 다른 사용자는 미리 설정된 사용자에 대해 범죄 가능성이 낮을 수 있지만, 탑승객 중 일부는 미리 설정된 사용자에 대해 범죄 가능성이 존재할 수 있다.
센서가 획득한 차량 내부의 이미지 정보 및/또는 사운드 정보에 기반하여, 프로세서는 자율주행 차량에 탑승한 다른 사용자(510)와 관련된 정보를 모니터링할 수 있다. 구체적으로 프로세서는 획득된 사운드 정보에 기반하여, 다른 사용자(510)가 사용하는 언어를 모니터링할 수 있다. 다른 사용자(510)의 언어 정보에 기초하여, 사용자 모니터링 장치에 내장된 프로세서는 상호 작용 가능성 예측 모델을 이용하여 다른 사용자(510)에 의한 미리 설정된 사용자(520)(예를 들면, 어린 자녀)에 대한 특정 행위 가능성을 확인할 수 있고, 사용자 모니터링 장치는 확인 결과에 따른 미리 설정된 동작을 수행할 수 있다. 여기서, 범죄 가능성은 실제 형법적 범죄와 관련된 정보일 수 있으나 이에 제한되지 않으며, 사용자에 의해 설정된 특정 행위를 할 수 있는 가능성 또는, 어린 자녀와의 상관된 특정 행위를 할 수 있는 가능성을 포함할 수도 있다. 실시 예에서 상관된 특정 행위를 할 수 있는 가능성은 특정 행위 가능성으로 칭해질 수 있다. 예를 들면, 부모가 어린 자녀(520)에 대한 비속어의 사용 여부를 사전에 설정한 경우, 다른 사용자(510)가 사용하는 언어에 어린 자녀(520)에 대한 비속어가 포함되어 있다면 특정 행위 가능성이 있는 것으로 확인될 수 있다.
이때, 확인 결과에 따른 동작 및 확인된 특정 행위 가능성의 변경은 전술한 기재가 적용될 수 있다. 여기서, 상호 작용 가능성 예측 모델은 딥 러닝의 일례인 딥 뉴럴 네트워크(Deep Neural Network, DNN)를 통해 사전에 학습될 수 있으며, 모니터링한 관련된 정보에 기초하여 업데이트될 수 있다.
구체적으로, 다른 사용자(510)의 언어로부터 사용자 모니터링 장치에 내장된 프로세서는 언어에 비속어의 포함 여부 및/또는 비속어의 빈도를 판단할 수 있다. 사용자 모니터링 장치는 다른 사용자(510)가 사용한 언어에 포함된 단어의 특징 벡터를 추출하고, 추출된 특징 벡터에 대응하는 복수개의 단어를 데이터베이스로부터 추출하고, 추출된 복수개의 단어 및 다른 사용자(510)가 사용한 언어에 포함된 단어가 비속어 데이터베이스에 저장된 비속어 인지 여부를 판단하여, 사용자 모니터링 장치는 다른 사용자(510)가 사용한 언어에 비속어의 포함 여부를 판단할 수 있다. 따라서, 사용자 모니터링 장치는 데이터베이스에 저장된 비속어뿐만 아니라, 새로운 비속어 또한 판단할 수 있다. 또한, 범죄 예측 장치는 다른 사용자(510)가 사용한 언어에 비속어의 포함 여부를 판단할 뿐만 아니라, 사용된 비속어의 빈도를 판단할 수 있다.
예를 들면, 프로세서는 자율주행 차량에 탑승한 다른 사용자(510)가 사용하는 언어 "A" 를 모니터링할 수 있고, 사용자 모니터링 장치는 다른 사용자(510)가 사용한 언어 "A"에 포함된 단어의 특징 벡터(예를 들면, a1, a2, a3 ~)를 추출하고, 추출된 특징 벡터(예를 들면, a1, a2, a3 ~)에 대응하는 복수개의 단어(예를 들면, A1, A2, A3 ~)를 데이터베이스로부터 추출하고, 추출된 복수개의 단어 및 다른 사용자(510)가 사용한 언어에 포함된 단어가 비속어 데이터베이스에 저장된 비속어에 해당하는지 여부를 판단할 수 있다. 따라서, 사용자 모니터링 장치는 다른 사용자(510)가 사용한 언어 "A"에 대응하는 비속어를 검색하지 못하더라도, 추출된 복수개의 단어(A1, A2, A3~)를 통해 비속어 여부를 검색할 수 있어 신조 비속어인지 여부 또한 판단할 수 있다. 만약 비속어에 해당한다고 판단한 경우, 사용자 모니터링 장치는 비속어의 빈도 수를 체크하여 경고 또는 위험에 대응하는 동작을 수행할 수 있다. 만약, 다른 사용자(510)가 사용한 언어에 포함된 단어가 비속어에 해당하지 않다고 판단한 경우, 사용자 모니터링 장치는 안전에 대응하는 동작을 수행할 수 있다.
또한, 사용자 모니터링 장치는 다른 사용자(510)가 사용하는 언어에 미리 설정된 사용자(520)에 대한 정보의 포함 여부를 판단할 수 있다. 사용자 모니터링 장치는 다른 사용자(510)가 사용하는 언어에 포함된 단어 및/또는 맥락을 분석하여, 미리 설정된 사용자(520)에 대한 정보의 포함 여부, 포함된 경우 해당 언어의 내용이 긍정적인지/부정적인지 여부를 판단할 수 있다. 따라서, 사용자 모니터링 장치는 다른 사용자(510)가 사용하는 언어를 분석하여, 다른 사용자(510)에 의한 어린 자녀(520)에 대한 특정 행위 가능성(예를 들면, 범죄 가능성)을 추정할 수 있다. 구체적으로, 사용자 모니터링 장치는 다른 사용자(510)가 사용하는 언어 "A"에 포함된 단어 및 맥락을 분석할 수 있다. 사용자 모니터링 장치는 언어 "A"에 포함된 단어 및 맥락이 어린 자녀(520)를 나타내는지 여부를 분석할 수 있고, 또한 언어 "A"에 어린 자녀(520)에 대한 긍정적/부정적 내용이 포함되었는지 여부를 분석할 수 있다. 사용자 모니터링 장치는 언어 "A"에 대한 분석 결과에 기초하여 다른 사용자(510)에 의한 어린 자녀(520)에 대한 특정 행위 가능성을 확인할 수 있고, 사용자 모니터링 장치는 확인 결과에 대응하는 미리 설정된 동작을 수행할 수 있다.
예를 들면, 사용자 모니터링 장치는 다른 사용자(510)가 사용하는 언어 "A"에 포함된 단어 및/또는 맥락을 분석한 결과 어린 자녀(520)의 특징을 나타내는 단어가 언어 "A"에 포함되어 있고 어린 자녀(520)에 대한 유괴/납치/폭행과 같은 부정적인 내용을 나타내는 맥락이 언어 "A"에 포함되어 있다고 판단한 경우, 사용자 모니터링 장치는 확인 결과인 경고 또는 위험에 대응하는 미리 설정된 동작을 수행할 수 있다.
또한, 사용자 모니터링 장치는 다른 사용자(510)가 사용하는 언어 "A"에 어린 자녀(520)를 나타내는 단어가 포함되어 있는 경우, 다른 사용자(510)가 어린 자녀(520)를 바라보면서 얼굴 표정이 변화하는지 여부 및/또는 다른 사용자(510)가 어린 자녀(520)를 바라보면서 특정한 행동을 하는지 여부를 모니터링할 수 있다. 예를 들면, 사용자 모니터링 장치는 다른 사용자(510)가 사용하는 언어 "A"에 어린 자녀(520)를 나타내는 단어가 포함되어 있는 경우, 다른 사용자(510)가 어린 자녀(520)를 바라보면서 얼굴 표정이 굳어지거나 또는 웃는지 여부 및/또는 다른 사용자(510)이 어린 자녀(520)을 바라보면서 특정한 행동(예를 들면, 위협 행동)을 하는지 여부를 모니터링할 수 있고, 사용자 모니터링 장치는 각각에 대응하는 미리 설정된 동작을 수행할 수 있다.
또한, 사용자 모니터링 장치는 다른 사용자(510)와 어린 자녀(520) 간의 상호 작용을 반영하여 특정 행위 가능성을 추정할 수 있다. 다른 사용자(510)가 어린 자녀(520)와 대화를 시도하는 경우 특정 행위 가능성이 경고 또는 위험으로 확인될 수 있지만, 다른 사용자와 어린 자녀 간의 대화 내용을 분석한 결과 통상적인 대화에 해당하는 경우 특정 행위 가능성이 안전으로 확인될 수 있다. 그러나, 대화 내용이 통상적인 대화에 해당하더라도, 다른 사용자가 어린 자녀와 직접적인 접촉을 하거나 또는 미리 결정된 시간 이상으로 상호 작용이 지속될 경우 특정 행위 가능성이 경고/위험으로 확인될 수 있다. 보다 구체적으로, 범죄 예측 장치는 어린 자녀(520)와 관련된 정보를 반영하여, 상호 작용에 따른 특정 행위 가능성을 추정할 수 있다. 예를 들면, 어린 자녀(520)의 성향이 내성적이거나 대인기피증상이 있는 경우, 다른 사용자(510)와 어린 자녀(520) 간의 대화 내용이 통상적인 대화에 해당하더라도 특정 행위 가능성은 경고/위험으로 변경될 수 있다. 또는 어린 자녀의 성향이 외향적이거나 호기심이 많은 경우, 다른 사용자와 어린 자녀 간의 직접적인 접촉이 발생하더라도 특정 행위 가능성은 안전으로 확인될 수 있다.
실시 예에서, 자율주행 차량은 특정 공간의 일례로서, 사용자 모니터링 방법은모니터링 대상이 있는 특정 공간 내부의 사용자에게 적용될 수 있다. 따라서, 특정 공간은 건물 내의 일정 영역일 수 있거나, 또는 이미지 정보 및/또는 사운드 정보가 획득될 수 있는 일정 영역을 포함할 수 있다.
도 6은 본 발명의 또 다른 일 실시 예에 따른 사용자 모니터링 장치를 이용하여, 차량에 탑승한 탑승객에 의해 미리 설정된 탑승객에 대한 특정 행위 가능성을 확인하는 사용자 모니터링 방법의 일례를 나타내는 도면이다. 전술한 사용자 모니터링 장치에 대한 기재가 도 6의 사용자 모니터링 장치에도 적용될 수 있다.
자율주행 차량에 적어도 한 명 이상의 사용자가 탑승할 수 있다. 이때, 차량에 탑승한 사용자 중에 미리 설정된 사용자가 있을 수 있다. 여기서, 미리 설정된 사용자는 자율주행 차량 외부 서버를 통해 사전에 지정된 사용자일 수 있다. 예를 들면, 자율주행 차량 외부 서버를 통해 부모가 어린 자녀를 사전에 설정할 수 있고, 어린 자녀가 등/하교를 위해 자율주행 차량에 탑승할 경우 센서는 어린 자녀를 인식할 수 있다. 여기서, 자율주행 차량 외부 서버는 미리 설정된 사용자에 대한 특정 행위 가능성을 예측하는 서비스를 제공하는 서버로서, 지정된 사용자에게 알림을 전송할 수 있다.
자율주행 차량 내부에는 미리 설정된 사용자 이외의 다른 사용자도 탑승할 수 있다. 이때, 탑승한 대부분의 다른 사용자는 미리 설정된 사용자에 대해 범죄 가능성이 낮을 수 있지만, 탑승객 중 일부는 미리 설정된 사용자에 대해 범죄 가능성이 존재할 수 있다.
센서가 획득한 차량 내부의 이미지 정보 및/또는 사운드 정보에 기반하여, 프로세서는 자율주행 차량에 탑승한 다른 사용자(610)와 관련된 정보를 모니터링할 수 있다. 구체적으로 프로세서는 다른 사용자(610)의 외모 상태를 모니터링할 수 있다. 프로세서가 모니터링한 다른 사용자(610)의 외모 상태에 기초하여, 사용자 모니터링 장치에 내장된 프로세서는 상호 작용 가능성 예측 모델을 이용하여 다른 사용자(610)에 의한 미리 설정된 사용자(620)(예를 들면, 어린 자녀)에 대한 특정 행위 가능성을 확인할 수 있고, 사용자 모니터링 장치는 확인 결과에 따른 미리 설정된 동작을 수행할 수 있다. 여기서, 범죄 가능성은 실제 형법적 범죄와 관련된 정보일 수 있으나 이에 제한되지 않으며, 사용자에 의해 설정된 특정 행위를 할 수 있는 가능성 또는, 어린 자녀와의 상관된 특정 행위를 할 수 있는 가능성을 포함할 수도 있다. 실시 예에서 상관된 특정 행위를 할 수 있는 가능성은 특정 행위 가능성으로 칭해질 수 있다. 예를 들면, 부모자 어린 자녀(620)의 근처에 노숙자 차림 또는 문신을 한 사용자의 존재 여부를 사전에 설정한 경우, 어린 자녀(620)로부터 일정 거리 이내에 노숙자 차림 또는 문신을 한 사용자의 존재는 특정 행위 가능성이 있는 것으로 확인될 수 있다.
이때, 확인 결과에 따른 동작 및 확인된 특정 행위 가능성의 변경은 전술한 기재가 적용될 수 있다. 실시 예에서 외모 상태를 기반으로 범죄 예측을 하는 것은 프로세서가 통계적 정보를 모니터링하고, 모니터링 결과를 기반으로 수행할 수 있다.
구체적으로, 사용자 모니터링 장치가 자율주행 차량에 탑승한 다른 사용자(610)의 옷 및/또는 얼굴 상태에 기초하여 다른 사용자(610)를 노숙자로 판단한 경우, 사용자 모니터링 장치는 다른 사용자(610)와 어린 자녀(620)간의 거리에 따라 특정 행위 가능성을 확인할 수 있다. 예를 들면, 노숙자인 다른 사용자(610)가 탑승하여 어린 자녀(620)로부터 미리 결정된 거리 이내에 앉은 경우, 사용자 모니터링 장치는 특정 행위 가능성을 경고로 추정할 수 있고 경고에 대응하는 미리 설정된 동작을 수행할 수 있다. 또는, 노숙자인 다른 사용자(610)가 탑승하여 어린 자녀(620)로부터 미리 결정된 거리 이내에 앉으면서 어린 자녀(620)와 접촉을 시도하는 경우, 사용자 모니터링 장치는 특정 행위 가능성을 위험으로 추정할 수 있고 위험에 대응하는 미리 설정된 동작을 수행할 수 있다.
또한, 사용자 모니터링 장치는 자율주행 차량에 탑승한 다른 사용자(610)가 문신을 하고 있다고 판단한 경우, 다른 사용자(610)와 어린 자녀(620) 간의 거리 및/또는 다른 사용자(610)이 어린 자녀(620)를 바라보면서 얼굴 표정이 변화하는지 여부 또는 다른 사용자(610)이 어린 자녀(620)를 바라보면서 특정한 행동을 하는지 여부에 기초하여 특정 행위 가능성을 확인할 수 있다. 예를 들면, 문신을 한 다른 사용자(610)이 어린 자녀(620)를 바라보면서 얼굴 표정이 굳어지거나 또는 웃는지 여부 및/또는 다른 사용자(610)이 어린 자녀(620)를 바라보면서 특정한 행동(예를 들면, 위협 행동)을 하는지 여부가 모니터링 될 수 있고, 사용자 모니터링 장치는 각각에 대응하는 미리 설정된 동작을 수행할 수 있다.
또한, 사용자 모니터링 장치는 자율주행 차량에 탑승한 다른 사용자(610)의 인상에 기초하여, 특정 행위 가능성을 추정할 수 있다. 즉, 사용자 모니터링 장치는 자율주행 차량에 탑승한 다른 사용자(610)의 얼굴 표정에 기초하여 인상의 좋고 나쁨을 판단한 경우, 인상에 따라 동일 행동이라도 특정 행위 가능성을 달리 추정할 수 있다. 예를 들면, 인상이 좋은 다른 사용자(610)과 인상이 나쁜 다른 사용자(610)이 어린 자녀(620)을 바라보는 경우, 동일 행동이라도 특정 행위 가능성이 달리 추정될 수 있다.
또한, 다른 사용자(610)의 외모 상태를 통해 조회된 과거 기록을 고려하여, 사용자 모니터링 장치는 특정 행위 가능성을 확인할 수 있다. 예를 들면, 과거 기록 중에서 범죄 기록이 있는 다른 사용자(610)가 어린 자녀(620)를 바라볼 때와 과거 기록 중에서 범죄 기록이 없는 다른 사용자(610)가 어린 자녀(610)을 바라볼 때, 사용자 모니터링 장치는 동일한 행동이라도 특정 행위 가능성을 다르게 추정할 수 있다.
실시 예에서, 자율주행 차량은 특정 공간의 일례로서, 사용자 모니터링 방법은모니터링 대상이 있는 특정 공간 내부의 사용자에게 적용될 수 있다. 따라서, 특정 공간은 건물 내의 일정 영역일 수 있거나, 또는 이미지 정보 및/또는 사운드 정보가 획득될 수 있는 일정 영역을 포함할 수 있다.
도 7은 일 실시 예에 따른, 사용자 모니터링 장치의 블록 도를 나타낸 도면이다.
본 발명의 일 실시 예에 따른, 사용자 모니터링 장치(700)는 프로세서(710), 센서(720), 메모리(730)를 포함할 수 있다. 사용자 모니터링 장치(700)는 추가적으로 데이터를 송수신할 수 있는 통신부(미도시)를 더 포함할 수 있다. 센서(720)는 사용자 모니터링 장치(700)에 내장되거나 또는 외부에 설치될 수 있으며, 센서(720)가 외부에 설치된 경우 통신부를 통해 모니터링 된 정보가 사용자 모니터링 장치(700)로 전송될 수 있다. 이때, 프로세서(710), 메모리(730) 및 통신부(미도시)의 특징 및 기능이 도 1의 프로세서(180), 메모리(170) 및 통신부(110)와 대응될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다.
프로세서(710)는 통상적으로 사용자 모니터링 장치(700)의 전반적인 동작을 제어할 수 있다. 예를 들면, 프로세서(710)는, 메모리(720)에 저장된 프로그램들을 실행함으로써, 통신부 및 센서 등을 전반적으로 제어할 수 있다. 또한, 프로세서(710)는 메모리(720)에 저장된 프로그램들을 실행함으로써, 도 4 내지 도 6에 기재된 사용자 모니터링 장치의 기능을 조합하여 수행할 수 있다.
또한, 프로세서(710)는 자율주행 차량에 탑승한 다른 사용자의 얼굴 및 동공을 추적함으로써 시선과 관련된 정보에 기초하여 특정 행위 가능성을 확인할 수 있고, 확인 결과에 대응하는 동작을 수행할 수 있다. 또한, 프로세서(710)는 자율주행 차량에 탑승한 다른 사용자가 사용하는 언어를 분석하여 특정 행위 가능성을 확인할 수 있고, 확인 결과에 대응하는 동작을 수행할 수 있다. 또한, 프로세서(710)는 자율주행 차량에 탑승한 다른 사용자의 외모 상태를 분석하여 특정 행위 가능성을 확인할 수 있고, 확인 결과에 대응하는 동작을 수행할 수 있다. 또한, 프로세서(710)는 자율주행 차량에 탑승한 다른 사용자의 얼굴을 통해 과거 기록(예를 들면, 범죄 기록)을 조회할 수 있고, 과거 기록에 따른 특정 행위 가능성을 확인하여 확인 결과에 대응하는 동작을 수행할 수 있다.
도 8은 일 실시 예에 따른 사용자 모니터링 장치를 이용한 사용자 모니터링 방법을 나타내는 흐름도이다.
단계(810)에서, 사용자 모니터링 장치는 자율주행 차량 내부의 이미지 정보를 획득하고, 획득한 이미지 정보를 기반으로 자율주행 차량에 탑승한 미리 설정된 사용자 이외의 다른 사용자와 관련된 정보를 모니터링할 수 있다. 여기서, 모니터링한 관련된 정보는 다른 사용자가 어린 자녀를 바라보는 시선의 횟수 또는 바라보는 시선의 시간의 증가/감소와 관련된 정보를 포함할 수 있다. 또한, 모니터링한 관련된 정보는 다른 사용자가 사용하는 언어에 포함된 비속어의 빈도 또는 다른 사용자가 사용하는 언어에 어린 자녀에 대한 정보의 포함 여부를 나타낼 수 있다. 또한, 모니터링한 관련된 정보는 다른 사용자의 외모 상태를 나타낼 수 있고, 또한 다른 사용자의 얼굴을 통해 조회된 과거 기록을 나타낼 수 있다.
이때, 자율주행 차량에 탑승한 어린 자녀의 출발지와 목적지는 사전에 결정될 수 있고, 목적지 부근에 도달한 경우 어린 자녀와 부모에게 하차를 나타내는 알림이 전송될 수 있다.
단계(820)에서, 사용자 모니터링 장치는 모니터링한 관련된 정보를 기반으로 학습된 상호 작용 가능성 예측 모델을 이용하여 다른 사용자에 의해 미리 설정된 사용자에 대한 특정 행위 가능성을 확인할 수 있다. 여기서, 상호 작용 가능성 예측 모델은 딥 러닝의 일례인 딥 뉴럴 네트워크(Deep Neural Network, DNN)를 통해 사전에 학습될 수 있으며, 모니터링한 관련된 정보에 기초하여 업데이트될 수 있다.
이때, 사용자 모니터링 장치는 다른 사용자와 미리 설정된 사용자(예를 들면, 어린 자녀) 간의 상호 작용을 반영하여 추정된 특정 행위 가능성을 변경할 수 있다. 예를 들면, 다른 사용자가 어린 자녀와 접촉하는 경우 특정 행위 가능성이 경고 또는 위험으로 확인될 수 있지만, 다른 사용자와 어린 자녀 간의 대화 내용을 분석한 결과 통상적인 대화에 해당하는 경우 특정 행위 가능성이 안전으로 변경될 수 있다. 그러나, 대화 내용이 통상적인 대화에 해당하더라도, 다른 사용자가 어린 자녀와 접촉하거나 또는 미리 결정된 기준 이상으로 상호 작용이 지속될 경우 특정 행위 가능성이 경고/위험으로 변경될 수 있다.
또한, 사용자 모니터링 장치는 미리 설정된 사용자(예를 들면, 어린 자녀)와 관련된 정보를 반영하여, 상호 작용에 따른 특정 행위 가능성을 변경할 수 있다. 예를 들면, 어린 자녀의 성향이 내성적이거나 대인기피증상이 있는 경우, 다른 사용자와 어린 자녀 간의 대화 내용이 통상적인 대화에 해당하더라도 특정 행위 가능성은 경고/위험으로 변경될 수 있다. 또는 어린 자녀의 성향이 외향적이거나 호기심이 많은 경우, 다른 사용자와 어린 자녀 간의 접촉이 발생하더라도 특정 행위 가능성은 안전으로 확인될 수 있다.
또한, 사용자 모니터링 장치는 자율주행 차량에 탑승한 다른 사용자의 얼굴을 통해 조회된 과거 기록(예를 들면, 범죄 기록)을 고려하여 상호 작용에 따른 특정 행위 가능성을 변경할 수 있다. 예를 들면, 어린 자녀와 다른 사용자가 통상적인 대화를 하더라도, 다른 사용자가 과거 기록이 있는 경우 특정 행위 가능성은 안전이 아닌 경고/위험으로 확인될 수 있다.
여기서, 특정 행위 가능성은 어린 자녀와 다른 사용자에 대해 모니터링 된 정보에 따라 종류 및/또는 확률이 상이할 수 있다. 예를 들면, 다른 사용자가 어린 자녀를 지속적으로 바라보면서 접촉을 시도할 때 특정 행위 가능성이 60%의 확률로 경고라고 확인될 수 있고, 또는 범죄 기록이 있는 다른 사용자가 사용하는 언어에 어린 자녀에 대한 '유괴, 납치'와 같은 단어가 포함되어 있을 때 특정 행위 가능성이 90%의 확률로 위험이라고 확인될 수 있다.
단계(830)에서, 사용자 모니터링 장치는 특정 행위 가능성 확인 결과에 따른 미리 설정된 동작을 수행할 수 있다.
확인 결과가 안전인 경우 사용자 모니터링 장치는 지정된 사용자에게 알림을 전송하지 않을 수 있다. 예를 들면, 어린 자녀 이외의 다른 탑승객을 모니터링하여 확인 결과, 다른 탑승객에 의해 어린 자녀에 대한 특정 행위 가능성이 70%확률로 안전인 경우, 사용자 모니터링 장치는 부모에게 알림을 전송하지 않을 수 있다.
또는 확인 결과가 경고인 경우 사용자 모니터링 장치는 지정된 사용자(예를 들면, 어린 자녀 및 보호자)에게 알림을 전송하거나, 다른 자율주행 차량으로 환승을 유도할 수 있다. 이때, 사용자 모니터링 장치는 어린 자녀의 목적지까지의 도달 거리/도달 시간/이용 가능한 교통수단을 고려하여, 어린 자녀의 환승을 유도할 수 있다. 만약, 어린 자녀가 다른 자율주행 차량으로 환승할 때 다른 탑승객도 어린 자녀가 탑승한 자율주행 차량으로 환승한 경우, 주변 사람의 도움을 요청하기 위해 사용자 모니터링 장치는 위험에 대응하는 알림을 주변 디스플레이를 통해 표시할 수 있다. 예를 들면, 문신이 있는 다른 탑승객이 어린 자녀를 바라보는 시선의 횟수 및/또는 시간을 사전에 결정된 기준과 비교하여 사용자 모니터링 장치가 특정 행위 가능성을 60%의 확률로 경고라고 확인한 경우, 지정된 사용자에게 알림을 보내는 동시에 어린 자녀의 사전에 설정된 목적지(예를 들면, 학교)까지의 도달 거리/도달 시간/이용 가능한 교통수단을 고려하여 사용자 모니터링 장치는 어린 자녀에게 다른 자율주행 차량으로 환승을 안내할 수 있다. 만약, 어린 자녀가 환승한 자율주행 차량으로 다른 사용자도 환승한 경우, 사용자 모니터링 장치는 주변 사람의 도움을 요청하기 위해 위험에 대응하는 알림을 주변 디스플레이에 표시할 수 있다.
다른 예를 들면, 다른 탑승객이 고양이와 함께 탑승한 경우 고양이에 대해 알러지가 있는 어린 자녀를 보호하기 위해, 사용자 모니터링 장치는 지정된 사용자에게 알림을 보내는 동시에 사전에 설정된 목적지 주변의 병원/약국 관련 정보에 기초하여 어린 자녀에게 다른 자율주행 차량으로 환승을 안내할 수 있다.
또는 확인 결과가 위험인 경우 사용자 모니터링 장치는 위험에 대응하는 미리설정된 동작을 수행할 수 있다. 위험에 대응하는 미리 설정된 동작의 일례로서, 지정된 사용자(예를 들면, 어린 자녀 및 보호자)뿐만 아니라 경찰서 및 자율주행 차량으로 알림을 전송하면서 자율주행 차량 내/외부 디스플레이를 이용하여 위험을 표시하거나, 또는 다른 자율주행 차량으로 환승을 유도하거나 또는 안전한 장소로 어린 자녀의 목적지를 변경할 수 있다. 만약, 어린 자녀가 다른 자율주행 차량으로 환승할 때 다른 탑승객도 어린 자녀가 탑승한 자율주행 차량으로 환승한 경우, 주변 사람의 도움을 요청하기 위해 사용자 모니터링 장치는 위험에 대응하는 알림을 주변 디스플레이를 통해 표시할 수 있다.
예를 들면, 범죄 기록이 있는 다른 사용자가 사용하는 언어에 어린 자녀에 대한 '유괴, 납치'와 같은 단어가 포함되어 있을 때 사용자 모니터링 장치는 특정 행위 가능성을 90%의 확률로 위험이라고 확인할 수 있다. 이때, 사용자 모니터링 장치는 지정된 사용자에게 알림을 보내는 동시에 어린 자녀가 안전한 장소로 목적지를 변경할 수 있다. 여기서, 안전한 장소는 목적지 주변의 경찰서 또는 통계 기록에 비추어 사람이 많은 장소로 사전에 설정된 장소일 수 있다. 또는, 사용자 모니터링 장치는 지정된 사용자에게 알림을 보내는 동시에 어린 자녀의 사전에 설정된 목적지(예를 들면, 학교)까지의 도달 거리/도달 시간/이용 가능한 교통수단을 고려하여 사용자 모니터링 장치는 어린 자녀에게 다른 자율주행 차량으로 환승을 안내할 수 있다. 만약, 어린 자녀가 환승한 자율주행 차량으로 다른 사용자도 환승한 경우, 사용자 모니터링 장치는 주변 사람의 도움을 요청하기 위해 위험에 대응하는 알림을 주변 디스플레이에 표시할 수 있다.
다른 예를 들면, 특정 동물에 대해 심각한 알러지가 어린 자녀에게 있는 경우, 특정 동물이 자율주행 차량에 탑승하면 사용자 모니터링 장치는 어린 자녀의 응급 치료에 관한 알림을 디스플레이를 통해 표시할 수 있다.
도 9는 일 실시 예에 따른 미리 설정된 사용자 이외의 다른 사용자의 과거 기록 및 외모 상태에 따른 특정 행위 가능성의 변경을 나타낸 도면이다.
그림(910)은 특정 행위 가능성이 '안전'인 경우로서, 예를 들면 다른 사용자가 탑승해서 일반적인 행동(예를 들면, 사용자 단말 사용, 음악 듣기, 외부 풍경보기, 동승인과의 일반적인 대화 등)을 하는 경우를 나타낸다. 프로세서는 차량에 탑승한 다른 사용자와 관련된 정보를 모니터링할 수 있고, 사용자 모니터링 장치는 모니터링한 다른 사용자의 얼굴을 이용하여 과거 기록을 조회할 수 있다. 이때, 사용자 모니터링 장치는 과거 기록의 조회 유/무 및/또는 모니터링 된 다른 사용자의 외모 상태에 따라 확인된 특정 행위 가능성을 변경할 수 있다. 예를 들면, 다른 사용자가 탑승해서 일반적인 행동을 하는 경우 다른 사용자가 과거 기록이 없거나 문신이 없거나 노숙인 이 아니 라면, 사용자 모니터링 장치는 특정 행위 가능성을 안전으로 확인할 수 있다. 또는 탑승한 다른 사용자가 과거 기록이 있거나 과거 기록이 없더라도 문신이 있거나 노숙인 인 경우, 사용자 모니터링 장치는 특정 행위 가능성을 경고로 변경할 수 있다.
그림(920)은 특정 행위 가능성이 '경고'인 경우로서, 예를 들면 다른 사용자가 탑승해서 비속어를 지속적으로 사용하거나 또는 어린 자녀를 지속적으로 바라보는 경우를 나타낸다. 프로세서는 차량에 탑승한 다른 사용자와 관련된 정보를 모니터링할 수 있고, 사용자 모니터링 장치는 모니터링한 다른 사용자의 얼굴을 이용하여 과거 기록을 조회할 수 있다. 이때, 사용자 모니터링 장치는 과거 기록의 조회 유/무 및/또는 모니터링 된 다른 사용자의 외모 상태에 따른 특정 행위 가능성을 추정할 수 있다. 예를 들면, 다른 사용자가 탑승해서 비속어를 지속적으로 사용하거나 또는 어린 자녀를 지속적으로 바라보는 경우 다른 사용자가 과거 기록이 없거나 문신이 없거나 노숙인 이 아니 라면, 사용자 모니터링 장치는 특정 행위 가능성을 경고로 추정할 수 있다. 또는 탑승한 다른 사용자가 과거 기록이 있거나 과거 기록이 없더라도 문신이 있거나 노숙인 인 경우, 사용자 모니터링 장치는 특정 행위 가능성을 위험으로 변경할 수 있다.
그림(930)은 특정 행위 가능성이 '위험'인 경우로서, 예를 들면 다른 사용자가 탑승해서 어린 자녀와 접촉이 발생한 경우를 나타낸다. 이때, 접촉은 다른 사용자가 어린 자녀에 대한 위협 행동과 같은 특정한 행위를 나타낼 수 있다. 프로세서는 차량에 탑승한 다른 사용자와 관련된 정보를 모니터링할 수 있고, 사용자 모니터링 장치는 모니터링한 다른 사용자의 얼굴을 이용하여 과거 기록을 조회할 수 있다. 이때, 사용자 모니터링 장치는 과거 기록의 조회 유/무 및/또는 모니터링 된 다른 사용자의 외모 상태에 따른 특정 행위 가능성을 확인할 수 있다. 예를 들면, 다른 사용자가 탑승해서 어린 자녀와 접촉을 시도하는 경우 다른 사용자가 과거 기록이 없거나 문신이 없거나 노숙인 이 아니 라면 사용자 모니터링 장치는 특정 행위 가능성을 위험으로 확인하거나, 또는 탑승한 다른 사용자가 과거 기록이 있거나 과거 기록이 없더라도 문신이 있거나 노숙인 인 경우 사용자 모니터링 장치는 특정 행위 가능성을 위험으로 확인할 수 있다.
도 10은 다른 일 실시 예에 미리 설정된 사용자와 관련된 정보를 반영하여 특정 행위 가능성을 변경하는 것을 나타낸 도면이다.
그림(1010)은 특정 행위 가능성이 안전인 경우라도, 미리 설정된 사용자(예를 들면, 어린 자녀)와 관련된 정보를 고려할 경우 특정 행위 가능성이 경고로 변경된 것을 나타낸다. 예를 들면, 어린 자녀가 내성적이거나 대인기피증상이 있는 경우, 사용자 모니터링 장치는 다른 사용자와 어린 자녀 간의 일정한 영역에서의 대화가 통상적인 대화에 해당하더라도 특정 행위 가능성을 경고로 확인할 수 있고, 대응하는 동작을 수행할 수 있다.
그림(1020)은 특정 행위 가능성이 경고인 경우라도, 미리 설정된 사용자(예를 들면, 어린 자녀)과 관련된 정보를 고려할 경우 특정 행위 가능성이 안전으로 변경된 것을 나타낸다. 예를 들면, 어린 자녀가 외향적이거나 호기심이 많은 경우, 사용자 모니터링 장치는 다른 사용자와 어린 자녀 간의 접촉이 발생하더라도 특정 행위 가능성을 안전으로 확인할 수 있고, 대응하는 동작을 수행할 수 있다.
전술한 실시 예에서 차량(예를 들면, 자율주행 차량) 내부의 탑승자에 모니터링을 수행하는 방법에 대해서 기술하고 있으나, 상기 방법은 차량 내부의 탑승자에 제한되지 않으며 모니터링 대상이 있는 특정 공간 내부의 사용자들에 대해서도 적용될 수 있음이 자명하다. 실시 예에서 특정 공간은 건물 내의 일정 영역일 수 있으며, 다른 실시 예에 따르면 이미지 정보가 획득되는 일정 영역을 포함할 수도 있다.
전술한 실시 예에서, 미리 설정된 사용자에 대한 특정 행위 가능성을 확인하는 서비스를 제공하는 외부 서버는, 지정된 사용자의 일정 및 통신 데이터의 사용 정도를 고려하여 알림의 빈도를 결정할 수 있다. 예를 들면, 부모를 대신하여 어린 자녀의 등/하교를 모니터링하는 서비스를 제공하는 외부 서버는, 부모의 일정 및 통신 데이터의 사용 정도를 고려하여 알림을 전송할 수 있다.
또한, 전술한 실시 예에서, 미리 설정된 사용자와 관련된 정보는 성향뿐만 아니라 동물 알러지와 같은 정보를 포함할 수 있다. 이때, 다른 사용자는 동물로서 동물이 미리 설정된 사용자로부터 일정 거리 이내에 위치한 경우, 사용자 모니터링 장치는 자율주행 차량의 환기를 요청하거나 또는 목적지 주변의 병원/약국 관련 정보를 지정된 사용자에게 전송할 수 있다.
한편, 본 명세서와 도면에는 본 발명의 바람직한 실시 예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등 물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (20)

  1. 연산장치에서 사용자 모니터링 방법에 있어서,
    자율주행 차량 내부의 이미지 정보를 획득하는 단계;
    획득한 이미지 정보를 기반으로 상기 자율주행 차량에 탑승한 미리 설정된 사용자 이외의 다른 사용자와 관련된 정보를 모니터링하는 단계;
    상기 모니터링한 관련된 정보를 기반으로 학습된 상호 작용 가능성 예측 모델을 이용하여 상기 다른 사용자에 의해 상기 미리 설정된 사용자에 대한 특정 행위 가능성을 확인하는 단계; 및
    상기 확인 결과에 따른 미리 설정된 동작을 수행하는 단계
    를 포함하는, 사용자 모니터링 방법.
  2. 제1항에 있어서,
    상기 미리 설정된 동작을 수행하는 단계는,
    상기 확인 결과에 따라, 상기 미리 설정된 사용자의 목적지를 변경하거나 또는 다른 자율주행 차량으로 상기 미리 설정된 사용자의 환승을 유도하거나 또는 상기 미리 설정된 사용자 주변의 도움을 요청하는 알림을 표시하는 것을 포함하는,
    사용자 모니터링 방법.
  3. 제1항에 있어서,
    특정 행위 가능성을 확인하는 단계는,
    상기 다른 사용자와 상기 미리 설정된 사용자 간의 상호 작용을 반영하여 확인된 특정 행위 가능성을 변경하는 단계를 포함하는,
    사용자 모니터링 방법.
  4. 제3항에 있어서,
    상기 상호 작용을 반영하여 추정된 특정 행위 가능성을 변경하는 단계는,
    상기 미리 설정된 사용자와 관련된 정보를 반영하여 상기 상호 작용에 따른 상기 확인된 특정 행위 가능성을 변경하는 것을 포함하는,
    사용자 모니터링 방법.
  5. 제3항에 있어서,
    상기 상호 작용을 반영하여 추정된 특정 행위 가능성을 변경하는 단계는,
    상기 다른 사용자의 과거 기록을 고려하여 상기 상호 작용에 따른 상기 확인된 특정 행위 가능성을 변경하는 것을 포함하는,
    사용자 모니터링 방법.
  6. 제1항에 있어서,
    상기 모니터링한 관련된 정보는, 상기 다른 사용자가 상기 미리 설정된 사용자를 바라보는 시선의 횟수 또는 바라보는 시선의 시간의 증가하거나 감소와 관련된 정보를 포함하는,
    사용자 모니터링 방법.
  7. 제1항에 있어서,
    사운드 정보를 획득하는 단계를 더 포함하고,
    상기 모니터링한 관련된 정보는, 상기 사운드 정보를 기반으로 확인된 상기 다른 사용자가 사용하는 언어에 포함된 비속어의 빈도 및 상기 다른 사용자가 사용하는 상기 언어에 상기 사용자에 대한 정보의 포함 여부 중 적어도 하나를 포함하는,
    사용자 모니터링 방법.
  8. 제1항에 있어서,
    상기 모니터링한 관련된 정보는, 상기 다른 사용자의 외모 상태를 포함하는,
    사용자 모니터링 방법.
  9. 제1항에 있어서,
    상기 모니터링한 관련된 정보는, 상기 다른 사용자의 얼굴을 통해 조회된 과거 기록을 포함하는,
    사용자 모니터링 방법.
  10. 제1항에 있어서,
    상기 상호 작용 가능성 예측 모델은, 상기 모니터링한 관련된 정보에 기초하여 업데이트되는,
    사용자 모니터링 방법.
  11. 제1항내지 제10항의 방법을 컴퓨터에서 실행시키기 위한 인스트럭션을 기록한 컴퓨터로 읽을 수 있는 비휘발성 기록매체.
  12. 이미지 정보를 획득하는 센서; 및
    획득한 이미지 정보를 기반으로 미리 설정된 사용자 이외의 다른 사용자와 관련된 정보를 모니터링하고,
    상기 모니터링한 관련된 정보를 기반으로 학습된 상호 작용 가능성 예측 모델을 이용하여 상기 다른 사용자에 의해 상기 미리 설정된 사용자에 대한 특정 행위 가능성을 확인하고,
    상기 확인 결과에 따른 미리 설정된 동작을 수행하는 프로세서
    를 포함하는, 사용자 모니터링 장치.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 확인 결과에 따라, 상기 미리 설정된 사용자의 목적지를 변경하거나 또는 다른 자율주행 차량으로 상기 미리 설정된 사용자의 환승을 유도하거나 또는 상기 미리 설정된 사용자 주변의 도움을 요청하는 알림을 표시하는,
    사용자 모니터링 장치.
  14. 제12항에 있어서,
    상기 프로세서는,
    상기 다른 사용자와 상기 미리 설정된 사용자 간의 상호 작용을 반영하여 확인된 특정 행위 가능성을 변경하는,
    사용자 모니터링 장치.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 미리 설정된 사용자와 관련된 정보를 반영하여 상기 상호 작용에 따른 상기 확인된 특정 행위 가능성을 변경하는,
    사용자 모니터링 장치.
  16. 제14항에 있어서,
    상기 프로세서는,
    상기 다른 사용자의 과거 기록을 고려하여 상기 상호 작용에 따른 상기 확인된 특정 행위 가능성을 변경하는,
    사용자 모니터링 장치.
  17. 제12항에 있어서,
    상기 센서가 모니터링한 관련된 정보는, 상기 다른 사용자가 상기 미리 설정된 사용자를 바라보는 시선의 횟수 또는 바라보는 시선의 시간의 증가하거나 감소와 관련된 정보를 포함하는,
    사용자 모니터링 장치.
  18. 제12항에 있어서,
    사운드 정보를 획득하고, 상기 센서가 모니터링한 관련된 정보는, 상기 사운드 정보를 기반으로 확인된 상기 다른 사용자가 사용하는 언어에 포함된 비속어의 빈도 및 상기 다른 사용자가 사용하는 상기 언어에 상기 미리 설정된 사용자에 대한 정보의 포함 여부 중 적어도 하나를 포함하는,
    사용자 모니터링 장치.
  19. 제12항에 있어서,
    상기 모니터링한 관련된 정보는, 상기 다른 사용자의 외모 상태를 포함하는,
    사용자 모니터링 장치.
  20. 제12항에 있어서,
    상기 모니터링한 관련된 정보는, 상기 다른 사용자의 얼굴을 통해 조회된 과거 기록을 포함하는,
    사용자 모니터링 장치.
KR1020190080153A 2019-07-03 2019-07-03 사용자 모니터링 방법 및 장치 KR20210004173A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190080153A KR20210004173A (ko) 2019-07-03 2019-07-03 사용자 모니터링 방법 및 장치
US16/541,597 US20190371149A1 (en) 2019-07-03 2019-08-15 Apparatus and method for user monitoring

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190080153A KR20210004173A (ko) 2019-07-03 2019-07-03 사용자 모니터링 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20210004173A true KR20210004173A (ko) 2021-01-13

Family

ID=68692683

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190080153A KR20210004173A (ko) 2019-07-03 2019-07-03 사용자 모니터링 방법 및 장치

Country Status (2)

Country Link
US (1) US20190371149A1 (ko)
KR (1) KR20210004173A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016215587A1 (de) * 2016-08-19 2018-02-22 Audi Ag Verfahren zum Betreiben eines zumindest teilautonom betriebenen Kraftfahrzeugs und Kraftfahrzeug
US11127131B1 (en) * 2021-02-22 2021-09-21 Marc Michael Thomas Systems and methods to assess abilities of two or more individuals to perform collective physical acts

Also Published As

Publication number Publication date
US20190371149A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
US11663516B2 (en) Artificial intelligence apparatus and method for updating artificial intelligence model
US11455792B2 (en) Robot capable of detecting dangerous situation using artificial intelligence and method of operating the same
US11126833B2 (en) Artificial intelligence apparatus for recognizing user from image data and method for the same
US11568239B2 (en) Artificial intelligence server and method for providing information to user
US20210072759A1 (en) Robot and robot control method
US11383379B2 (en) Artificial intelligence server for controlling plurality of robots and method for the same
US11132995B2 (en) Artificial intelligence server for setting language of robot and method for the same
KR20190096307A (ko) 음성 인식 서비스를 제공하는 인공 지능 장치 및 그의 동작 방법
US11501250B2 (en) Refrigerator for providing information on item using artificial intelligence and method of operating the same
US11398222B2 (en) Artificial intelligence apparatus and method for recognizing speech of user in consideration of user's application usage log
KR20190107626A (ko) 인공지능 서버
US11769508B2 (en) Artificial intelligence apparatus
KR20190094304A (ko) 음성 인식 기능을 제공하는 인공 지능 로봇 및 그의 동작 방법
KR20210004173A (ko) 사용자 모니터링 방법 및 장치
US11854059B2 (en) Smart apparatus
US11322134B2 (en) Artificial intelligence device and operating method thereof
US20210133561A1 (en) Artificial intelligence device and method of operating the same
US11927931B2 (en) Artificial intelligence-based air conditioner
US20210108854A1 (en) Artificial intelligence for refrigeration
US20240061907A1 (en) Artificial intelligence apparatus and method for estimating sound source localization thereof
US11971972B2 (en) Artificial intelligence apparatus and method for controlling authority to use external device based on user identification using image recognition
KR20210012465A (ko) 이미지 정보를 기반으로 사용자의 소지품을 확인하는 방법 및 장치
US11595227B2 (en) Artificial intelligence device and operating method thereof
US11093795B2 (en) Artificial intelligence server for determining deployment area of robot and method for the same
KR102247911B1 (ko) 인공 지능 로봇 및 인공 지능 서버