KR20180084576A - 행동-인식 연결 학습 기반 의도 이해 장치, 방법 및 그 방법을 수행하기 위한 기록 매체 - Google Patents

행동-인식 연결 학습 기반 의도 이해 장치, 방법 및 그 방법을 수행하기 위한 기록 매체 Download PDF

Info

Publication number
KR20180084576A
KR20180084576A KR1020170022051A KR20170022051A KR20180084576A KR 20180084576 A KR20180084576 A KR 20180084576A KR 1020170022051 A KR1020170022051 A KR 1020170022051A KR 20170022051 A KR20170022051 A KR 20170022051A KR 20180084576 A KR20180084576 A KR 20180084576A
Authority
KR
South Korea
Prior art keywords
information
behavior
user
outputted
processing part
Prior art date
Application number
KR1020170022051A
Other languages
English (en)
Other versions
KR101986002B1 (ko
Inventor
이민호
김상욱
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Publication of KR20180084576A publication Critical patent/KR20180084576A/ko
Application granted granted Critical
Publication of KR101986002B1 publication Critical patent/KR101986002B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

행동-인식 연결 학습 기반 의도 이해 장치는, 매 프레임마다 관측되는 사용자 행동의 관절 정보 및 사용자 주변 환경의 객체 정보를 검출하는 입력부; 상기 입력부로부터 수신한 상기 관절 정보 및 상기 객체 정보를 인공 신경망 처리가 가능하도록 전처리하는 전처리부; 상기 전처리부에서 출력된 상기 관절 정보 및 상기 객체 정보를 기초로, 사용자의 행동 정보를 분류하는 행동 인식 처리부; 상기 전처리부에서 출력된 객체 정보 및 상기 행동 인식 처리부에서 출력된 행동 정보를 이용하여, 사용자의 행동과 관련된 객체 후보군을 출력하는 객체 관계 정보 처리부; 및 상기 행동 인식 처리부에서 출력된 행동 정보 및 상기 객체 관계 정보 처리부에서 출력된 객체 후보군을 입력으로 하는 인공 신경망을 통해 사용자 의도 인식 결과를 출력하는 의도 출력부를 포함한다. 이에 따라, 사용자 행동과, 그 행동에 관계된 객체 정보로부터 사용자의 의도를 정확하게 예측 가능하다.
KR1020170022051A 2017-01-17 2017-02-20 행동-인식 연결 학습 기반 의도 이해 장치, 방법 및 그 방법을 수행하기 위한 기록 매체 KR101986002B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170007887 2017-01-17
KR1020170007887 2017-01-17

Publications (2)

Publication Number Publication Date
KR20180084576A true KR20180084576A (ko) 2018-07-25
KR101986002B1 KR101986002B1 (ko) 2019-06-04

Family

ID=63059083

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170022051A KR101986002B1 (ko) 2017-01-17 2017-02-20 행동-인식 연결 학습 기반 의도 이해 장치, 방법 및 그 방법을 수행하기 위한 기록 매체

Country Status (1)

Country Link
KR (1) KR101986002B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389089A (zh) * 2018-10-14 2019-02-26 深圳市能信安科技股份有限公司 基于人工智能算法的多人行为识别方法及装置
KR102083385B1 (ko) * 2018-08-28 2020-03-02 여의(주) 영상 추출 데이터의 동작 인지에 기초하는 위험 상황 판단 방법
WO2020076014A1 (en) * 2018-10-08 2020-04-16 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling the electronic apparatus
KR20200063313A (ko) 2018-11-20 2020-06-05 숭실대학교산학협력단 순차적 정보 기반의 순환 신경망 모델을 이용하여 사용자 의도 시퀀스를 예측하기 위한 장치 및 그 방법
WO2021006401A1 (ko) * 2019-07-11 2021-01-14 엘지전자 주식회사 자율주행시스템에서 차량의 제어 방법 및 그 장치
KR102343525B1 (ko) * 2020-08-19 2021-12-27 인핸드플러스 주식회사 약물 이행 패턴을 고려한 약물 이행 여부 판단 방법 및 이를 이용하는 서버
US11405594B2 (en) 2018-04-30 2022-08-02 Inhandplus Inc. Method for detecting event of object by using wearable device and management server operating same
WO2022164165A1 (ko) * 2021-01-26 2022-08-04 한양대학교 산학협력단 카메라 영상을 이용한 딥러닝 기술 기반 전방 보행자의 자세 예측 및 이를 활용한 충돌 위험도 추정 기술
US11647167B2 (en) 2019-05-07 2023-05-09 Inhandplus Inc. Wearable device for performing detection of events by using camera module and wireless communication device
US11741596B2 (en) 2018-12-03 2023-08-29 Samsung Electronics Co., Ltd. Semiconductor wafer fault analysis system and operation method thereof

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022149784A1 (en) * 2021-01-06 2022-07-14 Samsung Electronics Co., Ltd. Method and electronic device for detecting candid moment in image frame
KR102544825B1 (ko) * 2021-05-04 2023-06-16 숭실대학교산학협력단 뉴럴 심볼릭 기반 시퀀스 모델을 활용한 규칙 추론 방법 및 장치
KR102529876B1 (ko) 2022-11-01 2023-05-09 한밭대학교 산학협력단 행동 인식을 위한 자기 지도 샘플러 및 이를 이용하는 영상 감시 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140169623A1 (en) * 2012-12-19 2014-06-19 Microsoft Corporation Action recognition based on depth maps
KR101592977B1 (ko) 2014-05-16 2016-02-15 경북대학교 산학협력단 디스플레이 장치 및 그 제어 방법
KR101605078B1 (ko) 2014-05-29 2016-04-01 경북대학교 산학협력단 사용자 맞춤형 정보를 제공하는 방법 및 시스템, 이를 수행하기 위한 기록매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140169623A1 (en) * 2012-12-19 2014-06-19 Microsoft Corporation Action recognition based on depth maps
KR101592977B1 (ko) 2014-05-16 2016-02-15 경북대학교 산학협력단 디스플레이 장치 및 그 제어 방법
KR101605078B1 (ko) 2014-05-29 2016-04-01 경북대학교 산학협력단 사용자 맞춤형 정보를 제공하는 방법 및 시스템, 이를 수행하기 위한 기록매체

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Kim, S., Kavuri, S., & Lee, M., Intention Recognition and Object Recommendation System using Deep Auto-encoder based Affordance Model, In The 1st International Conference on Human-Agent Interaction, 2013
Koppula, Hema, and Ashutosh Saxena. "Learning spatio-temporal structure from rgb-d videos for human activity detection and anticipation." International Conference on Machine Learning. 2013. *
Yu, Z., & Lee, M., Real-time human action classification using a dynamic neural model, Neural Networks, 69, 29-43, 2015
Yu, Zhibin, and Minho Lee, Human motion based intent recognition using a deep dynamic neural model, Robotics and Autonomous Systems, 2015
Yu, Zhibin, et al. "Human intention understanding based on object affordance and action classification." Neural Networks (IJCNN), 2015 International Joint Conference on. IEEE, 2015.7.* *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11695903B2 (en) 2018-04-30 2023-07-04 Inhandplus Inc. Method for detecting event of object by using wearable device and management server operating same
US11405594B2 (en) 2018-04-30 2022-08-02 Inhandplus Inc. Method for detecting event of object by using wearable device and management server operating same
KR102083385B1 (ko) * 2018-08-28 2020-03-02 여의(주) 영상 추출 데이터의 동작 인지에 기초하는 위험 상황 판단 방법
WO2020076014A1 (en) * 2018-10-08 2020-04-16 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling the electronic apparatus
US11184679B2 (en) 2018-10-08 2021-11-23 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling the electronic apparatus
CN109389089B (zh) * 2018-10-14 2022-03-08 深圳市能信安科技股份有限公司 基于人工智能算法的多人行为识别方法及装置
CN109389089A (zh) * 2018-10-14 2019-02-26 深圳市能信安科技股份有限公司 基于人工智能算法的多人行为识别方法及装置
KR20200063313A (ko) 2018-11-20 2020-06-05 숭실대학교산학협력단 순차적 정보 기반의 순환 신경망 모델을 이용하여 사용자 의도 시퀀스를 예측하기 위한 장치 및 그 방법
US11741596B2 (en) 2018-12-03 2023-08-29 Samsung Electronics Co., Ltd. Semiconductor wafer fault analysis system and operation method thereof
US11647167B2 (en) 2019-05-07 2023-05-09 Inhandplus Inc. Wearable device for performing detection of events by using camera module and wireless communication device
US11628851B2 (en) 2019-07-11 2023-04-18 Lg Electronics Inc. Method and apparatus for controlling a vehicle in autonomous driving system
WO2021006401A1 (ko) * 2019-07-11 2021-01-14 엘지전자 주식회사 자율주행시스템에서 차량의 제어 방법 및 그 장치
US11304656B2 (en) 2020-08-19 2022-04-19 Inhandplus Inc. Wearable device for medication adherence monitoring
WO2022039521A1 (en) * 2020-08-19 2022-02-24 Inhandplus Inc. Method for determining whether medication has been administered and server using same
US11457862B2 (en) 2020-08-19 2022-10-04 Inhandplus Inc. Method for determining whether medication has been administered and server using same
KR102344101B1 (ko) * 2020-08-19 2021-12-29 인핸드플러스 주식회사 약물 이행 여부를 판단하는 방법 및 이를 이용하는 서버
US11660048B2 (en) 2020-08-19 2023-05-30 Inhandplus Inc. Wearable device for medication adherence monitoring
KR102343525B1 (ko) * 2020-08-19 2021-12-27 인핸드플러스 주식회사 약물 이행 패턴을 고려한 약물 이행 여부 판단 방법 및 이를 이용하는 서버
US11832962B2 (en) 2020-08-19 2023-12-05 Inhandplus Inc. Method for determining whether medication has been administered and server using same
US11950922B2 (en) 2020-08-19 2024-04-09 Inhandplus Inc. Wearable device for medication adherence monitoring
WO2022164165A1 (ko) * 2021-01-26 2022-08-04 한양대학교 산학협력단 카메라 영상을 이용한 딥러닝 기술 기반 전방 보행자의 자세 예측 및 이를 활용한 충돌 위험도 추정 기술

Also Published As

Publication number Publication date
KR101986002B1 (ko) 2019-06-04

Similar Documents

Publication Publication Date Title
KR20180084576A (ko) 행동-인식 연결 학습 기반 의도 이해 장치, 방법 및 그 방법을 수행하기 위한 기록 매체
MX367096B (es) Discriminacion de expresiones ambiguas para mejorar la experiencia del usuario.
WO2018208869A3 (en) LEARNING-BASED APPROACH TO ALIGN IMAGES ACQUIRED BY DIFFERENT TERMS
PH12019502894A1 (en) Automated response server device, terminal device, response system, response method, and program
MX2018013242A (es) Metodo, aparato y programa de computadora para generar sistemas de aprendizaje automatizados, robustos y sistemas de aprendizaje automatizados formados de prueba.
EP3923277A3 (en) Delayed responses by computational assistant
EP4350647A3 (en) Augmented reality identity verification
MX2017000535A (es) Clasificadores de baja y de alta fidelidad aplicados a imagenes de escenas de una carretera.
KR101881391B1 (ko) 객체의 특성 정보를 반영하여 프라이버시 마스킹을 수행하는 영상 마스킹 장치
WO2016094182A3 (en) Network device predictive modeling
GB2572293A (en) Reactivity mapping
IN2014DN10400A (ko)
WO2018008904A3 (ko) 비디오 신호 처리 방법 및 장치
WO2018231671A3 (en) DETECTION OF A SUSPECT PAYMENT BY ANALYSIS OF A FINANCIAL BEHAVIOR
EP2863309A3 (en) Contextual graph matching based anomaly detection
MX2019003101A (es) Estimación de vida útil remanente (rul) basada en casos fallidos y censurados de entidades.
WO2015167765A3 (en) Temporal spike encoding for temporal learning
GB2559709A (en) Translation of natural language into user interface actions
MX2019012382A (es) Brazo articulado para analizar objetos anatomicos mediante el uso de redes de aprendizaje profundo.
WO2020131198A3 (en) Method for improper product barcode detection
AU2018253963A1 (en) Detection system, detection device and method therefor
SG11201909119YA (en) Search method and apparatus and non-temporary computer-readable storage medium
WO2018212584A3 (ko) 딥 뉴럴 네트워크를 이용하여 문장이 속하는 클래스를 분류하는 방법 및 장치
WO2021118463A9 (en) Defect detection in image space
GB2523973A (en) Audio analysis system and method using audio segment characterisation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant