WO2016186327A1 - 공간행동 의미분석 시스템 - Google Patents

공간행동 의미분석 시스템 Download PDF

Info

Publication number
WO2016186327A1
WO2016186327A1 PCT/KR2016/004224 KR2016004224W WO2016186327A1 WO 2016186327 A1 WO2016186327 A1 WO 2016186327A1 KR 2016004224 W KR2016004224 W KR 2016004224W WO 2016186327 A1 WO2016186327 A1 WO 2016186327A1
Authority
WO
WIPO (PCT)
Prior art keywords
tracking
user
window area
user group
activity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2016/004224
Other languages
English (en)
French (fr)
Inventor
박병하
박영충
김용성
김성동
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Electronics Technology Institute
Original Assignee
Korea Electronics Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Electronics Technology Institute filed Critical Korea Electronics Technology Institute
Publication of WO2016186327A1 publication Critical patent/WO2016186327A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a spatial behavioral semantic analysis system, and more particularly, to a spatial behavioral semantic analysis system for providing customized services by analyzing multimodal sensing information including user's behavioral image information and environmental acoustic information. will be.
  • the analysis of the effectiveness of the service currently being provided to users in the service space includes monitoring user behavior, conducting qualitative surveys of users, or analyzing sales volume through images acquired from video cameras such as CCTV installed in the space.
  • Non-real time service effect enhancement method is used. The above methods are not enough to provide instant customized services by recognizing user's behavior, disposition and emotion in service space in real time.
  • an emotional state recognition based application service that infers the emotional state of the user who receives the service and adds feedback based on the emotional state to the service.
  • Introduced emotional state recognition based application service induces the emotional state of the user mainly by sensing the bio-signal, behavior (movement, gesture) signal, voice signal of a single user unit.
  • bio signals such as pulse wave, skin temperature, and skin humidity
  • this method involves inconvenience that a user must wear a touch sensor.
  • the spatial situation can be analyzed by contactless recognition of the spatial behavior of the public in the service space, furthermore, if a system is developed that can analyze the spatial situation by recognizing environmental acoustic information, Will maximize the service delivery targets.
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2008-272019
  • the technical problem to be solved by the present invention is to use the multi-modal sensing information including the user behavior image information and the environmental sound information in the service space to analyze the external response of the user in the service space to fit the service to the emotional information of the public
  • the present invention provides a spatial behavior semantic analysis system that can acquire necessary information.
  • Another object of the present invention is to provide a spatial behavior semantic analysis system that can enhance the service effect by analyzing the effect of the service provided to the user in the service space in real time.
  • another object of the present invention is a spatial action meaning that can effectively analyze the meaning of the spatial behavior containing the emotion of the public at the time of consuming the service through the multi-modal sensing information including the user behavior image information and environmental acoustic information in the service space In providing an analysis system.
  • a vitality evaluator configured to receive one of the user group behavior image information in the service space and environmental sound information in the service space to evaluate the activity of the user group in the service space;
  • a preference degree evaluator configured to receive one of the user group behavior image information and the environmental sound information and evaluate a user group's affinity for a service provided in a service space;
  • the activity evaluation unit comprises: a user area tracking window area setting unit for setting main and sub window areas for user object tracking to be tracked in the user group behavior image information;
  • a color average value calculating unit for calculating color average values of the main and sub window areas for tracking the user object
  • a setting window area tracking unit for tracking the main window area for tracking the set user object in the user group behavior image information that changes with time
  • Calculate the average value of the movement variation of user objects by tracking the main window area for tracking the user object for a certain time, and compare it with the average value of the movement distance of each user object to determine the activity of each user object and the activity of the entire user group And a user group activity evaluation unit for determining the presence or absence and outputting the activity evaluation result value of the user group.
  • the user object tracking window area setting unit may set the user object tracking sub window area as a color tracking window area based on color.
  • the present invention after the non-contact sensing of the spatial behavior of the user group in the service space, and analyzes the activity and affinity of the user group from the sensed information (image and sound) to the emotional information of each group By passing the corresponding spatial behavior semantic analysis result to the group emotional inference unit, it is possible to induce the service provider to obtain the target service enhancement effect.
  • the present invention by using the multi-modal sensing information including the user behavior image information and the environmental sound information in the service space through the analysis of the external response of the user in the service space to provide information necessary for providing the service suitable for the emotional information of the public
  • the spatial behavior semantic analysis information for a plurality of user groups existing in the service space.
  • FIG. 1 is an exemplary diagram illustrating a peripheral configuration of a spatial behavior semantic analysis system according to an exemplary embodiment of the present invention.
  • FIG. 2 is a detailed configuration example of the spatial behavior semantic analysis system 200 shown in FIG.
  • FIG. 3 is a detailed configuration example of the activity evaluation unit 210 shown in FIG.
  • FIG. 4 is an exemplary flow diagram of user group behavior image information processing for obtaining a result of activity evaluation of a user group according to an embodiment of the present invention.
  • FIG. 5 is an exemplary flow diagram of an environmental acoustic information processing flow for obtaining a result of a favorable evaluation of a user group according to an exemplary embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an information processing flow for obtaining a spatial behavior semantic analysis result value according to an embodiment of the present invention.
  • FIG. 7 is a view for explaining the tracking and position adjustment of the setting window area according to an embodiment of the present invention.
  • user group behavior image information is defined as "image information photographing the behavior of the user group, which is a collection of user objects located in the service space," and “environmental acoustic information” refers to the service space. The sound information audible within.
  • main window area for tracking user objects is a main window area set to track each user object constituting a user group in the user group behavior image information
  • sub window area for tracking user objects is the main window area. If the color scheme of the image is similar to the background, it is possible to easily fail to trace, and this is the window area added to compensate for this.
  • the user window tracking main window area can be tracked using an image tracking algorithm (Mean-Shift algorithm), and the user window tracking sub window area can be tracked using a color tracking algorithm.
  • FIG. 1 illustrates a peripheral configuration diagram of a spatial behavior semantic analysis system 200 according to an embodiment of the present invention
  • FIG. 2 illustrates a detailed configuration diagram of the spatial behavioral semantic analysis system 200 shown in FIG. 1.
  • 3 illustrates a detailed configuration diagram of the activity evaluator 210 illustrated in FIG. 2, respectively.
  • the spatial behavior semantic analysis system 200 may be implemented in the form of computer program logic executed by a computer processing apparatus.
  • Such computer program logic may be implemented in various forms, including but not limited to, systems, source code, computer executable code, and various intermediate forms (for example, forms generated by assemblers, compilers, linkers, or locators). Do not.
  • the spatial behavior semantic analysis system according to an embodiment of the present invention is a computer program logic to be recorded and distributed on a computer-readable recording medium such as a semiconductor memory device, a magnetic memory device, an optical memory device, a removable storage medium, and the like. Can be.
  • the spatial behavior semantic analysis system 200 includes a vision camera (the plurality of such vision cameras may be installed) and a group emotional inference unit 300 installed in a service space. Located.
  • the spatial behavior semantic analysis system 200 signals the "user group behavior image information" and “environmental sound information” input from the vision camera and the microphone 150, respectively, to determine the activity of the user group. It evaluates the likelihood and transmits the result to the group emotion inference unit 300 as the result of the group spatial behavior semantic analysis.
  • the spatial behavior semantic analysis system 200 receives the user group behavior image information in the service space and the environmental acoustic information in the service space to receive an activity to evaluate the activity of the user group in the service space.
  • Favorability evaluation unit 220 for receiving the user group behavior image information and the environmental sound information, the evaluation unit 210 for evaluating the user group's affinity for the service provided in the service space, and the activity Receiving the results of the activity evaluation and the likelihood evaluation of the user group from the evaluation unit 210 and the likelihood evaluation unit 220 to output the spatial behavior semantic analysis results used to analyze the satisfaction of the service currently being provided to the user group It includes a spatial behavior semantic analysis unit 230 for.
  • the likelihood evaluation unit 220 divides the input environmental sound information into a predetermined time unit (for example, 5 seconds), extracts a pitch height (pitch) feature, and acquires it according to the service progress step. Compared with the stored pitch feature, the user group's favorable evaluation result is output.
  • a predetermined time unit for example, 5 seconds
  • pitch height pitch
  • a color average value calculating unit 214 for calculating a color average value of the main and sub window areas for tracking the user object
  • a setting window area tracking unit 216 for tracking the main window area for tracking the set user object in the user group behavior image information that changes with time;
  • the user object tracking window area setting unit 212 may set the user object tracking sub window area as a color tracking window area based on color, and is a color tracking sub window area for the user object tracking.
  • the window area is set to an area larger than the main window area for tracking user objects.
  • the setting window area tracking unit 216 moves the user to an area having a similar color average value in the color tracking window area in a previous image frame. Adjust the position of the main window area for object tracking.
  • FIG. 4 is a flowchart illustrating a process for processing user group behavior image information for obtaining an activity evaluation result value of a user group according to an embodiment of the present invention
  • FIG. 5 illustrates a result of a user group's favorable evaluation value according to an embodiment of the present invention.
  • 6 is a flowchart illustrating environmental sound information processing for obtaining
  • FIG. 6 illustrates an information processing flowchart for obtaining a spatial behavior semantic analysis result value according to an embodiment of the present invention
  • FIG. 7 is a setting window area according to an embodiment of the present invention. The figure for explaining the tracking and positioning of the illustrated.
  • user group behavior image information captured by a vision camera and environmental acoustic information obtained through a microphone are input to the spatial behavior semantic analysis system 200.
  • the input user group behavior image information is input in a stream form, decoded by the signal preprocessor, and converted into image data format and input to the activity evaluation unit 210 in one frame data format (step S10).
  • the user object tracking window area setting unit 212 of the activity evaluator 210 sets main and sub window areas for user object tracking to be tracked in user group behavior image information having a frame data format (step S12). .
  • the number of user objects that make up a user group is five, five main object areas for user object tracking are set.
  • FIG. 7A is a set main window area for tracking user objects, and B is a sub window area for tracking user objects.
  • the color average value calculation unit 214 calculates the color average values of the set user object tracking main and sub window areas (step S14).
  • the setting window area tracking unit 216 tracks the set user object tracking main and sub window areas in the user group behavior image information that changes with time, and adjusts the position of the main window area for user object tracking if necessary. (Step S16).
  • the setting window area tracking unit 216 tracks the main window area for user object tracking based on the Mean-Shift algorithm, and tracks the sub window area for user object tracking based on the color tracking algorithm. Check that the moving distance of the center point of the main window area for tracking user objects between frames is maintained within the sub window area for tracking user objects (also referred to as the color tracking window area).
  • the main window area for tracking user objects is defined as an area having a similar color average value in the color tracking window area in a previous image frame. Adjust the position.
  • the user group activity evaluation unit 218 calculates an average value of the movement change amount of the user objects through tracking the main window area for tracking the user object for a predetermined time (step S18). To calculate the average value of the movement variation of user objects, first calculate the position, movement distance, movement direction, and movement variation of each user object using the center point of each user object, and then average the movement distance of the user objects (ie, the average value of the movement variation amount). )
  • the average value of the movement variation of the user objects (which may be referred to as a reference average value) is obtained, it is compared with the average movement distance of each user object to determine whether there is activity for each user object or activity for the entire user group. Step S20).
  • the user object may be determined to have "inactive” activity, and vice versa If it is smaller than the average value, the activity of the corresponding user object may be determined to be "active". In addition, if the result of comparing the activity value of each user object constituting the user group is found to be a lot of activity "Yes", the user group determines that the activity is "Yes”.
  • the activity evaluation results of the user group are finally output to the spatial behavior semantic analysis unit 230 according to the ratio of active and inactive (step S22). do.
  • Favorability evaluation unit 220 receives the environmental sound information (step S30) and extracts a pitch feature by dividing the sound level by a predetermined time unit (5 seconds) (step S32).
  • the inferred pitch feature is acquired according to the service progress step and compared with the stored pitch feature (acoustic feature DB) (step S34) to output the result of the evaluation of the feeling of preference of the user group to the spatial behavior meaning analysis unit 230 (S36). Step).
  • the spatial behavior semantic analysis unit 230 analyzes the image and sound data. Based on the analysis of the meaning of the spatial behavior of the user group and outputs the result to the group emotional inference unit 300 (step S42). For example, if it is determined that the user group has high image activity analysis result (active) and the sound data analysis result has a high likelihood, the user is determined to have high interest in the service (group emotion). On the contrary, if the user group's image data analysis results in low activity (inactive) and the sound data analysis results in low likelihood, it is determined that the user group is not interested in service (group emotion inactive).
  • the result of the spatial behavior semantic analysis output from the spatial behavior semantic analysis unit 230 is transmitted to the group emotional inference unit 300 to be used in analyzing the satisfaction of the service currently being provided to the user, and used as a criterion for enhancing the service effect. Can be.
  • the present invention provides a non-contact sensing of the spatial behavior of the user group in the service space, and then analyzes the activity and affinity of the user group from the sensed information (image and sound) to correspond to the emotional information of each group.
  • the group emotion inference unit 230 By transmitting the result of the behavioral semantic analysis to the group emotion inference unit 230, there is an effect that the service provider can induce a target service augmentation effect.
  • the present invention has the convenience of acquiring spatial behavioral semantic analysis information for a plurality of user groups existing in the service space in a non-contact manner.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 서비스 공간 내 사용자의 행동 영상정보와 환경 음향정보를 포함하는 멀티모달 센싱정보를 분석하여 대중 감성정보 맞춤형 서비스 제공을 위한 공간행동 의미분석 시스템에 관한 것으로, 서비스 공간 내의 사용자 그룹 행동 영상정보와 서비스 공간 내의 환경 음향정보 중 하나를 입력받아 서비스 공간 내 사용자 그룹의 활동성을 평가하기 위한 활동성 평가부와, 상기 사용자 그룹 행동 영상정보와 상기 환경 음향정보 중 하나를 입력받아 서비스 공간 내에서 제공되는 서비스에 대한 사용자 그룹의 호감도를 평가하기 위한 호감도 평가부와, 상기 활동성 평가부와 호감도 평가부로부터 사용자 그룹의 활동성 평가 결과값과 호감도 평가 결과값을 전달받아 현재 사용자 그룹에게 제공중인 서비스의 만족도 분석에 이용되는 공간행동 의미분석 결과값을 출력하기 위한 공간행동 의미분석부를 포함함을 특징으로 한다.

Description

공간행동 의미분석 시스템
본 발명은 공간행동 의미분석 시스템에 관한 것으로, 특히 서비스 공간 내 사용자의 행동 영상정보와 환경 음향정보를 포함하는 멀티모달 센싱정보를 분석하여 대중 감성정보 맞춤형 서비스 제공을 위한 공간행동 의미분석 시스템에 관한 것이다.
서비스 공간에서 현재 사용자에게 제공되고 있는 서비스의 효과성에 대한 분석은 공간 내 설치된 CCTV와 같은 영상 카메라에서 취득된 영상을 통해 사용자 행동을 모니터링하거나, 사용자 대상 정성적 설문조사를 실시하거나, 판매량을 분석하는 등 비실시간적 서비스 효과 증강방법을 사용하고 있다. 예시한 위 방법들은 서비스 공간 내 사용자의 행동, 성향, 감성을 실시간으로 인식하여 즉각적인 고객 맞춤형 서비스를 제공하기에는 역부족이다.
이에 서비스를 제공받는 사용자의 감성상태를 추론하고, 감성상태에 따른 피드백을 서비스에 추가하여 제공하는 감성상태 인식 기반 응용 서비스가 소개되고 있다. 소개되고 있는 감성상태 인식 기반 응용 서비스에서는 주로 단일 사용자 단위의 생체신호, 행동(움직임, 제스쳐)신호, 음성신호를 센싱하여 사용자의 감성상태를 추론한다. 서비스 공간 내의 사용자 감성상태를 인식하기 위해서는 맥파, 피부온도, 피부습도의 생체신호를 측정하는 방식이 일반적이나, 이러한 방식에서는 사용자가 접촉식 센서를 착용해야 한다는 불편함이 수반된다.
이러한 단점을 극복하기 위해 서비스 공간 내에 존재하는 대중의 공간행동을 비접촉식으로 인식하여 공간 상황을 분석할 수 있다면, 더 나아가 환경 음향정보까지 인식하여 공간 상황을 분석할 수 있는 시스템이 개발된다면, 서비스 제공자가 목표로 하는 서비스 제공 효과를 극대화시킬 수 있을 것이다.
이에 서비스 효과 증강을 위한 다감각(시각, 청각, 후각 등) 서비스를 제공하기 위해 서비스 공간 내의 사용자 그룹에 대한 공간행동을 비접촉 방식으로 인식하여 분석하고, 그 의미를 보다 정확하게 추론할 수 있다면 극대화된 서비스 증강 효과를 얻을 수 있을 것이다.
[선행기술문헌]
(특허문헌 1) 일본국 공개특허공보 특개2008-272019
이에 본 발명이 해결하고자 하는 기술적 과제는 서비스 공간 내의 사용자 행동 영상정보와 환경 음향정보를 포함하는 멀티모달 센싱정보를 이용하여 서비스 공간 내 사용자의 외현적 반응 분석을 통해 대중의 감성정보에 맞는 서비스를 제공하기 위해 필요한 정보를 획득할 수 있는 공간행동 의미분석 시스템을 제공함에 있다.
더 나아가 본 발명의 또 다른 목적은 서비스 공간에서 사용자에게 제공되고 있는 서비스의 효과를 실시간 분석하여 서비스 효과를 증강시킬 수 있는 공간행동 의미분석 시스템을 제공함에 있다.
또한 본 발명의 다른 목적은 서비스 공간 내의 사용자 행동 영상정보와 환경 음향정보를 포함하는 멀티모달 센싱정보를 통해 서비스를 소비하는 순간의 대중 감성을 내포하는 공간행동 의미를 효과적으로 분석할 수 있는 공간행동 의미분석 시스템을 제공함에 있다.
상술한 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 공간행동 의미분석 시스템,
서비스 공간 내의 사용자 그룹 행동 영상정보와 서비스 공간 내의 환경 음향정보 중 하나를 입력받아 서비스 공간 내 사용자 그룹의 활동성을 평가하기 위한 활동성 평가부와;
상기 사용자 그룹 행동 영상정보와 상기 환경 음향정보 중 하나를 입력받아 서비스 공간 내에서 제공되는 서비스에 대한 사용자 그룹의 호감도를 평가하기 위한 호감도 평가부와;
상기 활동성 평가부와 호감도 평가부로부터 사용자 그룹의 활동성 평가 결과값과 호감도 평가 결과값을 전달받아 현재 사용자 그룹에게 제공중인 서비스의 만족도 분석에 이용되는 공간행동 의미분석 결과값을 출력하기 위한 공간행동 의미분석부;를 포함함을 특징으로 하며,
상기 활동성 평가부는 상기 사용자 그룹 행동 영상정보에서 추적할 사용자 객체 추적용 메인 및 서브 윈도우 영역을 설정하기 위한 사용자 객체 추적용 윈도우 영역 설정 유닛과;
상기 사용자 객체 추적용 메인 및 서브 윈도우 영역의 색상 평균값을 계산하기 위한 색상 평균값 계산 유닛과;
시간경과에 따라 변화되는 상기 사용자 그룹 행동 영상정보에서 상기 설정된 사용자 객체 추적용 메인 윈도우 영역을 추적하기 위한 설정 윈도우 영역 추적 유닛과;
일정시간 동안 상기 사용자 객체 추적용 메인 윈도우 영역의 추적을 통해 사용자 객체들의 움직임 변화량 평균값을 계산하고, 이를 각 사용자 객체의 움직임 거리 평균값과 비교하여 각 사용자 객체에 대한 활동성 유무와 사용자 그룹 전체에 대한 활동성 유무를 판단하여 사용자 그룹의 활동성 평가 결과값으로 출력하기 위한 사용자 그룹 활동성 평가 유닛;을 포함함을 특징으로 한다.
더 나아가 상기 사용자 객체 추적용 윈도우 영역 설정 유닛은 상기 사용자 객체 추적용 서브 윈도우 영역을 색상에 기반한 색상 추적용 윈도우 영역으로 설정함을 또 다른 특징으로 한다.
상술한 과제 해결 수단에 따르면, 본 발명은 서비스 공간 내 사용자 그룹의 공간행동을 비접촉식으로 센싱한 후, 센싱된 정보(영상과 음향)에서 사용자 그룹의 활동성과 호감도를 분석하여 각 그룹의 감성정보에 해당하는 공간행동 의미분석 결과값을 그룹 감성 추론부로 전달함으로써, 서비스 제공자가 목표로 하는 서비스 증강효과를 얻도록 유도할 수 있는 효과가 있다.
또한 본 발명은 서비스 공간 내의 사용자 행동 영상정보와 환경 음향정보를 포함하는 멀티모달 센싱정보를 이용하여 서비스 공간 내 사용자의 외현적 반응 분석을 통해 대중의 감성정보에 맞는 서비스를 제공하기 위해 필요한 정보를 획득할 수 있는 이점이 있으며, 서비스 공간 내에 존재하는 복수의 사용자 그룹에 대한 공간행동 의미분석정보를 비접촉 방식으로 획득할 수 있는 편리함이 있다.
도 1은 본 발명의 실시예에 따른 공간행동 의미분석 시스템의 주변 구성 예시도.
도 2는 도 1에 도시한 공간행동 의미분석 시스템(200)의 상세 구성 예시도.
도 3은 도 2에 도시한 활동성 평가부(210)의 상세 구성 예시도.
도 4는 본 발명의 실시예에 따라 사용자 그룹의 활동성 평가 결과값을 얻기 위한 사용자 그룹 행동 영상정보 처리 흐름 예시도.
도 5는 본 발명의 실시예에 따라 사용자 그룹의 호감도 평가 결과값을 얻기위한 환경 음향정보 처리 흐름 예시도.
도 6은 본 발명의 실시예에 따른 공간행동 의미분석 결과값을 얻기 위한 정보 처리 흐름 예시도.
도 7은 본 발명의 실시예에 따른 설정 윈도우 영역의 추적 및 위치조정을 설명하기 위한 도면.
이하 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 관련된 공지 기능 혹은 구성과 같은 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
하기에서 사용되는 용어 중 "사용자 그룹 행동 영상정보"는 서비스 공간 내에 위치하는 사용자 객체들의 모임인 사용자 그룹의 행동을 촬영한 영상정보"인 것으로 정의하기로 하며, "환경 음향정보"는 그 서비스 공간 내에서 청취 가능한 음향 정보"인 것으로 가정하기로 한다. 또한 "사용자 객체 추적용 메인 윈도우 영역"은 사용자 그룹 행동 영상정보에서 사용자 그룹을 이루는 각각의 사용자 객체를 추적하기 위해 설정되는 메인 윈도우 영역이며, '사용자 객체 추적용 서브 윈도우 영역'은 상기 메인 윈도우 영역의 색 구성이 배경과 유사한 경우 추적에 쉽게 실패할 가능성이 있어 이를 보완하기 위해 추가되는 윈도우 영역이다. 상기 사용자 객체 추적용 메인 윈도우 영역은 영상 추적 알고리즘(Mean-Shift 알고리즘)을 이용하여 추적 가능하며, 상기 사용자 객체 추적용 서브 윈도우 영역은 색상 추적 알고리즘을 이용하여 추적 가능하다.
우선 도 1은 본 발명의 실시예에 따른 공간행동 의미분석 시스템(200)의 주변 구성도를 예시한 것이며, 도 2는 도 1에 도시한 공간행동 의미분석 시스템(200)의 상세 구성도를, 도 3은 도 2에 도시한 활동성 평가부(210)의 상세 구성도를 각각 예시한 것이다.
본 발명의 실시예에 따른 공간행동 의미분석 시스템(200)은 컴퓨터 처리장치에 의해 실행되는 컴퓨터 프로그램 로직의 형태로 구현 가능하다. 이러한 컴퓨터 프로그램 로직은 시스템, 소스 코드, 컴퓨터 실행 가능한 코드 및 여러 가지 중간 형태(예를 들면, 어셈블러, 컴파일러, 링커 또는 로케이터로 생성되는 형태 등)를 포함하여 다양한 형태로 구현될 수 있으나 이에 제한되지 않는다. 이에 본 발명의 실시예에 따른 공간행동 의미분석 시스템은 하나의 컴퓨터 프로그램 로직으로서 반도체 메모리 장치, 자기 메모리 장치, 광 메모리 장치, 이동식 저장매체와 같은 컴퓨터에 의해 판독 가능한 기록매체에 기록 저장되어 배포될 수 있다.
본 발명의 실시예에 따른 공간행동 의미분석 시스템(200)은 도 1에 도시한 바와 같이 서비스 공간 내에 설치되는 비전 카메라(이러한 비전 카메라는 복수 개일 수 있다)와 그룹 감성 추론부(300) 사이에 위치한다.
본 발명의 실시예에 따른 공간행동 의미분석 시스템(200)은 비전 카메라와 마이크(150)로 부터 각각 입력되는 "사용자 그룹 행동 영상정보"와 "환경 음향정보"를 신호 처리하여 사용자 그룹의 활동성과 호감도를 평가하여 그룹 공간행동 의미분석 결과값으로 그룹 감성 추론부(300)로 전달하는 역할을 수행한다.
이러한 공간행동 의미분석 시스템(200)은 도 2에 도시한 바와 같이 크게 서비스 공간 내의 사용자 그룹 행동 영상정보와 서비스 공간 내의 환경 음향정보 중 하나를 입력받아 서비스 공간 내 사용자 그룹의 활동성을 평가하기 위한 활동성 평가부(210)와, 상기 사용자 그룹 행동 영상정보와 상기 환경 음향정보 중 하나를 입력받아 서비스 공간 내에서 제공되는 서비스에 대한 사용자 그룹의 호감도를 평가하기 위한 호감도 평가부(220)와, 상기 활동성 평가부(210)와 호감도 평가부(220)로부터 사용자 그룹의 활동성 평가 결과값과 호감도 평가 결과값을 전달받아 현재 사용자 그룹에게 제공중인 서비스의 만족도 분석에 이용되는 공간행동 의미분석 결과값을 출력하기 위한 공간행동 의미분석부(230)를 포함한다.
보다 구체적으로 상기 호감도 평가부(220)는 입력되는 상기 환경 음향정보를 일정 시간 단위(예를 들면 5초 단위)로 분할하여 음 높이(피치) 특징을 추출하고, 이를 서비스 진행 단계에 따라 취득하여 저장된 음 높이 특징과 비교하여 사용자 그룹의 호감도 평가 결과값을 출력한다.
한편, 상기 활동성 평가부(210)는 도 3에 도시한 바와 같이 사용자 그룹 행동 영상정보에서 추적할 사용자 객체 추적용 메인 및 서브 윈도우 영역을 설정하기 위한 사용자 객체 추적용 윈도우 영역 설정 유닛(212)과,
상기 사용자 객체 추적용 메인 및 서브 윈도우 영역의 색상 평균값을 계산하기 위한 색상 평균값 계산 유닛(214)과,
시간경과에 따라 변화되는 상기 사용자 그룹 행동 영상정보에서 상기 설정된 사용자 객체 추적용 메인 윈도우 영역을 추적하기 위한 설정 윈도우 영역 추적 유닛(216) 및,
일정시간 동안 상기 사용자 객체 추적용 메인 윈도우 영역의 추적을 통해 사용자 객체들의 움직임 변화량 평균값을 계산하고, 이를 각 사용자 객체의 움직임 거리 평균값과 비교하여 각 사용자 객체에 대한 활동성 유무와 사용자 그룹 전체에 대한 활동성 유무를 판단하여 사용자 그룹의 활동성 평가 결과값으로 출력하기 위한 사용자 그룹 활동성 평가 유닛(218)을 포함한다.
상기 사용자 객체 추적용 윈도우 영역 설정 유닛(212)은 상기 사용자 객체 추적용 서브 윈도우 영역을 색상에 기반한 색상 추적용 윈도우 영역으로 설정함을 특징으로 하며, 상기 사용자 객체 추적용 서브 윈도우 영역인 색상 추적용 윈도우 영역은 사용자 객체 추적용 메인 윈도우 영역 보다 큰 영역으로 설정된다. 이러한 경우 설정 윈도우 영역 추적 유닛(216)은 사용자 객체 추적용 메인 윈도우 영역의 중심점이 상기 색상 추적용 윈도우 영역을 벗어날 경우 이전 영상 프레임에서 상기 색상 추적용 윈도우 영역내에서 유사한 색상 평균값을 갖는 영역으로 사용자 객체 추적용 메인 윈도우 영역을 위치 조정함을 특징으로 한다.
이하 상술한 구성을 갖는 공간행동 의미분석 시스템(200)의 동작을 도 4 내지 도 7을 참조하여 보다 상세히 설명하기로 한다.
도 4는 본 발명의 실시예에 따라 사용자 그룹의 활동성 평가 결과값을 얻기 위한 사용자 그룹 행동 영상정보 처리 흐름도를 예시한 것이며, 도 5는 본 발명의 실시예에 따라 사용자 그룹의 호감도 평가 결과값을 얻기 위한 환경 음향정보 처리 흐름도를, 도 6은 본 발명의 실시예에 따른 공간행동 의미분석 결과값을 얻기 위한 정보 처리 흐름도를 각각 예시한 것이며, 도 7은 본 발명의 실시예에 따른 설정 윈도우 영역의 추적 및 위치조정을 설명하기 위한 도면을 예시한 것이다.
도 4를 참조하면, 우선 비전 카메라를 통해 촬상되는 사용자 그룹 행동 영상정보와 마이크를 통해 획득된 환경 음향정보는 공간행동 의미분석 시스템(200)으로 입력된다. 입력되는 사용자 그룹 행동 영상정보는 스트림 형태로 입력되어 신호 전처리부에서 디코딩되며, 영상 데이터 포맷 변환되어 하나의 프레임 데이터 형식으로 활동성 평가부(210)에 입력(S10단계)된다.
이에 활동성 평가부(210)의 사용자 객체 추적용 윈도우 영역 설정 유닛(212)은 프레임 데이터 형식을 가지는 사용자 그룹 행동 영상정보에서 추적할 사용자 객체 추적용 메인 및 서브 윈도우 영역을 각각 설정(S12단계)한다. 예를 들어 사용자 그룹을 구성하는 사용자 객체 수가 5이면 5개의 사용자 객체 추적용 메인 윈도우 영역을 설정한다. 도 7의 A는 설정된 사용자 객체 추적용 메인 윈도우 영역이며, B는 사용자 객체 추적용 서브 윈도우 영역이다.
사용자 객체 추적용 메인 및 서브 윈도우 영역이 설정되면, 색상 평균값 계산 유닛(214)은 설정된 상기 사용자 객체 추적용 메인 및 서브 윈도우 영역의 색상 평균값을 계산(S14단계)한다.
아울러 설정 윈도우 영역 추적 유닛(216)은 시간경과에 따라 변화되는 상기 사용자 그룹 행동 영상정보에서 상기 설정된 사용자 객체 추적용 메인 및 서브 윈도우 영역을 추적하면서 필요시 사용자 객체 추적용 메인 윈도우 영역의 위치를 조정(S16단계)한다.
보다 구체적으로, 설정 윈도우 영역 추적 유닛(216)은 Mean-Shift 알고리즘에 기반하여 사용자 객체 추적용 메인 윈도우 영역을 추적하며, 색상 추적 알고리즘에 기반하여 사용자 객체 추적용 서브 윈도우 영역을 추적하는데, 만약 영상 프레임간 사용자 객체 추적용 메인 윈도우 영역의 중심점 이동거리가 사용자 객체 추적용 서브 윈도우 영역(색상 추적용 윈도우 영역이기도 함) 내에서 유지되는지 확인한다.
만약 사용자 객체 추적용 메인 윈도우 영역의 중심점이 사용자 객체 추적용 서브 윈도우 영역을 벗어난다면, 이전 영상 프레임에서 상기 색상 추적용 윈도우 영역내에서 유사한 색상 평균값을 갖는 영역으로 상기 사용자 객체 추적용 메인 윈도우 영역을 위치 조정한다.
아울러 사용자 그룹 활동성 평가 유닛(218)은 일정시간 동안 상기 사용자 객체 추적용 메인 윈도우 영역의 추적을 통해 사용자 객체들의 움직임 변화량 평균값을 계산(S18단계)한다. 사용자 객체들의 움직임 변화량 평균값을 구하기 위해서는 우선적으로 각 사용자 객체의 중심점을 이용해 각 사용자 객체의 위치, 움직임 거리, 움직임 방향, 움직임 변화량을 계산한 후 사용자 객체들에 대한 움직임 거리 평균값(즉 움직임 변화량의 평균값)을 구하면 된다.
이와 같이 사용자 객체들의 움직임 변화량 평균값(이를 레퍼런스 평균값이라고 칭할 수도 있음)이 구해지면, 이를 각 사용자 객체의 움직임 거리 평균값과 비교하여 각 사용자 객체에 대한 활동성 유무와 사용자 그룹 전체에 대한 활동성 유무를 판단(S20단계)한다.
사용자 객체들의 움직임 변화량 평균값이 사용자 객체의 움직임 거리 평균값 보다 크거나 같으면 해당 사용자 객체는 활동성이 "무(inactive)"인 것으로 판단할 수 있고, 그 반대로 사용자 객체들의 움직임 변화량 평균값이 사용자 객체의 움직임 거리 평균값 보다 작다면 해당 사용자 객체의 활동성은 "유(active)"인 것으로 판단할 수 있다. 아울러 사용자 그룹을 구성하는 각 사용자 객체의 활동성 유무 결과값을 비교하여 활동성 "유"가 많은 것으로 판명되면 그 사용자 그룹은 활동성이 "유"인 것으로 판단한다.
이러한 방식으로 소정 시간 동안 1차 그룹의 행동 의미분석 결과를 누적한 후 액티브와 인액티브의 비율에 따라 최종적으로 사용자 그룹의 활동성 평가 결과값을 공간행동 의미분석부(230)로 출력(S22단계)한다.
이하 도 5를 참조하여 사용자 그룹의 호감도를 평가하는 과정을 설명하면,
호감도 평가부(220)는 환경 음향정보를 입력(S30단계)받아 일정 시간 단위(5초)로 분할하여 음 높이 특징을 추출(S32단계)한다. 그리고 추추된 음 높이 특징을 서비스 진행 단계에 따라 취득하여 저장된 음 높이 특징(음향 특징 DB)과 비교(S34단계)하여 사용자 그룹의 호감도 평가 결과값을 공간행동 의미분석부(230)로 출력(S36단계)한다.
도 4 및 도 5를 통해 사용자 그룹의 활동성 평가 결과값과 호감도 평가 결과값이 공간행동 의미분석부(230)에 입력(S40)되면, 공간행동 의미분석부(230)는 영상과 음향 데이터 분석에 기반하여 사용자 그룹의 공간행동 의미를 분석하고 그 결과값을 그룹 감성 추론부(300)로 출력(S42단계)한다. 예를 들면, 사용자 그룹의 영상 데이터 분석 결과 활동성이 높고(active), 음향 데이터 분석 결과 호감도가 높은 것으로 판단되면 서비스에 관심이 높은 것으로 판단(그룹 감성 active)한다. 이에 반하여 사용자 그룹의 영상 데이터 분석 결과 활동성이 낮고(inactive), 음향 데이터 분석 결과 호감도가 낮은 것으로 판단되면 서비스에 관심이 없는(그룹 감성 inactive) 것으로 판단한다.
공간행동 의미분석부(230)에서 출력되는 공간행동 의미분석 결과값은 그룹 감성 추론부(300)에 전달되어 현재 사용자에게 제공중인 서비스의 만족도 분석에 활용되고, 서비스 효과 증강을 위한 판단 기준으로 사용될 수 있다.
이상에서 설명한 바와 같이 본 발명은 서비스 공간 내 사용자 그룹의 공간행동을 비접촉식으로 센싱한 후, 센싱된 정보(영상과 음향)에서 사용자 그룹의 활동성과 호감도를 분석하여 각 그룹의 감성정보에 해당하는 공간행동 의미분석 결과값을 그룹 감성 추론부(230)로 전달함으로써, 서비스 제공자가 목표로 하는 서비스 증강효과를 얻도록 유도할 수 있는 효과가 있다.
더 나아가 본 발명은 서비스 공간 내에 존재하는 복수의 사용자 그룹에 대한 공간행동 의미분석정보를 비접촉 방식으로 획득할 수 있는 편리함이 있다.
이상 본 발명은 도면에 도시된 실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.

Claims (5)

  1. 서비스 공간 내의 사용자 그룹 행동 영상정보와 서비스 공간 내의 환경 음향정보 중 하나를 입력받아 서비스 공간 내 사용자 그룹의 활동성을 평가하기 위한 활동성 평가부와;
    상기 사용자 그룹 행동 영상정보와 상기 환경 음향정보 중 하나를 입력받아 서비스 공간 내에서 제공되는 서비스에 대한 사용자 그룹의 호감도를 평가하기 위한 호감도 평가부와;
    상기 활동성 평가부와 호감도 평가부로부터 사용자 그룹의 활동성 평가 결과값과 호감도 평가 결과값을 전달받아 현재 사용자 그룹에게 제공중인 서비스의 만족도 분석에 이용되는 공간행동 의미분석 결과값을 출력하기 위한 공간행동 의미분석부;를 포함함을 특징으로 하는 공간행동 의미분석 시스템.
  2. 청구항 1에 있어서, 상기 활동성 평가부는,
    상기 사용자 그룹 행동 영상정보에서 추적할 사용자 객체 추적용 메인 및 서브 윈도우 영역을 설정하기 위한 사용자 객체 추적용 윈도우 영역 설정 유닛과;
    상기 사용자 객체 추적용 메인 및 서브 윈도우 영역의 색상 평균값을 계산하기 위한 색상 평균값 계산 유닛과;
    시간경과에 따라 변화되는 상기 사용자 그룹 행동 영상정보에서 상기 설정된 사용자 객체 추적용 메인 윈도우 영역을 추적하기 위한 설정 윈도우 영역 추적 유닛과;
    일정시간 동안 상기 사용자 객체 추적용 메인 윈도우 영역의 추적을 통해 사용자 객체들의 움직임 변화량 평균값을 계산하고, 이를 각 사용자 객체의 움직임 거리 평균값과 비교하여 각 사용자 객체에 대한 활동성 유무와 사용자 그룹 전체에 대한 활동성 유무를 판단하여 사용자 그룹의 활동성 평가 결과값으로 출력하기 위한 사용자 그룹 활동성 평가 유닛;을 포함함을 특징으로 하는 공간행동 의미분석 시스템.
  3. 청구항 2에 있어서, 상기 사용자 객체 추적용 윈도우 영역 설정 유닛은 상기 사용자 객체 추적용 서브 윈도우 영역을 색상에 기반한 색상 추적용 윈도우 영역으로 설정함을 특징으로 하는 공간행동 의미분석 시스템.
  4. 청구항 3에 있어서, 상기 색상 추적용 윈도우 영역은 상기 사용자 객체 추적용 메인 윈도우 영역 보다 큰 영역으로 설정되며, 상기 설정 윈도우 영역 추적 유닛은 상기 사용자 객체 추적용 메인 윈도우 영역의 중심점이 상기 색상 추적용 윈도우 영역을 벗어날 경우 이전 영상 프레임에서 상기 색상 추적용 윈도우 영역내에서 유사한 색상 평균값을 갖는 영역으로 상기 사용자 객체 추적용 메인 윈도우 영역을 위치 조정함을 특징으로 하는 공간행동 의미분석 시스템.
  5. 청구항 1 내지 청구항 4중 어느 한 항에 있어서, 상기 호감도 평가부는,
    입력되는 상기 환경 음향정보를 일정 시간 단위로 분할하여 음 높이 특징을 추출하고, 이를 서비스 진행 단계에 따라 취득하여 저장된 음 높이 특징과 비교하여 사용자 그룹의 호감도 평가 결과값을 출력함을 특징으로 하는 공간행동 의미분석 시스템.
PCT/KR2016/004224 2015-05-18 2016-04-22 공간행동 의미분석 시스템 Ceased WO2016186327A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150068550A KR102076807B1 (ko) 2015-05-18 2015-05-18 공간행동 의미분석 시스템
KR10-2015-0068550 2015-05-18

Publications (1)

Publication Number Publication Date
WO2016186327A1 true WO2016186327A1 (ko) 2016-11-24

Family

ID=57320403

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/004224 Ceased WO2016186327A1 (ko) 2015-05-18 2016-04-22 공간행동 의미분석 시스템

Country Status (2)

Country Link
KR (1) KR102076807B1 (ko)
WO (1) WO2016186327A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018131976A1 (en) * 2017-01-13 2018-07-19 Samsung Electronics Co., Ltd. Apparatus and method for performing user evaluations
US11822696B2 (en) 2020-08-25 2023-11-21 International Business Machines Corporation Dynamic environmental control

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008102176A (ja) * 2006-10-17 2008-05-01 Mitsubishi Electric Corp 行動計数システム
KR20080086924A (ko) * 2005-12-30 2008-09-26 구글 인코포레이티드 관측된 사용자 거동을 이용한 광고 품질 추정
KR20100066352A (ko) * 2008-12-08 2010-06-17 한국전자통신연구원 상황 인지 장치 및 이를 이용한 상황 인지 방법
JP2012238232A (ja) * 2011-05-12 2012-12-06 Nippon Hoso Kyokai <Nhk> 興味区間検出装置、視聴者興味情報提示装置、および興味区間検出プログラム
US20130051271A1 (en) * 2011-02-10 2013-02-28 Empire Technology Development Llc Quality-of-experience measurement for voice services

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5233159B2 (ja) 2007-04-25 2013-07-10 沖電気工業株式会社 集団感情認識支援システム
KR101575100B1 (ko) * 2014-05-20 2015-12-09 전자부품연구원 사용자 그룹의 공간행동 센싱 및 의미분석 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080086924A (ko) * 2005-12-30 2008-09-26 구글 인코포레이티드 관측된 사용자 거동을 이용한 광고 품질 추정
JP2008102176A (ja) * 2006-10-17 2008-05-01 Mitsubishi Electric Corp 行動計数システム
KR20100066352A (ko) * 2008-12-08 2010-06-17 한국전자통신연구원 상황 인지 장치 및 이를 이용한 상황 인지 방법
US20130051271A1 (en) * 2011-02-10 2013-02-28 Empire Technology Development Llc Quality-of-experience measurement for voice services
JP2012238232A (ja) * 2011-05-12 2012-12-06 Nippon Hoso Kyokai <Nhk> 興味区間検出装置、視聴者興味情報提示装置、および興味区間検出プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018131976A1 (en) * 2017-01-13 2018-07-19 Samsung Electronics Co., Ltd. Apparatus and method for performing user evaluations
US10664531B2 (en) 2017-01-13 2020-05-26 Samsung Electronics Co., Ltd. Peer-based user evaluation from multiple data sources
US11822696B2 (en) 2020-08-25 2023-11-21 International Business Machines Corporation Dynamic environmental control

Also Published As

Publication number Publication date
KR20160135865A (ko) 2016-11-29
KR102076807B1 (ko) 2020-02-13

Similar Documents

Publication Publication Date Title
US20200034739A1 (en) Method and device for estimating user&#39;s physical condition
JP7392492B2 (ja) 時間的視覚的な顔の特徴に基づく認知及び発話障害検出のための方法、サーバ及びプログラム
Planinc et al. Introducing the use of depth data for fall detection
US8913781B2 (en) Methods and systems for audience monitoring
EP3693966A1 (en) System and method for continuous privacy-preserved audio collection
CN119693750A (zh) 一种基于边缘计算的多模态数字员工接待系统及方法
CN113764099A (zh) 基于人工智能的心理状态分析方法、装置、设备及介质
Muthukumar et al. A novel hybrid deep learning model for activity detection using wide-angle low-resolution infrared array sensor
Ning et al. An attention mechanism inspired selective sensing framework for physical-cyber mapping in internet of things
KR20150038877A (ko) 사용자 입력에 대응되는 이벤트를 이용한 유저 인터페이싱 장치 및 방법
CN117952808A (zh) 一种基于视频和语音识别的校园防欺凌方法和系统
CN119205221B (zh) 一种基于年龄和性别识别的广告推送方法及系统
WO2025164906A1 (ko) 콘텐츠와 사용자 간의 인터랙션을 위한 인터랙션 시스템
CN120219903A (zh) 一种基于多模态行为模式视频监控预警方法和系统
WO2016186327A1 (ko) 공간행동 의미분석 시스템
WO2020080626A1 (ko) 동물 종 식별 방법 및 장치
CN120564271B (zh) 一种目标行为检测方法、装置和一种目标行为检测系统
KR101204378B1 (ko) 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템 및 방법
CN114937189B (zh) 模型的训练方法和装置、目标识别方法、设备、介质
JP2009044526A (ja) 撮影装置、撮影方法、人物認識装置および人物認識方法
KR101575100B1 (ko) 사용자 그룹의 공간행동 센싱 및 의미분석 시스템
Daga et al. Applications of human activity recognition in different fields: a review
US20220225917A1 (en) Electronic device, system and method for predicting the performance of an individual human during a visual perception task
JP2021072106A (ja) イメージ処理システム
CN117530201A (zh) 可穿戴式头部眼动追踪设备、方法、处理设备及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16796654

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16796654

Country of ref document: EP

Kind code of ref document: A1