WO2017200333A2 - 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법 - Google Patents

공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법 Download PDF

Info

Publication number
WO2017200333A2
WO2017200333A2 PCT/KR2017/005204 KR2017005204W WO2017200333A2 WO 2017200333 A2 WO2017200333 A2 WO 2017200333A2 KR 2017005204 W KR2017005204 W KR 2017005204W WO 2017200333 A2 WO2017200333 A2 WO 2017200333A2
Authority
WO
WIPO (PCT)
Prior art keywords
meaning
spatial
hot spot
behavior
analyzing
Prior art date
Application number
PCT/KR2017/005204
Other languages
English (en)
French (fr)
Other versions
WO2017200333A3 (ko
Inventor
박병하
김영범
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Publication of WO2017200333A2 publication Critical patent/WO2017200333A2/ko
Publication of WO2017200333A3 publication Critical patent/WO2017200333A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods

Definitions

  • a method of measuring the user's biosignal may be considered.
  • a method of conducting a survey or analyzing sales volume according to service use may be considered, but there is a problem in that it is not possible to recognize a user's behavior, disposition, and emotion in a service space in real time and provide a service.
  • the present invention has been proposed to solve the above-described problems, and an object of the present invention is to provide a spatial behavior meaning analysis system and a spatial behavior meaning analysis method capable of analyzing the meaning of the user's behavior in the service space. .
  • the present invention generates an image frame by acquiring the spatial behavior of users using the service through a camera in a service space that provides a specific service such as commerce, exhibition, experience, etc., and preset evaluation using the generated image frame.
  • the purpose is to provide a spatial behavior semantic analysis system and spatial behavior semantic analysis method that can measure the concentration and satisfaction of users by analyzing the indicators.
  • the present invention does not analyze the full body of the user in the acquired image frame, but analyzes the behavior of spatial behavior that can analyze the behavior of a particularly active part and analyze the meaning thereof.
  • the purpose is to provide system and spatial behavior semantic analysis methods.
  • a spatial behavior semantic analysis system includes: a collection module for collecting a series of image frames; And setting a region of interest for spatial behavior analysis in the image frame collected through the collection module, extracting an area having a change amount of movement between frames over the region of interest as a hot spot from the region of interest, and extracting the hot spot. And a hot spot processing module for analyzing the meaning of the spatial behavior of the motion within the region of interest using spots.
  • the difference image calculation module for accumulating the difference image (difference images) between the series of image frames for a predetermined time;
  • the hot spot processing module further comprises an activation area in which the value accumulated in the difference image is preset; An area above the extraction reference value may be extracted as a hot spot.
  • the hot spot processing module analyzes the extracted hot spot using an evaluation index, sets a change amount of movement during a preset time in an image frame input after the ROI is set as reference data, and evaluates the evaluation.
  • the meaning of the spatial behavior for the hot spot may be analyzed according to the comparison result by comparing the value analyzed using the indicator with the reference data.
  • the result providing module for providing a spatial behavior meaning analysis result for the hot spot may be configured to further include.
  • a method of analyzing spatial meaning meaning including: setting a region of interest for spatial behavior analysis in a series of image frames; Extracting, as a hot spot, an area whose amount of change in interframe movement is greater than or equal to a predetermined value of the region of interest; And analyzing the meaning of the spatial behavior of the motion within the region of interest using the extracted hot spots.
  • the extracting may include accumulating difference images between frames for a predetermined time in the set ROI; And extracting, as a hot spot, an area in which the value accumulated in the difference image is equal to or greater than a preset activation area extraction reference value.
  • the analyzing of the meaning of the spatial behavior may include analyzing the extracted hot spots using an evaluation index; Setting, as reference data, a change amount of movement during a predetermined time in an image frame input after the ROI is set; Comparing the value analyzed using the evaluation index with the reference data; And analyzing the meaning of the spatial behavior for the hot spot according to the comparison result.
  • the analyzing of the meaning of the spatial behavior may include analyzing the meaning of the spatial behavior of the motion in the hot spot; Grouping the hot spots into similar areas according to the analysis result; And providing the user with starting the grouped hot spots for each user.
  • the spatial behavior semantic analysis system and spatial behavior semantic analysis method of the present invention by analyzing the spatial behavior of the users using the service in the service space that provides a specific service, such as commerce, exhibition, experience, concentration, satisfaction, etc. of the users It is possible to check and provide appropriate services accordingly.
  • the present invention does not analyze the full body of the user in the acquired image frame, but analyzes the behavior of a particularly actively moving part and analyzes the meaning thereof, thereby, within a specific service space.
  • the meaning of the user behavior can be analyzed more accurately and the service accordingly can be provided accordingly, thereby increasing the service effect even more.
  • FIG. 1 is an exemplary diagram for schematically describing a spatial behavior meaning analysis system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing the main configuration of a spatial behavior meaning analysis system according to an embodiment of the present invention.
  • FIG. 3 is a block diagram specifically illustrating a hot spot processing module of the present invention.
  • FIG. 4 is a block diagram illustrating a main configuration of a spatial behavior meaning analysis system according to another embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a method of analyzing spatial behavior meanings according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a method of analyzing spatial behavior meaning according to an embodiment of the present invention in more detail.
  • 7 to 10 are exemplary diagrams for describing a method for analyzing spatial behavior meanings according to an exemplary embodiment of the present invention.
  • first and second are used to describe various components, and are used only to distinguish one component from another component, and to limit the components. Not used.
  • the second component may be referred to as the first component, and similarly, the first component may also be referred to as the second component.
  • a component when referred to as being "connected” or “connected” to another component, it means that it may be connected or connected logically or physically. In other words, although a component may be directly connected or connected to other components, it should be understood that other components may exist in the middle, and may be connected or connected indirectly.
  • embodiments within the scope of the present invention include computer readable media having or conveying computer executable instructions or data structures stored on the computer readable medium.
  • Such computer readable media can be any available media that can be accessed by a general purpose or special purpose computer system.
  • Such computer readable media may be in the form of RAM, ROM, EPROM, CD-ROM or other optical disk storage, magnetic disk storage or other magnetic storage, or computer executable instructions, computer readable instructions or data structures. And may include, but are not limited to, any other medium that can be used to store or deliver certain program code means, and can be accessed by a general purpose or special purpose computer system. .
  • network or “communication network” is defined as one or more data links that enable the transfer of electronic data between computer systems and / or modules.
  • network or “communication network” is defined as one or more data links that enable the transfer of electronic data between computer systems and / or modules.
  • this connection can be understood as a computer-readable medium.
  • Computer-readable instructions include, for example, instructions and data that cause a general purpose or special purpose computer system to perform a particular function or group of functions.
  • the computer executable instructions may be, for example, binary, intermediate format instructions such as assembly language, or even source code.
  • FIG. 1 is an exemplary diagram for schematically describing a spatial behavior meaning analysis system according to an embodiment of the present invention.
  • the spatial behavior semantic analysis system 100 may use the image frame obtained through at least one or more network cameras 10 to control the behavior of a user in a specific service space. Analyze the meaning and provide results accordingly.
  • Such a spatial behavior semantic analysis system 100 of the present invention may be implemented in the form of computer program logic executed by a computer processing apparatus.
  • Such computer program logic may be implemented in various forms, including but not limited to, systems, source code, computer executable code, and various intermediate forms (for example, forms generated by assemblers, compilers, linkers, or locators). Do not. Therefore, the spatial behavior meaning analysis system 100 according to the embodiment of the present invention is a computer program logic, which records and stores in a computer-readable recording medium such as a semiconductor memory device, a magnetic memory device, an optical memory device, and a removable storage medium. Can be distributed.
  • the at least one network camera 10 is installed in various areas such as indoors as well as outdoors, and photographs a user who is using a service in the corresponding area in real time and transmits it to the spatial behavior meaning analysis system 100.
  • the spatial behavior semantic analysis system 100 analyzes one or more image frames that are continuously input in real time through at least one network camera 10, extracts a hot spot with a large amount of change in movement, and then applies the hot spot to an object. Analyze the meaning of spatial behaviors.
  • the semantic analysis system 100 may analyze the meaning of spatial behavior using an image frame obtained through a network camera 10 connected through a communication network, but may store previously stored image frames, for example, a video. Frames can also be used to analyze the meaning of spatial behavior.
  • the spatial behavior meaning analysis system 100 of the present invention will be described in more detail with reference to FIG. 2.
  • FIG. 2 is a block diagram showing the main configuration of the spatial behavioral meaning analysis system according to an embodiment of the present invention
  • Figure 3 is a block diagram specifically showing a hot spot processing module of the present invention
  • Figure 4 is a view of the present invention
  • the spatial behavior semantic analysis system 100 of the present invention includes a collection module 110, a decoder module 130, a converter module 140, a difference image calculation module 150, and a hot spot processing module. 160, the result providing module 180 may be configured.
  • the spatial behavior semantic analysis system 100 of the present invention is an analysis rule 170, such as a storage database 120 for storing various information generated in the application of the embodiment of the present invention, and an analysis indicator for spatial behavioral semantic analysis. Can be stored and managed.
  • the collection module 110 serves to collect the information necessary for the analysis of the spatial behavior of the present invention.
  • the collection module 110 of the present invention may collect data for a series of image frames through a network camera, and may use image data previously stored in a storage medium.
  • the collection module 110 of the present invention may receive coordinate information on the ROI, where the coordinate information on the ROI is received through a separate user terminal, or the spatial behavior meaning analysis system 100 of the present invention. ) May be collected by being input through the input module.
  • the image frame delivered by the collection module 110 may be stored and managed in the storage database 120.
  • the storage database 120 may be a storage medium provided in the spatial behavior semantic analysis system 100, but may be stored in a network-attached storage (NAS).
  • NAS network-attached storage
  • the decoder module 130 may perform a decoding process when the input image frame is encoded. For example, when the image frame is transmitted in real time through a network camera, the image frame is transmitted in an encoded state, and thus a process of decoding the image frame in the form of a stream may be performed.
  • the converter module 140 performs a process of converting an encoded image frame into an image format to be processed. For example, it can convert to various image formats such as YUV420, 24bit RGB, and 8bit Gray Scale. In addition, various techniques known in the decoding and image format conversion process are used.
  • the difference image calculation module 150 calculates a cumulative amount of difference images between successive series of image frames. More specifically, the difference images are accumulated in a cumulative buffer after a binarization process for a predetermined time (for example, the amount of change in the motion of 1 second). Since the active area is actually a large cumulative value, the hot spot processing module ( On the basis of the activation area extraction reference value 160, the area accumulated in a range of a predetermined size or more may be determined and extracted as a hot spot, that is, an area in which actual movement is active.
  • the hot spot processing module 160 of the present invention may analyze the data for the hot spot area according to the analysis rule 170 stored in the evaluation rule database and analyze the meaning of the spatial behavior according to the analyzed result.
  • the evaluation index is shown in the following table.
  • Hot Spot Group Size Pixel of the circle containing the entire hot spot 6 Hot Spot Distribution Hot Spot distribution in ROI area reflecting service characteristics 7 Hot Spot Density Variation Change in density between frame windows 8 Hot Spot Group Size Variation Change in group size between frame windows
  • the hot spot processing module 160 of the present invention analyzes the total number of hot spots, the density, the total size, the individual size of the hot spots, the distribution, the position, the change in the density, and the change in the total size, and the movement in the region of interest is actively Analyze whether the increase or decrease is inactive.
  • the likelihood of the service can be determined according to whether groups divided by hot spots in the frame are gradually gathered or distributed, and the activity of the service can be determined according to whether the density increases or decreases.
  • the spatial behavior meaning analyzed by the hot spot processing module 160 of the present invention can be largely classified into Arousal and Valuence, where Arousal is active, inactive, and Valuence is positive, It may be classified as a negative state (S219).
  • Arousal and Valuence where Arousal is active, inactive, and Valuence is positive
  • It may be classified as a negative state (S219).
  • S219 a negative state
  • the density of the objects in the hot spots in the video frame are gathering or dispersing it is possible to determine the favorableness of the provided service, and whether or not the density of the objects in the hot spots is increased or decreased. You can judge the activity of the. In this case, as the density of the hot spot increases, more movement in the corresponding frame is detected, so that the increase in density means that the movement of people in the service space is active.
  • the hot spot processing module 160 may include a hot spot extraction module 161, a hot spot grouping module 162, and a spatial behavior meaning analysis module 163.
  • the hot spot extraction module 161 extracts the hot spots
  • the hot spot grouping module 162 analyzes the extracted hot spots and groups the similar hot spots by each other.
  • 163 analyzes the meaning of the hot spot and visually processes it.
  • the result providing module 180 serves to provide the user with the meaning of the analyzed spatial behavior, and in particular, the result providing module 180 of the present invention collects analysis result parameters and transmits them to the public emotion inference server. Can be performed.
  • the spatial behavior semantic analysis system 100 may consider and process not only image data but also acoustic data at the same time.
  • the spatial behavior meaning analysis system 100 of the present invention may include an image data processor 191 for image data processing and a sound data processor 192 for sound data processing, as shown in FIG. 4.
  • the spatial behavior meaning analysis unit 193 may comprehensively analyze the result processed by the processing unit and provide the result accordingly.
  • the image data processor 191 may be configured to include the collection module 110, the decoder module 130, the converter module 140, the difference image calculation module 150, and the like shown in FIG.
  • the semantic analyzer 193 may include a hot spot processing module 160.
  • the sound data processing unit 192 performs sound data segmentation, feature extraction, sound feature DB based sound semantic analysis, and transmits the result to the hot spot processing module 160, and the hot spot processing module 160
  • a function of analyzing the meaning may be further performed in consideration of data transmitted from each processing unit.
  • a memory mounted in each device of the present invention stores information in the device.
  • the memory is a computer readable medium.
  • the memory may be a volatile memory unit, and for other implementations, the memory may be a nonvolatile memory unit.
  • the storage device is a computer readable medium.
  • the storage device may include, for example, a hard disk device, an optical disk device, or some other mass storage device.
  • the specification and drawings describe exemplary device configurations, the functional operations and subject matter implementations described herein may be embodied in other types of digital electronic circuitry, or modified from the structures and structural equivalents disclosed herein. It may be implemented in computer software, firmware or hardware, including, or a combination of one or more of them. Implementations of the subject matter described herein relate to one or more computer program products, ie computer program instructions encoded on a program storage medium of tangible type for controlling or by the operation of an apparatus according to the invention. It may be implemented as the above module.
  • the computer readable medium may be a machine readable storage device, a machine readable storage substrate, a memory device, a composition of materials affecting a machine readable propagated signal, or a combination of one or more thereof.
  • FIG. 5 is a flowchart illustrating a method of analyzing spatial behavior meanings according to an embodiment of the present invention.
  • the spatial behavior meaning analysis system 100 of the present invention receives image data (S101) and performs a preprocessing process (S103).
  • the preprocessing may include an image processing process such as decoding and format conversion.
  • the spatial behavior meaning analysis system 100 of the present invention identifies the region of interest (S105).
  • the region of interest may be preset by the user, and for example, the user may designate a specific region as a region of interest, such as a face region or a hand region.
  • updated ROI region information may be collected from a region of interest (ROI) analyzer.
  • ROI region of interest
  • the spatial behavior semantic analysis system 100 of the present invention extracts, as a hot spot, an area whose amount of change of movement is greater than or equal to a predetermined value around the area set as the ROI in the image frame (S107). Subsequently, the spatial behavior meaning analysis system 100 of the present invention analyzes the spatial behavior meaning using the evaluation index for the hot spot (S109), and provides the result accordingly (S111).
  • FIGS. 7 to 10 are exemplary views for describing a method of analyzing spatial behavior meaning according to an embodiment of the present invention. to be.
  • the spatial behavior meaning analysis system 100 of the present invention receives an image frame (S201).
  • the image frame may be image stream data received in real time through a network camera, or may use image stream data previously stored in a storage medium.
  • the spatial behavior semantic analysis system 100 of the present invention may perform a decoding process when the input image stream data is encoded. For example, when the image frame is transmitted in real time through a network camera, the image frame is transmitted in an encoded state, and thus a process of decoding the image frame in the form of a stream may be performed.
  • the spatial behavior meaning analysis system 100 converts an encoded image frame into an image format to be processed. For example, it can convert to various image formats such as YUV420, 24bit RGB, and 8bit Gray Scale.
  • various techniques known in the decoding and image format conversion process are used.
  • the spatial behavior meaning analysis system 100 of the present invention may receive and confirm ROI coordinates from an ROI analyzer (S205).
  • the spatial behavior meaning analysis system 100 of the present invention confirms the activation region extraction reference value (S207).
  • the activation region extraction reference value means a threshold value which is a reference value for extracting a hot spot, which is an area in which the variation of motion is active in the image frame, and uses information inferred from past data, characteristics of the service space, and a situation. It can be set variously according to.
  • the spatial behavior meaning analysis system 100 of the present invention updates the reference value (S209) and performs a hot spot extraction process.
  • the difference image accumulation amount between the image frames converted in units of frames in step S203 is calculated (S211).
  • the difference image continuously accumulates information obtained by accumulating a motion change amount for a predetermined time, for example, 1 second, in a cumulative buffer after the binarization process, as shown in FIG. 7. Because of the size, the comparison is performed using the activation area extraction reference value, and only the hot spots accumulated in a range of a predetermined size or more are determined to be extracted in the area where the actual movement is active (S213).
  • the spatial behavior meaning analysis system 100 of the present invention performs the step of analyzing the extracted hot spots using the evaluation index (S215). That is, the spatial behavior meaning analysis system 100 of the present invention uses the various evaluation indicators shown in Table 1 above to analyze the density, cluster size, change amount, etc. of the extracted hot spots, and compare the space with reference data.
  • the amount of change in behavior that is, the amount of change in motion is analyzed (S217).
  • the reference data refers to the amount of change in motion for a predetermined time with respect to the received video stream data after step S205.
  • the spatial behavioral meaning analysis system 100 of the present invention analyzes the spatial behavioral meaning of an object existing in the hot spot (S219).
  • the spatial behavioral meaning analysis system 100 of the present invention is illustrated in FIG. 8.
  • the change amount of the movement is tracked around the ROI, and analyzed to extract one or more hot spots as shown in FIG. 9.
  • the spatial behavior semantic analysis system 100 of the present invention analyzes the extracted one or more hot spacks by using an evaluation index, and compares them with reference data to objects existing in the hot spots, in FIG. 10.
  • the spatial behavioral meaning analyzed by the spatial behavioral meaning analysis system 100 of the present invention can be largely classified into Arousal and Valuence, and Arousal is active and inactive, and Valuence is positive. , May be classified into a negative state (S219).
  • S219 a negative state
  • the objects in the hot spots in the video frame are gathering or dispersing, it is possible to determine the favorableness of the provided service, and whether or not the density of the objects in the hot spots is increased or decreased. You can judge the activity of the. In this case, as the density of the hot spot increases, more movement in the corresponding frame is detected, so that the increase in density means that the movement of people in the service space is active.
  • the spatial behavior meaning analysis system 100 of the present invention may perform grouping on a hot spot based on the analyzed result as illustrated in FIG. 10 (S221), and may visualize and provide a spatial behavior meaning analysis result. (S223).
  • the spatial behavior semantic analysis system 100 of the present invention may provide the analysis result to a device that provides a specific service in a space, and may provide the analysis result to a server in charge of an inference function such as a public emotional reasoning server. have.
  • the method of analyzing the spatial behavior meaning according to the embodiment of the present invention has been described. According to the present invention, by analyzing the spatial behavior of users using the service in the service space that provides a specific service, such as commerce, exhibition, experience, to confirm the concentration, satisfaction, etc. of the users, to provide appropriate services accordingly It becomes possible.
  • a specific service such as commerce, exhibition, experience
  • the present invention does not analyze the full body of the user in the acquired image frame, but analyzes the behavior of a particularly actively moving part and analyzes the meaning thereof, thereby, within a specific service space.
  • the meaning of the user behavior can be analyzed more accurately and the service accordingly can be provided accordingly, thereby increasing the service effect even more.
  • the method for analyzing the spatial behavior meaning of the present invention may be provided in the form of a computer readable medium suitable for storing computer program instructions and data.
  • a method for analyzing meaning of spatial behaviors comprising: setting a region of interest for analyzing spatial behavior in a series of image frames; Extracting, as a hot spot, an area whose amount of change in interframe movement is greater than or equal to a predetermined value of the region of interest; And analyzing the meaning of the spatial behavior of the motion within the region of interest using the extracted hot spots.
  • the program recorded in the recording medium may be read from a computer, installed and executed to execute the above functions.
  • the above-described program may include C, C ++, and the like, which the computer's processor (CPU) can read through the computer's device interface.
  • Code may be coded in a computer language such as JAVA or machine language.
  • Such code may include a function code associated with a function or the like that defines the above-described functions, and may include execution procedure-related control code necessary for a processor of the computer to execute the above-described functions according to a predetermined procedure.
  • the code may further include memory reference-related code for additional information or media required for a processor of the computer to execute the above-described functions at which location (address address) of the computer's internal or external memory. .
  • the code may be used to determine which computer the processor of the computer uses the communication module of the computer on the remote. It may further include communication-related codes such as how to communicate with other computers or servers, and what information or media should be transmitted and received during communication.
  • Such computer-readable media suitable for storing computer program instructions and data include, for example, recording media comprising magnetic media, such as hard disks, floppy disks, and magnetic tape, and compact disk read only memory (CD-ROM). , Optical media such as Digital Video Disk (DVD), magneto-optical media such as Floppy Disk, and ROM (Read Only Memory), RAM And a semiconductor memory such as a random access memory, a flash memory, an erasable programmable ROM (EPROM), and an electrically erasable programmable ROM (EEPROM).
  • the processor and memory can be supplemented by or integrated with special purpose logic circuitry.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • a functional program for implementing the present invention codes and code segments associated therewith may be used in consideration of a system environment of a computer that reads a recording medium and executes the program. It may be easily inferred or changed by.
  • the present invention relates to a spatial behavior meaning analysis method, and more particularly, to a spatial behavior meaning analysis system and a spatial behavior meaning analysis method capable of analyzing the meaning of a user's behavior in a service space.
  • the present invention rather than performing analysis on the full body of the user in the acquired image frame, by analyzing the behavior of the particularly active moving parts and by analyzing the meaning thereof, within a specific service space
  • the effect of the service can be further enhanced, and the present invention can further contribute to the development of the image processing service industry.
  • the present invention has industrial applicability because the present invention is not only sufficiently commercially available or commercially viable, but also practically clearly implemented.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 공간 행동 의미 분석 방법에 관한 것으로, 특히 서비스 공간 내에서의 사용자의 행동에 대한 의미를 분석할 수 있는 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법에 관한 것이다. 이를 위한 본 발명의 일 실시 예에 따른 공간 행동 의미 분석 시스템은 연속되는 일련의 영상 프레임을 수집하는 수집 모듈 및 상기 수집 모듈을 통해 수집되는 영상 프레임에서 공간 행동 분석을 위한 관심 영역을 설정하고, 상기 관심 영역을 대상으로 프레임 간 움직임의 변화량이 기 설정된 범위 이상인 영역을 핫 스팟으로 추출하고, 상기 추출된 핫 스팟을 이용하여 상기 관심 영역 내의 움직임에 대한 공간 행동의 의미를 분석하는 핫 스팟 처리 모듈을 포함하여 구성될 수 있다.

Description

공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법
본 발명은 공간 행동 의미 분석 방법에 관한 것으로, 특히 서비스 공간 내에서의 사용자의 행동에 대한 의미를 분석할 수 있는 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
상업, 전시, 체험 등의 특정한 서비스 공간 내에서의 서비스를 이용하는 사용자의 반응을 추론하고, 사용자의 반응을 고려하여 서비스를 제공하고자 하는 시도가 다양하게 이뤄지고 있다.
서비스 공간 내의 서비스를 이용하는 사용자의 반응을 추론하기 위해서는 사용자의 생체 신호를 측정하는 방식을 고려해볼 수 있으나, 서비스 공간 내의 시시각각 변화되는 사용자들의 모든 생체 신호를 측정하기에는 무리가 있다. 또한 서비스 이용에 따른 설문 조사를 실시하거나 판매량을 분석하는 방식을 고려해 볼 수 있으나, 이러한 방식으로는 서비스 공간 내의 사용자의 행동, 성향, 감성 등을 실시간 인식하고 서비스를 제공할 수 없다는 문제점이 있다.
이에 서비스 공간 내에 지능형 CCTV, 웹캠 등을 설치하고 이를 통해 촬영되는 영상 프레임을 이용하여 서비스 공간 내의 사용자의 행동을 분석하고자 하는 시도가 이뤄지고 있다. 그러나 현재까지의 영상 프레임을 이용한 사용자의 공간 행동 의미 분석 방법은 사용자의 몸 전체(Full Body) 단위로 판별하고 추적함으로써, 공간 내의 사용자 수 카운트, 진입 여부 판단, 이동 경로 추적 등만이 가능할 뿐 구체적인 분석이 어렵다는 문제점이 있다.
따라서, 서비스 공간의 특성을 고려하여 서비스를 제공받는 사용자의 공간 행동이 서비스 제공자의 의도에 따라 이뤄지고 있는 지 보다 효율적으로 분석할 수 있는 기술의 개발이 필요하다.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로서, 서비스 공간 내에서의 사용자의 행동에 대한 의미를 분석할 수 있는 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법을 제공하는 데 목적이 있다.
특히, 본 발명은 상업, 전시, 체험 등의 특정 서비스를 제공하는 서비스 공간 내에서 서비스를 이용하는 사용자들의 공간 행동을 카메라를 통해 획득하여 영상 프레임을 생성하고, 생성된 영상 프레임을 이용하여 기 설정된 평가 지표에 따라 분석하여 사용자의 집중도, 만족도를 측정할 수 있는 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법을 제공하는 데 그 목적이 있다.
아울러, 본 발명은 획득되는 영상 프레임에서 사용자의 몸 전체(Full Body)를 대상으로 분석을 수행하는 것이 아니라, 특별히 활발하게 움직이는 부분의 행동을 분석하고 이에 대한 의미를 분석할 수 있는 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법을 제공하는 데 그 목적이 있다.
그러나, 이러한 본 발명의 목적은 상기의 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 공간 행동 의미 분석 시스템은 연속되는 일련의 영상 프레임을 수집하는 수집 모듈; 및 상기 수집 모듈을 통해 수집되는 영상 프레임에서 공간 행동 분석을 위한 관심 영역을 설정하고, 상기 관심 영역을 대상으로 프레임 간 움직임의 변화량이 기 설정된 범위 이상인 영역을 핫 스팟으로 추출하고, 상기 추출된 핫 스팟을 이용하여 상기 관심 영역 내의 움직임에 대한 공간 행동의 의미를 분석하는 핫 스팟 처리 모듈;을 포함하여 구성될 수 있다.
이때, 상기 연속되는 일련의 영상 프레임 간 차영상(difference images)을 일정 시간 동안 누적하는 차 영상 산출 모듈;을 더 포함하며, 상기 핫 스팟 처리 모듈은 상기 차영상에서 누적된 값이 기 설정된 활성화 영역 추출 기준값 이상인 영역을 핫 스팟으로 추출할 수 있다.
또한, 상기 핫 스팟 처리 모듈은 상기 추출된 핫 스팟을 평가 지표를 이용하여 분석하고, 상기 관심 영역이 설정된 이후에 입력되는 영상 프레임에서 기 설정된 시간 동안의 움직임 변화량을 기준 데이터로 설정하고, 상기 평가 지표를 이용하여 분석된 값과 상기 기준 데이터를 비교하여 비교 결과에 따라 핫 스팟에 대한 공간 행동의 의미를 분석할 수 있다.
이때, 상기 핫 스팟에 대한 공간 행동 의미 분석 결과를 제공하는 결과 제공 모듈;을 더 포함하여 구성될 수 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 공간 행동 의미 분석 방법은 연속되는 일련의 영상 프레임에서 공간 행동 분석을 위한 관심 영역을 설정하는 단계; 상기 관심 영역을 대상으로 프레임 간 움직임의 변화량이 기 설정된 값 이상인 영역을 핫 스팟으로 추출하는 단계; 및 상기 추출된 핫 스팟을 이용하여 상기 관심 영역 내의 움직임에 대한 공간 행동의 의미를 분석하는 단계;를 포함하여 이뤄질 수 있다.
이때, 상기 추출하는 단계는 상기 설정된 관심 영역을 대상으로 프레임 간 차영상(difference images)을 일정 시간 동안 누적하는 단계; 및 상기 차영상에서 누적된 값이 기 설정된 활성화 영역 추출 기준값 이상인 영역을 핫 스팟으로 추출하는 단계;를 포함하여 이뤄질 수 있다.
또한, 상기 공간 행동의 의미를 분석하는 단계는 상기 추출된 핫 스팟을 평가 지표를 이용하여 분석하는 단계; 상기 관심 영역이 설정된 이후에 입력되는 영상 프레임에서 기 설정된 시간 동안의 움직임 변화량을 기준 데이터로 설정하는 단계; 상기 평가 지표를 이용하여 분석된 값과 상기 기준 데이터를 비교하는 단계; 및 상기 비교 결과에 따라 상기 핫 스팟에 대한 공간 행동의 의미를 분석하는 단계;를 포함하여 이뤄질 수 있다.
또한, 상기 공간 행동의 의미를 분석하는 단계는 상기 핫 스팟 내의 움직임에 대한 공간 행동 의미를 분석하는 단계; 상기 분석 결과에 따라 상기 핫 스팟을 유사한 영역별로 그룹핑하는 단계; 및 상기 그룹핑된 핫 스팟별로 시작화하여 사용자에게 제공하는 단계;를 포함하여 이뤄질 수 있다.
본 발명의 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법에 의하면, 상업, 전시, 체험 등의 특정 서비스를 제공하는 서비스 공간 내에서 서비스를 이용하는 사용자들의 공간 행동을 분석하여, 사용자들의 집중도, 만족도 등을 확인하고, 이에 따른 적절한 서비스를 제공할 수 있게 된다.
특히, 본 발명은 획득되는 영상 프레임에서 사용자의 몸 전체(Full Body)를 대상으로 분석을 수행하는 것이 아니라, 특별히 활발하게 움직이는 부분의 행동을 분석하고 이에 대한 의미를 분석함으로써, 특정한 서비스 공간 내에서 사용자 행동에 대한 의미를 보다 더 정확히 분석하고, 이에 따른 서비스를 적절히 제공할 수 있어 서비스 효과를 보다 더 높일 수 있게 된다.
아울러, 상술한 효과 이외의 다양한 효과들이 후술될 본 발명의 실시 예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 수 있다.
도 1은 본 발명의 실시 예에 따른 공간 행동 의미 분석 시스템을 개략적으로 설명하기 위한 예시도이다.
도 2는 본 발명의 실시 예에 따른 공간 행동 의미 분석 시스템의 주요 구성을 도시한 블록도이다.
도 3은 본 발명의 핫 스팟 처리 모듈을 구체적으로 도시한 블록도이다.
도 4는 본 발명의 다른 실시 예에 따른 공간 행동 의미 분석 시스템의 주요 구성을 도시한 블록도이다.
도 5는 본 발명의 실시 예에 따른 공간 행동 의미 분석 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시 예에 따른 공간 행동 의미 분석 방법을 보다 더 구체적으로 설명하기 위한 흐름도이다.
도 7 내지 도 10은 본 발명의 실시 예에 따른 공간 행동 의미 분석 방법을 설명하기 위한 예시도이다.
본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.
다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.
더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을 의미한다. 다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
아울러, 본 발명의 범위 내의 실시 예들은 컴퓨터 실행가능 명령어 또는 컴퓨터 판독가능 매체에 저장된 데이터 구조를 가지거나 전달하는 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독가능 매체는, 범용 또는 특수 목적의 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EPROM, CD-ROM 또는 기타 광 디스크 저장장치, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터 실행가능 명령어, 컴퓨터 판독가능 명령어 또는 데이터 구조의 형태로 된 소정의 프로그램 코드 수단을 저장하거나 전달하는 데에 이용될 수 있고, 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 될 수 있는 임의의 기타 매체와 같은 물리적 저장 매체를 포함할 수 있지만, 이에 한정되지 않는다.
이하의 설명 및 특허 청구 범위에서, "네트워크" 또는 "통신망"은 컴퓨터 시스템들 및/또는 모듈들 간의 전자 데이터를 전송할 수 있게 하는 하나 이상의 데이터 링크로서 정의된다. 정보가 네트워크 또는 다른 (유선, 무선, 또는 유선 또는 무선의 조합인) 통신 접속을 통하여 컴퓨터 시스템에 전송되거나 제공될 때, 이 접속은 컴퓨터-판독가능매체로서 이해될 수 있다. 컴퓨터 판독가능 명령어는, 예를 들면, 범용 컴퓨터 시스템 또는 특수 목적 컴퓨터 시스템이 특정 기능 또는 기능의 그룹을 수행하도록 하는 명령어 및 데이터를 포함한다. 컴퓨터 실행가능 명령어는, 예를 들면, 어셈블리어, 또는 심지어는 소스코드와 같은 이진, 중간 포맷 명령어일 수 있다.
이하, 본 발명의 실시 예에 따른 공간 행동 의미 분석 시스템에 대해 설명하도록 한다.
도 1은 본 발명의 실시 예에 따른 공간 행동 의미 분석 시스템을 개략적으로 설명하기 위한 예시도이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 공간 행동 의미 분석 시스템(100)은 예를 들어 적어도 하나 이상의 네트워크 카메라(10)를 통해 획득되는 영상 프레임을 이용하여 특정 서비스 공간 내의 사용자의 행동에 대한 의미를 분석하고 이에 따른 결과를 제공하는 역할을 수행한다.
이러한, 본 발명의 공간 행동 의미 분석 시스템(100)은 컴퓨터 처리장치에 의해 실행되는 컴퓨터 프로그램 로직의 형태로 구현 가능하다. 이러한 컴퓨터 프로그램 로직은 시스템, 소스코드, 컴퓨터 실행 가능한 코드 및 여러 가지 중간 형태(예를 들면, 어셈블러, 컴파일러, 링커 또는 로케이터로 생성되는 형태 등)를 포함하여 다양한 형태로 구현될 수 있으나 이에 제한되지 않는다. 이에 본 발명의 실시예에 따른 공간 행동 의미 분석 시스템(100)은 하나의 컴퓨터 프로그램 로직으로서 반도체 메모리 장치, 자기 메모리 장치, 광 메모리 장치, 이동식 저장매체와 같은 컴퓨터에 의해 판독 가능한 기록매체에 기록 저장되어 배포될 수 있다.
아울러, 적어도 하나 이상의 네트워크 카메라(10)는 실내는 물론 실외 등 각종 지역에 설치되어, 해당 지역에서 서비스를 이용하고 있는 사용자를 실시간으로 촬영하여 공간 행동 의미 분석 시스템(100)으로 전달하게 된다.
공간 행동 의미 분석 시스템(100)은 적어도 하나 이상의 네트워크 카메라(10)를 통해 실시간으로 연속되어 입력되는 하나 이상의 영상 프레임을 분석하고, 움직임의 변화량이 많은 핫 스팟을 추출한 후 핫 스팟을 대상으로 객체에 대한 공간 행동의 의미를 분석하는 역할을 수행할 수 있다.
아울러, 본 발명의 실시 예에 따른 의미 분석 시스템(100)은 통신망을 통해 연결된 네트워크 카메라(10)를 통해 획득되는 영상 프레임을 이용하여 공간 행동 의미를 분석할 수 있으나, 기 저장된 영상 프레임, 예컨대 동영상 프레임을 이용하여 공간 행동 의미를 분석할 수도 있다.
본 발명의 공간 행동 의미 분석 시스템(100)에 대해 도 2를 참조하여 보다 구체적으로 설명하도록 한다.
도 2는 본 발명의 실시 예에 따른 공간 행동 의미 분석 시스템의 주요 구성을 도시한 블록도이며, 도 3은 본 발명의 핫 스팟 처리 모듈을 구체적으로 도시한 블록도이며, 도 4는 본 발명의 다른 실시 예에 따른 공간 행동 의미 분석 시스템의 주요 구성을 도시한 블록도이다.
먼저, 도 2를 참조하면, 본 발명의 공간 행동 의미 분석 시스템(100)은 수집 모듈(110), 디코더 모듈(130), 컨버터 모듈(140), 차영상 산출 모듈(150), 핫 스팟 처리 모듈(160), 결과 제공 모듈(180)을 포함하여 구성될 수 있다. 아울러, 본 발명의 공간 행동 의미 분석 시스템(100)은 본 발명의 실시 예 적용에 있어 발생되는 다양한 정보를 저장하는 저장 데이터베이스(120) 및 공간 행동 의미 분석을 위한 분석 지표와 같은 분석 규칙(170)을 저장하고 관리할 수 있다.
각 모듈에 대해 보다 더 구체적으로 설명하면, 수집 모듈(110)은 본 발명의 공간 행동 의미 분석을 위해 필요한 정보들을 수집하는 역할을 수행한다. 특히 본 발명의 수집 모듈(110)은 연속되는 일련의 영상 프레임에 대한 데이터를 네트워크 카메라를 통해 수집할 수 있으며, 저장 매체에 기 저장된 영상 데이터를 이용할 수도 있다. 또한, 본 발명의 수집 모듈(110)은 관심 영역에 대한 좌표 정보를 수신할 수 있으며, 여기서 관심 영역에 대한 좌표 정보는 별도의 사용자 단말을 통해 수신하거나, 본 발명의 공간 행동 의미 분석 시스템(100)이 입력 모듈을 포함하여 구성되는 경우, 입력 모듈을 통해 입력되어 수집될 수 있다.
이때, 수집 모듈(110)이 전달하는 영상 프레임은 저장 데이터베이스(120)에 저장되고 관리될 수 있다. 여기서, 저장 데이터베이스(120)는 공간 행동 의미 분석 시스템(100) 내에 구비된 저장 매체가 될 수 있으나, 네트워크 저장 장치(NAS; Network-Attached Storage)에 저장될 수도 있다.
디코더 모듈(130)은 입력된 영상 프레임이 인코딩되어 있을 경우, 디코딩하는 과정을 수행할 수 있다. 예컨대, 상기 영상 프레임이 네트워크 카메라를 통해 실시간 전달되어 입력되는 경우, 상기 영상 프레임은 인코딩된 상태에서 전달되므로, 스트림 형태의 영상 프레임을 디코딩하는 과정을 수행할 수 있다.
컨버터 모듈(140)은 인코딩된 영상 프레임을 처리하고자 하는 영상 포맷으로 변환하는 과정을 수행한다. 예컨대 YUV420, 24bit RGB, 8bit Gray Scale과 같은 다양한 영상 포맷으로 변환할 수 있다. 아울러, 상기 디코딩 및 영상 포맷 변환 과정에서는 공지된 다양한 기술들을 이용하게 된다.
차영상 산출 모듈(150)은 연속되는 일련의 영상 프레임 간의 차영상의 누적량을 계산하는 역할을 수행한다. 보다 구체적으로 차영상(difference images)은 이진화 과정을 거친 후에 누적 버퍼에 일정 시간(예컨대 1초 간의 움직임 변화량)동안 누적되게 되는데, 실제로 움직임이 활발한 영역은 누적 값이 크므로, 핫 스팟 처리 모듈(160)은 활성화 영역 추출 기준값을 기초로, 일정 크기 이상의 범위로 누적된 영역을 핫 스팟, 즉 실제 움직임이 활발한 영역으로 판단하여 추출할 수 있다.
아울러, 본 발명의 핫 스팟 처리 모듈(160)은 분석 규칙(170) 데이터베이스 저장된 평가 지표에 따라 핫 스팟 영역에 대한 데이터를 분석하고, 분석된 결과에 따라 공간 행동의 의미를 분석할 수 있다.
여기서 평가 지표는 하기의 표와 같다.
순번 평가지표(측정 변수) 의미
1 Hot Spot Count ROI 내 인식된 Hot Spot 총 개수
2 Hot Spot Density ROI 영역 대비 Hot Spot 점유 면적(%)
3 Hot Spot Size Hot Spot의 크기(Pixel)
4 Hot Spot Position ROI 내 Hot Spot 위치(중심점 좌표)
5 Hot Spot Group Size 전체 Hot Spot을 포함하는 원의 지름(Pixel)
6 Hot Spot Distribution 서비스 특성 반영 ROI 영역 내 Hot Spot 분포도
7 Hot Spot Density Variation 프레임 윈도우 간 밀집도 변화량
8 Hot Spot Group Size Variation 프레임 윈도우 간 그룹 크기 변화량
이와 같이 본 발명의 핫 스팟 처리 모듈(160)은 핫 스팟의 총 수, 밀집도, 전체 크기, 핫 스팟 개별 크기, 분포도, 위치, 밀집도 변화량, 전체 크기 변화량을 분석하고, 관심 영역 내의 움직임이 활동적으로 증감되는 지 비활동적으로 증감되는지를 분석할 수 있다. 또한, 프레임 내의 핫 스팟으로 구분되는 그룹들이 점점 모여들거나 분산되는지에 따라 서비스의 호감도를 판별할 수 있으며, 밀도가 늘어나는 지 줄어드는 지에 따라 서비스의 활동성을 판별할 수 있다.
여기서, 본 발명의 핫 스팟 처리 모듈(160)이 분석하는 공간 행동 의미는 크게 Arousal과 Valuence으로 구분될 수 있으며, Arousal은 활성(Active), 비활성(Inactive) 상태로, Valuence는 긍정(Positive), 부정(Negative) 상태로 구분될 수 있다(S219). 예를 들어, 영상 프레님 내의 핫 스팟 내에 있는 객체들이 점점 모여드는 지 혹은 분산 되는 지 등을 분석하여 제공되고 있는 서비스의 호감도를 판별할 수 있으며, 핫 스팟 내의 객체들의 밀도의 증감 여부에 따라 서비스의 활동성을 판단할 수 있다. 여기서 핫 스팟의 밀도가 늘어날수록 해당 프레임에서의 움직임이 많이 감지되는 것이기 때문에 밀도의 증가는 서비스 공간 내의 사람들의 움직임이 활발하다는 것을 의미하게 된다.
이러한 핫 스팟 처리 모듈(160)은 도 3에 도시된 바와 같이, 핫 스팟 추출 모듈(161), 핫 스팟 그룹핑 모듈(162), 공간 행동 의미 분석 모듈(163)을 포함하여 구성될 수 있다. 핫 스팟 추출 모듈(161)은 핫 스팟을 추출하는 역할을 수행하며, 핫 스팟 그룹핑 모듈(162)은 추출된 핫 스팟을 분석하고 유사한 핫 스팟별로 그룹핑하는 역할을 수행하며, 공간 행동 의미 분석 모듈(163)은 핫 스팟에 대한 의미를 분석하고 이를 시각적으로 가공하는 역할을 수행한다.
아울러, 결과 제공 모듈(180)은 분석된 공간 행동의 의미를 사용자에게 제공하는 역할을 수행하는 것으로, 특히 본 발명의 결과 제공 모듈(180)은 분석 결과 파라미터를 모아 대중 감성 추론 서버로 전송하는 역할을 수행할 수 있다.
아울러, 본 발명의 실시 예에 따른 공간 행동 의미 분석 시스템(100)은 영상 데이터뿐 아니라 음향 데이터를 동시에 고려하여 처리할 수도 있다. 이때 본 발명의 공간 행동 의미 분석 시스템(100)은 도 4에 도시된 바와 같이 영상 데이터 처리를 위한 영상 데이터 처리부(191), 음향 데이터 처리를 위한 음향 데이터 처리부(192)를 포함할 수 있으며, 각 처리부를 통해 처리된 결과를 공간 행동 의미 분석부(193)가 종합적으로 분석하여 이에 따른 결과를 제공할 수도 있다. 이때, 영상 데이터 처리부(191)는 도 2에 도시된 수집 모듈(110), 디코더 모듈(130), 컨버터 모듈(140), 차영상 산출 모듈(150) 등을 포함하여 구성될 수 있으며, 공간 행동 의미 분석부(193)는 핫 스팟 처리 모듈(160)을 포함하여 구성될 수 있다.
아울러, 음향 데이터 처리부(192)는 음향 데이터 분할, 특징 추출, 음향 특징 DB 기반 음향 의미 분석등을 수행하여 이에 따른 결과를 핫 스팟 처리 모듈(160)로 전달하고, 핫 스팟 처리 모듈(160)은 추가적으로 각 처리부에서 전달되는 데이터를 종합적으로 고려하여 의미를 분석하는 기능을 더 수행할 수도 있다.
이상으로 본 발명의 실시 예에 따른 장치의 주요 구성에 대해 설명하였다.
한편, 본 발명의 각 장치에 탑재되는 메모리는 그 장치 내에서 정보를 저장한다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛 일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛 일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.
비록 본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.
이하, 본 발명의 실시 예에 따른 공간 행동 의미 분석 방법에 대해 설명하도록 한다.
도 5는 본 발명의 실시 예에 따른 공간 행동 의미 분석 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, 본 발명의 공간 행동 의미 분석 시스템(100)은 영상 데이터를 입력받아(S101), 전처리 과정을 수행하게 된다(S103). 여기서 전처리 과정은 디코딩 및 포맷 변환 등의 영상 처리 과정을 포함할 수 있다. 그리고 본 발명의 공간 행동 의미 분석 시스템(100)은 관심 영역을 확인한다(S105). 관심 영역은 사용자에 의해 미리 설정될 수 있는 것으로, 예를 들어 사용자가 얼굴 영역, 손 영역 등과 같이 특정한 영역을 관심 영역으로 지정할 수 있다. 또한, 관심 영역(ROI) 분석기로부터 갱신된 ROI 영역 정보를 수집할 수도 있다.
이후에 본 발명의 공간 행동 의미 분석 시스템(100)은 영상 프레임에서 관심 영역으로 설정된 영역을 중심으로 움직임의 변화량이 기 설정된 값 이상인 영역을 핫 스팟으로 추출하게 된다(S107). 이후에 본 발명의 공간 행동 의미 분석 시스템(100)은 핫 스팟에 대한 평가 지표를 이용하여 공간 행동 의미를 분석하고(S109), 이에 따른 결과를 제공하게 된다(S111).
이하, 본 발명의 실시 예에 따른 공간 행동 의미 분석 방법에 대해 보다 더 구체적으로 설명하도록 한다.
도 6은 본 발명의 실시 예에 따른 공간 행동 의미 분석 방법을 보다 더 구체적으로 설명하기 위한 흐름도이며, 도 7 내지 도 10은 본 발명의 실시 예에 따른 공간 행동 의미 분석 방법을 설명하기 위한 예시도이다.
먼저, 도 6을 참조하면, 본 발명의 공간 행동 의미 분석 시스템(100)은 영상 프레임을 입력받는다(S201). 여기서 영상 프레임은 네트워크 카메라를 통해 실시간으로 수신되는 영상 스트림 데이터가 될 수 있으며, 저장매체에 기 저장된 영상 스트림 데이터를 이용할 수도 있다.
이후에, 본 발명의 공간 행동 의미 분석 시스템(100)은 입력된 영상 스트림 데이터가 인코딩되어 있을 경우, 디코딩하는 과정을 수행할 수 있다. 예컨대, 상기 영상 프레임이 네트워크 카메라를 통해 실시간 전달되어 입력되는 경우, 상기 영상 프레임은 인코딩된 상태에서 전달되므로, 스트림 형태의 영상 프레임을 디코딩하는 과정을 수행할 수 있다. 그리고 본 발명의 공간 행동 의미 분석 시스템(100)은 인코딩된 영상 프레임을 처리하고자 하는 영상 포맷으로 변환하는 과정을 수행한다(S203). 예컨대 YUV420, 24bit RGB, 8bit Gray Scale과 같은 다양한 영상 포맷으로 변환할 수 있다. 아울러, 상기 디코딩 및 영상 포맷 변환 과정에서는 공지된 다양한 기술들을 이용하게 된다.
이후, 본 발명의 공간 행동 의미 분석 시스템(100)은 관심 영역(ROI) 분석기로부터 ROI 좌표를 수신하여 확인할 수 있다(S205).
그리고, ROI 좌표가 확인되면 본 발명의 공간 행동 의미 분석 시스템(100)은 활성화 영역 추출 기준값을 확인한다(S207). 여기서, 활성화 영역 추출 기준값이란 상기 영상 프레임에서 움직임의 변화량이 활발한 영역인 핫 스팟을 추출하기 위해 기준이 되는 임계값을 의미하는 것으로, 과거의 데이터로부터 추론된 정보를 이용하거나 서비스 공간의 특성, 상황에 따라 다양하게 설정될 수 있다.
이후에, 본 발명의 공간 행동 의미 분석 시스템(100)은 새로운 활성화 영역 추출 기준값이 생성되는 것으로 확인되면, 기준값을 업데이트하고(S209), 핫 스팟 추출 과정을 수행한다.
즉, S203 단계에서 프레임 단위로 변환된 영상 프레임 간의 차영상 누적량을 계산한다(S211). 여기서 차영상은 도 7에 도시된 바와 같이 이진화 과정을 거친 후에 누적 버퍼에 일정 시간, 예컨대 1초 동안의 움직임 변화량을 누적한 정보를 지속적으로 누적하게 되는 것으로, 실제로 움직임이 있는 영역은 누적 값이 크기 때문에 활성화 영역 추출 기준값을 이용하여 비교하고, 일정 크기 이상의 범위로 누적된 핫 스팟만 실제 움직임이 활발한 영역으로 판단하여 추출하게 된다(S213).
이후, 본 발명의 공간 행동 의미 분석 시스템(100)은 추출된 핫 스팟을 평가 지표를 이용하여 분석하는 단계를 수행한다(S215). 즉 전술한 표 1에 도시된 다양한 평가 지표를 이용하여 본 발명의 공간 행동 의미 분석 시스템(100)은 추출된 핫 스팟에 대한 밀집도, 군집크기, 변화량 등을 분석하게 되며, 기준 데이터와 비교하여 공간에 대한 행동 변화량, 즉 움직임 변화량을 분석하게 된다(S217). 여기서 기준 데이터는 S205 단계 이후의 수신되는 영상 스트림 데이터에 대한 기 설정된 시간 동안의 움직임 변화량을 의미하게 된다.
그리고 본 발명의 공간 행동 의미 분석 시스템(100)은 핫 스팟 내에 존재하는 객체에 대한 공간 행동 의미를 분석하게 된다(S219), 본 발명의 공간 행동 의미 분석 시스템(100)은 도 8에 도시된 바와 같이 입력 영상 프레임(500)에서 501이 지시하는 바와 같이 관심 영역(ROI)을 중심으로 움직임의 변화량을 추적하고, 이를 분석하여 도 9에 도시된 바와 같이 하나 이상의 핫 스팟을 추출하게 된다. 이후에 본 발명의 공간 행동 의미 분석 시스템(100)은 추출된 하나 이상의 핫 스팍을 평가 지표를 이용하여 분석하고, 이를 기준 데이터와 비교하여 핫 스팟 내에 존재하는 객체들, 도 10에서는 손 객체들에 대한 의미를 분석할 수 있다. 여기서, 본 발명의 공간 행동 의미 분석 시스템(100)이 분석하는 공간 행동 의미는 크게 Arousal과 Valuence으로 구분될 수 있으며, Arousal은 활성(Active), 비활성(Inactive) 상태로, Valuence는 긍정(Positive), 부정(Negative) 상태로 구분될 수 있다(S219). 예를 들어, 영상 프레님 내의 핫 스팟 내에 있는 객체들이 점점 모여드는 지 혹은 분산 되는 지 등을 분석하여 제공되고 있는 서비스의 호감도를 판별할 수 있으며, 핫 스팟 내의 객체들의 밀도의 증감 여부에 따라 서비스의 활동성을 판단할 수 있다. 여기서 핫 스팟의 밀도가 늘어날수록 해당 프레임에서의 움직임이 많이 감지되는 것이기 때문에 밀도의 증가는 서비스 공간 내의 사람들의 움직임이 활발하다는 것을 의미하게 된다.
이후, 본 발명의 공간 행동 의미 분석 시스템(100)은 분석된 결과를 토대로 도 10에 도시된 바와 같이 핫 스팟에 대한 그룹핑을 수행하고(S221), 공간 행동 의미 분석 결과를 시각화 하여 제공할 수 있다(S223). 특히 본 발명의 공간 행동 의미 분석 시스템(100)은 공간 내에 특정 서비스를 제공하는 장치로 상기 분석 결과를 제공할 수 있으며, 대중 감성 추론 서버와 같이 추론 기능을 담당하는 서버로 분석 결과를 제공할 수도 있다.
이상으로 본 발명의 실시 예에 따른 공간 행동 의미 분석 방법에 대해 설명하였다. 이러한 본 발명에 의하면, 상업, 전시, 체험 등의 특정 서비스를 제공하는 서비스 공간 내에서 서비스를 이용하는 사용자들의 공간 행동을 분석하여, 사용자들의 집중도, 만족도 등을 확인하고, 이에 따른 적절한 서비스를 제공할 수 있게 된다.
특히, 본 발명은 획득되는 영상 프레임에서 사용자의 몸 전체(Full Body)를 대상으로 분석을 수행하는 것이 아니라, 특별히 활발하게 움직이는 부분의 행동을 분석하고 이에 대한 의미를 분석함으로써, 특정한 서비스 공간 내에서 사용자 행동에 대한 의미를 보다 더 정확히 분석하고, 이에 따른 서비스를 적절히 제공할 수 있어 서비스 효과를 보다 더 높일 수 있게 된다.
상술한 바와 같은 본 발명의 공간 행동 의미 분석 방법은 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체의 형태로 제공될 수도 있다. 본 발명의 일 실시 예에 따른 공간 행동 의미 분석 방법은 연속되는 일련의 영상 프레임에서 공간 행동 분석을 위한 관심 영역을 설정하는 단계; 상기 관심 영역을 대상으로 프레임 간 움직임의 변화량이 기 설정된 값 이상인 영역을 핫 스팟으로 추출하는 단계; 및 상기 추출된 핫 스팟을 이용하여 상기 관심 영역 내의 움직임에 대한 공간 행동의 의미를 분석하는 단계;등을 실행할 수 있다.
이때, 기록매체에 기록된 프로그램은 컴퓨터에서 읽히어 설치되고 실행됨으로써 전술한 기능들을 실행할 수 있다.
여기서, 컴퓨터가 기록매체에 기록된 프로그램을 읽어 들여 프로그램으로 구현된 기능들을 실행시키기 위하여, 전술한 프로그램은 컴퓨터의 프로세서(CPU)가 컴퓨터의 장치 인터페이스(Interface)를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다.
이러한 코드는 전술한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Function Code)를 포함할 수 있고, 전술한 기능들을 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수도 있다. 또한, 이러한 코드는 전술한 기능들을 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련 코드를 더 포함할 수 있다. 또한, 컴퓨터의 프로세서가 전술한 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 컴퓨터의 프로세서가 컴퓨터의 통신 모듈을 이용하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야만 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수도 있다.
이러한, 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM)과 같은 반도체 메모리를 포함한다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(Functional) 프로그램과 이와 관련된 코드 및 코드 세그먼트 등은, 기록매체를 읽어서 프로그램을 실행시키는 컴퓨터의 시스템 환경 등을 고려하여, 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론되거나 변경될 수도 있다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
본 발명은 공간 행동 의미 분석 방법에 관한 것으로, 특히 서비스 공간 내에서의 사용자의 행동에 대한 의미를 분석할 수 있는 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법에 관한 것이다.
이러한 본 발명에 의하면, 획득되는 영상 프레임에서 사용자의 몸 전체(Full Body)를 대상으로 분석을 수행하는 것이 아니라, 특별히 활발하게 움직이는 부분의 행동을 분석하고 이에 대한 의미를 분석함으로써, 특정한 서비스 공간 내에서 사용자 행동에 대한 의미를 보다 더 정확히 분석하고, 이에 따른 서비스를 적절히 제공할 수 있어 서비스 효과를 보다 더 높일 수 있게 되며, 이를 통해 본 발명은 영상 처리 서비스 산업의 발전에 더욱 이바지할 수 있게 된다.
더불어, 본 발명은 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.

Claims (8)

  1. 연속되는 일련의 영상 프레임을 수집하는 수집 모듈; 및
    상기 수집 모듈을 통해 수집되는 영상 프레임에서 공간 행동 분석을 위한 관심 영역을 설정하고, 상기 관심 영역을 대상으로 프레임 간 움직임의 변화량이 기 설정된 범위 이상인 영역을 핫 스팟으로 추출하고, 상기 추출된 핫 스팟을 이용하여 상기 관심 영역 내의 움직임에 대한 공간 행동의 의미를 분석하는 핫 스팟 처리 모듈;
    을 포함하는 것을 특징으로 하는 공간 행동 의미 분석 시스템.
  2. 제1항에 있어서,
    상기 연속되는 일련의 영상 프레임 간 차영상(difference images)을 일정 시간 동안 누적하는 차 영상 산출 모듈;
    을 더 포함하며,
    상기 핫 스팟 처리 모듈은 상기 차영상에서 누적된 값이 기 설정된 활성화 영역 추출 기준값 이상인 영역을 핫 스팟으로 추출하는 것을 특징으로 하는 공간 행동 의미 분석 시스템.
  3. 제1항에 있어서,
    상기 핫 스팟 처리 모듈은
    상기 추출된 핫 스팟을 평가 지표를 이용하여 분석하고, 상기 관심 영역이 설정된 이후에 입력되는 영상 프레임에서 기 설정된 시간 동안의 움직임 변화량을 기준 데이터로 설정하고, 상기 평가 지표를 이용하여 분석된 값과 상기 기준 데이터를 비교하여 비교 결과에 따라 핫 스팟에 대한 공간 행동의 의미를 분석하는 것을 특징으로 하는 공간 행동 의미 분석 시스템.
  4. 제1항에 있어서,
    상기 핫 스팟에 대한 공간 행동 의미 분석 결과를 제공하는 결과 제공 모듈;
    을 더 포함하는 것을 특징으로 하는 공간 행동 의미 분석 시스템.
  5. 연속되는 일련의 영상 프레임에서 공간 행동 분석을 위한 관심 영역을 설정하는 단계;
    상기 관심 영역을 대상으로 프레임 간 움직임의 변화량이 기 설정된 값 이상인 영역을 핫 스팟으로 추출하는 단계; 및
    상기 추출된 핫 스팟을 이용하여 상기 관심 영역 내의 움직임에 대한 공간 행동의 의미를 분석하는 단계;
    를 포함하는 것을 특징으로 하는 공간 행동 의미 분석 방법.
  6. 제5항에 있어서,
    상기 추출하는 단계는
    상기 설정된 관심 영역을 대상으로 프레임 간 차영상(difference images)을 일정 시간 동안 누적하는 단계; 및
    상기 차영상에서 누적된 값이 기 설정된 활성화 영역 추출 기준값 이상인 영역을 핫 스팟으로 추출하는 단계;
    를 포함하는 것을 특징으로 하는 공간 행동 의미 분석 방법.
  7. 제5항에 있어서,
    상기 공간 행동의 의미를 분석하는 단계는
    상기 추출된 핫 스팟을 평가 지표를 이용하여 분석하는 단계;
    상기 관심 영역이 설정된 이후에 입력되는 영상 프레임에서 기 설정된 시간 동안의 움직임 변화량을 기준 데이터로 설정하는 단계;
    상기 평가 지표를 이용하여 분석된 값과 상기 기준 데이터를 비교하는 단계; 및
    상기 비교 결과에 따라 상기 핫 스팟에 대한 공간 행동의 의미를 분석하는 단계;
    를 포함하는 것을 특징으로 하는 공간 행동 의미 분석 방법.
  8. 제5항에 있어서,
    상기 공간 행동의 의미를 분석하는 단계는
    상기 핫 스팟 내의 움직임에 대한 공간 행동 의미를 분석하는 단계;
    상기 분석 결과에 따라 상기 핫 스팟을 유사한 영역별로 그룹핑하는 단계; 및
    상기 그룹핑된 핫 스팟별로 시작화하여 사용자에게 제공하는 단계;
    를 포함하는 것을 특징으로 하는 공간 행동 의미 분석 방법.
PCT/KR2017/005204 2016-05-20 2017-05-19 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법 WO2017200333A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160061946A KR102118336B1 (ko) 2016-05-20 2016-05-20 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법
KR10-2016-0061946 2016-05-20

Publications (2)

Publication Number Publication Date
WO2017200333A2 true WO2017200333A2 (ko) 2017-11-23
WO2017200333A3 WO2017200333A3 (ko) 2018-08-09

Family

ID=60326537

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/005204 WO2017200333A2 (ko) 2016-05-20 2017-05-19 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법

Country Status (2)

Country Link
KR (1) KR102118336B1 (ko)
WO (1) WO2017200333A2 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10497107B1 (en) * 2019-07-17 2019-12-03 Aimotive Kft. Method, computer program product and computer readable medium for generating a mask for a camera stream

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4868360B2 (ja) * 2006-08-14 2012-02-01 株式会社国際電気通信基礎技術研究所 興味傾向情報出力装置、興味傾向情報出力方法、及びプログラム
KR100864913B1 (ko) 2007-10-16 2008-10-22 에스케이 텔레콤주식회사 편의 서비스 연동 방법 및 시스템
US8548203B2 (en) * 2010-07-12 2013-10-01 International Business Machines Corporation Sequential event detection from video
US8965050B2 (en) * 2010-08-31 2015-02-24 Omron Corporation Behavior analysis device
KR20140144333A (ko) * 2013-06-10 2014-12-19 주식회사 레드사이렌커뮤니케이션즈 유동인구의 행동분석을 통한 효과적 홍보전략 구축 전산시스템.
KR101575100B1 (ko) * 2014-05-20 2015-12-09 전자부품연구원 사용자 그룹의 공간행동 센싱 및 의미분석 시스템
US10121062B2 (en) * 2014-11-03 2018-11-06 Koninklijke Philips N.V. Device, system and method for automated detection of orientation and/or location of a person

Also Published As

Publication number Publication date
WO2017200333A3 (ko) 2018-08-09
KR102118336B1 (ko) 2020-06-04
KR20170131774A (ko) 2017-11-30

Similar Documents

Publication Publication Date Title
WO2019088462A1 (ko) 혈압 추정 모델 생성 시스템 및 방법과 혈압 추정 시스템 및 방법
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
CN108446681B (zh) 行人分析方法、装置、终端及存储介质
CN111814646B (zh) 基于ai视觉的监控方法、装置、设备及介质
WO2019164074A1 (ko) 미세 먼지 분석 방법 및 이를 수행하기 위한 장치
WO2012137994A1 (ko) 영상인식장치 및 그 영상 감시방법
WO2021194008A1 (ko) 모돈 이상징후 포착 및 관리 클라우드 서비스 방법 및 장치
CN112232178A (zh) 基于人像聚档的区域落脚点判定方法、系统、设备及介质
WO2022114895A1 (ko) 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템 및 방법
WO2021182684A1 (ko) 가축의 개체별 이상 징후 포착 시스템 및 그 이용 방법
WO2017200333A2 (ko) 공간 행동 의미 분석 시스템 및 공간 행동 의미 분석 방법
WO2014030833A1 (ko) 소셜정보를 이용한 자살수 예측 방법 및 장치
CN112418062A (zh) 人脸识别方法、系统、电子设备及存储介质
WO2023158068A1 (ko) 객체검출률 향상을 위한 학습시스템 및 그 방법
WO2024111730A1 (ko) Ai 기반 객체 재인식 장치 및 이를 위한 방법
WO2024101466A1 (ko) 속성 기반 실종자 추적 장치 및 방법
WO2020080626A1 (ko) 동물 종 식별 방법 및 장치
WO2022019601A1 (ko) 영상의 객체 특징점 추출과 이를 이용한 영상검색 시스템 및 방법
WO2016186327A1 (ko) 공간행동 의미분석 시스템
WO2021125550A1 (en) Electronic device and method for controlling the electronic device.
CN115188490A (zh) 一种基于大数据分析的疫情防控行踪溯源智能管理平台
WO2019199035A1 (ko) 시선 추적 시스템 및 방법
Maharjan et al. Development of IoT monitoring device and prediction of daily life behavior
WO2022145712A1 (ko) 엣지 컴퓨팅 환경에서 영상에 기초하여 방문객을 분석하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2023054822A1 (ko) 인공지능 기반 가축 이상행동 패턴 추출 방법 및 장치

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17799690

Country of ref document: EP

Kind code of ref document: A2

122 Ep: pct application non-entry in european phase

Ref document number: 17799690

Country of ref document: EP

Kind code of ref document: A2