KR20200041673A - Device, method and computer program for assuming event within video - Google Patents

Device, method and computer program for assuming event within video Download PDF

Info

Publication number
KR20200041673A
KR20200041673A KR1020180122056A KR20180122056A KR20200041673A KR 20200041673 A KR20200041673 A KR 20200041673A KR 1020180122056 A KR1020180122056 A KR 1020180122056A KR 20180122056 A KR20180122056 A KR 20180122056A KR 20200041673 A KR20200041673 A KR 20200041673A
Authority
KR
South Korea
Prior art keywords
event
image
silhouette
face region
estimating
Prior art date
Application number
KR1020180122056A
Other languages
Korean (ko)
Inventor
이형구
권재철
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020180122056A priority Critical patent/KR20200041673A/en
Publication of KR20200041673A publication Critical patent/KR20200041673A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06K9/00302—
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Abstract

Provided is an apparatus for estimating an event in an image which comprises: a face extraction unit extracting a face region of at least one object included in an image from the image received from a camera; a silhouette extraction unit extracting a silhouette of a face extraction unit object; and an event estimation unit estimating whether an event has occurred in the image by analyzing at least one of the face region and the silhouette. When an emergency or a disaster occurs in a public place, the accurate determination on an emergency or a disaster can be made based on expression reactions or the like of a crowd.

Description

영상 내 이벤트를 추정하는 장치, 방법 및 컴퓨터 프로그램{DEVICE, METHOD AND COMPUTER PROGRAM FOR ASSUMING EVENT WITHIN VIDEO}DEVICE, METHOD AND COMPUTER PROGRAM FOR ASSUMING EVENT WITHIN VIDEO

본 발명은 영상 내 이벤트를 추정하는 장치, 방법 및 컴퓨터 프로그램에 관한 것이다. The present invention relates to an apparatus, method and computer program for estimating an event in an image.

종래의 얼굴 인식 기술은 개인 인증뿐만 아니라 표정 변화에 기반한 감성 인식에도 활용되고 있으며, 종래의 표정인식 기술은 사용자의 감성 상태를 파악하는데 이용되고 있다. Conventional facial recognition technology is utilized not only for personal authentication but also for emotion recognition based on facial expression change, and the conventional facial recognition technique is used to grasp the user's emotional state.

이러한 얼굴 및 표정 인식 기술은 사용자의 개인 단말에서 사용자의 반응에 기반한 분석이 주를 이루고 있고, 사용자의 얼굴을 독립적으로 추출하여 표정정보를 분석하는 틀에서 벗어나지 못하고 있다. The face and facial expression recognition technology is mainly based on the user's reaction in the user's personal terminal, and does not deviate from the framework of analyzing the facial expression information by extracting the user's face independently.

한편, 종래의 얼굴 검출 방법은 CCTV와 같이 다수의 객체가 포함된 영상에서 모든 객체에 대하여 얼굴을 검출하기 어려웠고, 얼굴 검출에 대한 인식률 또한 저조했다. 일반적인 CCTV의 경우, 해상도가 낮아 영상 내 군중의 표정인식을 위한 해상도를 확보하기 어려웠고, 검출할 수 있는 객체의 행위(에컨대, 폭력, 이상 행위 등)가 제한적이고, 객체의 외적 행위로 나타나기 힘든 감정 상태에 대해서 이벤트 발생의 종류(예컨대, 축제행렬과 재난상황 대피행렬 간 구분 또는 친구들끼리 웃으며 모여있는 상황과 위급환자를 둘러싸고 걱정하는 상황 간 구분, 또는 불쾌한 표정으로 걷는 행렬과 행복한 표정으로 걷는 행렬 간 구분 등)를 구분하기 어려운 점이 많았다. Meanwhile, in the conventional face detection method, it is difficult to detect faces for all objects in an image including multiple objects, such as CCTV, and the recognition rate for face detection is also low. In the case of a general CCTV, it was difficult to secure a resolution for the facial expression recognition of the crowd in the video due to the low resolution, and the detectable object behavior (eg, violence, abnormal behavior, etc.) is limited, and it is difficult to appear as an external behavior of the object. The type of event occurrence (e.g., the division between a festival matrix and a disaster evacuation matrix, or a group of friends laughing and gathering around an emergency patient, or a matrix of walking with an unpleasant expression and a happy expression) There were many difficulties in distinguishing between livers, etc.).

한국등록특허공보 제10-1549645호 (2015.08.27. 공개)Korean Registered Patent Publication No. 10-1549645 (published on August 27, 2015)

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 카메라로부터 입력받은 영상으로부터 추출된 객체의 얼굴 영역 및 실루엣 중 적어도 하나를 분석하여 이벤트의 발생 여부를 추정하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다. The present invention is to solve the above-described problems of the prior art, and analyzes at least one of the face region and the silhouette of the object extracted from the image input from the camera to estimate whether an event has occurred. However, the technical problems to be achieved by the present embodiment are not limited to the technical problems as described above, and other technical problems may exist.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 영상 내 이벤트를 추정하는 장치는 카메라로부터 입력받은 영상으로부터 상기 영상에 포함된 적어도 하나의 객체의 얼굴 영역을 추출하는 얼굴 추출부; 상기 객체에 대한 실루엣을 추출하는 실루엣 추출부; 및 상기 얼굴 영역 및 상기 실루엣 중 적어도 하나를 분석하여 상기 영상 내에서 이벤트의 발생 여부를 추정하는 이벤트 추정부를 포함할 수 있다. As a technical means for achieving the above technical problem, an apparatus for estimating an event in an image according to the first aspect of the present invention is a face that extracts a face region of at least one object included in the image from an image received from a camera Extraction unit; A silhouette extraction unit for extracting a silhouette for the object; And an event estimator configured to estimate whether an event occurs in the image by analyzing at least one of the face region and the silhouette.

본 발명의 제 2 측면에 따른 이벤트 추정 장치에 의해 영상 내 이벤트를 추정하는 방법은 카메라로부터 입력받은 영상으로부터 상기 영상에 포함된 적어도 하나의 객체의 얼굴 영역을 추출하는 단계; 상기 객체에 대한 실루엣을 추출하는 단계; 및 상기 얼굴 영역 및 상기 실루엣 중 적어도 하나를 분석하여 상기 영상 내에서 이벤트의 발생 여부를 추정하는 단계를 포함할 수 있다. A method of estimating an event in an image by the event estimating apparatus according to the second aspect of the present invention includes: extracting a face region of at least one object included in the image from the image received from the camera; Extracting a silhouette for the object; And estimating whether an event has occurred in the image by analyzing at least one of the face region and the silhouette.

본 발명의 제 3 측면에 따른 영상 내 이벤트를 추정하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램에 있어서, 상기 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 카메라로부터 입력받은 영상으로부터 상기 영상에 포함된 적어도 하나의 객체의 얼굴 영역을 추출하고, 상기 객체에 대한 실루엣을 추출하고, 상기 얼굴 영역 및 상기 실루엣 중 적어도 하나를 분석하여 상기 영상 내에서 이벤트의 발생 여부를 추정하도록 하는 명령어들의 시퀀스를 포함할 수 있다. A computer program stored in a medium including a sequence of instructions for estimating an event in an image according to a third aspect of the present invention, wherein the computer program is included in the image from an image received from a camera when executed by a computing device. And a sequence of instructions for extracting a face region of at least one object, extracting a silhouette for the object, and analyzing at least one of the face region and the silhouette to estimate whether an event has occurred in the image. You can.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.The above-described problem solving means are merely exemplary and should not be construed as limiting the present invention. In addition to the exemplary embodiments described above, there may be additional embodiments described in the drawings and detailed description of the invention.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명은 카메라로부터 입력받은 영상으로부터 추출된 객체의 얼굴 영역 및 실루엣 중 적어도 하나를 분석하여 이벤트의 발생 여부를 추정할 수 있다. 이를 통해, 본 발명은 공공장소에서 위급 또는 재난 발생 시, 군중들의 표정 반응 등에 기초하여 위급 또는 재난 상황에 대한 정확한 판단을 할 수 있고, 위급 또는 재난 상황에 대하여 신속하게 대처할 수 있다. 또한, 본 발명은 상행위와 관련된 고객의 표정 및 제스쳐를 통해 구매하고자 하는 상품 등에 대한 선호도를 조사 및 분석할 수 있다. According to any one of the above-described problem solving means of the present invention, the present invention can estimate whether an event has occurred by analyzing at least one of a face region and a silhouette of an object extracted from an image input from a camera. Through this, according to the present invention, when an emergency or disaster occurs in a public place, it is possible to accurately determine an emergency or disaster situation based on the facial expression reaction of the crowd, etc., and to quickly respond to an emergency or disaster situation. In addition, the present invention can investigate and analyze the preferences for products to be purchased through facial expressions and gestures of customers related to commercial activities.

도 1은 본 발명의 일 실시예에 따른, 이벤트 추정 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른, 얼굴 영역을 검출하는 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른, 객체에 대한 실루엣을 추출한 도면이다.
4는 본 발명의 일 실시예에 따른, 영상 내 이벤트를 추정하는 방법을 나타낸 흐름도이다.
도 5는 본 발명의 일 실시예에 따른, 영상 내 재난 발생의 이벤트 추정 및 알림 방법을 나타낸 흐름도이다.
도 6은 본 발명의 일 실시예에 따른, 영상 내 영화에 대한 객체의 선호도를 조사하는 방법을 나타낸 흐름도이다.
도 7은 본 발명의 일 실시예에 따른, 영상 내 상품의 광고 효과 및 상품에 대한 객체의 선호도를 조사하는 방법을 나타낸 흐름도이다.1 is a block diagram of an event estimation apparatus according to an embodiment of the present invention.
2 is a diagram for explaining a method of detecting a face region according to an embodiment of the present invention.
3 is a diagram for extracting a silhouette of an object according to an embodiment of the present invention.
4 is a flowchart illustrating a method for estimating an event in an image according to an embodiment of the present invention.
5 is a flowchart illustrating a method for estimating and notifying an event of a disaster in an image according to an embodiment of the present invention.
6 is a flowchart illustrating a method of examining an object's preference for a movie in an image according to an embodiment of the present invention.
7 is a flowchart illustrating a method of examining an advertisement effect of a product in a video and a preference of an object for a product according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art to which the present invention pertains can easily practice. However, the present invention can be implemented in many different forms and is not limited to the embodiments described herein. In addition, in order to clearly describe the present invention in the drawings, parts irrelevant to the description are omitted, and like reference numerals are assigned to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a part is "connected" to another part, this includes not only "directly connected" but also "electrically connected" with another element in between. . Also, when a part “includes” a certain component, this means that other components may be further included rather than excluding other components, unless otherwise specified.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. In the present specification, the term “unit” includes a unit realized by hardware, a unit realized by software, and a unit realized by using both. Further, one unit may be realized by using two or more hardware, and two or more units may be realized by one hardware.

본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다. Some of the operations or functions described in this specification as being performed by a terminal or device may be performed instead on a server connected to the corresponding terminal or device. Similarly, some of the operations or functions described as being performed by the server may be performed in a terminal or device connected to the corresponding server.

이하, 첨부된 구성도 또는 처리 흐름도를 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다. Hereinafter, specific contents for carrying out the present invention will be described with reference to the accompanying drawings or processing flow charts.

도 1은 본 발명의 일 실시예에 따른, 이벤트 추정 장치(10)의 블록도이다. 1 is a block diagram of an event estimation apparatus 10 according to an embodiment of the present invention.

도 1을 참조하면, 이벤트 추정 장치(10)는 얼굴 추출부(100), 실루엣 추출부(110), 이벤트 추정부(120), 위치 추정부(130), 이벤트 알림 전송부(140) 및 선호도 조사부(150)를 포함할 수 있다. 다만, 도 1에 도시된 이벤트 추정 장치(10)는 본 발명의 하나의 구현 예에 불과하며, 도 1에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다. 이하에서는 도 2 내지 도 3을 함께 참조하여 도 1을 설명하기로 한다. Referring to FIG. 1, the event estimation apparatus 10 includes a face extraction unit 100, a silhouette extraction unit 110, an event estimation unit 120, a location estimation unit 130, an event notification transmission unit 140, and preferences It may include an irradiation unit 150. However, the event estimation apparatus 10 illustrated in FIG. 1 is only one implementation example of the present invention, and various modifications are possible based on the components illustrated in FIG. 1. Hereinafter, FIG. 1 will be described with reference to FIGS. 2 to 3 together.

얼굴 추출부(100)는 카메라로부터 입력받은 영상으로부터 영상에 포함된 적어도 하나의 객체의 얼굴 영역을 추출할 수 있다. 예를 들면, 얼굴 추출부(100)는 얼굴 검출에 대한 학습한 정보를 데이터베이스화하여 기록한 얼굴 학습 데이터베이스를 이용하여 입력 영상에서 객체의 얼굴 영역을 추출할 수 있다. 예를 들면, 입력 영상을 얼굴 영역 검출 알고리즘에 입력하면, 입력 영상에서의 얼굴 영역에 대한 상대적인 좌표값 및 검출 신뢰도가 출력되고, 기설정된 검출 임계값 이상의 검출 신뢰도를 갖는 얼굴 영역만이 추출될 수 있다. The face extraction unit 100 may extract a face region of at least one object included in the image from the image input from the camera. For example, the face extraction unit 100 may extract the face region of the object from the input image by using the face learning database recorded by databaseizing the learned information about face detection. For example, when the input image is input to the face region detection algorithm, relative coordinate values and detection reliability of the face region in the input image are output, and only the face region having a detection reliability higher than a preset detection threshold can be extracted. have.

얼굴 추출부(100)는 영상의 해상도를 낮추어 얼굴 영역을 추출하고, 영상의 원본 해상도를 이용하여 추출된 각 얼굴 영역에 대해 표정을 인식할 수 있다. The face extraction unit 100 may extract a face region by lowering the resolution of the image, and recognize an expression for each extracted face region using the original resolution of the image.

일반적으로, 고해상도(예컨대, UHD 이상의 해상도)를 갖는 영상의 경우, 객체의 얼굴 영역 검출에 있어서 연산 처리 시간이 증가한다. 이러한 얼굴 영역 검출에 대한 연산 처리 시간을 줄이기 위해 본 발명은 도 2와 같이, 고해상도의 원본 영상(201)의 크기를 다운 샘플링(down sampling)을 통해 줄인 영상(203)을 이용하여 얼굴 영역을 검출한다. 얼굴 표정의 경우, 검출된 얼굴 영역보다 상대적으로 높은 해상도의 얼굴 영상이 필요하기 때문에, 검출된 얼굴 영역에 대한 표정은 원본 영상(201)에서 추출한다. In general, in the case of an image having a high resolution (for example, UHD or higher resolution), the processing time increases in the detection of the face region of the object. In order to reduce the calculation processing time for the detection of the face region, the present invention detects the face region using the image 203 in which the size of the high-resolution original image 201 is reduced through down sampling as shown in FIG. 2. do. In the case of facial expressions, since a face image having a relatively higher resolution than the detected face region is required, the facial expression for the detected face region is extracted from the original image 201.

얼굴 추출부(100)는 검출된 얼굴 영역에 대한 표정을 얼굴 표정 분류 알고리즘을 통해 기설정된 표정 종류(예컨대, 기쁨, 슬픔, 분노, 놀람, 두려움, 무표정, 역겨움 등)에 따라 분류함으로써 얼굴 표정을 식별할 수 있다. The face extraction unit 100 classifies facial expressions by classifying the facial expressions for the detected face regions according to a predetermined expression type (eg, joy, sadness, anger, surprise, fear, expressionless, disgusting, etc.) through a facial expression classification algorithm. Can be identified.

실루엣 추출부(110)는 객체에 대한 실루엣을 추출할 수 있다. 예를 들면, 도 3을 참조하면, 실루엣 추출부(110)는 실루엣 인식 알고리즘을 통해 입력　영상을 분석하여 객체의 형체를 인식하고, 객체의 형체와 전경을 구분함으로써 객체의 형체에 해당하는 영역을 구획할 수 있다. 이 때, 실루엣 추출부(110)는 구획된 객체의 형체에 해당하는 영역을 실루엣(301)으로 인식하여 추출할 수 있다. 실루엣 추출부(110)는 추출된 실루엣(301)에 임의의 색을 지정하거나, 테두리 또는 별도의 레이어를 겹치도록 하는 처리를 통해 실루엣(301)을 구분할 수 있도록 할 수 있다. The silhouette extraction unit 110 may extract a silhouette of an object. For example, referring to FIG. 3, the silhouette extraction unit 110 analyzes an input image through a silhouette recognition algorithm to recognize the shape of an object, and distinguishes the shape and foreground of the object, thereby identifying an area corresponding to the shape of the object. Can be partitioned. At this time, the silhouette extraction unit 110 may recognize and extract an area corresponding to the shape of the partitioned object as a silhouette 301. The silhouette extraction unit 110 may allow the silhouette 301 to be identified through a process of assigning an arbitrary color to the extracted silhouette 301 or overlapping a border or a separate layer.

이벤트 추정부(120)는 추출된 얼굴 영역 및 실루엣 중 적어도 하나를 분석하여 영상 내에서 이벤트의 발생 여부를 추정할 수 있다. The event estimator 120 may analyze at least one of the extracted face region and the silhouette to estimate whether an event has occurred in the image.

이벤트 추정부(120)는 추출된 얼굴 영역을 통해 객체가 응시하고 있는 방향을 분석하고, 얼굴 영역에서 인식된 객체의 표정 및 응시 방향에 기초하여 이벤트의 발생 여부를 추정할 수 있다. 예를 들면, 이벤트 추정부(120)는 영상 내 복수의 객체(군중)의 표정이 '놀란 표정 또는 두려운 표정'이고, 복수의 객체의 시선이 동일한 방향을 향해 있는 경우, 영상 내 복수의 객체가 위치한 부근에 이벤트가 발생했음을 추정할 수 있다. The event estimator 120 may analyze the direction in which the object is staring through the extracted face region, and estimate whether an event has occurred based on the expression and gaze direction of the object recognized in the face region. For example, in the event estimator 120, when the expressions of a plurality of objects (crowds) in the image are 'surprising expressions or fearful expressions', and the gazes of the plurality of objects are directed in the same direction, the plurality of objects in the image may be It can be assumed that an event has occurred in the vicinity of the location.

이벤트 추정부(120)는 추출된 얼굴 영역을 통해 객체가 응시하고 있는 방향 및 응시 시간을 분석하고, 얼굴 영역에서 인식된 표정, 분석된 응시 방향 및 응시 시간 중 적어도 하나에 기초하여 이벤트의 발생 여부를 추정할 수 있다. 예를 들면, 이벤트 추정부(120)는 영상 내 복수의 객체의 시선이 제 1 방향을 향해 있고, 제 1 방향으로의 응시 시간이 기설정된 시간을 초과하는 경우, 영상 내 복수의 객체가 위치한 부근에 이벤트가 발생했음을 추정할 수 있다. The event estimator 120 analyzes the direction and gaze time of the object through the extracted face region, and whether an event occurs based on at least one of the facial expression recognized in the face region, the analyzed gaze direction, and the gaze time. Can be estimated. For example, when the gazes of the plurality of objects in the image are directed toward the first direction and the gaze time in the first direction exceeds a preset time, the event estimator 120 is located near the plurality of objects in the image. It can be estimated that the event has occurred.

이벤트 추정부(120)는 얼굴 영역에서 인식된 얼굴 표정, 분석된 응시 방향 및 응시 시간 중 적어도 하나에 기초하여 이벤트의 발생 방향에 대한 정보를 분석할 수 있다. 예를 들면, 이벤트 추정부(120)는 영상 내 복수의 객체가 제 1 방향을 향해 있고, 제 1 방향으로의 응시 시간이 기설정된 시간을 초과하는 경우, 제 1 방향으로 이벤트가 발생했음을 추정할 수 있다. The event estimator 120 may analyze information on the occurrence direction of the event based on at least one of the facial expression recognized in the face region, the analyzed gaze direction, and the gaze time. For example, the event estimator 120 estimates that an event has occurred in the first direction when a plurality of objects in the image are in the first direction and the gaze time in the first direction exceeds a preset time. You can.

이벤트 추정부(120)는 추출된 실루엣으로부터 객체의 제스쳐에 대한 행위 정보를 분석하고, 객체의 제스쳐에 대한 행위 정보에 기초하여 이벤트의 발생 여부를 추정할 수 있다. 여기서, 객체의 제스쳐에 대한 행위 정보는 예를 들면, 객체의 움직임 정도, 움직임 방향, 행동 방식 등의 패턴 정보를 포함할 수 있다. The event estimator 120 may analyze behavior information on the gesture of the object from the extracted silhouette, and estimate whether an event has occurred based on the behavior information on the gesture of the object. Here, the behavior information on the gesture of the object may include pattern information such as the degree of movement of the object, the direction of movement, and the behavior.

이벤트 추정부(120)는 객체의 제스쳐에 대한 행위 정보(예컨대, 싸움, 공포, 즐거움 등 각각에 대응하는 행위)가 분류되는 행위 카테고리에 기초하여 이벤트의 종류를 추정할 수 있다. 예를 들면, 이벤트 추정부(120)는 객체의 제스쳐에 대한 행위 정보가 제 1 카테고리 범주로 분류되면, 발생 이벤트를 제 1 이벤트로 추정하고, 객체의 제스쳐에 대한 행위 정보가 제 2 카테고리 범주로 분류되면, 발생 이벤트를 제 2 이벤트로 추정할 수 있다. The event estimator 120 may estimate the type of the event based on the action category in which the action information (eg, action corresponding to each of fighting, fear, and pleasure) for the gesture of the object is classified. For example, when the event information on the gesture of the object is classified into the first category category, the event estimator 120 estimates the occurrence event as the first event, and the behavior information on the gesture of the object is classified into the second category category. Once classified, the occurrence event can be estimated as the second event.

이벤트 추정부(120)는 객체의 제스쳐에 대한 행위 정보로부터 객체의 이동 속도 및 이동 방향을 분석하고, 객체의 이동 속도 및 이동 방향에 기초하여 영상에서 발생된 이벤트에 대한 심각성 정도를 추정할 수 있다. 예를 들면, 이벤트 추정부(120)는 영상 내 복수의 객체의 이동 속도가 제 1 기준 이동 속도를 초과하는 경우, 발생 이벤트의 심각성을 제 1 심각성으로 추정하고, 복수의 객체의 이동 속도가 제 2 기준 이동 속도를 초과하는 경우, 발생 이벤트의 심각성을 제 2 심각성(제 1 심각성보다 위험 상황이 큼)으로 추정할 수 있다. The event estimator 120 may analyze the moving speed and the moving direction of the object from the behavior information on the gesture of the object, and estimate the severity of the event generated in the image based on the moving speed and the moving direction of the object. . For example, the event estimator 120 estimates the severity of the occurrence event as the first severity when the movement speeds of the plurality of objects in the image exceed the first reference movement speed, and the movement speeds of the plurality of objects are controlled. When the 2 reference movement speed is exceeded, the severity of the occurrence event can be estimated as the second severity (the risk situation is greater than the first severity).

위치 추정부(130)는 카메라가 설치된 위치 정보 및 영상에 포함된 적어도 하나의 객체의 평면 위치 정보에 기초하여 객체가 위치하는 3차원 위치 정보를 추정할 수 있다. 예를 들면, 기본적으로 사람이 존재하는 공간은 광장과 같은 평면적인 위치에 해당되기 때문에 영상 내의 평면 위치 정보와 카메라가 설치된 위치 정보 사이의 호모그라피(Homography) 기하 관계를 통해 카메라로부터 입력된 영상 내 객체의 위치에 대한 3차원 위치 정보를 추정할 수 있다. 영상 내에 객체가 존재하는 위치는 지면을 딛고 있는 객체의 발의 위치를 기준으로 설정할 수 있으나, 영상 내에 객체의 수가 많을 경우에는 영상 내 객체의 얼굴 위치를 기준으로 객체의 위치를 설정할 수도 있다. 이는, 기본적으로 카메라가 설치된 위치가 객체의 키보다 상대적으로 높은 위치에 설치되어 있으므로 객체의 얼굴을 기준으로 객체의 위치를 설정할 수 있다. The location estimator 130 may estimate the 3D location information on which the object is located based on the location information where the camera is installed and the plane location information of at least one object included in the image. For example, basically, a space where a person is present corresponds to a planar location such as a square, and thus, within the image input from the camera through a homography geometric relationship between the planar location information in the image and the location information where the camera is installed. It is possible to estimate 3D position information about the position of the object. The position of the object in the image may be set based on the position of the foot of the object on the ground, but when the number of objects in the image is large, the position of the object may be set based on the position of the face of the object in the image. This is, since the position where the camera is installed is installed at a position higher than the height of the object, the position of the object can be set based on the face of the object.

이벤트 추정부(120)는 얼굴 영역 및 실루엣 중 적어도 하나와 객체가 위치하는 3차원 위치 정보에 기초하여 영상 내에서 발생된 이벤트의 발생 위치 및 발생 방향에 대한 정보를 분석 및 추정할 수 있다. The event estimator 120 may analyze and estimate information on an occurrence location and an occurrence direction of an event generated in an image based on at least one of a face region and a silhouette and 3D location information on which an object is located.

제 11st 실시예Example (재난 상황에 대한 이벤트 추정 방법)(Event estimation method for disaster situation)

이벤트 추정부(120)는 영상 내 복수의 객체의 이동 방향, 이동 속도 및 얼굴 표정에 기초하여 발생된 이벤트의 종류(예컨대, 화재, 지진 등)를 추정할 수 있다. The event estimator 120 may estimate the type of events (eg, fire, earthquake, etc.) generated based on the moving direction, moving speed, and facial expression of a plurality of objects in the image.

이벤트 추정부(120)는 객체의 이동 방향에 기초하여 이벤트에 대한 대피 방향을 추정할 수 있다. The event estimator 120 may estimate the evacuation direction for the event based on the moving direction of the object.

위치 추정부(130)는 카메라가 설치된 위치 정보 및 영상에 포함된 적어도 하나의 객체의 평면 위치 정보에 기초하여 영상 내에서 발생된 이벤트의 발생 위치를 추정할 수 있다. 여기서, 이벤트의 발생 위치는 이벤트가 발생한 3차원 위치 정보를 의미한다. The location estimator 130 may estimate the occurrence location of the event generated in the image based on the location information of the camera and the location information of at least one object included in the image. Here, the location of occurrence of the event means 3D location information of the event.

이벤트 알림 전송부(140)는 영상 내 이벤트에 대한 위험을 감지하고, 대피하는 복수의 객체로부터 이벤트의 종류가 추정되면, 이벤트의 발생 위치 및 대피 방향을 포함하는 정보를 이벤트가 발생된 지점에 위치한 적어도 하나의 사용자 단말에게 전송할 수 있다. 이를 통해, 이벤트의 발생 상황을 감지하지 못하고 있는 객체에게 미리 이벤트 상황을 알림으로써 추가적인 피해를 최소화할 수 있다. The event notification transmitting unit 140 detects a risk for an event in an image, and when the type of the event is estimated from a plurality of evacuated objects, information including the location of occurrence of the event and the direction of evacuation is located at the point where the event occurred. It can be transmitted to at least one user terminal. Through this, additional damage can be minimized by informing the object that is not detecting the occurrence of the event in advance.

제 22nd 실시예Example (영화 선호도 조사 방법)(How to investigate movie preferences)

위치 추정부(130)는 영화관에 설치된 카메라의 위치 정보 및 카메라에 의해 촬영된 영상에 포함된 적어도 하나의 객체의 평면 위치 정보에 기초하여 객체가 위치하는 3차원 위치 정보를 추정할 수 있다. The location estimator 130 may estimate the 3D location information on which the object is located based on the location information of the camera installed in the movie theater and the plane location information of at least one object included in the image captured by the camera.

이벤트 추정부(120)는 추정된 객체의 3차원 위치 정보 및 객체가 응시하는 방향에 기초하여 영화관에 배치된 복수의 영화 포스터 중 객체의 시선이 머무는 영화 포스터를 판별할 수 있다. The event estimator 120 may determine a movie poster in which the gaze of the object stays among the plurality of movie posters disposed in the movie theater based on the estimated 3D location information of the object and the direction in which the object gazes.

이벤트 추정부(120)는 객체가 응시하고 있는 영화 포스터에 대한 객체의 응시 시간을 분석할 수 있다. The event estimator 120 may analyze the gaze time of the object with respect to the movie poster that the object is gazing.

선호도 조사부(150)는 영화 포스터에 대한 객체의 표정 및 분석된 응시 시간에 기초하여 영화 포스터에 대한 선호도를 조사할 수 있다. 예를 들면, 영화 포스터에 대한 객체의 표정이 즐거운 표정을 띠고 있고, 객체가 기설정된 최소 응시 시간을 초과하여 해당 영화 포스터를 바라보고 있는 경우, 해당 영화 포스터에 대하여 객체의 관심도가 높다고 판단될 수 있다. 만일, 객체가 기설정된 최소 응 시 시간 이하로 영화 포스터를 보고 있다면, 해당 영화 포스터에 대한 객체의 관심도는 낮다고 판단될 수 있다. The preference investigation unit 150 may investigate the preference for the movie poster based on the expression of the object on the movie poster and the analyzed gaze time. For example, if the expression of the object on the movie poster has a pleasant expression, and the object is looking at the movie poster beyond a preset minimum gaze time, it may be determined that the object interest in the movie poster is high. have. If the object is watching a movie poster less than a predetermined minimum gaze time, it may be determined that the object's interest in the movie poster is low.

선호도 조사부(150)는 영화 포스터에 대응하는 영화를 상영한 영화 상영관의 출구로 나오는 객체의 표정에 기초하여 영화에 대한 선호도(만족 또는 불만족 정도)를 조사할 수 있다. 예를 들면, 영화를 관람하고 나오는 객체의 표정이 웃음띤 표정을 띠고 있는 경우, 해당 영화에 대한 객체의 만족도가 높음으로 판단될 수 있다. The preference investigation unit 150 may investigate the preference (satisfaction or dissatisfaction) of the movie based on the expression of the object coming out of the exit of the movie theater showing the movie corresponding to the movie poster. For example, when the expression of an object coming out after watching a movie has a smiley expression, it can be determined that the object satisfaction with the movie is high.

제 3Third 실시예Example (상품 선호도 조사 방법)(Product preference survey method)

선호도 조사부(150)는 진열대에 진열된 복수의 상품별로 반응하는 객체의 표정에 기초하여 각 상품에 대한 선호도를 조사할 수 있다.The preference investigation unit 150 may examine the preferences for each product based on the expressions of objects reacting for each of the plurality of products displayed on the display stand.

선호도 조사부(150)는 객체가 응시하는 상품에 대한 객체의 표정 및 응시 시간에 기초하여 해당 상품에 대한 선호도를 조사할 수 있다.The preference investigation unit 150 may investigate the preference for the corresponding product based on the expression and gaze time of the object for the product that the object gazes at.

선호도 조사부(150)는 진열대에 진열된 상품과 관련하여 분석된 객체의 제스쳐에 대한 행위 정보(이동 속도, 이동 방향 등)에 기초하여 상품의 광고 효과에 대한 접근성을 분석할 수 있다. 선호도 조사부(150)는 특정 상품에 접근하는 객체의 3차원 위치 정보 및 행동 정보를 통해 해당 상품으로부터 어느 정도의 거리에서부터 객체가 해당 상품을 인지하기 시작했는지를 분석함으로써 상품의 광고 효과에 대한 접근성을 파악할 수 있다. The preference investigation unit 150 may analyze accessibility to the advertising effect of the product based on the behavior information (movement speed, movement direction, etc.) of the gesture of the analyzed object in relation to the product displayed on the display stand. The preference investigation unit 150 analyzes how far the object has started to recognize the product from the product through 3D location information and behavior information of the object accessing the specific product, thereby improving accessibility to the advertising effect of the product. Can grasp.

제 44th 실시예Example (위급 환자 추정 방법)(Emergency patient estimation method)

이벤트 추정부(120)는 고통을 겪고 있는 환자의 표정 및 제스쳐에 대한 행동 정보로부터 위급 상황을 감지할 수 있고, 환자가 의식이 없거나 환자의 얼굴이 주변 사람들로부터 가려진 경우, 환자의 실루엣, 주변 사람들의 실루엣 및 주변 사람들의 표정에 기초하여 위급 상황을 추정할 수 있다. The event estimator 120 may detect an emergency situation from behavioral information about the facial expression and gesture of a patient suffering from pain, and when the patient is unconscious or the patient's face is obscured by people around him, the patient's silhouette, people around him The emergency situation can be estimated based on the silhouette and the expressions of the people around them.

한편, 당업자라면, 얼굴 추출부(100), 실루엣 추출부(110), 이벤트 추정부(120), 위치 추정부(130), 이벤트 알림 전송부(140) 및 선호도 조사부(150) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다. On the other hand, those skilled in the art, the face extraction unit 100, the silhouette extraction unit 110, the event estimation unit 120, the location estimation unit 130, the event notification transmission unit 140 and the preference investigation unit 150 are each separated It will be fully understood that one or more of these may be implemented or implemented.

4는 본 발명의 일 실시예에 따른, 영상 내 이벤트를 추정하는 방법을 나타낸 흐름도이다. 4 is a flowchart illustrating a method for estimating an event in an image according to an embodiment of the present invention.

도 4를 참조하면, 단계 S401에서 이벤트 추정 장치(10)는 카메라로부터 입력받은 영상으로부터 영상에 포함된 적어도 하나의 객체의 얼굴 영역을 추출할 수 있다. Referring to FIG. 4, in step S401, the event estimation apparatus 10 may extract a face region of at least one object included in the image from the image received from the camera.

단계 S403에서 이벤트 추정 장치(10)는 영상에 포함된 적어도 하나의 객체에 대한 실루엣을 추출할 수 있다. In step S403, the event estimation apparatus 10 may extract a silhouette of at least one object included in the image.

단계 S405에서 이벤트 추정 장치(10)는 추출된 얼굴 영역 및 실루엣 중 적어도 하나를 분석하여 영상 내에서 이벤트의 발생 여부를 추정할 수 있다. In step S405, the event estimation apparatus 10 may analyze at least one of the extracted face region and the silhouette to estimate whether an event has occurred in the image.

상술한 설명에서, 단계 S401 내지 S405는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.In the above description, steps S401 to S405 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present invention. In addition, some steps may be omitted if necessary, and the order between the steps may be changed.

도 5는 본 발명의 일 실시예에 따른, 영상 내 재난 발생의 이벤트 추정 및 알림 방법을 나타낸 흐름도이다. 5 is a flowchart illustrating a method for estimating and notifying an event of a disaster in an image according to an embodiment of the present invention.

도 5를 참조하면, 단계 S501에서 이벤트 추정 장치(10)는 카메라로부터 입력받은 영상으로부터 영상에 포함된 적어도 하나의 객체의 얼굴 영역을 추출할 수 있다. Referring to FIG. 5, in step S501, the event estimation apparatus 10 may extract a face region of at least one object included in the image from the image received from the camera.

단계 S503에서 이벤트 추정 장치(10)는 영상에 포함된 적어도 하나의 객체에 대한 실루엣을 추출할 수 있다. In step S503, the event estimation apparatus 10 may extract a silhouette of at least one object included in the image.

단계 S505에서 이벤트 추정 장치(10)는 추출된 실루엣으로부터 객체의 제스쳐에 대한 행위 정보를 분석할 수 있다. In step S505, the event estimation apparatus 10 may analyze the behavior information on the gesture of the object from the extracted silhouette.

단계 S507에서 이벤트 추정 장치(10)는 얼굴 영역에서 인식된 표정 및 객체의 제스쳐에 대한 행위 정보에 기초하여 이벤트의 발생 여부를 추정할 수 있다. In step S507, the event estimating apparatus 10 may estimate whether an event has occurred based on the facial information recognized in the face region and the behavior information on the gesture of the object.

단계 S509에서 이벤트 추정 장치(10)는 카메라가 설치된 위치 정보 및 영상에 포함된 적어도 하나의 객체의 평면 위치 정보에 기초하여 영상 내에서 발생된 이벤트의 발생 위치를 분석할 수 있다. In step S509, the event estimation apparatus 10 may analyze the occurrence location of the event generated in the image based on the location information of the camera installed and the plane location information of at least one object included in the image.

단계 S511에서 이벤트 추정 장치(10)는 객체의 이동 방향에 기초하여 발생된 이벤트에 대한 대피 방향을 추정할 수 있다. In step S511, the event estimation apparatus 10 may estimate the evacuation direction for the generated event based on the moving direction of the object.

단계 S513에서 이벤트 추정 장치(10)는 이벤트의 발생 위치 및 대피 방향을 포함하는 정보를 이벤트가 발생된 지점에 위치한 적어도 하나의 사용자 단말에게 전송할 수 있다. In step S513, the event estimation apparatus 10 may transmit information including the location of occurrence of the event and the evacuation direction to at least one user terminal located at the point where the event occurred.

상술한 설명에서, 단계 S501 내지 S513은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.In the above description, steps S501 to S513 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present invention. In addition, some steps may be omitted if necessary, and the order between the steps may be changed.

도 6은 본 발명의 일 실시예에 따른, 영상 내 영화에 대한 객체의 선호도를 조사하는 방법을 나타낸 흐름도이다. 6 is a flowchart illustrating a method of examining an object's preference for a movie in an image according to an embodiment of the present invention.

도 6을 참조하면, 단계 S601에서 이벤트 추정 장치(10)는 영화관에 배치된 복수의 영화 포스터 중 객체가 응시하고 있는 영화 포스터에 대한 객체의 응시 시간을 분석할 수 있다. Referring to FIG. 6, in step S601, the event estimation apparatus 10 may analyze the gaze time of the object for the movie poster that the object is staring at among the plurality of movie posters disposed in the movie theater.

단계 S603에서 이벤트 추정 장치(10)는 영화 포스터에 대한 객체의 표정 및 분석된 응시 시간에 기초하여 객체가 응시하고 있는 영화 포스터에 대한 선호도를 조사할 수 있다. In step S603, the event estimation apparatus 10 may examine the preference of the movie poster that the object is staring at, based on the expression of the object and the analyzed gaze time.

단계 S605에서 이벤트 추정 장치(10)는 영화 포스터에 대응하는 영화를 상영한 영화 상영관의 출구로 나오는 객체의 표정에 기초하여 영화에 대한 선호도를 조사할 수 있다. In step S605, the event estimation apparatus 10 may examine the preference for the movie based on the expression of the object coming out of the exit of the movie theater showing the movie corresponding to the movie poster.

상술한 설명에서, 단계 S601 내지 S605는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.In the above description, steps S601 to S605 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present invention. In addition, some steps may be omitted if necessary, and the order between the steps may be changed.

도 7은 본 발명의 일 실시예에 따른, 영상 내 상품의 광고 효과 및 상품에 대한 객체의 선호도를 조사하는 방법을 나타낸 흐름도이다.7 is a flowchart illustrating a method of examining an advertisement effect of a product in a video and a preference of an object for a product according to an embodiment of the present invention.

도 7을 참조하면, 단계 S701에서 이벤트 추정 장치(10)는 카메라로부터 입력받은 영상으로부터 영상에 포함된 적어도 하나의 객체의 얼굴 영역을 추출하고, 추출된 얼굴 영역의 표정을 인식할 수 있다. Referring to FIG. 7, in step S701, the event estimation apparatus 10 may extract the face region of at least one object included in the image from the image received from the camera, and recognize the facial expression of the extracted face region.

단계 S703에서 이벤트 추정 장치(10)는 영상에 포함된 적어도 하나의 객체에 대한 실루엣을 추출할 수 있다. In step S703, the event estimation apparatus 10 may extract a silhouette of at least one object included in the image.

단계 S705에서 이벤트 추정 장치(10)는 실루엣으로부터 객체의 제스쳐에 대한 행위 정보를 분석할 수 있다. In step S705, the event estimation apparatus 10 may analyze the behavior information on the gesture of the object from the silhouette.

단계 S707에서 이벤트 추정 장치(10)는 진열대에 배치된 상품과 관련하여 분석된 객체의 제스쳐에 대한 행위 정보에 기초하여 상품의 광고 효과에 대한 접근성을 분석할 수 있다. In step S707, the event estimation apparatus 10 may analyze the accessibility of the advertisement effect of the product based on the behavior information on the gesture of the analyzed object in relation to the product placed on the display stand.

단계 S709에서 이벤트 추정 장치(10)는 상품을 응시하는 객체의 표정 및 응시 시간에 기초하여 상품에 대한 선호도를 조사할 수 있다. In step S709, the event estimation apparatus 10 may examine the preference for the product based on the expression and the gaze time of the object gazing at the product.

상술한 설명에서, 단계 S701 내지 S709는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.In the above description, steps S701 to S709 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present invention. In addition, some steps may be omitted if necessary, and the order between the steps may be changed.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. One embodiment of the present invention may also be implemented in the form of a recording medium including instructions executable by a computer, such as program modules, being executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, the computer-readable medium may include any computer storage medium. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. The above description of the present invention is for illustration only, and a person having ordinary knowledge in the technical field to which the present invention pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.

본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts should be interpreted to be included in the scope of the present invention. .

10: 이벤트 추정 장치
100: 얼굴 추출부
110: 실루엣 추출부
120: 이벤트 추정부
130: 위치 추정부
140: 이벤트 알림 전송부
150: 선호도 조사부10: event estimation device
100: face extraction unit
110: silhouette extraction unit
120: event estimation unit
130: position estimation unit
140: event notification sending unit
150: preference investigation unit

Claims (18)

영상 내 이벤트를 추정하는 장치에 있어서,
카메라로부터 입력받은 영상으로부터 상기 영상에 포함된 적어도 하나의 객체의 얼굴 영역을 추출하는 얼굴 추출부;
상기 객체에 대한 실루엣을 추출하는 실루엣 추출부; 및
상기 얼굴 영역 및 상기 실루엣 중 적어도 하나를 분석하여 상기 영상 내에서 이벤트의 발생 여부를 추정하는 이벤트 추정부
를 포함하는 이벤트 추정 장치.
In the apparatus for estimating the event in the video,
A face extraction unit extracting a face region of at least one object included in the image from the image input from the camera;
A silhouette extraction unit for extracting a silhouette for the object; And
An event estimator that estimates whether an event has occurred in the image by analyzing at least one of the face region and the silhouette
Event estimation device comprising a.
제 1 항에 있어서,
상기 얼굴 추출부는 상기 영상의 해상도를 낮추어 상기 얼굴 영역을 추출하고, 상기 영상의 원본 해상도로 상기 추출된 각 얼굴 영역에 대해 표정을 인식하는 것인, 이벤트 추정 장치.
According to claim 1,
The face extractor extracts the face region by lowering the resolution of the image, and recognizes an expression for each extracted face region at the original resolution of the image.
제 2 항에 있어서,
상기 이벤트 추정부는
상기 추출된 얼굴 영역을 통해 상기 객체가 응시하고 있는 방향 및 응시 시간을 분석하고,
상기 얼굴 영역에서 인식된 표정, 상기 분석된 응시 방향 및 상기 응시 시간 중 적어도 하나에 기초하여 상기 이벤트의 발생 여부를 추정하는 것인, 이벤트 추정 장치.
According to claim 2,
The event estimator
The direction and gaze time of the object are analyzed through the extracted face region,
And estimating whether the event has occurred based on at least one of the facial expression recognized in the face region, the analyzed gaze direction, and the gaze time.
제 3 항에 있어서,
상기 이벤트 추정부는
상기 얼굴 영역에서 인식된 얼굴 표정, 상기 분석된 응시 방향 및 상기 응시 시간 중 적어도 하나에 기초하여 상기 이벤트의 발생 방향에 대한 정보를 분석하는 것인, 이벤트 추정 장치.
The method of claim 3,
The event estimator
The event estimation apparatus analyzes information on an occurrence direction of the event based on at least one of a facial expression recognized in the face area, the analyzed gaze direction, and the gaze time.
제 1 항에 있어서,
상기 이벤트 추정부는
상기 실루엣으로부터 상기 객체의 제스쳐에 대한 행위 정보를 분석하고,
상기 객체의 제스쳐에 대한 행위 정보에 기초하여 상기 이벤트의 발생 여부를 추정하는 것인, 이벤트 추정 장치.
According to claim 1,
The event estimator
Analyze behavior information on the gesture of the object from the silhouette,
The event estimation apparatus estimates whether the event has occurred based on behavior information on the gesture of the object.
제 5 항에 있어서,
상기 이벤트 추정부는
상기 실루엣으로부터 상기 객체의 이동 속도 및 이동 방향을 분석하고,
상기 객체의 이동 속도 및 이동 방향에 기초하여 상기 영상에서 발생된 이벤트에 대한 심각성 정도를 추정하는 것인, 이벤트 추정 장치.
The method of claim 5,
The event estimator
Analyze the moving speed and the moving direction of the object from the silhouette,
And estimating the severity of the event generated in the image based on the moving speed and the moving direction of the object.
제 1 항에 있어서,
상기 카메라가 설치된 위치 정보 및 상기 영상에 포함된 적어도 하나의 객체의 평면 위치 정보에 기초하여 상기 객체가 위치하는 3차원 위치 정보를 추정하는 위치 추정부를 더 포함하는 것인, 이벤트 추정 장치.
According to claim 1,
And a location estimator for estimating 3D location information on which the object is located based on the location information on which the camera is installed and the plane location information of at least one object included in the image.
제 7 항에 있어서,
상기 이벤트 추정부는
상기 얼굴 영역 및 상기 실루엣 중 적어도 하나와 상기 추정된 3차원 위치 정보에 기초하여 상기 영상 내에서 발생된 이벤트의 발생 위치 및 발생 방향에 대한 정보를 분석하는 것인, 이벤트 추정 장치.
The method of claim 7,
The event estimator
The event estimation apparatus analyzes information on an occurrence position and an occurrence direction of an event generated in the image based on at least one of the face region and the silhouette and the estimated 3D position information.
이벤트 추정 장치에 의해 영상 내 이벤트를 추정하는 방법에 있어서,
카메라로부터 입력받은 영상으로부터 상기 영상에 포함된 적어도 하나의 객체의 얼굴 영역을 추출하는 단계;
상기 객체에 대한 실루엣을 추출하는 단계; 및
상기 얼굴 영역 및 상기 실루엣 중 적어도 하나를 분석하여 상기 영상 내에서 이벤트의 발생 여부를 추정하는 단계
를 포함하는 이벤트 추정 방법.
In the method for estimating the event in the video by the event estimation device,
Extracting a face region of at least one object included in the image from the image received from the camera;
Extracting a silhouette for the object; And
Estimating whether an event occurs in the image by analyzing at least one of the face region and the silhouette
Event estimation method comprising a.
제 9 항에 있어서,
상기 영상 내에서 이벤트의 발생 여부를 추정하는 단계는
상기 추출된 얼굴 영역을 통해 상기 객체가 응시하고 있는 방향 및 응시 시간을 분석하는 단계 및
상기 얼굴 영역에서 인식된 표정, 상기 분석된 응시 방향 및 상기 응시 시간 중 적어도 하나에 기초하여 상기 이벤트의 발생 여부를 추정하는 단계를 포함하는 것인, 이벤트 추정 방법.
The method of claim 9,
Estimating whether an event has occurred in the image is
Analyzing a direction and gaze time of the object through the extracted face region; and
And estimating whether the event has occurred based on at least one of the facial expression recognized in the face region, the analyzed gaze direction, and the gaze time.
제 9 항에 있어서,
상기 영상 내에서 이벤트의 발생 여부를 추정하는 단계는
상기 실루엣으로부터 상기 객체의 제스쳐에 대한 행위 정보를 분석하는 단계 및
상기 객체의 제스쳐에 대한 행위 정보에 기초하여 상기 이벤트의 발생 여부를 추정하는 단계를 포함하는 것인, 이벤트 추정 방법.
The method of claim 9,
Estimating whether an event has occurred in the image is
Analyzing behavior information on the gesture of the object from the silhouette; and
And estimating whether or not the event has occurred based on action information on the gesture of the object.
제 11 항에 있어서,
상기 객체의 제스쳐에 대한 행위 정보를 분석하는 단계는
상기 실루엣으로부터 상기 객체의 이동 속도 및 이동 방향을 분석하고,
상기 객체의 이동 속도 및 이동 방향에 기초하여 상기 영상에서 발생된 이벤트에 대한 심각성 정도를 추정하는 단계를 포함하는 것인, 이벤트 추정 방법.
The method of claim 11,
The step of analyzing behavior information on the gesture of the object
Analyze the moving speed and the moving direction of the object from the silhouette,
And estimating the severity of the event generated in the image based on the moving speed and the moving direction of the object.
제 12 항에 있어서,
상기 카메라가 설치된 위치 정보 및 상기 영상에 포함된 적어도 하나의 객체의 평면 위치 정보에 기초하여 상기 영상 내에서 발생된 이벤트의 발생 위치를 분석하는 단계;
상기 객체의 이동 방향에 기초하여 상기 이벤트에 대한 대피 방향을 추정하는 단계; 및
상기 이벤트의 발생 위치 및 상기 대피 방향을 포함하는 정보를 상기 이벤트가 발생된 지점에 위치한 적어도 하나의 사용자 단말에게 전송하는 단계를 더 포함하는 것인, 이벤트 추정 방법.
The method of claim 12,
Analyzing an occurrence location of an event generated in the image based on the location information on which the camera is installed and the plane location information of at least one object included in the image;
Estimating an evacuation direction for the event based on the movement direction of the object; And
And transmitting information including the location of occurrence of the event and the evacuation direction to at least one user terminal located at the point where the event occurred.
제 9 항에 있어서,
영화관에 배치된 복수의 영화 포스터 중 상기 객체가 응시하고 있는 영화 포스터에 대한 상기 객체의 응시 시간을 분석하고,
상기 영화 포스터에 대한 상기 객체의 표정 및 상기 분석된 응시 시간에 기초하여 상기 영화 포스터에 대한 선호도를 조사하는 단계를 더 포함하는 것인, 이벤트 추정 방법.
The method of claim 9,
Analyze the gaze time of the object with respect to the movie poster that the object is staring at among the plurality of movie posters arranged in the cinema,
And examining the preference for the movie poster based on the expression of the object on the movie poster and the analyzed gaze time.
제 14 항에 있어서,
상기 영화 포스터에 대응하는 영화를 상영한 영화 상영관의 출구로 나오는 상기 객체의 표정에 기초하여 상기 영화에 대한 선호도를 조사하는 단계를 더 포함하는 것인, 이벤트 추정 방법.
The method of claim 14,
And examining the preference for the movie based on the expression of the object coming out of the exit of the movie theater showing the movie corresponding to the movie poster.
제 11 항에 있어서,
진열대에 배치된 상품과 관련하여 분석된 상기 객체의 제스쳐에 대한 행위 정보에 기초하여 상기 상품의 광고 효과에 대한 접근성을 분석하는 단계를 포함하는 것인, 이벤트 추정 방법.
The method of claim 11,
And analyzing accessibility to the advertising effect of the product based on behavior information on the gesture of the object analyzed in relation to the product placed on the display stand.
제 16 항에 있어서,
상기 상품을 응시하는 상기 객체의 표정 및 응시 시간에 기초하여 상기 상품에 대한 선호도를 조사하는 단계를 더 포함하는 것인, 이벤트 추정 방법.
The method of claim 16,
And examining a preference for the product based on the expression and gaze time of the object gazing at the product.
영상 내 이벤트를 추정하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우,
카메라로부터 입력받은 영상으로부터 상기 영상에 포함된 적어도 하나의 객체의 얼굴 영역을 추출하고,
상기 객체에 대한 실루엣을 추출하고,
상기 얼굴 영역 및 상기 실루엣 중 적어도 하나를 분석하여 상기 영상 내에서 이벤트의 발생 여부를 추정하도록 하는 명령어들의 시퀀스를 포함하는, 매체에 저장된 컴퓨터 프로그램. A computer program stored in a medium including a sequence of instructions for estimating an event in an image,
When the computer program is executed by a computing device,
The face region of at least one object included in the image is extracted from the image input from the camera,
Extract a silhouette for the object,
And a sequence of instructions for analyzing at least one of the face region and the silhouette to estimate whether an event has occurred in the image.
KR1020180122056A 2018-10-12 2018-10-12 Device, method and computer program for assuming event within video KR20200041673A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180122056A KR20200041673A (en) 2018-10-12 2018-10-12 Device, method and computer program for assuming event within video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180122056A KR20200041673A (en) 2018-10-12 2018-10-12 Device, method and computer program for assuming event within video

Publications (1)

Publication Number Publication Date
KR20200041673A true KR20200041673A (en) 2020-04-22

Family

ID=70472995

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180122056A KR20200041673A (en) 2018-10-12 2018-10-12 Device, method and computer program for assuming event within video

Country Status (1)

Country Link
KR (1) KR20200041673A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101549645B1 (en) 2014-01-28 2015-09-03 영남대학교 산학협력단 Method and apparatus of recognizing facial expression using motion dictionary

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101549645B1 (en) 2014-01-28 2015-09-03 영남대학교 산학협력단 Method and apparatus of recognizing facial expression using motion dictionary

Similar Documents

Publication Publication Date Title
US11106920B2 (en) People flow estimation device, display control device, people flow estimation method, and recording medium
JP6915542B2 (en) Information processing equipment, notification system, information transmission method and program
WO2018168095A1 (en) Person trend recording device, person trend recording method, and program
EP3284395B1 (en) Line-of-sight detection device, line-of-sight detection method, and line-of-sight detection program
JP6440327B2 (en) Crime prevention system, crime prevention method, and robot
JP2011029737A (en) Surveillance image retrieval apparatus and surveillance system
JP2011248836A (en) Residence detection system and program
JP6498900B2 (en) Advertisement evaluation system, advertisement evaluation method
JP7416165B2 (en) information processing equipment
US20180157898A1 (en) Facial recognition system, facial recognition server, and facial recognition method
KR20210030060A (en) Event monitoring system and method based on face image
JP2016015579A (en) Information processing apparatus,information processing method and program
JP6593949B1 (en) Information processing apparatus and marketing activity support apparatus
KR101847446B1 (en) Apparatus and method for eye-tracking base on cognition data network
US11144763B2 (en) Information processing apparatus, image display method, and non-transitory computer-readable storage medium for display control
US20150286865A1 (en) Coordination of object location data with video data
US20160196576A1 (en) Systems, devices, and methods of measuring an advertising campaign
JP7110738B2 (en) Information processing device, program and information processing system
KR20200041673A (en) Device, method and computer program for assuming event within video
US20220276705A1 (en) Information processing method, information processing device, and non-transitory computer readable storage medium
KR20200142827A (en) System for service shopping mall of using eye tracking technology and computing device for executing the same
WO2020016861A1 (en) Method and system for conducting electronic commerce and retailing using emotion detection
JP7423904B2 (en) Information output device, method, and program
JP2017167985A (en) Notification control program, notification control method and notification control device
US11380187B2 (en) Information processing apparatus, control method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal