KR20220141083A

KR20220141083A - exhibition hall management system that includes a facial recognition process based on artificial intelligence technology

Info

Publication number: KR20220141083A
Application number: KR1020210047191A
Authority: KR
Inventors: 김규태; 유민규
Original assignee: 고벤트 주식회사
Priority date: 2021-04-12
Filing date: 2021-04-12
Publication date: 2022-10-19

Abstract

The present invention provides an exhibition hall management system which recognizes a face or an identifier to use the face or the identifier. The present invention eliminates the need for issuing an expensive RF card in comparison to a conventional RF card method, and eliminates the need for management effort and costs such as reissuing caused by loss. Also, the time required for registration is much shortened and visitor inconvenience is resolved. Also, staying time identification, moving path identification, response identification, etc. are possible to be used as useful information. Also, general visitors and important buyers can be separated and managed. In the case of important buyers, a separate alarm message is provided for a booth terminal to allow quick, effective, and selective response in accordance with a customer level.

Description

{exhibition hall management system that includes a facial recognition process based on artificial intelligence technology}

본 발명은 인공 지능 기술에 기반하는 안면 인식 과정을 포함하는 전시장 관리 시스템에 관한 것이다.The present invention relates to an exhibition hall management system including a facial recognition process based on artificial intelligence technology.

본 발명은 전시장에서 사용되는 관리 시스템에 관한 것으로서, 얼굴 또는 식별자를 영상 인식하여 이를 활용하는 전시장 관리 시스템에 관한 것이다.The present invention relates to a management system used in an exhibition hall, and to an exhibition hall management system that recognizes an image of a face or an identifier and utilizes the image recognition.

전시장에서 이루어지는 각종 박람회 등에서의 방문객 관리는 입장권 판매에 의한 방식이 주를 이루고 있으나, 최근 RF 카드에 의한 방식이 종종 사용되고 있다.The method of visitor management at various expositions in the exhibition hall is mainly through ticket sales, but recently, the method by RF card is often used.

RF 카드를 사용할 경우 방문객 정보가 미리 입력되어 보다 철저하게 관리할 수 있다는 장점이 있으나, 고가의 RF 카드 발급 및 분실시 재발급하여야 하는 문제, 등록 및 입장시 카드 리더기에 의한 리딩 및 라이팅이 필요하여 상당한 시간이 소요된다는 문제가 있다.The advantage of using an RF card is that visitor information is entered in advance and can be managed more thoroughly. The problem is that it takes time.

또한, 전시장에 입점한 업체 입장에서는, 중요한 바이어가 일반 고객과 함께 섞여서 방문하는바, 일반 고객을 응대하다가 정작 중요한 바이어에 대한 응대를 하지 못하는 문제점이 여전히 발생한다.In addition, from the standpoint of the companies entering the exhibition hall, there is still a problem that important buyers are mixed with general customers to visit, and they cannot respond to important buyers while serving general customers.

더욱이, 전시가 종료된 후 전시장에서 전시된 물품에 대한 반응을 확인하여야 차후 개발 방향 등을 설정할 수 있음에도, 그러한 반응은 오직 업체 참가 직원의 느낌에만 의존한다는 문제가 있다.Moreover, there is a problem that such a reaction depends only on the feelings of the employees participating in the company, even though the future development direction can be set only by checking the reaction to the items displayed in the exhibition hall after the exhibition is over.

한편, 최근 얼굴을 인식하여 사람을 식별하는 기술이 발전하고 있다.On the other hand, technology for recognizing a person by recognizing a face has recently been developed.

한국 공개특허 제10-2011-0076856호 및 한국 공개특허 제10-2011-0092848호의 경우, 안면 인덱스를 활용하여 위치 및 시간 정보를 관리하는 시스템을 개시한다. 상기 특허들은 얼굴을 인식하고 이를 통하여 그 사람의 위치를 시간에 따라 추적하는 기술을 개시한다.In the case of Korean Patent Application Laid-Open No. 10-2011-0076856 and Korean Patent Publication No. 10-2011-0092848, a system for managing location and time information using a facial index is disclosed. The above patents disclose a technique for recognizing a face and tracking a person's location over time through this.

그러나 상기의 특허들에서는 얼굴 인식을 이용한 동선을 제공하는데 그치고 있어서, 실질적 산업 분야에 적용하려는 시도는 기재되지 않는다.However, since the above patents only provide movement lines using facial recognition, attempts to apply them to practical industrial fields are not described.

한편, 미국 등록특허 제7,120,880호는 얼굴의 표정 변화의 변화에 따라 그 사람의 기분을 호응도(interest level)로서 객관적 수치로 제공하는 방법을 개시하고 있다.Meanwhile, U.S. Patent No. 7,120,880 discloses a method of providing a person's mood as an objective value as an interest level according to a change in facial expression change.

이에 본 발명은 전술한 바와 같은 종래 기술의 문제점을 해결하고자 한다.Accordingly, the present invention aims to solve the problems of the prior art as described above.

기존이 RF 카드 방식이 갖고 있었던, 고가의 RF 카드 관리의 문제, 등록시 다수의 시간이 소요되어 전시장 입장 고객이 상당 시간 줄을 서야만 하는 문제, 체류시간 확인 및 동선 확인이 불가능하였던 문제 등을 해결하고자 한다.The existing RF card system solves the problem of expensive RF card management, registration takes a lot of time, so customers have to stand in line for a considerable amount of time to enter the exhibition hall, and it is impossible to check the stay time and check the movement route, etc. want to

또한, 부스 입점 업체 입장에서, 일반 고객과 중요 바이어를 구분하여 선택적으로 효과적인 응대를 할 수 있는 시스템을 제공하고자 한다.In addition, from the standpoint of booth entrants, we want to provide a system that can selectively and effectively respond to customers by differentiating between general customers and important buyers.

또한, 전시가 종료된 후, 전시장 개최 측에서 이를 평가할 수 있는 객관적인 정보를 제공받을 수 있고, 부스 입점 업체 입장에서 제품에 대한 반응을 확인할 수 있는 유용한 정보를 제공할 수 있는 시스템을 제공하고자 한다.In addition, after the exhibition is over, we want to provide a system that can provide objective information that can be evaluated by the exhibition venue host side, and that can provide useful information from the standpoint of booth entrants to check reactions to products.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the description below. will be able

상기와 같은 과제를 해결하기 위해, 본 발명은 방문객의 정보 및 영상을 등록 데이터베이스(610)에 매핑하여 입력하는 등록 관리 모듈(510); VIP로서 기 설정된 방문객이 입력되는 VIP 관리 모듈(511); 및 부스 카메라(310)가 확인한 영상에 매핑되는 방문객을 상기 등록 데이터베이스(610)에서 확인함으로써 부스에 방문객이 접근하였음을 확인하는 부스 접근 확인 모듈(540);을 포함하는 메인 서버(500); 및 상기 메인 서버(500)와 소통하는 송수신부(700)를 포함하는 영상 인식을 이용한 전시장 관리 시스템으로서, 상기 방문객의 영상은, 방문객의 얼굴이거나 또는 방문객에 부착되도록 기 설정된 식별자이며, 그리고 상기 부스 접근 확인 모듈(540)에서 확인한 방문객이 기 설정된 VIP인 경우, 상기 등록 데이터베이스(610)에 입력된 상기 VIP의 정보가 상기 부스 카메라(310)가 설치된 부스(300)에 상응하는 부스 단말기(800)에 전송되는 것을 특징으로 하는, 영상 인식을 이용한 전시장 관리 시스템을 제공한다.In order to solve the above problems, the present invention provides a registration management module 510 for mapping and inputting visitor information and images to the registration database 610; a VIP management module 511 to which a visitor preset as a VIP is input; and a booth access confirmation module 540 that confirms that the visitor has approached the booth by checking the visitor mapped to the image confirmed by the booth camera 310 in the registration database 610; a main server 500 including; and a transceiver 700 that communicates with the main server 500 as an exhibition hall management system using image recognition, wherein the visitor's image is a visitor's face or an identifier preset to be attached to the visitor, and the booth When the visitor confirmed by the access confirmation module 540 is a preset VIP, the information of the VIP input to the registration database 610 corresponds to the booth 300 in which the booth camera 310 is installed. It provides an exhibition hall management system using image recognition, characterized in that it is transmitted to.

상기 과제를 해결하기 위한 일실시예에 따른 딥 러닝 기반 3D 데이터 생성 방법은, 얼굴을 포함하는 이미지를 획득하는 단계; 상기 이미지에서 상기 얼굴의 적어도 일부를 포함하는 관심 영역(region of interest)을 추출하는 단계; 상기 관심 영역에 기초하여, 컨볼루션 신경망(convolutional neural network)의 인풋 레이어(input layer)에 대응하는 입력을 생성하는 단계; 상기 입력을 상기 컨볼루션 신경망에 적용하여, 상기 컨볼루션 신경망에 의해 생성된 출력을 획득하는 단계; 및 상기 출력에 기초하여, 상기 얼굴 내 미리 정의된 부위들에 각각 대응하는 위치들을 포함하는 얼굴의 3D 데이터를 생성하는 단계를 포함할 수 있다.A method for generating 3D data based on deep learning according to an embodiment for solving the above problem includes: acquiring an image including a face; extracting a region of interest including at least a part of the face from the image; generating an input corresponding to an input layer of a convolutional neural network based on the region of interest; applying the input to the convolutional neural network to obtain an output generated by the convolutional neural network; and generating, based on the output, 3D data of the face including positions respectively corresponding to predefined parts in the face.

일실시예에 따르면, 상기 얼굴의 3D 데이터를 생성하는 단계는 상기 컨볼루션 신경망에서, 상기 얼굴 내 제1 부위에 대응하는 제1 출력 노드들로부터 각각 획득된 제1 출력 값들을 조합하여, 상기 제1 부위에 대응하는 제1 값들을 생성하는 단계; 상기 상수들로부터 상기 제1 부위에 대응하는 제1 상수를 획득하는 단계; 상기 미리 설정된 그룹들-상기 그룹들에서, 상기 상수들의 적어도 일부는 중복이 허용되어 서로 다른 그룹들에 포함됨-마다 상기 제1 상수가 포함되어 있는지 여부를 판단하여, 상기 부위들을 서로 중첩시켜 상기 미리 설정된 그룹들 중 상기 제1 상수가 포함되는 제1 그룹 및 제2 그룹을 식별하는 단계; 상기 제1 그룹 내 상수들의 시퀀스 내에서, 상기 제1 상수의 순서를 식별하여 상기 제1 값들을 상기 제1 그룹 내 상기 식별된 순서에 포함시키는 단계; 상기 제2 그룹 내 상수들의 시퀀스 내에서, 상기 제1 상수의 순서를 식별하여 상기 제1 값들을 상기 제2 그룹 내 상기 식별된 순서에 포함시키는 단계; 및 상기 제1 그룹의 상수들 및 상기 제2 그룹의 상수들의 합집합의 시퀀스에서, 상기 제1 그룹의 상수들과 상기 제2 그룹의 상수들의 교집합에 포함되는 상기 제1 상수와 대응하는 순서를 참조하여, 상기 제1 그룹의 상수들과 대응하는 얼굴 내 미리 정의된 부위들 및 상기 제2 그룹의 상수들과 대응하는 얼굴 내 미리 정의된 부위들의 교집합에 포함되는 상기 제1 부위에 대응하는 3D 데이터를 생성하는 단계를 포함할 수 있다.According to an embodiment, the generating of the 3D data of the face may include combining first output values respectively obtained from first output nodes corresponding to the first part in the face in the convolutional neural network, generating first values corresponding to one region; obtaining a first constant corresponding to the first portion from the constants; In each of the preset groups—in the groups, at least some of the constants are allowed to overlap and are included in different groups—it is determined whether the first constant is included, and the parts are overlapped with each other to make the preset identifying a first group and a second group including the first constant from among the set groups; identifying an order of the first constant within the sequence of constants in the first group to include the first values in the identified order within the first group; identifying an order of the first constant within the sequence of constants in the second group to include the first values in the identified order within the second group; and in a sequence of the union of the first group of constants and the second group of constants, refer to an order corresponding to the first constant included in the intersection of the first group of constants and the second group of constants. Thus, 3D data corresponding to the first part included in the intersection of predefined parts in the face corresponding to the constants of the first group and predefined parts in the face corresponding to the constants of the second group It may include the step of generating

일실시예에 따르면, 상기 얼굴 내 미리 정의된 부위들은 각각 서로 다른 상수(constant)들로 표현할 수 있다.According to an embodiment, the predefined parts in the face may be expressed by different constants, respectively.

일실시예에 따른 딥 러닝 기반 3D 데이터 생성 방법은, 상기 상수들 중 일부 또는 전부를 미리 설정된 그룹들 중 어느 하나 이상에 포함시키는 단계; 및 상기 그룹들 중 하나 이상의 그룹의 상수들에 기초하여, 상기 얼굴의 3D 데이터로부터 얼굴의 특정 영역의 3D 데이터를 획득하는 단계를 포함할 수 있다.A deep learning-based 3D data generation method according to an embodiment includes: including some or all of the constants in any one or more of preset groups; and obtaining 3D data of a specific region of the face from the 3D data of the face based on constants of one or more of the groups.

일실시예에 따르면, 상기 출력을 획득하는 단계는, 컨볼루션 레이어(convolution layer)를 통해 상기 입력에 컨볼루션 연산을 수행하여 특징맵(feature map)을 생성하는 단계; 상기 특징맵에 활성화함수(activation function)를 적용하는 단계; 상기 활성화함수가 적용된 특징맵을 풀링(pooling)하여 풀링된 특징맵(pooled feature map)을 생성하는 단계; 및 풀리 커넥티드 레이어(fully connected layer)를 통해 상기 풀링된 특징맵으로부터 상기 출력을 획득하는 단계를 포함할 수 있다.According to an embodiment, the obtaining of the output may include: generating a feature map by performing a convolution operation on the input through a convolution layer; applying an activation function to the feature map; generating a pooled feature map by pooling the feature map to which the activation function is applied; and obtaining the output from the pooled feature map through a fully connected layer.

일실시예에 따르면, 상기 활성화함수는 ReLU(rectified linear unit)일 수 있다.According to an embodiment, the activation function may be a rectified linear unit (ReLU).

일실시예에 따르면, 입력을 생성하는 단계는 상기 관심 영역의 가로 길이와 세로 길이가 동일하도록 처리하는 것을 포함할 수 있다.According to an embodiment, the generating of the input may include processing so that a horizontal length and a vertical length of the ROI are the same.

일실시예에 따르면, 입력을 생성하는 단계는 상기 관심 영역을 흑백 이미지로 처리하는 것을 포함할 수 있다.According to an embodiment, generating the input may include processing the region of interest as a black-and-white image.

일실시예에 따른 딥 러닝 기반 3D 데이터 생성 방법은, 상기 얼굴의 특정 영역의 3D 데이터에 기초하여, 상기 얼굴의 특정 영역의 모션 트래킹(motion tracking) 데이터를 생성하는 단계를 포함할 수 있다.The deep learning-based 3D data generation method according to an embodiment may include generating motion tracking data of a specific area of the face based on the 3D data of the specific area of the face.

일실시예에 따른 딥 러닝 기반 3D 데이터 생성 방법은, 상기 얼굴의 3D 데이터 및 상기 얼굴의 특정 영역의 3D 데이터에 기초하여, 상기 얼굴의 특정 영역의 3D 데이터에 대응하는 상기 그룹의 상수들 중 일부 또는 전부에 대응하는 상기 위치들을 변화시켜 상기 얼굴의 3D 데이터로부터 수정된 3D 데이터를 생성하는 단계; 및 상기 수정된 3D 데이터에 기초하여, STL 파일 (stereo lithography file)을 생성하는 단계를 포함할 수 있다.In the deep learning-based 3D data generation method according to an embodiment, on the basis of the 3D data of the face and the 3D data of the specific region of the face, some of the constants of the group corresponding to the 3D data of the specific region of the face or generating modified 3D data from the 3D data of the face by changing the positions corresponding to all of them; and generating an STL file (stereo lithography file) based on the modified 3D data.

일실시예에 따른 딥 러닝 기반 3D 데이터 생성 방법은, 상기 얼굴의 3D 데이터 또는 상기 얼굴의 특정 영역의 3D 데이터에 기초하여, 사용자의 얼굴 전부 또는 일부의 3D 인증 데이터를 생성하는 단계를 포함할 수 있다.The deep learning-based 3D data generation method according to an embodiment may include generating 3D authentication data of all or part of a user's face based on the 3D data of the face or 3D data of a specific area of the face. have.

일실시예에 따르면, 상기 컨볼루션 신경망의 학습은, 얼굴을 포함하는 이미지를 트레이닝 데이터(training data)로 획득하는 단계; 상기 트레이닝 데이터에서 상기 얼굴의 적어도 일부를 포함하는 트레이닝 데이터의 관심 영역을 추출하는 단계; 상기 트레이닝 데이터의 관심 영역에 기초하여, 컨볼루션 신경망의 인풋 레이어에 대응하는 트레이닝 데이터의 입력을 생성하는 단계; 상기 트레이닝 데이터의 입력을 상기 컨볼루션 신경망에 적용하여, 상기 컨볼루션 신경망에 의해 생성된 트레이닝 데이터의 출력을 획득하는 단계; 및 상기 트레이닝 데이터의 출력을 레이블드 데이터(labeled data)와 비교하여 상기 컨볼루션 신경망을 최적화하는 단계를 포함하여 이루어질 수 있다.According to an embodiment, the learning of the convolutional neural network may include: acquiring an image including a face as training data; extracting a region of interest from training data including at least a part of the face from the training data; generating an input of training data corresponding to an input layer of a convolutional neural network based on the region of interest of the training data; applying the input of the training data to the convolutional neural network to obtain an output of the training data generated by the convolutional neural network; and optimizing the convolutional neural network by comparing the output of the training data with labeled data.

일실시예에 따르면, 상기 레이블드 데이터는 상기 트레이닝 데이터에 포함된 얼굴의 3D 데이터를 컨볼루션 신경망의 출력 형식으로 가공한 데이터일 수 있다.According to an embodiment, the labeled data may be data obtained by processing 3D data of a face included in the training data into an output format of a convolutional neural network.

일실시예에 따른 딥 러닝 기반 3D 데이터 생성 방법은, 매체에 저장된 컴퓨터 프로그램으로 실행할 수 있다.The deep learning-based 3D data generation method according to an embodiment may be executed by a computer program stored in a medium.

일실시예에 따른 딥 러닝 기반 3D 데이터 생성 장치는, 얼굴을 포함하는 이미지를 획득하고, 상기 이미지에서 상기 얼굴의 적어도 일부를 포함하는 관심 영역(region of interest)을 추출하고, 상기 관심 영역에 기초하여, 컨볼루션 신경망(convolutional neural network)의 인풋 레이어(input layer)에 대응하는 입력을 생성하고, 상기 입력을 상기 컨볼루션 신경망에 적용하여, 상기 컨볼루션 신경망에 의해 생성된 출력을 획득하고, 상기 출력에 기초하여, 상기 얼굴 내 미리 정의된 부위들에 각각 대응하는 위치들을 포함하는 얼굴의 3D 데이터를 생성하고, 상기 얼굴 내 미리 정의된 부위들을 각각 서로 다른 상수(constant)들로 표현하고, 상기 상수들 중 일부 또는 전부를 미리 설정된 그룹들 중 어느 하나 이상에 포함시키고, 상기 그룹들 중 하나 이상의 그룹의 상수들에 기초하여, 상기 얼굴의 3D 데이터로부터 얼굴의 특정 영역의 3D 데이터를 획득하는 프로세서를 포함할 수 있다.An apparatus for generating 3D data based on deep learning according to an embodiment obtains an image including a face, extracts a region of interest including at least a part of the face from the image, and based on the region of interest to generate an input corresponding to an input layer of a convolutional neural network, and apply the input to the convolutional neural network to obtain an output generated by the convolutional neural network, and Based on the output, 3D data of the face including positions respectively corresponding to the predefined parts in the face is generated, and the predefined parts in the face are expressed by different constants, respectively, and the A processor for including some or all of the constants in any one or more of preset groups, and obtaining 3D data of a specific region of the face from the 3D data of the face based on the constants of one or more of the groups may include.

또한, 상기 부스 접근 확인 모듈(540)은, 상기 부스 접근 확인 모듈(540)에서 방문객을 확인한 경우 상기 등록 데이터베이스(610)에서 상기 확인된 방문객의 정보를 부스 디스플레이부(320)에 출력하는 것을 특징으로 하는 것이 바람직하다.In addition, the booth access confirmation module 540 outputs the information of the confirmed visitor from the registration database 610 to the booth display unit 320 when the visitor is confirmed by the booth access confirmation module 540 . It is preferable to

또한, 상기 메인 서버(500)는 부스 체류시간 관리 모듈(550) 및 동선 관리 모듈(560)을 더 포함하며, 상기 부스 체류시간 관리 모듈(550)은, 상기 부스 카메라(310)가 방문객의 영상을 최초로 확인한 시각을 체류 시작 시각으로서 동선 데이터베이스(620)에 저장하고, 상기 부스 카메라(310)의 방문객의 영상의 확인이 종료될 때까지의 시간을 체류시간으로서 동선 데이터베이스(620)에 저장하며, 상기 동선 관리 모듈(560)은 상기 체류 시작 시각 및 체류시간을 통하여 방문객의 동선을 연산하는 것을 특징으로 하는 것이 바람직하다.In addition, the main server 500 further includes a booth residence time management module 550 and a movement route management module 560, and the booth residence time management module 550 is configured such that the booth camera 310 displays the visitor's image. Stores the first confirmed time as the stay start time in the movement database 620, and stores the time until the confirmation of the visitor's image of the booth camera 310 is completed as the dwell time in the movement database 620, It is preferable that the flow management module 560 calculates the visitor's flow through the sojourn start time and stay time.

또한, 상기 메인 서버(500)는 영상 인식 모듈(530)을 포함하고, 상기 영상 인식 모듈(530)은 얼굴 인식 모듈(531) 및 식별자 인식 모듈(532)을 포함하며, 상기 얼굴 인식 모듈(531)은 상기 부스 카메라(310)에서 확인한 얼굴의 영상을 인가받아 상기 등록 데이터베이스(610)를 이용하여 방문객을 식별하며, 상기 식별자 인식 모듈(532)은 상기 부스 카메라(310)에서 확인한 식별자의 영상을 인가받아 상기 등록 데이터베이스(610)를 이용하여 방문객을 식별하는 것을 특징으로 하는 것이 바람직하다.In addition, the main server 500 includes an image recognition module 530 , the image recognition module 530 includes a face recognition module 531 and an identifier recognition module 532 , and the face recognition module 531 . ) receives the image of the face confirmed by the booth camera 310 and uses the registration database 610 to identify the visitor, and the identifier recognition module 532 receives the image of the identifier confirmed by the booth camera 310 Preferably, it is characterized in that the visitor is identified using the registration database 610 after being authorized.

또한, 상기 영상 인식 모듈(530)은 표정 인식 모듈(533)을 더 포함하고, 상기 표정 인식 모듈(533)은, 상기 부스 카메라(310)에서 확인한 얼굴 각각의 영상의 표정에 상응하는 호응도를 연산함으로써 상기 부스 카메라(310)가 설치된 부스의 호응도를 연산하여 제공하는 것을 특징으로 하는 것이 바람직하다.In addition, the image recognition module 530 further includes an expression recognition module 533 , and the expression recognition module 533 calculates a response level corresponding to the expression of each image of the face identified by the booth camera 310 . By doing so, it is preferable to calculate and provide the responsiveness of the booth in which the booth camera 310 is installed.

또한, 상기 메인 서버(500)는 부스 정보 관리 모듈(580)을 더 포함하며, 상기 메인 서버(500)가 송수신기(700)를 통하여 방문객으로부터 부스 정보 요청을 받은 경우, 상기 부스 정보 관리 모듈(580)은 전시장 및 부스 데이터베이스(630)에서 요청받은 부스에 대하여 기 저장된 정보를 확인하여, 이를 상기 송수신기(700)를 통하여 송신하는 것을 특징으로 하는 것이 바람직하다.In addition, the main server 500 further includes a booth information management module 580, and when the main server 500 receives a booth information request from a visitor through the transceiver 700, the booth information management module 580 ) confirms the pre-stored information about the requested booth in the exhibition hall and the booth database 630, and transmits it through the transceiver 700.

또한, 상기 메인 서버(500)가 상기 송수신기(700)를 통하여 방문객으로부터 부스의 위치 정보 확인 요청을 받은 경우, 상기 부스 정보 관리 모듈(580)은 상기 전시장 및 부스 데이터베이스(630)에 기 저장된 전시장 맵과 상기 요청받은 부스의 위치를 출력하고, 상기 부스 접근 확인 모듈(540)을 통하여 상기 요청한 방문객의 영상이 확인된 부스 카메라(310)를 확인함으로써 상기 방문객의 위치를 상기 확인된 부스 카메라(310)가 설치된 부스로 출력하는 것을 특징으로 하는 것이 바람직하다.In addition, when the main server 500 receives a request to confirm the location information of the booth from the visitor through the transceiver 700 , the booth information management module 580 stores the exhibition hall map pre-stored in the exhibition hall and booth database 630 . And output the location of the requested booth, and check the booth camera 310 in which the video of the requested visitor is confirmed through the booth access confirmation module 540, thereby confirming the location of the visitor by the confirmed booth camera 310 It is preferable to output to a booth in which is installed.

또한, 상기 메인 서버(500)는 입장 관리 모듈(520)을 더 포함하고, 상기 입장 관리 모듈(520)은, 입장 카메라(210)가 확인한 영상이 상기 등록 데이터베이스(610)에 기 저장된 영상에 상응하는지 여부를 확인하는 것을 특징으로 하는 것이 바람직하다.In addition, the main server 500 further includes an entrance management module 520 , wherein the entrance management module 520 corresponds to the image confirmed by the entrance camera 210 to the image previously stored in the registration database 610 . It is preferable to check whether or not it is characterized.

본 발명에 의하여, 얼굴 또는 식별자만으로 입장이 가능하고 전시장 내에서의 활동이 저장되고 통계적으로 활용되기에, 기존의 RF 카드 방식과 비교하여 고가의 RF 카드 발급이 필요하지 않고, 분실에 따른 재발급 등 관리 노력 및 비용의 필요성이 없어진다.According to the present invention, entry is possible only with a face or identifier, and activities in the exhibition hall are stored and used statistically, so it is not necessary to issue an expensive RF card compared to the existing RF card method, reissuance in case of loss, etc. The need for management effort and cost is eliminated.

또한, 등록시 RF 카드의 리딩/라이팅이 필요하지 않아 등록시 소요되는 시간이 매우 단축되며, 업체 방문시마다 RF 카드의 접촉 등록이 필요하지 않아 방문객 입장에서 번거로움이 해소된다.In addition, since reading/writing of the RF card is not required at the time of registration, the time required for registration is greatly shortened, and since the contact registration of the RF card is not required every time a company visits, the inconvenience is eliminated from the visitor's point of view.

또한, 기존의 RF 카드 방식에서 구현이 불가능하였던 체류시간 파악, 동선 파악, 호응도 파악 등이 가능하다. 이렇게 파악된 정보들은, 전시회 개최 측 입장에서는 발전 방향의 객관적 정보가 되며, 부스 입점 업체 입장에서는 제품에 대한 고객의 반응을 확인할 수 있다.In addition, it is possible to determine the residence time, the movement route, and the response level, which were impossible to implement in the existing RF card method. The information obtained in this way becomes objective information on the development direction from the standpoint of the exhibition host, and the booth entrants can check the customer's reaction to the product.

특히, 일반 참관객과 중요 바이어를 따로 구분하여 관리할 수 있으며, 중요 바이어의 경우 별도의 알람 메시지를 부스 단말기에 제공함으로써, 고객 수준에 따른 신속하고 효과적이며 선택적인 응대가 가능하다.In particular, it is possible to separate and manage general visitors and important buyers, and in the case of important buyers, a separate alarm message is provided to the booth terminal, enabling prompt, effective and selective response according to customer level.

또한, GPS 없이도 방문객의 위치를 확인하고, 방문객 단말기를 통해 경로 안내를 제공할 수 있다.In addition, it is possible to check the location of the visitor without GPS and provide route guidance through the visitor terminal.

일실시예에 따른 딥 러닝 기반 3D 데이터 생성 방법에 의하면, 딥 러닝 기반 3D 데이터 생성 장치가 생성한 얼굴의 3D 데이터는 얼굴 내 미리 정의된 부위들에 각각 대응하는 위치들을 포함하며, 얼굴 내 미리 정의된 부위들은 각각 서로 다른 상수들로 표현되고, 상수들 중 일부 또는 전부는 미리 설정된 그룹들 중 어느 하나 이상에 포함될 수 있고, 미리 설정된 그룹들 중 하나 이상의 그룹의 상수들에 기초하여, 얼굴의 3D 데이터로부터 얼굴의 특정 영역의 3D 데이터를 획득할 수 있다. 이런 특징 때문에, 얼굴의 3D 데이터는 다양한 분야에서 사용될 수 있다.According to the deep learning-based 3D data generating method according to an embodiment, the 3D data of the face generated by the deep learning-based 3D data generating apparatus includes positions corresponding to predefined parts in the face, respectively, and predefined within the face. Each of the regions is represented by different constants, and some or all of the constants may be included in any one or more of preset groups, and based on the constants of one or more of the preset groups, the face 3D 3D data of a specific area of the face can be obtained from the data. Because of this feature, 3D data of a face can be used in various fields.

예를 들어, 딥 러닝 기반 3D 데이터 생성 장치는 얼굴의 특정 영역에 대응하는 그룹의 상수들을 참조하여 얼굴의 3D 데이터로부터 얼굴의 특정 영역의 3D 데이터를 구성하는 위치들을 용이하게 획득할 수 있기 때문에, 얼굴의 특정 부분의 모션 트래킹(motion tracking) 데이터를 용이하게 생성할 수 있다.For example, the deep learning-based 3D data generating apparatus can easily obtain positions constituting the 3D data of a specific area of the face from the 3D data of the face by referring to group constants corresponding to the specific area of the face, Motion tracking data of a specific part of the face can be easily generated.

또한, 딥 러닝 기반 3D 데이터 생성 장치는 얼굴의 특정 영역에 대응하는 그룹의 상수들을 참조하여 얼굴의 3D 데이터로부터 얼굴의 특정 영역의 3D 데이터를 구성하는 위치들을 용이하게 획득하여 해당 위치들을 쉽게 변화시킬 수 있기 때문에, 얼굴의 특정 영역에 변화를 준 STL(stereo lithography file) 파일을 용이하게 생성할 수 있다.In addition, the device for generating 3D data based on deep learning can easily obtain positions constituting 3D data of a specific region of the face from the 3D data of the face by referring to group constants corresponding to a specific region of the face, thereby easily changing the positions. Therefore, it is possible to easily create a stereo lithography file (STL) file in which changes are made to a specific area of the face.

나아가, 딥 러닝 기반 3D 데이터 생성 장치는 얼굴의 특정 영역에 대응하는 그룹의 상수들을 참조하여 얼굴의 3D 데이터로부터 얼굴의 특정 영역의 3D 데이터를 구성하는 위치들을 용이하게 획득할 수 있기 때문에, 얼굴의 일부분으로 구성된 3D 인증 데이터를 용이하게 생성할 수 있다.Furthermore, since the deep learning-based 3D data generating apparatus can easily obtain positions constituting 3D data of a specific area of a face from 3D data of a face by referring to group constants corresponding to a specific area of the face, 3D authentication data composed of parts can be easily generated.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned may be clearly understood by those of ordinary skill in the art from the following description. will be.

본 발명의 특정한 바람직한 실시예들의 상기에서 설명한 바와 같은 또한 다른 측면들과, 특징들 및 이득들은 첨부 도면들과 함께 처리되는 하기의 설명으로부터 보다 명백하게 될 것이다.
도 1은 본 발명의 단말이 정보를 출력하는 일 실시예를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 시스템을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 방법을 나타내는 흐름도이다.
도 4는 본 발명의 단말이 정보를 출력하는 다른 실시예를 나타내는 도면이다.
상기 도면들을 통해, 유사 참조 번호들은 동일한 혹은 유사한 엘리먼트들과, 특징들 및 구조들을 도시하기 위해 사용된다는 것에 유의해야만 한다.Other aspects, features and benefits as described above of certain preferred embodiments of the present invention will become more apparent from the following description taken in conjunction with the accompanying drawings.
1 is a diagram illustrating an embodiment in which a terminal of the present invention outputs information.
2 is a diagram illustrating a system according to an embodiment of the present invention.
3 is a flowchart illustrating a method according to an embodiment of the present invention.
4 is a diagram illustrating another embodiment in which a terminal according to the present invention outputs information.
It should be noted that throughout the drawings, like reference numerals are used to denote the same or similar elements, features, and structures.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.In describing the embodiments, descriptions of technical contents that are well known in the technical field to which the present invention pertains and are not directly related to the present invention will be omitted. This is to more clearly convey the gist of the present invention by omitting unnecessary description.

마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.For the same reason, some components are exaggerated, omitted, or schematically illustrated in the accompanying drawings. In addition, the size of each component does not fully reflect the actual size. In each figure, the same or corresponding elements are assigned the same reference numerals.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains. It is provided to fully inform the possessor of the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.

이때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.At this time, it will be understood that each block of the flowchart diagrams and combinations of the flowchart diagrams may be performed by computer program instructions. These computer program instructions may be embodied in a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, such that the instructions performed by the processor of the computer or other programmable data processing equipment are not described in the flowchart block(s). It creates a means to perform functions. These computer program instructions may also be stored in a computer-usable or computer-readable memory that may direct a computer or other programmable data processing equipment to implement a function in a particular manner, and thus the computer-usable or computer-readable memory. It is also possible for the instructions stored in the flowchart block(s) to produce an article of manufacture containing instruction means for performing the function described in the flowchart block(s). The computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to create a computer or other programmable data processing equipment. It is also possible that instructions for performing the processing equipment provide steps for performing the functions described in the flowchart block(s).

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Additionally, each block may represent a module, segment, or portion of code that includes one or more executable instructions for executing specified logical function(s). It should also be noted that in some alternative implementations it is also possible for the functions recited in the blocks to occur out of order. For example, it is possible that two blocks shown in succession are actually performed substantially simultaneously, or that the blocks are sometimes performed in the reverse order according to the corresponding function.

이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.In this case, the term '~ unit' used in this embodiment means software or hardware components such as field-programmable gate array (FPGA) or ASIC (Application Specific Integrated Circuit), and '~ unit' refers to what role carry out the However, '-part' is not limited to software or hardware. '~unit' may be configured to reside on an addressable storage medium or may be configured to refresh one or more processors. Thus, as an example, '~' denotes components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. The functions provided in the components and '~ units' may be combined into a smaller number of components and '~ units' or further separated into additional components and '~ units'. In addition, components and '~ units' may be implemented to play one or more CPUs in a device or secure multimedia card.

본 발명의 실시예들을 구체적으로 설명함에 있어서, 특정 시스템의 예를 주된 대상으로 할 것이지만, 본 명세서에서 청구하고자 하는 주요한 요지는 유사한 기술적 배경을 가지는 여타의 통신 시스템 및 서비스에도 본 명세서에 개시된 범위를 크게 벗어나지 아니하는 범위에서 적용 가능하며, 이는 당해 기술분야에서 숙련된 기술적 지식을 가진 자의 판단으로 가능할 것이다.In describing embodiments of the present invention in detail, an example of a specific system will be mainly targeted, but the main subject matter to be claimed in this specification is to extend the scope disclosed herein to other communication systems and services having a similar technical background. It can be applied within a range that does not deviate significantly, and this will be possible at the discretion of a person with technical knowledge skilled in the art.

본 발명의 일 실시예에 따른 단말은 IoT 기술 및/또는 ICT 기술에 기반하여 획득되거나 생성될 수 있는 정보를 출력할 수 있다.The terminal according to an embodiment of the present invention may output information that may be acquired or generated based on IoT technology and/or ICT technology.

여기서 IoT는 사물인터넷(Internet of Things)을 나타낼 수 있다.Here, the IoT may represent the Internet of Things.

IoT(사물인터넷)는 세상의 모든 사물들이 네트워크로 '연결'되어 서로 소통하는 차세대 기술을 의미할 수 있다. 4차 산업혁명은 사물인터넷으로 빅데이터를 얻고, 그것을 클라우드에 저장해, 인공지능으로 분석하고 활용하는 것이다. 사물인터넷은 지능화되어 스마트 자동차, 스마트 홈, 스마트 시티 등 스마트 세계를 만들어 낼 수 있다.The Internet of Things (IoT) can mean next-generation technology in which all things in the world are 'connected' through a network and communicate with each other. The fourth industrial revolution is to obtain big data through the Internet of Things, store it in the cloud, and analyze and utilize it with artificial intelligence. The Internet of Things (IoT) can become intelligent and create a smart world such as smart cars, smart homes, and smart cities.

예를 들면, 완전 자율 자동차나 스마트 홈, 스마트 빌딩, 헬스 케어 서비스 등 모든 분야에 인터넷이 연결되는 세상이 되어, 마치 인터넷이 공기와 같이 되는데 굳이 인터넷이 따로 있을 필요가 없을 수 있다. 사물인터넷이 가능하기 위해서는 인터넷만 있어서는 안 된다. 센서와 네트워크 기술, 빅데이터, 클라우드 컴퓨팅, 인공지능, 3D 프린팅 등의 다양한 기반 기술이 함께 어우러져야 한다. 특히 4차 산업혁명은 사물인터넷으로 빅데이터를 얻고, 그것을 클라우드(cloud)에 저장해, 인공지능으로 분석하고 활용하는 흐름을 보여준다.For example, in a world where the Internet is connected to all fields such as fully autonomous cars, smart homes, smart buildings, and health care services, the Internet may become like air, but there may be no need for a separate Internet. In order for the Internet of Things to be possible, it is not enough to have the Internet alone. Various basic technologies such as sensor and network technology, big data, cloud computing, artificial intelligence, and 3D printing must work together. In particular, the fourth industrial revolution shows the flow of big data obtained through the Internet of Things, stored in the cloud, and analyzed and utilized with artificial intelligence.

또한 ICT는 정보통신기술(Information and Communication Technology)을 나타낼 수 있다.ICT can also represent Information and Communication Technology.

ICT(Information & Communication Technology)는 정보 기술(Information Technology, IT)과 통신 기술(Communication Technology, CT)의 합성어로 정보기기의 하드웨어 및 이들 기기의 운영 및 정보 관리에 필요한 소프트웨어 기술과 이들 기술을 이용하여 정보를 수집, 생산, 가공, 보존, 전달, 활용하는 모든 방법을 의미한다. ICT 패러다임의 변화는 콘텐츠(C)-플랫폼(P)-네트워크(N)-디바이스(D) 가치사슬 상의 각 부문간 상호의존 심화 관점에서 이해할 수 있다. ICT (Information & Communication Technology) is a compound word of information technology (IT) and communication technology (CT). Any method of collecting, producing, processing, preserving, transmitting, or utilizing information. The change in the ICT paradigm can be understood from the perspective of deepening interdependence between each sector in the content (C)-platform (P)-network (N)-device (D) value chain.

일반적으로 C-PN-T(터미널) 가치사슬이 방송플랫폼을 설명하는데 많이 활용되었으나, 스마트폰, 태블릿 등 사실상 컴퓨터에 해당되는 기기를 감안하면 C-P-N-D라는 표현이 ICT를 설명하는데 좀 더 유용할 수 있다. 콘텐츠(C) 부문을 살펴보면, 인터넷상에서는 더 이상 사진, 서적, 음악, 동영상 등의 구분이 무의미하다는 점을 상기할 필요가 있다. 이들 모든 종류의 콘텐츠는 디지털화되면서 플랫폼 제공자에 의해서 이용자에 제공되며 콘텐츠 보유자는 구글, 애플, 아마존과 같은 플랫폼 제공자와 제휴하거나 직접 플랫폼을 구성하여 콘텐츠를 제공한다. 플랫폼 부문은 C-P-N-D 가치사슬에서 중요한 역할을 담당할 수 있다.In general, the C-PN-T (terminal) value chain has been used a lot to describe the broadcasting platform, but considering the devices that actually correspond to computers, such as smartphones and tablets, the expression C-P-N-D may be more useful to describe ICT. . Looking at the content (C) section, it is necessary to recall that the distinction between photos, books, music, and videos is no longer meaningless on the Internet. All these types of content are provided to users by platform providers as they become digitized, and content owners provide content by partnering with platform providers such as Google, Apple, and Amazon or by forming their own platform. The platform sector can play an important role in the C-P-N-D value chain.

인터넷 상에서 콘텐츠는 소프트웨어에 의해 축적, 처리, 저장, 제공될 수 있다. 이는 소프트웨어 기술력을 보유한 ICT 기업이 주도권을 잡게 됨을 의미하는데, 특히 소프트웨어 기술력과 클라우드 인프라를 보유한 클라우드 서비스 제공자가 대표적인 플랫폼 제공자로 부상하고 있다. 그 과정에서 전통적인 네트워크 전송 서비스 제공자의 위상은 상대적으로 약화될 가능성이 있다. 반면 원천 콘텐츠를 보유한 기업은 플랫폼 제공자와 대등한 관계의 설정도 가능할 것이다. 디지털 융합시대의 네트워크는 IP망, 즉 인터넷이다. 서킷방식 전화망과 같은 전통적인 네트워크는 네트워크 보유자가 자체적으로 이용자 식별 등의 지능적 서비스를 제공하지만 인터넷의 경우에는 아카마이와 같은 다양한 서비스 제공기업들이 서버 클러스터를 통하여 효율적 트래픽 전송, 보안 등 네트워크의 다양한 기능을 경쟁 시장에서 제공한다.On the Internet, content may be accumulated, processed, stored, and provided by software. This means that ICT companies with software technology will take the lead. In particular, cloud service providers with software technology and cloud infrastructure are emerging as representative platform providers. In the process, the status of traditional network transport service providers may be relatively weakened. On the other hand, companies with original content will be able to establish an equal relationship with the platform provider. The network in the digital convergence era is the IP network, that is, the Internet. In traditional networks such as circuit-type telephone networks, network owners provide intelligent services such as user identification on their own, but in the case of the Internet, various service providers such as Akamai provide various network functions such as efficient traffic transmission and security through server clusters. offered in a competitive market.

이러한 지능형 네트워크 서비스 제공기업도 일종의 플랫폼 제공기업이라는 의미에서 사실상 플랫폼과 네트워크의 구분은 어렵다. 또한 통신망을 보유한 사업자들이 직접 플랫폼 서비스를 제공한다는 점도 중요하다. 디바이스 부문은 언제나 인터넷과 연결되고, iOS와 같은 범용 운영체제를 갖춘 디바이스 내부의 소프트웨어 프로그램이 플랫폼과 연결되어 서비스를 완결한다. 애플은 플랫폼 제공자가 동시에 디바이스 제공자인 대표적인 예라 할 수 있으며, 구글과 안드로이드폰의 제조사간의 제휴관계를 감안하면 과거보다 플랫폼 부문과 디바이스 부문의 관계가 보다 밀접한, 상호의존적인 관계임을 알 수 있다. 콘텐츠 부문과 플랫폼 부문의 제휴, 디바이스 부문의 플랫폼과의 연계, 플랫폼 부문과 네트워크 부문의 경계 모호 등은 모두 C-P-N-D 각 부문의 상호의존성 심화를 의미할 수 있다.In the sense that such an intelligent network service provider is also a kind of platform provider, it is actually difficult to distinguish between a platform and a network. It is also important that operators with communication networks directly provide platform services. The device sector is always connected to the Internet, and the software program inside the device with a universal operating system such as iOS is connected to the platform to complete the service. Apple can be said to be a representative example of both a platform provider and a device provider. Considering the partnership between Google and Android phone manufacturers, it can be seen that the relationship between the platform sector and the device sector is closer and more interdependent than in the past. The alliance between the content sector and the platform sector, the connection with the device sector's platform, and the blurring of the boundary between the platform sector and the network sector can all mean deepening the interdependence of each C-P-N-D sector.

1. 시스템의 구성1. System configuration

도 1은 본 발명에 따른 시스템이 적용된 전시장의 개괄적인 도면이며, 도 2는 본 발명에 따른 시스템의 개념도이다.1 is a schematic diagram of an exhibition hall to which a system according to the present invention is applied, and FIG. 2 is a conceptual diagram of a system according to the present invention.

먼저, 도 1을 참조하여 전시장의 전체적인 구성을 설명한다.First, the overall configuration of the exhibition hall will be described with reference to FIG. 1 .

전시장은 등록구역(10), 입구(20) 및 다수의 부스(30)로 구분된다. 출구는 입구(20)와 동일한 구역에 위치하거나 별도로 상이한 구역에 위치할 수도 있다. 본 발명에 따라 출구의 위치는 중요하지 않은바 도면에서 그 도시를 생략한다.The exhibition hall is divided into a registration area (10), an entrance (20) and a number of booths (30). The outlet may be located in the same area as the inlet 20 or may be located separately in a different area. According to the present invention, the position of the exit is not important, so the illustration thereof is omitted from the drawings.

등록구역(10)에는 등록 카메라(110) 및 등록 단말기(120)가 위치한다.A registration camera 110 and a registration terminal 120 are located in the registration area 10 .

등록 카메라(110)는 방문객의 등록을 위한 얼굴 인식에 사용된다. 방문객이 등록구역(10)에서 등록절차를 밟는 동안 자연스럽게 등록 카메라(110)가 방문객의 얼굴을 영상으로 촬영할 수 있다. 얼굴의 고유한 3차원 데이터 값을 추출하기 위해 등록 카메라(110)는 두 대 이상인 것이 바람직하다.The registration camera 110 is used for face recognition for visitor registration. While the visitor goes through the registration procedure in the registration area 10 , the registration camera 110 may naturally capture the visitor's face as an image. In order to extract a unique 3D data value of a face, it is preferable that there are two or more registration cameras 110 .

등록 단말기(120)는 등록에 필요한 정보를 메인 서버(500)에 입력할 수 있다. 또한, 등록 단말기(120)는 방문객 중 얼굴의 인식을 원하지 않는 경우에 이를 대신할 별도의 식별자를 출력하여 방문객이 부착하고 이동하도록 교부할 수도 있다. 이하에서 카메라(110, 210, 310)가 확인할 수 있는 영상은 방문객의 얼굴 또는 방문객이 부착한 식별자를 의미한다.The registration terminal 120 may input information necessary for registration to the main server 500 . Also, when the registration terminal 120 does not want to recognize a face among visitors, the registration terminal 120 may output a separate identifier to replace it and issue it to the visitor to attach and move. Hereinafter, an image that can be checked by the cameras 110 , 210 , and 310 means a face of a visitor or an identifier attached by the visitor.

입구(20)에는 입장 카메라(210) 및 알람 발생부(220)가 위치한다.An entrance camera 210 and an alarm generator 220 are located at the entrance 20 .

입장 카메라(210)는 입장하는 방문객의 영상(즉, 얼굴 또는 식별자)을 확인함으로써, 별도의 입장 관리 모듈(520)이 등록 데이터베이스(610)를 통하여 등록된 방문객인지 여부를 확인할 수 있다.The entrance camera 210 may check whether the separate entrance management module 520 is a registered visitor through the registration database 610 by checking the image (ie, face or identifier) of the entering visitor.

등록되지 않은 방문객으로 확인된 경우 알람 발생부(220)가 작동한다.When it is confirmed as an unregistered visitor, the alarm generating unit 220 operates.

다수의 부스(30)에는 각각 부스 카메라(310) 및 부스 디스플레이부(320)가 위치한다.A booth camera 310 and a booth display unit 320 are respectively located in the plurality of booths 30 .

부스 카메라(310)는 부스(30)에 접근하여 체류하는 방문객의 영상(얼굴 또는 식별자)을 확인함으로써, 별도의 부스 접근 확인 모듈(540) 및 부스 체류시간 관리 모듈(550)이 기능하도록 한다. 또한, 부스 정보 관리 모듈(580)과 연계되어 방문객의 위치를 확인할 수도 있다.The booth camera 310 allows the separate booth access confirmation module 540 and the booth residence time management module 550 to function by checking the image (face or identifier) of the visitor who approaches and stays in the booth 30 . In addition, in connection with the booth information management module 580, the location of the visitor may be confirmed.

부스 디스플레이부(320)는 각각의 부스(30)마다 위치하며 부스 카메라(310)에서 보이는 영상을 출력한다. 출력되는 영상은 부스(30)에 입점한 업체에만 제공되는 것이 바람직하다. 영상과 함께 인식된 얼굴 및 이에 따른 방문객의 정보가 함께 출력되는 것이 바람직하다.The booth display unit 320 is positioned for each booth 30 and outputs the image seen by the booth camera 310 . It is preferable that the output image is provided only to companies that have entered the booth 30 . It is preferable that the recognized face and corresponding visitor information are output together with the image.

다음, 도 2를 참조하여 본 발명에 따른 시스템을 설명한다.Next, a system according to the present invention will be described with reference to FIG. 2 .

본 발명에 따른 시스템은 전술한 전시장의 구성과 함께, 다수의 중계기(150, 250, 350), 메인 서버(500), 다수의 데이터베이스(610, 620, 630) 및 송수신기(700)를 포함한다.The system according to the present invention includes a plurality of repeaters 150 , 250 , 350 , a main server 500 , a plurality of databases 610 , 620 , 630 , and a transceiver 700 along with the configuration of the exhibition hall described above.

중계기(150, 250, 350)는 카메라(110, 210, 310)들과 소통하여, 카메라에서 획득된 영상을 메인 서버(500)에 중계한다.The repeaters 150 , 250 , and 350 communicate with the cameras 110 , 210 , and 310 to relay an image obtained from the camera to the main server 500 .

메인 서버(500)는, 등록 관리 모듈(510), 입장 관리 모듈(520), 영상 인식 모듈(530), 부스 접근 확인 모듈(540), 부스 체류시간 관리 모듈(550), 동선 관리 모듈(560), 호응도 관리 모듈(570), 부스 정보 관리 모듈(580)을 포함한다.The main server 500 includes a registration management module 510 , an admission management module 520 , an image recognition module 530 , a booth access confirmation module 540 , a booth residence time management module 550 , and a movement management module 560 . ), a responsiveness management module 570 , and a booth information management module 580 .

등록 관리 모듈(510)은, 방문객이 전시장 입장을 위한 등록에 관련된 기능을 한다. 방문객은 행사 개최 전 인터넷 등과 같은 통신망을 이용하여 미리 등록할 수도 있으며, 행사 개최 당일 등록구역(10)에서 등록 단말기(120)를 통해 등록할 수도 있다.The registration management module 510 performs a function related to registration for a visitor to enter the exhibition hall. Visitors may register in advance using a communication network such as the Internet before the event is held, or may register through the registration terminal 120 in the registration area 10 on the day of the event.

또한, 등록 관리 모듈(510)은 방문객의 얼굴 또는 식별자를 등록 데이터베이스(610)에 등록한다. 행사 개최 당일 등록구역(10)의 등록 카메라(110)를 통하여 확인되는 것이 바람직하나, 행사 개최 전에 별도 통신망을 통하여 방문객이 직접 얼굴을 등록시키는 것도 가능하다.Also, the registration management module 510 registers the visitor's face or identifier in the registration database 610 . It is preferable to check through the registration camera 110 of the registration area 10 on the day of the event, but it is also possible for the visitor to directly register a face through a separate communication network before the event is held.

등록 관리 모듈(510)을 통해 입력되는 정보는, 방문객의 이름, 소속, 부서, 직책, 메일, 및 전화번호를 포함할 수 있다. 이러한 정보들은 얼굴과 함께 매핑되어 등록 데이터베이스(610)에 저장된다.Information input through the registration management module 510 may include the visitor's name, affiliation, department, position, email, and phone number. Such information is mapped together with the face and stored in the registration database 610 .

한편, 메인 서버(500)는 VIP 관리 모듈(511)을 더 포함할 수 있다.Meanwhile, the main server 500 may further include a VIP management module 511 .

VIP 관리 모듈(511)은, 부스(30)에 입점하는 각각의 업체에서 별도로 지정한 VIP(예를 들어, 중요 바이어), 또는 행사 개최 업체에서 지정한 VIP를 방문객과 별도로 관리할 수 있다. VIP 관리 모듈(511)에 의하여 VIP로 인식되는 방문객이 부스(30)에 접근한 경우, 부스(30)에 입점한 업체로서는 중요하게 준비하여야 하기에, 업체 측에서 지니고 있는 부스 단말기(800)에 VIP의 접근 여부가 통보된다. 여기에서, 부스 단말기(800)는 업체 참가자가 휴대하는 휴대폰일 수 있다.The VIP management module 511 may manage a VIP (eg, important buyer) separately designated by each company entering the booth 30 or a VIP designated by an event host company separately from visitors. When a visitor recognized as a VIP by the VIP management module 511 approaches the booth 30, it is important for a company entering the booth 30 to prepare, so it is VIP access is notified. Here, the booth terminal 800 may be a mobile phone carried by a company participant.

또한, 후술할 바와 같이, VIP 관리 모듈(511)은 특정 부스(30)에서의 체류시간이 길어서 해당 부스(30)의 중요 바이어일 확률이 높은 방문객을 VIP로 지정할 수도 있다. 다시 말해, 후술할 부스 체류시간 확인 모듈(550)은 부스(30)에 방문한 모든 고객의 체류시간을 확인할 수 있는데, 본 발명에 따른 시스템에 소정의 시간(예를 들어, 20분) 이상 체류한 고객이되 VIP로 사전에 지정되지 않은 고객이 감지된 경우 VIP 관리 모듈(511)은 해당 고객을 VIP로 분류할 수도 있다.In addition, as will be described later, the VIP management module 511 may designate a visitor with a high probability of being an important buyer of the specific booth 30 as a VIP because the residence time in the specific booth 30 is long. In other words, the booth residence time confirmation module 550, which will be described later, can check the residence time of all customers who have visited the booth 30. When a customer who is a customer but is not previously designated as a VIP is detected, the VIP management module 511 may classify the customer as a VIP.

입장 관리 모듈(520)은, 입장 카메라(210)가 확인한 얼굴 또는 식별자가 등록 데이터베이스(610)에 존재하는지 여부를 확인하여 입장 여부를 결정한다. 확인되지 않는 경우 알람 발생부(220)가 작동된다.The entrance management module 520 determines whether to enter by checking whether the face or identifier checked by the entrance camera 210 exists in the registration database 610 . If not confirmed, the alarm generating unit 220 is operated.

영상 인식 모듈(530)은 다수의 중계기(150, 250, 350)를 통하여 영상을 중계받아 이를 인식하게 된다.The image recognition module 530 receives an image through a plurality of repeaters 150 , 250 , and 350 and recognizes it.

영상 인식 모듈(530)은, 얼굴 인식 모듈(531), 식별자 인식 모듈(532), 표정 인식 모듈(533)을 포함한다.The image recognition module 530 includes a face recognition module 531 , an identifier recognition module 532 , and an expression recognition module 533 .

얼굴 인식 모듈(531)은, 카메라(110, 210, 310)에서 촬영한 이미지에 얼굴이 있는지 여부를 확인하며, 또한 등록 데이터베이스(610)에 해당 정보가 있는지 확인한다. 얼굴을 인지하고 동일인인지 여부를 확인하는 구체적인 기술은 전술한 종래 기술인바 상세한 설명은 생략한다.The face recognition module 531 checks whether there is a face in the images captured by the cameras 110 , 210 , and 310 , and also checks whether the corresponding information exists in the registration database 610 . A detailed description of the above-described prior art for recognizing a face and confirming whether it is the same person will be omitted.

식별자 인식 모듈(532)은, 카메라(110, 210, 310)에서 촬영한 이미지에 식별자가 있는지 여부를 확인하며, 또한 등록 데이터베이스(610)에 해당 정보가 있는지 확인한다. 식별자는 어떠한 방식도 사용될 수 있다.The identifier recognition module 532 checks whether an identifier exists in the images captured by the cameras 110 , 210 , and 310 , and also checks whether the corresponding information exists in the registration database 610 . The identifier can be used in any way.

표정 인식 모듈(533)은 특정 부스(30)의 부스 카메라(310)에서 촬영한 이미지의 얼굴의 표정 변화를 확인할 수 있다. 호응도 관리 모듈(570)은, 이렇게 확인되는 각각의 얼굴에 대한 호응도를 연산하고, 이를 평균함으로써, 특정 부스(30)에 대한 방문객의 호응도를 수치적으로 연산할 수 있다.The facial expression recognition module 533 may identify a change in the facial expression of the image captured by the booth camera 310 of the specific booth 30 . The responsiveness management module 570 may calculate the responsiveness of each face identified in this way and average the responsiveness of the visitors to the specific booth 30 , numerically.

부스 접근 확인 모듈(540)은, 영상 인식 모듈(530)을 통하여, 특정 부스(30)의 부스 카메라(310)에서 촬영한 이미지에 새롭게 얼굴 또는 식별자가 인식되는지 여부를 확인함으로써 해당 부스(30)에 방문객이 접근하였는지 여부를 확인한다. 방문객의 접근이 확인된 경우, 이는 부스 디스플레이부(320)를 통해 부스(30)의 입점 업체에 제공될 수 있다.The booth access confirmation module 540 checks whether a face or an identifier is newly recognized in the image taken by the booth camera 310 of the specific booth 30 through the image recognition module 530 by checking the corresponding booth 30. Check whether a visitor has accessed the When the visitor's access is confirmed, this may be provided to the vendor of the booth 30 through the booth display unit 320 .

부스 체류시간 관리 모듈(550)은, 영상 인식 모듈(530)을 통하여, 특정 부스(30)의 부스 카메라(310)에서 촬영한 이미지에 새롭게 얼굴 또는 식별자가 인식된 시간 및 인식이 종료된 시간을 확인함으로써, 해당 방문객이 해당 부스(30)에 체류한 시간을 확인한다. 이는 차후 부스(30)의 입점 업체에 유용한 데이터로 제공된다.The booth residence time management module 550, through the image recognition module 530, determines the time when a face or identifier is newly recognized and the time when the recognition is finished in the image taken by the booth camera 310 of the specific booth 30 By confirming, the time the visitor stayed in the corresponding booth 30 is confirmed. This is provided as useful data to companies entering the booth 30 later.

동선 관리 모듈(560)은, 부스 체류시간 관리 모듈(570)에서 확인한 얼굴 또는 식별자의 최초 인식 시간 및/또는 체류시간 등을 이용하여 특정 방문객의 전시장 내 동선을 확인할 수 있다. 이렇게 확인된 동선은 동선 데이터베이스(620)에 저장되어, 차후 부스(30)의 입점 업체에 유용한 데이터로 제공된다.The movement management module 560 may check the movement of a specific visitor in the exhibition hall using the initial recognition time and/or dwell time of the face or identifier confirmed by the booth residence time management module 570 . The confirmed moving line is stored in the moving line database 620 and provided as useful data to the next booth 30 entrants.

부스 정보 관리 모듈(580)은, 전시장 및 부스 데이터베이스(630)와 연계되어, 부스 정보를 관리한다. 전시장 전체 지도 및 부스(30) 각각의 입점 업체 정보 등을 관리할 수 있다. 방문객이 방문객 단말기(900)를 통하여 특정 업체의 정보를 요청한 경우, 부스 정보 관리 모듈(580)이 이를 확인하여 송신할 수 있다. 또한, 방문객이 방문객 단말기(900)를 통하여 특정 부스(30)까지 가는 경로 정보를 요청한 경우, 부스 정보 관리 모듈(580)을 이용하여 해당 부스(30)의 위치를 확인할 수 있다.The booth information management module 580 is linked with the exhibition hall and the booth database 630 to manage booth information. It is possible to manage the entire map of the exhibition hall and information about each of the booths 30 . When a visitor requests information of a specific company through the visitor terminal 900 , the booth information management module 580 may check and transmit the information. Also, when a visitor requests route information to a specific booth 30 through the visitor terminal 900 , the location of the corresponding booth 30 may be confirmed using the booth information management module 580 .

2. 시스템에 따른 관리 방법2. Management method according to the system

2.1. 등록 단계2.1. Registration step

행사 개최 업체는, 행사 개최 전 인터넷 등과 같은 통신망을 이용하여 접근한 메인 서버(500)의 등록 관리 모듈(510)을 이용하여 방문객을 등록할 수 있다. 등록 관리 모듈(510)을 통하여 방문객의 이름, 소속, 부서, 직책, 메일, 및 전화번호 등의 정보가 입력되며, 등록 데이터베이스(610)에 저장된다.The event hosting company may register visitors using the registration management module 510 of the main server 500 accessed through a communication network such as the Internet before the event is held. Information such as a visitor's name, affiliation, department, position, mail, and phone number is input through the registration management module 510 and is stored in the registration database 610 .

사전에 등록한 방문객은 행사 개최 당일 등록구역(10)에 접근하여 인증을 받게 된다. 등록 카메라(110)를 통하여 확인된 이미지에서 영상 인식 모듈(530)을 통하여 방문객의 얼굴이 인식되면, 등록 관리 모듈(510)은 이에 상응하는 고유 코드를 생성하고 등록 데이터베이스(610)에 사전에 저장된 방문객 정보와 매핑하여 이를 저장한다.Visitors registered in advance access the registration area 10 on the day of the event and receive authentication. When the face of the visitor is recognized through the image recognition module 530 in the image confirmed by the registration camera 110 , the registration management module 510 generates a unique code corresponding thereto and stores it in the registration database 610 in advance. It maps and stores visitor information.

한편, 행사 개최 전에 등록되지 않고, 행사 개최 당일에 등록구역(10)에 직접 접근하여 등록하고자 하는 방문객의 경우에도 등록 단말기(120)를 통해 등록될 수 있다.On the other hand, a visitor who is not registered before the event and wants to register by directly accessing the registration area 10 on the day of the event may also be registered through the registration terminal 120 .

또한, 방문객 중 얼굴의 인식을 원하지 않는 경우, 등록구역(10)에서는 얼굴을 대신할 별도의 식별자를 출력하여 방문객이 부착하고 이동하도록 교부할 수도 있다.In addition, if a visitor does not want to recognize a face, the registration area 10 may output a separate identifier to replace the face and issue it to the visitor to attach and move.

2.2. 입장 단계2.2. entry stage

도 3을 참조하여 설명한다. 위의 등록 단계를 마친 방문객이 입구(10)로 접근하면, 입구에 설치된 입장 카메라(210)가 얼굴 또는 식별자를 확인한다(S310).It will be described with reference to FIG. 3 . When the visitor who has completed the above registration step approaches the entrance 10, the entrance camera 210 installed at the entrance checks the face or identifier (S310).

영상 인식 모듈(530)이 입장 카메라(210)에서 확인된 이미지로부터 얼굴 또는 식별자를 추출하면, 입장 관리 모듈(520)이 등록 데이터베이스(610)에 이에 상응하는 얼굴 또는 식별자가 저장되어 있는지 여부를 확인한다(S320).When the image recognition module 530 extracts the face or identifier from the image identified by the entrance camera 210 , the entrance management module 520 checks whether a corresponding face or identifier is stored in the registration database 610 . do (S320).

등록 데이터베이스(610)에 저장되어 있는 경우 해당 방문객은 등록된 방문객이기에 진입이 가능하며, 그렇지 않은 경우 알람 발생부(220)가 작동한다(S330).If it is stored in the registration database 610, the corresponding visitor can enter because it is a registered visitor. Otherwise, the alarm generating unit 220 operates (S330).

진입 가능 여부는 입구(10)에 설치된 별도의 디스플레이부(미도시)를 통하여 출력될 수 있다.Whether the entry is possible may be output through a separate display unit (not shown) installed at the entrance 10 .

2.3. 전시장 방문 단계2.3. Steps to visit the exhibition hall

2.3.1. 방문객의 이동에 따른 부스의 확인2.3.1. Identification of booths according to the movement of visitors

도 4를 참조하여 설명한다.It will be described with reference to FIG. 4 .

방문객이 전시장 내에서 이동하다 특정 부스(30)에 접근하여 부스 카메라(310)의 가시 범위 내에 접근한다.A visitor approaches a specific booth 30 while moving in the exhibition hall and approaches within the visible range of the booth camera 310 .

부스 카메라(310)가 방문객의 얼굴 또는 식별자를 확인하면(S410), 영상 인식 모듈(530)이 해당 이미지에서 얼굴 또는 식별자를 인식하여 등록 데이터베이스(610)로부터 방문객을 식별한다(S420).When the booth camera 310 identifies the visitor's face or identifier (S410), the image recognition module 530 recognizes the face or identifier from the image and identifies the visitor from the registration database 610 (S420).

부스 디스플레이부(320)는 부스 카메라(310)의 촬영 영상과 함께 식별된 방문객의 인식 부분(얼굴 또는 식별자)을 함께 도시하여 부스 입점 업체에 이를 알려줄 수 있다(S430).The booth display unit 320 may show the recognition part (face or identifier) of the identified visitor together with the photographed image of the booth camera 310 to inform the booth company of this (S430).

VIP 관리 모듈(511)은 식별된 방문객이 기 설정된 VIP인지 여부를 확인한다(S440). 기 설정된 VIP인 경우에는 송수신기(700)를 이용하여 부스 입점 업체 직원이 소지하는 부스 단말기(800)에 기 설정된 메시지가 전송될 수 있다(S445). 이를 통하여 부스 입점 업체는 중요 바이어 등을 효과적으로 응대할 수 있다. 또한, 부스 디스플레이부(320)에서 VIP 정보가 함께 도시될 수도 있다.The VIP management module 511 checks whether the identified visitor is a preset VIP (S440). In the case of a preset VIP, a preset message may be transmitted to the booth terminal 800 possessed by the booth entrant using the transceiver 700 (S445). Through this, companies entering the booth can effectively respond to important buyers, etc. In addition, VIP information may be displayed together on the booth display unit 320 .

한편, 부스 체류시간 관리 모듈(550)은, 부스 카메라(310)가 방문객의 얼굴 또는 식별자를 확인한 순간부터 실시간으로 체류시간을 카운팅하기 시작하고 부스 카메라(310)의 인식이 종료될 때에 카운팅을 종료함으로써 체류시간을 연산한다(S450 ~ 470).On the other hand, the booth residence time management module 550 starts counting the residence time in real time from the moment the booth camera 310 confirms the visitor's face or identifier, and ends counting when the recognition of the booth camera 310 ends. By doing so, the residence time is calculated (S450 ~ 470).

이를 통하여, 방문객, 방문한 부스(30), 체류 시작 시각 및 체류시간이 확인되고, 이는 동선 데이터베이스(620)에 저장된다(S480). Through this, the visitor, the visited booth 30, the stay start time, and the stay time are checked, and these are stored in the movement database 620 (S480).

동선 관리 모듈(560)은 상기의 정보를 토대로 해당 방문객의 동선을 확인할 수 있다. 체류시간까지 고려되어 오래 체류한 부스(30)일수록 보다 짙은 색으로 표현되고 저장될 수 있다.The movement route management module 560 may check the movement route of the corresponding visitor based on the above information. In consideration of the residence time, the longer the booth 30 stays, the darker the color can be expressed and stored.

한편, S480 단계에 의하여, 부스 체류시간 확인 모듈(550)은 모든 방문객의 체류시간을 확인할 수 있다. 그런데, VIP로 기 설정된 방문객이 아닌 일반 방문객이 미리 설정된 일정 시간 이상(예를 들어, 20분 이상) 특정 부스(30)에 방문한 경우, VIP 관리 모듈(511)은 해당 방문객을 VIP로 설정할 수 있다.On the other hand, by step S480, the booth residence time confirmation module 550 can check the residence time of all visitors. However, when a general visitor who is not a visitor preset as a VIP visits the specific booth 30 for a predetermined time or longer (eg, 20 minutes or longer), the VIP management module 511 may set the visitor as a VIP. .

이 경우 S441 단계와 같이, 송수신기(700)가 부스 단말기에 특정 방문객이 VIP로 새롭게 설정되었음을 통보할 수도 있다.In this case, as in step S441, the transceiver 700 may notify the booth terminal that a specific visitor has been newly set as a VIP.

한편, 방문객이 방문한 부스(30)는 연속적으로 누적되어 데이터베이스에 기록된다. 이를 통하여 특정 방문객이 특정 부스(30)를 재방문할 경우, 해당 부스(30)의 부스 디스플레이부(320)에는 방문객의 방문 횟수가 함께 출력될 수 있다.On the other hand, the booth 30 visited by the visitor is continuously accumulated and recorded in the database. Through this, when a specific visitor revisits the specific booth 30 , the number of visits of the visitor may be output together on the booth display unit 320 of the corresponding booth 30 .

2.3.2. 방문객의 부스 검색 및 위치 확인2.3.2. Visitor's booth search and location

방문객 입장에서 본 발명에 따른 시스템을 사용하는 방안을 설명한다. 방문객은 자신의 단말기(900)에 별도의 애플리케이션을 설치함으로써 전시장과 관련된 아래와 같은 서비스를 제공받을 수 있다.A method of using the system according to the present invention from a visitor's point of view will be described. Visitors can receive the following services related to the exhibition hall by installing a separate application on their terminal 900 .

첫째, 방문객은 사전에 방문할 부스(30)를 선택하고 해당 업체의 정보를 미리 확인할 수 있다.First, the visitor can select the booth 30 to visit in advance and check the information of the corresponding company in advance.

방문객은, 방문객 단말기(900)를 이용하여 행사 개최 전 또는 방문 동안, 방문하고자 하는 부스(30)의 업체를 미리 선택하여 메인 서버(500)에 그 정보를 요청할 수 있다.The visitor may use the visitor terminal 900 to select a company of the booth 30 to be visited before or during the event by using the visitor terminal 900 and request the information from the main server 500 .

전시장 및 부스 데이터베이스(630)에는 각각의 부스(30)들의 입점 업체의 정보(예를 들어, 간략한 정보 및 담당자 연락처)가 미리 저장되어 있어서, 부스 정보 관리 모듈(580)은 요청받은 부스 정보를 송수신기(700)를 이용하여 방문객 단말기(900)에 송신할 수 있다.In the exhibition hall and booth database 630, information (eg, brief information and contact information) of each booth 30 is stored in advance, so that the booth information management module 580 transmits the requested booth information to the transceiver It can be transmitted to the visitor terminal 900 using 700 .

둘째, 방문객은 현재의 자신의 위치를 확인할 수 있고 방문하고자 하는 부스(30)의 위치 역시 확인할 수 있다.Second, the visitor can check his/her current location and also check the location of the booth 30 he wants to visit.

방문객은, 방문객 단말기(900)를 이용하여 현재의 자신의 위치 및 방문하고자 하는 부스(30)의 위치를 메인 서버(500)에 요청할 수 있다.The visitor may request the main server 500 for his/her current location and the location of the booth 30 to be visited by using the visitor terminal 900 .

먼저, 부스 접근 확인 모듈(540)을 통하여 요청한 방문객의 영상이 확인된 부스 카메라(310)를 확인함으로써 방문객의 위치를 부스(30)의 위치로 확인할 수 있다. First, the location of the visitor can be confirmed as the location of the booth 30 by checking the booth camera 310 in which the video of the requested visitor is confirmed through the booth access confirmation module 540 .

다음, 부스 정보 관리 모듈(580)은 전시장 및 부스 데이터베이스(630)에 기 저장된 전시장 전체 맵과 요청받은 부스(30)의 위치를 출력할 수 있다. 이와 같은 과정을 통하여, 별도의 GPS 등의 장비 없이도 위치 확인 및 경로 안내가 가능하다.Next, the booth information management module 580 may output the entire map of the exhibition hall pre-stored in the exhibition hall and the booth database 630 and the location of the requested booth 30 . Through this process, it is possible to check the location and guide the route without a separate device such as GPS.

셋째, 그 외에도, 애플리케이션을 통하여 간략한 메모, 방문 부스(30)의 업체로부터 직접 메시지 송수신 등을 제공할 수 있다.Third, in addition to that, it is possible to provide a brief memo and direct message transmission and reception from the company of the visiting booth 30 through the application.

2.4 사후 통계 단계2.4 Post Statistical Steps

전술한 바와 같이, 본 발명에 의한 시스템에 의하여 많은 종류의 데이터가 누적되어 저장된다. 이는, 사후 전시장 평가, 부스 입점 업체의 자체적 평가, 방문객의 정보 재검색 등에 사용된다.As described above, many types of data are accumulated and stored by the system according to the present invention. This is used for post-exhibition evaluation, self-evaluation of booth entrants, and re-search of visitor information.

첫째, 등록 관리 모듈(510) 및 입장 관리 모듈(520)을 통하여 전시장 총 방문객 수, 각각의 부스(30)별 방문객 수 정보가 날짜, 시간 등 소정의 기준에 따라 정렬되어 통계적으로 제공될 수 있다. 등록 데이터베이스(610)를 통하여, 방문객의 소속별, 나이별, 성별 등이 구분되어 제공될 수 있다.First, through the registration management module 510 and the admission management module 520 , information on the total number of visitors to the exhibition hall and the number of visitors for each booth 30 may be sorted according to predetermined criteria, such as date and time, and provided statistically. . Through the registration database 610, each visitor's affiliation, age, gender, etc. may be separately provided.

둘째, 표정 인식 모듈(533) 및 호응도 관리 모듈(570)을 통하여, 전시장 총 호응도, 각각의 부스(30)별 호응도 정보가 시간에 따라 제공될 수 있다. 부스(30)에 입점한 업체에서는, 어떠한 시간에 호응도가 높았는지 여부를 확인함으로써 어떠한 정보에 대한 반응이 좋았는지를 확인할 수 있어서 유용한 정보가 제공된다.Second, through the expression recognition module 533 and the responsiveness management module 570 , the total responsiveness of the exhibition hall and responsiveness information for each booth 30 may be provided over time. In the company entering the booth 30, useful information is provided because it is possible to check what kind of information the response was good by checking whether the response was high at what time.

셋째, 동선 관리 모듈(560)을 통하여 방문객, 특히 VIP의 동선의 정보가 제공될 수 있다. 전시장 개최 입장에서는 향후 효과적인 동선 설정을 위한 중요 자료가 될 수 있다.Third, information on the flow of visitors, particularly VIPs, may be provided through the flow management module 560 . From the standpoint of holding the exhibition hall, it can be an important data for effective route setting in the future.

본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 즉 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명의 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한 상기 각각의 실시예는 필요에 따라 서로 조합되어 운용할 수 있다. 예컨대, 본 발명의 모든 실시예는 일부분들이 서로 조합되어 본 발명의 시스템, 서버 및/또는 단말에 의해 구현될 수 있다.Embodiments of the present invention disclosed in the present specification and drawings are merely provided for specific examples in order to easily explain the technical contents of the present invention and help the understanding of the present invention, and are not intended to limit the scope of the present invention. That is, it will be apparent to those of ordinary skill in the art to which the present invention pertains that other modifications can be implemented based on the technical spirit of the present invention. In addition, each of the above embodiments may be operated in combination with each other as needed. For example, all embodiments of the present invention may be implemented by the system, server and/or terminal of the present invention in parts in combination with each other.

또한, 본 발명의 시스템, 서버 및/또는 단말을 제어하는 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.In addition, the method of controlling the system, server and/or terminal of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.

이와 같이, 본 발명의 다양한 실시예들은 특정 관점에서 컴퓨터 리드 가능 기록 매체(computer readable recording medium)에서 컴퓨터 리드 가능 코드(computer readable code)로서 구현될 수 있다. 컴퓨터 리드 가능 기록 매체는 컴퓨터 시스템에 의해 리드될 수 있는 데이터를 저장할 수 있는 임의의 데이터 저장 디바이스이다. 컴퓨터 리드 가능 기록 매체의 예들은 읽기 전용 메모리(read only memory: ROM)와, 랜덤-접속 메모리(random access memory: RAM)와, 컴팩트 디스크- 리드 온니 메모리(compact disk-read only memory: CD-ROM)들과, 마그네틱 테이프(magnetic tape)들과, 플로피 디스크(floppy disk)들과, 광 데이터 저장 디바이스들, 및 캐리어 웨이브(carrier wave)들(인터넷을 통한 데이터 송신 등)을 포함할 수 있다. 컴퓨터 리드 가능 기록 매체는 또한 네트워크 연결된 컴퓨터 시스템들을 통해 분산될 수 있고, 따라서 컴퓨터 리드 가능 코드는 분산 방식으로 저장 및 실행된다. 또한, 본 발명의 다양한 실시예들을 성취하기 위한 기능적 프로그램들, 코드, 및 코드 세그먼트(segment)들은 본 발명이 적용되는 분야에서 숙련된 프로그래머들에 의해 쉽게 해석될 수 있다.As such, various embodiments of the present invention may be embodied as computer readable code on a computer readable recording medium in a particular aspect. A computer readable recording medium is any data storage device capable of storing data that can be read by a computer system. Examples of computer readable recording media include read only memory (ROM), random access memory (RAM), and compact disk-read only memory (CD-ROM). ), magnetic tapes, floppy disks, optical data storage devices, and carrier waves (such as data transmission over the Internet). The computer readable recording medium may also be distributed over network-connected computer systems, so that the computer readable code is stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for achieving various embodiments of the present invention may be easily interpreted by programmers skilled in the field to which the present invention is applied.

또한 본 발명의 다양한 실시예들에 따른 장치 및 방법은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 콤팩트 디스크(compact disk: CD), DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 발명의 다양한 실시예들에 따른 방법은 제어부(제어 모듈(111, 221)) 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 이러한 메모리는 본 발명의 실시예들을 구현하는 명령들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. In addition, it will be appreciated that the apparatus and method according to various embodiments of the present invention can be realized in the form of hardware, software, or a combination of hardware and software. Such software may contain, for example, a volatile or non-volatile storage device such as a ROM, or a memory such as, for example, RAM, a memory chip, device or integrated circuit, whether erasable or rewritable, or For example, the storage medium may be stored in an optically or magnetically recordable storage medium such as a compact disk (CD), DVD, magnetic disk or magnetic tape, and at the same time, a machine (eg, computer) readable storage medium. The method according to various embodiments of the present invention may be implemented by a computer or a mobile terminal including a control unit (control module 111, 221) and a memory, and such a memory may execute instructions for implementing embodiments of the present invention. It will be appreciated that it is an example of a machine-readable storage medium suitable for storing a program or programs including the program.

따라서, 본 발명은 본 명세서의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.Accordingly, the present invention includes a program including code for implementing the apparatus or method described in the claims of the present specification, and a machine (computer, etc.) readable storage medium storing such a program. Further, such a program may be transmitted electronically over any medium, such as a communication signal transmitted over a wired or wireless connection, and the present invention suitably includes the equivalent thereof.

본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고, 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 또한 앞서 설명된 본 발명에 따른 실시예들은 예시적인 것에 불과하며, 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.The embodiments of the present invention disclosed in the present specification and drawings are merely provided for specific examples to easily explain the technical contents of the present invention and help the understanding of the present invention, and are not intended to limit the scope of the present invention. In addition, the embodiments according to the present invention described above are merely exemplary, and it will be understood by those skilled in the art that various modifications and equivalent ranges of embodiments are possible therefrom. Accordingly, the true technical protection scope of the present invention should be defined by the following claims.

Claims

The registration management module 510 for mapping and inputting visitor information and images to the registration database 610, the VIP management module 511 for entering a visitor set as a VIP, and mapping to the image confirmed by the booth camera 310 a main server 500 including a booth access confirmation module 540 that confirms that the visitor has accessed the booth by checking the visitor to be the registration database 610; and
In the exhibition hall management system using image recognition including a transceiver 700 communicating with the main server 500,
acquiring a 2D image including a face;
extracting a region of interest including at least a part of the face from the 2D image;
based on the region of interest, to an input layer of a convolutional neural network, which has been trained to generate 3D data from 2D images based on 2D training images of faces and training 3D data of faces. generating a corresponding input;
applying the input to the convolutional neural network to obtain an output generated by the convolutional neural network; and
generating 3D data of a face including positions respectively corresponding to predefined parts within the face based on the output; to do,
Exhibition hall management system using image recognition.