KR102473697B1 - Method for collecting data reflecting traveler's behavioral characteristics using facial recognition - Google Patents

Method for collecting data reflecting traveler's behavioral characteristics using facial recognition Download PDF

Info

Publication number
KR102473697B1
KR102473697B1 KR1020200155030A KR20200155030A KR102473697B1 KR 102473697 B1 KR102473697 B1 KR 102473697B1 KR 1020200155030 A KR1020200155030 A KR 1020200155030A KR 20200155030 A KR20200155030 A KR 20200155030A KR 102473697 B1 KR102473697 B1 KR 102473697B1
Authority
KR
South Korea
Prior art keywords
information
traveler
tourist
area
metadata
Prior art date
Application number
KR1020200155030A
Other languages
Korean (ko)
Other versions
KR20220068339A (en
Inventor
강봉조
Original Assignee
주식회사 웨이플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 웨이플러스 filed Critical 주식회사 웨이플러스
Priority to KR1020200155030A priority Critical patent/KR102473697B1/en
Publication of KR20220068339A publication Critical patent/KR20220068339A/en
Application granted granted Critical
Publication of KR102473697B1 publication Critical patent/KR102473697B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/14Travel agencies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Abstract

본 발명은 관광지의 복수 구역 내 설치된 다수의 CCTV를 통하여 촬영된 영상 정보로부터 여행객의 얼굴 영역을 검출하고, 검출된 얼굴 영역으로부터 각 여행객 고유의 특징점으로 이루어지는 좌표를 선정하여 해당 좌표값을 메타데이타로 추출하고, 추출된 메타데이타를 분석하여 여행객의 연령 및 성별과 관련된 정보를 도출하고 해당 메타데이타에 고유값을 부여하여 여행객별 ID를 산출한 여행객 성향 정보를 생성하고, 상기 관광지의 복수 구역에 설치된 CCTV로부터 얻어지는 영상 정보들에서 고유값이 부여된 메타데이타 관련 여행객의 방문 구역 정보, 구역별 방문 시간, 해당 구역에 대한 표정 정보를 포함하는 여행객 행동 특성 정보를 생성하고, 상기 여행객 행동 특성 정보로부터 여행객의 구역별 체류시간, 관광지 내 동선 정보, 구역별 만족도를 산출하는 것을 특징으로 하는 안면인식 기술을 이용한 여행객 행동특성 데이타 생성 방법을 제공한다.The present invention detects a traveler's face area from image information captured through a plurality of CCTVs installed in a plurality of areas of a tourist destination, selects coordinates consisting of characteristic points unique to each traveler from the detected face area, and converts the coordinate value into metadata. Extract and analyze the extracted metadata to derive information related to the age and gender of the traveler, assign a unique value to the metadata to generate traveler propensity information that calculates the ID for each traveler, and install it in multiple zones of the tourist destination From image information obtained from CCTV, tourist behavioral characteristic information including information on the tourist's visiting area related to metadata to which a unique value is assigned, visit time for each zone, and facial expression information for the corresponding zone is generated, and from the tourist behavioral characteristic information Provides a method for generating traveler behavioral characteristic data using facial recognition technology, which is characterized by calculating the stay time by zone, traffic line information in a tourist destination, and satisfaction by zone.

Description

안면인식 기술을 이용한 여행객 행동특성 데이타 생성 방법 {Method for collecting data reflecting traveler's behavioral characteristics using facial recognition}Method for generating traveler's behavioral characteristics using facial recognition technology {Method for collecting data reflecting traveler's behavioral characteristics using facial recognition}

본 발명은 여행객 행동특성 데이타 생성 방법 및 시스템에 관한 것으로서, 상세하게는 안면인식 기술을 이용하여 관광지를 방문한 여행객의 성향 정보 및 행동특성 데이타를 추출하고, 이를 관광 서비스에 활용할 수 있는 새로운 방법을 제안한다.The present invention relates to a method and system for generating traveler behavioral characteristic data, and more particularly, proposes a new method for extracting traveler's propensity information and behavioral characteristic data using facial recognition technology and utilizing it for tourism services. do.

여행은 일상에 변화를 주면서 새로운 경험을 제공하며, 유년층과 젊은층에는 즐거움과 성장의 기회를, 중장년층에는 낭만과 휴식의 기회가 되기도 한다. 여행의 대중화 이전에는 결혼, 졸업, 퇴직 등 특별한 날에 이루어지는 이벤트 행사에 불과했으나 교통수단 및 교통망의 발달과 정보통신 기술의 확장에 힘입어 최근에는 여행의 일상화, 생활화가 가능하게 되었다.Travel brings a change to daily life and provides new experiences. It also provides opportunities for joy and growth for the young and old, and for romance and relaxation for the middle-aged. Before the popularization of travel, it was only an event held on special days such as marriage, graduation, and retirement. However, thanks to the development of transportation and transportation networks and the expansion of information and communication technology, travel has recently become a daily routine and daily life.

여행사나 관광지 운영회사, 숙박업소, 음식점 등은 여행객의 취향 변화와 여행 콘텐츠 확대에 따라 특정 주제에 관련되거나 시기별로 특화된 여행 상품을 개발하기도 하고 자연환경과 체험이 접목된 새로운 여행 서비스를 제공하기도 한다. 이러한 여행 상품이나 서비스를 홍보하기 위해 자발적 여행 콘텐츠 제작자에게만 의존하지 않고 전문 블로거나 포털사이트를 이용하여 여행 정보를 적극적으로 노출시키고 있다. 또한, 교통과 숙박 중심의 여행 상품 제공에서 여행 목적을 고려하여 계절별 추천 여행지 안내 등 다양한 정보 위주의 여행 서비스가 개발되고 있다.Travel agencies, tourist attraction management companies, accommodations, and restaurants develop travel products related to specific topics or specialized for each period according to changes in travelers' tastes and expansion of travel content, or provide new travel services that combine natural environments and experiences. . In order to promote these travel products or services, travel information is actively exposed using professional bloggers or portal sites rather than relying only on voluntary travel content producers. In addition, various information-oriented travel services are being developed, such as information on recommended seasonal destinations in consideration of the purpose of travel, in the provision of travel products centered on transportation and lodging.

이러한 추세에도 불구하고 종래의 여행 관련 서비스는 여행객의 트렌드에 부합하지 못하고 있다. 예를 들어, 제주도를 찾는 여행객들은 특정 관광지에 편중되지 않고 개성과 필요에 맞게 제주도 전체 지역을 고루 방문하고 경험하는 것으로 나타나고 있고, 타지역에도 동일한 경향이 우세한데 반하여, 실제로는 단순 관광지 정보를 일방적으로 제공하고 있을 뿐이고 극히 예외적으로 여행 후 설문조사를 수집하는 정도의 피드백에 그치고 있다. Despite this trend, conventional travel-related services do not meet the trends of travelers. For example, it appears that travelers visiting Jeju Island visit and experience all areas of Jeju Island according to their personality and needs without being biased toward a specific tourist destination. It is only provided as a feedback, and it is extremely exceptionally limited to the extent of collecting surveys after travel.

여행객이 원하는 여행 정보가 모두 다르며, 여행의 질을 향상시키기 위해서는 먼저 여행자 취향 및 객관적인 여행 사실에 대한 수준 높은 분석이 요구되고 있다. 특히, 관광지에 대한 스마트 관광 서비스를 제공하기 위해서 기본적으로 관광지를 방문하는 여행객의 행동 특성 등을 파악하는 것이 중요하다. 포스(POS) 장치나 지자체에서 제공하는 빅데이타 서비스를 통해 일별 입장객 통계를 제공받는 것이 가능하지만, 특정 관광지에 대한 시간대별, 연령대별, 성별, 동행자별 정보 등 여행객의 개별 특성을 알 수 없는 정보만 제공하고 있는 실정이다. 이러한 상황에서, 관광 서비스의 수준을 높이고 여행객별 맞춤형 상품을 제공하기 위해서는 관광지별 경영 전략을 세우거나 방문객 특성 분석을 위해 별도의 인원을 배치하고 관련 시스템을 도입할 필요가 있는데, 개별 관광지 입장에서 과도한 투자를 통해 해당 정보를 얻어내기에는 경제적으로도 기술적으로도 열악한 상황이다. All travel information that travelers want is different, and in order to improve the quality of travel, a high-level analysis of traveler tastes and objective travel facts is required. In particular, in order to provide smart tourism services for tourist destinations, it is important to understand the behavioral characteristics of tourists visiting tourist destinations. It is possible to receive daily visitor statistics through POS devices or big data services provided by local governments, but information that does not reveal the individual characteristics of travelers, such as time zone, age group, gender, and companion information for specific tourist destinations. It is only being provided. In this situation, in order to raise the level of tourism service and provide customized products for each traveler, it is necessary to establish a management strategy for each tourist destination or to deploy a separate staff and introduce a related system to analyze the characteristics of visitors. It is economically and technically difficult to obtain the information through investment.

종래에 관광 서비스 수준을 높이기 위한 다양한 시도가 있었는데, 예를 들어 등록특허 10-1869023호에 의하면, 관광지 지역 내에서 비행하는 안내 드론의 위치 및 관광객의 위치에 관한 정보가 중계기에 입력되는 단계, 상기 중계기에 입력된 정보를 중앙 처리 유닛에 제공하는 단계, 상기 중앙처리 유닛에 입력된 정보를 기초로 상기 관광객의 위치 및 밀집도를 분석하는 단계, 관광객이 송수신 단말기를 통해 입력한 특정 목적지 정보를 상기 중앙 처리 유닛에 제공하는 단계, 및 상기 중앙 처리 유닛은 관광객의 위치 및 전체 관광객의 밀집도 분석 결과에 기초하여 상기 특정 목적지까지의 최적 경로를 분석한 후 상기 안내 드론 및 상기 송수신 단말기 중 적어도 어느 하나를 통해 상기 최적 경로를 안내하는 단계를 포함하는 드론을 이용한 관광지 안내 방법이 제안되었다. 이 기술은 드론의 운영을 전제로 하며 관광객의 단말기를 통해 입력된 목적지 정보가 필요하기 때문에 관광지 운영업체에서 활용하는데 많은 제약이 있다. Conventionally, there have been various attempts to increase the level of tourism service. For example, according to Patent Registration No. 10-1869023, information on the location of a guide drone flying in a tourist area and the location of a tourist is input to a repeater, Providing information input to the repeater to the central processing unit, analyzing the location and density of the tourists based on the information input to the central processing unit, and transmitting specific destination information input by the tourist through the transceiver terminal to the central processing unit. providing to a processing unit, and the central processing unit analyzes an optimal route to the specific destination based on the result of analyzing the location of tourists and the density of all tourists, and then transmits the information through at least one of the guide drone and the transceiver terminal. A method for guiding a tourist destination using a drone including guiding the optimal route has been proposed. Since this technology is based on the operation of drones and requires destination information entered through a tourist's terminal, there are many restrictions on its use by tourist attraction operators.

또 다른 기술로서, 빅데이타를 활용하여 관광객 각자에게 맞춤화된 질 높은 관광 서비스를 제공하고 다양한 관광 상품을 개발하려는 시도가 있었다. 예를 들어 관광지 각 지역에 관한 포털 및 소셜 검색 데이타, 카드사용 데이타, 버스사용데이타, 공공 wifi 데이타 등 다양한 데이타를 수집하여 빅데이타를 형성하고, 이 결과를 활용하는 것이다. 예를 들어 등록특허 10-2137653호에 따르면, 관광지의 각 지역에서 판매되는 상품의 전체판매량에서 특정 상품군의 판매량에 따른 상품 판매율을 산출하여 비교가 이루어지도록 하고, 상품 판매율이 높은 지역을 매장위치로 추천하도록 함으로써, 관광지 상품을 판매하는 중소상공인들의 매출을 높이고 매장 위치 선정이 용이하게 이루어질 수 있도록 하는 관광지 상품 판매 및 개발을 위한 빅데이타 기반 정보제공시스템을 제안하고 있다. 이 기술의 경우 상품결제정보 및 교통이용정보를 기초로 분석을 하는데 그치고 여행객들의 성향 및 행동 특성 분석은 이루어지고 있지 않다. As another technology, there have been attempts to provide high-quality tourism services customized to each tourist and to develop various tourism products by utilizing big data. For example, various data such as portal and social search data, card usage data, bus usage data, and public wifi data for each tourist destination are collected to form big data and the results are utilized. For example, according to Registered Patent No. 10-2137653, the product sales rate according to the sales volume of a specific product group is calculated from the total sales volume of products sold in each region of the tourist destination, and the area with the high product sales rate is selected as the store location. By making recommendations, we propose a big data-based information provision system for the sales and development of tourist destination products that increases the sales of small and medium-sized merchants who sell tourist destination products and makes it easy to select a store location. In the case of this technology, analysis is done based on product payment information and traffic use information, and analysis of travelers' propensity and behavioral characteristics is not being performed.

수준 높은 관광 서비스 및 스마트 관광 상품을 개발하기 위해서는 관광지를 방문한 여행객들에 관한 다양한 통계 정보를 손쉽게 확인할 수 있어야 하며, 특히 여행객의 연령과 성별정보, 동반자 유무 및 동반자 종류에 관련된 방문객 그룹 유형 등의 정보가 필요하다. 또한, 관광지 업체에서 활용할 수 있는 실시간 방문객 통계, 방문객 특성 분석, 방문자의 이동 경로나 만족도 분석, 관광약자의 애로사항 등의 정보 등이 필요하다.In order to develop high-quality tourism services and smart tourism products, it is necessary to be able to easily check various statistical information on travelers who have visited tourist destinations. is needed In addition, information such as real-time visitor statistics, visitor characteristics analysis, visitor movement path or satisfaction analysis, and difficulties of the tourism weak that can be utilized by tourist destination companies are needed.

한편, 코로나 19 등의 전염병이 만연된 시대에는 관광지 내부에서 여행객이 특정 구역에 밀집되지 않고 적정한 인원을 유지하는지 모니터링하여 전염병 전파를 최소화할 수 있는 관광지 운영이 필요하다. On the other hand, in an era when infectious diseases such as Corona 19 are prevalent, we monitor whether travelers are not concentrated in a specific area and maintain an appropriate number of people inside the tourist destination. It is necessary to operate tourist destinations that can minimize the spread of infectious diseases.

종래에, 공개특허 10-2006-0021088호에 따르면, 이동통신망을 통해서 이동통신 단말기에 임의의 관광지별 혼잡도 정보를 전달함으로써 가입자에게 보다 나은 이동통신 서비스를 확대 제공하는 한편, 관광지별 혼잡도 정도를 알 수 있어 가입자가 여행 계획을 수정하거나 혼잡도가 낮은 시간대로 변경하도록 도움을 주고 있는데, 이 기술은 이동통신단말기의 사용 유무를 기초로 관광지 혼잡도 정보를 제공하기 때문에 관광지 내에서의 구역별 인원 유지 등의 실시간 방역대책을 마련하는데 활용하기에는 역부족이다.Conventionally, according to Patent Publication No. 10-2006-0021088, congestion information for each tourist destination is delivered to a mobile communication terminal through a mobile communication network to expand and provide better mobile communication services to subscribers, while knowing the degree of congestion for each tourist destination. This technology helps subscribers to modify their travel plans or change to less congested time slots. Since this technology provides tourist congestion information based on the use of mobile communication terminals, it is possible to maintain the number of people in each area within the tourist destination. It is not enough to use it to prepare real-time quarantine measures.

본 발명은 전술한 기술적 배경하에서 창안된 것으로, 본 발명의 목적은 관광지를 방문한 여행객의 성별, 연령, 동반자 유무 등의 특성을 분석하고, 이들에 대한 행동 특성을 도출할 수 있는 새로운 방법을 제공하는 것이다. The present invention was conceived under the above-described technical background, and an object of the present invention is to provide a new method for analyzing characteristics such as gender, age, and presence or absence of companions of travelers visiting tourist destinations and deriving behavioral characteristics for them. will be.

본 발명의 다른 목적은 관광지를 방문한 여행객들이 해당 관광지 내 특정 구역에 대한 선호도 등을 파악할 수 있는 객관적인 정보를 추출할 수 있는 방법을 제공하는 것이다. Another object of the present invention is to provide a method for extracting objective information by which travelers who have visited a tourist destination can grasp their preferences for a specific area within the tourist destination.

본 발명의 또 다른 목적은 여행객 중 관광약자에 대한 배려가 가능하고 코로나19와 같은 유행병이 만연되었을 때 인원 분산 시행 등이 가능하도록, 관광지에서의 여행객 성향과 행동 정보를 추출할 수 있는 방법 및 시스템을 제공하는 것이다. Another object of the present invention is a method and system capable of extracting traveler propensity and behavioral information in a tourist destination so that consideration for the tourism weak among travelers and dispersal of personnel when an epidemic such as Corona 19 is widespread is to provide

기타, 본 발명의 또 다른 목적 및 기술적 특징은 이하의 상세한 설명에서 보다 구체적으로 제시될 것이다.Other objects and technical features of the present invention will be presented in more detail in the following detailed description.

상기 목적을 달성하기 위하여, 본 발명은 관광지의 복수 구역 내 설치된 다수의 CCTV를 통하여 촬영된 영상 정보로부터 여행객의 얼굴 영역을 검출하고, 검출된 얼굴 영역으로부터 각 여행객 고유의 특징점으로 이루어지는 좌표를 선정하여 해당 좌표값을 메타데이타로 추출하고, 추출된 메타데이타를 분석하여 여행객의 연령 및 성별과 관련된 정보를 도출하고 해당 메타데이타에 고유값을 부여하여 여행객별 ID를 산출한 여행객 성향 정보를 생성하고, 상기 관광지의 복수 구역에 설치된 CCTV로부터 얻어지는 영상 정보들에서 고유값이 부여된 메타데이타 관련 여행객의 방문 구역 정보, 구역별 방문 시간, 해당 구역에 대한 표정 정보를 포함하는 여행객 행동 특성 정보를 생성하고, 상기 여행객 행동 특성 정보로부터 여행객의 구역별 체류시간, 관광지 내 동선 정보, 구역별 만족도를 산출하는 것을 특징으로 하는 안면인식 기술을 이용한 여행객 행동특성 데이타 생성 방법을 제공한다.In order to achieve the above object, the present invention detects the face region of a traveler from image information captured through a plurality of CCTVs installed in a plurality of areas of a tourist destination, and selects coordinates consisting of characteristic points unique to each traveler from the detected face region The corresponding coordinate value is extracted as metadata, the extracted metadata is analyzed to derive information related to the age and gender of the traveler, and a unique value is assigned to the metadata to generate traveler propensity information that calculates an ID for each traveler, Generating traveler behavioral characteristic information including information about the region visited by a traveler related to metadata to which a unique value is assigned, visit time for each region, and facial expression information for the region from image information obtained from CCTVs installed in multiple regions of the tourist destination; Provided is a method for generating traveler behavioral characteristic data using facial recognition technology, characterized in that the traveler's staying time by zone, movement information within a tourist destination, and satisfaction by zone are calculated from the traveler's behavioral characteristic information.

상기 여행객 성향 정보에는 복수의 구역에서 촬영된 영상 정보로부터 얻어지는 메타데이타 분석을 통해 여행객의 동반자 유무 및 동반자 종류를 포함하는 그룹 유형 정보를 생성하여 추가로 저장할 수 있다.In the traveler propensity information, group type information including presence/absence of a traveler's companion and type of companion may be generated and additionally stored through metadata analysis obtained from image information captured in a plurality of zones.

본 발명에 있어서, 상기 체류 시간의 경우 방문한 구역들에 대해 얼굴정보가 확인된 시간을 방문시간으로 설정하고 제1구역에서 제2구역으로 이동한 경우 제2구역 방문시간에서 제1구역 방문시간 및 해당 관광지에서의 평균 이동시간을 제외한 차이로부터 제1구역의 체류시간을 결정할 수 있다. 또한, 상기 동선 정보의 경우 방문한 구역들에 대해 얼굴정보가 확인된 시간을 방문시간으로 설정하고 방문시간의 순서로 동선을 결정할 수 있다. 또한, 상기 만족도의 경우 표정값과 관련된 메타데이타를 수치 변환한 표정변환값을 산출하고, (방문구역 수)×(수치변환값의 최대값)-(표정변환값 총합) 의 방식에 의해 만족도 수치값을 산출하며, 만족도 수치값이 0 에 가까울수록 만족도가 커지고 (방문구역 수)×(수치변환값의 최대값) 에 가까울수록 만족도가 낮은 것으로 판별할 수 있다.In the present invention, in the case of the stay time, the time at which face information is confirmed for the visited areas is set as the visit time, and when moving from the first area to the second area, the second area visit time and the first area visit time and The stay time in the first zone can be determined from the difference excluding the average travel time in the corresponding tourist destination. In addition, in the case of the movement route information, the time at which face information is confirmed for the visited areas may be set as the visit time, and the movement route may be determined in the order of the visit time. In addition, in the case of the satisfaction, a facial expression conversion value obtained by numerically converting metadata related to the facial expression value is calculated, and the satisfaction value is calculated by the method of (number of visited areas) × (maximum value of numerical conversion values) - (total sum of facial expression conversion values) The value is calculated, and the closer the numerical value of satisfaction is to 0, the higher the satisfaction level is.

또한 본 발명에 있어서, 상기 영상 정보로부터 여행객의 얼굴 정보 외에 목발, 휠체어, 유모차 유무를 판별하여 상기 메타데이타에 해당 정보를 추가할 수 있다. In the present invention, in addition to the face information of the traveler, the presence or absence of crutches, a wheelchair, or a stroller may be determined from the image information, and the corresponding information may be added to the metadata.

또한 본 발명에 있어서, 상기 여행객 행동 특성 정보로부터 일정한 시간 동안 특정 구역에 대하여 방문 시간이 확인된 여행객의 수를 수집하고, 해당 구역의 면적을 기초로 결정된 기준 인원 대비 수집된 여행객 수를 비교하여 밀집도를 판별할 수 있다. In addition, in the present invention, the number of travelers whose visiting time is confirmed for a specific area for a certain period of time is collected from the traveler behavioral characteristic information, and the number of travelers collected is compared to the standard number determined based on the area of the corresponding area to determine the density. can determine.

본 발명에 따르면, 특정 관광지를 방문한 여행객의 특성을 실시간으로 파악하여 스마트 관광 서비스를 제공하는데 활용할 수 있다.According to the present invention, the characteristics of travelers visiting a specific tourist destination can be grasped in real time and used to provide smart tourism services.

본 발명은 관광지를 방문한 여행객들의 시간대별, 연령대별, 성별, 동행자별 특성 등의 성향 정보와, 관광지 내에서의 방문 영역, 체류 시간, 만족도 등의 행동 특성 정보를 제공하여, 개별 관광지에서 경영 전략 수립이나 방문객 맞춤형 상품 개발 등을 적극적으로 시행할 수 있다. The present invention provides management strategy in individual tourist destinations by providing propensity information such as time zone, age group, gender, and companion characteristics of travelers visiting tourist destinations, and behavioral characteristic information such as visit area, stay time, and satisfaction within the tourist destination. Establishment or development of customized products for visitors can be actively carried out.

본 발명의 방법에 따르면, 개별 관광지의 여행객 행동 특성 데이타를 축적하여 지역의 관광 산업 분석 및 정책 수립에 활용할 수 있고, 코로나 19 등의 유행병 발생 시 특정 구역에서 인원의 밀집 여부를 모니터링하고 적정 인원으로 분산시키는 등의 실시간 방역 예방 활동에도 활용할 수 있다. According to the method of the present invention, it is possible to accumulate traveler behavioral characteristic data of individual tourist destinations and use them for regional tourism industry analysis and policy establishment, and in the event of an epidemic such as Corona 19, the concentration of people in a specific area is monitored and the appropriate number of people is determined. It can also be used for real-time quarantine prevention activities such as dispersing.

도 1은 본 발명의 여행객 행동특성 정보 생성 방법의 순서도
도 2는 관광지 영상정보 모식도
도 3은 영상정보 수신 후 여행객 성향 정보 생성 개요도
도 4는 여행객 행동특성 정보 생성 개요도
도 5는 본 발명의 여행객 행동특성 정보 생성을 위한 시스템 구성도
도 6은 통계 정보 산출 결과를 보인 모식도
도 7은 외부 기관에 전달된 관광지 분석 데이타
1 is a flowchart of a method for generating traveler behavioral characteristic information according to the present invention
2 is a schematic diagram of tourist destination image information
3 is a schematic diagram of generating tourist propensity information after receiving video information
4 is a schematic diagram of generating traveler behavioral characteristic information
5 is a system configuration diagram for generating traveler behavioral characteristic information of the present invention
6 is a schematic diagram showing statistical information calculation results
7 is tourist destination analysis data transmitted to external institutions

본 발명은 안면인식 기술을 이용한 여행객 행동특성 데이타 생성 방법 및 시스템을 제안한다. The present invention proposes a method and system for generating traveler behavioral characteristic data using facial recognition technology.

본 발명의 데이타 생성 방법은 관광지에 설치된 복수의 CCTV를 통해 촬영된 영상물로부터 기본 정보를 얻는다. CCTV 영상 정보를 수신하여, 안면인식 소프트웨어를 통해 여행객의 얼굴 영역을 검출하고, 검출된 얼굴 정보로부터 개별 여행객에 대한 성별, 연령대, 표정 등의 기본 데이타를 추출하여 기본 데이타베이스를 구축한다. 이 과정에서 여행객이 동반자를 포함할 경우, 해당 그룹의 성비 및 연령 정보에 기초하여 그룹의 유형을 분류할 수 있다. The data generation method of the present invention obtains basic information from images captured through a plurality of CCTVs installed in tourist spots. Receives CCTV image information, detects the tourist's face area through facial recognition software, and extracts basic data such as gender, age group, and expression of each traveler from the detected face information to build a basic database. In this process, if the traveler includes a companion, the type of group may be classified based on the sex ratio and age information of the corresponding group.

또한, 본 발명은 기본 데이타베이스 외에 관광지 각 구역의 CCTV에서 수신되는 영상 정보를 분석하여 여행객의 체류 시간, 동선, 관광지 내 각 구역에 대한 만족도 정보를 포함하는 여행객 행동특성 데이타를 산출한다. 이와 더불어 CCTV가 설치된 구역의 면적과 구역 내 방문객 밀집도를 파악하고 방역을 위해 수용인원 권장 값이 지켜지고 있는지 모니터링 할 수 있다. 각각의 과정에서 복수의 CCTV로 촬영된 영상으로 중복성 검사를 진행하여 데이타 신뢰성을 제고한다. In addition, in addition to the basic database, the present invention analyzes image information received from CCTVs in each area of the tourist destination to calculate traveler behavioral characteristic data including the traveler's stay time, traffic route, and satisfaction information for each area in the tourist destination. In addition, it is possible to determine the area of the area where CCTV is installed and the density of visitors within the area, and monitor whether the recommended number of people for quarantine is being followed. In each process, data reliability is improved by conducting a redundancy test with images taken by multiple CCTVs.

본 발명의 방법을 통해 산출되는 여행객 행동특성 데이타는 관광인 여행 관련 업체에서 실시간 방문객 집계, 방문객 특성 분석, 동행자 분석, 만족도 분석, 시간대별 입장객 수, 동행 형태, 관광약자의 애로사항 등의 통계정보로 활용할 수 있다. 또한, 지역 관광객 수 모니터링이나 수집이 필요한 관공서 등의 기관에서 기존의 관광지별 입장객 수를 수기로 통보받거나 담당 인력이 직접 조사하는 방식을 탈피하여, 통계적으로 산출된 여행객 데이타를 온라인으로 제공받아 관련 정책 수립이나 여행 관련 대책을 시행하는데 활용할 수 있다.The tourist behavioral characteristic data calculated through the method of the present invention is statistical information such as real-time visitor aggregation, visitor characteristics analysis, companion analysis, satisfaction analysis, number of visitors by time slot, companion type, and difficulties of the tourism weak in tourist travel-related companies. can be utilized as In addition, agencies such as government offices that need to monitor or collect the number of local tourists are notified by hand of the number of visitors to each tourist destination, or the personnel in charge are directly surveyed. It can be used to establish or implement travel-related measures.

도 1은 본 발명의 여행객 행동특성 정보 생성 방법의 순서도로서, 본 발명에 따른 여행자 행동특성 데이타 생성 방법은 먼저 관광지 내 설치된 다수의 CCTV를 통하여 촬영된 영상 정보로부터 여행객의 얼굴 영역을 검출하는 단계를 포함한다.1 is a flow chart of a method for generating traveler behavioral characteristic information according to the present invention. The method for generating traveler behavioral characteristic data according to the present invention first includes the step of detecting a tourist's face region from image information captured through a plurality of CCTVs installed in a tourist destination. include

관광지에 설치된 CCTV에서 얻는 영상 정보는 각 구역별로 구분되어 설치된 복수의 CCTV로부터 여행객의 영상 정보를 얻는 것이 바람직하다(단계 S110), 촬영된 영상 정보는 유무선 통신망을 통해 본 발명의 시스템에 실시간으로 전달될 수 있고, 얻어진 영상 정보로부터 각 여행객의 얼굴 영역을 검출한다. 이후 검출된 얼굴 영역으로부터 각 여행객 고유의 특징점으로 이루어지는 좌표를 선정하여 해당 좌표값을 메타데이타로 추출한다(단계 S120).It is preferable to obtain the image information of the tourist from the CCTVs installed in the tourist destination from a plurality of CCTVs installed separately for each area (step S110). It can be, and the face region of each traveler is detected from the obtained image information. Thereafter, coordinates composed of characteristic points unique to each traveler are selected from the detected face area, and the corresponding coordinate values are extracted as metadata (step S120).

도 2는 관광지 영상정보의 예를 보인 사진으로서 관광지에 설치된 CCTV 영상을 활용하면 다양한 데이타 및 통계 정보를 얻을 수 있는데, 초상권 등 개인 프라이버시를 고려하여 얼굴 영역에 대한 메타데이타만 추출한 후, 실제 얼굴 영상 자료는 저장하지 않고 삭제하는 것이 바람직하다. Figure 2 is a picture showing an example of image information of a tourist destination. Various data and statistical information can be obtained by using CCTV images installed in a tourist destination. It is desirable to delete the data without saving it.

CCTV로부터 전달되는 영상 정보 내에서 여행객의 얼굴 영역을 분석한 결과를 토대로 해당 여행객의 연령과 성별정보를 파악하고, 방문객이 개인인지 복수인지를 분석하여 그룹 유형과 그룹 타입 데이타를 산출할 필요가 있다. 이를 위하여, 본 발명에서는 영상 정보의 얼굴 영역으로부터 추출된 메타데이타를 분석하여 여행객의 연령 및 성별과 관련된 정보를 도출하고 해당 메타데이타에 고유값을 부여하여 여행객별 ID를 산출한 여행객 성향 정보를 생성한다(단계 S130).It is necessary to determine the age and gender information of the traveler based on the result of analyzing the traveler's face area within the video information transmitted from the CCTV, and to calculate the group type and group type data by analyzing whether the visitor is an individual or multiple. . To this end, in the present invention, the metadata extracted from the face region of the image information is analyzed to derive information related to the age and gender of the traveler, and a unique value is assigned to the corresponding metadata to generate traveler propensity information that calculates an ID for each traveler. Do (step S130).

메타데이타는 안면인식 기술을 이용하여 개별 관광지 내 설치된 CCTV를 통하여 촬영된 영상물로부터 모든 인물의 얼굴 영역을 검출하고, 해당 얼굴영역에서 각각의 인물 고유의 특징점으로 이루어지는 좌표를 선정하여 해당 좌표값을 메타데이타로 추출하는 과정을 포함한다. 예를 들어 CCTV로 촬영된 얼굴영역에서 얼굴의 코 부위를 기준 좌표로 선정하고, 그 기준 좌표를 중심으로 3차원으로 모델링함과 동시에, 3차원 얼굴모델로부터 얼굴특징점을 3차원 좌표값으로 검출함으로써, 개인 고유의 메타데이타를 추출할 수 있다.Metadata uses facial recognition technology to detect the facial area of all people from video images filmed through CCTVs installed in individual tourist destinations, select coordinates consisting of each person's unique feature points in the face area, and convert the corresponding coordinate value to meta data. It includes the process of extracting data. For example, by selecting the nose part of the face as a reference coordinate in the face area photographed by CCTV, modeling it in 3D around the reference coordinate, and detecting the facial feature point as a 3D coordinate value from the 3D face model. , individual metadata can be extracted.

여행객 성향 정보 생성Creation of traveler propensity information

상기 추출된 메타데이타와 기존에 누적되어 있는 연령 또는 성별 메타데이타 패턴 등과 대비하여, 촬영된 영상물에 포함된 인물의 성별/연령 정보를 도출할 수 있다. 이러한 여행객 성향 정보 생성 과정에서 구역별 CCTV를 통해 다중으로 얼굴 영역 검출할 수 있는데, 하나의 구역 내에서 특정 여행객의 얼굴 화면이 정상적으로 검출되지 않은 경우 다른 구역에서 검출된 정보로 해당 여행객의 메타데이타를 업그레이드하거나 보완할 수 있다 Gender/age information of a person included in a photographed video object may be derived by comparing the extracted metadata with an existing accumulated age or gender metadata pattern. In the process of generating such traveler propensity information, multiple face regions can be detected through CCTVs for each region. can be upgraded or supplemented

또한, 여행객 성향 정보 생성 과정에서, 복수의 구역에서 촬영된 영상 정보로부터 얻어지는 메타데이타 분석을 통해 여행객의 동반자 유무 및 동반자 종류를 포함하는 그룹 유형 정보를 생성하는 단계를 포함할 수 있다. 촬영된 영상물에서 검출된 인원에 따른 분석을 통한 개인 유형 또는 그룹 유형으로 분류할 수 있고, 그룹유형으로 분류되는 경우 그룹을 이루는 각 개인의 성별/연령 정보에 기초하여 해당 그룹 타입을 지정할 수 있다. 예를 들어 그룹 유형은 개인, 어린이, 친구, 연인, 부모님, 단체로 분류할 수 있다. 또한, 친구, 연인, 가족, 기타 단체의 경우, 인식된 인물의 성별, 연령대, 동반자의 나이차 등에 따라 각각 다른 타입의 유형으로 구분할 수 있다. In addition, in the process of generating traveler propensity information, a step of generating group type information including presence or absence of a traveler's companion and type of companion through metadata analysis obtained from image information captured in a plurality of zones may be included. It can be classified as an individual type or a group type through analysis according to the number of people detected in the recorded video, and when classified as a group type, the corresponding group type can be designated based on the gender/age information of each individual constituting the group. For example, group types can be classified as individuals, children, friends, lovers, parents, and organizations. In addition, in the case of friends, lovers, families, and other groups, each type may be classified according to the gender, age group, and age difference of the recognized person.

이와 같이 영상 정보의 얼굴 영역으로부터 단계별로 판별된 여행객 성향 정보는 메타데이타에 고유값을 부여하여 인물별 ID 산출 후 데이타베이스에 저장된다. 도 3은 영상정보 수신 후 여행객 성향 정보 생성한 개요를 모식적으로 보인 것으로, 개별 여행객의 연령, 성별, 동반자 정보가 포함되어 있으며, 표정 정보의 경우 후술하는 여행객 행동특성 정보 생성 과정에 반영될 수도 있다. 또한 아래의 표 1은 생성된 여행객 성향 정보를 예시적으로 나타내며, 메타데이타에 성별, 연령 등의 여행객 성향 정보가 포함될 수 있다. In this way, the traveler propensity information determined step by step from the face area of the image information is stored in the database after calculating the ID for each person by assigning a unique value to the metadata. FIG. 3 schematically shows the outline of generating traveler propensity information after receiving image information, which includes age, gender, and companion information of individual travelers. In the case of facial expression information, it may be reflected in the process of generating traveler behavioral characteristic information described later. have. In addition, Table 1 below shows the generated traveler propensity information as an example, and the metadata Traveler propensity information such as gender and age may be included.

IDID 메타데이타metadata 비고note 000001000001 data 000xxx1data 000xxx1 개인individual 000002000002 data 000xxx2data 000xxx2 부부married couple 000003000003 data 000xxx3data 000xxx3 친구friend ............ 00000N00000N data 000xxxNdata 000xxxN (그룹 유형)(group type)

관광약자tourism weak 판별 discrimination

본 발명은 여행객 성향 정보 생성 과정 또는 그 전에 관광약자를 판별하기 위한 단계로서, 관광지 CCTV로부터 전송되는 영상 정보로부터 여행객의 얼굴 정보 외에 목발, 휠체어, 유모차 유무를 판별하여 상기 메타데이타에 해당 정보를 추가할 수 있다(단계 S125). 관광약자 정보는 예를 들어 목발, 휠체어, 유모차 등의 동체 이미지 정보, 임산부의 메타데이타 정보를 학습화하고, 그룹유형 분류가 완료된 메타데이타에 학습화된 관광약자 분류에 관한 이미지가 발견될 경우 해당 여행객을 관광약자로 판별하고 해당 정보를 해당 메타데이타에 추가하여 일반 관광객과 관광약자를 구분할 수 있다. 이러한 정보 추출을 통해 특정 관광지에 방문하는 관광약자를 파악하는 한편, 해당 여행객들을 위한 동선 변경, 편의시설 추가 등의 대책을 시행할 수 있을 것이다. The present invention is to determine the tourism weak before or during the process of generating tourist propensity information. As a step for this, it is possible to determine the existence of crutches, wheelchairs, and baby carriages in addition to the traveler's face information from the image information transmitted from the CCTV of the tourist destination, and add the corresponding information to the metadata (step S125). For tourism vulnerable information, for example, moving image information such as crutches, wheelchairs, strollers, and metadata information of pregnant women are learned, and when an image related to tourism vulnerable classification is found in the metadata for which group type classification has been completed, It is possible to differentiate between ordinary tourists and tourism weak by identifying travelers as tourism weak and adding the corresponding information to the corresponding metadata. Through this information extraction, it will be possible to identify the tourist weak who visits a specific tourist destination, while implementing measures such as changing the route and adding convenience facilities for the travelers.

여행객 행동특성 정보 생성Creation of information on traveler behavioral characteristics

다음으로, 여행객 행동특성 정보 생성하는 단계로서, 관광지의 복수 구역에 설치된 CCTV로부터 얻어지는 영상 정보들에서 고유값이 부여된 메타데이타 관련 여행객을 안면인식 기술을 이용하여 파악하고, 해당 여행객의 방문 구역 정보, 구역별 방문 시간, 해당 구역에 대한 표정 정보를 포함하는 여행객 행동 특성 정보를 생성한다(단계 S140). 단일 관광지라도 내부의 각 구역에 설치된 복수의 CCTV를 통해서 방문자의 이동 경로나, 체류 시간 등을 확인할 있으며, 이는 구간별 체류시간 정보를 획득하고 그룹 지정에 대한 정확도를 검증하는 자료로 활용할 수 있다. Next, as a step of generating traveler behavioral characteristic information, using facial recognition technology, a traveler related to metadata to which a unique value is assigned is identified from image information obtained from CCTVs installed in multiple areas of a tourist destination, and information on the area visited by the traveler. , visit time for each zone, and tourist behavior characteristic information including facial expression information for the corresponding zone is generated (step S140). Even if it is a single tourist attraction, it is possible to check the visitor's movement route or stay time through multiple CCTVs installed in each area inside, which can be used as data to obtain information on stay time by section and verify the accuracy of group designation. .

도 4는 여행객 행동특성 정보 생성을 위한 개요도로서, 관광지 내 구역별 CCTV, 입출구 CCTV 등 다중 CCTV를 통한 체류시간, 동선, 만족도 측정을 위한 과정을 모식적으로 보이고 있다. 구체적으로 여행객 행동특성 정보는 부여된 ID 값이 존재하는 여행객이 관광지 내 특정 구역의 CCTV에 발견되었을 때, 해당 ID 데이타에 구역 정보, 방문시간, 안면인식을 통한 표정상태 확인을 통한 표정 정보를 확인하여 해당 ID와 추가 데이타로 포함시킨다. 표정 정보의 경우 예를 들어 Happy, Sad, Angry, normal 등의 네 가지 정보로 분류할 수 있으며, 후술하는 바와 같이 각 표정 정보를 수치화하여 만족도 산출에 활용할 수 있다. 각 구역별 CCTV 마다 동일한 작업을 진행하며 최상위 데이타로 누적하여 저장하고, 출구 CCTV에서 해당 ID의 관광객이 발견되었을 때, 최종 출구 구역값과 방문시간 값, 표정값을 부여하여 해당 ID의 데이타 갱신을 종료한다. 4 is a schematic diagram for generating traveler behavioral characteristic information, schematically showing a process for measuring stay time, flow, and satisfaction through multiple CCTVs, such as CCTVs by area in a tourist destination and CCTVs at entrances and exits. Specifically, when a traveler with an assigned ID value is found on a CCTV in a specific area within a tourist destination, the information on the traveler's behavioral characteristics is confirmed by checking the area information, visit time, and expression status through facial recognition in the ID data. and include it as the corresponding ID and additional data. In the case of facial expression information, for example, it can be classified into four types of information such as Happy, Sad, Angry, and normal. Facial expression information can be digitized and used to calculate satisfaction. The same work is performed for each CCTV in each zone, and the top data is accumulated and stored, and when a tourist with the corresponding ID is found in the exit CCTV, the final exit zone value, visit time value, and facial expression value are given to update the data of the corresponding ID. quit

갱신이 종료된 ID 데이타를 각 여행객 별로 수집하고 관광지 전체 방문한 여행객들에 대한 통계 정보로 산출될 수 있다. 하기 표 2는 각 여행객 별로 방문한 구역 정보 및 방문 시간, 각 구역에 대한 표정 정보를 예시적으로 나타내고 있다. ID data for which renewal has been completed may be collected for each traveler and calculated as statistical information for all travelers visiting the tourist destination. Table 2 below shows, by way of example, information on regions visited by each traveler, visit time, and facial expression information for each region.

IDID 구역area 방문시간visit time 표정값expression value
000001000001
AA 12:1012:10 normalnormal
BB 12:3512:35 happyhappy CC 13:3513:35 happyhappy DD 14:2014:20 sadsad
000002000002
AA 13:2013:20 happyhappy
CC 14:3014:30 normalnormal DD 14:5014:50 normalnormal 000003000003 BB 11:0011:00 happyhappy CC 12:3012:30 normalnormal
000004000004
AA 14:2514:25 sadsad
BB 14:4014:40 happyhappy DD 15:3015:30 normalnormal

다음으로, 방문 구역 정보, 구역별 방문 시간, 해당 구역에 대한 표정 정보를 포함하는 상기 여행객 행동 특성 정보로부터 여행객의 구역별 체류시간, 관광지 내 동선 정보, 구역별 만족도를 산출한다(단계 S150).Next, the traveler's staying time for each zone, route information within the tourist destination, and satisfaction level for each zone are calculated from the traveler's behavioral characteristic information including the visit zone information, visit time for each zone, and facial expression information for the corresponding zone (step S150).

체류 시간의 경우, 방문한 구역들에 대해 얼굴정보가 확인된 시간을 방문시간으로 설정하고 제1구역에서 제2구역으로 이동한 경우 제2구역 방문시간에서 제1구역 방문시간 및 해당 관광지에서의 평균 이동시간을 제외한 차이로부터 제1구역의 체류시간을 결정할 수 있다. 즉, 복수 구역들에 대한 방문시간의 차이값으로 특정 구역에 대한 체류시간을 판별하는 방법은 다음과 같이 표현될 수 있다. In the case of stay time, the time at which face information is confirmed for the visited areas is set as the visit time, and when moving from Area 1 to Area 2, the average visit time from Area 2 to Area 1 and the corresponding tourist destination The time of stay in Zone 1 can be determined from the difference except for the travel time. That is, a method of determining a stay time for a specific zone with a difference value of visit times for a plurality of zones can be expressed as follows.

(제1구역 방문시간값)-(제2 구역 방문시간값)-(평균이동시간) = 체류시간 (Visit time value for Zone 1)-(Visit time value for Zone 2)-(Average travel time) = Stay time

예를 들어, 000001 ID 값의 관광객의 최종데이타가 아래 표 3과 같을 경우, 시간 순서 상 구역 1에서 구역 3을 거쳐 구역 2로 이동한 것을 알 수 있고, 평균 이동시간은 10min 이며, 따라서 1번 구역에서 머문 체류시간은 위 식에 따라 (11:20)-(10:30)-(00:10)=(00:40) 와 같이 도출되고, 따라서 관광지의 1번 구역에서 해당 ID의 관광객은 40분간 체류하였고, 동일한 방식으로 3번 구역에서는 50간 동안 체류하였다고 판별할 수 있다.For example, if the final data of the tourist with the ID value of 000001 is as shown in Table 3 below, it can be seen that he moved from zone 1 through zone 3 to zone 2 in chronological order, and the average travel time is 10 min. The length of stay in the zone is derived as (11:20)-(10:30)-(00:10)=(00:40) according to the above formula. It can be determined that he stayed for 40 minutes and stayed for 50 hours in Zone 3 in the same way.

구역area 방문시간visit time 표정값expression value 이동 시간 travel time 1One 10:3010:30 normalnormal 8 min8min 22 12:2012:20 happyhappy 12 min12min 33 11:2011:20 happyhappy 10 min10min

동선 정보의 경우, 방문한 구역들에 대해 얼굴 정보가 확인된 시간을 방문시간으로 설정하고 방문시간의 순서로 동선을 결정할 수 있다. 즉, 체류시간 측정에서 도출된 최종 ID 데이타 값에서, 구역값을 최하위 데이타부터 나열하는 것으로 동선을 측정할 수 있다. 예를 들어, 000001 ID 값의 여행객 최종 데이타가 (방문구역, 방문시간, 표정 정보)로 구성되는 데이타셋으로 나타내었을 때 (5,12:30,normal), (4,:11:20,normal), (3,10:30,happy), (1,10:10,happy) 인 경우, 해당 여행객의 동선은 1 -> 3 -> 4 -> 5 라고 쉽게 판별할 수 있다.In the case of movement information, the time at which face information is confirmed for the visited areas is set as the visit time, and the movement may be determined in the order of the visit time. That is, in the final ID data value derived from the measurement of the residence time, the movement line can be measured by listing the zone values from the lowest data. For example, when the final data of a traveler with ID value of 000001 is expressed as a data set consisting of (area visited, visit time, facial expression information) (5,12:30,normal), (4,:11:20,normal ), (3,10:30,happy), and (1,10:10,happy), the traveler's movement can be easily determined as 1 -> 3 -> 4 -> 5.

상기 만족도의 경우, 표정값과 관련된 메타데이타를 수치 변환한 표정변환값을 산출하고, 아래의 식에 의해 만족도 수치값을 산출할 수 있으며, 이 경우 만족도 수치값이 0 에 가까울수록 만족도가 커지고 (방문구역 수)×(수치변환값의 최대값) 에 가까울수록 만족도가 낮은 것으로 판별할 수 있다. In the case of the satisfaction, a facial expression conversion value obtained by numerically converting the metadata related to the expression value is calculated, and the satisfaction numerical value can be calculated by the following formula. In this case, the closer the satisfaction numerical value is to 0, the greater the satisfaction ( The closer to the number of visited areas) × (maximum value of numerical conversion value), the lower the level of satisfaction can be determined.

(방문구역 수)×(수치변환값의 최대값)-(표정변환값 총합)(number of areas visited)×(maximum value of numerical conversion value)-(total expression conversion value)

즉, 만족도는 위의 체류시간 측정에서 도출된 최종 ID 데이타 값에서, 구역값과 표정값을 최하위 데이타부터 나열하는 것으로 해당 구역의 대한 만족도를 파악할 수 있는데, 예를들어, 000001 ID 값의 관광객 최종데이타가 (방문구역, 방문시간, 표정 정보)로 구성되는 데이타셋으로 나타내었을 때 (5,12:30,normal), (4,:11:20,normal), (3,10:30,happy), (1,10:10,happy) 인 경우, 해당 여행객의 구역별 만족도는 1.3번 구역에서 높고, 4,5번 구역에서는 보통으로 파악할 수 있다. 또한, 해당 ID의 여행객의 관광지 전체에 대한 만족도는 개별 구역의 만족도를 합산하여, 최종 도출된 ID 데이타에서 표정값의 대한 데이타에 대한 만족도 점수를 부여를 통해 도출할 수 있다. 예를 들어 happy = 4, normal = 3, sad = 2, angry = 1 과 같이 수치적으로 변환한 값의 총합을 계산하고, ((방문구역 수)*4)-(표정변환값 총합)의 계산을 통하여 0에 가까울수록 만족도가 높아지고, (방문구역수)*4에 가까울수록 불만족이 큰 것으로 판별할 수 있다. 이와 같은 방식으로 개별 여행객의 만족도 지수를 합산하고 관광지를 방문한 전체 여행객들에 대한 만족도를 통계적으로 처리하여, 전술한 체류 시간 및 동선 데이타와 함께 특정 관광지의 여행객 행동특성을 객관적으로 분석할 수 있다. That is, satisfaction can be determined by listing the zone values and expression values from the lowest data in the final ID data value derived from the above stay time measurement. When the data is represented as a dataset consisting of (visit area, visit time, facial expression information) (5,12:30,normal), (4,:11:20,normal), (3,10:30,happy ), (1,10:10,happy), the traveler's satisfaction by zone can be identified as high in zone 1.3 and average in zones 4 and 5. In addition, the satisfaction of the traveler of the corresponding ID for the entire tourist destination can be derived by summing up the satisfaction of the individual zones and assigning a satisfaction score to the data of the facial expression value from the finally derived ID data. For example, calculate the total value converted numerically, such as happy = 4, normal = 3, sad = 2, angry = 1, and calculate ((number of visited areas) * 4) - (total expression conversion value) Through , it can be determined that the closer to 0, the higher the satisfaction, and the closer to (number of visited areas) * 4, the greater the dissatisfaction. In this way, it is possible to objectively analyze the behavioral characteristics of travelers in a specific tourist destination along with the above-mentioned stay time and movement data by summing up the satisfaction indices of individual travelers and statistically processing the satisfaction of all travelers who have visited the tourist destination.

CCTV 영상물을 수신하고 얼굴 영역으로부터 메타데이타를 추출하여 여행객 성향 정보를 생성하고, 구역별 CCTV 영상으로부터 각 여행객의 행동특성 정보를 생성한 후, 전체 여행객 데이타 및 관광지별 데이타는 통계 데이타를 산출하여 관광 업체에 시각적인 정보로 제공하거나 외부 기관의 서버 등으로 전송할 수 있다(단계 S160).After receiving the CCTV images, extracting metadata from the facial area to generate traveler propensity information, and generating information on each traveler's behavioral characteristics from the CCTV images by area, the total traveler data and the data by tourist destination calculate statistical data, It may be provided as visual information to a company or transmitted to a server of an external institution (step S160).

밀집도 판별Density determination

본 발명에 있어서, 상기 여행객 행동 특성 정보로부터 일정한 시간 동안 특정 구역에 대하여 방문 시간이 확인된 여행객의 수를 수집하고, 해당 구역의 면적을 기초로 결정된 기준 인원 대비 수집된 여행객 수를 비교하여 밀집도를 판별하는 단계를 추가할 수 있다(단계 S160).In the present invention, the number of travelers whose visit time is confirmed for a specific area for a certain period of time is collected from the traveler behavioral characteristic information, and the density is determined by comparing the number of travelers collected against the standard number of people determined based on the area of the corresponding area. A determining step may be added (step S160).

구역별 관광객 밀집도 판별을 위해서, 먼저 관광지의 각 구역별 면적을 기초로 권장 관광객 수의 대한 값을 결정하고 데이타베이스에 저장한다. 개별 여행객에 대한 ID값과 무관하게 해당 구역 CCTV에서 촬영된 영상의 총 인원수를 파악하여, 해당 구역에서의 관광객의 밀집도를 실시간으로 파악한다. (권장 관광객수)-(현재 총인원수) 의 결과 값이 음의 숫자가 도출되면 해당 구역은 음의 숫자만큼의 관광객이 초과된 것으로 판단하여 주의 조치를 진행할 수 있다. 이와 같은 방법으로 관광지의 각 구역별 면적 대비 실시간 인원수를 파악하여 적정한 밀집도를 유지하고 있는지 모니터링할 수 있으며, 밀집도 판별을 통해 코로나 19 등 전염병 전파를 최소화할 수 있는 관광지 운영이 가능하다.In order to determine the tourist density by district, first of all, Based on the area of each zone, the value for the recommended number of tourists is determined and stored in the database. Regardless of the ID value for individual travelers, the total number of people in the video captured by CCTV in the area is identified, and the density of tourists in the area is identified in real time. If the result of (recommended number of tourists)-(current total number of people) is a negative number, the area concerned may judge that the negative number of tourists is exceeded and take precautionary measures. In this way, it is possible to monitor whether the proper density is maintained by identifying the real-time number of people compared to the area of each area of the tourist destination, and it is possible to operate a tourist destination that can minimize the spread of infectious diseases such as COVID-19 through the determination of density.

본 발명의 여행객 행동특성 데이타 생성 방법은 관광지와 이격된 장소에서 유무선 통신을 통해 영상 정보를 수신한 후 메타데이타 추출 및 여행객 관련 정보를 생성하는 단계를 수행할 수 있으며, 이를 위하여 다양한 형태로 시스템을 구성할 수 있다. 도 5는 본 발명의 여행객 행동특성 데이타 생성을 위한 시스템의 구성을 예시적으로 보인 것이다. 전체 시스템(200)은 기본적으로 영상 정보 수집부(210), 메타데이타 추출부(220), 여행객 성향 정보 생성부(230), 및 여행객 행동특성 정보 생성부(240)를 포함하며, 부가적으로 관광약자정보 생성부(235), 밀집도 판별부(245), 및 통계정보 산출부(250)를 포함할 수 있다. 영상 정보 수집부는 관광지의 구역별 CCTV로부터 영상 정보를 수신하며, 통계 정보 산출부는 관광정책 기관(300) 등의 서버와 유무선 통신으로 정보를 송수신할 수 있다. 각각의 구성부들은 소프트웨어적인 처리가 가능한 독립적인 회로 요소 및 부품으로 구성될 수 있으며, 기능적으로 유사한 요소들이 하나의 패키지화된 부품으로 구성될 수도 있다. The method for generating traveler behavioral characteristic data of the present invention can perform the steps of extracting metadata and generating traveler-related information after receiving image information through wired/wireless communication at a place far from a tourist destination. can be configured. 5 shows an exemplary configuration of a system for generating traveler behavioral characteristic data of the present invention. The entire system 200 basically includes an image information collection unit 210, a metadata extraction unit 220, a tourist tendency information generation unit 230, and a traveler behavioral characteristic information generation unit 240, and additionally It may include a tourism weak information generation unit 235, a density determination unit 245, and a statistical information calculation unit 250. The image information collection unit receives image information from CCTVs for each area of the tourist destination, and the statistical information calculation unit may transmit and receive information with a server such as the tourism policy agency 300 through wired or wireless communication. Each component may be composed of independent circuit elements and parts capable of software processing, and functionally similar elements may be composed of one packaged part.

본 발명에 따라 생성된 여행객 관련 행동특성 데이타는 관광 관련 업체에서 활용하여 실시간 방문객 통계, 방문객 특성 분석, 동행자 분석, 만족도 분석, 관광약자의 애로사항 등의 다양한 통계정보를 실시간으로 확인하고, 해당 관광지의 서비스 변경이나 특화 상품 개발에 이용할 수 있다. 도 6은 본 발명에 따라 관광지에서 활용 가능한 통계 정보 산출 결과를 모식적으로 보인 것이다. The traveler-related behavioral characteristic data generated according to the present invention is utilized by tourism-related companies to check various statistical information in real time, such as real-time visitor statistics, visitor characteristics analysis, companion analysis, satisfaction analysis, and difficulties of the tourism weak, and can be used to change services or develop specialized products. 6 schematically shows the result of calculating statistical information that can be utilized in a tourist destination according to the present invention.

또한, 본 발명에 따라 종합적으로 개별 관광지의 통계 데이타가 축적되면, 지역의 전반적인 통계 분석이나 관광객 행태 분석의 토대가 될 수 있고, 실시간으로 관광지에 대한 방역대책을 마련하는데 활용할 수 있다. 도 7은 외부 기관에 전달되는 관광지 분석 데이타를 모식적으로 보이고 있다. 관광지별로 생성된 여행객 관련 행동특성 데이타는 특정 지역의 관광 상품 개발이나 지역 관광 수준을 높이는데 크게 기여할 것으로 기대된다. In addition, if the statistical data of individual tourist destinations is comprehensively accumulated according to the present invention, it can be used as a basis for overall statistical analysis of the area or analysis of tourist behavior, and can be used to prepare quarantine measures for tourist destinations in real time. 7 schematically shows tourist destination analysis data transmitted to an external institution. Traveler-related behavioral characteristic data generated by each tourist destination is expected to greatly contribute to the development of tourism products in a specific area or to increase the level of local tourism.

이상에서 바람직한 실시예를 통하여 본 발명을 예시적으로 설명하였으나, 본 발명은 이와 같은 특정 실시예에만 한정되는 것은 아니며 본 발명에서 제시한 기술적 사상, 구체적으로는 특허청구범위에 기재된 범주 내에서 다양한 형태로 수정, 변경, 또는 개선될 수 있을 것이다.Although the present invention has been illustratively described through preferred embodiments above, the present invention is not limited to such specific embodiments, and various forms are provided within the scope of the technical idea presented in the present invention, specifically, the claims. may be modified, changed, or improved.

100:관광지 구역별 CCTV
200:여행객 행동특성 데이타 생성 시스템
210:영상 정보 수집부 220:메타데이타 추출부
230:여행객 성향 정보 생성부 235:관광약자정보 생성부
240:여행객 행동특성 정보 생성부 245:밀집도 판별부
250:통계정보 산출부 300:관광정책 기관
100: CCTV by tourist area
200: Traveler behavioral characteristic data generation system
210: image information collection unit 220: metadata extraction unit
230: Traveler propensity information generation unit 235: Tourism weak information generation unit
240: Traveler behavioral characteristic information generation unit 245: Density determination unit
250: Statistical Information Calculation Unit 300: Tourism Policy Agency

Claims (5)

관광지의 복수 구역 내 설치된 다수의 CCTV를 통하여 촬영된 영상 정보로부터 여행객의 얼굴 영역을 검출하고,
검출된 얼굴 영역으로부터 각 여행객 고유의 특징점으로 이루어지는 좌표를 선정하여 해당 좌표값을 메타데이타로 추출하고,
추출된 메타데이타를 분석하여 여행객의 연령 및 성별과 관련된 정보를 도출하고 해당 메타데이타에 고유값을 부여하여 여행객별 ID를 산출한 여행객 성향 정보를 생성하고,
상기 관광지의 복수 구역에 설치된 CCTV로부터 얻어지는 영상 정보들에서 고유값이 부여된 메타데이타 관련 여행객의 방문 구역 정보, 구역별 방문 시간, 해당 구역에 대한 표정 정보를 포함하는 여행객 행동 특성 정보를 생성하고,
상기 여행객 행동 특성 정보로부터 여행객의 구역별 체류시간, 관광지 내 동선 정보, 구역별 만족도를 산출하며,
상기 체류 시간은 방문한 구역들에 대해 얼굴정보가 확인된 시간을 방문시간으로 설정하고 제1구역에서 제2구역으로 이동한 경우 제2구역 방문시간에서 제1구역 방문시간 및 해당 관광지에서의 평균 이동시간을 제외한 차이로부터 제1구역의 체류시간을 결정하며,
상기 만족도의 경우 표정값과 관련된 메타데이타를 수치 변환한 표정변환값을 산출하고, 아래의 식에 의해 만족도 수치값을 산출하며,
(방문구역 수)×(수치변환값의 최대값)-(표정변환값 총합)
만족도 수치값이 0 에 가까울수록 만족도가 커지고 (방문구역 수)×(수치변환값의 최대값) 에 가까울수록 만족도가 낮은 것으로 판별하는 것을 특징으로 하는
안면인식 기술을 이용한 여행객 행동특성 데이타 생성 방법.
Detecting the tourist's face area from image information captured through multiple CCTVs installed in multiple areas of the tourist destination,
From the detected face area, coordinates consisting of unique feature points of each traveler are selected, and the corresponding coordinate values are extracted as metadata,
The extracted metadata is analyzed to derive information related to the age and gender of the traveler, and a unique value is assigned to the metadata to generate traveler propensity information that calculates an ID for each traveler.
Generating traveler behavioral characteristic information including information about the region visited by a traveler related to metadata to which a unique value is assigned, visit time for each region, and facial expression information for the region from image information obtained from CCTVs installed in multiple regions of the tourist destination;
From the traveler behavioral characteristic information, the traveler's stay time by zone, route information within the tourist destination, and satisfaction by zone are calculated,
The stay time is set as the visit time when the face information is confirmed for the visited areas, and when moving from the first area to the second area, the average movement from the second area visit time to the first area visit time and the corresponding tourist destination Determine the residence time in zone 1 from the difference excluding time,
In the case of the satisfaction, a facial expression conversion value obtained by numerically converting metadata related to the expression value is calculated, and a satisfaction numerical value is calculated by the following formula,
(number of areas visited)×(maximum value of numerical conversion value)-(total expression conversion value)
The closer the satisfaction numerical value is to 0, the greater the satisfaction, and the closer to (the number of visited areas) × (maximum value of the numerical conversion value), the lower the satisfaction. Characterized in that
A method for generating traveler behavioral characteristics data using facial recognition technology.
제1항에 있어서,
상기 동선 정보의 경우 방문한 구역들에 대해 얼굴정보가 확인된 시간을 방문시간으로 설정하고 방문시간의 순서로 동선을 결정하는 것을 특징으로 하는 안면인식 기술을 이용한 여행객 행동특성 데이타 생성 방법.
According to claim 1,
In the case of the traffic line information, the time at which face information is confirmed for the visited areas is set as the visit time, and the travel line is determined in the order of the visit time.
삭제delete 제1항에 있어서,
상기 영상 정보로부터 여행객의 얼굴 정보 외에 목발, 휠체어, 유모차 유무를 판별하여 상기 메타데이타에 해당 정보를 추가하는 것을 특징으로 하는 안면인식 기술을 이용한 여행객 행동특성 데이타 생성 방법.
According to claim 1,
A method of generating traveler behavioral characteristic data using face recognition technology, characterized in that by determining the presence or absence of crutches, wheelchairs, and strollers in addition to face information of the traveler from the image information, and adding the corresponding information to the metadata.
제1항에 있어서,
상기 여행객 행동 특성 정보로부터 일정한 시간 동안 특정 구역에 대하여 방문 시간이 확인된 여행객의 수를 수집하고, 해당 구역의 면적을 기초로 결정된 기준 인원 대비 수집된 여행객 수를 비교하여 밀집도를 판별하는 것을 특징으로 하는 안면인식 기술을 이용한 여행객 행동특성 데이타 생성 방법.
According to claim 1,
The number of travelers whose visit time is confirmed for a specific area is collected from the traveler behavioral characteristic information for a certain period of time, and the density is determined by comparing the number of travelers collected to the standard number of people determined based on the area of the area A method for generating traveler behavioral characteristic data using facial recognition technology.
KR1020200155030A 2020-11-19 2020-11-19 Method for collecting data reflecting traveler's behavioral characteristics using facial recognition KR102473697B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200155030A KR102473697B1 (en) 2020-11-19 2020-11-19 Method for collecting data reflecting traveler's behavioral characteristics using facial recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200155030A KR102473697B1 (en) 2020-11-19 2020-11-19 Method for collecting data reflecting traveler's behavioral characteristics using facial recognition

Publications (2)

Publication Number Publication Date
KR20220068339A KR20220068339A (en) 2022-05-26
KR102473697B1 true KR102473697B1 (en) 2022-12-02

Family

ID=81809896

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200155030A KR102473697B1 (en) 2020-11-19 2020-11-19 Method for collecting data reflecting traveler's behavioral characteristics using facial recognition

Country Status (1)

Country Link
KR (1) KR102473697B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830958A (en) * 2024-03-04 2024-04-05 罗普特科技集团股份有限公司 Passenger clearance and weather detection management method and device and electronic equipment

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012137906A (en) * 2010-12-27 2012-07-19 Kozo Keikaku Engineering Inc Staying time measuring device, staying time measuring system and staying time measuring method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160011804A (en) * 2014-07-22 2016-02-02 홍승권 The method for providing marketing information for the customers of the stores based on the information about a customers' genders and ages detected by using face recognition technology
KR20190047200A (en) * 2017-10-27 2019-05-08 주식회사 찹스틱스와이드 Platform for providing smart sightseeing information based on bid data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012137906A (en) * 2010-12-27 2012-07-19 Kozo Keikaku Engineering Inc Staying time measuring device, staying time measuring system and staying time measuring method

Also Published As

Publication number Publication date
KR20220068339A (en) 2022-05-26

Similar Documents

Publication Publication Date Title
Bachir et al. Inferring dynamic origin-destination flows by transport mode using mobile phone data
Lathia et al. The hidden image of the city: sensing community well-being from urban mobility
Sari Aslam et al. A high-precision heuristic model to detect home and work locations from smart card data
CN109697214A (en) A kind of tourism data analysis system and method
Zhang et al. Revealing group travel behavior patterns with public transit smart card data
EP2667334A1 (en) System and method for estimating a dynamic origin-destination matrix
CN112687401B (en) Aggregation risk determination method and device, computer readable medium and electronic device
KR102073208B1 (en) stadium visitor big-data analysis system
CN111581506B (en) Flight recommendation method and system based on collaborative filtering
KR101451153B1 (en) Location recommendation system and method for mobile users by moving trajectory analysis of companions
KR101687494B1 (en) System for Providing Marketing Analysis Service Location Based on Social Network
JP2007026419A (en) Method for managing social network information and system therefor
CN111178721A (en) Intelligent tourism system
KR102473697B1 (en) Method for collecting data reflecting traveler's behavioral characteristics using facial recognition
US9594926B2 (en) Data processing apparatus, data processing system, and data processing method
CN112925899A (en) Ranking model establishing method, case clue recommending device and medium
KR102370988B1 (en) System for providing travel information using big data of user
KR101172986B1 (en) Method for recommending booth in exhibition
JP7105176B2 (en) Machine learning device, judgment device, program and machine learning method
JP2021096793A (en) Area analysis system and method thereof
JP6742360B2 (en) Information generating device, program, and information generating method
CN112182658B (en) Track data acquisition system and method based on privacy perception
JP2019186694A (en) Information generating device, program, and information generating method
Zhang et al. Inferring Demographics from Spatial-Temporal Activities Using Smart Card Data
CN114297530A (en) Travel planning method and system based on big data

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant