KR20220068339A - 안면인식 기술을 이용한 여행객 행동특성 데이타 생성 방법 - Google Patents

안면인식 기술을 이용한 여행객 행동특성 데이타 생성 방법 Download PDF

Info

Publication number
KR20220068339A
KR20220068339A KR1020200155030A KR20200155030A KR20220068339A KR 20220068339 A KR20220068339 A KR 20220068339A KR 1020200155030 A KR1020200155030 A KR 1020200155030A KR 20200155030 A KR20200155030 A KR 20200155030A KR 20220068339 A KR20220068339 A KR 20220068339A
Authority
KR
South Korea
Prior art keywords
traveler
information
area
metadata
time
Prior art date
Application number
KR1020200155030A
Other languages
English (en)
Other versions
KR102473697B1 (ko
Inventor
강봉조
Original Assignee
주식회사 웨이플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 웨이플러스 filed Critical 주식회사 웨이플러스
Priority to KR1020200155030A priority Critical patent/KR102473697B1/ko
Publication of KR20220068339A publication Critical patent/KR20220068339A/ko
Application granted granted Critical
Publication of KR102473697B1 publication Critical patent/KR102473697B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/14—Travel agencies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 관광지의 복수 구역 내 설치된 다수의 CCTV를 통하여 촬영된 영상 정보로부터 여행객의 얼굴 영역을 검출하고, 검출된 얼굴 영역으로부터 각 여행객 고유의 특징점으로 이루어지는 좌표를 선정하여 해당 좌표값을 메타데이타로 추출하고, 추출된 메타데이타를 분석하여 여행객의 연령 및 성별과 관련된 정보를 도출하고 해당 메타데이타에 고유값을 부여하여 여행객별 ID를 산출한 여행객 성향 정보를 생성하고, 상기 관광지의 복수 구역에 설치된 CCTV로부터 얻어지는 영상 정보들에서 고유값이 부여된 메타데이타 관련 여행객의 방문 구역 정보, 구역별 방문 시간, 해당 구역에 대한 표정 정보를 포함하는 여행객 행동 특성 정보를 생성하고, 상기 여행객 행동 특성 정보로부터 여행객의 구역별 체류시간, 관광지 내 동선 정보, 구역별 만족도를 산출하는 것을 특징으로 하는 안면인식 기술을 이용한 여행객 행동특성 데이타 생성 방법을 제공한다.

Description

안면인식 기술을 이용한 여행객 행동특성 데이타 생성 방법 {Method for collecting data reflecting traveler's behavioral characteristics using facial recognition}
본 발명은 여행객 행동특성 데이타 생성 방법 및 시스템에 관한 것으로서, 상세하게는 안면인식 기술을 이용하여 관광지를 방문한 여행객의 성향 정보 및 행동특성 데이타를 추출하고, 이를 관광 서비스에 활용할 수 있는 새로운 방법을 제안한다.
여행은 일상에 변화를 주면서 새로운 경험을 제공하며, 유년층과 젊은층에는 즐거움과 성장의 기회를, 중장년층에는 낭만과 휴식의 기회가 되기도 한다. 여행의 대중화 이전에는 결혼, 졸업, 퇴직 등 특별한 날에 이루어지는 이벤트 행사에 불과했으나 교통수단 및 교통망의 발달과 정보통신 기술의 확장에 힘입어 최근에는 여행의 일상화, 생활화가 가능하게 되었다.
여행사나 관광지 운영회사, 숙박업소, 음식점 등은 여행객의 취향 변화와 여행 콘텐츠 확대에 따라 특정 주제에 관련되거나 시기별로 특화된 여행 상품을 개발하기도 하고 자연환경과 체험이 접목된 새로운 여행 서비스를 제공하기도 한다. 이러한 여행 상품이나 서비스를 홍보하기 위해 자발적 여행 콘텐츠 제작자에게만 의존하지 않고 전문 블로거나 포털사이트를 이용하여 여행 정보를 적극적으로 노출시키고 있다. 또한, 교통과 숙박 중심의 여행 상품 제공에서 여행 목적을 고려하여 계절별 추천 여행지 안내 등 다양한 정보 위주의 여행 서비스가 개발되고 있다.
이러한 추세에도 불구하고 종래의 여행 관련 서비스는 여행객의 트렌드에 부합하지 못하고 있다. 예를 들어, 제주도를 찾는 여행객들은 특정 관광지에 편중되지 않고 개성과 필요에 맞게 제주도 전체 지역을 고루 방문하고 경험하는 것으로 나타나고 있고, 타지역에도 동일한 경향이 우세한데 반하여, 실제로는 단순 관광지 정보를 일방적으로 제공하고 있을 뿐이고 극히 예외적으로 여행 후 설문조사를 수집하는 정도의 피드백에 그치고 있다.
여행객이 원하는 여행 정보가 모두 다르며, 여행의 질을 향상시키기 위해서는 먼저 여행자 취향 및 객관적인 여행 사실에 대한 수준 높은 분석이 요구되고 있다. 특히, 관광지에 대한 스마트 관광 서비스를 제공하기 위해서 기본적으로 관광지를 방문하는 여행객의 행동 특성 등을 파악하는 것이 중요하다. 포스(POS) 장치나 지자체에서 제공하는 빅데이타 서비스를 통해 일별 입장객 통계를 제공받는 것이 가능하지만, 특정 관광지에 대한 시간대별, 연령대별, 성별, 동행자별 정보 등 여행객의 개별 특성을 알 수 없는 정보만 제공하고 있는 실정이다. 이러한 상황에서, 관광 서비스의 수준을 높이고 여행객별 맞춤형 상품을 제공하기 위해서는 관광지별 경영 전략을 세우거나 방문객 특성 분석을 위해 별도의 인원을 배치하고 관련 시스템을 도입할 필요가 있는데, 개별 관광지 입장에서 과도한 투자를 통해 해당 정보를 얻어내기에는 경제적으로도 기술적으로도 열악한 상황이다.
종래에 관광 서비스 수준을 높이기 위한 다양한 시도가 있었는데, 예를 들어 등록특허 10-1869023호에 의하면, 관광지 지역 내에서 비행하는 안내 드론의 위치 및 관광객의 위치에 관한 정보가 중계기에 입력되는 단계, 상기 중계기에 입력된 정보를 중앙 처리 유닛에 제공하는 단계, 상기 중앙처리 유닛에 입력된 정보를 기초로 상기 관광객의 위치 및 밀집도를 분석하는 단계, 관광객이 송수신 단말기를 통해 입력한 특정 목적지 정보를 상기 중앙 처리 유닛에 제공하는 단계, 및 상기 중앙 처리 유닛은 관광객의 위치 및 전체 관광객의 밀집도 분석 결과에 기초하여 상기 특정 목적지까지의 최적 경로를 분석한 후 상기 안내 드론 및 상기 송수신 단말기 중 적어도 어느 하나를 통해 상기 최적 경로를 안내하는 단계를 포함하는 드론을 이용한 관광지 안내 방법이 제안되었다. 이 기술은 드론의 운영을 전제로 하며 관광객의 단말기를 통해 입력된 목적지 정보가 필요하기 때문에 관광지 운영업체에서 활용하는데 많은 제약이 있다.
또 다른 기술로서, 빅데이타를 활용하여 관광객 각자에게 맞춤화된 질 높은 관광 서비스를 제공하고 다양한 관광 상품을 개발하려는 시도가 있었다. 예를 들어 관광지 각 지역에 관한 포털 및 소셜 검색 데이타, 카드사용 데이타, 버스사용데이타, 공공 wifi 데이타 등 다양한 데이타를 수집하여 빅데이타를 형성하고, 이 결과를 활용하는 것이다. 예를 들어 등록특허 10-2137653호에 따르면, 관광지의 각 지역에서 판매되는 상품의 전체판매량에서 특정 상품군의 판매량에 따른 상품 판매율을 산출하여 비교가 이루어지도록 하고, 상품 판매율이 높은 지역을 매장위치로 추천하도록 함으로써, 관광지 상품을 판매하는 중소상공인들의 매출을 높이고 매장 위치 선정이 용이하게 이루어질 수 있도록 하는 관광지 상품 판매 및 개발을 위한 빅데이타 기반 정보제공시스템을 제안하고 있다. 이 기술의 경우 상품결제정보 및 교통이용정보를 기초로 분석을 하는데 그치고 여행객들의 성향 및 행동 특성 분석은 이루어지고 있지 않다.
수준 높은 관광 서비스 및 스마트 관광 상품을 개발하기 위해서는 관광지를 방문한 여행객들에 관한 다양한 통계 정보를 손쉽게 확인할 수 있어야 하며, 특히 여행객의 연령과 성별정보, 동반자 유무 및 동반자 종류에 관련된 방문객 그룹 유형 등의 정보가 필요하다. 또한, 관광지 업체에서 활용할 수 있는 실시간 방문객 통계, 방문객 특성 분석, 방문자의 이동 경로나 만족도 분석, 관광약자의 애로사항 등의 정보 등이 필요하다.
한편, 코로나 19 등의 전염병이 만연된 시대에는 관광지 내부에서 여행객이 특정 구역에 밀집되지 않고 적정한 인원을 유지하는지 모니터링하여 전염병 전파를 최소화할 수 있는 관광지 운영이 필요하다.
종래에, 공개특허 10-2006-0021088호에 따르면, 이동통신망을 통해서 이동통신 단말기에 임의의 관광지별 혼잡도 정보를 전달함으로써 가입자에게 보다 나은 이동통신 서비스를 확대 제공하는 한편, 관광지별 혼잡도 정도를 알 수 있어 가입자가 여행 계획을 수정하거나 혼잡도가 낮은 시간대로 변경하도록 도움을 주고 있는데, 이 기술은 이동통신단말기의 사용 유무를 기초로 관광지 혼잡도 정보를 제공하기 때문에 관광지 내에서의 구역별 인원 유지 등의 실시간 방역대책을 마련하는데 활용하기에는 역부족이다.
본 발명은 전술한 기술적 배경하에서 창안된 것으로, 본 발명의 목적은 관광지를 방문한 여행객의 성별, 연령, 동반자 유무 등의 특성을 분석하고, 이들에 대한 행동 특성을 도출할 수 있는 새로운 방법을 제공하는 것이다.
본 발명의 다른 목적은 관광지를 방문한 여행객들이 해당 관광지 내 특정 구역에 대한 선호도 등을 파악할 수 있는 객관적인 정보를 추출할 수 있는 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 여행객 중 관광약자에 대한 배려가 가능하고 코로나19와 같은 유행병이 만연되었을 때 인원 분산 시행 등이 가능하도록, 관광지에서의 여행객 성향과 행동 정보를 추출할 수 있는 방법 및 시스템을 제공하는 것이다.
기타, 본 발명의 또 다른 목적 및 기술적 특징은 이하의 상세한 설명에서 보다 구체적으로 제시될 것이다.
상기 목적을 달성하기 위하여, 본 발명은 관광지의 복수 구역 내 설치된 다수의 CCTV를 통하여 촬영된 영상 정보로부터 여행객의 얼굴 영역을 검출하고, 검출된 얼굴 영역으로부터 각 여행객 고유의 특징점으로 이루어지는 좌표를 선정하여 해당 좌표값을 메타데이타로 추출하고, 추출된 메타데이타를 분석하여 여행객의 연령 및 성별과 관련된 정보를 도출하고 해당 메타데이타에 고유값을 부여하여 여행객별 ID를 산출한 여행객 성향 정보를 생성하고, 상기 관광지의 복수 구역에 설치된 CCTV로부터 얻어지는 영상 정보들에서 고유값이 부여된 메타데이타 관련 여행객의 방문 구역 정보, 구역별 방문 시간, 해당 구역에 대한 표정 정보를 포함하는 여행객 행동 특성 정보를 생성하고, 상기 여행객 행동 특성 정보로부터 여행객의 구역별 체류시간, 관광지 내 동선 정보, 구역별 만족도를 산출하는 것을 특징으로 하는 안면인식 기술을 이용한 여행객 행동특성 데이타 생성 방법을 제공한다.
상기 여행객 성향 정보에는 복수의 구역에서 촬영된 영상 정보로부터 얻어지는 메타데이타 분석을 통해 여행객의 동반자 유무 및 동반자 종류를 포함하는 그룹 유형 정보를 생성하여 추가로 저장할 수 있다.
본 발명에 있어서, 상기 체류 시간의 경우 방문한 구역들에 대해 얼굴정보가 확인된 시간을 방문시간으로 설정하고 제1구역에서 제2구역으로 이동한 경우 제2구역 방문시간에서 제1구역 방문시간 및 해당 관광지에서의 평균 이동시간을 제외한 차이로부터 제1구역의 체류시간을 결정할 수 있다. 또한, 상기 동선 정보의 경우 방문한 구역들에 대해 얼굴정보가 확인된 시간을 방문시간으로 설정하고 방문시간의 순서로 동선을 결정할 수 있다. 또한, 상기 만족도의 경우 표정값과 관련된 메타데이타를 수치 변환한 표정변환값을 산출하고, (방문구역 수)×(수치변환값의 최대값)-(표정변환값 총합) 의 방식에 의해 만족도 수치값을 산출하며, 만족도 수치값이 0 에 가까울수록 만족도가 커지고 (방문구역 수)×(수치변환값의 최대값) 에 가까울수록 만족도가 낮은 것으로 판별할 수 있다.
또한 본 발명에 있어서, 상기 영상 정보로부터 여행객의 얼굴 정보 외에 목발, 휠체어, 유모차 유무를 판별하여 상기 메타데이타에 해당 정보를 추가할 수 있다.
또한 본 발명에 있어서, 상기 여행객 행동 특성 정보로부터 일정한 시간 동안 특정 구역에 대하여 방문 시간이 확인된 여행객의 수를 수집하고, 해당 구역의 면적을 기초로 결정된 기준 인원 대비 수집된 여행객 수를 비교하여 밀집도를 판별할 수 있다.
본 발명에 따르면, 특정 관광지를 방문한 여행객의 특성을 실시간으로 파악하여 스마트 관광 서비스를 제공하는데 활용할 수 있다.
본 발명은 관광지를 방문한 여행객들의 시간대별, 연령대별, 성별, 동행자별 특성 등의 성향 정보와, 관광지 내에서의 방문 영역, 체류 시간, 만족도 등의 행동 특성 정보를 제공하여, 개별 관광지에서 경영 전략 수립이나 방문객 맞춤형 상품 개발 등을 적극적으로 시행할 수 있다.
본 발명의 방법에 따르면, 개별 관광지의 여행객 행동 특성 데이타를 축적하여 지역의 관광 산업 분석 및 정책 수립에 활용할 수 있고, 코로나 19 등의 유행병 발생 시 특정 구역에서 인원의 밀집 여부를 모니터링하고 적정 인원으로 분산시키는 등의 실시간 방역 예방 활동에도 활용할 수 있다.
도 1은 본 발명의 여행객 행동특성 정보 생성 방법의 순서도
도 2는 관광지 영상정보 모식도
도 3은 영상정보 수신 후 여행객 성향 정보 생성 개요도
도 4는 여행객 행동특성 정보 생성 개요도
도 5는 본 발명의 여행객 행동특성 정보 생성을 위한 시스템 구성도
도 6은 통계 정보 산출 결과를 보인 모식도
도 7은 외부 기관에 전달된 관광지 분석 데이타
본 발명은 안면인식 기술을 이용한 여행객 행동특성 데이타 생성 방법 및 시스템을 제안한다.
본 발명의 데이타 생성 방법은 관광지에 설치된 복수의 CCTV를 통해 촬영된 영상물로부터 기본 정보를 얻는다. CCTV 영상 정보를 수신하여, 안면인식 소프트웨어를 통해 여행객의 얼굴 영역을 검출하고, 검출된 얼굴 정보로부터 개별 여행객에 대한 성별, 연령대, 표정 등의 기본 데이타를 추출하여 기본 데이타베이스를 구축한다. 이 과정에서 여행객이 동반자를 포함할 경우, 해당 그룹의 성비 및 연령 정보에 기초하여 그룹의 유형을 분류할 수 있다.
또한, 본 발명은 기본 데이타베이스 외에 관광지 각 구역의 CCTV에서 수신되는 영상 정보를 분석하여 여행객의 체류 시간, 동선, 관광지 내 각 구역에 대한 만족도 정보를 포함하는 여행객 행동특성 데이타를 산출한다. 이와 더불어 CCTV가 설치된 구역의 면적과 구역 내 방문객 밀집도를 파악하고 방역을 위해 수용인원 권장 값이 지켜지고 있는지 모니터링 할 수 있다. 각각의 과정에서 복수의 CCTV로 촬영된 영상으로 중복성 검사를 진행하여 데이타 신뢰성을 제고한다.
본 발명의 방법을 통해 산출되는 여행객 행동특성 데이타는 관광인 여행 관련 업체에서 실시간 방문객 집계, 방문객 특성 분석, 동행자 분석, 만족도 분석, 시간대별 입장객 수, 동행 형태, 관광약자의 애로사항 등의 통계정보로 활용할 수 있다. 또한, 지역 관광객 수 모니터링이나 수집이 필요한 관공서 등의 기관에서 기존의 관광지별 입장객 수를 수기로 통보받거나 담당 인력이 직접 조사하는 방식을 탈피하여, 통계적으로 산출된 여행객 데이타를 온라인으로 제공받아 관련 정책 수립이나 여행 관련 대책을 시행하는데 활용할 수 있다.
도 1은 본 발명의 여행객 행동특성 정보 생성 방법의 순서도로서, 본 발명에 따른 여행자 행동특성 데이타 생성 방법은 먼저 관광지 내 설치된 다수의 CCTV를 통하여 촬영된 영상 정보로부터 여행객의 얼굴 영역을 검출하는 단계를 포함한다.
관광지에 설치된 CCTV에서 얻는 영상 정보는 각 구역별로 구분되어 설치된 복수의 CCTV로부터 여행객의 영상 정보를 얻는 것이 바람직하다(단계 S110), 촬영된 영상 정보는 유무선 통신망을 통해 본 발명의 시스템에 실시간으로 전달될 수 있고, 얻어진 영상 정보로부터 각 여행객의 얼굴 영역을 검출한다. 이후 검출된 얼굴 영역으로부터 각 여행객 고유의 특징점으로 이루어지는 좌표를 선정하여 해당 좌표값을 메타데이타로 추출한다(단계 S120).
도 2는 관광지 영상정보의 예를 보인 사진으로서 관광지에 설치된 CCTV 영상을 활용하면 다양한 데이타 및 통계 정보를 얻을 수 있는데, 초상권 등 개인 프라이버시를 고려하여 얼굴 영역에 대한 메타데이타만 추출한 후, 실제 얼굴 영상 자료는 저장하지 않고 삭제하는 것이 바람직하다.
CCTV로부터 전달되는 영상 정보 내에서 여행객의 얼굴 영역을 분석한 결과를 토대로 해당 여행객의 연령과 성별정보를 파악하고, 방문객이 개인인지 복수인지를 분석하여 그룹 유형과 그룹 타입 데이타를 산출할 필요가 있다. 이를 위하여, 본 발명에서는 영상 정보의 얼굴 영역으로부터 추출된 메타데이타를 분석하여 여행객의 연령 및 성별과 관련된 정보를 도출하고 해당 메타데이타에 고유값을 부여하여 여행객별 ID를 산출한 여행객 성향 정보를 생성한다(단계 S130).
메타데이타는 안면인식 기술을 이용하여 개별 관광지 내 설치된 CCTV를 통하여 촬영된 영상물로부터 모든 인물의 얼굴 영역을 검출하고, 해당 얼굴영역에서 각각의 인물 고유의 특징점으로 이루어지는 좌표를 선정하여 해당 좌표값을 메타데이타로 추출하는 과정을 포함한다. 예를 들어 CCTV로 촬영된 얼굴영역에서 얼굴의 코 부위를 기준 좌표로 선정하고, 그 기준 좌표를 중심으로 3차원으로 모델링함과 동시에, 3차원 얼굴모델로부터 얼굴특징점을 3차원 좌표값으로 검출함으로써, 개인 고유의 메타데이타를 추출할 수 있다.
여행객 성향 정보 생성
상기 추출된 메타데이타와 기존에 누적되어 있는 연령 또는 성별 메타데이타 패턴 등과 대비하여, 촬영된 영상물에 포함된 인물의 성별/연령 정보를 도출할 수 있다. 이러한 여행객 성향 정보 생성 과정에서 구역별 CCTV를 통해 다중으로 얼굴 영역 검출할 수 있는데, 하나의 구역 내에서 특정 여행객의 얼굴 화면이 정상적으로 검출되지 않은 경우 다른 구역에서 검출된 정보로 해당 여행객의 메타데이타를 업그레이드하거나 보완할 수 있다
또한, 여행객 성향 정보 생성 과정에서, 복수의 구역에서 촬영된 영상 정보로부터 얻어지는 메타데이타 분석을 통해 여행객의 동반자 유무 및 동반자 종류를 포함하는 그룹 유형 정보를 생성하는 단계를 포함할 수 있다. 촬영된 영상물에서 검출된 인원에 따른 분석을 통한 개인 유형 또는 그룹 유형으로 분류할 수 있고, 그룹유형으로 분류되는 경우 그룹을 이루는 각 개인의 성별/연령 정보에 기초하여 해당 그룹 타입을 지정할 수 있다. 예를 들어 그룹 유형은 개인, 어린이, 친구, 연인, 부모님, 단체로 분류할 수 있다. 또한, 친구, 연인, 가족, 기타 단체의 경우, 인식된 인물의 성별, 연령대, 동반자의 나이차 등에 따라 각각 다른 타입의 유형으로 구분할 수 있다.
이와 같이 영상 정보의 얼굴 영역으로부터 단계별로 판별된 여행객 성향 정보는 메타데이타에 고유값을 부여하여 인물별 ID 산출 후 데이타베이스에 저장된다. 도 3은 영상정보 수신 후 여행객 성향 정보 생성한 개요를 모식적으로 보인 것으로, 개별 여행객의 연령, 성별, 동반자 정보가 포함되어 있으며, 표정 정보의 경우 후술하는 여행객 행동특성 정보 생성 과정에 반영될 수도 있다. 또한 아래의 표 1은 생성된 여행객 성향 정보를 예시적으로 나타내며, 메타데이타에 성별, 연령 등의 여행객 성향 정보가 포함될 수 있다.
ID 메타데이타 비고
000001 data 000xxx1 개인
000002 data 000xxx2 부부
000003 data 000xxx3 친구
......
00000N data 000xxxN (그룹 유형)
관광약자 판별
본 발명은 여행객 성향 정보 생성 과정 또는 그 전에 관광약자를 판별하기 위한 단계로서, 관광지 CCTV로부터 전송되는 영상 정보로부터 여행객의 얼굴 정보 외에 목발, 휠체어, 유모차 유무를 판별하여 상기 메타데이타에 해당 정보를 추가할 수 있다(단계 S125). 관광약자 정보는 예를 들어 목발, 휠체어, 유모차 등의 동체 이미지 정보, 임산부의 메타데이타 정보를 학습화하고, 그룹유형 분류가 완료된 메타데이타에 학습화된 관광약자 분류에 관한 이미지가 발견될 경우 해당 여행객을 관광약자로 판별하고 해당 정보를 해당 메타데이타에 추가하여 일반 관광객과 관광약자를 구분할 수 있다. 이러한 정보 추출을 통해 특정 관광지에 방문하는 관광약자를 파악하는 한편, 해당 여행객들을 위한 동선 변경, 편의시설 추가 등의 대책을 시행할 수 있을 것이다.
여행객 행동특성 정보 생성
다음으로, 여행객 행동특성 정보 생성하는 단계로서, 관광지의 복수 구역에 설치된 CCTV로부터 얻어지는 영상 정보들에서 고유값이 부여된 메타데이타 관련 여행객을 안면인식 기술을 이용하여 파악하고, 해당 여행객의 방문 구역 정보, 구역별 방문 시간, 해당 구역에 대한 표정 정보를 포함하는 여행객 행동 특성 정보를 생성한다(단계 S140). 단일 관광지라도 내부의 각 구역에 설치된 복수의 CCTV를 통해서 방문자의 이동 경로나, 체류 시간 등을 확인할 수 있으며, 이는 구간별 체류시간 정보를 획득하고 그룹 지정에 대한 정확도를 검증하는 자료로 활용할 수 있다.
도 4는 여행객 행동특성 정보 생성을 위한 개요도로서, 관광지 내 구역별 CCTV, 입출구 CCTV 등 다중 CCTV를 통한 체류시간, 동선, 만족도 측정을 위한 과정을 모식적으로 보이고 있다. 구체적으로 여행객 행동특성 정보는 부여된 ID 값이 존재하는 여행객이 관광지 내 특정 구역의 CCTV에 발견되었을 때, 해당 ID 데이타에 구역 정보, 방문시간, 안면인식을 통한 표정상태 확인을 통한 표정 정보를 확인하여 해당 ID와 추가 데이타로 포함시킨다. 표정 정보의 경우 예를 들어 Happy, Sad, Angry, normal 등의 네 가지 정보로 분류할 수 있으며, 후술하는 바와 같이 각 표정 정보를 수치화하여 만족도 산출에 활용할 수 있다. 각 구역별 CCTV 마다 동일한 작업을 진행하며 최상위 데이타로 누적하여 저장하고, 출구 CCTV에서 해당 ID의 관광객이 발견되었을 때, 최종 출구 구역값과 방문시간 값, 표정값을 부여하여 해당 ID의 데이타 갱신을 종료한다.
갱신이 종료된 ID 데이타를 각 여행객 별로 수집하고 관광지 전체 방문한 여행객들에 대한 통계 정보로 산출될 수 있다. 하기 표 2는 각 여행객 별로 방문한 구역 정보 및 방문 시간, 각 구역에 대한 표정 정보를 예시적으로 나타내고 있다.
ID 구역 방문시간 표정값

000001 		A 12:10 normal
B 12:35 happy
C 13:35 happy
D 14:20 sad

000002 		A 13:20 happy
C 14:30 normal
D 14:50 normal
000003 B 11:00 happy
C 12:30 normal

000004 		A 14:25 sad
B 14:40 happy
D 15:30 normal
다음으로, 방문 구역 정보, 구역별 방문 시간, 해당 구역에 대한 표정 정보를 포함하는 상기 여행객 행동 특성 정보로부터 여행객의 구역별 체류시간, 관광지 내 동선 정보, 구역별 만족도를 산출한다(단계 S150).
체류 시간의 경우, 방문한 구역들에 대해 얼굴정보가 확인된 시간을 방문시간으로 설정하고 제1구역에서 제2구역으로 이동한 경우 제2구역 방문시간에서 제1구역 방문시간 및 해당 관광지에서의 평균 이동시간을 제외한 차이로부터 제1구역의 체류시간을 결정할 수 있다. 즉, 복수 구역들에 대한 방문시간의 차이값으로 특정 구역에 대한 체류시간을 판별하는 방법은 다음과 같이 표현될 수 있다.
(제1구역 방문시간값)-(제2 구역 방문시간값)-(평균이동시간) = 체류시간
예를 들어, 000001 ID 값의 관광객의 최종데이타가 아래 표 3과 같을 경우, 시간 순서 상 구역 1에서 구역 3을 거쳐 구역 2로 이동한 것을 알 수 있고, 평균 이동시간은 10min 이며, 따라서 1번 구역에서 머문 체류시간은 위 식에 따라 (11:20)-(10:30)-(00:10)=(00:40) 와 같이 도출되고, 따라서 관광지의 1번 구역에서 해당 ID의 관광객은 40분간 체류하였고, 동일한 방식으로 3번 구역에서는 50간 동안 체류하였다고 판별할 수 있다.
구역 방문시간 표정값 이동 시간
1 10:30 normal 8 min
2 12:20 happy 12 min
3 11:20 happy 10 min
동선 정보의 경우, 방문한 구역들에 대해 얼굴 정보가 확인된 시간을 방문시간으로 설정하고 방문시간의 순서로 동선을 결정할 수 있다. 즉, 체류시간 측정에서 도출된 최종 ID 데이타 값에서, 구역값을 최하위 데이타부터 나열하는 것으로 동선을 측정할 수 있다. 예를 들어, 000001 ID 값의 여행객 최종 데이타가 (방문구역, 방문시간, 표정 정보)로 구성되는 데이타셋으로 나타내었을 때 (5,12:30,normal), (4,:11:20,normal), (3,10:30,happy), (1,10:10,happy) 인 경우, 해당 여행객의 동선은 1 -> 3 -> 4 -> 5 라고 쉽게 판별할 수 있다.
상기 만족도의 경우, 표정값과 관련된 메타데이타를 수치 변환한 표정변환값을 산출하고, 아래의 식에 의해 만족도 수치값을 산출할 수 있으며, 이 경우 만족도 수치값이 0 에 가까울수록 만족도가 커지고 (방문구역 수)×(수치변환값의 최대값) 에 가까울수록 만족도가 낮은 것으로 판별할 수 있다.
(방문구역 수)×(수치변환값의 최대값)-(표정변환값 총합)
즉, 만족도는 위의 체류시간 측정에서 도출된 최종 ID 데이타 값에서, 구역값과 표정값을 최하위 데이타부터 나열하는 것으로 해당 구역의 대한 만족도를 파악할 수 있는데, 예를들어, 000001 ID 값의 관광객 최종데이타가 (방문구역, 방문시간, 표정 정보)로 구성되는 데이타셋으로 나타내었을 때 (5,12:30,normal), (4,:11:20,normal), (3,10:30,happy), (1,10:10,happy) 인 경우, 해당 여행객의 구역별 만족도는 1.3번 구역에서 높고, 4,5번 구역에서는 보통으로 파악할 수 있다. 또한, 해당 ID의 여행객의 관광지 전체에 대한 만족도는 개별 구역의 만족도를 합산하여, 최종 도출된 ID 데이타에서 표정값의 대한 데이타에 대한 만족도 점수를 부여를 통해 도출할 수 있다. 예를 들어 happy = 4, normal = 3, sad = 2, angry = 1 과 같이 수치적으로 변환한 값의 총합을 계산하고, ((방문구역 수)*4)-(표정변환값 총합)의 계산을 통하여 0에 가까울수록 만족도가 높아지고, (방문구역수)*4에 가까울수록 불만족이 큰 것으로 판별할 수 있다. 이와 같은 방식으로 개별 여행객의 만족도 지수를 합산하고 관광지를 방문한 전체 여행객들에 대한 만족도를 통계적으로 처리하여, 전술한 체류 시간 및 동선 데이타와 함께 특정 관광지의 여행객 행동특성을 객관적으로 분석할 수 있다.
CCTV 영상물을 수신하고 얼굴 영역으로부터 메타데이타를 추출하여 여행객 성향 정보를 생성하고, 구역별 CCTV 영상으로부터 각 여행객의 행동특성 정보를 생성한 후, 전체 여행객 데이타 및 관광지별 데이타는 통계 데이타를 산출하여 관광 업체에 시각적인 정보로 제공하거나 외부 기관의 서버 등으로 전송할 수 있다(단계 S160).
밀집도 판별
본 발명에 있어서, 상기 여행객 행동 특성 정보로부터 일정한 시간 동안 특정 구역에 대하여 방문 시간이 확인된 여행객의 수를 수집하고, 해당 구역의 면적을 기초로 결정된 기준 인원 대비 수집된 여행객 수를 비교하여 밀집도를 판별하는 단계를 추가할 수 있다(단계 S160).
구역별 관광객 밀집도 판별을 위해서, 먼저 관광지의 각 구역별 면적을 기초로 권장 관광객 수의 대한 값을 결정하고 데이타베이스에 저장한다. 개별 여행객에 대한 ID값과 무관하게 해당 구역 CCTV에서 촬영된 영상의 총 인원수를 파악하여, 해당 구역에서의 관광객의 밀집도를 실시간으로 파악한다. (권장 관광객수)-(현재 총인원수) 의 결과 값이 음의 숫자가 도출되면 해당 구역은 음의 숫자만큼의 관광객이 초과된 것으로 판단하여 주의 조치를 진행할 수 있다. 이와 같은 방법으로 관광지의 각 구역별 면적 대비 실시간 인원수를 파악하여 적정한 밀집도를 유지하고 있는지 모니터링할 수 있으며, 밀집도 판별을 통해 코로나 19 등 전염병 전파를 최소화할 수 있는 관광지 운영이 가능하다.
본 발명의 여행객 행동특성 데이타 생성 방법은 관광지와 이격된 장소에서 유무선 통신을 통해 영상 정보를 수신한 후 메타데이타 추출 및 여행객 관련 정보를 생성하는 단계를 수행할 수 있으며, 이를 위하여 다양한 형태로 시스템을 구성할 수 있다. 도 5는 본 발명의 여행객 행동특성 데이타 생성을 위한 시스템의 구성을 예시적으로 보인 것이다. 전체 시스템(200)은 기본적으로 영상 정보 수집부(210), 메타데이타 추출부(220), 여행객 성향 정보 생성부(230), 및 여행객 행동특성 정보 생성부(240)를 포함하며, 부가적으로 관광약자정보 생성부(235), 밀집도 판별부(245), 및 통계정보 산출부(250)를 포함할 수 있다. 영상 정보 수집부는 관광지의 구역별 CCTV로부터 영상 정보를 수신하며, 통계 정보 산출부는 관광정책 기관(300) 등의 서버와 유무선 통신으로 정보를 송수신할 수 있다. 각각의 구성부들은 소프트웨어적인 처리가 가능한 독립적인 회로 요소 및 부품으로 구성될 수 있으며, 기능적으로 유사한 요소들이 하나의 패키지화된 부품으로 구성될 수도 있다.
본 발명에 따라 생성된 여행객 관련 행동특성 데이타는 관광 관련 업체에서 활용하여 실시간 방문객 통계, 방문객 특성 분석, 동행자 분석, 만족도 분석, 관광약자의 애로사항 등의 다양한 통계정보를 실시간으로 확인하고, 해당 관광지의 서비스 변경이나 특화 상품 개발에 이용할 수 있다. 도 6은 본 발명에 따라 관광지에서 활용 가능한 통계 정보 산출 결과를 모식적으로 보인 것이다.
또한, 본 발명에 따라 종합적으로 개별 관광지의 통계 데이타가 축적되면, 지역의 전반적인 통계 분석이나 관광객 행태 분석의 토대가 될 수 있고, 실시간으로 관광지에 대한 방역대책을 마련하는데 활용할 수 있다. 도 7은 외부 기관에 전달되는 관광지 분석 데이타를 모식적으로 보이고 있다. 관광지별로 생성된 여행객 관련 행동특성 데이타는 특정 지역의 관광 상품 개발이나 지역 관광 수준을 높이는데 크게 기여할 것으로 기대된다.
이상에서 바람직한 실시예를 통하여 본 발명을 예시적으로 설명하였으나, 본 발명은 이와 같은 특정 실시예에만 한정되는 것은 아니며 본 발명에서 제시한 기술적 사상, 구체적으로는 특허청구범위에 기재된 범주 내에서 다양한 형태로 수정, 변경, 또는 개선될 수 있을 것이다.
100:관광지 구역별 CCTV
200:여행객 행동특성 데이타 생성 시스템
210:영상 정보 수집부 220:메타데이타 추출부
230:여행객 성향 정보 생성부 235:관광약자정보 생성부
240:여행객 행동특성 정보 생성부 245:밀집도 판별부
250:통계정보 산출부 300:관광정책 기관

Claims (5)

  1. 관광지의 복수 구역 내 설치된 다수의 CCTV를 통하여 촬영된 영상 정보로부터 여행객의 얼굴 영역을 검출하고,
    검출된 얼굴 영역으로부터 각 여행객 고유의 특징점으로 이루어지는 좌표를 선정하여 해당 좌표값을 메타데이타로 추출하고,
    추출된 메타데이타를 분석하여 여행객의 연령 및 성별과 관련된 정보를 도출하고 해당 메타데이타에 고유값을 부여하여 여행객별 ID를 산출한 여행객 성향 정보를 생성하고,
    상기 관광지의 복수 구역에 설치된 CCTV로부터 얻어지는 영상 정보들에서 고유값이 부여된 메타데이타 관련 여행객의 방문 구역 정보, 구역별 방문 시간, 해당 구역에 대한 표정 정보를 포함하는 여행객 행동 특성 정보를 생성하고,
    상기 여행객 행동 특성 정보로부터 여행객의 구역별 체류시간, 관광지 내 동선 정보, 구역별 만족도를 산출하며,
    상기 체류 시간은 방문한 구역들에 대해 얼굴정보가 확인된 시간을 방문시간으로 설정하고 제1구역에서 제2구역으로 이동한 경우 제2구역 방문시간에서 제1구역 방문시간 및 해당 관광지에서의 평균 이동시간을 제외한 차이로부터 제1구역의 체류시간을 결정하는 것을 특징으로 하는
    안면인식 기술을 이용한 여행객 행동특성 데이타 생성 방법.
  2. 제1항에 있어서,
    상기 동선 정보의 경우 방문한 구역들에 대해 얼굴정보가 확인된 시간을 방문시간으로 설정하고 방문시간의 순서로 동선을 결정하는 것을 특징으로 하는 안면인식 기술을 이용한 여행객 행동특성 데이타 생성 방법.
  3. 제1항에 있어서,
    상기 만족도의 경우 표정값과 관련된 메타데이타를 수치 변환한 표정변환값을 산출하고, 아래의 식에 의해 만족도 수치값을 산출하며,
    (방문구역 수)×(수치변환값의 최대값)-(표정변환값 총합)
    만족도 수치값이 0 에 가까울수록 만족도가 커지고 (방문구역 수)×(수치변환값의 최대값) 에 가까울수록 만족도가 낮은 것으로 판별하는 것을 특징으로 하는 안면인식 기술을 이용한 여행객 행동특성 데이타 생성 방법.
  4. 제1항에 있어서,
    상기 영상 정보로부터 여행객의 얼굴 정보 외에 목발, 휠체어, 유모차 유무를 판별하여 상기 메타데이타에 해당 정보를 추가하는 것을 특징으로 하는 안면인식 기술을 이용한 여행객 행동특성 데이타 생성 방법.
  5. 제1항에 있어서,
    상기 여행객 행동 특성 정보로부터 일정한 시간 동안 특정 구역에 대하여 방문 시간이 확인된 여행객의 수를 수집하고, 해당 구역의 면적을 기초로 결정된 기준 인원 대비 수집된 여행객 수를 비교하여 밀집도를 판별하는 것을 특징으로 하는 안면인식 기술을 이용한 여행객 행동특성 데이타 생성 방법.
KR1020200155030A 2020-11-19 2020-11-19 안면인식 기술을 이용한 여행객 행동특성 데이타 생성 방법 KR102473697B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200155030A KR102473697B1 (ko) 2020-11-19 2020-11-19 안면인식 기술을 이용한 여행객 행동특성 데이타 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200155030A KR102473697B1 (ko) 2020-11-19 2020-11-19 안면인식 기술을 이용한 여행객 행동특성 데이타 생성 방법

Publications (2)

Publication Number Publication Date
KR20220068339A true KR20220068339A (ko) 2022-05-26
KR102473697B1 KR102473697B1 (ko) 2022-12-02

Family

ID=81809896

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200155030A KR102473697B1 (ko) 2020-11-19 2020-11-19 안면인식 기술을 이용한 여행객 행동특성 데이타 생성 방법

Country Status (1)

Country Link
KR (1) KR102473697B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830958A (zh) * 2024-03-04 2024-04-05 罗普特科技集团股份有限公司 旅客通关候检管理方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012137906A (ja) * 2010-12-27 2012-07-19 Kozo Keikaku Engineering Inc 滞留時間測定装置、滞留時間測定システム、および滞留時間測定方法
KR20160011804A (ko) * 2014-07-22 2016-02-02 홍승권 얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법
KR20190047200A (ko) * 2017-10-27 2019-05-08 주식회사 찹스틱스와이드 빅 데이터 분석 기법을 기반으로 한 맞춤형 문화 관광 콘텐츠 제공 플랫폼의 운영방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012137906A (ja) * 2010-12-27 2012-07-19 Kozo Keikaku Engineering Inc 滞留時間測定装置、滞留時間測定システム、および滞留時間測定方法
KR20160011804A (ko) * 2014-07-22 2016-02-02 홍승권 얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법
KR20190047200A (ko) * 2017-10-27 2019-05-08 주식회사 찹스틱스와이드 빅 데이터 분석 기법을 기반으로 한 맞춤형 문화 관광 콘텐츠 제공 플랫폼의 운영방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830958A (zh) * 2024-03-04 2024-04-05 罗普特科技集团股份有限公司 旅客通关候检管理方法、装置及电子设备

Also Published As

Publication number Publication date
KR102473697B1 (ko) 2022-12-02

Similar Documents

Publication Publication Date Title
CN109934176B (zh) 行人识别系统、识别方法及计算机可读存储介质
US7634115B2 (en) Methods for tagging person identification information to digital data and recommending additional tag by using decision fusion
CN109697214A (zh) 一种旅游数据分析系统及方法
US20080004892A1 (en) Biometric aid for customer relations
Zhang et al. Revealing group travel behavior patterns with public transit smart card data
CN102103697A (zh) 信息处理设备、方法和程序
KR101687494B1 (ko) 소셜 네트워크 위치기반 통합 마케팅 분석 서비스 제공 시스템
KR101451153B1 (ko) 동행인과의 이동 궤적 분석을 통한 모바일 사용자에 대한 장소 추천 시스템 및 방법
JP2007026419A (ja) ソーシャルネットワーク情報の管理方法およびそのシステム
CN103620590A (zh) 用于图像至文本以及文本至图像的关联的系统和方法
CN111178721A (zh) 一种智慧旅游系统
CN112465276A (zh) 自动生成景区游玩推荐路线的方法
CN112668375A (zh) 景区内游客分布分析系统及方法
CN113052505A (zh) 基于人工智能的跨境文旅推荐方法、装置和设备
KR20220068339A (ko) 안면인식 기술을 이용한 여행객 행동특성 데이타 생성 방법
KR102165699B1 (ko) 사용자 맞춤형 실시간 피부질환 관리시스템
CN112925899B (zh) 排序模型建立方法、案件线索推荐方法、装置及介质
KR102370988B1 (ko) 사용자 빅데이터를 활용한 여행 정보 제공 시스템
CN117520662A (zh) 一种基于定位的景区智能导览方法及系统
CN112182658B (zh) 一种基于隐私感知的轨迹数据采集系统及方法
Jain et al. Cinderella's shoe won't fit Soundarya: An audit of facial processing tools on Indian faces
CN115599985A (zh) 目标客户识别方法和系统、电子设备及可读存储介质
JP5628133B2 (ja) 名寄せ装置及び名寄せ方法
CN110796013A (zh) 一种常驻人口信息收集方法及系统
KR102435982B1 (ko) 성향분석을 기반으로 하는 여행 동행자 매칭 시스템 및 그 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant