KR101377394B1 - Counting system people which is visiting store using stereo camera - Google Patents

Counting system people which is visiting store using stereo camera Download PDF

Info

Publication number
KR101377394B1
KR101377394B1 KR1020130098348A KR20130098348A KR101377394B1 KR 101377394 B1 KR101377394 B1 KR 101377394B1 KR 1020130098348 A KR1020130098348 A KR 1020130098348A KR 20130098348 A KR20130098348 A KR 20130098348A KR 101377394 B1 KR101377394 B1 KR 101377394B1
Authority
KR
South Korea
Prior art keywords
counting
stereo camera
image
analysis module
image analysis
Prior art date
Application number
KR1020130098348A
Other languages
Korean (ko)
Inventor
이원만
Original Assignee
이원만
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이원만 filed Critical 이원만
Priority to KR1020130098348A priority Critical patent/KR101377394B1/en
Application granted granted Critical
Publication of KR101377394B1 publication Critical patent/KR101377394B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M1/00—Design features of general application
    • G06M1/08—Design features of general application for actuating the drive
    • G06M1/10—Design features of general application for actuating the drive by electric or magnetic means
    • G06M1/108—Design features of general application for actuating the drive by electric or magnetic means by electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a counting system for customers who visit a store using a stereo camera and, more specifically, to customer counting using a stereo camera and a counting system for customers who visit a store capable of accepting multi-channel using an image analysis module embedded in the stereo camera. The counting system for customers who visit a store using a stereo camera according to the present invention comprises: a stereo camera which includes a pair of cameras and an embedded image analysis module counting objects through image processing based on 3D images captured; and a counting server which is connected to the stereo camera through a local area network (LAN) and manages by receiving the count data of the objects counted by the image analysis module.

Description

스테레오 카메라를 이용한 매장 방문 고객 계수 시스템{COUNTING SYSTEM PEOPLE WHICH IS VISITING STORE USING STEREO CAMERA}COUNTING SYSTEM PEOPLE WHICH IS VISITING STORE USING STEREO CAMERA}

본 발명은 매장 방문 고객 계수 시스템에 관한 것으로서, 더욱 상세하게는 스테레오 카메라를 이용한 고객 계수와 스테레오 카메라 내장된 임베디드 영상분석 모듈을 이용한 다채널 수용 가능한 매장 방문 고객 계수 시스템에 관한 것이다.
The present invention relates to a store visiting customer counting system, and more particularly, to a multi-channel accommodating store visiting customer counting system using a stereo camera and an embedded image analysis module with a built-in stereo camera.

일반적으로, 방문 고객 계수 시스템이란 피플카운팅(People Counting)이라 하며, 적외선 차광 방식 또는 영상 이미지 처리(Video Image Processing) 기술에 의해 매장에 방문하는 방문객 수를 카운팅하는 것으로, 카운팅 센서를 이용하여 단방향 또는 양방향으로 사람의 수를 컴퓨터 처리에 의해 측정하는 시스템을 의미한다.In general, the visitor counting system is referred to as People Counting, which counts the number of visitors to the store by infrared light shielding or video image processing technology. A system that measures the number of people in both directions by computer processing.

종래의 피플카운팅은 적외선 방식 피플카운팅과 모노렌즈 영상 방식 피플카운팅 방식이 주로 이용된다.In the conventional people counting, the infrared people counting and the monochrome lens type people counting method are mainly used.

적외선 방식 피플카운팅은 적외선 방식에 의해 물체의 식별을 수행하는 것으로서 가장 단순하게 카운팅을 할 수 있다는 장점은 있지만, 다수의 중첩된 인원의 카운팅이 불가능하고, 외란광에 의한 오계수가 빈번하며, 데이터 취합을 위한 컨트롤러가 별도로 필요하며 영상 데이터를 취득할 수 없어 이 방식에 의한 피플카운팅은 사용되지 않는 게 실정이다.Infrared People Counting is the simplest way to count objects by infrared method.However, the counting of a large number of overlapping personnel is impossible. A separate controller is required for this purpose and people counting by this method is not used because image data cannot be obtained.

이러한 점을 보완한 것이 모노렌즈 영상 방식 피플카운팅 방식이다.Complementing this point is the monolens image type people counting method.

이는 하나의 카메라를 통해 입력되는 영상을 센싱하여 방문 고객수를 카운팅하는 것으로서, 별도의 영상을 획득하고 획득한 영상을 프로세싱하여 그 수를 카운팅할 수 있다는 장점을 가지지만, 마찬가지로 다수의 중첩된 인원에 대한 부정확한 카운팅이 문제가 된다.This counts the number of visiting customers by sensing the image input through one camera, which has the advantage of acquiring a separate image and processing the acquired image to count the number of visited customers. Inaccurate counting for is a problem.

이러한 종래기술로서, 대한민국 공개특허공보 특2003-0018487호에는 '영상을 이용한 출입 이동 물체 계수 방법 및 장치'가 개시되어 있다.As such a prior art, Korean Patent Laid-Open Publication No. 2003-0018487 discloses a method and apparatus for counting moving objects using an image.

대한민국 공개특허공보 특2003-0018487호에 개시된 '영상을 이용한 출입 이동 물체 계수 장치'는, 출입구를 위에서 아래로 촬영함으로써 출입구 영상을 획득하여 영상 데이터로 전송하는 카메라; 및 카메라가 전송하는 영상 데이터를 수신하여 메모리에 저장되어 있는 레퍼런스 영상과 비교함으로써 출입 객체의 출현을 감지하고 출입 객체의 이동을 추적함으로써 출입 인원을 계수하는 출입 인원 계수 응용 프로그램을 설치된 컴퓨터를 포함하여 이루어진다."Accessible moving object counting apparatus using an image" disclosed in the Republic of Korea Patent Publication No. 2003-0018487, the camera to acquire the doorway image by photographing the doorway from top to bottom; And a computer equipped with an access person counting application that detects the appearance of an access object and tracks the movement of the access object by receiving the image data transmitted from the camera and comparing it with a reference image stored in the memory. Is done.

대한민국 공개특허공보 특2003-0018487호는 종래의 적외선 차광 방식에 의한 피플카운팅 방식의 문제점을 극복하고 있으나, 모노렌즈에 의한 촬영영상으로 인하여 다수의 중첩된 인원에 대한 부정확한 카운팅이 문제가 된다.Korean Laid-Open Patent Publication No. 2003-0018487 overcomes the problems of the conventional people counting method by the infrared light shielding method, but incorrect counting of a plurality of overlapping personnel is a problem due to the photographed image by the mono lens.

또한, 출입 객체의 이동을 추적함으로써 출입 인원을 계수하는 출입 인원 계수 응용 프로그램을 저장하는 기억 수단과 응용 프로그램을 실행하는 중앙 연산 장치가 별도의 PC에 저장되어 있으므로, PC 기반에서 계수 카운팅의 다수 채널의 수용이 불가능하여 하나의 채널당 계수장치인 PC가 각 1대씩 배정되어야 하는 문제가 있다.
In addition, since the storage means for storing the access number counting application program for counting the access number by tracking the movement of the access object and the central computing device executing the application program are stored in a separate PC, multiple channels of counting counting on the PC basis. There is a problem in that one PC, which is a counting device per channel, needs to be allocated.

1. 특허문헌 : 대한민국 공개특허공보 특2003-0018487호1. Patent Document: Republic of Korea Patent Publication No. 2003-0018487

상술한 종래의 문제점을 해결하기 위한 본 발명의 목적은, 전체 방문 고객의 계수, 매장내 출입구/층별/영역별 고객 방문자수 측정, 고객의 선호 이동 경로 분석, 특정 구간별 고객의 밀집도 분석, 시간대/기간별/전일/전년 대비 방문자 추이분석, 날씨 기후 변화에 따른 방문자 추이분석, 시간대별 잔여방문자 규모 측정의 기초 자료로 활용할 수 있도록 하고자 한다.An object of the present invention for solving the above-described conventional problems, the total number of customers visited, the number of customers visited by the doorway / floor / area in the store, the customer's preferred moving path analysis, the customer's density analysis by specific section, time zone / This study aims to be used as basic data for analyzing visitor trends by period / day / previous year, analyzing visitor trends due to weather and climate change, and measuring residual visitor size by time zone.

또한, 다수의 중첩된 방문 인원 카운팅에 대한 오계수 문제를 해결하기 위해 사람의 눈과 같은 2개의 렌즈를 이용하여 3D 이미지를 통한 거리정보, 객체 크기를 산출하여 정확한 인원을 계수할 수 있도록 하고자 한다.In addition, in order to solve the problem of miscounting for a large number of overlapping visitor counting, distance information and object size through 3D images are calculated using two lenses, such as a human eye, so as to accurately count the number of persons.

또한, 카운팅 PC가 필요없는 카메라 내장 임베디드 카운팅 시스템을 제공하여 다수 채널에 대한 동시 수용을 가능하도록 하고자 한다.
In addition, by providing a built-in embedded counting system that does not require a counting PC to allow simultaneous acceptance of multiple channels.

상술한 과제를 해결하기 위한 본 발명에 따른 스테레오 카메라를 이용한 매장 방문 고객 계수 시스템은, 한 쌍의 카메라와, 촬영된 3D 이미지를 기초로 이미지 프로세싱을 거쳐 객체를 계수하며 임베디드된 영상분석모듈을 포함하는 스테레오 카메라와, 상기 스테레오 카메라와 LAN(Local Area Network)을 통해 연결되고, 상기 영상분석모듈을 통해 계수된 객체의 계수 데이터를 수신하여 관리하는 카운팅 서버를 포함하여 이루어진다.Store visit customer counting system using a stereo camera according to the present invention for solving the above-mentioned problems, a pair of cameras, and counts the object through the image processing based on the 3D image taken and includes an embedded image analysis module And a counting server connected to the stereo camera through a local area network (LAN) and receiving and managing count data of an object counted through the image analysis module.

여기서, 상기 영상분석모듈은, 상기 한 쌍의 카메라를 통해 입력되는 이미지 데이터를 센싱하는 이미지 센싱 유니트와, 센싱된 이미지 데이터를 이미지 프로세싱 처리하여 객체의 계수를 수행하는 프로세스 유니트와, 상기 프로세스 유니트로부터 계수된 데이터를 외부 인터페이스를 통해 상기 카운팅 서버로 전송하는 통신 유니트로 이루어질 수 있다.The image analysis module may include an image sensing unit configured to sense image data input through the pair of cameras, a process unit configured to perform image processing on the sensed image data, and to perform object counting; The communication unit may transmit the counted data to the counting server through an external interface.

여기서, 상기 카운팅 서버는 상기 영상분석모듈로부터 계수된 계수 데이터를 수신받으며, 상기 카운팅 서버와 상기 스테레오 카메라는 1:N 다중 채널 접속이 가능하도록 구현될 수 있다.
The counting server may receive coefficient data counted from the image analysis module, and the counting server and the stereo camera may be configured to enable 1: N multichannel access.

상술한 본 발명의 구성에 따르면, 사람의 눈과 같은 2개의 렌즈를 이용하여 3D 이미지를 통한 거리정보, 객체 크기를 산출하여 다수의 중첩된 방문 인원 카운팅에 대한 오계수 문제를 해결하고, 카메라 내장 임베디드 카운팅 시스템을 제공하여 다수 채널에 대한 동시 수용이 가능하게 된다.According to the above-described configuration of the present invention, by using two lenses, such as the human eye, the distance information through the 3D image, the object size is calculated to solve the problem of the error coefficient for the number of overlapping visitor counting, embedded camera built-in A counting system is provided to allow simultaneous acceptance of multiple channels.

이를 통해, 전체 방문 고객의 계수, 매장내 출입구/층별/영역별 고객 방문자수 측정, 고객의 선호 이동 경로 분석, 특정 구간별 고객의 밀집도 분석, 시간대/기간별/전일/전년 대비 방문자 추이분석, 날씨 기후 변화에 따른 방문자 추이분석, 시간대별 잔여방문자 규모 측정의 정확한 기초 자료로 활용하는 것이 가능하게 된다.
Through this, the total number of customers visited, the number of customers visited by store entrance / floor / area, analysis of customer's preferred travel route, density analysis of customers by specific section, visitor trend analysis by time zone / period / day / year, weather climate It can be used as an accurate basis for analyzing visitor trends according to changes and measuring remaining visitor size by time zone.

도 1은 본 발명에 따른 스테레오 카메라를 이용한 매장 방문 고객 계수 시스템의 구성도이다.
도 2는 본 발명에 따른 스테레오 카메라를 이용한 거리정보 산출 구조도이다.
도 3은 본 발명에 따른 스테레오 카메라를 이용한 객체크기 정보 산출표이다.
도 4는 본 발명에 따른 스테레오 카메라를 이용한 매장 방문 고객 계수 시스템에 의한 3D 이미지 데이터의 가공예이다.
도 5는 본 발명에 따른 스테레오 카메라에 임베디드된 임베디드 영상분석 모듈의 블록 구성도이다.
도 6은 본 발명에 따른 스테레오 카메라를 이용한 매장 방문 고객 계수 시스템과 종래의 모노 카메라를 이용한 매장 방문 고객 계수 시스템의 비교도이다.
도 7은 본 발명에 따른 스테레오 카메라를 이용한 매장 방문 고객 계수 시스템을 활용한 계수 프로그램에 의한 각 매장 및 본사의 관리 구성도를 나타낸 것이다.1 is a block diagram of a store visit customer counting system using a stereo camera according to the present invention.
2 is a structural diagram of distance information calculation using a stereo camera according to the present invention.
3 is an object size information calculation table using a stereo camera according to the present invention.
4 is an example of processing 3D image data by the store visit customer counting system using the stereo camera according to the present invention.
5 is a block diagram of an embedded image analysis module embedded in a stereo camera according to the present invention.
6 is a comparison diagram of a store visit customer counting system using a stereo camera and a store visit customer counting system using a conventional mono camera according to the present invention.
Figure 7 shows the management configuration of each store and the head office by a counting program using a store visiting customer counting system using a stereo camera according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 스테레오 카메라를 이용한 매장 방문 고객 계수 시스템의 구성 및 작용효과를 설명한다.Hereinafter, with reference to the accompanying drawings will be described the configuration and effect of the store visit customer counting system using a stereo camera according to the present invention.

도 1은 본 발명에 따른 스테레오 카메라를 이용한 매장 방문 고객 계수 시스템의 구성도이다.1 is a block diagram of a store visit customer counting system using a stereo camera according to the present invention.

도 1에 도시된 바와 같이, 본 발명에 따른 스테레오 카메라를 이용한 매장 방문 고객 계수 시스템은 카운팅 존(111)이 위치하고, 카운팅 존(111)에 대응되는 위치에(주로 상부측)에 스테레오 카메라(112)가 장착되며, 스테레오 카메라(112)와 랜(LAN, Local Area Network)에 의해 연결되는 카운팅 서버(114)를 포함하여 이루어진다.As shown in FIG. 1, a store visitor counting system using a stereo camera according to the present invention has a stereo camera 112 at a location (mainly an upper side) at which a counting zone 111 is located and corresponding to the counting zone 111. It is mounted, and comprises a counting server 114 is connected by a stereo camera 112 and a local area network (LAN).

스테레오 카메라(112)는 카메라렌즈가 한 쌍으로 이루어지며, 그 내부에는 고객수를 계수하기 위한 이미지 프로세싱이 포함된 영상분석모듈(113)이 임베디드 된다.The stereo camera 112 includes a pair of camera lenses, and an image analysis module 113 including an image processing for counting the number of customers is embedded therein.

스테레오 카메라(112)에서는 영상을 촬영하여, 임베디드 영상분석모듈(113)를 통해 영상을 분석하고 방문 고객수를 계수하여 랜을 통해 카운팅 서버(114)로 전송하게 된다.The stereo camera 112 captures an image, analyzes the image through the embedded image analysis module 113, counts the number of visited customers, and transmits the count to the counting server 114 through the LAN.

카운팅 서버(114)는 임베디드 영상분석모듈(113)을 통해 연산된 계수 집계된 데이터만을 수신받게 되므로, 하나의 PC를 통해 다수개의 스테레오 카메라 채널을 수용하는 것이 가능하게 된다.The counting server 114 receives only counted data calculated through the embedded image analysis module 113, so that it is possible to accommodate a plurality of stereo camera channels through one PC.

도 2는 본 발명에 따른 스테레오 카메라를 이용한 거리정보 산출 구조도이고, 도 3은 본 발명에 따른 스테레오 카메라를 이용한 객체크기 정보 산출표이다.2 is a structural diagram of distance information calculation using a stereo camera according to the present invention, and FIG. 3 is an object size information calculation table using a stereo camera according to the present invention.

본 발명은 스테레오 카메라를 활용하여 매장 방문객의 카운트를 오계수 없이 정확한 측정을 유도한다.The present invention utilizes a stereo camera to induce accurate measurement of the count of the store visitor without a false count.

스테레오 카메라를 활용하는 경우, 도 2와 같이 스테레오 비전에서 카메라의 기하학적 모델은 두 대의 카메라가 하나의 물체를 바라보고 있는 구조를 가지며 응용분야에 따라 다양한 형태를 나타낸다. In the case of using a stereo camera, as shown in FIG. 2, the geometric model of the camera in stereo vision has a structure in which two cameras look at an object and shows various shapes according to an application.

3차원 정보를 2차원의 평면에 표현하는 작업은 공간상의 여러 점들을 영상의 한 점과 대응시켜야 하기 때문에 필연적으로 깊이(depth) 정보를 잃어버리게 된다.Representation of three-dimensional information on a two-dimensional plane inevitably loses depth information because it is necessary to map several points in space to one point in the image.

깊이 정보를 표현할 수 없는 2차원 영상으로부터 3차원 정보를 복원하는 경우에, 다른 시점에서 촬영된 여러 장의 영상을 이용해 스테레오 정합(Stereo Matching) 기법을 적용하게 된다.In the case of restoring 3D information from a 2D image that cannot express depth information, a stereo matching technique is applied using a plurality of images photographed at different viewpoints.

도시된 그림에서 물체(방문객)와 카메라와의 거리(depth)를 z 라 하면, 다음과 같은 식에 의해 z를 구할 수 있게 된다.In the figure, if z is the distance between the object (visitor) and the camera, z can be obtained by the following equation.

Figure 112013075305794-pat00001
Figure 112013075305794-pat00001

이러한 스테레오 정합(Stereo Matching)에 의한 스테레오 비젼 영상 추출을 위하여 2개의 개별 카메라를 조합하여 테스트 베드를 꾸미고 실험을 하였다. In order to extract stereo vision images by stereo matching, two separate cameras were combined to test and decorate the test bed.

메인 칩셋은 4개의 아날로그 영상을 인코딩 하여 30fps의 네트워크 데이터로 변환할 수 있는 4채널 비디오 서버 보드를 통하여 영상을 디지털 변환 압축하여 PC에서 그 결과치를 예측 확인할 수 있었다.The main chipset was able to digitally compress and compress the images through a four-channel video server board that can encode four analog images and convert them into 30fps network data.

또한, 도 2에서는 객체와의 거리 정보를 획득할 수 있는 반면 도 3에서는 객체의 크기 정보 및 실내외 환경하에서의 객체 크기 추정 실험을 수행하였다.In addition, in FIG. 2, distance information with respect to an object may be obtained, while in FIG. 3, an object size estimation experiment is performed under an indoor and outdoor environment.

도 3의 산출표에서와 같이, 크기별 객체 크기를 small, middle, big 사이즈로 구별하고, 이를 실제크기와 측정된 크기(Reference based)를 산출하여 비교한 결과 폭(W)과 높이(H)에서 오차율은 상당히 적어지는 것을 확인할 수 있었고, 실내외 환경하에서의 오차율도 낮아지는 것을 확인할 수 있었다.As shown in the calculation table of FIG. 3, the object size for each size is divided into small, middle, and big sizes, and the result is compared with the actual size and the measured size (Reference based). As a result, the error rate in the width (W) and the height (H) is compared. Was found to be considerably less, and the error rate in the indoor and outdoor environments was also lowered.

이러한 실험을 통해 확인된 바에 근거하여, 실제 스테레오 카메라를 통하여 객체를 촬영한 영상을 통해 획득한 3D 이미지 데이터를 가공한 예를 아래 도 4에 제시한다.Based on the results of the experiments, an example of processing 3D image data acquired through an image of an object captured by an actual stereo camera is shown in FIG. 4.

도 4는 본 발명에 따른 스테레오 카메라를 이용한 매장 방문 고객 계수 시스템에 의한 3D 이미지 데이터의 가공예이다.4 is an example of processing 3D image data by the store visit customer counting system using the stereo camera according to the present invention.

먼저, 촬영한 3D 이미지의 로(Raw) 데이터(미도시)를 컬러코드화된 3D 이미지(201)로 표현하고, 이를 가공하여 도면기호 202에 표시한다.First, raw data (not shown) of the photographed 3D image is represented as a color coded 3D image 201, which is processed and displayed in reference numeral 202.

3D 이미지 가공 데이터(202)에서는 가공된 데이터(여기서, 가공 데이터는 위 도 2 및 도 3에 기반하여 객체와의 거리, 객체의 크기를 요소로 한 것임)에 따라 카운트 1 내지 6이 카운팅된다.In the 3D image processing data 202, counts 1 to 6 are counted according to the processed data (in which the processing data is based on the distance to the object and the size of the object based on FIGS. 2 and 3 above).

이렇듯 기존의 모노 카메라를 통해 카운트하는 경우, 다수의 중첩된 인원 카운팅이 불가할 수 있으나, 본 발명의 스테레오 카메라를 활용하는 경우 카메라와 객체와의 거리 정보 및 객체의 크기 정보를 통해 다수 중첩된 인원이라도 정확하게 카운팅이 가능하게 된다. When counting through a conventional mono camera as described above, counting a plurality of overlapping persons may not be possible. However, when using the stereo camera of the present invention, a plurality of overlapping personnel may be obtained through distance information between the camera and the object and size information of the object. Even counting can be done accurately.

도 5는 본 발명에 따른 스테레오 카메라에 임베디드된 임베디드 영상분석 모듈의 블록 구성도이다.5 is a block diagram of an embedded image analysis module embedded in a stereo camera according to the present invention.

본 발명에서는 하나의 카운팅 서버(114)를 통해 다중 채널(다중 스테레오 카메라)의 수용을 가능하도록, 카메라에 의해 습득된 데이터를 처리하여 계수할 수 있는 영상분석모듈(113)를 스테레오 카메라(112)에 임베디드시킨다.In the present invention, the stereo camera 112 is an image analysis module 113 that can process and count the data acquired by the camera to accommodate the multi-channel (multi-stereo camera) through one counting server 114 Embedded in.

한 쌍의 카메라렌즈(311a, 311b)를 통해 입력되는 이미지 데이터는 이미지 센싱 유니트(312)에 의해 센싱되며, 센싱된 이미지 데이터는 프로세스 유니트(313)를 거쳐 이미지 분석이 이루어지고 방문객의 계수를 하게 된다. 계수된 방문객수는 통신 유니트(314)를 통해 외부 인터페이스를 통해 카운팅 서버(114)로 전달되어 집계된다.The image data input through the pair of camera lenses 311a and 311b is sensed by the image sensing unit 312, and the sensed image data is processed by the process unit 313 to perform image analysis and count the visitor. do. The counted visitor count is communicated to the counting server 114 via the external interface via the communication unit 314 and counted.

프로세스 유니트(313)에 의한 이미지 분석과정을 살펴보면, 먼저 현재프레임과 기준영상이 비교되는 이미지 프로세싱 과정이 이루어지고, 객체의 이동영역 즉, 객체의 이동 경로를 추적하고 이동영역의 필터링을 거쳐 이미지 윤곽을 캡쳐한후 여 이를 피드백하여 다시 기준영상으로 설정하고 현재 프레임과 비교하는 과정을 반복하여 수행한다.Looking at the image analysis process by the process unit 313, first, an image processing process in which the current frame and the reference image are compared is performed, and the moving area of the object, that is, the moving path of the object is traced and the image contour is processed through filtering of the moving area. After capturing the data, the feedback is set again as the reference image and the process of comparing with the current frame is repeated.

이러한 과정에서 위치 데이터를 생성하여 이를 전달하게 됨으로써, 방문객의 방문 계수, 전체 방문 고객의 계수, 매장내 출입구/층별/영역별 고객 방문자수 측정, 고객의 선호 이동 경로 분석, 특정 구간별 고객의 밀집도 분석, 시간대/기간별/전일/전년 대비 방문자 추이분석, 날씨 기후 변화에 따른 방문자 추이분석, 시간대별 잔여방문자 규모 측정이 가능하도록 한다.By generating location data in this process and delivering it, visitor's visit count, total visitor's count, customer visitor count by door / floor / area in store, customer's preferred moving path analysis, customer's density analysis by specific section In addition, visitor trend analysis by time zone / period / day / year / year, visitor trend analysis due to weather and climate change, and residual visitor size measurement by time zone are possible.

도 6은 본 발명에 따른 스테레오 카메라를 이용한 매장 방문 고객 계수 시스템과 종래의 모노 카메라를 이용한 매장 방문 고객 계수 시스템의 비교도이다.6 is a comparison diagram of a store visit customer counting system using a stereo camera and a store visit customer counting system using a conventional mono camera according to the present invention.

도 6의 (A)는 본 발명의 스테레오 카메라를 이용한 매장 방문 고객 계수 시스템이고, (B)는 종래의 모노 카메라를 이용한 매장 방문 고객 계수 시스템이다.6A is a store visit customer counting system using a stereo camera of the present invention, and (B) is a store visitor counting system using a conventional mono camera.

본 발명에서는 스테레오 카메라(412a)를 통해 촬영된 영상은 임베디드 영상분석모듈(413)을 통해 3D 이미지 프로세싱 과정을 거쳐 객체를 계수하게 되며, 계수된 데이터가 LAN를 통해 카운팅 서버(414a)로 전송된다. In the present invention, the image captured by the stereo camera 412a is counted through the 3D image processing process through the embedded image analysis module 413, the counted data is transmitted to the counting server 414a through the LAN. .

카운팅 서버(414a)는 계수된 데이터만을 집계하여 다중 접속된 스테레오 카메라의 정보를 받을 수 있게 되어 즉 다채널 수용이 가능하게 된다.The counting server 414a aggregates only the counted data to receive the information of the multi-connected stereo camera, that is, the multi-channel accommodation is possible.

반면에, 종래의 모노 카메라(412b)를 활용하는 경우 다중 중첩된 인원의 카운팅에 있어서 오계수가 발생할 수 있으며, 특히 영상분석모듈이 관리PC(414b)에 내장되어 있으므로 다채널 수용이 불가능하여 모노 카메라(412b)와 관리PC(414b)는 1:1로 대응되어야 한다.On the other hand, in case of utilizing the conventional mono camera 412b, an error coefficient may occur in the counting of multiple overlapping personnel. In particular, since the image analysis module is embedded in the management PC 414b, multi-channel accommodation is not possible and thus the mono camera 412b and the management PC 414b should be 1: 1.

도 7은 본 발명에 따른 스테레오 카메라를 이용한 매장 방문 고객 계수 시스템을 활용한 계수 프로그램에 의한 각 매장 및 본사의 관리 구성도를 나타낸 것이다.Figure 7 shows the management configuration of each store and the head office by a counting program using a store visiting customer counting system using a stereo camera according to the present invention.

도 6과 같이 본 발명은 임베디드 영상분석모듈을 통해 1대의 PC로 매장내 다수개의 스테레오 카메라를 다중채널 접속이 가능하게 되므로, 각 매장(지점 #1) 및 각 매장(지점 #2)의 관리 PC와 LAN 선을 통해 본사의 통계관리 PC와 연결되어 각 매장의 스테레오 카메라의 영상분석모듈을 통해 방문객의 계수 데이터를 직접 수신하거나 각 매장의 관리 PC를 통해 계수 데이터를 수신하여 각 매장에서의 고객 방문수, 방문 시간 및 방문객 밀접도 등을 본사의 통계관리 PC에서 일괄적으로 관리할 수 있게 된다.As shown in FIG. 6, the present invention enables multiple channels of multiple stereo cameras in a store to be connected to a single PC through an embedded image analysis module, thereby managing PCs of each store (branch # 1) and each store (branch # 2). It is connected to the statistical management PC of the head office via LAN and LAN lines, and directly receives the visitor's counting data through the image analysis module of the stereo camera of each store, or the counting data through the management PC of each store to receive the number of customer visits at each store. , Visit time, and visitor's closeness can be managed collectively in our statistical management PC.

상술한 바와 같이, 본 발명에 따른 스테레오 카메라를 이용한 피플카운터는 정확한 고객의 계수, 고객의 선호 이동 경로, 특정 구간별 고객의 밀집도, 방문자 추이 등을 산출할 수 있게 된다.As described above, the people counter using the stereo camera according to the present invention can calculate the exact customer count, the customer's preferred moving path, the density of the customer by specific section, the visitor trend and the like.

이상 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명하였지만, 상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술 분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, As will be understood by those skilled in the art. Therefore, it should be understood that the above-described embodiments are to be considered in all respects as illustrative and not restrictive, the scope of the invention being indicated by the appended claims rather than the foregoing description, It is intended that all changes and modifications derived from the equivalent concept be included within the scope of the present invention.

111 : 카운팅 존 112, 412a : 스테레오 카메라
113, 413 : 영상분석모듈 114, 414a : 카운팅 서버
201 : 컬러코드화된 3D 이미지 202 : 3D 이미지 가공 데이터
311a, 311b : 카메라 렌즈 312 : 이미지 센싱 유니트
313 : 프로세싱 유니트 314 : 통신 유니트 111: Counting zone 112, 412a: Stereo camera
113, 413: video analysis module 114, 414a: counting server
201: Color coded 3D image 202: 3D image processing data
311a, 311b: Camera lens 312: Image sensing unit
313: processing unit 314: communication unit

Claims (3)

한 쌍의 카메라와, 촬영된 3D 이미지를 기초로 이미지 프로세싱을 거쳐 객체를 계수하며 임베디드된 영상분석모듈을 포함하는 스테레오 카메라와,
상기 스테레오 카메라와 LAN(Local Area Network)을 통해 연결되고, 상기 영상분석모듈을 통해 계수된 객체의 계수 데이터를 수신하여 관리하는 카운팅 서버를 포함하고,
상기 카운팅 서버는 상기 영상분석모듈로부터 계수된 계수 데이터를 수신받으며,
상기 카운팅 서버와 상기 스테레오 카메라는 1:N 다중 채널 접속이 가능한, 스테레오 카메라를 이용한 매장 방문 고객 계수 시스템.A pair of cameras, a stereo camera including an embedded image analysis module for counting objects through image processing based on the captured 3D image,
A counting server connected to the stereo camera through a local area network (LAN) and receiving and managing count data of an object counted through the image analysis module;
The counting server receives the coefficient data counted from the image analysis module,
The counting server and the stereo camera is a 1: N multi-channel connection, visitor shop customer counting system using a stereo camera. 한 쌍의 카메라와, 촬영된 3D 이미지를 기초로 이미지 프로세싱을 거쳐 객체를 계수하며 임베디드된 영상분석모듈을 포함하는 스테레오 카메라와,
상기 스테레오 카메라와 LAN(Local Area Network)을 통해 연결되고, 상기 영상분석모듈을 통해 계수된 객체의 계수 데이터를 수신하여 관리하는 카운팅 서버를 포함하고,
상기 영상분석모듈은, 상기 한 쌍의 카메라를 통해 입력되는 이미지 데이터를 센싱하는 이미지 센싱 유니트와, 센싱된 이미지 데이터를 이미지 프로세싱 처리하여 객체의 계수를 수행하는 프로세스 유니트와, 상기 프로세스 유니트로부터 계수된 데이터를 외부 인터페이스를 통해 상기 카운팅 서버로 전송하는 통신 유니트로 이루어지는, 스테레오 카메라를 이용한 매장 방문 고객 계수 시스템.A pair of cameras, a stereo camera including an embedded image analysis module for counting objects through image processing based on the captured 3D image,
A counting server connected to the stereo camera through a local area network (LAN) and receiving and managing count data of an object counted through the image analysis module;
The image analysis module may include an image sensing unit configured to sense image data input through the pair of cameras, a process unit configured to perform image processing on the sensed image data, and to perform object counting, and counted from the process unit. A store visit customer counting system using a stereo camera, comprising a communication unit for transmitting data to the counting server through an external interface. 삭제delete
KR1020130098348A 2013-08-20 2013-08-20 Counting system people which is visiting store using stereo camera KR101377394B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130098348A KR101377394B1 (en) 2013-08-20 2013-08-20 Counting system people which is visiting store using stereo camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130098348A KR101377394B1 (en) 2013-08-20 2013-08-20 Counting system people which is visiting store using stereo camera

Publications (1)

Publication Number Publication Date
KR101377394B1 true KR101377394B1 (en) 2014-03-25

Family

ID=50649380

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130098348A KR101377394B1 (en) 2013-08-20 2013-08-20 Counting system people which is visiting store using stereo camera

Country Status (1)

Country Link
KR (1) KR101377394B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288742A (en) * 2019-07-11 2019-09-27 深圳市标润盛源实业有限公司 A kind of passenger flow trend monitoring system and method for chain shops

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008217289A (en) * 2007-03-02 2008-09-18 Mitsubishi Precision Co Ltd People counting system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008217289A (en) * 2007-03-02 2008-09-18 Mitsubishi Precision Co Ltd People counting system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288742A (en) * 2019-07-11 2019-09-27 深圳市标润盛源实业有限公司 A kind of passenger flow trend monitoring system and method for chain shops

Similar Documents

Publication Publication Date Title
CA2996918C (en) Determination of a currently treated body portion of a user
US20180137369A1 (en) Method and system for automatically managing space related resources
Procházka et al. Use of the image and depth sensors of the Microsoft Kinect for the detection of gait disorders
JP6619927B2 (en) Calibration device
KR102335045B1 (en) Method for detecting human-object using depth camera and device
KR101738035B1 (en) Three-dimensional recording device for Obtaining a three-dimensional image of the skin
CA3014365C (en) System and method for gathering data related to quality of service in a customer service environment
KR101792541B1 (en) Smart Device Skin care service system using Skin Diagnostic Information
JP2021140830A (en) Store device, store management method, and program
CN106056056A (en) Long-distance non-contact luggage volume detection system and method thereof
CN107924461A (en) For multifactor characteristics of image registration and method, circuit, equipment, system and the correlation computer executable code of tracking
KR20190124114A (en) Analysis of commercial power big data system using floating population data and pos data
JP2017083980A (en) Behavior automatic analyzer and system and method
KR20160011804A (en) The method for providing marketing information for the customers of the stores based on the information about a customers' genders and ages detected by using face recognition technology
EP3769036B1 (en) Method and system for extraction of statistical sample of moving fish
KR102550673B1 (en) Method for visitor access statistics analysis and apparatus for the same
KR101377394B1 (en) Counting system people which is visiting store using stereo camera
US20200371528A1 (en) System, Method and Apparatus for a Monitoring Drone
US20210133491A1 (en) System and method for detecting, tracking and counting human objects of interest with an improved height calculation
KR20150069739A (en) Method measuring fish number based on stereovision and pattern recognition system adopting the same
JPH08210847A (en) Image processing method
US20230145405A1 (en) Vision system for object detection, recognition, classification and tracking and the method thereof
KR101355206B1 (en) A count system of coming and going using image analysis and method thereof
Sambasivan et al. Computer graphics meets estimation theory: Parameter estimation lower bounds for plenoptic imaging systems
JP6067527B2 (en) Mobile object information management method, apparatus, and program

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170307

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190124

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200122

Year of fee payment: 7